CN108126914A - 一种基于深度学习的料框内散乱多物体机器人分拣方法 - Google Patents

一种基于深度学习的料框内散乱多物体机器人分拣方法 Download PDF

Info

Publication number
CN108126914A
CN108126914A CN201711194494.1A CN201711194494A CN108126914A CN 108126914 A CN108126914 A CN 108126914A CN 201711194494 A CN201711194494 A CN 201711194494A CN 108126914 A CN108126914 A CN 108126914A
Authority
CN
China
Prior art keywords
sorting
material frame
sort
little
random
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711194494.1A
Other languages
English (en)
Other versions
CN108126914B (zh
Inventor
刘文海
钱晖
潘震宇
邵全全
马进
王伟明
胡洁
戚进
张涛
周兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fanuc Robotics Co Ltd
Original Assignee
Shanghai Fanuc Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fanuc Robotics Co Ltd filed Critical Shanghai Fanuc Robotics Co Ltd
Priority to CN201711194494.1A priority Critical patent/CN108126914B/zh
Publication of CN108126914A publication Critical patent/CN108126914A/zh
Application granted granted Critical
Publication of CN108126914B publication Critical patent/CN108126914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于深度学习的料框内散乱多物体机器人分拣方法，包括：在料框的范围内选取若干可分拣候选区域，将每一可分拣候选区域的图像和深度图输入CNN网络以判断是否为可分拣区域，将可分拣区域的中心记录为可分拣点；通过聚类算法选取较优的可分拣点，计算较优的可分拣点的法向量，并结合法向量、机器人的可达位置、料框的防碰撞剔除不合格的可分拣点；从剩余的可分拣点中随机选择一可分拣点，通过所选择的可分拣点的坐标和法向量控制六自由度机械臂和吸盘手爪分拣可分拣点的物体.本发明利用深度学习优异的特征提取能力自动学习散乱件是否可分拣的特征，能够有效应对频繁变更的零件种类、相互遮挡和分拣对象的不确定性。

Description

一种基于深度学习的料框内散乱多物体机器人分拣方法
技术领域
本发明涉及视觉分拣的技术领域，尤其涉及一种料框内散乱多物体机器人分拣方法。
背景技术
现代智能制造和仓储物流行业给工业机器人的视觉分拣带来新的挑战，包括频繁变更的零件种类、零件的混装和相互遮挡以及分拣对象的不确定性。目前机器人料筐散乱件分拣主要采用三维视觉来获得物体点云信息，通过建立视觉模板或者组合人工特征的方式进行分拣物体的识别。这种视觉编程方法一方面依赖视觉工程师的编程经验，另一方面无法适应频繁变更的分拣对象和不可知的工作环境，无法应对现代制造业和仓储物流带来的挑战。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度学习的料框内散乱多物体机器人分拣方法。
为了实现上述目的，本发明采取的技术方案为：
一种基于深度学习的料框内散乱多物体机器人分拣方法，包括RGB-D 摄像头和具有六自由度机械臂的机器人，所述六自由度机械臂的末端设有吸盘手爪，其中，所述分拣方法包括：
步骤S1：将包含若干种散乱堆放物体的料框放置于所述RGB-D摄像头的视野范围内，所述RGB-D摄像头对所述料框的边缘进行视觉检测以确定所述料框的范围；
步骤S2：在所述料框的范围内选取若干可分拣候选区域，将每一所述可分拣候选区域的图像和深度图输入CNN分拣预测网络以判断是否为可分拣区域，并将所述可分拣区域的中心标记为可分拣点；
步骤S3：记录所有的所述可分拣点，通过聚类算法选取较优的所述可分拣点，计算较优的所述可分拣点的法向量，并结合所述法向量、所述机器人的可达位置、所述料框的防碰撞剔除不合格的所述可分拣点；
步骤S4：从剩余的所述可分拣点中随机选择一所述可分拣点，通过所选择的所述可分拣点的坐标和法向量控制所述六自由度机械臂和所述吸盘手爪分拣所述可分拣点的物体；
步骤S5：重复所述步骤S2至所述步骤S4，直至所述料框内的物体分拣完成。
上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，在所述步骤S1中，所述RGB-D摄像头与所述六自由度机械臂进行外参数坐标标定，从所述RGB-D摄像头获取的RGB图像中检测所述料框的边缘以确定所述料框的范围。
上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，在所述步骤S2中，选取若干可分拣候选区域的方法为逐行逐列获取，通过步幅设置覆盖所述料框的所有范围。
上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，在所述步骤S2中，所述可分拣区域为正方形，所述可分拣区域的边长为所述物体中的最大物体的尺寸的60～80％。
上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，在所述步骤S3中，所述聚类算法通过判断连续分拣点，选取行列连续的可分拣点的中间值作为较优的所述可分拣点。
上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，所述 CNN分拣预测网络包括CNN网络构建、训练数据库的搜集、CNN网络权重的学习和CNN网络预测。
上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，所述 CNN分拣预测网络还包括：池化层、全连接层、Relu层和softmax输出层，其中所述输入层的大小和所述可分拣候选区域的大小相同，所述输入层为 RGB三通道图像或者RGB-D四通道图像。
上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，所述训练数据库的建立方法包括：
拍摄所述料框内的待分拣物体散堆状态照片，人工选择出若干所述可分拣候选区域；
以所述自由度机械臂和所述吸盘手爪的实际分拣结果将人工选择出的若干所述可分拣候选区域的RGB图像和深度图分别标记为可分拣或不可分拣，并以此建立一个独立样本，搜集若干独立样本作为数据集。
上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，所述训练数据库的建立方法还包括数据增多方法：
以所述可分拣候选区域的中心为圆心，每10°采样一次，分拣标签不变。
上述的基于深度学习的料框内散乱多物体机器人分拣方法，其中，所述 CNN网络权重的学习方法包括：
将采集的数据集分为训练集和测试集，对所述训练集的数据采用随机梯度下降法优化所述CNN网络权重，用所述测试集的数据测试CNN网络准确率。
本发明由于采用了上述技术，使之与现有技术相比具有的积极效果是：
(1)本发明利用深度学习优异的特征提取能力自动学习散乱件是否可分拣的特征，能够有效应对频繁变更的零件种类、相互遮挡和分拣对象的不确定性，同时通过分拣数据搜集有效降低对视觉工程师视觉编程的依赖，提高工业机器人视觉分拣的智能化程度。
附图说明
图1是本发明的基于深度学习的料框内散乱多物体机器人分拣方法的示意图。
附图中：1、RGB-D摄像头；2、吸盘手爪；3、料框；4、六自由度机械臂；5、可分拣候选区域；6、可分拣点。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
第一实施例：
图1是本发明的基于深度学习的料框3内散乱多物体机器人分拣方法的示意图，请参见图1所示，示出了一种较佳实施例的基于深度学习的料框内散乱多物体机器人分拣方法，包括RGB-D摄像头1和具有六自由度机械臂4 的机器人，六自由度机械臂4的末端设有吸盘手爪2，其中，分拣方法包括：
步骤S1：将包含若干种散乱堆放物体的料框3放置于RGB-D摄像头1 的视野范围内，RGB-D摄像头1对料框3的边缘进行视觉检测以确定料框3 的范围。
步骤S2：在料框3的范围内选取若干可分拣候选区域5，将每一可分拣候选区域5的图像和深度图输入CNN分拣预测网络以判断是否为可分拣区域，并将可分拣区域的中心标记为可分拣点6。
步骤S3：记录所有的可分拣点6，通过聚类算法选取较优的可分拣点6，计算较优的可分拣点6的法向量，并结合法向量、机器人的可达位置、料框 3的防碰撞剔除不合格的可分拣点6。
步骤S4：从剩余的可分拣点6中随机选择一可分拣点6，通过所选择的可分拣点6的坐标和法向量控制六自由度机械臂4和吸盘手爪2分拣可分拣点6的物体。
步骤S5：重复步骤S2至步骤S4，直至料框3内的物体分拣完成。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围。
本发明在上述基础上还具有如下实施方式：
本发明的进一步实施例中，在步骤S1中，RGB-D摄像头1与六自由度机械臂4进行外参数坐标标定，从RGB-D摄像头1获取的RGB图像中检测料框3的边缘以确定料框3的范围。
本发明的进一步实施例中，在步骤S2中，选取若干可分拣候选区域5的方法为逐行逐列获取，通过步幅设置覆盖料框3的所有范围。
本发明的进一步实施例中，在步骤S2中，可分拣区域为正方形，可分拣区域的边长为物体中的最大物体的尺寸的60～80％。
本发明的进一步实施例中，在步骤S3中，聚类算法通过判断连续分拣点，选取行列连续的可分拣点6的中间值作为较优的可分拣点6。
本发明的进一步实施例中，CNN分拣预测网络包括CNN网络构建、训练数据库的搜集、CNN网络权重的学习和CNN网络预测。
本发明的进一步实施例中，CNN分拣预测网络还包括：池化层、全连接层、Relu层和softmax输出层，其中输入层的大小和可分拣候选区域5 的大小相同，输入层为RGB三通道图像或者RGB-D四通道图像。
本发明的进一步实施例中，训练数据库的建立方法包括：拍摄料框 3内的待分拣物体散堆状态照片，人工选择出若干可分拣候选区域5；以自由度机械臂和吸盘手爪2的实际分拣结果将人工选择出的若干可分拣候选区域 5的RGB图像和深度图分别标记为可分拣或不可分拣，并以此建立一个独立样本，搜集若干独立样本作为数据集。
本发明的进一步实施例中，训练数据库的建立方法还包括数据增多方法：以可分拣候选区域5的中心为圆心，每10°采样一次，分拣标签不变。
本发明的进一步实施例中，CNN网络权重的学习方法包括：将采集的数据集分为训练集和测试集，对训练集的数据采用随机梯度下降法优化 CNN网络权重，用测试集的数据测试CNN网络准确率。
第二实施例：
图1是本发明的基于深度学习的料框3内散乱多物体机器人分拣方法的示意图，请参见图1所示，示出了一种较佳实施例的基于深度学习的料框内散乱多物体机器人分拣方法，包括RGB-D摄像头1和具有六自由度机械臂4 的机器人，六自由度机械臂4的末端设有吸盘手爪2，其中，RGB-D摄像头 1固定在桌面1000mm高度处，RGB和深度视野范围是640*480像素。
基于深度学习的料框内散乱多物体机器人分拣方分拣方法包括：
步骤S1：将包含若干种散乱堆放物体的料框3放置于RGB-D摄像头1 的视野范围内，RGB-D摄像头1对料框3的边缘进行视觉检测以确定料框3 的范围，确定料筐3的范围大小为230*330像素。
步骤S2：选取物体中的最大物体的尺寸的70％作为可分拣候选区域大小，为60*60像素，在料筐3的范围内(料筐3的边缘增加30像素区域)，以行列步幅20像素移动共产生176个可分拣候选区域5。
步骤S3：将176个可分拣候选区域5的RGB-D图像和深度图像送入CNN 分拣预测网络依次判断分拣状态，产生如图1中的可分拣点6的预测结果，其分拣预测结果的数量为32个。
步骤S4.1：判断步骤3中预测的可分拣点6是否为连续值，从32个可分拣点6里选取中间值作为较优的可分拣点6，得到8个较优的可分拣点6，再根据RGB-D图像获得的料筐3内的点云计算每个较优的可分拣点6处的法向量和X,Y,Z坐标。
步骤S4.2：剔除法向量朝向和垂直料筐3的底部方向大于45°的可分拣点6，剔除法向量朝向和料筐3的框壁产生干涉的可分拣点6，剔除六自由度机械臂4无法到达的可分拣点6，再从剩余可分拣点6中随机选择一个可分拣点6。
步骤S4.3：以获取的可分拣点6处的X,Y,Z坐标和法向量，控制六自由度机械臂4和吸盘手爪2分拣可分拣点6处的物体，实际Z值可采用可分拣点6的邻域平均值。
步骤S5：重复步骤S2至步骤S4.3，直至料框3内的物体分拣完成。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围。
本发明在上述基础上还具有如下实施方式：
本发明的进一步实施例中，训练数据库的建立方法(即离线学习阶段)包括：
步骤I：料筐3放于RGB-D摄像头1的视野范围内，手动选择若干可分拣候选区域5，RGB-D摄像头1获取可分拣候选区域5的中心X,Y,Z坐标和法向量，以此控制六自由度机械臂4和吸盘手爪2分拣可分拣候选区域5内的物体，根据实际可分拣状态将若干可分拣候选区域5标记为可分拣(1)或者不可分拣(0)。
步骤II：以可分拣候选区域5的中心为圆心依次旋转10°采样相应RGB 图像和深度图像，根据步骤I的分拣状态同样标记为可分拣(1)或者不可分拣(0)，以此方法获得36个样本。
步骤III：重复步骤I，进行300次成功分拣和300次失败分拣，根据步骤II，增加样本的数量到21600个样本。
步骤IV：将21600个样本分为训练集和测试集，训练集和测试机的数量比例为5：1，将训练集的样本投入网络，采用随机梯度下降法进行网络权值学习，迭代5000次后在测试集上获得94％的预测准确率。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种基于深度学习的料框内散乱多物体机器人分拣方法，包括RGB-D摄像头和具有六自由度机械臂的机器人，所述六自由度机械臂的末端设有吸盘手爪，其特征在于，所述分拣方法包括：
步骤S1：将包含若干种散乱堆放物体的料框放置于所述RGB-D摄像头的视野范围内，所述RGB-D摄像头对所述料框的边缘进行视觉检测以确定所述料框的范围；
步骤S2：在所述料框的范围内选取若干可分拣候选区域，将每一所述可分拣候选区域的图像和深度图输入CNN分拣预测网络以判断是否为可分拣区域，并将所述可分拣区域的中心标记为可分拣点；
步骤S3：记录所有的所述可分拣点，通过聚类算法选取较优的所述可分拣点，计算较优的所述可分拣点的法向量，并结合所述法向量、所述机器人的可达位置、所述料框的防碰撞剔除不合格的所述可分拣点；
步骤S4：从剩余的所述可分拣点中随机选择一所述可分拣点，通过所选择的所述可分拣点的坐标和法向量控制所述六自由度机械臂和所述吸盘手爪分拣所述可分拣点的物体；
步骤S5：重复所述步骤S2至所述步骤S4，直至所述料框内的物体分拣完成。
2.根据权利要求1所述的基于深度学习的料框内散乱多物体机器人分拣方法，其特征在于，在所述步骤S1中，所述RGB-D摄像头与所述六自由度机械臂进行外参数坐标标定，从所述RGB-D摄像头获取的RGB图像中检测所述料框的边缘以确定所述料框的范围。
3.根据权利要求1所述的基于深度学习的料框内散乱多物体机器人分拣方法，其特征在于，在所述步骤S2中，选取若干可分拣候选区域的方法为逐行逐列获取，通过步幅设置覆盖所述料框的所有范围。
4.根据权利要求1所述的基于深度学习的料框内散乱多物体机器人分拣方法，其特征在于，在所述步骤S2中，所述可分拣区域为正方形，所述可分拣区域的边长为所述物体中的最大物体的尺寸的60～80％。
5.根据权利要求1所述的基于深度学习的料框内散乱多物体机器人分拣方法，其特征在于，在所述步骤S3中，所述聚类算法通过判断连续分拣点，选取行列连续的可分拣点的中间值作为较优的所述可分拣点。
6.根据权利要求1所述的基于深度学习的料框内散乱多物体机器人分拣方法，其特征在于，所述CNN分拣预测网络包括CNN网络构建、训练数据库的搜集、CNN网络权重的学习和CNN网络预测。
7.根据权利要求6所述的基于深度学习的料框内散乱多物体机器人分拣方法，其特征在于，所述CNN分拣预测网络还包括：池化层、全连接层、Relu层和softmax输出层，其中所述输入层的大小和所述可分拣候选区域的大小相同，所述输入层为RGB三通道图像或者RGB-D四通道图像。
8.根据权利要求6所述的基于深度学习的料框内散乱多物体机器人分拣方法，其特征在于，所述训练数据库的建立方法包括：
拍摄所述料框内的待分拣物体散堆状态照片，人工选择出若干所述可分拣候选区域；
以所述自由度机械臂和所述吸盘手爪的实际分拣结果将人工选择出的若干所述可分拣候选区域的RGB图像和深度图分别标记为可分拣或不可分拣，并以此建立一个独立样本，搜集若干独立样本作为数据集。
9.根据权利要求7所述的基于深度学习的料框内散乱多物体机器人分拣方法，其特征在于，所述训练数据库的建立方法还包括数据增多方法：
以所述可分拣候选区域的中心为圆心，每10°采样一次，分拣标签不变。
10.根据权利要求6所述的基于深度学习的料框内散乱多物体机器人分拣方法，其特征在于，所述CNN网络权重的学习方法包括：
将采集的数据集分为训练集和测试集，对所述训练集的数据采用随机梯度下降法优化所述CNN网络权重，用所述测试集的数据测试CNN网络准确率。
CN201711194494.1A 2017-11-24 2017-11-24 一种基于深度学习的料框内散乱多物体机器人分拣方法 Active CN108126914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711194494.1A CN108126914B (zh) 2017-11-24 2017-11-24 一种基于深度学习的料框内散乱多物体机器人分拣方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711194494.1A CN108126914B (zh) 2017-11-24 2017-11-24 一种基于深度学习的料框内散乱多物体机器人分拣方法

Publications (2)

Publication Number Publication Date
CN108126914A true CN108126914A (zh) 2018-06-08
CN108126914B CN108126914B (zh) 2020-01-21

Family

ID=62389843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711194494.1A Active CN108126914B (zh) 2017-11-24 2017-11-24 一种基于深度学习的料框内散乱多物体机器人分拣方法

Country Status (1)

Country Link
CN (1) CN108126914B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109731793A (zh) * 2018-12-17 2019-05-10 上海航天电子有限公司 一种小批量片式散料器件智能分拣设备
CN110415363A (zh) * 2019-08-05 2019-11-05 上海神添实业有限公司 一种基于三目视觉的散乱物识别定位方法
CN111844101A (zh) * 2020-07-31 2020-10-30 中国科学技术大学 一种多指灵巧手分拣规划方法
CN112295933A (zh) * 2020-09-17 2021-02-02 东南大学 一种机器人快速分拣货物的方法
CN112784717A (zh) * 2021-01-13 2021-05-11 中北大学 一种基于深度学习的管件自动分拣方法
CN113070234A (zh) * 2021-03-03 2021-07-06 浙江博城机器人科技有限公司 一种面向室外垃圾分类的垃圾分拣机器人的定位控制方法
CN113511503A (zh) * 2021-06-17 2021-10-19 北京控制工程研究所 一种自主智能的地外探测不确定物体采集与归集装箱方法
CN113910235A (zh) * 2021-10-29 2022-01-11 珠海格力智能装备有限公司 机器人抓取物料的碰撞检测方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611437A (en) * 1995-04-19 1997-03-18 Sea-Chang Ting Automatically openable and closable hopper set for a fruit weighing and sorting machine
JPH09323817A (ja) * 1996-06-10 1997-12-16 Izumi Tekko Kk 仕分けコンベヤの搬送アーム
CN101618544A (zh) * 2008-07-04 2010-01-06 发那科株式会社 物品取出装置
CN104057459A (zh) * 2014-06-25 2014-09-24 上海发那科机器人有限公司 一种机器人智能分拣工件的装置及方法
CN104616319A (zh) * 2015-01-28 2015-05-13 南京信息工程大学 基于支持向量机的多特征选择目标跟踪方法
CN106204614A (zh) * 2016-07-21 2016-12-07 湘潭大学 一种基于机器视觉的工件外观缺陷检测方法
CN106780605A (zh) * 2016-12-20 2017-05-31 芜湖哈特机器人产业技术研究院有限公司 一种基于深度学习机器人的目标物抓取位置的检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611437A (en) * 1995-04-19 1997-03-18 Sea-Chang Ting Automatically openable and closable hopper set for a fruit weighing and sorting machine
JPH09323817A (ja) * 1996-06-10 1997-12-16 Izumi Tekko Kk 仕分けコンベヤの搬送アーム
CN101618544A (zh) * 2008-07-04 2010-01-06 发那科株式会社 物品取出装置
CN104057459A (zh) * 2014-06-25 2014-09-24 上海发那科机器人有限公司 一种机器人智能分拣工件的装置及方法
CN104616319A (zh) * 2015-01-28 2015-05-13 南京信息工程大学 基于支持向量机的多特征选择目标跟踪方法
CN106204614A (zh) * 2016-07-21 2016-12-07 湘潭大学 一种基于机器视觉的工件外观缺陷检测方法
CN106780605A (zh) * 2016-12-20 2017-05-31 芜湖哈特机器人产业技术研究院有限公司 一种基于深度学习机器人的目标物抓取位置的检测方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109731793A (zh) * 2018-12-17 2019-05-10 上海航天电子有限公司 一种小批量片式散料器件智能分拣设备
CN110415363A (zh) * 2019-08-05 2019-11-05 上海神添实业有限公司 一种基于三目视觉的散乱物识别定位方法
CN111844101A (zh) * 2020-07-31 2020-10-30 中国科学技术大学 一种多指灵巧手分拣规划方法
CN112295933A (zh) * 2020-09-17 2021-02-02 东南大学 一种机器人快速分拣货物的方法
CN112295933B (zh) * 2020-09-17 2022-03-11 东南大学 一种机器人快速分拣货物的方法
CN112784717A (zh) * 2021-01-13 2021-05-11 中北大学 一种基于深度学习的管件自动分拣方法
CN112784717B (zh) * 2021-01-13 2022-05-13 中北大学 一种基于深度学习的管件自动分拣方法
CN113070234A (zh) * 2021-03-03 2021-07-06 浙江博城机器人科技有限公司 一种面向室外垃圾分类的垃圾分拣机器人的定位控制方法
CN113511503A (zh) * 2021-06-17 2021-10-19 北京控制工程研究所 一种自主智能的地外探测不确定物体采集与归集装箱方法
CN113511503B (zh) * 2021-06-17 2022-09-23 北京控制工程研究所 一种自主智能的地外探测不确定物体采集与归集装箱方法
CN113910235A (zh) * 2021-10-29 2022-01-11 珠海格力智能装备有限公司 机器人抓取物料的碰撞检测方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN108126914B (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN108126914A (zh) 一种基于深度学习的料框内散乱多物体机器人分拣方法
US11144787B2 (en) Object location method, device and storage medium based on image segmentation
CN109523552B (zh) 基于视锥点云的三维物体检测方法
CN111814850B (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN108010078B (zh) 一种基于三级卷积神经网络的物体抓取检测方法
CN109584298B (zh) 面向机器人自主物体拾取任务的在线自学习方法
Chu et al. Toward affordance detection and ranking on novel objects for real-world robotic manipulation
CN108898047A (zh) 基于分块遮挡感知的行人检测方法及系统
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
KR20170091716A (ko) 샘플링 및 특징 선택 없는 자동 결함 분류
CN114029951B (zh) 基于深度相机的机器人自主识别智能抓取方法
CN104751475B (zh) 一种面向静态图像对象识别的特征点优选匹配方法
Curtis et al. Efficient and effective grasping of novel objects through learning and adapting a knowledge base
CN114029243B (zh) 一种用于分拣机器手的软物抓取识别方法
Zeng et al. Steel sheet defect detection based on deep learning method
CN110473806A (zh) 光伏电池分拣的深度学习识别与控制方法及装置
CN110533629A (zh) 一种桥梁裂缝的检测方法及检测装置
CN112288809B (zh) 一种用于多物体复杂场景的机器人抓取检测方法
CN113927601A (zh) 一种基于视觉识别实现机械臂精准挑拣的方法及系统
CN116630226A (zh) 一种包裹抓取方法、装置及设备
CN111240195A (zh) 基于机器视觉的自动控制模型训练、目标物回收方法及装置
Zagal et al. Evolving visual object recognition for legged robots
CN114800533B (zh) 一种用于工业机器人的分拣控制方法及系统
CN115588132A (zh) 一种垃圾分拣设备的环境感知与垃圾识判方法
CN115258509A (zh) 物品拣选方法及装置、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant