CN113420746A - 机器人视觉分拣方法、装置、电子设备和存储介质 - Google Patents
机器人视觉分拣方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113420746A CN113420746A CN202110978754.4A CN202110978754A CN113420746A CN 113420746 A CN113420746 A CN 113420746A CN 202110978754 A CN202110978754 A CN 202110978754A CN 113420746 A CN113420746 A CN 113420746A
- Authority
- CN
- China
- Prior art keywords
- target
- dimensional
- grabbing
- point
- scene image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000000007 visual effect Effects 0.000 title claims description 17
- 230000011218 segmentation Effects 0.000 claims abstract description 73
- 238000013135 deep learning Methods 0.000 claims abstract description 38
- 238000000513 principal component analysis Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种机器人视觉分拣方法、装置、电子设备和存储介质，其中方法包括：基于一种深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到所述二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度及二维抓手张开距离；基于所述每一目标在与所述二维场景图像配准的深度场景图像中的深度信息，以及所述每一目标的二维抓取点坐标及二维抓手张开距离，确定所述每一目标的三维抓取点坐标及三维抓手张开距离；基于所述每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对所述每一目标执行抓取操作。本发明可以实现多品种物体杂乱无序摆放、甚至堆叠摆放等复杂场景下的物体分拣。
Description
技术领域
本发明涉及机器人控制技术领域，尤其涉及一种机器人视觉分拣方法、装置、电子设备和存储介质。
背景技术
目前，随着国内制造业等相关行业向智能制造的转型，智能化产品诸如机器人等在加工制造、服务行业的应用增速很快，尤其对于制造业的智能产品应用达到较高的比例。
在实际的工业生产中，对于类似抓取分拣的作业中，传统的方式是采用人工的方式在操作台前对不同种类或尺寸的工件或产品进行分拣，这样的作业方式会花费大量的劳动力和成本。不仅如此，人工作业的方式也难以满足大批量分拣所要求的效率，而且分拣的准确率也难以控制。因此，将具有分拣功能的机器人和视觉联合使用，对于工业化进程和产业自动化提升显得尤为重要。
目前视觉行业主要使用平面相机加光源的方式，通过提取平面内信息的位置，然后引导机械手进行抓取定位。然而，在汽车零部件和食品包装等行业，被测物通常在物料框中任意杂乱无序的摆放，甚至堆叠摆放，用普通的方法无法有效地提取和抓取到被测物。
发明内容
本发明提供一种机器人视觉分拣方法、装置、电子设备和存储介质，用以解决现有技术中难以实现复杂场景下的抓取任务的缺陷。
本发明提供一种机器人视觉分拣方法，包括：
基于一种深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到所述二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度及二维抓手张开距离；
基于所述每一目标在与所述二维场景图像配准的深度场景图像中的深度信息，以及所述每一目标的二维抓取点坐标及二维抓手张开距离，确定所述每一目标的三维抓取点坐标及三维抓手张开距离；
基于所述每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对所述每一目标执行抓取操作。
根据本发明提供的一种机器人视觉分拣方法，所述基于一种深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到所述二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度，具体包括：
基于所述深度学习实例分割模型的特征提取层，对所述二维场景图像进行特征提取，得到所述二维场景图像的特征图；
基于所述深度学习实例分割模型的实例分割层，对所述特征图进行目标边界框预测和目标分类，得到所述二维场景图像中每一目标的目标边界框和目标类型，以及所述特征图中每一像素点的目标类型；
基于所述深度学习实例分割模型的主成分分析层，预测所述二维场景图像中每一锚点对应目标的主成分中心点和主方向，并基于每一目标的目标边界框内各个锚点对应目标的主成分中心点和主方向，确定所述每一目标的二维抓取点坐标和抓手旋转角度。
根据本发明提供的一种机器人视觉分拣方法，所述预测所述二维场景图像中每一锚点对应目标的主成分中心点和主方向，并基于每一目标的目标边界框内各个锚点对应目标的主成分中心点和主方向，确定所述每一目标的二维抓取点坐标和抓手旋转角度，包括：
预测每一锚点与其对应目标的主成分中心点间的相对位置以及每一锚点对应目标的主方向；
基于每一锚点与其对应目标的主成分中心点间的相对位置，以及每一锚点在所述二维场景图像中的位置，确定每一锚点对应目标的主成分中心点的坐标；
基于每一目标的目标边界框内目标锚点对应目标的主成分中心点的坐标和主方向，确定所述每一目标的二维抓取点坐标和抓手旋转角度；其中，所述目标锚点的目标类型与对应目标的目标类型相同。
根据本发明提供的一种机器人视觉分拣方法，所述基于每一目标的目标边界框内目标锚点对应目标的主成分中心点的坐标和主方向，确定所述每一目标的二维抓取点坐标和抓手旋转角度，具体包括：
基于任一目标的目标边界框内各个目标锚点与其对应目标的主成分中心点间的距离，确定所述各个目标锚点的权重；其中，任一目标锚点与其对应目标的主成分中心点间的距离越小，所述任一目标锚点的权重越大；
基于所述各个目标锚点对应目标的主成分中心点的坐标、主方向和权重，确定所述任一目标的二维抓取点坐标和抓手旋转角度。
根据本发明提供的一种机器人视觉分拣方法，所述二维抓手张开距离是基于如下步骤确定的：
基于所述深度学习实例分割模型，对所述二维场景图像进行实例分割，得到每一目标的掩膜；
对所述每一目标的掩膜进行形态学腐蚀处理后，进行连通域查找，得到所述每一目标对应的最大连通域；
基于所述每一目标的抓手旋转角度对所述每一目标对应的最大连通域进行旋转，并基于旋转后的所述每一目标对应的最大连通域，确定所述每一目标对应的最大连通域的最小包围矩形框；
基于所述每一目标对应的最大连通域的最小包围矩形框，确定所述每一目标的二维抓手张开距离。
根据本发明提供的一种机器人视觉分拣方法，所述基于所述每一目标在与所述二维场景图像配准的深度场景图像中的深度信息，以及所述每一目标的二维抓取点坐标及二维抓手张开距离，确定所述每一目标的三维抓取点坐标及三维抓手张开距离，具体包括：
对任一目标内所有像素的深度信息进行直方图分析，滤除出现概率小于预设阈值的深度信息；
确定剩余的深度信息的平均值，作为所述任一目标的抓取点深度；
基于所述任一目标的二维抓取点坐标、二维抓手张开距离、抓取点深度，以及图像采集装置与抓取臂之间的转换矩阵，确定所述任一目标对应的三维抓取点坐标及三维抓手张开距离。
根据本发明提供的一种机器人视觉分拣方法，所述基于所述每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对所述每一目标执行抓取操作，具体包括：
基于每一目标的高度信息、宽度信息、强度信息、与置物空间边界间的距离信息，以及相邻目标之间的交叠情况中的至少一种，确定所述每一目标的抓取顺序；
基于所述每一目标的抓取顺序，以及所述每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对所述每一目标执行抓取操作。
本发明还提供一种机器人视觉分拣装置，包括：
目标检测单元，用于基于实例分割模型，对待分拣场景的二维场景图像进行实例分割和主成分分析，得到所述二维场景图像中每一目标的二维抓取点坐标和抓手旋转角度；
抓取点坐标确定单元，用于基于所述每一目标在与所述二维场景图像配准的深度场景图像中的深度信息，以及所述每一目标的二维抓取点坐标，确定所述每一目标的三维抓取点坐标；
抓取单元，用于基于所述每一目标的三维抓取点坐标和抓手旋转角度，对所述每一目标执行抓取操作。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述机器人视觉分拣方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述机器人视觉分拣方法的步骤。
本发明提供的机器人视觉分拣方法、装置、电子设备和存储介质，基于深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度及二维抓手张开距离后，结合每一目标在与二维场景图像配准的深度场景图像中的深度信息，确定每一目标的三维抓取点坐标及三维抓手张开距离，从而基于每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对每一目标执行抓取操作，可以实现多品种物体杂乱无序摆放、甚至堆叠摆放等复杂场景下的物体分拣。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的机器人视觉分拣方法的流程示意图；
图2是本发明提供的Blendmask的实例分割分支的结构示意图；
图3是本发明提供的主成分分析回归分支的结构示意图；
图4是本发明提供的基于掩膜的主成分分析方法的示意图；
图5是本发明提供的二维抓取宽度的示意图；
图6是本发明提供的机器人视觉分拣装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的机器人视觉分拣方法的流程示意图，如图1所示，该方法包括：
步骤110，基于一种深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度及二维抓手张开距离。
具体地，可以通过RGB相机等图像采集装置采集待分拣场景下包含各个待分拣物体的二维场景图像，同时还可以通过深度相机采集同时刻待分拣场景下的深度场景图像。其中，相机及抓取机器人的位置可以按照实际应用需求调整，相机可固定于待分拣场景内的其他位置，也可固定于抓取机器人的抓取臂上。
利用训练好的深度学习实例分割模型对二维场景图像同时进行实例分割和主成分分析。其中，对二维场景图像进行实例分割后，可以预测出二维场景图像中每个像素点的类型标签，即每个像素点所属目标的目标类型，此外还可以区分出同一目标类型的不同个体，得到各个物体在二维场景图像中的区域。因此，当面对多种不同类型的物体杂乱摆放时，可以准确地识别出各类物体，并准确区分同一类型的各个物体，即使同类或不同类的多个物体堆叠在一起，也可以实现针对单个物体的准确抓取。对各个物体所在的图像区域进行主成分分析，可以得到各个图像区域内的主成分中心点和主方向。其中，该主成分中心点可以视为各个物体的平面质心点，其可以作为对应目标的二维抓取点，从而获取其图像坐标作为二维抓取点坐标，而主方向则可以作为对应目标的抓手旋转角度。此外，若抓取机器人采用多指抓取策略，还可以根据各个目标所在的图像区域，确定各个目标的二维抓手张开距离，即各个物体的抓取宽度。
需要说明的是，上述实例分割过程和主成分分析过程可以由同一个神经网络模型同时实现，即深度学习实例分割模型。此种情况下，可以预先训练深度学习实例分割模型：收集大量的样本二维场景图像，并对样本二维场景图像进行人工标注，标注出样本二维场景图像中每个像素点的目标类型和所属样本目标；基于各样本二维场景图像以及其中每个像素点的目标类型和所属样本目标，训练初始神经网络模型，得到深度学习实例分割模型。
步骤120，基于每一目标在与二维场景图像配准的深度场景图像中的深度信息，以及每一目标的二维抓取点坐标及二维抓手张开距离，确定每一目标的三维抓取点坐标及三维抓手张开距离。
具体地，将二维场景图像和深度场景图像配准后，可以获取每一目标的深度信息。其中，每个目标的深度信息包括该目标在二维场景图像中对应的图像区域内各个像素点的深度信息。为了进行实际抓取操作，需要将上一步中获得的二维抓取点坐标转换到三维坐标系下，因此可以基于每个目标的深度信息，重构对应目标的三维抓取点坐标。此处，目标的三维抓取点坐标可以是以抓取机器人抓取臂为参照系下的三维相对坐标，也可以为世界坐标系下的三维绝对坐标，本发明实施例对此不作具体限定。此外，若抓取机器人采用多指抓取策略，还可以根据每个目标的深度信息，将二维抓手张开距离转换为三维抓手张开距离。
步骤130，基于每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对每一目标执行抓取操作。
具体地，根据每个目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，可计算抓取臂的抓取路径并执行抓取操作。其中，夹取物体时抓取臂末端通常垂直向下，对于两指抓手来说，抓手闭合时夹持的平面与抓取臂坐标系X轴夹角可称为夹取角度，抓手夹取物体时的夹取角度可由抓手旋转角度得到；三维抓手张开距离即为抓手需要张开的距离。得到每一目标的三维抓取点坐标后，只需要将抓取臂的末端夹具中心移动到该点然后闭合夹具即可，若是采用吸盘抓取策略，则只需要将吸盘移动到该点进行吸取即可。
本发明实施例提供的方法，基于深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度及二维抓手张开距离后，结合每一目标在与二维场景图像配准的深度场景图像中的深度信息，确定每一目标的三维抓取点坐标及三维抓手张开距离，从而基于每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对每一目标执行抓取操作，可以实现多品种物体杂乱无序摆放、甚至堆叠摆放等复杂场景下的物体分拣。
基于上述任一实施例，步骤110具体包括：
基于深度学习实例分割模型的特征提取层，对二维场景图像进行特征提取，得到二维场景图像的特征图；
基于深度学习实例分割模型的实例分割层，对特征图进行目标边界框预测和目标分类，得到二维场景图像中每一目标的目标边界框和目标类型，以及特征图中每一像素点的目标类型；
基于深度学习实例分割模型的主成分分析层，预测二维场景图像中每一锚点对应目标的主成分中心点和主方向，并基于每一目标的目标边界框内各个锚点对应目标的主成分中心点和主方向，确定每一目标的二维抓取点坐标和抓手旋转角度。
具体地，深度学习实例分割模型包括两个任务分支，一个是实例分割分支，另一个是主成分分析分支。根据任务分支的不同，将深度学习实例分割模型分为特征提取层、实例分割层和主成分分析层。其中，特征提取层用于对二维场景图像进行特征提取，得到二维场景图像的特征图。实例分割层用于对特征图进行目标边界框预测和目标分类，得到二维场景图像中每一目标的目标边界框和目标类型，以及特征图中每一像素点的目标类型。
此处，可以使用实例分割网络Blendmask构建特征提取层和实例分割层。Blendmask实例分割分支结构如图2所示。
二维场景图像(大小H×W)经过主干网络(backbone)构成的特征提取层进行特征
提取后，得到大小为Hi×Wi的特征图(feature map)，经过的步长(stride)为
。Blendmask
模型在目标边界框预测时采用了FCOS的方案，即认为特征图每一个像素代表二维场景图像
中的一个锚点，特征图中像素坐标x i ,y i 与二维场景图像中锚点坐标x,y的对应关系为：
对于某个锚点，若其处于某个目标边界框内，那么预测的目标可以为：以每个锚点为中心，到边框上下左右边界的像素距离t、b、l、r，因此边界框分支最后输出的通道数可以为4（对应图2最下方的分支）。特征图的每个像素也要预测其对应的目标类型，因此最后输出的通道数目为C（总类型数目）。为了使每个边界框尽量由处于其中心位置的锚点生成，FCOS添加了中心度(centerness)的概念，中心度乘以类别的置信概率将得到每个目标边界框最终的分数，这个分数将用于非极大值抑制步骤。
如图3所示，在实例分割网络Blendmask的基础上，可以添加主成分分析回归分支，构建主成分分析层。其中，主成分分析层可以由若干个卷积层构成。主成分分析层可以用于预测二维场景图像中每一锚点对应目标的主成分中心点和主方向，并基于每一目标的目标边界框内各个锚点对应目标的主成分中心点和主方向，确定每一目标的二维抓取点坐标和抓手旋转角度。此处，根据预测得到的每一锚点对应目标的主成分中心点和主方向，可以结合霍夫(Hough)投票思路，通过每个锚点对应目标的主成分中心点和主方向的加权投票完成每个目标的主成分中心点预测和主方向预测，从而得到每个目标的二维抓取点坐标和抓手旋转角度。
综上所述，利用深度学习实例分割模型可以同时进行实例分割和主成分分析，无需额外构建每个目标的点云数据，提高了整个分拣方法的效率，且利用深度学习实例分割模型，结合霍夫投票思路预测每个目标的主成分中心点和主方向，提高了主成分分析的准确性，进一步提高了分拣方法的准确性。
基于上述任一实施例，预测二维场景图像中每一锚点对应目标的主成分中心点和主方向，并基于每一目标的目标边界框内各个锚点对应目标的主成分中心点和主方向，确定每一目标的二维抓取点坐标和抓手旋转角度，包括：
预测每一锚点与其对应目标的主成分中心点间的相对位置以及每一锚点对应目标的主方向；
基于每一锚点与其对应目标的主成分中心点间的相对位置，以及每一锚点在二维场景图像中的位置，确定每一锚点对应目标的主成分中心点的坐标；
基于每一目标的目标边界框内目标锚点对应目标的主成分中心点的坐标和主方向，确定每一目标的二维抓取点坐标和抓手旋转角度；其中，目标锚点的目标类型与对应目标的目标类型相同。
具体地，针对特征图中每个像素点对应的锚点，均预测与其对应目标的主成分中
心点间的相对位置以及每一锚点对应目标的主方向。其中，相对位置可以包括各个锚点到
对应主成分中心点在x方向上的绝对距离dx、在y方向上的绝对距离dy和极坐标角度
；主
方向可以由和x轴方向的夹角
表示，范围为
。因此，当锚点坐标已知后，可以确定该
锚点对应目标的主成分中心点的坐标
为：
随后，可以进行加权投票决定各个目标的主成分中心点位置的步骤。具体可以依据各个目标的目标类型，获取目标边界框内包含的与对应目标的类型一致的锚点，作为目标锚点。将每一目标的目标边界框内目标锚点对应目标的主成分中心点的坐标进行加权求和，得到每一目标的二维抓取点坐标。将每一目标的目标边界框内目标锚点对应目标的主方向进行加权求和，得到每一目标的抓手旋转角度。
基于上述任一实施例，基于每一目标的目标边界框内目标锚点对应目标的主成分中心点的坐标和主方向，确定每一目标的二维抓取点坐标和抓手旋转角度，具体包括：
基于任一目标的目标边界框内各个目标锚点与其对应目标的主成分中心点间的距离，确定各个目标锚点的权重；其中，任一目标锚点与其对应目标的主成分中心点间的距离越小，该目标锚点的权重越大；
基于各个目标锚点对应目标的主成分中心点的坐标、主方向和权重，确定该目标的二维抓取点坐标和抓手旋转角度。
具体地，计算任一目标的目标边界框内各个目标锚点与其对应目标的主成分中心点间的距离，从而确定各个目标锚点的权重。其中，目标锚点的权重与其和对应目标的主成分中心点间的距离成反比。基于各个目标锚点的权重，对各个目标锚点对应目标的主成分中心点的坐标和主方向分别进行加权求和，得到该目标的二维抓取点坐标和抓手旋转角度。
例如，假设第c类物体的边界框包含了m个锚点
，其中右上角标表示锚点对应目标的目标类型编号，
(c)表示该锚点对应第c类，(*)表示对应其他类，针对每个锚点都预测了其与对应目标的主
成分中心点在横纵方向上的绝对偏移距离和极坐标角度
，那么该目标
的二维抓取点坐标以及抓手旋转角度 
的计算方式可以为：
其中， 
为任一目标锚点与其对应目标的主成分中心点间的距离，
为该目标锚点对应目标的主成分中心点的坐标，
和
为该目标锚
点的横纵坐标，
为该目标锚点的权重，n为目标锚点的数量， 
为该目标锚点对应目标
的主方向。
主方向确定后，副方向直接选择与其正交的方向即可。
基于上述任一实施例，二维抓手张开距离是基于如下步骤确定的：
基于深度学习实例分割模型，对二维场景图像进行实例分割，得到每一目标的掩膜；
对每一目标的掩膜进行形态学腐蚀处理后，进行连通域查找，得到每一目标对应的最大连通域；
基于每一目标的抓手旋转角度对每一目标对应的最大连通域进行旋转，并基于旋转后的每一目标对应的最大连通域，确定每一目标对应的最大连通域的最小包围矩形框；
基于每一目标对应的最大连通域的最小包围矩形框，确定每一目标的二维抓手张开距离。
具体地，可以利用深度学习实例分割模型对二维场景图像进行实例分割，得到二维场景图像中每个目标的掩膜。对每个目标的掩膜进行图像形态学腐蚀处理，去掉可能存在的掩膜噪点。随后，对去噪后的掩模进行连通域查找，并计算各连通域的面积，保留最大面积的连通域作为每个目标对应的最大连通域，如图4左侧所示。
此外，还可以利用抓手旋转角度（主方向）θ对对应最大连通域进行旋转，将主方向保持水平，对旋转后的最大连通域进行最小包围矩形计算，该包围矩形的宽度即可作为对应目标的二维抓手张开距离（像素宽度），如图5所示。如果抓取机器人采用吸盘进行抓取，则无需计算该二维抓手张开距离。
基于上述任一实施例，步骤120具体包括：
对任一目标内所有像素的深度信息进行直方图分析，滤除出现概率小于预设阈值的深度信息；
确定剩余的深度信息的平均值，作为该目标的抓取点深度；
基于该目标的二维抓取点坐标、二维抓手张开距离、抓取点深度，以及图像采集装置与抓取臂之间的转换矩阵，确定该目标对应的三维抓取点坐标及三维抓手张开距离。
具体地，对任一目标内所有像素的深度信息进行直方图分析，获取每个深度信息出现的次数，并计算每个深度信息出现的概率。其中，任一深度信息出现的概率可以基于该深度信息出现的次数以及出现次数最多的深度信息出现的次数计算得到。随后，滤除出现概率小于预设阈值的深度信息，例如可以删除出现概率小于5%的深度信息，从而去除可能的干扰信息。
计算该目标内剩余的深度信息的平均值，作为该目标的抓取点深度。基于该目标的二维抓取点坐标、二维抓手张开距离、抓取点深度，以及图像采集装置与抓取臂之间的转换矩阵，确定该目标对应的三维抓取点坐标及三维抓手张开距离。具体可以通过结合图像采集装置的内参数，利用二维抓取中心点坐标和抓取点深度计算相机坐标系下抓取点的三维坐标，然后结合图像采集装置与抓取臂之间的转换矩阵求取以抓取臂为参照系下的三维抓取点坐标。同理，也可以利用二维抓手张开距离和抓取点深度，以及图像采集装置与抓取臂之间的转换矩阵，计算以抓取臂为参照系下的三维抓手张开距离（物理宽度）。
基于上述任一实施例，步骤130具体包括：
基于每一目标的高度信息、宽度信息、强度信息、与置物空间边界间的距离信息，以及相邻目标之间的交叠情况中的至少一种，确定每一目标的抓取顺序；
基于每一目标的抓取顺序，以及每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对每一目标执行抓取操作。
具体地，可以利用预设抓取规则，对每一目标的高度信息、宽度信息、强度信息、与置物空间边界间的距离信息，以及相邻目标之间的交叠情况中的至少一种进行分析处理，确定每一目标的抓取顺序，并生成抓取策略。其中，对于大量堆叠物体来说，为了避免物体的遮挡对抓手造成干涉，抓取时倾向于抓取当前高度最高的物体，因此可以优先抓取较高的物体；可以优先抓取较大的目标，即宽度较宽的物体；可以优先抓取强度较弱的目标，即易碎物品；可以根据各个目标与置物空间边界间的距离信息，优先抓取不在边缘区域内的目标，而降低边缘区域内目标的抓取优先级；还可以根据相邻目标之间的交叠情况，优先抓取交叠程度最轻的目标。
此外，还可以针对各个目标生成相应的抓取策略（包括抓取力度、速度）。例如，不同的物体重量以及强度差别较大，因此可以从数据库内获取该种物体的重量和强度，对于重量比较大且强度较强的物体会提高夹取力度，而对于物体比较轻且强度比较弱的物体则相应减少夹取力度。如果当前无合适的抓取物体（比如全部未抓取的目标均位于边缘区域内或交叠过于严重），则可以给出特殊情况处理策略，例如通过夹具拨动交叠在一起的物体，从而减少交叠程度，或更换特制夹具或将物体移动至边缘区域以外等。
基于上述任一实施例，图6为本发明实施例提供的机器人视觉分拣装置的结构示意图，如图6所示，该装置包括：目标检测单元610、抓取点坐标确定单元620和抓取单元630。
其中，目标检测单元610用于基于一种深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度及二维抓手张开距离；
抓取点坐标确定单元620用于基于每一目标在与二维场景图像配准的深度场景图像中的深度信息，以及每一目标的二维抓取点坐标及二维抓手张开距离，确定每一目标的三维抓取点坐标及三维抓手张开距离；
抓取单元630用于基于每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对每一目标执行抓取操作。
本发明实施例提供的装置，基于深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度及二维抓手张开距离后，结合每一目标在与二维场景图像配准的深度场景图像中的深度信息，确定每一目标的三维抓取点坐标及三维抓手张开距离，从而基于每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对每一目标执行抓取操作，可以实现多品种物体杂乱无序摆放、甚至堆叠摆放等复杂场景下的物体分拣。
基于上述任一实施例，目标检测单元610具体用于：
基于深度学习实例分割模型的特征提取层，对二维场景图像进行特征提取，得到二维场景图像的特征图；
基于深度学习实例分割模型的实例分割层，对特征图进行目标边界框预测和目标分类，得到二维场景图像中每一目标的目标边界框和目标类型，以及特征图中每一像素点的目标类型；
基于深度学习实例分割模型的主成分分析层，预测二维场景图像中每一锚点对应目标的主成分中心点和主方向，并基于每一目标的目标边界框内各个锚点对应目标的主成分中心点和主方向，确定每一目标的二维抓取点坐标和抓手旋转角度。
基于上述任一实施例，预测二维场景图像中每一锚点对应目标的主成分中心点和主方向，并基于每一目标的目标边界框内各个锚点对应目标的主成分中心点和主方向，确定每一目标的二维抓取点坐标和抓手旋转角度，包括：
预测每一锚点与其对应目标的主成分中心点间的相对位置以及每一锚点对应目标的主方向；
基于每一锚点与其对应目标的主成分中心点间的相对位置，以及每一锚点在二维场景图像中的位置，确定每一锚点对应目标的主成分中心点的坐标；
基于每一目标的目标边界框内目标锚点对应目标的主成分中心点的坐标和主方向，确定每一目标的二维抓取点坐标和抓手旋转角度；其中，目标锚点的目标类型与对应目标的目标类型相同。
基于上述任一实施例，基于每一目标的目标边界框内目标锚点对应目标的主成分中心点的坐标和主方向，确定每一目标的二维抓取点坐标和抓手旋转角度，具体包括：
基于任一目标的目标边界框内各个目标锚点与其对应目标的主成分中心点间的距离，确定各个目标锚点的权重；其中，任一目标锚点与其对应目标的主成分中心点间的距离越小，该目标锚点的权重越大；
基于各个目标锚点对应目标的主成分中心点的坐标、主方向和权重，确定该目标的二维抓取点坐标和抓手旋转角度。
基于上述任一实施例，二维抓手张开距离是基于如下步骤确定的：
基于深度学习实例分割模型，对二维场景图像进行实例分割，得到每一目标的掩膜；
对每一目标的掩膜进行形态学腐蚀处理后，进行连通域查找，得到每一目标对应的最大连通域；
基于每一目标的抓手旋转角度对每一目标对应的最大连通域进行旋转，并基于旋转后的每一目标对应的最大连通域，确定每一目标对应的最大连通域的最小包围矩形框；
基于每一目标对应的最大连通域的最小包围矩形框，确定每一目标的二维抓手张开距离。
基于上述任一实施例，抓取点坐标确定单元620具体用于：
对任一目标内所有像素的深度信息进行直方图分析，滤除出现概率小于预设阈值的深度信息；
确定剩余的深度信息的平均值，作为该目标的抓取点深度；
基于该目标的二维抓取点坐标、二维抓手张开距离、抓取点深度，以及图像采集装置与抓取臂之间的转换矩阵，确定该目标对应的三维抓取点坐标及三维抓手张开距离。
基于上述任一实施例，抓取单元630具体用于：
基于每一目标的高度信息、宽度信息、强度信息、与置物空间边界间的距离信息，以及相邻目标之间的交叠情况中的至少一种，确定每一目标的抓取顺序；
基于每一目标的抓取顺序，以及每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对每一目标执行抓取操作。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行机器人视觉分拣方法，该方法包括：基于一种深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到所述二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度及二维抓手张开距离；基于所述每一目标在与所述二维场景图像配准的深度场景图像中的深度信息，以及所述每一目标的二维抓取点坐标及二维抓手张开距离，确定所述每一目标的三维抓取点坐标及三维抓手张开距离；基于所述每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对所述每一目标执行抓取操作。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的机器人视觉分拣方法，该方法包括：基于一种深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到所述二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度及二维抓手张开距离；基于所述每一目标在与所述二维场景图像配准的深度场景图像中的深度信息，以及所述每一目标的二维抓取点坐标及二维抓手张开距离，确定所述每一目标的三维抓取点坐标及三维抓手张开距离；基于所述每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对所述每一目标执行抓取操作。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的机器人视觉分拣方法，该方法包括：基于一种深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到所述二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度及二维抓手张开距离；基于所述每一目标在与所述二维场景图像配准的深度场景图像中的深度信息，以及所述每一目标的二维抓取点坐标及二维抓手张开距离，确定所述每一目标的三维抓取点坐标及三维抓手张开距离；基于所述每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对所述每一目标执行抓取操作。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种机器人视觉分拣方法，其特征在于，包括：
基于一种深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到所述二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度及二维抓手张开距离；
基于所述每一目标在与所述二维场景图像配准的深度场景图像中的深度信息，以及所述每一目标的二维抓取点坐标及二维抓手张开距离，确定所述每一目标的三维抓取点坐标及三维抓手张开距离；
基于所述每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对所述每一目标执行抓取操作。
2.根据权利要求1所述的机器人视觉分拣方法，其特征在于，所述基于一种深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到所述二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度，具体包括：
基于所述深度学习实例分割模型的特征提取层，对所述二维场景图像进行特征提取，得到所述二维场景图像的特征图；
基于所述深度学习实例分割模型的实例分割层，对所述特征图进行目标边界框预测和目标分类，得到所述二维场景图像中每一目标的目标边界框和目标类型，以及所述特征图中每一像素点的目标类型；
基于所述深度学习实例分割模型的主成分分析层，预测所述二维场景图像中每一锚点对应目标的主成分中心点和主方向，并基于每一目标的目标边界框内各个锚点对应目标的主成分中心点和主方向，确定所述每一目标的二维抓取点坐标和抓手旋转角度。
3.根据权利要求2所述的机器人视觉分拣方法，其特征在于，所述预测所述二维场景图像中每一锚点对应目标的主成分中心点和主方向，并基于每一目标的目标边界框内各个锚点对应目标的主成分中心点和主方向，确定所述每一目标的二维抓取点坐标和抓手旋转角度，包括：
预测每一锚点与其对应目标的主成分中心点间的相对位置以及每一锚点对应目标的主方向；
基于每一锚点与其对应目标的主成分中心点间的相对位置，以及每一锚点在所述二维场景图像中的位置，确定每一锚点对应目标的主成分中心点的坐标；
基于每一目标的目标边界框内目标锚点对应目标的主成分中心点的坐标和主方向，确定所述每一目标的二维抓取点坐标和抓手旋转角度；其中，所述目标锚点的目标类型与对应目标的目标类型相同。
4.根据权利要求3所述的机器人视觉分拣方法，其特征在于，所述基于每一目标的目标边界框内目标锚点对应目标的主成分中心点的坐标和主方向，确定所述每一目标的二维抓取点坐标和抓手旋转角度，具体包括：
基于任一目标的目标边界框内各个目标锚点与其对应目标的主成分中心点间的距离，确定所述各个目标锚点的权重；其中，任一目标锚点与其对应目标的主成分中心点间的距离越小，所述任一目标锚点的权重越大；
基于所述各个目标锚点对应目标的主成分中心点的坐标、主方向和权重，确定所述任一目标的二维抓取点坐标和抓手旋转角度。
5.根据权利要求1所述的机器人视觉分拣方法，其特征在于，所述二维抓手张开距离是基于如下步骤确定的：
基于所述深度学习实例分割模型，对所述二维场景图像进行实例分割，得到每一目标的掩膜；
对所述每一目标的掩膜进行形态学腐蚀处理后，进行连通域查找，得到所述每一目标对应的最大连通域；
基于所述每一目标的抓手旋转角度对所述每一目标对应的最大连通域进行旋转，并基于旋转后的所述每一目标对应的最大连通域，确定所述每一目标对应的最大连通域的最小包围矩形框；
基于所述每一目标对应的最大连通域的最小包围矩形框，确定所述每一目标的二维抓手张开距离。
6.根据权利要求1至5任一项所述的机器人视觉分拣方法，其特征在于，所述基于所述每一目标在与所述二维场景图像配准的深度场景图像中的深度信息，以及所述每一目标的二维抓取点坐标及二维抓手张开距离，确定所述每一目标的三维抓取点坐标及三维抓手张开距离，具体包括：
对任一目标内所有像素的深度信息进行直方图分析，滤除出现概率小于预设阈值的深度信息；
确定剩余的深度信息的平均值，作为所述任一目标的抓取点深度；
基于所述任一目标的二维抓取点坐标、二维抓手张开距离、抓取点深度，以及图像采集装置与抓取臂之间的转换矩阵，确定所述任一目标对应的三维抓取点坐标及三维抓手张开距离。
7.根据权利要求1至5任一项所述的机器人视觉分拣方法，其特征在于，所述基于所述每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对所述每一目标执行抓取操作，具体包括：
基于每一目标的高度信息、宽度信息、强度信息、与置物空间边界间的距离信息，以及相邻目标之间的交叠情况中的至少一种，确定所述每一目标的抓取顺序；
基于所述每一目标的抓取顺序，以及所述每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对所述每一目标执行抓取操作。
8.一种机器人视觉分拣装置，其特征在于，包括：
目标检测单元，用于基于一种深度学习实例分割模型，对待分拣场景的二维场景图像同时进行实例分割和主成分分析，得到所述二维场景图像中每一目标的二维抓取点坐标、抓手旋转角度及二维抓手张开距离；
抓取点坐标确定单元，用于基于所述每一目标在与所述二维场景图像配准的深度场景图像中的深度信息，以及所述每一目标的二维抓取点坐标及二维抓手张开距离，确定所述每一目标的三维抓取点坐标及三维抓手张开距离；
抓取单元，用于基于所述每一目标的三维抓取点坐标、抓手旋转角度及三维抓手张开距离，对所述每一目标执行抓取操作。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述机器人视觉分拣方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述机器人视觉分拣方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110978754.4A CN113420746B (zh) | 2021-08-25 | 2021-08-25 | 机器人视觉分拣方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110978754.4A CN113420746B (zh) | 2021-08-25 | 2021-08-25 | 机器人视觉分拣方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113420746A true CN113420746A (zh) | 2021-09-21 |
| CN113420746B CN113420746B (zh) | 2021-12-07 |
Family
ID=77719388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110978754.4A Active CN113420746B (zh) | 2021-08-25 | 2021-08-25 | 机器人视觉分拣方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113420746B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113977581A (zh) * | 2021-11-10 | 2022-01-28 | 胜斗士(上海)科技技术发展有限公司 | 抓取系统及抓取方法 |
| CN115797332A (zh) * | 2023-01-29 | 2023-03-14 | 高视科技(苏州)有限公司 | 基于实例分割的目标物抓取方法和设备 |
| CN116175542A (zh) * | 2021-11-28 | 2023-05-30 | 梅卡曼德（北京）机器人科技有限公司 | 抓取控制方法、装置、电子设备和存储介质 |
| WO2023137871A1 (zh) * | 2022-01-19 | 2023-07-27 | 福建南方路面机械股份有限公司 | 一种基于高度传感器的自动分拣方法、装置及可读介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN111251294A (zh) * | 2020-01-14 | 2020-06-09 | 北京航空航天大学 | 一种基于视觉位姿感知和深度强化学习的机器人抓取方法 |
| US20210023720A1 (en) * | 2018-12-12 | 2021-01-28 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Method for detecting grasping position of robot in grasping object |
| CN112801988A (zh) * | 2021-02-02 | 2021-05-14 | 上海交通大学 | 基于rgbd和深度神经网络的物体抓取位姿检测方法 |
| CN112819135A (zh) * | 2020-12-21 | 2021-05-18 | 中国矿业大学 | 基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法 |
-
2021
- 2021-08-25 CN CN202110978754.4A patent/CN113420746B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| US20210023720A1 (en) * | 2018-12-12 | 2021-01-28 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Method for detecting grasping position of robot in grasping object |
| CN111251294A (zh) * | 2020-01-14 | 2020-06-09 | 北京航空航天大学 | 一种基于视觉位姿感知和深度强化学习的机器人抓取方法 |
| CN112819135A (zh) * | 2020-12-21 | 2021-05-18 | 中国矿业大学 | 基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法 |
| CN112801988A (zh) * | 2021-02-02 | 2021-05-14 | 上海交通大学 | 基于rgbd和深度神经网络的物体抓取位姿检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 欧攀 等: "基于 Mask RCNN的目标识别与空间定位", 《计算机测量与控制》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113977581A (zh) * | 2021-11-10 | 2022-01-28 | 胜斗士(上海)科技技术发展有限公司 | 抓取系统及抓取方法 |
| CN116175542A (zh) * | 2021-11-28 | 2023-05-30 | 梅卡曼德（北京）机器人科技有限公司 | 抓取控制方法、装置、电子设备和存储介质 |
| CN116175542B (zh) * | 2021-11-28 | 2024-01-26 | 梅卡曼德（北京）机器人科技有限公司 | 确定夹具抓取顺序的方法、装置、电子设备和存储介质 |
| WO2023137871A1 (zh) * | 2022-01-19 | 2023-07-27 | 福建南方路面机械股份有限公司 | 一种基于高度传感器的自动分拣方法、装置及可读介质 |
| CN115797332A (zh) * | 2023-01-29 | 2023-03-14 | 高视科技(苏州)有限公司 | 基于实例分割的目标物抓取方法和设备 |
| CN115797332B (zh) * | 2023-01-29 | 2023-05-30 | 高视科技(苏州)股份有限公司 | 基于实例分割的目标物抓取方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113420746B (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113420746B (zh) | 机器人视觉分拣方法、装置、电子设备和存储介质 | |
| CN109658413B (zh) | 一种机器人目标物体抓取位置检测的方法 | |
| US11144787B2 (en) | Object location method, device and storage medium based on image segmentation | |
| CN108247635B (zh) | 一种深度视觉的机器人抓取物体的方法 | |
| CN111723782A (zh) | 基于深度学习的视觉机器人抓取方法及系统 | |
| CN112802105A (zh) | 对象抓取方法及装置 | |
| CN106960178B (zh) | 绝缘子识别模型的训练方法以及绝缘子的识别与定位方法 | |
| US20230108073A1 (en) | Box retrieval method and apparatus, system, robot, and storage medium | |
| CN113351522A (zh) | 物品分拣方法、装置及系统 | |
| CN113001552B (zh) | 面向杂质性目标的机器人操作协同抓取方法、系统及设备 | |
| CN113762159B (zh) | 一种基于有向箭头模型的目标抓取检测方法及系统 | |
| CN114029941B (zh) | 一种机器人抓取方法、装置、电子设备及计算机介质 | |
| CN110705931B (zh) | 一种货物抓取方法、装置、系统、设备和存储介质 | |
| CN113538459A (zh) | 一种基于落点区域检测的多模式抓取避障检测优化方法 | |
| CN114255251A (zh) | 多个透明对象3d检测 | |
| CN112192577A (zh) | 一种应用于机器人抓取场景的一拍多抓方法 | |
| CN114310892B (zh) | 基于点云数据碰撞检测的物体抓取方法、装置和设备 | |
| CN109658388B (zh) | 基于视觉和主动交互的包装箱分割错误的检测与矫正方法 | |
| JP2022045905A (ja) | 混合サイズデパレタイジング | |
| CN115384971A (zh) | 透明对象料箱拾取 | |
| CN108555902B (zh) | 一种机器人分拣物品的方法、装置及机器人 | |
| CN113269112A (zh) | 一种抓取区域的识别方法、装置、电子设备及存储介质 | |
| CN114800508B (zh) | 一种工业机器人的抓取控制系统及方法 | |
| CN114800533B (zh) | 一种用于工业机器人的分拣控制方法及系统 | |
| Shao et al. | Combining rgb and points to predict grasping region for robotic bin-picking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |