CN116494253A - 目标物体抓取位姿获取方法及机器人抓取系统 - Google Patents

Abstract

本发明提供了目标物体抓取位姿获取方法及机器人抓取系统。本发明的目标物体抓取位姿获取方法包括：对获取自场景的点云坐标系下三维点云进行检测区域设置，以获得包括目标物体点云的三维检测区域；将三维检测区域转换为二维检测区域；基于二维检测区域及获取自场景的彩色图像进行目标检测及分析获得至少一个目标物体及目标物体的包括空间几何特征的图像坐标系下特征信息；将三维检测区域的点云坐标系下三维点云转换至机器人坐标系以获得机器人坐标系下三维点云；基于目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息；基于目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿。

Description

目标物体抓取位姿获取方法及机器人抓取系统

技术领域

本发明属于基于二维图像和三维点云的目标位姿识别技术领域，本发明涉及一种目标物体抓取位姿获取方法、装置、电子设备、可读存储介质及机器人抓取系统。

背景技术

深度学习在视觉方向发展十分迅速，相关的2D深度学习方法包括目标检测、语义分割、实例分割等方法。

2D深度学习模型可以学习到数据中的高级特征，具有更强的适应性，一个2D深度学习模型可以检测识别多种目标。但是直接用2D深度学习模型检测识别出来的结果很难直接用于对目标物体的抓取，可能出现抓错的情况，而且2D深度学习模型的检测识别结果的抓取点准确率低，因此，利用点云对2D检测识别结果进行一系列的处理就十分重要。

例如中国专利文献CN114140418A公开了一种基于RGB图像和深度图像的七自由度抓取姿势检测方法，其公开了以下技术内容：步骤1、将深度图像转换为点云数据并投影得到三通道图像X-Y-Z图像；步骤2、使用ResNet-50对RGB图像和X-Y-Z图像的信息进行编码，得到目标分割结果和可行抓取语义分割结果；步骤3、对深度图像进行补全，得到密集点云；步骤4、利用可行抓取点和密集点云构成抓取坐标系；步骤5、对可行抓取点的抓取深度和抓取宽度进行采样，生成若干抓取候选，每个抓取候选对应一个抓取闭合区域；步骤6、将抓取闭合区域内的点输入PointNet中，过滤抓取候选，得到最终的抓取姿势集合；步骤7、将抓取候选投影到目标上，生成最终的抓取姿势。

例如中国专利文献CN112070818A公开了基于机器视觉的机器人无序抓取方法，其公开了以下技术内容：通过搭建kinect相机及机器人的抓取系统，利用kinect相机采集目标物体表面的图像数据，并对该图像数据进行预处理获得三维点云数据；对采集到的三维点云数据进行目标检测、目标分割、目标聚类、关键点特征提取、特征配准，识别目标物体，获得目标物体的位姿信息；根据手眼系统的标定结果向机器人发出控制指令实现目标物体的抓取。

再例如中国专利文献CN108171748A公开了一种面向机器人智能抓取应用的视觉识别与定位方法，其公开了以下技术内容：图像采集步骤：通过安装在机械臂本体末端的视觉传感器采集待识别货架区域的RGB-D场景图像，RGB-D场景图像由彩色(RGB)图像和深度(Depth)图像组成；多目标识别与区域检测步骤：采用深度卷积神经网络对彩色图像进行检测，同时得出图像中包含的目标对象类别及其相应位置区域；点云分割步骤：借助视觉传感器内部参数，将深度图像转换成场景三维点云，分割出点云中检测出的各对象对应位置区域；利用聚类算法进一步分割点云，得到目标对象的点云模型；然后利用RanSaC检测方法，分割出点云模型中代表性几何特征点集；位姿求解步骤：采用PCA主成分分析法，提取已分割出的点集特征向量，得出目标物体在视觉传感器坐标系下当前位姿所对应的主方向、副方向以及表面法向，进而计算目标物体位姿四元数。

现有技术中，检测识别结果后处理主要是针对点云高度、2D得分、目标点云数量进行过滤，对点云信息的利用率不够，仍然无法实现高准确率的检测识别，无法做到完全准确抓取，而且，现有的后处理方法主要针对不同的具体场景分别做处理，无法适配多种场景。现有的后处理方法也难以解决堆叠目标形变导致的错层抓取，往往需要人工干预，且 无法做到倾斜目标垂直表面抓取，无法支持多种排序需求。

发明内容

本发明提供了目标物体抓取位姿获取方法、装置、电子设备、可读存储介质及机器人抓取系统。

根据本发明的一个方面，提供一种目标物体抓取位姿获取方法，包括：对获取自场景的点云坐标系下三维点云进行检测区域设置，以获得包括目标物体点云的三维检测区域；基于相机内参将所述三维检测区域转换为二维检测区域；基于所述二维检测区域及获取自所述场景的彩色图像进行目标检测及分析以获得至少一个目标物体及目标物体的包括空间几何特征的图像坐标系下特征信息；将所述三维检测区域的点云坐标系下三维点云由点云坐标系转换至机器人坐标系以获得机器人坐标系下三维点云；基于所述目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息；以及基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，还包括：基于所述三维检测区域对所述点云坐标系下三维点云进行过滤以滤除所述三维检测区域之外的点云；其中，对所述点云坐标系下三维点云进行过滤时保持所述三维点云的轮廓特征以保持点云坐标系下三维点云与所述彩色图像的空间对应关系。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，基于所述目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息，包括：基于所述三维检测区域的点云坐标系下三维点云与所述彩色图像的空间对应关系将所述目标物体的图像坐标系下特征信息转换至点云坐标系，获得所述目标物体的点云坐标系下特征信息；以及将所述目标物体的点云坐标系下特征信息转换至机器人坐标系下特征信息。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，所述空间几何特征包括最小外接矩形框和/或空间角度。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，所述目标物体的图像坐标系下特征信息还包括目标物体得分信息、目标物体掩膜信息及目标物体类别信息。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：基于目标物体的所述机器人坐标系下特征信息中的空间几何特征判断所述目标物体的抓取点是否超出所述机器人坐标系下三维点云；如果超出，则将超出所述机器人坐标系下三维点云的抓取点舍弃并更新所述目标物体的抓取点；以及基于更新后的抓取点获得所述目标物体的抓取位姿。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：对每个目标物体的机器人坐标系下特征信息中的目标物体类别信息进行类别判断以判断所述目标物体是否能够被抓取，以获得能够被抓取的目标物体；以及基于能够被抓取的目标物体的机器人坐标系下特征信息及所述机器人坐标系下三维点云获得所述目标物体的抓取点以获得所述目标物体的抓取位姿。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：将每个目标物体的图像坐标系下特征信息中的最小外接矩形框的几何尺寸转换至点云坐标系以获得点云坐标系下最小外接矩形框几何尺寸；将目标物体的点云坐标系下最小外接矩形框几何尺寸与目标物体的实际几何尺寸进行比较，判断两者的差别是否大于或大于等于差别阈值；如果大于或大于等于所述差别阈值，则将所述目标物体舍弃以更新所述目标检测获得的目标物体；以及基于更新后的目标物体的机器人坐标系下特征信息及所述机器人坐标系下三维点云获得每个目标物体的抓取点以获得目标物体的抓取位姿。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：将每个目标物体的图像坐标系下特征信息中的掩膜面积转换至点云坐标系以获得点云坐标系下掩膜面积；将目标物体的点云坐标系下掩膜面积与目标物体的实际面积进行比较，判断两者的差别是否大于或大于等于差别阈值；如果大于或大于等于所述差别阈值，则将所述目标物体滤除以更新所述目标检测获得的目标物体；以及基于更新的目标物体的机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：基于每个目标物体的机器人坐标系下特征信息中的高度信息对所有的目标物体进行排序，获得最上层目标物体；将最上层目标物体的高度与其他目标物体的高度进行比较，获得各个其他目标物体的高度与最上层目标物体的高度之间的第一差值；将所述第一差值与目标物体在高度方向上的厚度进行比较，判断各个第一差值是否大于或大于等于所述厚度的1/2，如果是，则将相应的目标物体舍弃，以获得上层目标物体；以及基于每个上层目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得上层目标物体的抓取点以获得上层目标物体的抓取位姿。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，基于每个上层目标物体的机器人坐标系下特征信息及所述机器人坐标系下三维点云获得上层目标物体的抓取点以获得上层目标物体的抓取位姿，包括：判断每个上层目标物体的上方是否存在点云以判断最上层目标物体的上方是否存在目标物体；如果存在，则将该上层目标物体舍弃以更新上层目标物体；以及基于更新的上层目标物体的机器人坐标系下特征信息及所述机器人坐标系下三维点云获得上层目标物体的抓取点以获得抓取位姿。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，判断每个上层目标物体的上方是否存在点云以判断上层目标物体的上方是否存在目标物体，包括：判断每个上层目标物体的上方的点云数量是否大于数量阈值；以及如果大于，则判定上层目标物体的上方存在目标物体并将该上层目标物体舍弃。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，判断每个上层目标物体的上方是否存在点云以判断上层目标物体的上方是否存在目标物体，包括：对每个上层目标物体的最小外接矩形框进行基于预设尺寸地周向扩展，获得扩展区域；判断上层目标物体的扩展区域上方的点云数量与上层目标物体的数量的比值是否大于比值阈值；以及如果大于，则判定上层目标物体的上方存在目标物体并将该上层目标物体舍弃。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：获取每两个目标物体的最小外接矩形框之间的交并比；判断两个目标物体的最小外接矩形框的交并比是否大于或大于等于交并比阈值；如果是，则判定两个所述目标物体存在重叠关系；对于存在重叠关系的两个所述目标物体，计算其中的第一目标物体的掩膜与第二目标物体的最小外接矩形框的相交区域与第一目标物体的掩膜的第一面积比值，计算第二目标物体的掩膜与第一目标物体的最小外接矩形框的相交区域与第二目标物体的掩膜的第二面积比值；判断第一面积比值与第二面积比值的大小关系，如果第一面积比值大于第二面积比值，则将第一目标物体判断为被重叠目标物体，如果第二面积比值大于第一面积比值，则将第二目标物体判断为被重叠目标物体；以及将所述被重叠目标物体舍弃以更新所述目标检测获得的目标物体。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：基于每个目标物体的抓取点获取每个目标物体的最小外接矩形框及最小外接矩形框的法向方向；基于每个目标物体的最小外接矩形框的法向方向获得其相对于机器人坐标系的旋转矩阵；以及基于目标物体的旋转矩阵与目标物体的抓取点旋转矩阵的乘积获取每个目标物体的抓取位姿。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，基于每个目标物体的抓取点获取每个目标物体的最小外接矩形框及最小外接矩形框的法向方向，包括：基于每个目标物体的抓取点相关特征信息，获取每个目标物体对应的机器人坐标系下的点云；基于主成分分析方法计算出每个目标物体的点云主方向；以及基于每个目标物体的点云主方向获取每个目标物体的点云的最小外接矩形框及最小外接矩形框的法向方向。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：基于每个目标物体的抓取点获得包含抓取点的点云法向判定子区；获取所述点云法向判定子区内包含抓取点在内的所有点云点或预设数量点云点的法向方向；基于所述点云法向判定子区内包含抓取点在内的所有点云点或预设数量点云点的法向方向获得每个目标物体的点云法向判定子区的平均法向方向；基于所述平均法向方向获得其相对于机器人坐标系的点云法向判定子区旋转矩阵；以及基于目标物体的点云法向判定子区旋转矩阵以及目标物体的抓取点相对于机器人坐标系的抓取点旋转矩阵获取每个目标物体的抓取位姿。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，基于目标物体的点云法向判定子区旋转矩阵以及目标物体的抓取点相对于机器人坐标系的抓取点旋转矩阵获取每个目标物体的抓取位姿，包括：将每个目标物体的抓取点旋转矩阵与所述点云法向判定子区旋转矩阵相乘，获得每个目标物体的抓取点更新旋转矩阵，以获取每个目标物体的抓取位姿。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，还包括：基于已获取抓取位姿的每个目标物体的空间几何特征对所有目标物体进行排序，获得用于执行抓取的排序信息。

根据本发明的至少一个实施方式的目标物体抓取位姿获取方法，所述排序信息包括沿第一方向的排序信息及沿垂直于所述第一方向的第二方向的排序信息。

根据本发明的另一个方面，提供一种目标物体抓取位姿获取装置，包括：检测区域设置模块，所述检测区域设置模块对获取自场景的点云坐标系下三维点云进行检测区域设置，以获得包括目标物体点云的三维检测区域；检测区域转换模块，所述检测区域转换模块基于相机内参将所述三维检测区域转换为二维检测区域；目标物体检测分析模块，所述目标物体检测分析模块基于所述二维检测区域及获取自所述场景的彩色图像进行目标检测及分析以获得至少一个目标物体及目标物体的包括空间几何特征的图像坐标系下特征信息；第一转换模块，所述第一转换模块将所述三维检测区域的点云坐标系下三维点云由点云坐标系转换至机器人坐标系以获得机器人坐标系下三维点云；第二转换模块，所述第二转换模块基于所述目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息；以及抓取位姿生成模块，所述抓取位姿生成模块基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿。

根据本发明的至少一个实施方式的目标物体抓取位姿获取装置，还包括：目标物体排序模块，所述目标物体排序模块基于已获取抓取位姿的每个目标物体的空间几何特征对所有目标物体进行排序，获得用于执行抓取的排序信息。

根据本发明的又一个方面，提供了电子设备，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行本发明任一个实施方式的目标物体抓取位姿获取方法。

根据本发明的又一个方面，提供了可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现本发明任一个实施方式的目标物体抓取位姿获取方法。

根据本发明的再一个方面，提供了机器人抓取系统，包括：本发明任一个实施方式的可读存储介质；以及机器人，所述机器人基于所述可读存储介质中存储的执行指令执行抓取操作。

根据本发明的至少一个实施方式的机器人抓取系统，所述机器人包括具有机械手的机械臂。

附图说明

附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是本发明的一个实施方式的目标物体抓取位姿获取方法的流程示意图。

图2是本发明的又一个实施方式的目标物体抓取位姿获取方法的流程示意图。

图3是本发明的一个实施方式的基于目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息的流程示意图。

图4是本发明的一个实施方式的基于三维ROI的抓取点过滤流程的示意图。

图5是本发明的一个实施方式的类别过滤流程的示意图。

图6是本发明的一个实施方式的基于目标物体尺寸的过滤流程的示意图。

图7是本发明的一个实施方式的基于掩膜面积的过滤流程的示意图。

图8是本发明的一个实施方式的最上层目标物体获取流程的示意图。

图9是本发明的一个实施方式的最上层目标物体筛选步骤的示意图。

图10是本发明的一个实施方式的重叠目标物体的过滤步骤的流程示意图。

图11是本发明的一个实施方式的获取目标物体的位姿的流程示意图。

图12是本发明的又一个实施方式的获取目标物体的位姿的流程示意图。

图13是本发明的又一个实施方式的目标物体抓取位姿获取方法的流程示意图。

图14是本发明的一个实施方式的采用处理系统的硬件实现方式的目标物体抓取位姿获取装置的结构示意框图。

具体实施方式

下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。

需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明的技术方案。

除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本发明的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本发明的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。

在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。

当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。

本文使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。

下文结合图1至图14对本发明的目标物体抓取位姿获取方法、装置、电子设备、可读存储介质及机器人抓取系统进行详细说明。

图1是本发明的一个实施方式的目标物体抓取位姿获取方法的流程示意图。

参考图1，在本发明的一些实施方式中，本发明的目标物体抓取位姿获取方法S100，包括以下步骤。

S102、对获取自场景的点云坐标系下三维点云进行检测区域（ROI，region ofinterest）设置，以获得包括目标物体点云的三维检测区域（3D ROI）。

S104、基于相机内参将三维检测区域（3D ROI）转换为二维检测区域（2D ROI）。

S106、基于二维检测区域（2D ROI）及获取自场景的彩色图像（例如RGB图像）进行目标检测及分析（优选使用基于深度学习的2D目标检测算法）以获得至少一个目标物体及目标物体的包括空间几何特征的图像坐标系下特征信息。

S108、将三维检测区域（3D ROI）的点云坐标系下三维点云由点云坐标系转换至机器人坐标系以获得机器人坐标系下三维点云。

S110、基于目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息。

S112、基于目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿。

其中，目标物体可以是物料棒、物料箱、物料袋等，目标物体可以被置于载具（例如塑料筐体、垛盘等）之内。

本发明所描述的三维点云可以基于以下方法获得。

激光测距法：激光测距法是通过激光发射器向物体表面发射激光，在激光照射到物体表面后，利用光电转换器将反射回来的激光信号转化为电信号，并通过算法计算出物体表面的三维坐标，从而得到点云数据。

结构光法：结构光法是基于投射光栅模式进行三维扫描的方法，通常使用投影仪投射特定的光栅模式，然后通过相机捕捉反射回来的图像，从而获取物体表面的三维坐标，得到点云数据。

RGB-D相机法：RGB-D相机可以同时获取彩色图像和深度图像，通过将深度图像转化为点云数据，可以得到物体表面的三维形状信息。

在本发明的一些实施方式中，本发明中设置的三维检测区域仅包括目标物体点云及载具点云。

本发明通过将三维检测区域（3D ROI）转换为二维检测区域（2D ROI），能够避免多余物体对基于深度学习的2D目标检测造成干扰，提高2D识别的可靠性。

本发明描述的基于深度学习的2D目标检测可以基于现有的2D目标检测算法进行，基于深度学习的2D目标检测算法可以是R-CNN（Selective Search + CNN + SVM）、SPP-net（ROI Pooling）、Fast R-CNN（Selective Search + CNN + ROI）、Faster R-CNN（RPN + CNN+ ROI）、R-FCN等算法或者其他算法，本领域技术人员在本发明技术方案的启示下，也可以使用其他类型的2D目标检测算法，均落入本发明的保护范围。

本发明中，基于相机内参（内参矩阵、畸变矩阵）对三维检测区域进行转换获得的二维检测区域为图像坐标系下的二维检测区域。

上文描述的步骤S106中，对目标物体的检测可以包括识别获得目标物体的大致位置和大致矩形框，对目标物体的分析可以包括实例分割等处理过程，以得到目标物体的准确边缘、准确位置和检测矩形框（最小外接矩形框）。本领域技术人员在本发明技术方案的启示下对本发明的步骤S106中进行的目标检测及分析的具体步骤进行调整，均落入本发明的保护范围。

目标物体及目标物体的包括空间几何特征的图像坐标系下特征信息可以通过深度学习算法进行图像检测/分割获得，得到诸如目标物体的最小外接矩形框、空间角度、目标物体得分信息、目标物体掩膜信息、目标物体类别信息等。

基于深度学习模型的训练程度的不同，可能会出现目标物体分割结果不够准确的情况，类别、掩膜、得分等有可能出错，因此步骤S106中获得的2D识别结果无法直接用于机器人进行目标物体抓取，需进行后续步骤。

本发明的目标物体抓取位姿获取方法，通过步骤S110，基于目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息，目的是将基于二维检测区域及获取自场景的彩色图像进行目标检测及分析获得的目标物体的图像坐标系下特征信息，即2D数据提供的目标物体得分信息、目标物体类别等信息与三维点云提供的目标中心点、目标深度信息、目标空间位置、目标面积、目标长宽信息、目标旋转信息（即3D数据提供的信息）相结合，再转换至机器人坐标系下以使得基于2D数据获得的信息和基于3D数据获得的信息能够在同一坐标系（机器人坐标系）下被用于获得目标物体的抓取点、抓取位姿，从而使得机器人抓取系统可以直接地进行抓取。

在本发明的一些实施方式中，参考图2，本发明的目标物体抓取位姿获取方法S100还包括：S107、基于三维检测区域（3D ROI）对点云坐标系下三维点云进行过滤以滤除三维检测区域之外的点云。

其中，对点云坐标系下三维点云进行过滤时保持三维点云的轮廓特征以保持点云坐标系下三维点云与彩色图像的空间对应关系。

本发明通过步骤S107，对点云进行过滤，滤除3D ROI以外的干扰目标，可以过滤掉多余的点云，减少相机点云中飞点对后续数据计算的影响。

在本发明的一些实施方式中，参考图3，本发明的步骤S110、基于目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息，包括以下步骤。

S1102、基于三维检测区域的点云坐标系下三维点云与彩色图像的空间对应关系将目标物体的图像坐标系下特征信息转换至点云坐标系，获得目标物体的点云坐标系下特征信息。

S1104、将目标物体的点云坐标系下特征信息转换至机器人坐标系下特征信息。

在本发明中，优选地，对于各个目标物体的图像坐标系下特征信息，不直接地转换至机器人坐标系，而是先转换至点云坐标系，再转换至机器人坐标系，从而增加点云坐标系下的相关特征信息（即3D特征信息）以获得目标物体的点云坐标系下特征信息，继而获得目标物体的机器人坐标系下特征信息。

本发明通过步骤S1102，将上文获得的2D深度学习检测结果（目标物体及目标物体的图像坐标系下特征信息）即图像坐标系下的检测结果转换为点云坐标系下的点，以与点云坐标系下的3D特征信息（包括目标中心点、目标深度信息、目标空间位置、目标面积、目标长宽信息、目标旋转信息等）进行关联，从而将3D特征信息增加至目标物体的2D特征信息。

进一步通过步骤S1104，将目标物体的增加了3D特征信息的点云坐标系下特征信息转换至机器人坐标系，根据手眼标定矩阵获取机器人坐标系下对应的抓取点，能够生成包含每个目标物体的实际抓取点位姿、得分、类别、掩膜、最小包围框（最小外接矩形框）、平均深度等的可以直接地用于机器人抓取系统进行抓取的抓取位姿类型，以用于在后续的处理中作为一个固定的数据类型进行传递。本发明的步骤S1102及S1104的处理过程，提高了点云信息的利用率，有利于提高抓取准确率，并且以此作为固定的数据类型进行传递能够实现多场景适配。

本发明通过对做完ROI过滤后的点云进行坐标系转换，利用手眼标定矩阵（可以通过对相机和机器人进行手眼标定获得）将三维点云从点云坐标系转换到机器人坐标系进行后续处理。

考虑到2D检测结果转换出来的抓取结果可能会在某个坐标轴上出现超出3D ROI范围的情况，而实际待抓取的所有目标物体的抓取必须在3维ROI以内，因此，在本发明的一些优选实施方式中进行基于3维ROI的抓取点过滤，参考图4，在步骤S112中，包括基于三维ROI的抓取点过滤流程：基于目标物体的机器人坐标系下特征信息中的空间几何特征判断目标物体的抓取点是否超出机器人坐标系下三维点云；如果超出，则将超出机器人坐标系下三维点云的抓取点舍弃并更新目标物体的抓取点；基于更新后的抓取点获得目标物体的抓取位姿。

在本发明的一些优选实施方式中，参考图5，在步骤S112中，还包括类别过滤流程：对每个目标物体的机器人坐标系下特征信息中的目标物体类别信息进行类别判断以判断目标物体是否能够被抓取，以获得能够被抓取的目标物体；基于能够被抓取的目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿。

在本发明的一些优选实施方式中，参考图6，在步骤S112中，还包括基于目标物体尺寸的过滤步骤：将每个目标物体的机器人坐标系下特征信息中的最小外接矩形框的几何尺寸转换至点云坐标系以获得点云坐标系下最小外接矩形框几何尺寸；将目标物体的点云坐标系下最小外接矩形框几何尺寸与目标物体的实际几何尺寸进行比较，判断两者的差别是否大于或大于等于差别阈值；如果大于或大于等于差别阈值，则将目标物体舍弃以更新目标检测获得的目标物体；基于更新后的目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得每个目标物体的抓取点以获得目标物体的抓取位姿。

在本发明的一些优选实施方式中，参考图7，在步骤S112中，还包括基于掩膜面积的过滤步骤：将每个目标物体的机器人坐标系下特征信息中的掩膜面积转换至点云坐标系以获得点云坐标系下掩膜面积；将目标物体的点云坐标系下掩膜面积与目标物体的实际面积进行比较，判断两者的差别是否大于或大于等于差别阈值；如果大于或大于等于差别阈值，则将目标物体滤除以更新目标检测获得的目标物体；基于更新的目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿。

在本发明的一些实施方式中，优选地，参考图8，在步骤S112中，还包括上层目标物体获取流程：基于每个目标物体的机器人坐标系下特征信息中的高度信息对所有的目标物体进行排序，获得最上层目标物体；将最上层目标物体的高度与其他目标物体的高度进行比较，获得各个其他目标物体的高度与最上层目标物体的高度之间的第一差值（即高度差值，高度差值可以基于目标物体在高度方向上的坐标之间的差值获得）；将上述第一差值与目标物体在高度方向上的厚度（可以预先设置，例如目标物体的实际厚度）进行比较，判断各个第一差值是否大于或大于等于上述厚度的1/2，如果是，则将相应的目标物体舍弃，以获得上层目标物体；基于每个上层目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得上层目标物体的抓取点以获得上层目标物体的抓取位姿。

通过执行上述目标物体过滤，对所有得到的目标物体在机器人坐标系下按高度进行排序，得到最上层目标物体的高度，再根据目标物体的实际厚度，过滤掉在最上层目标物体高度下面一半目标物体厚度以下的目标物体，即将高度与最上层目标物体的高度的差值大于或大于等于目标物体厚度的1/2的目标物体过滤掉，获得上层目标物体，能够过滤掉大部分下层结果。

对于上述上层过滤流程获得的结果，优选地，本发明的步骤S112、基于每个上层目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得各个上层目标物体的抓取点以获得上层目标物体的抓取位姿，还包括上层目标物体筛选步骤，参考图9：判断每个上层目标物体的上方是否存在点云以判断上层目标物体的上方是否存在目标物体；如果存在，则将该上层目标物体舍弃以更新上层目标物体；基于更新的上层目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得上层目标物体的抓取点以获得抓取位姿。

在本发明的一个优选实施方式中，上文描述的上层目标物体筛选流程基于以下步骤实现：判断每个上层目标物体的上方的点云数量是否大于数量阈值；如果大于，则判定上层目标物体的上方存在目标物体并将该上层目标物体舍弃。

在本发明的另一个优选实施方式中，上文描述的上层目标物体筛选流程基于以下步骤实现：对每个上层目标物体的最小外接矩形框进行基于预设尺寸地周向扩展，获得扩展区域；判断上层目标物体的扩展区域上方的点云数量与上层目标物体的数量的比值是否大于比值阈值；如果大于，则判定上层目标物体的上方存在目标物体并将该上层目标物体舍弃。

对于上述各个实施方式的目标物体抓取位姿获取方法S100，优选地，S112、基于目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，还包括重叠目标物体过滤步骤，参考图10：获取每两个目标物体的最小外接矩形框之间的交并比（IOU，Intersection overUnion）；判断两个目标物体的最小外接矩形框的交并比是否大于或大于等于交并比阈值；如果是，则判定两个目标物体存在重叠关系；对于存在重叠关系的两个目标物体，计算其中的第一目标物体的掩膜与第二目标物体的最小外接矩形框的相交区域与第一目标物体的掩膜的第一面积比值，计算第二目标物体的掩膜与第一目标物体的最小外接矩形框的相交区域与第二目标物体的掩膜的第二面积比值；判断第一面积比值与第二面积比值的大小关系，如果第一面积比值大于第二面积比值，则将第一目标物体判断为被重叠目标物体，如果第二面积比值大于第一面积比值，则将第二目标物体判断为被重叠目标物体；以及将被重叠目标物体舍弃以更新目标检测获得的目标物体。

在获得了上层目标物体之后，对于倾斜程度较大的场景可能无法做到完全过滤下层结果，为了实现对包括倾斜目标物体在内的上层目标物体进行垂直目标物体表面的抓取操作，本发明优选地基于以下步骤获取目标物体的位姿，参考图11：基于每个目标物体的抓取点获取每个目标物体的最小外接矩形框及最小外接矩形框的法向方向；基于每个目标物体的最小外接矩形框的法向方向获得其相对于基准平面（例如水平面）的旋转矩阵（即相对于机器人坐标系的旋转矩阵）；基于目标物体的旋转矩阵和目标物体的抓取点旋转矩阵的乘积获取每个目标物体的抓取位姿。

其中，基于每个目标物体的抓取点（每个目标物体具有一个抓取点，每个目标物体的抓取点本身即具有基础旋转矩阵，即抓取点旋转矩阵；抓取点位置优选为目标物体的表面几何中心位置，本发明中，该表面几何中心位置优选地基于目标物体的二维图像即彩色图像和三维点云获得）获取每个目标物体的最小外接矩形框及最小外接矩形框的法向方向，优选地基于以下方法实现：基于每个目标物体的抓取点相关特征信息，获取每个目标物体对应的机器人坐标系下的点云，优选地使用主成分分析方法计算出每个目标物体的点云主方向，进而获取这片点云（即目标物体的点云）的最小外接矩形框及最小外接矩形框的法向方向；基于每个目标物体的最小外接矩形框的法向方向获得每个目标物体的相对于机器人坐标系的旋转矩阵；基于目标物体的旋转矩阵和目标物体的抓取点旋转矩阵的乘积（点乘）获取每个目标物体的抓取位姿，实现了位姿校正。

图12示出了本发明的又一个优选实施方式的获取目标物体的位姿的流程：基于每个目标物体的抓取点获得包含抓取点的点云法向判定子区；获得所述点云法向判定子区内包含抓取点在内的所有点云点或预设数量点云点的法向方向；基于所述点云法向判定子区内包含抓取点在内的所有点云点或预设数量点云点的法向方向获得每个目标物体的点云法向判定子区的平均法向方向；基于该平均法向方向获得其相对于基准平面（例如水平面）即相对于机器人坐标系的点云法向判定子区旋转矩阵；以及基于目标物体的点云法向判定子区旋转矩阵以及目标物体的抓取点相对于机器人坐标系的抓取点旋转矩阵获取每个目标物体的抓取位姿。

其中，每个目标物体的包含抓取点的点云法向判定子区具有预设形状和预设尺寸，预设形状优选为圆形形状，预设尺寸基于目标物体尺寸/类型预先设置（物料袋、物料箱等），本领域技术人员在本发明技术方案的启示下可以对预设形状和预设尺寸进行调整，均落入本发明的保护范围。

在本发明的一些实施方式中，图12示出的获取目标物体的位姿的流程包括以下步骤：

针对每个目标物体，基于抓取点相关特征信息，获得该目标物体对应机器人坐标系下的点云与中心点位置，并在该中心点位置取预设半径大小的圆形区域的点云，对该圆形区域的包括抓取点在内的点云点（所有的或者预设数量的）进行法向计算，获得各个点云点的法向方向；基于各个点云点的法向方向获得圆形区域的平均法向方向；基于该平均法向方向相对于机器人坐标系的平均法向旋转矩阵（即上文描述的点云法向判定子区旋转矩阵），以及基于目标物体的平均法向旋转矩阵及目标物体的抓取点相对于机器人坐标系的抓取点旋转矩阵获取每个目标物体的抓取位姿。

优选地，基于目标物体的平均法向旋转矩阵以及目标物体的抓取点旋转矩阵获取每个目标物体的抓取位姿，包括：将每个目标物体的抓取点旋转矩阵（抓取点相关特征信息包括了基础抓取点位姿，即抓取点旋转矩阵）与平均法向旋转矩阵相乘（优选为点乘），得到每个目标物体的抓取点更新旋转矩阵，从而获取每个目标物体的倾斜抓取位姿。

在上述优选实施方式中，先获得目标物体的抓取点位姿即基础抓取位姿之后，由于抓取点位姿本身包括位置信息和旋转角度信息，从而能够获得每个抓取点的相对于机器人坐标系的抓取点旋转矩阵，再计算目标物体的包括抓取点在内的点云法向判定子区的平均法向方向，能够对抓取位姿进行校准更新，提高抓取位姿的准确度保证抓取准确率。并且本方案先获得每个抓取点的相对于机器人坐标系的抓取点旋转矩阵，再计算目标物体的包括抓取点在内的点云法向判定子区的平均法向方向（即在流程的末尾来计算平均法向方向），目的是减少法向计算的次数，尤其是已经通过在先步骤降低了干扰之后进一步减少计算量。

本发明中，计算平均法向的目的是为了让法向计算更准确，避免倾斜方向导致的获取的目标物体的抓取位姿不正确。

图13示出了本发明的又一个实施方式的目标物体抓取位姿获取方法S100的流程，本实施方式中还包括：S114、基于已获取抓取位姿的每个目标物体的空间几何特征对所有目标物体进行排序，获得用于执行抓取的排序信息。

其中，排序信息优选地包括沿第一方向的排序信息及沿垂直于第一方向的第二方向的排序信息。

在本发明的一些实施方式中，可以基于面积、得分、高度等特征进行排序，也可以对同层的目标物体按上下左右的先后顺序进行排序，可以首先将目标物体按边长和旋转角度等空间几何特征区分为横纵向，对横纵向目标物体分别进行上下左右的排序，最后进行合并。

本发明还提供了目标物体抓取位姿获取装置1000，包括以下模块。

检测区域设置模块1002，检测区域设置模块1002对获取自场景的点云坐标系下三维点云进行检测区域设置，以获得包括目标物体点云的三维检测区域。

检测区域转换模块1004，检测区域转换模块1004基于相机内参将三维检测区域转换为二维检测区域。

目标物体检测分析模块1006，目标物体检测分析模块1006基于二维检测区域及获取自场景的彩色图像进行目标检测及分析以获得至少一个目标物体及目标物体的包括空间几何特征的图像坐标系下特征信息。

第一转换模块1008，第一转换模块1008将三维检测区域的点云坐标系下三维点云由点云坐标系转换至机器人坐标系以获得机器人坐标系下三维点云。

第二转换模块1010，第二转换模块1010基于目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息。

抓取位姿生成模块1012，抓取位姿生成模块1012基于目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿。

在本发明的一些实施方式中，目标物体抓取位姿获取装置1000还包括：目标物体排序模块1014，目标物体排序模块1014基于已获取抓取位姿的每个目标物体的空间几何特征对所有目标物体进行排序，获得用于执行抓取的排序信息。

上述各个模块均可以通过计算机程序模块实现。

参考图14，其示出了本发明的一个实施方式的采用处理系统的硬件实现方式的目标物体抓取位姿获取装置1000的结构示意框图。

该目标物体抓取位姿获取装置可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。

该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其他电路1400连接。

总线1100可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本发明中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。

应当理解，本发明的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。

此外，在本发明各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。

本发明还提供了电子设备，包括：存储器，存储器存储执行指令；以及处理器，处理器执行存储器存储的执行指令，使得处理器执行本发明任一个实施方式的目标物体抓取位姿获取方法。

本发明还提供了可读存储介质，可读存储介质中存储有执行指令，执行指令被处理器执行时用于实现本发明任一个实施方式的目标物体抓取位姿获取方法。

本发明还提供了机器人抓取系统，包括：本发明的可读存储介质；以及机器人，机器人基于可读存储介质中存储的执行指令执行抓取操作。

其中，本发明所描述的机器人可以是包括具有机械手的机械臂或者其他类型的机器人。

Claims (10)

1.一种目标物体抓取位姿获取方法，其特征在于，包括：

对获取自场景的点云坐标系下三维点云进行检测区域设置，以获得包括目标物体点云的三维检测区域；

基于相机内参将所述三维检测区域转换为二维检测区域；

基于所述二维检测区域及获取自所述场景的彩色图像进行目标检测及分析以获得至少一个目标物体及目标物体的包括空间几何特征的图像坐标系下特征信息；

将所述三维检测区域的点云坐标系下三维点云由点云坐标系转换至机器人坐标系以获得机器人坐标系下三维点云；

基于所述目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息；以及

基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿。

2. 根据权利要求1所述的目标物体抓取位姿获取方法，其特征在于，基于所述目标物体的图像坐标系下特征信息获取机器人坐标系下特征信息，包括：

基于所述三维检测区域的点云坐标系下三维点云与所述彩色图像的空间对应关系将所述目标物体的图像坐标系下特征信息转换至点云坐标系，获得所述目标物体的点云坐标系下特征信息；以及

将所述目标物体的点云坐标系下特征信息转换至机器人坐标系下特征信息。

3.根据权利要求1或2所述的目标物体抓取位姿获取方法，其特征在于，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：

基于每个目标物体的机器人坐标系下特征信息中的高度信息对所有的目标物体进行排序，获得最上层目标物体；

将最上层目标物体的高度与其他目标物体的高度进行比较，获得各个其他目标物体的高度与最上层目标物体的高度之间的第一差值；

将所述第一差值与目标物体在高度方向上的厚度进行比较，判断各个第一差值是否大于或大于等于所述厚度的1/2，如果是，则将相应的目标物体舍弃，以获得上层目标物体；以及

基于每个上层目标物体的机器人坐标系下特征信息及机器人坐标系下三维点云获得上层目标物体的抓取点以获得上层目标物体的抓取位姿。

4.根据权利要求1或2所述的目标物体抓取位姿获取方法，其特征在于，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：

获取每两个目标物体的最小外接矩形框之间的交并比；

判断两个目标物体的最小外接矩形框的交并比是否大于或大于等于交并比阈值；

如果是，则判定两个所述目标物体存在重叠关系；

对于存在重叠关系的两个所述目标物体，计算其中的第一目标物体的掩膜与第二目标物体的最小外接矩形框的相交区域与第一目标物体的掩膜的第一面积比值，计算第二目标物体的掩膜与第一目标物体的最小外接矩形框的相交区域与第二目标物体的掩膜的第二面积比值；

判断第一面积比值与第二面积比值的大小关系，如果第一面积比值大于第二面积比值，则将第一目标物体判断为被重叠目标物体，如果第二面积比值大于第一面积比值，则将第二目标物体判断为被重叠目标物体；以及

将所述被重叠目标物体舍弃以更新所述目标检测获得的目标物体。

5.根据权利要求1或2所述的目标物体抓取位姿获取方法，其特征在于，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：

基于每个目标物体的抓取点获取每个目标物体的最小外接矩形框及最小外接矩形框的法向方向；

基于每个目标物体的最小外接矩形框的法向方向获得其相对于机器人坐标系的旋转矩阵；以及

基于目标物体的旋转矩阵与目标物体的抓取点旋转矩阵的乘积获取每个目标物体的抓取位姿。

6.根据权利要求5所述的目标物体抓取位姿获取方法，其特征在于，基于每个目标物体的抓取点获取每个目标物体的最小外接矩形框及最小外接矩形框的法向方向，包括：

基于每个目标物体的抓取点相关特征信息，获取每个目标物体对应的机器人坐标系下的点云；

基于主成分分析方法计算出每个目标物体的点云主方向；以及

基于每个目标物体的点云主方向获取每个目标物体的点云的最小外接矩形框及最小外接矩形框的法向方向。

7.根据权利要求1或2所述的目标物体抓取位姿获取方法，其特征在于，基于目标物体的所述机器人坐标系下特征信息及所述机器人坐标系下三维点云获得目标物体的抓取点以获得目标物体的抓取位姿，包括：

基于每个目标物体的抓取点获得包含抓取点的点云法向判定子区；

获取所述点云法向判定子区内包含抓取点在内的所有点云点或预设数量点云点的法向方向；

基于所述点云法向判定子区内包含抓取点在内的所有点云点或预设数量点云点的法向方向获得每个目标物体的点云法向判定子区的平均法向方向；

基于所述平均法向方向获得其相对于机器人坐标系的点云法向判定子区旋转矩阵；以及

基于目标物体的点云法向判定子区旋转矩阵以及目标物体的抓取点相对于机器人坐标系的抓取点旋转矩阵获取每个目标物体的抓取位姿。

8.根据权利要求1或2所述的目标物体抓取位姿获取方法，其特征在于，还包括：

基于已获取抓取位姿的每个目标物体的空间几何特征对所有目标物体进行排序，获得用于执行抓取的排序信息；

其中，所述排序信息包括沿第一方向的排序信息及沿垂直于所述第一方向的第二方向的排序信息。

9.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现权利要求1至8中任一项所述的目标物体抓取位姿获取方法。

10. 一种机器人抓取系统，其特征在于，包括：

权利要求9所述的可读存储介质；以及

机器人，所述机器人基于所述可读存储介质中存储的执行指令执行抓取操作。