CN112975943B - 判断机器人夹爪最佳抓取高度的处理方法及系统 - Google Patents

Abstract

本发明公开了一种判断机器人夹爪最佳抓取高度的处理方法和系统，其中处理方法包括如下步骤：1)、对2D相机和3D相机进行标定；2)、对2D图像进行处理，得到2D图像上的夹取位置信息；3)、将夹取位置信息投影到3D图像上，以形成投影线；4)、对3D图像投影，得到包含待抓取物体的整体高度的二维投影信息图，从而根据二维投影信息图调整机器人夹爪的抓取高度和投影线的位置；5)、调整后的投影线反投影到2D图像上，从而对夹取位置信息进行更新；由此可知，通过上述2D相机和3D相机相结合的处理方法，无论是规则物体亦或者是不规则物体，均可控制机器人夹爪下探合适的距离，而不会撞击到待抓取物体，也不会因为下探距离过大造成机器人夹爪的损伤。

Description

判断机器人夹爪最佳抓取高度的处理方法及系统

技术领域

本发明涉及机器人抓取定位技术领域，尤其涉及一种判断机器人夹爪最佳抓取高度的处理方法及系统。

背景技术

随着工业技术智能化的不断发展，越来越多的人力劳动被机器人代替，如，劳动重复度比较高的分选作业流程一般都是通过安装在输送带处的机器人抓手来完成，为了准确区分输送带上不同的物体，一般通过图像信息处理技术获取物体的RGBD信息后，将识别出来物体的类别信息和位置信息发送给机器人，让机器人通过夹爪实现在线实时抓取。机器人夹爪抓取物体时，需要知道物体的旋转角度(也即姿态)、夹取位置和机器人夹爪的张开宽度，夹取位置包括物体x、y、z三个方向上的值。其中位置信息中的x、y值、姿态和张开宽度可以通过2D相机来获取，如图6，2D相机获取上述信息的流程为:

a:拍摄物体的2D图像；

b:通过图像数据处理得出物体的轮廓；

c:抽象处物体的轮廓模型；

d：得出夹爪的夹取位置P1；

由此可知，2D相机除了位置信息中的z值外都可以获取，为了获取z值，现有技术中，一般通过距离传感器来获取物体高度，以点的形式来分析物体整体的高度，如上图6所示，由于物体是均匀的规则体，以点的形式可以检测出物体真实的高度，然后对上述步骤d中的夹取位置P1进行投影，投影方向取夹取方向的法线方向F1，从而得出包括x、y、z的夹取位置信息图，如图6-e，P2代表待抓取物体两侧的夹取位置，L1代表距离传感器的测量位置和方向,待抓取物体高度为H1。

但是，当待抓取物体为非均匀规则物体时，采用距离传感器测量物体的高度的方式，容易出现撞击现象。如图7所示，待抓取物体为M形，整体高度为H2，当距离传感器以L2所在位置方向检测待抓取物体的高度时，距离传感器以检测到的物体的中间低点处的数据H3为准上报时，机器人夹爪的位置如图7中的P3所示，这时机器人夹爪会过度下探，甚至超过机器人夹爪的缓冲高度，这不仅容易撞击到待抓取物体，还容易损坏机器人夹爪。

因此，有必要对机器人夹爪的抓取高度的处理方式作出改进。

发明内容

本发明的目的是为解决上述技术问题而提供一种判断机器人夹爪最佳抓取高度的处理方法，基于该处理方法可准确识别出不同形状待抓取物体的高度。

本发明的另一目的是提供一种判断机器人夹爪最佳抓取高度的处理系统，基于该处理系统可准确识别出不同形状待抓取物体的高度。

为了实现上述目的，本发明公开了一种判断机器人夹爪最佳抓取高度的处理方法，其包括如下步骤：

1)、提供一2D相机和一3D相机，并对所述2D相机和所述3D相机进行标定，以使二者的参考坐标系互相关联；

2)、对所述2D相机采集到的2D图像进行处理，以得到所述待抓取物体的轮廓信息，从而根据所述轮廓信息得到机器人夹爪对所述待抓取物体的夹取位置信息；

3)、将所述夹取位置信息投影到所述3D相机采集到的所述待抓取物体的3D图像上，以在所述3D图像上的两夹取侧形成两条与所述夹取位置信息相对应的投影线；

4)、以两条所述投影线为基准建立一数据选取区域，以夹取方向所在平面的法线方向为基准对所述数据选取区域内的点云数据进行投影，得到包含所述待抓取物体的整体高度的二维投影信息图，从而根据所述二维投影信息图调整所述机器人夹爪的抓取高度和所述3D图像上的所述投影线的位置；

5)、将通过步骤4)调整后的所述投影线反投影到所述2D图像上，从而对所述夹取位置信息进行更新，并将更新后的夹取位置信息所传输给所述机器人夹爪。

与现有技术相比，本发明判断机器人夹爪最佳抓取高度的处理方法采用2D相机与3D相机相结合的处理方式，2D相机拍摄待抓取物体的2D图像，3D相机拍摄待抓取物体的3D图像，使用时，首先通过2D图像获取待抓取物体的轮廓信息和夹取位置信息，然后采用投影的方式将该夹取位置信息投影到3D图像上，获取到3D图像上的与夹取位置对应的投影线，接着通过该投影线创建一数据选取区域，并以夹取方向所在平面的法线方向对该数据选取区域中的点云数据进行投影，生成二维投影信息图，该二维投影信息图完整反映物体的整体整体轮廓和高度信息，因此，结合二维投影信息图和机器人夹爪的缓冲高度合理调节机器人夹爪的抓取高度和D图像上的所述投影线的位置信息，调节完成后，再将投影线反投影到所述2D图像上，机器人夹爪根据更新后的夹取位置信息和抓取高度开始抓取工作；由此可知，通过上述2D相机和3D相机相结合的处理方法，无论是规则物体亦或者是不规则物体，均可控制机器人夹爪下探合适的距离，而不会撞击到待抓取物体，也不会因为下探距离过大造成机器人夹爪的损伤。

较佳地，所述步骤2)中，所述2D相机采集到2D图像后，通过深度学习系统对所述2D图像进行处理，以得到所述待抓取物体的轮廓信息。

较佳地，所述步骤2)中，根据所述轮廓信息得到机器人夹爪对所述待抓取物体的夹取位置信息的方法包括：首先，根据所述轮廓信息，确定所述待抓取物体的重心和物体方向，然后根据所述重心和所述物体方向确定所述待抓取物体的夹取位置和姿态，从而根据所述夹取位置和姿态获取所述夹取位置信息。

较佳地，所述夹取位置与所述待抓取物体的轮廓线之间具有一定的容错距离。

本发明还公开一种基于3D相机判断机器人夹爪最佳抓取高度的处理系统，其包括2D相机、3D相机、标定模块、2D图像处理模块、3D图像处理模块和传输模块；所述2D相机用于摄取待抓取物体的2D图像，所述3D相机用于摄取待抓取物体的3D图像；所述标定模块，用于标定所述2D相机和所述3D相机，以使二者的参考坐标系互相关联；所述2D图像处理模块，用于根据所述2D图像得到所述待抓取物体的轮廓信息，从而根据所述轮廓信息得到机器人夹爪对所述待抓取物体的夹取位置信息，并将所述夹取位置信息投影到所述3D图像上；所述3D图像处理模块，用于根据所接收的所述2D图像处理模块投影的夹取位置信息，在3D图像上形成投影线，并根据该投影线创建数据选取区域，以夹取方向所在平面的法线方向为基准对所述数据选取区域内的点云数据进行投影，得到包含所述待抓取物体的整体高度的二维投影信息图，从而根据所述二维投影信息图调整所述机器人夹爪的抓取高度和所述3D图像上的所述投影线的位置，并将调整后的所述投影线反投影到所述2D图像上，对所述夹取位置信息进行更新；所述传输模块，用于将通过所述3D图像处理模块更新后的夹取位置信息传输给所述机器人夹爪。

较佳地，所述2D图像处理模块中设置有深度学习系统，所述深度学习系统用于对所述2D图像进行处理，以得到所述待抓取物体的轮廓信息

较佳地，所述2D图像处理模块根据所述轮廓信息确定所述待抓取物体的重心和物体方向，然后根据所述重心和所述物体方向确定所述待抓取物体的夹取位置和姿态，从而根据所述夹取位置和姿态获取所述夹取位置信息。

较佳地，所述夹取位置与所述待抓取物体的轮廓线之间具有一定的容错距离。

本发明还公开一种基于3D相机判断机器人夹爪最佳抓取高度的处理系统，其包括：

一个或多个处理器；

存储器；

以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的判断机器人夹爪最佳抓取高度的处理方法的指令。

另外，本发明还公开一种计算机可读存储介质，其包括测试用计算机程序，所述计算机程序可被处理器执行以完成如上所述的判断机器人夹爪最佳抓取高度的处理方法。

附图说明

图1为本发明实施例中判断机器人夹爪最佳抓取高度的处理方法的流程示意图。

图2为本发明实施例中对2D图像的处理过程示意图。

图3为本发明实施例中对3D图像的处理过程其中一示意图。

图4为本发明实施例中对3D图像的处理过程另一示意图。

图5为通过本发明实施例中的处理方法处理后对夹取位置的调整示意图。

图6为现有技术中2D相机与距离传感器结合获取规则物体高度和抓取位置的流程处理流程示意图。

图7现有技术中2D相机与距离传感器结合获取不规则物体高度和抓取位置的流程处理流程示意图。

图8为本发明实施例中机器人夹爪的平面结构示意图。

具体实施方式

为详细说明本发明的技术内容、结构特征、实现原理及所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明公开了一种判断机器人夹爪最佳抓取高度的处理方法，如图8所示，机器人夹爪M0的最大下探距离由其缓冲高度H0决定，调整机器人夹爪M0的下探距离时，综合考虑待抓取物体的整体高度和机器人夹爪M0的缓冲高度H0，如图1，本实施例中的处理方法包括如下步骤：

S10、提供一2D相机和一3D相机，并对2D相机和3D相机进行标定，以使二者的参考坐标系互相关联；2D相机用于摄取到待抓取物体的2D图像，其数据形式为RGB数据，3D相机用于摄取到待抓取物体的3D图像，其数据形式为点云数据；可将2D相机和3D相机安装到机器人抓手的前端工位处。另外，本实施例中的2D相机和3D相机均采用线阵相机，因此2D相机和3D相机还电性连接有一便秘信号分配器，编码信号分配器将编码器信号分成两路信号分别输送给2D相机和3D相机实现相机的图像捕获。然开始工作前，配置2D相机和3D相机的编码器倍频/分频系数，使得2D相机拍摄出来的2D图像和3D相机拍摄出来的3D图像尺寸和真实的物体成比例(即不产生压扁或者增大等形变)。

S11、对2D相机采集到的2D图像进行处理，以得到待抓取物体的轮廓信息，从而根据轮廓信息得到机器人夹爪M0对待抓取物体的夹取位置信息，形成如图2中的两条夹取位置线P4；在本步骤中，通过2D相机采集到一帧完成的2D图像后，可通过深度学习系统获对2D图像数据进行处理，以得到待抓取物体的轮廓信息。

S12、如图3，将夹取位置信息投影到3D相机采集到的待抓取物体的3D图像上，以在3D图像上的两夹取侧形成两条与夹取位置信息相对应的投影线P5。

S13、如图3，以两条投影线P5为基准建立一数据选取区域，具体地，以两条投影线P5为相对独立两边建立一矩形区域，以该矩形区域作为数据选取区域，以夹取方向所在平面的法线方向F2为基准对数据选取区域内的点云数据进行投影，得到包含待抓取物体的整体高度的二维投影信息图(如图4)，从而根据二维投影信息图调整机器人夹爪M0的抓取高度和3D图像上的投影线P5的位置。在本步骤中，通过点云数据的提取和投影，将三维信息转换成二维信息，得到二维投影信息图，通过二维投影信息图可以提取出待抓取物体的高度变化曲线，得出最高点G1、最低点G2以及待抓取物体的高度变化，所以只需要知道机器人夹爪M0的缓冲高度H0，即可对夹取位置进行上下和左右调整移动，当检测出待抓取物体的整体高度大于机器人夹爪M0的缓冲高度H0时，将机器人夹爪M0的下探距离设置为最大缓冲高度H0，当检测出的待抓取物体的整体高度小于机器人夹爪M0的缓冲高度H0时，将夹取人夹取的下探距离设置为待抓取物体的高度附近。如图5，通过上述处理方法后，将机器人夹爪M0的夹取位置由原来的P6位置更新至P7位置。

S14、将通过步骤S13调整后的投影线P5反投影到2D图像上，从而对夹取位置信息进行更新，并将更新后的夹取位置信息所传输给机器人夹爪M0。

进一步地，在上述步骤S11中，根据轮廓信息得到机器人夹爪M0对待抓取物体的夹取位置信息的方法包括：首先，根据轮廓信息，确定待抓取物体的重心和物体方向，然后根据重心和物体方向确定待抓取物体的夹取位置和姿态，从而根据夹取位置和姿态获取夹取位置信息。另外，为了防止由于像素误差，造成机器人夹爪M0下探过程中撞击到物体边沿，夹取位置与待抓取物体的轮廓线之间具有一定的容错距离，从而使得上述实施例中的处理方法具有比较好的容错率。

综上，上述处理方法使用2D相机和3D相机相结合的方式来判断机器人夹爪M0的最佳抓取高度，从根本上保证了抓取物体时的撞击风险，而且由于控制了机器人夹爪M0的下探距离，既提高了机器人夹爪M0的工作效率，又延长了机器人夹爪M0的使用寿命。

为便于上述处理方法的执行，本发明还公开还公开一种基于3D相机判断机器人夹爪最佳抓取高度的处理系统，其包括2D相机、3D相机、标定模块、2D图像处理模块、3D图像处理模块和传输模块；2D相机用于摄取待抓取物体的2D图像，3D相机用于摄取待抓取物体的3D图像；标定模块用于标定2D相机和3D相机，以使二者的参考坐标系互相关联；2D图像处理模块用于根据2D图像得到待抓取物体的轮廓信息，从而根据轮廓信息得到机器人夹爪对待抓取物体的夹取位置信息，并将夹取位置信息投影到3D图像上；3D图像处理模块用于根据所接收的2D图像处理模块投影的夹取位置信息，在3D图像上形成投影线，并根据该投影线创建数据选取区域，以夹取方向所在平面的法线方向为基准对数据选取区域内的点云数据进行投影，得到包含待抓取物体的整体高度的二维投影信息图，从而根据二维投影信息图调整机器人夹爪的抓取高度和3D图像上的投影线的位置，并将调整后的投影线反投影到2D图像上，对夹取位置信息进行更新；传输模块用于将通过3D图像处理模块更新后的夹取位置信息传输给机器人夹爪。关于上述处理系统的工作原理和工作过程详见上述处理方法，在此不再赘述。

本发明还公开一种基于3D相机判断机器人夹爪最佳抓取高度的处理系统，其包括一个或多个处理器、存储器、以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的判断机器人夹爪最佳抓取高度的处理方法的指令。

另外，本发明还公开一种计算机可读存储介质，其包括测试用计算机程序，所述计算机程序可被处理器执行以完成如上所述的判断机器人夹爪最佳抓取高度的处理方法。

以上所揭露的仅为本发明的较佳实例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属于本发明所涵盖的范围。

Claims (10)

1.一种判断机器人夹爪最佳抓取高度的处理方法，其特征在于，包括如下步骤：

1)、提供一2D相机和一3D相机，并对所述2D相机和所述3D相机进行标定，以使二者的参考坐标系互相关联；

2)、对所述2D相机采集到的2D图像进行处理，以得到待抓取物体的轮廓信息，从而根据所述轮廓信息得到机器人夹爪对所述待抓取物体的夹取位置信息；

3)、将所述夹取位置信息投影到所述3D相机采集到的所述待抓取物体的3D图像上，以在所述3D图像上的两夹取侧形成两条与所述夹取位置信息相对应的投影线；

4)、以两条所述投影线为基准建立一数据选取区域，以夹取方向所在平面的法线方向为基准对所述数据选取区域内的点云数据进行投影，得到包含所述待抓取物体的整体高度的二维投影信息图，从而根据所述二维投影信息图调整所述机器人夹爪的抓取高度和所述3D图像上的所述投影线的位置；

5)、将通过步骤4)调整后的所述投影线反投影到所述2D图像上，从而对所述夹取位置信息进行更新，并将更新后的夹取位置信息传输给所述机器人夹爪。

2.根据权利要求1所述的判断机器人夹爪最佳抓取高度的处理方法，其特征在于，所述步骤2)中，所述2D相机采集到2D图像后，通过深度学习系统对所述2D图像进行处理，以得到所述待抓取物体的轮廓信息。

3.根据权利要求1所述的判断机器人夹爪最佳抓取高度的处理方法，其特征在于，所述步骤2)中，根据所述轮廓信息得到机器人夹爪对所述待抓取物体的夹取位置信息的方法包括：首先，根据所述轮廓信息，确定所述待抓取物体的重心和物体方向，然后根据所述重心和所述物体方向确定所述待抓取物体的夹取位置和姿态，从而根据所述夹取位置和姿态获取所述夹取位置信息。

4.根据权利要求1所述的判断机器人夹爪最佳抓取高度的处理方法，其特征在于，所述夹取位置与所述待抓取物体的轮廓线之间具有一定的容错距离。

5.一种基于3D相机判断机器人夹爪最佳抓取高度的处理系统，其特征在于，包括2D相机、3D相机、标定模块、2D图像处理模块、3D图像处理模块和传输模块；

所述2D相机用于摄取待抓取物体的2D图像，所述3D相机用于摄取待抓取物体的3D图像；

所述标定模块，用于标定所述2D相机和所述3D相机，以使二者的参考坐标系互相关联；

所述2D图像处理模块，用于根据所述2D图像得到所述待抓取物体的轮廓信息，从而根据所述轮廓信息得到机器人夹爪对所述待抓取物体的夹取位置信息，并将所述夹取位置信息投影到所述3D图像上；

所述3D图像处理模块，用于根据所接收的所述2D图像处理模块投影的夹取位置信息，在3D图像上形成投影线，并根据该投影线创建数据选取区域，以夹取方向所在平面的法线方向为基准对所述数据选取区域内的点云数据进行投影，得到包含所述待抓取物体的整体高度的二维投影信息图，从而根据所述二维投影信息图调整所述机器人夹爪的抓取高度和所述3D图像上的所述投影线的位置，并将调整后的所述投影线反投影到所述2D图像上，对所述夹取位置信息进行更新；

所述传输模块，用于将通过所述3D图像处理模块更新后的夹取位置信息传输给所述机器人夹爪。

6.根据权利要求5所述的基于3D相机判断机器人夹爪最佳抓取高度的处理系统，其特征在于，所述2D图像处理模块中设置有深度学习系统，所述深度学习系统用于对所述2D图像进行处理，以得到所述待抓取物体的轮廓信息。

7.根据权利要求5所述的基于3D相机判断机器人夹爪最佳抓取高度的处理系统，其特征在于，所述2D图像处理模块根据所述轮廓信息确定所述待抓取物体的重心和物体方向，然后根据所述重心和所述物体方向确定所述待抓取物体的夹取位置和姿态，从而根据所述夹取位置和姿态获取所述夹取位置信息。

8.根据权利要求5所述的基于3D相机判断机器人夹爪最佳抓取高度的处理系统，其特征在于，所述夹取位置与所述待抓取物体的轮廓线之间具有一定的容错距离。

9.一种基于3D相机判断机器人夹爪最佳抓取高度的处理系统，其特征在于，包括：

一个或多个处理器；

存储器；

以及一个或多个程序，其中一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1至4任一项所述的判断机器人夹爪最佳抓取高度的处理方法的指令。

10.一种计算机可读存储介质，其特征在于，包括测试用计算机程序，所述计算机程序可被处理器执行以完成如权利要求1至4任一项所述的判断机器人夹爪最佳抓取高度的处理方法。

Images