CN108748149A - 一种复杂环境下基于深度学习的无标定机械臂抓取方法 - Google Patents

Abstract

本发明涉及基于视觉的机械臂抓取物体方法，特别是一种复杂环境下基于深度学习的无标定机械臂抓取方法。其步骤包括：S10，搭建YOLOv2物体检测模型；S20，设定目标物体、摄像机和机械臂三者之间的位置关系；S30，对包含目标物体的图片中的各类物体进行检测，输出检测结果；S40，初始化机械臂末端抓手的位置和抓取姿态，对机械臂的抓手进行检测，输出检测结果；S50，摄像机对目标物体和抓手进行检测，输出检测信息；S60，结合P控制和闭环控制方法控制机械臂向目标物体移动；S70，抓取目标物体。本发明的机械臂抓取目标物的方法，可以适应在复杂环境下的目标物抓取，大大减少了数据处理的复杂度和数据计算量，提高抓取效率。

Description

一种复杂环境下基于深度学习的无标定机械臂抓取方法

技术领域

本发明涉及基于视觉的机械臂抓取物体方法，特别是一种复杂环境下基于深度学习的无标定机械臂抓取方法。

背景技术

在实现基于视觉的机械臂物体抓取的过程中，需要用摄像机采集目标物体图片、标定摄像机和机械臂之间的相对位置，计算目标物体的三维信息。

现有技术中基于视觉的机械臂物体抓取主要有三种：第一种，单个物体的环境下，摄像机和机械臂的位置固定，手眼关系标定，使用彩色相机结合深度相机的摄像机采集图片，计算目标物体在摄像机坐标系下的三维坐标，根据摄像机坐标系和机械臂坐标系之间的转换矩阵，计算出目标物体在机械臂坐标系下三维坐标；再控制机械臂进行抓取；第二种，单个物体的环境下，摄像机和机械臂的位置固定，手眼关系标定，采用双目摄像机或多个摄像机采集物体的信息，对目标物体进行三维重构，得到目标物体的形状信息和三维坐标，最后控制机械臂进行抓取；第三种，单个物体的情况下，摄像机和机械臂位置固定，手眼关系没有标定，利用雅可比矩阵，直接从图像上观察机器人抓手和目标物体的位置误差计算出为消除这个误差机器人手抓的期望运动。

由于通过摄像机控制机械臂抓取目标物体，涉及到目标图像坐标系、机械臂坐标系和摄像机坐标系等三个坐标系，以上三种方法中，涉及到矩阵计算或三维重构目标物体，其数据处理方法复杂，计算量大；并且以上抓取方法只适用于单个物体存在的环境下，无法在多个物体存在的复杂环境下进行物体抓取。

发明内容

针对以上不足，本发明提供了一种复杂环境下基于深度学习的无标定机械臂抓取方法，该方法不仅能够在多个物体存在的复杂环境中识别多个物体类别，根据需要抓取目标物体，而且在抓取前不需要对摄像机和机械臂之间的相对位置进行繁杂的标定，大大减少了数据处理的复杂度和数据计算量。

本发明的技术方案为：

一种复杂环境下基于深度学习的无标定机械臂抓取方法，包括以下步骤：

S10，搭建YOLOv2物体检测模型；

S20，设定目标物体、摄像机和机械臂三者之间的位置关系，使图像坐标系的u坐标轴方向与机械臂坐标系的Y_R坐标轴方向相对应，摄像机坐标系的Z_C坐标轴方向与机械臂坐标系的X_R坐标轴方向相对应；

S30，YOLOv2物体检测模型对包含目标物体的图片中的各类物体进行检测，输出检测信息；

S40，初始化机械臂末端抓手的位置和抓取姿态，YOLOv2物体检测模型对抓手进行检测，输出检测信息；

S50，摄像机对目标物体和抓手进行检测，输出检测信息；

S60，结合P控制和闭环控制方法控制机械臂向目标物体移动；

S70，抓取目标物体。

所述步骤S60具体为：

S61，计算出在图像坐标系的u坐标轴方向上机械臂的抓手边界框中心点和目标物体边界框中心点的距离d_u；

S62，使用P控制算法计算出抓手在机械臂坐标系的Y_R坐标轴方向上需要移动的距离d_{r_y}＝d_u×P1，P1为控制系数；

S63，控制机械臂在Y_R坐标轴方向上朝目标物体移动，实时检测抓手位置并计算出d_u，直到|d_u|≤Thresh_du，Thresh_du为抓手和目标物体在图像坐标系的u坐标轴方向上的距离阈值；

S64，计算出在摄像机坐标系的Z_C坐标轴方向上机械臂的抓手和目标物体的距离d_z；

S65，使用P控制算法计算出抓手在机械臂坐标系的X_R坐标轴方向上需要移动的距离d_{r_x}＝d_z×P2，P2为控制系数；

S66，控制机械臂在X_R坐标轴方向上朝目标物体移动，实时检测抓手位置并计算出d_z，直到|d_z|≤Thresh_dz，Thresh_dz为抓手和目标物体在摄像机坐标系的Z_C坐标轴方向上的距离阈值；

S67，控制机械臂垂直向下运动至抓手距离工作台3cm处。

所述步骤S61中距离d_u的计算方法为：所述步骤S30中输出的检测信息包括目标物体边界框的中心点在图像坐标系中的坐标(U_object，V_object)，所述步骤S40中输出的检测信息包括抓手边界框的中心点在图像坐标系中的坐标(U_robot，V_robot)，所述d_u＝U_robot-U_object。

所述步骤S64中距离d_z的计算方法为：所述步骤S50输出目标物体和抓手边界框对应的深度信息，使用聚类算法根据目标物体和抓手边界框对应的深度信息，分别计算出目标物体和抓手到摄像机的距离d_object和d_robot，所述d_z＝d_robot-d_object。

在使用聚类算法计算目标物体到摄像机的距离时，使用目标物体边界框对应的深度值，将各个深度值对应的像素个数按降序排列，取对应像素个数最多的深度值为距离d_object；当使用聚类算法计算抓手到摄像机的距离时，使用抓手边界框对应的深度值，将各个深度值对应的像素个数按降序排列，取对应像素个数最多的深度值为距离d_robot。

所述步骤S50和步骤S60之间还包括以下步骤：根据S30输出的检测信息计算出目标物体的高宽比，根据目标物体的高宽比调整机械臂的抓手的抓取姿态。

所述抓取姿态有三种：竖向垂直于工作台、横向垂直于工作台和平行于工作台，不同抓取姿态与目标物体高宽比关系为，当高宽比≤r₁时，抓取姿态为竖向垂直于工作台，当r₁＜高宽比＜r₂时，抓取姿态为横向垂直于工作台，当高宽比≥r₂时，抓取姿态为平行于工作台，所述r₁、r₂为高宽比参数。

所述步骤S10的YOLOv2物体检测模型的搭建过程包括以下步骤：

S11，使用图像采集设备，采集N类物体的图片，每类物体有M张图片(M≥200)；

S12，使用软件标出M×N张图片中各类物体的类别和边界框；

S13，每类物体随机选取0.8×M张图片作为训练集，随机选取0.2×M张图片作为测试集；

S14，使用训练集训练YOLOv2模型，使用测试集测试YOLOv2模型，得到含有模型参数的YOLOv2物体检测模型。

所述步骤S30输出的检测信息还包括各类物体的类别和置信率。

本发明通过搭建YOLOv2物体检测模型，能够在多个物体存在的复杂环境下按照目标物体的类别，实施目标物体的依次抓取。YOLOv2物体检测模型反馈目标物体边界框的长度信息，跟据边界框的长度信息计算出高宽比，从而调整抓手的抓取姿态，保证抓取操作的准确无误；YOLOv2物体检测模型还反馈目标物体和抓手的边界框中心点，可以计算两中心点在图像坐标系的u坐标轴方向上的距离，同时，利用摄像机采集目标物体和抓手边界框对应的深度信息，可以计算两者在摄像机坐标系的Z_C坐标轴方向上的距离；由于图像坐标系的u坐标轴方向与机械臂坐标系的Y_R坐标轴方向相对应，摄像机坐标系的Z_C坐标轴方向与机械臂坐标系的X_R坐标轴方向相对应，可以通过P控制和闭环控制方法，控制机械臂在机械臂坐标系的Y_R坐标轴和X_R坐标轴方向上移动以上两个距离，使机械臂处于目标物体的上方，向下移动，即可抓取物体。

本发明的机械臂抓取目标物的方法，无需大量的数据计算，且可以适应在复杂环境下对不同种类目标物抓取，大大减少了数据处理的复杂度和数据计算量，降低计算成本，提高抓取效率。

附图说明

图1为本发明机械臂抓取方法流程图；

图2为本发明步骤S80的流程图；

图3为本发明步骤S10的流程图；

图4为本发明抓取方法的实施场景图；

图5为本发明的YOLOv2物体检测模型结构图；

图6为本发明的机械臂抓手的三种抓取姿态与目标物体高宽比的对比图。

具体实施方式

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

参考图1，本发明的复杂环境下基于深度学习的无标定机械臂抓取方法，包括以下步骤：

S10，搭建YOLOv2物体检测模型；

YOLOv2是基于深度学习方法的端到端实时目标检测系统，与其它的检测系统R-CNN和SSD相比，其精确度更高，检测速度更快，可用于快速、准确以及识别大范围种类数量。其模型结构图如图5所示。

如图3所示，YOLOv2物体检测模型的搭建过程包括以下步骤：

S11，使用图像采集设备，采集N类物体的图片，每类物体有M张图片，M≥200；

S12，使用labelImg软件标出M×N张图片中各类物体的类别和边界框；

S13，每类物体随机选取0.8×M张图片作为训练集，随机选取0.2×M张图片作为测试集；

S14，按照Darknet官网给出的教程安装Darknet框架，选择YOLOv2模型作为训练模型，使用训练集训练YOLOv2模型，使用测试集测试YOLOv2模型，得到含有模型参数的YOLOv2物体检测模型。

S20，如图4所示，设定目标物体10、摄像机20和机械臂30三者之间的位置关系，右侧由上至下分别是机械臂坐标系、摄像机坐标系和图像坐标系，其中图像坐标系的u坐标轴方向与机械臂坐标系的Y_R坐标轴方向相对应，摄像机坐标系的Z_C坐标轴方向与机械臂坐标系的X_R坐标轴方向相对应；

S30，YOLOv2物体检测模型对包含目标物体10的图片中的各类物体进行检测，输出各类物体类别、置信率及各类物体在图像坐标系中的边界框的中心点(U_object，V_object)、各类物体边界框的宽w和高h；

S40，初始化机械臂30末端抓手31的位置和抓取姿态，YOLOv2物体检测模型对抓手31进行检测，输出抓手31边界框的中心点(U_robot，V_robot)；

S50，利用摄像机20检测目标物体10和抓手31边界框对应的深度信息；

S60，计算目标物体10的高宽比ratio，ratio＝h/w；

S70，根据目标物体10的高宽比ratio调整机械臂30的抓手31的抓取姿态；如图6所示，抓取姿态有三种：A、竖向垂直于工作台，B、横向垂直于工作台，C、平行于工作台，不同抓取姿态与目标物体10高宽比ratio关系为，当ratio≤r₁时，抓取姿态为A：竖向垂直于工作台，当r₁＜ratio＜r₂时，抓取姿态为B：横向垂直于工作台，当ratio≥r₂时，抓取姿态为C：平行于工作台，r₁、r₂为高宽比参数。

S80，如图2所示，结合P控制和闭环控制方法控制机械臂30向目标物体10移动；

S81，计算在图像坐标系的u坐标轴方向上机械臂30的抓手31边界框中心点和目标物体10边界框中心点的距离d_u，d_u＝U_robot-U_object。

S82，使用P控制算法计算出抓手31在机械臂坐标系的Y_R坐标轴方向上(即图像坐标系的u坐标轴方向上)需要移动的距离d_{r_y}＝d_u×P1，P1为控制系数，d_u的正负代表移动的方向；

S83，控制机械臂30在Y_R坐标轴方向上朝目标物体10移动，实时检测抓手31位置并计算出d_u，直到|d_u|≤Thresh_du，Thresh_du为抓手31和目标物体10在图像坐标系的u坐标轴方向上的距离阈值，当距离d_u小于该阈值时认为抓手31和目标物体10在图像坐标系的v坐标轴方向上对齐；

S84，计算在摄像机坐标系的Z_C坐标轴方向上机械臂30的抓手31和目标物体10的距离d_z，d_z＝d_robot-d_object；

使用聚类算法根据目标物体10边界框对应的深度信息计算出目标物体10到摄像机20的距离d_object，使用目标物体边界框的深度值，将各个深度值对应的像素个数按降序排列，取对应像素个数最多的深度值为距离d_object；

按使用聚类算法根据抓手31边界框对应的深度信息计算出抓手31到摄像机20的距离d_robot，使用抓手边界框对应的深度值，将各个深度值对应的像素个数按降序排列，取对应像素个数最多的深度值为距离d_robot；

S85，使用P控制算法计算出抓手31在机械臂坐标系的X_R坐标轴方向上(即摄像机坐标系的Z_C坐标轴方向上)需要移动的距离d_{r_x}＝d_z×P2，P2为控制系数，d_z的正负代表移动的方向；

S86，控制机械臂30在X_R坐标轴方向上朝目标物体10移动，实时检测抓手31位置并计算出d_z，直到|d_z|≤Thresh_dz，Thresh_dz为抓手31和目标物体10在摄像机坐标系的Z_C坐标轴方向上的距离阈值，当距离d_z小于该阈值时认为抓手31和目标物体10在摄像机坐标系的Y_C坐标轴方向上对齐；

S87，此时抓手31位于目标物体10的正上方，控制机械臂30垂直向下运动至抓手31距离工作台3cm处。

S90，闭合抓手31，抓取目标物体10，并将其放置到指定位置。

循环执行步骤S40-S90，直至将工作台上所有物体抓取、放置到指定位置，结束抓取任务。

以上公开的仅为本发明的实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (9)

1.一种复杂环境下基于深度学习的无标定机械臂抓取方法，其特征在于，包括以下步骤：

S10，搭建YOLOv2物体检测模型；

S20，设定目标物体(10)、摄像机(20)和机械臂(30)三者之间的位置关系，使图像坐标系的u坐标轴方向与机械臂坐标系的Y_R坐标轴方向相对应，摄像机坐标系的Z_C坐标轴方向与机械臂坐标系的X_R坐标轴方向相对应；

S30，YOLOv2物体检测模型对包含目标物体(10)的图片中的各类物体进行检测，输出检测信息；

S40，初始化机械臂(30)末端抓手(31)的位置和抓取姿态，YOLOv2物体检测模型对抓手(31)进行检测，输出检测信息；

S50，摄像机(20)对目标物体(10)和抓手(31)进行检测，输出检测信息；

S60，结合P控制和闭环控制方法控制机械臂(30)向目标物体(10)移动；

S70，抓取目标物体(10)。

2.根据权利要求1所述的抓取方法，其特征在于，所述步骤S60具体为：

S61，计算出在图像坐标系的u坐标轴方向上机械臂(30)的抓手(31)边界框中心点和目标物体(10)边界框中心点的距离d_u；

S62，使用P控制算法计算出抓手(31)在机械臂坐标系的Y_R坐标轴方向上需要移动的距离d_{r_y}＝d_u×P1，P1为控制系数；

S63，控制机械臂(30)在Y_R坐标轴方向上朝目标物体(10)移动，实时检测抓手(31)位置并计算出d_u，直到|d_u|≤Thresh_du，Thresh_du为抓手(31)和目标物体(10)在图像坐标系的u坐标轴方向上的距离阈值；

S64，计算出在摄像机坐标系的Z_C坐标轴方向上机械臂(30)的抓手(31)和目标物体(10)的距离d_z；

S65，使用P控制算法计算出抓手(31)在机械臂坐标系的X_R坐标轴方向上需要移动的距离d_{r_x}＝d_z×P2，P2为控制系数；

S66，控制机械臂(30)在X_R坐标轴方向上朝目标物体(10)移动，实时检测抓手(31)位置并计算出d_z，直到|d_z|≤Thresh_dz，Thresh_dz为抓手(31)和目标物体(10)在摄像机坐标系的Z_C坐标轴方向上的距离阈值；

S67，控制机械臂(30)垂直向下运动至抓手(31)距离工作台3cm处。

3.根据权利要求2所述的抓取方法，其特征在于，所述步骤S61中距离d_u的计算方法为：所述步骤S30中输出的检测信息包括目标物体(10)边界框的中心点在图像坐标系中的坐标(U_object，V_object)，所述步骤S40中输出的检测信息包括抓手(31)边界框的中心点在图像坐标系中的坐标(U_robot，V_robot)，所述d_u＝U_robot-U_object。

4.根据权利要求2所述的抓取方法，其特征在于，所述步骤S64中距离d_z的计算方法为：所述步骤S50输出目标物体(10)和抓手(31)边界框对应的深度信息，使用聚类算法根据目标物体(10)和抓手(31)边界框对应的深度信息，分别计算出目标物体(10)和抓手(31)到摄像机(20)的距离d_object和d_robot，所述d_z＝d_robot-d_object。

5.根据权利要求4所述的抓取方法，其特征在于，在使用聚类算法计算目标物体(10)到摄像机(20)的距离时，使用目标物体(10)边界框对应的深度值，将各个深度值对应的像素个数按降序排列，取对应像素个数最多的深度值为距离d_object；当使用聚类算法计算抓手(31)到摄像机(20)的距离时，使用抓手(31)边界框对应的深度值，将各个深度值对应的像素个数按降序排列，取对应像素个数最多的深度值为距离d_robot。

6.根据权利要求3-5中任一项所述的抓取方法，其特征在于，所述步骤S50和步骤S60之间还包括以下步骤：根据S30输出的检测信息计算出目标物体(10)的高宽比，根据目标物体(10)的高宽比调整机械臂(30)的抓手(31)的抓取姿态。

7.根据权利要求6中任一项所述的抓取方法，其特征在于，所述抓取姿态有三种：竖向垂直于工作台、横向垂直于工作台和平行于工作台，不同抓取姿态与目标物体(10)高宽比关系为，当高宽比≤r₁时，抓取姿态为竖向垂直于工作台，当r₁＜高宽比＜r₂时，抓取姿态为横向垂直于工作台，当高宽比≥r₂时，抓取姿态为平行于工作台，所述r₁、r₂为高宽比参数。

8.根据权利要求7所述的抓取方法，其特征在于，所述步骤S10的YOLOv2物体检测模型的搭建过程包括以下步骤：

S11，使用图像采集设备，采集N类物体的图片，每类物体有M张图片(M≥200)；

S12，使用软件标出M×N张图片中各类物体的类别和边界框；

S13，每类物体随机选取0.8×M张图片作为训练集，随机选取0.2×M张图片作为测试集；

S14，使用训练集训练YOLOv2模型，使用测试集测试YOLOv2模型，得到含有模型参数的YOLOv2物体检测模型。

9.根据权利要求7所述的抓取方法，其特征在于，所述步骤S30输出的检测信息还包括各类物体的类别和置信率。