CN109986560A - 一种面向多目标种类的机械臂自适应抓取方法 - Google Patents

Abstract

本发明涉及一种面向多目标种类的机械臂自适应抓取方法，本方法在现有技术的基础上，先通过候选抓取点随机采样并判断其合法性，然后带有合法抓取点信息的RGBD图像，再使用构建好的抓取成功率预测神经网络对各个合法抓取点的抓取成功率进行预测，选择抓取成功率最高且不低于85％的抓取点，最后通过机械臂带动夹爪进行抓取；该方法避免了反复训练神经网络或人工调整阈值，能够自适应的抓取大部分重量适中，夹具形状能够适配的物体；不仅显著增加了机器人抓取系统在待抓取目标种类较多，变更较快的场景中的适应能力；而且与现有技术相比，本方法还能够大幅降低使用者在使用过程中的调试和更改成本。

Description

一种面向多目标种类的机械臂自适应抓取方法

技术领域

本发明涉及智能机器人领域，具体为一种面向多目标种类的机械臂自适应抓取方法。

背景技术

现有的机械臂抓取方法中标准的流程是通过RGBD深度相机获取场景图像信息，随后一般通过两种方法进行识别并分割出待抓取物体位置，最终引导机械臂完成抓取动作。

其中一种为几何方法，专利公开号为CN108247635A的“一种深度视觉的机械臂抓取物体的方法”中所描述的利用欧式聚类、LCCP及CPC分割将场景分割后选择感兴趣区域抓取的方法，其主要就是通过几何方法进行抓取物体，但是该方法在面对目标种类较多时分割的准确度及精度均不理想，主要局限性在于上述三种算法都需要人为设定固定阈值，如果存在多种待抓取目标，则每一种目标物体组合的定位识别都需要人工调试选择合适的分割阈值，无法满足机械臂柔性作业的实际需求。

另一种方法为深度神经网络识别，专利公开号为CN108171748A的“一种面向机械臂智能抓取应用的视觉识别与定位方法”中所描述的利用卷积神经网络进行目标定位识别的方法虽然在多目标定位识别方面有更好的表现，但该方法有两个局限：一是受神经网络方法的限制，该方法需要预定义待抓取目标的种类，并收集标注大量训练数据，这使得该方法在实际使用中无法处理目标种类过多的场景；二是机械臂抓取所需的视觉引导信息需要包含位置及抓取姿态两部分，该方法仅给出位置，当待抓取目标对称性较好时适用性较强，但抓取目标非中心对称时，效果相对不理想，因此无法满足复杂的抓取任务。

发明内容

因此针对现有机器臂抓取方法面对目标物体种类过多时无法自适应调整，过程需要人工干预，无法满足实际应用中目标物体种类较多且变化较快的特点这一问题。本发明提出了一种面向多目标种类的机械臂自适应抓取方法，使得系统能够在不反复训练神经网络或人工调整阈值的前提下，自适应的抓取大部分重量适中，夹具形状能够适配的物体。

本发明所要解决的技术问题采用以下技术方案来实现：

一种面向多目标种类的机械臂自适应抓取方法,包括以下步骤：

(1)先进行图像采集以及图像预处理；

(2)在处理后的图像上随机采样若干个候选的抓取位置及姿态对，将其放入一个集合中，形成候选抓取点集合；

(3)依次判断候选抓取点集合中每一个候选抓取点的位置是否合法，若不合法则将其从候选抓取点集合中移除；

(4)重复上述步骤(3)，直到所述候选抓取点集合中仅剩合法的抓取点；

(5)对上述步骤(4)中剩下的合法抓取点，准备其抓取成功率预测的输入数据，即生成带有合法抓取点信息的RGBD图像；

(6)构建抓取成功率预测神经网络及其数据集，以及训练抓取成功率预测神经网络；

(7)将步骤(5)中准备好的输入数据分别输入步骤(6)中的抓取成功率预测神经网络，预测每一个抓取点所对应的抓取成功率；

(8)选择预测成功率最高且不低于85％的抓取点；将其通过旋转矩阵及机械臂逆解转化为机械臂运动；

(9)通过机械臂运动带动固定在其末端的夹爪执行抓取任务。

作为本发明的进一步改进，所述步骤(3)中判断每一个候选抓取点的位置是否合法的方法具体如下：

a)根据每一个抓取点所采集到的图像信息，计算每一个抓取点所对应的笛卡尔空间位姿；

b)通过机器人逆解，计算每一个抓取点笛卡尔空间位姿所对应的机器人关节角；

c)若步骤b)中所得到的关节角出现关节角无解或超出限定范围的情况，则判定其所对应的抓取点为不合法，将该抓取点从候选抓取点集合中移除；

d)对剩下的抓取点，根据步骤b)中所得到的关节角，计算每一个抓取点所对应机器人部件的包围盒,根据所得到的包围盒计算机器人自身部件是否发生碰撞以及机器人部件是否与周边环境发生碰撞；

e)若上述步骤d)中出现碰撞情况，则判定其所对应的抓取点为不合法，将该抓取点从候选抓取点集合中移除。

作为本发明的进一步改进，所述步骤(5)中输入数据的准备步骤具体如下：

a)复制权利要求1步骤(1)中相机所采集的彩色图像；

b)根据固定在机械臂末端的夹爪的物理形状，计算夹爪开合路径以抓取点位置为中心，抓取点姿态为抓取姿态时在深度图上的投影，并在深度图上标记出来；

c)将步骤a)、步骤b)中的图形结合，形成带有抓取位置标记的RGBD图像。

作为本发明的进一步改进，所述步骤(6)中构建抓取成功率预测神经网络的步骤具体如下：

a)在VGG-16网络标准的彩色三通道彩图基础上增加了一个输入包含抓取蒙板的深度图通道；

b)移除pool3，pool4，pool5和conv5；

c)将softmax更改为sigmoid层；

d)调整了后续各层的参数；

e)系统输出对于本次抓取的成功率预测。

作为本发明的进一步改进，所述步骤(6)中构建抓取成功率预测神经网络数据集的方法具体如下：

a)随机抽取若干个生活常见物品种类将其随机摆放在机器人前并进行图像采集，并通过工具在图像上人工标注抓取点；

b)重复步骤a)，形成训练集的输入数据集；

c)通过计算抓取质量评分方法，实机由机器人运动至指定位置进行一次抓取，记录抓取结果，将抓取质量评分放缩至[0,1]区间，之后计算计算评分x抓取结果，并记为抓取成功率；

d)将步骤b)中生成的输入数据集，分别用步骤c)中的方法计算成功率，形成输出数据集。

作为本发明的进一步改进，所述步骤(6)中抓取成功率预测神经网络的训练步骤具体如下：

a)利用上述构建抓取成功率预测神经网络数据集的方法中所提到的方法自建数据集，并初始化抓取成功率预测神经网络各项参数，设置训练参数；

b)通过训练得到的权重计算数据集中每一个抓取点所对应的抓取成功率；

c)比对预测成功率与实际数据成功率的差，更新权重；

d)重复上述训练过程直到模型收敛。

本发明的有益效果是：

本方法在现有技术的基础上，先通过候选多个合法抓取点，再使用抓取成功率预测神经网络对各个抓取点的抓取成功率进行预测，选择抓取成功率最高的抓取点进行抓取，避免了反复训练神经网络或人工调整阈值，能够自适应的抓取大部分重量适中，夹具形状能够适配的物体；不仅显著增加了机器人抓取系统在待抓取目标种类较多，变更较快的场景中的适应能力；而且与现有技术相比，本方法还能够大幅降低使用者在使用过程中的调试和更改成本。

附图说明

下面结合附图和实施例对本发明进一步说明：

图1为本发明实施例中一种面向多目标种类的机械臂自适应抓取方法的流程示意图；

图2为本发明实施例中构建抓取成功率预测神经网络的步骤流程示意图；

图3为本发明实施例中带有候选抓取点集合的深度图；

图4为图3中最佳选择的抓取点的深度图(其中直线代表夹爪的开合方向，两端点代表夹爪两个手指的插入点)。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合附图以及实施例对本发明进一步阐述。

如图1至图4所示，一种面向多目标种类的机械臂自适应抓取方法，包括以下步骤：

(1)先进行图像采集以及图像预处理。

具体地，通过固定在机械臂末端的RGBD相机或深度相机在距离物体约0.7m左右的位置获取场景中的深度图像和彩色图像，所述深度图包含场景中待抓取物体的空间状态信息，深度图像中的每一个像素点对应像素值表示传感器距离待抓取物体的距离，所述彩色图像包含了场景中待抓取物体表面颜色信息和纹理信息。

在采集深度图像和彩色图像后，再利用开源图像处理软件通过Navier-Stokes方法或Telea方法对获取到的深度图像和彩色图像因光照等环境因素导致的像素变化或缺失等问题进行修补处理。

(2)在处理后的图像上随机采样若干个候选的抓取位置及姿态对，将其放入一个集合中，形成候选抓取点集合。

具体地，所述候选的抓取位置的随机采样实际是利用蒙特卡洛方法直接采样获得对应的像素坐标；所述候选的抓取姿态对的随机采样是指三维空间的所以可能存在的欧拉角上进行直接采样获得的随机姿态，并与所获得的位置进行组合即可获得一个候选抓取点；反复重复上述采样过程即可获得一个包含大量候选抓取点的集合。

(3)依次判断选抓取点集合中每一个候选抓取点的位置是否合法，若不合法则将其从候选抓取点集合中移除。

具体地，所述判断是否合法的依据主要是根据候选抓取点的关节角和包围盒来决定的；以一个候选的抓取点为例，具体步骤如下：

根据该抓取点所采集到的深度图像信息、彩色图像信息以及RGBD相机或深度相机的内外参数，计算该抓取点所对应的笛卡尔空间位姿；然后通过机器人逆解，计算该抓取点笛卡尔空间位姿所对应的机器人关节角；然后根据机器人关节角计算出该抓取点所对应机器人部件的AABB包围盒；再利用AABB包围盒以及RGBD相机或深度相机深度图像形成的记录周边环境的八叉树，计算机器人自身部件是否发生碰撞以及机器人部件是否与周边环境发生碰撞；若出现计算机器人关节角无解或超出限定范围的情况时又或者出现发生碰撞的情况时，则判定该抓取点为不合法，反之，则为合法。

(4)重复上述步骤(3)直到所述候选抓取点集合中仅剩下合法的抓取点。

(5)对上述步骤(4)中剩下合法的抓取点，准备其抓取成功率的输入数据，即生成带有合法抓取点信息的RGBD图像。

具体地，所述输入数据的准备过程具体如下：

首先复制上述步骤(1)中所采集到的彩色图像；然后根据固定在机械臂末端上的夹爪的实际物理形状，计算夹爪开合路径以抓取点的位置为中心，抓取点姿态为抓取姿态时在深度图上的投影，并在深度图上标记出来；最后，将上述过程中的彩色图像、带有位置标记深度图像相结合，形成带有抓取位置标记的RGBD图像。

(6)构建抓取成功率预测神经网络及其数据集，以及训练抓取成功率预测神经网络。

具体地，所述抓取成功率预测神经网络的构建步骤如下：

具体参照图2所示，先在VGG-16网络标准的彩色三通道彩图基础上增加了一个输入包含抓取蒙板的深度图通道，同时移除pool3，pool4，pool5和conv5；然后将softmax更改为sigmoid层，并调整了后续各层的参数；系统将输出对本次抓取成功率的预测结果；其中图2中左侧上端位置处为输入端，右侧下端位置处为输出端。

该方法中的各项修改能够在不大幅削弱系统预测准确率的前提下，减少了计算层数和计算时间，加快了神经网络在实际部署应用中的计算速度，从而整体加快机器人抓取工作站的节拍及其节拍稳定性，以及提高了抓取效率。

所述抓取成功率预测神经网络的数据集构建方法如下：

以一个实施例来说明，a)从大约100种生活常见物品中随机抽取10种，然后随机堆叠在机器人面前，并采集场景图片，然后再借助开源软件中的标注工具在场景图片上人工标注抓取点；b)反复重复上述步骤，形成训练集的输入数据集，具体重复次数可以根据实际情况决定；c)利用抓取质量评分方法，通过实机由机器人运动至指定位置进行一次抓取，记录抓取结果是否成功(成功为1，失败为0)；然后将抓取质量评分放缩至[0,1]区间，之后将抓取质量评分与抓取结果之间的乘积作为抓取成功率；d)最后将上述步骤b)中形成的多个输入数据集，分别通过步骤c)中的方法计算出对应的抓取成功率，然后将抓取成功率形成输出数据集。

上述数据集的构建方法的主要效益在于结合了实机实验数据与理论计算结果，显著地减少了真机实验所需要准备的总数据量，从而减少了数据准备的成本。

所述抓取成功率预测神经网络的训练步骤如下：

通过上述抓取成功率预测神经网络构建训练集的方法自行构建属于自己觉的数据集，并采用Xavier技术初始化神经网络各项参数，设置训练参数；然后利用训练得到的权重计算数据集中每个场景图片抓取点所对应的抓取成功率；接着比对预测成功率与实际实际数据集成功率的差，利用反向传播算法更新权重，重复上述训练过程直到模型收敛。

(7)将步骤(5)中准备好的输入数据分别输入步骤(6)中的抓取成功率预测神经网络，预测每一个抓取点所对应的抓取成功率。

具体地，所述抓取成功率预测神经网络是在现有深度卷积神经网络技术基础上利用上述所提到的数据集训练得到的独特的神经网络模型，该神经网络模型的主要作用在于通过向抓取成功率预测神经网络输入一次带有抓取位置标记的RGBD图像后，就能够获得本次抓取的预测成功率。

(8)选择预测成功率最高且不低于85％的抓取点；将其通过旋转矩阵及机械臂逆解转化为机械臂运动。

(9)通过机械臂运动带动固定在其末端的夹爪执行抓取任务。

在实际操作过程中，如从事如电商小型货物物流，无人货仓拣货等目标物种类繁多，更新频率极快的场景；

先通过RGBD相机或深度相机对待抓取的物体进行图像采集并利用开源图像处理软件进行修补处理；然后利用蒙特卡洛方法在深度图上随机采样若干个抓取位置及姿态对，将其形成一个候选抓取点集合；接着通过关节角和碰撞检测的方法移除不合法的抓取点；然后再将剩下合法的抓取点形成对应的输入数据集，并将该输入数据集输入抓取成功率预测神经网络中，获得每一个合法抓取点所对应的抓取成功率，最后选择功率最高且不低于85％的抓取点，并将其转化成机械臂运动，进而通过夹爪执行抓取该物体的任务。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种面向多目标种类的机械臂自适应抓取方法,其特征在于，包括以下步骤：

(1)先进行图像采集以及图像预处理；

(2)在处理后的图像上随机采样若干个候选的抓取位置及姿态对，将其放入一个集合中，形成候选抓取点集合；

(3)依次判断候选抓取点集合中每一个候选抓取点的位置是否合法，若不合法则将其从候选抓取点集合中移除；

(4)重复上述步骤(3)，直到所述候选抓取点集合中仅剩合法的抓取点；

(5)对上述步骤(4)中剩下的合法抓取点，准备其抓取成功率预测的输入数据，即生成带有合法抓取点信息的RGBD图像；

(6)构建抓取成功率预测神经网络及其数据集，以及训练抓取成功率预测神经网络；

(7)将步骤(5)中准备好的输入数据分别输入步骤(6)中的抓取成功率预测神经网络，预测每一个抓取点所对应的抓取成功率；

(8)选择预测成功率最高且不低于85％的抓取点；将其通过旋转矩阵及机械臂逆解转化为机械臂运动；

(9)通过机械臂运动带动固定在其末端的夹爪执行抓取任务。

2.根据权利要求1所述的一种面向多目标种类的机械臂自适应抓取方法,其特征在于：所述步骤(3)中判断每一个候选抓取点的位置是否合法的方法具体如下：

a)根据每一个抓取点所采集到的图像信息，计算每一个抓取点所对应的笛卡尔空间位姿；

b)通过机器人逆解，计算每一个抓取点笛卡尔空间位姿所对应的机器人关节角；

c)若步骤b)中所得到的关节角出现关节角无解或超出限定范围的情况，则判定其所对应的抓取点为不合法，将该抓取点从候选抓取点集合中移除；

d)根据剩下抓取点所对应的关节角，计算每一个抓取点所对应机器人部件的包围盒,根据所得到的包围盒计算机器人自身部件是否发生碰撞以及机器人部件是否与周边环境发生碰撞；

e)若上述步骤d)中出现碰撞情况，则判定其所对应的抓取点为不合法，将该抓取点从候选抓取点集合中移除。

3.根据权利要求1所述的一种面向多目标种类的机械臂自适应抓取方法,其特征在于：所述步骤(5)中输入数据的准备步骤具体如下：

a)复制权利要求1步骤(1)中相机所采集的彩色图像；

b)根据固定在机械臂末端的夹爪的物理形状，计算夹爪开合路径以抓取点位置为中心，抓取点姿态为抓取姿态时在深度图上的投影，并在深度图上标记出来；

c)将步骤a)、步骤b)中的图像结合，形成带有抓取位置标记的RGBD图像。

4.根据权利要求1所述的一种面向多目标种类的机械臂自适应抓取方法,其特征在于：所述步骤(6)中构建抓取成功率预测神经网络的步骤具体如下：

a)在VGG-16网络标准的彩色三通道彩图基础上增加了一个输入包含抓取蒙板的深度图通道；

b)移除pool3，pool4，pool5和conv5；

c)将softmax更改为sigmoid层；

d)调整后续各层的参数；

e)系统输出对于本次抓取的成功率预测。

5.根据权利要求1所述的一种面向多目标种类的机械臂自适应抓取方法,其特征在于：所述步骤(6)中构建抓取成功率预测神经网络数据集的方法具体如下：

a)随机抽取若干个生活常见物品种类将其随机摆放在机器人前并进行图像采集，并通过工具在图像上人工标注抓取点；

b)重复步骤a)，形成训练集的输入数据集；

c)通过计算抓取质量评分方法，实机由机器人运动至指定位置进行一次抓取，记录抓取结果，将抓取质量评分放缩至[0,1]区间，之后计算计算评分x抓取结果，并记为抓取成功率；

d)将步骤b)中生成的输入数据集，分别用步骤c)中的方法计算成功率，形成输出数据集。

6.根据权利要求5所述的一种面向多目标种类的机械臂自适应抓取方法,其特征在于：所述步骤(6)中抓取成功率预测神经网络的训练步骤具体如下：

a)利用权利要求5中所提到的方法自建数据集，并初始化抓取成功率预测神经网络各项参数，设置训练参数；

b)通过训练得到的权重计算数据集中每一个抓取点所对应的抓取成功率；

c)比对预测成功率与实际数据成功率的差，更新权重；

d)重复上述训练过程直到模型收敛。