CN113681552A - 一种基于级联神经网络的机器人混杂物体五维抓取方法 - Google Patents

Abstract

本发明属于智能机器人领域，具体涉及到一种基于级联神经网络的机器人混杂物体五维抓取方法。首先使用卷积神经网络对输入图像进行掩膜实例分割，提取适合抓取实例特征区域；接着以特征区域对应RGB信息作为抓取角度评估模块输入进一步评估抓取角度值；然后，以特征区域对应深度信息作为抓取置信度评估区域，进行反卷积获得原始图像的抓取置信度；最后选取抓取置信度最高的点作为抓取点，结合预测抓取角度值，通过对机械臂的运动规划和控制完成抓取任务。本发明提供的级联神经网络机器人混杂物体抓取方法能够有效的解决混杂物体的高效高精度抓取和分拣问题，提高机器人与人的交互能力。

Description

一种基于级联神经网络的机器人混杂物体五维抓取方法

技术领域

本发明属于智能机器人领域，具体涉及到一种基于级联神经网络的机器人混杂物体抓取方法。

背景技术

机器人被广泛地应用于工业生产和医疗等领域中，如零件装配，工件分拣等。机器人抓取是机器人与外界交互的重要途径。然而，机器人的操作环境往往是变化的，如不规则的物体形状或者物品的堆叠、截断等情况往往会引起机器人抓取成功率低甚至抓取失败。因此，如何实现在混杂物体环境下机器人高精度快速抓取仍然具有很大的挑战。目前，机器人抓取方法主要为分析法和数据驱动法。分析法采用手工设计提取物体特征或根据物体的三维模型来获取物体的最优抓取位置，但是该方法泛化性较差，难以适用于未知物体；与基于分析法的机器人抓取方法相比，数据驱动法基本能够在混杂物体环境下抓取物体。但抓取物的形状结构不同和传感器噪声等的不确定性，会导致在非结构化环境下有效地抓取不同种类的物体变得很困难。目前基于数据驱动的机器人抓取方法大多基于RGB、深度或RGB-D图像来生成矩形抓取区域，大多此类抓取方法受限于物体遮挡、截断等情况的影响，难以完成自主精准抓取。在实际混杂物体抓取环境下，如何快速的准确的高质量的获取抓取物的抓取位置是当前机器人抓取算法的主要突出问题。基于级联神经网络的机器人混杂物体抓取方法可对机器人抓取角度和抓取位置进行精细估计，适用于机器人混杂物体自主抓取应用。

发明内容

本发明主要解决的问题是克服上述的不足，针对目前机器人抓取任务重，混杂物体环境下抓取精度和实时性低等问题，提供一种基于级联神经网络的机器人混杂物体抓取方法，可获得混杂环境下物体的抓取区域和对机器人抓取物的角度和抓取位置进行精细评估，并提取抓取点和抓取姿态保证机器人能够准确的抓取物体，适用于机器人混杂物体自主抓取应用。

为了达到上述目的，本发明采用以下技术手段。

一种基于级联神经网络的机器人混杂物体抓取方法，包括以下步骤：

针对混杂不规则物体抓取环境，构建五维抓取位姿表示方法，包含抓取物的抓取点、抓取角度和抓取权重。五维抓取位姿表示方法定义为：

G＝(u,v,h,θ,Q) (1)

其中，u和v表示图像坐标系中的坐标，h表示深度，θ表示抓取角度，Q表示抓取置信度；

以包含目标物体的原始观测图作为输入，使用深度卷积神经网络的掩膜分支进行实例分割，提取适合抓取物的实例特征，去除环境背景，对输入中的无关噪声进行滤波处理，以获得可能适合抓取的目标区域。

以适合抓取的目标区域作为特征输入，使用Mask-RCNN掩膜方法的外接最小邻接矩形生成抓取框，作为抓取的目标位置域。

在获取抓取框之后，需要进一步评估抓取角度以适应抓取物体姿态的变化。以抓取目标位置域内的抓取特征的RGB图像作为输入，通过抓取深度卷积神经网络的抓取角度评估网络计算抓取框的抓取角度，获得抓取框合适的抓取角度。卷积神经网络包含4层卷积层和1层全连接层，卷积层中Relu函数作为激活函数，以损失函数来评价抓取预测角度与真实抓取角度间的误差。

在获取抓取框后，要进一步精确抓取点位置。通过抓取目标位置域计算获取抓取目标位置域的深度图。将其作为抓取深度卷积神经网络的抓取点置信度评估网络评估的输入，以评估输入图像中每个像素点的置信度，获得合适的抓取点的位置。卷积神经网络包含2层卷积层、3层残差层、2层反卷积层，采用Batch Normalize方法进行归一化处理，Relu函数作为激活函数，SmoothL1函数作为损失函数，用于评估抓取框内的每个像素点的抓取可行性，通过反卷积输出与原始图大小相同的热图。

在抓取框中选取置信度最高的像素点作为抓取目标点，结合抓取角度通过相机内外参数转换为相机坐标下的实际坐标，通过坐标转换关系获得抓取点在机器人坐标系下的位置和姿态，进而规划机器人的运动轨迹和末端夹具的执行，完成机器人的作业任务。

本发明构建了基于级联神经网络的抓取检测模型，通过三个子卷积深度学习框架对已有的训练数据进行训练，并优化其参数，使得训练得到的基于级联的神经网络模型具备一定对混杂环境下的物体进行识别计算出抓取点、抓取角度的能力。在已有的获取抓取框中心点作为抓取点的技术下有了抓取像素点置信度的评估并选取置信度最高点作为抓取点实现精确抓取的技术提高，另外能够更准确的评估抓取点的抓取角度。本发明可以在混杂物体的环境下进行稳定快速的识别和抓取，提高了机器人与外界交互的安全性和可靠性。

附图说明

以下结合附图对本发明的具体结构以及产生的技术效果作进一步的说明，以充分地了解本发明的目的和效果。

图1是本发明抓取算法实现框架的示意图

图2是抓取框定义表示图

图3是部分实例中抓取的热图

具体实施方式

为了使本技术领域的人员更好的理解本发明中的技术方案，下面将结合本发明实例中的附图，对本发明实例中的技术方案进一步说明具体实施方式。在描述中实施例只是基于本发明的一种实施例，本领域普通技术人员在没有创造性劳动的前提下所获得的所有其他实施例，都应到属于本发明的保护范围。

本发明是一种基于级联神经网络的机器人混杂物体抓取方法，其实例抓取流程如图1所示。参见图1，本发明基于级联神经网络，使用卷积神经网络获取输入图像中的抓取物框，通过抓取深度卷积神经网络的抓取角度评估网络评估抓取角度，通过抓取深度卷积神经网络的抓取点置信度评估网络评估每个像素点的置信度，选取置信度最高的点作为抓取点，最后通过坐标转换关系将抓取点转换到机械臂坐标系下再进一步规划和执行抓取。

参见图1，本发明一种基于级联神经网络的机器人混杂物体抓取方法，包括以下步骤：

步骤一：通过RGB-D传感器获取当前场景下的RGB图和Depth图，其中RGB图为当前场景下的彩色图像包含彩色信息，Depth图为与RGB图对应坐标点对应的深度信息；

步骤二：以获得的RGB图像作为输入，使用基于Mask-RCNN的深度卷积神经网络实例分割，提取适合抓取物的实例特征，去除环境背景。Mask-RCNN神经网络框架通过训练学习能够较好的提取出图片中的对象实例，并能与背景进行分割，以获得单一的对象。之后对输入中的无关噪声进行滤波处理，以获得可能适合抓取的目标区域。

步骤三：在全局RGB图中，提取出抓取框内的RGB图像作为输入，通过抓取深度卷积神经网络的抓取角度评估网络计算抓取框的抓取角度，获得抓取框合适的抓取角度。具体过程如下：

将抓取框内的图像输入到构建的角度评估网络中，在前期通过大量的数据训练得到预测模型。在训练过程中，首先针对输入进行Batch Normalize方法的归一化处理，再输入到网络中，网络的卷积层内核由16、32、64、128个组成，卷积层采用Relu函数作为激活函数，全连接层的神经元个数为4096个。在训练中不断调整更新为模型权重参数

最后采用L2范数作为网络的损失函数，以预测角度值与期待角度值间的关系作为损失输出，在网络中逐步优化使损失最低，以获取最佳预测角度。其损失函数如下所示：

其中，θ^*为预测的角度值，θ₀为期望的角度值，λ为正则化项，ω_i为模型权重参数，N为参数个数。

最终在多层感知机的学习观测后输出抓取框的预测抓取角度，预测角度可精确到1°，相比于采样评估方法，检测精度和检测速度都有了较大的提升。

步骤四：从RGB-D相机获得当前场景的RGB图像和Depth图像之后，其二者在每个像素点均为对应关系，通过此对全局Depth图像进行裁剪获得对应抓取框的Depth局部图，以此作为抓取深度卷积神经网络的抓取点置信度评估网络评估的输入来计算抓取可行性。

步骤五：以获得的抓取框以及其包含的Depth图像作为输入，使用抓取深度卷积神经网络的抓取点置信度评估网络评估输入图像每个像素点的置信度，选取置信度最高的点作为抓取点。具体过程如下：

将抓取框内的Depth局部图像输入到构建的抓取置信度评估网络中，在前期通过大量的数据训练得到预测模型。在训练过程中，首先针对输入进行Batch Normalize方法的归一化处理，之后输入到网络中，网络的卷积层内核由16、32个，反卷积层内核由32、16个组成，卷积层采用Relu函数作为激活函数。

进一步采用Smooth L1函数作为网络的损失函数，网络通过遍历图像中的所有像素点，计算其抓取可行性，对抓取点的置信度最佳化优化。

最后在反卷积层的作用下，将抓取框的图像扩展回原图像尺寸大小的图像，以获得在原尺寸图像下的抓取置信度分布。实例图如图3所示。

步骤六：选取置信度最高的点作为抓取点，根据相机内外参获取抓取点在相机坐标系下的实际坐标值，结合步骤三中的抓取角度得到在混杂物体环境下待抓取物体的抓取位姿。通过坐标转换关系获得在机器人坐标系下的机器人的抓取姿态以及末端夹持器的姿态，以此规划机器人进行抓取作业完成目标任务。

步骤七：本发明使用抓取检测速率和抓取成功率作为评估指标，以评估本发明的抓取性能。抓取检测速率的评估为从视觉系统获取图像开始，到计算出机器人抓取位姿为止，以单位时间内抓取检测数作为评估值。抓取成功率评估流程为：首先对已有的数据集中正确抓取区域赋值正标签，将数据集中图像以此输入到已训练好的网络，输出的预测值与正确抓取值进行比较，在一定阈值范围下，统计符合正标签的抓取数目。最后以总输入数量为基数，计算抓取成功百分比得到抓取成功率，以评估本发明的性能。本发明在测试集上抓取检测速率达到21帧/s，抓取成功率达到95.2％。相比已有的抓取方法相比，本方法的效果有显著的提高。

综上所述，本发明基于级联神经网络的机器人混杂物体抓取方法，通过深度相机在混杂物体环境下获得观测图像，实现抓取物的检测获得抓取框，抓取框内的角度检测，以及物体抓取置信度检验，能够获得物体的抓取位姿，实现了混杂物体环境下的机器人抓取作业，提高了机器人作业与外界交互的能力。

以上实施例仅表达本发明的实施方式，其描述具体和详细，但并不能理解为对发明专利范围的限制。对于本领域的普通技术人员来说根据上述描述的技术方案下，还可以做出若干变形和改进，这些都属于本发明的保护范围。本发明专利的保护范围应以所附权利要求为准。以上实例实施方式所呈现的描述仅用以说明本发明的技术方案，并不想要成为毫无遗漏的，也不想要把本发明限制为所描述的精确形式。显然，针对本领域普通技术人员根据上述教导还可以做出很多实施例和应用。因此，本教导的范围不应该参照上述的描述来确定，而应参照权利要求以及权利要求所拥有的等价物的全部范围来确定。

Claims (4)

1.一种基于级联神经网络的机器人混杂物体五维抓取方法，其特征在于，包括以下步骤：

步骤(1)针对混杂不规则物体抓取环境，构建五维抓取姿态表示，用于在抓取中表示抓取的目标，所述的五维抓取姿态表示如下：

G＝(u,v,h,θ,Q) (1)

其中，u和v表示图像坐标系中的坐标，h表示深度，θ表示抓取角度，Q表示抓取置信度；

步骤(2)以包含目标物体的原始观测图作为输入，使用深度卷积神经网络的掩膜进行实例分割，提取适合抓取物的实例特征，获得适合抓取的目标区域；

步骤(3)以适合抓取的目标区域作为特征输入，使用Mask-RCNN掩膜方法的外接最小邻接矩形生成抓取框，提取抓取的目标位置域；

步骤(4)以目标位置域匹配的RGB图像作为输入，通过抓取深度卷积神经网络的抓取角度评估网络进行抓取角度的评估，获得抓取目标的抓取角度；

步骤(5)以目标位置域匹配的Depth局部图作为输入，通过抓取深度卷积神经网络的抓取点置信度评估网络评估输入图像每个像素点的置信度；

步骤(6)选取置信度最高点作为目标物的抓取点，通过相机内外参计算相机坐标系下的抓取点位置，通过机器人坐标转换关系，获取机器人坐标系下的抓取目标姿态，进而控制机器人执行任务，完成抓取。

2.根据权利要求1所述的机器人混杂物体五维抓取方法，其特征在于：

步骤(4)中，将抓取框内的图像输入到构建的角度评估网络中，首先针对输入进行Batch Normalize方法的归一化处理，再输入到角度评估网络中，网络包括包含4层卷积层和1层全连接层，网络的卷积层内核由16、32、64、128个组成，卷积层采用Relu函数作为激活函数，全连接层的神经元个数为4096个；在训练中不断调整更新为模型权重参数

L2范数作为网络的损失函数，以预测角度值与期待角度值间的关系作为损失输出，在网络中逐步优化使损失最低，以获取最佳预测角度；其损失函数如下所示：

其中，θ^*为预测的角度值，θ₀为期望的角度值，λ为正则化项，ω_i为模型权重参数，N为参数个数。

最终在多层感知机的学习观测后输出抓取框的预测抓取角度。

3.根据权利要求1或2所述的机器人混杂物体五维抓取方法，其特征在于：

从RGB-D相机获得RGB图像和Depth图像之后，其二者在每个像素点均为对应关系，通过此对全局Depth图像进行裁剪获得对应抓取框的Depth局部图，以Depth局部图作为抓取深度卷积神经网络的抓取点置信度评估网络评估的输入来计算抓取可行性。

4.根据权利要求3所述的机器人混杂物体五维抓取方法，其特征在于：

步骤(5)中，将Depth局部图输入到构建的抓取置信度评估网络中，首先需要针对输入进行Batch Normalize方法的归一化处理，之后输入到抓取置信度评估网络中，网络包括2层卷积层、3层残差层和2层反卷积层，网络的卷积层内核由16、32个，反卷积层内核由32、16个组成，卷积层采用Relu函数作为激活函数；采用Smooth L1函数作为网络的损失函数，网络通过遍历图像中的所有像素点，计算其抓取可行性，对抓取点的置信度最佳化优化；在反卷积层的作用下，将抓取框的图像扩展回原图像尺寸大小的图像，以获得在原尺寸图像下的抓取置信度分布。

Images