CN113592871A - 一种基于分割监督的机器人物体抓取检测方法 - Google Patents

Abstract

本发明公开了一种基于分割监督的机器人物体抓取检测方法，该方法首先构建检测网络，包括主干网络、分割分支和抓取分支；将图像输入主干网络，输出图像特征；再将图像特征分别输入分割分支和抓取分支，由分割分支得到待抓取物体的中心点和最小内接矩形；由抓取分支获得多个抓取框，再结合待抓取物体的中心点和最小内接矩形，得到最优的抓取框。本发明方法可以缩小抓取检测范围，相比于一些通过提取ROI来缩小抓握检测的范围的方法，本发明方法更加精细，更加接近于物体轮廓，达到增强抓取位置的细节分析，提高抓取精度。对于各种机器人抓取任务具有十分重要的意义。

Description

一种基于分割监督的机器人物体抓取检测方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种机器人物体抓取检测方法。

背景技术

伴随着信息技术与控制技术的发展，机器人在工业制造、医疗协助以及社会服务等场景中扮演了十分重要的角色。而抓取物体是应用最为广泛的机器人作业任务，也是机器人操作中最具挑战性的技术之一。通过在机械臂末端安装各式操作夹具，机器人可实现对日常物体的抓取操作，能够应用于流水线分拣、家庭服务等领域。

抓取操作是否成功的关键在于是否得到一个准确的抓取位置。早期的抓取检测研究是基于分析法，即通过分析的几何以及物理特性，手工设计特征来实现最佳抓取点选择，虽然对特定的物体提高了抓取的准确度，但是手工设计特征既麻烦又耗时，而且泛化能力差、通用性不强。近年来，深度学习在各个领域展现了很强的特征提取能力。越来越多的研究者应用深度学习于抓取检测任务。同时采用五维矩形框的策略用于物体抓取，其中包括以下参数：抓取矩形框的中心点坐标，夹具的原始宽度和张开距离，以及旋转角度。进而将抓取检测的描述方式转化为类似于目标检测的预测框表示。有所不同的是，目标检测方法通常只输出一个独有的预测框来表达物体的检测位置和类别。但是对于被抓取的物体来说这是不适用的，因为一个物体通常不会只有一个可抓取的位置。而现有的方法通常给出多个离散的抓取矩形区域作为正确输出，但此表示方法会导致过多假阳性抓取，造成实际抓取失败。以人类经验而言，人类在拾取一个常规物体时，往往会选择物体的中心(质心)附近部位抓取，这是符合逻辑的，因为抓取物体的中心部位比两端会更稳重。而现有的方法均没有考虑到此类问题，这也是造成实际抓取失败的原因之一。

发明内容

为了克服现有技术的不足，本发明提供了一种基于分割监督的机器人物体抓取检测方法，该方法首先构建检测网络，包括主干网络、分割分支和抓取分支；将图像输入主干网络，输出图像特征；再将图像特征分别输入分割分支和抓取分支，由分割分支得到待抓取物体的中心点和最小内接矩形；由抓取分支获得多个抓取框，再结合待抓取物体的中心点和最小内接矩形，得到最优的抓取框。本发明方法可以缩小抓取检测范围，相比于一些通过提取ROI来缩小抓握检测的范围的方法，本发明方法更加精细，更加接近于物体轮廓，达到增强抓取位置的细节分析，提高抓取精度。对于各种机器人抓取任务具有十分重要的意义。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：检测网络构建；

所述检测网络包括主干网络、分割分支和抓取分支；

步骤1-1：所述主干网络为U-Net结构，输入为待抓取物体图像，输出为待抓取物体图像的特征；

步骤1-2：所述分割分支为polar mask分割网络的Head部分，将主干网络输出的图像特征输入分割分支，分割分支的输出为待抓取物体的中心点；以待抓取物体的中心点均匀发射n条射线，相邻射线之间的夹角相等，均为Δθ，将射线与待抓取物体轮廓的交点顺序连接，得到待抓取物体的分割mask，对分割mask进行拟合，得到待抓取物体的最小内接矩形；

步骤1-3：所述抓取分支为AlexNet，将主干网络输出的图像特征输入抓取分支，抓取分支的输出为多个针对待抓取物体的抓取框，每个抓取框中心点位置作为该抓取框的参数；将每个抓取框与待抓取物体的最小内接矩形采用标准Jaccard衡量指标计算重合度，若重合度小于设定的重合度阈值，则舍弃该抓取框；若重合度大于等于设定的重合度阈值，则保留该抓取框；

计算保留的每个抓取框中心点到待抓取物体中心点的欧式距离，得到置信度得分y^scores：

式中i表示物体的第i个抓取框，k表示抓取框的总个数，s_i表示第i个抓取框中心点到待抓取物体中心点的欧氏距离；

若有多个置信度大于1的抓取框出现，则均视为合格抓取框，随机挑选一个进行抓取；

步骤2：定义网络损失函数；

步骤2-1：分割支路总的损失函数为L_seg：

其中x，y表示图像像素点坐标，L_cls为focal loss，

表示正样本数，p_x，y表示预测类别的概率，

表示坐标x，y位置的类别标签；L_{mask_loss}表示polar mask分割网络的损失，该损失函数表示对特征图上所有位置计算求和；λ为分割mask loss任务的平衡权重；

为指标函数，如果

该指标函数为1，否则为0；

步骤2-2：对于抓取网络选择L2范数作为损失函数，损失函数设置如下：

其中，

表示抓取位置损失函数，

表示抓取尺寸损失函数，

表示抓取角度损失函数，

表示预测得分损失函数；i表示特征映射上的第i个特征序号，

和

分别表示抓取位置、抓取的尺寸、抓取角度、预测得分的预测值和真实值；

总的抓取网络损失函数为：

其中，N表示特征图中的特征数量，α，β，ω，γ∈[0，1]表示各个损失函数的重要性权重；

步骤2-3：对于整个检测网络，总的损失函数为：

L_all＝ρL_grasp+σL_seg (8)

其中，ρ，σ∈[0，1]表示各个损失函数的重要性权重；

步骤3：网络训练；

采用公开抓取数据集为训练样本，对检测网络整体进行训练，使检测网络总的损失函数最小，训练完成得到最终的检测网络；

步骤4：将待抓取物体图像输入最终的检测网络，输出结果为最优抓取框。

优选地，所述n＝8，Δθ＝45。

优选地，所述检测网络进行训练时初始学习速率设置为0.001，参数优化采用动量为0.9的随机梯度下降法，权重衰减为0.001；训练过程共进行5万次迭代，迭代第2万次和第4万次分别将学习速率缩小10倍。

本发明的有益效果如下：

1、本发明能够通过分割支路网络缩小抓取检测范围，相比于一些通过提取ROI来缩小抓握检测的范围的方法，本发明方法更加精细，更加接近于物体轮廓，达到增强抓取位置的细节分析，提高抓取精度。

2、本发明能够模拟人类的抓取习惯，选择接近物体中心(质心)附近的抓取框，提高实际抓取操作的成功率。

附图说明

图1为本发明检测网络框架图。

图2为本发明提出的分割支路多得到的结果；

图3为本发明抓取支路处理示意图；

图4为本发明抓取支路的模拟人类抓取习性的示意图；

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明的目的在于弥补现有抓取表示方式在实际测试上可靠性和准确率上的不足，提供一种基于分割监督的机器人物体抓取检测方法，并在此方法上进行各类实际机器人抓取任务。

一种基于分割监督的机器人物体抓取检测方法，包括如下步骤：

步骤1：检测网络构建；

如图1所示，所述检测网络包括主干网络、分割分支和抓取分支；

步骤1-1：所述主干网络为U-Net结构，输入为待抓取物体图像，输出为待抓取物体图像的特征；

步骤1-2：所述分割分支为polar mask分割网络的Head部分，将主干网络输出的图像特征输入分割分支，分割分支的输出为待抓取物体的中心点；以待抓取物体的中心点均匀发射n条射线，相邻射线之间的夹角相等，均为Δθ，将射线与待抓取物体轮廓的交点顺序连接，得到待抓取物体的分割mask，对分割mask进行拟合，得到待抓取物体的最小内接矩形；

通过该矩形可获得抓取所需要的位置和角度。同时，将物体的抓取点尽可能落入物体内部，以防止假阳性抓取框的出现。利用分割监督网络将很大程度的提高抓取精度，并且可以实现端到端的多物体的抓取。通过实验验证了在射线数n＝8将会获得最好的抓取结果。

步骤1-3：所述抓取分支为AlexNet，将主干网络输出的图像特征输入抓取分支，抓取分支的输出为多个针对待抓取物体的抓取框，每个抓取框中心点位置作为该抓取框的参数；将每个抓取框与待抓取物体的最小内接矩形采用标准Jaccard衡量指标计算重合度，若重合度小于设定的重合度阈值，则舍弃该抓取框；若重合度大于等于设定的重合度阈值，则保留该抓取框；

虽然对于普遍的物体都可以直接通过分割网络的分支来后期预处理获得抓取参数，但是在抓取中一个物体可能有多个抓取位置，在很多算法中会出现模糊位置，这会给网络的训练带来难度；如附图3所示，两个框重叠，在训练时会寻找最近的抓取位置作为回归标准，以虚线所示，因此最后按照附图3的方式来获取抓取参数，每一个框中的回归参数将统一为该框中心点位置的抓取参数，因为四个框没有重叠位置，则不会出现模糊位置。

在抓取任务中有另一个问题是很值得关注，虽然每个物体都提供了多个标准的抓取框，但是在实际抓取中，一般物体的几何中心(或中心附近)才是最理想的抓取位置，而其他位置(例如头部和尾部)往往可能会抓不牢而导致抓取失败。为了解决该问题，本发明抓取网络输出增加了置信度参数，在最终的测试中将选取置信度最高的位置作为最佳的抓取位置。训练中置信度参数的设置方式附图4所示。

计算保留的每个抓取框中心点到待抓取物体中心点的欧式距离，得到置信度得分y^scores：

式中i表示物体的第i个抓取框，k表示抓取框的总个数，s_i表示第i个抓取框中心点到待抓取物体中心点的欧氏距离；

若有多个置信度大于1的抓取框出现，则均视为合格抓取框，随机挑选一个进行抓取；

步骤2：定义网络损失函数；

步骤2-1：分割支路总的损失函数为L_seg：

其中x，y表示图像像素点坐标，L_cls为focal loss，

表示正样本数，p_x，y表示预测类别的概率，

表示坐标x，y位置的类别标签；L_{mask_loss}表示polar mask分割网络的损失，该损失函数表示对特征图上所有位置计算求和；λ为分割mask loss任务的平衡权重；

为指标函数，如果

该指标函数为1，否则为0；

步骤2-2：对于抓取网络选择L2范数作为损失函数，损失函数设置如下：

其中，

表示抓取位置损失函数，

表示抓取尺寸损失函数，

表示抓取角度损失函数，

表示预测得分损失函数；i表示特征映射上的第i个特征序号，

和

分别表示抓取位置、抓取的尺寸、抓取角度、预测得分的预测值和真实值；

总的抓取网络损失函数为：

其中，N表示特征图中的特征数量，α，β，ω，γ∈[0，1]表示各个损失函数的重要性权重；

步骤2-3：对于整个检测网络，总的损失函数为：

L_all＝ρL_grasp+σL_seg (8)

其中，ρ，σ∈[0，1]表示各个损失函数的重要性权重；

步骤3：网络训练；

采用公开抓取数据集为训练样本，对检测网络整体进行训练，使检测网络总的损失函数最小，训练完成得到最终的检测网络；

采用Comell Grasp Dataset公开抓取数据集为训练样本，该数据集包含886张带有抓取框标注的样本图片。模型训练和测试均在Nvidia GeForce RTX 2080Ti上进行并进行整体训练。在训练过程中，每一批次处理16幅图像，初始学习速率设置为0.001，参数优化采用动量为0.9的随机梯度下降法，权重衰减为0.001。训练过程共进行5万次迭代，迭代第2万次和第4万次分别将学习速率缩小10倍。通过改变饱和度、曝光度和色调，对训练图像进行数据扩充，考虑旋转角度与分类结果直接相关，数据扩充时并不改变其旋转角度。

步骤4：将待抓取物体图像输入最终的检测网络，输出结果为最优抓取框。

Claims (3)

1.一种基于分割监督的机器人物体抓取检测方法，其特征在于，包括以下步骤：

步骤1：检测网络构建；

所述检测网络包括主干网络、分割分支和抓取分支；

步骤1-1：所述主干网络为U-Net结构，输入为待抓取物体图像，输出为待抓取物体图像的特征；

步骤1-2：所述分割分支为polar mask分割网络的Head部分，将主干网络输出的图像特征输入分割分支，分割分支的输出为待抓取物体的中心点；以待抓取物体的中心点均匀发射n条射线，相邻射线之间的夹角相等，均为Δθ，将射线与待抓取物体轮廓的交点顺序连接，得到待抓取物体的分割mask，对分割mask进行拟合，得到待抓取物体的最小内接矩形；

步骤1-3：所述抓取分支为AlexNet，将主干网络输出的图像特征输入抓取分支，抓取分支的输出为多个针对待抓取物体的抓取框，每个抓取框中心点位置作为该抓取框的参数；将每个抓取框与待抓取物体的最小内接矩形采用标准Jaccard衡量指标计算重合度，若重合度小于设定的重合度阈值，则舍弃该抓取框；若重合度大于等于设定的重合度阈值，则保留该抓取框；

计算保留的每个抓取框中心点到待抓取物体中心点的欧式距离，得到置信度得分y^scores：

式中i表示物体的第i个抓取框，k表示抓取框的总个数，s_i表示第i个抓取框中心点到待抓取物体中心点的欧氏距离；

若有多个置信度大于1的抓取框出现，则均视为合格抓取框，随机挑选一个进行抓取；

步骤2：定义网络损失函数；

步骤2-1：分割支路总的损失函数为L_seg：

其中x,y表示图像像素点坐标，L_cls为focalloss，

表示正样本数，p_x，y表示预测类别的概率，

表示坐标x,y位置的类别标签；L_{mask_loss}表示polar mask分割网络的损失，该损失函数表示对特征图上所有位置计算求和；λ为分割mask loss任务的平衡权重；

为指标函数，如果

该指标函数为1，否则为0；

步骤2-2：对于抓取网络选择L2范数作为损失函数，损失函数设置如下：

其中，

表示抓取位置损失函数，

表示抓取尺寸损失函数，

表示抓取角度损失函数，

表示预测得分损失函数；i表示特征映射上的第i个特征序号，

和

分别表示抓取位置、抓取的尺寸、抓取角度、预测得分的预测值和真实值；

总的抓取网络损失函数为：

其中，N表示特征图中的特征数量，α，β，ω，γ∈[0，1]表示各个损失函数的重要性权重；

步骤2-3：对于整个检测网络，总的损失函数为：

L_all＝ρL_grasp+σL_seg (8)

其中，ρ，σ∈[0，1]表示各个损失函数的重要性权重；

步骤3：网络训练；

采用公开抓取数据集为训练样本，对检测网络整体进行训练，使检测网络总的损失函数最小，训练完成得到最终的检测网络；

步骤4：将待抓取物体图像输入最终的检测网络，输出结果为最优抓取框。

2.根据权利要求1所述的一种基于分割监督的机器人物体抓取检测方法，其特征在于，所述n＝8，Δθ＝45。

3.根据权利要求1所述的一种基于分割监督的机器人物体抓取检测方法，其特征在于，所述检测网络进行训练时初始学习速率设置为0.001，参数优化采用动量为0.9的随机梯度下降法，权重衰减为0.001；训练过程共进行5万次迭代，迭代第2万次和第4万次分别将学习速率缩小10倍。

Images