CN110378325A - 一种机器人抓取过程中的目标位姿识别方法 - Google Patents

Abstract

本发明涉及一种机器人抓取过程中的目标位姿识别方法，对待识别目标提出特征需求，并将需求参数化；通过所设计的神经网络，实现图像的特征提取、边界框生成、边界框修正等功能，完成在图像中检测目标并识别步骤一所提出的目标特征参数。通过对训练数据的准备、神经网络参数的合理选取以及大量图像数据集的训练，实现损失函数收敛。在损失函数收敛后，利用机器人的视觉系统，实现对目标的位姿识别与操作任务。该方法用于智能机器人操作任务中，快速准确的识别目标，并在获得识别信息后，实现对目标的抓取、转移、搬运等操作，本发明具有良好的识别速度快，准确性高、鲁棒性好等优点。

Description

一种机器人抓取过程中的目标位姿识别方法

技术领域

本发明属于机器人与人工智能领域，涉及一种机器人抓取过程中的目标位姿识别方法。

背景技术

随着计算机、人工智能技术的发展，机器人在工业领域、危险场景以及家庭服务中有了越来越广泛的应用。不同于现有机器人在结构化环境下对合作目标的操作，智 能机器人在复杂环境下，实现对未知目标的操作面临着巨大的挑战，其关键点在于对 目标的检测与位姿识别，只有可靠检测出目标并准确估计出目标位姿，才可以完成抓 取、搬运等操作任务。因此，对目标的位姿识别是十分必要的，也是开展智能机器人 非结构化环境应用的基础。

目前机器人对目标的位姿识别主要存在的问题包括只检测物体而不做识别，或仅依靠特征来区分有限种类物体。仅仅检测到物体并确定物体边缘并不能满足机器人对 目标的操作要求，而识别有限种类物体具有很大局限性。因此，设计一种能够准确识 别出操作目标位姿态并具有广泛性的方法是机器人操作的关键问题。

已有的方法包括视角区域特征直方图识别法、视觉传感器三维建模法等，这些方法识别速度慢，准确率低，设备要求较高，比如三维建模需要RGB-D传感器并在多角 度拍摄。今年来深度学习方法取得了很大进展，但已有的方法均采用了将特征提取与 识别分别处理，降低了处理速度，损失函数多选取位置偏差，鲁棒性差。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种机器人抓取过程中的目标位姿识别方法。主要针对具备视觉系统的智能机器人操作目标的位姿识别，提供了一种适用 于非合作目标的识别方法，该方法用于智能机器人操作任务中，快速准确的识别目标， 并在获得识别信息后，实现对目标的抓取、转移、搬运等操作，本发明具有良好的识 别速度快，准确性高、鲁棒性好等优点。

技术方案

一种机器人抓取过程中的目标位姿识别方法，其特征在于步骤如下：

步骤1：在惯性坐标系下，对被抓取目标采用5维参数描述：

g＝{x,y,w,h,θ}

式中(x,y)表示抓取目标几何中心坐标参数，(w,h)表示抓取结构参数，θ表示抓取姿态参数即二指抓取器相对水平轴的旋转角度；w为二指抓取器的张开角度，h为二 指抓取器的宽度；

对抓取姿态参数θ离散化：在水平轴[-90°,90°]，内进行采样率为20的等间隔离散， 得到离散数据表；

步骤2：对包含被抓取目标的高为H，宽为W的图像，采用VGG16神经网络模型 进行特征提取，特征提取的参数为：卷积核为3×3，步长为1，Padding参数为Same 的卷积方式，得到高宽分别为H/16、W/16的包含被抓取目标图像的特征图；所述被 抓取目标的真实边界框坐标为

采用区域生成网络RPN对特征图进行处理，得到被抓取目标存在的区域；利用锚点Anchor法对被抓取目标存在的区域处理，得到候选边界框坐标为

以L_GIoU作为损失函数实现候选边界框修正：

1)令

取

2)计算真实边界框面积

3)计算候选边界框面积

4)计算相交区域面积I

5)计算最小封闭框B^c坐标

6)计算封闭框面积

7)u＝A^p+A^g-I

8)

得到包含图像的特征提取、边界框生成、边界框修正的神经网络模型；

步骤3：

训练数据准备：读取康奈尔抓取检测数据集的文件，每次读取四行已经标注的目标位姿坐标数据，利用位置坐标计算结构参数(w,h)与姿态参数θ，通过离散数据表找 到对应区间的代表角度，并将其标记为对应类型，最后计算出的中心位置(x,y)；

参数选取及训练神经网络模型：利用ImageNet训练好的参数对神经网络模型进行初始化，经过Fine-Tuning训练后，使得损失函数收敛结束；

Epochs参数为1000，学习率为0.001，Weight Decay参数设置为0.0001，Minibatch参数选择为1

训练完成的神经网络模型输出被抓取目标实际的5维参数

g＝{x,y,w,h,θ}

二指抓取器根据5维参数实施抓取目标。

有益效果

本发明提出的一种机器人抓取过程中的目标位姿识别方法，根据机器人末端夹持工具的构型和机器人操作任务，对待识别目标提出特征需求，并将需求参数化，从而 使机器人能够利用目标识别结果完成对目标的操作。通过所设计的神经网络，实现图 像的特征提取、边界框生成、边界框修正等功能，完成在图像中检测目标并识别步骤 一所提出的目标特征参数。通过对训练数据的准备、神经网络参数的合理选取以及大 量图像数据集的训练，实现损失函数收敛。在损失函数收敛后，利用机器人的视觉系 统，实现对目标的位姿识别与操作任务。该方法用于智能机器人操作任务中，快速准 确的识别目标，并在获得识别信息后，实现对目标的抓取、转移、搬运等操作，本发 明具有良好的识别速度快，准确性高、鲁棒性好等优点。

与现有技术相比，本发明具有如下有益效果：

本发明将目标识别中的特征提取、候选区域生成、分类与回归统一到一个深度网络架构之内，完全在图形处理单元(GPU)中完成，大大提高了运行速度。通过对损失 函数的改进，进一步提高了目标位姿识别的准确性和鲁棒性。解决了机器人操作过程 中目标识别速度慢、准确率低、鲁棒性差的问题。本发明具体拥有以下优点：

1.识别速度快

本发明将目标识别中的特征提取、候选区域生成、分类与回归统一到一个深度网络架构之内，完全在图形处理单元(GPU)中完成，大大提高了运行速度。

2.结果准确性高

通过对特征提取网络选取、特征区域设计、损失函数改进等措施进一步提高了目标位姿识别的准确性。

3.鲁棒性好

本发明通过设计新的损失函数，在识别区域与目标完全不重合时，仍然可以完成目标的检测与识别，具备较强的鲁棒性。

附图说明

图1为目标识别参数示意图

图2为参考边界框示意图

图3为交并比示意图

图4为损失函数收敛过程

图5为目标位姿识别结果

图6为算法验证平台

图7为验证试验四个阶段

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明所采用的技术方案包括以下步骤：

1)目标识别需求参数化，根据机器人末端夹持工具的构型和机器人操作任务，对待识别目标提出特征需求，并将需求参数化，从而使机器人能够利用目标识别结果完 成对目标的操作。

2)设计神经网络框架，通过所设计的神经网络，实现图像的特征提取、边界框生成、边界框修正等功能，完成在图像中检测目标并识别步骤一所提出的目标特征参数。

3)训练神经网络，通过对训练数据的准备、神经网络参数的合理选取以及大量图像数据集的训练，实现损失函数收敛。在损失函数收敛后，利用机器人的视觉系统， 实现对目标的位姿识别与操作任务。

所述步骤1)中，目标识别需求参数化的具体步骤如下：

1-1)：需求分析与参数化

考虑到操作的便利性，设计抓取位置为物体顶部，根据机器人末端夹持器的二指特性，采用5维参数描述，具体如图1所示。绿色边代表夹持器二指的位置，并且二 指与绿线平行，蓝色边长度代表夹持器张开长度，蓝线与水平方向的夹角代表夹持器 旋转角度，矩形框中心为机械臂末端位置，用g表示需要识别出的目标参数，其表达 式定义为：

g＝{x,y,w,h,θ} (1)

式中(x,y)表示抓取目标几何中心坐标参数，(w,h)表示抓取结构参数，θ表示抓取姿态参数即二指抓取器相对水平轴的旋转角度；w为二指抓取器的张开角度，h为二 指抓取器的宽度；

1-2)：姿态参数离散化

为了使目标抓取具备更强的鲁棒性，需要将抓取姿态参数离散化，设定顺时针旋转为负，逆时针旋转为正，由于方向的对称性，抓取姿态区间取[-90°,90°]，离散后θ取 值如表1所示离散数据表。

表1抓取姿态角对应区间

所述步骤2)中，设计神经网络框架的具体方法如下：

2-1)图像特征提取

对包含被抓取目标的高为H，宽为W的图像，采用VGG16神经网络模型进行特 征提取，VGG16是在2014年开发的在ImageNet训练好的大型卷积神经网络，包含140 万张标记图像，1000种不同类别，因此具有更广泛的识别范围。采用卷积核为3×3， 步长为1，Padding参数为Same的卷积方式，输出高宽分别为H/16、W/16的特征图。

所述被抓取目标的真实边界框坐标为

2-2)目标检测与位姿识别

在VGG16网络对目标区域进行特征提取，得到被抓取目标存在的区域；通过区 域生成网络(RPN)进行目标检测，对特征图进行处理，得到被抓取目标存在的区域；

利用锚点(Anchor)法对被抓取目标存在的区域处理，得到候选边界框坐标为

该方法将传统图像搜索中的逐项目扫描改进为仅搜索有限数量的兴趣区域，提高了目标检测效率。

以特征图像的每个像素为中心，按不同尺度和长宽比产生矩形框，称为参考边 界框。由于夹持器张开角度限制，尺度选取应适当，为满足识别出不同尺度不同形状 的目标，选取尺度为[2,4,8]，长宽比采用[1:2,1:1,2:1]三种比率，共9个区域，每 个尺度对应的长宽比如图2所示。

为了解决参考边界框重叠问题，采用了非极大值抑制(Non-maximumsuppression)方法，通过利用不同的尺寸和比例产生的所有参考边界框与已标定的真 实边界框进行比较，计算交并比(IoU)最大的参考边界框定义为候选边界框，交并比 的计算方法为：

式中：A∩G代表参考边界框与真实边界框面积的交集，A∪G代表参考边界框与真实 边界框面积的并集，如图3所示。

2-3)L_GIoU作为损失函数实现候选边界框修正

上一步中所获得的候选边界框坐标为已标定的真实边界框坐标选取L_GIoU作为损失函数，其计算方法为：

1)令

取

2)计算真实边界框面积

3)计算候选边界框面积

4)计算相交区域面积I

5)计算最小封闭框B^c坐标

6)计算封闭框面积

7)u＝A^p+A^g-I

8)

得到包含图像的特征提取、边界框生成、边界框修正的神经网络模型；

因为运算过程均为线性函数，所以采用L_GIoU作为损失函数进行反向传播是可行的，并且当最差情况，识别区域与目标完全不重合时，仍然可以采用梯度下降算法进 行回归，实现候选边界框的修正，提高了系统鲁棒性。

所述步骤3)中，训练神经网络的具体方法如下：

3-1)训练数据准备

首先读取康奈尔抓取检测(Cornell Grasp Detection)数据集的pcdxxxxcpos.txt 文件，每次读取四行已经标注的目标位姿坐标数据，利用位置坐标计算结构参数(w,h) 与姿态参数θ，通过表1找到对应区间的代表角度，并将其标记为对应类型，最后计 算出的中心位置(x,y)。为提供更多的样本，提高训练出来模型的鲁棒性，本文通过水 平翻转的方法将训练数据量扩展1倍。

3-2)参数选取

在训练模型时，本文采用整体训练的方法，同时利用ImageNet训练好的参数进行初始化。Epochs参数为1000，学习率为0.001，Weight Decay参数设置为0.0001， Minibatch参数选择为1，即每一张图片作为一个Batch进行训练。经过Fine-Tuning 训练后，通过Tensorboard得到的损失函数收敛过程如图5所示，从图像可知，损失 函数收敛。目标识别结果如图6所示，与标定结果比较，该方法对目标位姿识别准确 率到达91.6％。

训练完成的神经网络模型输出被抓取目标实际的5维参数

g＝{x,y,w,h,θ}

二指抓取器根据5维参数实施抓取目标。

为验证方法在机器人操作中的有效性，我们设计了机器人试验平台，该平台由包含二指结构夹持器的ABB14000机器人以及图像获取设备Kinect构成，如图7所示。 图像信息由的Kinect传感器采集，通过网络传输到机器人中控计算机进行处理，在识 别出目标位姿参数后，机械臂按位置参数(x,y)运动到目标上方，根据结构参数(w,h)调 整末端夹持器，通过姿态参数θ调整机器人末端关节旋转角度，下降高度由Kinect传 感器采集的深度信息提供。

图7展示了试验过程的四个阶段，分别为机械臂水平运动到抓取位置上方，旋转机械臂末端关节角并张开夹持器，垂直运动到目标物体上方并完成夹持，转移物体到 放置盒内。通过机械臂夹持物体试验验证了本发明准确有效。

本发明适用于机器人操作过程中的目标位姿识别方法，首先将目标识别需求参数化，根据机器人末端夹持工具的结构，针对操作需求，对待识别目标的特征进行参数 化。设计神经网络框架，通过所设计的神经网络，实现图像的特征提取、边界框生成、 候选边界框选取、候选边界框修正等功能，完成在图像中检测目标并识别目标特征参 数。计算机仿真结果显示，本方法识别准确率达到91.6％，试验平台验证结果显示， 本方法准确有效。

Claims (1)

1.一种机器人抓取过程中的目标位姿识别方法，其特征在于步骤如下：

步骤1：在惯性坐标系下，对被抓取目标采用5维参数描述：

g＝{x,y,w,h,θ}

式中(x,y)表示抓取目标几何中心坐标参数，(w,h)表示抓取结构参数，θ表示抓取姿态参数即二指抓取器相对水平轴的旋转角度；w为二指抓取器的张开角度，h为二指抓取器的宽度；

对抓取姿态参数θ离散化：在水平轴[-90°,90°]，内进行采样率为20的等间隔离散，得到离散数据表；

步骤2：对包含被抓取目标的高为H，宽为W的图像，采用VGG16神经网络模型进行特征提取，特征提取的参数为：卷积核为3×3，步长为1，Padding参数为Same的卷积方式，得到高宽分别为H/16、W/16的包含被抓取目标图像的特征图；所述被抓取目标的真实边界框坐标为

采用区域生成网络RPN对特征图进行处理，得到被抓取目标存在的区域；利用锚点Anchor法对被抓取目标存在的区域处理，得到候选边界框坐标为

以L_GIoU作为损失函数实现候选边界框修正：

1)令

取

2)计算真实边界框面积

3)计算候选边界框面积

4)计算相交区域面积I

5)计算最小封闭框B^c坐标

6)计算封闭框面积

7)u＝A^p+A^g-I

8)

得到包含图像的特征提取、边界框生成、边界框修正的神经网络模型；

步骤3：

训练数据准备：读取康奈尔抓取检测数据集的文件，每次读取四行已经标注的目标位姿坐标数据，利用位置坐标计算结构参数(w,h)与姿态参数θ，通过离散数据表找到对应区间的代表角度，并将其标记为对应类型，最后计算出的中心位置(x,y)；

参数选取及训练神经网络模型：利用ImageNet训练好的参数对神经网络模型进行初始化，经过Fine-Tuning训练后，使得损失函数收敛结束；

Epochs参数为1000，学习率为0.001，Weight Decay参数设置为0.0001，Minibatch参数选择为1

训练完成的神经网络模型输出被抓取目标实际的5维参数

g＝{x,y,w,h,θ}

二指抓取器根据5维参数实施抓取目标。