CN109086821A - 机器人的物体抓取判别方法 - Google Patents

Abstract

本发明涉及图像分类技术领域，具体为机器人的物体抓取判别方法。解决现有机器人的物体抓取判别方法存在的物体抓取判别精度低并且计算复杂度高的问题。本发明基于局部感受野的宽度学习提出了一种机器人的物体抓取判别方法，该方法利用灵活的局部感受野分别提取待抓取物体彩色和深度图像的底层特征，减少了网络的参数，提高了网络的效率；基于宽度学习这种平面网络框架提取深层特征，不需要持续增加层数及参数，极大缩短了网络的训练时间。

Description

机器人的物体抓取判别方法

技术领域

本发明涉及图像分类技术领域，具体为机器人的物体抓取判别方法。

背景技术

现如今，机器人相关技术发展迅速，服务机器人已经逐渐融入人类的生产生活中，并给人类生活带来便利。机器人在抓取物体时，被抓取物体的一些参数，例如形状、大小等都是未知的，抓取能力不足严重影响着工业机器人的普及。目前，针对机器人运动路径规划与控制、物体抓取位置判别、智能学习的相关研究有很多，其中建立抓取分类器并检测最优抓取是完成其他更高层次任务操作的第一步。

传统的机器人抓取研究思路是：依靠人工经验提取用于机器人抓取操作的样本特征。特征提取的好坏就成为左右机器人物体抓取性能的重要因素。然而手工设计提取的特征十分有限，而且在描述一个物体时并不十分准确，缺乏良好的泛化性能。使机器人不具备灵活性和自主性。若要针对机器人物体抓取的问题提取合适的特征，可能要花费很长的时间，而且用人工经验提取样本特征的方法使得机器人抓取物体的成功率也不高。与人工设计的特征提取方法相比，深度神经网络用自主方式学习到的特征更具有代表性。近年来，基于多模态的深度学习算法在无监督学习中取得了显著效果，尤其是在特征学习上展现出了出色的效果。

基于多模态的深度学习算法是由如下步骤实现的：

步骤S1、利用RGB-D相机采集机器人待抓取物体的彩色和深度图像，采用二维平面的矩形抓取框来表达目标区域的可抓取性，然后提取每个抓取矩形框内包含的RGB-D彩色子图像和深度子图像。

步骤S2、对步骤S1中得到的每个彩色子图像和深度子图像，分别利用卷积神经网络自主提取特征，并组合分别得到物体彩色子图像和物体深度子图像的特征；

步骤S3、并联步骤S2生成的物体彩色子图像和物体深度子图像的特征表达，将两种模态的特征作为融合空间的输入通过分类器得出算法最后的输出，作为机器人能否成功抓取物体的判断依据。

利用卷积神经网络提取彩色子图像和深度子图像的特征时，如图2所示，隐含层神经元的参数即权重和偏置需要在训练阶段迭代调整，迭代调整的训练方法采用基于梯度的反向传播算法进行学习，需要不断迭代来更新权重和偏置，会有如下的缺点：（1）收敛速度慢；（2）人工干预密集；（3）容易陷入局部最优值；（4）梯度下降搜索操作繁琐。

若要提高机器人抓取物体的判别精度，深度神经网络层数将不断增加，但是神经网络层数的增加，会使计算复杂度逐渐增高，对平台计算能力也有很高的要求。因此我们需要一个物体抓取判别精度高并且计算复杂度低的判别方法。

发明内容

本发明针对现有机器人的物体抓取判别方法——基于多模态的深度学习算法存在的问题，提供一种机器人的物体抓取判别方法，该判别方法具有物体抓取判别精度高并且计算复杂度低的特点。

本发明是采用如下技术方案实现的：机器人的物体抓取判别方法，该方法是采用如下步骤实现的：

步骤S1、利用RGB-D相机采集机器人待抓取物体的彩色和深度图像，采用二维平面的矩形抓取框来表达目标区域的可抓取性，然后提取每个矩形抓取框内包含的RGB-D彩色子图像和深度子图像，对彩色子图像和深度子图像进行白化预处理。白化预处理能减少特征之间的相关性，更有利于物体抓取判别 。

步骤S2、对步骤S1中得到的每个矩形抓取框内的彩色子图像，利用基于局部感受野的方法提取彩色子图像的底层特征，具体步骤如下：

步骤S21）、对彩色子图像进行R、G、B向量分离，以更充分地提取待抓取物体的彩色特征，有效避免外界干扰；

步骤S22）、将分离的彩色图像R、G、B三通道的向量作为输入层，随机产生三个颜色通道的输入层和隐含层之间的初始权重；

步骤S23）、对初始权重进行奇异值分解正交化，采用奇异值正交分解的随机权重分布很均匀，可以提取更为完备的特征，使得待抓取物体的图像更加线性独立且容易分类；

步骤S24）、使用步骤S23）生成的局部感受野，对彩色子图像的R、G、B三通道的向量进行卷积特征映射，并将R、G、B三通道卷积后的特征组合到一起；

步骤S25）、对卷积特征映射形成的组合节点的值进行平方根池化，得到彩色子图像的底层特征；平方根池化使神经网络具有平移不变性的优点；

步骤S3、将每个矩形抓取框内的彩色子图像的底层特征组合到一起，获得待抓取物体的彩色子图像的底层特征。

步骤S4、对步骤S1中得到的每个矩形抓取框内的深度子图像，利用基于局部感受野的方法提取深度子图像的底层特征，具体步骤如下：

步骤S41）、随机产生输入层和隐含层之间的初始权重；

步骤S42）、对初始权重进行奇异值分解正交化；

步骤S43）、使用步骤S42）生成的局部感受野，对深度子图像的向量进行卷积特征映射；

步骤S44）、对卷积特征映射形成的组合节点的值进行平方根池化，而得到深度子图像的底层特征；

步骤S5、将每个矩形抓取框内的深度子图像的底层特征组合到一起，获得待抓取物体的深度子图像的底层特征。

步骤S6、将待抓取物体的彩色子图像底层特征和待抓取物体的深度子图像底层特征分别作为宽度学习系统的输入，系统分别输出待抓取物体的彩色子图像深层特征和待抓取物体的深度子图像深层特征。

步骤S7、并联步骤S6生成的待抓取物体的彩色子图像深层特征和待抓取物体的深度子图像深层特征表达，即将待抓取物体的彩色子图像深层特征和待抓取物体的深度子图像深层特征进行融合，得到最后的输出，作为机器人能否成功抓取物体的判断依据。

2018年年初，澳门大学陈俊龙教授公开发表关于宽度学习系统(Broad learningsystem) 的论作，与深度神经网络相比，不同之处在于它不采用深度结构，基于单隐层神经网络构建。以往在精度不够准确时，深度神经网络会采用增加层数或调整参数个数的方式来达到这一目的，而宽度学习系统采用横向扩展方式，这可以让系统在很短的时间内达到非常高效的结果。

现有理论认为当激活函数无限可微时，单隐层前馈神经网络的参数不需要全部调整，隐含层点的权重和偏置都独立于训练样本，可以以任意连续概率生成且在训练过程中保持不变。本发明结合现有理论，在提取待抓取物体的图片底层特征时不需调整隐含层节点的参数，节省了训练时间，提高了机器人物体抓取判别的效率。

现有技术（卷积神经网络）使用固定的卷积隐含层节点作为局部感受野，而本发明所用的提取底层特征的方法使用由连续概率分布随机生成的局部感受野，更为灵活和宽泛。

本发明基于局部感受野的宽度学习提出了一种机器人的物体抓取判别方法，该方法利用灵活的局部感受野分别提取待抓取物体彩色和深度图像的底层特征，减少了网络的参数，提高了网络的效率；基于宽度学习这种平面网络框架提取深层特征，不需要持续增加层数及参数，极大缩短了网络的训练时间。本发明对于新目标的抓取判别有较好的鲁棒性和精确性。

以下通过实验进一步证实本发明的技术效果：

实验环境为matlab2017a，基于个人64位windows 10操作系统PC，硬件配置CPU Intel(R) Core(TM) i5-7200U@2.5GHz，内存4GB 2.71GHz。程序代码基于matlab编程语言编写，其中图像处理用到了matlab的处理函数。

1、数据集的获取与处理

为了比较深度神经网络、基于局部感受野的超限学习机、宽度学习以及本发明所述方法在时间复杂度和抓取判别精度上的区别，本实验所用的统一的数据集是康奈尔抓取数据集（The Cornell Grasping Dataset），涵盖了240种不同日常物体的885个图像数据，共标注了8019个抓取框，其中，正样本即标注能成功抓取的抓取框数是5110，负样本即标注不能成功抓取的抓取框数是2909。

2、评价方法

将系统输出结果即机器人能否成功抓取该物体和预先设定的抓取结果进行比对，得出测试精度和测试时间，以此来评价本发明所述判断方法的性能。

横向比较：将深度神经网络、基于局部感受野的超限学习机、宽度学习以及本发明所述方法在相同的实验平台下处理同样的数据集，重复10次随机试验得到四种方法的平均测试时间和平均测试精度。

3、实验数据及分析

方法	测试时间（秒）	测试精度（%）
			深度神经网络	13.5	92.8
基于局部感受野的超限学习机	0.88	89.1
			宽度学习	0.54	94.2
本发明方法	0.98	96.5

从表中数据可以看出，深度神经网络方法耗时较长，且测试精度相对较低，本发明所述方法时间虽然不是最短的，但在可以接受的范围内，极大的提高了测试精度。因此得出本发明所述方法泛化性能更好，成功率更高；通过跟深度神经网络的方法比较测试时间，得出该方法耗时更短。

附图说明

图1为本发明所述判别方法的流程图。

图2为现有深度卷积神经网络算法提取底部特征的神经网络流程图。

图3为本发明提取底部特征的神经网络流程图。

具体实施方式

机器人的物体抓取判别方法，该方法是采用如下步骤实现的：

步骤S1、利用RGB-D相机采集机器人待抓取物体的彩色和深度图像，采用二维平面的矩形抓取框来表达目标区域的可抓取性，然后提取每个矩形抓取框内包含的RGB-D彩色子图像和深度子图像，对彩色子图像和深度子图像进行白化预处理。

步骤S2、对步骤S1中得到的每个矩形抓取框内的彩色子图像，利用基于局部感受野的方法提取彩色子图像的底层特征，具体步骤如下：

步骤S21）、对彩色子图像进行R、G、B向量分离，以更充分地提取待抓取物体的彩色特征，有效避免外界干扰；

步骤S22）、将分离的彩色图像R、G、B三通道的向量作为输入层，随机产生三个颜色通道的输入层和隐含层之间的初始权重；

步骤S23）、对初始权重进行奇异值分解正交化；

步骤S24）、使用步骤S23）生成的局部感受野，对彩色子图像的R、G、B三通道的向量进行卷积特征映射，并将R、G、B三通道卷积后的特征组合到一起；

步骤S25）、对卷积特征映射形成的组合节点的值进行平方根池化，得到彩色子图像的底层特征；

步骤S3、将每个矩形抓取框内的彩色子图像的底层特征组合到一起，获得待抓取物体的彩色子图像的底层特征。

步骤S4、对步骤S1中得到的每个矩形抓取框内的深度子图像，利用基于局部感受野的方法提取深度子图像的底层特征，具体步骤如下：

步骤S41）、随机产生输入层和隐含层之间的初始权重；

步骤S42）、对初始权重进行奇异值分解正交化；

步骤S43）、使用步骤S42）生成的局部感受野，对深度子图像的向量进行卷积特征映射；

步骤S44）、对卷积特征映射形成的组合节点的值进行平方根池化，而得到深度子图像的底层特征；

步骤S5、将每个矩形抓取框内的深度子图像的底层特征组合到一起，获得待抓取物体的深度子图像的底层特征。

步骤S6、将待抓取物体的彩色子图像底层特征和待抓取物体的深度子图像底层特征分别作为宽度学习系统的输入，系统分别输出待抓取物体的彩色子图像深层特征和待抓取物体的深度子图像深层特征。

步骤S7、并联步骤S6生成的待抓取物体的彩色子图像深层特征和待抓取物体的深度子图像深层特征表达，即将待抓取物体的彩色子图像深层特征和待抓取物体的深度子图像深层特征进行融合，得到最后的输出，作为机器人能否成功抓取物体的判断依据。

Claims (1)

1.一种机器人的物体抓取判别方法，其特征在于，该方法是采用如下步骤实现的：

步骤S1、利用RGB-D相机采集机器人待抓取物体的彩色和深度图像，采用二维平面的矩形抓取框来表达目标区域的可抓取性，然后提取每个矩形抓取框内包含的RGB-D彩色子图像和深度子图像，对彩色子图像和深度子图像进行白化预处理；

步骤S2、对步骤S1中得到的每个矩形抓取框内的彩色子图像，利用基于局部感受野的方法提取彩色子图像的底层特征，具体步骤如下：

步骤S21）、对彩色子图像进行R、G、B向量分离，以更充分地提取待抓取物体的彩色特征，有效避免外界干扰；

步骤S22）、将分离的彩色图像R、G、B三通道的向量作为输入层，随机产生三个颜色通道的输入层和隐含层之间的初始权重；

步骤S23）、对初始权重进行奇异值分解正交化；

步骤S24）、使用步骤S23）生成的局部感受野，对彩色子图像的R、G、B三通道的向量进行卷积特征映射，并将R、G、B三通道卷积后的特征组合到一起；

步骤S25）、对卷积特征映射形成的组合节点的值进行平方根池化，得到彩色子图像的底层特征；

步骤S3、将每个矩形抓取框内的彩色子图像的底层特征组合到一起，获得待抓取物体的彩色子图像的底层特征；

步骤S4、对步骤S1中得到的每个矩形抓取框内的深度子图像，利用基于局部感受野的方法提取深度子图像的底层特征，具体步骤如下：

步骤S41）、随机产生输入层和隐含层之间的初始权重；

步骤S42）、对初始权重进行奇异值分解正交化；

步骤S43）、使用步骤S42）生成的局部感受野，对深度子图像的向量进行卷积特征映射；

步骤S44）、对卷积特征映射形成的组合节点的值进行平方根池化，而得到深度子图像的底层特征；

步骤S5、将每个矩形抓取框内的深度子图像的底层特征组合到一起，获得待抓取物体的深度子图像的底层特征；

步骤S6、将待抓取物体的彩色子图像底层特征和待抓取物体的深度子图像底层特征分别作为宽度学习系统的输入，系统分别输出待抓取物体的彩色子图像深层特征和待抓取物体的深度子图像深层特征；

步骤S7、并联步骤S6生成的待抓取物体的彩色子图像深层特征和待抓取物体的深度子图像深层特征表达，即将待抓取物体的彩色子图像深层特征和待抓取物体的深度子图像深层特征进行融合，得到最后的输出，作为机器人能否成功抓取物体的判断依据。