CN110509273B

CN110509273B - 基于视觉深度学习特征的机器人机械手检测及抓取方法

Info

Publication number: CN110509273B
Application number: CN201910760908.5A
Authority: CN
Inventors: 于雅楠; 华春杰; 王仲民; 沈怡麟
Original assignee: Tianjin University of Technology and Education China Vocational Training Instructor Training Center
Current assignee: Tianjin University of Technology and Education China Vocational Training Instructor Training Center
Priority date: 2019-08-16
Filing date: 2019-08-16
Publication date: 2022-05-06
Anticipated expiration: 2039-08-16
Also published as: CN110509273A

Abstract

本发明公开了一种基于视觉深度学习特征的机器人机械手检测及抓取方法，所述方法包括以下步骤：通过单目相机采集RGB图像从中选取关键帧图像，将关键帧图像切分成多个区域输入卷积神经网络A中，根据识别的目标类别选择抓取的目标区域；将关键帧图像与目标区域的标准图像作为卷积神经网络B的输入进行匹配，将关键帧图像进行某一角度的旋转，使其与标准图像的匹配率最高；根据匹配率最高时的角度确定目标区域的位姿，调整机械手的抓取姿态。本发明仅需采用简单设备，就可实现高效的目标识别和抓取定位，抓取结果准确。

Description

基于视觉深度学习特征的机器人机械手检测及抓取方法

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于视觉深度学习特征的机器人机械手检测及抓取方法，用于提高生产中工业机械手抓取目标时的准确性、实时性以及智能性，同时降低生产成本。

背景技术

工业自动化程度反应一个国家的经济发展水平，随着自动化技术的飞快发展，现代工业已经离不开机器人的参与，机器人的种类及数量越来越多，覆盖范围也越来越广，因此需要更高准确度、更高即时性、更加智能化的机器人来跟上经济的快速发展。在计算机视觉领域，目标识别和定位是机械手自动抓取过程中的关键技术，指导机器人按照人类的意图去抓取目标物体，使机器人完成搬运、分拣、零件加工等工作，或者使机器人在复杂的家庭环境下抓取主人指定的物品等。

目前，机器人机械手检测和抓取技术有以下方法：

1)接触式传感设备，例如：机械手末端使用爪部压力传感器和控制电路识别抓取物体的硬度，实现目标物体的动态抓取；

2)采用双目立体视觉或深度视觉技术，拟合目标物体的空间三维结构，由双目相机采集的关键帧图像以及深度信息计算出目标物体的具体位置以及目标位姿。

结合基于深度学习的单目视觉技术在工业机器人机械手工件检测及抓取应用尚不完善。

发明内容

本发明提供了一种基于视觉深度学习特征的机器人机械手检测及抓取方法，本发明仅需采用简单设备，就可实现高效的目标识别和抓取定位，抓取结果准确，详见下文描述：

一种基于视觉深度学习特征的机器人机械手检测及抓取方法，所述方法包括以下步骤：

通过单目相机采集RGB图像从中选取关键帧图像，将关键帧图像切分成多个区域输入卷积神经网络A中，根据识别的目标类别选择抓取的目标区域；

将关键帧图像与目标区域的标准图像作为卷积神经网络B的输入进行匹配，将关键帧图像进行某一角度的旋转，使其与标准图像的匹配率最高；

根据匹配率最高时的角度确定目标区域的位姿，调整机械手的抓取姿态。

所述卷积神经网络A的结构为：输入层，卷积层，池化层，全连接层和输出层，输出层输出目标区域在每个区域的评分，选取得分最高的区域为目标物体所在区域。

其中，所述池化层取最大值的函数，全连接层设计有一个随机函数，范围为(0,1]，代表全连接层神经元参与计算的比例，当其值为1时全部神经元参与计算。

进一步地，所述卷积神经网络B可分解为通道卷积和块卷积。所述通道卷积的计算量为C_通＝D×D×3×3×3，对数据进行一次规范化操作，采用修正线性单元函数ReLU来进行规范化；所述块卷积的计算量为C_块＝D×D×1×1，D×D为输入图像的大小。

进一步地，所述修正线性单元函数ReLU为：

其中，X为每一个卷积层和池化层的输出结果。

本发明提供的技术方案的有益效果是：

1、本发明仅需一个单目摄像机采集目标物体图像，通过训练基于深度学习的神经网络模型，结合计算机视觉中的图像处理技术，识别图像目标物体，根据相机的移动轨迹以及相对运动量，确定目标物体的准确位置，再通过可分解卷积神经网络计算目标物体的姿态，然后控制机器人的机械臂对目标物体进行精准抓取；

2、本发明使用的设备简单，可以降低生产成本；同时提高在生产流水线上对于残次品的识别率以及抓取准确率，提高生产效率。

附图说明

图1为基于视觉深度学习特征的机器人机械手检测及抓取方法的流程图；

图2为目标物体图像以及相机移动的结构示意图；

图3为三角测量示意图；

图4为通道卷积、规范化操作的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

现有技术中的机器人机械手需要安装多种传感器，进行传感信息融合，以至于消耗成本高，但算法精准度低，造成机器人机械手在工作过程中的抓取失败。

针对以上问题，本发明实施例提出了一种基于视觉深度学习特征的机器人机械手检测及抓取方法，这种方法属于多自由度机械手控制领域，本实施例由单目相机采集RGB图像，将关键帧图像分割成若干区域，使其适宜输入卷积神经网络中，经过卷积神经网络处理，识别出目标物体并找到目标物体所在的区域。

根据相机在拍摄两帧照片时的相对运动推算出目标的位置以及与机械手之间的距离。将相邻关键帧图像放入可分解卷积神经网络，与标准图像进行匹配，对关键帧图像进行一定角度的旋转，找到匹配率最高时的旋转角度。最后，以机械手末端为坐标原点建立机械臂坐标系，根据计算的角度值确定目标位姿。

实施例2

一种基于视觉深度学习特征的机器人机械手检测及抓取方法，该方法应用于基于深度学习特征的机器人机械手抓取设备中，包括以下步骤：

需要一个单目相机采集一系列RGB图像，从中选取关键帧图像，并将关键帧图像切分成多个区域，放入卷积神经网络中，根据识别的目标类别选择抓取的目标区域。

相机位于机械手末端，可根据机械手运行的轨迹以及相对运动量推算出目标物体的准确位置，以及机械手与目标物体之间的距离。

将单目相机获取的相邻关键帧图像与目标物体的标准图像作为神经网络的输入进行匹配，将关键帧图像进行某一角度的旋转，使其与标准图像的匹配率最高。根据找到匹配率最高时的角度确定目标物体的位姿，便于下一步调整机械手的抓取姿态。

本实施例中涉及到两个神经网络，分别为卷积神经网络A和可分解卷积神经网络B。

本实施例的操作步骤如下：

S1：进行初始化；

其中，该步骤具体为：配置好机器人机械手的相机，将机械臂放置在合适的位置，便于相机采集图像。

S2：获取单目相机RGB彩色图像，采用帧间差方法选取一系列关键帧图像；

本发明的实施例使用单目相机获取目标物体的一系列高分辨率RGB图像，RGB图像不仅包含目标物体的颜色信息还有目标物体的纹理信息，采用帧间差方法选取一系列关键帧。

帧间差方法采集关键帧的过程如下：

对时间上连续的两帧进行差分计算，两帧间的对应像素相减，取绝对值，若绝对值大于阈值，则取第二帧为关键帧，之后将所有关键帧图像统一处理为32*32的大小。

其中，阈值根据实际应用中的需要进行设定，本发明实施例对此不做限制。

S3：将关键帧图像切分成若干区域，其大小适宜放入卷积神经网络A中；

本发明实施例的步骤S2中，在两关键帧图像内设置滑动窗口，移动滑动窗口提取出目标区域，滑动窗口的大小即为候选目标区域的大小，使滑动窗口在关键帧图像上移动来找到目标物体的所在区域，候选目标区域大小即为卷积神经网络A的输入尺寸。

优选地，滑动窗口的尺寸是卷积神经网络A输入要求的尺寸，不需再进行放大或者缩小操作，减少计算量。

在步骤S3之前要设计一个卷积神经网络A，该神经网络的结构为输入层，卷积层，池化层，全连接层和输出层，在输出层输出目标物体在每个区域的评分，选取得分最高的区域为目标物体所在区域。

在此实施例中，卷积神经网络A输入的图像的大小为32*32，通道为3(RGB)，滑动窗口的大小为24*24，滑动步长为2，因此可分为25个区域(5*5)；该卷积神经网络的卷积层有64个神经元，卷积核大小为3*3，步长为1，初始值由随机函数产生，卷积时用0补充边界，使得到的图像规格和原来的图像一致。

池化层采用取最大值的函数，规格为2*2，步长为2。全连接层有1000个神经元，为减少过拟合，此处有一个随机函数，范围为(0,1]，代表全连接层神经元参与计算的比例，当其值为1时1000个神经元全部参与计算。学习率为1e-4，输出25个区域在卷积神经网络中输出层的得分值，得分最高的区域为目标物体所在的区域。

将300张预处理好的图片集放入卷积神经网络A中，采用反向传播的方法训练该神经网络，用100张图片作为测试图片，保存训练后的卷积神经网络A中的所有权值。

S4：将预处理好的关键帧图像输入卷积神经网络A中，根据输出层的得分最高值所在的区域获得目标物体的所在区域。

S5：加载训练好的可分解卷积神经网络B；

在步骤S5之前需要进行的步骤还有：

S6：构建一个可分解卷积神经网络B。

其中，可分解卷积神经网络B将传统的卷积神经网络分解为通道卷积和块卷积。通道卷积即每个通道对应一个卷积核，块卷积是一般的卷积。本发明实施例通过可分解卷积神经网络B，简化了传统卷积神经网络，减少参数，加快了训练的速度。

参见图4，本发明实施例中需要相邻关键帧图像和标准图像进行匹配，传统全连接卷积神经网络计算量过大，因此使用可分解卷积神经网络。本发明实施例采用的可分解卷积神经网络B先对数据在三个通道上进行3×3通道卷积；如输入数据D×D×3，这里的3是指三个通道，那么通道卷积的计算量为C_通＝D×D×3×3×3，然后对数据进行一次规范化操作，此操作采用修正线性单元函数ReLU来进行规范化。

修正线性单元函数ReLU公式如下：

再进行1×1的块卷积运算，块卷积的计算量为C_块＝D×D×1×1；总计算量为＝C_通+C_块，最后再进行一次规范化操作。

在此实施例中，卷积神经网络B输入的图像的大小和卷积神经网络A的滑动窗口大小相同，为24*24。

训练可分解卷积神经网络B；在训练时，根据反向传播至输入层的权重旋转图像的角度，再将旋转后的图像放入可分解卷积神经网络的输入层来训练，使得与标准图像匹配率最高，记录下此时图像旋转的角度；将500张图片集放入可分解卷积神经网络中，由于计算量仍然过大，此处采用梯度下降法对该神经网络进行训练，用100张图片作为测试图片，保存可分解卷积神经网络B中训练后的所有权值。

此处的标准图像为在以机械手末端为原点的世界坐标系下，旋转角度为0°时的目标物体的位姿图像。

S7：计算两关键帧图像目标物体中心点像素位置；

参见图2，M为目标物体的位置，A₁、A₂分别为两关键帧图像上目标物体中心像素所在行的中心位置，分别计算M与A₁、A₂的像素点个数，O₁和O₂分别为相机移动前后的位置，O₂为即将采取抓取行为的机械手位置。

S8：根据两帧图像目标物体的位置以及相机的相对运动计算出目标物体的准确位置；

即，根据步骤S7中获得的两关键帧图像目标物体区域计算出目标物体中心点距离图像水平中心点的距离，根据相机在三维空间中的相对运动量计算出目标物体距离机械手的距离MO₂。

S9：根据步骤S8计算出目标物体在机械臂坐标系下的位置；

在标定目标物体中心像素点后，再计算图像水平中心位置，根据三角测量原理推算出图像点的深度信息，将目标物体的位置信息以及深度信息转化为以机械手末端为原点的世界坐标系下，确定要抓取目标的位置。

S10：将相邻关键帧图像以及标准图像输入训练好的可分解卷积神经网络，使得匹配率最高，记录下此时图像旋转的角度；

S11：根据步骤S10中计算的角度值确定目标物体的位姿。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于视觉深度学习特征的机器人机械手检测及抓取方法，其特征在于，所述方法包括以下步骤：

根据匹配率最高时的角度确定目标区域的位姿，调整机械手的抓取姿态；

其中，所述卷积神经网络A的结构为：输入层，卷积层，池化层，全连接层和输出层，

输出层输出目标区域在每个区域的评分，选取得分最高的区域为目标物体所在区域；

所述池化层取最大值的函数，全连接层设计有一个随机函数，范围为(0,1]，代表全连接层神经元参与计算的比例，当其值为1时全部神经元参与计算；

所述卷积神经网络B可分解为通道卷积和块卷积；

所述通道卷积的计算量为C_通＝D×D×3×3×3，对数据进行一次规范化操作，采用修正线性单元函数ReLU来进行规范化；所述块卷积的计算量为C_块＝D×D×1×1，D×D为输入图像的大小。

2.根据权利要求1所述的一种基于视觉深度学习特征的机器人机械手检测及抓取方法，其特征在于，所述修正线性单元函数ReLU为：

其中，X为每一卷积层和池化层的输出结果。