CN108908334A - 一种基于深度学习的智能抓取系统及方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的智能抓取系统，包括一多自由度的机械臂、末端执行器、立体视觉设备、WIFI中继模块和工控机。本发明还公开了一种基于深度学习的智能抓取方法，通过训练深度学习的神经网络模型，结合图像处理技术，识别出目标物体在三维空间中的位置及物体种类，然后控制该机械臂对目标物体进行抓取。采用本发明能极大地提高目标物体识别率及定位准确率，适合复杂场景下的物体抓取任务。

Description

一种基于深度学习的智能抓取系统及方法

技术领域

本发明涉及自动控制领域，尤其涉及一种基于深度学习的智能抓取系统和智能抓取方法。

背景技术

多自由度机械臂具有高速、灵活等特点，在生产生活中扮演着重要的角色，应用越来越广泛。然而，大部分的机械臂都是工作在已知的工作环境中。若环境发生变化，则需要对机械臂做出相应调整。机械臂自主适应未知环境的能力较差。例如在工业生产中，大部分机械臂均采用固定运动轨迹的方式进行生产，其并不具备智能特性。为了使机械臂智能化，具有自主从未知环境中获取信息的能力，需要给机械臂配备各种外部传感器，如触觉、距离和视觉传感器等。其中视觉传感器具有信号范围大、信息完整等特点，被认为是最重要的传感器。

目前，基于视觉的机械臂抓取方法大多采用传统图像处理的方法，在复杂环境下物体识别率及定位准确率较低，大多只能工作在简单特定的环境中，对工作场景及光线要求很高，无法满足室外及复杂环境下抓取任务的要求。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于深度学习的智能抓取系统及方法。可通过深度学习与图像处理以及机械臂的结合，能极大地提高物体识别率及定位的准确率，适合复杂场景下的物体抓取任务。

为了解决上述技术问题，本发明实施例提供了一种基于深度学习的智能抓取系统，包括一多自由度的机械臂、末端执行器、立体视觉设备、WIFI中继模块和工控机，所述立体视觉设备固定设于所述机械臂基座，所述末端执行器和所述机械臂分别与所述WIFI中继模块通讯连接，所述立体视觉设备与所述工控机通讯连接，所述工控机与所述WIFI中继模块通讯连接。

相应地，本发明实施例还提供了一种基于深度学习的智能抓取方法，包括以下步骤：

(1)进行初始化；

(2)获取立体视觉设备的RGB彩色图像；

(3)加载训练好的深度神经网络模型；

(4)取得目标物体在图像中的位置及类别；

(5)获取所述目标物体中心点像素位置所对应的深度值；

(6)根据所述像素位置和深度值计算出目标物体在机械臂坐标系下的空间位置；

(7)判断该位置是否在机械臂工作空间内，若是，则执行后续机械臂运动操作；若否，则报错说明该目标物不在机械臂工作空间内；

(8)规划机械臂运动轨迹；

(9)发送控制命令让机械臂运动；

(10)当机械臂末端到达目标位置，发送末端执行器控制命令，实行抓取。

进一步地，所述立体视觉设备使用RGB-D立体视觉设备。

更进一步地，还包括从所述RGB-D立体视觉设备中获取彩色图像和深度图像，根据任意彩色图像像素点的坐标(px,py)以及深度图像所对应像素点的深度值pz，得到彩色图像像素点所对应空间坐标(x,y,z)：

z＝pz/factor

x＝(px-cx)*pz/fx

y＝(py-cy)*pz/fy

其中，fx、fy、cx、cy、factor为相机内参，fx表示摄像机图像横轴方向上以像素为单位的焦距，fy为摄像机图像纵轴方向上以像素为单位的焦距，cx为摄像机光轴与图像中心在横轴方向上以像素为单位的差距，cy为摄像机光轴与图像中心在纵轴方向上以像素为单位的差距，factor为比例因子。

更进一步地，还包括将立体视觉坐标系下的坐标转换为机械臂坐标系下的坐标：

其中，(x’,y’,z’)为机械臂坐标系下的坐标，x0为x轴方向上的偏移量，y0为y轴方向上的偏移量，z0为z轴方向上的偏移量，旋转矩阵R为：

R＝R_x(α)R_y(β)R_z(θ)

其中，α为绕x轴的旋转量，β为绕y轴的旋转量，θ为绕z轴的旋转量。

实施本发明实施例，具有如下有益效果：本发明所涉及的方法通过训练深度学习的神经网络模型，结合图像处理技术，识别出目标物体在三维空间中的位置及物体种类，然后控制该机械臂对目标物体进行抓取。采用本发明能极大地提高目标物体识别率及定位准确率，适合复杂场景下的物体抓取任务。

附图说明

图1是本发明的系统结构示意框图；

图2是本发明的方法流程图；

图3是本发明的实施示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，本发明提供的基于深度学习的智能抓取系统，包括一多自由度机械臂、末端执行器、立体视觉设备、WIFI中继模块和工控机，该立体视觉设备设于该机械臂基座底部，该机械臂和该末端执行器通过TCP协议与该WIFI中继模块相连，该立体视觉设备通过USB与该工控机相连，该工控机与该WIFI中继模块无线通信，实现整个智能抓取系统的信息互通。

请参阅图2，本发明提供的基于深度学习的智能抓取方法的具体实施步骤为：

(1)首先需要初始化整个系统，包括机械臂控制系统、末端执行器控制系统以及工控机；

(2)获取立体视觉的彩色图像；

(3)加载训练好的深度神经网络模型；

(4)得到目标物体在图像中的位置及类别；

(5)获取目标物体中心点像素位置所对应的深度值；

(6)根据像素位置和深度值计算出目标物体在机械臂坐标系下的空间位置；

(7)判断该位置是否在机械臂工作空间内，若是，则执行后续机械臂运动操作；若否，则报错说明该目标物不在机械臂工作空间内；

(8)根据目标物体的空间位置求机械臂运动学逆解，得到每个关节所需转动的角度；

(9)规划机械臂运动轨迹；

(10)发送控制命令让机械臂运动；

(11)当机械臂末端到达目标位置，发送末端执行器控制命令，实行抓取。

对于发明中的关键点，将分以下几点进行详细阐述：

1、安装立体视觉设备、机械臂及末端执行器；

本发明的实施结构如图3所示，其中301为六自由度机械臂，302为立体视觉设备，303为末端执行器，304为被抓取物，在该实施例中，该被抓取物304为苹果。

可以理解的，在其他实施例中，该被抓取物304除苹果外，还可以为其他的物体。本发明实施例以此不为限。

2、立体视觉设备与机械臂坐标系的转换；

本发明所采用的是RGB-D的立体视觉设备，从RGB-D中可以得到两种图像：RGB彩色图像和深度图像。根据任意彩色图像像素点的坐标(px,py)以及深度图像所对应像素点的深度值pz，可以得到彩色图像像素点所对应空间坐标(x,y,z)

z＝pz/factor (I)

x＝(px-cx)*pz/fx (2)

y＝(py-cy)*pz/fy (3)

其中，fx、fy、cx、cy、factor为相机内参，fx表示摄像机图像横轴方向上以像素为单位的焦距，fy为摄像机图像纵轴方向上以像素为单位的焦距，cx为摄像机光轴与图像中心在横轴方向上以像素为单位的差距，cy为摄像机光轴与图像中心在纵轴方向上以像素为单位的差距。factor为比例因子。

机械臂实际抓取是在机械臂坐标系下，还需要将上面得到的立体视觉坐标系下的坐标转换为机械臂坐标系下的坐标，转换公式如下：

其中，(x’,y’,z’)为机械臂坐标系下的坐标，x0为x轴方向上的偏移量，y0为y轴方向上的偏移量，z0为z轴方向上的偏移量。旋转矩阵R为：

R＝R_x(α)R_y(β)R_z(θ) (5)

其中，α为绕x轴的旋转量，β为绕y轴的旋转量，θ为绕z轴的旋转量。

联合方程(1)(2)(3)(4)(5)(6)(7)(8)，为得到彩色图像中某一像素点(px,py)在机械臂坐标系下的空间坐标值，需要得到以下11个参数的值：fx、fy、cx、cy、factor、α、β、θ、x0、y0、z0。

找到空间中(px,py,pz)与(x’,y’,z’)四个点即可完成参数的求解。得到以上11个参数值后，根据物体在二维RGB彩色图像中的位置，即可得到机械臂所需要抓取的位置。

3、数据集的标定；

本发明采用目标检测的深度学习网络模型，在训练样本中需要标记出目标物体在图像中的位置以及类别，标记方式为矩形框框选，每一张图片样本对应一个xml的文件，记录矩形框选区域的左上角顶点坐标和右下角顶点坐标。总共标记的训练样本数量为277张。

4、训练深度神经网络的模型；

本发明采用迁移学习的方式，调用已训练好的模型，利用自身标定的数据进行再训练，再训练的模型为SSD_Mobilenet_v1_coco。

加载再训练过后的模型，通过调用立体视觉的图像，显示在彩色图像中识别到的目标物体的位置及种类。

5、通过机械臂进行抓取。

通过步骤4得到目标物体在RGB彩色图像中的位置，然后经过步骤3得到目标物体在机械臂坐标系下的空间坐标，通过逆运动学解算出机械臂每个关节所需转动的角度，通过TCP协议发送控制命令，当机械臂到达目标位置后，再像末端执行器发送控制命令，完成抓取。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (5)

1.一种基于深度学习的智能抓取系统，其特征在于，包括一多自由度的机械臂、末端执行器、立体视觉设备、WIFI中继模块和工控机，所述立体视觉设备固定设于所述机械臂基座，所述末端执行器和所述机械臂分别与所述WIFI中继模块通讯连接，所述立体视觉设备与所述工控机通讯连接，所述工控机与所述WIFI中继模块通讯连接。

2.一种基于深度学习的智能抓取方法，其特征在于，包括以下步骤：

(1)进行初始化；

(2)获取立体视觉设备的RGB彩色图像；

(3)加载训练好的深度神经网络模型；

(4)取得目标物体在图像中的位置及类别；

(5)获取所述目标物体中心点像素位置所对应的深度值；

(6)根据所述像素位置和深度值计算出目标物体在机械臂坐标系下的空间位置；

(7)判断该位置是否在机械臂工作空间内，若是，则执行后续机械臂运动操作；若否，则报错说明该目标物不在机械臂工作空间内；

(8)规划机械臂运动轨迹；

(9)发送控制命令让机械臂运动；

(10)当机械臂末端到达目标位置，发送末端执行器控制命令，实行抓取。

3.根据权利要求2所述的基于深度学习的智能抓取方法，其特征在于，所述立体视觉设备使用RGB-D立体视觉设备。

4.根据权利要求3所述的基于深度学习的智能抓取方法，其特征在于，还包括从所述RGB-D立体视觉设备中获取彩色图像和深度图像，根据任意彩色图像像素点的坐标(px,py)以及深度图像所对应像素点的深度值pz，得到彩色图像像素点所对应空间坐标(x,y,z)：

z＝pz/factor

x＝(px-cx)*pz/fx

y＝(py-cy)*pz/fy

其中，fx、fy、cx、cy、factor为相机内参，fx表示摄像机图像横轴方向上以像素为单位的焦距，fy为摄像机图像纵轴方向上以像素为单位的焦距，cx为摄像机光轴与图像中心在横轴方向上以像素为单位的差距，cy为摄像机光轴与图像中心在纵轴方向上以像素为单位的差距，factor为比例因子。

5.根据权利要求4所述的基于深度学习的智能抓取方法，其特征在于，还包括将立体视觉坐标系下的坐标转换为机械臂坐标系下的坐标：

其中，(x’,y’,z’)为机械臂坐标系下的坐标，x0为x轴方向上的偏移量，y0为y轴方向上的偏移量，z0为z轴方向上的偏移量，旋转矩阵R为：

R＝R_x(α)R_y(β)R_z(θ)

其中，α为绕x轴的旋转量，β为绕y轴的旋转量，θ为绕z轴的旋转量。