CN110948492B - 一种基于深度学习的三维抓取平台和抓取方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的三维抓取平台和抓取方法，包括控制系统、传动带系统、机器人系统、采集系统以及物体类别和位姿识别系统；其中，采集系统采集并预处理视野内的原始三维点云数据获取物体的三维点云数据，并输出至物体类别和位姿识别系统；物体类别和位姿识别系统利用基于深度学习网络构建的物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并输出至控制系统；控制系统输出控制指定至采集系统以控制采集视野内的原始三维点云数据；根据物体类别和位姿识别系统输出的识别结果规划移动路径，并根据移动路径输出控制指令至机器人系统以控制机器人抓取物体。

Description

一种基于深度学习的三维抓取平台和抓取方法

技术领域

本发明涉及机械臂抓取技术领域，更具体地说，涉及一种基于深度学习的三维抓取平台和抓取方法。

背景技术

随着人工成本的日益增高，利用机械臂代替人工分拣，实现物体的识别和抓取一直以来是人们关注的焦点。比如物流领域利用机械臂实现分拣包裹，工业领域实现上下料等功能。

传统的采用示教的机械臂抓取方法依赖于多种传感器诸如激光传感器、行程开关等以确保较好的重复定位精度。通过提前设定机械臂需到达的位置，根据一定抓取节奏实现物块的抓取。传统的基于机器视觉机械臂抓取方法通过人工提取物体特征信息与提前构建的数据库配对获取物块在相机坐标系的坐标，然后通过手眼标定将像素坐标转换到机械臂坐标下，让机械臂实现抓取。

上述方法存在不足，传统的采用示教的机械臂抓取方法只能针对单一的物体进行抓取，且不能适应复杂场景下物体的不同姿态，同时随着传感器增多，成本也提升。传统的基于机器视觉机械臂抓取方法往往只利用了二维信息，而忽视了三维结构信息，如公开号为CN106003119A的专利申请公开一种吸取式机械手的物体抓取方法及物体抓取系统和公开号为CN104048607A的专利申请公开一种机械手臂的视觉识别抓取方法。

此外，手眼标定和人工提取特征加大了抓取过程的复杂度。因此，从数据处理上和人工处理特征的复杂度角度上看，这些方法都不具备良好的实时性和便捷性。

发明内容

本发明的目的是提供一种基于深度学习的三维抓取平台和抓取方法，该三维抓取平台和抓取方法能够实时获得物体的三维点云数据，根据物体的三维点云数据获得物体的类别和位姿信息，机械手根据该类别和位姿信息实现对物体的精准抓取。

为实现上述发明目的，本发明的技术方案为：

一种基于深度学习的三维抓取平台，包括控制系统、传动带系统、机器人系统、采集系统以及物体类别和位姿识别系统；其中，

所述采集系统受控制系统控制采集视野内的原始三维点云数据，并对采集的原始三维点云数据进行预处理获取物体的三维点云数据，并输出该物体的三维点云数据至物体类别和位姿识别系统；

所述物体类别和位姿识别系统利用基于深度学习网络构建的物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统；

所述控制系统输出控制指定至采集系统以控制采集视野内的原始三维点云数据；根据物体类别和位姿识别系统输出的识别结果规划移动路径，并根据移动路径输出控制指令至机器人系统以控制机器人抓取物体。

一种抓取方法，所述抓取方法采用上述基于深度学习的三维抓取平台，所述抓取方法包括以下过程：

所述传感器在检测获得传送带上的物体到指定抓取区域后，发送物体到位信号至所述控制系统，所述控制系统根据接收的物体到位信号后控制采集设备采集视野内的原始三维点云数据并发送至预处理器；

所述预处理器对获得的原始三维点云数据依次进行点云分割、点云滤波、点云聚类以及点云体素化以提取物体的三维点云数据并发送至物体类别和位姿识别模型；

所述物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统；

所述控制系统根据物体类别和位姿信息规划移动路径，并发送该物体类别和位姿信息、移动路径至六轴机械臂的工控机；

所述工控机接收物体类别和物体位姿信息和移动路径，根据该物体类别和物体位姿信息和规划路径控制六轴机械臂抓取。

与现有技术相比，本发明具有的有益效果至少包括：

实现了深度学习、机器人技术、三维点云的技术融合，利用神经网络进行端到端学习训练从而直接识别物体的类别和位姿，提高了抓取的效率和可替代性。同时，本发明在低成本的条件下最大化地适应了不同物体不同姿态下的抓取场景，并具备良好的精度和实时性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于深度学习的三维抓取平台的结构示意图；

图2为本发明实施例提供的抓取流程图；

图3为本发明实施例提供的物体类别和位姿识别网络的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1为本发明实施例提供的基于深度学习的三维抓取平台的结构示意图。参见图1，实施例提供的基于深度学习的三维抓取平台包括控制系统101、传动带系统102、机器人系统103、采集系统104以及物体类别和位姿识别系统105。

其中，采集系统104受控制系统101控制采集视野内的原始三维点云数据，并对采集的原始三维点云数据进行预处理获取物体的三维点云数据，并输出该物体的三维点云数据至物体类别和位姿识别系统105；

物体类别和位姿识别系统105利用基于深度学习网络构建的物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统101；

控制系统101输出控制指定至采集系统以控制采集视野内的原始三维点云数据；根据物体类别和位姿识别系统105输出的识别结果规划移动路径，并根据移动路径输出控制指令至机器人系统103以控制机器人抓取物体。

其中，采集系统104包括采集设备和预处理器，其中，所述采集设备受所述控制系统控制采集视野内的原始三维点云数据；

所述预处理器用于对获得的原始三维点云数据依次进行点云分割、点云滤波、点云聚类以及点云体素化以提取物体的三维点云数据。

即先利用点云分割分离出物体点云和背景点云并提取物体三维点云数据。利用点云滤波去除分割不能完整去除的背景信息。利用点云去除离群点和点云聚类将一些杂点去除，精细化三维点云信息。利用点云体素化将数据量降低，以方便后续网络的特征学习。

本发明中，所述物体类别和位姿识别模型的构建方法为：

选取物块质心点作为位姿信息采集点，采用任意摆放物块位置方式获取采集点在机器人坐标系下的坐标信息x,y,z，在相对于坐标系x轴正方向为-180°～+180°的范围内每隔5°到10°采集物块的角度信息Rz，将坐标信息x,y,z、角度信息Rz以及物块类别组成标签，物体的三维点云数据和标签组成一个训练样本；

对Pointnet进行改进，获得物体类别和位姿识别网络，利用训练样本对物体类别和位姿识别网络进行训练，网络参数确定后获得物体类别和位姿识别模型。

具体地，所述物体类别和位姿识别网络包括感知层、最大池化层、全连接层，其中，

所述感知层由不同大小的卷积网络组成，用于三维点云数据由高维向量向低维向量的映射，实现三维点云数据的特征提取；

所述最大池化层用于对一定区域内的三维点云数据提取最大值点云数据，能够保留主要的特征同时减少参数和计算量，防止过拟合，提高模型泛化能力；

所述全连接层用于将物体的三维点云数据映射到物体标签，即物体位姿信息和物体类别。

如图3所示，物体类别和位姿识别网络的结构以及功能包括：

数据预处理：输入物体点云首先下采样到1000左右的点云数据量，每一组训练的物体点云数据包括每个点的x,y,z信息以及当前物体的类别信息。将点云数据进行归一化操作，确保网络学习的时候每个变量可变范围在0-1之间。

特征提取：输入点云依次经过输出为64,64,64,128,1024的感知层MLP，感知层MLP将物体点云信息向高层映射，然后采用一层Max pooling将信息再次降维，以此提取能够代表整个物体点云信息的全局特征。

分类输出：全局特征用于三个部分。第一部分，全局特征依次接输出为512,256，Class_size的三层感知层，将全局信息降维映射到类别信息；第二部分，全局特征依次接输出为512,256，3的三层感知层，将全局信息降维映射到x,y,z的位置信息；第三部分，全局特征依次接输出为512,256，1的三层感知层，将全局信息降维映射到转角Rz信息。

其中，控制系统101采用ubuntu作为主控机的操作系统，搭载ROS Kinectic系统，采用发布/订阅的通讯方式实现各模块交互，使用Moveit规划机器人的机械臂运动路径，控制机械臂运动。

其中，机器人系统103包括六轴机械臂、六轴机械臂的工控机，所述工控机接收物体类别和物体位姿信息和移动路径，根据该物体类别和物体位姿信息和规划路径控制六轴机械臂抓取。

其中，传动带系统102包括传送带以及传感器，所述传感器在检测获得传送带上的物体到指定抓取区域后，发送物体到位信号至控制系统101，控制系统101根据接收的物体到位信号后控制采集系统104采集视野内的原始三维点云数据。

本实施例中，采集系统104采用深度相机、双目相机或激光雷达采集视野内的原始三维点云数据。具体地，可采用可以导出点云信息的深度相机Kinect v2。

参考图2，具体的抓取流程包含以下过程：

S10，传送带运输物体至相机视野中。

S20，传送带上的激光传感器给传感模块发送信号，kinect v2深度相机采集物体的点云数据做输入数据，并获取该物体对应的机械臂抓取姿态数据(x,y,z,Rz)和当前物体类别信息作为数据标签。

S30，改变物块的位姿，改变物块在相机视野中的x,y,z位移位置，以及Rz转角信息并如S20所述记录,共采集数据30～40组。

S40，换用另一种物体，重复S20和S30同样获得原始数据。

S50，对获取的原始点云数据进行分割、滤波、体素化、去除离群点等点云处理操作，获取完整单一的物体点云数据。

S60，将处理好的点云数据和标签投入pointnetlike神经网络中进行训练，获得训练好的模型，并作为预测结点嵌入ROS中。

S70，实践阶段，重复S10，相机获取物体点云并做点云处理，训练好的预测模型首先预测出当前所要抓取的物体的类别；同时，预测模型给出物体在机械臂坐标系下的位姿信息。

S80，ROS里的Moveit模块根据获取的物体的位姿信息对机械臂将要移动执行的路径进行规划，生成每个机械臂关节所需转动的角度。

S90，ARDUNIO控制芯片获取由Moveit规划好的关节角度转动信息并控制各个机械臂关节转动。

S10，机械臂获取制动指令和抓取指令，实现传送带上的物块抓取并放置到指定位置。

S11，重复S70～S10。

所述S30具体为：物体的位姿是指当前物体的质心在机器坐标系下的位置。位姿信息x,y,z可任意设置，角度信息从-180°到180°每隔5°～10°获取。

本发明提供的基于深度学习的三维抓取平台和抓取方法实现了深度学习、机器人技术、三维点云的技术融合，利用神经网络进行端到端学习训练从而直接识别物体的类别和位姿，提高了抓取的效率和可替代性。同时，本发明在低成本的条件下最大化地适应了不同物体不同姿态下的抓取场景，并具备良好的精度和实时性。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的三维抓取平台，其特征在于，包括控制系统、传动带系统、机器人系统、采集系统以及物体类别和位姿识别系统；其中，

所述采集系统受控制系统控制采集视野内的原始三维点云数据，并对采集的原始三维点云数据进行预处理获取物体的三维点云数据，并输出该物体的三维点云数据至物体类别和位姿识别系统；

所述物体类别和位姿识别系统利用基于深度学习网络构建的物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统；

所述控制系统输出控制指定至采集系统以控制采集视野内的原始三维点云数据；根据物体类别和位姿识别系统输出的识别结果规划移动路径，并根据移动路径输出控制指令至机器人系统以控制机器人抓取物体；

其中，所述物体类别和位姿识别模型的构建方法为：

选取物块质心点作为位姿信息采集点，采用任意摆放物块位置方式获取采集点在机器人坐标系下的坐标信息x,y,z，在相对于坐标系x轴正方向为-180°～+180°的范围内每隔5°到10°采集物块的角度信息Rz，将坐标信息x,y,z、角度信息Rz以及物块类别组成标签，物体的三维点云数据和标签组成一个训练样本；

对Pointnet进行改进，获得物体类别和位姿识别网络，利用训练样本对物体类别和位姿识别网络进行训练，网络参数确定后获得物体类别和位姿识别模型。

2.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述采集系统包括采集设备和预处理器，其中，所述采集设备受所述控制系统控制采集视野内的原始三维点云数据；

所述预处理器用于对获得的原始三维点云数据依次进行点云分割、点云滤波、点云聚类以及点云体素化以提取物体的三维点云数据。

3.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述物体类别和位姿识别网络包括感知层、最大池化层、全连接层，其中，

所述感知层由不同大小的卷积网络组成，用于三维点云数据由高维向量向低维向量的映射，实现三维点云数据的特征提取；

所述最大池化层用于对一定区域内的三维点云数据提取最大值点云数据，能够保留主要的特征同时减少参数和计算量，防止过拟合，提高模型泛化能力；

所述全连接层用于将物体的三维点云数据映射到物体标签，即物体类别和位姿信息。

4.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述控制系统采用ubuntu作为主控机的操作系统，搭载ROS Kinectic系统，采用发布/订阅的通讯方式实现各模块交互，使用Moveit规划机器人的机械臂运动路径，控制机械臂运动。

5.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述机器人系统包括六轴机械臂、六轴机械臂的工控机，所述工控机接收物体类别和物体位姿信息和移动路径，根据该物体类别和物体位姿信息和规划路径控制六轴机械臂抓取。

6.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述传动带系统包括传送带以及传感器，所述传感器在检测获得传送带上的物体到指定抓取区域后，发送物体到位信号至所述控制系统，所述控制系统根据接收的物体到位信号后控制采集系统采集视野内的原始三维点云数据。

7.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述采集系统采用深度相机、双目相机或激光雷达采集视野内的原始三维点云数据。

8.一种抓取方法，其特征在于，所述抓取方法采用权利要求1～7任一项所述的基于深度学习的三维抓取平台，所述抓取方法包括以下过程：

传感器在检测获得传送带上的物体到指定抓取区域后，发送物体到位信号至所述控制系统，所述控制系统根据接收的物体到位信号后控制采集设备采集视野内的原始三维点云数据并发送至预处理器；

所述预处理器对获得的原始三维点云数据依次进行点云分割、点云滤波、点云聚类以及点云体素化以提取物体的三维点云数据并发送至物体类别和位姿识别模型；

所述物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统；

所述控制系统根据物体类别和位姿信息规划移动路径，并发送该物体类别和位姿信息、移动路径至六轴机械臂的工控机；

所述工控机接收物体类别和物体位姿信息和移动路径，根据该物体类别和物体位姿信息和移动路径控制六轴机械臂抓取。

Images