CN110969660A - 一种基于三维立体视觉和点云深度学习的机器人上料系统 - Google Patents

Abstract

本发明公开了一种基于三维立体视觉和点云深度学习的机器人上料系统，至少包括机械手、工件、设有工件上方的视觉传感器以及处理装置，其中，视觉传感器1实时采集视野内物体的三维点云数据，并传输该三维点云数据至处理装置，处理装置基于接收的三维点云数据计算获得的工件的位姿信息，并将该位姿信息传输至机械手，机械手根据接收的位姿信息抓取工件进行上料；本发明不同于传统的依靠识别图片像素点或点云特征描述子的位姿估计方法，输入信息为视觉传感器所采集的工件的三维点云信息，输出信息为估计的机械手抓取位姿信息，是一种全新的基于深度学习的端到端的机器人上料方法。

Description

一种基于三维立体视觉和点云深度学习的机器人上料系统

技术领域

本发明涉及属于人工智能的一种机器人上料方法，尤其涉及一种基于三维立体视觉和点云深度学习的机器人上料系统。

背景技术

目前在制造企业的加工生产中，常见的机器人上下料方法主要有两种：

第一种是基于定制工件码垛盘的抓取方案。该方法是将工件严格有序地码垛在码垛盘上，再将码垛盘放置于工业机器人的工作区，经人工示教或者离线编程后，指导机器人到指定的位置上进行抓取。其优点是设备成本相对低廉，对安装场地等需求较小。但其缺点也比较明显：1)工件码垛盘定制的时间、经济成本颇高；2)人工需预先将工件放置在定制的码垛盘上，效率低；3)机器人的运动路径固定，智能化程度低，工件码垛不精确时容易抓取失败。

第二种是基于机器视觉的抓取方案，它是目前机器人自动抓取的主要方法。其核心思想是在机器人工作区里设置视觉传感器提取工件位姿信息，从而计算获得机器人的运动路径。其中，比较成熟的技术是通过机器视觉采集工件二维图像进行位姿识别，从而计算获得机器人的运动路径。然而，由于信息缺失，物体的二维图像表示不能提供空间位置信息，同时由于光照、视点变换等因素，特征点不能被稳定的检测出来，增加了识别结果的不确定性。同时，在机器人自动化操作的环境下，通常需要准确知道目标工件的几何结构信息以及准确的位姿信息以便完成抓取点的选取与抓取的运动规划等后续任务。

随着人工智能的发展，已有学者开始研究基于人工智能技术工件抓取位姿估计，利用预先训练过的深度强化学习网络对图像进行数据降维特征提取；根据特征提取结果得出机器人的控制策略，机器人利用控制策略来控制运动路径和机械手臂的位姿，从而实现目标的自适应抓取。

目前，比较成熟的基于人工智能的机器视觉抓取方法是依据相机采集的二维图像来预测工件位姿，但此方法往往缺失工件的立体三维信息，只能实现二维的位姿估计。依据工件三维点云信息来估计工件位姿的人工智能方法还比较少，目前常用的是采用深度强化学习方法来实现的。然而，传统强化学习方法在求解高维度状态和动作空间问题时，有较大的局限性，在有限样本和计算单元条件下对复杂函数的表示能力有限，实际应用中的表现往往不是很理想。同时，传统深度强化学习算法需要提供大量的数据进行训练，在训练过程中，机器人需要不断抓取试错，才有可能可以获得稳定的抓取能力。这种训练方法周期长、效率低，在实际训练过程中有安全隐患，往往无法满足工业生产应用的需求。

还有一种采用人工智能技术的机器视觉抓取方法是，先对待抓取物体进行反足手采样，然后采用深度学习网络来评估所采样的反足手的抓取质量，最后选用评估质量最好的反足手对工件进行抓取。这种方法可以获得较高的抓取成功率，但每次抓取的工件以及抓取的位置都是随机的，不可预测，无法直接应用在工业生产应用。

发明内容

本发明的目的是提供一种基于三维立体视觉和点云深度学习的机器人上料系统。该机器人上料系统能够根据采集的三维点云数据准确地计算获得工件的位姿信息，机械手根据该位姿信息实现对工件的精确上料。

本发明的技术方案为：

一种基于三维立体视觉和点云深度学习的机器人上料系统，至少包括机械手、工件、设有工件上方的视觉传感器以及处理装置，其中，视觉传感器1实时采集视野内物体的三维点云数据，并传输该三维点云数据至处理装置，处理装置基于接收的三维点云数据计算获得的工件的位姿信息，并将该位姿信息传输至机械手，机械手根据接收的位姿信息抓取工件进行上料；

其中，处理装置包括云前处理模块、点云分类模块、位姿估计模块，云前处理模块用于对接收的三维点云数据进行筛选处理，获得工件点云数据，并将该工件点云数据传输至点云分类模块；点云分类模块用于对基于输入的工件点云数据确定点云数据所属的物体类别，简称点云类别，该点类别与点云数据组合后形成类点云信息，该类点云信息输入至位姿估计模块；位姿估计模块用于根据类点云信息确定工件的位姿信息。

本发明的有益效果是：

1、本发明提出一种基于三维立体视觉和点云深度学习的机器人上料系统，输入信息为视觉传感器所采集的工件的三维点云信息，输出信息为估计的机械手在抓取位姿信息，不同于传统的依靠识别图片像素点或点云特征描述子的位姿估计方法，是一种全新的基于深度学习的端到端的实现方法。

2、传统深度强化学习算法需要提供大量的数据进行训练，在训练过程中，机器人需要不断抓取试错，才有可能可以获得稳定的抓取能力。这种训练方法周期长、效率低，在实际训练过程中有安全隐患，往往无法满足工业生产应用的需求。本发明提供的点云深度学习算法无需进行传感器与机器人之间的手眼标定，特殊设计的网络结构无需大量的训练数据即可获得较好的预测结果，可满足大部分工业生产的需要。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于三维立体视觉和点云深度学习的机器人上料系统的结构示意图；

图2为本发明实施例提供的利用位姿估计模块计算位姿信息的流程示意图；

图3为本发明实施例提供的位置估计单元的结构示意图；

图4为本发明实施例提供的姿态估计单元的结构示意图。

附图中，1-视觉传感器，2-工件，3-机械手，4-处理装置

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1为本发明实施例提供的一种基于三维立体视觉和点云深度学习的机器人上料系统的结构示意图，该机器人上料系统至少包括机械手3、机械手3工作空间范围内的工件2、设有工件上方的视觉传感器1以及处理装置4，其中，视觉传感器1实时采集视野内物体的三维点云数据，并传输该三维点云数据至处理装置4，处理装置4基于接收的三维点云数据计算获得的工件2的位姿信息，并将该位姿信息传输至机械手3，机械手3根据接收的位姿信息抓取工件2进行上料。

其中，处理装置4包括云前处理模块401、点云分类模块402、位姿估计模块403，云前处理模块401用于对接收的三维点云数据进行筛选处理，获得工件点云数据，并将该工件点云数据传输至点云分类模块402；点云分类模块402主要用于对基于输入的工件点云数据确定点云数据所属的物体类别，简称点云类别，该点类别与点云数据组合后形成类点云信息，该类点云信息输入至位姿估计模块403；位姿估计模块403用于根据类点云信息确定工件的位姿信息。

点云前处理模块401包含点云高通滤波单元、点云下采样单元、点云平面分割单元以及点云超体聚类分割单元，能依次实现三维点云数据的滤波、下采样、平面分割以及超体聚类分割，最后获得工件点云数据。

高通滤波：具体方法为对每一个点，计算它到其所有邻近点的平均距离。假设得到的结果为一个高斯分布，其分布形状由均值和标准差所决定，平均距离在标准范围之外的点，可以被定义为离群点，将其去除。

点云下采样：其原理为通过输入点云数据创建一个三维的体素栅格，然后在每个体素内，使用体素中所有点的重心来近似显示体素中的其他点，因此这样在每一个体素中的所有点就只需要一个重心点就能表示。

点云平面分割：在点云中拟合平面点云数据，作为点云的分割条件，将其中最大的平面点云数据去除掉。

超体聚类分割：超体(supervoxel)是一种集合，集合的元素是“体”。与体素滤波器中的体类似，其本质是一个个的小方块。超体聚类的目的并不是分割出某种特定物体，其对点云实施过分割(over segmentation)，将场景点云化成很多小块，并研究每个小块之间的关系。本质上这种方法是对局部的一种总结，纹理，材质，颜色类似的部分会被自动的分割成一块，有利于后续识别工作。超体聚类实际上是一种特殊的区域生长算法，和无限制的生长不同，超体聚类首先需要规律的布置区域生长“晶核”。晶核在空间中实际上是均匀分布的，并指定晶核距离(Rseed)，再指定粒子距离(Rvoxel)，再指定最小晶粒(MOV)，过小的晶粒需要融入最近的大晶粒。以这样的原理最终实现不同堆叠物体点云的分割。

点云分类模块402主要用于识别工件点云数据所归属的物体类别，本发明中，点云分类模块402采用训练好的PointNet深度学习网络来实现识别工件点云数据所归属的物体类别。

针对用于判别点云数据所属物体类别的PointNet深度学习网络，以点云前处理模块401处理后的若干组不同类别的工件点云数据，以及对应的物体类别作为训练样本，对PointNet深度学习网络进行训练，训练结束后，网络参数确定，即可以利用训练好的PointNet深度学习网络来实现识别工件点云数据所归属的物体类别。具体地，点云分类模块的训练过程为：

1、视觉传感器1采集点云数据，经点云前处理模块401处理之后，获得工件点云数据；

2、获得若干组工件点云数据后，对每一组工件点云数据进行分类标号，标记每一组工件点云数据的类别；

3、将工件点云数据及对应的类别信息输入到点云分类模块，采用梯度下降的方法进行网络训练，损失函数为交叉熵；

4、点云分类模块训练迭代若干次之后，即可获得所需的点云分类模块的参数。

在本发明中，在工件点云数据的每一维里都添加了点云类别c即可以获得类点云信息。

如图2所示，位姿估计模块403主要包括位置估计单元和姿态估计单元，位置估计单元用以估计输入类点云信息的位置信息(x，y，z)，姿态估计单元用以估计输入类点云信息的姿态信息(Rx，Ry，Rz)；将位置信息(x，y，z)和姿态信息(Rx，Ry，Rz)相组合，即可获得工件位姿信息，也就是机器人的抓取信息。

如图3所示，位置估计单元由依次连接的随机采样层、数据前处理层、由多个多层感知器并联组成感知层、池化层、多层感知器A和多层感知器B组成；其中，随机采样层对输入类点云信息进行随机采样获得固定维数的类点云向量P(x,y,z,c)；数据前处理层将采样后的类点云向量进行归一化，归一化后的类点云向量P’(x,y,z,c)的每一维分别输入到具有相同结构且共享内部参数的多层感知器内，多层感知器用于特征映射并将输出的值输入到池化层；池化层对输入的值进行最大池化操作，并输出池化结果到多层感知器A中；多层感知器A用于对输入的池化结果进行特征映射；数据前处理层还计算采样后的类点云向量中点云数据(x，y，z)的均值，并输出点云数据(x，y，z)的均值到多层感知器B中，多层感知器B用于对输入的池化结果进行特征映射；多层感知器A的输出值和多层感知器B的输出值相加，即可获得与当前输入的类点云信息相对应的位置信息(x，y，z)的估计值。

如图4所示，姿态估计单元由三组结构相似的网络单元并联组成，每一组网络单元都是由依次连接的随机采样层、数据归一化层由多个多层感知器并联组成感知层、池化层以及多层感知器C组成；其中，随机采样层对输入类点云信息进行随机采样获得固定维数的类点云向量；数据归一化层将采样后的类点云向量进行归一化，归一化后的类点云向量的每一维分别输入到具有相同结构且共享内部参数的感知层的多层感知器内；多层感知器用于特征映射并将输出值输入到池化层；池化层对输入值进行最大池化操作，并输出池化结果到多层感知器C中，每组网络单元中多层感知器C的结构不相同，第一组网络单元的多层感知器C₁对池化结果特征映射后输出姿态信息(Rx，Ry)的估计值，第二组网络单元的多层感知器C₂对池化结果特征映射后输出姿态信息(Rz)的绝对值的估计值，第三组网络单元的多层感知器C₃对池化结果特征映射后输出姿态信息(Rz)的符号的估计值；最后将这三组网络单元的输出相结合，即可获得与当前输入类点云信息相对应的姿态信息(Rx，Ry，Rz)的估计值。

本发明中，位置估计单元和姿态估计单元均采用已经训练好的网络模型，针对位置估计单元对应的网络模型，以类点云信息和对应的机器人抓取该工件时的位置信息(x，y，z)作为训练样本，对位置估计单元对应的网络模型进行训练，训练结束后，网络参数确定，即可以利用训练好的位置估计单元进行工件的位置信息的估计，具体训练过程为：

1、视觉传感器1采集若干组不同类别且不同位姿的工件的三维点云信息，经点云前处理后获得工件点云数据，标记每组工件点云数据的类别信息，同时将机器人移动到目标工件的待抓取位置，获得对应组数机器人位置信息；

2、将所获得的工件点云数据及对应的类别信息合成为类点云信息，具体是将点云中每个点设置类别，将类别添加到点云中每个点的三维坐标后面形成每个点的新信息量，然后组成获得类点云信息。然后将类点云信息及对应的机器人待抓取位置信息输入到位置估计单元，采用梯度下降的方法进行网络训练，损失函数为L2损失函数；

3、位置估计单元训练迭代若干次之后，即可获得所需的位置估计单元的参数。

针对姿态估计单元对应的网络模型，以类点云信息和对应的机器人抓取该工件时的姿态信息(Rx，Ry，Rz)作为训练样本，对姿态估计单元对应的网络模型进行训练，训练结束后，网络参数确定，即可以利用训练好的姿态估计单元进行工件的姿态信息的估计，具体训练过程为：

1、视觉传感器1采集若干组不同类别且不同位姿的工件的三维点云信息，经点云前处理后获得工件点云数据，标记每组工件点云数据的类别信息，同时将机器人移动到目标工件的待抓取位置，获得对应组数机器人姿态信息；

2、将所获得的工件点云数据及对应的类别信息合成为类点云信息，具体是将点云中每个点设置类别，将类别添加到点云中每个点的三维坐标后面形成每个点的新信息量，然后组成获得类点云信息。然后将类点云信息及对应的机器人待抓取姿态信息输入到姿态估计单元，采用梯度下降的方法进行网络训练，第一组网络模块和第二组网络模块的损失函数为L2损失函数，第三组网络模块的损失函数为交叉熵；

3、姿态估计单元训练迭代若干次之后，即可获得所需的姿态估计单元的参数。

工业产线的上下料环节中，往往存在很多杂乱堆放的工件，需要机器人实现自动化的分拣或上下料。本发明适用于工业上下料环节中的零件自动化分拣或上下料，先对视觉传感所采集的点云信息进行数据前处理，然后采用深度学习算法进行分类判断所输入的点云是哪种目标零件，然后采用两个深度学习网络分别实现机器人的抓取位置估计和抓取姿态估计，最终完成工件的分拣或上下料。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，至少包括机械手、工件、设有工件上方的视觉传感器以及处理装置，其中，视觉传感器1实时采集视野内物体的三维点云数据，并传输该三维点云数据至处理装置，处理装置基于接收的三维点云数据计算获得的工件的位姿信息，并将该位姿信息传输至机械手，机械手根据接收的位姿信息抓取工件进行上料；

其中，处理装置包括云前处理模块、点云分类模块、位姿估计模块，云前处理模块用于对接收的三维点云数据进行筛选处理，获得工件点云数据，并将该工件点云数据传输至点云分类模块；点云分类模块用于对基于输入的工件点云数据确定点云数据所属的物体类别，简称点云类别，该点类别与点云数据组合后形成类点云信息，该类点云信息输入至位姿估计模块；位姿估计模块用于根据类点云信息确定工件的位姿信息。

2.如权利要求1所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，所述点云前处理模块包含点云高通滤波单元、点云下采样单元、点云平面分割单元以及点云超体聚类分割单元，能依次实现三维点云数据的滤波、下采样、平面分割以及超体聚类分割，最后获得工件点云数据。

3.如权利要求1所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，所述点云分类模块采用训练好的PointNet深度学习网络来实现识别工件点云数据所归属的物体类别。

4.如权利要求1所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，位姿估计模块主要包括位置估计单元和姿态估计单元，位置估计单元用以估计输入类点云信息的位置信息(x，y，z)，姿态估计单元用以估计输入类点云信息的姿态信息(Rx，Ry，Rz)；将位置信息(x，y，z)和姿态信息(Rx，Ry，Rz)相组合，即可获得工件位姿信息。

5.如权利要求4所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，位置估计单元由依次连接的随机采样层、数据前处理层、由多个多层感知器并联组成感知层、池化层、多层感知器A和多层感知器B组成；其中，随机采样层对输入类点云信息进行随机采样获得固定维数的类点云向量；数据前处理层将采样后的类点云向量进行归一化，归一化后的类点云向量的每一维分别输入到具有相同结构且共享内部参数的多层感知器内，多层感知器用于特征映射并将输出的值输入到池化层；池化层对输入的值进行最大池化操作，并输出池化结果到多层感知器A中；多层感知器A用于对输入的池化结果进行特征映射；数据前处理层还计算采样后的类点云向量中点云数据(x，y，z)的均值，并输出点云数据(x，y，z)的均值到多层感知器B中，多层感知器B用于对输入的池化结果进行特征映射；多层感知器A的输出值和多层感知器B的输出值相加，即可获得与当前输入的类点云信息相对应的位置信息(x，y，z)的估计值。

6.如权利要求4所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，姿态估计单元由三组结构相似的网络单元并联组成，每一组网络单元都是由依次连接的随机采样层、数据归一化层由多个多层感知器并联组成感知层、池化层以及多层感知器C组成；其中，随机采样层对输入类点云信息进行随机采样获得固定维数的类点云向量；数据归一化层将采样后的类点云向量进行归一化，归一化后的类点云向量的每一维分别输入到具有相同结构且共享内部参数的感知层的多层感知器内；多层感知器用于特征映射并将输出值输入到池化层；池化层对输入值进行最大池化操作，并输出池化结果到多层感知器C中，每组网络单元中多层感知器C的结构不相同，第一组网络单元的多层感知器C₁对池化结果特征映射后输出姿态信息(Rx，Ry)的估计值，第二组网络单元的多层感知器C₂对池化结果特征映射后输出姿态信息(Rz)的绝对值的估计值，第三组网络单元的多层感知器C₃对池化结果特征映射后输出姿态信息(Rz)的符号的估计值；最后将这三组网络单元的输出相结合，即可获得与当前输入类点云信息相对应的姿态信息(Rx，Ry，Rz)的估计值。

7.如权利要求5所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，针对位置估计单元对应的网络模型，以类点云信息和对应的机器人抓取该工件时的位置信息(x，y，z)作为训练样本，对位置估计单元对应的网络模型进行训练，训练结束后，网络参数确定，即利用训练好的位置估计单元进行工件的位置信息的估计。

8.如权利要求6所述的基于三维立体视觉和点云深度学习的机器人上料系统，其特征在于，针对姿态估计单元对应的网络模型，以类点云信息和对应的机器人抓取该工件时的姿态信息(Rx，Ry，Rz)作为训练样本，对姿态估计单元对应的网络模型进行训练，训练结束后，网络参数确定，即利用训练好的姿态估计单元进行工件的姿态信息的估计。

Images