CN111046948B - 点云仿真和深度学习的工件位姿识别及机器人上料方法 - Google Patents

Abstract

本发明公开了一种点云仿真和深度学习的工件位姿识别及机器人上料方法。先产生随机数据来训练点云深度学习网络，再将真实采集的目标物体的点云输入到训练好的点云深度学习网络，根据点云深度学习网络的估计值及目标物体的机器人抓取位姿来计算偏移矩阵，最后在估计目标物体的位姿时，用偏移矩阵来修正点云深度学习网络的输出值，获得目标物体的准确抓取位姿。本发明以全新方式来实现基于深度学习的机器人上料，只需采用随机数据进行训练，少量真实数据进行修正，即可实现整套算法的架构，便于快捷应用和推广。

Description

点云仿真和深度学习的工件位姿识别及机器人上料方法

技术领域

本发明涉及属于人工智能的一种机器人上料方法，尤其涉及一种基于点云仿真和深度学习的工件位姿识别及机器人上料方法。

背景技术

中国作为全球五大工业机器人消费国之一，智能化的工业机器人需求量巨大。搬运及上下料的机器人应用占比超过三分之二，对其进行智能化升级所带来的附加价值明显。

随着人工智能的发展，已有学者开始研究基于人工智能技术工件抓取位姿估计，利用预先训练过的深度强化学习网络对图像进行数据降维特征提取；根据特征提取结果得出机器人的控制策略，机器人利用控制策略来控制运动路径和机械手臂的位姿，从而实现目标的自适应抓取。

目前，比较成熟的基于人工智能的机器视觉抓取方法是依据相机采集的二维图像来预测工件位姿，但此方法往往缺失工件的立体三维信息，只能实现二维的位姿估计。依据工件三维点云信息来估计工件位姿的人工智能方法还比较少。通常的思路是采用深度学习的方法来估计目标物体的抓取位姿。但这种方法需要采集大量的数据供深度学习网络训练，而且，采集过程中也容易因笔误影响数据采集质量。这种方法需耗费大量时间与精力，不适合工业大规模推广应用。目前还有一种方法是是采用深度强化学习方法来实现。然而，传统强化学习方法在求解高维度状态和动作空间问题时，有较大的局限性，在有限样本和计算单元条件下对复杂函数的表示能力有限，实际应用中的表现往往不是很理想。同时，传统深度强化学习算法需要提供大量的数据进行训练，在训练过程中，机器人需要不断抓取试错，才有可能可以获得稳定的抓取能力。这种训练方法周期长、效率低，在实际训练过程中有安全隐患，往往无法满足工业生产应用的需求。还有一种采用人工智能技术的机器视觉抓取方法是，先对待抓取物体进行反足手采样，然后采用深度学习网络来评估所采样的反足手的抓取质量，最后选用评估质量最好的反足手对工件进行抓取。这种方法可以获得较高的抓取成功率，但每次抓取的工件以及抓取的位置都是随机的，不可预测，无法直接应用在工业生产应用。

发明内容

为克服现有技术的不足，本发明提供一种基于点云仿真和深度学习的工件位姿识别及机器人上料方法。

本发明采用的技术方案如下：

如图1所示，具体实施包括训练点云深度学习网络、计算偏移矩阵以及利用训练好的点云深度学习网络和偏移矩阵估计目标物体相对于机器人基坐标的位姿信息的三个步骤；

所述的机器人基坐标是指以机器人基座中心为原点而建立的三维笛卡尔坐标系。

首先，训练点云深度学习网络的步骤为：

(1)在计算机三维空间中，针对目标物体的三维模型，生成目标物体的三维模型在计算机三维空间位置上的随机位姿信息A1；

(2)将目标物体的三维模型与其对应的随机位姿信息A1输入到点云仿真软件，点云仿真软件产生与随机位姿信息A1对应的目标物体仿真点云A2；

(3)将目标物体仿真点云A2输入到点云前处理模块，得到前处理后的仿真点云A3；

(4)将前处理后的仿真点云A3和随机位姿信息A1一起共同输入到点云深度学习网络进行训练，其中以随机位姿信息A1为训练时的已知标签数据，以前处理后的仿真点云A3为待处理数据；

接着，计算偏移矩阵的步骤为：

(1)在真实三维世界中，将目标物体摆放在三维相机的视野范围内，三维相机拍摄采集目标物体的点云信息作为真实点云B1；

(2)每次目标物体固定下，示教机器人去抓取真实三维世界里的目标物体，记录机器人抓取到目标物体时的位姿信息，即机器人的抓取位姿B2；

(3)将真实点云B1依次输入到点云前处理模块和点云深度学习网络处理，获得点云深度学习网络估计的位姿信息B3；

(4)对比位姿信息B3和机器人的抓取位姿B2，计算位姿信息B3到机器人的抓取位姿B2的偏移矩阵；

最后，利用训练好的点云深度学习网络和偏移矩阵估计目标物体相对于机器人基坐标的位姿信息的步骤为：

(1)在真实的三维世界中，将目标物体摆放在三维相机的视野范围内，三维相机拍摄采集目标物体的点云信息作为真实点云C1；

(2)将真实点云C1依次输入到点云前处理模块和点云深度学习网络处理，获得位姿信息C2；

(3)将位姿信息C2通过偏移矩阵进行修正，从而获得机器人的抓取位姿 C3；

(4)将机器人的抓取位姿C3发送给机器人的控制系统，控制机器人进行目标物体的抓取上料。

所述的点云仿真软件为能够根据输入的目标物体的三维信息、三维相机的参数信息以及目标物体的位姿信息产生对应点云文件的软件工具。

具体实施的点云仿真软件采用Blensor。Blensor是一款开源的点云仿真软件，能够模拟Lidar(Velodyne 32/64线等)、TOF相机、Kinect等三维相机，可以根据自己的需求调整传感器参数，也可以加入噪声模拟实际点云。输入物体的三维模型及三维模型的位姿参数，就能仿真出三维模型的点云数据。

所述的点云前处理模块包含点云高通滤波单元、点云下采样单元、点云平面分割单元以及点云超体聚类分割单元，依次实现三维点云数据的滤波、下采样、平面分割和超体聚类分割。

如图2所示，所述的点云深度学习网络包括点云分类模块和位姿估计模块；

所述的点云分类模块用于识别目标物体点云数据所归属的物体类别，采用PointNet深度学习网络，输入是目标物体的点云，输出为点云类别；点云类别是按照目标物体的不同或者不同种类的同一属性工件具体进行分类，例如为目标物体为一个工件，点云类别归属于该工件的类别，目标物体为另一个工件，点云类别归属于另一工件的类别。点云输入到点云分类模块处理获得点云类别，点云类别和点云构成了类点云信息，输入到位姿估计模块；

所述的位姿估计模块包括位置估计单元和姿态估计单元，位置估计单元根据类点云信息估计目标物体的位置信息(x，y，z)，姿态估计单元根据类点云信息估计目标物体的姿态信息(Rx，Ry，Rz)，由位置信息和姿态信息共同构成目标物体的位姿信息；

如图3所示，所述的位置估计单元由依次连接的位置随机采样层、数据前处理层、位置感知层和两个多层感知器组成，位置感知层是由多个多层感知器并联组成；位置随机采样层对输入的类点云信息进行随机采样获得固定维数的类点云向量，采样后的类点云向量输入到数据前处理层进行归一化，同时计算采样后的类点云向量中点云数据的均值，归一化后的类点云向量的每一维分别输入到具有相同结构且共享内部参数的位置感知层的各个多层感知器内，将多层感知器输出到池化层进行最大池化操作，最后将池化层输出的结果输入到第一多层感知器A中；并且，将点云数据的均值输入到第二多层感知器B中；最后将第一多层感知器A的输出值和第二多层感知器B的输出值相加，获得与输入的类点云信息对应的位置信息(x，y，z)的估计值。

如图4所示，所述的姿态估计单元由两组结构相同并列的网络模块组成，每一组网络模块均是由依次连接的随机采样层、数据归一化层、姿态感知层和一个多层感知器组成，姿态感知层是由多个多层感知器并联组成；在每一组网络模块中，随机采样层对输入的类点云信息进行随机采样获得固定维数的类点云向量，采样后的类点云向量输入到数据归一化层进行归一化，归一化后的类点云向量的每一维分别输入到具有相同结构且共享内部参数的姿态感知层的多层感知器内，将多层感知器输出的值输入到池化层进行最大池化操作，最后将池化层输出的结果输入到第三多层感知器中；第一组网络模块在池化层输出后经两个第三多层感知器分别获得与输入的类点云信息对应的两个方向姿态信息 (Rx，Ry)的估计值以及剩余一个方向姿态信息(Rz)的绝对值的估计值，第二组网络模块在池化层输出后经单独一个第三多层感知器获得与输入的类点云信息对应的剩余一个方向姿态信息(Rz)的符号的估计值；最后将两组网络模块的输出结合获得与输入的类点云信息对应的完整姿态信息(Rx，Ry，Rz) 的估计值。

所述的类点云信息是在点云的每一维里均添加点云类别。

工业产线的上下料环节中，往往存在很多杂乱堆放的工件，需要机器人实现自动化的分拣或上下料。本发明适用于工业上下料环节中的零件自动化分拣或上下料，是先用点云仿真软件产生随机点云数据来训练点云深度学习网络，再将真实采集的目标物体的点云输入到训练好的点云深度学习网络，根据点云深度学习网络的估计值及目标物体的机器人抓取位姿来计算偏移矩阵，最后在估计目标物体的位姿时，用偏移矩阵来修正点云深度学习网络的输出值，获得目标物体的准确抓取位姿。抓取位姿指的是目标物体参考机器人基坐标的位置和姿态值。

本发明的有益效果是：

1、本发明设计了一条全新的基于深度学习的机器人上料方法。不同于传统深度学习算法需要大量现实数据做训练，也不同于传统强化学习方法要求机器人不断抓取试错，本发明只需要利用计算机生成的随机数据训练点云深度学习算法，再利用偏移矩阵对点云深度学习算法的输出值进行修正即可获得目标物体准确的抓取位姿。

2、本发明提出了一种全新的基于点云深度学习的物体位姿估计算法，不同于传统的依靠识别图片像素点或点云特征描述子的位姿估计方法，是一种全新的基于深度学习的端到端的实现方法。

附图说明

图1为本发明的运行原理图；

图2为本发明中点云深度学习网络的结构示意图；

图3为本发明中位置估计单元的结构示意图；

图4为本发明中姿态估计单元的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

下面，结合具体实施例，说明一下本发明方法的实施例及其实施过程：

在工业场景中，一般三维相机设置在目标物体的正上方采集目标物体的三维点云信息，工业机器人设置在待抓取的目标物体一侧，用以实现物体上料。本发明以此为例展开说明。

目标物体可以是各种多面体刚体，包括但不仅限于长方体、圆柱体、各种典型机加工零件等。

A、生成仿真点云及与其对应的随机位姿信息：

(1)在计算机三维空间中，针对已知目标物体的三维模型，生成目标物体的三维模型在计算机三维空间位置上的随机位姿信息A1；

(2)将目标物体的三维模型与其对应的随机位姿信息A1输入到点云仿真软件，点云仿真软件产生与随机位姿信息A1对应的目标物体仿真点云A2；

B、训练点云深度学习网络：

(1)将目标物体仿真点云A2输入到点云前处理模块，得到前处理后的仿真点云A3；

(2)将前处理后的仿真点云A3依据其所属的类别进行分类，预先标记每一组仿真点云B所属的类别；

(3)将前处理后的仿真点云A3和对应的类别信息输入到点云分类模块，采用梯度下降的方法进行网络训练，损失函数为交叉熵；

(4)点云分类模块训练迭代若干次之后，即可获得所需的点云分类模块的网络参数；

(5)将前处理后的仿真点云A3与其对应的类别信息合成为类点云信息 (具体是将点云中每个点设置类别，将类别添加到点云中每个点的三维坐标后面形成每个点的新信息量，然后组成获得类点云信息)；

(6)将类点云信息与随机位姿信息A1中的位置信息输入到位置估计单元，采用梯度下降的方法进行网络训练，损失函数为L2损失函数；将类点云信息与位姿信息A中的姿态信息输入到姿态估计单元，采用梯度下降的方法进行网络训练，第一组网络模块和第二组网络模块的损失函数为L2损失函数，第三组网络模块的损失函数为交叉熵；

(7)位置估计单元训练迭代若干次之后，即可获得所需的位置估计单元的网络参数；姿态估计单元训练迭代若干次之后，即可获得所需的姿态估计单元的网络参数；

C、计算偏移矩阵：

(1)在真实的三维世界中，将目标物体摆放在三维相机的视野范围内，三维相机拍摄采集目标物体的点云信息，即真实点云B1；

(2)示教机器人去抓取真实世界里的目标物体，记录机器人在目标物体待抓取位置的姿态信息，即机器人的抓取位姿B2；

(3)将真实点云B1依次输入到点云前处理模块和点云深度学习网络，获得位姿信息B3；

(4)采用空间刚体坐标变换公式计算位姿信息B3到机器人的抓取位姿B；的偏移矩阵；

D、估计目标物体相对于机器人基坐标的位姿信息：

(1)在真实的三维世界中，将目标物体摆放在三维相机的视野范围内，三维相机拍摄采集目标物体的点云信息，即真实点云C1；

(2)将真实点云C1依次输入到点云前处理模块和点云深度学习网络，获得点云深度学习网络估计的位姿信息C2；

(3)将位姿信息C2通过偏移矩阵进行修正，从而获得机器人的抓取位姿 C3；

E、机器人实现目标物体的上料：

(1)将机器人的抓取位姿C3发送给机器人的控制器，控制机器人抓取目标物体，实现上料操作；

(2)返回步骤D，等待下一输入的点云信息。

Claims (5)

1.一种点云仿真和深度学习的工件位姿识别及机器人上料方法，其特征在于：方法包括训练点云深度学习网络、计算偏移矩阵以及利用训练好的点云深度学习网络和偏移矩阵估计目标物体相对于机器人基坐标的位姿信息的三个步骤；

首先，训练点云深度学习网络的步骤为：

(1)在计算机三维空间中，针对目标物体的三维模型，生成目标物体的三维模型在计算机三维空间位置上的随机位姿信息A1；

(2)将目标物体的三维模型与其对应的随机位姿信息A1输入到点云仿真软件，点云仿真软件产生与随机位姿信息A1对应的目标物体仿真点云A2；

(3)将目标物体仿真点云A2输入到点云前处理模块，得到前处理后的仿真点云A3；

(4)将前处理后的仿真点云A3和随机位姿信息A1一起共同输入到点云深度学习网络进行训练，其中以随机位姿信息A1为训练时的已知标签数据，以前处理后的仿真点云A3为待处理数据；

接着，计算偏移矩阵的步骤为：

(1)在真实三维世界中，将目标物体摆放在三维相机的视野范围内，三维相机拍摄采集目标物体的点云信息作为真实点云B1；

(2)每次目标物体固定下，示教机器人去抓取真实三维世界里的目标物体，记录机器人抓取到目标物体时的位姿信息，即机器人的抓取位姿B2；

(3)将真实点云B1依次输入到点云前处理模块和点云深度学习网络处理，获得点云深度学习网络估计的位姿信息B3；

(4)对比位姿信息B3和机器人的抓取位姿B2，计算位姿信息B3到机器人的抓取位姿B2的偏移矩阵；

最后，利用训练好的点云深度学习网络和偏移矩阵估计目标物体相对于机器人基坐标的位姿信息的步骤为：

(1)在真实的三维世界中，将目标物体摆放在三维相机的视野范围内，三维相机拍摄采集目标物体的点云信息作为真实点云C1；

(2)将真实点云C1依次输入到点云前处理模块和点云深度学习网络处理，获得位姿信息C2；

(3)将位姿信息C2通过偏移矩阵进行修正，从而获得机器人的抓取位姿C3；

(4)将机器人的抓取位姿C3发送给机器人的控制系统，控制机器人进行目标物体的抓取上料。

2.根据权利要求1所述的一种点云仿真和深度学习的工件位姿识别及机器人上料方法，其特征在于：

所述的点云仿真软件为能够根据输入的目标物体的三维信息、三维相机的参数信息以及目标物体的位姿信息产生对应点云文件的软件工具。

3.根据权利要求1所述的一种点云仿真和深度学习的工件位姿识别及机器人上料方法，其特征在于：

所述的点云前处理模块包含点云高通滤波单元、点云下采样单元、点云平面分割单元以及点云超体聚类分割单元，依次实现三维点云数据的滤波、下采样、平面分割和超体聚类分割。

4.根据权利要求1所述的一种点云仿真和深度学习的工件位姿识别及机器人上料方法，其特征在于：所述的点云深度学习网络包括点云分类模块和位姿估计模块；

所述的点云分类模块采用PointNet深度学习网络，点云输入到点云分类模块处理获得点云类别，点云类别和点云构成了类点云信息，输入到位姿估计模块；

所述的位姿估计模块包括位置估计单元和姿态估计单元，位置估计单元根据类点云信息估计目标物体的位置信息(x，y，z)，姿态估计单元根据类点云信息估计目标物体的姿态信息(Rx，Ry，Rz)，由位置信息和姿态信息共同构成目标物体的位姿信息；

所述的位置估计单元由依次连接的位置随机采样层、数据前处理层、位置感知层和两个多层感知器组成，位置感知层是由多个多层感知器并联组成；位置随机采样层对输入的类点云信息进行随机采样获得固定维数的类点云向量，采样后的类点云向量输入到数据前处理层进行归一化，同时计算点云数据的均值，归一化后的类点云向量的每一维分别输入到具有相同结构且共享内部参数的位置感知层的各个多层感知器内，将多层感知器输出到池化层进行最大池化操作，最后将池化层输出的结果输入到第一多层感知器A中；并且，将点云数据的均值输入到第二多层感知器B中；最后将第一多层感知器A的输出值和第二多层感知器B的输出值相加，获得与输入的类点云信息对应的位置信息(x，y，z)的估计值；

所述的姿态估计单元由两组结构相同并列的网络模块组成，每一组网络模块均是由依次连接的随机采样层、数据归一化层、姿态感知层和一个多层感知器组成，姿态感知层是由多个多层感知器并联组成；在每一组网络模块中，随机采样层对输入的类点云信息进行随机采样获得固定维数的类点云向量，采样后的类点云向量输入到数据归一化层进行归一化，归一化后的类点云向量的每一维分别输入到具有相同结构且共享内部参数的姿态感知层的多层感知器内，将多层感知器输出的值输入到池化层进行最大池化操作，最后将池化层输出的结果输入到第三多层感知器中；第一组网络模块在池化层输出后经两个第三多层感知器分别获得与输入的类点云信息对应的两个方向姿态信息(Rx，Ry)的估计值以及剩余一个方向姿态信息(Rz)的绝对值的估计值，第二组网络模块在池化层输出后经单独一个第三多层感知器获得与输入的类点云信息对应的剩余一个方向姿态信息(Rz)的符号的估计值；最后将两组网络模块的输出结合获得与输入的类点云信息对应的完整姿态信息(Rx，Ry，Rz)的估计值。

5.根据权利要求4所述的一种点云仿真和深度学习的工件位姿识别及机器人上料方法，其特征在于：所述的类点云信息是在点云的每一维里均添加点云类别。

Images