CN113284179A - 一种基于深度学习的机器人多物体分拣方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的机器人多物体分拣方法，所述分拣方法具体步骤如下：首先利用旋转目标检测网络检测任务场景中目标物体的类别、位置及旋转角度；之后通过实例分割网络分割出物体表面像素，利用相机标定、主成分分析法和欧拉角法对分割出的像素进行处理，获得目标物体的姿态；然后通过基于先验知识的物体分拣次序推理算法获得物体的分拣次序；最后机器人根据获得的物体分拣次序和位姿，自主完成多物体分拣任务。本发明基于深度学习的方法实现了场景中物体位姿和分拣次序的获取，使机器人能够在非结构化场景中对堆叠的多物体进行安全、稳定和准确的分拣操作。

Description

一种基于深度学习的机器人多物体分拣方法

技术领域

本发明公开了一种基于深度学习的机器人多物体分拣方法，属于机器人分拣的技术领域。

背景技术

流水线是工业制造的重要组成，大部分工厂在流水线上的分拣工作依然由人工完成。但 是，随着人工成本的持续增加，机器人效率高、稳定性高和适应各种环境的优点逐渐显现。 因此，许多工厂开始通过“机器换人”的方式进行分拣工作。目前常用示教器示教或离线编 程的方式指导机器人重复完成规定的动作，从而对结构化场景中的物体完成抓取或分拣任务。 但是，当目标物体的类别、位置和形状发生变化时，机器人需要重新进行示教或编程来完成 预定的目标，这极大的降低了生产效率。在这种情况下，研究人员通过将机器人与视觉传感 器相结合的方式使机器人的感知能力与环境理解能力增加，从而能够适应更加复杂的分拣任 务。相较于传统的分拣系统，融合了视觉的机器人分拣系统，不仅能够识别物体的类别，还 能够精确定位物体，具有更加广泛的应用前景。

随着机器人技术的不断发展，机器人分拣系统被应用到更多的场景中，例如垃圾分拣、 物流仓储和深海勘探等。机器人分拣系统在面对这些非结构化场景时，不仅要实现对目标物 体的识别与定位，还要理解物体的空间关系。现有的分拣系统一般通过目标检测技术或点云 匹配的方式对环境中的目标物体进行识别与定位。这在面对存在堆叠、遮挡情况的多种物体 分拣的情景时，不能完成预定的目标，甚至由于对物体的上下文关系理解不足，导致抓取过 程中损坏了目标物体。因此，发明一种可以对非结构化场景中随意摆放的多物体进行分拣的 方法具有很重要的意义。

发明内容

本发明的目的在于提供一种基于深度学习的多物体分拣方法，使机器人能够自主的对堆 叠的多物体实现准确、安全和高效的分拣。本发明通过构建的旋转目标检测网络模型对复杂 分拣场景中的目标物体进行了类别、位置和旋转角度的识别。利用实例分割模型从场景中获 取了物体的像素信息，并进一步转换为了点云。然后采用主成分分析法对物体进行了主法向 的估计，并结合旋转角度解算出了各个物体的位姿。最后以物体表面点云变化情况作为先验 知识对场景中物体的分拣顺序进行了推理，使得机器人能够自主、稳定和安全地对场景中的 多个未知物体进行分拣。

本发明所要解决的问题是由以下技术方案实现的：

一种基于深度学习的机器人多物体分拣方法，所述分拣方法具体步骤如下：

步骤S10，利用旋转目标检测网络来获取场景中目标物体的包括类别、位置和旋转角度 等信息；

步骤S20，通过实例分割网络分割出目标物体表面像素；

步骤S30，利用相机标定将物体表面像素转化为点云，并运用主成分分析法对物体表面 进行法向量估计；

步骤S40，结合物体的旋转角度与法向量，采用欧拉角法估计目标物体的抓取姿态；

步骤S50，利用基于先验知识的物体分拣次序推理算法获得目标物体的分拣次序；

步骤S60，将物体的位姿信息与分拣次序由视觉处理端传输给机器人控制端，指导机器 人自主完成多物体的分拣任务。

优选的是，所述步骤S10的具体过程如下：

步骤S101，将Kinect相机安装在工作平台的一侧，采集多个目标物体在不同位置、姿 态和堆叠情况下的图像；

步骤S102，对采集的图像按照设定的概率进行随机数据增强；

步骤S103，对数据增强后形成的数据集进行标注，并利用标注后的数据集完成旋转目 标检测网络的训练；

步骤S104，使用训练好的旋转目标检测网络对相机采集的图像进行实时检测，获得场 景中目标物体类别和旋转边框。

步骤S105，利用张正友标定法对Kinect相机进行标定，获得相机的内外参矩阵；

步骤S106，通过相机的内外参矩阵将目标物体边框的坐标转换为世界坐标系下物体的 位置和旋转角度等信息。

优选的是，所述步骤S20的具体过程如下：

步骤S201，对数据集进行多边形标注，利用新标注后的数据集对实例分割网络进行训 练；

步骤S202，使用训练好的实例分割网络对场景图像进行实时处理，将目标物体的像素 从图像中分割出来。

优选的是，所述步骤S30的具体过程如下：

步骤S301，根据相机的内、外参矩阵将分割出的物体表面像素转换为点云；

步骤S302，采用降采样与离群点去除方法对点云进行预处理；

步骤S303，对物体表面点云进行主成分分析，获得表面主法向。

优选的是，所述步骤S40的具体过程如下：

步骤S401，计算物体表面法向量与世界坐标系Z轴正方向的夹角；

步骤S402，结合目标物体的旋转角度及其法向量与世界坐标系Z轴正方向的夹角，利 用欧拉角法估计出物体的姿态。

优选的是，所述步骤S50的具体过程如下：

步骤S501，通过实验的方式，获得在不发生堆叠情况下，物体表面点云在Z轴方向上 方差的阈值；

步骤S502，以获得的点云方差的阈值作为先验知识，对场景中物体的分拣顺序进行推 理。

优选的是，所述步骤S60的具体过程如下：

步骤S601，通过TCP/IP通讯的方式，将视觉处理端获取的物体位姿和分拣顺序传输给 机器人控制端；

步骤S602，机器人控制端接收并处理获得的信息后，根据分拣次序，指导机器人自主 完成多物体分拣任务。

本发明相对于现有而言具有的有益效果：

1.目前大多数机器人分拣系统仅能够对单类目标物体或相互分离的多类目标物体完成 分拣任务，而本发明的方法使机器人能够在非结构化场景中对堆叠的多物体进行安全、稳定 和准确的分拣操作。

2.本发明提出的分拣方法不仅能够对场景中物体类别和位姿进行检测，还能够分析出 堆叠物体的分拣次序，从而使机器人分拣更加智能与安全。

附图说明

图1是本发明的机器人多物体分拣方法的总体框架图。

图2是本发明的坐标系示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于发明中的实施例，本领域普通技术人员在 没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明第一实施例在现有技术的基础上提供了一种基于深度学习的机器人 多物体分拣方法，包括以下步骤：

步骤S10，利用旋转目标检测网络来获取场景中目标物体的类别、位置和旋转角度等信 息，具体步骤如下：

步骤S101，将Kinect相机安装在工作平台的一侧，采集多个目标物体在不同位置、姿 态和堆叠情况下的图像。为保证训练出来的神经网络效果良好并且有较好的泛化性，目标物 体的摆放姿态和堆叠情况应尽可能的多。

步骤S102，对采集的图像按照设定的概率进行随机数据增强，增强方式包括：水平翻 转、旋转、裁剪、模糊和添加高斯噪声等。各种变换方式可以相互叠加，因此生成的新数据 可能经过了多种变换。

步骤S103，对数据增强后形成的数据集进行标注。由于要实现旋转目标检测模型的训 练，因此在标注图像时，不仅要对物体的类别和位置进行标注，还需要标注目标的旋转角度。 标注完成后，将数据集分为训练集与测试集，并用训练集完成旋转目标检测网络的训练。

步骤S104，使用训练好的旋转目标检测网络对相机采集的图像进行实时检测，获得场 景中目标物体类别和旋转边框。

步骤S105，如图2所示，将标定板坐标系固定在标定板角点处，并使世界坐标系与其 重合。通过在工作空间内操控机器人运动，获得不同位姿下标定板的图像，并在每次拍摄后， 记录机器人各关节角信息。最后将图片与关节角信息输入到集成了张正友标定法的程序中， 计算出相机的内、外参矩阵。

步骤S106，通过相机的内、外参矩阵将目标物体边框的坐标转换为世界坐标系(与机 器人坐标系重合)下物体的位置(x,y,z)和旋转角度θ等信息。

步骤S20，通过实例分割网络分割出目标物体表面像素，具体步骤如下：

步骤S201，通过标注工具对数据集进行多边形标注，利用新标注后的数据集对实例分 割网络进行训练。

步骤S202，使用训练好的实例分割网络对场景图像进行实时处理，将目标物体的像素 从图像中分割出来。

步骤S30，利用相机标定将物体表面像素转化为点云，并运用主成分分析法对物体表面 进行法向量估计，具体步骤如下：

S301，通过相机标定获得的内、外参矩阵，将分割出的物体表面像素坐标转换成世界坐 标系下的点云。其中，第i个像素点对应的世界坐标记为p_i＝(x_i,y_i,z_i)。点云是n个点所 组成的集合，表示为P＝{p₁,p₂,…,p_n}。

S302，为了在提高点云处理速度的同时，又保持其固有的几何特征。采用降采样的方式 对点云进行处理，从而将点云中点的数量降低。之后对点云进行离群点去除操作，从而减少 点云的噪声。

S303，主成分分析法首先计算出输入点云数据的平均位置，公式表示为：

为了消除点云坐标数值大小产生的影响，对点云数据进行去均值化处理，规范后的零均 值点云数据记为

之后，构建一个协方差矩阵M如下所 示：

对矩阵M进行SVD运算，获得其特征值λ₁、λ₂和λ₃。将特征值带回矩阵计算出对应的特征向量V₁、V₂和V₃。协方差矩阵的物理意义为点云沿特定方向V的相关性。矩阵M的特 征值越小，点云在该特征值解算出的特征向量方向的相关性越小。由于物体表面的点云在法 向量方向相关性较小，因此λ₁、λ₂和λ₃中的最小值所对应的特征向量就是物体表面法线的 估计。但是计算出的法向量有二向性，因此需要根据其与世界坐标系下Z轴正方向的关系重新定向：

其中，N表示物体表面法线，Z表示世界坐标系下Z轴正方向。步骤S40，结合物体的旋转角度与法向量，采用欧拉角法估计目标物体的抓取姿态，具体步骤如下：

步骤S40，结合物体的旋转角度与法向量，采用欧拉角法估计目标物体的抓取姿态，具 体步骤如下：

步骤S401，计算物体表面法向量与世界坐标系Z轴正方向的夹角：

步骤S402，采用z-y-x欧拉角法描述物体的姿态。目标物体依次绕自身的z、y和x轴旋 转α、β和γ角得到最终姿态：

其中，sα、cβ分别代表sinα与cosβ，矩阵中其它元素相似。

根据欧拉角法的定义可以看出旋转角度θ对应角度α，而夹角

对应角度β。由于角度 γ在通常的分拣场景中较小，因此将其忽略。

步骤S50，利用基于先验知识的物体分拣次序推理算法获得目标物体的分拣次序，具体 步骤如下：

步骤S501，将目标物体摆放在分拣平台任意位置上，解算此时物体表面点云沿Z方向 的方差。重复以上步骤，获得每类物体表面点云方差的最大值δ_max。选定稍大于δ_max的值作 为该类物体堆叠顺序判断的阈值δ。

步骤S502，计算分割出的物体表面点云在Z方向的方差σ²和均值μ；然后通过比较方 差与对应阈值之间的大小，并结合均值推理出物体的分拣次序。

步骤S60，将物体的位姿信息与分拣次序由视觉处理端传输给机器人控制端，指导机器 人自主完成多物体的分拣任务，具体步骤为：

步骤S601，通过TCP/IP通讯的方式连接视觉处理端与机器人控制端，并将视觉处理端 获取的物体位姿和分拣顺序传输给机器人控制。

步骤S602，机器人控制端接收并处理获得的信息后，根据分拣次序和物体位姿指导机 器人自主完成多物体分拣任务。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。 它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言，可容易地实现另 外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的 细节和这里示出与描述的图例。

Claims (7)

1.一种基于深度学习的机器人多物体分拣方法，其特征在于，所述分拣方法具体步骤如下：

步骤S10，利用旋转目标检测网络来获取场景中目标物体的包括类别、位置和旋转角度信息；

步骤S20，通过实例分割网络分割出目标物体表面像素；

步骤S30，利用相机标定将物体表面像素转化为点云，并运用主成分分析法对物体表面进行法向量估计；

步骤S40，结合物体的旋转角度与法向量，采用欧拉角法估计目标物体的抓取姿态；

步骤S50，利用基于先验知识的物体分拣次序推理算法获得目标物体的分拣次序；

步骤S60，将物体的位姿信息与分拣次序由视觉处理端传输给机器人控制端，指导机器人自主完成多物体的分拣任务。

2.根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法，其特征在于，所述步骤S10的具体过程如下：

步骤S101，将Kinect相机安装在工作平台的一侧，采集多个目标物体在不同位置、姿态和堆叠情况下的图像；

步骤S102，对采集的图像按照设定的概率进行随机数据增强；

步骤S103，对数据增强后形成的数据集进行标注，并利用标注后的数据集完成旋转目标检测网络的训练；

步骤S104，使用训练好的旋转目标检测网络对相机采集的图像进行实时检测，获得场景中目标物体类别和旋转边框；

步骤S105，利用张正友标定法对Kinect相机进行标定，获得相机的内外参矩阵；

步骤S106，通过相机的内外参矩阵将目标物体边框的坐标转换为世界坐标系下物体的位置和旋转角度信息。

3.请根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法，其特征在于，所述步骤S20的具体过程如下：

步骤S201，对数据集进行掩膜的标注，利用新标注后的数据集对实例分割网络进行训练；

步骤S202，使用训练好的实例分割网络对场景图像进行实时处理，将目标物体的像素从图像中分割出来。

4.请根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法，其特征在于，所述步骤S30的具体过程如下：

步骤S301，根据相机的内、外参矩阵将分割出的物体表面像素转换为点云；

步骤S302，采用降采样与离群点去除方法对点云进行预处理；

步骤S303，对物体表面点云进行主成分分析，获得表面法向量。

5.根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法，其特征在于，所述步骤S40的具体过程如下：

步骤S401，计算物体表面法向量与世界坐标系Z轴正方向的夹角；

步骤S402，结合目标物体的旋转角度及其法向量与世界坐标系Z轴正方向的夹角，利用欧拉角法估计出物体的姿态。

6.根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法，其特征在于，所述步骤S50的具体过程如下：

步骤S501，通过实验的方式，获得在不发生堆叠情况下，物体表面点云在Z轴方向上方差的阈值；

步骤S502，以获得的点云方差的阈值作为先验知识，对场景中物体的分拣顺序进行推理。

7.根据权利要求1所述的一种基于深度学习的机器人多物体分拣方法，其特征在于，所述步骤S60的具体过程如下：

步骤S601，通过TCP/IP通讯的方式，将视觉处理端获取的物体位姿和分拣顺序传输给机器人控制端；

步骤S602，机器人控制端接收并处理获得的信息后，根据分拣次序，指导机器人自主完成多物体分拣任务。

Images