CN116228854B - 一种基于深度学习的包裹自动分拣方法 - Google Patents

Abstract

本申请公开了一种基于深度学习的包裹自动分拣方法，涉及分拣技术领域，该方法在完成坐标系标定和机械臂的示教后，利用基于深度学习网络预先训练得到的目标检测网络识别初始图像中的待分拣包裹的物体边界框，然后通过语义分割得到待分拣包裹的包裹边界区域；通过对包裹边界区域内的像素点对应的三维点云进行平面分割得到平面点云集合，可以定位得到待分拣包裹的包裹中心，从而确定待分拣包裹的位置，引导机械臂自动抓取分拣，该方法自动化程度高，可以应对各种待分拣包裹，且抓取准确度高。

Description

一种基于深度学习的包裹自动分拣方法

技术领域

本申请涉及分拣技术领域，尤其是一种基于深度学习的包裹自动分拣方法。

背景技术

随着电商的快速发展，日均百万件级别订单处理的超大型分拣中心模式日益普及，传统人工分拣模式招工难、人力成本高、劳动密集难以管理、工作时间受限等情况，难以满足高分拣效率的客观需要，因此自动分拣包裹已经成为现今电商物流包裹分拣的发展趋势。

目前的自动抓取检测技术需要提前设计目标物的抓取特征，通过目标抓取特征建立抓取模型，检测抓取位置，利用机器人实现对包裹的自动抓取，但是现有的这种方法仍然依赖人工设计目标物的抓取特征，既耗时又需要大量的人工参与，并且对于机器人未见过的目标物无法准确检测出抓取位置，无法执行抓取操作，局限性较大。

发明内容

本申请人针对上述问题及技术需求，提出了一种基于深度学习的包裹自动分拣方法，本申请的技术方案如下：

一种基于深度学习的包裹自动分拣方法，该方法包括：

完成机械臂的机械臂坐标系、相机的相机坐标系以及图像坐标系之间的坐标系标定、得到坐标系之间的变换关系，并完成机械臂的示教；

通过相机获取包含待分拣包裹的初始图像并输入目标检测网络，识别得到待分拣包裹的物体边界框，初始图像包含每个像素点的RGB信息和深度信息，目标检测网络基于深度学习网络训练得到；

对物体边界框内的初始图像进行语义分割，确定待分拣包裹的包裹边界区域；

确定初始图像中位于包裹边界区域内的像素点对应的三维点云得到初始点云集合；

对初始点云集合进行平面分割，过滤掉外点、保留内点得到平面点云集合；

基于平面点云集合确定待分拣包裹的包裹中心在图像坐标系下的坐标；

将待分拣包裹的包裹中心在图像坐标系下的坐标转换到机械臂坐标系中，并控制机械臂利用末端的吸盘按照待分拣包裹的包裹中心在机械臂坐标系下的三维坐标抓取待分拣包裹完成分拣。

其进一步的技术方案为，基于平面点云集合确定待分拣包裹的包裹中心在图像坐标系下的坐标，包括：

将平面点云集合中所有三维点云在图像坐标系中的坐标转换到机械臂坐标系中，得到变换点云集合；

对变换点云集合进行平面分割，过滤掉外点、保留内点得到目标点云集合；

根据目标点云集合和包裹边界区域得到待分拣包裹的包裹中心在图像坐标系下的坐标。

其进一步的技术方案为，根据目标点云集合和包裹边界区域得到待分拣包裹的包裹中心在图像坐标系下的坐标，包括：

在机械臂坐标系中求取目标点云集合的最小外接矩形；

将机械臂坐标系中的最小外接矩形的四个顶点变换到图像坐标系中，并连接形成图像坐标系中的最小外接矩形；

将图像坐标系中的最小外接矩形与待分拣包裹的包裹边界区域的交集区域作为目标区域；

求取目标区域的最大内接矩形，并将最大内接矩形的中心点的坐标作为待分拣包裹的包裹中心在图像坐标系中的坐标。

其进一步的技术方案为，该方法还包括：

将图像坐标系中的最大内接矩形的四个顶点变换到机械臂坐标系中，并连接形成待分拣包裹的包裹外边界，基于包裹外边界得到待分拣包裹的各边尺寸、面积以及方向。

其进一步的技术方案为，基于平面点云集合确定待分拣包裹的包裹中心在图像坐标系下的坐标，包括：根据平面点云集合中所有三维点云在图像坐标系中的坐标，计算得到包裹边界区域的中心点在图像坐标系中的坐标、作为待分拣包裹的包裹中心在图像坐标系下的坐标。

其进一步的技术方案为，确定初始图像中位于包裹边界区域内的像素点对应的三维点云的方法包括：

确定初始图像中位于包裹边界区域内的像素点在图像坐标系中的二维坐标，结合每个像素点在图像坐标系中的二维坐标以及像素点在初始图像中的深度信息，得到像素点对应的三维点云。

其进一步的技术方案为，在将初始图像输入目标检测网络后，识别得到多个待分拣包裹的物体边界框，根据各个物体边界框内的像素点的深度信息确定各个物体边界框对应的待分拣包裹的高度，根据对应的待分拣包裹的高度从高到低的顺序依次针对各个待分拣包裹的物体边界框执行对物体边界框内的初始图像进行语义分割的步骤，依次得到各个待分拣包裹的包裹中心在机械臂坐标系下的三维坐标，并利用机械臂利用末端的吸盘依次抓取各个待分拣包裹完成分拣。

其进一步的技术方案为，目标检测网络基于PicoDet训练得到，并用paddle_inference推理库进行部署。

其进一步的技术方案为，对物体边界框内的初始图像进行语义分割，包括：

将物体边界框内的初始图像输入语义分割网络进行语义分割，语义分割网络基于PP-LiteSeg训练得到，并用paddle_inference推理库进行部署。

其进一步的技术方案为，完成坐标系标定的方法包括：

通过相机获取包含棋盘格标定板的标定图像，标定图像包含每个像素点的RGB信息和深度信息；

按照手眼标定方法利用标定图像对机械臂坐标系和相机坐标系进行坐标系标定，确定机械臂坐标系和相机坐标系之间的变换关系；

根据相机的相机参数确定相机坐标系与图像坐标系之间的变换关系。

本申请的有益技术效果是：

本申请公开了一种基于深度学习的包裹自动分拣方法，该方法利用基于深度学习的目标检测网络识别待分拣包裹的物体边界框，结合语义分割得到包裹边界区域，通过对包裹边界区域中的三维点云的变换计算处理可以准确得到带分拣包裹的包裹中心，从而可以准确实现自动化的包裹抓取分拣，不需要预先人工设计目标物的抓取特征，且对于新出现的各种待分拣包裹都能准确提取包裹中心，自动化程度高，且抓取准确度高。

当有多个待分拣包裹时，按待分拣包裹的高度从高到低的顺序依次处理并提取得到各个待分拣包裹的包裹中心，对各个待分拣包裹依次抓取分拣，更符合实际应用场景。

该方法不仅可以可以准确提取到待分拣包裹的包裹中心，确定带分拣包裹的位置，还可以得到待分拣包裹的尺寸和方向，从而引导机械臂更准确的抓取。

附图说明

图1是本申请一个实施例中的包裹自动分拣方法的方法流程图。

图2是一个实例中的利用目标检测网络识别得到的初始图像中的待分拣包裹的物体边界框的示意图。

图3是对图2中的一个待分拣包裹的物体边界框内的初始图像进行语义分割得到的包裹边界区域的示意图。

图4是本申请另一个实施例中的包裹自动分拣方法的方法流程图。

具体实施方式

下面结合附图对本申请的具体实施方式做进一步说明。

本申请公开了一种基于深度学习的包裹自动分拣方法，请参考图1所示的流程图，该方法包括如下步骤：

步骤1，完成机械臂的机械臂坐标系、相机的相机坐标系以及图像坐标系之间的坐标系标定、得到坐标系之间的变换关系，并完成机械臂的示教。该机械臂坐标系一般指的是机械臂末端的工具坐标系。

一个实施例中，坐标系标定的方法包括：通过相机获取包含棋盘格标定板的标定图像，获取到的标定图像为RGB-D图像，也即标定图像包含每个像素点的RGB信息和深度信息。然后按照手眼标定方法利用标定图像对机械臂坐标系和相机坐标系进行坐标系标定，即可确定机械臂坐标系和相机坐标系之间的变换关系。根据相机的相机参数确定相机坐标系与图像坐标系之间的变换关系。

用于获取RGB-D图像的相机可以采用Kinect实现，可以获取到高分辨率的RGB图像和深度图像，RGB图像包含了包裹表面颜色信息和纹理信息，深度图像包含了包裹的空间形状信息，深度图像中的每个像素值表示了传感器到包裹的距离，RGB图像和深度图像之间的像素点是一一对应的，组成了RGB-D图像，由RGB图像提供每个像素点的RGB信息，由深度图像提供每个像素点的深度信息。

在利用手眼标定方法进行标定时，可以使用三张标定图像采用九点标定法，将三张带有棋盘格标定板的标定图像作为输入，得到相机坐标系下每张标定图像中的棋盘格角点的三维坐标以及每一像素对应的毫米数，然后利用机械臂通过末端的吸盘依次触碰9个棋盘格角点，得到棋盘格角点在机械臂坐标系下的坐标，由得到的27组棋盘格角点确定机械臂坐标系和相机坐标系之间的变换关系，也即得到旋转平移矩阵RT。

机械臂的示教用于对机械臂的机械臂坐标系与物体坐标系之间的位姿进行校准，通过抓取和拍照位姿关系，计算并保存物体与机械臂坐标系之间的相对位姿，完成示教。

步骤2，通过相机获取包含待分拣包裹的初始图像并输入目标检测网络，识别得到待分拣包裹的物体边界框。

同样的，这里获取到的初始图像为RGB-D图像，包含每个像素点的RGB信息和深度信息。

目标检测网络是基于深度学习网络预先训练得到的。在一个实施例中，预先制作COCO格式的数据集，然后利用数据集基于轻量级目标检测模型PicoDet训练得到目标检测网络，并用paddle_inference推理库进行部署。

在实际应用时，待分拣包裹一般设置在皮带上进行传送，而获取到的初始图像除了包括待分拣包裹之外，还会包括背景的皮带以及其他背景，为了减少数据处理量，通过相机拍摄待分拣包裹及其背景的图像后，裁剪保留皮带区域作为初始图像输入目标检测网络，即能输出任意大小的物体边界框的尺寸以及位置，实际还包括置信度等。

获取到的初始图像中可能仅包含一个待分拣包裹，也可能包含多个待分拣包裹，当初始图像中包含多个待分拣包裹时，在将初始图像输入目标检测网络后，可以识别得到多个待分拣包裹的物体边界框。在一个实例中，包含5个待分拣包裹的初始图像利用目标检测网络得到的各个待分拣包裹的物体边界框如图2中的白框所示。

步骤3，对物体边界框内的初始图像进行语义分割，确定待分拣包裹的包裹边界区域。结合图2所示的实例可以看出，物体边界框的边长总是与初始图像的平行的，但是待分拣包裹的方向是不固定的，因此该步骤输出的物体边界框的区域往往是大于待分拣包裹实际覆盖的区域的。因此需要进一步对物体边界框内的初始图像进行语义分割，得到待分拣包裹实际覆盖的区域，也即得到包裹边界区域。

该步骤将物体边界框内的初始图像输入语义分割网络进行语义分割，语义分割网络预先训练得到。在一个实施例中，基于语义分割模型PP-LiteSeg进行离线训练得到语义分割网络，并用paddle_inference推理库进行部署。

如步骤2介绍，初始图像中可能包含多个待分拣包裹，则为了方便机械臂抓取，按照机械臂从高到低依次抓取分拣各个带分拣包裹的原则，首先根据各个物体边界框内的像素点的深度信息确定各个物体边界框对应的待分拣包裹的高度，然后根据对应的待分拣包裹的高度从高到低的顺序依次针对各个待分拣包裹的物体边界框执行步骤3～步骤7。在该步骤中，可以根据每个物体边界框内的像素点的深度信息确定高度最高的像素点，然后以各个物体边界框内高度最高的像素点来表征各个待分拣包裹的高度。或者可以根据物体边界框内的像素点的深度信息确定待分拣包裹的中心点的高度，然后中心点的高度来表征各个待分拣包裹的高度。或者可以对每个物体边界框内的像素点的深度信息进行加权确定平均高度，然后以各个物体边界框内的像素点的平均高度来表征各个待分拣包裹的高度。

比如在图2所示的实例中，首先对高度最高的物体边界框内的初始图像输入语义分割网络进行语义分割，得到的结果如图3所示。对比图2和图3可以看出，经过该步骤可以基本提取出待分拣包裹的覆盖区域。

步骤4，确定初始图像中位于包裹边界区域内的像素点对应的三维点云得到初始点云集合。首先确定初始图像中位于该包裹边界区域内的像素点在图像坐标系中的二维坐标，然后结合每个像素点在图像坐标系中的二维坐标以及像素点在初始图像中的深度信息，即可得到像素点对应的三维点云，包裹边界区域内的所有像素点对应的三维点云构成了初始点云集合。

步骤5，对初始点云集合进行平面分割，过滤掉外点、保留内点得到平面点云集合。将初始点云集合中的三维点云添加到PCL点云库中，利用诸如RANSAC算法等即可拟合点云平面参数。

步骤6，基于平面点云集合确定待分拣包裹的包裹中心在图像坐标系下的坐标。

一种做法是，在得到平面点云集合后，平面点云集合中的三维点云的坐标以及数量可以确定，根据平面点云集合中所有三维点云在图像坐标系中的坐标，就可以计算得到包裹边界区域的中心点在图像坐标系中的坐标，将得到的该坐标作为待分拣包裹的包裹中心在图像坐标系中的坐标。

该种做法简单，但是准确性不高，因此在另一种做法中，包括如下步骤，请参考图4：

(1)将平面点云集合中所有三维点云在图像坐标系中的坐标转换到机械臂坐标系中，得到变换点云集合。

(2)对变换点云集合进行平面分割，过滤掉外点、保留内点得到目标点云集合。与上述对初始点云集合进行平面分割的方法类似。

然后可以根据目标点云集合和包裹边界区域得到待分拣包裹的包裹中心在图像坐标系下的坐标，包括：

(3)在机械臂坐标系中求取目标点云集合的最小外接矩形。

(4)将机械臂坐标系中的最小外接矩形的四个顶点变换到图像坐标系中，并连接四个顶点形成图像坐标系中的最小外接矩形。

(5)将图像坐标系中的最小外接矩形与待分拣包裹的包裹边界区域的交集区域作为目标区域。

(6)求取该目标区域的最大内接矩形，并将该最大内接矩形的中心点的坐标作为待分拣包裹的包裹中心在图像坐标系中的坐标。

这样确定得到的待分拣包裹的包裹中心准确度更高，可以有效防止后续机械臂末端的吸盘吸取待分拣包裹的过程中由于不均匀导致出现待分拣包裹掉落现象。

另外，在得到最大内接矩阵后，将图像坐标系中的最大内接矩形的四个顶点变换到机械臂坐标系中，并连接变换后的四个顶点形成待分拣包裹的包裹外边界，基于包裹外边界就可以得到待分拣包裹的各边尺寸、面积，还可以计算得到欧拉角确定待分拣包裹的方向。

步骤7，将待分拣包裹的包裹中心在图像坐标系下的坐标转换到机械臂坐标系中，并控制机械臂利用末端的吸盘按照待分拣包裹的包裹中心在机械臂坐标系下的三维坐标抓取待分拣包裹完成分拣。

当初始图像中有多个待分拣包裹时，针对各个待分拣包裹的物体边界框依次执行上述步骤3-步骤7，从而可以依次得到各个待分拣包裹的包裹中心在机械臂坐标系下的三维坐标，并利用机械臂利用末端的吸盘依次抓取各个待分拣包裹完成分拣。

以上所述的仅是本申请的优选实施方式，本申请不限于以上实施例。可以理解，本领域技术人员在不脱离本申请的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本申请的保护范围之内。

Claims (8)

1.一种基于深度学习的包裹自动分拣方法，其特征在于，所述方法包括：

完成对机械臂的机械臂坐标系、相机的相机坐标系以及图像坐标系的坐标系标定，得到坐标系之间的变换关系，并完成所述机械臂的示教；

通过所述相机获取包含待分拣包裹的初始图像并输入目标检测网络，识别得到所述待分拣包裹的物体边界框，所述初始图像包含每个像素点的RGB信息和深度信息，所述目标检测网络基于深度学习网络训练得到；

对物体边界框内的初始图像进行语义分割，确定所述待分拣包裹的包裹边界区域；

确定所述初始图像中位于所述包裹边界区域内的像素点对应的三维点云得到初始点云集合；

对所述初始点云集合进行平面分割，过滤掉外点、保留内点得到平面点云集合；

基于所述平面点云集合确定所述待分拣包裹的包裹中心在图像坐标系下的坐标，包括将所述平面点云集合中所有三维点云在图像坐标系中的坐标转换到机械臂坐标系中，得到变换点云集合，对所述变换点云集合进行平面分割，过滤掉外点、保留内点得到目标点云集合，在机械臂坐标系中求取所述目标点云集合的最小外接矩形，将机械臂坐标系中的所述最小外接矩形的四个顶点变换到图像坐标系中，并连接形成图像坐标系中的最小外接矩形，将图像坐标系中的最小外接矩形与所述待分拣包裹的包裹边界区域的交集区域作为目标区域，求取所述目标区域的最大内接矩形，并将所述最大内接矩形的中心点的坐标作为所述待分拣包裹的包裹中心在图像坐标系中的坐标；

将所述待分拣包裹的包裹中心在图像坐标系下的坐标转换到机械臂坐标系中，并控制所述机械臂利用末端的吸盘按照所述待分拣包裹的包裹中心在机械臂坐标系下的三维坐标抓取所述待分拣包裹完成分拣。

2.根据权利要求1所述的包裹自动分拣方法，其特征在于，所述方法还包括：

将图像坐标系中的所述最大内接矩形的四个顶点变换到机械臂坐标系中，并连接形成所述待分拣包裹的包裹外边界，基于所述包裹外边界得到所述待分拣包裹的各边尺寸、面积以及方向。

3.根据权利要求1所述的包裹自动分拣方法，其特征在于，所述基于所述平面点云集合确定所述待分拣包裹的包裹中心在图像坐标系下的坐标，包括：根据所述平面点云集合中所有三维点云在图像坐标系中的坐标，计算得到所述包裹边界区域的中心点在图像坐标系中的坐标，作为所述待分拣包裹的包裹中心在图像坐标系下的坐标。

4.根据权利要求1所述的包裹自动分拣方法，其特征在于，确定所述初始图像中位于所述包裹边界区域内的像素点对应的三维点云的方法包括：

确定所述初始图像中位于所述包裹边界区域内的像素点在图像坐标系中的二维坐标，结合每个像素点在图像坐标系中的二维坐标以及所述像素点在所述初始图像中的深度信息，得到所述像素点对应的三维点云。

5.根据权利要求1所述的包裹自动分拣方法，其特征在于，在将所述初始图像输入所述目标检测网络后，识别得到多个待分拣包裹的物体边界框，根据各个物体边界框内的像素点的深度信息确定各个物体边界框对应的待分拣包裹的高度，根据对应的待分拣包裹的高度从高到低的顺序依次针对各个待分拣包裹的物体边界框执行所述对物体边界框内的初始图像进行语义分割的步骤，依次得到各个待分拣包裹的包裹中心在机械臂坐标系下的三维坐标，并控制所述机械臂利用末端的吸盘依次抓取各个待分拣包裹完成分拣。

6.根据权利要求1所述的包裹自动分拣方法，其特征在于，所述目标检测网络基于PicoDet训练得到，并用paddle_inference推理库进行部署。

7.根据权利要求1所述的包裹自动分拣方法，其特征在于，对物体边界框内的初始图像进行语义分割，包括：

将所述物体边界框内的初始图像输入语义分割网络进行语义分割，所述语义分割网络基于PP-LiteSeg训练得到，并用paddle_inference推理库进行部署。

8.根据权利要求1所述的包裹自动分拣方法，其特征在于，完成坐标系标定的方法包括：

通过所述相机获取包含棋盘格标定板的标定图像，所述标定图像包含每个像素点的RGB信息和深度信息；

按照手眼标定方法利用所述标定图像对机械臂坐标系和相机坐标系进行坐标系标定，确定机械臂坐标系和相机坐标系之间的变换关系；

根据所述相机的相机参数确定相机坐标系与图像坐标系之间的变换关系。