CN117765065B - 一种基于目标检测的单件分离包裹快速定位方法 - Google Patents

Abstract

本申请公开了一种基于目标检测的单件分离包裹快速定位方法，涉及物流技术领域，该方法通过位于单件分离区域上方的RGBD相机采集单件分离区域的待检测RGB图像和待检测深度数据，然后利用基于YOLO的轻量级目标检测模型进行目标检测提取得到各件包裹的目标检测框；然后根据每个目标检测框内的待检测深度数据确定目标检测框的参考深度值，并根据每个目标检测框的参考深度值获取目标检测框的四个顶点在分离皮带上的投影坐标，从而可以确定对应包裹的位置信息。该方法能够实时、快速地定位分离区域包裹的位置信息，对深度数据质量的要求较低、计算量小、运行效率高，可以提升物流分拣和处理的效率，满足实际应用的需求。

Description

一种基于目标检测的单件分离包裹快速定位方法

技术领域

本申请涉及物流技术领域，尤其是一种基于目标检测的单件分离包裹快速定位方法。

背景技术

随着物流产业的高速发展，包裹快递的数量和种类越来越丰富，这给包裹分拣、配送等环节带来了很大的挑战。传统的人工分拣方式效率低下、成本高昂，无法满足现代物流市场的需求。因此，自动化分拣和配送系统逐渐成为行业发展的趋势。现有的自动化分拣系统基本采用传统二维摄像机实现对于运动物体的跟踪和定位。然而，这种方法容易出现识别错误、误判等问题，降低了自动化分拣系统的准确性和可靠性，另外目前方法的识别速度也不够理想，这也直接影响了分拣的效率。

发明内容

本申请针对上述问题及技术需求，提出了一种基于目标检测的单件分离包裹快速定位方法，本申请的技术方案如下：

一种基于目标检测的单件分离包裹快速定位方法，该单件分离包裹快速定位方法包括：

通过位于单件分离区域上方的RGBD相机采集单件分离区域的待检测RGB图像和待检测深度数据，单件分离区域包括分离皮带以及设置在分离皮带上的若干件包裹；

利用基于YOLO的轻量级目标检测模型对待检测RGB图像中的包裹进行目标检测，提取得到待检测RGB图像中各件包裹的目标检测框；

根据每个目标检测框内的待检测深度数据确定目标检测框的参考深度值，并根据每个目标检测框的参考深度值获取目标检测框的四个顶点在分离皮带上的投影坐标；

根据每个目标检测框的四个顶点在分离皮带上的投影坐标确定对应包裹的位置信息。

其进一步的技术方案为，根据每个目标检测框的参考深度值获取目标检测框的四个顶点在分离皮带上的投影坐标包括：

利用RGBD相机的相机参数转换得到目标检测框的四个顶点在相机坐标系下的二维坐标；

将目标检测框的参考深度值作为目标检测框的四个顶点的第三维坐标，结合每个顶点的二维坐标得到对应顶点在相机坐标系下的三维坐标；

根据目标检测框的每个顶点的三维坐标得到顶点在分离皮带上的投影坐标。

其进一步的技术方案为，根据目标检测框的每个顶点的三维坐标得到顶点在分离皮带上的投影坐标包括：

基于分离皮带的皮带平面方程参数，将目标检测框的每个顶点的三维坐标投影到分离皮带上得到对应的投影坐标。

其进一步的技术方案为，单件分离包裹快速定位方法包括：

通过RGBD相机采集未设置任何包裹时的单件分离区域的标定RGB图像和标定深度数据；

基于标定RGB图像确定单件分离区域中的分离皮带所在区域作为感兴趣区域；

根据RGBD相机的内参矩阵将感兴趣区域内的标定深度数据转换为皮带三维点云数据；

基于随机采样一致性算法对皮带三维点云数据进行点云平面拟合得到皮带平面方程参数。

其进一步的技术方案为，根据每个目标检测框内的待检测深度数据确定目标检测框的参考深度值包括：

将每个目标检测框内的所有待检测深度数据的中位数作为目标检测框的参考深度值。

其进一步的技术方案为，根据每个目标检测框的四个顶点在分离皮带上的投影坐标确定对应包裹的位置信息包括：

将每个目标检测框的四个顶点的投影坐标中在水平面上的二维坐标进行最大外接矩形拟合，得到目标检测框对应的包裹的落地区域的最大外接矩形，基于包裹的落地区域的最大外接矩形确定包裹的位置信息。

其进一步的技术方案为，轻量级目标检测模型的骨干网络采用CSPDarkNet53进行特征提取，目标检测头包括三个不同尺度的输出层以检测不同大小的候选框，目标检测头对每个候选框给出预测参数，预测参数包括候选框的中心坐标、候选框的宽高以及置信度，其中置信度表示包含包裹的置信度和背景置信度的最大值。

其进一步的技术方案为，轻量级目标检测模型使用Hard Swish激活函数也使用深度可分离卷积。

其进一步的技术方案为，单件分离包裹快速定位方法包括：

搭建基于YOLO的轻量级目标检测模型的网络结构；

利用多个GPU并行使用COCO数据集基于搭建的网络结构进行预训练得到模型参数；

获取包裹的样本RGB图像并进行标注；

利用标注好的样本RGB图像基于预训练得到模型参数进行训练，并使用GreedyNMS算法进行非极大值抑制、使用反向传播算法更新模型参数。

其进一步的技术方案为，在获取样本RGB图像时，分别获取不同尺寸、包装材质类型、包装颜色的包裹的样本RGB图像。

本申请的有益技术效果是：

本申请公开了一种基于目标检测的单件分离包裹快速定位方法，该方法利用RGBD相机实时捕捉包裹的RGB图像和深度数据，利用基于YOLO的轻量级目标检测模型进行目标检测，轻量级目标检测模型可以适用于单件包裹分离这种资源有限的工业应用场景，且可以提高检测效率和速率。然后结合深度数据对目标检测框的四个顶点进行投影即可实现对包裹的快速定位，该方法能够实时、快速地定位分离区域包裹的位置信息，对深度数据质量的要求较低、计算量小、运行效率高，可以提升物流分拣和处理的效率，满足实际应用的需求。

该方法基于目标检测算法能够适用于各种类型和形状的包裹，并能在复杂环境中展现出色的检测效果，且在定位包裹的落地区域时降低包裹并排情况的干扰，有效避免误判和漏检。且使用到的轻量级目标检测模型可以通过引入更多特征和算法以提升检测精度和鲁棒性，从而根据需要进行优化和扩展，展现出良好的可扩展性。

附图说明

图1是本申请一个实施例的单件分离包裹快速定位方法的方法流程图。

图2是一个实例中的目标检测框转换得到的四个顶点的三维坐标，以及对应得到的投影坐标和拟合得到的包裹的落地区域的最大外接矩形的示意图。

具体实施方式

下面结合附图对本申请的具体实施方式做进一步说明。

本申请公开了一种基于目标检测的单件分离包裹快速定位方法，请参考图1所示的流程图，该方法包括如下步骤：

步骤1，通过位于单件分离区域上方的RGBD相机采集单件分离区域的待检测RGB图像和待检测深度数据。

其中，单件分离区域包括分离皮带以及设置在分离皮带上的若干件包裹。在实际应用时，分离皮带包括若干块按照阵列排布的皮带块，本申请对此不再细分，统称为分离皮带。

RGBD相机一般安装在单件分离区域上方的预设高度处并朝向单件分离区域，RGBD相机的视场范围至少覆盖分离皮带所在的区域。

步骤2，利用基于YOLO的轻量级目标检测模型对待检测RGB图像中的包裹进行目标检测，提取得到待检测RGB图像中各件包裹的目标检测框。

本申请使用的基于YOLO的轻量级目标检测模型以YOLO系列为基础进行优化和改进，具有轻量级特点，能够在嵌入式设备和移动端上实时运行，非常适合于资源有限的设备和应用场景，可以满足单件分离常见的使用需求。

该轻量级目标检测模型的骨干网络采用CSPDarkNet53进行特征提取，能够获取图像中的全局信息，并加上各种量化、剪枝等技术优化，有助于准确地检测和定位各种目标。轻量级目标检测模型的目标检测头包括三个不同尺度的输出层以检测不同大小的候选框，目标检测头对每个候选框给出预测参数，预测参数包括候选框的中心坐标、候选框的宽高以及置信度，其中置信度表示包含该候选框是否包含包裹的置信度和该位置是否存在包裹的背景置信度的最大值。

另外在该轻量级目标检测模型中还增加了一些其他的改进措施，包括使用HardSwish激活函数也使用深度可分离卷积，以提高该轻量级目标检测模型的准确性和效率。

在使用该轻量级目标检测模型之前，还包括对该轻量级目标检测模型的训练过程，则在搭建基于YOLO的轻量级目标检测模型的网络结构后，包括预训练和目标检测训练两个阶段：

在预训练阶段，使用COCO数据集基于搭建的网络结构进行预训练。该步骤利用多个GPU并行展开，以提高数据训练效率并加速模型收敛。

在目标检测训练阶段，首先获取包裹的样本RGB图像并进行标注。可以设置类别个数，对多个不同类别的目标进行检测和分类，使得该模型可以适用于实际中要同时检测多个包裹类别目标的情况，例如可以对正常包裹和深度数据较差的黑包进行区分，则在获取样本RGB图像时，分别获取不同尺寸、包装材质类型、包装颜色的包裹的样本RGB图像，且还会结合随机裁剪、旋转、缩放等操作对样本RGB图像进行数据增强，以增加模型的泛化能力。

然后，利用标注好的样本RGB图像基于预训练得到模型参数进行训练，并使用Greedy NMS算法进行非极大值抑制、使用反向传播算法更新模型参数。在此过程中还需要设置合适的学习率、损失计算方式和迭代次，一个实例中，非极大值抑制参数设置为0.6，初始学习率设为0.001，类别损失归一化因子设置为1.0，IOU损失归一化因子设置为0.07。关于IOU损失的计算计算方式选择CIOU。

步骤3，根据待检测RGB图像与待检测深度数据对齐的特点，可以获取每个目标检测框内的待检测深度数据，根据每个目标检测框内的待检测深度数据确定目标检测框的参考深度值。在一个实施例中，对每个目标检测框内的所有待检测深度数据进行排序，将每个目标检测框内的所有待检测深度数据的中位数作为目标检测框的参考深度值。

步骤4，根据每个目标检测框的参考深度值获取目标检测框的四个顶点在分离皮带上的投影坐标。

首先，利用RGBD相机的相机参数转换得到目标检测框的四个顶点在相机坐标系下的二维坐标，然后将目标检测框的参考深度值作为目标检测框的四个顶点的第三维坐标，结合每个顶点的二维坐标即可坐标转换得到对应顶点在相机坐标系下的三维坐标。

然后根据目标检测框的每个顶点的三维坐标得到顶点在分离皮带上的投影坐标。该步骤需要预先确定分离皮带所在平面，基于预先确定的分离皮带的皮带平面方程参数，即可将目标检测框的每个顶点的三维坐标投影到分离皮带上得到对应的投影坐标。

这里使用到的皮带平面方程参数是预先确定的，用于标定分离皮带所在平面，确定该皮带平面方程参数的方法包括：首先通过RGBD相机采集未在分离皮带上设置任何包裹时的单件分离区域的标定RGB图像和标定深度数据，然后基于标定RGB图像和标定深度数据提取得到皮带平面方程参数。方法为：(1)首先基于标定RGB图像确定单件分离区域中的分离皮带所在区域作为感兴趣区域，这是因为RGBD相机的视场范围一般除了分离皮带所在区域之外，还包括分离皮带所在背景的背景图像，因此需要提取分离皮带所在区域。(2)根据RGBD相机的内参矩阵将感兴趣区域内的标定深度数据转换为皮带三维点云数据。(3)基于随机采样一致性算法对皮带三维点云数据进行点云平面拟合得到皮带平面方程参数。

步骤5，根据每个目标检测框的四个顶点在分离皮带上的投影坐标确定对应包裹的位置信息。包括将每个目标检测框的四个顶点的投影坐标的高度置为0、将每个目标检测框的四个顶点的投影坐标中在水平面上的二维坐标进行最大外接矩形拟合，该步骤可以使用Opencv库中提供的cv::minAreaRect函数完成。从而可以拟合得到目标检测框对应的包裹的落地区域的最大外接矩形，然后基于包裹的落地区域的最大外接矩形就可以确定包裹的位置信息。

比如在一个实例中，步骤4得到的一个目标检测框的四个顶点转换得到的三维坐标分别如图2中的A、B、C、D，可以看出这四个三维坐标的深度值都是相同的。三维坐标A、B、C、D投影到分离皮带上分别为投影坐标A’、B’、C’、D’，对这四个投影坐标进拟合得到的包裹的落地区域的最大外接矩形如阴影区域所示。

以上所述的仅是本申请的优选实施方式，本申请不限于以上实施例。可以理解，本领域技术人员在不脱离本申请的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本申请的保护范围之内。

Claims (9)

1.一种基于目标检测的单件分离包裹快速定位方法，其特征在于，所述单件分离包裹快速定位方法包括：

通过位于单件分离区域上方的RGBD相机采集所述单件分离区域的待检测RGB图像和待检测深度数据，所述单件分离区域包括分离皮带以及设置在所述分离皮带上的若干件包裹；

利用基于YOLO的轻量级目标检测模型对所述待检测RGB图像中的包裹进行目标检测，提取得到所述待检测RGB图像中各件包裹的目标检测框；

将每个目标检测框内的所有待检测深度数据的中位数作为所述目标检测框的参考深度值，并根据每个目标检测框的参考深度值获取所述目标检测框的四个顶点在分离皮带上的投影坐标；

根据每个目标检测框的四个顶点在分离皮带上的投影坐标确定对应包裹的位置信息。

2.根据权利要求1所述的单件分离包裹快速定位方法，其特征在于，所述根据每个目标检测框的参考深度值获取所述目标检测框的四个顶点在分离皮带上的投影坐标包括：

利用所述RGBD相机的相机参数转换得到所述目标检测框的四个顶点在相机坐标系下的二维坐标；

将所述目标检测框的参考深度值作为所述目标检测框的四个顶点的第三维坐标，结合每个顶点的二维坐标得到对应顶点在相机坐标系下的三维坐标；

根据所述目标检测框的每个顶点的三维坐标得到所述顶点在分离皮带上的投影坐标。

3.根据权利要求2所述的单件分离包裹快速定位方法，其特征在于，所述根据所述目标检测框的每个顶点的三维坐标得到所述顶点在分离皮带上的投影坐标包括：

基于所述分离皮带的皮带平面方程参数，将所述目标检测框的每个顶点的三维坐标投影到所述分离皮带上得到对应的投影坐标。

4.根据权利要求3所述的单件分离包裹快速定位方法，其特征在于，所述单件分离包裹快速定位方法包括：

通过RGBD相机采集未设置任何包裹时的单件分离区域的标定RGB图像和标定深度数据；

基于所述标定RGB图像确定所述单件分离区域中的分离皮带所在区域作为感兴趣区域；

根据所述RGBD相机的内参矩阵将所述感兴趣区域内的标定深度数据转换为皮带三维点云数据；

基于随机采样一致性算法对皮带三维点云数据进行点云平面拟合得到所述皮带平面方程参数。

5.根据权利要求1所述的单件分离包裹快速定位方法，其特征在于，所述根据每个目标检测框的四个顶点在分离皮带上的投影坐标确定对应包裹的位置信息包括：

将每个目标检测框的四个顶点的投影坐标中在水平面上的二维坐标进行最大外接矩形拟合，得到所述目标检测框对应的包裹的落地区域的最大外接矩形，基于包裹的落地区域的最大外接矩形确定包裹的位置信息。

6.根据权利要求1所述的单件分离包裹快速定位方法，其特征在于，所述轻量级目标检测模型的骨干网络采用CSPDarkNet53进行特征提取，目标检测头包括三个不同尺度的输出层以检测不同大小的候选框，目标检测头对每个候选框给出预测参数，所述预测参数包括候选框的中心坐标、候选框的宽高以及置信度，其中置信度表示包含包裹的置信度和背景置信度的最大值。

7.根据权利要求6所述的单件分离包裹快速定位方法，其特征在于，所述轻量级目标检测模型使用Hard Swish激活函数也使用深度可分离卷积。

8.根据权利要求1所述的单件分离包裹快速定位方法，其特征在于，所述单件分离包裹快速定位方法包括：

搭建基于YOLO的轻量级目标检测模型的网络结构；

利用多个GPU并行使用COCO数据集基于搭建的网络结构进行预训练得到模型参数；

获取包裹的样本RGB图像并进行标注；

利用标注好的样本RGB图像基于预训练得到模型参数进行训练，并使用Greedy NMS算法进行非极大值抑制、使用反向传播算法更新模型参数。

9.根据权利要求8所述的单件分离包裹快速定位方法，其特征在于，在获取样本RGB图像时，分别获取不同尺寸、包装材质类型、包装颜色的包裹的样本RGB图像。