CN118172716A - 一种基于rgb-d图像的交叉带小车包裹状态检测方法 - Google Patents

Abstract

本申请公开了一种基于RGB‑D图像的交叉带小车包裹状态检测方法，涉及图像处理领域，该方法通过RGB‑D相机采集目标区域的RGB图像和深度图像，然后利用目标检测模型对RGB图像进行目标检测提取检测框，利用检测框结合深度图像提取初始掩膜图像后，将初始掩膜图像转换成三维点云数据，继而投影到交叉带小车的皮带基准平面上最终得到包裹掩膜区域，皮带基准平面上的包裹掩膜区域可以表征每个包裹的精确掩膜信息，从而可以准确判断包裹的状态，该方法在复杂的环境和光照影响下也能有较准确的检测结果且易于部署，适用于包裹自动分拣系统的现场使用。

Description

一种基于RGB-D图像的交叉带小车包裹状态检测方法

技术领域

本申请涉及图像处理领域，尤其是一种基于RGB-D图像的交叉带小车包裹状态检测方法。

背景技术

随着快递物流行业的快速发展，包裹分拣数量呈爆发式增长，传统的依靠人工进行包裹供包和分拣的方式效率低下，已经不能满足现在的需求。

为了提高包裹分拣效率，目前物流行业会使用全自动供包系统来实现自动化供包和分拣。交叉带小车系统是全自动供包系统的最后一个环节，在这个环节需要识别交叉带小车上包裹的状态，当交叉带小车上的包裹呈现正常单件状态时就进行正常分拣处理，当交叉带小车上的包裹呈现异常状态时就进行异常回流处理。但由于交叉带小车的使用背景往往较为复杂，且交叉带小车上包裹的种类、质地、形状大小各异，这些因素都给交叉带小车上包裹的状态识别带来的不小的挑战，影响交叉带小车分拣的准确度和效率。

发明内容

本申请针对上述问题及技术需求，提出了一种基于RGB-D图像的交叉带小车包裹状态检测方法，本申请的技术方案如下：

一种基于RGB-D图像的交叉带小车包裹状态检测方法，该交叉带小车包裹状态检测方法包括：

通过RGB-D相机采集目标区域的RGB图像和深度图像，目标区域至少包含交叉带小车的皮带区域和风琴板区域；

利用目标检测模型对采集到的目标区域的RGB图像中的包裹进行目标检测，提取得到RGB图像中的若干个检测框；

根据深度图像中位于每个检测框内的像素点的深度值，提取得到每个检测框内的包裹前景像素点构成初始掩膜图像；

将每个检测框内的初始掩膜图像转换成三维点云数据，并根据三维点云数据在交叉带小车的皮带基准平面上的投影数据得到RGB图像中的包裹掩膜区域；

根据包裹掩膜区域与交叉带小车的皮带区域和风琴板区域的相对位置关系，确定交叉带小车上的包裹处于正常单件状态或处于异常状态。

其进一步的技术方案为，确定交叉带小车上的包裹处于正常单件状态或处于异常状态包括：

当确定仅提取到一个包裹掩膜区域时，根据包裹掩膜区域与交叉带小车的皮带区域和风琴板区域的相对位置关系检测包裹掩膜区域对应的包裹的放置姿态；

当包裹掩膜区域对应的包裹的放置姿态正常时，确定交叉带小车上的包裹处于正常单件状态，否则确定交叉带小车上的包裹处于异常状态。

其进一步的技术方案为，根据包裹掩膜区域与交叉带小车的皮带区域和风琴板区域的相对位置关系检测包裹掩膜区域对应的包裹的放置姿态，包括：

根据包裹掩膜区域与皮带区域的相对位置关系确定包裹掩膜区域与皮带区域的交叉重合面积，根据包裹掩膜区域与风琴板区域的相对位置关系确定包裹掩膜区域与风琴板区域的交叉重合面积/>；

根据包裹掩膜区域与皮带区域的交叉重合面积，以及包裹掩膜区域与风琴板区域的交叉重合面积/>检测包裹掩膜区域对应的包裹的放置姿态。

其进一步的技术方案为，根据交叉重合面积和交叉重合面积/>检测包裹掩膜区域对应的包裹的放置姿态包括：

当且/>时，确定包裹掩膜区域对应的包裹的放置姿态正常，否则确定包裹掩膜区域对应的包裹的放置姿态异常；

其中，是包裹掩膜区域的面积，/>和/>分别是两个比例系数。

其进一步的技术方案为，交叉带小车包裹状态检测方法还包括：

当仅提取到一个包裹掩膜区域且包裹掩膜区域对应的包裹的放置姿态异常时，确定交叉带小车上的包裹处于超边异常状态；

当提取到多个包裹掩膜区域时，确定交叉带小车上的包裹处于多件异常状态。

其进一步的技术方案为，提取得到RGB图像中的包裹掩膜区域包括：

根据RGB-D相机的相机参数根据初始掩膜图像中各个像素点的图像坐标和深度值进行坐标转换得到三维点云数据；

将三维点云数据投影到交叉带小车的皮带基准平面上得到投影数据；

根据RGB-D相机的相机参数对投影数据进行坐标转换得到目标图像坐标，提取RGB图像中位于目标图像坐标处的像素点构成包裹掩膜区域。

其进一步的技术方案为，将三维点云数据投影到交叉带小车的皮带基准平面上得到投影数据包括：

根据交叉带小车的皮带基准平面的平面方程，利用点到平面的投影计算公式将三维点云数据投影到交叉带小车的皮带基准平面上得到投影数据。

其进一步的技术方案为，提取得到每个检测框内的包裹前景像素点构成初始掩膜图像包括：

计算检测框内每个像素点的深度值与基准深度值之间的深度差，基准深度值是交叉带小车的皮带基准平面的深度值；

提取深度值与基准深度值之间的深度差达到深度差阈值的像素点作为包裹前景像素点构成检测框内的初始掩膜图像。

其进一步的技术方案为，交叉带小车包裹状态检测方法还包括：

在交叉带小车的皮带区域处于空车状态时，通过RGB-D相机采集目标区域的标定RGB图像和标定深度数据；

基于标定RGB图像确定交叉带小车的皮带区域；

根据RGB-D相机的相机参数根据交叉带小车的皮带区域内各个像素点的图像坐标和深度值进行坐标转换得到皮带三维点云数据；

基于随机采样一致性算法对皮带三维点云数据进行点云平面拟合得到皮带基准平面的平面方程，并以拟合得到的皮带基准平面的平均深度值作为基准深度值。

其进一步的技术方案为，交叉带小车包裹状态检测方法还包括：

使用COCO公开数据集对PP-Picodet进行网络预训练得到预训练权重；

采集目标区域的样本RGB图像并对样本RGB图像中的包裹进行图像标注，对完成图像标注的样本RGB图像进行数据集扩充处理得到样本数据集，数据集扩充处理包括旋转、亮度变换和对比度变换中的至少一种；

利用样本数据集基于网络预训练得到的预训练权重进行网络训练得到目标检测模型，在训练时使用SimOTA采样策略并使用H-Swish激活函数。

本申请的有益技术效果是：

本申请公开了一种基于RGB-D图像的交叉带小车包裹状态检测方法，该方法利用目标检测模型结合已配准的RGB图像和深度体现可以初步分割得到初始掩膜图像，然后通过坐标转换可以将初始掩膜图像映射到皮带基准平面，以得到在皮带基准平面上的包裹掩膜区域，皮带基准平面上的包裹掩膜区域可以表征每个包裹的精确掩膜信息，从而可以准确判断包裹的状态，该方法在复杂的环境和光照影响下也能有较准确的检测结果且易于部署，适用于包裹自动分拣系统的现场使用。

附图说明

图1是本申请一个实施例的交叉带小车包裹状态检测方法的方法流程图。

图2是本申请一个实施例中确定交叉带小车上包裹的状态的方法流程图。

具体实施方式

下面结合附图对本申请的具体实施方式做进一步说明。

本申请公开了一种基于RGB-D图像的交叉带小车包裹状态检测方法，请参考图1所示的流程图，该交叉带小车包裹状态检测方法包括：

步骤1，通过RGB-D相机采集目标区域的RGB图像和深度图像。

RGB-D相机一般安装在交叉带小车上方的预设高度处并朝向交叉带小车的表面，RGB-D相机的视场范围即为目标区域的范围，目标区域至少包含交叉带小车表面的皮带区域和风琴板区域。

为满足不同场景的使用需求，可通过配合不同大小的工业镜头实现不同角度的视场范围以满足目标区域的范围要求。另外为保证不会出现高包裹遮挡小包裹的问题，RGB-D相机的镜头一般需安装距离交叉带小车表面1m以上。RGB-D相机拍照触发方式为硬件单帧触发，当通过安装在预定位置的光电检测器检测到每截交叉带小车时触发RGB-D相机拍照，拍照帧率由实际交叉带小车运行线速决定，检测算法处理帧率最高可达20帧/s，采集的图像的分辨率为1280*960，RGB-D相机的算法处理平台为NVIDIA Jetson NANO。

采集到的RGB图像和深度图像先要完成配准，可以采用现有的配准算法完成，该步骤不再展开。通常情况下，交叉带小车表面都放置有包裹，因此目标区域内包含包裹，获取到的RGB图像和深度图像中也有包裹，但是交叉带小车表面放置的包裹的数量和位置是不固定的，因此RGB图像和深度图像中的包裹的数量和位置也是不固定的。但是也有一些特殊的情况下，交叉带小车表面未放置包裹而处于空车状态，此时目标区域内不包含包裹，RGB图像和深度图像中也没有包裹。

步骤2，利用目标检测模型对采集到的目标区域的RGB图像中的包裹进行目标检测，提取得到RGB图像中的若干个检测框。

提取得到的每个检测框对应一个交叉带小车表面的一个包裹，检测框用于标识包裹所在的区域。实际在利用目标检测模型进行目标检测时，会得到多个检测框及各自的置信度，保留置信度达到置信度阈值的检测框，然后进一步使用非极大值抑制方法删除交并比大于预定交并比阈值的检测框，得到对应于每个包裹的最优的检测框。一般设置置信度阈值为0.5，交并比阈值为0.7。

由于目标区域除了包含交叉带小车表面的皮带区域和风琴板区域之外，往往还包含其他的背景区域，因此在一个实施例中，在获取到目标区域的RGB图像和深度图像后，首先对RGB图像和深度图像中的感兴趣区域进行标定，感兴趣区域是交叉带小车表面的皮带区域和风琴板区域所在区域。然后利用目标检测模型对感兴趣区域内的RGB图像进行目标检测，从而可以减少运算量。

该步骤使用到的目标检测模型是预先训练得到的，因此在使用目标检测模型之前，还包括训练得到目标检测模型的方法，包括：

（1）采集目标区域的样本RGB图像并对样本RGB图像中的包裹进行图像标注，在进行图像标注时，使用labelme标注工具标注包裹的最小外接正矩形。同样的该步骤在得到样本RGB图像后，也可以首先对样本RGB图像进行裁剪仅保留感兴趣区域的图像，然后再进行图像标注。

（2）对完成图像标注的样本RGB图像进行数据集扩充处理得到样本数据集。使用到的数据集扩充处理包括旋转、亮度变换和对比度变换中的至少一种。

（3）使用随机初始化方法确定PP-Picodet的初始权重，然后使用COCO公开数据集对PP-Picodet进行网络预训练得到预训练权重。在一个实例中，网络预训练的迭代次数为160000次，记录训练得到的最优MAP的权重。

该实施例使用的PP-Picodet是一种轻量级网络，其基于PaddlePaddle框架，主干网络采用MobileNetV3，头网络用PicoHeadV2结构。

（4）然后利用样本数据集基于网络预训练得到的预训练权重进行网络训练得到最终的目标检测模型。在该过程中，将网络预训练得到的预训练权重作为PP-Picodet的初始权重，然后利用样本数据集进行迭代训练，训练时使用SimOTA采样策略，随训练过程动态变换标签分配方式，另外使用H-Swish激活函数代替一般的Relu激活函。该步骤的网络训练过程的训练步长为300个epoch，将最优的F1-score的权重作为最终的目标检测模型的模型权重。

步骤3，根据深度图像中位于每个检测框内的像素点的深度值，提取得到每个检测框内的包裹前景像素点构成初始掩膜图像。

步骤2提取得到的检测框是包裹的最小外接正矩形，由于包裹的形态各异，检测框内除了有包裹之外，一般也还包括其他背景。由于包裹是放置在交叉带小车表面的，因此可以利用交叉带小车的皮带基准平面来过滤掉其他背景区域的像素点而提取包裹前景像素点。在一个实施例中，首先计算检测框内每个像素点的深度值与基准深度值之间的深度差，然后提取深度值与基准深度值之间的深度差达到深度差阈值的像素点作为包裹前景像素点构成检测框内的初始掩膜图像。深度差阈值可以是按照经验的自定义值，或者现场需要检测的最薄的包裹的高度来设定。

这里使用到的基准深度值是交叉带小车的皮带基准平面的深度值。一般需要预先拟合确定。在一个实施例中，还包括预先拟合皮带基准平面的方法，包括如下步骤：

（1）在交叉带小车的皮带区域处于空车状态时，通过RGB-D相机采集目标区域的标定RGB图像和标定深度数据。

（2）基于标定RGB图像确定交叉带小车的皮带区域。

（3）根据RGB-D相机的相机参数根据交叉带小车的皮带区域内各个像素点的图像坐标和深度值进行坐标转换得到皮带三维点云数据。RGB-D相机在安装好以后，RGB-D相机的相机参数包括相机内参和相机外参都能确定，因此像素坐标系与相机坐标系的坐标转换关系就能确定，继而就能实现坐标转换，这部分是目前常用的坐标转换方式，该步骤不再展开描述。

（4）基于随机采样一致性算法对皮带三维点云数据进行点云平面拟合得到皮带基准平面的平面方程，并以拟合得到的皮带基准平面的平均深度值作为基准深度值。

步骤4，将每个检测框内的初始掩膜图像转换成三维点云数据，并根据三维点云数据在交叉带小车的皮带基准平面上的投影数据得到RGB图像中的包裹掩膜区域，每个检测框内的初始掩膜图像都会如此操作得到对应的包裹掩膜区域。

（1）利用RGB-D相机的相机参数根据初始掩膜图像中各个像素点的图像坐标和深度值进行坐标转换得到三维点云数据。

（2）然后将三维点云数据投影到交叉带小车的皮带基准平面上得到投影数据。如上步骤3处介绍，可以预先拟合得到交叉带小车的皮带基准平面的平面方程，则根据交叉带小车的皮带基准平面的平面方程，利用点到平面的投影计算公式就能将三维点云数据投影到交叉带小车的皮带基准平面上得到投影数据。

当拟合得到的交叉带小车的皮带基准平面的平面方程如下时：

任意三维点云数据投影到交叉带小车的皮带基准平面上得到投影数据的坐标/>为：

其中，、/>、/>、/>分别是拟合得到的系数，/>表示相机坐标系下的点云坐标变量。

（3）利用RGB-D相机的相机参数对投影数据进行坐标转换得到目标图像坐标，该步骤重新将投影数据从相机坐标系转换到像素坐标系下，与上述坐标转换得到三维点云数据的方法同理，此处也不再赘述。然后提取RGB图像中位于目标图像坐标处的像素点构成包裹掩膜区域，由于提取得到的包裹掩膜区域是位于皮带基准平面上精准掩膜，相比于初始掩膜图像更准确。

步骤5，根据包裹掩膜区域与交叉带小车的皮带区域和风琴板区域的相对位置关系，确定交叉带小车上的包裹处于正常单件状态或处于异常状态。

当交叉带小车上包裹处于正常单件状态时可以正常分拣处理，当交叉带小车上包裹处于异常状态时需要回流处理。而交叉带小车上包裹的正常单件状态是指交叉带小车上只放置一个包裹且该包裹放置在皮带区域处。

基于这种检测需要，请结合图2的流程图，该步骤判断是否仅提取到一个包裹掩膜区域，当确定提取到多个包裹掩膜区域时可以直接确定交叉带小车上包裹处于异常状态。当确定仅提取到一个包裹掩膜区域时，进一步根据包裹掩膜区域与交叉带小车的皮带区域和风琴板区域的相对位置关系检测包裹掩膜区域对应的包裹的放置姿态，包括：

（1）根据包裹掩膜区域与皮带区域的相对位置关系确定包裹掩膜区域与皮带区域的交叉重合面积，根据包裹掩膜区域与风琴板区域的相对位置关系确定包裹掩膜区域与风琴板区域的交叉重合面积/>；

如上，由于交叉带小车的结构是固定的，因此皮带区域和风琴板区域是可以预先标定的，根据皮带区域结合包裹掩膜区域就能确定同时位于包裹掩膜区域和位于皮带区域内的像素点构成的区域的像素面积即为交叉重合面积，同理，根据风琴板区域结合包裹掩膜区域就能确定同时位于包裹掩膜区域和位于风琴板区域内的像素点构成的区域的像素面积即为交叉重合面积/>。

（2）根据包裹掩膜区域与皮带区域的交叉重合面积，以及包裹掩膜区域与风琴板区域的交叉重合面积/>检测包裹掩膜区域对应的包裹的放置姿态。根据交叉重合面积就能确定包裹掩膜区域表示的包裹与皮带区域的重合大小，根据交叉重合面积/>就能确定包裹掩膜区域表示的包裹与风琴板区域的重合大小，当包裹放置在皮带区域内时，包裹应该完全与皮带区域重合而不与风琴板区域重合。考虑到实际应用过程中，当包裹有小部分压在风琴板区域上时也可以实现分拣，因此预留冗余误差，基于此：

当且/>时，确定包裹掩膜区域对应的包裹的放置姿态正常，否则确定包裹掩膜区域对应的包裹的放置姿态异常。其中，/>是包裹掩膜区域的面积，通过统计像素面积即可确定。/>和/>分别是两个比例系数，可以根据需要自定义设置，比例系数/>的取值一般较大比如设置为80%~90%，而比例系数/>的取值一般较小比如10%~20%。

最终可以确定，当仅有一个包裹掩膜区域且该包裹掩膜区域对应的包裹的放置姿态正常时，可以确定交叉带小车上的包裹处于正常单件状态，否则确定交叉带小车上的包裹处于异常状态。

在实际应用时，处于异常状态的交叉带小车都需要进行异常回流，而比较典型的异常状态有两种：一种是交叉带小车表面有多个包裹而导致的多件异常状态，另一种是交叉带小车表面的包裹放置在风琴板区域而导致的超边异常状态，考虑到实际场景下往往需要针对两种不同的异常状态做不同的异常回流操作，因此在另一个实施例中，还对这两种异常状态进行区分：

当仅提取到一个包裹掩膜区域且包裹掩膜区域对应的包裹的放置姿态异常时，确定交叉带小车上的包裹处于超边异常状态。

当提取到多个包裹掩膜区域时，可以直接确定交叉带小车上的包裹处于多件异常状态。

另外特殊情况下当交叉带小车表面没有包裹时，步骤2未提取得到检测框，则后续也无法提取得到包裹掩膜区域，则当未提取到包裹掩膜区域时确定交叉带小车表面没有包裹而处于空车状态，根据实际需要也可以将空车状态作为一种异常状态进行回流处理。

以上所述的仅是本申请的优选实施方式，本申请不限于以上实施例。可以理解，本领域技术人员在不脱离本申请的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本申请的保护范围之内。

Claims (8)

1.一种基于RGB-D图像的交叉带小车包裹状态检测方法，其特征在于，所述交叉带小车包裹状态检测方法包括：

通过RGB-D相机采集目标区域的RGB图像和深度图像，所述目标区域至少包含交叉带小车的皮带区域和风琴板区域；

利用目标检测模型对采集到的目标区域的RGB图像中的包裹进行目标检测，提取得到所述RGB图像中的若干个检测框；

根据深度图像中位于每个检测框内的像素点的深度值，提取得到每个检测框内的包裹前景像素点构成初始掩膜图像；

将每个检测框内的初始掩膜图像转换成三维点云数据，并根据三维点云数据在所述交叉带小车的皮带基准平面上的投影数据得到所述RGB图像中的包裹掩膜区域；

当确定仅提取到一个包裹掩膜区域时，确定所述包裹掩膜区域与皮带区域的交叉重合面积，以及确定所述包裹掩膜区域与风琴板区域的交叉重合面积/>；根据所述包裹掩膜区域与皮带区域的交叉重合面积/>，以及所述包裹掩膜区域与风琴板区域的交叉重合面积/>检测所述包裹掩膜区域对应的包裹的放置姿态；当所述包裹掩膜区域对应的包裹的放置姿态正常时，确定交叉带小车上的包裹处于正常单件状态，否则确定交叉带小车上的包裹处于异常状态；

当确定提取到多个包裹掩膜区域时，直接确定交叉带小车上的包裹处于异常状态。

2.根据权利要求1所述的交叉带小车包裹状态检测方法，其特征在于，根据交叉重合面积和交叉重合面积/>检测所述包裹掩膜区域对应的包裹的放置姿态包括：

当且/>时，确定所述包裹掩膜区域对应的包裹的放置姿态正常，否则确定所述包裹掩膜区域对应的包裹的放置姿态异常；

其中，是所述包裹掩膜区域的面积，/>和/>分别是两个比例系数。

3.根据权利要求1所述的交叉带小车包裹状态检测方法，其特征在于，所述交叉带小车包裹状态检测方法还包括：

当仅提取到一个包裹掩膜区域且所述包裹掩膜区域对应的包裹的放置姿态异常时，确定交叉带小车上的包裹处于超边异常状态；

当提取到多个包裹掩膜区域时，确定交叉带小车上的包裹处于多件异常状态。

4.根据权利要求1所述的交叉带小车包裹状态检测方法，其特征在于，所述提取得到RGB图像中的包裹掩膜区域包括：

根据RGB-D相机的相机参数根据初始掩膜图像中各个像素点的图像坐标和深度值进行坐标转换得到三维点云数据；

将三维点云数据投影到所述交叉带小车的皮带基准平面上得到投影数据；

根据RGB-D相机的相机参数对投影数据进行坐标转换得到目标图像坐标，提取RGB图像中位于目标图像坐标处的像素点构成包裹掩膜区域。

5.根据权利要求4所述的交叉带小车包裹状态检测方法，其特征在于，所述将三维点云数据投影到所述交叉带小车的皮带基准平面上得到投影数据包括：

根据所述交叉带小车的皮带基准平面的平面方程，利用点到平面的投影计算公式将三维点云数据投影到所述交叉带小车的皮带基准平面上得到投影数据。

6.根据权利要求1所述的交叉带小车包裹状态检测方法，其特征在于，所述提取得到每个检测框内的包裹前景像素点构成初始掩膜图像包括：

计算所述检测框内每个像素点的深度值与基准深度值之间的深度差，基准深度值是所述交叉带小车的皮带基准平面的深度值；

提取深度值与基准深度值之间的深度差达到深度差阈值的像素点作为包裹前景像素点构成所述检测框内的初始掩膜图像。

7.根据权利要求5或6所述的交叉带小车包裹状态检测方法，其特征在于，所述交叉带小车包裹状态检测方法还包括：

在交叉带小车的皮带区域处于空车状态时，通过RGB-D相机采集目标区域的标定RGB图像和标定深度数据；

基于标定RGB图像确定交叉带小车的皮带区域；

根据RGB-D相机的相机参数根据交叉带小车的皮带区域内各个像素点的图像坐标和深度值进行坐标转换得到皮带三维点云数据；

基于随机采样一致性算法对皮带三维点云数据进行点云平面拟合得到皮带基准平面的平面方程，并以拟合得到的皮带基准平面的平均深度值作为基准深度值。

8.根据权利要求1所述的交叉带小车包裹状态检测方法，其特征在于，所述交叉带小车包裹状态检测方法还包括：

使用COCO公开数据集对PP-Picodet进行网络预训练得到预训练权重；

采集目标区域的样本RGB图像并对样本RGB图像中的包裹进行图像标注，对完成图像标注的样本RGB图像进行数据集扩充处理得到样本数据集，所述数据集扩充处理包括旋转、亮度变换和对比度变换中的至少一种；

利用样本数据集基于网络预训练得到的预训练权重进行网络训练得到所述目标检测模型，在训练时使用SimOTA采样策略并使用H-Swish激活函数。