CN115965858A - 一种识别传送带上货物堆积的方法及装置 - Google Patents

Abstract

本发明公开了一种识别传送带上货物堆积的方法及装置，该方法包括以下步骤：构建特征提取模型；采集注册特征提取图像集，对图像集中每张图像中的目标进行分段处理；获取每个分段区域的注册特征集；实时采集待检测图像，并对待检测图像进行分段处理，获取每个分段区域的对比特征；根据分段区段的注册特征集与对比特征对检测图像每个分段区域是否有货物进行判断，最后对每个分段区域有货物状态的持续时间进行分析，判断所述待检测传送带是否有货物堆积。本发明特征提取本方法的模型与传送带的应用场景是不相关的，针对不同的传送带应用场景，只需构建一个特征提取模型，当货物类别发生变化时，不需要重新训练模型，对不同类型的货物具有普适性。

Description

一种识别传送带上货物堆积的方法及装置

技术领域

本发明涉及图像处理技术、深度学习、机器学习与模式识别技术领域，特别涉及一种识别传送带上货物堆积的方法及装置。

背景技术

传送带可以深化企业物流仓库运输自动化水平，便于相关工作者进行管理，提高物流效率，目前，影响传输带上的货物运转的情况有很多种，货物堆积是一个比较常见的问题，也是一个比较容易使得货物损坏的原因。目前，现有传送带数量较多，占地面积大，尤其是多层传输带，跨楼层传输带，高度远远高于人的高度，视线根本无法看到传输带的运行状态，因此在发生包括堵塞时，无法及时发现，当前通过监控设备进行监控，然后针对货物拥堵进行提示，但是这样的货物拥堵识别方法，通常要等货物堆积比较严重才会进行拥堵提示，这样的拥堵识别方式效率较低，而且容易出错。在传送带作业过程中，货物堆积会使得生产效率大打折扣。

现阶段常用人工排查的方式对这一生产事故进行防范和处理，采用人工排查需要配备多名相关人员持续查看监控视频，人工成本较高；另一方面，人工长时间观看屏幕非常枯燥且很容易造成视觉疲劳，从而可能导致不能及时发现快递货物堆积异常的情况。

随着人工智能、图像处理技术的发展，已提出了采用基于图像识别的方法来进行传送带是否产生堆积现象的自动识别，可以节约人力成本，提高生产效率，已有名称为一种货物堆积检测方法、装置、设备和系统(CN114550102A)的发明专利，公开了基于卷积神经网络对图像矩阵进行识别、分析和处理，从而得到货物密度评估图，并最终得到货物数量，但已有的基于图像识别的方法需要针对特定的货物进行训练，若货物类型更改，则模型失效，需要重新训练，算法的识别精度低。

有鉴于此，特提出本申请。

发明内容

本发明的发明目的是针对现有技术的不足，提供一种识别传送带上货物堆积的方法及装置，拟建立高识别精度及鲁棒性的识别模型，对不同类型的货物具有普适性，当货物类别发生变化时，不需要重新训练模型，可以节约部署成本。

第一方面，本发明提供了一种识别传送带上货物堆积的方法，包括：

S1：构建特征提取模型，所述特征提取模型与传送带的应用场景是不相关的；

S2：采集注册特征提取图像集，所述注册特征提取图像集与待检测传送带的应用场景是相关的，所述注册特征提取图像集中所述待检测传送带上没有货物，对所述注册特征提取图像集中每张图像中的目标进行分段处理，所述目标为所述待检测传送带及货物所在区域；

S3：获取注册特征集，将所述分段处理后的所述注册特征提取图像集输入所述特征提取模型，获得所述注册特征集；

S4：实时采集待检测图像，对所述待检测图像中所述目标进行所述分段处理；

S5：获取对比特征，将所述分段处理后的所述待检测图像输入所述特征提取模型，获得所述目标的每个分段区域的所述对比特征；

S6：是否有货物的判断，对所述目标的每个分段区域的所述对比特征与所述注册特征集的相似度进行分析，判断所述目标的每个分段区域是否有货物；

S7：是否有货物堆积的判断，对所述目标的每个分段区域有货物状态的持续时间进行分析，判断所述待检测传送带是否有货物堆积。

进一步地，所述特征提取模型为卷积神经网络模型或视觉transformer模型。

进一步地，所述特征提取模型为卷积神经网络模型，构建所述特征提取模型的具体步骤包括：

第一步：构建一个卷积神经网络；

第二步：构建一个与传送带的应用场景不相关的数据集，

第三步：设定所述卷积神经网络的学习类型为分类任务，并且设定损失函数为交叉熵损失函数；

第四步：在所述数据集上采用反向传播的方法训练所述卷积神经网络，得到所述特征提取模型。

进一步地，所述数据集包括ImageNet数据集或coco数据集。

进一步地，所述分段处理的步骤为：选取所述目标，并沿所述待检测传送带运动方向将所述目标等分为若干个分段区域，获得所述目标的每个分段区域的图像。

进一步地，将所述目标等分为6个分段区域。

进一步地，所述S6的步骤为：

S61：对所述目标的每个分段区域的所述对比特征与所述注册特征集中每一个特征的相似度进行计算；

S62：通过所述目标的每个分段区域的所述对比特征与所述注册特征集中每一个特征的相似度和阈值的关系判断所述目标的每个分段区域是否有货物；

当分段区域的所述对比特征与所述注册特征集中每一个特征的相似度都小于阈值时，判定该分段区域有货物；

当分段区域的所述对比特征与所述注册特征集中每一个特征的相似度中存在一个值大于等于阈值时，则判定为该分段区域无货物。

进一步地，采用余弦距离对所述对比特征与所述注册特征集中每一个特征的相似度进行计算。

进一步地，所述阈值由观察统计获得，所述阈值为所述目标的分段区域有货物时所述对比特征与所述注册特征集的相似度的期望与无货物时所述对比特征与所述注册特征集的相似度的期望的平均值。

进一步地，所述S7的步骤为：

统计所述目标的每个分段区域的有货物状态的持续时间；

当分段区域的所述持续时间≥1min，则判定该分段区域有货物滞留；

当相邻两个或以上的分段区域存在所述货物滞留，则判定所述待检测传送带有货物堆积。

第二方法，本发明提供了一种识别传送带上货物堆积的装置，包括：

特征提取模型构建模块：用于构建特征提取模型，所述特征提取模型与传送带的应用场景是不相关的；

图像采集模块：用于采集注册特征提取图像集，实时采集待检测图像，所述注册特征提取图像集与待检测传送带的应用场景是相关的，所述注册特征提取图像集中所述待检测传送带上没有货物；

分段处理模块：用于对所述注册特征提取图像集以及所述待检测图像中目标的分段处理，所述目标为所述待检测传送带及货物所在区域；

分段区域的特征集获取模块：用于将所述分段处理后的所述注册特征提取图像集输入所述特征提取模型，获得所述注册特征集；

用于将所述分段处理后的所述待检测图像输入所述特征提取模型，获得所述目标的每个分段区域的所述对比特征；

是否有货物的判断模块：用于对所述目标的每个分段区域的所述对比特征与所述注册特征集的相似度进行分析，判断所述目标的每个分段区域是否有货物；

货物堆积判断模块：对所述目标的每个分段区域有货物状态的持续时间进行分析，判断所述待检测传送带是否有货物堆积。

本发明的有益效果在于：

(1)为了精准实现传送带上货物堆积的识别，本发明对待检测目标进行分段处理，分段建立注册特征集及对比特征，通过对比特征与注册特征集中每一个特征的相似度与阈值的关系实现传送带每个分段区域货物的判断，实现整个传送带区域多个分段区域的同时判断，同时根据每个区段货物的滞留时间来进行货物堆积的判断，而不是单纯的根据货物堆积图像的识别来进行判断，识别精度更高，本发明方法只需采集整个传送带的图像，不通过布置对个摄像头对整个传送带不同区段的图像进行采集，识别更加精准、高效。

(2)本发明中特征提取模型与传送带的应用场景是不相关的，针对不同的传送带应用场景，只需构建一个特征提取模型，当货物类别发生变化时，不需要重新训练模型，对不同类型的货物具有普适性，因此相比现有技术，大大节约部署成本，不仅减少了人工参与带来的检测误差，同时还节省了人力消耗，检测精度更高。

附图说明

图1为本发明实施例提供的一种识别传送带上货物堆积的方法的流程示意。

图2为本发明实例对目标进行分段处理的示意图。

图3本发明提供的一种识别传送带上货物堆积的装置组成框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了克服现有技术的问题，本发明提供了一种识别传送带上货物堆积的方法，利用图像识别、人工智能等技术实现了传送带上分段区域是否有货物的判断，进而通过计时，判断传送带上是否发生了货物堆积。

下面结合附图对本发明方法进行进一步详细说明；

如图1所示一种识别传送带上货物堆积的方法，具体包括以下步骤：

S1：构建特征提取模型，所述特征提取模型与传送带的应用场景是不相关的；

S2：采集注册特征提取图像集，所述注册特征提取图像集与待检测传送带的应用场景是相关的，所述注册特征提取图像集中所述待检测传送带上没有货物，对所述注册特征提取图像集中每张图像中的目标进行分段处理，所述目标为所述待检测传送带及货物所在区域；

S3：获取注册特征集，将所述分段处理后的所述注册特征提取图像集输入所述特征提取模型，获得所述注册特征集；

S4：实时采集待检测图像，对所述待检测图像中所述目标进行所述分段处理；

S5：获取对比特征，将所述分段处理后的所述待检测图像输入所述特征提取模型，获得所述目标的每个分段区域的所述对比特征；

S6：是否有货物的判断，对所述目标的每个分段区域的所述对比特征与所述注册特征集的相似度进行分析，判断所述目标的每个分段区域是否有货物；

S7：是否有货物堆积的判断，对所述目标的每个分段区域有货物状态的持续时间进行分析，判断所述待检测传送带是否有货物堆积。

步骤S1中获取的特征提取模型用于提取目标的每个分段区域的特征，特征提取模型为卷积神经网络模型或视觉transformer模型。

本实施例中特征提取模型为卷积神经网络模型，构建特征提取模型的具体步骤包括：

第一步：构建一个卷积神经网络；

第二步：构建一个与传送带的应用场景不相关的数据集，构建特征提取模型的数据集为非传送带场景的数据集；

第三步：设定卷积神经网络的学习类型为分类任务，并且设定损失函数为交叉熵损失函数；

第四步：在数据集上采用反向传播的方法训练卷积神经网络，得到特征提取模型。

本实施例中，构建特征提取模型的数据集为非传送带场景的数据集；数据集包括ImageNet数据集或coco数据集。

本发明实例采用resnet18作为步骤S1的特征提取模型的卷积神经网络，采用Imagenet作为训练数据集，设定模型学习的类型为分类任务，并且设定损失函数为交叉熵损失函数；在训练数据集上采用反向传播的方法进行训练，迭代多次直到收敛，即损失函数的值小于指定阈值并且随着迭代次数的增加不再有下降趋势。

S2：采集注册特征提取图像集，注册特征提取图像集与待检测传送带的应用场景是相关的，注册特征提取图像集中待检测传送带上没有货物，对注册特征提取图像集中每张图像中的目标进行分段处理。

注册特征提取图像集用于提取注册特征集，注册特征集用于对待检测传送带区域是否有货物的对比判断，注册特征提取图像集与待检测传送带的应用场景是相关的，注册特征提取图像集中待检测传送带上没有货物，因此需要收集足够多的样本图像集，需采集不同的光照环境的大量样本图像；样本图像中传送带上没有货物，获取注册特征提取图像集后为了实现图像中每个分段区域的特征的提取，需要进一步对图像做分段处理。

分段处理的步骤为：选取目标，并沿待检测传送带运动方向将目标分割为若干个分段区域，获得每个分段区域的图像，根据本实施例传送带识别的需要，本实施例中目标为所述待检测传送带及货物。

在分段处理过程中如果将目标划分为大小不一的区段，每个区段的样本差异较大，需要获得大量的样本图像，如果对目标进行等分，多个分段区域的样本就比较类似，注册少量分段区域的样本即可应用于任一个分段区域，在本实施例中：选取目标，并沿待检测传送带运动方向将目标等分为若干个分段区域，获得每个分段区域的图像。

同时，在分段处理的过程中，用户可根据目标区域的大小对目标区域划分为不同的区段。

如图2所示，本实施例中，用户通过鼠标框选的方式选定图像中目标(待检测传送带及货物所在区域)，并沿待检测传送带运动方向将目标等分为6个分段区域，获得6分段区域的图像，m＝6。

在步骤S2中，确保传送带上未放置货物，在尽可能多的光照条件下，收集传送带图像，获得注册特征提取图像集，并对注册特征提取图像集的每张图像进行分段处理，获得每张图像的6个分段区域的子图像。步骤S3将分段处理后的注册特征提取图像集送入步骤S1构建的特征提取模型中，获取注册特征提取图像集的每张图像的6个分段区域的子图像的特征向量集，构成注册特征集。

完成特征提取模型及注册特征集的构建后，就可以对待检测图像中传送带上是否有货物进行分析判断。

S4：采集待检测图像，对待检测图像中每张图像中目标进行分段处理。

分段处理步骤为：用于选取待检测图像中目标(待检测传送带及货物所在区域)，并沿待检测传送带运动方向将目标(待检测传送带及货物所在区域)分割为若干个分段区域，获得目标的每个分段区域的图像。

本实施例中沿传送带运动方向，将待检测图像中待检测传送带及货物所在区域等分为6个分段区域，获得6分段区域的图像。

S5：获取对比特征，将分段处理后的待检测图像输入特征提取模型，获得目标的每个分段区域的对比特征。

步骤S5将分段处理后的待检测图像送入步骤S1构建的特征提取模型中，获取待检测图像中目标的6个分段区域的子图像的特征向量集，即目标每个分段区域的对比特征。

S6：是否有货物的判断，对目标每个分段区域的对比特征与注册特征集中每一个特征的相似度进行分析，判断目标的每个分段区域是否有货物；

步骤S6中将目标的每个分段区域的对比特征与注册特征集进行对比，判断是每个区段是否存在货物。

具体地，S6的步骤为：

S61：对目标的每个分段区域的对比特征与注册特征集中每一个特征的相似度进行计算。

S62：通过目标的每个分段区域的对比特征与注册特征集中每一个特征的相似度和阈值的关系判断目标的每个分段区域是否有货物。

当分段区域的对比特征与注册特征集中每一个特征的相似度都小于阈值时，判定该分段区域有货物；

当分段区域的对比特征与注册特征集中每一个特征的相似度中存在一个值大于等于阈值时，则判定为该分段区域无货物。

本实施例中，采用余弦距离对检测图像中目标的每个分段区域的对比特征与注册特征集中的每一个特征的相似度进行计算，对比特征与注册特征集中的每一个特征的特征向量为512维度的向量。

步骤S61中，对比特征与注册特征集中每一个特征向量的相似度采用余弦距离进行计算，公式如下：

其中，x代表对比特征，y代表注册特征，i＝0，1，2，…511，x＝(x₀，x₁，x₂，…，x₅₁₁)，y＝(y₀，y₁，y₂，…，y₅₁₁)。

步骤S62，根据目标的每个分段区域的对比特征与注册特征集中每一个特征向量的相似度是否达到阈值，判断检测图像中目标的每个分段区域是否有货物：

当分段区域的对比特征与注册特征集中每一个特征向量的相似度都小于阈值时，判定该区域有货物，否则判定为该区域无货物。

本实施例中，上述阈值由观察统计获得，阈值为目标的分段区域有货物时对比特征与注册特征集的相似度的期望与无货物时对比特征与注册特征集的相似度的期望的平均值，期望的统计由100次以上的观测获取，本实施例中选用600次。

S7：是否有货物堆积的判断，对目标的每个分段区域有货物状态的持续时间进行分析，判断待检测传送带是否有货物堆积。

S7的具体步骤为：

统计目标的每个分段区域的有货物状态的持续时间。

持续时间可以根据目标的分段区域被连续识别为有货物的待检测图像的数量与采集间隔△t计算获得。

本实施例中，目标的分段区域被连续识别为有货物的待检测图像的数量，如本传送带分为6个区段，经统计得到目标的分段区域2有6张待检测图像集被连续识别为有货物，采样间隔为△t，则目标的分段区域2的有货物状态的持续时间为(被连续识别为有货物的图像的数量-1)*△t。

也可以根据图像采集装置实时获取网络时间，例如本实施例子中：目标的分段区域2被检测到有货物时的第一帧对应的时间记为t0，当前时间为t1，中途连续检测到有货物，那么有货物状态的持续时间就是t1-t0；如果中途检测到没有货物，则取消t0，直到下一次检测到有货物，重新初始化t0，t0和t1均由网络时间获取。

当分段区域的有货物状态的持续时间≥1min，则判定该分段区域有货物滞留；

当相邻两个或以上的分段区域存在货物滞留，则判定待检测传送带有货物堆积。

为了精准实现传送带上货物堆积的识别，本实施例对待检测目标进行分段处理，分段建立注册特征集及对比特征，通过特征集中每一个特征与阈值的关系实现传送带每个区段货物的判断，实现整个传送带区域多个分段区域的同时判断，同时根据每个区段货物的滞留时间来进行货物堆积的判断，而不是单纯的根据货物堆积图像的识别来进行判断，识别精度更高，本发明方法只需采集整个传送带的图像，不通过布置对个摄像头对整个传送带不同区段的图像进行采集，识别更加精准、高效。

本实施例的特征提取模型与传送带的应用场景是不相关的，针对不同的传送带应用场景，只需构建一个特征提取模型，当货物类别发生变化时，不需要重新训练模型，对不同类型的货物具有普适性，因此相比现有技术，大大节约部署成本，不仅减少了人工参与带来的检测误差，同时还节省了人力消耗，检测精度更高。

本申请的实施例还提供了一种识别传送带上货物堆积的装置，如图3所示，本装置包括：

特征提取模型构建模块：用于构建特征提取模型，特征提取模型与传送带的应用场景是不相关的；

图像采集模块：用于采集注册特征提取图像集，实时采集待检测图像，注册特征提取图像集与待检测传送带的应用场景是相关的，注册特征提取图像集中待检测传送带上没有货物；

分段处理模块：用于对注册特征提取图像集以及待检测图像中目标的分段处理，目标为待检测传送带及货物所在区域；

分段区域的特征集获取模块：用于将分段处理后的注册特征提取图像集输入特征提取模型，获得注册特征集；

用于将分段处理后的待检测图像输入特征提取模型，获得目标的每个分段区域的对比特征；

是否有货物的判断模块：用于对目标的每个分段区域的对比特征与注册特征集的相似度进行分析，判断目标的每个分段区域是否有货物；

货物堆积判断模块：对目标的每个分段区域有货物状态的持续时间进行分析，判断待检测传送带是否有货物堆积。

本实施中的一种识别传送带上货物堆积的装置，当货物类别发生变化时，不需要重新训练模型，对不同类型的货物具有普适性，因此相比现有技术，大大节约部署成本，实现了自动化识别且成本低廉，大幅降低工作人员工作量，且提高了工作效率。

以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (10)

1.一种识别传送带上货物堆积的方法，其特征在于，所述方法包括以下步骤：

S1：构建特征提取模型，所述特征提取模型与传送带的应用场景是不相关的；

S2：采集注册特征提取图像集，所述注册特征提取图像集与待检测传送带的应用场景是相关的，所述注册特征提取图像集中所述待检测传送带上没有货物，对所述注册特征提取图像集中每张图像中的目标进行分段处理，所述目标为所述待检测传送带及货物所在区域；

S3：获取注册特征集，将所述分段处理后的所述注册特征提取图像集输入所述特征提取模型，获得所述注册特征集；

S4：实时采集待检测图像，对所述待检测图像中的所述目标进行所述分段处理；

S5：获取对比特征，将所述分段处理后的所述待检测图像输入所述特征提取模型，获得所述目标的每个分段区域的所述对比特征；

S6：是否有货物的判断，对所述目标的每个分段区域的所述对比特征与所述注册特征集的相似度进行分析，判断所述目标的每个分段区域是否有货物；

S7：是否有货物堆积的判断，对所述目标的每个分段区域有货物状态的持续时间进行分析，判断所述待检测传送带是否有货物堆积。

2.根据权利要求1所述的一种识别传送带上货物堆积的方法，其特征在于，所述特征提取模型为卷积神经网络模型或视觉transformer模型。

3.根据权利要求2所述的一种识别传送带上货物堆积的方法，其特征在于，所述特征提取模型为卷积神经网络模型，构建所述特征提取模型的具体步骤包括：

第一步：构建一个卷积神经网络；

第二步：构建一个与传送带的应用场景不相关的数据集；

第三步：设定所述卷积神经网络的学习类型为分类任务，并且设定损失函数为交叉熵损失函数；

第四步：在所述数据集上采用反向传播的方法训练所述卷积神经网络，得到所述特征提取模型。

4.根据权利要求3所述的一种识别传送带上货物堆积的方法，其特征在于，所述数据集包括ImageNet数据集或coco数据集。

5.根据权利要求1所述的一种识别传送带上货物堆积的方法，其特征在于，所述分段处理的步骤为：选取所述目标，并沿所述待检测传送带的运动方向将所述目标等分为若干个分段区域，获得所述目标的每个分段区域的图像。

6.根据权利要求1所述的一种识别传送带上货物堆积的方法，其特征在于，所述S6的步骤为：

S61：对所述目标的每个分段区域的所述对比特征与所述注册特征集中每一个特征的相似度进行计算；

S62：通过所述目标的每个分段区域的所述对比特征与所述注册特征集中每一个特征的相似度和阈值的关系判断所述目标的每个分段区域是否有货物；

当分段区域的所述对比特征与所述注册特征集中每一个特征的相似度都小于阈值时，判定该分段区域有货物；

当分段区域的所述对比特征与所述注册特征集中每一个特征的相似度中存在一个值大于等于阈值时，则判定为该分段区域无货物。

7.根据权利要求6所述的一种识别传送带上货物堆积的方法，其特征在于，采用余弦距离对所述对比特征与所述注册特征集中每一个特征的相似度进行计算。

8.根据权利要求6所述的一种识别传送带上货物堆积的方法，其特征在于，所述阈值由观察统计获得，所述阈值为所述目标的分段区域有货物时所述对比特征与所述注册特征集的相似度的期望与无货物时所述对比特征与所述注册特征集的相似度的期望的平均值。

9.根据权利要求1所述的一种识别传送带上货物堆积的方法，其特征在于，所述S7的步骤为：

统计所述目标的每个分段区域的有货物状态的持续时间；

当分段区域的所述持续时间≥1min，则判定该分段区域有货物滞留；

当相邻两个或以上的分段区域存在所述货物滞留，则判定所述待检测传送带有货物堆积。

10.一种识别传送带上货物堆积的装置，其特征在于，包括：

特征提取模型构建模块：用于构建特征提取模型，所述特征提取模型与传送带的应用场景是不相关的；

图像采集模块：用于采集注册特征提取图像集，实时采集待检测图像，所述注册特征提取图像集与待检测传送带的应用场景是相关的，所述注册特征提取图像集中所述待检测传送带上没有货物；

分段处理模块：用于对所述注册特征提取图像集以及所述待检测图像中的目标的分段处理，所述目标为所述待检测传送带及货物所在区域；

分段区域的特征集获取模块：用于将所述分段处理后的所述注册特征提取图像集输入所述特征提取模型，获得所述注册特征集；

用于将所述分段处理后的所述待检测图像输入所述特征提取模型，获得所述目标的每个分段区域的所述对比特征；

是否有货物的判断模块：用于对所述目标的每个分段区域的所述对比特征与所述注册特征集的相似度进行分析，判断所述目标的每个分段区域是否有货物；

货物堆积判断模块：对所述目标的每个分段区域有货物状态的持续时间进行分析，判断所述待检测传送带是否有货物堆积。

Images