CN116402841B - 基于机器视觉的跨动物流偏移检测方法及相关装置 - Google Patents

Abstract

本申请涉及一种基于机器视觉的跨动物流偏移检测方法及相关装置，该方法可包括：获取传送带环境图像，并对传送带环境图像进行边缘提取，得到若干边缘线，每条边缘线对应一个像素域；基于像素域内各像素点的灰度值和位置分布计算各边缘线的直线偏折度，基于直线偏折度确定边缘直线；基于边缘直线的直线偏折度计算一组边缘直线的传送带形态显著性，其中，一组边缘直线包括两条边缘直线；基于传送带形态显著性计算两条边缘直线的传送带工作状态显著性；基于传送带工作状态显著性最大的两组像素域计算直线检测阈值，使用直线检测阈值对传送带进行霍夫直线偏移检测。采用该方法，可实现对不同物流环境的传送带偏移检测。

Description

基于机器视觉的跨动物流偏移检测方法及相关装置

技术领域

本申请涉及物流管理领域，特别是涉及一种基于机器视觉的跨动物流偏移检测方法及相关装置。

背景技术

在物流领域，传送带是经常使用的、成本最低的设备。但是，传送带运输物品的过程中，可能因为多种原因导致传送带出现偏移。例如，传动轮损坏等设备故障、运输的货物堆积导致传送带承载能力不足、传送带使用时间过长导致传送带松弛或者变形等原因，均可能导致传送带偏移，使得传送带不再是一条笔直的直线。

当传送带出现偏移时，由于传动带不再是直线，而运输的物品沿着传送带向前移动，因而可能会导致运输的物品在传送带上摩擦、碰撞，从而造成物品损坏，或者导致物品掉落、堆积，从而造成安全事故。同时，也可能导致传送带设备损坏，降低生产效率、增加维修成本。因此，在物流过程中，需要对传送带是否出现偏移进行及时的检测和处理，以避免上述情况发生。

目前对物流运输过程中的传送带偏移问题进行视觉检测且效果较好的方法为基于霍夫变换的方法。对传送带边缘进行霍夫直线检测，得到传送带的直线信息，然后通过比较物体的位置和传送带的直线位置，判断物体是否发生偏移。但运输的货物的纸箱包装的边缘和其他干扰因素中存在大量直线易于传送带的直线边缘混淆，且霍夫直线检测的效果受到检测过程中设置的用于剔除虚假或无意义线段的阈值影响较大，当传送带监测位置不同、运输物体改变或者运输环境发生改变时，均需要重新进行多次调试以确定该阈值，导致需要反复校准调试，浪费大量人力、时间。

发明内容

基于此，有必要针对现有的物流运输系统的偏移检测方法，在传送带监测位置不同、运输物体改变或者运输环境发生改变时，均需要重新进行多次调试以重新确定阈值的问题，提供一种基于机器视觉的跨动物流偏移检测方法及相关装置。

本申请第一方面提供一种基于机器视觉的跨动物流偏移检测方法，应用于偏移检测装置，包括：

获取传送带环境图像，并对传送带环境图像进行边缘提取，得到若干边缘线，每条边缘线对应一个像素域；

基于像素域内各像素点的灰度值和位置分布计算各边缘线的直线偏折度，基于直线偏折度确定边缘直线；

基于边缘直线的直线偏折度计算一组边缘直线的传送带形态显著性，其中，一组边缘直线包括两条边缘直线；

基于传送带形态显著性计算两条边缘直线的传送带工作状态显著性；

基于传送带工作状态显著性最大的两组像素域计算直线检测阈值，使用直线检测阈值对传送带进行霍夫直线偏移检测。

在其中一个实施例中，所述对传送带环境图像进行边缘提取，得到若干边缘线的步骤，具体包括：

将传送带环境图像转换为灰度图像，得到传送带灰度图像；

对传送带灰度图像进行中值滤波去噪后，进行边缘检测，得到边缘图像；

对边缘图像进行闭运算操作，得到修正后的边缘图像，修正后的边缘图像中，将相邻的、出现轻微断裂的两个未连接的边缘线连接起来，得到新的边缘线。

在其中一个实施例中，所述基于像素域内各像素点的灰度值和位置分布计算各边缘线的直线偏折度的步骤，具体包括：

计算像素域内各像素点的梯度差值；

将像素域内的所有像素点，基于像素点的位置分布，使用最小二乘法进行直线拟合，得到像素域内的所有像素点与直线拟合的拟合优度值；

基于梯度差值和拟合优度值计算像素域对应的边缘线的直线偏折度。

在其中一个实施例中，所述计算像素域内各像素点的梯度差值的步骤，具体为：

基于各像素点的灰度值计算各像素点的梯度值；

分别计算像素点和该像素点的八邻域内、且位于像素域内的相邻像素点的梯度值的差值，并将差值取绝对值，将这些绝对值的最大值作为该像素点的梯度差值。

在其中一个实施例中，所述基于边缘直线的直线偏折度计算一组边缘直线的传送带形态显著性的步骤，具体包括：

基于两条边缘直线的直线偏折度和边缘直线的拟合直线倾斜角计算边缘方向偏折度；

基于其中一条边缘直线对应的像素域内的像素点到另一边缘直线的像素域的边缘距离计算边缘距离扰乱度；

基于边缘方向偏折度和边缘距离扰乱度计算传送带形态显著性。

在其中一个实施例中，所述基于传送带形态显著性计算两条边缘直线的传送带工作状态显著性的步骤，具体包括：

基于计算传送带形态状态显著性筛选出若干组目标边缘直线；

基于一组目标边缘直线内的两条边缘直线确定一最小封闭区域，定义为第一区域，第一区域内的目标边缘直线确定的、位于第一区域内的最小封闭区域定义为第二区域；

确定各第二区域的中心，并确定各第二区域的中心与其他第二区域的中心的最小距离；

基于各第二区域中心与其他第二区域中心的最小距离和各第二区域中心到目标边缘直线的两个像素域的边缘距离，结合第一区域内各像素点的灰度值，计算两条边缘直线的传送带工作状态显著性。

在其中一个实施例中，所述基于传送带工作状态显著性最大的两组像素域计算直线检测阈值的步骤，具体包括：

确定传送带工作状态显著性的最大值和第二大值分别对应的两组像素域；

对两组像素域内包含的像素点分别使用最小二乘法进行直线拟合，分别确定两组像素域中落在拟合直线上的像素点平均个数；

基于组像素域中落在拟合直线上的像素点平均个数计算直线检测阈值。

根据本申请实施例的基于机器视觉的跨动物流偏移检测方法，能够通过捕捉的传送带环境图像，自动的计算确定直线检测阈值，从而，在送带监测位置不同、运输物体改变或者运输环境发生改变时，偏移检测装置能够自动的调整直线检测阈值，减少了环境更换是的人工调试环节，增强了偏移检测方法的通用性。

本申请第二方面提供一种传送带偏移检测装置，包括图像分析部件、边缘直线筛选部件、第一计算部件、第二计算部件、阈值计算部件和检测部件，其中

所述图像分析部件，用于获取传送带环境图像，并对传送带环境图像进行边缘提取，得到若干边缘线，每条边缘线对应一个像素域；

所述边缘直线筛选部件，用于基于像素域内各像素点的灰度值和位置分布计算各边缘线的直线偏折度，基于直线偏折度确定边缘直线；

所述第一计算部件，基于边缘直线的直线偏折度计算一组边缘直线的传送带形态显著性；

所述第二计算部件，用于基于传送带形态显著性计算两条边缘直线的传送带工作状态显著性；

所述阈值计算部件，用于基于传送带工作状态显著性最大的两组像素域计算直线检测阈值；

所述检测部件，用于使用直线检测阈值对传送带进行霍夫直线偏移检测。

本申请第三方面提供一种计算机设备，包括：处理器；存储器，用于存储所述处理器的可执行指令；其特征在于，所述处理器被配置为经由执行所述可执行指令来执行上述任一项所述的方法的步骤。

本申请第四方面提供一种机器可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在由处理器执行时实现上述任一所述方法的步骤。

附图说明

图1为本申请一实施例的基于机器视觉的跨动物流偏移检测方法的流程示意图；

图2为本申请一实施例的基于机器视觉的跨动物流偏移检测方法的计算传送带形态显著性的流程示意图；

图3为本申请一实施例的传送带偏移检测装置的框架结构示意图；

图4为本申请一实施例的传送带偏移检测装置的图像分析部件的框架结构示意图；

图5为本申请一实施例的传送带偏移检测装置的边缘直线筛选部件的框架结构示意图；

图6为本申请一实施例的传送带偏移检测装置的第一计算部件的框架结构示意图；

图7为本申请一实施例的传送带偏移检测装置的第二计算部件的框架结构示意图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

关于物流运输系统

物流运输系统的核心设备为传送带，在传送带的起始端，可以配置一个上料机构，以将待运输物品放置到传送带上。例如，在工业生产环境下，通常由机械臂来完成，以使得带运输物品能够等间距的排布于传送带上，以方便下游工序的操作节奏，使得下游工序完成一个待运输物品的处理花费的时间大致相同。在传送带的顶部，通常于传送带的正上方，配置有高精度相机，例如，包装的物流环境通常配置工业相机，工业相机连接到一个上位机，上位机内置有传送带偏移算法，上位机通过指示工业相机获取传送带图片，来分析传送带是否发生了偏移。

请参阅图1，示例性的示出了本申请一实施例的基于机器视觉的跨动物流偏移检测方法的流程示意图，根据本申请实施例的基于机器视觉的跨动物流偏移检测方法由偏移检测装置执行，用于监测传送带在工作过程中是否产生的偏移，从而避免安全事故或者生产事故的发生。其中，该偏移检测系统可以是物流运输系统/上位机内用于检测传送带偏移的自系统/子功能，也可以是控制偏移检测装置的芯片，因此，在下文中，当提到偏移检测装置时进行的操作也可以理解为控制该偏移检测装置的芯片进行的操作。

如图1所示的基于机器视觉的跨动物流偏移检测方法可以包括步骤S102~S110，以下对这些步骤进行详细的介绍。

S102：获取传送带环境图像，并对传送带环境图像进行边缘提取，得到若干边缘线，每条边缘线对应一个像素域。

物流运输系统在工作时，可以通过偏移检测装置实时监测传送带是否发生了偏移，即偏移检测装置可以实时处于工作状态。当然，传送带作为一种应用历史悠久的工业设备，具有良好的稳定性，出现故障的概率较小，因此，偏移检测装置也可以按照预定的时间间隔运行根据本申请实施例的基于机器视觉的跨动物流偏移检测方法，例如，每2min、5min、10min运行一次，即偏移检测装置可以按照预设的时间间隔运行。需要说明的是，物流在传送带上运输的时候有跨动的动作，也可以说是从位置1处传输到位置2处的动作为物流的跨动，跨动物流也可以通俗的理解为是传输物流，具体即为在传送带上传输物流的动作。由于物流在传送带上会产生摩擦或碰撞，进而会导致传送带可能出现偏移的情况，故本发明是在物流进行传输的过程中，实现对传送带的偏移检测，也即为跨动物流时的偏移检测。

在运行根据本申请实施例的基于机器视觉的跨动物流偏移检测方法时，偏移检测装置首先通过工业相机获取传送带环境图像。例如借助前述物流运输系统的设置于传送点正上方的工业相机。传送带环境图像为捕捉到传动带的RGB图像，以供偏移检测装置进行图像分析。

在获取到传送带环境图像后，在进行边缘提取时，首先对传送带环境图像进行图像转换，将传送带环境图像转换为灰度图像，得到传送带灰度图像。然后，对传送带灰度图像进行中值滤波去噪后，进行边缘检测，得到边缘图像。在图像分析过程中，对图像进行中值滤波去噪为图像处理领域的公知技术，在此不予赘述。边缘检测算法可以采用现有的边缘检测算法，例如canny边缘检测。经此处理后得到的边缘图像为二值图像。

边缘图像包括了若干边缘线。传送带在工作过程中，除了传送带的边缘为直线，传送带上运输的包装箱边缘也具有完整的形状，因而，边缘图像至少包括传送带的边缘线以及包装箱的边缘线。

在实际检测过程中，传送带边缘可能出现破损、缺口，以及，从相机的视角看向传送带，可能恰好有遮挡物位于图像边缘，从而使得传送带边缘在传送带环境图像上看起来存在“缺口”，但实际上，传送带上存在缺口，并不影响传送带的平稳运行。在一个或多个实施例中，在得到边缘图像后，可以对边缘图像进行闭运算操作，得到修正后的边缘图像。修正后的边缘图像中，将相邻的、出现轻微断裂的两个未连接的边缘线连接起来，得到新的边缘线，以保证修正后的边缘图像中边缘线的完整性和连通性。

无论是边缘图像还是修正后的边缘图像，均是基于相机捕捉的RGB图像处理得到，因此，边缘图像/修正后的边缘图像均是由若干像素点构成的图像。对于一条能够明显在图像上查看的边缘线，在RGB图像的宽度方向和高度方向上均覆盖了多个像素点（单行/单列的像素点在图像上基本很难被肉眼捕捉查看到），因此，可以基于边缘线覆盖的像素点簇确定一个像素域，每条边缘线分别对应一个不同的像素域。

S104：基于像素域内各像素点的灰度值和位置分布计算各边缘线的直线偏折度，基于直线偏折度确定边缘直线。

在确定边缘线对应的像素域后，可以对边缘线的像素域进行分析，以分析一个像素域对应的边缘线的直线偏折度，直线偏折度用于指示边缘线是否为直线。

根据本申请的实施例，首先计算像素域内各像素点的梯度差值，然后再将像素域内的所有像素点，基于像素点的位置分布，使用最小二乘法进行直线拟合，得到像素域内的所有像素点与直线拟合的拟合优度值。拟合优度值用于衡量一个像素域内各像素点的位置分布与直线的拟合程度，拟合程度越大，拟合优度值越大。得到梯度差值和拟合优度值后，基于梯度差值和拟合优度值计算像素域对应的边缘线的直线偏折度。直线拟合为数学领域较为常用的方法，在此不进行赘述。

像素域是边缘图像/修正后的边缘图像上的像素域，而边缘图像/修正后的边缘图像为灰度图像，因而可以直接获取像素域内各像素点的灰度值。一个像素点的梯度差值由该像素点和该像素点的八邻域内、且位于像素域内的相邻像素点的灰度值计算得到。具体来说，首先基于各像素点的灰度值计算各像素点的梯度值，然后分别计算像素点和该像素点的八邻域内、且位于像素域内的相邻像素点的梯度值的差值，并将差值取绝对值，将这些绝对值的最大值作为该像素点的梯度差值。

在进行直线拟合时，可以为整个边缘图像建立一个二维参考系，每个像素点具有一个对应的坐标值，坐标值体现了像素点的位置分布，然后使用最小二乘法进行直线拟合，得到拟合优度值。

在具体地实施例中，基于梯度差值和拟合优度值计算像素域对应的边缘线的直线偏折度的公式如下：

式中，为像素域/>对应的边缘直线偏折度；/>为像素域/>内各像素点对应的梯度差值，其中/>；/>为这些梯度差值的均值；/>为像素域/>内包含的像素点的个数；/>为该像素域与直线进行拟合得到的拟合优度值。

分别计算每条边缘线的直线偏折度，得到多个直线偏折度。当像素域内各像素点的梯度越一致、各像素点之间的位置分布关系越趋向于直线分布时，则该像素域对应的边缘线的直线偏折度越小，边缘线越可能为直线。

当像素域对应的边缘直线偏折度小于等于预设值时，则认为该像素域对应的边缘线为疑似直线，即图像中可能为传送带边缘的形状为直线的边缘。根据本申请的实施例，预设值/>的经验值为0.04，将直线偏折度小于等于0.04的边缘线筛选出来，定义为边缘直线。

S106：基于边缘直线的直线偏折度计算一组边缘直线的传送带形态显著性，其中，一组边缘直线包括两条边缘直线。

在确定边缘线对应的像素域后，还可以对两条边缘线对应的像素域进行分析。具体在本申请实施例中，对所有边缘直线对应的像素域进行两两分析，来确定一组边缘直线内的两条边缘直线是否为传送带的边缘，并用传送带形态显著性来指示两个边缘直线为传送带边缘的可能性。

当图像中的传送带边缘无遮挡和扭曲时，传送带的边缘保持较为笔直的状态。体现在图像上，即为两条边缘直线保持相互平行，直线偏折度均较小，且倾斜角差异较小。反之，两条边缘直线的倾斜角差异较小，说明两条边缘直线接近平行，则可能是传送带的边缘。

请参阅图2，在一个或多个实施例中，基于边缘直线的直线偏折度计算一组边缘直线的传送带形态显著性，具体包括：

S162：基于两条边缘直线的直线偏折度和边缘直线的拟合直线倾斜角计算边缘方向偏折度；

在步骤S104中，根据边缘线的像素域内像素点的位置分布，对边缘线进行直线拟合时，计算拟合优度值时，可以一并计算得到边缘线的拟合直线的倾斜角。拟合直线的倾斜角即相对预设方向的夹角，例如相对图像的宽度方向的夹角。由此，在计算出各边缘线的直线偏折度，从中筛选出边缘直线后，可以基于边缘直线的直线偏折度和拟合直线倾斜角计算两条边缘直线的边缘方向偏折度。

在一个或多个实施例中，基于边缘直线的直线偏折度和拟合直线倾斜角计算两条边缘直线的边缘方向偏折度的公式如下：

式中，为像素域/>与像素域/>之间的传送带边缘方向偏折度；/>分别为像素域/>与像素域/>对应的边缘直线偏折度；/>分别为像素域/>与像素域/>对应的拟合直线的倾斜角；/>为常数系数。根据本申请的实施例，/>的经验值为0.01。

边缘方向偏折度衡量了两个像素域对应的边缘直线出现偏折的程度和方向的差异程度。差异程度越小，两个像素域对应的边缘方向偏折度越小，这两个像素域越可能对应传送带两侧的边缘。

S164：基于其中一条边缘直线对应的像素域内的像素点到另一边缘直线的像素域的边缘距离计算边缘距离扰乱度；

对于两个平行的直线，根据数学规律，两条平行直线中，其中一条直线上的任意多个点，到另一直线的距离相等。体现在图像分析上，即其中一条边缘直线对应的像素域内的像素点，到另一边缘直线的像素域的边缘距离相等。然而，如前所述，在以像素点为单位分析时，由于一条直线在直线的宽度方向上就具有多个像素点，这多个像素点到另一边缘直线的像素域的边缘距离必然是有差异的，因而，仅仅凭借像素点到另一边缘直线的像素域的边缘距离，难以判断两条边缘直线是否平行。而需要综合考虑所有像素点到另一边缘直线的像素域的边缘距离，计算边缘距离扰乱度，以此判断两条边缘直线是否平行或接近平行。

根据本申请的实施例，基于其中一条边缘直线对应的像素域内的像素点到另一边缘直线的像素域的边缘距离计算边缘距离扰乱度的公式如下：

式中，为像素域/>与像素域/>对应的两条边缘直线的边缘距离扰乱度，/>为像素域/>内各像素点到另一像素域/>的边缘距离，其中，/>，/>为所有像素点对应的边缘距离的均值；/>为像素域/>内包含的像素点的个数。

可以理解，也可以表示像素域/>内各像素点到另一像素域/>的边缘距离，对应的，此时，/>为像素域/>内包含的像素点的个数。

传送带边缘距离扰乱度衡量了两个像素域对应的边缘不同位置间距离的一致性，当一致性越大时，传送带边缘距离扰乱度越小，这两个像素域越可能对应传送带两侧的边缘。

S166：基于边缘方向偏折度和边缘距离扰乱度计算传送带形态显著性。

根据本申请的实施例，基于指数函数来计算传送带形态显著性，具体地，基于边缘方向偏折度和边缘距离扰乱度计算传送带形态显著性的公式如下：

传送带形态显著性衡量了两个像素域对应传送带边缘的形态特征的显著性，当边缘方向偏折度、边缘距离扰乱度越小，传送带形态显著性越大，这两个像素域对应的边缘直线越可能对应传送带两侧的边缘。

通过两两计算边缘直线之间的传送带形态显著性，可以判断出所有的相互平行度的边缘直线。但是，当运输的货物为纸箱包装时，纸箱的外边缘也具有同样的形态特征，所以易于混淆，需要进一步对各像素域进行筛选。

S108：基于传送带形态显著性计算一组边缘直线的传送带工作状态显著性；

在步骤S106中，对边缘直线到对应的像素域进行了两两分析，最终得到一组边缘直线的两条边缘直线的传送带形态显著性。因此，从本步骤开始，只需要对边缘直线按组分析，无需再次两两组合分析。

在计算传送带工作状态显著性之前，可以先根据传送带形态显著性从多组边缘直线中筛选得到若干组目标边缘直线，然后计算目标边缘直线的传送带工作状态显著性。

具体来说，当两条边缘直线的传送带形态显著性小于预设值时，即可认为两条边缘直线相互平行。此时，一般仅有传送带的边缘和运输物体的包装纸箱边缘符合要求，因此，只需要区分传送带的边缘和运输物体的包装纸箱边缘即可。

上述关系体现在边缘图像上，即包装纸箱的边缘直线位于传送带的边缘直线内。结合边缘图像上的边缘线，一组目标边缘直线内的两条边缘直线确定一最小封闭区域，定义为第一区域。如果第一区域内存在目标边缘直线，第一区域内的目标边缘直线确定的、位于第一区域内的最小封闭区域定义为第二区域。

在一些实施例中，如果第一区域内存在第二区域，则将第一区域内的第二区域的边缘线筛除，并在筛除后，重新更新第一区域所覆盖的区域。这样，由于包装纸箱的边缘直线对应的是第二区域，在筛除过程中会被筛除，从而得到目标边缘直线大概率为传送带的边缘直线。

在另一些实施例中，可以通过位于第一区域的灰度值来确定传送带边缘对应的直线。传送带一般为较深的黑色，而包装纸箱包装一般为较为明亮的棕黄色，颜色有明显区别。获取两个像素域对应的第一区域内各像素点对应的灰度值的均值。当这两个像素域对应传送带边缘时，则其对应的第一区域内像素点的灰度值均值较小。由此区分传送带的边缘直线和包装纸箱的边缘直线，进而提出包装直线的边缘直线，余下的即为目标边缘直线。

筛选得到目标边缘直线后，在计算筛选后的计算各组目标边缘直线的传送带工作状态显著性。

具体来说，在对物流运送过程中的传送带进行监测时，传送带为正在传送货物的工作状态，所以，传送带表面的包装纸箱一般有多个，且为了保证货物传送的稳定性，传送带表面的包装纸箱之间的间隔较为一致，纺织在靠近传送带的中间位置。

基于此，可以确定各第二区域的中心，并确定第二区域的中心与其他第二区域的中心的最小距离，每个第二区域的中心均对应一个最小距离，然后基于各第二区域中心与其他第二区域中心的最小距离和各第二区域中心到目标边缘直线的两个像素域的边缘距离，结合第一区域内各像素点的灰度值，来计算筛选出的传送带的边缘直线的传送带工作状态显著性。

具体来说，在计算得到多个第二区域的中心对应的最小距离后，计算出多个最小距离的标准差。然后再计算出各第二区域的中心到两条边缘直线对应的像素域的边缘距离，并取最小值。再计算出两条边缘直线内各像素点到另一像素域的边缘距离的均值。最后基于各第二区域的中心到两条边缘直线对应的像素域的边缘距离的最小值、两条边缘直线内各像素点到另一像素域的边缘距离的均值、以及多个第二区域的中心对应的最小距离标准差和第一区域内各像素点的灰度值均值，计算得到两条边缘直线的传送带工作状态显著性。

在具体地实施例中，传送带工作状态显著性的计算公式为：

式中，为像素域/>与像素域/>对应的两条边缘直线的传送带工作状态显著性；为两条边缘直线的的传送带形态显著性；/>为第一区域内第/>个第二区域分别像素域/>和像素域/>内各像素点的最小距离，其中，/>, />为第一区域内第二区域的数量；/>为像素域/>或/>内各像素点到另一像素域的边缘距离的均值；/>为第一区域内各像素点的灰度值均值；/>为多个第二区域的中心对应的最小距离的标准差。

S110：基于传送带工作状态显著性最大的两组像素域计算直线检测阈值，使用直线检测阈值对传送带进行霍夫直线偏移检测。

将筛选出的各像素域之间的传送带工作状态显著性从大到小进行排序，获取最大值和第二大值分别对应的两组像素域（一组像素域对应两个像素域），这两个值对应的两组像素域即为传送带边缘和图像中最容易被误判为传送带边缘的边缘。

对筛选出的这四个像素域内包含的像素点分别使用最小二乘法进行直线拟合，分别确定两组像素域中落在拟合直线上的像素点平均个数。基于组像素域中落在拟合直线上的像素点平均个数计算直线检测阈值。

例如，取传送带工作状态显著性的最大值对应的两个像素域中，落在拟合直线上的像素点个数的平均值为，取第二大值对应的两个像素域中，落在拟合直线上的像素点个数的平均值为/>，则直线检测阈值的计算公式为：

在确定直线检测阈值后，就可以直接利用霍夫直线偏移检测算法，进行传送带的偏移检测，以确定传送带是否产生了偏移。霍夫直线偏移检测算法为现有技术，在此不再赘述。

根据本申请实施例的基于机器视觉的跨动物流偏移检测方法，能够通过捕捉的传送带环境图像，自动的计算确定直线检测阈值，从而，在送带监测位置不同、运输物体改变或者运输环境发生改变时，偏移检测装置能够自动的调整直线检测阈值，减少了环境更换是的人工调试环节，增强了偏移检测方法的通用性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

本申请还提供一种传送带偏移检测装置，请参阅图3，传送带偏移检测装置10包括图像分析部件110、边缘直线筛选部件120、第一计算部件130、第二计算部件140、阈值计算部件150以及检测部件160。其中，

图像分析部件110，用于获取传送带环境图像，并对传送带环境图像进行边缘提取，得到若干边缘线，每条边缘线对应一个像素域；

边缘直线筛选部件120，用于基于像素域内各像素点的灰度值和位置分布计算各边缘线的直线偏折度，基于直线偏折度确定边缘直线；

第一计算部件130，基于边缘直线的直线偏折度计算一组边缘直线的传送带形态显著性，其中，一组边缘直线包括两条边缘直线；

第二计算部件140，用于基于传送带形态显著性计算两条边缘直线的传送带工作状态显著性；

阈值计算部件150，用于基于传送带工作状态显著性最大的两组像素域计算直线检测阈值；

检测部件160，用于使用直线检测阈值对传送带进行霍夫直线偏移检测。

请参阅图4，在一些实施例中，所述图像分析部件110包括图像转换组件112、边缘检测组件114和修正组件116，其中

所述图像转换组件112，用于将传送带环境图像转换为灰度图像，得到传送带灰度图像；

所述边缘检测组件114，用于对传送带灰度图像进行中值滤波去噪后，进行边缘检测，得到边缘图像；

所述修正组件116，用于对边缘图像进行闭运算操作，得到修正后的边缘图像，修正后的边缘图像中，将相邻的、出现轻微断裂的两个未连接的边缘线连接起来，得到新的边缘线。

请参阅图5，在一些实施例中，所述边缘直线筛选部件120包括梯度差值计算组件122、直线拟合组件124以及直线偏折度计算组件126，其中

所述梯度差值计算组件122，用于计算像素域内各像素点的梯度差值；

所述直线拟合组件124，用于将像素域内的所有像素点，基于像素点的位置分布，使用最小二乘法进行直线拟合，得到像素域内的所有像素点与直线拟合的拟合优度值；

所述直线偏折度计算组件126，用于基于梯度差值和拟合优度值计算像素域对应的边缘线的直线偏折度。

在具体地实施例中，所述梯度差值计算组件122具体用于：基于各像素点的灰度值计算各像素点的梯度值；以及分别计算像素点和该像素点的八邻域内、且位于像素域内的相邻像素点的梯度值的差值，并将差值取绝对值，将这些绝对值的最大值作为该像素点的梯度差值。

请参阅图6，在一个或多个实施例中，所述第一计算部件130包括边缘方向偏折度计算组件132、边缘距离扰乱度计算组件134和形态显著性计算组件136，其中

所述边缘方向偏折度计算组件132，用于基于两条边缘直线的直线偏折度和边缘直线的拟合直线倾斜角计算边缘方向偏折度；

所述边缘距离扰乱度计算组件134，用于基于其中一条边缘直线对应的像素域内的像素点到另一边缘直线的像素域的边缘距离计算边缘距离扰乱度；

所述形态显著性计算组件136，用于基于边缘方向偏折度和边缘距离扰乱度计算传送带形态显著性。

请参阅图7，在一个或多个实施例中，所述第二计算部件140包括筛选组件142、区域分割组件144、第一测算组件146和第二测算组件148和显著性计算组件149，其中

所述筛选组件142，用于基于计算传送带形态状态显著性筛选出若干组目标边缘直线；

所述区域分割组件144，用于基于一组目标边缘直线内的两条边缘直线确定一最小封闭区域，定义为第一区域，第一区域内的目标边缘直线确定的、位于第一区域内的最小封闭区域定义为第二区域；

所述第一测算组件146，用于确定各第二区域的中心，并确定一个第二区域的中心与其他第二区域的中心的最小距离；

所述第二测算组件148，用于计算各第二区域中心对应的最小距离和中心到传送带的边缘直线的两个像素域的边缘距离；

所述显著性计算组件149，用于结合第一区域内各像素点的灰度值，计算两条边缘直线的传送带工作状态显著性。

在一个或多个实施例中，所述阈值计算部件150具体用于对两组像素域内包含的像素点分别使用最小二乘法进行直线拟合，分别确定两组像素域中落在拟合直线上的像素点平均个数；然后再基于组像素域中落在拟合直线上的像素点平均个数计算直线检测阈值。

所述检测部件160再使用直线检测阈值对传送带进行霍夫直线偏移检测。

本申请一实施例还提供一种机器可读存储介质，其上存储有计算机程序，其中所述计算机程序在由处理器执行时实现上述任一实施例所述的方法。

所述系统/计算机装置集成的部件/模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施方式方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施方式的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本申请还提供一种计算机设备，包括：处理器；存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行上述任一实施例所述的方法。

在本申请所提供的几个具体实施方式中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施方式仅仅是示意性的，例如，所述部件的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

另外，在本申请各个实施例中的各功能模块/部件可以集成在相同处理模块/部件中，也可以是各个模块/部件单独物理存在，也可以两个或两个以上模块/部件集成在相同模块/部件中。上述集成的模块/部件既可以采用硬件的形式实现，也可以采用硬件加软件功能模块/部件的形式实现。

对于本领域技术人员而言，显然本申请实施例不限于上述示范性实施例的细节，而且在不背离本申请实施例的精神或基本特征的情况下，能够以其他的具体形式实现本申请实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于机器视觉的跨动物流偏移检测方法，其特征在于，应用于偏移检测装置，包括：

获取传送带环境图像，并对传送带环境图像进行边缘提取，得到若干边缘线，每条边缘线对应一个像素域；

基于像素域内各像素点的灰度值和位置分布计算各边缘线的直线偏折度，基于直线偏折度确定边缘直线；

基于边缘直线的直线偏折度计算一组边缘直线的传送带形态显著性，其中，一组边缘直线包括两条边缘直线；

基于传送带形态显著性计算两条边缘直线的传送带工作状态显著性；

基于传送带工作状态显著性最大的两组像素域计算直线检测阈值，使用直线检测阈值对传送带进行霍夫直线偏移检测；

其中，基于像素域内各像素点的灰度值和位置分布计算各边缘线的直线偏折度的步骤为：计算像素域内各像素点的梯度差值；将像素域内的所有像素点，基于像素点的位置分布，使用最小二乘法进行直线拟合，得到像素域内的所有像素点与直线拟合的拟合优度值；基于梯度差值和拟合优度值计算像素域对应的边缘线的直线偏折度；

其中，基于梯度差值和拟合优度值计算像素域对应的边缘线的直线偏折度的公式如下：

式中，为像素域/>对应的边缘直线偏折度；/>为像素域/>内各像素点对应的梯度差值，其中/>；/>为这些梯度差值的均值；/>为像素域/>内包含的像素点的个数；/>为该像素域与直线进行拟合得到的拟合优度值；

其中，基于边缘直线的直线偏折度计算一组边缘直线的传送带形态显著性的步骤为：基于两条边缘直线的直线偏折度和边缘直线的拟合直线倾斜角计算边缘方向偏折度；基于其中一条边缘直线对应的像素域内的像素点到另一边缘直线的像素域的边缘距离计算边缘距离扰乱度；基于边缘方向偏折度和边缘距离扰乱度计算传送带形态显著性；

其中，基于边缘直线的直线偏折度和拟合直线倾斜角计算两条边缘直线的边缘方向偏折度的公式如下：

式中，为像素域/>与像素域/>之间的传送带边缘方向偏折度；/>分别为像素域/>与像素域/>对应的边缘直线偏折度；/>分别为像素域/>与像素域/>对应的拟合直线的倾斜角；/>为常数系数；

其中，基于其中一条边缘直线对应的像素域内的像素点到另一边缘直线的像素域的边缘距离计算边缘距离扰乱度的公式如下：

式中，为像素域/>与像素域/>对应的两条边缘直线的边缘距离扰乱度，/>为像素域/>内各像素点到另一像素域/>的边缘距离，其中，/>，/>为所有像素点对应的边缘距离的均值；/>为像素域/>内包含的像素点的个数；

其中，基于传送带形态显著性计算两条边缘直线的传送带工作状态显著性的步骤为：基于计算传送带形态状态显著性筛选出若干组目标边缘直线；基于一组目标边缘直线内的两条边缘直线确定一最小封闭区域，定义为第一区域，第一区域内的目标边缘直线确定的、位于第一区域内的最小封闭区域定义为第二区域；确定各第二区域的中心，并确定各第二区域的中心与其他第二区域的中心的最小距离；基于各第二区域中心与其他第二区域中心的最小距离和各第二区域中心到目标边缘直线的两个像素域的边缘距离，结合第一区域内各像素点的灰度值，计算两条边缘直线的传送带工作状态显著性；

其中，传送带工作状态显著性的计算公式为：

式中，为像素域/>与像素域/>对应的两条边缘直线的传送带工作状态显著性；/>为两条边缘直线的的传送带形态显著性；/>为第一区域内第/>个第二区域分别像素域和像素域/>内各像素点的最小距离，其中，/>, />为第一区域内第二区域的数量；/>为像素域/>或/>内各像素点到另一像素域的边缘距离的均值；/>为第一区域内各像素点的灰度值均值；/>为多个第二区域的中心对应的最小距离的标准差。

2.根据权利要求1所述的方法，其特征在于，所述对传送带环境图像进行边缘提取，得到若干边缘线的步骤，具体包括：

将传送带环境图像转换为灰度图像，得到传送带灰度图像；

对传送带灰度图像进行中值滤波去噪后，进行边缘检测，得到边缘图像；

对边缘图像进行闭运算操作，得到修正后的边缘图像，修正后的边缘图像中，将相邻的、出现轻微断裂的两个未连接的边缘线连接起来，得到新的边缘线。

3.根据权利要求1所述的方法，其特征在于，所述计算像素域内各像素点的梯度差值的步骤，具体为：

基于各像素点的灰度值计算各像素点的梯度值；

分别计算像素点和该像素点的八邻域内、且位于像素域内的相邻像素点的梯度值的差值，并将差值取绝对值，将这些绝对值的最大值作为该像素点的梯度差值。

4.根据权利要求1所述的方法，其特征在于，所述基于传送带工作状态显著性最大的两组像素域计算直线检测阈值的步骤，具体包括：

确定传送带工作状态显著性的最大值和第二大值分别对应的两组像素域；

对两组像素域内包含的像素点分别使用最小二乘法进行直线拟合，分别确定两组像素域中落在拟合直线上的像素点平均个数；

基于组像素域中落在拟合直线上的像素点平均个数计算直线检测阈值。

5.一种传送带偏移检测装置，其特征在于，包括图像分析部件、边缘直线筛选部件、第一计算部件、第二计算部件、阈值计算部件和检测部件，其中

所述图像分析部件，用于获取传送带环境图像，并对传送带环境图像进行边缘提取，得到若干边缘线，每条边缘线对应一个像素域；

所述边缘直线筛选部件，用于基于像素域内各像素点的灰度值和位置分布计算各边缘线的直线偏折度，基于直线偏折度确定边缘直线；

其中，基于像素域内各像素点的灰度值和位置分布计算各边缘线的直线偏折度的步骤为：计算像素域内各像素点的梯度差值；将像素域内的所有像素点，基于像素点的位置分布，使用最小二乘法进行直线拟合，得到像素域内的所有像素点与直线拟合的拟合优度值；基于梯度差值和拟合优度值计算像素域对应的边缘线的直线偏折度；

其中，基于梯度差值和拟合优度值计算像素域对应的边缘线的直线偏折度的公式如下：

式中，为像素域/>对应的边缘直线偏折度；/>为像素域/>内各像素点对应的梯度差值，其中/>；/>为这些梯度差值的均值；/>为像素域/>内包含的像素点的个数；/>为该像素域与直线进行拟合得到的拟合优度值；

所述第一计算部件，基于边缘直线的直线偏折度计算一组边缘直线的传送带形态显著性；

其中，基于边缘直线的直线偏折度计算一组边缘直线的传送带形态显著性的步骤为：基于两条边缘直线的直线偏折度和边缘直线的拟合直线倾斜角计算边缘方向偏折度；基于其中一条边缘直线对应的像素域内的像素点到另一边缘直线的像素域的边缘距离计算边缘距离扰乱度；基于边缘方向偏折度和边缘距离扰乱度计算传送带形态显著性；

其中，基于边缘直线的直线偏折度和拟合直线倾斜角计算两条边缘直线的边缘方向偏折度的公式如下：

式中，为像素域/>与像素域/>之间的传送带边缘方向偏折度；/>分别为像素域/>与像素域/>对应的边缘直线偏折度；/>分别为像素域/>与像素域/>对应的拟合直线的倾斜角；/>为常数系数；

其中，基于其中一条边缘直线对应的像素域内的像素点到另一边缘直线的像素域的边缘距离计算边缘距离扰乱度的公式如下：

式中，为像素域/>与像素域/>对应的两条边缘直线的边缘距离扰乱度，/>为像素域/>内各像素点到另一像素域/>的边缘距离，其中，/>，/>为所有像素点对应的边缘距离的均值；/>为像素域/>内包含的像素点的个数；

所述第二计算部件，用于基于传送带形态显著性计算两条边缘直线的传送带工作状态显著性；

其中，基于传送带形态显著性计算两条边缘直线的传送带工作状态显著性的步骤为：基于计算传送带形态状态显著性筛选出若干组目标边缘直线；基于一组目标边缘直线内的两条边缘直线确定一最小封闭区域，定义为第一区域，第一区域内的目标边缘直线确定的、位于第一区域内的最小封闭区域定义为第二区域；确定各第二区域的中心，并确定各第二区域的中心与其他第二区域的中心的最小距离；基于各第二区域中心与其他第二区域中心的最小距离和各第二区域中心到目标边缘直线的两个像素域的边缘距离，结合第一区域内各像素点的灰度值，计算两条边缘直线的传送带工作状态显著性；

其中，传送带工作状态显著性的计算公式为：

式中，为像素域/>与像素域/>对应的两条边缘直线的传送带工作状态显著性；/>为两条边缘直线的的传送带形态显著性；/>为第一区域内第/>个第二区域分别像素域和像素域/>内各像素点的最小距离，其中，/>, />为第一区域内第二区域的数量；/>为像素域/>或/>内各像素点到另一像素域的边缘距离的均值；/>为第一区域内各像素点的灰度值均值；/>为多个第二区域的中心对应的最小距离的标准差；

所述阈值计算部件，用于基于传送带工作状态显著性最大的两组像素域计算直线检测阈值；

所述检测部件，用于使用直线检测阈值对传送带进行霍夫直线偏移检测。

6.一种计算机设备，包括：处理器；存储器，用于存储所述处理器的可执行指令；其特征在于，所述处理器被配置为经由执行所述可执行指令来执行权利要求1～4任一项所述的方法的步骤。

7.一种机器可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在由处理器执行时实现权利要求1～4任一所述方法的步骤。