CN116309565B - 基于计算机视觉的高强传送带跑偏检测方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及基于计算机视觉的高强传送带跑偏检测方法。该方法获取多张传送带图像，将传送带图像分割成像素块，根据像素块的梯度方向与传送带的疑似运动方向的差异获取方向特征值，结合像素块的位置和方向特征值得到匹配特征值；依据像素块与其邻域内像素块的周围分布信息差异及匹配特征值获取分布差异值，并结合方向特征值与相邻像素块的灰度差异获取匹配可信度；根据在相邻帧图像中匹配的像素块之间的灰度差异、邻域内像素块的分布差异值的差异与匹配可信度获取匹配差异度，基于匹配差异度获取像素块的运动向量判断传送带的跑偏情况，提高了对高强输送带的跑偏检测的准确率。

Description

基于计算机视觉的高强传送带跑偏检测方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种基于计算机视觉的高强传送带跑偏检测方法。

背景技术

传送带的牵引力来自于传送带与滚筒之间的静摩擦力，静摩擦力的大小取决于材料表面的摩擦系数和受到的载荷大小，从工业角度上看，体现在实际传送带的结构设计、材料选择以及载荷质量。传送带在动态使用中，由于自身结构和非正常工作环境产生的不良现象主要表现为：传送带跑偏、断裂、打滑以及物料掉落等，在这几种不良现象中，传送带的跑偏更易发生，如果不对传送带跑偏情况进行调整，将造成更为严重的不良现象。例如，传送带跑偏较多且积累一段时间后，在跑偏的一端可能堆积过多的褶皱进而造成传送带的断裂，所以对传送带跑偏的检测是极其必要的。

在现有技术中根据相邻两张图像的两个匹配块之间的边缘大小、梯度、边缘方向和像素值的差异获取两个匹配块之间的运动矢量评价参数，忽略了每个匹配块的邻域内其他像素块的特性对运动矢量评价参数造成影响，使得对传送带的运动矢量的判断存在误差，降低了对高强传送带进行进行跑偏检测的准确性。

发明内容

为了解决运动矢量评价参数获取过程中没有考虑匹配块的邻域内像素块的特性造成的影响，进而导致传送带跑偏检测出现误差的技术问题，本发明的目的在于提供一种基于计算机视觉的高强传送带跑偏检测方法，所采用的技术方案具体如下：

本发明提出了一种基于计算机视觉的高强传送带跑偏检测方法，该方法包括：

获取高强传送带运动过程中至少两帧传送带图像；将所述传送带图像分割为预设尺寸的像素块；

获取传送带的疑似运动方向，根据所述传送带图像中每个所述像素块的梯度方向与传送带的所述疑似运动方向之间差异获取对应像素块的方向特征值；依据像素块所处的位置与所述方向特征值获取对应像素块的匹配特征值；

根据传送带图像中每个像素块与其邻域内其他像素块的周围分布信息的差异，及所述匹配特征值获取每个像素块的分布差异值；结合每个像素块与其邻域内像素块之间的灰度差异、所述分布差异值与所述方向特征值获取像素块的匹配可信度；

将传送带图像中每个像素块与其相邻帧图像内的像素块进行匹配，根据待匹配的两个像素块之间的灰度差异、其邻域内对应像素块的所述分布差异值的差异与所述匹配可信度获取待匹配的两个像素块的匹配差异度；

基于所述匹配差异度获取匹配像素块对，根据所述匹配像素块对获得运动向量，根据运动向量对高强传送带进行跑偏检测。

进一步地，所述疑似运动方向的获取方法，包括：

将所述传送带图像放入平面直角坐标系中，以传送带图像的左下角作为平面直角坐标系的坐标原点；

对所述传送带图像进行霍夫直线检测获取待测直线；

设置长度阈值；统计所述待测直线上像素点的数量，将像素点数量大于等于长度阈值的待测直线作为传送带边缘直线；

将所述传送带边缘直线的两个端点中与所述坐标原点之间距离较小的端点作为传送带边缘直线的起点，距离较大的端点作为传送带边缘直线的终点，得到所述传送带边缘直线对应的边缘向量，将所有所述边缘向量相加得到传送带向量，将所述传送带向量与预设向量之间的角度作为所述疑似运动方向。

进一步地，所述方向特征值的获取方法，包括：

使用Sobel算子获取所述传送带图像中每个所述像素块的梯度方向，将每个像素块的所述梯度方向与所述疑似运动方向的差值绝对值作为对应像素块的方向特征值。

进一步地，所述匹配特征值的获取方法，包括：

将每个像素块内像素点的灰度值均值作为对应像素块的灰度特征值；

基于像素块的所述灰度特征值使用区域生长算法获取连通域；将位于所述连通域边缘位置的像素块作为边缘像素块；

将每个像素块所在连通域内各边缘像素块与所述像素块之间距离的最小值作为对应像素块的边缘距离值；所述边缘像素块的边缘距离值为预设数值，所述预设数值为正数并且小于所有非边缘像素块的边缘距离值；将每个像素块所在连通域内各边缘像素块的所述方向特征值的均值作为对应像素块的整体方向特征值；将每个像素块的所述边缘距离值与所述整体方向特征值的乘积作为对应像素块的所述匹配特征值。

进一步地，所述分布差异值的获取方法，包括：

选取传送带图像中任意像素块作为目标像素块；

将所述目标像素块的预设第一邻域内每个像素块与所述目标像素块之间的分布值进行累加，得到目标像素块的整体分布值；

将所述目标像素块的所述整体分布值与所述匹配特征值的比值作为目标像素块的所述分布差异值；改变目标像素块，获取每个像素块的分布差异值。

进一步地，所述分布值的获取方法，包括：

基于目标像素块的预设第一邻域内各像素块与目标像素块之间所述灰度特征值的差异对预设第一邻域内的像素块进行聚类，获取所述目标像素块的灰度差异类别；

选取任意所述灰度差异类别作为目标类别，在所述目标像素块的预设第一邻域中，将所述目标类别中像素块在的位置标记为1，其他位置标记为0，根据标记值获得纹理分布编码，将所述纹理分布编码转换至十进制数，获得目标类别的纹理分布值；改变目标类别，获取目标像素块的每个灰度差异类别的纹理分布值；

改变所述目标像素块，获取每个像素块的各灰度差异类别的纹理分布值，所述每个像素块的所述灰度差异类别的数量相同；

将任意两个像素块的每个所述灰度差异类别之间纹理分布值的差异累加，得到对应两个像素块之间的所述分布值。

进一步地，所述匹配可信度的获取方法，包括：

计算所述目标像素块与其预设第一邻域内各像素块之间所述灰度特征值的差异的均值，得到目标像素块的整体灰度差异值；改变目标像素块，获取每个像素块的所述整体灰度差异值；

将每个像素块的所述方向特征值进行负相关映射，获取对应像素块的最终方向特征值；

将每个像素块的所述整体灰度差异值、所述分布差异值与所述最终方向特征值的乘积作为对应像素块的所述匹配可信度。

进一步地，所述匹配差异度的获取方法，包括：

所述目标像素块所在图像的相邻帧图像中任意一个像素块作为所述目标像素块的待匹配像素块；

计算所述目标像素块与所述待匹配像素块之间所述灰度特征值的差异作为目标像素块的匹配灰度特征值；

计算所述目标像素块的预设第二邻域内每个像素块与所述待匹配像素块的预设第二邻域内对应像素块之间所述分布差异值的差值绝对值，作为目标像素块的预设第二邻域内每个像素块的匹配分布差异值；将目标像素块的预设第二邻域内每个像素块的所述匹配分布差异值作为分子，所述匹配可信度与预设常数的和作为分母得到的比值进行累加，得到所述目标像素块的初始匹配差异度；

将目标像素块的所述匹配灰度特征值与所述初始匹配差异度的乘积作为目标像素块与所述待匹配像素块的匹配差异度；

改变目标像素块，获取传送带图像中每个像素块与对应待匹配像素块的所述匹配差异度。

进一步地，所述跑偏检测的具体方法，为：

根据匹配差异度对相邻帧传送带图像使用三步搜索法进行匹配，获得所述匹配像素块对；根据所述匹配像素块对内两个像素块的位置获取传送带图像中每个像素块的运动向量；

设置模长阈值，计算传送带图像中每个像素块的所述运动向量的模长，将模长大于所述模长阈值的运动方向对应的像素块作为运动像素块；

将传送带图像中所有所述运动像素块的所述运动向量相加得到实际运动向量，将所述实际运动向量与预设向量的角度作为传送带的实际运动方向；

设置跑偏阈值，将传送带在正常运作的所述实际运动方向作为正常运动方向；当所述正常运动方向与所述实际运动方向的差值绝对值大于跑偏阈值时，则当前时刻的高强传送带出现跑偏问题。

本发明具有如下有益效果：

本发明实施例在对传送带图像使用块匹配算法进行匹配，由于传送带图像中像素点数量过多会导致算法计算量过大，对传送带图像使用超像素分割获取像素块，以提高块匹配算法的检测效率；传送带在运动时，传送带图像中传送带区域位置会发生改变，像素块的梯度方向与传送带疑似运动方向之间的差异即方向特征值，能够反映像素块的运动状况，像素块所处的位置反映该像素块与周围像素块的灰度信息，将两者结合分析得到的匹配特征值能够准确地反映像素块匹配的准确率；在像素块进行匹配时，当像素块与其周围像素块之间的分布信息较相似时，容易出现误匹配的情况，将像素块与其他邻域像素块的周围分布信息的差异与匹配特征值获取分布差异值，能够体现像素块的邻域像素块对该像素块的匹配造成影响的情况，分布差异值越大，表明像素块的邻域像素块不易对该像素块的匹配造成影响，提高了像素块匹配的准确性；像素块与其邻域内像素块之间的灰度差异反映像素块在进行块匹配出现误差情况，分布差异值呈现像素块与其邻域内像素块的分布信息情况差异，方向特征值表现像素块的运动方向与传送带的运动方向的差异情况，三种变量均能影响像素块进行匹配时的准确率，将三种变量相结合分析获取匹配可信度，其中分布差异值的获取过程中考虑了像素块与邻域像素块之间分布信息的影响，能够有效减少了匹配时出现误匹配的情况，匹配可信度的准确率较高，减少了该像素块的周围像素块对匹配准确性的影响；匹配的两个像素块之间的灰度差异反映了匹配的两个像素块可能为同一像素块的可能性，像素块的匹配可信度呈现了该像素块的邻域内其他像素块的相关信息对该像素块匹配的影响，匹配的两个像素块的邻域像素块的分布差异值间的差异，能够表现出匹配的两个像素块的周围像素块分布情况相似情况，三个因素均会对像素块匹配的准确率造成影响，结合这三种因素获取像素块的匹配差异度，在匹配差异度获取的过程中考虑了匹配的两个像素块的周围像素块对匹配产生影响，使得呈现两个匹配的像素块之间的匹配差异度更加准确，并基于匹配差异度获取像素块的运动向量，根据运动向量获取传送带的实际运动方向，进而判断传送带的跑偏情况，使像素块的运动向量更加准确反映对应像素块的运动情况，进而提高了对高强传送带的跑偏情况进行检测的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于计算机视觉的高强传送带跑偏检测方法的方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于计算机视觉的高强传送带跑偏检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明所针对的具体场景：在使用高强传送带进行运输的场景，对高强传送带进行跑偏检测。

下面结合附图具体的说明本发明所提供的一种基于计算机视觉的高强传送带跑偏检测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于计算机视觉的高强传送带跑偏检测方法的方法流程图，该方法包括：

步骤S1：获取高强传送带运动过程中至少两帧传送带图像；将传送带图像分割为预设尺寸的像素块。

具体的，在高强输送带的正上方放置工业相机，使用具有计算机视觉的工业相机对高强传送带进行监测，间隔一定时间段使用工业相机连续拍摄多张初始传送带图像。实施者可根据实际情况设置间隔时间段，本发明实施例中设定每半小时进行一次检测，每次检测连续拍摄30s，获取60张相邻帧图像。

将获取的初始传送带图像进行灰度化和去噪等预处理，得到传送带图像。在进行高强传送带跑偏检测时，使用块匹配算法进行匹配，由于传送带图像中像素点数量过多，会导致算法计算量过大，进而影响检测效率，则需要对传送带图像使用超像素分割获取像素块，以实现对传送带图像进行降维的目的，进而提高块匹配算法的检测效率。其中，超像素分割的预分割大小为n×n，本发明实施例中设置n=5，即像素块的尺寸为5×5。实施者可根据实际情况自行设定n的大小。

需要说明的是，本发明实施例中选用加权平均灰度化算法进行灰度化处理，使用高斯滤波进行去噪处理，利用超像素分割划分传送带图像，具体方法在此不做介绍，均为本领域技术人员熟知的技术手段。

步骤S2：获取传送带的疑似运动方向，根据传送带图像中每个像素块的梯度方向与传送带的疑似运动方向之间差异获取对应像素块的方向特征值；依据像素块所处的位置与方向特征值获取对应像素块的匹配特征值。

具体的，由于一般块匹配算法仅考虑单独像素块的匹配性，并不能结合相邻像素块的信息进行匹配，故当像素块与其相邻像素块之间差异较小时，可能会出现两个像素块在相邻帧图像中匹配到同一像素块的情况。故本发明实施例通过结合像素块的周围信息，完成块匹配算法。

根据传送带图像中各像素块的运动方向与传送带运动方向之间的差异确定像素块的方向特征，进一步结合像素块在传送带图像的位置获取匹配特征值。

在传送带图像内传送带存在一定方向，梯度方向反映像素块的灰度变化方向，结合像素块的梯度方向与传送带疑似运动方向进行分析得到方向特征值，像素块的方向特征值能够反映像素块的位置信息，传送带边缘区域内像素块的灰度变化方向与传送带边缘的灰度变化方向一致，使用这些像素块的方向特征值进行匹配时的准确率更高。

优选地，在本发明一个实施例中，便于对传送带的运动方向进行迅速且直观地分析，将传送带图像放入平面直角坐标系中，以传送带图像的左下角作为平面直角坐标系的坐标原点。

传送带在工作过程中沿着一定的方向进行运动，对传送带图像进行霍夫直线检测获取待测直线；设置长度阈值；统计待测直线上像素点的数量，将像素点数量大于等于长度阈值的待测直线作为传送带边缘直线；将传送带边缘直线的两个端点中与坐标原点之间距离较小的端点作为传送带边缘直线的起点，距离较大的端点作为传送带边缘直线的终点，得到传送带边缘直线对应的边缘向量，将所有边缘向量相加得到传送带向量，将传送带向量与预设向量之间的角度作为疑似运动方向。

作为一个示例，在实际情况中传送带在工作时其表面存在运输物品，在对传送带图像进行霍夫直线检测时，检测出的待测直线包括传送带边界线和运输物品的边缘等。由于传送带上运输物品的边缘会对传送带的运动方向的计算产生干扰，所以设置长度阈值，从待测直线中筛选出传送带边界线，进而得到疑似传送带方向，且疑似传送带方向为是基于坐标系x轴而言，增加了疑似传送带方向的准确性。本发明实施例中长度阈值取经验值300。

基于传送带图像中的传送带边界线获取疑似运动方向，疑似运动方向的计算公式如下：

式中，A为传送带的疑似运动方向，为传送带向量，/>为传送带图像内第j个边缘向量，p为传送带图像中边缘向量的数量，/>为预设向量，取经验值/>；/>为传送带向量的模长，/>为预设向量的模长；/>为反余弦函数，目的是求传送带向量/>与预设向量/>间的角度。

需要说明的是，传送带图像中的传送带边缘直线代表传送带边界线，传送带边缘直线对应的边缘向量越多，说明传送带的疑似运动方向/>越接近传送带的真实运动方向；需要注意的是，本发明实施例中预设向量为x轴的单位向量/>，则疑似运动方向是基于坐标系的x轴而言，且疑似运动方向的取值范围为0°到180°。

优选地，根据传送带运动特征可知，传送带运动时，大致是沿着传送带的疑似运动方向进行运动，故像素块的梯度方向与传送带疑似运动方向之间的差异能够反映像素块的位置信息。方向特征值的具体获取方法为：使用Sobel算子获取传送带图像中每个像素块的梯度方向，将每个像素块的梯度方向与疑似运动方向的差值绝对值作为对应像素块的方向特征值。梯度方向反映灰度变化剧烈的方向，传送带区域内像素块的灰度变化较小，无法反映传送带运动信息；由于传送带表面物品无法确定，所以传送带表面物品区域内像素块的梯度方向较为混乱；但是传送带边缘区域的像素块的灰度变化与传送带边缘的方向一致，使用这些像素块的方向特征值进行匹配时的准确率更高。其中，Sobel算子为本领域技术人员熟知的技术手段，具体方法在此不做介绍。

根据像素块的梯度方向与疑似运动方向获取像素块的方向特征值。方向特征值的计算公式如下：

式中，R为像素块的方向特征值，为像素块的梯度方向，A为传送带的疑似运动方向；/>为绝对值函数。

需要说明的是，像素块的梯度方向能够呈现像素块的像素强度变化方向，当像素块的梯度方向与传送带的疑似运动方向之间的差异越小时，说明该像素块位于传送带边缘区域，像素块的方向特征R越小，在进行匹配时，该像素块匹配的准确性越高；需要注意的是，梯度方向和疑似运动方向均为角度。

在实际情况中，传送带图像中传送带区域及其表面物品区域内均可能出现大量像素块一致的情况，使得在进行块匹配时，造成较多像素块匹配不准确的情况。因此，结合像素块在传送带图像中的位置与方向特征值进行分析，提高像素块的匹配特征值的准确性。

像素块所处的位置反映该像素块与周围像素块的灰度信息，方向特征值呈现像素块位于背景区域或传送带区域，两个因素均能影响像素块匹配，结合两个因素获取像素块的匹配特征值。优选地，匹配特征值的获取方法为：将每个像素块内像素点的灰度值均值作为对应像素块的灰度特征值；基于像素块的灰度特征值使用区域生长算法获取连通域；将位于连通域边缘位置的像素块作为边缘像素块；将每个像素块所在连通域内各边缘像素块与像素块之间距离的最小值作为对应像素块的边缘距离值；边缘像素块的边缘距离值为预设数值，预设数值为正数并且小于所有非边缘像素块的边缘距离值；将每个像素块所在连通域内各边缘像素块的方向特征值的均值作为对应像素块的整体方向特征值；将每个像素块的边缘距离值与整体方向特征值的乘积作为对应像素块的匹配特征值。

作为一个示例，由于传送带及其上物品在传送带图像中存在一定面积，则在进行超像素分割时，可能出现大量灰度值相似的像素块，进而影响块匹配的准确性。使用区域生长算法将灰度特征值相似的像素块构成连通域，当像素块距离所在连通域的边缘越近，说明该像素块与其周围像素块之间的灰度差异较大，在后续分析运动时参考性越强。当像素块所在连通域内边缘像素块的梯度方向与传送带的疑似运动方向越接近，即像素块所在连通域内边缘像素块的方向特征值越小，说明连通域内像素块越可能在传送带区域，结合该像素块与所在连通域边缘的距离进行分析，获取像素块的匹配特征值。需要说明的是，因为边缘像素块在匹配过程中具有更高的可信度，因此边缘像素块的边缘距离值应小于非边缘像素块，考虑到非边缘像素块与边缘像素块之间的距离至少为1个像素单位，本发明实施例中预设数值取经验值0.1。其中，区域生长算法为本领域技术人员熟知的技术手段，具体方法在此不做介绍。

根据像素块在所处连通域的位置与该连通域内边缘像素块的方向特征值，获取像素块的匹配特征值，匹配特征值的计算公式如下：

式中，W为像素块的匹配特征值，R_f为像素块所在连通域内第f个边缘像素块的方向特征值，d为像素块的边缘距离值，o为像素块所在连通域内边缘像素块的数量。

需要说明的是，当像素块距离所在连通域的边缘越近，即边缘距离值d越小，说明该像素块与其周围像素块之间的灰度差异越大，则匹配特征值W越小；像素块所在连通域内边缘像素块的梯度方向与传送带的疑似运动方向越接近，即像素块所在连通域内边缘像素块的方向特征值越小，则该像素块与所在连通域内像素块均在传送带上，匹配特征值W越小，使得该像素块在进行匹配时，匹配的准确率越大。

步骤S3：根据传送带图像中每个像素块与其邻域内其他像素块的周围分布信息的差异，及匹配特征值获取每个像素块的分布差异值；结合每个像素块与其邻域内像素块之间的灰度差异、分布差异值与方向特征值获取像素块的匹配可信度。

在进行单独匹配时，可能由于像素块与其相邻像素块的特征相似出现误匹配的情况，故可以根据每个像素块与其相邻像素块间的灰度差异以及周围像素块分布差异获取每个像素块匹配可信度。

分布值呈现两个像素块的周围分布信息之间的差异情况，匹配特征值体现像素块的周围像素块的运动方向，从而确定像素块在传送带图像中所处区域，两种因素均影响像素块匹配的准确率，结合分析得到分布差异值。优选地，分布差异值的具体获取方法为：选取传送带图像中任意像素块作为目标像素块；将目标像素块的预设第一邻域内每个像素块与目标像素块之间的分布值进行累加，得到目标像素块的整体分布值；将目标像素块的整体分布值与匹配特征值的比值作为目标像素块的分布差异值；改变目标像素块，获取每个像素块的分布差异值。本发明实施例中预设第一邻域为八邻域。

根据像素块与其邻域像素块的周围分布信息间的差异，及匹配特征值获取像素块的分布差异值。分布差异值的计算公式如下：

式中，N为像素块的分布差异值，Q_g为像素块与其预设第一邻域内第g个像素块之间的分布值，W为像素块的匹配特征值，c为像素块的预设第一邻域内像素块的数量。

需要说明的是，像素块与其八邻域内像素块之间的分布值越大，说明像素块与其八邻域内像素块的周围分布信息的差异越大，则在像素块匹配时，像素块的邻域像素块不易对该像素块的匹配造成影响，分布差异值越大，匹配的可信度越高；像素块匹配特征值W越小，表明该像素块与其周围像素块在传送带图像内为传送带边缘的可能性越高，这些像素块随着传送带的运动在相邻帧图像内位置发生变化，分布差异值越大。

进一步地，两个像素块之间的分布值获取方法为：基于目标像素块的预设第一邻域内各像素块与目标像素块之间灰度特征值的差异对预设第一邻域内的像素块进行聚类，获取目标像素块的灰度差异类别；选取任意灰度差异类别作为目标类别，在目标像素块的预设第一邻域中，将目标类别中像素块在的位置标记为1，其他位置标记为0，根据标记值获得纹理分布编码，将纹理分布编码转换至十进制数，获得目标类别的纹理分布值；改变目标类别，获取目标像素块的每个灰度差异类别的纹理分布值；改变目标像素块，获取每个像素块的各灰度差异类别的纹理分布值，每个像素块的灰度差异类别的数量相同；将任意两个像素块的每个灰度差异类别之间纹理分布值的差异累加，得到对应两个像素块之间的分布值。

基于每个像素块与其八邻域内像素块之间灰度特征值的差异，对每个像素块八邻域内的像素块使用DBSCAN算法进行聚类，获取每个像素块的八邻域内像素块的聚类类别，即灰度差异类别。根据每个灰度差异类别内像素块在目标像素块的八邻域内存在情况进行标记，用1表示目标像素块的某个邻域像素块属于目标类别，用0表示目标像素块的某个邻域像素块不属于目标类别。作为一个示例，目标像素块与其八邻域内像素块的灰度特征值的分布情况为，则目标像素块的八邻域内像素块与目标像素块之间灰度特征值的差异为/>；若这些灰度特征值的差异可以被聚类为3类，即灰度特征值的差异在0-10、10-20和20-30范围依次得到K=1、K=2与K=3这3种灰度差异类别。获取目标像素块的八邻域内每个灰度差异类别中像素块的分布情况，3种灰度差异类别在目标像素块的八邻域内分布情况依次如下：K=1为/>，K=2为/>，K=3为/>。将上述3种灰度差异类别在目标像素块八邻域内的分布情况按照LBP算子方式记为LBP值，则上述3种灰度差异类别对应LBP值的二进制分别为10101001、00010010和00000100，对应的LBP值分别为169、18和4，将每种灰度差异类别对应LBP值作为对应灰度差异类别的纹理分布值。计算传送带图像中任意两个像素块的八邻域内每种灰度差异类别的纹理分布值的差异，进而获取这两个像素块之间的分布值。其中，DBSCAN算法为本领域技术人员熟知的技术手段，具体方法在此不做介绍。

依据任意两个像素块的邻域内像素块的分布情况获取两个像素块的分布值，分布值的计算公式如下：

式中，Q为任意两个像素块的分布值，为两个像素块的预设第一邻域内第i种灰度差异类别的纹理分布值的差异，Kb为像素块的预设第一邻域内灰度差异类别的数量。

需要说明的是，当任意两个像素块的邻域内每种灰度差异类别的纹理分布值的差异越大，说明这两个像素块邻域内像素块的分布情况差异较大，则这两个像素块的分布值越大，故可以根据像素块之间的分布值进行块匹配更加准确。

像素块与其邻域内像素块之间的灰度差异反映像素块在进行块匹配出现误差情况，分布差异值呈现像素块与其邻域内像素块的分布情况差异，方向特征值表现像素块的运动方向与传送带的运动方向的差异情况，这三种因素均能影响像素块进行匹配时的准确率，结合三种因素获取像素块的匹配可信度。优选地，匹配可信度的具体获取方法为：计算目标像素块与其预设第一邻域内各像素块之间灰度特征值的差异的均值，得到目标像素块的整体灰度差异值；改变目标像素块，获取每个像素块的整体灰度差异值；将每个像素块的方向特征值进行负相关映射，获取对应像素块的最终方向特征值；将每个像素块的整体灰度差异值、分布差异值与最终方向特征值的乘积作为对应像素块的匹配可信度。

依据像素块的灰度差异、分布差异值和方向特征值获取像素块的匹配可信度，匹配可信度的计算公式如下：

式中，为像素块的匹配可信度，/>为像素块的整体灰度差异值，N为像素块的分布差异值，R为像素块的方向特征值；exp为以自然常数e为底数的指数函数。

需要说明的是，像素块的整体灰度差异值越大，说明像素块与其邻域内像素块之间的灰度差异越大，则像素块进行匹配时出现误差的可能性较小，则像素块的匹配可信度越大；像素块的分布差异值N越大，表明该像素块与其邻域内像素块的周围像素块的分布情况差异较大，进而说明该像素块与其周围像素块之间的特征差异较大，则像素块的匹配可信度越大；当像素块的方向特征值越小，说明该像素块的运动方向与传送带的运动方向一致，该像素块位于传送带图像的传送带边缘区域，则像素块的匹配可信度越大。在其他实施例中，可根据相加、加权求和等运算反映正相关关系，也可根据比值、相减等运算反映负相关关系，在此不做限定。

步骤S4：将传送带图像中每个像素块与其相邻帧图像内的像素块进行匹配，根据待匹配的两个像素块之间的灰度差异、其邻域内对应像素块的分布差异值的差异与匹配可信度获取待匹配的两个像素块的匹配差异度。

获取传送带图像中每个像素块在相邻帧图像中的待匹配像素块，当匹配的两个像素块之间的灰度差异越小，说明匹配的两个像素块可能为同一像素块；像素块的匹配可信度反映了该像素块的邻域内其他像素块的相关信息对该像素块的影响，匹配可信度越大，说明该像素块与其邻域内像素块之间的信息差异越大，则该像素块的周围像素块越不易对该像素块的匹配过程产生影响，使得像素块的匹配准确率越高；当匹配的两个像素块的邻域像素块的周围像素块分布情况之间的差异越小，说明匹配的两个像素块的周围像素块分布情况越相似，则匹配的两个像素块为同一像素块的可能性越大；上述三个因素均会对像素块匹配的准确率造成影响，结合这三种因素获取像素块的匹配差异度，匹配差异度越小表明在相邻帧图像内获取的待匹配像素块与该像素块越匹配。

优选地，匹配差异度的具体获取方法为：目标像素块所在图像的相邻帧图像中任意一个像素块作为目标像素块的待匹配像素块；计算目标像素块与待匹配像素块之间灰度特征值的差异作为目标像素块的匹配灰度特征值；计算目标像素块的预设第二邻域内每个像素块与待匹配像素块的预设第二邻域内对应像素块之间分布差异值的差值绝对值，作为目标像素块的预设第二邻域内每个像素块的匹配分布差异值；将目标像素块的预设第二邻域内每个像素块的匹配分布差异值作为分子，匹配可信度与预设常数的和作为分母得到的比值进行累加，得到目标像素块的初始匹配差异度；将目标像素块的匹配灰度特征值与初始匹配差异度的乘积作为目标像素块与待匹配像素块的匹配差异度；改变目标像素块，获取传送带图像中每个像素块与对应待匹配像素块的匹配差异度。需要说明的是，每个像素块的预设第二邻域的尺寸为a×a，本发明实施例中a取经验值3。实施者可根据实际情况自行设定a的大小。

依据像素块与其待匹配像素块之间的灰度差异、及周围像素块的分布情况和匹配可信度获取像素块的匹配差异度，匹配差异度的计算公式如下：

式中，SAD为像素块的匹配差异度，为匹配的两个像素块之间的匹配灰度特征值，/>为像素块的预设第二邻域内第u个像素块的匹配可信度，/>为像素块的预设第二邻域内第u个像素块的分布差异值，/>为待匹配像素块的预设第二邻域内第u个像素块的分布差异值，E为像素块的预设第二邻域内像素块的数量，像素块的预设第二邻域的尺寸经验值为3；/>为预设常数，取经验值0.001，防止公式无意义；/>为绝对值函数。

需要说明的是，当匹配的两个像素块之间的的灰度差异越小，即匹配灰度特征值越小，说明匹配的两个像素块越可能为同一像素块，则匹配差异度SAD越小；像素块的邻域内像素块的匹配可信度反映了该像素块的邻域内其他像素块的相关信息对该像素块的影响，匹配可信度越大，说明说明该像素块在进行匹配时出现误匹配的概率越小，则匹配差异度SAD越小；当匹配的两个像素块的邻域内像素块的周围像素块分布情况之间的差异越小时，说明匹配的两个像素块的周围像素块的信息越接近，则匹配的两个像素块越可能对应同一像素块，匹配差异度SAD越小，说明相邻帧图像内待匹配像素块与该像素块越匹配。

步骤S5：基于匹配差异度获取匹配像素块对，根据匹配像素块对获得运动向量，根据运动向量对高强传送带进行跑偏检测。

使用三步搜索法对传送带图像中每个像素块在相邻帧图像中进行匹配，获取传送带图像中每个像素块在相邻帧图像中的待匹配像素块，将传送带图像中每个像素块作为运动向量的起点，将该像素块在相邻帧图像内的待匹配像素块作为像素块的运动向量的终点，获取传送带图像中每个像素块的运动向量。

其中，三步搜索法为本领域技术人员熟知的技术手段，具体方法在此不做介绍。

由于像素块的运动向量反映对应像素块的运动状况，根据像素块的运动状况获取传送带的实际运动方向。优选地，传送带的实际运动方向的计算方法为：根据匹配差异度对相邻帧传送带图像使用三步搜索法进行匹配，获得匹配像素块对；根据匹配像素块对内两个像素块的位置获取传送带图像中每个像素块的运动向量；设置模长阈值，计算传送带图像中每个像素块的运动向量的模长，将模长大于模长阈值的运动方向对应的像素块作为运动像素块；将传送带图像中所有运动像素块的运动向量相加得到实际运动向量，将实际运动向量与预设向量的角度作为传送带的实际运动方向。

作为一个示例，传送带图像中包括背景区域、传送带区域，传送带在运动时传送带区域在相邻帧图像中位置会发生改变，所以这些区域内的像素块在进行三步搜索法时会获取对应运动向量，而背景区域在相邻帧图像中位置不会发生改变，则背景区域内的像素块在进行三步搜索法时不会产生运动向量，或者运动向量的模长较小。因此，设置模长阈值，剔除背景区域内像素块的运动向量，将像素块的运动向量的模长大于模长阈值的运动向量相加，获取传送带的实际运动向量，提高了传送带的运动方向的准确率。本发明实施例中模长阈值取经验值1。

根据像素块的运动向量获取传送带的实际运动方向，实际运动方向的计算公式如下：

式中，B为传送带的实际运动方向，为实际运动向量，/>为传送带图像中第s个运动像素块的运动向量，L为传送带图像中运动像素块的数量，/>为预设向量，取经验值/>；为实际运动向量的模长，/>为预设向量的模长；/>为反余弦函数，目的是求实际运动向量/>与预设向量/>间的角度。

需要说明的是，传送带图像的运动像素块位于传送带区域，这些区域内的像素块随着传送带的运动在相邻帧图像中位置发生改变，基于这些运动像素块的运动向量获取传送带的实际运动方向，提高了传送带的实际运动方向的准确性；需要注意的是，本发明实施例中预设向量为为x轴的单位向量，则实际运动方向是基于坐标系的x轴而言，且实际运动方向的取值范围为0°到180°。

设置跑偏阈值，将传送带在正常运作的实际运动方向作为正常运动方向；当正常运动方向与实际运动方向的差值绝对值大于跑偏阈值时，则当前时刻的高强传送带出现跑偏问题，需要及时纠正。本发明实施例中跑偏阈值取经验值10°。

至此，本发明完成。

综上所述，本发明实施例中，在传送带工作过程中获取多张传送带图像，将传送带图像分割成像素块，根据像素块的梯度方向与传送带的疑似运动方向的差异获取像素块的方向特征值，结合像素块的位置和方向特征值得到像素块的匹配特征值；依据像素块与其邻域内像素块的周围分布信息差异及匹配特征值获取分布差异值，并结合方向特征值与相邻像素块的灰度差异获取像素块的匹配可信度；根据在相邻帧图像中匹配的像素块之间的灰度差异、邻域内像素块的分布差异值的差异与匹配可信度获取匹配差异度，基于匹配差异度获取像素块的运动向量判断传送带的跑偏情况，提高了对高强输送带的跑偏检测的准确率。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (4)

1.一种基于计算机视觉的高强传送带跑偏检测方法，其特征在于，该方法包括：

获取高强传送带运动过程中至少两帧传送带图像；将所述传送带图像分割为预设尺寸的像素块；

获取传送带的疑似运动方向，根据所述传送带图像中每个所述像素块的梯度方向与传送带的所述疑似运动方向之间差异获取对应像素块的方向特征值；依据像素块所处的位置与所述方向特征值获取对应像素块的匹配特征值；

根据传送带图像中每个像素块与其邻域内其他像素块的周围分布信息的差异，及所述匹配特征值获取每个像素块的分布差异值；结合每个像素块与其邻域内像素块之间的灰度差异、所述分布差异值与所述方向特征值获取像素块的匹配可信度；

将传送带图像中每个像素块与其相邻帧图像内的像素块进行匹配，根据待匹配的两个像素块之间的灰度差异、其邻域内对应像素块的所述分布差异值的差异与所述匹配可信度获取待匹配的两个像素块的匹配差异度；

基于所述匹配差异度获取匹配像素块对，根据所述匹配像素块对获得运动向量，根据运动向量对高强传送带进行跑偏检测；

所述疑似运动方向的获取方法，包括：

将所述传送带图像放入平面直角坐标系中，以传送带图像的左下角作为平面直角坐标系的坐标原点；

对所述传送带图像进行霍夫直线检测获取待测直线；

设置长度阈值；统计所述待测直线上像素点的数量，将像素点数量大于等于长度阈值的待测直线作为传送带边缘直线；

将所述传送带边缘直线的两个端点中与所述坐标原点之间距离较小的端点作为传送带边缘直线的起点，距离较大的端点作为传送带边缘直线的终点，得到所述传送带边缘直线对应的边缘向量，将所有所述边缘向量相加得到传送带向量，将所述传送带向量与预设向量之间的角度作为所述疑似运动方向；

所述匹配特征值的获取方法，包括：

将每个像素块内像素点的灰度值均值作为对应像素块的灰度特征值；

基于像素块的所述灰度特征值使用区域生长算法获取连通域；将位于所述连通域边缘位置的像素块作为边缘像素块；

将每个像素块所在连通域内各边缘像素块与所述像素块之间距离的最小值作为对应像素块的边缘距离值；所述边缘像素块的边缘距离值为预设数值，所述预设数值为正数并且小于所有非边缘像素块的边缘距离值；将每个像素块所在连通域内各边缘像素块的所述方向特征值的均值作为对应像素块的整体方向特征值；将每个像素块的所述边缘距离值与所述整体方向特征值的乘积作为对应像素块的所述匹配特征值；

所述分布差异值的获取方法，包括：

选取传送带图像中任意像素块作为目标像素块；

将所述目标像素块的预设第一邻域内每个像素块与所述目标像素块之间的分布值进行累加，得到目标像素块的整体分布值；

将所述目标像素块的所述整体分布值与所述匹配特征值的比值作为目标像素块的所述分布差异值；改变目标像素块，获取每个像素块的分布差异值；

所述匹配差异度的获取方法，包括：

所述目标像素块所在图像的相邻帧图像中任意一个像素块作为所述目标像素块的待匹配像素块；

计算所述目标像素块与所述待匹配像素块之间所述灰度特征值的差异作为目标像素块的匹配灰度特征值；

计算所述目标像素块的预设第二邻域内每个像素块与所述待匹配像素块的预设第二邻域内对应像素块之间所述分布差异值的差值绝对值，作为目标像素块的预设第二邻域内每个像素块的匹配分布差异值；将目标像素块的预设第二邻域内每个像素块的所述匹配分布差异值作为分子，所述匹配可信度与预设常数的和作为分母得到的比值进行累加，得到所述目标像素块的初始匹配差异度；

将目标像素块的所述匹配灰度特征值与所述初始匹配差异度的乘积作为目标像素块与所述待匹配像素块的匹配差异度；

改变目标像素块，获取传送带图像中每个像素块与对应待匹配像素块的所述匹配差异度；

所述分布值的获取方法，包括：

基于目标像素块的预设第一邻域内各像素块与目标像素块之间所述灰度特征值的差异对预设第一邻域内的像素块进行聚类，获取所述目标像素块的灰度差异类别；

选取任意所述灰度差异类别作为目标类别，在所述目标像素块的预设第一邻域中，将所述目标类别中像素块在的位置标记为1，其他位置标记为0，根据标记值获得纹理分布编码，将所述纹理分布编码转换至十进制数，获得目标类别的纹理分布值；改变目标类别，获取目标像素块的每个灰度差异类别的纹理分布值；

改变所述目标像素块，获取每个像素块的各灰度差异类别的纹理分布值，所述每个像素块的所述灰度差异类别的数量相同；

将任意两个像素块的每个所述灰度差异类别之间纹理分布值的差异累加，得到对应两个像素块之间的所述分布值。

2.根据权利要求1所述的一种基于计算机视觉的高强传送带跑偏检测方法，其特征在于，所述方向特征值的获取方法，包括：

使用Sobel算子获取所述传送带图像中每个所述像素块的梯度方向，将每个像素块的所述梯度方向与所述疑似运动方向的差值绝对值作为对应像素块的方向特征值。

3.根据权利要求1所述的一种基于计算机视觉的高强传送带跑偏检测方法，其特征在于，所述匹配可信度的获取方法，包括：

计算所述目标像素块与其预设第一邻域内各像素块之间所述灰度特征值的差异的均值，得到目标像素块的整体灰度差异值；改变目标像素块，获取每个像素块的所述整体灰度差异值；

将每个像素块的所述方向特征值进行负相关映射，获取对应像素块的最终方向特征值；

将每个像素块的所述整体灰度差异值、所述分布差异值与所述最终方向特征值的乘积作为对应像素块的所述匹配可信度。

4.根据权利要求1所述的一种基于计算机视觉的高强传送带跑偏检测方法，其特征在于，所述跑偏检测的具体方法，为：

根据匹配差异度对相邻帧传送带图像使用三步搜索法进行匹配，获得所述匹配像素块对；根据所述匹配像素块对内两个像素块的位置获取传送带图像中每个像素块的运动向量；

设置模长阈值，计算传送带图像中每个像素块的所述运动向量的模长，将模长大于所述模长阈值的运动方向对应的像素块作为运动像素块；

将传送带图像中所有所述运动像素块的所述运动向量相加得到实际运动向量，将所述实际运动向量与预设向量的角度作为传送带的实际运动方向；

设置跑偏阈值，将传送带在正常运作的所述实际运动方向作为正常运动方向；当所述正常运动方向与所述实际运动方向的差值绝对值大于跑偏阈值时，则当前时刻的高强传送带出现跑偏问题。