CN105083912B - 一种基于图像识别的输送带跑偏检测方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的输送带跑偏检测方法，该方法包括下述步骤：采集实时图像，获取灰度图像；利用边缘检测器检测灰度图像中各对象的边缘；利用基于形状和方向性的滤波模板对边缘图像滤波，获得与输送带运行方向相同的直线型边缘图像；采用二维矩阵对连续的边缘进行标记；根据已知的、输送带未偏离时的输送带基准边缘识别出实时图像中的输送带实时边缘；确定实时边缘的跑偏距离及跑偏程度。本发明通过对视频设备采集的实时图像进行边缘检测、利用图像识别技术将检测到的边缘与基准输送带边缘进行匹配识别，确定出输送带边缘，提高了输送带跑偏检测的可靠性和及时性。

Description

一种基于图像识别的输送带跑偏检测方法

技术领域

本发明属于运输设备技术领域，具体地说，是涉及一种基于图像识别的输送带跑偏检测方法。

背景技术

通用带式输送机主要由输送带、传动滚筒、拉紧装置、托辊机架、托辊轴以及传动装置等几部分组成。胶带绕经两端滚筒后，用胶带卡子或硫化方法，将两头接在一起，使之成为闭环结构的输送带。输送带由上、下托辊轴支承着，由拉紧装置拉紧，具有一定的张力。当主动滚筒被电动机带动而旋转时，借助于主动滚筒与输送带之间的摩擦力带着输送带连续运转，从而将装到输送带上的载货从卸载滚筒处卸载。输送带作为整个输送机的关键设备，它的安全、稳定运行直接影响到生产作业。如果输送带喂料不均匀、输送带过松或机身不正等，将导致输送带沿垂直于运行方向发生偏移，该现象称为输送带跑偏。输送带跑偏是带式输送机的最常见故障，跑偏轻则会导致撒料、影响生产进度及损害输送带和相关机械设备；如果是长距离输送，如矿井使用过程中，还会因输送带跑偏增加输送带运行阻力，可能会引起矿井火灾、人员伤亡等严重事故。

随着经济的发展、技术的进步，在安全生产方面的要求也在不断提高。早期输送带跑偏是通过机械或电子传感器获取输送带运行信息并进行分析、判断的技术方法。这种技术的缺点主要是：传感器装在输送带下方，极易受损而失效。之后出现由摄像机将输送带运行情况的视频图像汇集到监控中心，由人工通过观察去发现。这种方式的主要缺点是：①工作人员需要长时间且同时观察多处视频采集图像，很容易视觉疲劳；②为了人身安全且有大量的实时采集图像需观察，视频显示装置与人眼间需有一定的距离，使图像清晰度不够，造成人工判断失误的概率大。

为解决上述检测方式存在的问题，本申请人曾提出了一种基于边缘提取的输送带跑偏检测方法，通过对视频设备采集的原始图像进行边缘轮廓检测、边缘轮廓修复，直至提取到图像中输送带及转轴的边缘，利用提取到的边缘检测输送带是否跑偏。具体来说，是将输送带左侧转轴和输送带右侧转轴作为参照边缘，获取输送带运行过程中的实际左侧边缘和右侧边缘，根据输送带边缘与相应侧的转轴边缘之间的距离变化检测输送带是否跑偏。但是，在实际应用该检测方法时发现，由于采用灰度差值图像及二值化处理方式获得边缘轮廓，再采用沿某方向寻找中心点的方法提取输送带边缘与转轴边缘，再通过计算转轴边缘与输送带边缘的平均距离判断输送带是否跑偏，整个过程计算量非常大，处理速度慢，难以实现实时、快速地跑偏检测。而且，如果输送带跑偏过大，覆盖在转轴边缘，则该方法失效，通用性差。

发明内容

本发明的目的在于提供一种基于图像识别的输送带跑偏检测方法，解决现有技术存在的实时性和通用性较差的问题。

为达到上述发明目的，本发明采用下述技术方案予以实现：

一种基于图像识别的输送带跑偏检测方法，包括下述步骤：

步骤a1、获取灰度图像

采集实时图像，获取实时图像的长度h、宽度w及灰度图像f₁(x,y)；(x,y)为灰度图像中像素点的位置，x∈[0,h-1]，y∈[0,w-1]；

步骤a2、边缘检测

利用边缘检测器检测灰度图像f₁(x,y)中包含的所有对象的边缘，获得边缘图像f₂(x,y)；

步骤a3、边缘滤波

采用基于形状和方向性的滤波模板M_q(s,t)对边缘图像f₂(x,y)进行滤波，得到与输送带运行方向相同的直线型边缘图像f₃(x,y)；对于给定的m和n，m＞n，(2m+1)和(2n+1)分别为滤波模板M_q(s,t)的长度和宽度，(s,t)为滤波模板M_q(s,t)的坐标位置，t∈[-n,n],s∈[-m,m]；

步骤a4、边缘标记

将直线型边缘图像f₃(x,y)中的每条连续边缘表示为二维矩阵，记为edgex_k(i，j)；edgex_k表示第k段边缘，i表示二维矩阵的行，i＝1,2,…,I，I为边缘edgex_k沿实时图像长度方向的长度，j表示二维矩阵的列，j＝1或2，j＝1表示边缘edgex_k的x坐标值，j＝2表示边缘edgex_k的y坐标值；

步骤a5、实时输送带边缘识别

计算边缘标记后的任意两段边缘edgex_a、edgex_b间的距离d_ab(i)＝|edgex_a(i,2)-edgex_b(i,2)|，a,b∈k，将距离d_ab(i)与输送带基准左边缘Edge1和输送带基准右边缘Edge2间的距离d(i)＝|Edge1(i,2)-Edge2(i,2)|进行匹配，识别出输送带实时左边缘edgex_1r和输送带实时右边缘edgex_2r；Edge1(i,2)为输送带基准左边缘Edge1的二维矩阵Edge1(i,j)中的第二列，Edge2(i,2)为输送带基准右边缘Edge2的二维矩阵Edge2(i,j)中的第二列，输送带基准左边缘Edge1和输送带基准右边缘Edge2为已知的、输送带未偏离时的输送带左边缘和右边缘。

步骤a6、跑偏距离计算

计算输送带实时左边缘edgex_1r与输送带基准左边缘Edge1的距离d₁(i)＝|edgex_1r(i,2)-Edge1(i,2)|或输送带实时右边缘edgex_2r与输送带基准右边缘Edge2的距离d₂(i)＝|edgex_2r(i,2)-Edge2(i,2)|；

步骤a7、跑偏程度确定

根据公式或计算实时输送带跑偏值g，根据跑偏值g确定输送带是否跑偏及跑偏程度。

优选的，在所述步骤a3中，采用基于形状和方向性的滤波模板M_q(s,t)对边缘图像f₂(x,y)进行滤波，得到与输送带运行方向相同的直线型边缘图像f₃(x,y)，具体为：

其中，若f₂(x,y)＝1，temp(x,y)＝max(temp_q(x,y))，

优选的，所述步骤a5将距离d_ab(i)与输送带基准左边缘Edge1和输送带基准右边缘Edge2间的距离d(i)＝|Edge1(i,2)-Edge2(i,2)|进行匹配，识别出输送带实时左边缘edgex_1r和输送带实时右边缘edgex_2r，具体为：

计算d_ab(i)与输送带基准左边缘Edge1和输送带基准右边缘Edge2间的距离d(i)＝|Edge1(i,2)-Edge2(i,2)|的欧式最小距离将满足|d_ab(i)-d(i)|＝min_d的边缘edgex_a、edgex_b作为实时输送带的两边缘，并根据两边缘二维矩阵中的x坐标值分别标记为输送带实时左边缘edgex_1r和输送带实时右边缘edgex_2r。

优选的，所述步骤a1采集的原始图像为RGB彩色图像f(x,y)＝{f_R(x,y),f_G(x,y),f_B(x,y)}，其灰度图像为f₁(x,y)＝f_R(x,y)/3+f_G(x,y)/3+f_B(x,y)/3。

优选的，在所述步骤a7之后还包括下述步骤：

步骤a8、根据跑偏程度输出不同级别的报警信号。

与现有技术相比，本发明的优点和积极效果是：本发明利用边缘检测器快速、准确、方便得获取实时图像中各对象的边缘；利用基于形状和方向性的滤波器滤除部分与输送带边缘无关的边缘；通过初始化处理，预先、准确获取输送带未偏离时的左、右侧边缘作为基准边缘，获得输送带的基准位置及输送带宽度，利用图像识别技术将获取的实时图像的边缘与输送带基准边缘匹配，得到实时图像中输送带的实时边缘；再根据实时边缘与基准边缘的距离计算实时图像中输送带边缘的跑偏值，确定输送带跑偏程度。从而，提高了跑偏检测结果的及时性、可靠性和稳定性；而且，由于直接采用输送带边缘进行检测和判断，无需借助于转轴等其他参考边缘，提高了方法的通用性。进而，保证了及时发现跑偏，避免因未及时、准确发现跑偏而可能引发的严重事故。

结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。

附图说明

图1是本发明基于图像识别的输送带跑偏检测方法一个实施例的流程图；

图2是输送带未偏离时的初始化灰度图像；

图3是基于二维矩阵标示出的输送带基准边缘图像；

图4是输送带实时图像的灰度图像；

图5是对图4的灰度图像通过边缘检测器检测后的边缘图像；

图6是对图5的边缘图像滤波后的直线型边缘图像；

图7是在图6的各边缘中识别出的输送带实时边缘图像。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细的说明。

请参见图1，该图所示为本发明基于图像识别的输送带跑偏检测方法一个实施例的流程图。

该实施例记载的基于图像识别的输送带跑偏检测方法，核心技术思想是利用边缘检测器直接检测出实时图像中对象的边缘，再基于已知的、输送带未跑偏时的输送带左、右基准边缘对检测出来的边缘进行匹配、识别，从而识别出实时图像中的输送带左、右实时边缘，然后根据输送带基准边缘和实时边缘的位置进行处理，进而检测出当前输送带是否跑偏。因而，在对实时图像进行跑偏检测之前，需要预先获取输送带未跑偏时的输送带左、右基准边缘。该实施例通过对要检测的输送带进行初始化的方式获取到输送带的左、右基准边缘。

具体来说，初始化处理包括输送带初始化(即保证输送带处于非偏离位置)，获取初始化图像。如果以垂直和水平两个方向来定义图像的话，在水平方向定义图像宽度，垂直方向定义为图像长度，垂直方向是输送带运行方向，那么水平方向就是输送带运行过程中可能发生偏移的方向。在初始化图像中，输送带应该大约位于图像的中央处，占图像约1/3至2/3的宽度，保证输送带在图像中不是很大或很小。图像中像素点的坐标(x，y)以图像左上角为原点(0，0)，y坐标沿水平向右为正向(即取值增加的方向)，x坐标沿垂直向下为正向。

目前，摄像头所拍摄的图像一般多为彩色图像，用RGB三色分别表示为f_R(x,y)，f_G(x,y)和f_B(x,y)。对于彩色图像，需要将其转换为灰度图像f(x,y)。其中，(x,y)为灰度图像中像素点的位置，x∈[0,h-1]，y∈[0,w-1]。其中，h和w分别为灰度图像的长度和宽度。经灰度变换后的初始化灰度图像如图2所示。也即，图2示出了输送带未偏离时的初始化灰度图像。

然后，获取输送带基准左边缘Edge1和输送带基准右边缘Edge2。

图像的长度h是图像在x方向取值的最大差值，宽度w是图像在y方向的最大差值。输送带基准左边缘Edge1和输送带基准右边缘Edge2分别用二维矩阵Edge1(i,j)和Edge2(i,j)表示。其中，i表示二维矩阵的行，i＝1,2,…,I，I为边缘沿图像长度方向的长度。也即，i的取值从1开始为边缘的起始点，随着边缘向下延伸i逐次加1，边缘延伸的长度I为i的最大取值范围。因此，二维矩阵的行表示边缘在方向上的位置点，或者像素点位置。j表示二维矩阵的列，取值为1或2，即j＝1或2。j＝1，为二维矩阵的第一列，表示边缘的x坐标值；j＝2，为二维矩阵的第二列，表示边缘的y坐标值。例如Edge1(5,1)＝10，Edge1(5,2)＝20，表示输送带基准左边缘的第5位置点(即二维矩阵的第5行)，x坐标值10，而y坐标值是20。利用二维矩阵标示出的输送带边缘图像如图3所示，包括有输送带基准左边缘和基准右边缘。

然后，再计算输送带基准左边缘和基准右边缘的距离，获得输送带的宽度。

输送带宽度用一维列向量d表示，，具体是用输送带基准左边缘与基准右边缘的距离计算，用公式表示为：d(i)＝|Edge1(i,2)-Edge2(i,2)|。其中，Edge1(i,2)为输送带基准左边缘Edge1的二维矩阵Edge1(i,j)中的第二列，Edge2(i,2)为输送带基准右边缘Edge2的二维矩阵Edge2(i,j)中的第二列。

将上述初始化过程中得到的输送带基准左边缘Edge1的二维矩阵Edge1(i,j)、基准右边缘Edge2的二维矩阵Edge2(i,j)及两基准边缘的距离d(i)＝|Edge1(i,2)-Edge2(i,2)|存储起来，以备调用。基于上述初始化过程，该实施例检测输送带是否跑偏及跑偏程度的具体方法包括如下步骤：

步骤a1、获取灰度图像

采集实时图像，获取实时图像的长度h、宽度w及灰度图像f₁(x,y)。其中，(x,y)为灰度图像f₁(x,y)中像素点的位置，x∈[0,h-1]，y∈[0,w-1]。而且，实时图像的长度及宽度与初始化灰度图像一致。而且如前所述，摄像头所拍摄的实时图像一般均为彩色图像，因此，需要将彩色图像转换为灰度图像。将彩色图像转换为灰度图像可以采用多种不同的计算方式，在该实施例中，作为优选的实施方式，彩色图像的RGB表达式为f(x,y)＝{f_R(x,y),f_G(x,y),f_B(x,y)}，其灰度图像为f₁(x,y)＝f_R(x,y)/3+f_G(x,y)/3+f_B(x,y)/3。处理后的输送带实时图像的灰度图像f₁(x,y)如图4所示意。

步骤a2、边缘检测

利用边缘检测器检测灰度图像f₁(x,y)中包含的所有对象的边缘，获得边缘图像f₂(x,y)。在该步骤中，现有技术中能够从图像中检测出对象边缘的所有边缘检测器均可使用。作为优选的实施方式，采用Canny边缘检测器获取图像中各对象的边缘，得到边缘图像f₂(x,y)＝Edge_Canny(f₁(x,y))，以提高边缘检测的快速性和准确性。边缘图像f₂(x,y)如图5所示。

步骤a3、边缘滤波

采用基于形状和方向性的滤波模板M_q(s,t)对边缘图像f₂(x,y)进行滤波，得到与输送带运行方向相同的直线型边缘图像f₃(x,y)。在该实施例中，输送带运行方向为纵向，因此，滤波模板M_q(s,t)是具有直线型结构、且沿纵向方向上的滤波模板。其中，对于给定的m和n，m＞n，(2m+1)和(2n+1)分别为滤波模板M_q(s,t)的长度和宽度，(s,t)为滤波模板M_q(s,t)的坐标位置，t∈[-n,n],s∈[-m,m]。

作为优选实施方式，采用基于形状和方向性的滤波模板M_q(s,t)对边缘图像f₂(x,y)进行滤波，得到与输送带运行方向相同的直线型边缘图像f₃(x,y)，具体为：

其中，若f₂(x,y)＝1，temp(x,y)＝max(temp_q(x,y))， 采用该方法滤波后的直线型边缘图像f₃(x,y)如图6所示。

步骤a4、边缘标记

将直线型边缘图像f₃(x,y)中的每条连续边缘表示为二维矩阵，记为edgex_k(i，j)；edgex_k表示第k段边缘，也即不同连续边缘段的编号。而且，边缘段起始点的x坐标最小者编号为1，相同x，以y小者优先，即顺序为自上而下、从左到右。i表示二维矩阵的行，i＝1,2,…,I，I为边缘edgex_k沿实时图像长度方向的长度，j表示二维矩阵的列，j＝1或2，j＝1表示边缘edgex_k的x坐标值，j＝2表示边缘edgex_k的y坐标值。也即，表示成与初始化过程中与输送带基准边缘相同的二维矩阵。

步骤a5、实时输送带边缘识别

计算边缘标记后的任意两段边缘edgex_a、edgex_b间的距离d_ab(i)＝|edgex_a(i,2)-edgex_b(i,2)|，a,b∈k，将距离d_ab(i)与初始化时存储的输送带基准左边缘Edge1和输送带基准右边缘Edge2间的距离d(i)＝|Edge1(i,2)-Edge2(i,2)|进行匹配，识别出输送带实时左边缘edgex_1r和输送带实时右边缘edgex_2r。

距离的匹配，是寻找与基准边缘间的距离最接近的两段边缘，并将最接近的两段边缘判定为输送带实时边缘。

为提高匹配速度，该实施例优选采用如下的方式来实现实时边缘的识别：

计算d_ab(i)与输送带基准左边缘Edge1和输送带基准右边缘Edge2间的距离d(i)＝|Edge1(i,2)-Edge2(i,2)|的欧式最小距离将满足|d_ab(i)-d(i)|＝min_d的边缘edgex_a、edgex_b作为实时输送带的两边缘，并根据两边缘二维矩阵中的x坐标值分别标记为输送带实时左边缘edgex_1r和输送带实时右边缘edgex_2r。从滤波后的直线型边缘图像的各边缘中识别出的输送带实时边缘图像如图7所示。

本领域技术人员应当理解，除了上述的根据欧式距离方式进行匹配、识别输送带实时边缘之外，还可以采用其他的方式来实现，只要能够找到与基准边缘间的距离最接近的两段边缘即可。

步骤a6、跑偏距离计算

计算输送带实时左边缘edgex_1r与输送带基准左边缘Edge1的距离d₁(i)＝|edgex_1r(i,2)-Edge1(i,2)|或输送带实时右边缘edgex_2r与输送带基准右边缘Edge2的距离d₂(i)＝|edgex_2r(i,2)-Edge2(i,2)|。

步骤a7、跑偏程度确定

根据公式或计算实时输送带跑偏值g，根据跑偏值g确定输送带是否跑偏及跑偏程度。跑偏值g越大，跑偏程度越大，说明跑偏越严重。

例如，可以根据跑偏值g的大小分为三个跑偏程度等级，5％≤g≤10％为第一级，10％≤g≤20％为第二级，g≥20％为第三级，g≤5％表示输送带跑偏程度较小或未跑偏。

在确定出输送带是否跑偏及跑偏程度后，优选还包括下述步骤：

步骤a8、根据跑偏程度输出不同级别的报警信号。

当输送带跑偏程度达到相应的级别时，输出相应级别的报警信号，还可以采取相应的控制措施。若g≤5％，跑偏程度较小或未跑偏，则判定输送带偏离不严重，无需报警。

上述各步骤为对一幅实时图像的处理过程，处理完之后，循环执行上述各步骤，实现对输送带的连续检测。

上述实施例通过对实时采集的原始图像进行数据分析和处理，自动判断输送带是否出现跑偏，并按跑偏值的大小对跑偏程度进行分级。当输送带跑偏时，以其级别的不同而启动相应报警功能，避免仅靠人工视频监视可能出现的人为失误，在及时发现故障方面更可靠、稳定。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (4)

1.一种基于图像识别的输送带跑偏检测方法，其特征在于，所述方法包括下述步骤：

步骤a1、获取灰度图像

采集实时图像，获取实时图像的长度h、宽度w及灰度图像f₁(x,y)；(x,y)为灰度图像中像素点的位置，x∈[0,h-1]，y∈[0,w-1]；

步骤a2、边缘检测

利用边缘检测器检测灰度图像f₁(x,y)中包含的所有对象的边缘，获得边缘图像f₂(x,y)；

步骤a3、边缘滤波

采用基于形状和方向性的滤波模板M_q(s,t)对边缘图像f₂(x,y)进行滤波，得到与输送带运行方向相同的直线型边缘图像f₃(x,y)；对于给定的m和n，m＞n，(2m+1)和(2n+1)分别为滤波模板M_q(s,t)的长度和宽度，(s,t)为滤波模板M_q(s,t)的坐标位置，t∈[-n,n],s∈[-m,m]；

步骤a4、边缘标记

将直线型边缘图像f₃(x,y)中的每条连续边缘表示为二维矩阵，记为edgex_k(i，j)；edgex_k表示第k段边缘，i表示二维矩阵的行，i＝1,2,…,I，I为边缘edgex_k沿实时图像长度方向的长度，j表示二维矩阵的列，j＝1或2，j＝1表示边缘edgex_k的x坐标值，j＝2表示边缘edgex_k的y坐标值；

步骤a5、实时输送带边缘识别

计算边缘标记后的任意两段边缘edgex_a、edgex_b间的距离d_ab(i)＝|edgex_a(i,2)-edgex_b(i,2)|，a,b∈k，将距离d_ab(i)与输送带基准左边缘Edge1和输送带基准右边缘Edge2间的距离d(i)＝|Edge1(i,2)-Edge2(i,2)|进行匹配，识别出输送带实时左边缘edgex_1r和输送带实时右边缘edgex_2r；Edge1(i,2)为输送带基准左边缘Edge1的二维矩阵Edge1(i,j)中的第二列，Edge2(i,2)为输送带基准右边缘Edge2的二维矩阵Edge2(i,j)中的第二列，输送带基准左边缘Edge1和输送带基准右边缘Edge2为已知的、输送带未偏离时的输送带左边缘和右边缘。

步骤a6、跑偏距离计算

计算输送带实时左边缘edgex_1r与输送带基准左边缘Edge1的距离d₁(i)＝|edgex_1r(i,2)-Edge1(i,2)|或输送带实时右边缘edgex_2r与输送带基准右边缘Edge2的距离d₂(i)＝|edgex_2r(i,2)-Edge2(i,2)|；

步骤a7、跑偏程度确定

根据公式或计算实时输送带跑偏值g，根据跑偏值g确定输送带是否跑偏及跑偏程度；

在所述步骤a3中，采用基于形状和方向性的滤波模板M_q(s,t)对边缘图像f₂(x,y)进行滤波，得到与输送带运行方向相同的直线型边缘图像f₃(x,y)，具体为：

其中，若f₂(x,y)＝1，temp(x,y)＝max(temp_q(x,y))， q＝l+n，l∈[-n,n]。

2.根据权利要求1所述的方法，其特征在于，所述步骤a5将距离d_ab(i)与输送带基准左边缘Edge1和输送带基准右边缘Edge2间的距离d(i)＝|Edge1(i,2)-Edge2(i,2)|进行匹配，识别出输送带实时左边缘edgex_1r和输送带实时右边缘edgex_2r，具体为：

计算d_ab(i)与输送带基准左边缘Edge1和输送带基准右边缘Edge2间的距离d(i)＝|Edge1(i,2)-Edge2(i,2)|的欧式最小距离将满足|d_ab(i)-d(i)|＝min_d的边缘edgex_a、edgex_b作为实时输送带的两边缘，并根据两边缘二维矩阵中的x坐标值分别标记为输送带实时左边缘edgex_1r和输送带实时右边缘edgex_2r。

3.根据权利要求1所述的方法，其特征在于，所述步骤a1采集的原始图像为RGB彩色图像f(x,y)＝{f_R(x,y),f_G(x,y),f_B(x,y)}，其灰度图像为f₁(x,y)＝f_R(x,y)/3+f_G(x,y)/3+f_B(x,y)/3。

4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述步骤a7之后还包括下述步骤：

步骤a8、根据跑偏程度输出不同级别的报警信号。