CN111573200B - 一种井下皮带转接处堵塞的视觉检测系统及检测方法 - Google Patents

Abstract

本发明公开了一种井下皮带转接处堵塞的视觉检测系统，包括第一皮带和第二皮带，第一皮带和第二皮带的连接处设置有门形挡板支架，两个门形挡板支架侧部通过挡板连接，挡板侧壁竖直安装有摄像头支架，摄像头支架上安装有俯摄像头，第一皮带运行反方向处安装有门形支架，门形支架顶部安装有前摄像头，前摄像头、俯摄像头和第一皮带和第二皮带的控制器均与工控机连接。还公开了其视觉检测方法，首先，对前摄像头的图像进行堵塞检测，控制井下皮带速度，之后对俯摄像头的图像进行堵塞检测，最后，将结果上传数据库。采用构建视频井下转接处堵塞采集系统，运用图像方法检测转接处堵塞算法，实时检测井下转接处堵塞并分析堵塞原因并实时可视化展示。

Description

一种井下皮带转接处堵塞的视觉检测系统及检测方法

技术领域

本发明属于视觉检测技术领域，具体涉及一种井下皮带转接处堵塞的视觉检测系统，还涉及该井下皮带转接处堵塞的视觉检测方法。

背景技术

井下皮带运输系统是煤矿开采的重要组成部分，皮带运输系统的正常运行是煤矿安全产出，稳定发展的基础之一。在实际生产中，由于开采中各种条件的影响，开采中产生的大块物、锚杆等物品会造成井下皮带转接处的堵塞，从而影响生产，危害井下设备安全运行。这使得实时检测井下转接处状态成为不可避免的问题，如何检测井下皮带转接处运行情况，分析转接处堵塞发生时的堵塞原因是需要目前解决的问题，从而及时告知工作人员，降低煤矿安全生产的隐患，提高煤矿企业产能与井下皮带寿命。

当前实时检测转接处情况的发放主要为现场工人定点负责与人为视频监控等人为方式，判断转接处是否产生堵塞情况，这种方式劳动量大且成本较高；随着图像处理技术的发展，图像检测井下转接处堵塞并分析堵塞原因安装方便且成本较低，原有传感器方法通过堵塞传感器检测皮带堵塞情况，这种方法不能有效分析堵塞原因，无法可视化展示堵塞情况，有必要提出进一步改善方案。

发明内容

本发明的目的是提供一种井下皮带转接处堵塞的视觉检测系统，解决了现有技术中检测效率低、检测成本高的问题。

本发明的另一目的是提供该井下皮带转接处堵塞的视觉检测方法，能够通过视频方式实时检测井下转接处堵塞并分析堵塞原因并实时可视化展示。

本发明所采用技术方案是，一种井下皮带转接处堵塞的视觉检测系统，包括第一皮带和第二皮带，第一皮带和第二皮带的连接处设置有门形挡板支架，两个门形挡板支架呈相对设置，且两个门形挡板支架侧部通过挡板连接，挡板远离第一皮带的侧壁竖直安装有倒L型的摄像头支架，摄像头支架上安装有俯摄像头，第一皮带运行反方向处安装有平行于门形挡板支架的门形支架，门形支架顶部安装有用于采集皮带转接处堵塞图像的前摄像头，前摄像头、俯摄像头和第一皮带和第二皮带的控制器均与工控机连接。

本发明的特点还在于，

第一皮带底部均匀固定有多个滚筒。

两个门形挡板支架的间距大于第二皮带宽度，第一皮带和第二皮带运行速度均为3m/s～5m/s。

摄像头支架与挡板之间的距离大于0.5m；门形支架与门形挡板支架之间的距离为3-5m。

本发明所采用的另一技术方案是，一种井下皮带转接处堵塞的视觉检测方法，具体按照以下步骤实施：

步骤1、对前摄像头中采集的图像进行预处理；

步骤2、检测预处理输出图像是否存在堵塞现象；

步骤3、控制井下皮带速度：若皮带转接处存在堵塞，则通过工控机控制井下皮带PLC控制器减速，若皮带转接处未存在堵塞，则保持皮带正常运行速度运行；

步骤4、井下皮带转接处产生堵塞时，工控机控制打开俯摄像头，俯摄像头采集图像，并进行ROI敏感区划分，得到经过划分的矩形敏感区有效图像；对矩形敏感区有效图像进行双边滤波用以增强图像梯度，得到俯摄像头预处理图像；

俯摄像头的ROI敏感区由敏感区左上顶点坐标(x₃,y₃)与右下顶点坐标(x₄,y₄)构成；

步骤5、对俯摄像头预处理图像运用Canny算子，得到边沿图像，将边沿图像带入霍夫直线检测算法中，判断边沿图像中是否存在直线；当霍夫直线检测中直线距离大于阈值ε，60≤ε≤70，则说明堵塞图像中存在锚杆，工控机向报警器发出锚杆堵塞的信号，反之则只存在大块物堵塞；

步骤6、工控机发出报警信号，井下转接处发生堵塞时的前摄像头2IP地址、堵塞时间、堵塞原因上传至数据库，用于提醒现场工人、便于改造、历史数据查询。

本发明的特点还在于，

步骤1中，具体为：

步骤101、读取前摄像头实时视频流，利用前摄像头采集井下皮带转接处的实时图像，输入工控机中进行处理；

步骤102、设置对比度、亮度参数，利用设置的常数参数增强井下图像亮度与对比度，如公式(1)所示，得到图像对比度、亮度增强图像；

Z(x,y)＝(f(x,y))^a+b (1)；

式(1)中，f(x,y)为前摄像头2采集井下皮带转接处实时图像(x,y)处归一化后的像素值，Z(x,y)为输出图像对比度、亮度增强图，a为对比度系数，b为亮度系数；a＝0.5，b＝10；

步骤103、将对比度、亮度增强图像进行高斯滤波，得到高斯滤波后的井下转接处图像；

高斯滤波模板为41×41，高斯滤波中标准差σ取值为0-1；

步骤104、对高斯滤波图像进行双边滤波，得到消除方块效应的预处理输出图像。

步骤2中，具体为：

步骤201、ROI矩形敏感区划分，矩形敏感区有效利用工控机算力，排除图像中其他干扰；

ROI矩形敏感区由左上顶点坐标(x₁,y₁)与矩形敏感区长宽w、h四个参数决定，通过设定给出敏感区左上顶点坐标(x₁,y₁)与右下定点坐标(x₂,y₂)，敏感区域需涵盖图像两个门形挡板支架，w＝y₂-y₁，h＝x₂-x₁，将原图以左上顶点为起始点裁剪为w*h的矩阵，完成对ROI敏感区划分；

步骤202、将工控机中接收到的第一帧预处理图像作为背景帧，实时预处理图像为前景帧，利用背景剪除法以像素为单位进行运算，将前景帧与背景帧以像素为单位相减，得到前景二值图像；其中前景为白色；之后将前景二值图像进行形态学闭运算，即先膨胀后腐蚀，膨胀卷积大小为7×7，腐蚀卷积大小为3×3；

背景剪除法，采用公式(2)，得到前景二值图像；

q(x,y)-B(x,y)＝η (2)；

a为背景剪除法阈值，由于背景皮带与堵塞大块颜色相似，a设置为30；若η≤a，则(x,y)点为背景点；若η＞a，则(x,y)点为前景点；其中q(x,y)为在(x,y)点前景图像，B(x,y)为在(x,y)点背景图像；

步骤203、将单张前景二值图像像素点进行统计，得到二值图像中前景像素点数sum，利用公式(3)，得到前景百分比，利用阈值b＝0.35判断二值图像中前景是否大于阈值，若大于阈值，则转接处存在堵塞，进行下一步，反之皮带未产生堵塞，重复进行步骤202和203继续下一帧运算；

式(3)中，S为单张二值图像像素数量，S_sum为前景百分比；

sum初始值为0，遍历循环前景图像，若在(x,y)像素处f(x,y)＝255，则sum+1，即若像素(x,y)为前景，则统计前景像素个数加1，直至统计全部前景像素个数。

本发明的有益效果是：

通过图像预处理、背景减除法与霍夫直线法检测井下皮带转接处堵塞情况与堵塞原因分析，解决了针对人工检测方法成本高、浪费劳动力，针对原传感器检测方法中无法分析堵塞原因、无法可视化展示等问题，从而提高井下皮带系统的运行的安全性，延长井下设备的使用寿命，便于推广使用。

附图说明

图1为本发明一种井下皮带转接处堵塞的视觉检测系统的结构示意图；

图2为本发明一种井下皮带转接处堵塞的视觉检测方法的流程图；

图3为本发明一种井下皮带转接处堵塞的视觉检测方法中前摄像头预处理方法的流程图；

图4为本发明一种井下皮带转接处堵塞的视觉检测方法中前摄像头转接处堵塞检测方法的流程图；

图5为本发明一种井下皮带转接处堵塞的视觉检测方法中俯摄像头堵塞检测方法的流程图。

图中，1.门形支架，2.前摄像头，3.挡板，4.摄像头支架，5.俯摄像头，6.挡板门形支架，7.第一皮带，8.滚筒，9.第二皮带。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种井下皮带转接处堵塞的视觉检测系统，如图1所示，包括第一皮带7和第二皮带9，第一皮带7和第二皮带9的连接均设置有门形挡板支架6，两个门形挡板支架6呈相对设置，且通过两个门形挡板支架6侧部通过挡板3连接，挡板3位于第二皮带9的对立侧，用于防止煤流洒漏，挡板3远离第一皮带7的侧壁竖直安装有倒L型的摄像头支架4，摄像头支架4上安装有俯摄像头5，用于采集转接处图像；第一皮带7运行反方向处安装有门形支架1，门形挡板支架6与门形支架1平行，门形支架1顶部安装有用于采集皮带转接处堵塞图像的前摄像头2，前摄像头2、俯摄像头5和第一皮带7和第二皮带9的控制器均与工控机连接，第一皮带7底部均匀固定有多个滚筒8，滚筒8与地面接触，使得第一皮带7传送结构紧凑；

利用在门型支架1顶部安装的摄像头2用于检测转接处是否产生堵塞，避免由于皮带反射光对检测带来的干扰，利用在倒L型的摄像头支架4上的摄像头5用于检测转接处堵塞可能产生的原因，避免由于煤块遮挡带来的误识别，两个门形挡板支架6的间距大于第二皮带9宽度，第一皮带7和第二皮带9运行速度均为3m/s～5m/s；

前摄像头2的摄像端偏向于第一皮带7的输煤方向，前摄像头2与第一皮带7的皮带面水平；俯摄像头5俯视采集第一皮带7图像；摄像头支架4与挡板3之间的距离大于0.5m；门形支架1与门形挡板支架6相距3-5m。前摄像头2与俯摄像头5均采用200万像素防爆摄像头。

本发明一种井下皮带转接处堵塞的视觉检测方法，采用上述描述的视觉检测系统，如图2所示，具体按照以下步骤实施：

步骤1、对前摄像头2中采集的图像进行预处理，如图3所示，具体为：

步骤101、读取前摄像头2实时视频流，利用前摄像头2采集井下皮带转接处的实时图像，输入工控机中进行处理；

步骤102、设置对比度、亮度参数，利用设置的常数参数增强井下图像亮度与对比度，如公式(1)所示，得到图像对比度、亮度增强图像；

Z(x,y)＝(f(x,y))^a+b (1)；

式(1)中，f(x,y)为前摄像头2采集井下皮带转接处实时图像(x,y)处归一化后的像素值，Z(x,y)为输出图像对比度、亮度增强图，a为对比度系数，b为亮度系数；a选取0.5，b选取10；

步骤103、将对比度、亮度增强图像进行高斯滤波，得到高斯滤波后的井下转接处图像；

高斯滤波模板为41×41，高斯滤波中标准差σ取值为0-1；

步骤104、对高斯滤波图像进行双边滤波，得到消除方块效应的预处理输出图像；

步骤2、检测预处理输出图像是否存在堵塞现象，如图4所示，具体为：

步骤201、ROI矩形敏感区划分，矩形敏感区有效利用工控机算力，排除图像中其他干扰；

ROI矩形敏感区由左上顶点坐标(x₁,y₁)与矩形敏感区长宽w、h四个参数决定，通过人为设定给出敏感区左上顶点坐标(x₁,y₁)与右下定点坐标(x₂,y₂)，敏感区域需涵盖图像两个门形挡板支架6，w＝y₂-y₁，h＝x₂-x₁，将原图以左上顶点为起始点裁剪为w*h的矩阵，完成对ROI敏感区划分；

步骤202、将工控机中接收到的第一帧预处理图像作为背景帧，实时预处理图像为前景帧，利用背景剪除法以像素为单位进行运算，将前景帧与背景帧以像素为单位相减，得到前景二值图像；其中前景为白色；之后将前景二值图像进行形态学闭运算，即先膨胀后腐蚀，避免部分前景图像未能有效识别，增大前景像素面积，膨胀卷积大小为7×7，腐蚀卷积大小为3×3；

背景剪除法，采用公式(2)，得到前景二值图像；

q(x,y)-B(x,y)＝η (2)；

a为背景剪除法阈值，由于背景皮带与堵塞大块颜色相似，a设置为30；若η≤a，则(x,y)点为背景点；若η＞a，则(x,y)点为前景点；其中q(x,y)为在(x,y)点前景图像，B(x,y)为在(x,y)点背景图像。

步骤203、将单张前景二值图像像素点进行统计，得到二值图像中前景像素点数sum，利用公式(3)，得到前景占二值图像中百分比(前景百分比)，设置阈值b判断二值图像中前景是否大于阈值，若大于阈值，则转接处存在堵塞，进行下一步，反之皮带未产生堵塞，重复进行步骤202和203继续下一帧运算；

式(3)中，S为单张二值图像像素数量，S_sum为前景百分比；

sum初始值为0，遍历循环前景图像，若在(x,y)像素处f(x,y)＝255，则sum+1，即若像素(x,y)为前景，则统计前景像素个数加1，直至统计全部前景像素个数；S＝w×h；在平煤八矿现场条件下，在未发生转接处堵塞时，S_sum并非一直处于0不发生变化，由于皮带反光与煤流中矸石亮度相对有所差异，都会对前景百分比产生影响，前景百分比往往在0～0.15波动变化，最大不超过0.3；当转接处发生堵塞时，一般堵塞越严重S_sum越高，受现场灯光影响，随着堵塞程度的增加，S_sum波动上升，前景百分比一般处于0.35～0.75，一般不会低于0.25；设置阈值b＝0.35，若前景百分比S_sum大于0.35，则转接处堵塞，若前景百分比S_sum小于0.35，则转接处未堵塞；

步骤3、控制井下皮带速度：若皮带转接处存在堵塞，则通过工控机控制井下皮带PLC控制器减速，若皮带转接处未存在堵塞，则保持皮带正常运行速度运行；

步骤4、井下皮带转接处产生堵塞时，工控机控制打开俯摄像头5，俯摄像头5采集图像，如图5所示，并进行ROI敏感区划分，得到经过划分的矩形敏感区有效图像；对矩形敏感区有效图像进行双边滤波用以增强图像梯度，得到俯摄像头5预处理图像；

俯摄像头5的ROI敏感区由敏感区左上顶点坐标(x₃,y₃)与右下顶点坐标(x₄,y₄)构成，设定敏感区顶点坐标，敏感区需涵盖两个门形挡板支架6之间的第一皮带7，y₄-y₃＝w₁需大于第二皮带9宽度，x₄-x₃＝h₁需大于第一皮带7宽度，并对俯摄像头5的图像进行裁剪；

步骤5、对俯摄像头5预处理图像运用Canny算子，得到边沿图像，将边沿图像带入霍夫直线检测算法中，判断所述边沿图像中是否存在直线；当霍夫直线检测中直线距离大于阈值ε，则说明堵塞图像中存在锚杆；

堵塞发生时，煤块也会检测到直线，但锚杆检测到的直线比煤块长度长，一般检测到的煤块最大长度不超过50，一般检测到的锚杆长度不低于80，设置阈值60≤ε≤70，避免转接处堵塞时煤块对锚杆检测的影响；但随着堵塞程度的增加，锚杆可能被煤流覆盖，无法检测到锚杆；所以如在堵塞发生的初始阶段检测到锚杆存在，则认为该堵塞中存在锚杆，工控机向报警器发出锚杆堵塞的信号，反之则只存在大块物堵塞。

步骤6、当工控机发出报警信号，若堵塞中只含有大块物，通过声光报警器发出闪烁黄色警示灯，提醒工作人员及时清理大块物堵塞；若堵塞中存在锚杆，提醒工作人员堵塞中存在锚杆，需小心清理，避免清理过程由于锚杆对皮带的二次损伤，另外，井下转接处发生堵塞时的前摄像头2IP地址、堵塞时间、堵塞原因上传至数据库，用于提醒现场工人、便于改造、历史数据查询。

声光报警为KXB18A矿用本安型声光报警器；

通过在平煤8矿井下15030搭接处进行测试，在转接处设置阈值b＝0.35，未发生堵塞时刻前景百分比100S_sum通常保持在5以下，发生堵塞时依照堵塞大小，前景百分比100S_sum通常保持在35以上；该方法检测未堵塞状态识别率精度高于99％，堵塞状态识别率精度高于90％；通过图像检测堵塞中是否含有锚杆，由于煤堆遮盖等问题，检测锚杆的检测精度高于60％；该方法能够通过非接触方式提醒现场工人转接处是否发生堵塞，便于现场工人及时清理，防止由于堵塞时间过长，对皮带产生的二次损害。

Claims (3)

1.一种井下皮带转接处堵塞的视觉检测方法，采用一种井下皮带转接处堵塞的视觉检测系统来实现，具体结构为：包括第一皮带(7)和第二皮带(9)，所述第一皮带(7)和第二皮带(9)的连接处设置有门形挡板支架(6)，两个所述门形挡板支架(6)呈相对设置，且两个所述门形挡板支架(6)侧部通过挡板(3)连接，所述挡板(3)远离第一皮带(7)的侧壁竖直安装有倒L型的摄像头支架(4)，所述摄像头支架(4)上安装有俯摄像头(5)，所述第一皮带(7)运行反方向处安装有平行于门形挡板支架(6)的门形支架(1)，所述门形支架(1)顶部安装有用于采集皮带转接处堵塞图像的前摄像头(2)，所述前摄像头(2)、俯摄像头(5)和第一皮带(7)和第二皮带(9)的控制器均与工控机连接；所述第一皮带(7)底部均匀固定有多个滚筒(8)；两个所述门形挡板支架(6)的间距大于第二皮带(9)宽度，所述第一皮带(7)和第二皮带(9)运行速度均为3m/s～5m/s；所述摄像头支架(4)与挡板(3)之间的距离大于0.5m；所述门形支架(1)与门形挡板支架(6)之间的距离为3-5m；其特征在于，具体按照以下步骤实施：

步骤1、对前摄像头(2)中采集的图像进行预处理；

步骤2、检测预处理输出图像是否存在堵塞现象；

步骤3、控制井下皮带速度：若皮带转接处存在堵塞，则通过工控机控制井下皮带PLC控制器减速，若皮带转接处未存在堵塞，则保持皮带正常运行速度运行；

步骤4、井下皮带转接处产生堵塞时，工控机控制打开俯摄像头(5)，俯摄像头(5)采集图像，并进行ROI敏感区划分，得到经过划分的矩形敏感区有效图像；对矩形敏感区有效图像进行双边滤波用以增强图像梯度，得到俯摄像头(5)预处理图像；

俯摄像头(5)的ROI敏感区由敏感区左上顶点坐标(x₃,y₃)与右下顶点坐标(x₄,y₄)构成；

步骤5、对俯摄像头(5)预处理图像运用Canny算子，得到边沿图像，将边沿图像带入霍夫直线检测算法中，判断边沿图像中是否存在直线；当霍夫直线检测中直线距离大于阈值ε，60≤ε≤70，则说明堵塞图像中存在锚杆，工控机向报警器发出锚杆堵塞的信号，反之则只存在大块物堵塞；

步骤6、工控机发出报警信号，井下转接处发生堵塞时的前摄像头2IP地址、堵塞时间、堵塞原因上传至数据库，用于提醒现场工人、便于改造、历史数据查询。

2.根据权利要求1所述的一种井下皮带转接处堵塞的视觉检测方法，其特征在于，所述步骤1中，具体为：

步骤101、读取前摄像头(2)实时视频流，利用前摄像头(2)采集井下皮带转接处的实时图像，输入工控机中进行处理；

步骤102、设置对比度、亮度参数，利用设置的常数参数增强井下图像亮度与对比度，如公式(1)所示，得到图像对比度、亮度增强图像；

Z(x,y)＝(f(x,y))^a+b (1)；

式(1)中，f(x,y)为前摄像头(2)采集井下皮带转接处实时图像(x,y)处归一化后的像素值，Z(x,y)为输出图像对比度、亮度增强图，a为对比度系数，b为亮度系数；a＝0.5，b＝10；

步骤103、将对比度、亮度增强图像进行高斯滤波，得到高斯滤波后的井下转接处图像；

高斯滤波模板为41×41，高斯滤波中标准差σ取值为0-1；

步骤104、对高斯滤波图像进行双边滤波，得到消除方块效应的预处理输出图像。

3.根据权利要求2所述的一种井下皮带转接处堵塞的视觉检测方法，其特征在于，所述步骤2中，具体为：

步骤201、ROI矩形敏感区划分，矩形敏感区有效利用工控机算力，排除图像中其他干扰；

ROI矩形敏感区由左上顶点坐标(x₁,y₁)与矩形敏感区长宽w、h四个参数决定，通过设定给出敏感区左上顶点坐标(x₁,y₁)与右下定点坐标(x₂,y₂)，敏感区域需涵盖图像两个门形挡板支架(6)，w＝y₂-y₁，h＝x₂-x₁，将原图以左上顶点为起始点裁剪为w*h的矩阵，完成对ROI敏感区划分；

步骤202、将工控机中接收到的第一帧预处理图像作为背景帧，实时预处理图像为前景帧，利用背景剪除法以像素为单位进行运算，将前景帧与背景帧以像素为单位相减，得到前景二值图像；其中前景为白色；之后将前景二值图像进行形态学闭运算，即先膨胀后腐蚀，膨胀卷积大小为7×7，腐蚀卷积大小为3×3；

背景剪除法，采用公式(2)，得到前景二值图像；

q(x,y)-B(x,y)＝η (2)；

a为背景剪除法阈值，由于背景皮带与堵塞大块颜色相似，a设置为30；若η≤a，则(x,y)点为背景点；若η＞a，则(x,y)点为前景点；其中q(x,y)为在(x,y)点前景图像，B(x,y)为在(x,y)点背景图像；

步骤203、将单张前景二值图像像素点进行统计，得到二值图像中前景像素点数sum，利用公式(3)，得到前景百分比，利用阈值b＝0.35判断二值图像中前景是否大于阈值，若大于阈值，则转接处存在堵塞，进行下一步，反之皮带未产生堵塞，重复进行步骤202和203继续下一帧运算；

式(3)中，S为单张二值图像像素数量，S_sum为前景百分比；

sum初始值为0，遍历循环前景图像，若在(x,y)像素处f(x,y)＝255，则sum+1，即若像素(x,y)为前景，则统计前景像素个数加1，直至统计全部前景像素个数。

Images