CN110065790A - 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法 - Google Patents

一种基于视觉算法的煤矿皮带转运机头堵塞检测方法 Download PDF

Info

Publication number
CN110065790A
CN110065790A CN201910341880.1A CN201910341880A CN110065790A CN 110065790 A CN110065790 A CN 110065790A CN 201910341880 A CN201910341880 A CN 201910341880A CN 110065790 A CN110065790 A CN 110065790A
Authority
CN
China
Prior art keywords
belt feeder
dump
coal
belt
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910341880.1A
Other languages
English (en)
Other versions
CN110065790B (zh
Inventor
胡延军
崔海尚
徐志伟
李世银
宋金玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201910341880.1A priority Critical patent/CN110065790B/zh
Publication of CN110065790A publication Critical patent/CN110065790A/zh
Application granted granted Critical
Publication of CN110065790B publication Critical patent/CN110065790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00Control devices, e.g. for safety, warning or fault-correcting
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08Control devices operated by article or material being fed, conveyed or discharged
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0266Control or detection relating to the load carrier(s)
    • B65G2203/0291Speed of the load carrier
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/041Camera

Abstract

一种基于视觉算法的煤矿皮带转运机头堵塞检测方法,适用于煤炭井下皮带运输使用。首先,该模型对摄影机拍下的图像进行处理,并对皮带机A和皮带机B运煤进行速度估计,初步判断皮带是否正常运煤,并计算皮带机A和皮带机B速度差值;然后,基于视觉分割算法与基于视觉测量的煤量估计,计算出煤量;最后,通过比较煤量入和煤量出差值,皮带机A的速度差值和电流参数辅助决策,对煤矿皮带转运机头进行堵塞判断。其步骤简单,检测效果好,有效解决使用两个带式输送机,即皮带机A输送到皮带机B时,煤块堵塞检测问题。

Description

一种基于视觉算法的煤矿皮带转运机头堵塞检测方法
技术领域
本发明涉及一种煤矿皮带转运机头堵塞检测方法,尤其适用于一种煤矿生产中使用的基于视觉算法的煤矿皮带转运机头堵塞检测方法。
背景技术
随着我国煤炭生产的不断发展,矿井运输已趋于皮带化、高速化、大运量的皮带运输机已经成为我国煤矿井运输的主要工具。皮带转运在煤炭生产运输中扮演着重要环节,如果皮带转运时出现堵塞则会严重影响煤矿运输的的稳定性和安全性。现有的技术发现堵塞故障时间长,影响皮带的正常运转,影响运煤效率,影响产煤效率。当发现堵塞之后,只能先启动下皮带放煤,然后由下皮带带动机头皮带,将堵在机头的煤全部放掉。然后再将堵塞传感器重新复位,极大程度的影响产煤效率,至少耗时30min。现有的技术不仅发现堵塞故障时间长,而且准确率不高,有时会因为在矿井下情况,造成错误堵塞预警,使工人需要当场去确认检测。有的则是受环境干扰,需要定期去维护,极大的增加了维修成本,有的甚至会与煤产生火花,造成事故。
皮带转运主要有人工检测、传感器检测以及图像处理检测3种方式。目前大多采用堆煤传感器进行检测,大致分为3类:1)基于行程开关的堆煤传感器;2)基于水银开关或煤油开关的堆煤传感器;3)基于电极式原理的堆煤传感器;以上都是基于碰触检测方式来实现皮带堵塞检测,难免会发生大的煤块经过,或工人误碰时容易发生警报。还有以下不足之处:1)煤矿环境复杂,行程开关受煤尘湿气等外部环境影响常常不能及时堵塞预警,其耐用性、灵敏度、可靠性不理想;2)水银或煤油开关没法高精度检测,抗干扰能力弱;3)电极式堆煤传感器需定期清理电极座,维护频率高,准确率和误报率都与煤的干湿度有关。4)使用接触式传感器,存在机械磨损同时煤块与传感器摩擦容易产生火花,影响安全。5)检测不可视化,只能看到一些数字化指标,检测效果差。
发明内容
本发明的目的:针对上述技术的不足之处,提供一种方法简单,检测效果好,精度高的基于视觉算法的煤矿皮带转运机头堵塞检测方法。
为实现上述技术目的,本发明的基于视觉算法的煤矿皮带转运机头堵塞检测,步骤如下:
a.在距离皮带机A皮带头部10米处、正上方2.5米、夹角为60°处安装矿用摄像机C1和矿用摄像机C2,矿用摄像机C1和矿用摄像机C2距离间隔为30-50cm;在距离皮带机B皮带尾部5米处、正上方2.5米处、夹角为60°处安装矿用摄像机C3和矿用摄像机C4,矿用摄像机C3和矿用摄像机C4距离间隔为30-50cm,利用矿用摄像机采集皮带机上运输煤堆的视频图像;
b.由于煤堆的反射率明显高于皮带机,因此煤堆总处在视频的最亮位置;将采集到的视频图像转换为灰色视频图像,从矿用摄像机C1的视频图像中截取相邻两帧时间记录为t1和t2的图片,因为当前矿用摄像机的帧速率FPS保持在30帧,两帧之间的时间间隔为Δt=t2-t1=0.033s。
c.利用灰度切割法将时间记录为t1和t2的两帧图片中各个像素的灰度值进行判定,当像素的灰度值大于预设阈值max时,判断此像素为煤堆区域;若时间记录为t1和t2的两帧图片中任意一帧图片中没有大于预设阈值max的像素存在则重新随机寻找相邻两帧图片;
d.由于皮带机上的煤堆随机堆放,因此煤堆的轮廓形状是独一无二的,通过特征匹配对时间记录为t1和t2的两帧图片中的煤堆轮廓特征进行比较,找到匹配的图像点对,从而判断t1和t2两帧图片中的煤堆是否为同一煤堆;当判断为同一煤堆时,测量同一煤堆在摄像机C1的时间记录为t1和t2时刻两个相邻帧之间的时间间隔Δt=0.033s内随皮带机A移动的距离ΔS;如果判断不是同一堆煤时,则重新截取相邻两帧图片;
e.如果移动距离ΔS=0则判断此时皮带没有正常工作,矿用摄像机C1继续采集煤堆图像重复上述步骤,并报警;如果移动距离ΔS≠0时,,则利用公式:v=Δs/Δt计算皮带机A的运煤速度v1,;
f.皮带机B机尾部纵向正上方设置的矿用摄像机C3重复步骤b-步骤e,获得皮带机B的运煤速度v2;
g.比较皮带机A的运煤速度v1和皮带机B的运煤速度v2,若皮带机A的运煤速度v1小于皮带机B的运煤速度v2,则说明皮带机A上的煤堆可能积累过量从而使皮带机A的运煤速度变得缓慢,此时初步判断皮带机A发生堵塞;若皮带机A的运煤速度v1与皮带机B的运煤速度v2相等,则初步说明皮带机A和皮带机B工作正常未发生堵塞。
h.在运煤的过程中将皮带上的煤看成一个整体用煤堆表述,煤堆由大量的煤块组成,使用矿用摄像机C1和矿用摄像机C2对皮带机A上的煤堆进行拍摄获取两张图像,用视觉分割算法将两张图像中的煤堆分割为三维网格模型,同时利用基于种子点的三维网格模型分割算法选择相应的三维网络种子点模型构建三维网络主要种子集合,通过sift(Scale-invariant feature transform)算法匹配筛选模型特征点,即使用sift算法描述图像中的局部特征,在三维网络主要种子集合中寻找极值点作为特征点,并且提取出其三维网格特征点的位置;
在矿用摄像机C1与矿用摄像机C2分别拍摄的同一时刻的两张图像中采用sift匹配特征点的特性侦查对煤堆进行侦查,生成两张图像的sift特征:包括尺度缩放、旋转、亮度变化特征点,然后进行sift特征向量的匹配,三维网络筛选模型点中的每个独立的特征点,都表示一个被分割的网络组件,对所有网络组件和三维网络种子点模型分析,从而将煤堆分割为i个独立的煤块,分别计算出单个煤块的体积,再利用体积求和算出煤堆的总体积,即算出皮带机A机头煤堆的总体积VA,同上述步骤,通过摄像机C3和摄像机C4两个摄像机,算出皮带机B机尾煤堆的总体积VB
i.通过步骤e,判断皮带机A和皮带机B是否在正常运转,在保证皮带机正常工作情况下,通过皮带机A煤堆的体积和皮带机B煤堆的体积比较,判断皮带机A和皮带机B是否堵塞:即当VA>>VB,V≠0时,判定为堵塞,当VA>VB,VB=0时,则同样判定为堵塞,当VA≈VB,则最终判定皮带机A和皮带机B为正常运煤。
通过sift算法匹配筛选模型特征点的步骤如下:
在矿用摄像机C1与矿用摄像机C2分别拍摄的同一时刻的两张图像中,首先得到特征点及sift特征匹配,具体包括两个阶段:
第一阶段生成两张图像的sift特征:首先进行尺度空间机极值检测,搜索两张图像所有尺度上的图形位置,通过高斯微分函数来识别潜在的糴尺度和旋转不变的兴趣点,构建尺度空间,检测极值点,获得尺度不变性;然后定位关键点,在每个候选的位置上,通过一个拟合精细的模型来确定煤堆位置和尺度,依据于煤堆关键点的稳定程度选择,从而将所有特征点进行过滤并精确定位;最终确定方向,基于图像局部梯度方向,分配给每个关键点位置一个或多个方向,所有后面对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,为特征点分配方向值;
第二阶段匹配sift的特征向量:利用两张图片的特征点相似度进行匹配,相似度最高或者阈值大于70%的可以认为匹配成功,匹配成功之后,利用sift原理计算出的方向、尺度和位置建立三维网格,并将匹配成功的特征点确定为三维网格筛选模型点。
所述提取视觉系统位于皮带机A正上方的矿用摄像机C1和矿用摄像机C2采集得到同一煤堆的左右两张图像,通过特征匹配,找到匹配的图像点对,求取对应空间点的三维网络筛选模型点,记(Xi,Yi,Zi)为获得的第i个点的三维模型筛选模型点则为对应的三维坐标;对应的三个顶点的二维坐标分别为(Xi1,Yi1)、(Xi2,Yi2)、(Xi3,Yi3),三个顶点对应的煤堆表面的点的坐标为(Xi1,Yi1,Zi1)、(Xi2,Yi2,Zi2)、(Xi3,Yi3,Zi3),则整个煤的体积为:
Vi=S(Δi)·min(Zi1,Zi2,Zi3)
式中S(Δi)为第i个三角形的面积,其中S(Δi)·min(Zi1,Zi2,Zi3),为图片中的不规则柱体的近似值,为了提高计算精度,根据视觉分割算法求出不规则柱体的精确的体积Vi,此时有煤堆的体积计算公式:
通过上述视觉算法,利用公式:算出皮带机A上的煤堆体积VA,同理,通过提取视觉系统位于皮带机B纵向正上方的矿用摄像机C3和矿用摄像机C4,利用视觉算法的公式算出皮带机B上的煤堆体积VB
通过判断两个时间t1和t2中视频图像中煤堆的体积变化从而判断时间内煤堆是否移动时,采用综合决策算法,同时通过皮带机A和皮带机B运输煤的速度差值,皮带机A速度v1会小于皮带机B速度v2,则判断当前皮带机发生堵塞;皮带机的电流参数进行辅助判断,检测皮带机的电流参数,若电参数出现突变的过程时,则判断当前皮带机发生堵塞。
有益效果:
本发明采用矿用摄像机,不会受到矿井环境的干扰。实现了远程检测,不需要工人反复去当场确认,极大程度的减少了人工费;通过视觉分割算法和视觉测量算法,及时堵塞预警,防止产煤停滞状态;在视觉算法的基础上,采用综合决策算法,引入皮带机速度差值变量和电流变量,给视觉算法加上双保险,检测结果精确高,不会出现误判情况,若发生堵塞,及时预警,避免产煤停滞。
附图说明
图1为本发明基于视觉算法的煤矿皮带转运机头堵塞检测流程图。
图2为本发明基于视觉算法的煤矿皮带转运机头堵塞检测详细流程图。
图3为本发明基于视觉算法的煤矿皮带转运机头堵塞检测矿用摄像机采集皮带机煤堆信息原理示意图。
具体实施方式
下面结合附图对本发明的具体实施例作进一步说明:
如图1所示,本发明的基于视觉算法的煤矿皮带转运机头堵塞检测方法基于视觉的物体跟踪算法,皮带运输速度估计:在皮带机运输煤的过程中,煤块的反射率明显高于皮带机和末端煤块,煤块总处在视频的最亮位置,煤块区域我们通过基于视觉的灰度切割法获得。将接收到的彩色视频进行处理转换为灰色视频,当灰度值大于固定阈值max时,则判定为煤块区域。
视频测速方法为:
v=Δs/Δt
其中,Δs对应为目标在相邻的两帧图像中移动的真实世界坐标系的距离,Δt是摄像机的两个相邻帧之间的时间间隔,通常为1/FPS,其中FPS是帧速率。因为当前相机的帧速率FPS可以保持在大约30,也就是说,两帧之间的时间间隔大约是0.033秒,并且通过使用小周期的平均速度来估计目标的瞬时速度,因为煤炭运输是低速移动的目标,所以以上方法满足可以满足煤炭场合的使用要求。
此外,在更复杂的应用中,图像处理算法往往是计算密集型的并且需要相对长的时间。如果使用该算法的相机工作,相邻帧之间的时间将不是恒定的量。速度估算变为:
v=Δs/Δt=Δs/(t1-t2)
上式中,t1-t2为两帧间的时间间隔;
基于视觉的煤量可视化测量,首先需要建立视觉系统,完成立体校准,获得左右摄像机的内部参数,以及两个摄像机坐标系之间的相应基本矩阵。其次确定世界坐标系并计算其外部参数,例如对应于两个摄像机坐标系的旋转矩阵和平移向量。在世界坐标系的XwOwYw平面中,煤堆应位于两个摄像机的范围内,以便两个摄像机收集的煤堆图像可以显示整个煤堆。
采用视觉分割算法,将图像中煤堆分为多个煤块,将三维网格模型划分为多个独立子网。基于种子点的三维网格模型分割算法主要选择相应的三维网络种子点模型构建三维网络主要种子集合,然后确定最终的三维网络通过各种筛选模型点。每个独立的模型点,都表示一个被分割的网络组件,并对以上网络部件和种子点分析,将煤堆分割成i个独立的煤块。
提取视觉系统采集得到的左右两幅煤堆图像,通过特征匹配,找到匹配的图像点对,求取对应空间点的三维网络筛选模型点,记(Xi,Yi,Zi)为获得的第i个点的三维坐标;
其对应的三个顶点的二维坐标分别为(Xi1,Yi1)、(Xi2,Yi2)、(Xi3,Yi3),三个顶点对应的煤堆表面的点的坐标为(Xi1,Yi1,Zi1)、(Xi2,Yi2,Zi2)、(Xi3,Yi3,Zi3),则整个煤的体积计算如下:
Vi=S(Δi)·min(Zi1,Zi2,Zi3)
其中S(Δi)为第i个三角形的面积,其中S(Δi)·min(Zi1,Zi2,Zi3),只是图中的不规则柱体的近似值,为了提高计算精度。根据视觉分割算法求出不规则柱体的精确的体积Vi,此时有煤堆的体积计算公式:
通过皮带机的速度参数辅助决策,当机头皮带机v1的速度越来越小于下皮带机v2的速度,则判断为堵塞,同时通过皮带机的电流参数进行辅助决策,当皮带机的电流参数有一个突变的过程时,则判断为堵塞,综合决策算法:①V>>V,且V≠0②V>V,且V=0。当煤量满足以上情况的任意一个情况时,采用辅助决策算法,利用皮带机的机头和下速度值比较,机头皮带机v1的速度越来越小于下皮带机v2的速度;同时皮带机的电流参数进行辅助决策,当皮带机的电流参数有一个突变的过程时,则判断为堵塞。
如图2和图3所示,本发明的基于视觉算法的煤矿皮带转运机头堵塞检测方法,其详细步骤如下:
a.在距离皮带机A皮带头部10米处、正上方2.5米、夹角为60°处安装矿用摄像机C1和矿用摄像机C2,矿用摄像机C1和矿用摄像机C2距离间隔为30-50cm;在距离皮带机B皮带尾部5米处、正上方2.5米处、夹角为60°处安装矿用摄像机C3和矿用摄像机C4,矿用摄像机C3和矿用摄像机C4距离间隔为30-50cm,利用矿用摄像机采集皮带机上运输煤堆的视频图像;
b.由于煤堆的反射率明显高于皮带机,因此煤堆总处在视频的最亮位置;将采集到的视频图像转换为灰色视频图像,从矿用摄像机C1的视频图像中截取相邻两帧时间记录为t1和t2的图片,因为当前矿用摄像机的帧速率FPS保持在30帧,两帧之间的时间间隔为Δt=t2-t1=0.033s。
c.利用灰度切割法将时间记录为t1和t2的两帧图片中各个像素的灰度值进行判定,当像素的灰度值大于预设阈值max时,判断此像素为煤堆区域;若时间记录为t1和t2的两帧图片中任意一帧图片中没有大于预设阈值max的像素存在则重新随机寻找相邻两帧图片;
d.由于皮带机上的煤堆随机堆放,因此煤堆的轮廓形状是独一无二的,通过特征匹配对时间记录为t1和t2的两帧图片中的煤堆轮廓特征进行比较,找到匹配的图像点对,从而判断t1和t2两帧图片中的煤堆是否为同一煤堆;当判断为同一煤堆时,测量同一煤堆在摄像机C1的时间记录为t1和t2时刻两个相邻帧之间的时间间隔Δt=0.033s内随皮带机A移动的距离Δs;如果判断不是同一堆煤时,则重新截取相邻两帧图片;
e.如果移动距离Δs=0则判断此时皮带没有正常工作,矿用摄像机C1继续采集煤堆图像重复上述步骤,并报警;如果移动距离ΔS≠0时,,则利用公式:v=Δs/Δt计算皮带机A的运煤速度v1,;
f.皮带机B机尾部纵向正上方设置的矿用摄像机C3重复步骤b-步骤e,获得皮带机B的运煤速度v2;
g.比较皮带机A的运煤速度v1和皮带机B的运煤速度v2,若皮带机A的运煤速度v1小于皮带机B的运煤速度v2,则说明皮带机A上的煤堆可能积累过量从而使皮带机A的运煤速度变得缓慢,此时初步判断皮带机A发生堵塞;若皮带机A的运煤速度v1与皮带机B的运煤速度v2相等,则初步说明皮带机A和皮带机B工作正常未发生堵塞。
h.在运煤的过程中将皮带上的煤看成一个整体用煤堆表述,煤堆由大量的煤块组成,使用矿用摄像机C1和矿用摄像机C2对皮带机A上的煤堆进行拍摄获取两张图像,用视觉分割算法将两张图像中的煤堆分割为三维网格模型,同时利用基于种子点的三维网格模型分割算法选择相应的三维网络种子点模型构建三维网络主要种子集合,通过sift(Scale-invariant feature transform)算法匹配筛选模型特征点,即使用sift算法描述图像中的局部特征,在三维网络主要种子集合中寻找极值点作为特征点,并且提取出其三维网络特征点的位置;
通过sift算法匹配筛选模型特征点的步骤如下:
在矿用摄像机C1与矿用摄像机C2分别拍摄的同一时刻的两张图像中,首先得到特征点及sift特征匹配,具体包括两个阶段:
第一阶段生成两张图像的sift特征:首先进行尺度空间机极值检测,搜索两张图像所有尺度上的图形位置,通过高斯微分函数来识别潜在的糴尺度和旋转不变的兴趣点,构建尺度空间,检测极值点,获得尺度不变性;然后定位关键点,在每个候选的位置上,通过一个拟合精细的模型来确定煤堆的位置和尺度,依据于两张图片中煤堆特征点的稳定程度选择,从而将所有特征点进行过滤并精确定位;最终确定方向,基于图像局部梯度方向,分配给每个关键点位置一个或多个方向,所有后面对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,为特征点分配方向值;
第二阶段匹配sift的特征向量:利用两张图片的特征点相似度进行匹配,相似度最高或者阈值大于70%的可以认为匹配成功,匹配成功之后,利用sift原理计算出的方向、尺度和位置建立三维网格,并将匹配成功的特征点确定为三维网格筛选模型点;
在矿用摄像机C1与矿用摄像机C2分别拍摄的同一时刻的两张图像中采用sift匹配特征点的特性侦查对煤堆进行侦查,生成两张图像的sift特征:包括尺度缩放、旋转、亮度变化特征点,然后进行sift特征向量的匹配,三维网络筛选模型点中的每个独立的特征点,都表示一个被分割的网络组件,对所有网络组件和三维网络种子点模型分析,从而将煤堆分割为i个独立的煤块,分别计算出单个煤块的体积,再利用体积求和算出煤堆的总体积,即算出皮带机A机头煤堆的总体积VA,同上述步骤,通过摄像机C3和摄像机C4两个摄像机,算出皮带机B机尾煤堆的总体积VB
所述提取视觉系统位于皮带机A正上方的矿用摄像机C1和矿用摄像机C2采集得到同一煤堆的左右两张图像,通过特征匹配,找到匹配的图像点对,求取对应空间点的三维网络筛选模型点,记(Xi,Yi,Zi)为获得的第i个点的三维模型筛选模型点则为对应的三维坐标;对应的三个顶点的二维坐标分别为(Xi1,Yi1)、(Xi2,Yi2)、(Xi3,Yi3),三个顶点对应的煤堆表面的点的坐标为(Xi1,Yi1,Zi1)、(Xi2,Yi2,Zi2)、(Xi3,Yi3,Zi3),则整个煤的体积为:
Vi=S(Δi)·min(Zi1,Zi2,Zi3)
式中S(Δi)为第i个三角形的面积,其中S(Δi)·min(Zi1,Zi2,Zi3),为图片中的不规则柱体的近似值,为了提高计算精度,根据视觉分割算法求出不规则柱体的精确的体积Vi,此时有煤堆的体积计算公式:
通过上述视觉算法,利用公式:V=∑Vi算出皮带机A上的煤堆体积VA,同理,通过提取视觉系统位于皮带机B纵向正上方的矿用摄像机C3和矿用摄像机C4,利用视觉算法的公式算出皮带机B上的煤堆体积VB
i.通过步骤e,判断皮带机A和皮带机B是否在正常运转,在保证皮带机正常工作情况下,通过皮带机A煤堆的体积和皮带机B煤堆的体积比较,判断皮带机A和皮带机B是否堵塞:即当VA>>VB,V≠0时,判定为堵塞,当VA>VB,VB=0时,则同样判定为堵塞,当VA≈VB,则最终判定皮带机A和皮带机B为正常运煤。
通过判断两个时间t1和t2中视频图像中煤堆的体积变化从而判断时间内煤堆是否移动时,采用综合决策算法,同时通过皮带机A和皮带机B运输煤的速度差值,皮带机A速度v1会小于皮带机B速度v2,则判断当前皮带机发生堵塞;皮带机的电流参数进行辅助判断,检测皮带机的电流参数,若电参数出现突变的过程时,则判断当前皮带机发生堵塞。

Claims (5)

1.一种基于视觉算法的煤矿皮带转运机头堵塞检测方法,其特征在于步骤如下:
a.在距离皮带机A皮带头部10米处、正上方2.5米、夹角为60°处安装矿用摄像机C1和矿用摄像机C2,矿用摄像机C1和矿用摄像机C2距离间隔为30-50cm;在距离皮带机B皮带尾部5米处、正上方2.5米处、夹角为60°处安装矿用摄像机C3和矿用摄像机C4,矿用摄像机C3和矿用摄像机C4距离间隔为30-50cm,利用矿用摄像机采集皮带机上运输煤堆的视频图像;
b.由于煤堆的反射率明显高于皮带机,因此煤堆总处在视频的最亮位置;将采集到的视频图像转换为灰色视频图像,从矿用摄像机C1的视频图像中截取相邻两帧时间记录为t1和t2的图片,因为当前矿用摄像机的帧速率FPS保持在30帧,两帧之间的时间间隔为Δt=t2-t1=0.033s。
c.利用灰度切割法将时间记录为t1和t2的两帧图片中各个像素的灰度值进行判定,当像素的灰度值大于预设阈值max时,判断此像素为煤堆区域;若时间记录为t1和t2的两帧图片中任意一帧图片中没有大于预设阈值max的像素存在则重新随机寻找相邻两帧图片;
d.由于皮带机上的煤堆随机堆放,因此煤堆的轮廓形状是独一无二的,通过特征匹配对时间记录为t1和t2的两帧图片中的煤堆轮廓特征进行比较,找到匹配的图像点对,从而判断t1和t2两帧图片中的煤堆是否为同一煤堆;当判断为同一煤堆时,测量同一煤堆在摄像机C1的时间记录为t1和t2时刻两个相邻帧之间的时间间隔Δt=0.033s内随皮带机A移动的距离ΔS;如果判断不是同一堆煤时,则重新截取相邻两帧图片;
e.如果移动距离ΔS=0则判断此时皮带没有正常工作,矿用摄像机C1继续采集煤堆图像重复上述步骤,并报警;如果移动距离ΔS≠0时,,则利用公式:v=ΔS/Δt计算皮带机A的运煤速度v1,;
f.皮带机B机尾部纵向正上方设置的矿用摄像机C3重复步骤b-步骤e,获得皮带机B的运煤速度v2;
g.比较皮带机A的运煤速度v1和皮带机B的运煤速度v2,若皮带机A的运煤速度v1小于皮带机B的运煤速度v2,则说明皮带机A上的煤堆可能积累过量从而使皮带机A的运煤速度变得缓慢,此时初步判断皮带机A发生堵塞;若皮带机A的运煤速度v1与皮带机B的运煤速度v2相等,则初步判断皮带机A和皮带机B工作正常未发生堵塞。
2.根据权利要求1所述的基于视觉算法的煤矿皮带转运机头堵塞检测方法,其特征在于:初步判断皮带机A和皮带机B工作正常后,使用视觉体积继续判断皮带机A和皮带机B是否正常工作,具体步骤为:
在运煤的过程中将皮带上的煤看成一个整体用煤堆表述,煤堆由大量的煤块组成,使用矿用摄像机C1和矿用摄像机C2对皮带机A上的煤堆进行拍摄获取两张图像,用视觉分割算法将两张图像中的煤堆分割为三维网格模型,同时利用基于种子点的三维网格模型分割算法选择相应的三维网络种子点模型构建三维网络主要种子集合,通过sift(Scale-invariant feature transform)算法匹配筛选模型特征点,即使用sift算法描述图像中的局部特征,在三维网络主要种子集合中寻找极值点作为特征点,并且提取出其三维网络特征点的位置;
在矿用摄像机C1与矿用摄像机C2分别拍摄的同一时刻的两张图像中采用sift匹配特征点的特性侦查对煤堆进行侦查,生成两张图像的sift特征:包括尺度缩放、旋转、亮度变化特征点,然后进行sift特征向量的匹配,三维网络筛选模型点中的每个独立的特征点,都表示一个被分割的网络组件,对所有网络组件和三维网络种子点模型分析,从而将煤堆分割为i个独立的煤块,分别计算出单个煤块的体积,再利用体积求和算出煤堆的总体积,即算出皮带机A机头煤堆的总体积VA,同上述步骤,通过摄像机C3和摄像机C4两个摄像机,算出皮带机B机尾煤堆的总体积VB
通过步骤e,判断皮带机A和皮带机B是否在正常运转,在保证皮带机正常工作情况下,通过皮带机A煤堆的体积和皮带机B煤堆的体积比较,判断皮带机A和皮带机B是否堵塞:即当VA>>VB,V≠0时,判定为堵塞,当VA>VB,VB=0时,则同样判定为堵塞,当VA≈VB,则最终判定皮带机A和皮带机B为正常运煤。
3.根据权利要求1所述的基于视觉算法的煤矿皮带转运机头堵塞检测方法,其特征在于通过sift算法匹配筛选模型特征点的步骤如下:
在矿用摄像机C1与矿用摄像机C2分别拍摄的同一时刻的两张图像中,首先得到特征点及sift特征匹配,具体包括两个阶段:
第一阶段生成两张图像的sift特征:首先进行尺度空间机极值检测,搜索两张图像所有尺度上的图形位置,通过高斯微分函数来识别潜在的糴尺度和旋转不变的兴趣点,构建尺度空间,检测极值点,获得尺度不变性;然后定位关键点,在每个候选的位置上,通过一个拟合精细的模型来确定煤堆的位置和尺度,依据于煤堆关键点的稳定程度选择,从而将所有特征点进行过滤并精确定位;最终确定方向,基于图像局部梯度方向,分配给每个关键点位置一个或多个方向,所有后面对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,为特征点分配方向值;
第二阶段匹配sift的特征向量:利用两张图片的特征点相似度进行匹配,相似度最高或者阈值大于70%的可以认为匹配成功,匹配成功之后,利用sift原理计算出的方向、尺度和位置建立三维网格,并将匹配成功的特征点确定为三维网格筛选模型点。
4.根据权利要求1或2所述的基于视觉算法的煤矿皮带转运机头堵塞检测方法,其特征在于:所述提取视觉系统位于皮带机A正上方的矿用摄像机C1和矿用摄像机C2采集得到同一煤堆的左右两张图像,通过特征匹配,找到匹配的图像点对,求取对应空间点的三维网络筛选模型点,记(Xi,Yi,Zi)为获得的第i个点的三维模型筛选模型点则为对应的三维坐标;对应的三个顶点的二维坐标分别为(Xi1,Yi1)、(Xi2,Yi2)、(Xi3,Yi3),三个顶点对应的煤堆表面的点的坐标为(Xi1,Yi1,Zi1)、(Xi2,Yi2,Zi2)、(Xi3,Yi3,Zi3),则整个煤的体积为:
Vi=S(Δi)·min(Zi1,Zi2,Zi3)
式中S(Δi)为第i个三角形的面积,其中S(Δi)·min(Zi1,Zi2,Zi3),为图片中的不规则柱体的近似值,为了提高计算精度,根据视觉分割算法求出不规则柱体的精确的体积Vi,此时有煤堆的体积计算公式:
通过上述视觉算法,利用公式:算出皮带机A上的煤堆体积VA,同理,通过提取视觉系统位于皮带机B纵向正上方的矿用摄像机C3和矿用摄像机C4,利用视觉算法的公式算出皮带机B上的煤堆体积VB
5.根据权利要求1或2所述的基于视觉算法的煤矿皮带转运机头堵塞检测方法,其特征在于:通过判断两个时间t1和t2中视频图像中煤堆的体积变化从而判断时间内煤堆是否移动时,采用综合决策算法,同时通过皮带机A和皮带机B运输煤的速度差值,皮带机A速度v1会小于皮带机B速度v2,则判断当前皮带机发生堵塞;皮带机的电流参数进行辅助判断,检测皮带机的电流参数,若电参数出现突变的过程时,则判断当前皮带机发生堵塞。
CN201910341880.1A 2019-04-25 2019-04-25 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法 Active CN110065790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910341880.1A CN110065790B (zh) 2019-04-25 2019-04-25 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910341880.1A CN110065790B (zh) 2019-04-25 2019-04-25 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法

Publications (2)

Publication Number Publication Date
CN110065790A true CN110065790A (zh) 2019-07-30
CN110065790B CN110065790B (zh) 2021-07-06

Family

ID=67369048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910341880.1A Active CN110065790B (zh) 2019-04-25 2019-04-25 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法

Country Status (1)

Country Link
CN (1) CN110065790B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110422589A (zh) * 2019-08-02 2019-11-08 精英数智科技股份有限公司 一种煤矿转载机堆煤安全报警方法、装置、设备、介质
CN110817340A (zh) * 2019-09-29 2020-02-21 西安重装韩城煤矿机械有限公司 一种煤矿运输皮带调速方法、装置及处理器
CN111157757A (zh) * 2019-12-27 2020-05-15 苏州博田自动化技术有限公司 基于视觉的履带速度检测装置及方法
CN111242108A (zh) * 2020-04-26 2020-06-05 华夏天信(北京)智能低碳技术研究院有限公司 基于目标检测的皮带转载点堵煤识别方法
CN111573200A (zh) * 2020-05-25 2020-08-25 西安科技大学 一种井下皮带转接处堵塞的视觉检测系统及检测方法
CN112966619A (zh) * 2021-03-15 2021-06-15 精英数智科技股份有限公司 一种采煤皮带机头溜煤眼下口堵塞检测方法及装置
CN113194308A (zh) * 2021-05-24 2021-07-30 浙江大华技术股份有限公司 传输设备堵塞区域的确定方法、装置
CN115043172A (zh) * 2022-06-23 2022-09-13 云南昆船烟草设备有限公司 一种循环运转网板网孔堵塞的在线检测疏通装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7779994B1 (en) * 2006-08-16 2010-08-24 Travis Tonny D Method and apparatus for monitoring and controlling conveyor position
CN204823104U (zh) * 2015-08-08 2015-12-02 杭州集益科技有限公司 电厂输煤皮带防堵装置
WO2016108937A1 (en) * 2014-12-31 2016-07-07 Fives Intralogistics Corp. Vision based conveyor package management system
CN105841614A (zh) * 2016-04-13 2016-08-10 太原理工大学 一种带式输送机输送煤量视觉扫描测距检测方法
CN104778721B (zh) * 2015-05-08 2017-08-11 广州小鹏汽车科技有限公司 一种双目图像中显著性目标的距离测量方法
CN107043000A (zh) * 2017-06-15 2017-08-15 西安科技大学 一种基于机器视觉的皮带运输机安全智能保障系统
CN108663955A (zh) * 2018-02-14 2018-10-16 北京广天夏科技有限公司 基于计算机视觉的井下皮带控制方法及控制系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7779994B1 (en) * 2006-08-16 2010-08-24 Travis Tonny D Method and apparatus for monitoring and controlling conveyor position
WO2016108937A1 (en) * 2014-12-31 2016-07-07 Fives Intralogistics Corp. Vision based conveyor package management system
CN104778721B (zh) * 2015-05-08 2017-08-11 广州小鹏汽车科技有限公司 一种双目图像中显著性目标的距离测量方法
CN204823104U (zh) * 2015-08-08 2015-12-02 杭州集益科技有限公司 电厂输煤皮带防堵装置
CN105841614A (zh) * 2016-04-13 2016-08-10 太原理工大学 一种带式输送机输送煤量视觉扫描测距检测方法
CN107043000A (zh) * 2017-06-15 2017-08-15 西安科技大学 一种基于机器视觉的皮带运输机安全智能保障系统
CN108663955A (zh) * 2018-02-14 2018-10-16 北京广天夏科技有限公司 基于计算机视觉的井下皮带控制方法及控制系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王健生: "基于视觉测量的电厂输煤胶带堆煤检测", 《工矿自动化》 *
谢文治: "基于图像处理的皮带堆煤检测研究", 《电子世界》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110422589A (zh) * 2019-08-02 2019-11-08 精英数智科技股份有限公司 一种煤矿转载机堆煤安全报警方法、装置、设备、介质
CN110817340A (zh) * 2019-09-29 2020-02-21 西安重装韩城煤矿机械有限公司 一种煤矿运输皮带调速方法、装置及处理器
CN110817340B (zh) * 2019-09-29 2021-07-16 西安重装韩城煤矿机械有限公司 一种煤矿运输皮带调速方法、装置及处理器
CN111157757A (zh) * 2019-12-27 2020-05-15 苏州博田自动化技术有限公司 基于视觉的履带速度检测装置及方法
CN111242108A (zh) * 2020-04-26 2020-06-05 华夏天信(北京)智能低碳技术研究院有限公司 基于目标检测的皮带转载点堵煤识别方法
CN111242108B (zh) * 2020-04-26 2020-08-28 华夏天信(北京)智能低碳技术研究院有限公司 基于目标检测的皮带转载点堵煤识别方法
CN111573200A (zh) * 2020-05-25 2020-08-25 西安科技大学 一种井下皮带转接处堵塞的视觉检测系统及检测方法
CN112966619A (zh) * 2021-03-15 2021-06-15 精英数智科技股份有限公司 一种采煤皮带机头溜煤眼下口堵塞检测方法及装置
CN113194308A (zh) * 2021-05-24 2021-07-30 浙江大华技术股份有限公司 传输设备堵塞区域的确定方法、装置
CN113194308B (zh) * 2021-05-24 2023-02-24 浙江大华技术股份有限公司 传输设备堵塞区域的确定方法、装置
CN115043172A (zh) * 2022-06-23 2022-09-13 云南昆船烟草设备有限公司 一种循环运转网板网孔堵塞的在线检测疏通装置及方法
CN115043172B (zh) * 2022-06-23 2023-12-19 云南昆船烟草设备有限公司 一种循环运转网板网孔堵塞的在线检测疏通装置及方法

Also Published As

Publication number Publication date
CN110065790B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN110065790A (zh) 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法
CN103150549B (zh) 一种基于烟雾早期运动特征的公路隧道火灾检测方法
Mason et al. Using histograms to detect and track objects in color video
CA3094424C (en) Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator
CN109359594A (zh) 一种基于视频处理的矿井皮带异常检测方法及装置
CN103324977B (zh) 一种目标数量检测方法和设备
CN104301712B (zh) 一种基于视频分析的监控摄像头抖动检测方法
CN109344690B (zh) 一种基于深度相机的人数统计方法
CN106128053A (zh) 一种智慧金睛识别人员逗留徘徊报警方法和装置
CN107292297A (zh) 一种基于深度学习和重叠率跟踪的视频车流量检测方法
CN107392885A (zh) 一种基于视觉对比机制的红外弱小目标检测方法
CN109684996A (zh) 基于视频的实时车辆进出识别方法
CN105046719B (zh) 一种视频监控方法及系统
Niu et al. A moving objects detection algorithm based on improved background subtraction
CN108038510A (zh) 一种基于疑似火焰区域特征的检测方法
CN110110675A (zh) 一种融合边缘信息的小波域分形红外卷云检测方法
CN110519566B (zh) 一种基于视频处理的皮带运动状态监测方法
CN111461003B (zh) 基于视频图像序列特征提取的燃煤工况识别方法
CN103456123B (zh) 一种基于流动和扩散特征的视频烟气探测方法
CN104349125B (zh) 一种区域监控方法及设备
CN114581447B (zh) 一种基于机器视觉的运输皮带跑偏识别方法和装置
Zhai et al. Defect detection in aluminum foil by measurement-residual-based chi-square detector
Tang et al. Smoke image recognition based on local binary pattern
CN106250859B (zh) 基于特征矢量运动杂乱度的视频火焰检测方法
CN104933739A (zh) 一种基于i1i2i3颜色空间的火焰检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant