CN110065790B - 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法 - Google Patents
一种基于视觉算法的煤矿皮带转运机头堵塞检测方法 Download PDFInfo
- Publication number
- CN110065790B CN110065790B CN201910341880.1A CN201910341880A CN110065790B CN 110065790 B CN110065790 B CN 110065790B CN 201910341880 A CN201910341880 A CN 201910341880A CN 110065790 B CN110065790 B CN 110065790B
- Authority
- CN
- China
- Prior art keywords
- coal
- belt conveyor
- belt
- coal pile
- pile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003245 coal Substances 0.000 title claims abstract description 219
- 230000000007 visual effect Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012546 transfer Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000005065 mining Methods 0.000 claims description 72
- 238000012216 screening Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000001788 irregular Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 5
- 238000002310 reflectometry Methods 0.000 claims description 4
- 238000011835 investigation Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000003350 kerosene Substances 0.000 description 3
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 3
- 229910052753 mercury Inorganic materials 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 239000004484 Briquette Substances 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000002817 coal dust Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
- B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/02—Control or detection
- B65G2203/0266—Control or detection relating to the load carrier(s)
- B65G2203/0291—Speed of the load carrier
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/04—Detection means
- B65G2203/041—Camera
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种基于视觉算法的煤矿皮带转运机头堵塞检测方法,适用于煤炭井下皮带运输使用。首先,该模型对摄影机拍下的图像进行处理,并对皮带机A和皮带机B运煤进行速度估计,初步判断皮带是否正常运煤,并计算皮带机A和皮带机B速度差值;然后,基于视觉分割算法与基于视觉测量的煤量估计,计算出煤量;最后,通过比较煤量入和煤量出差值,皮带机A的速度差值和电流参数辅助决策,对煤矿皮带转运机头进行堵塞判断。其步骤简单,检测效果好,有效解决使用两个带式输送机,即皮带机A输送到皮带机B时,煤块堵塞检测问题。
Description
技术领域
本发明涉及一种煤矿皮带转运机头堵塞检测方法,尤其适用于一种煤矿生产中使用的基于视觉算法的煤矿皮带转运机头堵塞检测方法。
背景技术
随着我国煤炭生产的不断发展,矿井运输已趋于皮带化、高速化、大运量的皮带运输机已经成为我国煤矿井运输的主要工具。皮带转运在煤炭生产运输中扮演着重要环节,如果皮带转运时出现堵塞则会严重影响煤矿运输的的稳定性和安全性。现有的技术发现堵塞故障时间长,影响皮带的正常运转,影响运煤效率,影响产煤效率。当发现堵塞之后,只能先启动下皮带放煤,然后由下皮带带动机头皮带,将堵在机头的煤全部放掉。然后再将堵塞传感器重新复位,极大程度的影响产煤效率,至少耗时30min。现有的技术不仅发现堵塞故障时间长,而且准确率不高,有时会因为在矿井下情况,造成错误堵塞预警,使工人需要当场去确认检测。有的则是受环境干扰,需要定期去维护,极大的增加了维修成本,有的甚至会与煤产生火花,造成事故。
皮带转运主要有人工检测、传感器检测以及图像处理检测3种方式。目前大多采用堆煤传感器进行检测,大致分为3类:(1)基于行程开关的堆煤传感器;(2)基于水银开关或煤油开关的堆煤传感器;(3)基于电极式原理的堆煤传感器;以上都是基于碰触检测方式来实现皮带堵塞检测,难免会发生大的煤块经过,或工人误碰时容易发生警报。还有以下不足之处:(1)煤矿环境复杂,行程开关受煤尘湿气等外部环境影响常常不能及时堵塞预警,其耐用性、灵敏度、可靠性不理想;(2)水银或煤油开关没法高精度检测,抗干扰能力弱;(3)电极式堆煤传感器需定期清理电极座,维护频率高,准确率和误报率都与煤的干湿度有关。(4)使用接触式传感器,存在机械磨损同时煤块与传感器摩擦容易产生火花,影响安全。(5)检测不可视化,只能看到一些数字化指标,检测效果差。
发明内容
本发明的目的:针对上述技术的不足之处,提供一种方法简单,检测效果好,精度高的基于视觉算法的煤矿皮带转运机头堵塞检测方法。
为实现上述技术目的,本发明的基于视觉算法的煤矿皮带转运机头堵塞检测,步骤如下:
a.在距离皮带机A皮带头部10米处、正上方2.5米、夹角为60°处安装矿用摄像机C1和矿用摄像机C2,矿用摄像机C1和矿用摄像机C2距离间隔为30-50cm;在距离皮带机B皮带尾部5米处、正上方2.5米处、夹角为60°处安装矿用摄像机C3和矿用摄像机C4,矿用摄像机C3和矿用摄像机C4距离间隔为30-50cm,利用矿用摄像机采集皮带机上运输煤堆的视频图像;
b.由于煤堆的反射率明显高于皮带机,因此煤堆总处在视频的最亮位置;将采集到的视频图像转换为灰色视频图像,从矿用摄像机C1的视频图像中截取相邻两帧时间记录为t1和t2的图片,因为当前矿用摄像机的帧速率FPS保持在30帧,两帧之间的时间间隔为Δt=t2-t1=0.033s。
c.利用灰度切割法将时间记录为t1和t2的两帧图片中各个像素的灰度值进行判定,当像素的灰度值大于预设阈值max时,判断此像素为煤堆区域;若时间记录为t1和t2的两帧图片中任意一帧图片中没有大于预设阈值max的像素存在则重新随机寻找相邻两帧图片;
d.由于皮带机上的煤堆随机堆放,因此煤堆的轮廓形状是独一无二的,通过特征匹配对时间记录为t1和t2的两帧图片中的煤堆轮廓特征进行比较,找到匹配的图像点对,从而判断t1和t2两帧图片中的煤堆是否为同一煤堆;当判断为同一煤堆时,测量同一煤堆在摄像机C1的时间记录为t1和t2时刻两个相邻帧之间的时间间隔Δt=0.033s内随皮带机A移动的距离Δs;如果判断不是同一堆煤时,则重新截取相邻两帧图片;
e.如果移动距离Δs=0则判断此时皮带没有正常工作,矿用摄像机C1继续采集煤堆图像重复上述步骤,并报警;如果移动距离Δs≠0时,则利用公式:v=Δs/Δt计算皮带机A的运煤速度v1;
f.皮带机B机尾部纵向正上方设置的矿用摄像机C3重复步骤b-步骤e,获得皮带机B的运煤速度v2;
g.比较皮带机A的运煤速度v1和皮带机B的运煤速度v2,若皮带机A的运煤速度v1小于皮带机B的运煤速度v2,则说明皮带机A上的煤堆可能积累过量从而使皮带机A的运煤速度变得缓慢,此时初步判断皮带机A发生堵塞;若皮带机A的运煤速度v1与皮带机B的运煤速度v2相等,则初步说明皮带机A工作正常未发生堵塞。
h.在运煤的过程中将皮带上的煤看成一个整体用煤堆表述,煤堆由大量的煤块组成,使用矿用摄像机C1和矿用摄像机C2对皮带机A上的煤堆进行拍摄获取两张图像,用视觉分割算法将两张图像中的煤堆分割为三维网格模型,同时利用基于种子点的三维网格模型分割算法选择相应的三维网络种子点模型构建三维网络主要种子集合,通过sift(Scale-invariant feature transform)算法匹配筛选模型特征点,即使用sift算法描述图像中的局部特征,在三维网络主要种子集合中寻找极值点作为特征点,并且提取出其三维网格特征点的位置;
在矿用摄像机C1与矿用摄像机C2分别拍摄的同一时刻的两张图像中采用sift匹配特征点的特性侦查对煤堆进行侦查,生成两张图像的sift特征:包括尺度缩放、旋转、亮度变化特征点,然后进行sift特征向量的匹配,三维网络筛选模型点中的每个独立的特征点,都表示一个被分割的网络组件,对所有网络组件和三维网络种子点模型分析,从而将煤堆分割为i个独立的煤块,分别计算出单个煤块的体积,再利用体积求和算出煤堆的总体积,即算出皮带机A机头煤堆的总体积VA,同上述步骤,通过摄像机C3和摄像机C4两个摄像机,算出皮带机B机尾煤堆的总体积VB;
i.通过步骤e,判断皮带机A和皮带机B是否在正常运转,在保证皮带机正常工作情况下,通过皮带机A煤堆的体积和皮带机B煤堆的体积比较,判断皮带机A和皮带机B是否堵塞:即当VA>>VB,VB≠0时,判定为堵塞,当VA>VB,VB=0时,则同样判定为堵塞,当VA≈VB,则最终判定皮带机A和皮带机B为正常运煤。
通过sift算法匹配筛选模型特征点的步骤如下:
在矿用摄像机C1与矿用摄像机C2分别拍摄的同一时刻的两张图像中,首先得到特征点及sift特征匹配,具体包括两个阶段:
第一阶段生成两张图像的sift特征:首先进行尺度空间机极值检测,搜索两张图像所有尺度上的图形位置,通过高斯微分函数来识别潜在的糴尺度和旋转不变的兴趣点,构建尺度空间,检测极值点,获得尺度不变性;然后定位关键点,在每个候选的位置上,通过一个拟合精细的模型来确定煤堆位置和尺度,依据于煤堆关键点的稳定程度选择,从而将所有特征点进行过滤并精确定位;最终确定方向,基于图像局部梯度方向,分配给每个关键点位置一个或多个方向,所有后面对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,为特征点分配方向值;
第二阶段匹配sift的特征向量:利用两张图片的特征点相似度进行匹配,相似度最高或者阈值大于70%的可以认为匹配成功,匹配成功之后,利用sift原理计算出的方向、尺度和位置建立三维网格,并将匹配成功的特征点确定为三维网格筛选模型点。
所述提取视觉系统位于皮带机A正上方的矿用摄像机C1和矿用摄像机C2采集得到同一煤堆的左右两张图像,通过特征匹配,找到匹配的图像点对,求取对应空间点的三维网络筛选模型点,记(Xi,Yi,Zi)为获得的第i个点的三维模型筛选模型点则为对应的三维坐标;对应的三个顶点的二维坐标分别为(Xi1,Yi1)、(Xi2,Yi2)、(Xi3,Yi3),三个顶点对应的煤堆表面的点的坐标为(Xi1,Yi1,Zi1)、(Xi2,Yi2,Zi2)、(Xi3,Yi3,Zi3),则整个煤的体积为:
Vi=S(Δi)·min(Zi1,Zi2,Zi3)
式中S(Δi)为第i个三角形的面积,其中S(Δi)·min(Zi1,Zi2,Zi3),为图片中的不规则柱体的近似值,为了提高计算精度,根据视觉分割算法求出不规则柱体的精确的体积Vi,此时有煤堆的体积计算公式:
通过判断两个时间t1和t2中视频图像中煤堆的体积变化从而判断时间内煤堆是否移动时,采用综合决策算法,同时通过皮带机A和皮带机B运输煤的速度差值,皮带机A速度v1会小于皮带机B速度v2,则判断当前皮带机发生堵塞;皮带机的电流参数进行辅助判断,检测皮带机的电流参数,若电参数出现突变的过程时,则判断当前皮带机发生堵塞。
有益效果:
本发明采用矿用摄像机,不会受到矿井环境的干扰。实现了远程检测,不需要工人反复去当场确认,极大程度的减少了人工费;通过视觉分割算法和视觉测量算法,及时堵塞预警,防止产煤停滞状态;在视觉算法的基础上,采用综合决策算法,引入皮带机速度差值变量和电流变量,给视觉算法加上双保险,检测结果精确高,不会出现误判情况,若发生堵塞,及时预警,避免产煤停滞。
附图说明
图1为本发明基于视觉算法的煤矿皮带转运机头堵塞检测流程图。
图2为本发明基于视觉算法的煤矿皮带转运机头堵塞检测详细流程图。
图3为本发明基于视觉算法的煤矿皮带转运机头堵塞检测矿用摄像机采集皮带机煤堆信息原理示意图。具体实施方式
下面结合附图对本发明的具体实施例作进一步说明:
如图1所示,本发明的基于视觉算法的煤矿皮带转运机头堵塞检测方法基于视觉的物体跟踪算法,皮带运输速度估计:在皮带机运输煤的过程中,煤块的反射率明显高于皮带机和末端煤块,煤块总处在视频的最亮位置,煤块区域我们通过基于视觉的灰度切割法获得。将接收到的彩色视频进行处理转换为灰色视频,当灰度值大于固定阈值max时,则判定为煤块区域。
视频测速方法为:
v=Δs/Δt
其中,Δs对应为目标在相邻的两帧图像中移动的真实世界坐标系的距离,Δt是摄像机的两个相邻帧之间的时间间隔,通常为1/FPS,其中FPS是帧速率。因为当前相机的帧速率FPS可以保持在大约30,也就是说,两帧之间的时间间隔大约是0.033秒,并且通过使用小周期的平均速度来估计目标的瞬时速度,因为煤炭运输是低速移动的目标,所以以上方法满足可以满足煤炭场合的使用要求。
此外,在更复杂的应用中,图像处理算法往往是计算密集型的并且需要相对长的时间。如果使用该算法的相机工作,相邻帧之间的时间将不是恒定的量。速度估算变为:
v=Δs/Δt=Δs/(t1-t2)
上式中,t1-t2为两帧间的时间间隔;
基于视觉的煤量可视化测量,首先需要建立视觉系统,完成立体校准,获得左右摄像机的内部参数,以及两个摄像机坐标系之间的相应基本矩阵。其次确定世界坐标系并计算其外部参数,例如对应于两个摄像机坐标系的旋转矩阵和平移向量。在世界坐标系的XwOwYw平面中,煤堆应位于两个摄像机的范围内,以便两个摄像机收集的煤堆图像可以显示整个煤堆。
采用视觉分割算法,将图像中煤堆分为多个煤块,将三维网格模型划分为多个独立子网。基于种子点的三维网格模型分割算法主要选择相应的三维网络种子点模型构建三维网络主要种子集合,然后确定最终的三维网络通过各种筛选模型点。每个独立的模型点,都表示一个被分割的网络组件,并对以上网络部件和种子点分析,将煤堆分割成i个独立的煤块。
提取视觉系统采集得到的左右两幅煤堆图像,通过特征匹配,找到匹配的图像点对,求取对应空间点的三维网络筛选模型点,记(Xi,Yi,Zi)为获得的第i个点的三维坐标;
其对应的三个顶点的二维坐标分别为(Xi1,Yi1)、(Xi2,Yi2)、(Xi3,Yi3),三个顶点对应的煤堆表面的点的坐标为(Xi1,Yi1,Zi1)、(Xi2,Yi2,Zi2)、(Xi3,Yi3,Zi3),则整个煤的体积计算如下:
Vi=S(Δi)·min(Zi1,Zi2,Zi3)
其中S(Δi)为第i个三角形的面积,其中S(Δi)·min(Zi1,Zi2,Zi3),只是图中的不规则柱体的近似值,为了提高计算精度。根据视觉分割算法求出不规则柱体的精确的体积Vi,此时有煤堆的体积计算公式:
通过皮带机的速度参数辅助决策,当机头皮带机v1的速度越来越小于下皮带机v2的速度,则判断为堵塞,同时通过皮带机的电流参数进行辅助决策,当皮带机的电流参数有一个突变的过程时,则判断为堵塞,综合决策算法:①VA>>VB,且VB≠0②VA>VB,且VB=0。当煤量满足以上情况的任意一个情况时,采用辅助决策算法,利用皮带机的机头和下速度值比较,机头皮带机v1的速度越来越小于下皮带机v2的速度;同时皮带机的电流参数进行辅助决策,当皮带机的电流参数有一个突变的过程时,则判断为堵塞。
如图2和图3所示,本发明的基于视觉算法的煤矿皮带转运机头堵塞检测方法,其详细步骤如下:
a.在距离皮带机A皮带头部10米处、正上方2.5米、夹角为60°处安装矿用摄像机C1和矿用摄像机C2,矿用摄像机C1和矿用摄像机C2距离间隔为30-50cm;在距离皮带机B皮带尾部5米处、正上方2.5米处、夹角为60°处安装矿用摄像机C3和矿用摄像机C4,矿用摄像机C3和矿用摄像机C4距离间隔为30-50cm,利用矿用摄像机采集皮带机上运输煤堆的视频图像;
b.由于煤堆的反射率明显高于皮带机,因此煤堆总处在视频的最亮位置;将采集到的视频图像转换为灰色视频图像,从矿用摄像机C1的视频图像中截取相邻两帧时间记录为t1和t2的图片,因为当前矿用摄像机的帧速率FPS保持在30帧,两帧之间的时间间隔为Δt=t2-t1=0.033s。
c.利用灰度切割法将时间记录为t1和t2的两帧图片中各个像素的灰度值进行判定,当像素的灰度值大于预设阈值max时,判断此像素为煤堆区域;若时间记录为t1和t2的两帧图片中任意一帧图片中没有大于预设阈值max的像素存在则重新随机寻找相邻两帧图片;
d.由于皮带机上的煤堆随机堆放,因此煤堆的轮廓形状是独一无二的,通过特征匹配对时间记录为t1和t2的两帧图片中的煤堆轮廓特征进行比较,找到匹配的图像点对,从而判断t1和t2两帧图片中的煤堆是否为同一煤堆;当判断为同一煤堆时,测量同一煤堆在摄像机C1的时间记录为t1和t2时刻两个相邻帧之间的时间间隔Δt=0.033s内随皮带机A移动的距离Δs;如果判断不是同一堆煤时,则重新截取相邻两帧图片;
e.如果移动距离Δs=0则判断此时皮带没有正常工作,矿用摄像机C1继续采集煤堆图像重复上述步骤,并报警;如果移动距离Δs≠0时,则利用公式:v=Δs/Δt计算皮带机A的运煤速度v1;
f.皮带机B机尾部纵向正上方设置的矿用摄像机C3重复步骤b-步骤e,获得皮带机B的运煤速度v2;
g.比较皮带机A的运煤速度v1和皮带机B的运煤速度v2,若皮带机A的运煤速度v1小于皮带机B的运煤速度v2,则说明皮带机A上的煤堆可能积累过量从而使皮带机A的运煤速度变得缓慢,此时初步判断皮带机A发生堵塞;若皮带机A的运煤速度v1与皮带机B的运煤速度v2相等,则初步说明皮带机A工作正常未发生堵塞。
h.在运煤的过程中将皮带上的煤看成一个整体用煤堆表述,煤堆由大量的煤块组成,使用矿用摄像机C1和矿用摄像机C2对皮带机A上的煤堆进行拍摄获取两张图像,用视觉分割算法将两张图像中的煤堆分割为三维网格模型,同时利用基于种子点的三维网格模型分割算法选择相应的三维网络种子点模型构建三维网络主要种子集合,通过sift(Scale-invariant feature transform)算法匹配筛选模型特征点,即使用sift算法描述图像中的局部特征,在三维网络主要种子集合中寻找极值点作为特征点,并且提取出其三维网络特征点的位置;
通过sift算法匹配筛选模型特征点的步骤如下:
在矿用摄像机C1与矿用摄像机C2分别拍摄的同一时刻的两张图像中,首先得到特征点及sift特征匹配,具体包括两个阶段:
第一阶段生成两张图像的sift特征:首先进行尺度空间机极值检测,搜索两张图像所有尺度上的图形位置,通过高斯微分函数来识别潜在的糴尺度和旋转不变的兴趣点,构建尺度空间,检测极值点,获得尺度不变性;然后定位关键点,在每个候选的位置上,通过一个拟合精细的模型来确定煤堆的位置和尺度,依据于两张图片中煤堆特征点的稳定程度选择,从而将所有特征点进行过滤并精确定位;最终确定方向,基于图像局部梯度方向,分配给每个关键点位置一个或多个方向,所有后面对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,为特征点分配方向值;
第二阶段匹配sift的特征向量:利用两张图片的特征点相似度进行匹配,相似度最高或者阈值大于70%的可以认为匹配成功,匹配成功之后,利用sift原理计算出的方向、尺度和位置建立三维网格,并将匹配成功的特征点确定为三维网格筛选模型点;
在矿用摄像机C1与矿用摄像机C2分别拍摄的同一时刻的两张图像中采用sift匹配特征点的特性侦查对煤堆进行侦查,生成两张图像的sift特征:包括尺度缩放、旋转、亮度变化特征点,然后进行sift特征向量的匹配,三维网络筛选模型点中的每个独立的特征点,都表示一个被分割的网络组件,对所有网络组件和三维网络种子点模型分析,从而将煤堆分割为i个独立的煤块,分别计算出单个煤块的体积,再利用体积求和算出煤堆的总体积,即算出皮带机A机头煤堆的总体积VA,同上述步骤,通过摄像机C3和摄像机C4两个摄像机,算出皮带机B机尾煤堆的总体积VB;
所述提取视觉系统位于皮带机A正上方的矿用摄像机C1和矿用摄像机C2采集得到同一煤堆的左右两张图像,通过特征匹配,找到匹配的图像点对,求取对应空间点的三维网络筛选模型点,记(Xi,Yi,Zi)为获得的第i个点的三维模型筛选模型点则为对应的三维坐标;对应的三个顶点的二维坐标分别为(Xi1,Yi1)、(Xi2,Yi2)、(Xi3,Yi3),三个顶点对应的煤堆表面的点的坐标为(Xi1,Yi1,Zi1)、(Xi2,Yi2,Zi2)、(Xi3,Yi3,Zi3),则整个煤的体积为:
Vi=S(Δi)·min(Zi1,Zi2,Zi3)
式中S(Δi)为第i个三角形的面积,其中S(Δi)·min(Zi1,Zi2,Zi3),为图片中的不规则柱体的近似值,为了提高计算精度,根据视觉分割算法求出不规则柱体的精确的体积Vi,此时有煤堆的体积计算公式:
i.通过步骤e,判断皮带机A和皮带机B是否在正常运转,在保证皮带机正常工作情况下,通过皮带机A煤堆的体积和皮带机B煤堆的体积比较,判断皮带机A和皮带机B是否堵塞:即当VA>>VB,V出≠0时,判定为堵塞,当VA>VB,VB=0时,则同样判定为堵塞,当VA≈VB,则最终判定皮带机A和皮带机B为正常运煤。
通过判断两个时间t1和t2中视频图像中煤堆的体积变化从而判断时间内煤堆是否移动时,采用综合决策算法,同时通过皮带机A和皮带机B运输煤的速度差值,皮带机A速度v1会小于皮带机B速度v2,则判断当前皮带机发生堵塞;皮带机的电流参数进行辅助判断,检测皮带机的电流参数,若电参数出现突变的过程时,则判断当前皮带机发生堵塞。
Claims (4)
1.一种基于视觉算法的煤矿皮带转运机头堵塞检测方法,其特征在于步骤如下:
a.在距离皮带机A皮带头部10米处、正上方2.5米、夹角为60°处安装矿用摄像机C1和矿用摄像机C2,矿用摄像机C1和矿用摄像机C2距离间隔为30-50cm;在距离皮带机B皮带尾部5米处、正上方2.5米处、夹角为60°处安装矿用摄像机C3和矿用摄像机C4,矿用摄像机C3和矿用摄像机C4距离间隔为30-50cm,利用矿用摄像机采集皮带机上运输煤堆的视频图像;
b.由于煤堆的反射率明显高于皮带机,因此煤堆总处在视频的最亮位置;将采集到的视频图像转换为灰色视频图像,从矿用摄像机C1的视频图像中截取相邻两帧时间记录为t1和t2的图片,因为当前矿用摄像机的帧速率FPS保持在30帧,两帧之间的时间间隔为Δt=t2-t1=0.033s;
c.利用灰度切割法将时间记录为t1和t2的两帧图片中各个像素的灰度值进行判定,当像素的灰度值大于预设阈值max时,判断此像素为煤堆区域;若时间记录为t1和t2的两帧图片中任意一帧图片中没有大于预设阈值max的像素存在则重新随机寻找相邻两帧图片;
d.由于皮带机上的煤堆随机堆放,因此煤堆的轮廓形状是独一无二的,通过特征匹配对时间记录为t1和t2的两帧图片中的煤堆轮廓特征进行比较,找到匹配的图像点对,从而判断t1和t2两帧图片中的煤堆是否为同一煤堆;当判断为同一煤堆时,测量同一煤堆在摄像机C1的时间记录为t1和t2时刻两个相邻帧之间的时间间隔Δt=0.033s内随皮带机A移动的距离Δs;如果判断不是同一煤堆时,则重新截取相邻两帧图片;
e.如果移动距离Δs=0则判断此时皮带机A没有正常工作,矿用摄像机C1继续采集煤堆图像重复上述步骤,并报警;如果移动距离Δs≠0时,则利用公式:v=Δs/Δt计算皮带机A的运煤速度v1;
f.皮带机B尾部纵向正上方设置的矿用摄像机C3重复步骤b-步骤e,获得皮带机B的运煤速度v2;
g.比较皮带机A的运煤速度v1和皮带机B的运煤速度v2,若皮带机A的运煤速度v1小于皮带机B的运煤速度v2,则说明皮带机A上的煤堆积累过量从而使皮带机A的运煤速度变得缓慢,此时初步判断皮带机A发生堵塞;若皮带机A的运煤速度v1与皮带机B的运煤速度v2相等,则初步说明皮带机A工作正常未发生堵塞。
2.根据权利要求1所述的基于视觉算法的煤矿皮带转运机头堵塞检测方法,其特征在于:初步判断皮带机A和皮带机B工作正常后,使用视觉体积继续判断皮带机A和皮带机B是否正常工作,具体步骤为:
在运煤的过程中将皮带上的煤看成一个整体用煤堆表述,煤堆由大量的煤块组成,使用矿用摄像机C1和矿用摄像机C2对皮带机A上的煤堆进行拍摄获取两张图像,用视觉分割算法将两张图像中的煤堆分割为三维网格模型,同时利用基于种子点的三维网格模型分割算法选择相应的三维网格种子点模型构建三维网格主要种子集合,通过sift(Scale-invariant feature transform)算法匹配筛选模型特征点,即使用sift算法描述图像中的局部特征,在三维网格主要种子集合中寻找极值点作为筛选模型特征点,并且提取筛选模型特征点的位置;
在矿用摄像机C1与矿用摄像机C2分别拍摄的同一时刻的两张图像中采用sift算法匹配筛选模型特征点的特性侦查对煤堆进行侦查,生成两张图像的sift特征:包括尺度缩放筛选模型特征点、旋转筛选模型特征点、亮度变化筛选模型特征点,然后进行sift特征向量的匹配,三维网格筛选模型点中的每个独立的筛选模型特征点,都表示一个被分割的网格组件,对所有网格组件和三维网格种子点模型分析,从而将煤堆分割为i个独立的煤块,分别计算出单个煤块的体积,再利用体积求和算出煤堆的总体积,即算出皮带机A机头煤堆的总体积VA,同上述步骤,通过摄像机C3和摄像机C4两个摄像机,算出皮带机B机尾煤堆的总体积VB;
通过步骤e,判断皮带机A和皮带机B是否在正常运转,在保证皮带机正常工作情况下,通过皮带机A煤堆的体积和皮带机B煤堆的体积比较,判断皮带机A和皮带机B是否堵塞:即当VA>>VB,VB≠0时,判定为堵塞,当VA>VB,VB=0时,则同样判定为堵塞,当VA≈VB,则最终判定皮带机A和皮带机B为正常运煤。
3.根据权利要求2所述的基于视觉算法的煤矿皮带转运机头堵塞检测方法,其特征在于通过sift算法匹配筛选模型特征点的步骤如下:
在矿用摄像机C1与矿用摄像机C2分别拍摄的同一时刻的两张图像中,首先得到筛选模型特征点及sift特征向量匹配,具体包括两个阶段:
第一阶段生成两张图像的sift特征:首先进行尺度空间极值检测,搜索两张图像所有尺度上的图形位置,通过高斯微分函数来识别潜在的糴尺度和旋转不变的兴趣点,构建尺度空间,检测极值点,获得尺度不变性;然后定位关键点,在每个候选的位置上,通过一个拟合精细的模型来确定煤堆的位置和尺度,依据于煤堆关键点的稳定程度选择,从而将所有筛选模型特征点进行过滤并精确定位;最终确定方向,基于图像局部梯度方向,分配给每个关键点位置一个或多个方向,所有后面对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,为筛选模型特征点分配方向值;
第二阶段匹配sift的特征向量:利用两张图片的筛选模型特征点相似度进行匹配,相似度最高或者阈值大于70%的认为匹配成功,匹配成功之后,利用sift原理计算出的方向、尺度和位置建立三维网格,并将匹配成功的筛选模型特征点确定为三维网格筛选模型点。
4.根据权利要求2所述的基于视觉算法的煤矿皮带转运机头堵塞检测方法,其特征在于:提取视觉系统位于皮带机A正上方的矿用摄像机C1和矿用摄像机C2采集得到同一煤堆的左右两张图像,通过特征匹配,找到匹配的图像点对,求取对应空间点的三维网格筛选模型点,记(Xi,Yi,Zi)为获得的第i个点的三维网格筛选模型点对应的三维坐标;对应的三个顶点的二维坐标分别为(Xi1,Yi1)、(Xi2,Yi2)、(Xi3,Yi3),三个顶点对应的煤堆表面的点的坐标为(Xi1,Yi1,Zi1)、(Xi2,Yi2,Zi2)、(Xi3,Yi3,Zi3),则整个煤的体积为:
Vi=S(Δi)·min(Zi1,Zi2,Zi3)
式中S(Δi)为第i个三角形的面积,其中S(Δi)·min(Zi1,Zi2,Zi3),为图片中的不规则柱体的近似值,为了提高计算精度,根据视觉分割算法求出不规则柱体的精确的体积Vi,此时有煤堆的体积计算公式:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910341880.1A CN110065790B (zh) | 2019-04-25 | 2019-04-25 | 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910341880.1A CN110065790B (zh) | 2019-04-25 | 2019-04-25 | 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110065790A CN110065790A (zh) | 2019-07-30 |
CN110065790B true CN110065790B (zh) | 2021-07-06 |
Family
ID=67369048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910341880.1A Active CN110065790B (zh) | 2019-04-25 | 2019-04-25 | 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110065790B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110422589B (zh) * | 2019-08-02 | 2020-12-29 | 精英数智科技股份有限公司 | 一种煤矿转载机堆煤安全报警方法、装置、设备、介质 |
CN110817340B (zh) * | 2019-09-29 | 2021-07-16 | 西安重装韩城煤矿机械有限公司 | 一种煤矿运输皮带调速方法、装置及处理器 |
CN111157757A (zh) * | 2019-12-27 | 2020-05-15 | 苏州博田自动化技术有限公司 | 基于视觉的履带速度检测装置及方法 |
CN111242108B (zh) * | 2020-04-26 | 2020-08-28 | 华夏天信(北京)智能低碳技术研究院有限公司 | 基于目标检测的皮带转载点堵煤识别方法 |
CN111573200B (zh) * | 2020-05-25 | 2021-06-08 | 西安科技大学 | 一种井下皮带转接处堵塞的视觉检测系统及检测方法 |
CN112966619A (zh) * | 2021-03-15 | 2021-06-15 | 精英数智科技股份有限公司 | 一种采煤皮带机头溜煤眼下口堵塞检测方法及装置 |
CN113194308B (zh) * | 2021-05-24 | 2023-02-24 | 浙江大华技术股份有限公司 | 传输设备堵塞区域的确定方法、装置 |
CN113888525A (zh) * | 2021-10-20 | 2022-01-04 | 中国矿业大学 | 一种基于摄像头数据的旋流器堵塞及预警检测方法 |
CN114119522A (zh) * | 2021-11-17 | 2022-03-01 | 北京华能新锐控制技术有限公司 | 输煤皮带堵煤视觉检测方法 |
CN115043172B (zh) * | 2022-06-23 | 2023-12-19 | 云南昆船烟草设备有限公司 | 一种循环运转网板网孔堵塞的在线检测疏通装置及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7779994B1 (en) * | 2006-08-16 | 2010-08-24 | Travis Tonny D | Method and apparatus for monitoring and controlling conveyor position |
JP6961167B2 (ja) * | 2014-12-31 | 2021-11-05 | フィブ・イントラロジスティクス・コーポレイションFives Intralogistics Corp. | 視覚ベースのコンベヤパッケージ管理システム |
CN104778721B (zh) * | 2015-05-08 | 2017-08-11 | 广州小鹏汽车科技有限公司 | 一种双目图像中显著性目标的距离测量方法 |
CN204823104U (zh) * | 2015-08-08 | 2015-12-02 | 杭州集益科技有限公司 | 电厂输煤皮带防堵装置 |
CN105841614A (zh) * | 2016-04-13 | 2016-08-10 | 太原理工大学 | 一种带式输送机输送煤量视觉扫描测距检测方法 |
CN107043000B (zh) * | 2017-06-15 | 2018-10-12 | 西安科技大学 | 一种基于机器视觉的皮带运输机安全智能保障系统 |
CN108663955A (zh) * | 2018-02-14 | 2018-10-16 | 北京广天夏科技有限公司 | 基于计算机视觉的井下皮带控制方法及控制系统 |
-
2019
- 2019-04-25 CN CN201910341880.1A patent/CN110065790B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110065790A (zh) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110065790B (zh) | 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法 | |
CN109459750B (zh) | 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法 | |
Wang et al. | Automated estimation of reinforced precast concrete rebar positions using colored laser scan data | |
CN106225678B (zh) | 基于3d相机的动态物体定位与体积测量方法 | |
Singh et al. | A robust approach to identify roof bolts in 3D point cloud data captured from a mobile laser scanner | |
Chauhan et al. | Fault detection and classification in automated assembly machines using machine vision | |
CN108489403B (zh) | 基于三维激光扫描的露天矿山边坡岩体节理产状快速精细取值方法 | |
JP4429298B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
CN109559324B (zh) | 一种线阵图像中的目标轮廓检测方法 | |
CN111242108B (zh) | 基于目标检测的皮带转载点堵煤识别方法 | |
CN103927553B (zh) | 基于多尺度微纹理和对比度联合分布的煤岩识别方法 | |
Sturari et al. | Robotic platform for deep change detection for rail safety and security | |
CN115641553B (zh) | 掘进机作业环境侵入物的在线检测装置及方法 | |
Vetrivel et al. | Potential of multi-temporal oblique airborne imagery for structural damage assessment | |
Thurley et al. | Identifying, visualizing, and comparing regions in irregularly spaced 3D surface data | |
KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 | |
Albiol et al. | Video-based traffic queue length estimation | |
JP2006318064A (ja) | 画像センサ | |
Pletzer et al. | Robust traffic state estimation on smart cameras | |
JP4459162B2 (ja) | 速度計測装置、方法及びプログラム | |
CN117593499A (zh) | 一种基于分布式巡检策略的水电站机电设备故障识别方法 | |
JP4918615B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
CN114202631A (zh) | 一种岩石二次破碎作业中岩石作业面与作业点的确定方法 | |
Zakaria et al. | Particle swarm optimization and support vector machine for vehicle type classification in video stream | |
Makhmalbaf et al. | 2D vision tracking methods' performance comparison for 3D tracking of construction resources |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |