CN110675443B - 一种井下输煤图像的煤块面积检测方法 - Google Patents
一种井下输煤图像的煤块面积检测方法 Download PDFInfo
- Publication number
- CN110675443B CN110675443B CN201910906402.0A CN201910906402A CN110675443B CN 110675443 B CN110675443 B CN 110675443B CN 201910906402 A CN201910906402 A CN 201910906402A CN 110675443 B CN110675443 B CN 110675443B
- Authority
- CN
- China
- Prior art keywords
- coal
- image
- block
- transportation
- transported
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000003245 coal Substances 0.000 title claims abstract description 547
- 239000004484 Briquette Substances 0.000 title claims abstract description 98
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 61
- 230000002708 enhancing effect Effects 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims description 127
- 238000011176 pooling Methods 0.000 claims description 51
- 238000003062 neural network model Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000003708 edge detection Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 6
- 238000005286 illumination Methods 0.000 abstract description 6
- 238000005065 mining Methods 0.000 description 7
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000002817 coal dust Substances 0.000 description 3
- 238000004880 explosion Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种井下输煤图像的煤块面积检测方法，该方法包括以下步骤：一、视频图像采集模块的布设及视频图像的采集；二、运输煤流视频的分解；三、运输煤块图像的初步检测；四、运输煤块图像的增强；五、运输煤块图像的二次检测；六、运输煤块图像中煤块面积的判断及报警；七、煤矿输煤皮带上没有煤块运输提示。本发明方法步骤简单，设计合理，对井下输煤图像进行图像增强，实现井下输煤图像中煤块面积检测，且煤块面积的检测准确度高，有效地适应了煤矿井下非均匀照明环境。
Description
技术领域
本发明属于煤块面积检测技术领域，尤其是涉及一种井下输煤图像的煤块面积检测方法。
背景技术
近年来，随着我国煤炭工业的飞速发展，高产高效综采设备得到有效使用和推广，采煤工作面的深度和高度不断增加，随之而生的较大煤块也会对工作面的设备造成影响。煤矿在综采中会产生大块煤块，体积过大煤块会造成输煤设备煤流不畅、堵塞及碓煤等现象，从而影响矿井生产安全。现排查大面积煤块一种是依靠人工排查，观察并剔除大面积煤块，但工作效率受工人体力、现场环境影响，致使堵塞现象依然时常发生；另一种是采用机械方式，在井下运输煤块中抽样挑选部分煤块，进行称重检测煤炭颗粒度大小，该方法操作步骤较多，无法满足实时性的要求。随着煤炭产业发展数字化、智能化的要求，则需要对井下输煤进行图像拍摄监控，但是由于煤矿井下照度非均匀、图像噪声大，在图像预处理阶段若采用常规的图像增强方法，常会出现过增强、亮度过曝光、方块效应等出现。因此，现如今缺少一种结构简单，设计合理的井下输煤图像的煤块面积检测方法，对井下输煤图像进行图像增强，实现井下输煤图像中煤块面积检测，且煤块面积的检测准确度高，有效地适应了煤矿井下非均匀照明环境。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种井下输煤图像的煤块面积检测方法，其方法步骤简单，设计合理，对井下输煤图像进行图像增强，实现井下输煤图像中煤块面积检测，且煤块面积的检测准确度高，有效地适应了煤矿井下非均匀照明环境。
为解决上述技术问题，本发明采用的技术方案是：一种井下输煤图像的煤块面积检测方法，其特征在于，该方法包括以下步骤：
步骤一、视频图像采集模块的布设及视频图像的采集：
步骤101、沿煤矿输煤皮带布设多组视频图像采集模块，在煤矿井上监控室内设置与所述视频图像采集模块连接的监控计算机；其中，每组视频图像采集模块包括多个设置在煤矿输煤皮带上方的本安摄像头以及设置在煤矿巷道壁上且依次连接的本安交换机、本安光端机和环网交换机，所述本安交换机与多个本安摄像头连接，多个本安摄像头垂直指向煤矿输煤皮带；
步骤102、多个本安摄像头对煤矿输煤皮带的运输煤流视频进行采集，并将采集到的多个运输煤流视频依次经过本安交换机、本安光端机和环网交换机传送至监控计算机；
步骤二、运输煤流视频的分解：
监控计算机将接收到的多个运输煤流视频分别进行分解，则各个运输煤流视频均包括多帧运输煤块图像；其中，多帧运输煤块图像按照采集时间先后顺序进行排列，所述运输煤块图像为RGB图像，所述运输煤块图像的尺寸大小为A×B，A表示行，B表示列；
步骤三、运输煤块图像的初步检测：
监控计算机按照时间先后顺序对多帧运输煤块图像分别进行初步检测，且对各帧运输煤块图像的初步检测均相同，则对任一帧运输煤块图像进行初步检测时，包括以下步骤：
步骤301、监控计算机调取灰度处理模块对运输煤块图像进行灰度化处理，得到运输煤块灰度图像；
步骤302、监控计算机调取拉普拉斯边缘检测模块对运输煤块灰度图像进行边缘提取，得到运输煤块初步边缘图像；
步骤303、监控计算机调取二值化模块对运输煤块初步边缘图像进行二值化处理，得到运输煤块初步二值化图像；其中，运输煤块初步二值化图像中背景区域为黑色，前景区域为白色；
步骤304、监控计算机对运输煤块初步二值化图像中前景区域的像素数量进行统计，得到前景区域的像素数量并记作Nq；
步骤305、监控计算机根据公式
得到前景区域的面积比值Pq；其中，Nc表示运输煤块初步二值化图像中像素的总数量；
步骤306、监控计算机将前景区域的面积比值Pq和初步判断阈值S1进行比较，当Pq＞S1成立，则说明煤矿输煤皮带上有煤块运输，执行步骤四至步骤六；当Pq＞S1不成立，则说明煤矿输煤皮带上没有煤块运输，执行步骤七；
步骤四、运输煤块图像的增强：
步骤401、监控计算机调取图像尺寸调节模块将运输煤块图像的尺寸大小调整为224×224，得到待处理运输煤块图像；
步骤402、监控计算机调取灰度处理模块对待处理运输煤块图像进行灰度化处理，得到待处理运输煤块灰度图像；
步骤403、高斯滤波：监控计算机对待处理运输煤块灰度图像进行高斯滤波，得到高斯滤波后的运输煤块图像；
步骤404、Gamma亮度增强：监控计算机根据公式
得到初始增强运输煤块图像；其中，S(x,y)表示高斯滤波后的运输煤块图像中(x,y)处的灰度值，S′(x,y)表示初始增强运输煤块图像中(x,y)处的灰度值，ga表示Gamma指数，b表示补偿系数；
步骤405、局部直方图均衡化：监控计算机调取局部直方图均衡化模块，对初始增强运输煤块图像进行直方图均衡化，得到直方图均衡化后的运输煤块图像；
步骤406、Retinex提取反射分量：监控计算机采用Retinex算法对初始增强运输煤块图像提取反射分量，具体过程如下：
步骤4061、监控计算机对初始增强运输煤块图像进行反射分量提取，得到图像(x,y)处的像素反射分量r(x,y)；
步骤4062、监控计算机根据公式R(x,y)＝er(x,y)，得到运输煤块反射图像；其中，R(x,y)表示运输煤块反射图像中(x,y)处像素点的灰度值；
步骤407、监控计算机根据公式f(x,y)＝αH(x,y)+(1-α)R(x,y)，得到运输煤块增强图像；其中，α表示加权系数，且0.3≤α≤0.6，f(x,y)表示运输煤块增强图像中(x,y)处像素点的灰度值，H(x,y)表示直方图均衡化后的运输煤块图像中(x,y)处像素点的灰度值；
步骤408、监控计算机调取边缘保留滤波算法，对运输煤块增强图像进行处理，得到运输煤块边缘增强图像；
步骤五、运输煤块图像的二次检测：
步骤501、监控计算机将运输煤块边缘增强图像中灰度值大于灰度值阈值S2的区域的灰度值标记为255，将运输煤块边缘增强图像中灰度值不大于灰度值阈值S2的区域的灰度值标记为0，得到运输煤块背景图像；监控计算机将运输煤块边缘增强图像中灰度值不大于灰度值阈值S2的区域的灰度值标记为0，得到运输煤块前景图像；
步骤502、监控计算机将运输煤块前景图像带入训练完成的HED神经网络模型，得到运输煤块HED边缘图像；
步骤503、监控计算机对运输煤块HED边缘图像进行二值化后，并进行形态学闭运算，得到运输煤块闭运算后图像；
步骤504、监控计算机对运输煤块HED边缘图像进行Canny边缘检测，得到运输煤块Canny边缘图像；
步骤505、监控计算机对运输煤块Canny边缘图像进行形态学开运算，得到运输煤块开运算后图像；
步骤506、监控计算机对运输煤块闭运算后图像和运输煤块开运算后图像进行与运算，得到运输煤块边缘融合图像；
步骤507、监控计算机对运输煤块边缘融合图像进行非运算，得到运输煤块边缘融合转换图像；其中，运输煤块边缘融合转换图像中煤块边缘为黑色，其余部分为白色；
步骤508、监控计算机对运输煤块边缘融合转换图像和运输煤块背景图像进行与运算，得到煤块转换图像；
步骤509、监控计算机对煤块转换图像中最大白色面积的像素点数进行统计，得到最大煤块像素总数并记作Sum；
步骤六、运输煤块图像中煤块面积的判断及报警：
步骤601、监控计算机根据公式
得到最大煤面积百分比Ps；其中，Ns表示煤块转换图像中像素点的总数；
步骤602、监控计算机判断Ps＞S是否成立，当Ps＞S成立，则说明煤矿输煤皮带上煤块面积较大，监控计算机发出报警提醒；当Ps＞S不成立，则说明煤矿输煤皮带上没有大块煤块运输，重复步骤三至步骤六，对下一帧运输煤块图像进行处理；其中，S表示面积百分比阈值；
步骤七、煤矿输煤皮带上没有煤块运输提示：
监控计算机提示煤矿输煤皮带上没有煤块运输，然后，重复步骤三至步骤六，对下一帧运输煤块图像进行处理。
上述的一种井下输煤图像的煤块面积检测方法，其特征在于：步骤403中高斯滤波模板为3×3，高斯滤波中标准差σ的取值范围为0＜σ≤1；步骤404中Gamma指数ga的取值范围为0＜ga＜1，补偿系数b的取值范围为25≤b≤30。
上述的一种井下输煤图像的煤块面积检测方法，其特征在于：步骤4061中得到图像坐标为(x,y)处的像素反射分量r(x,y)的具体过程如下：
监控计算机根据公式r(x,y)＝logeS′(x,y)-loge[g(x,y)*S′(x,y)]，得到图像(x,y)处的像素反射分量r(x,y)；其中，*表示卷积符号，g(x,y)表示高斯环绕函数，且
λ表示尺度系数，且满足∫∫g(x,y)dxdy＝1，β表示高斯环绕尺度，且50＜β＜80，S′(x,y)表示初始增强运输煤块图像中(x,y)处像素点的像素值，x表示图像的横向坐标，y为图像的纵向坐标。
上述的一种井下输煤图像的煤块面积检测方法，其特征在于：步骤405中监控计算机调取局部直方图均衡化模块，对初始增强运输煤块图像进行直方图均衡化，具体过程如下：
步骤4051、将初始增强运输煤块图像划分为多个子块区域；其中，每个子块区域的尺寸为8×8，则监控计算机对任一个子块区域进行直方图均衡化的具体过程如下：
步骤A、根据公式
得到子块区域的直方图分布概率；其中，N表示子块区域中像素点的总数，nk表示子块区域中第k个灰度级rk的像素点的个数，k为自然数，且k的取值范围为0≤k≤L-1，L表示灰度级的总数，且L＝256；
步骤B、根据公式
得到子块区域中各个灰度级的累积概率sk；其中，j为自然数，且0≤j≤k；
步骤C、根据公式Sk＝int[(L-1)sk+0.5]，得到变换后的各个灰度级的累积概率Sk；
步骤D、根据步骤C中的Sk和步骤A中的rk，建立rk和Sk的映射关系，得到子块区域的新直方图分布概率Pk′，并根据子块区域的新直方图分布概率Pk′得到均衡后的子块区域中第k个灰度级rk的像素点的个数n′k；
步骤4052、多次重复步骤A至步骤D，对多个子块区域分别进行均衡化处理，则得到直方图均衡化后的运输煤块图像。
上述的一种井下输煤图像的煤块面积检测方法，其特征在于：步骤408中边缘保留滤波算法包括高斯双边滤波算法或者均值迁移滤波算法，当采用高斯双边滤波算法时，像素的邻域直径d＝0，颜色空间的滤波系数sigmaColor的取值范围为80～150，坐标空间的滤波系数sigmaSpace的取值范围为10～15；
当采用均值迁移滤波算法时，空间窗的半径的取值范围为10～15，色彩窗的半径的取值范围为40～60。
上述的一种井下输煤图像的煤块面积检测方法，其特征在于：步骤302中拉普拉斯模板为
或者
步骤305中初步判断阈值S1的取值范围为20％～30％；
步骤505中Canny边缘检测时，low阈值范围为90～100，high阈值范围为220～240；
步骤501中灰度值阈值S2的取值范围为30～60；
步骤602中面积百分比阈值S为10％～20％。
上述的一种井下输煤图像的煤块面积检测方法，其特征在于：步骤502中监控计算机得到已训练的HED神经网络模型的具体过程为：
步骤5021、按照步骤一至步骤四所述的方法，预先得到多幅运输煤块边缘增强图像；
步骤5022、按照步骤501所述的方法对多幅运输煤块边缘增强图像分别进行处理，得到多幅运输煤块前景图像；其中，将M1幅运输煤块前景图像作为训练输煤块前景图像，M1为正整数，且M1的取值范围为1600～4000，训练输煤块前景图像的尺寸大小均为224×224；
步骤5023、监控计算机建立HED神经网络模型，且HED神经网络模型由第一组卷积池化、第二组卷积池化、第三组卷积池化、第四组卷积池化和第五组卷积池化构成；其中，第一组卷积池化由卷积层C1、卷积层C2和池化层P1构成，第二组卷积池化由卷积层C3、卷积层C4和池化层P2构成，第三组卷积池化由卷积层C5、卷积层C6、卷积层C7和池化层P3构成，第四组卷积池化由卷积层C8、卷积层C9、卷积层C10和池化层P4构成，第五组卷积池化由卷积层C11、卷积层C12、卷积层C13和池化层P5构成，卷积层C1、卷积层C2、卷积层C3、卷积层C4、卷积层C5、卷积层C6、卷积层C7、卷积层C8、卷积层C9、卷积层C10、卷积层C11、卷积层C12和卷积层C13均采用3×3的卷积核，池化层P1、池化层P2、池化层P3、池化层P4和池化层P5均采用2×2的池化窗口，激活函数为Leaky Relu激活函数，学习率为0.01～0.05；
HED神经网络模型的输入为训练输煤块前景图像，HED神经网络模型的输出为运输煤块HED边缘图像；
步骤5024、监控计算机用训练输煤块前景图像对HED神经网络模型进行训练，直至M1幅训练输煤块前景图像训练完毕，得到训练好的HED神经网络模型。
上述的一种井下输煤图像的煤块面积检测方法，其特征在于：训练输煤块前景图像经过卷积层C2输出图像J2，图像J2的尺寸大小为224×224；训练输煤块前景图像经过卷积层C4输出图像J4，图像J4的尺寸大小为112×112；训练输煤块前景图像经过卷积层C7输出图像J7，图像J7的尺寸大小为56×56；训练输煤块前景图像经过卷积层C10输出图像J10，图像J10的尺寸大小为28×28；训练输煤块前景图像经过卷积层C13输出图像J13，图像J13的尺寸大小为14×14；并将图像J4的尺寸大小调整为224×224，得到调整后的图像J′4，图像J7的尺寸大小调整为224×224，得到调整后的图像J′7，图像J10的尺寸大小调整为224×224，得到调整后的图像J′10，图像J13的尺寸大小调整为224×224，得到调整后的图像J′13，并将图像J2、调整后的图像J′4、调整后的图像J′7、调整后的图像J′10和调整后的图像J′13进行加法融合得到HED神经网络模型的输出。
本发明与现有技术相比具有以下优点：
1、本发明方法步骤简单、设计合理，实现井下输煤图像中煤块面积的检测。
2、本发明所采用的本安摄像头，能对煤矿输煤皮带的运输煤流视频进行采集，并将采集到的多个运输煤流视频经过本安交换机、本安光端机和环网交换机传送至监控计算机，实现了运输煤流视频的采集，其结构紧凑，体积小，重量轻，防爆，抗震，防潮，适合于煤矿井下使用，并确保运输煤流视频采集与传输的准确。
3、本发明对高斯滤波后的运输煤块图像进行Gamma亮度增强，通过增强图像亮度与对比度而得到初始增强运输煤块图像，之后，对初始增强运输煤块图像进行直方图均衡化，得到直方图均衡化后的运输煤块图像。
4、本发明采用Retinex算法对初始增强运输煤块图像提取反射分量，从而能结合局部直方图均衡化中边缘信息与运输煤块反射图像中亮度信息解决过增强与过曝光现象，从而能有效地适应了煤矿井下非均匀照明环境。
5、本发明采用边缘保留滤波算法，对运输煤块增强图像进行处理，得到运输煤块边缘增强图像，通过边缘保留滤波使图像更加平滑，是为了针对大面积煤块表面凹凸不平干扰边缘分割的准确率，采取边缘保留滤波增强关键边缘信息减少方块效应，便于直接观察煤流视频，不受煤块表面凹凸的影响。
6、本发明通过HED神经网络模型与Canny边缘检测形成融合模型，以便获取连接完全、拟合清晰的运输煤块边缘融合图像，有效地解决运输煤块图像处理中产生的过拟合(煤块表面凹凸造成的边缘线增多的现象)与欠拟合(煤块之间边缘信息不明确造成边缘线断开的现象)。
综上所述，本发明方法步骤简单，设计合理，对井下输煤图像进行图像增强，实现井下输煤图像中煤块面积检测，且煤块面积的检测准确度高，有效地适应了煤矿井下非均匀照明环境。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的电路原理框图。
图2为本发明的方法流程框图。
图3为本发明运输煤块图像的增强的方法流程框图。
图4-1为待处理运输煤块灰度图像。
图4-2为初始增强运输煤块图像。
图4-3为直方图均衡化后的运输煤块图像。
图4-4为运输煤块反射图像。
图4-5为运输煤块增强图像。
图4-6为运输煤块边缘增强图像。
图5-1为输煤块前景图像。
图5-2为运输煤块背景图像。
图6为运输煤块HED边缘图像。
图7为运输煤块Canny边缘图像。
图8为运输煤块闭运算后图像。
图9为运输煤块开运算后图像。
图10为运输煤块边缘融合图像。
图11为煤块转换图像。
附图标记说明:
1—本安摄像头； 2—本安交换机； 3—监控计算机；
4—本安光端机； 5—环网交换机。
具体实施方式
如图1、图2和图3所示的一种井下输煤图像的煤块面积检测方法，包括以下步骤：
步骤一、视频图像采集模块的布设及视频图像的采集：
步骤101、沿煤矿输煤皮带布设多组视频图像采集模块，在煤矿井上监控室内设置与所述视频图像采集模块连接的监控计算机3；其中，每组视频图像采集模块包括多个设置在煤矿输煤皮带上方的本安摄像头1以及设置在煤矿巷道壁上且依次连接的本安交换机2、本安光端机4和环网交换机5，所述本安交换机2与多个本安摄像头1连接，多个本安摄像头1垂直指向煤矿输煤皮带；
步骤102、多个本安摄像头1对煤矿输煤皮带的运输煤流视频进行采集，并将采集到的多个运输煤流视频依次经过本安交换机2、本安光端机4和环网交换机5传送至监控计算机3；
步骤二、运输煤流视频的分解：
监控计算机3将接收到的多个运输煤流视频分别进行分解，则各个运输煤流视频均包括多帧运输煤块图像；其中，多帧运输煤块图像按照采集时间先后顺序进行排列，所述运输煤块图像为RGB图像，所述运输煤块图像的尺寸大小为A×B，A表示行，B表示列；
步骤三、运输煤块图像的初步检测：
监控计算机3按照时间先后顺序对多帧运输煤块图像分别进行初步检测，且对各帧运输煤块图像的初步检测均相同，则对任一帧运输煤块图像进行初步检测时，包括以下步骤：
步骤301、监控计算机3调取灰度处理模块对运输煤块图像进行灰度化处理，得到运输煤块灰度图像；
步骤302、监控计算机3调取拉普拉斯边缘检测模块对运输煤块灰度图像进行边缘提取，得到运输煤块初步边缘图像；
步骤303、监控计算机3调取二值化模块对运输煤块初步边缘图像进行二值化处理，得到运输煤块初步二值化图像；其中，运输煤块初步二值化图像中背景区域为黑色，前景区域为白色；
步骤304、监控计算机3对运输煤块初步二值化图像中前景区域的像素数量进行统计，得到前景区域的像素数量并记作Nq；
步骤305、监控计算机3根据公式
得到前景区域的面积比值Pq；其中，Nc表示运输煤块初步二值化图像中像素的总数量；
步骤306、监控计算机3将前景区域的面积比值Pq和初步判断阈值S1进行比较，判断Pq＞S1是否成立，当Pq＞S1成立，则说明煤矿输煤皮带上有煤块运输，执行步骤四至步骤六；当Pq＞S1不成立，则说明煤矿输煤皮带上没有煤块运输，执行步骤七；
步骤四、运输煤块图像的增强：
步骤401、监控计算机3调取图像尺寸调节模块将运输煤块图像的尺寸大小调整为224×224，得到待处理运输煤块图像；
步骤402、监控计算机3调取灰度处理模块对待处理运输煤块图像进行灰度化处理，得到待处理运输煤块灰度图像；
步骤403、高斯滤波：监控计算机3对待处理运输煤块灰度图像进行高斯滤波，得到高斯滤波后的运输煤块图像；
步骤404、Gamma亮度增强：监控计算机3根据公式
得到初始增强运输煤块图像；其中，S(x,y)表示高斯滤波后的运输煤块图像中(x,y)处的灰度值，S′(x,y)表示初始增强运输煤块图像中(x,y)处的灰度值，ga表示Gamma指数，b表示补偿系数；
步骤405、局部直方图均衡化：监控计算机3调取局部直方图均衡化模块，对初始增强运输煤块图像进行直方图均衡化，得到直方图均衡化后的运输煤块图像；
步骤406、Retinex提取反射分量：监控计算机3采用Retinex算法对初始增强运输煤块图像提取反射分量，具体过程如下：
步骤4061、监控计算机3对初始增强运输煤块图像进行反射分量提取，得到图像(x,y)处的像素反射分量r(x,y)；
步骤4062、监控计算机3根据公式R(x,y)＝er(x,y)，得到运输煤块反射图像；其中，R(x,y)表示运输煤块反射图像中(x,y)处像素点的灰度值；
步骤407、监控计算机3根据公式f(x,y)＝αH(x,y)+(1-α)R(x,y)，得到运输煤块增强图像；其中，α表示加权系数，且0.3≤α≤0.6，f(x,y)表示运输煤块增强图像中(x,y)处像素点的灰度值，H(x,y)表示直方图均衡化后的运输煤块图像中(x,y)处像素点的灰度值；
步骤408、监控计算机3调取边缘保留滤波算法，对运输煤块增强图像进行处理，得到运输煤块边缘增强图像；
步骤五、运输煤块图像的二次检测：
步骤501、监控计算机3将运输煤块边缘增强图像中灰度值大于灰度值阈值S2的区域的灰度值标记为255，将运输煤块边缘增强图像中灰度值不大于灰度值阈值S2的区域的灰度值标记为0，得到运输煤块背景图像；监控计算机3将运输煤块边缘增强图像中灰度值不大于灰度值阈值S2的区域的灰度值标记为0，得到运输煤块前景图像；
步骤502、监控计算机3将运输煤块前景图像带入训练完成的HED神经网络模型，得到运输煤块HED边缘图像；
步骤503、监控计算机3对运输煤块HED边缘图像进行二值化后，并进行形态学闭运算，得到运输煤块闭运算后图像；
步骤504、监控计算机3对运输煤块HED边缘图像进行Canny边缘检测，得到运输煤块Canny边缘图像；
步骤505、监控计算机3对运输煤块Canny边缘图像进行形态学开运算，得到运输煤块开运算后图像；
步骤506、监控计算机3对运输煤块闭运算后图像和运输煤块开运算后图像进行与运算，得到运输煤块边缘融合图像；
步骤507、监控计算机3对运输煤块边缘融合图像进行非运算，得到运输煤块边缘融合转换图像；其中，运输煤块边缘融合转换图像中煤块边缘为黑色，其余部分为白色；
步骤508、监控计算机3对运输煤块边缘融合转换图像和运输煤块背景图像进行与运算，得到煤块转换图像；
步骤509、监控计算机3对煤块转换图像中最大白色面积的像素点数进行统计，得到最大煤块像素总数并记作；
步骤六、运输煤块图像中煤块面积的判断及报警：
步骤601、监控计算机3根据公式
得到最大煤面积百分比Ps；其中，Ns表示煤块转换图像中像素点的总数；
步骤602、监控计算机3判断Ps＞S是否成立，当Ps＞S成立，则说明煤矿输煤皮带上煤块面积较大，监控计算机3发出报警提醒；当Ps＞S不成立，则说明煤矿输煤皮带上没有大块煤块运输，重复步骤三至步骤六，对下一帧运输煤块图像进行处理；其中，S表示面积百分比阈值；
步骤七、煤矿输煤皮带上没有煤块运输提示：
监控计算机3提示煤矿输煤皮带上没有煤块运输，然后，重复步骤三至步骤六，对下一帧运输煤块图像进行处理。
本实施例中，步骤403中高斯滤波模板为3×3，高斯滤波中标准差σ的取值范围为0＜σ≤1；步骤404中Gamma指数ga的取值范围为0＜ga＜1，补偿系数b的取值范围为25≤b≤30。
本实施例中，步骤4061中得到图像坐标为(x,y)处的像素反射分量r(x,y)的具体过程如下：
监控计算机3根据公式r(x,y)＝logeS′(x,y)-loge[g(x,y)*S′(x,y)]，得到图像(x,y)处的像素反射分量r(x,y)；其中，*表示卷积符号，g(x,y)表示高斯环绕函数，且
λ表示尺度系数，且满足∫∫g(x,y)dxdy＝1，β表示高斯环绕尺度，且50＜β＜80，S′(x,y)表示初始增强运输煤块图像中(x,y)处像素点的像素值，x表示图像的横向坐标，y为图像的纵向坐标。
本实施例中，步骤405中监控计算机3调取局部直方图均衡化模块，对初始增强运输煤块图像进行直方图均衡化，具体过程如下：
步骤4051、将初始增强运输煤块图像划分为多个子块区域；其中，每个子块区域的尺寸为8×8，则监控计算机3对任一个子块区域进行直方图均衡化的具体过程如下：
步骤A、根据公式
得到子块区域的直方图分布概率；其中，N表示子块区域中像素点的总数，nk表示子块区域中第k个灰度级rk的像素点的个数，k为自然数，且k的取值范围为0≤k≤L-1，L表示灰度级的总数，且L＝256；
步骤B、根据公式
得到子块区域中各个灰度级的累积概率sk；其中，j为自然数，且0≤j≤k；
步骤C、根据公式Sk＝int[(L-1)sk+0.5]，得到变换后的各个灰度级的累积概率Sk；
步骤D、根据步骤C中的Sk和步骤A中的rk，建立rk和Sk的映射关系，得到子块区域的新直方图分布概率Pk′，并根据子块区域的新直方图分布概率Pk′得到均衡后的子块区域中第k个灰度级rk的像素点的个数n′k；
步骤4052、多次重复步骤A至步骤D，对多个子块区域分别进行均衡化处理，则得到直方图均衡化后的运输煤块图像。
本实施例中，步骤408中边缘保留滤波算法包括高斯双边滤波算法或者均值迁移滤波算法，当采用高斯双边滤波算法时，像素的邻域直径d＝0，颜色空间的滤波系数sigmaColor的取值范围为80～150，坐标空间的滤波系数sigmaSpace的取值范围为10～15；
当采用均值迁移滤波算法时，空间窗的半径的取值范围为10～15，色彩窗的半径的取值范围为40～60。
本实施例中，步骤302中拉普拉斯模板为
或者
步骤305中初步判断阈值S1的取值范围为20％～30％；
步骤505中Canny边缘检测时，low阈值范围为90～100，high阈值范围为220～240；
步骤501中灰度值阈值S2的取值范围为30～60；
步骤602中面积百分比阈值为10％～20％。
本实施例中，步骤502中监控计算机3得到已训练的HED神经网络模型的具体过程为：
步骤5021、按照步骤一至步骤四所述的方法，预先得到多幅运输煤块边缘增强图像；
步骤5022、按照步骤501所述的方法对多幅运输煤块边缘增强图像分别进行处理，得到多幅运输煤块前景图像；其中，将M1幅运输煤块前景图像作为训练输煤块前景图像，M1为正整数，且M1的取值范围为1600～4000，训练输煤块前景图像的尺寸大小均为224×224；
步骤5023、监控计算机3建立HED神经网络模型，且HED神经网络模型由第一组卷积池化、第二组卷积池化、第三组卷积池化、第四组卷积池化和第五组卷积池化构成；其中，第一组卷积池化由卷积层C1、卷积层C2和池化层P1构成，第二组卷积池化由卷积层C3、卷积层C4和池化层P2构成，第三组卷积池化由卷积层C5、卷积层C6、卷积层C7和池化层P3构成，第四组卷积池化由卷积层C8、卷积层C9、卷积层C10和池化层P4构成，第五组卷积池化由卷积层C11、卷积层C12、卷积层C13和池化层P5构成，卷积层C1、卷积层C2、卷积层C3、卷积层C4、卷积层C5、卷积层C6、卷积层C7、卷积层C8、卷积层C9、卷积层C10、卷积层C11、卷积层C12和卷积层C13均采用3×3的卷积核，池化层P1、池化层P2、池化层P3、池化层P4和池化层P5均采用2×2的池化窗口，激活函数为Leaky Relu激活函数，学习率为0.01～0.05；
HED神经网络模型的输入为训练输煤块前景图像，HED神经网络模型的输出为运输煤块HED边缘图像；
步骤5024、监控计算机3用训练输煤块前景图像对HED神经网络模型进行训练，直至M1幅训练输煤块前景图像训练完毕，得到训练好的HED神经网络模型。
本实施例中，训练输煤块前景图像经过卷积层C2输出图像J2，图像J2的尺寸大小为224×224；训练输煤块前景图像经过卷积层C4输出图像J4，图像J4的尺寸大小为112×112；训练输煤块前景图像经过卷积层C7输出图像J7，图像J7的尺寸大小为56×56；训练输煤块前景图像经过卷积层C10输出图像J10，图像J10的尺寸大小为28×28；训练输煤块前景图像经过卷积层C13输出图像J13，图像J13的尺寸大小为14×14；并将图像J4的尺寸大小调整为224×224，得到调整后的图像J4′，图像J7的尺寸大小调整为224×224，得到调整后的图像J7′，图像J10的尺寸大小调整为224×224，得到调整后的图像J1′0，图像J13的尺寸大小调整为224×224，得到调整后的图像J1′3，并将图像J2、调整后的图像J4′、调整后的图像J7′、调整后的图像J1′0和调整后的图像J′13进行加法融合得到HED神经网络模型的输出。
本实施例中，本安摄像头1通过双绞线与本安交换机2的电口连接，双绞线传输距离高于2km，双向带宽20M以上，本安交换机2的光口通过光纤线缆与本安光端机4的光口连接，所述本安光端机4的光口通过光纤线缆与环网交换机5的光口连接，所述环网交换机5的电口通过双绞线与监控计算机3连接。
本实施例中，本安交换机2为KJJ12矿用本安型交换机，可以在有甲烷、煤尘爆炸的危险环境中使用。
本实施例中，本安摄像头1为矿用本质安全型CCD摄像头，具体是型号KBA12S长线高清摄像头，其结构紧凑，体积小，重量轻，防爆，抗震，防潮，适合于煤矿井下使用。
本实施例中，本安光端机4为KTG12(A)型矿用隔爆型光端机，主要用于煤矿井下实现交换机的环网、数据交换等功能，并可实现4/8/16路模拟视频光纤传输功能，该设备具有体积小、重量轻、传输距离长、信号衰减小等优点，适用于含有煤尘混合物、甲烷爆炸混合物环境。
本实施例中，环网交换机5为KJJ127矿用隔爆兼本安型千兆环网交换机，适应于有瓦斯和煤尘爆炸危险的矿井下。
本实施例中，采用Leaky Relu作为激活函数，保留了Relu函数线性、不饱和性优点，同时解决了HED神经网络模型中部分神经元未被激活的现象，相比于Maxout函数处理速度更快，不会产生新增的参数。
本实施例中，激活函数Leaky Relu具体为
本实施例中，需要说明的是，图像的尺寸大小以像素为单位。
本实施例中，需要说明的是，第k个灰度级rk满足rk＝k，即灰度级rk的取值范围为0≤rk≤L-1。
本实施例中，需要说明的是，步骤408中边缘保留滤波算法采用的是高斯双边滤波算法。
本实施例中，需要说明的是，步骤302中拉普拉斯模板为
本实施例中，先对待处理运输煤块图像进行灰度化处理，得到运输煤块灰度图像，并对运输煤块灰度图像进行高斯滤波，得到高斯滤波后的运输煤块图像，消除运输煤块图像中的噪声，且对运输煤块灰度图像的边缘加强而不会减弱。
本实施例中，对高斯滤波后的运输煤块图像进行Gamma亮度增强，通过增强图像亮度与对比度而得到初始增强运输煤块图像，之后，对初始增强运输煤块图像进行直方图均衡化，得到直方图均衡化后的运输煤块图像，是由于非均匀照度大块混合物在运输煤块灰度图像中出现边沿梯度不明显，经过高斯滤波后图像模糊，图像局部梯度缩小，因此为增强图像中大面积煤块之间的边沿梯度信息，选取局部直方图均衡化，以此来解决运输煤块灰度图像中存在的大面积煤块边沿梯度缩减情况。
本实施例中，由于大面积煤块表面的凹凸不平，易出现由于过增强现象而导致的黑斑，则采用Retinex算法对初始增强运输煤块图像提取反射分量，运输煤块反射图像整体亮度有了极大提高，但运输煤块反射图像边缘信息并未由于亮度的提升而增强，反而由于亮度提升，出现轻微过曝光现象。之后，监控计算机将运输煤块反射图像和直方图均衡化后的运输煤块图像进行加权处理，从而能结合局部直方图均衡化中边缘信息与运输煤块反射图像中亮度信息解决过增强与过曝光现象，从而能有效地适应了煤矿井下非均匀照明环境。
本实施例中，步骤308中采用边缘保留滤波算法，对运输煤块增强图像进行处理，得到运输煤块边缘增强图像，通过边沿保留滤波使图像更加平滑，是为了针对大面积煤块表面凹凸不平干扰边沿分割的准确率，采取边缘保留滤波增强关键边缘信息减少方块效应，便于直接观察煤流视频，不受煤块表面凹凸的影响。
本实施例中，通过HED神经网络模型与Canny边缘检测形成融合模型，以便获取连接完全、拟合清晰的运输煤块边缘融合图像，有效地解决运输煤块图像处理中产生的过拟合即煤块表面凹凸造成的边缘线增多的现象与欠拟合即煤块之间边缘信息不明确造成边缘线断开的现象。
本实施例中，利用本发明步骤四对一帧运输煤块图像进行处理，得到如图4-1所示的待处理运输煤块灰度图像，如图4-2所示的初始增强运输煤块图像，如图4-3所示的直方图均衡化后的运输煤块图像，如图4-4所示的运输煤块反射图像，如图4-5所示的运输煤块增强图像和如图4-6所示的运输煤块边缘增强图像。
本实施例中，利用本发明步骤五对运输煤块边缘增强图像进行处理，得到如图5-1所示的输煤块前景图像、如图5-2所示的运输煤块背景图像、如图6所示的运输煤块HED边缘图像、如图7所示的运输煤块Canny边缘图像、如图8所示的运输煤块闭运算后图像、如图9所示的运输煤块开运算后图像、如图10所示的运输煤块边缘融合图像和如图11所示的煤块转换图像，通过对煤块转换图像中的最大煤块面积进行判断实现报警提示，且提高了煤块面积的检测准确度。
综上所述，本发明方法步骤简单，设计合理，对井下输煤图像进行图像增强，实现井下输煤图像中煤块面积检测，且煤块面积的检测准确度高，有效地适应了煤矿井下非均匀照明环境。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。
Claims (8)
1.一种井下输煤图像的煤块面积检测方法，其特征在于，该方法包括以下步骤：
步骤一、视频图像采集模块的布设及视频图像的采集：
步骤101、沿煤矿输煤皮带布设多组视频图像采集模块，在煤矿井上监控室内设置与所述视频图像采集模块连接的监控计算机(3)；其中，每组视频图像采集模块包括多个设置在煤矿输煤皮带上方的本安摄像头(1)以及设置在煤矿巷道壁上且依次连接的本安交换机(2)、本安光端机(4)和环网交换机(5)，所述本安交换机(2)与多个本安摄像头(1)连接，多个本安摄像头(1)垂直指向煤矿输煤皮带；
步骤102、多个本安摄像头(1)对煤矿输煤皮带的运输煤流视频进行采集，并将采集到的多个运输煤流视频依次经过本安交换机(2)、本安光端机(4)和环网交换机(5)传送至监控计算机(3)；
步骤二、运输煤流视频的分解：
监控计算机(3)将接收到的多个运输煤流视频分别进行分解，则各个运输煤流视频均包括多帧运输煤块图像；其中，多帧运输煤块图像按照采集时间先后顺序进行排列，所述运输煤块图像为RGB图像，所述运输煤块图像的尺寸大小为A×B，A表示行，B表示列；
步骤三、运输煤块图像的初步检测：
监控计算机(3)按照时间先后顺序对多帧运输煤块图像分别进行初步检测，且对各帧运输煤块图像的初步检测均相同，则对任一帧运输煤块图像进行初步检测时，包括以下步骤：
步骤301、监控计算机(3)调取灰度处理模块对运输煤块图像进行灰度化处理，得到运输煤块灰度图像；
步骤302、监控计算机(3)调取拉普拉斯边缘检测模块对运输煤块灰度图像进行边缘提取，得到运输煤块初步边缘图像；
步骤303、监控计算机(3)调取二值化模块对运输煤块初步边缘图像进行二值化处理，得到运输煤块初步二值化图像；其中，运输煤块初步二值化图像中背景区域为黑色，前景区域为白色；
步骤304、监控计算机(3)对运输煤块初步二值化图像中前景区域的像素数量进行统计，得到前景区域的像素数量并记作Nq；
步骤305、监控计算机(3)根据公式
得到前景区域的面积比值Pq；其中，Nc表示运输煤块初步二值化图像中像素的总数量；
步骤306、监控计算机(3)将前景区域的面积比值Pq和初步判断阈值S1进行比较，当Pq＞S1成立，则说明煤矿输煤皮带上有煤块运输，执行步骤四至步骤六；当Pq＞S1不成立，则说明煤矿输煤皮带上没有煤块运输，执行步骤七；
步骤四、运输煤块图像的增强：
步骤401、监控计算机(3)调取图像尺寸调节模块将运输煤块图像的尺寸大小调整为224×224，得到待处理运输煤块图像；
步骤402、监控计算机(3)调取灰度处理模块对待处理运输煤块图像进行灰度化处理，得到待处理运输煤块灰度图像；
步骤403、高斯滤波：监控计算机(3)对待处理运输煤块灰度图像进行高斯滤波，得到高斯滤波后的运输煤块图像；
步骤404、Gamma亮度增强：监控计算机(3)根据公式
得到初始增强运输煤块图像；其中，S(x,y)表示高斯滤波后的运输煤块图像中(x,y)处的灰度值，S′(x,y)表示初始增强运输煤块图像中(x,y)处的灰度值，ga表示Gamma指数，b表示补偿系数；
步骤405、局部直方图均衡化：监控计算机(3)调取局部直方图均衡化模块，对初始增强运输煤块图像进行直方图均衡化，得到直方图均衡化后的运输煤块图像；
步骤406、Retinex提取反射分量：监控计算机(3)采用Retinex算法对初始增强运输煤块图像提取反射分量，具体过程如下：
步骤4061、监控计算机(3)对初始增强运输煤块图像进行反射分量提取，得到图像(x,y)处的像素反射分量r(x,y)；
步骤4062、监控计算机(3)根据公式R(x,y)＝er(x,y)，得到运输煤块反射图像；其中，R(x,y)表示运输煤块反射图像中(x,y)处像素点的灰度值；
步骤407、监控计算机(3)根据公式f(x,y)＝αH(x,y)+(1-α)R(x,y)，得到运输煤块增强图像；其中，α表示加权系数，且0.3≤α≤0.6，f(x,y)表示运输煤块增强图像中(x,y)处像素点的灰度值，H(x,y)表示直方图均衡化后的运输煤块图像中(x,y)处像素点的灰度值；
步骤408、监控计算机(3)调取边缘保留滤波算法，对运输煤块增强图像进行处理，得到运输煤块边缘增强图像；
步骤五、运输煤块图像的二次检测：
步骤501、监控计算机(3)将运输煤块边缘增强图像中灰度值大于灰度值阈值S2的区域的灰度值标记为255，将运输煤块边缘增强图像中灰度值不大于灰度值阈值S2的区域的灰度值标记为0，得到运输煤块背景图像；监控计算机(3)将运输煤块边缘增强图像中灰度值不大于灰度值阈值S2的区域的灰度值标记为0，得到运输煤块前景图像；
步骤502、监控计算机(3)将运输煤块前景图像带入训练完成的HED神经网络模型，得到运输煤块HED边缘图像；
步骤503、监控计算机(3)对运输煤块HED边缘图像进行二值化后，并进行形态学闭运算，得到运输煤块闭运算后图像；
步骤504、监控计算机(3)对运输煤块HED边缘图像进行Canny边缘检测，得到运输煤块Canny边缘图像；
步骤505、监控计算机(3)对运输煤块Canny边缘图像进行形态学开运算，得到运输煤块开运算后图像；
步骤506、监控计算机(3)对运输煤块闭运算后图像和运输煤块开运算后图像进行与运算，得到运输煤块边缘融合图像；
步骤507、监控计算机(3)对运输煤块边缘融合图像进行非运算，得到运输煤块边缘融合转换图像；其中，运输煤块边缘融合转换图像中煤块边缘为黑色，其余部分为白色；
步骤508、监控计算机(3)对运输煤块边缘融合转换图像和运输煤块背景图像进行与运算，得到煤块转换图像；
步骤509、监控计算机(3)对煤块转换图像中最大白色面积的像素点数进行统计，得到最大煤块像素总数并记作Sum；
步骤六、运输煤块图像中煤块面积的判断及报警：
步骤601、监控计算机(3)根据公式
得到最大煤面积百分比Ps；其中，Ns表示煤块转换图像中像素点的总数；
步骤602、监控计算机(3)判断Ps＞S是否成立，当Ps＞S成立，则说明煤矿输煤皮带上煤块面积较大，监控计算机(3)发出报警提醒；当Ps＞S不成立，则说明煤矿输煤皮带上没有大块煤块运输，重复步骤三至步骤六，对下一帧运输煤块图像进行处理；其中，S表示面积百分比阈值；
步骤七、煤矿输煤皮带上没有煤块运输提示：
监控计算机(3)提示煤矿输煤皮带上没有煤块运输，然后，重复步骤三至步骤六，对下一帧运输煤块图像进行处理。
2.按照权利要求1所述的一种井下输煤图像的煤块面积检测方法，其特征在于：步骤403中高斯滤波模板为3×3，高斯滤波中标准差σ的取值范围为0＜σ≤1；步骤404中Gamma指数ga的取值范围为0＜ga＜1，补偿系数b的取值范围为25≤b≤30。
3.按照权利要求1所述的一种井下输煤图像的煤块面积检测方法，其特征在于：步骤4061中得到图像坐标为(x,y)处的像素反射分量r(x,y)的具体过程如下：
监控计算机(3)根据公式r(x,y)＝logeS′(x,y)-loge[g(x,y)*S′(x,y)]，得到图像(x,y)处的像素反射分量r(x,y)；其中，*表示卷积符号，g(x,y)表示高斯环绕函数，且
λ表示尺度系数，且满足∫∫g(x,y)dxdy＝1，β表示高斯环绕尺度，且50＜β＜80，S′(x,y)表示初始增强运输煤块图像中(x,y)处像素点的像素值，x表示图像的横向坐标，y为图像的纵向坐标。
4.按照权利要求1所述的一种井下输煤图像的煤块面积检测方法，其特征在于：步骤405中监控计算机(3)调取局部直方图均衡化模块，对初始增强运输煤块图像进行直方图均衡化，具体过程如下：
步骤4051、将初始增强运输煤块图像划分为多个子块区域；其中，每个子块区域的尺寸为8×8，则监控计算机(3)对任一个子块区域进行直方图均衡化的具体过程如下：
步骤A、根据公式
得到子块区域的直方图分布概率；其中，N表示子块区域中像素点的总数，nk表示子块区域中第k个灰度级rk的像素点的个数，k为自然数，且k的取值范围为0≤k≤L-1，L表示灰度级的总数，且L＝256；
步骤B、根据公式
得到子块区域中各个灰度级的累积概率sk；其中，j为自然数，且0≤j≤k；
步骤C、根据公式Sk＝int[(L-1)sk+0.5]，得到变换后的各个灰度级的累积概率Sk；
步骤D、根据步骤C中的Sk和步骤A中的rk，建立rk和Sk的映射关系，得到子块区域的新直方图分布概率P′k，并根据子块区域的新直方图分布概率P′k得到均衡后的子块区域中第k个灰度级rk的像素点的个数n′k；
步骤4052、多次重复步骤A至步骤D，对多个子块区域分别进行均衡化处理，则得到直方图均衡化后的运输煤块图像。
5.按照权利要求1所述的一种井下输煤图像的煤块面积检测方法，其特征在于：步骤408中边缘保留滤波算法包括高斯双边滤波算法或者均值迁移滤波算法，当采用高斯双边滤波算法时，像素的邻域直径d＝0，颜色空间的滤波系数sigmaColor的取值范围为80～150，坐标空间的滤波系数sigmaSpace的取值范围为10～15；
当采用均值迁移滤波算法时，空间窗的半径的取值范围为10～15，色彩窗的半径的取值范围为40～60。
6.按照权利要求1所述的一种井下输煤图像的煤块面积检测方法，其特征在于：步骤302中拉普拉斯模板为
或者
步骤305中初步判断阈值S1的取值范围为20％～30％；
步骤505中Canny边缘检测时，low阈值范围为90～100，high阈值范围为220～240；
步骤501中灰度值阈值S2的取值范围为30～60；
步骤602中面积百分比阈值S为10％～20％。
7.按照权利要求1所述的一种井下输煤图像的煤块面积检测方法，其特征在于：步骤502中监控计算机(3)得到已训练的HED神经网络模型的具体过程为：
步骤5021、按照步骤一至步骤四所述的方法，预先得到多幅运输煤块边缘增强图像；
步骤5022、按照步骤501所述的方法对多幅运输煤块边缘增强图像分别进行处理，得到多幅运输煤块前景图像；其中，将M1幅运输煤块前景图像作为训练输煤块前景图像，M1为正整数，且M1的取值范围为1600～4000，训练输煤块前景图像的尺寸大小均为224×224；
步骤5023、监控计算机(3)建立HED神经网络模型，且HED神经网络模型由第一组卷积池化、第二组卷积池化、第三组卷积池化、第四组卷积池化和第五组卷积池化构成；其中，第一组卷积池化由卷积层C1、卷积层C2和池化层P1构成，第二组卷积池化由卷积层C3、卷积层C4和池化层P2构成，第三组卷积池化由卷积层C5、卷积层C6、卷积层C7和池化层P3构成，第四组卷积池化由卷积层C8、卷积层C9、卷积层C10和池化层P4构成，第五组卷积池化由卷积层C11、卷积层C12、卷积层C13和池化层P5构成，卷积层C1、卷积层C2、卷积层C3、卷积层C4、卷积层C5、卷积层C6、卷积层C7、卷积层C8、卷积层C9、卷积层C10、卷积层C11、卷积层C12和卷积层C13均采用3×3的卷积核，池化层P1、池化层P2、池化层P3、池化层P4和池化层P5均采用2×2的池化窗口，激活函数为Leaky Relu激活函数，学习率为0.01～0.05；
HED神经网络模型的输入为训练输煤块前景图像，HED神经网络模型的输出为运输煤块HED边缘图像；
步骤5024、监控计算机(3)用训练输煤块前景图像对HED神经网络模型进行训练，直至M1幅训练输煤块前景图像训练完毕，得到训练好的HED神经网络模型。
8.按照权利要求7所述的一种井下输煤图像的煤块面积检测方法，其特征在于：训练输煤块前景图像经过卷积层C2输出图像J2，图像J2的尺寸大小为224×224；训练输煤块前景图像经过卷积层C4输出图像J4，图像J4的尺寸大小为112×112；训练输煤块前景图像经过卷积层C7输出图像J7，图像J7的尺寸大小为56×56；训练输煤块前景图像经过卷积层C10输出图像J10，图像J10的尺寸大小为28×28；训练输煤块前景图像经过卷积层C13输出图像J13，图像J13的尺寸大小为14×14；并将图像J4的尺寸大小调整为224×224，得到调整后的图像J′4，图像J7的尺寸大小调整为224×224，得到调整后的图像J′7，图像J10的尺寸大小调整为224×224，得到调整后的图像J′10，图像J13的尺寸大小调整为224×224，得到调整后的图像J′13，并将图像J2、调整后的图像J′4、调整后的图像J′7、调整后的图像J′10和调整后的图像J′13进行加法融合得到HED神经网络模型的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910906402.0A CN110675443B (zh) | 2019-09-24 | 2019-09-24 | 一种井下输煤图像的煤块面积检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910906402.0A CN110675443B (zh) | 2019-09-24 | 2019-09-24 | 一种井下输煤图像的煤块面积检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110675443A CN110675443A (zh) | 2020-01-10 |
| CN110675443B true CN110675443B (zh) | 2022-12-20 |
Family
ID=69077408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910906402.0A Expired - Fee Related CN110675443B (zh) | 2019-09-24 | 2019-09-24 | 一种井下输煤图像的煤块面积检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110675443B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814678B (zh) * | 2020-07-08 | 2024-06-18 | 江苏三恒科技股份有限公司 | 一种基于视频监控的运输皮带中煤流识别方法及系统 |
| CN112040174A (zh) * | 2020-07-20 | 2020-12-04 | 西安科技大学 | 一种用于井下的煤流量视觉检测方法 |
| CN113066045A (zh) * | 2020-10-18 | 2021-07-02 | 无锡臻永科技有限公司 | 传输性能分析系统 |
| CN113485401A (zh) * | 2021-07-26 | 2021-10-08 | 广东电网有限责任公司 | 一种基于视觉反馈的巡检机器人悬停控制方法及装置 |
| CN113467503B (zh) * | 2021-07-26 | 2024-04-30 | 广东电网有限责任公司 | 一种输电线路巡检机器人增稳控制方法及装置 |
| CN113807008B (zh) * | 2021-08-27 | 2024-06-04 | 华南理工大学 | 一种基于深度学习的城市暴雨内涝模拟方法 |
| CN114782325A (zh) * | 2022-03-31 | 2022-07-22 | 国能榆林能源有限责任公司 | 一种报警方法、装置、系统及存储介质 |
| CN114671214B (zh) * | 2022-05-27 | 2022-08-30 | 新风光电子科技股份有限公司 | 基于高压变频器的煤矿输送皮带调速方法 |
| CN114693713A (zh) * | 2022-05-30 | 2022-07-01 | 天地智控(天津)科技有限公司 | 一种矿井下高清图像去粉尘烟雾快速恢复方法 |
| CN116563799B (zh) * | 2023-07-11 | 2023-09-22 | 山东昆仲信息科技有限公司 | 基于视频监控的粉尘在线监测方法 |
| CN117011302B (zh) * | 2023-10-08 | 2024-01-09 | 山东济宁运河煤矿有限责任公司 | 一种基于煤矸识别的智能干选系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886290A (zh) * | 2014-03-13 | 2014-06-25 | 西安交通大学 | 一种复杂背景下的煤流视频检测方法 |
| CN105841614A (zh) * | 2016-04-13 | 2016-08-10 | 太原理工大学 | 一种带式输送机输送煤量视觉扫描测距检测方法 |
| CN107424143A (zh) * | 2017-04-13 | 2017-12-01 | 中国矿业大学 | 一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法 |
| CN107944394A (zh) * | 2017-11-27 | 2018-04-20 | 宁夏广天夏电子科技有限公司 | 一种对传输带上物料进行检测的视频分析方法及系统 |
| CN109948500A (zh) * | 2019-03-13 | 2019-06-28 | 西安科技大学 | 一种用于煤矿的精确监测人员进出的方法 |
| CN109977842A (zh) * | 2019-03-21 | 2019-07-05 | 重庆工程职业技术学院 | 一种煤矿监控运动目标检测方法 |
-
2019
- 2019-09-24 CN CN201910906402.0A patent/CN110675443B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886290A (zh) * | 2014-03-13 | 2014-06-25 | 西安交通大学 | 一种复杂背景下的煤流视频检测方法 |
| CN105841614A (zh) * | 2016-04-13 | 2016-08-10 | 太原理工大学 | 一种带式输送机输送煤量视觉扫描测距检测方法 |
| CN107424143A (zh) * | 2017-04-13 | 2017-12-01 | 中国矿业大学 | 一种基于双目立体视觉深度感知的矿用带式输送机煤量检测方法 |
| CN107944394A (zh) * | 2017-11-27 | 2018-04-20 | 宁夏广天夏电子科技有限公司 | 一种对传输带上物料进行检测的视频分析方法及系统 |
| CN109948500A (zh) * | 2019-03-13 | 2019-06-28 | 西安科技大学 | 一种用于煤矿的精确监测人员进出的方法 |
| CN109977842A (zh) * | 2019-03-21 | 2019-07-05 | 重庆工程职业技术学院 | 一种煤矿监控运动目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 井下带式运输机自动巡检装置设计与研究;臧勐佳;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》;20180215;第B021-279页 * |
| 井下胶带运输机的智能视频测速方法研究;和建荣;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》;20190115;第B021-341页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110675443A (zh) | 2020-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675443B (zh) | 一种井下输煤图像的煤块面积检测方法 | |
| CN110675343B (zh) | 一种井下输煤图像的图像增强方法 | |
| CN111260616A (zh) | 一种基于Canny算子二维阈值分割优化的绝缘子裂纹检测方法 | |
| CN111814678B (zh) | 一种基于视频监控的运输皮带中煤流识别方法及系统 | |
| CN113989716B (zh) | 煤矿井下输送带异物目标检测方法、系统、设备及终端 | |
| CN110544261B (zh) | 一种基于图像处理的高炉风口喷煤状态检测方法 | |
| CN104112132B (zh) | 一种枪械编号自动识别方法 | |
| CN105761230B (zh) | 基于天空区域分割处理的单幅图像去雾方法 | |
| CN107403421A (zh) | 一种图像去雾方法、存储介质及终端设备 | |
| CN114627140B (zh) | 基于高压变频器的煤矿通风机智能调节方法 | |
| CN104506755B (zh) | 基于fpga的高清视频实时自动化去雾方法 | |
| CN110148093B (zh) | 一种基于暗通道先验的图像去雾改进方法 | |
| CN113435373B (zh) | 一种矿井火灾视频图像智能识别装置及方法 | |
| CN102855627B (zh) | 基于光谱特性和拓扑关系的城市遥感影像阴影检测方法 | |
| CN112434570B (zh) | 一种钽铌矿摇床矿带的图像识别方法 | |
| CN108711160B (zh) | 一种基于hsi增强性模型的目标分割方法 | |
| CN109118444A (zh) | 一种基于特征分离的正则化人脸图像复杂光照去除方法 | |
| CN110837848A (zh) | 一种特征像素图像识别方法及系统 | |
| CN109859222A (zh) | 基于级联神经网络的边缘提取方法及系统 | |
| CN104008535A (zh) | 基于CbCr角度归一化直方图的图像增强方法及系统 | |
| CN117437600A (zh) | 基于图像识别技术的煤流监测系统 | |
| CN111862223B (zh) | 一种电子元件的视觉计数及定位方法 | |
| CN108830834B (zh) | 一种爬索机器人视频缺陷信息自动提取方法 | |
| CN113592750A (zh) | 一种基于梯度直方图的红外增强方法 | |
| CN107454408A (zh) | 一种图像编码码率动态调整的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221220 |