CN111814678A - 一种基于视频监控的运输皮带中煤流识别方法及系统 - Google Patents
一种基于视频监控的运输皮带中煤流识别方法及系统 Download PDFInfo
- Publication number
- CN111814678A CN111814678A CN202010653788.1A CN202010653788A CN111814678A CN 111814678 A CN111814678 A CN 111814678A CN 202010653788 A CN202010653788 A CN 202010653788A CN 111814678 A CN111814678 A CN 111814678A
- Authority
- CN
- China
- Prior art keywords
- image
- coal
- belt
- points
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003245 coal Substances 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000012544 monitoring process Methods 0.000 title claims abstract description 37
- 238000004458 analytical method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 238000003707 image sharpening Methods 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 23
- 239000010410 layer Substances 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 239000004575 stone Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 239000012792 core layer Substances 0.000 claims description 6
- 239000000428 dust Substances 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 230000032258 transport Effects 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000007796 conventional method Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 3
- 239000007788 liquid Substances 0.000 claims description 3
- 239000000049 pigment Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000000779 smoke Substances 0.000 claims description 3
- 238000005507 spraying Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims 2
- 206010000117 Abnormal behaviour Diseases 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000007774 longterm Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及煤流识别的技术领域，特别是涉及一种基于视频监控的运输皮带中煤流识别方法及系统，通过实时视频画面分析，在视频画面中的皮带画面与皮带中的煤进行提取分离，实现煤流画面的提取，将实时煤流量直观、清晰地显示给用户，在此过程中，可实现对皮带跑偏、突发过曝过暗等异常行为的识别，也可以对煤流的事实时宽度进行显示，可简单直观的对超载空载行为的检测；包括以下步骤：S1、系统搭建；S2、实时画面获取；S3、分析区域提取转换；S4、图像清晰化处理；S5、纹理提取：S6、煤‑皮带分离；S7、煤流占比计算；S8、超载空载识别。
Description
技术领域
本发明涉及煤流识别的技术领域，特别是涉及一种基于视频监控的运输皮带中煤流识别方法及系统。
背景技术
煤炭是不可或缺的能源之一，它在我国的经济发展中占有重要作用，目前国民经济发展迅速，煤炭在能源的消费结构总量中占据70％左右。在相关的国家研究报告中指出到2050年煤炭的消费总量在所有能源消费中占有50％以上。以上的数据表明了在很长时间内，我国的能源消费依然要依靠煤炭资源。因为国民经济的迅速发展需要大量的煤炭量，需要持续大量的开采煤炭，因此国家对煤炭行业的安全开采非常关注
随着煤矿需求量的不断增加，煤炭的开采量也不断扩大，井下安全生产水平逐渐受到煤矿企业的重视。大部分矿井都安装了相应的视频监控系统，通过所采集的工业监控视频，地面调度人员可对井下不同场景和工作面进行实时监测。目前井下视频监控以人工监测为主，依靠人工积累的经验判断是否发生异常现象，但是长期监测易造成视觉与操作疲劳，这使得监控系统在不同程度上存在报警准确度不高、误报漏报情况，因而人工监测报警具有一定的偶然性，不利于煤矿安全生产。此外借鉴视觉技术在交通监控系统中的经验，对所采集的工业监控视频，采用视觉技术可以提取视频图像中人工无法理解的信息，而利用这些信息可辅助人工监测，减轻人工监测强度，提高报警的实时性与准确性。因而为提高煤矿安全生产和预防煤矿事故，需要在加强井下管理的同时，对井下监控视频的智能分析工作。
在煤矿井下视频监控目标中，胶带输送机因其在煤炭运输过程中的重要作用成为煤矿重点监控和管理的内容之一。随着我国煤炭综合开采机械化程度的不断提高，煤炭运输量日益增大，经过采煤工作面截煤，落煤至运煤一系列生产系统，越来越多的矿井利用胶带输送机一条龙地把煤炭运提至地面，目前胶带输送机正朝着大规模、超长距离、大倾角的方向发展，最大的输送系统可达数百公里，胶带输送机每年以上百万米的速度增长。
胶带输送机常用监测方法是在井下安装摄像头进行视频采集，然后将数据传送至井上监控系统，通过人工观测胶带输送机是否运转正常。这种方法直观性强，短时间内在观测中若出现胶带输送机打滑等现象易发现，然而胶带输送机监测是一个长期持续的过程，而人类由于疲劳以及监测任务的枯燥性使得这种监测方法易产生不可靠结果。同时随着胶带输送机在煤矿运输过程中普及使用以及长距离运输的增加，人工监测的方法的局限性更加突出，日积月累过程中胶带输送机的事故逐渐增多，这可能就会造成价值百万元以上的输送带报废，也有可能引起重大矿难，这将严重的危害着矿工人身安全，亦对煤矿生产造成不安全影响。
在工作安排上，传统皮带开机是先开启最末节皮带，再依次向上开启，避免前一节皮带已把煤运到而后一节还没开启产生堆积。这样的过程可能会长达数十分钟，对于电力消耗巨大的胶带运输机来说是一件非常浪费的事情，相当于用高耗用来换取高安全。如果可以通过视频监控来智能调度皮带运输机的开停与快慢，则是一件非常有意义的事情。
因此从井下工业监控视频的角度出发，对井下胶带输送机视频信息加以分析理解，提取有效的信息进行自动监控是十分必要的。
发明内容
为解决上述技术问题，本发明提供一种基于视频监控的运输皮带中煤流识别方法及系统，通过实时视频画面分析，在视频画面中的皮带画面与皮带中的煤进行提取分离，实现煤流画面的提取，将实时煤流量直观、清晰地显示给用户，在此过程中，可实现对皮带跑偏、突发过曝过暗等异常行为的识别，也可以对煤流的事实时宽度进行显示，可简单直观的对超载空载行为的检测。
本发明的一种基于视频监控的运输皮带中煤流识别方法，包括以下步骤：
S1、系统搭建：在初始情况下需要安装摄像仪，摄像仪要求能比较清晰的拍摄到一段完整的皮带运输面，这样可以保证能够正常进行分析，并保证系统软件可正常接入摄像机画面；
S2、实时画面获取：系统软件获取实时画面；
S3、分析区域提取转换：由于摄像机成像角度的影响，画面可能会出现拉伸偏转，此时对目标区域进行透视变换可以在一定程度上使图像还原为其原始结构形状，其原理是对不规则四边形区域内的点集进行插值拉伸处理，使其变为长方形区域；
提取后，由于井下场景长期昏暗，摄像机通常会开启红外模式，丢失色彩信息，但输出图像仍为三通道，因此对图像灰度化处理，减少通道数；
通过这两步得到图像I2，将全图多通道分析转化为了局部单通道分析，并还原了皮带区域的俯视图像，这样减少了巨大的计算量，也增加了分析精度；
S4、图像清晰化处理：这里主要是对画面的清晰度进行处理，在煤矿的场景中，由于成像设备或传输过程的信号影响、画面中雾气或灰尘等原因会在画面中形成不规则分布的噪声区域或噪声点，这些噪声点在图像分析过程中很有可能会被放大或增强，使得最终分析结果出现偏差，这时候需要对图像进行清晰化处理；
S5、纹理提取：图像中有效的信息最重要的就是颜色和纹理变化，而颜色变化本身也会引起纹理变化，因此纹理的识别分析非常重要，这里我们使用了自动高低阈值梯度筛选的方法来实现；
首先要对S4中的输出图像进行高低阈值法将煤的纹理图像提取出来，这里常规方法是通过预设阈值人为规定或计算某特定阈值长期起效，对于变化、运动场景效果不能保证，这里我们通过自适应的方法动态计算获取阈值；
假设图像像素能够根据阈值被分成两部分(区域A1和区域A2)，通过计算该最佳阈值T来区分这两类像素，使得两类像素区分度最大，这就是自适应动态阈值的主要思想；设原始灰度级为M，灰度级为i的像素点个数为ni，对灰度直方图进行归一化：
可得到归一化的灰度直方图；
整张图片中，平均灰度为：
对于A1和A2，其出现概率和平均灰度为：
两区域的类间方差g为：
g＝ω0·(μ0-μ)2+ω1·(μ1-μ)2
采用遍历的方法使得类间方差g最大的阈值T，即为所求；可直接理解为：求取直方图有两个峰值的图像中那两个峰值之间的低谷值T；
得到阈值T之后，分别以T和T/10分别作为纹理提取的高阈值和低阈值，然后使用高低阈值法进行边缘提取，主要思想如下：
a.先用高斯滤波器平滑图像，用高斯滤波主要是去掉图像上的噪声；
b.再使用一阶差分偏导计算梯度值和方向；
c.对梯度值不是极大值的地方进行抑制，即对于算出来的梯度值，把不是极值的点，全部置0，去掉了大部分弱的边缘，所以图像边缘会变细；
d.最后用双阈值连接图上的联通点，这也是与常规边缘纹理识别算法的主要区别，双阈值T和T/10，大于T的点肯定是边缘，小于T/10的点肯定不是边缘，在T和T/10之间的点，通过已确定的边缘点，发起8领域方向的搜索(广搜)，图中可达的是边缘，不可达的点不是边缘，最终得到边缘纹理图像I5；
S6、煤-皮带分离：将视频图像中的煤与皮带相互分离，由于运煤皮带的运输场景不同，有粗煤(大块煤石)和细煤(粉煤)等差别，不同的煤石类型又有不同的颜色、形状等差别，实际场景下摄像头分辨率、成像速度不尽相同，画面也存在明显差异，因此对不同场景进行了不同识别模式的整理实现；
S7、煤流占比计算：通过计算图像I1-8或I2-7中煤所包含的像素个数P1和皮带P2在整体图像中的所占比例，就可以得到实时的煤占比为P2/(P1+P2)；
S8、超载空载识别：超载识别是基于S7中的煤流占比来完成的；通过实际场景中的占比要求来设定运输上限，超过上限则认为是超载；
对于皮带运输场景，空载的检测十分重要，一旦出现空载，一般都是在运输开始或结束时，此时通常会出现水流(为防止烟尘而喷洒)或水与煤的混合液态，也有可能出现断续少量煤，这种情况下就需要特殊识别；
这里采用了一种简单的识别方式，通过对比皮带运输方向一定宽度的三个条形区域(皮带中央，两侧)，通过中央与两侧狭长区域的颜色分布(灰度分布)进行有煤/无煤的判断；这是基于当空载运输时，中间会存在皮带的裸露，而调查发现此时的皮带两侧的亮度略高于中央亮度(或接近中央亮度)，而正常运输时则是远高于中央亮度(存在局部差异，但整体符合该描述)，因此直接通过不同指定区域的灰度差异来识别是否已整体无煤保持空载；
本发明的一种基于视频监控的运输皮带中煤流识别方法，所述步骤S4中处理方式包括：
图像滤波处理：图像滤波就是在图像进行分析处理前，将画面中的噪声点或噪声区域进行消减或去除，使得图像更接近于没有受到噪声干扰的图像，常规图像滤波处理算法的原理主要是利用不同的方式得到卷积矩阵，然后对图像中不同区域进行卷积处理，如中值滤波，高斯滤波，双边滤波，方框滤波等，但无论哪种滤波算法在处理后都会对图像造成一定程度上的模糊化，这是不可避免的；在这里，我们使用了改进后的导向滤波算法，使用原图像作为导向图，对图像进行处理，在滤波的同时最大限度的保留了图像的边缘信息，为后面的处理保留了关键特征，最终得到图像I3；
图像增强处理：
拉普拉斯锐化图像是根据图像某个像素的周围像素到此像素的突变程度有关，也就是说它的依据是图像像素的变化程度，我们知道，一个函数的一阶微分描述了函数图像是朝哪里变化的，即增长或者降低；而二阶微分描述的则是图像变化的速度，急剧增长下降还是平缓的增长下降，那么据此我们可以推理出出依据二阶微分能够找到图像的色素的过渡程度，例如白色到黑色的过渡就是比较急剧的；
或者说，当邻域中心像素灰度低于它所在的领域内其它像素的平均灰度时，此中心像素的灰度应被进一步降低，当邻域中心像素灰度高于它所在的邻域内其它像素的平均灰度时，此中心像素的灰度应被进一步提高，以此实现图像的锐化处理；
拉普拉斯算子是一个是n维欧几里德空间中的一个二阶微分算子，它的定义如下：
以3*3拉普拉斯算子(四邻域模板)锐化为例，在x，y方向上分别有：
合起来就是：
四邻域模板矩阵也就是上面的二阶微分法，即将一定区域内的3*3矩阵与
卷积计算；
拉普拉斯算子实现图像锐化的特点：各向同性，对孤立点及线端的检测效果好，得到图像I4。
本发明的一种基于视频监控的运输皮带中煤流识别方法，所述步骤S6中包括纹理填充法和边界识别连接法。
本发明的一种基于视频监控的运输皮带中煤流识别方法，基于一种系统，该系统包括核心层、传输层和接入层，接入层包括若干带有激光发射器的摄像机；传输层包括与摄像机连接的交换机以及与交换机连接的工作组交换机；核心层包括与工作组交换机连接的视频分析服务器以及与视频分析服务器连接的视频分析客户端。
与现有技术相比本发明的有益效果为：本方法整体层面上是在视频分析中，基于对指定区域的整体分析，对图像中物体进行类型分离，提取其中的煤流部分，进而计算出实时的煤流量。
相较于通过机器学习的方法来说，本方法直接基于纹理、颜色、位置等特征进行分析，不仅适用性更强，计算量大大降低，而且没有了因为长期学习训练带来的成本。
由于本方法是整体性分析，即将煤流视为一个整体，因此不存在因为单个异常物体或某类不定特征(颜色或形状)物体对识别的干扰，而根据分析方法及相关参数的转换，可直接转换为常规传送带运输的识别，适用范围更广。
附图说明
图1是本发明的流程示意图；
图2是纹理填充法的流程示意图；
图3是对纹理图像进行勾连的流程示意图；
图4是边界识别连接法的流程示意图；
图5是分界线识别处流程图；
图6是本发明的系统示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
灰度：使用黑白色调表示物体，即用黑色为基准色，不同的饱和度的黑色来显示图像(最大值255为白色，最小值0为黑色，之间为灰色)。
如图1至图6所示，本发明的一种基于视频监控的运输皮带中煤流识别方法，包括以下步骤：
S1、系统搭建：在初始情况下需要安装摄像仪，摄像仪要求能比较清晰的拍摄到一段完整的皮带运输面，这样可以保证能够正常进行分析，并保证系统软件可正常接入摄像机画面；
S2、实时画面获取：系统软件获取实时画面；
S3、分析区域提取转换：由于摄像机成像角度的影响，画面可能会出现拉伸偏转，此时对目标区域进行透视变换可以在一定程度上使图像还原为其原始结构形状，其原理是对不规则四边形区域内的点集进行插值拉伸处理，使其变为长方形区域；(属于公共知识部分，采用开源算法完成)
提取后，由于井下场景长期昏暗，摄像机通常会开启红外模式，丢失色彩信息，但输出图像仍为三通道，因此对图像灰度化处理，减少通道数；
通过这两步得到图像I2，将全图多通道分析转化为了局部单通道分析，并还原了皮带区域的俯视图像，这样减少了巨大的计算量，也增加了分析精度；
S4、图像清晰化处理：这里主要是对画面的清晰度进行处理，在煤矿的场景中，由于成像设备或传输过程的信号影响、画面中雾气或灰尘等原因会在画面中形成不规则分布的噪声区域或噪声点，这些噪声点在图像分析过程中很有可能会被放大或增强，使得最终分析结果出现偏差，这时候需要对图像进行清晰化处理；
S5、纹理提取：图像中有效的信息最重要的就是颜色和纹理变化，而颜色变化本身也会引起纹理变化，因此纹理的识别分析非常重要，这里我们使用了自动高低阈值梯度筛选的方法来实现；
首先要对S4中的输出图像进行高低阈值法将煤的纹理图像提取出来，这里常规方法是通过预设阈值人为规定或计算某特定阈值长期起效，对于变化、运动场景效果不能保证，这里我们通过自适应的方法动态计算获取阈值；
假设图像像素能够根据阈值被分成两部分(区域A1和区域A2)，通过计算该最佳阈值T来区分这两类像素，使得两类像素区分度最大，这就是自适应动态阈值的主要思想；设原始灰度级为M，灰度级为i的像素点个数为ni，对灰度直方图进行归一化：
可得到归一化的灰度直方图；
整张图片中，平均灰度为：
对于A1和A2，其出现概率和平均灰度为：
两区域的类间方差g为：
g＝ω0·(μ0-μ)2+ω1·(μ1-μ)2
采用遍历的方法使得类间方差g最大的阈值T，即为所求；可直接理解为：求取直方图有两个峰值的图像中那两个峰值之间的低谷值T；
得到阈值T之后，分别以T和T/10分别作为纹理提取的高阈值和低阈值，然后使用高低阈值法进行边缘提取，主要思想如下：
a.先用高斯滤波器平滑图像，用高斯滤波主要是去掉图像上的噪声；
b.再使用一阶差分偏导计算梯度值和方向；
c.对梯度值不是极大值的地方进行抑制，即对于算出来的梯度值，把不是极值的点，全部置0，去掉了大部分弱的边缘，所以图像边缘会变细；
d.最后用双阈值连接图上的联通点，这也是与常规边缘纹理识别算法的主要区别，双阈值T和T/10，大于T的点肯定是边缘，小于T/10的点肯定不是边缘，在T和T/10之间的点，通过已确定的边缘点，发起8领域方向的搜索(广搜)，图中可达的是边缘，不可达的点不是边缘，最终得到边缘纹理图像I5；
S6、煤-皮带分离：将视频图像中的煤与皮带相互分离，由于运煤皮带的运输场景不同，有粗煤(大块煤石)和细煤(粉煤)等差别，不同的煤石类型又有不同的颜色、形状等差别，实际场景下摄像头分辨率、成像速度不尽相同，画面也存在明显差异，因此对不同场景进行了不同识别模式的整理实现；
S7、煤流占比计算：通过计算图像I1-8或I2-7中煤所包含的像素个数P1和皮带P2在整体图像中的所占比例，就可以得到实时的煤占比为P2/(P1+P2)；
S8、超载空载识别：超载识别是基于S7中的煤流占比来完成的；通过实际场景中的占比要求来设定运输上限，超过上限则认为是超载；
对于皮带运输场景，空载的检测十分重要，一旦出现空载，一般都是在运输开始或结束时，此时通常会出现水流(为防止烟尘而喷洒)或水与煤的混合液态，也有可能出现断续少量煤，这种情况下就需要特殊识别；
这里采用了一种简单的识别方式，通过对比皮带运输方向一定宽度的三个条形区域(皮带中央，两侧)，通过中央与两侧狭长区域的颜色分布(灰度分布)进行有煤/无煤的判断；这是基于当空载运输时，中间会存在皮带的裸露，而调查发现此时的皮带两侧的亮度略高于中央亮度(或接近中央亮度)，而正常运输时则是远高于中央亮度(存在局部差异，但整体符合该描述)，因此直接通过不同指定区域的灰度差异来识别是否已整体无煤保持空载；
这项检测可辅助于S6中的识别，减少计算量，提高准确性(当S6中分析结果发生明显变化时，可以来检测是否是由于运输状态发生变化)。
本发明的一种基于视频监控的运输皮带中煤流识别方法，所述步骤S4中处理方式包括：
图像滤波处理：图像滤波就是在图像进行分析处理前，将画面中的噪声点或噪声区域进行消减或去除，使得图像更接近于没有受到噪声干扰的图像，常规图像滤波处理算法的原理主要是利用不同的方式得到卷积矩阵，然后对图像中不同区域进行卷积处理，如中值滤波，高斯滤波，双边滤波，方框滤波等，但无论哪种滤波算法在处理后都会对图像造成一定程度上的模糊化，这是不可避免的；在这里，我们使用了改进后的导向滤波算法，使用原图像作为导向图，对图像进行处理，在滤波的同时最大限度的保留了图像的边缘信息，为后面的处理保留了关键特征，最终得到图像I3；
图像增强处理：
在如煤矿这种特殊环境的图像处理中，画面可能会长期处于整体过暗或过曝的情况，导致局部特征不明显甚至丢失，这个时候就需要对画面进行清晰化处理。这里本专利使用了拉普拉斯算子实现图像锐化完成；
拉普拉斯锐化图像是根据图像某个像素的周围像素到此像素的突变程度有关，也就是说它的依据是图像像素的变化程度，我们知道，一个函数的一阶微分描述了函数图像是朝哪里变化的，即增长或者降低；而二阶微分描述的则是图像变化的速度，急剧增长下降还是平缓的增长下降，那么据此我们可以推理出出依据二阶微分能够找到图像的色素的过渡程度，例如白色到黑色的过渡就是比较急剧的；
或者说，当邻域中心像素灰度低于它所在的领域内其它像素的平均灰度时，此中心像素的灰度应被进一步降低，当邻域中心像素灰度高于它所在的邻域内其它像素的平均灰度时，此中心像素的灰度应被进一步提高，以此实现图像的锐化处理；
拉普拉斯算子是一个是n维欧几里德空间中的一个二阶微分算子，它的定义如下：
以3*3拉普拉斯算子(四邻域模板)锐化为例，在x，y方向上分别有：
合起来就是：
四邻域模板矩阵也就是上面的二阶微分法，即将一定区域内的3*3矩阵与
卷积计算；
拉普拉斯算子实现图像锐化的特点：各向同性，对孤立点及线端的检测效果好，得到图像I4。
本发明的一种基于视频监控的运输皮带中煤流识别方法，所述步骤S6中包括纹理填充法和边界识别连接法；
纹理填充法主要是基于图像中不同区域的颜色变化等信息进行的，这种方法主要是在画面较为可见的时候使用，此时在实时图像中保留了一部分真实的煤石之间的边缘信息，方法流程如图2所示，这部分算法流程的主要思想在于，先通过高低阈值法将画面中的煤的纹理图像提取出来——皮带整体来说总是相对光滑的，因此可以将最明显的一部分纹理认为大部分是煤的纹理；接着将这部分纹理分布根据其连续性、稠密性进行勾连填充，找到部分纹理最为明显的那部分煤的图像；然后根据这部分煤图像的颜色分布回头再寻找图像中纹理不清晰但颜色特征清晰的区域，将其也填充起来；最后，在实际测试中发现，部分大块煤石会出现由于光照原因导致的颜色差异大、反光导致与皮带颜色接近且表面光滑无纹理等特点，因此还要对得到的图像进行煤流内部存在的孔洞进行填充；(皮带截面整体呈V型，煤石集中在皮带中间中央，因此不存在中间无煤两侧有煤的情况；)
具体原理如下：
在得到纹理图像I5后，接下来是对纹理图像进行勾连，将其根据其连续性、稠密性进行勾连填充，处理流程如图3所示，主要判断手段是对I5中所有纹理点进行判断：从两侧向中间竖直(皮带运转)方向遍历纹理点，
1、当纹理点的下侧一定范围内包含新的纹理点时，就勾连(填充两点之间空白)识别为煤；
2、当该点下方无边缘点，但其左侧一列该区域被填充，则依然填充一定长度的区域识别为煤；
3、当以上两点都不满足时则不做标记，并删除该纹理点；
经过处理后，就将原来的纹理图I5转化为了填充后的煤流图I1-6——通常来说是包含部分煤的煤流图；
部分大块煤石会出现由于表面光滑的原因，没有明显内部花纹，因此还要通过颜色来进行补充识别；这里是采用统计I1-6对应的I2(根据实际情况，部分场景使用I3或I4更加准确)中像素点的分布情况进行颜色填充，将由于纹理不清晰而被遗漏掉的区域补充进来得到I1-7；
对于I1-7，找到的煤流依然会存在疏漏——反光、大块平滑矸石等原因仍有有可能导致在识别到的图像中存在空洞，根据皮带的特殊结构(V截面)可知，不可能存在两侧有煤中间无煤的情况，因此需要将孔洞填充进行填充；
这里的孔洞填充使用的是漫水填充法，通过在图像外侧增加边框，在使用目标颜色进行填充，就能得到原目标区域内的空洞位置，然后对这些位置进行标注，再在填充前的图像中进行反向填充即可；具体原理可参照漫水填充法(公共知识)(做了单通道且单色填充改动，更适用于本场景)；填充后得到图像I1-8；
这样，煤流与皮带图像的分离就完成了；
边界识别连接法：
边界识别连接主要是通过煤流与皮带的边界信息来将煤流提取出来的，这种方法计算量更小，更适用于皮带面完整可见、皮带运输较快或摄像仪曝光时间长导致的画面较模糊的场景。对于细碎煤流的识别效率和性能也更好。具体识别流程如图4所示，与纹理填充法类似，边界识别连接法也是基于高低阈值算法纹理识别进行的。与纹理填充不同的是，边界识别主要关注煤与皮带的分接线处，分界线识别处流程如图5所示，1、遍历图像每一行的每处边缘点，(从两边向中间遍历，遍历至图像中央)；
2、计算该点两侧指定小区域内灰度和，并计算其差的绝对值；
3、判断其是否大于灰度值差大阈值，大于则将其设定为边缘点，停止该行该方向的遍历，小于小阈值则不保存，两阈值之间则保存该行该方向差值最大值点为边缘点；(每行最多保留左右各一个边缘点)
4、遍历前三步，直至最后一行；
5、对每行执行如下操作：若该行包含左右2个边缘点，则保留两点，其他置空；若该行包含1个边缘点，则在有边缘点的那一侧反向执行2、3步，若执行完仍然只有这一个边缘点，则该行置空，若有两个边缘点则保留两点，其他置空；若该行不包含边缘点，则该行置空。
执行完如上步骤，就初步得到了煤流在皮带上的边缘位置。对于边缘位置可进行每行之间的连接填充，得到初步煤流图I2-6。
由于成像的模糊化，可能会造成煤流边缘丢失，因此I2-6的图像可能还存在细微的断层。因此要消除部分断层——由于运输时的确存在运输物断断续续的时候，因此需要连接的是细微断层而非所有断层。这里使用的是腐蚀膨胀的图像处理方法，先膨胀填补细微断层与空隙，再进行腐蚀处理消除因为膨胀导致的区域扩张。这样就得到边界识别连接法的皮带-煤流分离图像I2-7了。
本发明的一种基于视频监控的运输皮带中煤流识别方法，基于一种系统，该系统包括核心层、传输层和接入层，接入层包括若干带有激光发射器的摄像机；传输层包括与摄像机连接的交换机以及与交换机连接的工作组交换机；核心层包括与工作组交换机连接的视频分析服务器以及与视频分析服务器连接的视频分析客户端。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (4)
1.一种基于视频监控的运输皮带中煤流识别方法，其特征在于，包括以下步骤：
S1、系统搭建：在初始情况下需要安装摄像仪，摄像仪要求能比较清晰的拍摄到一段完整的皮带运输面，这样可以保证能够正常进行分析，并保证系统软件可正常接入摄像机画面；
S2、实时画面获取：系统软件获取实时画面；
S3、分析区域提取转换：由于摄像机成像角度的影响，画面可能会出现拉伸偏转，此时对目标区域进行透视变换可以在一定程度上使图像还原为其原始结构形状，其原理是对不规则四边形区域内的点集进行插值拉伸处理，使其变为长方形区域；
提取后，由于井下场景长期昏暗，摄像机通常会开启红外模式，丢失色彩信息，但输出图像仍为三通道，因此对图像灰度化处理，减少通道数；
通过这两步得到图像I2，将全图多通道分析转化为了局部单通道分析，并还原了皮带区域的俯视图像，这样减少了巨大的计算量，也增加了分析精度；
S4、图像清晰化处理：这里主要是对画面的清晰度进行处理，在煤矿的场景中，由于成像设备或传输过程的信号影响、画面中雾气或灰尘等原因会在画面中形成不规则分布的噪声区域或噪声点，这些噪声点在图像分析过程中很有可能会被放大或增强，使得最终分析结果出现偏差，这时候需要对图像进行清晰化处理；
S5、纹理提取：图像中有效的信息最重要的就是颜色和纹理变化，而颜色变化本身也会引起纹理变化，因此纹理的识别分析非常重要，这里我们使用了自动高低阈值梯度筛选的方法来实现；
首先要对S4中的输出图像进行高低阈值法将煤的纹理图像提取出来，这里常规方法是通过预设阈值人为规定或计算某特定阈值长期起效，对于变化、运动场景效果不能保证，这里我们通过自适应的方法动态计算获取阈值；
假设图像像素能够根据阈值被分成两部分(区域A1和区域A2)，通过计算该最佳阈值T来区分这两类像素，使得两类像素区分度最大，这就是自适应动态阈值的主要思想；设原始灰度级为M，灰度级为i的像素点个数为ni，对灰度直方图进行归一化：
可得到归一化的灰度直方图；
整张图片中，平均灰度为：
对于A1和A2，其出现概率和平均灰度为：
两区域的类间方差g为：
g＝ω0·(μ0-μ)2+ω1·(μ1-μ)2
采用遍历的方法使得类间方差g最大的阈值T，即为所求；可直接理解为：求取直方图有两个峰值的图像中那两个峰值之间的低谷值T；
得到阈值T之后，分别以T和T/10分别作为纹理提取的高阈值和低阈值，然后使用高低阈值法进行边缘提取，主要思想如下：
a.先用高斯滤波器平滑图像，用高斯滤波主要是去掉图像上的噪声；
b.再使用一阶差分偏导计算梯度值和方向；
c.对梯度值不是极大值的地方进行抑制，即对于算出来的梯度值，把不是极值的点，全部置0，去掉了大部分弱的边缘，所以图像边缘会变细；
d.最后用双阈值连接图上的联通点，这也是与常规边缘纹理识别算法的主要区别，双阈值T和T/10，大于T的点肯定是边缘，小于T/10的点肯定不是边缘，在T和T/10之间的点，通过已确定的边缘点，发起8领域方向的搜索(广搜)，图中可达的是边缘，不可达的点不是边缘，最终得到边缘纹理图像I5；
S6、煤-皮带分离：将视频图像中的煤与皮带相互分离，由于运煤皮带的运输场景不同，有粗煤(大块煤石)和细煤(粉煤)等差别，不同的煤石类型又有不同的颜色、形状等差别，实际场景下摄像头分辨率、成像速度不尽相同，画面也存在明显差异，因此对不同场景进行了不同识别模式的整理实现；
S7、煤流占比计算：通过计算图像I1-8或I2-7中煤所包含的像素个数P1和皮带P2在整体图像中的所占比例，就可以得到实时的煤占比为P2/(P1+P2)；
S8、超载空载识别：超载识别是基于S7中的煤流占比来完成的；通过实际场景中的占比要求来设定运输上限，超过上限则认为是超载；
对于皮带运输场景，空载的检测十分重要，一旦出现空载，一般都是在运输开始或结束时，此时通常会出现水流(为防止烟尘而喷洒)或水与煤的混合液态，也有可能出现断续少量煤，这种情况下就需要特殊识别；
这里采用了一种简单的识别方式，通过对比皮带运输方向一定宽度的三个条形区域(皮带中央，两侧)，通过中央与两侧狭长区域的颜色分布(灰度分布)进行有煤/无煤的判断；这是基于当空载运输时，中间会存在皮带的裸露，而调查发现此时的皮带两侧的亮度略高于中央亮度(或接近中央亮度)，而正常运输时则是远高于中央亮度(存在局部差异，但整体符合该描述)，因此直接通过不同指定区域的灰度差异来识别是否已整体无煤保持空载。
2.如权利要求1所述的一种基于视频监控的运输皮带中煤流识别方法及系统，其特征在于，所述步骤S4中处理方式包括：
图像滤波处理：图像滤波就是在图像进行分析处理前，将画面中的噪声点或噪声区域进行消减或去除，使得图像更接近于没有受到噪声干扰的图像，常规图像滤波处理算法的原理主要是利用不同的方式得到卷积矩阵，然后对图像中不同区域进行卷积处理，如中值滤波，高斯滤波，双边滤波，方框滤波等，但无论哪种滤波算法在处理后都会对图像造成一定程度上的模糊化，这是不可避免的；在这里，我们使用了改进后的导向滤波算法，使用原图像作为导向图，对图像进行处理，在滤波的同时最大限度的保留了图像的边缘信息，为后面的处理保留了关键特征，最终得到图像I3；
图像增强处理：
拉普拉斯锐化图像是根据图像某个像素的周围像素到此像素的突变程度有关，也就是说它的依据是图像像素的变化程度，我们知道，一个函数的一阶微分描述了函数图像是朝哪里变化的，即增长或者降低；而二阶微分描述的则是图像变化的速度，急剧增长下降还是平缓的增长下降，那么据此我们可以推理出出依据二阶微分能够找到图像的色素的过渡程度，例如白色到黑色的过渡就是比较急剧的；
或者说，当邻域中心像素灰度低于它所在的领域内其它像素的平均灰度时，此中心像素的灰度应被进一步降低，当邻域中心像素灰度高于它所在的邻域内其它像素的平均灰度时，此中心像素的灰度应被进一步提高，以此实现图像的锐化处理；
拉普拉斯算子是一个是n维欧几里德空间中的一个二阶微分算子，它的定义如下：
以3*3拉普拉斯算子(四邻域模板)锐化为例，在x，y方向上分别有：
合起来就是：
四邻域模板矩阵也就是上面的二阶微分法，即将一定区域内的3*3矩阵与
卷积计算；
拉普拉斯算子实现图像锐化的特点：各向同性，对孤立点及线端的检测效果好，得到图像I4。
3.如权利要求2所述的一种基于视频监控的运输皮带中煤流识别方法及系统，其特征在于，所述步骤S6中包括纹理填充法和边界识别连接法。
4.如权利要求1-3任意一项所述的一种基于视频监控的运输皮带中煤流识别方法，其特征在于，基于一种系统，该系统包括核心层、传输层和接入层，接入层包括若干带有激光发射器的摄像机；传输层包括与摄像机连接的交换机以及与交换机连接的工作组交换机；核心层包括与工作组交换机连接的视频分析服务器以及与视频分析服务器连接的视频分析客户端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010653788.1A CN111814678B (zh) | 2020-07-08 | 2020-07-08 | 一种基于视频监控的运输皮带中煤流识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010653788.1A CN111814678B (zh) | 2020-07-08 | 2020-07-08 | 一种基于视频监控的运输皮带中煤流识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111814678A true CN111814678A (zh) | 2020-10-23 |
| CN111814678B CN111814678B (zh) | 2024-06-18 |
Family
ID=72842653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010653788.1A Active CN111814678B (zh) | 2020-07-08 | 2020-07-08 | 一种基于视频监控的运输皮带中煤流识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814678B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112573221A (zh) * | 2020-11-20 | 2021-03-30 | 中冶华天南京工程技术有限公司 | 一种料场智能化皮带传输流程控制系统及方法 |
| CN112784820A (zh) * | 2021-03-05 | 2021-05-11 | 华洋通信科技股份有限公司 | 一种煤矿ai智能视频识别系统及使用方法 |
| CN112910167A (zh) * | 2020-11-02 | 2021-06-04 | 泰州程顺制冷设备有限公司 | 应用参数解析的电机降速系统 |
| CN113283339A (zh) * | 2021-05-25 | 2021-08-20 | 中南大学 | 基于机器视觉的工业矿料运输皮带少料异常监测方法 |
| CN113837970A (zh) * | 2021-09-30 | 2021-12-24 | 北京地平线信息技术有限公司 | 图像数据的脱敏方法和装置 |
| CN113850163A (zh) * | 2021-09-12 | 2021-12-28 | 泰州蝶金软件有限公司 | 利用区块链存储的参数解析平台 |
| CN113895911A (zh) * | 2021-11-16 | 2022-01-07 | 平安开诚智能安全装备有限责任公司 | 一种智慧煤流控制系统、方法及可存储介质 |
| CN115272979A (zh) * | 2022-09-22 | 2022-11-01 | 南京北新智能科技有限公司 | 一种基于语义分割的煤流占比检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013135033A1 (zh) * | 2012-03-16 | 2013-09-19 | 同济大学 | 基于图像分析的隧道变形在线监测系统及其应用 |
| CN108919761A (zh) * | 2018-07-06 | 2018-11-30 | 湖南长重机器股份有限公司 | 一种基于gpu运算的数字化煤场智能控制方案 |
| CN109359594A (zh) * | 2018-10-17 | 2019-02-19 | 中国矿业大学 | 一种基于视频处理的矿井皮带异常检测方法及装置 |
| CN110015553A (zh) * | 2019-04-17 | 2019-07-16 | 华夏天信（北京）智能低碳技术研究院有限公司 | 基于视频分析的运输皮带系统异物检测保护方法 |
| CN110675443A (zh) * | 2019-09-24 | 2020-01-10 | 西安科技大学 | 一种井下输煤图像的煤块面积检测方法 |
-
2020
- 2020-07-08 CN CN202010653788.1A patent/CN111814678B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013135033A1 (zh) * | 2012-03-16 | 2013-09-19 | 同济大学 | 基于图像分析的隧道变形在线监测系统及其应用 |
| CN108919761A (zh) * | 2018-07-06 | 2018-11-30 | 湖南长重机器股份有限公司 | 一种基于gpu运算的数字化煤场智能控制方案 |
| CN109359594A (zh) * | 2018-10-17 | 2019-02-19 | 中国矿业大学 | 一种基于视频处理的矿井皮带异常检测方法及装置 |
| CN110015553A (zh) * | 2019-04-17 | 2019-07-16 | 华夏天信（北京）智能低碳技术研究院有限公司 | 基于视频分析的运输皮带系统异物检测保护方法 |
| CN110675443A (zh) * | 2019-09-24 | 2020-01-10 | 西安科技大学 | 一种井下输煤图像的煤块面积检测方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112910167A (zh) * | 2020-11-02 | 2021-06-04 | 泰州程顺制冷设备有限公司 | 应用参数解析的电机降速系统 |
| CN112910167B (zh) * | 2020-11-02 | 2021-11-23 | 上海淞宸动力科技有限公司 | 应用参数解析的电机降速系统 |
| CN112573221A (zh) * | 2020-11-20 | 2021-03-30 | 中冶华天南京工程技术有限公司 | 一种料场智能化皮带传输流程控制系统及方法 |
| CN112784820A (zh) * | 2021-03-05 | 2021-05-11 | 华洋通信科技股份有限公司 | 一种煤矿ai智能视频识别系统及使用方法 |
| CN113283339A (zh) * | 2021-05-25 | 2021-08-20 | 中南大学 | 基于机器视觉的工业矿料运输皮带少料异常监测方法 |
| CN113850163A (zh) * | 2021-09-12 | 2021-12-28 | 泰州蝶金软件有限公司 | 利用区块链存储的参数解析平台 |
| CN113837970A (zh) * | 2021-09-30 | 2021-12-24 | 北京地平线信息技术有限公司 | 图像数据的脱敏方法和装置 |
| CN113837970B (zh) * | 2021-09-30 | 2024-04-26 | 北京地平线信息技术有限公司 | 图像数据的脱敏方法和装置 |
| CN113895911A (zh) * | 2021-11-16 | 2022-01-07 | 平安开诚智能安全装备有限责任公司 | 一种智慧煤流控制系统、方法及可存储介质 |
| CN113895911B (zh) * | 2021-11-16 | 2023-12-22 | 平安开诚智能安全装备有限责任公司 | 一种智慧煤流控制系统、方法及可存储介质 |
| CN115272979A (zh) * | 2022-09-22 | 2022-11-01 | 南京北新智能科技有限公司 | 一种基于语义分割的煤流占比检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111814678B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814678A (zh) | 一种基于视频监控的运输皮带中煤流识别方法及系统 | |
| CN102348128B (zh) | 具有摄像机异常检测装置的监视用摄像机系统 | |
| CN106290388B (zh) | 一种绝缘子故障自动检测方法 | |
| CN111179232A (zh) | 基于图像处理的钢筋尺寸检测系统及方法 | |
| CN107679495B (zh) | 一种输电线路周边活动工程车辆的检测方法 | |
| CN110866926B (zh) | 一种红外遥感图像快速精细海陆分割方法 | |
| CN104835152A (zh) | 一种输电线路巡检图像的处理方法和系统 | |
| CN110519566B (zh) | 一种基于视频处理的皮带运动状态监测方法 | |
| CN110503637B (zh) | 一种基于卷积神经网络的道路裂缝自动检测方法 | |
| CN112127896B (zh) | 一种tbm开挖岩渣信息自动采集与分析系统及方法 | |
| CN112784821A (zh) | 基于YOLOv5的工地行为安全检测识别方法及系统 | |
| CN107564018A (zh) | 一种利用改进迭代算法提取目标图像的方法 | |
| CN111369538A (zh) | 一种基于深度卷积神经网络的传输机胶带跑偏检测方法 | |
| CN114882400A (zh) | 一种基于ai智能机器视觉技术的骨料检测分类方法 | |
| CN112837313A (zh) | 一种输电线路异物的图像分割的方法 | |
| CN114881869A (zh) | 一种巡检视频图像预处理方法 | |
| Joshi et al. | Damage identification and assessment using image processing on post-disaster satellite imagery | |
| CN110728212B (zh) | 一种基于计算机视觉的道路井盖监控装置及监控方法 | |
| CN105528790A (zh) | 一种输电线路小型部件识别方法 | |
| CN112801963B (zh) | 一种视频图像遮挡检测方法及系统 | |
| CN112686105B (zh) | 一种基于视频图像多特征融合的雾浓度等级识别方法 | |
| CN112712055A (zh) | 一种双路可变形cnn煤矿顺槽皮带运输异物监测方法 | |
| Zhou et al. | Shadow suppression for vehicle target detection in open-air expressway scenes | |
| CN113962956B (zh) | 一种运煤皮带机异物检测方法 | |
| CN108460778B (zh) | 面向有雾图像的类天空区域检测与定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |