CN103886290B - 一种复杂背景下的煤流视频检测方法 - Google Patents

Abstract

本发明提供了一种复杂背景下的煤流视频检测方法，能够从获取的视频图像中实时检测出运输带上的煤炭粒度及煤量大小，首先在图像中设置一个粒度检测区和煤量检测区分别用于检测煤炭粒度和煤量大小；其次通过检测粒度检测区图像在水平方向的边缘强度，将煤炭粒度划分为块煤或粉煤；最后对煤量检测区的图像用三帧差法得到运输带上的煤炭区域，再计算出包围煤炭区域的最小凸多边形，根据凸多边形面积占煤量检测区面积的比例得到运输带上的煤量大小。本发明提出的方法，受粉尘、光线等环境因素的影响小，可对煤矿井上井下各种环境的生产运输过程进行实时、精确的检测。

Description

一种复杂背景下的煤流视频检测方法

技术领域

本发明属于图像检测领域，特别涉及一种复杂背景下的煤流视频检测方法，能够从获取的视频图像中实时检测出运输带上的煤炭粒度及煤量大小。

背景技术

煤炭的粒度大大的影响着煤炭的品质，是煤炭生产过程中一个重要的管理指标。在煤炭生产加工现场，煤炭粒度直接影响着原煤生产和洗选过程，不同分级的煤炭粒度需要不同的洗选方式来处理。当前在煤炭生产现场中，运输带上通常既运输块煤又运输粉煤。如果对不同粒度的煤采用相同的方法进行后续的生产加工，不仅造成能源的浪费，还可能对生产过程造成严重影响，所以对运输带上的煤炭实时的进行粒度检测具有重要作用。目前，通常采用人工检测的方式，即工人在现场或监控视频前进行人工识别。该方法主要靠工人经验来判断，识别结果受主观因素影响较大，不满足现代化企业自动化生产的要求。有些情况下则采用机械法识别，即通过采样机器人采集样本，通过筛选称重，得到精确的粒度大小。该方法检测精度高，但不满足实时性，因而不满足运输带上煤矿粒度的实时检测。

而对运输带上的煤量进行实时检测也具有重要意义。在自动化生产的煤矿生产加工现场，通过检测运输带上煤量的大小，可以实时的控制采煤机及运输机等的工作频率，既能实现节能的目的，又能防止因煤量过大造成的机械损害。目前运输带上常用的实时煤量检测方法是人工法和称重法。人工法即是通过人为观察得到检测结果，该方法受主观因素影响较大。而称重法则常用电子皮带秤来测量，它的优点是结构简单、安装方便，但不足之处是受输送皮带影响大，需频繁维护，检测结果精度不高。

图像处理技术具有多方面的优点，能满足实时性、高效性、简洁性，也能满足自动化生产的要求，但由于煤矿生产现场环境恶劣，光线、粉尘等给图像处理过程带来较大影响，因而发明一种能够避免光线、粉尘等复杂环境因素影响的图像处理方法来检测运输带上煤矿粒度及煤量大小具有重要意义。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种复杂背景下的煤流视频检测方法，对煤矿生产现场运输带上的煤矿粒度及煤量进行实时检测，用于解决现有技术中自动化程度低、实时性差、受环境因素影响大的缺陷。

为了实现上述目的，本发明采用的技术方案是：

一种复杂背景下的煤流视频检测方法，首先从运输带正上方获取运输实时视频图像，在获取的视频图像中设置一个用于检测煤炭粒度的粒度检测区和用于检测煤量大小的煤量检测区；然后通过检测粒度检测区图像水平方向的边缘强度，将煤炭识别为块煤或粉煤；最后对煤量检测区的图像用三帧差法进行处理，通过图像增强后，得到运输带上的煤炭区域，再计算出一个包围煤炭区域的最小凸多边形，根据凸多边形的面积占煤量检测区面积的比例得到运输带上的煤量大小。

所述粒度检测区和煤量检测区均为视频图像中的一个矩形区域，且均位于图像中运输煤的运输带范围内，图像处理过程均只在这两个区域内进行。

所述煤量检测区的矩形设置在图像范围的下半部分，矩形的两个顶点与运输带边缘重合，矩形区域完全包含在运输带范围内，在该矩形区域中再选取一个小的矩形区域作为粒度检测区，粒度检测区的高度与煤量检测区的高度相同，宽度为煤量检测区宽度的1/3，中心与煤量检测区的中心重合。

在对粒度检测区图像进行平滑以及锐化滤波之后，再用梯度算子检测水平方向的边缘强度，最后进行阈值分割，统计灰度值大于某预设的分割阈值T的像素数目占粒度检测区像素总数的比例，如果该比例大于某预设的阈值P，则识别结果为块煤；如果结果小于阈值P，则识别结果为粉煤。

在对煤量检测区的图像用三帧差法进行处理后，分别对帧差后的两图像进行阈值分割，然后进行一次闭运算，再将两者进行一次与运算，最后对与运算的结果进行一次开运算，从而得到运输带上运输的煤炭区域。

如果煤炭区域图像中有效煤炭图像的面积占凸多边形面积的百分比大于某一阈值S，则认为可以用凸多边形来进行拟合，然后计算凸多边形面积占煤量检测区面积的比例，以此来表示运输带上的煤量大小；如果有效煤炭图像的面积占凸多边形面积的比例小于阈值S，则认为煤炭量很小且是零散分布的状态，不能用凸多边形来拟合，此时用实际煤炭图像面积占煤量检测区面积的百分比来表示运输带上的煤量。

本发明原理是根据不同粒度的煤炭图像在水平或垂直方向的边缘强度不同，可将煤炭粒度划分为块煤或粉煤；再通过检测运输带上的煤矿区域面积占运输带面积的比例，从而得到运输带上的运煤量大小。

与现有技术相比，本发明采用图像处理技术来检测运输带上的煤炭粒度及煤量大小，算法过程简单，能够进行实时检测，检测精度较高，无需人为监控，降低了工人的工作强度，适合现代企业中自动化生产的要求；同时受粉尘、光线等环境因素的影响小，适用于煤矿井上井下各种环境生产运输过程的检测。

附图说明

图1是一种复杂背景下的煤流视频检测方法的算法流程图。

图2是粒度检测区及煤量检测区的设置示意图。

图中1.运输带，2.煤量检测区，3.粒度检测区。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明一种复杂背景下的煤流视频检测方法，其特点是根据不同粒度的煤炭图像在水平或垂直方向的边缘强度不同，可将煤炭粒度划分为块煤或粉煤；再通过检测运输带上的煤矿区域面积占运输带面积的比例，可得到运输带上的运煤量大小。如图1所示，具体算法过程如下：

（1）设置粒度检测区和煤量检测区

首先利用架设在运输带上方正对运输带1的摄像机获取到实时的视频图像，将图像转换为灰度图。再通过人工设定的方式在图像中的运输带1范围内设置一个煤量检测区2和一个粒度检测区3，如图2所示。

煤量检测区2的设置原则是将它设置为一个矩形区域，该矩形应设置在图像范围的下半部分，矩形的两个顶点应与运输带1的边缘重合，矩形区域完全包含在运输带1范围内，且矩形面积应尽量大一些。

在该矩形区域中再选取一个小的矩形区域作为粒度检测区3，该区域的高度与煤量检测区2的高度相同，宽度为煤量检测区2宽度的1/3，中心与煤量检测区2的中心重合。

为了防止环境因素的影响及加快算法速度，之后的图像处理过程都只对检测区图像进行。

（2）检测煤炭粒度

开辟一片图像内存空间用来暂存粒度检测区的图像，粒度检测的过程都只对该部分图像进行。

首先对该图像采用中值滤波器来进行平滑滤波，以消除椒盐噪声的影响。

为了增强煤的边界细节，突出边缘信息，再用中心为5的拉普拉斯单一掩膜算子进行锐化滤波。其中所用的拉普拉斯算子为：

$\mathrm{Laplace}=\left[\begin{array}{ccc}0& -1& 0\\ -1& 5& -1\\ 0& -1& 0\end{array}\right]$

对锐化后的图像，用Sobel垂直梯度算子与图像进行卷积，检测图像水平方向的边缘强度。其中所用的Sobel梯度算子为：

$\mathrm{Sobel}=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

再对该图像进行阈值分割，分割阈值设置为100，对大于分割阈值的像素置为255，小于或等于分割阈值的像素置0。

最后，再统计该区域内像素值为255的像素总数，计算它们占该区域像素总数的百分比，如果比例大于或等于10%，则认为该区域内煤炭粒度较大，为块煤；如果比例小于10%，则认为该区域内煤炭粒度较小，是粉煤。

（3）检测煤流量

开辟一片图像空间用来暂存煤量检测区的灰度图，整个煤量检测只针对该部分图像进行。

在获取到连续三帧图像的煤量检测区2灰度图后，用三帧差法对它们进行帧差处理，为了突出运输带中的煤炭区域，采用的帧差公式为：

I1=abs(I(k)-I(k-1))

I2=abs(I(k)-I(k-2))

其中I1用于存储第一幅帧差图，I2用于存储第二幅帧差图，abs是计算两帧的绝对差，I(k)为当前第k帧，I(k-1)为第k-1帧，I(k-2)为第k-2帧。

分别对帧差后的图像I1、I2进行阈值分割，分割阈值设置为5，大于该阈值的像素置为255，小于该阈值的像素置0。

对阈值分割后的图像，用3*3的结构元素分别对它们进行一次形态学闭运算处理，使帧差之后图像中出现的断裂区域得到缝合。

然后再将两图像进行一次与计算，从而得到较为完整的煤矿区域。

对与计算之后的图像，再用3*3的结构元素进行一次形态学开运算处理，过滤掉一些孤立噪声，为后续的凸包计算做准备。

通过以上计算，此时图像中像素值为255的区域即为有煤的区域，考虑到实际情况中光线及粉尘等环境因素的影响，计算得到的像素值为255的区域可能不是一片连通域，特别是在有些情况下的煤矿井下运输监控环节，光线处于极暗的情况下，此时通过以上算法有时只能检测到运输中并不连续的部分煤矿，而通常情况下煤矿生产现场中运输带上的煤矿都是成堆的较为均匀的分布。为了尽量表示出煤的真实分布情况，可以用一个包围当前图像中有效像素的凸多边形来表示实际的煤矿区域，而忽略掉其中的不连续区域。本发明中凸多边形的计算采用Sklansky算法，借助于开源软件OpenCV来进行实现。Sklansky算法的基本思路是首先对所有点集进行排序，再将所有点串联成逆时针方向的封闭有序简单多边形，最后用前瞻回溯的方法求取简单多边形的凸包，从而得到平面点集的凸包。该算法在开源软件OpenCV中已有成熟的实现方法，故此处不再赘述。

计算此时的凸多边形面积及像素值为255的有效像素的总面积，如果有效像素的面积占凸多边形面积的比例不足25%，则认为此时图像中的煤矿数量很少，且是零散分布的状态，不能用凸多边形区域来表示实际的煤矿区域。计算此时有效像素面积占煤量检测区中运输带的像素面积的百分比，以此来表示此时运输带上煤炭运输量的大小。如果比例大于25%，则认为此时的煤炭分布较为集中，可用凸多边形区域表示实际的煤矿区域。计算此时的凸多边形面积与煤量检测区中运输带的像素面积的百分比，此结果即表示运输带上煤炭运输量的大小。

由于最终计算结果与煤量检测区2中运输带1的像素面积有很大关系，为了减小煤量检测区2的设置对检测结果的影响，计算过程中煤量检测区2中的运输带1区域应取为一个小于或等于煤量检测区2大小的矩形，其宽度与煤量检测区2的宽度相同，高度是煤量检测区2中最上方与最下方的有效像素的高度差。

通过以上步骤，就可以最终得到运输带1上运输的煤炭粒度及煤量大小。

在测试过程中，以上算法检测一帧图像的平均速度是1.5ms，完全满足煤炭生产现场煤炭运输过程的实时监控要求。而通过人工观测，在光线正常的情况下，煤矿粒度和煤量大小的检测结果均能达到95%的精度；而在光线变化较大或光线很暗的情况下，煤炭粒度的检测结果能达到83%，煤量大小的检测结果也能达到87%的精度。总的来看，符合煤矿生产运输现场实时、精确检测的要求。

值得注意的是，上述的具体实施方式用于解释说明本发明，仅为本发明的优选实施方案，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改、等同替换、改进等，都属于本发明的保护范围。

Claims (7)

1.一种复杂背景下的煤流视频检测方法，其特征在于，首先从运输带正上方获取运输实时视频图像，在获取的视频图像中设置一个用于检测煤炭粒度的粒度检测区和用于检测煤量大小的煤量检测区；然后通过检测粒度检测区图像水平方向的边缘强度，将煤炭识别为块煤或粉煤；最后对煤量检测区的图像用三帧差法进行处理，通过图像增强后，得到运输带上的煤炭区域，再计算出一个包围煤炭区域的最小凸多边形，根据凸多边形的面积占煤量检测区面积的比例得到运输带上的煤量大小；

其中，所述粒度检测区和煤量检测区均为视频图像中的一个矩形区域，且均位于图像中运输煤的运输带范围内，图像处理过程均只在这两个区域内进行，所述煤量检测区的矩形设置在图像范围的下半部分，矩形的两个顶点与运输带边缘重合，矩形区域完全包含在运输带范围内，在该矩形区域中再选取一个小的矩形区域作为粒度检测区，粒度检测区的高度与煤量检测区的高度相同，宽度为煤量检测区宽度的1/3，中心与煤量检测区的中心重合；

所述图像增强是指：在对煤量检测区的图像用三帧差法进行处理后，分别对帧差后的两图像进行阈值分割，然后进行一次闭运算，再将两者进行一次与运算，最后对与运算的结果进行一次开运算，从而得到运输带上运输的煤炭区域。

2.根据权利要求1所述的复杂背景下的煤流视频检测方法，其特征在于，在对粒度检测区图像进行平滑以及锐化滤波之后，再用梯度算子检测水平方向的边缘强度，最后进行阈值分割，统计灰度值大于某预设的分割阈值T的像素数目占粒度检测区像素总数的比例，如果该比例大于某预设的阈值P，则识别结果为块煤；如果结果小于阈值P，则识别结果为粉煤。

3.根据权利要求2所述的复杂背景下的煤流视频检测方法，其特征在于，利用中值滤波器进行平滑滤波，用中心为5的拉普拉斯单一掩膜算子进行锐化滤波，用Sobel垂直梯度算子与图像进行卷积，检测图像水平方向的边缘强度。

4.根据权利要求3所述的复杂背景下的煤流视频检测方法，其特征在于，所述拉普拉斯单一掩膜算子为 $\mathrm{Laplace}=\left[\begin{array}{ccc}0& -1& 0\\ -1& 5& -1\\ 0& -1& 0\end{array}\right];$ 所述Sobel垂直梯度算子为 $\mathrm{Sobel}=\left[\begin{array}{ccc}-1& -1& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right].$

5.根据权利要求1所述的复杂背景下的煤流视频检测方法，其特征在于，所述三帧差法的帧差公式为：

I1＝abs(I(k)-I(k-1))

I2＝abs(I(k)-I(k-2))

其中I1用于存储第一幅帧差图，I2用于存储第二幅帧差图，abs是计算两帧的绝对差，I(k)为当前第k帧，I(k-1)为第k-1帧，I(k-2)为第k-2帧；

对阈值分割后的图像，用3*3的结构元素分别对它们进行一次形态学闭运算处理，使帧差之后图像中出现的断裂区域得到缝合。

6.根据权利要求1所述的复杂背景下的煤流视频检测方法，其特征在于，所述最小凸多边形的计算采用Sklansky算法，借助于开源软件OpenCV来进行实现。

7.根据权利要求1或6所述的复杂背景下的煤流视频检测方法，其特征在于，如果煤炭区域图像中有效煤炭图像的面积占凸多边形面积的百分比大于某一阈值S，则认为可以用凸多边形来进行拟合，然后计算凸多边形面积占煤量检测区面积的比例，以此来表示运输带上的煤量大小；如果有效煤炭图像的面积占凸多边形面积的比例小于阈值S，则认为煤炭量很小且是零散分布的状态，不能用凸多边形来拟合，此时用实际煤炭图像面积占煤量检测区面积的百分比来表示运输带上的煤量。