CN108664874A - 基于图像识别的井下煤流量检测方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的井下煤流量检测方法，包括：获得运载过程中的皮带运输机上的煤物料的视频流；从所述视频流中分别获取特定时间间隔的第一图像帧和第二图像帧；根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像；对所述灰度差分图像进行分析获得像素的分布特征，依据所述像素的分布特征对图像进行分割，确定煤物料边界；依据煤物料边界估算煤流量。本发明提供的基于图像识别的井下煤流量检测方法，以小波分析、神经网络或两者结合的算法，可以实现煤流边界的快速识别，通过实验和标定后，也能成为带式输送机输煤量的估算的有效方法。

Description

基于图像识别的井下煤流量检测方法

技术领域

本发明涉及一种生产监控方法，特别是一种基于图像识别的井下煤流量检测方法。

背景技术

目前，对于煤矿井下的环境的采煤输送主要依靠皮带运输完成。由于矿用卡车的转运路线较长，因而造成同一时间段内运输量极不均匀，导致原煤带式输送机在负载较轻或无负载的状态下运行时间较长，不仅造成额外转速和空载状态下运行的电能浪费，而且也使带式输送机传动系统、转动部件、胶带形成无效磨损，缩短了设备使用寿命，现有运行方式胶带机空转率高、生产效率低，电能消耗大。传统的做法是使用变频器来驱动煤炭运输皮带机运行，可以通过变频器控制皮带驱动电机的运行速度，实现皮带机带速的调节，但是由于控制系统的不完善，目前大多数场合没有充分发挥皮带机带速可调的特性，也未体现出变频器驱动与其他驱动方式的差异化和优越性。同时，由于煤矿的特殊生产条件，使得带皮带机的运煤量是不均匀的，若皮带机一直保持高速运行，对于机械传动系统会造成较为严重的影响，电能消耗也比低速运行时大得多。

由此可以看出，目前现有技术中针对井下煤流量的检测方法，虽然可以在一定程度上起到调节的作用，但仍然存在缺陷，需要改进。

发明内容

鉴于现有技术存在的上述问题，本发明的目的在于提供一种基于图像识别的井下煤流量检测方法。

为了实现上述目的，本发明实施例提供的一种基于图像识别的井下煤流量检测方法，包括：

获得运载过程中的皮带运输机上的煤物料的视频流；

从所述视频流中分别获取特定时间间隔的第一图像帧和第二图像帧；

根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像；

对所述灰度差分图像进行分析获得像素的分布特征，依据所述像素的分布特征对图像进行分割，确定煤物料边界；

依据煤物料边界估算煤流量。

上述方法中，优选地，基于小波变换对所述第一图像帧和所述第二图像帧进行分析，获得图像特征，依据所述图像特征确定煤物料边界。

上述方法中，优选地，基于神经网络算法对所述第一图像帧和所述第二图像帧进行分析，获得分类结果，依据所述分类结果确定煤物料边界。

上述方法中，优选地，在获得运载过程中的皮带运输机上的煤物料的视频流时，形成独立的两路视频流，两路所述视频流在提取图像帧时分别对应形成左眼图像帧和右眼图像帧。

上述方法中，优选地，还包括：

对所述第一图像帧和所述第二图像帧进行预处理，其中，所述预处理包括：

将所述第一图像帧和所述第二图像帧转化为灰度图像；

进行直方图均衡化处理和/或进行中值滤波以消除图像中的部分噪声。

上述方法中，优选地，所述从所述视频流中分别获取第一图像帧和第二图像帧，包括：

以预设帧数为间隔，从所述视频流中抽取所述第一图像帧和所述第二图像帧。

上述方法中，优选地，在获得运载过程中的皮带运输机上的煤物料的视频流之后，还包括：

以所述预设帧数为间隔，从两路所述视频流中的另一路视频流中再抽取第三图像帧和第四图像帧；

分别计算所述第一图像帧和所述第三图像帧、以及所述第二图像帧和所述第四图像帧在所述皮带检测区域内对应位置处像素点之间的灰度差值，得到相应的灰度差分图像；

分别对每个所述灰度差分图像在所述皮带检测区域内的所有像素点的灰度值取平均值，得到相应的子检测量；

对所有的所述子检测量取平均值，得到检测量，依据所述检测量，确定煤物料边界。

上述方法中，优选地，在根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像之前，还包括：

从所述视频流中，抽取一视频帧作为视频截图；

确定检测人员在所述视频截图上选择的检测区域，并将其作为所述皮带检测区域。

本发明提供的基于图像识别的井下煤流量检测方法，以小波分析、神经网络或两者结合的算法，可以实现煤流边界的快速识别，通过实验和标定后，也能成为带式输送机输煤量的估算的有效方法。

附图说明

图1为本发明的基于图像识别的井下煤流量检测方法的基本流程图；

图2为本发明的基于图像识别的井下煤流量检测方法的实现原理。

具体实施方式

为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

此后参照附图描述本发明的具体实施例；然而，应当理解，所发明的实施例仅仅是本发明的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以根据用户的历史的操作，判明真实的意图，避免不必要或多余的细节使得本发明模糊不清。因此，本文所发明的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本发明。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本发明的相同或不同实施例中的一个或多个。

如图1所示，本发明实施例提供的一种基于图像识别的井下煤流量检测方法，包括：

S1、获得运载过程中的皮带运输机上的煤物料的视频流；在这一步骤中，优选地，在获得运载过程中的皮带运输机上的煤物料的视频流时，形成独立的两路视频流，两路所述视频流在提取图像帧时分别对应形成左眼图像帧和右眼图像帧。并且进一步优选地，在获得运载过程中的皮带运输机上的煤物料的视频流之后，还包括：以预设帧数为间隔，从两路所述视频流中的另一路视频流中再抽取第三图像帧和第四图像帧；分别计算所述第一图像帧和所述第三图像帧、以及所述第二图像帧和所述第四图像帧在所述皮带检测区域内对应位置处像素点之间的灰度差值，得到相应的灰度差分图像；分别对每个所述灰度差分图像在所述皮带检测区域内的所有像素点的灰度值取平均值，得到相应的子检测量；对所有的所述子检测量取平均值，得到检测量，依据所述检测量，确定煤物料边界。

在这一实施例中，优选地，还包括：

对所述第一图像帧和所述第二图像帧进行预处理，其中，所述预处理包括：将所述第一图像帧和所述第二图像帧转化为灰度图像；进行直方图均衡化处理和/或进行中值滤波以消除图像中的部分噪声。

另外，作为进一步优选，所述从所述视频流中分别获取第一图像帧和第二图像帧，包括：以预设帧数为间隔，从所述视频流中抽取所述第一图像帧和所述第二图像帧。

S2、从所述视频流中分别获取特定时间间隔的第一图像帧和第二图像帧；

S3、根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像；在这一步骤中，还可以采用其他方法对第一图像帧和第二图像帧进行分析，例如基于小波变换对所述第一图像帧和所述第二图像帧进行分析，获得图像特征，依据所述图像特征确定煤物料边界；再例如，基于神经网络算法对所述第一图像帧和所述第二图像帧进行分析，获得分类结果，依据所述分类结果确定煤物料边界。

S4、对所述灰度差分图像进行分析获得像素的分布特征，依据所述像素的分布特征对图像进行分割，确定煤物料边界；

S5、依据煤物料边界估算煤流量。

上述方法中，优选地，在根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像之前，还包括：从所述视频流中，抽取一视频帧作为视频截图；确定检测人员在所述视频截图上选择的检测区域，并将其作为所述皮带检测区域。

如图2所示为本发明的基于图像识别的井下煤流量检测方法的实现原理图，如图所示，高清摄像头4设置于井下运输皮带5的上方用于对皮带上的煤物料6进行检测，在煤物料6被运输至下料仓7的过程中，高清摄像头4会持续不断的对皮带上特定区域进行视频采集，形成的视频流在智能视频分析器3中被进一步处理，具体地，是通过提取图像帧的形式进行基于计算机视觉的图像分析，进一步用于计算煤流量的相关信息被通过集线器2上传至监控终端中以生成控制信号或报警提示信号。

在本发明中，针对所述第一图像帧和所述第二图像帧进行分析时，需要依赖图像筛选器、图像分拣器、图像分析模块以及综合分析模块依序处理，以下将做详细描述：

1、图像筛选器

在进行图像分析时，系统会首先通过一个图像筛选器对从双路防爆摄像头发来的图像数据进行筛选，并将数据分类成：无效数据、可处理数据、质量不合格数据、和未知数据。无效数据为影像不存在或数据不完整的数据，质量不合格数据为如空白或者信噪比过低的数据。遇到这类数据，系统将马上通知地面管理人员，以便用户进行及时处理，排查设备故障。如短时间内无更新数据从井下的智能视频分析器传回，则会根据提前制定好的规则将该数据放入列表中等待工作人员处理。未知数据是指训练数据集中该类型数据未出现过的数据。例如，如果分类器的训练数据集为皮带上没有煤物料、有煤物料、有异物存在等，则对于该分类器，其他模态的图像都将被视为未知数据。未知数据会根据提前制定好的规则放入待处理数据列表中等待地面工作人员处理。同时，该数据也会被记录下来为后续开发提供参考。可处理数据会直接传递给后续数据自动处理单元进行处理。图像筛选器可以基于不同的算法来完成任务。可以通过对比原始图像和平滑过后的图像来计算图像的信噪比以排除噪音过大的图像。也可以通过计算(平滑处理)图像的熵值来排除不包含有效信息的噪音图像(比如空白图像)。还可以通过对训练数据集计算单类支持向量机(1 classSupport Vector Machine)来获取训练数据的分布。单类支持向量机是一种基于支持向量机算法的非监督学习算法。算法会针对我们所有的训练数据进行学习，通过计算得到数据的特征分布区间。对于待处理的数据，训练好的单类支持向量机通过判断新的数据是否符合已有数据的分布从而确定该数据是属于可处理数据还是属于未知数据。

2、图像分拣器

在上一环节中，图像筛选器会对可处理的图像数据进行标注，接着传送给图像分拣器进行自动分拣。图像分拣器会根据图像的特征对图像的模态进行分类，从而选择最合适的图像分析器对该图像进行分析。传统的分析流程中，图像预分类往往是依赖于图像采集装置生成的元信息进行判断。由于不同的仪器设备厂商会采用不同的元信息生成标准，这类基于非图像信息的预分类方法并不可靠。在本发明中，图像分拣器将直接基于图像特征判断图像的模态，即，判断传送带上此时是否有煤物料，以及煤物料在传送带上的宽度、厚度、是否有异物存在等等。同时，本发明的技术方案中所涉及的图像分拣器可以根据上述传送带上煤物料所处的不同状态将图像分成不同的子图像交由不同的图像分析器进行处理。例如，针对空载和运载状态下，分别采用不同的图像分析器进行分析。

本发明中的图像分拣器，具体可以采用图像检索算法来实现。具体地，对每一张样本图像以及待处理的图像都生成一组特征值，通过匹配待处理图像的特征值和样本图像的特征值从而找到最接近的样本图像从而达到分类的目的。图像特征值的提取可以使用传统的如HOG特征、LBP特征、Haar特征，也可以采用先前提到的基于多层卷积的深度卷积网络。深度卷积网络既可以通过有监督的分类任务训练得到，也可以通过无监督的自动编码机训练得到。同时为了有效的降低特征维度以提高匹配效率，可以采用特征降温的算法。传统的算法有如主成份分析法(PCA)、独立成份分析法(ICA)、字典学习结合稀疏加密算法(dictionary learning and sparse coding)等，更先进的机器学习的算法则包括词带模型(bag of words)、词向量算法(word2vec)等。

当然，在本发明的另一些实施例中，也可以采用图像分类算法来实现图像分拣器。例如，可以通过训练一个深度卷积网络对图像进行分类，将图像按照不同的皮带运载状态分类。这类深度卷积网络的输入为原始图像，输出为该图像属于每一个指定类型的概率值。深度卷积网络先通过多个卷积层的组合来提取图像特征信息，再通过多个全连接层来计算最终的概率值。网络中的卷积核以及连接权重则通过计算机优化得到。深度卷积网络还可以在一张图像中同时预测多个目标的存在并找到相对应的子区域。针对每个子区域则可以产生不同的子图从而对原始图片更进一步的分拣。

3、图像分析模块

在本发明的具体实施例中，图像分析模块实际由多个图像分析器构成。每个图像分析器都被设计出来针对特定的皮带运载状态进行计算。图像分析器可以为基于(神经元网络的)深度学习的人工智能算法，也可以为其他人工智能算法(例如Random Forest、Gradient Boosting Tree等)。计算的结果包括皮带运载的煤流量、异物种类及大小、皮带纵撕可能性等。例如，结果可以是图像特征显示某个异物出现在运载皮带上的概率，也可以给出异物大小体积、形态分析。相关区域指的是感兴趣区域。相关区域可以由一张或多张图像标注。图像中的每个像素可以是针对不同区域的编号值也可以是该像素属于某一区域的概率值。相关区域也可以是由一个或多个计算机图形(如直线、曲线、方框、圆圈)所围成的区域。优先级分数则反映了该情况出现的时间急迫性。对于紧急情况需要立马处理的情况，图像分析器会生成高的优先级分数，而对于一般情况则给予较低的优先级分数。

分析结果的计算可以采用于与图像筛选器相类似的图像分类算法。当采用基于深度卷积网络进行分类计算的时候，还可以通过网络逆向算法来反推图像中带来决策的区域从而定位异常或特定关注的区域。网络逆向算法是通过将用于网络参数优化的下降梯度值(Gradient value)反向作用于网络中传递的变量值，从而推测出对某一决策起到正向影响的区域(如异常区域)。

另一种检测异常区域并分割相关区域的方法是图像分割算法。这种算法可以是采用全卷积网络的深度学习算法。算法的输入为原始图像，输出为分割对象的概率分布图像。中间采用了多层卷积层的计算从而提出相关的图像特征并作出最终的判断。该算法不光可用来分割异常区域，还可以用来分割图像中需要关注的区域，例如煤物料与皮带边缘间的区域。

优先级分数可以基于分类结果根据事先制定好的规则获得。既对于每种分类都会有对于的分数。也可以采用回归算法从图像特征中直接计算或得。回归算法可以采用基于深度卷积网络的算法，既将原先的训练输出替换成了优先级分数。也可以采用如线性回归树一类的算法进行计算，既将卷积得到的图像特征作为输入，通过对特征进行组合运算从而最终得到对应的分数。相比于使用制定好的规则，线性回归算法更灵活一些。

优先级分数的定义可以由矿区管理人员根据实际情况来判断制定。但为了能更灵活并且更接近实际需求，也可以考虑由训练样本的分析结果来获取。

4、综合分析模块

在本发明中，综合分析模块会对图像分析模块的结果进行进一步的分析。如果同一皮带上的同一位置得到不同的数据，综合分析模块会综合双路摄像头的不同的数据进行最终的判断。另一方面，模块也可以综合其他的信息来减小分析错误的可能性。例如，针对每一种基于图像的分析结果，可以通过贝叶斯网络和隐式马尔科夫模型通过训练数据计算出相对应的概率模型从而得到最终的输出概率值。随机森林算法则通过对特征值和样本进行随机采样生成多个决策树进行投票生成最终的判断结果。

本文描述了各种操作或功能，其可以被作为软件代码或指令实现或定义为软件代码或指令。这样的内容可以是可直接执行的(“对象”或“可执行”形式)源代码或差分代码(“增量”或“补丁”代码)。本文所述的实施例的软件实现可以经由其中存储有代码或指令的制品或者经由操作通信接口以经由通信接口发送数据的方法来提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以可由机器(例如，计算设备、电子系统等等)访问的形式存储信息的任何机制，诸如可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备、等等)。通信接口包括接合到硬连线、无线、光学等介质中的任何一个以与另一设备通信的任何机制，诸如存储器总线接口、处理器总线接口、互联网连接、磁盘控制器等。可以通过提供配置参数和/或发送信号来将通信接口配置成将该通信接口准备好以提供描述软件内容的数据信号。可以经由发送到通信接口的一个或更多个命令或信号来访问通信接口。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像识别的井下煤流量检测方法，包括：

获得运载过程中的皮带运输机上的煤物料的视频流；

从所述视频流中分别获取特定时间间隔的第一图像帧和第二图像帧；

根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像；

对所述灰度差分图像进行分析获得像素的分布特征，依据所述像素的分布特征对图像进行分割，确定煤物料边界；

依据煤物料边界估算煤流量。

2.如权利要求1所述的基于图像识别的井下煤流量检测方法，其特征在于，本方法还包括：基于小波变换对所述第一图像帧和所述第二图像帧进行分析，获得图像特征，依据所述图像特征确定煤物料边界。

3.如权利要求1所述的基于图像识别的井下煤流量检测方法，其特征在于，基于神经网络算法对所述第一图像帧和所述第二图像帧进行分析，获得分类结果，依据所述分类结果确定煤物料边界。

4.如权利要求1所述的基于图像识别的井下煤流量检测方法，其特征在于，在获得运载过程中的皮带运输机上的煤物料的视频流时，形成独立的两路视频流，两路所述视频流在提取图像帧时分别对应形成左眼图像帧和右眼图像帧。

5.如权利要求1所述的基于图像识别的井下煤流量检测方法，其特征在于，还包括：

对所述第一图像帧和所述第二图像帧进行预处理，其中，所述预处理包括：

将所述第一图像帧和所述第二图像帧转化为灰度图像；

进行直方图均衡化处理和/或进行中值滤波以消除图像中的部分噪声。

6.如权利要求1所述的基于图像识别的井下煤流量检测方法，其特征在于，所述从所述视频流中分别获取第一图像帧和第二图像帧，包括：

以预设帧数为间隔，从所述视频流中抽取所述第一图像帧和所述第二图像帧。

7.如权利要求1所述的基于图像识别的井下煤流量检测方法，其特征在于，在获得运载过程中的皮带运输机上的煤物料的视频流之后，还包括：

以所述预设帧数为间隔，从两路所述视频流中的另一路视频流中再抽取第三图像帧和第四图像帧；

分别计算所述第一图像帧和所述第三图像帧、以及所述第二图像帧和所述第四图像帧在所述皮带检测区域内对应位置处像素点之间的灰度差值，得到相应的灰度差分图像；

分别对每个所述灰度差分图像在所述皮带检测区域内的所有像素点的灰度值取平均值，得到相应的子检测量；

对所有的所述子检测量取平均值，得到检测量，依据所述检测量，确定煤物料边界。

8.如权利要求1所述的基于图像识别的井下煤流量检测方法，其特征在于，在根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像之前，还包括：

从所述视频流中，抽取一视频帧作为视频截图；

确定检测人员在所述视频截图上选择的检测区域，并将其作为所述皮带检测区域。