CN108664875A - 基于图像识别的井下皮带运输监控方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的井下皮带运输监控方法，用于井下皮带运输机运载过程中的运行状态的视频监控，包括：获得运载过程中的皮带运输机上的煤物料的视频流；从所述视频流中分别获取第一图像帧和第二图像帧，其中，所述第一图像帧和第二图像帧不同；根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像；对所述灰度差分图像在所述皮带检测区域内的所有像素点的灰度值取平均值，得到检测量；将所述检测量与一预设值进行比较，如所述检测量大于预设值，发出提示信号或控制信号。本发明的方法能够对可能的不同皮带场景进行了衡量，提高了本发明方案对不同场景的适应能力。

Description

基于图像识别的井下皮带运输监控方法

技术领域

本发明涉及一种生产监控方法，特别是一种基于图像识别的井下皮带运输监控方法。

背景技术

目前，对于煤矿井下的环境的采煤输送主要依靠皮带运输完成。输煤监控系统在电厂辅助系统中具有环境最恶劣、系统最分散、控制规模相对较大等特点，使用的电缆及安装辅件量大，安装及调试量大，维护量也不少。传统的皮带运输监控系统通常是采用DCS/PLC控制，其形式是：一般根据皮带的多少，设置2-5个远程站；在转运站设置控制柜，就近设备的信号接入控制柜端子，但这种柜子体积大，防护等级差，易积灰尘；远程站通过冗余的总线接入控制室主站。实际使用过程中发明人发现，采用DCS/PLC有很多不足：由于输煤现场环境恶劣、煤粉尘多、控制柜很容易积灰，时间长了很容易引起短路的现象；现场信号电缆接入远程站距离较长，不但电缆用量很大，而且过长信号电缆很容易引起电磁干拢，影响输煤的稳定运行；系统扩展难，即使留有备用I/O点，信号电缆也要重新敷设，改造扩建过程中对原系统运行造成影响。另外，由于煤矿井下环境特殊，在煤炭生产、运输等各个环节产生了大量悬浮于空气中的粉尘颗粒。为了控制粉尘减小其危害，虽然各工矿企业将大量喷雾降尘设备广泛应用于井下大巷、采煤支架、回风巷、皮带运输巷等处。但这些喷雾装置也同时会产生大量雾气和水滴，使得光线在到达监控成像设备前被散射或吸收，从而显著降低了监控场景的能见度。另外在视频监控图像采集和传输过程中，不可避免地受到各种随机噪声的干扰。因此导致监控图像质量严重下降，不利于后续的运动目标检测、识别和跟踪等处理，进一步影响最终的智能视频分析结果。

近年来，随着计算机技术和多媒体技术的日益发展，极大地促进了图像处理技术与图像识别技术的发展。图像识别是利用计算机，将由摄像机传来的图像信息按一定的顺序送入计算机，经过图像处理、分析、识别，然后输出结果，方便了操作人员，从而使生产过程中出现的各种险情得以即使排除。对于工业图像识别问题，也越来越成文人们研究的热点。

但是，目前现有技术中应用于井下皮带运输监控的图像识别算法仍存在改进余地，其主要原因在于井下的恶劣环境造成图像帧的质量较差。因此在识别结果上差强人意，因此存在实际的可靠性较低的缺陷。

发明内容

鉴于现有技术存在的上述问题，本发明的目的在于提供一种基于图像识别的井下皮带运输监控方法。

为了实现上述目的，本发明实施例提供的一种基于图像识别的井下皮带运输监控方法，用于井下皮带运输机运载过程中的运行状态的视频监控，包括：

获得运载过程中的皮带运输机上的煤物料的视频流；

从所述视频流中分别获取第一图像帧和第二图像帧，其中，所述第一图像帧和第二图像帧不同；

根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像；

对所述灰度差分图像在所述皮带检测区域内的所有像素点的灰度值取平均值，得到检测量；

将所述检测量与一预设值进行比较，如所述检测量大于预设值，发出提示信号或控制信号。

上述方法中，优选地，在获得运载过程中的皮带运输机上的煤物料的视频流时，形成独立的两路视频流，两路所述视频流在提取图像帧时分别对应形成左眼图像帧和右眼图像帧。

上述方法中，优选地，还包括：

对所述第一图像帧和所述第二图像帧进行预处理，其中，所述预处理包括：

将所述第一图像帧和所述第二图像帧转化为灰度图像；

进行直方图均衡化处理和/或进行中值滤波以消除图像中的部分噪声。

上述方法中，优选地，所述预处理，还包括：

对消除噪声后的所述第一图像帧或第二图像帧设置感兴趣区域；

获取所述感兴趣区域的几何中心；

保存所述几何中心的坐标。

作为优选，所述感兴趣区域的形状为圆形。

上述方法中，优选的，所述从所述视频流中分别获取第一图像帧和第二图像帧，包括：

以预设帧数为间隔，从所述视频流中抽取所述第一图像帧和所述第二图像帧。

上述方法中，优选的，在获得运载过程中的皮带运输机上的煤物料的视频流之后，还包括：

以所述预设帧数为间隔，从两路所述视频流中的另一路视频流中再抽取第三图像帧和第四图像帧；

分别计算所述第一图像帧和所述第三图像帧、以及所述第二图像帧和所述第四图像帧在所述皮带检测区域内对应位置处像素点之间的灰度差值，得到相应的灰度差分图像；

分别对每个所述灰度差分图像在所述皮带检测区域内的所有像素点的灰度值取平均值，得到相应的子检测量；

对所有的所述子检测量取平均值，得到所述检测量。

上述方法中，优选的，在根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像之前，还包括：

从所述视频流中，抽取一视频帧作为视频截图；

确定检测人员在所述视频截图上选择的检测区域，并将其作为所述皮带检测区域。

本发明提供的基于图像识别的井下皮带运输监控方法，本发明通过对灰度差分图像在皮带检测区域内的所有像素点的灰度值取平均值来得到检测量，这样的空间上的平均运算保证了检测结果的准确性，并且以统一的观测量对可能的不同皮带场景进行了衡量，提高了本发明方案对不同场景的适应能力。

附图说明

图1为本发明的基于图像识别的井下皮带运输监控方法的基本流程图；

具体实施方式

为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

此后参照附图描述本发明的具体实施例；然而，应当理解，所发明的实施例仅仅是本发明的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以根据用户的历史的操作，判明真实的意图，避免不必要或多余的细节使得本发明模糊不清。因此，本文所发明的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本发明。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本发明的相同或不同实施例中的一个或多个。

如图1所示，本发明实施例提供的一种基于图像识别的井下皮带运输监控方法，用于井下皮带运输机运载过程中的运行状态的视频监控，包括：

S1，获得运载过程中的皮带运输机上的煤物料的视频流；为了形成立体的图像以便对皮带上的煤物料的厚度也能进行分析，上述方法中，优选地，在获得运载过程中的皮带运输机上的煤物料的视频流时，形成独立的两路视频流，两路所述视频流在提取图像帧时分别对应形成左眼图像帧和右眼图像帧。

S2，从所述视频流中分别获取第一图像帧和第二图像帧，其中，所述第一图像帧和第二图像帧不同；在这一步骤中，为了增加图像分析的准确度，还可以对所述第一图像帧和所述第二图像帧进行预处理，其中，所述预处理包括：将所述第一图像帧和所述第二图像帧转化为灰度图像；进行直方图均衡化处理和/或进行中值滤波以消除图像中的部分噪声。进一步地，所述预处理，还包括：对消除噪声后的所述第一图像帧或第二图像帧设置感兴趣区域；获取所述感兴趣区域的几何中心；保存所述几何中心的坐标。其中，所述感兴趣区域的形状可以优选设定为圆形。

S3，根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像；具体地，在根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像之前，还包括：从所述视频流中，抽取一视频帧作为视频截图；确定检测人员在所述视频截图上选择的检测区域，并将其作为所述皮带检测区域。

S4，对所述灰度差分图像在所述皮带检测区域内的所有像素点的灰度值取平均值，得到检测量；

具体地，所述从所述视频流中分别获取第一图像帧和第二图像帧，包括：以预设帧数为间隔，从所述视频流中抽取所述第一图像帧和所述第二图像帧。上述方法中，优选的，在获得运载过程中的皮带运输机上的煤物料的视频流之后，还包括：以所述预设帧数为间隔，从两路所述视频流中的另一路视频流中再抽取第三图像帧和第四图像帧；分别计算所述第一图像帧和所述第三图像帧、以及所述第二图像帧和所述第四图像帧在所述皮带检测区域内对应位置处像素点之间的灰度差值，得到相应的灰度差分图像；分别对每个所述灰度差分图像在所述皮带检测区域内的所有像素点的灰度值取平均值，得到相应的子检测量；对所有的所述子检测量取平均值，得到所述检测量。

S5，将所述检测量与一预设值进行比较，如所述检测量大于预设值，发出提示信号或控制信号。

在本发明中，针对所述第一图像帧和所述第二图像帧进行分析时，需要依赖图像筛选器、图像分拣器、图像分析模块以及综合分析模块依序处理，以下将做详细描述：

1、图像筛选器

在进行图像分析时，系统会首先通过一个图像筛选器对从双路防爆摄像头发来的图像数据进行筛选，并将数据分类成：无效数据、可处理数据、质量不合格数据、和未知数据。无效数据为影像不存在或数据不完整的数据，质量不合格数据为如空白或者信噪比过低的数据。遇到这类数据，系统将马上通知地面管理人员，以便用户进行及时处理，排查设备故障。如短时间内无更新数据从井下的智能视频分析器传回，则会根据提前制定好的规则将该数据放入列表中等待工作人员处理。未知数据是指训练数据集中该类型数据未出现过的数据。例如，如果分类器的训练数据集为皮带上没有煤物料、有煤物料、有异物存在等，则对于该分类器，其他模态的图像都将被视为未知数据。未知数据会根据提前制定好的规则放入待处理数据列表中等待地面工作人员处理。同时，该数据也会被记录下来为后续开发提供参考。可处理数据会直接传递给后续数据自动处理单元进行处理。图像筛选器可以基于不同的算法来完成任务。可以通过对比原始图像和平滑过后的图像来计算图像的信噪比以排除噪音过大的图像。也可以通过计算(平滑处理)图像的熵值来排除不包含有效信息的噪音图像(比如空白图像)。还可以通过对训练数据集计算单类支持向量机(1 classSupport Vector Machine)来获取训练数据的分布。单类支持向量机是一种基于支持向量机算法的非监督学习算法。算法会针对我们所有的训练数据进行学习，通过计算得到数据的特征分布区间。对于待处理的数据，训练好的单类支持向量机通过判断新的数据是否符合已有数据的分布从而确定该数据是属于可处理数据还是属于未知数据。

2、图像分拣器

在上一环节中，图像筛选器会对可处理的图像数据进行标注，接着传送给图像分拣器进行自动分拣。图像分拣器会根据图像的特征对图像的模态进行分类，从而选择最合适的图像分析器对该图像进行分析。传统的分析流程中，图像预分类往往是依赖于图像采集装置生成的元信息进行判断。由于不同的仪器设备厂商会采用不同的元信息生成标准，这类基于非图像信息的预分类方法并不可靠。在本发明中，图像分拣器将直接基于图像特征判断图像的模态，即，判断传送带上此时是否有煤物料，以及煤物料在传送带上的宽度、厚度、是否有异物存在等等。同时，本发明的技术方案中所涉及的图像分拣器可以根据上述传送带上煤物料所处的不同状态将图像分成不同的子图像交由不同的图像分析器进行处理。例如，针对空载和运载状态下，分别采用不同的图像分析器进行分析。

本发明中的图像分拣器，具体可以采用图像检索算法来实现。具体地，对每一张样本图像以及待处理的图像都生成一组特征值，通过匹配待处理图像的特征值和样本图像的特征值从而找到最接近的样本图像从而达到分类的目的。图像特征值的提取可以使用传统的如HOG特征、LBP特征、Haar特征，也可以采用先前提到的基于多层卷积的深度卷积网络。深度卷积网络既可以通过有监督的分类任务训练得到，也可以通过无监督的自动编码机训练得到。同时为了有效的降低特征维度以提高匹配效率，可以采用特征降温的算法。传统的算法有如主成份分析法(PCA)、独立成份分析法(ICA)、字典学习结合稀疏加密算法(dictionary learning and sparse coding)等，更先进的机器学习的算法则包括词带模型(bag of words)、词向量算法(word2vec)等。

当然，在本发明的另一些实施例中，也可以采用图像分类算法来实现图像分拣器。例如，可以通过训练一个深度卷积网络对图像进行分类，将图像按照不同的皮带运载状态分类。这类深度卷积网络的输入为原始图像，输出为该图像属于每一个指定类型的概率值。深度卷积网络先通过多个卷积层的组合来提取图像特征信息，再通过多个全连接层来计算最终的概率值。网络中的卷积核以及连接权重则通过计算机优化得到。深度卷积网络还可以在一张图像中同时预测多个目标的存在并找到相对应的子区域。针对每个子区域则可以产生不同的子图从而对原始图片更进一步的分拣。

3、图像分析模块

在本发明的具体实施例中，图像分析模块实际由多个图像分析器构成。每个图像分析器都被设计出来针对特定的皮带运载状态进行计算。图像分析器可以为基于(神经元网络的)深度学习的人工智能算法，也可以为其他人工智能算法(例如Random Forest、Gradient Boosting Tree等)。计算的结果包括皮带运载的煤流量、异物种类及大小、皮带纵撕可能性等。例如，结果可以是图像特征显示某个异物出现在运载皮带上的概率，也可以给出异物大小体积、形态分析。相关区域指的是感兴趣区域。相关区域可以由一张或多张图像标注。图像中的每个像素可以是针对不同区域的编号值也可以是该像素属于某一区域的概率值。相关区域也可以是由一个或多个计算机图形(如直线、曲线、方框、圆圈)所围成的区域。优先级分数则反映了该情况出现的时间急迫性。对于紧急情况需要立马处理的情况，图像分析器会生成高的优先级分数，而对于一般情况则给予较低的优先级分数。

分析结果的计算可以采用于与图像筛选器相类似的图像分类算法。当采用基于深度卷积网络进行分类计算的时候，还可以通过网络逆向算法来反推图像中带来决策的区域从而定位异常或特定关注的区域。网络逆向算法是通过将用于网络参数优化的下降梯度值(Gradient value)反向作用于网络中传递的变量值，从而推测出对某一决策起到正向影响的区域(如异常区域)。

另一种检测异常区域并分割相关区域的方法是图像分割算法。这种算法可以是采用全卷积网络的深度学习算法。算法的输入为原始图像，输出为分割对象的概率分布图像。中间采用了多层卷积层的计算从而提出相关的图像特征并作出最终的判断。该算法不光可用来分割异常区域，还可以用来分割图像中需要关注的区域，例如煤物料与皮带边缘间的区域。

优先级分数可以基于分类结果根据事先制定好的规则获得。既对于每种分类都会有对于的分数。也可以采用回归算法从图像特征中直接计算或得。回归算法可以采用基于深度卷积网络的算法，既将原先的训练输出替换成了优先级分数。也可以采用如线性回归树一类的算法进行计算，既将卷积得到的图像特征作为输入，通过对特征进行组合运算从而最终得到对应的分数。相比于使用制定好的规则，线性回归算法更灵活一些。

优先级分数的定义可以由矿区管理人员根据实际情况来判断制定。但为了能更灵活并且更接近实际需求，也可以考虑由训练样本的分析结果来获取。

4、综合分析模块

在本发明中，综合分析模块会对图像分析模块的结果进行进一步的分析。如果同一皮带上的同一位置得到不同的数据，综合分析模块会综合双路摄像头的不同的数据进行最终的判断。另一方面，模块也可以综合其他的信息来减小分析错误的可能性。例如，针对每一种基于图像的分析结果，可以通过贝叶斯网络和隐式马尔科夫模型通过训练数据计算出相对应的概率模型从而得到最终的输出概率值。随机森林算法则通过对特征值和样本进行随机采样生成多个决策树进行投票生成最终的判断结果。

本文描述了各种操作或功能，其可以被作为软件代码或指令实现或定义为软件代码或指令。这样的内容可以是可直接执行的(“对象”或“可执行”形式)源代码或差分代码(“增量”或“补丁”代码)。本文所述的实施例的软件实现可以经由其中存储有代码或指令的制品或者经由操作通信接口以经由通信接口发送数据的方法来提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以可由机器(例如，计算设备、电子系统等等)访问的形式存储信息的任何机制，诸如可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备、等等)。通信接口包括接合到硬连线、无线、光学等介质中的任何一个以与另一设备通信的任何机制，诸如存储器总线接口、处理器总线接口、互联网连接、磁盘控制器等。可以通过提供配置参数和/或发送信号来将通信接口配置成将该通信接口准备好以提供描述软件内容的数据信号。可以经由发送到通信接口的一个或更多个命令或信号来访问通信接口。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于图像识别的井下皮带运输监控方法，用于井下皮带运输机运载过程中的运行状态的视频监控，其特征在于，包括：

获得运载过程中的皮带运输机上的煤物料的视频流；

从所述视频流中分别获取第一图像帧和第二图像帧，其中，所述第一图像帧和第二图像帧不同；

根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像；

对所述灰度差分图像在所述皮带检测区域内的所有像素点的灰度值取平均值，得到检测量；

将所述检测量与一预设值进行比较，如所述检测量大于预设值，发出提示信号或控制信号。

2.如权利要求1所述的基于图像识别的井下皮带运输监控方法，其特征在于，在获得运载过程中的皮带运输机上的煤物料的视频流时，形成独立的两路视频流，两路所述视频流在提取图像帧时分别对应形成左眼图像帧和右眼图像帧。

3.如权利要求1所述的基于图像识别的井下皮带运输监控方法，其特征在于，还包括：

对所述第一图像帧和所述第二图像帧进行预处理，其中，所述预处理包括：

将所述第一图像帧和所述第二图像帧转化为灰度图像；

进行直方图均衡化处理和/或进行中值滤波以消除图像中的部分噪声。

4.如权利要求3所述的基于图像识别的井下皮带运输监控方法，其特征在于，所述预处理，还包括：

对消除噪声后的所述第一图像帧或第二图像帧设置感兴趣区域；

获取所述感兴趣区域的几何中心；

保存所述几何中心的坐标。

5.如权利要求4所述的基于图像识别的井下皮带运输监控方法，其特征在于，所述感兴趣区域的形状为圆形。

6.如权利要求1所述的基于图像识别的井下皮带运输监控方法，其特征在于，所述从所述视频流中分别获取第一图像帧和第二图像帧，包括：

以预设帧数为间隔，从所述视频流中抽取所述第一图像帧和所述第二图像帧。

7.如权利要求2所述的基于图像识别的井下皮带运输监控方法，其特征在于，在获得运载过程中的皮带运输机上的煤物料的视频流之后，还包括：

以所述预设帧数为间隔，从两路所述视频流中的另一路视频流中再抽取第三图像帧和第四图像帧；

分别计算所述第一图像帧和所述第三图像帧、以及所述第二图像帧和所述第四图像帧在所述皮带检测区域内对应位置处像素点之间的灰度差值，得到相应的灰度差分图像；

分别对每个所述灰度差分图像在所述皮带检测区域内的所有像素点的灰度值取平均值，得到相应的子检测量；

对所有的所述子检测量取平均值，得到所述检测量。

8.如权利要求1所述的基于图像识别的井下皮带运输监控方法，其特征在于，在根据所述第一图像帧和所述第二图像帧在预设的皮带检测区域内对应位置处像素点之间的灰度差值，得到灰度差分图像之前，还包括：

从所述视频流中，抽取一视频帧作为视频截图；

确定检测人员在所述视频截图上选择的检测区域，并将其作为所述皮带检测区域。