CN110335294B - 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法 - Google Patents

Abstract

本发明提供一种基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，包括如下步骤：将水泵房视频按照画面等比分割为N*N的子视频，从子视频中提取连续K帧的图像作为样本，构造样本集，根据样本是否存在漏水分为正负样本，训练3D卷积神经网络；将待检测的水泵房视频按照画面等比分割为N*N的子视频，利用帧差法检测子视频中是否有运动目标；从有运动目标的子视频中提取连续K帧的图像；将连续K帧的图像输入到3D卷积神经网络，输出样本分类。本发明引入帧差法对于水泵房是否存在运动目标进行检测，只对存在运动目标的区域和情况进行模型分类估计，提高了算法的效率以及准确性，利用3D卷积神经网络模型进行预测分类，判断是否存在漏水情况。

Description

基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法

技术领域

本发明属于视频分析检测技术领域，涉及一种基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法。

背景技术

煤炭作为我国工业生产的重要经济支柱，其安全自动化开采的需求迫在眉睫。在煤炭的地下开采过程中，由于地下水的渗透等原因，会有大量水涌入开采矿井中，为保障井下的正常安全开采，需要及时的排出矿井积水。因此矿井排水系统在保障煤矿正常开采中，起着十分关键的作用，同样，水泵房作为矿井排水系统的核心，其正常运行直接关系到煤矿的正常安全开采。漏水问题一直是水泵房内最为常见的问题，水泵房出现的漏水情况威胁着水泵房内仪器的正常运行，严重情况下可能导致损坏水泵房内线路，严重影响水泵房安全以及整个煤炭开采过程的正常实施。为了保障水泵房的正常运行，需要对漏水情况进行实时检测。

目前矿井水泵房的漏水检测主要依靠人工视频监控，需要有人员二十四小时观察视频监控，过程耗时耗力，鉴于此，一个实时的水泵房智能监控系统对于煤矿安全生产具有重要意义。

发明内容

本发明目的在于提供一种基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，通过监控视频检测是否存在漏水以及确定漏水位置。

为实现上述目的，本发明采用如下技术方案：

基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，包括如下步骤：

步骤1：采集水泵房视频样本集，将水泵房视频按照画面等比分割为N*N的子视频，从子视频中提取连续K帧的图像作为样本，构造样本集，并根据样本是否存在漏水分为正负样本，训练3D卷积神经网络，N、K为正整数；

步骤2：将待检测的水泵房视频按照画面等比分割为N*N的子视频，利用帧差法检测子视频中是否有运动目标；

步骤3：从有运动目标的子视频中提取连续K帧的图像；

步骤4：将连续K帧的图像输入到训练好的3D卷积神经网络，输出样本所属分类。

优选的，步骤3中所述帧差法是通过子视频中前后两帧图像对应像素灰度值相减，得到差分图像D(x,y)，设定阈值T，将图像二值化，具体计算公式为

D(x,y)＝|f_n(x,y)-f_n-1(x,y)|

其中(x,y)为像素点坐标，f_n-1(x,y)，f_n(x,y)为前后两帧图像灰度值，R(x,y)为得到的二值化图像；R(x,y)等于255，则子视频存在运动目标，等于0则不存在运动目标。

优选的，步骤3中，利用帧差法检测子视频中是否有运动目标之前对视频图像进行高斯滤波，高斯核大小为3*3，高斯滤波具体模型如下：

其中σ为标准差，(x,y)为点坐标。

优选的，所述3D卷积神经网络模型结构包括，5个3D卷积层，5个Maxpooling 3D池化层，以及两个全连接层。

优选的，所述3D卷积神经网络模型的全连接层之后为抑制过拟合添加一层Dropout层，其Dropout比例选取为0.5。

优选的，步骤1中，训练3D卷积神经网络模型采用的优化方法为SGD优化方法，选取的学习率为0.01。

优选的，步骤1中，在模型训练过程中，为了抑制过拟合，损失函数采用L2正则化，即在代价函数后加一个L2惩罚项，具体如下

其中J(W，b)为代价函数，加号后面为L2正则化项，λ为正则化参数，W为模型训练。

有益效果：本发明首先实现了基于视频监控的水泵房漏水情况的实时检测。

本发明引入帧差法对于水泵房是否存在运动目标进行检测，只对存在运动目标的区域和情况进行模型分类估计，提高了算法的效率以及准确性。

本发明引入3D卷积神经网络模型对运动目标区域进行分类，训练完成的模型通过对连续16帧的图像进行预测分类，从而判断是否存在漏水情况，在测试集上准确率达到98％，很好的完成了漏水情况识别。

附图说明

图1本发明的方法流程图；

图2为3D卷积神经网络结构图；

图3为训练过程中训练集以及测试集的准确率变化曲线，acc和val_acc分别表示训练集准确率和测试集准确率。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明，但本发明的内容不局限于此。

本发明提供了矿井水泵房漏水检测分析模型及建立方法，可实时检测水泵房是否存在漏水情况，具体包括以下步骤：

搭建分类模型：

(1)采集水泵房视频，包括泵房漏水视频以及泵房正常运行视频。

(2)将采集得到的视频按照画面大小等比例分割为3*3，大小为8秒左右的子视频，然后按帧提取视频，将连续16帧图像作为一个样本，并根据是否存在漏水情况划分正否样本。

(3)划分测试集与训练集：测试集与训练集比例为4:1，且保证训练集与测试集来自不同时刻视频。

(4)搭建C3D网络：本发明采用基于Keras深度学习框架搭建C3D网络，其网络具体结构包括5个3D卷积层，5个Maxpooling 3D池化层，以及两个全连接层，其具体模型结构如图2所示。同时需要设置训练参数，batch_size大小为16，训练迭代25次，采用SGD优化方法，学习率设置为0.01，在全连接层后面添加两层Dropout层，其Dropout选取比例为0.5。

(5)训练模型：将训练集测试集输入到模型中进行训练，并保存训练完成的网络。得到训练的准确率以及LOSS变化曲线如附图3所示，按照变化曲线可以发现最终在测试集得到98％的准确率。

对于水泵房视频进行检测：

(1)采集水泵房视频，将其按照画面大小等比例分割为3*3的子视频。

(2)利用帧差法对子视频进行检测，为了抑制视频中噪音对帧差法的干扰，首先对子视频图像进行高斯滤波。然后通过前后两帧图像对应像素灰度值相减，得到差分图像，设定阈值T，将图像二值化，本发明中T选取值为25，具体计算公式为

D(x,y)＝|f_n(x,y)-f_n-1(x,y)|

通过检测差分图像是否为0判断是否存在运动目标，如果没有运动目标则显示正常，否则进行下一步。

(3)将判断存在运动目标的子视频，保存连续16帧图像输入训练完成的模型中进行分类，如果显示运动目标不是水流，则显示正常；否则，进行漏水预警，并在视频中漏水区域显示漏水。

实验结果表明3D卷积神经网络在漏水识别中达到了98％的准确率，帧差法极大的提高了算法的效率，通过将两种算法相结合能够很好的实现对于水泵房漏水的实时检测。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。任何以本申请专利所涵盖的权利范围实施的技术方案，或者任何熟悉本领域的技术人员，利用上述揭示方法内容做出许多可能的变动和修饰的方案，均属于本发明的保护范围。

Claims (5)

1.基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，其特征在于，包括如下步骤：

步骤1：采集水泵房视频样本集，将水泵房视频按照画面等比分割为N*N的子视频，从子视频中提取连续K帧的图像作为样本，构造样本集，并根据样本是否存在漏水分为正负样本，训练3D卷积神经网络，N、K为正整数；

步骤2：将待检测的水泵房视频按照画面等比分割为N*N的子视频，利用帧差法检测子视频中是否有运动目标；

步骤3：从有运动目标的子视频中提取连续K帧的图像；

步骤4：将连续K帧的图像输入到训练好的3D卷积神经网络，输出样本所属分类；

步骤2中所述帧差法是通过子视频中前后两帧图像对应像素灰度值相减，得到差分图像D(x,y)，设定阈值T，将图像二值化，具体计算公式为

D(x,y)＝|f_n(x,y)-f_n-1(x,y)|

其中(x,y)为像素点坐标，f_n-1(x,y)，f_n(x,y)为前后两帧图像灰度值，R(x,y)为得到的二值化图像；R(x,y)等于255，则子视频存在运动目标，等于0则不存在运动目标；

步骤2中，利用帧差法检测子视频中是否有运动目标之前对视频图像进行高斯滤波，高斯核大小为3*3，高斯滤波具体模型如下：

其中σ为标准差，(x,y)为点坐标。

2.根据权利要求1所述的基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，其特征在于，所述3D卷积神经网络模型结构包括，5个3D卷积层，5个Maxpooling3D池化层，以及两个全连接层。

3.根据权利要求2所述的基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，其特征在于，所述3D卷积神经网络模型的全连接层之后为抑制过拟合添加一层Dropout层，其Dropout选取比例为0.5。

4.根据权利要求1所述的基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，其特征在于，步骤1中，训练3D卷积神经网络模型采用的优化方法为SGD优化方法，选取的学习率为0.01。

5.根据权利要求1所述的基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，其特征在于，步骤1中，在模型训练过程中，为了抑制过拟合，损失函数采用L2正则化，即在代价函数后加一个L2惩罚项，具体如下

其中J(W，b)为代价函数，加号后面为L2正则化项，λ为正则化参数，W为模型训练。