CN110335294A - 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法 - Google Patents
基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法 Download PDFInfo
- Publication number
- CN110335294A CN110335294A CN201910624327.9A CN201910624327A CN110335294A CN 110335294 A CN110335294 A CN 110335294A CN 201910624327 A CN201910624327 A CN 201910624327A CN 110335294 A CN110335294 A CN 110335294A
- Authority
- CN
- China
- Prior art keywords
- video
- neural networks
- convolutional neural
- pump house
- frame difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 29
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 8
- 239000003245 coal Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 235000020681 well water Nutrition 0.000 description 1
- 239000002349 well water Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，包括如下步骤：将水泵房视频按照画面等比分割为N*N的子视频，从子视频中提取连续K帧的图像作为样本，构造样本集，根据样本是否存在漏水分为正负样本，训练3D卷积神经网络；将待检测的水泵房视频按照画面等比分割为N*N的子视频，利用帧差法检测子视频中是否有运动目标；从有运动目标的子视频中提取连续K帧的图像；将连续K帧的图像输入到3D卷积神经网络，输出样本分类。本发明引入帧差法对于水泵房是否存在运动目标进行检测，只对存在运动目标的区域和情况进行模型分类估计，提高了算法的效率以及准确性，利用3D卷积神经网络模型进行预测分类，判断是否存在漏水情况。
Description
技术领域
本发明属于视频分析检测技术领域，涉及一种基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法。
背景技术
煤炭作为我国工业生产的重要经济支柱，其安全自动化开采的需求迫在眉睫。在煤炭的地下开采过程中，由于地下水的渗透等原因，会有大量水涌入开采矿井中，为保障井下的正常安全开采，需要及时的排出矿井积水。因此矿井排水系统在保障煤矿正常开采中，起着十分关键的作用，同样，水泵房作为矿井排水系统的核心，其正常运行直接关系到煤矿的正常安全开采。漏水问题一直是水泵房内最为常见的问题，水泵房出现的漏水情况威胁着水泵房内仪器的正常运行，严重情况下可能导致损坏水泵房内线路，严重影响水泵房安全以及整个煤炭开采过程的正常实施。为了保障水泵房的正常运行，需要对漏水情况进行实时检测。
目前矿井水泵房的漏水检测主要依靠人工视频监控，需要有人员二十四小时观察视频监控，过程耗时耗力，鉴于此，一个实时的水泵房智能监控系统对于煤矿安全生产具有重要意义。
发明内容
本发明目的在于提供一种基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，通过监控视频检测是否存在漏水以及确定漏水位置。
为实现上述目的，本发明采用如下技术方案：
基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，包括如下步骤：
步骤1：采集水泵房视频样本集，将水泵房视频按照画面等比分割为N*N的子视频，从子视频中提取连续K帧的图像作为样本，构造样本集，并根据样本是否存在漏水分为正负样本，训练3D卷积神经网络，N、K为正整数；
步骤2：将待检测的水泵房视频按照画面等比分割为N*N的子视频，利用帧差法检测子视频中是否有运动目标；
步骤3：从有运动目标的子视频中提取连续K帧的图像；
步骤4：将连续K帧的图像输入到训练好的3D卷积神经网络，输出样本所属分类。
优选的，步骤3中所述帧差法是通过子视频中前后两帧图像对应像素灰度值相减，得到差分图像D(x,y)，设定阈值T，将图像二值化，具体计算公式为
D(x,y)＝|fn(x,y)-fn-1(x,y)|
其中(x,y)为像素点坐标，fn-1(x,y)，fn(x,y)为前后两帧图像灰度值，R(x,y)为得到的二值化图像；R(x,y)等于255，则子视频存在运动目标，等于0则不存在运动目标。
优选的，步骤3中，利用帧差法检测子视频中是否有运动目标之前对视频图像进行高斯滤波，高斯核大小为3*3，高斯滤波具体模型如下：
其中σ为标准差，(x,y)为点坐标。
优选的，所述3D卷积神经网络模型结构包括，5个3D卷积层，5个Maxpooling 3D池化层，以及两个全连接层。
优选的，所述3D卷积神经网络模型的全连接层之后为抑制过拟合添加一层Dropout层，其Dropout比例选取为0.5。
优选的，步骤1中，训练3D卷积神经网络模型采用的优化方法为SGD优化方法，选取的学习率为0.01。
优选的，步骤1中，在模型训练过程中，为了抑制过拟合，损失函数采用L2正则化，即在代价函数后加一个L2惩罚项，具体如下
其中J(W，b)为代价函数，加号后面为L2正则化项，λ为正则化参数，W为模型训练。
有益效果：本发明首先实现了基于视频监控的水泵房漏水情况的实时检测。
本发明引入帧差法对于水泵房是否存在运动目标进行检测，只对存在运动目标的区域和情况进行模型分类估计，提高了算法的效率以及准确性。
本发明引入3D卷积神经网络模型对运动目标区域进行分类，训练完成的模型通过对连续16帧的图像进行预测分类，从而判断是否存在漏水情况，在测试集上准确率达到98％，很好的完成了漏水情况识别。
附图说明
图1本发明的方法流程图；
图2为3D卷积神经网络结构图；
图3为训练过程中训练集以及测试集的准确率变化曲线，acc和val_acc分别表示训练集准确率和测试集准确率。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明，但本发明的内容不局限于此。
本发明提供了矿井水泵房漏水检测分析模型及建立方法，可实时检测水泵房是否存在漏水情况，具体包括以下步骤：
搭建分类模型：
(1)采集水泵房视频，包括泵房漏水视频以及泵房正常运行视频。
(2)将采集得到的视频按照画面大小等比例分割为3*3，大小为8秒左右的子视频，然后按帧提取视频，将连续16帧图像作为一个样本，并根据是否存在漏水情况划分正否样本。
(3)划分测试集与训练集：测试集与训练集比例为4:1，且保证训练集与测试集来自不同时刻视频。
(4)搭建C3D网络：本发明采用基于Keras深度学习框架搭建C3D网络，其网络具体结构包括5个3D卷积层，5个Maxpooling 3D池化层，以及两个全连接层，其具体模型结构如图附一所示，如附图2所示。同时需要设置训练参数，batch_size大小为16，训练迭代25次，采用SGD优化方法，学习率设置为0.01，在全连接层后面添加两层Dropout层，其Dropout选取比例为0.5。
(5)训练模型：将训练集测试集输入到模型中进行训练，并保存训练完成的网络。得到训练的准确率以及LOSS变化曲线如附图3所示，按照变化曲线可以发现最终在测试集得到98％的准确率
对于水泵房视频进行检测：
(1)采集水泵房视频，将其按照画面大小等比例分割为3*3的子视频。
(2)利用帧差法对子视频进行检测，为了抑制视频中噪音对帧差法的干扰，首先对子视频图像进行高斯滤波。然后通过前后两帧图像对应像素灰度值相减，得到差分图像，设定阈值T，将图像二值化，本发明中T选取值为25，具体计算公式为
D(x,y)＝|fn(x,y)-fn-1(x,y)|
通过检测差分图像是否为0判断是否存在运动目标，如果没有运动目标则显示正常，否则进行下一步。
(3)将判断存在运动目标的子视频，保存连续16帧图像输入训练完成的模型中进行分类，如果显示运动目标不是水流，则显示正常；否则，进行漏水预警，并在视频中漏水区域显示漏水。
实验结果表明3D卷积神经网络在漏水识别中达到了98％的准确率，帧差法极大的提高了算法的效率，通过将两种算法相结合能够很好的实现对于水泵房漏水的实时检测。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。任何以本申请专利所涵盖的权利范围实施的技术方案，或者任何熟悉本领域的技术人员，利用上述揭示方法内容做出许多可能的变动和修饰的方案，均属于本发明的保护范围。
Claims (7)
1.基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，其特征在于，包括如下步骤：
步骤1：采集水泵房视频样本集，将水泵房视频按照画面等比分割为N*N的子视频，从子视频中提取连续K帧的图像作为样本，构造样本集，并根据样本是否存在漏水分为正负样本，训练3D卷积神经网络，N、K为正整数；
步骤2：将待检测的水泵房视频按照画面等比分割为N*N的子视频，利用帧差法检测子视频中是否有运动目标；
步骤3：从有运动目标的子视频中提取连续K帧的图像；
步骤4：将连续K帧的图像输入到训练好的3D卷积神经网络，输出样本所属分类。
2.根据权利要求1所述的基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，其特征在于，步骤2中所述帧差法是通过子视频中前后两帧图像对应像素灰度值相减，得到差分图像D(x,y)，设定阈值T，将图像二值化，具体计算公式为
D(x,y)＝|fn(x,y)-fn-1(x,y)|
其中(x,y)为像素点坐标，fn-1(x,y)，fn(x,y)为前后两帧图像灰度值，R(x,y)为得到的二值化图像；R(x,y)等于255，则子视频存在运动目标，等于0则不存在运动目标。
3.根据权利要求1所述的基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，其特征在于，步骤2中，利用帧差法检测子视频中是否有运动目标之前对视频图像进行高斯滤波，高斯核大小为3*3，高斯滤波具体模型如下：
其中σ为标准差，(x,y)为点坐标。
4.根据权利要求1所述的基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，其特征在于，所述3D卷积神经网络模型结构包括，5个3D卷积层，5个Maxpooling3D池化层，以及两个全连接层。
5.根据权利要求4所述的基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，其特征在于，所述3D卷积神经网络模型的全连接层之后为抑制过拟合添加一层Dropout层，其Dropout选取比例为0.5。
6.根据权利要求1所述的基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，其特征在于，步骤1中，训练3D卷积神经网络模型采用的优化方法为SGD优化方法，选取的学习率为0.01。
7.根据权利要求1所述的基于帧差法与3D卷积神经网络的矿井水泵房漏水检测方法，其特征在于，步骤1中，在模型训练过程中，为了抑制过拟合，损失函数采用L2正则化，即在代价函数后加一个L2惩罚项，具体如下
其中J(W，b)为代价函数，加号后面为L2正则化项，λ为正则化参数，W为模型训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910624327.9A CN110335294B (zh) | 2019-07-11 | 2019-07-11 | 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910624327.9A CN110335294B (zh) | 2019-07-11 | 2019-07-11 | 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110335294A true CN110335294A (zh) | 2019-10-15 |
| CN110335294B CN110335294B (zh) | 2023-11-24 |
Family
ID=68146285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910624327.9A Active CN110335294B (zh) | 2019-07-11 | 2019-07-11 | 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110335294B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111010493A (zh) * | 2019-12-12 | 2020-04-14 | 清华大学 | 利用卷积神经网络进行视频处理的方法及装置 |
| CN111445539A (zh) * | 2020-03-23 | 2020-07-24 | 九牧厨卫股份有限公司 | 一种阳台积水检测方法、处理装置及智能晾衣架系统 |
| CN111915579A (zh) * | 2020-07-24 | 2020-11-10 | 天津大学 | 基于高斯混合模型和卷积神经网络的液体泄漏检测方法 |
| CN112183187A (zh) * | 2020-08-15 | 2021-01-05 | 天津大学 | 基于Selective Search和LeNet-5的液体泄漏检测方法 |
| CN112241681A (zh) * | 2020-09-15 | 2021-01-19 | 天津大学 | 基于三帧差分法和vgg-16的液体泄漏检测方法 |
| CN112991277A (zh) * | 2021-02-25 | 2021-06-18 | 广东工业大学 | 基于三维卷积神经网络的多孔介质渗透率的预测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036522A (zh) * | 2014-04-16 | 2014-09-10 | 嘉兴博海信息科技有限公司 | 一种基于视频中运动目标识别的流水速度监测方法 |
| CN107527363A (zh) * | 2016-06-20 | 2017-12-29 | 青岛海尔智能技术研发有限公司 | 一种冷藏装置存储物管理系统和冷藏装置 |
| CN108133188A (zh) * | 2017-12-22 | 2018-06-08 | 武汉理工大学 | 一种基于运动历史图像与卷积神经网络的行为识别方法 |
| CN108596944A (zh) * | 2018-04-25 | 2018-09-28 | 普联技术有限公司 | 一种提取运动目标的方法、装置及终端设备 |
| CN109409256A (zh) * | 2018-10-10 | 2019-03-01 | 东南大学 | 一种基于3d卷积神经网络的森林烟火检测方法 |
-
2019
- 2019-07-11 CN CN201910624327.9A patent/CN110335294B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036522A (zh) * | 2014-04-16 | 2014-09-10 | 嘉兴博海信息科技有限公司 | 一种基于视频中运动目标识别的流水速度监测方法 |
| CN107527363A (zh) * | 2016-06-20 | 2017-12-29 | 青岛海尔智能技术研发有限公司 | 一种冷藏装置存储物管理系统和冷藏装置 |
| CN108133188A (zh) * | 2017-12-22 | 2018-06-08 | 武汉理工大学 | 一种基于运动历史图像与卷积神经网络的行为识别方法 |
| CN108596944A (zh) * | 2018-04-25 | 2018-09-28 | 普联技术有限公司 | 一种提取运动目标的方法、装置及终端设备 |
| CN109409256A (zh) * | 2018-10-10 | 2019-03-01 | 东南大学 | 一种基于3d卷积神经网络的森林烟火检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 付维娜等: "《拓扑同构与视频目标跟踪》", 西安电子科技大学出版社, pages: 5 - 6 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111010493A (zh) * | 2019-12-12 | 2020-04-14 | 清华大学 | 利用卷积神经网络进行视频处理的方法及装置 |
| CN111445539A (zh) * | 2020-03-23 | 2020-07-24 | 九牧厨卫股份有限公司 | 一种阳台积水检测方法、处理装置及智能晾衣架系统 |
| CN111915579A (zh) * | 2020-07-24 | 2020-11-10 | 天津大学 | 基于高斯混合模型和卷积神经网络的液体泄漏检测方法 |
| CN111915579B (zh) * | 2020-07-24 | 2022-05-13 | 天津大学 | 基于高斯混合模型和卷积神经网络的液体泄漏检测方法 |
| CN112183187A (zh) * | 2020-08-15 | 2021-01-05 | 天津大学 | 基于Selective Search和LeNet-5的液体泄漏检测方法 |
| CN112241681A (zh) * | 2020-09-15 | 2021-01-19 | 天津大学 | 基于三帧差分法和vgg-16的液体泄漏检测方法 |
| CN112991277A (zh) * | 2021-02-25 | 2021-06-18 | 广东工业大学 | 基于三维卷积神经网络的多孔介质渗透率的预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110335294B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110335294A (zh) | 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法 | |
| CN102509078B (zh) | 基于视频分析的烟火检测装置 | |
| CN110210621A (zh) | 一种基于残差网络改进的目标检测方法 | |
| Chen et al. | Online forecasting chlorophyll a concentrations by an auto-regressive integrated moving average model: Feasibilities and potentials | |
| CN106875395A (zh) | 基于深度神经网络的超像素级sar图像变化检测方法 | |
| CN103854292A (zh) | 一种人数及人群运动方向的计算方法及装置 | |
| CN100565557C (zh) | 基于粒子动态采样模型的红外人体目标跟踪系统 | |
| CN108171119B (zh) | 基于残差网络的sar图像变化检测方法 | |
| CN108399430B (zh) | 一种基于超像素和随机森林的sar图像舰船目标检测方法 | |
| CN103761522B (zh) | 基于最小外接矩形窗河道分段模型的sar图像河道提取方法 | |
| CN101908214B (zh) | 基于邻域相关的背景重构的运动目标检测方法 | |
| CN101964113A (zh) | 光照突变场景下的运动目标检测方法 | |
| CN105069778A (zh) | 基于目标特征显著图构建的工业产品表面缺陷检测方法 | |
| CN111862143A (zh) | 一种河堤坍塌自动监测方法 | |
| CN103425960B (zh) | 一种视频中快速运动物体侦测方法 | |
| CN100582650C (zh) | 基于视觉注意机制的气体泄漏源搜寻方法 | |
| CN106127144B (zh) | 采用时谱空一体化特征模型的点源风险源自动提取方法 | |
| CN107368784A (zh) | 一种基于小波分块的新颖的背景差分法运动目标检测方法 | |
| CN116597350A (zh) | 基于BiLSTM预测偏离度的浮选过程故障早期预警方法 | |
| CN111126477A (zh) | 一种混合贝叶斯网络的学习与推理方法 | |
| CN111400973A (zh) | 一种基于水文监测数据构建流量-水面宽的关系曲线的方法 | |
| CN101533515A (zh) | 一种面向视频监控的基于块的背景建模方法 | |
| CN111898746B (zh) | 一种中断航迹接续关联深度学习方法 | |
| CN103578112B (zh) | 一种基于视频图像特征的增氧机工作状态检测方法 | |
| CN111553226A (zh) | 一种基于遥感解译技术提取河流监测断面水面宽度的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |