CN110956611A - 一种集成卷积神经网络的烟雾检测方法 - Google Patents
一种集成卷积神经网络的烟雾检测方法 Download PDFInfo
- Publication number
- CN110956611A CN110956611A CN201911057914.0A CN201911057914A CN110956611A CN 110956611 A CN110956611 A CN 110956611A CN 201911057914 A CN201911057914 A CN 201911057914A CN 110956611 A CN110956611 A CN 110956611A
- Authority
- CN
- China
- Prior art keywords
- smoke
- suspected
- cnn
- image
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 172
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 100
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 238000012790 confirmation Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 239000010902 straw Substances 0.000 description 13
- 238000001914 filtration Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- MWUXSHHQAYIFBG-UHFFFAOYSA-N Nitric oxide Chemical compound O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003546 flue gas Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000791 photochemical oxidant Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Abstract
本发明提供一种集成卷积神经网络的烟雾检测方法，包括疑似烟雾获取模块、疑似烟雾确认模块和烟雾报警模块，疑似烟雾获取模块将实时获取的图像通过Faster R‑CNN模型检测后，获取含有疑似烟雾的图像，疑似烟雾检测模块利用卷积神经网络对疑似烟雾图像的候选区进行检测，确定含有烟雾的图像，烟雾报警模块对疑似烟雾确认模块处理的结果进行应答，极大地降低了烟雾检测成本、提高识别效率和准确率，识别的灵活性高，没有额外的存储和计算开销，降低了系统的复杂性，高效且节能。
Description
技术领域
本发明涉及利用计算机进行烟雾识别领域，特别是一种集成卷积神经网络的烟雾检测方法。
背景技术
秸秆的露天焚烧属于低温焚烧，不完全燃烧，其烟气中含有大量的一氧化碳、二氧化碳、氮氧化物、光化学氧化剂和悬浮颗粒物等造成大气污染，且会在一定程度上加重雾霾的发生。不仅如此，各地区每到收获的季节因为焚烧秸秆而引发火灾的事情时有发生，每年夏秋季收获时节，环保部、农业部及各地政府都会投入大量的人力监控焚烧秸秆的情况，也会通过卫星来监测秸秆焚烧情况，并对监测到的火点进行汇总发布，但秸秆焚烧现象仍然屡禁不止，每年的秸秆中仍有3亿多吨被当作废弃物直接焚烧，给大气质量生态环境 交通安全和火灾防护都造成了极大的危害。随着图像识别技术的发展，CNN（卷积神经网络）对图像特征进行提取从而进行识别，R-CNN、Fast R-CNN和Faster R-CNN对CNN进行优化，逐步提高了图像检测的准确度和效率，在烟雾检测领域，运用卷积神经网络对秸秆燃烧时产生的烟雾进行实时监测，能够有效的解决秸秆燃烧检测不及时，耗费大量人力物力等问题。
中国专利CN109389185A“使用三维卷积神经网络的视频烟雾识别方法”是通过在Faster R-CNN处理得到疑似烟雾区域结果框及烟雾评分，收集目标帧前后一定数量的图像为连续视频帧，再用三维卷积神经网络对视屏帧进行三维特征提取，将提取到的特征向量与结果框的烟雾评分组成新的输入到SVM分类器中，进行是否为烟雾的分类。这种方法复杂度高，需要较大的运算和存储成本，且在秸秆燃烧的检测领域并不一定适用。中国专利CN109490930A“一种秸秆燃烧定位系统及方法”采用监控中心，定位检测节点，路由检测节点，移动检测节点及移动检测节点和匹配的无人机进行秸秆燃烧的检测。这个方法不能实时的检测秸秆燃烧的情况，同时也需要较大的成本。
发明内容
本发明所要解决的技术问题是提供一种集成卷积神经网络的烟雾检测方法，能够通过摄像头拍摄的视频实时监测烟雾情况，并及时发出警告。解决了烟雾监测成本高、不及时、精度不够和效率不高的问题。
为解决上述技术问题，本发明所采用的技术方案是：一种集成卷积神经网络的烟雾检测方法，包括疑似烟雾获取模块、疑似烟雾确认模块和烟雾报警模块，具体实现的步骤为：
S1.疑似烟雾获取模块从将实时获取的图像通过Faster R-CNN模型检测后，获取含有疑似烟雾的图像；
S2.疑似烟雾检测模块利用卷积神经网络对疑似烟雾图像的候选区进行检测，确定含有烟雾的图像；
S3.烟雾报警模块对疑似烟雾确认模块处理的结果进行应答。
优选的方案中，在Faster R-CNN模型原有的基础上进行网络结构的精简，将原来的13层卷积、13层ReLU函数减为10层卷积、10层ReLU函数。
优选的方案中，步骤S1中疑似烟雾获取模块从通过Faster RCNN模型检测后获取含有疑似烟雾的图像的具体实现步骤为：
S11.根据大量的烟雾数据样本通过Faster R-CNN网络训练后得到烟雾检测Faster R-CNN模型；
S12.利用训练好的烟雾检测Faster R-CNN模型，对实时的视频目标图像进行检测，并得到疑似烟雾候选区的图像；
S13.根据步骤S12获得包含有疑似烟雾候选框的图像，根据每个图像相对应烟雾相似度的分数，当分数大于某一阈值时，则判定为烟雾。
优选的方案中，步骤S2中疑似烟雾检测模块对疑似烟雾图像的候选区进行检测的具体实现步骤为：
S21.利用CNN模型对含步骤S1中有疑似烟雾图片的候选区再次进行烟雾检测；
S22.在疑似烟雾图片中确定含有烟雾的图像。
优选的方案中，步骤S3中烟雾报警模块进行应答的具体实现步骤为：
S31. 烟雾报警模块对步骤2中检测出含有烟雾的图像进行应答；
S32. 将报警信息以短信、邮件的方式传递给工作人员。
优选的方案中，步骤S12中Faster R-CNN模型检测烟雾的具体实现步骤为：
S21.对前一帧图像输进CNN，得到烟雾的Feature Map；
S22.卷积特征输入到RPN，得到候选框的特征信息；
S23.对候选框中提取出的烟雾特征，使用分类器判别是否属于烟雾；
S24.对于属于烟雾的候选框，用回归器进一步调整烟雾的位置。
优选的方案中，在CNN模型中向CONV层引入了一个超参数；
用于在更少的图层中合并输入更多的空间信息，提高Faster R-CNN对于小目标的检测准确度。
优选的方案中，在原有的神经网络激活函数的基础上加入Leaky ReLU函数，
用于解决ReLU函数进入负区间后，神经元不学习的问题，在网络中向后推进计算相对于权重的误差梯度时执行反向优化，相应地使用梯度下降来优化权重以减少误差。
优选的方案中，Faster R-CNN引入局部标注和时空上下文策略；
用于降低遮挡物对烟雾检测的影响。
优选的方案中，Faster R-CNN设定自适应阈值，用于通过压缩Faster R-CNN候选区域的数量， 在确保检测准确度的同时提高了速度。
本发明提供了一种集成卷积神经网络的烟雾检测方法，通过采用以上的方案，具有以下有益效果：
1、极大地降低了烟雾检测成本。本发明提供的集成卷积神经网络的烟雾检测方法，利用神经网络Faster R-CNN，将采集到的实时图像进行处理，得到疑似烟雾的图像，再对疑似烟雾的图像通过卷积神经网络进行判定是否存在烟雾，最后进行结果的处理。有效的提高了秸秆燃烧检测的实时性，不需要使用无人机等方式，有效的减少人力物力财力的投入，节约资本。
2、提高识别效率。本发明在Faster R-CNN模型原有的基础上进行网络结构的精简，将原来的13层卷积、13层ReLU激活函数减为10层卷积、10层ReLU激活函数，在保证准确率的同时极大提高了烟雾识别效率。
3、识别的准确率高。疑似烟雾获取模块通过Faster R-CNN检测出疑似烟雾区域，疑似烟雾确认模块通过CNN对疑似烟雾区域进行确认，双重检测机制提高了烟雾检测的准确率。
4、识别的灵活性高。能够根据不同摄像头的不同场景，有不同的处理，因地制宜，更具有科学性。在判断阶段，没有额外的存储和计算开销，降低了系统的复杂性，高效且节能。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明的整体流程示意图。
图2为本发明中Faster R-CNN模型示意图。
图3为本发明中CNN模型示意图。
图4为本发明中Faster R-CNN烟雾检测结果图像。
图5为本发明中Faster R-CNN+CNN烟雾检测结果图像。
具体实施方式
实施例1：
如图1、4~5所示，一种集成卷积神经网络的烟雾检测方法，包括疑似烟雾获取模块、疑似烟雾确认模块和烟雾报警模块，具体实现的步骤为：
S1.疑似烟雾获取模块从将实时获取的图像通过Faster R-CNN模型检测后，获取含有疑似烟雾的图像；
S2.疑似烟雾检测模块利用卷积神经网络对疑似烟雾图像的候选区进行检测，确定含有烟雾的图像，利用卷积神经网络（CNN）模型将候选区的大小及位置按照候选区中心为新候选区的中心，进行候选区的再生成，再对新的候选区进行卷积神经网络的识别，图4对Faster R-CNN模型进行烟雾识别，并未精准识别出烟雾，图5为Faster R-CNN+CNN模型，经过Faster R-CNN进行疑似烟雾的判断，再由CNN对疑似烟雾进行确认，得到准确的烟雾检测结果。
S3.烟雾报警模块对疑似烟雾确认模块处理的结果进行应答，将报警信息，以短信、邮件等方式传递给工作人员。
实施例2：
在Faster R-CNN模型原有的基础上进行网络结构的精简，将原来的13层卷积、13层ReLU函数减为10层卷积、10层ReLU函数，减少后，特征提取的效果没变，但是计算量变小了，降低整体的误报，提高准确率。
在利用Faster R-CNN处理后，得到疑似烟雾区域，图像上框选出的区域为疑似烟雾区域，再对疑似烟雾的图像通过卷积神经网络进行判定是否存在烟雾，最后进行结果的处理。
实施例3：
如图2所示，步骤S1中疑似烟雾获取模块从通过Faster RCNN模型检测后获取含有疑似烟雾的图像的具体实现步骤为：
S11.根据大量的烟雾数据样本通过Faster R-CNN网络训练后得到烟雾检测Faster R-CNN模型；
S12.利用训练好的烟雾检测Faster R-CNN模型，对实时的视频目标图像进行检测，并得到疑似烟雾候选区的图像；
S13.根据步骤S12获得包含有疑似烟雾候选框的图像，根据每个图像相对应烟雾相似度的分数，当分数大于某一阈值时，则判定为烟雾。
Faster R-CNN网络结构是由包含有CNN（Convolutional Neural Networks，卷积神经网络）、RPN (Region Proposal Network，区域候选网络)和Fast R-CNN三个神经网络组成，CNN网络结构用于提取图片特征获得特征图，RPN网络结构用于在特征图上提取特征区域，当特征区域的IOU（Intersection over Union，重叠率）大于某一个阈值时为正样本，小于某一个阈值为负样本，同时使用NMS（Non-Maximum Suppression，非极大值抑制）来确定样本的个数，Fast R-CNN网络结构，将RPN网络提取到的目标框区域特征进行学习并分类。例如：当特征区域的IOU大于某一个阈值时X1为正样本，将X1设为0.7，小于某一个阈值X2为负样本，将X2设为0.3，同时使用NMS为300来确定样本的个数。通过步骤S12中的识别得到一个包含有疑似烟雾候选框的图像，每个图像也有相对应烟雾相似度的分数，当分数大于某一阈值M时，则判定为烟雾。Faster R-CNN模型处理目标图像时，在目标图像中选定并框定的疑似烟雾区域，得到步骤S13中的候选区域。例如：将M设为0.8，在实施的过程中，模型采用的学习率为0.001，每批次训练的个数是256，迭代的次数是20000次。
实施例4：
如图3所示，步骤S2中疑似烟雾检测模块对疑似烟雾图像的候选区进行检测的具体实现步骤为：
S21.利用CNN模型对含步骤S1中有疑似烟雾图片的候选区再次进行烟雾检测；
S22.在疑似烟雾图片中确定含有烟雾的图像。
疑似烟雾检测模块利用CNN模型，将大量的含有烟雾的固定大小区域数据样本，通过卷积、池化、全连接等步骤进行训练，固定区域的大小为N*N，得到用于疑似烟雾检测的CNN模型。疑似烟雾检测模块进行疑似烟雾检测时将候选区的大小及位置按照候选区中心为新候选区的中心，图像大小为N*N，边长大小为CNN模型训练数据的边长大小，进行候选区的再生成，再对新的候选区进行CNN模型的识别。例如：CNN模型训练时，训练数据的图像，输入大小为80*80，每批次训练的个数是256，经过网络结构为10层卷积层，4层池化层，2层全连接层训练，得到检测模型。检测时将候选区的大小及位置按照候选区中心为新候选区的中心，大小为80*80，进行候选区的再生成，再对新的候选区进行CNN模型的识别。
烟雾报警模块对检测出含有烟雾的图像进行应答，将报警信息以短信、邮件的方式传递给工作人员。
实施例5：
如图2、4~5所示，步骤S12中Faster R-CNN模型检测烟雾的具体实现步骤为：
S21.对前一帧图像输进CNN，得到烟雾的Feature Map。
S22.卷积特征输入到RPN，得到候选框的特征信息，为了提高算法的速率，在特征框选取时加入RPN，用来产生候选区域。
S23.对候选框中提取出的烟雾特征，使用分类器判别是否属于烟雾，将提取出的烟雾特征对比已训练好图像中提取的烟雾特征，根据分类器中预设的标签判断是否属于疑似烟雾，属于则进行步骤S3。
S24.对于属于烟雾的候选框，用回归器进一步调整烟雾的位置，系统共享卷积特征图，将候选区域的提取和CNN分类结合为一个统一网络。
实施例6：
在CNN模型中向CONV层引入了一个超参数，用于在更少的图层中合并输入更多的空间信息，提高Faster R-CNN对于小目标的检测准确度，向CONV层引入一个“卷积核膨胀（dilation）”超参数，在Fisher Yu, Vladlen Koltu的论文《Multi-Scale ContextAggregation by Dilated Convolutions》对“dilation”超参数作了详尽解释。例如：在一个维度中w，大小为3的过滤器会根据输入计算x以下内容：w[0]*x[0] + w[1]*x[1] + w[2]*x[2]。这是0的卷积核膨胀。对于1卷积核膨胀，过滤器将改为计算w[0]*x[0] + w[1]*x[2] + w[2]*x[4]。在某些设置中，将其与0扩展的过滤器配合使用非常有用，使用卷积核膨胀，那么这个有效的接收场将增长得更快。
实施例7：
在原有的ReLU函数的基础上加入Leaky ReLU函数，用于解决ReLU函数进入负区间后，神经元不学习的问题，在网络中向后推进计算相对于权重的误差梯度时执行反向优化，相应地使用梯度下降来优化权重以减少误差。ReLU函数作为CNN的激活函数，解决了深度网络中的梯度弥散问题，ReLU函数，它会将一部分神经元的输出为0，使网络具有稀疏性，并且减少了参数间相互依存的关系，有效地缓解了过拟合问题的发生。Leaky ReLU函数在ReLu激活函数的进行优化，Leaky ReLU函数的输出对于负值输入有很小的坡度。相对于ReLU激活函数而言，Leaky ReLU函数的导数总是不为零， Leakyrelu(x)=max(0.01x，x)。因此能够减少静默神经元的出现，允许基于梯度的学习。
实施例8：
Faster R-CNN引入局部标注和时空上下文策略，用于降低遮挡物对烟雾检测的影响。秸秆燃烧多发生于农村地区，山林、树木对于秸秆燃烧产生的烟雾易发生阻挡，不能有效识别烟雾，为了改善Faster R-CNN在大面积遮挡的情形下对烟雾的精准识别，在Faster R-CNN引入局部标注和时空上下文策略，即在实时序列的前一帧图像的检测结果中获取有用的先验信息，合理预测少量候选区域，增加目标被检测的几率。获取实时序列中前一帧检测结果的状态向量，作为前一帧的修正值传递给当前帧进行滤波，目标出现当前帧开始，取当前帧的预测值和修正值作为该帧图像的两个候选区域，连同RPN提取的候选区域一并提取RoI池化特征，该帧检测结束后，将结果作为该帧滤波值送入下一帧滤波。当出现多个目标时则分别进行滤波，目标个数增加时增加相应个数的滤波器。
由于摄像机的运动和神经网络本身复杂的非线性映射，目标在视频中的位置和置信度并非线性变化的。将滤波作为提高候选区域质量的辅助手段，而且在短时间内目标可以近似看成线性运动。
实施例9：
Faster R-CNN设定自适应阈值，用于通过压缩Faster R-CNN候选区域的数量，在确保检测准确度的同时提高了速度。
在Faster R-CNN用Softmax为候选区域进行分类的最后阶段，阈值设置恒定， 如果设置过高会排除许多真实存在的烟雾，过低会混入云朵、水雾、水汽等干扰因素。为了提高Faster R-CNN的准确度，采用自适应阈值，在避免适应数据集的同时提高模型的决策能力。将目标与背景区分开，通过各个候选区域得分差距设置自适应阈值， 以有效区分低置信度真目标和高置信度的假目标，降低虚警率。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。
Claims (10)
1.一种集成卷积神经网络的烟雾检测方法，其特征是：包括疑似烟雾获取模块、疑似烟雾确认模块和烟雾报警模块，具体实现的步骤为：
S1.疑似烟雾获取模块从将实时获取的图像通过Faster R-CNN模型检测后，获取含有疑似烟雾的图像；
S2.疑似烟雾检测模块利用卷积神经网络对疑似烟雾图像的候选区进行检测，确定含有烟雾的图像；
S3.烟雾报警模块对疑似烟雾确认模块处理的结果进行应答。
2.根据权利要求1所述的一种集成卷积神经网络的烟雾检测方法，其特征是：在FasterR-CNN模型原有的基础上进行网络结构的精简，将原来的13层卷积、13层ReLU函数减为10层卷积、10层ReLU函数。
3.根据权利要求1所述的一种集成卷积神经网络的烟雾检测方法，其特征是：步骤S1中疑似烟雾获取模块从通过Faster RCNN模型检测后获取含有疑似烟雾的图像的具体实现步骤为：
S11.根据大量的烟雾数据样本通过Faster R-CNN网络训练后得到烟雾检测Faster R-CNN模型；
S12.利用训练好的烟雾检测Faster R-CNN模型，对实时的视频目标图像进行检测，并得到疑似烟雾候选区的图像；
S13.根据步骤S12获得包含有疑似烟雾候选框的图像，根据每个图像相对应烟雾相似度的分数，当分数大于某一阈值时，则判定为烟雾。
4.根据权利要求1所述的一种集成卷积神经网络的烟雾检测方法，其特征是：步骤S2中疑似烟雾检测模块对疑似烟雾图像的候选区进行检测的具体实现步骤为：
S21.利用CNN模型对含步骤S1中有疑似烟雾图片的候选区再次进行烟雾检测；
S22.在疑似烟雾图片中确定含有烟雾的图像。
5.根据权利要求1所述的一种集成卷积神经网络的烟雾检测方法，其特征是：步骤S3中烟雾报警模块进行应答的具体实现步骤为：
S31. 烟雾报警模块对步骤2中检测出含有烟雾的图像进行应答；
S32. 将报警信息以短信、邮件的方式传递给工作人员。
6.根据权利要求3所述的一种集成卷积神经网络的烟雾检测方法，其特征是：步骤S12中Faster R-CNN模型检测烟雾的具体实现步骤为：
S21.对前一帧图像输进CNN，得到烟雾的Feature Map；
S22.卷积特征输入到RPN，得到候选框的特征信息；
S23.对候选框中提取出的烟雾特征，使用分类器判别是否属于烟雾；
S24.对于属于烟雾的候选框，用回归器进一步调整烟雾的位置。
7.根据权利要求4所述的一种集成卷积神经网络的烟雾检测方法，其特征是：在CNN模型中向CONV层引入了一个超参数；
用于在更少的图层中合并输入更多的空间信息，提高Faster R-CNN对于小目标的检测准确度。
8.根据权利要求2所述的一种集成卷积神经网络的烟雾检测方法，其特征是：在原有的神经网络激活函数的基础上加入Leaky ReLU函数，
用于解决ReLU函数进入负区间后，神经元不学习的问题，在网络中向后推进计算相对于权重的误差梯度时执行反向优化，相应地使用梯度下降来优化权重以减少误差。
9.根据权利要求1所述的一种集成卷积神经网络的烟雾检测方法，其特征是：FasterR-CNN引入局部标注和时空上下文策略；
用于降低遮挡物对烟雾检测的影响。
10.根据权利要求1所述的一种集成卷积神经网络的烟雾检测方法，其特征是：FasterR-CNN设定自适应阈值，用于通过压缩Faster R-CNN候选区域的数量， 在确保检测准确度的同时提高了速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911057914.0A CN110956611A (zh) | 2019-11-01 | 2019-11-01 | 一种集成卷积神经网络的烟雾检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911057914.0A CN110956611A (zh) | 2019-11-01 | 2019-11-01 | 一种集成卷积神经网络的烟雾检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110956611A true CN110956611A (zh) | 2020-04-03 |
Family
ID=69976077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911057914.0A Pending CN110956611A (zh) | 2019-11-01 | 2019-11-01 | 一种集成卷积神经网络的烟雾检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110956611A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112435257A (zh) * | 2020-12-14 | 2021-03-02 | 武汉纺织大学 | 一种多光谱成像的烟雾检测方法及系统 |
| CN114758260A (zh) * | 2022-06-15 | 2022-07-15 | 成都鹏业软件股份有限公司 | 工地安全防护网检测方法及系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330453A (zh) * | 2017-06-19 | 2017-11-07 | 中国传媒大学 | 基于分步识别和融合关键部位检测的色情图像识别方法 |
| CN107749067A (zh) * | 2017-09-13 | 2018-03-02 | 华侨大学 | 基于运动特性和卷积神经网络的火灾烟雾检测方法 |
| CN108447219A (zh) * | 2018-05-21 | 2018-08-24 | 中国计量大学 | 基于视频图像的火灾检测系统及方法 |
| US20180268292A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Learning efficient object detection models with knowledge distillation |
| CN108764264A (zh) * | 2018-03-16 | 2018-11-06 | 深圳中兴网信科技有限公司 | 烟雾检测方法、烟雾检测系统及计算机装置 |
| CN109271906A (zh) * | 2018-09-03 | 2019-01-25 | 五邑大学 | 一种基于深度卷积神经网络的烟雾检测方法及其装置 |
| CN109389185A (zh) * | 2018-11-15 | 2019-02-26 | 中国科学技术大学 | 使用三维卷积神经网络的视频烟雾识别方法 |
| CN109448307A (zh) * | 2018-11-12 | 2019-03-08 | 哈工大机器人（岳阳）军民融合研究院 | 一种火源目标的识别方法和装置 |
| CN109598891A (zh) * | 2018-12-24 | 2019-04-09 | 中南民族大学 | 一种利用深度学习分类模型实现烟雾检测的方法和系统 |
| CN109977790A (zh) * | 2019-03-04 | 2019-07-05 | 浙江工业大学 | 一种基于迁移学习的视频烟雾检测与识别方法 |
| CN110008877A (zh) * | 2019-03-27 | 2019-07-12 | 国网内蒙古东部电力有限公司 | 一种基于Faster RCNN的变电站隔离开关检测识别方法 |
| CN110032977A (zh) * | 2019-04-18 | 2019-07-19 | 北京华正明天信息技术股份有限公司 | 一种基于深度学习图像火灾识别的安全预警管理系统 |
| CN110059723A (zh) * | 2019-03-19 | 2019-07-26 | 北京工业大学 | 一种基于集成深度卷积神经网络的鲁棒烟雾检测方法 |
| CN110263654A (zh) * | 2019-05-23 | 2019-09-20 | 深圳市中电数通智慧安全科技股份有限公司 | 一种火焰检测方法、装置及嵌入式设备 |
| CN110321967A (zh) * | 2019-07-11 | 2019-10-11 | 南京邮电大学 | 基于卷积神经网络的图像分类改进算法 |
-
2019
- 2019-11-01 CN CN201911057914.0A patent/CN110956611A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180268292A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Learning efficient object detection models with knowledge distillation |
| CN107330453A (zh) * | 2017-06-19 | 2017-11-07 | 中国传媒大学 | 基于分步识别和融合关键部位检测的色情图像识别方法 |
| CN107749067A (zh) * | 2017-09-13 | 2018-03-02 | 华侨大学 | 基于运动特性和卷积神经网络的火灾烟雾检测方法 |
| CN108764264A (zh) * | 2018-03-16 | 2018-11-06 | 深圳中兴网信科技有限公司 | 烟雾检测方法、烟雾检测系统及计算机装置 |
| CN108447219A (zh) * | 2018-05-21 | 2018-08-24 | 中国计量大学 | 基于视频图像的火灾检测系统及方法 |
| CN109271906A (zh) * | 2018-09-03 | 2019-01-25 | 五邑大学 | 一种基于深度卷积神经网络的烟雾检测方法及其装置 |
| CN109448307A (zh) * | 2018-11-12 | 2019-03-08 | 哈工大机器人（岳阳）军民融合研究院 | 一种火源目标的识别方法和装置 |
| CN109389185A (zh) * | 2018-11-15 | 2019-02-26 | 中国科学技术大学 | 使用三维卷积神经网络的视频烟雾识别方法 |
| CN109598891A (zh) * | 2018-12-24 | 2019-04-09 | 中南民族大学 | 一种利用深度学习分类模型实现烟雾检测的方法和系统 |
| CN109977790A (zh) * | 2019-03-04 | 2019-07-05 | 浙江工业大学 | 一种基于迁移学习的视频烟雾检测与识别方法 |
| CN110059723A (zh) * | 2019-03-19 | 2019-07-26 | 北京工业大学 | 一种基于集成深度卷积神经网络的鲁棒烟雾检测方法 |
| CN110008877A (zh) * | 2019-03-27 | 2019-07-12 | 国网内蒙古东部电力有限公司 | 一种基于Faster RCNN的变电站隔离开关检测识别方法 |
| CN110032977A (zh) * | 2019-04-18 | 2019-07-19 | 北京华正明天信息技术股份有限公司 | 一种基于深度学习图像火灾识别的安全预警管理系统 |
| CN110263654A (zh) * | 2019-05-23 | 2019-09-20 | 深圳市中电数通智慧安全科技股份有限公司 | 一种火焰检测方法、装置及嵌入式设备 |
| CN110321967A (zh) * | 2019-07-11 | 2019-10-11 | 南京邮电大学 | 基于卷积神经网络的图像分类改进算法 |
Non-Patent Citations (4)
| Title |
|---|
| PANAGIOTIS BARMPOUTIS 等: "FIRE DETECTION FROM IMAGES USING FASTER R-CNN AND MULTIDIMENSIONAL TEXTURE ANALYSIS", 《ICASSP 2019》 * |
| QI-XING ZHANG 等: "Wildland Forest Fire Smoke Detection Based on Faster R-CNN using Synthetic Smoke Images", 《PROCEDIA ENGINEERING》 * |
| 冯小雨 等: "基于改进Faster R-CNN的空中目标检测", 《光学学报》 * |
| 卫鑫 等: "基于深度卷积长短期记忆网络的森林火灾烟雾检测模型", 《计算机应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112435257A (zh) * | 2020-12-14 | 2021-03-02 | 武汉纺织大学 | 一种多光谱成像的烟雾检测方法及系统 |
| CN114758260A (zh) * | 2022-06-15 | 2022-07-15 | 成都鹏业软件股份有限公司 | 工地安全防护网检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11120270B2 (en) | Spatiotemporal action detection method | |
| CN108053427B (zh) | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 | |
| CN110688925B (zh) | 基于深度学习的级联目标识别方法及系统 | |
| CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| CN108052859B (zh) | 一种基于聚类光流特征的异常行为检测方法、系统及装置 | |
| CN109389185B (zh) | 使用三维卷积神经网络的视频烟雾识别方法 | |
| CN110334660A (zh) | 一种雾天条件下基于机器视觉的森林火灾监测方法 | |
| CN108197566B (zh) | 一种基于多路神经网络的监控视频行为检测方法 | |
| CN110490043A (zh) | 一种基于区域划分和特征提取的森林烟火检测方法 | |
| CN103246896A (zh) | 一种鲁棒性车辆实时检测与跟踪方法 | |
| CN111222478A (zh) | 一种工地安全防护检测方法和系统 | |
| CN110956611A (zh) | 一种集成卷积神经网络的烟雾检测方法 | |
| CN111899452A (zh) | 基于边缘计算的森林防火预警系统 | |
| CN111046728A (zh) | 一种基于特征金字塔网络的秸秆燃烧检测方法 | |
| CN111223129A (zh) | 检测方法、检测装置、监控设备和计算机可读存储介质 | |
| CN111223263A (zh) | 一种全自动综合型火灾预警响应系统 | |
| CN111027370A (zh) | 一种多目标跟踪及行为分析检测方法 | |
| CN112699801A (zh) | 基于视频图像的火灾识别方法及系统 | |
| Jaradat et al. | A victims detection approach for burning building sites using convolutional neural networks | |
| CN111461076A (zh) | 帧差法与神经网络结合的烟雾检测方法和检测系统 | |
| CN111767881A (zh) | 一种基于ai技术的自适应人群密度估计装置 | |
| CN109446938B (zh) | 一种基于多序列双投影的黑烟车检测方法 | |
| CN113657250A (zh) | 一种基于监控视频的火焰检测方法及系统 | |
| CN112488213A (zh) | 一种基于多尺度特征学习网络的火灾图片分类方法 | |
| Maruf | Hazard recognition system based on violation of the integrity of the field and changes in the intensity of illumination on the video image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200403 |