CN109948557A

CN109948557A - 多网络模型融合的烟雾检测方法

Info

Publication number: CN109948557A
Application number: CN201910219817.0A
Authority: CN
Inventors: 程江华; 刘通; 王洋; 华宏虎; 熊艳晔; 陈朔; 何佩林
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2019-03-22
Filing date: 2019-03-22
Publication date: 2019-06-28
Anticipated expiration: 2039-03-22
Also published as: CN109948557B

Abstract

本发明涉及多网络模型融合的烟雾检测方法。融合VGG16和ResNet50两个网络模型实现对烟雾的可靠检测。本发明提出的融合网络可以提取更丰富的烟雾图像细节特征，增强特征对烟雾图像和类烟雾图像的区分能力。采用基于同构空间下的特征迁移学习方法，能够很好地将预训练好的VGG16和ResNet50模型的特征提取层迁移到烟雾场景下的目标数据集分类任务中，同时提高模型的泛化能力。通过融合多网络模型，增强了特征的区分能力，降低了云、雾等与烟雾相似的目标引发的虚警现象，进一步提高了烟雾检测的可靠性。

Description

多网络模型融合的烟雾检测方法

技术领域

本发明涉及多网络模型融合的烟雾检测方法。

背景技术

基于计算机视觉的火灾预警技术在火灾的探测、预警领域发挥着越来越重要的作用。其中，烟雾检测对于火灾早期的探测意义重大。目前，烟雾检测方法主要分为两类，一类是根据颜色、形状、纹理、运动等传统特征实现火灾检测，如文献《Smoke detection invideo using wavelets and support vector machines》采用离散小波变换提取烟雾图像特征，并应用支持向量机进行分类。文献《Smoke Detection in Video Sequences:Combined Approach》采用区域匹配的方法提取疑似烟雾区域，利用背景物体颜色改变速度对烟雾进行了识别。这类方法具有实现简单、检测速度快等优点，但受环境干扰较大。另一类是根据深度网络自动提取特征实现烟雾检测，如文献《Convolutional neural networkfor video fire and smoke detection》将卷积神经网络(CNN)应用于火焰和烟雾的识别，相比依靠人工提取特征的传统方法识别率更高。文献《基于深度迁移学习的烟雾识别方法》将VGG16网络用于烟雾识别，能够很好区分烟雾、火焰等5种场景，进一步提升了烟雾检测精度，但VGG16网络块与块之间采用了最大池化，会丢失原始图像一部分特征，仍难以很好地区分烟雾和云雾等类烟雾目标。总的来说，尽管深度学习方法可以大幅提高烟雾检测性能，但现有方法对于云、雾等与烟雾特别相似的目标区分能力仍然不够，虚警率仍偏高。

发明内容

本发明提出一种多网络模型融合的烟雾检测方法，主要创新是融合VGG16和ResNet50两个网络模型实现对烟雾的可靠检测。VGG16网络的卷积层和池化层均采用相同的核函数，以卷积层、池化层堆叠的方式构成卷积块结构，具有结构简单、容易形成较深的网络结构等优点。但是VGG16网络的块与块之间采用了最大池化，对于烟雾等细节非常丰富的图像而言，可能会丢失原始图像的部分重要特征。为了弥补特征丢失的不足，本发明引入ResNet50网络，ResNet50网络采用了跳跃连接，构成残差块，从而将图像信息传递到神经网络的更深层，能够避免烟雾图像重要特征的丢失。同时，可以避免因梯度消失导致的欠拟合问题，从而在加深网络层次的同时有效提高模型的表达能力。此外，相比单一网络，本发明提出的融合网络可以提取更丰富的烟雾图像细节特征，增强特征对烟雾图像和类烟雾图像的区分能力。考虑到两个网络融合造成的训练困难问题，本发明采用基于同构空间下的特征迁移学习方法，能够很好地将预训练好的VGG16和ResNet50模型的特征提取层迁移到烟雾场景下的目标数据集分类任务中，同时提高模型的泛化能力。本发明的有益效果是通过融合多网络模型，增强了特征的区分能力，降低了云、雾等与烟雾相似的目标引发的虚警现象，进一步提高了烟雾检测的可靠性。

本发明的实现流程如图1所示。实施步骤如下：

Step1：采用双线性插值方法，将输入图像尺寸缩放到224×224；

Step2：分别采用VGG16特征提取器和ResNet50特征提取器提取特征。VGG16是由13个卷积层和3个全连接层组成,网络结构如图3所示，其最大的特点是通过3×3滤波器的组合与堆叠来提取特征。对于烟雾检测而言，这种方式提取丰富的烟雾细节特征，增强特征对烟雾图像和类烟雾图像的区分能力。本发明使用的VGG16网络特征提取器为图2中虚线框的卷积块结构部分；

ResNet50中包含了49个卷积层和1个全连接层，网络结构如图3所示。由于该网络加入了恒等映射层，直接连接浅层网络与深层网络，这样可以保障网络随着深度的增加而不退化，并且收敛效果好。利用这一特性，可以解决VGG16网络特征丢失和欠拟合的问题。本发明使用的ResNet50网络特征提取器为图3中虚线框的残差块结构部分；

将ResNet50网络提取的7×7×2048=100352维特征置于VGG16网络提取的7×7×512=25088维特征之后，构建一个100352+25088=125440维的特征；

本发明通过融合VGG16和Resnet50网络模型，与单层网络相比可以提取到烟雾图像更多的细节特征，同时，可以避免经典的VGG16网络因梯度消失而引发的欠拟合问题，从而在加深网络层次的同时有效提高模型的表达能力，便于区分烟雾图像和云、雾等类烟雾图像；

Step3：将每个特征看作神经元的节点，采用全连接（FC）的方式连接提取到的特征，输出1024个神经元节点；

Step4：为了防止卷积神经网络过拟合现象发生，采用Dropout方法，按照一定概率p（其中p=0.3）随机选择神经单元并丢弃；

Step5：Dropout后剩余的神经单元仍采用全连接（FC）方式连接，输出128个神经元节点；

Step6：仍采用Dropout方法，按照一定概率p（其中p=0.3）随机选择神经单元并丢弃；

Step7：将剩余的神经单元通过Sigmoid激活函数输出，输出的值大于等于0.5则判定为烟雾图像，否则判定为非烟雾图像。

在本发明中，多模型网络模型的训练非常重要。本发明采用袁非牛教授公开的烟雾图像数据集进行训练。考虑到公开的烟雾图像据集偏少，本发明采用目标检测领域中含有的大量标注数据进行迁移学习。具体地，本发明采用Keras库已经训练好的VGG16和ResNet50模型（https://github.com/fchollet/deep-learning-models/releases）进行迁移学习，直接使用VGG16网络特征提取器和ResNet50网络特征提取器中的参数作为初始训练参数，其他连接层参数丢弃。之后，在烟雾图像数据集上对本发明提出的多网络融合模型进行训练。本发明通过采用迁移学习方法进行模型训练，可以解决烟雾图像小样本空间下两个网络融合造成的训练困难问题，同时提高模型的泛化能力，适应复杂环境下的烟雾检测。

本发明相对现有技术，具有的优势有：1）通过融合VGG16和Resnet50网络模型，与单层网络相比可以提取到烟雾图像更多的细节特征，同时，可以避免经典的VGG16网络因梯度消失而引发的欠拟合问题，从而在加深网络层次的同时有效提高模型的表达能力，便于区分烟雾图像和云、雾等类烟雾图像。2）通过采用迁移学习方法进行模型训练，可以解决烟雾图像小样本空间下两个网络融合造成的训练困难问题，同时提高模型的泛化能力，适应复杂环境下的烟雾检测。综合上述优势，本发明的有益成果是：可以实现复杂环境下烟雾目标的可靠检测，降低云雾等类烟雾目标引起的虚警现象。

附图说明

图1 本发明实现流程图，

图2 VGG16网络结构图，

图3 ResNet50网络结构图。

具体实施方式

可以将本发明所述方法部署在视频监控系统中，智能检测监控视频中是否有烟雾等火情发生，提醒值班人员注意。

具体实施例如下：

Step1：采用摄像机采集场景监控视频；

Step2：对于视频中的每一帧图像，采用双线性插值方法，将图像尺寸缩放到224×224；

Step3：分别采用VGG16特征提取器和ResNet50特征提取器提取特征，并将ResNet50网络提取的7×7×2048=100352维特征置于VGG16网络提取的7×7×512=25088维特征之后，构建一个100352+25088=125440维的特征；

Step4：将每个特征看作神经元的节点，采用全连接（FC）的方式连接提取到的特征，输出1024个神经元节点；

Step5：采用Dropout方法，按照一定概率p（其中p=0.3）随机选择神经单元并丢弃；

Step5：剩余的神经单元仍采用全连接（FC）方式连接，输出128个神经元节点；

Step7：将剩余的神经单元通过Sigmoid激活函数输出，输出的值大于等于0.5则判定为烟雾图像，否则判定为非烟雾图像；

Step8：检测到烟雾图像之后，启动报警程序，通知值班人员注意核查火情。

Claims

1.多网络模型融合的烟雾检测方法，融合VGG16和ResNet50两个网络模型实现对烟雾的检测，其特征在于，步骤如下：

Step1：采用双线性插值方法，将输入图像尺寸缩放到224×224；

Step2：分别采用VGG16特征提取器和ResNet50特征提取器提取特征，VGG16是由13个卷积层和3个全连接层组成，

ResNet50中包含了49个卷积层和1个全连接层，

Step3：将每个特征看作神经元的节点，采用全连接的方式连接提取到的特征，输出1024个神经元节点；

Step4：为了防止卷积神经网络过拟合现象发生，采用Dropout方法，按照一定概率p随机选择神经单元并丢弃，其中p=0.3；

Step5：Dropout后剩余的神经单元仍采用全连接方式连接，输出128个神经元节点；

Step6：仍采用Dropout方法，按照一定概率p随机选择神经单元并丢弃，其中p=0.3；

2.根据权利要求1所述的多网络模型融合的烟雾检测方法，其特征在于，所述多模型网络模型的训练采用烟雾图像数据集进行训练，采用目标检测领域中含有的大量标注数据进行迁移学习，具体地，本发明采用Keras库已经训练好的VGG16和ResNet50模型进行迁移学习，直接使用VGG16网络特征提取器和ResNet50网络特征提取器中的参数作为初始训练参数，其他连接层参数丢弃，之后，在烟雾图像数据集上对多网络融合模型进行训练。