CN111414969B - 一种雾天环境下的烟检测方法 - Google Patents

Abstract

本发明公开了一种雾天环境下的烟检测方法，该方法基于雾天烟的特点，针对视频图像中雾对烟的模糊遮挡引起的小目标检测问题，在VGG16_BN网络的第二层卷积层后加入基于空间注意力和通道注意力结合的注意力机制，对目标烟区域赋予更高的权值，从而对烟给予更多关注，减少背景干扰，提升了烟检测的准确率；针对雾与烟之间的相似干扰问题，在注意力机制模块后采用特征融合的方式，获得同时具有烟细节信息和语义信息的特征输出，提高目标烟特征的判别力；而决策层融合模块，不仅对输出特征进行有效分类，还通过改变分类层结构，减少网络参数，提高检测效率。在雾天烟数据集上的测试结果验证了本发明对于雾天烟检测性能提升的有效性。

Description

一种雾天环境下的烟检测方法

技术领域

本发明属于图像识别技术领域，具体涉及一种雾天环境下的烟检测方法。

背景技术

火灾作为一种发生频率较高的突发性事件，蔓延速度快，破坏性强，严重威胁着公共安全，而烟是火灾的前兆和伴随产物，在多数场合，烟的产生早于明火的出现，因此进行烟检测对于火灾早期预报和控制具有重要意义。不同于目前室内烟报警器等监控技术的成熟，室外烟由于各种因素的影响检测较为困难。随着计算机视觉技术和室外监控视频的广泛普及，通过视频监控智能的进行烟检测成为火灾预警的重要方式。近年来，深度学习领域发展迅速，基于深度学习的烟检测方法比传统图像识别方法也获得了更好的检测效果。

基于深度学习的烟检测方法虽然可以获得更高的检测精确率和召回率，但是仍存在一些问题。在数据层面，基于深度学习的方法需要大量烟的视频和图像数据用来模型的训练，而目前的烟检测领域缺乏标准的数据库。在效果层面，基于视觉视频图像的烟检测任务中，检测效果受数据内容及质量的影响，而监控视频得到的数据也受外界天气环境的影响，当天气正常，视频数据质量高，烟明显，检测较为容易；但当处于雾天这样的恶劣天气时，一方面视频数据内容质量下降，目标烟区域的模糊遮挡问题，导致实际可提取的烟特征范围减小，造成小目标检测的问题；另一方面，雾与烟较为相似，对烟检测的相似物体干扰问题随之而来，使得烟检测任务难度加大。

发明内容

针对目前基于深度学习的烟检测方法存在的问题，本发明提供了一种雾天环境下的烟检测方法。

本发明采用如下技术方案来实现：

一种雾天环境下的烟检测方法，包括以下步骤：

1)注意力机制模块使用空间注意力机制和通道注意力机制，对目标区域和与目标分类有关的特征通道赋予更高的权重，引导网络关注目标区域，而抑制背景区域，该模块输出的特征用于特征层融合模块；

2)特征层融合模块使用VGG16_BN网络提取浅中深三层特征，并对三层特征进行融合，得到包含目标细节信息和语义信息的更具判别力的三组特征，用于决策层融合模块；

3)决策层融合模块使用卷积层，Droupout层，全局池化层构成的三组分类层，分别对特征层融合模块输出的三组特征进行分类，最后将三组分类结果进行加权融合输出烟检测的结果。

本发明进一步的改进在于，步骤1)中，经过VGG16_BN网络提取的第二层卷积层特征作为输入特征X_i；由一层卷积层构成的空间注意力层，空间注意力层的参数包括W_sp，b_sp，分别代表卷积层的权值和偏移量；由一层卷积层构成的通道注意力层，通道注意力层的参数包括W_ch，b_ch；以及输出特征X_o；输入特征X_i经过空间注意力后得到的输出特征X_sp形式如下：

X_sp＝X_i+(X_i*W_sp+b_sp)

特征X_sp经过通道注意力后得到的输出特征X_o形式如下：

X_o＝X_sp+(X_sp*W_ch+b_ch)

其中*表示矩阵元素点乘，最终输出特征X_o作为VGG16_BN的第三层卷积层输入，并用于后续特征层融合模块。

本发明进一步的改进在于，步骤2)中，首先提取VGG16_BN网络的第三层、第四层、第五层卷积特征X₃，X₄，X₅作为输入浅层特征，中层特征，深层特征，然后将深层特征X₅和中层特征X₄进行相加融合，得到输出特征2，用X_o2表示，再将输出特征X_o2和浅层特征X₃进行相加融合，得到输出特征1，用X_o1表示，最后深层特征X₅直接作为输出特征3，三组输出特征用于后续决策层融合模块。

本发明进一步的改进在于，步骤3)中，将输入特征1、输出特征2和输出特征3分别输入到分类器1、分类器2和分类器3中，分类器的结构均由一个卷积层，Droupout层，全局池化层连接而成，经由三个分类器的输出分数由Score1，Score2，Score3表示，最后对三个分类器输出结果进行加权融合，得到最终输出结果Score；三个分类器的权重由W₁，W₂，W₃表示，加权融合结果形式如下：

Score＝Score₁*W₁+Score₂*W₂+Score₃*W₃

每个分类器的损失函数均为交叉熵损失函数，分别表示为Loss1，Loss2，Loss3，经融合后的总损失函数Loss形式如下：

Loss＝Loss₁*W₁+Loss₂*W₂+Loss₃*W₃。

本发明至少具有以下的有益效果：

本发明设计了一种雾天环境下的烟检测方法。该方法通过对深度卷积神经网络VGG16_BN的浅卷积层后加入由空间注意力和通道注意力连接而成的注意力机制模块，提高当烟目标范围小时的检测准确率。同时提出特征层融合模块，提高特征描述力，降低雾对烟检测相似干扰问题的影响。还提出决策层融合模块，改变决策层分类器的网络结构，降低模型参数量，提高检测速率。

进一步，本发明中的注意力机制模块，包括空间注意力和通道注意力。空间注意力是针对目标烟位置的一种强调，对图像中的目标区域赋予更高的权值，通道注意力是对烟检测任务更重要的特征通道赋予更高的权值，从而对图像中的烟给予更多的关注，提高当烟较小时的检测准确率。

进一步，本发明中的特征层融合模块，通过对VGG16_BN的浅中深三层卷积层单独提取，首先将深层特征与中层特征进行相加融合得到一组特征输出，然后将该组特征输出与浅层特征进行相加融合得到一组特征输出，再将深层特征单独作为一组特征输出，共得到三组不同尺度的特征输出。经过特征融合的三层多尺度特征，既包括烟的细节边缘纹理信息，也包含烟的语义信息，从而提升了烟的特征描述力，使得到的烟的特征更具判别性。

进一步，本发明中的决策层融合模块，通过对特征融合模块中的三组特征输出分别进行分类，鉴于三组特征在分类时的重要性不同，因此对三组分类结果进行不同权重的加权融合，得到最终的输出结果，以保证最终的烟检测效果达到最佳。该模块中的分类结构不同于以往参数量较大的全连接层分类方式，转为采用卷积层，Droupout层，全局池化层构成的分类层，以减少模型参数量，提高检测速率。

进一步，为了验证所述方法在雾天烟检测任务中的有效性，首先通过在互联网搜集和自行拍摄的方式得到560个视频，每个视频60帧，包括雾加烟，仅烟，无烟，雾加无烟四类，然后对本发明与现有的基于VGG16_BN的雾天烟检测方法在本数据集上进行训练测试。通过实验证明，所述方法中的注意力机制模块，特征-决策层融合模块均对雾天烟检测的准确性有提升，总体的提升准确率超过4％。

综上所述，本发明提供了一种雾天环境下的烟检测方法。本方法基于雾天烟的特点，针对视频图像中雾对烟的模糊遮挡造成的小目标检测问题，使用基于空间注意力和通道注意力结合的注意力机制，对目标烟区域赋予更高的权值，从而对烟给予更多关注，减少背景干扰，提升烟检测准确率；同时针对雾与烟之间的相似干扰问题，采用特征融合的方式，获得同时具有烟细节信息和语义信息的特征输出，提高目标烟特征的判别力；而决策层融合模块，不仅对前述的特征输出进行有效分类，还通过改变分类层结构，减少网络参数，提高检测效率，具有良好的应用价值。

附图说明

图1为本发明中一种雾天环境下的烟检测方法的流程图。

图2为本发明中注意力机制模块的流程图。

图3为本发明中特征层融合的流程图。

图4为本发明中决策层融合的流程图。

具体实施方式

下面结合附图对本发明进行详细阐述：

如图1所示，本发明提供一种雾天环境下的烟检测方法，包括以下几个步骤：

1)注意力机制模块使用空间注意力机制和通道注意力机制，对目标区域和与目标分类有关的特征通道赋予更高的权重，引导网络关注目标区域，而抑制背景区域，该模块输出的特征用于特征层融合模块；

2)特征层融合模块使用VGG16_BN网络提取浅中深三层特征，并对三层特征进行融合，得到包含目标细节信息和语义信息的更具判别力的三组特征，用于决策层融合模块；

3)决策层融合模块使用卷积层，Droupout层，全局池化层构成的三组分类层，分别对特征层融合模块输出的三组特征进行分类，最后将三组分类结果进行加权融合输出烟检测的结果。

具体来说，在注意力机制模块中，如图2所示，包括经过VGG16_BN网络提取的第二层卷积层特征作为输入特征X_i；由一层卷积层构成的空间注意力层，空间注意力层的参数包括W_sp，b_sp，分别代表卷积层的权值和偏移量；由一层卷积层构成的通道注意力层，通道注意力层的参数包括W_ch，b_ch；以及输出特征X_o。输入特征X_i经过空间注意力后得到的输出特征X_sp用式1表示为：

X_sp＝X_i+(X_i*W_sp+b_sp) (1)

特征X_sp经过通道注意力后得到的输出特征X_o用式2表示为：

X_o＝X_sp+(X_sp*W_ch+b_ch) (2)

其中*表示矩阵元素点乘。最终输出特征X_o作为VGG16_BN的第三层卷积层输入，并用于后续特征层融合模块。

在特征层融合模块中，如图3所示，提取VGG16_BN网络的第三层、第四层、第五层卷积特征X₃，X₄，X₅作为输入浅层特征，中层特征，深层特征，首先将深层特征X₅和中层特征X₄进行相加融合，得到输出特征2，用X_o2表示，由式3得到：

X_o2＝X₄+X₅ (3)

然后将输出特征X_o2和浅层特征X₃进行相加融合，得到输出特征1，用X_o1表示，由式4得到：

X_o1＝X_o2+X₃ (4)

最后深层特征X₅直接作为输出特征3。三组输出特征用于后续决策层融合模块。

在决策层融合模块中，如图4所示，将输入特征1，输出特征2，输出特征3分别输入到分类器1，分类器2，分类器3中，分类器的结构均由一个卷积层，Droupout层，全局池化层连接而成，经由三个分类器的输出分数由Score1，Score2，Score3表示，最后对三个分类器输出结果进行加权融合，得到最终输出结果Score。三个分类器的权重由W₁，W₂，W₃表示，加权融合结果由式5表示：

Score＝Score₁*W₁+Score₂*W₂+Score₃*W₃ (5)

每个分类器的损失函数均为交叉熵损失函数，分别表示为Loss1，Loss2，Loss3，经融合后的总损失函数Loss由式6表示为：

Loss＝Loss₁*W₁+Loss₂*W₂+Loss₃*W₃ (6)

为了测试本发明对于雾天烟检测的有效性，首先通过在互联网搜集和自行拍摄的方式建立雾天烟数据集，包括雾加烟，仅烟，雾加无烟，无烟四个类别，并且数据库中包括云，白色运动物体等难分负样本，每个类别包括140个视频，每个视频60帧，对数据库按8：2的比例划分训练集和测试集。然后在自己建立的雾天烟数据库上对本发明和现有基于VGG16_BN的雾天烟检测方法分别进行了训练和测试，其中为了验证本发明中的注意力机制模块和特征-决策层模块对雾天烟检测结果的有效性，分别对仅保留注意力机制模块，和仅保留特征-决策层模块的算法进行训练和测试，测试指标包括精确率，召回率，准确率，均在表1中展示。根据测试结果，本发明中提出的雾天环境下的烟检测方法比现有的基于VGG16_BN的雾天烟检测方法有较大提升，超过4％，并且分别验证了注意力机制和特征-决策层模块的有效性。

表1本发明在雾天烟数据集上的评估结果

方法	精确率	召回率	准确率
				Vgg16_bn	88.365	88.128	88.128
Vgg16bn_特征-决策层融合	89.79	89.72	89.72
				Vgg16bn_注意力机制	90.51	90.37	90.375
Vgg16bn_注意力机制_特征-决策层融合	92.46	92.31	92.31

Claims (1)

1.一种雾天环境下的烟检测方法，其特征在于，包括以下步骤：

输入单帧视频图像，依次经过卷积神经网络VGG16_BN、注意力机制模块、特征层融合模块和决策层融合模块输出雾天烟检测结果；

其中，注意力机制模块使用空间注意力机制和通道注意力机制，对目标区域和与目标分类有关的特征通道赋予更高的权重，引导网络关注目标区域，而抑制背景区域，该模块输出的特征用于特征层融合模块；具体的，经过卷积神经网络VGG16_BN提取的第二层卷积层特征作为输入特征X_i；由一层卷积层构成的空间注意力层，空间注意力层的参数包括W_sp，b_sp，分别代表卷积层的权值和偏移量；由一层卷积层构成的通道注意力层，通道注意力层的参数包括W_ch，b_ch；以及输出特征X_o；输入特征X_i经过空间注意力后得到的输出特征X_sp形式如下：

X_sp＝X_i+(X_i*W_sp+b_sp)

特征X_sp经过通道注意力后得到的输出特征X_o形式如下：

X_o＝X_sp+(X_sp*W_ch+b_ch)

其中*表示矩阵元素点乘，最终输出特征X_o作为卷积神经网络VGG16_BN的第三层卷积层输入，并用于后续特征层融合模块；

特征层融合模块使用卷积神经网络VGG16_BN提取浅中深三层特征，并对三层特征进行融合，得到包含目标细节信息和语义信息的更具判别力的三组特征，用于决策层融合模块；首先提取卷积神经网络VGG16_BN的第三层、第四层、第五层卷积特征X₃，X₄，X₅作为输入浅层特征，中层特征，深层特征，然后将深层特征X₅和中层特征X₄进行相加融合，得到输出特征2，用X_o2表示，再将输出特征X_o2和浅层特征X₃进行相加融合，得到输出特征1，用X_o1表示，最后深层特征X₅直接作为输出特征3，三组输出特征用于后续决策层融合模块；

决策层融合模块使用卷积层，Droupout层，全局池化层构成的三组分类层，分别对特征层融合模块输出的三组特征进行分类，最后将三组分类结果进行加权融合输出烟检测的结果；将输入特征1、输出特征2和输出特征3分别输入到分类器1、分类器2和分类器3中，分类器的结构均由一个卷积层，Droupout层，全局池化层连接而成，经由三个分类器的输出分数由Score1，Score2，Score3表示，最后对三个分类器输出结果进行加权融合，得到最终输出结果Score；三个分类器的权重由W₁，W₂，W₃表示，加权融合结果形式如下：

Score＝Score₁*W₁+Score₂*W₂+Score₃*W₃

每个分类器的损失函数均为交叉熵损失函数，分别表示为Loss1，Loss2，Loss3，经融合后的总损失函数Loss形式如下：

Loss＝Loss₁*W₁+Loss₂*W₂+Loss₃*W₃。

Images