CN110728186B - 一种基于多网融合的火灾检测方法 - Google Patents

Abstract

本发明公开了一种基于多网融合的火灾检测方法，所述方法包括：将待检测的图片输入预先建立和训练好的火灾检测模型，输出是否发生火灾的检测结果；所述火灾检测模型包括：特征降维模块、多尺度低层特征扩展模块、高层特征抽象及重标定模块和特征映射模块；所述特征降维模块，用于对输入的图片进行降维并提取低层特征；所述多尺度低层特征扩展模块，用于对低层特征进行扩展，输出多尺度低层特征；所述高层特征抽象及重标定模块，用于对多尺度低层特征进行高层的抽象，实现低层特征向高层特征的映射得到高层特征；然后对高层特征进行重标定，输出重标定后的高层特征；所述特征映射模块，用于将重标定后的高层特征映射至目标输出。

Description

一种基于多网融合的火灾检测方法

技术领域

本发明涉及机器视觉及深度学习技术领域，特别涉及一种基于多网融合的火灾检测方法。

背景技术

火灾作为一个高度频发、破环性极大的自然灾害，不仅严重威胁着人们的生命财产安全，而且大规模的火灾会给生态平衡造成难以修复的创伤。因此，为了避免因火灾引起的大规模灾害，及早而准确地发现火灾将为救援人员提供宝贵的施援时间。

多年来，人们致力于将接触式传感器应用于火灾检测，如烟雾传感器、温度传感器和颗粒传感器等。但这类系统往往只适用于狭小的室内环境，对于室外开放的大型空间而言，这类系统则显得无用于之地。基于计算机视觉的火灾检测方法因其信息获取速度快、利用现有监控系统，可大量节约资源以及同时兼顾室内外环境的优势，引起了研究者们的广泛关注。

目前存在基于视觉的火灾检测方法均采用同一框架：图像获取与预处理、区域分割、特征提取和分类判别。这类方法往往需要人为“手工”设计特征，特征设计的好坏绝大程度上决定了系统的性能。人工设计特征的过程不仅繁琐，且选取的特征具有主观性，扩展到其它场景下的火灾检测时性能会大幅度下降，泛化能力不强。这类系统往往不能满足实际应用的需求。近年来，计算机技术的快速发展，尤其是图形处理器(Graphics ProcessingUnit，GPU)计算能力的大幅度提升促进了卷积神经模型在计算机视觉任务中的应用，如图像分类、目标检测和语义分割等。卷积神经模型的核心思想便是构造深层神经模型，模拟人类大脑处理视觉信息的学习机制。通过依次堆叠的层级结构，卷积神经模型能够自动地提取图片中更本质的特征，这种特征相较于人工设计的特征而言，能从更加抽象的层次去描述目标本身。

然而，现有基于相关卷积神经模型的火灾检测方法大多直接采用现有卷积神经模型；这种方法检测性能较传统方法虽然有了极大的提升，不过仍然无法达到实际应用的需求，尤其是对于复杂情况下的火灾检测。

发明内容

本发明的目的在于克服现有火灾检测方法存在的技术缺陷，提出了基于多网融合的火灾检测方法，该方法不仅提升了火灾检测系统的性能，并且对于复杂情况下的火灾检测也取得了很好的检测效果。

为了实现上述目的，本发明提出了一种基于多网融合的火灾检测方法；所述方法包括：

将待检测的图片输入预先建立和训练好的火灾检测模型，输出是否发生火灾的检测结果；

所述火灾检测模型包括：特征降维模块、多尺度低层特征扩展模块、高层特征抽象及重标定模块和特征映射模块；

所述特征降维模块，用于对输入的图片进行降维并提取低层特征；

所述多尺度低层特征扩展模块，用于对低层特征进行扩展，输出多尺度低层特征；

所述高层特征抽象及重标定模块，用于对多尺度低层特征进行高层的抽象，实现低层特征向高层特征的映射；然后对高层特征进行重标定，输出重标定后的高层特征；

所述特征映射模块，用于将重标定后的高层特征映射至目标输出。

作为上述方法的一种改进，所述方法还包括：采用双线性插值的方法对待检测的图片进行裁剪，使其满足火灾检测模型输入所需大小：224×224×3。

作为上述方法的一种改进，所述特征降维模块由两层卷积层组成：第一卷积层和第二卷积层；所述第一卷积层和第二卷积层均由大小为3×3，步长为2的卷积、批量归一化操作和ReLU函数组成。

作为上述方法的一种改进，所述多尺度低层特征扩展模块采用3个级联的Inception结构；所述Inception结构包括4个并行的分支：第一分支、第二分支、第三分支和第四分支；所述第一分支包含大小为1×1，步长为1的卷积层；所述第二分支由大小为1×1，步长为1的卷积层和大小为3×3，步长为1的两个卷积层堆叠而成；所述第三分支由大小为1×1，步长为1的卷积层和大小为5×5，步长为1的两个卷积层堆叠而成；所述第四分支由一个大小为3×3，步长为1的最大池化层和大小为1×1，步长为1的卷积层堆叠而成；所述卷积层均采用ReLU作为激活函数；

将4个并行的分支输出的特征图进行拼接；所述拼接方式表示如下：

X＝concat(x₁,x₂,x₃,x₄)   (1)

其中，X表示经扩展后的特征图，concat(·)表示拼接操作，x₁,x₂,x₃,x₄分别对应第一个分支，第二个分支，第三个分支，第四个分支的输出；

3个Inception结构输出的特征图个数分别为96、128和256。

作为上述方法的一种改进，所述高层特征抽象及重标定模块包含4个级联的Denseblock结构：第一Denseblock层、第二Denseblock层、第三Denseblock层和第四Denseblock层；如图3所示，所述Denseblock结构由4个级联的basic_layer组成，每一个basic_layer的输入是前面层的所有特征和，第L个basic_layer的输入表示为：

x_l＝H_l([x_l-1,x_l-2,…,x₀])

其中，x_l表示第L层的输出，x_l-1,x_l-2,…,x₀分别表示前L-1层的特征，H_l(·)表示批量归一化、ReLU激活函数和3×3卷积操作；

所述第一Denseblock层、第二Denseblock层、第三Denseblock层和第四Denseblock层输出特征图数量不同；

特征重标定由内嵌在每个Denseblock结构内部的SE组成；所述内嵌SE的两个核心操作分别是Squeeze操作和Excitation操作；Squeeze操作将C×H×W的特征图顺着空间维度压缩成1×1×C个实数，这C个实数表征着特征通道的重要程度；其具体操作表示如下：

其中，Z_c表示C个经压缩过后的特征向量，H×W表示特征图的大小，u_c(i,j)表示(i,j)位置处的特征；

所述Excitation操作表示如下：

s＝σ(W₂δ(W₁z))

其中，δ表示ReLU激活函数，σ表示sigmoid激活函数；W₁和W₂分别是对特征图z进行特征映射的权值矩阵。

作为上述方法的一种改进，所述特征映射模块包含级联的1个批量归一化操作、1个7×7大小的均值池化、1个全连接层和1个Softmax函数；全连接层包含两个神经元，实现高层抽象特征向输出层输出结果的特征映射；Softmax函数用于将特征值转化为输出概率，输出概率p_i为：

其中i表示第i个得分值，∑_je^j表示所有特征值的总和；选取概率最大值对应的类别作为火灾检测的判别结果。

作为上述方法的一种改进，所述方法还包括：训练火灾检测模型的步骤，具体包括：

步骤1)采用双线性插值的方法对训练集的所有图片进行裁剪，裁剪后的图片大小为：224×224×3；

步骤2)将训练集的图片按每组n张随机分成N组；

步骤3)随机读取一组图片输入火灾检测模型，输出一组检测结果；

步骤4)采用交叉熵计算检测结果与真实标签的误差：

其中，

表示一组真实标签

与一组检测结果y之间的平均误差，p(x_i)表示模型的前向输出结果，q(x_i)表示真实标签，Σ表示求和；

步骤5)基于梯度下降法对模型的所有参数进行调整，得到新的模型参数组合，转入步骤3)；不断反复，直至N组图片全部输入模型，进入步骤6)；

步骤6)对训练集的图片进行重新洗牌，转至步骤1)；反复执行，直至训练出模型的最优参数组合。

与现有方法相比，本发明的技术优势在于：

1、本发明的方法融合了3种卷积神经模型的核心思想，针对复杂环境下的火灾特征对模型进行了合理的设计；以数据驱动的方式让模型挖掘并学习火灾更本质的特征，从而有效提升了火灾检测方法的性能；

2、本发明的构建的火灾检测模型能够自动提取并学习火灾更本质的特征，这样的特征对火灾具有更好的刻画能力；

3、本发明构建的火灾检测模型通过对低层特征进行多尺度的扩展以及高层特征的重标定，使得深度学习模型对火灾具有更强的学习能力，同时对复杂情况下的火灾检测具有极好的泛化能力；在测试基准数据集时，本发明的方法取得了超过现有方法的性能；因此本发明能够满足实际火灾检测应用的需求。

附图说明

图1为本发明的火灾检测模型示意图；

图2为本发明的Inception结构的示意图；

图3为本发明的Denseblock加内嵌SE结构的示意图；

图4为本发明的的火灾检测模型的训练步骤的流程图

具体实施方式

下面结合附图对本发明的技术方案作进一步描述。

本发明提出了一种基于多网融合的火灾检测方法，该方法包括：

步骤1)建立的火灾检测模型；

如图1所示，所述火灾检测模型包括：特征降维模块、多尺度低层特征扩展模块、高层特征抽象及重标定模块和特征映射模块；

所述特征降维模块，用于对输入的图片特征进行降维并提取低层特征；所述特征降维模块由两层卷积层组成，第一卷积层和第二卷积层；所述第一、第二卷积层均由大小为3×3，步长为2的卷积、BN(Batch Normalization批量归一化操作)和ReLU函数组成。构建的特征降维为2个级联的卷积层，分别为“Conv1”和“Conv2”。采用卷积的方式进行降维有助于保留更多的显著特征。

所述多尺度低层特征扩展模块采用3个级联的Inception结构；所述Inception结构包括4个并行的分支：第一分支、第二分支、第三分支和第四分支；所述第一分支包含大小为1×1，步长为1的卷积层；所述第二分支由大小为1×1，步长为1的卷积层和大小为3×3，步长为1的两个卷积层堆叠而成；所述第三分支由大小为1×1，步长为1的卷积层和大小为5×5，步长为1的两个卷积层堆叠而成；所述第四分支由一个大小为3×3，步长为1的最大池化层和大小为1×1，步长为1的卷积层堆叠而成；所述卷积层均采用ReLU作为激活函数；

将4个并行的分支输出的特征图进行拼接；所述拼接方式表示如下：

X＝concat(x₁,x₂,x₃,x₄)   (1)

其中，X表示经扩展后的特征图，concat(·)表示拼接操作，x₁,x₂,x₃,x₄分别对应第一个分支，第二个分支，第三个分支，第四个分支的输出；

3个Inception结构输出的特征图个数分别为96、128和256。

所述高层特征抽象及重标定模块，用于对多尺度低层特征进行高层的抽象，实现低层特征向高层特征的映射得到高层特征；然后对高层特征进行重标定；

该模块包含4个依次堆叠的Denseblock结构，第一Denseblock层、第二Denseblock层、第三Denseblock层和第四Denseblock层；所述Denseblock结构由4个级联的basic_layer组成，每一个basic_layer的输入是前面层的所有特征和，第L个basic_layer的输入可以表示为：

x_l＝H_l([x_l-1,x_l-2,…,x₀])   (2)

其中，x_l表示第L层的输出，x_l-1,x_l-2,…,x₀分别表示前几层的特征，H_l(·)表示BN、ReLU激活函数和3×3卷积等一系列操作；

所述第一Denseblock层、第二Denseblock层、第三Denseblock层和第四Denseblock层均保持相同结构，不同点在于各层的输出特征图数量不同。

如图3所示，特征重标定由内嵌在Denseblock内部的SE组成；本实施例中的SE操作主要流程如下：

1、Squeeze操作将C×H×W的特征图顺着空间维度压缩成1×1×C个实数，这C个实数理论上具备输入特征图的全局感受野：

其中，Z_c表示C个经压缩过后的特征向量，H×W表示特征图的大小，u_c(i,j)表示(i,j)位置处的特征；

2、Excitation操作通过参数W为每个特征通道生成权重，来显式地建模通道间的重要性：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))   (4)

其中，δ表示ReLU激活函数，σ表示sigmoid激活函数。W₁和W₂分别是对特征图z进行特征映射的权值矩阵；SE通过将特征通道转化为可学习的对象，实现原始特征的重标定；

3、Scale操作将Excitation输出的权重通过乘法逐通道加权到先前的特征上，完成高层抽象特征的重标定。

所述特征映射模块包含1个批量归一化操作、1个7×7大小的均值池化、1个全连接层和1个Softmax函数；所述全连接层包含两个神经元，实现高层抽象特征向输出层输出结果的特征映射；所述Softmax函数用于将特征值转化为输出概率，表示为：

其中i表示第i个得分值，Σ_je^j表示所有特征值的总和；选取概率最大值对应的类别作为火灾检测的判别结果；所述分类判别的输入为139个1×1大小的特征向量；所述分类判别的输出为2个1×1大小的特征向量。

步骤2)利用训练集的图片对建立的火灾检测模型进行训练，如图4所示，包括：

步骤2-1)采用双线性插值的方法对训练集的所有图片进行裁剪，大小为：224×224×3；

步骤2-2)将训练集的图片按每组n张随机分成N组；

步骤2-3)随机读取一组图片，将一组图片输入特征降维模块进行降维并提取低层特征；

步骤2-4)将低层特征输入低层特征多尺度扩展模块，输出扩展后的多尺度低层特征；

步骤2-5)将多尺度低层特征输入所述高层特征抽象及重标定模块，对多尺度低层特征进行高层的抽象，实现低层特征向高层特征的映射得到高层特征；然后对高层特征进行重标定；

步骤2-6)对重标定的高层抽象特征进行输出结果的特征映射，输出一组检测结果；

步骤2-7)采用梯度下降法对模型中的参数进行更新；反复迭代，直至训练出模型的最优参数组合；包括：

步骤2-7-1)将模型输出的结果与真实标签进行误差求取；所述误差求取采用交叉熵，表示为：

其中，

表示一组真实标签

与一组检测结果y之间的平均误差，p(x_i)表示模型的前向输出结果，q(x_i)表示真实标签，Σ表示求和；采用梯度下降法对网络的参数进行更新；

步骤2-7-2)采用步骤2-7-1)得到的参数作为本次迭代的权重值；从剩余的图片中随机选取一组图片，经步骤2-1)、步骤2-2)、步骤2-3)、步骤2-4)、步骤2-5)、步骤2-6)和步骤2-7-1)，得到新的参数组合；反复迭代，直至完成一次迭代；

步骤2-7-3)对训练图片进行重新洗牌，转至步骤2-2)；反复执行，直至训练出模型的最优参数组合。

步骤3)将待检测的图片采用双线性插值的方法对待检测的图片进行裁剪，使其满足火灾检测模型输入所需大小：224×224×3，然后输入具有最优参数组合的火灾检测模型，输出是否发生火灾的检测结果。

利用一组图片对训练好的火灾检测模型进行验证：

对于待检测的图片，利用双线性插值将待测图片的尺寸调整至模型输入所需大小223×223×3；

将调整后的图片输入至具有最优参数的火灾检测模型，经模型前向传输得到预测结果；

将输出结果最大概率值所对应的类别是与真实标签进行比较，若一致，则预测正确，反之，则预测错误；

执行上述步骤，检测全部待测图片，根据比较结果可以发现本发明的方法预测准确度很高。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于多网融合的火灾检测方法，所述方法包括：

将待检测的图片输入预先建立和训练好的火灾检测模型，输出是否发生火灾的检测结果；

所述火灾检测模型包括：特征降维模块、多尺度低层特征扩展模块、高层特征抽象及重标定模块和特征映射模块；

所述特征降维模块，用于对输入的图片进行降维并提取低层特征；

所述多尺度低层特征扩展模块，用于对低层特征进行扩展，输出多尺度低层特征；

所述高层特征抽象及重标定模块，用于对多尺度低层特征进行高层的抽象，实现低层特征向高层特征的映射；然后对高层特征进行重标定，输出重标定后的高层特征；

所述特征映射模块，用于将重标定后的高层特征映射至目标输出；

所述高层特征抽象及重标定模块包含4个级联的Denseblock结构：第一Denseblock层、第二Denseblock层、第三Denseblock层和第四Denseblock层；所述Denseblock结构由4个级联的basic_layer组成，每一个basic_layer的输入是前面层的所有特征和，第L个basic_layer的输入表示为：

x_l＝H_l([x_l-1,x_l-2,…,x₀])

其中，x_l表示第L层的输出，x_l-1,x_l-2,…,x₀分别表示前L-1层的特征，H_l(·)表示批量归一化、ReLU激活函数和3×3卷积操作；

所述第一Denseblock层、第二Denseblock层、第三Denseblock层和第四Denseblock层输出特征图数量不同；

特征重标定由内嵌在每个Denseblock结构内部的SE组成；所述内嵌SE的两个核心操作分别是Squeeze操作和Excitation操作；Squeeze操作将C×H×W的特征图顺着空间维度压缩成1×1×C个实数，这C个实数表征着特征通道的重要程度；其具体操作表示如下：

其中，Z_c表示C个经压缩过后的特征向量，H×W表示特征图的大小，u_c(i,j)表示(i,j)位置处的特征；

所述Excitation操作表示如下：

s＝σ(W₂δ(W₁z))

其中，δ表示ReLU激活函数，σ表示sigmoid激活函数；W₁和W₂分别是对特征图z进行特征映射的权值矩阵。

2.根据权利要求1所述的基于多网融合的火灾检测方法，其特征在于，所述方法还包括：采用双线性插值的方法对待检测的图片进行裁剪，使其满足火灾检测模型输入所需大小：224×224×3。

3.根据权利要求1或2所述的基于多网融合的火灾检测方法，其特征在于，所述特征降维模块由两层卷积层组成：第一卷积层和第二卷积层；所述第一卷积层和第二卷积层均由大小为3×3，步长为2的卷积、批量归一化操作和ReLU函数组成。

4.根据权利要求3所述的基于多网融合的火灾检测方法，其特征在于，所述多尺度低层特征扩展模块采用3个级联的Inception结构；所述Inception结构包括4个并行的分支：第一分支、第二分支、第三分支和第四分支；所述第一分支包含大小为1×1，步长为1的卷积层；所述第二分支由大小为1×1，步长为1的卷积层和大小为3×3，步长为1的两个卷积层堆叠而成；所述第三分支由大小为1×1，步长为1的卷积层和大小为5×5，步长为1的两个卷积层堆叠而成；所述第四分支由一个大小为3×3，步长为1的最大池化层和大小为1×1，步长为1的卷积层堆叠而成；所述卷积层均采用ReLU作为激活函数；

将4个并行的分支输出的特征图进行拼接；所述拼接方式表示如下：

X＝concat(x₁,x₂,x₃,x₄)                  (1)

其中，X表示经扩展后的特征图，concat(·)表示拼接操作，x₁,x₂,x₃,x₄分别对应第一个分支，第二个分支，第三个分支，第四个分支的输出；

3个Inception结构输出的特征图个数分别为96、128和256。

5.根据权利要求4所述的基于多网融合的火灾检测方法，其特征在于，所述特征映射模块包含级联的1个批量归一化操作、1个7×7大小的均值池化、1个全连接层和1个Softmax函数；全连接层包含两个神经元，实现高层抽象特征向输出层输出结果的特征映射；Softmax函数用于将特征值转化为输出概率，输出概率p_i为：

其中i表示第i个得分值，∑_je^j表示所有特征值的总和；选取概率最大值对应的类别作为火灾检测的判别结果。

6.根据权利要求5所述的基于多网融合的火灾检测方法，其特征在于，所述方法还包括：训练火灾检测模型的步骤，具体包括：

步骤1)采用双线性插值的方法对训练集的所有图片进行裁剪，裁剪后的图片大小为：224×224×3；

步骤2)将训练集的图片按每组n张随机分成N组；

步骤3)随机读取一组图片输入火灾检测模型，输出一组检测结果；

步骤4)采用交叉熵计算检测结果与真实标签的误差：

其中，

表示一组真实标签

与一组检测结果y之间的平均误差，p(x_i)表示模型的前向输出结果，q(x_i)表示真实标签，Σ表示求和；

步骤5)基于梯度下降法对模型的所有参数进行调整，得到新的模型参数组合，转入步骤3)；不断反复，直至N组图片全部输入模型，进入步骤6)；

步骤6)对训练集的图片进行重新洗牌，转至步骤1)；反复执行，直至训练出模型的最优参数组合。

Images