CN109063728A - 一种火灾图像深度学习模式识别方法 - Google Patents

Abstract

本发明公开了一种火灾图像深度学习模式识别方法，包括以下步骤：对火灾图像的测试样本与训练样本进行预处理；设计基于改进的GoogleNet深度学习网络，主要通过训练让网络自动提取特征以排除人工的痕迹；使用深层特征训练分类器并对火灾测试样本识别。本发明将图像多尺度卷积融合网络应用到火灾图像模式识别技术中，显著提高了网络的训练效率，有效解决了火灾识别方法中遇到的精度和实时性不够理想、网络结构复杂且训练时间长和稳定性和鲁棒性差等问题。训练好的网络在3类火灾图像识别精度达到99.2％。

Description

一种火灾图像深度学习模式识别方法

技术领域

本发明涉及火灾探测领域，尤其是一种火灾图像深度学习模式识别方法。

背景技术

火灾发生时，对人的生命财产造成极大的危害，如果在火灾发生初期就可以发现及时作出报警，对减少人身财产损失、争取救援时间具有重要的现实意义。通过传感器、摄像头等检测设备对火灾现场进行火灾数据采集，对采集到的数据输入火灾识别模型中，判别火灾发生情况，并把识别结果反馈到报警控制系统，对火灾情况进行报警，为了对火灾发生时达到及时精确的识别与报警，需要一种可靠、识别精度高的火灾识别方法。

火灾识别作为整个火灾检测技术的核心，其识别效果的好坏直接影响火灾报警系统能否对火灾发生前期准确的做出预警。火灾检测技术的发展主要有一下两个方向，第一是使用各种传感器探测火灾发生时的温度，烟雾等信号以识别是否发生火灾，该探测系统存在易受到周围环境以及电子噪声的干扰，误报率非常高，而且这种系统不能掌握火灾现场的情况；第二是使用图像检测技术识别火灾，图像探测作为基于计算机信息处理技术的一种新兴火灾探测方法，传统火灾图像识别方法相比传感器火灾信号识别，在识别效果、应用范围、抗干扰方面有了很大的进步，但是也存在需要人工进行特征提取，人工提取特征的图像型火灾检测在多干扰的情况下准确率有限，而且人工特征提取过程复杂，模型泛化能力差等问题，为解决以上问题提出一种利用深度学习方法的火灾图像识别新方法。

而且现有火灾图像缺少各种环境下的各种火灾阶段的完备的数据库，单一数据库建立的火灾识别模型泛化能力差，缺少防止识别过程出现的误报的告饶图像，例如烟花、蜡烛、霓虹灯等。也对识别准确率造成了影响。

随着计算机技术和智能算法的快速发展，智能算法结合计算机技术为火灾图像识别提供了新方法和理论依据，将智能优化算法技术应用到深度学习训练中，提高了网络模型精度和效。

综上所述，针对现有技术火灾图像识别的准确率低、误报、漏报、参数冗余与小样本过拟合的问题，目前尚未有有效的解决方案。

发明内容

本发明目的在于提供一种能够提高火灾图像识别的准确率、精简结构参数、消除过拟合的火灾图像深度学习模式识别方法。

为实现上述目的，采用了以下技术方案：本发明所述方法包括以下步骤：

步骤1，通过python爬虫技术，从百度图片网络中获取复杂背景下火灾各阶段的图像，并同时获取干扰图像，选取两种典型的图像作为干扰源，蜡烛图像和烟花图像；对输入图像进行预处理，预处理之后火灾图像作为训练样本和测试样本；

步骤2，设计一个n层GoogleNet卷积神经网络模型，使用样本训练网络，通过训练让网络自动提取深层颜色特征用以排除人工的痕迹；

步骤3，使用卷积网络提取的高级图像特征训练分类器，进行火灾图像识别。

进一步的，步骤1中，测试样本与训练样本的预处理包括：

对训练、测试样本实施去均值，训练样本图像减去训练样本均值；测试样本图像减去训练样本均值；

随机选择对训练样本增加转动角度，提升图像在角度方面的图像多样性；

随机选择对训练样本在水平方向上进行拉伸或压缩，提升图像在视觉方面的图像多样性；

统一训练样本、测试样本尺寸大小。

进一步的，步骤2中，设计一个n层GoogleNet卷积神经网络；

采用的火灾图像数据库有3种，网络输出为aⁱ,i＝1,2,3...m，其中m为输出个数,m＝3；则网络每一层的计算公式如下：

其中l为网络的第l层；w_lj为第l层网络通道；x_l为第l层输入。K表示每层连接的神经元个数。

进一步的，步骤2中，使用样本训练卷积神经网络，提取深层特征包括：

使用随机和稀疏连接表在特征维度上构建每个卷积层，并根据多个卷积层构建卷积神经网络对火灾图像图像进行卷积与池化操作；

使用Inception-v3网络模块对不同通道的图像特征图进行加权运算，使用模块中全连接层对图像特征进行加强；

将不同尺寸的特征通道模块融合为多尺度特征；

将不同深度上的特征进行归一化并融合为深层特征；

对提取到的特征输入全连接层进行分类输出。

进一步的，所述使用随机和稀疏连接表在特征维度上构建每个卷积层，根据多个卷积层构建卷积网络对火灾图像图像进行卷积与池化操作包括：

卷积层在特征维度上使用随机和稀疏连接表组合密集的网络形成逐层结构，分析最后一层的数据统计并聚集成具有高相关性的神经元组，该神经元形成下一层的神经元并连接上一层的神经元；相关的神经元集中在输入数据图像的局部区域，在下一层覆盖小尺寸的卷积层，小数量展开的神经元组被较大的卷积所覆盖，其中，融合多尺度特征的采用1×3和3×1大小的卷积层和3×3大小的池化层过滤器，所有输出的滤波器组连接作为下一层的输入；在高计算量的3×3和5×5的卷积核之前添加1×1的卷积核。

进一步的，所述使用Inception-v3网络模块对不同通道的图像特征图进行加权运算，使用模块中全连接层对图像特征进行加强包括：

在前经过前两卷积层核池化层之后，输入到Inception-v3结构中，使用多种小卷积核进行多尺度特征提取，而且小卷积核可以大大减少参数量，最后融合多通道的多尺度特征，输出1×1×n的特征，作为下个Inception-v3的输入；对Inception-v3结构串行连接，形成有3个Inception的结构，在网络最后添加全连接层和分类器，最后建立了22层GoogleNet模型。

进一步的，所述步骤2的具体步骤为：

步骤2-1，确定用于火灾图像模式识别的卷积神经网络训练学习的控制参数：

具体控制参数包括：用于网络训练初始种类个数NP，最大学习代数N，网络训练效果的目标值e，以及训练样本数目M；

步骤2-2，训练样本数据的处理：

将火灾图像预处理图像直接输入到网络，让网络前端的多层卷积神经网络进行自动特征提取，然后输入到输出层激励函数中去；

步骤2-3，多层卷积神经网络的设置：

多层卷积神经网络模型采用网状拓扑结构，是由特征提取层、特征加权通道、特征融合层和输出层构成；特征提取层也称浅层特征提取层；

步骤2-4，Inception-v3型块的设置：

将3×3和5×5、7×7的大卷积拆分成1×3、3×1、7×1、1×7的小卷积核，分成4个通道，并在开始使用1×1卷积核减少运算量，最后对多通道多尺度特征进行特征融合。

步骤2-5，记录训练学习的网络参数，得到一个22层网络模型3输出的多层激励函数的改进型卷积神经网络；

按照上述步骤建立好网络后，再进行火灾图像识别。

与现有技术相比，本发明具有如下优点：通过使用输入火灾图像作为测试样本与训练样本并进行预处理、使用训练样本训练卷积神经网络提取深层特征、使用深层特征训练分类器，提高火灾图像识别的准确率、减少误报率和漏报率精简结构参数，消除过拟合，相同网络层数情况下，本网络速度更快。

附图说明

图1为本发明方法的流程图。

图2为本发明方法中多尺度特征融合网络的模块示意图。

图3为本发明方法中Inception-v3模块示意图。

图4为采用本发明进行火灾图像识别所得到的识别精度图。

具体实施方式

下面结合附图对本发明做进一步说明：

特征表征就是指图像在CNN某层的激活值，特征表征的大小在CNN中应该是缓慢的减小的。高维的特征更容易处理，在高维特征上训练更快，更容易收敛。低维嵌入空间上进行空间汇聚，损失并不是很大。这个的解释是相邻的神经单元之间具有很强的相关性，信息具有冗余。

平衡的网络的深度和宽度。宽度和深度适宜的话可以让网络应用到分布式上时具有比较平衡的计算预算。

图1为本发明的流程图，包括以下步骤：

步骤1，输入火灾图像进行预处理，作为训练样与测试样本本；

步骤2，设计卷积神经网络模型，使用Tensorfolw的keras构建设计好的卷积网络模型，使用预处理样本训练网络，提取深层特征；

步骤3，得到的提取图像深层特征训练Softmax分类器。

根据本发明实施例子提供的基于深度学习的火灾图像识别方法包括：

网络模型的设计阶段：在对整个网络模型设计的过程中，主要解决大型网络在拥有大量参数的条件下，网络容易出现过拟合现象以及过度增加计算资源的影响，在不增加大量参数的条件下提高网络的学习能力的问题。一般的大型网络结构往往存在其深层网络的损失值不小于其浅层网络损失值的缺点，本专利通过残差映射，重构网络层的学习函数，将残差逼近零值的方式，有效的解决了该问题。同时本专利通过合并不同尺寸网络层的输出特征，实现图像特征的多尺度融合。为使得网络进一步全方位的学习输入火灾图像图像的深层特征，实现局部特征与全局特征的融合，将深浅层网络结构通过Squeeze-Excitation网络模块进行合并。步骤2包括下列依次执行的操作内容：

(1)深度学习网络模型的设计：为打破非均匀稀疏数据结构在数值计算上的低效性并改进网络模型的学习能力，卷积层在特征维度上使用随机和稀疏连接表，同时组合密集的网络。形成一种逐层结构，需要分析最后一层的相关数据统计，并将它们聚集成具有高相关性的神经元组。这些神经元形成下一层的神经元，并连接上一层的神经元。在接近数据的较低层中，相关的神经元集中在输入数据图像的局部区域。即最终有大量的特征信息会集中在同一个局部区域，这会在下一层覆盖小尺寸的卷积层。并且存在小数量展开的神经元组可以被较大的卷积所覆盖。为了对齐像素尺寸，融合多尺度特征的卷积层采用1×1,1×3和3×1大小的过滤器，池化层采用3×3大小的过滤器。并将所有输出的滤波器组进行连接，作为下一层的输入；

为保证特征在图像放生旋转、平移、伸缩等条件下的不变性，使用最大汇聚对局部区域中邻域内的特征点取最大值。以减小卷积层参数误差造成的估计均值偏移现象，更多的保留图像细节的纹理信息。

由于该模型块彼此堆叠，他们的相关数据必然会发生变化。当高层的特征被更高层所捕获时，他们的空间集中度会变小，此时滤波器的大小应该随着网络层数的增高而变大。但是使用5×5的卷积核会带来巨大的计算量，若上一层的输出为100×100×128，则经过具有256个输出的5×5卷积核之后，输出数据大小为100×100×256。其中，卷积层共有参数128×5×5×256个。显然这会带来高昂的计算量。一旦将pooling添加到特征融合层中，由于输出过滤器的数量等于前一层中的过滤器数量，因此计算量会显著增加。合并层的输出与卷积层输出后的合并都将导致层间的输出数量的增加。即使Inception结构可以覆盖最佳的稀疏结构，为解决5×5大小的卷积核带来巨大的计算量，并保持稀疏结构，压缩计算量。在1×3和3×1的卷积核替换3×3和5×5的卷积核，并在之前采用1×1的卷积核减小计算量，其网络模型块结构如图2所示。

将3×3和5×5、7×7的大卷积拆分成1×3、3×1、7×1、1×7的小卷积核，分成4个通道，并在开始使用1×1卷积核减少运算量，最后对多通道多尺度特征进行特征融合。如图3所示。

特征融合网络模型由多个卷积层彼此堆叠而成，并加入最大汇聚将网络的分辨率减半。由于网络在训练期间的记忆性，多尺度特征融合模块在高层网络有很好的效果。该网络模型允许在每个阶段显著地增加神经元数量，且不会放大计算量。缩减尺寸的多尺度特征融合模型允许将每层最后的大量输入传递到下一层网络中去。多尺度特征融合结构中在每个较大的卷积核计算之前先减小卷积核的尺寸，即在多个尺度上处理视觉信息，然后聚合多尺度特征信息，使得下一层网络可以同时获得不同尺度的抽象特征。

然后是Dropout操作，为了限制模型复杂度和辅助泛化，我们通过在非线性周围形成两个全连接(FC)层的瓶颈来参数化门机制，dropout操作使一个神经单元和随机挑选出来的其他神经单元共同工作，减弱了神经元节点间的联合适应性，增强了泛化能力，节点dropout率设置为0.5。

具体的网络结构计算过程如表1所示。

表1 GoogleNet网络计算过程

研究发现网络结果越复杂，参数量越大，对小样本分类容易产生过拟合现象，所以本发明对网络针对火灾图像问题进行改进，改进后的部分结果如图4所示。

下面根据本发明实施例进一步具体描述步骤(1)(2)(3)的操作内容：

将图像数据集送进本发明所设计的网络中开始进行深度学习。输入层中图像被再次调整为299×299×3，然后被送到卷积层conv1中，然后进行ReLU激活，得到149×149×32的特征图，再进行归一化。经过4层卷积和一层最大池化得到35×35×192的特征图，在输入3个Inception-v3结构中进行特征融合，如图2所示，分别为两个尺度大小为1×3和3×1的卷积层和尺度大小为3×3池化层过滤器，后分别加上了1x1的卷积核起到了降低特征图厚度的作用。

经过各层卷积提取特征之后，该网络融合层的输出特征进行BatchNormalization归一化，经过降低50％输出比的dropout层，最终的输出特征为2048维，最后送入具有softmax损失的线性层作为分类器，由于共分为3类，故softmax最终为3×1的向量。

深度学习网络的optimizers文件参数中通过多次训练网络，我们调整学习率为0.0001，并以step的方式更新学习率，stepsize设为100，最大迭代次数为100，权重衰减设为0.0002。

火灾图像分类阶段：深度学习的网络结构中保留softmax分类，但每次都使用整个网络模型的softmax进行分类会造成巨大的计算量，容易发生过拟合现象，并且无法保证在最终的卷积层输出的特征经过softmax分类后的结果就是最佳分类结果。若要修改softmax分类的参数，整个深度学习的网络需要重新分类。为解决上述问题，采用SVM分类器对网络每层的输出特征进行训练，比较训练结果，选取最高正确率的网络层特征作为今后最终火灾图像图像的特征，解决了调整参数的灵活性，避免了重新训练网络的过程。

从上面所述可以看出，本发明提供的技术方案通过使用输入火灾图像作为测试样本与训练样本并进行预处理、使用训练样本训练卷积神经网络提取深层特征、使用深层特征训练分类器识别测试样本的火灾图像的技术手段，提高火灾图像识别的准确率，精简结构参数，消除过拟合。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (7)

1.一种火灾图像深度学习模式识别方法，其特征在于，所述方法包括以下步骤：

步骤1，通过python爬虫技术，从百度图片网络中获取复杂背景下火灾各阶段的图像，并同时获取干扰图像，选取两种典型的图像作为干扰源，蜡烛图像和烟花图像；对输入图像进行预处理，预处理之后火灾图像作为训练样本和测试样本；

步骤2，设计一个n层GoogleNet卷积神经网络模型，使用样本训练网络，通过训练让网络自动提取深层颜色特征用以排除人工的痕迹；

步骤3，使用卷积网络提取的高级图像特征训练分类器，进行火灾图像识别。

2.根据权利要求1所述的一种火灾图像深度学习模式识别方法，其特征在于，步骤1中，测试样本与训练样本的预处理包括：

对训练、测试样本实施去均值，训练样本图像减去训练样本均值；测试样本图像减去训练样本均值；

随机选择对训练样本增加转动角度，提升图像在角度方面的图像多样性；

随机选择对训练样本在水平方向上进行拉伸或压缩，提升图像在视觉方面的图像多样性；

统一训练样本、测试样本尺寸大小。

3.根据权利要求1所述的一种火灾图像深度学习模式识别方法，其特征在于：步骤2中，设计一个n层GoogleNet卷积神经网络；

采用的火灾图像数据库有3种，网络输出为aⁱ,i＝1,2,3...m，其中m为输出个数,m＝3；则网络每一层的计算公式如下：

其中l为网络的第l层；w_lj为第l层网络通道；x_l为第l层输入；K是每层连接神经元的个数。

4.根据权利要求1所述的一种火灾图像深度学习模式识别方法，其特征在于：步骤2中，使用样本训练卷积神经网络，提取深层特征包括：

使用随机和稀疏连接表在特征维度上构建每个卷积层，并根据多个卷积层构建卷积神经网络对火灾图像图像进行卷积与池化操作；

使用Inception-v3网络模块对不同通道的图像特征图进行加权运算，使用模块中全连接层对图像特征进行加强；

将不同尺寸的特征通道模块融合为多尺度特征；

将不同深度上的特征进行归一化并融合为深层特征；

对提取到的特征输入全连接层进行分类输出。

5.根据权利要求4所述的一种火灾图像深度学习模式识别方法，其特征在于：所述使用随机和稀疏连接表在特征维度上构建每个卷积层，根据多个卷积层构建卷积网络对火灾图像图像进行卷积与池化操作包括：

卷积层在特征维度上使用随机和稀疏连接表组合密集的网络形成逐层结构，分析最后一层的数据统计并聚集成具有高相关性的神经元组，该神经元形成下一层的神经元并连接上一层的神经元；相关的神经元集中在输入数据图像的局部区域，在下一层覆盖小尺寸的卷积层，小数量展开的神经元组被较大的卷积所覆盖，其中，融合多尺度特征的采用1×3和3×1大小的卷积层和3×3大小的池化层过滤器，所有输出的滤波器组连接作为下一层的输入；在高计算量的3×3和5×5的卷积核之前添加1×1的卷积核。

6.根据权利要求4所述的一种火灾图像深度学习模式识别方法，其特征在于，所述使用Inception-v3网络模块对不同通道的图像特征图进行加权运算，使用模块中全连接层对图像特征进行加强包括：

在前经过前两卷积层核池化层之后，输入到Inception-v3结构中，使用多种小卷积核进行多尺度特征提取，而且小卷积核可以大大减少参数量，最后融合多通道的多尺度特征，输出1×1×n的特征，作为下个Inception-v3的输入；对Inception-v3结构串行连接，形成有3个Inception的结构，在网络最后添加全连接层和分类器，最后建立了22层GoogleNet模型。

7.根据权利要求1所述的一种火灾图像深度学习模式识别方法，其特征在于，所述步骤2的具体步骤为：

步骤2-1，确定用于火灾图像模式识别的卷积神经网络训练学习的控制参数：

具体控制参数包括：用于网络训练初始种类个数NP，最大学习代数N，网络训练效果的目标值e，以及训练样本数目M；

步骤2-2，训练样本数据的处理：

将火灾图像预处理图像直接输入到网络，让网络前端的多层卷积神经网络进行自动特征提取，然后输入到输出层激励函数中去；

步骤2-3，多层卷积神经网络的设置：

多层卷积神经网络模型采用网状拓扑结构，是由特征提取层、特征加权通道、特征融合层和输出层构成；特征提取层也称浅层特征提取层；

步骤2-4，Inception-v3型块的设置：

将3×3和5×5、7×7的大卷积拆分成1×3、3×1、7×1、1×7的小卷积核，分成4个通道，并在开始使用1×1卷积核减少运算量，最后对多通道多尺度特征进行特征融合；

步骤2-5，记录训练学习的网络参数，得到一个22层网络模型3输出的多层激励函数的改进型卷积神经网络；

按照上述步骤建立好网络后，再进行火灾图像识别。