CN109522819B - 一种基于深度学习的火灾图像识别方法 - Google Patents

Abstract

本发明属于图像信息处理技术领域，公开了一种基于深度学习的火灾图像识别方法，包括：采集火灾前期烟雾图片和正常图片作为卷积神经网络的训练集和测试集；求得每张图像的暗通道图像组成最终的训练集和测试集；构建是否可以检测烟雾的卷积神经模型；对神经网络进行训练得到烟雾检测模型以及最红对模型进行测试和性能评估。与现有技术相比，本发明通过利用暗通道图像以及深度学习的方法提高了单张图像中烟雾检测的正确率，同时提高了检测速度，可以实际应用于城市或森林的火灾检测工作。

Description

一种基于深度学习的火灾图像识别方法

技术领域

本发明属于图像信息处理技术领域，具体涉及一种基于深度学习的火灾图像识别方法。

背景技术

火灾检测一直是图像信息处理技术的一个重要领域，如何应用图像信息处理技术从而有效控制火情并防止火势蔓延更是引起了众多研究者的注意，成为计算机视觉领域中的研究热点之一。

一般而言，火灾的演变可以分为四个阶段：不可见阶段、可见烟雾阶段、明火阶段和扩散阶段。为了将火灾造成的损失降到最低，火灾预警工作通常集中在前两个阶段。传统的火灾检测主要使用温度传感器、气体传感器、湿度传感器等传感器来分析环境温度、烟雾颗粒以及相对湿度等参数以判断是否发生火灾。但是这些检测方法自身局限性也十分明显，即这些传感器必须很靠近着火点的情形下才能发出预警，所以为了能够及时预警就必须将这些传感器大范围高密度地铺设，使得整个系统过于复杂，性价比低。随着科技不断进步，人们开始应用视频图像等方式来实现大规模监控，因此基于视频和图像的火灾报警算法成为研究热门。而烟雾具有明显的颜色、纹理、边缘、动态等视觉特征，所以基于视频和图像的检测算法都是通过对烟雾的上述特征进行提取和分类达到烟雾检测的目的。因此这些检测算法大部分都工作在火灾演变的第二个阶段：可见烟雾阶段，实质上也都属于烟雾检测算法的范畴。由于烟雾的颜色、纹理、边缘等静态特征种类繁多不易于表示，大部分算法都是以动态特征为主、静态特征为辅进行烟雾检测，这导致大多数烟雾检测算法都是基于视频的。基于视频的烟雾检测算法有一点缺陷，就是要求摄像机是静止不动的，这种情况下算法的准确率也比较高；但是一旦摄像机不固定，产生的干扰较多时，这些基于视频的烟雾检测算法准确率会大幅度下降。基于单张图像的烟雾检测算法的问题主要集中在如何对烟雾的静态特征进行描述。相对于动态特征，烟雾的静态特征难于提取，手工提取特征不仅工作量大，而且特征不够明显，准确率难以达到要求，检测效果不够理想。

发明内容

为解决现有技术中存在的问题，本发明的目的在于提供一种基于深度学习的火灾图像识别方法，本发明的方法应用在火灾防治领域，能够在火情扩大之前及时进行检测并报警，以解决上述现有技术的不足。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度学习的火灾图像识别方法，包括以下步骤：

步骤1：构建神经网络样本的训练集和测试集；

步骤2：使用训练集的图像和测试集中的图像分别生成各自对应的暗通道图像，将训练集图像生成的暗通道图像构成最终的训练集，将测试集图像生成的暗通道图像构成最终的测试集；

步骤3：构建能够检测是否出现烟雾的卷积神经网络；

步骤4：使用步骤2得到的最终的训练集对步骤3构建的卷积神经网络进行训练得到烟雾检测模型；并且用步骤2得到的最终的测试集对步骤4得到的烟雾检测模型进行测试，检验卷积神经网络性能，获取烟雾检测模型的最佳参数；

步骤5，当对火灾进行识别时，使用获取的图像生成对应的暗通道图像，并将生成的暗通道图像作为测试集，将测试集输入步骤4测试好的卷积神经网络中进行识别。

步骤1中，训练集包括两部分，两部分分别为有火灾前期烟雾出现的图片组成的正样本和没有火灾烟雾出现的图片组成的负样本；测试集包括两部分，两部分分别为有火灾前期烟雾出现的图片组成的正样本和没有火灾烟雾出现的图片组成的负样本；

训练集和测试集都是不均衡样本集合，负样本的数量大于正样本的数量。

步骤2中，训练集的图像和测试集中的图像均为RGB图像，对于RGB输入图像J，x为该图像的一个像素点，x点在对应的暗通道图像中的像素J_dark(x)为：

J_dark(x)＝min_y∈Ω(x)(min_C∈r,g,bJ_C(z))

其中，J_C是图像J的颜色通道，C∈r,g,b，Ω(x)是以x为中心的一个窗口，z为窗口中每一个像素点，min(·)为求最小值函数；

训练集的图像和测试集中的图像分别生成各自对应的暗通道图像过程如下：

将RGB图像表示为三维矩阵，然后求出RGB图像中每个像素RGB分量的最小值，将每个像素RGB分量的最小值存入一副和原始RGB图像大小相同的灰度图中，最后再对灰度图进行最小值滤波，得到RGB图像的暗通道图像。

步骤3中，所构建出的卷积神经网络共包括17层，17层中包括10个卷积层、4个最大池化层、2个全连接层以及1个输出层；其中，卷积神经网络的第1层、第2层、第3层、第5 层、第6层、第8层、第9层、第11层、第12层和第14层为卷积层，所述卷积层对应的卷积核数量分别为64个、64个、64个、128个、128个、256个、256个、512个、512个和256 个，卷积核的大小为3×3，步长均为1，激活函数为ReLU函数；

卷积神经网络的第4层、第7层、第10层和第13层为最大池化层，最大池化层的卷积核大小为2×2，步长为2；

卷积神经网络的第15层和第16层为全连接层，每个全连接层的神经元数量都是2048个，激活函数为ReLU；

第17层为输出层，输出层有2个神经元，激活函数为softmax；

在每层卷积层进行Batch Normalization处理，Batch Normalization处理即为批归一化，使卷积层构成为Conv+BN+ReLU模式；在两个全连接层之后添加Dropout层，对全连阶层神经元进行随机屏蔽，屏蔽的数量为全连阶层神经元数量的0.3～0.7倍。

对于一批m个数据x₁,x₂,……x_m，γ和β是两个可学习的参数，这批m个数据进行批归一化处理后的输出为y₁,y₂,……,y_m；

批归一化的具体过程为：

先计算当前这批m个数据的均值μ_B和方差

然后对每一个数据进行归一化：

最后对归一化的数据进行缩放和变换：

步骤4中，针对最终的训练集和最终的测试集的不均衡性，使用加权损失函数对卷积神经网络进行训练，所使用的损失函数loss为：

式中，Q为训练集样本数量，q代表第q个样本，K为类别数，共有两类所以k∈{1,2}，v_k为所加权重，y^q为第q个样本对应所属类别，

为交叉熵损失函数。

步骤4中，对卷积神经网络的训练过程包括如下步骤：

1)初始化卷积神经网络；

2)将步骤2所得到的最终的训练集作为卷积神经网络的输入，计算输出；

3)使用链式求导法则计算步骤2得到的输出相对于损失函数的梯度；以初始学习率为 0.001，学习率不断递减来对参数进行调整；

4)不断重复步骤2)至步骤3)，循环迭代直至损失函数收敛，最终得到烟雾检测模型。

对烟雾检测模型进行测试时，对卷积神经网络分类的正确率A_c、灵敏度S_n、特异度S_p以及速度进行检测。

灵敏度S_n的表达式为如下：

特异度S_p的表达式为如下：

其中，TP、FP、FN和TN分别代表最终的测试集中真阳性样本个数、假阳性样本个数、假阴性样本个数和真阴性样本个数。

步骤5的具体过程为：在摄像头拍摄的视频中截取图片并对截取的图片进行暗通道处理，将暗通道图片作为输入传入训练好的卷积神经网络中，得到最终分类识别结果，若有火灾烟雾出现，则卷积神经网络输出向量(0，1)；若无火灾烟雾出现，则卷积神经网络输出向量(1， 0)。

相对于现有技术，本发明具有以下有益效果：

本发明基于深度学习的火灾图像识别方法先构建神经网络样本的训练集和测试集，再使用训练集的图像和测试集中的图像分别生成各自对应的暗通道图像，将训练集图像生成的暗通道图像构成最终的训练集，将测试集图像生成的暗通道图像构成最终的测试集；相对于原始图片，暗通道图像能够进一步凸显烟雾特征，使其更易于提取，因而能够有效的提高火灾图像检测的准确率，准确率高达98.41％，可以满足火灾监测要求；同时，基于图片进行烟雾检测，并不依赖烟雾动态特征，这使得摄像头可以移动旋转，扩大了检测范围，降低了成本；最后，用暗通道图像来替代RGB三通道图像，输入数据变小，提高了单张图片的检测速度。

进一步的，本发明所构建出的卷积神经网络共包括17层，17层中包括10个卷积层、4 个最大池化层、2个全连接层以及1个输出层，并对各层进行了要求和限定；在每层卷积层进行Batch Normalization处理，因此在卷积神经网络结构方面，本发明在构建卷积神经网络时，在卷积层之后对数据进行批归一化，重新定义了输入数据分布，使得网络各层参数更加独立，同时也加快了拟合速度。

进一步的，针对最终的训练集不均衡的问题，本发明对损失函数进行加权，数量少的样本类别惩罚较大，数量多的样本类别惩罚较小，从而减小了训练集不均衡对最终网络性能的影响。

附图说明

图1是本发明基于深度学习的火灾图像识别方法的流程示意图；

图2是经过暗通道处理后得到的最终训练集示意图；

图3是经过暗通道处理后得到的最终测试集示意图；

图4是本发明实施例中R通道图像与暗通道图像中烟雾点与非烟点像素差曲线图；

图5是本发明实施例中G通道图像与暗通道图像中烟雾点与非烟点像素差曲线图；

图6是本发明实施例中B通道图像与暗通道图像中烟雾点与非烟点像素差曲线图；

图7是本发明暗通道图像与现有普通图像特征对比图。

具体实施方式

下面结合附图和实例对本发明的具体实施方式作进一步详细描述。以下实施用于解释本发明，但不用来限制本发明的范围。

如图1所示，本发明的基于深度学习的火灾图像识别方法，包括以下步骤：

步骤1：构建神经网络样本的训练集和测试集，构建的样本训练集和测试集都可以分为两个部分，两部分分别为有火灾前期烟雾出现的图片组成的正样本和没有火灾烟雾出现的各种常见情景组成的负样本，没有火灾烟雾出现的各种常见情景包括如建筑、花草以及街道等；训练集和测试集都是不均衡样本集合，与日常情况一致，负样本的数量要远大于正样本的数量；正样本主要通过火灾视频提取以及小规模明火实验拍摄收集，负样本范围较广，可以在日常生活中拍摄收集；

步骤2：使用训练集的图像和测试集中的图像分别生成各自对应的暗通道图像，将训练集图像生成的暗通道图像构成最终的训练集，将测试集图像生成的暗通道图像构成最终的测试集，具体过程如下：

训练集的图像和测试集中的图像均为RGB图像，对于RGB输入图像J，x为该图像的一个像素点，x点在对应的暗通道图像中的像素J_dark(x)为：

J_dark(x)＝min_y∈Ω(x)(min_C∈r,g,bJ_C(z))

其中，J_C是图像J的颜色通道，C∈r,g,b，Ω(x)是以x为中心的一个窗口，z为窗口中每一个像素点，min(·)为求最小值函数；

训练集的图像和测试集中的图像分别生成各自对应的暗通道图像过程如下：

将RGB图像表示为三维矩阵，然后求出RGB图像中每个像素RGB分量的最小值，将每个像素RGB分量的最小值存入一副和原始RGB图像大小相同的灰度图中，最后再对灰度图进行最小值滤波，得到RGB图像的暗通道图像。暗通道先验是通过对大量图像数据进行观察所得到的一种先验知识，暗通道先验指出在无雾图像的非天空区域像素其暗通道值非常小趋近于0，如下式：

J_dark(x)→0

鉴于烟与雾之间的相似表观特性，本发明采用暗通道图像来构成训练集和测试集，而不使用原始图像。

步骤3：构建能够检测是否出现烟雾的卷积神经网络，所构建出的卷积神经网络共包括17 层，17层中包括10个卷积层、4个最大池化层、2个全连接层以及1个输出层；分布顺序为前三层为卷积层，之后为一个池化层，接着每两个卷积层和一个池化层交替，最后为一个卷积层和三个全连接层；即卷积神经网络中，卷积神经网络的第1层、第2层、第3层、第5层、第6层、第8层、第9层、第11层、第12层和第14层为卷积层，所述卷积层对应的卷积核数量分别为64个、64个、64个、128个、128个、256个、256个、512个、512个和256个，卷积核的大小为3×3，步长均为1，激活函数为ReLU函数；卷积神经网络的第4层、第7层、第10层和第13层为最大池化层，最大池化层的卷积核大小为2×2，步长为2；卷积神经网络的第15层和第16层为全连接层，每个全连接层的神经元数量都是2048个，激活函数为ReLU；第17层为输出层，输出层有2个神经元，激活函数为softmax；

此外，在每层卷积层进行Batch Normalization处理，使卷积层构成为Conv+BN+ReLU模式，加速网络收敛；具体的，对于一批m个数据x₁,x₂,……x_m，γ和β是两个可学习的参数，这批m个数据进行批归一化处理后的输出为y₁,y₂,……,y_m；

批归一化的具体过程为：

先计算当前这批m个数据的均值μ_B和方差

然后对每一个数据进行归一化：

最后对归一化的数据进行缩放和变换：

在两个全连接层之后添加Dropout层，对全连阶层神经元进行随机屏蔽，屏蔽的数量为全连阶层神经元数量的0.3～0.7倍，防止发生过拟合。

步骤4：使用步骤2得到的最终的训练集对步骤3构建的卷积神经网络进行训练得到烟雾检测模型；并且用步骤2得到的最终的测试集对步骤4得到的烟雾检测模型进行测试，检验卷积神经网络性能，获取烟雾检测模型的最佳参数；具体的，针对最终的训练集和最终的测试集的不均衡性，使用加权损失函数对卷积神经网络进行训练，所使用的损失函数loss为：

式中，Q为训练集样本数量，q代表第q个样本，K为类别数，共有两类所以k∈{1,2}，v_k为所加权重，y^q为第q个样本对应所属类别，

为交叉熵损失函数。

对卷积神经网络的训练过程包括如下步骤：

1)初始化卷积神经网络；

2)将步骤2所得到的最终的训练集作为卷积神经网络的输入，计算输出；

3)使用链式求导法则计算步骤2得到的输出相对于损失函数的梯度；以初始学习率为 0.001，学习率不断递减来对参数进行调整；

4)不断重复步骤2)至步骤3)，循环迭代直至损失函数收敛，最终得到烟雾检测模型。

因为火灾具有巨大灾难性，所以不仅要对卷积神经网络分类的正确率A_c进行检验，同时也要检验卷积神经网络的灵敏度S_n、特异度S_p以及速度，以确保卷积神经网络性能能够用于实际生活；将最终的测试集中的样本依次输入经过训练的卷积神经网络中，检测每张图片是否含有火灾前期烟雾，得到分类结果和各项指标数据。其中，灵敏度S_n的表达式为如下：

特异度S_p的表达式为如下：

其中，TP、FP、FN和TN分别代表最终的测试集中真阳性样本个数、假阳性样本个数、假阴性样本个数和真阴性样本个数。

步骤5，当对火灾进行识别时，使用获取的图像生成对应的暗通道图像，并将生成的暗通道图像作为测试集，将测试集输入步骤4测试好的卷积神经网络中进行识别。具体过程为：先用摄像头对可能发生火灾的区域就行拍摄监控，在得到的视频中截取图片进行暗通道处理，将暗通道图片作为输入传入步骤4中已经训练测试好的卷积神经网络中，即可得到最终分类识别结果，若有火灾烟雾出现，则输出向量(0，1)；若无火灾烟雾出现，则输出向量(1，0)。

实施例

本实施例的基于深度学习的火灾图像识别方法，包括如下步骤:

步骤1：构建神经网络样本训练集和测试集：

本实例中采集了含有火灾前期烟雾的图片和不含火灾的正常图片用于训练卷积神经网络。具体的，含有火灾前期烟雾的图片通过火灾视频提取以及小规模明火实验拍摄收集，不含火灾的正常图片通过在日常生活中拍摄收集。训练集共有照片10712张，其中有烟图片2201张，为有烟图片加标签为1，无烟图片8501张，为无烟图片加标签为0；

测试集中共有照片1383张，其中有烟图片552张，为有烟图片加标签为1，无烟图片831 张，为无烟图片加标签为0。将训练集和测试集中的所有图片归一化至大小48×48。日常生活中，安全情况的复杂程度以及数量远多于火灾发生情况，与之类似，训练集中，无烟图片约为有烟图片的4倍，为不均衡数据集。

步骤2：使用训练集和测试集中的图像生成暗通道图像并构成最终的训练集和测试集；

本实例中对每张图像都进行暗通道处理，得到其暗通道图像J_dark。对于RGB输入图像J， x为该图像的一个像素点，x点在对应的暗通道图像中的像素J_dark(x)为：

J_dark(x)＝min_y∈Ω(x)(min_C∈r,g,bJ_C(z))

其中，J_C是图像J的颜色通道，C∈r,g,b，Ω(x)是以x为中心的一个窗口，z为窗口中每一个像素点，min(·)为求最小值函数；

也就是先将RGB图像表示为三维矩阵，然后求出RGB图像中每个像素RGB分量的最小值，将每个像素RGB分量的最小值存入一副和原始图像大小相同的灰度图中，最后再对灰度图进行最小值滤波，即可得到暗通道图像。最终得到的暗通道训练集(见图2)和最终的测试集(见图3)。暗通道先验(Dark Channel Priori)是通过对大量图像数据进行观察所得到的一种先验知识。暗通道先验指出在无雾图像的非天空区域像素其暗通道值非常小趋近于0，如下式：

J_dark(x)→0

造成这种现象的原因有三个：

1)大量阴影部分的存在；

2)黑色物体；

3)色彩鲜艳的物体不可避免在某一颜色通道上亮度值很低。

除了云和雾以外，图像中的一些白色目标如雪、烟、瀑布等也不满足暗通道先验。

暗通道图像相比于之前的RGB图像，烟雾特征更加明显。参阅图4～图6，在一张RGB三通道图中选择100个非烟雾特征点和100个烟雾特征点，计算R通道，G通道和B通道中一对匹配特征点之间的距离；再将这张图处理成暗通道图像，再次选择相同像素点，计算对应特征点对之间的距离。可以看出，在二者距离不大，即在非烟雾特征点与烟雾特征点相似的像素，二者差距不大，但是在二者距离较大时，即非烟雾特征点与烟雾特征点差距较大的地方，二者差距明显被放大，这有利于卷积神经网络提取特征，使得分类效果更好。同时变三通道图像为单通道图像，数据量更小，网络运算速度也更快。

步骤3：构建能够检测是否出现烟雾的卷积神经网络；

如图7所示，本实例中构建出的卷积神经网络共包括17层，其中10个卷积层，4个池化层，2个全连接层和最后的1个输出层；分布顺序为前三层为卷积层，之后为一个池化层，接着每两个卷积层和一个池化层交替，最后为一个卷积层和三个全连接层；即整体结构为第1、 2、3、5、6、8、9、11、12、14层为卷积层，对应的每个卷积层对应的卷积核数量分别为64、64、64、128、128、256、256、512、512、256个，卷积核的大小为3×3，步长均为1，激活函数为ReLU函数；第4、7、10、13层为最大池化层，卷积核大小为2×2，步长为2；卷积神经网络的15、16层为全连接层，神经元数量都是2048个，激活函数为ReLU；第17层为输出层，有2个神经元，激活函数为softmax。

此外，在每层卷积层都添加了批归一化(Batch Normalization)。对于一批m个数据 x₁,x₂,……x_m，γ和β是两个可学习的参数，这批m个数据进行批归一化处理后的输出为y₁,y₂,……,y_m，算法过程如下：

首先计算当前这批m个数据的均值μ_B和方差

然后对对每一个数据进行归一化：

最后对归一化的数据进行缩放和变换：

使用批归一化后，每一层网络参数在训练时依旧在不断改变，但每一层网络输入分布的均值和方差不变，降低了前一层网络参数变化对后一层输入分布的影响能力，使得网络参数学习更加独立，网络收敛速度更快。

最后，在两个全连接层之后添加了Dropout层，按照设置概率0.5随机屏蔽掉一部分神经元，防止发生过拟合。

步骤4：使用步骤2得到的最终的训练集对步骤3构建的卷积神经网络进行训练得到烟雾检测模型；并且用步骤2得到的最终的测试集对步骤4得到的烟雾检测模型进行测试，检验卷积神经网络性能，获取烟雾检测模型的最佳参数；

具体的，针对最终的训练集和最终的测试集的不均衡性，使用加权损失函数对卷积神经网络进行针对训练集和测试集的不均衡性，使用加权损失函数进行训练，所使用的损失函数为：

式中，Q为训练集样本数量，q代表第q个样本，K为类别数，共有两类所以k∈{1,2}，v_k为所加权重，y^q为第q个样本对应所属类别，

为交叉熵损失函数。

具体训练过程如下：

1)初始化卷积神经网络；

2)将步骤2所得到的最终的训练集作为卷积神经网络的输入，计算输出；

3)使用链式求导法则计算步骤2得到的输出相对于损失函数的梯度；以初始学习率为 0.001，学习率不断递减来对参数进行调整；

4)不断重复步骤2)至步骤3)，循环迭代直至损失函数收敛，最终得到烟雾检测模型。

因为火灾具有巨大灾难性，所以不仅要对网络分类的正确率A_c进行检验，同时也要检验网络的灵敏度S_n、特异度S_p以及检测速度，以确保网络性能能够用于实际生活。将含烟样本视为正样本、非烟样本视为负样本，用TP(True Positive)、FP(False Positive)、FN(False Negative)、 TN(True Negative)分别代表验证集中真阳性、假阳性、假阴性、真阴性样本个数。在此基础上，灵敏度S_n与特异度S_p分别如下：

将测试集中的样本依次输入到步骤4中经过训练的神经网络中，检测每张图片是否含有火灾前期烟雾，得到分类结果和各项指标数据。训练得到的卷积神经网络准确率A_c可以达到 98.41％，灵敏度S_n可以达到98.18％，特异度S_p可以达到98.45％。

步骤5：当对火灾进行识别时，先用摄像头对可能发生火灾的区域就行拍摄监控，在得到的视频中截取图片进行暗通道处理，将暗通道图片作为输入传入步骤4中已经训练测试好的卷积神经网络中，即可得到最终分类识别结果，若有火灾烟雾出现，则会输出向量(0，1)；若无火灾烟雾出现，则会输出向量(1，0)。

Claims (9)

1.一种基于深度学习的火灾图像识别方法，其特征在于，包括以下步骤：

步骤1：构建神经网络样本的训练集和测试集；

步骤2：使用训练集的图像和测试集中的图像分别生成各自对应的暗通道图像，将训练集图像生成的暗通道图像构成最终的训练集，将测试集图像生成的暗通道图像构成最终的测试集；

步骤3：构建能够检测是否出现烟雾的卷积神经网络；

步骤4：使用步骤2得到的最终的训练集对步骤3构建的卷积神经网络进行训练得到烟雾检测模型；并且用步骤2得到的最终的测试集对步骤4得到的烟雾检测模型进行测试，检验卷积神经网络性能，获取烟雾检测模型的最佳参数；

步骤5，当对火灾进行识别时，使用获取的图像生成对应的暗通道图像，并将生成的暗通道图像作为测试集，将测试集输入步骤4测试好的卷积神经网络中进行识别；

步骤3中，所构建出的卷积神经网络共包括17层，17层中包括10个卷积层、4个最大池化层、2个全连接层以及1个输出层；其中，卷积神经网络的第1层、第2层、第3层、第5层、第6层、第8层、第9层、第11层、第12层和第14层为卷积层，所述卷积层对应的卷积核数量分别为64个、64个、64个、128个、128个、256个、256个、512个、512个和256个，卷积核的大小为3×3，步长均为1，激活函数为ReLU函数；

卷积神经网络的第4层、第7层、第10层和第13层为最大池化层，最大池化层的卷积核大小为2×2，步长为2；

卷积神经网络的第15层和第16层为全连接层，每个全连接层的神经元数量都是2048个，激活函数为ReLU；

第17层为输出层，输出层有2个神经元，激活函数为softmax；

在每层卷积层进行批归一化处理，使卷积层构成为Conv+BN+ReLU模式；在两个全连接层之后添加Dropout层，对全连阶层神经元进行随机屏蔽，屏蔽的数量为全连阶层神经元数量的0.3～0.7倍。

2.根据权利要求1所述的一种基于深度学习的火灾图像识别方法，其特征在于，步骤1中，训练集包括两部分，两部分分别为有火灾前期烟雾出现的图片组成的正样本和没有火灾烟雾出现的图片组成的负样本；测试集包括两部分，两部分分别为有火灾前期烟雾出现的图片组成的正样本和没有火灾烟雾出现的图片组成的负样本；

训练集和测试集都是不均衡样本集合，负样本的数量大于正样本的数量。

3.根据权利要求1所述的一种基于深度学习的火灾图像识别方法，其特征在于，步骤2中，训练集的图像和测试集中的图像均为RGB图像，对于RGB输入图像J，x为该图像的一个像素点，x点在对应的暗通道图像中的像素J_dark(x)为：

J_dark(x)＝min_y∈Ω(x)(min_C∈r,g,bJ_C(z))

其中，J_C是图像J的颜色通道，C∈r,g,b，Ω(x)是以x为中心的一个窗口，z为窗口中每一个像素点，min(·)为求最小值函数；

训练集的图像和测试集中的图像分别生成各自对应的暗通道图像过程如下：

将RGB图像表示为三维矩阵，然后求出RGB图像中每个像素RGB分量的最小值，将每个像素RGB分量的最小值存入一副和原始RGB图像大小相同的灰度图中，最后再对灰度图进行最小值滤波，得到RGB图像的暗通道图像。

4.根据权利要求1所述的一种基于深度学习的火灾图像识别方法，其特征在于，对于一批m个数据x₁,x₂,……x_m，γ和β是两个可学习的参数，这批m个数据进行批归一化处理后的输出为y₁,y₂,……,y_m；

批归一化的具体过程为：

先计算当前这批m个数据的均值μ_B和方差

然后对每一个数据进行归一化：

最后对归一化的数据进行缩放和变换：

5.根据权利要求1所述的一种基于深度学习的火灾图像识别方法，其特征在于，步骤4中，针对最终的训练集和最终的测试集的不均衡性，使用加权损失函数对卷积神经网络进行训练，所使用的损失函数loss为：

式中，Q为训练集样本数量，q代表第q个样本，K为类别数，共有两类所以k∈{1,2}，v_k为所加权重，y^q为第q个样本对应所属类别，

为交叉熵损失函数。

6.根据权利要求5所述的一种基于深度学习的火灾图像识别方法，其特征在于，步骤4中，对卷积神经网络的训练过程包括如下步骤：

1)初始化卷积神经网络；

2)将步骤2所得到的最终的训练集作为卷积神经网络的输入，计算输出；

3)使用链式求导法则计算步骤2得到的输出相对于损失函数的梯度；以初始学习率为0.001，学习率不断递减来对参数进行调整；

4)不断重复步骤2)至步骤3)，循环迭代直至损失函数收敛，最终得到烟雾检测模型。

7.根据权利要求1所述的一种基于深度学习的火灾图像识别方法，其特征在于，步骤4中，对烟雾检测模型进行测试时，对卷积神经网络分类的正确率A_c、灵敏度S_n、特异度S_p以及速度进行检测。

8.根据权利要求7所述的一种基于深度学习的火灾图像识别方法，其特征在于，灵敏度S_n的表达式为如下：

特异度S_p的表达式为如下：

其中，TP、FP、FN和TN分别代表最终的测试集中真阳性样本个数、假阳性样本个数、假阴性样本个数和真阴性样本个数。

9.根据权利要求1所述的一种基于深度学习的火灾图像识别方法，其特征在于，步骤5的具体过程为：在摄像头拍摄的视频中截取图片并对截取的图片进行暗通道处理，将暗通道图片作为输入传入训练好的卷积神经网络中，得到最终分类识别结果，若有火灾烟雾出现，则卷积神经网络输出向量(0，1)；若无火灾烟雾出现，则卷积神经网络输出向量(1，0)。

Images