CN109522819B - 一种基于深度学习的火灾图像识别方法 - Google Patents
一种基于深度学习的火灾图像识别方法 Download PDFInfo
- Publication number
- CN109522819B CN109522819B CN201811271332.8A CN201811271332A CN109522819B CN 109522819 B CN109522819 B CN 109522819B CN 201811271332 A CN201811271332 A CN 201811271332A CN 109522819 B CN109522819 B CN 109522819B
- Authority
- CN
- China
- Prior art keywords
- layer
- neural network
- image
- convolutional neural
- fire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像信息处理技术领域,公开了一种基于深度学习的火灾图像识别方法,包括:采集火灾前期烟雾图片和正常图片作为卷积神经网络的训练集和测试集;求得每张图像的暗通道图像组成最终的训练集和测试集;构建是否可以检测烟雾的卷积神经模型;对神经网络进行训练得到烟雾检测模型以及最红对模型进行测试和性能评估。与现有技术相比,本发明通过利用暗通道图像以及深度学习的方法提高了单张图像中烟雾检测的正确率,同时提高了检测速度,可以实际应用于城市或森林的火灾检测工作。
Description
技术领域
本发明属于图像信息处理技术领域,具体涉及一种基于深度学习的火灾图像识别方法。
背景技术
火灾检测一直是图像信息处理技术的一个重要领域,如何应用图像信息处理技术从而有效控制火情并防止火势蔓延更是引起了众多研究者的注意,成为计算机视觉领域中的研究热点之一。
一般而言,火灾的演变可以分为四个阶段:不可见阶段、可见烟雾阶段、明火阶段和扩散阶段。为了将火灾造成的损失降到最低,火灾预警工作通常集中在前两个阶段。传统的火灾检测主要使用温度传感器、气体传感器、湿度传感器等传感器来分析环境温度、烟雾颗粒以及相对湿度等参数以判断是否发生火灾。但是这些检测方法自身局限性也十分明显,即这些传感器必须很靠近着火点的情形下才能发出预警,所以为了能够及时预警就必须将这些传感器大范围高密度地铺设,使得整个系统过于复杂,性价比低。随着科技不断进步,人们开始应用视频图像等方式来实现大规模监控,因此基于视频和图像的火灾报警算法成为研究热门。而烟雾具有明显的颜色、纹理、边缘、动态等视觉特征,所以基于视频和图像的检测算法都是通过对烟雾的上述特征进行提取和分类达到烟雾检测的目的。因此这些检测算法大部分都工作在火灾演变的第二个阶段:可见烟雾阶段,实质上也都属于烟雾检测算法的范畴。由于烟雾的颜色、纹理、边缘等静态特征种类繁多不易于表示,大部分算法都是以动态特征为主、静态特征为辅进行烟雾检测,这导致大多数烟雾检测算法都是基于视频的。基于视频的烟雾检测算法有一点缺陷,就是要求摄像机是静止不动的,这种情况下算法的准确率也比较高;但是一旦摄像机不固定,产生的干扰较多时,这些基于视频的烟雾检测算法准确率会大幅度下降。基于单张图像的烟雾检测算法的问题主要集中在如何对烟雾的静态特征进行描述。相对于动态特征,烟雾的静态特征难于提取,手工提取特征不仅工作量大,而且特征不够明显,准确率难以达到要求,检测效果不够理想。
发明内容
为解决现有技术中存在的问题,本发明的目的在于提供一种基于深度学习的火灾图像识别方法,本发明的方法应用在火灾防治领域,能够在火情扩大之前及时进行检测并报警,以解决上述现有技术的不足。
为了实现上述目的,本发明采用如下技术方案:
一种基于深度学习的火灾图像识别方法,包括以下步骤:
步骤1:构建神经网络样本的训练集和测试集;
步骤2:使用训练集的图像和测试集中的图像分别生成各自对应的暗通道图像,将训练集图像生成的暗通道图像构成最终的训练集,将测试集图像生成的暗通道图像构成最终的测试集;
步骤3:构建能够检测是否出现烟雾的卷积神经网络;
步骤4:使用步骤2得到的最终的训练集对步骤3构建的卷积神经网络进行训练得到烟雾检测模型;并且用步骤2得到的最终的测试集对步骤4得到的烟雾检测模型进行测试,检验卷积神经网络性能,获取烟雾检测模型的最佳参数;
步骤5,当对火灾进行识别时,使用获取的图像生成对应的暗通道图像,并将生成的暗通道图像作为测试集,将测试集输入步骤4测试好的卷积神经网络中进行识别。
步骤1中,训练集包括两部分,两部分分别为有火灾前期烟雾出现的图片组成的正样本和没有火灾烟雾出现的图片组成的负样本;测试集包括两部分,两部分分别为有火灾前期烟雾出现的图片组成的正样本和没有火灾烟雾出现的图片组成的负样本;
训练集和测试集都是不均衡样本集合,负样本的数量大于正样本的数量。
步骤2中,训练集的图像和测试集中的图像均为RGB图像,对于RGB输入图像J,x为该图像的一个像素点,x点在对应的暗通道图像中的像素Jdark(x)为:
Jdark(x)=miny∈Ω(x)(minC∈r,g,bJC(z))
其中,JC是图像J的颜色通道,C∈r,g,b,Ω(x)是以x为中心的一个窗口,z为窗口中每一个像素点,min(·)为求最小值函数;
训练集的图像和测试集中的图像分别生成各自对应的暗通道图像过程如下:
将RGB图像表示为三维矩阵,然后求出RGB图像中每个像素RGB分量的最小值,将每个像素RGB分量的最小值存入一副和原始RGB图像大小相同的灰度图中,最后再对灰度图进行最小值滤波,得到RGB图像的暗通道图像。
步骤3中,所构建出的卷积神经网络共包括17层,17层中包括10个卷积层、4个最大池化层、2个全连接层以及1个输出层;其中,卷积神经网络的第1层、第2层、第3层、第5 层、第6层、第8层、第9层、第11层、第12层和第14层为卷积层,所述卷积层对应的卷积核数量分别为64个、64个、64个、128个、128个、256个、256个、512个、512个和256 个,卷积核的大小为3×3,步长均为1,激活函数为ReLU函数;
卷积神经网络的第4层、第7层、第10层和第13层为最大池化层,最大池化层的卷积核大小为2×2,步长为2;
卷积神经网络的第15层和第16层为全连接层,每个全连接层的神经元数量都是2048个,激活函数为ReLU;
第17层为输出层,输出层有2个神经元,激活函数为softmax;
在每层卷积层进行Batch Normalization处理,Batch Normalization处理即为批归一化,使卷积层构成为Conv+BN+ReLU模式;在两个全连接层之后添加Dropout层,对全连阶层神经元进行随机屏蔽,屏蔽的数量为全连阶层神经元数量的0.3~0.7倍。
对于一批m个数据x1,x2,……xm,γ和β是两个可学习的参数,这批m个数据进行批归一化处理后的输出为y1,y2,……,ym;
批归一化的具体过程为:
然后对每一个数据进行归一化:
最后对归一化的数据进行缩放和变换:
步骤4中,针对最终的训练集和最终的测试集的不均衡性,使用加权损失函数对卷积神经网络进行训练,所使用的损失函数loss为:
步骤4中,对卷积神经网络的训练过程包括如下步骤:
1)初始化卷积神经网络;
2)将步骤2所得到的最终的训练集作为卷积神经网络的输入,计算输出;
3)使用链式求导法则计算步骤2得到的输出相对于损失函数的梯度;以初始学习率为 0.001,学习率不断递减来对参数进行调整;
4)不断重复步骤2)至步骤3),循环迭代直至损失函数收敛,最终得到烟雾检测模型。
对烟雾检测模型进行测试时,对卷积神经网络分类的正确率Ac、灵敏度Sn、特异度Sp以及速度进行检测。
灵敏度Sn的表达式为如下:
特异度Sp的表达式为如下:
其中,TP、FP、FN和TN分别代表最终的测试集中真阳性样本个数、假阳性样本个数、假阴性样本个数和真阴性样本个数。
步骤5的具体过程为:在摄像头拍摄的视频中截取图片并对截取的图片进行暗通道处理,将暗通道图片作为输入传入训练好的卷积神经网络中,得到最终分类识别结果,若有火灾烟雾出现,则卷积神经网络输出向量(0,1);若无火灾烟雾出现,则卷积神经网络输出向量(1, 0)。
相对于现有技术,本发明具有以下有益效果:
本发明基于深度学习的火灾图像识别方法先构建神经网络样本的训练集和测试集,再使用训练集的图像和测试集中的图像分别生成各自对应的暗通道图像,将训练集图像生成的暗通道图像构成最终的训练集,将测试集图像生成的暗通道图像构成最终的测试集;相对于原始图片,暗通道图像能够进一步凸显烟雾特征,使其更易于提取,因而能够有效的提高火灾图像检测的准确率,准确率高达98.41%,可以满足火灾监测要求;同时,基于图片进行烟雾检测,并不依赖烟雾动态特征,这使得摄像头可以移动旋转,扩大了检测范围,降低了成本;最后,用暗通道图像来替代RGB三通道图像,输入数据变小,提高了单张图片的检测速度。
进一步的,本发明所构建出的卷积神经网络共包括17层,17层中包括10个卷积层、4 个最大池化层、2个全连接层以及1个输出层,并对各层进行了要求和限定;在每层卷积层进行Batch Normalization处理,因此在卷积神经网络结构方面,本发明在构建卷积神经网络时,在卷积层之后对数据进行批归一化,重新定义了输入数据分布,使得网络各层参数更加独立,同时也加快了拟合速度。
进一步的,针对最终的训练集不均衡的问题,本发明对损失函数进行加权,数量少的样本类别惩罚较大,数量多的样本类别惩罚较小,从而减小了训练集不均衡对最终网络性能的影响。
附图说明
图1是本发明基于深度学习的火灾图像识别方法的流程示意图;
图2是经过暗通道处理后得到的最终训练集示意图;
图3是经过暗通道处理后得到的最终测试集示意图;
图4是本发明实施例中R通道图像与暗通道图像中烟雾点与非烟点像素差曲线图;
图5是本发明实施例中G通道图像与暗通道图像中烟雾点与非烟点像素差曲线图;
图6是本发明实施例中B通道图像与暗通道图像中烟雾点与非烟点像素差曲线图;
图7是本发明暗通道图像与现有普通图像特征对比图。
具体实施方式
下面结合附图和实例对本发明的具体实施方式作进一步详细描述。以下实施用于解释本发明,但不用来限制本发明的范围。
如图1所示,本发明的基于深度学习的火灾图像识别方法,包括以下步骤:
步骤1:构建神经网络样本的训练集和测试集,构建的样本训练集和测试集都可以分为两个部分,两部分分别为有火灾前期烟雾出现的图片组成的正样本和没有火灾烟雾出现的各种常见情景组成的负样本,没有火灾烟雾出现的各种常见情景包括如建筑、花草以及街道等;训练集和测试集都是不均衡样本集合,与日常情况一致,负样本的数量要远大于正样本的数量;正样本主要通过火灾视频提取以及小规模明火实验拍摄收集,负样本范围较广,可以在日常生活中拍摄收集;
步骤2:使用训练集的图像和测试集中的图像分别生成各自对应的暗通道图像,将训练集图像生成的暗通道图像构成最终的训练集,将测试集图像生成的暗通道图像构成最终的测试集,具体过程如下:
训练集的图像和测试集中的图像均为RGB图像,对于RGB输入图像J,x为该图像的一个像素点,x点在对应的暗通道图像中的像素Jdark(x)为:
Jdark(x)=miny∈Ω(x)(minC∈r,g,bJC(z))
其中,JC是图像J的颜色通道,C∈r,g,b,Ω(x)是以x为中心的一个窗口,z为窗口中每一个像素点,min(·)为求最小值函数;
训练集的图像和测试集中的图像分别生成各自对应的暗通道图像过程如下:
将RGB图像表示为三维矩阵,然后求出RGB图像中每个像素RGB分量的最小值,将每个像素RGB分量的最小值存入一副和原始RGB图像大小相同的灰度图中,最后再对灰度图进行最小值滤波,得到RGB图像的暗通道图像。暗通道先验是通过对大量图像数据进行观察所得到的一种先验知识,暗通道先验指出在无雾图像的非天空区域像素其暗通道值非常小趋近于0,如下式:
Jdark(x)→0
鉴于烟与雾之间的相似表观特性,本发明采用暗通道图像来构成训练集和测试集,而不使用原始图像。
步骤3:构建能够检测是否出现烟雾的卷积神经网络,所构建出的卷积神经网络共包括17 层,17层中包括10个卷积层、4个最大池化层、2个全连接层以及1个输出层;分布顺序为前三层为卷积层,之后为一个池化层,接着每两个卷积层和一个池化层交替,最后为一个卷积层和三个全连接层;即卷积神经网络中,卷积神经网络的第1层、第2层、第3层、第5层、第6层、第8层、第9层、第11层、第12层和第14层为卷积层,所述卷积层对应的卷积核数量分别为64个、64个、64个、128个、128个、256个、256个、512个、512个和256个,卷积核的大小为3×3,步长均为1,激活函数为ReLU函数;卷积神经网络的第4层、第7层、第10层和第13层为最大池化层,最大池化层的卷积核大小为2×2,步长为2;卷积神经网络的第15层和第16层为全连接层,每个全连接层的神经元数量都是2048个,激活函数为ReLU;第17层为输出层,输出层有2个神经元,激活函数为softmax;
此外,在每层卷积层进行Batch Normalization处理,使卷积层构成为Conv+BN+ReLU模式,加速网络收敛;具体的,对于一批m个数据x1,x2,……xm,γ和β是两个可学习的参数,这批m个数据进行批归一化处理后的输出为y1,y2,……,ym;
批归一化的具体过程为:
然后对每一个数据进行归一化:
最后对归一化的数据进行缩放和变换:
在两个全连接层之后添加Dropout层,对全连阶层神经元进行随机屏蔽,屏蔽的数量为全连阶层神经元数量的0.3~0.7倍,防止发生过拟合。
步骤4:使用步骤2得到的最终的训练集对步骤3构建的卷积神经网络进行训练得到烟雾检测模型;并且用步骤2得到的最终的测试集对步骤4得到的烟雾检测模型进行测试,检验卷积神经网络性能,获取烟雾检测模型的最佳参数;具体的,针对最终的训练集和最终的测试集的不均衡性,使用加权损失函数对卷积神经网络进行训练,所使用的损失函数loss为:
对卷积神经网络的训练过程包括如下步骤:
1)初始化卷积神经网络;
2)将步骤2所得到的最终的训练集作为卷积神经网络的输入,计算输出;
3)使用链式求导法则计算步骤2得到的输出相对于损失函数的梯度;以初始学习率为 0.001,学习率不断递减来对参数进行调整;
4)不断重复步骤2)至步骤3),循环迭代直至损失函数收敛,最终得到烟雾检测模型。
因为火灾具有巨大灾难性,所以不仅要对卷积神经网络分类的正确率Ac进行检验,同时也要检验卷积神经网络的灵敏度Sn、特异度Sp以及速度,以确保卷积神经网络性能能够用于实际生活;将最终的测试集中的样本依次输入经过训练的卷积神经网络中,检测每张图片是否含有火灾前期烟雾,得到分类结果和各项指标数据。其中,灵敏度Sn的表达式为如下:
特异度Sp的表达式为如下:
其中,TP、FP、FN和TN分别代表最终的测试集中真阳性样本个数、假阳性样本个数、假阴性样本个数和真阴性样本个数。
步骤5,当对火灾进行识别时,使用获取的图像生成对应的暗通道图像,并将生成的暗通道图像作为测试集,将测试集输入步骤4测试好的卷积神经网络中进行识别。具体过程为:先用摄像头对可能发生火灾的区域就行拍摄监控,在得到的视频中截取图片进行暗通道处理,将暗通道图片作为输入传入步骤4中已经训练测试好的卷积神经网络中,即可得到最终分类识别结果,若有火灾烟雾出现,则输出向量(0,1);若无火灾烟雾出现,则输出向量(1,0)。
实施例
本实施例的基于深度学习的火灾图像识别方法,包括如下步骤:
步骤1:构建神经网络样本训练集和测试集:
本实例中采集了含有火灾前期烟雾的图片和不含火灾的正常图片用于训练卷积神经网络。具体的,含有火灾前期烟雾的图片通过火灾视频提取以及小规模明火实验拍摄收集,不含火灾的正常图片通过在日常生活中拍摄收集。训练集共有照片10712张,其中有烟图片2201张,为有烟图片加标签为1,无烟图片8501张,为无烟图片加标签为0;
测试集中共有照片1383张,其中有烟图片552张,为有烟图片加标签为1,无烟图片831 张,为无烟图片加标签为0。将训练集和测试集中的所有图片归一化至大小48×48。日常生活中,安全情况的复杂程度以及数量远多于火灾发生情况,与之类似,训练集中,无烟图片约为有烟图片的4倍,为不均衡数据集。
步骤2:使用训练集和测试集中的图像生成暗通道图像并构成最终的训练集和测试集;
本实例中对每张图像都进行暗通道处理,得到其暗通道图像Jdark。对于RGB输入图像J, x为该图像的一个像素点,x点在对应的暗通道图像中的像素Jdark(x)为:
Jdark(x)=miny∈Ω(x)(minC∈r,g,bJC(z))
其中,JC是图像J的颜色通道,C∈r,g,b,Ω(x)是以x为中心的一个窗口,z为窗口中每一个像素点,min(·)为求最小值函数;
也就是先将RGB图像表示为三维矩阵,然后求出RGB图像中每个像素RGB分量的最小值,将每个像素RGB分量的最小值存入一副和原始图像大小相同的灰度图中,最后再对灰度图进行最小值滤波,即可得到暗通道图像。最终得到的暗通道训练集(见图2)和最终的测试集(见图3)。暗通道先验(Dark Channel Priori)是通过对大量图像数据进行观察所得到的一种先验知识。暗通道先验指出在无雾图像的非天空区域像素其暗通道值非常小趋近于0,如下式:
Jdark(x)→0
造成这种现象的原因有三个:
1)大量阴影部分的存在;
2)黑色物体;
3)色彩鲜艳的物体不可避免在某一颜色通道上亮度值很低。
除了云和雾以外,图像中的一些白色目标如雪、烟、瀑布等也不满足暗通道先验。
暗通道图像相比于之前的RGB图像,烟雾特征更加明显。参阅图4~图6,在一张RGB三通道图中选择100个非烟雾特征点和100个烟雾特征点,计算R通道,G通道和B通道中一对匹配特征点之间的距离;再将这张图处理成暗通道图像,再次选择相同像素点,计算对应特征点对之间的距离。可以看出,在二者距离不大,即在非烟雾特征点与烟雾特征点相似的像素,二者差距不大,但是在二者距离较大时,即非烟雾特征点与烟雾特征点差距较大的地方,二者差距明显被放大,这有利于卷积神经网络提取特征,使得分类效果更好。同时变三通道图像为单通道图像,数据量更小,网络运算速度也更快。
步骤3:构建能够检测是否出现烟雾的卷积神经网络;
如图7所示,本实例中构建出的卷积神经网络共包括17层,其中10个卷积层,4个池化层,2个全连接层和最后的1个输出层;分布顺序为前三层为卷积层,之后为一个池化层,接着每两个卷积层和一个池化层交替,最后为一个卷积层和三个全连接层;即整体结构为第1、 2、3、5、6、8、9、11、12、14层为卷积层,对应的每个卷积层对应的卷积核数量分别为64、64、64、128、128、256、256、512、512、256个,卷积核的大小为3×3,步长均为1,激活函数为ReLU函数;第4、7、10、13层为最大池化层,卷积核大小为2×2,步长为2;卷积神经网络的15、16层为全连接层,神经元数量都是2048个,激活函数为ReLU;第17层为输出层,有2个神经元,激活函数为softmax。
此外,在每层卷积层都添加了批归一化(Batch Normalization)。对于一批m个数据 x1,x2,……xm,γ和β是两个可学习的参数,这批m个数据进行批归一化处理后的输出为y1,y2,……,ym,算法过程如下:
然后对对每一个数据进行归一化:
最后对归一化的数据进行缩放和变换:
使用批归一化后,每一层网络参数在训练时依旧在不断改变,但每一层网络输入分布的均值和方差不变,降低了前一层网络参数变化对后一层输入分布的影响能力,使得网络参数学习更加独立,网络收敛速度更快。
最后,在两个全连接层之后添加了Dropout层,按照设置概率0.5随机屏蔽掉一部分神经元,防止发生过拟合。
步骤4:使用步骤2得到的最终的训练集对步骤3构建的卷积神经网络进行训练得到烟雾检测模型;并且用步骤2得到的最终的测试集对步骤4得到的烟雾检测模型进行测试,检验卷积神经网络性能,获取烟雾检测模型的最佳参数;
具体的,针对最终的训练集和最终的测试集的不均衡性,使用加权损失函数对卷积神经网络进行针对训练集和测试集的不均衡性,使用加权损失函数进行训练,所使用的损失函数为:
具体训练过程如下:
1)初始化卷积神经网络;
2)将步骤2所得到的最终的训练集作为卷积神经网络的输入,计算输出;
3)使用链式求导法则计算步骤2得到的输出相对于损失函数的梯度;以初始学习率为 0.001,学习率不断递减来对参数进行调整;
4)不断重复步骤2)至步骤3),循环迭代直至损失函数收敛,最终得到烟雾检测模型。
因为火灾具有巨大灾难性,所以不仅要对网络分类的正确率Ac进行检验,同时也要检验网络的灵敏度Sn、特异度Sp以及检测速度,以确保网络性能能够用于实际生活。将含烟样本视为正样本、非烟样本视为负样本,用TP(True Positive)、FP(False Positive)、FN(False Negative)、 TN(True Negative)分别代表验证集中真阳性、假阳性、假阴性、真阴性样本个数。在此基础上,灵敏度Sn与特异度Sp分别如下:
将测试集中的样本依次输入到步骤4中经过训练的神经网络中,检测每张图片是否含有火灾前期烟雾,得到分类结果和各项指标数据。训练得到的卷积神经网络准确率Ac可以达到 98.41%,灵敏度Sn可以达到98.18%,特异度Sp可以达到98.45%。
步骤5:当对火灾进行识别时,先用摄像头对可能发生火灾的区域就行拍摄监控,在得到的视频中截取图片进行暗通道处理,将暗通道图片作为输入传入步骤4中已经训练测试好的卷积神经网络中,即可得到最终分类识别结果,若有火灾烟雾出现,则会输出向量(0,1);若无火灾烟雾出现,则会输出向量(1,0)。
Claims (9)
1.一种基于深度学习的火灾图像识别方法,其特征在于,包括以下步骤:
步骤1:构建神经网络样本的训练集和测试集;
步骤2:使用训练集的图像和测试集中的图像分别生成各自对应的暗通道图像,将训练集图像生成的暗通道图像构成最终的训练集,将测试集图像生成的暗通道图像构成最终的测试集;
步骤3:构建能够检测是否出现烟雾的卷积神经网络;
步骤4:使用步骤2得到的最终的训练集对步骤3构建的卷积神经网络进行训练得到烟雾检测模型;并且用步骤2得到的最终的测试集对步骤4得到的烟雾检测模型进行测试,检验卷积神经网络性能,获取烟雾检测模型的最佳参数;
步骤5,当对火灾进行识别时,使用获取的图像生成对应的暗通道图像,并将生成的暗通道图像作为测试集,将测试集输入步骤4测试好的卷积神经网络中进行识别;
步骤3中,所构建出的卷积神经网络共包括17层,17层中包括10个卷积层、4个最大池化层、2个全连接层以及1个输出层;其中,卷积神经网络的第1层、第2层、第3层、第5层、第6层、第8层、第9层、第11层、第12层和第14层为卷积层,所述卷积层对应的卷积核数量分别为64个、64个、64个、128个、128个、256个、256个、512个、512个和256个,卷积核的大小为3×3,步长均为1,激活函数为ReLU函数;
卷积神经网络的第4层、第7层、第10层和第13层为最大池化层,最大池化层的卷积核大小为2×2,步长为2;
卷积神经网络的第15层和第16层为全连接层,每个全连接层的神经元数量都是2048个,激活函数为ReLU;
第17层为输出层,输出层有2个神经元,激活函数为softmax;
在每层卷积层进行批归一化处理,使卷积层构成为Conv+BN+ReLU模式;在两个全连接层之后添加Dropout层,对全连阶层神经元进行随机屏蔽,屏蔽的数量为全连阶层神经元数量的0.3~0.7倍。
2.根据权利要求1所述的一种基于深度学习的火灾图像识别方法,其特征在于,步骤1中,训练集包括两部分,两部分分别为有火灾前期烟雾出现的图片组成的正样本和没有火灾烟雾出现的图片组成的负样本;测试集包括两部分,两部分分别为有火灾前期烟雾出现的图片组成的正样本和没有火灾烟雾出现的图片组成的负样本;
训练集和测试集都是不均衡样本集合,负样本的数量大于正样本的数量。
3.根据权利要求1所述的一种基于深度学习的火灾图像识别方法,其特征在于,步骤2中,训练集的图像和测试集中的图像均为RGB图像,对于RGB输入图像J,x为该图像的一个像素点,x点在对应的暗通道图像中的像素Jdark(x)为:
Jdark(x)=miny∈Ω(x)(minC∈r,g,bJC(z))
其中,JC是图像J的颜色通道,C∈r,g,b,Ω(x)是以x为中心的一个窗口,z为窗口中每一个像素点,min(·)为求最小值函数;
训练集的图像和测试集中的图像分别生成各自对应的暗通道图像过程如下:
将RGB图像表示为三维矩阵,然后求出RGB图像中每个像素RGB分量的最小值,将每个像素RGB分量的最小值存入一副和原始RGB图像大小相同的灰度图中,最后再对灰度图进行最小值滤波,得到RGB图像的暗通道图像。
6.根据权利要求5所述的一种基于深度学习的火灾图像识别方法,其特征在于,步骤4中,对卷积神经网络的训练过程包括如下步骤:
1)初始化卷积神经网络;
2)将步骤2所得到的最终的训练集作为卷积神经网络的输入,计算输出;
3)使用链式求导法则计算步骤2得到的输出相对于损失函数的梯度;以初始学习率为0.001,学习率不断递减来对参数进行调整;
4)不断重复步骤2)至步骤3),循环迭代直至损失函数收敛,最终得到烟雾检测模型。
7.根据权利要求1所述的一种基于深度学习的火灾图像识别方法,其特征在于,步骤4中,对烟雾检测模型进行测试时,对卷积神经网络分类的正确率Ac、灵敏度Sn、特异度Sp以及速度进行检测。
9.根据权利要求1所述的一种基于深度学习的火灾图像识别方法,其特征在于,步骤5的具体过程为:在摄像头拍摄的视频中截取图片并对截取的图片进行暗通道处理,将暗通道图片作为输入传入训练好的卷积神经网络中,得到最终分类识别结果,若有火灾烟雾出现,则卷积神经网络输出向量(0,1);若无火灾烟雾出现,则卷积神经网络输出向量(1,0)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811271332.8A CN109522819B (zh) | 2018-10-29 | 2018-10-29 | 一种基于深度学习的火灾图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811271332.8A CN109522819B (zh) | 2018-10-29 | 2018-10-29 | 一种基于深度学习的火灾图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109522819A CN109522819A (zh) | 2019-03-26 |
CN109522819B true CN109522819B (zh) | 2020-08-18 |
Family
ID=65773163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811271332.8A Active CN109522819B (zh) | 2018-10-29 | 2018-10-29 | 一种基于深度学习的火灾图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109522819B (zh) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112116526B (zh) * | 2019-06-19 | 2024-06-11 | 中国石油化工股份有限公司 | 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法 |
CN110378421B (zh) * | 2019-07-19 | 2021-06-25 | 西安科技大学 | 一种基于卷积神经网络的煤矿火灾识别方法 |
CN110428579B (zh) * | 2019-08-08 | 2022-01-18 | 刘宝鑫 | 基于图像识别的室内监控系统、方法及装置 |
CN110598655B (zh) * | 2019-09-18 | 2023-12-19 | 东莞德福得精密五金制品有限公司 | 人工智能云计算多光谱烟雾高温火花火灾监控方法 |
CN110991243A (zh) * | 2019-11-01 | 2020-04-10 | 武汉纺织大学 | 一种基于颜色通道hsv结合卷积神经网络的秸秆燃烧识别方法 |
CN110991242B (zh) * | 2019-11-01 | 2023-02-21 | 武汉纺织大学 | 一种负样本挖掘的深度学习烟雾识别方法 |
CN111080612B (zh) * | 2019-12-12 | 2021-01-01 | 哈尔滨市科佳通用机电股份有限公司 | 一种货车轴承破损检测方法 |
CN111402219A (zh) * | 2020-03-11 | 2020-07-10 | 北京深睿博联科技有限责任公司 | 陈旧性脑梗死检测方法和装置 |
CN111369472B (zh) * | 2020-03-12 | 2021-04-23 | 北京字节跳动网络技术有限公司 | 图像去雾方法、装置、电子设备及介质 |
CN111539325A (zh) * | 2020-04-23 | 2020-08-14 | 四川旅游学院 | 基于深度学习的森林火灾探测方法 |
CN111613037B (zh) * | 2020-04-30 | 2022-09-13 | 杭州拓深科技有限公司 | 一种基于智能算法的降低复合烟感误报的方法 |
CN113628401A (zh) * | 2020-05-07 | 2021-11-09 | 广东毓秀科技有限公司 | 基于烟雾检测的密集场所智能逃生设施 |
CN111898440B (zh) * | 2020-06-30 | 2023-12-01 | 成都思晗科技股份有限公司 | 一种基于三维卷积神经网络的山火检测方法 |
CN111814689B (zh) * | 2020-07-09 | 2024-08-20 | 浙江大华技术股份有限公司 | 火灾识别网络模型的训练方法、火灾识别方法及相关设备 |
CN113291703A (zh) * | 2020-08-31 | 2021-08-24 | 湖南长天自控工程有限公司 | 一种卸料口堵料检测方法及装置 |
CN112215122B (zh) * | 2020-09-30 | 2023-10-24 | 中国科学院深圳先进技术研究院 | 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质 |
CN112396026B (zh) * | 2020-11-30 | 2024-06-07 | 北京华正明天信息技术股份有限公司 | 基于特征聚合与密集连接的火灾图像特征提取方法 |
CN112349057A (zh) * | 2020-12-01 | 2021-02-09 | 北京交通大学 | 基于深度学习的室内烟雾和火灾检测方法 |
CN112614298A (zh) * | 2020-12-09 | 2021-04-06 | 杭州拓深科技有限公司 | 一种基于类内交互约束分层单分类的复合烟感监测方法 |
CN112861635B (zh) * | 2021-01-11 | 2024-05-14 | 西北工业大学 | 一种基于深度学习的火灾及烟雾实时检测方法 |
CN112699963A (zh) * | 2021-01-13 | 2021-04-23 | 四川九通智路科技有限公司 | 一种火灾检测方法 |
CN112861737A (zh) * | 2021-02-11 | 2021-05-28 | 西北工业大学 | 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法 |
CN113255717A (zh) * | 2021-03-25 | 2021-08-13 | 中冶赛迪重庆信息技术有限公司 | 一种管廊火灾检测方法及系统 |
CN113052124B (zh) * | 2021-04-09 | 2023-02-10 | 济南博观智能科技有限公司 | 一种起雾场景的识别方法、装置和计算机可读存储介质 |
CN113536938A (zh) * | 2021-06-18 | 2021-10-22 | 云南电网有限责任公司 | 一种融合5g的输电线路山火智能预警方法及系统 |
TWI803243B (zh) * | 2022-03-16 | 2023-05-21 | 鴻海精密工業股份有限公司 | 圖像擴增方法、電腦設備及儲存介質 |
CN114419558B (zh) * | 2022-03-31 | 2022-07-05 | 华南理工大学 | 火灾视频图像识别方法、系统、计算机设备及存储介质 |
CN114863227A (zh) * | 2022-05-24 | 2022-08-05 | 重庆中科云从科技有限公司 | 模型评估方法、系统及计算机存储介质 |
CN115331264B (zh) * | 2022-10-13 | 2023-01-31 | 山东济矿鲁能煤电股份有限公司阳城煤矿 | 一种基于神经网络的矿山工人安全识别管理方法 |
CN117150298B (zh) * | 2023-09-01 | 2024-06-07 | 中国电建集团江西省水电工程局有限公司 | 基于深度学习的地铁fas火灾报警系统的调试方法 |
CN117253031B (zh) * | 2023-11-16 | 2024-01-30 | 应急管理部天津消防研究所 | 一种基于多元复合深度学习的森林火灾监测方法 |
CN118129420B (zh) * | 2024-05-07 | 2024-07-30 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种镜头自动去雾方法及装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077504B (zh) * | 2013-01-10 | 2015-08-05 | 厦门大学 | 一种基于自适应光照计算的图像去雾方法 |
CN104715559B (zh) * | 2015-03-06 | 2018-07-27 | 温州大学 | 一种基于轨迹辨识的烟雾检测及火灾预警方法 |
CN106682635B (zh) * | 2016-12-31 | 2019-01-04 | 中国科学技术大学 | 一种基于随机森林特征选择的烟雾检测方法 |
CN107024586A (zh) * | 2017-04-20 | 2017-08-08 | 中国人民解放军第五九医院 | 基于人工神经网络肿瘤标志联合检测辅助诊断肝癌的方法 |
CN107194924A (zh) * | 2017-05-23 | 2017-09-22 | 重庆大学 | 基于暗通道先验和深度学习的高速公路雾天能见度检测方法 |
CN107633212A (zh) * | 2017-08-30 | 2018-01-26 | 清华大学苏州汽车研究院(吴江) | 一种基于视频图像的烟火检测方法和装置 |
CN107749067A (zh) * | 2017-09-13 | 2018-03-02 | 华侨大学 | 基于运动特性和卷积神经网络的火灾烟雾检测方法 |
CN107633513B (zh) * | 2017-09-18 | 2021-08-17 | 天津大学 | 基于深度学习的3d图像质量的度量方法 |
CN107862678B (zh) * | 2017-10-19 | 2020-03-17 | 宁波大学 | 一种眼底图像无参考质量评价方法 |
CN108243129B (zh) * | 2017-12-15 | 2019-12-24 | 西安电子科技大学 | 基于注意力深度网络的无线电信号特征提取方法 |
CN108230275A (zh) * | 2018-02-05 | 2018-06-29 | 电子科技大学 | 图像去雾的方法 |
CN108537215B (zh) * | 2018-03-23 | 2020-02-21 | 清华大学 | 一种基于图像目标检测的火焰检测方法 |
CN108596213A (zh) * | 2018-04-03 | 2018-09-28 | 中国地质大学(武汉) | 一种基于卷积神经网络的高光谱遥感图像分类方法及系统 |
CN108711139B (zh) * | 2018-04-24 | 2019-04-23 | 特斯联(北京)科技有限公司 | 一种基于去雾ai图像分析系统和快速响应门禁控制方法 |
CN108648409B (zh) * | 2018-04-28 | 2020-07-24 | 北京环境特性研究所 | 一种烟雾检测方法及装置 |
-
2018
- 2018-10-29 CN CN201811271332.8A patent/CN109522819B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109522819A (zh) | 2019-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109522819B (zh) | 一种基于深度学习的火灾图像识别方法 | |
CN110135269B (zh) | 一种基于混合颜色模型与神经网络的火灾图像检测方法 | |
Zhan et al. | A high-precision forest fire smoke detection approach based on ARGNet | |
Zhao et al. | SVM based forest fire detection using static and dynamic features | |
Premal et al. | Image processing based forest fire detection using YCbCr colour model | |
CN109460708A (zh) | 一种基于生成对抗网络的林火图像样本生成方法 | |
CN109211793B (zh) | 结合光谱指数和神经网络的火灾过火迹地识别方法 | |
CN108985192A (zh) | 一种基于多任务深度卷积神经网络的视频烟雾识别方法 | |
CN107609470A (zh) | 野外火灾早期烟雾视频检测的方法 | |
CN111126293A (zh) | 一种火焰和烟雾异常情况检测方法及系统 | |
CN113627504B (zh) | 基于生成对抗网络的多模态多尺度特征融合目标检测方法 | |
CN109740673A (zh) | 一种融合暗通道的神经网络烟雾图像分类方法 | |
CN104463869B (zh) | 一种视频火焰图像复合识别方法 | |
CN108052865A (zh) | 一种基于卷积神经网络和支持向量机的火焰检测方法 | |
CN115424171A (zh) | 火焰和烟雾检测方法、装置和存储介质 | |
Qiang et al. | Forest fire smoke detection under complex backgrounds using TRPCA and TSVB | |
CN110909672A (zh) | 一种基于双流卷积神经网络和svm的抽烟动作识别方法 | |
CN112668557A (zh) | 一种行人再识别系统中防御图像噪声攻击的方法 | |
CN116152658A (zh) | 一种基于域对抗特征融合网络的林火烟雾检测方法 | |
CN115311601A (zh) | 一种基于视频分析技术的火灾探测分析方法 | |
Xu et al. | Tackling small data challenges in visual fire detection: a deep convolutional generative adversarial network approach | |
CN110321867A (zh) | 基于部件约束网络的遮挡目标检测方法 | |
CN111898440A (zh) | 一种基于三维卷积神经网络的山火检测方法 | |
CN110796008A (zh) | 一种基于视频图像的早期火灾检测方法 | |
Hao et al. | Video flame detection using convolutional neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |