CN109886227A - 基于多通道卷积神经网络的室内火灾视频识别方法 - Google Patents

Abstract

本发明提供基于多通道卷积神经网络的室内火灾视频识别方法，属于图像处理识别技术领域。本发明首先对视频中的图像进行火焰的区域分割，提取图像中疑似火焰目标，进而获得疑似火焰目标区域面积；然后对图像提取火焰颜色特征；根据疑似火焰目标区域面积对视频中的图像提取圆形度特征和面积变化特征；再将火焰颜色特征、圆形度特征以及面积变化特征作为检测特征通道，设计卷积神经网络CNN模型；对各个通道图像特征进行识别训练；最后将从待识别视频中提取的火焰颜色特征、圆形度特征以及面积变化特征输入训练好的卷积神经网络中进行火灾识别。本发明解决了现有火灾视频识别技术的识别准确率较低的问题。本发明可应用于室内火灾视频识别。

Description

基于多通道卷积神经网络的室内火灾视频识别方法

技术领域

本发明涉及室内火灾视频识别方法，属于图像处理识别技术领域。

背景技术

随着智能家居发展，通过视频识别方式来检测火灾火焰已成为智能家居的关键技术。研究室内环境下的火灾场景识别方法，解决室内环境火灾检测和预警问题，能降低火灾发生造成的人员伤亡和财产损失。针对室内(家庭、仓储等)环境，研究人员近年来开展了相关视觉识别分析工作。国外韩国启明大学，蔚山大学，西弗兰德大学，比利时根特大学，美国海军研究实验室和Hughes联合公司等针对视频火灾探测技术开展了相关研究工作(CelikT,Demirel H,Ozkaramanli H,et al.Fire detection using statistical color modelin video sequences[J].Fire Safety Journal,2007(18):176-185.)(Liu C B,AhujaN.Vision based fire detection[C]//Proceedings of the 17th InternationalConference on PatternRecognition.Urbana,IL,USA:Illinois Univ,2004:134-137.)。高娜提出火灾探测的图像纹理特征提取方法(高娜,董爱华.火灾探测中火焰图像分割方法研究[J].河南理工大学学报(自然科学版),2008(01):17-20+27.)。王光耀利用背景减除法检测到火焰运动区域，在YCbCr颜色空间建立火焰颜色模型，对运动区域进行颜色分割(王光耀.基于机器学习的火灾检测方法研究[D].大连理工大学,2015.)。邵婧等人建立自适应混合高斯模型检测视频中运动区域，使用模糊均值区分疑似火焰区域和非火焰区域(邵婧,王冠香,郭蔚.基于视频动态纹理的火灾检测[J].中国图象图形学报，2013，18(06):647-653.)。张进华等提出基于视频多特征融合的火焰识别算法(张进华,庄健,杜海峰,王孙安.一种基于视频多特征融合的火焰识别算法[J].西安交通大学学报,2006(07):811-814.)。谢迪等提出把视频火焰转化成灰度图像，通过直方图均衡化消除光照影响，借助人工神经网络进行综合决策(谢迪,童若锋,唐敏,冯阳.具有高区分度的视频火焰检测方法[J].浙江大学学报(工学版),2012,46(04):698-704.)。杨亚洁等提出利用颜色概率统计模型进行火焰图像分割进而通过统计圆形度特征用以对火焰进行识别(杨亚洁,薛静,乔鸿海,刘宇.基于多特征匹配的视频图像火灾火焰检测方法研究[J].电子设计工程,2014,22(03):186-189+193.)。但是以上方法的识别准确率均不高，不适宜应用于日常生活中。

发明内容

本发明为解决现有火灾视频识别技术的识别准确率较低的问题，提供了基于多通道卷积神经网络的室内火灾视频识别方法。

本发明所述基于多通道卷积神经网络的室内火灾视频识别方法，通过以下技术方案实现：

步骤一、对视频中的图像进行火焰的区域分割，提取图像中疑似火焰目标，进而获得疑似火焰目标区域面积；

步骤二、对视频中的图像提取火焰颜色特征；

步骤三、根据疑似火焰目标区域面积对视频中的图像提取圆形度特征和面积变化特征；

步骤四、将火焰颜色特征、圆形度特征以及面积变化特征作为检测特征通道，设计卷积神经网络CNN模型；对各个通道图像特征进行识别训练；

步骤五、将从待识别视频中提取的火焰颜色特征、圆形度特征以及面积变化特征输入训练好的卷积神经网络中进行火灾识别。

本发明最为突出的特点和显著的有益效果是：

本发明所涉及的基于多通道卷积神经网络的室内火灾视频识别方法，考虑火焰的燃烧特性，基于OTSU的自适应火焰阈值分割，并综合考虑火焰静态特征、火焰动态特征、计算复杂度，分别提取火焰区域颜色、形度、面积变化等多通道特征信息，在保证识别速度的条件下提高了火灾识别的准确率；本发明基于TensorFlow(基于数据流编程的符号数学系统，被广泛应用于各类机器学习算法的编程实现)搭建多通道卷积神经网络，采取随机梯度下降结合动量修正方法对CNN模型进行训练；具有准确率高、识别速度快、应用场景较广的优点；仿真实验中，本发明方法的火灾识别准确率达到86％，远高于传统KNN(K最近邻)算法68.2％的准确率。

附图说明

图1为原始图像a；

图2为基于传统OTSU的火焰静态区域分割提取的图像a中疑似火焰目标；

图3为基于改进OTSU的火焰静态区域分割提取的图像a中疑似火焰目标；

图4为基于连通性分析的火焰动态区域分割流程图；

图5为原始图像b；

图6为基于常规帧间差法的火焰动态区域分割提取的图像b中疑似火焰目标；

图7为基于连通性分析的火焰动态区域分割提取的图像b中疑似火焰目标；

图8为基于RGB及HIS饱和度约束的火焰颜色特征提取；

图9为多通道卷积神经网络CNN结构示意图；

图10为实施例中基于KNN的火灾识别结果，acc表示准确率；

图11为实施例中采用本发明方法的训练集准确率曲线图；

图12为实施例中采用本发明方法的训练集损失函数曲线图，loss表示损失率；

图13为实施例中采用本发明方法的验证集准确率曲线图，val_loss表示验证集准确率。

具体实施方式

具体实施方式一：本实施方式给出的基于多通道卷积神经网络的室内火灾视频识别方法，具体包括以下步骤：

步骤一、对视频中的图像进行火焰的区域分割，提取图像中疑似火焰目标，进而获得疑似火焰目标区域面积和疑似火焰目标区域周长；

步骤二、对视频中的图像提取火焰颜色特征；

步骤三、根据疑似火焰目标区域面积对视频中的图像提取圆形度特征和面积变化特征；

步骤四、将火焰颜色特征、圆形度特征以及面积变化特征作为检测特征通道，设计卷积神经网络CNN模型；对各个通道图像特征进行识别训练；

步骤五、将从待识别视频中提取的火焰颜色特征、圆形度特征以及面积变化特征输入训练好的卷积神经网络中进行火灾识别。

火焰特征主要包括静态特征和动态特征。静态特征包含火焰颜色、形状等特征信息；动态特征主要包括火焰面积变化等。本实施方式考虑计算复杂程度，选取火焰颜色，形度及面积变化作为主要检测特征通道；不仅使应用场景更广泛，同时也在保证识别速度的条件下提高了火灾识别的准确率。

其他步骤及参数与具体实施方式一相同。

具体实施方式二：结合图1、图2、图3对本实施方式进行说明，本实施方式与具体实施方式一不同的是，步骤一中所述图像中疑似火焰目标的提取采用基于改进OTSU的火焰静态区域分割；

对于图像I(x,y)，前景和背景的分割阈值记为T，前景像素比例ω₀，前景平均灰度μ₀，前景拉伸灰度μ_0l，前景拉伸系数为k₀；背景像素比例为ω₁，背景平均灰度为μ₁，背景拉伸灰度μ_1l，背景拉伸系数为k₁；图像平均灰度为μ，图像平均拉伸灰度μ_l，类间方差记g，拉伸类间方差g_l；设图像背景较暗，图像大小为M×N，图像像素灰度值小于阈值T的像素数N₀，像素灰度大于阈值T的像素个数记作N₁，则有：

ω₀＝N₀/(MXN) (1)

ω₁＝N_i/(MxN) (2)

μ_0l＝k₀×μ₀ (3)

μ_1l＝k₁×μ₁ (4)

μ＝ω₀×μ₀+ω₁×μ₁ (5)

μ₁＝ω₀×μ_0l+ω₁×μ_1l (6)

g＝ω₀(μ₀-μ)²+ω₁(μ₁-μ)² (7)

g_l＝ω₀(μ₀-μ_l)²+ω₁(μ_1l-μ_l)² (8)

如图2所示，传统OTSU(最大类间方差法)算法假设最佳阈值时，背景与前景差别最大，衡量差别的标准是类间方差，即背景与前景灰度方差达到最大；但某些火灾图像的灰度直方图波谷较平坦，导致阈值选取存在问题。本实施方式采用基于改进OTSU的火焰静态区域分割，能够保证在任意情况下均能方便的选取阈值T(如图3所示)，从而使得整体识别准确率提高，应用场景更广。

基于改进OTSU的火焰静态区域分割具体包括以下过程：

步骤A1、计算图像I(x，y)中各灰度值(灰阶)的像素个数，保存至数组中，该数组下标对应拉伸灰度值，数组中元素分别保存图像中各灰度值对应的像素数；

步骤A2、计算图像背景平均灰度、背景像素数所占比例；

步骤A3、计算图像前景平均灰度、前景像素数所占比例；

步骤A4、遍历灰阶，寻找拉伸类间方差极大值；选择此时对应的前景与背景的分割阈值T进行火焰静态区域分割，得到图像中疑似火焰目标。

其他步骤及参数与具体实施方式一相同。

具体实施方式三：结合图4、图5、图6、图7对本实施方式进行说明，本实施方式与具体实施方式一不同的是，步骤一中所述图像中疑似火焰目标的提取采用基于连通性分析的火焰动态区域分割，如图4所示，具体包括以下过程：

步骤B1、计算当前帧图像F_i(x，y)与背景帧图像的差D(x，y)，提取目标区域；选取未发生火灾时的图像作为背景帧图像；

步骤B2、计算当前帧图像F_i(x，y)与前一帧图像F_i-1(x，y)之间的帧间差F_d(x，y)，提取目标区域变化量；i表示视屏中图像帧的序号；

步骤B3、求D(x，y)与F_d(x，y)的交集，得到运动目标粗糙运动区域；

步骤B4、利用数学形态学获得运动区域并去掉背景噪声，得到图像中疑似火焰目标。

如图5、图6，采用常规帧间差分检测火焰视频，火焰中间部分运动较弱，在无连通性分析情况下，疑似火焰目标会造成内部区域空洞问题。而加入连通性分析完整地提取疑似火焰目标，解决了提取火焰区域空洞的问题，如图7所示。

其他步骤及参数与具体实施方式一相同。

具体实施方式四：本实施方式与具体实施方式一、二或三不同的是，步骤二中所述火焰颜色特征的具体提取条件包括：

R>R_T (9)

R≥G＞B (10)

S≥(255-R)±S_T/R_T (11)

其中，R为视频中的图像的红色分量，G为视频中的图像的绿色分量，B为视频中的图像的蓝色分量；S为视频中的图像的饱和度；R_T为红色分量阈值，S_T为饱和度阈值；

结合RGB和HIS颜色信息，室内场景中火焰红色分量R和绿色分量G较大，绿色分量G通常大于蓝色分量B。在RGB判据基础上，采用HIS颜色模型的饱和度S约束条件；对视频中同时满足式(9)、式(10)、式(11)的图像进行提取，同时满足式(9)、式(10)、式(11)的图像火焰颜色特征值为1，否则火焰颜色特征值0。如图8所示，提取了火焰和灯光两个目标，此时灯光为火焰检测的干扰源。因此，单一颜色特征无法准确区分出火焰目标，需要进一步融合多特征进行判断；

其他步骤及参数与具体实施方式一、二或三相同。

具体实施方式五：本实施方式与具体实施方式四不同的是，步骤三中所述圆形度特征的具计算公式为：

其中，C_i为圆形度，S_i表示第帧图像中疑似火焰目标区域面积，i＝1,2,3,…,n；n表示视屏中图像帧的总数；L_i表示疑似火焰目标区域周长；

通常情况下，室内火灾火焰时变且形状不规整，而蜡烛、灯光、手电筒等近似颜色干扰源形状相对稳定，定义圆形度为物体边缘与圆相似程度，用来表示边缘轮廓复杂程度。圆形度对圆形物体取最大值1。下表1为火焰目标轮廓及多种干扰源圆形度计算结果：

表1火焰及干扰源圆形度数据

由于火灾火焰轮廓的不规则性，圆形度通常较小，而与火灾火焰颜色或亮度相近的多种干扰源圆形度均比较大，形状相对规则。因此，形度是区分火灾火焰与干扰源的重要特征。

其他步骤及参数与具体实施方式一至四相同。

具体实施方式六：本实施方式与具体实施方式五不同的是，步骤三中所述面积变化特征具体为面积变化趋势的值；

燃烧是一个动态的不稳定的过程，对应的各帧图像中疑似火焰目标区域面积记为S₁,…,S_n；伴随火焰从无到有，新物质加入燃烧，火焰面积不断增大，但也会持续振荡。取连续n帧图像火焰面积的平均值，能够在一定程度上抑制振荡变化的影响，且连续帧数越多，抑制效果越好。

设n帧图像的疑似火焰目标区域面积的平均值为面积变化趋势为R(n)，则有：

其中，当R(n)＞1说明目标区域面积有增大趋势；选取火灾图像、蜡烛、台灯及红衣干扰图像四种样本，计算图像平均变化值，结果如表2所示。火焰面积变化为正值，绝对值远大于其余干扰源面积变化值。因此，面积变化特征是区别火焰与干扰源的重要动态特征。

表2火焰与其它干扰源面积平均变化

其他步骤及参数与具体实施方式一至五相同。

具体实施方式七：如图9所示，本实施方式与具体实施方式六不同的是，步骤四中所述卷积神经网络CNN模型包括火焰颜色特征通道、圆形度特征通道以及面积变化特征通道；

其中，火焰颜色特征通道包括输入层、卷积层、池化层、全连接层；对于圆形度特征以及面积变化特征，通过构建三层BP神经网络分别进行处理，因此圆形度特征通道和面积变化特征通道均包括输入层、隐含层、全连接层；输入层根据输入特征位数定义，三个通道数据最终通过输出层进行融合输出。多通道处理特征经过输出层SoftMax函数(归一化指数函数)融合后形成对火灾有无的联合判断。

其他步骤及参数与具体实施方式一至七相同。

具体实施方式八：本实施方式与具体实施方式七不同的是，所述池化层用于接收卷积层计算得到的火焰特征映射图，并整合同一特征图中相邻神经元输出；特征映射图经过池化后维度会大幅度降低并保留图像关键信息，如火焰颜色、尖角、形状等，同时去除冗余的数据，加快网络训练速度。火灾火焰图像每相邻区域内的像素点具有较大的相似度，取疑似火焰目标区域的极大池化值(区域内所有像素值中的最大值)为采样值来描述这一区域，极大池化值的计算公式为：

其中，P_m,j表示R_m,j区域的极大池化值，M_k,l表示R_m,j区域中点的像素值；R_m,j表示(m,j)位置池化区域。

其他步骤及参数与具体实施方式一至七相同。

具体实施方式九：本实施方式与具体实施方式八不同的是，步骤四中步骤四中结合随机梯度下降(SGD)方法与动量(Momentum)方法对CNN进行识别训练。

SGD每次从训练集中随机选择一个样本进行学习，避免输入数据顺序的过拟合。SGD相比批量学习，SGD大大减少迭代次数。SGD下降训练速度快。SGD每次对CNN网络权值参数的更新都依靠单一数据样本，使整个模型权值参数会向对单体优化更好的方向前进，而不是向着对整体样本优化更好的方向进行，因而准确率相对批量梯度下降有所降低，存在过拟合情况。因此，引入Momentum动量方法，Momentum方法利用了前几次迭代梯度参与运算，在一定程度上保留之前更新方向，同时利用当前batch的梯度微调最终更新方向。在面对小而连续梯度但是含有很多噪声时，可以在一定程度上增加稳定性，提高学习速度，并且还可避免陷入局部最优。

为了提高识别准确率，在增大训练样本同时，采取dropout(随机失活)网络剪裁方法修改神经网络本身结构以避免过拟合问题。随机删除隐含层神经元，保持输入层与输出层神经元的个数不变，按照BP学习算法对火灾识别参数进行学习更新。

实施例

采用以下实施例验证本发明的有益效果：

本实施例所述基于多通道卷积神经网络的室内火灾视频识别方法按照以下步骤进行：

(1)实验数据库建立

通过互联网搜索、实验录像等方式收集视频样本情况为：124个室内火灾视频，时长8-150秒，共约80分钟，每秒30帧；20个室内非火灾视频，时长2-10分钟，共约100分钟，每秒25帧或30帧。将视频截取图片后，采取了对图像进行镜像、旋转、剪裁处理等操作，最后得到实验数据量为：训练集250000张，测试集100000张。

(2)基于KNN的火灾识别

本实验基于传统的KNN方法对室内环境视频的火焰特征提取与室内环境视频分类(有火/无火)，训练集15个视频，时长10秒至500秒，共约1000秒，每秒30帧；测试集8个视频，时长10秒至200秒，共约500秒，每秒25帧或30帧，计算K(邻居数)取不同参数时识别准确率，当K＝5时准确率最高，为68.2％；实验结果如图10所示。

(3)采用本发明方法(基于多通道卷积神经网络的室内火灾视频识别方法)进行识别

采用C++和Python语言编程，基于TensorFlow深度学习框架实现卷积神经网络模型的搭建，训练以及验证。

建立如图9所示的多通道卷积神经网络，其中隐含层通道神经元数量为1024，输出层为2。第一卷积层Cov卷积核为96个，尺寸为11×11，卷积步长为4；通过输入层输入的图像尺寸为227×227×3，经过第一层卷积之后尺寸为55×55×96。第二卷积层Cov有256个5×5卷积核，卷积步长为1，将池化后27×27×96图片卷积处理成为27×27×256尺寸图像。池化的尺寸都是3×3，步长为2。第一池化层将卷积处理的55×55×96图像最大池化处理为27×27×96；圆形度特征通道以及面积变化特征通道的全连接层长度均为128，颜色特征通道的全连接层长度分别为1024、256、2(图9中从上至下)。

训练基于35万张图片样本，训练时间42分钟。设定学习率w＝0.001，Momentum＝0.9，Minibatch＝32；训练过程中，每训练100Minibatch(一组)，验证集验证一次(epoch)。初设训练1000epoch，终止条件设为：连续10epoch验证集准确率没有提升终止训练。

训练和验证结果如图7所示，依次为训练集准确率，训练集损失率，测试集准确率。训练集准确率保持波动上升趋势，验证集上的准确率在8epoch达到下降明显并出现小幅上升趋势，因此网络模型选择在8epoch达到的最大测试集准确率作为火灾CNN识别模型参数，室内火灾场景的识别模型，其准确率达到86％；实验结果如图11、图12、图13所示。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.基于多通道卷积神经网络的室内火灾视频识别方法，其特征在于，具体包括以下步骤：

步骤一、对视频中的图像进行火焰的区域分割，提取图像中疑似火焰目标，进而获得疑似火焰目标区域面积；

步骤二、对视频中的图像提取火焰颜色特征；

步骤三、根据疑似火焰目标区域面积对视频中的图像提取圆形度特征和面积变化特征；

步骤四、将火焰颜色特征、圆形度特征以及面积变化特征作为检测特征通道，设计卷积神经网络CNN模型；对各个通道图像特征进行识别训练；

步骤五、将从待识别视频中提取的火焰颜色特征、圆形度特征以及面积变化特征输入训练好的卷积神经网络中进行火灾识别。

2.根据权利要求1所述基于多通道卷积神经网络的室内火灾视频识别方法，其特征在于，步骤一中所述图像中疑似火焰目标的提取采用基于改进OTSU的火焰静态区域分割，具体包括以下过程：

步骤A1、计算图像中各灰度值的像素个数，保存至数组中，该数组下标对应拉伸灰度值，数组中元素分别保存图像中各灰度值对应的像素数；

步骤A2、计算图像背景平均灰度、背景像素数所占比例；

步骤A3、计算图像前景平均灰度、前景像素数所占比例；

步骤A4、遍历灰阶，寻找拉伸类间方差极大值；选择此时对应的前景与背景的分割阈值T进行火焰静态区域分割，得到图像中疑似火焰目标。

3.根据权利要求1所述基于多通道卷积神经网络的室内火灾视频识别方法，其特征在于，步骤一中所述图像中疑似火焰目标的提取采用基于连通性分析的火焰动态区域分割，具体包括以下过程：

步骤B1、计算当前帧图像F_i(x，y)与背景帧的差D(x，y)；

步骤B2、计算当前帧图像F_i(x，y)与前一帧图像F_i-1(x，y)之间的帧间差F_d(x，y)；i表示视屏中图像帧的序号；

步骤B3、求D(x，y)与F_d(x，y)的交集，得到运动目标粗糙运动区域；

步骤B4、利用数学形态学获得运动区域并去掉背景噪声，得到图像中疑似火焰目标。

4.根据权利要求1、2或3所述基于多通道卷积神经网络的室内火灾视频识别方法，其特征在于，步骤二中所述火焰颜色特征的具体提取条件包括：

R＞R_T (9)

R≥G＞B (10)

S≥(255-R)×S_T/R_T (11)

其中，R为视频中的图像的红色分量，G为视频中的图像的绿色分量，B为视频中的图像的蓝色分量；S为视频中的图像的饱和度；R_T为红色分量阈值，S_T为饱和度阈值；同时满足式(9)、式(10)、式(11)的图像火焰颜色特征值为1，否则火焰颜色特征值0。

5.根据权利要求4所述基于多通道卷积神经网络的室内火灾视频识别方法，其特征在于，步骤三中所述圆形度特征的具体计算公式为：

其中，C_i为圆形度，S_i表示第i帧图像中疑似火焰目标区域面积，i＝1，2，3，...，n；n表示视屏中图像帧的总数；L_i表示疑似火焰目标区域周长。

6.根据权利要求5所述基于多通道卷积神经网络的室内火灾视频识别方法，其特征在于，步骤三中所述面积变化特征为面积变化趋势，面积变化趋势为R(n)的具体计算为：

其中，表示n帧图像的疑似火焰目标区域面积的平均值；当R(n)＞1说明目标区域面积有增大趋势。

7.根据权利要求6所述基于多通道卷积神经网络的室内火灾视频识别方法，其特征在于，步骤四中所述卷积神经网络CNN模型包括火焰颜色特征通道、圆形度特征通道以及面积变化特征通道；

其中，火焰颜色特征通道包括输入层、卷积层、池化层、全连接层；圆形度特征通道和面积变化特征通道均包括输入层、隐含层、全连接层；三个通道数据最终通过输出层进行融合输出。

8.根据权利要求7所述基于多通道卷积神经网络的室内火灾视频识别方法，其特征在于，所述池化层用于接收卷积层计算得到的火焰特征映射图，并整合同一特征图中相邻神经元输出；取疑似火焰目标区域的极大池化值为采样值来描述这一区域，极大池化值的计算公式为：

其中，P_m，j表示R_m，j区域的极大池化值，M_k，l表示R_m，j区域中点的像素值；R_m，j表示(m，j)位置池化区域。

9.根据权利要求8所述基于多通道卷积神经网络的室内火灾视频识别方法，其特征在于，步骤四中结合随机梯度下降方法与动量方法进行所述识别训练。