CN106845443A - 基于多特征融合的视频火焰检测方法 - Google Patents

Abstract

本发明涉及一种基于多特征融合的视频火焰检测方法，首先利用改进的选择性背景更新模型获取视频图像中运动前景目标，然后通过火焰颜色检测识别提取出可疑的火焰目标，再分析火焰的频闪特征、尖角特征、圆形度特征、面积增长特征和整体移动特征，最后提出一种基于层次分析法（Analytic Hierarchy Process，AHP）的火焰多种动态特征融合的检测识别方法。本发明能够准确、有效地检测识别视频中的火焰信息。

Description

基于多特征融合的视频火焰检测方法

技术领域

本发明涉及火焰检测领域，尤其涉及一种基于多特征融合的视频火焰检测方法。

背景技术

视觉火焰检测是机器视觉中具有重大理论意义和实用价值的课题之一，是目前火焰检测领域的研究热点。基于视频图像的火焰监测方法可以有效克服传统非接触式探测器探测距离小，受环境影响较大和火灾判据单一等缺点，有助于提高火灾探测的准确度和可靠性。

目前，许多学者在火焰图像检测识别上提出了不少检测方法,以下是现有有关火焰图像检测的参考文献：

[1]Bugaric M，Jakovcevic T，Stipanicev D.Adaptive estimation of visualsmoke detection parameters based on spatial data and fire risk index[J].Computer Vision and Image Understanding,2014,118(1):184-196.

[2]Seo J，Kang M，Kim C H，et a1.An optimal many-core model-basedsupercomputing for accelerating video-equipped fire detection[J].The Journalof Supercomputing,2015,71(6):2275-2308.

[3]Habiboglu Y H，Gunay O，Cetin A E.Covariance matrix-based fire andflame detection method in video[J].Machine Vision and Applications,2012,23(6):1103-1113.

[4]Cho B H,Bae J W,Jung S H.Image Processing-based Fire DetectionSystem using Statistic Color Model[C]//International Conference on AdvancedLanguage Processing and Web Information Technology,July,2008,Dalian,Liao-ning,China:245-250.

[5]Celik T,Demirel H,Ozkaramanli H,Uyguroglu M.Fire detection usingstatistical color model in video sequences[J].Journal of Visual Communicationand Image Representation.2007,18(2):176–185.

[6]Homg W B,Peng J W,Chen C Y.A New Image-Based Real-Time FlameDetection Method Using Color Analysis[C].//Proceedings of the 2005IEEEInternational Conference on Networking,Sensing and Control,2005:100-105.

[7]Toreyin B U,Dedeoglu Y,Cetin A E.Flame detection in video usinghidden markov models[C]//In:Proc.2005International Conference on ImageProcessing(ICIP 2005)[C],Genoa,Italy:2005:2457-2460.

[8]Chen Juan,He Yaping,Wang Jian.Multi-feature fusion based fastvideo flame detection[J].Building and Environment,2010,45(5):1113-1122.

[9]Zhang Z,Shen T,Zou J.An Improved Probabilistic Approach for FireDetection in Videos[J].Fire Technology,2014,50(3):745-752.

[10]李庆辉，李艾华，苏延召，等.基于FCM聚类与SVM的火焰检测算法[J].红处与激光工程.2014,43(5),1660-1666.

[11]Rong Jianzhong,Zhou Dechuang,Yao Wei,et al.Fire flame detectionbased on GICA and target tracking[J].Optics&Laser Technology,2013,47:283-291.

[12]严云洋,杜静,高尚兵,等,融合多特征的视频火焰检测[J].计算机辅助设计与图形学学报.2015,27(3):433-440.

[13]李刚，邱尚斌，林凌，等.基于背景差法和帧间差法的运动目标检测方法[J].仪器仪表学报，2006，27(8):961-965.

[14]Stauffer C,Grimson W.Learning patterns of activity using real-time tracking [J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2000,22(8):747-757.

[15]Toreyin B U,Dedeoglu Y,Gudukbay U,et al.Computer vision basedmethod for real-time fire and flame detection[J].Pattern Recognition Letters,2006,27(1):49-58.

[16]Celik T,Demirel H.Fire detection in video sequences using ageneric color model[J].Fire Safety Journal,2009,44:147-158.

[17]谢迪,童若锋,唐敏等.具有高区分度的视频火焰检测方法[J].浙江大学学报：工学版,2012,46(4):698-704.

[18]袁非牛，廖光煊，张永明，等.计算机视觉火灾探测中的特征提取[J].中国科学技术大学学报，2006，36(1):39-43.

[19]Wong A K，Fong N.Experimental study of video fire detection andits applications[J].Procedia Engineering，2014，71：316-327.

[20]John O，Prince S.Classification of flame and fire images usingfeed forward neural network[C]//Proceedings of the 2014InternationalConference on Electronics and Communication Systems(ICECS)，2014.

[21]吴冬梅，李白萍，沈燕，等.基于多特征融合的烟雾检测[J].图学学报，2015,36(4):587-592.

[22]Satty T L.The Analytic Hierarchy Process,McGraw-Hill.NewYork.1980.

[23]廖红强,邱勇,杨侠,等.对应用层次分析法确定权重系数的探讨[J].机械工程师，2012(6):22-25.

Bugaric等提出火焰检测的算法包括四个阶段：前景检测阶段，区域分析阶段，动态特性检测阶段及决策阶段。Habiboglu等提出将协方差矩阵和支持向量机用以识别火焰。文献[4-6]提出基于不同颜色空间的火焰颜色检测算法，并通过大量的火焰图像检测验证了算法的有效性，这些算法为后续的火焰颜色检测研究打下了基础，并得到广泛应用。Toreyin等采用Markov模型描述火焰闪动状态。Chen等人建立了一个计数矩阵来计算闪频特征,将闪频特征作为火焰检测的主要动态特征加以识别，算法简单，运行效率较高，但忽略了火焰的其它动态特征。Zhang等对火焰颜色模型进行了改进，结合了运动特征，通过决策融合进行判断。李庆辉等提出了结合FCM聚类与SVM的火焰检测方法，首先通过自适应混合高斯模型检测运动区域，然后利用模糊C均值聚类算法分割目标，再提取目标区域时空特征，最后通过训练好的支持向量机分类器加以识别。Rong等提出基于几何独立分量和目标跟踪的火焰检测算法，该算法对运动较慢的火焰检测效果较好，但对视频序列的噪声及运动目标区域分布过于敏感。严云洋等提出基于显著性的四元数离散余余弦变换算法来检测视频中的火焰。视频火焰检测技术容易受复杂场景、类似火焰颜色干扰物和光照条件等影响，从而使得算法的可靠性不高，还处在研究初级阶段。

发明内容

有鉴于此，本发明的目的在于提供一种基于多特征融合的视频火焰检测方法，综合了火焰运动特征、颜色特征以及基于层次分析法的火焰动态特征融合，能够准确、有效地检测识别视频中的火焰信息。

为实现上述目的，本发明采用如下技术方案：一种基于多特征融合的视频火焰检测方法，其特征在于，包括以下步骤：

步骤S1：读取第一帧图像；

步骤S2：初始化选择性背景更新模型，并设置像素累加器；

步骤S3：读取下一帧图像；

步骤S4：基于选择性背景更新模型进行运动目标检测，判断是否存在运动目标，若存在，则对运动目标进行颜色检测，否则返回步骤S3；

步骤S5：对火焰颜色区域进行腐蚀膨胀并标记获取火焰候选区域；若存在火焰候选区域，则初步判断为火焰并进一步提取图像特征信息，包括频闪特征、尖角特征、面积增长特征、圆形度特征和整体移动特征；否则返回步骤S3；

步骤S6：基于AHP对所述图像特征信息进行融合得到火焰动态特征得分，将所述火焰动态特征得分与预设的全局评估值进行比较，若火焰动态特征得分大于全局评估值，则判断目标为火焰，否则不是火焰并返回步骤S3。

进一步的，所述步骤S4中选择性背景更新模型的检测方法如下：为图像上每个位置的像素点引入一个计数器Counter_t(x,y)，当某一位置的像素点在时间T内都被检测为运动前景时，认定该像素点属于永久的运动变化，将该像素点视为背景进行背景更新。

进一步的，所述步骤S5中采用基于YCbCr颜色空间的火焰颜色检测方法，火焰像素的约束规则如下式所示：

其中，τ为设定阈值，Y(x,y)、Cb(x,y)、Cr(x,y)分别表示像素点(x,y)的在YCbCr颜色空间中的亮度分量值、蓝色色差值、红色色差值；Y_mean、Cb_mean、Cr_mean分别是图像的亮度信息、蓝色色差和红色色差的均值。

进一步的，所述频闪特征的提取方法如下：在视频首帧建立一个与视频图像大小一样的累加计数器矩阵SUM，用来分析图像中像素点(x,y)在不同时刻的亮度变化情况，如果像素点(x,y)在t时刻的亮度Y_t(x,y)和(t-1)时刻的亮度Y_t-1(x,y)发生变化，且变化值大于阈值ΔT_Y，则t时刻该像素点对应的累加计数器SUM_t(x,y)加1，否则对应累加计数器SUM_t(x,y)加0，具体请看下式：

ΔY_t(x,y)＝Y_t(x,y)-Y_t-1(x,y)

式中，SUM_t(x,y)和SUM_t-1(x,y)分别表示像素点(x,y)在t时刻和(t-1)时刻的累加计数器值；亮度信息Y为颜色检测所用到的YCbCr颜色模型的Y分量；Y_t(x,y)和Y_t-1(x,y)分别表示像素点(x,y)在t时刻和(t-1)时刻的亮度值，ΔT_Y为设定的阀值；

给定火焰的闪动约束条件：

(Timer(x,y,t)-timer(x,y,t-n))≥T_f

其中，n为给定的序列长度或时间窗口，相邻帧间的步长为1，T_f为设定的闪动阈值；

对图像中的火焰候选区域进行标记，利用下式表示频闪特征：

R_i＝NUM_if/NUM_icm≥λ

其中，NUM_icm和NUM_if分别表示各区域中白色目标的像素点总数和像素点数，λ为阈值，Ri为频闪特征。

进一步的，所述给定的序列长度或时间窗口的取值为n＝25，闪动阈值的取值为T_f＝8。

进一步的，所述面积增长特征的提取方法如下：

其中，At和At+k分别为t时刻和t+k时刻火焰区域的面积,ΔA_t为时间k内面积变化率，即面积增长特征。

进一步的，所述步骤S6中对所述图像特征信息进行融合的方法为：

I_F＝I(a)W_a+I(b)W_b+I(c)W_c+I(d)W_d+I(e)W_e

其中，I(a)、I(b)、I(c)、I(d)、I(e)分别表示频闪特征、尖角特征、整体移动特征、面积增长特征和圆形度特征，Wa、Wb、Wc、Wd、We分别表示频闪特征、尖角特征、整体移动特征、面积增长特征和圆形度特征的权值。

进一步的，所述频闪特征、尖角特征、整体移动特征、面积增长特征和圆形度特征的权值的取值为Wa＝0.4657、Wb＝0.2257、Wc＝0.1573、Wd＝0.0782、We＝0.0731。

本发明与现有技术相比具有以下有益效果：本发明针对目前视频火焰检测存在的不足，对火焰运动特征、颜色特征和频闪特征、尖角特征、圆形度特征、整体移动特征、面积增长特征等动态特征进行了识别分析，并首次提出一种基于层次分析法的火焰多特征融合的视频火焰检测方法。相比于其他算法，本发明的火焰检测方法准确率较高，误检率较低，具有较强的鲁棒性，展现出较好的应用前景。

附图说明

图1是本发明的算法流程图。

图2是本发明的永久变化目标检测流程图。

图3a是本发明一实施例的视频原图像。

图3b是图3a基于本发明建立的背景。

图3c是图3a基于本发明提取的目标。

图3d是图3a基于混合高斯模型提取的目标。

图4a是本发明一实施例的视频原图像。

图4b是图4a基于文献4的颜色检测效果图。

图4c是图4a基于文献5的颜色检测效果图。

图4d是图4a基于文献6的颜色检测效果图。

图4e是图4a基于本发明的颜色检测效果图。

图5a是本发明一实施例的视频原图像。

图5b是图5a基于本发明得到的频闪特征。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于多特征融合的视频火焰检测方法，其特征在于，包括以下步骤：

步骤S1：读取第一帧图像；

步骤S2：初始化选择性背景更新模型，并设置像素累加器；

步骤S3：读取下一帧图像；

步骤S4：基于选择性背景更新模型进行运动目标检测，判断是否存在运动目标，若存在，则对运动目标进行颜色检测，否则返回步骤S3；

当有火灾发生时，火焰从无到有呈现出一种变化发展的运动特性。在本系统中，首先通过运动目标检测，分割出运动的前景目标，排除监控区域中静止的干扰背景。目前，常用的运动目标检测方法主要分为三大类：光流法，帧间差分法，背景消减法。每种方法都有自己的特点和应用局限性。视频图像提取运动目标的一个重要方法是背景建模法，其基本思想是：建立背景统计模型，使每一时刻的背景模型更好的逼近真实的环境背景，然后通过求解当前图像与背景图像的差分来提取出运动前景。背景建模的关键在于背景更新算法的好坏，很多学者提出了不同的背景更新方法，主要有一阶Kalman滤波法,W4法，统计平均法,高斯模型法，其中又以混合高斯模型应用最广。

考虑火焰探测的实时性和准确性要求，需要寻求一种能适应于相对复杂的监控场景，运算简单快速，并且能够提取出火焰完整信息的运动检测算法。综合考虑，本文在Toreyin对火焰实时检测的运动目标检测方法的基础上，本发明提出了一种改进算法。

文献[15]]中选择性背景更新模型是有选择性地更新背景而不是对监控视频的每个像素点不间断地进行背景更新。其背景更新思想是：将视频监控图像C_t(x,y)看作为背景图像B_t(x,y)和运动目标图像F_t(x,y)两部分组成，通过阀值M_T_t(x,y)设定分割出运动目标，属于背景图像上的像素点则将上一帧中背景像素点B_t-1(x,y)按一定的速度更新到当前图像的背景像素点B_t(x,y)，而对于当前图像中属于运动目标的像素点不做背景更新。其运动目标提取和背景更新如公式(1)(2)(3)所示。

D_t(x,y)＝|C_t(x,y)-B_t(x,y)| (1)

式中，α为更新系数，表示更新的快慢程度，α越小，更新速度越快，α越大，更新速度越慢，α取值范围为0～1。通过大量火焰视频库检测实验，为获得较好的检测效果笔者将更新系数α取0.85。同时通过理论和实验分析，当视频图像中存在物体运动后不会恢复原位的运动或运动物体进入监控视频后停止运动的永久运动变化时，文献[15]中的背景更新模型不能适应。

永久运动变化的共同点是该区域上像素点从背景像素转为运动前景像素后长时间不再发生变化，有别于一般意义上的运动目标。本发明对选择性背景更新模型的检测方法进行了改进，具体如下：为图像上每个位置的像素点引入一个计数器Counter_t(x,y)，当某一位置的像素点在时间T内(如连续160帧)被检测为运动前景时，认定该像素点属于永久的运动变化，不是我们感兴趣的运动目标，应该将该像素点视为背景进行背景更新。具体流程请参照图2，其中，X(x,y)为输入的像素点，Counter_t(x,y)为该像素的计数器，用来计数X(x,y)像素连续被检测为运动前景的帧数，Counter_T为设定的全局阈值，可以根据动态的环境设置不同的阈值，如果感兴趣的运动目标运动速度快，则Counter_T应设置小些，如果感觉兴趣的运动目标运动速度慢，则Counter_T应设置大些，根据火焰特征，本方法取Counter_T为160。通过实验验证了本文改进的选择性背景更新模型的有效性，并与目前使用广泛的混合高斯模型进行了比较。

实验结果如图3a至图3d所示。从实验结果可以看出改进的选择性背景更新模型能较好的适应相对复杂的环境，背景建模能很好的接近监控环境真实的背景，最终分割出相对完整的运动目标信息。混合高斯模型在环境光线变化不大时效果较好，但当环境光线变化大时适应性不好，噪声点多，而选择性背景更新噪声点很少，提取的运动目标信息更完整；在运算速度上，混合高斯模型要为每个像素点建立多个高斯模型，并不断的更新每个像素点的高斯模型，而选择性背景更新是根据运动检测结果进行有选择的更新，运算速度有了较大提高。

步骤S5：对火焰颜色区域进行腐蚀膨胀并标记获取火焰候选区域；若存在火焰候选区域，则初步判断为火焰并进一步提取图像特征信息，包括频闪特征、尖角特征、面积增长特征、圆形度特征和整体移动特征；否则返回步骤S3；

火焰颜色与周围环境对比特征显著，在火灾检测中起着举足轻重的作用，众多火灾检测系统都引入了颜色检测模块。文献[4，5]在RGB颜色空间对火焰颜色进行分析和提取；文献[6]在HSI色彩空间进行火焰颜色提取法。这些分析方法为后续的火焰颜色识别检测研究打下了基础，并得到广泛应用。

RGB颜色空间用RGB三基色不同的比例混合来表达不同的颜色，因而难以用精确的数值来表达不同的颜色，这给颜色的定量分析造成困难，同时亮度信息在RGB空间不能得到充分利用。而文献[6]在HSI颜色空间进行火焰像素提取时没有尝试通过改变算法中的阈值来降低算法的漏报率和误报率。

YCbCr颜色空间与人类识别色彩的感知原理相似，且可以将色彩中亮度信息分离，同时YCbCr颜色空间与大多硬件支持的RGB颜色空间的转换关系是线性的，因此亮度信息Y和色度信息并不是完全独立。与HSI等颜色空间相比，其空间坐标表示形式和计算都相对简单。

于本实施例中，基于YCbCr颜色空间的火焰颜色检测方法，火焰像素的约束规则如下式所示：

其中，τ为设定阈值，Y(x,y)、Cb(x,y)、Cr(x,y)分别表示像素点(x,y)的在YCbCr颜色空间中的亮度分量值、蓝色色差值、红色色差值；Y_mean、Cb_mean、Cr_mean分别是图像的亮度信息、蓝色色差和红色色差的均值。

分别采用文献[4][5][6]和本方法对图4a所示原图进行火焰提取，得到的颜色检测效果图如图4b至图4e所示，从火焰检测结果可以看出，四种方法中文献[4]的方法能检测出完整的火焰信息，但也有较多的非火焰像素被误判断为火焰像素,文献[5]的方法在虽能检测出火焰信息，但存在火焰部分像素漏检，需要后续形态学处理,文献[6]检测结果与文献[4]相比虽然有所改善，但仍存在显明误报；而文献[5]的方法在有些场合漏报现象明显,而本文的算法能较好的适用于不同场合。

以下对图像特征信息的提取进行详细介绍：

频闪特征

火焰的频闪特征是火焰非常重要的动态特征之一，也是用来检测和识别火焰的一个重要依据。很多学者在利用火焰闪烁频率来检测识别火焰方面提出了不同方法。如谢迪等人利用傅立叶频谱特征来检测火焰的频闪特性；袁非牛等提出一种火焰轮廓脉动信息度量的模型，用来度量火焰的时空闪烁特征。

上述提出的几种利用火焰闪烁频率检测火焰的方法，其过程都需要把空间域转化到频率域，这很大程度上增加了算法的运算量，影响了系统的实时性。为了充分利用火焰的闪烁特征的同时保证算法的实时性，本方法采用一种在空间域上利用火焰频闪特征来检测火焰的方法，具体如下：

在视频首帧建立一个与视频图像大小一样的累加计数器矩阵SUM，用来分析图像中像素点(x,y)在不同时刻的亮度变化情况，如果像素点(x,y)在t时刻的亮度Y_t(x,y)和(t-1)时刻的亮度Y_t-1(x,y)发生变化，且变化值大于阈值ΔT_Y，则t时刻该像素点对应的累加计数器SUM_t(x,y)加1，否则对应累加计数器SUM_t(x,y)加0，具体请看下式：

ΔY_t(x,y)＝Y_t(x,y)-Y_t-1(x,y)

式中，SUM_t(x,y)和SUM_t-1(x,y)分别表示像素点(x,y)在t时刻和(t-1)时刻的累加计数器值；亮度信息Y为颜色检测所用到的YCbCr颜色模型的Y分量；Y_t(x,y)和Y_t-1(x,y)分别表示像素点(x,y)在t时刻和(t-1)时刻的亮度值，ΔT_Y为设定的阀值；

由于火焰本身的频闪特征，火焰区域上的反复变化的像素点对应的累加器Timer(x,y)值在给定时间n内会大于一定的阈值。利用公式(10)来表示火焰的闪动约束条件。

(Timer(x,y,t)-timer(x,y,t-n))≥T_f (10)

其中，n为给定的序列长度或时间窗口，相邻帧间的步长为1，T_f为设定的闪动阈值；分析火焰频闪特征时需要对一定帧数或在一定时间长度上进行统计分析，这样才能保证分析结果的鲁棒性。序列长度太长则会造成存储量大，检测反应时间长等不足；序列长度太短又会造成分析结果不稳定。通过实验，本方法把序列长度n选取为25；序列的更新长度为1。通过反复调试，取闪动阈值T_f为8左右。为了克服检测目标像素点数量公式(10)的影响，对二值图像中的火焰候选区域进行标记，再采用公式(11)表示火焰频闪特征：

R_i＝NUM_if/NUM_icm≥λ (11)

其中，NUM_icm和NUM_if分别表示各区域中白色目标的像素点总数和满足公式(11)的像素点数，λ为阈值，Ri为频闪特征。若不满足公式(11)则认为该候选区域为伪火焰区域。利用频闪特性对常见火焰干扰物进行检测识别，结果如图5a和图5b所示。通过频闪特性分析可以较准确的排除一些伪火焰信息。

尖角特征

火灾火焰的尖角特性与常见的火灾干扰物有明显的不同，本方法通过实验提取检测目标的尖角特征，进而作为火灾火焰的判据之一。早期火灾火焰及常见火焰干扰物尖角特征的比较如表1如示。

表1火灾火焰与其它干扰物尖角数目统计

面积增长特征

火灾的发生通常具有蔓延的显著特征，因此火焰面积的增长变化趋势可以作为判断检测目标是否为火灾的判据之一，检测方法如下所示。

其中，At和At+k分别为t时刻和t+k时刻火焰区域的面积,ΔA_t为时间k内面积变化率，即面积增长特征。

圆形度特征

物体形状的复杂程度可以用圆形度来衡量。形状越复杂，圆形度越大，反之圆形度小。火灾火焰形状相比于蜡烛火焰、彩灯、手电筒等火焰干扰物的形状复杂得多。因此，本方法将圆形度作为火灾火焰的判据之一。对火灾火焰与常见干扰物提取的圆形度如表2所示。

表2火焰及其它干扰物的圆形度

整体移动特征

当火灾发生时，火焰沿着可燃物开始蔓延，表现为火焰面积的变化和火焰整体移动，但火焰的整体移动有别于一般的运动物体。燃烧的火焰在位置上会发生变化，但不会突变，这种相对稳定性表现在视频图像上为相邻帧图像中的火焰候选区域中心位置不会突变。因此，通过对火焰整体移动特征分析，可以排除快速运动的干扰物。本文通过计算视频图像中火焰候选区域的中心位置变化情况来分析火焰的整体移动。

步骤S6：基于AHP对所述图像特征信息进行融合得到火焰动态特征得分，将所述火焰动态特征得分与预设的全局评估值进行比较，若火焰动态特征得分大于全局评估值，则判断目标为火焰，否则不是火焰并返回步骤S3。

关于火焰特征融合的算法很多，但大多依靠大量的学习训练来识别火焰。文献[10]通过训练好的支持向量机分类器加以识别火焰特征，文献[19]采用随机森林算法进行动态特征判断，文献[20][21]分别采用BP神经网络对火灾火焰和火灾烟雾的多种动态特征进行融合判断。这些算法模型的建立需要学习大量的场景图像，同时学习集的数据质量也会影响到模型的好坏。有些学者采用简单的“与”或“并”的关系融合火焰的动态特征。

本发明提出一种应用层次分析法进行火焰动态特征权重分析进而实现特征融合的新方法。

层次分析法是美国著名运筹学家匹兹堡大学教授T.L.Satty提出，它是一种定性与定量相结合、系统化、层次化的决策分析方法。AHP方法把复杂问题分解成各个组成因素，通过两两比较确定层次中各因素的相对重要性，然后通过综合判断决定各因素相对重要性的顺序，确定评价指标权重有很多方法，层次分析法是其中一种简单直观、方便实用的方法。

在运用AHP方法对各动态特征赋权值时我们必须先对火焰动态特征有个清楚的认识，弄清楚各动态特征在定性上的关系。频闪特征是火焰的本质特征，受环境因素和燃烧材料的影响不大；火灾火焰的尖角特征明显，随着火焰燃烧程度和燃烧面积的增大，火焰的尖角数量不断增多，而大部分干扰源的尖角数量相对较少；火焰的质心移动具有缓慢移动，不突变的特点；面积增长会受到向摄像机靠近的火焰干扰物的影响，但由于火焰面积增长是火灾危险的一个重要表征，因此火焰面积增长特征不可忽视；燃烧火焰的形状较为复杂，其圆形度特征要比一般干扰物大。通过理论分析以及对火焰视频库的实验研究，根据层次分析法，本方法得出如表3所示火焰动态特征重要性评估表。

表3火焰动态特征重要性评估表

从表1得出判断矩阵为：

再通过四个步骤检验矩阵A的一致性：

(1)通过计算可求得成对比较矩阵A的最大特征值λ_max为5.0922，求得成对比较矩阵A不一致程度的指标CI。

(2)从Saaty引入的平均随机一致性指标RI查询表(表4)查出成对比较矩阵A的一致性标准RI＝1.12。表中RI为平均随机一致性指标，它只与矩阵维数有关。

表4 N维向量平均随机一致性指标

(3)计算一致性比例CR

(4)由上可知CR<0.1，认为成对比较矩阵A的不一致程度可以接受。此时成对比较矩阵A的最大特征值对应的特征向量为U＝[-0.8446-0.4094-0.2853-0.1419-0.1325]，将该向量标准化，使其各分量均大于零，各分量之和为1，则有U＝[0.4657 0.2257 0.15730.0782 0.0731]。经过标准化后这个向量称为权向量，即频闪特征权重为0.4657，尖角特征权重为0.2257，整体移动特征权重为0.1573，面积增长权重为0.0782，圆形度特征权重为0.0731。

基于层次分析法求得火焰各动态特征权重后，本方法分别为火焰各动态特征I_ROI(t)匹配一个标示器I(t)，其中不同的t对应不同的动态特征。当提取的图像序列中具有火焰颜色的运动物体满足火焰某动态特征时，把相应的标示器置1，如式(16)所示。

式中μ_low，μ_high分别是相应动态特征的上下阈值。

用Wa、Wb、Wc、Wd、We分别表示频闪特征、尖角特征、整体移动特征、面积增长特征和圆形度特征的权值，利用公式(16)和公式(17)便可求出具有火焰颜色的运动目标的火焰动态特征得分I_F。通过将待评估目标的火焰动态特征得分I_F与火焰运动特征的全局评估值Qt进行比较，最终判断该目标是否为火焰目标，公式如(18)所示。全局评估值Qt可以理解为与系统灵敏度相关的参数，可以通过实验获得，或由用户根据需要进行设定

I_F＝I(a)W_a+I(b)W_b+I(c)W_c+I(d)W_d+I(e)W_e (17)

其中，I(a)、I(b)、I(c)、I(d)、I(e)分别表示频闪特征、尖角特征、整体移动特征、面积增长特征和圆形度特征，Wa、Wb、Wc、Wd、We分别表示频闪特征、尖角特征、整体移动特征、面积增长特征和圆形度特征的权值，取值为Wa＝0.4657、Wb＝0.2257、Wc＝0.1573、Wd＝0.0782、We＝0.0731。

为了让一般技术人员更好的理解本发明的技术方案，对具有典型代表性的不同场景下9个视频段作为试验实例，表5是对测试的视频描述。

表5测试的视频描述

本方法的检测方法是在基本配置CPU为Pentiu E5300 2.60GHz，内存2GB的Matlab2009a环境下实现。实验结果如表6和表7所示，其中RP+代表火焰检测率，RP-代表火焰漏检率，RN+代表非火焰正确率，RN-代表非火焰误检率。

表6火焰视频检验结果

表7非火视频的检测结果对比

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种基于多特征融合的视频火焰检测方法，其特征在于，包括以下步骤：

步骤S1：读取第一帧图像；

步骤S2：初始化选择性背景更新模型，并设置像素累加器；

步骤S3：读取下一帧图像；

步骤S4：基于选择性背景更新模型进行运动目标检测，判断是否存在运动目标，若存在，则对运动目标进行颜色检测，否则返回步骤S3；

步骤S5：对火焰颜色区域进行腐蚀膨胀并标记获取火焰候选区域；若存在火焰候选区域，则初步判断为火焰并进一步提取图像特征信息，包括频闪特征、尖角特征、面积增长特征、圆形度特征和整体移动特征；否则返回步骤S3；

步骤S6：基于AHP对所述图像特征信息进行融合得到火焰动态特征得分，将所述火焰动态特征得分与预设的全局评估值进行比较，若火焰动态特征得分大于全局评估值，则判断目标为火焰，否则不是火焰并返回步骤S3。

2.根据权利要求1所述的基于多特征融合的视频火焰检测方法，其特征在于：所述步骤S4中选择性背景更新模型的检测方法如下：为图像上每个位置的像素点引入一个计数器Counter_t(x,y)，当某一位置的像素点在时间T内都被检测为运动前景时，认定该像素点属于永久的运动变化，将该像素点视为背景进行背景更新。

3.根据权利要求1所述的基于多特征融合的视频火焰检测方法，其特征在于：所述步骤S5中采用基于YCbCr颜色空间的火焰颜色检测方法，火焰像素的约束规则如下式所示：

$\left\{\begin{array}{c}rule1:Y(x,y)>Cb(x,y)\\ rule2:Cr(x,y)>Cb(x,y)\\ rule3:Y(x,y)>Y_{mean}\\ rule4:Cb(x,y)<{\mathrm{Cb}}_{mean}\\ rule5:Cr(x,y)>{\mathrm{Cr}}_{mean}\\ rule6:|Cb(x,y)-Cr(x,y)|\&GreaterEqual;\mathrm{\&tau;}\end{array}\right.$

$Y_{mean}=\frac{1}{K}\underset{i=1}{\overset{K}{\&Sigma;}}Y(x_i,y_i)$

${\mathrm{Cb}}_{mean}=\frac{1}{K}\underset{i=1}{\overset{K}{\&Sigma;}}{C}_b(x_i,y_i)$

${\mathrm{Cr}}_{mean}=\frac{1}{K}\underset{i=1}{\overset{K}{\&Sigma;}}Cr(x_i,y_i)$

其中，τ为设定阈值，Y(x,y)、Cb(x,y)、Cr(x,y)分别表示像素点(x,y)的在YCbCr颜色空间中的亮度分量值、蓝色色差值、红色色差值；Y_mean、Cb_mean、Cr_mean分别是图像的亮度信息、蓝色色差和红色色差的均值。

4.根据权利要求1所述的基于多特征融合的视频火焰检测方法，其特征在于：所述频闪特征的提取方法如下：在视频首帧建立一个与视频图像大小一样的累加计数器矩阵SUM，用来分析图像中像素点(x,y)在不同时刻的亮度变化情况，如果像素点(x,y)在t时刻的亮度Y_t(x,y)和(t-1)时刻的亮度Y_t-1(x,y)发生变化，且变化值大于阈值△T_Y，则t时刻该像素点对应的累加计数器SUM_t(x,y)加1，否则对应累加计数器SUM_t(x,y)加0，具体请看下式：

${\mathrm{SUM}}_t(x,y)=\left\{\begin{array}{c}{\mathrm{SUM}}_{t-1}(x,y)+1\\ if\left(\right|{\mathrm{\&Delta;Y}}_t\left(x,y\right)|\&GreaterEqual;{\mathrm{\&Delta;T}}_Y)\\ {\mathrm{SUM}}_{t-1}(x,y)+0\\ if\left(\right|{\mathrm{\&Delta;Y}}_t\left(x,y\right)|\&le;{\mathrm{\&Delta;T}}_Y)\end{array}\right.$

△Y_t(x,y)＝Y_t(x,y)-Y_t-1(x,y)

式中，SUM_t(x,y)和SUM_t-1(x,y)分别表示像素点(x,y)在t时刻和(t-1)时刻的累加计数器值；亮度信息Y为颜色检测所用到的YCbCr颜色模型的Y分量；Y_t(x,y)和Y_t-1(x,y)分别表示像素点(x,y)在t时刻和(t-1)时刻的亮度值，△T_Y为设定的阀值；

给定火焰的闪动约束条件：

(SUM_t(x,y)-SUM_t-n(x,y))≥T_f

其中，n为给定的序列长度或时间窗口，相邻帧间的步长为1，T_f为设定的闪动阈值；

对图像中的火焰候选区域进行标记，利用下式表示频闪特征：

R_i＝NUM_if/NUM_icm≥λ

其中，NUM_icm和NUM_if分别表示各区域中白色目标的像素点总数和像素点数，λ为阈值，Ri为频闪特征。

5.根据权利要求4所述的基于多特征融合的视频火焰检测方法，其特征在于：所述给定的序列长度或时间窗口的取值为n＝25，闪动阈值的取值为T_f＝8。

6.根据权利要求1所述的基于多特征融合的视频火焰检测方法，其特征在于：所述面积增长特征的提取方法如下：

${\mathrm{\&Delta;A}}_t=\frac{dA}{dt}=\frac{A_{t+k}-A_t}{k}$

其中，At和At+k分别为t时刻和t+k时刻火焰区域的面积,△A_t为时间k内面积变化率，即面积增长特征。

7.根据权利要求1所述的基于多特征融合的视频火焰检测方法，其特征在于：所述步骤S6中对所述图像特征信息进行融合的方法为：

I_F＝I(a)W_a+I(b)W_b+I(c)W_c+I(d)W_d+I(e)W_e

其中，I(a)、I(b)、I(c)、I(d)、I(e)分别表示频闪特征、尖角特征、整体移动特征、面积增长特征和圆形度特征，Wa、Wb、Wc、Wd、We分别表示频闪特征、尖角特征、整体移动特征、面积增长特征和圆形度特征的权值。

8.根据权利要求7所述的基于多特征融合的视频火焰检测方法，其特征在于：所述频闪特征、尖角特征、整体移动特征、面积增长特征和圆形度特征的权值的取值为Wa＝0.4657、Wb＝0.2257、Wc＝0.1573、Wd＝0.0782、We＝0.0731。