CN101493980B - 一种基于多特征融合的快速视频火焰探测方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合的快速视频火焰探测方法，特征是计算机在读取由彩色摄像机采集的监控现场第一帧图像时，建立快速高斯混合模型并设置像素计数器；当读取第二帧及其后的新图像，先采用快速高斯混合法进行运动检测提取运动目标；再对提取的运动目标进行火焰颜色决策获取候选火焰区域；最后对获取的候选火焰区域进行闪动分析从而识别出真实火焰目标。本发明对火焰的颜色特征、运动特征及火焰区域的闪动特征进行建模，依据运动、颜色、闪动的识别顺序逐步、快速地排除了各种火焰探测干扰源。测试结果表明，本方法具有较强的鲁棒性，并且，基于AMD 2.04GHz的处理器，对320×240像素的视频图像处理速度达到每秒钟22帧。

Description

一种基于多特征融合的快速视频火焰探测方法

技术领域

本发明属于火灾探测技术领域，特别涉及运用数字图像处理和模式识别方法提取火焰特征，从而判断探测场景中是否存在火灾火焰的视频火焰探测技术。

背景技术

传统火灾探测一般采用感烟、感温探测器等对火灾中产生的烟雾、温度等进行接触式检测；但当处于高大空间或室外场所时，因探测距离变大，检测信号微弱，探测器无法有效地预报火险。视频火灾探测技术是将摄像机采集的实时视频序列运用数字图像处理和模式识别方法进行自动分析而获取火灾信息，它能有效克服传统探测技术在高大空间等场合灵敏度下降的缺点，具有响应速度快，探测及时，信息丰富直观的优点。随着闭路监控系统被大量运用于当今各式建筑，视频火灾探测技术也在逐步得到发展。

视频火灾探测技术包括视频火焰探测技术和视频烟雾探测技术。视频火焰探测技术主要依据火焰图像的颜色、亮度、运动等特征进行识别。如中国专利200720026161.3提出的采用红外和彩色摄像机分别采集红外及可见光的双波段火灾图像识别方法，但由于所用采集设备昂贵而限制了其推广使用。中国专利93114042.0提出的一种采集红外和可见光的双波段图像火灾监测方法，利用像素的灰度值判别是否存在火焰，以影像面积增长率识别是火焰还是火灾，但是单从颜色或亮度性质来分析火焰视频信号易对场景中具有火焰相似颜色的目标产生误报，探测可靠性较差。

为提高视频火焰探测技术的经济性及与现有安防监控系统的兼容性，普通黑白或彩色摄像机越来越多地被用来作为探测系统的前端采集设备，但这要求核心的火焰图像处理算法具有较好的抗干扰和实时性。《1999年机电一体化与人类科学国际会议论文集》(Fire flame detection algorithm using a color camera.In：Proceedings of 1999 InternationalSymposium on Micromechatronics and Human Science，255-260)中提出了运用火焰区域轮廓的傅里叶变化进行视频火焰探测的方法，由于引入时空波动方程与连续极坐标变换转化火焰颜色区域轮廓而获得时序波动的轮廓数据，再将提取轮廓数据的傅里叶频域特征输入神经网络识别火焰，该方法存在轮廓的极坐标转换受噪声干扰严重及算法复杂高的缺点，容易发生误报，难以应用于实时处理。《第17届模式识别国际会议中论文集》(Visionbased fire detection.In：Proceedings of the 17th International Conference on PatternRecognition(ICPR′04)，2004，134-137)中提出的采用火焰轮廓线的傅里叶变换系数为模板的火焰识别方法，由于存在对狭小区域的空间量化错误可能在傅里叶域中引入大量噪声，因此该方法要求苛刻的探测环境，不适用于探测早期燃烧功率较小的情况。《2004年图像处理电气和电子工程师协会国际会议论文集》(An early fire-detection method based onimage processing.In：Proceedings of IEEE International Conference on Image Processing(ICIP′04)，2004，1707-1710)中提出的利用火焰颜色和潜在火焰区域的蔓延状态来识别火焰，该方法首先运用三个推演的火焰颜色判据对所有像素的红绿蓝三颜色分量及饱和度 进行决策，从而提取出潜在火焰颜色区域，再通过相邻帧的潜在火焰区域总像素变化来描述火焰的蔓延特性；由于其算法对所有像素进行颜色决策会降低处理速度，且不能区分同帧图像中的真实火焰和火焰颜色干扰目标，其算法可靠性差。《模式识别通讯》(Computer vision based method for real-time fire and flame detection.Pattern RecognitionLetters，2006；27(1)：49-58)中提出的利用时间小波分析火焰边缘的高频闪动行为以及利用空间小波分析火焰区域颜色变化的火焰识别方法，因其较高的复杂度而缺乏实时性，对光照变化强烈的复杂探测场景，其算法适应性较差。

视频火焰探测技术由于受到图像质量、光照条件、场景复杂性及计算机硬件条件等多种因素的影响，上面提到的多种视频火焰探测方法，或偏重于提取火焰的颜色和亮度特征，或通过转换到频率域来提取火焰的动态特征，这些方法受火焰相似颜色目标干扰，可靠性很差，且算法复杂度高，降低了火焰探测的实时性，因此，在复杂场景中容易发生误报、漏报现象。

发明内容

本发明提出一种基于多特征融合的快速视频火焰探测方法，综合运用火焰的颜色特征、运动特征以及火焰区域的频闪特征等时空特性，以有效提高视频火焰探测方法的实时性和可靠性，克服现有视频火焰探测技术算法复杂度高，缺乏实时性和可靠性，在复杂场景中容易发生误报、漏报的缺陷。

本发明基于多特征融合的快速视频火焰探测方法，包括将普通彩色摄像机采集的监控现场信息经图像采集卡转化为数字图像序列输入计算机进行处理；其特征在于：当计算机读取第一帧图像时，建立快速高斯混合模型并设置像素计数器；当计算机读取第二帧及其后的每一帧新图像后，进行下列操作：先运用快速高斯混合法进行运动检测提取运动目标，如不存在运动目标则返回读取新一帧图像；否则，再对所提取的运动目标进行火焰颜色决策提取候选火焰区域，如不存在候选火焰区域，则返回读取新一帧图像；否则，对所提取的候选火焰区域进行闪动分析，从而识别出监控现场是否存在真实的火焰目标：如存在火焰目标，则计算机发送指令控制报警器，完成火灾报警后返回读取新一帧图像，否则计算机直接读取新一帧图像，重新循环；

所述计算机读取第一帧图像时建立快速高斯混合模型并设置像素计数器的步骤如下：

当计算机读取第一帧红绿蓝图像数据时，对图像中的所有像素设置计数器SUM(x，y，t)，其中的x、y、t分别表示像素的横坐标、纵坐标及出现时刻；初始化第一帧图像的计数器SUM(x，y，0)＝0；以位置交错方式将所有像素划分为主动像素和非主动像素；对各主动像素分别建立一个由K个高斯分布组成的混合模型：

$P\left({\stackrel{\→}{X}}_{\mathrm{xy},t}\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_{\mathrm{xy},k,t}\mathrm{\η}({\stackrel{\→}{X}}_{\mathrm{xy},t},{\stackrel{\→}{u}}_{\mathrm{xy},k,t},{\mathrm{\Σ}}_{\mathrm{xy},k,t})---\left(1\right)$

式(1)中， ${\stackrel{\→}{X}}_{\mathrm{xy},t}={[R_{\mathrm{xy},t},G_{\mathrm{xy},t},B_{\mathrm{xy},t}]}^T$ 为时刻t主动像素(x，y)的观测值，是由红绿蓝颜色分量所确定的三维列向量；K是高斯分布的个数；w_xy，k，t、 

∑_xy，k，t分别表示时刻t主动像素 (x，y)所对应的混合模型中第k个高斯分布的权重、均值向量和协方差矩阵； 

表示均值向量为 

协方差矩阵为∑_xy，k，t，观测值为 

的高斯概率密度；设红绿蓝三种颜色分量的方差相同，则 

σ_xy，k，t是时刻t主动像素(x，y)的第k个高斯分布的标准差，E_n为单位矩阵；初始化各高斯分布的权重w_xy，k，t、标准差σ_xy，k，t及均值 

将混合模型中每个高斯分布的初始权重设为1/K，标准差σ_xy，k，t设置为一个较大的正数，比如10，并以该主动像素的红绿蓝颜色分量初始化对应混合模型的各高斯分布的均值向量，所述计算机读取第二帧及其后的每一帧新图像后运用快速高斯混合法进行运动检测提取运动目标的步骤如下：

判定主动像素状态：按权重w_xy，k，t与标准差σ_xy，k，t的比值w_xy，k，t/σ_xy，k，t从高到低排列每个主动像素混合模型中的K个高斯分布，将权重之和刚好大于阈值T_b的前b个高斯分布作为背景子集，其余K-b个高斯分布作为前景子集；

按照K个高斯分布排列顺序依次计算观测值 

与均值向量 

的距离，将所得K个距离中首先满足小于λσ_xy，k，t所对应的第k个高斯分布选作为观测值 

的匹配，并将匹配函数M_xy，k，t置为1，否则置为0；若该匹配即第k个高斯分布属于背景子集，则将像素状态置为背景点，否则将其置为前景点；若K个高斯分布中不存在观测值 

的匹配，则也将像素状态置为前景点；所述计算匹配高斯分布公式如下：

$M_{\mathrm{xy},k,t}=\left\{\begin{array}{c}1,\mathrm{if}|{\stackrel{\&RightArrow;}{X}}_{\mathrm{xy},t}-{\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k;t}|<{\mathrm{\&lambda;\&sigma;}}_{\mathrm{xy},k,t}\\ 0,\mathrm{otherwise}\end{array}\right.---\left(2\right)$

式(2)中λ为2.5-3的给定常数，M_xy，k，t是时刻t主动像素(x，y)的第k个高斯分布的匹配函数；

在K个高斯分布中，若不存在观测值 

的匹配，则以 

为均值，增加一个具有较大方差、较小权重大的高斯分布，用于替换权重最小的高斯分布；若存在观测值 

的匹配，则按下面三个更新公式(3)、(4)和(5)分别更新K个高斯分布的权重w_xy，k，t及匹配的第k个高斯分布的均值向量 

和标准差σ_xy，k，t，得到t+1时刻的各权重w_xy，k，t+1、匹配高斯的均值向量 

和标准差σ_xy，k，t+1；所述更新公式如下：

w_xy，k，t+1＝(1-α)w_xy，k，t+αM_xy，k，t     (3)

${\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t+1}=\left\{\begin{array}{c}{\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t},\mathrm{if}|{\stackrel{\&RightArrow;}{X}}_{\mathrm{xy},t}-{\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t}|<{\mathrm{\&lambda;}}_1{\mathrm{\&sigma;}}_{\mathrm{xy},k,t}\\ (1-{\mathrm{\&rho;}}_{\mathrm{xy},k,t}){\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t}+{\mathrm{\&rho;}}_{\mathrm{xy},k,t}{\stackrel{\&RightArrow;}{X}}_{\mathrm{xy},t},\mathrm{otherwise}\end{array}\right.---\left(4\right)$

${\mathrm{\&sigma;}}_{\mathrm{xy},k,t+1}^2=\left\{\begin{array}{c}(1-{\mathrm{\&rho;}}_{\mathrm{xy},k,t}){\mathrm{\&sigma;}}_{\mathrm{xy},k,t}^2,\mathrm{if}|{\stackrel{\&RightArrow;}{X}}_{\mathrm{xy},t}-{\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t}|<{\mathrm{\&lambda;}}_1{\mathrm{\&sigma;}}_{\mathrm{xy},k,t}\\ (1-{\mathrm{\&rho;}}_{\mathrm{xy},k,t}){\mathrm{\&sigma;}}_{\mathrm{xy},k,t}^2+{\mathrm{\&rho;}}_{\mathrm{xy},k,t}{|{\stackrel{\&RightArrow;}{X}}_{\mathrm{xy},t}-{\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t+1}|}^2,\mathrm{otherwise}\end{array}\right.---\left(5\right)$

上面式中的α是学习速率，λ₁为远小于λ的正数，参数 

判定非主动像素状态：依据相邻四邻域的主动像素状态，判定各非主动像素是背景点还是前景点，设m为非主动像素，在其相邻四个主动像素U、V、W和X中，当有大于两个像素为背景点，则非主动像素m为背景点，当有小于两个像素为背景点，则非主动像素m为前景点，若四个主动像素中各有两个为前景点和背景点，则求出相邻四个主动像素U、V、W和X的混合模型中优先级最高的高斯分布均值向量的平均值，将其记为非主动像素m当前时刻的均值向量，用 

表示，非主动像素m被判为背景点的条件是：非主动像素m的观测值 

与均值向量 

距离小于阈值T_m，该条件用公式(6)表达如下：

$|{\stackrel{\&RightArrow;}{X}}_{m,t}-{\stackrel{\&RightArrow;}{u}}_{m,t}|<T_m---\left(6\right)$

对当前t时刻图像中的所有像素运动检测后，建立只有前景和背景的二值图；

所述计算机对提取的运动目标进行火焰颜色决策获取候选的火焰区域的步骤如下：

扫描当前t时刻运动检测所得的二值图，若像素为前景点，则判断该像素的原始红、绿、蓝颜色分量是否同时满足颜色判据公式(7)、(8)和(9)，若满足，则将该像素依然设置为前景点，反之则将该像素改为背景点；所述颜色判据公式如下：

判据1：R(x，y，t)≥R_T                        (7)

判据2：R(x，y，t)≥G(x，y，t)≥B(x，y，t)    (8)

判据3：S(x，y，t)＞(255-R(x，y，t))S_T/R_T     (9)

上述的颜色判据公式中，R(x，y，t)，G(x，y，t)，B(x，y，t)、S(x，y，t)分别代表t时刻像素(x，y)的红、绿、蓝分量和饱和度，R_T为红色分量阈值，取值范围为120-140，S_T是当R分量达到阈值R_T时的饱和度，取值范围为55-65；

对时刻t图像中的所有像素颜色决策后，运用腐蚀和膨胀去除孤立的背景点或前景点，再采用八连通区域标记法标记连通区域，去除小连通区域，得到候选的火焰区域；

所述计算机对获取的候选火焰区域进行闪动分析从而识别出监控现场是否存在真实火焰目标的步骤如下：

计算时刻t与t-1时刻连续两帧图像对应像素的亮度差ΔI(x，y，t)，亮度表示为各像素的红、绿、蓝颜色分量的加权平均值；所述亮度差的计算公式如下：

ΔI(x，y，t)＝I(x，y，t)-I(x，y，t-1)    (10)

式(10)中，I(x，y，t)和I(x，y，t-1)分别表示像素(x，y)在时刻t和t-1时刻的亮度值；

根据亮度差的绝对值|ΔI(x，y，t)|与阈值T_I的大小进行计数器累加，若亮度差的绝对值|ΔI(x，y，t)|小于T_I，计数器SUM(x，y，t)加0，反之加1；所述进行计数器累加的公式为：

$\mathrm{SUM}(x,y,t)=\left\{\begin{array}{c}\mathrm{SUM}(x,y,t-1)+1,\mathrm{if}\left(\right|\mathrm{\&Delta;I}(x,y,t)|\&GreaterEqual;T_I)\\ \mathrm{SUM}(x,y,t-1)+0,\mathrm{if}\left(\right|\mathrm{\&Delta;I}(x,y,t)|<T_I)\end{array}\right.---\left(11\right)$

式(11)中，SUM(x，y，t)和SUM(x，y，t-1)分别表示像素(x，y)在时刻t和t-1时刻的计数器值，T_I为阈值；

统计时刻t各候选火焰区域中的像素是否满足像素闪动条件，像素闪动条件表示为：

(SUM(x，y，t)-SUM(x，y，t-n))＞SUM₀    (12)

式(12)中，SUM(x，y，t)和SUM(x，y，t-n)分别表示像素(x，y)在时刻t和t-n时刻的计数器值， n是设定的时间步长，SUM₀是设定像素闪动阈值；将第i个候选火焰区域中满足像素闪动条件的像素总数记为N_is0，及该区域中的前景点总数记为N_iRECT；

接着判断当前图像中的各候选区域是否满足火焰闪动条件，火焰闪动条件即：计算第i个候选火焰区域中满足像素闪动条件的像素总数N_is0与该区域中的前景点总数N_iRECT的比值，判断其比值是否大于阈值ρ，若该比值大于阈值ρ，则该区域为识别的火焰区域；火焰闪动条件用公式表示为：

N_is0/N_iRECT＞ρ    (13)

若计算机当前读取的图像经闪动分析判断存在真实的火焰目标，则计算机发送指令，控制报警器完成火灾报警。

与现有技术相比较，本发明的优点和有益效果在于：

1、由于本发明第二步采用快速高斯混合法对视频图像进行运动检测，快速高斯混合法充分利用了视频图像序列的相邻像素存在大量空间和时间冗余的特点，对传统的高斯混合模型进行了改进，是一种较快较好的运动检测方法。它通过以位置交错方式将图像像素平分为主动像素和非主动像素，只对主动像素建立高斯混合模型判定其为前景点还是背景点，而对非主动像素则依据四邻域的主动像素状态得出其为前景点还是背景点，并且，根据相邻视频帧的时间冗余性，简化了高斯混合模型的更新方法，因此本发明采用的运动检测方法，不仅继承了高斯混合模型具有提取运动目标准确及自适应光照变化的优点，而且很大程度地提高了视频图像序列的处理速度，具有较高的探测实时性；

2、由于本发明第三步采用的火焰颜色决策方法，仅对运动检测提取的前景点进行火焰颜色决策，不同于传统火焰颜色决策方法是对所有图像像素都进行红、绿、蓝颜色决策。如果图像像素既是前景点，其原始红、绿、蓝颜色分量又都满足三个颜色判据，则认为其为候选的火焰像素，这样不仅快速地提取了具有火焰颜色的运动像素，而且排除了大量具有火焰颜色的静止目标干扰。

3、由于本发明第四步提出了根据视频序列相邻帧间像素亮度变化的统计规律描述火焰的闪动特性，与现有方法中运用傅里叶或小波变化转化到频率域而描述火焰闪动特性的方法相比，不仅能较好地提取火焰闪动特征，而且方法简单可操作性强，因为不存在频率域的转换问题，所以时间复杂度低，探测速度及时。

4、本发明提出的基于多特征融合的快速视频火焰探测方法由于准确地对火焰的运动特征、颜色特征及闪动特征等时空特性进行了建模，特别是首先采用快速高斯混合法检测运动目标，消除了大量火焰相似颜色的静态背景目标干扰，在运动检测的基础上，再基于火焰的颜色和闪动特征，逐步排除了各种火焰探测干扰源，提取出场景中的真实火焰目标，因此本发明在复杂的探测中具有较高的可靠性，克服了现有视频火焰探测技术存在鲁棒性差的缺点，经实验测试，本发明具有较强的抗干扰性和实时性，基于AMD2.04GHz的处理器，本发明对像素大小为320×240视频序列的处理速度能达到每秒22帧。

附图说明

图1是本发明基于多特征融合的快速视频火焰探测方法的系统示意图。

图2是将图像像素划分为主动像素和非主动像素的示意图。

图3是本发明基于多特征融合的快速视频火焰探测方法中的操作流程框图。

图4是实施例中所采集的夜晚公路场景的第60帧视频图。

图5是对夜晚公路场景第60帧视频图进行运动检测提取的运动目标二值图。

图6是对图5中提取的运动目标进行火焰颜色决策获取的侯选火焰区域二值图。

图7是对图6中获取的侯选火焰区域进行闪动分析识别的火焰目标二值图。

具体实施方式

以下结合具体的实施例对本发明的技术方案作进一步说明：

实施例1：

图1给出了本发明基于多特征融合的快速视频火焰探测方法的系统示意图。本发明基于多特征融合的快速视频火焰探测方法的总体过程为：将普通彩色摄像机B采集的监控现场A的视频信息经图像采集卡C转化为数字图像序列输入计算机D进行处理，计算机D按图2所示的基于多特征融合的快速视频火焰探测方法的操作流程框图编写的图像分析软件读取数字图像序列进行实时处理判断，如果判定图像中存在真实火焰目标，则计算机D发送指令控制报警器E完成火灾报警。

图2给出了本发明基于多特征融合的快速视频火焰探测方法的操作流程框图。在计算机H中进行的具体操作流程为：读取初始帧步骤F、读取第一帧图像；初始化步骤G、建立快速高斯混合模型并设置像素计数器；读取当前帧步骤H、读取一帧新图像；运动检测步骤I、运用快速高斯法进行运动检测；判断运动步骤J、判断是否存在运动目标，如果存在运动目标，则进行颜色决策步骤L，否则返回读取当前帧步骤H；颜色决策步骤L、对运动目标进行火焰颜色决策；提取候选区步骤M、对火焰颜色运动区进行腐蚀膨胀及标记获取侯选火焰区域；判断候选区步骤N、判断是否存在候选火焰区域，如果存在候选火焰区域，则进行计算闪动步骤O，否则返回读取当前帧步骤H；计算闪动步骤O、计算各候选火焰区中满足像素闪动条件的总像素与前景总像数比值；判断闪动条件步骤P、判断侯选火焰区域是否满足火灾闪动条件，如果满足火灾闪动条件，则进行识别火焰步骤Q，否则返回读取当前帧步骤H；识别火焰步骤Q、识别出图像中的火焰目标，通过计算机向报警器发送报警指令，再返回读取当前帧步骤H，读取一帧新图像，重新进入下一轮循环。

本实施例运用本发明基于多特征融合的快速视频火焰探测方法，对夜晚公路场景根据图2所示的操作流程框图进行火焰探测，具体操作步骤如下：

第一，读取第一帧图像，建立快速高斯混合模型并设置像素计数器：

在摄像机固定的情况下，探测场景中的多数目标是静止的，而真实的火焰呈现运动特性。利用运动特征可区分火焰与静态的火焰相似颜色目标。本发明采用快速高斯混合法消减静态背景获取前景运动目标。快速高斯混合法是在分析视频序列图像的相邻像素存在大量空间和时间相关性的基础上，对传统高斯混合模型进行了改进，具有提取运动目标准确和较好适应环境光照变化的优点，且计算速度快。

采用快速高斯混合法进行运动检测，首先需建立快速高斯混合模型，其方法是：将 普通彩色摄像机B采集的监控现场A的视频信息经图像采集卡C转化为数字图像序列输入计算机D进行处理；当计算机D读取到第一帧红绿蓝图像数据时，以位置交错方式将所有像素划分为主动像素和非主动像素。图3给出了对图像像素划分为主动像素和非主动像素的示意图，其中每个方块代表一个像素，黑色方块是主动像素，白色方块是非主动像素。例如，像素U、V、W和X为主动像素，像素m为非主动像素。对各主动像素分别建立一个由K个高斯分布组成的混合模型，该混合模型表达如下：

$P\left({\stackrel{\&RightArrow;}{X}}_{\mathrm{xy},t}\right)=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_{\mathrm{xy},k,t}\mathrm{\&eta;}({\stackrel{\&RightArrow;}{X}}_{\mathrm{xy},t},{\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t},{\mathrm{\&Sigma;}}_{\mathrm{xy},k,t})---\left(1\right)$

公式(1)中， 为时刻t主动像素(x，y)的观测值，是由红绿蓝颜色分量所确定的三维列向量；K是高斯分布的个数；w_xy，k，t、 

∑_xy，k，t分别表示时刻t主动像素(x，y)所对应混合模型中第k个高斯分布的权重、均值向量和协方差矩阵；η( 

∑_xy，k，t)表示均值向量为 协方差矩阵为∑_xy，k，t，观测值为 

的高斯概率密度；假设红绿蓝三种颜色分量的方差相同，则 σ_xy，k，t是时刻t主动像素(x，y)的第k个高斯分布的标准差，E_n为单位矩阵；

K越大，系统越能表征复杂场景，但计算量也会随之大幅增加，考虑到计算的复杂性，一般取值介于3到5之间，这里取K＝3；将混合模型中每个高斯分布的初始权重设为1/K，标准差σ_xy，k，t设置为一个较大的正数，比如10，并以该主动像素的红绿蓝颜色分量初始化对应混合模型的各高斯分布的均值向量。

同时，为视频图像的所有像素都设置计数器SUM(x，y，t)，用于记录图像序列中每个像素亮度变化的变换次数，初始化第一帧图像的计数器SUM(x，y，0)＝0；

第二、读取一帧新图像，运用快速高斯混合法进行运动检测，判断图像中是否存在运动目标：

利用快速高斯混合法对当前图像进行运动检测：对于各主动像素，通过计算其对应的由多个高斯分布组成的混合模型，判定该像素所处状态是背景点或前景点；对于非主动像素，则根据其相邻的四邻域的主动像素所处状态来判断该非主动像素是背景点和前景点；在完成前景运动目标识别的同时进行模型的参数更新。

判定主动像素状态：首先将每个主动像素对应的K个高斯分布划分为背景子集和前景子集，具体为：高斯分布权重w越大，表示一段时间内有较多的观察值与该分布匹配；而标准差σ越小，高斯分布越稳定；因此，按权重w_xy，k，t与标准差σ_xy，k，t的比值w_xy，k，t/σ_xy，k，t从高到低排列K个高斯分布，选取高斯分布权重之和刚好大于全局阈值T_b的前b个高斯分布作为背景子集，其余K-b个高斯分布作为前景子集，可用公式表示如下：

$B_{\mathrm{xy},t}={\arg \min }_b[\underset{k=1}{\overset{b}{\mathrm{\&Sigma;}}}{w}_{\mathrm{xy},k,t}>T_b]---\left(14\right)$

公式(14)中，阈值T_b是被考虑为背景像素的最小比例，若阈值T_b选取得较大，则背景模型是多高斯分布的混合模型，能反应复杂背景，这里的阈值T_b取为0.8；

根据当前观测值 

与各高斯分布的匹配情况，确定像素是背景点还是前景点，具体为：按照K个高斯分布排列顺序依次计算观测值 

与均值向量 

的距离，将所得K个距离中首先满足小于λσ_xy，k，t所对应的第k个高斯分布选作为观测值 

的匹配，并将匹配函数M_xy，k，t置为1，否则置为0；若该匹配即第k个高斯分布属于背景子集，则将像素状态置为背景点，否则将其置为前景点；若K个高斯分布中不存在观测值 

的匹配，则也将像素状态置为前景点；所述计算匹配高斯分布公式为：

$M_{\mathrm{xy},k,t}=\left\{\begin{array}{c}1,\mathrm{if}|{\stackrel{\&RightArrow;}{X}}_{\mathrm{xy},t}-{\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k;t}|<{\mathrm{\&lambda;\&sigma;}}_{\mathrm{xy},k,t}\\ 0,\mathrm{otherwise}\end{array}\right.---\left(2\right)$

式(2)中的λ为给定常数，一般取值为2.5～3给定常数，M_xy，k，t是时刻t主动像素(x，y)的第k个高斯分布的匹配函数，在后面的模型自适应更新中使用；

进行模型的自适应更新。实际中，天气情况、开灯关灯或阳光照射等，这些都会改变场景中的光照条件，因此需根据上述匹配结果，利用当前观测值 

对高斯分布进行实时更新。模型更新的方法是：时刻t，在K个高斯分布中，若不存在观测值 

的匹配，则以 

为均值，增加一个具有较大方差、较小权重大的高斯分布，用于替换权重最小的高斯分布；若存在观测值 的匹配，则按下面的更新公式更新K个高斯分布的权重w_xy，k，t及匹配的第k个高斯分布的均值向量 

和标准差σ_xy，k，t，得到t+1时刻的各权重w_xy，k，t+1、匹配高斯的均值向量 

和标准差σ_xy，k，t+1；所述更新公式为：

$\left\{\begin{array}{c}{w}_{\mathrm{xy},k,t+1}=(1-\mathrm{\&alpha;})w_{\mathrm{xy},k,t}+\mathrm{\&alpha;}{M}_{\mathrm{xy},k,t}\\ {\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t+1}=(1-{\mathrm{\&rho;}}_{\mathrm{xy},k,t}){\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t}+{\mathrm{\&rho;}}_{\mathrm{xy},k,t}{\stackrel{\&RightArrow;}{X}}_{\mathrm{xy},t}\\ {\mathrm{\&sigma;}}_{\mathrm{xy},k,t+1}^2=(1-{\mathrm{\&rho;}}_{\mathrm{xy},k,t}){\mathrm{\&sigma;}}_{\mathrm{xy},k,t}^2+{\mathrm{\&rho;}}_{\mathrm{xy},k,t}{|{\stackrel{\&RightArrow;}{X}}_{\mathrm{xy},t}-{\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t+1}|}^2\\ {\mathrm{\&rho;}}_{\mathrm{xy},k,t}=\mathrm{\&alpha;\&eta;}({\stackrel{\&RightArrow;}{X}}_{\mathrm{xy},t},{\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t},{\mathrm{\&sigma;}}_{\mathrm{xy},k,t}^2{E}_n)\end{array}\right.---\left(15\right)$

更进一步，视频序列的相邻像素存在时间冗余，若 

则匹配的第k个高斯均值和标准差的更新公式简化为：

$\left\{\begin{array}{c}{\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t+1}={\stackrel{\&RightArrow;}{u}}_{\mathrm{xy},k,t}\\ {\mathrm{\&sigma;}}_{\mathrm{xy},k,t+1}^2=(1-{\mathrm{\&rho;}}_{\mathrm{xy},k,t}){\mathrm{\&sigma;}}_{\mathrm{xy},k,t}^2\end{array}\right.---\left(16\right)$

公式中，α是学习速率，这里取0.01；w_xy，k，t+1、 

σ_xy，k，t+1分别为t+1时刻，第k个高斯分布的权重，均值和标准差；λ₁为远小于λ的正数，这里λ₁取0.5；

判定非主动像素状态：依据相邻四邻域的主动像素状态，判定各非主动像素是背景点还是前景点，设m为非主动像素，若相邻四领域主动像素U、V、W和X中有大于两个像素为背景点，则非主动像素m为背景点，当有小于两个像素为背景点，则非主动像素m为前景点，若四邻域主动像素U、V、W和X中各有两个为前景点和背景点，则求出相邻四个主动像素U、 V、W和X的混合模型中优先级最高的高斯分布均值向量的平均值，将其记为非主动像素m当前时刻的均值向量，用 

表示，非主动像素m被判为背景点的条件是：非主动像素m的观测值 

与均值向量 

距离小于阈值T_m，该条件用公式(6)表达如下：

$|{\stackrel{\&RightArrow;}{X}}_{m,t}-{\stackrel{\&RightArrow;}{u}}_{m,t}|<T_m---\left(6\right)$

综上所述，运动检测的方法为：在红绿蓝颜色空间，对图像中的每一主动像素建立K＝3的高斯混合模型，通过计算判断各主动像素是背景点还是前景点，而非主动像素则依据其四邻域的主动像素的状态判断，对当前视频帧的所有主动和非主动像素判定为前景点或背景点，建立用1表示前景和用0表示背景的运动目标二值图BM；运动目标二值图BM表示如下：

如果运动目标二值图BM中不存在运动目标，则需返回读取新一帧图像的操作，否则进行下一步火焰颜色决策操作；

图4是本实施例中所采集的夜晚公路场景的第60帧视频图，该视频图原为红绿蓝彩色图，图中存在具有火焰颜色的静止路灯、火焰和运动的车灯目标等；图5是对夜晚公路场景第60帧视频图进行运动检测提取的运动目标二值图，通过运用快速高斯混合法进行运动检测，火焰和车灯都被准确提取，同时消减了路灯干扰源。

第三、对运动目标进行火焰颜色决策，并火焰颜色运动区进行腐蚀膨胀及标获取侯选火焰区域，判断是否存在侯选火焰区域：

在彩色图像中，高温火焰内核呈现出亮白色，向外随温度降低颜色由黄变橙、到红。因此，红色分量应比绿色和蓝色分量着重强调，即对红色分量设定阈值；同时，火焰颜色分量存在内在关系，红色分量大于等于绿色分量，绿色分量又大于等于蓝色分量；另外，背景光照条件对火焰的饱和度有相反影响，可能会使得干扰物具有与火焰相似的颜色值而被误判为火焰。经过大量测试比较，以下三个火焰颜色判据公式对提取火焰颜色像素点较优：

判据1：R(x，y，t)≥R_T                           (7)

判据2：R(x，y，t)≥G(x，y，t)≥B(x，y，t)       (8)

判据3：S(x，y，t)＞(255-R(x，y，t))S_T/R_T        (9)

所述颜色判据公式中，R(x，y，t)，G(x，y，t)，B(x，y，t)、S(x，y，t)分别代表时刻t坐标位置(x，y)处像素的红绿蓝颜色分量及饱和度，R_T为红色分量阈值，S_T是当R分量达到阈值R_T时的饱和度，随着R分量增大，将导致饱和度S(x，y，t)下降，从而判据3改变。根据多次测试，S_T取值范围为55-65，R_T的取值范围为120-140。

颜色决策的方法如下：扫描当前时刻t运动检测所得的运动目标二值图BM，若像素为前景点，则判断该像素 

的原始红、绿、蓝颜色分量是否同时满足上面的三个火焰颜 色判据公式，若满足，则将该像素依然设置为前景点，反之则将该像素改为背景点。经火焰颜色判别后，将建立颜色决策二值图CM，判决公式如下：

在所得颜色决策二值图CM中，存在较多离散点，这些大多由视频噪声引起，它们影响了对目标的清楚描述。通过对颜色决策二值图CM运用腐蚀和膨胀等形态学滤波方法去除这些离散点，再运用八连通区域标记法标记每个连通区域，且去除面积小于10个像素的小区域，获取候选火焰区域。判断是否存在候选火焰区域，如果不存在候选火焰区域，则需返回读取新一帧图像操作，否则进入下一步闪动分析操作。

图6是对图5中提取的运动目标进行火焰颜色决策获取的侯选火焰区域二值图，由于火焰和运动车灯都具有火焰颜色，因此会都被识别为候选火焰区域；为消除将运动车灯误判为真实火焰，需对候选火焰区域做进一步判定。

第四、根据当前帧图像与相邻前一帧图像的像素亮度变化累加像素计数器，再根据像素计数器计算各候选火焰区中满足像素闪动条件的总像素与前景总像数比值，分别判断各侯选火焰区域是否满足火灾闪动条件，如果满足火灾闪动条件，则侯选火焰区域为真实的火焰目标，通过计算机发送报警指令给报警器：

由于燃烧中气体羽流的卷吸作用和空气湍流，火焰表现出强烈的边缘闪动特性，这是区分真实火焰与运动光源等火焰干扰物的重要特征。火焰闪动具有10Hz左右与材料无关的动态频率范围，目标轮廓的色度或亮度具有0.5-20Hz的变化频率。由于视频帧的采集速率一般为25Hz(25帧/秒)，根据香农(Shannon)采样定理，此采样速率只能准确分辨出小于12.5Hz的像素变化周期，达不到无失真获取火焰闪烁频率的采样要求。而且，信号由空间域转换到频率域将消耗大量时间，降低了探测算法的实时性。为解决上述难题，本发明提出根据视频序列相邻帧间像素亮度变化的统计规律描述火焰的闪动特性，从而提高了探测算法的实时性，方法如下：

设像素(x，y)是火焰边缘的像素，随着时间推移，(x，y)将经历空间亮度和颜色变化，在颜色决策二值图CM中表现为融合为背景或又由背景重新变为火焰像素，这种状态转换在一段时间内反复多次出现，闪动分析的步骤如下：

首先计算时刻t与t-1时刻连续两帧图像对应像素的亮度差ΔI(x，y，t)，亮度I(x，y，t)可表示为各像素的红、绿、蓝颜色分量的加权平均值；所述亮度差的计算公式为：

ΔI(x，y，t)＝I(x，y，t)-I(x，y，t-1)    (10)

$I(x,y,t)=\frac{1}{3}[R(x,y,t)+G(x,y,t)+B(x,y,t)]---\left(19\right)$

根据亮度差的绝对值|ΔI(x，y，t)|与阈值T_I的大小进行计数器累加，若亮度差的绝对值|ΔI(x，y，t)|小于T_I，计数器SUM(x，y，t)加0，反之加1；所述进行计数器累加的公式为：

$\mathrm{SUM}(x,y,t)=\left\{\begin{array}{c}\mathrm{SUM}(x,y,t-1)+1,\mathrm{if}\left(\right|\mathrm{\&Delta;I}(x,y,t)|\&GreaterEqual;T_I)\\ \mathrm{SUM}(x,y,t-1)+0,\mathrm{if}\left(\right|\mathrm{\&Delta;I}(x,y,t)|<T_I)\end{array}\right.---\left(11\right)$

式(11)中，SUM(x，y，t)和SUM(x，y，t-1)分别表示像素(x，y)在时刻t和t-1时刻的计数器值，引入阈值T_I是为抵消噪声影响；

统计时刻t各候选火焰区域的像素是否满足像素闪动条件，像素闪动条件表示为：

(SUM(x，y，t)-SUM(x，y，t-n))＞SUM₀    (12)

式(12)中，SUM(x，y，t)和SUM(x，y，t-n)分别表示像素(x，y)在时刻t和t-n时刻的计数器值，n是设定的时间步长，SUM₀是像素闪动阈值，SUM₀的设定值与时间步长n有关，当n等于视频帧的一般采集速率大小25时，SUM₀设定为10左右；将第i个候选火焰区域中满足像素闪动条件的像素总数记为N_is0，及该区域中的前景点总数记为N_iRECT；

接着判断当前图像中的候选区域是否满足火焰闪动条件，火焰闪动条件即：计算第i个候选火焰区域中满足像素闪动条件的像素总数N_is0与该区域中的前景点总数N_iRECT的比值，判断其比值是否大于阈值ρ，若该比值大于阈值ρ，则该区域为识别的火焰区域；火焰闪动条件用公式表示为：

N_is0/N_iRECT＞ρ    (13)

其中，ρ为阈值，由实验测定，这里选阈值ρ＝0.3。

若当前时刻的视频图像存在真实的火焰目标，则计算机向报警器E发送报警指令后读取新一帧图像，否则计算机直接读取新一帧图像，重新进入下一轮循环，重复第二步到第四步。

图7是对图6中获取的侯选火焰区域进行闪动分析识别的火焰目标二值图，车灯等具有火焰颜色的运动干扰目标被排除了，从而识别出真实的火焰目标。

Claims (1)

1.一种基于多特征融合的快速视频火焰探测方法，包括将普通彩色摄像机采集的监控现场信息经图像采集卡转化为数字图像序列输入计算机进行处理；其特征在于：当计算机读取第一帧图像时，建立快速高斯混合模型并设置像素计数器；当计算机读取第二帧及其后的每一帧新图像后，进行下列操作：先运用快速高斯混合法进行运动检测提取运动目标，如不存在运动目标则返回读取新一帧图像；否则，再对所提取的运动目标进行火焰颜色决策提取候选火焰区域，如不存在候选火焰区域，则返回读取新一帧图像；否则，对所提取的候选火焰区域进行闪动分析，从而识别出监控现场是否存在真实的火焰目标：如存在火焰目标，则计算机发送指令控制报警器，完成火灾报警后返回读取新一帧图像，否则，计算机直接读取新一帧图像，重新循环；

所述计算机读取第一帧图像时建立快速高斯混合模型并设置像素计数器的步骤如下：

当计算机读取第一帧红绿蓝图像数据时，对图像中的所有像素设置计数器SUM(x，y，t)，其中的x、y、t分别表示像素的横坐标、纵坐标及出现时刻；初始化第一帧图像的计数器SUM(x，y，0)＝0；以位置交错方式将所有像素划分为主动像素和非主动像素；对各主动像素分别建立一个由K个高斯分布组成的混合模型：

式中， 为时刻t主动像素(x，y)的观测值，是由红绿蓝颜色分量所确定的三维列向量；K是高斯分布的个数；w_xy，k，t、 

∑_xy，k，t分别表示时刻t主动像素(x，y)所对应的混合模型中第k个高斯分布的权重、均值向量和协方差矩阵； 

表示均值向量为 

协方差矩阵为∑_xy，k，t，观测值为 

的高斯概率密度；设红绿蓝三种颜色分量的方差相同，则 

σ_xy，k，t是时刻t主动像素(x，y)的第k个高斯分布的标准差，E_n为单位矩阵；初始化各高斯分布的权重w_xy，k，t、标准差σ_xy，k，t及均值 

将混合模型中每个高斯分布的初始权重设为1/K，取标准差σ_xy，k，t为10，并以该主动像素的红绿蓝颜色分量初始化对应混合模型的各高斯分布的均值向量；

所述计算机读取第二帧及其后的每一帧新图像后运用快速高斯混合法进行运动检测提取运动目标的步骤如下：

判定主动像素状态：按权重w_xy，k，t与标准差σ_xy，k，t的比值w_xy，k，t/σ_xy，k，t从高到低排列每个主动像素混合模型中的K个高斯分布，将权重之和刚好大于阈值T_b的前b个高斯分布作为背景子集，其余K-b个高斯分布作为前景子集；

按照K个高斯分布排列顺序依次计算观测值 

与均值向量 

的距离，将所得K个距离中首先满足小于λσ_xy，k，t所对应的第k个高斯分布选作为观测值 的匹配，并将匹配函数M_xy，k，t置为1，否则置为0；若该匹配即第k个高斯分布属于背景子集，则将像素状态置为背景点，否则将其置为前景点；若K个高斯分布中不存在观测值 

的匹配，则也将像素状态置 为前景点；所述计算匹配高斯分布公式为：

式中λ为2.5～3的给定常数，M_xy，k，t是时刻t主动像素(x，y)的第k个高斯分布的匹配函数；

在K个高斯分布中，若不存在观测值 

的匹配，则以 

为均值，增加一个具有较大方差、较小权重大的高斯分布，用于替换权重最小的高斯分布；若存在观测值 

的匹配，则按下面三个更新公式分别更新K个高斯分布的权重w_xy，k，t及匹配的第k个高斯分布的均值向量 

和标准差σ_xy，k，t，得到t+1时刻的各权重w_xy，k，t+1、匹配高斯的均值向量 和标准差σ_xy，k，t+1；所述更新公式为：

w_xy，k，t+1＝(1-α)w_xy，k，t+αM_xy，k，t

式中的α是学习速率，λ₁为远小于λ的正数，参数 

判定非主动像素状态：依据相邻四邻域的主动像素状态，判定各非主动像素是背景点还是前景点，设m为非主动像素，在其相邻四个主动像素U、V、W和X中，当有大于两个像素为背景点，则非主动像素m也为背景点，当有小于两个像素为背景点，则非主动像素m为前景点，若四个主动像素中各有两个为前景点和背景点，则求出相邻四个主动像素U、V、W和X的混合模型中优先级最高的高斯分布均值向量的平均值，将其记为非主动像素m当前时刻的均值向量，用 

表示，非主动像素m被判为背景点的条件是：非主动像素m的观测值 

与均值向量 

距离小于阈值T_m，该条件用公式表达为：

对当前时刻t图像中的所有像素运动检测后，建立只有前景和背景的二值图；

所述计算机对提取的运动目标进行火焰颜色决策获取候选的火焰区域的步骤如下：

扫描当前t时刻运动检测所得的二值图，若像素为前景点，则判断该像素的原始红、绿、蓝颜色分量是否同时满足三个颜色判据公式，若满足，则将该像素依然设置为前景点，反之则将该像素改为背景点；所述颜色判据公式如下：

判据1：R(x，y，t)≥R_T

判据2：R(x，y，t)≥G(x，y，t)≥B(x，y，t)

判据3：S(x，y，t)＞(255-R(x，y，t))S_T/R_T

上述的颜色判据公式中，R(x，y，t)，G(x，y，t)，B(x，y，t)、S(x，y，t)分别代表时刻t像素(x，y)的红、 绿、蓝分量和饱和度，R_T为红色分量阈值，取值范围为120-140，S_T是当R分量达到阈值R_T时的饱和度，取值范围为55-65；

对时刻t图像中的所有像素颜色决策后，运用腐蚀和膨胀去除孤立的背景点或前景点，再采用八连通区域标记法标记连通区域，去除小连通区域，得到候选的火焰区域；

所述计算机对获取的候选火焰区域进行闪动分析从而识别出监控现场是否存在真实火焰目标的步骤如下：

计算时刻t与t-1时刻连续两帧图像对应像素的亮度差ΔI(x，y，t)，亮度表示为各像素的红、绿、蓝颜色分量的加权平均值；所述亮度差的计算公式如下：

ΔI(x，y，t)＝I(x，y，t)-I(x，y，t-1)

式中，I(x，y，t)和I(x，y，t-1)分别表示像素(x，y)在时刻t和t-1时刻的亮度值；

根据亮度差的绝对值|ΔI(x，y，t)与阈值T_I的大小进行计数器累加，若亮度差的绝对值|ΔI(x，y，t)|小于T_I，计数器SUM(x，y，t)加0，反之加1；所述进行计数器累加的公式为：

式中，SUM(x，y，t)和SUM(x，y，t-1)分别表示像素(x，y)在时刻t和t-1时刻的计数器值，T_I为阈值；

统计时刻t各候选火焰区域中的像素是否满足像素闪动条件，像素闪动条件表示为：

(SUM(x，y，t)-SUM(x，y，t-n))＞SUM₀

式中，SUM(x，y，t)和SUM(x，y，t-n)分别表示像素(x，y)在t和t-n时刻的计数器值，n是设定的时间步长，SUM₀是像素闪动阈值；将第i个候选火焰区域中满足像素闪动条件的像素总数记为N_is0，及该区域中的前景点总数记为N_iRECT；

接着判断当前图像中的各候选区域是否满足火焰闪动条件，火焰闪动条件即：计算第i个候选火焰区域中满足像素闪动条件的像素总数N_is0与该区域中的前景点总数N_iRECT的比值，判断其比值是否大于阈值ρ，若该比值大于阈值ρ，则该区域为识别的火焰区域；火焰闪动条件用公式表示为：

N_is0/N_iRECT＞ρ

若计算机当前读取的图像经闪动分析判断存在真实的火焰目标，则计算机发送指令，控制报警器完成火灾报警。 

Images