CN102567722A - 一种基于码本模型和多特征的早期烟雾检测方法 - Google Patents

Abstract

本发明公开了一种基于码本模型和多特征的早期烟雾检测方法，包括1：利用码本模型对相机拍摄的视频序列进行背景建模，采用背景减除法得到前景似然信息图像；2：利用改进的烟雾区域颜色模型滤除前景似然信息图像中其它目标的干扰，得到前景似然信息图像中的疑似烟雾区域；3：利用融合烟雾区域的形状模型对疑似烟雾区域进一步检测，滤除与烟雾颜色相近但形状特征不同的干扰区域；4：利用融合烟雾区域的动态模型对疑似烟雾区域进一步筛选，滤除早期烟雾区域的增长率过低和烟雾区域中心位置移动过快的目标。该方法利用烟雾的颜色特征，形状模型特征以及动态特征，对疑似烟雾区域进行筛选。提高烟雾检测准确性和系统鲁棒性。

Description

一种基于码本模型和多特征的早期烟雾检测方法

技术领域

本发明属于图像处理领域，特别是一种基于码本模型和多特征的早期烟雾检测方法。

背景技术

烟雾是火灾产生的早期表现，如果能将监控场景中的烟雾准确及时的检测出来，则会在很大程度上提高火灾预警成功率，将损失减小到最低。

传统的烟雾检测是通过传感器对温度，气体成分等物理量的变化进行监测，进而做出相应的判断。传感器受到空气流动的限制，对于较大空间的烟雾检测，效果并不理想。

由于视频监控不受空间距离和场景的限制，基于视频进行烟雾检测的方法受到越来越多国内外学者的关注。现有的一种基于视频分析的实现方式中，提出了一种基于RGB分量运算和位屏蔽压缩的颜色特征模型，并通过小波变换去除动态干扰，检测场景中的烟雾；现有的另一种基于视频分析的实现方式中，根据烟雾的颜色信息获取前景中的烟雾区域；现有的再一种基于视频分析的实现方式中，提出基于累积量和主运动方向的视频烟雾检测方法。但上述方式都只考虑烟雾在某一方面的特性，造成在一些场景中的误检率偏高。

发明内容

本发明针对现有基于视频分析的实现方式存在的上述问题，提出了一种基于码本模型和多特征的早期烟雾检测方法。本发明采用的技术手段如下：

一种基于码本模型和多特征的早期烟雾检测方法，其特征在于包括：

步骤1：利用码本模型对相机拍摄的视频序列进行背景建模，采用背景减除法得到前景似然信息图像；

步骤2：利用改进的烟雾区域颜色模型滤除前景似然信息图像中其它目标的干扰，得到前景似然信息图像中的疑似烟雾区域；

步骤3：利用融合烟雾区域的形状模型对疑似烟雾区域进一步检测，滤除与烟雾颜色相近但形状特征不同的干扰区域；

步骤4：利用融合烟雾区域的动态模型对疑似烟雾区域进一步筛选，滤除早期烟雾区域的增长率过低和烟雾区域中心位置移动过快的目标。

本发明提出的基于码本模型和多特征的早期烟雾检测算法在利用码本模型进行复杂背景建模获得前景区域之后，利用烟雾的颜色特征，形状模型特征以及动态特征，对疑似烟雾区域进行筛选。多特征模型的建立和阈值的选取是算法的关键，也是提高烟雾检测准确性和系统鲁棒性的要点。

附图说明

图1为本发明基于码本模型和多特征的早期烟雾检测方法的流程图。

图2为采用码本模型方法生成的一种前景似然图示例。

图3A为采用码本模型方法生成的一种前景似然图示例。

图3B为图3A剔除了不符合烟雾颜色特征的像素点的一种前景似然信息图像示例。

图4A为剔除了不符合烟雾颜色特征的像素点的一种前景似然信息图像示例。

图4B为图4A中滤除与烟雾颜色相近的目标的示例。

图5为不同算法进行烟雾检测对应的ROC曲线对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

如图1所示，本发明的方法包括：

步骤1：利用码本模型对相机拍摄的视频序列进行背景建模，采用背景减除法得到前景似然信息图像。

现有图像处理中，提取前景似然信息图像的方式是在像素域的时间尺度上对像素进行分类，很难将其学习效率控制在既不过检也不漏检的理想状态，容易造成误判，无法解决对待监控目标的阴影、空洞和噪点过多的问题，影响定位跟踪的准确性。针对此问题，本发明是采用码本模型对视频序列进行背景建模的。具体地，步骤1又包括以下步骤：

步骤11：对视频序列进行学习，根据每个像素点连续采样值的颜色距离和亮度范围为每个像素点生成一个码本，假设当前像素点是x＝(R，G，B)，其对应的码本是M。

步骤12：计算当前像素点的亮度I＝R+G+B，定义布尔变量match＝0。

步骤13：根据设定条件从码本M中找到与当前像素匹配的码字C_m，如果能够找到码字C_m，则match＝1，否则match＝0。其中的设定条件包括条件A和条件B，条件A表示为：

$\mathrm{colordist}(x,v_m)=\frac{{\left|\right|x\left|\right|}^2{\left|\right|v_m\left|\right|}^2-{<x,v_m>}^2}{{\left|\right|v_m\left|\right|}^2}\&le;\mathrm{\&epsiv;}$

其中，||x||²＝R²+G²+B²， ${\left|\right|v_m\left|\right|}^2={\stackrel{\&OverBar;}{R}}_m^2+{\stackrel{\&OverBar;}{G}}_m^2+{\stackrel{\&OverBar;}{B}}_m^2,$ ${<x,v_m>}^2={({\stackrel{\&OverBar;}{R}}_{m}R+{\stackrel{\&OverBar;}{G}}_{m}G+{\stackrel{\&OverBar;}{B}}_{m}B)}^2;$

条件B表示为：

且当I_low≤||x||≤I_hi时，

其中，I_low为码字的亮度范围最小值，I_hi为该码字的亮度范围最大值。

步骤14：将match＝0的像素作为当前视频图像的前景像素，将match＝1的像素作为当前视频图像的背景像素。

步骤15：生成关于当前视频图像中像素m_i的前景似然函数L_i(m_i)，进而生成相应的前景似然图，如图2所示。其中的前景似然函数L_i(m_i)表示为：

步骤2：利用改进的烟雾区域颜色模型滤除前景似然信息图像中其它目标的干扰，得到前景似然信息图像中的疑似烟雾区域。

由于烟雾的颜色大部分趋近于白色和灰色，带有水分的树枝燃烧，会偏向于青蓝色。如果在RGB通道上直接对烟雾进行分析，白色和灰色的烟雾在3个通道上的数值较为平均，而青烟则会在B通道上值偏大，利用该特点，步骤2又包括以下步骤：

步骤21：将前景似然信息图像中每个像素点的R通道、G通道、B通道的值分别进行归一化处理，以获得归一化后不同烟雾像素点的R通道、G通道、B通道的数值分布范围，归一化过程表示为：

$\left\{\begin{array}{c}r=\frac{\mathrm{Ir}(x,y)}{\mathrm{Ir}(x,y)+\mathrm{Ig}(x,y)+\mathrm{Ib}(x,y)}\\ g=\frac{\mathrm{Ig}(x,y)}{\mathrm{Ir}(x,y)+\mathrm{Ig}(x,y)+\mathrm{Ib}(x,y)}\\ b=\frac{\mathrm{Ib}(x,y)}{\mathrm{Ir}(x,y)+\mathrm{Ig}(x,y)+\mathrm{Ib}(x,y)}\end{array}\right.$

步骤22：通过对大量视频图像归一化后R通道、G通道、B通道的数值的统计，得到前景似然信息图像中的多个置信空间，通过归一化RGB通道的置信区间即可剔除前景似然信息图像中不符合烟雾颜色特征的像素点。如图3A是步骤1得到的前景似然信息图像，图3B是步骤2得到的剔除了不符合烟雾颜色特征的像素点的前景似然信息图像。

步骤3：利用融合烟雾区域的形状模型对疑似烟雾区域进一步检测，滤除与烟雾颜色相近但形状特征不同的干扰区域。

如果前景似然信息图像中存在与烟雾颜色相近的移动目标，由于烟雾本身具有扩散的性质，加上大气本身的流动，烟雾的形状呈现出一种不规则性，而与烟雾颜色相近的移动目标不具备该特点，利用融合烟雾区域的形状模型可以剔除疑似烟雾区域中与烟雾颜色相近但形状特征不同的干扰区域，以降低烟雾检测的误警率。

在实际的场景中，烟雾区域本身的不规则性可以表现为烟雾所占空间体积与烟雾区域表面积的比例关系，此时不规则度Ω_dim3描述为：

${\mathrm{\&Omega;}}_{\dim 3}=\frac{S}{\sqrt[3]{36\mathrm{\&pi;}\&times;V^2}}$

其中，S为三维空间中烟雾区域的表面积，V为三维空间中烟雾区域的体积。随着空间区域形状复杂性的升高，不规则度Ω_dim3也将随之增大。

在视频图像中，烟雾区域的不规则性将表现在二维视频图像上，此时烟雾区域的不规则度Ω_dim2定义为：

${\mathrm{\&Omega;}}_{\dim 2}=\frac{C}{\sqrt{4\mathrm{\&pi;}\&times;A}}$

其中，C为烟雾区域的周长，A为烟雾区域的面积。随着平面形状复杂性的升高，不规则度Ω_dim2也将随之增大。通过对大量视频图像的数据统计，可以计算出烟雾的不规则度Ω_dim2分布在一置信度较高的置信区间中。则步骤3又包括以下步骤：

步骤31：计算大量视频图像中疑似烟雾区域的不规则度，通过对不规则度的数据统计，得到一置信区间。

步骤32：计算步骤2得到的前景似然信息图像中的疑似烟雾区域中划分的连通区域的不规则度。

步骤33：若步骤32计算得到的不规则度落在步骤31得到的置信区间中，则判断相应的连通区域具有类烟雾形状的特性，否则滤除。如图4A是步骤2得到的疑似烟雾区域，该疑似烟雾区域包括与烟雾颜色相近的火箭；图4B是步骤3得到的滤除了火箭的前景似然信息图像。

步骤4：利用融合烟雾区域的动态模型对疑似烟雾区域进一步筛选，滤除早期烟雾区域的增长率过低和烟雾区域中心位置移动过快的目标。

该步骤包括：步骤41.利用融合烟雾区域的动态模型对疑似烟雾区域进一步筛选，滤除早期烟雾区域的增长率过低的目标；步骤42.利用融合烟雾区域的动态模型对疑似烟雾区域进一步筛选，滤除烟雾区域中心位置移动过快的目标。

对于步骤41，考虑到烟雾在大气的作用下会产生扩散，早期烟雾有逐渐增多的趋势，通过计算步骤3得到的前景似然信息图像中疑似烟雾区域面积的增长率，可以有效的排除部分非烟雾区域的干扰。例如，夜间路灯开启时，对烟雾检测产生一定的干扰，由于路灯区域的颜色和形状与烟雾相似，此时，利用早期烟雾的增长率，可以快速剔除静态光源产生的干扰，有效降低误警率。则步骤41又包括：

步骤411：计算τ时间间隔内烟雾的增长率v，描述为：

$v=\frac{A_{t+\mathrm{\&tau;}}-A_t}{\mathrm{\&tau;}}$

其中，t是时刻，疑似烟雾区域的面积为A_t，该区域的面积为A_t+τ。

步骤412：滤除早期烟雾区域的增长率低于一定值的目标。

对于步骤42，由于在火源位置保持不变的情况下，烟雾区域的变化也具有相对的稳定性，利用每个时刻烟雾区域中心位置的变化来描述这种相对的稳定性，通过提取连续多帧视频图像中烟雾区域的中心点，计算多帧中心点的密集程度来判断疑似区域是否具有中心位置的相对稳定性。则步骤42又包括：

步骤421：在连续的N帧图像中，提取N个该疑似烟雾区域的中心像素点坐标(x_i，y_i)，i＝1，2，...，N，计算N帧烟雾区域中心像素点坐标的统计平均值描述为：

$\left\{\begin{array}{c}\stackrel{\&OverBar;}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i\\ \stackrel{\&OverBar;}{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i\end{array}\right.$

步骤422：计算x方向和y方向的统计标准差。

步骤423：如果计标准差小，则说明N帧中疑似烟雾区域的中心像素点坐标密集程度高，具有烟雾区域的相对稳定性。而快速移动的目标(比如：行驶汽车的灯光)，则不具有烟雾区域的这个动态特征，其统计标准差值比较大，所以在该步骤中，滤除统计标准差大于一定值的目标。

为了验证上述方法的鲁棒性和有效性，我们对多组实验视频进行测试，视频大小320×240。我们选用的实验视频涵盖了多种场景下，不同火源产生的烟雾。算法实现基于windows 7操作系统，采用Visual Studio 2008结合OpenCV2.2作为软件平台，计算机配置为Pentium(R)Dual-Core CPU 2.0GHz。鉴于篇幅限制，本文只列出6组视频的烟雾检测结果。统计数据选取实验视频库中的9组带有烟雾的测试视频，共15394帧。6组不带烟雾的干扰视频，共9055帧。

下表4和表5列出了各个特征的阈值均选用最佳阈值条件下的检测成功率和误警率的统计数据。通过统计可以计算出，在最佳阈值条件下，对于选取的部分测试视频组，本文算法的平均检测成功率为94.85％，平均误警率为5.91％。

表4有烟雾测试视频的检测成功率统计表

表5无烟雾测试视频的误警率统计表

视频名称	帧数	视频描述	误警率
				CarLights1	1540	夜间，来往车辆车灯强光	5.60％
CarLights2	1590	夜间，来往车辆车灯强光	4.40％
				Tennis	1590	室内，灯光抖动下的白色地砖	6.34％
Cars	685	室外，车辆反射强烈日光	5.80％
				T-shirts	1723	室外，与烟雾相似颜色的移动人物	7.38％
StreetLamps	1927	夜间，远景，路灯	5.94％

为了比较不同算法之间的性能，我们使用ROC(receiver operatingcharacteristics)曲线作为算法的评测指标，ROC曲线描述了检测成功率和误警率之间的关系。我们用横坐标表示误警率，纵坐标表示检测成功率，改变特征阈值的大小可以相应的改变检测成功率和误警率，用平滑曲线连接各点即可作出ROC曲线，ROC曲线下方的面积AUC(Area Under the Curve)大小可以表征算法的性能。在烟雾检测中，AUC的值越接近于1，算法的性能就越好。我们将本文提出的算法记为算法一，将仅采用颜色特征模型的算法记为算法二，仅采用形状特征模型的算法记为算法三，仅采用动态特征模型的算法记为算法四。4种算法在同一数据集上进行实验，所得的ROC曲线如图5所示。其中，算法一的AUC值约为0.952，算法二的AUC值约为0.827，算法三的AUC值为0.532，算法四的AUC值为0.786。在算法一中，随着检测成功率的提高，系统的误警率并没有明显的增长，很快达到系统的最佳工作状态。而算法二在检测成功率不高时能够保持较低的误警率，但是随着检测成功率的增长，误警率也在快速增长。算法三的误警率和检测成功率一直维持在相似的水平上。算法四在检测成功率较低的时候，误警率已经比较高了。总体看来，基于码本模型和多特征的烟雾检测算法能够在理想的检测成功率下，维持着相对较低的误警率，算法的有效性明显比只选用一种特征有明显提高。

本发明提出的基于码本模型和多特征的早期烟雾检测算法在利用码本模型进行复杂背景建模获得前景区域之后，利用烟雾的颜色特征，形状模型特征以及动态特征，对疑似烟雾区域进行筛选。多特征模型的建立和阈值的选取是算法的关键，也是提高烟雾检测准确性和系统鲁棒性的要点。实验结果表明，该算法可以在多种场景下准确的检测出场景中的烟雾区域，而且各种干扰具有较低的误警率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于码本模型和多特征的早期烟雾检测方法，其特征在于包括：

步骤1：利用码本模型对相机拍摄的视频序列进行背景建模，采用背景减除法得到前景似然信息图像；

步骤2：利用改进的烟雾区域颜色模型滤除前景似然信息图像中其它目标的干扰，得到前景似然信息图像中的疑似烟雾区域；

步骤3：利用融合烟雾区域的形状模型对疑似烟雾区域进一步检测，滤除与烟雾颜色相近但形状特征不同的干扰区域；

步骤4：利用融合烟雾区域的动态模型对疑似烟雾区域进一步筛选，滤除早期烟雾区域的增长率过低和烟雾区域中心位置移动过快的目标。

2.根据权利要求1所述的方法，其特征在于步骤1包括：

步骤11：对视频序列进行学习，根据每个像素点连续采样值的颜色距离和亮度范围为每个像素点生成一个码本，假设当前像素点是x＝(R，G，B)，其对应的码本是M；

步骤12：计算当前像素点的亮度I＝R+G+B，定义布尔变量match＝0；

步骤13：根据设定条件从码本M中找到与当前像素匹配的码字C_m，如果能够找到码字C_m，则match＝1，否则match＝0；其中的设定条件包括条件A和条件B，条件A表示为：

$\mathrm{colordist}(x,v_m)=\frac{{\left|\right|x\left|\right|}^2{\left|\right|v_m\left|\right|}^2-{<x,v_m>}^2}{{\left|\right|v_m\left|\right|}^2}\&le;\mathrm{\&epsiv;}$

其中，||x||²＝R²+G²+B²， ${\left|\right|v_m\left|\right|}^2={\stackrel{\&OverBar;}{R}}_m^2+{\stackrel{\&OverBar;}{G}}_m^2+{\stackrel{\&OverBar;}{B}}_m^2,$ ${<x,v_m>}^2={({\stackrel{\&OverBar;}{R}}_{m}R+{\stackrel{\&OverBar;}{G}}_{m}G+{\stackrel{\&OverBar;}{B}}_{m}B)}^2;$

条件B表示为：

且当I_low≤||x||≤I_hi时，

其中，I_low为码字的亮度范围最小值，I_hi为该码字的亮度范围最大值。

步骤14：将match＝0的像素作为当前视频图像的前景像素，将match＝1的像素作为当前视频图像的背景像素；

步骤15：生成关于当前视频图像中像素m_i的前景似然函数L_i(m_i)，进而生成相应的前景似然图，其中的前景似然函数L_i(m_i)表示为：

3.根据权利要求2所述的方法，其特征在于步骤2包括：

步骤21：将前景似然信息图像中每个像素点的R通道、G通道、B通道的值分别进行归一化处理，以获得归一化后不同烟雾像素点的R通道、G通道、B通道的数值分布范围，归一化过程表示为：

$\left\{\begin{array}{c}r=\frac{\mathrm{Ir}(x,y)}{\mathrm{Ir}(x,y)+\mathrm{Ig}(x,y)+\mathrm{Ib}(x,y)}\\ g=\frac{\mathrm{Ig}(x,y)}{\mathrm{Ir}(x,y)+\mathrm{Ig}(x,y)+\mathrm{Ib}(x,y)}\\ b=\frac{\mathrm{Ib}(x,y)}{\mathrm{Ir}(x,y)+\mathrm{Ig}(x,y)+\mathrm{Ib}(x,y)}\end{array}\right.$

r为归一化后R通道数值，g为归一化后G通道数值，b为归一化后B通道数值；

步骤22：通过对大量视频图像归一化后R通道、G通道、B通道的数值的统计，得到前景似然信息图像中的多个置信空间，通过归一化RGB通道的置信区间即可剔除前景似然信息图像中不符合烟雾颜色特征的像素点。

4.根据权利要求3所述的方法，其特征在于步骤3包括：

步骤31：计算大量视频图像中疑似烟雾区域的不规则度，通过对不规则度的数据统计，得到一置信区间，不规则度Ω_dim2定义为：

${\mathrm{\&Omega;}}_{\dim 2}=\frac{C}{\sqrt{4\mathrm{\&pi;}\&times;A}}$

其中，C为烟雾区域的周长，A为烟雾区域的面积；

步骤32：计算步骤2得到的前景似然信息图像中的疑似烟雾区域中划分的连通区域的不规则度；

步骤33：若步骤32计算得到的不规则度落在步骤31得到的置信区间中，则判断相应的连通区域具有类烟雾形状的特性，否则滤除。

5.根据权利要求4的方法，其特征在于步骤4包括：

步骤41.利用融合烟雾区域的动态模型对疑似烟雾区域进一步筛选，滤除早期烟雾区域的增长率过低的目标；

步骤42.利用融合烟雾区域的动态模型对疑似烟雾区域进一步筛选，滤除烟雾区域中心位置移动过快的目标。

6.根据权利要求5的方法，其特征在于步骤41包括：

步骤411：计算τ时间间隔内烟雾的增长率v，描述为：

$v=\frac{A_{t+\mathrm{\&tau;}}-A_t}{\mathrm{\&tau;}}$

其中，t是时刻，疑似烟雾区域的面积为A_t，该区域的面积为A_t+τ；

步骤412：滤除早期烟雾区域的增长率低于一定值的目标。

7.根据权利要求6的方法，其特征在于步骤42包括：

步骤421：在连续的N帧图像中，提取N个该疑似烟雾区域的中心像素点坐标(x_i，y_i)，i＝1，2，...，N，计算N帧烟雾区域中心像素点坐标的统计平均值

描述为：

$\left\{\begin{array}{c}\stackrel{\&OverBar;}{x}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i\\ \stackrel{\&OverBar;}{y}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i\end{array}\right.;$

步骤422：计算x方向和y方向的统计标准差；

步骤423：滤除统计标准差大于一定值的目标。

Images