CN101059435A - 基于彩色ccd图像分析的森林火情烟雾检测方法 - Google Patents

Abstract

本发明公开了一种基于彩色CCD图像分析的森林火情烟雾检测方法，根据获取的图像的前若干帧找出图像中的地平线位置来反映图像中的空间精度信息，基于Mallat方法分析高频信息损失特征，采取融合算法将高频信息损失特征与烟雾相对低频运动特征、颜色特征进行融合，并在时间轴上进行累积。根据地平线的位置信息和累积结果进行空间精度补偿下的烟雾区域提取，标识出烟雾源位置和烟雾区域。本发明方法可提高烟雾图像检测的可靠性，降低烟雾检测的漏检率和误检率，对实现森林火情自动检测具有重要意义和实用价值。

Description

基于彩色CCD图像分析的森林火情烟雾检测方法

技术领域

本发明涉及一种基于图像分析的森林火情烟雾检测方法，是火情检测领域中的一项分析检测方法。

背景技术

根据火灾产生规律，火情烟雾的出现早于明火的出现，因此烟雾检测技术被广泛应用于火情早期预警中。森林是火灾的重灾区，森林火灾频发，给国家和人民造成巨大的损失。如何有效地对森林火灾进行早期预警，成为降低森林火灾损失一个十分重要的问题。近年来，对森林场景进行监控的视频系统已经开始用于森林防火，而使这些视频系统具有智能性，自动监测森林中是否存在火情以进行早期预警，将成为降低森林火灾损失，减低森林维护成本的一个重要有效途径，具有广泛的应用前景。

随着计算机智能技术和数字图像处理技术的发展，用计算机和图像传感器模拟人类视觉检测火灾，由于其非接触性检测、成本较低等优势而成为研究的热点。基于图像的火情烟雾检测是当前火情检测领域一种先进的现代技术，它利用计算机对图像传感器获得的视场图像进行分析，采用图像处理技术、模式识别技术等计算机智能方法判断是否有火灾的发生，是一种非接触检测技术。现有的基于图像烟雾检测技术是对图像求取帧间差异，找出图像亮度变化区域或通过对图像进行边缘检测，找出边缘变化频度高的区域，然后采用区域直方图或运动检测的方法判断检测区域是否为烟雾区域。然而，由于森林场景的火情烟雾检测是开放大环境下的检测，存在着树枝晃动、云的飘移和其它物体运动，同时空间精度信息损失严重，如同样大小的烟雾源，在图像中远处的烟雾源像素较少，而近处的烟雾源像素较多，使得现有方法常常将树枝晃动、云的飘移以及其它运动物体误检为烟雾，且存在烟雾区域检测不完整和易对较远距离的烟雾漏检的缺陷，因此无法满足实际森林火情烟雾检测要求。

发明内容

为了克服现有技术火情检测质量和报警准确率低下的不足，本发明提供了一种基于普通彩色CCD图像的森林火情图像检测方法，能够提高森林火情烟雾检测质量，实现森林火情早期预警。

为实现这样的目的，本发明技术方案的基本思想是：烟雾的运动特征和烟雾引起的高频信息损失特征具有互补性，即运动平缓区域会导致边缘和细节的模糊，甚至消失；运动剧烈区域，边缘和细节的模糊贡献较小，同时考虑到烟雾的颜色特征、相对低频运动特征以及烟雾经常出现在某一固定区域的空间特征，利用小波分析和多特征融合算法检测出烟雾像素；监控场景中的地平线位置信息恰恰在相当大的程度上反映了空间距离信息，利用图像中地平线位置信息以及小波分析和多特征融合算法检测结果实现空间精度补偿下烟雾区域提取；最后标识出烟雾源位置和烟雾区域，进行自动预警。

在本发明中，采用可见光波段的彩色CCD摄像机获取监测场景图像，其中，摄像机安装在观察塔顶的云台上，间隔一定时间步进转动一定角度，在每个时间间隔内，摄像机是静止的。

本发明中基于彩色CCD图像分析的森林火情烟雾检测方法包括如下步骤：

第一步，由彩色CCD摄像机摄取监测场景的图像信息。

第二步，在每个时间间隔内由前若干帧图像，找出地平线的位置。

所述地平线位置的确定方法为：

1.将图像分为若干段等宽度的列带；

2.在每个列带内求取前若干帧图像平均灰度作为背景图像，对背景图像提取水平边缘信息；

3.在提取到的每个边缘点上，设定此列带内的地平线为经过该边缘点的水平线段，求取使天空图像和地面图像类内距离最小值对应的水平线段位置；

4.获得所有列带图像的地平线线段，这些地平线线段的联合即为整个图像地平线。

第三步，利用小波分析和多特征融合算法对图像进行分析。

所述小波分析和多特征融合算法具体步骤如下：

1.对每帧图像进行一次小波分析，其过程为：采用Mallat算法得到每个像素的垂直高频分量值，根据此分量与原图像素对应亮度之比值描述图像中的高频信息，以此信息变化来找出图像中高频分量减小的区域像素，得到烟雾高频信息损失特征分析结果；

2.分析序列图像多帧间差异，提取烟雾的相对低频运动特征，得到隔多帧差运动检测结果；

3.分析序列连续帧间差异，提取烟雾的相对低频运动特征，得到烟雾运动特征累积因子；

4.在L^*a^*b^*颜色空间中，用像素点颜色向量模值描述烟雾的颜色特征，得到烟雾颜色特征累积因子；

5.采取加权和比例融合算法将烟雾高频信息损失特征与相对低频运动特征、颜色特征进行融合；

6.结合烟雾经常出现在某一固定区域的空间特征，对上述融合结果作时间轴上的累积。

第四步，根据地平线位置信息对小波分析和多特征融合算法累积结果进行空间精度信息补偿下的烟雾区域提取，并采用阈值法减小云运动影响。

所述的空间精度信息补偿先对小波分析和多特征融合算法累积结果进行二值化操作，之后在二值图像上作连通域滤波，提取烟雾区域，并在此基础上采用阈值法减小云运动影响。

所述采用阈值法减小云运动影响的过程为：设定一阈值系数，高于地平线一定高度的区域可认为是云的主要活动区，烟雾几乎很少出现，剔除云运动干扰。

本发明的一个优选实施方法为：

所述的二值化操作是根据图像中像素与地平线距离，设置不同的阈值，对小波分析和多特征融合算法检测结果进行二值化操作。

本发明的另一个优选实施方法为：

所述的连通域滤波是根据图像中区域与地平线距离，设置不同的滤波阈值，对二值化后的图像作四连通域滤波。

第五步，输出烟雾信息，其中包括标识烟雾区域以及确定图像中烟雾源的位置，并将此时的烟雾信息及图像发送到控制中心，由工作人员进行确认。根据烟雾流向上运动的特性，我们判定烟雾源的位置为烟雾区域的竖直方向最低点。

本发明的有益效果是：

1.采用小波分析和多特征融合算法对图像进行烟雾检测，综合了烟雾的高频信息损失特征、运动特征、颜色特征以及空间特征，有效地提高了图像检测烟雾的可靠性。

2.利用图像中的地平线位置信息对累积结果进行空间精度信息的补偿，提高了对远处烟雾源的检测率，同时避免了由近处干扰引起的误检现象，使烟雾检测的漏检率和误检率显著地降低，可满足实际森林场景烟雾检测的要求。

下面结合附图和实施例对本发明进一步说明。

附图说明

图1是本发明的基于彩色CCD图像分析的森林火情烟雾检测方法工作流程图。

图2是小波分析和多特征融合算法流程图。

具体实施方式

以下结合实施例对本发明方法作进一步具体的描述。

利用通用微型计算机，如Intel奔腾四系列微机，外加图像采集卡，如海康威视DS-4000HC，彩色CCD摄像机可采用MINTRONMTV-53K系列摄像机。在Visual C++6.0和DirectX 8SDK编程环境中开发森林火情图像检测小系统，程序运行平台为IntelP43.0G CPU+768M DDR 400内存。

如图1所示的本发明森林火情烟雾检测方法的工作流程图，各部分具体实施细节如下：

1、彩色CCD摄像机摄取监测场景的图像信息。

利用彩色CCD摄像机获取监测场景的图像信息，通过图像采集卡，通用微型计算机读取数字图像，图像格式为RGB24格式。

2、确定地平线位置。

在每个时间间隔t_con内，找出监测场景图像中地平线的位置Line(picture)。建议时间间隔t_con和每次步进角度Ω取值满足：t_con×2π/Ω∈{8，15}，单位为分钟，时间间隔t_con可取值为1.5分钟。

将图像分为m段等宽度的列带，列带数量m的选择由监控场景的实际地形决定；若场景较为平坦则m可取较小值，若场景中地平线变化幅度较大，则m相应取较大值。m取值范围为1≤m≤20，m值满足使各列带等宽。在每个列带内进行下面步骤的处理：

求取平均亮度背景图像F(i，j)，

$F(i,j)=\frac{1}{M}\underset{f=1}{\overset{M}{\mathrm{\Σ}}}l(i,j,f)---\left(1\right)$

其中，i，j：像素图像坐标；f：图像帧数；l(i，j，f)：图像亮度值；M：常数，其值取决于采集到的各帧图像位置配准性，建议M的取值范围是3≤M≤10；

并对平均灰度背景图像F(i，j)用Sobel算子提取水平边缘信息；

sobel算子为

$\frac{1}{4}\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

在提取到的每个边缘点pixel上，设定此列带内的地平线为经过该边缘点的水平线段，求取准则函数G(pixel)最大值对应的水平线段。

G(pixel)定义为：

$G\left(\mathrm{pixel}\right)=\frac{1}{{\mathrm{\λ}}_1^s{\mathrm{\λ}}_2^s{\mathrm{\λ}}_3^s+{\mathrm{\λ}}_1^g{\mathrm{\λ}}_2^g{\mathrm{\λ}}_3^g+{({\mathrm{\λ}}_1^s+{\mathrm{\λ}}_2^s+{\mathrm{\λ}}_3^s)}^2{+({\mathrm{\λ}}_1^g+{\mathrm{\λ}}_2^g+{\mathrm{\λ}}_3^g)}^2}---\left(2\right)$

其参数λ₁ ^s(λ₁ ^g)，λ₂ ^s(λ₂ ^g)，λ₃ ^s(λ₃ ^g)分别为天空(地面)图像对应的红，绿，蓝通道的方差值。

设所获图像的红、绿、蓝(RGB)各通道相互独立，则地平线分开的天空图像和地面图像的像素值统计协方差阵为对角阵：

${\mathrm{\Σ}}_s=\left[\begin{array}{ccc}{\mathrm{\λ}}_1^s& 0& 0\\ 0& {\mathrm{\λ}}_2^s& 0\\ 0& 0& {\mathrm{\λ}}_3^s\end{array}\right]$ 为天空图像协方差阵；

${\mathrm{\Σ}}_g=\left[\begin{array}{ccc}{\mathrm{\λ}}_1^g& 0& 0\\ 0& {\mathrm{\λ}}_2^g& 0\\ 0& 0& {\mathrm{\λ}}_3^g\end{array}\right]$ 为地面图像协方差阵；

G(pixel)取最大值时，天空图像和地面图像的类内距离最小，因此，G(pixel)取最大值时对应的水平线段就是此列带图像的地平线。

求出所有图像列带的地平线线段，则整个图像地平线即为这些地平线段的联合。

3、小波分析和多特征融合算法对图像分析

1).对当前帧即第f帧做图像小波分析

首先计算第f帧像素(i，j)的垂直高频分量值 D_fLH(i，j，f)

其中，D_fLH(i，j，f)：采用Mallat算法得到第f帧像素(i，j)的垂直高频分量值；

取整运算符。由于一次小波分析后，垂直高频分量图像宽和高均为原始图像的一半，公式(3)为将D_fLH(i，j，f)恢复到原始图像大小。

其次计算垂直高频分量与原图像素对应亮度之比值 W_fLH(i，j，f)

W_fLH(i，j，f)＝ D_fLH(i，j，f)/l(i，j，f)                                   (4)

其中，l(i，j，f)：第f帧图像像素(i，j)亮度值。需将 W_fLH(i，j，f)归一到[0，255]内，以描述图像中的高频信息。

然后，将每一帧图像 W_fLH(i，j，f)与背景图像W_BLH(i，j，f)比较，找出图像中代表细节和边缘信息的高频分量减小的区域像素：

可取第一帧为背景图像，

对任意像素点(i，j)，

最后，为滤除一些噪声点的污染，对背景剪除结果W_fLH′(i，j)进行3×3的平滑滤波得到I_f′(i，j，f)，即第f帧像素(i，j)烟雾高频信息损失特征分析结果。

2).对当前帧即第f帧做隔多帧差运动检测

I(i，j，f)＝|l(i，j，f)-l(i，j，f-N)|                                 (6)

其中，I(i，j，f)：第f帧图像像素(i，j)隔多帧差运动检测结果；N：隔多帧差运算中的间隔帧数，其选择和处理器的速度和内存有关。N越大，所需内存越大，检测缓慢运动(如距离远的烟雾运动)的精度越高。N可取[6，30]中的任意整数。

3).当前帧运动特征累积因子计算

首先计算第f帧邻帧差检测结果Iq(i，j，f)

I_q(i，j，f)＝|l(i，j，f)-l(i，j，f-1)|+|l(i，j，f-(N-1))-l(i，j，f-N)|

                                                                      (7)

然后，对I_q(i，j，f)做一定膨胀操作，得到邻帧差检测出的运动区域，则

其中，K₁(i，j，f)：第f帧图像像素(i，j)运动特征累积因子。

4).当前帧颜色特征累积因子计算

烟雾的颜色具有一定的特征，即烟雾基本上不是彩色的；浓的烟雾完全是灰色的，薄的烟雾由于透射作用，会带上一些背景的颜色，但其颜色与主要噪声源树枝的颜色还是有差异。

将所获图像像素颜色转换到L^*a^*b^*颜色空间中，不考虑亮度影响，令D(i，j，f)表示第f帧中像素点(i，j)在a-b空间中颜色向量模值，即颜色距离。

$D(i,j,f)=\sqrt{a{(i,j,f)}^2+b{(i,j,f)}^2}---\left(9\right)$

其中，a(i，j，f)：第f帧图像像素(i，j)在L^*a^*b^*颜色空间中的a^*分量值；b(i，j，f)：第f帧图像像素(i，j)在L^*a^*b^*颜色空间中的b^*分量值；函数K₂(i，j，f)＝g₁(D(i，j，f))特征为分段非增函数，定义为，

其中A：增益系数，A∈[1，2]；T₁：浓烟与薄烟之间颜色距离临界值；T₂为薄烟与树之间颜色距离临界值，0≤T₁＜T₂。

5).将烟雾高频信息损失特征与相对低频运动特征、颜色特征进行融合

对当前帧即第f帧做加权融合：

I_fusion(i，j，f)＝α×I(i，j，f)+(1-α)×I_f′(i，j，f)                 (11)

其中，I_fusion(i，j，f)：加权融合后第f帧图像像素(i，j)亮度值；α：权重因子0≤α≤1，可取 $\mathrm{\α}=\frac{{\mathrm{Max}}_f^{\′}}{{\mathrm{Max}}_f^{\′}+\mathrm{Ma}{x}_f}$ Max_f′：I_f′(i，j，f)的最大值；Max_f：I(i，j，f)的最大值。

然后，将I_fusion(i，j，f)与相对低频运动特征、颜色特征进行比例融合：

I_F(i，j，f)＝K₁(i，j，f)K₂(i，j，f)I_fusion(i，j，f)                    (12)

其中，I_F(i，j，f)：第f帧图像像素(i，j)特征融合结果。

6).对上述融合结果I_F(i，j，f)作时间轴上的累积：

I_c(i，j，f)＝(1-ρ)I_c(i，j，f-Δf)+ρI_F(i，j，f)                       (13)

其中，I_c(i，j，f)：第f帧图像像素(i，j)时间轴累积结果；ρ：时间累积作用因子，0＜ρ＜1；Δf：帧处理间隔，可取Δf＝8。

图2给出了该融合算法的具体实施流程。

在烟雾源为中近距离(小于2千米)，在有风和无风，有其它运动物体干扰和不同时间段的森林火情检测场景中，对基于小波分析和多特征融合的烟雾检测方法(记为方法1)与现有的亮度变化检测及直方图判断方法(记为方法2)的检测结果作对照。表1为参数设置，表2为对中近距离烟雾源视频检测结果评价。

                       表1参数设置

参数名称	取值	取值范围	备注
				N	6	[6，30]	隔多帧差运算中的间隔帧数
A	1.8	[1，2]	颜色累积因子分段非增函数中的增益
				T1	15	0≤T1＜T2	浓烟与薄烟之间颜色距离临界值

T2	40	0≤T1＜T2	薄烟与树之间颜色距离临界值
				ρ	1/N	0＜ρ＜1	时间累积作用因子

       表2中近距离烟雾源视频检测结果评价

方法	虚警率	检测率	平均处理速度
				方法1	2％	96.5％	20帧/秒
方法2	10％	95％	18帧/秒

4、空间精度信息补偿下的去干扰烟雾区域提取

根据地平线位置信息和检测累积结果进行空间精度信息补偿下的去干扰烟雾区域提取。

所述空间精度信息补偿的第一优选实施形式特征为：

令T_c为对累积结果进行二值化操作的预定阈值，h为某列带内地平线图像高度。

像素p_i的高度为h_p，则此列带内像素p_i二值化阈值T(p_i)为

T(p_i)＝ψ1(|h_p-h|)                                                (14)

其中，ψ₁(|h_p-h|)为增函数，即离地平线越远，二值化时取的阈值越大。可取

所述空间精度信息补偿的第二优选实施形式特征为：

对二值化后的图像作四连通域滤波，并进行区域标记，其中区域滤波的区域像素数量阈值预定为Num_c。

设某区域竖直方向最低像素q_i的高度为h_q，像素q_i所在列带的地平线图像高度为h，则此区域的像素数量阈值Num(q_i)

Num(q_i)＝ψ₂(|h_q-h|)                                              (16)

其中，ψ₂(|h_q-h|)为增函数，即离地平线越远，区域滤波时取的阈值越大。可取

在本发明中，我们联合使用了这两种空间精度补偿方法。在进行空间精度补偿下的二值化操作和区域滤波处理后，检测区域就被提取出来，之后进行云运动影响处理。

云运动影响处理方法：

设定一阈值系数η，在地平线上方一定高度ηH(H是地平线上方的总高度)认为是云的主要活动区，烟雾几乎很少出现的区域，对此区域内的检测结果认为是非烟雾干扰。其中，0≤η＜1，本发明取η＝0.25。

分别对较远距离(大于2千米)烟雾源和各种距离(包括中近距离和较远距离)烟雾源，在有风和无风，有其它运动物体干扰和不同时间段的森林火情检测场景中，对小波分析和多特征融合烟雾检测方法进行空间精度补偿(用A表示)和现有的亮度变化检测及直方图判断方法未进行空间精度补偿(用B表示)的烟雾区域提取结果作对照。

表3为参数设置，表4为对较远距离烟雾源视频的检测结果评价，表5为对各种距离烟雾源视频的检测结果评价。空间精度补偿使检测算法能够自适应距离不同的检测对象，大大提高了烟雾检测方法的检测率同时仍然保持较小的虚警率，且实时性较好。

                            表3参数设置

    表4对较远距离烟雾源视频的检测结果评价

	虚警率	检测率	平均处理速度
				A	4％	90％	17帧/秒
B	10％	50％	18帧/秒

    表5对各种距离烟雾源视频的检测结果评价

	虚警率	检测率	平均处理速度
				A	3％	93.5％	17帧/秒
B	10％	72％	18帧/秒

5、标识烟雾区域及烟雾源位置并将烟雾信息及图像发送到控制中心

输出烟雾信息，其中包括标识烟雾区域以及确定图像中烟雾源的位置，并将此时的烟雾信息及图像发送到控制中心，由工作人员进行确认。根据烟雾流向上运动的特性，我们判定烟雾源的位置为烟雾区域的竖直方向最低点。

Claims (7)

1、基于彩色CCD图像分析的森林火情烟雾检测方法，其特征在于包括以下步骤：

(a)由彩色CCD摄像机摄取监测场景的图像信息；

(b)在每个时间间隔内由前若干帧图像，找出地平线的位置；

(c)利用小波分析和多特征融合算法对图像进行分析；

(d)根据地平线位置信息对小波分析和多特征融合算法累积结果进行空间精度信息补偿下的烟雾区域提取，并采用阈值法减小云运动影响；

(e)输出烟雾信息，其中包括标识烟雾区域以及确定图像中烟雾源的位置，并将此时的烟雾信息及图像发送到控制中心，由工作人员进行确认；判定烟雾源的位置为烟雾区域的竖直方向最低点。

2、根据权利要求1的基于彩色CCD图像分析的森林火情烟雾检测方法，其特征在于所述地平线位置的确定方法包括下述步骤：

(a)将图像分为若干段等宽度的列带；

(b)在每个列带内求取前若干帧图像平均灰度作为背景图像，对背景图像提取水平边缘信息；

(c)在提取到的每个边缘点上，设定此列带内的地平线为经过该边缘点的水平线段，求取使天空图像和地面图像类内距离最小值对应的水平线段位置；

(d)获得所有列带图像的地平线线段，这些地平线线段的联合即为整个图像地平线。

3、根据权利要求1的基于彩色CCD图像分析的森林火情烟雾检测方法，其特征在于所述小波分析和多特征融合算法包括下述步骤：

(a)对每帧图像进行一次小波分析，其过程为：采用Mallat算法得到每个像素的垂直高频分量值，根据此分量与原图像素对应亮度之比值描述图像中的高频信息，以此信息变化来找出图像中高频分量减小的区域像素，得到烟雾高频信息损失特征分析结果；

(b)分析序列图像多帧间差异，提取烟雾的相对低频运动特征，得到隔多帧差运动检测结果；

(c)分析序列连续帧间差异，提取烟雾的相对低频运动特征，得到烟雾运动特征累积因子；

(d)在L^*a^*b^*颜色空间中，用像素点颜色向量模值描述烟雾的颜色特征，得到烟雾颜色特征累积因子；

(e)采取加权和比例融合算法将烟雾高频信息损失特征与相对低频运动特征、颜色特征进行融合；

(f)对上述融合结果作时间轴上的累积。

4、根据权利要求1的基于彩色CCD图像分析的森林火情烟雾检测方法，其特征在于：

所述的空间精度信息补偿先对小波分析和多特征融合算法累积结果进行二值化操作，之后在二值图像上作连通域滤波，提取烟雾区域，并在此基础上采用阈值法减小云运动的影响。

5、根据权利要求1的基于彩色CCD图像分析的森林火情烟雾检测方法，其特征在于：

所述采用阈值法减小云运动影响的过程为：设定一阈值系数，高于地平线一定高度的区域认为是云的主要活动区，剔除云运动干扰。

6、根据权利要求1的基于彩色CCD图像分析的森林火情烟雾检测方法，其特征在于：

所述的二值化操作是根据图像中像素与地平线距离，设置不同的阈值，对小波分析和多特征融合算法检测结果进行二值化操作。

7、根据权利要求1的基于彩色CCD图像分析的森林火情烟雾检测方法，其特征在于：

所述的连通域滤波是根据图像中区域与地平线距离，设置不同的滤波阈值，对二值化后的图像作四连通域滤波。

Images