CN103020628A

CN103020628A - 一种基于rgb对比图像与目标形状的烟雾检测方法

Info

Publication number: CN103020628A
Application number: CN2012105061587A
Authority: CN
Inventors: 王耀威; 陈佳秋; 田永鸿; 黄铁军
Original assignee: Peking University; Beijing Institute of Technology BIT
Current assignee: Peking University; Beijing Institute of Technology BIT
Priority date: 2012-11-30
Filing date: 2012-11-30
Publication date: 2013-04-03
Anticipated expiration: 2032-11-30
Also published as: CN103020628B

Abstract

本发明公开了一种基于RGB对比图像与目标形状的视频烟雾检测方法，其方法包括以下步骤：（1）对输入视频图像进行预处理，并且得到背景帧与前景区域；（2）获得背景帧和当前帧的RGB对比图像，并对其进行二维离散小波变换，得到小波系数图像；（3）从获取的小波系数图像上提取可疑区域的能量特征；（4）提取可疑区域的视觉特征；（5）综合考虑能量特征与视觉特征对可疑区域是否为烟雾区域做出判定。该方法对获取的RGB对比图像进行二维离散小波变化，使得在小波变换中能很好的区分烟雾和一般纯色物体，并且在考虑能量特征时，把可疑区域的形状和可疑区域内高低频的能量比进行综合考虑从而使得检测结果更具有可靠性。

Description

一种基于RGB对比图像与目标形状的烟雾检测方法

技术邻域：

本发明属于火灾监控的烟雾检测领域，涉及一种基于RGB对比图像与目标形状的烟雾检测方法。

背景技术：

传统的火灾检测方法包括：感温型火灾探测器、气体传感器探测器、光辐射探测器和感烟型探测器等。但是，这类传感器需要近距离的接触火焰产生的热气流、可燃气体和固体悬浮颗粒烟雾等，所以在开阔的大空间总无法满足上述要求，为了克服以上限制，基于图像视频的火灾检测方法被提出。基于图像视频的火灾检测方法一般分为火焰的检测和烟雾的检测，但是在火灾的初期，往往没有产生火而是先有烟，所以烟雾的检测对火灾的监控和检测有着重大的意义。

目前基于视频图像的烟雾检测算法主要有：利用烟雾的颜色作为特征，包括在RGB颜色空间里烟雾的颜色为浅灰或者深灰色，在YUV颜色空间里的色差信号Y和U的变化，在HSV颜色空间里饱和度信号S的变化；利用烟雾的运动特性作为特征，主要有基于像素块或像素点的运动累积及烟雾运动方向的限制，专利CN200910237654.5中还公开了一种运用光流计算像素点的运动方向的运动检测方法；利用背景和当前帧的能量差异作为特征，此类方法一般认为烟雾的出现会模糊背景图像从而导致背景图像高频能量的丢失，专利CN201110051188.9公开了一种应用小波变换分析高频信号变化的方法，并且通过筛选出逐渐变模糊的背景区域作为有烟雾的区域。

可是传统的基于小波的方法，简单的认为烟雾的产生会使背景区域高频能量减少，这类方法存在以下缺陷：（1）本来背景的颜色就很接近，没有很多轮廓，这样的背景在小波域对应的已经低频能量，这时即使有烟雾出现也不会导致高频能量的减少。（2）本来有轮廓的背景不仅仅会因为产生烟雾而丢失高频分量并且一般的纯色物体覆盖在背景上也会使高频分量丢失，低频分量减少。（3）由于烟雾出现的时候本身就带有轮廓，而轮廓在小波域对应的是高频分量，所以我们不能只考虑高频能量的丢失还要考虑轮廓带来的高频能量。

发明内容：

由于传统的小波变换在烟雾检测中的上述缺陷，本发明基于二维离散小波变换提出了一种基于RGB对比图像和目标形状的视频烟雾检测方法，克服了传统小波变换在烟雾检测上的缺陷，能很好的区分烟雾与一般纯色物体，并且把烟雾边缘带入的高频分量加以考虑，

该基于RGB对比图像与目标形状的烟雾检测方法，

首先对视频图像进行预处理，获得输入视频的前景区域；

然后获取RGB对比图像，即原RGB图像经变换后得到的描述原图像RGB三通道之间对比特性图像，并在此基础上进行二维离散小波变换，得到每个前景区域内每个运动子块的小波能量特征；

其次提取每个前景区域的能量特征，将前景区域的形状特征以及所有子块的能量相结合，作为区域的能量特征进行提取；

再提取每个前景区域的视觉特征，

最后结合每个前景区域的能量及视觉特征输出检测结果。

其中预处理包括以下步骤：

1）用滤波器对输入的视频图像进行滤波，滤除噪声；

2）前景区域的获取及背景的更新；

3）利用图像金字塔、膨胀、腐蚀图像处理方法对前景图像进行进一步处理。

其中基于RGB对比图像的二维离散小波变换包括以下步骤：

1）获取当前帧和背景帧的RGB对比图像；

2）对所获得的RGB对比图像进行二维离散小波变换，并且获得相应的小波系数图像；

3）用当前帧的小波系数图像减去背景帧的小波系数图像得到两者间的差值图像，并用一个阈值对该差值图像进行二值化处理，大于该阈值为高频能量，低于该阈值为低频能量。

其中提取可疑区域的视觉特征主要包括烟雾颜色和运动特征的提取，其步骤包括：

1)提取可疑区域内的红-绿对比色和蓝黄对比色；

2)利用基于块匹配的光流提取可疑区域内所有子块的运动速度和方向作为运动特征。量化方法包括但不限于下列任意一种：'均匀编码、非均匀编码、矢量编码、标量编码。

本发明的有益效果：

本发明提出的方法在能量域能很好的区分烟雾与其他纯色物体，并且由于把运动目标的面积和周长以及区域内高低频能量的变化相联系进行考虑，更合理地在视频烟雾检测中运用了二维离散小波变换，使得烟雾检测的可靠性得到提高。

附图说明：

图1为本发明总体的实施流程图。

图2为本发明的处理流程图。

具体实施方式：

下面对本方法的具体实施方法做进一步介绍。实施环境为基于opencv2.0的vs2008。

如图1所示为本发明的具体实施流程，包括：对输入视频图像进行预处理，得到背景帧与前景区域；获得背景帧和当前帧的RGB对比图像，并对其进行二维离散小波变换，得到小波系数图像；从获取的小波系数图像上提取可疑区域的能量特征；提取可疑区域的视觉特征；综合考虑能量特征与视觉特征对可疑区域是否为烟雾区域做出判定。各部分的具体实施细节如下：

第一步：输入视频图像的预处理；

1）用滤波器对输入的视频图像进行滤波处理；在实施例中，我们使用的是高斯滤波器（根据具体需要也可以换成中值滤波器，双边滤波器等）。

2）前景区域的获取及背景的更新，以下是我们的具体实施方法（根据具体需要也可以换成混合高斯模型对背景建模，用相邻帧做帧差得到运动区域）：

A.分别获得背景帧和当前帧的灰度图像。

B.利用当前帧的灰度图像和背景帧的灰度图像做差，得到两者的差值图像，并对获得的差值图像进行二值化处理使其变为二值图像，从而得到前景区域。

C.按照下面公式利用原来背景和当前帧对背景帧进行更新：

B_{n + 1} (i, j) = \{\begin{matrix} {αB}_{n} (i, j) + (1 - α) I_{n + 1} (i, j), & {DI}_{n} (i, j) > {Th}_{2} \\ B_{n} (i, j), & {DI}_{n} (i, j) \leq {Th}_{2} \end{matrix}

其中I_n为当前读入的视频帧，B_n为原来的背景帧，B_n+1为更新后新得到的，Th₂为阈值，α为原来背景图像在更新中的权重值。

3)利用图像金字塔、膨胀、腐蚀(也可使用开运算、闭运算)对前景图像做进行进一步处理；对于输入的图像我们先使用高斯金字塔对图像进行向下降采样，然后再用拉普拉斯金字塔对图像进行恢复，再对恢复的图像进行先腐蚀，再膨胀的处理使图像的运动区域更加的平滑。

第二步：基于RGB对比图像的二维离散小波变换；

由于烟雾一般是深灰色或者是浅灰色的，这种性质在在RGB图像中具体表现为，R，G，B三个通道的值相接近，而一般的纯色物体却不具备这个特性，基于烟雾的以上特征，本发明提出了RGB对比色的概念和具体构造方法。

1）分别获得当前帧和背景帧的RGB对比图像，在实施例中，我们根据当前像素点在x和y坐标轴上的位置，给位于不同位置的像素点分别附上R，G，B三通道值中的最大值，最小值及中间值。如果原物体的三通道值相差不大，那么产生的RGB对比图像的相邻的那些位置的像素值差别还是不是很大；如果原来的三通道值有很大差距，那么相邻位置的那些像素点的值就相差很大。

2）分别对背景的RGB对比图像和当前帧的RGB对比图像进二维离散小波变换，分别获得低频近似图像HH_n(i,j)，水平方向高频图像HL_n(i,j)，垂直方向高频图像LH_n(i,j)，对角线方向高频图像HH_n(i,j)，并且通过三个方向的细节图像得到最后的小波能量图像。

3）运用当前帧的能量图像减去背景帧的能量图像，得到能量的差值图像，并且把差值图像分成固定大小的块，并且计算每个块的能量值，并且通过一个阈值，把所有可疑烟雾区域内的所有块进行二值化处理，分别代表高频能量和低频能量。

第三步：基于可疑区域目标形状的能量特征提取；

由于图像中的轮廓在小波域往往对应的是高频分量，而烟雾产生的同时轮廓也会不可避免的出现，然而烟雾本身又会使背景原来的轮廓模糊，所以在运用能量作为特征时，不能只考虑烟雾产生丢失的高频分量还需要考虑烟雾边缘带来的高频分量。

1）运用前景图像得到每个可疑运动区域的位置信息。计算运动区域的周长和面积的比。

2）计算该运动区域内高频能量子块和低频能量子块之间的比例关系。

3）把可疑区域的周长和面积比以及整个区域内高频能量子块和低频能量的子块的比例作为能量特征进行提取。

第四步：提取可疑区域内的红-绿及蓝-黄对比色作为烟雾的颜色特征；

1）红-绿和蓝-黄两个对比色是衡量物体颜色的两个特征。他们的计算方法如下：

RG = \frac{r - g}{\max (r, g, b)}, BY = \frac{b - \min (r, g)}{\max (r, g, b)}

其中RG代表红-绿对比色，BY代表蓝-黄对比色，r,g,b分别为某像素点R通道，G通道和B通道的像素值，min(r,g,b)为三个值当中的最小值，max(r,g,b)为三个值当中的最大值。

由于烟雾的颜色一般表现为深灰色或者淡灰色，所以r,g的值以及b,min(r,g)的值相差不会太大，所以红-绿对比色和蓝-黄对比色都是很小的值，统计得到整个可疑区域内所有像素点的红-绿对比色与蓝-黄对比色的分布作为可疑区域的颜色特征，并对其进行提取。

2）利用基于块匹配的光流提取运动区域的运动速度和方向作为可疑区域的运动特征。

光流通过寻找前后两帧的匹配项来确定物体的运动速度和运动方向，基于块的光流把视频分成相同大小的子块，通过前后帧块的匹配来确定该子块的运动速度与方向。

A.假设Vel_x,Vel_y为记录当前图像水平方向和垂直方向运动分量的图像，则我们用下式计算每个子块的运动方向和运动速度。其中θ表示运动的方向，γ表示运动的速度。

θ = \tan^{- 1} (\frac{{Vel}_{x} (i, j)}{{Vel}_{y} (i, j)}), γ = \sqrt{{Vel}_{x} {(i, j)}^{2} + {Vel}_{y} {(i, j)}^{2}}

B.把θ量化成4个方向，编码为1,2,3,4；把γ量化成四个方向，也编码为1,2,3,4。

C.计算整个运动区域内所有子块方向编码的分布情况以及速度编码的分布情况，作为运动特征。

第五步：特征的综合判定；

1）对提取的能量特征进行判定，当高低频的能量比以及可疑运动区域的周长和面积比满足一定关系时，则进行视觉特征的判定，否则则认为是非烟雾区域；

2）当颜色特征满足大部分的红-绿及蓝-黄对比色都分布在小于某阈值的范围内则认为满足颜色特征；当运动方向满足大部分分布在向上的方向上或整个区域各个编码方向都有，并且运动速度满足大部分的子块分布在小于某阈值的范围内时则说明，该可疑区域同时满足所有特征的条件，则被判定为烟雾区域，否则则被判定为非烟雾区域；

到此本发明的方法已全部实现，本发明相对于传统小波变换有更好的可靠性，达到了烟雾检测的实用性。

以上实施例仅为本发明其中的一种实施方式，其描述较为具体详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护烦我英语所附权利要求为准。

Claims

1.基于RGB对比图像与目标形状的烟雾检测方法，其特征在于：首先对视频图像进行预处理，获得输入视频的前景区域；然后获取RGB对比图像，即原RGB图像经变换后得到的描述原图像RGB三通道之间对比特性图像，并在此基础上进行二维离散小波变换，得到每个前景区域内每个运动子块的小波能量特征；其次提取每个前景区域的能量特征，将前景区域的形状特征以及所有子块的能量相结合，作为区域的能量特征进行提取；再提取每个前景区域的视觉特征，最后结合每个前景区域的能量及视觉特征输出检测结果。

2.如权利要求1中所述的基于RGB对比图像与目标形状的烟雾检测方法，其特征在于：RGB对比图像的具体构造方法为：在图像的不同位置分别取R，G，B三通道中的最大值，最小值以及中间值，通过这种变换可以描述原RGB图像三通道之间的差异。

3.如权利要求1所述的基于RGB对比图像与目标形状的烟雾检测方法，其特征在于：其中预处理包括以下步骤：

1）用滤波器对输入的视频图像进行滤波，滤除噪声；

2）前景区域的获取及背景的更新；

4.如权利要求1或2所述的基于RGB对比图像与目标形状的烟雾检测方法，其特征在于：其中基于RGB对比图像的二维离散小波变换包括以下步骤：

1）获取当前帧和背景帧的RGB对比图像；

5.如权利要求1或2所述的基于RGB对比图像与目标形状的烟雾检测方法，其特征在于：，所述的能量特征的提取方法，首先分别获得前景区域的形状特征，形状特征为下列所描述的方法中的一种：周长和面积、长度和宽度、矩形度、圆形度、不变矩、轮廓的傅立叶描述子，以及该前景区域内所有高频能量子块和低频能量子块的比例关系，然后把周长及面积的比例关系与高低频能量子块的比例关系作为该前景区域的能量特征。

6.如权利要求1或2所述的基于RGB对比图像与目标形状的烟雾检测方法，其特征在于：其中提取可疑区域的视觉特征主要包括烟雾颜色和运动特征的提取，其步骤包括：

1)提取可疑区域内的红-绿对比色和蓝-黄对比色；

2)利用基于块匹配的光流提取可疑区域的运动特征。

7.如权利要求6所述的基于RGB对比图像与目标形状的烟雾检测方法，其特征在于：步骤2）中的基于块匹配的光流方法，其步骤包括：

1）提取每个前景区域内所有运动子块的运动速度和方向；

2）对运动子块的运动的速度和运动的方向进行量化；

3）对运动子块的运动的速度和运动的方向进行编码。

8.如权利要求7所述的基于RGB对比图像与目标形状的烟雾检测方法，其特征在于：量化方法为下列任意一种：′均匀编码、非均匀编码、矢量编码、标量编码。