CN101853512A - 一种基于视频时间和空间信息的火焰检测方法 - Google Patents

Abstract

一种基于视频时间和空间信息的火焰检测方法，属于图像信息处理技术领域。首先从源图像中分离出前景运动图像，并从前景运动图像中找出具有火焰颜色特征的像素点形成疑似火焰区域；然后利用真实火焰区域边缘像素点的闪烁特性，在疑似火焰区域边缘像素点中设置观察点，建立隐马尔科夫模型，提取时间空间模式特征并组成观察特征值序列；再将观察特征值序列输入事先训练好的隐马尔科夫模式判决器，得到该观察点是否是真实火焰像素点的判决结果；当所有观察点中超过一定比例的观察点均被判定为真实的火焰像素点时，认为疑似火焰区域为真实的火焰区域，并发出报警。本发明具有较低的漏检率和误检率，并具有很好的鲁棒性，可用于更为广泛的火灾监控场合。

Description

一种基于视频时间和空间信息的火焰检测方法

技术领域

本发明属于图像信息处理技术领域，特别是利用视频图像信息进行火焰检测的方法。

背景技术

火灾一直都是人民生命财产安全的巨大威胁之一，能够及时地对突发性火灾进行报警是减小或避免火灾带来的损失的有效方法。与其他火灾报警设备相比，基于计算机视觉技术的监控设备可以覆盖更广的范围。近年来，随着计算机视觉技术的快速发展，利用该技术对火灾的预警成为了可能，并且已有一些现有技术得到了应用。

现有技术主要集中在分析火焰运动以及颜色特性上。火焰运动特性可使得其与背景相分离，排除静止的具有火焰颜色特性的物体以便更深入的分析。对于颜色分析而言，将监控设备采集到的彩色图像划分为RGB通道，对每个像素点的这三个通道设置一些阈值条件，使得满足这些关系的像素点被判别成为火焰像素点。其中有三基色分量差分法、动态阈值法等。其基本思想都只是在于分析视频图像的静态信息。这些方法虽然有效地利用了视频的图像颜色信息，但忽略了视频的动态信息，即从视频序列整体的角度去分析运动物体的变化规律，而这正是火焰区别于其它运动物体的关键所在。

针对图像序列的动态信息，现有技术利用了对疑似火焰区域进行面积变化的考察方法，对面积变化设定相应阈值，使得满足阈值条件的疑似火焰区域被判别成为火焰区域。但是，在一些开放性的场景，如街道、无人巡视的公共场合等地方存在着相对复杂的外在环境，如不可预测的空气流动对火焰外部形状的影响，使得监控设备采集到的火焰图像的颜色、形状等特性具有不可预知性。

文献号为CN1404021A中国专利公开了一种可视化火灾检测报警方法与装置。该专利利用影像处理与计算机视觉技术，仿真人类的视觉系统来识别火焰；在监控算法上综合考虑了是否有火焰和火焰的燃烧剧烈程度来对火灾报警做出综合判断。该专利方法的流程如图1所示，首先对获取的视频监控图像进行RGB颜色分离，利用颜色分析先排除掉非火焰颜色的物体；然后利用帧差法估计运动目标，进一步排除具有火焰颜色特性的非运动物体；最后采用视频图像中火焰面积的占比是否达到阈值来进行火灾报警判断。

该专利利用了图像的静态信息如颜色空间的特点以及火焰的运动特性来对图像中待考察区域做出判断。但火焰在一定时间段上的变化信息没有得到利用，会在一定程度上造成误报，如具有火焰颜色的运动物体。另外，在不同的监控深度的场合，火焰在视频范围内的面积比难以确定，特别对于室外的监控场景，当面积比阈值δ设定过小时，会造成误报，对于火灾预警来说是极为不利的。

文献号为CN 1112702A的中国专利公开了一种利用彩色影像三基色差分进行火灾探测与定位的方法。该发明利用火灾差分分析技术，采用彩色图像系统，利用彩色影像三基色对早期火焰的不同反应，对红、蓝基色分量进行差分运算，二值化，再次差分运算，利用火焰面积差图像的增长率来判断火焰异常。其基本步骤如下所述：首先对获取的视频监控图像进行RGB颜色分离；然后对红色分量图像和蓝色分量图像做差分运算，得到红蓝颜色差图像，并与经验设定的阈值进行比较判断，得到红蓝颜色差的二值化图像；再将不同时刻的红蓝颜色差的二值化图像再次进行查分运算后得到面积差图像；最后计算面积差图像的增长率，当面积差图像的增长率超过设定的阈值时，发出火灾报警。

该专利方法除了利用检测图像颜色等静态信息外，还利用了视频序列在时间轴上的动态信息，即扩散的火焰其面积增长率较大，较之于以前的方法具有更好的检测效果。但对于具有复杂外部条件的开放性场景，由于气流以及其它噪声使火焰面积成不规则的变化，其不合适的面积阈值会使检测效率明显降低，因此对检测环境不具有较好的鲁棒性。

总之，现有的基于视频信息的火灾预警方法利用了较多的二维信息，如颜色、形状、面积等；也有一些采用了分析局部图像序列的方法，力求分析图像目标的变化规律。现有技术虽然在一些简单的室内场景，具有较好的检测效果，但是在具有复杂外界环境的场合，其检测率会明显下降，因为室外环境的各种噪声会影响监控设备获取的图像中的特征表达。

发明内容

本发明提供一种基于视频时间和空间信息的火焰检测方法，该方法能够适应复杂的室外环境，具有很好的鲁棒性，可运用于视频监控装置上，对住宅小区中无人巡视区域或监控覆盖范围较广的公共场合进行火灾预警。

本发明首先利用运动及颜色特征进行初步过滤得到视频图像中的火焰候选区域，再从分析视频序列的角度建立随机模型刻画火焰闪烁的特性，最终得到检测结果。

本发明技术方案如下：

一种基于视频时间和空间信息的火焰检测方法，如图2所示，包括以下步骤：

步骤1：利用视频监控装置获取监控区域的视频监控源图像序列I_N，设每张源图像的大小为K行L列。

步骤2：从源图像序列I_N中分离出前景运动图像序列F_N。

步骤3：检测源图像序列I_N中具有火焰颜色特征的像素点。首先将源图像序列I_N中的每一帧图像进行RGB三通道颜色分离，当源图像序列I_N中的某一帧图像中的某一像素点RGB三通道的像素值满足条件：

$\left\{\begin{array}{c}R>R_T\\ R>G>B\\ S>(255-R)S_T/R_T\end{array}\right.---\left(3\right)$

时，判定该像素点为具有火焰颜色特征的像素点。其中，R表示该像素点红色通道像素值，G表示该像素点绿色通道像素值，B表示该像素点蓝色通道像素值，R_T表示红色通道阈值(取值范围为170～190)，S表示该像素点的饱和度值，S_T是饱和度阈值(取值范围为0.35～0.45)。

步骤4：结合步骤2和步骤3的计算结果，可在前景运动图像序列F_N的每一帧前景运动图像F_n中确定出疑似火焰像素点，所有疑似火焰像素点形成疑似火焰区域。

步骤5：判断步骤4所确定的当前帧前景运动图像F_n中的疑似火焰区域是否是真实的火焰区域。如图3所示，具体包括以下步骤：

步骤5-1：在当前帧前景运动图像F_n中的疑似火焰区域的边缘像素点中，均匀间隔地选择若干观察点，观察点的数量L由下式决定：

$L=\∂\·C---\left(5\right)$

其中，

是事先确定的比例阈值(取值范围为0.2～0.8)，C是该疑似火焰区域的边缘像素点总数。

步骤5-2：以步骤5-1所确定的每个观察点为几何中心，确定一个边长为B的正方形为观察面，共得到L个观察面。边长B的取值可以是1、3或5个像素点大小。

步骤5-3：以步骤5-2所确定的每个观察面为起始观察面，包括沿时间轴在后续B·T-1帧前景运动图像F_n中与起始观察面相同位置的所有像素点在内，形成一个观察体，共得到L个观察体。其中T的取值范围为15～20。

步骤5-4：将步骤5-3所得的每个观察体平均分成T个立方体，统计每个立方体中所有像素点的红色通道像素值的平均值，将每个观察体中T个统计平均值按时间先后顺序排列在一起，形成该观察体的统计平均值序列，共计得到L个统计平均值序列。

步骤5-5：对步骤5-4所得的L个观察序列进行时域小波变换，取小波变换后的高频部分，得到L个高频观察序列O_i(i＝1，2，…，T)。

步骤5-6：将步骤5-5所得的L个高频观察序列输入到事先训练好的隐马尔科夫模式判决器，得到L个判决值ξ_i(i＝1，2，...，L)；当ξ_i＝1时，表示该高频观察序列所对应的观察点是火焰像素点；当ξ_i＝0时，表示该高频观察序列所对应的观察点不是火焰像素点。

步骤5-7：计算步骤4-6所得的L个判决值ξ_i(i＝1，2，...，L)的均值

比较

与阈值ζ(取值范围为0.6～0.8)的大小；当

时，判定当前帧前景运动图像F_n中的疑似火焰区域是真实的火焰区域，并发出报警；当

不大于阈值ζ时，判定当前帧前景运动图像F_n中的疑似火焰区域不是真实的火焰区域，并重新执行步骤5，以判断下一帧前景运动图像F_n中的疑似火焰区域是否是真实的火焰区域。

步骤5-6中所述事先训练好的隐马尔科夫模式判决器所采用的训练样本来自于已知火焰区域边缘像素点，即从含有真实火焰区域的视频图像中的真实火焰区域的边缘像素点中，选择20个以上的观察点，经步骤5-2至步骤5-5相同的处理得到。

本发明的实质是首先从视频监控源图像序列中分离出前景运动图像序列，并通过RGB三通道颜色分离从前景运动图像中找出具有火焰颜色特征的像素点(即疑似火焰像素点)，所有疑似火焰像素点形成疑似火焰区域；然后充分利用真实火焰区域边缘像素点在时间和空间上的闪烁特性，在疑似火焰区域边缘像素点中设置一定比例的观察点，建立隐马尔科夫模型，提取时间空间模式特征并组成观察特征值序列；再将代表某个观察点的观察特征值序列输入事先训练好的隐马尔科夫模式判决器，得到该观察点是否是真实火焰像素点的判决结果；当某一帧前景运动图像中疑似火焰区域的所有观察点中，有超过事先设定的固定比例的观察点均被判定为真实的火焰像素点后，认为当某一帧前景运动图像中的疑似火焰区域为真实的火焰区域，并发出报警，否则在判断下一帧前景运动图像中疑似火焰区域是否是真实的火焰区域。

本发明的有益效果是：

本发明提出的基于视频时间和空间信息的火焰检测方法，不仅可以保证同时控制较低的漏检率和误检率，更重要的是该模型可以在复杂的检测环境中保持很好的鲁棒性，可以应用于更为广泛的火灾监控场合。

附图说明

图1为现有技术一的流程示意图。

图2为本发明的流程示意图。

图3为步骤5中布置观察点以及模式特征选取示意图。

具体实施方式

在前述技术方案中，需要进一步说明的是：

一、步骤2从源图像序列I_N中分离出前景运动图像序列F_N时，可采用背景估计方法。具体包括以下步骤：

步骤2-1：判断源图像序列I_N中当前帧源图像I_n的所有象素点是运动点还是静止点。

具体判断方法是：设点(k，l)表示源图像序列I_N中的任一像素点，在当前帧源图像I_n中该像素点的像素值为I_n(k，l)，在前一帧源图像I_n-1中该像素点的像素值为I_n-1(k，l)，若

时，则当前帧源图像I_n中像素点(k，l)为运动点；反之，当前帧源图像I_n中像素点(k，l)为静止点；其中：2≤n≤N，1≤k≤K，1≤l≤L，|·|表示取“·”的绝对值，

为阈值。

步骤2-2：计算当前帧源图像I_n的背景图像B_n。

背景图像B_n中像素点(k，l)的像素值B_n(k，l)的计算公式为：

其中：2≤n≤N，1≤k≤K，1≤l≤L；0.6≤a≤0.8，且a+b＝1。

步骤2-3：计算当前帧源图像I_n的前景运动图像F_n。

前景运动图像F_n中像素点(k，l)的像素值F_n(k，l)的计算公式为：

F_n(k，l)＝I_n(k，l)-B_n(k，l)        (2)

步骤2-4：重复步骤2-1至2-3，得到所有前景运动图像F_n，进而得到前景运动图像序列F_N。

当然，步骤2从源图像序列I_N中分离出前景运动图像序列F_N时，并不局限于采用背景估计方法，其他任何能够从源图像序列I_N中分离出前景运动图像序列F_N的方法都可采用，在此只不过给出一种具体可实施的方式而已。

二、基于火焰的运动特性和颜色特性，步骤2至步骤4采用了层次过滤筛选的检测模式，对监控设备捕捉的监控视频段进行整体分析，得到前景运动图像中的疑似火焰区域。

三、在得到疑似火焰区域的基础上，对疑似火焰区域的真实性进行判断。真实火焰在一段时间间隔上具有很丰富的变化信息，其中一个很容易观察到的是火焰在正常燃烧和生长的过程中会不断地闪烁，这种现象在火焰边缘位置尤其明显。从图像分析的角度可以看到，图像上某个固定的位置(如火焰边缘附近)的像素值会在一段时间随机地反复出现，因为火焰边缘像素会周期性地覆盖这个像素点。所以发明充分利用真实火焰区域边缘像素点在时间和空间上的闪烁特性，在疑似火焰区域边缘像素点设置一定比例的观察点，建立隐马尔科夫模型，提取时间空间模式特征并组成观察特征值序列；再将代表某个观察点的观察特征值序列输入事先训练好的隐马尔科夫模式判决器，得到该观察点是否是真实火焰像素点的判决结果；当某一帧前景运动图像中疑似火焰区域的所有观察点中，有超过事先设定的固定比例的观察点均被判定为真实的火焰像素点后，认为当某一帧前景运动图像中的疑似火焰区域为真实的火焰区域，并发出报警，否则在判断下一帧前景运动图像中疑似火焰区域是否是真实的火焰区域。本方案对该像素点的像素值变化过程用隐马尔科夫模型进行建模。这正是本发明的核心创新点所在。

步骤5-1布置观察点的时候，应当在疑似火焰区域边缘像素点中均匀间隔地布置。观察点的数量不宜过多，否则会增加计算量。虽然在前述方案中给出了观察点20％～80％的选择范围，但实际上选择30％左右的疑似火焰区域边缘像素点作为观察点可得到较好的效果。

步骤5-2中所述观察面的边长B不宜过大，否则可能导致检测结果的错误，实际选择观察面的边长B为1、3或5个像素点大小即可。

步骤5-5对步骤5-4所得的L个观察序列进行时域小波变换，选用的小波基为

和

四、步骤5-6中所述事先训练好的隐马尔科夫模式判决器所采用的训练样本来自于已知火焰区域边缘像素点，即从含有真实火焰区域的视频图像中的真实火焰区域的边缘像素点中，选择20个以上的观察点，经步骤5-2至步骤5-5相同的处理得到。

Claims (4)

1.一种基于视频时间和空间信息的火焰检测方法，包括以下步骤：

步骤1：利用视频监控装置获取监控区域的视频监控源图像序列I_N，设每张源图像的大小为K行L列；

步骤2：从源图像序列I_N中分离出前景运动图像序列F_N；

步骤3：检测源图像序列I_N中具有火焰颜色特征的像素点；

首先将源图像序列I_N中的每一帧图像进行RGB三通道颜色分离，当源图像序列I_N中的某一帧图像中的某一像素点RGB三通道的像素值满足条件：

$\left\{\begin{array}{c}R>R_T\\ R>G>B\\ S>(255-R)S_T/R_T\end{array}\right.$

时，判定该像素点为具有火焰颜色特征的像素点；其中，R表示该像素点红色通道像素值，G表示该像素点绿色通道像素值，B表示该像素点蓝色通道像素值，R_T表示红色通道阈值，S表示该像素点的饱和度值，S_T是饱和度阈值；

步骤4：结合步骤2和步骤3的计算结果，可在前景运动图像序列F_N的每一帧前景运动图像F_n中确定出疑似火焰像素点，所有疑似火焰像素点形成疑似火焰区域；

步骤5：判断步骤4所确定的当前帧前景运动图像F_n中的疑似火焰区域是否是真实的火焰区域；具体包括以下步骤：

步骤5-1：在当前帧前景运动图像F_n中的疑似火焰区域的边缘像素点中，均匀间隔地选择若干观察点，观察点的数量L由下式决定：

L＝θ·C

其中，θ是事先确定的比例阈值，C是该疑似火焰区域的边缘像素点总数；

步骤5-2：以步骤5-1所确定的每个观察点为几何中心，确定一个边长为B的正方形为观察面，共得到L个观察面；

步骤5-3：以步骤5-2所确定的每个观察面为起始观察面，包括沿时间轴在后续B·T-1帧前景运动图像F_n中与起始观察面相同位置的所有像素点在内，形成一个观察体，共得到L个观察体；

步骤5-4：将步骤5-3所得的每个观察体平均分成T个立方体，统计每个立方体中所有像素点的红色通道像素值的平均值，将每个观察体中T个统计平均值按时间先后顺序排列在一起，形成该观察体的统计平均值序列，共计得到L个统计平均值序列；

步骤5-5：对步骤5-4所得的L个观察序列进行时域小波变换，取小波变换后的高频部分，得到L个高频观察序列O_i，其中i＝1，2，…，T；

步骤5-6：将步骤5-5所得的L个高频观察序列输入到事先训练好的隐马尔科夫模式判决器，得到L个判决值ξ_i，其中i＝1，2，...，L；当ξ_i＝1时，表示该高频观察序列所对应的观察点是火焰像素点；当ξ_i＝0时，表示该高频观察序列所对应的观察点不是火焰像素点；

步骤5-7：计算步骤4-6所得的L个判决值ξ_i的均值

比较

与比例阈值ζ的大小；当

时，判定当前帧前景运动图像F_n中的疑似火焰区域是真实的火焰区域，并发出报警；当

不大于阈值ζ时，判定当前帧前景运动图像F_n中的疑似火焰区域不是真实的火焰区域，并重新执行步骤5，以判断下一帧前景运动图像F_n中的疑似火焰区域是否是真实的火焰区域；

步骤5-6中所述事先训练好的隐马尔科夫模式判决器所采用的训练样本来自于已知火焰区域边缘像素点，即从含有真实火焰区域的视频图像中的真实火焰区域的边缘像素点中，选择20个以上的观察点，经步骤5-2至步骤5-5相同的处理得到。

2.根据权利要求1所述的基于视频时间和空间信息的火焰检测方法，其特征在于，步骤2从源图像序列I_N中分离出前景运动图像序列F_N时，采用的是背景估计方法，具体包括以下步骤：

步骤2-1：判断源图像序列I_N中当前帧源图像I_n的所有象素点是运动点还是静止点；

具体判断方法是：设点(k，l)表示源图像序列I_N中的任一像素点，在当前帧源图像I_n中该像素点的像素值为I_n(k，l)，在前一帧源图像I_n-1中该像素点的像素值为I_n-1(k，l)，若

时，则当前帧源图像I_n中像素点(k，l)为运动点；反之，当前帧源图像I_n中像素点(k，l)为静止点；其中：2≤n≤N，1≤k≤K，1≤l≤L，|·|表示取“·”的绝对值，

为阈值；

步骤2-2：计算当前帧源图像I_n的背景图像B_n；

背景图像B_n中像素点(k，l)的像素值B_n(k，l)的计算公式为：

其中：2≤n≤N，1≤k≤K，1≤l≤L；0.6≤a≤0.8，且a+b＝1；

步骤2-3：计算当前帧源图像I_n的前景运动图像F_n；

前景运动图像F_n中像素点(k，l)的像素值F_n(k，l)的计算公式为：

F_n(k，l)＝I_n(k，l)-B_n(k，l)

步骤2-4：重复步骤2-1至2-3，得到所有前景运动图像F_n，进而得到前景运动图像序列F_N。

3.根据权利要求1所述的基于视频时间和空间信息的火焰检测方法，其特征在于，步骤3中红色通道阈值R_T的取值范围为170～190；饱和度阈值S_T的取值范围为0.35～0.45。

4.根据权利要求1所述的基于视频时间和空间信息的火焰检测方法，其特征在于，步骤5-1中所述比例阈值θ的取值范围为0.2～0.8；步骤5-2中所述边长B的取值是1、3或5个像素点大小；步骤5-3中所述T的取值范围为15～20；步骤5-5中所述小波变换选用的小波基为

和

步骤5-7中所述阈值ζ的取值范围为0.6～0.8。

Images