CN102819735A - 基于视频帧图像的火焰检测方法 - Google Patents

Abstract

本发明提供了一种基于视频帧图像的火焰检测方法，其特征在于，包括如下步骤：S10、获取视频帧图像；S20、根据火焰的亮度域值来获取二值前景图像，并由多个二值前景图像获得感兴趣的目标链；S30、根据目标链中目标块的目标特征计算出火焰频率，并根据火焰频率及置信度来判断目标链中的视频帧图像内是否存在火焰，其中，所述目标特征为目标块的平均亮度变化、面积变化和中心位置的抖动；S40、若目标链中的视频帧图像存在火焰，则生成报警触发信号；反之，则返回步骤S10，本发明能够精确地对火焰进行检测，使得火焰的误报率大大降低，进而减轻工作人员的压力，提高其工作效率。

Description

基于视频帧图像的火焰检测方法

技术领域

本发明涉及火灾检测，尤其涉及一种基于视频帧图像的火焰检测方法。

背景技术

随着经济的不断发展，人们对火灾的防范意识也逐渐增强。为了减少火灾带来的损失，很多仓库都建立起了监控系统。现有的监控系统，大多需要人为的参与，即监控工作人员需要时刻监控前端的摄像机拍摄的录像，并根据拍摄的结果来采取行动。这种人工监控的方式虽然能够起到一定的保护作用，然而其弊端是浪费人力资源，不利于综合管理，并且直接受人为因素的影响。为此，需要提供一种自动识别焰火的方法。

如，2009年08月26日公开的申请号为：200910096854.3的专利申请公开了一种适用于识别和检测大空间火灾火焰的方法，包括1)对输入的视频流进行预处理：对于各种情况下由摄像机拍摄下来的视频画面，使用高斯平滑的方法来消除噪音的干扰；2)对视频流进行运动检测，获得运动像素：对于上一步中所获得的预处理后的图像，使用带有固定阈值的时域差分方法来进行运动检测；首先初始化背景图像，然后根据当前帧利用帧与帧之间的关联性来更新背景图像和前景图像；3)对视频流进行颜色检测，获得具有火焰特征颜色的像素：通过在训练视频和图片中提取具有火焰颜色的像素，分析其强度值或者RGB分量值；假如当前像素的颜色值位于符合火焰颜色特征的像素区间内部，则此像素被判断为具有火焰颜色的像素，进入下一阶段的检测；4)对所有符合运动检测和颜色检测火焰特征的像素点进行频域分析：时域分析包括火焰抖动特征的分析、火焰像素傅里叶变换和小波变换的分析；使用斜率积的异号性来衡量火焰的抖动特征；然后通过快速傅里叶变换提取输入信号的频率谱；最后通过小波变换分离输入信号的高低频，提取高频部分计算其过零率；5)搜索把所有符合相同特征且相互连接的像素组成的连通区域：对于运动检测和颜色检测后的图像，进行连通区域的搜索；连通区域搜索包括区域标记和区域搜索两个步骤；首先使用掩码方法分别对运动像素区域、火焰颜色像素区域和属于火焰边缘的像素区域进行标记；然后使用广度优先搜索算法来进行连通区域的搜索；6)对所得的连通区域计算其周长和面积，进行形状分析：形状分析包括：使用深度优先搜索算法结合形态学的方法提取各个连通区域的边界；分别计算各个连通区域边界的周长；计算各个连通区域的面积；计算各个连通区域的圆形度，计算运动火焰颜色区域与相应运动区域的面积比；7)对每个连通区域，对其进行面积改变量分析，最后判断火灾是否发生：这一步中包括标记属于火焰边缘区域的像素；使用广度优先搜索算法搜索上述像素所组成的连通区域；建立数据结构来存储找到的连通区域；使用先到先处理的顺序匹配前后帧对应的连通区域；计算对应连通区域的面积改变量，判断火灾是否发生。上述技术方案主要是通过火焰的颜色及轮廓特性来判别火焰，但是火焰的轮廓也就是面积依赖于轮廓检测结果，其鲁棒性及可实现性仍然有待提高。除了自身存在的缺陷外，在仓库环境，场景中光照条件不佳，很难反映出目标的颜色信息，尤其是夜间和关门条件下，摄像头启动夜视模式，完全丧失颜色信息，因此无法满足基于颜色的火焰检测算法；同时，由于火焰轮廓的不确定及容易受到外界的物理环境的干扰，现有的基于轮廓检测算法无法实时准确的检测出图像中各目标的轮廓，其检测的结果误差较大。

发明内容

本发明提供了一种基于视频帧图像的火焰检测方法，主要解决的技术问题是现有技术中基于颜色的基于视频帧图像的火焰检测方法在夜间和关门的情况下，取景的图像会丧失颜色信息而无法准确的检测焰火，或者基于轮廓检测算法无法实时准确的检测出图像中各目标的轮廓，而造成火焰检测结果的误差较大的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于视频帧图像的火焰检测方法，包括如下步骤：

S10、获取视频帧图像；

S20、根据火焰的亮度域值来获取二值前景图像，并由多个二值前景图像获得感兴趣的目标链；

S30、根据目标链中目标块的目标特征计算出火焰频率，并根据火焰频率及置信度来判断目标链中的视频帧图像内是否存在火焰，其中，所述目标特征为目标块的平均亮度变化、面积变化和中心位置的抖动；

S40、若判定目标链中的视频帧图像存在火焰，则生成报警触发信号；反之，则返回步骤S10。

优选的，步骤S20中所述二值前景图像满足：

${\mathrm{sport}\_\mathrm{foreground}}_i(x,y)=\left\{\begin{array}{ccc}255& \mathrm{if}& \mathrm{pixel}(x,y)\&GreaterEqual;230\\ 0& \mathrm{if}& \mathrm{pixel}(x,y)<230\end{array}\right.,$

其中，foreground_i(x,y)为第i帧的前景图像，pixel为第i帧图像中(x,y)处像素点的像素值。

优选的，获取二值前景图像之后还包括步骤S21：对二值前景图像进行中值滤波，具体步骤如下：

S211、选取滤波窗口，所述滤波窗口为N×N的滑动模板；

S212、排序像素点，对以P点像素点为中心的N×N的滑动模板中全部像素的像素值进行排序处理；

S213、选取位于排序中间的像素值为P点的像素值，其中，P点为视频帧图像中的任意一点。

优选的，中值滤波之后还包括步骤S22：将二值前景图像具有相同像素值的相邻像素点标记为同一目标块。

优选的，标记同一目标块之后还包括步骤S23：根据目标块的中心位置和运动位置采用最近邻算法来跟踪目标，获取感兴趣的目标链。

优选的，步骤S40之前还包括步骤S401：对虚景的排除处理，包括对墙面反光亮斑的处理、对开门光斑的处理以及对反光块的处理。

优选的，所述对墙面反光亮斑的处理具体为：

获取火焰目标块内的前景点及背景点的平均亮度；

计算出亮度差的变化率，满足：

$C_j=\frac{A_j-a_j}{A_j}$

其中，C_j为第j帧的亮度差变化率，A_j为第j帧前景点的平均亮度，a_j为第j帧背景点的平均亮度；

若亮度差变化率大于或等于亮度差阈值，则判断该火焰目标块为真实火焰；

若亮度差变化率小于亮度差阈值，则判断该火焰目标是虚景。

优选的，所述对开门光斑的处理具体为：

对于任意一帧的火焰目标块，若该帧的火焰置信度大于或等于延时阈值时，则当前火焰帧数为前一火焰帧数的自增，若该帧的火焰置信度小于延时阈值时，则当前火焰帧数为前一火焰帧数；

若当前火焰帧数大于或等于延时阈值，则该火焰目标块为真实火焰，

若当前火焰帧数小于延时阈值，则该火焰目标块为虚景。

优选的，所述对反光块的处理具体为：

将任意一视频帧与最近十个视频帧做差，比较最大差值与动态阈值，获取运动二值前景图像，满足：

${\mathrm{sport}\_\mathrm{foreground}}_i(x,y)=\left\{\begin{array}{cccc}255& \mathrm{if}& \max [{\mathrm{pixel}}_i(x,y)-{\mathrm{pixel}}_j(x,y)]>T_9& j\&Element;(i-9,i)\\ 0& \mathrm{else}& & \end{array}\right.,$

其中，sport_foreground_i(x,y)为第i视频帧图像的运动二值前景图像，pixel_i(x,y)为第i视频帧图像的像素值，T₉为动态阈值，i为第i视频帧图像，j为第j视频帧图像；

计算火焰目标块目标块中在亮度前景图像和运动前景图像中均为前景点的像素点数目与亮度前景图像中为前景点的像素点数目的比值，

若比值的结果大于或等于动态阈值，则该火焰目标块为真实火焰；

若比值的结果小于动态阈值，则该火焰目标块为虚景。

优选的，步骤S40中还包括对报警参数的设置，具体如下：

若具有火焰特征的目标块的数目大于零，则使初始化的报警参数值自增；

若火焰目标块数目等于零，则使初始化的报警参数值自减；

当全局报警参数达大于或者等于报警阈值后，生成报警触发信号。

本发明的有益效果是：区别于现有技术中基于颜色的基于视频帧图像的火焰检测方法在夜间和关门的情况下，取景的图像会丧失颜色信息而无法准确的检测焰火，或者基于轮廓检测算法无法实时准确的检测出图像中各目标的轮廓，而造成火焰检测结果的误差较大的问题，本发明提供了一种基于视频帧图像的火焰检测方法，选取具有能够反应火焰特征的亮度来分割二值前景图像，获取感兴趣的目标链之后，通过进一步提取目标块的平均亮度变化、面积变化和中心位置的抖动的特征，并通过结合目标块的置信度，能够精确的及时的检测出视频帧图像中是否存在火焰，便于工作人员及时的发现险情。同时，目标块各目标特征及置信度的结合使得火焰检测的误报次数明显减少，能够减轻工作人员的压力，提高工作效率。

附图说明

图1是本发明基于视频帧图像的火焰检测方法的流程示意图；

图2是本发明的视频帧图像中目标链提取的流程示意图；

图3是本发明的视频帧图像中火焰的判别流程示意图；

图4是本发明的虚景滤除及火焰报警的流程示意图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

请参阅图1，本实施例基于视频帧图像的火焰检测方法，包括如下步骤：

S10、获取视频帧图像。具体地，监控摄像机从监控现场获取视频帧图像。

S20、根据火焰的亮度域值来获取二值前景图像，并由多个二值前景图像获得感兴趣的目标链。在对现实仓库场景内的火焰进行分析后，得出火焰的亮度都保持在230以上，因此选取了230为亮度阈值对图像中的亮度值进行分割，能够较好的保存了火焰的外形。以亮度作为区分条件，能够将场景中所有类似火焰的区域无遗漏的寻找出来，为下一步的目标块的提取提供了较好的前置条件，

其中，所述二值前景图像满足：

${\mathrm{sport}\_\mathrm{foreground}}_i(x,y)=\left\{\begin{array}{ccc}255& \mathrm{if}& \mathrm{pixel}(x,y)\&GreaterEqual;230\\ 0& \mathrm{if}& \mathrm{pixel}(x,y)<230\end{array}\right.,$

其中，foreground_i(x,y)为第i帧的前景图像，pixel为第i帧图像中(x,y)处像素点的像素值。

S30、根据目标链中目标块的目标特征计算出火焰频率，并根据火焰频率及置信度来判断目标链中的视频帧图像内是否存在火焰，其中，所述目标特征为目标块的平均亮度变化、面积变化和中心位置的抖动。

S40、若目标链中的视频帧图像存在火焰，则生成报警触发信号；反之，则返回步骤S10。

参阅图2、在一具体的实施例中，步骤S20具体包括：

获取亮度二值前景图像，通过对获取的视频帧图像中像素点的像素值与火焰的亮度阈值进行比较，将视频帧图像中转化成二值前景图像。

S21、对二值前景图像进行中值滤波，中值滤波是图像处理中的滤波方法，通过在小邻域内对像素点的大小进行排序，以邻域内所有像素点排序后中间的像素值作为该点的像素值，能够解决实际情况中摄像头获得的图像中包含有大量随机噪声，影响成像质量，通过对视频帧图像亮度阈值分割得到的前景图像中，受到噪声的影响，存在一些孤立的像素点；这些像素点的存在极大的影响了后续火焰判别算法的执行效率和准确率，从而起到平滑图像的作用，中值滤波的算法步骤如下：

1）、选取滤波窗口大小，即选取一个N×N的模板W，算法中我们选取了3×3的滑动模板；

2）、对与图像中的每一像素点P，对以该像素点为中心的3×3模板所有像素的像素值进行排序处理，由低到高或者由高到低；

3）、选取处于排序中间位置（若为3×3模板，则为第5位）的像素值为该点的像素值，

满足g(x,y)=med{pixel(x-i,y-j)},i，j均在N×N的模板W中，

上述公式中，pixel(x-i,y-i)为图像中像素点的原始值，g(x,y)为中值滤波后的像素值。W为选取的N×N的模板，med代表对模板内的像素点排序后取中值。

S22、对二值前景图像中像素值相同的相邻像素点进行标记，对于二值前景图像中的每一个前景点（像素值为255的像素点）进行相邻领域的搜索，并将相邻的前景点标记为同一目标块；或者对二值前景图像中的每一个背景点（像素值为0的像素点）进行相邻领域的搜索，并将相邻的背景点标记为同一目标块。前景图像中获得的目标块集合被定义为候选目标链C。

S23、对目标块的跟踪，由于火焰在燃烧过程中位移变化缓慢、外观较为明显，而且面积较大，颜色信息较少（主要为亮度较大的白斑）。因此本算法采用了基于位置的最近邻跟踪算法，根据目标的中心位置来跟踪目标。算法主要步骤如下：

1）、根据第一帧前景图像获取候选链C直接初始化目标链D，并将每一个目标块B_i的历史记录h设置为1。

对目标链D中的每一个目标块B_i：

2）、如果h等于1，候选链中的候选块b_j的中心位置(x_i,y_i)与B_i中心位置(X_i,Y_i)距离最小且小于阈值T₁，则认为B_i和b_j匹配，是同一目标，并且用b_j信息更新B_i（包括历史记录h加1）。

3）、如果h大于1，用B_i中心点的历史信息预测当前时刻的中心位置(X′,Y′)，候选链中的候选块b_j的中心位置(x_i,y_i)与B_i中心预测位置(X′,Y′)距离最小且小于阈值T₁，则认为B_i和b_j匹配，是同一目标，并且用b_j信息更新B_i。（包括历史记录h加1）。预测公式如下：

${X^{\&prime;}}_i=X_{h-1}+\frac{1-0.9}{1-{0.9}^{h-1}}\underset{j=0}{\overset{h-2}{\mathrm{\&Sigma;}}}{0.9}^{h-i}(X_{j+1}-X_j),$

X_i为目标块记录的历史信息中第j个记录的中心位置的x值。

对于没有与候选链C中候选块匹配而未被跟新的目标块B_i，

若B_i的置信度e大于阈值T₂，则用上一帧的状态赋给这一帧的状态。

若B_i的置信度e小于阈值T₂，则在目标链中删除该目标块。

4）、对于没有与目标链D中的目标块匹配的候选块b_j

若b_j的面积s大于或阈值T₃，则将该候选块作为一个新的目标块加入目标链。

若b_j的面积s小于阈值T₃，则认为该候选块为噪声而删除。

S24、获取感兴趣目标链，经过上述步骤后，使得感兴趣目标的外形和整体形状得到了良好的检测。前景图像中依数值的不同可以分成前景点和背景点，我们可以根据感兴趣的前景点或背景点来对获取目标链。目标链是由二值图像中的多个前景点或者多个背景点构成。而采用基于位置的跟踪算法，实现了在火焰燃烧剧烈使得其变化巨大情况下的稳定跟踪。

得到目标链后，我们需要识别目标块中的火焰目标。目前主流的目标识别算法主要是先进性目标特征提取，然后对特征进行分类以达到目标识别的目的。因此我们选取了鲁棒性较强的火焰频率特征来计算目标特征，并且通过置信度判定来实现火焰识别地目的。

虽然火焰的频率特征有较强的鲁棒性，然而由于仓库中特殊的光照条件，仓库的火焰视频中，火焰通常仅仅呈现出饱和（即火焰区域像素值达到最大值255）的不规则光斑形状，其内部的像素点灰度值基本不发生改变；不仅如此，拍摄距离远导致火焰翻滚和热气流流动产生的闪烁特性在视频中表现不突出，而且单纯以区域的亮度作为判断条件也会带来较多的干扰，如白天开门由自然光影起的亮斑和夜晚开灯影起的光斑等等，需要进一步去除仓库中其他亮区域的干扰，因而，本方案还采用了基于火焰运动特性来求取火焰频率特征，并以火焰频率特征作为判别火焰存在的依据。

参阅图3，具体的火焰识别中，我们将火焰的闪烁频率对应于视频图像中目标区域的三个特征量进行分析，即：前景目标块的平均亮度变化、面积变化和中心位置的小范围抖动。

首先，对于第i帧图像中目标块B_j，定义其对应的频率变量freq=0，然后分别计算该目标块的特征值，最终通过这些特征值确定目标块的频率；

1)、平均亮度变化

由于火焰燃烧时燃烧物的堆放不均以及燃烧物和空气的接触不均，使得火焰并不会平稳燃烧。火焰会随着燃烧物和空气接触的程度变化而变化，人眼所观测到为火焰亮度和颜色的变化，时而亮而红，时而暗而黄等。由于视频中火焰颜色的缺失性，平均亮度变化可以火焰特性，具体的计算过程如下：

设置亮度变化阈值T₁，通过目标链中目标块B_j的坐标信息、当前帧前景和当前帧图像求取目标当前的平均亮度A_i，并且将其记录。求取A_i与上一帧时B_j的平均亮度A_i-1的差值S_i，满足

$A_i=\frac{{\mathrm{\&Sigma;}}_{(x.y)\&Element;B_j}\mathrm{pixel}(x,y)}{\mathrm{num}\left(B_j\right)};$ S_i=A_i-A_i-1，

其中，pixel(x,y)为像素点在原图像中(x,y)位置的像素值，而且在亮度二值前景图像中该像素点为前景点，num（B_j）为B_j中前景点的数目。

如果S_i大于或等于T₁，在一优选的方案中T₁的值为3.5，则freq=freq+1。

2)、面积变化

火焰燃烧时由于其外形不稳定性和位移的缓慢性，使得火焰相对于其它常见的干扰现象具有形状变化的无规律性，但这种无规律性从其形体变化、空间变化、空间分布来说，均具有一定的相似性，特别是对于间隔较短的连续图像，相邻两帧图像中的火焰形状特性有着一定程度的相似。因此，可以采用计算相邻两帧图像相似度的方法来描述这一特征，并且用该特征来代表火焰目标的面积变化特征也表现了火焰闪烁时面积的变化规律。这种用相邻帧图像中变化部分的相似度来表示火焰面积变化ξ_i，满足：

${\mathrm{\&xi;}}_j=\frac{{\mathrm{\&Sigma;}}_{(x,y)\&Element;\mathrm{\&Omega;}}{\hat{b}}_i(x,y)\&cap;{\hat{b}}_{i+1}(x,y)}{{\mathrm{\&Sigma;}}_{(x,y)\&Element;\mathrm{\&Omega;}}{\hat{b}}_i(x,y)\&cup;{\hat{b}}_{i+1}(x,y)},$

式中，

为二值化的前景图像,

为火焰区域。

一般当ξ_i小于阈值T₂时，即认为待识别物体是快速运动的噪声，而当ξ_i大于阈值T₂时，认为存在固定发光区域。当ξ_i在两个阈值之间时，可以认为火焰闪烁引起的面积变化。

如果ξ_i大于T₂并且ξ_i小于T₃，则freq=freq+1，优选的方案中，T2为0.2，T₃为0.95。

3)、目标中心位置移动

由于火焰质量非常小，所以当火焰燃烧时会随着气流和风向的改变而左右摇摆，这就使得火焰目标块中心点不停的抖动。这也成为了火焰闪烁时的一个显著特征。

对于目标链中的目标块B_j。由于在目标跟踪时我们记录了i-1帧目标历史中心位置(X_i-1，Y_i-1)和当前帧目标中心位置(X_i,Y_i)，可以计算两个中心点之间的距离L_j，满足：

$L_j=\sqrt{{(X_i-X_{i-1})}^2+{(Y_i-Y_{i-1})}^2},$

如果L_j大于或等于T₄，则freq=freq+1，优选的方案中，T₄为2。

4)、计算火焰频率：

根据香农-奈奎斯特采样定理，采样频率必须大于被采样信号实际频率最大主频2倍以上。由于火焰主频最大为12Hz，因此采样频率设为25Hz，即视频设备对现场环境的采样需要达到25帧每秒。根据上面求取目标块B_j每一帧的freq（0~3），对最近25帧以内的freq求和来求得火焰频率F_j，满足：

$F_j=\underset{i=0}{\overset{24}{\mathrm{\&Sigma;}}}\mathrm{freq}\left[i\right],$

式中，freq[i]为目标块最近i帧的频率特征数。

通过对以上公式的计算，求取了目标火焰的频率特征。由于该特征对环境的鲁棒性，因此该特征的提取为火焰目标的识别提供了较好的判据。

在上一步提取的火焰频率中，由于每一帧求取的频率数freq的值为0~3，所以在25帧内求和而得的B_j块火焰频率F_j为火焰真实闪烁频率的3倍。由此我们将火焰频率的阈值设置为火焰的主要频率（8～12Hz）的三倍，算法中我们选取了28Hz作为阈值T₅来对目标块进行火焰判断处理。

然而环境的复杂性，灯光和开关门时产生的亮斑变化往往能满足频率判据，因此仅用一次频率判据得出的结果准确性不够高。因此，我们还将火焰目标块置信度作为判别火焰的依据，具体的，目标的置信度E（初始值为0），通过每一帧该目标是否被判定为火焰而动态的发生改变。此外，目标块的置信度还将影响目标块的跟踪。

对于第i帧图像中目标块B_j，满足：

$E_j=\left\{\begin{array}{ccc}{E}_{j-1}*0.95+1& \mathrm{if}& F_j>T_5\\ E_{j-1}*0.8& \mathrm{else}& \end{array}\right.,$

其中，E_j为求取的该帧时刻目标块B_j的火焰置信度。

若E_j大于或等于T₆，则该目标块在该时刻被判定为火焰；若E_j小于T₆，则该目标块在该时刻被判定为非火焰，优选的，T₆为10。

在一具体的实施例中，步骤S40之前还包括步骤S401：对虚景的排除处理，包括对墙面反光亮斑的处理、对开门光斑的处理以及对反光块的处理。

本发明中通过频率特征识别出火焰目标后，由于场景多变和仓库内环境的复杂性，以及采用亮度阈值获取高亮前景的判据条件，使得仓库处于开灯和开门状态时会产生较多的虚景，主要为开关灯墙面上产生地不稳定亮斑、仓库门处不规则变化地亮斑和仓库内纸箱反灯光产生的光斑。由于它们都能够随着灯光和室外光线的变化而发生抖动和闪烁，算法容易将以上干扰判定为火焰而产生虚景。针对以上虚景我们从火焰亮度、存在时间和边缘运动等方面设计了虚景滤除算法，并且通过设置报警参数来实现触发报警的功能，详细参阅附图4。

火焰具有本身亮度高，会与火焰周围较近的一片区域产生较大的亮度差。但是灯光投射在墙面上产生的不稳定光斑，由于灯光的发散性和墙面平稳、面积较大的特性，使得墙面上的反光均匀而且变化较小，即用亮度差分割出的墙面亮斑与墙面亮斑周围较近区域的亮度差别不大。算法中采用了亮度差这一判据来去除墙面的反光亮斑的干扰。

获取火焰目标块内的前景点及背景点的平均亮度，对于第i帧的目标块B_j，目标块内前景点的平均亮度A_j和背景点的平均亮度a_j，满足：

$A_j=\frac{{\mathrm{\&Sigma;}}_{(x.y)\&Element;B_j}\mathrm{pixel}\_\mathrm{fore}(x,y)}{\mathrm{num}\_\mathrm{fore}\left(B_j\right)};$

$a_j=\frac{{\mathrm{\&Sigma;}}_{(x.y)\&Element;B_j}\mathrm{pixel}\_\mathrm{back}(x,y)}{\mathrm{num}\_\mathrm{back}\left(B_j\right)};$

其中，pixel_fore(x,y)为像素点在原图像中(x,y)位置的像素值，而且在亮度二值前景图像中该点为前景点（即像素值为255），num_fore（B_j）为B_j中前景点的数目。pixel_back(x,y)为像素点在原图像中(x,y)位置的像素值，而且在亮度二值前景图像foreground中该点为背景点（即像素值为0），num_back（B_j）为B_j中背景点的数目。

计算出亮度差的变化率C_j，满足：

$C_j=\frac{A_j-a_j}{A_j}$

其中，C_j为第j帧的亮度差变化率，A_j为第j帧前景点的平均亮度，a_j为第j帧背景点的平均亮度；

若C_j大于或等于亮度差阈值T₇，则认为该火焰目标是真实的火焰；若C_j小于亮度差阈值T₇，则认为该火焰目标是虚景，优选的方案中，T₇为0.2。

真实的火焰由于仓库内燃烧物较多，场地空旷，而且空气对流较少。使得火焰能够较长时间燃烧，而不被打断。但是开关门而引起的光斑变化只会出现在开关门的短短几秒钟时间内，因此算法中可以采用目标块的延时判定依据。

对于任意一帧的火焰目标块，若该帧的火焰置信度大于或等于延时阈值时，则当前火焰帧数为前一火焰帧数的自增，若该帧的火焰置信度小于延时阈值时，则当前火焰帧数为前一火焰帧数。

具体算法中，对于第i帧的目标块B_j，每当其满足火焰置信度E_j判定依据时，改变B_j的火焰帧数F_num_j，满足：

${F\_\mathrm{num}}_j=\left\{\begin{array}{ccc}F\_{\mathrm{num}}_{j-1}+1& \mathrm{if}& E_j\&GreaterEqual;T_7\\ F\_{\mathrm{num}}_{j-1}& \mathrm{else}& \end{array}\right.,$

若F_num_j大于或等于延时阈值T₈，则认为该火焰目标是真实的火焰；若F_num_j小于延时阈值T₈，则认为该火焰目标是虚景，优选的实施例中，延时阈值T₈为58。

由于仓库的密封环境和摄像距离较远，火焰能够稳定燃烧，而且位移变化较小。运用运动前景检测获取的火焰前景十分不完整，并且火焰的闪烁使得运动前景检测得到的前景区域非火焰区域较多。但是火焰边缘的不规则变化在运动检测中还是能够得到较好的检测，纸箱反射灯光引起的不规则变化的光斑在运动前景检测中应为变化过小而不被识别。因此算法中选择了火焰目标块覆盖运动前景区域的判定依据来实现对不规则反光块的虚景去除：

由于运动的物体在图像中的移动将遮挡原来背景的一部分像素，而造成帧间像素值的差异。帧间差法主要是运用当前帧与前一帧获前几帧的图像做差，对应点的像素值如果改变大于所设定的阈值，则认为该点为运动前景点。由于仓库中火焰燃烧的稳定性和位移较小等特性，单独的当前帧与前一帧做差获取的前景不能较好的体现火焰的运动区域。因此算法中采用了当前帧与最近10帧做差，将最大差值与阈值作比较。这样能够比较完整的获取火焰燃烧时晃动的外焰。运动二值前景求取方法如下：

将任意一视频帧与最近十个视频帧做差，比较最大差值与动态阈值，获取运动二值前景图像，满足

${\mathrm{sport}\_\mathrm{foreground}}_i(x,y)=\left\{\begin{array}{cccc}255& \mathrm{if}& \max [{\mathrm{pixel}}_i(x,y)-{\mathrm{pixel}}_j(x,y)]>T_9& j\&Element;(i-9,i)\\ 0& \mathrm{else}& & \end{array}\right.,$

其中，sport_foreground_i(x,y)为第i视频帧图像的运动二值前景图像，pixel_i(x,y)为第i视频帧图像的像素值，T₉为动态阈值，i为第i视频帧图像，j为第j视频帧图像，

求取了运动二值前景图像后，还包括对运动前景图像进行平滑、腐蚀和膨胀等预处理，从而得到较为精确的运动前景二值图像。

计算火焰目标块目标块中在亮度前景图像和运动前景图像中均为前景点的像素点数目与亮度前景图像中为前景点的像素点数目的比值，具体的算法如下：

对第i帧亮度前景图像中的火焰目标块B_j，覆盖运动前景图像的前景点面积计算如下：

${S\_\mathrm{cover}}_j=\frac{\mathrm{Num}(x,y)}{{\mathrm{Num}}_{B_j}(x,y)}$

式中，Num(x,y)为火焰目标块在亮度前景图像和运动前景图像中均为前景点的像素点数目，Num_Bj(x,y)为在目标块在亮度前景图像中为前景点的像素点的数目，S_cover_j为火焰目标块目标块中在亮度前景图像和运动前景图像中均为前景点的像素点数目与亮度前景图像中为前景点的像素点数目的比值。

若S_cover_j大于后等于T₉，则认为该火焰目标是真实的火焰；若S_cover_j小于T₉，则认为该火焰目标是虚景，优选的方案中，T₉为0.05。

通过虚景的排出处理后，还包括设置的全局报警参数W：

若具有火焰特征的目标块的数目大于零，则使初始化的报警参数值自增，具体为W=W+1；若火焰目标块数目等于零，则使初始化的报警参数值自减，具体为W=W-0.2；当全局报警参数达大于或者等于报警阈值T₁₀后，生成报警触发信号，开始报警，优选的方案中T₁₀为20。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于视频帧图像的火焰检测方法，其特征在于，包括如下步骤：

S10、获取视频帧图像；

S20、根据火焰的亮度域值来获取二值前景图像，并由多个二值前景图像获得感兴趣的目标链；

S30、根据目标链中目标块的目标特征计算出火焰频率，并根据火焰频率及置信度来判断目标链中的视频帧图像内是否存在火焰，其中，所述目标特征为目标块的平均亮度变化、面积变化和中心位置的抖动；

S40、若判定目标链中的视频帧图像存在火焰，则生成报警触发信号；反之，则返回步骤S10。

2.根据权利要求1所述的基于视频帧图像的火焰检测方法，其特征在于，步骤S20中所述二值前景图像满足：

${\mathrm{sport}\_\mathrm{foreground}}_i(x,y)=\left\{\begin{array}{ccc}255& \mathrm{if}& \mathrm{pixel}(x,y)\&GreaterEqual;230\\ 0& \mathrm{if}& \mathrm{pixel}(x,y)<230\end{array}\right.,$ 其中，foreground_i(x,y)为第i帧的前景图像，pixel为第i帧图像中(x,y)处像素点的像素值。

3.根据权利要求1所述的基于视频帧图像的火焰检测方法，其特征在于，获取二值前景图像之后还包括步骤S21：对二值前景图像进行中值滤波，具体步骤如下：

S211、选取滤波窗口，所述滤波窗口为N×N的滑动模板；

S212、排序像素点，对以P点像素点为中心的N×N的滑动模板中全部像素的像素值进行排序处理；

S213、选取位于排序中间的像素值为P点的像素值，

其中，P点为视频帧图像中的任意一点。

4.根据权利要求3所述的基于视频帧图像的火焰检测方法，其特征在于，中值滤波之后还包括步骤S22：将二值前景图像具有相同像素值的相邻像素点标记为同一目标块。

5.根据权利要求4所述的基于视频帧图像的火焰检测方法，其特征在于，标记同一目标块之后还包括步骤S23：根据目标块的中心位置和运动位置采用最近邻算法来跟踪目标，获取感兴趣的目标链。

6.根据权利要求1所述的基于视频帧图像的火焰检测方法，其特征在于，步骤S40之前还包括步骤S401：对虚景的排除处理，包括对墙面反光亮斑的处理、对开门光斑的处理以及对反光块的处理。

7.根据权利要求6所述的基于视频帧图像的火焰检测方法，其特征在于，所述对墙面反光亮斑的处理具体为：

获取火焰目标块内的前景点及背景点的平均亮度；

计算出亮度差的变化率，满足：

$C_j=\frac{A_j-a_j}{A_j}$

其中，C_j为第j帧的亮度差变化率，A_j为第j帧前景点的平均亮度，a_j为第j帧背景点的平均亮度；

若亮度差变化率大于或等于亮度差阈值，则判断该火焰目标块为真实火焰；

若亮度差变化率小于亮度差阈值，则判断该火焰目标是虚景。

8.根据权利要求7所述的基于视频帧图像的火焰检测方法，其特征在于，所述对开门光斑的处理具体为：

对于任意一帧的火焰目标块，若该帧的火焰置信度大于或等于延时阈值时，则当前火焰帧数为前一火焰帧数的自增，若该帧的火焰置信度小于延时阈值时，则当前火焰帧数为前一火焰帧数；

若当前火焰帧数大于或等于延时阈值，则该火焰目标块为真实火焰，

若当前火焰帧数小于延时阈值，则该火焰目标块为虚景。

9.根据权利要求8所述的基于视频帧图像的火焰检测方法，其特征在于，所述对反光块的处理具体为：

将任意一视频帧与最近十个视频帧做差，比较最大差值与动态阈值，获取运动二值前景图像，满足：

${\mathrm{sport}\_\mathrm{foreground}}_i(x,y)=\left\{\begin{array}{cccc}255& \mathrm{if}& \max [{\mathrm{pixel}}_i(x,y)-{\mathrm{pixel}}_j(x,y)]>T_9& j\&Element;(i-9,i)\\ 0& \mathrm{else}& & \end{array}\right.,$

其中，sport_foreground_i(x,y)为第i视频帧图像的运动二值前景图像，pixel_i(x,y)为第i视频帧图像的像素值，T₉为动态阈值，i为第i视频帧图像，j为第j视频帧图像；

计算火焰目标块目标块中在亮度前景图像和运动前景图像中均为前景点的像素点数目与亮度前景图像中为前景点的像素点数目的比值，

若比值的结果大于或等于动态阈值，则该火焰目标块为真实火焰；

若比值的结果小于动态阈值，则该火焰目标块为虚景。

10.根据权利要求1所述的基于视频帧图像的火焰检测方法，其特征在于，步骤S40中还包括对报警参数的设置，具体如下：

若具有火焰特征的目标块的数目大于零，则使初始化的报警参数值自增；

若火焰目标块数目等于零，则使初始化的报警参数值自减；

当全局报警参数达大于或者等于报警阈值后，生成报警触发信号。

Images