CN107085714B - 一种基于视频的森林火灾检测方法 - Google Patents

Abstract

本发明提供了一种基于视频的森林火灾检测方法，基于森林火灾烟雾独特的生长变化特点，通过对备选烟雾区域生长变化情况的判别分析来实现森林火灾烟雾检测，使得烟雾检测不容易受其他颜色和形状相近物体的干扰，同时也能有效排除其他形式运动物体的影响，具有较高的检测鲁棒性；同时本发明的森林火灾早期视频检测方法运用累加区域，并在一定帧数间隔内基于累加区域进行多次比较，使得对区域生长变化的判别分析具有更好的稳定性；本发明技术可以在森林火灾早期发生时，通过其烟雾的检测，有效解决远距离监控视频的火灾自动检测和报警问题。

Description

一种基于视频的森林火灾检测方法

技术领域

本发明属于森林防火和视频目标检测领域，尤其涉及一种基于视频的森林火灾检测方法。

背景技术

传统的火灾检测报警技术通常利用能够感应烟雾颗粒的传感器来实现。然而，这些传感器只有在靠近烟火的时候才起作用，作用距离非常有限，并且在野外空旷的条件下由于空气流动较快，烟雾颗粒也很难被传感器有效接收。基于视频的火灾检测手段利用布设的远程监控摄像机，可以监控周围较远距离范围内是否发生火灾。对于大面积的森林或山林区域，一般要隔一定距离设置瞭望塔并布设监控摄像机以覆盖整个区域，并将所有实时获取的视频都传输到监控中心。通过人工直接察看视频的方式来发现火灾，需要耗费大量的人员和精力。观察者也很难一直保持注意力，及时发现火灾并报警。基于视频的自动火灾检测技术正是在这种背景下提出并被广泛研究。

对森林火灾发现得越早，越有利于控制火势和减少火灾损失。因此，火灾的早期发现意义更为重大。在森林火灾发生的早期阶段，由于火势不是很大，或受其他树木等障碍物的遮挡，通常在监控视频里首先看到的不是火焰，而是由着火点产生并升起的烟雾。因此，基于视频的森林火灾早期检测一般是通过检测火灾产生的烟雾来实现。现有技术大部分是通过运动特征来分割出烟雾区域，或利用火灾烟雾的颜色、纹理和形状等显著性信息，以此为基础来设计火灾烟雾检测的自动算法。由于其他物体也可能有相似的特征，这些方法和技术很容易产生误检。并且，在烟雾距离很远时，视频中的烟雾纹理和形状特征并不显著，太过依赖这些特征很难有效地检测出远距离的火灾烟雾。

现有的其他某些火灾烟雾视频检测技术是在频域中进行的，利用其在频域中的高频特性与背景物体进行区分。然而这种方法主要是在火灾处在较近距离，且烟雾呈现出较剧烈的形状变化态势下才具有较好效果。另外，基于运动特征来分割潜在烟雾区域的方法对远距离烟雾也可能失效，这是因为远距离烟雾在视频中一般移动较为缓慢，通过运动信息难以有效准确地获取烟雾区域。除此之外，机器学习和训练技术也被广泛用于火灾烟雾视频检测中，这类技术需要规模庞大的训练样本，而实际中人们能够获取到的各类场景森林火灾视频资料很有限；对于远距离拍摄的视频烟雾，由于成像不清晰，烟雾区域较小等原因，一般缺乏显著的纹理和形状等特征可供机器学习技术来进行学习和训练，从而也会使得最终检测的效果并不理想。

发明内容

为解决上述问题，本发明提供了一种基于区域生长分析的森林火灾早期视频检测方法，通过提取视频中的备选烟雾区域，并进行区域的生长变化情况分析判别，来检测出火灾产生的烟雾，在火灾发生的早期阶段就能够及时发现和报警。首先，提取出视频中的前景运动区域，从而定位烟雾可能存在的位置；然后，根据森林火灾烟雾的颜色通常接近白色且相对背景具有亮色调这一特征，分割出可能的烟雾区域；接下来，通过对区域的颜色、形状等特征的判断，进一步确定分割出的区域是否为潜在烟雾区域；最后，观测视频帧中所有备选烟雾区域的生长变化情况，根据火灾发生时所产生的烟雾会逐渐扩大并呈上升趋势这一变化特点，判别备选烟雾区域是否为实际火灾烟雾。

一种基于视频的森林火灾检测方法，包括以下步骤：

步骤1：从视频的设定帧数第i帧开始进行烟雾检测，将第i帧视频图像I_i进行彩色-灰度转化得到灰度图像E_i，并通过逐帧迭代法计算第i帧视频图像I_i的背景图像

步骤2：基于背景图像通过背景减除法从第i帧视频图像I_i中提取出各个前景运动区域；

步骤3：根据前景运动区域，得到可能的烟雾区域具体步骤如下：

步骤31：将步骤2中得到的各个前景运动区域分别记为其中M为前景运动区域的个数；

步骤32：确定各个前景运动区域在灰度图像E_i中的对应位置，并找出灰度图像E_i中各个前景运动区域内像素的最小值，分别记为v^k；

步骤33：在灰度图像E_i中与各个前景运动区域邻接的区域，分别以对应的v^k作为阈值对灰度图像E_i进行分割，保留灰度图像E_i中各个邻接区域的像素值大于v^k的像素点，剔除像素值不大于v^k的像素点，得到各个包含前景运动区域的连通区域，分别记为则为可能的烟雾区域；

步骤4：通过颜色、灰度以及区域形状特征对每个可能的烟雾区域进行判别，将同时满足颜色、灰度以及区域形状特征三个判别条件的可能的烟雾区域选取为备选烟雾区域否则剔除该区域；

步骤5：对于步骤4得到的各个备选烟雾区域分别以阈值v^k在第i+1帧灰度图像E_i+1与备选烟雾区域对应的位置处进行分割，保留灰度图像E_i+1中像素值大于v^k的像素点，剔除像素值不大于v^k的像素点，得到与备选烟雾区域具有最大重合面积的连通区域，记为则为与第i帧视频图像I_i备选烟雾区域对应的第i+1帧视频图像I_i+1的备选烟雾区域；同时定义累加区域使得然后将累加区域与备选烟雾区域进行合并得到累加区域

步骤6：按照步骤5的方法，分别以阈值v^k在第i+2帧灰度图像E_i+2与备选烟雾区域对应的位置处进行分割，得到第i+2帧视频图像中对应的备选烟雾区域将累加区域与备选烟雾区域进行合并得到累加区域

步骤7：重复步骤6的方法，分别以阈值v^k依次计算后续第i+n帧视频图像中对应的备选烟雾区域其中n＝3,4,...,4N，N为预设的帧数间隔阈值；同时，将上一帧得到的累加区域与下一帧的备选烟雾区域进行合并，直至完成第i+4N帧视频图像的计算，得到4N+1个累加区域；

步骤8：判别每一备选烟雾区域的生长变化过程是否具有真实烟雾区域的扩散和上升的变化特征；如果同时满足扩散特征和上升特征这两个判别条件，则备选烟雾区域为真实烟雾区域，表明视频中存在火灾烟雾，检测系统立即发出火灾报警；否则，从第i+4N+1帧视频图像开始按步骤1-7继续进行烟雾检测。

一种基于视频的森林火灾检测方法，步骤8所述的扩散特征和上升特征的判别条件分别为：

(1)扩散特征判别条件：且

(2)上升特征判别条件：

且

其中，算子|·|表示计算对应区域中像素点的个数，算子Ch(·)表示计算对应区域中所有像素点在竖直方向上图像平面纵坐标的平均值，为根据前i+N帧视频图像计算得到的累加区域，为根据前i+2N帧视频图像计算得到的累加区域，为根据前i+2N+l帧视频图像计算得到的备选烟雾区域，为根据前i+3N+l帧视频图像计算得到的备选烟雾区域。

一种基于视频的森林火灾检测方法，步骤1所述的通过逐帧迭代法计算第i帧视频图像I_i的背景图像具体迭代公式为：

其中，第i-1帧视频图像I_i-1的背景图像，且第1帧视频图像I₁对应的背景图像为第1帧灰度图像E₁，α为小于0.5且大于0的常数。

一种基于视频的森林火灾检测方法，步骤2所述通过背景减除法从第i帧视频图像I_i中提取出前景运动区域，具体步骤如下：

步骤21：计算第i帧视频图像I_i的二值图像K_i，其中：

如果第i帧灰度图像E_i任一点的像素值与第i-1帧背景图像对应点的像素值的差值大于预设的阈值ε，则第i帧二值图像K_i对应像素点的像素值为1，且该点属于前景运动区域；

如果第i帧灰度图像E_i任一点的像素值与第i-1帧背景图像对应点的像素值的差值不大于预设的阈值ε，则第i帧二值图像K_i对应像素点的像素值为0，且该点不属于前景运动区域；

步骤22：对第i帧二值图像K_i进行数学形态学开运算，剔除二值图像K_i中尺寸小于数学形态学开运算算子半径的前景运动区域。

一种基于视频的森林火灾检测方法，步骤4所述的颜色、灰度以及区域形状特征判别条件如下：

(1)颜色特征判别条件：可能的烟雾区域中的红、绿、蓝三个色彩通道图像R_i、G_i以及B_i的像素颜色平均值分别定义为为以及三个像素颜色平均值相互间的差值均小于预设阈值；

(2)灰度特征判别条件：可能的烟雾区域的像素灰度平均值高于预设阈值；

(3)形状特征判别条件：可能的烟雾区域的高度宽度以及面积满足条件：

一种基于视频的森林火灾检测方法，所述i为大于100的整数。

有益效果：

本发明基于森林火灾烟雾独特的生长变化特点，通过对备选烟雾区域生长变化情况的判别分析来实现森林火灾烟雾检测，使得烟雾检测不容易受其他颜色和形状相近物体的干扰，同时也能有效排除其他形式运动物体的影响，具有较高的检测鲁棒性；

同时本发明的森林火灾早期视频检测方法运用累加区域，并在一定帧数间隔内基于累加区域进行多次比较，使得对区域生长变化的判别分析具有更好的稳定性；本发明技术可以在森林火灾早期发生时，通过其烟雾的检测，有效解决远距离监控视频的火灾自动检测和报警问题。

附图说明

图1为本发明森林火灾烟雾视频检测流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细叙述。

本发明技术基于森林火灾烟雾的生长变化特点，检测森林火灾点升起的烟雾，从而在火灾发生的早期阶段即可通过监控视频自动发现火灾。火灾烟雾检测的流程图如图1所示，假设从视频的第i帧开始进行烟雾检测，具体处理步骤为：

步骤1：从视频的设定帧数第i帧开始进行烟雾检测，将第i帧视频图像I_i进行彩色-灰度转化得到灰度图像E_i，并通过逐帧迭代法计算第i帧视频图像I_i的背景图像具体迭代公式为：

其中，第i-1帧视频图像I_i-1的背景图像，且第1帧视频图像I₁对应的背景图像为第1帧灰度图像E₁，α为小于0.5且大于0的常数，其中i为大于100的整数；

步骤2：基于背景图像通过背景减除法从第i帧视频图像I_i中提取出前景运动区域，具体步骤如下：

步骤21：计算第i帧视频图像I_i的二值图像K_i，其中：

如果第i帧灰度图像E_i任一点的像素值与第i-1帧背景图像对应点的像素值的差值大于预设的阈值ε，则第i帧二值图像K_i对应像素点的像素值为1，且该点属于前景运动区域；

如果第i帧灰度图像E_i任一点的像素值与第i-1帧背景图像对应点的像素值的差值不大于预设的阈值ε，则第i帧二值图像K_i对应像素点的像素值为0，且该点不属于前景运动区域；

步骤22：对第i帧二值图像K_i进行数学形态学开运算，剔除二值图像K_i中尺寸小于数学形态学开运算算子半径的前景运动区域。

步骤3：根据前景运动区域，得到可能的烟雾区域具体步骤如下：

步骤31：对二值图像K_i中的每个独立连通的前景运动区域进行标记，分别记为其中M为前景运动区域的个数；

步骤32：然后在灰度图像E_i中，确定各个前景运动区域在灰度图像E_i中的对应位置，并计算灰度图像E_i中每个前景运动区域内所有像素值的最小值，记为v^k；

步骤33：在灰度图像E_i中与各个前景运动区域邻接的区域，分别以对应的v^k作为阈值在前景运动区域附近对灰度图像E_i进行分割，保留灰度图像E_i中像素值大于v^k的像素点，剔除像素值不大于v^k的像素点，得到的包含前景运动区域的连通区域，记为则即为可能的烟雾区域；

步骤4：通过颜色、灰度和区域形状特征对每个可能的烟雾区域 进行判别，得到备选烟雾区域

判别条件如下：(1)根据红、绿、蓝三个色彩通道图像R_i、G_i和B_i提供的像素颜色值，计算每个区域中的红、绿、蓝像素颜色平均值，分别定义为 和则备选烟雾区域中的红、绿、蓝三种颜色平均值须很接近，即满足条件：其中α₁、α₂和α₃必须小于某一预设阈值t₁。(2)根据灰度图像E_i提供的像素灰度值，计算每个可能的烟雾区域中的像素灰度平均值，记为由于森林火灾产生的烟雾都具有一定的亮度，则备选烟雾区域的平均灰度值必须高于某一预设阈值t₂，即满足条件(3)计算每个可能的烟雾区域的高度、宽度和面积，分别记为和则备选烟雾区域应该满足条件：

同时满足上述三种条件的可能的烟雾区域视为备选烟雾区域否则，则剔除该区域，在后续处理步骤中不予考虑。

步骤5：对于步骤4得到的每一个备选烟雾区域分别以对应的阈值v^k对第i+1帧灰度图像E_i+1进行分割，得到与备选烟雾区域具有最大重合面积的连通区域，记为则即为与第i帧图像备选烟雾区域对应的第i+1帧视频图像的备选烟雾区域；同时，对于每一备选烟雾区域定义累加区域使得然后将累加区域与备选烟雾区域进行合并得到累加区域该操作用公式表示为：

步骤6：对于第i+1帧图像中每一备选烟雾区域与步骤5中的方法类似，分别以对应的阈值v^k对第i+2帧灰度图像E_i+2进行分割，得到与备选烟雾区域具有最大重合面积的连通区域，作为第i+2帧视频图像中对应的备选烟雾区域同时，采用公式通过区域合并更新累加区域，得到第i+2帧的累加区域

步骤7：在第i+2帧后，按步骤6的处理方法，依次计算后续第i+n帧(其中，n的取值从n＝3依次增加)图像中对应的备选烟雾区域同时，在每一步中对累加区域按公式进行更新；按上述步骤直至完成第i+4N帧(即n＝4N时)的计算为止，其中N为预设的帧数，一般取为1～2秒时间间隔内的视频帧数；

步骤8：判断分析每一备选烟雾区域的生长变化过程是否具有真实烟雾区域的不断扩散和上升的变化特征，以此来判别备选烟雾区域是否为真实烟雾区域；对每一备选烟雾区域的具体分析判别方法为：

判断是否同时满足以下两个区域生长变化条件：

(1)区域扩散判别条件：且

(2)区域上升判别条件：

且

上式中，算子|·|表示计算对应区域的大小，即统计区域中像素点的个数；算子Ch(·)表示计算对应区域的质心在竖直方向上的位置，即计算区域中所有像素点在竖直方向上位置坐标的平均值。满足上述条件(1)表明备选烟雾区域呈现出不断扩散的生长趋势；满足上述条件(2)表明备选烟雾区域呈现出上升的运动特征。

同时满足上述条件(1)和(2)即可判断出该备选烟雾区域为真实烟雾区域，从而检测结果表明视频中存在火灾烟雾，检测系统立即发出火灾报警。否则，从当前的下一帧(即第i+4N+1帧)开始，按上述方法由步骤一开始继续进行视频烟雾检测。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种基于视频的森林火灾检测方法，其特征在于，包括以下步骤：

步骤1：从视频的设定帧数第i帧开始进行烟雾检测，将第i帧视频图像I_i进行彩色-灰度转化得到灰度图像E_i，并通过逐帧迭代法计算第i帧视频图像I_i的背景图像

步骤2：基于背景图像通过背景减除法从第i帧视频图像I_i中提取出各个前景运动区域；

步骤3：根据前景运动区域，得到可能的烟雾区域具体步骤如下：

步骤31：将步骤2中得到的各个前景运动区域分别记为其中M为前景运动区域的个数；

步骤32：确定各个前景运动区域在灰度图像E_i中的对应位置，并找出灰度图像E_i中各个前景运动区域内像素的最小值，分别记为v^k；

步骤33：在灰度图像E_i中与各个前景运动区域邻接的区域，分别以对应的v^k作为阈值对灰度图像E_i进行分割，保留灰度图像E_i中各个邻接区域的像素值大于v^k的像素点，剔除像素值不大于v^k的像素点，得到各个包含前景运动区域的连通区域，分别记为则为可能的烟雾区域；

步骤4：通过颜色、灰度以及区域形状特征对每个可能的烟雾区域进行判别，将同时满足颜色、灰度以及区域形状特征三个判别条件的可能的烟雾区域选取为备选烟雾区域否则剔除该区域；

步骤5：对于步骤4得到的各个备选烟雾区域分别以阈值v^k在第i+1帧灰度图像E_i+1与备选烟雾区域对应的位置处进行分割，保留灰度图像E_i+1中像素值大于v^k的像素点，剔除像素值不大于v^k的像素点，得到与备选烟雾区域具有最大重合面积的连通区域，记为则为与第i帧视频图像I_i备选烟雾区域对应的第i+1帧视频图像I_i+1的备选烟雾区域；同时定义累加区域使得然后将累加区域与备选烟雾区域进行合并得到累加区域

步骤6：按照步骤5的方法，分别以阈值v^k在第i+2帧灰度图像E_i+2与备选烟雾区域对应的位置处进行分割，得到第i+2帧视频图像中对应的备选烟雾区域将累加区域与备选烟雾区域进行合并得到累加区域

步骤7：重复步骤6的方法，分别以阈值v^k依次计算后续第i+n帧视频图像中对应的备选烟雾区域其中n＝3,4,...,4N，N为预设的帧数间隔阈值；同时，将上一帧得到的累加区域与下一帧的备选烟雾区域进行合并，直至完成第i+4N帧视频图像的计算，得到4N+1个累加区域；

步骤8：判别每一备选烟雾区域的生长变化过程是否具有真实烟雾区域的扩散和上升的变化特征；如果同时满足扩散特征和上升特征这两个判别条件，则备选烟雾区域为真实烟雾区域，表明视频中存在火灾烟雾，检测系统立即发出火灾报警；否则，从第i+4N+1帧视频图像开始按步骤1-7继续进行烟雾检测。

2.如权利要求1所述的一种基于视频的森林火灾检测方法，其特征在于，步骤8所述的扩散特征和上升特征的判别条件分别为：

(1)扩散特征判别条件：且

(2)上升特征判别条件：

且

其中，算子|·|表示计算对应区域中像素点的个数，算子Ch(·)表示计算对应区域中所有像素点在竖直方向上图像平面纵坐标的平均值，为根据前i+N帧视频图像计算得到的累加区域，为根据前i+2N帧视频图像计算得到的累加区域，为根据前i+2N+l帧视频图像计算得到的备选烟雾区域，为根据前i+3N+l帧视频图像计算得到的备选烟雾区域。

3.如权利要求2所述的一种基于视频的森林火灾检测方法，其特征在于，步骤1所述的通过逐帧迭代法计算第i帧视频图像I_i的背景图像具体迭代公式为：

其中，第i-1帧视频图像I_i-1的背景图像，且第1帧视频图像I₁对应的背景图像为第1帧灰度图像E₁，α为小于0.5且大于0的常数。

4.如权利要求3所述的一种基于视频的森林火灾检测方法，其特征在于，步骤2所述通过背景减除法从第i帧视频图像I_i中提取出前景运动区域，具体步骤如下：

步骤21：计算第i帧视频图像I_i的二值图像K_i，其中：

如果第i帧灰度图像E_i任一点的像素值与第i-1帧背景图像对应点的像素值的差值大于预设的阈值ε，则第i帧二值图像K_i对应像素点的像素值为1，且该点属于前景运动区域；

如果第i帧灰度图像E_i任一点的像素值与第i-1帧背景图像对应点的像素值的差值不大于预设的阈值ε，则第i帧二值图像K_i对应像素点的像素值为0，且该点不属于前景运动区域；

步骤22：对第i帧二值图像K_i进行数学形态学开运算，剔除二值图像K_i中尺寸小于数学形态学开运算算子半径的前景运动区域。

5.如权利要求4所述的一种基于视频的森林火灾检测方法，其特征在于，步骤4所述的颜色、灰度以及区域形状特征判别条件如下：

(1)颜色特征判别条件：可能的烟雾区域中的红、绿、蓝三个色彩通道图像R_i、G_i以及B_i的像素颜色平均值分别定义为为以及三个像素颜色平均值相互间的差值均小于预设阈值；

(2)灰度特征判别条件：可能的烟雾区域的像素灰度平均值高于预设阈值；

(3)形状特征判别条件：可能的烟雾区域的高度宽度以及面积满足条件：

6.如权利要求1-5任一权利要求所述的一种基于视频的森林火灾检测方法，其特征在于，所述i为大于100的整数。