CN110490043A - 一种基于区域划分和特征提取的森林烟火检测方法 - Google Patents

Abstract

本发明提供了一种基于区域划分和特征提取的森林烟火检测方法，属于计算机图像处理技术领域，包括：建立森林烟火样本数据集；选取合适的静态特征并训练级联神经网络；选取待处理视频的第一帧，进行自适应区域分割；对待处理视频进行运动检测；对疑似烟火区域进行预测分类。本发明方法计算简单，减少了运算量和大量误检，在计算速度不高的设备上有比较好的实时性，同时大幅降低误报率；本发明方法在森林烟火检测等方面有着重要的应用价值，在森林防火视频监控领域具有重要意义。

Description

一种基于区域划分和特征提取的森林烟火检测方法

技术领域

本发明属于计算机图像处理技术领域，涉及计算机视觉和森林烟火视频监测技术，具体涉及一种基于区域划分和特征提取的森林烟火检测方法。

背景技术

森林火灾是指失去人为控制、在林区大范围蔓延，对森林生态系统造成大量损失的林火行为。随着气候变暖，极端天气多发，全球都进入森林火灾的高发期，森林火灾风险加剧。2016年我国发生森林火灾2034次，其中重大火灾1次，2016年比2015年增加83.33％。2017年1月至8月，全国共发生森林火灾2841起。其中，重大森林火灾4起、特大森林火灾3起，受害森林面积2.3万公顷，造成人员伤亡44人。

计算机视觉技术的发展，为森林火灾的早期检测开拓了新的方法。传统的林火检测技术，通常采用分布在林区的传感器设备进行监测，部署、维护成本较高。近年来，计算机硬件和图像处理技术开始获得较大进步，林火视频监控系统以其独特的优势在森林火灾检测中开始占据更加重要的位置。与护林员巡检、人工瞭望塔监视等技术方法相比，基于计算机视觉的林火监测技术有准确高效、报警时效性强、易于保存信息等重要优势。

近年来随着计算机性能的进步和GPU的迅速崛起，以深度神经网络为代表的图像处理方法在目标检测、动作识别、超分辨率等领域获得了巨大成功。然而，由于高昂的成本和实时性要求，较为复杂的深度学习算法仍难以在现有的设备上运行。由于森林烟火检测场景的复杂性，简单的深度学习算法又存在效果不佳的问题，例如，森林防火视频监控中通常会引入许多干扰信息，如飞鸟、树枝晃动、蚊虫、监控云台晃动等，这些会在一定程度上对算法产生干扰。此外森林防火视频监控中场景复杂，由于空气质量和透射率问题，较远处的区域会出现雾霾的状况，现有的检测算法都存在较高的误检率。因此，有必要研究一种能在现有设备下运行的高效检测算法。

发明内容

为解决上述问题，本发明提供一种高效、稳定的基于区域划分和特征提取的森林烟火检测方法。针对森林防火视频监控的应用场景，设计了基于区域划分、运动检测和特征提取的森林烟火检测方法，通过运动目标检测方法得到疑似烟雾区域，然后通过特征提取和级联神经网络进行判别，通过多帧图像序列进行联合判断，能够在保持高检测率的同时，拥有较低的误报率。

为了达到上述目的，本发明提供如下技术方案：

一种基于区域划分和特征提取的森林烟火检测方法，包括如下步骤：

步骤1：建立森林烟火样本数据集

基于森林烟火视频监控系统，收集数据并建立初步的森林烟火图像样本数据集，数据集样本尺寸固定，整体数据集划分为训练集与测试集；

步骤2：选取合适的静态特征并训练级联神经网络

选用颜色矩、局部二值模式、方向梯度直方图作为描述烟火的特征，采用级联神经网络，分别对各个特征训练一个两级神经网络模型，将第一级神经网络的输出概率作为第二级神经网络的输入，再训练第二级神经网络，最后通过实验的方法选取最终输出概率的判别阈值；

步骤3：选取待处理视频的第一帧，进行自适应区域分割

获取图像的暗通道图，并通过OTSU算法得到自适应分割阈值，对视频监控区域进行分割，透射率最高的部分将被认为是无效的检测区域，被划分为无效检测区域的部分，在后续的运动检测中将被屏蔽；

步骤4：对待处理视频进行运动检测

采用基于背景差分法的运动目标提取方法，若某个图像块中的运动目标面积超过设定的阈值且没有被屏蔽，表明该块为变化较大的运动区域，记录该区域的连续运动检测帧数，如果超过设定的阈值，则该块被判定为疑似烟火区域；

步骤5：对疑似烟火区域进行预测分类

对步骤4得到的疑似烟火区域进行特征提取和分类，并记录一段时间内该区域被判别为烟火区域的次数，若在连续记录的时间内，被判别为烟火区域的次数超过规定的阈值，则触发报警。

进一步的，所述步骤1中样本选取兼顾不同地形地貌、不同距离、不同光照、摄像机拍摄角度、多种场景的数据，序列样本采用48×48尺寸。

进一步的，所述步骤2中的两级神经网络中，第一级有三个不同的神经网络模型，分别输入颜色矩、LBP和HOG特征进行训练，输出为三个不同的概率值，再将这些概率值输入到第二级神经网络中进行训练，得到最终的分类概率值。

进一步的，所述步骤3包括如下具体过程：

对于一张输入图像J，暗通道模型表述如下：

J^dark(x)＝min(min(J^C(y))_{C∈{r，g，b}，y∈Ω(x)}

其中，J^C为输入图像的RGB颜色通道值，Ω(x)为以x为中心的块；

采用以下图像模型：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)是摄像机捕捉的图像，J(x)是得到的结果图像，A是全球大气光分量，t(x)为透射率；假设t(x)的值在每个窗口中是常量，则透射率的估计值可以表示为：

其中，下标C表示R/G/B三个通道，A_C即为三个颜色通道中某各个通道的大气光分量，min_C()为某个通道内取最小值的函数；若将暗通道图像的像素值分为两类，选取阈值为t，用OTSU算法自适应地获取区域分割的阈值：

其中L是灰度级数，是类内方差，是类间方差；t_opt为最佳分割阈值。

进一步的，所述A为选取暗通道中0.1％最高坐标值取得的平均值。

进一步的，所述步骤4具体包括如下过程：

首先采用前几帧图像的均值作为背景模型，利用背景差技术检测视频运动目标区域，阈值化后得到当前视频的前景区域；通过形态学操作对前景目标预处理后，抛弃面积较小的前景区域块；前景区域超过设定阈值的区域被判断为运动区域，并增加计数；被判断为运动区域的帧数超过设定的阈值时则将该区域块判定为疑似烟雾区域。

进一步的，所述步骤5具体包括如下过程：

获取步骤4判定的疑似烟火图像区域，将图像输入到两级级联BP神经网络中，对输出的概率按照预先设定的阈值进行判别，超过阈值则认为该区域是烟火。

与现有技术相比，本发明具有如下优点和有益效果：

本发明方法在特征提取前使用运动目标检测技术，并记录多帧，过滤小于一定面积的前景目标和运动速度非常快的目标，减少了运算量和大量误检；并且引入基于暗通道和OTSU算法的自适应阈值的区域分割方法，屏蔽一部分易误报的无效检测区域(例如当前场景远处的雾霾区域)，大大降低了误检率，同时对检出率几乎没有影响；采用颜色矩、LBP和HOG特征，计算简单；算法执行过程中，仅对单帧图像进行检测，避免了复杂的运动物体跟踪，可以在计算速度不高的设备上有比较好的实时性，同时大幅降低误报率；本发明方法在森林烟火检测等方面有着重要的应用价值，在森林防火视频监控领域具有重要意义。

附图说明

图1为本发明提供的基于区域划分和特征提取的森林烟火检测方法流程图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明将视频分析的方法引入到林火视频监控中，通过暗通道和自适应阈值分割方法屏蔽一部分无效检测区域，预先训练BP神经网络，对可疑区域进行特征提取和分类。训练所需的林火图像样本来自林火视频监控系统，采用级联BP神经网络作为分类器。分类器输入为静态特征组成的特征向量，输出是图像的二分类概率。本方法中疑似烟火区的图像可以采用基于烟雾运动的检测方法获得。

具体的说，本发明提供的一种基于区域划分和特征提取的森林烟火检测方法，其流程如图1所示，包括以下步骤：

步骤1：基于森林烟火视频监控系统，通过手工收集或者现有的林火视频监控系统自动收集等方法，建立初步的森林烟火图像样本数据集。本方法采用LBP和HOG作为纹理特征，因此样本要求尺寸固定。同时，森林烟火监控系统中，烟火源的距离差距较大，因此在样本选取上，应当兼顾不同距离。同时为了方便后续模型训练与验证，整体数据集需要按照一定比例随机划分为训练集与测试集。

本步骤中建立森林烟火图像序列样本数据集，序列样本采用48×48的尺寸大小，实际使用中也可以采用24×24等尺寸。为保证训练样本有足够的代表性，样本采集时需要考虑不同地形地貌、不同距离、不同光照、摄像机拍摄角度等多种场景的覆盖。同时，负样本的选取要具有多样性以及针对性，分类过于困难的样本可以适当舍弃，以免影响总体分类效果。

步骤2：选取合适的静态特征并训练级联神经网络。烟火由于其不规则且多变的形状、不确定的运动速度和方向等，准确地描述其特征难度相对较大。综合考虑有效性、计算效率以及特征融合等，本方法选用了颜色矩、局部二值模式(LBP)、梯度直方图(HOG)作为描述烟火的特征。不同维数的特征存在难以融合的问题，本方法采用级联神经网络，分别对各个特征训练一个神经网络模型。将第一级神经网络的输出概率作为第二级神经网络的输入，再训练第二级神经网络。最后，通过实验的方法选取最终输出概率的判别阈值。

具体的说，本步骤中采用两级神经网络，第一级有三个不同的神经网络模型，分别输入颜色矩、LBP和HOG特征进行训练，输出为三个不同的概率值p₁,p₂,p₃，再输入到第二级神经网络中进行训练，得到最终的分类概率值y。级联神经网络的输出是一个概率值，

应当通过实验的方法，确定最佳判别阈值。

步骤3：选取待处理视频的第一帧，进行自适应区域分割。本方法中，采用暗通道方法，获取图像的暗通道图，并通过OTSU算法得到自适应分割阈值，对视频监控区域进行分割，透射率最高的部分将被认为是无效的检测区域。被划分为无效检测区域的部分，在后续的运动检测中将被屏蔽，不会对烟火检测系统产生影响。

本步骤中，对于一张输入图像J，暗通道模型可以表述如下：

J^dark(x)＝min(min(J^C(y))_{C∈{r，g，b}，y∈Ω(x)}

其中，J^C为输入图像的RGB颜色通道值，Ω(x)为以像素点x为中心的块。

在计算机视觉领域，以下图像模型被广泛采用：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)是摄像机捕捉的图像，J(x)是得到的结果图像，A是全球大气光分量，t(x)为透射率。在实际应用中，选取暗通道中0.1％最高的坐标值，以其平均值作为A。假设t(x)的值在每个窗口中是常量，则透射率的估计值可以表示为：

其中，下标C表示R/G/B三个通道，A_C即为三个颜色通道中某各个通道的大气光分量，min_C()为某个通道内取最小值的函数。若将暗通道图像的像素值分为两类，选取阈值为t，用OTSU算法自适应地获取区域分割的阈值：

其中L是灰度级数，是类内方差，是类间方差。最优化得到的结果t_opt就是要找的最佳分割阈值。对于本场景中的问题，二分类是比较合适的选择。阈值的获取也可以通过经验值人为设定。

步骤4：对待处理视频进行运动检测。本方法中采用基于背景差分法的运动目标提取方法。若某个图像块中的运动目标面积超过设定的阈值且没有被屏蔽，表明该块为变化较大的运动区域，记录该区域的连续运动检测帧数，如果超过设定的阈值，则该块被判定为疑似烟火区域。

本步骤采用视频运动目标检测方法，首先采用前几帧图像的均值作为背景模型，利用背景差技术检测视频运动目标区域，阈值化后得到当前视频的前景区域。阈值的选取会影响到前景的准确性和完整性，过高的阈值可能会造成漏检，而过低的阈值可能会造成大片的无效干扰区域，从而影响系统的效果。通过形态学操作对前景目标预处理后，抛弃面积较小的前景区域块(噪声信号等)。判断区域中，若大于事先设定的阈值则将该区域块判定为疑似烟雾区域。

步骤5：对疑似烟火区域进行特征提取和分类，并记录一段时间内该区域被判别为烟火区域的次数。若在连续记录的时间内，被判别为烟火区域的次数超过规定的阈值，则触发报警。

具体的说，本步骤首先需要获取步骤4判定的疑似烟火图像区域，本方法中将图像输入到两级级联BP神经网络中，对输出的概率按照预先设定的阈值进行判别，超过阈值则认为该区域是烟火。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种基于区域划分和特征提取的森林烟火检测方法，其特征在于，包括如下步骤：

步骤1：建立森林烟火样本数据集

基于森林烟火视频监控系统，收集数据并建立初步的森林烟火图像样本数据集，数据集样本尺寸固定，整体数据集划分为训练集与测试集；

步骤2：选取合适的静态特征并训练级联神经网络

选用颜色矩、局部二值模式、方向梯度直方图作为描述烟火的特征，采用级联神经网络，分别对各个特征训练一个两级神经网络模型，将第一级神经网络的输出概率作为第二级神经网络的输入，再训练第二级神经网络，最后通过实验的方法选取最终输出概率的判别阈值；

步骤3：选取待处理视频的第一帧，进行自适应区域分割

获取图像的暗通道图，并通过OTSU算法得到自适应分割阈值，对视频监控区域进行分割，透射率最高的部分将被认为是无效的检测区域，被划分为无效检测区域的部分，在后续的运动检测中将被屏蔽；

步骤4：对待处理视频进行运动检测

采用基于背景差分法的运动目标提取方法，若某个图像块中的运动目标面积超过设定的阈值且没有被屏蔽，表明该块为变化较大的运动区域，记录该区域的连续运动检测帧数，如果超过设定的阈值，则该块被判定为疑似烟火区域；

步骤5：对疑似烟火区域进行预测分类

对步骤4得到的疑似烟火区域进行特征提取和分类，并记录一段时间内该区域被判别为烟火区域的次数，若在连续记录的时间内，被判别为烟火区域的次数超过规定的阈值，则触发报警。

2.根据权利要求1所述的基于区域划分和特征提取的森林烟火检测方法，其特征在于：所述步骤1中样本选取兼顾不同地形地貌、不同距离、不同光照、摄像机拍摄角度、多种场景的数据，序列样本采用48×48尺寸。

3.根据权利要求1所述的基于区域划分和特征提取的森林烟火检测方法，其特征在于：所述步骤2中的两级神经网络中，第一级有三个不同的神经网络模型，分别输入颜色矩、LBP和HOG特征进行训练，输出为三个不同的概率值，再将这些概率值输入到第二级神经网络中进行训练，得到最终的分类概率值。

4.根据权利要求1所述的基于区域划分和特征提取的森林烟火检测方法，其特征在于，所述步骤3包括如下具体过程：

对于一张输入图像J，暗通道模型表述如下：

J^dark(x)＝min(min(J^C(y))_{C∈{r,g,b},y∈Ω(x)}

其中，J^C为输入图像的RGB颜色通道值，Ω(x)为以x为中心的块；

采用以下图像模型：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)是摄像机捕捉的图像，J(x)是得到的结果图像，A是全球大气光分量，t(x)为透射率；假设t(x)的值在每个窗口中是常量，则透射率的估计值可以表示为：

其中，下标C表示R/G/B三个通道，A_C即为三个颜色通道中某各个通道的大气光分量，min_C()为某个通道内取最小值的函数；若将暗通道图像的像素值分为两类，选取阈值为t，用OTSU算法自适应地获取区域分割的阈值：

其中L是灰度级数，是类内方差，是类间方差；t_opt为最佳分割阈值。

5.根据权利要求4所述的基于区域划分和特征提取的森林烟火检测方法，其特征在于：所述A为选取暗通道中0.1％最高坐标值取得的平均值。

6.根据权利要求1所述的基于区域划分和特征提取的森林烟火检测方法，其特征在于，所述步骤4具体包括如下过程：

首先采用前几帧图像的均值作为背景模型，利用背景差技术检测视频运动目标区域，阈值化后得到当前视频的前景区域；通过形态学操作对前景目标预处理后，抛弃面积较小的前景区域块；前景区域超过设定阈值的区域被判断为运动区域，并增加计数；被判断为运动区域的帧数超过设定的阈值时则将该区域块判定为疑似烟雾区域。

7.根据权利要求1所述的基于区域划分和特征提取的森林烟火检测方法，其特征在于：所述步骤5具体包括如下过程：

获取步骤4判定的疑似烟火图像区域，将图像输入到两级级联BP神经网络中，对输出的概率按照预先设定的阈值进行判别，超过阈值则认为该区域是烟火。