CN103632158B - 森林防火监控方法及森林防火监控系统 - Google Patents

Abstract

本发明公开了一种森林防火监控方法及森林防火监控系统。本发明中，获取采集的当前森林视频图像，并将获取的当前森林视频图像应用于预先设置的混合高斯背景模型，生成当前森林视频图像对应的背景图像；将当前森林视频图像与该当前森林视频图像对应的背景图像进行差分，生成当前背景差分图像；将生成的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息。应用本发明，可以降低防火监控的虚警率、提升火灾监控精度。

Description

森林防火监控方法及森林防火监控系统

技术领域

本发明涉及防火监控技术，尤其涉及一种森林防火监控方法及森林防火监控系统。

背景技术

随着人们对生态环境的日益重视和关注，森林面积以及林木蓄积量逐年增加，再加上气候条件的多变性，使得森林火灾的发生越来越频繁。由于森林火灾的发生具有突发性、随机性，并能在短时间内造成巨大的经济损失，导致森林防火任务变得越来越艰巨。

目前，森林防火工作仍存在野外火源管理难度较大，森林火灾隐患增多，造成的经济影响较大等问题。因而，如何提升森林防火智能监控水平，以便于及时掌握各森林片区的火情相关信息，从而及早发现火情隐患，将森林火灾导致的损失减少至最低，是目前亟需解决的技术问题。

现有技术中，采用森林防火智能监控技术，能够避免原始人工观察火情的局限，可以实现森林林区数字化、科学化的管理，大大减少林业部门的费用支出和管理成本，提高林区企业的社会效应和经济效应，因而，在森林防火中应用越来越广泛。其中，基于视频的森林防火监控系统是目前火灾检测领域的研究热点，它能有效克服以传感器为基础的传统火灾检测技术的诸多不足，可以方便地应用于广场、森林等室外复杂环境。但现有基于视频的森林防火监控系统，通过监控员对摄像头拍摄得到的视频图像进行人工识别已确定是否发生火情。由于森林中与火焰颜色相近的景物较多，例如，在秋季时逐渐变红，范围越来越大的红叶区域。因而，人工识别容易受到与火焰颜色相近的景物干扰，从而出现误判，使得防火监控的虚警率较高，导致林业部门出动不必要的火警处理力量，增加了防火监控成本，影响了基于视频的森林防火监控系统的鲁棒性，使得森林火灾监控精度较低。

发明内容

本发明的实施例提供一种森林防火监控方法，降低防火监控的虚警率、提升火灾监控精度。

本发明的实施例还提供一种森林防火监控系统，降低防火监控的虚警率、提升火灾监控精度。

为达到上述目的，本发明实施例提供的一种森林防火监控方法，该方法包括：

获取采集的当前森林视频图像，并将获取的当前森林视频图像应用于预先设置的混合高斯背景模型，生成当前森林视频图像对应的背景图像；

将当前森林视频图像与该当前森林视频图像对应的背景图像进行差分，生成当前背景差分图像；

将生成的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息。

其中，所述将获取的当前森林视频图像应用于预先设置的混合高斯背景模型，生成当前森林视频图像对应的背景图像包括：

对于当前森林视频图像中的每一个像素点，将像素点应用于预先设置的混合高斯背景模型，得到该像素点在混合高斯背景模型中的取值概率，计算每一单高斯模型中概率权重与协方差的比值，将混合高斯背景模型中的每个单高斯模型按照比值进行排序，并且当确定新获取的图像帧的像素与混合高斯模型中的任一单高斯模型分布匹配时，用该像素点替换混合高斯背景模型中对应的像素点作为当前混合高斯背景模型；

提取当前混合高斯背景模型中的像素点，生成当前森林视频图像对应的背景图像。

其中，利用下述公式确定所述像素点在混合高斯背景模型中的取值概率：

式中，P(x_t)为时刻t时的当前森林视频图像中的所述像素点在混合高斯背景模型中的取值概率；

x_j为当前森林视频图像中的图像像素j在时刻t时的取值；

为第i个单高斯模型在时刻t取值分布的均值；

K为混合高斯背景模型中的单高斯模型个数；

为时刻t时像素j的混合高斯背景模型中，第i个单高斯模型的概率权重；

为时刻t时的当前森林视频图像中的像素点在第i个单高斯模型中的取值概率。

其中，利用下述公式确定所述时刻t时的当前森林视频图像中的像素点在第i个单高斯模型中的取值概率：

式中，u_i,t为第i个单高斯模型在时刻t取值分布的均值；

为第i个单高斯模型在时刻t取值分布的协方差；

d为x_i,t的维数。

其中，利用下述公式确定所述新获取的图像帧的像素与混合高斯模型中的任一单高斯模型分布匹配：

式中，x_j,i+1为新获取的图像帧的像素在时刻t时第i个单高斯模型中的取值；

δ为匹配阈值。

其中，利用下述公式确定所述当前背景差分图像：

D(x,y,t)=|I(x,y,t)-B(x,y,t)|

式中，D(x,y,t)为当前背景差分图像；

(x,y)为像素点在图像中的像素位置信息。

其中，所述方法进一步包括：

获取当前背景差分图像中像素点的像素值，如果获取的像素值超过预先设置的二值化阈值，将该像素点的像素值更新为二值化的烟火对象的像素值；否则，将该像素点的像素值更新为二值化的背景点的像素值。

其中，所述将生成的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息具体包括：

B1，将当前背景差分图像与当前帧森林视频图像进行与运算，得到待处理图像；

B2，获取待处理图像中各像素点的RGB值，计算每一像素点的红颜色值与蓝颜色值的颜色差绝对值；

B3，当确定每一像素点的颜色差绝对值大于预先设置的检测阈值时，标记该每一像素点为烟火对象的像素点；

B4，根据标记为烟火对象的像素点在待处理图像中覆盖的区域，获取烟火对象信息。

其中，所述将生成的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息具体包括：

C1，标记当前背景差分图像中前景点覆盖的区域；

C2，将当前背景差分图像应用于拉普拉斯算子，得到梯度图像；

C3，统计梯度图像中各标记区域内梯度值小于预先设置的梯度阈值的像素点数量，当确定统计的像素点数量大于预先设置的像素点数阈值时，标记该标记区域为烟火对象区域；

C4，根据标记的烟火对象区域，获取烟火对象信息。

其中，所述将生成的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息具体包括：

根据预先存储的烟火对象轮廓特征信息，对得到的当前背景差分图像进行轮廓特征匹配，获取当前背景差分图像中与存储的烟火对象轮廓特征信息相匹配的标记区域，标记该匹配的标记区域为烟火对象区域，根据标记的烟火对象区域，获取烟火对象信息。

其中，所述方法进一步包括：

对获取的烟火对象信息进行平滑处理；

对进行平滑处理的烟火对象信息进行时间关联，获取关联的烟火对象信息。

其中，采用图像形态学处理中的开运算和闭运算进行所述平滑处理。

其中，所述对进行平滑处理的烟火对象信息进行时间关联，获取关联的烟火对象信息包括：

D1，从存储的森林视频图像序列中，获取首次出现烟火对象信息的森林视频图像；

D2，在获取的森林视频图像中，以烟火对象信息所在的位置为中心，构建以预先设置的半径阈值为半径的候选烟火对象区域；

D3，以首次出现烟火对象信息的森林视频图像为初始帧，按时间按顺序，从森林视频图像序列中选取预定帧数的森林视频图像，形成森林视频图像集；

D4，统计森林视频图像集中候选烟火对象区域内具有烟火对象信息的图像帧数；

D5，当确定统计的图像帧数超过预先设置的帧数阈值时，确定候选烟火对象区域内存在烟火对象，获取候选烟火对象区域内关联的烟火对象信息。

其中，采用管道滤波进行所述统计森林视频图像集中候选烟火对象区域内具有烟火对象信息的图像帧数。

其中，在所述获取采集的当前森林视频图像之后，并将获取的当前森林视频图像应用于预先设置的混合高斯背景模型之前，所述方法进一步包括：

采用中值滤波算法或，对获取的当前森林视频图像进行降噪处理；或

对获取的森林视频图像进行行中值滤波，然后，对进行行中值滤波的森林视频图像再进行列中值滤波。

一种森林防火监控系统，该系统包括：摄像头、混合高斯背景模型运算器、差分处理器以及烟火对象检测器；

摄像头，用于采集当前森林视频图像；

混合高斯背景模型运算器，用于获取采集的当前森林视频图像，并将获取的当前森林视频图像应用于预先设置的混合高斯背景模型，生成当前森林视频图像对应的背景图像；

差分处理器，用于将当前森林视频图像与该当前森林视频图像对应的背景图像进行差分，生成当前背景差分图像；

烟火对象检测器，用于将生成的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息。

较佳地，所述混合高斯背景模型运算器包括：取值概率计算模块、判断模块、像素点计数模块以及背景图像生成模块；

取值概率计算模块，用于将当前森林视频图像中的像素点应用于预先设置的混合高斯背景模型，得到该像素点在混合高斯背景模型中的取值概率；

判断模块，用于计算每一单高斯模型中概率权重与协方差的比值，将混合高斯背景模型中的每个单高斯模型按照比值进行排序，并且当确定新获取的图像帧的像素与混合高斯模型中的任一单高斯模型分布匹配时，用该像素点替换混合高斯背景模型中对应的像素点；

像素点计数模块，用于判断输入判断模块的像素点是否为当前森林视频图像中的最后一个像素点，如果否，依序读取当前森林视频图像中的下一个像素点，输出至取值概率计算模块；如果是，通知背景图像生成模块；

背景图像生成模块，用于根据来自像素点计数模块的通知，提取混合高斯背景模型中的像素点，生成当前森林视频图像对应的背景图像。

较佳地，所述烟火对象检测器包括：与运算模块、颜色差绝对值计算模块、标记模块以及烟火对象确定模块；

与运算模块，用于将当前背景差分图像与当前帧森林视频图像进行与运算，得到待处理图像；

颜色差绝对值计算模块，用于获取待处理图像中各像素点的RGB值，计算每一像素点的红颜色值与蓝颜色值的颜色差绝对值；

标记模块，用于当确定每一像素点的颜色差绝对值是否大于预先设置的检测阈值时，标记该每一像素点为烟火对象的像素点；

烟火对象确定模块，用于根据标记为烟火对象的像素点在待处理图像中覆盖的区域，获取烟火对象信息。

较佳地，进一步包括：

二值化处理器，用于获取当前背景差分图像中像素点的像素值，如果获取的像素值超过预先设置的二值化阈值，将该像素点的像素值更新为二值化的烟火对象的像素值；否则，将该像素点的像素值更新为二值化的背景点的像素值；将更新的当前背景差分图像输出至烟火对象检测器。

较佳地，进一步包括：平滑处理器以及关联处理器；

平滑处理器，用于采用图像形态学处理中的开运算和闭运算，对获取的烟火对象信息进行平滑处理；

关联处理器，用于对进行平滑处理的烟火对象信息进行时间关联，获取关联的烟火对象信息。

较佳地，所述关联处理器包括：查询模块、候选烟火对象区域构建模块、森林视频图像集生成模块、图像帧数统计模块以及关联模块；

查询模块，用于从存储的森林视频图像序列中，获取首次出现烟火对象信息的森林视频图像；

候选烟火对象区域构建模块，用于在获取的森林视频图像中，以烟火对象信息所在的位置为中心，构建以预先设置的半径阈值为半径的候选烟火对象区域；

森林视频图像集生成模块，用于以首次出现烟火对象信息的森林视频图像为初始帧，按时间按顺序，从森林视频图像序列中选取预定帧数的森林视频图像，形成森林视频图像集；

图像帧数统计模块，用于统计森林视频图像集中候选烟火对象区域内具有烟火对象信息的图像帧数；

关联模块，用于判断统计的图像帧数是否超过预先设置的帧数阈值，如果确定候选烟火对象区域内存在烟火对象，获取候选烟火对象区域内关联的烟火对象信息。

由上述技术方案可见，本发明实施例提供的一种森林防火监控方法及森林防火监控系统，对采集的视频图像进行图像预处理，将进行降噪处理的当前森林视频图像应用于预先设置的混合高斯背景模型，得到当前森林视频图像对应的背景图像，进而将当前森林视频图像与背景图像进行差分处理，得到当前背景差分图像，并应用于预先设置的烟火对象检测算法，获取烟火对象信息。这样，通过设置自动识别烟火对象的混合高斯背景模型算法，从而能够自动识别出森林视频图像中的烟火对象，从而降低森林防火监控的虚警率，提升火灾监控精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，还可以根据这些附图所示实施例得到其它的实施例及其附图。

图1为本发明实施例森林防火监控方法流程示意图。

图2为本发明实施例森林防火监控系统结构示意图。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

现有基于视频的森林防火监控系统，容易受到与火焰颜色相近的景物干扰，从而出现误判，使得森林火灾监控精度较低，影响基于视频的森林防火监控系统的鲁棒性。

在森林防火监控系统中，摄像头采集的视频图像中，不但包含所需的烟火对象信息，而且包含由各种随机噪声和起伏背景组成的干扰对象信息。而且，由于森林背景相对于其他区域背景，例如，空旷地背景或城市居民区背景，具有一定的特殊性。因而，现有应用于城市居民区的防火监控方法，并不能适用于森林防火监控。在森林防火监控系统中，由于其中的一些干扰对象颜色与烟火对象颜色相同或相近似，因而，需要在采集得到的视频图像中，通过有效的烟火对象检测算法，将烟火对象从干扰对象中检测出来，以有效降低防火监控的虚警率。

本发明实施例中，针对干扰对象颜色与烟火对象颜色相同或相近似情形，提出用于森林防火监控系统的烟火对象检测算法，对烟火对象以及干扰对象进行区分。具体来说，先对采集的视频图像进行图像预处理，以对采集的视频图像进行降噪；进而采取本发明实施例的图像分割算法（混合高斯背景模型算法），将烟火对象从包含干扰对象的、经降噪处理的视频图像中分割出来；对分割得到的烟火对象进行分析，从而确定是否有火警。这样，可以降低森林防火监控的虚警率，提高森林防火监控的鲁棒性。

图1为本发明实施例森林防火监控方法流程示意图。参见图1，该流程包括：

步骤101，获取采集的当前森林视频图像，对获取的当前森林视频图像进行降噪处理；

本步骤中，对获取的当前森林视频图像进行降噪处理为可选步骤。进行降噪处理即对森林视频图像进行预处理。

本发明实施例中，降噪处理是为了排除在森林视频图像采集过程中引入的无规则性噪声干扰，可以采用现有技术中的中值滤波算法，对获取的森林视频图像进行降噪处理。

进一步地，由于现有技术的中值滤波算法需要对采集的森林视频图像进行遍历，实时性较差。本发明实施例中，较佳地，采用改进的中值滤波算法，即行区域中值滤波算法进行降噪处理。具体来说，对获取的森林视频图像进行行中值滤波，然后，对进行行中值滤波的森林视频图像再进行列中值滤波。这样，可以有效减少进行降噪处理所需的时间、提高降噪处理的实时性。

本发明实施例中，采集的森林视频图像以标识进行区别，对每一森林视频图像，按照标识依序进行降噪处理。

步骤102，将进行降噪处理的当前森林视频图像应用于预先设置的混合高斯背景模型，得到当前森林视频图像对应的背景图像；

本步骤中，混合高斯背景模型利用高斯分布对每个像素建立背景模型，为每个像素用K个单高斯分布进行混合建模，即使用K（例如，3至5个）个单高斯模型来表征当前森林视频图像中各像素点的特征。

本步骤具体包括：

A1，将进行降噪处理的当前森林视频图像中的一像素点应用于预先设置的混合高斯背景模型，得到该像素点在混合高斯背景模型中的取值概率；

本步骤中，对预先设置的混合高斯背景模型进行初始化，选取当前森林视频图像中的一像素点，将该像素点应用于初始化的混合高斯背景模型，得到该一像素点在混合高斯背景模型中的取值概率，在后续流程中再对初始化的混合高斯背景模型进行更新；然后，选取当前森林视频图像中的另一像素点，应用于更新的混合高斯背景模型，得到该另一像素点在混合高斯背景模型中的取值概率，在后续流程中再对更新的混合高斯背景模型进行再次更新，直至选取完当前森林视频图像中的所有像素点。

本发明实施例中，对于整帧森林视频图像，森林视频图像中的每一像素点对应一混合高斯背景模型，进行相应混合高斯背景模型处理。

实际应用中，由于用于视频图像采集的森林场景是不断变化的，考虑到背景像素值在一段时间内的分布是多峰的，因而，可以利用多个单高斯模型的集合来描述像素值在一段时间内的状态，从而基于多个单高斯模型生成混合高斯背景模型。具体来说，对每一像素点，定义K个单高斯模型来表征该像素点状态，K值体现了像素值多峰分布的峰的个数。在匹配过程中，只要该像素点符合K个单高斯模型分布中的任何一个，则认为该像素点是具有背景特征的像素点，即背景点；否则，该像素点被判定为具有目标特征的像素点，即前景点。

较佳地，图像中每个像素点的混合高斯背景模型由K个（三个）单高斯模型组成，从而对于每一像素点，采用三个单高斯模型分布混合建模，得到混合高斯背景模型。

由K个单高斯模型成分组成的混合高斯背景模型表示像素点在时间域上的概率分布。

在时刻t时，当前森林视频图像中的像素点的像素值为x_j，当前森林视频图像中的像素点在混合高斯背景模型中的取值概率，即图像像素j在时刻t取值为x_j的概率计算公式为：

式中，P(x_j)为时刻t时的当前森林视频图像中的像素点在混合高斯背景模型中的取值概率，即图像像素j在时刻t取值为x_j的概率；

K为混合高斯背景模型中的单高斯模型个数，即单高斯模型成分个数；

为时刻t时像素j的混合高斯背景模型中，第i个单高斯模型的概率权重；

较佳地，

为时刻t时的当前森林视频图像中的像素点在第i个单高斯模型中的取值概率；

为第i个单高斯模型在时刻t取值分布的均值；

为第i个单高斯模型在时刻t取值分布的协方差；

x_j为当前森林视频图像中的图像像素j在时刻t时的取值；

d为x_j的维数。对于RGB空间而言，各分量可视为相互独立，则协方差矩阵定义为其中σ表示标准差，I表示单位矩阵。

较佳地，K一般取3～5。

A2，计算每一单高斯模型中概率权重与协方差的比值，将混合高斯背景模型中的每个单高斯模型按照比值进行排序，检验新获取的图像帧的像素与混合高斯模型中的任一单高斯模型分布是否匹配，如果是，用该像素点替换混合高斯背景模型中对应的像素点，否则，不作处理；

本步骤中，在初始化阶段，像素每个点的颜色通道范围为[0,255]，可以对K个高斯分布直接初始化较大的对每个高斯分布的均值进行初始化。随着场景的不断变化，每个像素的混合高斯模型都要不断地被学习更新。将混合高斯模型中的每个高斯分布按照由大到小排序，检验新获取的图像帧的像素与混合高斯模型中的K个高斯分布是否匹配，如果匹配成功，判定该像素点为背景点，并用该像素点替换混合高斯背景模型中对应的像素点，从而对混合高斯背景模型进行更新；否则，该像素点为前景点，不对混合高斯背景模型中对应的像素点进行更新。

如前所述，混合高斯背景模型包括多个单高斯模型，如果新获取的像素和混合高斯模型分布的某个成分满足下式，则确定该像素与混合高斯模型分布相匹配。

式中，x_j,i+1为新获取的图像帧的像素在时刻t时第i个单高斯模型中的取值；

δ为匹配阈值。

若x_j与第i个单高斯模型成分匹配，则该单高斯模型成分被x_j更新，其余单高斯模型则保持不变，更新方差如下所示：

其中，α是单高斯模型的学习率，ρ为参数的学习率，反映的是高斯分布参数的收敛速度。

若x_j与像素的K个单高斯模型分布都不匹配，那么混合高斯模型中排在最末的单高斯模型分布将被新的高斯成分所替代，新成分的均值为x_j，标准差和权值被初始化为σ_init和ω_init，其余的高斯分布则保持均值和方差不变，但权重将按照下面的式子进行更新：

在更新完成后，各高斯分布的权重还需要重新归一化。参数更新完成之后，为了确定像素的混合高斯模型中哪些高斯成分是由背景产生的，根据每个单高斯模型分布，按照由大到小的排序，取前B_j个高斯成分作为背景的分布，B_j可以采用下面的式子来确定：

其中，T为预定义的权重的阈值，代表了背景高斯成分在像素的整个高斯概率分布中所占的最小比例。

A3，选取进行降噪处理的当前森林视频图像中的另一像素点，将该另一像素点应用于替换的混合高斯背景模型，得到该另一像素点在替换的混合高斯背景模型中的取值概率，执行步骤A2，直至进行降噪处理的当前森林视频图像中的最后一个像素点；

A4，获取最后一个像素点进行取值概率判断后得到的最终混合高斯背景模型，提取最终混合高斯背景模型中的像素点，得到当前森林视频图像对应的背景图像。

本步骤中，由于进行降噪处理的当前森林视频图像中的像素点与混合高斯背景模型中相应位置的像素点相对应。因而，也可以在得到第一个像素点对应的混合高斯背景模型后，按照与第一个像素点处理相同的方法，可以得到进行降噪处理的当前森林视频图像中的每一像素点分别对应的混合高斯背景模型，形成混合高斯背景模型集；提取混合高斯背景模型集中的背景点，得到当前森林视频图像对应的背景图像。

这样，通过混合高斯背景模型处理，对当前森林视频图像进行图像分割处理，在当前森林视频图像的图像分割处理完毕后，将经过像素点更新的混合高斯背景模型作为当前森林视频图像对应的背景图像。

关于设置混合高斯背景模型以及混合高斯背景模型的运算算法，为公知技术，在此略去详述。

步骤103，将当前森林视频图像与该当前森林视频图像对应的背景图像进行差分，得到当前背景差分图像；

本步骤中，在森林视频图像序列中，假设当前森林视频图像为I(x,y,t)，当前森林视频图像对应的背景图像为B(x,y,t)，则当前背景差分图像计算公式为：

D(x,y,t)=|I(x,y,t)-B(x,y,t)| （3）

式中，D(x,y,t)为当前背景差分图像；

(x,y)为像素点在图像中的像素位置信息。

本发明实施例中，为了使得当前背景差分图像中的背景点与前景点在颜色灰度上更容易区别，还可以进一步对当前背景差分图像进行二值化处理。即该方法进一步包括：

获取当前背景差分图像中像素点的像素值，如果获取的像素值超过预先设置的二值化阈值，将该像素点的像素值更新为二值化的烟火对象的像素值；否则，将该像素点的像素值更新为二值化的背景点的像素值。

本步骤中，像素点的像素值即为像素点的灰度值。本发明实施例中，烟火对象的灰度值设置为255，背景点的灰度值设置为0。这样，通过获取当前背景差分图像中像素点的灰度值，如果获取的灰度值超过预先设置的二值化阈值，将当前背景差分图像中该像素点的灰度值更新为255；如果获取的灰度值没有超过预先设置的二值化阈值，将当前背景差分图像中该像素点的灰度值更新为0。举例来说，假设二值化阈值为100，如果获取的当前背景差分图像中像素点的灰度值为120，则将当前背景差分图像中该像素点的灰度值从120更新为255；如果获取的当前背景差分图像中像素点的灰度值为90，则将当前背景差分图像中该像素点的灰度值从90更新为0，从而对当前背景差分图像进行二值化处理。

步骤104，将得到的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息。

本步骤中，作为可选的实施例，将得到的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息具体包括：

B1，将当前背景差分图像与当前帧森林视频图像进行与运算，得到待处理图像；

本步骤中，如前所述，如果对当前背景差分图像进行了二值化处理，则将进行二值化处理后的当前背景差分图像与当前帧森林视频图像进行与运算，得到待处理图像。

B2，获取待处理图像中各像素点的RGB值，计算每一像素点的红颜色值与蓝颜色值的颜色差绝对值；

本步骤中，颜色差绝对值计算公式为：

H=|R-B|

式中，H为颜色差绝对值；

R为像素点的RGB值中的红颜色值；

B为像素点的RGB值中的蓝颜色值。

B3，判断每一像素点的颜色差绝对值是否大于预先设置的检测阈值，如果是，标记该每一像素点为烟火对象的像素点，否则，不作处理；

本步骤中，当像素点的RGB值满足公式（4）时，判定该像素点为烟火对象的像素点，并对该像素点进行标记。

H=|R-B|>thresh （4）

其中，thresh为检测阈值，可以根据现场环境自适应选取或基于历史统计经验值选取。

B4，根据标记为烟火对象的像素点在待处理图像中覆盖的区域，获取烟火对象信息。

本步骤中，根据标记为烟火对象的像素点在待处理图像中覆盖的区域，获取烟火对象信息为公知技术，在此略去详述。

当然，实际应用中，作为另一可选的实施例，将得到的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息可以具体包括：

C1，标记当前背景差分图像中前景点覆盖的区域；

本步骤中，可根据实际需要，通过标记当前背景差分图像中前景点覆盖的区域，可形成一个或多个标记区域。

标记区域可采用包络法获取。

C2，将当前背景差分图像应用于拉普拉斯算子，得到梯度图像；

本步骤中，由于烟火对象轮廓特征相对于背景点的轮廓特征较为清晰，因此，可以采用拉普拉斯算子获得当前背景差分图像的梯度图像，梯度图像中，梯度值越大，表明与烟火对象轮廓特征越匹配，为烟火对象的概率也就越大。当像素点的梯度值小于预先设置的梯度阈值时，可以排除该像素点为烟火对象的像素点的可能。

如前所述，如果对当前背景差分图像进行了二值化处理，则将进行二值化处理后的当前背景差分图像应用于拉普拉斯（Laplace）算子，采用拉普拉斯算子获得二值化处理后的当前背景差分图像的二值化梯度图像。关于拉普拉斯算子及其运算流程为公知技术，在此略去详述。

本发明实施例中，在得到进行二值化处理的当前背景差分图像后，其中，烟火对象的灰度值为255，背景点的灰度值为0。这样，对二值化处理的当前背景差分图像中的白色团块进行区域标记，获得每个白色团块的包络矩形框，并应用于拉普拉斯算子。

C3，统计梯度图像中各标记区域内梯度值小于预先设置的梯度阈值的像素点数量，如果统计的像素点数量大于预先设置的像素点数阈值，标记该标记区域为烟火对象区域；

C4，根据标记的烟火对象区域，获取烟火对象信息。

作为再一可选的实施例，还可以根据预先存储的烟火对象轮廓特征信息，对得到的当前背景差分图像进行轮廓特征匹配，获取当前背景差分图像中与存储的烟火对象轮廓特征信息相匹配的标记区域，标记该匹配的标记区域为烟火对象区域，根据标记的烟火对象区域，获取烟火对象信息。

本发明实施例中，还可以对上述三种获取烟火对象信息方法进行任意组合，从而可以更精确地获取烟火对象信息，提升烟火检测的准确率。

在获取烟火对象信息，即检测出火灾后，进行报警。

较佳地，还可以构建获取的烟火对象信息与当前森林视频图像的映射关系，并存储构建的映射关系。

本发明实施例中，在获取烟火对象信息后，较佳地，该方法还可以进一步包括：

步骤105，对获取的烟火对象信息进行平滑处理；

本步骤中，可以通过图像形态学处理中的开运算和闭运算对烟火对象信息进行平滑处理，从而可以填补烟火对象信息所在区域中的空洞部分，并去除烟火对象信息所在区域中的小杂散点。

步骤106，对进行平滑处理的烟火对象信息进行时间关联，获取关联的烟火对象信息。

本步骤中，作为可选实施例，对于进行平滑处理的烟火对象信息，在时间和空间上对候选烟火对象信息所在区域进行轨迹关联，实现对烟火对象历史运动轨迹的分析，从而更准确地确定出烟火对象信息，提高报警的精确性。

该步骤具体包括：

D1，从存储的森林视频图像序列中，获取首次出现烟火对象信息的森林视频图像；

D2，在获取的森林视频图像中，以烟火对象信息所在的位置为中心，构建以预先设置的半径阈值为半径的候选烟火对象区域；

本步骤中，以首次出现的烟火对象的重心为圆心，将以半径阈值R为半径的区域作为候选烟火对象区域。半径阈值可根据实际需要设置，较佳地，可选取为森林视频图像高度的1/5。

D3，以首次出现烟火对象信息的森林视频图像为初始帧，按时间按顺序，从森林视频图像序列中选取预定帧数的森林视频图像，形成森林视频图像集；

D4，统计森林视频图像集中候选烟火对象区域内具有烟火对象信息的图像帧数；

本步骤中，较佳地，可以采用管道滤波，对森林视频图像集中候选烟火对象区域内具有候选烟火对象（烟火对象信息）的图像帧数进行帧数统计。

D5，如果统计的图像帧数超过预先设置的帧数阈值，确定候选烟火对象区域内存在烟火对象，获取候选烟火对象区域内关联的烟火对象信息。

本步骤中，如果预定帧数设置为50，帧数阈值设置为40，则在连续50帧的森林视频图像中，如果有40帧以上的森林视频图像中存在烟火对象信息，或检测出有烟火对象，则确定该候选烟火对象区域内存在烟火；否则，确定该候选烟火对象区域内不存在烟火。

本发明实施例中，在确定存在烟火后，关联的烟火对象信息可以设置为存在烟火对象信息的多帧森林视频图像中，各烟火对象信息中心的平均值。当然，实际应用中，也可以设置为最后一帧森林视频图像中的烟火对象信息。

由上述可见，本发明实施例森林防火监控方法，对采集的视频图像进行图像预处理，以对采集的视频图像进行降噪；将进行降噪处理的当前森林视频图像应用于预先设置的混合高斯背景模型，得到当前森林视频图像对应的背景图像，进而将当前森林视频图像与背景图像进行差分处理，得到当前背景差分图像，并应用于预先设置的烟火对象检测算法，获取烟火对象信息，并从时间和空间上关联烟火对象信息，从而确定是否有火警。这样，通过对大量视频图像进行仿真实验得到相关参数，设置自动识别烟火对象的算法，从而能够将森林视频图像中烟火对象与烟火对象颜色相同或相似的景物区别开，虚警率较低，健壮性较好。可以降低森林防火监控的虚警率，提高森林防火监控的鲁棒性。

本发明实施例的森林防火监控方法，其图像信号处理器硬件平台可以为工控机。同时，本发明实施例提出的烟火对象检测算法可采用VC语言编程实现。

图2为本发明实施例森林防火监控系统结构示意图。参见图2，该系统包括：摄像头、混合高斯背景模型运算器、差分处理器以及烟火对象检测器。

摄像头，用于采集当前森林视频图像；

混合高斯背景模型运算器，用于获取采集的当前森林视频图像，并将获取的当前森林视频图像应用于预先设置的混合高斯背景模型，得到当前森林视频图像对应的背景图像；

差分处理器，用于将当前森林视频图像与该当前森林视频图像对应的背景图像进行差分，得到当前背景差分图像；

烟火对象检测器，用于将得到的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息。

混合高斯背景模型运算器包括：取值概率计算模块、判断模块、像素点计数模块以及背景图像生成模块（图中未示出）。

取值概率计算模块，用于将进行降噪处理的当前森林视频图像中的像素点应用于预先设置的混合高斯背景模型，得到该像素点在混合高斯背景模型中的取值概率；

判断模块，用于计算每一单高斯模型中概率权重与协方差的比值，将混合高斯背景模型中的每个单高斯模型按照比值进行排序，并且当确定新获取的图像帧的像素与混合高斯模型中的任一单高斯模型分布匹配时，用该像素点替换混合高斯背景模型中对应的像素点；

像素点计数模块，用于对输入判断模块的像素点进行计数，如果计数表明该像素点不为当前森林视频图像中的最后一个像素点，读取当前森林视频图像中的下一个像素点，输出至取值概率计算模块；如果为最后一个像素点，通知背景图像生成模块；

背景图像生成模块，用于根据来自像素点计数模块的通知，提取最终混合高斯背景模型中的像素点，得到当前森林视频图像对应的背景图像。

本发明实施例中，利用下述公式确定所述像素点在混合高斯背景模型中的取值概率：

式中，P(x_t)为时刻t时的当前森林视频图像中的所述像素点在混合高斯背景模型中的取值概率；

x_j为当前森林视频图像中的图像像素j在时刻t时的取值；

为第i个单高斯模型在时刻t取值分布的均值；

K为混合高斯背景模型中的单高斯模型个数；

为时刻t时像素j的混合高斯背景模型中，第i个单高斯模型的概率权重；

为时刻t时的当前森林视频图像中的像素点在第i个单高斯模型中的取值概率。

较佳地，利用下述公式确定所述时刻t时的当前森林视频图像中的像素点在第i个单高斯模型中的取值概率：

式中，u_i,t为第i个单高斯模型在时刻t取值分布的均值；

为第i个单高斯模型在时刻t取值分布的协方差；

d为x_i,t的维数。

烟火对象检测器包括：与运算模块、颜色差绝对值计算模块、标记模块以及烟火对象确定模块。

与运算模块，用于将当前背景差分图像与当前帧森林视频图像进行与运算，得到待处理图像；

颜色差绝对值计算模块，用于获取待处理图像中各像素点的RGB值，计算每一像素点的红颜色值与蓝颜色值的颜色差绝对值；

标记模块，用于判断每一像素点的颜色差绝对值是否大于预先设置的检测阈值，如果是，标记该每一像素点为烟火对象的像素点，否则，不作处理；

烟火对象确定模块，用于根据标记为烟火对象的像素点在待处理图像中覆盖的区域，获取烟火对象信息。

较佳地，该系统还可以进一步包括：

二值化处理器（图中未示出），用于获取当前背景差分图像中像素点的像素值，如果获取的像素值超过预先设置的二值化阈值，将该像素点的像素值更新为二值化的烟火对象的像素值；否则，将该像素点的像素值更新为二值化的背景点的像素值；将更新的当前背景差分图像输出至烟火对象检测器。

较佳地，该系统还可以进一步包括：平滑处理器以及关联处理器（图中未示出）。

平滑处理器，用于采用图像形态学处理中的开运算和闭运算，对获取的烟火对象信息进行平滑处理；

关联处理器，用于对进行平滑处理的烟火对象信息进行时间关联，获取关联的烟火对象信息。

本发明实施例中，关联处理器包括：查询模块、候选烟火对象区域构建模块、森林视频图像集生成模块、图像帧数统计模块以及关联模块。

查询模块，用于从存储的森林视频图像序列中，获取首次出现烟火对象信息的森林视频图像；

候选烟火对象区域构建模块，用于在获取的森林视频图像中，以烟火对象信息所在的位置为中心，构建以预先设置的半径阈值为半径的候选烟火对象区域；

森林视频图像集生成模块，用于以首次出现烟火对象信息的森林视频图像为初始帧，按时间按顺序，从森林视频图像序列中选取预定帧数的森林视频图像，形成森林视频图像集；

图像帧数统计模块，用于统计森林视频图像集中候选烟火对象区域内具有烟火对象信息的图像帧数；

关联模块，用于判断统计的图像帧数是否超过预先设置的帧数阈值，如果确定候选烟火对象区域内存在烟火对象，获取候选烟火对象区域内关联的烟火对象信息。

实际应用中，该系统还可以进一步包括：

火警信息服务器，用于存储关联的烟火对象信息发生的时间、地点，以便于监控人员进行研究分析，从而采取相应措施降低火灾发生概率。

声光报警器，用于在获取关联的烟火对象信息后，进行声光报警，从而防止监控人员因为没有监控服务器，从而不知道有火情发生。

显然，本领域技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。

Claims (17)

1.一种森林防火监控方法，该方法包括：

获取采集的当前森林视频图像，并将获取的当前森林视频图像应用于预先设置的混合高斯背景模型，生成当前森林视频图像对应的背景图像；

将当前森林视频图像与该当前森林视频图像对应的背景图像进行差分，生成当前背景差分图像；

将生成的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息；

对获取的烟火对象信息进行平滑处理；

对进行平滑处理的烟火对象信息进行时间关联，获取关联的烟火对象信息，包括：D1，从存储的森林视频图像序列中，获取首次出现烟火对象信息的森林视频图像；

D2，在获取的森林视频图像中，以烟火对象信息所在的位置为中心，构建以预先设置的半径阈值为半径的候选烟火对象区域；

D3，以首次出现烟火对象信息的森林视频图像为初始帧，按时间按顺序，从森林视频图像序列中选取预定帧数的森林视频图像，形成森林视频图像集；

D4，统计森林视频图像集中候选烟火对象区域内具有烟火对象信息的图像帧数；

D5，当确定统计的图像帧数超过预先设置的帧数阈值时，确定候选烟火对象区域内存在烟火对象，获取候选烟火对象区域内关联的烟火对象信息。

2.根据权利要求1所述的方法，其中，所述将获取的当前森林视频图像应用于预先设置的混合高斯背景模型，生成当前森林视频图像对应的背景图像包括：对于当前森林视频图像中的每一个像素点，将像素点应用于预先设置的混合高斯背景模型，得到该像素点在混合高斯背景模型中的取值概率，计算每一单高斯模型中概率权重与协方差的比值，将混合高斯背景模型中的每个单高斯模型按照比值进行排序，并且当确定新获取的图像帧的像素与混合高斯模型中的任一单高斯模型分布匹配时，用该像素点替换混合高斯背景模型中对应的像素点作为当前混合高斯背景模型；提取当前混合高斯背景模型中的像素点，生成当前森林视频图像对应的背景图像。

3.根据权利要求2所述的方法，其中，利用下述公式确定所述像素点在混合高斯背景模型中的取值概率：

$\begin{array}{cc}P\left(x_j\right)=\underset{i=1}{\overset{K}{\Σ}}{\mathrm{\ω}}_{j,t}^i\mathrm{\η}(x_j,u_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)& 1\≤i\≤K\end{array}$

式中，P(x_t)为时刻t时的当前森林视频图像中的所述像素点在混合高斯背景模型中的取值概率；x_j为当前森林视频图像中的图像像素j在时刻t时的取值；为第i个单高斯模型在时刻t取值分布的均值；K为混合高斯背景模型中的单高斯模型个数；为时刻t时像素j的混合高斯背景模型中，第i个单高斯模型的概率权重；为时刻t时的当前森林视频图像中的像素点在第i个单高斯模型中的取值概率。

4.根据权利要求3所述的方法，其中，利用下述公式确定所述时刻t时的当前森林视频图像中的像素点在第i个单高斯模型中的取值概率：

$\mathrm{\η}(x_j,{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{d}{2}}\left|{\mathrm{\Σ}}_{j,t}^i\right|\frac{1}{2}}\exp \[-\frac{1}{2}{(x_j-{\mathrm{\μ}}_{j,t}^i)}^T{\left({\mathrm{\Σ}}_{j,t}^i\right)}^{-1}(x_j-{\mathrm{\μ}}_{j,t}^i)\]$

式中，为第i个单高斯模型在时刻t取值分布的均值；为第i个单高斯模型在时刻t取值分布的协方差；d为x_i,t的维数。

5.根据权利要求4所述的方法，其中，利用下述公式确定所述新获取的图像帧的像素与混合高斯模型中的任一单高斯模型分布匹配：

$|x_{j,i+1}-{\mathrm{\μ}}_{j,t}^i|\≤\mathrm{\δ}\·{\mathrm{\σ}}_{j,t}^i$

式中，x_j,i+1为新获取的图像帧的像素在时刻t时第i个单高斯模型中的取值；

δ为匹配阈值。

6.根据权利要求1所述的方法，其中，利用下述公式确定所述当前背景差分图像：

D(x,y,t)＝|I(x,y,t)-B(x,y,t)|

式中，D(x,y,t)为当前背景差分图像；

(x,y)为像素点在图像中的像素位置信息。

7.根据权利要求1至6任一项所述的方法，其中，所述方法进一步包括：

获取当前背景差分图像中像素点的像素值，如果获取的像素值超过预先设置的二值化阈值，将该像素点的像素值更新为二值化的烟火对象的像素值；否则，将该像素点的像素值更新为二值化的背景点的像素值。

8.根据权利要求7所述的方法，其中，所述将生成的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息具体包括：

B1，将当前背景差分图像与当前帧森林视频图像进行与运算，得到待处理图像；

B2，获取待处理图像中各像素点的RGB值，计算每一像素点的红颜色值与蓝颜色值的颜色差绝对值；

B3，当确定每一像素点的颜色差绝对值大于预先设置的检测阈值时，标记该每一像素点为烟火对象的像素点；

B4，根据标记为烟火对象的像素点在待处理图像中覆盖的区域，获取烟火对象信息。

9.根据权利要求7所述的方法，其中，所述将生成的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息具体包括：

C1，标记当前背景差分图像中前景点覆盖的区域；

C2，将当前背景差分图像应用于拉普拉斯算子，得到梯度图像；

C3，统计梯度图像中各标记区域内梯度值小于预先设置的梯度阈值的像素点数量，当确定统计的像素点数量大于预先设置的像素点数阈值时，标记该标记区域为烟火对象区域；

C4，根据标记的烟火对象区域，获取烟火对象信息。

10.根据权利要求7所述的方法，其中，所述将生成的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息具体包括：

根据预先存储的烟火对象轮廓特征信息，对得到的当前背景差分图像进行轮廓特征匹配，获取当前背景差分图像中与存储的烟火对象轮廓特征信息相匹配的标记区域，标记该匹配的标记区域为烟火对象区域，根据标记的烟火对象区域，获取烟火对象信息。

11.根据权利要求1所述的方法，其中，采用图像形态学处理中的开运算和闭运算进行所述平滑处理。

12.根据权利要求1所述的方法，其中，采用管道滤波进行所述统计森林视频图像集中候选烟火对象区域内具有烟火对象信息的图像帧数。

13.根据权利要求7所述的方法，其中，在所述获取采集的当前森林视频图像之后，并将获取的当前森林视频图像应用于预先设置的混合高斯背景模型之前，所述方法进一步包括：

采用中值滤波算法或，对获取的当前森林视频图像进行降噪处理；或

对获取的森林视频图像进行行中值滤波，然后，对进行行中值滤波的森林视频图像再进行列中值滤波。

14.一种森林防火监控系统，其特征在于，该系统包括：摄像头、混合高斯背景模型运算器、差分处理器以及烟火对象检测器；

摄像头，用于采集当前森林视频图像；

混合高斯背景模型运算器，用于获取采集的当前森林视频图像，并将获取的当前森林视频图像应用于预先设置的混合高斯背景模型，生成当前森林视频图像对应的背景图像；

差分处理器，用于将当前森林视频图像与该当前森林视频图像对应的背景图像进行差分，生成当前背景差分图像；

烟火对象检测器，用于将生成的当前背景差分图像应用于预先设置的烟火对象检测算法，获取烟火对象信息；

平滑处理器，用于采用图像形态学处理中的开运算和闭运算，对获取的烟火对象信息进行平滑处理；

关联处理器，用于对进行平滑处理的烟火对象信息进行时间关联，获取关联的烟火对象信息；

其中，所述关联处理器包括：查询模块、候选烟火对象区域构建模块、森林视频图像集生成模块、图像帧数统计模块以及关联模块；

查询模块，用于从存储的森林视频图像序列中，获取首次出现烟火对象信息的森林视频图像；

候选烟火对象区域构建模块，用于在获取的森林视频图像中，以烟火对象信息所在的位置为中心，构建以预先设置的半径阈值为半径的候选烟火对象区域；

森林视频图像集生成模块，用于以首次出现烟火对象信息的森林视频图像为初始帧，按时间按顺序，从森林视频图像序列中选取预定帧数的森林视频图像，形成森林视频图像集；

图像帧数统计模块，用于统计森林视频图像集中候选烟火对象区域内具有烟火对象信息的图像帧数；

关联模块，用于判断统计的图像帧数是否超过预先设置的帧数阈值，如果确定候选烟火对象区域内存在烟火对象，获取候选烟火对象区域内关联的烟火对象信息。

15.根据权利要求14所述的系统，其特征在于，所述混合高斯背景模型运算器包括：取值概率计算模块、判断模块、像素点计数模块以及背景图像生成模块；

取值概率计算模块，用于将当前森林视频图像中的像素点应用于预先设置的混合高斯背景模型，得到该像素点在混合高斯背景模型中的取值概率；

判断模块，用于计算每一单高斯模型中概率权重与协方差的比值，将混合高斯背景模型中的每个单高斯模型按照比值进行排序，并且当确定新获取的图像帧的像素与混合高斯模型中的任一单高斯模型分布匹配时，用该像素点替换混合高斯背景模型中对应的像素点作为当前混合高斯背景模型；

像素点计数模块，用于判断输入判断模块的像素点是否为当前森林视频图像中的最后一个像素点，如果否，依序读取当前森林视频图像中的下一个像素点，输出至取值概率计算模块；如果是，通知背景图像生成模块；

背景图像生成模块，用于根据来自像素点计数模块的通知，提取当前混合高斯背景模型中的像素点，生成当前森林视频图像对应的背景图像。

16.根据权利要求14所述的系统，其特征在于，所述烟火对象检测器包括：与运算模块、颜色差绝对值计算模块、标记模块以及烟火对象确定模块；

与运算模块，用于将当前背景差分图像与当前帧森林视频图像进行与运算，得到待处理图像；

颜色差绝对值计算模块，用于获取待处理图像中各像素点的RGB值，计算每一像素点的红颜色值与蓝颜色值的颜色差绝对值；

标记模块，用于当确定每一像素点的颜色差绝对值是否大于预先设置的检测阈值时，标记该每一像素点为烟火对象的像素点；

烟火对象确定模块，用于根据标记为烟火对象的像素点在待处理图像中覆盖的区域，获取烟火对象信息。

17.根据权利要求14至16任一项所述的系统，其特征在于，进一步包括：

二值化处理器，用于获取当前背景差分图像中像素点的像素值，如果获取的像素值超过预先设置的二值化阈值，将该像素点的像素值更新为二值化的烟火对象的像素值；否则，将该像素点的像素值更新为二值化的背景点的像素值；将更新的当前背景差分图像输出至烟火对象检测器。