CN110084160B - 一种基于运动和亮度显著性特征的视频森林烟火检测方法 - Google Patents

Abstract

本发明公开了一种基于运动和亮度显著性特征的视频森林烟火检测方法，包括读入原视频；将原视频图像转换成灰度图，按X‑Y‑T方向将连续帧图像重新整合，采用ROSL算法以及全局显著性算法得到全局显著性运动区域；采用运动显著性算法得到运动显著性运动区域；提取亮度显著性运动区域；计算显著性均值得到最终显著性区域显著特征值；基于得到的最终显著性区域显著特征值，采用组稀疏背景检测算法，得到视频显著性前景区域；提取得到的视频显著性前景区域的LBP特征，采用SVM分类器进行分类识别。本发明通过亮度和运动显著性算法，一方面去除了森林中非显著性运动目标干扰，另一方面将烟火区域从视频中分割出来，提高了烟火检测的正确率。

Description

一种基于运动和亮度显著性特征的视频森林烟火检测方法

技术领域

本发明属于视频图像处理领域，涉及一种基于运动和亮度显著性特征的视频森林烟火检测方法。

背景技术

森林火灾检测与预防对生命财产保护起着重要的作用，燃烟作为早期烟火，对其的检测能更早的发现火灾警情并进行预防。视频图像检测方法能实时提供烟火位置，范围浓度等重要信息，因此在森林烟火检测中得到广泛应用。视频图像烟火检测系统主要依赖于对运动目标的特征提取与识别，通过背景减除将前景分离，然而在森林环境中这种方法对非显著性运动目标同样敏感，例如水波，晃动的树木以及由于摄像机抖动带来的非显著性前景区域，这些运动区域的特征提取与检测不仅会带来干扰增加误检，且影响实时性，降低了烟火检测效率。

基于以上考虑，本发明提出了一种基于运动和亮度显著性特征的视频森林烟火测方法。该方法基于全局显著性，运动以及亮度显著性算法，得到显著性前景区域，并采用自适应归一化参数和组稀疏算法得到显著性前景。提取显著性前景的LBP特征，采用SVM分类器识别待检测烟火区域。

发明内容

发明目的：本发明提供了一种基于运动和亮度显著性特征的视频森林烟火检测方法，减少了森林中非显著性运动目标对于烟火检测的干扰，提高了烟火检测的效率和准确性。

技术方案：为实现上述发明目的，本发明采用以下技术方案：

一种基于运动和亮度显著性特征的视频森林烟火检测方法，该方法包括以下步骤：

(1)读入原视频，视频由T帧图像序列组成，每帧图像的大小为M×N×3；

(2)将原视频图像转换成灰度图，按X-Y-T方向将连续帧图像重新整合为M×N行T列矩阵，采用ROSL鲁棒正交子空间学习算法以及全局显著性算法得到全局显著性运动区域；

(3)结合步骤(2)得到的X-Y-T方向上的全局显著性运动区域，采用运动显著性算法得到运动显著性运动区域；

(4)根据人类视觉对亮度的敏感程度条件，提取亮度显著性运动区域；

(5)基于全局显著性，运动显著性以及亮度显著性，计算得到最终显著性区域显著值；

(6)基于得到的最终显著性区域显著值，采用组稀疏背景检测算法，得到视频显著性前景区域；

(7)提取得到的视频显著性前景区域的LBP局部二值模式特征，采用SVM分类器进行分类识别。

进一步的，步骤(2)包括以下步骤：

(21)将原视频图像转换成灰度图，按X-Y-T方向将连续帧图像重新整合为M×N行T列矩阵；

(22)采用ROSL算法得到备选运动区域：

其中，_X为M×N行T列矩阵，E为前景，B为提取的背景，k取1表示视频只有一个背景图像，在矩阵中表示背景序列的矩阵秩为1；D为标准正交矩阵，α为系数矩阵；

(23)针对上述步骤中得到的备选运动区域，为得到全局显著性运动区域，除保留较大像素外，较小像素采用基于高斯分布的全局显著性算法进行过滤：

其中，E(i,j,t)为备选运动区域(i,j,t)处像素值，较小像素区域图像像素值满足

Th_global为较小像素区域阈值，μ_global为较小像素区域像素均值，σ_global为较小像素区域像素方差。

进一步的，步骤(3)包括以下步骤：

(31)将原视频图像转换成灰度图，按X-T-Y方向和Y-T-X方向分别将连续帧图像重新整合为M×T行N列矩阵以及N×T行M列矩阵，采用ROSL算法分别得到两个方向上的运动前景S_X-T和S_Y-T；则初始运动显著性运动区域定义为：

(32)烟雾通常运动缓慢，在烟火区域中存在距离较近像素值相似的点，这些点在连续帧中会失去运动显著性，为了将这些点保留在显著性运动区域中，减小对运动目标提取与检测的影响，结合这些点的空间信息，并利用高斯函数召回这些点，该算法公式如下：

其中，τ表示以像素点p(i,j,t)为中心所选相邻区域的半径，p(x,y,t)为所选相邻区域像素值组矩阵；||·||₂为l₂范数，

为高斯函数；

(33)采用遵循人类视觉条件的运动显著性算法进一步过滤运动显著性运动区域，其具体计算为：

其中，Th_m为阈值，Th_m＝μ_m+σ_m为运动显著性运动区域均值与方差之和，T_size＝(M×N)/1500表示运动显著性反映在空间尺寸上应至少满足这一条件。

进一步的，步骤(4)中将原彩色图像RGB颜色空间转化为Lab颜色空间，颜色模型Lab基于人对颜色的感觉，Lab色彩模型是由亮度L和有关色彩的a，b三个要素组成，其中L为亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围；

将亮度值在L＝80～H＝220范围内的像素进行增强，增加与其他亮度的对比度，将该范围亮度值重置到L^*＝0～H^*＝255，该算法计算如下：

其中，l(x,y)为增强后的位置(x,y)处的亮度值，g(x,y)为原亮度值；指数γ决定了增强后的亮度分布，随着γ的增加，较暗区域与灰白亮度的烟雾对比度越强；亮度显著性条件应满足人类视觉敏感度以及空间尺度条件：

其中，l(i,j,t)为亮度显著性运动区域(i,j,t)处亮度值，Th_l为阈值，Th_l＝μ_l+σ_l表示亮度显著性区域亮度显著性均值与方差之和，T_size＝(M×N)/1500表示亮度显著性反映在空间尺寸上应至少满足这一条件。

进一步的，步骤(5)基于步骤2至4，分别得到各全局显著性运动区域中所包含的运动显著性运动区域显著值S_m以及亮度显著性运动区域显著值S_l，则该最终显著性运动区域的显著值由运动显著值及亮度显著值的和S＝S_m+S_l决定；同样需满足高斯分布条件与空间尺度条件：

其中，S(i,j,t)为显著性运动区域(i,j,t)最终显著性值，Th为阈值，Th＝μ+σ表示显著性运动区域显著性均值与方差之和，T_size＝(M×N)/1500表示最终显著性反映在空间尺寸上应至少满足这一条件。

进一步的，步骤(6)包括以下步骤：

(61)基于最终显著性区域显著值得到自适应归一化参数：

其中，

为第i个最终显著性区域显著值，

为所有显著性运动区域中不为零的最小显著性值；

(62)组稀疏ROSL(Group Sparse ROSL)算法得到显著性前景：

其中，_X为M×N行T列矩阵，S为前景，B为提取的背景，k取1表示视频只有一个背景图像，在矩阵中表示背景序列的矩阵秩为1；D为标准正交矩阵，α为系数矩阵；||·||_F为Frobenius范数，Φ(S_i)是第i个区域的组稀疏矩阵，采用组软阈值方法解决关于组稀疏矩阵的优化问题，组软阈值表达为：

其中，ε_i＝1e-10。

进一步的，步骤(7)中采用预先收集的烟火和非烟火图像数据集训练SVM分类器，特征采用LBP特征，进一步的，将该分类器用于识别待检测视频的显著性前景区域；其具体步骤为：

(71)收集烟火和非烟图像数据集，将图像灰度化并归一化图像大小为64*64；提取图像LBP特征，将提取的烟火和非烟图像LBP特征向量分别作为正负样本集；

(72)将正负样本以及对应标签y_i∈{+1,-1}作为输入样本集S＝{(x_i,y_i)|i＝1,2,...,n}来训练SVM分类器，i表示第i个样本，x_i为第i个样本的LBP特征向量；由于x_i是多维向量线性不可分，因此采用高斯核函数将其映射到高维空间使其线性可分；最后训练得到识别烟火和非烟的分类模型；

(73)将步骤(6)得到的每个视频图像前景区域归一化为64*64大小的灰度图像，提取该区域的LBP特征，采用训练好的SVM分类器分类识别每个前景区域是否为烟火区域。

有益效果：与现有方法相比，本发明具有如下优点：

1、本发明基于人类视觉机制，首先采用全局显著性算法得到初始显著性运动区域。

2、本发明考虑了视频帧在X-T-Y以及Y-T-X方向的运动显著性以及烟火的亮度显著性特征，基于全局显著性区域，得到区域的显著性特征值，并计算得到自适应归一化参数。

3、本发明采用自适应归一化参数组稀疏ROSL背景减除与前景分割算法，得到显著性待检测烟火区域，该方法减少了森林中非显著性运动目标的干扰，提高了烟火检测的效率和准确率。

附图说明

图1为基于运动和亮度显著性特征的视频森林烟火检测方法流程图；

图2显著性视频森林烟火分割效果图；

图3为显著性视频烟火检测效果图。

具体实施方式

下面结合说明书附图和实例，清楚、完整地描述本发明方法的详细过程。

应理解下述实施例仅用于说明本发明技术方案的具体实施方式，而不用于限制本发明的范围。在阅读了本发明之后，本领域技术人员对本发明的各种等同形式的修改和替换均落于本申请权利要求所限定的保护范围。

如图1所示，一种基于运动和亮度显著性特征的视频森林烟火检测方法，包括以下步骤：

步骤1：读入原视频，原视频由T帧图像序列组成，每帧图像的大小为M×N×3；

步骤2：将原视频图像转换成灰度图，按X-Y-T方向将连续帧图像重新整合为M×N行T列矩阵，采用ROSL(Robust Orthonormal Subspace Learning，鲁棒正交子空间学习)算法以及全局显著性算法得到全局显著性运动区域。

采用ROSL(Robust Orthonormal Subspace Learning，鲁棒正交子空间学习)算法得到备选运动区域。由于人类视觉只对较大像素以及目标区域中符合高斯分布的较小像素敏感，因此采用遵循人类视觉条件的全局显著性算法可以得到全局显著性运动区域，其具体计算如下：

步骤201：将原视频图像转换成灰度图，按X-Y-T方向将连续帧图像重新整合为M×N行T列矩阵；

步骤202：采用ROSL算法得到备选运动区域：

其中，X为M×N行T列矩阵，E为前景，B为提取的背景，k取1表示视频只有一个背景图像，在矩阵中表示背景序列的矩阵秩为1；D为标准正交矩阵，α为系数矩阵；

步骤203：针对上述步骤中得到的备选运动区域，为得到全局显著性运动区域，除保留较大像素外，较小像素采用基于高斯分布的全局显著性算法进行过滤：

其中，E(i,j,t)为备选运动区域(i,j,t)处像素值，较小像素区域图像像素值满足

Th_global为较小像素区域阈值，μ_global为较小像素区域像素均值，σ_global为较小像素区域像素方差。

步骤3：采用运动显著性算法得到运动显著性运动区域。

基于不同方向的运动特征，采用运动显著性算法得到运动显著性运动区域。具体步骤如下：

步骤301：将原视频图像转换成灰度图，按X-T-Y方向和Y-T-X方向分别将连续帧图像重新整合为M×T行N列矩阵以及N×T行M列矩阵，采用ROSL算法分别得到两个方向上的运动前景S_X-T和S_Y-T；则初始运动显著性运动区域定义为：

步骤302：烟雾通常运动缓慢，在烟火区域中存在距离较近像素值相似的点，这些点在连续帧中会失去运动显著性，为了将这些点保留在显著性运动区域中，减小对运动目标提取与检测的影响，结合这些点的空间信息，并利用高斯函数召回这些点，该算法如下：

其中，τ表示以像素点p(i,j,t)为中心所选相邻区域的半径，p(x,y,t)为所选相邻区域像素值组矩阵；||·||₂为l₂范数，

为高斯函数；

步骤303：采用遵循人类视觉条件的运动显著性算法进一步过滤运动显著性运动区域，其具体计算为：

其中，Th_m为阈值，Th_m＝μ_m+σ_m即运动显著性运动区域均值与方差之和，T_size＝(M×N)/1500表示运动显著性反映在空间尺寸上应至少满足这一条件。

步骤4：根据对亮度的敏感程度条件，提取亮度显著性运动区域。

早期烟火，燃烟总是发生在火之前，因烟雾成分有较弱的光吸收，因此主要呈现灰白色。以亮度特征为主要特征，采用亮度显著性算法得到亮度显著的烟火区域，过滤掉森林中诸如树木，阴影等亮度非显著的动态目标。将亮度值在L＝80～H＝220范围内的像素进行增强，增加与其他亮度的对比度，将该范围亮度值重置到L^*＝0～H^*＝255。步骤4中将原彩色图像RGB颜色空间转化为Lab颜色空间，颜色模型Lab基于人对颜色的感觉，Lab色彩模型是由亮度L和有关色彩的a，b三个要素组成，其中L为亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围；

将亮度值在L＝80～H＝220范围内的像素进行增强，增加与其他亮度的对比度，将该范围亮度值重置到L^*＝0～H^*＝255，该算法计算如下：

其中，l(x,y)为增强后的位置(x,y)处的亮度值，g(x,y)为原亮度值；指数γ决定了增强后的亮度分布，随着γ的增加，较暗区域与灰白亮度的烟雾对比度越强；亮度显著性条件应满足人类视觉敏感度以及空间尺度条件：

其中，l(i,j,t)为亮度显著性运动区域(i,j,t)处亮度值，Th_l为阈值，Th_l＝μ_l+σ_l表示亮度显著性区域亮度显著性均值与方差之和，T_size＝(M×N)/1500表示亮度显著性反映在空间尺寸上应至少满足这一条件。

步骤5：基于全局显著性，运动显著性以及亮度显著性，计算得到最终显著性区域显著值。

基于步骤2至4，分别得到各全局显著性运动区域中所包含的运动显著性运动区域显著值S_m以及亮度显著性运动区域显著值S_l，则该最终显著性运动区域的显著值由运动显著值及亮度显著值的和S＝S_m+S_l决定；同样需满足高斯分布条件与空间尺度条件：

其中，S(i,j,t)为显著性运动区域(i,j,t)最终显著性值，Th为阈值，Th＝μ+σ表示显著性运动区域显著性均值与方差之和，T_size＝(M×N)/1500表示最终显著性反映在空间尺寸上应至少满足这一条件。

步骤6：基于得到的显著性区域显著特征值，采用组稀疏背景检测算法，得到视频显著性前景区域。

与步骤2采用ROSL算法相似，区别在于提取前景区域采用基于显著性值得归一化参数。步骤6包括以下步骤：

步骤601：基于最终显著性值得到自适应归一化参数：

其中，

为第i个显著性区域的显著性值，

为所有显著性运动区域中不为零的最小显著性值；

步骤602：组稀疏ROSL(Group Sparse ROSL)算法得到显著性前景：

其中，_X为M×N行T列矩阵，S为前景，B为提取的背景，k取1表示视频只有一个背景图像，在矩阵中表示背景序列的矩阵秩为1；D为标准正交矩阵，α为系数矩阵；||·||_F为Frobenius范数，Φ(S_i)是第i个区域的组稀疏矩阵，采用组软阈值方法解决关于组稀疏矩阵的优化问题，组软阈值表达为：

其中，ε_i＝1e-10。

步骤7：提取得到的视频显著性前景区域的LBP(Local Binary Pattern，局部二值模式)特征，采用SVM分类器进行分类识别。

采用预先收集的烟火和非烟火图像数据集训练SVM分类器，特征采用LBP特征。进一步的，将该分类器用于识别待检测视频的显著性前景区域。其具体步骤为：

步骤701：收集烟火和非烟图像数据集，将图像灰度化并归一化图像大小为64*64。提取图像LBP特征，将提取的烟火和非烟图像LBP特征向量分别作为正负样本集；

步骤702：将正负样本以及对应标签y_i∈{+1,-1}作为输入样本集S＝{(x_i,y_i)|i＝1,2,...,n}来训练SVM分类器，i表示第i个样本，x_i为第i个样本的LBP特征向量。由于x_i是多维向量线性不可分，因此采用高斯核函数将其映射到高维空间使其线性可分。最后训练得到识别烟火和非烟的分类模型。

步骤703：将步骤6得到的每个视频图像前景区域归一化为64*64大小的灰度图像，提取该区域的LBP特征，采用训练好的SVM分类器分类识别每个前景区域是否为烟火区域。

本发明一种基于运动和亮度显著性特征的视频森林烟火检测的应用实验中，对大量实际森林场景中的烟火视频进行了测试，场景中存在树木晃动以及摄像机抖动等干扰因素。图2第一行为原视频图片，第二行是最终显著性视频森林烟火分割效果，可以看出本发明方法可以过滤大部分非显著性运动区域，得到显著的烟火区域。图3(a)、(b)、(c)为三个不同场景下基于显著性运动区域LBP特征性提取的烟火识别结果，图中方框为识别的烟火区域。可以看出，利用本发明的方法可以高效准确的识别出场景中的烟火。

Claims (3)

1.一种基于运动和亮度显著性特征的视频森林烟火检测方法，其特征在于，该方法包括以下步骤：

(1)读入原视频，视频由T帧图像序列组成，每帧图像的大小为M×N×3；

(2)将原视频图像转换成灰度图，按X-Y-T方向将连续帧图像重新整合为M×N行T列矩阵，采用ROSL鲁棒正交子空间学习算法以及全局显著性算法得到全局显著性运动区域；具体的：

(21)将原视频图像转换成灰度图，按X-Y-T方向将连续帧图像重新整合为M×N行T列矩阵；

(22)采用ROSL算法得到备选运动区域：

s.t.X＝B+E,B＝Dα,D^TD＝I_k；

其中，X为M×N行T列矩阵，E为前景，B为提取的背景，k取1表示视频只有一个背景图像，在矩阵中表示背景序列的矩阵秩为1；D为标准正交矩阵，α为系数矩阵；

(23)针对上述步骤中得到的备选运动区域，为得到全局显著性运动区域，除保留较大像素外，较小像素采用基于高斯分布的全局显著性算法进行过滤：

s.t.Th_global＝μ_global+2σ_global；

其中，E(i,j,t)为备选运动区域(i,j,t)处像素值，较小像素区域图像像素值满足

Th_global为较小像素区域阈值，μ_global为较小像素区域像素均值，σ_global为较小像素区域像素方差；

(3)结合步骤(2)得到的X-Y-T方向上的全局显著性运动区域，采用运动显著性算法得到运动显著性运动区域；具体的：

(31)将原视频图像转换成灰度图，按X-T-Y方向和Y-T-X方向分别将连续帧图像重新整合为M×T行N列矩阵以及N×T行M列矩阵，采用ROSL算法分别得到两个方向上的运动前景S_X-T和S_Y-T；则初始运动显著性运动区域定义为：

(32)在烟火区域中存在距离较近像素值相似的点，这些点在连续帧中会失去运动显著性，为了将这些点保留在显著性运动区域中，减小对运动目标提取与检测的影响，结合这些点的空间信息，并利用高斯函数召回这些点，算法公式如下：

其中，τ表示以像素点p(i,j,t)为中心所选相邻区域的半径，p(x,y,t)为所选相邻区域像素值组矩阵；||·||₂为l₂范数，

为高斯函数；

(33)采用遵循人类视觉条件的运动显著 性算法进一步过滤运动显著性运动区域，其具体计算为：

其中，Th_m为阈值，Th_m＝μ_m+σ_m为运动显著性运动区域均值与方差之和，T_size＝(M×N)/1500表示运动显著性反映在空间尺寸上应至少满足这一条件；

(4)根据人类视觉对亮度的敏感程度条件，提取亮度显著性运动区域；具体的：

将原彩色图像RGB颜色空间转化为Lab颜色空间，颜色模型Lab基于人对颜色的感觉，Lab色彩模型是由亮度L和有关色彩的a，b三个要素组成，其中L为亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围；

将亮度值在L_L＝80～L_H＝220范围内的像素进行增强，增加与其他亮度的对比度，将该范围亮度值重置到L_L ^*＝0～L_H ^*＝255，算法计算如下：

其中，l(i,j)为增强后的位置(i,j)处的亮度值，g(i,j)为原亮度值；指数γ决定了增强后的亮度分布，随着γ的增加，较暗区域与灰白亮度的烟雾对比度越强；亮度显著性条件应满足人类视觉敏感度以及空间尺度条件：

其中，l(i,j,t)为亮度显著性运动区域(i,j,t)处亮度值，Th_l为阈值，Th_l＝μ_l+σ_l表示亮度显著性区域亮度显著性均值与方差之和，T_size＝(M×N)/1500表示亮度显著性反映在空间尺寸上应至少满足这一条件；

(5)基于全局显著性，运动显著性以及亮度显著性，计算得到最终显著性区域显著值；具体的：

基于步骤(2)至(4)，分别得到各全局显著性运动区域中所包含的运动显著性运动区域显著值S_m以及亮度显著性运动区域显著值S_l，则该最终显著性运动区域的显著值由运动显著值及亮度显著值的和S＝S_m+S_l决定；同样需满足高斯分布条件与空间尺度条件：

其中，S(i,j,t)为显著性运动区域(i,j,t)最终显著性值，Th为阈值，Th＝μ+σ表示显著性运动区域显著性均值与方差之和，T_size＝(M×N)/1500表示最终显著性反映在空间尺寸上应至少满足这一条件；

(6)基于得到的最终显著性区域显著值，采用组稀疏背景检测算法，得到视频显著性前景区域；

(7)提取得到的视频显著性前景区域的LBP局部二值模式特征，采用SVM分类器进行分类识别。

2.根据权利要求1所述的一种基于运动和亮度显著性特征的视频森林烟火检测方法，其特征在于，步骤(6)包括以下步骤：

(61)基于最终显著性区域显著值得到自适应归一化参数：

其中，S_θ为第θ个最终显著性区域显著值，S_min为所有显著性运动区域中不为零的最小显著性值；

(62)组稀疏ROSL(Group Sparse ROSL)算法得到显著性前景：

s.t.X＝B+S,B＝Dα,D^TD＝I_k；

其中，X为M×N行T列矩阵，S为前景，B为提取的背景，k取1表示视频只有一个背景图像，在矩阵中表示背景序列的矩阵秩为1；D为标准正交矩阵，α为系数矩阵；||·||_F为Frobenius范数，Φ(S_θ)是第θ个区域的组稀疏矩阵，采用组软阈值方法解决关于组稀疏矩阵的优化问题，组软阈值表达为：

其中，ε_θ＝1e-10。

3.根据权利要求1所述的一种基于运动和亮度显著性特征的视频森林烟火检测方法，其特征在于，步骤(7)中采用预先收集的烟火和非烟火图像数据集训练SVM分类器，特征采用LBP特征，进一步的，将该分类器用于识别待检测视频的显著性前景区域；其具体步骤为：

(71)收集烟火和非烟图像数据集，将图像灰度化并归一化图像大小为64*64；提取图像LBP特征，将提取的烟火和非烟图像LBP特征向量分别作为正负样本集；

(72)将正负样本以及对应标签y_i∈{+1,-1}作为输入样本集S＝{(x_i,y_i)|i＝1,2,...,n}来训练SVM分类器，i表示第i个样本，x_i为第i个样本的LBP特征向量；由于x_i是多维向量线性不可分，因此采用高斯核函数将其映射到高维空间使其线性可分；最后训练得到识别烟火和非烟的分类模型；

(73)将步骤(6)得到的每个视频图像前景区域归一化为64*64大小的灰度图像，提取该区域的LBP特征，采用训练好的SVM分类器分类识别每个前景区域是否为烟火区域。

Images