CN108921215A - 一种基于局部极值共生模式和能量分析的烟雾检测 - Google Patents

Abstract

本文针对烟雾稀薄的场景下提出一种新颖的且具有鲁棒性的视频烟雾检测方法，该方法主要由预处理，特征提取和图像分类三个阶段组成。在预处理阶段，通过使用背景差分算法提取视频帧的运动前景区域；其次采用HSV颜色空间作用于运动前景区域识别烟雾像素；然后使用局部极值共生模式(local extrema co‑occurrence pattern，LECoP)计算纹理特征和使用烟雾能量分析计算能量特征；最后，将特征矢量训练支持向量机(support vector machine，SVM)用于识别烟雾。通过实验结果可以看出该文提出的方法能有效检测出烟雾。

Description

一种基于局部极值共生模式和能量分析的烟雾检测

袁梅

技术领域

本发明属于视频处理技术领域，具体涉及一种基于局部极值共生模式和能量分析的视频烟雾检测方法。

背景技术

火灾常常会伴随着烟雾和火的产生，所以烟雾或火在某种程度上可以作为火灾有效预警的检测要素，本文主要是进行烟雾的检测。对于火灾探测系统，早期主要有通过烟雾传感器，热量传感器，CO传感器等来进行火灾探测，但是这些方法有很多缺点，比如，烟雾、热量、CO等火灾伴随物从火灾发生点到达传感器需要一定的传播时间，这就造成了时间延迟，这对火灾的扑救造成了重大的困难；此外这些方法适合在室内进行检查，如果把它们应用在检测面积更大的环境下，因为烟雾在各个方向进行传播的缘故，这就使性能大幅度降低。由于传统火灾探测的局限性，促使人们越来越关注基于视频的火灾探测。计算机视觉技术与传统基于传感器方法不同，它大多采用从光学视频中提取信息，因此它不仅适合室内的环境，还适用于室外；并且环境的变化对他们的表现几乎没有什么影响；相较于传统方法得到的结果更准确，且成本较低，可以和监控系统很好的结合在一起。

为了取得好的检测性能，现已经存在的研究工作大部分使用烟雾的颜色，纹理，形状和动态特性作为特征进行烟雾的识别。具体来说，烟雾有特殊的颜色，特别的纹理和不规则的形状，所有的这些属性都随着时间的推移而动态的改变。不少研究人员已经研究了基于计算机视觉的烟雾探测技术,其中大部分文献都是基于多阶段模式识别，主要是由预处理(PPS)，特征提取(FE)和分类(CLASSIFY)三个阶段组成。PPS的主要工作是通过识别烟雾像素和分析符合条件的区域来确定输入视频序列中我们感兴趣的区域(ROI)。研究员在各种颜色空间中使用色彩分割(CS)方法来分割ROI，颜色空间主要有HSV，YUV，YCbCr和HSI。HSV由图像像素的色调，强度值和饱和度，本文就是采用该色彩空间。然而，运动目标检测主要通过帧差法，光流法，高斯混合建模和VIBE完成。VIBE算法是一种优于高斯混合建模和帧差法的一种运动前景提取算法。此外，为了从类似烟雾颜色的运动物体中区分开烟雾，许多研究人员使用时空小波分析和数学建模动态纹理分析提取特征来分析烟雾区域。文献使用时空分析，烟雾运动建模和动态纹理识别来从类似烟雾颜色的运动物体中识别出烟雾。与此同时，文献通过使用小波变换和光流法计算的特征值来区分烟雾。

无论怎么样，单靠小波分析无法解决上述的问题，因为它只能确定高频分量。此外，因为后续烟雾特征随密度而变化，这就需要使用纹理分析来解决问题。文献通过评估LDSs(线性动态系统)来提取外观和特征来模拟动态纹理。文献中的作者提出了一种模型，通过将每个像素映射到复杂网络的节点来提取纹理，从而通过网络变换产生空间和时间度，以便分别提取外观和运动特征。为了提高生物医学诊断的准确性和获得视觉纹理属性的有效表示，文献的作者使用了2D Gabor滤波器，它具有将一个图像分解到优选方向特性的能力。研究人员利用Gabor滤波器和小波能量从光烟气流中提取潜在的时空特征，从而通过支持向量机(SVM)实现分类。文献使用LECoP计算烟雾的纹理，然后使用深度信念神经网络(DBN)识别烟雾。

上述这些文献方法都是针对烟雾浓度比较高的情况下效果明显，然而在烟雾浓度比较低时效果就明显下降。为了解决上述问题，本文提出了一种烟雾检测方法，该方法充分利用烟雾的运动、纹理和颜色特点。首先使用Droogenbroeck M V等人提出的ViBe算法用来提取运动区域，其次我们进一步使用烟雾的颜色空间得到烟雾运动候选区。然后综合使用烟雾能量信息和使用文献提出的LECoP方法来获得烟雾的纹理信息。最后将得到的特征矢量信息训练支持向量机，以完成分类工作。

发明内容

本发明技术解决问题:克服现有技术的不足，提供一种基于局部极值共生模式和能量分析的视频烟雾检测方法，能够自动的分析提取的烟雾特征，且提高烟雾检测准确度。

本发明技术解决方案：

一种基于局部极值共生模式和能量分析的视频烟雾检测方法，包括如下步骤：

第一步，使用VIBE算法提取视频图像帧里的运动前景区域；所述的VIBE算法具体的思想就是为每个像素点存储了一个样本集，样本集中采样值就是该像素点过去的像素值和其邻居点的像素值，然后将每一个新的像素值和样本集进行比较来判断是否属于背景点。该模型主要包括三个方面：模型的工作原理；模型的初始化方法；模型的更新策略；

第二步，根据第一步得到的运动前景区域，利用烟雾的HSV颜色空间提取烟雾区域；所述烟雾图像的HSV空间指烟雾图像的三个颜色分量H,S,V；

第三步，根据第二步得到的烟雾区域，使用局部极值共生模式计算纹理特征矢量；利用烟雾能量分析计算能量特征矢量，将纹理特征矢量和能量特征矢量归一化合成为一个特征矢量；

第四步，根据第三步得到的特征矢量训练支持向量机SVM，得到识别烟雾和非烟雾的分类器，通过分类器得到视频图像中的烟雾区域。

所述第一步中，VIBE模型的工作如下:

背景物体就是指静止的或是非常缓慢的移动的物体，而前景物体就对应移动的物体。所以我们可以把物体检测看出一个分类问题，也就是来确定一个像素点是否属于背景点。在ViBe模型中，背景模型为每个背景点存储了一个样本集，然后将每一个新的像素值和样本集进行比较来判断是否属于背景点。可以知道如果一个新的观察值属于背景点那么它应该和样本集中的采样值比较接近。具体的讲，我们记v(x)：x点处的像素值；M(x)＝{V₁,V₂,…V_N}为x处的背景样本集(样本集大小为N)；SR(v(x))：以x为中心R为半径的区域，如果M(x)[{SR(v(x))∩{V₁,V₂,…V_N}}]大于一个给定的阈值#_min,那么就认为x点属于背景点。

所述第一步中，烟雾图像的HSV空间确定如下:

根据RGB颜色模型和HSV颜色模型的转换公式：

V＝max(R,G,B)

颜色分析采用以下规则判定烟雾像素:如果满足等式，则判定为烟雾像素，否则判定为非烟雾像素，S_l、S_h、V_l、V_h为设定的阈值。

所述第三步中，烟雾图像的纹理特征确定如下:

HSV色彩空间用于提取图像中色调，饱和度和值的细节。我们对色调分量进行三种不同的量化，即18,36和72，这三种量化方案将所有颜色划分为不同的部分，以便可以提取最佳的颜色信息。类似地，为了提取合理的信息，饱和度量化值为10和20。然后我们可以分别对色调和饱和度构建一个直方图。对应于图像纹理的每个像素的局部信息使用局部极值模式(LEP)方法提取。LEP作用于图像的值通道，它能得到一个和图像尺寸相同的LEP映射图。直方图提取关于强度频率的信息，只暗示在整体图像中每个图案的出现，忽视了像素之间共同出现的信息。灰度共生矩阵揭示了图像中强度对的相对出现，所以可以以矩阵形式(GLCM)提取LEP图中每个像素对出现的局部信息,得到一个GLCM矩阵，GLCM被转换到一个单一矢量。为了直方图的级联，然后由GLCM单个矢量，色调和饱和度直方图联合成一个直方图，这个直方图就是我们需要的纹理特征矢量。

所述第三步中，烟雾图像的能量特征确定如下:

烟雾图像经过滤波器组，即包括低通滤波器和高通滤波器，烟雾图像分解为低频部分LH，代表烟雾图像的平均信息，高频部分HL和HH，分别代表烟雾图像的水平边缘信息、垂直边缘信息和对角线边缘信息；帧中每个像素的小波能量通过下式计算：E(i,j)＝HL(i,j)²+LH(i,j)²+HH(i,j)²对于视频序列里的n帧图像，空间小波能量是通过每个像素的平均能量来计算，如下式：

附图说明

图1为本发明方法的流程图；

图2为一级，二维离散小波过程；

图3为近景，微风，光照正常，烟雾浓的视频一帧；

图4为近景，微风，光照正常，烟雾浓的视频一帧的运动前景区域检测图；

图5为近景，微风，光照正常，烟雾浓的视频一帧的烟雾识别图；

图6为近景，微风，光照正常，烟雾浓的视频一帧的烟雾识别图；

图7是近景，微风，关照强，烟雾稀薄的视频一帧的烟雾识别图；

图8是远景，微风，关照正常，烟雾浓的视频一帧的烟雾识别图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，本发明具体实现如下：

运动目标检测。

常用的背景建模方法有高斯混合模型(GMM)，码本(Codebook)和ViBe方法。GMM是最流行的参数化技术，它具有自适应化并且能够处理动态环境背景的多模式。然而，由于其灵敏度不能准确地调整；并且它成功处理背景中的高频和低频的能力有争议；此外对含有噪音的图像进行模型的参数估计会有问题。码本的主要目的是得到每个像素点的时间序列模型，这样时间波动问题就能很好的被解决，不过，它需要消耗很多的内存。Barnich和VanDroogenbroeck提出的ViBe算法是一种背景提取方法，结合像素的空间分布特征和随机更新策略。与上述各方法相比，由于ViBe的初始化技术，更新方法和空间信息传播方法使得它能处理因不同速度伴随的事件，占有内存少，对噪声有更出色的鲁棒性。ViBe是一种更好的背景建模方法，所以本论文使用ViBe算法来提取运动目标。ViBe算法有几个重要的输入参数，这些参数和值分别为R＝20，φ＝16，N＝20，#_min＝2。其中R是用于确定来自当前帧的像素与背景模型之间的匹配的阈值，φ是采样因子，N是为背景模型中的每个像素存储的样本数量，#_min是将新像素分类为背景所需的接近像素的数量。

运动烟雾区域检测。

图像中非烟雾运动区域将影响目标检测和识别结果。因此，有必要消除非烟雾颜色像素。为了滤除非烟雾像素，我们使用基于HSV模型的颜色分析。HSV是由色度，饱和度和值定义的色彩空间。鉴于当温度比较低的时候，烟雾的颜色主要是从灰白到白的一个变化过程，随着温度的上升，颜色从灰黑到黑变化，直到燃烧的发生。因此，在HSV色彩空间的值通道和饱和度通道中，烟雾区域和非烟雾区域明显不同。首先，我们需要将RGB颜色空间转换到HSV颜色空间，转换公式如下：

V＝max(R,G,B)

通过限制HSV空间的S和V的值来获得疑似烟雾区域，疑似烟雾区域Y应该满足下式：

等式中，S是饱和度像素成分，V是值成分，S_l、S_h、V_l和V_h是通过训练视频做数据统计获得的结果，在本论文中，S_l、S_h分别是0和0.28，V_l和V_h分别是0.36和0.970，然而对于饱和度通道我们并没有做出限制。然而对于饱和度通道我们并没有做出限制。在我们的实验中候选区域是至少含有10％的运动和烟雾颜色像素块。通过烟雾颜色处理后的像素块为疑似烟雾区域，然而该区域还存在一些干扰像素，像噪音点或者周围的摆动的树等，使得烟雾的轮廓不清晰，这就使得后续的烟雾特征提取和识别不准确，所以我们需要对疑似烟雾区域进行处理，实验中通过形态学闭操作和填空洞等方式来获得烟雾候选区域得到烟雾运动区域。

烟雾纹理和能量特征提取。

HSV色彩空间用于提取图像中色调，饱和度和值的细节。我们对色调分量进行三种不同的量化，即18,36和72，这三种量化方案将所有颜色划分为不同的部分，以便可以提取最佳的颜色信息。类似地，为了提取合理的信息，饱和度量化值为10和20。然后我们可以分别对色调和饱和度构建一个直方图。对应于图像纹理的每个像素的局部信息使用局部极值模式(LEP)方法提取。LEP作用于图像的值通道，它能得到一个和图像尺寸相同的LEP映射图。直方图提取关于强度频率的信息，只暗示在整体图像中每个图案的出现，忽视了像素之间共同出现的信息。灰度共生矩阵揭示了图像中强度对的相对出现，所以可以以矩阵形式(GLCM)提取LEP图中每个像素对出现的局部信息,得到一个GLCM矩阵，GLCM被转换到一个单一矢量。为了直方图的级联，然后由GLCM单个矢量，色调和饱和度直方图联合成一个直方图，这个直方图就是我们需要的纹理特征矢量。

烟雾图像经过滤波器组，即包括低通滤波器和高通滤波器，烟雾图像分解为低频部分LH，代表烟雾图像的平均信息，高频部分HL和HH，分别代表烟雾图像的水平边缘信息、垂直边缘信息和对角线边缘信息，图2给出了一级、二维小波变换过程；帧中每个像素的小波能量通过下式计算：E(i,j)＝HL(i,j)²+LH(i,j)²+HH(i,j)²对于视频序列里的n帧图像，空间小波能量是通过每个像素的平均能量来计算，如下式：

烟雾识别。

将上述使用LECoP方法提取出的特征矢量和能量特征矢量进行归一化融合成一个特征矢量，把它们作为训练和测试SVM的样本。因为烟雾分类不是一个线性的，所有我们使用径向基函数(radial basis function，RBF)，它能将非线性并入数据和分类中。支持向量机是一个非概率二元分类器，可以将距离决策边界最远的数据点分开，并清除超平面上两个类别之间可能存在的最大差距。图5-图8给出了烟雾识别结果。本发明能够及时的预警烟雾同时降低火灾预警的误报率。

以上显示和描述了本发明的基本原理和主要功能。本行业的技术人员应该了解，本发明不受上述实例的限制，上述实例和说明书中的描述只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的发明范围内。本发明要求保护范围由所附权利要求书及其等效物界定。

Claims (5)

1.一种基于局部极值共生模式和能量分析的视频烟雾检测方法，其特征在于，包括如下步骤:

第一步，使用VIBE算法提取视频图像帧里的运动前景区域；所述的VIBE算法具体的思想就是为每个像素点存储了一个样本集，样本集中采样值就是该像素点过去的像素值和其邻居点的像素值，然后将每一个新的像素值和样本集进行比较来判断是否属于背景点。该模型主要包括三个方面：模型的工作原理；模型的初始化方法；模型的更新策略；

第二步，根据第一步得到的运动前景区域，利用烟雾的HSV颜色空间提取烟雾区域；所述烟雾图像的HSV空间指烟雾图像的三个颜色分量H,S,V；

第三步，根据第二步得到的烟雾区域，使用局部极值共生模式计算纹理特征矢量；利用烟雾能量分析计算能量特征矢量，将纹理特征矢量和能量特征矢量归一化合成为一个特征矢量；

第四步，根据第三步得到的特征矢量训练支持向量机SVM，得到识别烟雾和非烟雾的分类器，通过分类器得到视频图像中的烟雾区域。

2.根据权利要求1所述的基于局部极值共生模式和能量分析的视频烟雾检测方法，其特征在于:所述第一步中，VIBE模型的工作如下:

背景物体就是指静止的或是非常缓慢的移动的物体，而前景物体就对应移动的物体。所以我们可以把物体检测看出一个分类问题，也就是来确定一个像素点是否属于背景点。在ViBe模型中，背景模型为每个背景点存储了一个样本集，然后将每一个新的像素值和样本集进行比较来判断是否属于背景点。可以知道如果一个新的观察值属于背景点那么它应该和样本集中的采样值比较接近。具体的讲，我们记v(x)：x点处的像素值；M(x)＝{V₁,V₂,…V_N}为x处的背景样本集(样本集大小为N)；SR(v(x))：以x为中心R为半径的区域，如果M(x)[{SR(v(x))∩{V₁,V₂,…V_N}}]大于一个给定的阈值#_min,那么就认为x点属于背景点。

3.根据权利要求1所述的基于局部极值共生模式和能量分析的视频烟雾检测方法，其特征在于:所述第一步中，烟雾图像的HSV空间确定如下:

根据RGB颜色模型和HSV颜色模型的转换公式：

V＝max(R,G,B)

颜色分析采用以下规则判定烟雾像素:如果满足等式，则判定为烟雾像素，否则判定为非烟雾像素，S_l、S_h、V_l、V_h为设定的阈值。

4.根据权利要求1所述的基于局部极值共生模式和能量分析的视频烟雾检测方法，其特征在于:所述第三步中，烟雾图像的纹理特征确定如下:

HSV色彩空间用于提取图像中色调，饱和度和值的细节。我们对色调分量进行三种不同的量化，即18,36和72，这三种量化方案将所有颜色划分为不同的部分，以便可以提取最佳的颜色信息。类似地，为了提取合理的信息，饱和度量化值为10和20。然后我们可以分别对色调和饱和度构建一个直方图。对应于图像纹理的每个像素的局部信息使用局部极值模式(LEP)方法提取。LEP作用于图像的值通道，它能得到一个和图像尺寸相同的LEP映射图。直方图提取关于强度频率的信息，只暗示在整体图像中每个图案的出现，忽视了像素之间共同出现的信息。灰度共生矩阵揭示了图像中强度对的相对出现，所以可以以矩阵形式(GLCM)提取LEP图中每个像素对出现的局部信息,得到一个GLCM矩阵，GLCM被转换到一个单一矢量。为了直方图的级联，然后由GLCM单个矢量，色调和饱和度直方图联合成一个直方图，这个直方图就是我们需要的纹理特征矢量。

5.根据权利要求1所述的基于局部极值共生模式和能量分析的视频烟雾检测方法，其特征在于:所述第三步中，烟雾图像的能量特征确定如下:

烟雾图像经过滤波器组，即包括低通滤波器和高通滤波器，烟雾图像分解为低频部分LH，代表烟雾图像的平均信息，高频部分HL和HH，分别代表烟雾图像的水平边缘信息、垂直边缘信息和对角线边缘信息；帧中每个像素的小波能量通过下式计算：E(i,j)＝HL(i,j)²+LH(i,j)²+HH(i,j)²对于视频序列里的n帧图像，空间小波能量是通过每个像素的平均能量来计算，如下式：