CN105654494B - 视频图像中烟雾检测方法 - Google Patents

Abstract

本发明公开了视频图像中烟雾检测方法，通过直接对烟雾区域进行采样的方式获取颜色特征而不是将检测到的烟雾区域像素点整体进行考虑，有效的减少干扰和噪声的影响，降低了误检率;仅考虑颜色和对比度特征，使检测结果更稳定可靠，减少了漏检率;对于被遗漏的烟雾区域，可以在线实时进行特征提取并添加到系统中，可以直接改善系统的检测结果而无需进行复杂的训练，系统更灵活。

Description

视频图像中烟雾检测方法

技术领域

本发明涉及视频监控领域的烟雾检测技术，尤其涉及视频图像中烟雾检测方法。

背景技术

传统基于传感器的烟雾检测无法有效处理开放环境下的烟雾，原因在于：1、开放环境下烟雾扩散速度快，难以达到足够的浓度；2、开放环境下没有合适的位置去安放传感器；3、基于传感器的方式健康范围有限，在开放环境下做到有效监控需要耗费巨大的成本。目前基于视频图像的烟雾检测分析方法主要有：1、利用烟雾的颜色作为特征，主要是将烟雾分为白烟和青烟，考虑他们在RGB颜色空间的分布；2、利用烟雾的运动特征，考虑烟雾由火灾引起，受热后都是向天空方向扩散，面积或逐步扩大，区域中心上移；3、考虑烟雾的形状特征，烟雾在扩散中被空气流动会形成各种不规则形状，通过分析轮廓长度/面积比率可以在一定程度上衡量这种不规则性；4、基于小波分析提取运动区域能量信息，统计烟雾区域能量特征；基于前述特征训练adaboost、神经网络、svm或者其他线性分类器判决当前区域是否存在烟雾。但是通常烟雾区域都是模糊的一片区域，直接提取整个烟雾区域的特征会形成一个很宽泛的颜色空间约束，容易导致虚警；而烟雾的形状特征也通常难以凑效，因为开阔空间里烟雾扩散较快，在烟雾刚产生时，运动信息是可以利用的，但在没有明显空气流动的情况下，一段时间后烟雾会在产生点上空会形成一个具有一定浓度的稳定区域，形状不再变化；在有明显空气流动的情况下，烟雾离开地面一定范围后迅速扩散，同样难以检测到烟雾的面积变化趋势和中心变化趋势；基于前述理由，烟雾的形状特征同样不是一个稳定可以利用的特征，不具有共性；基于能量的分析则存在方法上的缺陷，因为烟雾存在的区域在烟雾产生之前也可能并没有很多高频信息。

发明内容

针对上述技术缺陷，本发明提出视频图像中烟雾检测方法，对于室内或者室外场景都能进行有效的监控，及时的对烟雾的产生进行报警，对火灾的监控防范提供有效的手段。

为了解决上述技术问题，本发明的技术方案如下：

视频图像中烟雾检测方法，包括如下步骤：

选定有代表性的含烟雾的视频，使用特征提取模块进行提取颜色分布特征、提取对比度特征处理；

所述提取颜色分布特征包括如下步骤：

111)逐帧播放该烟雾视频，对于包含烟雾的视频帧，对烟雾显著区域进行颜色采样，采样颜色加入颜色聚类中心；

112)根据选取的聚类中心，将该颜色的像素值与该聚类中心方差在阈值beta内的像素标记为烟雾区域；

113)将标记结果显示出来，对未标记的烟雾显著区域继续迭代采样；

114)利用步骤111)～113)在视频的所有帧中进行，且在不同场景下的烟雾视频中进行；

115)对上述采样得到的聚类中心进行聚类，去掉可能误选入的干扰点；

116)对聚类在RGB颜色空间进行量化，将聚类中心映射到量化的颜色空间点，并转换为整数形成量化后的颜色聚类中心；

所述提取对比度特征处理包括如下步骤：

117)对播放的烟雾视频，使用运动检测方法提取运动前景区域；

118)对运动前景区域内的像素进行量化，量化结果归属量化后的颜色聚类中心的，视为一个有效烟雾像素；有效烟雾像素数量达到区域内一定比例的，视为烟雾区域；

119)将步骤118)中确认的烟雾区域进行分块，统计分块的像素值方差，该区域内所有分块方差的最大值作为区域的方差特征，作为正样本；

120)将未确认烟雾区域的前景区域进行分块，然后统计分块的像素值方差，该区域内所有分块方差的最大值作为区域的方差特征，作为负样本 ；

121)将视频间隔一定数量的帧进行一次步骤117)～步骤120)的采样计算；

122)将正负样本使用svm训练线性分类器用于判定是否烟雾区域的确认帧。

进一步的，采样颜色加入颜色聚类中心的步骤为用一个变长数组将采样点的颜色记录下来，以便在后续处理中进行量化。

进一步的，步骤112)中对于正在采样的当前帧图像，标记烟雾区域，标记的范围是，像素值到任一聚类中心方差小于30的像素，符合要求的像素标记为红色。

进一步的，采样过程中标记图像与原始图像存放于不同的缓冲区，标记图像为原始图像的一个拷贝，采样时根据坐标对原始图像的像素点进行采样，避免将像素标记颜色加入聚类中心。

进一步的，步骤115)中去掉可能误选入的干扰点包括如下步骤：对聚类中心中的噪声点进行滤除，滤除的标准为马氏距离小于15的邻域点小于3的予以删除。

进一步的，对聚类在RGB颜色空间进行量化，量化的公式为center＝b/8×1024+g/8×32+r/8，经过量化转换为一维数组。

进一步的，还包括运动检测步骤，所述运动检测步骤基于背景建模方法实时检测运动区域，为烟雾检测模块提供运动区域的轮廓位置信息。

进一步的，还包括实时报警步骤，所述实时报警步骤用于设置确认帧数，以过滤噪声干扰和误检。

进一步的，所述聚类中心使用平衡二叉树存储。

本发明的有益效果在于:通过直接对烟雾区域进行采样的方式获取颜色特征而不是将检测到的烟雾区域像素点整体进行考虑，有效的减少干扰和噪声的影响，降低了误检率；仅考虑颜色和对比度特征，使检测结果更稳定可靠，减少了漏检率；对于被遗漏的烟雾区域，可以在线实时进行特征提取并添加到系统中，可以直接改善系统的检测结果而无需进行复杂的训练，系统更灵活。

附图说明

图1训练阶段特征提取流程；

图2检测阶段执行过程。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的说明。

如图1所示，视频图像中烟雾检测方法，包括如下步骤：

1)对存在烟雾的视频进行播放，使用颜色采样工具选取烟雾显著区域的像素值，将像素值加入烟雾颜色特征聚类中心；

2)根据选取的聚类中心，将像素值与该聚类中心方差在阈值beta内的像素标记为烟雾区域；

3)将标记结果显示出来，对未标记的烟雾显著区域继续迭代采样；

4)对于1)～3)所述的采样方法，在视频的所有帧中进行，且在不同场景下的烟雾视频中进行，上述采样方法只针对烟雾较浓的区域进行采样；

5)对上述采样得到的聚类中心进行聚类，去掉可能误选入的干扰点；

6)对聚类在RGB颜色空间进行量化，上述聚类中心映射到量化的颜色空间点，并转换为整数；

检测中，如果对于给定的像素值，按上述量化步骤同样转换为整数，如果前述提取的颜色特征聚类中心包含该整数，则视为一个可能的烟雾像素点；

检测中，如果对于给定的待检测区域，像素值分布在前述聚类中心范围的像素总数达到区域内像素总数的阈值alpha，视为一个可能的烟雾区域。

上述烟雾检测方法，还包括基于对比度特征进行校验步骤：

7)对给定的待检测区域，计算区域内的像素值方差表示的对比度特征，

8)统计所有烟雾区域对比度，基于SVM训练基于对比度的分类器，

其中对比度计算方法，还包括如下步骤，

9)将烟雾区域按步长s分块，统计分块区域内的方法，最后求得各子块方差的极大值作为整个区域的方差，

10)上述基于对比度特征的SVM分类器判决结果为烟雾的，视为一个烟雾区域确认帧。

所述烟雾检测系统还包括运动检测模块和实时报警模块，所述运动检测模块基于背景建模方法实时检测运动区域，为烟雾检测模块提供运动区域的轮廓位置信息，所述实时报警模块可以设置确认帧数，以过滤噪声干扰和误检。

所述烟雾检测系统还包括遗漏烟雾区域特征在线添加模块，遗漏烟雾区域特征在线添加模块对于给定视频图像中未被确认的烟雾区域，通过实时的对烟雾区域像素进行采样，按前述步骤添加到聚类中心，可以实现实时的改进系统的性能。

实施例一：

训练阶段的流程为：

选定若干有代表性的含烟雾的视频，使用特征提取模块进行处理，

特征提取模块提取的特征包括提取颜色分布特征和提取对比度特征，其中提取对比度特征用于校验。

提取颜色特征的步骤为：

逐帧播放为训练而准备的烟雾视频，对于包含烟雾的视频帧，使用颜色采样工具选取烟雾显著区域的像素值，将采样颜色的像素值加入烟雾颜色特征聚类中心所述聚类中心即是采样点的颜色本身，此处采用一个变长数组将采样点的颜色记录下来以便在后续处理中进行量化；

对于正在采样的当前帧图像，标记烟雾区域，标记的范围是，像素值到任一聚类中心方差小于30的像素，符合要求的像素标记为红色[255，0，0]，即对于该帧图像的像素，到任一聚类中心的距离在给定阈值(30)以内，则将该像素值改为红色,以便于查看标记结果,在后续处理中，显示标记结果，通过标记能看出未标记区域的仍有显著烟雾的，可继续进行颜色采样，采样点加入聚类中心，采样是随机采样即可，采样点作为一个颜色聚类中心，其他未采样像素到该聚类中心的距离在给定范围内的都会被识别为烟雾区域，识别方式；

采样过程中标记图像与原始图像存放于不同的缓冲区，标记图像为原始图像的一个拷贝，采样时作为优选方案，根据坐标对原始图像的像素点进行采样，避免将标记颜色加入聚类中心，根据以上聚类中心去标记随后视频中的各帧，对于遗漏的烟雾区域进行再采样，同样加入聚类中心，

对聚类中心中的噪声点进行滤除，滤除的标准为马氏距离小于15的邻域点小于3的予以删除，

对聚类在RGB颜色空间进行量化，量化的公式为center＝b/8×1024+g/8×32+r/8，所有的聚类中心经过量化转换为一维数组。

提取对比度特征的步骤为：

对于前述烟雾视频，使用运动检测模块的运动检测方法提取运动前景区域，

对于大于20×20的前景区域，区域内的像素按前述的量化的公式为center＝b/8× 1024+g/8×32+r/8进行量化转化为一维数组，量化结果归属颜色聚类中心的，视为一个有效烟雾像素，有效烟雾像素数量达到区域内详述总数30％的，视为烟雾区域；

对上述确认的烟雾区域进行8×8分块，统计分块的像素值方差，区域内所有分块方差的最大值作为区域的方差特征，作为正样本；

将未确认烟雾区域的前景区域按上述步骤统计对比度特征作为负样本；

视频每5帧进行一次采样计算，上述正负样本使用svm训练线性分类器用于判定是否烟雾区域。

如图2所示，检测阶段的流程为：

对于从摄像机获取的视频帧，使用运动检测模块得到有关运动区域的信息，包括感兴趣区域和轮廓。运动检测模块的运动检测对方法没有限制，这里以基于高斯混合模型的方法为例，每个像素都使用3个高斯模型逼近，方差为144，背景更新率为0.001，根据背景模型得到运动前景区域的二值图。

对提取出的前景二值图进行中值滤波以抑制噪声干扰，滤波窗口大小为5×5，轮廓提取可以使用OpenCV的cvFindContours函数。

对于给定运动区域，根据提取的聚类中心判定烟雾像素数量与区域内所有像素数量是否达到给定的比例，达到给定比例的视为烟雾候选区域，否则视为非烟雾区域，该比例在系统中可以设为0.3。

对于以颜色分布判定的候选区域，计算区域内像素的对比度，使用svm判定是否烟雾区域，该对比度基于像素方差表示，该方差取值30，统计方差的分块步长为8。

对于采样颜色特征聚类中心，对RGB颜色空间按步长8进行采样，对于聚类中心[b,g,r]，将其映射为整数center＝b/8*1024+g/8*32+r/8。

聚类中心使用平衡二叉树存储，确保无论存在多少聚类中心，都能在一个恒定的时间里完成判定，区域的判定时间仅与区域大小相关。

对比度特征计算使用积分图进行快速计算。检测阶段，没有漏检的情况下，再采样加入聚类中心的步骤可略过。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (9)

1.视频图像中烟雾检测方法，其特征在于，包括如下步骤：

选定有代表性的含烟雾的视频，使用特征提取模块进行提取颜色分布特征、提取对比度特征处理；

所述提取颜色分布特征包括如下步骤：

111）逐帧播放该烟雾视频，对于包含烟雾的视频帧，对烟雾显著区域进行颜色采样，采样颜色加入颜色聚类中心；

112）根据选取的聚类中心，将该颜色的像素值与该聚类中心两者之间的方差在阈值beta内的像素标记为烟雾区域；

113）将标记结果显示出来，对未标记的烟雾显著区域继续迭代采样；

114）利用步骤111）～113）在视频的所有帧中进行，且在不同场景下的烟雾视频中进行；

115）对上述采样得到的聚类中心进行聚类，去掉可能误选入的干扰点；

116）对聚类在RGB颜色空间进行量化，将聚类中心映射到量化的颜色空间点，并转换为整数形成量化后的颜色聚类中心；

所述提取对比度特征处理包括如下步骤：

117）对播放的烟雾视频，使用运动检测方法提取运动前景区域；

118）对运动前景区域内的像素进行量化，量化结果归属量化后的颜色聚类中心的，视

为一个有效烟雾像素；有效烟雾像素数量达到区域内一定比例的，视为烟雾区域；

119）将步骤118）中确认的烟雾区域进行分块，统计分块的像素值方差，该区域内所有分块方差的最大值作为烟雾区域的方差特征，作为正样本；

120）将未确认烟雾区域的前景区域进行分块，然后统计分块的像素值方差，该区域内所有分块方差的最大值作为非烟雾区域的方差特征，作为负样本；

121）将视频间隔一定数量的帧进行一次步骤117）~步骤120）的采样计算；

122）将正负样本使用svm训练线性分类器用于判定是否烟雾区域的确认帧。

2.根据权利要求1所述的视频图像中烟雾检测方法，其特征在于，采样颜色加入颜色聚类中心的步骤为用一个变长数组将采样点的颜色记录下来，以便在后续处理中进行量化。

3.根据权利要求1所述的视频图像中烟雾检测方法，其特征在于，步骤112）中对于正在采样的当前帧图像，标记烟雾区域，标记的范围是，像素值到任一聚类中心两者之间的方差小于30的像素，符合要求的像素标记为红色。

4.根据权利要求3所述的视频图像中烟雾检测方法，其特征在于，采样过程中标记图像与原始图像存放于不同的缓冲区，标记图像为原始图像的一个拷贝，采样时根据坐标对原始图像的像素点进行采样，避免将像素标记颜色加入聚类中心。

5.根据权利要求4所述的视频图像中烟雾检测方法，其特征在于，步骤115）中去掉可能误选入的干扰点包括如下步骤：对聚类中心中的噪声点进行滤除，滤除的标准为马氏距离小于15的邻域点小于3的予以删除。

6.根据权利要求4所述的视频图像中烟雾检测方法，其特征在于，对聚类在RGB颜色空间进行量化，量化的公式为center = b/8× 1024 + g/8× 32 + r/8，经过量化转换为一维数组。

7.根据权利要求6所述的视频图像中烟雾检测方法，其特征在于，还包括运动检测步骤，所述运动检测步骤基于背景建模方法实时检测运动区域，为烟雾检测模块提供运动区域的轮廓位置信息。

8.根据权利要求7所述的视频图像中烟雾检测方法，其特征在于，还包括实时报警步骤，所述实时报警步骤用于设置确认帧数，以过滤噪声干扰和误检。

9.根据权利要求8所述的视频图像中烟雾检测方法，其特征在于，所述聚类中心使用平衡二叉树存储。