CN103996045A - 一种基于视频的多种特征融合的烟雾识别方法 - Google Patents

Abstract

本发明提供了一种基于视频的多种特征方法融合的烟雾检测方法。该方法通过对背景建模去除背景、根据烟雾区域与非烟雾区域的各通道最小值的不同筛选烟雾候选区、并根据角点轮廓和小波变换统计特征去除非烟雾物体。该方法将多种特征有机结合起来，构造出一种复合的、具有较好适应性和准确性的烟雾识别算法。本发明的有益之处是：有效地融合了多种区分烟雾与非烟雾的特征，具有较好的适用性，能够检测多种颜色、多种形态的烟雾；准确率较高，能够有效去除与烟雾颜色相同或相近物体的干扰，并及时准确地识别烟雾，故可用于多种火灾预报警系统中，从而火灾发生的初期为人们提供预警。

Description

一种基于视频的多种特征融合的烟雾识别方法

技术领域

本发明属于计算机图像处理技术领域，具体涉及一种基于视频的多种特征融合的烟雾识别方法，可应用于火灾预报警监测软件系统中。 

背景技术

火灾严重威胁着人类的财产安全和生命安全，对火灾进行预测报警能够使人们防患于未然，从而使火灾对人民群众的危害降低到最小。传统的烟雾报警器通常使用感温、感光等手段，一般需要安装在着火点附近；此外，感温传感器监测到温度上升并进行报警时，通常火灾已经发生，火势已经蔓延，为人们预留的时间比较短。视频烟雾检测不仅无安装位置的要求，而且它是通过对烟雾的监测进行预警，烟雾通常发生在火灾的初期，因此能够为人们躲避或扑灭大火争取更多的时间。 

与一般的模式识别任务相类似，烟雾检测的核心技术之一是从图像数据中抽取出具有良好的区分能力和抗噪声、干扰能力的特征描述或表述。特征提取算法以及在此基础上的识别算法的有效性对整体的识别的准确率和可靠性具有至关重要的作用。识别烟雾所使用的特征一般分为静态特征和动态特征，静态特征有颜色特征、纹理特征、周长与面积比、梯度值等，静态特征的主要特点是仅从一帧视频中即可计算出所需特征。动态特征有块累积朝向、边缘轮廓的频率等，动态特征的主要特点是需要从连续的多帧中抽取其统计特征。一般来讲，静态特征计算量较小，效率较高，但抗干扰能力相对较弱，准确性相对较低；而动态特征计算量较大，效率较低，但抗干扰能力相对较强，准确性也相对较高。 

烟雾虽然具有丰富的特征，但是要将其从复杂的环境中准确识别出来，与刚性物体相比，还是具有不少的困难。现有检测技术所存在的不足主要有两个方面： 

(1)准确性不够 

目前的烟雾检测，无论是利用单一特性还是综合利用多种特性，都会有漏报和误报，尤其是在复杂的环境里。采用单一特性的烟雾检测，误报率往往较高，特别是无法对淡而少的烟和浓而厚的烟同样处理。准确性不够的根本原因，是这些特征不够本质， 

与烟雾没有一一对应关系。 

(2)适应性不强 

虽然有些算法在一定条件下具有较好的效果，但在复杂环境下其检测性能有所降低。 

发明内容

本发明旨在针对现有烟雾识别技术在准确率不高和适用性不强的不足，提出一种新颖的、融合静态特征和动态特征的烟雾识别方法。 

为了解决上述技术问题，本发明公开了一种多特征融合的烟雾视频检测算法，包括如下步骤： 

(1)设定背景帧和阈值帧，背景帧初始时取为第一帧视频，阈值帧中所有像素点的初始值均设为10；10是指像素的灰度值大小，8位单通道的灰度值是0到255，是相对值。 

(2)读取视频帧，更新背景和阈值，阈值更新公式如下： 

其中，T_n(x,y)表示第n帧阈值图像(x,y)点的灰度值，Bn(x,y)表示第n帧背景图像(x,y)点的灰度值；α是一个常数，表示阈值更新速度，取值范围为(0,1]，在实验时使用0.5，I_n(x,y)表示第n帧视频帧(x,y)点的值。 

背景更新公式如下： 

该公式中的字母与阈值更新公式中含义一致。 

(3)对第n帧图像I_n(x,y)与第n帧背景B_n(x,y)做差，差值图像为differI_n(x,y)； 

(4)可以选取黄色、灰色、淡蓝色、红色及棕色等多种颜色类型的烟雾图片，图片中仅包含烟雾，抽取图片中大小为k*k，本发明k取值为5，块的所有像素点的三通道的最小值，以这些抽取的数据作为训练集，使用支持向量机SVM算法进行训练，建立训练模型M； 

(5)将视频的第n帧划分成块，块大小为5*5像素，取块中所有像素点的三通道的最小值，使用步骤4中的模型M识别，将所有非烟雾区域设值为0，烟雾区域设值为255，得图像minI_n； 

(6)使用OpenCV中函数cvGoodFeaturesToTrack寻找第n帧视频中角点； 

(7)使用基于距离和密度的聚类算法DBSCAN(参见，A density‐based algorithm for discovering clusters in large spatial databases with noise.M Ester,HP Kriegel,J Sander,X Xu‐KDD,1996‐aaai.org)对步骤6中找到的角点进行聚类,使用OpenCv库函数convexHull绘制包围每类角点的轮廓，将轮廓内的所有点设值为0，得到图像cornerI_n； 

(8)对步骤2中的背景帧B_n(x,y)和第n帧I_n(x,y)分别作二维离散小波变换(二维离散小波变换是公知的，变换的方法有现成的公式和程序)，分解后的图像包含四部分，LL区表现图像的低频部分；HL、LH和HH区域分别包含水平方向、垂直方向和对角方向的边缘信息，求小波变换后图像帧与背景帧的差值。 

(9)对步骤8中的HL、LH和HH区域分块，块大小为4*3，求块内系数和，如果系数和大于阈值T1(本发明T1值取值30)，则认为为非烟雾，否则认为是烟雾，然后根据HL、LH和HH中像素点的位置设置原视频帧，得到waveletI_n； 

(10)对步骤3中求得的differI_n(x,y)，步骤5中求得的minI_n，步骤7中求得的cornerI_n，以及步骤9中求的waveletI_n做与运算，得到tmpResultI_n； 

(11)对步骤10中的tmpResultI_n做中值平滑运算，从而使检测结果更自然，得到resultI_n； 

(12)计算步骤11中所有非0点的面积，若面积大于等于阈值T2(T2取值范围为(50，100])，则将报警标志数num加1，如果num的值大于等于3，则报警；若面积小于阈值T2，则将报警标志数num置0； 

(13)如果视频未结束，则跳至步骤1；否则，结束。 

本发明通过结合动态特征和静态特征，该方法在具有较高准确率和抗干扰能力的同时，也具有较强的适用性，能够识别多种不同颜色和形态特征的烟雾。 

本发明具有以下优点： 

(1)综合应用动态特征和静态特征，具有较高的准确率。 

(2)具有较强的抗干扰能力，能够将与烟雾颜色相同或相似的物体有效去除； 

(3)具有较好的适用性，能够识别多种不同颜色的烟雾，能够适用于多种场景。 

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。 

图1为本实施例流程图。 

图2a～图2f为本实施例检测的多种场景的示例图。 

图3a～图3f为图2中对应正例场景的检测结果。 

具体实施方式

本发明公开了一种基于视频的多种特征融合的烟雾识别方法，包括以下步骤： 

(1)设定背景帧和阈值帧； 

(2)读取视频帧，更新背景和阈值； 

(3)对视频的第n帧I_n(x,y)与第n帧背景B_n(x,y)做差，差值图像为differI_n(x,y)； 

(4)判断是否有训练模型M，如果有直接进行步骤(5)，否则建立训练模型M后进行步骤(5)； 

(5)将视频的第n帧转化为k*k大小的块，取块中所有像素点的三通道的最小值，使用步骤4中的模型M识别，将所有非烟雾区域设值为0，烟雾区域设值为1，得图像minI_n； 

(6)寻找视频第n帧中的角点； 

(7)对步骤6中找到的角点进行聚类，绘制包围每类角点的轮廓，将轮廓内的所有点设值为0，得到图像cornerI_n； 

(8)采用基波函数，对步骤2中的第n帧背景B_n(x,y)和视频中第n帧图像I_n(x,y)分别作二维离散小波变换，分解后的图像包含四个区域，LL区域表现图像的低频部分；HL、LH和HH区域分别包含水平方向、垂直方向和对角方向的边缘信息，求小波变换后图像帧与背景帧的差值； 

(9)对步骤8中的HL、LH和HH区域分块求块内系数和，如果系数和大于阈值T1，则判定为非烟雾，否则判定为烟雾，然后根据HL、LH和HH区域中像素点的位置设置原视频帧，得到图像waveletI_n。 

步骤(1)中，背景帧初始时取视频第一帧，阈值帧中所有像素点的初始值均设为10。 

步骤(2)中，阈值更新公式如下： 

其中，T_n+1(x,y)表示第n+1帧阈值图像中(x,y)点的灰度值，T_n(x,y)表示第n帧阈值图像中(x,y)点的灰度值，B_n(x,y)表示第n帧背景图像中(x,y)点的对应灰度值，α为常数，表示阈值更新速度，I_n(x,y)表示第n帧视频帧中(x,y)点对应的值； 

背景更新公式如下： 

B_n+1(x,y)表示第n+1帧背景图像中(x,y)点的对应灰度值。 

步骤(4)中使用支持向量机SVM算法进行训练。 

步骤(6)中使用OpenCV中函数cvGoodFeaturesToTrack寻找视频第n帧中的角点。 

步骤(7)中使用基于距离和密度的聚类算法DBSCAN聚类； 

使用convexHull绘制包围每类角点的轮廓。 

步骤(8)中选用db4小波函数作为基波函数。 

步骤(9)之后包括以下步骤： 

(10)对步骤3中得到的差值图像differI_n(x,y)，步骤5中得到的图像minI_n，步骤7中得到的图像cornerI_n，以及步骤9中得到的图像waveletI_n做与运算，得到图像tmpResultI_n； 

(11)对步骤10中的图像tmpResultI_n做中值平滑运算，得到图像resultI_n； 

(12)计算步骤11图像resultI_n中所有非0点的面积，若面积大于等于阈值T2，则将报警标志数num加1，如果num的值大于等于3，则报警；若面积小于阈值T2，则将报警标志数num置0； 

(13)如果视频未结束，则跳至步骤1；否则，结束。 

选取黄色、灰色、淡蓝色、红色及棕色等多种颜色类型的烟雾图片，图片中仅包含烟雾，抽取图片中大小为k*k块的所有像素点的三通道的最小值，以抽取的数据作为训练集，建立训练模型M。 

实施例1 

附图1为本实施例整体流程图，如附图1所示： 

步骤0是训练模型M，手工选取多种颜色类型(包括红色、灰色和蓝灰色)的正 例烟雾图片和不带任何烟雾的反例视频图片，抽取k*k(k可取3、5、7、9，实验中k取5)大小块内所有像素点的三通道的最小值做为特征，k值越小，处理的速度相对较慢，但处理后图像越细腻，使用支持向量机SVM进行训练，得到训练模型M； 

步骤1是初始化动作。 

步骤2是将将超出报警阈值的帧数num设为0，设置超出报警阈值帧数的目的是提高算法的抗干扰能力； 

步骤3是从视频流读取视频帧，初始化阈值帧和背景帧，将所有阈值均设为10，并将背景帧初始化为第一帧视频帧； 

步骤4读取视频帧，并根据阈值和背景更新公式对阈值和背景进行更新，并对视频帧I_n(x,y)与背景帧B_n(x,y)做差，差值图像为differI_n(x,y)； 

阈值更新公式为： 

其中，T_n(x,y)表示第n帧阈值图像(x,y)点的灰度值，B_n(x,y)表示第n帧背景图像(x,y)点的灰度值；α是一个常数，表示阈值更新速度，取值范围为(0，1]，实验中取值为0.5，I_n(x,y)表示第n帧视频帧(x,y)点的值。 

背景更新公式为： 

该公式中的字母与阈值更新公式中含义一致。 

步骤5使用事先训练好的模型M进行识别，将识别为烟雾的区域的像素值均设置为255，非烟雾疑似区域设置为0，得图像minI_n； 

步骤6使用OpenCv库函数cvGoodFeaturesToTrack寻找视频帧中的角点，由于烟雾区域内部较为平滑，一般不会有角点的出现，即使出现，也是稀疏离散的，在聚类时将其视为噪声。对角点使用DBSCAN聚类算法[1]进行聚类，DBSCAN算法中的半径e取为13个像素点，每类最小点数MinPts取值为3，适当增大每类最小点数可将离散点的噪声点有效去除，但最小点数过大会使非噪声点删除。使用OpenCv库函数convexHull绘制每类角点的最大轮廓，并将轮廓内像素点去除； 

步骤7对视频帧和步骤2获得的背景帧分别进行离散小波变换，并将变换后的图像做差，根据差值图像高频部分的分块统计值判断视频帧中对应部分是否为烟雾，其中块大小为4*3，区分烟雾与非烟雾的阈值设定为30； 

步骤8对以上步骤获得中间结果进行与运算，并进行中值滤波； 

步骤9判断步骤8中所得图像中非0点面积是否大于阈值T2，T2取值范围为(50,100]，T2值越大，抗干扰能力越强，但发现火灾的灵敏度下降，实验时取值50，为了减小误报率，可适当增大阈值T2。如果检测到的非0点面积大于T2则跳至步骤10，否则跳至步骤13； 

步骤10判断num是否大于3，如果大于则跳至步骤11，否则跳至步骤14； 

步骤11报警； 

步骤12人工确认是真正发生火灾，若是，则及时处理；若否，点击确认为误报警按钮继续进行检测； 

步骤13将报警标记数num置为0； 

步骤14判断视频是否已经处理完毕，如果未完，则跳至步骤4继续处理；否则，跳至步骤15； 

步骤15结束。 

运用本实施例的方法，对图2a～图2f(因为本发明和专利法规定的特殊性，本发明中烟的颜色使用文字描述，图中仅仅示意烟的存在效果)中的烟雾进行检测，其中图2a图像中包含灰色烟雾和箱子，图2b图像中包含红色烟雾和楼房，图2c图像中包含棕色烟雾和楼房，图2d图像中包含淡蓝色烟雾和人，图2e图像中包含淡蓝色烟雾和汽车，图2f图像中包含淡蓝色烟雾和人。 

根据本实施例的处理，得到对图3a～图3c的处理结果，其中图3a灰色烟雾的检测结果，图3b红色烟雾的检测结果，图3c棕色烟雾的检测结果，图3d淡蓝色烟雾和人的检测结果，图3e淡蓝色烟雾和汽车的检测结果，图3f淡蓝色烟雾和人的检测结果。 

从图3a～图3c的检测结果，可以看出，本发明不仅可以有效地去除非烟雾部分，如图2a中的箱子，图2b中的楼房，图2d中人和图2e中的汽车等，而且可以较为完好地保留烟雾区；因此可以说本发明的抗干扰能力较强，灵敏度较高。 

本发明提供了一种基于视频的多种特征融合的烟雾识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。 

Claims (9)

1.一种基于视频的多种特征融合的烟雾识别方法，其特征在于，包括以下步骤：

(1)设定背景帧和阈值帧；

(2)读取视频帧，更新背景和阈值；

(3)对视频的第n帧I_n(x,y)与第n帧背景B_n(x,y)做差，差值图像为differI_n(x,y)；

(4)判断是否有训练模型M，如果有直接进行步骤(5)，否则建立训练模型M后进行步骤(5)；

(5)将视频的第n帧转化为k*k大小的块，取块中所有像素点的三通道的最小值，使用步骤4中的训练模型M识别，将所有非烟雾区域设值为0，烟雾区域设值为1，得图像minI_n；

(6)寻找视频第n帧中的角点；

(7)对步骤6中找到的角点进行聚类，绘制包围每类角点的轮廓，将轮廓内的所有点设值为0，得到图像cornerI_n；

(8)采用基波函数，对步骤2中的第n帧背景B_n(x,y)和视频中第n帧图像I_n(x,y)分别作二维离散小波变换，分解后的图像包含四个区域，LL区域表现图像的低频部分；HL、LH和HH区域分别包含水平方向、垂直方向和对角方向的边缘信息，求小波变换后图像帧与背景帧的差值；

(9)对步骤8中的HL、LH和HH区域分块求块内系数和，如果系数和大于阈值T1，则判定为非烟雾，否则判定为烟雾，然后根据HL、LH和HH区域中像素点的位置设置原视频帧，得到图像waveletI_n。

2.根据权利要求1所述的一种基于视频的多种特征融合的烟雾识别方法，其特征在于，步骤(1)中，背景帧初始时取视频第一帧，阈值帧中所有像素点的初始值均设为10。

3.根据权利要求2所述的一种基于视频的多种特征融合的烟雾识别方法，其特征在于，步骤(2)中，阈值更新公式如下：

其中，T_n+1(x,y)表示第n+1帧阈值图像中(x,y)点的灰度值，T_n(x,y)表示第n帧阈值图像中(x,y)点的灰度值，B_n(x,y)表示第n帧背景图像中(x,y)点的对应灰度值，α为常数，表示阈值更新速度，I_n(x,y)表示第n帧视频帧中(x,y)点对应的值；

背景更新公式如下：

B_n+1(x,y)表示第n+1帧背景图像中(x,y)点的对应灰度值。

4.根据权利要求3所述的一种基于视频的多种特征融合的烟雾识别方法，其特征在于，步骤(4)中使用支持向量机SVM算法进行训练。

5.根据权利要求4所述的一种基于视频的多种特征融合的烟雾识别方法，其特征在于，步骤(6)中使用OpenCV中函数cvGoodFeaturesToTrack寻找视频第n帧中的角点。

6.根据权利要求5所述的一种基于视频的多种特征融合的烟雾识别方法，其特征在于，步骤(7)中使用基于距离和密度的聚类算法DBSCAN聚类；

使用convexHull绘制包围每类角点的轮廓。

7.根据权利要求6所述的一种基于视频的多种特征融合的烟雾识别方法，其特征在于，步骤(8)中选用db4小波函数作为基波函数。

8.根据权利要求7所述的一种基于视频的多种特征融合的烟雾识别方法，其特征在于，步骤(9)之后包括以下步骤：

(10)对步骤3中得到的差值图像differI_n(x,y)，步骤5中得到的图像minI_n，步骤7中得到的图像cornerI_n，以及步骤9中得到的图像waveletI_n做与运算，得到图像tmpResultI_n；

(11)对步骤10中的图像tmpResultI_n做中值平滑运算，得到图像resultI_n；

(12)计算步骤11图像resultI_n中所有非0点的面积，若面积大于等于阈值T2，则将报警标志数num加1，如果num的值大于等于3，则报警；若面积小于阈值T2，则将报警标志数num置0；

(13)如果视频未结束，则跳至步骤1；否则，结束。

9.根据权利要求8所述的一种基于视频的多种特征融合的烟雾识别方法，其特征在于，选取黄色、灰色、淡蓝色、红色及棕色的烟雾图片，图片中仅包含烟雾，抽取图片中大小为k*k块的所有像素点的三通道的最小值，以抽取的数据作为训练集，建立训练模型M。