CN102332092B - 一种基于视频分析的火焰检测方法 - Google Patents

Abstract

本发明涉及视频监控领域，具体涉及一种基于视频分析的火焰检测方法，其包括以下步骤：根据场景图像中的背景提取前景的二值图像，并根据所述前景的二值图像获得多个前景物体图像；根据所述多个前景物体图像的红绿蓝RGB直方图的颜色特征和根据所述多个前景物体图像的尺度不变特征SIFT或加速鲁棒特征SURF进行筛选，以筛选出符合火焰特征的所述前景物体图像。通过本发明的实施例提供的基于视频分析的火焰检测方法，能够更加高效准确地获知火焰情况。

Description

一种基于视频分析的火焰检测方法

技术领域

本发明涉及视频监控领域，具体涉及一种基于视频分析的火焰检测方法。

背景技术

火灾是给人民大众带来巨大损失的灾难，因此火焰检测是所有的安防系统的重要部分。传统的火焰检测主要基于温度、红外、烟雾等传感器，虽然这些方法成本低廉而且实施简单，但是不能够应用于所有的火灾情况，因为它们的检测范围有限而且不够智能。近年来，随着监控摄像机的普及以及计算机视觉的发展，人们开始提出一些基于视频监控的火焰检测解决方案。但是这些方法过于简单而且不够成熟，难以投入到实际应用中。

颜色特征是火焰的一种显著特征，也是判断火焰的重要根据。因此，颜色特征被现有技术的火焰检测算法所广泛应用。但是，这些算法使用颜色特征有很多问题：首先，颜色模型过于简单，大多通过人为统计产生的，这样做只是依赖经验，而并不能覆盖所有的情况，例如相机过曝下的明亮火焰等；其次，对于颜色特征只是简单地逐个像素判断，并没有结合具体场景中的目标的运动信息；最后，很多算法只使用颜色特征来判断火焰，而忽略了其他重要特征，但即使颜色特征再鲁棒，只依赖它是不可靠的。

火焰的结构特征也是重要的判断根据。梯度直方图(HOG)经常用来描述物体的纹理信息，但火焰的纹理信息只能在非常理想的情况下才能得到。虽然人眼能清楚地辨别火焰的纹理，但是摄像机并不是那么灵敏：有些情况下火焰会显得过于明亮，导致视频里呈现一块白色的区域，丢失了纹理信息；还有些情况下燃烧物会夹杂在火焰里，导致干扰。Narendra Ahuja等人在2004年利用快速傅里叶变换(FFT)描述火焰的形状信息，其中将二维空间上的点集转换成一个特征向量。但是由于火焰形状的多变性，这种方法非常不可靠。实际上， 无论是基于轮廓的、基于像素的，还是基于骨架的形状特征描述，都不适用于火焰检测。

对于火焰时间变化特征的判断，目前有基于隐马尔科夫模型(HMM)的方法，是Toreyin等人在CVPR07的论文“Online Detection of Fire in Video”中提出的，其中，假设火焰的跳动的是一连串随机事件，并通过大量的训练来建立这个模型。然而，事实上火焰的跳动并不完全是随机事件，在实际应用中经常会遇到气流影响火焰的运动，而且人的遮挡也会让计算机产生错觉。因此在这些情况下，基于HMM的判断方法将会失效。

由此可见，需要一种高效、鲁棒的火焰检测方法。

发明内容

本发明的实施例提供一种基于视频分析的火焰检测方法，能够更加高效准确地检测出火焰情况。

根据本发明的一个方面，提供一种基于视频分析的火焰检测方法，包括以下步骤：

根据场景图像中的背景提取前景的二值图像，并根据所述前景的二值图像获得多个前景物体图像；

根据所述多个前景物体图像的红绿蓝RGB直方图的颜色特征和根据所述多个前景物体图像的尺度不变特征SIFT或加速鲁棒特征SURF进行筛选，以筛选出符合火焰特征的所述前景物体图像。

较佳地，在本发明的各实施例中，所述筛选包括：根据所述多个前景物体图像的RGB直方图的颜色特征并根据所述多个前景物体图像的SIFT或SURF、且根据所述多个前景物体图像的运动特性和稳定性进行筛选。

较佳地，在本发明的各实施例中，所述火焰检测方法进一步包括：在根据场景图像中的背景提取前景的二值图像之前，根据该场景中的运动信息对所述背景建立背景模型。

较佳地，在本发明的各实施例中，所述火焰检测方法进一步包括：

在根据场景图像中的背景提取前景的二值图像之前，对所述背景模型进行初始化，优选地根据实时获得的前景物体图像实时更新所述背景模型；和/或

在根据所述多个前景物体图像的RGB直方图的颜色特征进行筛选之前，对包含所述RGB直方图的颜色特征的RGB模型进行初始化；和/或

在根据所述多个前景物体图像的SIFT或SURF进行筛选之前，对包含所述SIFT或SURF的SIFT或SURF模型进行初始化。

较佳地，在本发明的各实施例中，所述筛选包括：利用支持向量机SVM进行所述筛选。

较佳地，在本发明的各实施例中，

所述筛选包括：基于在包含所述SIFT或SURF的SIFT或SURF模型中的SIFT或SURF词汇表并根据所述多个前景物体的SIFT或SURF进行所述筛选；和/或，基于在包含所述RGB直方图的颜色特征的RGB模型中的RGB词汇表并根据所述多个前景物体的RGB直方图颜色特征进行所述筛选；

优选地，所述筛选包括：将所述前景物体图像的SIFT或SURF描述子与所述SIFT或SURF词汇表中的多个SIFT或SURF描述子匹配判断，以筛选出匹配成功的符合SIFT或SURF火焰特征的所述前景物体图像；和/或，将所述前景物体图像的RGB描述子与RGB词汇表里的多个RGB描述子匹配判断，以筛选出匹配成功的符合RGB火焰特征的所述前景物体图像。

较佳地，在本发明的各实施例中，所述匹配判断包括：利用高斯核函数进行所述匹配判断。

较佳地，在本发明的各实施例中，所述筛选包括：以SIFT或SURF模型中的SIFT或SURF词汇表中的SIFT或SURF聚类中心构建KD树并根据该KD树和所述多个前景物体的SIFT或SURF进行所述筛选；和/或，以RGB模型中的RGB词汇表中的RGB聚类中心构建KD树并根据该KD树和所述多个前景物体的RGB直方图颜色特征进行所述筛选。

较佳地，在本发明的各实施例中，

所述筛选包括：根据所述多个前景物体图像的RGB直方图的颜色特征并根据所述多个前景物体图像的SIFT或SURF、且根据所述多个前景物体图像的运动特性和稳定性进行筛选；

其中所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：在按照时间先后依次保存L个所述前景物体图像的队列中，如果所述L个前景物体图像的特征值的方差或标准差在下限值至上限值之间，则筛选出所述队列中最新的前景物体图像作为符合火焰的运动特性和稳定性的前景物体图像；

优选地，所述前景物体图像的特征值是基于所述前景物体图像的外接矩形的周长和/或面积的特征值。

较佳地，在本发明的各实施例中，所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：在按照时间先后依次保存L个所述前景物体图像的队列中，如果所述L个前景物体图像的外接矩形满足以下关系，则筛选出所述队列中最新的前景物体图像作为符合火焰的运动特性和稳定性的前景物体图像：

关系一：t2＜σ_p/μ_p＜t1而且σ_a/μ_a＜t1；或者

关系二：σ_p/μ_p＜t1而且t2＜σ_a/μ_a＜t1；

其中，σ_p和μ_p分别是所述L个前景物体图像的外接矩形的周长的标准差和平均值，σ_a和μ_a分别是所述L个前景物体图像的外接矩形的面积的标准差和平均值，t1和t2分别是上限值和下限值；

优选地，t1为0.6和/或t2为0.02。

较佳地，在本发明的各实施例中，所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：

在形成所述队列的过程中，当在所述队列中已保存的前景物体图像少于L个时，如果最新获取的前景物体图像的特征值与所述队列中一个或多个已保存的前景物体图像的特征值之间的差值大于第一阈值，则将所述最新获取的前景物体图像加入到所述队列中；优选地，当所述最新获取的前景物体图像的面积 和所述队列中一个或多个已保存的前景物体图像的面积中的大者与小者之比小于2且所述最新获取的前景物体图像和所述队列中一个或多个已保存的前景物体图像的重叠部分面积与所述最新获取的前景物体图像的面积之比大于0.5时，将所述最新获取的前景物体图像加入到所述队列中；和/或

如果最新获取的前景物体图像的像素不存在于所述队列中每个前景物体图像的外接矩形的范围之内，则判定所述最新获取的前景物体图像不符合火焰特征；和/或

如果在所述队列中的L个前景物体图像中连续kL个前景物体图像的特征值之间的方差或标准差小于第二阈值，则判定最新的一个前景物体图像不符合火焰特征，其中k在0.3至0.4之间或在0.4至0.5之间或在0.5至1之间，优选地所述第二阈值等于所述下限值。

通过本发明的实施例提供的基于视频分析的火焰检测方法，能够更高效准确地检测出火焰情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图所示实施例得到其它的实施例及其附图。

图1是根据本发明的实施例的基于视频分析的火焰检测方法的流程图。

图2a－2c是根据本发明的实施例的SURF描述子的匹配的示意图。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性 劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

根据本发明的一个方面，提供一种基于视频分析的火焰检测方法，包括以下步骤：

根据场景图像中的背景提取前景的二值图像，并根据所述前景的二值图像获得多个前景物体图像；

根据所述多个前景物体图像的红绿蓝RGB直方图的颜色特征和根据所述多个前景物体图像的尺度不变特征SIFT或加速鲁棒特征SURF进行筛选，以筛选出符合火焰特征的所述前景物体图像。

这样，在进行火焰检测时，不仅基于火焰的颜色特征(RGB特征)而且还基于火焰的局部空间形状特征(SIFT或SURF)进行筛选和判断，从而能够更高效准确地检测出火焰情况。

较佳地，在本发明的各实施例中，所述筛选包括：根据所述多个前景物体图像的RGB直方图的颜色特征并根据所述多个前景物体图像的SIFT或SURF、且根据所述多个前景物体图像的运动特性和稳定性进行筛选。

这样，在进行火焰检测时，不仅基于火焰的颜色特征(RGB特征)和火焰的局部空间形状特征(SIFT或SURF)、而且还基于火焰的随时间变化的特征(运动特性和稳定性)进行筛选和判断，从而能够更加高效准确地检测出火焰情况。

较佳地，在本发明的各实施例中，所述火焰检测方法进一步包括：在根据场景图像中的背景提取前景的二值图像之前，根据该场景中的运动信息对所述背景建立背景模型。

较佳地，在本发明的各实施例中，所述火焰检测方法进一步包括：

在根据场景图像中的背景提取前景的二值图像之前，对所述背景模型进行初始化，优选地根据实时获得的前景物体图像实时更新所述背景模型；和/或

在根据所述多个前景物体图像的RGB直方图的颜色特征进行筛选之前，对包含所述RGB直方图的颜色特征的RGB模型进行初始化；和/或

在根据所述多个前景物体图像的SIFT或SURF进行筛选之前，对包含所述SIFT或SURF的SIFT或SURF模型进行初始化。

其中，根据实时获得的前景物体图像实时更新对背景模型进行实时更新，可确保经过所述筛选得到的前景物体图像体现出最新的场景状况，有利于实时检测火焰，而不会由于信息陈旧而耽误火情处理。

较佳地，在本发明的各实施例中，所述筛选包括：利用支持向量机SVM进行所述筛选。

较佳地，在本发明的各实施例中，

所述筛选包括：基于在包含所述SIFT或SURF的SIFT或SURF模型中的SIFT或SURF词汇表并根据所述多个前景物体的SIFT或SURF进行所述筛选；和/或，基于在包含所述RGB直方图的颜色特征的RGB模型中的RGB词汇表并根据所述多个前景物体的RGB直方图颜色特征进行所述筛选。在用于所述筛选的SIFT或SURF模型和/或RGB模型中相应设置SIFT或SURF词汇表和/或RGB词汇表，这些词汇表中包含的特征元素(特征词汇)能够反映相应的火焰特性，因此，在对最新检测到的新样本进行所述筛选时，可将该新样本中的特征与相应词汇表中的火焰特征进行比较(匹配判断)，以筛选出匹配成功的符合RGB火焰特征的前景物体图像。

优选地，所述筛选包括：将所述前景物体图像的SIFT或SURF描述子与所述SIFT或SURF词汇表中的多个SIFT或SURF描述子匹配判断，以筛选出匹配成功的符合SIFT或SURF火焰特征的所述前景物体图像；和/或，将所述前景物体图像的RGB描述子与RGB词汇表里的多个RGB描述子匹配判断，以筛选出匹配成功的符合RGB火焰特征的所述前景物体图像。这样，可根据需要将最新检测到的新样本的每种特征(例如SIFT或SURF，或者RGB特征)与相应词汇表中的描述子进行一对一的匹配判断或者一对多的匹配判断。

较佳地，在本发明的各实施例中，所述匹配判断包括：利用高斯核函数进行所述匹配判断。

较佳地，在本发明的各实施例中，所述筛选包括：以SIFT或SURF模型中的SIFT或SURF词汇表中的SIFT或SURF聚类中心构建KD树并根据该KD树和所述多个前景物体的SIFT或SURF进行所述筛选；和/或，以RGB模型中的RGB词汇表中的RGB聚类中心构建KD树并根据该KD树和所述多个前景物体的RGB直方图颜色特征进行所述筛选。利用KD树可实现快速查找匹配判断，从而提高所述筛选的效率。

较佳地，在本发明的各实施例中，

所述筛选包括：根据所述多个前景物体图像的RGB直方图的颜色特征并根据所述多个前景物体图像的SIFT或SURF、且根据所述多个前景物体图像的运动特性和稳定性进行筛选；

其中所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：在按照时间先后依次保存L个所述前景物体图像的队列中，如果所述L个前景物体图像的特征值的方差或标准差在下限值至上限值之间，则筛选出所述队列中最新的前景物体图像作为符合火焰的运动特性和稳定性的前景物体图像。

在队列中的L个前景物体图像之间的特征值的差别(方差或标准差)应该适中(在下限值至上限值之间)，如果过小低于下限值或过大高于上限值均不符合火焰的运动特性和稳定性特征。

优选地，所述前景物体图像的特征值是基于所述前景物体图像的外接矩形的周长和/或面积的特征值。也就是说，所述特征值与前景物体图像的外接矩形的周长和/或面积相关。

较佳地，在本发明的各实施例中，所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：在按照时间先后依次保存L个所述前景物体图像的队列中，如果所述L个前景物体图像的外接矩形满足以下关系，则筛选出所述队列中最新的前景物体图像作为符合火焰的运动特性和稳定性的前景物体图像：

关系一：t2＜σ_p/μ_p＜t1而且σ_a/μ_a＜t1；或者

关系二：σ_p/μ_p＜t1而且t2＜σ_a/μ_a＜t1；

其中，σ_p和μ_p分别是所述L个前景物体图像的外接矩形的周长的标准差和平均值，σ_a和μ_a分别是所述L个前景物体图像的外接矩形的面积的标准差和平均值，t1和t2分别是上限值和下限值；

优选地，t1为0.6和/或t2为0.02。

在此实施例中，所述特征值可包含与前景物体图像外接矩形的周长和面积相关的项σ_p/μ_p或者σ_a/μ_a。

较佳地，在本发明的各实施例中，所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：

在形成所述队列的过程中，当在所述队列中已保存的前景物体图像少于L个时，如果最新获取的前景物体图像的特征值与所述队列中一个或多个已保存的前景物体图像的特征值之间的差值大于第一阈值，则将所述最新获取的前景物体图像加入到所述队列中(这样，如果所述差值足够大，则认为最新获取的新样本体现出所关注场景的新状况，因而将其加入队列中；否则，认为其体现的状况与原先没有显著差别或者在先前已经出现过，因而不将其加入队列中)；优选地，当所述最新获取的前景物体图像的面积和所述队列中一个或多个已保存的前景物体图像的面积中的大者与小者之比小于2(二者差别较小)且所述最新获取的前景物体图像和所述队列中一个或多个已保存的前景物体图像的重叠部分面积与所述最新获取的前景物体图像的面积之比大于0.5(体现原先状况的可能性较大)时，将所述最新获取的前景物体图像加入到所述队列中；和/或

如果最新获取的前景物体图像的像素不存在于所述队列中每个前景物体图像的外接矩形的范围之内，则判定所述最新获取的前景物体图像不符合火焰特征；和/或

如果在所述队列中的L个前景物体图像中连续kL个前景物体图像的特征值之间的方差或标准差小于第二阈值，则判定最新的一个前景物体图像不符合 火焰特征(如果连续kL个前景物体图像之间的差别足够小，说明其稳定性高，因而可能不符合火焰的运动特性和稳定性特征)，其中k在0.3至0.4之间或在0.4至0.5之间或在0.5至1之间，优选地所述第二阈值等于所述下限值。

图1是根据本发明的实施例的基于视频分析的火焰检测方法的流程图。在图1所示实施例中，根据背景提取前景的二值图像，并根据所述前景的二值图像获得多个前景物体(blob)；对于这些blob，可根据其RGB直方图颜色特征(即，RGB特征)(基于RGB模型)和根据其SURF(基于SURF模型)进行筛选分类，以保留符合火焰特征的blob，而且还可根据其运动特性和稳定性进行筛选判断，最后保留的符合火焰特征blob可被输出作为报警信息。

在如图1中的实施例所示的基于视频分析的火焰检测方法中，运用在视频图像中的多种一般性特征分析判断在所关注场景的前景图像信息是否与火焰相关，包括以下几个步骤：

100.对于所关注场景的背景建模。

200.根据场景中的背景来提取前景的二值图像。

300.对前景的二值图像进行预处理，分割出前景物体(下文中简称为blob)的图像。

400.对各个blob提取红绿蓝(RGB)直方图的颜色特征(或简称为RGB特征)，并进行筛选分类，删除不符合火焰特征的blob，而保留符合火焰特征的blob，即筛选出符合火焰特征的blob。

500.对各个blob提取SURF(Speeded Up Robust Feature，加速鲁棒特征)，并进行筛选分类，删除不符合火焰特征的blob，而保留符合火焰特征的blob，即筛选出符合火焰特征的blob。

600.对各个blob的运动特性和稳定性进行判断，删除不符合火焰特征的blob，而保留符合火焰特征的blob，即筛选出符合火焰特征的blob。

700.将经过上述步骤400、500、600筛选之后最后保留的blob输出。

在上述步骤400、500、600中，分别通过不同方面进行筛选以排除不符合 火焰特征的blob，不过，应理解，上述步骤400、500、600不必按照这种执行顺序，而是可按照任意顺序执行。

在步骤100中，建立背景模型。优选地，背景模型可根据实时获得的场景图像(例如，背景图像和/或前景物体图像)实时更新。

除了背景模型以外，还可针对步骤400和/或500中的RGB特征和/或SURF建立RGB模型和/或SURF模型，其中，对RGB特征和SURF模型的初始化可在步骤100中与背景模型的初始化同时进行，也可根据需要分别仅在步骤400和500之前才进行。优选地，由于在步骤500中基于SURF模型进行筛选，因而可相应地建立或设置或导入SURF词汇表。

在此实施例中，步骤100－300基于背景建模而提取前景物体。这里采取背景建模的目的在于充分利用场景的运动信息，只关注对于火焰检测更有意义的前景区域(而非背景区域)，而不是盲目地对整个场景区域逐个像素检查，从而提高了火焰检测的效率。

此外，可以针对火焰特征来进行前景blob的特征提取，以排除大量不可能的blob，而保留与火焰特征相关的blob。

在步骤400中，采用RGB直方图的颜色特征对blob进行筛选，RGB直方图的颜色特征是被广泛运用的颜色特征，虽然在环境光照影响物体颜色的情况下可能对物体识别不稳定，但由于火焰本身作为光源没有表面来反射环境光，因而环境光对火焰的影响甚微，由此，火焰的颜色是一个非常普通而且稳定的特征，其空间分布有规律而且变化很小。基于这样的事实，在此步骤中采用RGB直方图体现火焰的颜色特征，能够简单有效地筛选blob。

由于现有技术中基于HOG、FFT等的全局特征来描述火焰所具有的缺点都是由火焰的多变性所造成的，因此，对于火焰空间上的一般特征，本发明的实施例(例如在步骤500中)可着眼于局部特征，例如，火焰的“尖刺”以及轮廓附近从内到外大致的梯度变化等，从而采用局部特征对blob进行进一步的筛选。

常用的局部特征的描述子是SIFT(Scale Invariant Feature Transform，尺度不变特征)，其尺度和光照不变的性质使得它在很多物体识别问题上有较好的表现。但是，SIFT过高的计算复杂度和维数限制了它在某些实时性能应用领域的应用。

可替代地，在优选实施例中，局部特征的描述子可使用Herbert Bay等人在2006年提出的SURF(Speeded Up Robust Feature，加速鲁棒特征)算法。SURF具有和SIFT相似的性质，但是其计算速度有了数倍的提高，适应于诸如视频监控之类的实时性能应用领域。另外，SURF还具有很强的并行性，因此它可以借助多核CPU和GPU加速来获得更大幅度的性能提升。用SURF实现的系统在未来通过硬件升级可方便地扩展到高清视频监控。SURF包括两部分：Fast Hessian关键点检测器和SURF特征描述子。在本发明的实施例中，利用SURF，可以在火焰的“尖刺”和轮廓上找到关键点，然后用轮廓附近的大致梯度变化来描述关键点的特征。

在一个实施例中，鉴于火焰的多变性，需要从训练集里大量地获取SURF特征来组成一个视觉的SURF“词汇表”，其中的SURF“词汇”是用来隐式地表达新样本的特征。优选地，在形成词汇表时采用密集采样方式，而不必采用特征采样方式，这样不仅能够满足火焰检测的需要而且还可提高效率。

对于一个当前实测的新样本(例如，通过上述步骤100－300获得的新样本blob)，将其SURF特征与SURF模型中的SURF“词汇表”中的SURF特征“词汇”进行匹配判断，得到一个关于匹配概率的特征向量，则这个向量就是这个新样本的总体SURF特征描述。如果当前实测新样本的SURF特征与SURF“词汇表”中的SURF特征词汇匹配成功，即，此新样本的匹配概率特征向量经过分类比较(例如利用SVM分类比较)后符合火焰条件，则认为这个实测新样本blob符合火焰SURF特征而应保留；否则，将SURF特征匹配不成功的实测新样本blob排除。

在训练集中的SURF特征正样本对应于火焰，而SURF特征负样本对应于 其它物体，在训练分类器(例如SVM分类器)时通常会赋予样本权值，而且正样本的权值比负样本的权值大(或者说，分类正确打高分，分类错误打低分)。

在优选实施例中，在步骤400和500中RGB直方图和SURF特征的筛分器均可使用支持向量机(SVM)。选用SVM可在训练集中元素较少的情况下仍可以把模型一般化，并且实时性能非常高。

在利用RGB直方图进行筛分的情况下，可以采用与利用SURF特征筛分过程中类似的方式，例如，可采用类似的训练集以构成RGB特征“词汇表”并将当前实测新样本的RGB特征与RGB“词汇表”中的RGB特征词汇进行匹配判断，如果当前实测新样本的RGB特征与RGB“词汇表”中的RGB特征词汇匹配成功，即，新样本的匹配概率特征向量经过分类比较(例如利用SVM分类比较)后符合火焰条件，则认为这个实测新样本blob符合火焰RGB特征而应保留；否则，将RGB特征匹配不成功的实测新样本blob排除。

类似地，在利用SIFT进行筛分的情况下，可以采用与利用SURF特征筛分过程中类似的方式，例如，可采用类似的训练集以构成SIFT特征“词汇表”并将当前实测新样本的SIFT特征与SIFT“词汇表”中的SIFT特征词汇进行匹配判断，如果当前实测新样本的SIFT特征与SIFT“词汇表”中的SIFT特征词汇匹配成功，即，新样本的匹配概率特征向量经过分类比较(例如利用SVM分类比较)后符合火焰条件，则认为这个实测新样本blob符合火焰SIFT特征而应保留；否则，将SIFT特征匹配不成功的实测新样本blob排除。

在步骤400和500中RGB直方图和SURF特征的配合使用可以达到非常低的火焰漏报率，但是不可避免地有一定的虚警，这是因为训练集里的负样本无法覆盖现实世界中的所有物体而且一些物体具有与火焰相似的颜色和空间特征。因此，时间变化特征是一个必要的判别标准。

在优选实施例中，并不显式地对火焰的时间变化特征进行建模(例如现有技术中的HMM)，而是利用更一般的参数结合关于火焰的先验知识(例如，如步骤600中所述)，来进一步排除不符合火焰特征的blob，以减少或避免这些 虚警。

在步骤600中，根据火焰的时间变化特征对blob的运动特性和稳定性进行判断，删除不符合火焰特征的blob，而保留符合火焰时间变化特征的blob。在此步骤中，引入火焰的先验知识来对blob的运动特性和稳定性进行判定，删除火焰已经消失的blob或者推迟判断火焰正在被遮挡(运动特性)的blob，以及排除静态的灯光或闪光灯(稳定性)的情况。由此，经过这种筛选，使得火焰检测的鲁棒性强，误报率小。

在一个实施例中，当在当前blob范围内没有前景物体图像或blob过于不稳定，则认为很可能是该前景物体正在被遮挡，因而对当前帧的blob推迟判断(即，暂时不作判定)，而留待在后续帧中进行判定(例如通过步骤400－600)。一旦遮挡结束或减少，则通过RGB筛选、SURF筛选、blob运动特性与稳定性筛选就可以判断该前景物体是否为火焰。

这样，通过步骤400、500、600根据不同特征参数进行筛选将不符合火焰特征的blob排除，在步骤700中，最后保留的blob被认为是符合火焰特征的blob，能够反应所关注场景的火焰情况，可据此输出作为火焰警报。

在上述步骤400、500、600中，分别通过不同方面进行筛选以排除不符合火焰特征的blob，不过，应理解，上述步骤400、500、600不必按照这种执行顺序，而是可按照任意顺序执行。

在一个优选实施例中，所述火焰检测方法中的步骤100－600可具体通过以下方式实现：

优选地，在步骤100中进行背景建模：优选地(以图2为例)可采用5层背景的方法，记第i层背景为b_i，每层背景的小方差帧数计数为c_i。

a)在前F帧对b₀模型进行初始化，计算每一个像素值的均值和方差，F值例如可以取16或32。

b)对于第F帧后的每一帧f，更新b₀模型的均值和方差。

c)对于f取窗口w(例如，每隔3个像素取一个3x3大小的窗口w)，并 执行一次以下d)－g)的运算。

d)若w范围内没有发生过遮挡，且f使得b₀在w范围内的方差变小或不变，则判断w与b₀(后面均表示b_i与w对应的区域)的相似性：如果不相似，则将w拷贝到b₁，c₁加1，并标记为第1次遮挡。

e)若w范围内已经发生了第1次遮挡，且f使得b₀的方差变小或不变，则判断w与b₁的相似性：如果相似，c₁加1；如果不相似，那么将w拷贝到b₂，c₂加1，并标记为第2次遮挡。c_i是衡量第i层背景模型稳定性的变量，c_i的计数越大则表明检测区域越稳定。当检测窗口w与第i层模型b_i相似，即当前帧f与模型b_i的对应区域没发生改变或改变可以忽略时，c_i要加1。b₃与b₄的更新以此类推。

f)若w范围已经发生了4次遮挡，则分别判断w与b₁，b₂，b₃，b₄的相似性。若w与b_i相似，则c_i加1；若都不相似，则把w拷贝到背景b_j，{i|c_f＝min(c₁，c₂，c₃，c₄)}，其中，j对应于小方差帧数计数c_i具有最小值的背景b的序数(c_j具有最小的c值)，c_j清零。

g)分别判断c₁，c₂，c₃，c₄的值。若c_t＞t＝500，则可判定为这个区域稳定。将b₀更新为b_i的值。c_i越大，则表明第i层背景越稳定，因为此层背景变化小(方差小)的帧越多，因此用稳定的b_i背景模型更新此前的b₀；参数值500为实测的值，当然也可以根据需要选用其他值。

优选地，在步骤200中根据背景来提取前景的二值图像：由于火焰的R值和灰度值较高，因而实际上只需要提取比背景的R值和灰度值高的前景的二值图像。优选地，具体如下：

a)对于当前彩色帧fg和彩色背景bg的每一个像素(x，y)执行一次以下b)－d)的运算。

b)分别对fg和bg计算(x，y)周围3x3的窗口w范围内的R通道和灰度G的平均值，记为

c)计算前景与背景R通道和亮度平均值的差值。

${\mathrm{\Δ}}_{\mathrm{xy}}^R={\mathrm{avg}}_{\mathrm{fg}(x,y)}^R-{\mathrm{avg}}_{\mathrm{bg}(x,y)}^R$

${\mathrm{\Δ}}_{\mathrm{xy}}^G={\mathrm{avg}}_{\mathrm{fg}(x,y)}^G-{\mathrm{avg}}_{\mathrm{bg}(x,y)}^G$

d)设生成的前景二值图为I(x，y)，像素(x，y)被判定为前景的条件是

$I(x,y)=\left\{\begin{array}{cc}1& ,{\mathrm{\Δ}}_{\mathrm{xy}}^R>t_1,{\mathrm{\Δ}}_{\mathrm{xy}}^G>t_2\\ 0& ,\mathrm{otherwlse}\end{array}\right.$

其中，t₁和t₂的值分别会根据和的值变化。

其中有一种特殊情况是，若则只判断这个条件。

背景的R值越高，t₁就越低；背景的R值越低，t₁就越高。具体地，

$t_1=\left\{\begin{array}{cc}45,& {\mathrm{avg}}_{\mathrm{bg}}^R(x,y)\∈\left[\mathrm{130,210}\right]\\ 70,& {\mathrm{avg}}_{\mathrm{bg}}^R(x,y)\∈\left[\mathrm{85,130}\right)\\ 120,& {\mathrm{avg}}_{\mathrm{bg}}^R(x,y)\∈[\mathrm{0,8}5)\end{array}\right.$

这些阈值是通过实验来决定的，可以在这基础上有小范围的浮动。这样可以在场景光照很暗的情况下减少周围墙面反射的影响，在光照很强的时候可以提高灵敏度。

同理，灰度值的处理方法是类似的，

$t_2=\left\{\begin{array}{cc}30,& {\mathrm{avg}}_{\mathrm{bg}}^G(x,y)\∈\left[\mathrm{130,255}\right]\\ 70,& {\mathrm{avg}}_{\mathrm{bg}}^G(x,y)\∈\left[\mathrm{85,130}\right)\\ 140,& {\mathrm{avg}}_{\mathrm{bg}}^G(x,y)\∈[\mathrm{0,8}5)\end{array}\right.$

优选地，在步骤300中，对前景二值图像进行预处理，分割出前景物体(blob)，优选地具体如下：

a)先进行3x3的形态学的开运算，然后进行4x4的闭运算，以去除小的噪声和连接孤立的点。

b)处理上一步造成的垃圾像素，将其全部设为0。

c)计算出各个连通分量的外接矩形，并将其存入blob序列中。

优选地，在步骤400中，对各个blob提取RGB直方图的颜色特征，并进行分类，删除不符合火焰特征的blobs，优选地具体如下：

a)对每一个blob的外接矩形范围内提取RGB直方图，RGB直方图由R、G、B颜色通道的三个一维直方图组成。每个通道的直方图例如有32个块(bin)，所以总的直方图是一维96bin。

b)将RGB直方图归一化，得到96维的特征向量。

c)用SVM进行分类，并将不符合火焰特征的blob删除。在一个实施例中，训练集包括581张正样本和485张负样本，均截取自视频截图。SVM使用了RBF核函数。出于漏报的风险考虑，可将正样本的权值设置为负样本的5倍。训练集被分成5份进行随机的交叉校验，c和gamma参数的范围均为2^-8至2⁸。

优选地，在步骤500中，对剩下的blob提取SURF特征，并进行分类，删除不符合火焰特征的blob，优选地具体如下：

a)生成SURF词汇表，优选地其步骤如下：首先对581张正样本进行密集采样，即固定间隔的点采样。采样间隔例如为6个像素，采样范围例如为9x9的窗口。在一个实施例中，如果一张图片的采样点超过了1000个，则随机选取其中的1000个。这里可跳过SURF的关键点检测器，而直接将指定的点输入，得到的输出是在上述密集采样点上的SURF描述子(优选地为64维SURF描述子)。将所有这些描述子进行k-means聚类，产生500个聚类中心，经过50次迭代后停止。这500个聚类中心就是词汇表中的元素。

b)在系统刚开始运行时，对SURF词汇表进行初始化，用词汇表里的元素构建一个KD树，方便后面的匹配。

c)为了让SURF有更多的空间提取特征，将各blob的外接矩形的长宽分别扩大9x2＝18个像素，并将范围内的图像转换成灰度图。

d)在系统运行过程中，出于性能的考虑，可使用SURF自带的Fast Hessian关键点检测器作为采样工具。由于视频图像的锐度问题，可使用较低的阈值以尽可能地获取更多的关键点，这个阈值可以在50-150之间。

e)输入关键点后，可以得到N个的64维SURF描述子。对每一个描述子d_j，执行一次以下f)－g)的运算。

f)从KD树里查询d_j到与其最近的10个词汇表中的元素{v_t|i＝1，2，...，10}的距离D(d，v_i)。查询的终止条件例如为搜索了20个叶节点。

g)为了避免单元素匹配带来的误差，d_j可以同时和这10个元素进行匹配。d_j与v_i匹配的权值按下式计算，

$w_{\mathrm{im}}=\frac{K_{\mathrm{\σ}}\left(D(d_j,v_i)\right)}{{\mathrm{\Σ}}_{k=1}^{10}{K}_{\mathrm{\σ}}\left(D(d_j,v_k)\right)},i\∈\left[\mathrm{1,10}\right]$

其中，K_σ(x)是核函数，它是点d到v_i的距离的概率密度估计，可以将较小的距离转换成较大的权值。优选地，使用高斯核函数：

$K_{\mathrm{\σ}}\left(x\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{1}{2}\frac{x^2}{{\mathrm{\σ}}^2})$

在此假设d_j与v_i的距离满足高斯分布，其中，σ是平滑参数，其描述各样本之间的相似度，σ值越大，核函数就越平滑，且各距离之间的权值差距也就越小。优选地σ＝1。

h)创建一个500bin的直方图。每一个bin代表词汇表里对应元素所得的权值之和：

${\mathrm{bin}}_i=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{ij}},i\∈\left[\mathrm{1,500}\right]$

然后将直方图归一化。

i)将直方图转换成一个500维的特征向量，用SVM分类，删除不符合火焰特征的blob。

应理解，SURF训练集(以及SURF词汇表)也可以采用与步骤400中对RGB直方图的颜色特征相似的训练集和训练方法而得到。

这样，对于每一个新样本blob，经过上述匹配判断，得到的是一个500维 关于匹配概率的特征向量，这个向量作为该blob的总体特征描述；然后用已经事先训练好的SURF特征分类器(例如SVM分类器)对该新样本blob的SURF特征向量进行匹配判断，若分类匹配判断的结果为符合火焰特征，则保留该blob，否则删除该blob。

图2a－2c是根据本发明的实施例的SURF描述子的匹配判断的示意图。在图2a－2c所示的实施例中，图2a中的各小写英文字母a－j代表多个SURF描述子的聚类中心，即，“SURF词汇表”里的特征元素(特征词汇)，而方形(左方)、三角形(上方)、菱形(右方)标记代表新获取的样本，分别与聚类中心a－j相距一定距离，如图2a中所示，上方的三角形标记距离聚类中心b最近，右方的菱形标记距离聚类中心c最近，而左方的方形标记处于聚类中心h和i之间。在图2c中显示出一个新样本(例如方形标记)只能与一个最近的聚类中心(即“特征词汇”)h相匹配的直方图；而在图2b中显示出一个新样本(例如方形标记)可以与多个最近的聚类中心(即“特征词汇”)相匹配的直方图，即，与最近的聚类中心h和次近的聚类中心i相匹配，其中多个聚类中心(例如h和i)中与新样本距离越小的聚类中心具有越大权值。根据例如如图2b和2c所示的直方图，可得到针对每个新样本的匹配概率特征向量。

优选地，在步骤600中，对剩下的blob的运动特性和稳定性进行判断，删除不符合火焰特征的blob，优选地具体如下：

a)首先创建一个长度为L的缓存队列Q_i，i＝1，2，...，L，其中保存的是每一帧的前景二值图和这一帧新出现的blob的序列。L的值例如由摄像机每秒的帧数决定。

b)背景建模初始化完成后的第F+1帧是火焰检测算法运行的第一帧，因此所有的blob都被视为新出现的，将这一帧的前景二值图和blob序列插入Q。

c)对于第F+1帧后的每一帧，检查这一帧的blob是否与Q里各帧的blob匹配。记这一帧的blob的外接矩形为R₁，缓存里的一个blob的外接矩 形为R₂，矩形的面积为area，则匹配的条件为：

$\frac{\max ({\mathrm{area}}_{R_1},{\mathrm{area}}_{R_2})}{\min ({\mathrm{area}}_{R_1},{\mathrm{ar}{\mathrm{ea}}_R}_2)}<2\mathrm{and}\frac{{\mathrm{area}}_{R_1\&cap;R_2}}{{\mathrm{area}}_{R_1}}>0.5$

若能找到一个匹配，说明这一帧的blob在前几帧已经出现过，将其删除。若找不到匹配，说明这一帧的blob是新出现的，将其插入Q。若插入后缓存已满，进入下一步骤。

d)对于缓存队列满后的每一帧，判断Q₁。这时Q₁距离它被插入时已经过去了L帧。检查当前帧在Q₁里的每一个blob外接矩形范围内的前景二值图。若该范围内没有前景像素，则说明这个blob代表的物体可能在这L帧内移走了，不可能是火焰，删除该blob；也有可能是该物体被遮挡了，这时也删除blob，推迟判断。若该范围内有前景像素，进入下一步骤。

e)根据Q内每一帧Q_i的前景二值图，计算Q_i在Q₁里每一个blob外接矩形范围内的参数。参数包括前景像素的周长p和面积a，作为该范围内blob稳定性的衡量标准。然后依次计算周长和面积在L帧内的均值μ_p，μ_a、方差以及标准差σ_p，σ_a。如果blob过于稳定，很可能是静态的灯光，可以排除是火焰的可能性。如果blob过于不稳定，可能是闪光灯、来回徘徊的物体或被频繁遮挡的物体。这种情况有可能是火焰被遮挡，处理办法是推迟判断。稳定和不稳定的判定条件分别为：

σ_p＜t₁μ_p and σ_a＜t₁μ_a；和

σ_p＞t₂μ_p or σ_a＞t₂μ_a

其中t₁和t₂可分别取0.02和0.6。这里假设了监控范围在室内，火焰不受到气流的影响。如果是室外的话，t₁t₂可以取更大的值。稳定性介于这两个范围内的blob，进入下一步骤的判断。

f)L帧内的稳定性中等也有异常的可能性。表现为部分帧很稳定，部分帧非常不稳定。所以，需要进一步判断。只要L帧内连续的0.4L帧是稳定的，那么就有足够的证据来排除火焰的可能性。

g)剩下的blob作为最后的决定，发送到报警模块。

在此步骤中，引入火焰的先验知识来对blob的运动特性和稳定性进行判定，删除火焰已经消失的blob或者推迟判断火焰正在被遮挡(运动特性)的blob，以及排除静态的灯光或闪光灯(稳定性)的情况。由此，经过这种筛选，使得火焰检测的鲁棒性强，误报率小。

在一个实施例中(例如在步骤e)中)，在按照时间先后依次保存L个所述前景物体图像的队列中，如果所述L个前景物体图像的特征值的方差或标准差在下限值至上限值之间(即，blob的稳定性适中)，则筛选出所述队列中最新的前景物体图像作为符合火焰的运动特性和稳定性的前景物体图像；也就是说，该blob可认为符合火焰的运动特性和稳定性。

优选地，所述前景物体图像的特征值是基于所述前景物体图像的外接矩形的周长和/或面积的特征值。

较佳地，在步骤600中所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：在按照时间先后依次保存L个所述前景物体图像的队列中，如果所述L个前景物体图像的外接矩形满足以下关系，则筛选出所述队列中最新的前景物体图像作为符合火焰的运动特性和稳定性的前景物体图像(可参见步骤e)中的相关描述)：

关系一：t2＜σ_p/μ_p＜t1而且σ_a/μ_a＜t1；或者

关系二：σ_p/μ_p＜t1而且t2＜σ_a/μ_a＜t1；

其中，σ_p和μ_p分别是所述L个前景物体图像的外接矩形的周长的标准差和平均值，σ_a和μ_a分别是所述L个前景物体图像的外接矩形的面积的标准差和平均值，t1和t2分别是上限值和下限值；

在一个实施例中，上限值t1可为0.5至0.7且优选地为0.6；和/或下限值t2为0.01至0.03且优选地为0.02。

较佳地，在本发明的各实施例中，所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：在形成所述队列的过程中，当在所述队列中已保 存的前景物体图像少于L个时，如果最新获取的前景物体图像的特征值与所述队列中一个或多个已保存的前景物体图像的特征值之间的差值大于第一阈值，则将所述最新获取的前景物体图像加入到所述队列中(例如，在步骤c)中)。优选地，当所述最新获取的前景物体图像的面积(area_R1)和所述队列中一个或多个已保存的前景物体图像的面积(area_R2)中的大者(max(area_R1，area_R2)与小者(min(area_R1，area_R2)之比小于2且所述最新获取的前景物体图像和所述队列中一个或多个已保存的前景物体图像的重叠部分面积(area_R1∩R2)与所述最新获取的前景物体图像的面积(area_R1)之比大于0.5时，将所述最新获取的前景物体图像加入到所述队列中。应理解，在此所用的阈值可根据需要选择其他的值，例如，比率(max(area_R1，area_R2)/(min(area_R1，area_R2)的判断阈值可以不是2，而可为1.5至2.5的阈值，比率(area_R1∩R2)/(area_R1)的判断阈值可以不是0.5，而可为0.4至0.6的阈值。

较佳地，在本发明的各实施例中，所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：

如果最新获取的前景物体图像的像素不存在于所述队列中每个前景物体图像的外接矩形的范围之内，则判定所述最新获取的前景物体图像不符合火焰特征(例如，在步骤d)中)。

较佳地，在本发明的各实施例中，所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：

如果在所述队列中的L个前景物体图像中连续kL个前景物体图像的特征值之间的方差或标准差小于第二阈值，则判定最新的一个前景物体图像不符合火焰特征，其中k在0.3至0.4之间或在0.4至0.5之间或在0.5至1之间；

优选地所述第二阈值等于所述下限值(例如，在步骤f)中)。

在一个实施例中，当在当前blob范围内没有前景物体图像或blob过于不稳定，则认为很可能是该前景物体正在被遮挡，因而对当前帧的blob推迟判断(即，暂时不作判定)，而留待在后续帧中进行判定。

通过本发明的实施例提供的基于视频分析的火焰检测方法，特别是在进行火焰检测时不仅能够基于火焰的颜色特征(RGB特征)和火焰的局部空间形状特征(SIFT或SURF)、而且还能够基于火焰的随时间变化的特征(运动特性和稳定性)进行筛选和判断，从而能够更加高效准确地检测出火焰情况，能够更加高效准确地获知火焰情况，进一步提高了火焰检测的准确度和降低虚警率，并保证算法的实时性和可扩性。

本发明提供的各种实施例可根据需要以任意方式相互组合，通过这种组合得到的技术方案，也在本发明的范围内。

显然，本领域技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。

Claims (19)

1.一种基于视频分析的火焰检测方法，其特征在于，包括以下步骤：

根据场景图像中的背景提取前景的二值图像，并根据所述前景的二值图像获得多个前景物体图像；

根据所述多个前景物体图像的红绿蓝RGB直方图的颜色特征和根据所述多个前景物体图像的尺度不变特征SIFT或加速鲁棒特征SURF进行筛选，以筛选出符合火焰特征的所述前景物体图像；

所述筛选包括：基于在包含所述SIFT或SURF的SIFT或SURF模型中的SIFT或SURF词汇表并根据所述多个前景物体的SIFT或SURF进行所述筛选；和基于在包含所述RGB直方图的颜色特征的RGB模型中的RGB词汇表并根据所述多个前景物体的RGB直方图颜色特征进行所述筛选；

所述基于在包含所述RGB直方图的颜色特征的RGB模型中的RGB词汇表并根据所述多个前景物体的RGB直方图颜色特征进行所述筛选包括：

对每一个前景物体的外接矩形范围内提取RGB直方图，所述RGB直方图由R、G、B颜色通道的三个一维直方图组成，每个通道的直方图有32个块，总的直方图是一维96块；

将所述RGB直方图归一化，得到96维的所述RGB直方图的特征向量；

将所述RGB直方图的特征向量利用支持向量机SVM进行分类筛选，并将不符合火焰特征的前景物体删除；其中，SVM的训练集包含正样本和负样本，所述正样本的权值设置为所述负样本的5倍，且所述训练集被分成5份进行随机交叉校验，c和gamma参数的范围均为2^-8至2⁸。

2.如权利要求1所述的火焰检测方法，其特征在于，

所述筛选包括：根据所述多个前景物体图像的RGB直方图的颜色特征并根据所述多个前景物体图像的SIFT或SURF、且根据所述多个前景物体图像的运动特性和稳定性进行筛选。

3.如权利要求1所述的火焰检测方法，其特征在于，进一步包括：

在根据场景图像中的背景提取前景的二值图像之前，对所述背景模型进行初始化，根据实时获得的前景物体图像实时更新所述背景模型；和/或

在根据所述多个前景物体图像的RGB直方图的颜色特征进行筛选之前，对包含所述RGB直方图的颜色特征的RGB模型进行初始化；和/或

在根据所述多个前景物体图像的SIFT或SURF进行筛选之前，对包含所述SIFT或SURF的SIFT或SURF模型进行初始化。

4.如权利要求2所述的火焰检测方法，其特征在于，进一步包括：

在根据场景图像中的背景提取前景的二值图像之前，对所述背景模型进行初始化，根据实时获得的前景物体图像实时更新所述背景模型；和/或

在根据所述多个前景物体图像的RGB直方图的颜色特征进行筛选之前，对包含所述RGB直方图的颜色特征的RGB模型进行初始化；和/或

在根据所述多个前景物体图像的SIFT或SURF进行筛选之前，对包含所述SIFT或SURF的SIFT或SURF模型进行初始化。

5.如权利要求1至4中任一项所述的火焰检测方法，其特征在于，

所述筛选包括：将所述前景物体图像的SIFT或SURF描述子与所述SIFT或SURF词汇表中的多个SIFT或SURF描述子匹配判断，以筛选出匹配成功的符合SIFT或SURF火焰特征的所述前景物体图像；和/或，将所述前景物体图像的RGB描述子与RGB词汇表里的多个RGB描述子匹配判断，以筛选出匹配成功的符合RGB火焰特征的所述前景物体图像。

6.如权利要求5所述的火焰检测方法，其特征在于，

所述匹配判断包括：利用高斯核函数进行所述匹配判断。

7.如权利要求2至4中任一项所述的火焰检测方法，其特征在于，

所述筛选包括：以SIFT或SURF模型中的SIFT或SURF词汇表中的SIFT或SURF聚类中心构建KD树并根据该KD树和所述多个前景物体的SIFT或SURF进行所述筛选；和/或，以RGB模型中的RGB词汇表中的RGB聚类中 心构建KD树并根据该KD树和所述多个前景物体的RGB直方图颜色特征进行所述筛选。

8.如权利要求5所述的火焰检测方法，其特征在于，

所述筛选包括：以SIFT或SURF模型中的SIFT或SURF词汇表中的SIFT或SURF聚类中心构建KD树并根据该KD树和所述多个前景物体的SIFT或SURF进行所述筛选；和/或，以RGB模型中的RGB词汇表中的RGB聚类中心构建KD树并根据该KD树和所述多个前景物体的RGB直方图颜色特征进行所述筛选。

9.如权利要求6所述的火焰检测方法，其特征在于，

所述筛选包括：以SIFT或SURF模型中的SIFT或SURF词汇表中的SIFT或SURF聚类中心构建KD树并根据该KD树和所述多个前景物体的SIFT或SURF进行所述筛选；和/或，以RGB模型中的RGB词汇表中的RGB聚类中心构建KD树并根据该KD树和所述多个前景物体的RGB直方图颜色特征进行所述筛选。

10.如权利要求1至4中任一项所述的火焰检测方法，其特征在于，

所述筛选包括：根据所述多个前景物体图像的RGB直方图的颜色特征并根据所述多个前景物体图像的SIFT或SURF、且根据所述多个前景物体图像的运动特性和稳定性进行筛选；

其中所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：在按照时间先后依次保存L个所述前景物体图像的队列中，如果所述L个前景物体图像的特征值的方差或标准差在下限值至上限值之间，则筛选出所述队列中最新的前景物体图像作为符合火焰的运动特性和稳定性的前景物体图像。

11.如权利要求5所述的火焰检测方法，其特征在于，

所述筛选包括：根据所述多个前景物体图像的RGB直方图的颜色特征并根据所述多个前景物体图像的SIFT或SURF、且根据所述多个前景物体图像的运动特性和稳定性进行筛选；

其中所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：在按照时间先后依次保存L个所述前景物体图像的队列中，如果所述L个前景物体图像的特征值的方差或标准差在下限值至上限值之间，则筛选出所述队列中最新的前景物体图像作为符合火焰的运动特性和稳定性的前景物体图像。

12.如权利要求6所述的火焰检测方法，其特征在于，

所述筛选包括：根据所述多个前景物体图像的RGB直方图的颜色特征并根据所述多个前景物体图像的SIFT或SURF、且根据所述多个前景物体图像的运动特性和稳定性进行筛选；

其中所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：在按照时间先后依次保存L个所述前景物体图像的队列中，如果所述L个前景物体图像的特征值的方差或标准差在下限值至上限值之间，则筛选出所述队列中最新的前景物体图像作为符合火焰的运动特性和稳定性的前景物体图像。

13.如权利要求7所述的火焰检测方法，其特征在于，

所述筛选包括：根据所述多个前景物体图像的RGB直方图的颜色特征并根据所述多个前景物体图像的SIFT或SURF、且根据所述多个前景物体图像的运动特性和稳定性进行筛选；

其中所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：在按照时间先后依次保存L个所述前景物体图像的队列中，如果所述L个前景物体图像的特征值的方差或标准差在下限值至上限值之间，则筛选出所述队列中最新的前景物体图像作为符合火焰的运动特性和稳定性的前景物体图像。

14.如权利要求8至9中任一项所述的火焰检测方法，其特征在于，

所述筛选包括：根据所述多个前景物体图像的RGB直方图的颜色特征并根据所述多个前景物体图像的SIFT或SURF、且根据所述多个前景物体图像的运动特性和稳定性进行筛选；

其中所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：在按照时间先后依次保存L个所述前景物体图像的队列中，如果所述L个前景 物体图像的特征值的方差或标准差在下限值至上限值之间，则筛选出所述队列中最新的前景物体图像作为符合火焰的运动特性和稳定性的前景物体图像。

15.如权利要求2、4、11、12或13中任一项所述的火焰检测方法，其特征在于，

所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：在按照时间先后依次保存L个所述前景物体图像的队列中，如果所述L个前景物体图像的外接矩形满足以下关系，则筛选出所述队列中最新的前景物体图像作为符合火焰的运动特性和稳定性的前景物体图像：

关系一：t2＜σ_p/μ_p＜t1而且σ_a/μ_a＜t1；或者

关系二：σ_p/μ_p＜t1而且t2＜σ_a/μ_a＜t1；

其中，σ_p和μ_p分别是所述L个前景物体图像的外接矩形的周长的标准差和平均值，σ_a和μ_a分别是所述L个前景物体图像的外接矩形的面积的标准差和平均值，t1和t2分别是上限值和下限值。

16.如权利要求15所述的火焰检测方法，其特征在于，所述根据所述多个前景物体图像的运动特性和稳定性进行筛选包括：

在形成所述队列的过程中，当在所述队列中已保存的前景物体图像少于L个时，如果最新获取的前景物体图像的特征值与所述队列中一个或多个已保存的前景物体图像的特征值之间的差值大于第一阈值，则将所述最新获取的前景物体图像加入到所述队列中。

17.如权利要求16所述的火焰检测方法，其特征在于，所述前景物体图像的特征值是基于所述前景物体图像的外接矩形的周长和/或面积的特征值。

18.如权利要求15所述的火焰检测方法，其特征在于，t1为0.6和/或t2为0.02。

19.如权利要求16所述的火焰检测方法，其特征在于，当所述最新获取的前景物体图像的面积和所述队列中一个或多个已保存的前景物体图像的面积中的大者与小者之比小于2且所述最新获取的前景物体图像和所述队列中一个 或多个已保存的前景物体图像的重叠部分面积与所述最新获取的前景物体图像的面积之比大于0.5时，将所述最新获取的前景物体图像加入到所述队列中；和/或

如果最新获取的前景物体图像的像素不存在于所述队列中每个前景物体图像的外接矩形的范围之内，则判定所述最新获取的前景物体图像不符合火焰特征；和/或

如果在所述队列中的L个前景物体图像中连续kL个前景物体图像的特征值之间的方差或标准差小于第二阈值，则判定最新的一个前景物体图像不符合火焰特征，其中k在0.3至0.4之间或在0.4至0.5之间或在0.5至1之间。