CN108319964B - 一种基于混合特征和流形学习的火灾图像识别方法 - Google Patents

Abstract

本发明公开一种基于混合特征和流形学习的火灾图像识别方法，首先采用分块处理的策略将一幅图像划分成若干个不重叠的子块，通过在HSV颜色空间中建立的两个颜色模型和基于颜色直方图的相似性匹配方法检测这些子块是否为候选火灾区域，其次，考虑到火焰区域和烟雾区域都存在显著的视觉特性，采用结合局部特性和纹理特征的混合特征提取方法，捕捉到更多的图像细节，提高后续分类的准确率。最后，利用流形学习方法构造了基于双流形拓扑结构的火焰流形和烟雾流形，并在这两类图像流形之上建立了用于最终判定火灾图像的分类器，不仅减轻了高维特征带给分类器的负担，而且获取了较高的火灾图像识别准确率。

Description

一种基于混合特征和流形学习的火灾图像识别方法

技术领域

本发明涉及一种图像识别方法，尤其是涉及一种基于混合特征和流形学习的火灾图像识别方法。

背景技术

随着我国经济和社会的快速发展，每天都有大量的火灾事件发生，火灾在给人类带来伤亡的同时也造成了巨大的财产损失。因而，如何有效地对火灾事件进行早期识别与预警具有重要的研究价值和现实意义。传统的火灾识别方法大多依赖于化学或气体传感器，但是这些传感器通常需要安装在有限空间中的固定位置，无法适用于开放或空旷区域，例如：森林火灾识别、秸秆燃烧识别、高层住宅火灾识别等应用中。相比于基于传感器的火灾识别方法，基于图像/视频的火灾识别方法由于具有响应时间更快、有效检测范围更广、识别精度更高、成本更低的优点，已被广泛用于各种火灾识别任务中。特别是，近期采用安装有数字摄像机和GPS接收器的无人机开展火灾隐患检测，使得基于图像/视频的火灾识别方法有着更为广阔的应用前景。

如今，越来越多的研究者从事基于图像/视频的火灾识别方法研究。这类识别方法通常包括两个阶段：候选火灾区域生成阶段和最终决策阶段。在第一个阶段中，最为常用的是背景差法和颜色模型法。背景差法通过建立背景模型，利用当前图像/帧与背景图像之间的差值获取可疑区域。颜色模型法充分利用火焰和烟雾在颜色特征上的显著性，在颜色空间中建立各种不同的过滤模型。相比于背景差法容易受到光照条件和背景变化的影响，颜色模型法由于具有计算简单、执行快速的优点在实时处理系统中使用较多。在第二个阶段中，有两种决策方法：直接判定和基于分类器的判定。直接判定是指直接利用特征，采用特征融合或分层处理的方法进行识别，可以分成四种策略：(1)利用火焰和烟雾的静态特征和动态特征，例如：火焰的几何特性(面积增长率、火焰尖角、圆形度等)以及烟雾的运动特点；(2)利用针对被提取特征的时空分析；(3)利用纹理统计工具获取的纹理特征；(4)为了防止由于仅依靠少量特征进行火灾识别而导致的误判现象，综合利用多种特征判定候选火灾区域的真伪，例如：采用火焰或烟雾的颜色、运动和纹理的融合特性去识别候选火灾区域。基于分类器的判定通常引入智能技术和基于学习的方法，其关键步骤是先提取图像特征后建立各种分类器。大量研究结果表明，基于分类器的判定方法不仅能够处理复杂环境下的火灾识别任务，而且能够获取较高的识别准确率。在各种分类器中，神经网络和支持向量机使用最多，其次还有贝叶斯分类器、马尔可夫模型、主动学习、极限学习机以及深度学习等等。

然而，在实际应用中，大多数基于图像/视频的火灾识别方法的性能会下降甚至会失效，这主要是由于图像背景的复杂和可变性导致了获取的目标区域不准确。还有一些其它原因，例如：摄像机位置较远、图像较模糊、烟雾太浓太厚覆盖了火焰区域，这些都使得火焰或烟雾的显著特性无法被正确地获取。为了解决以上问题，需要提出一些新的策略，例如：考虑到火焰和烟雾在视觉内容上存在的明显差异，可为火焰和烟雾分别建立不同的识别模型。另外，尽管多特征融合的方法能够有效地提升识别性能，但可能会产生大量的冗余信息，并且由于特征维数的增加加重了后续分类器的负担。

发明内容

本发明的目的在于提出一种基于混合特征和流形学习的火灾图像识别方法，一方面，利用颜色、局部和纹理特征构造候选火灾区域检测模型、提取混合图像特征，不仅加快了系统执行速度，而且能够捕捉到更多的图像细节；另一方面，将图像识别问题转换为非线性流形之间的度量问题，在基于双流形拓扑结构的火焰流形和烟雾流形之上构造用于火灾图像识别的分类器，有效降低了特征维数的同时获得了较高的识别准确率。具体的技术方案如下：

一种基于混合特征和流形学习的火灾图像识别方法，其特征在于，该识别方法包括如下步骤：

步骤一：候选火灾区域检测；

将一幅图像划分为多个不重叠的子块，分别利用火焰均值直方图和烟雾均值直方图建立用于检测候选火灾区域的在HSV颜色空间中的火焰颜色模型和烟雾颜色模型，针对一幅图像中的每个子块，分别将其颜色直方图与火焰颜色模型和烟雾颜色模型进行相似性匹配，若一幅图像中的所有子块与检测模型的匹配值都超过阈值，则这幅图像为非火灾图像，不再进入后面的步骤，若一幅图像中有子块与检测模型的匹配值在阈值范围内，则该子块为图像中的候选火灾区域，进入后面的步骤；

步骤二：混合特征提取；

针对候选火灾区域，利用尺度不变特征变换算法和关键点词袋方法提取局部特征向量F_loc，利用灰度共生矩阵和小波分析方法提取纹理特征向量F_tex，两者组合在一起形成混合特征向量F_com＝[F_loc,F_tex]；

步骤三：基于流形学习的分类器构造；

利用基于球状邻域的局部线性嵌入算法建立火焰流形和烟雾流形，两类流形均设计为双流形拓扑结构，用来对步骤二获得的混合特征向量Fcom进行降维，采用基于流形中心点的距离度量方法构造基于火焰流形的分类器和基于烟雾流形的分类器，实现对火灾图像的最终识别，其中，所述的基于球状邻域的局部线性嵌入算法是将局部线性嵌入算法中的近邻点的固定选取优化为通过建立球状邻域选择近邻点，其余步骤与局部线性嵌入算法相同。

进一步地，所述的步骤一中，所述的相似性匹配的距离度量公式为：

其中，hA_K＝nk/N，

为待测子块与火焰颜色模型之间的距离，

为待测子块与烟雾颜色模型之间的距离，H_A是待测子块的颜色直方图，

是火焰颜色模型的均值直方图(采用M₁幅火焰图像计算火焰颜色模型的均值直方图)，

是烟雾颜色模型的均值直方图(采用M₂幅烟雾图像计算烟雾颜色模型的均值直方图)，L表示颜色等级数目，N是待测子块中的像素点数目，n_k是待测子块中具有第k个颜色等级上颜色的像素点数目，N'_i(i＝1,...,M₁)是M₁幅火焰图像中第i幅图像的像素点数目，n'_{k_i}(i＝1,...,M₁)是M₁幅火焰图像中第i幅图像中具有第k个颜色等级上颜色的像素点数目，N”_i(i＝1,...,M₂)是M₂幅烟雾图像中第i幅图像的像素点数目，n”_{k_i}(i＝1,...M₂,)是M₂幅烟雾图像中第i幅图像中具有第k个颜色等级上颜色的像素点数目。

进一步地，所述的步骤二中，所述的局部特征F_loc的提取具体为：先利用尺度不变特征变换算法提取图像中所有检测为候选火灾区域的子块的局部特征，再利用关键点词袋方法为每个子块生成统一的局部特征向量。

进一步地，所述的步骤二中，所述的纹理特征F_tex的提取具体为：先利用灰度共生矩阵方法为每个子块计算纹理特征，获取纹理高频信息，用一个多维的特征向量来表述，再利用小波分析方法实施小波分解，得到一个多维的纹理特征向量。

进一步地，所述的步骤三中，所述的分类器的构造过程中，火焰流形和烟雾流形均采用一对正子流形和负子流形形成的双流形拓扑结构，先计算不同子流形上的流形中心点，再利用基于流形中心点的距离度量以及最近邻原则，实现对火灾图像的最终判定，即若一幅图像中的一个子块被识别为火焰或烟雾区域，则这幅图像被判定为火灾图像，若一幅图像中的所有子块都被识别为非火焰或非烟雾区域，则这幅图像被判定为非火灾图像。

进一步地，所述的步骤三中，所述的基于火焰流形的分类器和基于烟雾流形的分类器的计算公式为：

f_flame(x')＝d_pos(y'-M_fp)-d_neg(y'-M_fn)＝||y'-C_fp||-||y'-C_fn||

f_smoke(x')＝d_pos(y'-M_sp)-d_neg(y'-M_sn)＝||y'-C_sp||-||y'-C_sn||

其中，y′是高维空间中测试图像x′在低维流形上的嵌入映射，M_fp是与火焰图像对应的正子流形，M_fn是与非火焰图像对应的负子流形，M_sp是与烟雾图像对应的正子流形，M_sn是与非烟雾图像对应的负子流形，C_sp是M_fp的流形中心点，C_fn是M_fn的流形中心点，C_sp是M_sp的流形中心点，C_sn是M_sn的流形中心点，d_pos(·)表示测试图像流形与正子流形之间的距离度量，d_neg(·)表示测试图像流形与负子流形之间的距离度量，||·||表示采用的是欧式距离公式。

本发明的有益效果如下：

本发明充分考虑火灾图像中的火焰区域与烟雾区域在视觉上存在的显著差异，分别建立了两种不同的颜色模型，即火焰颜色模型和烟雾颜色模型，用于候选火灾区域的检测，分别设计了两种不同的图像流形，即火焰流形和烟雾流形，用于分类器的构造，弥补了传统方法为火灾图像统一建模的缺陷，有效提高了火灾图像的识别准确率。采用分块处理的策略，避免了对图像中候选火灾区域进行分割预处理，不仅简化了计算复杂度，而且减少了背景区域的干扰，有利于图像中过火面积与位置的估算。本发明的方法应用到真实图像/视频帧上时火灾图像识别准确率较高。

附图说明

图1是本发明的一种基于混合特征和流形学习的火灾图像识别方法的流程图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的一种基于混合特征和流形学习的火灾图像识别方法主要包括以下步骤：

步骤一；候选火灾区域检测；

在图像识别领域，颜色特征由于执行快速、性能稳定、且具有一定的鲁棒性的特点成为最为常用的图像特征之一。通过对各种场景下的火灾图像进行观察和分析，发现火焰和烟雾通常都有自身独特的颜色特性，例如：火焰的颜色一般在红色到黄色的颜色区间之中，烟雾的颜色会呈现出不同深度的灰色或黑色。因此，利用颜色特征发现图像中的可疑火灾区域、过滤非火灾区域是一种简便而有效的方法(尽管图像的背景中可能会有一些物体与火焰或烟雾有相似的颜色特性)。

(1)分块处理

为了减少背景干扰、适用于实时检测，本发明中将一幅图像(尺寸归一化为320×240或240×320像素)划分成100个不重叠的子块(尺寸为32×24或24×32像素)。很显然，一幅图像中划分的子块数目越多，子块的区域面积越小，检测的粒度越细，就越能够捕捉到早期的小范围火灾区域，但会使得计算复杂度加大。因此，划分子块数目的多少应根据实际需求进行设置。

候选火灾区域检测规则如下：针对一幅图像中的每个子块，将其颜色直方图分别与火焰颜色模型和烟雾颜色模型进行相似性匹配，只要有一个匹配值在设定的阈值范围内，就认为该子块是候选火灾区域，并且做相应的标识(用‘F’标识疑似火焰区域，用‘S’标识疑似烟雾区域)。当一幅图像中的所有子块分别与两个颜色模型匹配完成之后，如果所有的匹配值都超过阈值，则这幅图像被判断为非火灾图像，不再参加后面的操作。需要说明的是，对疑似火灾区域进行标识的目的是为了方便后续分类器的处理(由于火焰区域与烟雾区域在视觉特征上有显著区别，故分开建立图像流形)。为了防止漏检，如果一个子块的颜色直方图与两个颜色模型的匹配值都在阈值范围内时，则该子块后续将分别进入不同的分类过程(即火焰流形和烟雾流形)。此外，基于分块处理的候选火灾区域检测可以根据候选火灾区域的数目估算过火面积，还可以通过一幅图像中的标志物初步确定火灾发生的位置。

(2)基于颜色模型的相似性匹配

颜色特征的研究一般要限定在特定的颜色空间中，这是因为同样的颜色特征提取算法在不同的颜色空间中效果不同。相比于其它颜色空间，HSV颜色空间依照人类的视觉系统进行设计，在此颜色空间中的颜色信息不会受到光照变化的影响。因此，本发明中采用的颜色模型建立在HSV颜色空间中。在HSV颜色空间中，颜色信息通常用三个分量来表示：色度H、饱和度S和亮度V。

颜色直方图反映了图像中各种颜色信息的分布情况，由于它能够描述难以分割的图像特性，因而适合用于火灾图像识别中。颜色直方图的横轴表示颜色等级，纵轴表示某个颜色等级上具有该颜色的像素数目，颜色直方图定义为：

H＝{h_k＝n_k/N|k＝0,1,...,L-1} (1)

其中，N表示图像的总像素数目；L表示颜色等级数目；n_k表示第k个颜色等级上具有该颜色的像素数目。为了减少存储空间和计算复杂度，分别对H、S、V进行量化。由于三个分量对颜色信息的贡献程度不同，并且不同的量化级数对颜色直方图有较大的影响，因而经过测试后采用16H×4S×1V的量化策略。

本发明中建立两种不同的颜色模型，即在火焰均值直方图上建立火焰颜色模型，在烟雾均值直方图上建立烟雾颜色模型。用于计算均值直方图的100幅火灾图像(50幅火焰图像和50幅烟雾图像)来自于训练集。需要说明的是，为了获得好的识别效果，事先对100幅图像进行加工，采用人工抠图方式从图像中分割出有效区域，并进行尺寸归一化处理。

在相似性匹配过程中，最重要的是设计合适的距离度量公式。待测子块与火焰颜色模型之间的距离越近，表明该子块是疑似火焰区域的可能性越大；同样，待测子块与烟雾颜色模型之间的距离越近，表明该子块是疑似烟雾区域的可能性越大。假设H_A是待测子块的颜色直方图，

是火焰颜色模型的均值直方图，

是烟雾颜色模型的均值直方图，用于相似性匹配的两个距离度量公式分别定义为：

其中，hA_K＝nk/N，

为待测子块与火焰颜色模型之间的距离，

为待测子块与烟雾颜色模型之间的距离，H_A是待测子块的颜色直方图，

是火焰颜色模型的均值直方图(采用M₁幅火焰图像计算火焰颜色模型的均值直方图)，

是烟雾颜色模型的均值直方图(采用M₂幅烟雾图像计算烟雾颜色模型的均值直方图)，L表示颜色等级数目，N是待测子块中的像素点数目，n_k是待测子块中具有第k个颜色等级上颜色的像素点数目，N’_i(i＝1,...,M₁)是M₁幅火焰图像中第i幅图像的像素点数目，n’_{k_i}(i＝1,...,M₁)是M₁幅火焰图像中第i幅图像中具有第k个颜色等级上颜色的像素点数目，N”_i(i＝1,...,)是M₂幅烟雾图像中第i幅图像的像素点数目，n”_{k_i}(i＝1,...,M₂)是M₂幅烟雾图像中第i幅图像中具有第k个颜色等级上颜色的像素点数目。

检测模型的阈值设置较高，更多非火灾区域可能被误检；相反，阈值设置较低，更多火灾区域可能被漏检。因此，阈值的选取应根据实际需求。本发明中，火焰图像子块的阈值设置为0.7，烟雾图像子块的阈值设置为0.6。此外，M₁和M₂取值为50。

步骤二：混合特征提取

充分利用火焰和烟雾的特性，采用两种特征提取方法(局部特征提取和纹理特征提取)对候选火灾区域做进一步的识别处理，具体如下：

由于经过颜色过滤操作后得到的候选火灾区域，不仅包含真实的火焰或烟雾区域，而且也包含一些类似火焰或烟雾颜色的区域(例如：看上去像烟雾的云，穿着橙色衣服的人，灰色背景中的灰色烟雾，黑夜中的黑色烟雾等)，因而需要进一步分析这些候选火灾区域，确定它们是真实的火焰或烟雾区域还是类似火焰或烟雾颜色的区域。

1)局部特征提取

尺度不变特征变换(SIFT)是一种具有代表性的局部描述算子，它对于尺度、光照、旋转等具有不变性，可以有效地检测出图像中的关键点。然而，当所有的子块经过SIFT算法处理后，从每个子块中提取的关键点的数目都不相同，这些具有不同维数的特征向量无法输入到分类器中。关键点词袋(BOK)是一种对图像仿射具有不变性的向量量化技术。使用BOK技术能够将子块中的每个关键点映射到视觉词典中的某个词汇上，从而解决了SIFT描述算子无法直接建模的问题。基于SIFT算子和BOK技术的局部特征提取包括以下三个步骤：

第一步：关键点检测与特征描述算子生成。(1)将图像子块与二维高斯核函数进行卷积，利用相邻尺度的两幅高斯图像之间的差值建立高斯差分尺度空间；(2)通过极值点检测确定关键点的近似位置和尺度，由于这些关键点可能包含无用信息，先基于一个拟合模型进一步计算关键点的精确位置和尺度，再删除一些低对比度和不稳定的边缘响应点；(3)利用关键点邻域像素的梯度方向分布特性确定每个关键点的主方向，并以每个关键点为圆心，将其邻域划分成4×4的子区域，在每个子区域中得到8个方向的梯度，生成相应的梯度直方图，最终每个关键点用一个128(4×4×8)维的特征描述算子来表示。

第二步：基于聚类算法的视觉词典构建。当提取所有子块的SIFT算子之后，利用K-MEANS算法对其进行聚类，生成K个聚类中心，每个聚类中心代表一个视觉单词，由K个视觉单词构建视觉词典。K值的大小与视觉单词直方图的维数相关。如果K值设置的不合适，一些不相近的关键点就会聚集到一个聚类中心，从而影响了分类精度。

第三步：为每个子块生成统一的特征向量。传统方法通常采用统一投票策略直接判断关键点与视觉词典中视觉单词的相似性，即将每个关键点映射到最相似的视觉单词上。然而，这种方法没有考虑关键点与视觉单词之间的距离不同，对视觉单词的贡献也会不同。例如：两个相似的关键点可能被错误地映射到不同的视觉单词上，即使这两个关键点被映射到同一个视觉单词上，由于它们与这个视觉单词之间的距离不同，这两个关键点对视觉单词的贡献也会不同。因此，本发明中采用设置权值的方式对视觉单词进行更新，并基于更新的视觉单词为每个子块建立相应的视觉单词直方图。针对每个子块中的每个关键点计算M个最相近的视觉单词，根据关键点与视觉单词之间的距离不同，将不同的权值分配到M个视觉单词上。假设视觉词典的大小为K，W＝{w₁,w₂,...,w_K}表示权值集合，w_k(k＝1,...,K)表示关键点对视觉单词k的贡献权值，定义为：

其中，N_i表示与视觉单词k第i个相似的关键点特征的数目，D(j,k)表示关键点j和视觉单词k之间的距离(采用欧式距离)。经过归一化处理，每个子块用一个K维的特征向量来表示，考虑到计算复杂度，本发明中K设置为200，M设置为4。

2)纹理特征提取

仅使用SIFT算子无法全面地捕捉到火灾图像的特征信息，本发明中采用一种混合局部特征和纹理特征的多特征提取方法，即将两类特征组合在一起，形成一个特征向量输入到分类器中。假设提取的局部特征向量表示为F_loc＝[f₁,f₂,...,f_M]，其中，M是局部特征向量的特征维数，提取的纹理特征向量表示为F_tex＝[f₁’,f₂’,...,f_N’]，其中，N是纹理特征向量的特征维数，则两者组合在一起形成的特征向量表示为F_com＝[F_loc,F_tex]＝[f₁,f₂,...,f_M,f₁’,f₂’,...,f_N’]，其中，M+N是混合特征向量的特征维数。

灰度共生矩阵(GLCM)和小波分析(WA)是是两种用于分析和提取纹理特征的方法。GLCM是一种统计方法，它基于对灰度值空间排列的二次统计量的估计，反映了图像的灰度分布，如方向、相邻间隔和变化幅度。WA是一种多尺度分析工具，用于将图像分解成子带后提取多尺度的纹理特征，它既能反映图像像素的光谱信息，又能反映图像像素的空间信息。因此，将GLCM和WA相结合可以获取更多的图像纹理信息。

针对每个候选子块采用GLCM方法计算纹理特征，每个子块的纹理特征用5个二次统计量来描述，分别为能量(ENG)、对比度(CON)、熵(ENT)、逆差矩(IDM)和相关性(COR)，定义为：

其中，P(i,j|d,θ)是概率密度函数，i和j是像素的强度，d是像素对之间的相对距离，θ是它们的相对方向，4个参数分别定义为：

为了获得旋转不变性的纹理特征，分别在四个方向(0°,45°,90°,135°)上计算上面5个值，求得平均值后形成一个5维的特征向量。

由于基于GLCM方法提取的纹理特征不能在空间域中较好地区分纹理和噪声，因而在对图像低频信息的捕捉上会出现不准确现象。为了弥补GLCM特征的不足，本发明中将GLCM特征与WA特征相结合，用来增强对火灾图像纹理信息的识别性能，即利用GLCM方法的特点获取纹理高频信息，利用WA方法的特点获取纹理低频信息。首先，利用小波分析方法对每个子块实施两层小波分解，变换后得到1个低频子带和6个高频子带图像；然后，对每个子带分别计算其均值μ_s,k、方差δ_s,k和能量E_s,k，分别定义为：

其中，f_s,k(i,j)表示在s个尺度k个方向上的子带图像的系数。最后，将所有子带上的3个值级联，形成一个21维的特征向量。

步骤三：基于流形学习的分类器构造

尽管采用多特征融合的方法能够获得好的分类性能，但这需要花费大量的时间，从而无法适用于实时处理。本发明中引入一种基于球状邻域的局部线性嵌入算法(Globular Neighborhood based Locally Linear Embedding，简称为GNLLE)[朱蓉.基于语义的WEB图像分类研究.浙江大学博士论文，2011，pp:61-66；]，用来对混合特征向量进行降维，以便减轻分类器的负担。

GNLLE算法是对局部线性嵌入(LLE)算法的改进，主要区别在于原有LLE算法中近邻点的固定选取优化为通过建立球状邻域选择近邻点，GNLLE算法的主要步骤如下：

第一步：假设X(X＝{x₁,x₂,...,x_N})是一个在高维空间中包含N个样本点的数据集，Y(Y＝{y₁,y₂,...,y_N})是X在低维流形上的映射点，针对X中的每个样本点x_i(i＝1,2,...,N)，建立其球状邻域(选定半径r)，寻找x_i在该球状邻域内的p_i个近邻点x_{i_j}(j＝1,2,...,p_i)。

第二步：利用p_i个近邻点计算x_i的局部重建权值w_{i_j}(j＝1,2,...,p_i)，最小化重建误差函数公式：

其中，

第三步：由局部重建权值和p_i个近邻点计算x_i在低维流形上的映射点y_i的嵌入坐标，最小化损失函数公式：

考虑到火焰与烟雾在视觉特征上的显著差异性，分别基于GNLLE算法建立火焰流形和烟雾流形，这两类流形均为双流形拓扑结构。假定Mf表示用于火焰图像分类的火焰流形，M_S表示用于烟雾图像分类的烟雾流形，则两类流形的拓扑结构描述分别为：M_f＝{M_fp,M_fn}，Ms＝{M_sp,M_sn}，其中：M_fp和M_sp分别是与火焰图像和烟雾图像对应的正子流形，M_fn和M_sn分别是与非火焰图像和非烟雾图像对应的负子流形。为了计算简便，采用基于流形中心点的距离度量方法。以火焰流形为例，令从N_p幅火焰图像中提取的高维空间中的混合特征向量表示为X_p＝{x_{p_1},x_{p_2},...,x_{p_Np}}，Y_p＝{y_{p_1},y_{p_2},...,y_{p_Np}}是采用GNLLE算法对X_p进行降维后得到的正子流形M_fp上的嵌入映射点，从N_n幅非火焰图像中提取的高维空间中的混合特征向量表示为X_n＝{x_{n_1},x_{n_2},...,x_{n_Nn}}，Y_n＝{y_{n_1},y_{n_2},...,y_{n_Nn}}是采用GNLLE算法对X_n进行降维后得到的负子流形M_fn上的嵌入映射点，M_fp的流形中心点表示为C_fp，M_fn的流形中心点表示为C_fn，最小化代价函数公式：

其中，||·||表示采用的是欧式距离公式。

基于流形学习的分类器构造如下：先计算测试图像与两个子流形(正子流形和负子流形)之间的距离，再依据最近邻原则，将测试图像划归到相应的类别中去。用于火灾识别的两个图像分类器(火焰分类器和烟雾分类器)分别定义为：

f_flame(x')＝d_pos(y'-M_fp)-d_neg(y'-M_fn)＝||y'-C_fp||-||y'-C_fn|| (17)

f_smoke(x')＝d_pos(y'-M_sp)-d_neg(y'-M_sn)＝||y'-C_sp||-||y'-C_sn|| (18)

其中：y’是高维空间中测试图像x’在低维流形上的嵌入映射点，C_sp是与烟雾图像对应的正子流形M_sp的流形中心点，C_sn是与非烟雾图像对应的负子流形M_sn的流形中心点。d_pos(·)表示测试图像流形与正子流形之间的距离度量，d_neg(·)表示测试图像流形与负子流形之间的距离度量，||·||表示采用的是欧式距离公式。当f_flame(x’)≥0时，测试图像x’被归类为火焰图像；否则，x'被归类为非火焰图像。同样，当f_smoke(x’)≥0时，测试图像x’被归类为烟雾图像；否则，x'被归类为非烟雾图像。很显然，只要一幅图像中的一个子块被识别为火焰或烟雾区域，则这幅图像被判定为火灾图像；相反，一幅图像中的所有子块都被识别为非火焰或非烟雾区域，则这幅图像被判定为非火灾图像。

为验证本发明中提出的火灾图像识别方法的有效性，设计一组实施例子用于对比本发明中提出的方法与另外三种方法(BP神经网络，Back Propagation Neural Network，简称为BPNN；支持向量机，Support Vector Machine，简称为SVM；极限学习机，ExtremeLearning Machine，简称为ELM)的性能。所用实验对象中的训练集包括800幅火灾图像和1200幅非火灾图像，其中：800幅火灾图像中的600幅图像下载自图片分享网站Flickr，200幅图像来自于真实视频中的视频帧；1200非火灾图像均来自图片分享网站Flickr。测试集包括1000幅图像，一半是火灾图像，一半是非火灾图像，其中：500幅火灾图像中的300幅图像下载自图片分享网站Flickr，200幅图像来自于真实视频中的视频帧；500幅非火灾图像均来自图片分享网站Flickr。图像均尺寸归一化为320×240或240×320像素。需要声明的是，为了获得好的训练效果，在训练集中的火灾图像均经过预处理，也就是将图像中的火灾区域分割出来，以减少图像中其它对象和背景的干扰。实验环境为1.86GHZ T2350 CPU 2G内存，所有程序用VC++6.0和MATLAB7.0编程实现。

在BPNN中，采用三层神经网络；在SVM中，径向基函数(RBF)采用核函数；在ELM中，隐层节点的数目设置为20；在本发明提出的方法中，低维流形的维数取决于保持95％的数据方差值。为了评价识别性能，平均准确率(AAR)定义为被正确归类于火灾图像的数目与火灾图像总数的比值，平均错误率(AER)定义为非火灾图像被错误归类于火灾图像的数目与非火灾图像总数的比值。实验共执行5次。实验结果表明，相比于另外三种方法，本发明提出的方法获得了最高的AAR(98.20％)(BPNN：91.20％；SVM：91.76％；ELM：93.76)和最低的AER(12.08％)(BPNN：25.20％；SVM：24.08％；ELM：18.12％)。由于本发明中采用了分块策略，有效减少了图像中背景区域的干扰，因而四种方法都获得了90％以上的识别结果，但仍有部分火灾图像和非火灾图像被误判。例如：人为点起的篝火，因为没有上下文语境的支持，容易被识别为火焰图像；又如，描绘雾霾和薄雾的图像极易被识别为烟雾图像；有些火灾图像由于画面太暗或不清晰，也容易被漏识。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (5)

1.一种基于混合特征和流形学习的火灾图像识别方法，其特征在于，该识别方法包括如下步骤：

步骤一：候选火灾区域检测；

将一幅图像划分为多个不重叠的子块，分别利用火焰均值直方图和烟雾均值直方图建立用于检测候选火灾区域的在HSV颜色空间中的火焰颜色模型和烟雾颜色模型，针对一幅图像中的每个子块，分别将其颜色直方图与火焰颜色模型和烟雾颜色模型进行相似性匹配，若一幅图像中的所有子块与检测模型的匹配值都超过阈值，则这幅图像为非火灾图像，不再进入后面的步骤，若一幅图像中有子块与检测模型的匹配值在阈值范围内，则该子块为图像中的候选火灾区域，进入后面的步骤；

步骤二：混合特征提取；

针对候选火灾区域，利用尺度不变特征变换算法和关键点词袋方法提取局部特征向量F_loc，利用灰度共生矩阵和小波分析方法提取纹理特征向量F_tex，两者组合在一起形成混合特征向量F_com＝[F_loc,F_tex]；

步骤三：基于流形学习的分类器构造；

利用基于球状邻域的局部线性嵌入算法建立火焰流形和烟雾流形，两类流形均设计为双流形拓扑结构，用来对步骤二获得的混合特征向量Fcom进行降维，采用基于流形中心点的距离度量方法构造基于火焰流形的分类器和基于烟雾流形的分类器，实现对火灾图像的最终识别，其中，所述的基于球状邻域的局部线性嵌入算法是将局部线性嵌入算法中的近邻点的固定选取优化为通过建立球状邻域选择近邻点，其余步骤与局部线性嵌入算法相同；

所述的步骤一中，所述的相似性匹配的距离度量公式为：

其中，h_{A_K}＝n_k/N，

为待测子块与火焰颜色模型之间的距离，

为待测子块与烟雾颜色模型之间的距离，H_A是待测子块的颜色直方图，

是采用M₁幅火焰图像计算火焰颜色模型的均值直方图，

是采用M₂幅烟雾图像计算烟雾颜色模型的均值直方图，L表示颜色等级数目，N是待测子块中的像素点数目，n_k是待测子块中具有第k个颜色等级上颜色的像素点数目，N'_i(i＝1,...,M₁)是M₁幅火焰图像中第i幅图像的像素点数目，n'_{k_i}(i＝1,...,M₁)是M₁幅火焰图像中第i幅图像中具有第k个颜色等级上颜色的像素点数目，N”_i(i＝1,...,M₂)是M₂幅烟雾图像中第i幅图像的像素点数目，n”_{k_i}(i＝1,...M₂,)是M₂幅烟雾图像中第i幅图像中具有第k个颜色等级上颜色的像素点数目。

2.根据权利要求1所述的基于混合特征和流形学习的火灾图像识别方法，其特征在于，所述的步骤二中，所述的局部特征F_loc的提取具体为：先利用尺度不变特征变换算法提取图像中所有检测为候选火灾区域的子块的局部特征，再利用关键点词袋方法为每个子块生成统一的局部特征向量。

3.根据权利要求1所述的基于混合特征和流形学习的火灾图像识别方法，其特征在于，所述的步骤二中，所述的纹理特征F_tex的提取具体为：先利用灰度共生矩阵方法为每个子块计算纹理特征，获取纹理高频信息，用一个多维的特征向量来表述，再利用小波分析方法实施小波分解，得到一个多维的纹理特征向量。

4.根据权利要求1所述的基于混合特征和流形学习的火灾图像识别方法，其特征在于，所述的步骤三中，所述的分类器的构造过程中，火焰流形和烟雾流形均采用一对正子流形和负子流形形成的双流形拓扑结构，先计算不同子流形上的流形中心点，再利用基于流形中心点的距离度量以及最近邻原则，实现对火灾图像的最终判定，即若一幅图像中的一个子块被识别为火焰或烟雾区域，则这幅图像被判定为火灾图像，若一幅图像中的所有子块都被识别为非火焰或非烟雾区域，则这幅图像被判定为非火灾图像。

5.根据权利要求1所述的基于混合特征和流形学习的火灾图像识别方法，其特征在于，所述的步骤三中，所述的基于火焰流形的分类器和基于烟雾流形的分类器的计算公式为：

f_flame(x')＝d_pos(y'-M_fp)-d_neg(y'-M_fn)＝||y'-C_fp||-||y'-C_fn||

f_smoke(x')＝d_pos(y'-M_sp)-d_neg(y'-M_sn)＝||y'-C_sp||-||y'-C_sn||

其中，y′是高维空间中测试图像x′在低维流形上的嵌入映射，M_fp是与火焰图像对应的正子流形，M_fn是与非火焰图像对应的负子流形，M_sp是与烟雾图像对应的正子流形，M_sn是与非烟雾图像对应的负子流形，C_sp是M_fp的流形中心点，C_fn是M_fn的流形中心点，C_sp是M_sp的流形中心点，C_sn是M_sn的流形中心点，d_pos(·)表示测试图像流形与正子流形之间的距离度量，d_neg(·)表示测试图像流形与负子流形间的距离度量，||·||表示采用的是欧式距离公式。

Images