CN101770644A - 森林火灾远程视频监控烟火识别方法 - Google Patents

Abstract

本发明涉及森林火灾远程视频监控烟火识别方法，其特征在于：实现的图像分析软件的处理流程为：对输入的图像先进行图像分析，根据图像中物体或区域的颜色、形状和纹理特征以及这些特征的组合，自动提取特征值，再由这些特征值生成一分类函数；在进行图像检索时，对每一幅给定的查询图，进行图像分析，并提取图像特征向量；将该图像的特征向量代入分类函数，利用分类函数计算出此图像是否与样本匹配，进而判断是否属于某一类，最终向用户报告是否着火的信息。本发明的优点是：该技术采用了图像的多重特征作为判据，使火灾探测的灵敏度和可靠性都得到很大的提高，而且不受室外大空间和恶劣环境的影响，能够有效的发现早期火灾并报警，适用于森林火灾的监测工作。

Description

森林火灾远程视频监控烟火识别方法

一、所属技术领域

本发明涉及一种视频监控和模式识别技术相结合的烟火识别的技术方法，该方法能利用视频监控摄像机传回的实时视频数据进行烟火信息的识别。

二、背景技术

目前国际上通常使用的森林防火技术有：

1)德国投入使用的Fire-Watch System森林火灾自动预警系统。

这是一种应用数码摄像技术的森林火灾自动预警系统，它能够及时识别与定位森林火灾，是当前全欧洲最新的技术。该系统经过了多年的实地试验。2002年在勃兰登堡州、梅克伦堡-切波莫瑞州与萨克森州安装了24套这种摄像系统以及7套第二代Fire-Watch装置，此后该林区共发生了近120次森林火灾，没有一次漏报。Fire-Watch System正常监测半径10公里，最远可达40公里，安装该系统每套需7.5万欧元。

2)美国利用“大地”卫星在离地面大约705公里的轨道上绕地球运转，探测地面上的高温地区、浓烟地带以及火灾遗址。美国使用驾驶林火预警飞机进行24小时监测，虽获得了成功，但耗费了巨额资金。

3)加拿大采用从卫星上发射电磁射线检测林区温度，当检测出林区局部温度上升到150℃~200℃，红外线波长达3.7微米时，便是火灾前兆，立即测定具体温度，采取措施及时防火。同时，加拿大林区采用多架配备先进的直升飞机轮流监测森林火灾，飞行费每小时需5000-6000欧元。

以上这些都是国际上最先进的森林火灾监测方法，但是结合中国现状，这些并不适合我国的实际情况。最为重要的是以上方法的经费需求过大，成本投入过高，难以满足我国森林火灾监测的实际需求。

就目前而言，利用视频监控在森林火灾监测与管理中的应用还有以下两种方法：

1)利用红外线探火仪和红外摄影来探测林火。应用红外线的热辐射原理，可以发现初起林火和地下火，可透过烟雾，拍摄火线及火区，监视火烧迹地余火和测算火烧地面积等。

2)利用普通高倍镜头，人工守候识别图像，判断环境的变化，识别森林火灾。

但是这些视频监控技术不可避免中存在着以下一些问题。第一、红外探测的距离有限，对于地域广阔的林区，监测面积有限，如全面铺开，则成本太高；第二、红外探测一旦距离较远时，则以光斑的形式出现，其扫描面积太小，无法推广应用；第三、24小时人工守候监控，现实中难以做到，一是人会有视觉疲劳，二是一旦有多路视频，一个人很难顾及所有的视频。

随着计算机科学的发展，图像技术已经成为科学技术领域必不可少的手段之一，计算机的软硬件的发展以及网络通信技术的发展，使得以图像处理技术为基础的远程视频监控技术得到了飞速发展。而这就给我们提供了一个火灾预警的解决途径。但是目前烟火识别软件识别方法单一、识别背景相对简单，未充分考虑到周边环境对识别的影响，识别精度往往不高。如何利用网络摄像头，借助计算机软件技术，准确及时的判断与识别烟火，做好森林火灾的安全防范工作并尽早发现火灾，把损失减到最低，切实保障人民群众的生命财产安全就是我们当前迫切需要解决的问题。

三、发明内容

(一)要解决的技术问题

为了解决上述问题，本发明提供一种森林火灾远程视频监控烟火识别方法，其是以计算机为核心，结合数字图像处理技术和模式识别技术而开发的火灾自动识别技术。

(二)技术方案

森林火灾远程视频监控烟火识别方法，其是对输入的图像先进行图像分析，根据图像中物体或区域的颜色(color)、形状(shape)和纹理(texture)等特征以及这些特征的组合，自动提取特征值，再由这些特征值生成一分类函数；在进行图像检索时，对每一幅给定的查询图，进行图像分析，并提取图像特征向量；将该图像的特征向量代入分类函数，利用分类函数计算出此图像是否与样本匹配，进而判断是否属于某一类，最终向用户报告是否着火的信息。

在烟火识别过程中，本方法使用四类特征对烟火内容进行识别，分别是：颜色特征、纹理特征、动态特征和几何特征。

在图像的各种特征中颜色特征是最显著、最可靠、最稳定的视觉特征，是人识别图像的主要感知特征。相对于几何特征而言，颜色对图像中子对象的大小和方向的变化都不敏感，具有相当强的鲁棒性。同时，在许多情况下，颜色又是描述一幅图像最简便而有效的特征。人们对于一幅图像的印象，往往从图像中颜色的空间分布开始。所有这些都促使颜色成为基于内容的图像检索所采取的主要手段之一。对于基于颜色特征的图像检索，有多种方案。譬如颜色直方图、主色调、颜色矩(Color Moments)，颜色集(Color sets)、聚类、扫描线投影等检索算法。其中颜色矩是非常简单而有效的颜色特征，这种方法的数学基础在于图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此仅采用颜色的一阶矩(表示平均颜色)、二阶矩(表示标准方差)和三阶矩(表示三次根非对称性)就足以表达图像的颜色分布。与颜色直方图相比，该方法的一个好处在于无需对特征进行向量化。在烟火识别过程中，烟火往往是整幅图像中的一部分(区域)，因此在对图像进行特征提取之前，首先需要筛选出目标区域，本方法利用颜色矩来作过滤缩小范围(narrow down)的作用。这里使用加权欧氏距离D(Q，I)来度量某子区域是否与样本特征匹配。再对相匹配的子区域进行插值填充，尽可能的把各个子区域连接成片，对于小于一定大小的子区域进行去噪处理，最后得到目标区域(预处理区域)。

仅仅对颜色特征的判别，较难得到满意的效果。实验表明使用颜色特征判别烟火区域其漏报率很低但是误报率却很高。这是因为在实际环境中，由于阳光的反射作用，山上的很多物体如树叶、草地等都会呈现出火焰的颜色，因此需要利用烟火的其他特征作进一步的识别分类。烟火除颜色特征外还有：纹理特征、几何特征(形状)以及动态特征。

本方法使用了两类纹理特征：Tamura纹理特征和基于灰度共生矩阵的纹理特征，分别对彩色图像和灰度图像的纹理进行判别。Tamura纹理特征是基于人类对纹理的视觉感知的心理学的研究而提出的，包括六个分量，分别是粗糙度(coarseness)、对比度(contrast)、方向度(directionality)、线像度(line likeness)、规整度(regularity)和粗略度(roughness)。研究结果表明，前三个分量对于图像检索尤其重要。因此本方法取粗糙度、对比度、方向度作为Tamura纹理特征的三个特征分量。利用灰度共生矩阵可以得到一系列的纹理统计量，是描述纹理特征的基本方法。共生矩阵反映了图像灰度分布关于方向、局部邻域和变化幅度的综合信息，包括以下5个常用特征：反差(主对角线的惯性矩)，反映图像的清晰度，粗纹理图像由于矩阵的数值集中在主对角线附近，相应的值较小，反之则较大；熵，图像信息量的量度，当灰度共生矩阵中各数值相差不大且较分散时熵值较大，反之较小；逆差距，局部均匀性；灰度相关度，描述矩阵中行或列元素之间的灰度相似度；能量(角二价矩)，反映图像灰度分布的均匀性。

烟火根据时间的推移，具有一定的动态特征，这些特征包括：烟火中心相对移动速率、烟火面积相对变化速率、烟火外沿飘动轨迹。林火在燃烧过程中，其产生的火焰与烟的中心都具有一定的移动速率。为了从图像上度量这一特征，可以利用中心部位的量度特征得到火焰与烟的中心位置。再根据连续多帧中心位置的变化计算水平方向和垂直方向的相对移动速率。在燃烧过程中，不仅中心在移动，而且火焰和烟的面积也在不断变化，这一变化可以用图像中疑似烟火的像素变化来衡量。基于烟火外沿的变化方向多是具有规则性、方向性，可以提取这一特征，用来区别其他疑似干扰源。

林火燃烧产生的火焰与烟多具有一定的几何特征，这些特征包括：圆形度，又称复杂度，度量边界的能量，其形状越复杂值越大；密集度，在面积相同的情况下，区域边界越光滑，周长越小，密集度越小；矩形度，是区域面积与区域外接矩形面积的比值，反映了区域对最小外接矩形的充满程度；平均密度；区域偏心度，是区域形状的重要测度。

分类器的设计：支持向量机(SVM)是由Vapnik及其领导的AT&T Bell实验室研究小组提出的一种新的非常有发展前景的分类技术，可以替代多层感知机、RBF神经网络和多项式神经网络等已有的学习算法，同时SVM在一些实际应用(如手写体识别、3D物体识别、人脸检测)中的效果，也说明了其实用价值。SVM是二类分类器，对于识别问题通常采用的方案有“一对一”和“一对多”等。本方法使用“一对多”的方案。实现方法是，根据已有样本建立一超平面，利用超平面对识别对象作出判别。

本发明的优点是：本发明的方法是基于数字图像处理和分析的新型的火灾探测方法，它利用摄像头对现场进行监视，对摄取的视频信号由图像采集卡捕捉为数字图像，并通过网络输入计算机，计算机根据火灾的图像特征进行处理和分析，从而达到探测火灾是否发生的目的。该技术采用了图像的多重特征作为判据，使火灾探测的灵敏度和可靠性都得到很大的提高，而且不受室外大空间和恶劣环境的影响，能够有效的发现早期火灾并报警，适用于森林火灾的监测工作。

附图说明

图1算法组成

图2系统结构

图3图像获取流程

图4图像初步判别及生成基础数据结构实现步骤

图5提取颜色特征及计算机的存储结构

图6提取纹理特征的流程图

图7提取动态特征的流程图

图8提取形状特征的流程图

图9线性判别函数

图10线性可分下的最优分类面

图11支持向量机示意图

图12烟识别效果图

图13火识别效果图

以下详细解释本方法的具体实现：

如图1所示，本发明主要由以下几个子算法组成：图像获取、图像预处理、获取颜色矩特征、图像初判、获取粗糙度特征、获取对比度特征、获取方向性特征、获取反差特征、获取熵特征、获取逆差距特征、获取灰度相关特征、获取能量特征、获取烟火中心相对移动速率特征、获取烟火面积相对变化速率特征、获取烟火外沿飘动轨迹特征、获取区域圆形度特征、获取区域密集度特征、获取矩形度特征、获取平均密度特征、获取区域偏心度特征；图像获取、图像预处理、获取颜色矩特征、图像初判按顺序连接后并通过图像初判分别与获取粗糙度特征、获取对比度特征、获取方向性特征、获取反差特征、获取熵特征、获取逆差距特征、获取灰度相关特征、获取能量特征、获取烟火中心相对移动速率特征、获取烟火面积相对变化速率特征、获取烟火外沿飘动轨迹特征、获取区域圆形度特征、获取区域密集度特征、获取矩形度特征、获取平均密度特征、获取区域偏心度特征连接，获取粗糙度特征、获取对比度特征、获取方向性特征、获取反差特征、获取熵特征、获取逆差距特征、获取灰度相关特征、获取能量特征、获取烟火中心相对移动速率特征、获取烟火面积相对变化速率特征、获取烟火外沿飘动轨迹特征、获取区域圆形度特征、获取区域密集度特征、获取矩形度特征、获取平均密度特征、获取区域偏心度特征通过分类器输出结果。

如图2所示，实际图像通过特征提取给分类器，样本图像通过提取特征到支持向量机，支持向量机将支持向量给予分类器，分类器将实际图像与样本图像进行对比后得到结果。

(1)图像获取：该方法所使用的图像是从远程视频摄像头所传回的视频数据中提取而来的，因此获取方法根据不同厂家提供的开发包会略有不同，但主要流程类似，其主要流程如图3所示。

本方法以0.7秒的步长不间断的在视频中捕获图像数据，并保存连续的两幅图像用于识别分析。捕获的图像按Dib格式保存于内在当中。

(2)图像的预处理：获取原像的宽高信息和原像的HSI、RGB和灰度图像内存块。为方便后续处理，图像已经经过上下转正处理，存储每行像素所需的字节数直接与图像宽度和存储每像素所需的字节数相关，不再保证存储每行像素所需的字节数必须是4的倍数。存储三类图像的内存块指针类型分别为：int、LPBYTE和LPBYTE。各类图像每行字节数分别是int*3*m_nWidth、byte*3*m_nWidth和byte*m_nWidth。其中m_nWidth表示图像的宽度，以像素表示。HSI中排列次序为h、s和i；RGB中排列次序为r、g和b。

(3)图像初步判别及生成基础数据结构：本步骤旨在建立每一幅图像的数据结构，其目的为初步判别图像中是否存在疑似烟火区域(后简称区域或热区)以便减小后续处理的工作量以及为特征提取提供基础数据，加快提取速度。此数据结构为一结构体，名叫AreaArray。包括：point_list pPArray[3]——区域数组的指针数组，存储的是每个区域的边界像素点；point_list pBArray[3]——区域数组的指针数组，存储的是每个区域的像素点(包括一个区域的边界和内部像数点)；int iRArray[3]——每个区域的面积；int iCount——指针数组长度(小于等于3)；double dCcd[3]——对应热区的粗糙度，其数据在后续特征提取中加入；double dDbd[3]——对应热区的对比度，其数据在后续特征提取中加入；double dFxx[3]——对应热区的方向性，其数据在后续特征提取中加入；double dFc[3]——对应热区的反差，其数据在后续特征提取中加入；double dS[3]——对应热区的熵，其数据在后续特征提取中加入；doubledNcj[3]——对应热区的逆差距，其数据在后续特征提取中加入；double dHdxg[3]——对应热区的灰度相关，其数据在后续特征提取中加入；double dNl[3]——对应热区的能量，其数据在后续特征提取中加入；double dJqy[3]——对应热区的集群荫，其数据在后续特征提取中加入；double dJqtc[3]——对应热区的集群突出，其数据在后续特征提取中加入；double dYdsl[3]——对应热区的烟火中心相对移动速率，其数据在后续特征提取中加入；double dBhsl[3]——对应热区的烟火面积相对变化速率，其数据在后续特征提取中加入；double dPdgj[3]——对应热区的烟火外沿飘动轨迹，其数据在后续特征提取中加入；double dFc[3]——对应热区的反差，其数据在后续特征提取中加入；double dFxx[3]——对应热区的区域圆形度，其数据在后续特征提取中加入；double dQymjd[3]——对应热区的区域密集度，其数据在后续特征提取中加入；double dJxd[3]——对应热区的矩形度，其数据在后续特征提取中加入；double dPjmd[3]——对应热区的平均密度，其数据在后续特征提取中加入；doubledQypxd[3]——对应热区的区域偏心度，其数据在后续特征提取中加入。

每幅实际图像存在上述的两个相同的数据结构，分别存储烟和火的基础数据及各项特征值。现以火为例来说明本结构体的具体作用：对于一副图像而言，本方法最多找出三块热区，当然，找出的热区可能小于三甚至为零。热区按面积大小排列，相关数据存储与上述结构体中。例如pPArray，为一数组，此数组最大为三，即最多对应三块热区。数组中的每一元素为一指针，指向一个point类型的数组，本数组存储区域的边界像素点。其他数组结构以此类推。iCount指明图像热区的数量。图4为图像初步判别及生成基础数据结构的详细实现步骤。

(4)各类特征值的提取：以下为各个特征值提取算法的流程图

①基于HIS的颜色特征识别

本方法使用的特征提取方法为Stricker和Orengo所提出的颜色矩。这种方法的数学基础在于图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此仅采用颜色的一阶矩(mean)、二阶矩(variance)和三阶矩(skewness)就足以表达图像的颜色分布。与颜色直方图相比，该方法的另一个好处在于无需对特征进行向量化。颜色的三个低次矩在数学上表达为：

${\mathrm{\μ}}_i=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{p}_{\mathrm{ij}}$

${\mathrm{\σ}}_i={\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(p_{\mathrm{ij}}-{\mathrm{\μ}}_i)}^2\right)}^{\frac{1}{2}}$

$s_i={\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(p_{\mathrm{ij}}-{\mathrm{\μ}}_i)}^3\right)}^{\frac{1}{3}}$

其中pij是图像中第j个像素的第i个颜色分量。因此，图像的颜色矩一共只需要9个分量(3个颜色分量，每个分量上3个低阶矩)，与其他的颜色特征相比是非常简洁的。本方法的作用为在提取其他特征之前起到过滤的作用。图5为使用本方法提取颜色特征及计算机的存储结构。

②纹理特征提取

基于人类对纹理的视觉感知的心理学的研究，Tamura等人提出了纹理特征的表达。Tamura纹理特征的六个分量对应于心理学角度上纹理特征的六种属性，分别是粗糙度(coarseness)、对比度(contrast)、方向度(directionality)、线像度(linelikeness)、规整度(regularity)和粗略度(roughness)。前三个分量对于图像检索尤其重要。

●粗糙度：粗糙度的计算可以分为以下几个步骤进行。首先，计算图像中大小为2×2个像素的活动窗口中像素的平均强度值，即有

$A_k(x,y)=\underset{i=x-2^{k-1}}{\overset{x+2^{k-1}-1}{\mathrm{\Σ}}}\underset{j=y-2^{k-1}}{\overset{y+2^{k-1}-1}{\mathrm{\Σ}}}g(i,j)/2^{2k}$

其中k＝0，1，…，5而g(i，j)是位于(i，j)的像素强度值。然后，对于每个像素，分别计算它在水平和垂直方向上互不重叠的窗口之间的平均强度差。

$\left.\begin{array}{c}{E}_{k,h}(x,y)=|A_k(x+2^{k-1},y)-A_k(x-2^{k-1},y)|\\ E_{k,v}(x,y)=|A_k(x,y+2^{k-1})-A_k(x,y-2^{k-1})|\end{array}\right\}$

其中对于每个像素，能使E值达到最大(无论方向)的k值用来设置最佳尺寸S_best(x，y)＝2^K。最后，粗糙度可以通过计算整幅图像中S_best的平均值来得到，表达为

$F_{\mathrm{crs}}=\frac{1}{m\×n}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{S}_{\mathrm{best}}(i,j)$

●对比度：对比度是通过对像素强度分布情况的统计得到的。确切地说，它是通过α₄＝μ₄/σ⁴来定义的，其中μ₄是四次矩而σ²是方差。对比度是通过如下公式衡量的：

$F_{\mathrm{con}}=\frac{\mathrm{\σ}}{{\mathrm{\α}}_4^{1/4}}$

该值给出了整个图像或区域中对比度的全局度量。

●方向性：方向性的计算需要首先计算每个像素处的梯度向量。该向量的模和方向分别定义为

|ΔG|＝(|Δ_H|+Δ_V|)/2

θ＝tan^-1(Δ_V/Δ_H)+π/2

其中Δ_H和Δ_V分别是通过图像卷积下列两个3x3操作符所得的水平和垂直方向上的变化量。

-1 0 1      1  1  1

-1 0 1      0  0  0

-1 0 1     -1 -1 -1

当所有像素的梯度向量都被计算出来后，一个直方图H_D被构造用来表达θ值。该直方图首先对θ的值域范围进行离散化，然后统计了每个bin中相应的|ΔG|大于给定阈值的像素数量。这个直方图对于具有明显方向性的图像会表现出峰值，对于无明显方向的图像则表现得比较平坦。最后，图像总体的方向性可以通过计算直方图中峰值的尖锐程度获得，表示如下：

$F_{\mathrm{dir}}=\underset{p}{\overset{n_p}{\mathrm{\Σ}}}\underset{\mathrm{\φ}\∈w_p}{\mathrm{\Σ}}{(\mathrm{\φ}-{\mathrm{\φ}}_p)}^2{H}_D\left(\mathrm{\φ}\right)$

上式中的p代表直方图中的峰值，n_p为直方图中所有的峰值。对于某个峰值p，Wp代表该峰值所包含的所有的bin，而φp是具有最高值的bin。

基于灰度共生矩阵的纹理特征，利用共生矩阵两个位置的象素的联合概率密度来定义，它不仅反映亮度的分布特性，也反映具有同样亮度或接近亮度的象素之间的位置分布特性，是有关图象亮度变化的二阶统计特征。它是定义一组纹理特征的基础。

一幅图象的灰度共生矩阵能反映出图象灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图象的局部模式和它们排列规则的基础。

设f(x，y)为一幅二维数字图象，其大小为M×N，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为

P(i，j)＝#{(x1，y1)，(x2，y2)∈M×N|f(x1，y1)＝i，f(x2，y2)＝j}

其中#(x)表示集合x中的元素个数，显然P为Ng×Ng的矩阵，若(x1，y1)与(x2，y2)间距离为d，两者与坐标横轴的夹角为θ，则可以得到各种间距及角度的灰度共生矩阵P(i，j，d，θ)。

纹理特征提取的一种有效方法是以灰度级的空间相关矩阵即共生矩阵为基础的，因为图像中相距(Δx，Δy)的两个灰度像素同时出现的联合频率分布可以用灰度共生矩阵来表示。若将图像的灰度级定为N级，那么共生矩阵为N×N矩阵，可表示为M(Δx，Δy)(h，k)，其中位于(h，k)的元素mhk的值表示一个灰度为h而另一个灰度为k的两个相距为(Δx，Δy)的像素对出现的次数。

对粗纹理的区域，其灰度共生矩阵的mhk值较集中于主对角线附近。因为对于粗纹理，像素对趋于具有相同的灰度。而对于细纹理的区域，其灰度共生矩阵中的mhk值则散布在各处。

为了能更直观地以共生矩阵描述纹理状况，从共生矩阵导出一些反映矩阵状况的参数，典型的有以下几种：

●反差：反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。灰度差即对比度大的象素对越多，这个值越大。灰度公生矩阵中远离对角线的元素值越大，CON越大。

●熵：是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机性的度量，当共生矩阵中所有元素有最大的随机性、空间共生矩阵中所有值几乎相等时，共生矩阵中元素分散分布时，熵较大。它表示了图像中纹理的非均匀程度或复杂程度。

●逆差距：反映图像纹理的同质性，度量图像纹理局部变化的多少。其值大则说明图像纹理的不同区域间缺少变化，局部非常均匀。

●灰度相关：它度量空间灰度共生矩阵元素在行或列方向上的相似程度，因此，相关值大小反映了图像中局部灰度相关性。当矩阵元素值均匀相等时，相关值就大；相反，如果矩阵像元值相差很大则相关值小。如果图像中有水平方向纹理，则水平方向矩阵的COR大于其余矩阵的COR值。

●能量：是灰度共生矩阵元素值的平方和，所以也称能量，反映了图像灰度分布均匀程度和纹理粗细度。如果共生矩阵的所有值均相等，则ASM值小；相反，如果其中一些值大而其它值小，则ASM值大。当共生矩阵中元素集中分布时，此时ASM值大。ASM值大表明一种较均一和规则变化的纹理模式。

其中

图6为使用本方法提取纹理特征的流程图。

③动态特征提取

当存在可以烟火时，为确认其是否是正烟火，可以对其动态特征进行判断。对烟火飘动与蔓延等动态特征进行定量描述，能有效地提高烟火识别的准确率、降低误报漏报率。

●烟火中心相对移动速率：火焰在燃烧过程中，其中心具有一定的移动速率，为了从图像上度量这一特征，先得确定烟火中心。烟火亮度分布具有如下特征：中心部位亮度低，外沿亮度相对较高。根据这一点，可以以像素点的亮度值(即I值)为权，通过加权平均来计算烟火的中心。若用I(x，y)表示烟亮度图像，则烟火中心(X，Y)为

$X=\frac{\mathrm{\ΣI}(x,y)\×x}{\mathrm{\ΣI}(x,y)},$ $Y=\frac{\mathrm{\ΣI}(x,y)\×y}{\mathrm{\ΣI}(x,y)}$

若用I₁(x，y)，I₂(x，y)分别表示相邻的两帧烟亮度图像，图像大小为M×N，(X₁，Y₁)，(X₂，Y₂)分别表示它们的烟火中心；Vx，Vy分别表示烟火中心在水平方向和垂直方向的相对移动速率，则

$\mathrm{Vx}=\left|\frac{X_2-X_1}{N}\right|,$ $V_y=\left|\frac{Y_2-Y_1}{M}\right|$

烟火中心的相对移动速率Vx，Vy∈[Vc₁，Vc₂]，其中，Vc₁，Vc₂分别是相对移动速率的上、下限，并且Vc₁，Vc₂∈(0，1)。

●烟火面积相对变化速率：火焰在燃烧过程中，不仅中心在移动，而且燃烧面积也不断的变化。烟火面积随时间的变化可以用烟火图像亮度像素数的变化来衡量。烟火面积相对变化速度的定义如下：

若用I₁(x，y)，I₂(x，y)分别表示相邻的两帧烟火亮度图像，N_I1，N_I2分别表示它们的亮点数，V_arca表示烟火面积相对变化速度，则

V_area＝(N_I1-N_I2)/N_I1

对于烟火，V_I1≤|V_arca|≤V_I2，由于火焰面积不可能完全不变的，所以存在上下阈值V_I1，V_I2。

这种变化规律实际上就是烟火相对于其它常见的干扰现象来说具有形状变化的无规律性，但这种无规律性从其形体变化、空间变化、空间分布来说均具有一定的相似性。因此，可以用连续图像的结构相似性来描述这种规律，这是考虑到虽然烟火呈现不断发展变化的趋势，但可以采用烟火的中心相对移动速率、面积相对变化速率、外沿飘动轨迹的规律特征来识别烟火。

●烟火外沿飘动轨迹：基于火焰和烟飘动的随机性、无方向性，而一般对烟火识别具备干扰的高亮体，其运动方向多是有规则、有方向的，可以提取这一特征，用来区别绝大部分的高亮干扰源。

为此，引入移动高亮区的概念：后一帧比前一帧多出来的高亮区。用I₁(x，y)，I₂(x，y)分别表示相邻的两帧烟火亮度图像，d_mov(x，y)表示I₂相对I₁的移动高亮区，则

$d(x,y)=I_2(x,y)\⊕I_1(x,y)$

d_mov(x，y)＝I₂(x，y)⊙I₁(x，y)

通过对一序列图像相邻帧的计算，可以得到d_mov1(x，y)，d_mov2(x，y)，d_mov3(x，y)，…，对应的高亮区的中心分别为(X_d1，Y_d1)，(X_d2，Y_d2)，(X_d3，Y_d3)，…，由于移动高亮区反映的后一帧相对前一帧的摆动，而烟火的摆动具有随机性、无方向性，所以将这几点在图像上连接起来，得到的曲线应该是左右、上下来回对折的折线。图7为使用本方法提取动态特征的流程图。

④形状特征提取

烟火的序列图像从其几何性质上看具有图像的边缘不稳定、整体具有稳定的相似性、图像的相似度在一定的区间内变化等规律。因此，在烟火的识别中，可以考虑利用早期烟火的形状特点。

●区域圆形度：圆形度又称复杂度，分散度，其定义为C＝L²/A，L为区域周长，A为区域面积。分析表明，当图像区域为圆时，C有最小值2∏。其他任何形状的图像区域，C＞4∏，且形状越复杂，C值越大。

●区域的密集度：区域的密集度的定义为C_0n＝L²/4πA，L为区域周长，A为区域面积。在面积相同的情况下，区域边界越光滑，周长L越小，密集度越小(圆形区域C_0n＝1，为最密集的形状)。

●矩形度：矩形度的定义为R＝A_r/A_R，A_r为图像区域面积，A_R为区域外接矩形面积。矩形度反映了区域对最小外接矩形的充满程度。显然，当区域外矩形时，矩形度最大，R＝1。当区域为圆形时，R＝π/4。对于边界弯曲、呈不规则分布的区域，0＜R＜1。

图8为使用本方法提取形状特征的流程图。

(5)训练样本特征向量生成：由于自然的林火很难及时捕捉到，因此根据上述特征值的提取方法，我们选择适当的山林环境及各类天气、季节和植被反复多次模拟森林火灾，利用野外视频摄像头采集视频数据，以烟火的18个特征值组成特征向量进行特征提取。在此过程中需要人为的参与，即需要指明系统判识别出的热区是否为真实的烟火热区，即正样本。其余的热区包括平时未发生森林火灾时摄像头采集的视频信息，但系统认为是疑似热区的特征向量标识为负样本。对于这些所有的样本的特征向量及样本类别存入数据库作为训练样本库。

(6)支撑向量生成：SVM是从线性可分情况下的最优分类面提出的。所谓最优分类线就是要求分类线不但能将两类正确分开(训练错误率为0)，而且使分类间隔最大，前者是保证经验风险最小(为0)，而使分类间隔最大就是使推广性的界中置信范围最小，从而使真实风险最小，也是对推广能力的控制。推广到高维空间，最优分类线就成为最优分类面。

设线性可分样本集(x₁，y₁)，(x₂，y₂)，…(x_n，y_n)，x∈R^d，y∈{+1，-1}是类别标号，d维线性空间中线判别函数的一般形式为g(x)＝w·x+b，最优分类线方程为

w·x+b＝0        (1)

判别函数g(x)可以看成是特征空间中某点x到超平面的距离的一种代数度量，见图9。

若把x表示成：

式中，x_p是x在H上的投影向量，r是x到H的垂直距离，

是w方向上的单位向量。将x代入g(x)＝w^Tx+b中，可得

所以，

我们对它进行归一化，使得对线性可分的样本集满足|g(x)|≥1，即使离最优分类面最近的样本的|g(x)|＝1，这样分类间隔D即为：

$D=\underset{x:y=-1}{\min }d(w,b:x)+\underset{x:y=+1}{\min }d(w,b:x)=\underset{x:y=-1}{\min }\frac{|w\·x+b|}{\left|\right|w\left|\right|}+\underset{x:y=+1}{\min }\frac{|w\·x+b|}{\left|\right|w\left|\right|}=\frac{2}{\left|\right|w\left|\right|}$

因此使间隔最大等价于使||w||(或||w||²)最小；而要求分类线对所有样本正确分类，就是要求它满足

y_i[(w·x)+b]-1≥0    i＝1，2，…，n    (2)

因此满足上述条件且使||w||²最小的分类面就是最优分类面。过两类样本中离分类面最近的点且平行于最优分类面的超平面的H₁，H₂上的训练样本就是式中使等号成立的那些样本，它们叫做支持向量。因为它们支撑了最优分类面，如图10所示。

最优分类面的求解可以表示成如下约束优化问题，即在条件(2)的约束下，求函数：

$\min \frac{1}{2}{\left|\right|w\left|\right|}^2$

s.t  y_i(w·x_i-b)≥1  (i＝1，2，...，n)    (3)

的最小值。为此，可以定义如下的Lagrange函数：

$L=\frac{1}{2}{\left|\right|w\left|\right|}^2-\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i[y_i(w\·x_i+b)-1]---\left(4\right)$

其中，α_i＞0为Lagrange系数，我们的问题就是对w，b求Lagrange函数的极小值，即为：

$\frac{\∂L}{\∂b}=\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i=0---\left(5\right)$

将式(5)代入式(4)即可将原问题转化成如下对偶问题的最大值：

$Q\left(\mathrm{\α}\right)=\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i-\frac{1}{2}\underset{i,j}{\mathrm{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_j(x_i\·x_j)---\left(6\right)$

$\begin{array}{ccc}s.t& \underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i=0,& {\mathrm{\α}}_i\≥0\end{array}$

将所求得的α_i代入式(5)

$w^{*}=\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i^{*}{y}_i{x}_i---\left(7\right)$

则可求得w^*。

再由Kuhn-Tucker条件，此优化问题满足：

α_i[y_i(w·x_i-b)-1]＝0        (8)

由此可知多数样本α_i将为0，取值不为0的α_i对应于(2)式等号成立的样本即支持向量，它们通常只是全体样本中的很少一部分。b^*是分类的阈值，可以由任意一个支持向量由(2)式求得，或通过两类中任意一对支持向量取中值求得。

求解上述问题后得到的最优分类函数如下：

$f\left(x\right)=\mathrm{sgn}\{(w^{*}\·x)+b^{*}\}=\mathrm{sgn}\{\underset{i}{\mathrm{\Σ}}{{\mathrm{\α}}^{*}}_i{y}_i(x_i\·x)+b^{*}\}---\left(9\right)$

由上述推导过程可知，它是建立在线性可分的情况下的，在线性不可分的情况下，就是某些训练样本不能满足(2)的条件，我们可以通过在条件中增加一个松弛项ξ_i≥0，变为：

y_i(w·x_i+b)-1+ξ_i≥0   (10)

最小化

就可以使错分样本最小，则此时优化问题为：

$\min (\frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i)$

s.t y_i(w·x_i+b)-1+ξ_i≥0  (i＝1，2，...，n)  (11)

ξ_i≥0

其中C为某个指定的常数，它实际上其控制对错分样本惩罚的程度的作用，实现在错分样本的比例与算法复杂度之间的折中。对式(11)取偏导令其为0，类似于可分的情况得到了如下的对偶优化问题：

$Q\left(\mathrm{\α}\right)=\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i-\frac{1}{2}\underset{i,j}{\mathrm{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_j(x_i\·x_j)$

$\begin{array}{ccc}s.t& \underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i=0,& 0\≤{\mathrm{\α}}_i\≤C\end{array}---\left(12\right)$

其结果和可分的情况几乎完全相同，只是α_i的条件有所不同。

由广义线性判别函数的知识可知，为了用线性学习器学习一个非线性关系，需要选择一个非线性特征集，等价于应用一个固定的非线性映射，将数据映射到特征空间，在特征空间中使用线性学习器。由最优分类面算法的性质，在这个变化空间中，我们只需进行内积计算，甚至没有必要知道采用的非线性变换形式。

在支持向量机的理论中有如下定义：核是一个函数K，对所有x，z∈X，满足：K(x，z)＝<Φ(x)，Φ(z)>，这里Φ是从X到(内积)特征空间的映射。所以内积函数，在支持向量机理论中又叫做核函数。

根据这个思想我们将核函数K(x_i，x_j)代替最优分类面中的点积，这样就相当于把原特征空间变化换到了某一新的特征空间，此时(12)的优化问题变为：

$\max \underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_i-\frac{1}{2}\underset{i,j}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_j{y}_i{y}_{j}K(x_i,x_j)---\left(13\right)$

$\begin{array}{ccc}s.t& \underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_i{y}_i=0,& 0\&le;{\mathrm{\&alpha;}}_i\&le;C\end{array}$

相应的判别函数(9)变为：

$f\left(x\right)=\mathrm{sgn}(\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_i{y}_{i}K(x_i,x)-b)---\left(14\right)$

即为支持向量机。支持向量机求得的分类函数形式上类似于一个神经网络，其输出是若干中间层节点对应于输入样本与一个支持向量的核函数的线性组合，所以早期支持向量叫做支持向量网络。如图11所示。采用不同的核函数将导致不同的支持向量机算法，目前广泛应用的核函数形式主要有以下几种：

1)线性核函数，即K(x_i，x_j)＝(x_i·x_j)

2)多项式核函数，即K(x_i，x_j)＝[(x_i·x_j)+1]^q

3)径向基核函数，即

4)Sigmoid核函数，即

衡量点与训练集的距离有多种方法，常用的集中距离有：欧式距离、绝对值距离、闵可夫斯基距离和马氏距离等。由于马氏距离不受变量单位的限制，同时考虑到了样本的离散程度，因此本方法选择使用马氏距离。

马氏距离的计算涉及到矩阵求逆，在原空间中秋样本点到训练样本集的马氏距离比较容易，但推广到高维空间后，协方差矩阵的逆不存在。由于协方差矩阵式对称的，根据矩阵理论，任意实对称矩阵均可进行满足某些性质的分解。我们应用矩阵分解来避开训练集的直接求逆问题，发现在马氏距离的计算中，只需要计算核函数中心化矩阵的非零特征根与相应的特征向量，就可以得到马氏距离，消除了直接求逆问题。

给定一个样本集X，若其含有数据数目较多，首先需要进行数据提取。我们需要计算的是各个样本点到样本集的马氏距离。

假设X中有m个样本，则样本集为X＝{x₁，x₂，……，x_m}∈R^n*m，其中x_i为n维向量，是第i个样本的指标值，则第i个样本点到样本集X的马氏距离平方为

$d_i^2={(x_i-\stackrel{\&OverBar;}{x})}^T{S}^{-1}(x_i-\stackrel{\&OverBar;}{x}),---\left(15\right)$

其中

$\stackrel{\&OverBar;}{x}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{x}_i,$ $S=\frac{1}{m-1}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}(x_i-\stackrel{\&OverBar;}{x}){(x_i-\stackrel{\&OverBar;}{x})}^T.$

x为样本均值，S为样本协方差阵。

然后判断距离d_i是否满足|d_i-μ|≤aσ，其中

如果满足田间则保留，否则去掉。但是我们发现在计算过程中，直接使用样本点指标求解较为困难，尤其是当数据点映射到高维空间后，使用公式(15)进行计算更是不可能的。因此本方法考虑将马氏距离的计算公式进行变形。

首先引入定义1：令样本的内积矩阵为

$k_{\mathrm{cij}}={(x_i-\stackrel{\&OverBar;}{x})}^T(x_j-\stackrel{\&OverBar;}{x})={\tilde{x}}_i^T{\tilde{x}}_j,$

则中心化矩阵Kc的定义为

$\mathrm{Kc}=\left[{\left(k_{\mathrm{cij}}\right)}_{m*m}\right]={\tilde{X}}^T\tilde{X},$

其中

引理：中心化矩阵Kc与样本的内积矩阵K的关系为

Kc＝K-MK-KM+MKM，

其中M为所有元素都为的m*m矩阵。

定理1：已知样本集

其中xi为n维向量，是第i个样本的指标值，则第i个样本点到样本集X的马氏距离平方可以表示为

$d_i^2=(m-1)e_i^T{\mathrm{Ae}}_i,---\left(16\right)$

其中e_i为第i个数为1，其余为0的列向量，

A为m*m维对称阵，α_i是Kc的非零特征根λ_i对应的特征向量。

将原空间上的样本点经过映射φ到达高维特征空间后，所有的x_i都将变为φ(x_i)，因此，根据公式(15)，在高维特征空间第i个样本点到样本集的马氏距离平方为

其中，

$\stackrel{\&OverBar;}{\mathrm{\&phi;}}\left(x\right)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\mathrm{\&phi;}\left(\mathrm{xi}\right),$ $\hat{S}=\frac{1}{m-1}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}(\mathrm{\&phi;}\left(x_i\right)-\stackrel{\&OverBar;}{\mathrm{\&phi;}}\left(x\right)){(\mathrm{\&phi;}\left(x_i\right)-\stackrel{\&OverBar;}{\mathrm{\&phi;}}\left(x\right))}^T,$

φ(x)为对应在高维特征空间的样本均值，

为对应在高维特征空间的协方差矩阵。根据核函数的思想，有原空间到高维特征空间的映射函数φ是未知的，事实上并不需要知道φ的具体形式，只需要知道核函数即φ得内积即可。由于在特征空间上的所有的x_i都将变为φ(x_i)，又由定义1可知：

k_ij＝φ(x_i)^Tφ(x_j)，

其中K即为核函数，

k_cij＝(φ(x_i)-φ(x))^T(φ(x_j)-φ(x)^T)，

Kc为核函数矩阵的中心化矩阵。根据核函数的定义，我们可以得到高维特征空间中的马氏距离，即定理2。

定理2：已知样本集

其中x_i为n维向量，是第i个样本的指标值，经过映射φ到达高维特征空间后，则第i个样本点到样本集X的马氏距离平方可以表示为

${\hat{d}}_i^2=(m-1)e_i^T{\mathrm{Ae}}_i,---\left(18\right)$

其中e_i为第i个数为1，其余为0的列向量，

$A=\underset{i=1}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_i^T,---\left(19\right)$

α_i是Kc的非零特征根对应的特征向量。且Kc＝K-MK-KM+MKM，K为所选取的核函数。至此，我们将高维特征空间中的马氏距离表示成了核函数的形式，从而将一般意义的空间即原空间商马氏距离的计算成功的推广到了高维特征空间中。

根据定理1和定理2给出求解马氏距离的新公式求得马氏距离，根据给定的a值进行数据选取，下面给出算法过程：

a.计算马氏距离：

选定核函数K，根据引理中K和Kc关系：Kc＝K-MK-KM+MKM，求出Kc，然后求Kc的所有非零特征根λi及其相应的特征向量αi，这样就可以得到公式(19)的A，根据公式(18)，就可以求出样本点到样本集的马氏距离。

b.数据选取：

选择合适的α的值，可以改变选取数据的数目，逐步提高正确率。在一般情况下，取0.2到0.5即可。对于两类数据部平衡的样本集，可以对样本多的取较小的α，对样本少的取较大的α，使得最后的两训练样本集基本平衡。

(7)特征识别：本方法是基于径向基核函数的SVM(使用SMO算法作为优化算法)。SVM的基本原理已在前面介绍，这里不做叙述。在实施分类之前，支撑向量和相关参数已经存在于数据库，为了加快计算速度，所有能事先计算的数据都已保存于数据库中，包括支撑向量已经过归一化处理(范围[-1，1])。在计算时所有支撑向量及其相关参数都读入内存而不临时访问数据库，以便加快运算。本方法是专门针对烟火识别的支持向量机，根据实际问题，并行处理两组支撑向量(烟与火)。

四、实现效果

在判别烟的实验中，选取特征F＝{纹理，动态，形状}，SVM模型的惩罚系数c取值为100，核函数选择多项式核函数σ＝1，q设为3。结果如图12所示。下表为单一特征在不同参数下的识别率。

分类方法	支持向量机类型	识别率
			颜色特征	σ＝1，q＝3	61.23％
纹理特征	σ＝1，q＝3	67.33％
			动态特征	σ＝1，q＝3	77.92％
形状特征	σ＝1，q＝3	71.71％
			综合特征法	σ＝1，q＝3	83.10％

在判别火的实验中，选取特征F＝{纹理，动态，形状}，SVM模型的惩罚系数c取值为85，核函数选择多项式核函数σ＝1，q设为4。结果如图13所示。下表为单一特征在不同参数下的识别率。

分类方法	支持向量机类型	识别率
			颜色特征	σ＝1，q＝4	89.44％
纹理特征	σ＝1，q＝4	77.58％

分类方法	支持向量机类型	识别率
			动态特征	σ＝1，q＝4	72.82％
形状特征	σ＝1，q＝4	78.62％
			综合特征法	σ＝1，q＝4	92.85％

实验结果表明，利用图像综合特征的分类方法是可行的，利用烟火共同判别森林火灾的识别率更可达到95％以上。这也说明了人类获取图像信息是多方位的，不是仅仅用颜色或者只用纹理就可以刻画的，一般情况下，特征类别越多，越能更好的捕获用户的需求。使用的特征越多、特性选择越合理，分类效果就越好。

Claims (9)

1.森林火灾远程视频监控烟火识别方法，其特征在于：实现的图像分析软件的处理流程为：对输入的图像(样本)先进行图像分析，根据图像中物体或区域的颜色(color)、形状(shape)和纹理(texture)特征以及这些特征的组合，自动提取特征值，再由这些特征值生成一分类函数；在进行图像检索时，对每一幅给定的查询图，进行图像分析，并提取图像特征向量；将该图像的特征向量代入分类函数，利用分类函数计算出此图像是否与样本匹配，进而判断是否属于某一类，最终向用户报告是否着火的信息。

2.根据权利要求1所述森林火灾远程视频监控烟火识别方法，其特征在于：颜色(color)、纹理(texture)、形状(shape)和动态(dynamic)特征的综合提取；

3.根据权利要求1所述森林火灾远程视频监控烟火识别方法，其特征在于：生成的图像特征向量是依据特征的重要性进行筛选的；

4.根据权利要求1所述森林火灾远程视频监控烟火识别方法，其特征在于：特征向量代入基于径向基核函数的支持向量分类函数；

5.根据权利要求1所述森林火灾远程视频监控烟火识别方法，其特征在于：其核函数是经过参数调优、采用的距离向量为马氏距离；

6.根据权利要求2所述森林火灾远程视频监控烟火识别方法，其特征在于：颜色(color)特征采用颜色矩，颜色的一阶矩(mean)、二阶矩(variance)和三阶矩(skewness)分别为：

${\mathrm{\&mu;}}_i=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{p}_{\mathrm{ij}}$

${\mathrm{\&sigma;}}_i={\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{(p_{\mathrm{ij}}-{\mathrm{\&mu;}}_i)}^2\right)}^{\frac{1}{2}}$

$s_i={\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{(p_{\mathrm{ij}}-{\mathrm{\&mu;}}_i)}^3\right)}^{\frac{1}{3}}$

7.根据权利要求2所述森林火灾远程视频监控烟火识别方法，其特征在于：纹理(texture)特征，分别是粗糙度(coarseness)、对比度(contrast)、方向度(directionality)、反差、熵、逆差距、灰度相关和能量八个分量；

●粗糙度：粗糙度的计算可以分为以下几个步骤进行，首先，计算图像中大小为2×2个像素的活动窗口中像素的平均强度值，即有

$A_k(x,y)=\underset{i=x-2^{k-1}}{\overset{x+2^{k-1}-1}{\mathrm{\&Sigma;}}}\underset{j=y-2^{k-1}}{\overset{y+2^{k-1}-1}{\mathrm{\&Sigma;}}}g(i,j)/2^{2k}$

其中k＝0，1，…，5而g(i，j)是位于(i，j)的像素强度值，然后，对于每个像素，分别计算它在水平和垂直方向上互不重叠的窗口之间的平均强度差；

$\left.\begin{array}{c}{E}_{k,h}(x,y)=|A_k(x+2^{k-1},y)-A_k(x-2^{k-1},y)|\\ E_{k,v}(x,y)=|A_k(x,y+2^{k-1})-A_k(x,y-2^{k-1})|\end{array}\right\}$

其中对于每个像素，能使E值达到最大(无论方向)的k值用来设置最佳尺寸S_best(x，y)＝2^K；最后，粗糙度可以通过计算整幅图像中S_best的平均值来得到，表达为

$F_{\mathrm{crs}}=\frac{1}{m\&times;n}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{S}_{\mathrm{best}}(i,j)$

●对比度：对比度是通过对像素强度分布情况的统计得到的。确切地说，它是通过α₄＝μ₄/σ⁴来定义的，其中μ₄是四次矩而σ²是方差。对比度是通过如下公式衡量的：

$F_{\mathrm{con}}=\frac{\mathrm{\&sigma;}}{{\mathrm{\&alpha;}}_4^{1/4}}$

该值给出了整个图像或区域中对比度的全局度量；

●方向性：方向性的计算需要首先计算每个像素处的梯度向量，该向量的模和方向分别定义为

|ΔG|＝(|Δ_H|+|Δ_V|)/2

θ＝tan^-1(Δ_V/Δ_H)+π/2

其中Δ_H和Δ_V分别是通过图像卷积下列两个3×3操作符所得的水平和垂直方向上的变化量。

●反差：反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。灰度差即对比度大的象素对越多，这个值越大。灰度公生矩阵中远离对角线的元素值越大，CON越大。

$\mathrm{con}=\underset{i=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}{(i-j)}^{2}g(i,j)$

●熵：是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机性的度量，当共生矩阵中所有元素有最大的随机性、空间共生矩阵中所有值几乎相等时，共生矩阵中元素分散分布时，熵较大。它表示了图像中纹理的非均匀程度或复杂程度。

$\mathrm{ent}=\underset{i=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}g(i,j)\&CenterDot;\log \left[g(i,j)\right]$

●逆差距：反映图像纹理的同质性，度量图像纹理局部变化的多少。其值大则说明图像纹理的不同区域间缺少变化，局部非常均匀。

$\mathrm{idm}=\underset{i=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}[1/(1+{(i-j)}^2)]\&CenterDot;g(i,j)$

●灰度相关：它度量空间灰度共生矩阵元素在行或列方向上的相似程度，因此，相关值大小反映了图像中局部灰度相关性。当矩阵元素值均匀相等时，相关值就大；相反，如果矩阵像元值相差很大则相关值小。如果图像中有水平方向纹理，则水平方向矩阵的COR大于其余矩阵的COR值。

$\mathrm{cor}=\underset{i=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}(i-\mathrm{\&mu;})\&CenterDot;(j-\mathrm{\&mu;})\&CenterDot;g(i,j)/{\mathrm{\&sigma;}}^2$

●能量：是灰度共生矩阵元素值的平方和，所以也称能量，反映了图像灰度分布均匀程度和纹理粗细度。如果共生矩阵的所有值均相等，则ASM值小；相反，如果其中一些值大而其它值小，则ASM值大。当共生矩阵中元素集中分布时，此时ASM值大。ASM值大表明一种较均一和规则变化的纹理模式。

$\mathrm{ene}=\underset{i=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}{g}^2(i,j)$

其中

$\mathrm{\&mu;}=\underset{i=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}i\&CenterDot;g(i,j)$

${\mathrm{\&sigma;}}^2=\underset{i=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N_g-1}{\mathrm{\&Sigma;}}}{(i-\mathrm{\&mu;})}^2\&CenterDot;g(i,j)$

8.根据权利要求2所述森林火灾远程视频监控烟火识别方法，其特征在于：动态特征，分别是烟火中心相对移动速率、烟火面积相对变化速率和烟火外沿飘动轨迹三个分量。

●烟火中心相对移动速率：火焰在燃烧过程中，其中心具有一定的移动速率，为了从图像上度量这一特征，先得确定烟火中心。烟火亮度分布具有如下特征：中心部位亮度低，外沿亮度相对较高。根据这一点，可以以像素点的亮度值(即I值)为权，通过加权平均来计算烟火的中心。若用I(x，y)表示烟亮度图像，则烟火中心(X，Y)为

$X=\frac{\mathrm{\&Sigma;I}(x,y)\&times;x}{\mathrm{\&Sigma;I}(x,y)},$ $Y=\frac{\mathrm{\&Sigma;I}(x,y)\&times;y}{\mathrm{\&Sigma;I}(x,y)},$

若用I₁(x，y)，I₂(x，y)分别表示相邻的两帧烟亮度图像，图像大小为M×N，(X₁，Y₁)，(X₂，Y₂)分别表示它们的烟火中心；Vx，Vy分别表示烟火中心在水平方向和垂直方向的相对移动速率，则

$\mathrm{Vx}=\left|\frac{X_2-X_1}{N}\right|,$ $V_y=\left|\frac{Y_2-Y_1}{M}\right|$

烟火中心的相对移动速率Vx，Vy∈[Vc₁，Vc₂]，其中，Vc₁，Vc₂分别是相对移动速率的上、下限，并且Vc₁，Vc₂∈(0，1)。

●烟火面积相对变化速率：火焰在燃烧过程中，不仅中心在移动，而且燃烧面积也不断的变化。烟火面积随时间的变化可以用烟火图像亮度像素数的变化来衡量。

烟火面积相对变化速度的定义如下：

若用I₁(x，y)，I₂(x，y)分别表示相邻的两帧烟火亮度图像，N_I1，N_I2分别表示它们的亮点数，V_area表示烟火面积相对变化速度，则

V_area＝(N_I1-N_I2)/N_I1

对于烟火，V₁₁≤|V_area|≤V₁₂，由于火焰面积不可能完全不变的，所以存在上下阈值V₁₁，V₁₂。

这种变化规律实际上就是烟火相对于其它常见的干扰现象来说具有形状变化的无规律性，但这种无规律性从其形体变化、空间变化、空间分布来说均具有一定的相似性。因此，可以用连续图像的结构相似性来描述这种规律，这是考虑到虽然烟火呈现不断发展变化的趋势，但可以采用烟火的中心相对移动速率、面积相对变化速率、外沿飘动轨迹的规律特征来识别烟火。

●烟火外沿飘动轨迹：基于火焰和烟飘动的随机性、无方向性，而一般对烟火识别具备干扰的高亮体，其运动方向多是有规则、有方向的，可以提取这一特征，用来区别绝大部分的高亮干扰源。

为此，引入移动高亮区的概念：后一帧比前一帧多出来的高亮区。用I₁(x，y)，I₂(x，y)分别表示相邻的两帧烟火亮度图像，d_mov(x，y)表示I₂相对I₁的移动高亮区，则

$d(x,y)=I_2(x,y)\&CirclePlus;I_1(x,y)$

d_mov(x，y)＝I₂(x，y)⊙I₁(x，y)

通过对一序列图像相邻帧的计算，可以得到d_mov1(x，y)，d_mov2(x，y)，d_mov3(x，y)，…，对应的高亮区的中心分别为(X_d1，Y_d1)，(X_d2，Y_d2)，(X_d3，Y_d3)，…，由于移动高亮区反映的后一帧相对前一帧的摆动，而烟火的摆动具有随机性、无方向性，所以将这几点在图像上连接起来，得到的曲线应该是左右、上下来回对折的折线。

9.根据权利要求2所述森林火灾远程视频监控烟火识别方法，其特征在于：形状特征，分别是区域圆形度、区域的密集度和矩形度三个分量。

●区域圆形度：圆形度又称复杂度，分散度，其定义为C＝L²/A，L为区域周长，A为区域面积。分析表明，当图像区域为圆时，C有最小值2П。其他任何形状的图像区域，C＞4П，且形状越复杂，C值越大。

●区域的密集度：区域的密集度的定义为C_0n＝L²/4πA，L为区域周长，A为区域面积。在面积相同的情况下，区域边界越光滑，周长L越小，密集度越小(圆形区域C_0n＝1，为最密集的形状)。

矩形度：矩形度的定义为R＝A_r/A_R，A_r为图像区域面积，A_R为区域外接矩形面积。矩形度反映了区域对最小外接矩形的充满程度。显然，当区域外矩形时，矩形度最大，R＝1。当区域为圆形时，R＝π/4。对于边界弯曲、呈不规则分布的区域，0＜R＜1。

Images