CN101315667A - 室外早期火灾多种特征综合识别方法 - Google Patents

Abstract

一种室外早期火灾多种特征综合识别方法，属火灾监控及图像处理技术领域。步骤包括：1.热成像仪获得红外图像；2.火灾红外图像灰度化处理、阈值分割以及滤波处理；3.对疑似火灾火焰图像进行进一步分析，获得以下五个判据：(1)火焰图像颜色分布判据；(2)火焰图像变化率判据；(3)火焰图像面积蔓延增长判据；(4)火焰图像圆形度判据；(5)火焰图像形体变化判据；4.利用神经网络以判据1～判据5为输入，综合进行判断，得到是否火灾的最终判断。本方法克服了火灾识别过程中对自然光等方面的干扰，减小火灾的漏报率和误报率。

Description

室外早期火灾多种特征综合识别方法

技术领域

本发明属于火灾监控以及图像识别与处理技术领域，主要涉及利用热成像技术获得红外监控图像，根据火焰的各种特性对室内、外早期火灾进行识别的一种方法。

背景技术

火灾是人类社会中最常见的严重灾害之一，根据最近几年美国、日本和欧盟的火灾统计资料，发达国家的火灾直接经济损失占国民生产总值的0.2％～0.3％。美国的火灾死亡率为0.0016％，欧盟为0.0013％，日本为0.0012％。其中包括许多起重大火灾，例如1995年日本的阪神大地震引起的火灾，死亡5200多人。1997年斋月期间在沙特阿拉伯的麦加圣城发生的火灾，死亡1000多人。2002年6月美国Arizona州的森林大火失去控制，令航天飞机上的宇航员也触目惊心。近年来，随着科技的进步和社会的发展，我国在对抗火灾方面已取得了可喜的成绩。但同时伴随着城市化进程的加快和人口的迅速增长，我国火灾的发生次数，造成的损失呈上升趋势。据统计，1997年，全国共发生火灾14余万起，死亡2722人，伤4930人，直接财产损失15.4亿元。其中一次死亡10人以上或受灾50户以上或直接财产损失100万元以上的特大火灾88起。

无数的事例证明，火灾是现代文明社会最具有破坏力的灾害现象之一。因此，要将火灾造成的损失降到最低，其中最有效的方法之一就是早期发现，并在蔓延前将其扑灭。那么，火灾科学中一个关键的问题就是火灾的探测与定位技术。为了将火灾的探测与定位同时完成，基于图像的火灾识别方法最为有效，用红外摄像机进行火灾探测，再利用红外波段摄像机加普通CCD摄像机构成双波段火焰定位方法是目前火灾探测与定位中的一个发展方向，见申请号为200710016778.1的专利申请文件。该方法的研究成果与消防炮集成后还可以实现火灾的智能消防炮自动灭火系统。但是，目前的基于图像(视频)的火灾识别与定位方法都是针对室内的(仓库、厂房等)，室外(野外)由于各种干扰特别是自然光的干扰，空间范围大、背景复杂多变等特点给火灾的识别带来很大的难度。同时，早期火灾由于火点小，给基于图像的火灾识别方法又进一步增加了难度。单纯利用图像阈值的方法进行火灾的识别(专利申请号200710016778.1)难以获得满意的结果。然而，油田、油库、化工单位等许多防火重地对于室外早期火灾的探测具有非常迫切的需求。这些地方如果发生火灾不能及时发现，火灾一旦蔓延将造成难以想象的后果。

发明内容

【发明目的】

为避免现有基于图像的火灾识别技术难以应用于室外早期火灾的识别中的缺陷，本发明提出一种利用热成像技术的早期火灾多种特征综合识别方法。根据火灾红外图像在颜色分布特征、变化率特征、面积蔓延增长特征、圆形度特征、形体变化特征多种特征因素进行综合判断，实现对室外及室内早期火灾的识别。

【技术方案】

热成像仪根据物体的红外辐射成像，工作波段较宽，灵敏度很高。因此，本发明选用热成像获取红外图像。由热成像仪获得的红外图像进行处理进行火灾的识别。

由于室外干扰因素较多，特别是自然光中含有各种波段的光，在自然光较强的室外环境，利用红外图像进行阈值分割的方法仍然会有很大的误报率。因此，本发明又结合火焰图像在形体上和变化趋势上的特征综合进行识别。然而，仅仅依赖形体上的某一项特征仍会出现较高的误报和漏报，结合多种形体特征综合进行判断将大大降低误报率和漏报率。

一种室外早期火灾多种特征综合识别方法，包括以下步骤：

(1)、利用热成像仪获得红外图像；

(2)、根据火焰红外图像的红色分量突出的原理，利用计算机系统对红外图像进行基于红色分量的灰度化处理，并取火焰参考灰度值作为阈值，对图像进行二值化阈值分割，提取疑似图像并进行滤波处理；

(3)、利用计算机系统对疑似图像进一步分析，获得以下五个判据：

判据1：根据火焰一般从焰心到外焰其颜色应从白色向红色渐变的原理，在第(2)步灰度化之前，对获取到的彩色图像先进行颜色识别，建立火焰图像颜色分布判据；

判据2：根据火焰时刻变化且时快时慢原理，建立火焰图像变化率判据；

判据3：根据火灾区呈不断持续蔓延扩大趋势，体现在序列图像上为高亮度区域持续增长的原理，建立火焰图像面积蔓延增长判据；

判据4：根据大部分干扰源形状规则度较高而火焰形状不规则的原理，建立火焰图像圆形度判据；

判据5：根据早期火灾火焰几何形体变化规律相对于其他干扰现象来说体现在序列图像中是一种无序的变化的原理，建立火焰图像形体变化判据；

(4)、利用神经网络以判据1～判据5为输入，综合进行判断，得到是否火灾的最终判断。

【有益效果】

本发明具有下列技术效果：

1、本项目提出了一种用于室外早期火灾的识别方法，用于对开放式环境下的早期火灾进行识别，室内环境同样也能适用。

2、将火焰图像的颜色分布特征、变化率特征、面积蔓延增长特征、圆形度特征、形体变化特征五种特性进行综合，不仅仅从火焰的热度上，还从火焰的形状、跳动频率、边缘特征等多个方面进行识别，从而克服了火灾识别过程中对自然光等方面的干扰，减小火灾的漏报率和误报率。

附图说明

图1室外早期火灾识别方法框图。

图中标号名称：1.BP神经网络；2.输入层；3.隐层；4.输出层

具体实施方式

本发明的火灾识别方法如图1所示，首先，由热成像仪获得较高分辨率的红外图像，然后，对红外图像进行处理和识别，具体步骤如下：

1、火灾红外图像灰度化处理、阈值分割：这一部分的主要功能是对疑似火灾部分的图像分割与提取。为了减小图像处理的计算量，首先对红外图形进行灰度化处理。由于火焰红外图像的红色分量非常突出，基本为255或稍低，为了便于发现火焰，因此，对图像进行了基于红色分量的灰度化处理。即Gray(x，y)＝R(x，y)。其中R(x，y)表示图像的红色分量值。Gray(x，y)表示的灰度值。设定阈值200，对图像进行二值化阈值分割，将所有灰度值大于200的像素点提取出来作为疑似图像进行进一步处理。阈值变换后的图像再经过边缘检测、轮廓提取、种子填充运算，可去除小的干扰亮点区域。再经过区域生长最终得到分割后的图元区域。再此基础上，对火灾图像进行腐蚀、膨胀，图像平滑及中值滤波处理，去除图像中存在的一些孤立点、毛刺点和噪声点。下面对疑似火灾图像进行进一步的判断，判断是否是火灾图像。

2、对疑似图元区域进行进一步分析，获得以下五个判据：

(1)、判据1：火焰图像颜色分布判断：

火焰一般从焰心到外焰其颜色应从白色向红色移动，从总体上看，该过程是渐变的。整个火焰的颜色是以一种或少数几种颜色为主，间或有其他颜色。根据这一特征，可以在第一步灰度化之前，对获取到的彩色图像首先进行颜色识别。通过这一特征将火焰与具有火焰颜色的物体有效地区分开来，因为物体的颜色大多为单色，不具有火焰的这种分布特征。

从火焰颜色物体的左上像素开始，依次取连通像素点，连通方向为右下，如右下无连通像素则取下连通，直至取完，每3个像素点取红色比重的平均值，组成数列，然后作一阶差分。最后将得到的差分数列输入给判别算法。以起始像素为起点，当红色比重的减少趋势持续一定步数时，说明有从红色向白色移动的趋势；同理从截止像素为起点，当红色比重持续增加一定步数时，说明有从白色向红色移动的趋势，任何一种情况出现都说明具有火焰特性。

计算红色比重的公式为：

$\mathrm{redratio}(x,y)=\underset{x,y\∈m}{\mathrm{\Σ}}\frac{R\left(P_i(x,y)\right)}{R(P_i(x,y)+G\left(P_i(x,y)\right)+B\left(P_i(x,y)\right))}---\left(3.1\right)$

其中P_i是连续n帧图像中的第i帧，R、G、B分别为红、绿、蓝在图像中所占像素数。该判据可以有效的去除例如电筒、日出图像的干扰。

(2)、判据2：火焰图像火焰变化率：

火焰是时刻变化的，时快时慢，这同火焰的种类及环境等因素有关。有时火焰被遮挡而使系统无法识别火焰尖峰，这时对其变化率的估计是识别火焰的重要手段。当具有火焰颜色物体的变化率足够高时，且其颜色分布具有火焰特点时，可以认为这个物体具有火焰特征。具体算法如下：

$\mathrm{Diff}(x,y)=\frac{\underset{i=0}{\overset{n}{\mathrm{\Σ}}}|P_i(x,y)-P_{i-1}(x,y)|}{n-1}$

P_i是连续n帧图像中的第i帧图像疑似图元的灰度值。

(3)、判据3：火焰图像面积蔓延增长判据：火灾发生后，火灾区会呈不断持续蔓延扩大趋势，火焰的面积呈现连续的、扩展性的增长趋势。对应摄像头与探测到的目标面积也会逐渐增大。因此，图像上表现为高亮度区域持续增长，同时也反映了火焰在空间分布的变化。在图像处理中，面积是通过阈值分割后分割出疑似图元，再统计出疑似图元的像素点来实现火焰面积的计算。本发明采用的算法是计算连续几帧图像的火焰面积，并计算其比值，用火焰增长率G_i作为判据。

$G_i=\frac{\mathrm{Size}{\left(R_i\right)}_t-\mathrm{Size}{\left(R_i\right)}_{t0}}{t-t_0}$

其中，为R_i火焰区域。

(4)、判据4：火焰图像圆形度判据：圆形度可以衡量物体形状的规则程度。火焰形状不规则，而大部分干扰源(如白炽灯等)形状规则程度较高。因此可以将火焰的圆形度作为火灾识别的一个判据。比较常用的圆形度是周长的平方和面积的比。本发明将圆形度值除以4π，使圆形度的最小值为1，即

$C_k=\frac{{P_k}^2}{4\mathrm{\π}{A}_k},k=\mathrm{1,2},\·\·\·,n---\left(3.4\right)$

式中C_k为第k个图元的圆形度，P_k为第k个图元的周长，A_k为第k个图元的面积，n为图像中图元个数。

在具体计算中，周长为物体的边界长度，可从边界链码中得到。垂直的和水平的步幅为单位长度，对角步幅的长度为两个直角步还原成一个对角度，其步幅也为

按上述规则遍历边界链码，即可算出边界长度。

(5)、判据5：火焰图像形体变化判据：

早期火灾火焰的几何形体变化规律相对于其他干扰现象来说，体现在序列图像中是一种无序的变化，这种“无序”相对于图像型火灾探测来说，提供了很大的方便。本发明在计算形体变化信号时，首先计算连续帧的变化图像的相似度ξ_i，然后求取几个相似度值的平均值ξ，将该平均值作为一个判据。

其中 ${\mathrm{\ξ}}_i=\frac{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{b}_i(x,y)\∩b_{i+1}(x,y)}{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{b}_i(x,y)\∪b_{i+1}(x,y)},i=\mathrm{1,2},\·\·\·,N;$

3、上一步中所描述的五个判据各有优缺点，某个判据会针对某一种噪声或干扰具有很好的抑制，但可能对其它干扰不敏感，又会将某种形式的火焰当作干扰去除掉。单纯用一个判据会存在较大的误报和漏报。因此，需要对五个判据综合考虑。那么综合考虑的依据由实验数据作为BP神经网络的学习样本。经过训练后的BP神经网络就可以根据五个判据进行火灾识别。即：将五个判据作为BP神经网络的输入，那么BP神经网络的输出即为最终的火灾有否的最终判断结果。

BP神经网络由三层组成：输入层、隐层和输出层。其结构如图1所示。

隐层节点的作用函数对输入信号将在局部产生响应，其中作用函数采用高斯函数，如式(1)。式中，x是m维输入向量；t_j是第j个隐层节点单元的中心(均值向量)；σ_j是第j个隐层节点单元的偏差。

$R_j\left(x\right)=\exp [-\frac{{\left|\right|x-t_j\left|\right|}^2}{{2\mathrm{\σ}}_j^2}],j=\mathrm{1,2},\·\·\·s---\left(1\right)$

其中s为隐层节点数，输入层实现从x→R_j(x)的非线性映射，输出层实现从R_j(x)→y_k的线性映射，即：

$y_k=\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{w}_{\mathrm{kj}}{R}_j\left(x\right),k=\mathrm{1,2},\·\·\·,l---\left(2\right)$

其中，l为输出层节点数，w_kj为权值，图2为基于模糊系统的径向基网络结构图。径向基神经网络的学习过程是算法将调整网络权值和阈值，以使输出均方误差最小化。每一步对参数的调节见式(4)(5)。

式(6)为均方误差的期望。这里，均方误差的期望值被第n次迭代的均方误差所代替。

$\hat{F}\left(x\right)=\hat{E}\left[e^2\right]={(t\left(n\right)-a\left(n\right))}^T(t\left(n\right)-a\left(n\right))=e^T\left(n\right)e\left(n\right)---\left(3\right)$

近似均方误差的最速下降算法为：

$w_{i,j}(n+1)=w_{i,j}\left(n\right)-\mathrm{\α}\frac{\∂\hat{F}}{{\∂w}_{i,j}},i=\mathrm{1,2},\·\·\·,s;j=1,2,\·\·\·,m---\left(4\right)$

$b_i(k+1)=b_i\left(k\right)-\mathrm{\α}\frac{\∂\hat{F}}{\∂b_i},i=1,\·\·\·,s---\left(5\right)$

其中，w_i，j为权值，b_i为阈值，α是学习速度

Claims (5)

1、一种室外早期火灾多种特征综合识别方法，其特征在于包括以下步骤：

(1)、利用热成像仪获得红外图像；

(2)、根据火焰红外图像的红色分量突出的原理，利用计算机系统对红外图像进行基于红色分量的灰度化处理，并取火焰参考灰度值作为阈值，对图像进行二值化阈值分割，提取疑似图像并进行滤波处理；

(3)、利用计算机系统对疑似图像进一步分析，获得以下五个判据：

判据1：根据火焰一般从焰心到外焰其颜色应从白色向红色渐变的原理，在第(2)步灰度化之前，对获取到的彩色图像先进行颜色识别，建立火焰图像颜色分布判据；

判据2：根据火焰时刻变化且时快时慢原理，建立火焰图像变化率判据；

判据3：根据火灾区呈不断持续蔓延扩大趋势，体现在序列图像上为高亮度区域持续增长的原理，建立火焰图像面积蔓延增长判据；

判据4：根据大部分干扰源形状规则度较高而火焰形状不规则的原理，建立火焰图像圆形度判据；

判据5：根据早期火灾火焰几何形体变化规律相对于其他干扰现象来说体现在序列图像中是一种无序的变化的原理，建立火焰图像形体变化判据；

(4)、利用神经网络以判据1～判据5为输入，综合进行判断，得到是否火灾的最终判断。

2、根据权利要求1所述的早期火灾多种特征综合识别方法，其特征在于：

判据1中涉及的主要公式为红色比重计算公式：

$\mathrm{redratio}(x,y)=\underset{x,y\∈m}{\mathrm{\Σ}}\frac{R\left(P_i(x,y)\right)}{R(P_i(x,y)+G\left(P_i(x,y)\right)+B\left(P_i(x,y)\right))}$

其中P_i是连续n帧图像中的第i帧，R、G、B分别为红、绿、蓝在图像中所占像素数。

3、根据权利要求1所述的早期火灾多种特征综合识别方法，其特征在于：

判据2中涉及的主要公式为火焰变化率计算公式：

$\mathrm{Diff}(x,y)=\frac{\underset{i=0}{\overset{n}{\mathrm{\Σ}}}|P_i(x,y)-P_{i-1}(x,y)|}{n-1}$

P_i是连续n帧图像中的第i帧图像疑似图元的灰度值。

4、根据权利要求1所述的早期火灾多种特征综合识别方法，其特征在于：

判据3中涉及的主要公式为火焰增长率计算公式：

$G_i=\frac{\mathrm{Size}(R_i{)}_t-\mathrm{Size}{\left(R_i\right)}_{t0}}{t-t_0}$

其中，为R_i火焰区域。

5、根据权利要求1所述的早期火灾多种特征综合识别方法，其特征在于：

判据5中首先计算连续帧的变化图像的相似度ξ_i，然后求取几个相似度值的平均值ξ，将该平均值作为判据

其中 ${\mathrm{\ξ}}_i=\frac{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{b}_i(x,y)\∩b_{i+1}(x,y)}{\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{b}_i(x,y)\∪b_{i+1}(x,y)}i=\mathrm{1,2},\·\·\·,N.$