CN101574567A - 基于计算机视觉技术的火灾智能探测、扑灭方法及系统 - Google Patents

Abstract

本发明涉及一种基于计算机视觉技术的火灾智能探测、扑灭方法及系统，属于火灾监测及自动灭火技术领域。该方法包括以下步骤：(1)利用子站控制模块进行火灾监测：(2)在确认有火焰存在的情况下，通过双目视差技术，对火焰进行空间位置的估计；(3)根据消防炮开启规则，确定所开启的消防水炮；(4)利用计算机视觉技术或图像处理技术得到消防炮喷射水柱末端位置，即落水点位置；(5)根据落水点和火焰相对位置，调整消防炮，实现对消防炮的闭环控制进行灭火；(6)根据监测图像，判定灭火完毕，关闭消防炮。本发明方法及系统能实现室外大空间火灾的实时监测和自动扑灭。

Description

基于计算机视觉技术的火灾智能探测、扑灭方法及系统

技术领域

本发明的基于计算机视觉技术的火灾智能探测、扑灭方法及系统，属于火灾监测及自动灭火技术领域。

背景技术

火灾是人类社会中最常见的严重灾害之一，根据最近几年美国、日本和欧盟的火灾统计资料，发达国家的火灾直接经济损失占国民生产总值的0.2％～0.3％。美国的火灾死亡率为0.0016％，欧盟为0.0013％，日本为0.0012％，其中包括许多起重大火灾。例如1995年日本的阪神大地震引起的火灾，死亡5200多人。1997年斋月期间在沙特阿拉伯的麦加圣城发生的火灾，死亡1000多人。2002年6月美国Arizona州的森林大火失去控制，令航天飞机上的宇航员也触目惊心。近年来，随着科技的进步和社会的发展，我国在对抗火灾方面已取得了可喜的成绩。但同时伴随着城市化进程的加快和人口的迅速增长，我国火灾的发生次数，造成的损失呈上升趋势。据统计，1997年，全国共发生火灾14余万起，死亡2722人，伤4930人，直接财产损失15.4亿元。其中一次死亡10人以上或受灾50户以上或直接财产损失100万元以上的特大火灾88起。

无数的事例证明，火灾是现代文明社会最具有破坏力的灾害现象之一。因此，要将火灾造成的损失降到最低，其中最有效的方法之一就是实时监测，并在蔓延前将其扑灭。因此，国内外都纷纷开展了智能消防系统的研究。但是，目前这方面的研究主要是火灾的自动监测而且主要是针对室内区域，见专利200710044936。对于室外大区域火灾发现后的自动扑灭的研究还不多。事实上，许多室外大空间环境中，如化工单位，油罐和一些防火重点对火灾的实时监测和自动扑灭具有相当大的需求。室外大空间自动消防系统的难度之一是：消防炮喷射的水柱轨迹(以下称为水道)特别是水道末端(以下称为落水点)的位置精确定位的问题。目前许多处理方法是首先发现火点，然后采用公式计算的方法得出要求的水柱轨迹，据此控制消防炮进行灭火工作。在大空间环境下，起火点的位置与消防炮的距离往往在几十米甚至达到百米以上。在远距离射程情况下，消防炮落水点的空间位置难以确定，特别是它还容易受到风向等环境因素的影响，因此，仅根据火点位置信息控制消防炮，难以保证消防炮水柱打在火点上。

发明内容

本发明的目的在于提供一种基于计算机视觉技术的火灾智能探测、扑灭方法及系统，实现室外大空间火灾的实时监测和自动扑灭。

一种基于计算机视觉技术的火灾智能探测、扑灭方法，其特征在于：包括以下步骤：

(1)、利用子站控制模块进行火灾监测：

控制云台移动，带动红外摄像机移动，并对其可视区域进行扫描；

控制视频采集芯片进行红外图像的实时采集和分析，通过阈值分割的方法快速提取疑似火点；

对疑似火点，通过火焰的颜色分布特性、火焰变化特性、火焰面积蔓延增长特性、火焰的形体变化特性、火焰的边缘变化特性进一步进行火焰的判定；

(2)、在确认有火焰存在的情况下，通过双目视差技术，对火焰进行空间位置的估计；

(3)、根据消防炮开启规则，确定所开启的消防水炮；

(4)、利用计算机视觉技术或图像处理技术得到消防炮喷射水柱末端在CCD图像中的位置，即落水点位置；

(5)、根据CCD图像上落水点和火焰相对位置，调整消防炮，实现对消防炮的闭环控制进行灭火；

(6)、根据监测图像，判定灭火完毕，关闭消防炮。

一种基于计算机视觉技术的火灾智能探测、扑灭系统，其特征在于：包括：服务器、与服务器通过总线连接成网络形式的若干子站，子站包括：消防炮、能够根据消防炮水道落水点与火焰的相对位置偏差调整消防炮出水角度的嵌入式控制模块、可控制云台、安装于可控制云台上的一对用于火焰及消防水道监测与定位的双波段CCD摄像机。

一种消防炮水道和水道末端的识别方法，其特征在于包括以下步骤：

(1)、从水道起点即消防炮位置出发，沿消防炮出水方向，对水道图像像素列逐列扫描，寻找每像素列水道轨迹中心点，每像素列水道轨迹中心点的寻找采用灰度值统计法和轨迹预测法相结合的方法，具体方法如下：

由已确定段水道轨迹预测下一像素列水道轨道中心点位置范围；

同时通过灰度值统计方法找到该像素列水道轨迹中心点；

当灰度值统计方法找到的中心点处于轨迹预测法得到的中心点误差范围内，则以该灰度值统计方法找到的中心点作为该像素列水道轨迹中心位置；

当灰度值统计方法找到的中心点不在轨迹预测法得到的中心点误差范围内，则舍去该次搜索结果，继续寻找下一像素列水道轨迹中心点；

(2)、将所有像素列水道轨迹中心点连接成水道曲线，当连续10列没有找到轨迹中心点，则判定最后一次找到的像素列水道轨迹中心点即为水道末端位置。

一种基于单目视觉技术的火点与落水点相对位置调整的消防炮控制方法，其特征在于包括以下步骤：

(1)、当发现火点后，利用双目视差原理对双波段摄像机的图像进行处理，获取火焰的深度距离信息，再结合消防炮安置位置信息，利用预设规则确定消防炮出水初始水平角及俯仰角，并启动消防炮喷水；

(2)、利用普通CCD相机实时获取同时兼有火焰和水道的二维图像；

(3)、在二维图像上只能反映消防炮水道落水点与火焰的偏差位置关系，而不能明确反映水道落实点与火焰左右关系的情况下，根据二维图像反映的消防炮出水位置距离水道落水点与火焰的远近位置关系，首先通过控制消防炮俯仰角使落水点接近火点，具体方式是：调整消防炮俯仰角使水道起始点到落水点直线距离与水道起始点到火点直线距离差值满足预设误差允许范围；

(4)、当俯仰角调整完成后，水道落水点和火焰位置相对水道起始点可视为等距离，同时也使得水道落水点与火焰的左右位置关系在二维图像中明确反映出来；则进一步利用二维图像反映的水道落水点与火焰的左右位置关系，继续通过控制消防炮水平角使落水点进一步接近火点，具体方式是：调整消防炮水平角使水道起始点到落水点连线与水道起始点与火点连线的夹角满足预设误差允许范围，则消防炮调整完成；

(5)、随火焰中心点位置的变动，重复调整消防炮的俯仰角和水平角，使落水点能够跟踪落在火焰上，直至火焰扑灭。

本发明具有下列技术效果：

1、通过服务器和多个子站形成网络化火灾监测与灭火系统，大大增加了火灾监测与灭火的区域，可以实现室外大区域的火灾监测与灭火；

2、通过双波段CCD摄像机利用双目视差实现对火焰的定位，提高了火焰空间定位的准确性，为快速灭火提供条件；

3、火灾的监测与火焰的扑灭集成在一个系统当中，提高了灭火实时性，可以有效地防止火焰的蔓延；

4、通过计算机视觉实时监测消防炮水道(落水点)与火焰的相对位置，实现消防炮的实时闭环控制，提高了水炮灭火的准确性；

5、利用灰度统计法与轨迹预测法相结合的方法，从消防炮出水口出发，通过轨迹跟踪的方法对图像进行处理找到落水点，克服了通常模式识别方法只能识别相对固定形状物体的缺点。为大空间消防炮自动灭火所需要的消防炮的闭环控制提供了条件。

6、基于单目视觉技术的火点与落水点相对位置调整的消防炮控制方法通过对俯仰角和水平角按序分别多次控制的方法解决了利用二维图像实现三维空间中火点与落水点相对位置调整的问题，使得消防炮落水点能够实时跟踪火点位置的变化，为大空间自动灭火提供条件。

附图说明

图1火灾智能探测与扑灭系统总体流程图。

图2双目成像示意图与x-z平面投影图。图2(a)是双目成像示意图，图2(b)是x-z平面投影图。

图3水道、火点相对位置示意简图。

图4水炮俯仰角控制完成后水道、火点位置示意简图。

图中标号名称：1.模拟火点；2.模拟消防炮水道曲线；3.初始水道落水点；4.水道直线距离；5.水道起始点到火点距离；6.消防炮俯仰角调整后水道曲线；7.消防炮俯仰角调整后落水点；8.消防炮水平角调整方向；9.消防炮俯仰角调整后起始点到火点距离。

具体实施方式

火灾的监测与消防灭火这两部分均属于消防的范畴，并且相互之间是相关联的。因此，本发明利用计算机视觉技术将两者集成为一个系统，实现消防灭火的闭环控制，实现智能化的火灾监测与灭火。

系统由一台计算机和若干子站组成，由计算机实现集中式管理与分布式控制。计算机和子站之间通过总线(或网络)连接，实现信息的共享。子站的数量和位置根据火灾监测区域的面积和区域内物体(如设备等)本身的特点，以及易起火点重点防火区域的位置。对于重点防火区域也可以根据需要增加子站。每个子站以MPU嵌入式模块为控制中心，具有自主控制能力。每个子站可由一对双波段CCD摄像机、一个可控制消防炮、一个可控制云台和一个嵌入式控制模块组成。其中双波段CCD摄像机对包括一个红外摄像机(由普通CCD摄像机+红外滤光片)和一个普通CCD摄像机组成。双波段摄像机安装在可控制云台上。基于MPU的嵌入式子站控制模块(以下简称子站控制模块)主要负责控制两个摄像机、控制云台、视频采集、图像分析、消防炮控制以及与服务器的通讯，执行上位机服务器的指令等工作。

火灾的监测主要在子站控制模块的自主控制下完成。子站控制模块进行火灾监测的步骤为：1、控制云台移动，红外摄像机对其可视区域进行扫描；2、控制视频采集芯片进行红外图像的实时采集和分析，通过阈值分割的方法快速提取疑似火点；3、一旦发现疑似火点，通过火焰的颜色分布特性、火焰变化特性、火焰面积蔓延增长特性、火焰的形体变化特性、火焰的边缘变化特性进一步进行火焰的判定；4、在确认有火焰存在的情况下，启动另一台CCD普通摄像机。双波段摄像机对通过双目视差技术，对火焰进行空间位置的估计。

控制模块将发现火焰报警信息、火焰面积以及空间位置信息通过总线上传给服务器，服务器经过分析，自动制定消防方案。并实现下列操作：1、启动联动电话报警；2、将起火信息以及起火点位置信息发送给所有子站，使各子站增加火焰扫描密度与频率；3、根据制定的消防方案，将发现火焰的子站以及火焰周围消防炮所属控制的子站形成灭火小组，实现集中式的管理与分布式的控制。

灭火小组子站在服务器的集中管理模式下对消防炮出水角度进行闭环控制。各子站根据火焰的空间位置信息预设消防炮出水角度，启动消防炮喷水。子站分析监测图像中各水道落水点与火焰的相对位置，利用单目视觉定位的消防水道跟踪火焰控制方法实时调整消防炮控制角度，实现消防炮对火焰的跟踪扑灭。

系统的总体流程图如图1所示。各个子站实现实时火灾监测。若发现火情，由服务器制定灭火方案，指定灭火子站。灭火子站对消防炮进行闭环控制，实现消防炮水道落水点对火焰的跟踪，实现自动灭火。其中的关键技术有：

一、火灾监测与定位

火灾的监测主要通过子站控制模块控制云台带动红外摄像机移动，红外摄像机对其可视区域进行扫描。子站控制模块再控制视频采集芯片进行红外图像的实时采集和分析。通过阈值分割的方法快速提取疑似火点。一旦发现疑似火点，进一步确定是否为火焰，(见专利200810124425)，具体步骤为：(1)对红外图像根据火焰红外图像的红色分量突出的原理，利用计算机系统对红外图像进行基于红色分量的灰度化处理，并取火焰参考灰度值作为阈值，对图像进行二值化阈值分割，提取疑似图像并进行滤波处理；(2)利用计算机系统对疑似图像进一步分析，获得火焰的颜色分布特征判据、火焰图像变化特性判据、火焰面积蔓延增长特性判据、火焰图像圆形度判据、火焰的形体变化特征判据五个判据；(3)利用神经网络以判据1～判据5为输入，综合进行判断，得到是否火灾的最终判断。在确认有火焰存在的情况下，启动另一台普通CCD摄像机。由红外摄像机和普通CCD摄像机组成的一对双波段摄像机通过双目立体视觉测距技术，对火焰进行空间位置的估计。

双目立体视觉测距技术是模拟生物用两个眼睛同时观察物体时，会有深度或远近的感觉来实现立体空间深度的测量。根据深度知觉计算假说，人的深度知觉能力是由视差比较计算而生成的，而视差的计算是基于左、右两个半脑所得到的两眼视网膜的二维投影图像信息而实施的。立体视觉正是基于深度知觉计算假说，从两个或多个视点去观察同一场景，获得在不同视角下的一组图像，然后通过不同图像中对应像素间的视差，推断出场景中目标物体的位置。

双目成像示意图如图2所示，图2(a)中空间点P(x_w，y_w，z_w)在从不同位置所获取的两幅图像上的投影点分别为P_l和P_r，左右摄像机焦点中心线的连线是设为x轴，P_l和P_r在x轴上的投影分别为x_pl和x_pr。两摄像机的光轴平行，并位于x-z平面上。在这种条件下，摄像机被称为平行对准状态。z轴与两架摄像机的光轴平行，两摄像机的焦距为f，它们之间的距离是d。

图2(b)是P点在x-z平面上的投影图，在图中所示的坐标系中，空间点P(x_w，y_w，z_w)在x-z平面上的投影坐标为(x_w，z_w)，它在左右图像上的图像坐标为(x_pl，y_pl)，(x_pr，y_pr)，可见有如下关系：

$z_w=\frac{\mathrm{df}}{x_{\mathrm{pl}}-x_{\mathrm{pr}}}---\left(1\right)$

则双目立体视觉测得物体离摄像机的深度距离为：z_w-f

物体在x、y轴方向上的投影分别为：

$x_w=d\frac{x_{\mathrm{pl}}+x_{\mathrm{pr}}}{2}\frac{1}{x_{\mathrm{pl}}-x_{\mathrm{pr}}}---\left(2\right)$

$y_w=d\frac{y_{\mathrm{pl}}+y_{\mathrm{pr}}}{2}\frac{1}{y_{\mathrm{pl}}-y_{\mathrm{pr}}}---\left(3\right)$

利用式(1)～(3)即可实现火灾的空间定位。

二、消防炮轨迹与落水点确认

本发明的自动灭火系统是以消防炮落水点与火焰的相对位置为依据对消防炮进行实时闭环控制的。因此，落水点的定位精度直接影响到灭火的准确性。但是通过CCD摄像机获得的消防炮的落水点图像受到背景图像的影响，并且溅起水花受到多种不确定因素的影响。因此落水点图像难以用通常的图像模式识别的方法进行识别判断。

由于消防炮的安装位置是固定的，因此，消防炮在CCD摄像机获得的图像中的位置是已知的。本发明提出从水道起点即消防炮位置出发，利用水道跟踪的方法进行落水点识别。那么消防炮轨迹的确定实质上是根据水道起点，寻找水道轨迹以及轨迹终止点即落水点的问题。

同样，水道图像受到风向、消防炮喷水角度、水炮压力等因素的影响，其水道图像形状也具有很大的不确定性。同时，水道的灰度值会受到光照和拍摄角度的影响，变化非常大。因此，单纯利用阈值分割的方法也难以获得水道。但是，实际上从视觉上从获得的CCD图像中能够看出水道部分和背景图像具有明显的边界。

水道跟踪法以消防炮位置出发，沿出水方向，对图像像素列逐列扫描，寻找每像素列水道轨迹中心点。再将所有列的水道中心点连接成水道曲线，以水道曲线终止位置确定为水道落水点位置。因此，水道识别的关键在于图像的每个像素列对于水道图像的寻找。本发明在水道搜寻中利用灰度值统计法和轨迹预测两个方法相结合进行判定。先利用已确定水道轨迹通过灰度值统计的方法找到下个列中水道位置，再由已确定的水道轨迹预测该列水道的预测位置。若该列的水道预测位置与搜寻位置在一定的误差范围内，则确定该列水道，否则放弃该列水道位置，以同样的方法搜寻下一列水道轨迹位置。若连续10列不能确定水道则认为水道轨迹终止。

假设已确定i个水道轨迹点，轨迹中心点像素坐标分别是(x₁，y₁)～(x_i，y_i)，第i像素列的中心点灰度为G_i，水道宽度为k_i。则灰度统计法寻找和轨迹预测法预测下一个轨迹中心点的方法为：

1、灰度统计法

根据第i列轨迹中心点的信息对第i+1列进行扫描，读取像素点坐标为(x_i+1，y_i-k_i/2)～(x_i+1，y_i+k_i/2)的灰度值分别为G(x_i+1，y_i-k_i/2)，G(x_i+1，y_i-k_i/2+1)，…G(x_i+1，y_i+k_i/2)。

找到第i+1列灰度的最大值为：

Max(G(x_i+1，y_i-k_i/2)，G(x_i+1，y_i-k_i/2+1)，…，G(x_i+1，y_i+k_i/2-1)，G(x_i+1，y_i+k_i/2))，以及最大值点对应的坐标为(x_i+1，y′_i+1)。为了确定水道在i+1列上的宽度，以(x_i+1，y′_i+1)为中心，向两个方向，即(x_i+1，y_i+1)□(x_i+1，y_i+1-k_i/2-10)以及(x_i+1，y_i+1)□(x_i+1，y_i+1+k_i/2+10)寻找灰度突变点，即水道的边界。由于水道灰度是渐变的，因此在第i+1列上，从(x_i+1，y_i+1)向y的两个方向上灰度是递减的，当到水道边界时灰度值会出现突变，即为水道边界。

以y正方向为例，即

m1，m1∈(y_i+1，y_i+1+k_i+10]，m1∈Z，从(x_i+1，y_i+1+1)～(x_i+1，y_m1-1)已逐一判断非边界点，当y_m1满足：

G(x_i+1，y_m)-G(x_i+1，y_m1-1)＞0，|G(x_i+1，y_m1)-G(x_i+1，y_m1-1)|＞|G(x_i+1，y_m1-1)-G(x_i+1，y_m1-2)|或G(x_i+1，y_m)-G(x_i+1，y_m1-1)＜0，|G(x_i+1，y_m1)-G(x_i+1，y_m1-1)|＞3|G(x_i+1，y_m1-1)-G(x_i+1，y_m1-2)|则确定(x_i+1，y_m1)为i+1像素列的上边界，同理确定下边界为(x_i+1，y_m2)。则第i+1列上的宽度为m2-m1。

2、轨迹预测法

已确定i个水道轨迹点，轨迹中心点像素坐标分别是(x₁，y₁)～(x_i，y_i)，利用这i个点通过最小二乘法进行水道的曲线拟合，将x_i+1带入拟合曲线，得到第i+1个点的水道轨迹预测值y_i+1。

三、基于单目图像的消防炮控制

当系统发现火灾，启动消防炮后，水炮喷射的水道轨迹是否能够打到起火点上对于灭火的效率至关重要。本发明根据图像获取的火焰与水道落水点的相对位置来调节消防炮，直至两者重合。

当发现火点后，根据双波段摄像机的图像利用双目视差原理获取的火焰的深度距离信息，设置消防炮初始参数进行喷射。普通CCD相机获取的图像同时兼有火焰和水道的图像。然而普通CCD摄像机获得的图像是二维图像，而它反应的却是三维空间。由二维图像无法明确判断三维空间中水道落水点和火焰的明确相对位置。从图像上反映的水道落实点与火焰的位置来看，消防炮俯仰角的控制是明确的。但是，其水平角的控制是难以确定的，如图3所示。

因此，本发明提出将消防炮的控制分两步完成，先完成俯仰角的控制，再完成水平角的控制。如图3所示，根据4.水道直线距离与5.水道起始点到火点距离的大小来实现俯仰角的调节。设置误差允许范围δ_d，当d₁-d₂＞0且|d₁-d₂|＞δ_d，则俯仰角控制往上，当d₁-d₂＜0且|d₁-d₂|＞δ_d，则俯仰角控制往下。

当俯仰角调整完成后，落水点和火焰位置与水炮安装点可视为等距离的情况，即图4中5.水道起始点到火点距离d₂与9.消防泡俯仰角调整后起始点到火点距离d₁′近似相等。则从二维图片将两者在水平方向上的相对位置明确化，如图4所示。根据图4中θ角的大小控制消防炮水平方向。设置角度误差允许范围δ_θ，当θ＞0，|θ|＞δ_θ，则水平角向逆时针方向控制；当θ＜0，|θ|＞δ_θ，则水平角向顺时针方向控制。

Claims (2)

1、一种基于计算机视觉技术的火灾智能探测、扑灭方法，其特征在于：包括以下步骤：

(1)、利用子站控制模块进行火灾监测：

控制云台移动，带动红外摄像机移动，并对其可视区域进行扫描；

控制视频采集芯片进行红外图像的实时采集和分析，通过阈值分割的方法快速提取疑似火点；

对疑似火点，通过火焰的颜色分布特性、火焰变化特性、火焰面积蔓延增长特性、火焰的形体变化特性、火焰的边缘变化特性进一步进行火焰的判定；

(2)、在确认有火焰存在的情况下，通过双目视差技术，对火焰进行空间位置的估计；

(3)、根据消防炮开启规则，确定所开启的消防水炮；

(4)利用计算机视觉技术或图像处理技术得到消防炮喷射水柱末端在CCD图像中的位置，即落水点位置；

(5)根据CCD图像上落水点和火焰相对位置，调整消防炮，实现对消防炮的闭环控制进行灭火；

(6)、根据监测图像，判定灭火完毕，关闭消防炮。

2、一种基于计算机视觉技术的火灾智能探测、扑灭系统，其特征在于：包括：服务器、与服务器通过总线连接成网络形式的若干子站，子站包括：消防炮、能够根据消防炮水道落水点与火焰的相对位置偏差调整消防炮出水角度的嵌入式控制模块、可控制云台、安装于可控制云台上的一对用于火焰及消防水道监测与定位的双波段CCD摄像机。

Images