CN111368756A - 一种基于可见光的明火烟雾快速识别方法和系统 - Google Patents

Abstract

本发明涉及一种基于可见光的明火烟雾快速识别方法和系统，方法包括以下步骤：对获取的火灾图像进行灰度化处理得到灰度火灾图像；采用空间灰度层共现矩阵方法计算所述灰度火灾图像的纹理特征信息；对灰度火灾图像进行平滑处理和灰度拉伸；采用边缘提取算子将经过平滑处理和灰度拉伸处理后的图像中的疑似火焰形状进行提取；对提取出的疑似火焰形状计算特征参数；根据得到的特征参数判断疑似火焰形状是否为火焰。本发明能够提高检测速度和准确率。

Description

一种基于可见光的明火烟雾快速识别方法和系统

技术领域

本发明涉及火灾报警监控技术领域，特别是涉及一种基于可见光的明火烟雾快速识别方法和系统。

背景技术

传统的基于明火烟雾探测器的火灾报警系统由于对明火烟雾的高感知度和低成本等特性在火灾防控方面取得了广泛的应用。但是由于其特殊的工作原理，即探测器必须与一定浓度的明火烟雾接触才能报警，使得它无法应用于大的空间以及露天环境。此外，明火烟雾扩散至报警探测器的时间加长了明火烟雾的发现时间，不利于火灾的及早发现，即使发现火灾也无法后续取证。

计算机视觉主要研究从图像数据中获取信息的方法，在基于可见光的视频监控火灾报警系统中，可以通过计算机视觉方法对视频图像内容进行分析，获得对监控区域场景的初步理解，而不需要与明火烟雾接触产生化学反应，因此能够监控大空间以及露天区域；同时，基于视频监控的火灾报警系统能够获得丰富的现场图像信息数据，可以及时对着火位置、火势大小进行初步判断，第一时间提供火情信息，降低火灾损失。

明火烟雾检测属于计算机视觉领域中特定目标的检测识别问题，一些研究人员提出了基于明火烟雾不同特征的检测算法。目前实际使用中的明火烟雾检测算法主要有以下几种：

1)基于颜色信息的明火烟雾检测颜色信息是图形的重要信息，通过在彩色图形中寻找特定颜色的区域，能够发现潜在的目标区域，从而实现明火烟雾的检测。然而，利用颜色信息进行明火烟雾检测也存在一些明显的不足，例如受相似颜色目标的干扰；此外，能否针对不同颜色的明火烟雾建立合适的颜色模型，也是限制颜色信息在明火烟雾检测中应用的一个重要限制。

2)基于运动信息的明火烟雾检测明火烟雾的运动存在特定的规律(烟往高处扩散)，通过计算场景中的光流，发现目标的光流运动特性，能够将明火烟雾与不具备这些运动特性的目标区分开来。然而，光流计算的准确性，监控区域的成像条件等都对明火烟雾的准确检测结果有很大影响。

3)基于小波分析的明火烟雾检测小波分析方法作为信号处理，尤其是图像处理中的重要工具，在图像处理领域的很多问题中都有重要应用。通过对场景图像进行小波变换，得到图像的小波域信息，能够在频域和空域同时对图像进行分析。有学者研究了图像中明火烟雾区域同非明火烟雾区域在小波域的差别，研究了一系列基于小波变换的明火烟雾检测方法，如小波域能量损失与保留能量的关系、小波系数的统计规律等，获得了较好的效果。但是小波分析方法往往只针对特定形态的明火烟雾，难以满足一些特定场合的应用需求。虽然研究人员提出了不同的明火烟雾检测算法，但是由于明火烟雾的形状变化多种多样，不同燃烧物产生的明火烟雾的浓度、灰度差异很大，加上检测的背景各不相同，目前很难找到能够很好的描述图像中明火烟雾的特征。

发明内容

本发明所要解决的技术问题是提供一种基于可见光的明火烟雾快速识别方法和系统，能够提高检测速度和准确率。

本发明解决其技术问题所采用的技术方案是：提供一种基于可见光的明火烟雾快速识别方法，包括以下步骤：

(1)对获取的火灾图像进行灰度化处理得到灰度火灾图像；

(2)采用空间灰度层共现矩阵方法计算所述灰度火灾图像的纹理特征信息；

(3)对灰度火灾图像进行平滑处理和灰度拉伸；

(4)采用边缘提取算子将经过平滑处理和灰度拉伸处理后的图像中的疑似火焰形状进行提取；

(5)对提取出的疑似火焰形状计算特征参数；

(6)根据得到的特征参数判断疑似火焰形状是否为火焰。

所述步骤(1)中在灰度化处理时，用掩码“与”上像素值提取出颜色分量，再经过左右移操作获得RGB分量表示的像素颜色。

所述步骤(2)具体为：所述灰度火灾图像在水平方向和垂直方向上各有Nc个像元和Nr个像元,将每个像元上出现的灰度量化为Nq层，设Zc＝{1,2,3…,Nc}为水平空间域，Zr＝{1,2,3…,Nr}为垂直空间域，G＝{1,2,3…,Nq}为量化灰度层集；集Zr×Zc为行列编序的图像像元集，则图像函数f表示为一个函数：指定每一个像元具有Nq个灰度层中的一个值G，即f:Zr×Zc→G，用一对像元的灰度共现矩阵计算出能量、熵、相关、和惯性矩得到纹理特征信息。

所述步骤(3)中的平滑处理采用均值滤波或中指滤波的方式实现，灰度拉伸是将灰度火灾图像中感兴趣的灰度范围拉开，其中灰度火灾图像中感兴趣的灰度范围通过纹理特征信息确定。

所述步骤(4)中的边缘算子为Roberts边缘检测算子、Sobel边缘检测算子、Prewitt边缘检测算子、Krisch边缘检测算子或高斯拉普拉斯边缘检测算子。

所述步骤(5)具体为：将连接在一起的像素附上相同的标志,不同的连接部分附上不同的标记，通过该处理将火灾图像的各个连接成分区分开，得到多个区域,计算各个区域轮廓线上像素间距离之和得到周长L，计算

得到各个区域的重心，其中，(x_i,y_i)为区域中各个像素的坐标，计算各个区域中包含的像素数量得到面积S，计算

得到区域的形状复杂程度的特征量。

本发明解决其技术问题所采用的技术方案是：还提供一种基于可见光的明火烟雾快速识别系统，包括PaaS层服务部分和算法引擎部分，所述PaaS层服务部分用于对前端输入源的视频流进行解析，将解析的图片帧序列输入到所述算法引擎部分；所述算法引擎部分采用上述方法对火焰和烟雾进行识别。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明具有探测速度快，火灾定位准确，可视化等特点，在视频火灾图像出现的50毫秒内就能探测到，不仅可以检测小目标的火焰和烟雾，也可以检测大场景下的火焰和烟雾，尤其对于复杂场景下的火焰和烟雾目标检测率极高。本发明适用于大型购物广场、厂房以及高档别墅等大空间火灾和烟雾探测环境复杂的场所，传统火灾传感器往往无法满足在该场景下的火灾探测要求。本发明对火焰和烟雾目标进行特征提取、分类预测，做到了对火焰和烟雾的特征的全方位抽象量化，保证火焰、烟雾的探测速度和准确率。同时，可以将此方法集成到相机前端，开发成明火烟雾检测相机，可以进行实时的明火烟雾预警。

附图说明

图1是本发明实施方式的流程图；

图2是本发明实施方式中使用高斯拉普拉斯算子进行边缘检测的结果图；

图3是本发明实施方式中火焰周长计算示意图；

图4是本发明实施方式的系统功能图；

图5是本发明实施方式的系统架构图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于可见光的明火烟雾快速识别方法，如图1所示，包括以下步骤：对获取的火灾图像进行灰度化处理得到灰度火灾图像；采用空间灰度层共现矩阵方法计算所述灰度火灾图像的纹理特征信息；对灰度火灾图像进行平滑处理和灰度拉伸；采用边缘提取算子将经过平滑处理和灰度拉伸处理后的图像中的疑似火焰形状进行提取；对提取出的疑似火焰形状计算特征参数；根据得到的特征参数判断疑似火焰形状是否为火焰。由此可见，本实施方式的火灾图像处理包括彩色图像灰度化，计算灰度图像纹理特征参数，灰度图像平滑(滤波)和灰度拉伸，提取疑似火焰形状，计算疑似火焰特征参数，综合识别火灾，具体如下：

1彩色图像灰度化

24位真彩色图像没有调色板，每个像素用24位(3个字节)表示，红绿蓝各占一个字节。16位彩色图像也没有调色板，每个像素用16位(2个字节)表示，这种格式叫作高彩色或叫增强型16位色或64K色。16位中最低的5位表示蓝色分量，中间的5位表示绿色分量，高的5位表示红色分量，一共占用了15位，最高的一位保留，设为0。这种格式被称作555_16位位图；另一种16位位图格式被称作565_16位位图，16位中最低的5位表示蓝色分量，中间的6位表示绿色分量，高的5位表示红色分量。在555格式下，红、绿、蓝的掩码分别是：0x7C00、0x03E0、0x001F，而在565格式下，它们则分别为：0xF800、0x07E0、0x001F。灰度化时分别用掩码“与”上像素值，从而提取出想要的颜色分量，再经过适当的左右移操作即可获得RGB分量表示的像素颜色。灰度化可以采用现行的标准平均值法。公式为：Y＝0.3R+0.59G+0.11B，式中：R为红色分量；G为绿色分量；B为蓝色分量。

2图像纹理特征参数计算

空间灰度层共现矩阵方法是建立在估计图像的二阶组合条件概率密度函数基础上的，本实施方式将采用空间灰度层共现矩阵方法计算火灾图像纹理特征信息—能量、熵、相关、惯性矩。

假定待分析的灰度火灾图像，水平和垂直方向上各有Nc个像元和Nr个像元，将每个像元上出现的灰度量化为Nq层。设Zc＝{1,2,3…,Nc}为水平空间域，Zr＝{1,2,3…,Nr}为垂直空间域，G＝{1,2,3…,Nq}为量化灰度层集。集Zr×Zc为行列编序的图像像元集，则图像函数f表示为一个函数：指定每一个像元具有Nq个灰度层中的一个值G，即f:Zr×Zc→G。图像中在某个方向上相隔一定距离的一对像元灰度出现的统计规律，应当能具体反应这个图像的纹理特性。可以用一对像元的灰度共现矩阵来描述这个统计规律，进而由共现矩阵计算出一些参数如能量、熵、相关、惯性矩等定量描述该图像的这个纹理的特性。本实施方式中，将256色图像缩小为8级灰度图像(8级灰度图像中，灰度取值范围为[0,7])，采用统计法计算其0°、45°、90°、135°方向灰度值分别为a和b的像元对数(像元之间的距离为d)来表示8×8的灰度共现矩阵。通常情况下，小的d值可以取得比较好的结果。通过比较，本实施方式选取d＝1时的火灾图像的共现矩阵来计算纹理特征参数，这些特征参数随着火灾的变化而呈现一定的规律。

3图像平滑处理和灰度拉伸

平滑处理是指利用噪声的性质来消除图像中噪声的方法。噪声的灰度与其周围的灰度之间有明显的灰度差，灰度差造成了视觉障碍。图像的边缘部分也具有明显的灰度差，因此应该把边缘部分和噪声部分区分开。常用的图像平滑方法有移动平均法(均值滤波)和中值滤波法。移动平均法(均值滤波)是最简单的消除噪声的方法。它的原理是：利用某像素周围3×3像素范围的平均值置换该像素值，结果是图像的噪声被消除了，同时图像也变得模糊了。中值滤波法的原理是：查看某像素周围3×3像素范围的9个像素，按照从小到大的顺序排列，用其中第5个像素值置换该像素值，结果是图像的噪声被消除，输出图像几乎没有受到噪声的影响。其存在的不足是：中值滤波花费的计算时间是均值滤波法的5倍。

图像灰度拉伸的意思是把图像中感兴趣的灰度范围拉开，使得该范围内的像素，亮的越亮，暗的越暗，达到增强图像对比度的目的。值得一提的是图像中感兴趣的灰度范围可以通过上述图像纹理特征参数进行确定。对灰度图像进行拉伸，可以使火灾图像上火焰的边缘更加凸显，有利于准确提取火焰的形状。

4火焰形状提取

提取疑似火焰形状就必须检测疑似火焰形状的边缘。获得疑似火焰形状的边缘后，通过图像作差的方法即可获得疑似火焰的形状。经典的边缘提取方法是考查图像的每个像素在某个领域内灰度的变化，利用边缘邻近一阶或二阶方向导数变化的规律检测图像边缘。这种方法称为边缘检测局部算子法。火灾图像的边缘为阶跃状边缘，它两边的像素的灰度值有着显著的不同。常用的边缘检测算子有Roberts边缘检测算子、Sobel边缘检测算子、Prewitt边缘检测算子、Krisch边缘检测算子、高斯拉普拉斯边缘检测算子。

(1)Roberts边缘检测算子

该算子是一种利用局部差分算子寻找边缘的算子。公式为：

式中：函数f(x,y)表示图像中(x,y)点的像素值。

(2)Sobel边缘检测算子

两个卷积核

和

形成了Sobel边缘检测算子，图像中的每个点都要和这两个核做卷积，其中一个核对垂直的边缘响应最大，另一个对水平边缘的响应最大。两个卷积的最大值作为该点的输出，运算的结果是一副边缘幅度图像。

(3)Prewitt边缘检测算子和Krisch边缘检测算子

Prewitt边缘检测算子同Sobel边缘检测算子很相似，也是两个卷积核，Krisch边缘检测算子则有八个卷积核，它们的使用方法几乎一样。

(4)高斯拉普拉斯边缘检测算子

高斯拉普拉斯算子是对二维函数进行运算的二阶导数算子。高斯拉普拉斯算子是效果较好的边缘检测器，检测结果如图2所示。

它把高斯平滑滤波器和拉普拉斯锐化滤波器结合了起来，先平滑掉噪声，再进行边缘检测，通常使用的高斯拉普拉斯算子采用的是5×5的模板，即：

5火焰特征参数计算

(1)区域标记：指给连接在一起的像素附上相同的标志，不同的连接部分附上不相同的标记。通过该处理将一幅火灾图像的各个连接成分区分开，然后就可以计算各个连接成分的特征参数。

(2)周长：计算区域轮廓线上像素间距离之和。像素间的距离有如下两种情况：

图3(a)表示并列像素间的距离。当然并列方式可以是上下左右四个方向,这种并列像素间的距离是1个像素。图3(b)表示的是倾斜方向连接的像素，倾斜方向也有左上角、左下角、右上角、右下角四个方向，这种倾斜方向像素间的距离是

像素。在进行周长测量时，需要根据像素间的连接方式，分别计算距离，然后对其求和得到。

图3(c)就是一个周长的测量示例，其周长为

像素。

(3)重心：定义为区域中像素坐标的平均值。

例如某区域中各点像素的坐标为(x_i,y_i)，其中i＝0,1,2,…,n–1，则重心坐标(x_o,y_o)可由下式

求得。

(4)面积：计算区域中包含的像素数量。

(5)圆形度：定义在周长L和面积S的基础上，计算区域的形状复杂程度的特征量。该参数可以用来表示火焰燃烧过程中的不稳定的特征。计算公式为：

6.综合识别火灾

将得到的火焰特征参数作为深度卷积神经网络的输入，通过深度卷积神经网络判断是否发生火灾。

图4所示的是一种基于可见光的明火烟雾快速识别系统，其包括PaaS层服务部分和算法引擎部分。所述PaaS层服务部分用于对前端输入源的视频流进行解析，将解析的图片帧序列输入到所述算法引擎部分，其具有设备管理，算法阈值设置，报警推送，时间校准，数据库管理等功能。前端以接收RTSP视频流为主，报警信息以HTTP请求推送JSON体；所述算法引擎部分采用上述的基于可见光的明火烟雾快速识别方法对火焰和烟雾进行识别。本实施方式的PaaS层服务部分和算法引擎部分通过Docker容器进行封装，做到轻量化管理，标准化部署和安全运行。

如图5所示，整个算法引擎需要基于GPU服务器来部署运行，利用Docker容器对算法环境以及PaaS服务进行打包，便于部署及维护。在整个算法系统中可以接收来自枪机、球机、NVR等国际标准网络视频流，经过算法进行检测识别处理，最终将检测结果发送到指定管理平台。

在室内不同环境背景下做了如下四种试验来验证本方法中自动提取火焰形状的功能。表1的统计结果说明该方法能够正确可靠提取光源的形状。另外，在计算过程中发现这些连续帧图像纹理特征参数和光源的形状的圆形度、重心、周长、面积等参数基本保持不变。

表1 火焰形状提取情况统计表

同时还在一些复杂的环境背景下做了如下火灾燃烧试验：

1、在线测试：在线视频测试即在需要识别的摄像头监控画面内采用人工发生明火或者烟雾的方式来验证是否可实时识别监控视频中的明火或者烟雾情景。

测试步骤：

选择户外田地、室内、工厂厂区内、厂房内等区域需要进行测试的摄像头；准备脸盆、草纸或其他可燃物N组；在监控画面内，50米～500米位置在脸盆内点燃可燃物；查看测试情况，测试结果显示能够在50毫秒内测出火焰。

2、离线测试

离线图片、视频测试即采用已有带有明火或烟雾的图片或视频输入系统，由系统对图片或视频的内容进行识别，确认是否可识别图片或视频中的明火或者烟雾情景，测试结果显示能够在50毫秒内测出火焰。

不难发现，本发明具有探测速度快，火灾定位准确，可视化等特点，在视频火灾图像出现的50毫秒内就能探测到，不仅可以检测小目标的火焰和烟雾，也可以检测大场景下的火焰和烟雾，尤其对于复杂场景下的火焰和烟雾目标检测率极高。本发明适用于大型购物广场、厂房以及高档别墅等大空间火灾和烟雾探测环境复杂的场所，传统火灾传感器往往无法满足在该场景下的火灾探测要求。本发明对火焰和烟雾目标进行特征提取、分类预测，做到了对火焰和烟雾的特征的全方位抽象量化，保证火焰、烟雾的探测速度和准确率。同时，可以将此方法集成到相机前端，开发成明火烟雾检测相机，可以进行实时的明火烟雾预警。

Claims (7)

1.一种基于可见光的明火烟雾快速识别方法，其特征在于，包括以下步骤：

(1)对获取的火灾图像进行灰度化处理得到灰度火灾图像；

(2)采用空间灰度层共现矩阵方法计算所述灰度火灾图像的纹理特征信息；

(3)对灰度火灾图像进行平滑处理和灰度拉伸；

(4)采用边缘提取算子将经过平滑处理和灰度拉伸处理后的图像中的疑似火焰形状进行提取；

(5)对提取出的疑似火焰形状计算特征参数；

(6)根据得到的特征参数判断疑似火焰形状是否为火焰。

2.根据权利要求1所述的基于可见光的明火烟雾快速识别方法，其特征在于，所述步骤(1)中在灰度化处理时，用掩码“与”上像素值提取出颜色分量，再经过左右移操作获得RGB分量表示的像素颜色。

3.根据权利要求1所述的基于可见光的明火烟雾快速识别方法，其特征在于，所述步骤(2)具体为：所述灰度火灾图像在水平方向和垂直方向上各有Nc个像元和Nr个像元,将每个像元上出现的灰度量化为Nq层，设Zc＝{1,2,3…,Nc}为水平空间域，Zr＝{1,2,3…,Nr}为垂直空间域，G＝{1,2,3…,Nq}为量化灰度层集；集Zr×Zc为行列编序的图像像元集，则图像函数f表示为一个函数：指定每一个像元具有Nq个灰度层中的一个值G，即f:Zr×Zc→G，用一对像元的灰度共现矩阵计算出能量、熵、相关、和惯性矩得到纹理特征信息。

4.根据权利要求1所述的基于可见光的明火烟雾快速识别方法，其特征在于，所述步骤(3)中的平滑处理采用均值滤波或中指滤波的方式实现，灰度拉伸是将灰度火灾图像中感兴趣的灰度范围拉开，其中灰度火灾图像中感兴趣的灰度范围通过纹理特征信息确定。

5.根据权利要求1所述的基于可见光的明火烟雾快速识别方法，其特征在于，所述步骤(4)中的边缘算子为Roberts边缘检测算子、Sobel边缘检测算子、Prewitt边缘检测算子、Krisch边缘检测算子或高斯拉普拉斯边缘检测算子。

6.根据权利要求1所述的基于可见光的明火烟雾快速识别方法，其特征在于，所述步骤(5)具体为：将连接在一起的像素附上相同的标志,不同的连接部分附上不同的标记，通过该处理将火灾图像的各个连接成分区分开，得到多个区域,计算各个区域轮廓线上像素间距离之和得到周长L，计算

得到各个区域的重心，其中，(x_i,y_i)为区域中各个像素的坐标，计算各个区域中包含的像素数量得到面积S，计算

得到区域的形状复杂程度的特征量。

7.一种基于可见光的明火烟雾快速识别系统，其特征在于，包括PaaS层服务部分和算法引擎部分，所述PaaS层服务部分用于对前端输入源的视频流进行解析，将解析的图片帧序列输入到所述算法引擎部分；所述算法引擎部分采用如权利要求1-6中任一所述的基于可见光的明火烟雾快速识别方法对火焰和烟雾进行识别。

Images