CN104463869B - 一种视频火焰图像复合识别方法 - Google Patents

Abstract

本发明公开了一种视频火焰图像复合识别方法，属于在环境不适合传统的探测器工作以及在空旷大环境下的火焰识别领域，该方法首先通过对现有的火焰图片进行处理分析，获取对应火焰区域RGB的均值和方差，构建单峰高斯模型，用其检测图片中火焰颜色像素点；使用光流法得到像素点的运动速率大小，使用GBVS模型得到图片中的显著性区域；最后使用最大类方差法对前景目标和背景进行分割，对得到的二值图进行形态学处理，获取最终的识别结果。通过大量的仿真验证，本发明结合了颜色、运动法和显著性区域检测的复合视频火焰区域检测方法可以取得很好的识别火焰效果，并且可以滤除可能存在噪声和对图像边缘进行平滑处理。

Description

一种视频火焰图像复合识别方法

技术领域

本发明属于在环境不适合传统的探测器工作以及在空旷大环境下的火焰识别领域，具体涉及一种视频火焰图像复合识别方法。

背景技术

火灾在人们的日常生活中是不可避免的，其对人类的财产和人身安全，以及工业和环境造成的危害不可估量。因而一直以来都在寻找更加合适的处理火灾预警的方式。传统方式如传感器会受到众多因素的干扰影响，并且使用的场合有很大的局限性，对与大库房或者地域空旷的森林，传统的传感器就失去其存在的意义。随着计算机视觉技术的发展和嵌入式设备性能的不断完善，使得运用视频图像进行火灾检测，成为一种趋势。

传统的烟温传感器，主要有三类：独立式：单独的烟感传感器驱动报警电路和判定芯片组成；有线式：通过将烟温传感器分布式布线，集中控制；无线式：通过红外烟雾传感器进行信号传递，集中控制。适合于干扰较小的小厂所，但是对于大场合或者大型仓库没有实际的作用。电子眼的视频监控过分的依赖人，必须时刻要求注视显示屏。

视频图像进行火灾检测领域也有许多现存的方法。如Phillips W等利用色彩视频序列图像中物体的颜色和抖动来确定火焰的存在，沉诗林等提出一种基于图像相关性进行火灾检测的方法以Yamagaishi等提出基于HSV空间和神经网络的色彩图像火焰检测算法，对静态图像判别较好，没有利用动态特征。袁菲牛提出的通过度量火焰轮廓信息，在频谱内进行分析对火焰进行识别，能够准确度量图像的时空闪烁特征，张本矿等提出神经网络和模糊函数相结合的方法，通过神经网络学习功能，自动生成隶属度函数，但是算法复杂，在嵌入式系统中实现困难。

大量的文献表明，一些火焰识别算法没有考虑到多种情况下的火焰识别；一些火焰识别算法足够的复杂、识别率低以及识别的响应时间较长等原因，并不能很好的满足我们对火焰识别的高识别率和低延时响应的要求。

发明内容

本发明的目的在于针对现有技术的不足，提出了一种视频火焰图像复合识别方法，并且取得了很好的识别效果。

为实现上述目的，本发明采用如下技术方案：

一种视频火焰图像复合识别方法，包括以下步骤：

1)收集含有火焰区域的图片并标记火焰区域，统计火焰区域的火焰像素点值，得到火焰区域的RGB各分量的均值和方差，构造单峰高斯模型；

2)利用单峰高斯模型对待识别预处理图像中每个像素点利用公式(1)和公式(2)得到相应的高斯概率，把高斯概率小于第一设定阈值的像素点设为0，高斯概率大于等于第一设定阈值的像素点设为1，得到待识别预处理图像的颜色图；

式中，p_i为某一个分量图I_i(x,y)对应像素点的高斯概率；

I_i(x,y)为待识别预处理图像在RGB模型中的某一个分量图，x、y分别为待识别预处理图像中矩阵坐标的横坐标和纵坐标；

μ_i为对应单峰高斯模型的均值；

σ_i为对应单峰高斯模型的方差；

式中，p(I(x,y))为某一像素点I(x,y)的高斯概率；

p_i(I_i(x,y))为公式(1)计算得到的分量概率；

3)由待识别预处理图像及其前一帧图像计算得到光流场，对光流场中每个像素点的运动速度进行处理，把运动速度小于第二设定阈值的像素点设为0，运动速度大于等于第二设定阈值的像素点设为1，得到待识别预处理图像的运动图；

4)利用GBVS模型对待识别预处理图像检测其显著性区域，得到待识别预处理图像的显著性图；

5)将通过单峰高斯模型获得的颜色图、通过光流场获得的运动图以及基于GBVS模型获取的显著性图结合，并将三幅图像素点都为1的像素设为1，其他的设为0，得到二值图；

6)对二值图进行形态学操作以平滑边缘和填补空洞，得到最终的火焰识别结果。

本发明进一步的改进在于，步骤2)公式(1)中，由不少于400幅火焰图片，将其中的火焰区域标记出来，对其中火焰像素进行统计计算，得到均值和方差。

本发明进一步的改进在于，第一设定阈值的取值为0.001～0.007。

本发明进一步的改进在于，在步骤3)中，设在时刻t时，待识别预处理图像前一帧图像中点(x,y)处的灰度值为I(x,y,t)，在dt时刻后移动到待识别预处理图像中点(x+dx,y+dy)处，则相应的灰度值为I(x+dx,y+dy,t+dt)；由于时间间隔dt小于40ms，则有

I(x+dx,y+dy,t+dt)＝I(x,y,t) (3)

将公式(3)左边项使用泰勒级数展开，当dx→0,dy→0,dt→0时，得到下式：

结合上述公式(3)和(4)得到：

公式(5)等式两边同时除以dt即得：

令则上式写为：

I_xu+I_yv+I_t＝0 (7)

式中，(u,v)表示待识别预处理图像中像素的速度矢量，(这就是最基本的光流方程，在一个方程中有两个未知量，解的个数是无穷多个，所以需要其他条件来唯一确定(u,v)；)假定在空间中局部领域内速度矢量是相同或一致的，然后使用加权的最小二乘法来得到矢量场，即光流场，对光流场中每个像素点的运动速度进行处理，把运动速度小于第二设定阈值的像素点设为0，运动速度大于等于第二设定阈值的像素点设为1，得到待识别预处理图像的运动图。

本发明进一步的改进在于，在步骤4)中，选择基于光流法的运动检测并结合图像显著性分析来提取视频中的运动区域；GBVS模型为：假设给定特征图目标为计算得到待识别预处理图像的显著图则两个节点(i,j)和(p,q)之间距离定义为：

式中，M(i,j)为使得点(i,j)在显著图中显著于其周围点；

M(p,q)为使得点(p,q)在显著图中显著于其周围点；

把特征图中的每两个点两两连接起来得到一个全连通有向图G_A，对从点(i,j)到点(p,q)的边赋予权重

式中，σ为无量纲，其取值为待识别预处理图像宽度的1/10～1/5；

这样节点间的权重与节点之间的差异程度和在特征图中的远近成比例；在全连通有向图G_A上定义一个马尔科夫链，并且把从节点出去的边的权重归一化，得到马尔科夫链的平衡分布，它反映了随机游走点在节点经过的频率，显著值由特征图中节点两两对比得到；最后对显著值图整体归一化得到待识别预处理图像的显著性图。

与现有技术相比，本发明具有如下的优点：

1、本发明克服了传统火焰识别手段对于环境等干扰因素的高要求，并且其能够很好的对大环境如广场厂房、森林火焰的识别。

2、本发明采用单峰高斯模型，较之于采用颜色经验值进行的火焰识别手段具有更好的鲁棒性。

3、本发明结合显著性区域检测，能够改善只有颜色图和运动图的火焰识别中存在的非火焰像素。

4、本发明在对火焰区域识别方法不仅能够有效检测火焰区域，并且能够去除噪声点的影响，不需要再进行去噪处理。

综上所述，本发明结合颜色检测、光流法检测和显著性区域检测的视频火焰识别方法，能够满足对不同场景下不同运动形式的火焰视频进行准确检测，包括远景和近景，摄像机固定和运动等。

附图说明

图1为本发明一种视频火焰图像复合识别方法的流程图；

图2为构造单峰高斯模型所需要参数的RGB高斯曲线；

图3为采用光流法对运动目标检测的运动图，其中，图3(a)为第n帧运动图,图3(b)为第n+1帧运动图，图3(c)为光流法检测结果图；

图4为采用GBVS模型对火焰区域识别的显著性区域图，其中，图4(a)为第一幅火焰图像，图4(b)为第一幅火焰图像的显著图，图4(c)为第二幅火焰图像，图4(d)为第二幅火焰图像的显著图；

图5为复合算法的最终识别效果图；其中，图5(a)为火焰图片，图5(b)为运动速率图，图5(c)为颜色概率图，图5(d)为显著图，图5(e)为最终识别结果图，图5(f)为对比图。

具体实施方式

以下结合附图与具体实施方式对本发明的技术方案作进一步阐述说明。

本发明一种视频火焰图像复合识别方法，使用单峰高斯模型检测图像中的火焰颜色像素点，使用光流法得到像素点运动速率大小，使用GBVS模型得到图片中的显著性区域。使用最大类方差法对前景目标和背景进行分割，得到火焰区域二值图。最终采用形态学对二值图像进行处理，滤除可能存在的噪声和对图像边缘进行平滑处理，取得很好的识别火焰效果。通过颜色获取的疑似火焰区域中，可能存在不是火焰的像素。因为基于颜色的火焰像素提取，会遇到与火焰颜色相近的物体。然而火焰区域受燃烧材质和环境的影响，火焰区域无时无刻不在发生变化，利用火焰区域这一特性可以很好的定位火焰位置。由于背景差分法易受光线的变化，背景中含有轻微扰动的对象时，不能进行复杂环境下的运动目标检测，而背景构建法需要计算量较大，不能够达到实时性的要求。进而选择光流法进行运动目标检测。为了满足对不同场景下不同运动形式的火焰视频进行准确检测，包括远景和近景，摄像机固定和运动等，选择基于光流法的运动检测并结合图像显著性分析来提取视频中的运动区域。本发明实施流程参考图1，具体原理解释说明如下：

1)获取初步的颜色图。收集含有火焰区域的图片并标记火焰区域，统计火焰区域的火焰像素点值，得到火焰区域的RGB各分量的均值和方差，构造单峰高斯模型(参见图2)，利用单峰高斯模型对待识别预处理图像中每个像素点利用公式(1)和公式(2)得到相应的高斯概率，把高斯概率小于第一设定阈值的像素点设为0，高斯概率大于等于第一设定阈值的像素点设为1，得到待识别预处理图像的颜色图；

式中，p_i为某一个分量图I_i(x,y)对应像素点的高斯概率；

I_i(x,y)为待识别预处理图像在RGB模型中的某一个分量图，x、y分别为待识别预处理图像中矩阵坐标的横坐标和纵坐标；

μ_i为对应单峰高斯模型的均值；

σ_i为对应单峰高斯模型的方差；

式中，p(I(x,y))为某一像素点I(x,y)的高斯概率；

p_i(I_i(x,y))为公式(1)计算得到的分量概率。

2)获取运动图。设在时刻t时，待识别预处理图像前一帧图像中点(x,y)处的灰度值为I(x,y,t)，在dt时刻后移动到待识别预处理图像中点(x+dx,y+dy)处，则相应的灰度值为I(x+dx,y+dy,t+dt)；由于时间间隔dt小于40ms，则有

I(x+dx,y+dy,t+dt)＝I(x,y,t) (3)

将公式(3)左边项使用泰勒级数展开，当dx→0,dy→0,dt→0时，得到下式：

结合上述公式(3)和(4)得到：

公式(5)两边同时除以dt即得：

令则上式写为：

I_xu+I_yv+I_t＝0 (7)

式中，(u,v)表示待识别预处理图像中像素的速度矢量，这就是最基本的光流方程，在一个方程中有两个未知量，解的个数是无穷多个，所以需要其他条件来唯一确定速度矢量(u,v)。假定在空间中局部领域内速度矢量应该是相同或一致的，然后使用加权的最小二乘法来得到矢量场，即光流场，对光流场中每个像素点的运动速度进行处理，把运动速度小于第二设定阈值的像素点设为0，运动速度大于等于第二设定阈值的像素点设为1，得到待识别预处理图像的运动图。如图3所示，可以看出很好的实现了运动目标的检测。

3)获取显著性区域图。选择基于光流法的运动检测并结合图像显著性分析来提取视频中的运动区域；GBVS模型为：给定特征图目标为计算得到待识别预处理图像的显著图则两个节点(i,j)和(p,q)之间距离可以定义为：

式中，M(i,j)为使得点(i,j)在显著图中显著于其周围点；

M(p,q)为使得点(p,q)在显著图中显著于其周围点；

把特征图中的每两个点两两连接起来就可以得到一个全连通有向图G_A，对从点(i,j)到点(p,q)的边赋予权重

式中，σ为无量纲，其取值为待识别预处理图像宽度的1/10～1/5；

这样节点间的权重与节点之间的差异程度和在特征图中的远近成比例。在全连通有向图G_A上定义一个马尔科夫链，并且把从节点出去的边的权重归一化，就可以得到马尔科夫链的平衡分布，它反映了随机游走点在节点经过的频率，显著值可以由特征图中节点两两对比得到。最后对显著值图整体归一化即可得到待识别预处理图像的显著性图。仿真结果如图4。

4)将通过单峰高斯模型获得的颜色图、通过光流场获得的运动图以及基于GBVS模型获取的显著性图结合，并将三幅图像素点都为1的像素设为1，其他的设为0，得到二值图。对二值图进行形态学操作以平滑边缘和填补空洞，得到最终的火焰识别结果。仿真结果如图5所示。

实施例1：

遵循本发明的技术方案，该实施例中构建单峰高斯模型需要的均值和方差由大量的统计得到，均值和方差分别为 为了获取更多的火焰像素，本实施例采取均值和方差分别为u±5，σ±5。同时获取颜色图的阈值越小能够检测到的火焰像素越准确，但是不可避免的获取到的火焰像素会越少，因而本实施例采取阈值为0.001～0.007。

参见图5，以图5(a)图片作为原始输入图像，通过单峰高斯模型得到图5(c)颜色概率图，通过光流法得到图5(b)运动速率图，通过显著性区域检测得到图5(d)显著图，将三者结合得到图5(e)最终结果图，将运动速率图和颜色概率图结合得到图5(f)对比图，对比图是结合运动图和颜色图的识别结果，用于凸显显著图的重要性。

Claims (4)

1.一种视频火焰图像复合识别方法，其特征在于，包括以下步骤：

1)收集含有火焰区域的图片并标记火焰区域，统计火焰区域的火焰像素点值，得到火焰区域的RGB各分量的均值和方差，构造单峰高斯模型；

2)利用单峰高斯模型对待识别预处理图像中每个像素点利用公式(1)和公式(2)得到相应的高斯概率，把高斯概率小于第一设定阈值的像素点设为0，高斯概率大于等于第一设定阈值的像素点设为1，得到待识别预处理图像的颜色图；

式中，p_i为某一个分量图I_i(x,y)对应像素点的高斯概率；

I_i(x,y)为待识别预处理图像在RGB模型中的某一个分量图，x、y分别为待识别预处理图像中矩阵坐标的横坐标和纵坐标；

μ_i为对应单峰高斯模型的均值；

σ_i为对应单峰高斯模型的方差；

式中，p(I(x,y))为某一像素点I(x,y)的高斯概率；

p_i(I_i(x,y))为公式(1)计算得到的分量概率；

3)由待识别预处理图像及其前一帧图像计算得到光流场，对光流场中每个像素点的运动速度进行处理，把运动速度小于第二设定阈值的像素点设为0，运动速度大于等于第二设定阈值的像素点设为1，得到待识别预处理图像的运动图；

4)利用GBVS模型对待识别预处理图像检测其显著性区域，得到待识别预处理图像的显著性图；选择基于光流法的运动检测并结合图像显著性分析来提取视频中的运动区域；GBVS模型为：假设给定特征图目标为计算得到待识别预处理图像的显著图则两个节点(i,j)和(p,q)之间距离定义为：

式中，M(i,j)为使得点(i,j)在显著图中显著于其周围点；

M(p,q)为使得点(p,q)在显著图中显著于其周围点；

把特征图中的每两个点两两连接起来得到一个全连通有向图G_A，对从点(i,j)到点(p,q)的边赋予权重

式中，σ为无量纲，其取值为待识别预处理图像宽度的1/10～1/5；

这样节点间的权重与节点之间的差异程度和在特征图中的远近成比例；在全连通有向图G_A上定义一个马尔科夫链，并且把从节点出去的边的权重归一化，得到马尔科夫链的平衡分布，它反映了随机游走点在节点经过的频率，显著值由特征图中节点两两对比得到；最后对显著值图整体归一化得到待识别预处理图像的显著性图；

5)将通过单峰高斯模型获得的颜色图、通过光流场获得的运动图以及基于GBVS模型获取的显著性图结合，并将三幅图像素点都为1的像素设为1，其他的设为0，得到二值图；

6)对二值图进行形态学操作以平滑边缘和填补空洞，得到最终的火焰识别结果。

2.如权利要求1所述的一种视频火焰图像复合识别方法，其特征在于，步骤1)中，由不少于400幅火焰图片，将其中的火焰区域标记出来，对其中火焰像素进行统计计算，得到均值和方差。

3.如权利要求1或2所述的一种视频火焰图像复合识别方法，其特征在于，步骤2)中，第一设定阈值的取值为0.001～0.007。

4.如权利要求1所述的一种视频火焰图像复合识别方法，其特征在于，在步骤3)中，设在时刻t时，待识别预处理图像前一帧图像中点(x,y)处的灰度值为I(x,y,t)，在dt时刻后移动到待识别预处理图像中点(x+dx,y+dy)处，则相应的灰度值为I(x+dx,y+dy,t+dt)；由于时间间隔dt小于40ms，则有

I(x+dx,y+dy,t+dt)＝I(x,y,t) (3)

将公式(3)左边项使用泰勒级数展开，当dx→0,dy→0,dt→0时，得到下式：

结合上述公式(3)和(4)得到：

公式(5)两边同时除以dt即得：

令则上式写为：

I_xu+I_yv+I_t＝0 (7)

式中，(u,v)表示待识别预处理图像中像素的速度矢量，假定在空间中局部领域内速度矢量是相同或一致的，然后使用加权的最小二乘法来得到矢量场，即光流场，对光流场中每个像素点的运动速度进行处理，把运动速度小于第二设定阈值的像素点设为0，运动速度大于等于第二设定阈值的像素点设为1，得到待识别预处理图像的运动图。