CN103456123B - 一种基于流动和扩散特征的视频烟气探测方法 - Google Patents

Abstract

本发明提出一种基于流动和扩散特征的视频烟气探测方法。本发明由CMOS/CCD摄像头、计算机、报警装置以及信号传输线路组成。烟气具有流动特征，本发明首先通过Choquet模糊积分算法提取视频帧中的运动目标，接着计算序列帧中对应的运动目标质心，利用质心把序列帧中具有摇晃特征的运动目标提取出来；其次根据烟气的扩散特征，烟气底部纹理较为粗糙，顶部纹理较细，通过灰度共生矩阵(GLCM,Grey Level Co‑occurrence Matrix),判断烟气顶部和底部纹理特征及差异性，识别出视频帧中的烟气目标。本发明可以和已建成的视频监控融合在一起，降低购买硬件设施的费用，减少火灾烟气探测的成本。它也适宜在高大空间建筑和开阔区域探测火灾。

Description

一种基于流动和扩散特征的视频烟气探测方法

技术领域

本发明属于火灾探测和计算机人工智能领域，特别涉及一种基于流动和扩散特征的视频烟气探测方法。

背景技术

当前，使用感温和感烟的传感器探测火灾是应用最广泛和成熟的火灾探测技术，但这类接触式探测器无法满足一些特殊场合的探测要求，如开放区域和高大空间建筑。随着城市和消防重点保护单位视频监控地普及，随着计算机与人工智能技术地不断发展，基于视频的火灾探测技术越来越受到重视。CCD或CMOS等视频设备价格相对较低，且基于视频的火灾探测技术可以与已有的视频监控设备结合在一起，降低购买硬件设备的费用。它也适宜在高大空间建筑和开阔区域中探测火灾。

目前，视频火灾探测包含视频火焰探测和视频烟气探测两种方法。中国专利CN201885804U和中国专利CN201844880U属于红外波段的火灾探测技术，他们采用了双波长红外光来探测火焰，双波长分别为4.3微米和5.0微米，该系统分别配有对应波长的传感器；中国专利CN201867924U在前者的基础上，外加了3.8微米波长红外传感器来提高火焰的探测精度；中国专利CN202195883U和中国专利CN201191222属于紫外波段的火灾探测技术，系统通过处理采集到的紫外辐射信号来判断是否存在火焰；中国专利CN202306757U和CN102682565A属于多波段复合型检测技术，分别采用彩色摄像机和红外摄像机捕获监控现场的彩色视频图像和红外视频图像来判定火焰的有无，相对于可见光波段传感器，红外和紫外传感器通常价格昂贵，限制了其推广使用。中国专利CN102163361A提供了一种基于前景累积图像的图像型火灾探测方法，通过计算机对由监控摄像机得到的视频图像提取前景累积图像，对图像进行分块，统计每个图像块中各个像素在前景累积图像中的亮度值，根据预先设定好的灵敏度进行判别。此方法计算量低，实时性也很好，但其仅依靠前景累积图像的亮度值进行判断火灾，对于亮度较高的抖动物体，存在着一定的误报；中国专利CN101106727采用彩色CCD摄像系统，获取火焰三基色均值和方差，把统计结果作为参数与图像数据比对，判断其是否符合高斯分布规律，将满足条件的区域作为可疑区域加以划分，并对其作差分处理，并进一步分析该目标随时间的变化是否满足火灾跳跃、闪烁、不稳定的特点，提高火灾探测的可靠性；中国专利CN101493980公开了一种基于多特征融合的视频火焰探测方法，此方法基于高斯混合模型技术来检测运动目标，并结合火焰的颜色特征、运动特征及火焰区域的闪动特征进行建模，依据运动、颜色、闪烁的顺序逐步探测火焰。以上两个专利由于其判据简单，对于类似火焰颜色和抖动的物体，可能会产生误报。

中国专利CN102682562A为一种在线式火灾烟气探测装置。其由烟温复合探测器、CO探测器、第一气体探测器、第二气体探测器、微机单元、第一有线通讯模块、第二有线通讯模块、无线通讯模块、电源管理单元、信号处理盒、备用电池组和安装底座组成。此专利使用探测器探测火灾烟气，不适宜在高大空间建筑和开阔区域探测火灾烟气。近五年来未见到视频烟气探测的中国专利。

发明内容

本发明的目的在于提供一种基于流动和扩散特征的视频烟气探测方法，主要是根据火灾烟气的特征，利用数字图像处理技术、模式识别与人工智能技术判断监控场景中是否存在火灾烟气。

本发明采用的技术方案为：一种基于流动和扩散特征的视频烟气探测方法，该方法利用视频烟气探测系统探测烟气，该视频烟气探测系统由摄像头、计算机、报警装置以及传输信号线路组成，摄像头为CMOS或CCD摄像头。该方法首先通过Choquet模糊积分算法提取视频帧中的运动目标，接着计算序列帧中运动目标质心，利用质心把序列帧中具有摇晃特征的运动目标提取出来；根据烟气扩散造成烟气顶部和底部的纹理相异，通过灰度共生矩阵(GLCM,Grey Level Co-occurrence Matrix)判断烟气顶部和底部纹理特征及差异性，识别出视频帧中的烟气目标，具体步骤如下：

1、提取运动目标

使用Choquet模糊积分融合YCbCr颜色模型中的三分量提取视频帧中的运动目标，离散Choquet模糊积分计算如下：

$\mathrm{Ch}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(f\left(t_i\right)-f\left(t_{i-1}\right))\×g\left(A_i\right)---\left(1\right)$

式中A_i＝{x_i,…,x_n}，g(A_i)为模糊测度，当T是一个有限集合时，记为T＝{t₁,…,t_n}，式中模糊函数f:T→[0,1)，并对模糊函数f(t)排序，使得：

f(t₁)≤f(t₂)≤...,f(t_n) （2）

使用Choquet模糊积分融合YCbCr颜色模型中的三分量判断视频序列帧中运动目标，首先计算当前帧和背景图像对应像素的YCbCr颜色模型中亮度、蓝色和红色分量的相似度，利用Choquet模糊积分融合各分量的相似度，从视频帧中提取运动目标。当前帧和背景对应像素亮度分量相似度为：

$f_L(x,y)=1-\frac{|L_C(x,y)-L_B(x,y)|}{255}---\left(3\right)$

式中，L_C(x,y)和L_B(x,y)分别表示当前帧和背景在坐标(x,y)处对应像素亮度分量值。当前帧和背景对应像素蓝色分量相似度为：

$f_B(x,y)=1-\frac{|B_C(x,y)-B_B(x,y)|}{255}---\left(4\right)$

式中，B_C(x,y)和B_B(x,y)分别表示当前帧和背景在坐标(x,y)处对应像素蓝色分量值。当前帧和背景对应像素红色分量相似度为：

$f_R(x,y)=1-\frac{|R_C(x,y)-R_B(x,y)|}{255}---\left(5\right)$

式中，R_C(x,y)和R_B(x,y)分别表示当前帧和背景在坐标(x,y)处对应像素红色分量值，对于像素特征分量x_i，模糊密度g({x_i})表示像素颜色分量区分运动目标像素和背景像素的重要程度，本发明以当前帧中某像素被认作为背景像素的可能性愈大，则该像素分量的重要程度愈大，该像素分量的模糊密度g({x_i})也愈大。像素颜色分量的重要程度并不固定，但像素某一分量模糊密度和相似度成单调性增长，g({x_i})通过下式计算：

g_(x,y)({x_i})＝t₁×f(x,y) (6)

式中，阈值t₁设为0.5，式（1）中，Ch<0.95被认作动态区域像素。因视频中时常含有噪音数据，所以需对背景差分结果作形态学处理。

2、提取摇晃目标

烟气在流动时，其顶端的摇晃程度大于底端的摇晃程度，使用一个长轴定义运动目标的几何方向，即使用二维平面上与最小惯量轴同方向的最小二阶轴定为长轴。首先计算第n帧中运动目标质心，使用一条通过运动目标质心且垂直长轴的直线把运动目标分为两部分：顶端部分和底端部分，顶端部分和底端部分又各自有自己的质心，计算出连续k帧中运动目标顶端质心和底端质心的均值连续k帧中同一运功区域质心和质心均值的欧式距离均值能准确地反映该区域运动变化程度。如果运动目标底端质心的欧氏距离均值与运动目标顶端质心欧氏距离均值之比小于设定阈值t∈(0,1)，则运动目标底端的摇晃程度小于顶端摇晃程度。具体通过以下方法判断运动目标是否为摇晃目标，某区域质心和质心均值的欧氏距离为：

$\mathrm{Dist}(X\left(n\right),Y\left(n\right))=\left|\right|C(X\left(n\right),Y\left(n\right))-C(\stackrel{\&OverBar;}{X},\stackrel{\&OverBar;}{Y})\left|\right|---\left(7\right)$

式中，C(X(n),Y(n))表示第n帧中运动目标的质心坐标，表示连续k帧中运动目标的质心均值，欧氏距离的均值计算如下：

$\mathrm{Mean}(X,Y)=\frac{1}{k}\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}\mathrm{Dist}(X\left(n\right),Y\left(n\right))---\left(8\right)$

式中，k=5，Mean(X,Y)反映该区域摇晃的程度，Mean(X,Y)的值愈大，摇晃程度愈大；反之，Mean(X,Y)的值愈小，摇晃程度愈小。式(9)和(10)用来判断运动目标是否为摇晃目标。

SD＝Mean_b(X,Y)/Mean_t(X,Y) (9)

SD＜t₂ (10)

式（10）中，阈值t₂设定为0.8。烟气视频的连续帧中，烟气的长轴方向具有连续性。如果连续两帧探测到的区域长轴夹角大于35度，即使满足式(10)也不认为是摇晃目标。

3、烟气扩散纹理特征判断

烟气中像素R、G、B三通道的值比较接近，在判断烟气扩散特征之前，首先利用烟气灰度特征规则验证摇晃运动区域，过滤掉目标中不符合要求的像素，然后为摇晃目标顶部和底部分别创建l=16和θ=45度的灰度共生矩阵。由于烟气的扩散，烟气顶部一般表现为较为琐碎的区域，本发明在创建灰度共生矩阵时，像素和像素顶部有5个连续像素在摇晃区域中，该像素才被计算在灰度共生矩阵中。这样能扩大顶部区域和底部区域的对比，有助于判断烟气的扩散特征。灰度共生矩阵中主对角线上的元素之和与矩阵中所有元素之和比值表示为：

$h\left(n\right)=\frac{\underset{i==j}{\mathrm{\&Sigma;}}{p}_{(i,j)}\left(n\right)}{\underset{i=1}{\mathrm{\&Sigma;}}\underset{j=1}{\mathrm{\&Sigma;}}{p}_{(i,j)}\left(n\right)}---\left(11\right)$

式中，p_(i,j)(n)表示第n帧中某候选烟气区域的灰度共生矩阵(i,j)处的元素值，烟气底端纹理相对粗糙，顶端纹理相对较细，所以对应摇晃目标顶端部分的h(n)值小于底端部分的h(n)值，式(12)用作烟气扩散特征的判断。

$\stackrel{\&OverBar;}{h_t/h_b}<t_3---\left(12\right)$

式中，

$\stackrel{\&OverBar;}{h_t/h_b}=\frac{1}{k}\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}(h_t\left(n\right)/h_b\left(n\right))---\left(13\right)$

h_t(n)和h_b(n)分别表示候选烟气区域中顶端部分和底端部分的h(n)值，连续k帧的h_t/h_b均值比单帧更能准确地反映候选烟气区域是否具有扩散特征，式中，设定t₃=0.96,k=5。

烟气底部区域颜色基本一致，则底端区域对应的灰度共生矩阵中数值较大的元素主要集中在主对角线上或其附近。对于视频中第n帧，底端区域对应的灰度共生矩阵中主对角线上或其附近元素之和与矩阵中所有元素的和之比为：

$g\left(n\right)=\frac{\underset{i=j,i-1==j,i+1=j}{\mathrm{\&Sigma;}}{p}_{(i,j)}\left(n\right)}{\underset{i=1}{\mathrm{\&Sigma;}}\underset{j=1}{\mathrm{\&Sigma;}}{p}_{(i,j)}\left(n\right)}---\left(14\right)$

式(15)也用来判断烟气；

${\stackrel{\&OverBar;}{g}}_b>t_4---\left(15\right)$

式中：

${\stackrel{\&OverBar;}{g}}_b=\frac{1}{k}\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{g}_b\left(n\right)---\left(16\right)$

g_b(n)表示摇晃目标底端的g(n)值，连续k帧的g_b(n)均值比单帧g_b(n)值更能准确地反映摇晃目标是否具有该特征。式中，设定t₄=0.65，k=5。摇晃目标如果满足公式（12）和（15），则摇晃目标被认作为真实烟气区域。

本发明的原理为：提出了一种基于流动和扩散特征的视频烟气探测方法。流动特征和扩散特征是烟气的基本特征。本发明根据流动特征提取视频图像中的摇晃目标，接着判断摇晃目标的顶部纹理和底部纹理是否符合烟气的扩散特征，该方法符合人们通过大脑识别烟气的过程。

本发明的优点和效果在于：

（1）本发明提出使用两种新的烟气特征-烟气流动和扩散特征判断烟气目标。利用这两个独特的烟气特征识别烟气，能提高探测烟气的准确度。

（2）本发明提出使用质心分割烟气目标来判断烟气的流动性。人们通过大脑识别烟气，是基于烟气烟色和它不断变化的形态。使用算法判断烟气目标，难点在于如何量化流动性这种特殊运动方式。本发明利用通过运动目标质心且垂直长轴的直线切割烟气，判断烟气流动性-摇晃，降低了烟气探测的误报率。

（3）本发明在灰度共生矩阵的基础上，提出一种新的判断烟气顶部和底部纹理差异性的方法。较使用已有的判断纹理的灰度共生矩阵方法，本发明判断烟气纹理和扩散特征更精确。

（4）火灾中烟气的出现一般早于火焰，本发明探测烟气能实现尽早发现火灾，为下一步扑救火灾赢得宝贵时间。

（5）本发明适宜在高大空间建筑和开阔区域探测火灾，弥补了传感器探测烟气的缺点，也可以和已建成的视频监控融合在一起，降低购买硬件设施的费用，减少了探测火灾的成本。

附图说明

图1为本发明基于流动和扩散特征的视频烟气探测系统示意图。

图2为本发明算法流程图。

图3(a)为本发明的一个烟气探测实例，帧中为一个行人和一股烟气，两者都为运动目标，经过Choquet模糊积分运算，图3(b)为检测出的运动目标。

图4为在图3(b)中标注了质心二进制图像。直线垂直于长轴且通过运动目标质心把运动目标分割为顶端区域和底端区域，符号“*”表示运动目标顶端质心，符号“+”表示运动目标底端质心。

图5为探测到的摇晃目标。

图6中为视频烟气帧，视频(a)为棉花产生的烟气；视频(b)为一铁栅栏旁的烟气；视频(c)一垃圾箱旁的烟气；视频(d)为一阳光下的烟气。

具体实施方式

以下结合实例和附图对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施,但不作为对本发明的限定。

本发明提出一种基于流动和扩散特征的视频烟气探测方法。探测系统由CMOS/CCD摄像头，计算机，报警装置以及信号传输线路组成，系统将摄像机采集的监控现场的视频信息输入计算机，通过本发明算法判断是否存在烟气。判断过程为：首先通过Choquet模糊积分算法提取视频帧中的运动目标，接着计算序列帧中对应的运动目标质心，利用质心把序列帧中具有摇晃特征的运动目标提取出来；烟气扩散造成烟气顶部和底部的纹理相异，烟气底部纹理较为粗糙，顶部纹理较细，通过灰度共生矩阵判断烟气顶部和底部纹理特征，识别出视频帧中的烟气目标。

1.获取运动目标

设模糊函数f:X→[0,+∞),g是定义在X上的模糊测度，则f关于g的Choquet模糊积分定义如下：

$\&Integral;\mathrm{fdg}={\&Integral;}_0^{\&infin;}g\left(F_a\right)\mathrm{da}---\left(1\right)$

式中，F_a＝{x|f(x)≥a,x∈X}，此式X中元素为连续无限的集合。当T是一个有限集合时，记为T＝{t₁,…,t_n}，式中模糊函数f:T→[0,1)，并对模糊函数f(t)排序，使得：

f(t₁)≤f(t₂)≤...,f(t_n) （2）

则离散choquet模糊积分可以计算如下：

$\mathrm{Ch}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}(f\left(t_i\right)-f\left(t_{i-1}\right))\&times;g\left(A_i\right)---\left(3\right)$

式中A_i＝{x_i,…,x_n}。

在使用模糊积分实现数据分类时，模糊密度函数可以被被看作对目标数据特征的重视程度。

本发明使用Choquet模糊积分融合YCbCr颜色模型中的三分量判断视频序列帧中运动目标。首先计算当前帧和背景图像对应像素的YCbCr颜色模型中亮度、蓝色和红色分量的相似度，利用Choquet模糊积分融合各分量的相似度，从视频帧中提取运动目标。当前帧和背景对应像素亮度分量相似度为：

$f_L(x,y)=1-\frac{|L_C(x,y)-L_B(x,y)|}{255}---\left(4\right)$

式中，L_C(x,y)和L_B(x,y)分别表示当前帧和背景在坐标(x,y)处对应像素亮度分量值。当前帧和背景对应像素蓝色分量相似度为：

$f_B(x,y)=1-\frac{|B_C(x,y)-B_B(x,y)|}{255}---\left(5\right)$

式中，B_C(x,y)和B_B(x,y)分别表示当前帧和背景在坐标(x,y)处对应像素蓝色分量值。当前帧和背景对应像素红色分量相似度为：

$f_R(x,y)=1-\frac{|R_C(x,y)-R_B(x,y)|}{255}---\left(6\right)$

式中，R_C(x,y)和R_B(x,y)分别表示当前帧和背景在坐标(x,y)处对应像素红色分量值。对于像素特征分量x_i，模糊密度g({x_i})表示像素颜色分量区分运动目标像素和背景像素的重要程度。对于本发明来讲，Choquet模糊积分融合的是YCbCr颜色模型三分量，此三分量并不特指哪个分量在区分运动目标和背景中所起的作用更大。对某一像素来说，其当前帧和背景对应像素分量值相似度愈大，说明当前帧中该像素被认作为背景像素的可能性愈大，则该像素分量的重要程度愈大，该像素分量的模糊密度g({x_i})也愈大。像素颜色分量的重要程度并不固定，但像素某一分量模糊密度和相似度成单调性增长。本方法g({x_i})通过下式计算：

g_(x,y)({x_i})＝t₁×f(x,y) (7)

式中，阈值t₁设为0.5。式（3）中，Ch<0.95被认作运动目标像素。因视频中时常含有噪音数据，所以需对背景差分结果作形态学处理。

2.提取摇晃目标

烟气在流动时，其顶端的摇晃程度大于底端的摇晃程度。本发明使用一个长轴定义运动目标的几何方向，即使用二维平面上与最小惯量轴同方向的最小二阶轴定为长轴。首先计算第n帧中运动目标质心，使用一条通过运动目标质心且垂直长轴的直线把运动目标分为两部分：顶端部分和底端部分。顶端部分和底端部分又各自有自己的质心，计算出连续5帧中运动目标顶端质心和底端质心的均值连续5帧中同一运功区域质心和质心均值的欧式距离均值能准确地反映该区域运动摇晃程度。如果运动目标底端质心的欧氏距离均值与运动目标顶端质心欧氏距离均值之比小于设定阈值t∈(0,1)，则运动目标底端的摇晃程度小于顶端摇晃程度。具体通过以下方法来判断运动目标是否为摇晃目标，某区域质心和质心均值的欧氏距离为：

$\mathrm{Dist}(X\left(n\right),Y\left(n\right))=\left|\right|C(X\left(n\right),Y\left(n\right))-C(\stackrel{\&OverBar;}{X},\stackrel{\&OverBar;}{Y})\left|\right|---\left(8\right)$

式中，C(X(n),Y(n))表示第n帧中运动目标的质心坐标，表示连续5帧中运动目标的质心均值。欧氏距离的均值计算如下：

$\mathrm{Mean}(X,Y)=\frac{1}{k}\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}\mathrm{Dist}(X\left(n\right),Y\left(n\right))---\left(9\right)$

Mean(X,Y)反映该区域摇晃的程度，k=5。Mean(X,Y)的值愈大，摇晃程度愈大；反之，Mean(X,Y)的值愈小，摇晃程度愈小。式(10)和(11)用来判断运动目标是否为摇摆目标。

SD＝Mean_b(X,Y)/Mean_t(X,Y) (10)

SD＜t₂ (11)

式（11）中，阈值t₂设定为0.8。烟气视频的连续帧中，烟气的长轴方向具有连续性。如果连续两帧探测到的区域长轴夹角大于35度，即使满足式(11)也不认为是摇晃目标。

3.烟气扩散纹理特征判断

烟气的颜色比较独特，体现在其一般表现为灰度颜色。即在RGB颜色模型中，烟气中像素R、G、B三通道的值比较接近。实际发生的烟气可能存在着一些干扰目标。因此在判断烟气扩散特征之前，首先利用烟气灰度特征规则验证摇晃运动区域，过滤掉目标中不符合要求的像素。本发明把任意两通道比值大于设定阈值的摇晃目标中的像素认为是干扰目标像素。根据不同的燃烧物，阈值会有所不同，取值范围为[1.2,1.6]。然后分别为提取的摇晃目标顶部和底部创建l=16和θ=45度的灰度共生矩阵。由于烟气的扩散，烟气顶部一般表现为较为琐碎的区域。本方法在创建灰度共生矩阵时，如果像素和像素顶部的5个连续像素在摇晃区域中，该像素才被计算在灰度共生矩阵中。这样能扩大顶部区域和底部区域的对比，有助于判断烟气的扩散特征。灰度共生矩阵中主对角线上的元素之和与矩阵中所有元素之和比值表示为：

$h\left(n\right)=\frac{\underset{i==j}{\mathrm{\&Sigma;}}{p}_{(i,j)}\left(n\right)}{\underset{i=1}{\mathrm{\&Sigma;}}\underset{j=1}{\mathrm{\&Sigma;}}{p}_{(i,j)}\left(n\right)}---\left(12\right)$

式中，p_(i,j)(n)表示第n帧中某摇晃目标的灰度共生矩阵(i,j)处的元素值。h(n)可以反映此区域的纹理特征。一般情况下，纹理愈粗糙，灰度共生矩阵中主对角线上元素之和愈大。通常粗糙纹理的h(n)值大于细纹理的h(n)值。因烟气底端纹理相对粗糙，顶端纹理相对比较细。所以对应运动目标顶端部分的h(n)值小于底端部分的h(n)值。式(13)用作烟气扩散特征判断。

$\stackrel{\&OverBar;}{h_t/h_b}<t_3---\left(13\right)$

式（13）中，

$\stackrel{\&OverBar;}{h_t/h_b}=\frac{1}{k}\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}(h_t\left(n\right)/h_b\left(n\right))---\left(14\right)$

h_t(n)和h_b(n)分别表示摇晃目标中顶端部分和底端部分的h(n)值。连续k帧的h_t/h_b均值比单帧更能准确地反映摇晃目标是否具有扩散特征。式（13）中，设定t₃=0.96，k=5。

烟气底部区域颜色基本一致，则底端区域对应的灰度共生矩阵中数值较大的元素主要集中在主对角线上或其附近。对于视频中第n帧，底端区域对应的灰度共生矩阵中主对角线上或其附近元素之和与矩阵中所有元素的和之比为：

$g\left(n\right)=\frac{\underset{i=j,i-1==j,i+1=j}{\mathrm{\&Sigma;}}{p}_{(i,j)}\left(n\right)}{\underset{i=1}{\mathrm{\&Sigma;}}\underset{j=1}{\mathrm{\&Sigma;}}{p}_{(i,j)}\left(n\right)}---\left(15\right)$

式(16)也用来判断烟气。

${\stackrel{\&OverBar;}{g}}_b>t_4---\left(16\right)$

式中：

${\stackrel{\&OverBar;}{g}}_b=\frac{1}{k}\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{g}_b\left(n\right)---\left(17\right)$

g_b(n)表示摇晃目标底端的g(n)值。连续k帧的g_b(n)均值比单帧g_b(n)值更能准确地反映摇晃目标是否具有该特征。式中，设定t₄=0.65，k=5。摇晃区域如果满足公式（13）和（16），则摇晃目标被认作为真实烟气区域。

图1给出了本发明基于流动和扩散特征的视频烟气探测方法的系统示意图，本发明由CMOS/CCD摄像头，计算机，报警装置以及传输线路组成。本发明烟气探测方法总体过程为：将普通CMOS/CCD彩色摄像机采集的监控现场的视频信息输入计算机进行处理，算法是整个探测系统的核心。算法按附图2所示的流程图进行处理和判断，如果判定视频序列中存在真实的火灾烟气目标，则发送火灾烟气报警指令。

图2为本发明算法流程图。首先在计算机中把输入的视频转变成视频序列，设置某一初始帧为背景帧，对连续的5帧做模糊积分背景差分。因视频中时常含有噪音数据，所以对差分结果作形态学处理。如存在运动目标，则计算第n帧中运动目标质心，使用一条通过运动目标质心且垂直长轴的直线把运动目标分为两部分：顶端部分和底端部分。顶端部分和底端部分又各自有自己的质心。计算出连续5帧中运动目标顶端质心和底端质心的均值。如果运动目标底端质心的欧氏距离均值与运动目标顶端质心欧氏距离均值之比小于设定的阈值t∈(0,1)，则判断该目标为摇晃目标。如存在摇晃目标，则利用烟气灰度特征规则验证摇晃运动区域，过滤掉目标中不符合要求的像素，然后分别为摇晃目标顶部和底部创建了l=16和θ=45度的一个灰度共生矩阵，像素和像素顶部的5个连续像素在摇晃目标中，该像素才被计算在灰度共生矩阵中。接着利用公式（13）和（16）判断烟气是否具有扩散特征。如满足两公式，则可以认定检测到的目标为烟气。

图3(a)为本发明的一个烟气探测实例，帧中为一个行人和一股烟气，两者都为运动目标，经过Choquet模糊积分运算，图3(b)为检测出的运动目标。

图4为在图3(b)中标注了质心二进制图像。直线垂直于长轴且通过运动目标质心把运动目标分割为顶端区域和底端区域，符号“*”表示运动目标顶端质心，符号“+”表示运动目标底端质心。

图5为探测到的摇晃目标。从图5可看出，行人的摇晃程度不符合算法的条件，被排除。烟气的摇晃程度较大，且顶部摇晃程度大于底部摇晃程度，所以被检测为摇晃目标。

图6中为视频烟气，图6视频(a)为棉花产生的烟气；图6视频(b)为一铁栅栏旁的烟气；图6视频(c)一垃圾箱旁的烟气；图6视频(d)为一阳光下的烟气。

实施例：

本实施例运用本发明烟气探测方法，对附图3(a)场景中的烟气进行探测，具体操作步骤如下：

1.提取场景中运动目标

通过式（4）、（5）、（6）分别计算出当前帧和背景图像对应像素的YCbCr颜色模型中亮度、蓝色和红色分量的相似度。通过式（7）计算出每个像素颜色分量对应的模糊密度值。通过式（3）计算出每个像素的模糊积分值，并把值与所设定区分运动目标与背景的阈值相比较，小于阈值者被认作为运动目标像素，否则为背景像素。在运动目标检测中，由于CCD摄像机抖动、闪烁和镜头不清洁等原因经常会在检测的运动目标中形成噪音数据，需要对检测出的运动区域作形态学处理。同时，在识别烟气时，经常存在一些小的运动干扰目标区域。在本发明中中，对于被检测到像素数小于100个像素的运动区域认作是噪音区域。附图3(b)为附图3(a)中检测出的运动目标。

2.摇晃目标的提取

附图4为在图3(b)中标注了质心的二进制图像。通过式(10)可以计算出SD的值，通过式(11)判断序列帧中运动目标是否为摇晃目标。附图3(b)中存在两个运动目标，一个为行人，一个为烟气。通过计算连续的5帧，如表1所示，可看出行人不具有摇晃目标的特点，而场景中的烟气具有摇晃特征。烟气视频的连续帧中，烟气的长轴方向具有连续性。如果相邻探测区域连续两帧的长轴夹角大于35度，则探测的目标不认为是摇晃目标。表1中ED代表欧氏距离（单位：像素），Mean（单位：像素）表示欧氏距离均值。附图5为提取出的摇晃区域。

表1运动目标质心欧式距离、欧氏距离均值

3.烟气扩散特征判断

日常生活中包含着各种运动方式的目标，也存在一些摇晃运动方式的非烟气目标。为了从摇晃目标中提取烟气目标，本发明进一步利用烟气的扩散特征判断真实的烟气。在判断烟气扩散特征之前，首先利用烟气颜色决策规则验证摇晃运动区域，即烟气的颜色在RGB颜色模型中，像素R、G、B三通道的值比较接近。由于烟气的扩散，烟气顶部一般表现为较为琐碎的区域。本发明在创建灰度共生矩阵时，像素和像素顶部有5个连续像素在摇晃区域中，该像素才被计算在灰度共生矩阵中。这样能扩大顶部区域和底部区域的对比，有助于判断烟气的扩散特征。通过计算，附图3（a）中的烟气被判断为真实的烟气。运用本发明算法，视频附图6(a)、(b)、(c)、(d)视频中的烟气也能被探测出来。

Claims (1)

1.一种基于流动和扩散特征的视频烟气探测方法，其特征在于，该方法利用视频烟气探测系统探测烟气，该视频烟气探测系统由摄像头、计算机、报警装置以及传输信号线路组成，摄像头为CMOS或CCD摄像头，该方法首先通过Choquet模糊积分算法提取视频帧中的运动目标，接着计算序列帧中运动目标质心，利用质心把序列帧中具有摇晃特征的运动目标提取出来；根据烟气扩散造成烟气顶部和底部的纹理相异，通过灰度共生矩阵(GLCM,GreyLevel Co-occurrence Matrix)判断烟气顶部和底部纹理特征及差异性，识别出视频帧中的烟气目标，具体步骤如下：

1.提取运动目标

使用Choquet模糊积分融合YCbCr颜色模型中的三分量提取视频帧中的运动目标，离散Choquet模糊积分计算如下：

$Ch=\underset{i=1}{\overset{n}{\&Sigma;}}\left(f\right(t_i)-f(t_{i-1}\left)\right)\&times;g\left(A_i\right)---\left(1\right)$

式中A_i＝{x_i,…,x_n}，g(A_i)为模糊测度；当T是一个有限集合时，记为T＝{t₁,…,t_n}，式中模糊函数f:T→[0,1)，并对模糊函数f(t)排序，使得：

f(t₁)≤f(t₂)≤...,f(t_n) (2)

使用Choquet模糊积分融合YCbCr颜色模型中的三分量判断视频序列帧中运动目标，首先计算当前帧和背景图像对应像素的YCbCr颜色模型中亮度、蓝色和红色分量的相似度，利用Choquet模糊积分融合各分量的相似度，从视频帧中提取运动目标，当前帧和背景对应像素亮度分量相似度为：

$f_L(x,y)=1-\frac{|L_C(x,y)-L_B(x,y)|}{255}---\left(3\right)$

式中，L_C(x,y)和L_B(x,y)分别表示当前帧和背景在坐标(x,y)处对应像素亮度分量值，当前帧和背景对应像素蓝色分量相似度为：

$f_B(x,y)=1-\frac{|B_C(x,y)-B_B(x,y)|}{255}---\left(4\right)$

式中，B_C(x,y)和B_B(x,y)分别表示当前帧和背景在坐标(x,y)处对应像素蓝色分量值，当前帧和背景对应像素红色分量相似度为：

$f_R(x,y)=1-\frac{|R_C(x,y)-R_B(x,y)|}{255}---\left(5\right)$

式中，R_C(x,y)和R_B(x,y)分别表示当前帧和背景在坐标(x,y)处对应像素红色分量值，对于像素特征分量x_i，模糊密度g({x_i})表示像素颜色分量区分运动目标像素和背景像素的重要程度，以当前帧中某像素被认作为背景像素的可能性愈大，则该像素特征分量的重要程度愈大，该模糊密度g({x_i})也愈大，像素颜色分量的重要程度并不固定，但像素某一分量模糊密度和相似度成单调性增长，g({x_i})通过下式计算：

g_(x,y)({x_i})＝t₁×f(x,y) (6)

式中，f(x,y)为当前帧和背景对应像素某颜色分量相似度，阈值t₁设为0.5，式(1)中，Ch<0.95被认作动态区域像素，因视频中时常含有噪音数据，所以需对背景差分结果作形态学处理；

2.提取摇晃目标

烟气在流动时，其顶端的摇晃程度大于底端的摇晃程度，使用一个长轴定义运动目标的几何方向，即使用二维平面上与最小惯量轴同方向的最小二阶轴定为长轴，首先计算第n帧中运动目标质心，使用一条通过运动目标质心且垂直长轴的直线把运动目标分为两部分：顶端部分和底端部分，顶端部分和底端部分又各自有自己的质心，计算出连续k帧中运动目标顶端质心和底端质心的均值，连续k帧中同一运功区域质心和质心均值的欧式距离均值能准确地反映该区域运动变化程度，如果运动目标底端质心的欧氏距离均值与运动目标顶端质心欧氏距离均值之比小于设定阈值t∈(0,1)，则运动目标底端的摇晃程度小于顶端摇晃程度，具体通过以下方法判断运动目标是否为摇晃目标，某区域质心和质心均值的欧氏距离为：

$Dist\left(X\right(n),Y(n\left)\right)=\left|\right|C\left(X\right(n),Y(n\left)\right)-C(\stackrel{\&OverBar;}{X},\stackrel{\&OverBar;}{Y})\left|\right|---\left(7\right)$

式中，C(X(n),Y(n))表示第n帧中运动目标的质心坐标，表示连续k帧中运动目标的质心均值，运动目标质心欧氏距离的均值计算如下：

$Mean(X,Y)=\frac{1}{k}\underset{n=1}{\overset{k}{\&Sigma;}}Dist\left(X\right(n),Y(n\left)\right)---\left(8\right)$

式中，k＝5，Mean(X,Y)反映该区域摇晃的程度，Mean(X,Y)的值愈大，摇晃程度愈大；反之，Mean(X,Y)的值愈小，摇晃程度愈小，式(10)用来判断运动目标是否为摇晃目标；

SD＝Mean_b(X,Y)/Mean_t(X,Y) (9)

SD<t₂ (10)

式(9)中，Mean_b(X,Y)和Mean_t(X,Y)分别表示运动目标的底端和顶端质心欧氏距离均值；

式(10)中，阈值t₂设定为0.8，烟气视频的连续帧中，烟气的长轴方向具有连续性，如果连续两帧探测到的区域长轴夹角大于35度，即使满足式(10)也不认为是摇晃目标；

3.烟气扩散纹理特征判断

烟气中像素R、G、B三通道的值比较接近，在判断烟气扩散特征之前，首先利用烟气灰度特征规则验证摇晃运动区域，过滤掉目标中不符合要求的像素，然后为摇晃目标顶部和底部分别创建l＝16和θ＝45度的灰度共生矩阵，由于烟气的扩散，烟气顶部一般表现为较为琐碎的区域，在创建灰度共生矩阵时，像素和像素顶部有5个连续像素在摇晃区域中，该像素才被计算在灰度共生矩阵中，这样能扩大顶部区域和底部区域的对比，有助于判断烟气的扩散特征，灰度共生矩阵中主对角线上的元素之和与矩阵中所有元素之和比值表示为：

$h\left(n\right)=\frac{\underset{i==j}{\&Sigma;}{p}_{(i,j)}\left(n\right)}{\underset{i=1}{\&Sigma;}\underset{j=1}{\&Sigma;}{p}_{(i,j)}\left(n\right)}---\left(11\right)$

式中，p_(i,j)(n)表示第n帧中某候选烟气区域的灰度共生矩阵(i,j)处的元素值，烟气底端纹理相对粗糙，顶端纹理相对较细，所以对应摇晃目标顶端部分的h(n)值小于底端部分的h(n)值，式(12)用作烟气扩散特征的判断，

$\stackrel{\&OverBar;}{h_t/h_b}<t_3---\left(12\right)$

式中，

$\stackrel{\&OverBar;}{h_t/h_b}=\frac{1}{k}\underset{n=1}{\overset{k}{\&Sigma;}}\left(h_t\right(n)/h_b(n\left)\right)---\left(13\right)$

h_t(n)和h_b(n)分别表示候选烟气区域中顶端部分和底端部分的h(n)值，连续5帧的h_t/h_b均值比单帧更能准确地反映候选烟气区域是否具有扩散特征，式中，设定t₃＝0.96；

烟气底部区域颜色基本一致，则底端区域对应的灰度共生矩阵中数值较大的元素主要集中在主对角线上或其附近，对于视频中第n帧，底端区域对应的灰度共生矩阵中主对角线上或其附近元素之和与矩阵中所有元素的和之比为：

$g\left(n\right)=\frac{\underset{i==j,i-1==j,i+1==j}{\&Sigma;}{p}_{(i,j)}\left(n\right)}{\underset{i=1}{\&Sigma;}\underset{j=1}{\&Sigma;}{p}_{(i,j)}\left(n\right)}---\left(14\right)$

式(15)也用来判断烟气，

${\stackrel{\&OverBar;}{g}}_b>t_4---\left(15\right)$

式中：

${\stackrel{\&OverBar;}{g}}_b=\frac{1}{k}\underset{n=1}{\overset{k}{\&Sigma;}}{g}_b\left(n\right)---\left(16\right)$

g_b(n)表示摇晃目标底端的g(n)值，连续5帧的g_b(n)均值比单帧g_b(n)值更能准确地反映摇晃目标是否具有该扩散特征，式中，设定t₄＝0.65，摇晃目标如果满足公式(12)和(15)，则摇晃目标被认作为真实烟气区域。