CN105225235A - 一种基于多光谱特征的视频火焰检测方法 - Google Patents

Abstract

本发明公开一种基于多光谱特征的视频火焰检测方法，属于计算机视觉领域。本方法建立火焰颜色模型提取候选火焰区域，通过相机标定恢复出候选区域像素对应的不同单光谱的辐射照度，提取火焰多光谱辐射照度特征，建立火焰光谱时空特征模型，构建一种基于径向基函数核的二分类的支持向量机，训练提取的火焰特征，得到火焰分类模型，从而进行火焰检测。本发明通过将视频图像数据从色域转换到辐射域，对火焰多光谱辐射能特征进行建模，实现基于真实物理特征的火焰检测方法。

Description

一种基于多光谱特征的视频火焰检测方法

技术领域

本发明涉及物理意义上的视频火焰检测方法，属于计算机视觉领域，具体涉及一种基于多光谱特征的视频火焰检测方法。

背景技术

火灾是破坏力很强的自然灾害之一，时刻影响着人们的日常生活，火灾检测技术受到人们的日益关注。由于火灾一旦发生，蔓延迅速，火灾报警越早越好，所以，研究快速准确的火焰检测技术，一直都是国内外相关学者的工作重点之一。

最早的火焰检测方法是人工监视方法，这种方法通常用来监控森林火灾，通过在瞭望塔上安排监控人员，可以进行准确的火灾报警。但是由于人力资源昂贵且效率低，所以应用较少。另一种火灾检测技术是火焰传感器技术，通过火焰传感器检测火焰产生的粒子、环境温度或相对湿度等发出火灾报警，然而这种技术具有很大缺陷，如感应范围较小，通常局限于室内环境，传输延迟长，且不能提供有关燃烧过程的有效信息，例如火灾位置、火势大小、扩散速度、传播方向等。

随着视频监控技术和图像处理技术的飞速发展，基于视频的火焰检测技术成为目前主流的火焰检测技术，弥补了传统方法的种种缺点，成本低、监控范围广，且能提供燃烧现场的实时信息，然而，由于火焰现象混乱复杂、外观变化巨大，具有实时的多变性和无规则性，现有的视频火焰检测方法都是从色域建模火焰特征，不具有实际的物理意义，而且在特定环境下错误检测时常发生。

对于计算机视觉领域，尤其是当今火灾早报警等需求的日益增长，实时准确的视频火焰检测技术将有着广阔的前景，而其中建模有辨识力的、具有实际物理意义的火焰特征将扮演非常重要的角色。

发明内容

本发明的目的是解决视频火焰检测领域没有实现具有实际物理意义的火焰检测的问题，提出一种基于多光谱特征的视频火焰检测方法，可以实现图像从色域到辐射域的转换，并进行物理意义上的视频火焰检测。

为完成本发明的目的，本发明采用的技术方案是：一种基于多光谱特征的视频火焰检测方法，包括以下步骤：

步骤(1)、利用YCbCr颜色空间的基于规则的火焰颜色模型提取候选的火焰区域；

步骤(2)、通过事先标定相机从单颜色通道到单光谱的辐射照度的映射，计算得到图像像素亮度值对应不同单光谱的辐射照度；

步骤(3)、通过步骤(2)得到火焰像素对应不同单光谱的辐射照度，提取火焰多光谱辐射照度特征，对火焰光谱的时空特征进行建模；

步骤(4)、构建基于径向基函数核的二分类的支持向量机，通过对步骤(3)提取的火焰光谱时空特征进行训练，得到火焰分类模型，实现基于火焰物理特征的火焰检测。

其中，所述步骤(1)用于提取候选火焰区域的火焰颜色模型是一个建立在YCbCr颜色空间上的基于规则的火焰颜色模型，由于火焰是发光体，而YCbCr空间将亮度与色度分离，所以YCbCr比RGB颜色空间更适合表示火焰颜色，通过将已有的RGB空间定义的火焰颜色模型，如公式(1)(2)所示，转换到YCbCr空间，如公式(3)(4)所示，并建模火焰在YCbCr空间呈现的独有的规律，如公式(5)(6)所示，得到一个有效的火焰颜色模型，如公式(3-6)所示：

R≥G≥B(1)

R≥R_mean(2)

Y(x,y)＞Cb(x,y)(3)

Cr(x,y)＞Cb(x,y)(4)

$F(x,y)=\left\{\begin{array}{c}1,ifY(x,y)>Y_{mean},Cb(x,y)<{\mathrm{Cb}}_{mean},Cr(x,y)>{\mathrm{Cr}}_{mean}\\ 0,otherwise\end{array}\right.---\left(5\right)$

$F_{\mathrm{\&tau;}}(x,y)=\left\{\begin{array}{c}1,if|Cb(x,y)-Cr(x,y)|\&GreaterEqual;\mathrm{\&tau;}\\ 0,otherwise\end{array}\right.---\left(6\right)$

其中，R、G、B分别是图像像素在RGB颜色空间的三个颜色分量，Y(x，y)、Cb(x，y)、Cr(x，y)分别是图像像素p(x，y)在YCbCr颜色空间的三个颜色分量，(x，y)是像素p(x，y)在图像中的位置，R_mean、Y_mean、Cb_mean和Cr_mean分别是图像所有像素的R、Y、Cb和Cr颜色分量的均值，τ是一个阈值，通过在大量数据集上进行ROC分析，综合考虑模型对有火数据集和无火数据集的分割结果，取τ＝40，保证正样本识别率高于90％，且负样本的错误率低于40％。

其中，所述步骤(2)进一步分为3个步骤：

步骤(A1)：相机响应函数反映图像接收辐射照度与图像亮度之间的关系，利用多次曝光算法标定出相机响应函数，从而由图像像素亮度值计算得到其接收到的辐射照度；

步骤(A2)：由步骤(A1)得到的辐射照度实际是全光谱下的辐射照度，为了得到不同单光谱下像素接收的辐射照度，在相机镜头前添加不同中心波长的窄带滤光片，标定滤光片的通光系数，得到全光谱辐射照度到单光谱辐射照度的衰减；

步骤(A3)：由步骤(A1)和(A2)的标定结果，已知彩色图像像素的亮度值，通过相机响应函数计算得到其对应的全光谱辐射照度，再由不同中心波长的窄带滤光片的通光系数得到其对应的不同单光谱下的辐射照度。

其中，所述步骤(3)根据步骤(2)计算得到火焰像素对应的红、绿、蓝，即波长分别为650nm、532nm、450nm的三个单光谱的辐射照度，提取火焰不同于其他物体的多光谱辐射照度特征，并对光谱时空特征进行建模，得到具有物理意义的火焰光谱时空特征模型。

其中，所述步骤(4)构建基于径向基函数核的二分类的支持向量机，以步骤(3)提取的火焰光谱时空特征作为输入，通过在训练集上进行五折交叉验证，寻找最优参数，然后用最优参数在训练集上训练分类器，得到火焰分类模型，实现基于真实物理特征的火焰检测方法。

与现有技术相比，本发明的有益效果是：

(1)本发明使用一种YCbCr空间的基于规则的火焰颜色模型进行火焰区域预分割，可以减少算法后续处理的数据量，增强方法的实时性。

(2)本发明通过对相机的标定，可以将图像数据从色域转换到辐射域，进而提取火焰辐射域的特征，与现有使用色域特征进行火焰检测的方法相比，本方法具有实际的物理意义。

(3)本发明针对现有的仅基于火焰低级特征的火焰检测方法检测率低的问题，本方法利用小波分析、时空特征建模等方法建立火焰特征模型，检测效率高。

(4)本发明与现有的使用特征阈值进行火焰判定的方法相比，本方法采用基于径向基函数核的二分类的支持向量机对火焰特征数据进行训练分类，可以得到更准确的检测结果。

附图说明

图1为本发明的基于多光谱特征的火焰检测方法的示意图；

图2为本发明的基于多光谱特征的火焰检测方法的流程图；

图3为本发明的基于多光谱特征的火焰检测方法的技术路线图；

图4为本发明的图像数据从色域到多光谱辐射域转换过程的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

如图1所示，本发明提出了一种基于多光谱特征的视频火焰检测方法，该方法利用火焰颜色模型进行候选火焰区域提取，由事先相机标定的结果将图像数据从色域转换到辐射域，进而将候选区域从全光谱彩色图像转换成不同单光谱的辐射照度图，提取火焰的多光谱辐射照度特征，并建立火焰光谱时空特征模型，作为一种基于径向基函数核的二分类的支持向量机的输入，对火焰特征数据进行训练得到火焰分类模型，实现基于多光谱特征的视频火焰检测方法，本方法的流程图如图2所示。

根据本发明的目的和上述方法过程，确定的技术路线如图3所示，下面分别详细加以介绍。

火焰通常呈现红黄色，明显不同于其他物体，通过建立火焰颜色模型对视频帧进行预分割，剔除非火焰颜色的像素，可以大大提高算法效率。由于火焰是发光体，YCbCr颜色空间将亮度与色度分离，所以YCbCr比RGB颜色空间更适合表示火焰颜色，通过将已有的RGB空间定义的火焰颜色模型转换到YCbCr空间，并建模火焰在YCbCr空间呈现的独有的规律，得到一个火焰颜色模型，如公式(3)-(6)所示。该模型可以有效的剔除非火焰颜色像素，有效缩减了后续处理的数据量，不过一些颜色与火焰相似的物体也会被提取出来，所以还需要对候选区域做进一步处理，下面介绍数据采集相机的标定过程。

相机响应函数f反映了图像像素亮度值p与该像素接受辐射照度E、相机曝光时间Δt三者的关系，如公式(7)所示：

p＝f(E·Δt)(7)

使用多次曝光算法标定相机响应函数，可由图像的像素值得到其对应的辐射照度值，不过这个辐射照度是全光谱下的辐射照度，为了得到不同单光谱的辐射照度，可通过在相机镜头前添加相应中心波长的窄带滤光片，只允许特定波长的光线通过镜头进入CCD成像，然后标定窄带滤光片的通光系数，可得到全光谱辐射照度与相应单光谱辐射照度的映射关系。本方法分别标定了中心波长为650nm、532nm、450nm的三种窄带滤光片的通光系数。

由标定得到的相机响应函数和滤光片的通光系数，可以按照图4所示的过程计算每个候选像素p(i,j)对应的650nm、532nm、450nm三个单光谱的辐射照度，分别记为Er(i,j)、Eg(i,j)、Eb(i,j)，接着将研究火焰特征，提取火焰多光谱辐射照度特征，并对火焰光谱时空特征建模，从候选区域中进一步提取火焰区域。为了更好的表示火焰特征，将图像分割成16×16大小的块，块内候选像素个数大于一定阈值t的块才被作为候选块提取火焰特征，本方法中t＝20％。

由火焰独特的颜色呈现决定着火焰在特定波长的辐射能也具有一定规律，定义三个火焰特征表示火焰颜色的特点：红色光谱能量E_block、差分光谱能量D_block和相对光谱能量R_block。一个候选块的红色光谱能量E_block定义为块内所有候选像素的红色单光谱辐射照度的均值，如公式(8)所示；差分光谱能量D_block定义为块内所有候选像素红、蓝单光谱辐射照度差值的绝对值的均值，如公式(9)所示；相对光谱能量R_block定义为块内所有候选像素红、绿单光谱辐射照度比值的均值，如公式(10)所示。

$E_{block}=\frac{1}{N}\underset{i,j}{\&Sigma;}Er(i,j)---\left(8\right)$

$D_{block}=\frac{1}{N}\underset{i,j}{\&Sigma;}|Er(i,j)-Eb(i,j)|---\left(9\right)$

$R_{block}=\frac{1}{N}\underset{i,j}{\&Sigma;}Er(i,j)/Eg(i,j)---\left(10\right)$

其中，N是块内候选像素的个数，Er(i,j)、Eg(i,j)、Eb(i,j)分别是像素p(i,j)对应于650nm、532nm、450nm三个单光谱下的辐射照度，(i,j)是像素p(i,j)在图像中的位置。

火焰空间分布随机无序，具有很高的空间能量，本方法使用小波分析处理候选块的红色单光谱图像，高通和低通滤波器系数分别为{0.25，0.5，0.25}和{-0.25，0.5，-0.25}，二维滤波得到high-low、low-high、high-high三个子图像，分别对应于像素p(i,j)的能量值HL(i,j)、LH(i,j)、HH(i,j)，其光谱空间能量Sp(i,j)定义为三个能量值的平方和，如公式(11)所示。

Sp(i,j)＝HL(i,j)²+LH(i,j)²+HH(i,j)²(11)

一个候选块的光谱空间能量Sp_block定义为块内所有候选像素光谱空间能量的均值，如公式(12)所示。

${\mathrm{Sp}}_{block}=\frac{1}{N}\underset{i,j}{\&Sigma;}Sp(i,j)---\left(12\right)$

其中，N是块内候选像素的个数，(i,j)是像素p(i,j)在图像中的位置，Sp(i,j)是像素p(i,j)的光谱空间能量。

闪烁是火焰的重要特征之一，火焰的闪烁频率通常为10Hz左右，为了表示火焰这一特征，用参数o(i,j)表示T帧内候选像素p(i,j)在候选像素与非候选像素之间变换的次数，Te(i,j)表示像素p(i,j)的时间能量，定义如公式(13)所示。

Te(i,j)＝2^o(i,j)-1(13)

候选块的时间能量Te_block定义为块内所有候选像素时间能量的均值，如公式(14)所示。

${\mathrm{Te}}_{block}=\frac{1}{N}\underset{i,j}{\&Sigma;}Te(i,j)---\left(14\right)$

其中，N是块内候选像素的个数，(i,j)是像素p(i,j)在图像中的位置，Te(i,j)是像素p(i,j)的时间能量。

为了表示火焰空间能量随时间的变化规律，定义候选像素p(i,j)的光谱时空能量ST(i,j)为该像素在当前帧与前T帧内光谱空间能量的方差，如公式(15)所示。

$ST(i,j)=\frac{1}{T+1}\underset{t=0}{\overset{T}{\&Sigma;}}{\left({\mathrm{Sp}}_t\right(i,j)-\stackrel{\&OverBar;}{Sp}(i,j\left)\right)}^2---\left(15\right)$

其中，Sp_t(i,j)是候选像素p(i,j)在第前t帧的光谱空间能量，是该像素在T+1帧内光谱空间能量的均值。每个候选块的光谱时空能量ST_block定义为块内候选像素该能量值的均值，如公式(16)所示。

${\mathrm{ST}}_{block}=\frac{1}{N}\underset{i,j}{\&Sigma;}ST(i,j)---\left(16\right)$

其中，N是块内候选像素的个数，(i,j)是像素p(i,j)在图像中的位置，ST(i,j)是像素p(i,j)的光谱时空能量。。

为了提高算法的可靠性，定义火焰光谱时空一致能量C_block，如公式(17)所示。

C_block＝C_data+C_smooth(17)

其中，C_data是数据项，定义为上述所有特征之和，如公式(18)所示。

C_data＝E_block+D_block+R_block+Sp_block+Te_block+ST_block(18)

其中，E_block、D_block、R_block、Sp_block、Te_block、ST_block分别是该候选块的红色光谱能量、差分光谱能量、相对光谱能量、光谱空间能量、时间能量和光谱时空能量。

C_smooth是平滑项，定义如公式(19)所示，C_smooth的取值由两项决定：1)当前帧和前一帧处理块周围的候选块个数C_cand；2)前三帧处理块周围的候选块根据前述特征已经被标记为火焰块的个数C_fire。

$\begin{array}{c}{C}_{smooth}=C_{cand}+C_{fire}\\ =\underset{i=0}{\overset{1}{\&Sigma;}}\&lsqb;a_i{N}_{cand}(t-i)\&rsqb;+\underset{i=1}{\overset{3}{\&Sigma;}}\&lsqb;b_i{N}_{fire}(t-i)\&rsqb;\end{array}---\left(19\right)$

其中，t表示当前处于第t帧，N_cand(t-i)是第t-i帧处理块周围的候选块个数，N_fire(t-i)是第t-i帧处理块周围的火焰标记块的个数，a_i、b_i是可调节参数，本方法中，a₀＝a₁＝1，b₁＝2，b₂＝1.5，b₃＝1，实验证明，取a_i>b_i可以有效的减少错误检测。

定义火焰特征模型后，构建基于径向基函数核的二分类的支持向量机对火焰特征进行训练，分别选取2500个有火候选块和2500个无火候选块计算上述特征值后，得到5000个七维特征向量[E_block,D_block,R_block,Sp_block,Te_block,ST_block,C_block]组成的训练集，使用支持向量机在训练集上进行五折交叉验证，选取训练器参数c和gamma的最优取值，使得训练集上的识别率最高，再用参数取最优值的支持向量机在训练集上做训练，得到火焰分类模型，实现基于火焰多光谱特征的视频火焰检测方法。

本发明未详细阐述的部分属于本领域的技术人员公知技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于多光谱特征的视频火焰检测方法，其特征在于：该方法包括如下步骤：

步骤(1)、利用YCbCr颜色空间的基于规则的火焰颜色模型提取候选的火焰区域；

步骤(2)、通过事先标定相机从单颜色通道到单光谱的辐射照度的映射，计算得到图像像素亮度值对应不同单光谱的辐射照度；

步骤(3)、通过步骤(2)得到火焰像素对应不同单光谱的辐射照度，提取火焰多光谱辐射照度特征，对火焰光谱的时空特征进行建模；

步骤(4)、构建基于径向基函数核的二分类的支持向量机，通过对步骤(3)提取的火焰光谱时空特征进行训练，得到火焰分类模型，实现基于火焰物理特征的火焰检测。

2.根据权利要求1所述的一种基于多光谱特征的视频火焰检测方法，其特征在于：所述步骤(1)用于提取候选火焰区域的火焰颜色模型是一个建立在YCbCr颜色空间上的基于规则的火焰颜色模型，由于火焰是发光体，而YCbCr空间将亮度与色度分离，所以YCbCr比RGB颜色空间更适合表示火焰颜色，通过将已有的RGB空间定义的火焰颜色模型，如公式(1)(2)所示，转换到YCbCr空间，如公式(3)(4)所示，并建模火焰在YCbCr空间呈现的独有的规律，如公式(5)(6)所示，得到一个有效的火焰颜色模型，如公式(3)-(6)所示：

R≥G≥B(1)

R≥R_mean(2)

Y(x,y)＞Cb(x,y)(3)

Cr(x,y)＞Cb(x,y)(4)

$F(x,y)=\left\{\begin{array}{c}1,ifY(x,y)>Y_{mean},Cb(x,y)<{\mathrm{Cb}}_{mean},Cr(x,y)>{\mathrm{Cr}}_{mean}\\ 0,otherwise\end{array}\right.---\left(5\right)$

$F_{\mathrm{\&tau;}}(x,y)=\left\{\begin{array}{c}1,if|Cb(x,y)-Cr(x,y)|\&GreaterEqual;\mathrm{\&tau;}\\ 0,otherwise\end{array}\right.---\left(6\right)$

其中，R、G、B分别是图像像素在RGB颜色空间的三个颜色分量，Y(x，y)、Cb(x，y)、Cr(x，y)分别是图像像素p(x，y)在YCbCr颜色空间的三个颜色分量，(x，y)是像素p(x，y)在图像中的位置，R_mean、Y_mean、Cb_mean和Cr_mean分别是图像所有像素的R、Y、Cb和Cr颜色分量的均值，τ是一个阈值，通过在大量数据集上进行ROC分析，综合考虑模型对有火数据集和无火数据集的分割结果，取τ＝40，保证正样本识别率高于90％，且负样本的错误率低于40％。

3.根据权利要求1所述的一种基于多光谱特征的视频火焰检测方法，其特征在于：所述步骤(2)进一步分为3个步骤：

步骤(A1)：相机响应函数反映图像接收辐射照度与图像亮度之间的关系，利用多次曝光算法标定出相机响应函数，从而由图像像素亮度值计算得到其接收到的辐射照度；

步骤(A2)：由步骤(A1)得到的辐射照度实际是全光谱下的辐射照度，为了得到不同单光谱下像素接收的辐射照度，在相机镜头前添加不同中心波长的窄带滤光片，标定滤光片的通光系数，得到全光谱辐射照度到单光谱辐射照度的衰减；

步骤(A3)：由步骤(A1)和(A2)的标定结果，已知彩色图像像素的亮度值，通过相机响应函数计算得到其对应的全光谱辐射照度，再由不同中心波长的窄带滤光片的通光系数得到其对应的不同单光谱下的辐射照度。

4.根据权利要求1所述的一种基于多光谱特征的视频火焰检测方法，其特征在于：所述步骤(3)根据步骤(2)计算得到火焰像素对应的红、绿、蓝，即波长分别为650nm、532nm、450nm三个单光谱的辐射照度，提取火焰不同于其他物体的多光谱辐射照度特征，并对光谱时空特征进行建模，得到具有物理意义的火焰光谱时空特征模型。

5.根据权利要求1所述的一种基于多光谱特征的视频火焰检测方法，其特征在于：所述步骤(4)构建基于径向基函数核的二分类的支持向量机，以步骤(3)提取的火焰光谱时空特征作为输入，通过在训练集上进行五折交叉验证，寻找最优参数，然后用最优参数在训练集上训练分类器，得到火焰分类模型，实现基于真实物理特征的火焰检测方法。