CN110276284A - 基于视频质量评估的火焰识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于视频质量评估的火焰识别方法，包括以下步骤：获取视频的图像；计算所述图像的模糊度和色偏度；从所述图像中分割出疑似火焰区域；根据所述模糊度和色偏度，对照特征准确率参考表筛选出准确率在筛选阈值以上的图像特征作为火焰的判别特征；提取疑似火焰区域的所述判别特征，判断所述判别特征是否为火焰特征，若所述判别特征为火焰特征，则将所述判别特征标记为火焰识别特征；根据所述模糊度和色偏度，对照特征权重参考表确定所述火焰识别特征的权重；将各个火焰识别特征的权重求和，得到综合识别值，根据所述综合识别值的大小判别所述疑似火焰区域是否为火焰区。本发明提高了火焰判别的速度和准确率。

Description

基于视频质量评估的火焰识别方法、装置、设备及存储介质

技术领域

本发明涉及消防安全领域，具体为一种基于视频质量评估的火焰识别方法、装置、电子设备及存储介质。

背景技术

目前，市场上的火灾探测器主要分为传统型和图像型两大类。

传统型火灾探测器通过对温度、烟雾等检测，判断是否有火灾发生，使用范围受限制较大，且无法对现场进行直观的观察。

图像型火灾探测器通过视频图像的识别实现对火灾的检测，使用范围较广，可以通过视频观察对实时火情进行较准确的判断。

由于图像型火灾探测器相比传统型火灾探测器所具有的优势，近年来，有关图像型火灾检测的方法的研究日益增多，这些方法的实现一般包括三个关键步骤：步骤一、疑似火焰区域分割：从图像中分割出疑似火焰的区域；步骤二、疑似火焰区域特征提取：提取火焰区域的特征，计算每个疑似区域的特征参数，作为后续火灾判断的依据；步骤三、火焰判别：利用步骤二计算出的特征值，对每个疑似火焰区域进行最终的差别。

现有技术中，对火焰判别可归为以下三种方式：

方式一：多特征简单融合

这种方式主要特点是：各特征之间进行逻辑“与”操作、设定满足条件的特征数量阈值和根据单特征对于识别正确率的影响设定不同的权重来判别是否为火焰。如鹿书恩等对于提取的特征进行逻辑“与”操作，所有特征均满足条件时，才被判别为火焰。邹婷等同样当特征同时符合所有判据时,则可判定为火焰。这种方法易造成漏判。王杰庆利用当满足条件的特征数量达到一定阈值时则判定为火焰。严云洋等根据单特征的识别率，改变各特征的权值，再进行加权运算，当总概率大于一定阈值时，判别为火焰。这种方法忽略了不同环境对火焰特征的影响，且选择的特征不够充分，较难达到较高的准确率。

方式二：人工神经网络

人工神经网络是一种模仿生物神经网络行为特征进行信息处理的数学模型。对于火焰识别，输入为计算出的各特征参数，输出为判别结果。通过调整模型中结点的参数提高识别的准确率。如Mei Zhibin等利用前馈(Back Propagation，BP)利用人工神经网络进行火焰的判别。丁虎等同样利用人工神经网络进行火焰的判别。利用人工神经网络具有较高的容错性,但计算量较大，同时需要大量的训练样本。

方式三：支持向量机

支持向量机(Support Vector Machine，SVM)是一种以统计学为基础的模式识别算法。如Ko等计算火焰的颜色特征和动态特征，利用支持向量机进行判别。韩斌等计算火焰的动态特征，利用支持向量机进行判别。支持向量机在解决小样本、非线性和高维空间模式识别问题时有很大的优势。但是，支持向量机的计算量较大，同时需要大量的训练样本，并且对于核函数的参数设置目前没有明确的理论指导。

发明内容

本发明为了克服上述现有技术中基于视频图像的火灾检测识别所存在的准确率低或者提高准确率却又增大了计算量的缺陷，提供一种基于视频质量评估的火焰识别方法。本发明的火焰识别方法，创造性地将图像质量评估与视频图像的火焰识别相结合，基于视频质量的火焰特征动态筛选及基于视频质量的特征加进行火焰判别，从而提高了火焰判别的速度和准确率，而且能够自适应于多种不同质量的视频。

本发明采用的技术方案如下：

基于视频质量评估的火焰识别方法，其包括以下步骤：

获取视频的图像；

计算所述图像的模糊度和色偏度；

从所述图像中分割出疑似火焰区域；

根据所述模糊度和色偏度，对照特征准确率参考表筛选出准确率在筛选阈值以上的图像特征作为火焰的判别特征，所述特征准确率参考表记录着不同模糊度和色偏度下各个图像特征判别出火焰的准确率；

提取疑似火焰区域的所述判别特征，判断所述判别特征是否为火焰特征，若所述判别特征为火焰特征，则将所述判别特征标记为火焰识别特征，

根据所述模糊度和色偏度，对照特征权重参考表确定所述火焰识别特征的权重，所述特征权重参考表记录着不同模糊度和不同色偏度下各个图像特征参与火焰判别的权重；

将各个火焰识别特征的权重求和，得到综合识别值，根据所述综合识别值的大小判别所述疑似火焰区域是否为火焰区。

由于仅利用单一的图像特征进行火焰识别很容易因外部干扰而产生误判，因此需将多个图像特征进行融合再进行火焰判别，现有的多特征融合识别方法，是对每个疑似火焰区域都提取了所有的图像特征，计算所有的图像特征的特征值，然后再利用所有特征值直接进行判断。但对于每种特征，在不同质量的视频中，该特征识别的准确率有所不同。简单来说，单个特征识别的准确率与图像质量有一定关系。例如红色特征，与视频的颜色质量相关性较强，即对于颜色较丰富较真实的视频，利用红色特征进行判别的准确率较高，相反，对于颜色失真的视频，利用该特征进行判别的准确率则较低。

而本发明对读入的图像先进行质量评价，计算图像的模糊度和色偏度，根据模糊度和色偏度对图像特征进行动态筛选，筛选出在该图像质量下判别火焰区的准确率较高的图像特征来参与火焰识别，对于判别火焰区的准确率低的图像特征不进行计算，提高了判别的速度的同时提高了判别的准确率；另外，对于动态筛选出来的判别特征，根据在该图像质量下的判别权重进行求和判别，进一步提高了判别的准确率。

优选地，计算所述图像的模糊度包括以下步骤：

将待测图像F模糊处理，得到参考图像B；

对待测图像F和参考图像B分别进行梯度计算，得到待测梯度图像G和参考梯度图像G_r；

确定待测梯度图像G中方差较大的N个图像块，记为{x_i,i＝1,1,3,...,N}，参考梯度图像G_r中与所述N个图像块相对应的对应图像块记为{y_i,i＝1,1,3,...,N}；

分别计算所述N个图像块和对应图像块的水平像素绝对差值和竖直像素绝对差值，记为D_F_Ver、D_B_Ver、D_F_Hor、D_B_Hor，其中，D_F_Ver表示待测梯度图像G的水平像素绝对差值，D_F_Hor表示待测梯度图像G的竖直像素绝对差值，D_B_Ver表示参考梯度图像G_r的水平像素绝对差值，D_B_Hor表示参考梯度图像G_r的竖直像素绝对差值；

分别计算待测图像F与参考图像B的水平像素绝对差值和竖直像素绝对差值的较大者，记为D_V_Ver、D_V_Hor，其中，D_V_Ver表示待测梯度图像G与参考梯度图像G_r的水平像素绝对差值的较大者，表示D_V_Hor表示待测梯度图像G与参考梯度图像G_r的竖直像素绝对差值的较大者；

将D_F_Ver、D_F_Hor、D_V_Ver、D_V_Hor分别累加，然后归一化并得出水平像素模糊度和竖直像素模糊度，选择水平像素模糊度和竖直像素模糊度中较大的值作为待测图像的模糊度。

基于像素点的二次模糊图像清晰度评价算法和基于结构相似度的二次模糊图像清晰度评价算法是两种经典的无参考图像清晰度评价算法。这两种算法都是将待测图像通过低通滤波生成参考图像，基于像素点的算法是将相邻像素点的灰度值变化程度作为衡量待测图像清晰度的参考标准，基于结构相似度的算法则是选取梯度信息最丰富的N个图像块，并将这些图像块与参考图像中对应位置图像块的结构相似度作为衡量待测图像清晰度的参考标准。第一种方法计算较简单，但与图像内容的相关性较大，第二种方法效果较好，但计算量较大。本发明将这两种算法相结合，在将待测图像通过低通滤波生成参考图像后，选取梯度信息最丰富的N个图像块，再将这些图像块的像素变化作为衡量图像清晰度的参考标准。将现有的两种经典算法及本发明的算法进行测试与对比分析(利用频质量专家组VQEG提出的相关准则，及由美国德克萨斯大学提供的图像降质库——LIVE数据库)，本发明的改进算法运行速度较快，且客观评价结果与主观评价的拟合度较好。

优选地，计算所述图像的色偏度包括以下步骤：

将待测图像从RGB颜色模型转换到HSV颜色模型，并提取H通道分量；

计算H通道的波峰数量参数rate1；

计算H通道的波峰集中程度参数rate2；

将rate1和rate2两个参数融合进行归一化，得到色偏度rate。

具体地，计算H通道的波峰数量rate1包括以下步骤：

将H通道分量的数值归一化后进行二值化处理，计算其直方图，得到频次的数组，记为{x_i,i＝1,2,...256}；

计算所述数组的方差，记为std_num；

对std_num进行归一化处理，得到波峰数量参数rate1。

具体地，计算H通道的波峰集中程度rate2包括以下步骤：

将H通道分量归一化后二值化处理，计算其方差

计算灰度值最大时的std_gray，记作std_gray_max；

归一化计算出波峰集中程度参数

在图像采集过程中，感光元器件的物理特性和外界光照条件会对成像造成一定影响，导致得到的图像的色彩与物体的真实色彩之间存在一定程度的偏差，即所谓的色偏。灰度世界法、白色区域法和基于色度分布的色偏检测法是三种常用的无参考图像色偏检测算法。本发明通过分析色偏图像的HSV颜色模型中H通道的直方图，提出基于HSV颜色直方图的无参考图像色偏评价方法。由于灰度世界法和白色区域法对于假设条件的要求较高，因此将本发明的算法与基于色度分布的色偏检测算法进行对比分析，两种算法检测的准确率相差较小，但基于色度分布的色偏检测算法的检测结果无界，而本发明所提供的算法的检测结果范围在[0，1]，有利于多幅图像的横向比较。

优选地，分割出疑似火焰区域采用HSV颜色模型的分割方法，分割后去除图像中的噪声，并对空洞进行填充。

优选地，所述图像特征包括红色特征、红色比例特征、圆形度特征、矩形度特征、边缘粗糙度特征、质心高度比特征、火焰的面积变化率特征、高度变化率特征和边缘抖动特征。

本发明还提供了一种基于视频质量评估的火焰识别装置，其包括：

图像获取模块：用于获取视频的图像；

图像评价模块：用于计算所述图像的模糊度和色偏度；

疑似火焰分割模块：用于从所述图像中分割出疑似火焰区域；

火焰判别特征筛选模块：用于根据所述模糊度和色偏度，对照特征准确率参考表筛选出准确率在筛选阈值以上的图像特征作为火焰的判别特征，所述特征准确率参考表记录着不同模糊度和色偏度下各个图像特征判别出火焰的准确率；

火焰识别特征标记模块：用于提取疑似火焰区域的所述判别特征，判断所述判别特征是否为火焰特征，若所述判别特征为火焰特征，则将所述判别特征标记为火焰识别特征，

火焰识别特征权重确定模块：用于根据所述模糊度和色偏度，对照特征权重参考表确定所述火焰识别特征的权重，所述特征权重参考表记录着不同模糊度和不同色偏度下各个图像特征参与火焰判别的权重；

火焰区域判别模块：用于将各个火焰识别特征的权重求和，得到综合识别值，根据所述综合识别值的大小判别所述疑似火焰区域是否为火焰区。

本发明还提供了一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时实现上述的基于视频质量评估的火焰识别方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于视频质量评估的火焰识别方法。

本发明的基于视频质量评估的火焰识别方法、装置、电子设备以及存储介质，相对于现有技术，本发明具有以下技术效果：

1、本发明的火焰识别方法，创造性地将图像质量评估与现有的视频图像的火焰识别相结合，基于视频质量的火焰特征动态筛选及基于视频质量的特征加进行火焰判别，从而提高了火焰判别的速度和准确率，而且能够自适应于多种不同质量的视频。

2、在对图像的质量评价方面，对于图像的清晰度评价，本发明将基于像素点的二次模糊图像清晰度评价算法和基于结构相似度的二次模糊图像清晰度评价算法相结合，创造出改进的无参考图像清晰度评价算法，算法运行速度较快，且客观评价结果与主观评价的拟合度较好。

3、在对图像的质量评价方面，对于图像的色偏度的评价，本发明提出基于HSV颜色直方图的无参考图像色偏度评价方法，既能保证准确率高又利于多幅图像的横向比较。

附图说明

图1为本发明实施例一的基于视频质量评估的火焰识别方法的流程图；

图2为模糊度检测的流程图；

图3为色偏度检测的流程图；

图4为本发明实施例二的基于视频质量评估的火焰识别装置的结构框图；

图5为本发明实施例三的电子设备的结构框图。

具体实施方式

结合附图说明本发明的一种基于视频质量评估的火焰识别方法、装置、电子设备以及存储介质进行详细的描述，以对本发明的保护范围进行解释和说明。

实施例一

请参照图1所示，一种基于视频质量评估的火焰识别方法，其包括以下步骤：

110、实时获取火灾监控现场视频的图像。

对火灾监控现场通过摄像头或摄像机进行监控，可以实时获取火灾监控现场视频的图像。摄像头或摄像机采集的视频图像通过网络(无线网络或有线网络)传输到数据处理系统进行步骤120-170的操作。

120、计算所述图像的模糊度和色偏度。

120.1、计算所述图像的模糊度。

请参照附图2，本发明的改进的无参考图像清晰度算法包括以下步骤：

(1)F表示待测图像，大小为m×n像素，对F进行模糊处理得到参考图像B。

(2)分别计算图像F和B的梯度信息。F和B的梯度图像分别为G和G_r。

(3)找出梯度图像G中梯度信息最丰富的N个图像块。将图像G划分为8×8的小块，为了避免重要边缘的丢失，块间的步长设为4，即相邻块有50％重叠。计算每块的方差,方差越大说明梯度信息越丰富,找出其中方差最大的N块,记为{x_i,i＝1,1,3,...,N}。G_r中的对应块记为{y_i,i＝1,1,3,...,N}。N值的大小直接影响评价结果，同时也影响算法运行的时间。在本实施例中将N设置为64。

(4)为了研究领域像素的变化，对于第(3)步确定出的N个图像块分别计算水平和竖直方向的像素绝对差值D_F_Ver、D_B_Ver、D_F_Hor、D_B_Hor：

D_F_Ver(i,j)＝Abs(F(i,j)-F(i-1,j))(2≤i≤m,1≤j≤n) (1-1)

D_F_Hor(i,j)＝Abs(F(i,j)-F(i,j-1))(1≤i≤m,2≤j≤n) (1-2)

D_B_Ver(i,j)＝Abs(B_Ver(i,j)-B_Ver(i-1,j))(2≤i≤m,1≤j≤n) (1-3)

D_B_Hor(i,j)＝Abs(B_Hor(i,j)-B_Hor(i,j-1))(1≤i≤m,2≤j≤n) (1-4)

式中，D_F_Ver表示待测梯度图像G的水平像素绝对差值，D_F_Hor表示待测梯度图像G的竖直像素绝对差值，D_B_Ver表示参考梯度图像G_r的水平像素绝对差值，D_B_Hor表示参考梯度图像G_r的竖直像素绝对差值；F(i,j)表示待测图像中坐标位置为(i，j)的像素值，F(i-1,j)表示待测图像中坐标位置为(i-1，j)的像素值，F(i,j-1)表示待测图像中坐标位置为(i，j-1)的像素值，B_Ver(i,j)表示参考图像中坐标位置为(i，j)的像素值，B_Ver(i-1,j)表示参考图像中坐标位置为(i-1，j)的像素值，B_Hor(i,j-1)表示参考图像中坐标位置为(i，j-1)的像素值。

(5)分别计算待测图像F与参考图像B的水平像素绝对差值和竖直像素绝对差值的较大者；

D_V_Ver(i,j)＝Max(0,D_F_Ver(i,j)-D_B_Ver(i,j))(1≤i≤m-1,1≤j≤n-1) (1-5)

D_V_Hor(i,j)＝Max(0,D_F_Hor(i,j)-D_B_Hor(i,j))(1≤i≤m-1,1≤j≤n-1) (1-6)

其中，D_V_Ver表示待测梯度图像G与参考梯度图像G_r的水平像素绝对差值的较大者，表示D_V_Hor表示待测梯度图像G与参考梯度图像G_r的竖直像素绝对差值的较大者。

(6)将D_F_Ver、D_F_Hor、D_V_Ver、D_V_Hor分别累加，然后归一化并得出水平像素模糊度和竖直像素模糊度，选择水平像素模糊度和竖直像素模糊度中较大的值作为待测图像的模糊度。

将D_F_Ver、D_F_Hor、D_V_Ver、D_V_Hor系数累加:

其中,s_F_Ver表示D_F_Ver图像中大小为(m,n)区域的像素值的和，s_F_Hor表示D_F_Hor图像中大小为(m,n)区域的像素值的和，s_V_Ver表示D_V_Ver图像中大小为(m,n)区域的像素值的和，s_V_Hor表示D_V_Hor图像中大小为(m,n)区域的像素值的和。

归一化并得出模糊值:

其中,b_F_Ver表示水平模糊度，b_F_Hor表示竖直模糊度。

最终，选择模糊度更大的值作为模糊度量：

blur_F＝Max(b_F_Ver,b_F_Hor) (1-13)

120.2、计算所述图像的色偏度。

请参照附图3，本发明的改进的无参考图像色偏度算法包括以下步骤：

(1)颜色空间转换：读入图像，将其从RGB颜色模型转换到HSV颜色模型，提取H通道分量。

(2)计算波峰数量：由于波峰的数量较难客观的统计，且无法归一化使其变为有界参数，所以，在这里利用直方图频次的方差来代替波峰数量参数。如果直方图的波峰数量较多，则对应的频次数值波动范围较大，即方差较大。

将H通道的数值归一化，再扩大为[0，255]范围内的整数，计算其直方图，得到的频次是一个包含256个数值的一维数组，记为{x_i,i＝1,2,...256}，计算数组的方差:

其中，n为数组中数值的个数，在此为256，x_i为数组中的第i个数值，x为数组的均值。

由于上式计算出的std_num无界，因此需要进行归一化处理。当波峰数量最多或最少时对应的std_num为极值。在此选择波峰数量最少时进行计算，当整幅图像只有一个灰度值时波峰最少，只有一个波峰。生成一幅与待测图像大小相等的只有一个灰度值图像，假设灰度值都为gray，此时的频次数组为

其中，M和N分别为图像的长和宽，M×N即为图像的像素数量。计算其方差:

进行归一化处理，计算出第一个参数值,即波峰数量参数rate1：

(3)计算波峰的集中程度

波峰的集中程度即整幅图像H值的集中程度。在此用图像H通道数值的方差来表示波峰的集中程度。将H通道的数值归一化，再扩大为[0，255]范围内的整数，计算其方差:

其中，M和N分别为图像的长和宽，M×N即为图像的像素数量。x_ij为在图像中位置为(i,j)处的H通道数值，x为图像中H通道数值的平均值。

由于上式计算出的std_gray无界，因此需要进行归一化处理。当图像的灰度值只有两种且相差最多时波峰分布最分散，计算此时的std_gray为极值。简单来说，对于一幅大小为M×N的图像，当数量的像素灰度值为0，数量的像素灰度值为255时，计算出的std_gray最大，利用式(2-5)计算出的值记作std_gray_max。最后进行归一化，计算出第二个参数值,即波峰的集中程度参数rate2：

(4)参数归一化。分别计算出描述波峰数量和波峰分布集中程度的两个参数后，将两个参数融合进行归一化，得到最终的色偏程度参数：

130、从所述图像中分割出疑似火焰区域。

疑似火焰区域分割常用的方法为：基于颜色、基于边缘和基于运动的三类方法对图像进行了疑似火焰区域的分割。基于颜色分割一类中分为了利用灰度图进行分割和利用HSV颜色模型的分割，其中，利用灰度图进行分割由于只考虑了图像的亮度信息，因此容易将非火焰的高亮度区域也分割为目标区域，而基于HSV颜色模型的分割由于分割出的区域既满足高亮条件，又满足类似火焰的颜色，因此效果较好。基于边缘的分割适合与目标轮廓清晰，与背景有明显界限的图像，而火焰图像不满足，因此分割效果较差。基于运动特征的分割中，由于只有火焰的边缘运动较明显，因此在非边缘部分易造成空洞。本发明采用了基于HSV颜色模型的分割方法。分割后通过去除小面积连通域、形态学处理中的膨胀等操作去除了图像中的噪声，对空洞进行了填充,取得了较完整较准确的分割图像。

140、筛选火焰的判别特征。

根据所述模糊度和色偏度，对照特征准确率参考表筛选出准确率在筛选阈值以上的图像特征作为火焰的判别特征，所述特征准确率参考表记录着不同模糊度和色偏度下各个图像特征判别出火焰的准确率。

经过图像质量评价后，模糊程度的范围为[0,1]，色偏程度的范围为[0,1]，当数值为0时，颜色质量最差，数值为1时，图像质量最好。按照数值的大小，将其均分为5个等级，即[0,0.2)为第一级，[0.2,0.4)为第二级，[0.4,0.6)为第三级，[0.6,0.8)为第四级，[0.8,1.0)为第五级。

单一的图像特征判别出火焰的准确率统计：

获取了大量的现场图片作为样本，提取样本的不同单一的图像特征，用每一个图像特征单独判断火焰，对比样本的真实结果，统计出每一个单一的图像特征的判断准确率,制成特征准确率参考表,如下表1所示:

表1不同质量条件下每种特征进行判别的准确率

在每种图像质量下，第①行到第⑨行依次对应利用红色特征、红色比例特征、圆形度特征、边缘粗糙度特征、矩形度特征、质心高度比特征、面积变化率特征、高度变化率特征和边缘抖动特征9个图像特征单独进行识别时的准确率。

在一种实施例中，筛选阈值设为50％,表示准确率小于等于50％的数值，在进行识别时，对于该图像特征不进行计算。如在模糊等级为1，色偏等级为3的情况下，红色比例特征、圆形度特征、矩形度特征和质心高度比特征四个特征的准确率较低，分别为41％，44％，36％和41％，即对于火焰识别的贡献率较低，因此不需要计算这四个图像特征值，从而实现了对特征的动态筛选，在降低计算量的同时提高了准确率。

作为本发明的优选方案,为了进一步提高火焰判别的准确率,对所述特征准确率参考表进一步优化。

由于模糊程度在第五个等级和色偏程度在第一个等级的图像数量较少，因此用最邻近的准确率进行代替。当模糊等级为第五级时，用对应的第四级的准确率进行计算，当色偏程度为第一级时，用对应的第二级的准确率进行代替,得到优化的特征准确率参考表。优化后的特征准确率参考表如下表2所示:

表2不同质量条件下每种特征进行判别的近似替代后准确率

150、火焰识别特征标记。

提取疑似火焰区域的所述判别特征，判断所述判别特征是否为火焰特征，若所述判别特征为火焰特征，则将所述判别特征标记为火焰识别特征。

每一个单一的图像特征来判断疑似火焰区域是否为火焰区，判断方法如下：

红色特征的判别：R(i,j)≥R_T (5-1)

式(5-1)中，R(i,j)表示彩色图像位置(i,j)像素点的R分量，R_T为R分量阈值。本实施例中利用分割出的每个疑似区域各像素R通道的平均值代替R(i,j)。若R(i,j)大于或等于R_T，则判定为火焰区，因此，红色特征也就是火焰特征，将红色特征标记为火焰特征。优选地，火焰区域的R通道平均值主要集中在大于190的范围内，因此，式中R_T取值为190。

红色比例特征的判别：R(i,j)≥G(i,j)≥B(i,j) (5-2)

式中，R(i,j)、G(i,j)和B(i,j)为彩色图像位置(i,j)像素点的R、G、B分量，本实施例中利用分割出的每个疑似区域各像素R通道的平均值代替R(i,j)，同理，G、B通道的平均值分别代替G(i,j)和B(i,j)。若式(5-2)成立，即红色像素大于或等于橙色像素，橙色像素大于或等于黄色像素，则判定为火焰区，因此，红色比例特征也就是火焰特征，将红色比例特征标记为火焰特征。

圆形度特征的判别：

其中，S表示特征的面积，L表示特征轮廓的周长。火焰区域的圆形度主要集中在数值较小的区域，圆形度范围[0.2，0.7],而干扰源区域的圆形度则较分散。在本实施例中，若计算的圆形度在[0.2，0.7]的范围内，则判定为火焰区，也就是将圆形度特征标记为火焰特征。

矩形度特征的判别：

其中，S表示物体的面积，S_R表示特征所在区域的最小矩形的面积。火焰区域的矩形度集中在[0.5，0.7]范围内，而干扰源的矩形度分布则相对较分散。在本实施例中，若计算的矩形度在[0.5，0.7]的范围内，则判定为火焰区，也就是将矩形度特征标记为火焰特征。

边界粗糙度特征的判别：边界粗糙度通过计算物体的周长与其外接凸包周长的比值，描述了物体轮廓的粗糙程度。在一个实数向量空间V中，对于给定的集合X,所有包含X的凸集为K,则K的交集S为X的凸包，如式(5-5)所示：

在本实施例中，凸包是指包含某个疑似火焰连通域像素的最小凸集，即式中X为疑似火焰区域像素。则边界粗糙度的计算公式为：

B_R＝L/L_CH (5-6)

其中，L_CH为凸包的周长，L为物体所在区域周长。火焰区域的边缘粗糙度主要集中在[2，6]，而干扰源的边界粗糙度主要集中在[1，3]。在本实施例中，若计算的边界粗糙度在[0.2，0.7]的范围内，则判定为火焰区，也就是将边界粗糙度特征标记为火焰特征。

质心比系数特征的判别：质心高度比系数是用来描述物体的重心位置的参数。一般来说，火焰的质心位置较低，而窗户、灯光等干扰源的质心位置较居中。因此可以将质心高度比系数作为区分火焰和干扰源的特征之一。质心高度比系数的定义如下：

其中，Cen表示物体的质心高度，Height表示物体的高度。火焰区域的质心比系数主要集中在小于0.5的位置，而干扰源的质心高度比系数则主要集中在0.5左右。在本实施例中，若计算的质心比系数小于0.5，则判定为火焰区，也就是将质心比系数特征标记为火焰特征。

面积变化率特征的判别：在燃烧过程中，火焰面积会随着火势的增大(减小)随之增大(减小)。而窗户、灯光等干扰源的面积变程度较小。火灾火焰面积变化率是衡量火焰面积变化程度的特征值。设A_i为某视频第i帧中某疑似火焰区域的面积，A_i-1为该视频中第i-1帧中对应区域的面积，则该区域相邻两帧的面积变化量为：

A_σ＝A_i-A_i-1 (5-7)

面积变化率为：

其中，ΔA_i即目标区域的面积变化率。非火焰区域的面积变化率的数值集中在[0.01，0.03]范围内，而火焰区域的面积变化率在此范围内的约35％，整体来说，火焰区域的面积变化率整体偏大。在实施例中，若计算的面积变化率在[0.01，0.03]范围内，则判定为火焰区

，也就是将面积变化率特征标记为火焰特征。

高度变化率特征：高度变化率是描述物体在发生形变的过程中高度变化程度的参数。在发生火灾的过程中，火焰不停地跳跃，即表现为火焰的高度不断变化。而干扰源如路灯，室内灯光等，高度几乎不变。

相邻两帧之间的高度变化量为：

H_σ＝H_i-H_i-1 (5-9)

高度变化率的计算公式如下:

其中，H_i为视频第i帧中某个区域的高度，H_i-1为视频第i-1帧中对应区域的高度，H_σ为两个区域面积的变化量，ΔH_i为高度变化率。

干扰源区域的高度变化率主要集中在[0.01，0.03]。整体来说，火焰区域的高度变化率数值较大，而干扰源区域的高度变化率数值较小。在本实施例中，若高度变化率的计算结果要大于0.03，则判定为火焰区，也就是将高度变化率特征标记为火焰特征。

边缘抖动特征的判别:边缘抖动是衡量物体在发生形变的过程中边缘变化的程度。火焰在燃烧时，会不停的闪烁和抖动，而灯光、窗户等干扰源的边缘变化则较小。因此可以将边缘抖动程度作为识别火焰的特征之一。相邻两帧间物体周长的变化量为：

C_σ＝C_i-C_i-1 (5-11)

周长变化率为：

其中，C_i表示视频第i帧中某个区域的高度，C_i-1表示视频第i-1帧中对应区域的高度，C_σ表示两个区域面积的变化量，ΔC_i表示高度变化率。

干扰源区域的高度变化率主要集中在[0.01，0.03]。整体来说，火焰区域的高度变化率数值较大，而干扰源区域的高度变化率数值较小。在本实施例中，若高度变化率的计算结果要大于0.03，则判定为火焰区，也就是边缘抖动特征标记为火焰特征。

160、确定火焰识别特征的权重。

根据所述模糊度和色偏度，对照特征权重参考表确定所述火焰识别特征的权重，所述特征权重参考表记录着不同模糊度和不同色偏度下各个图像特征参与火焰判别的权重。

具体地,在每种图像质量条件下，各图像特征的识别准确率如上表2所示，本实施例根据各图像特征的贡献率设定其权重。具体方法如下：

其中，n为该质量下需进行计算的特征总数，r_i为第i个特征单独进行识别时的准确率，w_i为第i个特征的权重。

根据上式(6-1)计算得到的特征权重参考表,如下表3所示:

表3不同视频质量下各个图像特征参与火焰判别的权重

170、火焰区域判别。

将各个火焰识别特征的权重求和，得到综合识别值，根据所述综合识别值的大小判别所述疑似火焰区域是否为火焰区。当综合识别值超过综合阈值时则认为是火焰区域。

实施例二

实施例二公开了一种对应上述实施例的基于视频质量评估的火焰识别装置，为上述实施例的虚拟装置结构，请参照图4所示，包括：

图像获取模块210：用于获取视频的图像；

图像评价模块220：用于计算所述图像的模糊度和色偏度；

疑似火焰分割模块230：用于从所述图像中分割出疑似火焰区域；

火焰判别特征筛选模块240：用于根据所述模糊度和色偏度，对照特征准确率参考表筛选出准确率在筛选阈值以上的图像特征作为火焰的判别特征，所述特征准确率参考表记录着不同模糊度和色偏度下各个图像特征判别出火焰的准确率；

火焰识别特征标记模块250：用于提取疑似火焰区域的所述判别特征，若所述判定特征判定疑似火焰区域为火焰，则将所述判别特征标记为火焰识别特征；

火焰识别特征权重确定模块260：用于根据所述模糊度和色偏度，对照特征权重参考表确定所述火焰识别特征的权重，所述特征权重参考表记录着不同模糊度和不同色偏度下各个图像特征参与火焰判别的权重；

火焰区域判别模块270：用于将各个火焰识别特征的权重求和，得到综合识别值，根据所述综合识别值的大小判别所述疑似火焰区域是否为火焰区。

实施例三

图5为本发明实施例三提供的一种电子设备的结构示意图，如图5所示，该电子设备包括处理器310、存储器320、输入装置330和输出装置340；计算机设备中处理器310的数量可以是一个或多个，图5中以一个处理器310为例；电子设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于视频质量评估的火焰识别方法对应的程序指令/模块(例如，基于视频质量评估的火焰识别装置中的图像获取模块210、图像评价模块220、疑似火焰分割模块230、火焰判别特征筛选模块240、火焰识别特征标记模块250、火焰识别特征权重确定模块260、火焰区域判别模块270)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的基于视频质量评估的火焰识别方法。

存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置330可用于接收输入的用户身份信息等。输出装置340可包括显示屏等显示设备。

实施例四

本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行基于视频质量评估的火焰识别方法，该方法包括：

获取视频的图像；

计算所述图像的模糊度和色偏度；

从所述图像中分割出疑似火焰区域；

根据所述模糊度和色偏度，对照特征准确率参考表筛选出准确率在筛选阈值以上的图像特征作为火焰的判别特征，所述特征准确率参考表记录着不同模糊度和色偏度下各个图像特征判别出火焰的准确率；

提取疑似火焰区域的所述判别特征，计算所述判别特征的特征量，若所述特征量达到预定的火焰阈值，则将所述特征量对应的判别特征标记为火焰识别特征；

根据所述模糊度和色偏度，对照特征权重参考表确定所述火焰识别特征的权重，所述特征权重参考表记录着不同模糊度和不同色偏度下各个图像特征参与火焰判别的权重；

将各个火焰识别特征的权重求和，得到综合识别值，根据所述综合识别值的大小判别所述疑似火焰区域是否为火焰区。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于视频质量评估的火焰识别方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述基于视频质量评估的火焰识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (10)

1.基于视频质量评估的火焰识别方法，其特征在于，包括以下步骤：

获取视频的图像；

计算所述图像的模糊度和色偏度；

从所述图像中分割出疑似火焰区域；

根据所述模糊度和色偏度，对照特征准确率参考表筛选出准确率在筛选阈值以上的图像特征作为火焰的判别特征，所述特征准确率参考表记录着不同模糊度和色偏度下各个图像特征判别出火焰的准确率；

提取疑似火焰区域的所述判别特征，判断所述判别特征是否为火焰特征，若所述判别特征为火焰特征，则将所述判别特征标记为火焰识别特征；

根据所述模糊度和色偏度，对照特征权重参考表确定所述火焰识别特征的权重，所述特征权重参考表记录着不同模糊度和不同色偏度下各个图像特征参与火焰判别的权重；

将各个火焰识别特征的权重求和，得到综合识别值，根据所述综合识别值的大小判别所述疑似火焰区域是否为火焰区。

2.根据权利要求1所述的火焰识别方法，其特征在于，计算所述图像的模糊度包括以下步骤：

将待测图像F模糊处理，得到参考图像B；

对待测图像F和参考图像B分别进行梯度计算，得到待测梯度图像G和参考梯度图像G_r；

确定待测梯度图像G中方差较大的N个图像块，记为{x_i,i＝1,1,3,...,N}，参考梯度图像G_r中与所述N个图像块相对应的对应图像块记为{y_i,i＝1,1,3,...,N}；

分别计算所述N个图像块和对应图像块的水平像素绝对差值和竖直像素绝对差值，记为D_F_Ver、D_B_Ver、D_F_Hor、D_B_Hor，其中，D_F_Ver表示待测梯度图像G的水平像素绝对差值，D_F_Hor表示待测梯度图像G的竖直像素绝对差值，D_B_Ver表示参考梯度图像G_r的水平像素绝对差值，D_B_Hor表示参考梯度图像G_r的竖直像素绝对差值；

分别计算待测图像F与参考图像B的水平像素绝对差值和竖直像素绝对差值的较大者，记为D_V_Ver、D_V_Hor，其中，D_V_Ver表示待测梯度图像G与参考梯度图像G_r的水平像素绝对差值的较大者，表示D_V_Hor表示待测梯度图像G与参考梯度图像G_r的竖直像素绝对差值的较大者；

将D_F_Ver、D_F_Hor、D_V_Ver、D_V_Hor分别累加，然后归一化并得出水平像素模糊度和竖直像素模糊度，选择水平像素模糊度和竖直像素模糊度中较大的值作为待测图像的模糊度。

3.根据权利要求1所述的火焰识别方法，其特征在于，计算所述图像的色偏度包括以下步骤：

将待测图像从RGB颜色模型转换到HSV颜色模型，并提取H通道分量；

计算H通道的波峰数量参数rate1；

计算H通道的波峰集中程度参数rate2；

将rate1和rate2两个参数融合进行归一化，得到色偏度rate。

4.根据权利要求3所述的火焰识别方法，其特征在于，计算H通道的波峰数量rate1包括以下步骤：

将H通道分量的数值归一化后进行二值化处理，计算其直方图，得到频次的数组，记为{x_i,i＝1,2,...256}；

计算所述数组的方差，记为std_num；

对std_num进行归一化处理，得到波峰数量参数rate1。

5.根据权利要求3所述的火焰识别方法，其特征在于，计算H通道的波峰集中程度rate2包括以下步骤：

将H通道分量归一化后二值化处理，计算其方差

计算灰度值最大时的std_gray，记作std_gray_max；

归一化计算出波峰集中程度参数

6.根据权利要求1所述的火焰识别方法，其特征在于：分割出疑似火焰区域采用HSV颜色模型的分割方法，分割后去除图像中的噪声，并对空洞进行填充。

7.根据权利要求1所述的火焰识别方法，其特征在于：所述图像特征包括红色特征、红色比例特征、圆形度特征、矩形度特征、边缘粗糙度特征、质心高度比特征、火焰的面积变化率特征、高度变化率特征和边缘抖动特征。

8.基于视频质量评估的火焰识别装置，其特征在于包括：

图像获取模块：用于获取视频的图像；

图像评价模块：用于计算所述图像的模糊度和色偏度；

疑似火焰分割模块：用于从所述图像中分割出疑似火焰区域；

火焰判别特征筛选模块：用于根据所述模糊度和色偏度，对照特征准确率参考表筛选出准确率在筛选阈值以上的图像特征作为火焰的判别特征，所述特征准确率参考表记录着不同模糊度和色偏度下各个图像特征判别出火焰的准确率；

火焰识别特征标记模块：用于提取疑似火焰区域的所述判别特征，判断所述判别特征是否为火焰特征，若所述判别特征为火焰特征，则将所述判别特征标记为火焰识别特征；

火焰识别特征权重确定模块：用于根据所述模糊度和色偏度，对照特征权重参考表确定所述火焰识别特征的权重，所述特征权重参考表记录着不同模糊度和不同色偏度下各个图像特征参与火焰判别的权重；

火焰区域判别模块：用于将各个火焰识别特征的权重求和，得到综合识别值，根据所述综合识别值的大小判别所述疑似火焰区域是否为火焰区。

9.一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的基于视频质量评估的火焰识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的基于视频质量评估的火焰识别方法。