CN110415260B - 基于字典与bp神经网络的烟雾图像分割与识别方法 - Google Patents

Abstract

本发明公开了一种基于字典与BP神经网络的烟雾图像分割与识别方法，包括步骤：一、图像处理器对输入图像进行增强处理；二、图像处理器将增强处理后的图像与烟雾字典矩阵作比较计算得到疑似烟雾区域；三、图像处理器对所得到的疑似烟雾图像进行多尺度小波分解，计算多尺度小波分解后所得各层图像的灰度共生矩阵的统计量，采用计算所得的各层图像的灰度共生矩阵的统计量构造纹理特征向量，再将纹理特征向量输入到烟雾识别BP神经网络中，得到烟雾识别结果。本发明方法步骤简单，实现方便，烟雾识别效率高、准确率高。

Description

基于字典与BP神经网络的烟雾图像分割与识别方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于字典与BP神经网络的烟雾图像分割与识别方法。

背景技术

火灾的危害不言而喻，不论起火地点在哪，其带来的危害总是难以估计的。早期的烟雾检测均借助于不同类型的传感器，但该方法响应速度慢、灵敏度低。而基于视频的烟雾检测则可很好的避免上述问题，且具有不受使用场景和空间距离限制的特点，因此利用基于视频的烟雾检测方法越来越受到国内外学者的关注。利用视频进行烟雾检测时烟雾形状、颜色变化较大，运动规律不易寻找，这给基于视频的烟雾检测带来了许多的挑战。

许多学者充分利用了烟雾的颜色特征、纹理特征等进行了烟雾本质特征的研究。在疑似烟雾提取方面，李诚等人在2018年第44卷第1期的《计算机工程》上发表的论文《城镇森林交界域视频烟雾检测算法》中，提出利用vibe方法提取前景区域，并通过颜色模型及累计帧差法来提取疑似烟雾区域，最后通过深度学习模型识别目标是否为烟雾，该方法可有效的对目标做出是否为烟雾的判断，但该方法通过vibe法对目标区域进行运动区域提取，其提取的运动区域不够完整，且容易出现Ghost区域。刘凯等人在2019年第32卷第2期的《传感技术学报》上发表的论文《基于YUV颜色空间和多特征融合的视频烟雾检测》中，利用高斯混合模型对运动区域进行检测，并通过YUV颜色空间烟雾像素过滤的方法确定疑似烟雾区域，最后通过Real AdaBoost分类器对疑似烟雾区域进行判断，但当有小范围的烟雾产生时，通过高斯混合模型进行运动区域检测易产生漏检。陈肖楠等人在2018年第37卷第1期的《消防科学与技术》上发表的论文《基于纹理相关性的飞机货舱视频烟雾检测方法》中，中通过四帧差分法提取运动区域，并直接提取运动区域的纹理特征进行判断是否为烟雾，但该方法在使用过程中有过多的阈值，如选取不当，依旧会使烟雾区域提取不够完整。

在烟雾纹理在烟雾纹理特征提取方面，应用较为广泛的有GLCM、Wavelet等，如刘凯等人在2019年第32卷第2期的《传感技术学报》上发表的论文《基于YUV颜色空间和多特征融合的视频烟雾检测》中，采用离散小波变换和均匀局部二值模式提取疑似烟雾区域特征，最后通过Real AdaBoost分类器对疑似烟雾区域进行判断。朱磊在2018年第37卷第2期的《消防科学与技术》上发表的论文《基于图像增强与多特征的森林火灾烟雾检测算法》中，通过计算所得图像的分形特征和图像灰度共生矩阵的统计特征作为纹理特征向量输入到支持向量机中进行烟雾识别。林成忠等人在2018年第40卷第7期的《计算机工程与科学》上发表的论文《基于稠密光流和边缘特征的烟雾检测算法》中，将所得疑似烟雾图像的相邻三帧图像池化为上、中、下三部分，并提取三部分光流矢量特征和边缘方向直方图作为图像的特征向量，最后将特征向量输入到支持向量机中进行烟雾检测。但在实际运用中现有方法中仍存在较多的误检，其主要原因就是烟雾与其他似烟物质(如：云彩、水雾等)的特征相似，难以区分。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于字典与BP神经网络的烟雾图像分割与识别方法，其方法步骤简单，实现方便，烟雾识别效率高、准确率高。

为解决上述技术问题，本发明采用的技术方案是：一种基于字典与BP神经网络的烟雾图像分割与识别方法，该方法包括以下步骤：

步骤一、图像处理器对输入图像进行增强处理，具体过程为：

步骤101、图像处理器计算输入图像的方差、均值和信息熵，并将方差、均值和信息熵输入预先构建的图像增强神经网络模型中，输出进行图像增强的高频图像模型系数k、第一层小波分解的低频图像模型系数n₁和第二层小波分解的低频图像模型系数n₂；

步骤102、图像处理器对输入图像进行两层小波分解，提取输入图像中的高频图像、第一层小波分解的低频图像L₁和第二层小波分解的低频图像L₂，计算所有高频图像的和∑H；

步骤103、图像处理器将步骤101中的系数k、n₁和n₂，以及步骤102中的低频图像L₁、低频图像L₂和所有高频图像的和∑H带入图像增强模型g(x,y)＝k∑H+n₁L₁+n₂L₂中，得到增强后的图像g(x,y)；

步骤二、图像处理器将增强处理后的图像与烟雾字典矩阵作比较计算得到疑似烟雾区域；

步骤三、图像处理器对所得到的疑似烟雾图像进行多尺度小波分解，计算多尺度小波分解后所得各层图像的灰度共生矩阵的统计量，采用计算所得的各层图像的灰度共生矩阵的统计量构造纹理特征向量，再将纹理特征向量输入到烟雾识别BP神经网络中，得到烟雾识别结果。

上述的基于字典与BP神经网络的烟雾图像分割与识别方法，步骤101中图像处理器预先构建图像增强神经网络模型的具体过程为：

步骤A1、准备与待处理的场景相同场景下的N帧图像；

步骤A2、图像处理器分别对步骤A1中各帧图像的方差、均值和信息熵进行计算；

步骤A3、图像处理器分别对步骤A1中各帧图像进行两层小波分解，提取各帧图像中的高频图像、第一层小波分解的低频图像L₁和第二层小波分解的低频图像L₂；

步骤A4、图像处理器建立图像增强模型g(x,y)＝k∑H+n₁L₁+n₂L₂,其中，g(x,y)为增强后的图像，∑H为经过两层小波分解后所有高频图像的和，L₁为经过两层小波分解后第一层小波分解的低频图像，L₂为经过两层小波分解后第二层小波分解的低频图像，k为高频图像模型系数，n₁为第一层小波分解的低频图像模型系数，n₂为第二层小波分解的低频图像模型系数；

步骤A5、图像处理器将各帧图像的低频图像L₁、低频图像L₂和所有高频图像的和∑H带入图像增强模型

中，并多次调节各帧图像的高频图像模型系数k、第一层小波分解的低频图像模型系数n₁和第二层小波分解的低频图像模型系数n₂，使得增强后的图像的对比度最高，记录相应各帧图像的方差、均值、信息熵、系数k、n₁和n₂；

步骤A6、图像处理器以各帧图像的方差、均值和信息熵为图像增强神经网络的输入，输入层节点数N₁为3个，以使得增强后的图像的对比度最高的系数k、n₁和n₂作为BP神经网络的输出，输出层节点数N₃为3个，根据公式

确定出BP神经网络隐含层的节点数N₂，建立三层BP神经网络；其中，取a为1～10的自然数；

步骤A7、图像增强神经网络模型训练，其具体过程如下：

步骤A701、参数初始化：设定输入层到隐含层的连接权值w_ji为(-1,1)之间的随机数，隐含层到输出层的连接权值w_kj为(-1,1)之间的随机数，输出层的作用函数的斜率a为[0，1]之间的随机数，输出层的作用函数的偏置参数σ为[0，1]之间的随机数，误差修正的步长因子η为(0，1)之间的随机数，输出层的期望输出

为系数k、n₁和n₂；

步骤702、信息正向传递过程的计算：首先，将训练样本IN_i输入到图像增强神经网络模型的输入层，通过输入层到隐含层的连接权值w_ji与偏置值b_ji得到隐含层的输入

接着，通过隐含层的作用函数

得到隐含层的输出IM_j＝tan(net₁(j))；然后，通过隐含层到输出层的连接权值w_kj与偏置值b_kj得到输出层的输入

最后，通过输出层的作用函数f(x)＝1/(1+e-^a(x+σ))得到输出层的输出Y(k)＝f(net₂(k))；

步骤703、信息反向传递过程的计算：首先，根据公式

计算得到样本模型的均方误差E_n；接着，根据公式

计算得到总误差e，并判断总误差e是否小于等于0.01，当总误差e大于0.01时，首先，根据公式

计算输出层的训练误差d_k，并根据公式

计算出隐含层的训练误差d_j；接着，根据公式w_ji＝w_ji+ηd_jIN_i对输入层到隐含层的连接权值w_ji进行误差修正，并根据公式w_kj＝w_kj+ηd_kIM_j对隐含层到输出层的连接权值w_kj进行误差修正；然后，根据公式

对输出层的作用函数的斜率a进行误差修正，并根据公式

对输出层的作用函数的偏置参数σ进行误差修正；最后返回步骤702；当总误差e小于等于0.01时，结束训练；其中，l为迭代次数且为自然数。

上述的基于字典与BP神经网络的烟雾图像分割与识别方法，所述N的取值为100。

上述的基于字典与BP神经网络的烟雾图像分割与识别方法，步骤二中所述图像处理器将增强处理后的图像与烟雾字典矩阵作比较计算得到疑似烟雾区域的具体过程为：

步骤201、图像处理器采用均值法建立图像背景模型，即图像中的每个像素点的像素值由图像序列中对应的各个点做平均值来确定，用公式表示为

其中，f_M(i,j)为第M帧图像位于点(i,j)处的像素值，B(i,j)为背景模型；

步骤202、图像处理器将每一帧预处理后的图像与背景图像模型作背景差分，得到每一帧图像中的运动区域，输出运动区域的二值化图像；

步骤203、将收集到的N′张典型烟雾图像按照如下步骤求取第一阶段烟雾字典矩阵Ω，具体过程为：

步骤2031、根据训练样本建立样本矩阵X＝(x₁,x₂,...,x_N′)^T，其中，x_i′为收集到的每张典型烟雾图像，i′的取值为1～N′；

步骤2032、根据公式

计算每行平均值,即各帧图像像素的平均值；

步骤2033、根据公式d_i′＝x_i′-φ计算收集到的每帧烟雾图像与每行平均值的差值d_i′；

步骤2034、构建协方差矩阵

步骤2035、求C的特征值和特征向量；

步骤2036、根据公式Ω_i′＝w^Td_i′将收集到的每帧烟雾图像与每行平均值的差值矢量d_i′投影到烟雾空间中，并将其构建为烟雾字典矩阵Ω＝[Ω₁,Ω₂,...,Ω_N′]；其中，w为C的特征向量；

步骤204、输入图像与烟雾字典的对比：首先将运动区域的二值化图像中的各个图像块与增强处理后图像中的对应部分按照步骤3016变换到烟雾空间中，记所得图像为y_j′，然后按照公式

计算“烟雾”空间的图像y_j′到各个烟雾图像矩阵Ω_i′的最小值，所有结果中最小值对应的图像块即为疑似烟雾图像；其中，j′为输入图像块个数。

上述的基于字典与BP神经网络的烟雾图像分割与识别方法，所述N′的取值为1500。

上述的基于字典与BP神经网络的烟雾图像分割与识别方法，步骤三中所述图像处理器对所得到的疑似烟雾图像进行多尺度小波分解时，选取的小波基为DB4，尺度为2；步骤三中所述灰度共生矩阵的统计量，包括灰度分布不均匀性的统计量、灰度均方差的统计量、梯度熵的统计量、混合熵的统计量、惯性的统计量、逆差矩的统计量、相关性的统计量和方差的统计量。

上述的基于字典与BP神经网络的烟雾图像分割与识别方法，步骤三中所述烟雾识别BP神经网络的构建过程为：

步骤301、建立烟雾识别BP神经网络：图像处理器以纹理特征向量作为烟雾识别BP神经网络的输入，输入层节点数n₁为1个，以烟雾识别结果为烟雾识别BP神经网络的输出，输出层节点数n₃为1个，隐含层节点数n₂为7个；

步骤302、烟雾识别BP神经网络训练：图像处理器以L1规范化的交叉熵损失函数为代价函数，采用纹理特征向量和预测的烟雾识别结果对烟雾识别BP神经网络进行训练，训练2000次，得到训练好的烟雾识别BP神经网络。

本发明与现有技术相比具有以下优点：本发明首先将原始图像输入预先构建的图像增强神经网络模型中，得到图像增强的系数，再进行小波分解，并带入图像增强模型中，实现图像增强，使得烟雾区域显示更加明显；然后利用烟雾图像与背景图像纹理特征不同的特点，提出了利用运动图像块与建立的烟雾字典进行对比计算的方式分割烟雾图像，使得分割的烟雾区域较为完整；同时还提出了小波分解与BP神经网络结合的方法识别烟雾，该方法在使用时利用小波在不同尺度上分解、展开的特点，提取了图像纹理特征向量，提高了烟雾识别的准确率；最后该方法用灰度共生矩阵统计量的方式提取图像纹理特征向量，减小了运算量。整个方法的方法步骤简单，实现方便，烟雾识别效率高、准确率高。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的方法流程框图。

图2A为本发明具体实施例中验证步骤一效果时的第一张原始图像。

图2B为本发明具体实施例中对图2A采用直方图均衡化方法进行图像增强得到的图像。

图2C为本发明具体实施例中对图2A采用本发明步骤一的图像增强处理方法进行图像增强得到的图像。

图2D为本发明具体实施例中验证步骤一效果时的第二张原始图像。

图2E为本发明具体实施例中对图2D采用直方图均衡化方法进行图像增强得到的图像。

图2F为本发明具体实施例中对图2D采用本发明步骤一的图像增强处理方法进行图像增强得到的图像。

图3A为本发明具体实施例中验证步骤201和步骤202效果时的第一张背景模型图。

图3B为本发明具体实施例中对图3A试验得到的含有烟雾的运动图像。

图3C为本发明具体实施例中对图3A试验得到的含有烟雾的运动区域二值化图像。

图3D为本发明具体实施例中验证步骤201和步骤202效果时的第一张背景模型图。

图3E为本发明具体实施例中对图3D试验得到的含有烟雾的运动图像。

图3F为本发明具体实施例中对图3D试验得到的含有烟雾的运动区域二值化图像。

图4为本发明具体实施例中含有烟雾的运动区域二值化图像分块图。

图5A为本发明具体实施例中验证步骤203和步骤204效果时的第一张含有烟雾的运动区域二值化图像。

图5B为本发明具体实施例中对图5A采用高斯混合模型算法的图像分割效果图。

图5C为本发明具体实施例中对图5A采用本发明步骤203和步骤204方法的图像分割效果图。

图5D为本发明具体实施例中验证步骤203和步骤204效果时的第一张含有烟雾的运动区域二值化图像。

图5E为本发明具体实施例中对图5D采用高斯混合模型算法的图像分割效果图。

图5F为本发明具体实施例中对图5D采用本发明步骤203和步骤204方法的图像分割效果图。

图6A为本发明具体实施例中第一个样本的小波分解结果图。

图6B为本发明具体实施例中第二个样本的小波分解结果图。

图7为本发明具体实施例中识别结果准确率曲线变化图。

图8为本发明具体实施例中损失函数值的变化图。

具体实施方式

如图1所示，本发明的基于字典与BP神经网络的烟雾图像分割与识别方法，该方法包括以下步骤：

步骤一、图像处理器对输入图像进行增强处理，具体过程为：

步骤101、图像处理器计算输入图像的方差、均值和信息熵，并将方差、均值和信息熵输入预先构建的图像增强神经网络模型中，输出进行图像增强的高频图像模型系数k、第一层小波分解的低频图像模型系数n₁和第二层小波分解的低频图像模型系数n₂；

步骤102、图像处理器对输入图像进行两层小波分解，提取输入图像中的高频图像、第一层小波分解的低频图像L₁和第二层小波分解的低频图像L₂，计算所有高频图像的和∑H；

步骤103、图像处理器将步骤101中的系数k、n₁和n₂，以及步骤102中的低频图像L₁、低频图像L₂和所有高频图像的和∑H带入图像增强模型g(x,y)＝k∑H+n₁L₁+n₂L₂中，得到增强后的图像g(x,y)；

本实施例中，步骤101中图像处理器预先构建图像增强神经网络模型的具体过程为：

步骤A1、准备与待处理的场景相同场景下的N帧图像；

步骤A2、图像处理器分别对步骤A1中各帧图像的方差、均值和信息熵进行计算；

步骤A3、图像处理器分别对步骤A1中各帧图像进行两层小波分解，提取各帧图像中的高频图像、第一层小波分解的低频图像L₁和第二层小波分解的低频图像L₂；

步骤A4、图像处理器建立图像增强模型g(x,y)＝k∑H+n₁L₁+n₂L₂,其中，g(x,y)为增强后的图像，∑H为经过两层小波分解后所有高频图像的和，L₁为经过两层小波分解后第一层小波分解的低频图像，L₂为经过两层小波分解后第二层小波分解的低频图像，k为高频图像模型系数，n₁为第一层小波分解的低频图像模型系数，n₂为第二层小波分解的低频图像模型系数；

步骤A5、图像处理器将各帧图像的低频图像L₁、低频图像L₂和所有高频图像的和∑H带入图像增强模型

中，并多次调节各帧图像的高频图像模型系数k、第一层小波分解的低频图像模型系数n₁和第二层小波分解的低频图像模型系数n₂，使得增强后的图像的对比度最高，记录相应各帧图像的方差、均值、信息熵、系数k、n₁和n₂；

步骤A6、图像处理器以各帧图像的方差、均值和信息熵为图像增强神经网络的输入，输入层节点数N₁为3个，以使得增强后的图像的对比度最高的系数k、n₁和n₂作为BP神经网络的输出，输出层节点数N₃为3个，根据公式

确定出BP神经网络隐含层的节点数N₂，建立三层BP神经网络；其中，取a为1～10的自然数；

步骤A7、图像增强神经网络模型训练，其具体过程如下：

步骤A701、参数初始化：设定输入层到隐含层的连接权值w_ji为(-1,1)之间的随机数，隐含层到输出层的连接权值w_kj为(-1,1)之间的随机数，输出层的作用函数的斜率a为[0，1]之间的随机数，输出层的作用函数的偏置参数σ为[0，1]之间的随机数，误差修正的步长因子η为(0，1)之间的随机数，输出层的期望输出

为系数k、n₁和n₂；

步骤702、信息正向传递过程的计算：首先，将训练样本IN_i输入到图像增强神经网络模型的输入层，通过输入层到隐含层的连接权值w_ji与偏置值b_ji得到隐含层的输入

接着，通过隐含层的作用函数

得到隐含层的输出IM_j＝tan(net₁(j))；然后，通过隐含层到输出层的连接权值w_kj与偏置值b_kj得到输出层的输入

最后，通过输出层的作用函数f(x)＝1/(1+e-^a(x+σ))得到输出层的输出Y(k)＝f(net₂(k))；

步骤703、信息反向传递过程的计算：首先，根据公式

计算得到样本模型的均方误差E_n；接着，根据公式

计算得到总误差e，并判断总误差e是否小于等于0.01，当总误差e大于0.01时，首先，根据公式

计算输出层的训练误差d_k，并根据公式

计算出隐含层的训练误差d_j；接着，根据公式w_ji＝w_ji+ηd_jIN_i对输入层到隐含层的连接权值w_ji进行误差修正，并根据公式w_kj＝w_kj+ηd_kIM_j对隐含层到输出层的连接权值w_kj进行误差修正；然后，根据公式

对输出层的作用函数的斜率a进行误差修正，并根据公式

对输出层的作用函数的偏置参数σ进行误差修正；最后返回步骤702；当总误差e小于等于0.01时，结束训练；其中，l为迭代次数且为自然数。

本实施例中，所述N的取值为100。

为了验证本发明步骤一的图像增强处理方法的效果，采用图2A和图2D的两张图像进行了试验，采用直方图均衡化方法进行图像增强得到的图像分别如图2B和图2E所示，采用本发明步骤一的图像增强处理方法得到的图像分别如图2C和图2F所示；从图2A、图2B和图2C，以及图2D、图2E和图2F能够看出，经过本发明算法增强后，图像效果明显优于原图及经过直方图均衡化处理的结果，且经过本发明算法增强后图像对比度得到提高，更加方便后续分割、识别等操作。

步骤二、图像处理器将增强处理后的图像与烟雾字典矩阵作比较计算得到疑似烟雾区域；原始图像经图像预处理后，建立图像背景模型，然后与图像背景模型对比计算，得到运动区域的分割图像；

本实施例中，步骤二中所述图像处理器将增强处理后的图像与烟雾字典矩阵作比较计算得到疑似烟雾区域的具体过程为：

步骤201、图像处理器采用均值法建立图像背景模型，即图像中的每个像素点的像素值由图像序列中对应的各个点做平均值来确定，用公式表示为

其中，f_M(i,j)为第M帧图像位于点(i,j)处的像素值，B(i,j)为背景模型；

采用均值法建立图像背景模型，使得烟雾提取区域较为完整。

步骤202、图像处理器将每一帧预处理后的图像与背景图像模型作背景差分，得到每一帧图像中的运动区域，输出运动区域的二值化图像；

当有烟雾产生时，烟雾将会在图像中呈现出运动的特征，因此，可将每一帧预处理后的图像与背景图像模型作背景差分，便可得到每一帧图像中的运动区域。如果预处理后的图像与背景图像对应点的像素值距离大于某个阈值时，则认为是前景，输出为1，否则为背景，输出为0。最后输出即为运动区域的二值化图像。其中，阈值的选取根据具体情况进行调试，使所得二值化图像能完全提取烟雾区域为准。

为了验证本发明步骤201和步骤202的效果，采用图3A和图3D的两张图像进行了试验，阈值选取结果为15，采用图3A试验时得到的含有烟雾的运动图像如图3B所示，得到的含有烟雾的运动区域二值化图像如图3C所示；采用图3D试验时得到的含有烟雾的运动图像如图3E所示，得到的含有烟雾的运动区域二值化图像如图3F所示；从由图3A～3F能够看出，通过背景差分法所得到运动区域二值化图像仍有部分区域为非烟雾区域,如图4中的B₁、B₃区域，因此需要后续优化。

当烟雾产生时，由于风等因素的影响，烟雾的形状不定，不易分割图像，但可收集典型烟雾图像，并将其制作为烟雾字典，然后通过输入图像与烟雾字典对比，查看输入图像中是否有烟雾。

步骤203、将收集到的N′张典型烟雾图像按照如下步骤求取第一阶段烟雾字典矩阵Ω，具体过程为：

步骤2031、根据训练样本建立样本矩阵X＝(x₁,x₂,...,x_N′)^T，其中，x_i′为收集到的每张典型烟雾图像，i′的取值为1～N′；

步骤2032、根据公式

计算每行平均值,即各帧图像像素的平均值；

步骤2033、根据公式d_i′＝x_i′-φ计算收集到的每帧烟雾图像与每行平均值的差值d_i′；

步骤2034、构建协方差矩阵

步骤2035、求C的特征值和特征向量；

步骤2036、根据公式Ω_i′＝w^Td_i′将收集到的每帧烟雾图像与每行平均值的差值矢量d_i′投影到烟雾空间中，并将其构建为烟雾字典矩阵Ω＝[Ω₁,Ω₂,...,Ω_N′]；其中，w为C的特征向量；

步骤204、输入图像与烟雾字典的对比：首先将运动区域的二值化图像中的各个图像块与增强处理后图像中的对应部分按照步骤3016变换到烟雾空间中，记所得图像为y_j′，然后按照公式

计算“烟雾”空间的图像y_j′到各个烟雾图像矩阵Ω_i′的最小值，所有结果中最小值对应的图像块即为疑似烟雾图像；其中，j′为输入图像块个数。

本实施例中，所述N′的取值为1500。

利用烟雾字典分割烟雾主要分为两个阶段，第一个阶段是烟雾字典的表示，第二阶段是输入图像与烟雾字典的对比。第一阶段就是在尽量不损失图片信息的情况下，通过主成分分析法降维的思想提取收集到的典型烟雾图像中的主要成分，并将其转换在同一个空间来确定烟雾字典矩阵Ω；第二阶段就是将输入图像与烟雾字典矩阵相比较，得到烟雾分割图像。

为了验证本发明步骤203和步骤204的效果，采用图5A和图5D的两张图像进行了试验，采用图5A试验时,采用高斯混合模型算法的图像分割效果如图5B所示，采用本发明步骤203和步骤204方法的图像分割效果如图5C所示；采用图5D试验时,采用高斯混合模型算法的图像分割效果如图5E所示，采用本发明步骤203和步骤204方法的图像分割效果如图5F所示；下面分别进行准确性和时效性评价：

(1)准确性评价

采用MCC、F1参数以及基于GT(ground truth)图像来对试验分割效果准确性进行评价。

马修斯相关系数(MCC)经常被用在机器学习中，作为二分类结果的评价指标；该指标通过对所得分割图像中的像素点一一进行判断，从而得出实际分类与完美分类间的相关系数，它的取值范围为[-1,1]，当取值为1是表示分割结果实现了完美分类。马修斯相关系数的计算公式如下式所示：

式中，每个参数的含义如表1所示：

表1MCC指标中的参数含义

F1-score(F1)参数是一个兼顾了查准率和查全率的分类问题衡量指标；它是指查准率和查全率的调和平均数，即：

其中，

基于GT图像计算图像分割效果，就是用实际烟雾像素点个数与已分割得到的图像中烟雾像素点个数进行对比计算，得到分割精度、过分割率，欠分割率，其计算公式如表2所示：

表2分割精度公式

用以上三种评价指标对烟雾分割算法进行评价，评价结果如表3所示：

表3实验结果对比

通过表3可以看出，本发明所提出的方法相比于高斯混合模型算法在MCC、F1、基于GT图像上均表现良好，虽本发明方法距离全部烟雾区域的分割有一定的差距，但本发明方法所得烟雾区域并不影响后续烟雾识别，故可继续进行后续研究。

(2)时效性评价

算法的另外一个考虑维度便是耗时，以分割效果为前提时，耗时较短的算法则更能满足实际运用的要求。利用本发明算法和高斯混合模型算法对同一输入样本进行疑似烟雾提取，其耗时时间分别为0.451s和0.0103s。本发明算法耗时比高斯混合模型算法耗时长是因为经过预处理后的图像与烟雾字典中的典型烟雾图像一一进行了对比，但从实际运用来讲，耗时0.451s在实际运用中并不影响实时烟雾检测，故可进行后续研究。

烟雾与许多物质具有相似的地方，比如，烟雾与云彩、水雾等。通过上述分割操作并不能同时对分割出的图像块做出是否为烟雾的精准判断。因此，需要对分割出的疑似烟雾区域进一步提取图像特征来识别是否为烟雾。

步骤三、图像处理器对所得到的疑似烟雾图像进行多尺度小波分解，计算多尺度小波分解后所得各层图像的灰度共生矩阵的统计量，采用计算所得的各层图像的灰度共生矩阵的统计量构造纹理特征向量，再将纹理特征向量输入到烟雾识别BP神经网络中，得到烟雾识别结果。

本实施例中，步骤三中所述图像处理器对所得到的疑似烟雾图像进行多尺度小波分解时，选取的小波基为DB4，尺度为2；步骤三中所述灰度共生矩阵的统计量，包括灰度分布不均匀性的统计量、灰度均方差的统计量、梯度熵的统计量、混合熵的统计量、惯性的统计量、逆差矩的统计量、相关性的统计量和方差的统计量。

本发明提出了一种基于小波变换与灰度共生矩阵的烟雾识别方法，将步骤二中分割出的疑似烟雾区域用小波函数进行逐级逼近，其中选取的小波基为DB4，尺度为2，两个样本的小波分解结果分别如图6A和图6B所示。

经过小波2级分解后，图像在各个图像层显示出了不同的特点，在图6A和图6B中左下角为小波分解后第一层高频子带系数LH₁，右下角为小波分解后第一层高频子带系数HH₁，右上角为小波分解后第一层高频子带系数HL₁，左上角为第二层小波分解图，其各个高频子带系数位置同第一层一致。

小波分解后各层图像的图像特征不一，需要提取各层图像中由灰度在空间位置反复出现而形成的纹理特征，因此可计算所得分割的疑似烟雾图像块小波分解后各层高频系数图像的灰度共生矩阵统计量作为图像的纹理特征。但由于灰度共生矩阵维数较大，不宜直接作为区分纹理的特征，因此可利用灰度共生矩阵的统计量：灰度分布不均匀性，灰度均方差，梯度熵，混合熵，惯性，逆差矩，相关性、方差作为灰度共生矩阵纹理特征的特征向量。依次计算原图、小波分解后各层高频子图的上述所有统计量作为对应图像的纹理特征向量，并记为p₁,p_i,1,p_i,2,p_i,3，最后构造纹理特征向量P＝[p₁,p_i,1,p_i,2,p_i,3]，其中，p₁为原图的灰度共生矩阵统计量，p_i,n中i为小波分解所得的第i层图像，n可取1,2,3，分别为第i层图像的高频子图HH子带系数的灰度共生矩阵统计量、第i层图像的高频子图LH子带系数的灰度共生矩阵统计量和第i层图像的高频子图HL子带系数的灰度共生矩阵统计量。

本实施例中，步骤三中所述烟雾识别BP神经网络的构建过程为：

步骤301、建立烟雾识别BP神经网络：图像处理器以纹理特征向量作为烟雾识别BP神经网络的输入，输入层节点数n₁为1个，以烟雾识别结果为烟雾识别BP神经网络的输出，输出层节点数n₃为1个，隐含层节点数n₂为7个；

步骤302、烟雾识别BP神经网络训练：图像处理器以L1规范化的交叉熵损失函数为代价函数，采用纹理特征向量和预测的烟雾识别结果对烟雾识别BP神经网络进行训练，训练2000次，得到训练好的烟雾识别BP神经网络。

本实施例中，选取90帧烟雾图像，5帧水雾，5帧云彩图像，其中20帧为验证数据；通过上述步骤求取各帧输入图像的纹理特征向量P作为烟雾识别BP神经网络的输入向量，以预测的结果作为输出，识别结果准确率曲线变化与损失函数值的变化分别如图7、图8所示。

在图7中横坐标表示迭代次数，纵坐标表示识别准确率，图8中横坐标表示迭代次数，纵坐标表示损失函数值的变化。从图7中可以看出，输入样本输入到烟雾识别BP神经网络时，识别准确率曲线一开始上升速度较快，但当上升到一定程度后上升速度变缓，最终识别准确率达到90.1％时不再变化，证明了该烟雾识别BP神经网络模型随着迭代次数的增加，该烟雾识别BP神经网络模型内参数逐渐的适应于烟雾识别；当识别率将不再变化时，达到该烟雾识别BP神经网络模型识别烟雾的极限，识别率为90.1％。

综上所述，本发明针对低光照环境下，图像对比度较低的情况，提出了利用小波分解对高频与低频图像分别进行图像增强，使得烟雾区域显示更加明显；利用烟雾图像与背景图像纹理特征不同的特点，提出了利用运动图像块与建立的烟雾字典进行对比计算的方式分割烟雾图像，使得分割的烟雾区域较为完整；同时还提出了小波分解与BP神经网络结合的方法识别烟雾，该方法在使用时利用小波在不同尺度上分解、展开的特点，提取了图像纹理特征向量，提高了烟雾识别的准确率；最后该方法用灰度共生矩阵统计量的方式提取图像纹理特征向量，减小了运算量。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于字典与BP神经网络的烟雾图像分割与识别方法，其特征在于，该方法包括以下步骤：

步骤一、图像处理器对输入图像进行增强处理，具体过程为：

步骤101、图像处理器计算输入图像的方差、均值和信息熵，并将方差、均值和信息熵输入预先构建的图像增强神经网络模型中，输出进行图像增强的高频图像模型系数k、第一层小波分解的低频图像模型系数n₁和第二层小波分解的低频图像模型系数n₂；

步骤102、图像处理器对输入图像进行两层小波分解，提取输入图像中的高频图像、第一层小波分解的低频图像L₁和第二层小波分解的低频图像L₂，计算所有高频图像的和∑H；

步骤103、图像处理器将步骤101中的系数k、n₁和n₂，以及步骤102中的低频图像L₁、低频图像L₂和所有高频图像的和∑H带入图像增强模型g(x,y)＝k∑H+n₁L₁+n₂L₂中，得到增强后的图像g(x,y)；

步骤二、图像处理器将增强处理后的图像与烟雾字典矩阵作比较计算得到疑似烟雾区域；

步骤三、图像处理器对所得到的疑似烟雾图像进行多尺度小波分解，计算多尺度小波分解后所得各层图像的灰度共生矩阵的统计量，采用计算所得的各层图像的灰度共生矩阵的统计量构造纹理特征向量，再将纹理特征向量输入到烟雾识别BP神经网络中，得到烟雾识别结果；

步骤二中所述图像处理器将增强处理后的图像与烟雾字典矩阵作比较计算得到疑似烟雾区域的具体过程为：

步骤201、图像处理器采用均值法建立图像背景模型，即图像中的每个像素点的像素值由图像序列中对应的各个点做平均值来确定，用公式表示为

其中，f_M(i,j)为第M帧图像位于点(i,j)处的像素值，B(i,j)为背景模型；

步骤202、图像处理器将每一帧预处理后的图像与背景图像模型作背景差分，得到每一帧图像中的运动区域，输出运动区域的二值化图像；

步骤203、将收集到的N′张典型烟雾图像按照如下步骤求取第一阶段烟雾字典矩阵Ω，具体过程为：

步骤2031、根据训练样本建立样本矩阵X＝(x₁,x₂,...,x_N′)^T，其中，x_i′为收集到的每张典型烟雾图像，i′的取值为1～N′；

步骤2032、根据公式

计算每行平均值,即各帧图像像素的平均值；

步骤2033、根据公式d_i′＝x_i′-φ计算收集到的每帧烟雾图像与每行平均值的差值d_i′；

步骤2034、构建协方差矩阵

步骤2035、求C的特征值和特征向量；

步骤2036、根据公式Ω_i′＝w^Td_i′将收集到的每帧烟雾图像与每行平均值的差值矢量d_i′投影到烟雾空间中，并将其构建为烟雾字典矩阵Ω＝[Ω₁,Ω₂,...,Ω_N′]；其中，w为C的特征向量；

步骤204、输入图像与烟雾字典的对比：首先将运动区域的二值化图像中的各个图像块与增强处理后图像中的对应部分按照步骤3016变换到烟雾空间中，记所得图像为y_j′，然后按照公式

计算“烟雾”空间的图像y_j′到各个烟雾图像矩阵Ω_i′的最小值，所有结果中最小值对应的图像块即为疑似烟雾图像；其中，j′为输入图像块个数。

2.按照权利要求1所述的基于字典与BP神经网络的烟雾图像分割与识别方法，其特征在于：步骤101中图像处理器预先构建图像增强神经网络模型的具体过程为：

步骤A1、准备与待处理的场景相同场景下的N帧图像；

步骤A2、图像处理器分别对步骤A1中各帧图像的方差、均值和信息熵进行计算；

步骤A3、图像处理器分别对步骤A1中各帧图像进行两层小波分解，提取各帧图像中的高频图像、第一层小波分解的低频图像L₁和第二层小波分解的低频图像L₂；

步骤A4、图像处理器建立图像增强模型g(x,y)＝k∑H+n₁L₁+n₂L₂,其中，g(x,y)为增强后的图像，∑H为经过两层小波分解后所有高频图像的和，L₁为经过两层小波分解后第一层小波分解的低频图像，L₂为经过两层小波分解后第二层小波分解的低频图像，k为高频图像模型系数，n₁为第一层小波分解的低频图像模型系数，n₂为第二层小波分解的低频图像模型系数；

步骤A5、图像处理器将各帧图像的低频图像L₁、低频图像L₂和所有高频图像的和∑H带入图像增强模型

中，并多次调节各帧图像的高频图像模型系数k、第一层小波分解的低频图像模型系数n₁和第二层小波分解的低频图像模型系数n₂，使得增强后的图像的对比度最高，记录相应各帧图像的方差、均值、信息熵、系数k、n₁和n₂；

步骤A6、图像处理器以各帧图像的方差、均值和信息熵为图像增强神经网络的输入，输入层节点数N₁为3个，以使得增强后的图像的对比度最高的系数k、n₁和n₂作为BP神经网络的输出，输出层节点数N₃为3个，根据公式

确定出BP神经网络隐含层的节点数N₂，建立三层BP神经网络；其中，取a为1～10的自然数；

步骤A7、图像增强神经网络模型训练，其具体过程如下：

步骤A701、参数初始化：设定输入层到隐含层的连接权值w_ji为(-1,1)之间的随机数，隐含层到输出层的连接权值w_kj为(-1,1)之间的随机数，输出层的作用函数的斜率a为[0，1]之间的随机数，输出层的作用函数的偏置参数σ为[0，1]之间的随机数，误差修正的步长因子η为(0，1)之间的随机数，输出层的期望输出

为系数k、n₁和n₂；

步骤702、信息正向传递过程的计算：首先，将训练样本IN_i输入到图像增强神经网络模型的输入层，通过输入层到隐含层的连接权值w_ji与偏置值b_ji得到隐含层的输入

接着，通过隐含层的作用函数

得到隐含层的输出IM_j＝tan(net₁(j))；然后，通过隐含层到输出层的连接权值w_kj与偏置值b_kj得到输出层的输入

最后，通过输出层的作用函数f(x)＝1/(1+e^-a(x+σ))得到输出层的输出Y(k)＝f(net₂(k))；

步骤703、信息反向传递过程的计算：首先，根据公式

计算得到样本模型的均方误差E_n；接着，根据公式

计算得到总误差e，并判断总误差e是否小于等于0.01，当总误差e大于0.01时，首先，根据公式

计算输出层的训练误差d_k，并根据公式

计算出隐含层的训练误差d_j；接着，根据公式w_ji＝w_ji+ηd_jIN_i对输入层到隐含层的连接权值w_ji进行误差修正，并根据公式w_kj＝w_kj+ηd_kIM_j对隐含层到输出层的连接权值w_kj进行误差修正；然后，根据公式

对输出层的作用函数的斜率a进行误差修正，并根据公式

对输出层的作用函数的偏置参数σ进行误差修正；最后返回步骤702；当总误差e小于等于0.01时，结束训练；其中，l为迭代次数且为自然数。

3.按照权利要求2所述的基于字典与BP神经网络的烟雾图像分割与识别方法，其特征在于：所述N的取值为100。

4.按照权利要求1所述的基于字典与BP神经网络的烟雾图像分割与识别方法，其特征在于：所述N′的取值为1500。

5.按照权利要求1所述的基于字典与BP神经网络的烟雾图像分割与识别方法，其特征在于：步骤三中所述图像处理器对所得到的疑似烟雾图像进行多尺度小波分解时，选取的小波基为DB4，尺度为2；步骤三中所述灰度共生矩阵的统计量，包括灰度分布不均匀性的统计量、灰度均方差的统计量、梯度熵的统计量、混合熵的统计量、惯性的统计量、逆差矩的统计量、相关性的统计量和方差的统计量。

6.按照权利要求1所述的基于字典与BP神经网络的烟雾图像分割与识别方法，其特征在于：步骤三中所述烟雾识别BP神经网络的构建过程为：

步骤301、建立烟雾识别BP神经网络：图像处理器以纹理特征向量作为烟雾识别BP神经网络的输入，输入层节点数n₁为1个，以烟雾识别结果为烟雾识别BP神经网络的输出，输出层节点数n₃为1个，隐含层节点数n₂为7个；

步骤302、烟雾识别BP神经网络训练：图像处理器以L1规范化的交叉熵损失函数为代价函数，采用纹理特征向量和预测的烟雾识别结果对烟雾识别BP神经网络进行训练，训练2000次，得到训练好的烟雾识别BP神经网络。

Images