CN107292837A - 基于误差补偿的图像去雾算法 - Google Patents

Abstract

本发明涉及一种基于误差补偿的图像去雾算法：步骤1：将有雾图像划分成不重叠的图像块；提取各个图像块的色度特征图、饱和度特征图及梯度特征图；输入到预先训练好的透射率估计网络中，得到透射率的估计值；输入到预先训练好的透射率误差估计网络中，估计透射率的估计误差得到透射率估计值，计算各个图像块对应的无雾图像块。

Description

基于误差补偿的图像去雾算法

技术领域

本发明涉及计算机视觉、图像处理领域中恢复图像清晰度的算法，特别涉及去雾算法。

背景技术

图像去雾算法是一种重要的恢复图像清晰度的算法，其主要目的去除图像中存在的雾气，从而恢复原始的无雾图像，可广泛应用于交通运输、视频监控、卫星遥感等对清晰图像有较高需求的行业。

在众多的图像去雾算法中，基于卷积神经网络的去雾算法是一种较为重要的方法。该类方法主要思想是：首先，提取与雾的大小程度相关的特征；之后，通过学习的方法学习到特征与透射率或透射率相关量之间的映射关系；最终，利用学习到的映射关系估计输入图像的透射率或透射率相关量，恢复出原始无雾图像。2014年，Tang[1]提出用暗通道特征、最大对比度、色调差异、最大饱和度这几种特征来反映雾的大小程度。用这几种特征来训练随机森林，并用训练好的随机森林来估计有雾图像块的透射率，从而恢复出原始无雾图像。然而，由于有的特征并不能完全反映，且浓雾区域的特征非常的不明显且局部区域之间的特征非常相似，因而导致随机森林对透射率的估计存在一定程度的偏差。2015年，Zhu[2]发现亮度与饱和度的差值能够反映雾的大小程度。基于这一先验知识，假设图像距相机的距离与亮度及饱和度存在线性关系，并通过训练得到该模型的具体表达形式。通过这一表达式，预测有雾图片图像块的深度，进而估计出该图像块对应的透射率，从而恢复出原始无雾图像。但是，由于该方法同样存在着一定的估计误差，主要有两方面原因造成：首先，在某些区域，雾的大小程度与亮度及饱和度并不存在线性关系；其次，浓雾区域，各个局部区域的亮度及饱和度过于相近，使得该线性模型对于深度预测的准确性有所降低。2016年，Ren[3]采用两个基于不同尺度的卷积神经网络相结合的方法来预测透射率。该方法将原始有雾图像作为两个网络共同的输入，其中一个卷积网络用于估计粗尺度的透射率，另一个用于估计细尺度的透射率，将两个网络相结合来实现对透射率的估计。然而，由于输入图像在浓雾区域的像素值变化十分平缓，使得网络估计的投射率图在浓雾区域趋于一致，无法反映浓雾区域透射率的变化。2016年，Cai[4]利用有雾图像块的R、G、B三个通道的特征对卷积神经网络进行训练，利用训练好的网络来估计输入图像块的透射率。与上述几种方法一样，此方法对透射率的估计同样存在着偏差。该误差主要是由于输入的特征无法充分反映雾的大小程度造成的。同样地，2016年，Ling[5]也利用有雾图像的R、G、B三个通道的特征来训练卷积神经网络。类似地，该方法也存在这对透射率估计得偏差。

综上，当前基于卷积神经网络的去雾算法都存在着对透射率估计不准确的问题，而这种问题会最终导致最终恢复出的结果存在着颜色失真及细节不清晰的问题。而针对这种透射率估计不准确的问题，目前未见有针对性地采取方法来尽可能缩小这种误差的文献报道。

参考文献

[1]K.Tang,J.Yang,J.Wang,"Investigating haze-relevant features in alearning framework for image dehazing,"in Proc.IEEE Conf.Comput.Vis.PatternRecognit.,2014.

[2]Q.Zhu,J.Mai,L.Shao,"A fast single image haze removal algorithmusing color attenuation prior,"IEEE Trans.Image Process.,vol.24,no.11,pp.3522–3533,2015.

[3]W.Ren,S.Liu,H.Zhang,J.Pan,X.Cao,M.Yang,"Single image dehazing viamulti-scale convolutional neural networks,"in Proc.Eur.Conf.Comput.Vis.,2016.

[4]B.Cai,X.Xu,K.Jia,C.Qing,D.Tao,"DehazeNet:An end-to-end system forsingle image haze removal,"IEEE Trans.Image Process.,vol.25,no.11,pp. 5187–5198,2016.

[5]Z.Ling,G.Fan,Y.Wang,X.Lu,"Learning deep transmission network forsingle image dehazing,"in Proc.IEEE Int.Conf.Image Process.,2016.

发明内容

本发明针对现有方法中存在的对透射率的估计误差没有采取针对性的措施进行减小的问题，提出一种基于误差补偿的图像去雾算法。技术方案如下：

一种基于误差补偿的图像去雾算法，该算法首先训练透射率估计网络W_t和透射率误差估计网络W_e:

①透射率估计网络W_t采用NIN卷积神经网络结构，训练步骤如下：

(1)任意选取M个大小为n×n的无雾图像块对每一个图像块任意选取一个透射率值对进行加雾，得到加雾后的图像块公式如下：

其中，A^t＝(255,255,255)^T；

(2)将转换到HSV颜色空间，提取色度特征图饱和度特征图计算梯度特征图

(3)将色度特征图饱和度特征图梯度特征图作为训练数据，采用批量梯度下降算法，迭代次数为N_t，通过最小化W_t对的估计值与的差的平方和，对W_t进行训练；

②透射率误差估计网络W_e，采用NIN卷积神经网络结构，训练步骤如下：

(1)任意选取L个大小为n×n的无雾图像块对每一个图像块任意选取一个透射率值对进行加雾，得到加雾后的图像块公式如下：

其中，A^e＝(255,255,255)^T；

(2)将转换到HSV颜色空间，提取色度特征图饱和度特征图计算梯度特征图

(3)将每一个图像块对应的及输入到透射率估计网络W_t中，得到的估计值并计算的估计误差 为与差的绝对值；

(4)将色度特征图饱和度特征图梯度特征图作为训练数据，采用批量梯度下降算法，迭代次数为N_e，通过最小化W_e对的预测值与的差的平方和对W_e进行训练；

算法包括下列步骤：

步骤1：将有雾图像I_h划分成N个大小为n×n的不重叠的图像块P₁,P₂,......,P_N。同时，设I_h去雾后的结果为J^f；

步骤2：初始化i＝1；

步骤3：取图像块P_i，将图像块P_i从RGB颜色空间转换到HSV颜色空间，提取色度特征图H_i及饱和度特征图S_i，计算P_i的梯度特征图G_i；

步骤4：将H_i、S_i及G_i输入到透射率估计网络W_t中，得到P_i的透射率的估计值

步骤5：将步骤3中提取的特征图H_i、S_i及G_i输入到透射率误差估计网络W_e中，估计W_t对P_i的透射率的估计误差

步骤6：将与相加，得到P_i的透射率的估计值t_i；

步骤7：利用透射率t_i，计算P_i对应的无雾图像块J_i，公式如下：

其中，为P_i在y点R、G、B颜色通道的像素值， A＝(255,255,255)^T；

步骤8：将J_i赋值给J^f中对应P_i位置的图像块

步骤9：判断i的值是否小于N，如果小于N，执行步骤10；否则，结束循环；

步骤10：将i加1，返回步骤3；

本方法采用了一种基于误差补偿的图像去雾算法。该方法通过学习的方法得到输入特征与透射率估计误差之间的关系，并利用这种关系来估计对透射率的估计可能存在的误差，从而减小透射率的估计误差。与以往的基于卷积神经网络的去雾算法相比，本发明针对性设计了透射率误差估计网络估计误差，大大减小了透射率估计得误差，进而保证了恢复出的无雾图像无颜色失真，提高了图像的质量。

附图说明

图1本算法流程图。

具体实施方式

本发明提出一种基于误差补偿的图像去雾算法。首先，提取输入图像块的色度、饱和度及梯度特征。之后，将提取的特征输入到透射率估计网络中，估计出一个大致的透射率值；此外，将该特征输入到另一个透射率估计误差网络中，估计前一个网络对透射率值的估计误差。将两个网络的估计结果相结合，得到最终的透射率值，并根据雾天图像的成像模型恢复出原始无雾图像。具体步骤如下:

①透射率估计网络W_t采用NIN卷积神经网络结构，训练步骤如下：

(1)选取M个大小为n×n的无雾图像块对每一个图像块 选取透射率值对进行加雾，得到加雾后的图像块公式如下：

其中，y为内任一像素点，表示在y点R、G、B 颜色通道的像素值，A^t＝(255,255,255)^T；

(2)将转换到HSV颜色空间，提取色度特征图饱和度特征图计算梯度特征图大小为n×n；

(3)将色度特征图饱和度特征图梯度特征图作为训练数据，采用批量梯度下降算法对W_t进行训练，迭代次数为N_t，目标函数为：

其中，表示W_t在第k次(k∈{1，2，......，N_t})迭代后对的透射率值的预测值，为第k次迭代后的总的误差；

②透射率误差估计网络W_e，采用NIN卷积神经网络结构，训练步骤如下：

(1)选取L个大小为n×n的无雾图像块对每一个图像块 选取透射率值对进行加雾，得到加雾后的图像块公式如下：

其中，y为内的一个像素点，表示在y点R、G、 B颜色通道的像素值，Ae＝(255,255,255)^T；

(2)将转换到HSV颜色空间，提取色度特征图饱和度特征图计算梯度特征图大小为n×n；

(3)将对应的 及输入到透射率估计网络W_t中，得到的估计值并计算的估计误差公式如下：

(4)将色度特征图饱和度特征图梯度特征图作为训练数据，采用批量梯度下降算法对W_e进行训练，迭代次数为N_e，目标函数为：

其中，表示W_e在第k次迭代后(k∈{1,2,......,N_e})对估计误差的预测值，为第 k次迭代后的总的误差；

算法包括下列步骤：

步骤1：将有雾图像I_h划分成N个大小为n×n的不重叠的图像块P₁,P₂,......,P_N，设 I_h去雾后的结果为J^f；

步骤2：初始化i＝1；

步骤3：提取图像块P_i，将其转换至HSV颜色空间，提取其色度特征图H_i、饱和度特征图S_i；计算梯度特征图G_i，大小为n×n；

步骤4:将步骤3中得到的特征图H_i、S_i及G_i输入到预先训练好的透射率估计网络W_t中，得到P_i的透射率的估计值

步骤5：将步骤3中提取的特征图H_i、S_i及G_i输入到预先训练好的透射率误差估计网络W_e中，估计W_t对P_i的透射率的估计误差

步骤6：将与相加，得到P_i的透射率的估计值t_i，公式如下：

步骤7：利用透射率t_i，计算P_i对应的无雾图像块J_i，公式如下：

其中，y为P_i的一个像素点，为P_i在y点R、G、B 颜色通道的像素值；为J_i在y点R、G、B颜色通道的像素值，A＝(255,255,255)^T；

步骤8：将J_i赋值给J^f中对应P_i位置的图像块公式如下：

其中，y表示J_i中任意像素点；

步骤9：判断i的值是否小于N，如果小于N，执行步骤10；否则，结束循环；

步骤10：将i加1，返回步骤3。

Claims (1)

1.一种基于误差补偿的图像去雾算法，该算法首先训练透射率估计网络W_t和透射率误差估计网络W_e:

①透射率估计网络W_t采用NIN卷积神经网络结构，训练步骤如下：

(1)任意选取M个大小为n×n的无雾图像块对每一个图像块任意选取一个透射率值对进行加雾，得到加雾后的图像块公式如下：

<mrow> <msubsup> <mi>I</mi> <mi>j</mi> <mi>t</mi> </msubsup> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>P</mi> <mi>j</mi> <mi>t</mi> </msubsup> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>+</mo> <msup> <mi>A</mi> <mi>t</mi> </msup> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow>

其中，A^t＝(255,255,255)^T；

(2)将转换到HSV颜色空间，提取色度特征图饱和度特征图计算梯度特征图

(3)将色度特征图饱和度特征图梯度特征图作为训练数据，采用批量梯度下降算法，迭代次数为N_t，通过最小化W_t对的估计值与的差的平方和，对W_t进行训练；

②透射率误差估计网络W_e，采用NIN卷积神经网络结构，训练步骤如下：

(1)任意选取L个大小为n×n的无雾图像块对每一个图像块任意选取一个透射率值对进行加雾，得到加雾后的图像块公式如下：

<mrow> <msubsup> <mi>I</mi> <mi>j</mi> <mi>e</mi> </msubsup> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>P</mi> <mi>j</mi> <mi>e</mi> </msubsup> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <msubsup> <mi>t</mi> <mi>j</mi> <mi>e</mi> </msubsup> <mo>+</mo> <msup> <mi>A</mi> <mi>e</mi> </msup> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msubsup> <mi>t</mi> <mi>j</mi> <mi>e</mi> </msubsup> <mo>)</mo> </mrow> </mrow>

其中，A^e＝(255,255,255)^T；

(2)将转换到HSV颜色空间，提取色度特征图饱和度特征图计算梯度特征图

(3)将每一个图像块对应的及输入到透射率估计网络W_t中，得到的估计值并计算的估计误差为与差的绝对值；

(4)将色度特征图饱和度特征图梯度特征图作为训练数据，采用批量梯度下降算法，迭代次数为N_e，通过最小化W_e对的预测值与的差的平方和对W_e进行训练；

算法包括下列步骤：

步骤1：将有雾图像I_h划分成N个大小为n×n的不重叠的图像块P₁,P₂,......,P_N，同时，设I_h去雾后的结果为J^f；

步骤2：初始化i＝1；

步骤3：取图像块P_i，将图像块P_i从RGB颜色空间转换到HSV颜色空间，提取色度特征图H_i及饱和度特征图S_i，计算P_i的梯度特征图G_i；

步骤4：将H_i、S_i及G_i输入到透射率估计网络W_t中，得到P_i的透射率的估计值得到P_i的透射率的估计值

步骤5：将步骤3中提取的特征图H_i、S_i及G_i输入到透射率误差估计网络W_e中，估计W_t对P_i的透射率的估计误差

步骤6：将与相加，得到P_i的透射率的估计值t_i；

步骤7：利用透射率t_i，计算P_i对应的无雾图像块J_i，公式如下：

<mrow> <msub> <mi>J</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>I</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>A</mi> </mrow> <msub> <mi>t</mi> <mi>i</mi> </msub> </mfrac> <mo>+</mo> <mi>A</mi> </mrow>

其中，为P_i在y点R、G、B颜色通道的像素值，A＝(255,255,255)^T；

步骤8：将J_i赋值给J^f中对应P_i位置的图像块

步骤9：判断i的值是否小于N，如果小于N，执行步骤10；否则，结束循环；

步骤10：将i加1，返回步骤3。