CN103034984B - 一种基于变分法的图像去雾方法 - Google Patents

Abstract

一种基于变分法的图像去雾方法，涉及图像处理。提供在保证主观视觉效果的前提下，快速地处理有雾图像，获得较好的清晰化结果，满足嵌入式设备实时化处理需求的一种基于变分法的图像去雾方法。1）在变分框架下构造大气渗透图像的目标函数；2）根据构造出的目标函数，利用形态学中的开操作运算对图像进行计算得到大气渗透图像；3）根据大气散射物理模型，以及计算得到的大气渗透图像，对有雾图像进行去雾复原处理。建立在变分法的基础上，运算简单，内存消耗量很小，能够满足嵌入式设备实时化处理的需求。

Description

一种基于变分法的图像去雾方法

技术领域

本发明涉及图像处理，尤其是涉及一种基于变分法的图像去雾方法。

背景技术

雾气是自然界中一种常见的天气现象。在近海和近河地区，受水汽蒸发的影响，这种常见的自然天气的发生就更为频繁。雾对自然景观能够起到很好的点缀效果，但同时也在很大程度上干扰着人们的正常生活，如影响室外监控效果、增加交通事故的发生率等。雾气对基于图像和视频的智能化设备性能的影响非常大，在有雾气的天气条件下，摄像机获取的场景图像质量较差，具体表现为：对比度较低，细节模糊不清以及不同程度的颜色偏移。

雾天图像的去雾算法研究对于提升基于图像和视频的智能化设备的鲁棒性和可靠性具有重大的意义广阔的应用前景以及深刻的社会价值。目前的主流去雾算法虽然在效果上令人满意，但是去雾处理时间较长，很难应用到实际当中。在此背景下，我们提出了基于变分法的快速图像去雾方法，能够在保证主观视觉效果的前提下，快速地处理有雾图像。

中国专利201010139441.1公开一种基于暗原色的自动图像去雾方法，该方法利用暗原色先验求取传输图像，多尺度Retinex求取亮度分量图像，其处理速度慢，传输函数的下限阈值不能动态自适应调整，处理后的天空区域的存在光晕。

发明内容

本发明的目的在于提供在保证主观视觉效果的前提下，快速地处理有雾图像，获得较好的清晰化结果，满足嵌入式设备实时化处理需求的一种基于变分法的图像去雾方法。

本发明包括以下步骤：

1）在变分框架下构造大气渗透图像的目标函数；

2）根据构造出的目标函数，利用形态学中的开操作运算对图像进行计算得到大气渗透图像；

3）根据大气散射物理模型，以及计算得到的大气渗透图像，对有雾图像进行去雾复原处理。

在步骤1）中，所述在变分框架下构造大气渗透图像的目标函数的具体步骤如下：

第一步：对大气散射物理模型的方程进行归一化处理，即在各颜色空间下除去大气光照值A，大气光照值A可以认为是已知项，其值可以从输入图像直接获得，该归一化过程在R,G,B三个颜色空间下描述为：

$\frac{I_i(x,y)}{A}=\frac{J_i(x,y)t(x,y)}{A}+(1-t(x,y)),i\∈\{R,G,B\}$

第二步：在上述R,G,B通道中选取像素值最小的值，并默认大气传播系数t(x,y)在三个颜色空间中取相同值：

$\min \frac{I_i(x,y)}{A}=\min \frac{J_i(x,y)t(x,y)}{A}+(1-t(x,y)),i\∈\{R,G,B\}$

令上式左边第一项为最小通道下的观测图像s，上式右边第一项为最小通道下的场景图像j，上式右边第二项为大气渗透图像v，重写上式有：

s＝j+v

目标变成：在已知观测图像s，未知大气渗透图像v的情况下，求出场景图像j，该问题是一个病态问题，因此需要加以一定的约束使其可解；

第三步：对最小通道的观测图像依照其雾天成像模型做出一定的先验假设以及约束，构造如下的最优化函数：

$\mathrm{Minimize}:F\left[v\right]=\underset{\mathrm{\Ω}}{\∫}{|\▿v|}^2+\mathrm{\α}{(s-v)}^2+\mathrm{\β}{|\▿(s-v)|}^2\mathrm{dxdy}$

Subjectto:s≥v

其中，Ω表示观测图像s所产生的空间；为惩罚项，用于保证大气渗透图像v的空间平滑性；α(s-v)²为数据保真项，用于保证大气渗透图像的估计v接近于观测图像s；为惩罚项，用于保证复原图像的空间平滑性。

在步骤2）中，所述根据构造出的目标函数，利用形态学中的开操作运算对图像进行计算得到大气渗透图像的具体步骤如下：

第一步：用结构元素b对最小通道下的观测图像s进行一次灰度图像形态学腐蚀运算，得到过渡图像

其中，将结构元素b选取直径为11的圆形结构元素；

第二步：用结构元素b对过渡图像进行一次灰度图像形态学膨胀运算，得到大气渗透图像： $v\≈\tilde{s}\⊕b;$

上述两个步骤在形态学中可以合并成一个步骤，即形态学灰度图像开操作，对最小通道下的观测图像s进行开操作运算，得到大气渗透图像v：v≈sοb。

在步骤3）中，所述根据大气散射物理模型，以及计算得到的大气渗透图像，对有雾图像进行去雾复原处理的具体方法可为：

根据计算得到的大气渗透图像v和大气渗透图像表达式：1-t(x,y)计算出大气传播系数t：t(x,y)=1-v(x,y)，其中，(x,y)为图像中每一个像素点的坐标值；最后根据去雾复原图像的表达式：求得去雾后的复原图像。

在步骤3）中，所述大气散射物理模型为：

I(x,y)＝J(x,y)t(x,y)+A(1-t(x,y))；

其中，I(x,y)为观测图像，由“衰减”图像J(x,y)t(x,y)和“大气渗透”图像A(1-t(x,y))组成；其中，(x,y)为图像中每一个像素点的坐标值，I为有雾图像，t为大气传播系数，A为大气光照值，J为复原后的图像；

根据大气散射物理模型，去雾复原图像的表达式为：同时对公式右边第二项的分母进行阈值约束max(t(x,y),t₀)，目的是防止t趋于0，从而整个分数值趋于无穷大，导致复原图像失真，t₀在这里的取值一般为0.1。

本发明建立在变分法的基础上，本发明的主要特点是运算简单，内存消耗量很小，能够满足嵌入式设备实时化处理的需求。

本发明的突出优点如下：

1.首次提出了基于变分法的快速图像去雾方法。在变分框架下构造了大气渗透图像的目标函数。

2.根据构造的目标函数，对最小通道下的观测图像进行开操作运算，获得大气渗透图像的最优逼近，最后通过大气渗透图像计算得到去雾后的复原图像。

3.由于本发明方法简单快速，对变分法构造的目标函数的快速求解方法多，内存消耗量很小，适宜嵌入式平台的雾天增强处理，应用前景十分广泛。

附图说明

图1为本发明的整体流程图。

图2为有雾图像、最小通道图像、最小通道图像的灰度腐蚀输出以及复原效果图。在图2中，从左至右依次为有雾图像、最小通道图像、最小通道图像的灰度腐蚀输出以及复原效果。

图3为有雾图像、最小通道图像、最小通道图像的灰度腐蚀输出、最小通道图像的灰度膨胀输出、最终的复原效果图。在图3中，从左至右分别是有雾图像、最小通道图像、最小通道图像的灰度腐蚀输出、最小通道图像的灰度膨胀输出、最终的复原效果。

图4为有雾图像、何恺明方法效果、Tarel方法效果、本发明方法效果图。在图4中，从左至右依次为有雾图像、何恺明方法效果、Tarel方法效果、本发明方法效果；a为600×400，b为600×450，c为531×800，d为768×1024。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步的说明：

参见图1，去雾的实现方法主要有三个步骤：

步骤1：获得最小通道下的观测图像，在变分框架下构造大气渗透图像的目标函数。

变分方法是通过构造一系列能够反映变量固有性质的函数，并以这些函数所构成的目标函数的最优输出为目标，最终获得变量估计值的一种数学求解方法。针对雾天成像的光学模型，在变分框架下构造了大气渗透图像的目标函数，具体步骤如下：

第一步：对大气散射物理模型的方程进行归一化处理，即在各颜色空间下除去大气光照值A。大气光照值A可以认为是已知项，其值可从输入图像直接获得，该归一化过程在R,G,B三个颜色空间下描述为：

$\frac{I_i(x,y)}{A}=\frac{J_i(x,y)t(x,y)}{A}+(1-t(x,y)),i\∈\{R,G,B\}$

第二步：在上述R,G,B通道中对应像素值取最小值，并默认大气传播系数t(x,y)在三个颜色空间中取相同值：

$\min \frac{I_i(x,y)}{A}=\min \frac{J_i(x,y)t(x,y)}{A}+(1-t(x,y)),i\∈\{R,G,B\}$

令上式左边第一项为最小通道下的观测图像s，上式右边第一项为最小通道下的场景图像j，上式右边第二项为大气渗透图像v，重写上式有：

s=j+v

目标变成：在已知观测图像s，未知大气渗透图像v的情况下，求出场景图像j，该问题是一个病态问题，因此需要加以一定的约束使其可解。

第三步：依照其雾天成像模型对最小通道的观测图像做出如下的先验假设以及约束：

（1）大气渗透图像v在整幅图像内满足空间平滑性；

（2）大气渗透图像v在整幅图像内小于观测图像s，即s≥v；

（3）通过实验观察得到：在雾天外景图像中，大气渗透图像v接近于观测图像，用两者的数值相近性(s-v)²来构造该数据保真项；

（4）场景图像的估计值j，以很大的概率接近于(s-v)，而自然图像一般会以很高的概率满足空间平滑性，此时其复原图像的估计(s-v)应满足空间平滑性，可以用约束项来表达。

根据上述的先验假设以及约束，构造如下的最优化函数：

$\mathrm{Minimize}:F\left[v\right]=\underset{\mathrm{\Ω}}{\∫}{|\▿v|}^2+\mathrm{\α}{(s-v)}^2+\mathrm{\β}{|\▿(s-v)|}^2\mathrm{dxdy}$

Subjectto:s≥v

其中，Ω表示观测图像s所产生的空间；为惩罚项，用于保证大气渗透图像v的空间平滑性；α(s-v)²为数据保真项，用于保证大气渗透图像的估计v接近于观测图像s；为惩罚项，用于保证复原图像的空间平滑性。

通过一系列的先验约束条件，对雾天成像的光学模型做恰当的处理后，在变分框架下构造出针对大气渗透图像v的目标函数，这一过程在本发明中的意义在于有效地将原本病态的求解问题可解化。

步骤2：根据构造出的目标函数，对观测图像进行形态学开运算操作，得到大气渗透图像。

经过定性分析，在数据保真项和约束项之间权衡折中后，得出如下结论，即大气渗透图像v的估计应呈现出如下的性质：具有分片光滑的特性，并在场景信息突变边缘具有良好的保持性；在分片区域内部，大气渗透图像倾向于该区域内的最小值，即分片邻域内最小值能够扩散到整个邻域内。基于此结论，可以使用多种快速算法来求解发明的优化函数，在本发明中采用了一种基于形态学滤波的大气渗透图像估计方法，因此本发明并不局限于使用形态学滤波，只要是最终求解由变分法构造出的目标函数的方法，都在本发明保护范围内。

图像处理领域中的形态学是一种以数学形态学作为工具从图像中提取对于表达和描绘区域形状有用的图像分量的方法，比如边界、骨架以及凸壳等等。

膨胀是数学形态学运算的一种基本运算，灰度图像的形态学膨胀过程同图像的卷积过程是类似的，所不同的是用最大值运算代替了卷积和运算，用加法运算代替了卷积乘积。若结构体元素的值为正值，则灰度膨胀运算会使输出图像变亮，同时暗的细节根据是否小于结构元素而被消除或削弱。

用结构元素B(x,y)对输入图像A(x,y)进行灰度膨胀的运算定义为：

$(A\⊕B)(s,t)=\max \{A(s-x,t-y)+B(x,y)\}$

其中：{(s-x),(t-y)∈D_A;(x,y)∈D_B}，上式中D_A和D_B分别表示A(x,y)和B(x,y)的定义域。

腐蚀是数学形态学运算的另一种基本运算，与膨胀操作类似，灰度图像的腐蚀操作是用最小值运算取代了图像卷积和运算。若结构体元素为正值，则灰度腐蚀运算会使输出图像更暗，同时，亮的细节根据是否小于结构元素而被消除或削弱。

用结构元素B(x,y)对输入图像A(x,y)进行灰度腐蚀的运算定义为：

(A!B)(s,t)＝min{A(s+x,t+y)-B(x,y)}

其中：{(s+x),(t+y)∈D_A;(x,y)∈D_B}，上式中D_A和D_B分别表示A(x,y)和B(x,y)的定义域。

基于上述灰度图像的膨胀与腐蚀的基本运算，可以得到一种非常重要的灰度图像形态学基本操作：灰度图像开操作。

灰度图像开操作是使用同一个结构元素对目标图像先进行腐蚀运算，再进行膨胀运算的过程。进过开操作后，图像能够去除孤立的小点，毛刺和小的连通区域，去除小物体、平滑较大的物体的边界，同时并不大面积改变图像面积。灰度图像开操作的数学表达式是：

在本发明中采用了一种基于形态学理论的滤波方法来逼近大气渗透图像估计的最优解，该种基于形态学滤波方法的逼近算法运算简单，内存消耗量很小，能够满足嵌入式设备实时化处理的需求。

具体步骤如下：

第一步：用结构元素b对最小通道下的观测图像s进行一次灰度图像形态学腐蚀过程，得到估计图像

其中，本发明中将结构元素b选取直径为11的圆形结构元素。在经过上式处理后获取的估计图像可以作为是大气渗透图像v的估计。从图2中的复原结果中可以发现，在场景深度突变处，比如近景无雾区与远景有雾区交界处或者远处场景信息层次突变处，发生“白边”现象。

第二步：为了解决上述的白边现象，再次使用形态学的方法，优化其对大气渗透图像v的估计。用结构元素b对估计图像进行一次灰度图像形态学膨胀过程，得到大气渗透图像： $v\≈\tilde{s}\⊕b;$

经过膨胀操作后，对于场景信息突变处的边缘部分，膨胀输出曲线能够很好的拟合，从而有效的抑制绝大多数白边现象的产生，这时的输出结果就为对大气渗透图像v的合理估计。

上述两个步骤在形态学中可以合并成一个步骤，即形态学灰度开操作。对最小通道下的观测图像s进行开操作运算，得到大气渗透图像v：v≈sοb。

步骤3：根据大气散射物理模型获得去雾后的复原图像。

根据计算得到的大气渗透图像v和大气渗透图像表达式：1-t(x,y)

可以计算出大气传播系数t：t(x,y)=1-ω×v(x,y)，其中，(x,y)为图像中每一个像素点的坐标值,乘上参数ω是为了保证天空部分不会失真，增加图像深度信息，本发明取值为095。

最后根据去雾复原图像的表达式：可求得去雾后的复原图像。从图3中的复原结果中可以发现，白边的现象得到抑制，复原效果十分理想。

本发明的突出优点如下：1.首次提出了基于变分法的快速图像去雾方法。在变分框架下构造了大气渗透图像的目标函数；2.根据构造的目标函数，对最小通道下的观测图像进行开操作运算，获得大气渗透图像的最优逼近，最后通过大气渗透图像计算得到去雾后的复原图像。3.由于本发明方法简单快速，对变分法构造的目标函数的快速求解方法多，内存消耗量很小，适宜嵌入式平台的雾天增强处理，应用前景十分广泛。

本发明同目前国际上两个主流的去雾算法：何恺明在CVPR09’以及Tarel在ICCV09’所提出方法的运行时间和复原效果进行比较。本发明选取四幅有雾图像，在配置为Pentium(R)Dual-CoreE53002.60GHz内存4GB，Matlab7.5.0的PC机上进行实验对比。去雾运行时间比较参见表1。

表1去雾运行时间表

通过表1和图4的实验数据可以看出，本发明在去雾效果上和另外两种算法效果大体相当，但在运行时间上要远低于另外两种算法。若将本发明的方法采用硬件加速，运行时间将会进一步减少，从而在保证主观效果的前提下，实现图像和视频去雾的实时性。

Claims (2)

1.一种基于变分法的图像去雾方法，其特征在于包括以下步骤：

1)在变分框架下构造大气渗透图像的目标函数；所述在变分框架下构造大气渗透图像的目标函数的具体步骤如下：

第一步：对大气散射物理模型的方程进行归一化处理，即在各颜色空间下除去大气光照值A，大气光照值A可以认为是已知项，其值可以从观测图像直接获得，该归一化的过程在R,G,B三个颜色空间下描述为：

$\frac{I_i(x,y)}{A}=\frac{J_i(x,y)t(x,y)}{A}+(1-t(x,y\left)\right),i\∈\{R,G,B\}$

第二步：在上述R,G,B的通道中选取像素值最小的值，并默认大气传播系数t(x,y)在三个颜色空间中取相同值：

$min\frac{I_i(x,y)}{A}=min\frac{J_i(x,y)t(x,y)}{A}+(1-t(x,y\left)\right),i\∈\{R,G,B\}$

令上式左边第一项为最小通道下的观测图像s，上式右边第一项为最小通道下的场景图像j，上式右边第二项为大气渗透图像的估计v，重写上式有：

s＝j+v

目标变成：在已知观测图像s，未知大气渗透图像的估计v的情况下，求出场景图像j，由于这是一个病态问题，因此需要加以一定的约束使其可解；

第三步：对最小通道下的观测图像依照其雾天成像模型做出一定的先验假设以及约束，构造如下的目标函数：

Minimize：

Subjectto:s≥v

其中，Ω表示观测图像s所产生的空间；为惩罚项，用于保证大气渗透图像的估计v的空间平滑性；α(s-v)²为数据保真项，用于保证大气渗透图像的估计v接近于观测图像s；为惩罚项，用于保证复原图像的空间平滑性；

2)根据构造出的目标函数，利用形态学中的开操作运算对图像进行计算得到大气渗透图像的估计；所述根据构造出的目标函数，利用形态学中的开操作运算对图像进行计算得到大气渗透图像的估计的具体步骤如下：

第一步：用结构元素b对最小通道下的观测图像s进行一次灰度图像形态学腐蚀运算，得到过渡图像

其中，将结构元素b选取直径为11的圆形结构元素；

第二步：用结构元素b对过渡图像进行一次灰度图像形态学膨胀运算，得到大气渗透图像的估计：

上述两个步骤在形态学中可以合并成一个步骤，即形态学灰度图像开操作，对最小通道下的观测图像s进行开操作运算，得到大气渗透图像的估计v：v≈sοb；

3)根据大气散射物理模型，以及计算得到的大气渗透图像的估计，对有雾图像进行去雾复原处理；所述根据大气散射物理模型，以及计算得到的大气渗透图像的估计，对有雾图像进行去雾复原处理的具体方法为：

根据计算得到的大气渗透图像的估计v和大气渗透图像的估计表达式：1-t(x,y)，计算出大气传播系数t(x,y)：t(x,y)＝1-v，其中，(x,y)为图像中每一个像素点的坐标值；最后根据去雾后的复原图像的表达式：求得去雾后的复原图像，其中I(x,y)为有雾图像。

2.如权利要求1所述的一种基于变分法的图像去雾方法，其特征在于在步骤3)中，所述大气散射物理模型为：

I(x,y)＝Jt(x,y)+A(1-t(x,y))；

其中，I(x,y)为有雾图像，由“衰减”图像Jt(x,y)和“大气渗透”图像A(1-t(x,y))组成；其中，(x,y)为图像中每一个像素点的坐标值，t(x,y)为大气传播系数，A为大气光照值，J为去雾后的复原图像；

根据大气散射物理模型，去雾后的复原图像的表达式为：同时对公式右边第二项的分母进行阈值约束max(t(x,y),t₀)，目的是防止t(x,y)趋于0，从而整个分数值趋于无穷大，导致复原图像失真，t₀的取值为0.1。