CN108364261A - 一种梯度引导的TV-Retinex单帧图像去雾方法 - Google Patents

Abstract

本发明公开一种梯度引导的TV‑Retinex单帧图像去雾方法，属于计算机视觉领域。该方法首先根据雾造成图像退化的机制利用梯度相似性，使用半二次惩罚计算方法实现亮度偏移校正，然后结合变分框架(TV‑)Retinex使用Split Bregman算法进行图像精细化增强去雾。本方法的优点在于，可以直接从原始图像恢复出清晰图像，无需预存无雾图像做参考，能校正图像亮度提高图像细节清晰图还原清晰无雾图像；可以快速完成去雾过程，能适应实时应用，提高户外智能机器视觉系统的可靠性和效率。

Description

一种梯度引导的TV-Retinex单帧图像去雾方法

技术领域

本发明涉及一种快速的图像去雾方法，属于计算机视觉领域，具体涉及计算机视觉系统的图像预处理方法和图像增强技术。

背景技术

对计算机视觉系统的视频图像进行预处理是一个非常重要的步骤，可广泛应用于户外视频监控、户外勘测系统、自动导航系统和交通管理系统等领域。快速图像去雾是指用对计算机视觉系统中图像进行快速的去雾，使图像清晰化，抵抗天气变化带来的对系统工作效率的影响。

目前的图像去雾方法有多帧的，需要有已知无雾图像或者多张图像的，难以适应即时应用，也有单帧但需要一定的先验知识做支撑的。这两种方式都存在一定的局限性，不足以应对实时系统简单快速的要求。

从有雾图像中恢复出清晰图像，由于雾霾造成的图像整体亮度增加但对比度降低的特性，本发明提出一种梯度引导的TV-Retinex单帧图像去雾方法，该方法大体分为两个重要步骤：亮度偏移校正和基于TV-Retinex的图像细节增强。本方法基于本征图像的概念，将图像分解为照度分量和反射分量，照度分量在光照不变的情况下是接近均匀分布的，而反射分量跟场景有关，反映了图像的本质内容。基于此概念，本方法首先进行梯度引导的图像亮度校正。然后结合变分模型和 Retinx的方法进行图像增强。整个方法不需要任何先验和预知条件，且计算量小。

发明内容

本发明的目的是：针对背景先验知识的不足，同时为了满足实时系统简单快速的要求，本发明提出一种单帧的图像去雾方法，该方法可以从有雾图像中首先进行亮度偏移校正，然后进行图像细节增强，实现图像清晰化处理，该算法能方便应用于智能计算机视觉系统。

为了达到上述目的，本发明所采用的技术方案是：一种梯度引导的 TV-Retinex单帧图像去雾方法，其特征在于，包含以下步骤：

步骤1：利用梯度相似性，精确估计由雾产生的亮度偏移，然后从原始图像减去此亮度偏移得到改善后的初步去雾图像；此步骤为了精确的估计亮度偏移，使用了一个各项同性的梯度校正模型，然后使用多变量的多项式拟合，最后使用半二次惩罚方法估计亮度偏移校正；

步骤2：结合变分框架TV-Retinex使用Split Bregman算法进行图像精细化增强去雾；此步骤利用变分框架限制模型，引入亮度图像的平滑性制约，亮度图像与原始图像之间的制约，以及视觉特性制约，根据数学定义及方法，采用Split Bregman方法进行分析求解限制模型得到精细化的亮度图像，进而分离出反射图像。

进一步地，步骤1中，所述各项同性的梯度校正模型表述如下：

其中和分别代表对数域中原始图像f和亮度图像i的梯度向量，||||₂表示2范数；亮度可以用多变量的多项式拟合，考虑K级多项式模型：

其中a是参数{a_t,s}的列向量，W是该多项式的行向量，在式(1)中可以由给定图像直接获得，而对于亮度偏移其x方向分量可以表示为

y方向分量同理可得，因此式(1)可写为：

其中C＝[C_x；C_y]是一个常矩阵，因为可控的低幅值形态的梯度影响，使用基于WLS优化框架的平滑算子对原图进行平滑：

其中I是单位矩阵，D_h，D_v分别是水平和垂直梯度算子，W_h和W_v则是依赖于F的平滑权值，λ是正的参数，因此修正的模型又可以写成：

使用半二次惩罚方法，计算使(6)式成立的a的估值，从而得到与原始无雾图像具有最小亮度差的亮度分量。

进一步地，步骤2中，所述的图像精细化增强去雾，具体实现过程包括：根据Retinex理论有如下的变分框架限制模型：

上式中Ω是图像支撑域，表示图像边缘，表示边缘法向量，α和β是任意非负实系数，在上述公式中，是亮度图像的平滑性制约，(i-f)²是使亮度图像i逼近原始图像f的制约，他们之间的差就是反射图像，类似乎贝叶斯表达式，目的是使反射图像达到更适合于人眼的视觉特性的要求，方程(7)是一个二次函数，当i取一定灰度值时，F获得最小值，因此为了获得最小值时的亮度i，根据数学定义，首先对方程两边求导，如下式(8)所示

对方程(8)，使用Split Bregman方法进行求解可以得到更加精细的亮度图像i，进而分离出反射图像，实现图像增强去雾算法。

进一步地，步骤1中，所述使用半二次惩罚方法估计亮度偏移校正具体实现过程包括：引入附加变量将(6)改写成：

当β→∞时上式(6)的最小化解就和(11)一样了，显然，(11)关于(a,U)是凹函数，因此当a或者U有一个取定值时，E(a,U)关于另一个变量的最小值具有封闭性，且计算复杂度低，数值上高度平稳，另外，如果给定a，让 U能够通过下式解得：

使用二维收缩公式，(12)的解可写成：

另一方面，给定U，则a可以通过求解下式获取：

因此，a的求解也可以写成下面的封闭形式：

由此得到最小偏差时的I分量。

进一步地，步骤2中，采用Split Bregman方法进行分析求解限制模型得到精细化的亮度图像，具体实现过程包括：改写方程(7)成如下形式：

式中其中分别表示水平和垂直方向的变分分量，求解式(16)的难点是范数l1是不可分的，为了克服这个问题，使用分裂Bregman方法，分裂Bregman方法的基本思想是通过引入两个附加变量和将非限制问题转化为有限制的问题，则式(16)变成如下的限制性方程：

对于式(17)，通过加入两个惩罚项来逼近(16)从而获得非限制问题的解，如下：

这里γ是一个正惩罚系数，最后，通过运用Bregman迭代方法严格执行限制条件获得三个子问题：

为了进一步简化子问题的求解，我们将第一个子问题(19)分成三个步骤：步骤(1)：

步骤(2)：

步骤(3)：

然后分别一步步完成上述步骤：

1)关于i的计算，上面步骤(1)是一个最小平方问题，因此i的求解很容易完成，且步骤(1)的答案可以通过考虑如下的规范化方程求得：

为了加速运算，在FFT后，将差分算子斜向移动，得到下式：

这里是Laplacian算子，F是FFT算子，F^-1是逆FFT算子；

2)关于d_x的求解，步骤(2)通过快速优化得到明确解，它使用标准软阈值-收缩(shrinkage)公式计算得到：

其中

3)关于d_y的求解，步骤(3)可以仿照步骤(2)完成：

本发明能将有雾图像清晰化，具体而言，本发明有以下特点：

(1)使用梯度拟合计算有雾图像的亮度偏差；

(2)使用TV-Retinex提高对比度；

(3)使用有雾图像自身进行细节提升。

与现有技术相比，本发明的有益效果是：

(1)本方法能实现单帧处理，无需无雾图像做参考，对实时的视频处理很有价值，满足实时应用需求。

(2)本方法可以校正偏色。同时提高图像对比度，并保持图像细节。

(3)本方法涉及的计算均可以快速实现，满足实时要求。

附图说明

图1是展示梯度引导的TV-Retinex图像去雾方法部分实验结果，其中(a) 有雾图像，(b)梯度拟合的亮度校正结果，(c)本发明综合方法结果。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

下面首先对本发明所提到一些概念进行介绍：

由于雾导致的主要是图像整体亮度增加且偏色，同时对比度降低。因此去雾的主要目标就是校正偏色同时提高图像对比度，图像细节也是非常重要的增强因素。在本征图像概念中，机器视觉系统接收到的图像信息F(x,y)可以表述为照度分量I(x,y)和反射分量R(x,y)的乘积，

F(x,y)＝I(x,y)·R(x,y) (9)

经过对数运算，得到加性表达式

f＝i+r (10)

雾对图像的影响更多体现在对照射分量I(x,y)的偏移上，而对携带图像的高频细节信息的反射分量R(x,y)偏差较小，因此雾的出现使得亮度图像i产生了一个加性噪声

不管是SSR还是MSR，都遵循以下的假设：

(1)入射分量即亮度图像是平缓的，即具有平滑的空间性质，反应出图像的低频部分；

(2)0≤r(x,y)≤1，且在对数域上是单调的，因此对入射分量有i≥f；

(3)入射分量i非常接近输出图像f；

(4)入射光在图像边缘上有类似常数的平滑性。

基于这些假设，2003年Kimmel等人提出了变分框架限制模型。

本发明所采用的技术方案是：一种梯度引导的TV-Retinex单帧图像去雾方法，其特征在于分步骤处理雾对图像的亮度和反射特性的影响，而反射图像本质上不依赖于照度，所以先消除雾带来的光照问题，再增强图像细节恢复图像清晰度。具体包括以下步骤：

步骤1：利用梯度相似性，使用半二次惩罚方法实现亮度偏移校正。

步骤2：结合变分框架(TV-)Retinex使用Split Bregman算法进行图像精细化增强去雾。

所述步骤1中的亮度偏移校正，具体过程是：雾对图像亮度的影响可以看做是原始图像亮度分量的加性噪声，它使图像亮度发生变化，同时降低了图像的对比度。此步骤为了精确的估计亮度偏移，使用了一个各项同性的梯度校正模型表述如下：

其中和分别代表对数域中原始图像f和亮度图像i的梯度向量，||||₂表示2范数。我们的目标是精确估计由雾产生的亮度偏移然后从原始图像减去此亮度偏移得到改善后的初步去雾图像。亮度可以用多变量的多项式拟合，考虑K级多项式模型：

这里a是参数{a_t,s}的列向量，W是该多项式的行向量。在式(1)中可以由给定图像直接获得，而对于其x方向分量可以表示为

y方向分量同理可得。因此式(1)可写为：

其中C＝[C_x；C_y]是一个常矩阵。因为可控的低幅值形态的梯度影响，使用基于WLS(Weighted Least Squares)优化框架的平滑算子对原图进行平滑：

其中I是单位矩阵，D_h，D_v分别是水平和垂直梯度算子，W_h和W_v则是依赖于F的平滑权值，λ是正的参数。因此修正的模型又可以写成：

然后使用半二次惩罚方法，计算使(6)式成立的a的估值，从而得到与原始无雾图像具有最小亮度差的亮度分量。

所述步骤2中的图像细节增强从而实现图像清晰化处理，具体过程是：根据Retinex理论有如下的变分框架限制模型：

上式中Ω是图像支撑域，表示图像边缘，表示边缘法向量，α和β是任意非负实系数。在上述公式中，是亮度图像的平滑性制约，(i-f)²是使亮度图像i逼近原始图像f的制约，他们之间的差就是反射图像。类似乎贝叶斯表达式，目的是使反射图像达到更适合于人眼的视觉特性的要求。方程(7)是一个二次函数，当i取一定灰度值时，F获得最小值。因此为了获得最小值时的亮度i，根据数学定义，首先对方程两边求导，如下式(8)所示

对方程(8)，本发明使用Split Bregman方法进行求解可以得到更加精细的亮度图像i，进而分离出反射图像，实现图像增强去雾算法。

下面就按步骤进行分析详细介绍：

步骤1的实现使用半二次惩罚方法，我们引入附加变量将(6) 改写成：

当β→∞时上式(6)的最小化解就和(11)一样了。显然，(11)关于(a,U)是凹函数(下凸convex)，因此当a或者U有一个取定值时，E(a,U)关于另一个变量的最小值具有封闭性，且计算复杂度低，数值上高度平稳。另外，如果给定a，让U能够通过下式解得：

使用二维收缩公式，(12)的解可写成：

另一方面，给定U，则a可以通过求解下式获取：

因此，a的求解也可以写成下面的封闭形式：

由此得到最小偏差时的I分量。

步骤2中对方程(7)有很多不同的解法，大多通过迭代方式求最小化F[i]，比如常见的PSDN算法。本发明引入Split Bregman方法进行求解。改写方程(7) 成如下形式(为了在以后求导时可以约去2，通常给上式系数乘以一个1/2)：

式中其中分别表示水平和垂直方向的变分分量。求解式(16)的难点是范数l1是不可分的。为了克服这个问题，我们使用分裂Bregman方法。分裂Bregman方法作为一个非常高效的方法解决1范数的最优化问题，它的基本思想是通过引入两个附加变量和将非限制问题转化为有限制的问题，则式(16)变成如下的限制性方程：

对于式(17)，通过加入两个惩罚项来逼近(16)从而获得非限制问题的解，如下：

这里γ是一个正惩罚系数，最后，通过运用Bregman迭代方法严格执行限制条件获得三个子问题：

为了进一步简化子问题的求解，我们将第一个子问题(19)分成三个步骤：步骤(1)：

步骤(2)：

步骤(3)：

然后分别一步步完成上述步骤：

1)关于i的计算。上面步骤(1)是一个最小平方问题，因此i的求解很容易完成，且步骤(1)的答案可以通过考虑如下的规范化方程求得：

为了加速运算，在FFT后，将差分算子斜向移动，得到下式：

这里是Laplacian算子，F是FFT算子，F^-1是逆FFT算子。

2)关于d_x的求解。步骤(2)通过快速优化得到明确解，值得特别提到的是它使用标准软阈值-收缩(shrinkage)公式计算得到：

其中

3)关于d_y的求解。步骤(3)可以仿照步骤(2)完成：

本发明例举实施例对发明效果进行说明：图1是展示梯度引导的TV-Retinex 图像去雾方法部分实验结果，其中(a)有雾图像，(b)梯度拟合的亮度校正结果，(c)本发明综合方法结果。表1是图像质量对比。

表1

总结：本方法首先根据雾造成图像退化的机制利用梯度相似性，使用半二次惩罚计算方法实现亮度偏移校正，然后结合变分框架(TV-)Retinex使用Split Bregman算法进行图像精细化增强去雾。本方法的优点在于，可以直接从原始图像恢复出清晰图像，无需预存无雾图像做参考，能校正图像亮度提高图像细节清晰图还原清晰无雾图像；可以快速完成去雾过程，能适应实时应用，提高户外智能机器视觉系统的可靠性和效率。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种梯度引导的TV-Retinex单帧图像去雾方法，其特征在于，包含以下步骤：

步骤1：利用梯度相似性，精确估计由雾产生的亮度偏移，然后从原始图像减去此亮度偏移得到改善后的初步去雾图像；此步骤为了精确的估计亮度偏移，使用了一个各项同性的梯度校正模型，然后使用多变量的多项式拟合，最后使用半二次惩罚方法估计亮度偏移校正；

步骤2：结合变分框架TV-Retinex使用Split Bregman算法进行图像精细化增强去雾；此步骤利用变分框架限制模型，引入亮度图像的平滑性制约，亮度图像与原始图像之间的制约，以及视觉特性制约，根据数学定义及方法，采用Split Bregman方法进行分析求解限制模型得到精细化的亮度图像，进而分离出反射图像。

2.如权利要求1所述的梯度引导的TV-Retinex单帧图像去雾方法，其特征在于，步骤1中，所述各项同性的梯度校正模型表述如下：

其中和分别代表对数域中原始图像f和亮度图像i的梯度向量，|| ||₂表示2范数；亮度可以用多变量的多项式拟合，考虑K级多项式模型：

其中a是参数{a_t,s}的列向量，W是该多项式的行向量，在式(1)中可以由给定图像直接获得，而对于亮度偏移其x方向分量可以表示为

y方向分量同理可得，因此式(1)可写为：

其中C＝[C_x；C_y]是一个常矩阵，因为可控的低幅值形态的梯度影响，使用基于WLS优化框架的平滑算子对原图进行平滑：

其中I是单位矩阵，D_h，D_v分别是水平和垂直梯度算子，W_h和W_v则是依赖于F的平滑权值，λ是正的参数，因此修正的模型又可以写成：

使用半二次惩罚方法，计算使(6)式成立的a的估值，从而得到与原始无雾图像具有最小亮度差的亮度分量。

3.如权利要求1所述的梯度引导的TV-Retinex单帧图像去雾方法，其特征在于，步骤2中，所述的图像精细化增强去雾，具体实现过程包括：根据Retinex理论有如下的变分框架限制模型：

上式中Ω是图像支撑域，表示图像边缘，表示边缘法向量，α和β是任意非负实系数，在上述公式中，是亮度图像的平滑性制约，(i-f)²是使亮度图像i逼近原始图像f的制约，他们之间的差就是反射图像，类似乎贝叶斯表达式，目的是使反射图像达到更适合于人眼的视觉特性的要求，方程(7)是一个二次函数，当i取一定灰度值时，F获得最小值，因此为了获得最小值时的亮度i，根据数学定义，首先对方程两边求导，如下式(8)所示

对方程(8)，使用Split Bregman方法进行求解可以得到更加精细的亮度图像i，进而分离出反射图像，实现图像增强去雾算法。

4.如权利要求2所述的梯度引导的TV-Retinex单帧图像去雾方法，其特征在于，步骤1中，所述使用半二次惩罚方法估计亮度偏移校正具体实现过程包括：引入附加变量将(6)改写成：

当β→∞时上式(6)的最小化解就和(11)一样了，显然，(11)关于(a,U)是凹函数，因此当a或者U有一个取定值时，E(a,U)关于另一个变量的最小值具有封闭性，且计算复杂度低，数值上高度平稳，另外，如果给定a，让U能够通过下式解得：

使用二维收缩公式，(12)的解可写成：

另一方面，给定U，则a可以通过求解下式获取：

因此，a的求解也可以写成下面的封闭形式：

由此得到最小偏差时的I分量。

5.如权利要求3所述的梯度引导的TV-Retinex单帧图像去雾方法，其特征在于，步骤2中，采用Split Bregman方法进行分析求解限制模型得到精细化的亮度图像，具体实现过程包括：改写方程(7)成如下形式：

式中其中分别表示水平和垂直方向的变分分量，求解式(16)的难点是范数l1是不可分的，为了克服这个问题，使用分裂Bregman方法，分裂Bregman方法的基本思想是通过引入两个附加变量和将非限制问题转化为有限制的问题，则式(16)变成如下的限制性方程：

对于式(17)，通过加入两个惩罚项来逼近(16)从而获得非限制问题的解，如下：

这里γ是一个正惩罚系数，最后，通过运用Bregman迭代方法严格执行限制条件获得三个子问题：

为了进一步简化子问题的求解，我们将第一个子问题(19)分成三个步骤：步骤(1)：

步骤(2)：

步骤(3)：

然后分别一步步完成上述步骤：

1)关于i的计算，上面步骤(1)是一个最小平方问题，因此i的求解很容易完成，且步骤(1)的答案可以通过考虑如下的规范化方程求得：

为了加速运算，在FFT后，将差分算子斜向移动，得到下式：

这里是Laplacian算子，F是FFT算子，F^-1是逆FFT算子；

2)关于d_x的求解，步骤(2)通过快速优化得到明确解，它使用标准软阈值-收缩(shrinkage)公式计算得到：

其中

3)关于d_y的求解，步骤(3)可以仿照步骤(2)完成：