CN113837971A - 一种基于暗通道和分数阶多变分正则化的图像去雾方法 - Google Patents

Abstract

本发明属于数字图像处理技术领域，涉及一种基于暗通道和分数阶多变分正则化的图像去雾方法；所述方法包括采用暗原色先验去雾算法构建出基于透射率的雾天图像成像模型；基于透射率阈值构建出L2正则项，基于透射率的分数阶微积分构建出L1正则项，基于透射率全变分结果构建出全变分正则项；最小化正则项和构建出透射率优化模型，采用交替方向乘子法更新并优化透射率；将优化后的透射率带入雾天图像成像模型中，在更新后的雾天图像成像模型中输入原始的待去雾图像，输出去雾后的图像。本发明通过改进传统的透射率优化方式，能够有效消除复原图像中的块效应与伪影问题，并有效地保持图像的边缘结构与细节信息。

Description

一种基于暗通道和分数阶多变分正则化的图像去雾方法

技术领域

本发明属于数字图像处理技术领域，涉及一种基于暗通道和分数阶多变分正则化的图像去雾方法。

背景技术

图像去雾是图像处理领域一个重要的研究分支，图像去雾技术是通过一定的手段去除图像中雾的干扰，提升图像的对比度、亮度等特征，改善图像的视觉效果，消除或降低雾气对图像质量的退化影响。图像去雾技术具有前沿性、跨学科等特点，应用前景十分广阔。

目前，图像去雾技术处于蓬勃发展阶段，国内外许多学者已围绕雾天图像去雾做了大量的研究工作，并取得丰硕的研究成果。但是几乎每一种方法都有特定的适用范围、使用场景，雾天图像清晰化理论研究成果与实际应用还有一定差距，目前还存在许多难点问题没有解决：比如，在图像去雾的同时保持纹理、边缘等特征；现有的雾天图像去雾算法适用范围很局限，有些算法仅能针对特定类型的带雾图像；雾天图像去雾需要处理的信息量较大，很多去雾算法的运算较为复杂，计算效率不高，难以达到实时处理的效果；当前图像质量评价体系尚不完善，没有权威的、客观的图像质量评价指标，这就造成算法与算法之间不具备很好的可比性；很多时候都是多种天气情况交叉变化，还没有科学有效的评估方法，这些因素都加大了雾天图像去雾的难度。

目前的图像去雾算法存在一系列问题，不能有效消除复原图像中的块效应与伪影问题，也不能保持图像的边缘结构和细节信息，所以深入研究如何复原雾天降质图像和增强图像中景物的细节信息有着非常重要的意义。

发明内容

针对户外雾天等场景下采集到的图像存在对比度低及细节模糊等问题，提出一种基于暗通道和分数阶多变分正则化的图像去雾方法。本发明根据普通户外无雾图像暗通道的特点对初始透射率的估计方法进行修正；通过建立含多正则化约束的变分模型对初始透射率进行优化，利用交替方向乘子法对变分模型进行高效求解；引入容差机制对含天空等明亮区域的透射率做进一步修正，利用雾天图像成像模型复原潜在清晰图像。

本发明提供了一种基于暗通道和分数阶多变分正则化的图像去雾方法，所述方法包括采用暗原色先验去雾算法构建出基于透射率的雾天图像成像模型；基于透射率阈值构建出L2正则项，基于透射率的分数阶微积分构建出L1正则项，基于透射率全变分结果构建出全变分正则项；最小化正则项和构建出透射率优化模型，并采用交替方向乘子法更新并优化透射率；将优化后的透射率带入雾天图像成像模型中，在更新后的雾天图像成像模型中输入原始的待去雾图像，输出去雾后的图像。

在本发明的第二方面，本发明还提供了一种含有变分模型的图像去雾终端，所述终端包括：

图像获取模块，用于获取原始的待去雾图像；

模型处理模块，用于构建出基于透射率的雾天图像成像模型；基于分数阶微积分、正则项以及全变分构建出透射率优化模型，并采用交替方向乘子法更新并优化透射率；将优化后的透射率带入雾天图像成像模型中。

图像输出模块，将原始的待去雾图像输入到更新后的雾天图像成像模型中，输出去雾后的图像。

在本发明的第三方面，本发明还提供了一种计算机设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面所述的方法。

本发明的有益效果：

本发明暗原色先验去雾算法构建出雾天图像成像模型，通过该模型能够准确输出去雾后的图像。本发明将分数阶微积分和TV变分模型相结合，构建出透射率优化模型，该模型中第一项L2数据保真项，用来度量优化后的透射率t与初始透射率t₀之间的差距，使得优化后的透射率可以更好保持原图中的结构特征；第二项为L1正则项，利用雾图像的分数阶梯度图作为引导图来锐化透射图的边缘，且L1范数对异常值有较强的鲁棒性，使得图像恢复后有较好的边缘保持和细节纹理保留能力；第三项为全变分正则项，在保留边缘结构和细节纹理的同时可以有效地抑制噪声。更进一步的，本发明还在L1正则化项中引入一个自适应的权重函数，能够更加有效的区分图像的边缘区域与平滑区域，以便实现在锐化图像边缘的同时更好地抑制图像平滑区域的伪影。同时，本发明还结合边界约束理论对雾天图像成像模型中的初始透射率进行修正，从而能够较好的克服暗原色先验去雾算法在天空或明亮区域失效的问题。

附图说明

图1是本发明实施例中基于暗通道和分数阶多变分正则化的图像去雾方法原理图；

图2是本发明实施例中基于暗通道和分数阶多变分正则化的图像去雾方法流程图；

图3是本发明实施例中所采用的边界约束模型图；

图4是本发明实施例中一种图像去雾装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例中基于暗通道和分数阶多变分正则化的图像去雾方法原理图，如图1所示，对于本发明而言，本发明的目的是将原始的待去雾图像输入到雾天图像成像模型中，能够输出去雾后的图像；在本发明中，在构建完成雾天图像成像模型后，需要采用一定的方式求解出其模型参数值，并将求解后的模型参数值用来更新雾天图像成像模型；将原始的待去雾图像输入到更新后的雾天图像成像模型，输出去雾后的图像。

图2是本发明一个实施例中含有变分模型的图像去雾方法流程图，如图1所示，所述方法包括：

101、采用暗原色先验去雾算法构建出基于透射率的雾天图像成像模型；

在本发明实施例中，考虑到雾天场景下，采集到的图像存在对比度低以及细节模糊的问题，本发明就此采用了雾天图像成像模型；所述雾天图像成像模型表示为：

I(x)＝J(x)t(x)+A(1-t(x))；

其中，x表示图像中像素点的空间坐标，I是输入的待去雾图像；J表示输出的去雾后图像；t表示光线传播的透射率，反映场景光经过大气传播后损耗的程度，透射率越高代表其损耗越少；t(x)表示像素点x进行光线传播的透射率，t(x)＝e^(-ρd(x))，ρ表示大气散射系数，d表示图像中物体到成像设备的距离，即场景深度；A表示无限距离远处的大气光强，在一幅图上A一般认为是全局变量。

102、基于透射率阈值构建出L2正则项，基于透射率的分数阶微积分构建出L1正则项，基于透射率全变分结果构建出全变分正则项；最小化正则项和构建出透射率优化模型；

其中，所述透射率阈值指的是光线传播的透射率以及初始透射率之间差的最值。

在本发明实施例中，为了有效消除复原图像中的块效应与伪影问题，并有效地保持图像的边缘结构与细节信息，结合分数阶微分的多变分正则项去雾模型的建立与求解。将分数阶微积分和TV变分模型相结合，提出了分数阶多变分正则化的透射率优化模型：

其中，第一项为L2正则项即L2数据保真项，用来度量精细化透射率t与初始透射率t₀之间的差距，使得优化后的透射率可以更好保持原图中的结构特征；t表示光线传播的透射率，t₀表示初始透射率；第二项为L1正则项，即分数阶微积分的L1正则项，利用雾图的分数阶梯度图D^αf做为引导图来锐化透射图的边缘，且L1范数对异常值有较强的鲁棒性，使得图像恢复后有较好的边缘保持和细节纹理保留能力；λ₁表示第一正则化参数，D^αt表示光线传播的透射率t的分数阶梯度图，D^αf表示雾图像f的分数阶梯度图；第三项为全变分正则项，在保留边缘结构和细节纹理的同时可以有效地抑制噪声；λ₂表示第二正则化参数，TV(t)表示光线传播的透射率t的全变分结果。

可以理解的是，在本发明实施例中，考虑到分数阶积分具有高频提升、低频一直的特性，因此本发明将其应用到图像去雾中，图像的边缘和纹理可以随着高频信号的加强而被大幅提升，细节信息也会随着低频信号被非线性的保留，能够有效克服阶梯效应的问题；而多正则项的项数选取也直接影响到去雾后的图像质量，因此本发明采用变分模型来保持图像边缘和纹理细节。

在本发明的优选实施例中，为了有效区分图像的边缘区域与平滑区域，以便实现在锐化图像边缘的同时更好地抑制图像平滑区域的伪影，考虑在L1正则化项中引入一个自适应的权重函数，进一步将透射率优化模型改进为：

其中，

表示权重函数，γ表示调节因子，

表示点乘；该权重函数W可以根据图像中不同区域的结构特征自适应地调整，在对初始透射率进行进一步处理的过程中能够较好保留细节信息并有效抑制平滑区域的伪影。具体来讲就是，在图像边缘处对应着较小的权重函数W，此时能在锐化边缘的同时更好地保留从降质雾图像中复原出的细节信息；在图像平滑区域对应着较大的权重函数W，此时能在锐化边缘的同时有效抑制图像中平滑区域在复原过程中产生的噪声与伪影。

在本发明的一些实施例中，结合边界约束理论来求解出初始透射率，能够较好的克服暗原色先验去雾算法在天空或明亮区域失效的问题，具体的根据边界约束理论，一幅图像的场景辐射(Scene Radiance)总是边界约束的，即：

其中，C₀和C₁是两个给定图像相关的常向量，即

表示图像的第零常向量；

表示图像的第一常向量。因此，对于任意一个像素点x，J(x)的外推必须位于C₀和C₁边界点组成的辐射立方体(Radiance Cube)中，否则就违反了雾图像形成物理模型，如图3所示；因此对J(x)的边界约束可以转化为对t₀(x)的边界约束。假定全球大气光A是已知的，从而对于任意像素点x可以计算相应的边界约束点J_b(x)；然后，t₀(x)的下界可以通过公式

和公式

来决定，最终可以得到如下的对于初始透射率t₀(x)的边界约束：

其中，0≤t_b(x)≤t(x)≤1；t_b(x)是t₀(x)的下界，由下面的式子给出：

其中，c∈{r,g,b}表示像素点所属的色彩模式，rgb分别代表三种不同的色彩；

表示图像的第零常向量；

表示图像的第一常向量。

在本发明实施例中，考虑到目前大多数针对模型正则项及保真项的改进，都是基于f＝u+v这种图像的两成分分解形式得到的，其中u为图像的卡通部分，而v为图像的振荡部分，振荡部分中实际包含了两个部分，即图像的纹理成份和噪声成份。在图像去噪过程中，保持纹理和去除噪声是一个博弈问题，纹理保持越多，噪声去除就越少，噪声去除越多，纹理保持也越差。基于此，本发明把纹理及噪声分开进行建模处理，即将含噪声图像分解为f＝u+v+w，其中u为图像分片光滑的部分，v为图像的纹理成份，而w则表示图像的噪声，然后对这三部分分别建模，能够采用多正则项先验约束优化的图像去雾。

103、采用交替方向乘子法对所述透射率优化模型求解，更新并优化透射率；

在本发明实施例中，利用交替方向乘子法对透射率优化模型进行高效求解，其中求解模型的过程可以包括：

由于提出的透射率优化模型是非光滑的优化问题，使用一般的数值算法难以得到令人满意的数值解。为获得此非光滑优化问题的稳定数值解，本发明可以采用交替方向乘子法(alternating direction method of multipliers，ADMM)对其进行求解。具体的，首先引入辅助变量x和y，将此无约束优化问题转化为如下的带约束优化问题：

s.t.x＝D^αt-D^αI,y＝D^αt

此时，可得到此带约束优化问题的增广拉格朗日函数为：

其中，(ξ,ζ)表示拉格朗日乘子，(ρ₁,ρ₂)为惩罚因子。

利用ADMM将上式分解为两大子问题的优化求解，即(x,y)子问题和t子问题。

接下来对(x,y)子问题和t子问题进行交替求解，并更新拉格朗日乘子ξ和

直至结果按要求收敛得到最优解。

对于(x,y)子问题的求解：

当固定变量t^k,ξ^k和

时，(x,y)子问题都是一类典型的带L1正则项的最小二乘优化问题：

其中，经典阈值收缩算子shrinkage(x,y)的数学形式可定义为：

shrinkage(a,b)＝max(|a|-b,0)*sign(a)

其中，sign表示符号函数。

对于t子问题的求解：

当固定变量x^k+1,t^k+1，ξ^k和ζ^k时，t子问题如下所示

针对最小二乘优化问题，直接求得其对应的一阶最优性条件为：

其中，上标T表示转置运算符。

运用快速傅里叶变换即可得到t子问题的数值解：

其中，(ξ^k+1,ζ^k+1)表示拉格朗日乘子。

在每一次交替迭代过程中，为保证数值求解过程的稳定性，拉格朗日乘子(ξ^k+1,ζ^k+1)的更新如下:

ξ^k+1＝ξ^k-τρ₁(x^k+1-(D^αt^k+1-D^αI))

其中，τ为迭代步长，在一些实施例中，取τ＝1.6。

104、将优化后的透射率带入雾天图像成像模型中，更新雾天图像成像模型；

在上述过程中，通过边界约束理论已经计算得到初始透射率t₀，并采用交替方向乘子法来计算透射率优化模型，从而计算得到最优的透射率t(x)，将最优的透射率t(x)以及已知的A带入雾天图像成像模型中，更新雾天图像成像模型。

105、在更新后的雾天图像成像模型中输入原始的待去雾图像，输出去雾后的图像。

在本发明实施例中，可以通过如下方式，得到去雾后的图像，具体如下：

①输入：输入雾图像I，初始透射率t₀，以及参数(λ,β,γ,ρ₁,ρ₂)；其中，λ和β都表示正则化参数；γ表示调节因子；ρ₁,ρ₂表示为惩罚因子；

②初始化：

③当不满足终止准则(即透射率的相对误差充分小，

)时，

执行下面的④～⑦步。否则，迭代终止；

④计算x^k+1与y^k+1；

⑤计算t^k+1；

⑥更新拉格朗日乘子

⑦判断是否满足终止准则。若满足，则迭代终止；否则，令k＝k+1，返回第③步继续迭代；

⑧输出：优化后的透射率t。

⑨将优化后的透射率带入雾天图像成像模型，输入原始的待去雾图像，得出去雾后的图像。

图4是本发明实施例中一种图像去雾装置结构图，如图4所示，所述装置包括：

201、图像获取模块，用于获取原始的待去雾图像；

202、模型处理模块，用于构建出基于透射率的雾天图像成像模型；基于分数阶微积分、正则项以及全变分构建出透射率优化模型，并采用交替方向乘子法更新并优化透射率；将优化后的透射率带入雾天图像成像模型中。

203、图像输出模块，将原始的待去雾图像输入到更新后的雾天图像成像模型中，输出去雾后的图像。

上述图像去雾装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像去雾装置按照需要划分为不同的模块，以完成上述图像去雾装置的全部或部分功能。

在一个实施例中，提供一种计算机设备，其包括一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现一种基于暗通道和分数阶多变分正则化的图像去雾方法。

在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于暗通道和分数阶多变分正则化的图像去雾方法，其特征在于，所述方法包括采用暗原色先验去雾算法构建出基于透射率的雾天图像成像模型；基于透射率阈值构建出L2正则项，基于透射率的分数阶微积分构建出L1正则项，基于透射率全变分结果构建出全变分正则项；最小化正则项和构建出透射率优化模型，采用交替方向乘子法更新并优化透射率；将优化后的透射率带入雾天图像成像模型中，在更新后的雾天图像成像模型中输入原始的待去雾图像，输出去雾后的图像。

2.根据权利要求1所述的一种基于暗通道和分数阶多变分正则化的图像去雾方法，其特征在于，所述雾天图像成像模型表示为：

I(x)＝J(x)t(x)+A(1-t(x))；

其中，x表示图像中像素点的空间坐标，I是输入的待去雾图像；J表示输出的去雾后图像；t表示光线传播的透射率，t(x)表示像素点x进行光线传播的透射率，t(x)＝e^(-ρd(x))，ρ表示大气散射系数，d表示图像中物体到成像设备的距离，即场景深度；A表示无限距离远处的大气光强。

3.根据权利要求1所述的一种基于暗通道和分数阶多变分正则化的图像去雾方法，其特征在于，所述透射率优化模型包括：

其中，第一项为L2正则项，t表示光线传播的透射率，t₀表示初始透射率；第二项为L1正则项，即分数阶微积分的L1正则项，λ₁表示第一正则化参数，D^αt表示光线传播的透射率t的分数阶梯度图，D^αf表示雾图像f的分数阶梯度图；第三项为全变分正则项，λ₂表示第二正则化参数，TV(t)表示光线传播的透射率t的全变分结果。

4.根据权利要求1所述的一种基于暗通道和分数阶多变分正则化的图像去雾方法，其特征在于，所述透射率优化模型还包括：

其中，第一项为L2正则项，t表示光线传播的透射率，t₀表示初始透射率；第二项为L1正则项，即分数阶微积分的L1正则项，

表示权重函数，γ表示调节因子，

表示点乘；λ₁表示第一正则化参数，D^αt表示光线传播的透射率t的分数阶梯度图，D^αf表示雾图像f的分数阶梯度图；第三项为全变分正则项，λ₂表示第二正则化参数，TV(t)表示光线传播的透射率t的全变分结果。

5.根据权利要求3或4所述的一种基于暗通道和分数阶多变分正则化的图像去雾方法，其特征在于，像素点x进行光线传播的初始透射率t₀的计算方式包括采用边界约束理论计算得到初始透射率t₀边界约束，基于所述边界约束选择出对应的初始透射率t₀表示为：

其中，ω(0≤ω≤1)表示去雾程度；y表示局部区域中的某个像素点；Ω(x)表示以x为中心的局部区域；I^c表示彩色图像I中的每个通道；A^c表示在暗原色图像中像素最强的点的像素值；J_low表示一个非零向量；0≤t_b(x)≤t₀(x)≤1；t_b(x)表示t₀(x)的下界。

6.根据权利要求5所述的一种基于暗通道和分数阶多变分正则化的图像去雾方法，其特征在于，下界t_b(x)表示为：

其中，c∈{r，g，b}表示像素点所属的色彩模式；

表示图像的第零常向量；

表示图像的第一常向量。

7.根据权利要求3或4所述的一种基于暗通道和分数阶多变分正则化的图像去雾方法，其特征在于，将所述雾图像f分解为f＝u+v+w，其中，u表示图像分片光滑的部分，v表示图像的纹理成份，w表示图像的噪声，并对这三部分分别建模。

Images