CN116433525A - 一种基于边缘检测函数变分模型的水下图像去雾方法 - Google Patents

Abstract

本发明涉及计算机视觉领域中的图像处理领域，具体地说，是一种基于边缘检测函数变分模型的水下图像去雾方法，其中，提出了一种具有边缘检测函数的水下暗通道先验来估计初始传输，确保可以获得具有更多细节的相应初始场景深度，通过初始场景深度，可以很好地保留去雾图像的一些细节特征；利用场景深度的分段平滑先验和无雾图像的分段常数先验，提出了一种新的具有TGV和TV正则化的变分模型，用于同时对水下图像进行去雾和去噪；建立了该模型的极小值的存在性和唯一性，还设计了一种快速算法来数值求解该模型，所设计的算法具有收敛性，实验结果表明了该发明的有效性。

Description

一种基于边缘检测函数变分模型的水下图像去雾方法

技术领域

本发明涉及计算机视觉领域中的图像处理领域，具体地说，是一种基于边缘检测函数变分模型的水下图像去雾方法。

背景技术

水下世界蕴藏着丰富的资源。近年来，水下成像的研究和应用越来越受到人们的关注，但由于水下光受散射、吸收和噪声的影响，获取的水下图像通常存在雾度、低对比度、清晰度差等问题。现有的水下图像去雾方法通常会导致去雾图像中的颜色失真和噪声放大。为了提高水下图像的可视性，已经提出了极化成像和立体成像方法，以获得高质量的水下图像。然而，这些基于硬件的方法是昂贵的，并且在实际的应用中受到限制。与高成本的硬件方法相比，低成本的数字图像处理软件方法具有更大的实用价值。

基于先验知识的方法是基于软件的方法的代表。众所周知，传输图的估计在获得无雾的水下图像中起着至关重要的作用。最初提出了暗通道先验(Dark Channel Prior,DCP)来估计传输图。随后，对DCP衍生的水下图像去雾又进行了许多研究。由于红光的最大衰减，传统的DCP并不完全适用于水下环境，所以仅考虑蓝色和绿色通道的视觉信息，由此引入了水下暗通道先验(Underwater Dark Channel Prior,UDCP)。UDCP的引入使基于DCP的现有方法得到了显著改进。之后，提出了各种DCP的先验知识和变体，用于传输估计和水下图像恢复。例如：提出了一种红色通道先验(RedChannel Prior,RCP)来恢复蓝绿色图像，恢复了与短波长相关的颜色；利用最大强度先验(Maximum IntensityPrior,MIP)估计背景光，提出了一种基于蓝绿通道去阴影和红通道校正的水下图像恢复方法；基于距离相机较远的物体在水下成像时更模糊的事实，采用图像模糊先验(Blurriness Prior,BP)来提高估计透射和场景深度的准确性。能发现：大多数水下图像恢复方法只关注如何改进传输图的估计，而忽略了水下图像噪声的影响。

为了克服水下图像噪声放大和颜色失真的问题，近几十年来提出了一些水下图像去雾和去噪同时进行的变分方法。例如，水下暗信道先验被应用于估计传输图，并提出了一种具有非局部全变差(Total Variation,TV)图像去雾模型用于水下图像去雾去噪。这种非局部TV方法可以在去雾和去噪方面获得令人满意的性能，但由于应用了非局部微分算子，因此耗时较长。最近，又建立了一种新颖的基于TV和曲率的方法来恢复水下图像。值得一提的是，卷积神经网络(Convolutional Neural Network,CNN)已被应用于图像去雾。例如，提出了一种称为DehazeNet的可练端到端网络，用于从模糊图像中直接学习和估计传输图。此外，基于CNN的网络UIE Net被提出用于水下图像增强。

大部分算法只能实现水下图像色彩校正或图像对比度改善，对于水下图像存在的亮暗分布不均匀校正效果较差；同时没有充分考虑到水下光学成像物理属性，往往容易导致过增强的现象，具体表现为增强后的图像色彩过饱和或颜色失真。

发明内容

为了解决上述技术问题，本发明披露了一种基于边缘检测函数变分模型的水下图像去雾方法，具体包括以下步骤：

步骤1、引入图像去雾的必要符号、水下暗通道先验及非局部TV模型，并提出一种具有边缘检测函数的水下暗通道先验如下：

此处的

是边缘检测函数，其中σ＞0，H是I的灰度图像；

水下有雾原像I记为：

I:Ω→R³＝{(I_R,I_G,I_B):I_R,I_G,I_B＞0}

可以得到它的灰度图像：

H＝0.2989*I_R+0.5870*I_G+0.1140*I_B

有如下的水下光学模型：

其中J＝(J_R,J_G,J_B)是还原后的图像，背景光K＝(K_R,K_G,K_B)考虑为全局常量，透射率t可以重新表成指数衰减形式：

这里d为景深函数，表示x点物体到摄像机的距离，η＞0一般设置为1，设g＝log(K-J),f＝log(K-I)和d＝-logt，将水下光学模型转化为：

g＝f+d,

其中，g＝(g_R,g_G,g_B),f＝(f_R,f_G,f_B)与d＝(d,d,d)无雾图像即为J＝K-exp(g)，水下暗通道先验(UDCP)是一个处理水下图像去雾问题的简单方法：

其中，Ω为以x为中心的网格，认为J_UDCP＝0，可以得到透射率表达式：

可得景深d₀＝logt₀，可以计算出g和J；

引入了如下的水下去雾非局部TV(Nonlocal Total Variation,NLTV)模型：

其中，

是非局部微分算子，α和β是正参数；

在灰度图H的边缘，边缘检测函数ψ趋向于0，而在图像的平滑区域它趋向于1，考虑J_EI-UDCP＝0，根据EI-UDCP先验，得到去雾图像的景深d₀＝-logt₀，其中透射率t₀可表为：

根据式(1)有：

利用J_EI-UDCP＝0，易得透射率t₀表达式。

步骤2、建立变分模型；

考虑如下的变分问题：

其中

α₁,γ及λ＝(λ₀,λ₁)为正参数，BV(Ω；R³)和

分别代表向量值有界全变差(bounded variation)空间和二阶有界广义全变差(bounded generalized variationwith second order)空间，离散形式的

可表为如下的最小值形式：

最小值在Ω上的所有实向量场ω中取，并且

代表对称导，研究变分模型的等价形式：

步骤3、建立变分模型的最小值的存在性和唯一性；

定义1：定义BV(Ω,R³)为包含满足下面条件的g的函数空间：

(1)g∈L¹(Ω；R³)；

(2)

取有限值，BV(Ω；R³)是一个Banach空间，有范数：

定义2：令

为有界域且(λ₀,λ₁)，其中λ₀,λ₁均为正数。对于

带权值λ的二阶广义全变差(TGVofordertwo)定义如下：

其中，

为仅在Ω上，连续可微的对称矩阵域空间，S^n×n表示所有n×n的对称矩阵，空间

有范数：

称作为向量值函数的二阶有界广义全变差空间(BGV oforder two)；

引理1：假设g_k∈BV(Ω；R³)(k＝1,2,..)，并且在

那么

引理2：假设d_k∈BGV(Ω；R³)(k＝1,2,..)，并且在

上d_k→d，那么

引理3：假设

是一列定义在BV(Ω；R³)上，满足

于是存在一个收敛子列

和一个函数g∈BV(Ω；R³)，使得

引理4：假设

是一列定义在BGV(Ω；R³)上，满足

于是存在一个收敛子列

和一个函数d∈BGV(Ω；R³)，使得

把变分问题的能量泛函写为E(g,d)；

定理1：令f∈L²(Ω；R³)且d₀∈L²(Ω；R³)，于是对于固定的参数α₁,γ＞0，能量泛函有唯一的最小化方法。

步骤4、记输入图像的规模为M×N，令X＝R^MN为有限维实向量空间，定义了内积＜·,·＞_X；

其中梯度

是向量空间Y＝X×X上的向量；

算子符合Neumann边界条件的离散形式定义为：

其中，

定义：

P₁＝{p₁∈R^6MN:p₁≤α₁},P₂＝{p₂∈R^6MN:p₂≤λ₁},Q＝{q∈R^12MN:q≤λ₀},

并且记闭凸集C上的指示函数I_C为：

对于一个真凸并且下半连续的函数Φ，定义近端算子

为：

于是变分问题等价形式可以重新写作下面的鞍点问题：

其中p₁,p₂,q是对偶变量；

通过原始对偶算法，任给一个第k步的中间结果

q^k,g^k,d^k,ω^k，更新解的过程如下：

③更新变量

给定g^k,d^k,ω^k,更新

为:

其中

④更新变量d^k+1,g^k+1,ω^k+1.记对称导的伴随算子为：

其中

给定

可以更新更新变量d^k+1,g^k+1,ω^k+1为:

其中,

进一步，容易得到：

最终得到了水下去雾算法流程如下：

重复迭代：更新

如下：

迭代终止条件：

定理2:记

假定正参数σ₁,σ₂,τ₁,τ₂满足

和

于是得到算法产生的序列

收敛到

也就是鞍点问题的解。

步骤5、对步骤2中的模型利用MATLAB进行实验，得到去雾图像，用峰值信噪比(PSNR)、结构相似度(SSIM)评价不同方法对合成水下有雾图像去雾的表现。用水下有色图像质量评估(UCIQE)、水下图像质量测度(UIQM)、水下图像清晰度测度(UISM)和图像块对比度质量指数(PCQI)来评价不同方法对真实水下有雾图像的去雾效果。

对于这些准则来说，更大的数值代表了更好的去雾结果。

评价指标峰值信噪比(PSNR)为：

结构相似性(SSIM)为：

其中，u₀和u分别表示原图像和去雾图像，

和μ_u是相应的平均值，

和σ_u代表它们的标准离差，

是u₀和u的协方差，此外c₁，c₂是常量。

本发明的有益效果：本发明提出了一种具有边缘检测函数的水下暗通道先验(EI-UDCP)来估计初始传输，确保可以获得具有更多细节的相应初始场景深度，通过初始场景深度，可以很好地保留去雾图像的一些细节特征；利用场景深度的分段平滑先验和无雾图像的分段常数先验，提出了一种新的具有TGV和TV正则化的变分模型，用于同时对水下图像进行去雾和去噪；建立了该模型的极小值的存在性和唯一性，还设计了一种快速算法来数值求解该模型，所设计的算法具有收敛性，实验结果表明了该发明的有效性。

附图说明

图1为本发明的流程示意图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。

实施例：一种基于边缘检测函数变分模型的水下图像去雾方法，包括如下步骤：

步骤1、引入图像去雾的必要符号、水下暗通道先验及非局部TV模型，并提出一种具有边缘检测函数的水下暗通道先验如下：

此处的

是边缘检测函数，其中σ＞0，H是I的灰度图像；

水下有雾原像I记为：

I:Ω→R³＝{(I_R,I_G,I_B):I_R,I_G,I_B＞0}

可以得到它的灰度图像：

H＝0.2989*I_R+0.5870*I_G+0.1140*I_B

有如下的水下光学模型：

其中，J＝(J_R,J_G,J_B)是还原后的图像，背景光K＝(K_R,K_G,K_B)考虑为全局常量，透射率t可以重新表成指数衰减形式：

这里d为景深函数，表示x点物体到摄像机的距离，η＞0一般设置为1，设g＝log(K-J),f＝log(K-I)和d＝-logt，将水下光学模型转化为：

g＝f+d,

其中，g＝(g_R,g_G,g_B),f＝(f_R,f_G,f_B)与d＝(d,d,d)无雾图像即为J＝K-exp(g)，水下暗通道先验(UDCP)是一个处理水下图像去雾问题的简单方法:

其中，Ω为以x为中心的网格，认为J_UDCP＝0，可以得到透射率表达式：

可得景深d₀＝logt₀，可以计算出g和J；

引入了如下的水下去雾非局部TV(Nonlocal Total Variation,NLTV)模型：

其中

是非局部微分算子，α和β是正参数；

在灰度图H的边缘，边缘检测函数ψ趋向于0，而在图像的平滑区域它趋向于1，考虑J_EI-UDCP＝0，根据EI-UDCP先验，得到去雾图像的景深d₀＝-logt₀，其中透射率t₀可表为：

根据式(1)有：

利用J_EI-UDCP＝0，易得透射率t₀表达式。

步骤2、建立变分模型。

考虑如下的变分问题：

其中

α₁,γ及λ＝(λ₀,λ₁)为正参数，BV(Ω；R³)和

分别代表向量值有界全变差(bounded variation)空间和二阶有界广义全变差(bounded generalized variationwith second order)空间，离散形式的

可表为如下的最小值形式：

最小值在Ω上的所有实向量场ω中取，并且

代表对称导，研究变分模型的等价形式：

步骤3、建立变分模型的最小值的存在性和唯一性。

定义1：定义BV(Ω,R³)为包含满足下面条件的g的函数空间：

(1)g∈L¹(Ω；R³)；

(2)

取有限值。BV(Ω；R³)是一个Banach空间，有范数：

定义2：令

为有界域且(λ₀,λ₁)，其中λ₀,λ₁均为正数。

对于

带权值λ的二阶广义全变差(TGVofordertwo)定义如下：

其中，

为仅在Ω上，连续可微的对称矩阵域空间，S^n×n表示所有n×n的对称矩阵，空间

有范数：

称作为向量值函数的二阶有界广义全变差空间(BGVoforder two)；

引理1：假设g_k∈BV(Ω；R³)(k＝1,2,..)，并且在

那么

引理:2：假设d_k∈BGV(Ω；R³)(k＝1,2,..)，并且在

上d_k→d，那么

引理3：假设

是一列定义在BV(Ω；R³)上，满足

于是存在一个收敛子列

和一个函数g∈BV(Ω；R³)，使得

引理4：假设

是一列定义在BGV(Ω；R³)上，满足

于是存在一个收敛子列

和一个函数d∈BGV(Ω；R³)，使得

把变分问题的能量泛函写为E(g,d)；

定理1：令f∈L²(Ω；R³)且d₀∈L²(Ω；R³)，于是对于固定的参数α₁,γ＞0，能量泛函有唯一的最小化方法。

步骤4、记输入图像的规模为M×N，令X＝R^MN为有限维实向量空间，定义了内积＜·,·＞_X；

其中梯度

是向量空间Y＝X×X上的向量；

算子符合Neumann边界条件的离散形式定义为：

其中，

定义

P₁＝{p₁∈R^6MN:p₁≤α₁},P₂＝{p₂∈R^6MN:p₂≤λ₁},Q＝{q∈R^12MN:q≤λ₀},

并且记闭凸集C上的指示函数I_C为：

对于一个真凸并且下半连续的函数Φ，定义近端算子

为：

于是变分问题等价形式可以重新写作下面的鞍点问题：

其中p₁,p₂,q是对偶变量；

通过原始对偶算法，任给一个第k步的中间结果

q^k,g^k,d^k,ω^k，更新解的过程如下：

⑤更新变量

给定g^k,d^k,ω^k,更新

为:

其中

⑥更新变量d^k+1,g^k+1,ω^k+1.记对称导的伴随算子为：

其中

给定

可以更新更新变量d^k+1,g^k+1,ω^k+1为:

其中

进一步，容易得到：

最终得到了水下去雾算法流程如下：

重复迭代：更新

如下：

迭代终止条件：

定理2：记

假定正参数σ₁,σ₂,τ₁,τ₂满足

和

于是得到，所提出的算法产生的序列

收敛到

也就是鞍点问题的解。

步骤5、对步骤2中的模型利用MATLAB进行实验，得到去雾图像，用峰值信噪比(PSNR)、结构相似度(SSIM)评价不同方法对合成水下有雾图像去雾的表现。用水下有色图像质量评估(UCIQE)、水下图像质量测度(UIQM)、水下图像清晰度测度(UISM)和图像块对比度质量指数(PCQI)来评价不同方法对真实水下有雾图像的去雾效果。对于这些准则来说，更大的数值代表了更好的去雾结果。

评价指标峰值信噪比(PSNR)为：

结构相似性(SSIM)为：

其中，u₀和u分别表示原图像和去雾图像，

和μ_u是相应的平均值，

和σ_u代表它们的标准离差，

是u₀和u的协方差，此外c₁、c₂是常量。

对于本发明的所有测试，采用一个11×11的窗口来获得每个像素位置x∈Ω。

在所提出的模型中，有四个参数α₁、λ₁、λ₀和γ。在所有测试中令λ₁＝0.06、λ₀＝1、γ＝4。

根据输入的水下图像的噪声水平调整参数α₁，当输入图像的噪声水平较高时，其值会较大；根据输入图像的噪声水平将α₁设置为0.02、0.06或0.1。对于所有测试图像，α₁的详细值列于表1。

表1所提出模型的α₁的值

在算法中，选择

停止条件设置为

使用MATLAB 2019b在系统为Windows7的计算机上进行实验，CPU的具体型号为Intel(R)Core(TM)i5-6200U CPU@2.30GHz。

表2中粗体数字表示每行中的最佳值，可以看出本发明的平均PSNR和SSIM值高于其他方法。这些结果表明，本发明可以很好地去除合成的水下图像的雾，获得更好的视觉效果。

表2去雾结果PSNR和SSIM值

表3中粗体数字表示每行中的最佳值，可以看出最高的平均UCIQE、UIQM和PCQI值显示本发明在饱和度和对比度之间达成了很好的平衡。值得一提的是，本发明有着最高的平均UISM值，这表明EI-UDCP方法确实可以很好地保留水下图片的边缘信息。

表3去雾结果的UCIQE,UIQM,PCQI和UISM值

通过表4可以看出，Galdran和Peng的方法在时间上的消耗较短，因为它们产生的图片直接基于水下光学模型。DehazeNet使用了训练后的模型参数来进行水下图像的去雾，因此也相对较快。不过，相对于NLTV模型来说，本发明更快更高效。

表4对比平均计算时间(单位：秒)

表5中粗体数字表示每列中的最佳值，计算出PSNR和SSIM值用以量化评价去雾和降噪的效果。可以看出本发明总体而言有着更好的数值。本发明在带噪图像去雾时依然有着优秀的结果。

表5PSNR和SSIM值

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于边缘检测函数变分模型的水下图像去雾方法，其特征在于，包括以下步骤：

步骤1、引入图像去雾的必要符号、水下暗通道先验及非局部TV模型，并提出一种具有边缘检测函数的水下暗通道先验；

步骤2、建立变分模型；

步骤3、建立变分模型的最小值的存在性和唯一性；

步骤4、定义待检测水下图像；

步骤5、对步骤2中的模型利用MATLAB进行实验，得到去雾图像，用峰值信噪比、结构相似度评价不同方法对合成水下有雾图像去雾的表现。

2.根据权利要求1所述的基于边缘检测函数变分模型的水下图像去雾方法，其特征在于，所述步骤1中，一种具有边缘检测函数的水下暗通道先验如下：

其中，

是边缘检测函数，其中σ＞0，H是I的灰度图像；

水下有雾原像I记为：

I:Ω→R³＝{(I_R,I_G,I_B):I_R,I_G,I_B＞0}

得到它的灰度图像：

H＝0.2989*I_R+0.5870*I_G+0.1140*I_B

有如下的水下光学模型：

其中J＝(J_R,J_G,J_B)是还原后的图像，背景光K＝(K_R,K_G,K_B)考虑为全局常量，透射率t可以重新表成指数衰减形式：

其中，d为景深函数，表示x点物体到摄像机的距离，η＞0一般设置为1，设g＝log(K-J),f＝log(K-I)和d＝-logt，将水下光学模型转化为：

g＝f+d,

其中，g＝(g_R,g_G,g_B),f＝(f_R,f_G,f_B)与d＝(d,d,d)无雾图像即为J＝K-exp(g)，水下暗通道先验是一个处理水下图像去雾问题的简单方法：

其中，Ω为以x为中心的网格，认为J_UDCP＝0，得到透射率表达式：

可得景深d₀＝logt₀，可以计算出g和J；

引入了如下的水下去雾非局部TV模型：

其中，

是非局部微分算子，α和β是正参数；

在灰度图H的边缘，边缘检测函数ψ趋向于0，而在图像的平滑区域它趋向于1，考虑J_EI-UDCP＝0，根据EI-UDCP先验，得到去雾图像的景深d₀＝-logt₀，其中透射率t₀可表为：

根据式(1)有：

利用J_EI-UDCP＝0，易得透射率t₀表达式。

3.根据权利要求1所述的基于边缘检测函数变分模型的水下图像去雾方法，其特征在于，所述步骤2中，

考虑如下的变分问题：

其中

α₁,γ及λ＝(λ₀,λ₁)为正参数，BV(Ω；R³)和

分别代表向量值有界全变差空间和二阶有界广义全变差空间，离散形式的

表为如下的最小值形式：

最小值在Ω上的所有实向量场ω中取，并且

代表对称导，研究变分模型的等价形式：

4.根据权利要求1所述的基于边缘检测函数变分模型的水下图像去雾方法，其特征在于，所述步骤3中，

定义1：定义BV(Ω,R³)为包含满足下面条件的g的函数空间：

(1)g∈L¹(Ω；R³)；

(2)

取有限值，BV(Ω；R³)是一个Banach空间，有范数：

定义2：令

为有界域且(λ₀,λ₁)，其中λ₀,λ₁均为正数，对于

带权值λ的二阶广义全变差(TGV of order two)定义如下：

其中，

为仅在Ω上，连续可微的对称矩阵域空间，S^n×n表示所有n×n的对称矩阵，空间

有范数：

称作为向量值函数的二阶有界广义全变差空间(BGV of order two)；

引理1：假设g_k∈BV(Ω；R³)(k＝1,2,..)，并且在

上g_k→g，那么

引理2：假设d_k∈BGV(Ω；R³)(k＝1,2,..)，并且在

上d_k→d，那么

引理3：假设

是一列定义在BV(Ω；R³)上，满足

于是存在一个收敛子列

和一个函数g∈BV(Ω；R³)，使得

引理4：假设

是一列定义在BGV(Ω；R³)上，满足

于是存在一个收敛子列

和一个函数d∈BGV(Ω；R³)，使得

把变分问题的能量泛函写为E(g,d)；

定理1：令f∈L²(Ω；R³)且d₀∈L²(Ω；R³)，于是对于固定的参数α₁,γ＞0，能量泛函有唯一的最小化方法。

5.根据权利要求1所述的基于边缘检测函数变分模型的水下图像去雾方法，其特征在于，所述步骤4中，记输入图像的规模为M×N，令X＝R^MN为有限维实向量空间，定义了内积＜·,·＞_X；

其中梯度

是向量空间Y＝X×X上的向量；

算子符合Neumann边界条件的离散形式定义为：

其中，

定义：

P₁＝{p₁∈R^6MN:p₁≤α₁},P₂＝{p₂∈R^6MN:p₂≤λ₁},Q＝{q∈R^12MN:q≤λ₀},

并且记闭凸集C上的指示函数I_C为：

对于一个真凸并且下半连续的函数Φ，定义近端算子

为：

于是变分问题等价形式可以重新写作下面的鞍点问题：

其中p₁,p₂,q是对偶变量；

通过原始对偶算法，任给一个第k步的中间结果

q^k,g^k,d^k,ω^k，更新解的过程如下：

①更新变量

q_k+1，给定g^k,d^k,ω^k,更新

q_k+1为:

其中

②更新变量d^k+1,g^k+1,ω^k+1，记对称导的伴随算子为：

其中

给定

q_k+1,更新更新变量d^k+1,g^k+1,ω^k+1为：

其中,

进一步，得到：

最终得到了水下去雾算法流程如下：

重复迭代：更新

q^k+1,g^k+1,d^k+1,

如下：

迭代终止条件：

6.根据权利要求5所述的基于边缘检测函数变分模型的水下图像去雾方法，其特征在于，所述步骤4中，

定理2：记

设定正参数σ₁,σ₂,τ₁,τ₂满足

和

于是得到算法产生的序列

收敛到

也就是鞍点问题的解。

7.根据权利要求6所述的基于边缘检测函数变分模型的水下图像去雾方法，其特征在于，所述步骤5中，

评价指标峰值信噪比为：

结构相似性为：

其中，u₀和u分别表示原图像和去雾图像，

和μ_u是相应的平均值，

和σ_u代表它们的标准离差，

是u₀和u的协方差，此外c₁、c₂是常量。

Images