CN113450284B

CN113450284B - 一种基于线性学习模型和平滑形态学重建的图像去雾方法

Info

Publication number: CN113450284B
Application number: CN202110799210.1A
Authority: CN
Inventors: 庄立运; 居勇峰; 杨松; 王晓晖; 顾相平
Original assignee: Huaiyin Institute of Technology
Current assignee: Huaiyin Institute of Technology
Priority date: 2021-07-15
Filing date: 2021-07-15
Publication date: 2023-11-03
Anticipated expiration: 2041-07-15
Also published as: CN113450284A

Abstract

本发明公开了一种基于线性学习模型和平滑形态学重建的图像去雾方法，利用加权线性学习模型估计环境光照；利用形态学重建保留图像处理过程中的重要结构信息；最后通过灰度腐蚀和灰度膨胀计算传输函数值，基于得到的环境光照和传输函数值，即可从雾霾图像中获得性能良好的图像。

Description

一种基于线性学习模型和平滑形态学重建的图像去雾方法

技术领域

本发明属于图像去雾技术领域，具体为一种基于线性学习模型和平滑形态学重建的图像去雾方法。

背景技术

图像拍摄设备获取的室外图像的质量易受天气条件(如雾或烟雾)和拍摄距离的影响。Koschmieder(Koschmieder,H.Theorie der horizontalen sichtweite:kontrastund sichtweite.Munich,Germany:Keim&Nemnich,1925)首先提出了一种大气散射模型，并将该模型表示为：

I(x)＝t(x)J(x)+(1-t(x))A (1)

其中，I(x)为有雾图像，J(x)为去雾后的图像，A代表环境中光照分量，t(x)(0<t(x)<1)是像素x的深度权重因子。

传输函数t(x)可以表示为：

t(x)＝e^-αd(x) (2)

其中，d(x)代表深度场景，α表示大气参数，该值为常数。

由公式(1)可知，去雾后图像的质量由A(x)和d(x)确定。

在公式(1)中，空气光可表示为(1-t(x))A(x)。

基于公式(1)，很容易得出下式：

即，暗通道优先(DCP)算法。该方法提出一种假设，即：在户外无雾图像中的大部分局部区域，存在一些像素点(暗像素)在至少一个颜色通道中具有非常低的值，趋近于0。因此，根据式(3)，若从雾霾图像中获得性能良好的图像，则需要合理的估计环境光照A(x)和传输函数t(x)的值。

因此，如何合理地估计环境光照A(x)和传输函数t(x)值是一个关键问题。

发明内容

发明目的：为解决如何从雾霾图像中获得性能良好的图像的问题，本发明提出了一种基于线性学习模型和平滑形态学重建的图像去雾方法，利用加权线性学习模型估计环境光照；利用形态学重建保留图像处理过程中的重要结构信息；最后通过灰度腐蚀和灰度膨胀计算传输函数值，基于得到的环境光照和传输函数值，即可从雾霾图像中获得性能良好的图像。

技术方案：一种基于线性学习模型和平滑形态学重建的图像去雾方法，包括以下步骤：

S100：利用线性回归方法，得到待处理图像R、G、B分量的环境光照估计值；

S200：将RGB分量的环境光照估计值与每个分量按权重相融合，得到图像环境光照；

S300：利用重建的闭操作和重建的开操作计算传输函数值；

S400：基于S200得到的图像环境光照和S300得到的传输函数值，得到去雾后的图像。

进一步的，所述的S100，具体包括以下步骤：

通过式(7)计算得到彩色有雾图像R、G、B分量的最大值和最小值之差：

其中，χ为彩色有雾图像I中坐标位置为(x，y)的像素点，d₁和d₂是x∈ω_d的像素的索引；ω_d是像素d处的窗口；I^cmax(χ)为最大颜色通道，I^cmin(χ)为最小颜色通道；

通过式(8)计算得到ω_d中R、G、B分量的环境光照值；

其中，a_d和b_d均为与ω_d相关的参数，Θ代表R、G、B分量，K_N(χ)核函数：

定义如式(13)所示的损失函数：

其中：

其中，θ为平滑参数，ν为常数，σ² _d,1(p)和σ² _d,2(q)分别为以像素点p和q为中心的区域方差；

采用线性回归法最小化损失函数，得到参数a_d和b_d：

b_d＝μ_d-a_dK_N(χ)μ_d

其中，是以I_d像素为中心的ω_d中所有像素平均值；μ_d和δ_d是ω_d区域中所有像素的平均值和方差；

通过式(15)可计算得到待处理图像中R、G、B分量的环境光照估计值：

进一步的，所述的S200包括：

根据式(16)得到图像环境光照A(χ)：

其中，γ_R、γ_G和γ_B分别为R和G、G和B以及B和G的相关系数，Ξ＝γ_R+γ_G+γ_B。

进一步的，所述的S300，具体包括以下步骤：

将彩色有雾图像I在环境光照A(x)下进行归一化操作，得到

通过亮度通道先验计算得到初始传输函数值t₁(χ)；

对初始传输函数值t₁(χ)进行重建的闭操作，得到t₂(χ)；

对t₂(χ)进行重建的开操作，得到t₃(χ)；

基于t₁(χ)和t₃(χ)，得到t'₃(χ)：

t'₃(χ)＝βt₃(χ)+(1-β)t₁(χ) (31)

其中：

基于t'₃(χ)，得到最终的传输函数：

t(χ)＝(1+α(χ))t₃'(χ)+(1-α(χ))P(χ) (32)

其中，α＝max(I^C(χ))^γ，γ是一个固定的参数。

进一步的，所述的对初始传输函数值t₁(χ)进行重建的闭操作，得到t₂(χ)，表示为：

其中，是测地膨胀结果，/>是膨胀重建的结果。

进一步的，所述的对t₂(χ)进行重建的开操作，得到t₃(χ)，表示为：

其中，η₁(I)表示测地腐蚀结果，/>表示腐蚀重建结果。

进一步的，所述的S400具体包括：

引入参数m_k和参数M_k：

χ_s∈dark regioin

χ_s∈bright regioin

通过式(33)得到去雾后图像：

其中，t(χ)为传输函数值，A(χ)为图像环境光照。

有益效果：本发明方法，利用加权线性学习模型估计环境光照；利用形态学重建保留图像处理过程中的重要结构信息；最后通过灰度腐蚀和灰度膨胀计算传输函数值，基于得到的环境光照和传输函数值，即可从雾霾图像中获得性能良好的图像，实验结果表明，本发明所提出去雾算法具有去雾效果好、处理后图像清晰度高和图像细节更加丰富等优点。

附图说明

图1为本发明的整体框图；

图2为有雾图像示例；

图3为室外重雾图像各算法去雾效果对照，其中，(a)原始图像，(b)Zhu et al.[13]，(c)Ren et al.[25]，(d)Ling et al.[21]，(e)AMEF[32]，(f)Yang et al.[36]，(g)Salazar et al.[12]，(h)本发明所提算法；

图4为有雾图像各算法去雾效果对照，其中，(a)原始图像，(b)Zhu et al.[13]，(c)Ren et al.[25]，(d)Ling et al.[21]，(e)AMEF[32]，(f)Yang et al.[36]，(g)Salazar et al.[12]，(h)本发明所提算法。

具体实施方式

现结合附图和实施例对本发明的技术方案做进一步说明。

由公式(3)可知，需先估计环境光照，再计算传输函数值，因此本发明提出了如图1所示的一种基于线性学习模型和平滑形态学重建的图像去雾方法，具体内容为：

根据大气散射模型(公式(1))，环境光照分量A为常数，但是该假设具有一定的不合理性，由于雾霾场景的环境光照值主要取决于像素点的局部区域值，因此重度雾霾图像的环境光照度A值与一般的有雾图像差异较大。显然，环境光照分量A接近雾霾图像I，而透射图的取值趋于0。另外，物体的颜色受到反射波长的影响，即：经不同的反射波长反射后的物体具有不同的颜色。因此，环境光照分量A为常数这一假设具有不合理性。此外，根据Retinex理论，物体的反射颜色取决于环境光照和物体表面的反射率。本发明中，假设Z(x)是物体的反射率，去雾后的图像可以表示为：

J(χ)＝A(χ)Z(χ)(4)

其中，χ为图像中坐标位置为(x，y)的像素点。

将公式(1)的大气散射模型重写为：

I(χ)＝A(χ)Z(χ)t(χ)+A(χ)(1-t(χ))(5)

整理得到：

I(χ)＝A(χ)(Z(χ)t(χ)+1-t(χ))(6)

显然，公式(6)是一个类Retinex模型，在该方程中，环境光照A(x)可视为有雾图像低频区域的空间平滑函数，可将Z(χ)t(χ)+1-t(χ)视为有雾图像的高频区域。

学者们采用诸多方法预测低频项A(χ)，然而，有雾图像的所有方向的平滑都是各向同性的，因此边缘信息没有得到有效地保留。

为了保留有雾图像的边缘信息，本发明提出了一种对数滤波方法，并且引入权重系数来组合图像三通道分量(R、G、B)。

首先，通过式(7)所述的通道差分(CD)映射来计算彩色有雾图像各分量(R，G，B)的最大值和最小值之差。

其中，d₁和d₂是x∈ω_d的像素的索引；ω_d是像素d处的窗口，N表示窗口ω_d中的像素数，为通道差异图，其值为最大颜色通道和最小颜色通道值之差；I^cmax(χ)为最大颜色通道；I^cmin(χ)为最小颜色通道。

区域ω_d中的环境光照分量值可以通过公式(8)计算得出。

其中，a_d和b_d与ω_d相关的参数，Θ代表R，G，B分量，K_N(χ)为图像处理中常用的核函数：

其中，x_p和x_q表示像素坐标。

根据函数的性质，对数函数是一个递增函数，因此，在图像较为暗淡的区域，公式(8)可以得到较大的有雾图像环境光照值；在明亮区域，环境光照值不变化或变化较小。

公式(9)中，C_N是在像素d处为中心的局部窗ω_d的协方差矩阵，该值可由公式(10)计算得到。

其中，γ_N是常数，U_αN和∧_σN分别是α_N和σ_N的延拓矩阵，γ_N、α_N和σ_N通过像素d处局部梯度矩阵的奇异值分解(SVD)来计算。

然后，可得如公式(11)所示损失函数

其中，θ为平滑参数，用于控制核函数的变化范围。

此外，为了自适应地获得平滑项，引入公式(12)。

其中，ν是一个取值较小的常数，σ² _d,1(p)和σ² _d,2(q)是以像素点p和q为中心的，尺寸大小为3×3的区域方差。

因此，公式(11)可以重新定义为：

然后，采用线性回归法最小化方程(13)，参数a_d和b_d的值可表示为：

b_d＝μ_d-a_dK_N(χ)μ_d

其中，是以I_d像素为中心的区域ω_d中所有像素平均值；μ_d和δ_d是ω_d区域中所有像素的平均值和方差。

A_θ ^C(χ)值可通过公式(15)计算得出。

最后，根据式(3)，环境照度可定义为：

其中，γ_R、γ_G和γ_B是R和G、G和B以及B和G的相关系数，Ξ＝γ_R+γ_G+γ_B。

由式(16)可知，本发明考虑了雾霾图像三个分量之间的关系，可以适应具有不同特征的雾霾图像处理。

为了计算雾霾图像的传输函数值，本发明引入了形态学重建理论，在简化图像处理过程的同时保留图像的主要特征。本发明利用灰度腐蚀、灰度膨胀、测地腐蚀与膨胀以及腐蚀与膨胀重建等方法对传输函数值进行处理。

假设χ为图像I中坐标位置为(x，y)的像素点，r为W中的像素，结合雾霾图像处理的方法，指数灰度腐蚀和指数灰度膨胀可以表示为：

其中，S(r)是灰度结构元素。

假设G是关于图像I的掩膜图像，是灰度图像中尺寸为1的测地膨胀，测地膨胀可以表示为：

其中，G和图像I的尺寸相同，图像中的所有像素强度关系满足I≤G。因此，尺寸为m的测地膨胀可以重新表示为：

其中，ζ_k0(I)＝I。

另外，假设H是关于图像I的掩膜图像，η_k1是灰度图像中尺寸为1的测地腐蚀。

测地腐蚀可以表示为：

η_k1(I)＝η₁(I)∨H (21)

其中，H和图像I的尺寸相同，图像中的所有像素强度关系满足I≤H。因此，尺寸为m的测地腐蚀可以重新表示为：

其中，η_k0(I)＝I。

接下来，通过两种迭代算法来获得膨胀重建和腐蚀重建。膨胀重建的迭代算法可表示为：

Q_kζ(I)＝Q_kj(I) (23)

式中，Q_kζ(I)为膨胀重建结果，Q_kj(I)为在迭代算法过程中，尺寸为j的膨胀重建得到的中间结果，赋值给变量Q_kj(I)。

当ζ_kj(I)＝ζ_kj+1(I)时，进入稳定状态。ζ_kj(I)为尺寸为j的测地膨胀，ζ_kj+1(I)为尺寸为j+1的测地膨胀。

腐蚀重建的迭代过程可表示为：

Q_kη(I)＝Q_kj(I) (24)

Q_kζ(I)为膨胀重建结果，Q_kj(I)为在迭代算法过程中，尺寸为j的腐蚀重建得到的中间结果，赋值给变量Q_kζ(I)。

同样，当η_kj(I)＝η_kj+1(I)时，进入稳定状态。η_kj(I)为尺寸为j的测地腐蚀，η_kj+1(I)为为尺寸为j+1的测地腐蚀。

经过基于重建的开操作和闭操作，得到图像I，可表示为：

式中，为尺寸为m，基于重建的开操作得到的结果，/>为尺寸为m的腐蚀重建结果，η_m(I)为尺寸为m的测地腐蚀，/>为尺寸为m，基于重建的闭操作得到的结果，/>为尺寸为m的膨胀重建结果，/>为尺寸为m的测地膨胀。

经过上述改进型形态学重建理论后，本发明提出一种基于形态学重建的传输函数。首先，将雾霾图像在环境光照A(x)下进行归一化操作，定义为：

初始传输函数值由亮度通道先验计算得到，如公式(27)所示。

其中：

χ_s∈bright regioins

基于重建的闭操作可以表示为：

公式(28)可以去除图像结构元素中取值较小的低亮度元素。

相应的，基于重建的开操作可以表示为：

方程(29)可以消除比环境亮度值更高且尺寸比W更小的元素。可利用方程(30)来计算比环境亮度值更高且尺寸比W更小的元素的元素值。

P(χ)＝max(t₁(χ)).t₁(χ)-max(t₃(χ)).t₃(χ) (30)

为了重构传输函数的取值范围，新的传输函数定义为：

t'₃(χ)＝βt₃(χ)+(1-β)t₁(χ) (31)

其中：

最终的传输函数可由等式(32)计算得出。

t(χ)＝(1+α(χ))t₃'(χ)+(1-α(χ))P(χ) (32)

其中，α＝max(I^C(χ))^γ，γ是一个固定的参数。

通过式(33)可以得到质量较高的去雾后图像。

为了避免在图像去雾处理过程中产生过多的噪声，本发明引入了两个参数m_k和M_k，定义为：

χ_s∈dark regioin

χ_s∈bright regioin

现从主观和客观两个方面对本发明所提出的方法进行评价。

选取一定数量的模糊/雾霾图像进行实验，图像来自RTTS、HSTS和SOTS公共数据集，上述公共数据集的图片在光照条件较差或雾天的环境下采集得到。实验用图分为室外和室内(image#1-#13)有雾图像。图2显示了部分有雾图像示例。

采用Windows 10操作系统，用MATLAB R2018a作为软件平台。计算机的主要配置为Intel(R)Core(TM)i7-4712MQ CPU@3.40GHz(with 12G memory)。

在公共数据集中，将本发明的图像去雾方法与其他六种目前性能比较好的图像去雾方法进行比较，分别是：Zhu et al.[13]方法，Ren et al.[25]方法，Ling et al.[21]方法，AMEF[32]方法，Yang et al.[36]和Salazar et al.[12]方法。室外重雾(image#1-#3)图像去雾对比实验结果如图3所示。

为了定量分析本发明所提方法与参考文献中其他最新去雾方法的性能，本发明利用10张测试图片进行客观分析，如图4所示。图4中所选取的图像具有不同的特征，可分为室外轻雾、室内轻雾、室外轻雾和室外重雾四种类型。另外，通过四个客观评价指标来评估本发明所提算法和其他算法对图像增强的结果，包括：均方根对比度(RMS)，平均梯度值(AG)，结构相似性平均值(MSSIM)和特征相似度(FSIM)，测试结果如表1-4所示。

表1测试图像的RMS计算值对比

表2测试图像的AG计算值对比

表3测试图像的MSSIM计算值对比

表4测试图像的FSIM计算值对比

Claims

1.一种基于线性学习模型和平滑形态学重建的图像去雾方法，其特征在于：包括以下步骤：

S100：利用线性回归方法，得到待处理图像R、G、B分量的环境光照估计值A_Θ ^C(χ)；

S200：根据式(16)得到图像环境光照A(χ)：

其中，γ_R、γ_G和γ_B分别为R和G、G和B以及B和G的相关系数，Ξ＝γ_R+γ_G+γ_B；

S300：利用重建的闭操作和重建的开操作计算传输函数值；

S400：基于S200得到的图像环境光照和S300得到的传输函数值，得到去雾后的图像；

所述的S100，具体包括以下步骤：

通过式(8)计算得到ω_d中R、G、B分量的环境光照值；

定义如式(13)所示的损失函数：

其中：

采用线性回归法最小化损失函数，得到参数a_d和b_d：

b_d＝μ_d-a_dK_N(χ)μ_d

所述的S300，具体包括以下步骤：

将彩色有雾图像I在环境光照A(x)下进行归一化操作，得到

通过亮度通道先验计算得到初始传输函数值t₁(χ)；

对初始传输函数值t₁(χ)进行重建的闭操作，得到t₂(χ)；

对t₂(χ)进行重建的开操作，得到t₃(χ)；

基于t₁(χ)和t₃(χ)，得到t'₃(χ)：

t'₃(χ)＝βt₃(χ)+(1-β)t₁(χ) (31)

其中：

基于t'₃(χ)，得到最终的传输函数：

t(χ)＝(1+α(χ))t′₃(χ)+(1-α(χ))P(χ) (32)

其中，α(χ)＝max(I^C(χ))^γ，γ是一个固定的参数；P(χ)表示比环境亮度值更高且尺寸比W更小的元素的元素值，表示为：

P(χ)＝max(t₁(χ)).t₁(χ)-max(t₃(χ)).t₃(χ) (30)

所述的对初始传输函数值t₁(χ)进行重建的闭操作，得到t₂(χ)，表示为：

其中，是测地膨胀结果，/>是膨胀重建的结果；

所述的对t₂(χ)进行重建的开操作，得到t₃(χ)，表示为：

其中，η₁(I)表示测地腐蚀结果，/>表示腐蚀重建结果；

所述的S400具体包括：

引入参数m_k和参数M_k：

χ_s∈dark regioin

χ_s∈bright regioin

通过式(33)得到去雾后图像：

其中，t(χ)为传输函数值，A(χ)为图像环境光照。