CN113191982A - 基于形态学重建和饱和度补偿的单幅图像去雾方法 - Google Patents

Abstract

一种基于形态学重建和饱和度补偿的单幅图像去雾方法，属于图像去雾领域。本发明(1)采用自适应局部邻域窗口形态学重建检测出容易被误认为大气光候选区域的环境中高亮区域；并从暗通道中移除该高亮区域，以避免该高亮区域导致的大气光值估计误差，提高了全局大气光值的估计精度，并减少了复原图像天空区域过饱和现象；(2)将图像从现有的RGB色彩空间描述变换到HSV色彩空间描述后，对透射率公式推导分析，通过适当提高有雾图像的饱和度分量图来补偿被过低估计的透射率，减少复原图像中的块效应和光晕现象；(3)通过将初始复原图像进行强度线性映射拉伸，进一步提高前景与背景的对比度、增加亮度动态范围，显示更多的细节信息。

Description

基于形态学重建和饱和度补偿的单幅图像去雾方法

技术领域

本发明中设计一种基于形态学重建和饱和度补偿的单幅图像去雾方法。本方法通过形态学重建和饱和度补偿分别优化大气散射模型的两个参数，即全局大气光值和透射率值，在高精度求出这两个参数后，再从该模型中逆向求解复原无雾图像，可应用于图像去雾领域，能够有效减少复原图像过饱和、光晕现象和块效应，提高图像的对比度、显示更多的细节信息。

背景技术

伴随着近年来经济的不断发展，空气污染情况也随之加重，空气质量下降，雾霾天气的出现也越来越频繁。这些雾霾天气不仅会危害我们的身心健康，也会降低我们获取的光学图像提供的信息质量，对交通、安防等很多领域的应用产生严重影响。因而使得图像去雾特别是单幅图像去雾成为当前图像处理领域具有挑战性的热点问题。

目前针对有雾图像进行处理的方法主要分为两类：一种是基于非物理模型的图像增强方法，该方法不考虑有雾图像产生降质的原因，它主要通过针对性的图像处理方法提高雾天图像的对比度和细节信息，但该方法容易导致图像失真。另一种方法是基于物理模型的图像复原方法，该方法通过分析雾天图像退化的原因，建立相应的有雾图像退化模型，补偿退化过程的失真，使复原图像逼真自然，信息损失较少，但该方法需要对模型中的参数进行有效估计。近些年，基于单幅图像去雾有多种先验知识和假设方法被提出。例如,He等人提出的暗通道先验算法(dark channel prior,DCP)(K.He,J.Sun,and X.Tang,“Singleimage haze removal using dark channel prior,”IEEE Trans.PatternAnal.Mach.Intell.,vol.33,no.12,pp.2341–2353,Dec.2011.)，经大量统计发现无雾图像的局部非天空区域的像素至少在一个色彩空间有较低的亮度值。在大多数情况下，该方法有较明显的复原效果，但当场景中存在和大气光有相似特征的环境光和白色建筑等高亮区域时，该方法会过高的估计大气光值，导致复原结果整体偏暗。且该方法不适用于含有大量天空区域的场景，会使天空区域出现过饱和现象。

为了克服DCP算法的局限性并提高计算效率，本发明提出一种基于形态学重建和饱和度补偿的单幅图像去雾方法。利用形态学重建检测并移除暗通道图中的容易被误认为大气光候选区域的环境中高亮区域，以避免该高亮区域导致的大气光值估计误差。其次，通过对透射率图进行饱和度补偿，来提高被过低估计的透射率，减小复原图像的过饱和、光晕现象和块效应。

发明内容

本发明在大气散射模型的基础上，设计了一种基于形态学重建和饱和度补偿的单幅图像去雾方法，提高了全局大气光值和透射率值估计精度，减少了复原图像的过饱和和光晕现象，提高了图像的清晰度，使复原图像反映更多的细节信息。具体来说，首先本发明利用暗通道先验得到输入有雾图像的最小色彩通道图，采用形态学重建检测并移除暗通道图中容易被误认为大气光候选区域的环境中高亮区域，以避免该高亮区域导致的大气光值估计误差。然后，将图像从RGB色彩空间描述转换到HSV色彩空间描述，对透射率公式推导分析，通过适当提高有雾图像的饱和度分量图来补偿被过低估计的透射率，以减少复原图像中的块效应和光晕现象。在高精度求解出大气散射模型的这两个参数后，从该模型中逆向求解初始复原图像，最后，将初始复原图像进行强度线性映射拉伸，以充分利用亮度动态范围，提高前景与背景的对比度。

为了实现上述目的，本发明提供了如下方案：

一种基于形态学重建和饱和度补偿的单幅图像去雾方法，所述方法包括：

步骤1：形态学重建估计全局大气光值；

步骤2：饱和度补偿透射率估计值；

步骤3：大气散射模型逆向求解初始复原图像；

步骤4：强度线性映射拉伸精细化复原图像。

所述的形态学重建估计大气光值，具体包括如下步骤：

步骤1)：根据暗通道先验，得到有雾图像的暗通道图；

dark(x)＝min_y∈Ω(x)min_c∈{r,g,b}I^c(y) (1)

其中，dark(x)为暗通道图；c∈{r,g,b}表示输入有雾图像I^c(x)的r,g和b三个色彩通道；x为像素坐标；I^c(x)表示在x处成像的场景点的观测亮度；Ω(x)表示以x为中心边长为n的正方形局部邻域窗口；y∈Ω(x)中y表示该局部邻域窗口内的所有像素坐标；I^c(y)表示在y除成像的场景点的观测亮度；min为求最小值函数。

步骤2)：对最小色彩通道I_n(x)＝min_{c∈{r，g，b}}I^c(y)，进行重建闭运算，以去除小的暗物体：

其中，I_close(x)表示经重建闭运算后的图像；

为重建闭运算；重建闭运算所使用的腐蚀形态学重建的膨胀结构元素是边长为p的正方形。

步骤3)：对I_close(x)，采用自适应腐蚀结构元素进行重建开运算，目的是去除小的亮物体：

其中，I_open(x)表示经重建开运算后的图像；

为重建开运算；重建开运算所使用的膨胀形态学重建中的自适应的腐蚀结构元素是边长为max(q，ceil(max(w，h)*0.1))的正方形；max为求最大值函数；ceil为浮点数的向上取整函数；q为腐蚀结构元素的边长参数，一般取值为30～50；w和h分别表示输入的有雾图像的宽和高。

步骤4)：环境中的高亮区域可表示为：

R_high(x)＝I_close(x)-I_open(x) (4)

由于式(4)只能检测出环境光和白色物体中亮度值较大的高亮区域，为了获得亮度值较小的高亮区域，对R_high(x)进行膨胀操作，记膨胀后获得高亮区域图像为I_high(x)。

步骤5)：从暗通道图dark(x)中移除高亮区域I_high(x)，记为图dark_remove(x)。选取dark_rmove(x)图中前0.1％最大亮度值的像素，在原输入有雾图像中取这些像素对应像素的亮度的平均值作为估计的全局大气光值。

所述的饱和度补偿透射率估计值，具体包括如下步骤：

步骤1)：将图像从RGB色彩空间描述转换到HSV色彩空间描述，并计算透射率。

在HSV色彩空间中，饱和度分量图可表示为：

其中，I^c(x)表示在像素坐标x处成像的场景点的观测亮度；S(I^c(x))是I^c(x)所对应的饱和度分量图。

对式(6)所示大气散射模型，两边进行求饱和度运算：

I^c(x)＝J^c(x)t(x)+A(1-t(x)) (6)

其中，J^c(x)和t(x)分别表示在像素坐标y处成像的场景点的真实亮度和透射率；A为全局大气光值。

化简(7)，得：

考虑到透射率在小的局部邻域内是常数，且全局大气光值已知。对(8)两边求局部邻域最小值，则实际的透射率为：

其中，S(y)为在像素坐标y处成像的场景点的观测亮度I^c(y)所对应的饱和度值；J^c(y)为在像素坐标y处成像的场景点的实际亮度。

由暗通道先验min_y∈n(x)min_{c∈{r，g，b}}J^c(y)→0知，估计的透射率为：

因为实际min_y∈n(x)(min_{c∈{r，g，b}}(J^c(y)))≥0，所以

被低估的透射率会使最终复原图像整体偏暗。

步骤2)：透射率的修正：

由式(10)可知，当有雾图像的饱和度分量图S(I^c(x))增加时，相应的透射率也会增加，所以可以通过提高有雾图像的饱和度分量图来适当地补偿透射率，提高图像整体亮度。

设增加后的饱和度图为S₁(x)：

S₁(x)＝min(S(I^c(x))*α+β，1) (11)

其中，S(I^c(x))表示有雾图像的饱和度图，α和β是两个正参数。α可以小范围细化调整S₁(x)的范围。β可调整S₁(x)的整体亮度，当p过大时，会过度增大S₁(x)，导致复原图整体偏亮，不能有效去除图像中的雾气；反之，会使S₁(x)增加的不明显，不能有效去除复原图中的光晕和天空区域过饱和现象。

则本发明修正的初始透射率为：

步骤3)：用快速导向滤波(FGF)优化透射率，能够在去除噪声的同时保持景深不连续处物体的边缘信息。

t_ref(x)＝FGF(t_coa(x)) (13)

所述大气散射模型逆向求解初始复原图像是指：在高精度求解出大气散射模型的以上两个模型参数后，再基于该模型从有雾图像中逆向求解初始无雾图像。初始复原图可表示为：

其中，参数λ可保留无穷远处非常少量的雾浓度，可使复原图像更自然。

所述强度线性映射拉伸精细化复原图像是指：为充分利用亮度动态范围，提高前景和背景的对比效果，需对初始复原图像J_coa(x)进行强度线性映射拉伸，先从J_coa(x)中裁剪阴影和高亮前0.1％的像素值，再对裁剪后的图像J_crop(x)的每个色彩通道进行强度线性映射拉伸以归一化到[0，1]。则归一化公式为：

有益效果：

本发明提出一种基于形态学重建和饱和度补偿的单幅图像去雾方法，首先通过提出的基于形态学重建处理方法改进全局大气光值的估计精度；其次，通过对透射率图进行饱和度补偿，来提高被过低估计的透射率；最后基于大气散射模型复原无雾图像并进一步强度线性映射拉伸提高复原质量，增加对比度。该方法在有效地减小天空区域过饱和、光晕现象和景深不连续处的块效应复原更真实的亮度、色彩和细节信息的同时，能够提高时间效率、去除图像噪声。

附图说明

图1是本发明提供的基于形态学重建和饱和度补偿的单幅图像去雾方法的流程图；

图2是本发明提供的基于形态学重建和饱和度补偿的单幅图像去雾方法的实施例处理流程示意图；

图3是本发明提供的基于形态学重建和饱和度补偿的单幅图像去雾方法的单幅图像去雾结果图。左列是有雾图像，右列是复原图像。

具体实施方式

本发明的目的是提供基于形态学重建和饱和度补偿的单幅图像去雾方法，用于优化在以大气散射模型为基础的单幅图像去雾方法中的两个模型参数，即全局大气光值和透射率值，并从该模型中逆向求解初始复原清晰图像，最后再对初始复原图像进行强度线性拉伸得到高质量复原图像。本发明的基于形态学重建和饱和度补偿的单幅图像去雾方法不仅可以提高模型参数精度，而且能够在保证时间效率、去除图像噪声的同时，有效地减少复原图像的过饱和、光晕现象和块效应，提高清晰度显示更多细节信息。

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

图1是本发明提供的基于形态学重建和饱和度补偿的单幅图像去雾方法的流程图；图2是本发明提供的基于形态学重建和饱和度补偿的单幅图像去雾方法的实施例处理流程示意图；图3是本发明提供的基于形态学重建和饱和度补偿的单幅图像去雾方法的单幅图像去雾结果图。

本发明提供的基于形态学重建和饱和度补偿的单幅图像去雾方法具体包括：

步骤1：形态学重建估计全局大气光值；

为了避免误将环境中高亮区域作为全局大气光候选区域，本发明对输入有雾图像的最小色彩通道图进行自适应局部邻域窗口形态学重建检测到高亮区域，并在暗通道图中移除该高亮区域，最后再选取暗通道图中的具有前0.1％最大亮度值的像素，在原输入有雾图像中取这些像素对应像素的亮度的平均值作为全局大气光的估计值。该方法可以有效避免高亮区域导致的大气光值估计误差，减小了复原图像整体过暗和天空区域过饱和问题。

本发明实施例中，暗通道图采用的局部邻域窗口大小为n*n，n为15；重建闭运算所使用的腐蚀形态学重建中的膨胀结构元素是边长为p的正方形，p为15；重建开运算所使用的膨胀形态学重建中的自适应的腐蚀结构元素是边长为max(q,ceil(max(w,h)*0.1))的正方形，其中,w和h分别表示输入有雾图像的宽和高，q一般取值为30～50，本实施例中q为40。

步骤2：饱和度补偿透射率估计值；

本发明通过将有雾图像从现有的RGB色彩空间描述变换到HSV色彩空间描述，对透射率公式推导分析，得到现有方法存在估计的透射率值小于实际的透射率值，导致最终的复原图像整体偏暗、细节不明显的缺点。为此本步骤提出了饱和度补偿透射率估计值。

增加输入有雾图像的饱和度分量图可以适当提高场景透射率，进而减小复原图像整体偏暗和块效应问题，使复原图像更大程度的保留场景原本的颜色。

本发明实施例中，α和β是两个调节有雾图像饱和度分量图的正参数。其中，β＝0.3，α取值为：

其中，mean_S₀表示S(I^c(x))的均值。

步骤3：大气散射模型逆向求解初始复原图像；

在求解出全局大气光值和透射率值后，根据大气散射模型逆向求解初始复原图像。

本发明实施例中，为使复原图像更自然，保留无限远处少量的雾浓度，参数λ为0.1。

步骤4：强度线性映射拉伸精细化复原图像。

为充分利用亮度动态范围，提高前景和背景的对比效果，本发明将初始复原图像进行强度线性映射拉伸。先裁剪初始复原图像的阴影和高亮前0.1％的像素值，再将裁剪后图像的每个色彩通道归一化到[0,1]。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换和替代，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于形态学重建和饱和度补偿的单幅图像去雾方法，其特征在于，包括以下步骤：

步骤1：形态学重建估计全局大气光值；利用暗通道先验得到输入有雾图像的最小色彩通道图；然后对得到的最小色彩通道图进行自适应局部邻域窗口形态学重建处理，即重建闭运算和重建开运算，检测出容易被误认为大气光候选区域的环境中高亮区域；并从暗通道中移除该高亮区域，以避免该高亮区域导致的大气光值估计误差；最后选出暗通道图中具有前0.1％最大亮度值的像素，在原输入有雾图像中取这些像素对应像素的亮度的平均值作为全局大气光的估计值；

步骤2：饱和度补偿透射率估计值；将图像从现有的RGB色彩空间描述变换到HSV色彩空间描述后，对透射率公式推导分析，得到现有方法存在估计的透射率值小于实际的透射率值，导致最终的复原图像整体偏暗、细节不明显；为此本步骤提出了饱和度补偿透射率估计值；

分析可知，当有雾图像的饱和度分量图增加时，相应的透射率也会增加；而暗通道先验中假设透射率值在小的局部邻域是定值，事实上透射率值随景深而变化，尤其在景深不连续处，透射率值变化较大，块效应明显，通过直接增加透射率并不能解决块效应问题；通过提高有雾图像的饱和度适当补偿透射率，提高图像整体亮度；

在用饱和度补偿透射率后，再用快速导向滤波进一步优化透射率，从而去除噪声，同时还能够保持景深不连续处物体的边缘信息；

步骤3：大气散射模型逆向求解初始复原图像；经上述两步高精度求解出全局大气光值和透射率这两个参数值后，利用大气散射模型逆向求解出初始复原的无雾图像，

步骤4：强度线性映射拉伸精细化复原图像；对初始复原图像进行强度线性映射拉伸，进一步显示前景和背景之间的对比度、增加亮度动态范围。

2.根据权利要求1所述的单幅图像去雾方法，其特征在于，步骤1所述的形态学重建估计全局大气光值，具体计算步骤如下：

首先，根据暗通道先验，得到有雾图像的暗通道图；

dark(x)＝min_y∈Ω(x)min_c∈{r,g,b}I^c(y) (1)

其中，dark(x)为暗通道图；c∈{r,g,b}表示输入有雾图像I^c(x)的r，g和b三个色彩通道；x为像素坐标；I^c(x)表示在x处成像的场景点的观测亮度；Ω(x)表示以x为中心边长为n的正方形局部邻域窗口，其中n为15；y∈Ω(x)中y表示该局部邻域窗口内的所有像素坐标；I^c(y)表示在y处成像的场景点的观测亮度；min为求最小值函数；

其次，对最小色彩通道I_n(x)＝min_{c∈{r，g，b}}I^c(y)，进行重建闭运算，以去除小的暗物体：

其中，I_close(x)表示经重建闭运算后的图像；

为重建闭运算；重建闭运算所使用的腐蚀形态学重建中的膨胀结构元素是边长为p的正方形，其中p为15；

对I_close(x)，采用自适应腐蚀结构元素进行重建开运算，目的是去除小的亮物体：

其中，I_open(x)表示经重建开运算后的图像；

为重建开运算；重建开运算所使用的膨胀形态学重建中的自适应的腐蚀结构元素是边长为max(q，ceil(max(w，h)*0.1))的正方形；max为求最大值函数；ceil为浮点数的向上取整函数；q为腐蚀结构元素的边长参数，一般取值为30～50，其中q为40；w和h分别表示输入的有雾图像的宽和高；

然后，环境中的高亮区域可表示为：

R_high(x)＝I_close(x)-I_open(x) (4)

由于式(4)只能检测出环境光和白色物体中亮度值较大的高亮区域，为了获得亮度值较小的高亮区域，对R_high(x)进行膨胀操作，记膨胀后获得高亮区域图像为I_high(x)；

最后，从暗通道图dark(x)中移除该高亮区域T_high(x)，记为图dark_remove(x)；并选取dark_remove(x)中的前0.1％最大亮度值对应位置的原输入有雾图像的像素的亮度均值作为估计的全局大气光值。

3.根据权利要求1所述的单幅图像去雾方法，其特征在于，所述的饱和度补偿透射率估计值，具体计算步骤如下：

首先，将图像从RGB色彩空间描述转换到HSV色彩空间描述，并计算透射率；

在HSV色彩空间中，输入有雾图像的饱和度分量图可表示为：

其中，I^c(x)表示在像素坐标x处成像的场景点的观测亮度；S(I^c(x))是I^c(x)所对应的饱和度分量图；

对式(6)所示大气散射模型，两边进行求饱和度运算：

I^C(x)＝J^c(x)t(x)+A(1-t(x)) (6)

其中，J^c(x)和t(x)分别为在像素坐标x处成像的场景点的真实亮度和透射率；A为全局大气光值；

化简(7)，得：

考虑到透射率在小的局部邻域内是常数，且全局大气光值已知；对(8)两边求局部邻域最小值，则实际的透射率为：

其中，S(y)为在像素坐标y处成像的场景点的观测亮度I^c(y)所对应的饱和度值；J^c(y)为在像素坐标y处成像的场景点的实际亮度；

由暗通道先验min_y∈Ω(x)min_c∈{r,g,b}J^c(y)→0，估计的透射率为：

因为实际min_y∈Ω(x)(min_c∈{r,g,b}(J^c(y)))≥0，所以

被低估的透射率会使最终复原图像整体偏暗；

然后，由式(10)可知，可以通过提高有雾图像的饱和度分量图S(I^c(x))来适当地补偿透射率，提高图像整体亮度；

设增加后的饱和度图为S₁(x)：

S₁(x)＝min(S(I^c(x))*α+β,1) (11)

其中，S(I^c(x))表示有雾图像的饱和度图，α和β是两个正参数；α可以小范围细化调整S₁(x)的范围；β可调整S₁(x)的整体亮度，当β过大时，会过度增大S₁(x)，导致复原图整体偏亮，不能有效去除图像中的雾气；当β过小时，会使S₁(x)增加的不明显，不能有效去除复原图中的光晕和天空区域过饱和现象；其中β为0.3；α取值为：

其中，mean_S₀表示S(I^c(x))的均值；

则修正的透射率为：

最后，用快速导向滤波(FGF)优化透射率，能够在去除噪声的同时保持景深不连续处物体的边缘信息，优化的透射率为：

t_ref(x)＝FGF(t_coa(x)) (14)。

4.根据权利要求1所述的单幅图像去雾方法，其特征在于，步骤1所述的大气散射模型逆向求解初始复原图像，如下式所示：

其中，参数λ可保留无限远处非常少量的雾浓度，可使复原图像更自然，其中λ为0.1。

5.根据权利要求1所述的单幅图像去雾方法，其特征在于，所述的强度线性映射拉伸精细化复原图像，是指先从初始复原图像J_coa(x)中裁剪阴影和高亮前0.1％的亮度值，再对裁剪后的图像J_crop(x)的每个色彩通道进行强度线性映射拉伸以归一化到[0,1]，以充分利用亮度动态范围，提高前景和背景的对比效果，归一化公式为：

Images