CN102436643A - 面向大气散射邻近效应的图像去雾方法 - Google Patents

Abstract

本发明公开了一种面向大气散射邻近效应的图像去雾方法，其实施步骤如下：1)获取原始图像的图像透射率并通过图像去雾算法获取原始图像的初步去雾图像；2)根据所述原始图像的图像透射率建立图像的辐射传输方程；3)求解所述辐射传输方程获得图像的大气点扩散函数；4)根据大气点扩散函数对所述初步去雾图像进行反卷积处理，得到最终去雾图像。本发明能够降低大气散射邻近效应对成像图像的影响，提高图像的对比度和清晰度，增加图像细节，图像去雾效果好。

Description

面向大气散射邻近效应的图像去雾方法

技术领域

本发明涉及计算机图像处理技术，特别涉及一种面向大气散射邻近效应的图像去雾的计算机图像处理方法。

背景技术

一般的卫星遥感成像都是对远距离的成像，大气云雾使得太阳辐射、天空光由于散射效应直接到达相机像面，成为图像背景噪声；而景物目标到达成像相机前需要经过长距离的传输，由于大气粒子、气溶胶、空气湍流等对光的散射、非规则折射、吸收等效应造成接收探测器面上的光强起伏，降低了图像对比度和空间分辨率，导致光电系统在实际大气环境中的使用性能下降，上述两种情况统称为大气云雾退化。大气云雾退化的一个最主要特点，就是大气云雾退化造成的影响和景物与相机之间的距离以及天气情况相关，或者说与天气能见度相关，而且这种情况在长距离遥感成像、航空斜视成像中表现得特别明显。仿真计算表明，对于典型的乡村晴天天气，即使景物本身对比度为非常理想的1∶100，经过侧向100km的传输以及大气散射影响后，可见光遥感相机最终能够获得的图像对比度将明显下降，其MTF只有0.11。

针对大气云雾造成的图像退化的问题，目前一般采用基于雾图形成模型的图像去雾算法。在众多的图像去雾算法中，目前基于暗原色先验的图像去雾方法能较好地实现图像去雾。暗原色先验基于经观察得到的这么一个关键事实：绝大多数的户外无雾图像的每个局部区域都存在某些至少一个颜色通道的强度值很低的像素。该方法通过直接从图像中估计透射率和大气光值，实现对图像的去雾。该方法较好地去除了由于大气云雾使得太阳辐射、天空光由于散射效应直接到达相机像面，成为图像背景噪声的部分影响，同时也对景物经大气传输后输入到图像的直接衰减部分进行了补偿，一定程度上提高了图像的对比度。但是，该方法没有考虑景物目标到达成像相机前的长距离传输过程中，由于大气粒子、气溶胶、空气湍流等大气散射造成的邻近效应对图像带来的卷积退化影响，因此导致最终得到图像的对比度、清晰度仍然不够理想，图像细节仍然不够丰富。大气散射邻近效应可以看作是目标表面的辐射场和大气点扩散函数(APSF)的卷积。如果能得到精确的点扩散函数，就可以通过反卷积来去除邻近效应的影响。大气点扩展函数的物理意义是它描述了邻近像元对传感器接收的总辐射亮度贡献率的空间分布。对邻近效应研究的核心是对大气点扩展函数的求解。

发明内容

本发明要解决的技术问题是提供一种能够降低大气散射邻近效应对成像图像的影响，提高图像的对比度和清晰度，增加图像细节，图像去雾效果好的面向大气散射邻近效应的图像去雾方法。

为解决上述技术问题，本发明采用的技术方案为：一种面向大气散射邻近效应的图像去雾方法，其实施步骤如下：

1)获取原始图像的图像透射率并通过图像去雾算法获取原始图像的初步去雾图像；

2)根据所述原始图像的图像透射率建立图像的辐射传输方程；

3)求解所述辐射传输方程获得图像的大气点扩散函数；

4)根据大气点扩散函数对所述初步去雾图像进行反卷积处理，得到最终去雾图像。

作为本发明上述技术方案的进一步改进：

所述步骤1)中的详细步骤包括：

①、根据

获取原始图像的暗原色I^dark，其中min操作符表示取最小值，c表示r通道、g通道或者b通道，I^c表示原始图像中c通道的分量，Ω(x)表示以像素点x为中心的正方形区域；

②、从所述暗原色I^dark的所有点中提取部分最亮点，在所述部分最亮点对应的可见光图像的像素中选择强度最大的像素点的值作为大气光值A；

③、根据暗原色先验利用公式计算原始图像的透射率初始值t′，其中ω为常数系数，A^c为大气光值的c通道的分量，I^c(x)为原始图像中c通道的分量；

④、根据(L+λU)t＝λt′对透射率初始值t′进行优化得到优化后的透射率t，其中L为软抠图拉普拉斯矩阵，λ为修正参数，U为与L大小相同的单位矩阵；

⑤、通过

去除原始图像中太阳辐射的大气直接散射部分以及补偿景物通过大气传输的直接衰减部分最终得到原始图像的初步去雾图像J，其中I为原始图像，A为原始图像的大气光值，max操作符表示取最大值，t为优化后的透射率，t₀为常数。

所述步骤2)中建立的辐射传输方程为：

$\mathrm{\μ}\frac{\∂E}{\∂T}+\frac{1-{\mathrm{\μ}}^2}{T}\frac{\∂E}{\∂\mathrm{\μ}}=-E(T,\mathrm{\μ})+...\frac{1}{4\mathrm{\π}}\underset{0}{\overset{2\mathrm{\π}}{\∫}}\underset{-1}{\overset{+1}{\∫}}P\left(\cos \mathrm{\α}\right)E(T,{\mathrm{\μ}}^{\′})d{\mathrm{\μ}}^{\′}d{\mathrm{\φ}}^{\′},$

其中，μ＝cosθ，μ′＝cosθ′，其中(θ，Φ)表示反射光的传输方向，(θ′，Φ′)表示入射光的传输方向；E为辐射能量；T＝σR，σ为消光系数，R为传输距离； $P\left(\cos \mathrm{\α}\right)=\frac{1-q^2}{{(1+q^2-2q\cos \mathrm{\α})}^{3/2}},$ 其中 $\cos \mathrm{\α}={\mathrm{\μ\μ}}^{\′}+\sqrt{(1-{\mathrm{\μ}}^2)(1-{\mathrm{\μ}}^{\′2})}\cos (\mathrm{\φ}-{\mathrm{\φ}}^{\′}),$ α为入射光与反射光的夹角，q为与天气相关的常数。

所述步骤3)中求解得到的大气点扩散函数为：

$\mathrm{APSF}(x,y;q,T)=\frac{e^{-\frac{{(x^2+y^2)}^{\frac{p}{2}}}{{\left|A(p,\mathrm{\σ})\right|}^p}}}{4{\mathrm{\Γ}}^2(1+\frac{1}{p})A^2(p,\mathrm{\σ})},$ 其中x、y为像素坐标；p＝-k ln t，k为常数系数，t为图像透射率；σ＝(1-q)/q，q为与天气相关的常数系数；Γ(·)为gamma函数； $A(p,\mathrm{\σ})={[{\mathrm{\σ}}^2\mathrm{\Γ}\left(\frac{1}{p}\right)/\mathrm{\Γ}\left(\frac{3}{p}\right)]}^{\frac{1}{2}}.$

所述步骤4)中对初步去雾图像进行反卷积处理具体是指采用维纳滤波进行反卷积处理，且频率域的维纳滤波如下式所示：

$G(u,v)=\left[\frac{1}{\mathrm{APSF}(u,v)}\frac{{\left|\mathrm{APSF}(u,v)\right|}^2}{{\left|\mathrm{APSF}(u,v)\right|}^2+S_{\mathrm{\η}}(u,v)/S_f(u,v)}\right]J(u,v)$

其中，S_η(u，v)为噪声功率谱，S_f(u，v)为退化图像的功率谱，APSF(u，v)为步骤3)得到的大气点扩散函数。

本发明具有下述优点：本发明根据原始图像的图像透射率建立图像的辐射传输方程、求解辐射传输方程获得图像的大气点扩散函数，并根据大气点扩散函数对初步去雾图像进行反卷积处理得到最终去雾图像，能够降低大气散射邻近效应对成像图像的影响，提高图像的对比度和清晰度，增加图像细节，图像去雾效果好。

附图说明

图1为本发明实施例的简要流程示意图。

图2为本发明实施例的详细流程示意图。

图3为本发明实施例的原始图像。

图4为本发明实施例将图3经过图像透射率提取并优化后得到的图像透射率。

图5为本发明实施例在图3的基础上得到的初步去雾图像。

图6为本发明实施例在图5的基础上得到的最终去雾图像。

具体实施方式

如图1所示，本实施例面向大气散射邻近效应的图像去雾方法的实施步骤如下：

1)获取原始图像的图像透射率并通过图像去雾算法获取原始图像的初步去雾图像；

2)根据原始图像的图像透射率建立图像的辐射传输方程；

3)求解辐射传输方程获得图像的大气点扩散函数；

4)根据大气点扩散函数对初步去雾图像进行反卷积处理，得到最终去雾图像。

本发明步骤1)中可采用任意图像去雾算法来获取原始图像的初步去雾图像，本实施例中采用基于暗原色先验的图像去雾算法获取原始图像的初步去雾图像，基于暗原色先验的图像去雾方法能较好地实现图像去雾，能够提高作为本发明去雾处理基础图像的图像去雾质量。基于暗原色先验的图像去雾方法主要包括建立雾图形成数学模型(1)、暗原色先验模型(2)、透射率估测(3)、大气光估测(4)、去雾复原(5)等步骤：

(1)、雾图形成数学模型。

考虑大气传输过程中雾造成的影响，成像过程可以描述为：

I(x)＝J(x)t(x)+A(1-t(x))

式中I(x)为成像获得的图像；J(x)为景物图像；A为受雾气影响的大气光；t(x)为大气透射率且t＝e^-βd，其中β为大气散射系数，d为景物到探测器的距离。

(2)、暗原色先验模型。

暗原色先验来自对户外无雾图像数据库的统计规律，它基于经观察得到的这么一个关键事实——绝大多数的户外无雾图像的每个局部区域都存在某些至少一个颜色通道的强度值很低的像素。用公式表示为：

$\underset{c}{\min }\left(\underset{\mathrm{\Ω}}{\min }\left(J^c\left(x\right)\right)\right)\→0$

式中，c表示r通道、g通道或者b通道；Ω表示以像素点x为中心的正方形区域；J^c表示图J的c通道的分量；J表示户外无雾图像。利用这个先验知识分析雾图形成模型，可直接估算图像的透射率以及场景的深度信息。

(3)、透射率估测。

根据暗原色先验可以由雾图形成模型推导出图像的透射率初始值，计算公式如下：

$t^{\′}\left(x\right)=1+\underset{c}{\min }\left(\underset{\mathrm{\Ω}}{\min }\left(\frac{I^c\left(x\right)}{A^c}\right)\right)$

现实中，即使是很晴朗的天气，空气中总会不可避免地包含一些杂质分子。因此，引进一个常数ω(0＜ω≤1)，有针对性的保留一部分覆盖遥远景物的雾，则透射率的计算公式为：

$t^{\′}\left(x\right)=1+\mathrm{\ω}\underset{c}{\min }\left(\underset{\mathrm{\Ω}}{\min }\left(\frac{I^c\left(x\right)}{A^c}\right)\right)$

得到透射率的初始值t’后，根据软抠图的思想对透射率进行优化，获取优化后的透射率t，计算公式如下：

(L+λU)t＝λt′

式中L为软抠图拉普拉斯矩阵，λ为修正参数，U为与L大小相同的单位矩阵。

(4)、大气光估测。

从成像图像的暗原色的所有点中提取部分最亮点，然后在所述部分最亮点对应可见光图像的像素中，选择强度最大的像素点的值作为大气光值。图像的暗原色可以用以下公式计算获得：

$I^{\mathrm{dark}}\left(x\right)=\underset{c\∈\{r,g,b\}}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(I^c\left(y\right)\right)\right)$

(5)、去雾复原。

从成像图像中估测得到图像的透射率和大气光后，根据雾图形成模型去除成像时太阳辐射直接经大气散射输入到图像的部分，以及补偿景物经大气传输后输入到图像的直接衰减部分，得到初步去雾图像J，即

$J=\frac{I-A}{\max (t,t_0)}+A$

如图2所示，本实施例中步骤1)中的详细步骤包括：

①、根据

获取原始图像的暗原色I^dark，其中min操作符表示取最小值，c表示r通道、g通道或者b通道，I^c表示原始图像中c通道的分量，Ω(x)表示以像素点x为中心的正方形区域。Ω(x)区域大小应以恰好能覆盖除天空区域以外的白色物体为宜，本实施例中，图像的像素大小均为519*778，Ω(x)区域大小为9*9大小的区域。

②、从暗原色I^dark的所有点中提取部分最亮点，在部分最亮点对应的可见光图像的像素中选择强度最大的像素点的值作为大气光值A；本实施例提取部分最亮点时，提取0.1％数量的最亮点作为部分最亮点。

③、根据暗原色先验利用公式

计算原始图像的透射率初始值t′，其中ω为常数系数，本实施例中ω＝0.7，A^c为大气光值的c通道的分量，I^c(x)为原始图像中c通道的分量；

④、根据(L+λU)t＝λt′对透射率初始值t′进行优化得到优化后的透射率t，其中L为软抠图拉普拉斯矩阵，λ为修正参数，本实施例中λ＝10^-5，U为与L大小相同的单位矩阵。图3所示的原始图像经过图像透射率优化后，得到的图像如图4所示。

⑤、通过去除原始图像中太阳辐射的大气直接散射部分以及补偿景物通过大气传输的直接衰减部分最终得到图3的初步去雾图像J(如图5所示)，其中I为原始图像，A为原始图像的大气光值，max操作符表示取最大值，t为优化后的透射率，t₀为常数，本实施例中t₀＝0.1。

大气辐射传输方程是描述了辐射能量在空间或煤质中的传输过程、特性及其规律的数学方程。与天气状况、传输方向等因素有关。本实施例中，步骤2)中建立的辐射传输方程为：

$\mathrm{\μ}\frac{\∂E}{\∂T}+\frac{1-{\mathrm{\μ}}^2}{T}\frac{\∂E}{\∂\mathrm{\μ}}=-E(T,\mathrm{\μ})+...\frac{1}{4\mathrm{\π}}\underset{0}{\overset{2\mathrm{\π}}{\∫}}\underset{-1}{\overset{+1}{\∫}}P\left(\cos \mathrm{\α}\right)E(T,{\mathrm{\μ}}^{\′})d{\mathrm{\μ}}^{\′}d{\mathrm{\φ}}^{\′},$

其中，μ＝cosθ，μ′＝cosθ′，其中(θ，Φ)表示反射光的传输方向，(θ′，Φ′)表示入射光的传输方向；E为辐射能量；T＝σR，σ为消光系数，R为传输距离； $P\left(\cos \mathrm{\α}\right)=\frac{1-q^2}{{(1+q^2-2q\cos \mathrm{\α})}^{3/2}},$ 其中 $\cos \mathrm{\α}={\mathrm{\μ\μ}}^{\′}+\sqrt{(1-{\mathrm{\μ}}^2)(1-{\mathrm{\μ}}^{\′2})}\cos (\mathrm{\φ}-{\mathrm{\φ}}^{\′}),$ α为入射光与反射光的夹角，q为与天气相关的常数。

将瞬间视场外像元的散射能量对瞬间视场内像元的贡献能量称之为该像元的面向大气散射邻近效应，大气点扩散函数APSF即包含面向大气散射邻近效应的信息。大气散射邻近效应在某种程度上使观测目标的边缘产生模糊，造成图像的钝化和失真，可以看作是目标表面的辐射场和大气点扩散函数的卷积，得到精确的大气点扩散函数后，可以通过反卷积来去除邻近效应的影响。如图2所示，本实施例中步骤3)中求解得到的大气点扩散函数为：

$\mathrm{APSF}(x,y;q,T)=\frac{e^{-\frac{{(x^2+y^2)}^{\frac{p}{2}}}{{\left|A(p,\mathrm{\σ})\right|}^p}}}{4{\mathrm{\Γ}}^2(1+\frac{1}{p})A^2(p,\mathrm{\σ})},$

其中x、y为像素坐标；p＝-k ln t，k为常数系数，t为图像透射率；σ＝(1-q)/q，q为与天气相关的常数系数；Γ(·)为gamma函数；

本实施例中，k＝0.5，q＝0.9。

如图2所示，本实施例中步骤4)中对初步去雾图像进行反卷积处理具体是指采用维纳滤波进行反卷积处理，得到最终的考虑了大气散射邻近效应的最终去雾图像(如图6所示)。即根据J＝G*APSF进行反卷积处理，其中频率域的维纳滤波如下式所示：

$G(u,v)=\left[\frac{1}{\mathrm{APSF}(u,v)}\frac{{\left|\mathrm{APSF}(u,v)\right|}^2}{{\left|\mathrm{APSF}(u,v)\right|}^2+S_{\mathrm{\η}}(u,v)/S_f(u,v)}\right]J(u,v)$

其中，S_η(u，v)为噪声功率谱，S_f(u，v)为退化图像的功率谱，APSF(u，v)为步骤3)得到的大气点扩散函数，G(u，v)为最终去雾图像，本实施例中，取S_η(u，v)/S_f(u，v)＝0.01。

如图6所示，图6相对图5的初步去雾图像的去雾效果显著增强，对比度和清晰度更高、图像细节跟更加丰富，显著降低了大气散射邻近效应对图像的影响。用灰度平均梯度法算子法(GMG)和Laplace算子和法(LS)这两种常用的评价指标来评价初步去雾图像和最终去雾图像，得到的结果为：图5的GMG值为0.0301，LS值为0.1678；而图6的GMG值为0.0529，LS值为0.3092。GMG和LS算法都是值越大对应图像越佳，所以用上述两种评价方法评价的结果都显示图6的图像质量优于图5。

以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明原理的技术方案均属于本发明的保护范围。对于本领域的技术人员而言，在不脱离本发明的原理的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种面向大气散射邻近效应的图像去雾方法，其特征在于其实施步骤如下：

1)获取原始图像的图像透射率并通过图像去雾算法获取原始图像的初步去雾图像；

2)根据所述原始图像的图像透射率建立图像的辐射传输方程；

3)求解所述辐射传输方程获得图像的大气点扩散函数；

4)根据大气点扩散函数对所述初步去雾图像进行反卷积处理，得到最终去雾图像。

2.根据权利要求1所述的面向大气散射邻近效应的图像去雾方法，其特征在于，所述步骤1)中的详细步骤包括：

①、根据获取原始图像的暗原色I^dark，其中min操作符表示取最小值，c表示r通道、g通道或者b通道，I^c表示原始图像中c通道的分量，Ω(x)表示以像素点x为中心的正方形区域；

②、从所述暗原色I^dark的所有点中提取部分最亮点，在所述部分最亮点对应的可见光图像的像素中选择强度最大的像素点的值作为大气光值A；

③、根据暗原色先验利用公式计算原始图像的透射率初始值t′，其中ω为常数系数，A^c为大气光值的c通道的分量，I^c(x)为原始图像中c通道的分量；

④、根据(L+λU)t＝λ′对透射率初始值t′进行优化得到优化后的透射率t，其中L为软抠图拉普拉斯矩阵，λ为修正参数，U为与L大小相同的单位矩阵；

⑤、通过

去除原始图像中太阳辐射的大气直接散射部分以及补偿景物通过大气传输的直接衰减部分最终得到原始图像的初步去雾图像J，其中I为原始图像，A为原始图像的大气光值，max操作符表示取最大值，t为优化后的透射率，t₀为常数。

3.根据权利要求1所述的面向大气散射邻近效应的图像去雾方法，其特征在于，所述步骤2)中建立的辐射传输方程为：

$\mathrm{\μ}\frac{\∂E}{\∂T}+\frac{1-{\mathrm{\μ}}^2}{T}\frac{\∂E}{\∂\mathrm{\μ}}=-E(T,\mathrm{\μ})+...\frac{1}{4\mathrm{\π}}\underset{0}{\overset{2\mathrm{\π}}{\∫}}\underset{-1}{\overset{+1}{\∫}}P\left(\cos \mathrm{\α}\right)E(T,{\mathrm{\μ}}^{\′})d{\mathrm{\μ}}^{\′}d{\mathrm{\φ}}^{\′},$

其中，μ＝cosθ，μ′＝cosθ′，其中(θ，Φ)表示反射光的传输方向，(θ′，Φ′)表示入射光的传输方向；E为辐射能量；T＝σR，σ为消光系数，R为传输距离； $P\left(\cos \mathrm{\α}\right)=\frac{1-q^2}{{(1+q^2-2q\cos \mathrm{\α})}^{3/2}},$ 其中 $\cos \mathrm{\α}={\mathrm{\μ\μ}}^{\′}+\sqrt{(1-{\mathrm{\μ}}^2)(1-{\mathrm{\μ}}^{\′2})}\cos (\mathrm{\φ}-{\mathrm{\φ}}^{\′}),$ α为入射光与反射光的夹角，q为与天气相关的常数。

4.根据权利要求1所述的面向大气散射邻近效应的图像去雾方法，其特征在于，所述步骤3)中求解得到的大气点扩散函数为：

$\mathrm{APSF}(x,y;q,T)=\frac{e^{-\frac{{(x^2+y^2)}^{\frac{p}{2}}}{{\left|A(p,\mathrm{\σ})\right|}^p}}}{4{\mathrm{\Γ}}^2(1+\frac{1}{p})A^2(p,\mathrm{\σ})},$ 其中x、y为像素坐标；p＝-k ln t，k为常数系数，t为图像透射率；σ＝(1-q)/q，q为与天气相关的常数系数；Γ(·)为gamma函数； $A(p,\mathrm{\σ})={[{\mathrm{\σ}}^2\mathrm{\Γ}\left(\frac{1}{p}\right)/\mathrm{\Γ}\left(\frac{3}{p}\right)]}^{\frac{1}{2}}.$

5.根据权利要求1或2或3或4所述的面向大气散射邻近效应的图像去雾方法，其特征在于，所述步骤4)中对初步去雾图像进行反卷积处理具体是指采用维纳滤波进行反卷积处理，且频率域的维纳滤波如下式所示：

$G(u,v)=\left[\frac{1}{\mathrm{APSF}(u,v)}\frac{{\left|\mathrm{APSF}(u,v)\right|}^2}{{\left|\mathrm{APSF}(u,v)\right|}^2+S_{\mathrm{\η}}(u,v)/S_f(u,v)}\right]J(u,v)$

其中，S_η(u，v)为噪声功率谱，S_f(u，v)为退化图像的功率谱，APSF(u，v)为步骤3)得到的大气点扩散函数。

Images