CN108447034A - 一种基于光照分解的海上雾天图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于光照分解的海上雾天图像去雾方法。该去雾方法包括四部分内容：基于约束的图像光照分解，将散射模型中产生场景散射光的大气光强视为一个空域变量，根据梯度和亮度上的约束，对输入雾气图像进行迭代分解，得到雾气图层和散射光图层(S1)；基于雾气图层去雾，根据雾气图层信息，计算大气光强和透射率，并获得初步去雾图像(S2)；基于初步去雾图像纹理信息的散射光图层的重映射，计算初步去雾图像纹理系数，对散射光图层进行纹理恢复(S3)；基于亮度补偿的图像增强，利用初步去雾图像与纹理恢复的散射光图像进行叠加获得最终去雾图像(S4)。本发明方法所得到的海上去雾图像清晰自然，保真效果好。

Description

一种基于光照分解的海上雾天图像去雾方法

技术领域

本发明涉及一种图像增强方法，尤其涉及一种基于光照分解的海上 雾天图像去雾方法，属于数字图像处理技术领域。

背景技术

室外监控视频所采集的图像的质量会受到恶劣天气的影响而剧烈下 降。例如，在雾天与阴霾天，空气中大量的悬浮颗粒会导致采集的图像 对比度下降，可视度降低，目标模糊等问题，这些问题会极大程度上影 响监控系统的正常使用。所以人们一直致力于使用图像增强的算法来提 高图像对比度。

其中基于雾天散射光模型的去雾算法因为符合雾天成像原理可以获 得较自然的去雾效果。散射光模型提出大气粒子的散射效应会导致场景 反射光的衰减和产生大气散射光，从而导致观测目标与场景背景的对比 度减小。而散射效应的强度与场景深度和大气光强有关。所以一旦能够 精确估计场景中的这两个物理量，就可以根据散射光模型消去雾天对图 像带来的影响，得到清晰自然地无雾图像。

在过去的多年里，人们一直倾向于使用辅助信息或者是多幅图像来 估计场景景深和大气光强。而近年来人们提出了一些适用于雾天场景深 度估计的先验或模型，使得单幅图像去雾技术得到了很好的发展。其中 的代表性研究主要包括：最大化局部对比度先验，暗原色先验，色彩退 化模型，多特征融合的深度学习模型等。这些方法对于陆上雾天图像的 处理都可以取得很好的去雾效果，也存在着一些限制条件。

基于无雾图像的对比度高于雾气图像对比度的先验，通过最大化图 像块状区域对比度方法可以得到雾天图像的场景深度。这种最大化局部 对比度方法虽然可以获得对比度最大的去雾图像，但是容易导致去雾图 像过增强而产生偏色；暗原色先验是自然无雾图像中每个块状区域中的 最小值都接近于0的统计知识，通过暗原色的统计可以得到雾气图像中 散射光大小，并估计出场景深度，获得高保真的去雾图像。但是对于不 符合暗原色先验的高亮度区域，暗原色方法容易导致去雾图像失真；基 于雾气图像的亮度，色调与场景深度呈线性关系的统计知识，通过雾气 图像的颜色和亮度可以估计出场景深度，但这种颜色退化方法不适用于 颜色单调的场景；而基于深度学习方法需要大量的室外无雾图像与雾气 图像样本进行训练，采集样本的质量和分布都会影响去雾的结果，在实 际应用中存在困难。

由于海上雾气场景中大气散射效应使得天空入射光存在衰减，会导 致大气中不同位置处的光照亮度存在差异，所以海上雾气场景中散射光 分布更复杂。场景中的散射光的强度不止受到场景深度的影响，还受到 变化的大气光强的影响。

而传统散射模型中大气光强为全局常量，所以基于传统散射光模型 的方法在处理海上的雾气图像时，均存在大气散射光和场景深度估计失 准的问题。

在此背景下，基于大气光学，研究一种更为符合海上雾天的散射光 模型的海上雾天图像去雾方法具有重要意义。

发明内容

根据本发明的一个方面，提供了一种基于光照分解的海上雾天图像 去雾方法，其特征在于包括：

A)将散射模型中产生场景散射光的大气光强视为一个空域变量， 由此将原图视为两个部分之和：一个恒定大气光强值的雾气图层和一个 由大气光强的变化分量所产生的散射光图层；根据雾气图层和散射光图 层的梯度和亮度上的约束，对输入雾气图像进行迭代分解，得到两个图 层即雾气图层F和散射光图层G；

B)针对雾气图层F，求F中灰度值占据前百分之一的像素的亮度均 值得到大气光L；使用K-means方法将L与F的差值图像中的像素聚类 到1000个不同的颜色簇j(j＝0,1…,1000)中，并计算每个簇中像素的像 素亮度与簇中最大亮度的比值，作为像素的透射率T。利用透射率T、大 气光强L和雾气图层F的定义获得初步的去雾图像D₁；

C)用初步的去雾图像D₁的像素值除以对应位置的背景亮度值，得到 纹理系数图像R，该纹理系数图像R代表了初步的去雾图像D₁的纹理信 息；针对散射光图层G，将散射光图层G中的像素值乘以R对应位置的 值，得到恢复纹理的散射光图像G_d；

D)将D₁与G_d相加，得到最终的去雾图像D₂。

附图说明

图1为本发明所述的光照分解的海上图像的图像去雾方法流程图。

图2(a)至2(d)为本发明所示的海上散射模型的示意图和海上雾气图 像的梯度图；其中，图2(a)为传统散射模型示意图，图2(b)表示本发明 提出的海上散射模型示意图，图2(c)和2(d)分别是拍摄于海上场景的雾 气图片的梯度图，其中天空区域的环状梯度表示图片中存在有规律的光 照衰减。

图3(a)至3(f)为本发明方法分解得到雾气图层、散射光图层和初步的 去雾结果；其中，图3(a)为原始图像，图3(b)雾气图层，图3(c)表示散射 光图层，图3(d)表示大气光与雾气图层差值图像，图3(e)表示雾气图层 的透射率，图3(f)表示本发明方法获取得雾气图层去雾得到的图像D₁。

图4(a)至4(c)为由图像D₁决定的纹理系数图R，恢复纹理的散射光 图层以及最终的去雾结果；其中，图4(a)为纹理系数图R，图4(b)表示 恢复纹理的散射光图层，图4(c)表示本发明方法获取的最终去雾结果D₂。

图5(a)至5(c)为根据本发明的去雾方法与现有典型去雾方法在测试 图像上的实验结果对比；其中，图5(a)表示海上雾天图像，图5(b)表示 改进暗原色方法IDCP获取的去雾后图像，图5(c)表示本发明方法获取的 去雾后图像。

具体实施方式

根据本发明的一个方面，提供了一种基于光照分解的海上雾天图像 去雾方法。本发明的该方法实现了海上图像去雾，且该方法得到的海上 去雾图像具有对比度高，清晰自然的优点。

为实现海上图像去雾，本发明采用下述技术方案：

一种基于光照分解的海上雾天图像去雾方法，其特征在于包括：

A)将散射模型中产生场景散射光的大气光强视为一个空域变量， 由此将原图视为两个部分之和：一个恒定大气光强值的雾气图层和一个 由大气光强的变化分量所产生的散射光图层；根据雾气图层和散射光图 层的梯度和亮度上的约束，对输入雾气图像进行迭代分解，得到两个图 层F和G；

B)针对雾气图层F，求F中灰度值占据前百分之一的像素的亮度均 值得到大气光L；其中，使用K-means方法将L与F的差值图像中的像 素聚类到1000个不同的颜色簇j(j＝0,1…,1000)中，并计算每个簇中像 素的像素亮度与簇中最大亮度的比值，作为像素的透射率T；利用透射 率T、大气光强L和雾气图层F的定义获得初步的去雾图像D₁；

C)用图像D₁的像素值除以对应位置的背景亮度值，得到纹理系数图 像R，该图像代表了图像D₁的纹理信息；针对散射光图层G，将G中的 像素值乘以R对应位置的值，得到恢复纹理的散射光图像G_d；

D)将D₁与G_d相加，得到最终的去雾图像D₂。

根据本发明的一个进一步的实施例，在上述步骤A)中，用能量函 数约束方法对于图像进行迭代分解，得到两个图层F和G：

其中，α,β,为平衡因子，用来控制图像分解时图层F和G的亮度和梯度； F_b代表F的背景亮度，代表梯度操作，|| ||代表向量范数。初始化时， 设置F＝I,α＝50,β＝0.01。

根据本发明的一个进一步的实施例，在上述步骤B)中对分解后的 雾气图层F进行去雾处理，而不是处理整张输入图像I。

根据本发明的一个进一步的实施例，在上述步骤C)中，用R表示 图像D₁的纹理系数，用公式表示为：

R(x)＝J(x)/J_b(x) (5)

其中J表示图像D₁的像素值，J_b表示图像D₁的背景亮度；该背景亮度是 对D₁三通道的最大值图像，进行高斯平滑得到。

根据本发明的一个进一步的实施例，在上述步骤D)中采用了光照 补偿算法对于初步去雾图像进行光照补偿。因为图像D₁产生于分解图像 F,缺失了G中的光照信息，这会导致图像D₁不自然。为了融合图像G 中的光照信息的同时不损失图像D₁的纹理信息，利用R作为引导图像引 导恢复G中的纹理，并进行叠加以获得最终的去雾图像D₂，该过程可用 公式表示为：

D₂(x)＝R(x)*G(x)+D₁(x) (6)

由此，本发明提出了一种基于光照分解的海上雾天图像去雾方法。 该去雾方法考虑了海上环境复杂的光照和地形条件，通过结合光照分解 和亮度补偿，可以保证提高雾气图像对比度的同时，保留住输入雾气图 像的自然光照信息。所以本发明方法获得的去雾图像清晰且自然，适用 于处理各种场景与光照条件的海上雾气图像。

本发明所提供的基于光照分解的海上雾天图像去雾方法，对现有散 射光模型和去雾方法构成了实质性的显著改进。与现有技术相比，本发 明的有益效果体现在去雾效果的自然度和清晰度的提高上。

以下对本发明的实施例进行具体说明。

本发明中，描述海上雾气图像光辐射的散射光模型的原理如下：

传统散射光模型为：

其中A为全局大气光强，是一个常量，其值等于雾气场景中处于无穷远 处天空区域地平线位置的光强值。

然而在海上雾气场景中，由于散射效应会导致天空入射光的衰减， 天空区域的光照分布不再均衡，所以无穷远处天空区域的亮度存在较大 的差异，如图2(c)和图2(d)的梯度图所示，天空区域的环状梯度表示 图片中存在有规律的光照衰减。

如果选择天空区域中最大的亮度值作为大气光强，会导致去雾图像 过于暗淡，而取天空区域中较小的亮度值作为大气光强，会导致去雾图 像过增强，很难选择一个合适的亮度值作为全局大气光强值。所以，与 图2(a)所示的传统模型不同，本发明认为模型中的大气光强受到多重散 射影响成为了一个空间上变化的变量I_s，如图2(b)所示。而这个变量不 能直接通过计算得到，那么大气光强对于散射光的影响无法被准确估计。 所以本发明将这个变量分解为一个固定亮度值和变化的亮度值之和：

I_s(x)＝V(x)+L (8)

由此将输入图像分解为一个大气光强恒定的雾气图像，和一个由于 场景光照变化而产生的散射光图像，由公式表示为：

也就是I(x)＝F(x)+G(x)，其中F(x)＝J(x)e^-βd+L(1-e^-βd)表示一个有着恒 定大气光强值L的雾气图层,表示大气光强的变 化部分分量V(x)所产生的散射光图层。

本发明中，基于公式(9)中的散射光模型，海上图像去雾方法如图 1所示包括几个部分(注：图1中所示的图的原图是彩色的)：第一，基 于约束的图像光照分解，将散射模型中产生场景散射光的大气光强视为 一个空域变量，根据梯度和亮度上的约束，对输入雾气图像进行迭代分 解，得到雾气图层和散射光图层。第二，基于雾气图层去雾，根据雾气 图层信息，计算大气光强和透射率，并获得初步去雾图像；第三，基于 初步去雾图像纹理信息的散射光图层的重映射，计算初步去雾图像纹理 系数，对散射光图层进行纹理恢复；第四，基于亮度补偿的图像增强， 利用初步去雾图像与纹理恢复的散射光图像进行叠加获得最终去雾图 像。下面以附图的方式对于本发明中的去雾步骤展开具体说明。

1.基于约束的图像光照分解：

将散射模型中产生场景散射光的大气光强视为一个空域变量，由此 将原图视为两个部分之和：一个恒定大气光强值的雾气图层和一个由大 气光强的变化分量所产生的散射光图层。分解得到的两个图像存在亮度 和梯度的约束：

(1)图像G由光照变化的幅度和场景深度两个变量决定，而散射 引起的场景空间光照变化和图像中的场景深度变化都是相当平缓的，所 以图像G比较平缓。

(2)图像F由场景深度和场景的纹理信息两个变量决定，而自然图 像的纹理是较为稀疏的，所以图像F的纹理是一个稀疏量。

(3)雾气图像中具有越大亮度值，较小梯度值的区域，其透射率较 低，代表此处场景深度较大，而且光照较强，所以此区域的G较大。

可以通过这些约束关系设置能量函数来对两个图层进行约束，并通 过最小化能量函数对于如图3(a)所示的输入雾天图像，进行迭代分解， 从而得到满足约束的雾层图像F和散射光图像G，如图3(b)和图3(c)所 示。本文中用以下公式对图层进行约束:

其中，分别用L1范数约束F的梯度的稀疏性，抑制F中的噪点，用L2 范数约束G的平滑度，使F保留输入图像的边缘纹理，并用L2范数约 束F高亮度区域的亮度，使F的背景亮度均衡。

2.基于雾气图层的去雾

F的背景亮度较为均衡，无穷远处的光照波动较小，可以取天空区 域的光照的均值作为全局大气光强。为了避免噪声的影响，本发明中的 方法选取1％像素的最大灰度值的平均值作为大气光的估计。

由于海上图像存在大片平坦且亮度较高的区域，且梯度比陆地图像 稀疏，所以依赖梯度估计透射率的先验知识例如暗原色先验变得不适用。 而Berman将传统的散射光模型转化为：

A-I(x)＝(A-J(x))(1-t) (11)

也就是：

I_A(x)＝J_A(x)(1-t) (12)

根据公式得到了结论：透射率只影响差值图像J_A中像素的亮度，而 不影响像素的色调，所以差值图像I_A中同一色调的像素的亮度可以表示 像素透射率的大小。所以可以根据色调差异使用K-means方法将I_A中的 像素聚类到1000个不同的颜色簇j(j＝0,1…,1000)中，通过颜色簇中像 素的亮度来估计像素的透射率。每个颜色簇中的像素的亮度差异由透射 率决定，可以认为每个颜色簇中亮度最大的像素为无雾像素，其透射率 为1。颜色簇中其他像素的透射率就等于像素亮度与最大亮度的比值， 就可以求出雾气图像的透射率T。

但这一算法忽视了图像中场景光照变化带来的相同色调的像素之间 的亮度差异。而本发明在步骤一中通过图像分解得到了一个光照均衡的 图层F，可以消除输入图像中具有相同色调的像素之间存在亮度差异的 问题，所以本发明可以通过Berman的方法来准确有效的估计海上图像雾 气图层F的透射率T。大气光与雾气图层的差值图像如图3(d)所示，雾 气图层的透射率如图3(e)所示。

利用透射率T、大气光强L和雾气图层F的定义获得初步的去雾图 像D₁，如图3(f)所示，其公式如下：

3.基于初步去雾图像纹理信息的散射光图层的重映射

由于G，F各自包含了输入图像的一部分光照信息。因为图像D₁产 生于雾气图层F,缺失G中的光照信息，导致图像D₁不自然。又因为G 是平滑的无纹理的图层，直接与D₁相加会遮盖D₁中的纹理信息，为了融 合图像G中的光照信息的同时不损失图像D₁的纹理信息。本发明用D₁中 的纹理系数R对G进行引导，恢复G中的纹理，D₁中的纹理信息，如 图4(a)所示，可以由公式来获取：

R(x)＝J(x)/J_b(x) (14)

其中J表示图像D₁的像素值，J_b表示图像D₁的背景亮度。该背景亮度是 对D₁三通道的最大值图像，进行高斯平滑得到。

针对散射光图层G，将G中的像素值乘以R对应位置的值，得到恢 复纹理的散射光图像G_d，如图4(b)所示。

4.基于亮度补偿的图像增强

G恢复纹理后与D₁相加，就是对图像D₁进行光照补偿处理，可以使 最终的去雾图像，在提高对比度的同时，还能保留住输入雾气图像的光 照信息，适用于处理各种场景与光照条件的海上雾气图像，如图4(c)所 示。

图5中显示了本发明的去雾方法与现有典型去雾方法在测试图像上 的实验结果对比(注：图5(a)至5(c)中所示的图的原图是彩色的)。图5 (a)表示海上雾天图像，图5(b)表示暗原色方法IDCP所处理获取的去雾 图像，图5(c)表示本发明方法获取的去雾图像。由图5(a)至5(c)可知， 本发明获得的去雾图像清晰且自然，具有较高的图像质量。

需要说明的是，以上公开的仅为本发明的具体实施实例。根据本发 明所提供的技术思想，本领域的普通技术人员所能思及的变化应落入本 发明的保护范围内。

Claims (5)

1.一种基于光照分解的海上雾天图像去雾方法，其特征在于包括：

A)将散射模型中产生场景散射光的大气光强视为一个空域变量，由此将原图视为两个部分之和：一个恒定大气光强值的雾气图层和一个由大气光强的变化分量所产生的散射光图层；根据雾气图层和散射光图层的梯度和亮度上的约束，对输入雾气图像进行迭代分解，得到两个图层即雾气图层F和散射光图层G；

B)针对雾气图层F，求F中灰度值占据前百分之一的像素的亮度均值得到大气光L；使用K-means方法将L与F的差值图像中的像素聚类到1000个不同的颜色簇j(j＝0,1…,1000)中，并计算每个簇中像素的像素亮度与簇中最大亮度的比值，作为像素的透射率T。利用透射率T、大气光强L和雾气图层F的定义获得初步的去雾图像D₁；

C)用初步的去雾图像D₁的像素值除以对应位置的背景亮度值，得到纹理系数图像R，该纹理系数图像R代表了初步的去雾图像D₁的纹理信息；针对散射光图层G，将散射光图层G中的像素值乘以R对应位置的值，得到恢复纹理的散射光图像G_d；

D)将D₁与G_d相加，得到最终的去雾图像D₂。

2.根据权利要求1所述的基于光照分解的海上雾天图像去雾方法，其特征在于：

所述步骤A)中，用能量函数约束方法对于图像进行迭代分解，得到雾气图层F和散射光图层G：

其中，α,β,为平衡因子，用来控制图像分解时，图层F,G的亮度和梯度。F_b代表F的背景亮度，▽代表梯度操作，||||代表向量范数，

其中在初始化时，设置F＝I,α＝50,β＝0.01。

3.根据权利要求1所述的基于光照分解的海上雾天图像去雾方法，其特征在于：

所述步骤B)中对分解后的雾气图层F进行去雾处理，而不是处理整张输入图像I。

4.根据权利要求1所述的基于光照分解的海上雾天图像去雾方法，其特征在于：

所述步骤C)中，用R表示初步的去雾图像D₁的纹理系数，用公式表示为：

R(x)＝J(x)/J_b(x) (2)

其中J表示D₁的像素值，J_b表示D₁的背景亮度，该背景亮度是通过对D₁三通道的最大值图像进行高斯平滑得到。

5.根据权利要求1所述的基于光照分解的海上雾天图像去雾方法，其特征在于：

所述步骤D)采用了光照补偿算法对初步去雾图像进行了光照补偿，包括：

用R作为引导图像引导恢复G中的纹理，并进行叠加以获得最终的去雾图像D₂，该过程可用公式表示为：

D₂(x)＝R(x)*G(x)+D₁(x) (3)。