CN116309184A - 基于饱和度线先验的单帧图像去雾方法及装置 - Google Patents
基于饱和度线先验的单帧图像去雾方法及装置 Download PDFInfo
- Publication number
- CN116309184A CN116309184A CN202310449452.7A CN202310449452A CN116309184A CN 116309184 A CN116309184 A CN 116309184A CN 202310449452 A CN202310449452 A CN 202310449452A CN 116309184 A CN116309184 A CN 116309184A
- Authority
- CN
- China
- Prior art keywords
- saturation
- frame image
- image
- local
- single frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000002834 transmittance Methods 0.000 claims abstract description 63
- 238000010276 construction Methods 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000009795 derivation Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于饱和度线先验的单帧图像去雾方法及装置，通过大气散射模型、透射率局部一致性假设、以及自然图像局部单色表面假设推导获得饱和度线先验，饱和度线先验用于表征由大气光归一化的雾霾图片的局部图像块中像素的饱和度分量和亮度分量的倒数之间存在近似的线性关系；基于饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线；根据各个局部图像块的饱和度线确定单帧图像的透射率图；将单帧图像中最远区域的像素值作为全局大气光的参考值，并结合透射率图对单帧图像进行场景重建。本发明使用饱和度线先验构建了一种高效的单帧图像去雾框架，提高了对透射率估计性能，促进了高质量无雾霾图像的生成。
Description
技术领域
本发明涉及图像去雾技术领域，更具体地说，涉及一种基于饱和度线先验的单帧图像去雾方法及装置。
背景技术
由于大气中悬浮颗粒的存在，物体的反射光在到达相机之前会发生散射并与大气光混合，造成图像模糊，从而降低后续任务的性能。早期的去雾方法是通过利用来自多幅图像的额外信息实现的，这些方法虽然可以获得不错的去雾效果，但是需要高昂的信息获取成本，因此针对单帧图像的去雾问题得到了广泛关注。
在单帧图像去雾任务上，一种快速的方法是直接提高图像的对比度，但由于缺少雾霾成像模型的约束，这种方法的去雾性能有限。基于融合的方法可以有效地缓解这一问题，在良好的融合框架帮助下，不同增强图像可以得到有效地融合来促进雾霾的去除，但是该方法在黑暗或浓雾霾区域不稳定，导致去雾性能的明显下降。
为了实现高质量的图像复原，主流的图像去雾方法主要可以分为两类：基于图像先验的去雾方法和基于卷积神经网络的去雾方法。
基于图像先验的方法通过引入合理的假设或先验，有效缓解了单帧图像输入模式下的信息匮乏。例如，DCP(DarkChannelPrior，暗通道先验)的有效性在大多数场景中得到充分验证，具有很强的鲁棒性，并且在引导滤波器的帮助下，计算资源消耗也大大降低。CAP(Color Attenuation Prior，颜色衰减先验)设计了一个可训练的线性模型利用模糊图像中像素的亮度和饱和度来估计场景深度。SBTE提出了三个强度函数，以直接增强每个像素的饱和度值。这些方法共同促进了去雾技术的持续提升，缓解了雾霾对图像信息的干扰。然而，雾霾图像中像素的局部相关性仍然未得到充分重视和开发，导致了大多数方法具有较低的颜色保护能力或较弱的细节恢复能力。
卷积神经网络强大的学习能力，加上精心设计的网络结构，催生了一系列基于卷积神经网络的去雾技术。例如，DehazeNet利用了先验知识来增强网络对雾霾相关的特征的提取能力。MSCNN(Multi-scale ConvolutionalNeural Networks，多尺度卷积神经网络)网络利用来自不同尺度的特征提高了对透射率的估计能力，取得了优秀的去雾效果。AOD-Net(All-in-One Dehazing Network)将不同的参数集成到一个待估计的公式中，减少了重建误差。这些基于网络的去雾技术获得了优秀的去雾结果，然而，这些方法的去雾性能很大程度上依赖于训练图片的数据特征，导致了较低的泛化能力。
发明内容
有鉴于此，为解决上述问题，本发明提供一种基于饱和度线先验的单帧图像去雾方法及装置，技术方案如下：
一种基于饱和度线先验的单帧图像去雾方法，所述方法包括：
通过大气散射模型、透射率局部一致性假设、以及自然图像局部单色表面假设推导获得饱和度线先验，所述饱和度线先验用于表征由大气光归一化的雾霾图片的局部图像块中像素的饱和度分量和亮度分量的倒数之间存在近似的线性关系；
基于所述饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线；
根据各个局部图像块的饱和度线确定所述单帧图像的透射率图；
将所述单帧图像中最远区域的像素值作为全局大气光的参考值，并结合所述透射率图对所述单帧图像进行场景重建。
优选的，所述基于所述饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线，包括：
通过约束像素间斜率对各个局部图像块的像素进行筛选；
基于所筛选的像素，采用最小二乘法计算各个局部图像块的饱和度线。
优选的，所述基于所述饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线，还包括：
通过约束饱和度线长度和被选像素的数量对各个局部图像块的饱和度线进行筛选。
优选的，所述根据各个局部图像块的饱和度线确定所述单帧图像的透射率图，包括：
通过对所述单帧图像进行不同方式的划分，确定所述单帧图像中各个像素所属的不同局部图像块；
根据各个像素所属的不同局部图像块的饱和度线，确定各个像素的透射率。
优选的，所述方法还包括：
通过边界约束和自适应透射率下限优化所述透射率图。
一种基于饱和度线先验的单帧图像去雾装置，所述装置包括：
推导模块，用于通过大气散射模型、透射率局部一致性假设、以及自然图像局部单色表面假设推导获得饱和度线先验，所述饱和度线先验用于表征由大气光归一化的雾霾图片的局部图像块中像素的饱和度分量和亮度分量的倒数之间存在近似的线性关系；
构建模块，用于基于所述饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线；根据各个局部图像块的饱和度线确定所述单帧图像的透射率图；
重建模块，用于将所述单帧图像中最远区域的像素值作为全局大气光的参考值，并结合所述透射率图对所述单帧图像进行场景重建。
优选的，用于基于所述饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线的所述构建模块，具体用于：
通过约束像素间斜率对各个局部图像块的像素进行筛选；基于所筛选的像素，采用最小二乘法计算各个局部图像块的饱和度线。
优选的，用于基于所述饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线的所述构建模块，还用于：
通过约束饱和度线长度和被选像素的数量对各个局部图像块的饱和度线进行筛选。
优选的，用于据各个局部图像块的饱和度线确定所述单帧图像的透射率图的所述构建模块，具体用于：
通过对所述单帧图像进行不同方式的划分，确定所述单帧图像中各个像素所属的不同局部图像块；根据各个像素所属的不同局部图像块的饱和度线，确定各个像素的透射率。
优选的，所述构建模块，还用于：
通过边界约束和自适应透射率下限优化所述透射率图。
相较于现有技术，本发明实现的有益效果为：
本发明提供一种基于饱和度线先验的单帧图像去雾方法及装置，通过大气散射模型、透射率局部一致性假设、以及自然图像局部单色表面假设推导获得饱和度线先验，饱和度线先验用于表征由大气光归一化的雾霾图片的局部图像块中像素的饱和度分量和亮度分量的倒数之间存在近似的线性关系；基于饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线；根据各个局部图像块的饱和度线确定单帧图像的透射率图；将单帧图像中最远区域的像素值作为全局大气光的参考值，并结合透射率图对单帧图像进行场景重建。本发明使用饱和度线先验构建了一种高效的单帧图像去雾框架，通过为每个局部图像块构造饱和度线来估计单帧图像整体的透射率图，提高了对透射率估计性能，促进了高质量无雾霾图像的生成。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的基于饱和度线先验的单帧图像去雾方法的方法流程图；
图2为本发明实施例提供的饱和度线构造示意图；
图3为本发明实施例提供的复杂场景饱和度线构造示意图；
图4为本发明实施例提供的局部图像块的不同划分方式的示意图；
图5为本发明实施例提供的天空区域噪声抑制效果定性比较图；
图6为本发明实施例提供的局部图像块尺寸r在不同值下的去雾结果比较图；
图7为本发明实施例提供的饱和度线先验在不同类型雾霾场景中的去雾结果图；
图8为本发明实施例提供的饱和度线先验方法与其它基于饱和度的去雾方法的定性比较图；
图9为本发明实施例提供的饱和度线先验方法与其它去雾方法在真实图像上的定性比较图；
图10为本发明实施例提供的饱和度线先验与其它去雾方法在合成图像上的定性比较图；
图11为本发明实施例提供的基于饱和度线先验的单帧图像去雾装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
发明人经研究发现：图像中的饱和度信息有助于实现高质量的图像去雾，然而现有的基于饱和度的去雾方法只关注每个像素本身的饱和度信息，而像素间的关于饱和度的高级分布特征仍有待开发利用。
对此，在本发明中，发明人观察到，在无雾图像的局部图像块中具有相同表面反射系数的局部像素，它们在相对应的由大气光归一化的雾霾图像中的饱和度分量和其亮度分量的倒数之间存在线性关系，并且该线性关系所对应的函数图像在饱和度轴上的截距正好是无雾图像中这些像素的饱和度值。这个特征被称为饱和度线先验(saturation lineprior，SLP)。基于饱和度线先验，本发明提出了一种新的单帧图像去雾方法，该方法利用局部像素之间的内在相关性实现饱和度线的可靠构造，显著提高了对传输率的估计性能，从而促进了对雾霾场景的颜色保护和细节恢复。大量定性和定量实验表明，该方法优于现有的各种图像去雾方法。
参见图1，图1为本发明实施例提供的基于饱和度线先验的单帧图像去雾方法的方法流程图。如图1所示，该基于饱和度线先验的单帧图像去雾方法包括如下步骤：
S10，通过大气散射模型、透射率局部一致性假设、以及自然图像局部单色表面假设推导获得饱和度线先验，饱和度线先验用于表征由大气光归一化的雾霾图片的局部图像块中像素的饱和度分量和亮度分量的倒数之间存在近似的线性关系。
本发明实施例中，通过对雾霾成像模型和饱和度线模型的分析和整合，推导出饱和度线先验的数学基础。具体的，基于雾霾成像模型，结合透射率局部一致性假设和自然图像局部单色表面假设，推导出在无雾霾图像的局部图像块中具有相同表面反射系数的局部像素在相对应的由大气光归一化的雾霾图像中其饱和度分量和其亮度分量的倒数之间存在线性关系。
具体实现过程中，在雾霾成像模型的基础上，将饱和度分量等公式代入，进行归一化等操作，可以推导出，在无雾霾图像的局部图像块中具有相同表面反射系数的像素点在相对应的由大气光归一化的雾霾图像中其饱和度分量和其亮度分量的倒数之间存在线性关系。
根据目前广泛使用的大气散射模型，雾霾图像模型可以表示为如下形式：
I(x,y)＝J(x,y)·t(x,y)+A·(1-t(x,y)) (1)
其中，I,J,A,t,(x,y)分别表示实际观察到的雾霾图像，无雾霾的清晰图像，背景大气光，介质透射率，像素位置。其中介质透射率可以建模为：
t(x,y)＝e-β·d(x,y) (2)
其中，β,d分别表示介质透射率系数和场景深度。
基于自然图像建模的相关研究，遵循自然图像的局部单色表面假设，有如下公式：
其中，R,l(x,y),
分别表示表面反射系数的三维矢量，描述辐射强度的一维矢量，表面辐射(在给定局部图像块内恒定的三维矢量)。
对于给定的图像K(x,y)，其饱和度分量为：
其中，Kc(x,y)表示K(x,y)在颜色通道c上的分量，c∈{r,g,b}表示颜色通道c可以取红色、绿色和蓝色。
利用背景大气光A将公式(1)进行归一化，用IN,JN分别表示归一化后的雾霾图像和无雾霾图像，得到：
IN(x,y)＝JN(x,y)·t(x,y)+(1-t(x,y)) (5)
对于归一化后的JN，在公式(3)提及的局部图像块Ω内，其饱和度分量是恒定的，即有如下公式：
其中，
表示JN在像素位置(x,y)处的色彩饱和度，/>
表示表面辐射/>
在颜色通道c上的分量，Ac表示背景大气光A在颜色通道c上的分量；
根据上述公式，经过简化推导，可以得到下列公式：
其中，
表示由背景大气光A归一化后的IN在像素位置(x,y)处的色彩饱和度,/>
表示在JN的局部图像块中恒定的饱和度，/>
代表局部一致的透射率，/>
表示IN在颜色通道c上的分量在像素位置(x,y)处的值。
依据公式(7)，可以得到
之间的线性关系，利用该先验，透射率估计可以转化为饱和度线的构造。
S20，基于饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线。
基于S10步骤提出的
之间的线性关系，进行饱和度线的构造。参见图2，图2为本发明实施例提供的饱和度线构造示意图，其中(a)为输入图像、(b)～(e)为局部图像块的饱和度线、(f)为透射率tsl、(g)为去雾结果。如图2所示，(a)给出了两张拍摄到的雾霾图片，并在图中选中了一些矩形局部区域作为局部图像块，(b)～(e)给出了每个相对应的矩形局部区域中像素的/>
和/>
关系的坐标图。可以看出，图像像素的/>
和/>
之间总体呈现近似线性关系，这验证了公式(7)中的结论。
然而，发明人也观察到，所有像素并非位于一条直线上，并且存在偏离饱和度线的像素点，这是因为选中的局部图像块内某些像素间存在微小色差，导致局部单色表面假设对这些像素不成立。此外局部图像块内场景深度的变化也会对透射率的局部一致性产生影响，进而损害透射率局部一致性假设的稳健性。参见图3，图3为本发明实施例提供的复杂场景饱和度线构造示意图，其中(a)为输入图像、(b)～(c)为局部图像块的饱和度线，虽然大多数情况下这些影响是可控的，但在一些极端情况下，像素偏离引起的干扰可能会恶化，如图3的(b)～(c)所示。为了确保饱和度线的顺利构造，我们在构造饱和度线之前需要进行对像素的筛选。
对此，步骤S20“基于饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线”可以采用如下步骤：
通过约束像素间斜率对各个局部图像块的像素进行筛选；
基于所筛选的像素，采用最小二乘法计算各个局部图像块的饱和度线。
由于
的取值范围在[0,1]区间，/>
的范围在(0,1)，根据公式(7)可知，饱和度线的斜率在(-1,0)之间。因此，对于给定的局部图像块内的任意两个像素，如果它们都位于饱和度线上，则它们形成的饱和度线的斜率一定在(-1,0)之间。对于给定的局部图像块，将该区域中的任意一个像素作为参考像素，则与任意其他像素形成的直线的斜率存在两种情况：在(-1,0)的范围内或者超出(-1,0)的范围。根据前一种像素所占总像素比例的大小，可以有效区分参考像素是否在饱和度线上。具体而言，比例越高、选择此参考像素来构建饱和度线就越可靠。具体方法如下：
对于给定的尺寸为r的局部图像块Ω中的像素(xi,yi)，满足斜率要求的其他像素的数量的比例可以通过以下公式获得：
其中，P(xi,yi)代表满足要求的像素占总像素的比例；N是局部图像块Ω中的像素总数，F(·)是一个对输入值在(-1,0)的范围返回1，对其他输入值返回0的函数。像素的选择标准定义为：
其中，H是被选择的像素的集合，p是预设参数，本发明中取p＝0.5，以确保所选像素和至少一半以上的像素所形成的线的斜率满足饱和度线的要求。
最后，本发明采用最小二乘法获得饱和度线的参数k(x,y),b(x,y)。如图2的(b)～(e)和图3的(b)～(c)所示，上述过程有效消除了大多数偏差像素的干扰，有助于实现更可靠的饱和度线构建。
此外，为了实现更精确的传输估计(即更可靠的饱和度线构造)，除了对斜率的限制外，还可以约束饱和度线长度和被选像素的数量，以此实现饱和度线的可靠构建。具体的，步骤S20“基于饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线”还可以包括如下步骤：
通过约束饱和度线长度和被选像素的数量对各个局部图像块的饱和度线进行筛选。
具体的，被选像素总数NH和饱和度线的长度L必须满足以下要求：
其中，
和/>
是两个预设参数。本发明中设置/>
和/>
即丢弃小于10个像素点或长度小于0.1的饱和度线。其中L的计算方式如下：
最后，将利用饱和度线先验构造的饱和度线的斜率k及其在饱和度轴上的截距b代入公式(7)即可得到对应的透射率tsl＝1+k/b。
S30，根据各个局部图像块的饱和度线确定单帧图像的透射率图。
本发明实施例中，对于每个局部图像块来说，获得该局部图像块中的饱和度线的斜率k及其在饱和度轴上的截距b之后，代入公式(7)即可得到对应的透射率tsl＝1+k/b，即获得该局部图像块中各像素的透射率。进而，所有局部图像块中各像素的透射率即构成单帧图像的透射率图。
另外，本发明利用不同的方式来划分局部图像块，以增加局部像素组合的多样性。具体实现过程中，步骤S30“根据各个局部图像块的饱和度线确定单帧图像的透射率图”可以采用如下步骤：
通过对单帧图像进行不同方式的划分，确定所述单帧图像中各个像素所属的不同局部图像块；
根据各个像素所属的不同局部图像块的饱和度线，确定各个像素的透射率。
参见图4，图4为本发明实施例提供的局部图像块的不同划分方式的示意图，其中，(a)为输入图像、(b)为不同的局部图像块的划分方式、(c)为透射率tsl、(d)为去雾结果。如图4所示，对于图4(a)中的同一矩形区域，在图4(b)中采用了上下两种局部图像块划分方式，考虑4(a)矩形区域中的任意一个像素，其在4(b)的上下两中划分方式中会被划分如不同的局部图像块，进而产生不同的局部像素组合。因此，对于每个像素来说，其透射率可以取其在两个局部图像块两次计算得到的透射率的平均值。
此外，发明人发现本发明提出的饱和度线先验方法适用于大多数场景，但在一些极端情况下，仍然可能产生计算失败，失败主要发生在两类区域：
1)饱和度值接近零的天空区域；
2)颜色变化较小的非天空区域，如河流表面等。
为了在这些区域进行有效的去雾，本发明引入了边界约束，来为这些区域提供必要的透射率值，具体的，本发明实施例还包括如下步骤：
通过边界约束和自适应透射率下限优化透射率图。
具体公式如下所示：
其中，tb(x,y)表示利用边界约束得到的透射率在像素位置(x,y)处的值，Ic(x,y)表示图像I在颜色通道c上的分量在像素位置(x,y)处的值，
和/>
分别是下边界B0和上边界B1的颜色通道。本发明中采用的边界值为B0＝[20,20,20]以及B1＝[300,300,300]。同时，为了与S2步骤保持一致，利用透射率的局部一致性约束公式(12)，有以下公式：
其中，Ω(x,y)表示以像素位置(x,y)为中心的局部图像块，
表示tb(x,y)在局部图像块Ω(x,y)中的最大值。
因此，通过饱和度线先验和边界约束获得的透射率值可由下式表示：
其中，tsl(x,y)表示利用饱和度线先验得到的透射率在像素位置(x,y)处的值，ifEq.10ismet表示如果公式(10)在像素位置(x,y)处成立，tf(x,y)表示结合饱和度线先验和边界约束得到的透射率在像素位置(x,y)处的值。
边界约束的引入保障了图像去雾在各个区域的稳健性，提高了该方法的可靠性。此外，考虑到天空区域中极低的透射率值容易产生严重的噪声放大，本发明对获得的透射率值下限进行限制，可表示为如下公式：
tr(x,y)＝max(tf(x,y),tmin) (15)
其中，tmin是最低的ε％的透射率值tsl的平均值，tr(x,y)为优化后的透射率在像素位置(x,y)处的值。由于tsl主要对应大多数非天空区域的透射率值，因此tsl的最小值通常对应最远非天空区域的透射率值。将这些值设置为下限值，有助于避免天空区域噪声放大的同时避免伤害非天空区域的去雾性能。在本发明中，我们取ε＝5，即取tsl的最低的5％的值的平均值作为tmin。与为所有图像指定固定透射率下限的传统方法相比，本发明的tmin取决于图像本身的信息，每张图像都有不同的下限。因此，这种自适应tmin有助于为每张图像获得更合适的下限值。参见图5，图5为本发明实施例提供的天空区域噪声抑制效果定性比较图，其中，(a)为输入图像；(b)为传统的基于固定透射率下限的去雾结果；(c)为本发明提出的自适应透射率下限的去雾结果。如图5所示，本发明的方法能恢复出质量更高的去雾结果。
也就是说，为了保障在饱和度接近零的天空区域和颜色变化较小的非天空区域中去雾的有效实施，本发明引入边界约束和自适应透射率值下限优化透射率图，进而抑制天空区域的噪声放大。最后基于大气散射模型进行场景恢复。
S40，将单帧图像中最远区域的像素值作为全局大气光的参考值，并结合透射率图对单帧图像进行场景重建。
本发明实施例中，在场景复原时，可以将将最远区域的像素值作为全局大气光的参考值，结合得到的透射率图，根据公式(1)进行场景复原，具体公式如下：
其中，
是利用导向滤波对tr(x,y)处理细化得到的透射率图。
本发明实施例提供的基于饱和度线先验的单帧图像去雾方法，具有如下优势：
本发明提出了一种简单但有效的饱和度线先验(SLP)，它揭示了由大气光归一化的雾霾图像局部图像块中饱和度分量与亮度分量倒数之间的线性关系。
本发明提出了一种基于饱和度线先验的单帧图像去雾框架。该框架能够在透射率的估计过程中更有效利用局部像素点之间的内在相关性。
本发明证明了所提出的方法在不同雾霾浓度的场景中都能实现优秀的去雾效果，在真实和合成图像上的去雾性能都优于当前最先进的去雾方法。
结果分析：在此将全面评估所本发明提出的方法的去雾性能。
局部图像块尺寸确定：饱和度线的构造基于局部图像块中的像素。对于图像块的尺寸r，一方面，r越大图像块中像素点数量越多，有助于利用更多的像素间相关信息，另一方面，当r过大时，步骤S10中的公式(3)的有效性可能收到损害，同时透射率的局部一致性无法保障，进而危害饱和度线先验的稳健性。为了找到最合适的图像块尺寸，对r取不同值进行去雾实验，用FADE作为去雾结果恢复质量的评估，FADE值越小表示恢复质量越好。参见图6，图6为本发明实施例提供的局部图像块尺寸r在不同值下的去雾结果比较图，其中，(b)～(f)展示了r的不同取值下的去雾结果，(f)展示了对应的FADE结果。可以看出，尽管r＝15并不能在全部图像中都取得最优恢复效果，但在大多数场景中，r＝15都是最优选择。因此本发明中选择局部图像块的尺寸为r＝15。
饱和度线先验方法(即本发明的基于饱和度线先验的单帧图像去雾方法)的初步评估：为了验证饱和度线先验的性能，参见图7，图7为本发明实施例提供的饱和度线先验在不同类型雾霾场景中的去雾结果图，其中，第一行为雾霾图像、第二行得到的透射率图tsl、第三行为优化后的透射率图
第四行为去雾结果(曝光处理以减轻局部暗效应)。可以看出，tsl在大多数非天空区域都恢复出了与客观现实相一致的透射率，而利用优化后的/>
可以可靠地恢复雾霾图像中的潜在结构和隐藏细节，同时有效避免噪声放大和颜色失真，高质量的去雾结果证明了饱和度线先验方法的有效性和可靠性。
由于饱和度线先验主要利用饱和度信息实施雾霾去除，参见图8，图8为本发明实施例提供的饱和度线先验方法与其它基于饱和度的去雾方法(CAP,SBTE)的定性比较图。如图8(a)所示，使用两张结构和颜色信息丰富的雾霾图片作为输入，(b)～(c)分别表示CAP、SBTE和饱和度线先验方法的恢复结果。可以看到，CAP和SBTE方法在远距离区域中都未能很好地恢复图片细节，同时产生较多的雾霾残留，而饱和度线先验方法能更好地消除雾霾并恢复真实的色彩，这表明饱和度线先验方法在去雾性能上的优越性。
在真实雾霾图片上的全面评估：为了全面比较不同方法之间的去雾性能，参见图9，图9为本发明实施例提供的饱和度线先验方法与其它去雾方法在真实图像上的定性比较图，其中，(a)显示了6幅不同场景的具有不同雾霾浓度的退化图片，(b)～(i)显示了不同方法的去雾结果，包括BCCR、CAP、DEFADE、DehazeNet、HL、SBTE、和IDE方法。如图9(b)所示，BCCR方法可以有效去除大多数场景中的雾霾，但是会产生颜色失真；图9(c)所示，CAP无法还原浓雾场景中的的细节；如图9(d)所示，DEFADE提高了细节恢复能力，但是当雾霾浓度增加，去雾性能剧烈下降；如图9(e)所示，虽然DehazeNet产生有较高的色彩保真度的结果，但是去雾效果不佳；如图9(f)所示，HL去雾结果存在色彩过饱和的问题；如图9(g)所示，SBTE对浓雾场景的去雾效果有限；如图9(h)所示，IDE的去雾结果优秀，但存在过曝的问题；如图9(i)所示，本发明提出的饱和度线先验方法在不同雾霾浓度下都能清晰地恢复纹理细节，并且具有较高地色彩保真度。为了促进定量分析，采用FADE和NIQE两种指标作为评价标准(越低越好)，对上述方法进行了定量比较，结果如表1所示。可以看出，本发明地方法在两种标准上都获得了最佳的平均分数，这表明了其在去雾性能上的优势。
在合成雾霾图像数据集上的评估：在SOTS、D-HAZY、O-HAZE三个合成数据集上进行比较。其中STOS室内数据集包括500幅室内雾霾图及其相应的ground-truth图片，D-HAZY数据集的Middlebury部分有23对高质量的室内雾霾图像和ground-truth图像，O-HAZE数据集由45对室外雾霾图像及其ground-truth组成。采用PSNR和SSIM作为评估标准(越高越好)。表2显示了各种去雾方法在这三个数据集上的评估结果的平均值。根据表2，虽然DehazeNet,BCCR、CAP、HL和SBTE可以在特定的数据集的单项评估标准上获得较高分数，但是它们在其他数据集上无法保持优势。相比之下，本发明的方法在三个数据集的绝大多数指标中都获得了最优值或次优值。此外，为了进行定性比较，参见图10，图10为本发明实施例提供的饱和度线先验与其它去雾方法在合成图像上的定性比较图。如图10所示，给出了每个数据集的一个示例和各个方法的去雾结果。通过定性和定量比较，本发明的方法在所有雾霾场景中都能获得令人满意的去雾效果，证明了其有效性和鲁棒性。
表1
表2
基于上述实施例提供的基于饱和度线先验的单帧图像去雾方法，本发明实施例则对应提供执行上述基于饱和度线先验的单帧图像去雾方法的装置，该装置的结构示意图如图11所示，包括：
推导模块10，用于通过大气散射模型、透射率局部一致性假设、以及自然图像局部单色表面假设推导获得饱和度线先验，饱和度线先验用于表征由大气光归一化的雾霾图片的局部图像块中像素的饱和度分量和亮度分量的倒数之间存在近似的线性关系；
构建模块20，用于基于饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线；根据各个局部图像块的饱和度线确定单帧图像的透射率图；
重建模块30，用于将单帧图像中最远区域的像素值作为全局大气光的参考值，并结合透射率图对单帧图像进行场景重建。
可选的，用于基于饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线的构建模块20，具体用于：
通过约束像素间斜率对各个局部图像块的像素进行筛选；基于所筛选的像素，采用最小二乘法计算各个局部图像块的饱和度线。
可选的，用于基于饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线的构建模块20，还用于：
通过约束饱和度线长度和被选像素的数量对各个局部图像块的饱和度线进行筛选。
可选的，用于据各个局部图像块的饱和度线确定单帧图像的透射率图的构建模块20，具体用于：
通过对单帧图像进行不同方式的划分，确定所述单帧图像中各个像素所属的不同局部图像块；根据各个像素所属的不同局部图像块的饱和度线，确定各个像素的透射率。
可选的，构建模块20，还用于：
通过边界约束和自适应透射率下限优化透射率图。
需要说明的是，本发明实施例中各模块的细化功能可以参见上述基于饱和度线先验的单帧图像去雾方法实施例对应公开部分，在此不再赘述。
基于上述实施例提供的基于饱和度线先验的单帧图像去雾方法，本发明实施例则提供一种电子设备，该电子设备包括：至少一个存储器和至少一个处理器；存储器存储有应用程序，处理器调用存储器存储的应用程序，应用程序用于实现基于饱和度线先验的单帧图像去雾方法。
基于上述实施例提供的基于饱和度线先验的单帧图像去雾方法，本发明实施例则提供一种存储介质，该存储介质存储有计算机程序代码，计算机程序代码执行时实现基于饱和度线先验的单帧图像去雾方法。
以上对本发明所提供的一种基于饱和度线先验的单帧图像去雾方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于饱和度线先验的单帧图像去雾方法，其特征在于，所述方法包括：
通过大气散射模型、透射率局部一致性假设、以及自然图像局部单色表面假设推导获得饱和度线先验，所述饱和度线先验用于表征由大气光归一化的雾霾图片的局部图像块中像素的饱和度分量和亮度分量的倒数之间存在近似的线性关系；
基于所述饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线；
根据各个局部图像块的饱和度线确定所述单帧图像的透射率图；
将所述单帧图像中最远区域的像素值作为全局大气光的参考值，并结合所述透射率图对所述单帧图像进行场景重建。
2.根据权利要求1所述的方法，其特征在于，所述基于所述饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线，包括：
通过约束像素间斜率对各个局部图像块的像素进行筛选；
基于所筛选的像素，采用最小二乘法计算各个局部图像块的饱和度线。
3.根据权利要求2所述的方法，其特征在于，所述基于所述饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线，还包括：
通过约束饱和度线长度和被选像素的数量对各个局部图像块的饱和度线进行筛选。
4.根据权利要求1所述的方法，其特征在于，所述根据各个局部图像块的饱和度线确定所述单帧图像的透射率图，包括：
通过对所述单帧图像进行不同方式的划分，确定所述单帧图像中各个像素所属的不同局部图像块；
根据各个像素所属的不同局部图像块的饱和度线，确定各个像素的透射率。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过边界约束和自适应透射率下限优化所述透射率图。
6.一种基于饱和度线先验的单帧图像去雾装置，其特征在于，所述装置包括：
推导模块，用于通过大气散射模型、透射率局部一致性假设、以及自然图像局部单色表面假设推导获得饱和度线先验，所述饱和度线先验用于表征由大气光归一化的雾霾图片的局部图像块中像素的饱和度分量和亮度分量的倒数之间存在近似的线性关系；
构建模块，用于基于所述饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线；根据各个局部图像块的饱和度线确定所述单帧图像的透射率图；
重建模块，用于将所述单帧图像中最远区域的像素值作为全局大气光的参考值，并结合所述透射率图对所述单帧图像进行场景重建。
7.根据权利要求6所述的装置，其特征在于，用于基于所述饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线的所述构建模块，具体用于：
通过约束像素间斜率对各个局部图像块的像素进行筛选；基于所筛选的像素，采用最小二乘法计算各个局部图像块的饱和度线。
8.根据权利要求7所述的装置，其特征在于，用于基于所述饱和度线先验构建待处理的单帧图像中各个局部图像块的饱和度线的所述构建模块，还用于：
通过约束饱和度线长度和被选像素的数量对各个局部图像块的饱和度线进行筛选。
9.根据权利要求6所述的装置，其特征在于，用于据各个局部图像块的饱和度线确定所述单帧图像的透射率图的所述构建模块，具体用于：
通过对所述单帧图像进行不同方式的划分，确定所述单帧图像中各个像素所属的不同局部图像块；根据各个像素所属的不同局部图像块的饱和度线，确定各个像素的透射率。
10.根据权利要求6所述的装置，其特征在于，所述构建模块，还用于：
通过边界约束和自适应透射率下限优化所述透射率图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310449452.7A CN116309184A (zh) | 2023-04-23 | 2023-04-23 | 基于饱和度线先验的单帧图像去雾方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310449452.7A CN116309184A (zh) | 2023-04-23 | 2023-04-23 | 基于饱和度线先验的单帧图像去雾方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309184A true CN116309184A (zh) | 2023-06-23 |
Family
ID=86816932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310449452.7A Pending CN116309184A (zh) | 2023-04-23 | 2023-04-23 | 基于饱和度线先验的单帧图像去雾方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309184A (zh) |
-
2023
- 2023-04-23 CN CN202310449452.7A patent/CN116309184A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Progressive retinex: Mutually reinforced illumination-noise perception network for low-light image enhancement | |
| Shin et al. | Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing | |
| KR101328741B1 (ko) | 색상 채널을 이용한 영상 개선 장치 및 방법 | |
| EP2740100A1 (en) | Method and system for removal of fog, mist or haze from images and videos | |
| CN109767408B (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
| CN111179189A (zh) | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 | |
| Das et al. | A comparative study of single image fog removal methods | |
| Wang et al. | An efficient method for image dehazing | |
| Wang et al. | An improved image blind deblurring based on dark channel prior | |
| Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
| CN107392879A (zh) | 一种基于参考帧的低照度监控图像增强方法 | |
| Khan et al. | Recent advancement in haze removal approaches | |
| CN110766640B (zh) | 一种基于深度语义分割的图像去雾方法 | |
| Chen et al. | Multi‐scale single image dehazing based on the fusion of global and local features | |
| CN112825189B (zh) | 一种图像去雾方法及相关设备 | |
| BV et al. | Image De-hazing techniques for Vision based applications-A survey | |
| CN115249211A (zh) | 一种基于水下非均匀入射光模型的图像复原方法 | |
| Chen et al. | Low‐light image enhancement based on exponential Retinex variational model | |
| CN116309184A (zh) | 基于饱和度线先验的单帧图像去雾方法及装置 | |
| Liu et al. | Sky detection‐and texture smoothing‐based high‐visibility haze removal from images and videos | |
| Negru et al. | Exponential image enhancement in daytime fog conditions | |
| Menon et al. | An enhanced digital image processing based dehazing techniques for haze removal | |
| Li et al. | Dual High-Order Total Variation Model for Underwater Image Restoration | |
| Hu et al. | Fast outdoor hazy image dehazing based on saturation and brightness | |
| Kumari et al. | Improved single image and video dehazing using morphological operation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |