CN111598800B - 基于空间域同态滤波和暗通道先验的单幅图像去雾方法 - Google Patents

Abstract

本发明公开一种基于空间域同态滤波和暗通道先验的单幅图像去雾方法，首先利用暗原色先验模型粗略估计含雾图像的透射率；其次，采用双边滤波替代傅里叶变换，将双边滤波作为空间域同态滤波的传递函数，并以最大类间方差法分割含雾图像的暗通道图，再以白色区域的面积比例为自变量的反比函数来自适应地计算入射分量和反射分量的权重，实现了一种空间域同态滤波，可有效削弱含雾图像的入射分量、增强反射分量，进而计算细化的透射率，能够在较低计算复杂度的前提下，有效抑制天空等大面积白色区域或过曝光区域出现的透射率分布不均问题，达到了去噪、保边和消除景物边缘光晕的目的。

Description

基于空间域同态滤波和暗通道先验的单幅图像去雾方法

技术领域

本发明涉及室外监控图像处理领域，尤其是一种去雾效果好、天空区域色彩保真度高、边缘保持能力强、基于空间域同态滤波和暗通道先验的单幅图像去雾方法。

背景技术

近年来，视频监控系统的应用范围越来越广泛，如道路监控、车辆监控、公共安全监控等。对于室内场景下的视频监控系统，其在大部分情况下均能捕捉到高清晰的视频画面；而对于室外场景下的视频监控系统来说，其拍摄质量则很大程度依赖于天气环境。在雾、霾等天气条件下，大气中悬浮着的大量微小水滴、气溶胶等具有散射作用，导致监控拍摄到的图像色彩失真、对比度和能见度降低，这无疑将影响室外视频监控系统的有效性和实用性。因此，去除或者抑制尘埃、雾霾颗粒杂质的干扰是改善室外视频监控系统性能的关键技术环节之一，并且已成为近年来数字图像处理、计算机视觉领域的研究热点，得到了众多学者的广泛关注和研究。图像去雾的目的就在于恢复含雾图像的对比度和清晰度，还原其真实色彩以及真实场景，达到在理想天气状况下的拍摄效果，从而帮助管理人员和部门做出恰当的决策。

基于多幅图像的去雾方法是较早出现的一类方法，它考虑到尘埃、雾霾颗粒杂质的随机性，利用多幅图像的融合或加权平均来实现去雾。Grewe等人将多幅含雾图像在小波域进行融合，获取高对比度的图像。Schechner等人根据多幅图像的滤光图和不同程度的偏振来估算景深信息，进而恢复得到不含雾的图像。Narasimhan等人通过对比同一场景在不同天气下的图像，并根据场景点之间的变化来估算景深信息和场景结构，达到了增强图像对比度的目的。Galdran等人通过伽马校正和多尺度混合拉普拉斯，将多幅不同曝光的图像进行融合，降低了图像去雾的依赖性和复杂性。尽管该类方法取得了一定的去雾效果，可是要想获取同一场景在不同时刻的输入图像组却需要耗费大量人力及时间，有时甚至是不可行的。故此，研究人员逐渐将目光转移到基于单幅图像的去雾研究上。

目前，典型的单幅图像去雾方法主要分为两大类：基于对比度增强的方法和基于物理模型的复原方法。其中，基于对比度增强的方法不考虑雾天图像的降质原因，仅通过提高雾天图像的颜色对比度来突出图像细节，从而改善图像的视觉效果，如直方图均衡化、同态滤波、Retinex等。但是，由于此类方法未充分考虑大气光成分的影响，无法适应复杂的有雾场景，易使增强后的图像出现颜色过饱和现象，以致产生明显的图像失真，去雾程度尚无法满足应用要求。而基于物理模型的复原方法则通过建立雾天图像的退化模型，根据有效假设或先验信息，在反演图像退化的过程中完成对参数的最优化估计，补偿退化所造成的图像失真，从而改善含雾图像的质量。该类方法的针对性强，去雾效果较为自然，一般不会出现严重的画质失真，是近年来广泛采用的图像去雾技术，得到越来越多学者的关注与深入研究。

Tan等人发现，清晰图像的对比度明显高于有雾图像，且光线变化取决于观察距离。据此，他们在马尔科夫随机场框架下引入了一种代价函数，对输入图像进行迭代优化，但是该方法往往会出现光晕和过度饱和现象。Fattal等人假设物体表面色度与介质传播具有局部不相关性，进而利用独立成分分析法估计透射率和无雾图像，可是在雾霾浓度较高时，该方法无法获得准确的透射率，以致出现去雾失败的问题。鉴于尘埃和雾霾的颗粒性，Tarel等人借助中值滤波对大气耗散函数进行估计，再应用色调映射法来修正色彩分量，力图使结果图像的颜色接近原图像以避免失真。不过，中值滤波明显降低了图像边缘的主观质量。He Kaiming等人通过统计户外无雾图像库的像素分布规律，提出一种暗原色先验理论。其基本思想是，在不包括天空的绝大部分区域中总会存在一些“暗像素”，至少有一个颜色通道具有较低的强度值；并且，在被雾干扰的图像里，这些暗像素的强度值会被大气中的白光成分所充斥而变得较高，故此能够直接用来评估雾光的透射情况，进而根据大气散射模型和光在雾天传输的物理特性，得到去雾后的图像。暗原色先验理论是目前效率较高的一类物理去雾模型之一，能够有效解决大气散射模型的病态问题，取得了优于上述方法的去雾结果。不幸的是，若有雾图像含有天空等大面积的白色区域，则往往不满足暗通道先验条件，不仅严重影响了基于暗通道先验的单幅图像去雾算法的效率，还会产生人眼可见的光晕和色调失真。在这种情况下，肖进胜等人采用引导滤波和中值滤波来分割天空区域和细化透射率，消除了天空区域的光晕效应。不过，该思路在一定情况下会导致非天空区域亮度分布出现异常，造成信息损失。Wang等人利用快速平均滤波器计算传递函数，再应用Weber-Fechner定律实现图像的颜色补偿，其去雾速度较快，但也易使结果图像的主观颜色显得不自然。Cai等人构建了一种端到端的深度神经网络，能够有效消除均匀分布在图像中的雾，但依然无法处理浓雾图像，且训练时间过长，缺乏实用性。

总体来看，现有的基于暗通道先验的单幅图像去雾技术尚无法有效处理那些包含天空等大面积白色区域的有雾图像，易导致透射率估计不准确、天空区域与非天空区域的透射率差异大、天空区域的色彩存在明显失真等问题，其根本原因在于天空与非天空区域的亮度差异较大，使得暗通道先验理论计算出的透射率图像存在明显的不均匀分布。

发明内容

本发明是为了解决现有技术所存在的上述技术问题，提供一种去雾效果好、天空区域色彩保真度高、边缘保持能力强的、基于空间域同态滤波和暗通道先验的单幅图像去雾方法。

本发明的技术解决方案是：一种基于空间域同态滤波和暗通道先验的单幅图像去雾方法，其特征在于按照如下步骤进行：

步骤1.输入一幅含雾图像I，令其高度和宽度分别为H和W；

步骤2.根据公式⑴的定义，利用两次最小值滤波处理I的每个像素x，计算得到I的暗通道图J^dark：

所述J^dark(x)表示暗通道图J^dark在像素x处的值，I^c表示I的颜色通道c且c∈{R,G,B}，Ω₁(x)表示以像素x为中心、大小为w₁×w₁像素的窗口内的像素集合且

min和max分别表示取最小值、取最大值的函数；

步骤3.求I的大气光值A；

步骤3.1提取出J^dark中所有像素的红色分量，将其进行非升序排列，并计算位于前0.1％的平均值，令其为μ_R；

步骤3.2提取出J^dark中所有像素的绿色分量，将其进行非升序排列，并计算位于前0.1％的平均值，令其为μ_G；

步骤3.3提取出J^dark中所有像素的蓝色分量，将其进行非升序排列，并计算位于前0.1％的平均值，令其为μ_B；

步骤3.4令大气光值A←(μ_R,μ_G,μ_B)；

步骤4.计算场景透射率图像的粗估计值t₀，其定义由公式⑵给出：

所述t₀(x)表示场景透射率图像在像素x处的粗估计值，A^c表示大气光值A的颜色通道c且c∈{R,G,B}，Ω₂(x)表示以像素x为中心、大小为w₂×w₂像素的窗口内的像素集合且

ω为一个预设常数；

步骤5.根据公式⑶的定义，计算场景透射率的粗估计值t₀的自然对数z；

z(x)＝ln(t₀(x)) ⑶

所述z(x)表示像素x处的粗估计值t₀(x)的自然对数值；

步骤6.根据公式⑷的定义，对t₀的自然对数值z进行双边滤波，得到透射率的入射分量估计值i；

所述i(x)表示像素x处的入射分量估计值，Ω₃(x)表示以像素x为中心、大小为w₃×w₃像素的窗口内的像素集合，“||x-y||”表示像素x和像素y之间的欧式距离，I(x)和I(y)分别表示像素x和像素y的像素值，

和/>

分别表示均值为0、标准差为σ_d和σ_r的高斯函数，其定义由公式⑸和公式⑹给出：

W_x表示归一化系数，其定义由公式⑺给出：

步骤7.根据公式⑻的定义，计算透射率的反射分量估计值r；

r(x)＝z(x)-i(x) ⑻

所述r(x)表示像素x处的反射分量估计值；

步骤8.计算透射率图像的精细估计值t_refine；

步骤8.1采用最大类间方差法计算暗通道图J^dark的全局分割阈值T_dark；

步骤8.2根据公式⑼的定义，计算暗通道图J^dark的二值掩码M_dark；

所述M_dark(x)表示像素x处的二值掩码值；

步骤8.3根据公式⑽的定义，统计二值掩码M_dark中白色像素的数量S；

步骤8.4根据公式⑾的定义，统计白色像素的比例R_white；

步骤8.5根据公式⑿的定义，计算入射分量的系数λ；

所述k为一个预设常数；

步骤8.6根据公式⒀的定义，削弱入射分量i，提升反射分量r；

h(x)＝λ×i(x)+(1-λ)×r(x) ⒀

所述h(x)表示透射率图像在像素x处的自然对数值；

步骤8.7根据公式⒁的定义，计算透射率图像的精细估计值t_refine；

t_refine(x)＝e^h(x) ⒁

步骤9.根据公式⒂的定义，利用大气光值A和透射率图像t_refine对输入图像I的每个像素x执行去雾操作，得到去雾后的图像D；

所述D^c(x)表示D中像素x的颜色通道c且c∈{R,G,B}，

表示t_refine中像素x的颜色通道c；

步骤10.输出去雾后的图像D。

与现有的技术相比，本发明从两方面保证图像去雾的主客观质量：首先，采用双边滤波替代傅里叶变换，实现了一种空间域同态滤波，并利用空间域同态滤波计算细化的透射率，能够在较低计算复杂度的前提下，有效抑制天空等大面积白色区域或过曝光区域所导致的透射率分布不均问题，且达到了去噪、保边的目的；其次，采用以白色区域的面积比例为自变量的反比函数，自适应地计算入射分量和反射分量的传递系数，可有效削弱入射分量、增强反射分量，有利于在改善透射率分布不均的情况下，缓解去雾图像在天空区域出现的过渡明显、偏色严重、光晕等现象。因此，本发明具有去雾效果好、天空区域色彩保真度高、边缘保持能力强的优点。

附图说明

图1是本发明与现有技术的透射率图像对比图。

图2是本发明与现有技术对含雾图像1的去雾结果对比图。

图3是本发明与现有技术对含雾图像2的去雾结果对比图。

具体实施方式

一种供基于空间域同态滤波和暗通道先验的单幅图像去雾方法，其特征在于按照如下步骤进行：

步骤1.输入一幅含雾图像I，令其高度和宽度分别为H和W；

步骤2.根据公式⑴的定义，利用两次最小值滤波处理I的每个像素x，计算得到I的暗通道图J^dark：

所述J^dark(x)表示暗通道图J^dark在像素x处的值，I^c表示I的颜色通道c且c∈{R,G,B}，Ω₁(x)表示以像素x为中心、大小为w₁×w₁像素的窗口内的像素集合且

min和max分别表示取最小值、取最大值的函数；

步骤3.求I的大气光值A；

步骤3.1提取出J^dark中所有像素的红色分量，将其进行非升序排列，并计算位于前0.1％的平均值，令其为μ_R；

步骤3.2提取出J^dark中所有像素的绿色分量，将其进行非升序排列，并计算位于前0.1％的平均值，令其为μ_G；

步骤3.3提取出J^dark中所有像素的蓝色分量，将其进行非升序排列，并计算位于前0.1％的平均值，令其为μ_B；

步骤3.4令大气光值A←(μ_R,μ_G,μ_B)；

步骤4.计算场景透射率图像的粗估计值t₀，其定义由公式⑵给出：

所述t₀(x)表示场景透射率图像在像素x处的粗估计值，A^c表示大气光值A的颜色通道c且c∈{R,G,B}，Ω₂(x)表示以像素x为中心、大小为w₂×w₂像素的窗口内的像素集合且

ω为一个预设常数，本实施例中令ω＝0.95；

步骤5.根据公式⑶的定义，计算场景透射率的粗估计值t₀的自然对数z；

z(x)＝ln(t₀(x)) ⑶

所述z(x)表示像素x处的粗估计值t₀(x)的自然对数值；

步骤6.根据公式⑷的定义，对t₀的自然对数值z进行双边滤波，得到透射率的入射分量估计值i；

所述i(x)表示像素x处的入射分量估计值，Ω₃(x)表示以像素x为中心、大小为w₃×w₃像素的窗口内的像素集合，“||x-y||”表示像素x和像素y之间的欧式距离，I(x)和I(y)分别表示像素x和像素y的像素值，

和/>

分别表示均值为0、标准差为σ_d和σ_r的高斯函数，其定义由公式⑸和公式⑹给出：

W_x表示归一化系数，其定义由公式⑺给出：

本实施例中，令w₃为2，令σ_d和σ_r分别为5和0.05；

步骤7.根据公式⑻的定义，计算透射率的反射分量估计值r；

r(x)＝z(x)-i(x) ⑻

所述r(x)表示像素x处的反射分量估计值；

步骤8.计算透射率图像的精细估计值t_refine；

步骤8.1采用最大类间方差法计算暗通道图J^dark的全局分割阈值T_dark；

步骤8.2根据公式⑼的定义，计算暗通道图J^dark的二值掩码M_dark；

所述M_dark(x)表示像素x处的二值掩码值；

步骤8.3根据公式⑽的定义，统计二值掩码M_dark中白色像素的数量S；

步骤8.4根据公式⑾的定义，统计白色像素的比例R_white；

步骤8.5根据公式⑿的定义，计算入射分量的系数λ；

所述k为一个预设常数，本实施例中，令k＝0.36；

步骤8.6根据公式⒀的定义，削弱入射分量i，提升反射分量r；

h(x)＝λ×i(x)+(1-λ)×r(x) ⒀

所述h(x)表示透射率图像在像素x处的自然对数值；

步骤8.7根据公式⒁的定义，计算透射率图像的精细估计值t_refine；

t_refine(x)＝e^h(x) ⒁

步骤9.根据公式⒂的定义，利用大气光值A和透射率图像t_refine对输入图像I的每个像素x执行去雾操作，得到去雾后的图像D；

所述D^c(x)表示D中像素x的颜色通道c且c∈{R,G,B}，

表示t_refine中像素x的颜色通道c；

步骤10.输出去雾后的图像D。

采用本发明与传统单幅图像去雾方法所得到的透射率图像对比如图1所示。其中，(a)为原始含雾图像；(b)为暗原色先验算法粗估计的透射率图；(c)为暗原色先验算法和引导滤波细化后的透射率图；(d)为暗原色先验算法和传统同态滤波细化的透射率图；(e)为本发明方法的透射率图。可见，(a)含有大面积天空区域；(b)含有较严重的块状效应；(c)基本消除了块效应，但仍存在透射率的分布不均现象，这种情况将直接导致去雾结果中的光晕效应；(d)的细节更加清晰，但是亮度差过大的问题仍未得到缓解；(e)的透射率图中无块效应，整体比较平滑，且保留了图像边缘突变处细节且无明显的透射率分布不均的现象。

采用本发明与现有技术对含雾图像1的去雾结果对比如图2所示。其中，(a)为原始含雾图像；(b)为传统暗原色先验算法和引导滤波细化透射率的去雾结果；(c)为基于暗原色先验算法和传统同态滤波的去雾结果；(d)为Tarel等人的去雾结果；(e)为Cai等人构建的神经网络的去雾结果；(f)为本发明方法的去雾结果。

采用本发明与现有技术对含雾图像2的去雾结果对比如图3所示。其中，(a)为原始含雾图像；(b)为传统暗原色先验算法和引导滤波细化透射率的去雾结果；(c)为基于暗原色先验算法和传统同态滤波的去雾结果；(d)为Tarel等人的去雾结果；(e)为Cai等人构建的神经网络的去雾结果；(f)为本发明方法的去雾结果。

由图2和图3可见，传统暗原色先验算法+引导滤波细化透射率的去雾结果、基于暗原色先验算法+传统同态滤波的去雾结果、Tarel等人的去雾结果均不理想，天空区域有显著的偏色和光晕现象；Cai等人构建的神经网络的去雾结果和本发明的去雾结果最为理想，图像对比度明显提高，画面平滑自然，且无光晕及边缘失真现象。

Claims (1)

1.一种基于空间域同态滤波和暗通道先验的单幅图像去雾方法，其特征在于按如下步骤进行：

步骤1.输入一幅含雾图像I，令其高度和宽度分别为H和W；

步骤2.根据公式⑴的定义，利用两次最小值滤波处理I的每个像素x，计算得到I的暗通道图J^dark：

所述J^dark(x)表示暗通道图J^dark在像素x处的值，I^c表示I的颜色通道c且c∈{R,G,B}，Ω₁(x)表示以像素x为中心、大小为w₁×w₁像素的窗口内的像素集合且

min和max分别表示取最小值、取最大值的函数；

步骤3.求I的大气光值A；

步骤3.1提取出J^dark中所有像素的红色分量，将其进行非升序排列，并计算位于前0.1％的平均值，令其为μ_R；

步骤3.2提取出J^dark中所有像素的绿色分量，将其进行非升序排列，并计算位于前0.1％的平均值，令其为μ_G；

步骤3.3提取出J^dark中所有像素的蓝色分量，将其进行非升序排列，并计算位于前0.1％的平均值，令其为μ_B；

步骤3.4令大气光值A←(μ_R,μ_G,μ_B)；

步骤4.计算场景透射率图像的粗估计值t₀，其定义由公式⑵给出：

所述t₀(x)表示场景透射率图像在像素x处的粗估计值，A^c表示大气光值A的颜色通道c且c∈{R,G,B}，Ω₂(x)表示以像素x为中心、大小为w₂×w₂像素的窗口内的像素集合且

ω为一个预设常数；

步骤5.根据公式⑶的定义，计算场景透射率的粗估计值t₀的自然对数z；

z(x)＝ln(t₀(x)) ⑶

所述z(x)表示像素x处的粗估计值t₀(x)的自然对数值；

步骤6.根据公式⑷的定义，对t₀的自然对数值z进行双边滤波，得到透射率的入射分量估计值i；

所述i(x)表示像素x处的入射分量估计值，Ω₃(x)表示以像素x为中心、大小为w₃×w₃像素的窗口内的像素集合，“||x-y||”表示像素x和像素y之间的欧式距离，I(x)和I(y)分别表示像素x和像素y的像素值，

和/>

分别表示均值为0、标准差为σ_d和σ_r的高斯函数，其定义由公式⑸和公式⑹给出：

W_x表示归一化系数，其定义由公式⑺给出：

步骤7.根据公式⑻的定义，计算透射率的反射分量估计值r；

r(x)＝z(x)-i(x) ⑻

所述r(x)表示像素x处的反射分量估计值；

步骤8.计算透射率图像的精细估计值t_refine；

步骤8.1采用最大类间方差法计算暗通道图J^dark的全局分割阈值T_dark；

步骤8.2根据公式⑼的定义，计算暗通道图J^dark的二值掩码M_dark；

所述M_dark(x)表示像素x处的二值掩码值；

步骤8.3根据公式⑽的定义，统计二值掩码M_dark中白色像素的数量S；

步骤8.4根据公式⑾的定义，统计白色像素的比例R_white；

步骤8.5根据公式⑿的定义，计算入射分量的系数λ；

所述k为一个预设常数；

步骤8.6根据公式⒀的定义，削弱入射分量i，提升反射分量r；

h(x)＝λ×i(x)+(1-λ)×r(x) ⒀

所述h(x)表示透射率图像在像素x处的自然对数值；

步骤8.7根据公式⒁的定义，计算透射率图像的精细估计值t_refine；

t_refine(x)＝e^h(x) ⒁

步骤9.根据公式⒂的定义，利用大气光值A和透射率图像t_refine对输入图像I的每个像素x执行去雾操作，得到去雾后的图像D；

所述D^c(x)表示D中像素x的颜色通道c且c∈{R,G,B}，

表示t_refine中像素x的颜色通道c；

步骤10.输出去雾后的图像D。

Images