CN102930514B - 基于大气物理散射模型的快速图像去雾方法 - Google Patents
基于大气物理散射模型的快速图像去雾方法 Download PDFInfo
- Publication number
- CN102930514B CN102930514B CN201210366126.1A CN201210366126A CN102930514B CN 102930514 B CN102930514 B CN 102930514B CN 201210366126 A CN201210366126 A CN 201210366126A CN 102930514 B CN102930514 B CN 102930514B
- Authority
- CN
- China
- Prior art keywords
- image
- gray
- gray level
- rgb
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开一种基于大气物理散射模型的快速图像去雾方法,涉及图像复原方法,基于Narasimhan等给出的雾、霾天气条件下大气物理散射模型,仅需要单幅输入图像,通过快速图像去雾处理复原图像。首先对采集到的彩色雾霾图像的每个像素点的RGB分量取最小值,所生成的灰度图定义为Idc,然后对灰度图像Idc进行灰度腐蚀和膨胀,结果定义为I′dc,I′dc也是灰度图,通过对I′dc中的像素灰度值取最大值获得环境光A。对Idc和I′dc进行快速联合双边带滤波,获得大气幕V(x,y),进而求取透射分布率t(x,y)。将已估计到的环境光A、大气幕V(x,y)和透射率t(x,y)代入大气物理散射模型,获得初步复原结果,再进一步求解场景目标的RGB分量反射率,得到最终的复原图像。
Description
技术领域
本发明涉及图像处理领域,进一步涉及图像复原方法,具体地说是一种基于物理模型的图像去雾方法,根据大气物理散射模型,采取相反的过程进行图像快速去雾处理,完成图像复原。本方法有效地去除了图像中的雾霾,再现了场景的对比度和颜色,大大提高了图像的清晰度,对图像的污渍去除也有较好的效果。
背景技术
随着物体到成像设备的距离增大,大气粒子的散射作用对成像的影响逐渐增加。这种影响主要由两个散射过程造成:1)物体表面的反射光在到达成像设备的过程中,由于大气粒子的散射而发生衰减;2)自然光因大气粒子散射而进入成像设备参与成像。它们的共同作用造成捕获的图像对比度、饱和度降低,以及色调偏移,不仅影响图像的视觉效果,而且影响图像分析和理解的性能。
图像去雾是一种图像复原技术,图像复原处理是考查图像退化原因,通过建立物理模型,并且采用相反的过程进行处理,恢复出原图像。在恶劣天气条件下(如雾天,雨天等),由于大气粒子的散射,图像系统的成像质量大幅度下降,给户外图像系统的应用带来严重的影响。尤其是视频监控、地形勘测和自动驾驶等领域,而自动性和实时性就成为了去雾算法研究关注的重点。然而,去雾是一个赋有挑战性的课题。
在计算机视觉领域中,常用大气物理散射模型来描述雾、霾天气条件下场景的成像过程。近期几乎所有的去雾算法均建立在此模型之上,只是利用方式上有所不同,不同的方法采用不同的方式估计模型中的参数。因为大气散射模型中雾所依赖的场景深度、环境光强度等信息是未知的,基于单幅图像的去雾方法缺少足够的约束条件。因此,研究者们提出了很多基于多幅图像或者其他附加信息的去雾算法。
依据所需要的成像系统或成像场景的附加信息,可将基于物理模型的方法分为两大类。第一类方法利用同一场景的多幅输入图像,即不同天气条件下获取的多幅图像,或者不同偏振程度的多幅图像。Nayar(Nayar S K,Narasimhan S G.Vision in badweather[C].In:Proceedings of the 7th IEEE International Conference on Computer Vision.Kerkyra,Greece:IEEE,1999.820-827.)通过采集同一场景不同角度偏振光的多幅图像,并利用天空亮度偏振特性来对图像进复原。文献(Guo Fan,Cai Zi-xing,Xie Bing,et al.Review and prospect of image dehazing techniques[J].Journal of Computer Application,2010,90(9):2471-2412.)是通过获取同一场景在不同天气情况下的多幅图像,获得有效的对比度信息来去除雾的干扰。Narasimhan(Narasimhan S G.Nayar S K.Interactive(de)weathering of an image using physical models.In:Proceedings of the ICCV Workshopon Color and Photometric Methods in Computer Vision.Nice,France:IEEE,2003.1387-1394)等人基于大气散射理论,结合图像辅助信息,从多个不同的角度提取场景深度信息,从而实现场景的有效复原。上述方法理论上能够去除雾的干扰,实现图像复原,但在一些情况,如实时监控情况下,利用同一场景的多幅输入图像除雾方法便受到了限制。因此在实际应用中,通常都无法满足多幅图像的特殊条件。
近来,另一类方法,基于先验知识或假设的单幅图像去雾技术取得重大突破。Tan(Tan K,Oakley P J.Physics-based approach to color image enhancement in poorvisibility conditions[J].Optical Society of America,2001,18(10):2460-2467.)观察到相对于有雾图像,无雾图像具有更高的对比度,他通过最大化局部对比度来达到去雾的效果。但该方法仅关注提高能见度,并没有从物理上恢复场景辐射率,复原的结果颜色过于饱和且有光晕伪影效应。Fattal(Fattal R.Single image dehazing[J].ACMTransactions on Graphics,2008,27(3):1-9.)通过假设透射率和表面投影在局部是不相关的,采用独立分量分析的方法(Independent Component Analysis,ICA)和MRF模型(Markov Random Fields,MRF)来恢复图像。由于该方法是基于颜色统计的方法,无法处理浓雾下图像和灰度图像。He(He KaiMing,Sun Jian,Tang Xiaoou.Single imagehaze removal using dark channel prior[C].In:Proceedings of the IEEE Conference onComputer Vision and Pattem Recognition Miami.USA:IEEE,2009.1956-1963.)提出了一种基于暗先验的单一图像去雾方法。该方法用暗像素来直接评估雾中目标的深度信息,然后利用图像修补的方法可以得到近似的目标深度图。然而当场景在很大区域与天空亮度在本质上很相似时,且没有阴影投影到物体上,He的算法就会失效。Tarel(Tarel J P,Hautiere N.Fast visibility restoration from a single color or gray levelimage[C].In:Proceedings of the 12th IEEE Intemational Conference on Computer VisionKyoto.Japan:IEEE,2009.2201-2208.)利用滤波的方法对大气幕进行估计,最后经过色度调和获得恢复图像。对于颜色鲜艳的图像,该方法恢复的图像较好,对于复杂构图,整体效果偏暗,当参数设置不恰当时易引起光晕伪影效应,且色度、色调容易出现失真。
发明内容
本发明的目的在于克服上述已有的去雾方法中恢复效果不理想以及运算时间过久等不足,基于大气物理散射模型,提出一种快速获取环境光、大气幕和透射率的新方法,依据光学模型求解场景的反射系数,获得最终的复原图像。
本发明的目的是这样实现的:
本发明基于Narasimhan等给出的雾霾天气条件下大气物理散射模型,仅需要对单幅输入图像进行去雾处理以复原图像。首先对采集到的彩色雾霾图像的每个像素点的RGB分量取最小值,RGB是一种颜色模型,红、绿、蓝三种颜色按不同比例混合可以得到人类视力能感知到的基本所有颜色,得到的灰度图定义为Idc,然后对灰度图像Idc进行灰度腐蚀和膨胀,其结果定义为I′dc,通过对I′dc取像素的灰度最大值获得环境光A。对Idc和I′dc进行快速联合双边带滤波,获得大气幕V(x,y),进而求取透射率t(x,y)。将已估计到的环境光A、大气幕V(x,y)和透射率t(x,y)代入大气物理散射模型,获得初步复原结果,再进一步求解场景目标的RGB分量反射率,得到最终的复原图像。
所述的基于大气物理散射模型的图像去雾方法包括以下步骤:
1.图像获取
通过数字成像设备,获得并输入原始数字雾霾单幅图像;
2.RGB最小分量灰度图像Idc获取
将获取的彩色数字图像转换到RGB颜色空间,并求取每个像素点RGB分量的最小值,获得RGB最小分量灰度图Idc;
3.对Idc进行灰度腐蚀和膨胀,得到灰度图I′dc
对获取的RGB最小分量灰度图像Idc进行灰度腐蚀、膨胀运算,首先进行灰度腐蚀运算,当结构元素为正值时,输出图像比输入图像暗,输入图像中亮的细节的面积如果比结构元素的面积小,则亮的效果将被削弱;为了减轻腐蚀运算后灰度图像的边缘模糊问题,继续进行灰度膨胀运算,最终得到灰度图I′dc,去除了场景中较小的白色目标的影响;
4.环境光估计
将有雾图像分为两类,一种为无天空图像,另一种为天空面积较大图像,前者求取灰度图I′dc中像素的最大值A=maxI′dc(x,y)作为环境光的估计值,后者需对环境光估计值进行修正,即A=maxI′dc(x,y)-δ,δ=30为修正量;
5.大气幕V(x,y)和透射率t(x,y)估计
对获得的灰度图Idc和I′dc做快速联合双边带滤波,首先对Idc进行空间和幅度的降采样,然后计算联合直方图,再进行三维空间卷积,获得大气幕V(x,y),用常数ω将大气幕亮度取值修正为ω·V(x,y),0<ω≤1,这样可以有针对性地保留一部分覆盖遥远景物的雾,使复原图像更真实。卷积运算后的图像变化平缓且包含了更多的背景信息,而Idc包含更多的边缘信息和细节信息,本发明利用对联合三维直方图的滤波运算,实现对目标图像I′dc和Idc的快速联合双边带滤波,由于引入了线性插值运算,求得的V(x,y)既可以保证细节信息的完整性,同时避免了普通联合双边带滤波可能带来的光晕伪影效应;
利用环境光A和大气幕V(x,y),根据关系式V(x,y)=A(1-t(x,y)),用如下估计式求解透射率t(x,y):
t(x,y)=max((1-0.95×V(x,y)/A),0.01)
为了防止t(x,y)过小导致复原图像中产生噪声,所以将t(x,y)下限值设定为0.01;
6.图像复原
将已估计得的大气幕V(x,y)和透射率t(x,y)代入大气物理散射模型解出场景辐射率L0(x,y),将L0(x,y)作为初步复原结果,最后求解场景目标RGB分量的反射率ρ(x,y)=L0(x,y)/A,并将ρ(x,y)截断为[0 1],获得最终复原图像。
本发明基于Narasimhan等给出的大气物理散射模型,提出了针对环境光以及透射率估计的新方法。从单幅图像出发,自动地恢复场景反射率ρ(x,y),无需场景的其他附加信息。
本发明与现有技术相比较具有如下特点:
1.通过灰度的膨胀和腐蚀运算,去除了场景中的白色目标,使得环境光A的估计更加准确。
2.对环境光A的求解提供了解析的方法,解决了图像中存在大面积天空对A的估计产生干扰的问题。
3.通过快速联合双边带滤波算法,更加快速准确地计算大气幕V(x,y),并通过V(x,y)获得准确的透射率t(x,y),避免了普通联合双边带滤波可能造成的光晕伪影。
4.对初步复原图像进一步求解场景目标RGB分量反射率,完成了对亮度的调和,去除了环境光对目标的影响,使复原的图像更自然逼真,再现了场景的对比度和颜色。
本发明涉及的环境信息获取和雾霾图像的复原方法,可以广泛应用于视频监控、地形勘测和自动驾驶等领域。
附图说明
图1是Narasimhan大气物理散射模型示意图;
图2是本发明方法的步骤流程图;
图3是雾霾原始图像和对雾霾图像取RGB分量最小值得到的灰度图Idc,其中,图3(a)是雾霾原始图像,图3(b)是对图3(a)取RGB分量最小值得到的灰度图Idc;
图4是对Idc灰度腐蚀和膨胀得到的灰度图I′dc,其中,图4(a)是对Idc进行灰度腐蚀得到的灰度图,图4(b)是对图4(a)再进行灰度膨胀的结果I′dc;
图5是大气幕V(x,y)和透射率t(x,y),其中,图5(a)是I′dc和Idc做快速联合双边带滤波得到的V(x,y),图5(b)是透射率t(x,y);
图6是通过大气物理散射模型复原后的结果,其中,图6(a)是初步复原的场景辐射率L0(x,y),图6(b)是ρ(x)=L0(x,y)/A截断为[01]后的最终复原结果;
图7是不同雾霾图像的复原结果对比图,其中,图7(a)是雾霾图像,图7(b)是本发明方法复原结果;
图8是图像ny12、ny17复原结果对比图,其中,图8(a)是雾霾图像,图8(b)是He方法结果,图8(c)是Teral方法结果,图8(d)是本发明方法结果;
图9是图像ny12、ny17的复原细节图,其中,图9(a)是雾霾图像,图9(b)是本发明方法结果;
图10是图像Sweden的复原细节图,其中,图10(a)是雾霾图像,图10(b)是本发明方法结果。
具体实施方式
以下参照附图对本发明的具体实施作进一步详细的描述。
参照附图2、图3、图4和图5,其中,图3(a)是雾霾原始图像,图3(b)是对图3(a)取RGB分量最小值得到的灰度图Idc,图4(a)是对Idc进行灰度腐蚀得到的灰度图,图4(b)是对图4(a)再进行灰度膨胀的结果I′dc,图5(a)是I′dc和Idc做快速联合双边带滤波得到的V(x,y),图5(b)是透射率t(x,y),本发明的信息获取步骤如下:
第一步:大气物理散射模型分析
参照附图1,大气物理散射模型定义如下:
在计算机视觉和计算机图形中,Narasimhan等给出的雾、霾天气条件下大气物理散射模型被广泛地应用于去雾方法的研究,该模型描述如下:
L(x,y)=L0(x,y)e-kd(x,y)+A(1-e-kd(x,y)) (1)
式中L(x,y)是观察到的输入图像,L0(x,y)为场景的反射光线强度,也称场景辐射率,是最终复原的图像。k为大气散射系数,d(x,y)是场景深度,e-kd(x,y)为透射率,一般表示为t(x,y),A是环境光线亮度,其与局部位置(x,y)无关,一般假设为全局常量。其中L(x,y)、L0(x,y)、A均为RGB颜色空间向量。
从上式可以看到,大气物理散射模型由L0(x,y)e-kd(x,y)和A(1-e-kd(x,y))两部分组成。L0(x,y)e-kd(x,y)表示在大气粒子的散射作用下,未被散射而直接到达传感器的光强,称为直接衰减项,随传播距离的增大而呈指数衰减。A(1-e-kd(x,y))是环境光模型,也称大气幕亮度,反映了全局大气光的散射导致场景颜色的偏移,大气幕亮度随着传播距离的增大而逐渐增加。
式(1)适用于不存在光源目标的场景,本发明针对存在大片天空等光源目标的图像对大气物理散射模型进行了改进,如式(2)所示:
L(x,y)=(L0(x,y)+F0(x,y))e-kd(x,y)+A(1-e-kd(x,y)) (2)
式(2)与式(1)的唯一区别是在直接衰减项中增加了F0(x,y)这一项,该项表示场景中如大片天空、开启的车灯这样的目标主动发光的特性。对于非光源目标,有F0(x,y)=0,即式(1)是式(2)的特例。
第二步:复原模型分析
又如附图1,图像复原表述如下:
L0(x,y)即是所要复原的图像,也就是所需求得的值,对式(1)移项,等式两边同除以透射率e-kd(x,y),则复原图像表示为:
式(3)中,用V(x,y)表示大气幕亮度,即V(x,y)=A(1-e-kd(x,y))。基于该物理模型的图像去雾的难点在于,如果输入的只是一张有雾图片的话,去雾是一个缺少约束条件的问题,由于其深度信息d(x,y)未知,故L0(x,y)无法由式(3)求出。本发明只需估计出A和V(x,y),再求得t(x,y),并代入式(3)即可求得L0(x,y),获得复原的图像。
第三步:环境光A和大气幕V(x,y)的估计
本发明提出一种基于灰度形态学的环境光A的估计方法,实施方法如下:
(1)成像模型的基本原理
令L0(x,y)=ρ(x,y)×A,ρ(x,y)为目标的反射率,对于图像中的低反射率目标,当ρ(x,y)→0时,
L0(x,y)→0 (4)
将式(4)代入式(1)可得,
L(x,y)=A(1-e-kd(x,y)) (5)
由式(5)可知,对低反射率目标,目标景深越大,光路中大气粒子就越多,这样大气粒子对环境光的散射作用就越强,图像亮度就越大,当d(x,y)→∞时,由式(5)可得
L(x,y)→A (6)
由式(4)、(5)和(6)可知,ρ(x,y)→0以及d(x,y)→∞是求解L0(x,y)的约束条件。
基于目标对光线的吸收/反射特性,自然界中目标成像的颜色是由目标物体吸收白光中特定频率的光而反射其余的光而形成。基于RGB颜色模型,成像的色彩是由目标物体对光的RGB三分量不同反射特性生成,对于颜色鲜艳的彩色目标或颜色较暗的目标,必定至少存在一个反射率较小的分量。本发明将L(x,y)的最小颜色分量作为图像中的低反射率分量,结合V(x,y)的定义和式(4)、(5),可知,Idc就是对V(x,y)的初步估计,如式(7)所示:
(2)A值的估计
由式(4)、(5)和(6)可得,当ρ(x,y)→0时,可以根据式(1)求得A。由于图像中有白色目标,其反射率ρ(x,y)→1,并不满足式(4)、(5)和(6)给出的条件,因此本发明给出了一种利用灰度开运算去除白色目标影响的方法,灰度开运算是先进行灰度腐蚀运算再进行灰度膨胀运算的灰度图像形态学组合运算。
对灰度图Idc(x,y)进行灰度腐蚀和膨胀运算,如附图4所示,其中,图4(a)是对Idc进行灰度腐蚀后得到的灰度图,图4(b)是对图4(a)进行灰度膨胀的灰度图I′dc。对于灰度的腐蚀操作,当结构元素为正值时,输出图像会比输入图像暗。输入图像中亮的细节的面积如果比结构元素的面积小,则亮的效果将被削弱。为了减轻腐蚀后灰度图像的边缘模糊问题,继续进行灰度膨胀运算。通过灰度开运算,除去较小的明亮细节,保持整体的灰度级和较大的明亮区域不变。
定义对Idc(x,y)进行灰度开运算后的图像为I′dc(x,y),此时已经去除了ρ(x,y)较大的目标的影响。此时,图像的亮度越大,雾看起来更浓,由式(5)知,即景深d(x,y)越大。对于无天空图像,选取I′dc(x,y)中像素的灰度最大值作为A的估计值,即
A=maxI′dc(x,y) (8)
然而天空区域并不满足ρ(x,y)→0成像条件且由于天空区域具有光源特性,即式(2)中F0(x,y)≠0,不满足大气物理散射模型,因此不能通过式(8)对A直接估计。对于存在大面积天空区域的图像,需要对式(8)进一步修正:
A=maxI′dc(x,y)-δ (9)
在本发明中,根据实验结果,取δ=30效果最佳。
(3)V(x,y)的估计
根据式(7),完成了V(x,y)的初步估计Idc(x,y),通过灰度开运算,除去较小的明亮细节,完成了对V(x,y)的进一步估计I′dc(x,y)。由附图4中的图4(b)可知,灰度开运算虽然去除了白色目标的影响,但也造成了目标的边缘的模糊,造成目标的层次混淆。我们希望获得的V(x,y)能真实反映云雾的分布状态,既有较为平滑的灰度变化,又能保持目标的边缘细节。
双边滤波器是一个边缘保持滤波器,最初由Tomasi和Manduchi于1998年提出。双边滤波器的权重由空域和值域平滑函数的乘积给出。对于图像中某一点p=(x,y),其滤波结果为:
其中,f是高斯中心在p点的空域滤波器,g是中心为p点像素值的值域滤波器。Ω是f的空域范围,Kp是归一化因子,即f·g滤波权重的总和。由于双边滤波器f·g随着空间距离和值域距离的增加而减小,所以保留了图像的边缘。
在环境光已知的情况下,大气幕亮度V(x,y)仅是场景深度的函数,而保持场景深度突变的边缘细节可以看作是一个滤波问题,这里对I′dc(x,y)进行滤波平滑。
已知Idc(x,y)和I′dc(x,y),可以利用联合双边带滤波求解V(x,y)。由于双边带滤波使用了高斯卷积核函数,且I′dc(x,y)的边缘的模糊问题,联合双边带滤波的输出结果也会产生边缘的模糊,进而造成复原图像的边缘的光晕伪影效应。为了达到V(x,y)的局部平滑及边缘清晰的效果,本发明采用一种近似联合双边带滤波方法,称为快速联合双边带滤波方法,实现过程如下:
1.将Idc(x,y)和I′dc(x,y)作为输入图像,并对Idc(x,y)的空间分辨率以及幅度分辨率分别进行α,β倍降采样,得到网格化的三维空间(xd,yd,Id),所述xd,yd,Id分别为采样后的空间坐标及灰度值;
2.构造三维数组Idata(xd,yd,Id)和Iw(xd,yd,Id),遍历Idc(x,y)图像的每个像素,此时Idc(x,y)的各像素灰度值已降采样,将I′dc(x,y)的对应像素点的灰度值累加得至Idata(xd,yd,Id),即Idata(xd,yd,Id)=Idata(xd,yd,Id)+I′dx(x,y),同时Iw(xd,yd,Id)=Iw(xd,yd,Id)+1,这样就得到Idata(xd,yd,Id)和Iw(xd,yd,Id)两个三维直方图;
3.对Idata(xd,yd,Id)和Iw(xd,yd,Id)进行三维高斯滤波,得到IG(xd,yd,Id);
4.对IG(xd,yd,Id)进行三维线性插值运算,得到I(xd,yd,Id)。
通过以上运算,选择能够保持边界信息的非线性空间滤波器,避免全面平滑带来错误的光晕伪影效应,而且保留更多的细节信息,滤波后结果即为V(x,y)。
第四步:t(x,y)的估计和图像初步复原
参照附图5,图6,其中图5(a)是快速联合双边带滤波得到的V(x,y),图5(b)是透射率t(x,y),图6(a)是初步复原的场景辐射率L0(x,y)。t(x,y)的估计和图像初步复原实施方法如下:
现实中,即使是很晴朗的天气,空气中总会不可避免地包含一些杂质分子。所以当看远处的物体时雾依然是存在的。如果彻底地移除雾的存在,图像会看起来不真实,深度感会丢失。所以本发明通过引进一个常数ω(0<ω≤1),有针对性地保留一部分覆盖遥远景物的雾,即大气幕亮度取值为ω·V(x,y)。
这一修正对于远处的物体能相应地保留更多的雾,体现了场景景深的变化。ω的值根据具体情况而定。在本发明中,通过对大量有雾图像进行实验后选取经验值:0.95。同时,为了防止t(x,y)过小而产生噪声,将t(x,y)的下限值设定为0.01。
t(x,y)=e-kd(x,y)=max((1-0.95×V(x,y)/A),0.01) (10)
由式(3),(10)对L0(x,y)的RGB三个分量进行初步复原,
L0(x,y)=(L(x,y)-V(x,y))/t(x,y) (11)
第五步:亮度调和,图像最终复原
参照附图6,其中图6(b)是ρ(x)=L0(x,y)/A截断为[0 1]后的最终复原结果,图像复原实施方法如下:
为了去除环境光线对目标的影响,求得目标的真实特性,最后通过对L0(x,y)/A获得目标的反射率ρ(x,y),并截断为[01]。
本发明的效果可以通过以下实验进一步说明:
1,主观评价
本发明提出的方法应用于大量户外场景的雾霾图像都取得了较好的去雾效果。附图7给出部分户外场景的试验结果,其中图7(a)是雾霾图像,图7(b)是本发明方法复原结果。可以看出,本方法有效地去除了图像中的雾霾,再现了场景的对比度和颜色,从而提高了图像的视见度。
为了验证所提方法的性能,将本发明方法同He以及Tarel算法进行比较,本文给出不同户外场景下雾霾图像的复原结果。从附图8中的图8(b)可以看出,He的方法复原的图像颜色稍偏,总体色调较冷;从附图8中的图8(c)可以看出,Tarel算法颜色显得过饱和,且在景深突变的边界处易产生光晕伪影效应;通过附图8中的图8(d)对比可知,本发明的方法较好地再现了场景的蓝天白云,图像清晰明亮,细节信息丰富,且有效地避免了光晕伪影效应。在附图9中给出了本发明方法的复原细节,其中图9(a)是雾霾图像,图9(b)是本发明方法的复原细节。
2,客观评价
2.1时间复杂度
算法的时间复杂度反映了程序执行时间随输入规模增长而增长的量级,在很大程度上能很好反映出算法的优劣与否。
He所用的图像抠图算法是一个大规模稀疏线性方程组的求解问题,具有很高的时间复杂度和空间复杂度。对于一副大小为Sx×Sy的图像,Tarel算法的时间复杂度为O(SxSySv2lnSv),其中sv为中值滤波的模版尺寸。在Teral算法中,中值滤波的模版尺寸一般取值较大,如图8中的图例,sv的取值为图像较长边的1/25。而本发明所用联合双边滤波器的时间复杂度为O(SxSy),其他部分的时间复杂度都低于O(SxSy),因此本发明的时间复杂度为O(SxSy),是图像像素数的线性函数,具有很高的执行效率。
2.2客观评估标准
由于大多数的图像质量评价方法均需要知道同一场景在晴天下的图像作为评价的参考图像,而在实际应用中,这一条件往往过于苛刻,难以满足,因此一般选用更为实用的盲评方法。目前,在图像去雾领域的盲评方法主要是由Hautiere等人提出的可见边梯度法。该方法采用原图像与恢复图像的可见边集合数目比(e)和平均梯度比来客观评价图像的去雾效果。即:
其中:n0和nr分别表示原图像L(x,y)和恢复图像L0(x,y)中可见边的数目;表示原图像的平均梯度,表示恢复图像的平均梯度。
每一种算法的目标都是最大化地提高计算速度,且在不丢失视觉信息的同时增加图像的对比度。因此,执行时间越短的算法去雾效率越高;而e和越大,表明去雾效果越好。
下面给出附图9中所示图像在不同算法的处理下各指标值的大小。实验条件为:Intel(R)Core(TM)i5 CPU6503.20GHz 3.19GHz,2.99GB内存。实验图片ny12大小为576*768、ny17为1024*768。对比结果如表1所列。
从表1可以看出,本发明的处理速度是He算法的五倍之多,可见运算速度得到了大幅提升。附图10所示为本发明的另一组Sweden图片实验结果,其中图10(a)是Sweden雾霾图像,图10(b)是本发明方法的复原结果,可以看出本发明的复原结果在景深突变的边界处没有光晕伪影效应,结果清晰,画面清新,颜色自然。
表1不同算法处理结果对比
Claims (3)
1.基于大气物理散射模型的图像去雾方法,包括如下步骤:
(1)图像获取
通过数字成像设备,获得并输入原始数字雾霾单幅图像;
(2)RGB最小分量灰度图像Idc获取
将获取的彩色数字图像转换到RGB颜色空间,并求取每个像素点的最小RGB分量,获得彩色图像的RGB最小分量灰度图像Idc;
(3)对RGB最小分量灰度图像Idc进行灰度开运算,得到灰度图像I′dc
对获取的RGB最小分量灰度图像Idc进行灰度开运算,首先进行灰度腐蚀运算,当结构元素为正值,输出图像比输入图像暗,输入图像中亮的细节的面积如果比结构元素的面积小,则亮的效果将被削弱;为了减轻腐蚀运算后灰度图像的边缘模糊问题,继续进行灰度膨胀运算,最终得到灰度图像I′dc,去除了场景中较小的白色目标的影响;
(4)环境光A的估计
将雾霾图像分为两类,一种为无天空图像,另一种为天空面积较大图像,前者求取灰度图像I′dc中像素的灰度最大值A=maxI′dc(x,y)作为环境光的估计值,后者需对环境光估计值进行修正,即A=maxI′dc(x,y)-δ,δ为修正量;
(5)大气幕V(x,y)和透射率t(x,y)估计
对步骤(2)、(3)得到的RGB最小分量灰度图像Idc和灰度图像I′dc做快速联合双边带滤波,首先对RGB最小分量灰度图像Idc进行空间和幅度的降采样,然后计算RGB最小分量灰度图像Idc和灰度图像I′dc的联合直方图,再进行三维空间卷积,获得大气幕V(x,y),用常数ω将大气幕亮度取值修正为ω·V(x,y),0<ω≤1;
利用环境光A和大气幕V(x,y),根据关系式V(x,y)=A(1-t(x,y)),用如下估计式求解透射率t(x,y):
t(x,y)=max((1-0.95×V(x,y)/A),0.01)
为了防止t(x,y)过小导致复原图像中产生噪声,所以将t(x,y)下限值设定为0.01;
(6)图像复原
将已估计的大气幕V(x,y)和透射率t(x,y)代入图像复原模型
L0(x,y)=(L(x,y)-V(x,y))/t(x,y)对L0(x,y)的RGB三个分量进行初步复原,再求解场景目标的RGB分量反射率ρ(x,y)=L0(x,y)/A,并将ρ(x,y)截断为[01]。
2.根据权利要求1所述的基于大气物理散射模型的图像去雾方法,其特征在于:所述步骤(4)中对于存在大片天空区域的环境光估计值进行修正,当修正量取δ=30时,效果最佳。
3.根据权利要求1所述的基于大气物理散射模型的图像去雾方法,其特征在于:所述步骤(5)中对RGB最小分量灰度图像Idc和灰度图像I′dc作快速联合双边带滤波获得V(x,y),方法按如下步骤进行:
(3a)将Idc(x,y)和I′dc(x,y)作为输入图像,并对Idc(x,y)的空间分辨率以及幅度分辨率分别进行α,β倍降采样,得到网格化的三维空间(xd,yd,Id),所述(xd,yd)为降采样后的空间坐标,Id为降采样后图像在坐标(xd,yd)下的灰度值;
(3b)构造三维数组Idata(xd,yd,Id)和Iw(xd,yd,Id)遍历Idc(x,y)图像的每个像素,此时Idc(x,y)的各像素灰度值已降采样,将I′dc(x,y)的对应像素点的灰度值累加至Idata(xd,yd,Id),即Idata(xd,yd,Id)=Idata(xd,yd,Id)+I′dc(x,y),同时Iw(xd,yd,Id)=Iw(xd,yd,Id)+1,得到两个三维直方图Idata(xd,yd,Id)和Iw(xd,yd,Id);
(3c)对Idata(xd,yd,Id)和Iw(xd,yd,Id)进行三维高斯滤波,得到IG(xd,yd,Id);
(3d)对IG(xd,yd,Id)进行三维线性插值运算,得到V(x,y)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210366126.1A CN102930514B (zh) | 2012-09-27 | 2012-09-27 | 基于大气物理散射模型的快速图像去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210366126.1A CN102930514B (zh) | 2012-09-27 | 2012-09-27 | 基于大气物理散射模型的快速图像去雾方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102930514A CN102930514A (zh) | 2013-02-13 |
CN102930514B true CN102930514B (zh) | 2015-04-08 |
Family
ID=47645304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210366126.1A Expired - Fee Related CN102930514B (zh) | 2012-09-27 | 2012-09-27 | 基于大气物理散射模型的快速图像去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102930514B (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077745B (zh) * | 2013-03-29 | 2017-05-17 | 株式会社日立制作所 | 图像除雾装置和图像除雾方法 |
CN103578083B (zh) * | 2013-09-07 | 2016-06-29 | 西安电子科技大学 | 基于联合均值漂移的单幅图像去雾方法 |
CN103578084B (zh) * | 2013-12-09 | 2017-04-19 | 西安电子科技大学 | 基于亮通道滤波的彩色图像增强方法 |
CN103914820B (zh) * | 2014-03-31 | 2017-01-18 | 华中科技大学 | 一种基于图像分层增强的图像去雾方法及系统 |
CN103914813B (zh) * | 2014-04-10 | 2017-06-16 | 西安电子科技大学 | 彩色雾霾图像去雾与光照补偿的复原方法 |
CN104063853B (zh) * | 2014-07-07 | 2017-02-08 | 南京通用电器有限公司 | 一种基于暗通道技术的提高交通视频图像清晰度方法 |
CN104182943B (zh) * | 2014-08-27 | 2015-12-02 | 湖南大学 | 一种融合人眼视觉特性的单幅图像去雾方法 |
CN104299192B (zh) * | 2014-09-28 | 2017-03-29 | 北京联合大学 | 一种基于大气光散射物理模型的单幅图像去雾方法 |
CN104616258B (zh) * | 2015-01-26 | 2017-10-03 | 中南大学 | 一种针对道路图像的快速去雾方法 |
CN106033597B (zh) * | 2015-03-17 | 2019-02-26 | 杭州海康威视数字技术股份有限公司 | 图像去雾的方法和设备 |
CN106323885B (zh) * | 2015-06-26 | 2019-04-02 | 中国石油化工股份有限公司 | 一种岩样有机质成熟度测量方法 |
CN105205793A (zh) * | 2015-09-23 | 2015-12-30 | 成都融创智谷科技有限公司 | 一种基于暗原色先验的图像去雾方法 |
CN105447825B (zh) * | 2015-10-08 | 2018-06-12 | 湖北大学 | 图像去雾方法及其系统 |
US9792522B2 (en) * | 2015-12-01 | 2017-10-17 | Bloomsky, Inc. | Weather information extraction using sequential images |
CN105678240B (zh) * | 2015-12-30 | 2019-01-18 | 哈尔滨工业大学 | 一种用于道路去反光的图像处理方法 |
CN105741246A (zh) * | 2016-01-29 | 2016-07-06 | 南京航空航天大学 | 一种去除沙尘和雾对光学图片影响的方法 |
CN105894466B (zh) * | 2016-03-29 | 2019-01-11 | 青岛海信移动通信技术股份有限公司 | 一种图像数据的处理方法、装置和终端设备 |
CN106709893B (zh) * | 2016-12-28 | 2019-11-08 | 西北大学 | 一种全天时雾霾图像清晰化恢复方法 |
US10528842B2 (en) * | 2017-02-06 | 2020-01-07 | Mediatek Inc. | Image processing method and image processing system |
CN107958465A (zh) * | 2017-10-23 | 2018-04-24 | 华南农业大学 | 一种基于深度卷积神经网络的单幅图像去雾方法 |
CN107862672B (zh) * | 2017-12-20 | 2020-06-09 | 上海富瀚微电子股份有限公司 | 图像去雾的方法及装置 |
CN108596993B (zh) * | 2018-02-26 | 2022-07-12 | 上海奕瑞光电子科技股份有限公司 | 校正图像不饱和伪影的系统及校正方法 |
CN108629288B (zh) * | 2018-04-09 | 2020-05-19 | 华中科技大学 | 一种手势识别模型训练方法、手势识别方法及系统 |
CN108648409B (zh) * | 2018-04-28 | 2020-07-24 | 北京环境特性研究所 | 一种烟雾检测方法及装置 |
CN108898559B (zh) * | 2018-06-20 | 2021-11-19 | 中国科学院光电技术研究所 | 基于图像反卷积的大气色散修正方法 |
CN109003238B (zh) * | 2018-06-26 | 2021-06-25 | 西京学院 | 一种基于模型与直方图及灰度增强的图像雾霾去除方法 |
CN109584170B (zh) * | 2018-10-29 | 2022-12-27 | 西安电子科技大学 | 基于卷积神经网络的水下图像复原方法 |
CN110490821A (zh) * | 2019-08-08 | 2019-11-22 | 中国科学院长春光学精密机械与物理研究所 | 一种有雾遥感图像复原方法 |
CN113362235A (zh) * | 2020-03-04 | 2021-09-07 | 福州瑞芯微电子股份有限公司 | 一种图像去雾方法及装置 |
CN112529802B (zh) * | 2020-12-09 | 2021-07-20 | 电子科技大学 | 基于散射系数比估计的大气散射降质图像恢复方法 |
CN112200755B (zh) * | 2020-12-09 | 2021-05-07 | 成都索贝数码科技股份有限公司 | 一种图像去雾方法 |
CN116337088B (zh) * | 2023-05-30 | 2023-08-11 | 中国人民解放军国防科技大学 | 基于仿生偏振视觉的雾天场景相对运动估计方法和装置 |
CN116596805B (zh) * | 2023-07-14 | 2023-09-29 | 山东大学 | 一种基于场景物体与大气光偏振态差异的偏振去雾方法 |
CN118071877A (zh) * | 2024-04-19 | 2024-05-24 | 武汉追月信息技术有限公司 | 一种基于遥感图像的城市测绘服务方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101783012A (zh) * | 2010-04-06 | 2010-07-21 | 中南大学 | 一种基于暗原色的自动图像去雾方法 |
CN101950416A (zh) * | 2010-09-15 | 2011-01-19 | 北京理工大学 | 基于双边滤波的实时图像去雾增强方法 |
CN102289791A (zh) * | 2011-06-29 | 2011-12-21 | 清华大学 | 一种快速单幅图像去雾方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8396324B2 (en) * | 2008-08-18 | 2013-03-12 | Samsung Techwin Co., Ltd. | Image processing method and apparatus for correcting distortion caused by air particles as in fog |
US8340461B2 (en) * | 2010-02-01 | 2012-12-25 | Microsoft Corporation | Single image haze removal using dark channel priors |
-
2012
- 2012-09-27 CN CN201210366126.1A patent/CN102930514B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101783012A (zh) * | 2010-04-06 | 2010-07-21 | 中南大学 | 一种基于暗原色的自动图像去雾方法 |
CN101950416A (zh) * | 2010-09-15 | 2011-01-19 | 北京理工大学 | 基于双边滤波的实时图像去雾增强方法 |
CN102289791A (zh) * | 2011-06-29 | 2011-12-21 | 清华大学 | 一种快速单幅图像去雾方法 |
Non-Patent Citations (2)
Title |
---|
基于双边滤波的实时图像去雾技术研究;孙抗 等;《北京理工大学学报》;20110731;第31卷(第7期);第810-813、822页 * |
大气光估计对单幅图像去雾复原的影响;徐晶 等;《智能计算机与应用》;20120630;第2卷(第3期);第68-71页 * |
Also Published As
Publication number | Publication date |
---|---|
CN102930514A (zh) | 2013-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102930514B (zh) | 基于大气物理散射模型的快速图像去雾方法 | |
US9384532B2 (en) | Apparatus for improving fogged image using user-controllable root operator | |
CN108734670B (zh) | 单幅夜间弱照度雾霾图像的复原方法 | |
Tripathi et al. | Single image fog removal using anisotropic diffusion | |
Negru et al. | Exponential contrast restoration in fog conditions for driving assistance | |
CN101901473B (zh) | 单帧图像自适应去雾增强方法 | |
Xu et al. | Removing rain and snow in a single image using guided filter | |
US9418402B2 (en) | System for improving foggy luminance image using fog reduction estimation model | |
Tripathi et al. | Removal of fog from images: A review | |
Sun | A new single-image fog removal algorithm based on physical model | |
Singh et al. | Single image defogging by gain gradient image filter | |
CN103914813A (zh) | 彩色雾霾图像去雾与光照补偿的复原方法 | |
CN105931208B (zh) | 基于物理模型的低照度图像增强算法 | |
CN102831591A (zh) | 一种基于高斯滤波的单幅图像的实时去雾方法 | |
CN102663697A (zh) | 一种水下彩色视频图像的增强方法 | |
CN104272347A (zh) | 去除包含在静止图像中的雾的图像处理装置及其方法 | |
CN103578083A (zh) | 基于联合均值漂移的单幅图像去雾方法 | |
CN110288539A (zh) | 一种结合颜色空间移动与暗通道先验的水下图像清晰方法 | |
Bansal et al. | A review of image restoration based image defogging algorithms | |
CN103413305B (zh) | 一种单幅图像的快速去雾方法、装置和图像处理系统 | |
Fu et al. | An anisotropic Gaussian filtering model for image de-hazing | |
CN107451975B (zh) | 一种基于视觉加权相似的图像质量清晰化方法 | |
CN106327450A (zh) | 一种基于时空累积和图像退化模型的低照度视频图像增强方法 | |
More et al. | Removal of fog from hazy images and their restoration | |
Nentwig et al. | Concerning the applicability of computer graphics for the evaluation of image processing algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150408 Termination date: 20210927 |
|
CF01 | Termination of patent right due to non-payment of annual fee |