CN107085830B - 基于传播滤波的单幅图像去雾方法 - Google Patents

基于传播滤波的单幅图像去雾方法 Download PDF

Info

Publication number
CN107085830B
CN107085830B CN201611194972.4A CN201611194972A CN107085830B CN 107085830 B CN107085830 B CN 107085830B CN 201611194972 A CN201611194972 A CN 201611194972A CN 107085830 B CN107085830 B CN 107085830B
Authority
CN
China
Prior art keywords
image
atmospheric
transmittance
light intensity
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611194972.4A
Other languages
English (en)
Other versions
CN107085830A (zh
Inventor
汤红忠
朱玲
王翔
王艳东
李骁
毛丽珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Publication of CN107085830A publication Critical patent/CN107085830A/zh
Application granted granted Critical
Publication of CN107085830B publication Critical patent/CN107085830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于传播滤波的单幅图像去雾方法,首先通过双区域滤波法估计初始大气透射率,再以最小颜色通道图作为参考图像,结合传播滤波法得到优化后的大气透射率,最后采用自适应方法优化的大气光强度,基于大气散射模型实现无雾图像的恢复。与现有技术相比,本发明的优势在于,能得到更为精确的大气透射率,可以改善现有的图像去雾方法中景深突变边缘的去雾残留问题,同时边缘细节得到有效保持,局部纹理区域具有较好的空间平滑性。

Description

基于传播滤波的单幅图像去雾方法
技术领域
本发明涉及计算机图像处理领域,具体涉及一种单幅图像去雾技术,尤其是一种结合最小颜色通道图与传播滤波的单幅图像去雾的方法。
背景技术
近几年空气质量退化严重,雾霾等恶劣天气出现频繁,PM2.5值越来越引起人们的广泛关注。在有雾天气下拍摄的图像模糊不清,清晰度不够,细节不明显,色彩保真度下降,出现严重的颜色偏移和失真,达不到满意的视觉效果。由此限制和影响了室外目标识别和跟踪、智能导航、公路视觉监视、卫星遥感监测、军事航空侦查等系统效用的发挥,给生产与生活等各方面都造成了极大的影响。
以公路监控为例,由于大雾弥漫,道路的能见度大大降低,司机通过视觉获得的路况信息往往不准确,进一步影响对环境的判读,很容易发生交通事故,此时高速封闭或公路限行,给人们的出行带来了极大的不便。故现在迫切需要对雾天图像进行有效的去雾处理。
图像去雾算法目前已取得较大的进展,主要可分为两大类:第一类是基于图像增强的图像去雾方法,如直方图均衡化算法、基于小波变换的图像增强算法和基于Retinex理论的图像增强算法等,这类算法并不考虑图像退化模型及降质原因,仅从图像处理的角度提高图像对比度,因此容易造成图像的信息丢失,并不能从根本上去雾;第二类是基于物理模型的图像去雾方法,该类方法主要基于大气散射模型,研究雾天图像降质的物理过程,再反推恢复景物无雾图像,例如,Fattal等假设大气透射率和场景目标局部区域的反射率两者不相关,从而估算大气透射率及场景的辐照度,取得了一定的复原效果,但该方法不适用于浓雾天气下的图像去雾。He等提出了基于暗原色先验的图像去雾方法,该方法首先根据暗原色先验信息估算大气透射率,再采用软抠图算法对大气透射率进行细化,从而复原图像,但该算法时间复杂度大。因此Gibson等提出用中值滤波估计大气散射函数,从而实现图像恢复,但该方法容易导致边缘信息丢失,造成去雾后图像的黑斑效应。He等后续提出采用引导滤波代替软抠图实现透射率的优化,该图像复原的速度大大加快,但因采用原图作为引导图像,容易导致图像去雾残留较大。此外,Zhang等则提出采用双区域滤波代替中值滤波来估算大气透射率,该方法能在一定程度上能改善黑斑效应,但通过实验可观察到在图像景深突变密集的边缘区域,该算法的透射率估值容易出现偏差,边缘区域去雾不彻底,如图9(c)所示。
综上,现有的图像去雾方法无法兼顾图像复原速度快和图像复原质量高的优点,具有一定的局限性。
发明内容
本发明的目的是克服上述现有技术的缺点,提供了一种复原速度快、质量高的图像去雾方法,使用该方法的图像去雾彻底、无黑斑、无残留、清晰度高。
基于传播滤波的单幅图像去雾方法,首先通过双区域滤波法估计初始大气透射率,再以最小颜色通道图作为参考图像,结合传播滤波法得到优化后的大气透射率,最后采用自适应方法优化的大气光强度,基于大气散射模型实现无雾图像的恢复。
优选地,上述方法的步骤如下:
步骤a)对有雾图像进行双区域滤波处理,结合雾、霾环境下的大气散射模型,得到大气初始透射率t′(x);
步骤b)通过最小颜色通道图运用传播滤波器将步骤a所得大气初始透射率t′(x)优化后得到大气透射率t″(x);
步骤c)采用大气光强度的自适应恢复算法,实现对大气光A的估计,结合步骤b所得t″(x)得到无雾图。
更优选地,步骤a的具体操作是:根据暗原色先验理论得到暗原色先验图,对暗原色先验图像进行双区域滤波操作,得到暗原色双区域值I′dark(x),根据雾、霾环境下的大气散射模型,结合I′dark(x),得到大气初始透射率t′(x)。
进一步,建立雾、霾环境下的大气散射模型公式为:
I(x)=J(x)t(x)+(1-t(x))A (1)
式中,x是像素点索引,I(x)表示有雾图,J(x)表示无雾图,t(x)为大气透射率,A为大气光强度。
通过对大量无雾图像统计发现,对于清晰的户外图像,在绝大多数非天空的局部区域内,某些像素总存在至少一个颜色通道亮度值很低并趋近于0,即暗原色先验图,计算公式如下:
Figure BDA0001187880050000031
式中,上标C表示R、G、B某个通道,Ω(x)表示以像素x为中心的邻域,则JC(y)为对应Ω(x)中任一像素的R、G、B某个颜色通道值,则Jdark(x)是两次最小值滤波结果。
假设Ω(x)邻域内t(x)保持不变,则对式(1)两边进行两次最小值运算:
Figure BDA0001187880050000032
将式(2)代入式(3),得大气透射率t(x)初始值:
Figure BDA0001187880050000033
为了使图像恢复结果更加逼真,引入因子θ,θ=0.95,因此,式(4)中的大气初始透射率为:
Figure BDA0001187880050000034
随后采用双区域滤波优化透射率:以对无雾图J(x)进行透射率优化为例,对每个像素x的邻域内三原色通道最小值排序,取其中值,若中值大于像素点x三原色通道的最小值,暗原色双区域值则取三原色通道的最小值,否则取像素点邻域内三原色通道最小值的中值,具体定义如下:
Figure BDA0001187880050000035
式中,JC(x)为J(x)中像素x的R、G、B某个颜色通道值,J′dark(x)为像素x的暗原色双区域值。
类似地,对有雾图I(x)进行双区域滤波处理,得到暗原色双区域滤波图I′dark(x);将所得I′dark(x)代入式(5),得到重新定义的大气透射率t′(x):
Figure BDA0001187880050000036
更优选地,步骤b的具体操作是:由有雾图I(x)得到最小颜色通道图w(x),运用传播滤波器对步骤a中所得大气透射率t′(x)进行优化,得到优化后的大气透射率t″(x)。
进一步,由有雾图I(x)得到最小颜色通道图w(x)的公式为:
Figure BDA0001187880050000041
式中,IC(x)为I(x)中像素x的R、G、B某个颜色通道值,则w(x)为像素x中三个颜色通道的最小值。
计算传播滤波器输出Vp(x):
Figure BDA0001187880050000042
式中,V(y)代表像素值,
Figure BDA0001187880050000043
为归一化系数,且
Wx,y=g(da(V(x),V(y));σa)g(dr(V(x),V(y));σr) (10)
Figure BDA0001187880050000044
Figure BDA0001187880050000045
式中,
Figure BDA0001187880050000046
为高斯函数,σ为方差,s、s+1表示区域邻接路径φ上相邻的两个像素点,V(s)、V(s+1)、V(x)分别表示像素s、s+1、x对应的像素值,da(V(x),V(y))定义了邻接路径φ上相邻像素间的关联程度,dr(V(x),V(y))定义了邻接路径上φ每个像素与中心像素x的关联程度,φ则表示两个像素x与y之间相连的区域邻接路径上所有像素点集合,而且由相邻的像素迭代生长而成,其生长规则如下:
(a)若两像素在水平或垂直方向,如ys-2与x,则邻接路径为两像素直接相连的线段;
(b)若两像素不在水平或垂直方向,如y与x,则通过两个像素间的曼哈顿距离决定路径φ,具体定义如下:
Figure BDA0001187880050000047
式中,(a1,b1)和(a2,b2)代表像素y与x的坐标。
则优化后的大气透射率t″(x)为:
Figure BDA0001187880050000051
更优选地,步骤c的具体操作是:采用大气光强度的自适应恢复算法,实现对大气光A的估计,根据步骤b所得t″(x),结合所得A对有雾图I(x)进行大气散射模型反解,得到无雾图J(x)。
进一步,由于无雾图J(x)可分解为图像的明暗系数和表面反射系数两个变量的乘积,即
J(x)=l(x)R(x) (15)
式中,l(x)为图像明暗系数,R(x)为图像表面的反射系数,其矢量值与RGB颜色空间有关,且||R(x)||=1;
将有雾图像I(x)分块,基于式(1)和式(15),第i个图块的去雾模型Ii(x)可以重新修改如下:
Ii(x)=l(x)Ri(x)ti(x)+(1-ti(x))A (16)
式中,Ri(x),ti(x)分别代表第i个图块中像素的表面反射系数和透射率,Ii(x)由矢量l(x)Ri(x)ti(x)和矢量(1-ti(x))A合成。根据图像具有局部区域平滑的特性,则第i个图块内的表面反射系数Ri(x)和大气透射率ti(x)基本保持不变,因此Ii(x)值仅随l(x)的变化而变化。
在RGB颜色空间中,像素值Ii(x)的分布在同一条线上,即第i个图块的RGB线,并相交于矢量(1-ti(x))A;通过分析若干图像块,发现较多图块内像素点主要集中在同一条RGB线附近,且不经过原点。找到满足式(16)的图块,则每个图块构成的RGB线与原点将构成一个平面,然而每个平面都包含着矢量(1-ti(x))A,因此,将两两平面相交的线设定为侯选大气光强度的方向
Figure BDA0001187880050000052
然后,计算第i个图块对应的RGB线到每条候选线
Figure BDA0001187880050000053
的欧氏距离dij,则大气光强度A的方向
Figure BDA0001187880050000054
定义如下:
Figure BDA0001187880050000055
由式(17)可知,大气光强度的方向
Figure BDA0001187880050000056
即当所求的dij取中值时对应的第i个图块与所有侯选相交线距离最小的
Figure BDA0001187880050000061
为了准确的估算出大气光强度的模值,引入惩罚因子a,则式(17)可转化为:
I(x)=la(x)Ra(x)ta(x)+(1-ta(x))aA (18)
式中,la(x)、Ra(x)与ta(x)分别代表当大气光强度为aA时,像素x的明暗系数、表面反射系数与透射率,由式(18)与式(16)可知,(1-ta(x))aA=(1-t(x))A,得
Figure BDA0001187880050000062
同理:la(x)Ra(x)ta(x)=l(x)R(x)t(x),其中Ra(x)=R(x),
Figure BDA0001187880050000063
Figure BDA0001187880050000064
因此,当a>1时,则0<σa(t)<1,大气光强度估值偏大造成去雾后的图像偏暗;当a<1时,则t>1-a,σa(t)>1,大气光强度估值偏小则使得去雾后的图像偏亮,这种趋势在低透射率区域(即远处)尤为明显。
由于图像的不同区域的透射率存在着一定的差别,则可将透射率划分为若干等级s,根据对自然图像的统计可知:
l*(s)=percentile{l(x)|t(x)=s} (21)
式中,当透射率级别为s时,l*(s)值则为去雾后图像的最大亮度的1%像素取平均值,而引入惩罚因子后的大气光强度模值aA,同样具有:
la *(s)=percentile{la(x)|ta(x)=s} (22)
式中,
Figure BDA0001187880050000065
代表采用大气光强度为aA时图像去雾后,其透射率为s的最亮的前1%像素点的平均值。
由式(19)、式(20)与式(22)可知:
Figure BDA0001187880050000066
将雾图模型分成三个颜色通道,模型也可写成以下形式:
Ic(x)=Jc(x)t(x)+(1-t(x))Ac (24)
其中,以Ic(x)为纵轴,Jc(x)为横轴,t(x)为斜率,建立平面直角坐标系,若图像的像素值Jc=Ac,Ic(x)=Ac,对应于不同透射率的直线都相交于点(Ac,Ac)。
在不同等级的透射率条件下,处于Jc局部区域内像素值基本保持不变,假设矢量
Figure BDA00011878800500000710
是一个方向
Figure BDA0001187880050000071
模值为a||A||,
Figure BDA0001187880050000072
随着透射率的变化,去雾后图像的最大明暗系数基本保持不变,则有
Figure BDA0001187880050000073
因此,则式(23)可重新定义如下:
Figure BDA0001187880050000074
利用L-BFGS优化算法实现对式(25)的求解,得
Figure BDA0001187880050000075
计算
Figure BDA0001187880050000076
得到正确的大气光的模值||A||,然后根据正确大气光强度的模值||A||和方向
Figure BDA0001187880050000077
得到矢量
Figure BDA0001187880050000078
根据已求得的t″(x)和对大气光的估计A,并结合雾、霾环境下的大气散射模型式(1),得到复原后的无雾清晰图像J(x):
Figure BDA0001187880050000079
与现有技术相比,本发明所用图像去雾方法首先通过双区域滤波法估计初始大气透射率,再以最小颜色通道图作为参考图像,结合传播滤波法得到优化后的大气透射率,最后采用L-BFGS自适应方法优化的大气光强度,基于大气散射模型实现无雾图像的恢复。其有益效果是:能得到更为精确的大气透射率,可以改善现有的图像去雾方法中景深突变边缘的去雾残留问题,同时边缘细节得到有效保持,局部纹理区域具有较好的空间平滑性。
附图说明
图1为本发明提供的基于传播滤波的单幅图像去雾方法的算法流程图;
图2为本发明实施例1提供的有雾图;
图3为图2的暗原色先验图;
图4为图2的双区域滤波图;
图5为图2的最小颜色通道图;
图6为实施例1的路径模型图;
图7为单个原色通道模型与透射率关系图;
图8为图2某图块模型的RGB线;
图9(a)为图2采用Gibson算法得到的去雾图;
图9(b)为图2采用He算法得到的去雾图;
图9(c)为图2采用Zhang算法得到的去雾图;
图9(d)为图2采用本发明实施例1得到的去雾图;
图10(a)为图9(a)的局部放大图;
图10(b)为图9(b)的局部放大图;
图10(c)为图9(c)的局部放大图;
图10(d)为图9(d)的局部放大图;
图11(a)为对比例1的透射率图;
图11(b)为对比例2的透射率图;
图11(c)为对比例3的透射率图;
图11(d)为实施例1的透射率图;
图12(a)为图11(a)的局部放大图;
图12(b)为图11(b)的局部放大图;
图12(c)为图11(c)的局部放大图;
图12(d)为图11(d)的局部放大图;
图13为表1中Mountain图像去雾效果比较图;
图14为表1中canyon图像去雾效果比较图;
图15为表1中train图像去雾效果比较图;
图16为表1中road图像去雾效果比较图;
图17为表1中swans图像去雾效果比较图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
图1为本发明提供的基于传播滤波的单幅图像去雾方法的算法流程图,以对图2进行去雾为例,采用本发明提供的图像去雾方法,步骤如下:
1.建立雾、霾环境下的大气散射模型I(x):
I(x)=J(x)t(x)+(1-t(x))A (1)
式中,x是像素点索引,I(x)表示有雾图,J(x)表示无雾图,t(x)为大气透射率,A为大气光强度。
2.暗原色先验JC(y):
通过对大量无雾图像统计发现,对于清晰的户外图像,在绝大多数非天空的局部区域内,某些像素总存在至少一个颜色通道亮度值很低并趋近于0,即暗原色先验图,公式如下:
Figure BDA0001187880050000091
上标C表示R、G、B某个通道,Ω(x)表示以像素x为中心的邻域,则JC(y)为对应Ω(x)中任一像素的R、G、B某个颜色通道值,则Ldark(x)是两次最小值滤波结果,图2对应的暗原色先验如图3所示。
3.大气初始透射率t′(x):
假设Ω(x)邻域内t(x)保持不变,则对式(1)两边进行两次最小值运算:
Figure BDA0001187880050000092
将式(2)代入式(3),得大气透射率t(x)初始值:
Figure BDA0001187880050000093
为了使图像恢复结果更加逼真引入因子θ,因此,式(4)中的大气初始透射率t′(x)为:
Figure BDA0001187880050000094
随后采用双区域滤波优化透射率:以对无雾图J(x)进行透射率优化为例,对每个像素x的邻域内三原色通道最小值排序,取其中值,若中值大于像素点x三原色通道的最小值,暗原色双区域值则取三原色通道的最小值,否则取像素点邻域内三原色通道最小值的中值,具体定义如下:
Figure BDA0001187880050000095
式中,JC(x)为J(x)对应Ω(x)中像素x的R、G、B某个颜色通道值,J′dark(x)为像素x的暗原色双区域值;
本实施例中,对有雾图I(x)进行双区域滤波处理(类似式(6)),得到暗原色双区域滤波图I′dark(x),如图4所示;将所得I′dark(x)代入式(4),得到重新定义的大气透射率t′(x):
Figure BDA0001187880050000101
式中,已知θ,A为大气光强度,I′dark(x)为本实施例所得暗原色双区域值。
4.由有雾图得到最小颜色通道图w(x):
Figure BDA0001187880050000102
式中,IC(x)为像素x对应的R,G,B值,则w(x)为像素x中三个颜色通道的最小值,所得如图5所示。
5.计算传播滤波器输出Vp(x):
Figure BDA0001187880050000103
式中,V(y)代表像素值,
Figure BDA0001187880050000104
为归一化系数,且
Wx,y=g(da(V(x),V(y));σa)g(dr(V(x),V(y));σr) (10)
Figure BDA0001187880050000105
Figure BDA0001187880050000106
式中,
Figure BDA0001187880050000107
为高斯函数,σ为方差,s、s+1表示区域邻接路径φ上相邻的两个像素点,V(s)、V(s+1)表示像素s、s+1对应的像素值,da(V(x),V(y))定义了邻接路径φ上相邻像素间的关联程度,dr(V(x),V(y))定义了邻接路径上φ每个像素与中心像素x的关联程度,φ则表示两个像素x与y之间相连的区域邻接路径上所有像素点集合,而且由相邻的像素迭代生长而成,其生长规则如下:
(a)若两像素在水平或垂直方向,如ys-2与x,则邻接路径为两像素直接相连的线段,如图6中的ys-2→x;
(b)若两像素不在水平或垂直方向,如y与x,则通过两个像素间的曼哈顿距离决定路径φ,具体定义如下:
Figure BDA0001187880050000111
式中,(a1,b1)和(a2,b2)代表像素y与x的坐标,如图6所示,像素y与x对应的曼哈顿距离dy,x=5,则邻接路径向垂直方向迭代生长,即y→ys;再计算像素ys与x对应的
Figure BDA0001187880050000114
则邻接路径向水平方向迭代生长,即ys→ys-1。再依此类推
Figure BDA0001187880050000115
因此邻接路径继续向垂直方向迭代生长,则ys→ys-1→ys-2,而ys-2与x保持在水平方向,则根据生长规则(a)组成完整的路径ys→ys-1→ys-2→x。
6.根据步骤4所得w(x)并采用步骤5所得Vp(x)的传播滤波器对双区域滤波处理后重新定义的大气透射率t′(x)进行优化,得到优化后的大气透射率t″(x):
Figure BDA0001187880050000112
所得如图7所示。
7.大气光强度A的方向
Figure BDA0001187880050000113
由于无雾图J(x)可分解为图像的明暗系数和表面反射系数两个变量的乘积,即
J(x)=l(x)R(x) (15)
式中,l(x)为图像明暗系数,R(x)为图像表面的反射系数,其矢量值与RGB颜色空间有关,且||R(x)||=1;
将有雾图像I(x)分块,基于式(1)和式(15),第i个图块的去雾模型Ii(x)可以重新修改如下:
Ii(x)=l(x)Ri(x)ti(x)+(1-ti(x))A (16)
式中,Ri(x),ti(x)分别代表第i个图块中像素的表面反射系数和透射率,Ii(x)由矢量l(x)Ri(x)ti(x)和矢量(1-ti(x))A合成。根据图像具有局部区域平滑的特性,则第i个图块内的表面反射系数Ri(x)和大气透射率ti(x)基本保持不变,因此Ii(x)值仅随l(x)的变化而变化。
图8为图2选取的第i个图块的RGB线,在RGB颜色空间中,像素值Ii(x)的分布在同一条线上,即第i个图块的RGB线,并相交于矢量(1-ti(x))A;通过分析若干图像块,发现较多图块内像素点主要集中在同一条RGB线附近,且不经过原点。找到满足式(16)的图块,则每个图块构成的RGB线与原点将构成一个平面,然而每个平面都包含着矢量(1-ti(x))A,因此,将两两平面相交的线设定为侯选大气光强度的方向
Figure BDA0001187880050000121
然后,计算第i个图块对应的RGB线到每条候选线
Figure BDA0001187880050000122
的欧氏距离dij,则大气光强度A的方向
Figure BDA0001187880050000123
定义如下:
Figure BDA0001187880050000124
由式(17)可知,大气光强度的方向
Figure BDA0001187880050000125
即当所求的dij取中值时对应的第i个图块与所有侯选相交线距离最小的
Figure BDA0001187880050000126
8.估计大气光强度A的模值||A||
为了准确的估算出大气光强度的模值,引入惩罚因子a,则式(17)可转化为:
I(x)=la(x)Ra(x)ta(x)+(1-ta(x))aA (18)
式中,la(x)、Ra(x)与ta(x)分别代表当大气光强度为aA时,像素x的明暗系数、表面反射系数与透射率,由式(18)与式(16)可知,(1-ta(x))aA=(1-t(x))A,得
Figure BDA0001187880050000127
同理:la(x)Ra(x)ta(x)=l(x)R(x)t(x),其中Ra(x)=R(x),
Figure BDA0001187880050000128
Figure BDA0001187880050000129
因此,当a>1时,则0<σa(t)<1,大气光强度估值偏大造成去雾后的图像偏暗;当a<1时,则t>1-a,σa(t)>1,大气光强度估值偏小则使得去雾后的图像偏亮,这种趋势在低透射率区域(即远处)尤为明显。
由于图像的不同区域的透射率存在着一定的差别,则可将透射率划分为若干等级s,根据对自然图像的统计可知:
l*(s)=percentile{l(x)|t(x)=s} (21)
式中,当透射率级别为s时,l*(s)值则为去雾后图像的最大亮度的1%像素取平均值,而引入惩罚因子后的大气光强度模值aA,同样具有:
la *(s)=percentile{la(x)|ta(x)=s} (22)
式中,
Figure BDA0001187880050000131
代表采用大气光强度为aA时图像去雾后,其透射率为s的最亮的前1%像素点的平均值。
由此可知,可将式(19)、式(20)与式(22)可知:
Figure BDA0001187880050000132
将雾图模型分成三个颜色通道,模型也可写成以下形式:
Ic(x)=Jc(x)t(x)+(1-t(x))Ac (24)
其中,c为RGB任一颜色通道,以Ic(x)为纵轴,Jc(x)为横轴,t(x)为斜率,建立平面直角坐标系,若图像的像素值Jc=Ac,Ic(x)=Ac,对应于不同透射率的直线都相交于点(Ac,Ac),如图8中Q点。
由图8可知,Q位置的Jc值不会随着透射率变化,且在不同等级的透射率条件下,处于Jc局部区域内像素值基本保持不变,若大气光强度的方向
Figure BDA0001187880050000133
已知,假设矢量
Figure BDA0001187880050000134
是一个方向为
Figure BDA0001187880050000135
其模值为a||A||,
Figure BDA0001187880050000136
随着透射率的变化,去雾后图像的最大明暗系数基本保持不变,则有
Figure BDA0001187880050000137
因此,本文结合图像明暗系数的最大值与透射率的等级无关的这一约束条件,提出最小化图像明暗系数与透射率估计值的距离为目标函数,则式(23)可重新定义如下:
Figure BDA0001187880050000138
利用L-BFGS优化算法实现对式(25)的求解,得
Figure BDA0001187880050000139
再计算
Figure BDA0001187880050000141
得到正确的大气光的模值||A||,然后根据正确大气光强度的模值||A||和方向
Figure BDA0001187880050000142
即为矢量A。
综上,对图进行分块,根据每个图块的像素在RGB颜色空间分布在同一条线上,可求得大气光强度的方向
Figure BDA0001187880050000143
然后对大气光强度模值||A||引入一个惩罚因子α实现图像去雾,对去雾后图像提出优化大气光强度模值的目标函数,根据图像明暗系数的最大值与透射率的等级无关的约束条件,利用L-BFGS优化从而得到正确的大气光强度模值||A||,最后根据大气光强度的方向
Figure BDA0001187880050000144
和模值||A||得到矢量
Figure BDA0001187880050000145
9.根据步骤6已求得的t″(x)、步骤8对大气光的估计A,并结合雾、霾环境下的大气散射模型(式(1)),得到复原后的无雾清晰图像J(x):
Figure BDA0001187880050000146
无雾清晰图像J(x)如图9(d)所示,局部放大图如图10(d)所示。
对比例1 Gibson算法去雾
使用Gibson算法对图2进行去雾,得到去雾图,如图9(a)所示,局部放大图如图10(d)所示。
对比例2 He算法去雾
使用He算法对图2进行去雾,得到去雾图,如图9(b)所示,局部放大图如图10(d)所示。
对比例3 Zhang算法去雾
使用Zhang算法对图2进行去雾,得到去雾图,如图9(c)所示,局部放大图如图10(c)所示。
去雾效果评价
1.现对实施例和对比例各算法求解的透射图进行评价,图11为各算法透射率图,图12为图11的局部放大图,由图11和图12可知,实施例1有效改善了景深突变边缘区域的透射率被估高的情况(图中叶子边缘),更好的保持了图像边缘细节信息,具有更好的清晰度,且透射图在局部均匀的区域更加平滑(墙体区域)。
2.现分别对Mountain、canyon、train、road和swans图采用本发明提供的算法与Gibson算法、He算法和Zhang算法的去雾效果进行评价,主要评价指标为:Iv、dsim、avegrad,其中:
Iv表示细节强度,能有效表征图像边缘对比度,其公式定义如下:
Figure BDA0001187880050000151
式中,Ls表示照度图像的总细节强度,n表示像素点邻域内的像素个数,利用Canny算子检测图像边缘并求和;而去雾图像的Halo强度Ihalo表示图像亮通道的估计值。
dsim表示原图像和去雾后图像直方图的形状相似度,相似度越高则表征去雾图像的色彩还原能力较好,可用两幅图像相关系数来测量,其定义如下:
Figure BDA0001187880050000152
式中,h,h′为去雾图像前后的灰度值,
Figure BDA0001187880050000154
为h,h′的均值,dsim(h,h′)越大,说明相似度越高,色调还原程度越好。
avegrad表示图像的平均梯度,要反映了图像细节的对比度,其定义如下:
Figure BDA0001187880050000153
其中,m,n为图像的尺寸,平均梯度值越高,则图像的清晰度越高。所得结果如表1所示。
由表1可知,采用本申请算法对图像去雾所得细节强度值Iv更高,即图像的细节表达能力更强;采用本申请算法对图像去雾所得图像相关系数dsim更高,即图像相似度更高,色调还原程度更好;采用本申请算法对图像去雾所得平均梯度avegrad更高,即图像的清晰度更高。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。
表1
Figure BDA0001187880050000161

Claims (5)

1.基于传播滤波的单幅图像去雾方法,其特征在于,首先通过双区域滤波法估计大气初始透射率t′(x),再以最小颜色通道图作为参考图像,结合传播滤波法得到优化的大气透射率t″(x),最后采用自适应方法优化得到优化的大气光强度A,基于大气散射模型实现无雾图像的恢复;
优化的大气光强度A的计算步骤为:
将有雾图像I(x)分块,则第i个图块的去雾模型Ii(x)定义如下:
Ii(x)=l(x)Ri(x)ti(x)+(1-ti(x))A (16)
式中,Ri(x),ti(x)分别代表第i个图块中像素的表面反射系数和透射率,Ii(x)由矢量l(x)Ri(x)ti(x)和矢量(1-ti(x))A合成,根据图像具有局部区域平滑的特性,则第i个图块内的表面反射系数Ri(x)和大气透射率ti(x)基本保持不变,因此Ii(x)值仅随l(x)的变化而变化;
在RGB颜色空间中,像素值Ii(x)的分布在同一条线上,将此同一条线称为RGB线,即第i个图块的RGB线,并相交于矢量(1-ti(x))A;通过分析若干图像块,发现较多图像块内像素点主要集中在同一条RGB线附近,且不经过原点,找到满足公式(16)的图块,则每个图块构成的RGB线与原点将构成一个平面,然而每个平面都包含着矢量(1-ti(x))A,因此,将两两平面相交的线设定为侯选大气光强度的方向
Figure FDA0002308131580000012
然后,计算第i个图块对应的RGB线到每条候选线
Figure FDA0002308131580000013
的欧氏距离dij,则优化的大气光强度A的方向
Figure FDA0002308131580000014
定义如下:
Figure FDA0002308131580000011
为了准确的估算出大气光强度的模值,引入惩罚因子a,则公式(17)可转化为:
I(x)=la(x)Ra(x)ta(x)+(1-ta(x))aA (18)
式中,la(x)、Ra(x)与ta(x)分别代表当大气光强度为aA时,像素x的明暗系数、表面反射系数与透射率;
由公式(16)和公式(18)可知,(1-ta(x))aA=(1-t(x))A,得
Figure FDA0002308131580000021
又la(x)Ra(x)ta(x)=l(x)R(x)t(x),Ra(x)=R(x),则
Figure FDA0002308131580000022
Figure FDA0002308131580000023
因此,当a>1时,则0<σa(t(x))<1,大气光强度估值偏大造成去雾后的图像偏暗;当a<1时,则t(x)>1-a,σa(t(x))>1;
由于图像的不同区域的透射率存在着一定的差别,则可将透射率划分为若干等级s,根据对自然图像的统计可知:l*(s)=percentile{l(x)|t(x)=s},式中,当透射率级别为s时,l*(s)值则为去雾后图像的最大亮度的1%的像素的平均值,l(x)为图像明暗系数;
引入惩罚因子后的大气光强度模值aA,具有:
la *(s)=percentile{la(x)|ta(x)=s} (21)
式中,
Figure FDA0002308131580000024
代表采用大气光强度为aA时图像去雾后,其透射率为s的最亮的前1%像素点的平均值;
由公式(19)~公式(21)可知:
Figure FDA0002308131580000025
将雾图模型分成三个颜色通道,模型也可写成以下形式:
IC(x)=JC(x)t(x)+(1-t(x))AC,其中,以IC(x)为纵轴,JC(x)为横轴,t(x)为斜率,建立平面直角坐标系,若图像的像素值JC=AC,IC(x)=AC,对应于不同透射率的直线都相交于点(AC,AC);
在不同等级的透射率条件下,处于Jc局部区域内像素值基本保持不变,矢量
Figure FDA0002308131580000026
是一个方向已知的
Figure FDA0002308131580000028
模值为a||A||,
Figure FDA0002308131580000027
随着透射率的变化,去雾后图像的最大明暗系数基本保持不变,其中,l*(s)为去雾后图像的最大亮度的1%像素的平均值,则有
Figure FDA0002308131580000031
公式(22)可重新定义如下:
Figure FDA0002308131580000032
其中,s表示不同的透射率等级,a为惩罚因子,
Figure FDA0002308131580000033
则可表示当大气光强度取值为aA时图像去雾后最大亮度的1%像素的平均值,
Figure FDA0002308131580000034
利用L-BFGS优化算法实现对公式(25)的求解,得
Figure FDA0002308131580000035
计算
Figure FDA0002308131580000036
得到正确的大气光的模值||A||,然后根据正确大气光强度的模值||A||和方向
Figure FDA0002308131580000037
得到矢量
Figure FDA0002308131580000038
2.如权利要求1所述的基于传播滤波的单幅图像去雾方法,其特征在于,包括如下步骤:
步骤a)对有雾图像进行双区域滤波处理,结合雾、霾环境下的大气散射模型,得到大气初始透射率t′(x);
步骤b)通过最小颜色通道图运用传播滤波器将步骤a所得大气初始透射率t′(x)优化后得到大气透射率t″(x);
步骤c)采用大气光强度的自适应恢复算法,实现对优化的大气光强度A的估计,结合步骤b所得t″(x)得到无雾图。
3.如权利要求2所述的基于传播滤波的单幅图像去雾方法,其特征在于,步骤a的具体操作是:根据暗原色先验理论得到暗原色先验图,对暗原色先验图像进行双区域滤波操作,得到暗原色双区域值I'dark(x),根据雾、霾环境下的大气散射模型,结合I'dark(x),得到大气初始透射率t′(x)。
4.如权利要求2所述的基于传播滤波的单幅图像去雾方法,其特征在于,步骤b的具体操作是:由有雾图得到最小颜色通道图w(x),运用传播滤波器对步骤a中所得大气透射率t′(x)进行优化,得到优化后的大气透射率t″(x)。
5.如权利要求2所述的基于传播滤波的单幅图像去雾方法,其特征在于,步骤c的具体操作是:采用大气光强度的自适应恢复算法,实现对优化的大气光强度A的估计,根据步骤b所得t″(x),结合所得A对有雾图进行大气散射模型反解,得到无雾图。
CN201611194972.4A 2016-10-25 2016-12-22 基于传播滤波的单幅图像去雾方法 Active CN107085830B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016109532027 2016-10-25
CN201610953202 2016-10-25

Publications (2)

Publication Number Publication Date
CN107085830A CN107085830A (zh) 2017-08-22
CN107085830B true CN107085830B (zh) 2020-04-07

Family

ID=59614453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611194972.4A Active CN107085830B (zh) 2016-10-25 2016-12-22 基于传播滤波的单幅图像去雾方法

Country Status (1)

Country Link
CN (1) CN107085830B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548461B (zh) * 2016-10-25 2020-02-07 湘潭大学 图像去雾方法
CN108830798B (zh) * 2018-04-23 2022-05-13 西安电子科技大学 一种基于传播滤波器改进的图像去噪方法
CN108898173B (zh) * 2018-06-25 2021-01-08 青岛市黄岛区中心医院 一种多尺度多特征的心电图医学图像融合及分类方法
CN114004834B (zh) * 2021-12-31 2022-04-19 山东信通电子股份有限公司 一种图像处理中的雾天情况分析方法、设备及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489166A (zh) * 2013-10-12 2014-01-01 大连理工大学 一种基于双边滤波的单幅图像去雾方法
CN103985091A (zh) * 2014-04-30 2014-08-13 西安理工大学 基于亮度暗先验与双边滤波的单幅图像去雾方法
CN106548461A (zh) * 2016-10-25 2017-03-29 湘潭大学 图像去雾方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489166A (zh) * 2013-10-12 2014-01-01 大连理工大学 一种基于双边滤波的单幅图像去雾方法
CN103985091A (zh) * 2014-04-30 2014-08-13 西安理工大学 基于亮度暗先验与双边滤波的单幅图像去雾方法
CN106548461A (zh) * 2016-10-25 2017-03-29 湘潭大学 图像去雾方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Automatic Recovery of the Atmospheric Light in Hazy Images";Matan Sulami等;《2014 IEEE International Conference on Computational Photography (ICCP)》;20140514;全文 *
"Propagated Image Filtering";Jen-Hao Rick Chang等;《2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20150612;第10-18页 *
"单幅图像去雾算法的研究与应用";唐美玲;《中国优秀硕士学位论文全文数据库(电子期刊)》;20150415(第04期);第3章,第3.1.1节,第4.2节 *

Also Published As

Publication number Publication date
CN107085830A (zh) 2017-08-22

Similar Documents

Publication Publication Date Title
CN106548461B (zh) 图像去雾方法
CN107301623B (zh) 一种基于暗通道和图像分割的交通图像去雾方法及系统
CN102750674B (zh) 基于自适应容差的视频图像去雾方法
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
CN109919879B (zh) 一种基于暗通道先验与亮通道先验的图像去雾方法
CN107103591B (zh) 一种基于图像雾霾浓度估计的单幅图像去雾方法
CN107085830B (zh) 基于传播滤波的单幅图像去雾方法
CN109118446B (zh) 一种水下图像复原及去噪方法
Sun A new single-image fog removal algorithm based on physical model
CN105447825B (zh) 图像去雾方法及其系统
CN105023246B (zh) 一种基于对比度和结构相似度的图像增强方法
CN111598814B (zh) 基于极端散射通道的单图像去雾方法
CN109118440B (zh) 基于透射率融合与自适应大气光估计的单幅图像去雾方法
CN110827218A (zh) 基于图像hsv透射率加权校正的机载图像去雾方法
CN102646267B (zh) 退化图像复原方法及系统
Liang et al. Learning to remove sandstorm for image enhancement
CN110349113B (zh) 一种基于暗原色先验改进的自适应图像去雾方法
CN109934779B (zh) 一种基于导向滤波优化的去雾方法
CN105913391B (zh) 一种基于形状可变形态学重构的去雾方法
CN110458029A (zh) 一种雾天环境中的车辆检测方法及装置
Bartani et al. An adaptive optic-physic based dust removal method using optimized air-light and transfer function
CN110852971B (zh) 基于暗原色先验和Retinex的视频去雾方法及存储介质
CN109949239B (zh) 一种适用于多浓度多场景雾霾图像的自适应清晰化方法
CN112907461A (zh) 一种红外雾天降质图像去雾增强方法
CN109961413B (zh) 大气光方向优化估计的图像去雾迭代算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant