CN106548461B - 图像去雾方法 - Google Patents

图像去雾方法 Download PDF

Info

Publication number
CN106548461B
CN106548461B CN201610941808.9A CN201610941808A CN106548461B CN 106548461 B CN106548461 B CN 106548461B CN 201610941808 A CN201610941808 A CN 201610941808A CN 106548461 B CN106548461 B CN 106548461B
Authority
CN
China
Prior art keywords
image
atmospheric
transmittance
formula
light intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610941808.9A
Other languages
English (en)
Other versions
CN106548461A (zh
Inventor
汤红忠
朱玲
王翔
王艳东
李骁
毛丽珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN201610941808.9A priority Critical patent/CN106548461B/zh
Publication of CN106548461A publication Critical patent/CN106548461A/zh
Application granted granted Critical
Publication of CN106548461B publication Critical patent/CN106548461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明提供一种图像去雾方法,首先通过双区域滤波法估计初始大气透射率,再以最小颜色通道图作为参考图像,结合传播滤波法得到优化后的大气透射率,最后采用自适应方法优化的大气光强度,基于大气散射模型实现无雾图像的恢复。与现有技术相比,本发明的优势在于,能得到更为精确的大气透射率,可以改善现有的图像去雾方法中景深突变边缘的去雾残留问题,同时边缘细节得到有效保持,局部纹理区域具有较好的空间平滑性。

Description

图像去雾方法
技术领域
本发明涉及计算机图像处理领域,具体涉及一种单幅图像去雾技术,尤其是一种结合最小颜色通道图与传播滤波的单幅图像去雾的方法。
背景技术
近几年空气质量退化严重,雾霾等恶劣天气出现频繁,PM2.5值越来越引起人们的广泛关注。在有雾天气下拍摄的图像模糊不清,清晰度不够,细节不明显,色彩保真度下降,出现严重的颜色偏移和失真,达不到满意的视觉效果。由此限制和影响了室外目标识别和跟踪、智能导航、公路视觉监视、卫星遥感监测、军事航空侦查等系统效用的发挥,给生产与生活等各方面都造成了极大的影响。
以公路监控为例,由于大雾弥漫,道路的能见度大大降低,司机通过视觉获得的路况信息往往不准确,进一步影响对环境的判读,很容易发生交通事故,此时高速封闭或公路限行,给人们的出行带来了极大的不便。故现在迫切需要对雾天图像进行有效的去雾处理。
图像去雾算法目前已取得较大的进展,主要可分为两大类:第一类是基于图像增强的图像去雾方法,如直方图均衡化算法、基于小波变换的图像增强算法和基于Retinex理论的图像增强算法等,这类算法并不考虑图像退化模型及降质原因,仅从图像处理的角度提高图像对比度,因此容易造成图像的信息丢失,并不能从根本上去雾;第二类是基于物理模型的图像去雾方法,该类方法主要基于大气散射模型,研究雾天图像降质的物理过程,再反推恢复景物无雾图像,例如,Fattal等假设大气透射率和场景目标局部区域的反射率两者不相关,从而估算大气透射率及场景的辐照度,取得了一定的复原效果,但该方法不适用于浓雾天气下的图像去雾。He等提出了基于暗原色先验的图像去雾方法,该方法首先根据暗原色先验信息估算大气透射率,再采用软抠图算法对大气透射率进行细化,从而复原图像,但该算法时间复杂度大。因此Gibson等提出用中值滤波估计大气散射函数,从而实现图像恢复,但该方法容易导致边缘信息丢失,造成去雾后图像的黑斑效应。He等后续提出采用引导滤波代替软抠图实现透射率的优化,该图像复原的速度大大加快,但因采用原图作为引导图像,容易导致图像去雾残留较大。此外,Zhang等则提出采用双区域滤波代替中值滤波来估算大气透射率,该方法能在一定程度上能改善黑斑效应,但通过实验可观察到在图像景深突变密集的边缘区域,该算法的透射率估值容易出现偏差,边缘区域去雾不彻底,如图9(c)所示。
综上,现有的图像去雾方法无法兼顾图像复原速度快和图像复原质量高的优点,具有一定的局限性。
发明内容
本发明的目的是克服上述现有技术的缺点,提供了一种复原速度快、质量高的图像去雾方法,使用该方法的图像去雾彻底、无黑斑、无残留、清晰度高。
图像去雾方法,首先通过双区域滤波法估计初始大气透射率,再以最小颜色通道图作为参考图像,结合传播滤波法得到优化后的大气透射率,最后采用自适应方法优化的大气光强度,基于大气散射模型实现无雾图像的恢复。
优选地,上述方法的步骤如下:
步骤a)对有雾图像进行双区域滤波处理,结合雾、霾环境下的大气散射模型,得到大气初始透射率t′(x);
步骤b)通过最小颜色通道图运用传播滤波器将步骤a所得大气初始透射率t′(x)优化后得到大气透射率t″(x);
步骤c)采用大气光强度的自适应恢复算法,实现对大气光A的估计,结合步骤b所得t″(x)得到无雾图。
更优选地,步骤a的具体操作是:根据暗原色先验理论得到暗原色先验图,对暗原色先验图像进行双区域滤波操作,得到暗原色双区域值I′dark(x),根据雾、霾环境下的大气散射模型,结合I′dark(x),得到大气初始透射率t′(x)。
进一步,建立雾、霾环境下的大气散射模型公式为:
I(x)=J(x)t(x)+(1-t(x))A (1)
式中,x是像素点索引,I(x)表示有雾图,J(x)表示无雾图,t(x)为大气透射率,A为大气光强度。
通过对大量无雾图像统计发现,对于清晰的户外图像,在绝大多数非天空的局部区域内,某些像素总存在至少一个颜色通道亮度值很低并趋近于0,即暗原色先验图,计算公式如下:
Figure BDA0001140212020000031
式中,上标C表示R、G、B某个通道,Ω(x)表示以像素x为中心的邻域,则JC(y)为对应Ω(x)中任一像素的R、G、B某个颜色通道值,则Jdark(x)是两次最小值滤波结果。
假设Ω(x)邻域内t(x)保持不变,则对式(1)两边进行两次最小值运算:
Figure BDA0001140212020000032
将式(2)代入式(3),得大气透射率t(x)初始值:
为了使图像恢复结果更加逼真,引入因子θ,θ=0.95,因此,式(4)中的大气初始透射率为:
Figure BDA0001140212020000034
随后采用双区域滤波优化透射率:以对无雾图J(x)进行透射率优化为例,对每个像素x的邻域内三原色通道最小值排序,取其中值,若中值大于像素点x三原色通道的最小值,暗原色双区域值则取三原色通道的最小值,否则取像素点邻域内三原色通道最小值的中值,具体定义如下:
Figure BDA0001140212020000035
式中,JC(x)为J(x)中像素x的R、G、B某个颜色通道值,J′dark(x)为像素x的暗原色双区域值。
类似地,对有雾图I(x)进行双区域滤波处理,得到暗原色双区域滤波图I′dark(x);将所得I′dark(x)代入式(5),得到重新定义的大气透射率t′(x):
更优选地,步骤b的具体操作是:由有雾图I(x)得到最小颜色通道图w(x),运用传播滤波器对步骤a中所得大气透射率t′(x)进行优化,得到优化后的大气透射率t″(x)。
进一步,由有雾图I(x)得到最小颜色通道图w(x)的公式为:
式中,IC(x)为I(x)中像素x的R、G、B某个颜色通道值,则w(x)为像素x中三个颜色通道的最小值。
计算传播滤波器输出Vp(x):
Figure BDA0001140212020000042
式中,V(y)代表像素值,
Figure BDA0001140212020000043
为归一化系数,且
Figure BDA0001140212020000044
Figure BDA0001140212020000045
Figure BDA0001140212020000046
式中,
Figure BDA0001140212020000047
为高斯函数,σ为方差,s、s+1表示区域邻接路径φ上相邻的两个像素点,V(s)、V(s+1)、V(x)分别表示像素s、s+1、x对应的像素值,da(V(x),V(y))定义了邻接路径φ上相邻像素间的关联程度,dr(V(x),V(y))定义了邻接路径上φ每个像素与中心像素x的关联程度,φ则表示两个像素x与y之间相连的区域邻接路径上所有像素点集合,而且由相邻的像素迭代生长而成,其生长规则如下:
(a)若两像素在水平或垂直方向,如ys-2与x,则邻接路径为两像素直接相连的线段;
(b)若两像素不在水平或垂直方向,如y与x,则通过两个像素间的曼哈顿距离决定路径φ,具体定义如下:
Figure BDA0001140212020000048
式中,(a1,b1)和(a2,b2)代表像素y与x的坐标。
则优化后的大气透射率t″(x)为:
更优选地,步骤c的具体操作是:采用大气光强度的自适应恢复算法,实现对大气光A的估计,根据步骤b所得t″(x),结合所得A对有雾图I(x)进行大气散射模型反解,得到无雾图J(x)。
进一步,由于无雾图J(x)可分解为图像的明暗系数和表面反射系数两个变量的乘积,
J(x)=l(x)R(x) (15)
式中,l(x)为图像明暗系数,R(x)为图像表面的反射系数,其矢量值与RGB颜色空间有关,且||R(x)||=1;
将有雾图像I(x)分块,基于式(1)和式(15),第i个图块的去雾模型Ii(x)可以重新修改如下:
Ii(x)=l(x)Ri(x)ti(x)+(1-ti(x))A (16)
式中,Ri(x),ti(x)分别代表第i个图块中像素的表面反射系数和透射率,Ii(x)由矢量l(x)Ri(x)ti(x)和矢量(1-ti(x))A合成。根据图像具有局部区域平滑的特性,则第i个图块内的表面反射系数Ri(x)和大气透射率ti(x)基本保持不变,因此Ii(x)值仅随l(x)的变化而变化。
在RGB颜色空间中,像素值Ii(x)的分布在同一条线上,即第i个图块的RGB线,并相交于矢量(1-ti(x))A;通过分析若干图像块,发现较多图块内像素点主要集中在同一条RGB线附近,且不经过原点。找到满足式(16)的图块,则每个图块构成的RGB线与原点将构成一个平面,然而每个平面都包含着矢量(1-ti(x))A,因此,将两两平面相交的线设定为侯选大气光强度的方向
Figure BDA0001140212020000052
然后,计算第i个图块对应的RGB线到每条候选线的欧氏距离dij,则大气光强度A的方向
Figure BDA0001140212020000054
定义如下:
Figure BDA0001140212020000055
由式(17)可知,大气光强度的方向
Figure BDA0001140212020000056
即当所求的dij取中值时对应的第i个图块与所有侯选相交线距离最小的
为了准确的估算出大气光强度的模值,引入惩罚因子a,则式(17)可转化为:
I(x)=la(x)Ra(x)ta(x)+(1-ta(x))aA (18)
式中,la(x)、Ra(x)与ta(x)分别代表当大气光强度为aA时,像素x的明暗系数、表面反射系数与透射率,由式(18)与式(16)可知,(1-ta(x))aA=(1-t(x))A,得
Figure BDA0001140212020000062
同理:la(x)Ra(x)ta(x)=l(x)R(x)t(x),其中Ra(x)=R(x),
Figure BDA0001140212020000063
Figure BDA0001140212020000064
因此,当a>1时,则0<σa(t)<1,大气光强度估值偏大造成去雾后的图像偏暗;当a<1时,则t>1-a,σa(t)>1,大气光强度估值偏小则使得去雾后的图像偏亮,这种趋势在低透射率区域(即远处)尤为明显。
由于图像的不同区域的透射率存在着一定的差别,则可将透射率划分为若干等级s,根据对自然图像的统计可知:
l*(s)=percentile{l(x)|t(x)=s} (21)
式中,当透射率级别为s时,l*(s)值则为去雾后图像的最大亮度的1%像素取平均值,而引入惩罚因子后的大气光强度模值aA,同样具有:
Figure BDA0001140212020000065
式中,
Figure BDA0001140212020000066
代表采用大气光强度为aA时图像去雾后,其透射率为s的最亮的前1%像素点的平均值。
由式(19)、式(20)与式(22)可知:
Figure BDA0001140212020000067
将雾图模型分成三个颜色通道,模型也可写成以下形式:
Ic(x)=Jc(x)t(x)+(1-t(x))Ac (24)
其中,以Ic(x)为纵轴,Jc(x)为横轴,t(x)为斜率,建立平面直角坐标系,若图像的像素值Jc=Ac,Ic(x)=Ac,对应于不同透射率的直线都相交于点(Ac,Ac)。
在不同等级的透射率条件下,处于Jc局部区域内像素值基本保持不变,假设矢量
Figure BDA0001140212020000071
是一个方向
Figure BDA0001140212020000072
模值为a||A||,
Figure BDA0001140212020000073
随着透射率的变化,去雾后图像的最大明暗系数基本保持不变,则有
Figure BDA0001140212020000074
因此,则式(23)可重新定义如下:
Figure BDA0001140212020000075
利用L-BFGS优化算法实现对式(25)的求解,得
Figure BDA0001140212020000076
计算
Figure BDA0001140212020000077
得到正确的大气光的模值||A||,然后根据正确大气光强度的模值||A||和方向
Figure BDA0001140212020000078
得到矢量
根据已求得的t″(x)和对大气光的估计A,并结合雾、霾环境下的大气散射模型式(1),得到复原后的无雾清晰图像J(x):
Figure BDA00011402120200000710
与现有技术相比,本发明所用图像去雾方法首先通过双区域滤波法估计初始大气透射率,再以最小颜色通道图作为参考图像,结合传播滤波法得到优化后的大气透射率,最后采用L-BFGS自适应方法优化的大气光强度,基于大气散射模型实现无雾图像的恢复。其有益效果是:能得到更为精确的大气透射率,可以改善现有的图像去雾方法中景深突变边缘的去雾残留问题,同时边缘细节得到有效保持,局部纹理区域具有较好的空间平滑性。
附图说明
图1为本发明提供的图像去雾方法的算法流程图;
图2为本发明实施例1提供的有雾图;
图3为图2的暗原色先验图;
图4为图2的双区域滤波图;
图5为图2的最小颜色通道图;
图6为实施例1的路径模型图;
图7为单个原色通道模型与透射率关系图;
图8为图2某图块模型的RGB线;
图9(a)为图2采用Gibson算法得到的去雾图;
图9(b)为图2采用He算法得到的去雾图;
图9(c)为图2采用Zhang算法得到的去雾图;
图9(d)为图2采用本发明实施例1得到的去雾图;
图10(a)为图9(a)的局部放大图;
图10(b)为图9(b)的局部放大图;
图10(c)为图9(c)的局部放大图;
图10(d)为图9(d)的局部放大图;
图11(a)为对比例1的透射率图;
图11(b)为对比例2的透射率图;
图11(c)为对比例3的透射率图;
图11(d)为实施例1的透射率图;
图12(a)为图11(a)的局部放大图;
图12(b)为图11(b)的局部放大图;
图12(c)为图11(c)的局部放大图;
图12(d)为图11(d)的局部放大图;
图13为表1中Mountain图像去雾效果比较图;
图14为表1中canyon图像去雾效果比较图;
图15为表1中train图像去雾效果比较图;
图16为表1中road图像去雾效果比较图;
图17为表1中swans图像去雾效果比较图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
图1为本发明提供的图像去雾方法的算法流程图,以对图2进行去雾为例,采用本发明提供的图像去雾方法,步骤如下:
1.建立雾、霾环境下的大气散射模型I(x):
I(x)=J(x)t(x)+(1-t(x))A (1)
式中,x是像素点索引,I(x)表示有雾图,J(x)表示无雾图,t(x)为大气透射率,A为大气光强度。
2.暗原色先验JC(y):
通过对大量无雾图像统计发现,对于清晰的户外图像,在绝大多数非天空的局部区域内,某些像素总存在至少一个颜色通道亮度值很低并趋近于0,即暗原色先验图,公式如下:
Figure BDA0001140212020000091
上标C表示R、G、B某个通道,Ω(x)表示以像素x为中心的邻域,则JC(y)为对应Ω(x)中任一像素的R、G、B某个颜色通道值,则Jdark(x)是两次最小值滤波结果,图2对应的暗原色先验如图3所示。
3.大气初始透射率t′(x):
假设Ω(x)邻域内t(x)保持不变,则对式(1)两边进行两次最小值运算:
Figure BDA0001140212020000092
将式(2)代入式(3),得大气透射率t(x)初始值:
Figure BDA0001140212020000093
为了使图像恢复结果更加逼真引入因子θ,因此,式(4)中的大气初始透射率t′(x)为:
Figure BDA0001140212020000094
随后采用双区域滤波优化透射率:以对无雾图J(x)进行透射率优化为例,对每个像素x的邻域内三原色通道最小值排序,取其中值,若中值大于像素点x三原色通道的最小值,暗原色双区域值则取三原色通道的最小值,否则取像素点邻域内三原色通道最小值的中值,具体定义如下:
Figure BDA0001140212020000095
式中,JC(x)为J(x)对应Ω(x)中像素x的R、G、B某个颜色通道值,J′dark(x)为像素x的暗原色双区域值;
本实施例中,对有雾图I(x)进行双区域滤波处理(类似式(6)),得到暗原色双区域滤波图I′dark(x),如图4所示;将所得I′dark(x)代入式(4),得到重新定义的大气透射率t′(x):
Figure BDA0001140212020000101
式中,已知θ,A为大气光强度,I′dark(x)为本实施例所得暗原色双区域值。
4.由有雾图得到最小颜色通道图w(x):
式中,IC(x)为像素x对应的R,G,B值,则w(x)为像素x中三个颜色通道的最小值,所得如图5所示。
5.计算传播滤波器输出Vp(x):
式中,V(y)代表像素值,
Figure BDA0001140212020000104
为归一化系数,且
Wx,y=g(da(V(x),V(y));σa)g(dr(V(x),V(y));σr) (10)
Figure BDA0001140212020000105
Figure BDA0001140212020000107
式中,
Figure BDA0001140212020000106
为高斯函数,σ为方差,s、s+1表示区域邻接路径φ上相邻的两个像素点,V(s)、V(s+1)表示像素s、s+1对应的像素值,da(V(x),V(y))定义了邻接路径φ上相邻像素间的关联程度,dr(V(x),V(y))定义了邻接路径上φ每个像素与中心像素x的关联程度,φ则表示两个像素x与y之间相连的区域邻接路径上所有像素点集合,而且由相邻的像素迭代生长而成,其生长规则如下:
(a)若两像素在水平或垂直方向,如ys-2与x,则邻接路径为两像素直接相连的线段,如图6中的ys-2→x;
(b)若两像素不在水平或垂直方向,如y与x,则通过两个像素间的曼哈顿距离决定路径φ,具体定义如下:
Figure BDA0001140212020000111
式中,(a1,b1)和(a2,b2)代表像素y与x的坐标,如图6所示,像素y与x对应的曼哈顿距离dy,x=5,则邻接路径向垂直方向迭代生长,即y→ys;再计算像素ys与x对应的
Figure BDA0001140212020000115
则邻接路径向水平方向迭代生长,即ys→ys-1。再依此类推
Figure BDA0001140212020000112
因此邻接路径继续向垂直方向迭代生长,则ys→ys-1→ys-2,而ys-2与x保持在水平方向,则根据生长规则(a)组成完整的路径ys→ys-1→ys-2→x。
6.根据步骤4所得w(x)并采用步骤5所得Vp(x)的传播滤波器对双区域滤波处理后重新定义的大气透射率t′(x)进行优化,得到优化后的大气透射率t″(x):
所得如图7所示。
7.大气光强度A的方向
Figure BDA0001140212020000114
由于无雾图J(x)可分解为图像的明暗系数和表面反射系数两个变量的乘积,即
J(x)=l(x)R(x) (15)
式中,l(x)为图像明暗系数,R(x)为图像表面的反射系数,其矢量值与RGB颜色空间有关,且||R(x)||=1;
将有雾图像I(x)分块,基于式(1)和式(15),第i个图块的去雾模型Ii(x)可以重新修改如下:
Ii(x)=l(x)Ri(x)ti(x)+(1-ti(x))A (16)
式中,Ri(x),ti(x)分别代表第i个图块中像素的表面反射系数和透射率,Ii(x)由矢量l(x)Ri(x)ti(x)和矢量(1-ti(x))A合成。根据图像具有局部区域平滑的特性,则第i个图块内的表面反射系数Ri(x)和大气透射率ti(x)基本保持不变,因此Ii(x)值仅随l(x)的变化而变化。
图8为图2选取的第i个图块的RGB线,在RGB颜色空间中,像素值Ii(x)的分布在同一条线上,即第i个图块的RGB线,并相交于矢量(1-ti(x))A;通过分析若干图像块,发现较多图块内像素点主要集中在同一条RGB线附近,且不经过原点。找到满足式(16)的图块,则每个图块构成的RGB线与原点将构成一个平面,然而每个平面都包含着矢量(1-ti(x))A,因此,将两两平面相交的线设定为侯选大气光强度的方向
Figure BDA0001140212020000121
然后,计算第i个图块对应的RGB线到每条候选线
Figure BDA0001140212020000122
的欧氏距离dij,则大气光强度A的方向
Figure BDA0001140212020000123
定义如下:
Figure BDA0001140212020000124
由式(17)可知,大气光强度的方向
Figure BDA0001140212020000125
即当所求的dij取中值时对应的第i个图块与所有侯选相交线距离最小的
Figure BDA0001140212020000126
8.估计大气光强度A的模值||A||
为了准确的估算出大气光强度的模值,引入惩罚因子a,则式(17)可转化为:
I(x)=la(x)Ra(x)ta(x)+(1-ta(x))aA (18)
式中,la(x)、Ra(x)与ta(x)分别代表当大气光强度为aA时,像素x的明暗系数、表面反射系数与透射率,由式(18)与式(16)可知,(1-ta(x))aA=(1-t(x))A,得
同理:la(x)Ra(x)ta(x)=l(x)R(x)t(x),其中Ra(x)=R(x),
Figure BDA0001140212020000129
因此,当a>1时,则0<σa(t)<1,大气光强度估值偏大造成去雾后的图像偏暗;当a<1时,则t>1-a,σa(t)>1,大气光强度估值偏小则使得去雾后的图像偏亮,这种趋势在低透射率区域(即远处)尤为明显。
由于图像的不同区域的透射率存在着一定的差别,则可将透射率划分为若干等级s,根据对自然图像的统计可知:
l*(s)=percentile{l(x)|t(x)=s} (21)
式中,当透射率级别为s时,l*(s)值则为去雾后图像的最大亮度的1%像素取平均值,而引入惩罚因子后的大气光强度模值aA,同样具有:
la *(s)=percentile{la(x)|ta(x)=s} (22)
式中,
Figure BDA0001140212020000131
代表采用大气光强度为aA时图像去雾后,其透射率为s的最亮的前1%像素点的平均值。
由此可知,可将式(19)、式(20)与式(22)可知:
Figure BDA0001140212020000132
将雾图模型分成三个颜色通道,模型也可写成以下形式:
Ic(x)=Jc(x)t(x)+(1-t(x))Ac (24)
其中,c为RGB任一颜色通道,以Ic(x)为纵轴,Jc(x)为横轴,t(x)为斜率,建立平面直角坐标系,若图像的像素值Jc=Ac,Ic(x)=Ac,对应于不同透射率的直线都相交于点(Ac,Ac),如图8中Q点。
由图8可知,Q位置的Jc值不会随着透射率变化,且在不同等级的透射率条件下,处于Jc局部区域内像素值基本保持不变,若大气光强度的方向
Figure BDA0001140212020000133
已知,假设矢量是一个方向为
Figure BDA0001140212020000135
其模值为
Figure BDA0001140212020000136
随着透射率的变化,去雾后图像的最大明暗系数基本保持不变,则有
Figure BDA0001140212020000137
因此,本文结合图像明暗系数的最大值与透射率的等级无关的这一约束条件,提出最小化图像明暗系数与透射率估计值的距离为目标函数,则式(23)可重新定义如下:
Figure BDA0001140212020000138
利用L-BFGS优化算法实现对式(25)的求解,得
再计算
Figure BDA0001140212020000141
得到正确的大气光的模值||A||,然后根据正确大气光强度的模值||A||和方向即为矢量A。
综上,对图进行分块,根据每个图块的像素在RGB颜色空间分布在同一条线上,可求得大气光强度的方向
Figure BDA0001140212020000143
然后对大气光强度模值||A||引入一个惩罚因子α实现图像去雾,对去雾后图像提出优化大气光强度模值的目标函数,根据图像明暗系数的最大值与透射率的等级无关的约束条件,利用L-BFGS优化从而得到正确的大气光强度模值||A||,最后根据大气光强度的方向和模值||A||得到矢量
Figure BDA0001140212020000145
9.根据步骤6已求得的t″(x)、步骤8对大气光的估计A,并结合雾、霾环境下的大气散射模型(式(1)),得到复原后的无雾清晰图像J(x):
Figure BDA0001140212020000146
无雾清晰图像J(x)如图9(d)所示,局部放大图如图10(d)所示。
对比例1 Gibson算法去雾
使用Gibson算法对图2进行去雾,得到去雾图,如图9(a)所示,局部放大图如图10(d)所示。
对比例2 He算法去雾
使用He算法对图2进行去雾,得到去雾图,如图9(b)所示,局部放大图如图10(d)所示。
对比例3 Zhang算法去雾
使用Zhang算法对图2进行去雾,得到去雾图,如图9(c)所示,局部放大图如图10(c)所示。
去雾效果评价
1.现对实施例和对比例各算法求解的透射图进行评价,图11为各算法透射率图,图12为图11的局部放大图,由图11和图12可知,实施例1有效改善了景深突变边缘区域的透射率被估高的情况(图中叶子边缘),更好的保持了图像边缘细节信息,具有更好的清晰度,且透射图在局部均匀的区域更加平滑(墙体区域)。
2.现分别对Mountain、canyon、train、road和swans图采用本发明提供的算法与Gibson算法、He算法和Zhang算法的去雾效果进行评价,主要评价指标为:Iv、dsim、avegrad,其中:
Iv表示细节强度,能有效表征图像边缘对比度,其公式定义如下:
Figure BDA0001140212020000151
式中,Ls表示照度图像的总细节强度,n表示像素点邻域内的像素个数,利用Canny算子检测图像边缘并求和;而去雾图像的Halo强度Ihalo表示图像亮通道的估计值。
dsim表示原图像和去雾后图像直方图的形状相似度,相似度越高则表征去雾图像的色彩还原能力较好,可用两幅图像相关系数来测量,其定义如下:
Figure BDA0001140212020000152
式中,h,h′为去雾图像前后的灰度值,
Figure BDA0001140212020000153
为h,h′的均值,dsim(h,h′)越大,说明相似度越高,色调还原程度越好。
avegrad表示图像的平均梯度,要反映了图像细节的对比度,其定义如下:
Figure BDA0001140212020000154
其中,m,n为图像的尺寸,平均梯度值越高,则图像的清晰度越高。所得结果如表1所示。
由表1可知,采用本申请算法对图像去雾所得细节强度值Iv更高,即图像的细节表达能力更强;采用本申请算法对图像去雾所得图像相关系数dsim更高,即图像相似度更高,色调还原程度更好;采用本申请算法对图像去雾所得平均梯度avegrad更高,即图像的清晰度更高。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。
表1

Claims (22)

1.图像去雾方法,其特征在于:首先通过双区域滤波法估计大气初始透射率,再以最小颜色通道图作为参考图像,结合传播滤波法得到优化的大气透射率,最后采用自适应方法优化的大气光强度,基于大气散射模型实现无雾图像的恢复,包括如下步骤:
步骤a)对有雾图像进行双区域滤波处理,结合雾、霾环境下的大气散射模型,得到大气初始透射率t′(x);
步骤b)通过最小颜色通道图运用传播滤波器将步骤a)所得大气初始透射率t′(x)优化后得到优化的大气透射率t″(x);
步骤c)采用大气光强度的自适应恢复算法,实现对大气光强度A的估计,结合步骤b)所得t″(x)得到无雾图;
其中,最小颜色通道图为像素x中三个颜色通道的最小值;
步骤b)的具体操作是:由有雾图得到最小颜色通道图w(x),运用传播滤波器对步骤a)中所得大气初始透射率t′(x)进行优化,得到优化的大气透射率t″(x);
由有雾图I(x)得到最小颜色通道图w(x):
Figure FDA0002277162280000011
式中,IC(x)为I(x)中像素x的R、G、B某个颜色通道值,则w(x)为像素x中三个颜色通道的最小值;
计算传播滤波器输出Vp(x):
Figure FDA0002277162280000012
式中,V(y)代表像素值,Ω(x)表示以像素x为中心的邻域,
Figure FDA0002277162280000013
为归一化系数,且
Wx,y=g(da(V(x),V(y));σa)g(dr(V(x),V(y));σr) (10)
Figure FDA0002277162280000014
Figure FDA0002277162280000021
式中,
Figure FDA0002277162280000022
为高斯函数,σ为方差,s、s+1表示区域邻接路径φ上相邻的两个像素点,V(s)、V(s+1)、V(x)表示像素s、s+1、x对应的像素值,da(V(x),V(y))定义了邻接路径φ上相邻像素间的关联程度,dr(V(x),V(y))定义了邻接路径φ上每个像素与中心像素x的关联程度,邻接路径φ则表示两个像素x与y之间相连的区域邻接路径上所有像素点集合,而且由相邻的像素迭代生长而成;
迭代生长规则如下:
(a)若两像素在水平或垂直方向,则邻接路径为两像素直接相连的线段;
(b)若两像素不在水平或垂直方向,则通过两个像素间的曼哈顿距离决定路径φ,具体定义如下:
dy,x=|a1-a2|+|b1-b2|,其中
Figure FDA0002277162280000023
式中,(a1,b1)和(a2,b2)代表像素y与x的坐标;
优化的大气透射率t”(x)为:
Figure FDA0002277162280000024
2.如权利要求1所述的图像去雾方法,其特征在于,步骤a)的具体操作是:根据暗原色先验理论得到暗原色先验图,对暗原色先验图像进行双区域滤波操作,得到暗原色双区域值I'dark(x),根据雾、霾环境下的大气散射模型,结合I'dark(x),得到大气初始透射率t′(x)。
3.如权利要求2所述的图像去雾方法,其特征在于,建立雾、霾环境下的大气散射模型,公式为:
I(x)=J(x)t(x)+(1-t(x))A (1)
式中,x是像素点索引,I(x)表示有雾图,J(x)表示无雾图,t(x)为大气透射率,A为大气光强度。
4.如权利要求3所述的图像去雾方法,其特征在于,暗原色先验计算公式为:
Figure FDA0002277162280000031
式中,上标C表示R、G、B某个通道,Ω(x)表示以像素x为中心的邻域,则JC(y)为对应Ω(x)中任一像素的R、G、B某个颜色通道值,则Jdark(x)是两次最小值滤波结果。
5.如权利要求4所述的图像去雾方法,其特征在于,假设Ω(x)邻域内t(x)保持不变,则公式(1)两边进行两次最小值运算,得公式(3):
Figure FDA0002277162280000032
6.如权利要求5所述的图像去雾方法,其特征在于,将公式(2)代入公式(3),得大气透射率t(x)初始值:
Figure FDA0002277162280000033
7.如权利要求6所述的图像去雾方法,其特征在于,为了使图像恢复结果更加逼真,引入因子θ,公式(4)可变形为:
Figure FDA0002277162280000034
8.如权利要求7所述的图像去雾方法,其特征在于,对有雾图I(x)进行双区域滤波处理,得到暗原色双区域滤波图I'dark(x),将所得I'dark(x)代入公式(5),得到重新定义的大气初始透射率t'(x):
Figure FDA0002277162280000035
9.如权利要求3所述的图像去雾方法,其特征在于,步骤c)的具体操作是:采用大气光强度的自适应恢复算法,实现对大气光强度A的估计,根据步骤b)所得t″(x),结合所得A对有雾图进行大气散射模型反解,得到无雾图。
10.如权利要求9所述的图像去雾方法,其特征在于:无雾图J(x)可分解为图像的明暗系数和表面反射系数两个变量的乘积,即
J(x)=l(x)R(x) (15)
式中,l(x)为图像明暗系数,R(x)为图像表面的反射系数,其矢量值与RGB颜色空间有关,且||R(x)||=1。
11.如权利要求10所述的图像去雾方法,其特征在于,将有雾图像I(x)分块,基于公式(1)和公式(15),第i个图块的去雾模型Ii(x)可以重新修改如下:
Ii(x)=l(x)Ri(x)ti(x)+(1-ti(x))A (16)
式中,Ri(x),ti(x)分别代表第i个图块中像素的表面反射系数和透射率,Ii(x)由矢量l(x)Ri(x)ti(x)和矢量(1-ti(x))A合成,根据图像具有局部区域平滑的特性,则第i个图块内的表面反射系数Ri(x)和大气透射率ti(x)基本保持不变,因此Ii(x)值仅随l(x)的变化而变化。
12.如权利要求11所述的图像去雾方法,其特征在于:在RGB颜色空间中,像素值Ii(x)的分布在同一条线上,将此同一条线称为RGB线,即第i个图块的RGB线,并相交于矢量(1-ti(x))A;通过分析若干图像块,发现较多图像块内像素点主要集中在同一条RGB线附近,且不经过原点,找到满足公式(16)的图块,则每个图块构成的RGB线与原点将构成一个平面,然而每个平面都包含着矢量(1-ti(x))A,因此,将两两平面相交的线设定为侯选大气光强度的方向
Figure FDA0002277162280000041
然后,计算第i个图块对应的RGB线到每条候选线
Figure FDA0002277162280000042
的欧氏距离dij,则大气光强度A的方向
Figure FDA0002277162280000043
定义如下:
13.如权利要求12所述的图像去雾方法,其特征在于,为了准确的估算出大气光强度的模值,引入惩罚因子a,则公式(17)可转化为:
I(x)=la(x)Ra(x)ta(x)+(1-ta(x))aA, (18)
式中,la(x)、Ra(x)与ta(x)分别代表当大气光强度为aA时,像素x的明暗系数、表面反射系数与透射率。
14.如权利要求13所述的图像去雾方法,其特征在于:由公式(16)和公式(18)可知,
(1-ta(x))aA=(1-t(x))A,得
Figure FDA0002277162280000051
又la(x)Ra(x)ta(x)=l(x)R(x)t(x),Ra(x)=R(x),则
Figure FDA0002277162280000053
因此,当a>1时,则0<σa(t(x))<1,大气光强度估值偏大造成去雾后的图像偏暗;当a<1时,则t(x)>1-a,σa(t(x))>1。
15.如权利要求14所述的图像去雾方法,其特征在于,由于图像的不同区域的透射率存在着一定的差别,则可将透射率划分为若干等级s,根据对自然图像的统计可知:l*(s)=percentile{l(x)|t(x)=s},式中,当透射率级别为s时,l*(s)值则为去雾后图像的最大亮度的1%的像素的平均值,l(x)为图像明暗系数。
16.如权利要求15所述的图像去雾方法,其特征在于,引入惩罚因子后的大气光强度模值aA,具有:
la *(s)=percentile{la(x)|ta(x)=s} (21)
式中,
Figure FDA0002277162280000054
代表采用大气光强度为aA时图像去雾后,其透射率为s的最亮的前1%像素点的平均值。
17.如权利要求16所述的图像去雾方法,其特征在于,由公式(19)~公式(21)可知:
Figure FDA0002277162280000055
18.如权利要求17所述的图像去雾方法,其特征在于,将雾图模型分成三个颜色通道,模型也可写成以下形式:IC(x)=JC(x)t(x)+(1-t(x))AC,其中,以IC(x)为纵轴,JC(x)为横轴,t(x)为斜率,建立平面直角坐标系,若图像的像素值JC=AC,IC(x)=AC,对应于不同透射率的直线都相交于点(AC,AC)。
19.如权利要求18所述的图像去雾方法,其特征在于,在不同等级的透射率条件下,处于Jc局部区域内像素值基本保持不变,假设矢量
Figure FDA0002277162280000061
是一个方向已知的
Figure FDA0002277162280000062
模值为a||A||,
Figure FDA0002277162280000063
随着透射率的变化,去雾后图像的最大明暗系数基本保持不变,其中,l*(s)为去雾后图像的最大亮度的1%像素的平均值,则有
20.如权利要求19所述的图像去雾方法,其特征在于,公式(22)可重新定义如下:
其中,s表示不同的透射率等级,a为惩罚因子,
Figure FDA0002277162280000066
Figure FDA0002277162280000067
则可
表示当大气光强度取值为aA时图像去雾后最大亮度的1%像素的平均值,
Figure FDA0002277162280000068
21.如权利要求20所述的图像去雾方法,其特征在于:利用L-BFGS优化算法实现对公式(25)的求解,得计算
Figure FDA00022771622800000610
得到正确的大气光的模值||A||,然后根据正确大气光强度的模值||A||和方向得到矢量
Figure FDA00022771622800000612
22.如权利要求9所述的图像去雾方法,其特征在于:根据已求得的t”(x)和对大气光的估计A,并结合雾、霾环境下的大气散射模型公式(1),得到复原后的无雾清晰图像J(x):
Figure FDA00022771622800000613
其中,公式(1)为I(x)=J(x)t(x)+(1-t(x))A,I(x)表示有雾图,J(x)表示无雾图,t(x)为大气透射率,A为大气光强度。
CN201610941808.9A 2016-10-25 2016-10-25 图像去雾方法 Active CN106548461B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610941808.9A CN106548461B (zh) 2016-10-25 2016-10-25 图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610941808.9A CN106548461B (zh) 2016-10-25 2016-10-25 图像去雾方法

Publications (2)

Publication Number Publication Date
CN106548461A CN106548461A (zh) 2017-03-29
CN106548461B true CN106548461B (zh) 2020-02-07

Family

ID=58392108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610941808.9A Active CN106548461B (zh) 2016-10-25 2016-10-25 图像去雾方法

Country Status (1)

Country Link
CN (1) CN106548461B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107085830B (zh) * 2016-10-25 2020-04-07 湘潭大学 基于传播滤波的单幅图像去雾方法
CN108093175B (zh) * 2017-12-25 2018-11-13 北京航空航天大学 一种实时高清视频自适应去雾方法及装置
CN108205324B (zh) * 2018-01-03 2021-01-15 耀维科技南京有限公司 一种智能道路清理装置
CN108765309B (zh) 2018-04-26 2022-05-17 西安汇智信息科技有限公司 基于暗通道的线状自适应改进全局大气光的图像去雾方法
CN109523483A (zh) * 2018-11-14 2019-03-26 北京奇艺世纪科技有限公司 一种图像去雾方法及装置
CN111213179A (zh) * 2019-03-12 2020-05-29 深圳市大疆创新科技有限公司 一种图像数据处理方法、装置及系统
CN109961413B (zh) * 2019-03-21 2023-05-12 平顶山学院 大气光方向优化估计的图像去雾迭代算法
CN112288736B (zh) * 2020-11-09 2022-11-15 浙江大学 一种基于图像的能见度估测方法
CN113065420A (zh) * 2021-03-18 2021-07-02 天津大学 基于暗原色先验理论的雾霾检测与分级方法
CN114004834B (zh) * 2021-12-31 2022-04-19 山东信通电子股份有限公司 一种图像处理中的雾天情况分析方法、设备及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077750A (zh) * 2014-06-18 2014-10-01 深圳市金立通信设备有限公司 一种图像的处理方法
CN105913391A (zh) * 2016-04-07 2016-08-31 西安交通大学 一种基于形状可变形态学重构的去雾方法
CN107085830A (zh) * 2016-10-25 2017-08-22 湘潭大学 基于传播滤波的单幅图像去雾方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077750A (zh) * 2014-06-18 2014-10-01 深圳市金立通信设备有限公司 一种图像的处理方法
CN105913391A (zh) * 2016-04-07 2016-08-31 西安交通大学 一种基于形状可变形态学重构的去雾方法
CN107085830A (zh) * 2016-10-25 2017-08-22 湘潭大学 基于传播滤波的单幅图像去雾方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Automatic Recovery of the Atmospheric Light in Hazy Images;Matan Sulami等;《2014 IEEE International Conference on Computational Photography (ICCP)》;20140504;第3.1-3.2节 *
Propagated Image Filtering;Jen-Hao Rick Chang等;《2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20150612;第1节 *
一种结合双区域滤波和图像融合的单幅图像去雾算法;张小刚 等;《自动化学报》;20140831;第40卷(第8期);1733-1739 *
一种自适应中值滤波去雾算法;唐美玲 等;《计算机工程与应用》;20150531;第51卷(第10期);186-190 *
单幅图像去雾算法的研究与应用;唐美玲;《中国优秀硕士学位论文全文数据库信息科技辑》;20150415;第2015年卷(第4期);第2.2.1-2.2.2节,第3节,第4.2节 *
环境光模型暗通道快速去雾处理;付辉 等;《光电工程》;20160229;第43卷(第2期);82-88 *

Also Published As

Publication number Publication date
CN106548461A (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
CN106548461B (zh) 图像去雾方法
CN107301623B (zh) 一种基于暗通道和图像分割的交通图像去雾方法及系统
CN110232666B (zh) 基于暗原色先验的地下管道图像快速去雾方法
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
CN109919879B (zh) 一种基于暗通道先验与亮通道先验的图像去雾方法
CN102750674B (zh) 基于自适应容差的视频图像去雾方法
CN107085830B (zh) 基于传播滤波的单幅图像去雾方法
CN108596853A (zh) 基于背景光统计模型和传输地图优化的水下图像增强方法
CN109118446B (zh) 一种水下图像复原及去噪方法
Sun A new single-image fog removal algorithm based on physical model
CN102170574A (zh) 一种实时视频去雾处理系统
CN111598814B (zh) 基于极端散射通道的单图像去雾方法
CN103578083A (zh) 基于联合均值漂移的单幅图像去雾方法
CN105023246B (zh) 一种基于对比度和结构相似度的图像增强方法
CN110827218A (zh) 基于图像hsv透射率加权校正的机载图像去雾方法
CN109118440B (zh) 基于透射率融合与自适应大气光估计的单幅图像去雾方法
CN110782407A (zh) 一种基于天空区域概率分割的单幅图像去雾方法
CN105447825A (zh) 图像去雾方法及其系统
Liang et al. Learning to remove sandstorm for image enhancement
CN109949239B (zh) 一种适用于多浓度多场景雾霾图像的自适应清晰化方法
CN110349113B (zh) 一种基于暗原色先验改进的自适应图像去雾方法
CN109934779B (zh) 一种基于导向滤波优化的去雾方法
CN105913391B (zh) 一种基于形状可变形态学重构的去雾方法
CN110458029A (zh) 一种雾天环境中的车辆检测方法及装置
CN111598788A (zh) 一种基于四叉树分解与非局部先验的单幅图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant