CN110570365B - 基于先验信息的图像去雾方法 - Google Patents

基于先验信息的图像去雾方法 Download PDF

Info

Publication number
CN110570365B
CN110570365B CN201910720005.4A CN201910720005A CN110570365B CN 110570365 B CN110570365 B CN 110570365B CN 201910720005 A CN201910720005 A CN 201910720005A CN 110570365 B CN110570365 B CN 110570365B
Authority
CN
China
Prior art keywords
image
fog
pixel
atmospheric
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910720005.4A
Other languages
English (en)
Other versions
CN110570365A (zh
Inventor
周慧鑫
赵星
邓宝凯
宋江鲁奇
李欢
张喆
黄楙森
谭威
张嘉嘉
于跃
秦翰林
王炳健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910720005.4A priority Critical patent/CN110570365B/zh
Publication of CN110570365A publication Critical patent/CN110570365A/zh
Application granted granted Critical
Publication of CN110570365B publication Critical patent/CN110570365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于先验信息的图像去雾方法,根据暗通道先验结合远景浓雾区域像素点估计大气光值;根据色彩衰减先验分别确定远景浓雾区域像素点和近景薄雾区域像素点对应的大气透射率;根据暗通道先验确定近景薄雾区域像素点对应的大气透射率;确定去雾后的远景浓雾区域像素点对应的像素值和近景薄雾区域像素点对应的像素值;将所述去雾后的远景浓雾区域像素点对应的像素值和去雾后的近景薄雾区域像素点对应的像素值进行区域组合获得去雾后的图像。本发明通过改进暗通道先验和色彩衰减先验去雾算法在去雾应用中的不足,对于多种场景下的薄雾图像均有良好的去雾效果。

Description

基于先验信息的图像去雾方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于先验信息的图像去雾方法。
背景技术
目前,基于图像复原的去雾算法通过研究雾天图像成像模型,代入已知参数和求解未知参数以实现去雾,主要分为先验知识和机器学习两种方法。
传统的去雾方法主要是基于先验知识的,主要有何凯明等人暗通道先验方法,Tan等人最大对比度方法,Zhu等人的颜色衰减先验方法,Ancuti等人的色度不一致方法等。使用暗通道衰减先验算法的一个前提是“非天空”,由于天空区域中,各色彩通道的像素值都非常高,不存在暗通道值趋于0的情况,因此利用暗通道先验去雾,容易导致去雾过度,图像天空区域色彩失真;另外,由于大气光值估计的误差,基于暗通道先验去雾还会影响去雾图像的整体亮度。
随着机器学习在计算机视觉领域的发展和应用,众多研究者将深度学习知识引入图像去雾领域;色彩衰减先验理论对场景深度与场景点的亮度-饱和度差异建立线性模型,并收集大量场景点信息进行训练,用以求得场景透射率。而后,DehazeNet端到端系统被提出用于透射率估计,Ren等人先后提出MSCNN和GFN来实现单幅雾天图像的去雾;但是,由于数据量不足、缺少真实无雾图像、没有实现直接去雾处理等问题,基于深度学习的图像去雾算法仍处于发展阶段,仍存在许多不足。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于先验信息的图像去雾方法。
为达到上述目的,本发明的技术方案是这样实现的:
本发明实施例提供一种基于先验信息的图像去雾方法,该方法为:
基于雾天图像像素点亮度、饱和度差异将雾天图像中像素点划分为远景浓雾区域像素点与近景薄雾区域像素点;
根据暗通道先验结合远景浓雾区域像素点估计大气光值;
根据色彩衰减先验分别确定远景浓雾区域像素点和近景薄雾区域像素点对应的大气透射率;
根据暗通道先验确定近景薄雾区域像素点对应的大气透射率;
根据远景浓雾区域像素点对应的大气透射率和大气光值结合第一雾天图像成像模型获得去雾后的远景浓雾区域像素点对应的像素值;
根据近景薄雾区域像素点对应的两个大气透射率和大气光值结合第二雾天图像成像模型获得去雾后的近景薄雾区域像素点对应的像素值;
将所述去雾后的远景浓雾区域像素点对应的像素值和去雾后的近景薄雾区域像素点对应的像素值进行区域组合获得去雾后的图像。
上述方案中,所述基于雾天图像像素点亮度、饱和度差异将雾天图像中像素点划分为远景浓雾区域像素点与近景薄雾区域像素点,具体为:根据雾天图像的像素点亮度v(x)和饱和度s(x)的差异D(x)结合阈值Dth,将所述雾天图像的像素点划分为远景浓雾区域像素点与近景薄雾区域像素点,即:
D(x)=v(x)-s(x)
Figure BDA0002156851830000021
上述方案中,所述根据暗通道先验结合远景浓雾区域像素点估计大气光值,具体为:选取远景浓雾区域像素点的暗通道中像素值排在前0.1%的像素点集合,将该集合中像素值最高点作为大气光值A;还对大气光值A进行优化,即:A=max(A,Amin),Amin为大气光值点像素值下限。
上述方案中,根据色彩衰减先验分别确定远景浓雾区域像素点和近景薄雾区域像素点对应的大气透射率,具体为:
根据色彩衰减先验的直观表示,建立线性模型如下:
d(x)=θ01v(x)+θ2s(x)+ξ(x)
其中,x表示图像像素点位置,d表示景深,v表示亮度,s表示饱和度,θ0、θ1、θ2表示线性系数,ξ表示随机变量;
将待处理图像视为一副随机图像,假设ξ服从均值为0、方差为δ2的高斯分布,即ξ(x)~N(0,δ2),将所述线性模型变形为:
d(x)~p(d(x)|x,θ0122)=N(θ01v+θ2s,δ2);
采用合成图像的方式获取雾天图像和对应的深度图像作为训练集数据;
对所述训练集数据进行学习,求解出线性模型中的参数;
对深度图像进行局部最小化运算,如下:
Figure BDA0002156851830000031
其中,Ωr(x)表示中心在像素点x处、尺寸为r×r的窗口,
Figure BDA0002156851830000032
是局部最小化滤波函数;
对局部最小化结果进行引导图像滤波获得精细深度图像;
对远景浓雾区域像素点和近景薄雾区域像素点设置不同的散射系数,按照下式分别确定大气透射率:
t(x)=e-βd(x)
其中,β为散射系数,d为场景深度。
上述方案中,所述根据暗通道先验确定近景薄雾区域像素点对应的大气透射率,具体为:
对第一雾天图像成像模型进行归一化,即将第一雾天图像成像模型的表达式两边同时除以大气光值A;
假设透射率在局部小区域Ω(x)内是恒定不变的,设为
Figure BDA0002156851830000033
对归一化后的表达式两边同时进行局部最小化运算:
Figure BDA0002156851830000034
其中,Ic(x)表示雾天图像I的一个色彩通道,Jc(x)表示无雾图像J的一个色彩通道,Ω(x)表示中心位于x处的一个局部小区域,
Figure BDA0002156851830000041
表示大气透射率,Ac表示大气光值A的一个色彩通道;
Figure BDA0002156851830000042
是对每个像素点的三个色彩通道值进行最小化运算,
Figure BDA0002156851830000043
是局部最小化滤波函数;由无雾图像的暗通道值为0,即
Figure BDA0002156851830000044
和大气光值A恒为正,得到:
Figure BDA0002156851830000045
推出透射率
Figure BDA0002156851830000046
的估计值为:
Figure BDA0002156851830000047
采用引导图像滤波模型对估计出的粗略大气透射率进行精细优化获得大气透射率。
上述方案中,根据远景浓雾区域像素点对应的大气透射率和大气光值结合第一雾天图像成像模型获得去雾后的远景浓雾区域像素点对应的像素值,具体为:将第一雾天图像成像模型I(x)=J(x)t(x)+A(1-t(x))进行反推,获得第一雾天图像成像模型变形式,并对第一雾天图像成像模型变形式进行修正,获得
Figure BDA0002156851830000048
其中,t0表示大气透射率的最低值,I(x)表示雾天图像,J(x)表示无雾图像,t(x)表示大气透射率,A表示大气光值;将大气透射率t(x)和大气光值A代入上式获得去雾后的远景浓雾区域像素点对应的像素值。
上述方案中,根据近景薄雾区域像素点对应的两个大气透射率和大气光值结合第二雾天图像成像模型获得去雾后的近景薄雾区域像素点对应的像素值,具体为:将第二雾天图像成像模型I(x)=J(x)tcap(x)+A(1-tdcp(x))进行反推,获得第二雾天图像成像模型变形式,并对所述第二雾天图像成像模型变形式进行修正,获得
Figure BDA0002156851830000049
其中,I(x)表示雾天图像,J(x)表示无雾图像,tcap(x)表示利用色彩衰减先验求得的透射率,tdcp(x)表示利用暗通道先验求得的透射率,A表示大气光值;将透射率tcap(x)、tdcp(x)和大气光值A代入上式获得去雾后的近景薄雾区域像素点对应的像素值。
上述方案中,所述对所述训练集数据进行学习,具体为:
假设各场景点的随机误差是相互独立的,建立对于所有场景点的联合概率密度函数为:
L=p(d(x1),...,d(xn)|x1,...,xn0122)
Figure BDA0002156851830000051
其中,L表示联合概率密度函数,n表示训练数据中所有像素点数目,d(xn)表示第n个像素点的场景深度,dgi表示第i个场景点的场景深度,θ0、θ1、θ2表示线性系数,δ2表示雾天图像景深所服从的高斯分布的方差,v表示雾天图像像素点亮度,s表示雾天图像像素点饱和度;
Figure BDA0002156851830000052
两边同时取自然对数,求得lnL的最大值,再对lnL求δ的偏导数并使其等于0,获得变量δ2的最大似然估计为:
Figure BDA0002156851830000053
其中,n表示训练数据中所有像素点数目,dgi表示第i个场景点的场景深度,θ0、θ1、θ2表示线性系数,v表示雾天图像像素点亮度,s表示雾天图像像素点饱和度;
分别对
Figure BDA0002156851830000054
中的lnL求θ0、θ1、θ2的偏导数,利用梯度下降法对参数θ0、θ1、θ2进行更新获得估计值,其中θ0、θ1、θ2为雾天图像的景深模型表达式的线性系数。
上述方案中,所述对局部最小化结果进行引导图像滤波获得精细深度图像,具体为:引导图像滤波模型:
qi=akIi+bk,
Figure BDA0002156851830000055
其中,I为引导图像,q为输出图像,wk为局部窗口,ak和bk为局部窗口内的恒定线性系数;
保持引导图像I和输出图像q之间的局部线性关系,通过最小化输入图像p与输出图像q之间的差异求解线性系数,即:
Figure BDA0002156851830000061
其中,ε为约束ak的正则化系数,求解上式得:
Figure BDA0002156851830000062
Figure BDA0002156851830000063
其中,|w|表示滤波窗口wk内包含的像素数目,μk表示引导图像I在滤波窗口内的像素值均值,
Figure BDA0002156851830000064
表示引导图像I在滤波窗口内的像素值方差,
Figure BDA0002156851830000065
表示输入图像p在窗口内的像素值均值。
与现有技术相比,本发明通过亮度-饱和度差异信息将远近景区域进行分离,在不同景深区域中利用暗通道先验和色彩衰减先验来求取透射率,进行不同的去雾处理,能够在远景区域和近景区域的去雾效果之间保持平衡;通过改进暗通道先验和色彩衰减先验去雾算法在去雾应用中的不足,对于多种场景下的薄雾图像均有良好的去雾效果。
附图说明
图1为本发明实施例提供一种基于先验信息的图像去雾方法的流程图;
图2为具有代表性的雾天图像;
图3为七种不同去雾算法对雾天图像gym的去雾结果的效果对比;
图4为序列Scene1无雾图像与Level-7雾天图像;
图5为序列Scene2无雾图像与Level-7雾天图像;
图6为七种不同去雾算法对雾天图像Scene1(Level-7)的去雾结果的效果对比。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种基于先验信息的图像去雾方法,如图1所示,该方法为:
步骤1:基于雾天图像像素点亮度、饱和度差异将雾天图像中像素点划分为远景浓雾区域像素点与近景薄雾区域像素点;
具体地,根据雾天图像的像素点亮度v(x)和饱和度s(x)的差异D(x)结合阈值Dth,将所述雾天图像的像素点划分为远景浓雾区域像素点与近景薄雾区域像素点,即:
D(x)=v(x)-s(x)
Figure BDA0002156851830000071
步骤2:根据暗通道先验结合远景浓雾区域像素点估计大气光值;
具体地,排除近景薄雾区域像素点,只利用远景浓雾区域像素点,通过暗通道先验估计大气光值,并对得到的大气光值进行优化;
步骤201:选取远景浓雾区域的暗通道中像素值排在前0.1%的像素点集合,将该集合中像素值最高点作为大气光值点A点;
步骤202:对大气光值点像素值设定下限Amin,值为0.85,即:
A=max(A,Amin)
其中,max表示取最大值。
第一雾天图像成像模型的表达式如下:
I(x)=J(x)t(x)+A(1-t(x))
其中,I(x)表示雾天图像,J(x)表示无雾图像,t(x)表示大气透射率,A表示大气光值。
第二雾天图像成像模型的表达式如下:
I(x)=J(x)tcap(x)+A(1-tdcp(x))
其中,I(x)表示雾天图像,J(x)表示无雾图像,tcap(x)表示利用色彩衰减先验求得的透射率,tdcp(x)表示利用暗通道先验求得的透射率,A表示大气光值。
步骤3:根据色彩衰减先验分别确定远景浓雾区域像素点和近景薄雾区域像素点对应的大气透射率;
具体地,步骤301:根据色彩衰减先验的直观表示建立线性模型如下:
d(x)=θ01v(x)+θ2s(x)+ξ(x)
其中,x表示图像像素点坐标位置,d表示雾天图像的景深,v表示雾天图像像素点亮度,s表示雾天图像像素点饱和度,θ0、θ1、θ2表示线性系数,ξ表示随机变量;
步骤302:将要处理图像视为一副随机图像,假设ξ服从均值为0、方差为δ2的高斯分布,即ξ(x)~N(0,δ2),将步骤301中的线性模型变形为:
d(x)~p(d(x)|x,θ0122)=N(θ01v+θ2s,δ2)
其中,p表示雾天图像景深的概率密度函数,x表示图像像素点坐标位置,d表示雾天图像的景深,θ0、θ1、θ2表示线性系数,δ2表示雾天图像景深所服从的高斯分布的方差;
步骤303:采用合成图像的方式获取雾天图像和对应的深度图像作为训练集数据。即对于每幅无雾图像J,产生相同尺寸的随机深度图像d(d满足标准均匀分布),然后生成随机大气光值A(k,k,k),其中k表示随机值,k的范围为0.85至1,最后根据第一雾天图像成像模型,生成雾天图像I;
合成图像
步骤304:对步骤303中得到的训练集数据进行学习,求解出线性模型中的参数。
直接使用Zhu等人使用500幅训练样本,1.2亿个场景点进行训练,进行517次迭代得到最好的结果:θ0=0.121779、θ1=0.959710、θ2=-0.780245和δ=0.041337。其中θ0、θ1、θ2是线性系数,δ是雾天图像景深所服从的高斯分布的标准差;
步骤305:对训练后的深度图像再进行局部最小化运算,如下:
Figure BDA0002156851830000091
其中,Ωr(x)表示中心在像素点x处、尺寸为r×r的窗口,
Figure BDA0002156851830000092
是局部最小化滤波函数;
步骤306:对步骤305中得到的局部最小化结果进行引导图像滤波,设置引导图像滤波窗口r为25,正则化系数ε为0.01,得到精细深度图像;
步骤307:对远景浓雾区域和近景薄雾区域设置不同的散射系数,设置远景浓雾区域散射系数βdistant-view为1.2,近景薄雾区域散射系数βnearby-view为0.8。按照下式,计算大气透射率:
t(x)=e-βd(x)
其中,t为大气透射率,x为图像像素点坐标位置,β为散射系数,d为雾天图像的场景深度。
所述步骤304中对训练数据的学习,具体通过以下步骤实现:
步骤3041:假设各场景点的随机误差是相互独立的,建立对于所有场景点的联合概率密度函数为:
L=p(d(x1),...,d(xn)|x1,...,xn0122)
Figure BDA0002156851830000093
其中,L表示联合概率密度函数,n表示训练数据中所有像素点数目,d(xn)表示第n个像素点的场景深度,dgi表示第i个场景点的场景深度,θ0、θ1、θ2表示线性系数,δ2表示雾天图像景深所服从的高斯分布的方差,v表示雾天图像像素点亮度,s表示雾天图像像素点饱和度;
步骤3042:对步骤3041中所述的
Figure BDA0002156851830000101
两边同时取自然对数,求得lnL的最大值,再对lnL求δ的偏导数并使其等于0,得到变量δ2的最大似然估计为:
Figure BDA0002156851830000102
其中,n表示训练数据中所有像素点数目,dgi表示第i个场景点的场景深度,θ0、θ1、θ2表示线性系数,v表示雾天图像像素点亮度,s表示雾天图像像素点饱和度;
步骤3043:分别对步骤3042中所述的lnL求θ0、θ1、θ2的偏导数,利用梯度下降法对参数θ0、θ1、θ2进行更新,得到估计值,其中θ0、θ1、θ2为雾天图像的景深模型表达式的线性系数。
所述步骤306中引导图像滤波模型:
qi=akIi+bk,
Figure BDA0002156851830000103
其中,I为引导图像,q为输出图像,wk为局部窗口,ak和bk为局部窗口内的恒定线性系数。
保持引导图像I和输出图像q之间的局部线性关系,通过最小化输入图像p与输出图像q之间的差异求解线性系数,即:
Figure BDA0002156851830000104
其中,ε为约束ak的正则化系数,设为0.01。求解上式得:
Figure BDA0002156851830000105
Figure BDA0002156851830000106
其中,|w|表示滤波窗口wk内包含的像素数目,μk表示引导图像I在滤波窗口内的像素值均值,
Figure BDA0002156851830000107
表示引导图像I在滤波窗口内的像素值方差,
Figure BDA0002156851830000108
表示输入图像p在窗口内的像素值均值;
步骤4:根据暗通道先验确定近景薄雾区域像素点对应的大气透射率;
具体地,步骤401:对第一雾天图像成像模型进行归一化,即将模型的表达式两边同时除以大气光值A;
步骤402:假设大气透射率在局部小区域Ω(x)内是恒定不变的,设为
Figure BDA0002156851830000111
对(4a)中归一化后的表达式两边同时进行局部最小化运算:
Figure BDA0002156851830000112
其中,Ic(x)表示雾天图像I的一个色彩通道,Jc(x)表示无雾图像J的一个色彩通道,Ω(x)表示中心位于x处的一个局部小区域,
Figure BDA0002156851830000113
表示大气透射率,Ac表示大气光值A的一个色彩通道。
暗通道是两次最小化运算的结果,
Figure BDA0002156851830000114
是对每个像素点的三个色彩通道值进行最小化运算,
Figure BDA0002156851830000115
是局部最小化滤波函数,这两个最小化运算在实际情况中可以交换顺序;
步骤403:由无雾图像的暗通道值为0,即
Figure BDA0002156851830000116
和大气光值A恒为正,得到:
Figure BDA0002156851830000117
其中,Jc(x)表示无雾图像J的一个色彩通道,Ac表示大气光值A的一个色彩通道,Ω(x)表示中心位于x处的一个局部小区域;暗通道是两次最小化运算的结果,
Figure BDA0002156851830000118
是对每个像素点的三个色彩通道值进行最小化运算,
Figure BDA0002156851830000119
是局部最小化滤波函数,这两个最小化运算在实际情况中可以交换顺序;
步骤404:将步骤403的公式代入步骤402的公式,推出透射率
Figure BDA00021568518300001110
的估计值为:
Figure BDA0002156851830000121
其中,Ic(x)表示雾天图像I的一个色彩通道,Ω(x)表示中心位于x处的一个局部小区域,
Figure BDA0002156851830000122
表示大气透射率,Ac表示大气光值A的一个色彩通道,
Figure BDA0002156851830000123
是对每个像素点的三个色彩通道值进行最小化运算,
Figure BDA0002156851830000124
是局部最小化滤波函数,两次最小化运算得到暗通道值;
步骤405:采用引导图像滤波技术对估计出的粗略透射率进行精细优化。
步骤5:根据远景浓雾区域像素点对应的大气透射率和大气光值结合第一雾天图像成像模型获得去雾后的远景浓雾区域像素点对应的像素值;
具体地,将第一雾天图像成像模型I(x)=J(x)t(x)+A(1-t(x))进行反推,获得第一雾天图像成像模型变形式,并对第一雾天图像成像模型变形式进行修正,获得
Figure BDA0002156851830000125
其中,t0表示大气透射率的最低值,本发明的实施例中,设置t0值为0.1,I(x)表示雾天图像,J(x)表示无雾图像,t(x)表示大气透射率,A表示大气光值;将大气透射率t(x)和大气光值A代入上式获得去雾后的远景浓雾区域像素点对应的像素值。
步骤6:根据近景薄雾区域像素点对应的两个大气透射率和大气光值结合第二雾天图像成像模型获得去雾后的近景薄雾区域像素点对应的像素值;
具体地,将第二雾天图像成像模型I(x)=J(x)tcap(x)+A(1-tdcp(x))进行反推,获得第二雾天图像成像模型变形式,并对所述第二雾天图像成像模型变形式进行修正,获得
Figure BDA0002156851830000126
其中,I(x)表示雾天图像,J(x)表示无雾图像,tcap(x)表示利用色彩衰减先验求得的透射率,tdcp(x)表示利用暗通道先验求得的透射率,A表示大气光值;将透射率tcap(x)、tdcp(x)和大气光值A代入上式获得去雾后的近景薄雾区域像素点对应的像素值。
步骤7:将所述去雾后的远景浓雾区域像素点对应的像素值和去雾后的近景薄雾区域像素点对应的像素值进行区域组合获得去雾后的图像。
下面结合仿真实验对本发明的效果做进一步描述。
1、仿真条件:
本发明仿真实验的运行系统为:主频为3.70GHz的英特尔i3-6100处理器,8GB内存,安装有64位的Windows7操作系统的计算机;仿真软件为:MATLAB R2016b软件。
2、实验内容:
为验证基于先验信息的图像去雾方法的有效性,本发明采用拍摄的雾天图像和雾天图像库进行仿真实验。同时采用6种典型图像复原中的图像去雾算法作为对照组,其分别为原始暗通道先验(Dark Channel Prior,DCP)、原始色彩衰减先验(Color AttentionPrior,CAP)、雾浓度评估(Density of Fog Assessment Based Defogger,DEFADE)、梯度残差最小化(Gradient Residual Minimization,GRM)、DehazeNet和MSCNN,将本发明表示为PI-Dehaze(Prior Information Based Image Dehazing Algorithm)。通过对以上算法进行无参考图像仿真实验和有参考图像仿真实验,验证本发明PI-Dehaze算法的有效性。
无参考图像仿真实验中:本发明选择具有代表性的雾天图像来进行仿真实验,分别为building、gym和scenic,如图2所示。
以雾天图像gym为例,图3展示了主观视觉效果上七种图像去雾算法处理结果对比;表1展示了客观参数评价上七种图像去雾算法处理结果对比;表2展示了七种图像去雾算法的耗时情况。
表1雾天图像gym去雾结果的图像评价指标
Figure BDA0002156851830000131
Figure BDA0002156851830000141
表2雾天图像gym的去雾所用时间
算法 DCP CAP DEFADE GRM MSCNN DehazeNet PI-Dehaze
耗时/s 20.28 4.60 17.15 102.09 2.56 2.82 0.78
有参考图像仿真实验中:本发明选择同一场景下无雾/雾天图像序列来进行仿真实验,分别为序列Scene1和序列Scene2,每个序列从Level-1到Level-9雾的浓度依次降低。图4、图5展示了两个序列Level-7的仿真实验图像。
以雾天图像Scene1(Level-7)为例,图6展示了主观视觉效果上七种图像去雾算法处理结果对比;表3展示了从客观参数均方误差(MSE)和结构相似度(SSIM)评价上七种图像去雾算法处理结果对比;表4展示了七种算法对雾天图像Scene1去雾处理的算法耗时情况。
表3雾天图像Scene1去雾结果的图像评价指标
Scene1 MSE SSIM
DCP 84.1107 0.4357
CAP 75.6409 0.8571
DEFADE 81.7899 0.7743
GRM 80.0080 0.5706
MSCNN 80.7859 0.8341
DehazeNet 78.0924 0.7932
PI-Dehaze 58.4807 0.9023
表4雾天图像Scene1的去雾所用时间
算法 DCP CAP DEFADE GRM MSCNN DehazeNet PI-Dehaze
耗时/s 223.45 35.72 170.65 1020.23 13.69 18.19 6.92
通过仿真实验可得,本发明从主观视觉和客观参数两方面都能达到较好的图像去雾效果。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (9)

1.一种基于先验信息的图像去雾方法,其特征在于,该方法为:
基于雾天图像像素点亮度、饱和度差异将雾天图像中像素点划分为远景浓雾区域像素点与近景薄雾区域像素点;
根据暗通道先验结合远景浓雾区域像素点估计大气光值;
根据色彩衰减先验分别确定远景浓雾区域像素点和近景薄雾区域像素点对应的大气透射率;
根据暗通道先验确定近景薄雾区域像素点对应的大气透射率;
根据远景浓雾区域像素点对应的大气透射率和大气光值结合第一雾天图像成像模型获得去雾后的远景浓雾区域像素点对应的像素值;
根据近景薄雾区域像素点对应的两个大气透射率和大气光值结合第二雾天图像成像模型获得去雾后的近景薄雾区域像素点对应的像素值;
将所述去雾后的远景浓雾区域像素点对应的像素值和去雾后的近景薄雾区域像素点对应的像素值进行区域组合获得去雾后的图像。
2.根据权利要求1所述的基于先验信息的图像去雾方法,其特征在于,所述基于雾天图像像素点亮度、饱和度差异将雾天图像中像素点划分为远景浓雾区域像素点与近景薄雾区域像素点,具体为:根据雾天图像的像素点亮度v(x)和饱和度s(x)的差异D(x)结合阈值Dth,将所述雾天图像的像素点划分为远景浓雾区域像素点与近景薄雾区域像素点,即:
D(x)=v(x)-s(x)
Figure FDA0003498118570000011
3.根据权利要求1或2所述的基于先验信息的图像去雾方法,其特征在于,所述根据暗通道先验结合远景浓雾区域像素点估计大气光值,具体为:选取远景浓雾区域像素点的暗通道中像素值排在前0.1%的像素点集合,将该集合中像素值最高点作为大气光值A;还对大气光值A进行优化,即:A=max(A,Amin),Amin为大气光值点像素值下限。
4.根据权利要求3所述的基于先验信息的图像去雾方法,其特征在于,根据色彩衰减先验分别确定远景浓雾区域像素点和近景薄雾区域像素点对应的大气透射率,具体为:
根据色彩衰减先验的直观表示,建立线性模型如下:
d(x)=θ01v(x)+θ2s(x)+ξ(x)
其中,x表示图像像素点位置,d表示景深,v表示亮度,s表示饱和度,θ0、θ1、θ2表示线性系数,ξ表示随机变量;
将待处理图像视为一幅随机图像,假设ξ服从均值为0、方差为δ2的高斯分布,即ξ(x)~N(0,δ2),将所述线性模型变形为:
d(x)~p(d(x)|x,θ0,θ1,θ2,δ2)=N(θ01v+θ2s,δ2);
采用合成图像的方式获取雾天图像和对应的深度图像作为训练集数据;
对所述训练集数据进行学习,求解出线性模型中的参数;
对深度图像进行局部最小化运算,如下:
Figure FDA0003498118570000021
其中,Ωr(x)表示中心在像素点x处、尺寸为r×r的窗口,
Figure FDA0003498118570000022
是局部最小化滤波函数;
对局部最小化结果进行引导图像滤波获得精细深度图像;
对远景浓雾区域像素点和近景薄雾区域像素点设置不同的散射系数,按照下式分别确定大气透射率:
t(x)=e-βd(x)
其中,β为散射系数,d为场景深度。
5.根据权利要求4所述的基于先验信息的图像去雾方法,其特征在于,所述根据暗通道先验确定近景薄雾区域像素点对应的大气透射率,具体为:
对第一雾天图像成像模型进行归一化,即将第一雾天图像成像模型的表达式两边同时除以大气光值A;
假设透射率在局部小区域Ω(x)内是恒定不变的,设为
Figure FDA0003498118570000031
对归一化后的表达式两边同时进行局部最小化运算:
Figure FDA0003498118570000032
其中,Ic(y)表示雾天图像I的一个色彩通道,Jc(y)表示无雾图像J的一个色彩通道,Ω(x)表示中心位于x处的一个局部小区域,
Figure FDA0003498118570000033
表示大气透射率,Ac表示大气光值A的一个色彩通道;
Figure FDA0003498118570000034
是对每个像素点的三个色彩通道值进行最小化运算,
Figure FDA0003498118570000035
是局部最小化滤波函数;由无雾图像的暗通道值为0,即
Figure FDA0003498118570000036
和大气光值A恒为正,得到:
Figure FDA0003498118570000037
推出透射率
Figure FDA0003498118570000038
的估计值为:
Figure FDA0003498118570000039
采用引导图像滤波模型对估计出的粗略大气透射率进行精细优化获得大气透射率。
6.根据权利要求5所述的基于先验信息的图像去雾方法,其特征在于,根据远景浓雾区域像素点对应的大气透射率和大气光值结合第一雾天图像成像模型获得去雾后的远景浓雾区域像素点对应的像素值,具体为:将第一雾天图像成像模型I(x)=J(x)t(x)+A(1-t(x))进行反推,获得第一雾天图像成像模型变形式,并对第一雾天图像成像模型变形式进行修正,获得
Figure FDA00034981185700000310
其中,I(x)表示雾天图像,J(x)表示无雾图像,t(x)表示大气透射率,A表示大气光值;将大气透射率t(x)和大气光值A代入上式获得去雾后的远景浓雾区域像素点对应的像素值。
7.根据权利要求6所述的基于先验信息的图像去雾方法,其特征在于,根据近景薄雾区域像素点对应的两个大气透射率和大气光值结合第二雾天图像成像模型获得去雾后的近景薄雾区域像素点对应的像素值,具体为:将第二雾天图像成像模型I(x)=J(x)tcap(x)+A(1-tdcp(x))进行反推,获得第二雾天图像成像模型变形式,并对所述第二雾天图像成像模型变形式进行修正,获得
Figure FDA0003498118570000041
其中,I(x)表示雾天图像,J(x)表示无雾图像,tcap(x)表示利用色彩衰减先验求得的透射率,tdcp(x)表示利用暗通道先验求得的透射率,A表示大气光值,t0表示大气透射率的最低值;将透射率tcap(x)、tdcp(x)和大气光值A代入上式获得去雾后的近景薄雾区域像素点对应的像素值。
8.根据权利要求7所述的基于先验信息的图像去雾方法,其特征在于,所述对所述训练集数据进行学习,具体为:
假设各场景点的随机误差是相互独立的,建立对于所有场景点的联合概率密度函数为:
L=p(d(x1),...,d(xn)|x1,...,xn,θ0,θ1,θ2,δ2)
Figure FDA0003498118570000042
其中,L表示联合概率密度函数,n表示训练数据中所有像素点数目,d(xn)表示第n个像素点的场景深度,dgi表示第i个场景点的场景深度,θ0、θ1、θ2表示线性系数,δ2表示雾天图像景深所服从的高斯分布的方差,v表示雾天图像像素点亮度,s表示雾天图像像素点饱和度;
Figure FDA0003498118570000043
两边同时取自然对数,求得lnL的最大值,再对lnL求δ的偏导数并使其等于0,获得变量δ2的最大似然估计为:
Figure FDA0003498118570000044
其中,n表示训练数据中所有像素点数目,dgi表示第i个场景点的场景深度,θ0、θ1、θ2表示线性系数,v表示雾天图像像素点亮度,s表示雾天图像像素点饱和度;
分别对
Figure FDA0003498118570000051
中的lnL求θ0、θ1、θ2的偏导数,利用梯度下降法对参数θ0、θ1、θ2进行更新获得估计值,其中θ0、θ1、θ2为雾天图像的景深模型表达式的线性系数。
9.根据权利要求8所述的基于先验信息的图像去雾方法,其特征在于,所述对局部最小化结果进行引导图像滤波获得精细深度图像,具体为:引导图像滤波模型:
Figure FDA0003498118570000052
其中,I为引导图像,q为输出图像,wk为局部窗口,ak和bk为局部窗口内的恒定线性系数;
保持引导图像I和输出图像q之间的局部线性关系,通过最小化输入图像p与输出图像q之间的差异求解线性系数,即:
Figure FDA0003498118570000053
其中,ε为约束ak的正则化系数,求解上式得:
Figure FDA0003498118570000054
Figure FDA0003498118570000055
其中,E(ak,bk)表示目标函数,|w|表示滤波窗口wk内包含的像素数目,μk表示引导图像I在滤波窗口内的像素值均值,
Figure FDA0003498118570000056
表示引导图像I在滤波窗口内的像素值方差,
Figure FDA0003498118570000057
表示输入图像p在窗口内的像素值均值。
CN201910720005.4A 2019-08-06 2019-08-06 基于先验信息的图像去雾方法 Active CN110570365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910720005.4A CN110570365B (zh) 2019-08-06 2019-08-06 基于先验信息的图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910720005.4A CN110570365B (zh) 2019-08-06 2019-08-06 基于先验信息的图像去雾方法

Publications (2)

Publication Number Publication Date
CN110570365A CN110570365A (zh) 2019-12-13
CN110570365B true CN110570365B (zh) 2022-04-29

Family

ID=68774608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910720005.4A Active CN110570365B (zh) 2019-08-06 2019-08-06 基于先验信息的图像去雾方法

Country Status (1)

Country Link
CN (1) CN110570365B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598886B (zh) * 2020-05-25 2022-03-22 中国科学院长春光学精密机械与物理研究所 一种基于单幅图像的像素级透过率估计方法
CN111798388A (zh) * 2020-06-29 2020-10-20 武汉大学 基于Faster R-CNN结合暗通道去雾算法的大型船舶识别方法
CN111932466B (zh) * 2020-07-10 2021-09-14 北京邮电大学 一种图像去雾方法、电子设备及存储介质
CN112200746B (zh) * 2020-10-16 2024-03-08 中南大学 一种雾天交通场景图像的去雾方法和设备
CN114693536A (zh) * 2020-12-30 2022-07-01 华为技术有限公司 一种图像处理方法,装置及储存介质
CN112712482B (zh) * 2021-01-13 2023-10-31 淮阴工学院 一种基于线性学习模型的图像去雾方法
CN113570554A (zh) * 2021-07-06 2021-10-29 浙江工业大学 一种基于场景深度的单幅图像能见度检测方法
CN113516602B (zh) * 2021-07-14 2022-11-22 广东汇天航空航天科技有限公司 一种图像去雾方法、图像去雾装置、电子设备及存储介质
CN113628131A (zh) * 2021-07-22 2021-11-09 济南驰昊电力科技有限公司 雾天场景下变电站指针式油位表的智能识别方法
CN113643323B (zh) * 2021-08-20 2023-10-03 中国矿业大学 城市地下综合管廊尘雾环境下目标检测系统
CN114998147A (zh) * 2022-06-15 2022-09-02 智联云大数据科技南京有限公司 一种数字孪生下的交通图像加雾方法
CN117196971B (zh) * 2023-08-14 2024-05-31 上海为旌科技有限公司 基于大气散射模型的图像去雾方法、装置及可读存储介质
CN117036204B (zh) * 2023-10-09 2024-02-02 东莞市华复实业有限公司 一种用于可视对讲机的图像质量增强方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982514A (zh) * 2012-12-10 2013-03-20 河海大学常州校区 一种暗原色和白平衡相结合的水下彩色图像增强方法
CN107767354A (zh) * 2017-12-08 2018-03-06 福州大学 一种基于暗原色先验的图像去雾算法
CN109272475A (zh) * 2018-08-31 2019-01-25 深圳纳瓦科技有限公司 一种快速有效修复与强化水下图像颜色的方法
CN109523480A (zh) * 2018-11-12 2019-03-26 上海海事大学 一种海雾图像的去雾方法、装置、计算机存储介质及终端
US20190164259A1 (en) * 2016-06-29 2019-05-30 Nokia Technologies Oy Method and apparatus for removing turbid objects in an image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982514A (zh) * 2012-12-10 2013-03-20 河海大学常州校区 一种暗原色和白平衡相结合的水下彩色图像增强方法
US20190164259A1 (en) * 2016-06-29 2019-05-30 Nokia Technologies Oy Method and apparatus for removing turbid objects in an image
CN107767354A (zh) * 2017-12-08 2018-03-06 福州大学 一种基于暗原色先验的图像去雾算法
CN109272475A (zh) * 2018-08-31 2019-01-25 深圳纳瓦科技有限公司 一种快速有效修复与强化水下图像颜色的方法
CN109523480A (zh) * 2018-11-12 2019-03-26 上海海事大学 一种海雾图像的去雾方法、装置、计算机存储介质及终端

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
"A_Fast_Single-Image_Dehazing_Method_Based_on_a_Physical_Model_and_Gray_Projection";Wencheng Wang等;《IEEE Access》;20180116;5641-5653 *
"Efficient_single_image_dehazing_via_scene-adaptive_segmentation_and_improved_dark_channel_model";He Zhang等;《IEEE》;20161103;3440-3445 *
"Image_Defogging_algorithm_Based_on_Image_Bright_and_Dark_Channels";Shuhuan Wen等;《Proceedings of the 1st WRC Symposium on Advanced Robotics and Automation 2018》;20180816;269-274 *
"Preceding_vehicle_distance_computation_based_on_dark_prior";Hongjun Song等;《Proceedings of the 36th Chinese Control Conference》;20170728;9952-9959 *
"偏振成像去雾技术研究";夏璞;《中国博士学位论文全文数据库 基础科学辑》;20190615(第6期);第1-5章 *
"基于暗通道和颜色衰减先验";陈小丽;《中国优秀硕士学位论文全文数据库》;20180615(第6期);第2-6章 *
"基于混合远景和近景区域暗通道算法的图像去雾研究";田源;《计量学报》;20190731;第40卷(第7期);583-588 *
基于改进暗原色先验模型的快速图像去雾方法;杜宏博等;《计算机工程与应用》;20150703;全文 *
大气散射模型的海上视频图像去雾技术;王孝通等;《中国航海》;20130325(第01期);全文 *
水下图像增强和复原方法研究进展;郭继昌等;《中国图象图形学报》;20170316(第03期);全文 *

Also Published As

Publication number Publication date
CN110570365A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110570365B (zh) 基于先验信息的图像去雾方法
CN103942758B (zh) 基于多尺度融合的暗通道先验图像去雾方法
CN107767354A (zh) 一种基于暗原色先验的图像去雾算法
CN102982513B (zh) 一种基于纹理的自适应图像去雾方法
CN109118446B (zh) 一种水下图像复原及去噪方法
CN107886486A (zh) 基于暗通道先验与变分Retinex水下图像增强方法
CN110782407B (zh) 一种基于天空区域概率分割的单幅图像去雾方法
CN108564549A (zh) 一种基于多尺度稠密连接网络的图像去雾方法
CN104978719A (zh) 基于时空相关性的自适应交通视频实时去雾方法
CN104331867B (zh) 图像去雾的方法、装置及移动终端
CN110827221A (zh) 一种基于双通道先验和侧窗导向滤波的单幅图像去雾方法
CN111598886B (zh) 一种基于单幅图像的像素级透过率估计方法
CN115937019A (zh) 一种lsd二次分割和深度学习相结合的不均匀去雾方法
CN112053298B (zh) 一种图像去雾方法
CN105023246B (zh) 一种基于对比度和结构相似度的图像增强方法
CN114037618B (zh) 基于保边滤波和平滑滤波融合的去雾方法、系统及存储介质
CN108765337B (zh) 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法
CN114693548A (zh) 一种基于亮区域检测的暗通道去雾方法
CN109767407A (zh) 一种去雾过程中大气透射率图像的二次估计方法
CN117495719A (zh) 一种基于大气光幕与雾浓度分布估计的去雾方法
CN107767348B (zh) 基于成像模型约束的单幅隧道图像快速增强方法
CN113379631B (zh) 一种图像去雾的方法及装置
CN115170437A (zh) 一种用于救援机器人的火灾场景低质量图像恢复方法
CN111260589B (zh) 基于Retinex的输电线路监控图像去雾方法
CN114170445A (zh) 一种适于消防灭火机器人的室内烟雾环境图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant