CN110428371A - 基于超像素分割的图像去雾方法、系统、存储介质及电子设备 - Google Patents

基于超像素分割的图像去雾方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN110428371A
CN110428371A CN201910596465.0A CN201910596465A CN110428371A CN 110428371 A CN110428371 A CN 110428371A CN 201910596465 A CN201910596465 A CN 201910596465A CN 110428371 A CN110428371 A CN 110428371A
Authority
CN
China
Prior art keywords
pixel
super
image
cost function
haze image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910596465.0A
Other languages
English (en)
Inventor
储颖
游为麟
罗国星
朱泽轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910596465.0A priority Critical patent/CN110428371A/zh
Publication of CN110428371A publication Critical patent/CN110428371A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T5/73
    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30192Weather; Meteorology

Abstract

本发明涉及基于超像素分割的图像去雾方法、系统、存储介质及电子设备,包括S1、获取雾霾图像对应的全局大气光值,并通过超像素分割对雾霾图像进行分割,以获取雾霾图像对应的超像素集;S2、基于超像素集通过预设成本函数获取雾霾图像对应的初始透射率图;S3、对初始透射率图进行细化处理以获取目标透射率图;S4、根据目标透射率图和全局大气光值获取雾霾图像对应的清晰图像。实施本发明能够实现对真实雾霾图像与合成雾霾图像数据集上良好的去雾效果。

Description

基于超像素分割的图像去雾方法、系统、存储介质及电子设备
技术领域
本发明涉及图像处理技术领域,更具体地说,涉及一种基于超像素分割的图像去雾方法、系统、存储介质及电子设备。
背景技术
目前图像去雾方法可分为两类:第一类是基于图像增强的去雾方法,第二类是基于物理模型的去雾方法。
基于图像增强的去雾方法不考虑图像退化的原理,不建立复杂的物理模型,直接利用常规的图像增强技术提高图像的对比度、色彩饱和度和清晰度等特征,其去雾效果有限。
基于物理模型的去雾方法基本思想是:建立雾霾天气下图像降质的物理模型,还原图像退化的光学过程。运用逆向方法补偿退化过程的信息损失,从而获得清晰图像。相比基于图像增强的去雾方法,此类方法能保留图像中更多有价值的信息,去雾结果更为真实、自然。目前主流的模型是基于大气散射的物理模型。在去雾算法应用上,又可分为基于先验知识和基于机器学习等几类。其具体包括:
(1)对比度先验:
相比无雾图像,有雾图像的对比度较低,可通过最大化图像的对比度进行去雾。此类方法规定,图像的对比度由图像的梯度表示,即图像边缘越明显,对比度越高,公式表达如下:
其中,Cedges(I)表示图像梯度信息的总和,x表示图像中的像素点,Ic(x)表示点x处的梯度值。
不过,此类方法容易使图像发生过饱和,在场景深度突变的边缘地带容易出现光晕。
(2)暗通道先验
绝大多数的户外无雾图像,对每个像素点取其颜色通道的最小值,形成的图像称为暗通道。对于户外无雾图像,其暗通道像素值很低,而雾霾越严重,暗通道像素值越高。
其中,Jdark(x)表示图像的三颜色通道取最小值组成的暗通道图像。
在无雾图像中,暗通道值趋近于零。因此,通过计算大气散射模型中暗通道的表达式,并将其设置为零,得到去雾图像。
暗通道先验去雾的缺点是,当雾霾图片中含有天空区域,去雾后图像会在天空区域出现失真现象。
(3)色彩先验
图像表面阴影于大气传递函数在图像局部区域具有统计上的不相关性。其将大气散射模型中的清晰图像J(x)表示为透射率图与表面反射系数R的乘积,然后将R和清晰图像I(x)在平行大气光方向上的分解为分量RA和IA(x),在垂直于大气光方向上分解为的分量R'和IR',透射率图表示如下:
其中,RA为表面反射系数,R'表示与大气光垂直的残余向量,IA(x)为平行于大气光的分量,并采用马尔可夫随机场修复得到透射率图t(x)。
此类方法基于大气散射模型,可求解出深度图。但是,由于需要雾霾图像具有丰富的色彩信息,对浓雾图像不适用。
(4)基于线性回归和颜色衰减先验的去雾方法。由于清晰图像的色彩饱和度与亮度相近,但雾霾图像会发生色彩饱和度下降而亮度升高的现象。因此,采用饱和度与亮度来估算雾霾的浓度,又由于入射光的衰减率与场景深度有关,因此其采用了色彩饱和度与亮度的线性模型预测场景深度,表示如下:
d(x)=θ01k(x)+θ2c(x)+ε(x)
其中,k表示亮度,c表示色彩饱和度,ε表示随机误差,d表示场景深度,
θ1,θ2和θ3为线性回归模型的参数。
之后,根据场景深度估计全局大气光值A,并结合大气散射模型推导出原始图像。该方法在雾霾浓度较大,色彩特征不明显时容易失效,仅适用于背景物体色彩饱和度较高或雾霾程度较低的情况。
(5)基于成本函数的去雾方法。
基于成本函数的图像去雾算法流程如下:
首先,对图像切割分块,并假设块内透射率图一致。
之后,设计关于图像对比度和信息熵的成本函数,通过最小化成本函数来求解块内透射率图,公式如下:
L=Lcontrast+λLinfo
其中,L表示块内总体的成本函数,Lcontrast表示块内对比度的成本函数,Linfro表示块内信息熵的成本函数,λ表示总体成本函数中信息熵成本函数的权重。
之后,通过最小化成本函数使块内对比度和信息熵最大化,从而实现图像整体去雾效果。
现有方案中,基于成本函数的图像去雾方法通过对图像直接分割,计算每一个矩形块内的最优透射率图值。矩形块内共享透射率图值,但由于矩形块内的场景深度有可能不一致。因此,这种方法有可能造成透射率图的估算误差。
综上,现有图像去雾方法的性能还有较大的提升空间,有必要进行改进。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述现有技术缺陷,提供一种基于超像素分割的图像去雾方法、系统、存储介质及电子设备。
本发明解决其技术问题所采用的技术方案是:构造一种基于超像素分割的图像去雾方法,包括:
S1、获取雾霾图像对应的全局大气光值,并通过超像素分割对所述雾霾图像进行分割,以获取所述雾霾图像对应的超像素集;
S2、基于所述超像素集通过预设成本函数获取所述雾霾图像对应的初始透射率图;
S3、对所述初始透射率图进行细化处理以获取目标透射率图;
S4、根据所述目标透射率图和所述全局大气光值获取所述雾霾图像对应的清晰图像。
优选地,所述步骤S1中,所述获取所述雾霾图像对应的全局大气光值包括:
S111、划分所述雾霾图像为四个区域;
S112、获取每个区域的像素平均值与标准差的差值,并获取最大差值所对应的区域;
S113、判定所述区域是否小于一预设值,若否,则执行步骤S114,若是,则执行步骤S115;
S114、将所述区域划分为四个区域,并执行步骤S112;
S115、获取所述区域中像素平均值以设为所述雾霾图像对应的全局大气光值;和/或
在所述步骤S1中,所述通过超像素分割对雾霾图像进行分割,以获取所述雾霾图像对应的超像素集包括:通过SLIC超像素分割对雾霾图像进行分割;和/或
在所述步骤S2中,所述基于所述超像素集通过预设成本函数获取所述雾霾图像对应的初始透射率图包括:
S21、获取所述超像素集的对比度对应的第一成本函数,以及所述超像素集的信息熵对应的第二成本函数;
S22、基于所述第一成本函数和所述第二成本函数获取所述超像素集对应的第三成本函数;
S23、基于所述第三成本函数进行迭代以获取使所述第三成本函数为最小值时对应的透射率图为所述雾霾图像对应的初始透射率图;和/或
在所述步骤S3中,所述对所述初始透射率图进行细化处理以获取目标透射率图包括:基于导向滤波对所述初始透射率图进行细化处理;和/或
在所述步骤S4中,所述根据所述透射率图和所述全局大气光值获取所述雾霾图像对应的清晰图像包括:采用以下公式获取所述雾霾图像对应的清晰图像,
其中,I(x)为雾霾图像,J(x)为清晰图像,t为所述目标透射率图,A为全局大气光值。
优选地,所述第一成本函数为对比度成本函数,所述对比度成本函数满足如下公式:
其中,x为像素点的位置,c∈{r,g,b}为像素点x的某个颜色通道,D为任一超像素集对应的超像素区域,Jc(x)为清晰图像在c通道内的像素值,Nx为所述超像素区域的像素点个数;为所述超像素区域的Jc(x)的平均值,Nx表示所述任一超像素集的像素点个数,Ic(x)表示像素点x在颜色通道c中的像素值,是雾霾图像区域块内Ic(x)的平均值;
所述第二成本函数为信息熵成本函数,所述信息熵成本函数满足如下公式:
其中,min{0,Jc(p)}、max{0,Jc(p)-255}分别表示像素点下溢和上溢的溢出值,hc(i)表示输入像素点的直方图取值,αc和βc表示发生截断的像素值;
所述第三成本函数满足以下公式:
L=LcontrastDLinfo
其中,Lcontrast表示对比度成本函数,Linfo表示信息熵成本函数,λD是协调对比度损失和信息熵损失的权重参数。
优选地,λD取值为6。
优选地,所述通过SLIC超像素分割对雾霾图像进行分割包括:
S121、对所述雾霾图像进行颜色空间转换以获取CIELab颜色空间,根据所述超像素集的预设大小值获取所述雾霾图像的初始中心点;
S122、基于所述初始中心点对所述雾霾图像的像素点按坐标和所述CIELab颜色空间进行五维类聚,以获取初始超像素集;
S123、获取所述初始超像素集像素点的梯度值,修正所述初始中心点与最小梯度值所对应,以获取修正后的初始中心点;
S124、基于所述修正后的初始中心点对所述雾霾图像的像素点按坐标和所述CIELab颜色空间进行五维类聚,以获取修正后的初始超像素集,并计数一次,判定当前及以往的计数次数是否满足预设计数值,若否,执行所述步骤S123;若是,则执行步骤S125;
S125、以所述修正后的初始超像素集为所述雾霾图像对应的超像素集。
优选地,
所述超像素集的预设大小值满足大于300个像素点小于1500个像素点;和/或
所述预设计数值为10。
优选地,所述超像素集的预设大小值为900个像素点。
本发明还构造一种基于超像素分割的图像去雾系统,包括:
第一处理单元,用于获取所述雾霾图像对应的全局大气光值;
分割单元,用于通过超像素分割对雾霾图像进行分割,以获取所述雾霾图像对应的超像素集;
第二处理单元,用于基于所述超像素集通过预设成本函数获取所述雾霾图像对应的透射率图;
第三处理单元,用于对所述初始透射率图进行细化处理以得到目标透射率图;
第四处理单元,用于根据所述目标透射率图和所述全局大气光值获取所述雾霾图像对应的清晰图像。
本发明还构造一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上面任意一项所述的基于超像素分割的图像去雾方法。
本发明还构造一种电子设备,包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序实现如上面任意一项所述的基于超像素分割的图像去雾方法。
实施本发明的一种基于超像素分割的图像去雾方法、系统、存储介质及电子设备,具有以下有益效果:真实雾霾图像与合成雾霾图像数据集上均具有良好的去雾效果。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明基于超像素分割的图像去雾方法一实施例的程序流程图;
图2是本发明基于超像素分割的图像去雾方法另一实施例的程序流程图;
图3是全局大气光值估计结果示例图;
图4是本发明基于超像素分割的图像去雾方法另一实施例的程序流程图;
图5是超像素面积对比示意图;
图6是像素点的聚类搜索区域示意图;
图7-图10是SLIC超像素分割算法迭代示意图;
图11是本发明基于超像素分割的图像去雾方法另一实施例的程序流程图;
图12是像素截断示意图;
图13是不同λD下的图像去雾效果;
图14-图15为不同去雾方法透射率图对比示意图;
图16-图17为不同去雾方法雾霾图像去雾效果对比示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
如图1所示,在本发明的基于超像素分割的图像去雾方法第一实施例中,包括:
S1、获取雾霾图像对应的全局大气光值,并通过超像素分割对雾霾图像进行分割,以获取雾霾图像对应的超像素集;S2、基于超像素集通过预设成本函数获取雾霾图像对应的初始透射率图;S3、对初始透射率图进行细化处理以获取目标透射率图;S4、根据目标透射率图和全局大气光值获取雾霾图像对应的清晰图像。
具体的,广泛应用于雾霾天气下的图像处理领域的大气散射模型描述了大气散射过程和环境光衰减的原理。其详细的技术原理单光源下的大气散射模型,该模型将到达成像设备的光线分为两部分:一部分是直接衰减光线,场景的反射光传播到成像设备的过程中,受空气中颗粒物的散射作用,发生入射光衰减,称为直接光衰减;另一部分是大气光直接作用在空气中的悬浮颗粒上,散射后被成像设备接收,并在目标图像上发生重叠,称为附加散射光线。通常这两部分光线都存在,雾霾程度越低的图像,直接衰减光线在图像中占比越高;雾霾程度越高的图像,附加散射光线在图像中占比越高。在上面的基础上,在图像去雾领域,根据有雾图像和去雾图像的关系参照下列公式。
I(x)=J(x)t(x)+A(1-t(x)) (1)
其中,I(x)为雾霾图像,A为全局大气光值,t(x)为透射率图,J(x)为清晰图像。在上面的基础上,先获取雾霾图像对应的全局大气光值,然后获取雾霾图像对应的透射率图,其雾霾图像对应的透视率获取过程,先通过像素点聚类,得到紧凑、近似的超像素集。同时定义成本函数,通过最小化成本函数得到超像素集合内的透射率图最优解即为雾霾图像的初始透射率图。成本函数的设计可基于多种图像特征,例如:对比度、信息熵、饱和度等特征。由于直接使用基于成本函数获取的透射率图会产生块效应,需要对获取的初始透射率图使透射率图获得接近雾霾图像的纹理即进行细化处理,以得到雾霾图像对应的目标透射率图。
进一步的,如图2所示,步骤S1中,获取雾霾图像对应的全局大气光值包括:
S111、划分雾霾图像为四个区域;
S112、获取每个区域的像素平均值与标准差的差值,并获取最大差值所对应的区域;
S113、判定区域是否小于一预设值,若否,则执行步骤S114,若是,则执行步骤S115;
S114、将区域划分为四个区域,并执行步骤S112;
S115、获取区域中像素平均值以设为雾霾图像对应的全局大气光值;
具体的,传统的全局大气光值估计方法是:取图片亮度最大的少量像素点,将这些像素点各通道的平均值作为全局大气光值。但是,图片中若出现车灯、路灯等人造光源,全局大气光值就可能估计错误。为提高全局大气光值的估算精度,本文采用基于对比度和亮度的四叉树估算方法。其具体过程为,将雾霾图像均匀划分为四个区域。之后,并将每个区域像素的平均值减去标准差,保证其值最大的区域平均亮度最大且对比度最小。最后,循环此过程,直至区域内像素点小于预设值。此时,该区域各通道的平均亮度就是全局大气光估计值。图3展示了全局大气光估计结果的示例图。通过选取平均亮度减去对比度值最大的区域块,最终选定白色高亮区域中各通道亮度的最大值作为此幅雾霾图像的全局大气光值。
可选的,在步骤S1中,通过超像素分割对雾霾图像进行分割,以获取雾霾图像对应的超像素集包括:通过SLIC超像素分割对雾霾图像进行分割;具体的,SLIC超像素分割是一种思想简单,易于实现的图像分割算法。该算法执行速度快,能较完整地保持物体轮廓,生成的超像素块分布均匀、结构紧凑、特征近似,且易于与基于像素的方法相互转换。其他的实施例中,采用其它图像分割算法也可产生类似的分割效果。
进一步的,如图4所示,通过SLIC超像素分割对雾霾图像进行分割包括:
S121、对雾霾图像进行颜色空间转换以获取CIELab颜色空间,根据超像素集的预设大小值获取雾霾图像的初始中心点;具体的,虽然图像在RGB空间或CIELab空间都可直接进行SLIC超像素分割。但是图像在CIELab空间的分割效果比在其它颜色空间更好,分割后的超像素块更细致。中心点个数与超像素集平均大小有关。计算中心点的方法是:将图像的总像素数除以超像素集大小,并取整。超像素集初始大小需要预定义。初始中心点定义为种子点,中心点的个数与超像素集的数量相同,并在迭代中保持恒定。SLIC超像素分割会按预定义的超像素集大小在图像内均匀分配种子点。超像素集预设大小不宜过大,保证超像素集合内场景深度一致即可。超像素分割过程中,可自行定义超像素集平均大小,即超像素内像素点的平均个数。选取原则是:使超像素集内的场景深度保持一致。图5展示了平均超像素集大小对分割结果的影响。其中(a)为原始雾霾图像,(b)为超像素集大小为1500,(c)为超像素集大小为900,(d)为超像素集大小为300。当超像素集大小为1500像素点时,由于取值过大,部分区域内景深一致性已无法保证。当集合大小设为900时,基本可以保证超像素集合内景深一致。而当参数取为300时,超像素集合总数过多,会增加计算量。本实施例中,超像素集大小设为900。
S122、基于初始中心点对雾霾图像的像素点按坐标和CIELab颜色空间进行五维类聚,以获取初始超像素集;具体的,SLIC超像素分割是聚类算法,规定图片每一像素点的(x,y)坐标值和(L,a,b)颜色值构成一个五维向量[x,y,L,a,b],两个像素点的相似性由它们之间的向量距离度量。如图6所示的像素点的聚类搜索区域,每个像素点的搜索范围为2S×2S的领域,其中S为初始种子点之间的距离。这种局部聚类策略可以加速收敛,并保持区域块的连通性。
S123、获取初始超像素集像素点的梯度值,修正初始中心点与最小梯度值所对应,以获取修正后的初始中心点;具体的,计算每个超像素集合内所有像素点的梯度值,将中心点移到该邻域内梯度最小处。这样做可以避免中心点落在梯度较大的边界上,影响后续聚类效果。
S124、基于修正后的初始中心点对雾霾图像的像素点按坐标和CIELab颜色空间进行五维类聚,以获取修正后的初始超像素集,并计数一次,判定当前及以往的计数次数是否满足预设计数值,若否,执行步骤S123;若是,则执行步骤S125;
S125、以修正后的初始超像素集为雾霾图像对应的超像素集。具体的,新的中心点位置确认后,基于修正后的初始中心点对雾霾图像的像素点按坐标和CIELab颜色空间进行五维类聚,以获取修正后的初始超像素集进行迭代。当迭代超过一定次数即预设计数值,图像超像素分割结果将不再变化。SLIC超像素分割方法迭代10次以后,分割结果通常开始变得稳定。图7至图10为分别迭代4次,6次、8次和10次的分割结果,由图7和图8可知,6次迭代后,图片中的电视塔区域对应图中方框标识区域被切割出来;图9和图10可知,8次迭代与10次迭代的分割结果变化不大。
本实施例中,SLIC超像素分割迭代次数上限设为10次。
可选的,如图11所示,在步骤S2中,基于超像素集通过预设成本函数获取雾霾图像对应的初始透射率图包括:
S21、获取超像素集的对比度对应的第一成本函数,以及超像素集的信息熵对应的第二成本函数;
S22、基于第一成本函数和第二成本函数获取超像素集对应的第三成本函数;
S23、基于第三成本函数进行迭代以获取使第三成本函数为最小值对应的透射率图为雾霾图像对应的初始透射率图;
具体的,完成超像素分割图像后,需要估计超像素集合内的透射率图。在透射率图的计算过程中,成本函数的设计可基于多种图像特征,如:对比度、信息熵、饱和度等特征。本实施例中选取对比度和信息熵。为提高去雾图像的信息熵和对比度,本实施例中,同时通过第三成本函数均衡超像素集合内的信息损失和对比度损失。
进一步的,第一成本函数为对比度成本函数,对比度成本函数满足如下公式:
其中,x为像素点的位置,c∈{r,g,b}为像素点x的某个颜色通道,D为任一超像素集对应的超像素区域,Jc(x)为清晰图像在c通道内的像素值,Nx为超像素区域的像素点个数;为超像素区域的Jc(x)的平均值,Nx表示任一超像素集的像素点个数,Ic(x)表示像素点x在颜色通道c中的像素值,是雾霾图像区域块内Ic(x)的平均值;
第二成本函数为信息熵成本函数,信息熵成本函数满足如下公式:
其中,min{0,Jc(p)}、max{0,Jc(p)-255}分别表示像素点下溢和上溢的溢出值,hc(i)表示输入像素点的直方图取值,αc和βc表示发生截断的像素值;
第三成本函数满足以下公式:
L=LcontrastDLinfo (4)
其中,Lcontrast表示对比度成本函数,Linfo表示信息熵成本函数,λD是协调对比度损失和信息熵损失的权重参数。
具体的,图像分割后,超像素集合内场景深度相同,透射率图也相同。对公式(1)进行变形,得到超像素集对应的清晰图像的公式为:
其中,A为全局大气光值,I(x)为雾霾图像,t为目标透射率图。
在本实施例中,可采用均方差对比度CMSE评估待复原图像区域块内的对比度。公式如下:
其中,c∈{r,g,b},表示像素点x的某个颜色通道。Jc(x)表示清晰图像的像素点x在颜色通道c的块内像素值。是块内Jc(x)的平均值,N表示块内的像素点个数,将公式(5)代入(6),得到:
其中,Ic(x)表示像素点x在颜色通道c中的像素值,是雾霾图像区域块内Ic(x)的平均值。
从公式(7)中可以看出,对比度CMSE是关于透射率t的递减函数,即透射率t越小,对比度越高。因此,可定义对比度损失函数Lcontrast如公式(2),可见,对比度成本函数Lcontrast越小,图像对比度越大。因此,可通过最小化对比度成本函数来最大化超像素集合内的对比度。
同时,在确定全局大气光值A和超像素内透射率t后,根据公式(5)可得到输入像素值Ic(x)与输出像素值Jc(x)的映射。如图12所示,输入像素值在[α,β]范围内,即可保证输出值映射区间为[0,255]。输入像素值的有效范围[α,β]由透射率图t决定。当超像素集合所有像素值属于[α,β]时,输出像素值分布于[0,255],图像对比度较高;若超像素集合内像素值不属于[α,β],则输出像素值超出灰度值有效区域[0,255]。这种情况下,超出合法区域的输出像素值被截断,出现信息丢失(如图12中黑色区域所示),并导致图像信息熵下降。经分析可知:透射率图t越大,黑色区域面积越小,[α,β]区间长度越大。即:透射率图t越大,待复原图像中被截断的像素就越少,信息丢失越少,信息熵越高。因此:可定义信息熵成本函数Linfo如公式(3),通过最小化信息熵成本函数Linfo,可使超像素集合内信息熵损失最小。
在获取了对比度成本函数和信息熵成本函数,设置与对比度成本函数和信息熵成本函数相关的改进成本函数,来提高图像对比度和降低信息损失。其具体满足公式(4),λD取较大值可以减小信息熵损失,当λD取无穷大时不发生信息熵损失,此时:
其中,Ac表示通道c中的全局大气光值,D表示超像素区域,Ic(x)表示像素点x在颜色通道c中的像素值。
将公式(8)和(9)合并:
通过公式(10)中可看出,透射率图t越小,对比度损失函数Lcontrast越小,即对比度越高。所以,在信息熵损失可接受的条件下,透射率图的取值应为:
综上,公式(10)的约束条件与暗通道先验中的约束条件相同,公式(11)约束了像素点去雾后可能出现的灰度值上溢,可看做对暗通道先验方法的补充。本文将改进后的算法命名为超像素成本函数算法,实验结果表明,该方法可更有效地估算透射率图t。同时,通过调节参数λD的取值,可在增加对比度和减少信息熵损失之间取得较好的平衡。
公式(4)提出的权重参数λD,其意义在于,权衡提高对比度与减少信息熵的重要性。根据图13的λD不同取值的去雾效果,其中(a)为原始雾霾图像,(b)为λD=3的去雾效果,(c)为λD=6的去雾效果,(d)为λD=10的去雾效果,可得到:当λD=3时,去雾后图像的对比度有所提高,但由于产生较多信息截断,图片中过暗和过亮的像素点较多。当λD=10时,信息丢失产生的不自然像素有所减少,但对比度过低,不能完全去雾。当λD=6时,在提高图像对比度和抑制信息损失之间取得平衡。因此,超像素成本函数图像去雾算法中λD设置为6。
可选的,在步骤S3中,对初始透射率图进行细化处理以获取目标透射率图包括:基于导向滤波对初始透射率图进行细化处理;具体的,基于大气散射模型的去雾方法中,许多方法,如:暗通道先验方法、颜色衰减先验方法等,得到的透射率图细化程度不够。常用的透射率图细化的方法有软抠图方法、导向滤波法等。本文中,成本函数去雾方法得到的原始透射率图也需要进行细化处理,如直接使用会产生块效应。鉴于导向滤波方法细化效果好、速度高,本实例中使用导向滤波来细化透射率图。其具体过程为是指以导向图像对输入图像进行滤波处理,使输入图像在保留原本特征的同时,获得导向图像的纹理。若输出图像为t,导向图像I(x)与输出图像关系如下:
其中,I(x)表示导向图像,Wxy(I(x))表示由导向图像确定的加权平均运算所采用的权值,t(x)为输入图像,β为偏移量。导向滤波的导向图像可以是输入图像本身。当输入图像作为导向图像时,导向滤波的作用退化为边缘保持滤波器。在这里输入图像为雾霾图像的初始透射率图,其输出图像为雾霾图像的目标透射率图图。成本函数去雾方法与SLIC超像素成本函数去雾方法都采用导向滤波细化透射率图。不同去雾方法的透射率图,具有不同的边缘保持效果。较好的去雾方法,其透射率图的纹理与原始图像更接近。图14和图15展示了传统的成本函数图像去雾方法与超像素成本函数图像去雾方法的透射率图对比。其中(a)为雾霾图像,(b)成本函数,(c)成本函数细化,(d)为超像素方法,(e)为超像素方法细化,(f)为成本函数细节,(g)为超像素细节。(e)为超像素方法经导向滤波细化后的去雾效果图。
对比图14中(b)和图14(c),并将其细节放大至图15中(f)和图15(g)可见,方框内第一行树叶边缘处、第二行山坡处和第三行草垛处,SLIC超像素成本函数的透射率图比传统成本函数去雾方法的的透射率图所提取的纹理更细致、且提取纹理更接近雾霾图像。
可选的,在步骤S4中,根据透射率图和全局大气光值获取雾霾图像对应的清晰图像包括:采用以下公式获取雾霾图像对应的清晰图像,
其中,A为全局大气光值,I(x)为雾霾图像,t为目标透射率。
如图16和图17,其中,(a)为雾霾图像,(b)为直方图均衡方法的去雾图像,(c)为Retinex方法的去雾图像,可以看出这两种方法都存在部分失真,且图像色彩不协调。(d)为暗通道先验去雾方法的去雾图像,其中天空部分,存在过增强。(e)为成本函数的去雾图像,(f)与超像素成本函数算法的去雾图像,这两者均较为自然,但其超像素成本函数去雾算法的图像亮度相比成本函数更高。
为客观比较去雾效果,典型的客观图像质量评价算法,对比不同去雾方法的效果。包括:结构相似度、峰值信噪比、灰度方差、Laplacian梯度和熵函数五种方法。表1和表2分别展示了不同去雾算法在HID2018雾霾图像数据库和NYU合成雾霾图像数据库上的图像质量客观评价结果。其中超像素成本函数对应本发明的基于超像素的图像去雾方法。其中表1为不同去雾算法在HID2018数据集上的图像质量客观评价结果对比,表2为不同去雾算法在NYU合成雾霾图像数据集上的图像质量客观评价结果对比。
表1
表2
图像质量评价算法中,结构相似度与峰值信噪比属于全参考型图像质量评价方法,需要无雾图像作对比。因此,选择NYU合成雾霾图像数据库进行测试。该数据库中有原始清晰图像和合成的雾霾图像。而灰度方差(SMD)、Laplacian梯度函数和熵函数属于无参考型图像质量评价方法,可使用HID2018数据库中的真实雾霾图像直接测试。从表1中可看出,HID2018数据集上,采用SMD和Laplacian梯度函数指标时,本发明的基于超像素的图像去雾方法性能稍低于成本函数去雾方法;而采用Entropy评价指标时,本发明的基于超像素的图像去雾方法性能优于其它方法。在NYU数据集上,本发明的基于超像素的图像去雾方法性能最优。综上,本发明的基于超像素的图像去雾方法在真实雾霾图像与合成雾霾图像数据集上均具有良好的去雾效果。
另,本发明的基于超像素分割的图像去雾系统,包括:
第一处理单元,用于获取雾霾图像对应的全局大气光值;
分割单元,用于通过超像素分割对雾霾图像进行分割,以获取雾霾图像对应的超像素集;
第二处理单元,用于基于超像素集通过预设成本函数获取雾霾图像对应的透射率图;
第三处理单元,用于对初始透射率图进行细化处理以得到目标透射率图;
第四处理单元,用于根据目标透射率图和全局大气光值获取雾霾图像对应的清晰图像。
具体的,这里的基于超像素分割的图像去雾系统各单元之间具体的配合操作过程具体可以参照上述基于超像素分割的图像去雾方法,这里不再赘述。
另,本发明的一种电子设备,包括存储器和处理器;存储器用于存储计算机程序;处理器用于执行计算机程序实现如上面任意的基于超像素分割的图像去雾方法。具体的,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过电子设备下载和安装并且执行时,执行本发明实施例的方法中限定的上述功能。本发明中的电子设备可为笔记本、台式机、平板电脑、智能手机等终端,也可为服务器。
另,本发明的一种计算机存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上面任意一项的基于超像素分割的图像去雾方法。具体的,需要说明的是,本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
可以理解的,以上实施例仅表达了本发明的优选实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制;应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,可以对上述技术特点进行自由组合,还可以做出若干变形和改进,这些都属于本发明的保护范围;因此,凡跟本发明权利要求范围所做的等同变换与修饰,均应属于本发明权利要求的涵盖范围。

Claims (10)

1.一种基于超像素分割的图像去雾方法,其特征在于,包括:
S1、获取雾霾图像对应的全局大气光值,并通过超像素分割对所述雾霾图像进行分割,以获取所述雾霾图像对应的超像素集;
S2、基于所述超像素集通过预设成本函数获取所述雾霾图像对应的初始透射率图;
S3、对所述初始透射率图进行细化处理以获取目标透射率图;
S4、根据所述目标透射率图和所述全局大气光值获取所述雾霾图像对应的清晰图像。
2.根据权利要求1所述的基于超像素分割的图像去雾方法,其特征在于,
所述步骤S1中,所述获取所述雾霾图像对应的全局大气光值包括:
S111、划分所述雾霾图像为四个区域;
S112、获取每个区域的像素平均值与标准差的差值,并获取最大差值所对应的区域;
S113、判定所述区域是否小于一预设值,若否,则执行步骤S114,若是,则执行步骤S115;
S114、将所述区域划分为四个区域,并执行步骤S112;
S115、获取所述区域中像素平均值以设为所述雾霾图像对应的全局大气光值;和/或
在所述步骤S1中,所述通过超像素分割对雾霾图像进行分割,以获取所述雾霾图像对应的超像素集包括:通过SLIC超像素分割对雾霾图像进行分割;和/或
在所述步骤S2中,所述基于所述超像素集通过预设成本函数获取所述雾霾图像对应的初始透射率图包括:
S21、获取所述超像素集的对比度对应的第一成本函数,以及所述超像素集的信息熵对应的第二成本函数;
S22、基于所述第一成本函数和所述第二成本函数获取所述超像素集对应的第三成本函数;
S23、基于所述第三成本函数进行迭代以获取使所述第三成本函数为最小值时对应的透射率图为所述雾霾图像对应的初始透射率图;和/或
在所述步骤S3中,所述对所述初始透射率图进行细化处理以获取目标透射率图包括:基于导向滤波对所述初始透射率图进行细化处理;和/或
在所述步骤S4中,所述根据所述目标透射率图和所述全局大气光值获取所述雾霾图像对应的清晰图像包括:采用以下公式获取所述雾霾图像对应的清晰图像,
其中,I(x)为雾霾图像,J(x)为清晰图像,t为所述目标透射率图,A为全局大气光值。
3.根据权利要求2所述的基于超像素分割的图像去雾方法,其特征在于,所述第一成本函数为对比度成本函数,所述对比度成本函数满足如下公式:
其中,x为像素点的位置,c∈{r,g,b}为像素点x的某个颜色通道,D为任一超像素集对应的超像素区域,Jc(x)为清晰图像在c通道内的像素值,Nx为所述超像素区域的像素点个数;为所述超像素区域的Jc(x)的平均值,Nx表示所述任一超像素集的像素点个数,Ic(x)表示像素点x在颜色通道c中的像素值,是雾霾图像区域块内Ic(x)的平均值;
所述第二成本函数为信息熵成本函数,所述信息熵成本函数满足如下公式:
其中,min{0,Jc(p)}、max{0,Jc(p)-255}分别表示像素点下溢和上溢的溢出值,hc(i)表示输入像素点的直方图取值,αc和βc表示发生截断的像素值;
所述第三成本函数满足以下公式:
L=LcontrastDLinfo
其中,Lcontrast表示对比度成本函数,Linfo表示信息熵成本函数,λD是协调对比度损失和信息熵损失的权重参数。
4.根据权利要求3所述的基于超像素分割的图像去雾方法,其特征在于,λD取值为6。
5.根据权利要求2所述的基于超像素分割的图像去雾方法,其特征在于,所述通过SLIC超像素分割对雾霾图像进行分割包括:
S121、对所述雾霾图像进行颜色空间转换以获取CIELab颜色空间,根据所述超像素集的预设大小值获取所述雾霾图像的初始中心点;
S122、基于所述初始中心点对所述雾霾图像的像素点按坐标和所述CIELab颜色空间进行五维类聚,以获取初始超像素集;
S123、获取所述初始超像素集像素点的梯度值,修正所述初始中心点与最小梯度值所对应,以获取修正后的初始中心点;
S124、基于所述修正后的初始中心点对所述雾霾图像的像素点按坐标和所述CIELab颜色空间进行五维类聚,以获取修正后的初始超像素集,并计数一次,判定当前及以往的计数次数是否满足预设计数值,若否,执行所述步骤S123;若是,则执行步骤S125;
S125、以所述修正后的初始超像素集为所述雾霾图像对应的超像素集。
6.根据权利要求5所述的基于超像素分割的图像去雾方法,其特征在于,
所述超像素集的预设大小值满足大于300个像素点和小于1500个像素点;
所述预设计数值为10。
7.根据权利要求6所述的基于超像素分割的图像去雾方法,其特征在于,所述超像素集的预设大小值为900个像素点。
8.一种基于超像素分割的图像去雾系统,其特征在于,包括:
第一处理单元,用于获取所述雾霾图像对应的全局大气光值;
分割单元,用于通过超像素分割对雾霾图像进行分割,以获取所述雾霾图像对应的超像素集;
第二处理单元,用于基于所述超像素集通过预设成本函数获取所述雾霾图像对应的透射率图;
第三处理单元,用于对所述初始透射率图进行细化处理以得到目标透射率图;
第四处理单元,用于根据所述目标透射率图和所述全局大气光值获取所述雾霾图像对应的清晰图像。
9.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于超像素分割的图像去雾方法。
10.一种电子设备,其特征在于,包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序实现如权利要求1至7中任意一项所述的基于超像素分割的图像去雾方法。
CN201910596465.0A 2019-07-03 2019-07-03 基于超像素分割的图像去雾方法、系统、存储介质及电子设备 Pending CN110428371A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910596465.0A CN110428371A (zh) 2019-07-03 2019-07-03 基于超像素分割的图像去雾方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910596465.0A CN110428371A (zh) 2019-07-03 2019-07-03 基于超像素分割的图像去雾方法、系统、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN110428371A true CN110428371A (zh) 2019-11-08

Family

ID=68410212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910596465.0A Pending CN110428371A (zh) 2019-07-03 2019-07-03 基于超像素分割的图像去雾方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110428371A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930326A (zh) * 2019-11-15 2020-03-27 浙江大华技术股份有限公司 图像、视频去雾方法以及相关装置
CN111583279A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于pcba的超像素图像分割方法
CN111899198A (zh) * 2020-08-06 2020-11-06 北京科技大学 一种海上图像去雾方法及装置
CN112215772A (zh) * 2020-10-12 2021-01-12 华南师范大学 一种实时去雾霾显示系统及其去雾霾显示方法
CN112825189A (zh) * 2019-11-21 2021-05-21 武汉Tcl集团工业研究院有限公司 一种图像去雾方法及相关设备
CN112907461A (zh) * 2021-01-26 2021-06-04 中国科学院上海技术物理研究所 一种红外雾天降质图像去雾增强方法
CN112949389A (zh) * 2021-01-28 2021-06-11 西北工业大学 一种基于改进目标检测网络的雾霾图像目标检测方法
CN113129219A (zh) * 2019-12-30 2021-07-16 比亚迪股份有限公司 图像处理方法、装置及设备
CN113610730A (zh) * 2021-08-06 2021-11-05 上海大学 一种卫星影像非均匀薄云去除方法及系统
CN116188331A (zh) * 2023-04-28 2023-05-30 淄博市淄川区市政环卫服务中心 一种建设工程施工状态变化监测方法及系统
CN116703787A (zh) * 2023-08-09 2023-09-05 中铁建工集团第二建设有限公司 一种建筑施工安全风险预警方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331866A (zh) * 2014-10-29 2015-02-04 中国科学院深圳先进技术研究院 一种图像去雾的处理方法及装置
CN104794688A (zh) * 2015-03-12 2015-07-22 北京航空航天大学 基于深度信息分离天空区域的单幅图像去雾方法及装置
CN106157267A (zh) * 2016-07-12 2016-11-23 中国科学技术大学 一种基于暗通道先验的图像去雾透射率优化方法
CN108022225A (zh) * 2017-12-26 2018-05-11 哈尔滨理工大学 基于快速导向滤波改进的暗通道先验图像去雾算法
CN109325920A (zh) * 2018-08-06 2019-02-12 深圳大学 雾霾图像清晰化方法、系统及可存储介质
CN109934779A (zh) * 2019-01-30 2019-06-25 南京邮电大学 一种基于导向滤波优化的去雾方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331866A (zh) * 2014-10-29 2015-02-04 中国科学院深圳先进技术研究院 一种图像去雾的处理方法及装置
CN104794688A (zh) * 2015-03-12 2015-07-22 北京航空航天大学 基于深度信息分离天空区域的单幅图像去雾方法及装置
CN106157267A (zh) * 2016-07-12 2016-11-23 中国科学技术大学 一种基于暗通道先验的图像去雾透射率优化方法
CN108022225A (zh) * 2017-12-26 2018-05-11 哈尔滨理工大学 基于快速导向滤波改进的暗通道先验图像去雾算法
CN109325920A (zh) * 2018-08-06 2019-02-12 深圳大学 雾霾图像清晰化方法、系统及可存储介质
CN109934779A (zh) * 2019-01-30 2019-06-25 南京邮电大学 一种基于导向滤波优化的去雾方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘博文: "基于SLIC超像素分割的暗通道去雾方法优化", 《数码世界》 *
刘婷等: "基于成本函数的对比度优化去雾霾算法", 《计算机工程与设计》 *
黄祚继等著: "《多源遥感数据目标地物的分类与优化》", 31 May 2017, 中国科学技术大学出版社 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930326A (zh) * 2019-11-15 2020-03-27 浙江大华技术股份有限公司 图像、视频去雾方法以及相关装置
CN112825189B (zh) * 2019-11-21 2024-03-12 武汉Tcl集团工业研究院有限公司 一种图像去雾方法及相关设备
CN112825189A (zh) * 2019-11-21 2021-05-21 武汉Tcl集团工业研究院有限公司 一种图像去雾方法及相关设备
CN113129219A (zh) * 2019-12-30 2021-07-16 比亚迪股份有限公司 图像处理方法、装置及设备
CN111583279A (zh) * 2020-05-12 2020-08-25 重庆理工大学 一种基于pcba的超像素图像分割方法
CN111899198A (zh) * 2020-08-06 2020-11-06 北京科技大学 一种海上图像去雾方法及装置
CN112215772A (zh) * 2020-10-12 2021-01-12 华南师范大学 一种实时去雾霾显示系统及其去雾霾显示方法
CN112907461A (zh) * 2021-01-26 2021-06-04 中国科学院上海技术物理研究所 一种红外雾天降质图像去雾增强方法
CN112949389A (zh) * 2021-01-28 2021-06-11 西北工业大学 一种基于改进目标检测网络的雾霾图像目标检测方法
CN113610730B (zh) * 2021-08-06 2023-08-29 上海大学 一种卫星影像非均匀薄云去除方法及系统
CN113610730A (zh) * 2021-08-06 2021-11-05 上海大学 一种卫星影像非均匀薄云去除方法及系统
CN116188331A (zh) * 2023-04-28 2023-05-30 淄博市淄川区市政环卫服务中心 一种建设工程施工状态变化监测方法及系统
CN116703787A (zh) * 2023-08-09 2023-09-05 中铁建工集团第二建设有限公司 一种建筑施工安全风险预警方法及系统
CN116703787B (zh) * 2023-08-09 2023-10-31 中铁建工集团第二建设有限公司 一种建筑施工安全风险预警方法及系统

Similar Documents

Publication Publication Date Title
CN110428371A (zh) 基于超像素分割的图像去雾方法、系统、存储介质及电子设备
CN108876743B (zh) 一种图像快速去雾方法、系统、终端及存储介质
Berman et al. Non-local image dehazing
Emberton et al. Hierarchical rank-based veiling light estimation for underwater dehazing.
CN104899845B (zh) 一种基于lαβ空间场景迁移的多曝光图像融合方法
CN106296695B (zh) 基于显著性的自适应阈值自然目标图像分割抽取算法
Tripathi et al. Single image fog removal using bilateral filter
CN110689587B (zh) 一种基于颜色校正和细节增强的水下图像增强方法
CN108765336B (zh) 基于暗亮原色先验与自适应参数优化的图像去雾方法
Peng et al. Image haze removal using airlight white correction, local light filter, and aerial perspective prior
CN103778900B (zh) 一种图像处理方法及系统
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
CN105447825B (zh) 图像去雾方法及其系统
CN105959510B (zh) 一种视频快速去雾方法
Wang et al. Variational single nighttime image haze removal with a gray haze-line prior
US8249342B1 (en) Color analytics for a digital image
CN105989583B (zh) 一种图像去雾方法
Li et al. An adaptive enhancement method for low illumination color images
Zhou et al. A multifeature fusion method for the color distortion and low contrast of underwater images
CN111476744A (zh) 一种基于分类及大气成像模型的水下图像增强方法
CN109348207B (zh) 色温调节方法、图像处理方法及装置、介质和电子设备
CN108550124B (zh) 一种基于仿生螺线的光照补偿及图像增强方法
CN108765337B (zh) 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法
CN114187515A (zh) 图像分割方法和图像分割装置
CN112907461A (zh) 一种红外雾天降质图像去雾增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191108