CN105654440B - 基于回归模型的快速单幅图像去雾算法及系统 - Google Patents

基于回归模型的快速单幅图像去雾算法及系统 Download PDF

Info

Publication number
CN105654440B
CN105654440B CN201511021549.XA CN201511021549A CN105654440B CN 105654440 B CN105654440 B CN 105654440B CN 201511021549 A CN201511021549 A CN 201511021549A CN 105654440 B CN105654440 B CN 105654440B
Authority
CN
China
Prior art keywords
image
sample
regression model
filtering
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511021549.XA
Other languages
English (en)
Other versions
CN105654440A (zh
Inventor
尚媛园
栾中
周修庄
丁辉
付小雁
邵珠宏
赵晓旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN201511021549.XA priority Critical patent/CN105654440B/zh
Publication of CN105654440A publication Critical patent/CN105654440A/zh
Application granted granted Critical
Publication of CN105654440B publication Critical patent/CN105654440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于回归模型的快速单幅图像去雾算法及系统,算法包括回归模型的训练过程和雾霾图像的处理过程,训练过程包括:生成无雾图像块作为样本;利用大气模型为样本加雾;提取样本的样本特征值;根据样本特征值使用SVM学习回归模型;处理过程包括:输入雾霾图像,将雾霾图像分割为多个均匀块,并提取雾霾图像的最大通道图像;对均匀块进行图像块特征值提取,以根据SVM学习回归模型估计传输参数,并使用引导滤波优化传输图;对提取到的最大通道图像分别进行最大值滤波以及中值滤波,引导滤波优化大气光;根据滤波优化传输图以及优化大气光进行反变换以得到清晰图像。该算法能够快速,准确的对图像进行去雾处理,有效提高图像处理质量。

Description

基于回归模型的快速单幅图像去雾算法及系统
技术领域
本发明属于图像处理技术领域,尤其涉及一种基于回归模型的快速单幅图像去雾算法及系统。
背景技术
雾霾图像多拍摄于恶劣天气下的户外场景,由于空气中悬浮颗粒的存在,光源和场景反射光在进入成像设备前发生散射,导致图像偏亮,图像对比度,饱和度等指标下降,信噪比增加。图像的这种变化对人来说会使信息难以辨认,或失去观赏性。对于后续的图像处理及计算机视觉算法来说,增加了算法失效的可能性。因此图像去雾具有很强的实际需求及发展空间。
早期的图像去雾算法通常需要除图像以外的其它信息,如图片景深信息,3D地理模型等,同一场景下不同偏振的图片以及不同天气下的图片,相对于单幅图像去雾,这些算法在有准确的辅助信息的情况下效果非常好,但是在实际的应用中,获取这些辅助信息的难度和成本远大于获取图像本身,因此这类算法的实际应用范围受到了限制。
单幅图像去雾是一个不适定问题,图像的恢复主要依靠某些先验或假设,Tan等直接采用对比度最大化的方法,但是该方法处理后容易产生halo效应和对比度过度增强的效应。Fattal基于大气传输函数和表面阴影局部统计不相关的假设,利用独立成分分析来恢复图像。该算法有一定的去雾效果,但浓雾区域处理效果并不理想。Kim等根据雾霾图像对比度偏低的特点,利用图像对比度和信息损失共同构建代价函数估计传输参数,该算法在不损失图像细节的前提下最大化图像对比度,去雾效果较明显,但有些图像仍然会出现增强过度的现象。
近年来,Kratz等提出了针对图像的马尔科夫随机场模型,认为场景反照率和景深是统计不相关的独立层,使用期望最大化算法对图像进行因式分解。但该算法常导致色彩过度饱和,甚至因此而丢失图像细节。He等提出了暗通道去雾算法,提出了无雾图像局部暗通道最小值接近0的先验,该算法去雾效果良好,理论简单,应用范围非常广泛。但有相当一部分图像并不符合暗通道统计规律,且软抠图时间复杂度非常高。针对以上问题有不少改进算法。Tarel和Hautiere使用中值滤波替换了抠图操作以提升运算性能;Gibson等使用标准中值滤波以避免去雾过程中出现晕轮效果;Yu等使用联合双边滤波来实现快速去雾处理;Tarel 等对路面图像施加平面约束以提高传播图估算的精确程度。
Yuk等提出了在视频图像中区分前景和背景的去雾算法。采用前景递减前承条件共轭梯度函数减轻传输参数估算过程中前景的干扰。该算法在视频图像中去雾效果较好,但由于利用了帧间信息,从本质上说,也相当于采用了多幅图像。Meng等提出了基于边界约束和上下文正则化的图像去雾算法,该算法提出了一种新的传输参数约束形式,总体效果要优于He算法,边缘细节部分处理的也比较好。但在天空和路面等图像区域上仍有过度增强的现象。Tang等提出了基于学习模型的去雾算法,该算法采集了高对比度图像块作为训练样本,提取了包括暗通道特征在内的多个雾霾图像相关特征,然后利用随机森林得到回归模型,算法效果很好,但需要对每个像素点取多个尺度的各特征,时间复杂度非常高,不适合需要快速处理的场合。而且其需要针对不同的去雾问题采用不同的训练集,降低了算法的实用性。
然而,当前主流去雾算法中,存在去雾力度把握不准,计算速度慢无法实时运行,并且对于浓雾图像进行去雾效果更不尽人意。
发明内容
本发明的目的旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种基于回归模型的快速单幅图像去雾算法。通过该算法能够快速、准确地对图像进行去雾处理,有效提高图像处理的图像质量。
本发明的第二个目的在于提出一种基于回归模型的快速单幅图像去雾系统。
为达到上述目的,本发明第一方面的实施例公开了一种基于回归模型的快速单幅图像去雾算法,包括回归模型的训练过程和雾霾图像的处理过程,其中,所述训练过程包括:生成无雾图像块作为样本;利用大气模型为样本加雾;提取所述样本的样本特征值;根据所述样本特征值使用SVM(Support Vector Machine,支持向量机)学习回归模型;所述处理过程包括:输入雾霾图像,将所述雾霾图像分割为多个均匀块,并提取所述雾霾图像的最大通道图像;对所述均匀块进行图像块特征值提取,以根据所述SVM学习回归模型估计传输参数,并使用引导滤波优化传输图;对提取到的所述最大通道图像分别进行最大值滤波以及中值滤波,引导滤波优化大气光;根据所述滤波优化传输图以及所述优化大气光进行反变换以得到清晰图像。
根据本发明实施例的基于回归模型的快速单幅图像去雾算法,利用计算机制作大量的高饱和和无雾图像,通过大气物理模型对无雾图像块进行不同程度的加雾处理形成样本库,再根据样本库进行提取并分析与图像传输参数的特征,其中,提取的样本特征通过样本特征值进行表示,利用SVM学习回归算法来建立图像去雾的准确回归模型,经过传输图与大气 光进行反变换得到清晰的图像。该算法能够快速、准确的对图像进行去雾处理,有效提高图像处理的图像质量。另外,根据本发明上述实施例的基于回归模型的快速单幅图像去雾算法还可以具有如下附加的技术特征:
在本发明的一个实施例中,在提取所述样本特征值之前还包括:利用计算机生成无雾的样本图像块,利用大气模型为每个图像块按照不同传输参数加雾;将所述多个图像块按照传输参数的大小进行排序;从排序后的多个图像块中提取所述样本特征值。
在本发明的一个实施例中,其中,所述样本特征值包括:均方差、能见度、对比度、平均值、最小通道均值、直方图均衡度和饱和度中的部分或全部。
进一步地,在本发明的一个实施例中,在根据所述样本特征值使用SVM学习回归模型之前,还包括:将提取出的所述样本特征值进行拼接,得到高维向量;将所述高维向量与样本标签输入到SVM学习回归算法中,生成所述SVM学习回归模型。
在本发明的一个实施例中,所述根据所述滤波优化传输图以及所述优化大气光进行反变换以得到清晰图像,还包括:根据所述SVM学习回归模型估计得到的滤波优化传输图,利用gamma变换优化SVM学习回归模型的传输参数;将调整后的滤波优化图和优化大气光进行反变换以得到所述清晰图像。
本发明第二方面的实施例公开了一种基于回归模型的快速单幅图像去雾系统,包括:训练模块,用于生成无雾图像块作为样本;利用大气模型为样本加雾;提取所述样本的样本特征值;根据所述样本特征值使用SVM学习回归模型;处理模块,用于输入雾霾图像,将所述雾霾图像分割为多个均匀块,并提取所述雾霾图像的最大通道图像;对所述均匀块进行图像块特征值提取,以根据所述SVM学习回归模型估计传输参数,并使用引导滤波优化传输图;对提取到的所述最大通道图像分别进行最大值滤波以及中值滤波,引导滤波优化大气光;以及根据所述滤波优化传输图以及所述优化大气光进行反变换以得到清晰图像。
根据本发明实施例的基于回归模型的快速单幅图像去雾系统,利用计算机制作大量的高饱和和无雾图像块,通过大气物理模型对无雾图像进行不同程度的加雾处理形成样本库,再根据样本库进行提取并分析与图像传输参数有关的特征,其中,提取的样本特征通过样本特征值进行表示,利用SVM学习回归算法来建立图像去雾的准确回归模型,经过传输图与大气光进行反变换得到清晰的图像。该系统能够快速、准确的对图像进行去雾处理,有效提高图像处理的图像质量。
另外,根据本发明上述实施例的基于回归模型的快速单幅图像去雾系统还可以具有如下附加的技术特征:
在本发明的一个实施例中,所述训练模块还用于:利用计算机生成无雾的样本图像块, 利用大气模型为每个图像块按照不同的传输参数加雾;将所述多个图像块按照传输参数的大小进行排序;从排序后的多个图像块中提取所述样本特征值。
在本发明的一个实施例中,其中,所述样本特征值包括:均方差、能见度、对比度、平均值、最小通道均值、直方图均衡度和饱和度中的部分或全部。
进一步地,在本发明的一个实施例中,所述训练模块用于:将提取出的所述样本特征值进行拼接,得到高维向量;将所述高维向量与样本标签输入到SVM学习回归算法中,生成所述SVM学习回归模型。
在本发明的一个实施例中,所述处理模块用于:根据所述SVM学习回归模型估计得到的滤波优化传输图,利用gamma变换优化SVM学习回归模型的传输参数;将调整后的滤波优化图和优化大气光进行反变换以得到所述清晰图像。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本发明实施例的基于回归模型的快速单幅图像去雾算法流程图;
图2是根据本发明的一个实施例初始无雾样本生成过程示意图,其中(a)为随机图像、(b)为对随机图像进行均值滤波、(c)为对(b)图做饱和度放大后的图像及(d)生成部分无雾样本展示;
图3是根据本发明的一个实施例对无雾样本进行加雾的效果图;
图4是根据本发明的一个实施例样本各特征的分布情况示意图;
图5是根据本发明的一个实施例kim算法与本发明算法对测试样本的估计图;
图6是根据本发明的一个实施例全局大气光与局部大气光结果对比图;
图7是根据本发明的一个实施例全局大气光计算过程示意图;
图8是根据本发明的一个实施例基于回归模型的快速单幅图像去雾算法图;
图9是根据本发明的一个实施例实验结果图;
图10是根据本发明的一个实施例实验结果图;
图11是根据本发明的一个实施例实验结果图;以及
图12是根据本发明实施例的基于回归模型的快速单幅图像去雾系统结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
下面具体参照附图描述根据本发明是实力提出的基于回归模型的快速单幅图像去雾算法及系统,首先将参照附图1描述根据本发明实施例提出的基于回归模型的快速单幅图像去雾算法。参照图所示,该算法包括回归模型的训练过程和雾霾图像的处理过程;其中所述训练过程包括以下步骤:
S101:生成无雾图像块作为样本。
可以利用计算机进行生成无雾图像,生成的无雾图像具有随机纹理和色彩特征,如图2所示。
具体地,通过计算机生成一个24*24大小的随机彩色图像块,图像中每个像素的三个颜色通道(R,G,B)都是随机值,取值范围(0,1),如图2a所示;对该随机图像做窗口大小为w的均值滤波,得到平滑后的图像,通过w的不同取值来控制平滑程度,生成不同尺度的图像纹理,因为得到的平滑图像的颜色饱和度不高,需要调整,如图2b所示;所以对得到的平滑图像的最大通道值和最小通道值进行调整,将最大通道像素值增大为原来的 130%~150%(随机数),将最小通道像素值减小为原来的15%~30%(随机数)来得到高饱和的图像块,如图2c所示;最后调整滤波窗口的大小,生成不同纹理的无雾图像,如图2d所示。
S102:利用大气模型为样本加雾。
如图3所示,通过大气物理模型反向使用为每个样本分别加入不同程度的雾霾,构成最终的样本库。
具体地,将生成的无雾图像样本认为是原始场景的清晰图像,即J(p),根据雾霾天气成像公式(1)I(p)=J(p)t(p)+A(1-t(p)),其中,I(p)是成像设备最终获得的图像,J(p)是原始场景返照率,A是大气光,t(p)是介质传输率,由物体距离和介质散射情况有关,由此可知雾霾图像由清晰图像,大气光和传输率决定。
进一步地,如公式(2)t(p)=g-βd(p)其中,d(p)是位置p处的景深,即拍摄物体距离,β是和大气状况有关的参数,通常认为是1。
假设样本大气光A为1,并且图像块内传输率是相同的,则公式可变为I=J*t+(1-t),对于每个无雾样本J,分别取t为0.1到1之间的数值来合成不同程度的有雾样本I。
S103:提取样本的样本特征值。
具体地,在提取样本特征值之前还包括:利用计算机生成无雾的样本图像块,利用大气模型为每个图像块按照不同的传输参数加雾;将多个图像块按照传输参数的大小进行排序;从排序后的多个图像块中提取样本特征值,如图4a所示。
所述样本特征值包括:均方差、能见度、对比度、平均值、最小通道均值、直方图均衡度和饱和度中的部分或全部。
其中,将样本图像均分大概一共生成了7000个无雾样本,为每个样本分别加入t=1,0.9,0.8….0.1,这10种不同程度的雾霾,得到共计70000个样本。
对每一个样本分别计算样本的特征值,其中每个特征计算结果都是一个具体的数值。
每个样本总共7种特征,这些特征值组成一个7维向量,作为该样本的特征向量。
更具体地,对每个特征进行计算,在通过如图4所示进行说明各个特征与传输参数的相关程度和具体体现,其中,均方根对比度F,反映了图像块的方差。公式(3)表示了均方根特征的计算方法,式中Ic(p)表示图像块在c通道下p位置的像素值,N表示图像块中像素的数量,式(3-9)中,c∈{r,g,b}均表示图像的色彩通道,是图像块在c通道。
麦克森对比度FMIC,主要用来表示图像周期性纹理特点,与图像最大值和最小值间的关系有关,计算方法由公式(4)给出,其中IC,MAX是图像块C通道下最大值,IC,MIN是图像块C通道下最小值。
韦伯对比度FWEE,用来表示图像前景与后景之间的差异,在本发明中,可以认为图像块的平均值为背景,图像块中的每个像素点作为前景来提取,算法如公式(5),其中IC(p)表示图像块在C通道下p位置的像素值,是图像块在C通道下的平均值。N表示图像块中像素的数量。
直方图均衡度FHIS,是一个常用的衡量图像质量的参数,用来表示图像中不同取值的像素分布情况。计算公式为式(6):其中M为像素位宽,通常为8,Nc/p表示C通道下取值为p的像素点的个数。N表示图像块中像素点的总个数。
最小通道均值FMIN是将图像块各通道取最小值,然后计算平均值。图像块均值FMEA,则是直接将各通道像素计算平均值。这两个特征计算和思路都非常简单,但是两者结合使用能较好的反映传输参数的变化。其中min函数计算最小值,mean函数计算平均值。
像素饱和度F2AT表达了单个像素值最大通道与最小通道的比值,我们计算每个点的饱和 度然后将整个块的饱和度值相加来衡量该图像块的饱和度。计算方法如式(9)所示,其中Ic/p为图像c通道下p位置的像素值,N为图像块中像素的数量。
对每个样本图像块分别提取上述的几个雾霾相关特征,其相关性的示意如图4所示,其中FMSE(图4b),FMEC(图4c),FWEE(图4d)与样本传输参数成正比关系,相关性良好。在相同的传输参数下,会受到样本纹理和色彩的随机性造成的一定影响。FHIS(图4e),FMIN(图4f),FMEA(图4g),FSAC(图4h),这四个特征和样本传输参数成反比关系,除FHIS外相关性较好,在相同传输参数下计算出的特征值发散很小,不容易受样本随机性的影响。但注意到,尽管部分使用直方图均衡度FHIS特征用来构建代价函数,但相对本发明所使用的其它特征来说,该特征对于雾霾的回归来说并不是一个很好的特征,FHIS与传输参数的相关程度并相对较低,而且通过图4e可以看出,其受到样本随机纹理的干扰十分严重,因此本发明认为其不适合单独作为传输参数的特征。但考虑到有无图像确实存在均衡度下降的问题,及多个特征间相互补充会提高准确性,本发明仍将其作为其中一个特征参与回归模型的学习。
S104:根据样本特征值使用SVM学习回归模型。
在根据所述样本特征值使用SVM学习回归模型之前,还包括:将提取出的所述样本特征值进行拼接,得到高维向量;将所述高维向量与样本标签输入到SVM学习回归算法中,生成所述SVM学习回归模型。
具体地,在计算机上安装libsvm后可以在matlab中使用svmtrain函数,输入70000个样本的特征向量和样本标签(即生成样本时所用的t值)并简单设置好参数即可自动训练出回归模型,其中,svmtrain函数参数设置为0.01。
为了验证回归模型的准确性,采用不同的去雾算法对样本库的传输参数进行估计,如图5所示,分别为Kim算法(左)与本发明算法(右)的表现,图中黑色是样本的实际传输参数,可以看到Kim算法估计的结果倾向于将对比度增大而导致雾霾过度估计,本发明算法的估计值以样本标签为中心分布均匀,去雾结果更合理。
所述处理过程包括以下过程:
S201:输入雾霾图像,将雾霾图像分割为多个均匀块,并提取雾霾图像的最大通道图像。
具体地,将输入图片分割成24*24大小均匀的方形区域块,大小和样本相同。
其中,目前较准确的大气光估计算法是由Kim等提出的四叉树方法,相对于He的暗通道方法以及更早的单纯寻找图像最亮点,四叉树估计能够充分排除图像中高亮物体被误判为大气光的现象,在大多数情况下都能取到正确的大气光。但是,实际图片中,常常伴有大面积明亮区域,例如天空和灰色地面,以及大面积阴影区域,如图6a,当出现这些情况时,即使找到了全局合适的大气光,也不一定能适应图像局部。因此传统算法遇到这样的图像时会出现图像阴影部分过暗(图6b中两侧的树叶),而高亮区域出现伪轮廓及偏色等现象(图6b中天空和地面部分)。考虑到图像中不同局部环境照度并不一定相同,采用最大值滤波动态大气光进行估计。
由于光照角度,景物间相互遮挡等因素,图像中不同局部具有不同的光照强度,假设局部图像中总存在一些像素点,其最大通道值能够近似反映局部图像的局部的光照强度,因此首先对图像取最大通道得到最大通道图,其中,最大通道图像是一个单通道图像,每个位置像素的取值为输入图像对应位置(R,G,B)三个通道中的最大值。
采用基于最大值滤波方法得到的大气光,与本发明算法得到的大气传输图结合使用,最终的图像恢复效果如图6c所示。可以看到,相对于传统的单值大气光,本发明算法的处理结果中天空区域具有更好的表现,地面的颜色和饱和度恢复也更接近原图。
S202:对均匀块进行图像块特征值提取,以根据SVM学习回归模型估计传输参数,并使用引导滤波优化传输图。
根据S104步骤中训练好了回归模型后,可以使用svmpredict函数进行预测,该函数输入一个24*24大小的待估计图像块,输出利用模型估计的t。
输入图像分成24*24大小的图像块后,将这些图像块依次输入svmpredict函数,每个图像块都会得到一个估计值t,这样可以得到具有很强块效应的传输图,为了消除传输图块效应,使用引导滤波函数GFI(J),(该函数用途广泛,其中一个作用是能够使图像J在边缘上更接近图像I),输入原图像和传输图,得到边缘更接近原图的优化后的传输图。
S203:对提取到的最大通道图像分别进行最大值滤波以及中值滤波,引导滤波优化大气光。
如图7a所示,对最大通道图以20*20大小的窗口进行最大值滤波,获得的图片称为大气光照度图(图7b)。大气光照度图虽然能够近似反映图像中不同区域的光照分布,但是最大值滤波导致了照度图与原图在边缘上并不相似,因此直接得到的亮度图是无法使用的。还需要一张用来反映图像中不同照度区域的边缘信息。根据观察,图像照度发生改变的区域边缘变化通常要明显强于其它边缘,且变化频率很低。而中值滤波能够很好地保留低频边缘,滤除图像纹理中的高频边缘。因此对最大值图像做15*15窗口的中值滤波,得到光照分布图, 如图7c所示。为了让照度图的边缘信息接近分布图,使用了引导滤波。使最终得到的照度图在边缘信息上更接近原图(图7d)。
S204:根据滤波优化传输图以及优化大气光进行反变换得到清晰图像。
具体地,由雾霾成像物理模型I=J*t+A(1-t)可以得知反变换公式为J=(I-A)/t+A。将得到的大气光A和传输图t以及输入图像I带入反变换公式即可得到清晰图像J。
上述的基于回归模型的快速单幅图像去雾算法还可以如图8所示。
为了验证本发明算法,收集了大量的雾霾天气图片,主要对比了Kim算法,He算法以及Tarel算法。其中Kim算法采用四叉树方法计算大气光,He算法采用暗通道方法估算大气光,考虑到软抠图运行效率低,将He算法中的软抠图替换为引导滤波,来获得更快的速度,而两者在恢复效果上是近似的。
在时间复杂度上,测试了不同分辨率的图片,最终结果表明,与参与对比的三种算法相比本发明算法速度具有明显优势,具体表现如下表1所示。其中本发明算法,Kim算法,He算法运行时间与图片的分辨率基本呈线性关系。Tarel算法的运行速度非常慢,且运行时间与图片分辨率呈指数关系,超出了预期,其Matlab代码是由指定的网站提供,可能是由于该算法Matlab版本运行效率较低导致。运行算法的计算机统一采用Windows8操作系统64位版本,Matlab2013平台,处理器采用Intel Core i5-3350P 3.1GHz。4GB RAM。Libsvm版本号3.18。
表格1 不同算法传输参数估计时间对比
输入图像分辨率 Kim算法 He算法 本发明算法 Tarel算法
1024*768 1.96s 1.46s 1.43s 28.73s
576*768 1.00s 0.86s 0.56s 8.96s
2048*1280 6.06s 4.66s 3.31s 367.98s
510*510 0.60s 0.42s 0.32s 2.35s
举例说明,如图9所示,从左至右分别是原图,Kim算法结果,He算法结果,本发明算法结果,Tarel算法结果。上述四种算法均没有增加任何后期的改进及约束。并且对所有的测试图片采用相同的参数。
其中,图9上展示了几种算法对峡谷的去雾结果,Kim算法结果(图9b上)由于最大化了对比度,导致图片阴影区域变得过暗,整幅图片不协调,He(图9c上)算法结果表现 要稍好些,本发明算法(图9d上)明显降低了明暗区域间的亮度差异,暗部细节得到了充分体现。Tarel算法(图9e上)虽然也解决了阴影部分过暗的问题,但明暗对比压缩的过小,而且有颜色和细节失真的现象。图9下是城市的去雾结果,Kim算法(图9b下)与He算法(图9c下)在图片上部的天空区域均出现了明显的晕轮,本发明算法(图9d下)天空偏暗但是晕轮效果非常小。Tarel算法(图9e下)虽然也恢复了雾霾中建筑的轮廓细节,但是图片整体亮度偏亮,城市和天空没有明显的对比,视觉效果并不理想。同样的问题在图9上的飞机照片也有体现。
图10中展示了砖墙的去无结果,该图片本身细节丰富,颜色饱和度高,没有天空路面等特殊区域,因此,He算法(图10c中)的效果看上去要略好于本发明算法(图10d中)和Kim算法(图10b中)。Tarel算法(图10e中)的去雾程度过强,图片颜色出现明显失真。图11下展示的是一张合成图片的去雾结果,Kim算法(图10b下)浓雾区域去雾效果不理想,He算法(图10c下)整体去雾力度把握较好,但是浓雾区域颜色明显有失真。Tarel算法(图11e下)整体去雾效果不足。相对来讲,本发明算法(图10d下)在去雾效果和颜色方面表现均优于其他算法。
图11展示了两类航拍照片,当图片中包含天空,海面等区域时,本发明算法(图11d上)和Tarel算法(图11e上)在天空和海面等区域的表现相对较好,而本发明算法(图11d上)图中机翼部分的表现明显优于Tarel算法(图11e上)。当图片中只包含细节丰富的区域时,本发明算法(图11d下)与He算法(图11c下)表现相近。Tarel算法(图11e下)则出现了细节部分失真,图像整体过亮等现象。并且常常出现因中值滤波而导致的边缘问题。
根据本发明实施例的基于回归模型的快速单幅图像去雾算法,利用计算机制作大量的高饱和和无雾图像,通过大气物理模型对无雾图像块进行不同程度的加雾处理形成样本库,再根据样本库进行提取并分析与图像传输参数的特征,其中,提取的样本特征通过样本特征值进行表示,利用SVM学习回归算法来建立图像去雾的准确回归模型,经过传输图与大气光进行反变换得到清晰的图像。该算法能够快速、准确的对图像进行去雾处理,有效提高图像处理的图像质量。
其次参照附图描述根据本发明实施例提出的基于回归模型的快速单幅图片去雾系统。参照图12所示,该基于回归模型的快速单幅图片去雾系统100包括;训练模块10和处理模块20。
具体地,训练模块10用于生成无雾图像;利用大气模型为样本加雾;提取所述样本的样本特征值;根据所述样本特征值使用SVM学习回归模型;
更具体地,利用可以利用好计算机进行生成无雾图像,这些无雾图像具有随机纹理和色 彩特征。
通过大气物理模型反向使用为每个样本分别加入不同程度的雾霾,构成最终的样本库。
在提取样本特征值之前还包括:利用计算机生成无雾的样本图像块,利用大气模型为每个图像块按照不同传输参数加雾;将多个图像块按照传输参数的大小进行排序;从排序后的多个图像块中提取样本特征值。
所述样本特征值包括:均方差、能见度、对比度、平均值、最小通道均值、直方图均衡度和饱和度中的部分或全部。
其中,将样本图像均分大概一共生成了7000个无雾样本,为每个样本分别加入t=1,0.9,0.8….0.1,这10种不同程度的雾霾,得到共计70000个样本。
对每一个样本分别计算样本的特征值,其中每个特征计算结果都是一个具体的数值。
每个样本总共7种特征,这些特征值组成一个7维向量,作为该样本的特征向量。
在根据所述样本特征值使用SVM学习回归模型之前,还包括:将提取出的所述样本特征值进行拼接,得到高维向量;将所述高维向量与样本标签输入到SVM学习回归算法中,生成所述SVM学习回归模型。
具体地,在电脑上安装libsvm后可以在matlab中使用svmtrain函数,输入70000个样本的特征向量和样本标签(即生成样本时所用的t值)并简单设置好参数即可自动训练出回归模型,其中,svmtrain函数参数设置为0.01。
处理模块20用于输入雾霾图像,将所述雾霾图像分割为多个均匀块,并提取所述雾霾图像的最大通道图像;对所述均匀块进行图像块特征值提取,以根据所述SVM学习回归模型估计传输参数,并利用引导滤波优化传输图;对提取到的所述最大通道图像分别进行最大值滤波以及中值滤波,引导滤波优化大气光;以及根据所述滤波优化传输图以及所述优化大气光进行反变换以得到清晰图像。
具体地,将输入图片分割成24*24大小的方形区域块,大小和样本相同。
进一步地,对图像取最大通道得到最大通道图,在训练模块得到回归模型后,使用svmpredict函数进行预测,该函数输入一个24*24大小的待估计图像块,输出利用模型估计的t。根据所述SVM学习回归模型估计得到的滤波优化传输图,利用gamma变换优化SVM学习回归模型的传输参数;将调整后的滤波优化图和优化大气光进行反变换以得到所述清晰图像。
根据本发明实施例的基于回归模型的快速单幅图像去雾系统,利用计算机制作大量的高饱和和无雾图像,通过大气物理模型对无雾图像块进行不同程度的加雾处理形成样本库,再根据样本库进行提取并分析与图像传输参数的特征,其中,提取的样本特征通过样本特征值 进行表示,利用SVM学习回归算法来建立图像去雾的准确回归模型,经过传输图与大气光进行反变换得到清晰的图像。该系统能够快速、准确的对图像进行去雾处理,有效提高图像处理的图像质量。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以 采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于回归模型的快速单幅图像去雾方法,其特征在于,包括回归模型的训练过程和雾霾图像的处理过程,其中,
所述训练过程包括:生成无雾图像块作为样本;利用大气模型为样本加雾;提取所述样本的样本特征值;根据所述样本特征值使用SVM学习回归模型;
所述处理过程包括:
输入雾霾图像,将所述雾霾图像分割为多个均匀块,并提取所述雾霾图像的最大通道图像;
对所述均匀块进行图像块特征值提取,以根据所述SVM学习回归模型估计传输参数,并使用引导滤波优化传输图;
对提取到的所述最大通道图像分别进行最大值滤波以及中值滤波,引导滤波优化大气光;
根据所述滤波优化传输图以及所述优化大气光进行反变换以得到清晰图像。
2.如权利要求1所述的基于回归模型的快速单幅图像去雾方法,其特征在于:在提取所述样本特征值之前还包括:
利用计算机生成无雾的样本图像块,利用大气模型为每个图像块按照不同的传输参数加雾;
将所述多个图像块按照传输参数的大小进行排序;
从排序后的多个图像块中提取所述样本特征值。
3.如权利要求1所述的基于回归模型的快速单幅图像去雾方法,其特征在于,所述样本特征值包括:均方差、能见度、对比度、平均值、最小通道均值、直方图均衡度和饱和度中的部分或全部。
4.如权利要求1所述的基于回归模型的快速单幅图像去雾方法,其特征在于,在根据所述样本特征值使用SVM学习回归模型之前,还包括:
将提取出的所述样本特征值进行拼接,得到高维向量;
将所述高维向量与样本标签输入到SVM学习回归算法中,生成所述SVM学习回归模型。
5.如权利要求1所述的基于回归模型的快速单幅图像去雾方法,其特征在于,所述根据所述滤波优化传输图以及所述优化大气光进行反变换以得到清晰图像,还包括:
根据所述SVM学习回归模型估计得到的滤波优化传输图,利用gamma变换优化SVM学习回归模型的传输参数;
将调整后的滤波优化图和优化大气光进行反变换以得到所述清晰图像。
6.一种基于回归模型的快速单幅图像去雾系统,其特征在于,包括:
训练模块,用于生成无雾图像;利用大气模型为样本加雾;提取所述样本的样本特征值;根据所述样本特征值使用SVM学习回归模型;
处理模块,用于输入雾霾图像,将所述雾霾图像分割为多个均匀块,并提取所述雾霾图像的最大通道图像;对所述均匀块进行图像块特征值提取,以根据所述SVM学习回归模型估计传输参数,并使用引导滤波优化传输图;对提取到的所述最大通道图像分别进行最大值滤波以及中值滤波,引导滤波优化大气光;以及根据所述滤波优化传输图以及所述优化大气光进行反变换以得到清晰图像。
7.如权利要求6所述的基于回归模型的快速单幅图像去雾系统,其特征在于:所述训练模块还用于:
利用计算机生成无雾的样本图像块,利用大气模型为每个图像块按照不同的传输参数加雾;
将所述多个图像块按照传输参数的大小进行排序;
从排序后的多个图像块中提取所述样本特征值。
8.如权利要求6所述的基于回归模型的快速单幅图像去雾系统,其特征在于,所述样本特征值包括:均方差、能见度、对比度、平均值、最小通道均值、直方图均衡度和饱和度中的部分或全部。
9.如权利要求6所述的基于回归模型的快速单幅图像去雾系统,其特征在于,所述训练模块用于:
将提取出的所述样本特征值进行拼接,得到高维向量;
将所述高维向量与样本标签输入到SVM学习回归算法中,生成所述SVM学习回归模型。
10.如权利要求6所述的基于回归模型的快速单幅图像去雾系统,其特征在于,所述处理模块用于:
根据所述SVM学习回归模型估计得到的滤波优化传输图,利用gamma变换优化SVM学习回归模型的传输参数;
将调整后的滤波优化图和优化大气光进行反变换以得到所述清晰图像。
CN201511021549.XA 2015-12-30 2015-12-30 基于回归模型的快速单幅图像去雾算法及系统 Active CN105654440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511021549.XA CN105654440B (zh) 2015-12-30 2015-12-30 基于回归模型的快速单幅图像去雾算法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511021549.XA CN105654440B (zh) 2015-12-30 2015-12-30 基于回归模型的快速单幅图像去雾算法及系统

Publications (2)

Publication Number Publication Date
CN105654440A CN105654440A (zh) 2016-06-08
CN105654440B true CN105654440B (zh) 2018-07-27

Family

ID=56490118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511021549.XA Active CN105654440B (zh) 2015-12-30 2015-12-30 基于回归模型的快速单幅图像去雾算法及系统

Country Status (1)

Country Link
CN (1) CN105654440B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027854B (zh) * 2016-06-22 2019-01-01 凌云光技术集团有限责任公司 一种应用于相机中适于fpga实现的联合滤波降噪方法
CN107093173A (zh) * 2017-03-27 2017-08-25 湖南大学 一种图像雾霾浓度的估计方法
CN107301623B (zh) * 2017-05-11 2020-02-14 北京理工大学珠海学院 一种基于暗通道和图像分割的交通图像去雾方法及系统
CN107248146B (zh) * 2017-05-22 2020-09-11 哈尔滨工程大学 一种uuv近海面可见光图像去雾方法
CN107368813A (zh) * 2017-07-23 2017-11-21 北京林业大学 一种应用于机载近地高光谱影像的林木冠幅识别方法
CN108765309B (zh) 2018-04-26 2022-05-17 西安汇智信息科技有限公司 基于暗通道的线状自适应改进全局大气光的图像去雾方法
WO2020029033A1 (zh) * 2018-08-06 2020-02-13 深圳大学 雾霾图像清晰化方法、系统及可存储介质
CN109118451A (zh) * 2018-08-21 2019-01-01 李青山 一种基于卷积回归的航空正射影像去雾算法
CN110992287B (zh) * 2019-12-03 2023-02-24 中国电子科技集团公司信息科学研究院 一种非均匀光照视频的清晰化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252698A (zh) * 2014-06-25 2014-12-31 西南科技大学 一种基于半逆法的快速单幅图像去雾算法
WO2015125146A1 (en) * 2014-02-19 2015-08-27 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Method and system for dehazing natural images using color-lines
CN105023246A (zh) * 2015-06-23 2015-11-04 首都师范大学 一种基于对比度和结构相似度的图像增强方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015125146A1 (en) * 2014-02-19 2015-08-27 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Method and system for dehazing natural images using color-lines
CN104252698A (zh) * 2014-06-25 2014-12-31 西南科技大学 一种基于半逆法的快速单幅图像去雾算法
CN105023246A (zh) * 2015-06-23 2015-11-04 首都师范大学 一种基于对比度和结构相似度的图像增强方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Edge-Preserving Decomposition-Based Single Image Hze Removal;Zhengguo Liu 等;《IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society》;20150928;第24卷(第12期);5432-5441 *
Investigating Haze-Relevant Features in a Learning Framework for Image Dehazing;Ketan Tang 等;《IEEE conference on Computer Vision and Pattern Recognition.IEEE Computer Society》;20140628;2995-3002 *
基于引导滤波器的单幅雾天图像复原算法;楚君 等;《计算机工程与应用》;20150313;第51卷(第21期);155-160 *
引导滤波在雾天图像清晰化中的应用;王伟鹏 等;《华侨大学学报(自然科学版)》;20150531;第36卷(第3期);263-268 *

Also Published As

Publication number Publication date
CN105654440A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
CN105654440B (zh) 基于回归模型的快速单幅图像去雾算法及系统
Santra et al. Learning a patch quality comparator for single image dehazing
Li et al. Image dehazing using residual-based deep CNN
CN108596849B (zh) 一种基于天空区域分割的单幅图像去雾方法
Huang et al. An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems
CN103218778B (zh) 一种图像和视频的处理方法及装置
CN105976330B (zh) 一种嵌入式雾天实时视频稳像方法
Lee et al. Local disparity estimation with three-moded cross census and advanced support weight
CN108564549B (zh) 一种基于多尺度稠密连接网络的图像去雾方法
CN103262119B (zh) 用于对图像进行分割的方法和系统
Luan et al. Fast single image dehazing based on a regression model
CN103955918A (zh) 一种全自动精细抠像装置及精细抠像方法
CN102881011A (zh) 基于区域分割的肖像光照迁移方法
CN110675340A (zh) 一种基于改进的非局部先验的单幅图像去雾方法及介质
CN105447825B (zh) 图像去雾方法及其系统
CN103578083A (zh) 基于联合均值漂移的单幅图像去雾方法
Halmaoui et al. Contrast restoration of road images taken in foggy weather
CN105023246B (zh) 一种基于对比度和结构相似度的图像增强方法
CN105898111A (zh) 一种基于谱聚类的视频去雾方法
CN115775376A (zh) 一种基于低光图像增强的人群计数方法
WO2021000302A1 (zh) 基于超像素分割的图像去雾方法、系统、存储介质及电子设备
Kumar et al. Automatic image segmentation using wavelets
Fu et al. Scene-awareness based single image dehazing technique via automatic estimation of sky area
Singh et al. Visibility enhancement and dehazing: Research contribution challenges and direction
CN114549297A (zh) 一种基于不确定分析的无监督单目深度估计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant