CN117649360A - 有雾图像的去雾方法、装置及电子设备 - Google Patents
有雾图像的去雾方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117649360A CN117649360A CN202311360906.XA CN202311360906A CN117649360A CN 117649360 A CN117649360 A CN 117649360A CN 202311360906 A CN202311360906 A CN 202311360906A CN 117649360 A CN117649360 A CN 117649360A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- target
- sub
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims description 31
- 238000013519 translation Methods 0.000 claims description 31
- 238000001914 filtration Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 24
- 238000005516 engineering process Methods 0.000 abstract description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Abstract
本发明公开了一种有雾图像的去雾方法、装置及电子设备。其中,该方法包括:获取有雾图像;确定有雾图像对应的色调图像,饱和度图像以及亮度图像;分割饱和度图像以及亮度图像,得到多个初始子图像,其中,多个初始子图像包括多个饱和度子图像,多个亮度子图像;确定多个初始子图像中像素点分别对应的初始灰度值;分别对多个初始子图像中像素点分别对应的初始灰度值进行调整,得到多个目标子图像;依据色调图像与多个目标子图像,得到目标去雾图像。本发明解决了相关技术中对有雾图像进行去雾处理时,存在的去雾效果不佳的技术问题。
Description
技术领域
本发明涉及图像处理领域,具体而言,涉及一种有雾图像的去雾方法、装置及电子设备。
背景技术
近年来由于雾霾或者大雾天气的影响,拍摄得到的图像在颜色、对比度、亮度、边缘信息和纹理信息上都受到了不同程度的影响,因此图像去雾的研究对于下游计算机视觉处理任务十分重要。
图像经典的去雾算法主要包括基于物理模型的参数估计方法和图像增强算法两种。基于物理模型的算法主要通过求解大气散射模型的参数,从而恢复出原始图像,如暗通道去雾算法和颜色增强算法。这类算法简单速度快,但是难精确地进行参数估计,恢复效果有限。
这是因为雾在不同程度上与图像背景存在耦合并且遮挡了原本图像的许多信息,这些导致目前的去雾算法在去雾的同时也过滤掉了原本的信息,尤以颜色信息和边缘轮廓信息最为明显。
针对所述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种有雾图像的去雾方法、装置及电子设备,以至少解决相关技术中对有雾图像进行去雾处理时,存在的去雾效果不佳的技术问题。
根据本发明实施例的一个方面,提供了一种有雾图像的去雾方法,包括:获取有雾图像;确定所述有雾图像对应的色调图像,饱和度图像以及亮度图像;分割所述饱和度图像以及亮度图像,得到多个初始子图像,其中,所述多个初始子图像包括多个饱和度子图像,多个亮度子图像;确定所述多个初始子图像中像素点分别对应的初始灰度值;分别对所述多个初始子图像中像素点分别对应的初始灰度值进行调整,得到多个目标子图像,其中,所述多个目标子图像中像素点分别对应的灰度值为分别对应的目标灰度值,所述分别对应的目标灰度值小于所述分别对应的初始灰度值;依据所述色调图像与所述多个目标子图像,得到目标去雾图像。
可选地,所述分别对所述多个初始子图像中像素点分别对应的初始灰度值进行调整,得到多个目标子图像,包括:确定与所述多个初始子图像分别对应的预定灰度值;分别将所述多个初始子图像中像素点分别对应的初始灰度值减去所述分别对应的预定灰度值,得到所述多个目标子图像。
可选地,所述确定与所述多个初始子图像分别对应的预定灰度值,包括:对于所述多个初始子图像中任意一个初始子图像,获取所述初始子图像的像素点灰度统计数据,以及与所述初始子图像对应的灰度阈值;确定超出所述灰度阈值的极限灰度值;确定所述极限灰度值的总和值分摊至所述初始子图像中每个像素点上的灰度平均值为所述预定灰度值。
可选地,所述依据所述色调图像与所述多个目标子图像,得到目标去雾图像,包括:依据所述多个目标子图像,得到目标饱和度图像以及目标亮度图像;依据所述色调图像,所述目标饱和度图像以及所述目标亮度图像,得到所述目标去雾图像。
可选地,所述依据所述色调图像,所述目标饱和度图像以及所述目标亮度图像,得到所述目标去雾图像,包括:依据所述色调图像,所述目标饱和度图像以及所述目标亮度图像,得到初始去雾图像;将所述初始去雾图像进行傅里叶变换,得到傅里叶变换图像;平移所述傅里叶变换图像,得到平移图像,其中,所述平移图像中频率为预定值的直流分量在所述平移图像的中心位置;依据预定矩形窗口对所述平移图像进行掩膜处理,得到高通滤波图像;逆向平移高通滤波图像,得到逆平移图像;对所述逆平移图像进行傅里叶逆变换,得到所述目标去雾图像。
可选地,所述依据所述多个目标子图像,得到目标饱和度图像以及目标亮度图像,包括:在所述多个目标子图像包括多个目标饱和度子图像,多个目标亮度子图像的情况下,将所述多个目标饱和度子图像拼合为初始饱和度图像,并将所述多个目标亮度子图像拼合为初始亮度图像;分别对所述初始饱和度图像以及所述初始亮度图像的拼合边缘处进行边缘过渡处理,得到所述目标饱和度图像以及所述目标亮度图像。
可选地,所述对所述逆平移图像进行傅里叶逆变换,得到所述目标去雾图像,包括:对所述逆平移图像进行傅里叶逆变换,得到滤波处理图像;依据所述滤波处理图像,所述色调图像,所述目标饱和度图像以及所述目标亮度图像,得到所述目标去雾图像。
根据本发明实施例的一个方面,提供了一种有雾图像的去雾装置,包括:获取模块,用于获取有雾图像;第一确定模块,用于确定所述有雾图像对应的色调图像,饱和度图像以及亮度图像;分割模块,用于分割所述饱和度图像以及亮度图像,得到多个初始子图像,其中,所述多个初始子图像包括多个饱和度子图像,多个亮度子图像;第二确定模块,用于确定所述多个初始子图像中像素点分别对应的初始灰度值;调整模块,用于分别对所述多个初始子图像中像素点分别对应的初始灰度值进行调整,得到多个目标子图像,其中,所述多个目标子图像中像素点分别对应的灰度值为分别对应的目标灰度值,所述分别对应的目标灰度值小于所述分别对应的初始灰度值;第三确定模块,用于依据所述色调图像与所述多个目标子图像,得到目标去雾图像。
根据本发明实施例的一个方面,提供了一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现所述任一项所述的有雾图像的去雾方法。
根据本发明实施例的一个方面,提供了一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行所述任一项所述的有雾图像的去雾方法。
在本发明实施例中,获取有雾图像,确定有雾图像对应的色调图像,饱和度图像以及亮度图像,即将其转化为HSV空间中的三部分图像。再分割饱和度图像以及亮度图像,得到包括多个饱和度子图像与多个亮度子图像的多个初始子图像。确定多个初始子图像中像素点分别对应的初始灰度值,分别对多个初始子图像中像素点分别对应的初始灰度值进行调整,得到有合适灰度值的多个目标子图像,从而达到依据色调图像与多个目标子图像,得到目标去雾图像的目的。由于是将图像转化为HSV空间中的三部分图像,又对部分图像的灰度值分别进行处理的,因此达到了在不影响图像质量的情况下,又在饱和度方面,亮度方面处理以达到去除雾气影响的效果,而且还进行了分块处理,处理过程中更具针对性,使得处理后的效果更好,进而解决了相关技术中对有雾图像进行去雾处理时,存在的去雾效果不佳的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的有雾图像的去雾方法的流程图;
图2(a)是本发明可选实施方式提供的有雾图像的示意图;
图2(b)是本发明可选实施方式提供的有雾图像在H通道上的示意图;
图2(c)是本发明可选实施方式提供的有雾图像在S通道上的示意图;
图2(d)是本发明可选实施方式提供的有雾图像在V通道上的示意图;
图3(a)是本发明可选实施方式提供的去雾图像的示意图;
图3(b)是本发明可选实施方式提供的去雾图像在H通道上的示意图;
图3(c)是本发明可选实施方式提供的去雾图像在S通道上的示意图;
图3(d)是本发明可选实施方式提供的去雾图像在V通道上的示意图;
图4是本发明可选实施方式提供的灰度值处理示意图;
图5(a)是本发明可选实施方式提供的高频滤波前的示意图;
图5(b)是本发明可选实施方式提供的高频滤波后的示意图;
图6是根据本发明实施例的有雾图像的去雾装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先对本申请中涉及的术语进行解释:
CLAHE:Contrast Limited Adaptive Histogram Equalization,一种直方图均衡算法,限制对比度的自适应直方图均衡。
HSV空间:Hue,Saturation,Value是根据颜色的直观特性创建的一种颜色空间,也称六角锥体模型,其中H指颜色,S为饱和度,V是指明度表示颜色明亮的程度。
RGB空间:R(Red红)、G(Green绿)、B(Blue蓝)三种基本色为基础,所构成的颜色空间。
RGB图像:RGB图像是一种使用红(Red)、绿(Green)、蓝(Blue)三种基本颜色光分量来表示图像的一种颜色模型。在RGB图像中,每个像素由这三个颜色通道的数值组成,通过控制每个通道的亮度和颜色混合比例,可以表达出各种颜色和明暗程度。在计算机图形处理和显示中广泛应用,常见于电脑屏幕、数码相机等设备中。
实施例1
根据本发明实施例,提供了一种有雾图像的去雾方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的有雾图像的去雾方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取有雾图像;
在本申请提供步骤S102中,有雾图像指的即为拍摄时受雾或霾或者阴郁天气影响,所拍摄得到的图像。该图像在颜色、对比度、亮度、边缘信息和纹理信息上可能都受到了不同程度的影响。
步骤S104,确定有雾图像对应的色调图像,饱和度图像以及亮度图像;
在本申请提供步骤S104中,确定了有雾图像分别对应的色调图像,饱和度图像以及亮度图像,可以理解为在HSV空间中的色调H通道图像,饱和度S通道图像以及亮度V通道图像。需要说明的是,此处将图像转化成了HSV图像,能够避免在RGB空间下恢复出来的图像还是会有颜色畸变产生的问题。
其中,HSV图像是一种将彩色图像中的像素点的颜色信息转换为色调(Hue)、饱和度(Saturation)和亮度(Value)三个分量的颜色空间。HSV颜色空间将颜色的描述从RGB颜色空间的红、绿、蓝三个分量转换为色调(Hue)、饱和度(Saturation)和亮度(Value)三个分量,通过调整这三个分量可以更方便地对颜色进行控制和处理。其中,色调表示颜色的种类,取值范围为0-360°;饱和度表示颜色的纯度,取值范围为0-1;亮度表示颜色的明暗程度,取值范围为0-1。
步骤S106,分割饱和度图像以及亮度图像,得到多个初始子图像,其中,多个初始子图像包括多个饱和度子图像,多个亮度子图像;
在本申请提供步骤S106中,选择了其中的饱和度图像以及亮度图像,对其进行了分割以及后续处理。选择这两个的原因即为雾气天气对这两项影响较大,因此可以从这两种图像入手,去解决图像中存在雾现象的问题。
在该步骤中,将饱和度图像以及亮度图像,分别分割成了多个饱和度子图像,多个亮度子图像,得到了包括多个饱和度子图像,多个亮度子图像的多个初始子图像。具体分割为多少,可以根据实际的应用与场景进行自定义的设置。如可以分割为6*6的图像进行处理,以便更好地处理每个子图像上的灰度值。而且分别对子图像进行处理,在处理过程中更具针对性,能够使得最终得到的图像更均衡,最终呈现的去雾效果更好。
步骤S108,确定多个初始子图像中像素点分别对应的初始灰度值;
在本申请提供步骤S108中,确定了多个初始子图像中像素点分别对应的初始灰度值,通过灰度值,可以反映出在饱和度方面以及亮度方面对其的影响。
需要说明的是,在确定多个初始子图像中像素点分别对应的初始灰度值之前,可以对多个初始子图像进行预处理,从而得到预处理之后的多个初始子图像中像素点分别对应的初始灰度值。
其中,预处理可以为,将多个初始子图像中像素点分别对应的灰度值先减去分别对应的最小灰度值,分别对应的灰度值为在对应的初始子图像中,初始子图像所包括的全部像素点中最小的灰度值。通过该预处理,能够达到初步去雾化的效果。
步骤S110,分别对多个初始子图像中像素点分别对应的初始灰度值进行调整,得到多个目标子图像,其中,多个目标子图像中像素点分别对应的灰度值为分别对应的目标灰度值,分别对应的目标灰度值小于分别对应的初始灰度值;
在本申请提供步骤S110中,分别对多个初始子图像中像素点分别对应的初始灰度值进行调整,得到分别对应的目标灰度值。由于分别对应的目标灰度值小于分别对应的初始灰度值,因此,可以减少雾在饱和度方面以及亮度方面造成的影响。
步骤S112,依据色调图像与多个目标子图像,得到目标去雾图像。
在本申请提供步骤S112中,依据色调图像与多个目标子图像,可以得到处理后的HSV图像,在有雾图像为RGB图像的情况下,可以将其重新转换为RGB空间中的目标去雾图像,达到得到目标去雾图像的效果。
通过上述步骤S102-S112,获取有雾图像,确定有雾图像对应的色调图像,饱和度图像以及亮度图像,即将其转化为HSV空间中的三部分图像。再分割饱和度图像以及亮度图像,得到包括多个饱和度子图像与多个亮度子图像的多个初始子图像。确定多个初始子图像中像素点分别对应的初始灰度值,分别对多个初始子图像中像素点分别对应的初始灰度值进行调整,得到有合适灰度值的多个目标子图像,从而达到依据色调图像与多个目标子图像,得到目标去雾图像的目的。由于是将图像转化为HSV空间中的三部分图像,又对部分图像的灰度值分别进行处理的,因此达到了在不影响图像质量的情况下,又在饱和度方面,亮度方面处理以达到去除雾气影响的效果,而且还进行了分块处理,处理过程中更具针对性,使得处理后的效果更好,进而解决了相关技术中对有雾图像进行去雾处理时,存在的去雾效果不佳的技术问题。
作为一种可选的实施例,分别对多个初始子图像中像素点分别对应的初始灰度值进行调整,得到多个目标子图像,包括:确定与多个初始子图像分别对应的预定灰度值;分别将多个初始子图像中像素点分别对应的初始灰度值减去分别对应的预定灰度值,得到多个目标子图像。
在该实施例中,将处于相同子图像中像素值的灰度值均减去同一个预定灰度值,以分别对目标子图像进行处理,得到多个目标子图像。通过减去一个灰度值,可以改变饱和度、亮度的整体偏移,使图像的饱和度、亮度发生变化。具体的偏移与变化取决于减去的灰度值的大小和通道的选择。
作为一种可选的实施例,确定与多个初始子图像分别对应的预定灰度值,包括:对于多个初始子图像中任意一个初始子图像,获取初始子图像的像素点灰度统计数据,以及与初始子图像对应的灰度阈值;确定超出灰度阈值的极限灰度值;确定极限灰度值的总和值分摊至初始子图像中每个像素点上的灰度平均值为预定灰度值。
在该实施例中,对于多个初始子图像中任意一个初始子图像,获取初始子图像的像素点灰度统计数据,以及与初始子图像对应的灰度阈值。确定超出灰度阈值的极限灰度值。如,设置灰度阈值为200,确定超过200灰度阈值的灰度值的均值,将初始子图像中像素点每点的灰度值均减去计算出的均值。即,确定极限灰度值的总和值分摊至初始子图像中每个像素点上的灰度平均值为预定灰度值。从而达到准确确定灰度值的效果。
需要说明的是,其中,灰度统计数据可以以直方图的形式展现,以灰度值为横坐标,纵坐标为该灰度值对应的像素点数目/比例,则得到了直方图,体现的是图像中灰度的整体分布情况。
作为一种可选的实施例,依据色调图像与多个目标子图像,得到目标去雾图像,包括:依据多个目标子图像,得到目标饱和度图像以及目标亮度图像;依据色调图像,目标饱和度图像以及目标亮度图像,得到目标去雾图像。
在该实施例中,依据多个目标子图像,将其中的多个目标饱和度子图像拼合为目标饱和度图像,并将其中的多个目标亮度子图像拼合为目标亮度图像。从而依据色调图像,目标饱和度图像以及目标亮度图像,拼合三者图像,得到目标去雾图像。在目标去雾图像为RGB图像的情况下,拼合三者图像之后,还需将HSV空间的图像进行转换,转换得到RGB空间下的目标去雾图像。达到得到最终去雾图像的效果。
作为一种可选的实施例,依据色调图像,目标饱和度图像以及目标亮度图像,得到目标去雾图像,包括:依据色调图像,目标饱和度图像以及目标亮度图像,得到初始去雾图像;将初始去雾图像进行傅里叶变换,得到傅里叶变换图像;平移傅里叶变换图像,得到平移图像,其中,平移图像中频率为预定值的直流分量在平移图像的中心位置;依据预定矩形窗口对平移图像进行掩膜处理,得到高通滤波图像;逆向平移高通滤波图像,得到逆平移图像;对逆平移图像进行傅里叶逆变换,得到目标去雾图像。
在该实施例中,依据色调图像,目标饱和度图像以及目标亮度图像,得到初始去雾图像,即得到HSV三通道下图像拼合后的初始HSV图像。将初始去雾图像进行傅里叶变换,得到傅里叶变换图像,从而对其进行高频滤波处理。
由于将图像转移到频域的时候,0频率会出现在图像的边缘四周,因此需要将0频率位移到图像中心,这使得频谱图像对人类更为可见。可选地,可以沿两方向平移。具体的,可以在宽度方向移动N/2,N/2指的是图像宽的一半,也可以在长度方向移动,M/2,M/2指的是图像长的一半。
即可以平移傅里叶变换图像,得到频率为预定值,如0的直流分量在平移图像的中心位置的平移图像。从而更好地对图像进行滤波处理。
之后,再依据预定矩形窗口对平移图像进行掩膜处理,得到高通滤波图像。对图像进行掩膜处理可以通过滤波器去除图像中的噪声,增强图像的边缘和细节。高通滤波可以通过抑制图像中的低频成分,去除图像中的噪声,从而提高图像的清晰度和质量。而且可以突出图像中的边缘和细节信息,使得图像更加锐利和清晰。在一定程度上还可以增加图像中的灰度级差异,从而改善图像的对比度,使得图像更加鲜明和丰富,达到得到更好的图像的效果。
由于处理的图像是傅里叶变换并且平移后得到的图像,因此还需要逆向平移高通滤波图像,得到逆平移图像,再对逆平移图像进行傅里叶逆变换,得到目标去雾图像,以使得目标去雾图像恢复原有特征。
作为一种可选的实施例,依据多个目标子图像,得到目标饱和度图像以及目标亮度图像,包括:在多个目标子图像包括多个目标饱和度子图像,多个目标亮度子图像的情况下,将多个目标饱和度子图像拼合为初始饱和度图像,并将多个目标亮度子图像拼合为初始亮度图像;分别对初始饱和度图像以及上述初始亮度图像的拼合边缘处进行边缘过渡处理,得到目标饱和度图像以及目标亮度图像。
在该实施例中,在多个目标子图像包括多个目标饱和度子图像,多个目标亮度子图像的情况下,将多个目标饱和度子图像拼合为初始饱和度图像,并将多个目标亮度子图像拼合为初始亮度图像。由于是对不同的子图像分别进行灰度值处理的,因此,在拼合后的图像中可能会出现子图像边缘明显色差的情况,或者拼合后的图像可能存在边缘不连续、模糊或者失真等问题。
在该情况下,可以分别对初始饱和度图像以及上述初始亮度图像的拼合边缘处进行边缘过渡处理,可以解决上述出现的问题,以得到目标饱和度图像以及目标亮度图像,使得得到的目标饱和度图像以及目标亮度图像更均匀。
作为一种可选的实施例,对逆平移图像进行傅里叶逆变换,得到目标去雾图像,包括:对逆平移图像进行傅里叶逆变换,得到滤波处理图像;依据滤波处理图像,色调图像,目标饱和度图像以及目标亮度图像,得到目标去雾图像。
在该实施例中,除了对逆平移图像进行傅里叶逆变换,得到目标去雾图像的方法。还可以获取对逆平移图像进行傅里叶逆变换后的图像,此处称为滤波处理图像。再获取HSV三通道上分别对应的图像,以得到在HSV空间下的图像。
得到两种图像后,可以将两种图像进行位与运算,以增强图像的边缘信息,得到效果更佳的目标去雾图像。
基于上述实施例及可选实施例,提供了一种可选实施方式,下面具体说明。
在相关技术中,近年来由于雾霾或者大雾天气的影响,图像在颜色、对比度、亮度、边缘信息和纹理信息上都受到了不同程度的影响,因此图像去雾的研究对于下游计算机视觉处理任务十分重要。
图像经典的去雾算法主要包括基于物理模型的参数估计方法和图像增强算法两种。基于物理模型的算法主要通过求解大气散射模型的参数,从而恢复出原始图像,如暗通道去雾算法和颜色增强算法。这类算法简单速度快,但是难精确地进行行参数估计,恢复效果有限。
基于图像增强的算法包括直方图均衡化、图像增强理论、高斯滤波、中值滤波、快速傅里叶变换以及小波变换等。其中CLAHE算法效果较好,但是其在RGB空间下恢复出来的图像还是会有颜色畸变产生,而且这种方法恢复出来的图像边缘轮廓模糊。这是因为雾在不同程度上与图像背景存在耦合并且遮挡了原本图像的许多信息,这些导致目前的去雾算法在去雾的同时也过滤掉了原本的信息,尤以颜色信息和边缘轮廓信息最为明显。
鉴于此,本发明可选实施方式中提供了一种有雾图像的去雾方法,图2是本发明可选实施方式提供的有雾图像,以及有雾图像在HSV通道上的示意图,图3是本发明可选实施方式提供的去雾图像,以及去雾图像在HSV通道上的示意图,具体的,图2(a)是本发明可选实施方式提供的有雾图像的示意图,图2(b)是本发明可选实施方式提供的有雾图像在H通道上的示意图,图2(c)是本发明可选实施方式提供的有雾图像在S通道上的示意图,图2(d)是本发明可选实施方式提供的有雾图像在V通道上的示意图,图3(a)是本发明可选实施方式提供的去雾图像的示意图,图3(b)是本发明可选实施方式提供的去雾图像在H通道上的示意图,图3(c)是本发明可选实施方式提供的去雾图像在S通道上的示意图,图3(d)是本发明可选实施方式提供的去雾图像在V通道上的示意图,其能够解决上述所存在的问题。下面对本发明可选实施方式进行介绍。
S1,获取有雾图像;
S2,将有雾图像根据下述公式由RGB空间转换到HSV空间,得到有雾图像对应的色调H图像,饱和度S图像以及亮度V图像,其中,设(r,g,b)分别是一个颜色的红、绿和蓝坐标,它们的值是在0到1之间的实数,max等于r,g,b中的最大者,min等于r,g,b中的最小者;
v=max;
S3,分割饱和度图像以及亮度图像,得到多个初始子图像,其中,多个初始子图像包括多个饱和度子图像,多个亮度子图像;
如,可以将S通道图像(同上述饱和度图像)和V通道图像(同上述亮度图像)分别分割为8*8的连续不重叠图像块。
S4,分别将多个初始子图像中像素点分别对应的初始灰度值减去分别对应的最小灰度值,得到预处理后的多个初始子图像;
S5,对于预处理后的多个初始子图像中任意一个初始子图像,获取初始子图像的像素点灰度统计数据,以及与初始子图像对应的灰度阈值;
S6,确定超出灰度阈值的极限灰度值;
S7,确定极限灰度值的总和值分摊至初始子图像中每个像素点上的灰度平均值为预定灰度值;
S8,分别将多个初始子图像中像素点分别对应的初始灰度值减去分别对应的预定灰度值,得到多个目标子图像;
需要说明的是,图4是本发明可选实施方式提供的灰度值处理示意图,上述步骤S5-S8如图4所示,首先,可以获取初始子图像的像素点灰度统计数据,得到与多个初始子图像分别对应的直方图,从直方图可以看出,灰度一般集中在一部分区域,如果一幅图片整体很亮,那所有的像素值应该都会很高。但是一副高质量的图像的像素值分布应该很广泛。此时,可以根据实际的应用与场景,将灰度值进行处理。在直方图上的体现即为对直方图做了一个横向拉伸,进行直方图均衡化,从而达到对初始子图像进行一个均衡化的处理。
举例说明,可以设置Tc=max(预定值,Td×h×w/M),其中Td为设置的受限阈值,为直方图上方阈值,例如,在该例中为2.0,预定值可以为1,h为图像块高度总和,w为图像块宽度总和,M为每个图像块内像素总和,Tc为计算公式,每一个像素点灰度表示方式,或计算公式。目的是将上方高出阈值的灰度进行裁剪再重新分配到其他地方,从而进行均衡化。
还需要说明的是,由于本方案是对多个初始子图像分别进行的均衡化,而不是直接在全图进行均衡化,能够使得最终图像呈现出的效果更好。
S9,依据多个目标子图像,得到目标饱和度图像以及目标亮度图像;
S10,依据色调图像,目标饱和度图像以及目标亮度图像,得到初始去雾图像;
可以理解为,将H通道图像,以及处理后的S通道图像和V通道图像重新拼接为HSV图像,并将其重新转换到RGB空间,得到初始去雾图像。
S11,将初始去雾图像进行傅里叶变换,得到傅里叶变换图像;
如,设定将给定图像,即初始去雾图像为f(x,y),将其进行傅里叶变换DFT,得到F(u,v);
S12,平移傅里叶变换图像,得到平移图像,其中,平移图像中频率为预定值的直流分量在平移图像的中心位置;
如,将F(u,v)沿两个方向,即宽、高上平移得到,目的是将频率为0的直流分量由图像左上角平移到图像中央,得到图像Fs(u,v);
S13,依据预定矩形窗口对平移图像进行掩膜处理,得到高通滤波图像;
如,在图像Fs(u,v)上使用60×60的矩形窗口对图像进行掩模操作,去除低频分量得到高频滤波图像。即Gs(u,v)=H(u,v)Fs(u,v),H(u,v)为窗口函数;
S14,逆向平移高通滤波图像,得到逆平移图像;
如,将Gs(u,v)进行逆向平移,又将直流分量分布到左上角,得到G(u,v);
S15,对逆平移图像进行傅里叶逆变换,对逆平移图像进行傅里叶逆变换,得到滤波处理图像;
如,将G(u,v)进行傅里叶逆变换,得到高频滤波后的图像gp=real[F-1G(u,v)]。
需要说明的是,图5是本发明可选实施方式提供的高频滤波效果示意图,图5(a)是本发明可选实施方式提供的高频滤波前的示意图,图5(b)是本发明可选实施方式提供的高频滤波后的示意图,如图5(a)(b)所示,能够得到更佳的图像处理效果。
S16,依据滤波处理图像,色调图像,目标饱和度图像以及目标亮度图像,得到目标去雾图像。
如,拼合色调图像,目标饱和度图像以及目标亮度图像得到HSV图像,将两个图像进行位与运算,增强图像的边缘信息,所得结果即为最后的去雾图像。
通过上述可选实施方式,可以达到至少以下几点有益效果:
(1)相关技术中的CLAHE去雾方法,颜色会产生畸变,相关技术中研究统计出在无雾图像中局部区域存在一些像素,这些像素中至少有一个颜色通道的亮度值非常低。并且图像雾的浓度与亮度和饱和度之成正比。目前去雾的先验知识都在说明雾会影响图像的颜色、饱和度和亮度,它们之间具有很强的耦合性。有雾图像和无雾图像在RGB空间下很难分解出这三种因素的差别,因此为了更好地的分离它们的差异,本发明可选实施方式将图像由RGB空间转换到对颜色,饱和度更加敏感的HSV空间下,提升了去雾图像的颜色恢复,降低了之前方法颜色畸变问题。
(2)雾在图像上所表现出的是对背景信息的遮盖和对边缘信息的模糊。现有去雾方法会导致图像边缘模糊,纹理不清等问题。本发明可选实施方式通过对图像进行高频率波保留出图像边缘信息,并通过图像融合增强去雾图像的去雾效果。
(3)本发明可选实施方式提出了一种基于高频信息和HSV先验的CLAHE去雾算法。通过利用高频信息保留图像轮廓信息,利用HSV下易于进行饱和度和亮度操作的先验知识进行图像去雾。通过实验证明了增加高频信息和HSV先验知识的CLAHE直方图均衡化算法在图像对比度、亮度和轮廓细节纹理恢复上具有较好的效果,视觉效果大大得到提升。先前的去雾算法也有应用频率信息或将图像转换到HSV进行去雾的研究,但其并无利用高频信息进行特征补充,HSV也没有分析对雾在饱和度和亮度上的先验优势,因此将视觉先验知识与图像处理相结合的算法具备突出的效果和显著的进步,并且快速高效的去雾方式使其具备很高的实用性。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
实施例2
根据本发明实施例,还提供了一种用于实施上述有雾图像的去雾方法的装置,图6是根据本发明实施例的有雾图像的去雾装置的结构框图,如图6所示,该装置包括:获取模块602,第一确定模块604,分割模块606,第二确定模块608,调整模块610和第三确定模块612,下面对该装置进行详细说明。
获取模块602,用于获取有雾图像;第一确定模块604,连接于上述获取模块602,用于确定有雾图像对应的色调图像,饱和度图像以及亮度图像;分割模块606,连接于上述第一确定模块604,用于分割饱和度图像以及亮度图像,得到多个初始子图像,其中,多个初始子图像包括多个饱和度子图像,多个亮度子图像;第二确定模块608,连接于上述分割模块606,用于确定多个初始子图像中像素点分别对应的初始灰度值;调整模块610,连接于上述第二确定模块608,用于分别对多个初始子图像中像素点分别对应的初始灰度值进行调整,得到多个目标子图像,其中,多个目标子图像中像素点分别对应的灰度值为分别对应的目标灰度值,分别对应的目标灰度值小于分别对应的初始灰度值;第三确定模块612,连接于上述调整模块610,用于依据色调图像与多个目标子图像,得到目标去雾图像。
此处需要说明的是,上述获取模块602,第一确定模块604,分割模块606,第二确定模块608,调整模块610和第三确定模块612对应于实施有雾图像的去雾方法中的步骤S102至步骤S112,多个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。
实施例3
根据本发明实施例的另外一个方面,还提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器,其中,处理器被配置为执行指令,以实现上述任一项的有雾图像的去雾方法。
实施例4
根据本发明实施例的另外一个方面,还提供了一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一项的有雾图像的去雾方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种有雾图像的去雾方法,其特征在于,包括:
获取有雾图像;
确定所述有雾图像对应的色调图像,饱和度图像以及亮度图像;
分割所述饱和度图像以及亮度图像,得到多个初始子图像,其中,所述多个初始子图像包括多个饱和度子图像,多个亮度子图像;
确定所述多个初始子图像中像素点分别对应的初始灰度值;
分别对所述多个初始子图像中像素点分别对应的初始灰度值进行调整,得到多个目标子图像,其中,所述多个目标子图像中像素点分别对应的灰度值为分别对应的目标灰度值,所述分别对应的目标灰度值小于所述分别对应的初始灰度值;
依据所述色调图像与所述多个目标子图像,得到目标去雾图像。
2.根据权利要求1所述的方法,其特征在于,所述分别对所述多个初始子图像中像素点分别对应的初始灰度值进行调整,得到多个目标子图像,包括:
确定与所述多个初始子图像分别对应的预定灰度值;
分别将所述多个初始子图像中像素点分别对应的初始灰度值减去所述分别对应的预定灰度值,得到所述多个目标子图像。
3.根据权利要求2所述的方法,其特征在于,所述确定与所述多个初始子图像分别对应的预定灰度值,包括:
对于所述多个初始子图像中任意一个初始子图像,获取所述初始子图像的像素点灰度统计数据,以及与所述初始子图像对应的灰度阈值;
确定超出所述灰度阈值的极限灰度值;
确定所述极限灰度值的总和值分摊至所述初始子图像中每个像素点上的灰度平均值为所述预定灰度值。
4.根据权利要求1所述的方法,其特征在于,所述依据所述色调图像与所述多个目标子图像,得到目标去雾图像,包括:
依据所述多个目标子图像,得到目标饱和度图像以及目标亮度图像;
依据所述色调图像,所述目标饱和度图像以及所述目标亮度图像,得到所述目标去雾图像。
5.根据权利要求4所述的方法,其特征在于,所述依据所述色调图像,所述目标饱和度图像以及所述目标亮度图像,得到所述目标去雾图像,包括:
依据所述色调图像,所述目标饱和度图像以及所述目标亮度图像,得到初始去雾图像;
将所述初始去雾图像进行傅里叶变换,得到傅里叶变换图像;
平移所述傅里叶变换图像,得到平移图像,其中,所述平移图像中频率为预定值的直流分量在所述平移图像的中心位置;
依据预定矩形窗口对所述平移图像进行掩膜处理,得到高通滤波图像;
逆向平移所述高通滤波图像,得到逆平移图像;
对所述逆平移图像进行傅里叶逆变换,得到所述目标去雾图像。
6.根据权利要求4所述的方法,其特征在于,所述依据所述多个目标子图像,得到目标饱和度图像以及目标亮度图像,包括:
在所述多个目标子图像包括多个目标饱和度子图像,多个目标亮度子图像的情况下,将所述多个目标饱和度子图像拼合为初始饱和度图像,并将所述多个目标亮度子图像拼合为初始亮度图像;
分别对所述初始饱和度图像以及所述初始亮度图像的拼合边缘处进行边缘过渡处理,得到所述目标饱和度图像以及所述目标亮度图像。
7.根据权利要求5所述的方法,其特征在于,所述对所述逆平移图像进行傅里叶逆变换,得到所述目标去雾图像,包括:
对所述逆平移图像进行傅里叶逆变换,得到滤波处理图像;
依据所述滤波处理图像,所述色调图像,所述目标饱和度图像以及所述目标亮度图像,得到所述目标去雾图像。
8.一种有雾图像的去雾装置,其特征在于,包括:
获取模块,用于获取有雾图像;
第一确定模块,用于确定所述有雾图像对应的色调图像,饱和度图像以及亮度图像;
分割模块,用于分割所述饱和度图像以及亮度图像,得到多个初始子图像,其中,所述多个初始子图像包括多个饱和度子图像,多个亮度子图像;
第二确定模块,用于确定所述多个初始子图像中像素点分别对应的初始灰度值;
调整模块,用于分别对所述多个初始子图像中像素点分别对应的初始灰度值进行调整,得到多个目标子图像,其中,所述多个目标子图像中像素点分别对应的灰度值为分别对应的目标灰度值,所述分别对应的目标灰度值小于所述分别对应的初始灰度值;
第三确定模块,用于依据所述色调图像与所述多个目标子图像,得到目标去雾图像。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的有雾图像的去雾方法。
10.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至7中任一项所述的有雾图像的去雾方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311360906.XA CN117649360A (zh) | 2023-10-19 | 2023-10-19 | 有雾图像的去雾方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311360906.XA CN117649360A (zh) | 2023-10-19 | 2023-10-19 | 有雾图像的去雾方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117649360A true CN117649360A (zh) | 2024-03-05 |
Family
ID=90042242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311360906.XA Pending CN117649360A (zh) | 2023-10-19 | 2023-10-19 | 有雾图像的去雾方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117649360A (zh) |
-
2023
- 2023-10-19 CN CN202311360906.XA patent/CN117649360A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Parthasarathy et al. | An automated multi scale retinex with color restoration for image enhancement | |
US7881554B2 (en) | Method for correcting a digital image | |
WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
CN108027961B (zh) | 用于从数字图像提供扩展的动态范围图像的方法和装置 | |
CN106846276B (zh) | 一种图像增强方法及装置 | |
US20130064448A1 (en) | Image chroma noise reduction | |
US20110285871A1 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
KR101621614B1 (ko) | 디지털 이미지 향상 방법 및 장치와, 이를 이용한 영상 처리 장치 | |
US20080291287A1 (en) | Dynamic Range Compensation by Filter Cascade | |
JP2001126075A (ja) | 画像処理方法および装置並びに記録媒体 | |
Jang et al. | Adaptive color enhancement based on multi-scaled Retinex using local contrast of the input image | |
Fang et al. | A method to improve the image enhancement result based on image fusion | |
Lal et al. | Automatic method for contrast enhancement of natural color images | |
CN114037641A (zh) | 一种低照度图像增强方法、装置、设备及介质 | |
Albu et al. | One scan shadow compensation and visual enhancement of color images | |
Han et al. | Automatic illumination and color compensation using mean shift and sigma filter | |
CN110298812B (zh) | 一种图像融合处理的方法及装置 | |
Asari et al. | Nonlinear enhancement of extremely high contrast images for visibility improvement | |
Choudhury et al. | Perceptually motivated automatic color contrast enhancement | |
CN111598794A (zh) | 一种去除水下重叠情况的图像成像方法及装置 | |
CN117649360A (zh) | 有雾图像的去雾方法、装置及电子设备 | |
Terai et al. | Color image contrast enhancement by retinex model | |
RU2383924C2 (ru) | Способ адаптивного повышения резкости цифровых фотографий в процессе печати | |
CN109167892B (zh) | 一种视频图像细节增强方法与系统 | |
Corchs et al. | Enhancing underexposed images preserving the original mood |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |