CN110738624A - 一种区域自适应的图像去雾系统及方法 - Google Patents
一种区域自适应的图像去雾系统及方法 Download PDFInfo
- Publication number
- CN110738624A CN110738624A CN201910995780.0A CN201910995780A CN110738624A CN 110738624 A CN110738624 A CN 110738624A CN 201910995780 A CN201910995780 A CN 201910995780A CN 110738624 A CN110738624 A CN 110738624A
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- defogging
- texture
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 26
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 230000003044 adaptive effect Effects 0.000 claims abstract description 12
- 238000001228 spectrum Methods 0.000 claims description 98
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 27
- 230000004913 activation Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 5
- 230000008439 repair process Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000411 transmission spectrum Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000003897 fog Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种区域自适应的图像去雾系统,包括预去雾模块、与所述预去雾模块连接的自适应区域划分模块、分别与所述自适应区域划分模块连接的余雾去除模块和纹理修复模块,以及分别与所述余雾去除模块和纹理修复模块连接的特征融合模块。基于上述系统,本方法还公开了一种区域自适应的图像去雾方法。本发明通过将图像去雾和纹理修复解耦到两个不同的子模块来处理单图像去雾问题,避免了之前的方法只使用一个网络来学习两个不同的目标函数,提出的两阶段去雾网络能够通过区域自适应的方式来恢复清晰图像,并避免过去雾与欠去雾问题。
Description
技术领域
本发明属于图像修复领域,尤其涉及一种区域自适应的图像去雾系统及方法。
背景技术
在现实生活中,雾、烟、尘等不透明的微小颗粒的存在使得拍摄得到的图像会产生一定程度的视觉质量降级(如颜色偏移,亮度和对比度变化)。由于许多的计算机视觉任务(如目标检测,语义分割,目标跟踪,自动驾驶)依赖清晰的图像作为训练样本,因此,图像去雾作为一个预处理步骤具有非常重大的意义。给定一张有雾图片,传统的去雾方法首先估计介质透射谱和全局大气光强度,然后利用大气散射模型来得到清晰无雾的图像;许多深度学习方法直接回归介质透射谱或清晰图像来提高去雾的性能。但是之前的方法试图用一个网络来同时处理去雾和纹理恢复问题,忽略了两个不同的目标函数之间潜在的对抗性,在恢复有雾图片的亮度时不可避免地牺牲了纹理细节,或者在通过对比度增强恢复纹理细节同时不能完全去除雾,即表现为过去雾和欠去雾现象。
因此,本发明提出了一种区域自适应的两阶段图像去雾方法,通过将图像去雾任务解耦成图像去雾和纹理修复两个子任务,来避免过去雾与欠去雾问题,并提高去雾的效果与性能。
发明内容
针对现有技术中的上述不足,本发明提供的一种区域自适应的图像去雾系统及方法,解决了传统去雾方法中过去雾和欠去雾的问题。
为了达到以上目的,本发明采用的技术方案为:
本方案提供一种区域自适应的图像去雾系统,包括一种区域自适应的图像去雾系统,其特征在于,包括预去雾模块、与所述预去雾模块连接的自适应区域划分模块、分别与所述自适应区域划分模块连接的余雾去除模块和纹理修复模块,以及分别与所述余雾去除模块和纹理修复模块连接的特征融合模块,其中:
所述预去雾模块用于对有雾图片进行预去雾处理,得到有雾图片最初的中间去雾结果和纹理损失谱;
所述自适应区域划分模块用于利用纹理损失谱将最初的中间去雾结果划分为欠去雾区域和纹理损失区域;
所述余雾去除模块用于对欠去雾区域进行余雾处理,并提取经余雾处理后的特征谱;
所述纹理修复模块利用纹理损失区域对有雾图片进行纹理修复,并提取经纹理修复后的特征谱;
所述特征融合模块用于将经余雾处理后的特征谱和经纹理修复后的特征谱进行级联处理,并依次通过第九卷积单元和第十卷积单元将融合后的特征谱映射至图像空间,得到最终的去雾图像。
进一步地,所述预去雾模块包括第一输入层、与所述第一输入层连接的第一卷积单元、与所述第一卷积单元连接的第二卷积单元、分别与所述第二卷积单元连接的第一平滑空洞卷积残差块和第三卷积单元、与所述第一平滑空洞卷积残差块连接的第二平滑空洞卷积残差块、与所述第三卷积单元连接的第四卷积单元、分别与所述第二平滑空洞卷积残差块和第四卷积单元连接的第一反卷积单元、与所述第一反卷积单元连接的第五卷积单元、分别与所述第五卷积单元连接的第六卷积单元和第七卷积单元,以及分别与所述第六卷积单元和第七卷积单元连接的第一输出层,其中:
所述第一卷积单元包括依次连接的第一卷积层、第一激活函数层Relu和第一归一化层BN,所述第一卷积层的卷积核大小为3×3,步长为1,输入通道数为4,输出通道数为32;
所述第二卷积单元包括依次连接的第二卷积层、第二激活函数层Relu和第二归一化层BN,所述第二卷积层的卷积核大小为3×3,步长为2,输入通道数为32,输出通道数为64;
所述第三卷积单元包括依次连接的第三卷积层、第三激活函数层Relu和第三归一化层BN,所述第三卷积层的卷积核大小为3×3,步长为1,输入通道数为64,输出通道数为64;
所述第四卷积单元包括依次连接的第四卷积层、第四激活函数层Relu和第四归一化层BN,所述第四卷积层的卷积核大小为3×3,步长为1,输入通道数为64,输出通道数为64;
所述第五卷积单元包括依次连接的第五卷积层、第五激活函数层Relu和第五归一化层BN,所述第五卷积层的卷积核大小为3×3,步长为1,输入通道数为32,输出通道数为32;
所述第六卷积单元包括依次连接的第六卷积层、第六激活函数层Relu和第六归一化层BN,所述第六卷积层的卷积核大小为1×1,步长为1,输入通道数为32,输出通道数为3;
所述第七卷积单元包括依次连接的第七卷积层、第七激活函数层Relu和第七归一化层BN,所述第七卷积层的卷积核大小为3×3,步长为1,输入通道数为32,输出通道数为1;
所述第一平滑空洞卷积残差块的输入通道数和输出通道数均为64,空洞率为2;
所述第二平滑空洞卷积残差块的输入通道数和输出通道数均为64,空洞率为4;
所述第一反卷积单元包括依次连接的第一反卷积层、激活函数层Relu和归一化层BN,所述第一反卷积层的卷积核大小为4×4,步长为2,输入通道数为64,输出通道数为32。
再进一步地,所述余雾去除模块包括依次连接的第八卷积层、第八激活函数层Relu和第八归一化层BN,所述第八卷积层的卷积核大小为3×3,步长为1,输入通道数为3,输出通道数为16;
所述纹理修复模块为多尺度融合网络,其中:骨干网为UNET++网络,网络的底部级联有10个残差块。
再进一步地,所述特征融合模块包括依次连接的第二输入层、第九卷积单元、第十卷积单元和第二输出层,其中:
所述第九卷积单元包括依次连接的第九卷积层、第九激活函数层Relu和第九归一化层BN,所述第九卷积层的卷积核大小为3×3,步长为1,输入通道数为32,输出通道数为32;
所述第十卷积单元包括依次连接的第十卷积层、第十激活函数层Relu和第十归一化层BN,所述第十卷积层的卷积核大小为1×1,步长为1,输入通道数为32,输出通道数为3。
再进一步地,所述图像去雾系统的损失函数的表达式如下:
Losstotal=λ1·Lossmid+Lossfinal
其中,Losstotal表示图像去雾系统的损失函数,λ1表示超参数,Lossmid表示最初的中间去雾结果与真值的均方误差,Lossfinal表示最终的去雾图像与真值的均方误差,W,H分别表示输入有雾图像的宽度和高度,x,y分别表示水平和垂直方向的坐标,I表示最初的中间去雾结果,C表示最终的中间去雾结果,J表示有雾图片对应的清晰图片。
基于上述系统,本发明还公开了一种区域自适应的图像去雾方法,包括如下步骤:
S1、对有雾图片进行预去雾处理,得到有雾图片最初的中间去雾结果和纹理损失谱;
S2、利用纹理损失谱将所述最初的中间去雾结果划分成欠去雾区域和纹理损失区域;
S3、对所述欠去雾区域进行余雾去除处理,并提取经余雾处理后的特征谱;
S4、利用纹理损失区域对有雾图片进行纹理修复,并提取经纹理修复后的特征谱;
S5、对经余雾处理后的特征谱和经纹理修复后的特征谱进行级联处理,并依次通过第八卷积单元和第九卷积单元将融合后的特征谱映射至图像空间,得到最终的去雾图像,从而完成区域自适应的图像去雾。
进一步地,所述步骤S1包括如下步骤:
S101、利用梯度算子方法计算每张有雾图片对应的梯度谱;
S102、将所述有雾图片及其对应的梯度谱依次通过第一卷积单元和第二卷积单元映射至图像特征空间,得到有雾图片的特征谱;
S103、将所述有雾图片的特征谱分别输入至两个分支,其一个分支依次通过第一平滑空洞卷积残差块和第二平滑空洞卷积残差块提取特征谱中的语义信息和上下文信息,另一分支依次通过第三卷积单元和第四卷积单元提取特征谱中的边缘信息和纹理信息;
S104、将所述语义信息、上下文信息、边缘信息和纹理信息,通过逐像素相加进行融合处理,并利用第一反卷积单元将进行融合后的特征谱的分辨率放大2倍;
S105、将放大后的特征谱通过第五卷积单元进行特征映射,并将映射后的特征谱分别输入至第六卷积单元和第七卷积单元得到有雾图片最初的中间去雾结果和纹理损失谱。
再进一步地,所述步骤S101中梯度谱M(x,y)的表达式如下:
gx=f(x+1,y)-f(x,y)
gy=f(x,y+1)-f(x,y)
其中,gx表示有雾图片在坐标(x,y)处的水平方向梯度,gy有雾图片在坐标(x,y)处的垂直方向梯度,f表示宽度与高度的二维图像平面。
再进一步地,所述步骤S2包括如下步骤:
S201、根据纹理损失谱M和最初的中间去雾结果I计算得到纹理损失区域O,其表达式如下:
S202、根据纹理损失谱1-M和最初的中间去雾结果I计算得到欠去雾区域U,其表达式如下:
再进一步地,所述步骤S4中提取经纹理修复后的特征谱xi,j的表达式如下:
其中,xi,j表示经i次下采样和j次特征融合过后的特征谱,F表示一个最大池化层和两个级联的3×3的卷积层,G表示两个级联的3×3的卷积层,R表示10个级联的残差块,代表特征谱级联,U表示上采样层,i表示下采样的层数,j表示特征融合的次数,且i=0,1,2,3,4,j=0,1,2,3,4。
本发明的有益效果:
(1)本发明是一种单图像去雾方法,将图像去雾问题解耦成去雾和纹理修复两个子问题,并用分别两个进行处理,避免了采用单阶段去雾网络在去雾的同时导致纹理失真的问题,或在修复纹理的同时不能完全去除雾,即学习不同目标函数时存在的潜在对抗性,有效地解决了过去雾与欠去雾问题。
(2)本发明利用预去雾生成纹理损失谱,并通过纹理损失谱将中间去雾结果自适应的分成欠去雾和纹理损失区域,来分别进行二次去雾和纹理修复,因此,能够以区域自适应的方式实现单图像去雾,并提高去雾结果的主观效果和客观指标。
附图说明
图1为本发明的系统结构图。
图2为本发明中预去雾模块结构图。
图3为本发明中特征谱融合模块结构图。
图4为本发明的方法流程图。
图5为本发明中自适应区域划分框图。
图6为本发明中纹理修复模块结构图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
实施例
本发明提供了一种区域自适应的图像去雾系统,通过将图像去雾和纹理修复分别进行解耦以处理单图像去雾问题,避免了传统的方法中只用一个网络来学习两个不同的目标函数,提出的两阶段去雾网络能够通过区域自适应的方式来恢复清晰图像,并避免过去雾与欠去雾问题,本发明中,过去雾指去雾时造成了颜色失真和纹理损失。欠去雾指没有完全去除雾,仍有余雾残留。一种区域自适应的图像去雾方法,其结构如图1所示,包括预去雾模块、与所述预去雾模块连接的自适应区域划分模块、分别与所述自适应区域划分模块连接的余雾去除模块和纹理修复模块,以及分别与所述余雾去除模块和纹理修复模块连接的特征融合模块,所述预去雾模块用于对有雾图片进行预去雾处理,得到有雾图片最初的中间去雾结果和纹理损失谱;所述自适应区域划分模块用于利用纹理损失谱将最初的中间去雾结果划分为欠去雾区域和纹理损失区域;所述余雾去除模块用于对欠去雾区域进行余雾处理,并提取经余雾处理后的特征谱;所述纹理修复模块利用纹理损失区域对有雾图片进行纹理修复,并提取经纹理修复后的特征谱;所述特征融合模块用于将经余雾处理后的特征谱和经纹理修复后的特征谱进行级联处理,并依次通过第九卷积单元和第十卷积单元将融合后的特征谱映射至图像空间,得到最终的去雾图像。
如图2所示,所述预去雾模块包括第一输入层、与第一所述输入层连接的第一卷积单元、与所述第一卷积单元连接的第二卷积单元、分别与所述第二卷积单元连接的第一平滑空洞卷积残差块和第三卷积单元、与所述第一平滑空洞卷积残差块连接的第二平滑空洞卷积残差块、与所述第三卷积单元连接的第四卷积单元、分别与所述第二平滑空洞卷积残差块和第四卷积单元连接的第一反卷积单元、与所述第一反卷积单元连接的第五卷积单元、分别与所述第五卷积单元连接的第六卷积单元和第七卷积单元,以及分别与所述第六卷积单元和第七卷积单元连接的第一输出层,所述第一卷积单元包括依次连接的第一卷积层、第一激活函数层Relu和第一归一化层BN,所述第一卷积层的卷积核大小为3×3,步长为1,输入通道数为4,输出通道数为32;所述第二卷积单元包括依次连接的第二卷积层、第二激活函数层Relu和第二归一化层BN,所述第二卷积层的卷积核大小为3×3,步长为2,输入通道数为32,输出通道数为64;所述第三卷积单元包括依次连接的第三卷积层、第三激活函数层Relu和第三归一化层BN,所述第三卷积层的卷积核大小为3×3,步长为1,输入通道数为64,输出通道数为64;所述第四卷积单元包括依次连接的第四卷积层、第四激活函数层Relu和第四归一化层BN,所述第四卷积层的卷积核大小为3×3,步长为1,输入通道数为64,输出通道数为64;所述第五卷积单元包括依次连接的第五卷积层、第五激活函数层Relu和第五归一化层BN,所述第五卷积层的卷积核大小为3×3,步长为1,输入通道数为32,输出通道数为32;所述第六卷积单元包括依次连接的第六卷积层、第六激活函数层Relu和第六归一化层BN,所述第六卷积层的卷积核大小为1×1,步长为1,输入通道数为32,输出通道数为3;所述第七卷积单元包括依次连接的第七卷积层、第七激活函数层Relu和第七归一化层BN,所述第七卷积层的卷积核大小为3×3,步长为1,输入通道数为32,输出通道数为1;所述第一平滑空洞卷积残差块的输入通道数和输出通道数均为64,空洞率为2;所述第二平滑空洞卷积残差块的输入通道数和输出通道数均为64,空洞率为4;所述第一反卷积单元包括依次连接的第一反卷积层、激活函数层Relu和归一化层BN,所述第一反卷积层的卷积核大小为4×4,步长为2,输入通道数为64,输出通道数为32。所述余雾去除模块包括依次连接的第八卷积层、第八激活函数层Relu和第八归一化层BN,所述第八卷积层的卷积核大小为3×3,步长为1,输入通道数为3,输出通道数为16。所述纹理修复模块为多尺度融合网络,其中:骨干网为UNET++网络,网络的底部级联有10个残差块。
如图3所示,所述特征融合模块包括依次连接的第二输入层、第九卷积单元、第十卷积单元和第二输出层,所述第九卷积单元包括依次连接的第九卷积层、第九激活函数层Relu和第九归一化层BN,所述第九卷积层的卷积核大小为3×3,步长为1,输入通道数为32,输出通道数为32;所述第十卷积单元包括依次连接的第十卷积层、第十激活函数层Relu和第十归一化层BN,所述第十卷积层的卷积核大小为1×1,步长为1,输入通道数为32,输出通道数为3。
本实施例中,整个图像去雾系统的损失函数由两部分组成:(1)预去雾结果与清晰图片之间的均方误差Lossmid,通过该损失来优化预去雾模块的网络参数,使预去雾模块输出的预测结果逼近清晰无雾图片。(2)整个去雾网络输出的最终去雾结果与清晰图片之间的均方误差Lossfinal,该损失不断优化整个去雾网络的参数,使其能够自适应学习预去雾结果中可能发生的纹理损失的区域(纹理损失谱),通过纹理损失谱将预去雾结果划分成两个子区域,分别进行余雾去除和纹理修复,从而恢复清晰无雾的图片。其中,整个图像去雾系统的损失函数的表达式如下:
Losstotal=λ1·Lossmid+Lossfinal
其中,Losstotal表示图像去雾系统的损失函数,λ1表示超参数,Lossmid表示最初的中间去雾结果与真值的均方误差,Lossfinal表示最终的去雾图像与真值的均方误差,W,H分别表示输入有雾图像的宽度和高度,x,y分别表示水平和垂直方向的坐标,I表示最初的中间去雾结果,C表示最终的中间去雾结果,J表示有雾图片对应的清晰图片。
如图4所示,基于上述系统,本发明还公开了一种区域自适应的图像去雾方法,其实现方法如下:
S1、对有雾图片进行预去雾处理,得到有雾图片最初的中间去雾结果和纹理损失谱,其实现方法如下:
S101、利用梯度算子方法计算每张有雾图片对应的梯度谱,所述梯度谱M(x,y)的表达式如下:
gx=f(x+1,y)-f(x,y)
gy=f(x,y+1)-f(x,y)
其中,gx表示有雾图片在坐标(x,y)处的水平方向梯度,gy有雾图片在坐标(x,y)处的垂直方向梯度,x的范围为[0,W],y的范围为[0,H],f表示宽度与高度的二维图像平面;
S102、将所述有雾图片及其对应的梯度谱依次通过第一卷积单元和第二卷积单元映射至图像特征空间,得到有雾图片的特征谱,第四卷积单元的卷积步长为2,使得特征谱的分辨率降为原图的1/2;
S103、将所述有雾图片的特征谱分别输入至两个分支,其一个分支依次通过第一平滑空洞卷积残差块和第二平滑空洞卷积残差块提取特征谱中的语义信息和上下文信息,另一分支依次通过第三卷积单元和第四卷积单元提取特征谱中的边缘信息和纹理信息;
S104、将所述一个分支提取特征谱中的语义信息和上下文信息和另一分支提取特征谱中的边缘信息和纹理信息,通过逐像素相加进行融合处理,并利用第一反卷积单元将进行融合后的特征谱的分辨率放大2倍;
S105、将放大后的特征谱通过第五卷积单元进行特征映射,并将映射后的特征谱分别输入至第六卷积单元和第七卷积单元得到有雾图片最初的中间去雾结果和纹理损失谱。
本实施例中,为减小的计算复杂度,预去雾模块采用轻量级的网络架构,网络输入为有雾图片及其对应的梯度谱,网络输出为中间去雾结果(3,H,W)和纹理损失谱(1,H,W),其中,H、W分别为输入图像的高度和宽度。纹理损失谱为单通道图像,像素值较大的区域属于过去雾区域,存在纹理失真现象;像素值较小的区域属于欠去雾区域,表明仍有雾残留。该模块具有多尺度感受野,能够有效捕捉高级的上下文信息和低级的纹理、边缘信息,其具体网络框图如图2所示。本实施例中,第一卷积单元和第二卷积单元卷积Conv,实例归一化IN,激活函数Relu将输入信号映射到特征空间。
S2、如图5所示,利用纹理损失谱将所述最初的中间去雾结果划分成欠去雾区域和纹理损失区域,其实现方法如下:
S201、根据纹理损失谱M和最初的中间去雾结果I计算得到纹理损失区域O,其表达式如下:
其中,表示逐像素相乘;
S202、根据纹理损失谱1-M和最初的中间去雾结果I计算得到欠去雾区域U,其表达式如下:
其中,表示逐像素相乘;
S3、将所述欠去雾区域进行余雾去除处理,提取经余雾处理后的特征谱。
本实施例中,将自适应区域划分输出的过去雾区域进行余雾去除来实现进一步去雾。进行余雾具体为通过一个卷积块(Conv+IN+Relu),对其进行特征提取,输出的特征谱大小为(16,H,W)。
S4、利用纹理损失区域对有雾图片进行纹理修复,提取经纹理修复后的特征谱,所述步骤S4中提取经纹理修复后的特征谱的表达式如下:
其中,xi,j表示经i次下采样和j次特征融合过后的特征谱,F表示一个最大池化层和两个级联的3×3的卷积层,G表示两个级联的3×3的卷积层,R表示10个级联的残差块,代表特征谱级联,U表示上采样层,i表示下采样的层数,j表示特征融合的次数,且i=0,1,2,3,4,j=0,1,2,3,4。
本实施例中,如图6所示,为恢复更加丰富的纹理细节并调整对比度,纹理修复采用多尺度融合网络,使得不同分辨率的特征谱之间的信息相互聚合。骨干网络采用Unet++网络,并在网络的最底部级联10个残差块来增加网络的特征表示能力和纹理修复能力,输出的特征谱大小为(16,H,W),由图6可以看出纹理修改模块输出的特征谱为x0,4
S5、对经余雾处理后的特征谱和经纹理修复后的特征谱进行级联处理,并依次通过第八卷积单元和第九卷积单元将融合后的特征谱映射至图像空间,得到最终的去雾图像,从而完成区域自适应的图像去雾。
Claims (10)
1.一种区域自适应的图像去雾系统,其特征在于,包括预去雾模块、与所述预去雾模块连接的自适应区域划分模块、分别与所述自适应区域划分模块连接的余雾去除模块和纹理修复模块,以及分别与所述余雾去除模块和纹理修复模块连接的特征融合模块,其中:
所述预去雾模块用于对有雾图片进行预去雾处理,得到有雾图片最初的中间去雾结果和纹理损失谱;
所述自适应区域划分模块用于利用纹理损失谱将最初的中间去雾结果划分为欠去雾区域和纹理损失区域;
所述余雾去除模块用于对欠去雾区域进行余雾处理,并提取经余雾处理后的特征谱;
所述纹理修复模块利用纹理损失区域对有雾图片进行纹理修复,并提取经纹理修复后的特征谱;
所述特征融合模块用于将经余雾处理后的特征谱和经纹理修复后的特征谱进行级联处理,并依次通过第九卷积单元和第十卷积单元将融合后的特征谱映射至图像空间,得到最终的去雾图像。
2.根据权利要求1所述的区域自适应的图像去雾系统,其特征在于,所述预去雾模块包括第一输入层、与所述第一输入层连接的第一卷积单元、与所述第一卷积单元连接的第二卷积单元、分别与所述第二卷积单元连接的第一平滑空洞卷积残差块和第三卷积单元、与所述第一平滑空洞卷积残差块连接的第二平滑空洞卷积残差块、与所述第三卷积单元连接的第四卷积单元、分别与所述第二平滑空洞卷积残差块和第四卷积单元连接的第一反卷积单元、与所述第一反卷积单元连接的第五卷积单元、分别与所述第五卷积单元连接的第六卷积单元和第七卷积单元,以及分别与所述第六卷积单元和第七卷积单元连接的第一输出层,其中:
所述第一卷积单元包括依次连接的第一卷积层、第一激活函数层Relu和第一归一化层BN,所述第一卷积层的卷积核大小为3×3,步长为1,输入通道数为4,输出通道数为32;
所述第二卷积单元包括依次连接的第二卷积层、第二激活函数层Relu和第二归一化层BN,所述第二卷积层的卷积核大小为3×3,步长为2,输入通道数为32,输出通道数为64;
所述第三卷积单元包括依次连接的第三卷积层、第三激活函数层Relu和第三归一化层BN,所述第三卷积层的卷积核大小为3×3,步长为1,输入通道数为64,输出通道数为64;
所述第四卷积单元包括依次连接的第四卷积层、第四激活函数层Relu和第四归一化层BN,所述第四卷积层的卷积核大小为3×3,步长为1,输入通道数为64,输出通道数为64;
所述第五卷积单元包括依次连接的第五卷积层、第五激活函数层Relu和第五归一化层BN,所述第五卷积层的卷积核大小为3×3,步长为1,输入通道数为32,输出通道数为32;
所述第六卷积单元包括依次连接的第六卷积层、第六激活函数层Relu和第六归一化层BN,所述第六卷积层的卷积核大小为1×1,步长为1,输入通道数为32,输出通道数为3;
所述第七卷积单元包括依次连接的第七卷积层、第七激活函数层Relu和第七归一化层BN,所述第七卷积层的卷积核大小为3×3,步长为1,输入通道数为32,输出通道数为1;
所述第一平滑空洞卷积残差块的输入通道数和输出通道数均为64,空洞率为2;
所述第二平滑空洞卷积残差块的输入通道数和输出通道数均为64,空洞率为4;
所述第一反卷积单元包括依次连接的第一反卷积层、激活函数层Relu和归一化层BN,所述第一反卷积层的卷积核大小为4×4,步长为2,输入通道数为64,输出通道数为32。
3.根据权利要求1所述的区域自适应的图像去雾系统,其特征在于,所述余雾去除模块包括依次连接的第八卷积层、第八激活函数层Relu和第八归一化层BN,所述第八卷积层的卷积核大小为3×3,步长为1,输入通道数为3,输出通道数为16;
所述纹理修复模块为多尺度融合网络,其中:骨干网为UNET++网络,网络的底部级联有10个残差块。
4.根据权利要求1所述的区域自适应的图像去雾系统,其特征在于,所述特征融合模块包括依次连接的第二输入层、第九卷积单元、第十卷积单元和第二输出层,其中:
所述第九卷积单元包括依次连接的第九卷积层、第九激活函数层Relu和第九归一化层BN,所述第九卷积层的卷积核大小为3×3,步长为1,输入通道数为32,输出通道数为32;
所述第十卷积单元包括依次连接的第十卷积层、第十激活函数层Relu和第十归一化层BN,所述第十卷积层的卷积核大小为1×1,步长为1,输入通道数为32,输出通道数为3。
6.一种区域自适应的图像去雾方法,其特征在于,包括如下步骤:
S1、对有雾图片进行预去雾处理,得到有雾图片最初的中间去雾结果和纹理损失谱;
S2、利用纹理损失谱将所述最初的中间去雾结果划分成欠去雾区域和纹理损失区域;
S3、对所述欠去雾区域进行余雾去除处理,并提取经余雾处理后的特征谱;
S4、利用纹理损失区域对有雾图片进行纹理修复,并提取经纹理修复后的特征谱;
S5、对经余雾处理后的特征谱和经纹理修复后的特征谱进行级联处理,并依次通过第八卷积单元和第九卷积单元将融合后的特征谱映射至图像空间,得到最终的去雾图像,从而完成区域自适应的图像去雾。
7.根据权利要求6所述的区域自适应的图像去雾方法,其特征在于,所述步骤S1包括如下步骤:
S101、利用梯度算子方法计算每张有雾图片对应的梯度谱;
S102、将所述有雾图片及其对应的梯度谱依次通过第一卷积单元和第二卷积单元映射至图像特征空间,得到有雾图片的特征谱;
S103、将所述有雾图片的特征谱分别输入至两个分支,其一个分支依次通过第一平滑空洞卷积残差块和第二平滑空洞卷积残差块提取特征谱中的语义信息和上下文信息,另一分支依次通过第三卷积单元和第四卷积单元提取特征谱中的边缘信息和纹理信息;
S104、将所述语义信息、上下文信息、边缘信息和纹理信息,通过逐像素相加进行融合处理,并利用第一反卷积单元将进行融合后的特征谱的分辨率放大2倍;
S105、将放大后的特征谱通过第五卷积单元进行特征映射,并将映射后的特征谱分别输入至第六卷积单元和第七卷积单元得到有雾图片最初的中间去雾结果和纹理损失谱。
8.根据权利要求7所述的区域自适应的图像去雾方法,其特征在于,所述步骤S101中梯度谱M(x,y)的表达式如下:
gx=f(x+1,y)-f(x,y)
gy=f(x,y+1)-f(x,y)
其中,gx表示有雾图片在坐标(x,y)处的水平方向梯度,gy有雾图片在坐标(x,y)处的垂直方向梯度,f表示宽度与高度的二维图像平面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910995780.0A CN110738624B (zh) | 2019-10-18 | 2019-10-18 | 一种区域自适应的图像去雾系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910995780.0A CN110738624B (zh) | 2019-10-18 | 2019-10-18 | 一种区域自适应的图像去雾系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110738624A true CN110738624A (zh) | 2020-01-31 |
CN110738624B CN110738624B (zh) | 2022-02-01 |
Family
ID=69270201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910995780.0A Active CN110738624B (zh) | 2019-10-18 | 2019-10-18 | 一种区域自适应的图像去雾系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110738624B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554872A (zh) * | 2021-07-19 | 2021-10-26 | 昭通亮风台信息科技有限公司 | 一种位于交通路口及弯道的检测预警方法及系统 |
CN113554571A (zh) * | 2021-08-11 | 2021-10-26 | 广东工业大学 | 一种图像去雾方法、装置、电子设备及存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254313A (zh) * | 2011-07-14 | 2011-11-23 | 浙江大学 | 基于雾天图像复原和图像融合的图像去雾方法 |
CN102768760A (zh) * | 2012-07-04 | 2012-11-07 | 电子科技大学 | 一种基于图像纹理的图像快速去雾方法 |
CN102982513A (zh) * | 2012-12-04 | 2013-03-20 | 电子科技大学 | 一种基于纹理的自适应图像去雾方法 |
CN103337054A (zh) * | 2013-06-17 | 2013-10-02 | 西安理工大学 | 基于单图像的二阶段图像去雾方法 |
CN105719247A (zh) * | 2016-01-13 | 2016-06-29 | 华南农业大学 | 基于特征学习的单幅图像去雾方法 |
CN106127715A (zh) * | 2016-08-29 | 2016-11-16 | 程建 | 一种图像去雾方法及系统 |
CN106683052A (zh) * | 2015-11-06 | 2017-05-17 | 奥多比公司 | 使用视觉伪影抑制对照片和视频去雾 |
CN107767353A (zh) * | 2017-12-04 | 2018-03-06 | 河南工业大学 | 一种基于清晰度评价的自适应图像去雾方法 |
CN108230264A (zh) * | 2017-12-11 | 2018-06-29 | 华南农业大学 | 一种基于ResNet神经网络的单幅图像去雾方法 |
CN108447034A (zh) * | 2018-03-13 | 2018-08-24 | 北京航空航天大学 | 一种基于光照分解的海上雾天图像去雾方法 |
CN108564535A (zh) * | 2017-12-15 | 2018-09-21 | 四川大学 | 一种基于深度学习的图像去雾方法 |
CN108734670A (zh) * | 2017-04-20 | 2018-11-02 | 天津工业大学 | 单幅夜间弱照度雾霾图像的复原算法 |
CN109740673A (zh) * | 2019-01-02 | 2019-05-10 | 天津工业大学 | 一种融合暗通道的神经网络烟雾图像分类方法 |
CN109754372A (zh) * | 2018-12-03 | 2019-05-14 | 浙江大华技术股份有限公司 | 一种图像去雾处理方法及装置 |
-
2019
- 2019-10-18 CN CN201910995780.0A patent/CN110738624B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254313A (zh) * | 2011-07-14 | 2011-11-23 | 浙江大学 | 基于雾天图像复原和图像融合的图像去雾方法 |
CN102768760A (zh) * | 2012-07-04 | 2012-11-07 | 电子科技大学 | 一种基于图像纹理的图像快速去雾方法 |
CN102982513A (zh) * | 2012-12-04 | 2013-03-20 | 电子科技大学 | 一种基于纹理的自适应图像去雾方法 |
CN103337054A (zh) * | 2013-06-17 | 2013-10-02 | 西安理工大学 | 基于单图像的二阶段图像去雾方法 |
CN106683052A (zh) * | 2015-11-06 | 2017-05-17 | 奥多比公司 | 使用视觉伪影抑制对照片和视频去雾 |
CN105719247A (zh) * | 2016-01-13 | 2016-06-29 | 华南农业大学 | 基于特征学习的单幅图像去雾方法 |
CN106127715A (zh) * | 2016-08-29 | 2016-11-16 | 程建 | 一种图像去雾方法及系统 |
CN108734670A (zh) * | 2017-04-20 | 2018-11-02 | 天津工业大学 | 单幅夜间弱照度雾霾图像的复原算法 |
CN107767353A (zh) * | 2017-12-04 | 2018-03-06 | 河南工业大学 | 一种基于清晰度评价的自适应图像去雾方法 |
CN108230264A (zh) * | 2017-12-11 | 2018-06-29 | 华南农业大学 | 一种基于ResNet神经网络的单幅图像去雾方法 |
CN108564535A (zh) * | 2017-12-15 | 2018-09-21 | 四川大学 | 一种基于深度学习的图像去雾方法 |
CN108447034A (zh) * | 2018-03-13 | 2018-08-24 | 北京航空航天大学 | 一种基于光照分解的海上雾天图像去雾方法 |
CN109754372A (zh) * | 2018-12-03 | 2019-05-14 | 浙江大华技术股份有限公司 | 一种图像去雾处理方法及装置 |
CN109740673A (zh) * | 2019-01-02 | 2019-05-10 | 天津工业大学 | 一种融合暗通道的神经网络烟雾图像分类方法 |
Non-Patent Citations (3)
Title |
---|
BOLUN CAI 等: "DehazeNet: An End-to-End System for Single Image Haze Removal", 《IEEE》 * |
WEIDONG ZHANG 等: "Single Image Defogging Based on Multi-Channel Convolutional MSRCR", 《IEEE》 * |
李晓戈 等: "基于深度卷积神经网络的图像去雾算法", 《计算机应用与软件》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554872A (zh) * | 2021-07-19 | 2021-10-26 | 昭通亮风台信息科技有限公司 | 一种位于交通路口及弯道的检测预警方法及系统 |
CN113554872B (zh) * | 2021-07-19 | 2022-09-20 | 昭通亮风台信息科技有限公司 | 一种位于交通路口及弯道的检测预警方法及系统 |
CN113554571A (zh) * | 2021-08-11 | 2021-10-26 | 广东工业大学 | 一种图像去雾方法、装置、电子设备及存储介质 |
CN113554571B (zh) * | 2021-08-11 | 2023-07-04 | 广东工业大学 | 一种图像去雾方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110738624B (zh) | 2022-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
Xiao et al. | Fast image dehazing using guided joint bilateral filter | |
Kuanar et al. | Night time haze and glow removal using deep dilated convolutional network | |
EP4109392A1 (en) | Image processing method and image processing device | |
Yang et al. | Joint rain detection and removal via iterative region dependent multi-task learning | |
CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾系统 | |
CN107977942B (zh) | 一种基于多聚焦融合的单幅图像的复原方法 | |
CN109509156B (zh) | 一种基于生成对抗模型的图像去雾处理方法 | |
CN110097522B (zh) | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 | |
CN110544213A (zh) | 一种基于全局和局部特征融合的图像去雾方法 | |
CN109523474A (zh) | 一种基于雾天退化模型的低照度图像增强方法 | |
Qian et al. | CIASM-Net: a novel convolutional neural network for dehazing image | |
CN110738624B (zh) | 一种区域自适应的图像去雾系统及方法 | |
CN114627034A (zh) | 一种图像增强方法、图像增强模型的训练方法及相关设备 | |
Mehra et al. | TheiaNet: Towards fast and inexpensive CNN design choices for image dehazing | |
Das et al. | A comparative study of single image fog removal methods | |
CN110503609B (zh) | 一种基于混合感知模型的图像去雨方法 | |
CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
Ling et al. | Learning deep transmission network for efficient image dehazing | |
Hao et al. | Texture enhanced underwater image restoration via Laplacian regularization | |
Zhang et al. | Enhanced visual perception for underwater images based on multistage generative adversarial network | |
Ding et al. | Restoration of single sand-dust image based on style transformation and unsupervised adversarial learning | |
CN115965844B (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
CN114648467B (zh) | 图像的去雾方法、装置、终端设备及计算机可读存储介质 | |
Chung et al. | A Study of Single Image Haze Removal Using a Novel White-Patch RetinexBased Improved Dark Channel Prior Algorithm. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |