CN111681180B - 先验驱动的深度学习图像去雾方法 - Google Patents
先验驱动的深度学习图像去雾方法 Download PDFInfo
- Publication number
- CN111681180B CN111681180B CN202010451040.3A CN202010451040A CN111681180B CN 111681180 B CN111681180 B CN 111681180B CN 202010451040 A CN202010451040 A CN 202010451040A CN 111681180 B CN111681180 B CN 111681180B
- Authority
- CN
- China
- Prior art keywords
- sub
- image
- defogging
- fog
- priori
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000012805 post-processing Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000011176 pooling Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 42
- 238000002474 experimental method Methods 0.000 description 6
- 239000003595 mist Substances 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012733 comparative method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- RLLPVAHGXHCWKJ-IEBWSBKVSA-N (3-phenoxyphenyl)methyl (1s,3s)-3-(2,2-dichloroethenyl)-2,2-dimethylcyclopropane-1-carboxylate Chemical compound CC1(C)[C@H](C=C(Cl)Cl)[C@@H]1C(=O)OCC1=CC=CC(OC=2C=CC=CC=2)=C1 RLLPVAHGXHCWKJ-IEBWSBKVSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- KRTSDMXIXPKRQR-AATRIKPKSA-N monocrotophos Chemical compound CNC(=O)\C=C(/C)OP(=O)(OC)OC KRTSDMXIXPKRQR-AATRIKPKSA-N 0.000 description 1
- 229910052697 platinum Inorganic materials 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
先验驱动的深度学习图像去雾方法，涉及图像处理。先通过将传统的先验和深度神经网络学习调整相结合的方式获取有雾图像的雾的浓度分布信息；再使用雾的浓度分布信息约束和引导主要去雾过程，弥补缺乏真实有雾数据集的问题，最后通过金字塔后处理模块进一步恢复图像去雾结果的细节。既能有效捕获有雾图像的统计信息，又能以数据驱动的方式进行动态调整，有效降低去雾模型的参数量和计算量，并且缓解缺乏同一场景成对有雾/无雾数据集的问题。可以简单的实例化到现有的图像去雾模型中，提升算法的泛化性能。能有效地进行去雾，并且泛化性能优于当前其他去雾方法。
Description
技术领域
本发明涉及图像处理，尤其是涉及可应用于目标检测、识别和图像分割等高级视觉任务及公共安全领域等的一种先验驱动的深度学习图像去雾方法。
背景技术
随着互联网的发展及科学研究的不断进步，视觉监控和自动驾驶等视觉任务在生活中的应用越来越广泛。许多视觉任务在成像质量良好的情况下能够取得很好的效果。然而，当图像成像退化时，这些视觉任务就会受到干扰，性能大大的下降。雾是目标物体成像过程中，一种常见的图像退化。在有雾的天气条件下，由于受到雾的干扰，目标物体到达照相机需要经过多次大气散射和吸收，从而导致图像成像严重的退化，如：图像呈现弱对比度，色彩饱和度低，亮度高，物体难以辨别等特点。这些图像退化给后续的视觉任务带来很大的困难，如，降低目标检测的检测率和图像分割的精确性。因此，图像去雾作为一种有效地预处理方式，在近些年来受到越来越多的关注。
在计算机视觉领域，通常用大气散射模型模拟雾的形成。传统的图像去雾算法主要是通过求解大气散射模型完成图像去雾任务，由于大气散射模型的逆是一个不适定的问题，传统的方法通常借助先验信息来估算大气散射模型的中间参数透射率和全局大气光，进而间接完成图像去雾任务的。
Tan等人(R.T.Tan.Visibility in bad weather from a single image[C].Proceedings of the IEEE Conference on Computer Vision and PatternRecognition(CVPR).Anchorage,Alaska,USA:IEEE, 2008,1–8)提出了局部对比度最大化先验；He等人(K.He,J.Sun,X.Tang.Single image haze removal using dark channelprior[C].Proceedings of the IEEE Conference on Computer Vision and PatternRecognition(CVPR).Miami,Florida,USA:IEEE,2009,1956–1963)基于对大量的有雾图像和无雾图像的统计，发现无雾图像中，在每个图像块中，至少一个通道(RGB)具有低像素值，这个值趋向于零，提出暗通道先验；Zhu等人(Q.Zhu,J.Mai,L.Shao.A fast single imagehaze removal algorithm using color attenuation prior[J].IEEE Transactions onImage Processing(TIP).2015.24(11):3522–3533)观测到有雾图像中雾的浓度与该图像的亮度和饱和度之差呈正相关关系，基于此提出了颜色衰减先验。这些基于先验知识的传统图像去雾算法在符合先验条件的情况下，能够在一定程度上进行图像去雾，但是这些先验知识并不总是符合实际场景甚至是不可避免的被违反，如白墙区域等。因此，这类算法的图像去雾鲁棒性不够，导致不理想的图像去雾结果。
随着深度卷积神经网络的不断发展，越来越多的科研人员开始使用通过深度神经网络直接学习有雾图像到无雾图像的映射，例如EPDN(Y.Qu,Y.Chen,J.Huang,Y.Xie.Enhanced pix2pix dehazing network[C].Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition(CVPR).Long Beach,CA,USA:IEEE,2019,8160–8168)，GCANet(D.Chen,M.He,Q. Fan,J.Liao,L.Zhang,D.Hou,L.Yuan,G.Hua.Gatedcontext aggregation network for image dehazing and deraining[C].IEEE WinterConference on Applications of Computer Vision(WACV).WaikoloaVillage,2019,1375–1383)，GridDehaze(X.Liu,Y.Ma,Z.Shi,J.Chen. GridDehazeNet:Attention-BasedMulti-Scale Network for Image Dehazing[C].Proceedings of the IEEEInternational Conference on Computer Vision(ICCV).Seoul,Korea,2019,7314–7323)等。这类型的图像去雾算法缺少对先验信息的的利用，导致算法模型参数量和计算量较大，并且这类型算法依赖于成对的有雾图像和无雾图像训练集，如果训练数据与真实的有雾场景不匹配，则训练得到的图像去雾模型将无法获得令人满意的结果。
但要同时捕获同一视觉场景有雾的场景和无雾图像既困难又不切实际。由于缺乏真实的成对有雾图像和无雾图像数据集，目前，经常使用基于大气散射模型的合成有雾图像及对应的无雾图像进行训练。然而，合成的有雾图像和对应无雾图像的映射会偏离实际场景中有雾图像和无雾图像之间的映射，从而导致训练好的去雾模型在处理真实有雾场景时会产生伪影。有些学者专注于弱监督图像去雾算法的研究，这类算法不需要成对有雾/无雾图像作为训练集，数据集的获取变得比较容易，比如：网上直接爬取有雾图像和高清的无雾图像。虽然弱监督去雾算法是解决缺乏成对有雾图像数据集一种比较常见的解决方法，但是目前相关的弱监督去雾算法的去雾性能还不是很令人满意，远远低于完全监督的图像去雾算法。
目前，图像去雾算法主要存在以下问题：
一、目前很难甚至不大可能同时获取大量同一场景有雾/无雾数据，合成的有雾数据集与真实的雾存在着差异，现有的大部分去雾算法忽略了这一点，过度拟合与实际不符的训练集，导致算法在实际场景中泛化性能不高。
二、在实际有雾场景中，雾的分布不均匀，大部分图像去雾算法在去雾的过程中忽略该特性，对不同浓度的雾提供无差别地处理，最终，图像去雾结果中，薄雾区域倾向于过度去雾，而浓雾区域则欠去雾，残留着明显的雾。
发明内容
本发明的目的在于针对现有技术的存在上述问题，提供用于处理单帧图像中由于雾的存在而导致的图像退化，可应用于目标检测、识别和图像分割等高级视觉任务及公共安全领域等的先验驱动的深度学习图像去雾方法。
本发明包括以下步骤：
(1)获取同一场景的成对的有雾/无雾数据集，将数据集中的每张图像大小都缩放到 512×512，形成最终的训练数据集；
(2)设计先验驱动的深度学习图像去雾方法的网络结构，包括可即插即拔的雾的浓度先验估计模块、去雾主干网络和金字塔后处理模块；
(3)将有雾图像送入雾的浓度先验估计模块来计算雾的浓度先验信息；
(4)将估算得到的雾的浓度先验信息和输入的有雾图像在通道层面拼接concat起来，作为去雾主干网络的初始输入，并且将该雾的浓度先验信息与去雾主干网络的输出按照逐像素相乘的方式对去雾主干网络的学习过程进行约束，得到去雾后的特征图；
(5)将步骤(4)得到的去雾后的特征图与对应的有雾图像输入一起送到后处理器进行优化，得到最终的去雾结果；
(6)将步骤(3)得到的雾的浓度先验信息和步骤(5)得到的最终的去雾结果分别与真实标签计算误差损失，使用Adam优化器训练网络，更新网络参数；
(7)取任意的测试图像，对测试图像大小进行缩放，宽高分别缩放为
和
其中，w和h分别表示测试图像宽高的长度；n表示整个网络中最大的下采样的次数；运算符
表示取整操作，重复步骤(3)～(5)，得到预测的去雾结果，最后将预测的去雾结果缩放成原始输入大小。
在步骤(2)中，雾的浓度先验估计模块和去雾主干网络和金字塔后处理模块具体设计步骤可为：
(2a)雾的浓度先验估计模块由三个部分组成，由传统先验构成的先验提取模块prior extractor，空间金字塔池化模块pyramid pooling和S型激活函数Sigmoid组成，先验提取模块基于颜色衰减先验构成，计算方式为
其中c(·)表示雾的浓度，v(·)表示亮度，s(·)表示饱和度，x表示像素位置；
所述空间金字塔池化模块首先包含两个3×3卷积层和一个金字塔池化，该金字塔池化由四个核大小和步长不同的卷积操作组成，这四个卷积操作操作的核大小和步长设置为 {(2,2),(4,4),(8,8),(16,16)}；先验提取模块得到的雾的浓度信息首先被送入空间金字塔池化，然后金字塔池化中四个卷积的输出分别上采样到与金字塔池化层输入的特征大小一致后，与金字塔池化输入的特征在通道层面上进行拼接后送入一个3×3卷积层和S型激活函数Sigmoid；该Sigmoid激活函数将特征映射成雾的浓度分布，输出的响应值值越大，表示该位置雾的浓度越浓；
(2b)去雾主干网络基于U-Net构建的，其中编码部分由5个残差模块组成，解码部分由4个特征精细化残差模块组成，雾的浓度先验估计模块的输出通过可学习的先验约束嵌入到去雾主干网络后面，约束去雾主干网络的学习过程；
(2c)金字塔后处理模块使用现有的空间金字塔池化层构建。
在步骤(6)中，所述使用Adam优化器训练网络，更新网络参数的具体步骤可为：
(6a)计算引导损失Lh，计算方式如下：
Lh＝||p-Gray(X-Y)||2
其中，p表示步骤(3)得到的雾的浓度先验信息，X表示输入的有雾图像，Y表示有雾图像对应的真实无雾图像，(X-Y)表示有雾图像和对应无雾图像的差异，可以被看作有雾图像对应的雾的分布；操作Gray(·)将图像从RBG格式转化为灰度图，转化方式如下：
Gray＝0.2989R+0.5870G+0.1140B,
其中，R,G,B分别为RGB格式的输入图像X对应的三个颜色通道；
(6b)计算感知损失Lvgg，计算方式如下：
其中，φi(·)表示经过预训练神经网络VGG19的第i层卷积及激活函数之后输出的特征图，Hi和Wi分别是第i层特征图的高度和宽度，Ci表示第i层特征通道数；
(6c)计算重建损失Lrec，计算方式如下：
其中，
表示步骤(4)的最终的去雾结果；
(6d)将引导损失Lh，感知损失Lvgg和重建损失Lrec按照以下方式进行加权：
L＝λ1Lrec+λ2Lvgg+λ3Lh,
其中，λ1,λ2,λ3分别表示Lrec,Lvgg,Lh的权重系数；
(6e)损失函数的权重系数分别设置为λ1＝10,λ2＝1,λ3＝5，感知损失Lvgg仅使用预训练的VGG19网络中ReLU3_1和ReLU4_2两层输出的特征进行计算，Adam优化器的指数衰减率(β1，β2)分别设置为(0.6,0.9)，初始学习率α＝0.001，每间隔10个轮次学习率衰减成原来的0.1倍，训练每次批处理量Batch_size＝2。
本发明将去雾分成三个阶段，第一阶段，通过将传统的先验和深度神经网络学习调整相结合的方式获取有雾图像的雾的浓度分布信息；第二阶段使用雾的浓度分布信息约束和引导主要去雾过程，弥补缺乏真实有雾数据集的问题，第三阶段，通过金字塔后处理模块进一步恢复图像去雾结果的细节。
与现有技术相比，本发明具有如下技术特点以及突出优点：
第一，本发明提出了一个可即插即拔的雾的浓度先验估计模块。该雾的浓度先验估计模块既能有效地捕获有雾图像的统计信息，又能以数据驱动的方式进行动态调整，有效地降低去雾模型的参数量和计算量，并且缓解了缺乏同一场景成对有雾/无雾数据集的问题。该雾的浓度先验估计模块可以简单的实例化到现有的图像去雾模型中，提升算法的泛化性能。
第二，本发明提出一个基于雾的浓度先验估计的图像去雾算法。针对有雾图像中雾的分布不均的特性，在去雾网主干网络中嵌入雾的浓度先验估计模块，对不同浓度的雾提供差异化处理。为了提升去雾结果的颜色和细节的恢复，引入了特征精细化残差模块和金字塔后处理模块。
第三，本发明与现有的其他图像去雾方法相比，具有更少的参数量Param和计算量FLOPs，模型更加轻量，在SOTS室内室外，HazeRD，O-HAZE三个数据集上的定量和定性结果表明，本发明能有效地进行去雾，并且泛化性能优于当前其他去雾方法。
附图说明
图1为本发明实施例的整体网络结构图；
图2为FRR模块结构图；
图3为空间金字塔池化层(pyramid pooling)网络结构；
图4为本发明与对比方法在真实有雾数据集上的实验结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下实施例将结合附图对本发明进行作进一步的说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
本发明实施例的整体网络结构如图1所示，参见图1，本发明的实施步骤如下：
(1)获取成对的有雾/无雾数据集，作为训练数据集，具体过程为：
(1a)下载RESIDE Indoor Training Set，ITS室内有雾训练集，分辨率为620×460像素，包含13990对同一场景通过大气散射模型合成有雾/无雾数据集；
(1b)下载RESIDE Outdoor Training Set,OTS室内有雾训练集，分辨率为620×460像素，包含313950对同一场景通过大气散射模型合成有雾/无雾数据集；
(1c)下载RESIDE Synthetic Objective Testing Set,SOTS合成客观评价数据集，该数据集分成两个部分，室内和室外合成数据集，各500对，用于评估算法性能；
(1d)下载O-HAZE数据集，室外场景下真实成对有雾/无雾数据集，包含45个不同的室外场景，数据集被划分成三个部分，训练集：35对有雾/无雾图片，验证集：5对有雾/ 无雾图片，测试集：5对有雾/无雾图片；
(1e)下载HazeRD数据集，包含15个真实的室外场景，并且针对每个场景模拟不同的能见度距离(50米、100米、200米、500米、1000米)，合成了五张不同的天气条件的有雾图片，共75对有雾/无雾图片；
(2)设计基于雾的浓度先验约束的图像去雾算法的网络结构：即插即拔的雾的浓度先验估计模块(Haze-prior Estimator，HPE)，基于U-Net设计去雾主干网络，设计对图像去雾细节更加友好的去雾主干网络图像(Dehaze Backbone Network，DBN)和基于特征金字塔的金字塔后处理模块(Post-processor)，具体过程为：
(2a)雾的浓度先验估计模块三个部分组成：传统先验构成的先验提取模块priorextractor，空间金字塔池化层pyramid pooling和S型激活函数Sigmoid组成；
(2a1)先验提取模块的设计：先验提取模块基于颜色衰减先验，计算方式为
其中c(·)表示雾的浓度，v(·)表示亮度，s(·)表示饱和度，x表示像素位置；
(2a2)空间金字塔池化模块的设计：空间金字塔池化模块的网络结构如图3所示。该空间金字塔池化模块首先包含两个3×3卷积层和一个金字塔池化，该金字塔池化由四个核大小和步长不同的卷积操作组成，这四个卷积操作操作的核大小和步长设置为 {(2,2),(4,4),(8,8),(16,16)}。先验提取模块得到的雾的浓度信息c(·)被送入空间金字塔池化模块，最后，金字塔池化中四个卷积的输出上采样到与金字塔池化输入大小一致后，与金字塔池化的输入在通道层面上进行拼接后送入一个3×3卷积层和Sigmoid激活函数。该S型激活函数将特征映射成雾的浓度分布，输出的响应值值越大，表示该位置雾的浓度越浓。最后通过S型激活函数Sigmoid将当前特征图映射得到雾的浓度先验信息；
(2b)去雾主干网络是基于U-Net构建的。为了减轻特征信息的丢失，本发明去雾主干网络中引入一个特征精细化残差模块(feature refinement residual block，FRR)。该特征精细化残差模块通过融合特征图来保证充分利用特征信息。FRR的网络结构如图2所示。
FRR模块可以被表示为：
FRR(x)＝T(x)+R(x),
其中，T(x)为是特征提取操作，在该方法中，通过2个3×3卷积实现。R(x)表示通道融合操作：
其中，
cin和cout分别表示输入和输出的特征通道数。r(·)(x)表示x相邻通道的逐像素加操作。操作R(·)将输入的特征划分为n个不重叠的组，每个组进行逐像素加和融合 concat，以达到将输入特征通道数从cin压缩到cout，达到k倍压缩目的。
其中编码部分由5个残差模块组成，解码部分由4个特征精细化残差模块FRR组成；
(2c)金字塔后处理模块包含一个空间金字塔池化模块和tanh激活函数；
(3)将有雾图像送入雾的浓度估计模块来计算雾的浓度先验信息；
(4)将估算得到的雾的浓度先验信息和输入的有雾图像在通道层面拼接起来，作为去雾主干网络的初始输入，然后将该雾的浓度先验信息与去雾主干网络的输出按照逐像素相乘的方式对去雾主干网络的学习过程进行约束，得到去雾后的特征图；
(5)将去雾后的特征图与对应的有雾图像输入一起送到后处理器进行优化，得到最终的去雾结果；
(6)将步骤(3)得到的雾的浓度先验信息和步骤(5)得到的最终去雾结果分别与真实标签计算误差损失，使用Adam优化器训练网络，更新网络参数，具体过程为：
(6a)计算引导损失Lh，计算方式如下：
Lh＝||p-Gray(X-Y)||2,
其中，p表示步骤(3)得到的雾的浓度先验信息，X表示输入的有雾图像，Y表示有雾图像对应的真实无雾图像，(X-Y)表示有雾图像和对应无雾图像的差异，可以被看作有雾图像对应的雾的分布。操作Gray(·)将图像从RBG格式转化为灰度图，转化方式如下：
Gray＝0.2989R+0.5870G+0.1140B,
其中，R,G,B分别为RGB格式的输入图像X对应的三个颜色通道；
(6b)计算感知损失Lvgg，计算方式如下：
其中φi(·)表示经过预训练神经网络VGG19的第i层卷积及激活函数之后输出的特征图，Hi和 Wi分别是第i层特征图的高度和宽度，Ci表示第i层特征通道数；
(6c)计算重建损失Lrec，计算方式如下：
其中
表示步骤(4)的最终的去雾结果。
(6d)将引导损失Lh，感知损失Lvgg和重建损失Lrec按照以下方式进行加权：
L＝λ1Lrec+λ2Lvgg+λ3Lh,
其中，λ1,λ2,λ3分别表示Lrec,Lvgg,Lh的权重系数。
(6e)损失函数的权重系数分别设置为λ1＝10,λ2＝1,λ3＝5。感知损失Lvgg仅使用预训练的VGG19网络中ReLU3_1和ReLU4_2两层输出的特征进行计算。Adam优化器的指数衰减率(β1，β2)分别设置为(0.6,0.9)，初始学习率α＝0.001，每间隔10个轮次学习率衰减成原来的0.1倍，训练每次批处理量Batch_size＝2。
(7)取任意的测试图像，对测试图像大小进行缩放，宽高分别缩放为
和
其中w和h分别表示测试图像宽高的长度；n表示整个网络中最大的下采样的次数，在本发明中表示为编码器的个数；运算符
表示取整操作，重复步骤(3)～(5)，得到预测的去雾结果，最后将预测的去雾结果缩放成原始输入大小。
本发明实施例通过以下实验进行优点和有效性的证明。
1.实验条件：
软件环境：python3.5，torch0.4.0，torchvision0.2.1，cuda8.0，MATLAB R2015a。
硬件环境：表1所示。
表1
| 操作系统 | Ubuntu 16.04 LTS |
| 处理器 | Inter(R)Core(TM)i7-8700K |
| 主频 | 3.70GHz |
| 显卡 | GeForce GTX 1080(8G) |
| 内存 | Corsair Dominator Platinum 32G |
2.实验结果以及结果分析：
实验一、本发明方法的不同结构对图像去雾性能的影响
为了证明本发明各个模块的有效性，表2展示了在SOTS数据集上本发明提出的特征精细化残差模块FRR，后处理模块可学习的先验约束对去雾算法的影响的消融实验。
表2中定义了图像去雾模型的五个变体：1)ED-：整个去雾网络仅包含去雾主干网络 (DBN)，并且该去雾主干网络仅不包含FRR；2)ED--P在变种ED-之后添加了后处理器；3)ED-P：ED--P中DBN中使用FRR；4)H-ED-P：雾的浓度先验估计模块(HPE)仅在ED-P之前添加，不与DBN的输出逐像素相乘；5)HI-DehazeNet：本发明方法。
表2在SOTS室内和室外数据集上的消融性实验。注意，室外的实验结果是在ITS上训练的模型测试获得的。
表2
| Method | Indoor | Outdoor | Average |
| ED<sup>-</sup> | 23.72/0.880 | 21.03/0.681 | 22.38/0.781 |
| ED<sup>-</sup>-P | 27.04/0.951 | 21.93/0.897 | 24.49/0.924 |
| ED-P | 27.28/0.951 | 23.18/0.910 | 25.23/0.933 |
| H-ED-P | 27.48/0.957 | <u>23.58</u>/<u>0.920</u> | 25.53/<u>0.939</u> |
| HI-DehazeNet | <u>28.74</u>/<u>0.964</u> | 23.16/0.913 | <u>25.95</u>/<u>0.939</u> |
本发明提出的方法在SOTS室内和室外数据集上获得了最高的平均PSNR和SSIM，H-ED-P则排名第二，这表明本发明中的雾的浓度先验模块可以提高图像去雾性能。比较最后两个变体，本发明平均PSNR和SSIM值为(25.95/0.939)，PSNR值比H-ED-P高出0.42。比较前三个变体，ED-P具有最佳的除雾性能，ED--P劣于ED-P，而ED-则最差，这表明FRR 和后处理器对改善图像去雾算法都是有用的。
实验二、雾的浓度先验估计模块的实例化分析
为了进一步证明本发明提出的雾的浓度先验估计模块是可即插即拔，表3展示了将雾的浓度先验估计模块嵌入三个现成的图像去雾网络结构PFFNet[7]、GCANet[5]和GridDehaze[6]中。如表3最后一栏所示，通过将雾的浓度先验估计模块嵌入原始的去雾模型中，可以提高这三种方法在SOTS上的平均性能。这证明雾的浓度先验估计模块可以帮助提高除雾的鲁棒性。
表3雾的浓度先验估计器的实例化实验结果。注意，室外结果是从在ITS上训练的模型中获得的。
表3
| Method | Indoor | Outdoor | Average |
| PFFNet | 25.42/0.93 | 21.07/0.88 | 23.25/0.91 |
| PFFNet+HPE | 25.83/0.93 | 20.74/0.86 | <u>23.29/0.90</u> |
| GCANet | 28.79/0.95 | 22.23/0.88 | 25.51/0.92 |
| GCANet+HPE | 29.48/0.95 | 22.91/0.89 | <u>26.20/0.92</u> |
| GridDehaze | 31.35/0.98 | 18.36/0.85 | 24.86/0.92 |
| GridDehaze+HPE | 31.06/0.98 | 20.23/0.90 | <u>25.65/0.94</u> |
实验三、本发明在不同数据上的实验结果。
为了验证算法的有效性，表4～6分别为本发明与其他方法在数据集SOTS，O-HAZE，HazeRD数据集上的分割结果对比。
表4展示了本发明与DCP[2],CAP[3],AOD-Net[8],DehazeNet[9],PDN[10],GFN[7],EPDN[4]和 GridDehaze[6]在SOTS，hazeRD和O-HAZE的数据集上的定量结果。本发明的方法在SOTS的室外数据集上实现了最佳的去雾性能，在SOTS的室内数据集上排名第二。尽管GridDehaze[6]算法在SOTS的室内数据上排名第一，但该算法倾向于过度拟合室内训练数据集ITS最终导致在SOTS的室外数据集，hazeRD和O-HAZE三个数据集上均表现最差。本发明与EPDN[4]算法相比，在hazeRD数据集上性能相当；在SOTS室内和室外数据集上和 O-HAZE，本发明的方法均大幅优于EPDN[4]；本发明的算法在O-HAZE数据集上性能稍稍低于GFN[7]，而在其他数据集上性能大幅优于GFN[7]。可以看出，将各个算法同时在ITS数据集上进行训练，在相同场景的测试环境下(SOTS室内数据集上)本发明的方法能取得较好的去雾结果，并且在其他测试数据集上比其他图像去雾算法去雾鲁棒性更高更有效，更可靠。
表4本发明与其他算法在SOTS、hazeRD和O-HAZE的数据集上的定量结果，请注意，所有结果均来自在ITS上训练的模型，O-HAZE的结果是在O-HAZE整个数据集上测试得到的。
表4
表5本发明与其他算法在SOTS室外数据集上的定量结果，请注意，所有结果均来自在 OTS上训练的模型。
表5
| Method | PSNR | SSIM |
| DCP | 19.13 | 0.815 |
| CAP | 18.28 | 0.790 |
| DehazeNet | 24.75 | 0.927 |
| AOD-Net | 24.14 | 0.920 |
| GFN | 28.29 | 0.962 |
| EPDN | 29.08 | 0.932 |
| GridDehaze | 30.86 | <u>0.982</u> |
| Hi-DehazeNet | <u>30.92</u> | 0.972 |
表5展示了本发明方法与其他当前流行的算法在SOTS室外数据集上的定性指标，可以看出，在OTS数据集训练下，本发明提出的方法取得的PSNR值排名第一，高出第二名方法(GridDehaze[6])0.06dB，SSIM值排名第二。
表6本发明与其他算法在O-HAZE数据集上的定量结果，请注意，所有结果均来自在O-HAZE上训练的模型。
表6
| Method | PSNR | SSIM |
| DCP | 16.586 | 0.735 |
| CAP | 15.36 | 0.576 |
| DehazeNet | 16.21 | 0.666 |
| AOD-Net | 19.59 | 0.679 |
| PDN | 17.40 | 0.658 |
| GFN | 17.76 | 0.612 |
| EPDN | 16.06 | 0.640 |
| GridDehaze | 21.91 | 0.730 |
| Hi-DehazeNet | <u>22.73</u> | <u>0.750</u> |
O-HAZE数据集是真实有雾数据集，为了能够更加全面的证明本发明提出的算法的鲁棒性，在表6中，对比了本发明与其他对比方法在O-HAZE训练集上训练，在O-HAZE测试集上的客观性能指标。与其他流行的算法相比较，本发明在O-HAZE测试集上的PSNR和 SSIM指标均最高，在O-HAZE测试集和SOTS数据集上，PSNR和SSIM指标分别高出第二名超过0.7dB和0.02。EPDN[4]和GridDehaze[6]两个算法在SOTS室内室外数据集上的平均PSNR和SSIM指标分别是(14.62dB，0.68)和(15.35dB，0.73)，而本发明提出的算法平均的PSNR和SSIM为(16.07dB，0.79)，PSNR和SSIM平均指标均最高，综合上述实验可以得出，本发明具有很强的泛化性能。本发明与对比方法在真实有雾数据集上的实验结果图见图4。
表7本发明与其他算法参数量和计算量的对比结果。
表7
| Method | Param(K) | FLOPs(G mac) |
| DCP | - | - |
| CAP | - | - |
| DehazeNet | 8.24 | - |
| MSCNN | 8 | - |
| AOD-Net | 1.76 | 0.12 |
| PDN | - | - |
| GFN | 514.42 | - |
| EPDN | <u>17380</u> | <u>3.68</u> |
| GridDehaze | 948.05 | 18.78 |
| Hi-DehazeNet | 430.71 | 9.07 |
表7展示了本发明和其他算法的参数量Param和计算量FLOPs的对比结果，“-”表示没有该项目结果。其中EPDN算法的参数量和计算量用下划线标出，表明仅计算该方法生成器的的参数量和计算量。EPDN算法的生成器参数量非常庞大，而计算量最小。本发明与其他几个算法相比，具有最少的参数量，并且计算量较小，排名第二。综合表4～7，可以看出，本发明既是一个较轻量的模型，有具有较好的去雾泛化性能。
Claims (6)
1.先验驱动的深度学习图像去雾方法，其特征在于包括以下步骤：
(1)获取同一场景的成对的有雾/无雾数据集，将数据集中的每张图像大小都缩放到512×512，形成最终的训练数据集；
(2)设计先验驱动的深度学习图像去雾方法的网络结构，包括可即插即拔的雾的浓度先验估计模块、去雾主干网络和金字塔后处理模块；
(3)将有雾图像送入雾的浓度先验估计模块来计算雾的浓度先验信息；
(4)将估算得到的雾的浓度先验信息和输入的有雾图像在通道层面拼接concat起来，作为去雾主干网络的初始输入，并且将该雾的浓度先验信息与去雾主干网络的输出按照逐像素相乘的方式对去雾主干网络的学习过程进行约束，得到去雾后的特征图；
(5)将步骤(4)得到的去雾后的特征图与对应的有雾图像输入一起送到后处理器进行优化，得到最终的去雾结果；
(6)将步骤(3)得到的雾的浓度先验信息和步骤(5)得到的最终的去雾结果分别与真实标签计算误差损失，使用Adam优化器训练网络，更新网络参数；
所述使用Adam优化器训练网络，更新网络参数的具体步骤为：
(6a)计算引导损失Lh，计算方式如下：
Lh＝||p-Gray(X-Y)||2
其中，p表示步骤(3)得到的雾的浓度先验信息，X表示输入的有雾图像，Y表示有雾图像对应的真实无雾图像，(X-Y)表示有雾图像和对应无雾图像的差异，被看作有雾图像对应的雾的分布；操作Gray(·)将图像从RBG格式转化为灰度图，转化方式如下：
Gray＝0.2989R+0.5870G+0.1140B,
其中，R,G,B分别为RGB格式的输入图像X对应的三个颜色通道；
(6b)计算感知损失
计算方式如下：
其中，φi(·)表示经过预训练神经网络VGG19的第i层卷积及激活函数之后输出的特征图，Hi和Wi分别是第i层特征图的高度和宽度，Ci表示第i层特征通道数；
(6c)计算重建损失Lrec，计算方式如下：
其中，
表示步骤(5)的最终的去雾结果；
(6d)将引导损失Lh，感知损失Lvgg和重建损失Lrec按照以下方式进行加权：
L＝λ1Lrec+λ2Lvgg+λ3Lh,
其中，λ1,λ2,λ3分别表示Lrec,Lvgg,Lh的权重系数；
(6e)损失函数的权重系数分别设置为λ1＝10,λ2＝1,λ3＝5，感知损失Lvgg仅使用预训练的VGG19网络中ReLU3_1和ReLU4_2两层输出的特征进行计算，Adam优化器的指数衰减率(β1，β2)分别设置为(0.6,0.9)，初始学习率α＝0.001，每间隔10个轮次学习率衰减成原来的0.1倍，训练每次批处理量Batch_size＝2；
(7)取任意的测试图像，对测试图像大小进行缩放，宽高分别缩放为
和
其中，w和h分别表示测试图像宽高的长度；n表示整个网络中最大的下采样的次数；运算符
表示取整操作，重复步骤(3)～(5)，得到预测的去雾结果，最后将预测的去雾结果缩放成原始输入大小。
2.如权利要求1所述先验驱动的深度学习图像去雾方法，其特征在于在步骤(2)中，所述雾的浓度先验估计模块由三个部分组成：传统先验构成的先验提取模块priorextractor，空间金字塔池化模块pyramid pooling和S型激活函数Sigmoid。
3.如权利要求2所述先验驱动的深度学习图像去雾方法，其特征在于所述先验提取模块基于颜色衰减先验构成，计算方式为
其中c(·)表示雾的浓度，v(·)表示亮度，s(·)表示饱和度，x表示像素位置。
4.如权利要求2所述先验驱动的深度学习图像去雾方法，其特征在于所述空间金字塔池化模块首先包含两个3×3卷积层和一个金字塔池化，该金字塔池化由四个核大小和步长不同的卷积操作组成，这四个卷积操作操作的核大小和步长设置为{(2，2)，(4，4)，(8，8)，(16，16)}；先验提取模块得到的雾的浓度信息首先被送入空间金字塔池化，然后金字塔池化中四个卷积的输出分别上采样到与金字塔池化层输入的特征大小一致后，与金字塔池化输入的特征在通道层面上进行拼接后送入一个3×3卷积层和S型激活函数Sigmoid；Sigmoid激活函数将特征映射成雾的浓度分布，输出的响应值越大，表示像 素位置雾的浓度越浓。
5.如权利要求1所述先验驱动的深度学习图像去雾方法，其特征在于在步骤(2)中，所述去雾主干网络基于U-Net构建的，其中编码部分由5个残差模块组成，解码部分由4个特征精细化残差模块组成，雾的浓度先验估计模块的输出通过可学习的先验约束嵌入到去雾主干网络后面，约束去雾主干网络的学习过程。
6.如权利要求1所述先验驱动的深度学习图像去雾方法，其特征在于在步骤(2)中，所述金字塔后处理模块使用现有的空间金字塔池化层构建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010451040.3A CN111681180B (zh) | 2020-05-25 | 2020-05-25 | 先验驱动的深度学习图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010451040.3A CN111681180B (zh) | 2020-05-25 | 2020-05-25 | 先验驱动的深度学习图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111681180A CN111681180A (zh) | 2020-09-18 |
| CN111681180B true CN111681180B (zh) | 2022-04-26 |
Family
ID=72434357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010451040.3A Active CN111681180B (zh) | 2020-05-25 | 2020-05-25 | 先验驱动的深度学习图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111681180B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381172B (zh) * | 2020-11-28 | 2022-09-16 | 桂林电子科技大学 | 一种基于U-net的InSAR干涉图像相位解缠方法 |
| CN112750093B (zh) * | 2021-01-25 | 2021-10-22 | 中国人民解放军火箭军工程大学 | 一种基于时序标签传递的视频图像去雾方法 |
| CN113962878B (zh) * | 2021-07-29 | 2024-05-28 | 北京工商大学 | 一种低能见度图像去雾模型方法 |
| CN114119420B (zh) * | 2021-12-01 | 2022-12-13 | 昆明理工大学 | 一种基于雾迁移和特征聚合的真实场景下有雾图像去雾方法 |
| CN115272122B (zh) * | 2022-07-31 | 2023-03-21 | 中国人民解放军火箭军工程大学 | 一种先验引导的单阶段蒸馏图像去雾方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
| CN108805839A (zh) * | 2018-06-08 | 2018-11-13 | 西安电子科技大学 | 基于卷积神经网络的联合估计图像去雾方法 |
| CN109272455A (zh) * | 2018-05-17 | 2019-01-25 | 西安电子科技大学 | 基于弱监督生成对抗网络的图像去雾方法 |
| CN109584188A (zh) * | 2019-01-15 | 2019-04-05 | 东北大学 | 一种基于卷积神经网络的图像去雾方法 |
| CN109712083A (zh) * | 2018-12-06 | 2019-05-03 | 南京邮电大学 | 一种基于卷积神经网络的单幅图像去雾方法 |
| CN110443759A (zh) * | 2019-07-09 | 2019-11-12 | 中山大学 | 一种基于深度学习的图像去雾方法 |
| CN110544213A (zh) * | 2019-08-06 | 2019-12-06 | 天津大学 | 一种基于全局和局部特征融合的图像去雾方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
-
2020
- 2020-05-25 CN CN202010451040.3A patent/CN111681180B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
| CN109272455A (zh) * | 2018-05-17 | 2019-01-25 | 西安电子科技大学 | 基于弱监督生成对抗网络的图像去雾方法 |
| CN108805839A (zh) * | 2018-06-08 | 2018-11-13 | 西安电子科技大学 | 基于卷积神经网络的联合估计图像去雾方法 |
| CN109712083A (zh) * | 2018-12-06 | 2019-05-03 | 南京邮电大学 | 一种基于卷积神经网络的单幅图像去雾方法 |
| CN109584188A (zh) * | 2019-01-15 | 2019-04-05 | 东北大学 | 一种基于卷积神经网络的图像去雾方法 |
| CN110443759A (zh) * | 2019-07-09 | 2019-11-12 | 中山大学 | 一种基于深度学习的图像去雾方法 |
| CN110544213A (zh) * | 2019-08-06 | 2019-12-06 | 天津大学 | 一种基于全局和局部特征融合的图像去雾方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
Non-Patent Citations (3)
| Title |
|---|
| Enhanced Pix2pix Dehazing Network;Yanyun Qu et al.;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200109;第8152-8160页 * |
| Joint Transmission Map Estimation and Dehazing Using Deep Networks;He Zhang et al.;《 IEEE Transactions on Circuits and Systems for Video Technology 》;20190422;第30卷(第7期);第1975-1986页 * |
| 基于深度学习的图像去雾方法研究;贾绪仲;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190215(第2期);第I138-1214页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111681180A (zh) | 2020-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111681180B (zh) | 先验驱动的深度学习图像去雾方法 | |
| CN109447907B (zh) | 一种基于全卷积神经网络的单图像增强方法 | |
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| CN112184577B (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| CN112381897B (zh) | 基于自编码网络结构的低照度图像增强方法 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN109389569B (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
| CN114936979B (zh) | 一种模型训练方法、图像去噪方法、装置、设备及存储介质 | |
| CN112634171B (zh) | 基于贝叶斯卷积神经网络的图像去雾方法及存储介质 | |
| CN115457249A (zh) | 红外图像与可见光图像融合匹配的方法及系统 | |
| CN111242868A (zh) | 暗视觉环境下基于卷积神经网络的图像增强方法 | |
| CN111951192A (zh) | 一种拍摄图像的处理方法及拍摄设备 | |
| CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
| CN116563693A (zh) | 基于轻量级注意力机制的水下图像色彩复原方法 | |
| CN111598793A (zh) | 一种用于输电线路图像去雾的方法、系统及存储介质 | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| CN117237279A (zh) | 一种非均匀失真全景图像盲质量评价方法及系统 | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| CN116452469B (zh) | 一种基于深度学习的图像去雾处理方法及装置 | |
| CN117391981A (zh) | 一种基于低光照明和自适应约束的红外与可见光图像融合方法 | |
| CN112348762A (zh) | 一种基于多尺度融合生成对抗网络的单幅图像去雨方法 | |
| CN116309171A (zh) | 一种输电线路监控图像增强方法和装置 | |
| CN116452450A (zh) | 一种基于3d卷积的偏振图像去雾方法 | |
| CN115578274A (zh) | 一种基于边缘约束的双分支图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |