CN112037139B - 基于RBW-CycleGAN网络的图像去雾方法 - Google Patents
基于RBW-CycleGAN网络的图像去雾方法 Download PDFInfo
- Publication number
- CN112037139B CN112037139B CN202010767261.1A CN202010767261A CN112037139B CN 112037139 B CN112037139 B CN 112037139B CN 202010767261 A CN202010767261 A CN 202010767261A CN 112037139 B CN112037139 B CN 112037139B
- Authority
- CN
- China
- Prior art keywords
- network
- convolution
- image
- training
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 61
- 230000006870 function Effects 0.000 claims description 28
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 230000003631 expected effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 28
- 230000016776 visual perception Effects 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000011084 recovery Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000000443 aerosol Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，具体的说是一种能够提高图片去雾效果，使处理后图片更符合人眼的视觉感受的基于RBW‑CycleGAN网络的图像去雾方法，其特征在于，包括网络模型搭建与训练阶段和网络模型应用阶段，所述网络模型搭建与训练阶段中向CycleGAN网络中引入带权重的残差块，并采用Instance‑Normalization归一化处理，在训练损失函数优化时，使用最小二乘损失，并增加判别损失在总体损失函数中的权重，降低重建损失在总体损失函数中的权重。
Description
技术领域：
本发明涉及图像处理技术领域，具体的说是一种能够提高图片去雾效果，使处理后图片更符合人眼的视觉感受的基于RBW-CycleGAN网络的图像去雾方法。
背景技术：
雾是由悬浮颗粒在大气中的微小液滴构成的气溶胶，雾天拍摄的室外图片会因为光在大气中折射和散射时被这种气溶胶所吸收，使得到的图像失去对比度和真实性。尽管部分含雾图片能够保留一些原有场景的信息，这些图片也为后续的图像理解和计算机视觉相关的任务，例如，目标识别与分类，图像分割等增加了难度。因此，提高有雾图像的质量对于后续图像的应用非常必要。
早期的单幅图像去雾方法主要基于先验知识去雾。然而这些方法耗时长且不能用于灰度图像处理。根据对大量清晰彩色图像的研究，研究人员提出了暗通道去雾(DCP)算法。这种算法在多数不含天空的有雾图片恢复中简单有效但整体颜色偏暗，对于天空区域处理却有很大的局限性。现有利用颜色衰减先验(CAP)，通过对有雾图像场景深度信息建立线性模型，在有监督学习下学习深度图像信息模型的参数，利用学习到的参数完成深度图到无雾图的映射。这种改进算法一定程度上弥补了DCP的缺陷，但在去雾效果和应用效率上仍旧没有较大的突破。
近年，基于深度学习的方法开始发展。基于学习的算法可以如上述传统算法学习景深信息等中间参数再完成去雾，也可以用神经网络直接学习有雾无雾图像间的映射。然而这些算法都没有脱离对降质图像的分析，均基于大气光照度、透射度和场景颜色等参数反演出无雾图像，效率较低，处理后的图像与真实场景有明显的差异。
GAN网络被Goodfellow提出后，在图像生成领域取得了巨大的成功，可以完成图像增强、图像修复和图像翻译等任务。现有的利用GAN做单图像去雾的网络需要输入相互匹配的同场景有雾与清晰图像样本对，这对数据集的获取增加了难度。
发明内容：
本发明针对现有技术中存在的缺点和不足，提出了一种能够提高图片去雾效果，使处理后图片更符合人眼的视觉感受的基于RBW-CycleGAN网络的图像去雾方法。
本发明通过以下措施达到：
一种基于RBW-CycleGAN网络的图像去雾方法，其特征在于，包括网络模型搭建与训练阶段和网络模型应用阶段，所述网络模型搭建与训练阶段中向CycleGAN网络中引入带权重的残差块，并采用Instance-Normalization归一化处理，在训练损失函数优化时，使用最小二乘损失，并增加判别损失在总体损失函数中的权重，降低重建损失在总体损失函数中的权重。
本发明所述网络模型搭建与训练阶段具体包括以下步骤：
步骤1：收集具有信息相关性的类似场景雾图和清晰图片作为网络训练数据集，数据来源包括网上开源图片数据库以及自建图片数据集，并对所有图片做预处理。步骤1中的预处理包括用Lanczos下采样方式将图片数据尺寸调整为256*256，将两类图片数据按照相关度划分为不同的批次，每批次图像对的数量相当。并将数据格式保存为tf.record形式，tf.record中将二维图片数据转化为四维张量。
步骤2：搭建并训练RBW-CycleGAN网络，分批次向网络中输入不同的样本数据。采用卷积神经网络对输入图片数据做特征提取，经过残差网络对特征进行转换，将转换后的特征信息传入反卷积网络中生成对应的图像数据，判别网络对生成图像与预期效果作比较并产生判别结果。
本发明步骤2具体包括以下步骤：
步骤2-1：输入的两类图像进入生成网络，生成网包括三层卷积，第一层卷积为32个具有7*7卷积核大小的滤波器，对四维张量图做步长为1的滑动卷积提取特征，得到对应的特征图，第一层卷积后接relu激活函数层并做instance归一化，instance的方式在一张图片的图像像素上对高和宽做归一化，instance norm的信息都是来自于自身的图片，相当于对全局信息做了一次整合和调整。随后将卷积后的特征图输入第二层卷积，第二层卷积由64个卷积核为3*3的滤波器组成，对产生的特征图做步长为2的滑动卷积，卷积后经过relu函数激活并做instance归一化。将第二层卷积并归一化后的数据输入第三层卷积，第三层卷积由128个卷积核为3*3的滤波器构成，做步长为2的滑动卷积并做batchnormalization。步骤2-2：三层卷积之后接连4个相同结构的带权重的残差块，每个残差块的结构包括并联的两层卷积，每个卷积层均包括3*3的卷积层与relu激活函数层与batchnormalization层，每两层卷积处理之后的数据赋予权重1/2，两部分输出权重相同。
步骤2-3：将两部分输出合并输入由反卷积构成的特征解码网络，解码器部分由三层反卷积构成。第一层为64个卷积核为3*3的滤波器做步长为1/2的分步卷积，接着一层最大池化层，并做instance归一化的处理，第二层为32个卷积核为7*7的滤波器做步长为1/2的分步卷积，随后接一层最大池化层并做instance归一化，第三层为3个卷积核为7*7的滤波器做步长为1的滑动卷积。
步骤2-4：将生成器输出数据与原始输入数据输入判别网络作比较，本发明包括两个相同结构的判别网络，均由全卷积网络搭建而成，具体包括五层卷积：前四层的卷积分别由64、128、256和512个卷积核为4*4的滤波器构成，对输入信号做步长为2的滑动卷积，卷积之后接一层LRelu函数的激活层，最后接一层卷积核为4*4的一个滤波器对提取出的小特征块缩减。将得到的特征图分块处理，采用最小二乘损失评估块之间的差异，这里差异性的描述采用的是欧氏距离。当距离小于阈值0.5时，将差异性评估结果认定为真实，并输出1，当大于阈值时，标定为假，输出0。
步骤3：图片数据输入网络进行训练时，如果输入数据量为1万以上的图片数据对，则设置图片缓存区容量为30张，当迭代训练20万次之后，将缓存区的容量增加为50张。如果输入数据量小于1万，则设置初始图片缓存区容量为20,20万次迭代之后设置缓存区容量为40张。采用Adam优化器训练优化各项损失函数，初始学习率设置为0.0002，维持此学习率的值到前20万次迭代，20万次之后设置学习率为线性衰减，直至训练结束时衰减为0.
本发明步骤3中各项指标具体为：
步骤3-1：图片缓存区的设置，在此块区域中放置生成器生成的部分图片，判别网络做判别时，从缓存区中随机抽取部分图片进行判别，保证生成网络生成信息的稳定性以及前后相关性。当输入数据量较大时，将缓存区的容量设置大一些，让判别网络可随机选择的范围大一些，保证网络对先前学习信息的记忆性。设置的区间范围保证在1000:1左右。
步骤3-2：Adam优化器的优化，整个发明中包括三项损失函数，分别是生成网络的生成损失，判别网络的判别损失，循环一致重建损失。训练前期，本发明指迭代训练20万次，将判别损失在整体损失函数中的权重设置为0.5，生成损失的权重为0.2，重建损失的权重设置为0.3，保证训练前期网络能生成对应图像域的图片。训练中期，本发明指迭代训练20～40万次，降低判别损失的权重为0.3，生成损失权重为0.3，重建损失为0.4。训练后期，本发明指迭代训练40万次之后，将重建损失的权重设置为0.5，生成损失为0.25，判别损失权重为0.25。为促进各项损失函数的收敛，将Adam优化器的学习率在训练前期初始设置为固定值0.0002，前期结束之后，按照预定的训练步数，设定学习率的衰减率，直到训练结束时，学习率从0.0002做线性衰减为0。
本发明相对于现有技术，能够提高图片去雾效果，使处理后图片更符合人眼的视觉感受。
附图说明：
附图1是CycleGAN模型训练流程示意图。
附图2是本发明的整体架构图。
附图3是本发明中生成网络结构图。
附图4是带权重的残差块结构图。
附图5是本发明的判别网络结构图。
附图6是实施例1中部分数据集图片。
附图7是实施例1中各阶段训练效果图。
附图8是实施例1中去雾前后对比图。
附图9是实施例1中传统方法与本发明算法结果比较示意图。
具体实施方式：
下面结合附图和实施例，对本发明作进一步的说明。
由图1可知，cycleGAN模型具有环形对称的结构，包含两种生成器G和F，两种判别器D(A2B)和D(B2A)，G根据输入的A域图像提取特征并做转换生成类似B域的图片，判别器D(A2B)对生成的图片做出判别，生成器F根据生成的伪B域图片重建A域原图，同时对另一图像域B的数据也做类似的处理。网络的亮点在于引入循环一致损失优化由生成的转换图重建的原始图像域图片。损失函数表达式如式(1)所示，该式计算原始图像和重建图像间的L1范数，这样的设计加强了转换前后的相关性，网络在学习A到B域之间转换的同时，依靠从B域重建A域图像增强转换质量，也避免了A域中图像映射到B域中同一张图片的可能性。
循环一致损失的引入使输入图像与重建图像间的内容信息越来越接近，使转换前原始图像的内容更多地保留。随着生成损失判别损失等各项损失的不断优化，生成图像质量不断提高，转换效果越来越明显。
为了避免在网络训练时需要对去雾前后的图像样本进行严格配准，这里我们提出了一种RBW-CycleGAN(Residual Block with Weights-CycleGAN)网络用于图像去雾。相比于传统CycleGAN网络，RBW-CycleGAN加入带权重的残差块，将原始网络中Batch-Normalization归一化方式改为Instance-Normalization方式，在训练损失函数优化时，使用最小二乘损失并增加判别损失在总体损失函数中的权重，降低重建损失在总体损失函数中的权重，如图2所示为网络整体架构。将雾图作为A图像域的输入数据，清晰图作为B图像域的输入数据，输入网络进行转换训练。
输入生成网络的图片质量对网络训练的效果有很大影响，收集的图片数据分辨率较大不能直接输入到网络中，需要对数据做尺寸的调整。不同的下采样方式对图像重建的效果有很大的影响，本发明首先考察了各种下采样方式对图像重建效果的影响，使用各种下采样方式对相同图像做下采样并将下采样后的图片经过超分辨网络重建出原始图像，将重建后的图像与原图做像素间的差值比较，得到Lanczos下采样重建后的图像与原图像素差最小，效果最逼近。所以本发明对要输入生成网络的图片数据使用Lanczos下采样方式调整尺寸。
整个生成网络中两种生成器具有相同的结构，网络框架如图3所示。每个生成网络由特征编码、特征转换和特征解码三部分构成，其中特征编码和特征转换网络的相关参数如表1和表2所示。输入图片经过特征编码网络的层层卷积提取特征之后进入残差网络做转换，残差网络跳跃连接的结构能够在传递前层网络信息的同时接收更浅层网络收集的信息，两种信息的叠加可以在原始特征信息的基础上得到新的特征表示，这些新的特征进入特征解码网络之后反卷积上采样恢复为完整图像。
表1.特征提取编码网络参数
Table1.Parameters of feature extraction network
表2.特征解码网络参数
Table2.Parameters of feature decoding network
特征转换的目的可以概括为将不同的特征重新组合，基于这些特征决定如何将图像的特征向量转换到另一个分布。这个转换过程不能没有约束地对特征重新组合，要兼顾输入图像的特性，残差块的结构使输出不会偏离原始的输入，很适合完成这样的转换。在实际训练时，卷积网络和残差网络的交叉使用会减缓梯度消失和梯度爆炸现象，但当残差块级联过多时依旧会导致模式崩溃，在长时间训练时，网络会停止学习从而生成相同的图片。原始的CycleGAN网络使用9个残差块串联组成转换器，为了保留残差块的转换效果以及训练优势，同时进一步提高网络在长时间训练时的学习效果并探索残差块对图片生成效果的影响，本发明用4个带权重的残差块级联作为特征转换器，以残差网络的宽度换深度，每个带权重的残差块由两个残差块并联构成，如图4(a)中所示为每个残差块的结构，(b)为每个带权重的残差块的结构，实验证明，对每个残差块设置不同的权值可以使生成图片不同程度地趋于有雾或清晰的风格类型。在没有使用大量数据集和成熟网络训练出最合适的权值时，为了使生成图片在两个图像域的风格中保持均衡的状态，本发明将每个残差块的权值设为1/2。
本发明中网络的两个判别器D(A)、D(B)均用全卷积网络搭建，如图5所示，网络参数如表3所示。D(A)将A域输入图像与B域生成的伪A域图像进行比较，同样的，D(B)将B域输入图像与A域生成的伪B域图像进行比较。训练判别网络时，前期需要保证判别器能够进行有效判别，为此设置生成图片的缓存区，缓存的图片量设定为30张。缓存区的设置保证网络对前期学习成果的记忆，不会形成发散式生成。训练后期，由于长时间的训练会使判别器过于自信，从而会判定固定类型的图片为正确，这样会使生成网络生成固定形式的图片，降低网络的学习能力。为此，在训练后期，向判别网络中随机添加清晰数据集中的图片以增加数据的多样性和提高判别标准，并增加图片缓存区的图片数量为50张。
表3.判别网络结构参数
本发明中判别网络对经过卷积提取的特征之后并不直接将单个特征向量作比较，而是将特征图划分为不同的块，对块之间做比较。这样可以使网络更关注特征的全局关联度，不致于使单个特征向量间的差异影响了图像整体的判别。判别时使用的损失函数从LSGAN[16]中启发而来，采用最小二乘损失，可以加快网络的收敛速度，缓解梯度爆炸或梯度消失现象的发生，提高生成图片的质量。LSGAN中损失函数表示为式(2)(3)，本发明取b为0，a为1，c为1。
如上式所示，损失函数中并没有使用传统的交叉熵损失，因为交叉熵损失在衡量两个分布之间差异的时候会将已经判定为假的样本停止迭代，而在本发明中并不存在完全错误的样本，只有生成效果好与不好的分布，使用交叉熵就会使部分特征失去作用，训练的时候更容易不稳定。最小二乘损失会惩罚远离决策边界的样本，再逐步迭代优化过程中将判定的假样本拖回决策边界中。
实施例1：
实验中采用的数据集包括网络上的一些开源数据集和自建数据集。
Table0.HAZE数据集:，包含35对相同场景的室内有雾图片和无雾图片。有雾图片通过雾霾机器产生。图像是在受控的环境中拍摄的，所以在相同的光照条件下，可以拍摄无雾图像和模糊图像，每组有雾图和无雾图都是相同场景的，每个场景都包含一个麦克白颜色检查器用于后续颜色校准。
O-HAZE数据集，包含45对相同场景的室外有雾图片和清晰图片。室外有雾场景由专业雾霾机器产生。在室外控制相同的照明参数，记录下相同的视觉内容，得到45对图片数据。
RTTS数据集，收集自广汽研究院提供的用于CHINAMM比赛的真实雾霾数据，包含5K多张不同场景的真实露天有雾图片，例如：街道，人流，建筑，公园，风景等。
清晰图片数据集，从ImageNet、SUN2012、ILSVRC2010等开源清晰图像数据集中筛选了5K多张与RTTS雾图数据集中场景相类似的清晰图片作为清晰图片域的训练数据。
真实场景数据集，在自然有雾条件下随机拍摄了200张自然雾图以及200张同场景但没有进行匹配的清晰图。如图6所示为部分数据集图片。
对I-HAZE和O-HAZE数据集，将图片做一定的平移、旋转、和剪裁，得到500张模糊图片和500张清晰图片，并且尽量保证类似场景的对应。
对自制的真实场景数据集，由于拍摄得到的图片分辨率较大，将所有图片做剪裁分别得到真实雾图和真实场景的清晰图片各1020张,1000张用于训练，20张用于测试。与RTTS数据集和搜集的清晰图片一起，总共得到6500多对未匹配的雾图和清晰图片。
将所有的图片分为3部分，每个部分分为有雾图片和清晰图片两类数据：part1，由1000张I-HAZE和O-HAZE数据集中的人工合成雾图对构成，作为网络预训练数据；part2，由5000对RTTS数据集雾图对构成，作为网络正式训练数据；part3，由2000张真实雾天场景图像对构成，作为网络最后一步的优化训练数据。
实验在tensorflow框架中进行，整个实验分7步，各阶段的实验设置如表4，各阶段训练的生成效果如图7所示。
表4.实验各阶段参数设置
图7中(a)、(b)、(c)、(d)分别对应表4中的四个训练阶段，每个阶段喂入网络不同的数据，迭代表4中对应的次数得到图7中的生成效果。从图7(a)中可以看到网络已经能够生成较为清晰的图片，由于输入的是人工合成的雾图数据，雾的浓度与景深的关联性与自然雾图有差异，虽然较快地产生了去雾效果，但生成图片中物体的边缘模糊，只能恢复大体的轮廓而缺失细节。(b)中生成图像的细节更好，浓雾处的信息也逐渐恢复，生成的颜色更贴近真实图片，但是仍然有颜色失真的现象，从图中可见人脸的颜色和车辆的颜色均过暗。(c)中生成图片在颜色方面恢复有了明显的改善，生成的物体形状与真实场景也相契合，并且细节相比之前的生成效果更清晰。从(d)的效果可以看到，网络已经表现出浓雾情况下良好的恢复能力，能够较准确地重建出浓雾情况下物体的形状和颜色，对天空区域的恢复也能够适应图像的整体效果，网络生成的效果从人眼来看已接近预期。
训练约80万次之后，保存模型测试，输入part3中预留的真实雾天图片进行测试，得到的结果如图8所示。利用本发明算法去雾后，图像在RGB三通道上的方差变大，即对比度更强，各个通道上的灰度分布更均匀，许多雾图上没有的像素值也被恢复，图像的颜色生成在符合场景内容的前提下更多样。
抽取部分测试用例分别利用DCP、CAP和本发明算法做去雾，得到的去雾图片如图9所示，并将清晰数据集中的清晰图片剪裁出与雾图相匹配的图片作为恢复效果的参照对象。在使用DCP和CAP方法时，不断调整两种算法的去雾系数，当去雾之后的图片在人眼感受上达到最好时保存。从图9中可以看到，DCP和CAP算法在处理浓雾图片时效果并不明显，生成的图片整体颜色过暗，无法恢复出物体的细节，对景深处的物体恢复能力差。从对于天空区域的处理效果来看，传统算法在恢复时会出现光圈和光斑，天空区域的亮度不均衡，呈现出一种曝光过度的效果。本发明的算法对浓雾图片也能够较完整地重建出场景信息，细节和颜色的恢复效果从视觉感官上来看均符合真实场景，天空区域的恢复与图像整体更协调。将各个结果与清晰图片作对比可以发现，本发明算法去雾之后的图片无论从颜色还是细节都与清晰图片更相似。
定量分析：
峰值信噪比(PSNR)和结构相似性(SSIM)是衡量两幅图像之间差异性最常用的指标，随机抽取部分雾图，将传统去雾算法和本发明使用的去雾结果分别与清晰图片相比较计算PSNR和SSIM，得到如下表5：
表5.去雾结果定量分析比较
Table5.Quantitative analysis and comparison of defogging results
从表5中可以看到本发明所采用的的算法计算得到的PSNR和SSIM指标都高于传统的两种算法，说明在这两种评价指标下，本发明算法取得了优越的效果。从图9的比较来看，客观评价指标的结果根据人眼感受来预测应该有更大的提高，由于这两种评价算法注重衡量失真图像和参考图像之间的像素差异，没有考虑这些差异对人眼视觉感知的影响，所以计算的结果与人眼感受差距较大。
从去雾效果的比对图和图像的客观质量评价指标来看，本发明所用的算法无论在视觉效果还是定量计算指标上都优于传统算法。
Claims (3)
1.一种基于RBW-CycleGAN网络的图像去雾方法，其特征在于，包括网络模型搭建与训练阶段和网络模型应用阶段，所述网络模型搭建与训练阶段中向CycleGAN网络中引入带权重的残差块，并采用实例归一化处理，在训练损失函数优化时，使用最小二乘损失，并增加判别损失在总体损失函数中的权重，降低重建损失在总体损失函数中的权重；所述网络模型搭建与训练阶段具体包括以下步骤：
步骤1：获取网络训练数据集，收集具有信息相关性的类似场景雾图和清晰图片作为网络训练数据集；
步骤2：搭建并训练RBW-CycleGAN网络，分批次向网络中输入不同的样本数据，采用卷积神经网络对输入图片数据做特征提取，经过残差网络对特征进行转换，将转换后的特征信息传入反卷积网络中生成对应的图像数据，判别网络对生成图像与预期效果作比较并产生判别结果；
步骤2具体包括以下步骤：
步骤2-1：输入的两类图像进入生成网络，生成网包括三层卷积，第一层卷积为32个具有7*7卷积核大小的滤波器，对四维张量图做步长为1的滑动卷积提取特征，得到对应的特征图，第一层卷积后接relu激活函数层并做实例归一化，实例归一化的方式是在一张图片的图像像素上对高和宽做归一化，实例归一化的信息都是来自于自身的图片，相当于对全局信息做了一次整合和调整，随后将卷积后的特征图输入第二层卷积，第二层卷积由64个卷积核为3*3的滤波器组成，对产生的特征图做步长为2的滑动卷积，卷积后经过relu函数激活并做实例归一化，将第二层卷积并归一化后的数据输入第三层卷积，第三层卷积由128个卷积核为3*3的滤波器构成，做步长为2的滑动卷积并做批标准化；步骤2-2：三层卷积之后接连4个相同结构的带权重的残差块，每个残差块的结构包括并联的两层卷积，每个卷积层均包括3*3的卷积层与relu激活函数层与批标准化层，每两层卷积处理之后的数据赋予权重1/2，两部分输出权重相同；
步骤2-3：将两部分输出合并输入由反卷积构成的特征解码网络，特征解码网络由三层反卷积构成，第一层为64个卷积核为3*3的滤波器做步长为1/2的分步卷积，接着一层最大池化层，并做实例归一化的处理，第二层为32个卷积核为7*7的滤波器做步长为1/2的分步卷积，随后接一层最大池化层并做实例归一化，第三层为3个卷积核为7*7的滤波器做步长为1的滑动卷积；
步骤2-4：将生成器输出数据与原始输入数据输入判别网络作比较，判别网络包括两个相同结构的子判别网络，均由全卷积网络搭建而成，具体包括五层卷积：前四层的卷积分别由64、128、256和512个卷积核为4*4的滤波器构成，对输入信号做步长为2的滑动卷积，卷积之后接一层LRelu函数的激活层，最后接一层卷积核为4*4的一个滤波器对提取出的小特征块缩减；将得到的特征图分块处理，采用最小二乘损失评估块之间的差异，差异性的描述采用的是欧氏距离，当距离小于阈值0.5时，将差异性评估结果认定为真实，并输出1，当大于阈值时，标定为假，输出0。
2.根据权利要求1所述的一种基于RBW-CycleGAN网络的图像去雾方法，其特征在于，图片数据输入网络进行训练时，如果输入数据量为1万以上的图片数据对，则设置图片缓存区容量为30张，当迭代训练20万次之后，将缓存区的容量增加为50张，如果输入数据量小于1万，则设置初始图片缓存区容量为20张,20万次迭代之后设置缓存区容量为40张。
3.根据权利要求2所述的一种基于RBW-CycleGAN网络的图像去雾方法，其特征在于，图片数据输入网络进行训练时各项指标具体为：
步骤3-1：图片缓存区的设置，在此块区域中放置生成器生成的部分图片，判别网络做判别时，从缓存区中随机抽取部分图片进行判别，保证生成网络生成信息的稳定性以及前后相关性；
步骤3-2：Adam优化器的优化，整个发明中包括三项损失函数，分别是生成网络的生成损失，判别网络的判别损失，循环一致重建损失，训练前期，迭代训练20万次，将判别损失在整体损失函数中的权重设置为0.5，生成损失的权重为0.2，重建损失的权重设置为0.3，保证训练前期网络能生成对应图像域的图片，训练中期，迭代训练20~40万次，降低判别损失的权重为0.3，生成损失权重为0.3，重建损失为0.4，训练后期，迭代训练40万次之后，将重建损失的权重设置为0.5，生成损失为0.25，判别损失权重为0.25，为促进各项损失函数的收敛，将Adam优化器的学习率在训练前期初始设置为固定值0.0002，前期结束之后，按照预定的训练步数，设定学习率的衰减率，直到训练结束时，学习率从0.0002做线性衰减为0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010767261.1A CN112037139B (zh) | 2020-08-03 | 2020-08-03 | 基于RBW-CycleGAN网络的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010767261.1A CN112037139B (zh) | 2020-08-03 | 2020-08-03 | 基于RBW-CycleGAN网络的图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112037139A CN112037139A (zh) | 2020-12-04 |
| CN112037139B true CN112037139B (zh) | 2022-05-03 |
Family
ID=73583790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010767261.1A Active CN112037139B (zh) | 2020-08-03 | 2020-08-03 | 基于RBW-CycleGAN网络的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112037139B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614070B (zh) * | 2020-12-28 | 2023-05-30 | 南京信息工程大学 | 一种基于DefogNet的单幅图像去雾方法 |
| CN113240589A (zh) * | 2021-04-01 | 2021-08-10 | 重庆兆光科技股份有限公司 | 一种多尺度特征融合的图像去雾方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| DE102018221413A1 (de) * | 2017-12-14 | 2019-06-19 | Robert Bosch Gmbh | Effektive baustein-ausgestaltung für tiefe konvolutionelle neuronale netzwerke unter verwendung einer suche |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805258B (zh) * | 2018-05-23 | 2021-10-12 | 北京图森智途科技有限公司 | 一种神经网络训练方法及其装置、计算机服务器 |
-
2020
- 2020-08-03 CN CN202010767261.1A patent/CN112037139B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018221413A1 (de) * | 2017-12-14 | 2019-06-19 | Robert Bosch Gmbh | Effektive baustein-ausgestaltung für tiefe konvolutionelle neuronale netzwerke unter verwendung einer suche |
| CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| 不同纹理复杂度图像生成中CycleGAN循环一致损失系数优化选择方法;徐强 等;《计算机科学》;20190115;100-106 * |
| 生成式对抗网络的等效模型及应用研究;姜忠昊;《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》;20200115;23-31 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112037139A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109815893B (zh) | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 | |
| CN109614996B (zh) | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 | |
| CN111709902B (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| CN107977932B (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
| CN111738942A (zh) | 一种融合特征金字塔的生成对抗网络图像去雾方法 | |
| CN111161191B (zh) | 一种图像增强方法 | |
| CN112037139B (zh) | 基于RBW-CycleGAN网络的图像去雾方法 | |
| CN109886870A (zh) | 基于双通道神经网络的遥感图像融合方法 | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
| CN112614070B (zh) | 一种基于DefogNet的单幅图像去雾方法 | |
| CN116645569B (zh) | 一种基于生成对抗网络的红外图像彩色化方法和系统 | |
| CN116363036B (zh) | 基于视觉增强的红外与可见光图像融合方法 | |
| CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
| CN116033279B (zh) | 一种夜晚监控相机的近红外图像彩色化方法、系统及设备 | |
| CN112419163A (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| CN117974490B (zh) | 一种多模块级联的水下图像增强方法 | |
| CN115457249A (zh) | 红外图像与可见光图像融合匹配的方法及系统 | |
| CN115908602A (zh) | 一种将风景照片转换为中国山水画的风格迁移方法 | |
| CN118134809A (zh) | 基于面部属性信息预测的自适应人脸修复方法和装置 | |
| CN117876530A (zh) | 一种基于参考图像的红外图像彩色化方法及系统 | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| CN115457265B (zh) | 基于生成对抗网络和多尺度融合的图像去雾方法及系统 | |
| CN117974459A (zh) | 一种融合物理模型和先验的低照度图像增强方法 | |
| CN106204476B (zh) | 一种低照度彩色图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |