CN113554568A - 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 - Google Patents
一种基于自监督约束和不成对数据的无监督循环去雨网络方法 Download PDFInfo
- Publication number
- CN113554568A CN113554568A CN202110887952.XA CN202110887952A CN113554568A CN 113554568 A CN113554568 A CN 113554568A CN 202110887952 A CN202110887952 A CN 202110887952A CN 113554568 A CN113554568 A CN 113554568A
- Authority
- CN
- China
- Prior art keywords
- network
- picture
- rain
- rainwater
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 125000004122 cyclic group Chemical group 0.000 claims description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 6
- 238000003786 synthesis reaction Methods 0.000 abstract description 6
- 238000013507 mapping Methods 0.000 abstract 1
- 238000010606 normalization Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于自监督约束和不成对数据的无监督循环去雨网络方法。本发明的目标是在给定随机不成对数据的情况下，学习从雨水图片域R到目标干净图片域C的映射。本发明引入了生成对抗思想，主要包括雨水移除子网络、雨水生成子网络、鉴别网络三部分。本发明并没有像其他监督去雨方法一样采用成对的人工合成雨图和背景图进行监督训练，因此可以在一定程度上提高模型处理真实世界雨图时的泛化性，并且也绕开了难以从真实下雨场景中获得用于监督训练的输入‑标签图片对的困境，本发明同时也把加雨引入网络，实现雨纹闭环，为自监督去雨网络提供更强的监督。通过本发明可以实现对雨水的自动去雨，提高图片质量，方便图像进一步处理和利用。
Description
技术领域
本发明属于单幅图像去雨领域，尤其涉及一种基于自监督约束和不成对数据的无监督循环去雨网络方法。
背景技术
近年来，随着大数据的发展和深度学习的推进，人工智能逐渐进入人们的视野。其中，作为人工智能重要分支的计算机视觉应用更是无处不在。下雨天气是日常生活中常见的恶劣天气之一。当采集用于计算机视觉的图像时，雨水天气会降低图片的视觉量。雨纹带来的伪影会对后续的计算机视觉算法的性能产生不利影响，甚至很可能会导致计算机视觉算法失效。随着图像去雨算法在例如无人驾驶、视频监视、图像增强、目标跟踪等多种应用中成为至关重要的组成部分，开发效果优良，泛化性能好的图像去雨算法变得越来越重要。
当前基于深度学习的图像去雨方法，比如卷积神经网络、对抗神经网络、编码器-解码器结构等，绝大多数还是在监督学习的框架下以人工合成数据集作为训练集训练网络。尽管当前基于深度学习的图像去雨方法取得了优异的表现，但仍存在一些限制。最主要的是很难从真实下雨场景中获得用于监督训练的输入-标签图片对，由此造成的泛化性不足。现在主流的训练方法是采用人工合成的训练集作为代替对网络进行训练，人工合成的方式就是通过Photoshop软件在干净图片上加上不同尺寸、亮度、距离摄像机距离的雨纹，还可能加上不同程度的薄雾或烟雾以尽可能地模仿真实的情况。尽管如此，人工合成的雨纹图片仍不能覆盖现实世界中各异的雨纹类型，因此就会造成人工数据集与现实图片之间域的偏差，进而造成人工数据集训练出来的网络不能很好地泛化到现实世界中去。
发明内容
基于此问题，本发明提出了一种采用不成对的真实雨图和真实背景图作为输入的自监督去雨网络，并没有像其他监督去雨方法一样采用成对的人工合成雨图和背景图进行监督训练，因此可以在一定程度上提高模型处理真实世界雨图时的泛化性，并且也绕开了难以从真实下雨场景中获得用于监督训练的输入-标签图片对的困境，本发明同时也把加雨引入网络，实现雨纹闭环，为自监督去雨网络提供更强的监督。
为实现本发明的目的，本发明所采用的技术方案如下：一种基于自监督约束和不成对数据的无监督循环去雨网络方法，其特征在于：所述方法包括以下步骤：
步骤1：在训练数据集中随机采样不成对的雨水图片和背景图片，并进行预处理；
步骤2：建立雨水移除子网络、雨水生成子网络、鉴别网络；
步骤3：根据已经建立的网络和本发明设计的网络架构，计算损失函数；
步骤4：设置网络超参数，根据损失函数进行反向传播，优化网络参数；
步骤5：重复步骤3和步骤4，直到epoch为200后，结束网络训练。
:作为本发明的一种改进，所述步骤1中，随机采样不成对图片和图片预处理的方法为：
步骤1.1：图片预处理；
通过观察发现，真实雨水图片通常是在阴天的情况下拍摄的，因此真实雨水图片的平均亮度通常较低。如果我们直接使用未经处理的真实背景图片和真实雨水图片进行训练，这样会因为未经处理的真实背景图片的亮度过高导致真实雨水图片去雨后亮度较高，不符合真实雨水图片平均亮度较低的现状，从而导致去雨效果较差，观感不好。因此在发现这个现象之后，本发明在模型的数据加载模块中进行预处理，具体的方法是将从数据集中随机抽取出的真实雨水图片和背景图片从RGB模式转换为YCbCr模式，之后将YCbCr模式的真实雨水图片和真实背景图片进行通道分解，提取出其中的Y通道分量，对比两张图片Y通道分类的平均值，如果真实雨水图片的Y通道平均值小于真实背景图片的Y通道平均值，则重新抽取真实背景图片，直到真实雨水图片的Y通道平均值大于真实背景图片的Y通道平均值。这样就可以尽可能地指导网络保证真实雨水图片去雨后的亮度符合实际。
步骤1.2：随机采样不成对图片；
基于监督学习的单幅图像去雨算法是以成对的数据为输入和标签进行训练。此类去雨方法的弊端就是缺乏真实的训练数据，过度依赖人工合成的数据集来训练模型。人工合成的雨纹图片不能覆盖现实世界中各异的雨纹类型，进而可能出现用人工数据集训练的去雨模型处理真实雨水图片效果较差的情况。针对这个问题，本方法采用以不成对的真实雨水图片和背景图片作为输入进行训练。获得成对的真实数据集是十分困难的，但获得不成对的真实雨水数据集却是十分容易的。以不成对数据作为输入可以绕过真实数据集难以获得这个困境，同时也会因为训练数据的真实性，带来模型泛化性能的提高。在训练过程中的具体实现为完全随机地从两个不成对的真实雨水数据集和背景数据集进行采样，随后输入到网络进行前向传播。
作为本发明的一种改进，所述步骤2中，雨水移除子网络和雨水生成子网络统称为生成网络，生成网络和鉴别网络的具体结构为：
步骤2.1：生成网络
生成网络主要采用了imagetoimage结构的全卷积神经网络，网络中主要包含初始特征提取模块、下采样模块、残差模块、上采样模块和末端特征精炼模块，其中下采样模块通过步长为2的卷积来实现，上采样模块通过步长为2的反卷积来实现。生成网络采用了类似于U-Net的结构但是没有采用其中的跳跃连接结构。在中间的残差模块中，采用了残差学习的思想，通过学习雨水图与背景图之间的残差即可得到雨纹。网络中的归一化层并没有采用较为常用的批量归一化层，而是采用了实例归一化层，主要原因是批量归一化层适用于判别模型中。因为批量归一化层注重对每个批次进行归一化，从而保证数据分布的一致性，但是批量归一化层对批尺寸比较敏感，如果批尺寸较小，则计算的均值、方差不足以代表整个数据分布。实例归一化层适用于生成模型中，因为图片生成的结果主要依赖于某个图像实例，所以对整个批次归一化并不适合。本网络采用了生成对抗思想，采用的是类似于风格迁移的imagetoimage结构，因此采用的是实例归一化层。
步骤2.2：鉴别网络；
鉴别器网络主要采用了PatchGAN的思想，一般而言，传统的GAN的鉴别器设计是仅输出一个评价值，该值是对生成器生成的整幅图像的一个评价。而PatchGAN的设计则不同，PatchGAN设计成全卷积的形式，图像经过各种卷积层后，并不会输入到全连接层或者激活函数中，而是使用卷积将输入映射为N×N矩阵，该矩阵等同于传统的GAN中的最后的用以评价生成器的生成图像的评价值。N×N矩阵中每个点(True or False)即代表原始图像中的一块小区域评价值，这也就是“感受野”的应用。原来用一个值衡量整幅图，现在使用N×N的矩阵来评价整幅图，显然后者可以关注更多的区域，这也就是PatchGAN的优势。
作为本发明的一种改进，所述步骤3中，损失函数的具体形式和设置意义为：
本发明的损失函数包括循环损失、背景损失、一致性损失、对抗损失、雨纹损失五部分，定义说明书附图2的第一行为A支路，第二行为B支路，定义雨水去除模块(绿色)为GR，雨水生成模块(红色)为GG，雨水鉴别网络为DR，背景鉴别网络为DB；定义A支路输入为真实雨水图片
(第一行左数第二张)，B支路输入为真实背景图片
(第二行左数第二张)；定义A支路的一致性损失为Lidt A，循环损失为Lcyc A，背景损失为Lback A；定义B支路的一致性损失为Lidt B，循环损失为Lcyc B，背景损失为Lback B；定义A支路与B支路之间的雨水损失为Lrain，定义A支路的预测背景图片(第一行左数第三张)与B支路的真实背景图片(第二行左数第二张)之间的对抗损失为Ladv B，定义A支路的真实雨水图片(第一行左数第二张)与B支路的预测雨水图片(第二行左数第三张)之间的对抗损失为Ladv A，λ3，λ5，λ9，λidt，λback，λadv，λrain，λcyc为超参数，
代表进行滤波核尺寸为σ×σ的高斯模糊，之后运用拉普拉斯算子计算图片梯度的操作，具体形式如下所示：
背景损失设置的目的是保持图片的内容一致性和防止去雨加雨后图片丢失重要细节。具体操作就是首先对两张图片进行高斯模糊，之后运用拉普拉斯算子计算图片梯度，最终计算两者间梯度的L1损失。
一致性损失的主要目的是希望保证真实雨水图片在经过雨水生成模块后仍保持不变和真实背景图片在经过雨水去除模块后仍保持不变，这样做可以使去雨和加雨操作的合理运行，确保图片中有雨水时无法生成雨水，图片中无雨水时无法去除雨水。具体操作是计算两张图片之间的L1损失。
循环损失的目的是让雨水图片在去雨再加雨后仍保持一致性，让背景图片在加雨再去雨后仍保持一致性，为模型提供更强的约束。具体操作就是计算两张图片间的L1损失。
雨水对抗损失的目的是采用生成对抗思想，让雨水生成模块可以生成出更加逼真的雨水，让雨水鉴别网络难以分辨；背景损失模块的目的是采用生成对抗思想，让雨水去除模块可以更加完美的去除雨纹，让背景鉴别网络难以分辨。具体操作是采用LSGAN和PatchGAN的思想，采用最小二乘法计算对抗损失。
雨水损失的目的是希望去雨模块和加雨模块去除和生成的雨纹尽可能一致，因为本方法为无监督方法，需要更多的约束以确保网络训练的稳定，因此雨水损失的设置是十分有必要的。具体操作是计算两张雨纹图片间的L1损失。
综上，总损失函数如下所示：
Totalloss＝λidt×(LidtA+LidtB)+λback×(LbackA+LbackB)+λadv×(LadvA+LadvB)+λrain×Lrain+λcyc×(LcycA+LcycB)#
与现有技术相比，本发明的技术方案具有以下的有益技术效果：
(1)本发明提出的一种采用不成对的真实雨图和真实背景图作为输入的自监督去雨网络，并没有像其他监督去雨方法一样采用成对的人工合成雨图和背景图进行监督训练，因此可以在一定程度上提高模型处理真实世界雨图时的泛化性，并且也绕开了难以从真实下雨场景中获得用于监督训练的输入-标签图片对的困境。
(2)本发明提出的一种采用不成对的真实雨图和真实背景图作为输入的自监督去雨网络，在数据预处理时考虑到了真实雨水图片通常是在阴天的情况下拍摄的，平均亮度通常较低的现状。通过控制真实雨水图片的亮度大于背景图片的亮度，让真实雨水图片去雨后的亮度符合实际。
(3)本发明提出的一种采用不成对的真实雨图和真实背景图作为输入的自监督去雨网络，把雨纹生成引入网络结构，总体实现雨纹闭环，为自监督去雨网络提供更强的监督，保证了更好的效果。
附图说明
图1是本发明一种基于自监督约束和不成对数据的无监督循环去雨网络方法的方法流程图。
图2是本发明的总体网络结构图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
实施例1：如图1所示，本发明提出了基于自监督约束和不成对数据的无监督循环去雨网络方法，该方法的详细步骤为：
步骤1：在训练数据集中随机采样不成对的雨水图片和背景图片，并进行预处理；
步骤2：建立雨水移除子网络、雨水生成子网络、鉴别网络；
步骤3：根据已经建立的网络和本发明设计的网络架构，计算损失函数；
步骤4：设置网络超参数，根据损失函数进行反向传播，优化网络参数；
步骤5：重复步骤3和步骤4，直到epoch为200后，结束网络训练。
步骤1：在训练数据集中随机采样不成对的雨水图片和背景图片，并进行预处理。
通过观察发现，真实雨水图片通常是在阴天的情况下拍摄的，因此真实雨水图片的平均亮度通常较低。如果我们直接使用未经处理的真实背景图片和真实雨水图片进行训练，这样会因为未经处理的真实背景图片的亮度过高导致真实雨水图片去雨后亮度较高，不符合真实雨水图片平均亮度较低的现状，从而导致去雨效果较差，观感不好。因此在发现这个现象之后，本发明在模型的数据加载模块中进行预处理，具体的方法是将从数据集中随机抽取出的真实雨水图片和背景图片从RGB模式转换为YCbCr模式，之后将YCbCr模式的真实雨水图片和真实背景图片进行通道分解，提取出其中的Y通道分量，对比两张图片Y通道分类的平均值，如果真实雨水图片的Y通道平均值小于真实背景图片的Y通道平均值，则重新抽取真实背景图片，直到真实雨水图片的Y通道平均值大于真实背景图片的Y通道平均值。这样就可以尽可能地指导网络保证真实雨水图片去雨后的亮度符合实际。
基于监督学习的单幅图像去雨算法是以成对的数据为输入和标签进行训练。此类去雨方法的弊端就是缺乏真实的训练数据，过度依赖人工合成的数据集来训练模型。人工合成的雨纹图片不能覆盖现实世界中各异的雨纹类型，进而可能出现用人工数据集训练的去雨模型处理真实雨水图片效果较差的情况。针对这个问题，本方法采用以不成对的真实雨水图片和背景图片作为输入进行训练。获得成对的真实数据集是十分困难的，但获得不成对的真实雨水数据集却是十分容易的。以不成对数据作为输入可以绕过真实数据集难以获得这个困境，同时也会因为训练数据的真实性，带来模型泛化性能的提高。在训练过程中的具体实现为完全随机地从两个不成对的真实雨水数据集和背景数据集进行采样，随后输入到网络进行前向传播。
步骤2：建立雨水移除子网络、雨水生成子网络、鉴别网络。
生成网络主要采用了imagetoimage结构的全卷积神经网络，网络中主要包含初始特征提取模块、下采样模块、残差模块、上采样模块和末端特征精炼模块，其中下采样模块通过步长为2的卷积来实现，上采样模块通过步长为2的反卷积来实现。生成网络采用了类似于U-Net的结构但是没有采用其中的跳跃连接结构。在中间的残差模块中，采用了残差学习的思想，通过学习雨水图与背景图之间的残差即可得到雨纹。网络中的归一化层并没有采用较为常用的批量归一化层，而是采用了实例归一化层，主要原因是批量归一化层适用于判别模型中。因为批量归一化层注重对每个批次进行归一化，从而保证数据分布的一致性，但是批量归一化层对批尺寸比较敏感，如果批尺寸较小，则计算的均值、方差不足以代表整个数据分布。实例归一化层适用于生成模型中，因为图片生成的结果主要依赖于某个图像实例，所以对整个批次归一化并不适合。本网络采用了生成对抗思想，采用的是类似于风格迁移的imagetoimage结构，因此采用的是实例归一化层。
鉴别器网络主要采用了PatchGAN的思想，一般而言，传统的GAN的鉴别器设计是仅输出一个评价值，该值是对生成器生成的整幅图像的一个评价。而PatchGAN的设计则不同，PatchGAN设计成全卷积的形式，图像经过各种卷积层后，并不会输入到全连接层或者激活函数中，而是使用卷积将输入映射为N×N矩阵，该矩阵等同于传统的GAN中的最后的用以评价生成器的生成图像的评价值。N×N矩阵中每个点(True or False)即代表原始图像中的一块小区域评价值，这也就是“感受野”的应用。原来用一个值衡量整幅图，现在使用N×N的矩阵来评价整幅图，显然后者可以关注更多的区域，这也就是PatchGAN的优势。
步骤3：根据已经建立的网络和本发明设计的网络架构，计算损失函数。
本发明的损失函数包括循环损失、背景损失、一致性损失、对抗损失、雨纹损失五部分，定义说明书附图2的第一行为A支路，第二行为B支路，定义雨水去除模块(绿色)为GR，雨水生成模块(红色)为GG，雨水鉴别网络为DR，背景鉴别网络为DB；定义A支路输入为真实雨水图片
(第一行左数第二张)，B支路输入为真实背景图片
(第二行左数第二张)；定义A支路的一致性损失为Lidt A，循环损失为Lcyc A，背景损失为Lback A；定义B支路的一致性损失为Lidt B，循环损失为Lcyc B，背景损失为Lback B；定义A支路与B支路之间的雨水损失为Lrain，定义A支路的预测背景图片(第一行左数第三张)与B支路的真实背景图片(第二行左数第二张)之间的对抗损失为Ladv B，定义A支路的真实雨水图片(第一行左数第二张)与B支路的预测雨水图片(第二行左数第三张)之间的对抗损失为Ladv A，λ3，λ5，λ9，λidt，λback，λadv，λrain，λcyc为超参数，
代表进行滤波核尺寸为σ×σ的高斯模糊，之后运用拉普拉斯算子计算图片梯度的操作，具体形式如下所示：
背景损失设置的目的是保持图片的内容一致性和防止去雨加雨后图片丢失重要细节。具体操作就是首先对两张图片进行高斯模糊，之后运用拉普拉斯算子计算图片梯度，最终计算两者间梯度的L1损失。
一致性损失的主要目的是希望保证真实雨水图片在经过雨水生成模块后仍保持不变和真实背景图片在经过雨水去除模块后仍保持不变，这样做可以使去雨和加雨操作的合理运行，确保图片中有雨水时无法生成雨水，图片中无雨水时无法去除雨水。具体操作是计算两张图片之间的L1损失。
循环损失的目的是让雨水图片在去雨再加雨后仍保持一致性，让背景图片在加雨再去雨后仍保持一致性，为模型提供更强的约束。具体操作就是计算两张图片间的L1损失。
雨水对抗损失的目的是采用生成对抗思想，让雨水生成模块可以生成出更加逼真的雨水，让雨水鉴别网络难以分辨；背景损失模块的目的是采用生成对抗思想，让雨水去除模块可以更加完美的去除雨纹，让背景鉴别网络难以分辨。具体操作是采用LSGAN和PatchGAN的思想，采用最小二乘法计算对抗损失。
雨水损失的目的是希望去雨模块和加雨模块去除和生成的雨纹尽可能一致，因为本方法为无监督方法，需要更多的约束以确保网络训练的稳定，因此雨水损失的设置是十分有必要的。具体操作是计算两张雨纹图片间的L1损失。
综上，总损失函数如下所示：
Totalloss＝λidt×(LidtA+LidtB)+λback×(LbackA+LbackB)+λadv×(LadvA+LadvB)+λrain×Lrain+λcyc×(LcycA+LcycB)#
步骤4：设置网络超参数，根据损失函数进行反向传播，优化网络参数。
网络初始化采用正太分布初始化的方式，epoch设为200，学习率初始化为0.0002，到epoch＝100后采用线性方式进行学习率递减直到epoch＝200时学习率为0，网络输入图片的尺寸为256×256，批尺寸设为1，采用Adam优化器最小化目标损失函数，整个网络基于Pytorch框架训练于两个英伟达V100 32G显卡，损失函数超参数设置如下：λ3＝0.01，λ5＝0.1，λ9＝1，λidt＝0.5，λback＝1，λadv＝1，λrain＝1，λcyc＝10。
步骤5：重复步骤3和步骤4，直到epoch为200后，结束网络训练。
需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。
Claims (5)
1.一种基于自监督约束和不成对数据的无监督循环去雨网络方法，其特征在于：方法包括以下步骤：
步骤1：在训练数据集中随机采样不成对的雨水图片和背景图片，并进行预处理；
步骤2：建立雨水移除子网络、雨水生成子网络、鉴别网络；
步骤3：根据已经建立的网络和本发明设计的网络架构，计算损失函数；
步骤4：设置网络超参数，根据损失函数进行反向传播，优化网络参数；
步骤5：重复步骤3和步骤4，直到epoch为200后，结束网络训练。
2.根据权利要求1所述的一种基于自监督约束和不成对数据的无监督循环去雨网络方法，其特征在于：所述步骤1中，随机采样不成对图片和图片预处理的方法为：
步骤1.1：图片预处理，
在模型的数据加载模块中进行预处理，具体的方法是将从数据集中随机抽取出的真实雨水图片和背景图片从RGB模式转换为YCbCr模式，之后将YCbCr模式的真实雨水图片和真实背景图片进行通道分解，提取出其中的Y通道分量，对比两张图片Y通道分类的平均值，如果真实雨水图片的Y通道平均值小于真实背景图片的Y通道平均值，则重新抽取真实背景图片，直到真实雨水图片的Y通道平均值大于真实背景图片的Y通道平均值，
步骤1.2：随机采样不成对图片；
采用以不成对的真实雨水图片和背景图片作为输入进行训练，在训练过程中的具体实现为完全随机地从两个不成对的真实雨水数据集和背景数据集进行采样，随后输入到网络进行前向传播。
3.根据权利要求1所述的一种基于自监督约束和不成对数据的无监督循环去雨网络方法，其特征在于：所述步骤2中，雨水移除子网络和雨水生成子网络统称为生成网络，生成网络和鉴别网络的具体结构为：
步骤2.1：生成网络；
生成网络主要采用了imagetoimage结构的全卷积神经网络，网络中主要包含初始特征提取模块、下采样模块、残差模块、上采样模块和末端特征精炼模块，其中下采样模块通过步长为2的卷积来实现，上采样模块通过步长为2的反卷积来实现，生成网络采用了类似于U-Net的结构；
步骤2.2：鉴别网络；
鉴别器网络主要采用了PatchGAN的思想，PatchGAN设计成全卷积的形式，图像经过各种卷积层后，并不会输入到全连接层或者激活函数中，而是使用卷积将输入映射为N×N矩阵，该矩阵等同于传统的GAN中的最后的用以评价生成器的生成图像的评价值，N×N矩阵中每个点(True or False)即代表原始图像中的一块小区域评价值。
4.根据权利要求1所述的一种基于自监督约束和不成对数据的无监督循环去雨网络方法，其特征在于：所述步骤3中，损失函数的具体形式和设置意义为：
损失函数包括循环损失、背景损失、一致性损失、对抗损失、雨纹损失五部分，定义说明书附图2的第一行为A支路，第二行为B支路，定义雨水去除模块(绿色)为GR，雨水生成模块(红色)为GG，雨水鉴别网络为DR，背景鉴别网络为DB；定义A支路输入为真实雨水图片
(第一行左数第二张)，B支路输入为真实背景图片
(第二行左数第二张)；定义A支路的一致性损失为LidtA，循环损失为LcycA，背景损失为LbackA；定义B支路的一致性损失为LidtB，循环损失为LcycB，背景损失为LbackB；定义A支路与B支路之间的雨水损失为Lrain，定义A支路的预测背景图片(第一行左数第三张)与B支路的真实背景图片(第二行左数第二张)之间的对抗损失为LadvB，定义A支路的真实雨水图片(第一行左数第二张)与B支路的预测雨水图片(第二行左数第三张)之间的对抗损失为LadvA，λ3,λ5,λ9,λidt,λback,λadv,λrain,λcyc为超参数，
代表进行滤波核尺寸为σ×σ的高斯模糊，之后运用拉普拉斯算子计算图片梯度的操作；
具体形式如下所示：
综上，总损失函数如下所示：
Totalloss＝λidt×(LidtA+LidtB)+λback×(LbackA+LbackB)+λadv×(LadvA+LadvB)+λrain×Lrain+λcyc×(LcycA+LcycB)#。
5.根据权利要求1所述的一种基于自监督约束和不成对数据的无监督循环去雨网络方法，其特征在于：所述步骤4中网络超参数为：
网络初始化采用正太分布初始化的方式，epoch设为200，学习率初始化为0.0002，到epoch＝100后采用线性方式进行学习率递减直到epoch＝200时学习率为0，网络输入图片的尺寸为256×256，批尺寸设为1，采用Adam优化器最小化目标损失函数，整个网络基于Pytorch框架训练于两个英伟达V100 32G显卡，损失函数超参数设置如下：λ3＝0.01,λ5＝0.1,λ9＝1,λidt＝0.5,λback＝1,λadv＝1,λrain＝1，λcyc＝10。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110887952.XA CN113554568A (zh) | 2021-08-03 | 2021-08-03 | 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110887952.XA CN113554568A (zh) | 2021-08-03 | 2021-08-03 | 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113554568A true CN113554568A (zh) | 2021-10-26 |
Family
ID=78105209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110887952.XA Pending CN113554568A (zh) | 2021-08-03 | 2021-08-03 | 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113554568A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332460A (zh) * | 2021-12-07 | 2022-04-12 | 合肥工业大学 | 一种半监督单图像去雨处理方法 |
| CN114842300A (zh) * | 2022-05-11 | 2022-08-02 | 安徽农业大学 | 一种适应雨天环境的农作物病虫害检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179187A (zh) * | 2019-12-09 | 2020-05-19 | 南京理工大学 | 基于循环生成对抗网络的单幅图像去雨方法 |
| CN112508083A (zh) * | 2020-12-02 | 2021-03-16 | 南京邮电大学 | 基于无监督注意力机制的图像去雨雾方法 |
| US20210150684A1 (en) * | 2019-11-15 | 2021-05-20 | Modiface Inc. | Image-to-image translation using unpaired data for supervised learning |
| CN113191969A (zh) * | 2021-04-17 | 2021-07-30 | 南京航空航天大学 | 一种基于注意力对抗生成网络的无监督图像除雨方法 |
-
2021
- 2021-08-03 CN CN202110887952.XA patent/CN113554568A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210150684A1 (en) * | 2019-11-15 | 2021-05-20 | Modiface Inc. | Image-to-image translation using unpaired data for supervised learning |
| CN111179187A (zh) * | 2019-12-09 | 2020-05-19 | 南京理工大学 | 基于循环生成对抗网络的单幅图像去雨方法 |
| CN112508083A (zh) * | 2020-12-02 | 2021-03-16 | 南京邮电大学 | 基于无监督注意力机制的图像去雨雾方法 |
| CN113191969A (zh) * | 2021-04-17 | 2021-07-30 | 南京航空航天大学 | 一种基于注意力对抗生成网络的无监督图像除雨方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332460A (zh) * | 2021-12-07 | 2022-04-12 | 合肥工业大学 | 一种半监督单图像去雨处理方法 |
| CN114332460B (zh) * | 2021-12-07 | 2024-04-05 | 合肥工业大学 | 一种半监督单图像去雨处理方法 |
| CN114842300A (zh) * | 2022-05-11 | 2022-08-02 | 安徽农业大学 | 一种适应雨天环境的农作物病虫害检测方法 |
| CN114842300B (zh) * | 2022-05-11 | 2024-05-03 | 安徽农业大学 | 一种适应雨天环境的农作物病虫害检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN110782399A (zh) | 一种基于多任务cnn的图像去模糊方法 | |
| CN111861901A (zh) | 一种基于gan网络的边缘生成图像修复方法 | |
| Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
| CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
| CN113554568A (zh) | 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN113420794B (zh) | 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法 | |
| CN114511480A (zh) | 一种基于分数阶卷积神经网络的水下图像增强方法 | |
| CN113344804B (zh) | 一种弱光图像增强模型的训练方法和弱光图像增强方法 | |
| Wang et al. | LLDiffusion: Learning degradation representations in diffusion models for low-light image enhancement | |
| CN116128768B (zh) | 一种带有去噪模块的无监督图像低照度增强方法 | |
| CN113139431A (zh) | 基于深监督学习的图像显著性目标检测方法 | |
| CN117391981A (zh) | 一种基于低光照明和自适应约束的红外与可见光图像融合方法 | |
| CN112634168A (zh) | 一种结合边缘信息的图像修复方法 | |
| CN116862809A (zh) | 一种低曝光条件下的图像增强方法 | |
| CN116523794A (zh) | 一种基于卷积神经网络的低光照图像增强方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN116563133A (zh) | 基于模拟曝光和多尺度融合的低照度彩色图像增强方法 | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN110175509A (zh) | 一种基于级联超分辨率的全天候眼周识别方法 | |
| CN115760630A (zh) | 一种低照度图像增强方法 | |
| Jiang et al. | Haze relevant feature attention network for single image dehazing | |
| CN115797205A (zh) | 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统 | |
| Gasparyan et al. | Iterative retinex-based decomposition framework for low light visibility restoration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |