CN115131244A - 基于对抗学习的单幅图像去雨方法及系统 - Google Patents
基于对抗学习的单幅图像去雨方法及系统 Download PDFInfo
- Publication number
- CN115131244A CN115131244A CN202210763079.8A CN202210763079A CN115131244A CN 115131244 A CN115131244 A CN 115131244A CN 202210763079 A CN202210763079 A CN 202210763079A CN 115131244 A CN115131244 A CN 115131244A
- Authority
- CN
- China
- Prior art keywords
- image
- rain
- network
- rain removing
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000005070 sampling Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 13
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 238000010276 construction Methods 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 230000003042 antagnostic effect Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013100 final test Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机视觉领域，提供了一种基于对抗学习的单幅图像去雨方法及系统，该方法包括获取待去雨图像；基于待去雨图像和训练后的去雨网络进行图像去雨，得到去雨图像；所述去雨网络的构建过程包括：将待去雨图像经过下采样后压缩图像的维数，将降维后的待去雨图像经过嵌入弱实例标准化的残差块的特征转换模块执行图像去雨得到去雨图像，经过上采样后放大图像维数，并将去雨图像和待去雨图像进行特征融合得到去雨图像，解决了图像去雨中细节难以重建的问题。
Description
技术领域
本发明属于计算机视觉领域，尤其涉及基于对抗学习的单幅图像去雨方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
在复杂的雨天下捕捉到的图片经常会受到雨滴的干扰，从而降低可见度，尤其是在大雨天，各个方向的雨水会导致背景变得朦胧，降低了图像的视觉效果，严重干扰了许多计算机视觉应用的工作，如影响目标检测、图像分割等任务的准确性，对图像去除雨水(Image Deraining)，并且恢复原始图像的细节具有重要的实际意义。但是由于雨水对原图的空间布局破坏较大，并且雨水的纹路是多样复杂的，传统对抗学习中的生成网络并不能很好地保留图像的细节，很难将图片的细节进行有效地重建，因此图像在特征转换过程中可能会丢失部分语义信息(如图片的纹理特征、图片的整体风格等)。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供基于对抗学习的单幅图像去雨方法及系统，其为了解决图像去雨中细节难以重建的问题，设计了特征融合模块，将下采样前的特征与上采样后的特征加以合并，通过让网络在上采样的过程中参考原始图像的空间细节，从而更好地提升模型重建细节的能力。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供基于对抗学习的单幅图像去雨方法，包括如下步骤：
获取待去雨图像；
基于待去雨图像和训练后的去雨网络进行图像去雨，得到去雨图像；
所述去雨网络的构建过程包括：
将待去雨图像经过下采样后压缩图像的维数，将降维后的待去雨图像经过嵌入弱实例标准化的残差块的特征转换模块执行图像去雨得到去雨图像，经过上采样后放大图像维数，并将去雨图像和待去雨图像进行特征融合得到去雨图像。
本发明的第二个方面提供基于对抗学习的单幅图像去雨系统，包括：
待去雨图像获取模块，用于获取待去雨图像；
去雨模块，用于基于待去雨图像和训练后的去雨网络进行图像去雨，得到去雨图像；
所述去雨网络的构建过程包括：
将待去雨图像经过下采样后压缩图像的维数，将降维后的待去雨图像经过嵌入弱实例标准化的残差块的特征转换模块执行图像去雨得到去雨图像，经过上采样后放大图像维数，并将去雨图像和待去雨图像进行特征融合得到去雨图像。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于对抗学习的单幅图像去雨方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于对抗学习的单幅图像去雨方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明改进了传统的对抗生成网络，通过将所设计的特征融合模块嵌入去雨网络中，使得网络在恢复图像的过程中可以参考带雨图像的部分细节，从而更好地重建被雨滴破坏的纹理特征；可以有效地去除图像的雨滴，恢复被雨滴破坏的空间特征分布，提升图片的可见度，可以用于辅助雨天下其他计算机视觉的应用。
本发明删除了去雨网络下采样和上采样过程中的标准化层，同时设计了弱实例标准化层，并且将其嵌入到残差模块中，用于使网络在执行去雨计算的过程中保留图像的弱局部特征，从而更好地实现重建细节的功能。
本发明还设计了高级语义损失，通过约束去雨网络所生成的去雨图像和真实无雨图像之间的高级语义一致性，提升去雨网络恢复高级语义特征的能力。
本发明所设计的算法适用性较高，可适用于任何场景下的图像去雨任务。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例中单幅图像去雨系统的实现流程图；
图2是本发明实施例中去雨网络的网络结构图；
图3是本发明实施例中特征融合模块的结构图；
图4是本发明实施例中嵌入了弱实例标准化层的残差模块结构图；
图5是本发明实施例中局部鉴别网络的网络结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例提供了基于对抗学习的单幅图像去雨方法，包括如下步骤：
步骤1：获取待去雨图像；
步骤2：基于待去雨图像和训练后的去雨网络进行图像去雨，得到去雨图像；
其中，所述去雨网络的构建过程包括：
将待去雨图像经过下采样后压缩图像的维数，将降维后的待去雨图像经过嵌入弱实例标准化的残差块的特征转换模块执行图像去雨得到去雨图像，经过上采样后放大图像维数，并将去雨图像和待去雨图像进行特征融合得到去雨图像。
为了进一步地说明本发明的技术方案，以实施例的形式说明本申请的技术方案，具体如下：
步骤1：获取不带雨的清晰图像，利用加雨方法添加雨滴得到模拟下雨环境所拍摄的图像，最后划分训练集与测试集；
作为一种或多种实施例，步骤1中的加雨方法可以使用常见的加雨算法为图像叠加仿真的雨滴；
每张无雨图都对应一张有雨图，将所有的图片对按4:1的比例划分训练集与测试接，训练集用于训练模型的参数，测试集用于测试模型去雨的能力。
步骤2：针对每个训练样本做数据扩充操作，从而得到更多用于网络参数训练的样本集。
作为一种或多种实施例，步骤2中，所述数据扩充操作具体包括进行随机裁剪、随机水平变化、随机旋转等操作；
首先进行随机裁剪处理，随机裁剪出256×256的图片，之后以0.5的概率做随机镜像变换，然后再将原始图片做随机旋转操作，旋转角度为-180°到180°之间，最后将所有的图片做归一化处理。
需要说明的是，对于同一对带雨图和清晰图像，要做同样的数据扩充处理。虽然所有的数据扩充操作都是随机执行的，但是对于训练集中的同一对带雨图和无雨图，需要执行相同的处理，即保证像素点是一一对应的。
步骤3：构建嵌入了特征融合模块和弱实例标准化层的单图去雨网络以及局部鉴别网络，基于扩充后的数据，训练去雨网络和局部鉴别网络，并且利用高级语义损失和鉴别损失辅助优化去雨网络的训练，保存网络最优的参数；
利用扩充后的数据，训练嵌入了特征融合模块和弱实例标准化层的去雨网络和鉴别网络，同时利用高级语义损失和鉴别损失加以辅助训练去雨网络，得到网络参数，并且保存测试精度最高的模型参数。
作为一种或多种实施例，如图2所示为去雨网络的网络结构图，步骤3中，所述去雨网络包括下采样模块、特征转换模块、上采样模块以及特征融合模块构成。
具体地，所述去雨网络主要由两个下采样模块、一个特征转换模块、两个上采样模块以及两个特征融合模块组成，其中一个特征转换模块由九个残差模块串联构成。
其中，下采样模块由三层卷积层和ReLU激活函数组成，卷积层步幅分别为2、1、1；特征转换模块由多个嵌入了弱实例标准化的残差块组成；每个上采样模块由一层反卷积层(Transposed Convolution,TC)组成，反卷积层步幅为2；特征融合模块由特征连接分支、两层卷积层、ReLU激活函数组成，卷积层步幅均为1。
带雨图像首先经过下采样模块压缩图像维数，之后经过特征转换模块执行图像去雨，然后经过上采模块放大图像维数，最后经过特征融合模块融合原始图像的细节，最终实现去雨的功能。
具体的过程包括：
首先，原图传入下采样模块执行下采样操作，对于每个下采样模块，本实施例使用卷积核尺寸为3，步幅为2的卷积操作对特征图执行下采样操作，图片每经过一次下采样操作，尺寸都会变为原来的一半，并且通道数量变为原来的两倍，即假设输入图像尺寸为C×2H×2W，则经过下采样之后的图像尺寸为2C×H×W，图片经过下采样压缩特征，节省了后续特征转换模块所需的内存，提高了计算效率。
之后，将压缩后的特征图传入特征转换模块中，即依次传入九个残差块执行去雨计算，去除输入图像的雨滴特征，并且重建被雨滴破坏的空间细节。
本实施例中，每个残差块模块由卷积层、弱实例标准化层、ReLU激活函数组成，卷积层的卷积核尺寸均为3×3，步幅均为1。
特征图首先传入卷积层执行特征转换，之后传入弱实例标准化层标准化图像的部分数据，最后传入ReLU激活函数做非线性激活。
如图4所示，其中，在弱实例标准化层中，特征图首先被拆分为两块，其中一块执行实例标准化运算，另一块保持原来的特征数据不变，最后将两块特征数据合并，传入后续的计算，该模块继承了实例标准化层中统一特征尺度的功能，同时保留了一部分特征数据不参与标准化的过程，进一步使模型可以保留一部分弱局部特征，用于更好地重建图像的细节，提升去雨图的质量。
同时，参考传统残差模块的网络结构，本实施例同样应用了残差连接操作，将经过弱实例标准化运算的特征图和输入的特征图做求和处理，不仅缓解了梯度消失问题，还可以让网络参考转换前的图像特征去更好地恢复图像细节。
特征图经过特征转换模块之后，再将其传入上采样模块和特征融合模块，执行上采样和特征融合。
对于每个上采样模块，本实施例使用卷积核尺寸为2，步幅为2的反卷积操作对特征图执行上采样，每经过一次上采样，特征图尺寸会变为原来的两倍，通道数变为原来的一半，即假设输入特征图尺寸为2C×H×W，则输出特征图尺寸为C×2H×2W。
特征图每经过一次上采样，就和下采样前的特征图一并传入特征融合模块，融合特征，先将两组特征图沿通道维度合并，此时输入的两组特征图尺寸均为C×2H×2W，合并后得到尺寸为2C×2H×2W的特征图，再将该特征图依次传入两组卷积块中，每组卷积块由卷积核尺寸为3的卷积层和ReLU激活函数构成，最终得到尺寸为C×2H×2W的特征图，在不改变图像长宽的前提下压缩通道维数，融合图细节特征，利用原始图像的细节去指导去雨网络重建图像的细节。图像经过两组上采样模块之后最终得到去雨图，图3是本发明实施例中特征融合模块的结构图。
步骤3中的鉴别网络由多层下采样模块以及一层输出层构成。
其中，每个下采样模块均由一层卷积层、批量标准化层(Batch Normalization,BN)、ReLU激活函数层组成，输出层由一层卷积层构成，卷积运算的步幅为1。
具体地，所述局部鉴别网络主要由4个下采样模块和一个输出层构成，图5为局部鉴别网络的网络结构图，依次将去雨图和清晰无雨图传入鉴别网络，训练能够区分去雨网络生成的去雨图和真实无雨图的鉴别网络，同时利用鉴别损失指导去雨网络生成更加接近真实无雨图的图像；
具体过程包括：依次将真实的无雨图和去雨网络生成的有雨图传入鉴别网络中，让鉴别网络做出分类。
其中，鉴别网络每个下采样模块均由卷积核尺寸为4×4，步长为2的卷积层、批量标准化层、ReLU激活函数层构成，传入的图片经过卷积层后缩小图片尺寸，同时扩大图片通道数，即假设输入图像尺寸为C×2H×2W，则经过下采样之后的图像尺寸为2C×H×W；之后经过批量标准化层统一特征数据的尺度；最终经过ReLU激活函数做非线性激活，特征图经过四次下采样之后，最后将其传入输出层，用于压缩通道数据，将特征图通道数压缩为1，其中输出层卷积运算的卷积核尺寸为4×4，步幅为1。图片经过鉴别网络后会输出一张领域归属图，尺寸为1×16×16，该图上每个像素点的数据代表了原图每个小区域的领域归属，即属于真实的图像还是生成的图像。
进一步地，步骤3中的高级语义损失网络由特征提取模块、特征相似度评估模块构成。其中，特征提取模块由在ImageNet数据集上训练好的图片分类模型组成，如VGG、ResNet等等；
首先将去雨网络生成的图像与真实清晰图像一同传入特征提取模块，提取图像高级语义特征，之后将两组特征一同传入特征相似度评估模块评估二者的高级语义相似度，如计算特征距离，通过优化特征相似度来提升去雨网络的语义恢复能力。
将生成的去雨图和真实无雨图传入特征提取网络中提取高级语义特征，用于计算高级语义损失，从而约束去雨网络更好地生成具有语义一致性的无雨图像。
本实施例选择在ImageNet大型数据集上训练好的VGG19网络当做特征提取网络，并且提取高级语义特征Conv32和Conv42，其中Conv32表示经过VGG19网络中第3次下采样后第2次卷积运算的非激活特征，Conv42同理。这两组特征代表了图像的高级语义信息，之后再依次计算去雨图和无雨图特征的欧式距离，将两组距离加权求和可得到最终的高级语义损失，权重依次为0.5、1.0。
在训练阶段，通过将去雨图与无雨图之间的L1距离损失、鉴别损失以及高级语义损失加权求和得到最终的去雨网络损失，权重依次设为1.0、0.5、0.1，同时利用鉴别损失优化局部鉴别网络的参数。
注意，本发明使用激活前的高级语义特征，因为激活前的特征包含弱语义特征，有助于进一步保留图像的弱局部细节，如纹理特征等等。
步骤4：获取待去雨图像，利用训练好的去雨网络进行图像去雨。
针对实际的单幅图像去雨任务，首先搭建与去雨网络模型一致的网络结构，将训练得到的网络参数加载到搭建的网络中，之后针对新接收的带雨图像，首先利用镜像填充，将图像尺寸填充至4的倍数，之后利用归一化操作归一化图像数据，传入网络执行图像去雨操作，将网络输出的图像执行反归一化操作，即将数据变为0-255之间，最后删去之前填充的元素，得到最终去雨的图像。
上述方法的优势在于，考虑到传统对抗学习中的生成网络并不能很好地保留图像的细节，图像在特征转换过程中可能会丢失部分语义信息，设计了特征融合模块，将下采样前的特征与上采样后的特征加以合并，通过让网络在上采样的过程中参考原始图像的空间细节，从而更好地提升模型重建细节的能力。
删去了传统生成网络下采样和上采样过程中的实例标准化层，从而更好地保留图像的纹理特征，并且考虑到特征转换模块中的实例标准化层不利于保留图像弱局部特征，设计了弱实例标准化层，将其嵌入到残差模块中，有利于网络恢复图像细节。
去雨效果评估
为了测试本算法的实际去雨效果，本发明在公开数据集Rain800上做了测试评估，其中，该数据集包含700组训练集、100组测试集，最终测试结果：PSNR为27.65，SSIM为0.86，其中分别在RGB三个颜色通道上得到三组评测指标，最后将指标数据求均值得到最终的测试结果。
PSNR全称为Peak Signal to Noise Ratio，即峰值信噪比，是一种评价图像质量的客观标准，经常用于计算两张图像的可视误差，如衡量原图与经过压缩后图像之间的可视化差异、去雨网络生成的图像与真实图像之间的差异等等。
SSIM全称为Structural Similarity，即结构相似性，用于评估两幅图像相似度的指标，常用于衡量图像失真前与失真后的相似性，也用于衡量模型生成图像的真实性，如图像去雨、图像去雾、图像和谐化等等。
通过对本发明算法的去雨效果评估，可以得到本发明的去雨方法能有效保留局部弱特征，在重建无雨图像的过程中重建图像的细节，从而更好地提升模型重建细节的能力。
实施例二
本实施例提供基于对抗学习的单幅图像去雨系统，包括：
待去雨图像获取模块，用于获取待去雨图像；
去雨模块，用于基于待去雨图像和训练后的去雨网络进行图像去雨，得到去雨图像；
其中，所述去雨网络的构建过程包括：
将待去雨图像经过下采样后压缩图像的维数，将降维后的待去雨图像经过嵌入弱实例标准化的残差块的特征转换模块执行图像去雨得到去雨图像，经过上采样后放大图像维数，并将去雨图像和待去雨图像进行特征融合得到去雨图像。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于对抗学习的单幅图像去雨方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于对抗学习的单幅图像去雨方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于对抗学习的单幅图像去雨方法，其特征在于，包括如下步骤：
获取待去雨图像；
基于待去雨图像和训练后的去雨网络进行图像去雨，得到去雨图像；
其中，所述去雨网络的构建过程包括：
将待去雨图像经过下采样后压缩图像的维数，将降维后的待去雨图像经过嵌入弱实例标准化的残差块的特征转换模块执行图像去雨得到去雨图像，经过上采样后放大图像维数，并将去雨图像和待去雨图像进行特征融合得到去雨图像。
2.如权利要求1所述的基于对抗学习的单幅图像去雨方法，其特征在于，所述将降维后的待去雨图像经过嵌入弱实例标准化的残差块的特征转换模块执行图像去雨得到去雨图像，包括：
将降维后的待去雨图像依次传入残差块进行特征转换，在残差块中嵌入弱实例标准化层，将特征图拆分为两块，一块执行实例标准化运算，另一块保持不变，同时进行残差连接，将经过弱实例标准化运算的特征图和待去雨图像的特征图做求和处理后得到去雨图像。
3.如权利要求1所述的基于对抗学习的单幅图像去雨方法，其特征在于，所述去雨网络的训练时，通过将去雨图与真实无雨图之间的距离损失、鉴别损失以及高级语义损失的权重设置加权求和得到最终的去雨网络损失。
4.如权利要求3所述的基于对抗学习的单幅图像去雨方法，其特征在于，所述去雨图与真实无雨图之间的鉴别损失通过训练后的鉴别网络对去雨图像进行鉴别得到，所述鉴别网络包括多个下采样模块以及一层输出层，其中，每个下采样模块均由一层卷积层、批量标准化层和ReLU激活函数层组成，输出层由一层卷积层构成。
5.如权利要求3所述的基于对抗学习的单幅图像去雨方法，其特征在于，所述获取去雨图与真实无雨图之间的高级语义损失的过程包括：
将去雨网络生成的图像与真实无雨图像一同传入特征提取模块提取得到图像高级语义特征；
将两组图像高级语义特征一同传入特征相似度评估模块评估二者的高级语义相似度得到相似度计算值；
根据相似度计算值得到去雨图与真实无雨图之间的高级语义损失。
6.如权利要求1所述的基于对抗学习的单幅图像去雨方法，其特征在于，在进行图像去雨时，利用镜像填充，将待去雨图像尺寸填充，之后利用归一化操作归一化图像数据，传入去雨网络执行图像去雨操作，将去雨网络输出的图像执行反归一化操作，最后删去之前填充的元素，得到最终去雨的图像。
7.如权利要求1所述的基于对抗学习的单幅图像去雨方法，其特征在于，训练去雨网络采用的数据集的构建过程为：
获取真实无雨图像，并且对每张图利用加雨算法添加雨滴，每张无雨图都对应一张有雨图，将所有的图片对按一定的比例划分训练集与测试集，训练集用于训练模型的参数，测试集用于测试模型去雨的能力。
8.基于对抗学习的单幅图像去雨系统，其特征在于，包括：
待去雨图像获取模块，用于获取待去雨图像；
去雨模块，用于基于待去雨图像和训练后的去雨网络进行图像去雨，得到去雨图像；
其中，所述去雨网络的构建过程包括：
将待去雨图像经过下采样后压缩图像的维数，将降维后的待去雨图像经过嵌入弱实例标准化的残差块的特征转换模块执行图像去雨得到去雨图像，经过上采样后放大图像维数，并将去雨图像和待去雨图像进行特征融合得到去雨图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于对抗学习的单幅图像去雨方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于对抗学习的单幅图像去雨方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210763079.8A CN115131244A (zh) | 2022-06-30 | 2022-06-30 | 基于对抗学习的单幅图像去雨方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210763079.8A CN115131244A (zh) | 2022-06-30 | 2022-06-30 | 基于对抗学习的单幅图像去雨方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115131244A true CN115131244A (zh) | 2022-09-30 |
Family
ID=83382911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210763079.8A Pending CN115131244A (zh) | 2022-06-30 | 2022-06-30 | 基于对抗学习的单幅图像去雨方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131244A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331083A (zh) * | 2022-10-13 | 2022-11-11 | 齐鲁工业大学 | 基于逐步密集特征融合去雨网络的图像去雨方法及系统 |
-
2022
- 2022-06-30 CN CN202210763079.8A patent/CN115131244A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331083A (zh) * | 2022-10-13 | 2022-11-11 | 齐鲁工业大学 | 基于逐步密集特征融合去雨网络的图像去雨方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110782462B (zh) | 一种基于双流特征融合的语义分割方法 | |
| Chen et al. | Multiscale feature learning by transformer for building extraction from satellite images | |
| CN112348770A (zh) | 一种基于多分辨率卷积网络的桥梁裂缝检测方法 | |
| CN110929736A (zh) | 多特征级联rgb-d显著性目标检测方法 | |
| CN109801232A (zh) | 一种基于深度学习的单幅图像去雾方法 | |
| CN116797787B (zh) | 基于跨模态融合与图神经网络的遥感影像语义分割方法 | |
| CN114495029A (zh) | 一种基于改进YOLOv4的交通目标检测方法及系统 | |
| CN112954399B (zh) | 一种图像处理方法、装置以及计算机设备 | |
| CN113269224A (zh) | 一种场景图像分类方法、系统及存储介质 | |
| CN117197763A (zh) | 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统 | |
| CN115937794B (zh) | 小目标对象检测方法、装置、电子设备及存储介质 | |
| CN115359370A (zh) | 一种遥感图像云检测方法、装置、计算机装置及存储介质 | |
| CN114266957A (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| CN115131244A (zh) | 基于对抗学习的单幅图像去雨方法及系统 | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| CN116977747A (zh) | 基于多路多尺度特征孪生网络的小样本高光谱分类方法 | |
| CN114494893B (zh) | 基于语义重用上下文特征金字塔的遥感图像特征提取方法 | |
| CN113947567B (zh) | 基于多任务学习的缺陷检测方法 | |
| CN114331894A (zh) | 一种基于潜在特征重构和掩模感知的人脸图像修复方法 | |
| CN114219738A (zh) | 单幅图像多尺度超分辨重建网络结构及方法 | |
| CN113256603A (zh) | 一种双流网络二次融合的显著性物体检测方法 | |
| He et al. | Feature aggregation convolution network for haze removal | |
| CN112464733A (zh) | 基于双向特征融合的高分辨率光学遥感图像地物分类方法 | |
| CN117671509B (zh) | 遥感目标检测方法、装置、电子设备及存储介质 | |
| CN118115729B (zh) | 多层次多尺度特征交互的图像伪造区域识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |