CN113256538A - 一种基于深度学习的无监督去雨方法 - Google Patents
一种基于深度学习的无监督去雨方法 Download PDFInfo
- Publication number
- CN113256538A CN113256538A CN202110695087.9A CN202110695087A CN113256538A CN 113256538 A CN113256538 A CN 113256538A CN 202110695087 A CN202110695087 A CN 202110695087A CN 113256538 A CN113256538 A CN 113256538A
- Authority
- CN
- China
- Prior art keywords
- rain
- model
- image
- unsupervised
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 238000012795 verification Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 26
- 238000005457 optimization Methods 0.000 claims description 13
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000003344 environmental pollutant Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 231100000719 pollutant Toxicity 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于深度学习的无监督去雨方法，包括以下步骤：步骤一、对降雨数据集的图像使用上采样方法增强数据；步骤二、获取具有最少重叠雨线的有雨图像对；步骤三、构建去雨模型；使用深度学习框架PyTorch搭建StackConvNet模型通过参数映射学习提取图像的浅层特征、中层特征和深层特征进行去雨；步骤四、模型训练的输入图像和目标图像类型分别为真实有雨图像和使用最少重叠雨线方法选取的真实有雨图像，训练去雨模型至模型在验证集上的测试性能不再增加时，达到收敛状态，获得模型参数；步骤五、使用经过步骤四训练的去雨模型处理有雨图像，保存去雨图像；本发明实现无监督去雨，且去雨效果好。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于深度学习的无监督去雨方法。
背景技术
对于计算机视觉任务，深度学习已成为最流行的方法，在目标检测、图像分类等高层任务和图像去噪，修复，单图像超分辨率等底层任务中都有优异的表现。大多数基于深度学习的模型使用的是有监督方法，需要大量的手工标注的数据集作为模型的输入。但是现实中并不总是能够提供足够的数据集用于训练，而且数据收集的过程可能是乏味耗时甚至不可行的。室外图像通常由于受到各种大气污染（如雾、霾、雪、雨等）的影响，使背景目标的可视性大大降低，导致一些计算机视觉算法在应用于受大气污染产生退化的图像时性能会变差。
图像去雨是一项底层图像恢复任务，其目的是通过去除一层降雨产生的退化来恢复晴朗的背景，这种退化通常表示为，表示静态背景，表示雨层。由于去雨问题具有不适定性，所以特别具有挑战性，而且由于大气现象的复杂性，对雨层的建模显得特别困难。
目前图像去雨按照输入的不同可以分为两种方法：单图像去雨和视频（多帧）去雨。这两种方法都由两种主流的算法主导：模型驱动算法和数据驱动算法。
虽然近几年图像去雨方法取得了很大的进步，但仍然存在一些问题，大多数去雨算法主要依靠合成的数据集来比较和评估模型的性能。虽然合成大量的训练图像对相对容易，但是由于合成的降雨分布与真实的降雨分布具有差别，在合成数据集上训练的模型通常不能很好地推广到真实的场景中。尽管最近有人提出使用半自动人工监督的方法构造大规模的真实降雨数据集SPA来生成真实的降雨/无雨数据集，但这种方法仍然繁琐、耗时且不具有很好的可扩展性。同时，现有的一些有监督和无监督方法在去雨的效果上提升有限。
发明内容
本发明的目的在于提供一种基于深度学习的无监督去雨方法，本发明通过搭建去雨模型，对任意一张有雨图像，在多个同一场景的有雨图像中选取与之具有最少重叠雨线的有雨图像组成图像对并进行训练，从而确定神经网络模型的参数，训练完成之后的模型用于去雨。
为解决此技术问题，本发明的技术方案是：一种基于深度学习的无监督去雨方法，包括以下步骤：
步骤一、数据预处理；
对降雨数据集的图像使用上采样方法增强数据，扩充降雨数据集；
步骤二、获取具有最少重叠雨线的有雨图像对；
在多张属于同一背景的有雨图像中寻找与一张作为输入的有雨图像具有最少重叠雨线的目标有雨图像；
步骤三、构建去雨模型；
使用深度学习框架PyTorch搭建StackConvNet模型通过参数映射学习提取图像的浅层特征、中层特征和深层特征进行去雨；
步骤四、模型训练；
模型训练的输入图像和目标图像类型分别为真实有雨图像和使用最少重叠雨线方法选取的真实有雨图像，根据反向传播原理迭代更新StackConvNet模型的参数，使用Adam算法作为模型优化策略，训练去雨模型至模型在验证集的测试性能不再增加时，达到收敛状态，获得模型参数；
步骤五、使用经过步骤四训练的去雨模型对有雨图像进行处理，保存去雨图像。
优选降雨数据集包括真实降雨数据集和合成降雨数据集。本发明的降雨数据集既可以是真实降雨数据集也可以是合成降雨数据集。
优选步骤三中用于去雨的StackConvNet模型包括多个卷积层，分为输入层、隐藏层和输出层。本发明中通过输入层提取图像的浅层特征，通过隐藏层提取图像的中层特征的，通过输出层提取图像的深层特征，在分层提取图像特征的同时进行参数映射学习，实现去雨操作。
优选每个输入层包含一个卷积层和一个ReLU激活函数，通道数由3变成64；
隐藏层包含15个卷积层，每个卷积后面是一个ReLU激活函数，通道数为64；
输出层是一个卷积层，通道数由64恢复成3。
本发明中通过隐藏层通道扩充数据采集，利于去雨性能的提升。
优选所述步骤四模型训练在Unbuntu系统下使用3块NVIDIA GeForce GTX 1080Ti显卡进行训练，批次大小为32，使用Adam优化算法对去雨模型进行梯度优化加快收敛。本发明通过上述方式加快训练性能的收敛，提高训练模型的效率。
优选步骤四中使用Adam优化算法对去雨模型进行梯度优化的方法如下：
总共12万次迭代训练，每3万次训练将学习率衰减为原来的十分之一，使用损失函数进行去雨模型的参数更新。本发明通过设置具体的迭代训练次数以及在训练的过程中适应性的动态调整学习率，同时配合损失函数对去雨模型的参数进行更新，保证去雨模型在合适的位置发生收敛，从而获得去雨性能良好的去雨模型。
步骤四中的损失函数
为或者
，其中，
其中
表示模型实际输出，
表示期望输出。期望输出为无雨的图像，实际输出
通过模型去雨的图像。
通过本发明中去雨模型训练的PSNR结果可以看出，使用L1损失函数训练的结果更好，因为L2损失函数是求算术平均最优解，生成的图像会比输入图像更亮，造成性能下降，因此使用L1损失函数进行去雨模型训练性能更佳。
优选步骤二中对于任意一张有雨输入图像找到与之对应的具有最少重叠有雨目标图像的方法如下：
给定
张图像集合 
，ON}每张图像可以表示为
，
表示静态背景，
表示第
个雨层;
通过计算
和集合中其他单张图像
之间所有像素值差的绝对值之和，并选
取获得最大值的图像，确定每个最小重叠对：
其中
表示所有像素绝对值之和，
表示像素
坐标。
本发明通过上述方式获得与输入有雨图像具有最少重叠有雨目标图像，有效配合去雨模型以及模型训练获得去雨模型，获得一种无监督且去雨性能优异的无监督去雨法。
通过采用上述技术方案，本发明的有益效果是：
本发明不需要真实无雨图像的情况下使用无监督方法实现去雨，通过搭建一个去雨模型，并使用在多个同一场景的有雨图像中选取最少重叠有雨图像对进行训练，从而确定神经网络模型的参数。训练完成之后的去雨模型有效提升去雨质量；
使用PyTorch框架搭建StackConvNet模型，该模型基于VGG模型并进行改进，在训练过程中根据反向传播原理迭代更新StackConvNet模型的参数，使用Adam算法作为模型优化策略，训练去雨模型至模型测试性能不再增加时，达到收敛状态，加快收敛，得到确定的去雨模型使其适合去雨任务；在训练过程中，使用峰值信噪比作为模型训练评估指标并绘制性能曲线图，每次迭代保存性能最好的模型；使用保存的去雨模型在真实和合成的降雨数据集上测试评估模型去雨效果；本发明在去雨效果方面在多个数据集上的去雨表现比一些先进的有监督和无监督去雨方法更好；
本发明基于深度学习的去雨方法在模型训练时往往需要大量真实的有雨和无雨的图像对，图像对的采集繁琐耗时；虽然合成的数据集相对比较容易获得，但是合成的降雨图像的雨点分布并不能很好地匹配真实有雨图像，导致训练出来的去雨模型在真实有雨图像的泛化性能很低；本发明在模型训练的过程中只需要同一场景的具有最少降雨重叠的图像对，而不需要真实的无雨图像，搭建去雨模型StackConvNet取得了良好的去雨效果，与以往方法相比，本发明不需要真实无雨图像，构建的去雨模型适用于无监督去雨任务，同时在性能指标方面提升显著，提出的使用最少重叠雨线用于获取有雨图像对的方法可以用于其他的无监督模型训练。
从而实现本发明的上述目的。
附图说明
图1 本发明无监督去雨方法流程图；
图2 本发明去雨方法示意图；
图3 本发明的StackConvNet模型结构图；
图4为本发明使用真实有雨图像和无雨图像分别与原有雨图像组成图像对在StackConvNet上训练后进行测试的结果；
图5本发明合成有雨图像和无雨图像分别与原有雨图像组成图像对在StackConvNet上训练后进行测试的结果；
图6本发明StackConvNet使用L1损失函数和L2损失函数进行模型训练的PSNR结果；
图7本发明StackConvNet在四种不同设置下训练模型的去雨性能表现；
图8本发明StackConvNet使用不同训练方式得到的模型进行测试的效果图，第5列表示真实有雨图像和使用最少重叠雨对方法选取的真实有雨图像进行训练得到的模型去雨效果图；
图9本发明StackConvNet和其他方法使用半监督训练方式得到的模型进行测试的效果图，（a）表示有雨图，（b）表示SIRR方法处理得到的无雨图像，（c）表示Syn2Real方法处理得到的无雨图；（d）表示StackConvNet处理得到的无雨图像。
具体实施方式
为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。
本实施例公开一种基于深度学习的无监督去雨方法，如图1所示，包括以下步骤：
步骤一、数据预处理；
对真实降雨数据集SPA和合成降雨数据集Rain1400中的图像使用上采样数据增强；
步骤二、获取具有最少重叠雨线的有雨图像对；
在真实降雨数据集SPA和合成降雨数据集Rain1400上，对于每一张作为输入的有雨图像，需要在多张属于同一背景的有雨图像中寻找与之具有最少重叠雨线的目标有雨图像；
其中，真实数据集采用SPA数据集，该数据集总共收集了152个视频场景，涵盖了从城市场景到户外场地的不同场景，无雨图像是基于一种结合了雨条纹的时间特性、模式/百分位融合方法和人工监督的方法生成的；
合成数据集Rain1400是从UCID和BSD收集的无雨图，合成的有雨图是使用PhotoShop软件对无雨图添加不同降雨方向和密度的雨线形成的。
步骤二中对于任意一张有雨输入图像找到与之对应的具有最少重叠有雨目标图像的方法如下：
给定
张图像集合
，ON}每张图像可以表示为
，
表示静态背景，
表示第
个雨层;
通过计算
和集合中其他单张图像
之间所有像素值差的绝对值之和，并选取
获得最大值的图像，确定每个最小重叠对：
其中
表示所有像素绝对值之和，
表示像素
坐标。
如果使用
替换
，则有
其中
表示所有像素绝对值之和，
表示像素
坐标。
步骤三、构建无监督去雨模型；
如图2和图3，使用深度学习框架PyTorch搭建StackConvNet模型，该模型总共由17个卷积层组成，每个卷积使用ReLU作为激活函数；
步骤三中去雨模型的17个卷积层，分为第一层、隐藏层和最后一层：
第一层包含一个卷积层和一个ReLU激活函数，通道数由3变成64；隐藏层包含15个卷积层，每个卷积后面是一个ReLU激活函数，通道数为64；
最后一层是一个卷积层和一个ReLU激活函数，通道数由64恢复成3。
步骤四、模型训练；
在真实和合成的训练集上分别训练StackConvNet，根据反向传播原理迭代更新StackConvNet模型的参数，本发明用于模型训练的输入图像和目标图像类型分别为真实有雨图像和使用最少重叠雨线方法选取的真实有雨图像，并选择另外三种输入类型用于性能对比，分别为：
真实有雨图像和对应的无雨图像；
合成有雨图像和使用最少重叠方法选取的合成有雨图像；
合成有雨图像和对应的无雨图像；
结合图7可知，有雨图像和无雨图像分别与原有雨图像组成图像对在StackConvNet上训练后进行测试，其中原有雨图像对应的有雨图像是从同一场景的的有雨图像中使用最少重叠图像对方法选取的，从图7中可以看出，在真实数据集上，有雨和有雨图像对训练方式具有和有监督方式相近的性能表现。
所述步骤二中模型训练的数据集分为真实数据集和合成数据集；
所述步骤四在训练集上训练StackConvNet模型，使用Adam优化算法对模型进行梯
度优化，分别使用
和
函数作为损失函数进行参数更新：
步骤四中的损失函数为
或者
，其中，
其中
表示模型实际输出，
表示期望输出。
结合图6可知，本发明中StackConvNet使用L1损失函数和L2损失函数进行模型训练的PSNR结果；可以看出，使用L1损失函数训练的结果更好，因为L2损失函数是求算术平均最优解，生成的图像会比输入图像更亮，造成性能下降，因此在本实施例中使用L1损失函数进行模型的训练；
步骤五、选择公开的数据集Rain100L，Rain100H，Rain1400，Rain12，SPA作为测试集，并使用训练好的模型对测试集中的有雨图像进行去雨任务，保存去雨后的图像，并计算去雨性能指标PSNR和SSIM。
为了更好地说明本发明去雨的有效性，与其他的一些有监督和无监督方法进行了性能对比，如表1所示，本发明采用有雨图像和对应的无雨图像对的有监督训练模型比SPANet和RESCAN去雨后图像的PSNR指标分别提高了0.27dB和0.45dB，采用有雨图像和使用最少重叠方法选取的有雨图像对的无监督训练模型比SPANet和RESCAN去雨后图像的PSNR指标分别提高了1.08dB和1.7dB，比无监督模型DerainCycleGAN的PSNR指标高了4.24dB，充分说明了本发明在去雨方面的优越性能，同时，StackConvNet训练推理的速度更快。同时，也对比了不同方法在不同数据集的性能表现，如表2所示，其中StackConvNet+表示在合成雨数据集上采用有监督训练，在真实雨数据集上采用无监督训练得到的模型，结果表明，本发明在多个数据集上具有较好的表现，在Rain100H和SPA数据集上取得了最好的结果，说明提出的方法具有较高的鲁棒性。图4表明使用选取真实有雨图像作为目标图像用于模型训练是可行的，去雨性能并没有大幅下降；其中有雨图像是从同一场景的的有雨图像中随机选取的。图5表明使用合成的有雨图像作为目标图像用于模型训练会产生较大的性能下降现象，其中有雨图像是从同一场景的的有雨图像中随机选取的。图8和图9展示了StackConvNet，StackConvNet+以及其他的方法去雨视觉效果对比，可以看出，本发明的去雨效果更好，得到的去雨图像与其他方法相比包含更少的雨线。
表1 本发明去雨方法与多种去雨方法在SPA测试集上的图像处理性能情况
表2 本发明去雨方法与多种去雨方法在不同测试数据集上的图像处理性能情况
本实施例中训练集是指用于模型拟合的数据样本。验证集是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。其中，验证集是训练集的一部分。
Claims (8)
1.一种基于深度学习的无监督去雨方法，其特征在于：
包括以下步骤：
步骤一、数据预处理；
对降雨数据集的图像使用上采样方法增强数据，扩充降雨数据集；
步骤二、获取具有最少重叠雨线的有雨图像对；
在多张属于同一背景的有雨图像中寻找与一张作为输入的有雨图像具有最少重叠雨线的目标有雨图像；
步骤三、构建去雨模型；
使用深度学习框架PyTorch搭建StackConvNet模型通过参数映射学习提取图像的浅层特征、中层特征和深层特征进行去雨；
步骤四、模型训练；
模型训练的输入图像和目标图像类型分别为真实有雨图像和使用最少重叠雨线方法选取的真实有雨图像，根据反向传播原理迭代更新StackConvNet模型的参数，使用Adam算法作为模型优化策略，训练去雨模型至模型在验证集的测试性能不再增加时，达到收敛状态，获得模型参数；
步骤五、使用经过步骤四训练的去雨模型对有雨图像进行处理，保存去雨图像。
2.如权利要求1所述的一种基于深度学习的无监督去雨方法，其特征在于：
降雨数据集包括真实降雨数据集和合成降雨数据集。
3.如权利要求1所述的一种基于深度学习的无监督去雨方法，其特征在于：
步骤三中用于去雨的StackConvNet模型包括多个卷积层，分为输入层、隐藏层和输出层。
4.如权利要求3所述的一种基于深度学习的无监督去雨方法，其特征在于：
每个输入层包含一个卷积层和一个ReLU激活函数，通道数由3变成64；
隐藏层包含15个卷积层，每个卷积后面是一个ReLU激活函数，通道数为64；
输出层是一个卷积层，通道数由64恢复成3。
5.如权利要求1所述的一种基于深度学习的无监督去雨方法，其特征在于：
所述步骤四模型训练在Unbuntu系统下使用3块NVIDIA GeForce GTX 1080Ti显卡进行训练，批次大小为32，使用Adam优化算法对去雨模型进行梯度优化加快收敛。
6.如权利要求5所述的一种基于深度学习的无监督去雨方法，其特征在于：
步骤四中使用Adam优化算法对去雨模型进行梯度优化的方法如下：
总共12万次迭代训练，每3万次训练将学习率衰减为原来的十分之一，使用损失函数进行去雨模型的参数更新。
7.如权利要求6所述的一种基于深度学习的无监督去雨方法，其特征在于：
步骤四中的损失函数为或者，其中，
其中
表示模型实际输出，
表示期望输出。
8.如权利要求1至权利要求7任一项所述的一种基于深度学习的无监督去雨方法，其特征在于：
步骤二中对于任意一张有雨输入图像找到与之对应的具有最少重叠雨线的有雨目标图像的方法如下：
给定张图像集合 
，ON}，每张图像可以表示为，表
示静态背景，表示第个雨层;
通过计算
和集合中其他单张图像
之间所有像素值差的绝对值之和，并选取获得最大值的图像，确定每个最小重叠对：
其中
表示所有像素绝对值之和，
表示像素
坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110695087.9A CN113256538B (zh) | 2021-06-23 | 2021-06-23 | 一种基于深度学习的无监督去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110695087.9A CN113256538B (zh) | 2021-06-23 | 2021-06-23 | 一种基于深度学习的无监督去雨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113256538A true CN113256538A (zh) | 2021-08-13 |
| CN113256538B CN113256538B (zh) | 2021-10-15 |
Family
ID=77189246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110695087.9A Active CN113256538B (zh) | 2021-06-23 | 2021-06-23 | 一种基于深度学习的无监督去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113256538B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331872A (zh) * | 2021-12-07 | 2022-04-12 | 合肥工业大学 | 一种无监督的双支路带雨无雨图像处理方法 |
| CN114332460A (zh) * | 2021-12-07 | 2022-04-12 | 合肥工业大学 | 一种半监督单图像去雨处理方法 |
| CN115412669A (zh) * | 2022-08-26 | 2022-11-29 | 清华大学 | 基于图像信噪比分析的雾天成像方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204499A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于卷积神经网络的单幅图像去雨方法 |
| AU2020100196A4 (en) * | 2020-02-08 | 2020-03-19 | Juwei Guan | A method of removing rain from single image based on detail supplement |
| CN111462014A (zh) * | 2020-04-03 | 2020-07-28 | 西安交通大学 | 一种基于深度学习和模型驱动的单图去雨方法 |
| CN111462013A (zh) * | 2020-04-03 | 2020-07-28 | 西安交通大学 | 一种基于结构化残差学习的单图去雨方法 |
| CN112508083A (zh) * | 2020-12-02 | 2021-03-16 | 南京邮电大学 | 基于无监督注意力机制的图像去雨雾方法 |
-
2021
- 2021-06-23 CN CN202110695087.9A patent/CN113256538B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204499A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于卷积神经网络的单幅图像去雨方法 |
| AU2020100196A4 (en) * | 2020-02-08 | 2020-03-19 | Juwei Guan | A method of removing rain from single image based on detail supplement |
| CN111462014A (zh) * | 2020-04-03 | 2020-07-28 | 西安交通大学 | 一种基于深度学习和模型驱动的单图去雨方法 |
| CN111462013A (zh) * | 2020-04-03 | 2020-07-28 | 西安交通大学 | 一种基于结构化残差学习的单图去雨方法 |
| CN112508083A (zh) * | 2020-12-02 | 2021-03-16 | 南京邮电大学 | 基于无监督注意力机制的图像去雨雾方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331872A (zh) * | 2021-12-07 | 2022-04-12 | 合肥工业大学 | 一种无监督的双支路带雨无雨图像处理方法 |
| CN114332460A (zh) * | 2021-12-07 | 2022-04-12 | 合肥工业大学 | 一种半监督单图像去雨处理方法 |
| CN114332460B (zh) * | 2021-12-07 | 2024-04-05 | 合肥工业大学 | 一种半监督单图像去雨处理方法 |
| CN115412669A (zh) * | 2022-08-26 | 2022-11-29 | 清华大学 | 基于图像信噪比分析的雾天成像方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113256538B (zh) | 2021-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113256538B (zh) | 一种基于深度学习的无监督去雨方法 | |
| CN109859147B (zh) | 一种基于生成对抗网络噪声建模的真实图像去噪方法 | |
| CN108876735B (zh) | 一种基于深度残差网络的真实图像盲去噪方法 | |
| CN112288658A (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN110517203B (zh) | 一种基于参考图像重建的去雾方法 | |
| CN113962878B (zh) | 一种低能见度图像去雾模型方法 | |
| CN112419163B (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| CN113284070A (zh) | 基于传递注意力机制的非均匀雾图去雾算法 | |
| CN113160286A (zh) | 一种基于卷积神经网络的近红外和可见光图像融合方法 | |
| CN113269680A (zh) | 一种基于排序学习和孪生神经网络的图像修复质量评价方法 | |
| CN113052776A (zh) | 基于多尺度深度图像先验的无监督图像去雾方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN116704188A (zh) | 一种基于改进U-Net网络的不同容重小麦籽粒图像分割算法 | |
| CN111768326A (zh) | 一种基于gan扩增图像前景物体的高容量数据保护方法 | |
| Huang et al. | SIDNet: a single image dedusting network with color cast correction | |
| CN112258420B (zh) | 基于dqn的图像增强处理方法及装置 | |
| CN113947538A (zh) | 一种多尺度高效卷积自注意力单幅图像除雨方法 | |
| CN117333359A (zh) | 基于可分离卷积网络的山水画图像超分辨率重建方法 | |
| CN111064905B (zh) | 面向自动驾驶的视频场景转换方法 | |
| CN114359180B (zh) | 一种面向虚拟现实的图像质量评价方法 | |
| CN114627005B (zh) | 一种雨密度分类引导的双阶段单幅图像去雨方法 | |
| CN112419177B (zh) | 一种面向单幅图像去运动模糊的感知质量盲评价方法 | |
| CN114881875A (zh) | 基于U-Net结构和残差网络的单幅图像去雾网络及其去雾方法 | |
| CN113450267A (zh) | 可快速获取多种自然退化图像复原模型的迁移学习方法 | |
| Hua et al. | A Residual ConvNeXt-based Network for Visible and Infrared Image Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210813 Assignee: Huzhou Zhiwu Cultural Media Co.,Ltd. Assignor: ZHEJIANG NORMAL University Contract record no.: X2023980045430 Denomination of invention: An Unsupervised Rain Removal Method Based on Deep Learning Granted publication date: 20211015 License type: Common License Record date: 20231101 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210813 Assignee: Ningbo Wuchuan Intelligent Technology Co.,Ltd. Assignor: ZHEJIANG NORMAL University Contract record no.: X2024980000694 Denomination of invention: An Unsupervised Rain Removal Method Based on Deep Learning Granted publication date: 20211015 License type: Common License Record date: 20240115 |