CN109087258A - 一种基于深度学习的图像去雨方法及装置 - Google Patents
一种基于深度学习的图像去雨方法及装置 Download PDFInfo
- Publication number
- CN109087258A CN109087258A CN201810843575.8A CN201810843575A CN109087258A CN 109087258 A CN109087258 A CN 109087258A CN 201810843575 A CN201810843575 A CN 201810843575A CN 109087258 A CN109087258 A CN 109087258A
- Authority
- CN
- China
- Prior art keywords
- characteristic pattern
- rain
- image
- layer
- shallow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 230000002708 enhancing effect Effects 0.000 claims description 34
- 238000010606 normalization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000003475 lamination Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明公开了一种基于深度学习的图像去雨方法及装置，所述方法包括：步骤S1，利用浅层卷积神经网络产生所有有雨图像的浅层特征图；步骤S2，将获得的浅层特征图输入至一个逐级下采样的多层编码器以进行编码；步骤S3，通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作；步骤S4，对解码后的特征图进行细化处理，并预测有雨图像的雨条负残差信息；步骤S5，对所述有雨图像与雨条负残差信息求和，最终获得高质量无雨图像，本发明在有效地去除雨条信息的同时，能良好地保留场景细节信息。
Description
技术领域
本发明涉及基于深度学习的计算机视觉技术领域，特别是涉及一种基于非局部特征增强编码器-解码器框架的图像去雨方法。
背景技术
图像去雨问题旨在去除图像场景中的雨条信息。近年来，由于深度学习方法在计算机视觉领域大放异彩，在数据和算法的共同推动下，图像去雨问题凭借其广泛的应用前景及学科探索性，吸引了越来越多研究者的关注。
早年的许多方法大多是基于先验信息的传统图像处理方法。如Huang等人在2012年的研究工作“Automatic single-image-based rain streaks removal via imagedecomposition”首次使用稀疏编码方法从有雨图像的高频信息中分解出雨条信息，随后一些基于稀疏编码的图像去雨方法相继提出；Chen等人在2014年的研究工作“A GeneralizedLow-Rank Appearance Model for Spatio-temporally Correlated Rain Streaks(ICCV)”假设雨条信息是低秩的；然而，该类方法基于较强的假设前提与低级别的手工特征表达，通常会造成图像过度平滑，无法保留场景细节信息。
而近年来，许多研究人员逐步开始将深度学习技术运用到图像去雨任务中，基于深度学习的方法大大改善了过度平滑和细节丢失带来的问题，如Fu等人于2017年的研究工作“Removing Rain from Single Images via a Deep Detail Network(CVPR)”以及Zhang等人于2018年的研究工作“Density-aware Single Image De-raining using a Multi-stream Dense Network(CVPR)”
现有的大多数深度模型的成功源于它们正确处理了不同图片中因不同密度雨条信息及与雨条相似结构的场景细节带来的不利影响，或是从有雨图像中分解出高频信息后进行有效建模。然而，这些方法无一例外的将卷积神经网络当作一个封装好的端到端映射模块，受限于已设计好的卷积层，无法充分利用特征图的空间相关性，导致无法完全去除有雨图像中的雨条信息或破坏与雨条结构相似的场景细节信息，即无法完全去除雨条以及过度去除雨条破坏场景细节是图像去雨面临的最根本挑战和技术瓶颈。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种基于深度学习的图像去雨方法及装置，以在有效地去除雨条信息的同时，且能良好地保留场景细节信息。
为达上述及其它目的，本发明提出一种基于深度学习的图像去雨方法，包括如下步骤：
步骤S1，利用浅层卷积神经网络产生所有有雨图像的浅层特征图；
步骤S2，将获得的浅层特征图输入至一个逐级下采样的多层编码器以进行编码；
步骤S3，通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作；
步骤S4，对解码后的特征图进行细化处理，并预测有雨图像的雨条负残差信息；
步骤S5，对所述有雨图像与雨条负残差信息求和，最终获得高质量无雨图像。
优选地，于步骤S5后，还包括如下步骤：
根据生成的无雨图像与真实无雨图像的差值，进行梯度回传操作更新所述卷积神经网络参数。
优选地，于步骤S2中，所述多层编码器的每层包含一非局部特征增强模块与一最大池化模块，所述非局部特征增强模块首先根据特征图空间大小将获得的浅层特征图划分为多个子特征图，然后对每个子特征图进行特征增强操作，最后对整个特征图进行特征提取、残差学习操作；所述最大池化模块则对特征图进行下采样操作，并记录原始特征图采样点索引。
优选地，于步骤S2中，所述特征增强操作计算特征图中某一空间点与所有空间点的相关性，以所有空间点特征值的加权和作为该空间点的特征值。
优选地，于步骤S3中，所述多层解码器的每层包含一个非局部增强模块与一个最大反池化模块，每一层结合编码器对应层所产生的特征图与上一层级所产生的特征图，通过非局部特征增强模块进行特征增强，再以编码器对应层所记录的采样点索引进行上采样操作。
优选地，于步骤S1中，对有雨图像进行归一化操作，并通过两个具有相同核大小的卷积层对归一化后的有雨图像提取所述浅层特征图。
优选地，前一卷积层接收归一化后的有雨图像，产生与有雨图像相同尺度的特征图；后一卷积层进一步处理前一卷积层产生的特征图，并产生相同尺度的特征图，前一卷积层产生的特征图在传入后一卷积层的同时，还将进一步用于步骤S4中的特征图细化处理。
优选地，步骤S4进一步包括：
步骤S400，结合步骤S2中编码器第一层非局部增强后的特征图以及解码后的特征图，以两个不同核的卷积层进行残差学习；
步骤S401，将经步骤S400残差学习产生的特征图结合步骤S1中前一卷积层产生的特征图通过一个卷积层与双曲正切激活函数，预测有雨图像的雨条负残差信息。
优选地，于步骤S5中，通过残差学习的方法将步骤S4产生的雨条负残差信息按位加到所接收的来自上游的有雨图像上。
为达上述目的，本发明还提供一种基于深度学习的图像去雨装置，包括：
浅层特征图提取单元，用于利用浅层卷积神经网络产生所有有雨图像的浅层特征图；
特征图编码单元，用于将所述浅层特征图通过一个逐级下采样的多层编码器进行编码；
特征图解码单元，用于通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作；
特征图细化处理单元，用于对解码后的特征图进行细化处理，预测有雨图像的雨条负残差信息；
无雨图像生成单元，用于对所述有雨图像与雨条负残差信息求和，最终获得高质量无雨图像。
与现有技术相比，本发明一种基于深读学习的图像去雨方法通过有效结合非局部特征增强操作与编码器-解码器的层级特性，在优化过程中可自动去除雨条信息，大幅度提高运算速度，并达到目前最优去雨效果，避免在较大特征空间中进行全局特征增强导致平方级计算量与内存消耗。
附图说明
图1为本发明一种基于深度学习的图像去雨方法的步骤流程图；
图2为本发明具体实施例中步骤S2的细部流程图；
图3为本发明具体实施例中图像去雨过程的示意图；
图4为本发明一种基于深度学习的图像去雨装置的系统结构图。
图5为本发明具体实施例中非局部特征增强模块的细部结构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种基于深度学习的图像去雨方法的步骤流程图。如图1所示，本发明一种基于深度学习的图像去雨方法，包括如下步骤：
步骤S1，利用浅层卷积神经网络产生所有有雨图像的浅层特征图。具体地，于步骤S1中，对有雨图像进行归一化操作，并通过两个具有相同核大小的卷积层提取浅层特征图。在本发明具体实施例中，两个卷积层的核大小相同，前一卷积层接收归一化后的有雨图像，并产生与有雨图像相同尺度的特征图；后一卷积层进一步处理前一卷积层产生的特征图，并产生相同尺度的特征图。前一卷积层产生的特征图在传入后一卷积层的同时，还将进一步用于步骤S4中的特征图细化处理。上述过程的公式化表述如下：
F0＝H0(I0)
F1＝H1(F0)
其中H0、H1表示卷积操作；F0、F1表示产生的特征图；I0表示归一化后的有雨图像。
步骤S2，将获得的浅层特征图输入至一个逐级下采样的多层编码器以进行编码。在本发明具体实施例中，所述多层编码器采用三层编码器，其中每层包含一个非局部特征增强模块与一个最大池化模块，非局部特征增强模块首先根据特征图空间大小将其划分为一定数量、等大小的子特征图，其次独立地对每个子特征图进行特征增强操作，最后对整个特征图进行特征提取、残差学习操作。最大池化模块则对特征图进行两倍下采样操作，并记录原始特征图采样点索引。
具体地，以三层编码器为例，如图2所示，步骤S2进一步包括：
步骤S201，以步骤S1产生的特征图，输入到下层逐级采样的三层编码器；
步骤S202，在第一层中，特征图被送入非局部特征增强模块，首先被划分为8×8个等大小的子特征图，每个子特征图进行特征增强操作，具体地，该特征增强操作计算特征图中某一空间点与所有空间点的相关性，以所有空间点特征值的加权和作为该空间点的特征值，上述过程的公式化表述如下：
其中θ、g表示卷积操作；Fi、Fj分别表示特征图中第i个和第j个空间点的特征值；f(Fi，Fj)表示两个空间点之间的空间相关性；表示所有空间点的集合；yi第i个空间点的加权和；为归一化因子，
其次通过带有密集连接的多个卷积层对非局部特征增强后的特征图进一步处理；最后基于残差学习产生处理后的特征图，即通过残差学习的方法将处理后的特征图按位加到所接收的来自上游的特征图上，随后，该特征图通过最大池化层进行两倍下采样，并记录采样点索引；
步骤S203，将步骤S202生成的特征图输入到第二层编码器，第二层编码器除子特征图划分参数为4×4以外，结构及过程与第一层编码器完全相同，在此不予赘述；
步骤S204，将步骤S203生成的特征图输入到第三层编码器。第三层编码器除子特征图划分参数为2×2以外，结构及过程与第一层编码器完全相同，在此不予赘述。
步骤S3，通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作。在本发明具体实施例中，所述多层解码器采用三层解码器，其中每层包含一个非局部增强模块与一个最大反池化模块。最大反池化模块根据解码器中原始特征图采样点索引进行两倍上采样操作，图3为本发明具体实施例图像去雨过程的示意图，具体地，解码器第一、二、三层中非局部特征增强模块的子特征图划分参数分别为1×1、2×2、4×4，每一层结合编码器对应层所产生的特征图与上一层级所产生的特征图，通过非局部特征增强模块进行特征增强，再以编码器对应层所记录的采样点索引进行上采样操作。
步骤S4，对解码后的特征图进行细化处理，最后预测有雨图像的雨条负残差信息。
具体地，步骤S4进一步包括：
步骤S400，结合步骤S2中编码器第一层非局部增强后的特征图以及解码后的特征图，以两个不同核的卷积层进行残差学习；
步骤S401，将经步骤S400残差学习产生的特征图结合步骤S1中第一个卷积层产生的特征图通过一个卷积层与双曲正切激活函数，预测有雨图像的雨条负残差信息。
步骤S5，对有雨图像与雨条负残差信息求和，最终获得高质量无雨图像。通过残差学习的方法将步骤S4产生的雨条负残差信息按位加到所接收的来自上游的有雨图像上
优选地，于步骤S5之后，本发明之图像去雨方法还包括如下步骤：
根据生成的无雨图像与真实无雨图像的差值，进行梯度回传操作更新卷积神经网络参数，其损失函数可表示为：
其中H、W、C分别表示图像的高、宽、通道数；i、j、k分别表示高、宽、通道数维度的索引；|| ||1表示L1误差；Y分别表示生成的无雨图像与有雨图像对应真实的无雨图像。
图4为本发明一种基于深度学习的图像去雨装置的系统结构图。如图4所示，本发明一种基于深度学习的图像去雨装置，包括：
浅层特征图提取单元401，用于利用浅层卷积神经网络产生所有有雨图像的浅层特征图，以便用于后续编码与细化处理操作。具体地，浅层特征图提取单元401首先对有雨图像进行归一化操作，并通过两个具有相同核大小的卷积层对归一化后的有雨图像提取浅层特征图。在本发明具体实施例中，两个卷积层的核大小相同，前一卷积层接收归一化后的有雨图像，并产生与有雨图像相同尺度的特征图；后一卷积层进一步处理前一卷积层产生的特征图，并产生相同尺度的特征图。前一卷积层产生的特征图在传入后一卷积层的同时，还将进一步用于特征图细化处理单元404中的特征图细化处理。
特征图编码单元402，用于将所述浅层特征图通过一个逐级下采样的多层编码器进行编码，为后续的解码与细化处理做准备。在本发明具体实施例中，所述多层编码器采用三层编码器，其中每层包含一个非局部特征增强模块与一个最大池化模块，非局部特征增强模块首先根据特征图空间大小将其划分为一定数量、等大小的子特征图，其次独立地对每个子特征图进行特征增强操作，最后对整个特征图进行特征提取、残差学习操作。最大池化模块对特征图进行两倍下采样操作，并记录原始特征图采样点索引。
具体地，如图5所示，非局部特征增强模块包括进一步包括：
子特征图划分单元201，以预先设置的子特征图划分参数，将所接收到的来自上游的特征图划分一定数量、等大小的子特征图；
特征增强单元202，对每个子特征图进行非局部特征增强操作，该局部特征增强操作计算特征图中某一空间点与所有空间点的相关性，以所有空间点特征值的加权和作为该空间点的特征值，上述过程的公式化表述如下：
其中θ、g表示卷积操作；Fi、Fj分别表示特征图中第i个和第j个空间点的特征值；f(Fi，Fj)表示两个空间点之间的空间相关性；表示所有空间点的集合；yi第i个空间点的加权和；为归一化因子。
特征处理单元203，以一系列级联的、具有密集连接的卷积层对非局部特征增强后的特征图进一步处理。
残差学习单元204，通过残差学习的方法将所述特征图处理单元产生的特征图按位加到模块所接收的来自上游的特征图上。
特征图解码单元403，通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作，即接收来自特征图编码单元502的各级编码特征图与特征图下采样点索引，并通过具有层级性的非局部特征增强模块与最大反池化模块，得到解码后的特征图。在本发明具体实施例中，所述多层解码器采用三层解码器，其中每层包含一个非局部增强模块与一个最大反池化模块。最大反池化模块根据解码器中原始特征图采样点索引进行两倍上采样操作。
特征图细化处理单元404，用于对解码后的特征图进行细化处理，最后预测有雨图像的雨条负残差信息，即特征图细化处理单元404接收来自浅层特征图提取单元401的浅层特征图、特征图编码单元402的初级编码特征与特征图解码单元403的解码特征，并将其整合，利用两个层级的卷积层与残差学习进行特征处理，产生有雨图像的雨条负残差信息
特征图细化处理单元404具体用于：
结合特征图编码单元402中编码器第一层非局部增强后的特征图以及特征图解码单元403解码后的特征图，以两个不同核的卷积层进行残差学习；
将经残差学习产生的特征图结合浅层特征图提取单元401中第一个卷积层产生的特征图通过一个卷积层与双曲正切激活函数，预测有雨图像的雨条负残差信息。
无雨图像生成单元405，用于对有雨图像与雨条负残差信息求和，最终获得高质量无雨图像，即无雨图像生成单元505通过残差学习的方法将所述特征图处理单元产生的雨条负残差信息按位加到所接收的来自上游的有雨图像上。
优选地，本发明之图像去雨装置还包括：
参数更新单元，用于根据生成的无雨图像与真实无雨图像的差值，进行梯度回传操作更新卷积神经网络参数，其损失函数可表示为：
其中H、W、C分别表示图像的高、宽、通道数；i、j、k分别表示高、宽、通道数维度的索引；|| ||1表示L1误差；Y分别表示生成的无雨图像与有雨图像对应真实的无雨图像。
综上所述，本发明一种基于深读学习的图像去雨方法通过有效结合非局部特征增强操作与编码器-解码器的层级特性，在优化过程中可自动去除雨条信息，大幅度提高运算速度，并达到目前最优去雨效果，避免在较大特征空间中进行全局特征增强导致平方级计算量与内存消耗。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
Claims (10)
1.一种基于深度学习的图像去雨方法，包括如下步骤：
步骤S1，利用浅层卷积神经网络产生所有有雨图像的浅层特征图；
步骤S2，将获得的浅层特征图输入至一个逐级下采样的多层编码器以进行编码；
步骤S3，通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作；
步骤S4，对解码后的特征图进行细化处理，并预测有雨图像的雨条负残差信息；
步骤S5，对所述有雨图像与雨条负残差信息求和，最终获得高质量无雨图像。
2.如权利要求1所述的一种基于深度学习的图像去雨方法，其特征在于，于步骤S5后，还包括如下步骤：
根据生成的无雨图像与真实无雨图像的差值，进行梯度回传操作更新所述卷积神经网络参数。
3.如权利要求1所述的一种基于深度学习的图像去雨方法，其特征在于：于步骤S2中，所述多层编码器的每层包含一非局部特征增强模块与一最大池化模块，所述非局部特征增强模块首先根据特征图空间大小将获得的浅层特征图划分为多个子特征图，然后对每个子特征图进行特征增强操作，最后对整个特征图进行特征提取、残差学习操作；所述最大池化模块则对特征图进行下采样操作，并记录原始特征图采样点索引。
4.如权利要求3所述的一种基于深度学习的图像去雨方法，其特征在于，于步骤S2中，所述特征增强操作计算特征图中某一空间点与所有空间点的相关性，以所有空间点特征值的加权和作为该空间点的特征值。
5.如权利要求3所述的一种基于深度学习的图像去雨方法，其特征在于：于步骤S3中，所述多层解码器的每层包含一个非局部增强模块与一个最大反池化模块，每一层结合编码器对应层所产生的特征图与上一层级所产生的特征图，通过非局部特征增强模块进行特征增强，再以编码器对应层所记录的采样点索引进行上采样操作。
6.如权利要求1所述的一种基于深度学习的图像去雨方法，其特征在于：于步骤S1中，对有雨图像进行归一化操作，并通过两个具有相同核大小的卷积层对归一化后的有雨图像提取所述浅层特征图。
7.如权利要求6所述的一种基于深度学习的图像去雨方法，其特征在于：前一卷积层接收归一化后的有雨图像，产生与有雨图像相同尺度的特征图；后一卷积层进一步处理前一卷积层产生的特征图，并产生相同尺度的特征图，前一卷积层产生的特征图在传入后一卷积层的同时，还将进一步用于步骤S4中的特征图细化处理。
8.如权利要求7所述的一种基于深度学习的图像去雨方法，其特征在于，步骤S4进一步包括：
步骤S400，结合步骤S2中编码器第一层非局部增强后的特征图以及解码后的特征图，以两个不同核的卷积层进行残差学习；
步骤S401，将经步骤S400残差学习产生的特征图结合步骤S1中前一卷积层产生的特征图通过一个卷积层与双曲正切激活函数，预测有雨图像的雨条负残差信息。
9.如权利要求7所述的一种基于深度学习的图像去雨方法，其特征在于：于步骤S5中，通过残差学习的方法将步骤S4产生的雨条负残差信息按位加到所接收的来自上游的有雨图像上。
10.一种基于深度学习的图像去雨装置，包括：
浅层特征图提取单元，用于利用浅层卷积神经网络产生所有有雨图像的浅层特征图；
特征图编码单元，用于将所述浅层特征图通过一个逐级下采样的多层编码器进行编码；
特征图解码单元，用于通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作；
特征图细化处理单元，用于对解码后的特征图进行细化处理，预测有雨图像的雨条负残差信息；
无雨图像生成单元，用于对所述有雨图像与雨条负残差信息求和，最终获得高质量无雨图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810843575.8A CN109087258B (zh) | 2018-07-27 | 2018-07-27 | 一种基于深度学习的图像去雨方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810843575.8A CN109087258B (zh) | 2018-07-27 | 2018-07-27 | 一种基于深度学习的图像去雨方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109087258A true CN109087258A (zh) | 2018-12-25 |
| CN109087258B CN109087258B (zh) | 2021-07-20 |
Family
ID=64831149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810843575.8A Active CN109087258B (zh) | 2018-07-27 | 2018-07-27 | 一种基于深度学习的图像去雨方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109087258B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993735A (zh) * | 2019-03-29 | 2019-07-09 | 成都信息工程大学 | 基于级联卷积的图像分割方法 |
| CN110120019A (zh) * | 2019-04-26 | 2019-08-13 | 电子科技大学 | 一种基于特征增强的残差神经网络及图像去块效应方法 |
| CN110276715A (zh) * | 2019-05-14 | 2019-09-24 | 北京邮电大学 | 一种图像去夜方法和装置 |
| CN110288535A (zh) * | 2019-05-14 | 2019-09-27 | 北京邮电大学 | 一种图像去雨方法和装置 |
| CN110378849A (zh) * | 2019-07-09 | 2019-10-25 | 闽江学院 | 基于深度残差网络的图像去雾去雨方法 |
| CN110443761A (zh) * | 2019-07-16 | 2019-11-12 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
| CN110544217A (zh) * | 2019-08-30 | 2019-12-06 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
| CN110569738A (zh) * | 2019-08-15 | 2019-12-13 | 杨春立 | 基于密集连接网络的自然场景文本检测方法、设备和介质 |
| CN110675330A (zh) * | 2019-08-12 | 2020-01-10 | 广东石油化工学院 | 基于通道级注意力机制的编码-解码网络的图像去雨方法 |
| CN110838095A (zh) * | 2019-11-06 | 2020-02-25 | 广西师范大学 | 一种基于循环密集神经网络的单幅图像去雨方法和系统 |
| CN110852972A (zh) * | 2019-11-11 | 2020-02-28 | 苏州科技大学 | 基于卷积神经网络的单图像去雨方法 |
| CN112070690A (zh) * | 2020-08-25 | 2020-12-11 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
| CN112734675A (zh) * | 2021-01-19 | 2021-04-30 | 西安理工大学 | 一种基于金字塔模型和非局部增强密集块的图像去雨方法 |
| WO2021249523A1 (zh) * | 2020-06-12 | 2021-12-16 | 华为技术有限公司 | 图像处理方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130251279A1 (en) * | 2012-03-26 | 2013-09-26 | Electronics And Telecommunications Research Institute | Image encoding method using adaptive preprocessing scheme |
| CN104217214A (zh) * | 2014-08-21 | 2014-12-17 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于可配置卷积神经网络的rgb-d人物行为识别方法 |
| CN104217404A (zh) * | 2014-08-27 | 2014-12-17 | 华南农业大学 | 雾霾天视频图像清晰化处理方法及其装置 |
| CN106204499A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于卷积神经网络的单幅图像去雨方法 |
| CN106971378A (zh) * | 2016-08-23 | 2017-07-21 | 上海海洋大学 | 一种基于深度去噪自编码器的单幅图像去雨方法 |
| CN107749052A (zh) * | 2017-10-24 | 2018-03-02 | 中国科学院长春光学精密机械与物理研究所 | 基于深度学习神经网络的图像去雾方法及系统 |
-
2018
- 2018-07-27 CN CN201810843575.8A patent/CN109087258B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130251279A1 (en) * | 2012-03-26 | 2013-09-26 | Electronics And Telecommunications Research Institute | Image encoding method using adaptive preprocessing scheme |
| CN104217214A (zh) * | 2014-08-21 | 2014-12-17 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于可配置卷积神经网络的rgb-d人物行为识别方法 |
| CN104217404A (zh) * | 2014-08-27 | 2014-12-17 | 华南农业大学 | 雾霾天视频图像清晰化处理方法及其装置 |
| CN106204499A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于卷积神经网络的单幅图像去雨方法 |
| CN106971378A (zh) * | 2016-08-23 | 2017-07-21 | 上海海洋大学 | 一种基于深度去噪自编码器的单幅图像去雨方法 |
| CN107749052A (zh) * | 2017-10-24 | 2018-03-02 | 中国科学院长春光学精密机械与物理研究所 | 基于深度学习神经网络的图像去雾方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| IDAN KLIGVASSER等: "xUnit: Learning a Spatial Activation Function for Efficient Image Restoration", 《ARXIV》 * |
| JINCHUAN PU等: "Removing rain based on a cycle generative adversarial network", 《2018 13TH IEEE CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS》 * |
| PEI XU等: "Motion detection via a couple of auto-encoder networks", 《 2014 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 * |
| 朱玲: "单幅图像去雨算法的研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993735A (zh) * | 2019-03-29 | 2019-07-09 | 成都信息工程大学 | 基于级联卷积的图像分割方法 |
| CN110120019A (zh) * | 2019-04-26 | 2019-08-13 | 电子科技大学 | 一种基于特征增强的残差神经网络及图像去块效应方法 |
| CN110120019B (zh) * | 2019-04-26 | 2023-03-28 | 电子科技大学 | 一种基于特征增强的残差神经网络及图像去块效应方法 |
| CN110276715A (zh) * | 2019-05-14 | 2019-09-24 | 北京邮电大学 | 一种图像去夜方法和装置 |
| CN110288535A (zh) * | 2019-05-14 | 2019-09-27 | 北京邮电大学 | 一种图像去雨方法和装置 |
| CN110378849B (zh) * | 2019-07-09 | 2021-06-01 | 闽江学院 | 基于深度残差网络的图像去雾去雨方法 |
| CN110378849A (zh) * | 2019-07-09 | 2019-10-25 | 闽江学院 | 基于深度残差网络的图像去雾去雨方法 |
| CN110443761B (zh) * | 2019-07-16 | 2022-02-15 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
| CN110443761A (zh) * | 2019-07-16 | 2019-11-12 | 大连理工大学 | 一种基于多尺度聚合特征的单幅图像去雨方法 |
| CN110675330A (zh) * | 2019-08-12 | 2020-01-10 | 广东石油化工学院 | 基于通道级注意力机制的编码-解码网络的图像去雨方法 |
| CN110569738B (zh) * | 2019-08-15 | 2023-06-06 | 杨春立 | 基于密集连接网络的自然场景文本检测方法、设备和介质 |
| CN110569738A (zh) * | 2019-08-15 | 2019-12-13 | 杨春立 | 基于密集连接网络的自然场景文本检测方法、设备和介质 |
| CN110544217A (zh) * | 2019-08-30 | 2019-12-06 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
| CN110838095B (zh) * | 2019-11-06 | 2022-06-07 | 广西师范大学 | 一种基于循环密集神经网络的单幅图像去雨方法和系统 |
| CN110838095A (zh) * | 2019-11-06 | 2020-02-25 | 广西师范大学 | 一种基于循环密集神经网络的单幅图像去雨方法和系统 |
| CN110852972A (zh) * | 2019-11-11 | 2020-02-28 | 苏州科技大学 | 基于卷积神经网络的单图像去雨方法 |
| WO2021249523A1 (zh) * | 2020-06-12 | 2021-12-16 | 华为技术有限公司 | 图像处理方法及装置 |
| CN112070690B (zh) * | 2020-08-25 | 2023-04-25 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
| CN112070690A (zh) * | 2020-08-25 | 2020-12-11 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
| CN112734675A (zh) * | 2021-01-19 | 2021-04-30 | 西安理工大学 | 一种基于金字塔模型和非局部增强密集块的图像去雨方法 |
| CN112734675B (zh) * | 2021-01-19 | 2024-02-09 | 西安理工大学 | 一种基于金字塔模型和非局部增强密集块的图像去雨方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109087258B (zh) | 2021-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109087258A (zh) | 一种基于深度学习的图像去雨方法及装置 | |
| CN111079532B (zh) | 一种基于文本自编码器的视频内容描述方法 | |
| CN113936339B (zh) | 基于双通道交叉注意力机制的打架识别方法和装置 | |
| CN107577651B (zh) | 基于对抗网络的汉字字体迁移系统 | |
| CN109493303A (zh) | 一种基于生成对抗网络的图像去雾方法 | |
| CN111832570A (zh) | 一种图像语义分割模型训练方法及系统 | |
| CN110458011A (zh) | 端到端的文字识别方法及装置、计算机设备及可读介质 | |
| CN114936605A (zh) | 基于知识蒸馏的神经网络训练方法、设备及存储介质 | |
| WO2023212997A1 (zh) | 基于知识蒸馏的神经网络训练方法、设备及存储介质 | |
| CN110458242A (zh) | 一种图像描述生成方法、装置、设备以及可读存储介质 | |
| Liao et al. | Artist-net: Decorating the inferred content with unified style for image inpainting | |
| WO2022166840A1 (zh) | 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备 | |
| CN115170388A (zh) | 人物线稿生成方法、装置、设备及介质 | |
| CN113554653A (zh) | 基于互信息校准点云数据长尾分布的语义分割方法 | |
| CN108171325A (zh) | 一种多尺度人脸恢复的时序集成网络、编码装置及解码装置 | |
| CN116958325A (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
| CN111768466A (zh) | 图像填充方法、装置、设备及存储介质 | |
| CN116402702A (zh) | 基于深度神经网络的老照片修复方法及系统 | |
| CN112950501B (zh) | 基于噪声场的图像降噪方法、装置、设备及存储介质 | |
| CN115222998A (zh) | 一种图像分类方法 | |
| CN111325068B (zh) | 基于卷积神经网络的视频描述方法及装置 | |
| Zhu et al. | Application research on improved CGAN in image raindrop removal | |
| CN116704588B (zh) | 面部图像的替换方法、装置、设备及存储介质 | |
| CN113947612B (zh) | 基于前景背景分离的视频异常检测方法 | |
| Yu et al. | Staged Transformer Network with Color Harmonization for Image Outpainting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |