CN115331083B - 基于逐步密集特征融合去雨网络的图像去雨方法及系统 - Google Patents
基于逐步密集特征融合去雨网络的图像去雨方法及系统 Download PDFInfo
- Publication number
- CN115331083B CN115331083B CN202211250841.9A CN202211250841A CN115331083B CN 115331083 B CN115331083 B CN 115331083B CN 202211250841 A CN202211250841 A CN 202211250841A CN 115331083 B CN115331083 B CN 115331083B
- Authority
- CN
- China
- Prior art keywords
- dense
- rain
- fusion
- gradual
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000005070 sampling Methods 0.000 claims description 40
- 238000010606 normalization Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于逐步密集特征融合去雨网络的图像去雨方法及系统，涉及计算机视觉技术领域，该方法包括：获取清晰图像及其对应的加雨图像，以此构建训练数据集；构建逐步密集特征融合去雨网络，该网络基于U‑Net编码器‑解码器的网络结构，在编码器后依次堆叠6个残差密集单元，每个残差密集单元分别与特征逐步融合单元中的解码器一一对应，并将输出的中间特征分别输入至对应的解码器，且该解码器密集连接；利用训练数据集训练逐步密集特征融合去雨网络；将待去雨图像输入训练完成的逐步密集特征融合去雨网络中，获得去雨后的清晰图像。本发明通过所构建的去雨网络，实现图像去雨的同时有效保留图像中的细节信息，获取清晰的去雨图像。
Description
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种基于逐步密集特征融合去雨网络的图像去雨方法及系统。
背景技术
雨天场景下拍摄的图像中的雨纹往往会遮挡或模糊图像背景内容的关键信息，不可避免地降低了图像质量，从而会进一步妨碍后续其他计算机视觉任务，如目标检测、语义分割等。因此，图像去雨任务是户外计算机视觉系统的重要前期预处理工作，引起了研究人员的广泛关注和重视。有效的去雨技术通常可以使得模糊带雨的图像恢复为清晰高质量的无雨图像，从而有效地提供更准确的检测或识别结果，对计算机视觉任务高精度完成具有很大的促进和改善作用，其应用范围较广，应用前景十分开阔。
现有的去雨方法一般采用多尺度特征提取的方案来应对不同尺度和不同模糊程度的雨纹，或引入注意力机制来指导网络关注雨纹信息。但是，由于雨纹和某些图像细节均属于低频信息，以上方法在图像去雨的同时极易模糊掉一些图像细节，进而导致无法有效恢复图像中被模糊掉的细节信息，如目标的纹理、边缘等信息，这极大的影响了图像去雨算法的实际应用，也为图像去雨带来较大的挑战。
发明内容
为解决上述现有技术的不足，本发明提供了一种基于逐步密集特征融合去雨网络的图像去雨方法及系统，基于U-Net编码器-解码器的网络结构，结合残差密集单元（Residual densely connection module, ReDCM）和特征逐步融合单元（Progressivefeature fusion module, PFFN），构成逐步密集特征融合去雨网络（Progressive densefeature fusion network, PDFFN），基于该去雨网络对图像进行去雨操作，实现图像去雨的同时，有效保留图像中的细节信息，获取清晰的去雨图像。
第一方面，本公开提供了一种基于逐步密集特征融合去雨网络的图像去雨方法，包括以下步骤：
获取清晰图像及其对应的加雨图像，以此构建训练数据集；
构建逐步密集特征融合去雨网络，所述网络基于U-Net编码器-解码器的网络结构，在编码器后依次堆叠6个残差密集单元，每个残差密集单元输出的中间特征均输入至特征逐步融合单元；
利用训练数据集训练所述逐步密集特征融合去雨网络；
将待去雨图像输入训练完成的逐步密集特征融合去雨网络中，获得去雨后的清晰图像。
进一步的技术方案，所述编码器为依次堆叠1个卷积模块和2个连续的用于降采样的降采样模块；通过编码器每层输出的特征为编码特征。
进一步的技术方案，所述卷积模块堆叠卷积和ReLU激活函数，其顺序依次为卷积Conv2d-ReLU-卷积Conv2d-ReLU，其中，所述Conv2d为单个卷积层；
所述降采样模块由所述卷积模块以残差连接模式组成，其后再堆叠1个下采样层，进行降采样操作。
进一步的技术方案，所述残差密集单元以密集连接模式堆叠4个归一卷积模块和1个特征转换模块，所述编码器最后一层输出的编码特征输入第一个残差密集单元，每个密集残差单元输出的中间特征均输入至特征逐步融合单元。
进一步的技术方案，所述特征逐步融合单元包括6个密集连接的解码器，所述解码器为依次堆叠上采样层-卷积模块-上采样层-卷积模块，每个解码器分别与残差密集单元一一对应，以对应的残差密集单元输出的中间特征作为输入。
进一步的技术方案，所述特征逐步融合单元中解码器的密集连接是指：
第一个残差密集单元输出的中间特征输入第一个解码器，中间特征在第一个解码器中，在每个上采样操作后融合来自编码器输出的编码特征，融合后通过卷积模块得到密集融合特征DFF；
之后的解码器以对应残差密集单元输出的中间特征为输入，在每个上采样操作后融合来自前一个解码器对应层融合输出的特征，以此形成特征逐步融合单元中解码器的密集连接模式。
第二方面，本公开提供了一种基于逐步密集特征融合去雨网络的图像去雨系统，包括：
训练集构建模块，用于获取清晰图像及其对应的加雨图像，以此构建训练数据集；
去雨网络构建模块，用于构建逐步密集特征融合去雨网络，所述网络基于U-Net编码器-解码器的网络结构，在编码器后依次堆叠6个残差密集单元，每个残差密集单元输出的中间特征均输入至特征逐步融合单元；
去雨网络训练模块，用于利用训练数据集训练所述逐步密集特征融合去雨网络；
去雨模块，用于将待去雨图像输入训练完成的逐步密集特征融合去雨网络中，获得去雨后的清晰图像。
进一步的技术方案，所述残差密集单元以密集连接模式堆叠4个归一卷积模块和1个特征转换模块，所述编码器最后一层输出的编码特征输入第一个残差密集单元，每个密集残差单元输出的中间特征均输入至特征逐步融合单元。
进一步的技术方案，所述特征逐步融合单元包括6个密集连接的解码器，所述解码器为依次堆叠上采样层-卷积模块-上采样层-卷积模块，每个解码器分别与残差密集单元一一对应，以对应的残差密集单元输出的中间特征作为输入。
进一步的技术方案，所述特征逐步融合单元中解码器的密集连接是指：
第一个残差密集单元输出的中间特征输入第一个解码器，中间特征在第一个解码器中，在每个上采样操作后融合来自编码器输出的编码特征，融合后通过卷积模块得到密集融合特征DFF；
之后的解码器以对应残差密集单元输出的中间特征为输入，在每个上采样操作后融合来自前一个解码器对应层融合输出的特征，以此形成特征逐步融合单元中解码器的密集连接模式。
以上一个或多个技术方案存在以下有益效果：
本发明提供了一种基于逐步密集特征融合去雨网络的图像去雨方法及系统，该方法基于U-Net编码器-解码器的网络结构，结合残差密集单元和特征逐步融合单元，构成逐步密集特征融合去雨网络，基于该去雨网络对图像进行去雨操作，实现图像去雨的同时，有效保留图像中的细节信息，获取清晰的去雨图像。
本发明所构建并训练的逐步密集特征融合去雨网络，编码器后依次堆叠6个残差密集单元，而残差密集单元以密集连接模式堆叠4个归一卷积模块和1个特征转换模块，每个残差密集单元分别与特征逐步融合单元中的解码器一一对应，且该解码器密集连接，以此实现对图像的去雨并保留图像中的细节信息。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一所述方法的整体流程图；
图2为本发明实施例一中所述逐步密集特征融合去雨网络的整体结构图；
图3为本发明实施例一中降采样模块和卷积模块的结构示意图；
图4为本发明实施例一中所述密集残差单元的结构示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种基于逐步密集特征融合去雨网络的图像去雨方法，如图1所示，包括以下步骤：
步骤S1、获取清晰图像及其对应的加雨图像，以此构建训练数据集；
步骤S2、构建逐步密集特征融合去雨网络，所述网络基于U-Net编码器-解码器的网络结构，在编码器后依次堆叠6个残差密集单元，每个残差密集单元输出的中间特征均输入至特征逐步融合单元；
步骤S3、利用训练数据集训练所述逐步密集特征融合去雨网络；
步骤S4、将待去雨图像输入训练完成的逐步密集特征融合去雨网络中，获得去雨后的清晰图像。
在本实施例步骤S1中，首先获取在良好天气下拍摄的多张清晰图像，以此作为数据集，然后，利用加雨程序对数据集中每张图像进行加雨操作，在图像中加入强度、方向不同的雨纹，生成清晰图像对应的加雨图像，进而得到清晰图像-加雨图像训练对，以此构建训练数据集。
在本实施例中，在对数据集中每张图像进行加雨操作的过程中，每张图像加雨的雨纹角度范围设置为-40°~40°。
进一步的，在上述利用加雨程序对数据集中每张图像进行加雨操作之前，还包括对数据集中每张图像进行图像预处理操作，如图像裁切、图像归一化等，通过图像归一化将图像统一为相同大小，以便于后续的图像处理，为后续网络模型的训练奠定基础。在本实施例中，将所有图像尺寸归一化为256×256。
步骤S2中，构建逐步密集特征融合去雨网络。如图2所示，该网络基于U-Net编码器-解码器的网络结构，在编码器后依次堆叠6个残差密集单元，每个残差密集单元输出的中间特征均输入至特征逐步融合单元。
考虑到U-Net网络结构简单，而且用较少的数据即可达到较好的效果，对去雨而言可提升去雨的效率或运行速度，因此，在本实施例中选用U-Net网络结构。U-Net网络结构是一个encoder-decoder结构，即编码器-解码器结构，其中，编码器包括若干卷积、池化，通过编码器对图像进行下采样后，再通过解码器进行上采样，恢复到原图的大小。在本实施例中，所述编码器为依次堆叠1个卷积模块和2个连续的用于降采样的降采样模块，通过编码器每层输出的特征为编码特征（Encoding Feature,EF)。通过上述编码器的设置方法，能较好地平衡去雨效果和计算代价。
其中，如图3所示，上述卷积模块堆叠卷积和ReLU激活函数，其顺序依次为卷积Conv2d-ReLU-卷积Conv2d-ReLU，其中，Conv2d是指单个卷积层；而降采样模块由卷积模块以残差连接模式组成，其后再堆叠1个下采样层，进行降采样Down Sampling操作。
所述编码器后依次堆叠6个残差密集单元，用于扩大感受野的范围，从而捕捉更丰富的上下文信息。如图4所示，该残差密集单元以密集连接模式堆叠4个归一卷积模块和1个特征转换模块，编码器最后一层输出的编码特征EF输入第一个残差密集单元，通过每个密集残差单元输出的特征为中间特征（Middle Feature, MF）。通过上述密集连接模式，能够进一步扩大感受野范围，同时保留更多细节信息，从而更好地恢复图像细节。
其中，归一卷积模块包括依次连接的实例归一化（Instance Normalization,IN）、Leaky ReLU和3x3卷积层；特征转换模块包括依次连接的实例归一化、Leaky ReLU和1x1卷积层。
上述6个残差密集单元，每个残差密集单元输出的中间特征MF均输入至特征逐步融合单元。该特征逐步融合单元用于逐步恢复图像细节，其包括6个密集连接的解码器，该解码器为依次堆叠上采样层-卷积模块-上采样层-卷积模块，每个解码器分别与残差密集单元一一对应，以对应的残差密集单元输出的中间特征MF作为输入。第一个残差密集单元输出的中间特征MF输入第一个解码器，中间特征MF在第一个解码器中，在每个上采样操作后融合来自编码器输出的编码特征EF，融合后通过卷积模块得到密集融合特征DFF；上述融合过程具体为：在残差密集单元输出的中间特征MF输入第一个残差密集单元进行上采样操作后，融合来自编码器第一个下采样输出的编码特征EF，融合后通过卷积模块得到密集融合特征DFF；再次进行下采样后，融合来自编码器中卷积模块输出的编码特征EF，融合后通过卷积模块得到密集融合特征DFF。
之后的解码器以对应残差密集单元输出的中间特征MF为输入，在每个上采样操作后融合来自前一个解码器对应层融合输出的特征，以此形成特征逐步融合单元中解码器的密集连接模式。
上述特征逐步融合单元输出的融合特征再通过2个卷积模块和1个Conv2d，输出最终的去雨后的清晰图像。
上述步骤S2搭建了逐步密集特征融合去雨网络的网络结构，再执行步骤S3，即利用上述步骤S1获取的训练数据集训练概逐步密集特征融合去雨网络。在训练过程中，以成对的清晰图像和加雨图像作为输入，采用Adam优化算法进行训练，保存训练后的网络参数（包括神经元之间的连接权重），得到训练完成的逐步密集特征融合去雨网络。其中，网络训练过程中的损失函数为L1损失函数。
最后，执行步骤S4，将待去雨图像输入训练完成的逐步密集特征融合去雨网络中，获得去雨后的清晰图像。
实施例二
本实施例提供了一种基于逐步密集特征融合去雨网络的图像去雨系统，包括：
训练集构建模块，用于获取清晰图像及其对应的加雨图像，以此构建训练数据集；
去雨网络构建模块，用于构建逐步密集特征融合去雨网络，所述网络基于U-Net编码器-解码器的网络结构，在编码器后依次堆叠6个残差密集单元，每个残差密集单元输出的中间特征均输入至特征逐步融合单元；
去雨网络训练模块，用于利用训练数据集训练所述逐步密集特征融合去雨网络；
去雨模块，用于将待去雨图像输入训练完成的逐步密集特征融合去雨网络中，获得去雨后的清晰图像。
以上实施例二中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (4)
1.一种基于逐步密集特征融合去雨网络的图像去雨方法，其特征是，包括以下步骤：
获取清晰图像及其对应的加雨图像，以此构建训练数据集；
构建逐步密集特征融合去雨网络，所述网络基于U-Net编码器-解码器的网络结构，在编码器后依次堆叠6个残差密集单元，每个残差密集单元输出的中间特征均输入至特征逐步融合单元；
利用训练数据集训练所述逐步密集特征融合去雨网络；
将待去雨图像输入训练完成的逐步密集特征融合去雨网络中，获得去雨后的清晰图像；
所述残差密集单元以密集连接模式堆叠4个归一卷积模块和1个特征转换模块，所述编码器最后一层输出的编码特征输入第一个残差密集单元，每个密集残差单元输出的中间特征均输入至特征逐步融合单元；
所述特征逐步融合单元包括6个密集连接的解码器，所述解码器为依次堆叠上采样层-卷积模块-上采样层-卷积模块，每个解码器分别与残差密集单元一一对应，以对应的残差密集单元输出的中间特征作为输入；
所述特征逐步融合单元中解码器的密集连接是指：
第一个残差密集单元输出的中间特征输入第一个解码器，中间特征在第一个解码器中，在每个上采样操作后融合来自编码器输出的编码特征，融合后通过卷积模块得到密集融合特征；
之后的解码器以对应残差密集单元输出的中间特征为输入，在每个上采样操作后融合来自前一个解码器对应层融合输出的特征，以此形成特征逐步融合单元中解码器的密集连接模式。
2.如权利要求1所述的基于逐步密集特征融合去雨网络的图像去雨方法，其特征是，所述编码器为依次堆叠1个卷积模块和2个连续的用于降采样的降采样模块；通过编码器每层输出的特征为编码特征。
3.如权利要求2所述的基于逐步密集特征融合去雨网络的图像去雨方法，其特征是，所述卷积模块堆叠卷积和ReLU激活函数，其顺序依次为卷积Conv2d-ReLU-卷积Conv2d-ReLU，其中，所述Conv2d为单个卷积层；
所述降采样模块由所述卷积模块以残差连接模式组成，其后再堆叠1个下采样层，进行降采样操作。
4.一种基于逐步密集特征融合去雨网络的图像去雨系统，其特征是，包括：
训练集构建模块，用于获取清晰图像及其对应的加雨图像，以此构建训练数据集；去雨网络构建模块，用于构建逐步密集特征融合去雨网络，所述网络基于U-Net编码器-解码器的网络结构，在编码器后依次堆叠6个残差密集单元，每个残差密集单元输出的中间特征均输入至特征逐步融合单元；
去雨网络训练模块，用于利用训练数据集训练所述逐步密集特征融合去雨网络；去雨模块，用于将待去雨图像输入训练完成的逐步密集特征融合去雨网络中，获得去雨后的清晰图像；
所述残差密集单元以密集连接模式堆叠4个归一卷积模块和1个特征转换模块，所述编码器最后一层输出的编码特征输入第一个残差密集单元，每个密集残差单元输出的中间特征均输入至特征逐步融合单元；
所述特征逐步融合单元包括6个密集连接的解码器，所述解码器为依次堆叠上采样层-卷积模块-上采样层-卷积模块，每个解码器分别与残差密集单元一一对应，以对应的残差密集单元输出的中间特征作为输入；
所述特征逐步融合单元中解码器的密集连接是指：
第一个残差密集单元输出的中间特征输入第一个解码器，中间特征在第一个解码器中，在每个上采样操作后融合来自编码器输出的编码特征，融合后通过卷积模块得到密集融合特征；
之后的解码器以对应残差密集单元输出的中间特征为输入，在每个上采样操作后融合来自前一个解码器对应层融合输出的特征，以此形成特征逐步融合单元中解码器的密集连接模式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211250841.9A CN115331083B (zh) | 2022-10-13 | 2022-10-13 | 基于逐步密集特征融合去雨网络的图像去雨方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211250841.9A CN115331083B (zh) | 2022-10-13 | 2022-10-13 | 基于逐步密集特征融合去雨网络的图像去雨方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115331083A CN115331083A (zh) | 2022-11-11 |
| CN115331083B true CN115331083B (zh) | 2023-03-24 |
Family
ID=83914546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211250841.9A Active CN115331083B (zh) | 2022-10-13 | 2022-10-13 | 基于逐步密集特征融合去雨网络的图像去雨方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115331083B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116386027B (zh) * | 2023-04-03 | 2023-10-24 | 南方海洋科学与工程广东省实验室(珠海) | 一种基于人工智能算法的海洋三维旋涡识别系统及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462013A (zh) * | 2020-04-03 | 2020-07-28 | 西安交通大学 | 一种基于结构化残差学习的单图去雨方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110544217B (zh) * | 2019-08-30 | 2021-07-20 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
| CN111161161B (zh) * | 2019-12-04 | 2023-05-16 | 天津大学 | 一种颜色保持的特征融合去雾方法 |
| WO2021230708A1 (en) * | 2020-05-15 | 2021-11-18 | Samsung Electronics Co., Ltd. | Image processing method, electronic device and readable storage medium |
| WO2022126588A1 (zh) * | 2020-12-18 | 2022-06-23 | 深圳先进技术研究院 | 基于双编码融合网络模型的pet-mri图像去噪方法、装置 |
| US11528435B2 (en) * | 2020-12-25 | 2022-12-13 | Industrial Technology Research Institute | Image dehazing method and image dehazing apparatus using the same |
| CN112950498A (zh) * | 2021-02-24 | 2021-06-11 | 苏州加乘科技有限公司 | 一种基于对抗网络和多尺度密集特征融合图像去雾方法 |
| CN114022392A (zh) * | 2021-11-19 | 2022-02-08 | 南京林业大学 | 用于单幅图像去雾的串行注意增强UNet++去雾网络 |
| CN114998142A (zh) * | 2022-06-08 | 2022-09-02 | 武汉工程大学 | 一种基于密集特征多监督约束的运动去模糊方法 |
| CN115131244A (zh) * | 2022-06-30 | 2022-09-30 | 齐鲁工业大学 | 基于对抗学习的单幅图像去雨方法及系统 |
-
2022
- 2022-10-13 CN CN202211250841.9A patent/CN115331083B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462013A (zh) * | 2020-04-03 | 2020-07-28 | 西安交通大学 | 一种基于结构化残差学习的单图去雨方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115331083A (zh) | 2022-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112801901A (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
| CN111028151B (zh) | 基于图残差神经网络融合的点云数据拼接方法 | |
| CN110533623B (zh) | 一种基于监督学习的全卷积神经网络多聚焦图像融合方法 | |
| CN112419191B (zh) | 基于卷积神经网络的图像运动模糊去除方法 | |
| CN112241939B (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN115331083B (zh) | 基于逐步密集特征融合去雨网络的图像去雨方法及系统 | |
| CN114723760B (zh) | 人像分割模型的训练方法、装置及人像分割方法、装置 | |
| CN115293968A (zh) | 一种超轻量高效的单图像超分辨率方法 | |
| CN116485646A (zh) | 一种基于微注意力的轻量化图像超分辨率重建方法及装置 | |
| CN116645598A (zh) | 一种基于通道注意力特征融合的遥感图像语义分割方法 | |
| CN111654621A (zh) | 一种基于卷积神经网络模型的双焦相机连续数字变焦方法 | |
| CN112418127B (zh) | 一种用于视频行人重识别的视频序列编码与解码方法 | |
| CN111861935B (zh) | 一种基于图像修复技术的去雨方法 | |
| CN113362239A (zh) | 一种基于特征交互的深度学习图像修复方法 | |
| CN111428753B (zh) | 一种训练集获取方法、电力设施检测方法及装置 | |
| CN111402140A (zh) | 单张图像超分辨率重建系统及方法 | |
| CN116468625A (zh) | 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统 | |
| CN116362995A (zh) | 一种基于标准先验的牙齿图像修复方法和系统 | |
| CN113554655B (zh) | 基于多特征增强的光学遥感图像分割方法及装置 | |
| CN112396598B (zh) | 一种基于单阶段多任务协同学习的人像抠图方法及系统 | |
| CN115187775A (zh) | 一种遥感图像语义分割方法及装置 | |
| CN110853040B (zh) | 一种基于超分辨率重建的图像协同分割方法 | |
| CN113240589A (zh) | 一种多尺度特征融合的图像去雾方法及系统 | |
| CN114881849A (zh) | 一种联合单目深度估计的深度图像超分辨率重建方法 | |
| CN111583130A (zh) | 一种用于lpr的恢复车牌图像的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |