CN114638768A - 一种基于动态关联学习网络的图像去雨方法、系统及设备 - Google Patents

一种基于动态关联学习网络的图像去雨方法、系统及设备 Download PDF

Info

Publication number
CN114638768A
CN114638768A CN202210541946.3A CN202210541946A CN114638768A CN 114638768 A CN114638768 A CN 114638768A CN 202210541946 A CN202210541946 A CN 202210541946A CN 114638768 A CN114638768 A CN 114638768A
Authority
CN
China
Prior art keywords
image
rain
fusion
rainwater
subspace
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210541946.3A
Other languages
English (en)
Other versions
CN114638768B (zh
Inventor
王中元
江奎
易鹏
邵振峰
马佳义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210541946.3A priority Critical patent/CN114638768B/zh
Publication of CN114638768A publication Critical patent/CN114638768A/zh
Application granted granted Critical
Publication of CN114638768B publication Critical patent/CN114638768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于动态关联学习网络的图像去雨方法、系统及设备，包括雨水条纹移除和背景纹理重建的联合表达和优化，动态关联学习，双路径特征选择融合表达。在雨水条纹移除和背景纹理重建的联合表达和优化过程中，利用两阶段网络实现雨水建模和背景纹理重建。在动态关联学习过程中，利用预测的雨水分布作为先验知识辅助精确的背景纹理表达。在双路径特征选择融合表达过程中，利用原始分辨率分支和编解码分支分别学习全局结构和纹理，同时利用选择融合模块进行尺度间特征融合，实现高精度雨水去除和背景纹理重建。本发明有效利用潜在的雨水分布作为先验特征，动态地学习雨水移除和背景纹理修复之间的关联性，实现更高质量的背景纹理修复。

Description

一种基于动态关联学习网络的图像去雨方法、系统及设备
技术领域
本发明属于人工智能技术领域，涉及一种图像去雨方法、系统及设备，具体涉及一种基于动态关联学习网络的图像去雨方法、系统及设备。
背景技术
雨天场景下图像质量会受到不同程度的干扰，包括图像内容遮挡，亮度变化，对比度失真等，极大影响图像内容的可读性和辨识度，给人们的日常生活以及下游高层次视觉任务带来了极大的障碍。因此，单张图像雨条纹移除是一项改善图像视觉体验的基本处理，也是许多计算机视觉任务（如分割、检测、跟踪、识别、分类等等）的重要预处理过程。
由于深度卷积神经网络（CNN）在图像处理领域取得了较好的成果，近年来，基于深度学习的图像去雨方法被相继提出并得到了迅速发展。2017年，Fu等最先构建一个三层的CNN来同时评估雨条纹和进行图像去雨。2018年，Zhang等通过考虑雨条纹的密度信息，提出了一个多任务的深度神经网络实现雨条纹密度的评估和移除。2019年，Yang等人提出了多阶段的循环神经网络，通过阶段性的去雨实现图像复原，降低了去雨难度。
现有基于深度学习的单张图像去雨模型利用卷积神经网络，直接建模雨水图像中的雨水分布，通过从原始输入中减去雨水分布，得到对应的去雨图像。这种方式虽然可以去除大部分的雨条纹，但依然存在明显的雨水残留；更重要地是，由于没有考虑雨水扰动对背景内容的影响，导致结果图像出现纹理缺失、亮度变化和对比度失真等缺陷，无法维护背景纹理内容的保真度。
发明内容
为了解决上述技术问题，本发明提供了一种基于动态关联学习网络的图像去雨方法、系统及设备。
本发明的方法所采用的技术方案是：一种基于动态关联学习网络的图像去雨方法，包括以下步骤：
步骤1：利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
步骤2：将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征，采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征；
步骤3：将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
步骤4：将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
步骤5：将步骤4中预测的子空间雨水分布图像和得到的子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
所述动态关联学习网络，将预测的子空间雨水分布图像
Figure 440441DEST_PATH_IMAGE001
和和子空间去雨图像
Figure 308647DEST_PATH_IMAGE002
，以及原始雨水图像I Rain 输入到所述动态关联学习网络中，强化特征表达；首先，利用两 个3×3卷积将
Figure 229329DEST_PATH_IMAGE001
和
Figure 155697DEST_PATH_IMAGE002
映射到特征空间，同时采用一个步长卷积对I Rain 进行采样，具体利 用算式：
Figure 422599DEST_PATH_IMAGE003
；
其中，W R,S 和W B,S 表示3×3卷积核参数，W Rain 表示步长卷积的参数，得到对应的初始 化特征表达
Figure 651586DEST_PATH_IMAGE004
，
Figure 184199DEST_PATH_IMAGE005
和
Figure 337094DEST_PATH_IMAGE006
；利用Softmax函数对雨水分布特征
Figure 412497DEST_PATH_IMAGE004
进行归一化，将全局 融合权重值映射到0-1之间，具体利用算式：
Figure 671440DEST_PATH_IMAGE007
；
其中，C(x)为归一化函数，
Figure 878300DEST_PATH_IMAGE008
表示全局融合权重矩阵；通过Softmax函 数，对学习得到的相关性矩阵进行归一化赋值，使得每一个像素的全局融合权重矩阵的值 都在0-1之间，即
Figure 21836DEST_PATH_IMAGE009
；
将获得的全局融合权重矩阵
Figure 810800DEST_PATH_IMAGE010
与
Figure 400832DEST_PATH_IMAGE006
进行矩阵乘法，提取背景图像 纹理特征，具体利用算式：
Figure 845719DEST_PATH_IMAGE011
；
随后，通过一个特征选择融合模块SFB，将提取的背景纹理信息f ti 和子空间去雨图 像的嵌入表达
Figure 652001DEST_PATH_IMAGE012
进行融合，得到增强后的背景纹理特征f fusion ；
步骤6：将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
步骤7：将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
本发明的系统所采用的技术方案是：一种基于动态关联学习网络的图像去雨系统，包括以下模块：
模块1，用于利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
模块2，用于将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征，采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征；
模块3，用于将模块2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
模块4，用于将模块3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从模块1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
模块5，用于将模块4中预测的子空间雨水分布图像和得到的子空间去雨图像，以及模块1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入雨水图像原始带雨图像中提取背景纹理信息，并与从子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
所述动态关联学习网络，将预测的子空间雨水分布图像
Figure 951265DEST_PATH_IMAGE001
和和子空间去雨图像
Figure 552010DEST_PATH_IMAGE002
，以及原始雨水图像I Rain 输入到所述动态关联学习网络中，强化特征表达；首先，利用两 个3×3卷积将
Figure 687456DEST_PATH_IMAGE001
和
Figure 297429DEST_PATH_IMAGE002
映射到特征空间，同时采用一个步长卷积对I Rain 进行采样，具体利 用算式：
Figure 749402DEST_PATH_IMAGE013
；
其中，W R,S 和W B,S 表示3×3卷积核参数，W Rain 表示步长卷积的参数，得到对应的初始 化特征表达
Figure 927573DEST_PATH_IMAGE004
，
Figure 143791DEST_PATH_IMAGE005
和
Figure 682088DEST_PATH_IMAGE006
；利用Softmax函数对雨水分布特征
Figure 565731DEST_PATH_IMAGE004
进行归一化，将全局 融合权重值映射到0-1之间，具体利用算式：
Figure 711541DEST_PATH_IMAGE007
；
其中，C(x)为归一化函数，
Figure 303803DEST_PATH_IMAGE008
表示全局融合权重矩阵；通过Softmax函 数，对学习得到的相关性矩阵进行归一化赋值，使得每一个像素的全局融合权重矩阵的值 都在0-1之间，即
Figure 255579DEST_PATH_IMAGE009
；
将获得的全局融合权重矩阵
Figure 869094DEST_PATH_IMAGE008
与
Figure 513702DEST_PATH_IMAGE006
进行矩阵乘法，提取背景图像 纹理特征，具体利用算式：
Figure 94725DEST_PATH_IMAGE014
；
随后，通过一个特征选择融合模块SFB，将提取的背景纹理信息f ti 和子空间去雨图 像的嵌入表达
Figure 522295DEST_PATH_IMAGE012
进行融合，得到增强后的背景纹理特征f fusion ；
模块6，用于将模块5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复模块2和模块3的操作，获得强化后的背景纹理全局融合特征；
模块7，用于将模块6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
本发明的设备所采用的技术方案是：一种基于动态关联学习网络的图像去雨设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于动态关联学习网络的图像去雨方法。
本发明公开了一种动态关联学习的图像去雨方法，包括雨水条纹移除和背景纹理重建的联合表达和优化，雨水条纹和背景纹理的动态关联学习，双路径特征选择融合表达。本发明通过联合雨水去除和背景纹理重建，利用预测的雨水分布作为辅助先验信息，提供图像降质区域的位置和强度，因而可以实现精度更高的背景纹理修复。
附图说明
图1本发明实施例的框架图。
图2本发明实施例构建的双路径特征融合网络结构图。
图3本发明实施例构建的关联学习模块结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于动态关联学习网络的图像去雨方法，包括以下步骤：
步骤1：利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
本实施例中，通过线性采样算子对带雨图像块进行多尺度采样，得到原始雨水图像的采样子图像，具体利用算式：
Figure 114950DEST_PATH_IMAGE015
；
其中，Linear(•)表示线性采样算子，I Rain 表示原始带雨图像，I Rain,S 表示用采样因子为n的线性采样算子获得的带雨采样子图像。
步骤2：将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征，采用双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征关联；
请见图2，本实施例的双路径特征选择融合网络，由原始分辨率分支、U-型编解码分支和特征选择融合模块SFB组成；
原始分辨率分支，包括若干残差通道注意力单元RCAB，通过残差级联的方式进行组合，用于分别渐进的提取空间结构特征；所述残差通道注意力单元RCAB包括两个3×3的卷积强化特征表达层，两个用于调整通道数的1×1的卷积层，全局池化层和Sigmoid函数层学习通道注意力权重，作用于强化特征实现雨条纹的精细化表达；
U-型编解码分支，由六个stage模块组成，前三个stage模块用于编码，后三个stage模块用于解码；六个stage模块，均由采样层、残差通道注意单元RCAB和选择融合模块SFB组成；
特征选择融合模块SFB，包括深度分离卷积和注意力层，注意力层包括两个用于调整通道数的1×1的卷积层，全局池化层和Sigmoid函数层学习通道注意力权重。
本实施例中，首先利用1个1×1卷积将输入带雨子图像从图像空间映射到特征空间，得到对应的初始特征f R,S ，随后采用一个原始分辨率分支从f R,S 中提取空间结构特征和一个编解码分支提取上下文尺度特征，具体利用算式：
Figure 556558DEST_PATH_IMAGE016
；
其中，
Figure 234664DEST_PATH_IMAGE017
分别表示利用原始分辨率分支网络
Figure 669188DEST_PATH_IMAGE018
和编解码分支网络
Figure 303300DEST_PATH_IMAGE019
从原始输入特征中提取的空间和上下文尺度特征，具体的网络结构可参考附图2。
请见图2，本实施例构建的双路径特征选择融合网络，主要作用包含三部分，原始分辨率分支实现空间结构表达，编解码分支实现上下文尺度特征学习和特征的选择融合；第一部分是将初始化特征输入到原始分辨率分支中，其中有多个（5个）残差通道注意力单元(RCAB(residual channel attention block))分别渐进的提取空间结构特征，具体来讲，一个基础的残差通道注意力模块包括两个3×3的卷积强化特征表达，另外应用两个1×1的卷积来调整通道数，并通过全局池化层和Sigmoid函数学习通道注意力权重，作用于强化特征实现雨条纹的精细化表达。第二部分利用U-型的编解码结构学习上下文尺度纹理特征关联。编解码结构总共包含六个阶段，前三个阶段构成编码器，剩下的三个阶段表示解码器部分。每个阶段采用类似的架构，包括采样层、残差通道注意单元和选择融合模块(SFB(selective fusion block))。不同于其他方法使用步长或转置卷积来重新缩放特征的空间分辨率，本方法采用双线性插值采样，然后应用1×1卷积层来减少棋盘效应和模型参数，上述具体的计算和操作过程可参考步骤3和4。第三部分主要是包括对全局结构特征和上下文尺度特征的选择融合；为了强化输入信息的空间维度融合，引入深度分离卷积强化对局部纹理的特征表达，同时引入通道注意力单元自适应地实现通道间特征融合，实现对输入特征空间、通道渐进融合表达，并输出增强后的纹理特征；
步骤3：将步骤2中得到的全局空间结构特征和多尺度上下文特征输入特征选择融合网络，获得强化后的雨水全局融合特征；
本实施例的特征选择融合模块SFB，首先将两个特征通过级联融合，然后利用深度可分离卷积强化对空间局部特征纹理的学习，最后利用一个注意力单元进一步学习不同通道间的特征关联，强化特征融合。
本实施例，首先将两个特征通过级联融合，利用深度可分离卷积
Figure 24132DEST_PATH_IMAGE020
强化对空间 局部特征纹理的学习，得到强化后的特征表达
Figure 330479DEST_PATH_IMAGE021
，具体利用算式：
Figure 162169DEST_PATH_IMAGE022
；
其中，
Figure 612305DEST_PATH_IMAGE023
分别表示原始分支和编解码分支的雨水输出特征。随后，利用一 个通道注意力单元进一步学习不同通道间的特征关联，进一步强化特征融合。首先，利用两 个1×1卷积进行特征的映射嵌入表达，具体利用算式：
Figure 504038DEST_PATH_IMAGE024
；
其中，
Figure 94419DEST_PATH_IMAGE025
和
Figure 120013DEST_PATH_IMAGE026
表示1×1卷积核参数；
Figure 541767DEST_PATH_IMAGE027
；其中，
Figure 479767DEST_PATH_IMAGE028
分别表示原始分支和编解码分支的雨水输出特征，将两个特征通过级联融合， 利用深度可分离卷积
Figure 619762DEST_PATH_IMAGE029
强化对空间局部特征纹理的学习，得到强化后的特征表达
Figure 950511DEST_PATH_IMAGE030
；
接着，利用Sigmoid函数对嵌入特征进行归一化，得到对应通道的全局描述子，将全局描述子映射到0-1之间，得到对应的通道融合权重，具体利用算式：
Figure 164455DEST_PATH_IMAGE031
；
其中，x为嵌入特征，等同于
Figure 663569DEST_PATH_IMAGE032
，
Figure 415493DEST_PATH_IMAGE033
表示通道融合权重；通过sigmoid函数，对学习得到的通道融合权重进行放缩，使得每一个通道的融合权重值的值都 在0-1之间，即
Figure 392677DEST_PATH_IMAGE034
；
最后，将学习的融合权重作用于
Figure 664389DEST_PATH_IMAGE030
特征，通过权重融合得到新的特征，并与原 始的
Figure 334405DEST_PATH_IMAGE035
特征进行融合，获得强化后的特征表达z R ，具体利用算式：
Figure 868898DEST_PATH_IMAGE036
。
步骤4：将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
本实施例中，利用3×3卷积将增强后特征z R 映射回图像空间，得到子空间雨水分 布图象
Figure 525138DEST_PATH_IMAGE037
，同时从原始雨水图像的采样子图像
Figure 41570DEST_PATH_IMAGE038
中减去
Figure 741542DEST_PATH_IMAGE037
，得到对应的子空间去雨 图像
Figure 343425DEST_PATH_IMAGE039
，具体利用算式：
Figure 803356DEST_PATH_IMAGE040
。
步骤5：将步骤4中预测的子空间雨水分布图像和得到的子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
请见图3，本实施例构建的动态关联学习网络，主要作用包含三部分，特征初始化， 降质掩膜生成，背景纹理信息提取和融合；第一部分是利用3×3卷积对
Figure 597131DEST_PATH_IMAGE041
和
Figure 608949DEST_PATH_IMAGE002
进行特征 嵌入表达，得到初始化特征，同时采用3×3步长为2卷积对原始雨水图像进行特征提取和空 间采样。第二部分，通过Softmax归一化函数对雨水分布特征进行归一化处理，从
Figure 307915DEST_PATH_IMAGE041
中学 习全局的雨水分布掩膜。具体来讲，它由一个初始卷积层和一个瓶颈单元组成，用于将预测 的雨水分布映射得到掩膜矩阵。紧跟着一个Softmax算子，将掩膜矩阵归一化到[0，1.0]之 间，便可以得到雨水图像的降质分布权重掩膜图，表示为输入雨水图像中的降质位置和强 度。第三部分，利用第二部分的雨水先验知识（包括雨条纹的位置和密度），通过像素点乘的 方法可以从原始雨水图像I Rain 的嵌入表示中提取无雨区域的纹理信息f ti ，并通过一个选择 融合模块和子空间背景纹理的初始化特征
Figure 430592DEST_PATH_IMAGE005
进行融合，实现高精度的背景纹理重建过 程。
本实施例的动态关联学习网络，将预测的子空间雨水分布图像
Figure 780670DEST_PATH_IMAGE041
和和子空间去 雨图像
Figure 635494DEST_PATH_IMAGE002
，以及原始雨水图像I Rain 输入到动态关联学习网络中，强化特征表达；首先，利用 两个3×3卷积将
Figure 211969DEST_PATH_IMAGE041
和
Figure 501786DEST_PATH_IMAGE002
映射到特征空间，同时采用一个步长卷积对I Rain 进行采样，具体 利用算式：
Figure 581737DEST_PATH_IMAGE013
；
其中，W R,S 和W B,S 表示3×3卷积核参数，W Rain 表示步长卷积的参数，得到对应的初始 化特征表达
Figure 76303DEST_PATH_IMAGE004
，
Figure 795867DEST_PATH_IMAGE005
和
Figure 525925DEST_PATH_IMAGE006
；利用Softmax函数对雨水分布特征
Figure 70170DEST_PATH_IMAGE004
进行归一化，将全局 融合权重值映射到0-1之间，具体利用算式：
Figure 283108DEST_PATH_IMAGE007
；
其中，C(x)为归一化函数，
Figure 568596DEST_PATH_IMAGE042
表示全局融合权重矩阵；通过Softmax函 数，对学习得到的相关性矩阵进行归一化赋值，使得每一个像素的全局融合权重矩阵的值 都在0-1之间，即
Figure 712132DEST_PATH_IMAGE043
；
将获得的全局融合权重矩阵
Figure 501097DEST_PATH_IMAGE042
与
Figure 383471DEST_PATH_IMAGE006
进行矩阵乘法，提取背景图像 纹理特征，具体利用算式：
Figure 766042DEST_PATH_IMAGE014
；
随后，通过一个特征选择融合模块SFB，将提取的背景纹理信息f ti 和子空间去雨图 像的嵌入表达
Figure 572324DEST_PATH_IMAGE012
进行融合，具体细节等同于步骤4，得到增强后的背景纹理特征f fusion ；
步骤6：将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
本实施例中，第二阶段将获得的增强后的背景纹理特征f fusion 输入到一个双路径选择融合网络，获得强化后的背景纹理全局融合特征。首先。采用一个原始分辨率分支从f fusion 中提取空间结构特征和一个编解码分支提取上下文尺度特征，具体利用算式：
Figure 166860DEST_PATH_IMAGE044
；
其中，
Figure 908551DEST_PATH_IMAGE045
和
Figure 903052DEST_PATH_IMAGE046
分别表示利用原始分辨率分支网络
Figure 637658DEST_PATH_IMAGE047
和编解码分支网络
Figure 338898DEST_PATH_IMAGE048
从增强后的背景纹理特征中提取的空间和上下文尺度特征，具体的网络结构可参考 附图2。
将
Figure 110545DEST_PATH_IMAGE045
和
Figure 484020DEST_PATH_IMAGE046
两个特征通过级联融合，利用深度可分离卷积强化对空间局部特 征纹理的学习，具体利用算式：
Figure 897684DEST_PATH_IMAGE049
；
随后，利用一个通道注意力单元进一步学习不同通道间的特征关联，强化特征融合。首先，利用两个1×1卷积进行特征的映射嵌入表达，具体利用算式：
Figure 453430DEST_PATH_IMAGE050
；
其中，
Figure 51770DEST_PATH_IMAGE025
和
Figure 755284DEST_PATH_IMAGE051
表示1×1卷积核参数。
随后，利用Sigmoid函数对嵌入特征进行归一化，得到对应通道的全局描述子，将全局描述子映射到0-1之间，得到对应的通道融合权重，具体利用算式：
Figure 582426DEST_PATH_IMAGE052
；
其中，x为嵌入特征，等同于
Figure 586154DEST_PATH_IMAGE032
，
Figure 402667DEST_PATH_IMAGE053
表示通道融合权重；通过sigmoid函数，对学习得到的通道融合权重进行放缩，使得每一个通道的融合权重值的值都 在0-1之间，即
Figure 734423DEST_PATH_IMAGE054
；
最后，将学习的融合权重作用于
Figure 224310DEST_PATH_IMAGE055
特征，通过权重引导特征融合得到新的特 征，并与原始的
Figure 207178DEST_PATH_IMAGE056
特征进行融合，获得强化后的特征表达z R ，具体利用算式：
Figure 694791DEST_PATH_IMAGE036
。
步骤7：将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
本实施例中，利用3×3的亚像素卷积将增强后特征z B 映射回图像空间，并放缩到 原始分辨率，加上子空间去雨图像的上采样版本
Figure 638477DEST_PATH_IMAGE057
，得到最终干净的无雨图像
Figure 558153DEST_PATH_IMAGE058
，具体 利用算式：
Figure 5315DEST_PATH_IMAGE059
。
本实施例采用的动态关联学习网络，是训练好的动态关联学习网络；具体训练过程包括以下步骤：
（1）收集构建成对的雨水图像数据集，包括训练数据和测试数据；选取部分雨水图像数据Y，裁剪得到N×N大小的图像块，作为训练样本；其中，N为预设值；
（2）利用双线性采样对训练样本进行下采样，获得原始带雨图像的对应带雨采样子图像；将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征，采用双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征；
（3）将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
（4）将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
（5）将步骤4中预测的子空间雨水分布图像和得到的子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
（6）将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
（7）将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像；
（8）通过最小化步骤7中输出的无雨图像和原始干净图像，以及步骤4中输出的子空间无雨图像和原始干净子空间图像的余弦距离，优化提出的动态关联学习网络，获得训练好的动态关联学习网络；
本实施例中，使用基于Charbonnier损失函数来约束第一阶段网络生成的子空间无雨图像尽可能逼近干净的下采样图像，同时也约束第二阶段重建的原始分辨率无雨图像和原始干净图像保持一致的统计分布，实现动态关联学习的单张图像雨去除方法的优化；Charbonnier损失函数作为L1范数的一个变体，通过加入了补偿项使训练过程更加稳定，同时避免生成的结果过于平滑；
Figure 867092DEST_PATH_IMAGE060
；
其中，
Figure 219445DEST_PATH_IMAGE061
和θ分别表示优化目标方程和参数，x表示生成的无雨图像与干净的样本 图像的残差，y表示生成子空间的无雨图像与干净的图像的残差，其中补偿因子
Figure 316714DEST_PATH_IMAGE062
。
与早期基于深度学习和加性模型的去雨方法相比，该方法重新将图像去雨任务定义为雨水移除和背景纹理修复的组合问题，提出两者的联合表达和优化；同时利用预测雨水分布作为先验知识，提出雨水移除和背景纹理修复的关联学习机制，实现两者的动态联合表达，以取得高精度和高质量的背景修复效果。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于动态关联学习网络的图像去雨方法，其特征在于，包括以下步骤：
步骤1：利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
步骤2：将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征，采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征；
步骤3：将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
步骤4：将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
步骤5：将步骤4中预测的子空间雨水分布图像和得到的子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
所述动态关联学习网络，将预测的子空间雨水分布图像
Figure 638615DEST_PATH_IMAGE001
和和子空间去雨图像
Figure 671293DEST_PATH_IMAGE002
， 以及原始雨水图像I Rain 输入到所述动态关联学习网络中，强化特征表达；首先，利用两个3 ×3卷积将
Figure 510942DEST_PATH_IMAGE001
和
Figure 146323DEST_PATH_IMAGE002
映射到特征空间，同时采用一个步长卷积对I Rain 进行采样，得到对应的 初始化特征表达
Figure 443443DEST_PATH_IMAGE003
，
Figure 771656DEST_PATH_IMAGE004
和
Figure 334487DEST_PATH_IMAGE005
；利用Softmax函数对雨水分布特征
Figure 914504DEST_PATH_IMAGE003
进行归一化，使 得每一个像素的全局融合权重矩阵的值都在0-1之间，即
Figure 190765DEST_PATH_IMAGE006
；将获得的全局融 合权重矩阵
Figure 814513DEST_PATH_IMAGE006
与
Figure 441803DEST_PATH_IMAGE005
进行矩阵乘法，提取背景图像纹理特征f ti ；随后，通过 一个特征选择融合模块SFB，将提取的背景纹理信息f ti 和子空间去雨图像的嵌入表达
Figure 294353DEST_PATH_IMAGE004
进行融合，得到增强后的背景纹理特征f fusion ；
步骤6：将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
步骤7：将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
2.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤1中，通过线性采样算子对原始带雨图像进行多尺度采样，得到原始雨水图像的采样子图像，具体利用算式：
Figure 376185DEST_PATH_IMAGE007
；
其中，Linear(•)表示线性采样算子，I Rain 表示原始带雨图像，I Rain,S 表示用采样因子为n的线性采样算子获得的带雨采样子图像。
3.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤2中，所述双路径特征选择融合网络，由原始分辨率分支、U-型编解码分支和特征选择融合模块SFB组成；
所述原始分辨率分支，包括若干残差通道注意力单元RCAB，通过残差级联的方式进行组合，用于分别渐进的提取空间结构特征；所述残差通道注意力单元RCAB包括两个3×3的卷积强化特征表达层，两个用于调整通道数的1×1的卷积层，全局池化层和Sigmoid函数层学习通道注意力权重，作用于强化特征实现雨条纹的精细化表达；
所述U-型编解码分支，由六个stage模块组成，前三个stage模块用于编码，后三个stage模块用于解码；六个所述stage模块，均由采样层、残差通道注意单元RCAB和特征选择融合模块SFB组成；
所述特征选择融合模块SFB，包括深度分离卷积和注意力层，注意力层包括两个用于调整通道数的1×1的卷积层，全局池化层和Sigmoid函数层学习通道注意力权重。
4.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤3中，所述特征选择融合模块SFB，首先将两个特征通过级联融合，然后利用深度可分离卷积强化对空间局部特征纹理的学习，最后利用一个注意力单元进一步学习不同通道间的特征关联，强化特征融合。
5.根据权利要求4所述的基于动态关联学习网络的图像去雨方法，其特征在于：所述利用一个注意力单元进一步学习不同通道间的特征关联，具体实现过程是：
首先，利用两个1×1卷积进行特征的映射嵌入表达，具体利用算式：
Figure 46201DEST_PATH_IMAGE008
；
其中，
Figure 770574DEST_PATH_IMAGE009
和
Figure 551448DEST_PATH_IMAGE010
表示1×1卷积核参数；
Figure 192514DEST_PATH_IMAGE011
；其中，
Figure 705535DEST_PATH_IMAGE012
分别表示原始分支和编解码分支的雨水输出特征，将两个特征通过级联融合，利用深度可 分离卷积
Figure 41838DEST_PATH_IMAGE013
强化对空间局部特征纹理的学习，得到强化后的特征表达
Figure 252502DEST_PATH_IMAGE014
；
随后，利用Sigmoid函数对嵌入特征进行归一化，得到对应通道的全局描述子，将全局描述子映射到0-1之间，得到对应的通道融合权重，具体利用算式：
Figure 623441DEST_PATH_IMAGE015
；
其中，x为嵌入特征，等同于
Figure 307363DEST_PATH_IMAGE016
，
Figure 255596DEST_PATH_IMAGE017
表示通道融合权重；通过sigmoid 函数，对学习得到的通道融合权重进行放缩，使得每一个通道的融合权重值的值都在0-1之 间，即
Figure 378273DEST_PATH_IMAGE018
；
最后，将学习的融合权重作用于
Figure 479084DEST_PATH_IMAGE014
特征，通过权重融合得到新的特征，并与原始的
Figure 99289DEST_PATH_IMAGE014
特征进行融合，获得强化后的特征表达z R ，具体利用算式：
Figure 410184DEST_PATH_IMAGE019
。
6.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤4 中，所述雨水分布重建层网络，利用3×3卷积将增强后的雨水全局融合特征z R 映射回图像 空间，得到子空间雨水分布图像
Figure 8656DEST_PATH_IMAGE020
。
7.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤7 中，所述背景纹理重建层，利用3×3的亚像素卷积将增强后特征z B 映射回图像空间，并放缩 到原始分辨率，加上子空间去雨图像的上采样版本
Figure 213241DEST_PATH_IMAGE021
，得到最终干净的无雨图像
Figure 238966DEST_PATH_IMAGE022
。
8.根据权利要求1-7任意一项所述的基于动态关联学习网络的图像去雨方法，其特征在于：所述动态关联学习网络，是训练好的动态关联学习网络；具体训练过程包括以下步骤：
（1）收集构建成对的雨水图像数据集，包括训练数据和测试数据；选取部分雨水图像数据Y，裁剪得到N×N大小的图像块，作为训练样本；其中，N为预设值；
（2）利用双线性采样对训练样本进行下采样，获得原始带雨图像的对应带雨采样子图像；将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征，采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征；
（3）将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
（4）将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
（5）将步骤4中预测的子空间雨水分布图像和得到的子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
（6）将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
（7）将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像；
（8）通过最小化步骤7中输出的无雨图像和原始干净图像，以及步骤4中输出的子空间无雨图像和原始干净子空间图像的余弦距离，优化提出的动态关联学习网络，获得训练好的动态关联学习网络；
其中，使用基于Charbonnier损失函数来约束子空间无雨图像尽可能逼近干净的下采样图像，同时也约束重建的原始分辨率无雨图像和原始干净样本图像保持一致的统计分布，实现动态关联学习的单张图像雨去除方法的优化；
Figure 37158DEST_PATH_IMAGE023
；
其中，
Figure 862156DEST_PATH_IMAGE024
和θ分别表示优化目标方程和参数，x表示生成的无雨图像与干净的样本图 像的残差，y表示生成子空间的无雨图像与干净的图像的残差，其中补偿因子
Figure 62194DEST_PATH_IMAGE025
。
9.一种基于动态关联学习网络的图像去雨系统，其特征在于，包括以下模块：
模块1，用于利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
模块2，用于将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征，采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征；
模块3，用于将模块2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
模块4，用于将模块3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从模块1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
模块5，用于将模块4中预测的子空间雨水分布图像和得到的子空间去雨图像，以及模块1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
所述动态关联学习网络，将预测的子空间雨水分布图像
Figure 524399DEST_PATH_IMAGE001
和和子空间去雨图像
Figure 403362DEST_PATH_IMAGE002
， 以及原始雨水图像I Rain 输入到所述动态关联学习网络中，强化特征表达；首先，利用两个3 ×3卷积将
Figure 937112DEST_PATH_IMAGE001
和
Figure 663759DEST_PATH_IMAGE002
映射到特征空间，同时采用一个步长卷积对I Rain 进行采样，得到对应的 初始化特征表达
Figure 982352DEST_PATH_IMAGE003
，
Figure 489556DEST_PATH_IMAGE004
和
Figure 436784DEST_PATH_IMAGE005
；利用Softmax函数对雨水分布特征
Figure 345834DEST_PATH_IMAGE003
进行归一化，使 得每一个像素的全局融合权重矩阵的值都在0-1之间，即
Figure 602372DEST_PATH_IMAGE006
；将获得的全局融 合权重矩阵
Figure 268977DEST_PATH_IMAGE006
与
Figure 144529DEST_PATH_IMAGE005
进行矩阵乘法，提取背景图像纹理特征f ti ；随后，通过 一个特征选择融合模块SFB，将提取的背景纹理信息f ti 和子空间去雨图像的嵌入表达
Figure 534184DEST_PATH_IMAGE004
进行融合，得到增强后的背景纹理特征f fusion ；
模块6，用于将模块5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复模块2和模块3的操作，获得强化后的背景纹理全局融合特征；
模块7，用于将模块6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
10.一种基于动态关联学习网络的图像去雨设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的基于动态关联学习网络的图像去雨方法。
CN202210541946.3A 2022-05-19 2022-05-19 一种基于动态关联学习网络的图像去雨方法、系统及设备 Active CN114638768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210541946.3A CN114638768B (zh) 2022-05-19 2022-05-19 一种基于动态关联学习网络的图像去雨方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210541946.3A CN114638768B (zh) 2022-05-19 2022-05-19 一种基于动态关联学习网络的图像去雨方法、系统及设备

Publications (2)

Publication Number Publication Date
CN114638768A true CN114638768A (zh) 2022-06-17
CN114638768B CN114638768B (zh) 2022-08-09

Family

ID=81953289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210541946.3A Active CN114638768B (zh) 2022-05-19 2022-05-19 一种基于动态关联学习网络的图像去雨方法、系统及设备

Country Status (1)

Country Link
CN (1) CN114638768B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485689A (zh) * 2023-06-25 2023-07-25 武汉大水云科技有限公司 基于CNN和Transformer的渐进式耦合图像去雨方法和系统
CN116523740A (zh) * 2023-03-13 2023-08-01 武汉大学 一种基于光场的红外图像超分辨率方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133935A (zh) * 2017-05-25 2017-09-05 华南农业大学 一种基于深度卷积神经网络的单图像精细去雨方法
AU2020100196A4 (en) * 2020-02-08 2020-03-19 Juwei Guan A method of removing rain from single image based on detail supplement
CN111340738A (zh) * 2020-03-24 2020-06-26 武汉大学 一种基于多尺度渐进融合的图像去雨方法
CN113450288A (zh) * 2021-08-04 2021-09-28 广东工业大学 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN113673590A (zh) * 2021-08-13 2021-11-19 广东工业大学 基于多尺度沙漏密集连接网络的去雨方法、系统和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133935A (zh) * 2017-05-25 2017-09-05 华南农业大学 一种基于深度卷积神经网络的单图像精细去雨方法
AU2020100196A4 (en) * 2020-02-08 2020-03-19 Juwei Guan A method of removing rain from single image based on detail supplement
CN111340738A (zh) * 2020-03-24 2020-06-26 武汉大学 一种基于多尺度渐进融合的图像去雨方法
CN113450288A (zh) * 2021-08-04 2021-09-28 广东工业大学 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN113673590A (zh) * 2021-08-13 2021-11-19 广东工业大学 基于多尺度沙漏密集连接网络的去雨方法、系统和介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523740A (zh) * 2023-03-13 2023-08-01 武汉大学 一种基于光场的红外图像超分辨率方法
CN116523740B (zh) * 2023-03-13 2023-09-15 武汉大学 一种基于光场的红外图像超分辨率方法
CN116485689A (zh) * 2023-06-25 2023-07-25 武汉大水云科技有限公司 基于CNN和Transformer的渐进式耦合图像去雨方法和系统
CN116485689B (zh) * 2023-06-25 2023-11-14 武汉大水云科技有限公司 基于CNN和Transformer的渐进式耦合图像去雨方法和系统

Also Published As

Publication number Publication date
CN114638768B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN114638768B (zh) 一种基于动态关联学习网络的图像去雨方法、系统及设备
CN112365422B (zh) 基于深层聚合网络的不规则缺失图像修复方法及其系统
CN114048822A (zh) 一种图像的注意力机制特征融合分割方法
CN113066025B (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN112258436A (zh) 图像处理模型的训练方法、装置、图像处理方法及模型
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、系统及设备
CN116311254B (zh) 一种恶劣天气情况下的图像目标检测方法、系统及设备
CN114004766A (zh) 一种水下图像增强方法、系统和设备
CN114022372A (zh) 一种引入语义损失上下文编码器的掩膜图像修补方法
CN115631107A (zh) 边缘引导的单幅图像噪声去除
CN116205962A (zh) 基于完整上下文信息的单目深度估计方法及系统
CN115731597A (zh) 一种人脸口罩掩膜图像自动分割与修复管理平台及方法
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
CN114998373A (zh) 基于多尺度损失函数的改进型U-Net云图分割方法
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
CN116343052B (zh) 一种基于注意力和多尺度的双时相遥感图像变化检测网络
CN116523985B (zh) 一种结构和纹理特征引导的双编码器图像修复方法
CN116957921A (zh) 图像渲染方法、装置、设备及存储介质
CN116433516A (zh) 一种基于注意力机制的低照度图像去噪增强方法
CN115115860A (zh) 一种基于深度学习的图像特征点检测匹配网络
CN115018726A (zh) 一种基于U-Net的图像非均匀模糊核的估计方法
CN117036893B (zh) 一种基于局部跨阶段和快速下采样的图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant