CN114638768B - 一种基于动态关联学习网络的图像去雨方法、系统及设备 - Google Patents

一种基于动态关联学习网络的图像去雨方法、系统及设备 Download PDF

Info

Publication number
CN114638768B
CN114638768B CN202210541946.3A CN202210541946A CN114638768B CN 114638768 B CN114638768 B CN 114638768B CN 202210541946 A CN202210541946 A CN 202210541946A CN 114638768 B CN114638768 B CN 114638768B
Authority
CN
China
Prior art keywords
image
rain
rainwater
fusion
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210541946.3A
Other languages
English (en)
Other versions
CN114638768A (zh
Inventor
王中元
江奎
易鹏
邵振峰
马佳义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210541946.3A priority Critical patent/CN114638768B/zh
Publication of CN114638768A publication Critical patent/CN114638768A/zh
Application granted granted Critical
Publication of CN114638768B publication Critical patent/CN114638768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于动态关联学习网络的图像去雨方法、系统及设备，包括雨水条纹移除和背景纹理重建的联合表达和优化，动态关联学习，双路径特征选择融合表达。在雨水条纹移除和背景纹理重建的联合表达和优化过程中，利用两阶段网络实现雨水建模和背景纹理重建。在动态关联学习过程中，利用预测的雨水分布作为先验知识辅助精确的背景纹理表达。在双路径特征选择融合表达过程中，利用原始分辨率分支和编解码分支分别学习全局结构和纹理，同时利用选择融合模块进行尺度间特征融合，实现高精度雨水去除和背景纹理重建。本发明有效利用潜在的雨水分布作为先验特征，动态地学习雨水移除和背景纹理修复之间的关联性，实现更高质量的背景纹理修复。

Description

一种基于动态关联学习网络的图像去雨方法、系统及设备
技术领域
本发明属于人工智能技术领域，涉及一种图像去雨方法、系统及设备，具体涉及一种基于动态关联学习网络的图像去雨方法、系统及设备。
背景技术
雨天场景下图像质量会受到不同程度的干扰，包括图像内容遮挡，亮度变化，对比度失真等，极大影响图像内容的可读性和辨识度，给人们的日常生活以及下游高层次视觉任务带来了极大的障碍。因此，单张图像雨条纹移除是一项改善图像视觉体验的基本处理，也是许多计算机视觉任务（如分割、检测、跟踪、识别、分类等等）的重要预处理过程。
由于深度卷积神经网络（CNN）在图像处理领域取得了较好的成果，近年来，基于深度学习的图像去雨方法被相继提出并得到了迅速发展。2017年，Fu等最先构建一个三层的CNN来同时评估雨条纹和进行图像去雨。2018年，Zhang等通过考虑雨条纹的密度信息，提出了一个多任务的深度神经网络实现雨条纹密度的评估和移除。2019年，Yang等人提出了多阶段的循环神经网络，通过阶段性的去雨实现图像复原，降低了去雨难度。
现有基于深度学习的单张图像去雨模型利用卷积神经网络，直接建模雨水图像中的雨水分布，通过从原始输入中减去雨水分布，得到对应的去雨图像。这种方式虽然可以去除大部分的雨条纹，但依然存在明显的雨水残留；更重要地是，由于没有考虑雨水扰动对背景内容的影响，导致结果图像出现纹理缺失、亮度变化和对比度失真等缺陷，无法维护背景纹理内容的保真度。
发明内容
为了解决上述技术问题，本发明提供了一种基于动态关联学习网络的图像去雨方法、系统及设备。
本发明的方法所采用的技术方案是：一种基于动态关联学习网络的图像去雨方法，包括以下步骤：
步骤1：利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
步骤2：将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征；
步骤3：将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
步骤4：将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
步骤5：将步骤4中预测的子空间雨水分布图像和得到的采样子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
所述动态关联学习网络，将预测的子空间雨水分布图像
Figure 780604DEST_PATH_IMAGE001
和采样子空间去雨图 像
Figure 467937DEST_PATH_IMAGE002
，以及原始带雨图像I Rain 输入到所述动态关联学习网络中，强化特征表达；首先，利用 两个3×3卷积将
Figure 45418DEST_PATH_IMAGE001
和
Figure 185412DEST_PATH_IMAGE002
映射到特征空间，同时采用一个步长卷积对I Rain 进行采样，具体 利用算式：
Figure 624484DEST_PATH_IMAGE003
；
其中，W R,S 和W B,S 表示3×3卷积核参数，W Rain 表示步长卷积的参数，得到对应的初始 化特征表达
Figure 431903DEST_PATH_IMAGE004
，
Figure 681750DEST_PATH_IMAGE005
和
Figure 309040DEST_PATH_IMAGE006
；利用Softmax函数对雨水分布特征
Figure 551803DEST_PATH_IMAGE004
进行归一化，将全局 融合权重值映射到0-1之间，具体利用算式：
Figure 416991DEST_PATH_IMAGE007
；
其中，C(x)为归一化函数，
Figure 87006DEST_PATH_IMAGE008
表示全局融合权重矩阵；通过Softmax函 数，对学习得到的相关性矩阵进行归一化赋值，使得每一个像素的全局融合权重矩阵的值 都在0-1之间，即
Figure 185281DEST_PATH_IMAGE009
；
将获得的全局融合权重矩阵
Figure 231735DEST_PATH_IMAGE008
与
Figure 13746DEST_PATH_IMAGE006
进行矩阵乘法，提取背景图像 纹理特征，具体利用算式：
Figure 854663DEST_PATH_IMAGE010
；
随后，通过一个特征选择融合模块SFB，将提取的背景纹理信息f ti 和采样子空间去 雨图像的嵌入表达
Figure 941699DEST_PATH_IMAGE005
进行融合，得到增强后的背景纹理特征f fusion ；
步骤6：将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
步骤7：将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
本发明的系统所采用的技术方案是：一种基于动态关联学习网络的图像去雨系统，包括以下模块：
模块1，用于利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
模块2，用于将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征；
模块3，用于将模块2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
模块4，用于将模块3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从模块1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
模块5，用于将模块4中预测的子空间雨水分布图像和得到的采样子空间去雨图像，以及模块1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入雨水图像原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
所述动态关联学习网络，将预测的子空间雨水分布图像
Figure 729526DEST_PATH_IMAGE001
和采样子空间去雨图 像
Figure 100465DEST_PATH_IMAGE011
，以及原始带雨图像I Rain 输入到所述动态关联学习网络中，强化特征表达；首先，利用 两个3×3卷积将
Figure 112283DEST_PATH_IMAGE001
和
Figure 201462DEST_PATH_IMAGE011
映射到特征空间，同时采用一个步长卷积对I Rain 进行采样，具体 利用算式：
Figure 596844DEST_PATH_IMAGE012
；
其中，W R,S 和W B,S 表示3×3卷积核参数，W Rain 表示步长卷积的参数，得到对应的初始 化特征表达
Figure 353447DEST_PATH_IMAGE004
，
Figure 536167DEST_PATH_IMAGE005
和
Figure 847062DEST_PATH_IMAGE006
；利用Softmax函数对雨水分布特征
Figure 976692DEST_PATH_IMAGE004
进行归一化，将全局 融合权重值映射到0-1之间，具体利用算式：
Figure 72956DEST_PATH_IMAGE013
；
其中，C(x)为归一化函数，
Figure 426576DEST_PATH_IMAGE014
表示全局融合权重矩阵；通过Softmax函 数，对学习得到的相关性矩阵进行归一化赋值，使得每一个像素的全局融合权重矩阵的值 都在0-1之间，即
Figure 224768DEST_PATH_IMAGE015
；
将获得的全局融合权重矩阵
Figure 954827DEST_PATH_IMAGE014
与
Figure 669711DEST_PATH_IMAGE006
进行矩阵乘法，提取背景图像 纹理特征，具体利用算式：
Figure 194233DEST_PATH_IMAGE016
；
随后，通过一个特征选择融合模块SFB，将提取的背景纹理信息f ti 和子空间去雨图 像的嵌入表达
Figure 479721DEST_PATH_IMAGE017
进行融合，得到增强后的背景纹理特征f fusion ；
模块6，用于将模块5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复模块2和模块3的操作，获得强化后的背景纹理全局融合特征；
模块7，用于将模块6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
本发明的设备所采用的技术方案是：一种基于动态关联学习网络的图像去雨设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于动态关联学习网络的图像去雨方法。
本发明公开了一种动态关联学习的图像去雨方法，包括雨水条纹移除和背景纹理重建的联合表达和优化，雨水条纹和背景纹理的动态关联学习，双路径特征选择融合表达。本发明通过联合雨水去除和背景纹理重建，利用预测的雨水分布作为辅助先验信息，提供图像降质区域的位置和强度，因而可以实现精度更高的背景纹理修复。
附图说明
图1本发明实施例的框架图。
图2本发明实施例构建的双路径特征融合网络结构图。
图3本发明实施例构建的关联学习模块结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于动态关联学习网络的图像去雨方法，包括以下步骤：
步骤1：利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
本实施例中，通过线性采样算子对带雨图像块进行多尺度采样，得到原始带雨图像的采样子图像，具体利用算式：
Figure 13470DEST_PATH_IMAGE018
；
其中，Linear(•)表示线性采样算子，I Rain 表示原始带雨图像，I Rain,S 表示用采样因子为n的线性采样算子获得的带雨采样子图像。
步骤2：将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征关联；
请见图2，本实施例的双路径特征选择融合网络，由原始分辨率分支、U-型编解码分支和特征选择融合模块SFB组成；
原始分辨率分支，包括若干残差通道注意力单元RCAB，通过残差级联的方式进行组合，用于分别渐进的提取全局空间结构特征；所述残差通道注意力单元RCAB包括两个3×3的卷积强化特征表达层，两个用于调整通道数的1×1的卷积层，全局池化层和Sigmoid函数层学习通道注意力权重，作用于强化特征实现雨条纹的精细化表达；
U-型编解码分支，由六个stage模块组成，前三个stage模块用于编码，后三个stage模块用于解码；六个stage模块，均由采样层、残差通道注意单元RCAB和选择融合模块SFB组成；
特征选择融合模块SFB，包括深度分离卷积和注意力层，注意力层包括两个用于调整通道数的1×1的卷积层，全局池化层和Sigmoid函数层学习通道注意力权重。
本实施例中，首先利用1个1×1卷积将输入带雨子图像从图像空间映射到特征空间，得到对应的初始特征f R,S ，随后采用一个原始分辨率分支从f R,S 中提取空间结构特征和一个编解码分支提取上下文尺度特征，具体利用算式：
Figure 271276DEST_PATH_IMAGE019
；
其中，
Figure 717432DEST_PATH_IMAGE020
分别表示利用原始分辨率分支网络
Figure 490216DEST_PATH_IMAGE021
和编解码分支网络
Figure 827657DEST_PATH_IMAGE022
从原始输入特征中提取的空间和上下文尺度特征，具体的网络结构可参考附图2。
请见图2，本实施例构建的双路径特征选择融合网络，主要作用包含三部分，原始分辨率分支实现空间结构表达，编解码分支实现上下文尺度特征学习和特征的选择融合；第一部分是将初始化特征输入到原始分辨率分支中，其中有多个（5个）残差通道注意力单元(RCAB(residual channel attention block))分别渐进的提取空间结构特征，具体来讲，一个基础的残差通道注意力模块包括两个3×3的卷积强化特征表达，另外应用两个1×1的卷积来调整通道数，并通过全局池化层和Sigmoid函数学习通道注意力权重，作用于强化特征实现雨条纹的精细化表达。第二部分利用U-型的编解码结构学习上下文尺度纹理特征关联。编解码结构总共包含六个阶段，前三个阶段构成编码器，剩下的三个阶段表示解码器部分。每个阶段采用类似的架构，包括采样层、残差通道注意单元和选择融合模块(SFB(selective fusion block))。不同于其他方法使用步长或转置卷积来重新缩放特征的空间分辨率，本方法采用双线性插值采样，然后应用1×1卷积层来减少棋盘效应和模型参数，上述具体的计算和操作过程可参考步骤3和4。第三部分主要是包括对全局结构特征和上下文尺度特征的选择融合；为了强化输入信息的空间维度融合，引入深度分离卷积强化对局部纹理的特征表达，同时引入通道注意力单元自适应地实现通道间特征融合，实现对输入特征空间、通道渐进融合表达，并输出增强后的纹理特征；
步骤3：将步骤2中得到的全局空间结构特征和多尺度上下文特征输入特征选择融合网络，获得强化后的雨水全局融合特征；
本实施例的特征选择融合模块SFB，首先将两个特征通过级联融合，然后利用深度可分离卷积强化对空间局部特征纹理的学习，最后利用一个注意力单元进一步学习不同通道间的特征关联，强化特征融合。
本实施例，首先将两个特征通过级联融合，利用深度可分离卷积
Figure 736707DEST_PATH_IMAGE023
强化对空间 局部特征纹理的学习，得到强化后的特征表达
Figure 117879DEST_PATH_IMAGE024
，具体利用算式：
Figure 112379DEST_PATH_IMAGE025
；
其中，
Figure 987931DEST_PATH_IMAGE026
分别表示原始分支和编解码分支的雨水输出特征。随后，利用一 个通道注意力单元进一步学习不同通道间的特征关联，进一步强化特征融合。首先，利用两 个1×1卷积进行特征的映射嵌入表达，具体利用算式：
Figure 954750DEST_PATH_IMAGE027
；
其中，
Figure 257556DEST_PATH_IMAGE028
和
Figure 490085DEST_PATH_IMAGE029
表示1×1卷积核参数；
Figure 169328DEST_PATH_IMAGE030
；其中，
Figure 787391DEST_PATH_IMAGE031
分别表示原始分支和编解码分支的雨水输出特征，将两个特征通过级联融合， 利用深度可分离卷积
Figure 526677DEST_PATH_IMAGE032
强化对空间局部特征纹理的学习，得到强化后的特征表达
Figure 745038DEST_PATH_IMAGE033
；
接着，利用Sigmoid函数对嵌入特征进行归一化，得到对应通道的全局描述子，将全局描述子映射到0-1之间，得到对应的通道融合权重，具体利用算式：
Figure 962393DEST_PATH_IMAGE034
；
其中，x为嵌入特征，等同于
Figure 700541DEST_PATH_IMAGE035
，
Figure 345149DEST_PATH_IMAGE036
表示通道融合权重；通过sigmoid函数，对学习得到的通道融合权重进行放缩，使得每一个通道的融合权重值的值都 在0-1之间，即
Figure 4801DEST_PATH_IMAGE037
；
最后，将学习的融合权重作用于
Figure 511000DEST_PATH_IMAGE033
特征，通过权重融合得到新的特征，并与原 始的
Figure 369234DEST_PATH_IMAGE038
特征进行融合，获得强化后的特征表达z R ，具体利用算式：
Figure 184744DEST_PATH_IMAGE039
。
步骤4：将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
本实施例中，利用3×3卷积将增强后特征z R 映射回图像空间，得到子空间雨水分 布图象
Figure 128429DEST_PATH_IMAGE040
，同时从原始带雨图像的采样子图像
Figure 936854DEST_PATH_IMAGE041
中减去
Figure 649595DEST_PATH_IMAGE040
，得到对应的子空间去雨图 像
Figure 636005DEST_PATH_IMAGE042
，具体利用算式：
Figure 4670DEST_PATH_IMAGE043
。
步骤5：将步骤4中预测的子空间雨水分布图像和得到的采样子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
请见图3，本实施例构建的动态关联学习网络，主要作用包含三部分，特征初始化， 降质掩膜生成，背景纹理信息提取和融合；第一部分是利用3×3卷积对
Figure 101939DEST_PATH_IMAGE044
和
Figure 685498DEST_PATH_IMAGE045
进行特征 嵌入表达，得到初始化特征，同时采用3×3步长为2卷积对原始带雨图像进行特征提取和空 间采样。第二部分，通过Softmax归一化函数对雨水分布特征进行归一化处理，从
Figure 108389DEST_PATH_IMAGE044
中学习 全局的雨水分布掩膜。具体来讲，它由一个初始卷积层和一个瓶颈单元组成，用于将预测的 雨水分布映射得到掩膜矩阵。紧跟着一个Softmax算子，将掩膜矩阵归一化到[0，1.0]之间， 便可以得到雨水图像的降质分布权重掩膜图，表示为输入雨水图像中的降质位置和强度。 第三部分，利用第二部分的雨水先验知识（包括雨条纹的位置和密度），通过像素点乘的方 法可以从原始带雨图像I Rain 的嵌入表示中提取无雨区域的纹理信息f ti ，并通过一个选择融 合模块和子空间背景纹理的初始化特征
Figure 761087DEST_PATH_IMAGE005
进行融合，实现高精度的背景纹理重建过程。
本实施例的动态关联学习网络，将预测的子空间雨水分布图像
Figure 662047DEST_PATH_IMAGE044
和采样子空间 去雨图像
Figure 598648DEST_PATH_IMAGE002
，以及原始带雨图像I Rain 输入到动态关联学习网络中，强化特征表达；首先，利 用两个3×3卷积将
Figure 130123DEST_PATH_IMAGE044
和
Figure 270118DEST_PATH_IMAGE002
映射到特征空间，同时采用一个步长卷积对I Rain 进行采样，具 体利用算式：
Figure 709189DEST_PATH_IMAGE046
；
其中，W R,S 和W B,S 表示3×3卷积核参数，W Rain 表示步长卷积的参数，得到对应的初始 化特征表达
Figure 251029DEST_PATH_IMAGE047
，
Figure 766455DEST_PATH_IMAGE005
和
Figure 393746DEST_PATH_IMAGE048
；利用Softmax函数对雨水分布特征
Figure 636508DEST_PATH_IMAGE047
进行归一化，将全局 融合权重值映射到0-1之间，具体利用算式：
Figure 236117DEST_PATH_IMAGE013
；
其中，C(x)为归一化函数，
Figure 906133DEST_PATH_IMAGE049
表示全局融合权重矩阵；通过Softmax函 数，对学习得到的相关性矩阵进行归一化赋值，使得每一个像素的全局融合权重矩阵的值 都在0-1之间，即
Figure 269987DEST_PATH_IMAGE050
；
将获得的全局融合权重矩阵
Figure 316440DEST_PATH_IMAGE051
与
Figure 567293DEST_PATH_IMAGE006
进行矩阵乘法，提取背景图像 纹理特征，具体利用算式：
Figure 486838DEST_PATH_IMAGE052
；
随后，通过一个特征选择融合模块SFB，将提取的背景纹理信息f ti 和采样子空间去 雨图像的嵌入表达
Figure 88721DEST_PATH_IMAGE005
进行融合，具体细节等同于步骤4，得到增强后的背景纹理特征f fusion ；
步骤6：将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
本实施例中，第二阶段将获得的增强后的背景纹理特征f fusion 输入到一个双路径选择融合网络，获得强化后的背景纹理全局融合特征。首先。采用一个原始分辨率分支从f fusion 中提取空间结构特征和一个编解码分支提取上下文尺度特征，具体利用算式：
Figure 673286DEST_PATH_IMAGE053
；
其中，
Figure 247487DEST_PATH_IMAGE054
和
Figure 508573DEST_PATH_IMAGE055
分别表示利用原始分辨率分支网络
Figure 597752DEST_PATH_IMAGE056
和编解码分支网络
Figure 720428DEST_PATH_IMAGE057
从增强后的背景纹理特征中提取的空间和上下文尺度特征，具体的网络结构可参考 附图2。
将
Figure 945873DEST_PATH_IMAGE054
和
Figure 410484DEST_PATH_IMAGE055
两个特征通过级联融合，利用深度可分离卷积强化对空间局部特 征纹理的学习，具体利用算式：
Figure 721380DEST_PATH_IMAGE058
；
随后，利用一个通道注意力单元进一步学习不同通道间的特征关联，强化特征融合。首先，利用两个1×1卷积进行特征的映射嵌入表达，具体利用算式：
Figure 851010DEST_PATH_IMAGE059
；
其中，
Figure 196540DEST_PATH_IMAGE060
和
Figure 173330DEST_PATH_IMAGE061
表示1×1卷积核参数。
随后，利用Sigmoid函数对嵌入特征进行归一化，得到对应通道的全局描述子，将全局描述子映射到0-1之间，得到对应的通道融合权重，具体利用算式：
Figure 722254DEST_PATH_IMAGE062
；
其中，x为嵌入特征，等同于
Figure 452313DEST_PATH_IMAGE035
，
Figure 917929DEST_PATH_IMAGE063
表示通道融合权重；通过sigmoid函数，对学习得到的通道融合权重进行放缩，使得每一个通道的融合权重值的值都 在0-1之间，即
Figure 442452DEST_PATH_IMAGE064
；
最后，将学习的融合权重作用于
Figure 977207DEST_PATH_IMAGE065
特征，通过权重引导特征融合得到新的特 征，并与原始的
Figure 245377DEST_PATH_IMAGE066
特征进行融合，获得强化后的特征表达z R ，具体利用算式：
Figure 503183DEST_PATH_IMAGE039
。
步骤7：将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
本实施例中，利用3×3的亚像素卷积将增强后特征z B 映射回图像空间，并放缩到 原始分辨率，加上采样子空间去雨图像的上采样版本
Figure 464186DEST_PATH_IMAGE067
，得到最终干净的无雨图像
Figure 236970DEST_PATH_IMAGE068
， 具体利用算式：
Figure 59564DEST_PATH_IMAGE069
。
本实施例采用的动态关联学习网络，是训练好的动态关联学习网络；具体训练过程包括以下步骤：
（1）收集构建成对的雨水图像数据集，包括训练数据和测试数据；选取部分雨水图像数据Y，裁剪得到N×N大小的图像块，作为训练样本；其中，N为预设值；
（2）利用双线性采样对训练样本进行下采样，获得原始带雨图像的对应带雨采样子图像；将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征；
（3）将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
（4）将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
（5）将步骤4中预测的子空间雨水分布图像和得到的采样子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
（6）将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
（7）将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像；
（8）通过最小化步骤7中输出的无雨图像和原始干净图像，以及步骤4中输出的子空间无雨图像和原始干净子空间图像的余弦距离，优化提出的动态关联学习网络，获得训练好的动态关联学习网络；
本实施例中，使用基于Charbonnier损失函数来约束第一阶段网络生成的子空间无雨图像尽可能逼近干净的下采样图像，同时也约束第二阶段重建的原始分辨率无雨图像和原始干净图像保持一致的统计分布，实现动态关联学习的单张图像雨去除方法的优化；Charbonnier损失函数作为L1范数的一个变体，通过加入了补偿项使训练过程更加稳定，同时避免生成的结果过于平滑；
Figure 234193DEST_PATH_IMAGE070
；
其中，
Figure 100518DEST_PATH_IMAGE071
和θ分别表示优化目标方程和参数，t表示生成的无雨图像与干净的样 本图像的残差，y表示生成子空间的无雨图像与干净的图像的残差，其中补偿因子
Figure 360598DEST_PATH_IMAGE072
。
与早期基于深度学习和加性模型的去雨方法相比，该方法重新将图像去雨任务定义为雨水移除和背景纹理修复的组合问题，提出两者的联合表达和优化；同时利用预测雨水分布作为先验知识，提出雨水移除和背景纹理修复的关联学习机制，实现两者的动态联合表达，以取得高精度和高质量的背景修复效果。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于动态关联学习网络的图像去雨方法，其特征在于，包括以下步骤：
步骤1：利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
步骤2：将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征；
步骤3：将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
步骤4：将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
步骤5：将步骤4中预测的子空间雨水分布图像和得到的采样子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
所述动态关联学习网络，将预测的子空间雨水分布图像
Figure 625973DEST_PATH_IMAGE001
和采样子空间去雨图像
Figure 14229DEST_PATH_IMAGE002
，以及原始带雨图像I Rain 输入到所述动态关联学习网络中，强化特征表达；首先，利用两个3 ×3卷积将
Figure 239674DEST_PATH_IMAGE001
和
Figure 671661DEST_PATH_IMAGE002
映射到特征空间，同时采用一个步长卷积对I Rain 进行采样，得到对应的 初始化特征表达
Figure 248136DEST_PATH_IMAGE003
，
Figure 174504DEST_PATH_IMAGE004
和
Figure 520034DEST_PATH_IMAGE005
；利用Softmax函数对雨水分布特征
Figure 889967DEST_PATH_IMAGE006
进行归一化，使 得每一个像素的全局融合权重矩阵的值都在0-1之间，即
Figure 688159DEST_PATH_IMAGE007
；将获得的全局融合 权重矩阵
Figure 152638DEST_PATH_IMAGE008
与
Figure 555937DEST_PATH_IMAGE005
进行矩阵乘法，提取背景图像纹理特征f ti ；随后，通过一个 特征选择融合模块SFB，将提取的背景纹理信息f ti 和采样子空间去雨图像的嵌入表达
Figure 346039DEST_PATH_IMAGE009
进行融合，得到增强后的背景纹理特征f fusion ；
步骤6：将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
步骤7：将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
2.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤1中，通过线性采样算子对原始带雨图像进行多尺度采样，得到原始带雨图像的采样子图像，具体利用算式：
Figure 615215DEST_PATH_IMAGE010
；
其中，Linear(•)表示线性采样算子，I Rain 表示原始带雨图像，I Rain,S 表示用采样因子为n的线性采样算子获得的带雨采样子图像。
3.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤2中，所述双路径特征选择融合网络，由原始分辨率分支、U-型编解码分支和特征选择融合模块SFB组成；
所述原始分辨率分支，包括若干残差通道注意力单元RCAB，通过残差级联的方式进行组合，用于分别渐进的提取全局空间结构特征；所述残差通道注意力单元RCAB包括两个3×3的卷积强化特征表达层，两个用于调整通道数的1×1的卷积层，全局池化层和Sigmoid函数层学习通道注意力权重，作用于强化特征实现雨条纹的精细化表达；
所述U-型编解码分支，由六个stage模块组成，前三个stage模块用于编码，后三个stage模块用于解码；六个所述stage模块，均由采样层、残差通道注意单元RCAB和特征选择融合模块SFB组成；
所述特征选择融合模块SFB，包括深度分离卷积和注意力层，注意力层包括两个用于调整通道数的1×1的卷积层，全局池化层和Sigmoid函数层学习通道注意力权重。
4.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤3中，所述特征选择融合模块SFB，首先将两个特征通过级联融合，然后利用深度可分离卷积强化对空间局部特征纹理的学习，最后利用一个注意力单元进一步学习不同通道间的特征关联，强化特征融合。
5.根据权利要求4所述的基于动态关联学习网络的图像去雨方法，其特征在于：所述利用一个注意力单元进一步学习不同通道间的特征关联，具体实现过程是：
首先，利用两个1×1卷积进行特征的映射嵌入表达，具体利用算式：
Figure 555489DEST_PATH_IMAGE011
；
其中，
Figure 610033DEST_PATH_IMAGE012
和
Figure 554724DEST_PATH_IMAGE013
表示1×1卷积核参数；
Figure 327508DEST_PATH_IMAGE014
；其中，
Figure 399369DEST_PATH_IMAGE015
分别表示原始分支和编解码分支的雨水输出特征，将两个特征通过级联融合，利用深度可 分离卷积
Figure 308419DEST_PATH_IMAGE016
强化对空间局部特征纹理的学习，得到强化后的特征表达
Figure 456635DEST_PATH_IMAGE017
；
随后，利用Sigmoid函数对嵌入特征进行归一化，得到对应通道的全局描述子，将全局描述子映射到0-1之间，得到对应的通道融合权重，具体利用算式：
Figure 451136DEST_PATH_IMAGE018
；
其中，x为嵌入特征，等同于
Figure 326688DEST_PATH_IMAGE019
，
Figure 355824DEST_PATH_IMAGE020
表示通道融合权重；通过sigmoid函 数，对学习得到的通道融合权重进行放缩，使得每一个通道的融合权重值的值都在0-1之 间，即
Figure 596312DEST_PATH_IMAGE021
；
最后，将学习的融合权重作用于
Figure 389694DEST_PATH_IMAGE017
特征，通过权重融合得到新的特征，并与原始的
Figure 6620DEST_PATH_IMAGE022
特征进行融合，获得强化后的特征表达z R ，具体利用算式：
Figure 890262DEST_PATH_IMAGE023
。
6.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤4 中，所述雨水分布重建层网络，利用3×3卷积将增强后的雨水全局融合特征z R 映射回图像 空间，得到子空间雨水分布图像
Figure 98390DEST_PATH_IMAGE024
。
7.根据权利要求1所述的基于动态关联学习网络的图像去雨方法，其特征在于：步骤7 中，所述背景纹理重建层，利用3×3的亚像素卷积将增强后特征z B 映射回图像空间，并放缩 到原始分辨率，加上采样子空间去雨图像的上采样版本
Figure 818215DEST_PATH_IMAGE025
，得到最终干净的无雨图像
Figure 301149DEST_PATH_IMAGE026
。
8.根据权利要求1-7任意一项所述的基于动态关联学习网络的图像去雨方法，其特征在于：所述动态关联学习网络，是训练好的动态关联学习网络；具体训练过程包括以下步骤：
（1）收集构建成对的雨水图像数据集，包括训练数据和测试数据；选取部分雨水图像数据Y，裁剪得到N×N大小的图像块，作为训练样本；其中，N为预设值；
（2）利用双线性采样对训练样本进行下采样，获得原始带雨图像的对应带雨采样子图像；将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征；
（3）将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
（4）将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
（5）将步骤4中预测的子空间雨水分布图像和得到的采样子空间去雨图像，以及步骤1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
（6）将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复步骤2和步骤3的操作，获得强化后的背景纹理全局融合特征；
（7）将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像；
（8）通过最小化步骤7中输出的无雨图像和原始干净图像，以及步骤4中输出的子空间无雨图像和原始干净子空间图像的余弦距离，优化提出的动态关联学习网络，获得训练好的动态关联学习网络；
其中，使用基于Charbonnier损失函数来约束子空间无雨图像尽可能逼近干净的下采样图像，同时也约束重建的原始分辨率无雨图像和原始干净样本图像保持一致的统计分布，实现动态关联学习的单张图像雨去除方法的优化；
Figure 39298DEST_PATH_IMAGE027
；
其中，
Figure 683906DEST_PATH_IMAGE028
和θ分别表示优化目标方程和参数，t表示生成的无雨图像与干净的样本图 像的残差，y表示生成子空间的无雨图像与干净的图像的残差，其中补偿因子
Figure 343557DEST_PATH_IMAGE029
。
9.一种基于动态关联学习网络的图像去雨系统，其特征在于，包括以下模块：
模块1，用于利用双线性采样对原始带雨图像进行下采样，获得原始带雨图像的对应带雨采样子图像；
模块2，用于将获得的带雨采样子图像输入到双路径特征选择融合网络中，利用所述双路径特征选择融合网络的原始分辨率分支来学习全局空间结构特征，采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征；
模块3，用于将模块2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB，获得强化后的雨水全局融合特征；
模块4，用于将模块3中强化后的雨水全局融合特征输入雨水分布重建层网络，输出得到预测的子空间雨水分布图像，同时从模块1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像；
模块5，用于将模块4中预测的采样子空间雨水分布图像和得到的子空间去雨图像，以及模块1中的原始带雨图像输入到动态关联学习网络中，利用预测的雨水分布提供图像降质区域的位置和强度信息先验，从而从输入原始带雨图像中提取背景纹理信息，并与从采样子空间去雨图像提取的初始特征进行融合，得到增强后的背景纹理特征；
所述动态关联学习网络，将预测的子空间雨水分布图像
Figure 348291DEST_PATH_IMAGE001
和采样子空间去雨图像
Figure 206526DEST_PATH_IMAGE002
，以及原始带雨图像I Rain 输入到所述动态关联学习网络中，强化特征表达；首先，利用两个3 ×3卷积将
Figure 22035DEST_PATH_IMAGE030
和
Figure 965720DEST_PATH_IMAGE002
映射到特征空间，同时采用一个步长卷积对I Rain 进行采样，得到对应的 初始化特征表达
Figure 275610DEST_PATH_IMAGE003
，
Figure 988351DEST_PATH_IMAGE004
和
Figure 974762DEST_PATH_IMAGE005
；利用Softmax函数对雨水分布特征
Figure 405743DEST_PATH_IMAGE006
进行归一化，使 得每一个像素的全局融合权重矩阵的值都在0-1之间，即
Figure 706275DEST_PATH_IMAGE007
；将获得的全局融合 权重矩阵
Figure 522790DEST_PATH_IMAGE008
与
Figure 883364DEST_PATH_IMAGE005
进行矩阵乘法，提取背景图像纹理特征f ti ；随后，通过一个 特征选择融合模块SFB，将提取的背景纹理信息f ti 和采样子空间去雨图像的嵌入表达
Figure 785330DEST_PATH_IMAGE009
进行融合，得到增强后的背景纹理特征f fusion ；
模块6，用于将模块5中增强后的背景纹理特征输入到双路径特征选择融合网络中，重复模块2和模块3的操作，获得强化后的背景纹理全局融合特征；
模块7，用于将模块6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中，输出得到干净的无雨图像。
10.一种基于动态关联学习网络的图像去雨设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的基于动态关联学习网络的图像去雨方法。
CN202210541946.3A 2022-05-19 2022-05-19 一种基于动态关联学习网络的图像去雨方法、系统及设备 Active CN114638768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210541946.3A CN114638768B (zh) 2022-05-19 2022-05-19 一种基于动态关联学习网络的图像去雨方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210541946.3A CN114638768B (zh) 2022-05-19 2022-05-19 一种基于动态关联学习网络的图像去雨方法、系统及设备

Publications (2)

Publication Number Publication Date
CN114638768A CN114638768A (zh) 2022-06-17
CN114638768B true CN114638768B (zh) 2022-08-09

Family

ID=81953289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210541946.3A Active CN114638768B (zh) 2022-05-19 2022-05-19 一种基于动态关联学习网络的图像去雨方法、系统及设备

Country Status (1)

Country Link
CN (1) CN114638768B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523740B (zh) * 2023-03-13 2023-09-15 武汉大学 一种基于光场的红外图像超分辨率方法
CN116485689B (zh) * 2023-06-25 2023-11-14 武汉大水云科技有限公司 基于CNN和Transformer的渐进式耦合图像去雨方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133935A (zh) * 2017-05-25 2017-09-05 华南农业大学 一种基于深度卷积神经网络的单图像精细去雨方法
AU2020100196A4 (en) * 2020-02-08 2020-03-19 Juwei Guan A method of removing rain from single image based on detail supplement
CN111340738A (zh) * 2020-03-24 2020-06-26 武汉大学 一种基于多尺度渐进融合的图像去雨方法
CN113450288A (zh) * 2021-08-04 2021-09-28 广东工业大学 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN113673590A (zh) * 2021-08-13 2021-11-19 广东工业大学 基于多尺度沙漏密集连接网络的去雨方法、系统和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133935A (zh) * 2017-05-25 2017-09-05 华南农业大学 一种基于深度卷积神经网络的单图像精细去雨方法
AU2020100196A4 (en) * 2020-02-08 2020-03-19 Juwei Guan A method of removing rain from single image based on detail supplement
CN111340738A (zh) * 2020-03-24 2020-06-26 武汉大学 一种基于多尺度渐进融合的图像去雨方法
CN113450288A (zh) * 2021-08-04 2021-09-28 广东工业大学 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN113673590A (zh) * 2021-08-13 2021-11-19 广东工业大学 基于多尺度沙漏密集连接网络的去雨方法、系统和介质

Also Published As

Publication number Publication date
CN114638768A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN114638768B (zh) 一种基于动态关联学习网络的图像去雨方法、系统及设备
CN112465790A (zh) 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN112258436B (zh) 图像处理模型的训练方法、装置、图像处理方法及模型
CN114048822A (zh) 一种图像的注意力机制特征融合分割方法
CN116343052B (zh) 一种基于注意力和多尺度的双时相遥感图像变化检测网络
CN113066025B (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN116311254B (zh) 一种恶劣天气情况下的图像目标检测方法、系统及设备
CN115631107A (zh) 边缘引导的单幅图像噪声去除
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
CN114004766A (zh) 一种水下图像增强方法、系统和设备
CN115731597A (zh) 一种人脸口罩掩膜图像自动分割与修复管理平台及方法
CN113807356A (zh) 一种端到端的低能见度图像语义分割方法
CN116205962A (zh) 基于完整上下文信息的单目深度估计方法及系统
CN117036281A (zh) 一种缺陷图像的智能生成方法及其系统
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
CN117689592A (zh) 一种基于级联自适应网络的水下图像增强方法
CN116523985B (zh) 一种结构和纹理特征引导的双编码器图像修复方法
CN116957921A (zh) 图像渲染方法、装置、设备及存储介质
CN116433516A (zh) 一种基于注意力机制的低照度图像去噪增强方法
CN116597503A (zh) 一种基于时空特征的课堂行为检测方法
CN115471414A (zh) 基于曝光成像模型和模块化深度网络的图像去雨雪方法
CN115018726A (zh) 一种基于U-Net的图像非均匀模糊核的估计方法
Wu et al. Semantic image inpainting based on generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant