CN114638768A - 一种基于动态关联学习网络的图像去雨方法、系统及设备 - Google Patents
一种基于动态关联学习网络的图像去雨方法、系统及设备 Download PDFInfo
- Publication number
- CN114638768A CN114638768A CN202210541946.3A CN202210541946A CN114638768A CN 114638768 A CN114638768 A CN 114638768A CN 202210541946 A CN202210541946 A CN 202210541946A CN 114638768 A CN114638768 A CN 114638768A
- Authority
- CN
- China
- Prior art keywords
- image
- rain
- fusion
- rainwater
- subspace
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000013016 learning Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 151
- 238000009826 distribution Methods 0.000 claims abstract description 60
- 230000014509 gene expression Effects 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 60
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 101100247599 Hordeum vulgare RCAB gene Proteins 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 3
- 230000035045 associative learning Effects 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 230000015556 catabolic process Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于动态关联学习网络的图像去雨方法、系统及设备,包括雨水条纹移除和背景纹理重建的联合表达和优化,动态关联学习,双路径特征选择融合表达。在雨水条纹移除和背景纹理重建的联合表达和优化过程中,利用两阶段网络实现雨水建模和背景纹理重建。在动态关联学习过程中,利用预测的雨水分布作为先验知识辅助精确的背景纹理表达。在双路径特征选择融合表达过程中,利用原始分辨率分支和编解码分支分别学习全局结构和纹理,同时利用选择融合模块进行尺度间特征融合,实现高精度雨水去除和背景纹理重建。本发明有效利用潜在的雨水分布作为先验特征,动态地学习雨水移除和背景纹理修复之间的关联性,实现更高质量的背景纹理修复。
Description
技术领域
本发明属于人工智能技术领域,涉及一种图像去雨方法、系统及设备,具体涉及一种基于动态关联学习网络的图像去雨方法、系统及设备。
背景技术
雨天场景下图像质量会受到不同程度的干扰,包括图像内容遮挡,亮度变化,对比度失真等,极大影响图像内容的可读性和辨识度,给人们的日常生活以及下游高层次视觉任务带来了极大的障碍。因此,单张图像雨条纹移除是一项改善图像视觉体验的基本处理,也是许多计算机视觉任务(如分割、检测、跟踪、识别、分类等等)的重要预处理过程。
由于深度卷积神经网络(CNN)在图像处理领域取得了较好的成果,近年来,基于深度学习的图像去雨方法被相继提出并得到了迅速发展。2017年,Fu等最先构建一个三层的CNN来同时评估雨条纹和进行图像去雨。2018年,Zhang等通过考虑雨条纹的密度信息,提出了一个多任务的深度神经网络实现雨条纹密度的评估和移除。2019年,Yang等人提出了多阶段的循环神经网络,通过阶段性的去雨实现图像复原,降低了去雨难度。
现有基于深度学习的单张图像去雨模型利用卷积神经网络,直接建模雨水图像中的雨水分布,通过从原始输入中减去雨水分布,得到对应的去雨图像。这种方式虽然可以去除大部分的雨条纹,但依然存在明显的雨水残留;更重要地是,由于没有考虑雨水扰动对背景内容的影响,导致结果图像出现纹理缺失、亮度变化和对比度失真等缺陷,无法维护背景纹理内容的保真度。
发明内容
为了解决上述技术问题,本发明提供了一种基于动态关联学习网络的图像去雨方法、系统及设备。
本发明的方法所采用的技术方案是:一种基于动态关联学习网络的图像去雨方法,包括以下步骤:
步骤1:利用双线性采样对原始带雨图像进行下采样,获得原始带雨图像的对应带雨采样子图像;
步骤2:将获得的带雨采样子图像输入到双路径特征选择融合网络中,利用所述双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征,采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征;
步骤3:将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB,获得强化后的雨水全局融合特征;
步骤4:将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络,输出得到预测的子空间雨水分布图像,同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像;
步骤5:将步骤4中预测的子空间雨水分布图像和得到的子空间去雨图像,以及步骤1中的原始带雨图像输入到动态关联学习网络中,利用预测的雨水分布提供图像降质区域的位置和强度信息先验,从而从输入原始带雨图像中提取背景纹理信息,并与从子空间去雨图像提取的初始特征进行融合,得到增强后的背景纹理特征;
所述动态关联学习网络,将预测的子空间雨水分布图像和和子空间去雨图像,以及原始雨水图像I Rain 输入到所述动态关联学习网络中,强化特征表达;首先,利用两
个3×3卷积将和映射到特征空间,同时采用一个步长卷积对I Rain 进行采样,具体利
用算式:
其中,W R,S 和W B,S 表示3×3卷积核参数,W Rain 表示步长卷积的参数,得到对应的初始
化特征表达,和;利用Softmax函数对雨水分布特征进行归一化,将全局
融合权重值映射到0-1之间,具体利用算式:
步骤6:将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中,重复步骤2和步骤3的操作,获得强化后的背景纹理全局融合特征;
步骤7:将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中,输出得到干净的无雨图像。
本发明的系统所采用的技术方案是:一种基于动态关联学习网络的图像去雨系统,包括以下模块:
模块1,用于利用双线性采样对原始带雨图像进行下采样,获得原始带雨图像的对应带雨采样子图像;
模块2,用于将获得的带雨采样子图像输入到双路径特征选择融合网络中,利用所述双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征,采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征;
模块3,用于将模块2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB,获得强化后的雨水全局融合特征;
模块4,用于将模块3中强化后的雨水全局融合特征输入雨水分布重建层网络,输出得到预测的子空间雨水分布图像,同时从模块1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像;
模块5,用于将模块4中预测的子空间雨水分布图像和得到的子空间去雨图像,以及模块1中的原始带雨图像输入到动态关联学习网络中,利用预测的雨水分布提供图像降质区域的位置和强度信息先验,从而从输入雨水图像原始带雨图像中提取背景纹理信息,并与从子空间去雨图像提取的初始特征进行融合,得到增强后的背景纹理特征;
所述动态关联学习网络,将预测的子空间雨水分布图像和和子空间去雨图像,以及原始雨水图像I Rain 输入到所述动态关联学习网络中,强化特征表达;首先,利用两
个3×3卷积将和映射到特征空间,同时采用一个步长卷积对I Rain 进行采样,具体利
用算式:
其中,W R,S 和W B,S 表示3×3卷积核参数,W Rain 表示步长卷积的参数,得到对应的初始
化特征表达,和;利用Softmax函数对雨水分布特征进行归一化,将全局
融合权重值映射到0-1之间,具体利用算式:
模块6,用于将模块5中增强后的背景纹理特征输入到双路径特征选择融合网络中,重复模块2和模块3的操作,获得强化后的背景纹理全局融合特征;
模块7,用于将模块6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中,输出得到干净的无雨图像。
本发明的设备所采用的技术方案是:一种基于动态关联学习网络的图像去雨设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现所述的基于动态关联学习网络的图像去雨方法。
本发明公开了一种动态关联学习的图像去雨方法,包括雨水条纹移除和背景纹理重建的联合表达和优化,雨水条纹和背景纹理的动态关联学习,双路径特征选择融合表达。本发明通过联合雨水去除和背景纹理重建,利用预测的雨水分布作为辅助先验信息,提供图像降质区域的位置和强度,因而可以实现精度更高的背景纹理修复。
附图说明
图1本发明实施例的框架图。
图2本发明实施例构建的双路径特征融合网络结构图。
图3本发明实施例构建的关联学习模块结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种基于动态关联学习网络的图像去雨方法,包括以下步骤:
步骤1:利用双线性采样对原始带雨图像进行下采样,获得原始带雨图像的对应带雨采样子图像;
本实施例中,通过线性采样算子对带雨图像块进行多尺度采样,得到原始雨水图像的采样子图像,具体利用算式:
其中,Linear(•)表示线性采样算子,I Rain 表示原始带雨图像,I Rain,S 表示用采样因子为n的线性采样算子获得的带雨采样子图像。
步骤2:将获得的带雨采样子图像输入到双路径特征选择融合网络中,利用双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征,采用双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征关联;
请见图2,本实施例的双路径特征选择融合网络,由原始分辨率分支、U-型编解码分支和特征选择融合模块SFB组成;
原始分辨率分支,包括若干残差通道注意力单元RCAB,通过残差级联的方式进行组合,用于分别渐进的提取空间结构特征;所述残差通道注意力单元RCAB包括两个3×3的卷积强化特征表达层,两个用于调整通道数的1×1的卷积层,全局池化层和Sigmoid函数层学习通道注意力权重,作用于强化特征实现雨条纹的精细化表达;
U-型编解码分支,由六个stage模块组成,前三个stage模块用于编码,后三个stage模块用于解码;六个stage模块,均由采样层、残差通道注意单元RCAB和选择融合模块SFB组成;
特征选择融合模块SFB,包括深度分离卷积和注意力层,注意力层包括两个用于调整通道数的1×1的卷积层,全局池化层和Sigmoid函数层学习通道注意力权重。
本实施例中,首先利用1个1×1卷积将输入带雨子图像从图像空间映射到特征空间,得到对应的初始特征f R,S ,随后采用一个原始分辨率分支从f R,S 中提取空间结构特征和一个编解码分支提取上下文尺度特征,具体利用算式:
请见图2,本实施例构建的双路径特征选择融合网络,主要作用包含三部分,原始分辨率分支实现空间结构表达,编解码分支实现上下文尺度特征学习和特征的选择融合;第一部分是将初始化特征输入到原始分辨率分支中,其中有多个(5个)残差通道注意力单元(RCAB(residual channel attention block))分别渐进的提取空间结构特征,具体来讲,一个基础的残差通道注意力模块包括两个3×3的卷积强化特征表达,另外应用两个1×1的卷积来调整通道数,并通过全局池化层和Sigmoid函数学习通道注意力权重,作用于强化特征实现雨条纹的精细化表达。第二部分利用U-型的编解码结构学习上下文尺度纹理特征关联。编解码结构总共包含六个阶段,前三个阶段构成编码器,剩下的三个阶段表示解码器部分。每个阶段采用类似的架构,包括采样层、残差通道注意单元和选择融合模块(SFB(selective fusion block))。不同于其他方法使用步长或转置卷积来重新缩放特征的空间分辨率,本方法采用双线性插值采样,然后应用1×1卷积层来减少棋盘效应和模型参数,上述具体的计算和操作过程可参考步骤3和4。第三部分主要是包括对全局结构特征和上下文尺度特征的选择融合;为了强化输入信息的空间维度融合,引入深度分离卷积强化对局部纹理的特征表达,同时引入通道注意力单元自适应地实现通道间特征融合,实现对输入特征空间、通道渐进融合表达,并输出增强后的纹理特征;
步骤3:将步骤2中得到的全局空间结构特征和多尺度上下文特征输入特征选择融合网络,获得强化后的雨水全局融合特征;
本实施例的特征选择融合模块SFB,首先将两个特征通过级联融合,然后利用深度可分离卷积强化对空间局部特征纹理的学习,最后利用一个注意力单元进一步学习不同通道间的特征关联,强化特征融合。
接着,利用Sigmoid函数对嵌入特征进行归一化,得到对应通道的全局描述子,将全局描述子映射到0-1之间,得到对应的通道融合权重,具体利用算式:
步骤4:将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络,输出得到预测的子空间雨水分布图像,同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像;
步骤5:将步骤4中预测的子空间雨水分布图像和得到的子空间去雨图像,以及步骤1中的原始带雨图像输入到动态关联学习网络中,利用预测的雨水分布提供图像降质区域的位置和强度信息先验,从而从输入原始带雨图像中提取背景纹理信息,并与从子空间去雨图像提取的初始特征进行融合,得到增强后的背景纹理特征;
请见图3,本实施例构建的动态关联学习网络,主要作用包含三部分,特征初始化,
降质掩膜生成,背景纹理信息提取和融合;第一部分是利用3×3卷积对和进行特征
嵌入表达,得到初始化特征,同时采用3×3步长为2卷积对原始雨水图像进行特征提取和空
间采样。第二部分,通过Softmax归一化函数对雨水分布特征进行归一化处理,从中学
习全局的雨水分布掩膜。具体来讲,它由一个初始卷积层和一个瓶颈单元组成,用于将预测
的雨水分布映射得到掩膜矩阵。紧跟着一个Softmax算子,将掩膜矩阵归一化到[0,1.0]之
间,便可以得到雨水图像的降质分布权重掩膜图,表示为输入雨水图像中的降质位置和强
度。第三部分,利用第二部分的雨水先验知识(包括雨条纹的位置和密度),通过像素点乘的
方法可以从原始雨水图像I Rain 的嵌入表示中提取无雨区域的纹理信息f ti ,并通过一个选择
融合模块和子空间背景纹理的初始化特征进行融合,实现高精度的背景纹理重建过
程。
本实施例的动态关联学习网络,将预测的子空间雨水分布图像和和子空间去
雨图像,以及原始雨水图像I Rain 输入到动态关联学习网络中,强化特征表达;首先,利用
两个3×3卷积将和映射到特征空间,同时采用一个步长卷积对I Rain 进行采样,具体
利用算式:
其中,W R,S 和W B,S 表示3×3卷积核参数,W Rain 表示步长卷积的参数,得到对应的初始
化特征表达,和;利用Softmax函数对雨水分布特征进行归一化,将全局
融合权重值映射到0-1之间,具体利用算式:
步骤6:将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中,重复步骤2和步骤3的操作,获得强化后的背景纹理全局融合特征;
本实施例中,第二阶段将获得的增强后的背景纹理特征f fusion 输入到一个双路径选择融合网络,获得强化后的背景纹理全局融合特征。首先。采用一个原始分辨率分支从f fusion 中提取空间结构特征和一个编解码分支提取上下文尺度特征,具体利用算式:
随后,利用一个通道注意力单元进一步学习不同通道间的特征关联,强化特征融合。首先,利用两个1×1卷积进行特征的映射嵌入表达,具体利用算式:
随后,利用Sigmoid函数对嵌入特征进行归一化,得到对应通道的全局描述子,将全局描述子映射到0-1之间,得到对应的通道融合权重,具体利用算式:
步骤7:将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中,输出得到干净的无雨图像。
本实施例采用的动态关联学习网络,是训练好的动态关联学习网络;具体训练过程包括以下步骤:
(1)收集构建成对的雨水图像数据集,包括训练数据和测试数据;选取部分雨水图像数据Y,裁剪得到N×N大小的图像块,作为训练样本;其中,N为预设值;
(2)利用双线性采样对训练样本进行下采样,获得原始带雨图像的对应带雨采样子图像;将获得的带雨采样子图像输入到双路径特征选择融合网络中,利用双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征,采用双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征;
(3)将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB,获得强化后的雨水全局融合特征;
(4)将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络,输出得到预测的子空间雨水分布图像,同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像;
(5)将步骤4中预测的子空间雨水分布图像和得到的子空间去雨图像,以及步骤1中的原始带雨图像输入到动态关联学习网络中,利用预测的雨水分布提供图像降质区域的位置和强度信息先验,从而从输入原始带雨图像中提取背景纹理信息,并与从子空间去雨图像提取的初始特征进行融合,得到增强后的背景纹理特征;
(6)将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中,重复步骤2和步骤3的操作,获得强化后的背景纹理全局融合特征;
(7)将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中,输出得到干净的无雨图像;
(8)通过最小化步骤7中输出的无雨图像和原始干净图像,以及步骤4中输出的子空间无雨图像和原始干净子空间图像的余弦距离,优化提出的动态关联学习网络,获得训练好的动态关联学习网络;
本实施例中,使用基于Charbonnier损失函数来约束第一阶段网络生成的子空间无雨图像尽可能逼近干净的下采样图像,同时也约束第二阶段重建的原始分辨率无雨图像和原始干净图像保持一致的统计分布,实现动态关联学习的单张图像雨去除方法的优化;Charbonnier损失函数作为L1范数的一个变体,通过加入了补偿项使训练过程更加稳定,同时避免生成的结果过于平滑;
与早期基于深度学习和加性模型的去雨方法相比,该方法重新将图像去雨任务定义为雨水移除和背景纹理修复的组合问题,提出两者的联合表达和优化;同时利用预测雨水分布作为先验知识,提出雨水移除和背景纹理修复的关联学习机制,实现两者的动态联合表达,以取得高精度和高质量的背景修复效果。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (10)
1.一种基于动态关联学习网络的图像去雨方法,其特征在于,包括以下步骤:
步骤1:利用双线性采样对原始带雨图像进行下采样,获得原始带雨图像的对应带雨采样子图像;
步骤2:将获得的带雨采样子图像输入到双路径特征选择融合网络中,利用所述双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征,采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征;
步骤3:将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB,获得强化后的雨水全局融合特征;
步骤4:将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络,输出得到预测的子空间雨水分布图像,同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像;
步骤5:将步骤4中预测的子空间雨水分布图像和得到的子空间去雨图像,以及步骤1中的原始带雨图像输入到动态关联学习网络中,利用预测的雨水分布提供图像降质区域的位置和强度信息先验,从而从输入原始带雨图像中提取背景纹理信息,并与从子空间去雨图像提取的初始特征进行融合,得到增强后的背景纹理特征;
所述动态关联学习网络,将预测的子空间雨水分布图像和和子空间去雨图像,
以及原始雨水图像I Rain 输入到所述动态关联学习网络中,强化特征表达;首先,利用两个3
×3卷积将和映射到特征空间,同时采用一个步长卷积对I Rain 进行采样,得到对应的
初始化特征表达,和;利用Softmax函数对雨水分布特征进行归一化,使
得每一个像素的全局融合权重矩阵的值都在0-1之间,即;将获得的全局融
合权重矩阵与进行矩阵乘法,提取背景图像纹理特征f ti ;随后,通过
一个特征选择融合模块SFB,将提取的背景纹理信息f ti 和子空间去雨图像的嵌入表达
进行融合,得到增强后的背景纹理特征f fusion ;
步骤6:将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中,重复步骤2和步骤3的操作,获得强化后的背景纹理全局融合特征;
步骤7:将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中,输出得到干净的无雨图像。
3.根据权利要求1所述的基于动态关联学习网络的图像去雨方法,其特征在于:步骤2中,所述双路径特征选择融合网络,由原始分辨率分支、U-型编解码分支和特征选择融合模块SFB组成;
所述原始分辨率分支,包括若干残差通道注意力单元RCAB,通过残差级联的方式进行组合,用于分别渐进的提取空间结构特征;所述残差通道注意力单元RCAB包括两个3×3的卷积强化特征表达层,两个用于调整通道数的1×1的卷积层,全局池化层和Sigmoid函数层学习通道注意力权重,作用于强化特征实现雨条纹的精细化表达;
所述U-型编解码分支,由六个stage模块组成,前三个stage模块用于编码,后三个stage模块用于解码;六个所述stage模块,均由采样层、残差通道注意单元RCAB和特征选择融合模块SFB组成;
所述特征选择融合模块SFB,包括深度分离卷积和注意力层,注意力层包括两个用于调整通道数的1×1的卷积层,全局池化层和Sigmoid函数层学习通道注意力权重。
4.根据权利要求1所述的基于动态关联学习网络的图像去雨方法,其特征在于:步骤3中,所述特征选择融合模块SFB,首先将两个特征通过级联融合,然后利用深度可分离卷积强化对空间局部特征纹理的学习,最后利用一个注意力单元进一步学习不同通道间的特征关联,强化特征融合。
5.根据权利要求4所述的基于动态关联学习网络的图像去雨方法,其特征在于:所述利用一个注意力单元进一步学习不同通道间的特征关联,具体实现过程是:
首先,利用两个1×1卷积进行特征的映射嵌入表达,具体利用算式:
随后,利用Sigmoid函数对嵌入特征进行归一化,得到对应通道的全局描述子,将全局描述子映射到0-1之间,得到对应的通道融合权重,具体利用算式:
8.根据权利要求1-7任意一项所述的基于动态关联学习网络的图像去雨方法,其特征在于:所述动态关联学习网络,是训练好的动态关联学习网络;具体训练过程包括以下步骤:
(1)收集构建成对的雨水图像数据集,包括训练数据和测试数据;选取部分雨水图像数据Y,裁剪得到N×N大小的图像块,作为训练样本;其中,N为预设值;
(2)利用双线性采样对训练样本进行下采样,获得原始带雨图像的对应带雨采样子图像;将获得的带雨采样子图像输入到双路径特征选择融合网络中,利用所述双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征,采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征;
(3)将步骤2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB,获得强化后的雨水全局融合特征;
(4)将步骤3中强化后的雨水全局融合特征输入雨水分布重建层网络,输出得到预测的子空间雨水分布图像,同时从步骤1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像;
(5)将步骤4中预测的子空间雨水分布图像和得到的子空间去雨图像,以及步骤1中的原始带雨图像输入到动态关联学习网络中,利用预测的雨水分布提供图像降质区域的位置和强度信息先验,从而从输入原始带雨图像中提取背景纹理信息,并与从子空间去雨图像提取的初始特征进行融合,得到增强后的背景纹理特征;
(6)将步骤5中增强后的背景纹理特征输入到双路径特征选择融合网络中,重复步骤2和步骤3的操作,获得强化后的背景纹理全局融合特征;
(7)将步骤6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中,输出得到干净的无雨图像;
(8)通过最小化步骤7中输出的无雨图像和原始干净图像,以及步骤4中输出的子空间无雨图像和原始干净子空间图像的余弦距离,优化提出的动态关联学习网络,获得训练好的动态关联学习网络;
其中,使用基于Charbonnier损失函数来约束子空间无雨图像尽可能逼近干净的下采样图像,同时也约束重建的原始分辨率无雨图像和原始干净样本图像保持一致的统计分布,实现动态关联学习的单张图像雨去除方法的优化;
9.一种基于动态关联学习网络的图像去雨系统,其特征在于,包括以下模块:
模块1,用于利用双线性采样对原始带雨图像进行下采样,获得原始带雨图像的对应带雨采样子图像;
模块2,用于将获得的带雨采样子图像输入到双路径特征选择融合网络中,利用所述双路径特征选择融合网络的原始分辨率分支来学习整体的空间结构特征,采用所述双路径特征选择融合网络的U-型编解码分支来建模上下文的多尺度上下文特征;
模块3,用于将模块2中得到的全局空间结构特征和多尺度上下文特征输入双路径特征选择融合网络的特征选择融合模块SFB,获得强化后的雨水全局融合特征;
模块4,用于将模块3中强化后的雨水全局融合特征输入雨水分布重建层网络,输出得到预测的子空间雨水分布图像,同时从模块1中的带雨采样子图像中减去预测的子空间雨水分布图像得到对应的采样子空间去雨图像;
模块5,用于将模块4中预测的子空间雨水分布图像和得到的子空间去雨图像,以及模块1中的原始带雨图像输入到动态关联学习网络中,利用预测的雨水分布提供图像降质区域的位置和强度信息先验,从而从输入原始带雨图像中提取背景纹理信息,并与从子空间去雨图像提取的初始特征进行融合,得到增强后的背景纹理特征;
所述动态关联学习网络,将预测的子空间雨水分布图像和和子空间去雨图像,
以及原始雨水图像I Rain 输入到所述动态关联学习网络中,强化特征表达;首先,利用两个3
×3卷积将和映射到特征空间,同时采用一个步长卷积对I Rain 进行采样,得到对应的
初始化特征表达,和;利用Softmax函数对雨水分布特征进行归一化,使
得每一个像素的全局融合权重矩阵的值都在0-1之间,即;将获得的全局融
合权重矩阵与进行矩阵乘法,提取背景图像纹理特征f ti ;随后,通过
一个特征选择融合模块SFB,将提取的背景纹理信息f ti 和子空间去雨图像的嵌入表达
进行融合,得到增强后的背景纹理特征f fusion ;
模块6,用于将模块5中增强后的背景纹理特征输入到双路径特征选择融合网络中,重复模块2和模块3的操作,获得强化后的背景纹理全局融合特征;
模块7,用于将模块6中得到的强化后的背景纹理全局融合特征输入到背景纹理重建层中,输出得到干净的无雨图像。
10.一种基于动态关联学习网络的图像去雨设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至8中任一项所述的基于动态关联学习网络的图像去雨方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210541946.3A CN114638768B (zh) | 2022-05-19 | 2022-05-19 | 一种基于动态关联学习网络的图像去雨方法、系统及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210541946.3A CN114638768B (zh) | 2022-05-19 | 2022-05-19 | 一种基于动态关联学习网络的图像去雨方法、系统及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114638768A true CN114638768A (zh) | 2022-06-17 |
CN114638768B CN114638768B (zh) | 2022-08-09 |
Family
ID=81953289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210541946.3A Active CN114638768B (zh) | 2022-05-19 | 2022-05-19 | 一种基于动态关联学习网络的图像去雨方法、系统及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114638768B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116485689A (zh) * | 2023-06-25 | 2023-07-25 | 武汉大水云科技有限公司 | 基于CNN和Transformer的渐进式耦合图像去雨方法和系统 |
CN116523740A (zh) * | 2023-03-13 | 2023-08-01 | 武汉大学 | 一种基于光场的红外图像超分辨率方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107133935A (zh) * | 2017-05-25 | 2017-09-05 | 华南农业大学 | 一种基于深度卷积神经网络的单图像精细去雨方法 |
AU2020100196A4 (en) * | 2020-02-08 | 2020-03-19 | Juwei Guan | A method of removing rain from single image based on detail supplement |
CN111340738A (zh) * | 2020-03-24 | 2020-06-26 | 武汉大学 | 一种基于多尺度渐进融合的图像去雨方法 |
CN113450288A (zh) * | 2021-08-04 | 2021-09-28 | 广东工业大学 | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 |
CN113673590A (zh) * | 2021-08-13 | 2021-11-19 | 广东工业大学 | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 |
-
2022
- 2022-05-19 CN CN202210541946.3A patent/CN114638768B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107133935A (zh) * | 2017-05-25 | 2017-09-05 | 华南农业大学 | 一种基于深度卷积神经网络的单图像精细去雨方法 |
AU2020100196A4 (en) * | 2020-02-08 | 2020-03-19 | Juwei Guan | A method of removing rain from single image based on detail supplement |
CN111340738A (zh) * | 2020-03-24 | 2020-06-26 | 武汉大学 | 一种基于多尺度渐进融合的图像去雨方法 |
CN113450288A (zh) * | 2021-08-04 | 2021-09-28 | 广东工业大学 | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 |
CN113673590A (zh) * | 2021-08-13 | 2021-11-19 | 广东工业大学 | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116523740A (zh) * | 2023-03-13 | 2023-08-01 | 武汉大学 | 一种基于光场的红外图像超分辨率方法 |
CN116523740B (zh) * | 2023-03-13 | 2023-09-15 | 武汉大学 | 一种基于光场的红外图像超分辨率方法 |
CN116485689A (zh) * | 2023-06-25 | 2023-07-25 | 武汉大水云科技有限公司 | 基于CNN和Transformer的渐进式耦合图像去雨方法和系统 |
CN116485689B (zh) * | 2023-06-25 | 2023-11-14 | 武汉大水云科技有限公司 | 基于CNN和Transformer的渐进式耦合图像去雨方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114638768B (zh) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111340738B (zh) | 一种基于多尺度渐进融合的图像去雨方法 | |
CN114638768B (zh) | 一种基于动态关联学习网络的图像去雨方法、系统及设备 | |
CN112258436B (zh) | 图像处理模型的训练方法、装置、图像处理方法及模型 | |
CN112365422B (zh) | 基于深层聚合网络的不规则缺失图像修复方法及其系统 | |
CN116343052B (zh) | 一种基于注意力和多尺度的双时相遥感图像变化检测网络 | |
CN114048822A (zh) | 一种图像的注意力机制特征融合分割方法 | |
CN113066025B (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
CN116311254B (zh) | 一种恶劣天气情况下的图像目标检测方法、系统及设备 | |
CN114724155A (zh) | 基于深度卷积神经网络的场景文本检测方法、系统及设备 | |
Zhang et al. | Dense haze removal based on dynamic collaborative inference learning for remote sensing images | |
CN115631107A (zh) | 边缘引导的单幅图像噪声去除 | |
CN114004766A (zh) | 一种水下图像增强方法、系统和设备 | |
CN115731597A (zh) | 一种人脸口罩掩膜图像自动分割与修复管理平台及方法 | |
CN116205962A (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
CN113962905A (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
CN117689592A (zh) | 一种基于级联自适应网络的水下图像增强方法 | |
CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
CN116957921A (zh) | 图像渲染方法、装置、设备及存储介质 | |
CN117058392A (zh) | 一种基于卷积局部增强的多尺度Transformer图像语义分割方法 | |
CN116433516A (zh) | 一种基于注意力机制的低照度图像去噪增强方法 | |
CN116597503A (zh) | 一种基于时空特征的课堂行为检测方法 | |
CN115471414A (zh) | 基于曝光成像模型和模块化深度网络的图像去雨雪方法 | |
CN115115860A (zh) | 一种基于深度学习的图像特征点检测匹配网络 | |
CN115018726A (zh) | 一种基于U-Net的图像非均匀模糊核的估计方法 | |
CN114219738A (zh) | 单幅图像多尺度超分辨重建网络结构及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |