CN116681625B - 基于多尺度对比学习的无监督图像去雨方法、装置及终端 - Google Patents

基于多尺度对比学习的无监督图像去雨方法、装置及终端 Download PDF

Info

Publication number
CN116681625B
CN116681625B CN202310816937.5A CN202310816937A CN116681625B CN 116681625 B CN116681625 B CN 116681625B CN 202310816937 A CN202310816937 A CN 202310816937A CN 116681625 B CN116681625 B CN 116681625B
Authority
CN
China
Prior art keywords
rain
image
loss value
layer
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310816937.5A
Other languages
English (en)
Other versions
CN116681625A (zh
Inventor
何勰绯
何波
王世安
曾光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Institute of Technology
Original Assignee
Guangzhou Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Institute of Technology filed Critical Guangzhou Institute of Technology
Priority to CN202310816937.5A priority Critical patent/CN116681625B/zh
Publication of CN116681625A publication Critical patent/CN116681625A/zh
Application granted granted Critical
Publication of CN116681625B publication Critical patent/CN116681625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度对比学习的无监督图像去雨方法、装置及终端，利用雨纹和背景具有不同的属性和特征，采用了多尺度的对比学习，从特征层面开始分解雨纹和背景，获得雨层图像和背景层图像。通过多尺度的对比学习，无需雨图对应的无雨图做监督，即可有效地将雨层和背景进行分离。再利用图像层面的分布特性来约束雨层图像和背景层图像所各自具有的图像先验，使得训练后的去雨网络泛化能力强，能够有效地去除真实有雨图像中的雨纹。

Description

基于多尺度对比学习的无监督图像去雨方法、装置及终端
技术领域
本发明涉及图像处理技术领域，尤其涉及的是一种基于多尺度对比学习的无监督图像去雨方法、装置及终端。
背景技术
无人车自动驾驶过程中，摄像头在雨天捕获的图像或视频中通常含有雨纹，导致图像的可视化质量下降，影响提取特征的精确度，进而影响图像分割、检测及识别等高级视觉任务。因此，如何有效地去除有雨图像的雨纹，同时在去除雨纹时还能保留原有的背景信息不受到损害，具有重要的研究意义和实用价值。
通过有监督地训练去雨网络来去除雨纹，需要通过大量的有雨图-无雨图样本对去雨网络进行训练，学习到有雨图到无雨图的映射，从而去除未知有雨图像的雨纹。然而这种方法很大程度依赖训练数据的分布特性，当训练集中的雨纹与真实雨纹差距较大时，训练后的去雨网络并不能很好地去除真实雨图的雨纹。
虽然也有少量方法通过无监督地训练去雨网络，但是主要通过改变去雨网络的架构来提高去雨网络的鲁棒性和泛化性能，而没有从有雨图像的雨层和背景本身的特性出发，训练后的去雨网络仍然泛化性能不高，图像去雨效果不好。
因此，目前训练去雨网络不能获得较好的泛化性能，训练后的去雨网络并不能很好地去除雨纹。
发明内容
本发明的主要目的在于提供一种基于多尺度对比学习的无监督图像去雨方法及装置，解决训练去雨网络不能获得较好的泛化性能，训练后的去雨网络并不能很好地去除雨纹的问题。
为了实现上述目的，本发明第一方面提供一种基于多尺度对比学习的无监督图像去雨方法，预先训练去雨网络，获得已训练的去雨网络，将有雨图像输入所述已训练的去雨网络，获得去雨后图像；所述去雨网络设有两个分支，预先训练所述去雨网络，包括：
在每个分支分别对输入的有雨图像进行多个尺度的编码和解码，其中一个分支获得每个尺度的雨特征，另一个分支获得每个尺度的背景特征；
根据每个尺度的所述雨特征和所述背景特征，获得每个尺度的特征层损失值，所述特征层损失值用于对比学习所述雨特征和所述背景特征；
根据所述雨特征获得雨层图像，根据所述背景特征获得背景层图像；
根据所述雨层图像和所述背景层图像，获得图像层损失值；
根据所述图像层损失值和所有的所述特征层损失值，获得总损失值；
根据所述总损失值迭代优化所述去雨网络的参数，直至所述总损失值收敛，获得所述已训练的去雨网络。
可选的，所述根据所述雨层图像和所述背景层图像，获得图像层损失值，包括：
根据所述雨层图像和所述背景层图像，计算重构一致性损失值，所述重构一致性损失值用于约束所述背景层图像和所述雨层图像重构回所述有雨图像；
根据所述雨层图像，计算稀疏性损失值，所述稀疏性损失值用于约束所述雨层图像的稀疏性；
根据所述背景层图像，计算对抗损失值，所述对抗损失值用于约束所述背景层图像骗过判别器；
根据所述重构一致性损失值、所述稀疏性损失值和所述对抗损失值，获得所述图像层损失值。
可选的，根据目标尺度的所述雨特征和所述背景特征，获得目标尺度的特征层损失值，包括：
根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，所述第一对比损失值用于约束所述雨特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；
根据目标尺度的所述雨特征和所述背景特征，获得第二对比损失值，所述第二对比损失值用于约束所述背景特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；
根据所述第一对比损失值和所述第二对比损失值，获得目标尺度的所述特征层损失值。
可选的，所述根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，具体表达式为：
其中，为以坐标(xp，yp)为中心的图像块的雨特征；/>为以坐标(xk，yk)为中心的图像块的雨特征；/>为以坐标(xj，yj)为中心的图像块的背景特征；Sim(·,·)为用于度量两个特征之间的相似性的函数；τ为温度系数，用于调节特征之间的距离；N为总像素数。
可选的，所述根据目标尺度的所述雨特征和所述背景特征，获得第二对比损失值，具体表达式为：
其中，为以坐标(xp，yp)为中心的图像块的背景特征；/>为以坐标(xk，yk)为中心的图像块的背景特征；/>为以坐标(xj，yj)为中心的图像块的雨特征；Sim(·,·)为用于度量两个特征之间的相似性的函数；τ为温度系数，用于调节特征之间的距离；N为总像素数。
可选的，所述去雨网络的每个分支上均设有多个编码器层和多个解码器层，所述编码器层用于对特征进行下采样，所述解码器层用于对特征进行上采样。
本发明第二方面提供一种基于多尺度对比学习的无监督图像去雨装置，其中，上述装置包括：
已训练的去雨网络，所述已训练的去雨网络由预训练模块训练去雨网络获得；
所述预训练模块包括特征提取单元、特征层损失值单元、图像层损失值单元、总损失值单元和迭代单元；
所述特征提取单元用于在每个分支对输入的有雨图像进行多个尺度的编码和解码，在一个分支获得每个尺度的雨特征，在另一个分支获得每个尺度的背景特征；
所述特征层损失值单元用于根据每个尺度的所述雨特征和所述背景特征，获得每个尺度的特征层损失值，所述特征层损失值用于对比学习所述雨特征和所述背景特征；
所述图像层损失值单元用于根据所述雨特征获得雨层图像，根据所述背景特征获得背景层图像，根据所述雨层图像和所述背景层图像，获得图像层损失值；
所述总损失值单元用于根据所述图像层损失值和所有的所述特征层损失值，获得总损失值；
所述迭代单元用于根据所述总损失值迭代优化所述去雨网络的参数，直至所述总损失值收敛，获得所述已训练的去雨网络。
可选的，所述特征层损失值单元包括第一对比损失值单元和第二对比损失值单元，所述第一对比损失值单元用于根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，所述第一对比损失值用于约束所述雨特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；所述第二对比损失值单元用于根据目标尺度的所述雨特征和所述背景特征，获得第二对比损失值，所述第二对比损失值用于约束所述背景特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；所述特征层损失值单元根据所述第一对比损失值和所述第二对比损失值，获得目标尺度的特征层损失值。
本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于多尺度对比学习的无监督图像去雨程序，上述基于多尺度对比学习的无监督图像去雨程序被上述处理器执行时实现任意一项上述基于多尺度对比学习的无监督图像去雨方法的步骤。
本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于多尺度对比学习的无监督图像去雨程序，上述基于多尺度对比学习的无监督图像去雨程序被处理器执行时实现任意一项上述基于多尺度对比学习的无监督图像去雨方法的步骤。
由上可见，本发明利用雨纹和背景具有不同的属性和特征，采用了多尺度的对比学习，从特征层面开始分解雨纹和背景，获得雨层图像和背景层图像。通过多尺度的对比学习，无需雨图对应的无雨图做监督，即可有效地将雨层和背景进行分离。再利用图像层面的分布特性来约束雨层图像和背景层图像所各自具有的图像先验，使得训练后的去雨网络泛化能力强，能够有效地去除真实有雨图像中的雨纹。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的基于多尺度对比学习的无监督图像去雨方法流程示意图；
图2为去雨网络的结构示意图；
图3是本发明实施例提供的基于多尺度对比学习的无监督图像去雨装置的结构示意图；
图4是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
目前有监督地训练去雨网络或无监督地训练去雨网络，训练后的去雨网络泛化性能不好，并不能很好地去除真实有雨图像中的雨纹。
为了实现有效地无监督训练去雨网络，本发明采用了多尺度的对比学习，利用雨纹和背景具有不同的属性和特征，从特征层面开始分解雨纹和背景，获得雨层图像和背景层图像，在此基础上，再利用图像层面的分布特性来约束雨层图像和背景层图像所各自具有的图像先验，训练后的去雨网络泛化性能好，能够有效地去除真实有雨图像中的雨纹。
本发明实施例提供了一种基于多尺度对比学习的无监督图像去雨方法，部署于电脑、移动终端、服务器等电子设备上，用于对无人驾驶车辆上拍摄到的有雨图像的雨纹进行去除。需要说明的是，虽然本实施例以无人驾驶车辆为例进行说明，但并不仅限于此应用场合，还可以应用在任何需要对有雨图像进行雨纹去除的场合。
首先训练去雨网络，对去雨网络中的参数进行优化，获得已训练的去雨网络，然后将有雨图像输入至已训练的去雨网络，就可以获得去除雨纹后的图像。
如图1所示，在训练去雨网络时，本实施例具体包括如下步骤：
步骤S100：在两个分支分别对输入的有雨图像进行多个尺度的编码和解码，在一个分支获得每个尺度的雨特征，在另一个分支获得每个尺度的背景特征；
去雨网络的结构如图2所示，并行设有两个分支，分别为雨层分解分支和背景层分解分支，两个分支的结构相同。雨层分解分支提取有雨图像的雨特征，包括雨编码特征ER和雨解码特征DR；背景层分解分支提取有雨图像的背景特征，包括背景编码特征EI和背景解码特征DI。每个分支上均设有多个编码器层和多个解码器层，每一层的编码器层均包括一个卷积层和一个下采样层，用于对输入特征进行下采样，当前编码器层输出特征的尺度比上一层编码器层输出特征的尺度小一个尺度；每一层的解码器层均包括一个上采样层和一个卷积层，用于对输入特征进行下采样，当前解码器层输出特征的尺度比上一层解码器层输出特征的尺度大一个尺度。因此，每个分支都可以输出多个尺度的特征。雨层分解分支的每个编码器层都可以输出尺度i的雨编码特征雨层分解分支的每个解码器层都可以输出尺度i的雨解码特征/>背景层分解分支的每个编码器层都可以输出尺度i的背景编码特征/>背景层分解分支的每个解码器层都可以输出尺度i的背景解码特征/>为了方便叙述，上述各个尺度的雨编码特征、雨解码特征又统称为雨特征；上述各个尺度的背景编码特征、背景解码特征又统称为背景特征。
具体地，本实施例中，雨层分解分支和背景层分解分支均为6层，包括3层编码器层和3层解码器层。
步骤S200：根据每个尺度的雨特征和背景特征，获得每个尺度的特征层损失值；
雨层和干净无雨背景层具有不同的属性和特征，通过在每个尺度进行对比学习，即约束同一尺度的雨特征相互之间(即某个雨特征与另一个雨特征之间)为正样本，雨特征和背景特征之间为负样本，或者，背景特征相互之间为正样本，背景特征与雨特征之间为负样本的方式，将雨层和背景层分离。
具体地，在每一个编码器层，根据每个尺度的雨特征和背景特征，首先针对雨特征进行对比学习，计算第一对比损失值；再针对背景特征进行对比学习，计算第二对比损失值，将第一对比损失值和第二对比损失值进行简单累计或者加权累计，计算出每个尺度的特征层损失值。该特征层损失值用来约束各个尺度的雨特征和背景特征之间的相互关系从而将雨特征和背景特征分离。
本实施例中，特征层损失值Lfeature包括两个部分：基于雨特征的第一对比损失值和基于背景特征的第二对比损失值/>具体表达式为：
第i层的雨编码特征和背景编码特征/>分别对应的包含了雨层和背景层不同图像块所对应特征的组合，即：
其中，(xp，yp)代表以图像像素坐标(xp，yp)为中心的图像块，和/>分别代表图像块(xp，yp)对应的背景特征和雨特征，N为像素总和。则第一对比损失值的计算公式为：
其中，为以坐标(xp，yp)为中心的图像块的雨特征；/>为以坐标(xk，yk)为中心的图像块的雨特征；/>为以坐标(xj，yj)为中心的图像块的背景特征；Sim(·，·)为用于度量两个特征之间的相似性的函数；τ为温度系数，用于调节样本之间的距离；N为总像素数。第一对比损失值/>通过约束雨特征与雨特征之间为正样本，雨特征与背景特征之间为负样本的方式将雨层与背景相分离。
类似地，第二对比损失值的计算公式为：
其中，为以坐标(xp，yp)为中心的图像块的背景特征；/>为以坐标(xk，yk)为中心的图像块的背景特征；/>为以坐标(xj，yj)为中心的图像块的雨特征；Sim(·，·)为用于度量两个特征之间的相似性的函数；τ为温度系数，用于调节特征之间的距离；N为总像素数。第二对比损失值/>通过约束背景特征与背景特征之间为正样本，背景特征与雨特征之间为负样本的方式将背景与雨层相分离。
步骤S300：根据雨特征获得雨层图像，根据背景特征获得背景层图像；
将雨层分解分支的最后解码器层输出的雨特征，通过反卷积、变分自编码器等常规方法，转换为雨层图像R。同样地，将背景层分解分支的最后解码器层输出的背景特征，通过反卷积、变分自编码器等常规方法，转换为背景层图像I。上述雨层图像中仅含有雨纹信息，背景层图像为有雨图像去除雨纹信息后的图像。
步骤S400：根据雨层图像和背景层图像，获得图像层损失值；
本发明在计算了每个尺度的特征层损失值，还结合了图像层损失值，以提高去雨网络的训练效果。图像层损失值用来在从图像层面上约束雨层图像和背景层图像，从而使两者从图像层面分离，获得去雨图。
本实施例中，图像层损失值Limage包括了重构一致性损失值Lconsistency，稀疏性损失值Lsparsity，以及对抗损失值Ladv。其中，重构一致性损失值Lconsistency用于约束输出的背景层图像I和雨层图像R能够重构回原始的有雨图像J；稀疏性损失值Lsparsity用于利用雨层的稀疏性对分解的雨层图像R进行约束，即约束雨层图像R的稀疏性；对抗损失值Ladv用于约束判别器无法分辨输入的背景层图像I到底是原始的无雨图还是人为分解的无雨图。具体表达式为：
Limage＝λcLconsistency+λsLsparsity+λaLadv
其中，λc，λs，λa分别为三种损失的权重系数。
根据雨层图像和背景层图像，计算重构一致性损失值Lconsistency时，采用了最原始的加法模型J＝I+R，并采用L2范数进行约束。具体表达式为：
对雨层图像而言，其分布是比较稀疏的。因此根据雨层图像计算雨层图像的稀疏性约束值Lsparsity时，可以采用L1范数进行稀疏性约束。具体表达式为：
Lsparsity＝||R||1
将背景层图像输入判别器时，希望背景层图像能够骗过判别器，让判别器误以为背景层图像是一张真实拍摄的无雨图像。因此，根据背景层图像计算对抗损失值Ladv时，可借助大量的无雨真实图像的分布用作约束。对抗损失值具体表达式为：
其中，表示取不同的无雨真实图像/>得到的函数期望值，/>表示取不同的背景层图像I得到的期望值，D(·)代表判别器。
步骤S500：根据图像层损失值和所有的特征层损失值，获得总损失值；
总损失值L包括图像层损失值Limage和每个尺度的特征层损失值(为了表达式简洁，此处以Lfeature表示)，即：L＝Limage+Lfeature。在一个示例中，也可以对图像层损失值Limage和特征层损失值Lfeature进行加权累计，获得总损失值。
步骤S600：根据总损失值迭代优化去雨网络的参数，直至总损失值收敛，获得已训练的去雨网络。
去雨网络具体可以表示为：
I＝EndecoderI(J，θI)
R＝EndecoderR(J，θR)
其中，Endecoder为编解码操作，θI为背景层分解分支的编码器层和解码器层的参数，θR为雨层分解分支的编码器层和解码器层的参数。
输入有雨图像J进行迭代优化，通过最小化总损失值L来求解到背景层分解分支的参数θI和雨层分解分支的参数θR。直至总损失值L收敛，获得已训练的去雨网络。
对有雨图像去除雨纹时，通过I＝EndecoderI(J，θI)就可以获得去雨后图像。
去雨网络优化时，通常的方法只是从图像层面出发，计算去雨网络输出结果的损失值，根据该损失值来优化去雨网络的参数。为了更好地将雨层和背景有效分离，本实施例不单从图像层面出发计算损失值，还从雨特征和背景特征层面出发计算损失值，从提取特征时就将两者分开。从雨特征和背景特征、图像层两个角度出发分别给出对应的约束，能够实现雨层和图像层的有效分离，得到最终的去雨后图像。
由上所述，本实施例借助两组编解码器将输入的雨图分解为雨层和无雨背景层，其中两组编解码器分别输出多个尺度的雨特征和背景特征。通过采用对比学习方式，约束同一尺度的雨特征相互之间为正样本，雨特征和背景特征之间为负样本，或背景特征相互之间为正样本，背景特征与雨特征之间为负样本的方式将雨层和背景进行分离，同时对最后生成的雨层图像和背景层图像进行重构及分布特性约束。从而通过多尺度的对比学习，无需雨图对应的无雨图做监督，即可有效地将雨层和背景进行分离。训练后的去雨网络泛化能力强，能够较好地去除有雨图像的雨纹。
示例性系统
对应于上述基于多尺度对比学习的无监督图像去雨方法，本发明实施例还提供一种基于多尺度对比学习的无监督图像去雨装置，如图3所示，上述装置包括：
已训练的去雨网络600，所述已训练的去雨网络由预训练模块610训练去雨网络获得；
所述预训练模块610包括特征提取单元611、特征层损失值单元612、图像层损失值单元613、总损失值单元614和迭代单元615；
所述特征提取单元611用于在每个分支对输入的有雨图像进行多个尺度的编码和解码，在一个分支获得每个尺度的雨特征，在另一个分支获得每个尺度的背景特征；
所述特征层损失值单元612用于根据每个尺度的所述雨特征和所述背景特征，获得每个尺度的特征层损失值，所述特征层损失值用于对比学习所述雨特征和所述背景特征；
所述图像层损失值单元613用于根据所述雨特征获得雨层图像，根据所述背景特征获得背景层图像，根据所述雨层图像和所述背景层图像，获得图像层损失值；
所述总损失值单元614用于根据所述图像层损失值和所有的所述特征层损失值，获得总损失值；
所述迭代单元615用于根据所述总损失值迭代优化所述去雨网络的参数，直至所述总损失值收敛，获得所述已训练的去雨网络。
可选的，所述特征层损失值单元包括第一对比损失值单元和第二对比损失值单元，所述第一对比损失值单元用于根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，所述第一对比损失值用于约束所述雨特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；所述第二对比损失值单元用于根据目标尺度的所述雨特征和所述背景特征，获得第二对比损失值，所述第二对比损失值用于约束所述背景特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；所述特征层损失值单元根据所述第一对比损失值和所述第二对比损失值，获得目标尺度的特征层损失值。
具体的，本实施例中，上述基于多尺度对比学习的无监督图像去雨装置的各模块的具体功能可以参照上述基于多尺度对比学习的无监督图像去雨方法中的对应描述，在此不再赘述。
基于上述实施例，本发明还提供了一种智能终端。如图4所示，上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和基于多尺度对比学习的无监督图像去雨程序。该内存储器为非易失性存储介质中的操作系统和基于多尺度对比学习的无监督图像去雨程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该基于多尺度对比学习的无监督图像去雨程序被处理器执行时实现上述任意一种基于多尺度对比学习的无监督图像去雨方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于多尺度对比学习的无监督图像去雨程序，上述基于多尺度对比学习的无监督图像去雨程序被处理器执行时实现本发明实施例提供的任意一种基于多尺度对比学习的无监督图像去雨方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (5)

1.基于多尺度对比学习的无监督图像去雨方法，其特征在于，预先训练去雨网络，获得已训练的去雨网络，将有雨图像输入所述已训练的去雨网络，获得去雨后图像；所述去雨网络设有两个分支，预先训练所述去雨网络，包括：
在每个分支分别对输入的有雨图像进行多个尺度的编码和解码，其中一个分支获得每个尺度的雨特征，另一个分支获得每个尺度的背景特征；
根据每个尺度的所述雨特征和所述背景特征，获得每个尺度的特征层损失值，所述特征层损失值用于对比学习所述雨特征和所述背景特征；
根据所述雨特征获得雨层图像，根据所述背景特征获得背景层图像；
根据所述雨层图像和所述背景层图像，获得图像层损失值；
根据所述图像层损失值和所有的所述特征层损失值，获得总损失值；
根据所述总损失值迭代优化所述去雨网络的参数，直至所述总损失值收敛，获得所述已训练的去雨网络；
根据目标尺度的所述雨特征和所述背景特征，获得目标尺度的特征层损失值，包括：
根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，所述第一对比损失值用于约束所述雨特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；
根据目标尺度的所述雨特征和所述背景特征，获得第二对比损失值，所述第二对比损失值用于约束所述背景特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；
根据所述第一对比损失值和所述第二对比损失值，获得目标尺度的所述特征层损失值；
所述根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，具体表达式为：
其中，为以坐标(xp,yp)为中心的图像块的雨特征；/>为以坐标(xk,yk)为中心的图像块的雨特征；/>为以坐标(xj,yj)为中心的图像块的背景特征；Sim(·,·)为用于度量两个特征之间的相似性的函数；τ为温度系数，用于调节特征之间的距离；N为总像素数；
所述根据目标尺度的所述雨特征和所述背景特征，获得第二对比损失值，具体表达式为：
其中，为以坐标(xp,yp)为中心的图像块的背景特征；/>为以坐标(xk,yk)为中心的图像块的背景特征；/>为以坐标(xj,yj)为中心的图像块的雨特征；Sim(·,·)为用于度量两个特征之间的相似性的函数；τ为温度系数，用于调节特征之间的距离；N为总像素数；
所述根据所述雨层图像和所述背景层图像，获得图像层损失值，包括：
根据所述雨层图像和所述背景层图像，计算重构一致性损失值，所述重构一致性损失值用于约束所述背景层图像和所述雨层图像重构回所述有雨图像；
根据所述雨层图像，计算稀疏性损失值，所述稀疏性损失值用于约束所述雨层图像的稀疏性；
根据所述背景层图像，计算对抗损失值，所述对抗损失值用于约束所述背景层图像骗过判别器；
根据所述重构一致性损失值、所述稀疏性损失值和所述对抗损失值，获得所述图像层损失值；
根据所述雨层图像和所述背景层图像，计算重构一致性损失值时，采用了加法模型J＝I+R，并采用L2范数进行约束，具体表达式为：
其中，J为有雨图像，I为去雨后图像，R为雨层图像。
2.如权利要求1所述的基于多尺度对比学习的无监督图像去雨方法，其特征在于，所述去雨网络的每个分支上均设有多个编码器层和多个解码器层，所述编码器层用于对特征进行下采样，所述解码器层用于对特征进行上采样。
3.基于多尺度对比学习的无监督图像去雨装置，其特征在于，包括：
已训练的去雨网络，所述已训练的去雨网络由预训练模块训练去雨网络获得；
所述预训练模块包括特征提取单元、特征层损失值单元、图像层损失值单元、总损失值单元和迭代单元；
所述特征提取单元用于在每个分支对输入的有雨图像进行多个尺度的编码和解码，在一个分支获得每个尺度的雨特征，在另一个分支获得每个尺度的背景特征；
所述特征层损失值单元用于根据每个尺度的所述雨特征和所述背景特征，获得每个尺度的特征层损失值，所述特征层损失值用于对比学习所述雨特征和所述背景特征；
所述图像层损失值单元用于根据所述雨特征获得雨层图像，根据所述背景特征获得背景层图像，根据所述雨层图像和所述背景层图像，获得图像层损失值；
所述总损失值单元用于根据所述图像层损失值和所有的所述特征层损失值，获得总损失值；
所述迭代单元用于根据所述总损失值迭代优化所述去雨网络的参数，直至所述总损失值收敛，获得所述已训练的去雨网络；
所述特征层损失值单元包括第一对比损失值单元和第二对比损失值单元，所述第一对比损失值单元用于根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，所述第一对比损失值用于约束所述雨特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；所述第二对比损失值单元用于根据目标尺度的所述雨特征和所述背景特征，获得第二对比损失值，所述第二对比损失值用于约束所述背景特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；所述特征层损失值单元根据所述第一对比损失值和所述第二对比损失值，获得目标尺度的特征层损失值；
所述根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，具体表达式为：
其中，为以坐标(xp,yp)为中心的图像块的雨特征；/>为以坐标(xk,yk)为中心的图像块的雨特征；/>为以坐标(xj,yj)为中心的图像块的背景特征；Sim(·,·)为用于度量两个特征之间的相似性的函数；τ为温度系数，用于调节特征之间的距离；N为总像素数；
所述根据目标尺度的所述雨特征和所述背景特征，获得第二对比损失值，具体表达式为：
其中，为以坐标(xp,yp)为中心的图像块的背景特征；/>为以坐标(xk,yk)为中心的图像块的背景特征；/>为以坐标(xj,yj)为中心的图像块的雨特征；Sim(·,·)为用于度量两个特征之间的相似性的函数；τ为温度系数，用于调节特征之间的距离；N为总像素数；
所述根据所述雨层图像和所述背景层图像，获得图像层损失值，包括：
根据所述雨层图像和所述背景层图像，计算重构一致性损失值，所述重构一致性损失值用于约束所述背景层图像和所述雨层图像重构回所述有雨图像；
根据所述雨层图像，计算稀疏性损失值，所述稀疏性损失值用于约束所述雨层图像的稀疏性；
根据所述背景层图像，计算对抗损失值，所述对抗损失值用于约束所述背景层图像骗过判别器；
根据所述重构一致性损失值、所述稀疏性损失值和所述对抗损失值，获得所述图像层损失值；
根据所述雨层图像和所述背景层图像，计算重构一致性损失值时，采用了加法模型J＝I+R，并采用L2范数进行约束，具体表达式为：
其中，J为有雨图像，I为去雨后图像，R为雨层图像。
4.智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于多尺度对比学习的无监督图像去雨程序，所述基于多尺度对比学习的无监督图像去雨程序被所述处理器执行时实现如权利要求1-2任意一项所述基于多尺度对比学习的无监督图像去雨方法的步骤。
5.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于多尺度对比学习的无监督图像去雨程序，所述基于多尺度对比学习的无监督图像去雨程序被处理器执行时实现如权利要求1-2任意一项所述基于多尺度对比学习的无监督图像去雨方法的步骤。
CN202310816937.5A 2023-07-04 2023-07-04 基于多尺度对比学习的无监督图像去雨方法、装置及终端 Active CN116681625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310816937.5A CN116681625B (zh) 2023-07-04 2023-07-04 基于多尺度对比学习的无监督图像去雨方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310816937.5A CN116681625B (zh) 2023-07-04 2023-07-04 基于多尺度对比学习的无监督图像去雨方法、装置及终端

Publications (2)

Publication Number Publication Date
CN116681625A CN116681625A (zh) 2023-09-01
CN116681625B true CN116681625B (zh) 2024-02-02

Family

ID=87789293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310816937.5A Active CN116681625B (zh) 2023-07-04 2023-07-04 基于多尺度对比学习的无监督图像去雨方法、装置及终端

Country Status (1)

Country Link
CN (1) CN116681625B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570376A (zh) * 2019-09-10 2019-12-13 广州工程技术职业学院 一种图像去雨方法、装置、设备和计算机可读存储介质
CN111462013A (zh) * 2020-04-03 2020-07-28 西安交通大学 一种基于结构化残差学习的单图去雨方法
CN112184577A (zh) * 2020-09-17 2021-01-05 西安理工大学 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN112734676A (zh) * 2021-01-20 2021-04-30 北京大学 一种空间尺度泛化的去雨方法
CN113393385A (zh) * 2021-05-12 2021-09-14 广州工程技术职业学院 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN113450278A (zh) * 2021-06-30 2021-09-28 中国矿业大学 一种基于跨域协同学习的图像去雨方法
CN113837290A (zh) * 2021-09-27 2021-12-24 上海大学 一种基于注意力生成器网络的无监督非成对图像翻译方法
CN114549985A (zh) * 2022-02-23 2022-05-27 清华大学 一种基于自监督对比学习的目标检测方法及系统
CN115170414A (zh) * 2022-06-30 2022-10-11 广东工业大学 一种基于知识蒸馏的单幅图像去雨方法及系统
CN115578280A (zh) * 2022-10-18 2023-01-06 三峡大学 一种双分支遥感图像去雾网络的构建方法
CN116205821A (zh) * 2023-04-13 2023-06-02 浙江工业大学 基于垂直条纹特征提取十字卷积的单图去雨方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282827B2 (en) * 2017-08-10 2019-05-07 Wipro Limited Method and system for removal of rain streak distortion from a video

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570376A (zh) * 2019-09-10 2019-12-13 广州工程技术职业学院 一种图像去雨方法、装置、设备和计算机可读存储介质
CN111462013A (zh) * 2020-04-03 2020-07-28 西安交通大学 一种基于结构化残差学习的单图去雨方法
CN112184577A (zh) * 2020-09-17 2021-01-05 西安理工大学 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN112734676A (zh) * 2021-01-20 2021-04-30 北京大学 一种空间尺度泛化的去雨方法
CN113393385A (zh) * 2021-05-12 2021-09-14 广州工程技术职业学院 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN113450278A (zh) * 2021-06-30 2021-09-28 中国矿业大学 一种基于跨域协同学习的图像去雨方法
CN113837290A (zh) * 2021-09-27 2021-12-24 上海大学 一种基于注意力生成器网络的无监督非成对图像翻译方法
CN114549985A (zh) * 2022-02-23 2022-05-27 清华大学 一种基于自监督对比学习的目标检测方法及系统
CN115170414A (zh) * 2022-06-30 2022-10-11 广东工业大学 一种基于知识蒸馏的单幅图像去雨方法及系统
CN115578280A (zh) * 2022-10-18 2023-01-06 三峡大学 一种双分支遥感图像去雾网络的构建方法
CN116205821A (zh) * 2023-04-13 2023-06-02 浙江工业大学 基于垂直条纹特征提取十字卷积的单图去雨方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Multi-Scale Shape Adaptive Network for Raindrop Detection and Removal from a Single Image;Hao Luo等;《Sensors (Basel)》;第20卷(第23期);第1-10页 *
基于局部结构形态改进图像边缘限幅滤波算法研究;孙晓辉 等;《计量学报》;第43卷(第1期);第21-25页 *
基于深度迁移学习的小样本智能变电站电力设备部件检测;马鹏 等;《电网技术》;第44卷(第3期);第1148-1159页 *
基于生成对抗网络的弱光图像增强算法研究;施炀明;《中国博士学位论文全文数据库 信息科技辑》(第3期);第I138-67页 *
织物密度图像检测软件研究;张惠芳 等;《中国纤检》;第2019卷(第8期);第84-86页 *

Also Published As

Publication number Publication date
CN116681625A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN109087258B (zh) 一种基于深度学习的图像去雨方法及装置
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
WO2023082453A1 (zh) 一种图像处理方法及装置
CN115293992B (zh) 基于无监督权重深度模型的偏振图像去雾方法及装置
CN111079764A (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN113269224B (zh) 一种场景图像分类方法、系统及存储介质
CN112308866A (zh) 图像处理方法、装置、电子设备及存储介质
CN109064402B (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN112329801A (zh) 一种卷积神经网络非局部信息构建方法
CN112785636A (zh) 一种多尺度增强式的单目深度估计方法
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN115829942A (zh) 基于非负性约束稀疏自编码器的电子电路缺陷检测方法
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN113177956B (zh) 一种面向无人机遥感影像的语义分割方法
CN116309612B (zh) 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质
CN113962889A (zh) 遥感图像的薄云去除方法、装置、设备及介质
CN113393385A (zh) 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN112734675A (zh) 一种基于金字塔模型和非局部增强密集块的图像去雨方法
CN116681625B (zh) 基于多尺度对比学习的无监督图像去雨方法、装置及终端
CN112183359B (zh) 视频中的暴力内容检测方法、装置及设备
CN115631108A (zh) 一种基于rgbd的图像去雾方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant