CN112862875A - 基于选择性机制注意力机制的雨图去雨方法、系统及设备 - Google Patents

基于选择性机制注意力机制的雨图去雨方法、系统及设备 Download PDF

Info

Publication number
CN112862875A
CN112862875A CN202110060900.5A CN202110060900A CN112862875A CN 112862875 A CN112862875 A CN 112862875A CN 202110060900 A CN202110060900 A CN 202110060900A CN 112862875 A CN112862875 A CN 112862875A
Authority
CN
China
Prior art keywords
wavelet
rain
attention
selective
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110060900.5A
Other languages
English (en)
Other versions
CN112862875B (zh
Inventor
赫然
黄怀波
于艾靖
柴振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110060900.5A priority Critical patent/CN112862875B/zh
Publication of CN112862875A publication Critical patent/CN112862875A/zh
Application granted granted Critical
Publication of CN112862875B publication Critical patent/CN112862875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于数据处理领域，具体涉及了一种基于选择性机制注意力机制的雨图去雨方法、系统及设备，旨在提高去雨质量。本发明方法包括：获取待去雨处理的雨图作为初始输入图像；将初始输入图像，通过基于选择性小波注意力编码器SWAE和选择性小波注意力解码器SWAG的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；SWAE和SWAG跳层连接；SWAE将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；SWAG在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。本发明提高了去雨质量，同时保证了去雨质量的稳定性。

Description

基于选择性机制注意力机制的雨图去雨方法、系统及设备
技术领域
本发明属于数据处理领域，具体涉及了一种基于选择性机制注意力机制的雨图去雨方法、系统及设备。
背景技术
单张图像去雨是图像到图像转换任务的一种，具有一定的商业价值，在自动驾驶、目标检测等工业落地场景都有应用。
单张雨图像包含不同形状、大小、方向、疏密度的雨纹和雨滴以及背景场景。单张图像去雨需要尽可能地去除雨水纹理并恢复干净的背景图。目前的方法采用深度学习技术，利用一些先验信息从单一图像中去除雨纹。例如降雨密度，场景深度，置信图等。除此之外，许多方法利用先进的深度网络结构，如ResNet，DenseNet，金字塔网络等。为了提升去雨效率并获得更好的去雨结果，最近产生了许多基于注意力机制的工作，它们使得模型更关注于雨图中有雨纹的区域。但是，由于雨条纹的表观和积累的多样性，在嵌入空间中很难对雨纹和背景信息进行分离，导致不仅在图像像素域会出现效果不自然的情况，在语义嵌入空间也可能存在内在地重叠。这些具有挑战性的技术难点使得去雨效果还有很大的提升空间。
发明内容
为了解决现有技术中的上述问题，即为了提高去雨质量，本发明的第一方面，提供了一种基于选择性机制注意力机制的雨图去雨方法，包括以下步骤：
步骤S100，获取待去雨处理的雨图作为初始输入图像；
步骤S200，将所述初始输入图像，通过基于选择性小波注意力编码器和选择性小波注意力解码器的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；
其中，
所述选择性小波注意力编码器和所述选择性小波注意力解码器跳层连接；
所述选择性小波注意力编码器，配置为将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；
所述选择性小波注意力解码器，配置为在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。
在一些优选实施方式中，所述去雨网络模型的参数通过生成判别网络模型进行训练获取；
所述生成判别网络模型的生成网络为所述去雨网络模型、判别网络为小波注意力鉴别器；
所述小波注意力鉴别器配置为区分雨图像及该图像通过生成网络获取的无雨图像。
在一些优选实施方式中，所述小波注意力鉴别器基于选择性小波注意力编码器和残差块进行构架，每个选择性小波注意力编码器配置一个侧卷积层，各侧卷积层的输出进行通道串联。
在一些优选实施方式中，所述选择性小波注意力编码器，其对输入特征的处理方法包括：
将输入特征分解为一组小波系数，并对各小波系数进行独立残差处理；
利用输入特征和处理后的小波系数获取小波注意力图；
利用所述小波注意力图来分离输入特征中的雨特征和背景特征；
将输入特征中的雨特征进行下采样。
在一些优选实施方式中，所述选择性小波注意力解码器，其对输入特征的处理方法包括：
对输入特征进行上采样，得到小波系数C；
对所述小波系数C和跳连过来的背景特征进行融合，得到融合后的小波系数Wg；
采用一组并行残差块对融合后的小波系数Wg进行独立的细化，并进行小波重建。
在一些优选实施方式中，所述小波嵌入块采用1级haar小波。
本发明的第二方面，提出了一种基于选择性机制注意力机制的雨图去雨系统，包括图雨图取单元、去雨处理单元；
所述雨图获取单元，配置为获取待去雨处理的雨图作为初始输入图像；
所述去雨处理单元，配置为将所述初始输入图像，通过基于选择性小波注意力编码器和选择性小波注意力解码器的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；
其中，
所述选择性小波注意力编码器和所述选择性小波注意力解码器跳层连接；
所述选择性小波注意力编码器，配置为将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；
所述选择性小波注意力解码器，配置为在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。
在一些优选实施方式中，所述选择性小波注意力编码器包括小波嵌入块、注意力估计块、注意力选择块和小波池化块；
所述小波嵌入块，配置为将输入特征分解为一组小波系数，并对各小波系数进行独立残差处理；
所述注意力估计块，配置为利用输入特征和处理后的小波系数获取小波注意力图；
所述注意力选择块，配置为利用所述小波注意力图来分离输入特征中的雨特征和背景特征；
所述小波池化块，配置为将输入特征中的雨特征进行下采样。
在一些优选实施方式中，所述选择性小波注意力解码器包括小波反池化块、小波融合块、小波精细化块；
所述小波反池化块，配置为对输入特征进行上采样，得到小波系数C；
所述小波融合块，配置为对所述小波系数C和跳连过来的背景特征进行融合，得到融合后的小波系数Wg；
所述小波精细化块，配置为采用一组并行残差块对融合后的小波系数Wg进行独立的细化，并进行小波重建。
本发明的第三方面，提出了一种设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述任一项所述的基于选择性机制注意力机制的雨图去雨方法。
本发明的第四方面，提出了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述任一项所述的基于选择性机制注意力机制的雨图去雨方法。
本发明的有益效果：
1、本发明提高了雨图的去雨质量，保证了去雨质量的稳定性。
2、通过学习小波注意力图来指导不同尺度下的雨和背景信息在嵌入空间中的分离，使得模型的去雨性能更好并且泛化能力更强。
3、本发明中小波池化和去池化有效的提高了背景场景细节的恢复。
4、本发明中去雨网络模型的训练采用基于选择性小波注意力的生成对抗性网络，为真实感图像合成提供了一种有效的生成对抗方法。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一实施例中的去雨网络模型结构示意图；
图2是本发明一实施例中的残差块结构示意图；
图3是本发明一实施例中选择性小波注意力编码器结构示意图；
图4是本发明一实施例中二维离散小波变换示意图；
图5是本发明一实施例中选择性小波注意力解码器结构示意图；
图6是本发明一实施例中选择性小波注意力判别器结构示意图；
图7是是本发明在数据库DDN上进行去雨的实例。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
通过分析，发现雨纹会改变图像的空间内容信息和频率特性，会使得背景场景中的纹理细节更加平滑并在前景中添加高频边缘信息。而小波变换已经被证明可以有效地表示多尺度图像的空间和频率统计信息，低频小波(即近似系数)捕捉图像的全局内容信息，高频小波(即细节系数)描述图像的结构和边缘细节。因此，利用小波变换可以准确地估计降雨的大小、形状、方向和密度等空间和频率特征。
本发明提供一种基于选择性机制注意力机制的雨图去雨方法，包括以下步骤：
步骤S100，获取待去雨处理的雨图作为初始输入图像；
步骤S200，将所述初始输入图像，通过基于选择性小波注意力编码器和选择性小波注意力解码器的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；
其中，
所述选择性小波注意力编码器和所述选择性小波注意力解码器跳层连接；
所述选择性小波注意力编码器，配置为将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；
所述选择性小波注意力解码器，配置为在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。
为了更清晰地对本发明进行说明，下面结合附图从去雨网络模型、生成判别网络、去雨方法三个方面对基于选择性机制注意力机制的雨图去雨方法进行描述。
1、去雨网络模型
本实施例中的去雨网络模型如图1所示为基于选择性小波注意力编码器和选择性小波注意力解码器的残差网络架构，其中的归一化层，如BatchNorm，和最后的非线性激活被忽略。
选择性小波注意力编码器(Selective Wavelet Attention Encoder，SWAE)和选择性小波注意力解码器(Selective Wavelet Attention Generator，SWAG)跳层连接。选择性小波注意力编码器为多个(SWAE-1，…，SWAE-5)，进行分层串行设置，每个所述选择性小波注意力编码器后设置一个残差块(残差块结构如图2所示)；选择性小波注意力解码器与选择性小波注意力编码器数量对应(SWAG-5，…，SWAG-1)，同样进行分层串行设置，每个所述选择性小波注意力解码器前设置一个残差块；去雨网络中选择性小波注意力编码器根据其输出特征维度，与维度相同的输入特征对应的选择性小波注意力解码器跳层连接。
选择性小波注意力编码器，配置为将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间。输入特征通过选择性小波注意力编码器提取小波域的雨特征和背景特征，并利用残差块对雨特征进行进一步处理。由于雨特征已经通过SWAE进行了向下采样，反复重复上述过程可以在多个尺度上逐步挖掘雨和背景信息。SWAE-1的输入特征为获取的雨图像，也即初始输入图像。
选择性小波注意力解码器，配置为在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。第一层选择性小波注意力解码器以选择性小波注意力编码器中最高级别的雨特性作为输入。SWAG从输入特征和相应SWAG中分离的背景特征恢复干净的背景特征。由于通过SWAG上采样特征，重复上述操作将最终恢复与输入的雨图像相同大小的干净图像。值得注意的是，图1中通过跳层连接(Skip-Connection)跳层转移的特征是特定尺度下的背景特征。它们有明确的物理意义，这与传统的编码器-解码器架构不同。
本发明中为了准确地保留背景的纹理细节，我们在选择小波注意力编码器和选择小波注意力解码器中采用小波池化和去池化的方法来代替常见的上采样和下采样操作。既保留了背景的高频细节信息，又保留了低频信息。
(1)选择性小波注意力编码器
选择性小波注意力编码器，如图3所示包括小波嵌入块、注意力估计块、注意力选择块和小波池化块；小波嵌入块，配置为将输入特征分解为一组小波系数，并对各小波系数进行独立残差处理；意估计块，配置为利用输入特征和处理后的小波系数获取小波注意力图；注意力选择块，配置为利用所述小波注意力图来分离输入特征中的雨特征和背景特征；小波池化块，配置为将输入特征中的雨特征进行下采样。
本实施例中，选择性小波注意力编码器对输入特征的处理方法包括：
步骤S211，将输入特征分解为一组小波系数，并对各小波系数进行独立残差处理。
首先，如图4所示，使用1级小波变换将图像特征
Figure BDA0002902557160000091
Figure BDA0002902557160000092
变换为一组小波系数
Figure BDA0002902557160000093
本发明选用1级haar小波，其中
Figure BDA0002902557160000094
来进行特征空间的小波变换。给定一个3D特征
Figure BDA0002902557160000095
生成的小波w由四个分量组成，即近似系数Wa和三个细节系数Wv、Wh、Wd，每个细节系数都缩小为
Figure BDA0002902557160000096
Figure BDA0002902557160000097
为实数域，cin为输入特征通道数目，h为特征图长度，w为特征图宽度，hlow为haar低频滤波核参数，hhigh为haar高频滤波核参数。
然后，利用一组平行残差块RB独立提取各小波系数的特征。通过小波嵌入块，将输入特征F映射为
Figure BDA0002902557160000098
其中cout是残差块的输出特征通道数目。提取的特征We′在空间和频域上代表雨的特征信息，具有扩展的信道大小和下采样的空间大小。
步骤S212，利用输入特征和处理后的小波系数获取小波注意力图。
从输入特征F和小波嵌入W′e中预测小波注意力图
Figure BDA0002902557160000099
首先利用步进卷积将F映射到与单一系数We′相同大小的特征空间
Figure BDA00029025571600000910
Figure BDA00029025571600000911
然后进行激活。再将F′和W′e串联到一系列卷积层、激活层、卷积层和sigmoid层中，计算出小波注意力图A。小波注意力图A让网络知道去雨应该向哪个区域以及哪个频率集中。
步骤S213，利用所述小波注意力图来分离输入特征中的雨特征和背景特征。
由小波注意力图A指导，注意力选择块生成雨特征
Figure BDA00029025571600000912
Figure BDA00029025571600000913
以及无雨的背景特征
Figure BDA00029025571600000914
由于A由4个子注意力图组成，每个子注意力图表示We′对应系数的多雨程度，因此在每个子注意力图与其对应系数的每个特征图之间进行元素乘法，称为小波乘。进而得到了雨特征R，保留了雨区域和雨频率，减少了非雨成分。同时，将小波变换后的雨特征R去除得到背景特征B。注意力选择的定义可以表述为
R＝W′e⊙A
B＝W′e-R
步骤S214，将输入特征中的雨特征进行下采样。
通过小波池化块压缩雨特征的维数，以降低后续块的计算复杂度。本实施例采用1×1卷积将R映射到特征空间
Figure BDA0002902557160000101
值得注意的是，小波嵌入块和小波池化块以及它们之间的函数构成小波池,对输入特征
Figure BDA0002902557160000102
进行变换到输出特征
Figure BDA0002902557160000103
(2)选择性小波注意力解码器
选择性小波注意力解码器，如图5所示，包括小波反池化块、小波融合块、小波精细化块；小波反池化块，配置为对输入特征进行上采样，得到小波系数C；小波融合块，配置为对所述小波系数C和跳连过来的背景特征进行融合，得到融合后的小波系数Wg；小波精细化块，配置为采用一组并行残差块对融合后的小波系数Wg进行独立的细化，并进行小波重建。
本实施例中，选择性小波注意力解码器，其对输入特征的处理方法包括：
步骤S221，对输入特征进行上采样，得到小波系数C。
小波解池化块将前一层的输入特征
Figure BDA0002902557160000104
变换到小波系数空间
Figure BDA0002902557160000105
采用1×1卷积将输入特征I投影到C，将信息散射到一组小波系数中。小波解池化块与上述的小波池化块相反。
步骤S222，对所述小波系数C和跳连过来的背景特征进行融合，得到融合后的小波系数Wg。
假定雨已经在先前的层里准确地移除且C是干净的，无雨特征以及富含丰富背景信息的
Figure BDA0002902557160000111
可以通过简单的求和公式得到，可定义为
Wg＝C+B
步骤S223，采用一组并行残差块对融合后的小波系数Wg进行独立的细化，并进行小波重建。
将Wg投射到特征空间
Figure BDA0002902557160000112
其中cout是残差块的输出通道大小。使用1级小波重构生成上采样大小的最终干净特征
Figure BDA0002902557160000113
Figure BDA0002902557160000114
与选择小波注意力编码器块中的小波池化类似，小波反池化块、小波重构以及二者之间的函数构成了小波池化的整个过程。
2、生成判别网络
为了进一步提高去雨图像的视觉真实感，本发明对上述去雨网络模型引入了条件对抗学习以获取最优网络参数。本实施例中的生成判别网络模型的生成网络为上述去雨网络模型、判别网络(判别器)为小波注意力鉴别器(如图6所示)，小波注意力鉴别器配置为区分雨图像及该图像通过生成网络获取的无雨图像。判别器在预测无雨图像的真/假可能性时考虑了输入的雨图像，确保生成网络合成的细节以输入的雨图像为条件。
(1)判别网络构建
小波注意力鉴别器基于选择性小波注意力编码器和残差块进行构架，每个选择性小波注意力编码器配置一个侧卷积层，各侧卷积层的输出进行通道串联。
本实施例用一系列选择性小波注意力编码器加上残差块来获取多尺度特征。在每个选择性小波注意力编码器上加一个侧卷积层，利用当前尺度下的背景特征B来预测输入图像的真伪。这里背景特征B捕捉到的信息可以揭示在特定尺度下真实图像和生成图像之间的差异。因此，利用选择性小波注意力编码器估计的小波注意力图可以帮助判别器D根据特征尺度对嵌入空间中的信息进行分离。最后，将侧卷积层输出的特征进行拼接，通过Sigmoid层将其转换为取值范围[0,1]。最终的特征映射中的每一个值都代表了特定空间区域在特定尺度下的真实度，这使得判别器D能够对生成网络进行全局和局部的正则化。
(2)生成对抗网络损失函数
判别器D和生成网络G的优化对象定义为
Figure BDA0002902557160000121
其中，x和y是雨天图像和干净图像的配对数据，G(x)是生成的去雨图像，pdata表示数据分布，
Figure BDA0002902557160000124
表示数学期望。
本实施例，采用最小二乘生成判别网络(LSGANs)的方式来训练网络。判别器的损失函数LD和生成网络的对抗性损失函数Ladv分别定义为：
Figure BDA0002902557160000122
Figure BDA0002902557160000123
其中，x和y是雨图像和无雨图像的配对数据，G(x)是生成的去雨图像，L是判别D输出的特征映射的大小。
本实施例采用逐像素回归损失函数Lpixel来监督生成网络G，生成的干净图像G(x)在像素空间上接近于无雨标签图像y，表示为，
Lpixel＝||G(x)-y||1
综上所述，所提出的生成网络的整体损失函数LG是像素级损失和对抗性损失的加权和，定义为
LG＝Lpixel+λLadv
其中，λ是一个来平衡每一项的超参数，本实施例中可以采用0.001。
3、去雨方法
基于上述的去雨网络模型，通过上述生成判别网络获取训练后的参数，从而得到用于去雨处理的网络模型，在此基础上，去雨方法包括
获取待去雨处理的雨图；
对待去雨处理的雨图进行预处理，得到初始输入图像；
将所述初始输入图像，通过训练后的去雨网络模型，进行去雨处理，得到去雨后的图像。
通过本本实施例的去雨方法，在数据库DDN上进行去雨测试，测试结果如图7所示，其中第一列为输入的雨图片，第二列为实际背景图，第三列为去雨结果。
说明书附图中单一残差块表示为RB，多个残差块构成的网络模块表示为RBs。
本发明第二实施例的一种基于选择性机制注意力机制的雨图去雨系统，包括图雨图取单元、去雨处理单元；
所述雨图获取单元，配置为获取待去雨处理的雨图作为初始输入图像；
所述去雨处理单元，配置为将所述初始输入图像，通过基于选择性小波注意力编码器和选择性小波注意力解码器的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；
其中，
所述选择性小波注意力编码器和所述选择性小波注意力解码器跳层连接；
所述选择性小波注意力编码器，配置为将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；
所述选择性小波注意力解码器，配置为在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于选择性机制注意力机制的雨图去雨系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述基于选择性机制注意力机制的雨图去雨方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述基于选择性机制注意力机制的雨图去雨方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (11)

1.一种基于选择性机制注意力机制的雨图去雨方法，其特征在于，包括以下步骤：
步骤S100，获取待去雨处理的雨图作为初始输入图像；
步骤S200，将所述初始输入图像，通过基于选择性小波注意力编码器和选择性小波注意力解码器的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；
其中，
所述选择性小波注意力编码器和所述选择性小波注意力解码器跳层连接；
所述选择性小波注意力编码器，配置为将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；
所述选择性小波注意力解码器，配置为在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。
2.根据权利要求1所述的基于选择性机制注意力机制的雨图去雨方法，其特征在于，所述去雨网络模型的参数通过生成判别网络模型进行训练获取；
所述生成判别网络模型的生成网络为所述去雨网络模型、判别网络为小波注意力鉴别器；
所述小波注意力鉴别器配置为区分雨图像及该图像通过生成网络获取的无雨图像。
3.根据权利要求2所述的基于选择性机制注意力机制的雨图去雨方法，其特征在于，所述小波注意力鉴别器基于选择性小波注意力编码器和残差块进行构架，每个选择性小波注意力编码器配置一个侧卷积层，各侧卷积层的输出进行通道串联。
4.根据权利要求1所述的基于选择性机制注意力机制的雨图去雨方法，其特征在于，所述选择性小波注意力编码器，其对输入特征的处理方法包括：
将输入特征分解为一组小波系数，并对各小波系数进行独立残差处理；
利用输入特征和处理后的小波系数获取小波注意力图；
利用所述小波注意力图来分离输入特征中的雨特征和背景特征；
将输入特征中的雨特征进行下采样。
5.根据权利要求4所述的基于选择性机制注意力机制的雨图去雨方法，其特征在于，所述选择性小波注意力解码器，其对输入特征的处理方法包括：
对输入特征进行上采样，得到小波系数C；
对所述小波系数C和跳连过来的背景特征进行融合，得到融合后的小波系数Wg；
采用一组并行残差块对融合后的小波系数Wg进行独立的细化，并进行小波重建。
6.根据权利要求4所述的基于选择性机制注意力机制的雨图去雨方法，其特征在于，所述小波嵌入块采用1级haar小波。
7.一种基于选择性机制注意力机制的雨图去雨系统，其特征在于，包括图雨图取单元、去雨处理单元；
所述雨图获取单元，配置为获取待去雨处理的雨图作为初始输入图像；
所述去雨处理单元，配置为将所述初始输入图像，通过基于选择性小波注意力编码器和选择性小波注意力解码器的残差网络架构的去雨网络模型，进行去雨处理，得到去雨后的图像；
其中，
所述选择性小波注意力编码器和所述选择性小波注意力解码器跳层连接；
所述选择性小波注意力编码器，配置为将包含雨和背景信息的特征转化为小波域，根据估计的选择性小波注意力图，在小波池化下采样前将特征分解为雨和背景空间；
所述选择性小波注意力解码器，配置为在小波域中融合前一层的输出特征和跳连过来的背景特征，通过小波解池化进行上采样。
8.根据权利要求7所述的基于选择性机制注意力机制的雨图去雨系统，其特征在于，所述选择性小波注意力编码器包括小波嵌入块、注意力估计块、注意力选择块和小波池化块；
所述小波嵌入块，配置为将输入特征分解为一组小波系数，并对各小波系数进行独立残差处理；
所述注意力估计块，配置为利用输入特征和处理后的小波系数获取小波注意力图；
所述注意力选择块，配置为利用所述小波注意力图来分离输入特征中的雨特征和背景特征；
所述小波池化块，配置为将输入特征中的雨特征进行下采样。
9.根据权利要求8所述的基于选择性机制注意力机制的雨图去雨系统，其特征在于，所述选择性小波注意力解码器包括小波反池化块、小波融合块、小波精细化块；
所述小波反池化块，配置为对输入特征进行上采样，得到小波系数C；
所述小波融合块，配置为对所述小波系数C和跳连过来的背景特征进行融合，得到融合后的小波系数Wg；
所述小波精细化块，配置为采用一组并行残差块对融合后的小波系数Wg进行独立的细化，并进行小波重建。
10.一种设备，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-6任一项所述的基于选择性机制注意力机制的雨图去雨方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-6任一项所述的基于选择性机制注意力机制的雨图去雨方法。
CN202110060900.5A 2021-01-18 2021-01-18 基于选择性机制注意力机制的雨图去雨方法、系统及设备 Active CN112862875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110060900.5A CN112862875B (zh) 2021-01-18 2021-01-18 基于选择性机制注意力机制的雨图去雨方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110060900.5A CN112862875B (zh) 2021-01-18 2021-01-18 基于选择性机制注意力机制的雨图去雨方法、系统及设备

Publications (2)

Publication Number Publication Date
CN112862875A true CN112862875A (zh) 2021-05-28
CN112862875B CN112862875B (zh) 2022-02-15

Family

ID=76006159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110060900.5A Active CN112862875B (zh) 2021-01-18 2021-01-18 基于选择性机制注意力机制的雨图去雨方法、系统及设备

Country Status (1)

Country Link
CN (1) CN112862875B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869181A (zh) * 2021-09-24 2021-12-31 电子科技大学 一种选择池化核结构的无人机目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018022385A (ja) * 2016-08-04 2018-02-08 学校法人東京電機大学 画像処理装置、画像処理方法、および画像処理プログラム
CN110992275A (zh) * 2019-11-18 2020-04-10 天津大学 一种基于生成对抗网络的细化单幅图像去雨方法
CN111047541A (zh) * 2019-12-30 2020-04-21 北京工业大学 一种基于小波变换注意力模型的图像修复方法
CN111145112A (zh) * 2019-12-18 2020-05-12 华东师范大学 一种基于残差对抗细化网络的两阶段图像去雨方法及系统
CN112070690A (zh) * 2020-08-25 2020-12-11 西安理工大学 基于卷积神经网络双分支注意力生成的单幅图像去雨方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018022385A (ja) * 2016-08-04 2018-02-08 学校法人東京電機大学 画像処理装置、画像処理方法、および画像処理プログラム
CN110992275A (zh) * 2019-11-18 2020-04-10 天津大学 一种基于生成对抗网络的细化单幅图像去雨方法
CN111145112A (zh) * 2019-12-18 2020-05-12 华东师范大学 一种基于残差对抗细化网络的两阶段图像去雨方法及系统
CN111047541A (zh) * 2019-12-30 2020-04-21 北京工业大学 一种基于小波变换注意力模型的图像修复方法
CN112070690A (zh) * 2020-08-25 2020-12-11 西安理工大学 基于卷积神经网络双分支注意力生成的单幅图像去雨方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUDONG MAO,ET AL.: "Least Squares Generative Adversarial Networks", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869181A (zh) * 2021-09-24 2021-12-31 电子科技大学 一种选择池化核结构的无人机目标检测方法
CN113869181B (zh) * 2021-09-24 2023-05-02 电子科技大学 一种选择池化核结构的无人机目标检测方法

Also Published As

Publication number Publication date
CN112862875B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN112465828B (zh) 一种图像语义分割方法、装置、电子设备及存储介质
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
JP2022518322A (ja) ソフトクロスエントロピー損失を用いたセマンティックセグメンテーション
JP7036610B2 (ja) 学習方法およびプログラム
CN112581409B (zh) 一种基于端到端的多重信息蒸馏网络的图像去雾方法
Zhou et al. FSAD-Net: feedback spatial attention dehazing network
CN111951195A (zh) 图像增强方法及装置
CN112132770A (zh) 图像修复的方法、装置、计算机可读介质及电子设备
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN115565154A (zh) 可行域预测方法、装置、系统和存储介质
CN112862875B (zh) 基于选择性机制注意力机制的雨图去雨方法、系统及设备
Parihar et al. Densely connected convolutional transformer for single image dehazing
CN115965559A (zh) 面向森林场景的一体化航拍图像增强方法
CN115272438A (zh) 一种面向三维场景重建的高精度单目深度估计系统及方法
Hoang et al. Transer: Hybrid model and ensemble-based sequential learning for non-homogenous dehazing
Wang et al. An ensemble multi-scale residual attention network (EMRA-net) for image Dehazing
Ren et al. Unsupervised single image dehazing with generative adversarial network
CN113837941A (zh) 图像超分模型的训练方法、装置及计算机可读存储介质
CN112085680A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN117079117A (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
CN116310868A (zh) 一种多层次注意力交互的云雪辩识方法、设备及存储介质
He et al. Single maritime image dehazing using unpaired adversarial learning
CN117576483B (zh) 基于多尺度卷积自编码器的多源数据融合地物分类方法
Du et al. Dehazing Network: Asymmetric Unet Based on Physical Model
CN117036895B (zh) 基于相机与激光雷达点云融合的多任务环境感知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant