CN110288535B - 一种图像去雨方法和装置 - Google Patents

Abstract

本发明公开了一种图像去雨方法和装置，所述方法包括：利用编码器网络输出有雨图像的编码特征图像；根据所述编码特征图像利用注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像；根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述有雨图像的去雨图像。应用本发明可以更有效地去除图像中的雨滴，更好地保留图像原始信息，提高去雨图像质量。

Description

一种图像去雨方法和装置

技术领域

本发明涉及图像处理领域，特别是指一种图像去雨方法和装置。

背景技术

对图片和视频的去雨研究是计算机视觉和图像处理领域的一个重要课题。恶劣的天气条件会造成一系列可见度下降，改变图像的内容和颜色。这样的信号失真和细节损失导致许多应用于室外的计算机视觉应用失败，这些计算机视觉应用通常以高质量的图像作为输入。而图像中的雨滴会在图像小区域内造成严重的强度波动，从而造成图像的模糊，使得有雨图像无法应用于众多计算机视觉应用。因此，对图像去雨的研究具有重要的现实意义。

现有的图像去雨的方法主要有三种：1.基于图像处理知识的去雨方法；2.基于稀疏编码、字典学习的去雨方法；3.基于深度学习的去雨方法。

根据有雨图像的物理模型，有雨图像可以看作两层:无雨层和雨水层，将雨水层从原图像中分离出来，留下无雨层就可以得到去雨的图像。大多数现有的方法都是使用低级图像特征将雨水层与原始图像分开，存在无法完全去雨，不能很好地保留原始图像结构内容信息，去雨后图像模糊等问题。

发明内容

本发明提出了一种图像去雨方法和装置，可以更有效地去除图像中的雨滴，更好地保留图像原始信息，提高去雨图像质量。

基于上述目的，本发明提供一种图像去雨方法，包括：

利用编码器网络输出有雨图像的编码特征图像；

根据所述编码特征图像利用注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像；

根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述有雨图像的去雨图像。

其中，所述编码器网络、注意力模型和解码器网络组成的图像去雨模型的训练方法如下：

获取多对训练样本，其中一对训练样本为同一场景的有雨图像和无雨图像；

将同一场景的有雨图像和无雨图像做差后得到指示有雨区域的注意力掩码图像；

根据所述训练样本以及得到的指示有雨区域的注意力掩码对所述图像去雨模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。

其中，在一次调整所述编码器网络、注意力模型和解码器网络的参数过程中，具体包括：

将一对训练样本中的有雨图像输入到所述图像去雨模型，并根据所述图像去雨模型输出的去雨图像与该对训练样本中的无雨图像的差异，调整所述图像去雨模型中的编码器网络和解码器网络的参数；

根据所述图像去雨模型中的注意力模型输出的最后一个注意力特征图像和根据该对训练样本得到的指示有雨区域的注意力掩码的差异，调整所述注意力模型的参数。

较佳地，在一次调整所述编码器网络、注意力模型和解码器网络的参数后，还包括：

将所述图像去雨模型输出的去雨图像和对应的无雨图像输入到图像判别模型进行真实性判断；

根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；

在所述图像判别模型的判别能力达到要求，并判断所述图像去雨模型输出的去雨图像为真实时，结束所述训练过程。

其中，所述编码器网络包括多层卷积层；以及

所述利用编码器网络输出有雨图像的编码特征图像，具体包括：

将所述有雨图像输入到所述编码器网络的第一层卷积层进行卷积运算得到该卷积层输出的编码特征图像；

当前的卷积层对前一层的卷积层输出的编码特征图像进行卷积运算，得到当前的卷积层输出的编码特征图像；

最后一层卷积层的输出为所述有雨图像的编码特征图像。

其中，所述注意力模型包括多层转置卷积层；以及

所述利用注意力模型输出所述编码特征图像的注意力特征图像，具体包括：

将所述有雨图像的编码特征图像输入到所述注意力模型的第一层转置卷积层进行转置卷积运算输出该层的注意力特征图像；

所述注意力模型中当前的转置卷积层对前一层的转置卷积层输出的注意力特征图像进行转置卷积运算，得到当前的转置卷积层输出的注意力特征图像；

所述注意力模型中最后一层转置卷积层的输出为所述有雨图像的指示有雨区域的注意力特征图像。

其中，所述解码器网络包括多层转置卷积点乘层；以及

所述根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述有雨图像的去雨图像，具体包括：

将所述有雨图像的编码特征图像以及所述注意力模型中第一层转置卷积层输出的注意力特征图像，输入到所述解码器网络的第一层转置卷积点乘层；第一层转置卷积点乘层对输入的编码特征图像进行转置卷积运算得到该层的中间过程特征图像，进而将得到的中间过程特征图像与输入的注意力特征图像进行点乘运算得到该层的注意力加权的特征图像；

所述解码器网络中当前的转置卷积点乘层对前一层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，将运算得到的中间过程特征图像与所述注意力模型中对应层的转置卷积层输出的注意力特征图像进行点乘运算后，得到当前的转置卷积点乘层输出的注意力加权的特征图像；

所述解码器网络中最后一层转置卷积点乘层的输出为所述有雨图像的去雨图像。

本发明还提供一种图像去雨装置，包括：

编码器网络，用于输出有雨图像的编码特征图像；

注意力模型，用于根据所述编码特征图像输出所述有雨图像的指示有雨区域的注意力特征图像；

解码器网络，用于根据所述编码特征图像以及注意力特征图像输出所述有雨图像的去雨图像。

进一步，所述装置还包括：

训练模块，用于获取多对训练样本，其中一对训练样本为同一场景的有雨图像和无雨图像；将同一场景的有雨图像和无雨图像做差后得到指示有雨区域的注意力掩码；根据所述训练样本以及得到的指示有雨区域的注意力掩码对所述图像去雨模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。

较佳地，所述训练模块还用于在一次调整所述编码器网络、注意力模型和解码器网络的参数后，将所述图像去雨模型输出的去雨图像和对应的无雨图像输入到图像判别模型进行真实性判断；根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；在所述图像判别模型的判别能力达到要求，并判断所述图像去雨模型输出的去雨图像为真实时，结束所述训练过程。

本发明的技术方案中，将能够指示有雨区域的注意力模型嵌入到编码器网络与解码器网络之间，从而找到有雨图像的有雨区域，更加精确地对有雨区域进行去雨和细节恢复，可以更有效地去除图像中的雨滴，进一步提高了图像去雨的效果，改善了去雨后图像模糊和对雨水去除不干净的问题。

此外，本发明所述方法和装置充分利用深度学习的卷积神经网络，能够对图像低频特征和高频特征进行更有效的提取和处理，更好地保留图像原始信息，进一步提高了去雨目标图像的质量。

更优地，在训练图像去雨模型的同时还可训练图像判别模型，使得图像判别模型的判别能力达到要求；并且在图像判别模型的判别能力达到要求后，继续训练图像去雨模型，图像去雨模型输出的去雨图像被图像判别模型判断为真实时，说明图像去雨模型可以生成真实度很高的去雨图像，从而使得图像去雨模型能够输出更高质量的去雨图像。

附图说明

图1为本发明实施例提供的一种图像去雨方法的流程图；

图2为本发明实施例提供的一种图像去雨模型的结构示意图；

图3为本发明实施例提供的一种图像去雨模型的训练方法流程图；

图4为本发明实施例提供的根据获取的训练样本以及得到的注意力掩码对所述图像去雨模型进行训练的一种具体方法流程图；

图5为本发明实施例提供的一种图像去雨装置的内部结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

本发明的技术方案中，将能够指示有雨区域的注意力模型嵌入到编码器网络与解码器网络之间，从而找到有雨图像的有雨区域，更加精确地对有雨区域进行去雨和细节恢复，可以更有效地去除图像中的雨滴，进一步提高了图像去雨的效果，改善了去雨后图像模糊和对雨水去除不干净的问题。

此外，本发明所述方法和装置充分利用深度学习的卷积神经网络，能够对图像低频特征和高频特征进行更有效的提取和处理，加强了对图像特征的提取和学习，使模型泛化能力提高，更好地保留图像原始信息，进一步提高了去雨目标图像的质量。

下面结合附图详细说明本发明实施例的技术方案。

本发明实施例提供的一种图像去雨方法，流程如图1所示，包括如下步骤：

步骤S101：利用编码器网络输出有雨图像的编码特征图像。

本步骤中，将拍摄的有雨图像输入到预先训练得到的图像去雨模型中；图像去雨模型中的编码器网络可以根据输入的有雨图像输出该有雨图像的编码特征图像。其中，图像去雨模型如图2所示，包括编码器网络、注意力模型和解码器网络；也就是说，图像去雨模型是由编码器网络、注意力模型和解码器网络组成。

编码器网络可以为残差神经网络(Residual Neural Network,Resnet)。可以理解的是，残差神经网络通过前向神经网络和直连通道(shortcut)连接实现，shortcut连接通过直接将输入信息绕道传到输出，保护了信息的完整性，进行了简单的恒等映射，不会产生额外的参数，也不会增加计算复杂度。残差网络更容易优化。

编码器网络包括多层卷积层；每层卷积层的卷积核大小和卷积步长可以根据具体的场景设定。例如，可以采用卷积核大小为(3×3)，步长为(2×2)的卷积层对有雨图像根据预设的参数进行卷积运算，得到该卷积层输出的编码特征图像。这些卷积层的作用是进行低频特征和高频特征的提取。每经过一个卷积层得到一个尺寸特定的编码特征图像，最终得到的编码特征图像充分包含了有雨图像的低频和高频特征。可以理解的是，由于卷积运算的平移不变性，在该编码特征图中，所有物体之间的相对位置与在有雨图像中是相同的。其中，编码器网络中各卷积层中的参数是在训练图像去雨模型时调整预设的。

具体地，如图2所示，可以将所述有雨图像输入到所述编码器网络的第一层卷积层进行卷积运算得到该卷积层输出的编码特征图像；之后，当前的卷积层对前一层的卷积层输出的编码特征图像进行卷积运算，得到当前的卷积层输出的编码特征图像，当前的卷积层输出的编码特征图像的大小为前一卷积层输出编码特征图像的一半；从而提取出相比于前一层的卷积层输出的编码特征图像更高级的图像特征；例如，第i+1层的卷积层对第i层的卷积层输出的编码特征图像进行卷积运算，得到第i+1层输出的编码特征图像，第i+1层输出的编码特征图像的大小为第i层的卷积层输出编码特征图像的一半。其中，编码器网络中卷积层的层数为N，i为1～N-1的自然数。最后一层卷积层的输出为所述有雨图像的编码特征图像。

编码器网络中不同的卷积层输出的编码特征图像大小不同，最后一层卷积层输出的编码特征图像尺寸最小，包含了原始图像的高级特征。

更优地，编码器网络还可将每个卷积层运算得到的编码特征图像向注意力模型输出。

步骤S102：根据所述编码特征图像利用图像去雨模型中的能够指示有雨区域的注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像。

本步骤中，将编码器网络输出的所述有雨图像的编码特征图像输入到图像去雨模型中的注意力模型。

注意力模型包括多层转置卷积层；每层转置卷积层的卷积核大小和卷积步长可以根据具体的场景设定。例如，可以采用卷积核大小为(3×3)，步长为(2×2)的转置卷积层对编码特征图像进行转置卷积运算，得到该转置卷积层输出的注意力特征图像。其中，注意力模型中各转置卷积层中的参数是在训练图像去雨模型时调整预设的。

具体地，如图2所示，可以将编码器网络最后一层卷积层输出的有雨图像的编码特征图像，输入到所述注意力模型的第一层转置卷积层，第一层转置卷积层对输入进行转置卷积运算输出该层的注意力特征图像；之后，所述注意力模型中当前的转置卷积层对前一层的转置卷积层输出的注意力特征图像进行转置卷积运算，得到当前的转置卷积层输出的注意力特征图像；当前的转置卷积层输出的注意力特征图像大小为前一层的转置卷积层输出的注意力特征图像大小的2倍；例如，注意力模型中第i+1层的转置卷积层对第i层的转置卷积层输出的注意力特征图像进行转置卷积运算，得到第i+1层转置卷积层输出的注意力特征图像，第i+1层转置卷积层输出的注意力特征图像大小为第i层转置卷积层输出的注意力特征图像大小的2倍。其中，注意力模型中转置卷积层的层数为N，i为1～N-1的自然数。所述注意力模型最后一层转置卷积层的输出为所述有雨图像的指示有雨区域的注意力特征图像。

注意力模型中不同的转置卷积层输出的注意力特征图像大小不同。注意力模型中最后一层转置卷积层的输出的注意力特征图像与输入到图像去雨模型的有雨图像尺寸相同。

更优地，注意力模型的每层转置卷积层在进行转置卷积运算时还可融合编码器网络对应层的卷积层输出的编码特征图像，例如，注意力模型的第i层转置卷积层在进行转置卷积运算时还可融合编码器网络的第N+1-i层的卷积层输出的编码特征图像。其中，注意力模型中转置卷积层的层数为N，i为1～N-1的自然数。

步骤S103：根据编码器网络输出的编码特征图像以及注意力模型输出的注意力特征图像利用解码器网络输出所述有雨图像的去雨图像。

本步骤中，将编码器网络输出的编码特征图像以及注意力模型输出的注意力特征图像，输入到图像去雨模型的解码器网络中。

解码器网络包括多层转置卷积点乘层；每层转置卷积点乘层的卷积核大小和卷积步长可以根据具体的场景设定。例如，可以采用卷积核大小为(3×3)，步长为(2×2)的转置卷积点乘层对编码特征图像进行转置卷积运算，得到中间特征图像，进而将中间特征图像再与注意力模型对应层的转置卷积层输出的注意力特征图像进行点乘运算，得到本转置卷积点乘层输出的注意力加权的特征图像。

具体地，如图2所示，将编码器网络输出的有雨图像的编码特征图像以及所述注意力模型中第一层转置卷积层输出的注意力特征图像，输入到所述解码器网络的第一层转置卷积点乘层；第一层转置卷积点乘层对输入的编码特征图像进行转置卷积运算得到该层的中间过程特征图像，将得到的中间过程特征图像与输入的注意力特征图像进行点乘运算得到该层的注意力加权的特征图像；

进而，所述解码器网络中当前的转置卷积点乘层对前一层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，将运算得到的中间过程特征图像与所述注意力模型中对应层的转置卷积层输出的注意力特征图像进行点乘运算后，得到当前的转置卷积点乘层输出的注意力加权的特征图像；当前的转置卷积点乘层输出的注意力加权的特征图像大小为前一层的转置卷积点乘层输出的注意力加权的特征图像大小的2倍；例如，解码器网络中第i+1层的转置卷积点乘层对第i层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，得到第i+1层的中间过程特征图像；进而第i+1层的转置卷积点乘层将运算得到的第i+1层的中间过程特征图像与所述注意力模型中第i+1层的转置卷积层输出的注意力特征图像进行点乘运算，得到第i+1层的转置卷积点乘层输出的注意力加权的特征图像，第i+1层转置卷积点乘层输出的注意力加权的特征图像大小为第i层转置卷积点乘层输出的注意力加权的特征图像大小的2倍。其中，解码器网络中转置卷积点乘层的层数为N，i为1～N-1的自然数。所述解码器网络最后一层转置卷积点乘层的输出为所述有雨图像的去雨图像。

更优地，解码器网络的每层转置卷积点乘层在进行转置卷积运算时还可融合编码器网络对应层的卷积层输出的编码特征图像。例如，解码器网络的第i层转置卷积点乘层在进行转置卷积运算时还可融合编码器网络的第N+1-i层的卷积层输出的编码特征图像。其中，解码器网络中转置卷积点乘层的层数为N，i为1～N-1的自然数。这样，可以将编码器网络的卷积层提取到的低频信息和高频信息无损地融合到解码器网络通过转置卷积点乘运算得到的恢复信息中，使得恢复出来的图像能够充分保留原始图像的画面结构等信息。

上述的图像去雨模型是预先训练得到的，具体训练方法流程如图3所示，包括如下步骤：

步骤S301：获取多对训练样本，其中一对训练样本为同一场景的有雨图像和无雨图像。

具体地，训练样本可以在真实的监控场景中获取，为了保证训练得到的图像去雨模型的去雨效果，可以选取大量的不同监控场景下的训练样本。

步骤S302：将同一场景的有雨图像和无雨图像做差后得到指示有雨区域的注意力掩码图像。

具体地，对于每对训练样本，根据该对训练样本中同一场景的有雨图像和无雨图像的差异得到指示有雨区域的注意力掩码图像；其中，所述差异具体可以是像素级别差等可以表示两个比较者之间差异的参数。

步骤S303：根据获取的训练样本以及得到的注意力掩码对所述图像去雨模型进行训练，期间多次调整所述编码器网络、注意力模型和解码器网络的参数。

本步骤中，根据获取的训练样本以及得到的注意力掩码对所述图像去雨模型进行训练时，可以多次调整注意力模型的参数训练注意力模型能够指示有雨区域，有助提高上述区域的转换效果；此外，本步骤的图像去雨模型训练过程中，还可以多次调整编码器网络和解码器网络的参数，训练深度学习的卷积神经网络，能够对图像低频特征和高频特征进行更有效的提取和处理，可以进一步提高目标的去雨图像的质量。

具体地，根据获取的训练样本以及得到的注意力掩码对所述图像去雨模型进行训练的一种方法流程，如图4所示，包括如下步骤：

步骤S401：基于深度学习框架构(如Pytorch)构建初始去雨模型，并令图像去雨模型的参数的调整次数j＝1，图像判别模型的参数的调整次数k＝1。

步骤S402：在第j次图像去雨模型的参数的调整过程中，将一对训练样本中的有雨图像输入到所述图像去雨模型，并根据所述图像去雨模型输出的去雨图像与该对训练样本中的无雨图像的差异，调整所述图像去雨模型中的编码器网络和解码器网络的参数。

具体地，将一对训练样本中的有雨图像输入到所述图像去雨模型，获取图像去雨模型输出的去雨图像；将该对训练样本中的无雨图像作为图像去雨模型的期望输出，进而根据图像去雨模型实际输出的去雨图像与期望输出的无雨图像的差异，调整所述图像去雨模型中的编码器网络和解码器网络的参数。可采用现有技术的方法，根据实际输出与期望输出之间的差异(比如像素级别差)调整编码器网络和解码器网络的参数，此处不再赘述。

步骤S403：在第j次图像去雨模型的参数的调整过程中，根据所述图像去雨模型中的注意力模型输出的最后一个注意力特征图像和根据该对训练样本得到的注意力掩码之间的差异，调整所述注意力模型的参数。

具体地，将根据该对训练样本得到的注意力掩码作为注意力模型的期望输出，根据注意力模型实际输出的注意力特征图像与期望输出的注意力掩码之间的差异(比如像素级别差)，调整注意力模型的参数。可采用现有技术的方法，根据注意力模型的实际输出与期望输出之间的差异调整注意力模型的参数，此处不再赘述。

步骤S404：判断j是否超过设定的第一阈值；若是，跳转到步骤S405，结束图像去雨模型的初步训练过程；否则，令j＝j+1后，跳转到步骤S402进行下次图像去雨模型的参数的调整。

具体地，本领域技术人员可以根据经验设置第一阈值；当j超过设定的第一阈值时，说明编码器网络、注意力模型和解码器网络的参数调整达到一定程度，此时图像去雨模型已经有了较好的特征提取能力和特征恢复能力；基本上可以结束图像去雨模型的训练，跳转到步骤S405。其中，第一阈值可以为1万、2万、5万等，不做具体限定。

如果j小于第一阈值，则令j＝j+1后，跳转到步骤S402进行下次图像去雨模型的参数的调整。

步骤S405：结束图像去雨模型的初步训练过程。

在结束图像去雨模型的初步训练过程后，即可使用训练后的图像去雨模型对有雨图像进行去雨处理。

更优地，为使得图像去雨模型获得更好的去雨效果，在步骤S405后还可采用如下后续步骤进一步训练图像去雨模型：

步骤S406：将所述图像去雨模型输出的去雨图像和对应的无雨图像输入到图像判别模型进行真实性判断。

其中，所述图像判别模型可以采用Patch Discriminator(区域判别器)模型，具体地所述图像判别模型可以包含多层卷积层，每个卷积层的卷积核大小和卷积步长可以根据具体的场景设定。例如，可以采用卷积核大小为(4×4)，步长为(2×2)的卷积层对输入图像根据预设的参数进行卷积运算。

将图像输入到所述图像判别模型后，图像判别模型的最终输出为一个两维的数组，数组的每一个元素表示原始输入图像中的某一区域块是真实的还是虚假的。可以理解的是，采用所述区域判别器模型对输入图像进行判别，可以将对原始输入图像的单一判别转换成对原始输入图像的多个可重叠区域块的综合判别，从而提高了判别模型的判别能力。

具体地，本步骤中，对于一对训练样本，将其有雨图像输入到图像去雨模型中，图像去雨模型输出该有雨图像的去雨图像；

将图像去雨模型输出的去雨图像输入到图像判别模型进行真实性判断；

将该对训练样本中的无雨图像，即图像去雨模型输出的去雨图像对应的无雨图像也输入到图像判别模型进行真实性判断。

步骤S407：在第k次图像判别模型的参数的调整过程中，根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力。

具体地，对于图像判别模型的输入为去雨图像的情况，图像判别模型的期望输出应是非真实；对于图像判别模型的输入为无雨图像的情况，图像判别模型的期望输出应是真实。

本步骤中，在第k次图像判别模型的参数的调整过程中，根据所述图像判别模型的判断结果与图像判别模型的期望输出的差异，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力。可采用现有技术方法，根据图像判别模型的实际输出与期望输出之间的差异调整注意力模型的参数，此处不再赘述。

步骤S408：判断k是否超过设定的第二阈值，且图像判别模型判断所述图像去雨模型输出的去雨图像为真实；若是，则跳转到步骤S409，结束图像去雨模型和图像判别模型的训练过程；否则，令k＝k+1后，跳转到步骤S402再次进行图像去雨模型和图像判别模型的参数的调整。

具体地，本领域技术人员可以根据经验设置第二阈值；当k超过设定的第二阈值时，说明图像判别模型的参数调整达到一定程度，图像判别模型的判别能力达到要求；此时，若图像判别模型判断所述图像去雨模型输出的去雨图像为真实，则说明图像判别模型在判别能力达到要求的基础上，对于图像去雨模型输出的去雨图像判定为真实拍摄的，这说明图像去雨模型可以生成真实度很高的去雨图像。此时可以停止图像去雨模型和图像判别模型的参数调整，跳转到步骤S409，结束训练过程，得到最终的图像去雨模型。其中，第二阈值可以为1万、2万、5万等，在此不做具体限定。

若k小于设定的第二阈值，则说明图像判别模型的判别能力未达到要求，则令k＝k+1后，跳转到步骤S402再次进行图像去雨模型和图像判别模型的参数的调整；

若k超过设定的第二阈值，且图像判别模型对于图像去雨模型输出的去雨图像判定为非真实拍摄的，则说明图像判别模型的参数调整达到一定程度，图像判别模型的判别能力达到要求，但图像去雨模型输出的去雨图像真实度不是很高，仍然可以被图像判别模型判别出非真实拍摄的，还可进一步调整图像去雨模型的参数，则令k＝k+1后，跳转到步骤S402再次进行图像去雨模型和图像判别模型的参数的调整。

步骤S409：结束图像去雨模型和图像判别模型的训练过程。

基于上述的图像去雨方法，本发明实施例提供的一种图像去雨装置，包括上述的图像去雨模型，其内部结构框图如图5所示，包括：上述的编码器网络501、注意力模型502、解码器网络503。

其中，编码器网络501用于输出有雨图像的编码特征图像；具体地，编码器网络501包括多层卷积层；其中，编码器网络501的第一层卷积层对输入的有雨图像进行卷积运算得到该卷积层输出的编码特征图像；对于第一层卷积层之后的每个卷积层，该卷积层对其前一层的卷积层输出的编码特征图像进行卷积运算，输出运算得到的编码特征图像；最后一层卷积层的输出为所述有雨图像的编码特征图像。

更优地，编码器网络501还可将每个卷积层运算得到的编码特征图像向注意力模型502输出。

注意力模型502用于根据所述编码特征图像输出所述有雨图像的指示有雨区域的注意力特征图像；具体地，注意力模型502包括多层转置卷积层；其中，注意力模型502的第一层转置卷积层对输入的有雨图像的编码特征图像进行转置卷积运算输出该层的注意力特征图像；对于第一层转置卷积层之后的每个转置卷积层，该转置卷积层对其前一层的转置卷积层输出的注意力特征图像进行转置卷积运算，输出转置卷积运算得到的注意力特征图像；最后一层转置卷积层的输出为所述有雨图像的指示有雨区域的注意力特征图像。

更优地，注意力模型502的每层转置卷积层在进行转置卷积运算时还可融合编码器网络501对应层的卷积层输出的编码特征图像。

解码器网络503用于根据所述编码特征图像以及注意力特征图像输出所述有雨图像的去雨图像；具体地，解码器网络503包括多层转置卷积点乘层；其中，第一层转置卷积点乘层对输入的有雨图像的编码特征图像进行转置卷积运算得到该层的中间过程特征图像，进而将得到的中间过程特征图像与输入的注意力特征图像进行点乘运算得到该层的注意力加权的特征图像；对于第一层转置卷积点乘层之后的每个转置卷积点乘层，该转置卷积点乘层对其前一层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，将运算得到的中间过程特征图像与所述注意力模型中对应层的转置卷积层输出的注意力特征图像进行点乘运算后，输出点乘运算得到的注意力加权的特征图像；最后一层转置卷积点乘层的输出为所述有雨图像的去雨图像。

更优地，解码器网络503的每层转置卷积点乘层在进行转置卷积运算时还可融合编码器网络501对应层的卷积层输出的编码特征图像。这样，可以将编码器网络的卷积层提取到的低频信息和高频信息无损地融合到解码器网络通过转置卷积点乘运算得到的恢复信息中，使得恢复出来的图像能够充分保留原始图像的画面结构等信息。

进一步，本发明实施例提供的一种图像去雨装置，还包括：训练模块。

训练模块用于获取多对训练样本，其中一对训练样本为同一场景的有雨图像和无雨图像；将同一场景的有雨图像和无雨图像做差后得到指示有雨区域的图像作为注意力掩码；根据所述训练样本以及得到的指示有雨区域的注意力掩码对所述图像去雨模型进行训练，多次调整所述编码器网络501、注意力模型502和解码器网络503的参数。其中，在图像去雨模型的训练过程中，一次调整所述编码器网络、注意力模型和解码器网络的参数过程为，训练模块将一对训练样本中的有雨图像输入到所述图像去雨模型，并根据所述图像去雨模型输出的去雨图像与该对训练样本中的无雨图像的差异，调整所述图像去雨模型中的编码器网络501和解码器网络503的参数；训练模块根据所述图像去雨模型中的注意力模型502输出的最后一个注意力特征图像和根据该对训练样本得到的注意力掩码之间的差异，调整所述注意力模型502的参数。

进一步，上述的训练模块还可在一次调整所述编码器网络、注意力模型和解码器网络的参数后，将所述图像去雨模型输出的去雨图像和对应的无雨图像输入到图像判别模型进行真实性判断；根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；在所述图像判别模型的判别能力达到要求，并判断所述图像去雨模型输出的去雨图像为真实时，结束所述训练过程。

上述图像去雨装置中的各模块的功能的具体实现方法可参考上述图1～图4所示的流程步骤中的方法，此处不再赘述。

本发明的技术方案中，将能够指示有雨区域的注意力模型嵌入到编码器网络与解码器网络之间，从而找到有雨图像的有雨区域，更加精确地对有雨区域进行去雨和细节恢复，可以更有效地去除图像中的雨滴，进一步提高了图像去雨的效果，改善了去雨后图像模糊和对雨水去除不干净的问题。

此外，本发明所述方法和装置充分利用深度学习的卷积神经网络，能够对图像低频特征和高频特征进行更有效的提取和处理，更好地保留图像原始信息，进一步提高了去雨目标图像的质量。

更优地，注意力模型的每层转置卷积层在进行转置卷积运算时还可融合编码器网络对应层的卷积层输出的编码特征图像，这样，可以将编码器网络的卷积层提取到的低频信息和高频信息无损地融合到注意力特征图像，使得注意力特征图像能够更加充分地提取图像特征，从而更加准确地指示有雨区域；

更优地，解码器网络的每层转置卷积点乘层在进行转置卷积运算时还可融合编码器网络对应层的卷积层输出的编码特征图像。这样，可以将编码器网络的卷积层提取到的低频信息和高频信息无损地融合到解码器网络通过转置卷积点乘运算得到的恢复信息中，使得恢复出来的图像能够充分保留原始图像的画面结构等信息。

更优地，在训练图像去雨模型的同时还可训练图像判别模型，使得图像判别模型的判别能力达到要求；并且在图像判别模型的判别能力达到要求后，继续训练图像去雨模型，图像去雨模型输出的去雨图像被图像判别模型判断为真实时，说明图像去雨模型可以生成真实度很高的去雨图像，从而使得图像去雨模型能够输出更高质量的去雨图像。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种图像去雨方法，其特征在于，包括：

利用编码器网络输出有雨图像的编码特征图像；

根据所述编码特征图像利用包括多层转置卷积层的注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像；

根据所述编码特征图像以及注意力特征图像利用包括多层转置卷积点乘层的解码器网络输出所述有雨图像的去雨图像：

将所述有雨图像的编码特征图像以及所述注意力模型中第一层转置卷积层输出的注意力特征图像，输入到所述解码器网络的第一层转置卷积点乘层；第一层转置卷积点乘层对输入的编码特征图像进行转置卷积运算得到该层的中间过程特征图像，进而将得到的中间过程特征图像与输入的注意力特征图像进行点乘运算得到该层的注意力加权的特征图像；

所述解码器网络中当前的转置卷积点乘层对前一层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，将运算得到的中间过程特征图像与所述注意力模型中对应层的转置卷积层输出的注意力特征图像进行点乘运算后，得到当前的转置卷积点乘层输出的注意力加权的特征图像；

所述解码器网络中最后一层转置卷积点乘层的输出为所述有雨图像的去雨图像。

2.根据权利要求1所述的方法，其特征在于，所述编码器网络、注意力模型和解码器网络组成的图像去雨模型的训练方法如下：

获取多对训练样本，其中一对训练样本为同一场景的有雨图像和无雨图像；

将同一场景的有雨图像和无雨图像做差后得到指示有雨区域的注意力掩码图像；

根据所述训练样本以及得到的指示有雨区域的注意力掩码对所述图像去雨模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。

3.根据权利要求2所述的方法，其特征在于，在一次调整所述编码器网络、注意力模型和解码器网络的参数过程中，具体包括：

将一对训练样本中的有雨图像输入到所述图像去雨模型，并根据所述图像去雨模型输出的去雨图像与该对训练样本中的无雨图像的差异，调整所述图像去雨模型中的编码器网络和解码器网络的参数；

根据所述图像去雨模型中的注意力模型输出的最后一个注意力特征图像和根据该对训练样本得到的指示有雨区域的注意力掩码的差异，调整所述注意力模型的参数。

4.根据权利要求3所述的方法，其特征在于，在一次调整所述编码器网络、注意力模型和解码器网络的参数后，还包括：

将所述图像去雨模型输出的去雨图像和对应的无雨图像输入到图像判别模型进行真实性判断；

根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；

在所述图像判别模型的判别能力达到要求，并判断所述图像去雨模型输出的去雨图像为真实时，结束所述训练过程。

5.根据权利要求1-4任一所述的方法，其特征在于，所述编码器网络包括多层卷积层；以及

所述利用编码器网络输出有雨图像的编码特征图像，具体包括：

将所述有雨图像输入到所述编码器网络的第一层卷积层进行卷积运算得到该卷积层输出的编码特征图像；

当前的卷积层对前一层的卷积层输出的编码特征图像进行卷积运算，得到当前的卷积层输出的编码特征图像；

最后一层卷积层的输出为所述有雨图像的编码特征图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述编码特征图像利用包括多层转置卷积层的注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像，具体包括：

将所述有雨图像的编码特征图像输入到所述注意力模型的第一层转置卷积层进行转置卷积运算输出该层的注意力特征图像；

所述注意力模型中当前的转置卷积层对前一层的转置卷积层输出的注意力特征图像进行转置卷积运算，得到当前的转置卷积层输出的注意力特征图像；

所述注意力模型中最后一层转置卷积层的输出为所述有雨图像的指示有雨区域的注意力特征图像。

7.一种图像去雨装置，其特征在于，包括：

编码器网络，用于输出有雨图像的编码特征图像；

注意力模型，包括多层转置卷积层，用于根据所述编码特征图像输出所述有雨图像的指示有雨区域的注意力特征图像；

解码器网络，包括多层转置卷积点乘层，用于根据所述编码特征图像以及注意力特征图像输出所述有雨图像的去雨图像：第一层转置卷积点乘层对输入的有雨图像的编码特征图像进行转置卷积运算得到该层的中间过程特征图像，进而将得到的中间过程特征图像与输入的注意力特征图像进行点乘运算得到该层的注意力加权的特征图像；对于第一层转置卷积点乘层之后的每个转置卷积点乘层，该转置卷积点乘层对其前一层的转置卷积点乘层输出的注意力加权的特征图像进行转置卷积运算，将运算得到的中间过程特征图像与所述注意力模型中对应层的转置卷积层输出的注意力特征图像进行点乘运算后，输出点乘运算得到的注意力加权的特征图像；最后一层转置卷积点乘层的输出为所述有雨图像的去雨图像。

8.根据权利要求7所述的装置，其特征在于，还包括：

训练模块，用于获取多对训练样本，其中一对训练样本为同一场景的有雨图像和无雨图像；将同一场景的有雨图像和无雨图像做差后得到指示有雨区域的注意力掩码；根据所述训练样本以及得到的指示有雨区域的注意力掩码对图像去雨模型进行训练，多次调整所述图像去雨模型中的编码器网络、注意力模型和解码器网络的参数。

9.根据权利要求8所述的装置，其特征在于，

所述训练模块还用于在一次调整所述编码器网络、注意力模型和解码器网络的参数后，将所述图像去雨模型输出的去雨图像和对应的无雨图像输入到图像判别模型进行真实性判断；根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；在所述图像判别模型的判别能力达到要求，并判断所述图像去雨模型输出的去雨图像为真实时，结束所述训练过程。

Images