CN114240761A - 图像去雨模型训练方法、图像去雨方法及设备 - Google Patents

Abstract

本申请实施例提供一种图像去雨模型训练方法、图像去雨方法及设备，本申请实施例为了消除长雨条纹，使用递归卷积结构，通过多个卷积核分别提取输入的带雨条纹的图像的特征向量，并进行向量融合，将融合特征向量与输入图像的特征向量相加，经LSTM网络模块输出，更好的联系长距离的上下文信息，扩大感受野。并且将输出的特征向量与相应的无雨图像的特征向量进行对比，若对比不为预设结果，则根据对比结果调整递归卷积模块的参数，重新执行上述操作，即通过循环卷积，使得模型学习跨阶段的特征之间的内在联系，更好的恢复图像的细节，而且有效减少模型的大小，在内存和计算能力不足的便携式的嵌入式设备和移动设备上，也可以取得良好的去雨效果。

Description

图像去雨模型训练方法、图像去雨方法及设备

技术领域

本申请实施例涉及计算机视觉技术领域，尤其涉及一种图像去雨模型训练方法、图像去雨方法及设备。

背景技术

对图片或者视频进行去雨的研究一直以来都是计算机视觉和图像处理领域内的一个重要课题。在现实生活中，因为雨雪会对道路上的路况造成一定程度的遮挡，驾驶车辆行驶在下大雨或大雪的恶劣天气下是非常危险的；不仅如此，在重要位置设置的摄像头也会因为风沙雨雪的遮挡，导致无法提供给相关人员足够的信息来进行对目标的身份确定；另外，人们在出去旅游的时候会拍摄很多美景的照片，但是有的照片会因为天气状况等原因无法得到清晰的效果。以上所述的情况都需要对图像进行后期的处理，因此，对图像去雨的研究是非常有现实意义的。

相关技术中，对图像去雨，实际上是一个将图像看作是两层:无雨层和雨水层，然后将雨水层从原图像中分离出来，留下无雨图的一个分类过程。

然而，现有的去雨方法，使得带大雨条纹的图像丢失大量的图像细节，在雨条纹被分离出去后，这些丢失的细节无法完全修复，从而造成去雨后的图像中存在白色斑点。

发明内容

本申请实施例提供一种图像去雨模型训练方法、图像去雨方法及设备，以克服现有带大雨条纹的图像去雨后，丢失大量的图像细节，造成去雨后的图像中存在白色斑点的问题。

第一方面，本申请实施例提供一种图像去雨模型训练方法，所述图像去雨模型包括递归卷积模块，所述递归卷积模块包括多个卷积核和一个长短期记忆网络(Long Short-Term Memory，简称LSTM)网络模块；

所述方法包括以下操作(1)-(2)：

(1)通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将所述融合特征向量与所述带雨条纹的图像的特征向量相加，将相加后的特征向量经过所述LSTM网络模块输出；

(2)将输出的特征向量与所述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比；

若对比结果不为预设结果，则根据所述对比结果调整所述递归卷积模块中的参数，并重新执行所述操作(1)-(2)。

在一种可能的设计中，所述图像去雨模型还包括卷积层和角度信息提取层；

在所述通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量之前，还包括：

通过所述卷积层对所述带雨条纹的图像进行特征提取，输出所述带雨条纹的图像的第一特征图谱，并通过所述角度信息提取层检测所述带雨条纹的图像中雨条纹的方向和物理特性，基于所述雨条纹的方向和物理特性，生成第二特征图谱和权重值；

基于所述权重值，将所述第一特征图谱和所述第二特征图谱进行融合，获得融合特征图谱；

所述根据所述对比结果调整所述递归卷积模块中的参数，包括：

根据所述对比结果调整所述卷积层、所述角度信息提取层和所述递归卷积模块中的参数。

在一种可能的设计中，所述多个卷积核包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；

所述操作(1)包括：

通过所述第一卷积核、所述第二卷积核和所述第三卷积核分别对所述带雨条纹的图像进行卷积操作，获得第一特征向量、第二特征向量和第三特征向量；

将所述第一特征向量、所述第二特征向量和所述第三特征向量进行融合，获得所述融合特征向量；

通过所述第四卷积核将所述融合特征向量与所述带雨条纹的图像的特征向量相加；

将相加后的特征向量经过所述LSTM网络模块输出。

在一种可能的设计中，所述预设结果包括特征向量的对比相似度达到预设阈值。

第二方面，本申请实施例提供一种图像去雨方法，包括：

获取待处理带雨条纹的图像；

将所述待处理带雨条纹的图像输入如上第一方面以及第一方面各种可能的设计所述的图像去雨模型训练方法获得的图像去雨模型，得到所述待处理带雨条纹的图像对应的无雨条纹的图像。

第三方面，本申请实施例提供一种图像去雨模型训练装置，所述图像去雨模型包括递归卷积模块，所述递归卷积模块包括多个卷积核和一个LSTM网络模块；

所述装置包括训练模块，用于执行以下操作(1)-(2)：

(1)通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将所述融合特征向量与所述带雨条纹的图像的特征向量相加，将相加后的特征向量经过所述LSTM网络模块输出；

(2)将输出的特征向量与所述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比；

所述训练模块，还用于若对比结果不为预设结果，则根据所述对比结果调整所述递归卷积模块中的参数，并重新执行所述操作(1)-(2)。

在一种可能的设计中，所述图像去雨模型还包括卷积层和角度信息提取层；

所述训练模块在所述通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量之前，还用于：

通过所述卷积层对所述带雨条纹的图像进行特征提取，输出所述带雨条纹的图像的第一特征图谱，并通过所述角度信息提取层检测所述带雨条纹的图像中雨条纹的方向和物理特性，基于所述雨条纹的方向和物理特性，生成第二特征图谱和权重值；

基于所述权重值，将所述第一特征图谱和所述第二特征图谱进行融合，获得融合特征图谱；

所述根据所述对比结果调整所述递归卷积模块中的参数，包括：

根据所述对比结果调整所述卷积层、所述角度信息提取层和所述递归卷积模块中的参数。

在一种可能的设计中，所述多个卷积核包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；

所述训练模块执行操作(1)包括：

通过所述第一卷积核、所述第二卷积核和所述第三卷积核分别对所述带雨条纹的图像进行卷积操作，获得第一特征向量、第二特征向量和第三特征向量；

将所述第一特征向量、所述第二特征向量和所述第三特征向量进行融合，获得所述融合特征向量；

通过所述第四卷积核将所述融合特征向量与所述带雨条纹的图像的特征向量相加；

将相加后的特征向量经过所述LSTM网络模块输出。

第四方面，本申请实施例提供一种图像去雨装置，包括：

获取模块，用于获取待处理带雨条纹的图像；

去雨模块，用于将所述待处理带雨条纹的图像输入如上第一方面以及第一方面各种可能的设计所述的图像去雨模型训练方法获得的图像去雨模型，得到所述待处理带雨条纹的图像对应的无雨条纹的图像。

第五方面，本申请实施例提供一种图像去雨模型训练设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的图像去雨模型训练方法。

第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的图像去雨模型训练方法。

本申请实施例提供的图像去雨模型训练方法、图像去雨方法及设备，该图像去雨模型包括递归卷积模块，该递归卷积模块包括多个卷积核和一个LSTM网络模块，本申请实施例为了消除长雨条纹，使用了递归卷积结构，通过多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将融合特征向量与带雨条纹的图像的特征向量相加，将相加后的特征向量经过LSTM网络模块输出，可以更好的联系长距离的上下文信息，扩大感受野，使模型的感受野能够扩展到全图，解决现有带大雨条纹的图像去雨后，丢失大量的图像细节，造成去雨后的图像中存在白色斑点的问题。并且本申请实施例将输出的特征向量与带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比，若对比结果不为预设结果，则根据对比结果调整上述递归卷积模块中的参数，并重新执行上述操作，即通过循环卷积，使得模型可以学习跨阶段的特征之间的内在联系，更好的恢复图像的细节，而且图像在模型中进行循环处理，有效减少模型的大小，在内存和计算能力不足的便携式的嵌入式设备和移动设备上，也可以取得良好的去雨效果。另外，由于目标识别、目标跟踪等计算机视觉技术的逐渐普及，本申请实施例有着广阔的应用前景。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图像去雨模型训练系统架构示意图；

图2为本申请实施例提供的一种图像去雨模型训练方法的流程示意图；

图3为本申请实施例提供的一种递归卷积模块的示意图；

图4为本申请实施例提供的另一种图像去雨模型训练方法的流程示意图；

图5为本申请实施例提供的一种图像去雨模型训练装置的结构示意图；

图6为本申请实施例提供的另一种图像去雨装置的结构示意图；

图7为本申请实施例提供的图像去雨模型训练设备的硬件结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关技术中，对图像去雨，实际上是一个将图像看作是两层:无雨层和雨水层，然后将雨水层从原图像中分离出来，留下无雨图的一个分类过程。

然而，现有的去雨方法，使得带大雨条纹的图像丢失大量的图像细节，在雨条纹被分离出去后，这些丢失的细节无法完全修复，从而造成去雨后的图像中存在白色斑点。

因此，考虑到上述问题，本申请提供一种图像去雨模型训练方法和图像去雨方法，为了消除长雨条纹，使用了递归卷积结构，更好的联系长距离的上下文信息，扩大感受野，解决现有带大雨条纹的图像去雨后，丢失大量的图像细节，造成去雨后的图像中存在白色斑点的问题。并且通过循环卷积，使得模型可以学习跨阶段的特征之间的内在联系，更好的恢复图像的细节，而且有效减少模型的大小，在内存和计算能力不足的便携式的嵌入式设备和移动设备上，也可以取得良好的去雨效果。

本申请提供的一种图像去雨模型训练方法，可以适用于图1所示的图像去雨模型训练系统，其中，上述图像去雨模型包括递归卷积模块，该递归卷积模块包括多个卷积核和一个LSTM网络模块，该系统可以包括接收装置101、处理器102和显示装置103中至少一种。

在具体实现过程中，接收装置101可以是输入/输出接口，也可以是通信接口，可以用于接收带雨条纹的图像等信息。

处理器102可以执行以下操作(1)-(2)：

(1)通过上述多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将该融合特征向量与上述带雨条纹的图像的特征向量相加，将相加后的特征向量经过LSTM网络模块输出。

(2)将输出的特征向量与上述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比，

若对比结果不为预设结果，则根据上述对比结果调整上述递归卷积模块中的参数，并重新执行所述操作(1)-(2)。

这里，上述递归卷积模块中卷积核的数目可以根据实际情况设置，本申请实施例对此不做特别限制。

LSTM网络模块可以基于本次对带雨条纹的图像处理结果对下一次图像处理进行正反馈。

另外，上述预设结果可以包括特征向量的对比相似度达到设定值。如果上述输出的特征向量与上述带雨条纹的图像对应的无雨条纹的图像的特征向量的对比相似度达到设定值，说明通过本次训练得到图像去雨模型，能够获得上述带雨条纹的图像对应的较好的无雨条纹的图像，实现图像去雨，否则，说明通过本次训练得到图像去雨模型，无法获得上述带雨条纹的图像对应的较好的无雨条纹的图像，需要基于上述对比结果调整上述递归卷积模块中的参数，并基于调整后的递归卷积模块重新执行所述操作(1)-(2)，直到上述对比结果为预设结果。

显示装置103可以用于对上述对比结果、递归卷积模块中的参数等进行显示。

显示装置还可以是触摸显示屏，用于在显示的上述内容的同时接收用户指令，以实现与用户的交互。

应理解，上述处理器可以通过处理器读取存储器中的指令并执行指令的方式实现，也可以通过芯片电路实现。

上述系统仅为一种示例性系统，具体实施时，可以根据应用需求设置。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体地实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请实施例提供的一种图像去雨模型训练方法的流程示意图，本申请实施例的执行主体可以为图1实施例中的处理器，其中，上述图像去雨模型包括递归卷积模块，该递归卷积模块包括多个卷积核和一个LSTM网络模块。

如图2所示，该方法可以包括：

S201：通过上述多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将该融合特征向量与上述带雨条纹的图像的特征向量相加，将相加后的特征向量经过LSTM网络模块输出。

这里，为了扩大感受野，更好的联系长距离的上下文信息，去除长雨条纹，提供了一种递归卷积模块。

示例性的，上述多个卷积核包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；

上述操作包括：

通过第一卷积核、第二卷积核和第三卷积核分别对上述带雨条纹的图像进行卷积操作，获得第一特征向量、第二特征向量和第三特征向量；

将上述第一特征向量、第二特征向量和第三特征向量进行融合，获得融合特征向量；

通过上述第四卷积核将上述融合特征向量与上述带雨条纹的图像的特征向量相加；

将相加后的特征向量经过LSTM网络模块输出。

具体的，如图3所示，带雨条纹的图像输入后，会经过三个1x1的卷积核进行卷积操作，其中两个卷积结束后将特征向量融合，然后再与第三个卷积后的特征向量融合，最后经过又一个1x1的卷积核，与输入图像的特征向量相加，最后经过一个LSTM网络模块，输出到下一层。

在每一个二维的非局部操作中，一个位置的相应计算为所有空间位置的特征的加权和，这样它可以将感受野扩展到整个图像，所以，本申请实施例可以更好的去除长条纹的雨滴。

另外，上述带雨条纹的图像的数量可以根据实际情况设置，例如100张、1000张等，本申请实施例对此不做特别限制。

S202：将输出的特征向量与上述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比。

这里，上述带雨条纹的图像对应的无雨条纹的图像可以理解为上述带雨条纹的图像对应的真实无雨条纹的图像，可以通过无雨时拍摄获得。

可选地，处理器可以预存带雨条纹的图像与其对应的无雨条纹的图像的对应关系，在上述将输出的特征向量与上述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比之前，根据上述对应关系，确定上述带雨条纹的图像对应的无雨条纹的图像，进而，将输出的特征向量与上述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比。

S203：若对比结果不为预设结果，则根据该对比结果调整上述递归卷积模块中的参数，并重新执行上述步骤S201-S202。

可选地，上述预设结果包括特征向量的对比相似度达到预设阈值。其中，该预设阈值可以根据实际情况设置，本申请实施例对此不做特别限制。

在本申请实施例中，如果上述输出的特征向量与上述带雨条纹的图像对应的无雨条纹的图像的特征向量的对比相似度达到预设阈值，说明通过本次训练得到图像去雨模型，能够获得上述带雨条纹的图像对应的较好的无雨条纹的图像，实现图像去雨，否则，无法获得上述带雨条纹的图像对应的较好的无雨条纹的图像，需要基于上述对比结果调整上述递归卷积模块中的参数，并基于调整后的递归卷积模块重新执行上述步骤S201-S202，直到上述对比结果为预设结果。

这里，通过循环卷积，模型可以学习跨阶段的特征之间的内在联系，更好的恢复图像的细节。而且有效减少模型的大小，在内存和计算能力不足的便携式的嵌入式设备和移动设备上，也可以取得良好的去雨效果。

从上述描述可知，本申请实施例为了消除长雨条纹，使用了递归卷积结构，通过多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将融合特征向量与带雨条纹的图像的特征向量相加，将相加后的特征向量经过LSTM网络模块输出，可以更好的联系长距离的上下文信息，扩大感受野，使模型的感受野能够扩展到全图，解决现有带大雨条纹的图像去雨后，丢失大量的图像细节，造成去雨后的图像中存在白色斑点的问题。并且本申请实施例将输出的特征向量与带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比，若对比结果不为预设结果，则根据对比结果调整上述递归卷积模块中的参数，并重新执行上述操作，即通过循环卷积，使得模型可以学习跨阶段的特征之间的内在联系，更好的恢复图像的细节，而且图像在模型中进行循环处理，有效减少模型的大小，在内存和计算能力不足的便携式的嵌入式设备和移动设备上，也可以取得良好的去雨效果。另外，由于目标识别、目标跟踪等计算机视觉技术的逐渐普及，本申请实施例有着广阔的应用前景。

另外，本申请实施例还提供另一种图像去雨模型训练方法，考虑到雨条纹的物理特性和方向特性，在多种方向的雨条纹交错混杂的时候，提高图像去雨模型的性能。图4为本申请实施例提供的另一种图像去雨模型训练方法的流程示意图，本申请实施例的执行主体可以为图1所示实施例中的处理器。其中，上述图像去雨模型包括递归卷积模块、卷积层和角度信息提取层，该递归卷积模块包括多个卷积核和一个LSTM网络模块。

如图4所示，该方法包括：

S401：通过上述卷积层对带雨条纹的图像进行特征提取，输出上述带雨条纹的图像的第一特征图谱，并通过上述角度信息提取层检测上述带雨条纹的图像中雨条纹的方向和物理特性，基于上述雨条纹的方向和物理特性，生成第二特征图谱和权重值。

目前的深度学习技术往往将雨条纹作为一个整体，没有考虑到雨条纹的物理特性和方向特性，所以在多种方向的雨条纹交错混杂的时候，深度学习方法的性能也会下降很多，本申请实施例为了解决该问题，通过角度信息提取层提取角度信息，并对雨条纹进行建模，生成抽象的特征图，并且生成各类雨条纹所对应的权重值，充分利用雨条纹的方向和物理特征。

其中，上述雨条纹的物理特性可以包括雨条纹的长度、透亮度、雾化情况等。

S402：基于上述权重值，将上述第一特征图谱和第二特征图谱进行融合，获得融合特征图谱。

这里，上述图像去雨模型可以是一个多步的结构，每一步去除一部分特征相似的雨条纹，各部分的参数是公用的。

当带雨条纹的图像输入模型后，先经过一个卷积层和角度信息提取层(AFEB)，角度信息提取层可以检测雨条纹的方向和物理特性，并生成相应的特征图谱和权重值，在和卷积层输出的特征图谱进行融合后，传输给下一层网络。这样后面的网络就可以根据雨条纹的方向和物理特性进行更好的学习，得到更加适合的模型参数。

S403：通过上述多个卷积核分别提取输入的融合特征图谱的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将该融合特征向量与输入的融合特征图谱的特征向量相加，将相加后的特征向量经过LSTM网络模块输出。

S404：将输出的特征向量与上述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比。

S405：若对比结果不为预设结果，则根据该对比结果调整上述卷积层、角度信息提取层和递归卷积模块中的参数，并重新执行上述步骤S401-S404。

其中，步骤S403-S405与上述步骤S201-S203的实现方式相同，此处不再赘述。

本申请实施例考虑到雨条纹的物理特性和方向特性，在多种方向的雨条纹交错混杂的时候，提高图像去雨模型的性能。而且为了消除长雨条纹，使用了递归卷积结构，通过多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将融合特征向量与带雨条纹的图像的特征向量相加，将相加后的特征向量经过LSTM网络模块输出，可以更好的联系长距离的上下文信息，扩大感受野，使模型的感受野能够扩展到全图，解决现有带大雨条纹的图像去雨后，丢失大量的图像细节，造成去雨后的图像中存在白色斑点的问题。并且本申请实施例将输出的特征向量与带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比，若对比结果不为预设结果，则根据对比结果调整上述递归卷积模块中的参数，并重新执行上述操作，即通过循环卷积，使得模型可以学习跨阶段的特征之间的内在联系，更好的恢复图像的细节，而且图像在模型中进行循环处理，有效减少模型的大小，在内存和计算能力不足的便携式的嵌入式设备和移动设备上，也可以取得良好的去雨效果。另外，由于目标识别、目标跟踪等计算机视觉技术的逐渐普及，本申请实施例有着广阔的应用前景。

另外，本申请实施例还提供一种图像去雨方法，包括：

获取待处理带雨条纹的图像；

将上述待处理带雨条纹的图像输入上述的图像去雨模型训练方法获得的图像去雨模型，得到上述待处理带雨条纹的图像对应的无雨条纹的图像。

本申请实施例通过上述图像去雨模型训练方法获得的图像去雨模型进行图像去雨，可以用于指导车辆在雨雪天安全行驶，使得相关人员能够基于雨雪天摄像头采集的信息准确确定目标的身份，并能够对人们旅游时在雨雪天拍摄的照片进行相应处理，得到清晰的效果等等，满足多种实际应用需要。

对应于上文实施例的图像去雨模型训练方法，图5为本申请实施例提供的图像去雨模型训练装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。图5为本申请实施例提供的一种图像去雨模型训练装置的结构示意图。其中，图像去雨模型包括递归卷积模块，该递归卷积模块包括多个卷积核和一个LSTM网络模块。如图5所示，该图像去雨模型训练装置50包括：训练模块501。

其中，所述训练模块501，用于执行以下操作(1)-(2)：

(1)通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将所述融合特征向量与所述带雨条纹的图像的特征向量相加，将相加后的特征向量经过所述LSTM网络模块输出；

(2)将输出的特征向量与所述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比；

所述训练模块，还用于若对比结果不为预设结果，则根据所述对比结果调整所述递归卷积模块中的参数，并重新执行所述操作(1)-(2)。

在一种可能的设计中，所述图像去雨模型还包括卷积层和角度信息提取层；

所述训练模块501在所述通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量之前，还用于：

通过所述卷积层对所述带雨条纹的图像进行特征提取，输出所述带雨条纹的图像的第一特征图谱，并通过所述角度信息提取层检测所述带雨条纹的图像中雨条纹的方向和物理特性，基于所述雨条纹的方向和物理特性，生成第二特征图谱和权重值；

基于所述权重值，将所述第一特征图谱和所述第二特征图谱进行融合，获得融合特征图谱；

所述根据所述对比结果调整所述递归卷积模块中的参数，包括：

根据所述对比结果调整所述卷积层、所述角度信息提取层和所述递归卷积模块中的参数。

在一种可能的设计中，所述多个卷积核包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；

所述训练模块501执行操作(1)包括：

通过所述第一卷积核、所述第二卷积核和所述第三卷积核分别对所述带雨条纹的图像进行卷积操作，获得第一特征向量、第二特征向量和第三特征向量；

将所述第一特征向量、所述第二特征向量和所述第三特征向量进行融合，获得所述融合特征向量；

通过所述第四卷积核将所述融合特征向量与所述带雨条纹的图像的特征向量相加；

将相加后的特征向量经过所述LSTM网络模块输出。

在一种可能的设计中，所述预设结果包括特征向量的对比相似度达到预设阈值。

本申请实施例提供的装置，可用于执行上述图像去雨模型训练方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。

图6为本申请实施例提供的一种图像去雨装置的结构示意图。如图6所示，该图像去雨装置60包括：获取模块601和去雨模块602。

其中，获取模块601，用于获取待处理带雨条纹的图像；

去雨模块602，用于将所述待处理带雨条纹的图像输入上述的图像去雨模型训练方法获得的图像去雨模型，得到所述待处理带雨条纹的图像对应的无雨条纹的图像。

本申请实施例提供的装置，可用于执行上述图像去雨方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。

图7为本发明实施例提供的图像去雨模型训练设备的硬件结构示意图。其中，图像去雨模型包括递归卷积模块，该递归卷积模块包括多个卷积核和一个LSTM网络模块。如图7所示，本实施例的图像去雨模型训练设备70包括：处理器701以及存储器702；其中

存储器702，用于存储计算机执行指令；

处理器701，用于执行存储器存储的计算机执行指令，以实现以下操作(1)-(2)：

(1)通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将所述融合特征向量与所述带雨条纹的图像的特征向量相加，将相加后的特征向量经过所述LSTM网络模块输出；

(2)将输出的特征向量与所述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比；

若对比结果不为预设结果，则根据所述对比结果调整所述递归卷积模块中的参数，并重新执行所述操作(1)-(2)。

在一种可能的设计中，所述图像去雨模型还包括卷积层和角度信息提取层；

在所述通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量之前，还包括：

通过所述卷积层对所述带雨条纹的图像进行特征提取，输出所述带雨条纹的图像的第一特征图谱，并通过所述角度信息提取层检测所述带雨条纹的图像中雨条纹的方向和物理特性，基于所述雨条纹的方向和物理特性，生成第二特征图谱和权重值；

基于所述权重值，将所述第一特征图谱和所述第二特征图谱进行融合，获得融合特征图谱；

所述根据所述对比结果调整所述递归卷积模块中的参数，包括：

根据所述对比结果调整所述卷积层、所述角度信息提取层和所述递归卷积模块中的参数。

在一种可能的设计中，所述多个卷积核包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；

所述操作(1)包括：

通过所述第一卷积核、所述第二卷积核和所述第三卷积核分别对所述带雨条纹的图像进行卷积操作，获得第一特征向量、第二特征向量和第三特征向量；

将所述第一特征向量、所述第二特征向量和所述第三特征向量进行融合，获得所述融合特征向量；

通过所述第四卷积核将所述融合特征向量与所述带雨条纹的图像的特征向量相加；

将相加后的特征向量经过所述LSTM网络模块输出。

在一种可能的设计中，所述预设结果包括特征向量的对比相似度达到预设阈值。

可选地，存储器702既可以是独立的，也可以跟处理器701集成在一起。

当存储器702独立设置时，该图像去雨模型训练设备还包括总线703，用于连接所述存储器702和处理器701。

本实施例还提供一种图像去雨设备包括：处理器以及存储器；其中

存储器，用于存储计算机执行指令；

处理器，用于执行存储器存储的计算机执行指令，以实现以下操作：

获取待处理带雨条纹的图像；

将所述待处理带雨条纹的图像输入上述的图像去雨模型训练方法获得的图像去雨模型，得到所述待处理带雨条纹的图像对应的无雨条纹的图像。

可选地，存储器既可以是独立的，也可以跟处理器集成在一起。

当存储器独立设置时，该图像去雨设备还包括总线，用于连接所述存储器和处理器。

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的图像去雨模型训练方法。

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的图像去雨方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外部设备互连(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种图像去雨模型训练方法，其特征在于，所述图像去雨模型包括递归卷积模块，所述递归卷积模块包括多个卷积核和一个长短期记忆网络LSTM网络模块；

所述方法包括以下操作(1)-(2)：

(1)通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将所述融合特征向量与所述带雨条纹的图像的特征向量相加，将相加后的特征向量经过所述LSTM网络模块输出；

(2)将输出的特征向量与所述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比；

若对比结果不为预设结果，则根据所述对比结果调整所述递归卷积模块中的参数，并重新执行所述操作(1)-(2)。

2.根据权利要求1所述的方法，其特征在于，所述图像去雨模型还包括卷积层和角度信息提取层；

在所述通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量之前，还包括：

通过所述卷积层对所述带雨条纹的图像进行特征提取，输出所述带雨条纹的图像的第一特征图谱，并通过所述角度信息提取层检测所述带雨条纹的图像中雨条纹的方向和物理特性，基于所述雨条纹的方向和物理特性，生成第二特征图谱和权重值；

基于所述权重值，将所述第一特征图谱和所述第二特征图谱进行融合，获得融合特征图谱；

所述根据所述对比结果调整所述递归卷积模块中的参数，包括：

根据所述对比结果调整所述卷积层、所述角度信息提取层和所述递归卷积模块中的参数。

3.根据权利要求1所述的方法，其特征在于，所述多个卷积核包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；

所述操作(1)包括：

通过所述第一卷积核、所述第二卷积核和所述第三卷积核分别对所述带雨条纹的图像进行卷积操作，获得第一特征向量、第二特征向量和第三特征向量；

将所述第一特征向量、所述第二特征向量和所述第三特征向量进行融合，获得所述融合特征向量；

通过所述第四卷积核将所述融合特征向量与所述带雨条纹的图像的特征向量相加；

将相加后的特征向量经过所述LSTM网络模块输出。

4.根据权利要求1所述的方法，其特征在于，所述预设结果包括特征向量的对比相似度达到预设阈值。

5.一种图像去雨方法，其特征在于，包括：

获取待处理带雨条纹的图像；

将所述待处理带雨条纹的图像输入权利要求1至4中任一项所述的图像去雨模型训练方法获得的图像去雨模型，得到所述待处理带雨条纹的图像对应的无雨条纹的图像。

6.一种图像去雨模型训练装置，其特征在于，所述图像去雨模型包括递归卷积模块，所述递归卷积模块包括多个卷积核和一个LSTM网络模块；

所述装置包括训练模块，用于执行以下操作(1)-(2)：

(1)通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量，将提取的特征向量进行融合，获得融合特征向量，并将所述融合特征向量与所述带雨条纹的图像的特征向量相加，将相加后的特征向量经过所述LSTM网络模块输出；

(2)将输出的特征向量与所述带雨条纹的图像对应的无雨条纹的图像的特征向量进行对比；

所述训练模块，还用于若对比结果不为预设结果，则根据所述对比结果调整所述递归卷积模块中的参数，并重新执行所述操作(1)-(2)。

7.根据权利要求6所述的装置，其特征在于，所述图像去雨模型还包括卷积层和角度信息提取层；

所述训练模块在所述通过所述多个卷积核分别提取输入的带雨条纹的图像的特征向量之前，还用于：

通过所述卷积层对所述带雨条纹的图像进行特征提取，输出所述带雨条纹的图像的第一特征图谱，并通过所述角度信息提取层检测所述带雨条纹的图像中雨条纹的方向和物理特性，基于所述雨条纹的方向和物理特性，生成第二特征图谱和权重值；

基于所述权重值，将所述第一特征图谱和所述第二特征图谱进行融合，获得融合特征图谱；

所述根据所述对比结果调整所述递归卷积模块中的参数，包括：

根据所述对比结果调整所述卷积层、所述角度信息提取层和所述递归卷积模块中的参数。

8.根据权利要求6所述的装置，其特征在于，所述多个卷积核包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；

所述训练模块执行操作(1)包括：

通过所述第一卷积核、所述第二卷积核和所述第三卷积核分别对所述带雨条纹的图像进行卷积操作，获得第一特征向量、第二特征向量和第三特征向量；

将所述第一特征向量、所述第二特征向量和所述第三特征向量进行融合，获得所述融合特征向量；

通过所述第四卷积核将所述融合特征向量与所述带雨条纹的图像的特征向量相加；

将相加后的特征向量经过所述LSTM网络模块输出。

9.一种图像去雨装置，其特征在于，包括：

获取模块，用于获取待处理带雨条纹的图像；

去雨模块，用于将所述待处理带雨条纹的图像输入权利要求1至4中任一项所述的图像去雨模型训练方法获得的图像去雨模型，得到所述待处理带雨条纹的图像对应的无雨条纹的图像。

10.一种图像去雨模型训练设备，其特征在于，所述设备包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至4任一项所述的图像去雨模型训练方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至4任一项所述的图像去雨模型训练方法。

Images