CN110544221B - 训练方法及装置、去雨方法、终端设备、存储介质 - Google Patents
训练方法及装置、去雨方法、终端设备、存储介质 Download PDFInfo
- Publication number
- CN110544221B CN110544221B CN201910837465.5A CN201910837465A CN110544221B CN 110544221 B CN110544221 B CN 110544221B CN 201910837465 A CN201910837465 A CN 201910837465A CN 110544221 B CN110544221 B CN 110544221B
- Authority
- CN
- China
- Prior art keywords
- rain
- channel
- neural network
- network model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000012549 training Methods 0.000 title claims abstract description 80
- 238000003062 neural network model Methods 0.000 claims abstract description 121
- 238000011084 recovery Methods 0.000 claims abstract description 56
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 31
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 11
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 8
- 125000004122 cyclic group Chemical group 0.000 description 5
- 239000000523 sample Substances 0.000 description 4
- 241000282376 Panthera tigris Species 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种训练方法及装置、去雨方法、终端设备、存储介质，涉及图像处理领域。该训练方法包括：读取一张带雨图像上的带雨图片块；将所述带雨图片块作为特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到特征图像对应的雨水图片块；将所述雨水图片块对应的特征图像减去所述雨水图片块，得到所述带雨图片块对应的去雨图片块；将所述去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的所述去雨图片块中的雨水被去除。本发明去雨循环神经网络模型对输入的带雨图片块进行雨水的训练，提高对雨水的识别能力。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种训练方法及装置、去雨方法、终端设备、存储介质。
背景技术
随着计算机技术的发展，各种各样的计算机视觉算法已经渗透到日常生活中的方方面面。例如：自动驾驶汽车检测前方路况的语义分割算法、部署于户外的天网摄像头上，用于追踪逃犯的人脸识别算法、部署于户外交通监控探头上的车牌号识别算法等。这些算法的正常运行对维护道路安全，保持社会稳定起着至关重要的作用。
然而，在下雨时，雨水带来的雨滴及雨雾对空气能见度造成严重影响，使得大部分部署于户外的计算机视觉算法的识别准确率大大降低甚至失效。
针对上述问题，许多优秀的基于算法的图像去雨方法被提出，如高斯滤波法、导向滤波法及低秩表示法等。随着计算机科学的发展及计算机计算能力的提升，近期有许多基于深度学习的图像去雨方法被提出。
然而，基于惯性思维的限制，现有的图像去雨方法，都是输入带雨水的图像，直接输出去雨的图像，其本质上是对整个图像进行训练，而不是对雨水进行单独训练，虽然也能得到去雨图像，但是去雨性能得不到满足。
发明内容
本发明的目的是提供一种训练方法及装置、去雨方法、终端设备、存储介质，该训练方法中的去雨循环神经网络模型是针对雨水进行训练，使训练好的去雨循环神经网络模型提高了对雨水的识别能力，使用相应的去雨方法在输入待去雨的图像时可以得到去雨效果更好的去雨图像。
本发明提供的技术方案如下：
一种去雨循环神经网络模型的训练方法，包括：读取一张带雨图像上的带雨图片块；将所述带雨图片块作为特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块；将所述雨水图片块对应的特征图像减去所述雨水图片块，得到所述带雨图片块对应的去雨图片块；将所述去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的所述去雨图片块中的雨水被去除，完成了使用一张带雨图片块对所述去雨循环神经网络模型的训练。
在上述技术方案中，去雨循环神经网络模型对输入的带雨图片块进行雨水的训练，提高对雨水的识别能力，并针对一张带雨图片块进行循环训练，进一步提高了对雨水训练的精确度。
进一步，所述特征图像通过去雨循环神经网络模型中的通道提升模块的过程包括：所述特征图像通过所述通道提升模块的第一卷积层，得到通道数量变为第一预设通道的第一特征图像；所述第一特征图像通过所述通道提升模块的第二卷积层，得到通道数量变为第二预设通道的第二特征图像；所述第二特征图像通过所述通道提升模块的第三卷积层，得到通道数量变为第三预设通道的第三特征图像；其中，所述第一预设通道＜第二预设通道＜第三预设通道。
在上述技术方案中，分多步进行通道提升，可使训练出来的雨水图片块具有更好的雨水识别效果。
进一步，所述特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块中通过全局信息注意力模块的过程包括：将所述特征图像通过所述通道提升模块后得到的第三特征图像输入至所述全局信息注意力模块中的三个并行的具有自由移动项的卷积层，分别得到三个移动项特征图像；将所述三个移动项特征图像进行拼接，得到全局信息特征图像。
在上述技术方案中，卷积单元多了自由移动项，使取样时的范围不再固定，卷积单元可以更加高效地从形状不规则的前层第三特征图像的区域中取样，对处于同一雨层的多种同类型雨水信息建模，建模效率及性能显著提升。
进一步，所述移动项特征图像中一个卷积单元的公式为：
其中，F(p0)为移动项特征图像中一个卷积单元，Gi为第i个具有自由移动项的卷积层的取样范围，w(pn)为pn的参数，p0为F(p0)对应的前一层第三特征图像上取样范围的中心点，pn为Gi中的一个位置，dn为pn对应的自由移动项，dn∈Gi。
在上述技术方案中，相比于传统的神经网络的卷积单元，本实施例的卷积单元多了自由移动项dn，使取样时的范围不再固定，而dn也是去雨循环神经网络模型采用带雨图片块训练所要得到的参数之一。
进一步，所述特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块中通过雨层注意力模块的过程包括：将所述特征图像依次通过所述去雨循环神经网络模型中的通道提升模块、全局信息注意力模块得到的全局信息特征图像输入所述雨层注意力模块；根据所述全局信息特征图像计算出与其通道数量相等的权重向量；将所述权重向量上的每个数与所述全局信息特征图像上对应的通道上的卷积单元相乘，得到雨层特征图像。
在上述技术方案中，计算每个通道的权重信息，通过按通道相乘，全局信息特征图像中各通道所占权重被重新调整，注意力机制被引入各雨层间，增加了所提出去雨循环神经网络模型的建模能力与去雨性能。
进一步，所述特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块中通过通道恢复模块的过程包括：将所述特征图像依次通过所述去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块得到的雨层特征图像输入所述通道恢复模块的第一卷积层，得到通道数量变为第三预设通道的第一恢复特征图像；所述第一恢复特征图像通过所述通道恢复模块的第二卷积层，得到通道数量变为第二预设通道的第二恢复特征图像；所述第二恢复特征图像通过所述通道恢复模块的第三卷积层，得到通道数量变为第一预设通道的第三恢复特征图像；所述第三恢复特征图像通过所述通道恢复模块的第四卷积层，得到所述特征图像对应的雨水图片块。
在上述技术方案中，分步进行恢复通道数量的恢复可提高去雨循环神经网络模型对雨水建模的精度。
本发明还提供一种去雨循环神经网络模型的训练方法，包括：建立图像数据库，所述图像数据库中包括了多个带雨图像；从每个带雨图像上获取多个带雨图片块，将每个所述带雨图片块分别作为特征图像，采用上述任一所述的去雨循环神经网络模型的训练方法对去雨循环神经网络模型进行训练，得到训练好的去雨循环神经网络模型。
在上述技术方案中，采用多个带雨图像对去雨循环神经网络模型进行训练，使训练出来的网络参数更精准。
本发明还提供一种去雨循环神经网络模型的去雨方法，包括：采用第二种去雨循环神经网络模型的训练方法训练好的去雨循环神经网络模型；将待去雨的图像输入训练好的所述去雨循环神经网络模型中，得到对应的雨水图像；将所述待去雨的图像减去所述雨水图像，得到对应的去雨图像。
在上述技术方案中，应用本发明的去雨循环神经网络模型可得到去雨性能更好的去雨图像。
本发明还提供一种去雨循环神经网络模型的训练装置，包括：读取单元，用于读取一张带雨图像上的带雨图片块；训练单元，将所述带雨图片块作为特征图像依次通过所述去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块；以及，将所述雨水图片块对应的特征图像减去所述雨水图片块，得到所述带雨图片块对应的去雨图片块；以及，将所述去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的所述去雨图片块中的雨水被去除，完成了使用一张带雨图片块对所述去雨循环神经网络模型的训练。
本发明还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现如上述任一项所述去雨循环神经网络模型的训练方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述去雨循环神经网络模型的训练方法的步骤。
与现有技术相比，本发明的训练方法及装置、去雨方法、终端设备、存储介质有益效果在于：
本发明去雨循环神经网络模型对输入的带雨图片块进行雨水的训练，提高对雨水的识别能力，且去雨循环神经网络模型设置了新的结构，进一步提高了去雨循环神经网络模型对雨水的建模精度，后续使用时可得到去雨效果更好的去雨图像。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种训练方法及装置、去雨方法、终端设备、存储介质的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明去雨循环神经网络模型的训练方法一个实施例的流程图；
图2是图1中特征图像通过通道提升模块一个实施例的流程图；
图3是图1中特征图像通过全局信息注意力模块一个实施例的流程图；
图4是传统神经网络取样范围一个实施例的结构示意图；
图5是本发明终端设备一个实施例的结构示意图；
图6是本发明全局信息注意力模块中取样范围一个实施例的结构示意图；
图7是本发明特征图像通过雨层注意力模块一个实施例的流程图；
图8是本发明特征图像通过通道恢复模块一个实施例的流程图；
图9是本发明去雨循环神经网络模型的训练装置一个实施例的结构示意图；
图10是老虎图片去雨效果对比图；
图11是夜空图片去雨效果对比图；
图12是图1中训练方法的示意图。
附图标号说明：
5.终端设备，51.存储器，52.计算机程序，53.处理器，9.去雨循环神经网络模型的训练装置，91.读取单元，92.训练单元。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其他便携式设备。还应当理解的是，在某些实施例中，所述终端设备并非便携式通信设备，而是具有触摸敏感表面(例如：触摸屏显示器和/或触摸板)的台式计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其他物理用户接口设备。
终端设备支持各种应用程序，例如以下中的一个或多个：去雨应用程序、绘图应用程序、演示应用程序、网络创建应用程序、文字处理应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄像机应用程序、Web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
图1示出了本发明的一个去雨循环神经网络模型的训练方法的实现流程图，该训练方法可以应用于终端设备(例如：计算机，本实施例中为方便理解，都以计算机作为主语解释，但本领域的技术人员均明白该训练方法也可应用于其他终端设备，只要能实现相应功能即可)，训练方法包括以下步骤：
S101读取一张带雨图像上的带雨图片块。
具体的，去雨循环神经网络模型需要相应的图像进行训练。本实施例中的带雨图片块是一个w(即宽)*h(即高)像素大小的图片块，其是从一张完整的带雨图像上随机位置裁下的。带雨图像的w*h的具体数据不作限定，可以为128*128、64*64等，但其与去雨循环神经网络模型中的某些参数相关联，需要对应调整，例如：零填充、卷积核。
无雨图片块则可以是从完整的带雨图像对应的完整的无雨图像的对应位置裁下的w*h像素大小的图片块。
一般是将带雨图片块作为输入，而此带雨图片块对应的无雨图片块作为训练去雨循环神经网络模型时的答案，供其与训练出来的去雨图片块进行比对，从而改变后续的训练参数。
S102将带雨图片块作为特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到特征图像对应的雨水图片块。
具体的，本实施例中的去雨循环神经网络模型采用的目标函数为：
其中，N是带雨图像被分解成的带雨图片块数量，w代表网络参数，λ是权重衰减系数，其为常数，根据经验设定，In是第n张带雨图片块，I是与In对应的无雨图片块，f代表所提出的去雨循环神经网络模型的映射函数，f(In)代表根据带雨图片块和经过去雨循环神经网络模型处理后的雨水图片块得到的去雨图片块，
是L2参数正则化。
采用带雨图片块来训练完成上述目标函数，也可以理解为，得到上述目标函数的网络参数等。
本实施例中去雨循环神经网络模型的结构包括：通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块。
通道提升模块是为了将输入的特征图像的进行通道提升，以满足后续模块的输入需求。一般来说，输入通道提升模块的特征图像为w*h*3，即特征图像一开始为红蓝绿三通道，经过通道提升模块后，变为若干通道。
特征图像通过通道提升模块的过程有多种实施方式：
作为一种实施方式，特征图像通过去雨循环神经网络模型中的通道提升模块中的卷积层，直接将特征图像为w*h*3提升至通道数量变为第三预设通道的第三特征图像。
根据实际需求设置第三预设通道，例如：第三预设通道为64或者32等。
作为另一种实施方式，如图2所示，特征图像通过去雨循环神经网络模型中的通道提升模块的过程包括：
S21特征图像通过通道提升模块的第一卷积层，得到通道数量变为第一预设通道的第一特征图像；
S22第一特征图像通过通道提升模块的第二卷积层，得到通道数量变为第二预设通道的第二特征图像；
S23第二特征图像通过通道提升模块的第三卷积层，得到通道数量变为第三预设通道的第三特征图像；
其中，第一预设通道＜第二预设通道＜第三预设通道。
具体的，在此实施方式中，将特征图像(w*h*3)先将其的通道数量提升到第一预设通道，再将其提到至第二预设通道，然后将其提升至第三预设通道，也就是分步将特征图像的通道数量进行提升。
相比于直接将特征图像的通道数量直接提升到最后的目标通道数量，分多步提升，可使训练出来的雨水图片块具有更好的雨水识别效果。
根据实际使用情况，设置第一预设通道、第二预设通道、第三预设通道，例如：第一预设通道为16，第二预设通道为32，第三预设通道为64。
同理，各卷积层的参数根据输入的特征图片的像素w、h和实际需求设置。
例如，本实施例的通道提升模块的结构可设置为：
全局信息注意力模块是由若干个并行的卷积层构成，由于传统卷积神经网络结构的限制，特征图上的某个卷积单元只能从前层特征图中固定形状的区域内取样。而含有同种雨水信息的像素点并不一定分布在这个固定形状的区域中，这使得卷积单元无法高效地对分布于不规则区域中的同类型雨滴建模，削弱了卷积神经网络的去雨性能。
因此，本实施例中的全局信息注意力模块由若干个并行的具有自由移动项的卷积层构成，具体的数量可根据实际情况决定，例如：三个并行的具有自由移动项的卷积层。
如图3所示，S102中通过全局信息注意力模块的过程包括：
S31将特征图像通过通道提升模块后得到的第三特征图像输入至全局信息注意力模块中的三个并行的具有自由移动项的卷积层，分别得到三个移动项特征图像；
S32将三个移动项特征图像进行拼接，得到全局信息特征图像。
具体的，全局信息注意力模块中的三个并行的具有自由移动项的卷积层的参数，例如：卷积核、膨胀系数等。
以传统神经网络的卷积核输出的特征图像F上的一个卷积单元进行对比说明。
传统的，假设是三个卷积层：
第一个卷积层的卷积核大小为3x3，膨胀系数为1，则第一个卷积层的取样范围G1为：
G1＝{(-1,-1),(-1,0),(-1,1),(0,1),(0,0),(1,1),(1,0),(1,-1),(0,-1)}；
第二个卷积层的卷积核大小为3x3，膨胀系数为2，则第二个卷积层的取样范围G2为：
G2＝{(-2,-2),(-2,0),(-2,2),(0,2),(0,0),(2,2),(2,0),(2,-2),(0,-2)}；
第三个卷积层的卷积核大小为3x3，膨胀系数为3，则第三个卷积层的取样范围G3为：
G3＝{(-3,-3),(-3,0),(-3,3),(0,3),(0,0),(3,3),(3,0),(3,-3),(0,-3)}；
传统神经网络输出的特征图像F’上的一个卷积单元为：
其中，这里的F’(p0)为传统神经网络输出的特征图像F’上的一个卷积单元，Gi为上述定义的第i个卷积层的取样范围，w(pn)为pn的参数，p0为F’(p0)对应的前一层特征图像(即输入的特征图像)上取样范围的中心点，pn为Gi中的一个位置，例如：G1中的(-1，-1)，pn会取遍Gi中的所有位置。
传统的神经网络在取样时，其取样范围是固定的，例如上述实施例的取样范围就是一个如图4所示的位于左上角的具有9个位置的实线矩形(一个矩形相当于一个点)，取样时从这个取样范围内取9个点。
本实施例中具有自由移动项的卷积层全局信息注意力模块的例子如下，假设也是三个卷积层：
第一个卷积层的卷积核大小为3x3，膨胀系数为1，则第一个卷积层的取样范围G1为：
G1＝{(-1,-1),(-1,0),(-1,1),(0,1),(0,0),(1,1),(1,0),(1,-1),(0,-1)}；
第二个卷积层的卷积核大小为3x3，膨胀系数为2，则第二个卷积层的取样范围G2为：
G2＝{(-2,-2),(-2,0),(-2,2),(0,2),(0,0),(2,2),(2,0),(2,-2),(0,-2)}；
第三个卷积层的卷积核大小为3x3，膨胀系数为3，则第三个卷积层的取样范围G3为：
G3＝{(-3,-3),(-3,0),(-3,3),(0,3),(0,0),(3,3),(3,0),(3,-3),(0,-3)}；
移动项特征图像中一个卷积单元的公式为：
其中，F(p0)为移动项特征图像中一个卷积单元，Gi为第i个具有自由移动项的卷积层的取样范围，w(pn)为pn的参数，p0为F(p0)对应的前一层第三特征图像上取样范围的中心点，pn为Gi中的一个位置，dn为pn对应的自由移动项，dn∈Gi。
相比于传统的神经网络的卷积单元，本实施例的卷积单元多了自由移动项dn，使取样时的范围不再固定，而dn也是去雨循环神经网络模型采用带雨图片块训练所要得到的参数之一。
本实施例的取样范围可参考图6，加了入自由移动项，使取样范围不再固定于矩形，9个点有了偏移，形状不再规则，此种取样方式被引入第三特征图片的各通道平面内，卷积单元可以更加高效地从形状不规则的前层第三特征图像的区域中取样，对处于同一雨层的多种同类型雨水信息建模，建模效率及性能显著提升。
在实际应用时，本实施例中的全局信息注意力模块的结构可设置为：
在得到三个移动项特征图像后，会将其在第三维度拼接，第三维度是指区别于w和h的维度，若w和h代表的是平面上的x和y轴方向的话，第三维度指的是z轴方向，也可以理解为前后方向。
本实施例所说的雨层注意力模块是为全局信息特征图像上的每个通道计算其对应的权重信息，将相应通道中的每个元素乘以所对应的权重实现通道间的注意力机制，以提高去雨循环神经网络模型对雨水模型建模的精度。
如图7所示，S102中通过雨层注意力模块的过程包括：
S71将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块得到的全局信息特征图像输入雨层注意力模块；
S72根据全局信息特征图像计算出与其通道数量相等的权重向量；
S73将权重向量上的每个数与全局信息特征图像上对应的通道上的卷积单元相乘，得到雨层特征图像。
三层注意力模块的结构可设置如下，以输入的全局信息特征图像为128*128像素，192个通道为例说明：
层1至层5的作用是根据输入的全局信息特征图像计算出每个通道对应的权重，让其与输入的全局信息特征图像按通道相乘，得到最后的输出，即雨层特征图像。
全局池化层是将输入的全局信息特征图像上的每个通道中的所有卷积单元在其所在通道内求和，之后除以该通道中的单元总数。换句话说，该操作在每个通道内求所有卷积单元的平均值，每个通道将计算得到一个数值，处理后得到的初始权重特征图大小为1*1*192。
层2中的全连接层输入节点数为192，输出节点数为12，层4中的全连接层输入节点数为12，输出节点数为192，此为常规手段，在此不作赘述。
层5中输出的是一个长度与输入该模块的全局信息特征图像所具有的通道数相等的向量(即最后的权重特征图)，将该向量上的每个数与输入该模块的全局信息特征图像按通道相乘，具体地，每个数乘以输入的全局信息特征图像上所对应通道上的每个卷积单元，最终得到雨层注意力模块的输出。
层5中输出的向量蕴含了输入雨层注意力模块的全局信息特征图像中每个通道的权重信息，通过按通道相乘，全局信息特征图像中各通道所占权重被重新调整，注意力机制被引入各雨层间，增加了所提出去雨循环神经网络模型的建模能力与去雨性能。
通道恢复模块是为了将通过前几步处理后得到的雨层特征图像恢复到原始的红绿蓝三通道的图像，为后续图像之间的相减打下基础。
S102中通过通道恢复模块的过程有多种实施方式：
作为一种实施方式，如图8所示，该过程包括：
S81将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块得到的雨层特征图像输入通道恢复模块的第一卷积层，得到通道数量变为第三预设通道的第一恢复特征图像；
S82第一恢复特征图像通过通道恢复模块的第二卷积层，得到通道数量变为第二预设通道的第二恢复特征图像；
S83第二恢复特征图像通过通道恢复模块的第三卷积层，得到通道数量变为第一预设通道的第三恢复特征图像；
S84第三恢复特征图像通过通道恢复模块的第四卷积层，得到特征图像对应的雨水图片块。
具体的，在恢复时，可分步进行通道的恢复，第一预设通道＜第二预设通道＜第三预设通道。若通道提升时也是通过分步将特征图像的通道数量提升，可采用相应的反向的方式进行通道的恢复，分步恢复可提高去雨循环神经网络模型对雨水建模的精度。
例如：通道提升时的通道变化情况为3、16、32、64，则若采用分步恢复的话，可从192、64、32、16、3这样恢复，相应的设置如下：
作为另一种实施方式，将雨层特征图像输入通道恢复模块中直接恢复至通道数量为3的雨水图片块。
S103将雨水图片块对应的特征图像减去雨水图片块，得到带雨图片块对应的去雨图片块。
S104将去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的去雨图片块中的雨水被去除，完成了使用一张带雨图片块对去雨循环神经网络模型的训练。
具体的，雨水图片块可被看作由真实背景和多层雨水组成，如图12所示，将最初输入的带雨图片块减去雨水图片块，便可获取一次去雨后的去雨图片块，将其再次作为特征图像(即新的雨水图片块)输入去雨循环神经网络模型中，重复操作，直到去雨图片块中的雨水被去除。
重复次数可根据训练出来的去雨图片块与其对应的无雨图片块的相似度情况决定，可以设为5次、6次、7次、8次等，根据实际效果设置，在此不作限制。
本实施例中，去雨循环神经网络模型对输入的带雨图片块进行雨水的训练，提高对雨水的识别能力，且去雨循环神经网络模型设置了新的结构，进一步提高了去雨循环神经网络模型对雨水的建模精度，为后续使用时得到去雨效果更好的去雨图像打下基础。
在本发明的另一个实施例中，一种去雨循环神经网络模型的训练方法，包括：
建立图像数据库，图像数据库中包括了多个带雨图像(和对应的无雨图像)；
从每个带雨图像上获取多个带雨图片块，将每个带雨图片块分别作为特征图像，采用上述实施例的去雨循环神经网络模型的训练方法对去雨循环神经网络模型进行训练，得到训练好的去雨循环神经网络模型。
具体的，上述实施例中阐述了采用一个带雨图片块在去雨循环神经网络模型中的训练过程，而一般训练去雨循环神经网络模型需要有很多张带雨图像进行训练，才可训练出效果较好的去雨循环神经网络模型。
因此，本实施例中就是采用图像数据库的形式，从每个带雨图像上截取多个带雨图片块，输入至去雨循环神经网络模型进行训练，经过大量数据的训练，得到效果较好的去雨循环神经网络模型。
在本发明的另一个实施例中，一种去雨循环神经网络模型的去雨方法，包括：采用第二个实施例的去雨循环神经网络模型的训练方法训练好的去雨循环神经网络模型；
将待去雨的图像输入训练好的去雨循环神经网络模型中，得到对应的雨水图像；
将待去雨的图像减去雨水图像，得到对应的去雨图像。
具体的，本实施例中针对训练好的去雨循环神经网络模型的应用，将一张待去雨的图像输入至训练好的去雨循环神经网络模型中，得到对应的雨水图像，将待去雨的图像减去雨水图像后，即可得到去雨效果较好的去雨图像。
实际的例子如下：
本发明所提出的去雨循环神经网络模型使用PyTorch框架实现。在搭载NVIDIA XpGPU的服务器上进行训练，使用ADAM优化算法。初始学习率设置为0.0005，在14000步时将学习率降低为0.00005，在16000步时降低为0.000005。batch size被设置为32。
将输入图片放入所提出的去雨循环神经网络模型，并获得去雨后的“去雨图像”，图10、11展示了使用含有800对图片的图像数据库训练所提出的去雨循环神经网络模型的参数后，测试时的真实效果。其中，图10与11展示的是老虎和夜空图片的去雨效果对比。DSC、LP及ID是当前效果最好，作为对比的3种方法。运用老虎和夜空图片在数据集中不含雨水的“答案”，本发明采用结构相似性指数(SSIM)定量衡量本发明与其它去雨方法的去雨效果，SSIM值越高，去雨图与“答案”的相似度越高，去雨效果越好。
使用本发明方法与其它方法去雨后图片的SSIM对比情况如下表所示：
从上述表格中可以看出，使用本发明提出的去雨方法去雨后的图片获得了最高的SSIM值。通过观察图10与11还可以发现，其它去雨方法在去雨时存在去雨不彻底，降低背景清晰度的问题，而本发明所提出的去雨方法能够在保证不降低带雨水图片背景清晰度的情况下将图片中含有的雨水较为彻底地去除，达到了较好的去雨效果。
应理解，在上述实施例中，各步骤序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图9是本申请提供的去雨循环神经网络模型的训练装置9的示意图，为了便于说明，仅示出了与本申请实施例相关的部分。
该去雨循环神经网络模型的训练装置可以是内置于终端设备内的软件单元、硬件单元或者软硬结合的单元，也可以作为独立的挂件集成到终端设备中。
去雨循环神经网络模型的训练装置9包括：
读取单元91，用于读取一张带雨图像上的带雨图片块；
训练单元92，用于将带雨图片块作为特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到特征图像对应的雨水图片块；
以及，将雨水图片块对应的特征图像减去雨水图片块，得到带雨图片块对应的去雨图片块；
以及，将去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的去雨图片块中的雨水被去除，完成了使用一张带雨图片块对去雨循环神经网络模型的训练。
可选地，训练单元92，用于将带雨图片块作为特征图像通过去雨循环神经网络模型中的通道提升模块的过程包括：
训练单元92，让特征图像通过通道提升模块的第一卷积层，得到通道数量变为第一预设通道的第一特征图像；以及，第一特征图像通过通道提升模块的第二卷积层，得到通道数量变为第二预设通道的第二特征图像；以及，第二特征图像通过通道提升模块的第三卷积层，得到通道数量变为第三预设通道的第三特征图像；其中，第一预设通道＜第二预设通道＜第三预设通道。
可选地，训练单元92，将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到特征图像对应的雨水图片块中通过全局信息注意力模块的过程包括：
训练单元92，将特征图像通过通道提升模块后得到的第三特征图像输入至全局信息注意力模块中的三个并行的具有自由移动项的卷积层，分别得到三个移动项特征图像；以及，将三个移动项特征图像进行拼接，得到全局信息特征图像。
移动项特征图像中一个卷积单元的公式为：
其中，F(p0)为移动项特征图像中一个卷积单元，Gi为第i个具有自由移动项的卷积层的取样范围，w(pn)为pn的参数，p0为F(p0)对应的前一层第三特征图像上取样范围的中心点，pn为Gi中的一个位置，dn为pn对应的自由移动项，dn∈Gi。
可选地，训练单元92，将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到特征图像对应的雨水图片块中通过雨层注意力模块的过程包括：
训练单元92，将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块得到的全局信息特征图像输入雨层注意力模块；以及，根据全局信息特征图像计算出与其通道数量相等的权重向量；以及，将权重向量上的每个数与全局信息特征图像上对应的通道上的卷积单元相乘，得到雨层特征图像。
可选地，训练单元92，将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到特征图像对应的雨水图片块中通过通道恢复模块的过程包括：
训练单元92，将特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块得到的雨层特征图像输入通道恢复模块的第一卷积层，得到通道数量变为第三预设通道的第一恢复特征图像；以及，第一恢复特征图像通过通道恢复模块的第二卷积层，得到通道数量变为第二预设通道的第二恢复特征图像；以及，第二恢复特征图像通过通道恢复模块的第三卷积层，得到通道数量变为第一预设通道的第三恢复特征图像；以及，第三恢复特征图像通过通道恢复模块的第四卷积层，得到特征图像对应的雨水图片块。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各程序单元/模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的程序单元/模块完成，即将所述装置的内部结构划分成不同的程序单元或模块，以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中，也可是各个单元单独物理存在，也可以两个或两个以上单元集成在一个处理单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序单元的形式实现。另外，各程序单元/模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
图5是本发明一个实施例中提供的终端设备5的结构示意图。如图5所示，本实施例的终端设备5包括：处理器53、存储器51以及存储在所述存储器51中并可在所述处理器53上运行的计算机程序52，例如：去雨循环神经网络模型的训练方法程序。所述处理器53执行所述计算机程序52时实现上述各个去雨循环神经网络模型的训练方法实施例中的步骤，或者，所述处理器53执行所述计算机程序52时实现上述各去雨循环神经网络模型的训练装置实施例中各模块/单元的功能。
所述终端设备5可以为桌上型计算机、笔记本、掌上电脑、平板型计算机、手机等设备。所述终端设备5可包括，但不仅限于，处理器53、存储器51。本领域技术人员可以理解，图5仅仅是终端设备的示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如：终端设备还可以包括输入输出设备、显示设备、网络接入设备、总线等。
所述处理器53可以是中央处理单元(Central Processing Unit,CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端设备5的内部存储单元，例如：终端设备的硬盘或内存。所述存储器也可以是所述终端设备的外部存储设备，例如：所述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序52以及所述终端设备5所需要的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序发送指令给相关的硬件完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括：计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如：在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种去雨循环神经网络模型的训练方法，其特征在于，包括：
读取一张带雨图像上的带雨图片块；
将所述带雨图片块作为特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块；
其中，全局信息注意力模块包括三个并行的具有自由移动项的卷积层；
所述移动项特征图像中一个卷积单元的公式为：
其中，F(p0)为移动项特征图像中一个卷积单元，Gi为第i个具有自由移动项的卷积层的取样范围，w(pn)为pn的参数，p0为F(p0)对应的前一层第三特征图像上取样范围的中心点，pn为Gi中的一个位置，dn为pn对应的自由移动项，dn∈Gi；
将所述雨水图片块对应的特征图像减去所述雨水图片块，得到所述带雨图片块对应的去雨图片块；
将所述去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的所述去雨图片块中的雨水被去除，完成了使用一张带雨图片块对所述去雨循环神经网络模型的训练。
2.如权利要求1所述的去雨循环神经网络模型的训练方法，其特征在于，所述特征图像通过去雨循环神经网络模型中的通道提升模块的过程包括：
所述特征图像通过所述通道提升模块的第一卷积层，得到通道数量变为第一预设通道的第一特征图像；
所述第一特征图像通过所述通道提升模块的第二卷积层，得到通道数量变为第二预设通道的第二特征图像；
所述第二特征图像通过所述通道提升模块的第三卷积层，得到通道数量变为第三预设通道的第三特征图像；
其中，所述第一预设通道＜第二预设通道＜第三预设通道。
3.如权利要求1所述的去雨循环神经网络模型的训练方法，其特征在于，所述特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块中通过全局信息注意力模块的过程包括：
将所述特征图像通过所述通道提升模块后得到的第三特征图像输入至所述全局信息注意力模块中的三个并行的具有自由移动项的卷积层，分别得到三个移动项特征图像；
将所述三个移动项特征图像进行拼接，得到全局信息特征图像。
4.如权利要求1所述的去雨循环神经网络模型的训练方法，其特征在于，所述特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块中通过雨层注意力模块的过程包括：
将所述特征图像依次通过所述去雨循环神经网络模型中的通道提升模块、全局信息注意力模块得到的全局信息特征图像输入所述雨层注意力模块；
根据所述全局信息特征图像计算出与其通道数量相等的权重向量；
将所述权重向量上的每个数与所述全局信息特征图像上对应的通道上的卷积单元相乘，得到雨层特征图像。
5.如权利要求1所述的去雨循环神经网络模型的训练方法，其特征在于，所述特征图像依次通过去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块中通过通道恢复模块的过程包括：
将所述特征图像依次通过所述去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块得到的雨层特征图像输入所述通道恢复模块的第一卷积层，得到通道数量变为第三预设通道的第一恢复特征图像；
所述第一恢复特征图像通过所述通道恢复模块的第二卷积层，得到通道数量变为第二预设通道的第二恢复特征图像；
所述第二恢复特征图像通过所述通道恢复模块的第三卷积层，得到通道数量变为第一预设通道的第三恢复特征图像；
所述第三恢复特征图像通过所述通道恢复模块的第四卷积层，得到所述特征图像对应的雨水图片块。
6.一种去雨循环神经网络模型的训练方法，其特征在于，包括：
建立图像数据库，所述图像数据库中包括了多个带雨图像；
从每个带雨图像上获取多个带雨图片块，将每个所述带雨图片块分别作为特征图像，采用上述权利要求1-5任一所述的去雨循环神经网络模型的训练方法对去雨循环神经网络模型进行训练，得到训练好的去雨循环神经网络模型。
7.一种去雨循环神经网络模型的去雨方法，其特征在于，包括：采用权利要求6所述的去雨循环神经网络模型的训练方法训练好的去雨循环神经网络模型；
将待去雨的图像输入训练好的所述去雨循环神经网络模型中，得到对应的雨水图像；
将所述待去雨的图像减去所述雨水图像，得到对应的去雨图像。
8.一种去雨循环神经网络模型的训练装置，其特征在于，包括：
读取单元，用于读取一张带雨图像上的带雨图片块；
训练单元，将所述带雨图片块作为特征图像依次通过所述去雨循环神经网络模型中的通道提升模块、全局信息注意力模块、雨层注意力模块和通道恢复模块，得到所述特征图像对应的雨水图片块；
以及，将所述雨水图片块对应的特征图像减去所述雨水图片块，得到所述带雨图片块对应的去雨图片块；
其中，全局信息注意力模块包括三个并行的具有自由移动项的卷积层；
所述移动项特征图像中一个卷积单元的公式为：
其中，F(p0)为移动项特征图像中一个卷积单元，Gi为第i个具有自由移动项的卷积层的取样范围，w(pn)为pn的参数，p0为F(p0)对应的前一层第三特征图像上取样范围的中心点，pn为Gi中的一个位置，dn为pn对应的自由移动项，dn∈Gi；
以及，将所述去雨图片块作为特征图像再次输入至去雨循环神经网络模型，直至得到的所述去雨图片块中的雨水被去除，完成了使用一张带雨图片块对所述去雨循环神经网络模型的训练。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时实现如权利要求1-6中任一项所述去雨循环神经网络模型的训练方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述去雨循环神经网络模型的训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910837465.5A CN110544221B (zh) | 2019-09-05 | 2019-09-05 | 训练方法及装置、去雨方法、终端设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910837465.5A CN110544221B (zh) | 2019-09-05 | 2019-09-05 | 训练方法及装置、去雨方法、终端设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110544221A CN110544221A (zh) | 2019-12-06 |
| CN110544221B true CN110544221B (zh) | 2022-03-29 |
Family
ID=68712684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910837465.5A Active CN110544221B (zh) | 2019-09-05 | 2019-09-05 | 训练方法及装置、去雨方法、终端设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110544221B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240761B (zh) * | 2020-09-09 | 2023-09-22 | 成都鼎桥通信技术有限公司 | 图像去雨模型训练方法、图像去雨方法及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537135A (zh) * | 2018-03-16 | 2018-09-14 | 北京市商汤科技开发有限公司 | 对象识别及对象识别网络的训练方法和装置、电子设备 |
| CN108805203A (zh) * | 2018-06-11 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 图像处理及对象再识别方法、装置、设备和存储介质 |
| CN108985317A (zh) * | 2018-05-25 | 2018-12-11 | 西安电子科技大学 | 一种基于可分离卷积和注意力机制的图像分类方法 |
| CN109087269A (zh) * | 2018-08-21 | 2018-12-25 | 厦门美图之家科技有限公司 | 弱光图像增强方法及装置 |
| CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
| CN109447918A (zh) * | 2018-11-02 | 2019-03-08 | 北京交通大学 | 基于注意力机制的单幅图像去雨方法 |
| CN109685813A (zh) * | 2018-12-27 | 2019-04-26 | 江西理工大学 | 一种自适应尺度信息的u型视网膜血管分割方法 |
| CN110009580A (zh) * | 2019-03-18 | 2019-07-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
| CN110163813A (zh) * | 2019-04-16 | 2019-08-23 | 中国科学院深圳先进技术研究院 | 一种图像去雨方法、装置、可读存储介质及终端设备 |
-
2019
- 2019-09-05 CN CN201910837465.5A patent/CN110544221B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537135A (zh) * | 2018-03-16 | 2018-09-14 | 北京市商汤科技开发有限公司 | 对象识别及对象识别网络的训练方法和装置、电子设备 |
| CN108985317A (zh) * | 2018-05-25 | 2018-12-11 | 西安电子科技大学 | 一种基于可分离卷积和注意力机制的图像分类方法 |
| CN108805203A (zh) * | 2018-06-11 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 图像处理及对象再识别方法、装置、设备和存储介质 |
| CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
| CN109087269A (zh) * | 2018-08-21 | 2018-12-25 | 厦门美图之家科技有限公司 | 弱光图像增强方法及装置 |
| CN109447918A (zh) * | 2018-11-02 | 2019-03-08 | 北京交通大学 | 基于注意力机制的单幅图像去雨方法 |
| CN109685813A (zh) * | 2018-12-27 | 2019-04-26 | 江西理工大学 | 一种自适应尺度信息的u型视网膜血管分割方法 |
| CN110009580A (zh) * | 2019-03-18 | 2019-07-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
| CN110163813A (zh) * | 2019-04-16 | 2019-08-23 | 中国科学院深圳先进技术研究院 | 一种图像去雨方法、装置、可读存储介质及终端设备 |
Non-Patent Citations (2)
| Title |
|---|
| D3R-Net: Dynamic Routing Residue Recurrent Network for Video Rain Removal;Jiaying Liu 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20190228;第699-711页 * |
| Learning Bilevel Layer Priors for Single Image Rain Streaks Removal;Pan Mu 等;《IEEE》;20181231;正文第1-4页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110544221A (zh) | 2019-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Berman et al. | Single image dehazing using haze-lines | |
| CN110570371B (zh) | 一种基于多尺度残差学习的图像去雾方法 | |
| WO2021057848A1 (zh) | 网络的训练方法、图像处理方法、网络、终端设备及介质 | |
| CN110909611B (zh) | 一种关注区域检测方法、装置、可读存储介质及终端设备 | |
| WO2021164550A1 (zh) | 图像分类方法及装置 | |
| CN111950723A (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
| CN112102164B (zh) | 一种图像处理方法、装置、终端及存储介质 | |
| WO2020258077A1 (zh) | 一种行人检测方法及装置 | |
| CN111079507B (zh) | 一种行为识别方法及装置、计算机装置及可读存储介质 | |
| CN112132032A (zh) | 交通标志牌检测方法、装置、电子设备及存储介质 | |
| CN113689373B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN110751218A (zh) | 图像分类方法、图像分类装置及终端设备 | |
| CN114140346A (zh) | 一种图像处理方法及装置 | |
| CN108764139A (zh) | 一种人脸检测方法、移动终端及计算机可读存储介质 | |
| CN110163095B (zh) | 回环检测方法、回环检测装置及终端设备 | |
| CN110544221B (zh) | 训练方法及装置、去雨方法、终端设备、存储介质 | |
| CN112614110B (zh) | 评估图像质量的方法、装置及终端设备 | |
| CN112132015A (zh) | 违规驾驶姿势的检测方法、装置、介质和电子设备 | |
| CN110705653A (zh) | 图像分类方法、图像分类装置及终端设备 | |
| CN110197459B (zh) | 图像风格化生成方法、装置及电子设备 | |
| CN108763491B (zh) | 图片处理方法、装置及终端设备 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN115147434A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN112507903A (zh) | 假脸检测方法、装置、电子设备及计算机可读存储介质 | |
| CN111784607A (zh) | 图像色调映射方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |