CN114332460A - 一种半监督单图像去雨处理方法 - Google Patents

Abstract

本发明公开了一种半监督单图像去雨处理方法，将原始输入的合成/真实带雨图像通过基于长短时记忆模块的深度网络进行循环处理，通过全监督/无监督的生成/判别过程，获取原始合成/真实图像的雨纹分布信息；同时通过全监督/无监督式的深度学习方法，对得到的雨纹分布信息特征图和原始图像进行合并操作，经过生成器分别生成合成的无雨图像和真实的无雨图像，再通过普通判别器和配对判别器分别进行真假判断，从而获得去雨后的合成图像和真实图像；再基于循环一致性的再次加工，可在一定程度上使得网络更加稳定并提高真实带雨图像去雨的精确性。

Description

一种半监督单图像去雨处理方法

技术领域

本发明涉及图像处理方法领域，具体是一种半监督单图像去雨处理方法。

背景技术

单图像去雨作为一种经典的图像复原任务，由于其广泛的现实应用，如基于无人机的视频监控、实时目标识别和自动驾驶汽车等，一直是计算机视觉和人工智能领域具有挑战性和趣味性的课题。单图像去雨主要讨论了雨纹信息的建模和背景恢复问题。其问题的数学模型可以表述为：

X＝R+B，

其中X为带雨图像，可分解为雨条纹分量R和干净背景图像B。

值得注意的是，现有的深度去雨网络大多是利用合成数据集中的成对信息进行全监督的学习。利用全监督下的强约束条件可以使网络在合成图像上快速收敛，但由于合成雨纹分布和真实雨纹分布有差异，因此，训练好的模型在真实雨图像上的去雨性能仍然不理想。为了解决这一问题，一些研究者开始转向研究半监督去训练模型，这种模型可以利用真实图像来增强模型的泛化能力。然而目前相关的半监督工作还不多，遇到的问题也很多，例如如何解决由于合成数据和真实数据分布不同造成的训练难以收敛，以及无监督部分缺少强约束条件等。因此需要进行进一步的深入研究。

发明内容

本发明的目的是提供一种半监督单图像去雨处理方法，以解决上述背景技术存在的问题。

为了达到上述目的，本发明所采用的技术方案为：

一种半监督单图像去雨处理方法，基于GAN的半监督去训练网络Semi-DerainGAN，它可以在一个基于全监督和无监督两种过程的统一网络中同时使用合成和真实的雨图像。通过一种半监督雨纹分布信息学习器SSRML共享全监督和无监督两个学习过程中的网络参数，使真实图像提供更多的雨纹分布信息，从而使得到的模型对真实单图像去雨任务具有较强的泛化能力。包括：

将原始数据集划分为训练集和测试集，其中训练集主要用于雨纹与背景分解、特征提取和雨纹分布学习，其中训练集包含合成数据(用于全监督学习)和真实数据(用于无监督学习)；测试集主要被用于评价本发明方法的去雨性能，此外，进行必要的参数初始化；

本发明方法将半监督雨纹分布学习、全监督去雨和无监督去雨集成到一个统一的学习框架，可得到一个可用于真实背景图像提取的雨纹分布信息；基于给定的采集到的合成带雨图像，本发明方法通过全监督流程将其分解为一个雨纹信息部分和合成的无雨背景图像；基于给定的采集到的真实带雨图像，本发明方法通过无监督流程将其分解为一个雨纹信息部分和真实的无雨背景图像；

为了减少合成数据和真实数据中雨纹分布的差异，本发明方法将合成/真实带雨图像进行半监督雨纹分布学习，通过基于长短时记忆模块的设置可有效获取合成/真实图像的雨纹分布信息，减少二者在分布上的差异化；此外，通过全监督的生成方法，对得到的雨纹分布信息进行生成器和判别器处理，可确保得到精细的合成图像去雨结果；通过无监督的CycleGAN方法，对得到的雨纹分布信息进行生成器和判别器处理，可确保得到精细的真实图像去雨结果，再通过网络的循环一致性，也可在一定程度上去除原始数据中的噪音从而获得更加准确的真实去雨图像；

此外，为了获得更好的去雨训练结果，本发明方法设计了一个配对判别器来区分真实配对图像(合成数据集中的带雨图像和其真值图像)和假的配对图像(合成数据集中的带雨图像和其去雨图像)。同时，本发明方法还提供了一个名为Real200的新的真实带雨图像数据集作为无监督部分的训练数据，以缓解合成图像和真实图像雨纹分布之间的差异。在公共数据集上的大量结果表明，本发明方法可以获得具有竞争力甚至更好的结果，特别是在真实的带雨图像任务上。

将合成带雨图像和真实图像同时输入到半监督雨纹分布信息学习器SSRML构成的双支路深度神经网络中，对得到的雨纹分布信息进行生成器和判别器处理，可有效去除合成/真实数据中的雨纹，具体为：

对于给定一组数据X＝[x₁,...x_n]∈R^d×N，其中d是原始数据的维数，N是点数，x₁,...x_n分别是单独的数据，包含的训练样本集X_L＝[x₁,x₂,...,x_l]∈R^d×l和测试样本集X_U＝[x₁,x₂,...,x_u]∈R^d×u，且满足样本数量l+u＝N；根据上述，可将原始数据分解为一个训练集用来训练框架来正确分解雨纹和背景，一个验证集用来判别训练结果好坏和一个测试集来量化框架的去雨效果；本发明方法将半监督雨纹分布学习、全监督去雨和无监督去雨集成到一个统一的学习框架，可得到一个可用于真实背景图像提取的雨纹分布信息；基于给定的采集到的合成带雨图像，本发明方法通过全监督流程将其分解为一个雨纹信息部分和合成的无雨背景图像；基于给定的采集到的真实带雨图像，本发明方法通过无监督流程将其分解为一个雨纹信息部分和真实的无雨背景图像；因此，基于构建合成/真实带雨图像的雨纹分布信息特征的交换和学习，通过所述半监督雨纹分布信息学习器SSRML进行共享优化，在得到性能更加优越的合成数据的去雨效果的同时，也可以得到泛化性更好的真实数据的去雨效果，即解决以下数学问题：

X＝R+B，

其中X表示带雨图像，R是图像中存在的雨纹，B是不带雨的真实背景图像；通过上述半监督雨纹分布信息学习器提取的雨纹特征进行共享优化，可以在合成/真实数据上得到更好的去雨效果。

基于半监督的雨纹分布信息学习器，其是将原始输入的合成/真实带雨图像通过基于长短时记忆模块的深度网络进行循环处理，通过上述双支路构成的全监督/无监督的生成/判别过程，可有效获取原始合成/真实图像的雨纹分布信息；

基于双支路构成的全监督/无监督的生成/判别过程，通过全监督/无监督式的深度学习方法，对得到的雨纹分布信息特征图和原始图像进行合并操作，经过生成器分别生成合成的无雨图像和真实的无雨图像，再通过普通判别器和配对判别器分别对合成去雨图像和合成真值图像进行真假判断，以及对真实去雨图像和真实无雨图像进行真假判断，从而获得去雨后的合成图像和真实图像；

基于循环一致性的再次加工，将前面得到的真实带雨图像当成输入，再次送到另一对的生成器和判别器中进行处理，经过循环一致性处理后可在一定程度上使得网络更加稳定并提高真实带雨图像去雨的精确性；

测试模块，用于对测试集中的测试样本进行处理，得到所述带雨图像样本的去雨结果；首先利用基于半监督的雨纹分布信息学习器，经过基于双支路的全监督/无监督生成器和判别器处理得到最终的精细化的无雨图像；根据峰值信噪比PSNR和结构相似性SSIM这两种衡量图像相似性的数值标准，对测试模块得到的去雨图像和测试样本的实际无雨图像进行比对测试，获得去雨效果的量化结果。

经由上述的技术方案可知，与现有技术相比，本发明方法提出了一种新的基于半监督的雨纹分布信息学习器，其是将原始输入的合成/真实带雨图像通过基于长短时记忆模块的深度网络进行循环处理，通过上述双支路构成的全监督/无监督的生成/判别过程，可有效获取原始合成/真实图像的雨纹分布信息；同时基于双支路构成的全监督/无监督的生成/判别过程，通过全监督/无监督式的深度学习方法，对得到的雨纹分布信息特征图和原始图像进行合并操作，经过生成器分别生成合成的无雨图像和真实的无雨图像，再通过普通判别器和配对判别器分别对合成去雨图像和合成真值图像进行真假判断，以及对真实去雨图像和真实无雨图像进行真假判断，从而获得去雨后的合成图像和真实图像；再基于循环一致性的再次加工，将前面得到的真实带雨图像当成输入，再次送到另一对的生成器和判别器中进行处理，经过循环一致性处理后可在一定程度上使得网络更加稳定并提高真实带雨图像去雨的精确性。

附图说明

图1为本发明实施例公开的一种半监督单图像去雨处理方法的网络框架。

图2为本发明实施例公开的网络框架与对比方法的区别示意。

图3为本发明实施例公开的真实带雨图像数据集Real200。

图4为本发明实施例公开的一种半监督单图像去雨处理方法的流程图。

图5为本发明实施例公开的一种半监督单图像去雨处理方法的结构图。

图6为本发明实施例公开的合成数据集上多张单图像去雨效果示意图。

图7为本发明实施例公开的真实数据集上多张单图像去雨效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明方法提出了一种新的基于半监督的雨纹分布信息学习器，其是将原始输入的合成/真实带雨图像通过基于长短时记忆模块的深度网络进行循环处理，通过上述双支路构成的全监督/无监督的生成/判别过程，可有效获取原始合成/真实图像的雨纹分布信息；同时基于双支路构成的全监督/无监督的生成/判别过程，通过全监督/无监督式的深度学习方法，对得到的雨纹分布信息特征图和原始图像进行合并操作，经过生成器分别生成合成的无雨图像和真实的无雨图像，再通过普通判别器和配对判别器分别对合成去雨图像和合成真值图像进行真假判断，以及对真实去雨图像和真实无雨图像进行真假判断，从而获得去雨后的合成图像和真实图像；再基于循环一致性的再次加工，将前面得到的真实带雨图像当成输入，再次送到另一对的生成器和判别器中进行处理，经过循环一致性处理后可在一定程度上使得网络更加稳定并提高真实带雨图像去雨的精确性，本发明方法的网络框架请参阅附图1。

本发明在五个合成去雨图像的数据集和一个真实去雨图像的数据集进行了测试：合成去雨图像的数据集有：Rain100H、Rain100L、Rain12，以及Sparse和Dense合成数据集；真实去雨图像数据集有：SIRR-Data。Rain100H数据集含有五种雨纹方向，包含1800个带雨图像用于训练和100个带雨图像用于测试。Rain100L是一个只有一种雨纹形状的综合数据集，包含200幅带雨图像用于训练，100幅带雨图像用于测试。Rain12只有一种雨纹形状，它包含12张用于测试的带雨图像，没有用于训练的带雨图像。Sparse和Dense合成数据集各含有10张合成带雨图像，其雨纹大小分别为稀疏和稠密。SIRR-Data由互联网上采集的147张真实带雨图像构成，其不带有真值。这些数据库从多方面收集，因而测试结果具有普遍说明性。

请参阅附图4，本发明实施例公开的一种新的半监督单图像去雨方法流程图。本发明实施例公开的一种新的半监督单图像去雨方法，具体实施步骤为：

步骤101：使用半监督的雨纹学习器，利用神经网络强大的学习能力，从原始的合成/真实带雨图像中学习不同的雨纹分布。

具体来说，本发明实施设计了一个半监督雨纹分布学习器(SSRML)，可以从合成和真实带雨图像域学习雨纹分布信息(即形状和方向)，其包括一个LSTM单元和五个Conv-Relu-Conv-Relu单元。LSTM单元包括一个输入门i_t，一个遗忘门f_t，一个输出门o_t和一个单元状态c_t，g_t是中间的状态值。其中下标t和t-1分别代表两个相邻的时刻。在半监督模式下，SSRML可以在合成和真实雨纹分布信息学习过程中共享参数，减少数据差异并加强数据泛化效果。LSTM单元中的相互作用定义如下：

i_t＝σ(W_i[X_t,H_t-1]+b_i),f_t＝σ(W_f[X_t,H_t-1]+b_f)

g_t＝σ(W_g[X_t,H_t-1]+b_g),o_t＝σ(W_o[X_t,H_t-1]+b_o)，

c_t＝f_t⊙c_t-1+i_t⊙g_t,H_t＝o_t⊙ε(c_t)

其中W_i，W_f，W_g，W_o分别表示神经网络参数中的权重，b_i，b_f，b_g，b_o分别表示神经网络参数中的偏置。X_t表示通过前置的t-阶段的Conv-Relu-Conv-Relu得到的特征图，c_t表示的是将被送入LSTM单元下一个阶段的细胞状态，H_t是当前LSTM单元的输出，并将被发送到卷积层Conv中，H_t-1则是上一个LSTM单元的输出。⊙是特征图点乘操作，[·]是特征图拼接操作，σ和ε分别是Sigmoid函数和Tanh函数。在训练步骤中，将输入图像I与前一阶段提取的雨纹特征图连接起来，然后送入Conv-Relu-Conv-Relu中。H_t-1和C_t-1初始值设置为0，与Conv-Relu-Conv-Relu的输出X具有相同的维数，初始雨纹特征的值则被设置为0.5。整个LSTM单元循环6次得到最终的雨纹分布信息图。

本发明方法还提供了一个名为Real200的新的真实带雨图像数据集作为无监督部分的训练数据，以缓解合成图像和真实图像雨纹分布之间的差异，Real200数据集示意图请参阅附图3。为了学习到合成/真实图片中的雨纹分布信息，本发明实施需要在半监督约束下进行学习，其学习过程可以描述为：

m_s＝SSRML(x_s),m_r＝SSRML(x_r)，

其中m_s和m_r分别表示从合成带雨图像x_s和真实带雨图像x_r中提取到的雨纹分布信息。SSRML(·)表示半监督雨纹分布学习器(SSRML)的函数功能。

步骤102：利用101步骤学习到的雨纹信息，通过将它们与原始合成/真实带雨图片合并在一起，经过双支路的生成器和判别器的对抗学习，获得去雨后的合成/真实图像。

具体来说，本发明实施提出了三个生成器，分别为G_s,G_r,G’_r。在训练过程中，G_s和G_r可以分别从合成数据S和真实数据R中生成去雨图像。这一过程可以表示为：

其中

和

分别是原始合成图片x_s和真实图片x_r去雨后的结果。

除此之外，本发明实施提出了三种判别器D_s,D_r,D_p，这三种判别器有两种类型。第一种类型包含D_s和D_r并应用三种尺度结构，其中每个尺度的特征映射经过五个卷积层，然后输入到sigmoid输出。第二类判别器D_p是配对判别器，用来判断成对的图像的真假，即成对的带雨图像和去雨图像，使网络产生更真实的去雨效果。使用上述生成器和判别器的对抗性损失定义如下：

其中

是全监督过程中涉及到的损失函数，

是配对判别器和生成器所使用的对抗损失函数。

步骤103：利用102步骤得到的去雨后的合成图像，通过循环一致性处理，再得到原始的合成带雨图像，提高网络性能并加强网络鲁棒性。

具体来说，使用生成器G’_r来重构原始的真实带雨图像，这一过程可以描述为：

其中

是真实去雨图像

的重构真实带雨图像。使用上述生成器和判别器的对抗性损失定义如下：

其中

是全监督过程中涉及到的损失函数。

在全监督流程中，本发明方法使用合成数据

来学习各模块的参数，例如SSRML，G_s，D_s andD_p。整体的全监督损失函数定义为：

其中

是上文提到的全监督流程下的对抗损失函数，

是可以编码去雨图像和对应真值y_s之间不同的感知损失函数，

是可以保证两张图片之间结构相似度的结构度量损失函数，λ_adv-super，λ_per-super和λ_ssim是保持各个损失函数占比的比率。其中感知损失函数

和结构度量损失函数

可以定义为：

其中

表示在ImageNet上面预训练的VGG-16网络的第conv_2,3层的特征提取功能。SSIM(·)是用来计算两张图片y_s和

结构相似性的SSIM函数。

在无监督流程中，本发明方法使用不带真值的真实数据

来学习各模块的参数，例如SSRML，G_r，G_r’andD_r。整体的全监督损失函数定义为：

其中

是上文提到的无监督流程下的对抗损失函数，

可以确保去雨图像

可以被重构成原始带雨图像x_r来保证图像的内容信息，

与

的定义类似，TV(·)是通过TV函数来保证真实去雨图像更加真实。λ_adv-unsup，λ_cc，λ_per-unsup和λ_tv是保持各个损失函数占比的比率。其中

和

可以定义为：

通过上面的描述，本发明方法最终采用的整体损失函数

的定义为：

其中λ_unsup是保持全监督过程的损失函数

和无监督过程的损失函数

之间占比的比率。

以上就是本发明方法的主要过程步骤和其中涉及到损失函数，上述本发明公开的实施例中详细描述了方法和损失函数，对于本发明的方法可采用多种形式的系统实现，因此本发明还公开了一种系统，下面给出具体的实施例进行详细说明。

请参阅附图5，为本发明实施例公开的一种新的半监督单图像去雨方法结构图。本发明公开了一种新的半监督单图像去雨方法，该系统具体包括：

训练模块201，用于训练样本的雨纹分布学习能力。测试预处理模块202，用于测试样本的雨纹特征提取功能。测试模块203，用于测试合成/真实图像去雨能力。首先将原始输入的合成/真实带雨图像通过基于长短时记忆模块的深度网络进行循环处理，通过上述双支路构成的全监督/无监督的生成/判别过程，可有效获取原始合成/真实图像的雨纹分布信息；同时基于双支路构成的全监督/无监督的生成/判别过程，通过全监督/无监督式的深度学习方法，对得到的雨纹分布信息特征图和原始图像进行合并操作，经过生成器分别生成合成的无雨图像和真实的无雨图像，再通过普通判别器和配对判别器分别对合成去雨图像和合成真值图像进行真假判断，以及对真实去雨图像和真实无雨图像进行真假判断，从而获得去雨后的合成图像和真实图像；再基于循环一致性的再次加工，将前面得到的真实带雨图像当成输入，再次送到另一对的生成器和判别器中进行处理，经过循环一致性处理后可在一定程度上使得网络更加稳定并提高真实带雨图像去雨的精确性。

表1：本发明和各个算法在两个合成数据集上的去雨效果对比结果

表2：本发明和各个算法在三个合成数据集上的去雨效果对比结果

请参阅表1和表2，本发明方法主要与DSC，GMM，DDN，JORDER，DID-MDN以及SIRR方法识别结果对比。表1给出了每个算法分别在两个合成去雨图像数据集Sparse和Dense上使用峰值信噪比(PSNR)和结构相似性(SSIM)这两种衡量图像相似性的数值标准，对测试模块得到的去雨图像和测试样本的实际无雨图像进行比对测试，获得去雨效果的量化结果。表2给出了每个算法分别在三个合成去雨图像数据集Rain100H，Rain100L和Rain12上使用峰值信噪比(PSNR)和结构相似性(SSIM)这两种衡量图像相似性的数值标准，对测试模块得到的去雨图像和测试样本的实际无雨图像进行比对测试，获得去雨效果的量化结果。

通过数据集上的实例实验结果显示，本发明方法可有效用于基于各种类型的带雨图像数据集的去雨，并且可以获得比现有半监督方法更好的效果，甚至某些指标优于现有的全监督方法。本发明方法与主要对比方法SIRR的区别请参阅附图2。

请参阅附图6和图7，分别为本发明实施例公开的在合成数据集和真实数据集上去雨效果示意图。

通过实验结果可以看出本发明的去雨效果明显优于相关的半监督方法SIRR，以及全监督方法DDN和PReNet等方法，且表现出了较强的稳定性，具有一定的优势。

综上所述：本发明公开了一种新的半监督单图像去雨方法，为了在半监督模式下准确获取雨纹特征图，提出了一种新的基于半监督的雨纹分布信息学习器，其是将原始输入的合成/真实带雨图像通过基于长短时记忆模块的深度网络进行循环处理，通过上述双支路构成的全监督/无监督的生成/判别过程，可有效获取原始合成/真实图像的雨纹分布信息；同时基于双支路构成的全监督/无监督的生成/判别过程，通过全监督/无监督式的深度学习方法，对得到的雨纹分布信息特征图和原始图像进行合并操作，经过生成器分别生成合成的无雨图像和真实的无雨图像，再通过普通判别器和配对判别器分别对合成去雨图像和合成真值图像进行真假判断，以及对真实去雨图像和真实无雨图像进行真假判断，从而获得去雨后的合成图像和真实图像；再基于循环一致性的再次加工，将前面得到的真实带雨图像当成输入，再次送到另一对的生成器和判别器中进行处理，经过循环一致性处理后可在一定程度上使得网络更加稳定并提高真实带雨图像去雨的精确性。

对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种半监督单图像去雨处理方法，其特征在于：采用基于GAN的半监督去训练网络Semi-DerainGAN，在一个基于全监督和无监督两种过程的统一网络中同时使用合成和真实的雨图像，通过半监督雨纹分布信息学习器SSRML共享全监督和无监督两个学习过程中的网络参数，使真实图像提供更多的雨纹分布信息，从而使得到的模型对真实单图像去雨任务具有较强的泛化能力，包括以下步骤：

(1)、将原始带雨图像数据集划分为训练集和测试集，并初始化参数，其中训练集用于雨纹与背景分解、特征提取和雨纹分布学习，训练集包含用于全监督学习的合成数据和用于无监督学习的真实数据；测试集用于评价本发明方法的去雨性能；

(2)、将半监督雨纹分布学习、全监督去雨和无监督去雨集成到一个统一的学习框架，可得到一个可用于真实背景图像提取的雨纹分布信息；基于给定的采集到的合成带雨图像，通过全监督流程将其分解为一个雨纹信息部分和合成的无雨背景图像；基于给定的采集到的真实带雨图像，通过无监督流程将其分解为一个雨纹信息部分和真实的无雨背景图像；

(3)、将合成/真实带雨图像进行半监督雨纹分布学习，通过基于长短时记忆模块的设置获取合成/真实图像的雨纹分布信息，减少二者在分布上的差异化；

通过全监督的生成方法，对得到的雨纹分布信息进行生成器和判别器处理，得到精细的合成图像去雨结果；

通过无监督的CycleGAN方法，对得到的雨纹分布信息进行生成器和判别器处理，得到精细的真实图像去雨结果，再通过网络的循环一致性，去除原始数据中的噪音从而获得更加准确的真实去雨图像；

(4)、通过配对判别器来区分真实配对图像和假的配对图像；同时通过新的真实带雨图像数据集作为无监督部分的训练数据，以缓解合成图像和真实图像雨纹分布之间的差异。

2.根据权利要求1所述的一种半监督单图像去雨处理方法，其特征在于：将合成带雨图像和真实图像同时输入到半监督雨纹分布信息学习器SSRML构成的双支路深度神经网络中，对得到的雨纹分布信息进行生成器和判别器处理，可有效去除合成/真实数据中的雨纹，过程如下：

对于给定一组数据X＝[x₁,...x_n]∈R^d×N，其中d是原始数据的维数，N是点数，x₁,...x_n分别是单独的数据，包含的训练样本集X_L＝[x₁,x₂,...,x_l]∈R^d×l和测试样本集X_U＝[x₁,x₂,...,x_u]∈R^d×u，且满足样本数量l+u＝N；

将原始数据分解为一个训练集用来训练框架来正确分解雨纹和背景，一个验证集用来判别训练结果好坏和一个测试集来量化框架的去雨效果；将半监督雨纹分布学习、全监督去雨和无监督去雨集成到一个统一的学习框架，可得到一个可用于真实背景图像提取的雨纹分布信息；基于给定的采集到的合成带雨图像，通过全监督流程将其分解为一个雨纹信息部分和合成的无雨背景图像；基于给定的采集到的真实带雨图像，通过无监督流程将其分解为一个雨纹信息部分和真实的无雨背景图像；

因此，基于构建合成/真实带雨图像的雨纹分布信息特征的交换和学习，通过所述半监督雨纹分布信息学习器SSRML进行共享优化，在得到性能更加优越的合成数据的去雨效果的同时，也可以得到泛化性更好的真实数据的去雨效果，有以下公式：

X＝R+B，

其中X表示带雨图像，R是图像中存在的雨纹，B是不带雨的真实背景图像；通过上述半监督雨纹分布信息学习器提取的雨纹特征进行共享优化，在合成/真实数据上得到更好的去雨效果。

3.根据权利要求1所述的一种半监督单图像去雨处理方法，其特征在于：将合成带雨图像和真实图像同时输入到半监督雨纹分布信息学习器SSRML构成的双支路深度神经网络中，对得到的雨纹分布信息进行生成器和判别器处理，可有效去除合成/真实数据中的雨纹，过程如下：

合成带雨图像和真实图像通过半监督雨纹分布信息学习器SSRML处理后，获得不同雨纹分布共享优化后的雨纹信息特征图，将这些雨纹信息特征图和原始图像进行合并操作，经过生成器分别生成合成的无雨图像和真实的无雨图像，再通过普通判别器和配对判别器分别对合成去雨图像和合成真值图像进行真假判断，以及对真实去雨图像和真实无雨图像进行真假判断，最后经过循环一致性处理真实无雨图像得到原始的真实有雨图像。

4.根据权利要求1所述的一种半监督单图像去雨处理方法，其特征在于：基于半监督的雨纹分布信息学习器、提出一种基于双支路的合成/真实数据图像的生成器和判别器处理，以及基于循环一致性的再次加工，过程如下：

基于半监督的雨纹分布信息学习器，其是将原始输入的合成/真实带雨图像通过基于长短时记忆模块的深度网络进行循环处理，通过上述双支路构成的全监督/无监督的生成/判别过程，可有效获取原始合成/真实图像的雨纹分布信息；

基于双支路构成的全监督/无监督的生成/判别过程，通过全监督/无监督式的深度学习方法，对得到的雨纹分布信息特征图和原始图像进行合并操作，经过生成器分别生成合成的无雨图像和真实的无雨图像，再通过普通判别器和配对判别器分别对合成去雨图像和合成真值图像进行真假判断，以及对真实去雨图像和真实无雨图像进行真假判断，从而获得去雨后的合成图像和真实图像；

基于循环一致性的再次加工，将前面得到的真实带雨图像当成输入，再次送到另一对的生成器和判别器中进行处理，经过循环一致性处理后可在一定程度上使得网络更加稳定并提高真实带雨图像去雨的精确性；

测试模块，用于对测试集中的测试样本进行处理，得到所述带雨图像样本的去雨结果；首先利用基于半监督的雨纹分布信息学习器，经过基于双支路的全监督/无监督生成器和判别器处理得到最终的精细化的无雨图像；根据峰值信噪比PSNR和结构相似性SSIM这两种衡量图像相似性的数值标准，对测试模块得到的去雨图像和测试样本的实际无雨图像进行比对测试，获得去雨效果的量化结果。

Images