CN113516238A - 一种模型训练方法、去噪方法、模型、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种模型训练方法、去噪方法、模型、设备及存储介质。在本申请实施例中，可在去噪模型中构建包含背景生成器和噪声判别器的第一对抗网络，基于此，可根据背景生成器从含噪声图像提取的背景图像，确定含噪声图像中的噪声特征，并利用噪声判别器对噪声特征进行判别。这样，通过背景生成器和噪声判别器之间的相互对抗，可计算出背景生成器对应的第一约束参数，从而可基于第一约束参数对背景生成器进行无监督训练。本申请实施例中，可基于含噪声图像自身，确定出对背景生成器的训练约束，从而可实现对去噪模型中的背景生成器的无监督训练，由于可以自然场景中的含噪声图像作为训练样本，因此可有效提升背景生成器的泛化能力和精度。

Description

一种模型训练方法、去噪方法、模型、设备及存储介质

技术领域

本申请涉及机器学习技术领域，尤其涉及一种模型训练方法、去噪方法、模型、设备及存储介质。

背景技术

图像去雨(Image De-raining)技术，作为深度学习和计算机视觉方向的图像增强技术，在监控视频等场景下展现了极大的落地价值。

目前，由于在真实场景下很难收集到成对出现的干净、带雨训练样本，因此，需要利用PS合成等技术给原始干净图片加上雨滴，进而依赖带雨-干净的成对图像作为训练集进行模型的全监督训练。但是，合成的雨滴与真实场景下的雨滴特性差异较大，导致这种训练方式产生的模型的泛化能力不足，在真实自然场景下的去雨精度过低。

发明内容

本申请的多个方面提供一种模型训练方法、去噪方法、模型、设备及存储介质，用以提高去噪模型的泛化能力和精度。

本申请实施例提供一种模型训练方法，适用于去噪模型，所述去噪模型中包含第一对抗网络，所述方法包括：

利用所述第一对抗网络中的背景生成器从含噪声图像中提取背景图像；

根据所述背景图像，确定所述含噪声图像中包含的噪声特征；

利用所述第一对抗网络中的噪声判别器对所述噪声特征进行判别，并根据判别结果，计算所述背景生成器对应的第一约束参数；

基于所述第一约束参数，对所述去噪模型中的背景生成器进行无监督训练。

本申请实施例还提供一种模型训练方法，包括：

响应于调用目标服务的请求，确定所述目标服务对应的处理资源，利用所述目标服务对应的处理资源执行如下步骤：

利用去噪模型中第一对抗网络中的背景生成器从含噪声图像中提取背景图像；

根据所述背景图像，确定所述含噪声图像中包含的噪声特征；

利用所述第一对抗网络中的噪声判别器对所述噪声特征进行判别，并根据判别结果，计算所述背景生成器对应的第一约束参数；

基于所述第一约束参数，对所述去噪模型中的背景生成器进行无监督训练。

本申请实施例还提供一种模型训练方法，适用于去噪模型，所述去噪模型中包含背景生成器和背景增强器，所述方法包括：

利用所述背景生成器从含噪声图像中提取背景图像；

利用所述背景增强器计算所述含噪声图像和所述背景图像在指定模糊程度下的差异指数，作为所述背景生成器对应的约束参数；

利用所述约束参数，对所述去噪模型中的背景生成器进行无监督训练。

本申请实施例还提供一种模型训练方法，包括：

响应于调用目标服务的请求，确定所述目标服务对应的处理资源，利用所述目标服务对应的处理资源执行如下步骤：

利用去噪模型中的背景生成器从含噪声图像中提取背景图像；

利用去噪模型中的背景增强器计算所述含噪声图像和所述背景图像在指定模糊程度下的差异指数，作为所述背景生成器对应的约束参数；

利用所述约束参数，对所述去噪模型中的背景生成器进行无监督训练。

本申请实施例还提供一种计算设备，包括存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：

利用去噪模型中的第一对抗网络包含的背景生成器从含噪声图像中提取背景图像；

根据所述背景图像，确定所述含噪声图像中包含的噪声特征；

利用所述第一对抗网络中的噪声判别器对所述噪声特征进行判别，并根据判别结果，计算所述背景生成器对应的第一约束参数；

基于所述第一约束参数，对所述去噪模型中的背景生成器进行无监督训练。

本申请实施例还提供一种计算设备，包括存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：

利用去噪模型中的背景生成器从含噪声图像中提取背景图像；

利用所述去噪模型中的背景增强器计算所述含噪声图像和所述背景图像在指定模糊程度下的差异指数，作为所述背景生成器对应的约束参数；

利用所述约束参数，对所述去噪模型中的背景生成器进行无监督训练。

本申请实施例还提供一种去噪模型，包含第一对抗网络，所述第一对抗网络包括背景生成器和噪声判别器；

所述背景生成器，用于从含噪声图像中提取背景图像；

所述雨水判别器，用于获取所述含噪声图像中包含的噪声特征，并对所述噪声特征进行判别，以产生所述背景生成器对应的第一约束参数；其中，所述噪声特征为根据所述背景图像而确定出的；

所述背景生成器，还用于基于所述第一约束参数，更新自身的模型参数。

本申请实施例还提供一种去噪方法，包括：

响应于对目标图像的去噪请求，获取所述目标图像；

利用去噪模型中第一对抗网络包含的背景生成器从所述目标图像中提取背景图像，以对所述目标图像进行去噪；

其中，所述背景生成器的训练过程包括：

利用所述背景生成器从含噪声样本图像中提取样本背景图像；

根据所述样本背景图像，确定所述含噪声样本图像中包含的样本噪声特征；

利用所述第一对抗网络中的噪声判别器对所述样本噪声特征进行判别，并根据判别结果，计算所述背景生成器对应的第一约束参数；

基于所述第一约束参数，对所述去噪模型中的背景生成器进行无监督训练。

本申请实施例还提供一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的模型训练方法。

在本申请实施例中，可在去噪模型中构建包含背景生成器和噪声判别器的第一对抗网络，其中，背景生成器是去噪模型中可对输入图像进行去噪处理的模型单元，在此基础上，可利用背景生成器从含噪声图像提取背景图像；之后，可根据背景图像，确定含噪声图像中的噪声特征，并利用噪声判别器对噪声特征进行判别。这样，通过背景生成器和噪声判别器之间的相互对抗，可计算出背景生成器对应的第一约束参数，从而可基于第一约束参数对背景生成器进行无监督训练。据此，本申请实施例中，可基于含噪声图像自身，确定出对背景生成器的训练约束，从而可实现对去噪模型中的背景生成器的无监督训练，进而可将自然场景中的大量无标注的含噪声图像参与到背景生成器的训练中；由于可以自然场景中的含噪声图像作为训练样本，因此可有效提升背景生成器的泛化能力和精度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的一种去噪模型的结构示意图；

图2a为本申请一示例性实施例提供的一种模型训练方法的流程示意图；

图2b为本申请一示例性实施例提供的另一种模型训练方法的流程示意图；

图3为本申请一示例性实施例提供的一种背景增强器的处理逻辑示意图；

图4a为本申请一示例性实施例提供的又一种模型训练方法的流程示意图；

图4b为本申请一示例性实施例提供的又一种模型训练方法的流程示意图；

图5为本申请另一示例性实施例提供的一种计算设备的结构示意图；

图6为本申请另一示例性实施例提供的另一种计算设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有去噪模型的泛化能力低、精度不足等技术问题，本申请实施例的一些实施例中：可在去噪模型中构建包含背景生成器和噪声判别器的第一对抗网络，其中，背景生成器是去噪模型中可对输入图像进行去噪处理的模型单元，在此基础上，可利用背景生成器从含噪声图像提取背景图像；之后，可根据背景图像，确定含噪声图像中的噪声特征，并利用噪声判别器对噪声特征进行判别。这样，通过背景生成器和噪声判别器之间的相互对抗，可计算出背景生成器对应的第一约束参数，从而可基于第一约束参数对背景生成器进行无监督训练。据此，本申请实施例中，可基于含噪声图像自身，确定出对背景生成器的训练约束，从而可实现对去噪模型中的背景生成器的无监督训练，进而可将自然场景中的大量无标注的含噪声图像参与到背景生成器的训练中；由于可以自然场景中的含噪声图像作为训练样本，因此可有效提升背景生成器的泛化能力和精度。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的一种去噪模型的结构示意图。图2a为本申请一示例性实施例提供的一种模型训练方法的流程示意图。本申请实施例提出了一种针对去噪模型的无监督训练方案，可将自然场景中大量的无标注的含噪声图像参与到对去噪模型的训练过程中，也即是，可以将自然场景中的含噪声图像直接作为去噪模型的训练样本。与传统的有监督训练方案相比，本实施例提供的无监督训练方案可有效提高去噪模型在自然场景下的泛化能力和精度。

本实施例提供的去噪模型训练方法，可应用于各种需要进行去噪处理的应用场景中，以提升这些应用场景中使用的去噪模型的性能。这些应用场景包括但不限于视频监控场景、音视频编辑场景等。在不同的应用场景中，样本对象或去噪处理的对象可能不完全相同，例如，样本对象或去噪处理的对象可以是监控视频、比赛视频等。

本实施例中，去噪模型可用于对图像进行去噪处理，尤其适用于对包含高斯噪声的图像进行去噪处理，高斯噪声的特点是高频且统计上符合高斯分布。高斯噪声可包括雨噪声、雪噪声等。相应地，本实施例中的含噪声图像可以是带雨雪图像，含噪声图像中包含的噪声特征可以是雨雪特征。因此，本实施例提供的去噪模型可用于对图像进行去雨雪处理。

参考图1，本实施例中的去噪模型包括第一对抗网络，第一对抗网络包括背景生成器10和噪声判别器20。本实施例中，在去噪模型的训练阶段，主要是对背景生成器10进行优化；而在去噪模型的使用阶段，则可将背景生成器10输出的背景图像，作为去噪模型的模型输出结果，从而实现去噪模型的去噪功能。

基于图1所示的去噪模型，参考图2a，本实施例提供的模型训练方法，可包括：

步骤100、利用第一对抗网络中的背景生成器10从含噪声图像中提取背景图像；

步骤101、根据背景图像，确定含噪声图像中包含的噪声特征；

步骤102、利用第一对抗网络中的噪声判别器20对噪声特征进行判别，并根据判别结果，计算背景生成器10对应的第一约束参数；

步骤103、基于第一约束参数，对去噪模型中的背景生成器10进行无监督训练。

由于模型训练过程是一个不断迭代的过程，每次迭代过程的逻辑相似，因此，为便于描述，以下将以单次迭代过程为例，进行模型训练方案的说明。应当理解的是，本实施例中，可多次重复以下迭代过程，以达到训练目标。

参考图1和图2a，对于第一对抗网络中的背景生成器10来说，可用于从含噪声图像中提取背景图像。基于此，在步骤100中，可利用背景生成器10从含噪声图像中提取背景图像。其中，去噪图像可以是自然场景下的任意包含噪声的图像，不需要具备标注，也不需要具备对应的干净图像。值得说明的是，在模型训练阶段，背景生成器10的模型参数处于不断优化中。因此，步骤100中，背景生成器10可基于上一次迭代过程确定出的模型参数，对本次使用的含噪声图像执行去噪处理，以产生背景图像。

其中，本实施例中的背景生成器10可采用残差网络、金字塔结构网络或其它神经网络结构，本实施例对此不做限定。

在步骤101中，可根据背景图像，确定含噪声图像中包含的噪声特征。参考图1，去噪模型中还可包含噪声特征处理模块30，噪声特征处理模块30可用于确定含噪声图像中包含的噪声特征。在一种可选的实现方式中，可对含噪声图像与背景图像作差，以获得噪声特征，当然，还可采用其它实现方式确定含噪声图像中包含的噪声特征，本实施例并不限于此。

参考图2a，在步骤102中，可利用第一对抗网络中的噪声判别器20对噪声特征进行判别。对雨水判别器来说，可用于获取含噪声图像中包含的噪声特征，并对噪声特征进行判别。

为此，本实施例中，可为噪声判别器20准备真样本和假样本，并将真样本和假样本提供给噪声判别器20，以供噪声判别器20执行判别计算。

在一种可选的实现方案中，可基于噪声特征，构建一噪声合成图，作为噪声判别器20的假样本；以含噪声图像作为噪声判别器20的真样本；利用噪声判别器20对包含噪声特征的噪声合成图进行判别。

参考图1，实际应用中，噪声特征处理模块30可将噪声特征与一不含噪声图像进行融合，以获得噪声合成图。其中，不含噪声图像可以是任意的不包含噪声特征的图像，不含噪声图像中的图像内容可与含噪声图像中的图像内容无关。

这样，从第一对抗网络的角度来看，噪声判别器20可对噪声合成图进行判别，而噪声合成图中包含含噪声图像中的噪声特征，噪声特征又是基于背景生成器10生成的背景图像而确定出的，因此，噪声判别器20可间接对背景生成器10生成的背景图像进行判别。背景生成器10和噪声判别器20可相互对抗，同时提升性能。

当然，本实施例中还可采用其它可选的实现方案对噪声特征进行判别。例如，可直接将噪声特征作为噪声判别器20的假样本，而将真实噪声图作为真样本，以对噪声特征进行判别。但考虑到真实噪声图较难获取到，因此，本实施例中，还是优选前述的噪声合成图的方式进行噪声特征的判别。

在步骤102中，还可根据噪声判别器20的判别结果，计算背景生成器10对应的第一约束参数。正如前文提及的，背景生成器10和噪声判别器20构成第一对抗网络，从第一对抗网络的角度来看，可基于噪声判别器20的判别结果，计算背景生成器10的损失函数及更新梯度等，作为对背景生成器10进行训练的第一约束参数。据此，本实施例中，可基于噪声图像自身，通过包含背景生成器10和噪声判别器20的第一对抗网络，可确定出第一约束参数，作为对背景生成器10的训练约束。

本实施例中，第一约束参数可以是任意用于回归的约束参数，例如L2损失函数、L1损失函数等等，本实施例对第一约束函数的函数类型不做限定。同样，后文中提及的其它方面的约束函数亦是如此。

在此基础上，在步骤103中，可基于第一约束参数，对去噪模型中的背景生成器10进行无监督训练。实际应用中，可基于第一约束参数，对背景生成器10进行反向传播，以更新背景生成器10的模型参数。

从本次迭代过程来看，可将真实场景中的含噪声图像作为去噪模型的输入；通过对去噪模型包含的第一对抗网络中的中间处理结果(背景图像)执行的特殊转换处理，可实现第一对抗网络的对抗训练，从而实现对第一对抗网络中的背景生成器10的无监督训练。据此，可通过循环上述针对第一对抗网络的对抗训练过程，直到第一对抗网络最终收敛，从而得到基于第一对抗网络的去噪模型。例如，以视频作为去噪模型的训练样本，从而可将视频中的多个视频帧作为训练样本集，以循环上述针对第一对抗网络的对抗训练过程，直到第一对抗网络最终收敛。

另外，值得说明的是，本实施例提供的去噪模型的训练方案，是一种基于自然场景中的去噪图像进行自监督训练的方案，该方案可单独用于对去噪模型进行训练，还可结合传统的有监督训练方案，在有标注的样本集中，加入自然场景中大量的去噪图像，从而对传统训练方案下的去噪模型进行性能提升。

本实施例中，在完成去噪模型中的背景生成器10的训练后，可利用背景生成器10从场景图像提取并输出背景图像，以对场景图像进行去噪。场景图像可以是自然场景中任意需要进行去噪处理的图像。

本实施例中，可在去噪模型中构建包含背景生成器和噪声判别器的第一对抗网络，其中，背景生成器是去噪模型中可对输入图像进行去噪处理的模型单元，在此基础上，可利用背景生成器从含噪声图像提取背景图像；之后，可根据背景图像，确定含噪声图像中的噪声特征，并利用噪声判别器对噪声特征进行判别。这样，通过背景生成器和噪声判别器之间的相互对抗，可计算出背景生成器对应的第一约束参数，从而可基于第一约束参数对背景生成器进行无监督训练。据此，本申请实施例中，可基于含噪声图像自身，确定出对背景生成器的训练约束，从而可实现对去噪模型中的背景生成器的无监督训练，进而可将自然场景中的大量无标注的含噪声图像参与到背景生成器的训练中；由于可以自然场景中的含噪声图像作为训练样本，因此可有效提升背景生成器的泛化能力和精度。

在上述或下述实施例中，参考图1，去噪模型中还可包含背景增强器40。本实施例中，可将背景增强器40与背景生成器10相互配合，以确定出背景生成器10对应的第二约束参数。

图3为本申请一示例性实施例提供的一种背景增强器40的处理逻辑示意图。参考图3，本实施例中，可利用背景增强器40计算含噪声图像和背景图像在指定模糊程度下的差异指数，作为背景生成器10对应的第二约束参数。其中，指定模糊程度可以是一个或多个。例如，图3中示出了3个模糊程度，分别为3、5、9。当然，本实施例中，模糊程度并不限于图3中示出的数量和取值，实际应用中可根据需要进行灵活设定。

本实施例中，可利用背景增强器40对含噪声图像和背景图像进行高斯模糊，以获得含噪声图像和背景图像在指定模糊程度下的模糊图像；计算含噪声图像和背景图像在指定模糊程度下的模糊图像之间的梯度差异，作为差异指数。

由于噪声特征均为高频特征，因此，通过高斯模糊，可将含噪声图像及背景图像中的高频特征模糊，而保留低频特征。从低频特征的维度，含噪声图像和背景图像中的低频特征越接近，则表征背景生成器10生成的背景图像越准确，因此，可以含噪声图像和背景图像在指定模糊程度下的模糊图像之间的梯度差异，作为损失函数，对背景生成器10进行训练约束。

基于此，本实施例中，可结合本实施例中确定出的第二约束参数以及上述实施例中基于第一对抗网络确定出的第一约束参数，对背景生成器10提供两方面的训练约束，以对背景生成器10进行无监督训练。这可进一步提高背景生成器10的泛化能力和精度。

在上述或下述实施例中，参考图1，去噪模型中还可包含第二对抗网络，其中，第二对抗网络包括背景生成器10和背景判别器50。

在本实施例中，背景生成器10与背景判别器50组合，形成第二对抗网络，其中，背景判别器50可用于对背景图像进行判别。基于此，本实施例中，可利用背景判别器50对背景图像进行判别；根据背景判别器50对背景图像的判别结果，计算背景生成器10对应的第三约束参数；利用第三约束函数，对去噪模型中的背景生成器10进行无监督训练。

在第二对抗网络下，可将背景生成器10产生的背景图像作为背景判别器50的假样本，还可使用任意一张自然场景中的不含噪声图像作为背景判别器50的真样本，以训练背景判别器50；从而可根据背景判别器50对背景图像的判别结果，计算背景生成器10的损失函数和更新梯度等，作为本实施例中的第三约束参数。

在此基础上，本实施例中，可结合本实施例中确定出的第三约束参数以及上述实施例中基于第一对抗网络确定出的第一约束参数，对背景生成器10提供两方面的训练约束，当然，还可再结合上述实施例中基于背景增强器40确定出的第二约束函数，对背景生成器10提供三方面的训练约束，以对背景生成器10进行无监督训练。这可进一步提高背景生成器10的泛化能力和精度。

在上述或下述实施例中，参考图1，去噪模型还可包含数据保护网络。本实施例中，背景生成器10可与噪声生成器60配合，形成数据保护网络。其中，噪声生成器60可用于对背景图像进行噪声重建，以获得带噪声重建图。噪声生成器60可生成噪声特征，并将生成的噪声特征与背景生成器10产生的背景图像进行融合，作为带噪声重建图。实际应用中，可预先对噪声生成器60进行训练，以使噪声生成器60具备生成噪声特征的能力。例如，噪声生成器60可与前述实施例中的噪声判别器20配合，形成对抗网络，以实现对噪声生成器60的训练。

其中，本实施例中的噪声生成器60可采用残差网络、金字塔结构网络或其它神经网络结构，本实施例对此不做限定。

基于此，本实施例中，可利用噪声生成器60对背景图像进行噪声重建，以获得带噪声重建图；根据含噪声图像和带噪声重建图之间的差异，计算背景生成图对应的第四约束参数；利用第四约束参数，对去噪模型中的背景生成器10进行无监督训练。

申请人在研究过程中发现，背景生成器10在对含噪声图像进行去噪处理的过程中，可能出现将背景内容错误去除的问题，导致产生的背景图像中信息不全，影响背景图像的准确度。为此，本实施例中，可计算含噪声图像和带噪声重建图之间的差异，作为背景生成器10的一项损失函数，即本实施例中的第四约束参数，从而为背景生成器10确定数据完整性维度上的训练约束。

在此基础上，本实施例中，可结合本实施例中确定出的第四约束参数以及上述实施例中基于第一对抗网络确定出的第一约束参数，对背景生成器10提供两方面的训练约束，当然，还可再结合上述实施例中基于背景增强器40确定出的第二约束函数、基于第二对抗网络确定出的第三约束参数，对背景生成器10提供更多方面的训练约束，以对背景生成器10进行无监督训练。这可进一步提高背景生成器10的泛化能力和精度。

在一种可能的设计中，上述实施例提供的模型训练方案可在云服务器或云平台上实施，图2b为本申请一示例性实施例提供的一种模型训练方法的流程示意图，参考图2b，该方法包括：

步骤200、响应于调用目标服务的请求，确定目标服务对应的处理资源，利用目标服务对应的处理资源执行如下步骤：

步骤201、利用去噪模型中第一对抗网络中的背景生成器从含噪声图像中提取背景图像；

步骤202、根据背景图像，确定含噪声图像中包含的噪声特征；

步骤203、利用第一对抗网络中的噪声判别器对噪声特征进行判别，并根据判别结果，计算背景生成器对应的第一约束参数；

步骤204、基于第一约束参数，对去噪模型中的背景生成器进行无监督训练。

在一可选实施例中，还可在完成去噪模型中的背景生成器的训练后，利用目标服务对应的处理资源，调用背景生成器从场景图像提取并输出背景图像，以对场景图像进行去噪。

本实施例中，目标服务可部署在云服务器或云平台上，云服务器或云平台可接收调用目标服务的请求，以对外提供图像去噪功能。其中，目标服务中可包含去噪模型，而云服务器或云平台还可按上述步骤逻辑对去噪模型进行训练，以使目标服务可支持对图像去噪功能。

关于目标服务可提供的图像去噪方案以及对去噪模型的训练方案，可参考前述实施例中的相关描述，在此不再赘述，但这不应造成对本申请保护范围的损失。

图4a为本申请一示例性实施例提供的另一种模型训练方法的流程示意图。基于图1提供的去噪模型，参考图4a，本实施例提供的模型训练方法可包括：

步骤400、利用背景生成器从含噪声图像中提取背景图像；

步骤401、利用背景增强器计算含噪声图像和背景图像在指定模糊程度下的差异指数，作为背景生成器对应的约束参数；

步骤402、利用约束参数，对去噪模型中的背景生成器进行无监督训练。

其中，在步骤301中，可利用背景增强器对含噪声图像和背景图像进行高斯模糊，以获得含噪声图像和背景图像在指定模糊程度下的模糊图像；计算含噪声图像和背景图像在指定模糊程度下的模糊图像之间的梯度差异，作为差异指数。

本实施例提供的模型训练方法，可单独从背景增强维度对背景生成器进行训练约束，当然，还可如前述实施例中提及的，将本实施例中提供的背景增强维度与前述实施例中提供的针对背景图像的第二对抗网络维度、针对噪声特征的第一对抗网络维度或数据保护维度中的一个或多个维度，对背景生成器进行训练约束。

其中，本实施例提供的模型训练方法的相关技术细节可参考前文实施例中的描述，为节省篇幅，在此不再赘述，但这不应造成对本申请保护范围的损失。

在一种可能的设计中，上述实施例提供的模型训练方案可在云服务器或云平台上实施，图4b为本申请一示例性实施例提供的一种模型训练方法的流程示意图，参考图4b，该方法包括：

步骤500、响应于调用目标服务的请求，确定目标服务对应的处理资源，利用目标服务对应的处理资源执行如下步骤：

步骤501、利用去噪模型中的背景生成器从含噪声图像中提取背景图像；

步骤502、利用去噪模型中的背景增强器计算含噪声图像和背景图像在指定模糊程度下的差异指数，作为背景生成器对应的约束参数；

步骤503、利用约束参数，对去噪模型中的背景生成器进行无监督训练。

在一可选实施例中，还可在完成去噪模型中的背景生成器的训练后，利用目标服务对应的处理资源，调用背景生成器从场景图像提取并输出背景图像，以对场景图像进行去噪。

本实施例中，目标服务可部署在云服务器或云平台上，云服务器或云平台可接收调用目标服务的请求，以对外提供图像去噪功能。其中，目标服务中可包含去噪模型，而云服务器或云平台还可按上述步骤逻辑对去噪模型进行训练，以使目标服务可支持对图像去噪功能。

关于目标服务可提供的图像去噪方案以及对去噪模型的训练方案，可参考前述实施例中的相关描述，在此不再赘述，但这不应造成对本申请保护范围的损失。

基于上述的去噪模型和模型训练方法，在另一些实施例中，还可提供一种去噪方法，该方法可基于训练后的去噪模型实施，去噪模型可集成设计在计算设备中。该去噪方法可包括：

响应于对目标图像的去噪请求，获取目标图像；

利用去噪模型中第一对抗网络包含的背景生成器从目标图像中提取背景图像，以对目标图像进行去噪；

其中，背景生成器的训练过程包括：

利用背景生成器从含噪声样本图像中提取样本背景图像；

根据样本背景图像，确定含噪声样本图像中包含的样本噪声特征；

利用第一对抗网络中的噪声判别器对样本噪声特征进行判别，并根据判别结果，计算背景生成器对应的第一约束参数；

基于第一约束参数，对去噪模型中的背景生成器进行无监督训练。

本实施例提供的去噪方法可应用于各种需要进行图像去噪的场景中，例如，前文提及的去雨雪场景。其中，目标图像可以是包含噪声的图像，当然在实际应用中，无需对图像进行是否含噪声的预筛选，可直接将应用场景中的视频、或图像等输入到去噪模型中。在去噪模型中，不包含噪声的图像，基本可保持原貌输出，而包含噪声的图像，则可输入背景图像，也即是去除噪声后的图像。

本实施例中，主要通过背景生成器对目标图像进行去噪，根据前述实施例中对去噪模型的训练方案的阐述可知，对背景生成器的训练需要依赖背景判别器等其它模型单元的辅助配合，但在使用去噪模型对目标图像进行去噪的过程中，可仅使用背景生成器的输出结果，也即是背景图像，作为去噪结果。当然，实际应用中，对目标图像的去噪过程，也可调动其去噪模型中的其它模型单元，共同进行一次模型迭代，这样，在去噪模型应用过程中，也可不断进行模型优化。

其中，关于去噪模型中背景生成器的训练过程，可参考前述实施例中的相关描述，为节省篇幅，在此不再详述，但这不应造成对本申请保护范围的损失。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤103的执行主体可以为设备A；又比如，步骤101和102的执行主体可以为设备A，步骤103的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的网络、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

上述图2a和图4a所关联的实施例多提供的模型训练方法可以由一模型训练装置来执行，该模型训练装置可以实现为软件或实现为软件和硬件的组合，该模型训练装置可集成设置在计算设备中。图5为本申请另一示例性实施例提供的一种计算设备的结构示意图。如图5所示，该计算设备包括：存储器50、处理器51。

处理器51，与存储器50耦合，用于执行存储器50中的计算机程序，以用于：

利用去噪模型中的第一对抗网络包含的背景生成器从含噪声图像中提取背景图像；

根据背景图像，确定含噪声图像中包含的噪声特征；

利用第一对抗网络中的噪声判别器对噪声特征进行判别，并根据判别结果，计算背景生成器对应的第一约束参数；

基于第一约束参数，对去噪模型中的背景生成器进行无监督训练。

在一可选实施例中，处理器51在利用第一对抗网络中的噪声判别器对噪声特征进行判别时，用于：

基于噪声特征，构建一噪声合成图，作为噪声判别器的假样本；

以含噪声图像作为噪声判别器的真样本；

利用噪声判别器对包含噪声特征的噪声合成图进行判别。

在一可选实施例中，处理器51在基于噪声特征，构建一噪声合成图时，用于：

将噪声特征与一不含噪声图像进行融合，以获得噪声合成图。

在一可选实施例中，处理器51在基于背景图像，确定含噪声图像中包含的噪声特征时，用于：

对含噪声图像与背景图像作差，以获得噪声特征。

在一可选实施例中，去噪模型还包含背景增强器，处理器51还用于：

利用背景增强器计算含噪声图像和背景图像在指定模糊程度下的差异指数，作为背景生成器对应的第二约束参数；

利用第二约束函数，对去噪模型中的背景生成器进行无监督训练。

在一可选实施例中，处理器51在利用背景增强器计算含噪声图像和背景图像在指定模糊程度下的差异指数时，用于：

利用背景增强器对含噪声图像和背景图像进行高斯模糊，以获得含噪声图像和背景图像在指定模糊程度下的模糊图像；

计算含噪声图像和背景图像在指定模糊程度下的模糊图像之间的梯度差异，作为差异指数。

在一可选实施例中，去噪模型中还包含第二对抗网络，第二对抗网络包括背景生成器和背景判别器，处理器51还用于：

利用背景判别器对背景图像进行判别；

根据背景判别器对背景图像的判别结果，计算背景生成器对应的第三约束参数；

利用第三约束函数，对去噪模型中的背景生成器进行无监督训练。

在一可选实施例中，去噪模型中还包含数据保护网络，数据保护网络包括背景生成器和噪声生成器，处理器51还用于：

利用噪声生成器对背景图像进行噪声重建，以获得带噪声重建图；

根据含噪声图像和带噪声重建图之间的差异，计算背景生成图对应的第四约束参数；

利用第四约束参数，对去噪模型中的背景生成器进行无监督训练。

在一可选实施例中，背景生成器采用残差网络或金字塔结构网络中的一种或多种。

在一可选实施例中，处理器51还用于：

在完成去噪模型中的背景生成器的训练后，利用背景生成器从场景图像提取并输出背景图像，以对场景图像进行去噪。

进一步，如图5所示，该计算设备还包括：通信组件52、电源组件53等其它组件。图5中仅示意性给出部分组件，并不意味着计算设备只包括图5所示组件。

值得说明的是，上述关于计算设备各实施例中的技术细节，可参考前述的方法实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成本申请保护范围的损失。

图6为本申请另一示例性实施例提供的另一种计算设备的结构示意图，该计算设备可包括存储器60、处理器61。

处理器61，与存储器50耦合，用于执行存储器50中的计算机程序，以用于：

利用去噪模型中的背景生成器从含噪声图像中提取背景图像；

利用去噪模型中的背景增强器计算含噪声图像和背景图像在指定模糊程度下的差异指数，作为背景生成器对应的约束参数；

利用约束参数，对去噪模型中的背景生成器进行无监督训练。

在一可选实施例中，处理器61在利用背景增强器计算含噪声图像和背景图像在指定模糊程度下的差异时，用于：

利用背景增强器对含噪声图像和背景图像进行高斯模糊，以获得含噪声图像和背景图像在指定模糊程度下的模糊图像；

计算含噪声图像和背景图像在指定模糊程度下的模糊图像之间的梯度差异，作为差异指数。

与图5所示的计算设备不同的是，本实施例提供的计算设备，可从背景增强维度对背景生成器进行训练约束，当然，还可如前述实施例中提及的，将本实施例中提供的背景增强维度与前述实施例中提供的针对背景图像的第二对抗网络维度、针对噪声特征的第一对抗网络维度或数据保护维度中的一个或多个维度，对背景生成器进行训练约束。

值得说明的是，上述关于计算设备各实施例中的技术细节，可参考前述的方法实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成本申请保护范围的损失。

进一步，如图6所示，该计算设备还包括：通信组件62、电源组件63等其它组件。图6中仅示意性给出部分组件，并不意味着计算设备只包括图6所示组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由计算设备执行的各步骤。

上述图5和图6中的存储器，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

上述图5和6中的通信组件，被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

上述图5和图6中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种模型训练方法，适用于去噪模型，其特征在于，所述去噪模型中包含第一对抗网络，所述方法包括：

利用所述第一对抗网络中的背景生成器从含噪声图像中提取背景图像；

根据所述背景图像，确定所述含噪声图像中包含的噪声特征；

利用所述第一对抗网络中的噪声判别器对所述噪声特征进行判别，并根据判别结果，计算所述背景生成器对应的第一约束参数；

基于所述第一约束参数，对所述去噪模型中的背景生成器进行无监督训练。

2.根据权利要求1所述的方法，其特征在于，所述利用所述第一对抗网络中的噪声判别器对所述噪声特征进行判别，包括：

基于所述噪声特征，构建一噪声合成图，作为所述噪声判别器的假样本；

以所述含噪声图像作为所述噪声判别器的真样本；

利用所述噪声判别器对包含所述噪声特征的所述噪声合成图进行判别。

3.根据权利要求2所述的方法，其特征在于，所述基于所述噪声特征，构建一噪声合成图，包括：

将所述噪声特征与一不含噪声图像进行融合，以获得所述噪声合成图。

4.根据权利要求1所述的方法，其特征在于，所述基于所述背景图像，确定所述含噪声图像中包含的噪声特征，包括：

对所述含噪声图像与所述背景图像作差，以获得所述噪声特征。

5.根据权利要求1所述的方法，其特征在于，所述去噪模型还包含背景增强器，所述方法还包括：

利用所述背景增强器计算所述含噪声图像和所述背景图像在指定模糊程度下的差异指数，作为所述背景生成器对应的第二约束参数；

利用所述第二约束函数，对所述去噪模型中的背景生成器进行无监督训练。

6.根据权利要求5所述的方法，其特征在于，所述利用所述背景增强器计算所述含噪声图像和所述背景图像在指定模糊程度下的差异指数，包括：

利用所述背景增强器对所述含噪声图像和所述背景图像进行高斯模糊，以获得所述含噪声图像和所述背景图像在所述指定模糊程度下的模糊图像；

计算所述含噪声图像和所述背景图像在所述指定模糊程度下的模糊图像之间的梯度差异，作为所述差异指数。

7.根据权利要求1或5所述的方法，其特征在于，所述去噪模型中还包含第二对抗网络，所述第二对抗网络包括所述背景生成器和背景判别器，所述方法还包括：

利用所述背景判别器对所述背景图像进行判别；

根据所述背景判别器对所述背景图像的判别结果，计算所述背景生成器对应的第三约束参数；

利用所述第三约束函数，对所述去噪模型中的背景生成器进行无监督训练。

8.根据权利要求7所述的方法，其特征在于，所述去噪模型中还包含数据保护网络，所述数据保护网络包括所述背景生成器和噪声生成器，所述方法还包括：

利用所述噪声生成器对所述背景图像进行噪声重建，以获得带噪声重建图；

根据所述含噪声图像和所述带噪声重建图之间的差异，计算所述背景生成图对应的第四约束参数；

利用所述第四约束参数，对所述去噪模型中的背景生成器进行无监督训练。

9.根据权利要求1所述的方法，其特征在于，所述背景生成器采用残差网络或金字塔结构网络中的一种或多种。

10.根据权利要求1所述的方法，其特征在于，还包括：

在完成所述去噪模型中的背景生成器的训练后，利用所述背景生成器从场景图像提取并输出背景图像，以对所述场景图像进行去噪。

11.根据权利要求10所述的方法，其特征在于，所述场景图像和所述含噪声图像为带雨雪图像，所述噪声特征为雨雪特征。

12.一种模型训练方法，其特征在于，包括：

响应于调用目标服务的请求，确定所述目标服务对应的处理资源，利用所述目标服务对应的处理资源执行如下步骤：

利用去噪模型中第一对抗网络中的背景生成器从含噪声图像中提取背景图像；

根据所述背景图像，确定所述含噪声图像中包含的噪声特征；

利用所述第一对抗网络中的噪声判别器对所述噪声特征进行判别，并根据判别结果，计算所述背景生成器对应的第一约束参数；

基于所述第一约束参数，对所述去噪模型中的背景生成器进行无监督训练。

13.一种模型训练方法，适用于去噪模型，其特征在在于，所述去噪模型中包含背景生成器和背景增强器，所述方法包括：

利用所述背景生成器从含噪声图像中提取背景图像；

利用所述背景增强器计算所述含噪声图像和所述背景图像在指定模糊程度下的差异指数，作为所述背景生成器对应的约束参数；

利用所述约束参数，对所述去噪模型中的背景生成器进行无监督训练。

14.根据权利要求13所述的方法，其特征在于，所述利用所述背景增强器计算所述含噪声图像和所述背景图像在指定模糊程度下的差异，包括：

利用所述背景增强器对所述含噪声图像和所述背景图像进行高斯模糊，以获得所述含噪声图像和所述背景图像在所述指定模糊程度下的模糊图像；

计算所述含噪声图像和所述背景图像在所述指定模糊程度下的模糊图像之间的梯度差异，作为所述差异指数。

15.一种模型训练方法，其特征在于，包括：

响应于调用目标服务的请求，确定所述目标服务对应的处理资源，利用所述目标服务对应的处理资源执行如下步骤：

利用去噪模型中的背景生成器从含噪声图像中提取背景图像；

利用去噪模型中的背景增强器计算所述含噪声图像和所述背景图像在指定模糊程度下的差异指数，作为所述背景生成器对应的约束参数；

利用所述约束参数，对所述去噪模型中的背景生成器进行无监督训练。

16.一种计算设备，其特征在于，包括存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：

利用去噪模型中的第一对抗网络包含的背景生成器从含噪声图像中提取背景图像；

根据所述背景图像，确定所述含噪声图像中包含的噪声特征；

利用所述第一对抗网络中的噪声判别器对所述噪声特征进行判别，并根据判别结果，计算所述背景生成器对应的第一约束参数；

基于所述第一约束参数，对所述去噪模型中的背景生成器进行无监督训练。

17.一种计算设备，其特征在于，包括存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：

利用去噪模型中的背景生成器从含噪声图像中提取背景图像；

利用所述去噪模型中的背景增强器计算所述含噪声图像和所述背景图像在指定模糊程度下的差异指数，作为所述背景生成器对应的约束参数；

利用所述约束参数，对所述去噪模型中的背景生成器进行无监督训练。

18.一种去噪模型，其特征在于，包含第一对抗网络，所述第一对抗网络包括背景生成器和噪声判别器；

所述背景生成器，用于从含噪声图像中提取背景图像；

所述雨水判别器，用于获取所述含噪声图像中包含的噪声特征，并对所述噪声特征进行判别，以产生所述背景生成器对应的第一约束参数；其中，所述噪声特征为根据所述背景图像而确定出的；

所述背景生成器，还用于基于所述第一约束参数，更新自身的模型参数。

19.一种去噪方法，其特征在于，包括：

响应于对目标图像的去噪请求，获取所述目标图像；

利用去噪模型中第一对抗网络包含的背景生成器从所述目标图像中提取背景图像，以对所述目标图像进行去噪；

其中，所述背景生成器的训练过程包括：

利用所述背景生成器从含噪声样本图像中提取样本背景图像；

根据所述样本背景图像，确定所述含噪声样本图像中包含的样本噪声特征；

利用所述第一对抗网络中的噪声判别器对所述样本噪声特征进行判别，并根据判别结果，计算所述背景生成器对应的第一约束参数；

基于所述第一约束参数，对所述去噪模型中的背景生成器进行无监督训练。

20.一种存储计算机指令的计算机可读存储介质，其特征在于，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求1-15任一项所述的模型训练方法或权利要求19所述的去噪方法。

Images