CN113673675A - 模型训练方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种模型训练方法、装置、计算机设备和存储介质。所述方法包括：利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型，将高分辨率图像样本输入目标生成式对抗模型的生成器，得到第二低分辨率图像样本，对第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本，基于目标低分辨率图像样本和高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。使用本方法能够提高目标超分辨率模型输出的高分辨率图像的质量。

Description

模型训练方法、装置、计算机设备和存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种模型训练方法、装置、计算机设备和存储介质。

背景技术

图像超分辨率(Super Resolution，SR)技术是指从低分辨率(Low Resolution，LR)图像重建出相应的高分辨率(High Resolution，HR)图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。

目前的图像超分辨率算法为：获取HR图像，然后对HR图像进行下采样以得到与HR图像对应的LR图像，将HR图像和该LR图像作为一个图像对，输入到预先构建的SR模型进行训练，得到训练后的SR模型，之后通过训练后的SR模型对需要重建的低分辨率图像进行重建。

然而，对HR图像进行下采样导致得到的LR图像比较干净，导致SR模型学习的目标变为：“干净”的LR图像到“脏”的HR图像的映射，因此，采用训练后的SR模型对现实场景中的LR图像进行重建后，得到的HR图像的质量较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够得到较高质量的高分辨率图像的模型训练方法、装置、计算机设备和存储介质。

一种模型训练方法，该方法包括：

利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型；

将高分辨率图像样本输入所述目标生成式对抗模型的生成器，得到第二低分辨率图像样本；

对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本；

基于所述目标低分辨率图像样本和所述高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。

一种模型训练装置，所述装置包括：

第一训练模块，用于利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型；

第一获得模块，用于将高分辨率图像样本输入所述目标生成式对抗模型的生成器，得到第二低分辨率图像样本；

第二获得模块，用于对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本；

第二训练模块，用于基于所述目标低分辨率图像样本和所述高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型；

将高分辨率图像样本输入所述目标生成式对抗模型的生成器，得到第二低分辨率图像样本；

对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本；

基于所述目标低分辨率图像样本和所述高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型；

将高分辨率图像样本输入所述目标生成式对抗模型的生成器，得到第二低分辨率图像样本；

对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本；

基于所述目标低分辨率图像样本和所述高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。

上述模型训练方法、装置、计算机设备和存储介质，利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型，将高分辨率图像样本输入目标生成式对抗模型的生成器，得到第二低分辨率图像样本，对第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本，基于目标低分辨率图像样本和高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。由于将生成器生成的第二低分辨图像样本进行了质量退化处理，使得到的目标低分辨率图像样本更接近现实场景中的低分辨率图像，进而使基于目标低分辨率图像样本和高分辨率图像样本，训练得到的目标超分辨率模型能够将“脏”的低分辨率图像重新构建为高分辨率图像，提高了高分辨率图像的质量。

附图说明

图1是本申请实施例提供的一种模型训练方法的流程示意图；

图2是本申请实施例提供的一种目标低分辨率图像样本获得的流程示意图；

图3是本申请实施例提供的一种噪声获取方法的流程示意图；

图4是本申请实施例提供的另一种目标低分辨率图像样本获得的流程示意图；

图5是本申请实施例提供的一种生成式对抗模型训练的流程示意图；

图6是本申请实施例提供的一种概率获得的流程示意图；

图7是本申请实施例提供的一种超分辨率模型的结构示意图；

图8是本申请实施例提供的另一种超分辨率模型的结构示意图；

图9是本申请实施例提供的一种多重信息蒸馏层的结构示意图；

图10是本申请实施例提供的一种模型训练装置的结构示意图；

图11为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

参照图1，图1是本申请实施例提供的一种模型训练方法的流程示意图，本申请实施例涉及训练超分辨率模型的过程。该方法的执行主体可以是计算机设备，该方法包括如下步骤：

S101、利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型。

本实施例中，可以采用插值方法对初始高分辨率图像样本进行下采样，得到第一低分辨率图像样本。插值方法包括最邻近采样法、二次插值法、双三次卷积法等。

其中，初始高分辨率图像样本可以为DIV2K数据集中的图像，DIV2K数据集包括1000张2K分辨率的高分辨率图像，可采用DIV2K数据集中的800张图像作为训练数据，100张图像作为验证数据，100张图像作为测试数据。

本实施例中，利用第一低分辨率图像样本，训练生成式对抗模型时，生成器可以用来对第一低分辨率图像进行降采样及模糊过程，以对第一低分辨率图像进行质量退化，判别器用来使质量退化后的第一低分辨率图像保持与第一低分辨率图像样本相同的分布。

S102、将高分辨率图像样本输入目标生成式对抗模型的生成器，得到第二低分辨率图像样本。

本实施例中，高分辨率图像样本可以包括DIV2K数据集中的图像以及Flickr2K数据集中的图像，也即高分辨率图像样本可以包括上述提及的初始高分辨率图像样本以及Flickr2K数据集中的图像。Flickr2K数据集包括2650张人物、动物、风景的高分辨率图像，2650张高分辨率图像的格式为png格式。

需要说明的是，经上述的S101训练生成式对抗模型后，得到的目标生成式对抗模型为训练完成后的生成式对抗模型，训练完成后的生成式对抗模型中的生成器对高分辨图像样本进行降采样以及模糊的效果较好，因此，通过生成器输出的第二低分辨率图像样本的模糊程度较高。

S103、对第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本。

可以将噪声添加到第二低分辨率图像样本中，得到目标低分辨率图像样本。或者，将噪声添加到第二低分辨率图像样本中得到添加噪声后的第二低分辨率图像样本，并对添加噪声后的第二低分辨率图像样本进行压缩，得到目标低分辨图像样本。其中，对添加噪声后的第二低分辨率图像样本进行压缩可以通过如下方式实现：根据目标压缩率以及添加噪声后的第二低分辨率图像样本所占用的存储资源的大小对添加噪声后的第二低分辨率图像样本进行压缩，得到目标低分辨图像样本。

需要说明的是，对第二低分辨率图像样本进行质量退化处理后，得到的目标低分辨率图像样本的质量更贴近现实场景中需要构建的低分辨率图像的质量，从而使后续基于目标低分辨率图像样本和高分辨率图像样本，训练超分辨率模型后，得到的目标超分辨率模型能够学习到从“脏”的低分辨率图像到高分辨率图像的重建。

S104、基于目标低分辨率图像样本和高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。

其中，超分辨率模型可以包括上采样层、与上采样层连接的第一像素重组层、第一像素重组层连接的特征提取层以及与特征提取层连接的第二像素重组层。上采样层用于对目标低分辨率图像样本进行上采样处理，得到第一高分辨率图像；第一像素重组层用于提取第一高分辨率图像特征，得到第一特征图，并对第一特征图进行像素重组，得到第二特征图；特征提取层用于提取第二特征图的特征，得到第三特征图；第二像素重组层用于对第三特征图进行像素重组，得到第二高分辨率图像。进而基于第二高分辨率图像和高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。

本实施例提供的模型训练方法，通过利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型，将高分辨率图像样本输入目标生成式对抗模型的生成器，得到第二低分辨率图像样本，对第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本，基于目标低分辨率图像样本和高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。由于将生成器生成的第二低分辨图像样本进行了质量退化处理，使得到的目标低分辨率图像样本更接近现实场景中的低分辨率图像，进而使基于目标低分辨率图像样本和高分辨率图像样本，训练得到的目标超分辨率模型能够将“脏”的低分辨率图像重新构建为高分辨率图像，提高了高分辨率图像的质量。

图2是本申请实施例提供的一种目标低分辨率图像样本获得的流程示意图。本实施例涉及的是如何对第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本的一种可选的实施方式。在上述实施例的基础上，上述S103可以通过如下步骤实现：

S201、获取第一低分辨率图像样本中的噪声。

其中，噪声是指存在于图像数据中的不必要的或多余的干扰信息。若第一低分辨率图像的背景不复杂，可以获取整个第一低分辨率图像上的噪声；若第一低分辨率图像的背景类型比较多，例如包括天空、沙滩、湖泊等，则可以仅获取第一低分辨率图像中一种背景类型的部分区域，从而可以避免无法获取到第一低分辨率图像中的噪声的问题。

S202、将噪声添加到第二低分辨率图像样本，得到目标低分辨率图像样本。

传统技术中，训练以及验证模型用的数据集都是公开数据集，这些数据集往往是经过精心挑选并经过非常专业的图像处理，也就是训练数据过于“干净”。而现实场景中的图像往往“很脏”，例如，由于将高分辨率图像上传至微信朋友圈或微博后，再从微信朋友圈或微博下载图像，整个过程涉及到上传、压缩、编码、下载等操作，因此，高分辨率图像在网络传输过程中造成了质量损失和噪声增加，导致下载后得到的图像的图像质量较差，也即现实场景中的图像往往“较脏”。因此，传统技术中基于较干净的数据集，对超分辨率模型进行训练后，得到的超分辨率模型无法将现实场景中“较脏”的低分辨率图像重构出较高质量的高分辨率图像。

而本实施例中，通过获取第一低分辨率图像样本中的噪声，并将噪声添加到第二低分辨率图像样本，实现降低第二低分辨图像样本的质量。通过在第二低分辨率图像样本中添加噪声来模拟图像在网络传输过程中造成的质量损失和噪声增加，进而使得到的目标低分辨率图像样本的图像质量更接近现实场景中的图像质量，从而使基于目标低分辨率图像样本和高分辨率图像样本，训练超分辨率模型，得到的目标超分辨率模型具有去噪的效果，能够提高经网络传输后的“脏”的低分辨率图像的质量，将“脏”的低分辨率图像重构为较高质量的高分辨率图像。

图3是本申请实施例提供的一种噪声获取方法的流程示意图。本实施例涉及的是如何获取第一低分辨率图像样本中的噪声的一种可选的实施方式。在上述实施例的基础上，上述的S201可以包括如下步骤：

S301、从第一低分辨率图像样本中裁剪出部分区域。

其中，该部分区域可以为第一低分辨率图像样本中的同一场景的区域。

S302、确定部分区域的像素值的均值。

S303、根据第一低分辨率图像样本中各像素的像素值与均值的差值，获取第一低分辨率图像样本中的噪声。

本实施例中，通过根据第一低分辨率图像样本中各像素的像素值与均值的差值，获取第一低分辨率图像样本中的噪声，从而实现将获取的噪声条件到第二低分辨率图像样本中，得到目标低分辨率图像样本，进而使得到的目标低分辨率图像样本的图像质量更接近现实场景中的图像质量，使基于目标低分辨率图像样本和高分辨率图像样本，训练超分辨率模型，得到的目标超分辨率模型能够重构出较高质量的高分辨率图像。

图4是本申请实施例提供的另一种目标低分辨率图像样本获得的流程示意图。本实施例涉及的是如何对第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本的一种可选的实施方式。在上述实施例的基础上，上述S103可以通过如下步骤实现：

S401、获取目标压缩率，其中，目标压缩率是预设压缩率范围内的任一数值。

本实施例中，可以从预设压缩率范围内随机选取一个压缩率作为目标压缩率，预设压缩率范围例如为30％至95％之间。其中，选取的压缩率不同，则可以对第二低分辨率图像样本进行不同程度的压缩退化。

S402、根据目标压缩率以及第二低分辨率图像样本所占用的存储资源的大小，对第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本。

可以采用联合图像专家组(Joint Photographic Experts Group，JPEG)压缩技术，根据目标压缩率以及第二低分辨率图像样本所占用的存储资源的大小，对第二分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本。例如，根据目标压缩率与第二低分辨率图像样本所占用的存储资源的大小的乘积，得到目标低分辨率图像样本。或者，将该乘积再乘以预设系数，得到目标低分辨率图像样本。

需要说明的是，本实施例中提供的质量退化处理方式可以与图2对应的实施例提供的质量退化方式同时使用，例如采用图2对应的实施例提供的质量退化方式后，得到噪声添加后的第二低分辨率图像样本，根据目标压缩率以及噪声添加后的第二低分辨率图像样本所占用的存储资源的大小，对噪声添加后的第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本。

可选的，对第二低分辨率图像样本进行质量退化处理后，还可以对质量退化处理后的第二低分辨率图像样本进行数据增强，得到目标低分辨率图像样本。可以采用图像复原的数据增广策略对质量退化处理后的第二低分辨率图像样本进行数据增强，图像复原的数据增广策略例如是CutBlur技术，CutBlur可以防止超分辨率模型使目标低分辨率图像过分锐化，并帮助超分辨率模型仅对目标低分辨率图像中需要增强的区域进行超分辨，避免超分辨率模型对低分辨率图像中本来清晰的区域进行不必要的增强。

本实施例中，通过根据目标压缩率以及第二低分辨率图像样本所占用的存储资源的大小，对第二低分辨率图像样本进行质量退化处理。也即本实例中可以对第二低分辨率图像样本进行不同程度的压缩退化来模拟网络传输过程中不同程度的压缩退化，进而使得到的目标低分辨率图像样本的图像质量更接近现实场景中的图像质量，使基于目标低分辨率图像样本和高分辨率图像样本，训练超分辨率模型，得到的目标超分辨率模型具有反JPEG压缩退化的效果，也即目标超分辨率模型能够还原出JPEG压缩前的图像效果，从而重构出较高质量的高分辨率图像。

可选的，在一个实施例中，还可以包括如下步骤：

对高分辨率图像样本进行锐化处理，得到锐化处理后的高分辨率图像样本；

相应的，上述的S104基于目标低分辨率图像样本以及高分辨率图像样本，训练预设的超分辨率模型，得到目标超分辨率模型，具体可以通过如下方式实现：

基于目标低分辨率图像样本以及锐化处理后的高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。

本实施例中，对高分辨率图像进行锐化处理后，能够使锐化处理后的高分辨率图像样本的轮廓信息增强，从而使超分辨率模型能够学习到一定程度的锐化功能，通过超分辨率模型输出的图像的清晰度更高。

需要说明的是，可以采用Adam优化器优化超分辨率模型的权重，总共训练预设个数的epoch，例如预设个数等于400。初始学习率为1e-4，并在第100、200、300个epoch时缩小十倍，第100、200、300个epoch时的学习率依次为1e-5,1e-6,1e-7。为了避免在后续量化部署时出现长尾效应，添加了权重衰减。

完成上述训练后，为了减少因量化导致的效果损失，我们进行感知量化微调训练，通过在网络中添加伪量化节点，模拟量化过程，使网络学习在量化情况下减少精度损失。最后将训练好的模型固化为.pb文件，用于后续的部署。针对超分辨率模型的各网络层，在训练过程中通过伪量化节点统计每次训练时的各网络层的权重，训练完成后，基于统计的网络层的权重的最大值、最小值、预设量化区间以及训练完成后的网络层的权重，对训练完成后的网络层的权重进行量化调整。其中，量化调整过程包括可以将训练后的浮点型数据量化为整型数据，再将整型数据量化为浮点型数据。

图5是本申请实施例提供的一种生成式对抗模型训练的流程示意图。本实施例涉及的是如何利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型的一种可选的实施方式。在上述实施例的基础上，上述的S101可以包括如下步骤：

S501、将第一低分辨率图像样本输入生成式对抗模型的生成器，得到第三低分辨率图像样本。

S502、从第一低分辨率图像样本中裁剪出第一图像块，并从第三低分辨率图像样本中裁剪出第二图像块。

S503、将第一图像块以及第二图像块分别输入生成式对抗模型的判别器，得到第一概率以及第二概率。

其中，第一概率是第一图像块属于第一低分辨率图像样本的概率，第二概率是第二图像块属于第一低分辨率图像样本的概率。

S504、根据第一概率和第二概率，训练生成式对抗模型，得到目标生成式对抗模型。

本实施例中，得到目标生成式对抗模型后，可以利用目标生成式对抗模型的生成器输出质量退化的图像，进而向质量退化的图像中添加噪声，得到目标低分辨率图像样本，进而使得到的目标低分辨率图像样本的图像质量更接近现实场景中的图像质量，使基于目标低分辨率图像样本和高分辨率图像样本，训练超分辨率模型，得到的目标超分辨率模型能够重构出较高质量的高分辨率图像。

图6是本申请实施例提供的一种概率获得的流程示意图。本实施例涉及的是如何得到第一概率以及第二概率的一种可选的实施方式。在上述实施例的基础上，上述的S503可以包括如下步骤：

S601、分别从第一图像块和第二图像块中提取高频信息。

S602、将第一图像块的高频信息以及第二图像块的高频信息输入判别器，得到第一概率和第二概率。

本实施例中，通过判别器对高频信息进行对抗学习，使生成器输出的质量退化后的图像在高频上更接近输入至生成器的低分辨率图像。

可选的，特征提取层包括第一卷积层、多重信息蒸馏层(Information Multi-distillation Block，IMDB)以及第二卷积层；第一卷积层连接在第一像素重组层和多重信息蒸馏层之间，第二卷积层连接在多重信息蒸馏层和第二像素重组层之间。

其中，特征提取层可以包括至少一个第一卷积层以及与最后一个第一卷积层连接的至少一个信息蒸馏层。或者特征提取层可以包括至少一个第一卷积层、与最后一个第一卷积层连接的至少一个信息蒸馏层以及与最后一个信息蒸馏层连接的至少一个第二卷积层。特征提取层也可以只包括至少一个信息蒸馏层。本申请实施例中特征提取层的结构包括但不限于上述描述的结构。

其中，第一像素重组层能够将上述第一高分辨率图像的空间维度转移到通道维度，以提高硬件运算效率；信息蒸馏层用于对第一卷积层输出的特征图进一步提纯，以及学习特征图中的特征信息的内在关联；第二像素重组层用于能够将堆叠在多个通道上的特征信息还原到空间上去，以放大目标低分辨率图像样本的分辨率。

若特征提取层可以包括多个第一卷积层时，多个第一卷积层级联连接。若特征提取层包括多个多重信息蒸馏层时，多个多重信息蒸馏层级联连接。若特征提取层包括多个第二卷积层时，多个第二卷积层级联连接。

为了更清楚的介绍本实施例中的超分辨率模型的结构，在此结合图7进行介绍。参照图7，图7是本申请实施例提供的一种超分辨率模型的结构示意图。该超分辨率模型结构包括1个上采样层、1个第一像素重组层、1个第一卷积层、1个多重信息蒸馏层、2个第二卷积层以及1个第二像素重组层，其中，2个第二卷积层包括卷积层1和卷积层2。需要说明的是，图7仅示出了本实施例中的一种超分辨率模型的结构，本实施例的超分辨率模型结果不限于图7示出的模型结构。

若信息蒸馏层为多个，超分辨率模型结构还可以包括一个拼接模块，如图8所示，图8是本申请实施例提供的另一种超分辨率模型的结构示意图，图8示出的模型结构是在上述图7示出的模型结构的基础上，得到的另一种超分辨率模型结构。该拼接模块用于将多个信息蒸馏层输出的特征图进行拼接，拼接(concat)技术是对通道数进行合并，也就是说描述图像本身的通道数增加了，而每一通道下的信息没有增加。图8中示出的信息蒸馏层为3个，该3个多重信息蒸馏层包括多重信息蒸馏层1、多重信息蒸馏层2以及多重信息蒸馏层3。每个信息蒸馏层输出的特征图大小若为128×128×64，则经拼接模块拼接后得到的特征图大小为128×128×(64×3)。需要说明的是，图8示出的超分辨率模型能够以不高于100毫秒的速度对一张低分辨率图像的Y通道图像进行处理，超分辨率模型的性能较好。其中，Y通道图像指YUV格式的低分辨率图像中的Y通道的图像，Y代表明亮度，U与V代表色度。

如图8所示，图8示出的模型结构还可以包括一个融合模块，该融合模块用于将卷积层2输出的特征图和第一像素重组层输出的特征图进行融合，融合技术是指将特征图相加，通道数不变。卷积层2输出的特征图和第一像素重组层输出的特征图进行融合后，描述图像的通道下的信息量增多了，但是描述图像的通道数本身并没有增加。例如，若卷积层2输出的特征图为128×128×64，第一像素重组层输出的特征图为128×128×64，则经融合模块进行融合处理后，得到的特征图为128×128×64。通过融合处理后，能够使融合后的特征图的信息更加丰富。

为了更清楚的介绍本申请实施例中的超分辨率模型结构，下面结合表1进行介绍。表1中示出了如图8中的模型结构中的第一卷积层至最后一个第二卷积层的输入的特征图的大小以及输出的特征图的大小。表1中的数据对应的目标低分辨率图像为512×512×1的图像，为了便于后续描述，下面将该512×512×1的图像称为图像A。

表1

如图8和上述表1所示，上采样层可以为通过插值算法实现，以放大图像A的分辨率，若放大倍数为2倍，则经上采样层输出的第一高分辨率图像的分辨率为1024×1024×1。第一高分辨率图像输入至第一像素重组层，第一像素重组层层提取第一高分辨率图像的特征，得到第二特征图。经第一像素重组层处理后，增加了通道数目以及缩小了特征图，从而可以提高计算机设备的运行效率。得到第二特征图后，将第二特征图输入至第一卷积层，经第一卷积层卷积处理后，能够对第二特征图的各通道的特征信息进行交互，从而使各通道的特征信息更丰富。

第一卷积层进行卷积处理后，将卷积处理后的第二特征图输入至多重信息蒸馏层1，将将多重信息蒸馏层1的输出作为多重信息蒸馏层2的输入，将多重信息蒸馏层2的输出作为多重信息蒸馏层3的输入。并将各多重信息蒸馏层的输出经拼接模块拼接后输入到卷积层1，卷积层1提取输入的特征图的特征得到新的特征图，并调整输入的特征图的通道数目，使调整后的通道数目等于输入至第一卷积层的通道数目，接着将卷积层1得到的新的特征图输入至卷积层2，由卷积层2交换新的特征图的各通道的特征信息。

需要说明的是，多重信息蒸馏层可以包括卷积核大小为3x3的卷积层和卷积核大小为1x1的卷积层。通过3x3的卷积层对输入至多重信息蒸馏层的特征图进行特征提纯，通过1x1的卷积层可对输入的特征图的各通道的特征信息进行交互。多重信息蒸馏层的结构如图9所示，参照图9，图9是本申请实施例提供的一种多重信息蒸馏层的结构示意图。该结构共包括4个卷积核大小为3x3的卷积层、4个卷积核大小为1x1的卷积层。其中，该4个3x3的卷积层为卷积层31、卷积层32、卷积层33和卷积层34，4个1x1的卷积层包括卷积层11、卷积层12、卷积层13和卷积层14。结合上述关于图像A的举例说明，输入至各3x3的卷积层的特征图的大小为128×128×64，各3x3的卷积层输出的特征图的大小为128×128×32，通过3x3的卷积层对输入的特征图进行卷积处理后，可以减少输入的特征图的通道数，从而实现对特征的提纯。

图9所示的结构还包括一个拼接模块，该拼接模块用于将各3x3的卷积层输出的特征图进行拼接，接着将拼接后的特征图输入至卷积14，由卷积层14调整拼接后的特征图的通道数。图9所示的结构还包括一个融合模块，用于实现从输入到输出的残差连接，如图9所示，将卷积层14的输出和多重信息蒸馏层的输入经融合模块进行融合。

应该理解的是，虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，图10是本申请实施例提供的一种模型训练装置的结构示意图，该装置1000包括：第一训练模块1001、第一获得模块1002、第二获得模块1003以及第二训练模块1004，其中：

第一训练模块1001，用于利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型。

第一获得模块1002，用于将高分辨率图像样本输入所述目标生成式对抗模型的生成器，得到第二低分辨率图像样本。

第二获得模块1003，用于对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本。

第二训练模块1004，用于基于所述目标低分辨率图像样本和所述高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。

本实施例提供的模型训练装置，通过利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型，将高分辨率图像样本输入目标生成式对抗模型的生成器，得到第二低分辨率图像样本，对第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本，基于目标低分辨率图像样本和高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。由于将生成器生成的第二低分辨图像样本进行了质量退化处理，使得到的目标低分辨率图像样本更接近现实场景中的低分辨率图像，进而使基于目标低分辨率图像样本和高分辨率图像样本，训练得到的目标超分辨率模型能够将“脏”的低分辨率图像重新构建为高分辨率图像，提高了高分辨率图像的质量。

在其中一个实施例中，第二获得模块1003包括：

第一获取单元，用于获取所述第一低分辨率图像样本中的噪声；第一获得单元，用于将所述噪声添加到所述第二低分辨率图像样本，得到所述目标低分辨率图像样本。

在其中一个实施例中，所述获取单元具体用于从所述第一低分辨率图像样本中裁剪出部分区域；确定所述部分区域的像素值的均值；根据所述第一低分辨率图像样本中各像素的像素值与所述均值的差值，获取所述第一低分辨率图像样本中的噪声。

在其中一个实施例中，所述第二获得模块1003，包括：

第二获取单元，用于获取目标压缩率，其中，所述目标压缩率是预设压缩率范围内的任一数值；第二获得单元，用于根据所述目标压缩率以及所述第二低分辨率图像样本所占用的存储资源的大小，对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本。

在其中一个实施例中，装置还可以包括：

第三获得模块，用于对所述高分辨率图像样本进行锐化处理，得到锐化处理后的高分辨率图像样本；相应的，第二训练模块1004，具体用于基于所述目标低分辨率图像样本以及锐化处理后的高分辨率图像样本，训练所述超分辨率模型，得到目标超分辨率模型。

在其中一个实施例中，第一训练模块1001，包括：

第一获得单元，用于将所述第一低分辨率图像样本输入所述生成式对抗模型的生成器，得到第三低分辨率图像样本；裁剪单元，用于从所述第一低分辨率图像样本中裁剪出第一图像块，并从所述第三低分辨率图像样本中裁剪出第二图像块；第二获得单元，用于将所述第一图像块以及所述第二图像块分别输入所述生成式对抗模型的判别器，得到第一概率以及第二概率；训练单元，用于根据所述第一概率和所述第二概率，训练所述生成式对抗模型，得到所述目标生成式对抗模型；其中，所述第一概率是所述第一图像块属于所述第一低分辨率图像样本的概率，所述第二概率是所述第二图像块属于所述第一低分辨率图像样本的概率。

在其中一个实施例中，第二获得单元，具体用于分别从所述第一图像块和所述第二图像块中提取高频信息；将所述第一图像块的高频信息以及所述第二图像块的高频信息输入所述判别器，得到所述第一概率和所述第二概率。

在其中一个实施例中，所述超分辨率模型包括上采样层、与所述上采样层连接的第一像素重组层、所述第一像素重组层连接的特征提取层以及与所述特征提取层连接的第二像素重组层；所述上采样层用于对所述目标低分辨率图像样本进行上采样处理，得到第一高分辨率图像；所述第一像素重组层用于提取所述第一高分辨率图像的特征，得到第一特征图，并对所述第一特征图进行像素重组，得到第二特征图；所述特征提取层用于提取所述第二特征图的特征，得到第三特征图；所述第二像素重组层用于对所述第三特征图进行像素重组，得到第二高分辨率图像；

第二训练模块1004，具体用于基于所述第二高分辨率图像和所述高分辨率图像样本，训练超分辨率模型，得到所述目标超分辨率模型。

在其中一个实施例中，所述特征提取层包括第一卷积层、多重信息蒸馏层以及第二卷积层；所述第一卷积层连接在所述第一像素重组层和所述多重信息蒸馏层之间，所述第二卷积层连接在所述多重信息蒸馏层和所述第二像素重组层之间。

在其中一个实施例中，所述第一低分辨率图像样本是由初始高分辨率图像样本经质量退化后得到的图像样本。

关于模型训练装置的具体限定可以参见上文中对于模型训练方法的限定，在此不再赘述。上述模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示，图11为一个实施例中计算机设备的内部结构图。该计算机设备包括通过系统总线连接的处理器、存储器和模型接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储XXX数据。该计算机设备的模型接口用于与外部的终端通过模型连接通信。该计算机程序被处理器执行时以实现一种模型训练方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型；将高分辨率图像样本输入所述目标生成式对抗模型的生成器，得到第二低分辨率图像样本；对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本；基于所述目标低分辨率图像样本和所述高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取所述第一低分辨率图像样本中的噪声；将所述噪声添加到所述第二低分辨率图像样本，得到所述目标低分辨率图像样本。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：从所述第一低分辨率图像样本中裁剪出部分区域；确定所述部分区域的像素值的均值；根据所述第一低分辨率图像样本中各像素的像素值与所述均值的差值，获取所述第一低分辨率图像样本中的噪声。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标压缩率，其中，所述目标压缩率是预设压缩率范围内的任一数值；根据所述目标压缩率以及所述第二低分辨率图像样本所占用的存储资源的大小，对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述高分辨率图像样本进行锐化处理，得到锐化处理后的高分辨率图像样本；基于所述目标低分辨率图像样本以及锐化处理后的高分辨率图像样本，训练所述超分辨率模型，得到目标超分辨率模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将所述第一低分辨率图像样本输入所述生成式对抗模型的生成器，得到第三低分辨率图像样本；从所述第一低分辨率图像样本中裁剪出第一图像块，并从所述第三低分辨率图像样本中裁剪出第二图像块；将所述第一图像块以及所述第二图像块分别输入所述生成式对抗模型的判别器，得到第一概率以及第二概率；根据所述第一概率和所述第二概率，训练所述生成式对抗模型，得到所述目标生成式对抗模型；其中，所述第一概率是所述第一图像块属于所述第一低分辨率图像样本的概率，所述第二概率是所述第二图像块属于所述第一低分辨率图像样本的概率。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：分别从所述第一图像块和所述第二图像块中提取高频信息；将所述第一图像块的高频信息以及所述第二图像块的高频信息输入所述判别器，得到所述第一概率和所述第二概率。

在一个实施例中，所述超分辨率模型包括上采样层、与所述上采样层连接的第一像素重组层、所述第一像素重组层连接的特征提取层以及与所述特征提取层连接的第二像素重组层；所述上采样层用于对所述目标低分辨率图像样本进行上采样处理，得到第一高分辨率图像；所述第一像素重组层用于提取所述第一高分辨率图像的特征，得到第一特征图，并对所述第一特征图进行像素重组，得到第二特征图；所述特征提取层用于提取所述第二特征图的特征，得到第三特征图；所述第二像素重组层用于对所述第三特征图进行像素重组，得到第二高分辨率图像；

基于所述第二高分辨率图像和所述高分辨率图像样本，训练超分辨率模型，得到所述目标超分辨率模型。

在一个实施例中，所述特征提取层包括第一卷积层、多重信息蒸馏层以及第二卷积层；所述第一卷积层连接在所述第一像素重组层和所述多重信息蒸馏层之间，所述第二卷积层连接在所述多重信息蒸馏层和所述第二像素重组层之间。

在一个实施例中，所述第一低分辨率图像样本是由初始高分辨率图像样本经质量退化后得到的图像样本。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型；将高分辨率图像样本输入所述目标生成式对抗模型的生成器，得到第二低分辨率图像样本；对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本；基于所述目标低分辨率图像样本和所述高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述第一低分辨率图像样本中的噪声；将所述噪声添加到所述第二低分辨率图像样本，得到所述目标低分辨率图像样本。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从所述第一低分辨率图像样本中裁剪出部分区域；确定所述部分区域的像素值的均值；根据所述第一低分辨率图像样本中各像素的像素值与所述均值的差值，获取所述第一低分辨率图像样本中的噪声。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标压缩率，其中，所述目标压缩率是预设压缩率范围内的任一数值；根据所述目标压缩率以及所述第二低分辨率图像样本所占用的存储资源的大小，对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述高分辨率图像样本进行锐化处理，得到锐化处理后的高分辨率图像样本；基于所述目标低分辨率图像样本以及锐化处理后的高分辨率图像样本，训练所述超分辨率模型，得到目标超分辨率模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将所述第一低分辨率图像样本输入所述生成式对抗模型的生成器，得到第三低分辨率图像样本；从所述第一低分辨率图像样本中裁剪出第一图像块，并从所述第三低分辨率图像样本中裁剪出第二图像块；将所述第一图像块以及所述第二图像块分别输入所述生成式对抗模型的判别器，得到第一概率以及第二概率；根据所述第一概率和所述第二概率，训练所述生成式对抗模型，得到所述目标生成式对抗模型；其中，所述第一概率是所述第一图像块属于所述第一低分辨率图像样本的概率，所述第二概率是所述第二图像块属于所述第一低分辨率图像样本的概率。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：分别从所述第一图像块和所述第二图像块中提取高频信息；将所述第一图像块的高频信息以及所述第二图像块的高频信息输入所述判别器，得到所述第一概率和所述第二概率。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：所述超分辨率模型包括上采样层、与所述上采样层连接的第一像素重组层、所述第一像素重组层连接的特征提取层以及与所述特征提取层连接的第二像素重组层；

所述上采样层用于对所述目标低分辨率图像样本进行上采样处理，得到第一高分辨率图像；所述第一像素重组层用于提取所述第一高分辨率图像的特征，得到第一特征图，并对所述第一特征图进行像素重组，得到第二特征图；所述特征提取层用于提取所述第二特征图的特征，得到第三特征图；所述第二像素重组层用于对所述第三特征图进行像素重组，得到第二高分辨率图像；

基于所述第二高分辨率图像和所述高分辨率图像样本，训练超分辨率模型，得到所述目标超分辨率模型。

在一个实施例中，所述特征提取层包括第一卷积层、多重信息蒸馏层以及第二卷积层；所述第一卷积层连接在所述第一像素重组层和所述多重信息蒸馏层之间，所述第二卷积层连接在所述多重信息蒸馏层和所述第二像素重组层之间。

在一个实施例中，所述第一低分辨率图像样本是由初始高分辨率图像样本经质量退化后得到的图像样本。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种模型训练方法，其特征在于，所述方法包括：

利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型；

将高分辨率图像样本输入所述目标生成式对抗模型的生成器，得到第二低分辨率图像样本；

对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本；

基于所述目标低分辨率图像样本和所述高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。

2.根据权利要求1所述的方法，其特征在于，所述对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本，包括：

获取所述第一低分辨率图像样本中的噪声；

将所述噪声添加到所述第二低分辨率图像样本，得到所述目标低分辨率图像样本。

3.根据权利要求2所述的方法，其特征在于，所述获取所述第一低分辨率图像样本中的噪声，包括：

从所述第一低分辨率图像样本中裁剪出部分区域；

确定所述部分区域的像素值的均值；

根据所述第一低分辨率图像样本中各像素的像素值与所述均值的差值，获取所述第一低分辨率图像样本中的噪声。

4.根据权利要求1所述的方法，其特征在于，所述对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本，包括：

获取目标压缩率，其中，所述目标压缩率是预设压缩率范围内的任一数值；

根据所述目标压缩率以及所述第二低分辨率图像样本所占用的存储资源的大小，对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述高分辨率图像样本进行锐化处理，得到锐化处理后的高分辨率图像样本；

所述基于所述目标低分辨率图像样本以及所述高分辨率图像样本，训练预设的超分辨率模型，得到目标超分辨率模型，包括：

基于所述目标低分辨率图像样本以及锐化处理后的高分辨率图像样本，训练所述超分辨率模型，得到目标超分辨率模型。

6.根据权利要求1所述的方法，其特征在于，所述利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型，包括：

将所述第一低分辨率图像样本输入所述生成式对抗模型的生成器，得到第三低分辨率图像样本；

从所述第一低分辨率图像样本中裁剪出第一图像块，并从所述第三低分辨率图像样本中裁剪出第二图像块；

将所述第一图像块以及所述第二图像块分别输入所述生成式对抗模型的判别器，得到第一概率以及第二概率；

根据所述第一概率和所述第二概率，训练所述生成式对抗模型，得到所述目标生成式对抗模型；

其中，所述第一概率是所述第一图像块属于所述第一低分辨率图像样本的概率，所述第二概率是所述第二图像块属于所述第一低分辨率图像样本的概率。

7.根据权利要求6所述的方法，其特征在于，所述将所述第一图像块以及所述第二图像块分别输入所述生成式对抗模型的判别器，得到第一概率以及第二概率，包括：

分别从所述第一图像块和所述第二图像块中提取高频信息；

将所述第一图像块的高频信息以及所述第二图像块的高频信息输入所述判别器，得到所述第一概率和所述第二概率。

8.根据权利要求1所述的方法，其特征在于，所述超分辨率模型包括上采样层、与所述上采样层连接的第一像素重组层、所述第一像素重组层连接的特征提取层以及与所述特征提取层连接的第二像素重组层；

所述上采样层用于对所述目标低分辨率图像样本进行上采样处理，得到第一高分辨率图像；

所述第一像素重组层用于提取所述第一高分辨率图像的特征，得到第一特征图，并对所述第一特征图进行像素重组，得到第二特征图；

所述特征提取层用于提取所述第二特征图的特征，得到第三特征图；

所述第二像素重组层用于对所述第三特征图进行像素重组，得到第二高分辨率图像；

所述基于所述目标低分辨率图像样本和所述高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型，包括：

基于所述第二高分辨率图像和所述高分辨率图像样本，训练超分辨率模型，得到所述目标超分辨率模型。

9.根据权利要求9所述的方法，其特征在于，所述特征提取层包括第一卷积层、多重信息蒸馏层以及第二卷积层；

所述第一卷积层连接在所述第一像素重组层和所述多重信息蒸馏层之间，所述第二卷积层连接在所述多重信息蒸馏层和所述第二像素重组层之间。

10.根据权利要求1所述的方法，其特征在于，所述第一低分辨率图像样本是由初始高分辨率图像样本经质量退化后得到的图像样本。

11.一种模型训练装置，其特征在于，所述装置包括：

第一训练模块，用于利用第一低分辨率图像样本，训练生成式对抗模型，得到目标生成式对抗模型；

第一获得模块，用于将高分辨率图像样本输入所述目标生成式对抗模型的生成器，得到第二低分辨率图像样本；

第二获得模块，用于对所述第二低分辨率图像样本进行质量退化处理，得到目标低分辨率图像样本；

第二训练模块，用于基于所述目标低分辨率图像样本和所述高分辨率图像样本，训练超分辨率模型，得到目标超分辨率模型。

12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

Images