CN112508782B - 网络模型的训练方法、人脸图像超分辨率重建方法及设备 - Google Patents

Abstract

本申请提供了一种网络模型的训练方法、人脸图像超分辨率重建方法及设备。该网络模型训练方法包括：获取低分辨率训练图像以及与低分辨率训练图像对应的高分辨率训练图像，其中，低分辨率训练图像和高分辨率训练图像均是基于对同一目标对象拍摄获得；将低分辨率训练图像输入生成网络，得到超分辨率训练图像，计算超分辨率训练图像和高分辨率训练图像的误差损失；将高分辨率训练图像和超分辨率训练图像输入判别网络，得到高分辨率训练图像和超分辨率训练图像的对抗损失；基于误差损失和对抗损失，对网络模型进行训练，直至训练后的网络模型输出的误差损失和对抗损失之和小于第一预设损失阈值。上述方案，提高了网络模型生成图像的清晰度。

Description

网络模型的训练方法、人脸图像超分辨率重建方法及设备

技术领域

本申请涉及图像处理技术领域，特别是涉及一种网络模型的训练方 法、人脸图像超分辨率重建方法及设备。

背景技术

图像超分辨率作为图像处理及计算机领域的一项重要技术，旨在将 低分辨率的图像生成为高分辨率的图像。目前，越来越多的专家学者将 深度学习引入到图像超分辨率领域，利用SRCNN(Super-Resolution Convolutional Neural Network)结合传统差值方法及卷积神经网络，对低 分辨率图像进行超分辨率处理，以得到超分辨率图像。上述方法通常在 PSNR(Peak Signal-to-Noise Ratio)(峰值信噪比)等指标上表现良好， 但实际生成图像在视觉感知上效果较差。

发明内容

本申请提供了一种网络模型的训练方法、人脸图像超分辨率重建方 法及设备，主要解决的技术问题是如何提高网络模型生成图像的清晰 度。

为解决上述技术问题，本申请提供了一种网络模型的训练方法，所 述网络模型包括呈对抗关系的生成网络和判别网络，所述训练方法包 括：

获取低分辨率训练图像以及与所述低分辨率训练图像对应的高分 辨率训练图像，其中，所述低分辨率训练图像和所述高分辨率训练图像 均是基于对同一目标对象拍摄获得；

将低分辨率训练图像输入所述生成网络，得到超分辨率训练图像， 计算所述超分辨率训练图像和所述高分辨率训练图像的误差损失；

将所述高分辨率训练图像和所述超分辨率训练图像输入所述判别 网络，得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损 失；

基于所述误差损失和所述对抗损失，对所述网络模型进行训练，直 至训练后的网络模型输出的所述误差损失和所述对抗损失之和小于第 一预设损失阈值。

为解决上述技术问题，本申请提供了一种网络模型的训练装置，所 述训练装置包括：

第一获取单元，用于获取低分辨率训练图像以及与所述低分辨率训 练图像对应的高分辨率训练图像，其中，所述低分辨率训练图像和所述 高分辨率训练图像均是基于对同一目标对象拍摄获得；

第一生成单元，用于将低分辨率训练图像输入所述生成网络，得到 超分辨率训练图像，计算所述超分辨率训练图像和所述高分辨率训练图 像的误差损失；

判别单元，用于将所述高分辨率训练图像和所述超分辨率训练图像 输入所述判别网络，得到所述高分辨率训练图像和所述超分辨率训练图 像的对抗损失；

训练单元，用于基于所述误差损失和所述对抗损失，对所述网络模 型进行训练，直至训练后的网络模型输出的所述误差损失和所述对抗损 失之和小于第一预设损失阈值。

为解决上述技术问题，本申请提供了另一种人脸图像的超分辨率重 建方法，所述超分辨率重建方法包括：

获取待重建超分辨率的低分辨率人脸图像；

将所述待重建超分辨率的低分辨率人脸图像输入所述网络模型，获 得超分辨率的人脸图像，其中，所述网络模型为上述任一项所述的方法 所训练的网络模型。

为解决上述技术问题，本申请提供了一种人脸图像的超分辨率重建 装置，所述人脸图像的超分辨率重建装置包括：

第二获取单元，用于获取待重建超分辨率的低分辨率人脸图像；

第二生成单元，用于将所述待重建超分辨率的低分辨率人脸图像输 入所述网络模型，获得超分辨率的人脸图像。

为解决上述技术问题，本申请提供了一种终端设备，所述设备包括 存储器以及与所述存储器耦接的处理器；

所述存储器用于存储程序数据，所述处理器用于执行所述程序数据 以实现如上述任一项所述的网络模型的训练方法和/或上述任一项所述 的人脸图像的超分辨率重建方法。

为解决上述技术问题，本申请还提供了一种计算机存储介质，所述 计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时， 用以实现如上述任一项所述的网络模型的训练方法和/或上述任一项所 述的人脸图像的超分辨率重建方法。

上述方案中，获取低分辨率训练图像以及与低分辨率训练图像对应 的高分辨率训练图像，其中，低分辨率训练图像和高分辨率训练图像均 是基于对同一目标对象拍摄获得；将低分辨率训练图像输入生成网络， 得到超分辨率训练图像，计算超分辨率训练图像和高分辨率训练图像的 误差损失；将高分辨率训练图像和超分辨率训练图像输入判别网络，得到高分辨率训练图像和超分辨率训练图像的对抗损失；基于误差损失和 对抗损失，对网络模型进行训练，直至训练后的网络模型输出的误差损 失和对抗损失之和小于第一预设损失阈值。本申请利用低分辨率训练图 像和与低分辨率训练图像对应的高分辨率训练图像对呈对抗关系的生 成网络和判别网络进行训练，无需额外的特征属性即可得到满足要求的 网络模型，提高了网络模型生成图像的清晰度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描 述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图 仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的网络模型的训练方法第一实施例的流程示意 图；

图2是本申请提供的网络模型的训练方法第二实施例的流程示意 图；

图3是本申请提供的网络模型的训练方法第三实施例的流程示意 图；

图4是本申请提供的网络模型的训练方法中网络模型的简易示意 图；

图5是本申请提供的网络模型的训练方法中分辨率放大网络的简易 示意图；

图6是本申请提供的网络模型的训练方法中门控循环网络的简易示 意图；

图7是本申请提供的人脸图像超分辨率重建方法的一实施例的流程 示意图；

图8是本申请提供的网络模型的训练装置一实施例的框架示意图；

图9是本申请提供的人脸图像超分辨率重建装置一实施例的框架示 意图；

图10是本申请提供的终端设备一实施例的结构示意图；

图11是本申请提供的计算机存储介质一实施例的框架示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案 进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实 施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术 人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本 申请保护的范围。

本申请提出了一种网络模型的训练方法，可应用于低分辨率人脸图 像的超分辨率人脸图像重建，旨在将低分辨率的人脸图像生成为超分辨 率的人脸图像，通过本申请网络模型的训练方法可以提高网络模型生成 图像的清晰度，具体请参见图1，图1是本申请提供的网络模型的训练 方法第一实施例的流程示意图。本实施例的网络模型的训练方法可应用于超分辨率图像重建装置，也可应用于具有数据处理能力的服务器。本 实施例的网络模型的训练方法具体包括以下步骤：

S101：获取低分辨率训练图像以及与低分辨率训练图像对应的高分 辨率训练图像。

本实施例中的超分辨率图像重建装置通过对同一目标对象进行拍 摄，得到相互对应的低分辨率训练图像与高分辨率训练图像。具体地， 本实施例可通过在超分辨率图像重建装置上设置用于拍摄低分辨率图 像的摄像头和用于拍摄高分辨率图像的摄像头，利用用于拍摄低分辨率 图像的摄像头和用于拍摄高分辨率图像的摄像头分别拍摄超分辨率图像重建装置所处环境中的同一被摄对象，作为训练网络模型的低分辨率 训练图像和高分辨率训练图像；也可为已通过控制摄像头获取的同一被 摄对象的低分辨率训练图像和高分辨率训练图像，低分辨率训练图像和 高分辨率训练图像存储于网络训练模型应用的超分辨率图像重建装置 中。在实际应用中，摄像头可安装于超分辨率图像重建装置的任意位置， 使摄像头足以拍摄超分辨率图像重建装置周围同一被摄对象的低分辨率训练图像和高分辨率训练图像。

S102：将低分辨率训练图像输入生成网络，得到超分辨率训练图像， 计算超分辨率训练图像和高分辨率训练图像的误差损失。

本实施例的超分辨率图像重建装置通过将低分辨率训练图像输入 生成网络进行训练，使低分辨率训练图像生成为超分辨率训练图像，得 到超分辨率训练图像。其中，生成网络为生成对抗网络中的一部分，生 成对抗网络包括生成网络和判别网络，生成对抗网络通过生成网络和判 别网络对输入其中的训练图像进行互相的博弈学习产生相当好的转化图像。也就是说，生成网络目的是尽量生成在视觉感知上清晰度高的超 分辨率训练图像，判别网络目的是将生成网络生成的超分辨率训练图像 与真实的高分辨率训练图像相区别。

由于输入网络模型中的高分辨率训练图像与网络模型输出的超分 辨率训练图像存在差异，为了提高网络模型生成图像的清晰度，使超分 辨率训练图像接近于真实的高分辨率训练图像，本实施例的超分辨率图 像重建装置通过计算高分辨率训练图像和超分辨率训练图像的误差损失，获知超分辨率训练图像与高分辨率训练图像之间的差距，以及时调 整网络模型的训练，使网络模型的训练满足要求。

S103：将高分辨率训练图像和超分辨率训练图像输入判别网络，得 到高分辨率训练图像和超分辨率训练图像的对抗损失。

由于判别网络的目的在于将生成网络生成的超分辨率训练图像与 真实的高分辨率训练图像相区别，本实施例的超分辨率图像重建装置可 以根据判别网络对输入其中的高分辨训练图像和超分辨率训练图像进 行鉴别，获知高分辨训练图像和超分辨率训练图像的差距，以及时调整 网络模型的训练，得到满足要求的网络模型。

具体地，本实施例的超分辨率图像重建装置将高分辨率训练图像和 超分辨率训练图像输入判别网络，使判别网络对输入其中的高分辨率训 练图像和超分辨率训练图像进行鉴别，输出高分辨率训练图像和超分辨 率训练图像对抗损失。

S104：基于误差损失和对抗损失，对网络模型进行训练，直至训练 后的网络模型输出的误差损失和对抗损失之和小于第一预设损失阈值。

损失函数为一种将随机事件或其有关随机变量的取值映射为非负 实数以表示事件的风险或损失的函数。在本实施例中，损失函数是用来 表示真实的高分辨率训练图像与训练所得的超分辨率训练图像之间的 差距程度，即损失，以便将损失回传，使网络模型的训练朝着损失的方 向计算并缩小损失。

具体地，本实施例基于S101中获取的高分辨率训练图像和超分辨 率训练图像的误差损失及S102中获取的高分辨率训练图像和超分辨率 训练图像的对抗损失，对网络模型进行训练，直至训练后的网络模型输出的误差损失和对抗损失之和小于第一预设损失阈值。其中，第一预设 损失阈值可根据技术人员的经验进行设置，本实施例对预设损失阈值的 数值不作限定。

需要说明的是，本实施例中训练所得的网络模型包括生成网络和判 别网络，在实际应用中，只需应用训练所得网络模型中的生成网络对低 分辨率人脸图像进行处理，得到超分辨率人脸图像。

上述方案中，获取相互对应的低分辨率训练图像以及高分辨率训练 图像，将低分辨率训练图像输入生成网络，得到超分辨率训练图像，以 及计算与低分辨率训练图像对应的高分辨率训练图像和超分辨率训练 图像的误差损失；将高分辨率训练图像和超分辨率训练图像输入判别网 络，得到高分辨率训练图像和超分辨率训练图像的对抗损失；基于误差损失和对抗损失训练网络模型，直至训练后的网络模型输出的误差损失 和对抗损失之和小于第一预设损失阈值。本申请利用低分辨率训练图像 和与低分辨率训练图像对应的高分辨率训练图像对呈对抗关系的生成 网络和判别网络进行训练，无需额外的特征属性即可得到满足要求的网 络模型，提高了网络模型生成图像在视觉感知上的清晰度。

请继续参阅图2，图2是本申请提供的网络模型的训练方法第二实 施例的流程示意图。为了提高网络模型生成图像的清晰度，在上述实施 例的基础上，本实施例的网络模型的训练方法还包括如下步骤：

S201：获取低分辨率训练图像以及与低分辨率训练图像对应的高分 辨率训练图像。

S202：将低分辨率训练图像输入生成网络，得到超分辨率训练图像， 计算高分辨率训练图像和超分辨率训练图像的误差损失。

S203：将高分辨率训练图像和超分辨率训练图像输入判别网络，得 到高分辨率训练图像和超分辨率训练图像的对抗损失。

本实施例的S201～S203的详细描述可参阅上述实施例的S101～S103， 在此不进行重复赘述。

S204：将高分辨率训练图像和超分辨率训练图像进行频域解析，得 到高分辨率训练图像和超分辨率训练图像的频域损失。

为了提高网络模型生成图像的清晰度，本实施例的超分辨率图像重 建装置利用频率解析对高分辨率训练图像和超分辨率训练图像进行处 理，获取高分辨率训练图像和超分辨率训练图像在频域上的距离，根据 距离调整网络模型的训练，直到得到满足要求的网络模型。

其中，本实施例的超分辨率图像重建装置将高分辨率训练图像和超 分辨率训练图像进行频域解析，利用频域解析对高分辨率训练图像和超 分辨率训练图像进行处理，输出高分辨率训练图像和超分辨率训练图像 的频域损失。

S205：基于误差损失、对抗损失和频域损失，对网络模型进行训练， 直至训练后的网络模型输出的误差损失、对抗损失及频域损失之和小于 第二预设损失阈值。

本实施例基于S201中获取的高分辨率训练图像和超分辨率训练图 像的误差损失、S202中获取的高分辨率训练图像和超分辨率训练图像的 对抗损失及S203中获取的高分辨率训练图像和超分辨率训练图像的频 域损失训练网络模型，计算高分辨率训练图像和超分辨率训练图像的误 差损失、对抗损失及频域损失之和，直至高分辨率训练图像和超分辨率训练图像的误差损失、对抗损失及频域损失之和小于第二预设损失阈 值。

上述方案中，获取低分辨率训练图像以及与低分辨率图像对应的高 分辨率训练图像；将低分辨率训练图像输入生成网络，得到超分辨率训 练图像，计算高分辨率训练图像和超分辨率训练图像的误差损失；将高 分辨率训练图像和超分辨率训练图像输入判别网络，得到高分辨率训练 图像和超分辨率训练图像的对抗损失；将高分辨率训练图像和超分辨率训练图像进行频域解析，得到高分辨率训练图像和超分辨率训练图像的 频域损失；基于误差损失、对抗损失和频域损失，对网络模型进行训练， 直至训练后的网络模型输出的误差损失、对抗损失及频域损失之和小于 第二预设损失阈值。本申请利用低分辨率训练图像和与低分辨率训练图 像对应的高分辨率训练图像对呈对抗关系的生成网络和判别网络进行 训练，无需额外的特征属性即可得到满足要求的网络模型；利用频域解析对低分辨率训练图像和高分辨率训练图像进行处理，得到超分辨率训 练图像和高分辨率训练图像的频域损失，以误差损失、对抗损失和频域 损失之和变小为目标训练网络模型，直至误差损失、对抗损失和频域损 失之和小于第二预设损失阈值，从而得到满足要求的网络模型，提高了 网络模型生成图像的清晰度。

请继续参阅图3，图3是本申请提供的网络模型的训练方法第三实 施例的流程示意图。具体而言，本实施例的网络模型的训练方法包括如 下步骤：

S301：利用分辨率放大网络中的卷积层和最近邻插值层对低分辨率 训练图像进行放大处理，放大低分辨率训练图像中的分辨率。

可参阅图4，图4是本申请提供的网络模型的训练方法中网络模型 的简易示意图。由图可知，本实施例中的网络模型包括呈对抗关系的生 成网络、判别网络以及频域解析。生成网络包括分辨率放大网络和重建 网络，分辨率放大网络用于将输入其中的低分辨率训练图像进行分辨率 放大，例如，将低分辨率训练图像放大为8倍超分辨率训练图像。

其中，分辨率放大网络包括卷积层和最近邻插值层，最近邻插值层 用于对低分辨率训练图像进行超分处理，分辨率放大网络的简易示意图 可参阅图5。超分辨率图像重建装置利用分辨率放大网络中的卷积层和 最近邻插值层对低分辨率训练图像进行放大处理，放大低分辨率训练图像中的分辨率。

在具体实施例中，分辨率放大网络包括三层卷积层和一层最近邻插 值层，输入分辨率放大网络中的低分辨率训练图像先经过两层卷积层， 再由最近邻插值层对低分辨率训练图像进行超分处理，最后经由一层卷 积层输出，得到放大分辨率后的低分辨率训练图像，相当于图4中的 HR1。

S302：利用重建网络对放大分辨率后的低分辨率训练图像进行图像 重建处理，得到超分辨率训练图像。

本实施例的重建网络用于将分辨率放大网络输出的放大分辨率后 的低分辨率训练图像进行降噪处理。具体地，超分辨率图像重建装置利 用重建网络对放大分辨率后的低分辨率训练图像进行图像重建处理，提 高放大分辨率后的低分辨率训练图像清晰度，得到超分辨率训练图像， 相当于图5中的HR2。

其中，重建网络包括对称网络结构和门控循环网络GRU(Gate Recurrent Unit)，可参阅图1和6，图1中示出重建网络中对称网络结 构，对称网络结构包括两层卷积层和两层反卷积层，两层卷积层和两层 反卷积层对称设置；图6是本申请提供的网络模型的训练方法中门控循环网络的简易示意图。为了提高网络模型生成图像清晰度，本实施例的 超分辨率图像重建装置利用对称网络结构对放大分辨率后的低分辨率 训练图像进行图像重建处理，并通过门控循环网络融合放大分辨率后的 低分辨率训练图像在对称网络结构中的浅层特征信息，也即浅层网络模 型的特征。

S303：计算高分辨率训练图像和超分辨率训练图像的均方误差及算 数平方根的均方误差。

为了使网络模型输出的超分辨率训练图像包含更多细节信息，本实 施例的超分辨率图像重建装置计算高分辨率训练图像和超分辨率训练 图像的算数平方根的均方误差，利用高分辨率训练图像和超分辨率训练 图像的均方误差及算数平方根的均方误差计算误差损失。

S304：基于高分辨率训练图像和超分辨率训练图像的均方误差及算 数平方根的均方误差，计算高分辨率训练图像和超分辨率训练图像的误 差损失。

本实施例高分辨率训练图像和超分辨率训练图像的误差损失满足 下式：

其中，为低分辨率训练图像对应的高分辨率训练图像，/>为 超分辨率训练图像，L_Gen为高分辨率训练图像和超分辨率训练图像的误 差损失。

需要说明的是，上述高分辨率训练图像和超分辨率训练图像的误差 损失计算公式中的第一项为高分辨率训练图像和超分辨率训练图像的 均方误差，第二项为高分辨率训练图像和超分辨率训练图像的算数平方 根的均方误差。

S305：利用判别网络对超分辨率训练图像和高分辨率训练图像进行 鉴别，得到超分辨率训练图像的鉴别结果和高分辨率训练图像的鉴别结 果。

为了获知生成网络生成图像清晰度，本实施例的超分辨率图像重建 装置利用判别网络对超分辨率训练图像和高分辨率训练图像进行真假 鉴别，使判别网络输出对超分辨率训练图像的鉴别结果和高分辨率训练 图像的鉴别结果。

S306：利用高分辨率训练图像的鉴别结果与超分辨率训练图像的鉴 别结果计算高分辨率训练图像和超分辨率训练图像的对抗损失。

本实施例高分辨率训练图像和超分辨率训练图像的对抗损失满足 下式：

其中，为生成网络生成的超分辨率训练图像，/>为生成网络，/>为判别网络，/>为高分辨率训练图像和超分辨率训练图像的对抗 损失。

S307：利用傅里叶变换技术对高分辨率训练图像和超分辨率训练图 像进行频域处理，分别得到高分辨率训练图像和超分辨率训练图像的频 域信息。

S308：基于高分辨率训练图像和超分辨率训练图像的频域信息，计 算高分辨率训练图像和超分辨率训练图像在频域上的距离，其中，距离 为高分辨率训练图像和超分辨率训练图像的频域损失。

本实施例高分辨率训练图像和超分辨率训练图像的频域损失满足 下式：

其中，为低分辨率训练图像对应的高分辨率训练图像，/>为/>为高分辨率训练图像和超分辨率训练图像的频 域损失。

S309：基于误差损失、对抗损失和频域损失，对网络模型进行训练， 直至训练后的网络模型输出的误差损失、对抗损失及频域损失之和小于 第二预设损失阈值。

本实施例中误差损失、对抗损失和频域损失之和满足下式：

其中，L_Gen为高分辨率训练图像和超分辨率训练图像的误差损失，为高分辨率训练图像和超分辨率训练图像的对抗损失，/>为高 分辨率训练图像和超分辨率训练图像的频域损失。

在具体实施例中，采用梯度下降的方式将误差损失、对抗损失和频 域损失之和回传，更新网络模型中的参数，直至训练后的网络模型输出 的误差损失、对抗损失及频域损失之和小于第二预设损失阈值，得到满 足要求的网络模型。

上述方案中，利用低分辨率训练图像和与低分辨率训练图像对应的 高分辨率训练图像对呈对抗关系的生成网络和判别网络进行训练，无需 额外的特征属性即可得到满足要求的网络模型，提高了网络模型生成图 像的清晰度；利用分辨率放大网络中的卷积层和最近邻插值层对低分辨 率训练图像进行放大处理，放大低分辨率训练图像中的分辨率，提高了网络模型输出的超分辨率训练图像的分辨率，避免因采用上采样方式而 导致的超分辨率训练图像性能下降问题；通过计算高分辨率训练图像和 超分辨率训练图像的算数平方根的均方误差，利用高分辨率训练图像和 超分辨率训练图像的均方误差及算数平方根的均方误差计算误差损失， 避免了仅使用均方误差计算误差损失而导致的超分辨率训练图像的平 滑问题，增加了网络模型生成图像的细节信息。

可参阅图7，图7为本申请提供的人脸图像超分辨率重建方法的一 实施例的流程示意图。本实施例人脸图像超分辨率重建方法可应用于上 述网络模型的训练方法中训练所得的网络模型，从而提高网络模型生成 图像的清晰度。下面以用于人脸图像超分辨率重建方法的服务器为例， 介绍本申请提供的人脸图像超分辨率重建方法，本实施例人脸图像超分 辨率重建方法具体包括以下步骤：

S701：获取待重建超分辨率的低分辨率人脸图像。

S702：将待重建超分辨率的低分辨率人脸图像输入网络模型，获得 超分辨率的人脸图像。

本实施例中的网络模型由上述任一实施例的方法训练所得。在实际 应用中，只需应用训练所得网络模型中的生成网络对待重建超分辨率的 低分辨率人脸图像进行处理，得到超分辨率的人脸图像。

上述方案中，通过获取待重建超分辨率的低分辨率人脸图像，将待 重建超分辨率的低分辨率人脸图像输入网络模型，获得超分辨率的人脸 图像，提高了网络模型生成图像的清晰度。

请参阅图8，图8是本申请提供的网络模型的训练装置一实施例的 框架示意图。网络模型的训练装置80包括：

第一获取单元81，用于获取相互对应的低分辨率训练图像以及高分 辨率训练图像，其中，低分辨率训练图像以及高分辨率训练图像通过对 同一被摄对象拍摄得到。

第一生成单元82，用于将低分辨率训练图像输入生成网络，得到超 分辨率训练图像，以及计算超分辨率训练图像和与低分辨率训练图像对 应的高分辨率训练图像的误差损失。

判别单元83，用于将高分辨率训练图像和超分辨率训练图像输入判 别网络，得到高分辨率训练图像和超分辨率训练图像的对抗损失。

训练单元84，用于基于误差损失和对抗损失训练网络模型，直至训 练后的网络模型输出的误差损失和对抗损失之和小于第一预设损失阈 值。

请继续参阅图9，图9是本申请提供的人脸图像超分辨率重建装置 一实施例的框架示意图。人脸图像的超分辨率重建装置包括：

第二获取单元91，用于获取待重建超分辨率的低分辨率人脸图像。

第二生成单元92，用于将待重建超分辨率的低分辨率人脸图像输入 网络模型，获得超分辨率的人脸图像。

为实现上述实施例的网络模型训练方法和/或人脸图像超分辨率重 建方法，本申请提出了另一种终端设备，具体请参阅图10，图10是本 申请提供的终端设备一实施例的结构示意图。

终端设备100包括存储器101和处理器102，其中，存储器101和 处理器102耦接。

存储器101用于存储程序数据，处理器102用于执行程序数据以实 现上述实施例的网络模型训练方法和/或人脸图像超分辨率重建方法。

在本实施例中，处理器102还可以称为CPU(Central Processing Unit， 中央处理单元)。处理器102可能是一种集成电路芯片，具有信号的处 理能力。处理器102还可以是通用处理器、数字信号处理器(DSP)、 专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程 逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可 以是微处理器或者该处理器102也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质110，如图11所示，计算机存储 介质110用于存储程序数据111，程序数据111在被处理器执行时，用 以实现如本申请方法实施例中所述的网络模型训练方法和/或人脸图像 超分辨率重建方法。

本申请网络模型训练方法和/或人脸图像超分辨率重建方法实施例 中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的 产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介 质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以 使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等) 或处理器(processor)执行本发明各个实施方式所述方法的全部或部分 步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM， Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、 磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范 围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变 换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的 专利保护范围内。

Claims (11)

1.一种网络模型的训练方法，所述网络模型包括呈对抗关系的生成网络和判别网络，其特征在于，所述训练方法包括：

获取低分辨率训练图像以及与所述低分辨率训练图像对应的高分辨率训练图像，其中，所述低分辨率训练图像和所述高分辨率训练图像均是基于对同一目标对象拍摄获得；

将低分辨率训练图像输入所述生成网络，得到超分辨率训练图像，计算所述超分辨率训练图像和所述高分辨率训练图像的误差损失；

其中，所述生成网络包括分辨率放大网络和重建网络，分辨率方法网络包括卷积层和最近邻插值层，利用所述分辨率放大网络中的卷积层和最近邻插值层对所述低分辨率训练图像进行放大处理，放大所述低分辨率训练图像中的分辨率；利用所述重建网络对放大分辨率后的低分辨率训练图像进行图像重建处理，得到所述超分辨率训练图像；

将所述高分辨率训练图像和所述超分辨率训练图像输入所述判别网络，得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损失；

基于所述误差损失和所述对抗损失，对所述网络模型进行训练，直至训练后的网络模型输出的所述误差损失和所述对抗损失之和小于第一预设损失阈值。

2.根据权利要求1所述的训练方法，其特征在于，所述训练方法还包括：

将所述高分辨率训练图像和所述超分辨率训练图像进行频域解析，得到所述高分辨率训练图像和所述超分辨率训练图像的频域损失；

基于所述误差损失、所述对抗损失和所述频域损失，对所述网络模型进行训练，直至训练后的网络模型输出的所述误差损失、所述对抗损失及所述频域损失之和小于第二预设损失阈值。

3.根据权利要求2所述的训练方法，其特征在于，所述重建网络包括对称网络结构和门控循环网络，所述利用所述重建网络对所述放大分辨率后的低分辨率训练图像进行图像重建处理，得到所述超分辨率训练图像的步骤，包括：

利用所述对称网络结构对所述放大分辨率后的低分辨率训练图像进行图像重建处理，并通过门控循环网络融合所述放大分辨率后的低分辨率训练图像在所述对称网络结构中的浅层特征信息。

4.根据权利要求1所述的训练方法，其特征在于，以及计算所述高分辨率训练图像和所述超分辨率训练图像的误差损失的步骤，包括：

计算所述高分辨率训练图像和所述超分辨率训练图像的均方误差及算数平方根的均方误差；

基于所述高分辨率训练图像和所述超分辨率训练图像的均方误差及算数平方根的均方误差，计算所述高分辨率训练图像和所述超分辨率训练图像的误差损失。

5.根据权利要求4所述的训练方法，其特征在于，所述将所述高分辨率训练图像和所述超分辨率训练图像输入所述判别网络，得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损失的步骤，包括：

利用所述判别网络对所述超分辨率训练图像和所述高分辨率训练图像进行鉴别，得到所述超分辨率训练图像的鉴别结果和所述高分辨率训练图像的鉴别结果；

利用所述高分辨率训练图像的鉴别结果与所述超分辨率训练图像的鉴别结果计算所述高分辨率训练图像和所述超分辨率训练图像的对抗损失。

6.根据权利要求2所述的训练方法，其特征在于，所述将所述高分辨率训练图像和所述超分辨率训练图像进行频域解析，得到所述高分辨率训练图像和所述超分辨率训练图像的频域损失的步骤，包括：

利用傅里叶变换技术对所述高分辨率训练图像和所述超分辨率训练图像进行频域处理，分别得到所述高分辨率训练图像和所述超分辨率训练图像的频域信息；

基于所述高分辨率训练图像和所述超分辨率训练图像的频域信息，计算所述高分辨率训练图像和所述超分辨率训练图像在频域上的距离；

其中，所述距离为所述高分辨率训练图像和所述超分辨率训练图像的频域损失。

7.一种网络模型的训练装置，其特征在于，所述训练装置包括：

第一获取单元，用于获取低分辨率训练图像以及与所述低分辨率训练图像对应的高分辨率训练图像，其中，所述低分辨率训练图像和所述高分辨率训练图像均是基于对同一目标对象拍摄获得；

第一生成单元，用于将低分辨率训练图像输入生成网络，得到超分辨率训练图像，计算所述超分辨率训练图像和所述高分辨率训练图像的误差损失；

判别单元，用于将所述高分辨率训练图像和所述超分辨率训练图像输入判别网络，得到所述高分辨率训练图像和所述超分辨率训练图像的对抗损失；

训练单元，用于基于所述误差损失和所述对抗损失，对所述网络模型进行训练，直至训练后的网络模型输出的所述误差损失和所述对抗损失之和小于第一预设损失阈值。

8.一种人脸图像的超分辨率重建方法，其特征在于，所述超分辨率重建方法包括：

获取待重建超分辨率的低分辨率人脸图像；

将所述待重建超分辨率的低分辨率人脸图像输入网络模型，获得超分辨率的人脸图像，其中，所述网络模型为上述权利要求1-6中任一项所述的方法所训练的网络模型。

9.一种人脸图像的超分辨率重建装置，其特征在于，所述人脸图像的超分辨率重建装置包括：

第二获取单元，用于获取待重建超分辨率的低分辨率人脸图像；

第二生成单元，用于将所述待重建超分辨率的低分辨率人脸图像输入网络模型，获得超分辨率的人脸图像，其中，所述网络模型为上述权利要求1-6中任一项所述的方法所训练的网络模型。

10.一种终端设备，其特征在于，所述设备包括存储器以及与所述存储器耦接的处理器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～6任一项所述的网络模型的训练方法和/或权利要求8所述的人脸图像的超分辨率重建方法。

11.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～6任一项所述的网络模型的训练方法和/或权利要求8所述的人脸图像的超分辨率重建方法。