CN114298901A - 人像超分辨率重建方法、模型训练方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请提供一种人像超分辨率重建方法、模型训练方法、装置、电子设备和可读存储介质，通过利用预先构建的重建模型对待处理图像进行关键点检测，得到人脸关键点，再根据人脸关键点和基于待处理图像得到的图像特征进行超分辨率重建处理，得到图像高频信息，利用图像高频信息对待处理图像进行复原处理，得到待处理图像对应的超分辨率图像。本申请中，结合人脸关键点检测以及人脸恢复，实现图像的超分辨率重建，提高得到的超分辨率图像的认知度，符合实际应用中用户的需求。

Description

人像超分辨率重建方法、模型训练方法、装置、电子设备和可 读存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种人像超分辨率重建方法、模型训练方法、装置、电子设备和可读存储介质。

背景技术

图像超分辨率重建，或图像超分辨率复原，是指由一幅低分辨率图像或图像序列恢复出高分辨率图像的过程。图像超分辨率重建技术广泛应用于如人脸识别、大数据分析、安防等诸多领域，对于实现人像还原、人像识别、匹配等具有重大帮助。但是，目前在进行图像超分辨率重建过程中，通常采用的方式是针对整张图像进行重建处理，这样的方式由于并未着重于对于人眼感知较为重要的信息，从而导致重建得到的图像难以满足实际的需求。

发明内容

本申请的目的包括，例如，提供了一种人像超分辨率重建方法、模型训练方法、装置、电子设备和可读存储介质，其能够提高得到的超分辨率图像的认知度、符合用户需求。

本申请的实施例可以这样实现：

第一方面，本申请实施例提供一种人像超分辨率重建方法，所述方法包括：

利用预先构建的重建模型对待处理图像进行关键点检测，得到人脸关键点；

根据所述人脸关键点和基于所述待处理图像得到的图像特征进行超分辨率重建处理，得到图像高频信息；

利用所述图像高频信息对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像。

在可选的实施方式中，所述关键点检测、超分辨率重建处理及复原处理包括多轮迭代处理，所述待处理图像为未经处理的待处理图像，或前一轮迭代中经过所述关键点检测、超分辨率重建处理以及复原处理后得到的超分辨率图像。

在可选的实施方式中，所述人脸关键点包括多个，所述利用所述图像高频信息对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像的步骤，包括：

利用预先构建的人像认知模型对所述待处理图像进行处理，输出各所述人脸关键点的位置信息；

基于各所述人脸关键点的位置信息以及所述图像高频信息，对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像。

在可选的实施方式中，所述基于各所述人脸关键点的位置信息以及所述图像高频信息，对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像的步骤，包括：

获取各所述人脸关键点对应的复原属性；

根据各所述人脸关键点以及其对应的位置信息、图像高频信息、复原属性，对所述待处理图像中对应人脸关键点进行复原处理。

在可选的实施方式中，所述重建模型包括判别器和生成网络，所述生成网络为在训练好的判别器的监督下，利用训练样本进行训练后获得。

在可选的实施方式中，所述人脸关键点包括左眼、右眼、鼻子、嘴巴及下巴轮廓。

第二方面，本申请实施例提供一种模型训练方法，所述方法包括：

获取训练样本以及所述训练样本对应的目标样本；

利用构建的生成网络对所述训练样本进行关键点检测，得到训练关键点；

基于所述训练关键点和所述训练样本进行超分辨率重建处理和复原处理，得到输出图像；

比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型。

在可选的实施方式中，所述比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型的步骤，包括：

基于所述输出图像的像素信息和所述目标样本的像素信息之间的差异，构建第一损失函数；

基于所述输出图像中各个人脸关键点和所述目标样本中对应人脸关键点之间的差异，构建第二损失函数；

比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至所述第一损失函数和所述第二损失函数加权后的函数值满足第一预设条件时得到重建模型。

在可选的实施方式中，所述重建模型还包括判别器，所述判别器用于监督所述生成网络的训练，所述方法还包括：

构建判别器，利用所述判别器对所述输出图像以及所述输出图像对应的目标样本进行判别处理；

根据得到的判别结果对所述判别器进行参数调整，直至满足第二预设条件时得到训练好的判别器。

在可选的实施方式中，所述比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型的步骤，包括：

将所述输出图像输入至训练好的所述判别器得到判别信息；

比对所述输出图像和所述目标样本，得到比对结果；

根据所述判别信息和所述比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型。

在可选的实施方式中，所述根据所述判别信息和所述比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型的步骤，包括：

基于所述输出图像的像素信息和所述目标样本的像素信息之间的差异，构建第一损失函数；

基于所述输出图像中各个人脸关键点和所述目标样本中对应人脸关键点之间的差异，构建第二损失函数；

基于所述判别器对所述输出图像的判别信息构建第三损失函数，并基于预先构建的人像认知模型得到的所述输出图像和所述目标样本之间的图像差异构建第四损失函数；

根据所述判别信息和所述比对结果对所述生成网络进行网络参数调整后继续训练，直至所述第一损失函数、第二损失函数、第三损失函数和第四损失函数加权后得到的函数值满足第一预设条件时得到所述重建模型。

第三方面，本申请实施例提供一种人像超分辨率重建装置，所述装置包括：

检测模块，用于利用预先构建的重建模型对待处理图像进行关键点检测，得到人脸关键点；

处理模块，用于根据所述人脸关键点和基于所述待处理图像得到的图像特征进行超分辨率重建处理，得到图像高频信息；

复原模块，用于利用所述图像高频信息对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像。

第四方面，本申请实施例提供一种模型训练装置，所述装置包括：

获取模块，用于获取训练样本以及所述训练样本对应的目标样本；

关键点获得模块，用于利用构建的生成网络对所述训练样本进行关键点检测，得到训练关键点；

输出图像获得模块，用于基于所述训练关键点和所述训练样本进行超分辨率重建处理和复原处理，得到输出图像；

训练模块，用于比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型。

第五方面，本申请实施例提供一种电子设备，包括一个或多个存储介质和一个或多个与存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，处理器执行所述机器可执行指令，以执行前述任意一项所述的人像超分辨率重建方法或模型训练方法。

第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令被执行时实现前述任意一项所述的人像超分辨率重建方法或模型训练方法。

本申请实施例的有益效果包括，例如：

本申请提供的人像超分辨率重建方法、模型训练方法、装置、电子设备和可读存储介质，通过利用预先构建的重建模型对待处理图像进行关键点检测，得到人脸关键点，再根据人脸关键点和基于待处理图像得到的图像特征进行超分辨率重建处理，得到图像高频信息，利用图像高频信息对待处理图像进行复原处理，得到待处理图像对应的超分辨率图像。本申请中，结合人脸关键点检测以及人脸恢复，实现图像的超分辨率重建，提高得到的超分辨率图像的认知度，符合实际应用中用户的需求。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的人像超分辨率重建方法的流程图；

图2为本申请实施例提供的重建方法的处理流程的示意图；

图3为本申请实施例提供的重建方法的处理流程的另一示意图；

图4为本申请实施例提供的重建方法中，获得超分辨率图像的方法的流程图；

图5为本申请实施例提供的重建方法的处理流程的又一示意图；

图6(a)至图6(c)分别为插值处理方法、未加入判别器的方法以及加入判别器的方法得到的输出图像的示意图；

图7为本申请实施例提供的模型训练方法的流程图；

图8为本申请实施例提供的模型训练方法中，获得重建模型的方法的流程图之一；

图9为本申请实施例提供的模型训练方法中，获得重建模型的方法的流程图之二；

图10为本申请实施例提供的电子设备的结构框图；

图11为本申请实施例提供的人像超分辨率重建装置的功能模块框图；

图12为本申请实施例提供的模型训练装置的功能模块框图。

图标：110-存储介质；120-处理器；130-机器可执行指令；131-人像超分辨率重建装置；1311-检测模块；1312-处理模块；1313-复原模块；132-模型训练装置；1321-获取模块；1322-关键点获得模块；1323-输出图像获得模块；1324-训练模块；140-通信接口。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

图1示出了本申请实施例提供的人像超分辨率重建方法的流程示意图，应当理解，在其它实施例中，本实施例的人像超分辨率重建方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该人像超分辨率重建方法的详细步骤介绍如下。

步骤S110，利用预先构建的重建模型对待处理图像进行关键点检测，得到人脸关键点。

步骤S120，根据所述人脸关键点和基于所述待处理图像得到的图像特征进行超分辨率重建处理，得到图像高频信息。

步骤S130，利用所述图像高频信息对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像。

人脸图像的超分辨率处理，也就是对人脸图像的清晰度进行提升的处理。本实施例中，针对的待处理图像可以是清晰度较低的图像，这类图像往往存在人脸清晰度较低，而对例如图像识别、图像匹配等造成障碍的问题。例如，待处理图像可以是监控设备所采集到的人脸图像、或者是网页截屏获得的人脸图像、又或者是直播过程中所采集的主播人脸图像等等。

人脸上其人脸关键点往往是对于人眼认知最重要的信息，若人脸关键点的清晰度得到有效的提升，则得到的人脸图像将更能满足人像重建的要求。因此，本实施例中，可首先利用构建的重建模型对待处理图像进行关键点检测得到人脸关键点。

其中，得到的人脸关键点可包括左眼、右眼、鼻子、嘴巴以及下巴轮廓。基于这些人脸关键点可以大致勾勒出人脸轮廓，并且，包含人脸关键点中对于人眼认知最重要的眼睛部分。

虽然人脸关键点对于人像超分辨率重建十分重要，但是，在重建过程中同样需要考虑人脸图像中的其他区域的重建处理，如此，可得到局部重点处理、全局也得到处理的符合要求的超分辨率图像。

因此，本实施例中，一方面通过关键点检测的方式得到人脸关键点，另一方面，可同时对待处理图像进行图像特征提取以得到图像特征。结合人脸关键点和得到的图像特征进行超分辨率重建处理，得到图像高频信息。

其中，图像高频信息主要体现图像中一些边缘、轮廓处的信息，而轮廓之内的灰度缓慢变化的部分则为低频信息。图像高频信息可体现出具有相对变化区域的信息，因此，对于图像的重建十分重要。

本实施例中，得到的图像高频信息为人脸图像中的局部信息，需要将图像高频信息还原至待处理图像中，以对待处理图像进行复原处理，得到待处理图像对应的超分辨率图像。

本实施例所提供的人像超分辨率重建方法，通过人脸关键点检测，并利用人脸关键点和图像的图像特征得到图像高频信息，再利用图像高频信息对待处理图像进行复原处理，可提高得到的超分辨率图像的认知度，符合实际应用中用户的需求。

本实施例中，采用预先所构建并训练得到的重建模型进行上述的重建处理，该重建模型可以通过以下方式预先训练并获得。

获取训练样本以及训练样本对应的目标样本；

利用构建的生成网络对训练样本进行关键点检测，得到训练关键点；

基于训练关键点和训练样本进行超分辨率重建处理和复原处理，得到输出图像；

比对输出图像和目标样本，并基于比对结果对生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型；

本实施例中，预先采集多个训练样本，各个训练样本可以是包含清晰度较低的人脸图像的样本图像。而训练样本所对应的目标样本，即为满足要求的，即在对训练样本进行处理后所希望得到的高清晰度的样本。

预先构建的生成网络可以是循环递归网络，利用生成网络对训练样本进行关键点检测、超分辨率重建处理和复原处理的过程可参见上述描述。在处理之后，生成网络可输出训练样本所对应的输出图像。

目标样本作为生成网络处理质量的比对标准，可以通过比对输出图像和目标样本之间差异，以根据比对结果来不断训练生成网络，以使得到的输出图像与目标样本的差异降低至满足一定要求的情况时，得到重建模型。

本实施例中，针对输入至生成网络的样本，可对样本进行预处理，例如自减平均值的方式，从而提出图片纹理的细节，以提高后续处理、识别的效果。

在此基础上，还可对预处理后的样本进行翻转对称操作再输入至生成网络，对于生成网络的各网络层的输出结果，可对输出结果进行反翻转对称求平均值处理，如此，可以减少各向异性带来的某些网络层或者参数的偏差。

在对生成网络进行训练以及测试的过程中，可以根据需求以及测试的结果对网络进行剪枝处理，以保留前面对结果影响较大的若干次循环，在此基础上，再以此为基础继续训练，从而提高得到的生成网络的重建精度，后续处理后的图像的峰值信噪比和结构相似性也可得到较大的提升。

在本实施例中，可构建具体的损失函数来检测生成网络的训练，可选地，可通过以下方式实现：

基于输出图像的像素信息和目标样本的像素信息之间的差异，构建第一损失函数；

基于输出图像中各个人脸关键点和目标样本中对应人脸关键点之间的差异，构建第二损失函数；

比对输出图像和目标样本，并基于比对结果对生成网络进行网络参数调整后继续训练，直至第一损失函数和第二损失函数加权后的函数值满足第一预设条件时得到重建模型；

本实施例中，可构建第一损失函数和第二损失函数以综合评价生成网络的训练。其中，第一损失函数从图像之间的像素差异的角度进行评价。此外，考虑到本实施例中图像经过了人脸关键点的检测，而人脸关键点对于人像重建尤为重要，因此，加入了以人脸关键点之间的差异信息所构建的第二损失函数。

其中，第一损失函数表征生成网络的输出图像与目标样本(即想要的输出效果)之间的整体的像素级的欧式距离，第二损失函数表征生成网络的进行人脸关键点检测之后各人脸关键点与目标样本(想要的输出效果)中对应人脸关键点之间的欧式距离。

将上述第一损失函数和第二损失函数进行加权组合，以共同作为生成函数的损失函数。在生成网络的训练过程中，通过比对输出图像和目标样本，也即进行包含第一损失函数和第二损失函数的综合损失函数的函数值的计算。以在得到的函数值满足第一预设条件时，得到重建模型。其中，第一预设条件可以是损失函数值不再下降以达到收敛，或者是损失函数值低于某个预设值。或者也可以在迭代次数达到预设最大次数时，停止训练得到重建模型。

本实施例中，通过上述预先所构建的由生成网络所得到的重建模型，以应用于上述待处理图像的重建，可提高得到的超分辨率图像的认知度。

实际应用中，由于待处理图像的清晰度往往较低，因此，基于低清晰度的图像进行关键点检测得到的人脸关键点其效果并不理想，进而导致后续得到的超分辨率图像的效果不佳。因此，在本实施例中，上述的关键点检测、超分辨率重建处理及复原处理可包括多轮迭代处理。而上述的待处理图像可以是未经处理的待处理图像，或者是前一轮迭代中经过所述关键点检测、超分辨率重建处理以及复原处理后得到的超分辨率图像。

也即，可结合参阅图2，对于未经处理的待处理图像LR Face(Low ResolutionFace)，通过上述的关键点检测、超分辨率重建处理以及复原处理后可得到该轮迭代处理后的超分辨率图像SRFace(Super Resolution Face)。然后，在得到的超分辨率图像的基础上，再进行上述的关键点检测、超分辨率重建处理以及复原处理，得到第二轮迭代后的超分辨率图像。按该处理逻辑，在进行多次迭代处理后，在满足一定要求时，得到最终的超分辨率图像。

请结合参阅图3，针对输入的待处理图像Input，首先，可以对其进行关键点检测，得到对应的人脸关键点Face Points 0，基于Face Points 0并结合Input的图像特征得到图像高频信息，再根据图像高频信息和Input得到第一轮的超分辨率图像Face SR1。在此基础上，针对Face SR1进行关键点检测，得到对应的人脸关键点Face Points 1，基于FacePoints 1并结合Face SR1的图像特征得到图像高频信息，再根据图像高频信息和Face SR1得到第二轮的超分辨率图像Face SR2。按此处理逻辑，在进行N次迭代处理之后(N为预设的迭代停止次数或N次迭代后得到的图像满足预设要求)，可得到最终的超分辨率图像FaceSR N。

本实施例中，采用循环递归的方式，将上一轮处理得到的图像作为检测对象以进行多次循环处理，可不断提高得到的超分辨率图像的质量。

相应地，在进行模型训练阶段，可以将多次循环中的模型参数进行共享，从而使模型更加轻量化，以为将模型应用于如移动端等处理能够较弱的设备提供支持。此外，本实施例中，在处理资源有限的情况下，除了可以共享参数之外，还可在一定范围内优先增加网络宽度，即特征提取通道的数量，而不需要着重于网络深度，即网络层数上，结合利用循环递归处理的方式，以提高模型的识别准确性。

由上述可知，本实施例中检测的人脸关键点包括多个，而在基于人脸关键点和图像特征得到图像高频信息以对待处理图像进行复原时，需要能够将对应的人脸关键点对应至待处理图像中的准确地位置，以避免出现关键点偏移的现象。因此，请参阅图4，本实施例中，上述进行复原处理时，可通过以下步骤实现：

步骤S131，利用预先构建的人像认知模型对所述待处理图像进行处理，输出各所述人脸关键点的位置信息。

步骤S132，根据各所述人脸关键点以及其对应的位置信息、图像高频信息，对所述待处理图像中对应人脸关键点进行复原处理，得到所述待处理图像对应的超分辨率图像。

本实施例中，可以构建神经网络模型，该神经网络模型可以是例如卷积神经网络模型(Convolutional Neural Networks,CNN)等。可采集多个训练样本，其中，各个训练样本中包含人脸图像，且各人脸图像中的人脸关键点携带有位置信息，该位置信息可以是各人脸关键点在人脸区域中的相对位置信息，也可以是将人脸区域映射至坐标系中，以人脸关键点在坐标系中的坐标值作为其位置信息。

利用训练样本对构建的神经网络模型进行训练，以得到满足要求的人像认知模型。利用该人像认知模型可识别得到待处理图像中各个人脸关键点的位置信息。

如此，在进行复原处理时，结合参阅图5，对于待处理图像LR Face中的人脸关键点，如左眼、右眼、鼻子、嘴巴、以及下巴轮廓，则可以基于根据人像认知模型所得到的人脸关键点的位置信息以及图像高频信息包含的对应人脸关键点的高频信息，对待处理图像中该人脸关键点进行复原处理，以得到最终的超分辨率图像SR Face。

本实施例中，由于只需利用人像认知模型识别各个人脸关键点的位置信息，所需分析、处理的数据信息较少，因此，该人像认知模型可基于轻量级的网络模型所构建，以避免网络模型构建以及运行对处理资源的不必要的过多占用。

本实施例中，采用人像认知模型得到各人脸关键点的位置信息的方式，可在进行复原时，准确地基于各人脸关键点的位置对待处理图像中的对应位置进行复原处理，避免出现对应人脸关键点的复原移位的现象出现。

此外，不同的人脸关键点在复原时其具体的复原要求往往不同，例如，对于眼睛而言，希望复原处理后的眼睛可以亮度较高，而对于下巴轮廓而言，可能希望复原处理后的下巴轮廓线条更清晰。

因此，本实施例中，基于上述考虑，在进行复原处理时，可首先获取各个人脸关键点对应的复原属性，该复原属性即为上述的复原处理的不同要求信息。再根据各人脸关键点的位置信息、复原属性以及图像高频信息，对待处理图像进行复原处理，得到对应的超分辨率图像。

本实施例中，通过上述方式，可按区分各人脸关键点并基于其对应的位置信息、复原属性进行人脸关键点的独立恢复，不仅可以满足不同人脸关键点的复原的针对性需求，且重建模型在处理时，也可基于分组卷积的方式进行同步处理，可大幅减少处理的时间。

由上述可知，本实施例的重建模型包含生成网络，该生成网络为预先训练得到的可以对低清晰度的图像进行处理，以输出对应的超分辨率图像的模型。本实施例中，为了进一步提高得到的重建模型的重建效果，可以在重建模型中加入判别器，以构成包含判别器和生成网络的对抗网络。其中，生成网络为在训练好的判别器的监督下，利用训练样本进行训练后所获得。

因此，在上述预先构建重建模型的过程中，还包括以下步骤：

构建判别器，利用所述判别器对所述输出图像进行判别处理；根据得到的判别结果对所述判别器进行参数调整，直至满足第二预设条件时得到训练好的判别器。

本实施例中，判别器的主要实现原理是，尽可能地将真的图像(即满足要求的高分辨率图像)判别为真(例如输出判别结果为1)，而将生成网络的输出图像尽可能地判别为假(例如输出判别结果为0)，如此，可以监督生成网络不断进行训练，最终达到使判别器将生成网络的输出图像判别为真的效果。也即判别器作为生成网络的监督器，以不断优化生成网络的训练。

在利用判别器作为监督器以优化生成网络时，首先需要进行判别器的训练优化，使得判别器能够进行准确地判定。本实施例中，可预先构建判别器的损失函数，该损失函数可由生成网络的输出图像的判别信息以及判别器对目标样本的判别信息所构成。

对判别器的训练过程，即为对上述损失函数进行最小化的过程，在上述损失函数值不再下降以达到收敛时，可判定对判别器的训练满足第二预设条件，可得到训练好的判别器，即可将判别器固定下来。

在重建模型中加入判别器以构建对抗网络的情形下，对生成网络的训练及调整，需要加入判别器的相关判别信息，因此，在一种实施方式下，上述对比输出图像和目标样本进行重建模型训练时，可以通过以下方式实现：

将输出图像输入至训练好的判别器得到判别信息。

比对输出图像和目标样本，得到比对结果。

根据判别信息和比对结果对生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型。

本实施例中，在加入判别器的情况下，可结合输出图像与目标样本之间的差异，以及判别器对输出图像的判别信息，以对生成网络进行训练调整。

其中，输出图像与目标样本之间的差异对生成网络的调整所产生的影响可利用第一损失函数和第二损失函数来体现，判别器对输出图像的判别信息对生成网络的训练调整所产生的影响可利用第三损失函数来体现，此外，为了加强得到的超分辨率图像的人眼认知程度，还可加入由人像认知模型所得到的输出图像与目标样本之间的图像差异所构建的第四损失函数。

本实施例中，上述第一损失函数为基于输出图像的像素信息与对应的目标样本的像素信息之间的差异所构建，第二损失函数由输出图像中各个人脸关键点和目标样本中对应人脸关键点之间的差异所构建得到。由于构建判别器以监督生成网络的训练目的是为了使得生成网络得到的输出图像最终能够被判别器判别为真，因此，第三损失函数即由判别器对输出图像的判别信息所构建。而第四损失函数是由人像认知模型得到的输出图像与目标样本之间的人脸特征差异所构建得到。

最终得到的生成网络的损失函数可由上述第一损失函数、第二损失函数、第三损失函数和第四损失函数进行加权组合得到。

因此，可根据判别器的判别信息、输出图像与目标样本之间的比对结果对生成网络进行网络参数调整后继续训练，实质即为训练调整并进行上述组合后的损失函数的函数值的计算过程，直至由第一损失函数、第二损失函数、第三损失函数和第四损失函数加权后得到的函数值满足第一预设条件时，可得到训练好的重建模型。

本实施例中，通过加入判别器以监督生成网络的训练，可以提高得到的输出图像的人眼认知度，得到的图像清晰度更高。请参阅图6(a)至图6(c)，其中，图6(a)为经过常规的插值处理后得到的图像，图6(b)为本申请中未加入判别器的实施方式下所得到的图像，而图6(c)为本申请中加入判别器的实施方式下所得到的图像。由图可见，本申请的方案下得到的图像相比常规的插值处理方式而言，清晰度明显更高、效果更好。而其中，加入判别器所得到的图像相比未加入判别器所得到的图像，在人眼认知上，图像更为清晰。

本申请实施例还提供一种模型训练方法，用于训练得到上述实施例中的重建模型，请参阅图7，为本申请实施例提供的模型训练方法的流程示意图。

步骤S210，获取训练样本以及所述训练样本对应的目标样本；

步骤S220，利用构建的生成网络对所述训练样本进行关键点检测，得到训练关键点；

步骤S230，基于所述训练关键点和所述训练样本进行超分辨率重建处理和复原处理，得到输出图像；

步骤S240，比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型。

本申请实施例提供的模型训练方法中，通过对训练样本进行关键点检测，并基于训练关键点和训练样本的图像特征结合进行模型的训练，可提高得到的重建模型的重建准确度。

本实施例中，可构建损失函数以检测生成网络的训练，请参阅图8，上述步骤S240可通过以下方式实现：

步骤S241，基于所述输出图像的像素信息和所述目标样本的像素信息之间的差异，构建第一损失函数；

步骤S242，基于所述输出图像中各个人脸关键点和所述目标样本中对应人脸关键点之间的差异，构建第二损失函数；

步骤S243，比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至所述第一损失函数和所述第二损失函数加权后的函数值满足第一预设条件时得到重建模型。

本实施例中，采用基于像素信息差异所构建的第一损失函数和基于人脸关键点之间的差异的第二损失函数，进行重建模型的训练监督判断，可提高后续应用重建模型进行重建处理时得到的超分辨率图像的认知度。

在一种可能的实施方式中，重建模型还包括判别器，该判别器可以用于监督生成网络的训练，该模型训练方法还包括以下步骤：

构建判别器，利用所述判别器对所述输出图像进行判别处理；根据得到的判别结果对所述判别器进行参数调整，直至满足第二预设条件时得到训练好的判别器。

本实施例中，在重建模型中加入判别器，以构成包含判别器和生成网络的对抗网络，可以进一步提高得到的重建模型的重建效果。

在重建模型中加入判别器以构成对抗网络的情形下，对生成网络的训练及调整，可加入判别器的相关判别性，因此，在一种可能的实施方式下，请参阅图9，上述步骤S240可以包括以下子步骤：

步骤S241’，将所述输出图像输入至训练好的所述判别器得到判别信息；

步骤S242’，比对所述输出图像和所述目标样本，得到比对结果；

步骤S243’，根据所述判别信息和所述比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型。

本实施例中，在加入判别器的情况下，可通过以下方式进行损失函数的构建，并利用构建的损失函数进行重建模型训练：

基于所述输出图像的像素信息和所述目标样本的像素信息之间的差异，构建第一损失函数；

基于所述输出图像中各个人脸关键点和所述目标样本中对应人脸关键点之间的差异，构建第二损失函数；

基于所述判别器对所述输出图像的判别信息构建第三损失函数，并基于预先构建的人像认知模型得到的所述输出图像和所述目标样本之间的图像差异构建第四损失函数；

根据所述判别信息和所述比对结果对所述生成网络进行网络参数调整后继续训练，直至所述第一损失函数、第二损失函数、第三损失函数和第四损失函数加权后得到的函数值满足第一预设条件时得到重建模型。

需要说明的是，本实施例所提供的模型训练方法的未详尽之处，可参见上述人像超分辨率重建方法的实施例中对于重建模型的相关介绍和描述，与上述实施例中的重建模型的相关过程是一致的，因此，本实施例在此对于与上述实施例一致之处不再进行赘述。

请参阅图10，为本申请实施例提供的电子设备的示例性组件示意图。该电子设备可包括存储介质110、处理器120、机器可执行指令130(该机器可执行指令130可以为人像超分辨率重建装置131或模型训练装置132)及通信接口140。本实施例中，存储介质110与处理器120均位于电子设备中且二者分离设置。然而，应当理解的是，存储介质110也可以是独立于电子设备之外，且可以由处理器120通过总线接口来访问。可替换地，存储介质110也可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

机器可执行指令130可以理解为上述电子设备，或电子设备的处理器120，也可以理解为独立于上述电子设备或处理器120之外的在电子设备控制下实现上述人像超分辨率重建方法或模型训练方法的软件功能模块。

如图11所示，上述人像超分辨率重建装置131可以包括检测模块1311、处理模块1312和复原模块1313。下面分别对该人像超分辨率重建装置131的各个功能模块的功能进行详细阐述。

检测模块1311，用于利用预先构建的重建模型对待处理图像进行关键点检测，得到人脸关键点；

可以理解，该检测模块1311可以用于执行上述步骤S110，关于该检测模块1311的详细实现方式可以参照上述对步骤S110有关的内容。

处理模块1312，用于根据所述人脸关键点和基于所述待处理图像得到的图像特征进行超分辨率重建处理，得到图像高频信息；

可以理解，该处理模块1312可以用于执行上述步骤S120，关于该处理模块1312的详细实现方式可以参照上述对步骤S120有关的内容。

复原模块1313，用于利用所述图像高频信息对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像。

可以理解，该复原模块1313可以用于执行上述步骤S130，关于该复原模块1313的详细实现方式可以参照上述对步骤S130有关的内容。

在一种可能的实现方式中，所述关键点检测、超分辨率重建处理及复原处理包括多轮迭代处理，所述待处理图像为未经处理的待处理图像，或前一轮迭代中经过所述关键点检测、超分辨率重建处理以及复原处理后得到的超分辨率图像。

在一种可能的实现方式中，所述人脸关键点包括多个，上述复原模块1313可以用于通过以下方式得到超分辨率图像：

利用预先构建的人像认知模型对所述待处理图像进行处理，输出各所述人脸关键点的位置信息；

基于各所述人脸关键点的位置信息以及所述图像高频信息，对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像。

在一种可能的实现方式中，复原模块1313可以用于通过以下方式基于各人脸关键点的位置信息以及图像高频信息，得到超分辨率图像：

获取各所述人脸关键点对应的复原属性；

根据各所述人脸关键点以及其对应的位置信息、图像高频信息、复原属性，对所述待处理图像中对应人脸关键点进行复原处理。

在一种可能的实现方式中，所述重建模型包括判别器和生成网络，所述生成网络为在训练好的判别器的监督下，利用训练样本进行训练后获得。

在一种可能的实现方式中，所述人脸关键点包括左眼、右眼、鼻子、嘴巴及下巴轮廓。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。如图12所示，上述模型训练装置132可以包括获取模块1321、关键点获得模块1322、输出图像获得模块1323及训练模块1324。下面分别对该模型训练装置132的各个功能模块的功能进行详细阐述。

获取模块1321，用于获取训练样本以及所述训练样本对应的目标样本；

可以理解，该获取模块1321可以用于执行上述步骤S210，关于该获取模块1321的详细实现方式可以参照上述对步骤S210有关的内容。

关键点获得模块1322，用于利用构建的生成网络对所述训练样本进行关键点检测，得到训练关键点；

可以理解，该关键点获得模块1322可以用于执行上述步骤S220，关于该关键点获得模块1322的详细实现方式可以参照上述对步骤S220有关的内容。

输出图像获得模块1323，用于基于所述训练关键点和所述训练样本进行超分辨率重建处理和复原处理，得到输出图像；

可以理解，该输出图像获得模块1323可以用于执行上述步骤S230，关于该输出图像获得模块1323的详细实现方式可以参照上述对步骤S230有关的内容。

训练模块1324，用于比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型。

可以理解，该训练模块1324可以用于执行上述步骤S240，关于该训练模块1324的详细实现方式可以参照上述对步骤S240有关的内容。

在一种可能的实现方式中，训练模块1324可以用于基于输出图像和目标样本之间比对结果，并通过以下方式得到重建模型：

基于所述输出图像的像素信息和所述目标样本的像素信息之间的差异，构建第一损失函数；

基于所述输出图像中各个人脸关键点和所述目标样本中对应人脸关键点之间的差异，构建第二损失函数；

比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至所述第一损失函数和所述第二损失函数加权后的函数值满足第一预设条件时得到所述重建模型。

在一种可能的实现方式中，所述重建模型还包括判别器，所述判别器用于监督所述生成网络的训练，模型训练装置132还包括构建模块，该构建模块用于：

构建判别器，利用所述判别器对所述输出图像以及所述输出图像对应的目标样本进行判别处理；

根据得到的判别结果对所述判别器进行参数调整，直至满足第二预设条件时得到训练好的判别器。

在一种可能的实现方式中，训练模块1324可以通过以下方式得到重建模型：

将所述输出图像输入至训练好的所述判别器得到判别信息；

比对所述输出图像和所述目标样本，得到比对结果；

根据所述判别信息和所述比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到所述重建模型。

在一种可能的实现方式中，训练模块1324可以用于基于判别信息和比对结果，并通过以下方式构建重建模型：

基于所述输出图像的像素信息和所述目标样本的像素信息之间的差异，构建第一损失函数；

基于所述输出图像中各个人脸关键点和所述目标样本中对应人脸关键点之间的差异，构建第二损失函数；

基于所述判别器对所述输出图像的判别信息构建第三损失函数，并基于预先构建的人像认知模型得到的所述输出图像和所述目标样本之间的图像差异构建第四损失函数；

根据所述判别信息和所述比对结果对所述生成网络进行网络参数调整后继续训练，直至所述第一损失函数、第二损失函数、第三损失函数和第四损失函数加权后得到的函数值满足第一预设条件时得到所述重建模型。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

进一步地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有机器可执行指令130，机器可执行指令130被执行时实现上述实施例提供的人像超分辨率重建方法或模型训练方法。

具体地，该计算机可读存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该计算机可读存储介质上的计算机程序被运行时，能够执行上述人像超分辨率重建方法或模型训练方法。关于计算机可读存储介质中的及其可执行指令被运行时，所涉及的过程，可以参照上述方法实施例中的相关说明，这里不再详述。

综上所述，本申请实施例提供的人像超分辨率重建方法、模型训练方法、装置、电子设备和可读存储介质，通过利用预先构建的重建模型对待处理图像进行关键点检测，得到人脸关键点，再根据人脸关键点和基于待处理图像得到的图像特征进行超分辨率重建处理，得到图像高频信息，利用图像高频信息对待处理图像进行复原处理，得到待处理图像对应的超分辨率图像。本申请中，结合人脸关键点检测以及人脸恢复，实现图像的超分辨率重建，提高得到的超分辨率图像的认知度，符合实际应用中用户的需求。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种人像超分辨率重建方法，其特征在于，所述方法包括：

利用预先构建的重建模型对待处理图像进行关键点检测，得到人脸关键点；

根据所述人脸关键点和基于所述待处理图像得到的图像特征进行超分辨率重建处理，得到图像高频信息；

利用所述图像高频信息对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像。

2.根据权利要求1所述的人像超分辨率重建方法，其特征在于，所述关键点检测、超分辨率重建处理及复原处理包括多轮迭代处理，所述待处理图像为未经处理的待处理图像，或前一轮迭代中经过所述关键点检测、超分辨率重建处理以及复原处理后得到的超分辨率图像。

3.根据权利要求1所述的人像超分辨率重建方法，其特征在于，所述人脸关键点包括多个，所述利用所述图像高频信息对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像的步骤，包括：

利用预先构建的人像认知模型对所述待处理图像进行处理，输出各所述人脸关键点的位置信息；

基于各所述人脸关键点的位置信息以及所述图像高频信息，对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像。

4.根据权利要求3所述的人像超分辨率重建方法，其特征在于，所述基于各所述人脸关键点的位置信息以及所述图像高频信息，对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像的步骤，包括：

获取各所述人脸关键点对应的复原属性；

根据各所述人脸关键点以及其对应的位置信息、图像高频信息、复原属性，对所述待处理图像中对应人脸关键点进行复原处理。

5.根据权利要求1所述的人像超分辨率重建方法，其特征在于，所述重建模型包括判别器和生成网络，所述生成网络为在训练好的判别器的监督下，利用训练样本进行训练后获得。

6.根据权利要求1-5任意一项所述的人像超分辨率重建方法，其特征在于，所述人脸关键点包括左眼、右眼、鼻子、嘴巴及下巴轮廓。

7.一种模型训练方法，其特征在于，所述方法包括：

获取训练样本以及所述训练样本对应的目标样本；

利用构建的生成网络对所述训练样本进行关键点检测，得到训练关键点；

基于所述训练关键点和所述训练样本进行超分辨率重建处理和复原处理，得到输出图像；

比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型。

8.根据权利要求7所述的模型训练方法，其特征在于，所述比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型的步骤，包括：

基于所述输出图像的像素信息和所述目标样本的像素信息之间的差异，构建第一损失函数；

基于所述输出图像中各个人脸关键点和所述目标样本中对应人脸关键点之间的差异，构建第二损失函数；

比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至所述第一损失函数和所述第二损失函数加权后的函数值满足第一预设条件时得到重建模型。

9.根据权利要求7所述的模型训练方法，其特征在于，所述重建模型还包括判别器，所述判别器用于监督所述生成网络的训练，所述方法包括：

构建判别器，利用所述判别器对所述输出图像以及所述输出图像对应的目标样本进行判别处理；

根据得到的判别结果对所述判别器进行参数调整，直至满足第二预设条件时得到训练好的判别器。

10.根据权利要求9所述的模型训练方法，其特征在于，所述比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型的步骤，包括：

将所述输出图像输入至训练好的所述判别器得到判别信息；

比对所述输出图像和所述目标样本，得到比对结果；

根据所述判别信息和所述比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型。

11.根据权利要求10所述的模型训练方法，其特征在于，所述根据所述判别信息和所述比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型的步骤，包括：

基于所述输出图像的像素信息和所述目标样本的像素信息之间的差异，构建第一损失函数；

基于所述输出图像中各个人脸关键点和所述目标样本中对应人脸关键点之间的差异，构建第二损失函数；

基于所述判别器对所述输出图像的判别信息构建第三损失函数，并基于预先构建的人像认知模型得到的所述输出图像和所述目标样本之间的图像差异构建第四损失函数；

根据所述判别信息和所述比对结果对所述生成网络进行网络参数调整后继续训练，直至所述第一损失函数、第二损失函数、第三损失函数和第四损失函数加权后得到的函数值满足第一预设条件时得到重建模型。

12.一种人像超分辨率重建装置，其特征在于，所述装置包括：

检测模块，用于利用预先构建的重建模型对待处理图像进行关键点检测，得到人脸关键点；

处理模块，用于根据所述人脸关键点和基于所述待处理图像得到的图像特征进行超分辨率重建处理，得到图像高频信息；

复原模块，用于利用所述图像高频信息对所述待处理图像进行复原处理，得到所述待处理图像对应的超分辨率图像。

13.一种模型训练装置，其特征在于，所述装置包括：

获取模块，用于获取训练样本以及所述训练样本对应的目标样本；

关键点获得模块，用于利用构建的生成网络对所述训练样本进行关键点检测，得到训练关键点；

输出图像获得模块，用于基于所述训练关键点和所述训练样本进行超分辨率重建处理和复原处理，得到输出图像；

训练模块，用于比对所述输出图像和所述目标样本，并基于比对结果对所述生成网络进行网络参数调整后继续训练，直至满足第一预设条件时得到重建模型。

14.一种电子设备，其特征在于，包括一个或多个存储介质和一个或多个与存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，处理器执行所述机器可执行指令，以执行权利要求1-6或权利要求7-11中任意一项所述的方法步骤。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令被执行时实现权利要求1-6或权利要求7-11中任意一项所述的方法步骤。

Images