CN115293966A - 一种人脸图像重建方法、装置以及存储介质 - Google Patents

Abstract

本发明提供一种人脸图像重建方法、装置以及存储介质，属于图像重建领域，方法包括：通过各个原始人脸图像依次对超分辨率待训练模型的超分辨率图像训练分析得到超分辨率训练模型；通过超分辨率训练模型分别对原始人脸图像的图像识别得到目标超分辨率图像；通过所有的原始人脸图像和所有的目标超分辨率图像对人脸重建待训练模型的人脸重建图像训练分析得到人脸重建训练模型；通过人脸重建训练模型分别对目标超分辨率图像的图像重建得到人脸图像重建结果。本发明能够重建高保真和身份感知的HR人脸图像，能够提取更详细的信息，提升了视觉保真度。

Description

一种人脸图像重建方法、装置以及存储介质

技术领域

本发明主要涉及图像重建技术领域，具体涉及一种人脸图像重建方法、装置以及存储介质。

背景技术

近年来，基于实例判别前置任务的对比学习方法已被广泛用于无监督表示学习中，该方法通过使来自相同实例的视图相似而来自不同实例的视图不相似来学习视觉表示，学习到的视觉表示可以应用于各种下游任务，特别是高级任务中，如图像聚类、知识蒸馏、有监督的图像分类等，并可以获得期望的结果。

对比学习的原理为在表示空间中将正样本拉近锚点并将负样本推开，从而增加学习表示中的互信息。正负样本的选择取决于特定的下游任务，例如，将原始数据的增强视为正样本，或者将同一样本的多个视图视为正样本。当涉及低级图像处理任务时，直接应用对比学习方法存在一些挑战。首先，学习到的全局视觉表示不适用于需要丰富纹理和上下文信息的低级任务。其次，虽然已经提出了一系列数据增强来为高级下游任务生成正样本和负样本，然而，除了一些简单的几何增强，大多数复杂的数据增强都无法保持密集的像素对应关系，因此不适用于低级任务。第三，对比损失需要一个有意义的嵌入空间，与试图获得最佳语义表示的高级任务相比，低级任务旨在在数据空间中重建恢复的结果。探索一个合适且有意义的嵌入空间非常重要，在这个空间中可以有效地定义对比损失。

目前针对低级任务的基于对比学习的方法主要侧重于利用负样本，而将真实图像作为正样本。例如，Wu等将降质图像视为负样本，并提出了一种具有对比正则化的新型图像去雾方法。Wang等将数据集中的其他示例作为负样本，用于图像超分辨率和水下图像恢复。这些方法证明了将对比约束结合到低级任务中的有效性。另一个研究方向是通过对比学习对图像的统计特征进行建模。Dong等人假设来自同一样本的两个图像块具有相似的噪声分布，而来自两个不同样本的两个图像块具有两种不同的噪声分布，并提出了一个残差对比损失用于联合去马赛克和去噪。Wang等人应用对比损失来预训练一个内核估计模型，该模型旨在分离不同的降质并获得不同的降质感知表示。Zhang等人在特征通道空间中提出对比学习策略以获得分辨率不变的特征。他们将不同通道的特征图作为样本，并假设LR和HR特征图的相应通道是正的，而来自不同通道的特征图是负的。在这些方法中，一条研究方向是正样本被定义为原始图像，而负样本被简单地定义为数据集中的将质图像或其他图像。虽然这些负样本与重建图像不同，但他们易于区分，即他们距离太远而不会对对比损失有所贡献。而另一条研究方向试图基于对比学习生成一些不受噪声影响的图像全局特征，但这些方法忽略了为重建图像构建有效的正负样本。此外，由于这些方法的对比损失是在一些特定的嵌入空间上定义的，不能很好地推广到其他方法。

当前基于深度学习的人脸超分辨率方法的结果往往是平滑的且不确定的，看起来不自然、不可信，并且忽略了人脸的特殊的纹理结构。因为从LR到HR的映射不能唯一确定，可能存在多个函数空间，所以超分结果可能是SR网络所有可能输出的平均值。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种人脸图像重建方法、装置以及存储介质。

本发明解决上述技术问题的技术方案如下：一种人脸图像重建方法，包括如下步骤：

导入多个原始人脸图像，并构建超分辨率待训练模型，通过各个所述原始人脸图像依次对所述超分辨率待训练模型进行超分辨率图像的训练分析，得到与各个所述原始人脸图像对应的超分辨率训练模型；

通过与各个所述原始人脸图像对应的超分辨率训练模型分别对各个所述原始人脸图像进行图像识别，得到与各个所述原始人脸图像对应的目标超分辨率图像；

构建人脸重建待训练模型，通过所有的原始人脸图像和所有的目标超分辨率图像对所述人脸重建待训练模型进行人脸重建图像的训练分析，得到人脸重建训练模型；

通过所述人脸重建训练模型分别对各个所述目标超分辨率图像进行图像重建，得到与各个所述原始人脸图像对应的人脸重建图像，并将所有的人脸重建图像作为人脸图像重建结果。

本发明解决上述技术问题的另一技术方案如下：一种人脸图像重建装置，包括：

第一训练分析模块，用于导入多个原始人脸图像，并构建超分辨率待训练模型，通过各个所述原始人脸图像依次对所述超分辨率待训练模型进行超分辨率图像的训练分析，得到与各个所述原始人脸图像对应的超分辨率训练模型；

图像识别模块，用于通过与各个所述原始人脸图像对应的超分辨率训练模型分别对各个所述原始人脸图像进行图像识别，得到与各个所述原始人脸图像对应的目标超分辨率图像；

第二训练分析模块，用于构建人脸重建待训练模型，通过所有的原始人脸图像和所有的目标超分辨率图像对所述人脸重建待训练模型进行人脸重建图像的训练分析，得到人脸重建训练模型；

人脸图像重建结果模块，用于通过所述人脸重建训练模型分别对各个所述目标超分辨率图像进行图像重建，得到与各个所述原始人脸图像对应的人脸重建图像，并将所有的人脸重建图像作为人脸图像重建结果。

本发明解决上述技术问题的另一技术方案如下：一种人脸图像重建装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的人脸图像重建方法。

本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的人脸图像重建方法。

本发明的有益效果是：通过原始人脸图像依次对超分辨率待训练模型的超分辨率图像训练分析得到的超分辨率训练模型，通过超分辨率训练模型分别对原始人脸图像的图像识别得到目标超分辨率图像，通过原始人脸图像和目标超分辨率图像对人脸重建待训练模型的人脸重建图像训练分析得到人脸重建训练模型，通过人脸重建训练模型分别对目标超分辨率图像的图像重建得到人脸图像重建结果，能够重建高保真和身份感知的HR人脸图像，能够提取更详细的信息，提升了视觉保真度。

附图说明

图1为本发明实施例提供的一种人脸图像重建方法的流程示意图；

图2为本发明实施例提供的一种人脸图像重建装置的模块框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明实施例提供的一种人脸图像重建方法的流程示意图。

如图1所示，一种人脸图像重建方法，包括如下步骤：

导入多个原始人脸图像，并构建超分辨率待训练模型，通过各个所述原始人脸图像依次对所述超分辨率待训练模型进行超分辨率图像的训练分析，得到与各个所述原始人脸图像对应的超分辨率训练模型；

通过与各个所述原始人脸图像对应的超分辨率训练模型分别对各个所述原始人脸图像进行图像识别，得到与各个所述原始人脸图像对应的目标超分辨率图像；

构建人脸重建待训练模型，通过所有的原始人脸图像和所有的目标超分辨率图像对所述人脸重建待训练模型进行人脸重建图像的训练分析，得到人脸重建训练模型；

通过所述人脸重建训练模型分别对各个所述目标超分辨率图像进行图像重建，得到与各个所述原始人脸图像对应的人脸重建图像，并将所有的人脸重建图像作为人脸图像重建结果。

应理解地，利用现有的高质量的人脸数据集FFHQ图片(即多个所述原始人脸图像)，包含年龄、肤色等面部属性。

应理解地，在对比学习的基础上，将人脸识别网络(即所述人脸重建训练模型)的身份特征表示用作监督信号，利用身份特征来进一步约束对比学习的结果，以获得更高质量的人脸重建图像。

具体地，本发明中，使用的是FFHQ数据集(即多个所述原始人脸图像)，其是一个高质量的人脸数据集，包含年龄、肤色等面部属性。随机选择4000张图像，其中3800张图像作为训练数据集，100张图像作为验证数据集，100张图像作为测试数据集，其比例因子为×4，同时将所有HR图像的大小调整为256×256。使用的评测指标包括PSNR、SSIM和LPIPS。实验在Pytorch环境下进行，并使用2个Nvidia RTX 2080 Ti GPU。另外，模型由ADAM优化器训练，其参数β1＝0.9，β2＝0.999，e＝10^-8。训练次数为2000次，使用的批量处理大小为16。

应理解地，数据集准备，作为算法的输入并且来验证算法的性能。

上述实施例中，通过原始人脸图像依次对超分辨率待训练模型的超分辨率图像训练分析得到的超分辨率训练模型，通过超分辨率训练模型分别对原始人脸图像的图像识别得到目标超分辨率图像，通过原始人脸图像和目标超分辨率图像对人脸重建待训练模型的人脸重建图像训练分析得到人脸重建训练模型，通过人脸重建训练模型分别对目标超分辨率图像的图像重建得到人脸图像重建结果，能够重建高保真和身份感知的HR人脸图像，能够提取更详细的信息，提升了视觉保真度。

可选地，作为本发明的一个实施例，所述超分辨率待训练模型包括一对依次排列的上采样块和一对依次排列的下采样块，所述通过各个所述原始人脸图像依次对所述超分辨率待训练模型进行超分辨率图像的训练分析，得到与各个所述原始人脸图像对应的超分辨率训练模型的过程包括：

S11：通过所述上采样块依次对各个所述原始人脸图像进行上采样分析，得到与各个所述原始人脸图像对应的上采样后人脸图像；

S12：通过所述下采样块依次对各个所述原始人脸图像进行下采样分析，得到与各个所述原始人脸图像对应的原始人脸超分辨率图像；

S13：通过多个预设滤波器依次对各个所述原始人脸超分辨率图像进行图像增强处理，得到与各个所述原始人脸图像对应的正样本集；

S14：通过多个所述预设滤波器依次对各个所述原始人脸超分辨率图像进行降质处理，得到与各个所述原始人脸图像对应的负样本集；

S15：依次对各个所述原始人脸超分辨率图像、与所述原始人脸图像对应的正样本集以及与所述原始人脸图像对应的负样本集进行对比学习损失值的分析，得到与各个所述原始人脸图像对应的对比学习损失值；

S16：依次判断各个所述对比学习损失值是否大于预设第一损失阈值，若是，则根据所述对比学习损失值对所述超分辨率待训练模型进行参数更新，并将更新后的超分辨率待训练模型作为与所述原始人脸图像对应的超分辨率待训练模型，并返回步骤S11；若否，则将所述超分辨率待训练模型作为与所述原始人脸图像对应的超分辨率训练模型。

应理解地，生成正负样本，以便为对比学习做铺垫。

应理解地，提取图像的特征用于对比学习，增强生成的超分辨率图像的质量。

具体地，生成正负样本，人脸SR任务旨在将低分辨率人脸图像转换为清晰、逼真和高分辨率的图像。由于LR图像是从图像降质过程中形成的并且仅包含低频信息，因此SR模型专注于学习反向平移以恢复丢失的高频分量(例如，边缘和纹理信息)，考虑到这一点，可以采用有效且特定于任务的数据增强来生成正样本(即所述正样本集)和负样本(即所述负样本集)。

具体地，所述超分辨率待训练模型可以为DIDnet网络，该网络框架包括上采样块(G子网络)和下采样块(F子网络)构成，子网络G包含两个基本的所述上采样块，子网络F旨在从HR图像生成下采样LR图像，该图像由两个所述下采样块组成。

上述实施例中，通过原始人脸图像依次对超分辨率待训练模型的超分辨率图像训练分析得到超分辨率训练模型，能够使超分辨率图像远离平滑结果，使网络能够提取更详细的信息，为超分辨率图像获得信息丰富的正负对，能够最大化特征空间中超分人脸和真实人脸的身份近似度。

可选地，作为本发明的一个实施例，所述上采样块包括多个顺序排列的残差通道注意力块、第一3×3卷积层、像素重组层和1×1卷积层；

所述步骤S11的过程包括：

通过多个所述残差通道注意力块依次对各个所述原始人脸图像进行图像放大，得到与各个所述原始人脸图像对应的放大后人脸图像；

通过所述第一3×3卷积层依次对各个所述放大后人脸图像进行首次特征提取，得到与各个所述原始人脸图像对应的首次特征提取后人脸图像；

通过所述像素重组层依次对各个所述首次特征提取后人脸图像进行上采样处理，得到与各个所述原始人脸图像对应的待特征提取人脸图像；

通过所述1×1卷积层依次对各个所述待特征提取人脸图像进行再次特征提取，得到与各个所述原始人脸图像对应的上采样后人脸图像。

优选地，所述残差通道注意力块的个数可以为30个。

具体地，所述残差通道注意力块就是将CA和残差思想融合在一起，具体步骤为：

输入一个特征input，首先进行一个卷积-Relu-卷积操作得到f，然后f再经过一个CA模块进行重新缩放得到x，最后将x和input相加得到输出特征。其中，卷积操作都采用3×3的卷积核，

其中，CA模块的具体步骤为：

输入是一个H×W×C的特征，先进行一个空间的全局平均池化得到一个1×1×C的通道描述。接着，再经过一个下采样层和一个上采样层得到每一个通道的权重系数，将权重系数和原来的特征相乘即可得到缩放后的新特征，整个过程实际上就是对不同通道的特征重新进行了加权分配。

其中，下采样和上采样层都利用1×1的卷积来实现，下采样层的通道数减少r倍，激活函数为Relu，上采样层的激活函数为Sigmoid。其中，采用的通道数C＝64，r＝16。

具体地，每个所述上采样块由三部分组成：主体模块、上采样模块和一个所述1×1卷积层。此外，每个主体模块由30个所述残差通道注意力块(Residual Channel AttentionBlock，RCAB)组成，每个上采样模块由一个3×3卷积层(即所述第一3×3卷积层)和一个所述像素重组层组成，用于对特征图进行上采样。其中，所述像素重组层中的使用的是PixelShuffle，其是一种上采样方法，可以对缩小后的特征图进行相应倍数的放大，可以代替插值或解卷积。

上述实施例中，通过上采样块依次对各个原始人脸图像的上采样分析得到上采样后人脸图像，可以代替插值或解卷积，同时，提取更准确的特征信息，能够使超分辨率图像远离平滑结果，使网络能够提取更详细的信息。

可选地，作为本发明的一个实施例，所述下采样块包括第二3×3卷积层、LeakyReLU激活函数层和第三3×3卷积层；

所述步骤S12的过程包括：

通过所述第二3×3卷积层依次对各个所述上采样后人脸图像进行第三次特征提取，得到与各个所述原始人脸图像对应的第三次特征提取后人脸图像；

通过所述LeakyReLU激活函数层依次对各个所述第三次特征提取后人脸图像进行首次映射处理，得到与各个所述原始人脸图像对应的映射后人脸图像；

通过所述第三3×3卷积层依次对各个所述映射后人脸图像进行第四次特征提取，得到与各个所述原始人脸图像对应的原始人脸超分辨率图像。

应理解地，每个下采样块由一个3×3卷积层(即所述第二3×3卷积层)的重复应用组成，然后是激活函数LeakyReLU和一个3×3卷积层(即所述第三3×3卷积层)。

上述实施例中，通过下采样块依次对原始人脸图像的下采样分析得到原始人脸超分辨率图像，能够从HR图像生成下采样LR图像，提取了更准确的特征信息，能够使超分辨率图像远离平滑结果，使网络能够提取更详细的信息。

可选地，作为本发明的一个实施例，所述步骤S13的过程包括：

通过多个预设滤波器和第一式依次对各个所述原始人脸超分辨率图像进行图像增强处理，得到与各个所述原始人脸图像对应的正样本集，所述第一式为：

其中，I_P为第i个原始人脸超分辨率图像对应的正样本集，

为第i个原始人脸超分辨率图像，RF为图像增强操作，sp_i为第i个正样本图像，P为正样本图像的数量。

应理解地，通过在HR图像(即所述原始人脸超分辨率图像)上应用不同的高通滤波器(即所述预设滤波器)进一步生成得到多个锐化图像(即所述正样本图像)，将所有的锐化图像(即所述正样本图像)作为正样本集作为正集I_P。对于第i个图像，其正样本集表示如下：

其中P是正样本的数量。RF是图像增强操作。为了生成更多信息的正样本，将不同的高通滤波器应用于HR人脸图像。

上述实施例中，通过多个预设滤波器和第一式依次对各个原始人脸超分辨率图像的图像增强处理得到正样本集，使网络能够提取更详细的信息，为超分辨率图像获得信息丰富的正负对。

可选地，作为本发明的一个实施例，所述步骤S14的过程包括：

通过多个所述预设滤波器和第二式依次对各个所述原始人脸超分辨率图像进行降质处理，得到与各个所述原始人脸图像对应的负样本集，所述第二式为：

其中，I_N为第j个原始人脸超分辨率图像对应的负样本集，

为第j个原始人脸超分辨率图像，DG为降质函数，sn_j为第j个负样本图像，N为负样本图像的数量。

应理解地，受负样本挖掘和对抗性训练方法的启发，可以将一些与真实人脸图像非常相似的人脸图像输入到对比学习模型中。

具体地，采用从真实人脸图像生成轻微模糊的图像作为负样本集I_N，用多个负样本缩小解空间，并且可以进一步提高具有对比损失的SR网络的性能，

从而使重建的SR人脸图像变得更接近真实人脸。对于第i个图像，其负样本集表示如下：

其中N是负样本的数量，DG是使用随机高斯核处理HR人脸图像的降质函数。

上述实施例中，通过多个预设滤波器和第二式依次对各个原始人脸超分辨率图像的降质处理得到负样本集，缩小了解空间，并且可以进一步提高具有对比损失的SR网络的性能，从而使重建的SR人脸图像变得更接近真实人脸。

可选地，作为本发明的一个实施例，所述步骤S15的过程包括：

依次将各个所述原始人脸超分辨率图像以及与各个所述原始人脸图像对应的正样本集一并作为与各个所述原始人脸图像对应的正对图像集；

依次将各个所述原始人脸超分辨率图像以及与各个所述原始人脸图像对应的负样本集一并作为与各个所述原始人脸图像对应的负对图像集；

利用特征提取网络依次对各个所述正对图像集以及与各个所述原始人脸图像对应的负对图像集进行特征图的提取，得到与各个所述原始人脸图像对应的正对特征图以及与各个所述原始人脸图像对应的负对特征图；

通过第三式依次对各个所述正对特征图、与各个所述原始人脸图像对应的原始人脸超分辨率图像、与各个所述原始人脸图像对应的正样本集、与各个所述原始人脸图像对应的负对特征图以及与各个所述原始人脸图像对应的负样本集进行对比学习损失值的计算，得到与各个所述原始人脸图像对应的对比学习损失值，所述第三式为：

其中，L_c为对比学习损失值，(G(I_SR)，G(I_p))为正对特征图，(G(I_SR)，G(I_N))为负对特征图，I_SR为原始人脸超分辨率图像，I_p为正样本集，I_N为负样本集，E()为期望值，α和β均为超参数。

应理解地，构造正对(即所述正对图像集)和负对(即所述负对图像集)，并找到这些图像对的潜在特征空间进行对比。

应理解地，对比学习的目标是学习一种表示，将潜在特征空间中的正对拉在一起，并将负对之间的表示分开。

应理解地，特征图即矩阵。

应理解地，G()表示特征提取(即所述特征图的提取)。

具体地，正对(即所述正对图像集)由超分图像I_SR(即所述原始人脸超分辨率图像)和增强图像I_P(即所述正样本集)组成。类似地，负对由超分图像I_SR(即所述原始人脸超分辨率图像)和降质处理图像I_N(即所述负样本集)组成。

应理解地，所述特征提取网络是用来提取图像的特征用的。在网络的浅层一般提取的都是一些比较低级的特征，比如说，图像的纹理，边框。

具体地，对于潜在特征空间，IECL-FSR使用特征提取网络提取特征图f∈R^C×H×W，其中

是第/层中特征图i和j的内积：

其中k表示向量长度，然后从特征提取网络的层1，...，L中得到一组Gram矩阵{G¹，G²，...，G^L}；Gram矩阵G是对潜在图像特征的定量描述。类似于三元组损失，目标是最小化I_SR和I_P间的距离，两者具有相同的身份，并最大化I_SR和不同身份的I_N之间的距离：

d(G(I_SR)，G(I_P))＜＜d(G(I_SR)，G(I_N))

d(E(I_SR)，E(I_P))＜＜d(E(I_SR)，E(I_N))

其中E代表期望值。希望I_SR和I_P特征之间的距离小于I_SR和I_N特征之间的距离。对比学习损失L_c(即所述对比学习损失值)可以表示为：

L_c＝max{d(G(I_SR)，G(I_P))-d(G(I_SR)，G(I_N))+α，0}

+max{d(E(I_SR)，E(I_P))-d(E(I_SR)，E(I_N))+β，0}

其中α和β是超参数(即三元组损失中的边距)，在本过程的实现中，使用三元组损失来制定上述损失函数。

上述实施例中，依次对各个原始人脸超分辨率图像、正样本集以及负样本集进行对比学习损失值的分析，得到与各个所述原始人脸图像对应的对比学习损失值。

可选地，作为本发明的一个实施例，所述通过所有的原始人脸图像和所有的目标超分辨率图像对所述人脸重建待训练模型进行人脸重建图像的训练分析，得到人脸重建训练模型的过程包括：

S31：通过深度卷积神经网络分别对各个所述原始人脸图像以及各个所述目标超分辨率图像进行特征向量的提取，得到与各个所述原始人脸图像对应的原始人脸特征向量以及与各个所述目标超分辨率图像对应的目标超分辨率图像特征向量；

S32：利用L2正则化算法分别对与各个所述原始人脸图像对应的原始人脸特征向量以及与各个所述目标超分辨率图像对应的目标超分辨率图像特征向量进行正则化处理，得到与各个所述原始人脸图像对应的正则化后人脸图像以及与各个所述原始人脸图像对应的正则化后超分辨率图像；

S33：通过第四式对所有的正则化后人脸图像和所有的正则化后超分辨率图像进行身份损失值的计算，得到身份损失值，所述第四式为：

其中，L_idt为身份损失值，

为第i个原始人脸图像对应的正则化后人脸图像，

为第i个原始人脸图像对应的正则化后超分辨率图像，N'为原始人脸图像的数量；

S34：判断所述身份损失值是否大于预设第二损失阈值，若是，则根据所述身份损失值对所述人脸重建待训练模型进行参数更新，并将更新后的人脸重建待训练模型作为所述人脸重建待训练模型，并返回步骤S31；若否，则将所述人脸重建待训练模型作为人脸重建训练模型。

应理解地，得到人脸重建训练模型能够更好地保存超分辨率图像的身份，提升图像的重建效果。

应理解地，在对比学习的基础上，将人脸识别网络的身份特征表示用作监督信号，利用身份特征来进一步约束对比学习的结果，以获得更高质量的人脸重建图像。

应理解地，正则化处理，即正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。

应理解地，线性模型常用来处理回归和分类任务，为了防止模型处于过拟合状态，需要用L1正则化和L2正则化降低模型的复杂度，很多线性回归模型正则化的文章会提到L1是通过稀疏参数(减少参数的数量)来降低复杂度，L2(即所述L2正则化算法)是通过减小参数值的大小来降低复杂度。正则化方法有很多，L2正则化就是其中一种常见的方法，它的实现主要分为两步。第一步，就是在成本函数后面加点“尾巴”；第二步就是在计算偏导数的时候加点“尾巴”。

具体地，使用在VGGFace2上预训练的FaceNet通过所述深度卷积神经网络将图像(即所述原始人脸图像或所述目标超分辨率图像)映射到128维的特征空间中，以得到对应的128维特征向量(即所述原始人脸特征向量或所述目标超分辨率图像特征向量)，然后对特征向量(即所述原始人脸特征向量或所述目标超分辨率图像特征向量)进行L2正则化，筛选出有效特征，然后通过身份级别的约束，可以获得性能较好的FaceNet模型。通过使用FaceNet所提取的身份特征并将其应用于IECL-FSR中，可以用来约束重建图像的生成，保持低分辨人脸图像和高分辨率人脸图像的面部身份一致性。用I_LR表示低分辨率人脸图像，

表示重建后的人脸图像，I_HR表示目标高分辨率人脸图像，则身份损失可以表示为：

将重建的高分辨率人脸图像I_SR＝F_SR(I_LR)和原始高分辨率人脸图像I_HR投影到身份特征空间，

(即所述正则化后人脸图像)和

(即所述正则化后超分辨率图像)是从人脸识别模型的全连接层中提取的身份特征。

上述实施例中，通过所有的原始人脸图像和所有的目标超分辨率图像对人脸重建待训练模型的人脸重建图像训练分析得到人脸重建训练模型，能够更好地保存超分辨率图像的身份，提升图像的重建效果。

可选地，作为本发明的另一个实施例，本发明旨在重建高保真和身份感知的HR人脸图像。算法利用对比学习，通过对真实人脸图像进行模糊处理生成负样本，使超分辨率图像远离平滑结果，并对真实图像进行锐化以生成信息丰富的正样本，使网络能够提取更详细的信息，为超分辨率图像获得信息丰富的正负对。此外，通过将正、负、锚样本嵌入到有效定义对比损失的特征空间中，使锚样本远离负样本并靠近正样本，因此超分辨率图像可以很好地与负样本分离，同时接近正样本，以提高锚样本与正样本的相似度，最大化特征空间中超分人脸和真实人脸的身份近似度。此外结合使用预训练的模型获取到的身份属性特征，共同优化重构图像以提升其视觉保真度。

可选地，作为本发明的另一个实施例，本发明使用三个指标定量分析SR图像的性能，包括峰值信噪比(Peak Signal to Noise Ratio，PSNR)、结构相似度(StructuraISimilarity，SSIM)和学习感知图像块相似度(Learned Perceptual Image PathSimilarity，LPIPS)。其中，PSNR和SSIM的值越高表示生成的结果越好，而LPIPS的值越低表示生成的结果越好。

LPIPS用于度量两张图像之间的差别，比PSNR和SSIM更符合人类的感知情况，其定义如下：

d为x₀和x之间的距离，LPIPS的值越低表示两张图像越相似。

为了验证本发明的实用性，将本发明与目前最先进的方法进行了对比，对比方法包括通用图像超分辨率算法、人脸图像超分辨率算法以及基于对比学习的图像超分辨算法，通用图像超分辨率算法包括SRFBN、RCAN，人脸图像超分辨率算法包括SISN以及默认的DIDnet算法。

定量的实验结果如表1所示，

表1为不同超分辨率算法在FFHQ数据集上的PSNR，SSIM和LPIPS值

表1中列出了在×4的比例因子下，不同的最先进方法和所提出的方法(IECL-FSR)在FFHQ测试数据集上的实验结果，加粗数字表示最佳结果。可以看出，IECL-FSR在三个指标上都超过了现有的方法。具体来说，IECL-FSR通过结合对比学习框架，并引入身份属性特征，达到了最佳性能。

本发明相比于其他方法，有更优秀的重建能力，且重建性能极佳。本发明通过结合对比学习和循环网络，并引入身份特征，其重建结果包含更清晰、更丰富的纹理，并且由于使用了特征保留损失，使得全局特征也能更好的保留下来，实现了最佳的视觉效果。

图2为本发明实施例提供的一种人脸图像重建装置的模块框图。

可选地，作为本发明的另一个实施例，如图2所示，一种人脸图像重建装置，包括：

第一训练分析模块，用于导入多个原始人脸图像，并构建超分辨率待训练模型，通过各个所述原始人脸图像依次对所述超分辨率待训练模型进行超分辨率图像的训练分析，得到与各个所述原始人脸图像对应的超分辨率训练模型；

图像识别模块，用于通过与各个所述原始人脸图像对应的超分辨率训练模型分别对各个所述原始人脸图像进行图像识别，得到与各个所述原始人脸图像对应的目标超分辨率图像；

第二训练分析模块，用于构建人脸重建待训练模型，通过所有的原始人脸图像和所有的目标超分辨率图像对所述人脸重建待训练模型进行人脸重建图像的训练分析，得到人脸重建训练模型；

人脸图像重建结果模块，用于通过所述人脸重建训练模型分别对各个所述目标超分辨率图像进行图像重建，得到与各个所述原始人脸图像对应的人脸重建图像，并将所有的人脸重建图像作为人脸图像重建结果。

可选地，本发明的另一个实施例提供一种人脸图像重建装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的人脸图像重建方法。该装置可为计算机等装置。

可选地，本发明的另一个实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的人脸图像重建方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸图像重建方法，其特征在于，包括如下步骤：

导入多个原始人脸图像，并构建超分辨率待训练模型，通过各个所述原始人脸图像依次对所述超分辨率待训练模型进行超分辨率图像的训练分析，得到与各个所述原始人脸图像对应的超分辨率训练模型；

通过与各个所述原始人脸图像对应的超分辨率训练模型分别对各个所述原始人脸图像进行图像识别，得到与各个所述原始人脸图像对应的目标超分辨率图像；

构建人脸重建待训练模型，通过所有的原始人脸图像和所有的目标超分辨率图像对所述人脸重建待训练模型进行人脸重建图像的训练分析，得到人脸重建训练模型；

通过所述人脸重建训练模型分别对各个所述目标超分辨率图像进行图像重建，得到与各个所述原始人脸图像对应的人脸重建图像，并将所有的人脸重建图像作为人脸图像重建结果。

2.根据权利要求1所述的人脸图像重建方法，其特征在于，所述超分辨率待训练模型包括一对依次排列的上采样块和一对依次排列的下采样块，所述通过各个所述原始人脸图像依次对所述超分辨率待训练模型进行超分辨率图像的训练分析，得到与各个所述原始人脸图像对应的超分辨率训练模型的过程包括：

S11：通过所述上采样块依次对各个所述原始人脸图像进行上采样分析，得到与各个所述原始人脸图像对应的上采样后人脸图像；

S12：通过所述下采样块依次对各个所述原始人脸图像进行下采样分析，得到与各个所述原始人脸图像对应的原始人脸超分辨率图像；

S13：通过多个预设滤波器依次对各个所述原始人脸超分辨率图像进行图像增强处理，得到与各个所述原始人脸图像对应的正样本集；

S14：通过多个所述预设滤波器依次对各个所述原始人脸超分辨率图像进行降质处理，得到与各个所述原始人脸图像对应的负样本集；

S15：依次对各个所述原始人脸超分辨率图像、与所述原始人脸图像对应的正样本集以及与所述原始人脸图像对应的负样本集进行对比学习损失值的分析，得到与各个所述原始人脸图像对应的对比学习损失值；

S16：依次判断各个所述对比学习损失值是否大于预设第一损失阈值，若是，则根据所述对比学习损失值对所述超分辨率待训练模型进行参数更新，并将更新后的超分辨率待训练模型作为与所述原始人脸图像对应的超分辨率待训练模型，并返回步骤S11；若否，则将所述超分辨率待训练模型作为与所述原始人脸图像对应的超分辨率训练模型。

3.根据权利要求2所述的人脸图像重建方法，其特征在于，所述上采样块包括多个顺序排列的残差通道注意力块、第一3×3卷积层、像素重组层和1×1卷积层；

所述步骤S11的过程包括：

通过多个所述残差通道注意力块依次对各个所述原始人脸图像进行图像放大，得到与各个所述原始人脸图像对应的放大后人脸图像；

通过所述第一3×3卷积层依次对各个所述放大后人脸图像进行首次特征提取，得到与各个所述原始人脸图像对应的首次特征提取后人脸图像；

通过所述像素重组层依次对各个所述首次特征提取后人脸图像进行上采样处理，得到与各个所述原始人脸图像对应的待特征提取人脸图像；

通过所述1×1卷积层依次对各个所述待特征提取人脸图像进行再次特征提取，得到与各个所述原始人脸图像对应的上采样后人脸图像。

4.根据权利要求2所述的人脸图像重建方法，其特征在于，所述下采样块包括第二3×3卷积层、LeakyReLU激活函数层和第三3×3卷积层；

所述步骤S12的过程包括：

通过所述第二3×3卷积层依次对各个所述上采样后人脸图像进行第三次特征提取，得到与各个所述原始人脸图像对应的第三次特征提取后人脸图像；

通过所述LeakyReLU激活函数层依次对各个所述第三次特征提取后人脸图像进行首次映射处理，得到与各个所述原始人脸图像对应的映射后人脸图像；

通过所述第三3×3卷积层依次对各个所述映射后人脸图像进行第四次特征提取，得到与各个所述原始人脸图像对应的原始人脸超分辨率图像。

5.根据权利要求2所述的人脸图像重建方法，其特征在于，所述步骤S13的过程包括：

通过多个预设滤波器和第一式依次对各个所述原始人脸超分辨率图像进行图像增强处理，得到与各个所述原始人脸图像对应的正样本集，所述第一式为：

其中，I_P为第i个原始人脸超分辨率图像对应的正样本集，

为第i个原始人脸超分辨率图像，RF为图像增强操作，sp_i为第i个正样本图像，P为正样本图像的数量。

6.根据权利要求2所述的人脸图像重建方法，其特征在于，所述步骤S14的过程包括：

通过多个所述预设滤波器和第二式依次对各个所述原始人脸超分辨率图像进行降质处理，得到与各个所述原始人脸图像对应的负样本集，所述第二式为：

其中，I_N为第j个原始人脸超分辨率图像对应的负样本集，

为第j个原始人脸超分辨率图像，DG为降质函数，sn_j为第j个负样本图像，N为负样本图像的数量。

7.根据权利要求2所述的人脸图像重建方法，其特征在于，所述步骤S15的过程包括：

依次将各个所述原始人脸超分辨率图像以及与各个所述原始人脸图像对应的正样本集一并作为与各个所述原始人脸图像对应的正对图像集；

依次将各个所述原始人脸超分辨率图像以及与各个所述原始人脸图像对应的负样本集一并作为与各个所述原始人脸图像对应的负对图像集；

利用特征提取网络依次对各个所述正对图像集以及与各个所述原始人脸图像对应的负对图像集进行特征图的提取，得到与各个所述原始人脸图像对应的正对特征图以及与各个所述原始人脸图像对应的负对特征图；

通过第三式依次对各个所述正对特征图、与各个所述原始人脸图像对应的原始人脸超分辨率图像、与各个所述原始人脸图像对应的正样本集、与各个所述原始人脸图像对应的负对特征图以及与各个所述原始人脸图像对应的负样本集进行对比学习损失值的计算，得到与各个所述原始人脸图像对应的对比学习损失值，所述第三式为：

其中，L_c为对比学习损失值，(G(I_SR)，G(I_p))为正对特征图，(G(I_SR),G(I_N))为负对特征图，I_SR为原始人脸超分辨率图像，I_p为正样本集，I_N为负样本集，E()为期望值，α和β均为超参数。

8.根据权利要求1所述的人脸图像重建方法，其特征在于，所述通过所有的原始人脸图像和所有的目标超分辨率图像对所述人脸重建待训练模型进行人脸重建图像的训练分析，得到人脸重建训练模型的过程包括：

S31：通过深度卷积神经网络分别对各个所述原始人脸图像以及各个所述目标超分辨率图像进行特征向量的提取，得到与各个所述原始人脸图像对应的原始人脸特征向量以及与各个所述目标超分辨率图像对应的目标超分辨率图像特征向量；

S32：利用L2正则化算法分别对与各个所述原始人脸图像对应的原始人脸特征向量以及与各个所述目标超分辨率图像对应的目标超分辨率图像特征向量进行正则化处理，得到与各个所述原始人脸图像对应的正则化后人脸图像以及与各个所述原始人脸图像对应的正则化后超分辨率图像；

S33：通过第四式对所有的正则化后人脸图像和所有的正则化后超分辨率图像进行身份损失值的计算，得到身份损失值，所述第四式为：

其中，L_idt为身份损失值，

为第i个原始人脸图像对应的正则化后人脸图像，

为第i个原始人脸图像对应的正则化后超分辨率图像，N'为原始人脸图像的数量；

S34：判断所述身份损失值是否大于预设第二损失阈值，若是，则根据所述身份损失值对所述人脸重建待训练模型进行参数更新，并将更新后的人脸重建待训练模型作为所述人脸重建待训练模型，并返回步骤S31；若否，则将所述人脸重建待训练模型作为人脸重建训练模型。

9.一种人脸图像重建装置，其特征在于，包括：

第一训练分析模块，用于导入多个原始人脸图像，并构建超分辨率待训练模型，通过各个所述原始人脸图像依次对所述超分辨率待训练模型进行超分辨率图像的训练分析，得到与各个所述原始人脸图像对应的超分辨率训练模型；

图像识别模块，用于通过与各个所述原始人脸图像对应的超分辨率训练模型分别对各个所述原始人脸图像进行图像识别，得到与各个所述原始人脸图像对应的目标超分辨率图像；

第二训练分析模块，用于构建人脸重建待训练模型，通过所有的原始人脸图像和所有的目标超分辨率图像对所述人脸重建待训练模型进行人脸重建图像的训练分析，得到人脸重建训练模型；

人脸图像重建结果模块，用于通过所述人脸重建训练模型分别对各个所述目标超分辨率图像进行图像重建，得到与各个所述原始人脸图像对应的人脸重建图像，并将所有的人脸重建图像作为人脸图像重建结果。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至8任一项所述的人脸图像重建方法。

Images