CN110706157A - 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于身份先验生成对抗网络的人脸超分辨率重建方法，首先读取原始人脸图片数据集；然后使用人脸图像‑身份标签对训练人脸特征提取网络；第三读取高分辨率人脸图像进行双三次插值下采样，获得用于模型训练的高分辨率人脸图像‑低分辨率人脸图像对；第四将低分辨率人脸图像输入到生成器网络生成超分辨率人脸图像；接着将高分辨率人脸图像和超分辨率人脸图像分别输入到训练好的人脸特征提取网络，提取高分辨率人脸图像和超分辨率人脸图像身份先验特征；再将高分辨率人脸图像和超分辨率图像以及对应的身份先验特征分输入到判别器网络，使用判别器网络输出计算有监督对抗损失函数，使用误差反向传播训练生成对抗网络。

Description

一种基于身份先验生成对抗网络的人脸超分辨率重建方法

技术领域

本发明涉及图像重建方法领域，具体涉及一种基于身份先验生成对抗网络的人脸超分辨率重建方法。

背景技术

随着机场、地铁、购物中心等拥挤区域的安防标准不断提高，基于机器视觉的智能监控系统受到了越来越多的关注。大多数监控视频为了得到更广阔的视野，通常采集到的人脸分辨率较小，相对于清晰、高分辨率人脸图片，小尺度人脸图片区分度和信息量都大大降低，因此监控视频人脸识别系统需要针对小尺度人脸图片进行超分辨率重建操作。超分辨率重建方法可以恢复人脸图片的纹理细节，提高低分辨率图片人脸识别准确度。

目前，关于人脸图像超分辨的算法已经被研究了许多年，但是大多数基于深度学习的人脸图像超分辨率重建算法仅使用均方误差(MSE)作为损失函数，造成重建的人脸图片过于平滑，缺少纹理细节，不利于后续的人脸识别。基于生成对抗网络的人脸图像超分辨率重建方法容易引入噪声，影响人脸识别准确度。因此如何针对低分辨率人脸图片，研究更加有效的超分辨率重建方法，提高低分辨率人脸识别准确度，成为监控视频人脸识别的关键问题。

现有的人脸图像超分辨率方法可以分为三种类型：基于插值的方法，基于统计的方法和基于学习的方法。在早期，前两类方法因其计算效率优势而得到广泛的关注。但是，这两类方法总是局限于较小的超分辨率倍数(2×超分辨)，超分辨率倍数增大时(4×或者8×超分辨)效果较差。基于学习的方法【1】使用大量的低分辨率-高分辨率图像对来训练人脸超分辨率重建模型，使得训练好的模型可以根据输入低分辨率图片来推断出输入图片所缺失的高频信息，并且在较大放大倍数时也可以得到较好的超分辨率重建效果。基于深度学习的方法具有从大规模数据库中学习知识的强大能力，因而被引入到图像超分辨率重建问题。但是这些基于卷积神经网络的方法大多数主要使用均方误差(MSE)损失函数【2】来学习低分辨率图像到高分辨率图像之间的映射关系，当输入图像分辨率非常低并且放大倍数很大时，就会导致输出过度平滑缺少有区分度的纹理细节。

目前人脸图像超分辨率重建领域主要有三种方法来缓解过度平滑问题。第一种是利用人脸分析技术来学习人脸图像的先验信息。刘等人【3】在重建高分辨率人脸图像之前估计人脸的关键点和人脸姿势信息，但是当人脸图片分辨率特别小时这些先验信息很难得到准确估计。朱等人【4】提出了人脸超分辨率重建和场景估计的统一框架，以恢复纹理细节。他们在较小的人脸图像上实现了最先进的超分辨率重建结果，但是在各种姿态和遮挡条件下，由于难以进行准确的场景估计，超分辨重建结果并不理想。第二种方法是引入语义损失函数，直接提升输出图像所包含的语义信息。约翰逊等人【5】使用预先训练好的分类模型提取特征计算损失作为语义损失来恢复更多的语义信息。然而，其缺点是特征直接作为损失函数并不是非常直观。最后一种方式【6】是用生成模型引入图像先验知识。于等人【7】提出一个生成对抗网络(GAN【8】)来对16×16像素大小的人脸图像进行8×超分辨。生成对抗网络可以恢复更加真实的纹理细节，但是传统无监督的生成对抗网络学习方式使得生成的图像与原始图像差距较大，无法用于监控视频低分辨率图像人脸识别，因此需要针对这一问题加以改进。

【1】Dong C,Loy C C,He K,et al.Image super-resolution using deepconvolutional networks[J].IEEE transactions on pattern analysis and machineintelligence,2015,38(2):295-307.

【2】Shi W,Caballero J,Huszár F,et al.Real-time single image and videosuper-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2016:1874-1883.

【3】Liu W,Lin D,Tang X.Hallucinating faces:Tensorpatch super-resolution and coupled residue compensation[C]//2005IEEE Computer SocietyConference on Computer Vision and Pattern Recognition(CVPR'05).IEEE,2005,2:478-484.

【4】Zhu S,Liu S,Loy C C,et al.Deep cascaded bi-network for facehallucination[C]//European conference on computer vision.Springer,Cham,2016:614-630.

【5】Johnson J,Alahi A,Fei-Fei L.Perceptual losses for real-time styletransfer and super-resolution[C]//European conference on computervision.Springer,Cham,2016:694-711.

【6】Ledig C,Theis L,Huszár F,et al.Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2017:4681-4690.

【7】Yu X,Porikli F.Ultra-resolving face images by discriminativegenerative networks[C]//European conference on computer vision.Springer,Cham,2016:318-333.

【8】Goodfellow I,Pouget-Abadie J,Mirza M,et al.Generative adversarialnets[C]//Advances in neural information processing systems.2014:2672-2680.

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于身份先验生成对抗网络的人脸超分辨率重建方法，提高监控视频低分辨率人脸识别精度，准确恢复超分辨重建人脸图像的纹理细节，并提高超分辨率重建人脸图像的人脸识别精度。

本发明的技术方案：一种基于身份先验生成对抗网络的人脸超分辨率重建方法，首先读取用于训练网络的原始人脸图片数据集；然后使用人脸图像-身份标签对训练人脸特征提取网络；第三读取高分辨率人脸图像进行双三次插值下采样，获得用于模型训练的高分辨率人脸图像-低分辨率人脸图像对；第四将低分辨率人脸图像输入到生成器网络生成超分辨率人脸图像；第五将高分辨率人脸图像和超分辨率人脸图像分别输入到训练好的人脸特征提取网络，提取高分辨率人脸图像和超分辨率人脸图像身份先验特征；第六再将高分辨率人脸图像和超分辨率图像和对应的身份先验特征分输入到判别器网络，使用判别器网络输出计算有监督对抗损失函数，使用误差反向传播训练生成对抗网络。

具体包括以下步骤：

Step 1：建立用于训练有监督的生成对抗网络与用于人脸的特征提取网络的原始人脸图片数据集，将数据集分为训练集和验证集；所述人脸图片数据集包含人脸图片和身份标签；所述有监督的生成对抗网络包含生成器网络和判别器网络；

Step 2：随机分批提取训练集中的人脸图片-身份标签对，输入到特征提取网络，利用特征提取网络输出计算softmax损失函数，使用误差反向传播方法训练人脸特征提取网络；

Step 3：随机分批提取训练集中的人脸图片作为高分辨率人脸图片，将高分辨率人脸图片进行双三次插值下采样到设定的分辨率作为低分辨率人脸图片，获得用于训练有监督生成对抗网络的高分辨率人脸图像-低分辨率人脸图像对；

Step 4：将低分辨率人脸图片输入到生成器网络，生成超分辨率人脸图像，即生成器网络生成的人脸图像即为超分辨率人脸图像；

Step 5：将高分辨率人脸图像或超分辨率人脸图像输入到训练好的特征提取网络，提取特征提取网络的中间层输出，作为对应的人脸图像身份先验特征；

Step 6：将高分辨率人脸图像或超分辨率人脸图像和对应的人脸图像身份先验特征输入到判别器网络中，使用判别器网络的输出计算有监督的对抗损失函数，使用误差反向传播训练有监督的生成器网络，最终得到训练好的生成器网络；

Step7；计算高分辨率人脸图像和超分辨率人脸图像之间的峰值信噪比是否达到设计要求，即峰值信噪比不再提高即符合设计要求；如果达到设计要求，则输出最终训练好的生成器网络，否则继续继续提取训练集中人脸图片-身份标签对；

Step8：最终得到训练完成的生成器网络作为低分辨率人脸超分辨率重建模型，输入低分辨率人脸图像得到超分辨率人脸图像。

所述步Step2中，特征提取网络的结构和训练过程为；

特征提取网络输入为高分辨率人脸图像或者超分辨率人脸图像，然后使用9个卷积核大小3×3、步长为1的卷积层提取特征，卷积层通道数分别为8-＞8-＞8-＞16-＞16-＞32-＞32-＞64-＞64；然后通过均值池化层和全连接层输出128维特征计算softmax损失函数；然后使用误差反向传播方法训练特征提取网络，训练完成的特征提取网络输出的中间层特征即为人脸图像身份先验特征。

所述Step 4中，生成器网络的结构为：

输入为低分辨率人脸图像，首先使用9个卷积核大小3×3、步长为1的卷积层提取特征，卷积层通道数分别为128-＞128-＞128-＞256-＞256-＞512-＞512-＞1024-＞1024；然后使用卷积核大小3×3步长为1的子像素卷积层将特征图放大到高分辨率图像大小，输出通道数为64；最后使用通道数为3、卷积核大小为3×3、步长为1、通道数为3的卷积层输出超分辨率人脸图像。

所述Step6具体实现过程如下；判别器网络输入为高分辨率人脸图像或者超分辨率人脸图像，然后使用9个卷积核大小为3×3、步长为1的卷积层提取特征，卷积层通道数分别为8-＞8-＞8-＞16-＞16-＞32-＞32-＞64-＞64；同时将Step5中提取的人脸身份先验特征输入到判别器网络的第1、3、5、7、9层，输入方式为通道方向上拼接；最后通过均值池化层和全连接层输出判别值，计算有监督对抗损失函数：

L_SupD＝-min(0，D(x，y)-D(x，G(x))-1)

L_SupG＝D(x，y)-D(x，G(x))

其中：L_SupD为有监督的判别器损失函数，L_SupG为有监督的生成器损失函数；x为低分辨率输入图像，y为对应的高分辨率人脸图像；D(.)为判别器网络，G(.)为生成器网络，有监督的判别器损失函数L_SupD目的是区分高分辨率人脸图像和超分辨率人脸图像，有监督的生成器损失函数是使高分辨率人脸图像和超分辨率人脸图像区别最小；然后使用L_SupG训练判别器网络，使用L_SupD训练生成器网络，更新生成器网络参数，得到训练好的生成器网络。

本发明与现有技术相比的优点在于：

(1)能够有效的提高超分辨率重建人脸图像相似度

传统基于生成对抗网络的人脸图片超分辨率重建方法使用无监督的对抗损失函数，因此超分辨率重建出的人脸图片与原图差别较大，纹理细节差异较大。本发明针对监控视频人脸识别问题对相似度要求较高的特点，引入有监督的生成对抗网络，在恢复更多人脸纹理细节的同时，保证超分辨率重建出的人脸与原图的相似度。

(2)能够有效提高低分辨率图像人脸识别准确度

传统的超分辨率网络仅仅使用图像的像素信息，而对与人脸识别来说重要的信息是人脸的身份先验信息，因此引入身份先验信息对于低分辨率人脸识别问题至关重要。本发明在有监督生成对抗网络中引入人脸身份先验信息，在准确恢复人脸图片纹理细节的同时，使得判别器网络更加关注与人脸识别相关的纹理细节，更加有利于提高低分辨率人脸识别问题准确度。

附图说明

图1为本发明的人脸超分辨率重建网络训练流程图；

图2为本发明的预训练的人脸识别网络，网络输入为高分辨率/超分辨率人脸图像；

图3为本发明提出的基于身份先验信息的有监督判别器网络整体结构；

图4为不同方法8×超分辨率重建结果与细节放大比较，(a).双三次插值，(b).原始高分辨率图像(c).传统生成对抗网络(d).本发明提出的基于身份先验有监督生成对抗网络的人脸图像超分辨率重建方法。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1所示，本发明方法具体实现如下：

Step 1)：读取原始人脸图片数据集；

建立用于训练模型训练有监督生成对抗网络(包含生成器网络和判别器网络)与人脸的特征提取网络的原始人脸图片数据集，将数据集分为训练集和验证集；

Step 2)：使用人脸图像-身份标签对训练人脸特征提取网络；

随机分批提取训练集中的人脸图片-身份标签对，输入到特征提取网络，如图2所示，特征提取网络输入为高分辨率/超分辨率人脸图像，因此训练好的人脸识别网络可以学习到从低分辨率人脸图像到对应的高分辨率人脸图像之间的映射函数作为人脸图像身份先验信息。单张图片超分辨率重建问题与人脸图像超分辨率重建问题的最大区别在于不同的人脸图像具有相似的语义结构。低分辨率人脸图片缺失的像素可以从人脸结构的先验知识推断出，因此在解决人脸图片超分辨率重建问题时充分利用人脸的结构信息是至关重要的。为了充分利用人脸结构信息，本发明选择利用身份先验信息学习人脸结构先验知识。单张图片人脸超分辨率重建的主要目的是获得更高的人脸识别准确度。因此，身份先验信息的引入可以提高超分辨率人脸图像的识别准确度。其次，人脸图像最容易获取的先验信息是身份先验信息。目前有多个公开的数据库包含有数百万个带有身份标签的人脸图像。

受近期人脸识别结果的启发，本发明的人脸识别网络采用了softmax损失函数作为分类损失函数。由于超分辨率模型的主要目标是学习从低分辨率输入人脸图像到对应的高分辨率人脸图像的映射函数，人发明的脸识别模型将高分辨率人脸图像和通过上采样处理的低分辨率人脸图像在颜色通道上拼接在一起作为网络输入。

人脸识别模型的详细训练过程如图2所示，人脸特征提取网络结构与判别器网络结构相同，输入高分辨率或者超分辨率人脸图像作为输入；然后使用9个卷积核大小3×3、步长为1的卷积层提取特征，卷积层通道数分别为8-＞8-＞8-＞16-＞16-＞32-＞32-＞64-＞64；然后通过均值池化层和全连接层输出128维特征计算softmax损失函数；然后使用误差反向传播方法训练特征提取网络。然后，使用训练完成的人脸识别网络作为预训练的人脸特征提取网络处理超分辨率人脸图像/真实高分辨率人脸图像，提取人脸特征图作为人脸身份先验特征。如图3所示，使用训练完成的人脸识别网络作为预训练的人脸特征提取网络将真实高分辨率人脸图像和超分辨率人脸图像提取的人脸特征图发送到基于身份先验信息的判别器网络。

Step 3)：读取高分辨率人脸图像进行双三次插值下采样，获得用于模型训练的高分辨率人脸图像-低分辨率人脸图像对；

随机分批提取训练集中的人脸图片作为高分辨率人脸图片，将高分辨率人脸图片进行双三次插值下采样到指定分辨率作为低分辨率人脸图片，获得用于训练有监督生成对抗网络的高分辨率人脸图像-低分辨率人脸图像对；

Step 4)：将低分辨率人脸图像输入到超分辨率生成器网络生成超分辨率人脸图像；

超分辨率网络输入为低分辨率人脸图像，首先使用9个卷积核大小3×3、步长为1的卷积层提取特征，卷积层通道数分别为128-＞128-＞128-＞256-＞256-＞512-＞512-＞1024-＞1024；然后使用卷积核大小3×3步长为1的子像素卷积层将特征图放大到高分辨率图像大小，输出通道数为64；最后使用通道数为3的3×3卷积输出超分辨率人脸图像。

Step 5)：将高分辨率人脸图像和超分辨率人脸图像分别输入到训练好的人脸特征提取网络，提取高分辨率人脸图像和超分辨率人脸图像身份先验特征；

将高分辨率人脸图像或超分辨率人脸图像输入到训练好的人脸特征提取网络，特征提取网络输入为高分辨率人脸图像或者超分辨率人脸图像，然后使用9个卷积核大小3×3、步长为1的卷积层提取特征，卷积层通道数分别为8-＞8-＞8-＞16-＞16-＞32-＞32-＞64-＞64；然后提取第1、3、5、7、9层输出特征作为输入图像的人脸身份先验特征。

Step 6)：将高分辨率人脸图像和超分辨率图像和对应的身份先验特征分输入到判别器网络，使用判别器网络输出计算有监督对抗损失函数，使用误差反向传播训练生成对抗网络；

如图3所示，所有方块代表卷积层，卷积核大小为3×3，步幅为1，通道大小为每层下的数字。判别器的输入是高分辨率(或超分辨率)人脸图像，然后使用9个卷积核大小为3×3、步长为1的卷积层提取特征，卷积层通道数分别为8-＞8-＞8-＞16-＞16-＞32-＞32-＞64-＞64；同时将Step5中提取的人脸身份先验特征输入到判别器网络的第1、3、5、7、9层，输入方式为通道方向上拼接；最后通过均值池化层和全连接层输出判别值，计算有监督对抗损失函数。

为了增加超分辨率人脸图像的纹理细节信息，本发明采用了生成对抗网络框架。传统的生成对抗网络输入单张图片输出单个标量数字来表示输入图像属于真实高分辨率图像的概率。但是传统的无监督生成对抗网络容易引入噪声。因此与传统生成对抗网络框架不同，本发明提出基于身份先验信息的有监督生成对抗网络使用高分辨率-超分辨率图像对计算有监督的对抗损失函数，如图3所示。本发明提出的判别器采用全卷积网络架构，没有全连接层。由于全卷积网络架构可以端到端和像素到像素的进行训练，因此非常适合本发明提出的基于身份先验信息的判别器网络。同时判别器网络通过1×1卷积层引入残差连接，使得底层特征可以直接传递到高层特征图。通过残差连接，本发明的判别器可以设计得更深，以便输出判别矩阵的每个元素都可以实现更大的视野和更强的拟合能力。本发明提出的有监督对抗损失函数定义为：

L_SupD＝-min(0，D(x，y)-D(x，G(x))-1)

L_SupG＝D(x，y)-D(x，G(x))

其中：L_SupD为有监督的判别器损失函数，L_SupG为有监督的生成器损失函数；x为低分辨率输入图像，y为对应的高分辨率人脸图像；D(.)为判别器网络，G(.)为生成器网络。有监督的判别器损失函数L_SupD目的是尽可能区分高分辨率人脸图像和超分辨率人脸图像，有监督的生成器损失函数是使高分辨率人脸图像和超分辨率人脸图像区别尽可能小。

为了提高低分辨率人脸图像识别精度，引入预训练的人脸识别模型提取人脸特征图作为身份先验。同时从预训练的人脸识别模型中提取到的人脸特征图也被用于计算感知损失。为了获得更高的低分辨率人脸识别精度和良好的视觉质量，本发明提出了如图3所示的基于身份先验的判别器，其可以最好地利用提取到的人脸特征作为身份先验信息。具体来说，将从预训练的人脸识别模型中提取的低、中和高级人脸特征与判别器的相应层相连接，用于指导基于身份先验的判别器训练。如图3所示，由于人脸识别模型和判别器具有相同的网络结构，因此可以将从预训练的人脸识别模型中提取的人脸特征发送到判别器的相应层。

总之，基于身份信息的判别器不仅将高分辨率人脸图像和上采样的低分辨率人脸图像作为输入，而且还考虑提取的人脸特征。由于提取的人脸特征主要集中在对于人脸识别准确性至关重要的人脸细节上，基于身份先验信息的判别器可以更多地关注与人脸识别相关的人脸细节并忽略其他不相关的细节。因此，本发明所提出的基于身份先验信息的判别器网络可以从特征级别增强生成的超分辨率人脸图像，并且有助于人脸识别准确性。

虽然逐像素方式的均方误差损失函数可以实现了高的峰值信噪比指标，但它经常导致图像模糊，恢复的人脸图像不真实且缺乏纹理细节。为了解决这个问题，本发明引入了感知损失以确保超分辨率人脸图像和高分辨率人脸图像在特征空间中也必须接近并且可以保持更多纹理细节。本发明使用特别训练的人脸识别模型来提取与人脸识别相关的特征图。提取的人脸识别特征图的大小为rW×rH，并将基于身份的感知损失定义为：

其中：L_id为身份相关语义损失函数；W和H代表低分辨率图像的宽和高，r代表超分辨率倍数；F(.)为预训练的人脸特征提取网络，G(.)为生成器网络；x为低分辨率输入图像，y为对应的高分辨率人脸图像；

通过将身份相关语义损失函数L_id与生成对抗性损失相结合，可以有效地避免由对抗性损失引入的噪声。因此，基于身份先验信息生成对抗网络的损失函数定义为：

L_D＝L_SupD

L_G＝L_SupG+L_id

其中：L_D为总体判别器损失函数，L_G为总体生成器损失函数；D(.)为判别器网络，通过生成器和判别器交替训练，生成器网络可以使超分辨率重建人脸图片更加接近真实高分辨率人脸图片。图4展示了本发明提出的基于身份信息的生成对抗网络人脸超分辨率重建方法与传统方法比较结果，(a).双三次插值，(b).原始高分辨率图像(c).传统生成对抗网络(d).本发明提出的基于身份先验有监督生成对抗网络的人脸图像超分辨率重建方法。可以看出本发明提出的方法可以在恢复更多纹理信息的同时保证超分辨结果的准确性。

Step 7)；计算验证集上超分辨率重建人脸图像和高分辨率人脸图像之间的峰值信噪比是否达到设计要求；如果达到要求，则输出最终训练好的生成器网络，否则继续读取训练数据训练模型。

计算验证集上超分辨率重建人脸图像和高分辨率人脸图像之间的峰值信噪比：

其中：y(i，j)表示高分辨率人脸图像坐标(i，j)位置的像素值，

表示超分辨率人脸图像坐标(i，j)位置的像素值，W、H分别表示图像的宽度和高度；MSE是高分辨率人脸图像和超分辨率人脸图像之间的均方误差，PSNR是高分辨率人脸图像和超分辨率人脸图像之间的峰值信噪比。

Step 8)：最终得到训练完成的生成器网络作为低分辨率人脸超分辨率重建模型，输入低分辨率人脸图像可以得到超分辨率人脸图像。

总之，本发明提高了监控视频低分辨率人脸识别精度；使用有监督的生成对抗网络，准确恢复超分辨重建人脸图像的纹理细节；使用身份先验信息协助生成对抗网络训练，提高了超分辨率重建人脸图像的人脸识别精度。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (4)

1.一种基于身份先验生成对抗网络的人脸超分辨率重建方法，其特征在于，包括以下步骤：

Step 1：建立用于训练有监督的生成对抗网络与用于人脸的特征提取网络的原始人脸图片数据集，将数据集分为训练集和验证集；所述人脸图片数据集包含人脸图片和身份标签；所述有监督的生成对抗网络包含生成器网络和判别器网络；

Step 2：随机分批提取训练集中的人脸图片-身份标签对，输入到特征提取网络，利用特征提取网络输出计算softmax损失函数，使用误差反向传播方法训练人脸特征提取网络；

Step 3：随机分批提取训练集中的人脸图片作为高分辨率人脸图片，将高分辨率人脸图片进行双三次插值下采样到设定的分辨率作为低分辨率人脸图片，获得用于训练有监督生成器网络的高分辨率人脸图像-低分辨率人脸图像对；

Step 4：将低分辨率人脸图片输入到生成器网络，生成超分辨率人脸图像，即生成器网络生成的人脸图像即为超分辨率人脸图像；

Step 5：将高分辨率人脸图像或超分辨率人脸图像输入到训练好的特征提取网络，提取特征提取网络的中间层输出，作为对应的人脸图像身份先验特征；

Step 6：将高分辨率人脸图像或超分辨率人脸图像和对应的人脸图像身份先验特征输入到判别器网络中，使用判别器网络的输出计算有监督的对抗损失函数，使用误差反向传播训练有监督的生成器网络，最终得到训练好的生成器网络；

Step 7；计算高分辨率人脸图像和超分辨率人脸图像之间的峰值信噪比是否达到设计要求，即峰值信噪比不再提高即符合设计要求；如果达到设计要求，则输出最终训练好的生成器网络，否则继续继续提取训练集中人脸图片-身份标签对；

Step 8：最终得到训练完成的生成器网络作为低分辨率人脸超分辨率重建模型，输入低分辨率人脸图像得到超分辨率人脸图像。

2.根据权利要求1所述的一种基于身份先验生成对抗网络的人脸超分辨率重建方法，其特征在于：所述步Step 2中，特征提取网络的结构和训练过程为：

特征提取网络输入为高分辨率人脸图像或者超分辨率人脸图像，然后使用9个卷积核大小3×3、步长为1的卷积层提取特征，卷积层通道数分别为8->8->8->16->16->32->32->64->64；然后通过均值池化层和全连接层输出128维特征计算softmax损失函数；然后使用误差反向传播方法训练特征提取网络，训练完成的特征提取网络输出的中间层特征即为人脸图像身份先验特征。

3.根据权利要求1所述的一种基于身份先验生成对抗网络的人脸超分辨率重建方法，其特征在于：所述Step 4中，生成器网络的结构为：

输入为低分辨率人脸图像，首先使用9个卷积核大小3×3、步长为1的卷积层提取特征，卷积层通道数分别为128->128->128->256->256->512->512->1024->1024；然后使用卷积核大小3×3步长为1的子像素卷积层将特征图放大到高分辨率图像大小，输出通道数为64；最后使用通道数为3、卷积核大小为3×3、步长为1、通道数为3的卷积层输出超分辨率人脸图像。

4.根据权利要求1所述的一种基于身份先验生成对抗网络的人脸超分辨率重建方法，其特征在于：所述Step 6具体实现过程如下；判别器网络输入为高分辨率人脸图像或者超分辨率人脸图像，然后使用9个卷积核大小为3×3、步长为1的卷积层提取特征，卷积层通道数分别为8->8->8->16->16->32->32->64->64；同时将Step5中提取的人脸身份先验特征输入到判别器网络的第1、3、5、7、9层，输入方式为通道方向上拼接；最后通过均值池化层和全连接层输出判别值，计算有监督对抗损失函数：

L_supD＝-min(0，D(x，y)-D(x，G(x))-1)

L_supG＝D(x，y)-D(x，G(x))

其中：L_SupD为有监督的判别器损失函数，L_SupG为有监督的生成器损失函数；x为低分辨率输入图像，y为对应的高分辨率人脸图像；D(.)为判别器网络，G(.)为生成器网络，有监督的判别器损失函数L_supD目的是区分高分辨率人脸图像和超分辨率人脸图像，有监督的生成器损失函数是使高分辨率人脸图像和超分辨率人脸图像区别最小；然后使用L_supG训练判别器网络，使用L_SupD训练生成器网络，更新生成器网络参数，得到训练好的生成器网络。

Images