CN107977932B - 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 - Google Patents

Abstract

一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法属于数字图像/视频信号处理领域，首先设计了人脸细节信息增强的处理流程；然后根据此流程进行网络结构的设计，LR图像通过该网络得到HR图像；最后，HR图像通过人脸识别网络进行人脸验证准确性评估。本发明可完成含有LR人脸图像细节信息的增强，并提升人脸验证的准确性；其次，本发明的生成网络先完成图像高频信息的补偿，再由亚像素卷积完成图像放大，最后级联结构完成图像逐步放大，完成图像细节信息增强；属性约束模块与感知模块、对抗模型协同训练，一起微调生成网络重建图像的性能；最后，本发明将生成网络的重建图像输入人脸验证网络，人脸验证的准确性有所提升。

Description

一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率 重建方法

技术领域

本发明属于数字图像/视频信号处理领域，特别涉及一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法。

背景技术

随着多媒体技术的快速发展和广泛应用，高质量的图像和视频越来越具有应用价值。在视频监控中，人脸是最重要的对象之一。然而，受采集距离、环境光照、压缩失真等各种因素的影响，视频监控等应用中的人脸图像往往是模糊不清、低分辨率的低质量图像，严重影响后续智能化人脸分析技术的应用。现有方法多采用基于深度学习的图像超分辨率复原方法改善低分辨率图像的图像质量，但是，这些方法多以提高图像主观质量或像素差PSNR为目标，难以有效提高人脸图像的机器识别率。因此，针对缺乏细节信息的人脸图像，研究面向识别的人脸可鉴别细节信息增强技术，具有重要的理论意义和实际应用价值。

近年来，基于深度学习的图像复原技术受到了人们的关注，这类图像复原方法避免了传统方法的手工设计特征的过程，仅通过卷积神经网络CNN(Convolutional NeuralNetwork)端对端学习图像层级特征，得到低分辨率图像LR(Low Resolution)与高分辨率图像HR(High Resolution)的映射关系。人脸图像具有极强的结构性，在小尺寸(26×26像素)图像低倍数(×2倍)放大的情况下，CNN的图像复原方法会得到较好的结果，恢复了重要的高频纹理信息。然而，当图像的放大倍数(×4倍)或可用的输入图像较小的情况下，图像复原的结果过于平滑，缺失重要的高频细节，失去人脸图像细节上的真实感。

现有图像复原算法主要围绕人脸结构特征、人脸鲁棒特征提取及人脸局部与全局特征相结合等方法开展研究。在人脸结构特征的方法中，首先检测LR人脸图像的眼睛、鼻子和嘴等；然后，经对齐处理后的LR人的结构特征作为学习对象构建人脸超分辨率重建算法；最后拼接而成重建图像。该方法实现了不同姿势下的人脸超分辨率复原，但是它依赖于训练样本几何位置准确配准，计算复杂度较高。另外，该方法仅完成LR人脸的初步放大，尚未考虑LR人脸细节信息的增强。在人脸鲁棒特征提取的方法中，该方法先采用CNN网络学习LR人脸的鲁棒特征；再将二者输入双通道全连接网络，一起学习获得图像高频信息和线性组合系数最后，由插值放大的LR图像与高频信息线性组合而成重建图像。该方法对模糊的LR人脸图像取得了较好的重建效果，但是其重建过程较多，算法计算量较大。在待重建人脸图像尺寸较小且图像质量较差时，该方法的有效性将受到制约。在人脸局部与全局特征相结合的方法中，首先，由反卷积网络获得LR图像放大后的轮廓；然后，由全连接编码网络获得人脸全局信息；最后，将人脸轮廓与全局信息融合，经过全连接网络处理后得到重建人脸图像。该方法充分考虑了人脸图像细节信息的增强，并获得了较好的效果。但是，针对含表情的LR人脸图像，该方法仅恢复了人脸图像部分细节信息，且人脸五官存在变形。

以上人脸图像复原方法为LR人脸图像细节信息增强带来启示，同时仍有一些问题有待解决。由于基于CNN图像复原方法学习能力受限，当小尺寸人脸图像高倍数图像放大时，这些方法未能较好的增强人脸细节信息，与真实的高分辨率人脸图像差距较大；此外，这些方法缺乏人脸属性信息的约束，对重建图像的质量、人脸验证的准确性造成影响。

发明内容

本发明的目的在于克服现有技术的不足，针对LR人脸图像细节信息丢失及人脸验证准确率低的问题，提供一个基于人脸属性约束的生成对抗网络。这个网络不仅能完成低分辨率人脸图像细节信息增强，还能改善低分辨率人脸验证的准确性。

本发明采用以下技术手段实现：一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法，该方法的整体流程主要包括离线部分和在线部分。

首先设计了人脸细节信息增强的处理流程；然后根据此流程进行网络结构的设计，LR图像通过该网络得到HR图像；最后，HR图像通过人脸识别网络进行人脸验证准确性评估；

离线部分：主要包括训练样本库生成；网络训练。其中，训练样本库生成方法中包括HR图像人脸检测，人脸对齐和人脸降质；网络训练包括损失函数、优化算法的选取；

在线部分：主要包括LR人脸图像特征提取；残差学习；图像放大；图像重建。其中，重建后的人脸图像将被用来人脸验证。

所述的整体流程，具体步骤如下：

(1)本发明的整体流程。如附图1所示，人脸细节信息增强的处理流程主要包括人脸图像预处理、特征提取、残差学习，图像亚像素放大，级联放大。其中，重建图像后加入了人脸验证模块，本发明的人脸图像复原流程具体如下：

当输入图像含人脸对象时，先进行图像预处理，采用人脸检测，人脸对齐得到LR人脸图像，再对LR图像进行人脸图像复原。LR人脸图像复原包括特征学习和图像放大等阶段。特征学习阶段主要包括特征提取、残差学习等步骤，先对LR人脸图像进行特征提取，得到人脸图像的高频信息，再采用残差学习将LR人脸图像与它的高频信息相融合，得到LR高频信息融合图像。图像放大阶段主要包括图像放大和级联放大等步骤，先对LR高频信息融合图像放大，产生放大a倍的特征图；若进行更大倍数的图像放大，可以采用级联放大模块得到HR重建图像，其中，重建图像的尺寸是输入低分辨率图像尺寸的2a倍，级联放大模型也包括特征提取，残差学习，图像放大等阶段；最后，为了验证人脸图像复原对人脸验证的影响，采用人脸验证模型测试其准确性。

(2)本发明设定的网络结构，各层对应于人脸图像复原的处理流程，具有不同的物理意义。现有的GAN(Generative Adversarial Nets)网络由两个网络构成，且对抗网络仅含有对抗模块，网络结构缺乏人脸属性信息的约束，重建图像的细节信息丢失。为了提升生成网络的学习能力、对人脸图像细节信息增强，本发明的对抗网络含有感知模块、对抗模块和属性约束模块。如附图2所示，本发明设计的生成对抗网络包括一个生成网络和一个含三个子模块的对抗网络，三个模块的输入为成对的HR与GT(Ground Truth)图像，它们的作用分别为：判断成对样本特征图的一致性、判断成对样本的1/0标签是否为1、判断HR图像的属性是否正确。以下对本发明中的两个网络分别介绍。

针对缺乏细节信息的LR人脸图像，本发明设计了生成网络，主要完成LR人脸图像放大，并对其细节信息增强。该网络由两个相同的残差子模块组合而成，每个子模块包括两个残差网络Resnet(Residual network)和一个亚像素模块。其中，残差网络(Resnet)由卷积层、Batch Normalization层和激活层堆叠而成，并采用跳跃连接将和Resnet模块的输入特征图与输出特征图进行融合；亚像素模块则由卷积层、亚像素卷积层堆叠而成，亚像素模块的输出作为生成网络的HR重建图像。若进行更大倍数的LR图像放大，可级联多个残差子模块，每个残差子模块的网络结构相同，减少了网络设计的负担。

生成网络能够完成人脸图像的初步质量增强，对重建图像HR与真实图像GT判别学习有助于生成网络学习能力的提升，单独的生成网络学习能力有限。因此，本发明设计了对抗网络，主要对生成网络的结果图HR与真实图像GT进行区分，通过不断更新，使得对抗网络对生成网络的学习能力有所改善。

对抗网络含有三个模块，分别为感知模块、对抗模块和属性约束模块。感知模块的网络结构主要参考牛津大学用于图像分类的VGG16网络，整个网络分为a-e五个阶段，每个阶段由卷积层、激活层、池化层堆叠而成。感知模块的输入为成对的HR与GT图像，它们在感知模块的a-e五个阶段分别进行特征图对比，五个阶段的损失函数组合而成该模块的感知损失函数。

对抗模块包括特征学习和分类部分。特征学习部分主要参考DCGAN网络中判别器的网络结构，由卷积层、激活层堆叠而成。与其不同，本发明将DCGAN中全连接层前的网络结构作为特征学习部分。分类部分含有一个全局平均池化层Global average pooling(GAP)和线性层。对抗模块的输入含1/0标签的真假图像，输出为真假图像匹配的概率值。

属性约束的加入使得GAN网络的HR重建图像更符合GT的真实属性，且利于挖掘影响人脸识别性能的人脸属性信息。在网络结构的设计中，为减少网络训练的负担，属性约束模块与对抗模块的网络结构一致。在特征学习部分，属性约束模块与对抗模块的网络参数共享。在分类部分，属性约束网络针对影响人脸识别的重要属性进行分类。其中，影响人脸识别的重要属性包括性别、年龄、头发颜色等。本发明选取五种典型的人脸属性：“性别，“年轻”，“黑发”，“金发”，“棕发”。本发明属性约束网络的输出神经元仅对5种不同的人脸属性进行分类。

(3)人脸验证准确性评估。为了验证本发明的LR人脸重建有利于人脸验证，本发明采用了主流的人脸识别网络对GAN网络的重建图像进行评估。主流的人脸识别网络有DeepID、FaceNet、和SphereFace等，相较于其他网络，人脸识别网络SphereFace在LFW数据库上性能有所提升，且其提供了预训练好的模型，可供本发明直接调用。综合考虑SphereFace的性能和已有资源，本发明采用SphereFace网络作为人脸验证模块。人脸验证模块的输入为LR图像在GAN中生成网络的HR重建图像，输出为一个向量表示，采用欧几里得距离计算输出向量与真实向量之间的差异。对于同一个人的人脸图像，对应的向量的欧几里得距离比较小。对于不同人的人脸图像，对应的向量之间的欧几里得距离比较大。

离线部分的具体步骤如下：

(1)训练样本库生成：主要包括HR图像人脸检测，人脸对齐和人脸降质等过程。首先，本发明收集符合实际监控视频场景的人脸数据集CelebA和LFW，它们分别作为本发明的训练集和测试集。其中，CelebA包括202，599幅人脸图像，已标记了人脸属性，全部用来训练；LFW包括13，300幅图像，全部用来测试。为了避免人脸样本存在人脸图像尺寸大小不一，光照复杂多变等问题，本发明采用联合人脸检测、人脸对齐网络MTCNN对CelebA和LFW数据集中的图像预处理，得到预处理后的HR训练样本Y。最后，本发明采用不同放大倍数的双三次插值Bicubic下采样的方法D进行人脸降质处理，得到的LR训练样本X。所得HR训练样本作为训练样本库中的真实图像GT，LR训练样本作为GAN网络的输入；图像降质过程如公式(1)所示。

X＝D(Y), (1)

(2)网络训练：在前向传播过程中，LR人脸图像先通过生成网络得到HR人脸图像，再组成HR和GT图像的样本对并赋予1/0标签信息，最后将样本对输入到对抗网络中。在网络训练中，生成网络与对抗网络交替训练，当生成网络固定时，对抗网络开始训练，反之。其中，判别网络不发生参数更新，仅将判别网络的误差回传给生成网络。其中，本发明对抗网络的三个模块分别含有不同的损失监督，生成网络的损失函数L_G由感知模块MSE损失函数L_per与判别模块二分类为假的交叉熵损失函数L_fake加权组合而成，基础学习率设置为0.0001,通过一种随机梯度下降法(Adam)计算生成网络误差并调节网络参数，相比于SGD等优化算法，Adam训练比较稳定。判别网络的损失函数L_D由属性约束模块的Softmax损失函数L_ac与判别模块的对抗损失函数加权组合而成，基础学习率设置为0.01,通过一种随机梯度下降法(Adam)计算生成网络误差并调节网络参数。为了完成GAN网络训练的收敛及加速训练，本发明训练样本的批尺寸batch设定为16。最后，经过反复迭代，当达到预设的最大迭代次数(10万次)时停止训练，获得图像复原的生成网络。

在线部分的具体步骤如下：

(1)对LR人脸图像特征提取：输入待处理的LR人脸图像，先采用卷积滤波器提取图像的特征；其中，卷积操作能够去除图像噪声，提取图像边缘；然后通过多个卷积滤波器得到LR图像的潜在的特征；最后经过逐层特征变换得到LR图像的高频信息；

(2)对LR图像残差学习及高频信息融合：LR图像经过特征提取得到LR图像的高频信息，将LR图像与其高频信息跳跃连接，将二者构建联系，二者相加后能够补偿LR图像的高频信息，得到LR高频融合图像。其中，LR高频融合图像经过多种滤波器处理得到，含有多种边缘信息。

(3)亚像素卷积放大：为了完成亚像素卷积放大，先将LR高频融合图像重新排列，通过亚像素卷积得到放大后的图像。例如，一张5×5像素的图像选择了四分之一的亚像素精度，等于创建了一张16×16的离散点阵，进而对该点阵进行插值。本发明先将多幅a×a像素的图像选择二分之一的亚像素精度，等于创建了一张2a×2a的离散点阵，再将多幅图像对应的像素对该点阵进行插值。相比于单幅图像进行亚像素卷积，本发明对多幅图像进行亚像素卷积，有利于图像放大过程中细节信息的增强。

(4)级联放大：为减少图像大倍数放大造成的细节信息丢失，本发明采用LR图像逐步放大的策略。当LR图像需要更大倍数放大时，将亚像素卷积放大的结果图输入级联放大模块，重复操作LR特征提取、高频信息融合、亚像素卷积操作能够完成图像的放大。级联放大不仅减少LR图像大倍数放大造成的细节信息丢失，其级联模块网络结构相同还利于网络训练。

(5)重建后的人脸图像用于人脸验证：先将重建图像后的图像输入人脸验证模型，使得人脸图像映射到欧几里得空间，空间的距离代表了人脸图像的相似性；然后根据重建图像与真实标签的相似性大小能够判断二者为同一个体图像或不同个体图像。本发明的人脸验证模型在LFW数据下进行测试，该数据集提供了6000对的人脸图像对作为评测数据，3000对属于同一人，3000对属于不同的人。在测试阶段，根据计算两张图片的相似度，得到一个相似度(0～1)，然后根据其是否大于一个给定的阈值，根据经验设定阈值为0.7，得到6000个结果，最后得到人脸验证的准确性。

与现有技术相比，本发明具有以下明显的优势和有益效果：

首先，本发明从协同处理人脸图像复原和人脸识别的角度出发，提出了一种基于可鉴别属性约束生成对抗网络的人脸图像的超分辨率重建方法，可完成含有LR人脸图像细节信息的增强，并提升人脸验证的准确性；其次，本发明的生成网络含有两个级联结构、四个跳跃连接，先由跳跃连接完成图像高频信息的补偿，再由亚像素卷积完成图像放大，最后级联结构完成图像逐步放大，完成图像细节信息增强；再者，本发明的属性约束模块与感知模块、对抗模型协同训练，一起微调生成网络重建图像的性能；最后，本发明将生成网络的重建图像输入人脸验证网络，人脸验证的准确性有所提升。

附图说明：

图1、一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法流程图；

图2、本发明设计的生成对抗网络的网络结构图；

图3、本发明在线部分与离线部分流程图；

图4、本发明图像复原网络结构图

图5、在LFW数据集下，本发明方法与现有方法主观实验结果比较；

(a)低分辨率图像

(b)原始图像

(c)CSCN方法的实验结果图

(d)VDSR方法的实验结果图

(e)DnCNN方法的实验结果图

(f)本发明未含属性约束的实验结果图

(g)本发明含有属性约束的实验结果图

图6、在LFW数据集下，本发明方法与现有方法客观实验结果比较；

具体实施方式：

以下结合说明书附图，对本发明的实施实例加以详细说明：

一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法，整体流程图如附图1所示；算法分为离线部分和在线部分；离线部分与在线部分的关系如附图3所示；离线部分分为样本预处理和网络训练两个阶段。在第一阶段，为避免人脸对象背景的干扰，本发明先对人脸数据集批量预处理，经过图像预处理“人脸检测、人脸对齐”得到对齐后的HR人脸图像，图像尺寸统一为M×N像素；然后对其进行S倍下采样，得到尺寸为M/S×N/S的LR人脸图像；最后将LR与HR人脸样本组成训练样本对，并将其输入第二阶段的网络中；在第二阶段，先根据生成网络输出图像的尺寸调整感知模块、对抗模块和属性约束模块的输入；然后，为了减少网络学习，将预训练好VGG网络作为感知模块；最后，将第一阶段获取的训练样本输入本发明的网络，通过不断训练，得到最优的GAN生成网络。在线部分，经预处理后测试图像，经过训练的生成网络：特征提取、残差融合、亚像素卷积放大，级联放大处理后预测出复原图像。

所述离线部分分为2个步骤，具体步骤如下：：

(1)在训练样本库生成的过程中，为了减少人脸图像背景、姿势不同带来的误差，本发明经过三个阶段获得训练样本库。第一阶段，考虑到国内外通用人脸数据集“CelebA”和“LFW”的从实际监控中获取、且其具有普遍性和重要的实验对比意义，本发明采用包括202,599幅人脸图像的数据集CelebA作为训练样本，采用包含13,300幅人脸图像的数据集LFW作为测试样本。第二阶段，针对CelebA和LFW数据集，采用MTCNN网络对其进行图像预处理，该网络能够联合处理人脸检测和人脸对齐。先经过人脸检测获得人脸的关键区域，再经过人脸对齐获得处理后的人脸图像，最后图像统一归一化为96×96像素，以此作为HR训练样本Yⁱ。最后阶段，对HR训练样本进行人脸降质处理，采用双三次插值Bicubic方法进行不同放大倍数D的下采样处理，D设定为4，得到的LR训练样本Xⁱ，图像尺寸为24×24像素。

(2)网络训练及模型获取的方法：本发明分别为生成网络和对抗网络建立训练机制，端对端学习LR与HR之间的映射关系，并进行特征匹配、属性约束等对抗训练。GAN网络的意义在于最大化判别网络D分类真实样本和生成样本的正确率，缩小生成网络G真实样本和生成样本的差异。如公式(2)所示，

在生成网络中，LR人脸图像Xⁱ先通过生成网络G得到HR人脸图像Zⁱ，再将生成网络的输出图像Zⁱ和真实图像Yⁱ组成图像对{Zⁱ,Yⁱ}。

Zⁱ＝G(Xⁱ), (3)

在判别网络中，为了确保生成图像Zⁱ与真实图像Yⁱ的特征更加相似，本发明采用感知模块计算生成图像与真实图像的颜色、纹理、形状等差异。感知模块的输入图像对为{Zⁱ,Yⁱ}，它的损失函数为感知损失L_per，在计算感知损失的过程中，先对感知模块的a-e五个阶段求出Gram矩阵，然后根据对应层之间计算欧氏距离，最后将不同层的欧氏距离加权平均得到感知损失。如公式(4)所示，j表示感知模块的第j层，C_jH_jW_j分别表示第j层特征图的通道数、高和宽，三者相乘得到特征图的尺寸，第j层特征H_j(X)_h,w,c通过两两内积计算得到第j层的Gram矩阵。在公式(5)中，G_j(Z)和G_j(Y)分别表示重建图像与真实图像在感知模块第j层的Gram矩阵，计算得到二者在第j层的欧氏距离。最后得到公式(6)所示中的感知损失函数L_per。

在判别网络中，为了区分生成网络的重建图像Zⁱ是由算法生成图像fake，还是真实图像real，本发明采用对抗模块区分Zⁱ的真假。感知模块的输入图像对为{Zⁱ,Yⁱ}，为它们分别赋予0/1标签，该模块由两个损失函数，分别为真假损失函数L_real和L_fake.当标签s为0时，L_fake的损失函数如公式(7)所示；当标签s为1时，L_real的损失函数如公式(8)所示。

L_fake＝-log(D(G(X_s))),s＝0, (7)

L_real＝log((G(Y_s)),s＝1， (8)

在公式(7)和(8)中，D表示判别模块，G表示生成网络，Xs表示LR图像，Ys表示真实图像。判别模块的训练的目标是对真假图像二分类：使得真实样本的输出接近1；生成网络得到的假样本输出接近0。

为了区分生成网络的重建图像Zⁱ的属性标签是否与真实的属性标签一致，本发明采用属性约束模块区分Zⁱ的属性的真假。属性约束模块的输入为{Zⁱ,Mⁱ}，属性约束函数为L_ac，其中，Mⁱ代表第i幅图像的真实属性标签，l代表本发明选取的五种人脸属性。L_ac的损失函数如公式(9)所示。

在网络训练中，生成网络与对抗网络交替训练，当生成网络固定时，对抗网络开始训练，反之。其中，判别网络不发生参数更新，仅将判别网络的误差回传给生成网络。生成网络的总损失函数如下，

L_G＝L_per+L_fake, (10)

判别网络的总损失函数如下：

L_D＝L_d+L_ac, (11)

L_d＝M-L_fake+L_real, (12)

如公式(11)所示，判别网络的损失函数L_D由属性约束模块的损失函数L_ac与判别模块的对抗损失函数L_d组合而成。如公式(12)所示，L_d是均衡对抗的损失函数，旨在寻找L_fake与L_real之间的最优差异，完成网络的训练，它的均衡项M设定为20。判别网络的基础学习率设置为0.01,通过一种随机梯度下降法(Adam)计算生成网络误差并调节网络参数。为了完成GAN网络训练的收敛及加速训练，本发明训练样本的批尺寸batch设定为16。经过反复迭代，当达到预设的最大迭代次数(10万次)时停止训练，获得图像复原的生成网络。

所述在线部分分为5个步骤，具体步骤如下：

(1)对LR人脸图像特征提取：输入待处理的LR人脸图像x，先采用卷积滤波器Conv提取图像的特征，完成图像去除噪声任务，并提取图像边缘的有效信息；然后采用非线性激活函数对卷积后的图像进行处理，挖掘图像潜在的特征。最后经过逐层特征变换得到LR图像的高频信息。其中，本发明采用的激活函数是LeakyRectified Linear Units(LReLU)，如公式(13)所示。与sigmoid、tanh和ReLU函数相比，LReLU的随机梯度下降收敛速度较快，且不需要进行大量复杂运算。本发明的a是一个非零数，设定为0.01。

g_i(x)＝max(0,Conv(x))+a×min(0,Conv(x)) (13)

本发明采用批归一化(Batch Normalization,BN)，它用于激活函数前，卷积层之后。BN主要归一化当前层输入，使得它们的均值为0和方差为1。它能够加快收敛速度、减少CNN权值初始化的影响、具有很好的稳定性，有助于防止梯度消失。

(2)对LR图像残差学习及高频信息融合：LR图像经过逐层特征提取得到LR图像第i层的高频信息g_i(x)，将LR图像x与其第i层的高频信息g_i(x)相加后得到LR高频融合图像I^LR。LR图像逐层特征提取的过程如公式(14)所示，高频信息融合的过程如公式(15)所示。

g_i(x)＝g_i-1(g_i-2(g_i-3…(g₁(x)))), (14)

I^LR＝g_i(x)+x, (15)

(3)亚像素卷积层图像放大：通过上述步骤(2)得到高频信息融合后的图像I^LR，它的特征图像含有r²个特征通道(r是图像的目标放大倍数)。每个像素的r²个通道重新排列成一个r×r的区域，对应于高分辨率图像中的一个r×r大小的子块，大小为r²×H×W的特征图像I^LR被重新排列成1×rH×rW大小的高分辨率图像I^SR。亚像素卷积不仅完成图像尺寸上的放大，还能将多种特征图合成为细节信息更加丰富的图像。亚像素卷积层可以由公式(16)计算得到：

在公式(16)中，f^L-1(I^LR)表示L-1层的特征图，W_L代表L层的权值参数，b_L为连接到L层的偏置值，f^L(I^LR)表示经过亚像素卷积SP层后得到的第L层的特征图。

(4)级联放大：通过上述步骤(3)能够完成图像尺寸放大，当LR图像需要更大倍数放大时，本发明将上述步骤(3)亚像素卷积的结果作为上述步骤(1)的输入，重复操作上述步骤(1-3)LR特征提取、高频信息融合、亚像素卷积操作，最后完成图像的放大。级联放大能够逐步完成图像放大并减少了重建过程中的细节信息丢失，此外，级联模块能够减少网络结构设计，有利于网络训练。在附图5中，本发明方法与典型的SR方法在LFW数据集下进行主观实验结果比较，相比于其他几种方法，本发明的重建图像完成了人脸图像细节信息的增强，边缘信息更加锐利。

(5)重建后的人脸图像用于人脸验证：通过上述步骤(4)能够得到图像重建后的结果图。为了验证人脸重建有利于人脸验证，本发明先将上述步骤(4)的重建图像输入人脸验证模型，使得人脸图像映射到欧几里得空间，通过计算人脸图像与标签信息的相似性；判断二者为同一个体图像或不同个体图像。本发明的人脸验证模型在LFW数据下进行测试，该数据集提供了6000对的人脸图像对作为评测数据，3000对属于同一人，3000对属于不同的人。在测试阶段，根据计算两张图片的相似度，得到一个相似度(0～1)，然后根据其是否大于一个给定的阈值，根据经验设定阈值为0.7，会得到6000个结果，最后得到人脸验证的准确性。在附图6中，本发明方法与典型的SR方法在LFW数据集下进行客观实验结果比较，原始图像的人脸验证的准确性最高。相比于其他几种方法，本发明人脸验证的准确性次之。

本发明在图像复原过程中，各卷积层输入和输出特征图的变化如下：

如附图4所示，在生成网络中，输入层为LR人脸图像，图像尺寸为24×24，输出层为重建HR人脸图像，图像尺寸为96×96。生成网络包含11个卷积层，第1,6,11卷积层输出的特征图个数分别为64，256。其余卷积层均由两个卷积层组成一个残差模块，共有4个残差模块，由第2、3卷积层组成第一个残差模块，由第4、5卷积层组成第二个残差模块，由第7、8卷积层组成第三个残差模块，由第9、10卷积层组成第四个残差模块，它们的卷积滤波器均为64个，卷积核的大小均为3×3,为了加快收敛速度，第2、4、7、9卷积层后均连接着BatchNormalization层和激活层，其余卷积层后仅连接激活层。在残差模块中，采用跳跃连接结构将残差模块的输出特征图与残差模块的输入特征图进行融合，利用融合后的特征图作为下阶段处理对象。为了增大LR图像的分辨率，本发明在生成网络第6,10卷积层后分别加入亚像素卷积层，它们的输出的特征图个数分别为64,16。最后，通过生成网络处理，能够获得图像尺寸为96×96的生成图像。

Claims (4)

1.一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法，该方法的整体流程包括离线部分和在线部分；

其特征在于，

离线部分：包括训练样本库生成；GAN网络训练；其中，训练样本库生成方法中包括HR图像人脸检测，人脸对齐和人脸降质；其中，GAN网络训练包括损失函数、优化算法的选取；

在线部分：包括LR人脸图像特征提取；残差学习；图像放大；图像重建；重建后的人脸图像将被用来人脸验证；

基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建步骤如下：

当输入图像含人脸对象时，先进行图像预处理，采用人脸检测，人脸对齐得到LR人脸图像，再对LR图像进行人脸图像复原；LR人脸图像复原包括特征学习和图像放大阶段；特征学习阶段包括特征提取、残差学习步骤，先对LR人脸图像进行特征提取，得到人脸图像的高频信息，再采用残差学习将LR人脸图像与它的高频信息相融合，得到LR高频信息融合图像；图像放大阶段包括图像放大，先对LR高频信息融合图像放大；重建图像；最后，为了验证人脸图像复原对人脸验证的影响，采用人脸验证模型测试其准确性；

生成对抗网络模块和人脸验证模型介绍如下：

（1）对抗网络含有感知模块、对抗模块和属性约束模块；生成对抗网络包括一个生成网络和一个含三个子模块的对抗网络，三个模块的输入为成对的HR与GT即Ground Truth图像，它们的作用分别为：判断成对样本特征图的一致性、判断成对样本的1/0标签是否为1、判断HR图像的属性是否正确；

生成网络由两个以上相同的残差子模块组合而成，每个子模块包括两个残差网络和一个亚像素模块；其中，残差网络由卷积层、Batch Normalization层和激活层堆叠而成，并采用跳跃连接将和 Residual network模块的输入特征图与输出特征图进行融合；亚像素模块则由卷积层、亚像素卷积层堆叠而成，亚像素模块的输出作为生成网络的HR重建图像；

感知模块的网络结构共五层，每层均由卷积层、激活层、池化层堆叠而成；感知模块的输入为成对的HR与GT图像，它们在感知模块的五层分别进行特征图对比，五层的损失函数组合而成该模块的感知损失函数；

对抗模块包括特征学习和分类部分；特征学习部分由卷积层、激活层堆叠而成；将DCGAN中全连接层前的网络结构作为特征学习部分；分类部分含有一个全局平均池化层和线性层；对抗模块的输入含1/0标签的真假图像，输出为真假图像匹配的概率值；

属性约束模块与对抗模块的网络结构一致；在特征学习部分，属性约束模块与对抗模块的网络参数共享；在分类部分，属性约束网络针对影响人脸识别的重要属性进行分类；选取五种典型的人脸属性：“性别”，“年轻”，“黑发”，“金发”，“棕发”；属性约束网络的输出神经元仅对5种不同的人脸属性进行分类；

（2）人脸验证模型：人脸验证模型的输入为LR图像在GAN中生成网络的HR重建图像，输出为一个向量表示，采用欧几里得距离计算输出向量与真实向量之间的差异。

2.根据权利要求1所述的方法，其特征在于：

若进行更大倍数的图像放大，采用级联放大模块得到HR重建图像，级联放大模型也包括特征提取，残差学习，图像放大阶段。

3.根据权利要求1或2所述的方法，其特征在于：

离线部分的具体步骤如下：

（1）训练样本库生成：包括HR图像人脸检测，人脸对齐和人脸降质过程；

收集符合实际监控视频场景的人脸数据集CelebA和LFW，它们分别作为的训练集和测试集；其中，CelebA已标记了人脸属性，全部用来训练；LFW全部用来测试；

采用联合人脸检测、人脸对齐网络MTCNN对CelebA和LFW数据集中的图像预处理，得到预处理后的HR训练样本Y；采用双三次插值Bicubic方法进行不同放大倍数的人脸降质处理，得到的LR训练样本X；

所得HR训练样本作为训练样本库中的真实图像GT，LR训练样本作为GAN网络的输入；

（2）GAN网络训练：在前向传播过程中，LR人脸图像先通过生成网络得到HR人脸图像，再组成HR和GT图像的样本对并赋予1/0标签信息，最后将样本对输入到对抗网络中；

在训练过程中，生成网络与对抗网络交替训练，当生成网络固定时，对抗网络开始训练，反之；其中，判别网络不发生参数更新，仅将判别网络的误差回传给生成网络；其中，对抗网络的三个模块分别含有不同的损失监督，生成网络的损失函数L _G 由感知模块MSE损失函数L _per 与判别模块二分类为假的交叉熵损失函数L _fake 加权组合而成，基础学习率设置为0.0001, 通过Adam随机梯度下降法计算生成网络误差并调节网络参数，判别网络的损失函数L _D 由属性约束模块的Softmax损失函数L _ac 与判别模块的对抗损失函数加权组合而成，基础学习率设置为0.01, 通过一种随机梯度下降法计算生成网络误差并调节网络参数；经过反复迭代，当达到预设的最大迭代次数10万次时停止训练，获得图像复原的生成网络；

在线部分的具体步骤如下：

（1）对LR人脸图像特征提取：输入待处理的LR人脸图像，先采用卷积滤波器提取图像的特征；其中，卷积操作能够去除图像噪声，提取图像边缘；然后通过多个卷积滤波器得到LR图像的潜在的特征；最后经过逐层特征变换得到LR图像的高频信息；

（2）对LR图像残差学习及高频信息融合： LR图像经过特征提取得到LR图像的高频信息，将LR图像与其高频信息跳跃连接，将二者构建联系，二者相加后能够补偿LR图像的高频信息，得到LR高频融合图像；其中，LR高频融合图像经过多种滤波器处理得到，含有多种边缘信息；

（3）亚像素卷积放大：为了完成亚像素卷积放大，先将LR高频融合图像重新排列，通过亚像素卷积得到放大后的图像；

（4）重建后的人脸图像用于人脸验证：先将重建图像后的图像输入人脸验证模型，使得人脸图像映射到欧几里得空间，空间的距离代表了人脸图像的相似性；然后根据重建图像与真实标签的相似性大小能够判断二者为同一个体图像或不同个体图像。

4.根据权利要求1所述的方法，其特征在于：

当LR图像需要更大倍数放大时，将亚像素卷积放大的结果图输入级联放大模块，重复操作LR特征提取、高频信息融合、亚像素卷积操作能够完成图像的放大。

Images