CN112950478B - 基于双重身份属性约束的人脸超分辨率方法及系统 - Google Patents

Abstract

本发明公开了一种基于双重身份属性约束的人脸超分辨率方法及系统，该方法包括：S1、获取对应的低分辨率人脸图像LR和高分辨率人脸图像HR；S2、将LR输入第一生成器得到高分辨率空间的人脸图像SR，将SR输入第二生成器得到低分辨率空间的人脸图像LR^′；S3、将HR输入第二生成器得到低分辨率空间的人脸图像LR″，将LR″输入第一生成器得到高分辨率空间的人脸图像SR^′；S4、LR和LR^′进行前向闭环约束，HR和SR^′进行反向闭环约束；S5、SR和SR^′进行前向身份约束，LR″和LR^′进行反向身份约束。本发明提出了具有双重身份属性的双闭环网络能够超分辨低分辨率面部图像到相应的高分辨率部分同时保留身份信息，能够有效提升人脸图像的超分辨率重建性能。

Description

基于双重身份属性约束的人脸超分辨率方法及系统

技术领域

本发明属于超分辨率技术领域，具体涉及一种基于双重身份属性约束的人脸超分辨率方法及系统。

背景技术

人脸超分辨率(Super-Resolution，SR)是一种从输入的低分辨率(LowResolution，LR)人脸图像中重建潜在的高分辨率(High Resolution，HR)人脸图像的技术，它是提高计算机视觉中图像和视频分辨率的重要图像处理方法，已广泛用于监视，卫星遥感，人脸识别等领域。与一般的SR任务相比，脸部图像SR由于病态严重而更具挑战性。

人脸SR方法使用人脸先验知识来超分辨LR人脸，从LR和HR面部图像中学习子空间，然后从LR输入的主成分分析(Principal Component Analysis，PCA)系数重构了HR输出。马尔可夫随机场(Markov Random Field，MRF)以减少由于LR图像中的未对准而导致的重影伪影。但是，这些方法容易产生严重的伪影，尤其是在LR图像中存在较大的姿态变化和未对准的情况下。解决方法是将多个空间变换器网络与反卷积层交织在一起，以处理未对齐的LR面或者利用生成模型(Pixel Convolutional Neural Network，PixelCNN)的框架来超分辨率极低分辨率的人脸。级联双网络(Deep Cascaded Bi-Network，CBN)首先定位LR面部成分，然后对面部成分进行上采样；但是，当发生本地化错误时，CBN可能会产生模糊人脸。多任务卷积神经网络(Convolutional Neural Network，CNN)融合人脸的结构信息，建立一个面部识别模型，该模型在训练过程中充当超分辨率网络的身份先验。端到端的SR网络合并面部标志性热图和解析图，面部对齐网络(FAN)以一种渐进的方法获得SR网络的界标热图。

许多基于深度学习的优秀图像SR方法近年来已经提出，例如超分辨率卷积神经网络(Super-Resolution Convolutional Neural Network，SRCNN)，深度递归神经网络(Deeply-Recursive Convolutional Network，DRCN)和增强型深度超分辨率网络(Enhanced Deep Super-Resolution Network，EDSR)。但是，将这些方法直接应用于人脸SR任务时，存在许多限制。第一，图像SR旨在学习非线性映射以重建LR图像中的HR图像，但是这种映射通常是一个不适的问题。对于LR图像，可能存在许多与之对应的不同HR图像。因此，将LR映射到HR图像的可能功能空间非常大，这使得一般的深度学习方法难以获得更好的性能。尽管非常深的超分辨率网络(Very Deep Super Resolution,VDSR)，用于图像超分辨率的生成对抗网络(Generative Adversarial Network for Image Super-Resolution，SRGAN)和残差通道注意力网络(Residual Channel Attention Networks，RCAN)通过增加模型容量来设计有效的模型，但它们仍然无法解决此类问题。其次，人脸图像具有复杂的人脸特征，例如表情，照明，这也导致大多数SR模型无法很好地重建HR图像。因此，如何避免多对一问题并有效重构具有人脸特征的五官具有挑战性。

发明内容

为解决上述技术问题，本发明提供一种基于双重身份属性约束的人脸超分辨率方法及系统，解决降级过程中的多对一问题及其导致的LR面部图像的身份信息在降级后无法保留从而限制图像重建性能的问题。

目前人脸超分辨率重建算法在人脸图像降质过程及人脸图像的真实身份属性上均存在一定的局限性。本发明提供的技术方案如下：

一种基于双重身份属性约束的人脸超分辨率方法，包括以下步骤：

S1、获取对应的低分辨率人脸图像LR和高分辨率人脸图像HR；

S2、将低分辨率人脸图像LR输入第一生成器得到高分辨率空间的人脸图像SR，将高分辨率空间的人脸图像SR输入第二生成器得到低分辨率空间的人脸图像LR′；

S3、将高分辨率人脸图像HR输入第二生成器得到低分辨率空间的人脸图像LR″，将低分辨率空间的人脸图像LR″输入第一生成器得到高分辨率空间的人脸图像SR′；

S4、低分辨率人脸图像LR和低分辨率空间的人脸图像LR′进行前向闭环约束，高分辨率人脸图像HR和高分辨率空间的人脸图像SR′进行反向闭环约束；

S5、高分辨率空间的人脸图像SR和高分辨率空间的人脸图像SR′进行前向身份约束，低分辨率空间的人脸图像LR″和低分辨率空间的人脸图像LR′进行反向身份约束；

S6、基于双闭环约束和双重身份约束，建立损失函数并进行训练；训练完成后，利用第一生成器进行人脸超分辨率。

优选地，步骤S1具体包括：将高分辨率人脸图像按所需比例因子进行插值处理得到低分辨率人脸图像。

优选地，步骤S1还包括：对低分辨人脸图像进行预处理，并上采样到所需的固定大小尺寸。

优选地，步骤S4具体包括：

低分辨率人脸图像LR和低分辨率空间的人脸图像LR′进行从LR→HR→LR的前向闭环约束

高分辨率人脸图像HR和高分辨率空间的人脸图像SR′进行从HR→LR→HR的反向闭环约束

式中，x∈X为低分辨率人脸图像，y∈Y为高分辨率人脸图像，N为像素数，G为第一生成器，F为第二生成器，

r＝1e-6。

优选地，步骤S5具体包括：

高分辨率空间的人脸图像SR和高分辨率空间的人脸图像SR′进行前向身份约束

低分辨率空间的人脸图像LR″和低分辨率空间的人脸图像LR′进行反向身份约束

优选地，损失函数为：L_total＝L_dloop+L_rec+γ₁L_didt+γ₂L_channel

式中，

为双闭环损失，

为双重身份损失，L_rec为重构损失，L_channel为通道损失，γ₁，γ₂为权重系数。

优选地，给定训练集

包含N个低分辨率人脸图像I_LR和相应的高分辨率人脸图像I_HR，则：

重构损失

通道损失

式中，G(I；θ)为学习端到端映射函数，θ为网络参数，c为yuv通道数，M为yuv转换矩阵，

r＝1e-6。

优选地，第一生成器包括依次相连的两个下采样模块和两个上采样模块，其中下采样模块和上采样模块之间跳跃连接；第二生成器包括两个相连的下采样模块，

优选地，下采样模块包括第一3×3卷积层、LeakyReLU激活函数和第二3×3卷积层；上采样模块包括三十个RCAB块，两个卷积块和一个像素转移块。

本发明还提供一种用于实现上述的基于双重身份属性约束的人脸超分辨率方法的基于双重身份属性约束的人脸超分辨率系统，包括：

图像获取模块，用于获取对应的低分辨率人脸图像LR和高分辨率人脸图像HR；

第一循环模块，用于将低分辨率人脸图像LR输入第一生成器得到高分辨率空间的人脸图像SR，将高分辨率空间的人脸图像SR输入第二生成器得到低分辨率空间的人脸图像LR′；

第二循环模块，用于将高分辨率人脸图像HR输入第二生成器得到低分辨率空间的人脸图像LR″，将低分辨率空间的人脸图像LR″输入第一生成器得到高分辨率空间的人脸图像SR′；

闭环约束模块，用于低分辨率人脸图像LR和低分辨率空间的人脸图像LR′进行前向闭环约束，高分辨率人脸图像HR和高分辨率空间的人脸图像SR′进行反向闭环约束；

身份约束模块，用于高分辨率空间的人脸图像SR和高分辨率空间的人脸图像SR′进行前向身份约束，低分辨率空间的人脸图像LR″和低分辨率空间的人脸图像LR′进行反向身份约束；

超分辨率模块，用于基于双闭环约束和双重身份约束，建立损失函数并进行训练；训练完成后，利用第一生成器进行人脸超分辨率。

本发明的有益效果为：本发明的基于双重身份属性约束的人脸超分辨率方法及系统，提出了具有双重身份属性的双闭环网络，能够超分辨低分辨率面部图像到相应的高分辨率同时保留身份信息，能够有效提升人脸图像的超分辨率重建性能，生成更高质量的人脸高分辨率图像。本发明引入了两个闭环约束，称为双循环，一个循环从低分辨率人脸图像开始以生成高分辨率人脸图像，另一个循环从高分辨率人脸图像开始以进行学习降质过程；此外，本发明使用双重身份约束来自高分辨率和低分辨率特征空间的图像均改善了面部特征渲染性。

附图说明

图1为本发明实施例的基于双重身份属性约束的人脸超分辨率方法的流程图。

图2是本发明实施例的基于双重身份属性约束的人脸超分辨率方法的训练方案图。

图3是本发明实施例的生成器及上采样、下采样模块的结构示意图。

图4是本发明实施例提供的一种测试结果比较图。

图5是本发明实施例提供的一种在真实世界数据上测试的结果图。

图6是本发明实施例的基于双重身份属性约束的人脸超分辨率系统的示意图。

具体实施方式

下面将结合附图对本发明作进一步的说明：

本发明提出了一种基于双重身份属性约束的人脸超分辨率方法及系统，该人脸图像超分辨率方法引入双循环约束，一个循环从低分辨率图像开始以生成高分辨率图像，另一个循环从高分辨率图像开始以进行学习降质过程。此外，使用双重身份约束来自高分辨率和低分辨率特征空间的图像均改善了面部特征渲染性。

图1是本发明实施例提供的一种基于双重身份属性约束的人脸超分辨率方法的流程示意图。图2为本发明提出的一种基于双重身份属性约束的人脸超分辨率方法的整体训练方案，通过生成器G、生成器F、双闭环约束、双身份约束，实现双重身份属性约束的人脸超分辨率重建，该结构具有利用低分辨率和高分辨率人脸的身份信息进行重建正面人脸图像的能力。该方法主要通过以下步骤来实现：

S1、获取对应的低分辨率人脸图像LR和高分辨率人脸图像HR。

将人脸数据集中的高分辨率图像根据所需比例因子进行插值处理，将得到的人脸数据集中的低分辨人脸图像进行预处理，上采样到所需的固定大小尺寸。具体地，将所选取的多张高分辨率人脸图像通过比例因子为2、3、4的双三次插值得到低分辨率人脸图像数据集，并将低分辨率人脸图像数据集中的人脸图像上采样到所需尺寸，然后将低分辨率人脸图像进行卷积和MeanShift(均值漂移)处理后通过网络进行特征提取。

S2、将所得低分辨率人脸图像LR输入生成器G得到高分辨率空间的人脸图像SR，再将高分辨率空间的人脸图像SR输入生成器F得到低分辨率空间人脸图像LR′。低分辨率人脸图像LR与LR′进行从LR→HR→LR的前向闭环约束

将高分辨率空间的人脸图像SR和高分辨率空间的人脸图像SR′进行前向身份约束

具体地，如图2所示，

x∈X为低分辨率人脸图像，其中

r＝1e-6。

y∈Y为高分辨率人脸图像，G和F为上述生成器。

S3：将高分辨率人脸图像HR输入生成器F得到低分辨率空间的人脸图像LR″，再将低分辨率空间图像LR″输入生成器G得到高分辨率空间人脸图像SR′，高分辨人脸图像HR与SR′进行从HR→LR→HR的反向闭环约束

LR″与低分辨率人脸图像LR依次经过生成器G和F得到的LR′进行反向身份约束

具体地，如图2所示，

其中

r＝1e-6。

x∈X为低分辨率人脸图像,y∈Y为高分辨率人脸图像，G和F为上述生成器。

S4、在本发明实施例中，将低分辨率人脸图像LR预处理后经过生成器G，得到超分辨率后的人脸图像SR，高分辨人脸图像SR经过生成器F得到低分辨率空间的人脸图像LR′,形成一个闭环。将低分辨率人脸图像LR″经过生成器G得到高分辨率空间人脸图像SR′，将人脸图像SR和生成的SR′之间进行反向闭环约束；LR″和LR′之间形成反向身份约束，SR和SR′之间形成正向身份约束，双闭环损失为

双重身份损失为

本发明联合使用重构损失，通道损失，双闭环损失和双重身份损失，总的为L_total＝L_dloop+L_rec+γ₁L_didt+γ₂L_channel，

γ₁，γ₂代表不同目标的权重。学习端到端映射函数G(I；θ)需要网络参数θ的估计。给定训练集

包含N个低分辨率人脸输入和相应的高分辨率人脸。

L_channel＝

r＝1e-6，c是yuv通道数，M是yuv转换矩阵。训练完成之后，即可使用生成器G进行人脸超分辨率。

在本发明实施例中，生成器G和F，主要是从面部中提取人脸身份属性。图3是生成器G和生成器F的具体结构，生成器G(图3a)是一个对称的自动编码器，编码器和解码器层之间跳跃连接，其中包含两个基本的下采样模块和两个基本的上采样块。每个下采样块包含一个3×3卷积层。在每个降采样步骤中，特征通道数加倍。每个上采样块由三部分组成：一个主体块，上采样块和一个1×1卷积层来映射每个特征向量到所需的类数。此外，每个主体块由30个残留通道注意块(RCAB)组成，每个上采样块由一个3×3卷积层和一个MeanShift(均值漂移)以对特征图进行上采样。生成器F(图3b)包括与生成器G相同的两个下采样块，被设计为从超分辨的图像中产生下采样的LR图像。

本发明还提供一种用于实现上述的基于双重身份属性约束的人脸超分辨率方法的基于双重身份属性约束的人脸超分辨率系统，如图6所示，包括：

图像获取模块101，用于获取对应的低分辨率人脸图像LR和高分辨率人脸图像HR；

第一循环模块102，用于将低分辨率人脸图像LR输入第一生成器得到高分辨率空间的人脸图像SR，将高分辨率空间的人脸图像SR输入第二生成器得到低分辨率空间的人脸图像LR′；

第二循环模块103，用于将高分辨率人脸图像HR输入第二生成器得到低分辨率空间的人脸图像LR″，将低分辨率空间的人脸图像LR″输入第一生成器得到高分辨率空间的人脸图像SR′；

闭环约束模块104，用于低分辨率人脸图像LR和低分辨率空间的人脸图像LR′进行前向闭环约束，高分辨率人脸图像HR和高分辨率空间的人脸图像SR′进行反向闭环约束；

身份约束模块105，用于高分辨率空间的人脸图像SR和高分辨率空间的人脸图像SR′进行前向身份约束，低分辨率空间的人脸图像LR″和低分辨率空间的人脸图像LR′进行反向身份约束；

超分辨率模块106，用于基于双闭环约束和双重身份约束，建立损失函数并进行训练；训练完成后，利用第一生成器进行人脸超分辨率。

为了证明本发明的有效性和可靠性，特提供一个测试实施例：

实验采用FEI人脸数据库，FEI数据库含有350张训练图像，10张验证图像，40张测试图像。每个人挑选出两张不同的人脸图像，每幅图大小为360×260像素，下采样二倍得到对应的低分辨率图像大小为180×130像素，下采样三倍得到对应的低分辨率图像大小为120×86像素，下采样四倍得到对应的低分辨率图像大小为90×65像素。

本发明与其他的图像超分辨重建算法对比，提供实验数据来表达本方法的有效性，对比实验结果的参数比较如下表1所示，表1为40张人脸图像对比实验结果，使用峰值信噪比(Peak signal-to-noise ratio，PSNR)、结构相似性(Structural SIMilarity，SSIM)和视觉信息保真度(Visual Information Fidelity，VIF)三个评价指标对SR重建结果进行评价。实验结果如图4所示，从左到右，是选择作为对比的人脸SR方法：Bicubic，LCGE，EDGAN，RCAN，PRDRN，SRFBN。Bicubic是一种经典的图像插值算法；LCGE是一种经典的两步人脸SR方法；EDGAN是一种使用生成对抗网络(Generative Adversarial Networks，GAN)的最先进的深度学习人脸SR算法；SRFBN是一种使用反馈网络的最新和最先进的深度学习人脸SR算法网络；RCAN是一种经典的基于深度残差通道注意力网络的SR方法。

表1本发明与六种优秀算法比较结果表

Algorithm	Bicubic	LCGE	EDGAN	RCAN	PRDRN	SRFBN	本发明
								PSNR	36.29	38.55	38.67	40.25	39.36	40.13	40.65
SSIM	0.9416	0.9519	0.9475	0.9619	0.9576	0.9625	0.9650
								VIF	0.6498	0.6832	0.6664	0.7328	0.7157	0.7371	0.7479

从以上表格实验数据可以看出，本发明方法均与对比方法相比获得了高的分数，即优于对比算法。

在本发明的另一实施例中，如图5所示为真实世界数据上测试的结果。本发明使用相机拍摄了一组LR图像，由于没有真正的高分辨率人脸图像，本发明只提供视觉比较。从图5中可以看出，双三次产生的面部图像模糊并且包含大量伪影。相比之下，本发明能产生清晰的人脸图像，具有更清晰的纹理。实验结果证明本发明适用于现实世界的数据。

上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的基于分层多尺度残差融合网络的人脸超分辨率方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于双重身份属性约束的人脸超分辨率方法，其特征在于，包括以下步骤：

S1、获取对应的低分辨率人脸图像LR和高分辨率人脸图像HR；

S2、将低分辨率人脸图像LR输入第一生成器得到高分辨率空间的人脸图像SR，将高分辨率空间的人脸图像SR输入第二生成器得到低分辨率空间的人脸图像LR′；

S3、将高分辨率人脸图像HR输入第二生成器得到低分辨率空间的人脸图像LR″，将低分辨率空间的人脸图像LR″输入第一生成器得到高分辨率空间的人脸图像SR′；

S4、低分辨率人脸图像LR和低分辨率空间的人脸图像LR′进行从LR→HR→LR的前向闭环约束

高分辨率人脸图像HR和高分辨率空间的人脸图像SR′进行从HR→LR→HR的反向闭环约束

式中，x∈X为低分辨率人脸图像，y∈Y为高分辨率人脸图像，N为像素数，G为第一生成器，F为第二生成器，

r＝1e-6；

S5、高分辨率空间的人脸图像SR和高分辨率空间的人脸图像SR′进行前向身份约束

低分辨率空间的人脸图像LR″和低分辨率空间的人脸图像LR′进行反向身份约束

S6、基于双闭环约束和双重身份约束，建立损失函数并进行训练；训练完成后，利用第一生成器进行人脸超分辨率；其中损失函数为：

L_total＝L_dloop+L_rec+γ₁L_didt+γ₂L_channel

式中，

为双闭环损失，

为双重身份损失，L_rec为重构损失，L_channel为通道损失，γ₁，γ₂为权重系数。

2.根据权利要求1所述的基于双重身份属性约束的人脸超分辨率方法，其特征在于，步骤S1具体包括：将高分辨率人脸图像按所需比例因子进行插值处理得到低分辨率人脸图像。

3.根据权利要求2所述的基于双重身份属性约束的人脸超分辨率方法，其特征在于，步骤S1还包括：对低分辨人脸图像进行预处理，并上采样到所需的固定大小尺寸。

4.根据权利要求1所述的基于双重身份属性约束的人脸超分辨率方法，其特征在于，给定训练集

包含N个低分辨率人脸图像I_LR和相应的高分辨率人脸图像I_HR，则：

重构损失

通道损失

式中，G(I；θ)为学习端到端映射函数，θ为网络参数，c为yuv通道数，M为yuv转换矩阵，

r＝1e-6。

5.根据权利要求1所述的基于双重身份属性约束的人脸超分辨率方法，其特征在于，第一生成器包括依次相连的两个下采样模块和两个上采样模块，其中下采样模块和上采样模块之间跳跃连接；第二生成器包括两个相连的下采样模块。

6.根据权利要求5所述的基于双重身份属性约束的人脸超分辨率方法，其特征在于，下采样模块包括第一3×3卷积层、LeakyReLU激活函数和第二3×3卷积层；上采样模块包括三十个RCAB块，两个卷积块和一个像素转移块。

7.一种用于实现权利要求1所述的基于双重身份属性约束的人脸超分辨率方法的基于双重身份属性约束的人脸超分辨率系统，其特征在于，包括：

图像获取模块，用于获取对应的低分辨率人脸图像LR和高分辨率人脸图像HR；

第一循环模块，用于将低分辨率人脸图像LR输入第一生成器得到高分辨率空间的人脸图像SR，将高分辨率空间的人脸图像SR输入第二生成器得到低分辨率空间的人脸图像LR′；

第二循环模块，用于将高分辨率人脸图像HR输入第二生成器得到低分辨率空间的人脸图像LR″，将低分辨率空间的人脸图像LR″输入第一生成器得到高分辨率空间的人脸图像SR′；

闭环约束模块，用于低分辨率人脸图像LR和低分辨率空间的人脸图像LR′进行从LR→HR→LR的前向闭环约束

高分辨率人脸图像HR和高分辨率空间的人脸图像SR′进行从HR→LR→HR的反向闭环约束

式中，x∈x为低分辨率人脸图像，y∈Y为高分辨率人脸图像，N为像素数，G为第一生成器，F为第二生成器，

r＝1e-6；

身份约束模块，用于高分辨率空间的人脸图像SR和高分辨率空间的人脸图像SR′进行前向身份约束

低分辨率空间的人脸图像LR′′和低分辨率空间的人脸图像LR′进行反向身份约束

超分辨率模块，用于基于双闭环约束和双重身份约束，建立损失函数并进行训练；训练完成后，利用第一生成器进行人脸超分辨率；其中损失函数为：

L_total＝L_dloop+L_rec+γ₁L_didt+γ₂L_channel

式中，

为双闭环损失，

为双重身份损失，L_rec为重构损失，L_channel为通道损失，γ₁，γ₂为权重系数。

Images