CN110930309A - 基于多视图纹理学习的人脸超分辨率方法及装置 - Google Patents

Abstract

本发明公开了一种基于多视图纹理学习的人脸超分辨率方法及装置，属于人脸图像超分辨率领域，该方法包括：首先将高分辨率人脸图像对下采样至目标低分辨率人脸图像对，将目标低分辨率人脸图像对进行分块操作，分出相互重叠的图像块后，使用残差池化模块网络提取脸部纹理多尺度特征。然后，将提取的脸部多尺度特征发送到纹理注意力模块，以通过计算注意图来融合补偿纹理信息，收集最相似的特征，以更有效的提高SR性能。最后，通过特征融合来更新目标视图图像的特征图以产生高分辨率结果。本发明所提出的网络优于其他最新的人脸图像超分辨率算法，能生成更高质量的人脸图像。

Description

基于多视图纹理学习的人脸超分辨率方法及装置

技术领域

本发明属于人脸图像超分辨率领域，更具体地，涉及一种基于多视图纹理学习的人脸超分辨率方法及装置。

背景技术

人脸超分辨率(super resolution，SR)可以从一个或多个低分辨率(LowResolution，LR)输入图像中重建高分辨率(High Resolution，HR)图像。由于具有出色的图像细节重建能力，因此人脸SR被广泛用于视频监控，人脸识别，娱乐等方面。通常，人脸图像超分辨率方法包括三种典型方法：基于插值的，基于重建的和基于学习的方法。因为基于学习的人脸超分辨率方法利用了来自训练样本的其他先验知识来实现重建任务。因此，基于学习的人脸图像超分辨率在近数年来变得越来越流行。

目前现有的基于学习的人脸超分辨率算法可以分为两种：单输入的人脸超分辨率算法和多输入的人脸超分辨率算法。单输入的人脸超分辨率方法在传统方法中有许多使用贝叶斯推理方法，子空间学习方法，贝叶斯推理和子空间学习方法的组合，以及基于稀疏表达的方法，近年来，也有许多基于深度卷积神经网络(Convolutional Neural Networks，CNN)的单输入人脸超分辨算法。例如：基于变换式自动编码器网络的超分辨率方法；在生成网络中加入增强判别器(Enhanced discriminative generative adversarial networkfor face super-resolution，EDGAN)，并运用到人脸图像超分辨率领域；提出采用组件生成的方式并使用两步法单独增强人脸组件的人脸重建算法(Learning to hallucinateface images via Component Generation and Enhancement，LCGE)；基于区域的并行深度残差网络(Parallel Region-Based Deep Residual Networks for Face Hallucination，PRDRN)，该网络利用基于区域的人脸幻觉技术来学习更精确的先验信息。

尽管单输入的人脸超分辨率算法提供了有监督的学习的端到端解决方案。实际上，在实际应用中，多视图人脸图像比单视图人脸图像更为常见。因此，单输入的人脸超分辨率算法在处理多视图图像方面有局限性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出了一种基于多视图纹理学习的人脸超分辨率方法及装置，由此解决目前单输入人脸超分辨率重建算法在网络的重建性能及人脸图像的质量上均存在一定局限性的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于多视图纹理学习的人脸超分辨率方法，包括：

(1)将高分辨率人脸图像对下采样至目标低分辨率人脸图像对，将所述目标低分辨率人脸图像对进行分块操作，分出相互重叠的图像块，其中，所述人脸图像对中包括人脸正面图像和人脸多视图图像；

(2)将所述相互重叠的图像块输入残差池化模块，使用所述残差池化模块生成脸部纹理多尺度特征；

(3)将所述脸部纹理多尺度特征输入纹理注意力模块，以通过所述纹理注意力模块得到注意图来寻找人脸图像对的最相似的特征，并将提取的特征进行融合补偿；

(4)以融合后的特征来更新人脸正面图像的特征图，进而产生高分辨率结果。

优选地，步骤(1)包括：

将所选取的N张高分辨率人脸图像通过下采样得到低分辨率人脸图像数据集，并将所述低分辨率人脸图像数据集中的人脸图像进行分块处理，分成若干个预定像素大小的图像块，并对各所述图像块通过水平翻转以及旋转操作进行数据增强，以将增强后的数据集输入网络进行特征提取，其中，所述高分辨率人脸图像中包括人脸正面图像和人脸多视图图像。

优选地，所述残差池化模块以残余方式层叠若干个残差池化块构成，其中，由若干个膨胀的卷积层与一个卷积层组合成所述残差池化组。

优选地，步骤(3)包括：

(3.1)分别将人脸正面图像特征图Fea_f∈R^H×W×C和多视图图像特征图Fea_m∈R^H×W×C馈送到两个残差块分别生成f₀和m₀，然后将f₀馈送到第一卷积层以生成特征图X∈R^H×W×C，同时将m₀馈送到第二卷积层以生成特征图Y∈R^H×W×C，将Y调整为R^H×C×W，并且将X和Y进行分批式的矩阵乘法后，通过softmax层生成关注图P_m→f∈R^H×W×W；

(3.2)将Fea_m送到第三卷积层产生J∈R^H×W×C，然后乘以P_m→f产生特征图M∈R^H×W×C；

(3.3)将M和Fea_f馈送到第四卷积层以进行特征融合，其中，H表示特征图的高，W表示特征图的宽，C表示特征图所在的通道数。

优选地，所述总损失的损失函数为：L_overall＝L_rec+k(L_pho+L_gui+L_per)，其中，L_rec为重建损失，L_pho为光度损失，L_gui为引导损失，L_per为周期损失，k为系数。

优选地，所述重建损失的损失函数为：

其中，

为人脸正面图像的重建结果，

为人脸正面图像的原始高分辨率图像。

优选地，所述光度损失的损失函数为：

其中，

表示低分辨率人脸正面图像特征图，

表示低分辨率人脸多视图图像特征图，P_f→m表示正面图像对多视图图像的注意图，P_m→f表示多视图图像对正面图像的注意图。

优选地，所述引导损失的损失函数为:

其中，P∈{P_f→m,P_m→f}，P(x,y,z)表示多视图图像中的位置(x,y)对人脸正面图像中位置(x,z)的贡献，P(x+1,y,z)表示多视图图像中的位置(x+1,y)对人脸正面图像中位置(x+1,z)的贡献，P(x,y+1,z+1)表示多视图图像中的位置(x,y+1)对人脸正面图像中位置(x,z+1)的贡献。

优选地，所述周期损失的损失函数为：L_per＝∑||P_f→m→f-F||₁+∑||P_m→f→m-F||₁，其中，P_f→m→f表示正面图像对多视图图像再对正面图像的周期注意图，P_m→f→m表示多视图图像对正面图像再对多视图图像的周期注意图，F∈R^H×W×W。

按照本发明的另一方面，提供了一种基于多视图纹理学习的人脸超分辨率装置，包括：

下采样模块，用于将高分辨率人脸图像对下采样至目标低分辨率人脸图像对，将所述目标低分辨率人脸图像对进行分块操作，分出相互重叠的图像块，其中，所述人脸图像对中包括人脸正面图像和人脸多视图图像；

残差池化模块，用于将所述相互重叠的图像块输入残差池化模块，使用所述残差池化模块生成脸部纹理多尺度特征；

纹理注意力模块，用于将所述脸部纹理多尺度特征输入纹理注意力模块，以通过所述纹理注意力模块得到注意图来寻找人脸图像对的最相似的特征，将提取的特征进行融合补偿；

输出模块，用于以融合后的特征来更新人脸正面图像的特征图，进而产生高分辨率结果。

按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现如上述任一所述的基于多视图纹理学习的人脸超分辨率方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明利用多视角人脸图像的纹理信息来解决人脸图像超分辨率问题，并提出了一种不依赖于人脸图像对之间配准的方法，引入纹理注意力模块，学习人脸图像对的纹理特征，可以有效提高网络的重建性能，产生更高质量的人脸图像。

附图说明

图1是本发明实施例提供的一种基于学习多视图纹理补偿的人脸超分辨率方法的流程示意图；

图2是本发明实施例提供的一种多视图纹理补偿的网络框架图；

图3是本发明实施例提供的一种残差池化模块结构图；

图4是本发明实施例提供的一种纹理注意力模块结构图；

图5是本发明实施例提供的一种在FEI数据集上的结果图，其中，(a)为插值(Bicubic)图像；(b)为原始高分辨率图像；(c)为本发明实验结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提出了一种基于学习多视图纹理补偿实现人脸超分辨率的方法，该人脸图像超分辨率方法使用多视图纹理补偿来组合两张人脸图像以生成高分辨率图像作为输出。使用纹理注意机制将高精度的纹理补偿信息传输到固定视图，以获得更好的视觉效果。

如图1所示，本发明提出的一种基于多视图纹理补偿的人脸超分辨率方法的流程示意图，本发明主要包括以下四个部分：

(1)将高分辨率人脸图像对下采样至目标低分辨率人脸图像对，将目标低分辨率图像对进行分块操作，分出相互重叠的图像块；

(2)将相互重叠的图像块输入残差池化模块，使用残差池化模块网络生成脸部纹理多尺度特征；

(3)将脸部纹理多尺度特征发送到纹理注意力模块，以通过计算注意图来寻找人脸图像对的最相似的特征，将提取的特征进行融合补偿，生成更合理的纹理信息；

(4)通过特征融合来更新人脸正面图像的特征图以产生高分辨率结果。

如图2所示是本发明实施例提供的一种多视图纹理补偿的网络框架图，该框架具有利用多视角的侧脸图像的纹理信息进行重建正面人脸图像的能力。该方法主要通过以下四个步骤来实现：

S1：将高分辨率人脸图像对下采样至目标低分辨率人脸图像对，将目标低分辨率图像对进行分块操作，分出相互重叠的图像块；

作为一种可选的实施方式，步骤S1可以通过以下方式实现：

将所选取的N张高分辨率人脸图像通过下采样得到低分辨率人脸图像数据集，并将低分辨率数据集中的人脸图像进行分块处理，分成若干个指定的像素大小，通过水平翻转以及旋转进行数据增强，将增强后的数据集输入网络进行特征提取。

S2：将相互重叠的图像块输入残差池化模块，使用残差池化模块网络生成脸部纹理多尺度特征；

在步骤S2中的残差池化模块是通过交替层叠残差池化块和残差块来构造的，主要是从面部中提取深层特征，图3所示的残差池化模块结构图的实现方法包括以下步骤：首先将面部图像的特征发送到残差池化块以生成多尺度面部特征；然后将获得的特征发送到残差块以进行特征融合，重复此过程两次来生成最终的面部特征。

其中，在每个残差池化块内，将三个膨胀的卷积(膨胀率为1、4、8)与1*1的卷积相组合形成一个残差池化组，然后以残余方式级联四个残差池化组。该残差池化模块不仅可以提取脸部的多尺度特征，还可以利用多样性卷积汇总不同膨胀率的卷积。

S3：将脸部纹理多尺度特征发送到纹理注意力模块，以通过计算注意图来寻找人脸图像对的最相似的特征，将提取的特征进行融合补偿，生成更合理的纹理信息；

作为一种可选的实施方式，如图4所示，步骤S3可以通过以下方式实现：

首先将正面图像特征图Fea_f∈R^H×W×C和多视图图像特征Fea_m∈R^H×W×C馈送到两个残差块分别生成f₀和m₀，然后将f₀馈送到1×1的卷积层以生成特征图X∈R^H×W×C，同时将m₀馈送到另一个1×1卷积层产生特征图Y∈R^H×W×C，然后将Y调整为R^H×C×W，并且将X和Y进行分批式的矩阵乘法，然后通过softmax层生成关注图P_m→f∈R^H×W×W；其次，将Fea_m送到1×1卷积层产生J∈R^H×W×C，然后乘以P_m→f产生特征M∈R^H×W×C；最后M和Fea_f被馈送到1×1卷积层以进行特征融合。

其中，与自我关注机制不同的是，本发明实施例的注意力模块将网络集中在最相似的特征，而不是在稀疏注意力图收集所有相似的特征。因此，此模块使用纹理特征更有效地提高SR性能。

纹理注意力模块可以捕获准确的对应关系，可以获得以下的人脸图像对的一致性：

其中，

表示分批矩阵乘法，基于此方程可以进一步推导出周期一致性：

其中周期注意力图P_f→m→f和P_m→f→m分别计算为：

和

总的网络结构的总损失函数为：L_overall＝L_rec+k(L_pho+L_gui+L_per)，其中L_rec为重建损失，L_pho为光度损失，L_gui为引导损失，L_per为周期损失，而k根据经验设置为0.005。

重建损失函数为：

其中，

为正脸图像的重建结果，

为正脸图像的原始高分辨率的图像。本函数使用均方误差(MSE)作为损失函数来计算合并的重建的正脸图像和原始HR的正脸图像之间的差异。

光照损失的损失函数为：

在不同照明条件下收集带有多视图图像的面部图像具有挑战性，因此采用无监督的方法来训练纹理注意模块，使用平均绝对误差损失来引入光度损失，其中

和

代表LR面部图像对的人脸特征图。

引导损失的损失函数为:

其中P∈{P_f→m,P_m→f},P(x,y,z)表示多视角图像中位置(x,y)对正面图像中位置(x,z)的贡献，该公式的第一部分和第二部分分别用于实现垂直和水平注意力的一致性。

周期损失的损失函数为：L_per＝∑||P_f→m→f-F||₁+∑||P_m→f→m-F||₁，设计此周期损失是为了实现周期一致性，其中P_f→m→f和P_m→f→m被视为身份矩阵，F∈R^H×W×W是一个H身份的堆栈。

S4：通过特征融合来更新人脸正面图像的特征图以产生高分辨率结果。

作为一种可选的实施方式，将纹理注意力模块生成的纹理特征图进行融合，再通过4个残差块提取残差信息，经过一个sub-pixel层进行上采样至所放大地倍数，最后通过卷积层进行转换为RGB通道，形成最终的人脸高分辨率重建图像。

测试实施例：

实验采用FEI人脸数据库，FEI数据库含有200人，每个人挑选出两张不同的人脸图像(一张为正面图像，另一张为侧脸图像(多视角图像))，每幅图大小为256×192像素，下采样四倍得到对应的低分辨率图像大小为64×48像素，提取低分辨率人脸图像块为32×24像素。

本发明与其他的图像超分辨重建算法对比，提供实验数据来表达本方法的有效性，对比实验结果的参数比较如下表1所示，表1为20张人脸图像对比实验结果(平均PSNR、SSIM和VIF)，实验结果如图5所示，(a)为Bicubic图像；(b)为原始高分辨率图像；(c)为本发明实验结果图。

表1

Algorithm	Bicubic	SelfEx	SRCNN	EDGAN	TDAE	PRDRN	本发明
								PSNR	33.30	36.53	36.71	37.89	34.34	37.14	38.17
SSIM	0.9318	0.9546	0.9495	0.9558	0.9320	0.9570	0.9634
								VIF	0.5293	0.6369	0.5693	0.6349	0.5527	0.6454	0.6709

从以上表格实验数据可以看出，本发明方法均对比方法获得了高的分数，即优于对比算法。

在本发明的另一实施例中，还提供了一种基于多视图纹理学习的人脸超分辨率装置，包括：

下采样模块，用于将高分辨率人脸图像对下采样至目标低分辨率人脸图像对，将目标低分辨率人脸图像对进行分块操作，分出相互重叠的图像块，其中，人脸图像对中包括人脸正面图像和人脸多视图图像；

残差池化模块，用于将相互重叠的图像块输入残差池化模块，使用残差池化模块生成脸部纹理多尺度特征；

纹理注意力模块，用于将脸部纹理多尺度特征输入纹理注意力模块，以通过纹理注意力模块得到注意图来寻找人脸图像对的最相似的特征，将提取的特征进行融合补偿；

输出模块，用于以融合后的特征来更新人脸正面图像的特征图，进而产生高分辨率结果。

其中，各模块的具体实施方式可以参考方法实施例的描述，本发明实施例将不做复述。

在本发明的另一实施例中，还提供了一种计算机可读存储介质，其上存储有程序指令，该程序指令被处理器执行时实现上述的基于多视图纹理学习的人脸超分辨率方法。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多视图纹理学习的人脸超分辨率方法，其特征在于，包括：

(1)将高分辨率人脸图像对下采样至目标低分辨率人脸图像对，将所述目标低分辨率人脸图像对进行分块操作，分出相互重叠的图像块，其中，所述人脸图像对中包括人脸正面图像和人脸多视图图像；

(2)将所述相互重叠的图像块输入残差池化模块，使用所述残差池化模块生成脸部纹理多尺度特征；

(3)将所述脸部纹理多尺度特征输入纹理注意力模块，以通过所述纹理注意力模块得到注意图来寻找人脸图像对的最相似的特征，并将提取的特征进行融合补偿；

(4)以融合后的特征来更新人脸正面图像的特征图，进而产生高分辨率结果。

2.根据权利要求1所述的方法，其特征在于，步骤(1)包括：

将所选取的N张高分辨率人脸图像通过下采样得到低分辨率人脸图像数据集，并将所述低分辨率人脸图像数据集中的人脸图像进行分块处理，分成若干个预定像素大小的图像块，并对各所述图像块通过水平翻转以及旋转操作进行数据增强，以将增强后的数据集输入网络进行特征提取，其中，所述高分辨率人脸图像中包括人脸正面图像和人脸多视图图像。

3.根据权利要求1或2所述的方法，其特征在于，所述残差池化模块通过交替层叠残差池化块和残差块来构造，在每个所述残差池化块内，将若干个膨胀的卷积层与一个卷积层相组合形成一个残差池化组，然后以残余方式级联若干个所述残差池化组。

4.根据权利要求3所述的方法，其特征在于，步骤(3)包括：

(3.1)分别将人脸正面图像特征图Fea_f∈R^H×W×C和多视图图像特征图Fea_m∈R^H×W×C馈送到两个残差块分别生成f₀和m₀，然后将f₀馈送到第一卷积层以生成特征图X∈R^H×W×C，同时将m₀馈送到第二卷积层以生成特征图Y∈R^H×W×C，将Y调整为R^H×C×W，并且将X和Y进行分批式的矩阵乘法后，通过softmax层生成关注图P_m→f∈R^H×W×W；

(3.2)将Fea_m送到第三卷积层产生J∈R^H×W×C，然后乘以P_m→f产生特征图M∈R^H×W×C；

(3.3)将M和Fea_f馈送到第四卷积层以进行特征融合，其中，H表示特征图的高，W表示特征图的宽，C表示特征图所在的通道数。

5.根据权利要求4所述的方法，其特征在于，总损失的损失函数为：L_overall＝L_rec+k(L_pho+L_gui+L_per)，其中，L_rec为重建损失，L_pho为光度损失，L_gui为引导损失，L_per为周期损失，k为系数。

6.根据权利要求5所述的方法，其特征在于，所述重建损失的损失函数为：

其中，

为人脸正面图像的重建结果，

为人脸正面图像的原始高分辨率图像。

7.根据权利要求5所述的方法，其特征在于，所述光度损失的损失函数为：

其中，

表示低分辨率人脸正面图像特征图，

表示低分辨率人脸多视图图像特征图，P_f→m表示正面图像对多视图图像的注意图，P_m→f表示多视图图像对正面图像的注意图。

8.根据权利要求5所述的方法，其特征在于，所述引导损失的损失函数为:

其中，P∈{P_f→m,P_m→f}，P(x,y,z)表示多视图图像中的位置(x,y)对人脸正面图像中位置(x,z)的贡献，P(x+1,y,z)表示多视图图像中的位置(x+1,y)对人脸正面图像中位置(x+1,z)的贡献，P(x,y+1,z+1)表示多视图图像中的位置(x,y+1)对人脸正面图像中位置(x,z+1)的贡献。

9.根据权利要求5所述的方法，其特征在于，所述周期损失的损失函数为：L_per＝∑||P_f→m→f-F||₁+∑||P_m→f→m-F||₁，其中，P_f→m→f表示正面图像对多视图图像再对正面图像的周期注意图，P_m→f→m表示多视图图像对正面图像再对多视图图像的周期注意图，F∈R^H×W×W。

10.一种基于多视图纹理学习的人脸超分辨率装置，其特征在于，包括：

下采样模块，用于将高分辨率人脸图像对下采样至目标低分辨率人脸图像对，将所述目标低分辨率人脸图像对进行分块操作，分出相互重叠的图像块，其中，所述人脸图像对中包括人脸正面图像和人脸多视图图像；

残差池化模块，用于将所述相互重叠的图像块输入残差池化模块，使用所述残差池化模块生成脸部纹理多尺度特征；

纹理注意力模块，用于将所述脸部纹理多尺度特征输入纹理注意力模块，以通过所述纹理注意力模块得到注意图来寻找人脸图像对的最相似的特征，将提取的特征进行融合补偿；

输出模块，用于以融合后的特征来更新人脸正面图像的特征图，进而产生高分辨率结果。

Images