CN114067399B - 面向非配合场景的人脸重建与识别方法 - Google Patents

Abstract

本发明公开了一种面向非配合场景的人脸重建与识别方法，其特征在于，包括如下步骤：1）构造三元组人脸数据集；2）三元组损失约束编码；3）亚像素卷积解码；4）多损失约束判别；5）训练生成对抗网络；6）重建与识别。这种方法在低分辨率和较大偏姿的情况下，仍然能够重建出清晰真实的正面人脸图像,并获得较高的识别率。

Description

面向非配合场景的人脸重建与识别方法

技术领域

本发明涉及智能图像处理技术领域，具体涉及一种面向非配合场景的人脸重建与识别方法。

背景技术

视频监控是目前主要的安防手段之一。利用视频片段和图片进行精准人脸识别在安保、刑侦等领域有重要作用和意义。在此应用场景下，人脸图像通常是在非配合的情况下获得，因此人脸图像往往存在姿态偏差、分辨率低，模糊和遮挡等问题，导致现有的人脸识别算法失效，识别准确率严重下滑，无法直接应用。

目前，针对非配合场景下，同时存在姿态偏差和低分辨问题的人脸识别，主要有两种解决思路。第一种思路，首先对人脸图像进行超分辨，然后根据人脸标志特征进行姿态矫正，此类方法主要以重建精度为网络训练目标，恢复重建得到的正脸图具有较高的峰值信噪比，但对识别应用而言，产生的正脸图像缺乏关键辨识特征，算法的鲁棒性较差，识别率不高。第二种思路，利用图神经网络将低分辨偏姿人脸与高分辨正脸图像建立关联，通过关联推理进行识别。这类方法识别率较高，但由于没有人脸重建过程，可解释性较差，对伪装人脸的辨识度较低。这些方法在人脸清晰时具有优秀的校正性能，但是无法解决较大角度的低分辨人脸。

发明内容

本发明的目的是针对现有技术的不足，而提供一种面向非配合场景的人脸重建与识别方法。这种方法在低分辨率和较大偏姿的情况下，仍然能够重建出清晰真实的正面人脸图像，并获得较高的识别率。

实现本发明目的的技术方案是：

一种面向非配合场景的人脸重建与识别方法，与现有技术不同的是，包括如下步骤：

1)构造三元组人脸数据集：数据集采用Multi-PIE，训练集由各个侧脸与相对应的正面人脸组成二元组，将训练集中的正面人脸Fⁱ＝[F¹，F²，...，Fⁱ]采用人脸特征提取得到编码后的128维特征向量fⁱ＝[f¹，f²，...，fⁱ]，选择每个向量最接近的向量，将每个向量最接近的向量对应的正面人脸与二元组共同组成三元组，对三元组人脸进行双三次插值下采样至指定的32×32大小作为训练集，I_x ^LR是低分辨的侧面人脸，I_x ^LR+是生成人脸对应的正标靶，I_y ^LR+则是生成人脸最接近的负标靶；

2)三元组损失约束编码：将步骤1)得到的三元组人脸I_x ^LR，I_x ^LR+，I_y ^LR+采用编码网络的三层卷积池化操作提取三元组人脸的特征图，其中，三个卷积层的卷积核大小均4×4，通道数依次为128，256，512，最后采用一层2048个神经元的全连接层将三元组人脸进行编码，记为f，f(I_x ^LR)是低分辨的侧面人脸经过编码网络后的特征向量，f(I_x ^LR+)是生成人脸对应的正标靶经过编码网络后的特征向量，f(I_y ^LR+)是生成人脸对应的负标靶经过编码网络后的特征向量，为了使f(I_x ^LR)姿态矫正逼近正标靶，远离负标靶，设α为f(I_x ^LR)与f(I_x ^LR+)的距离减去f(I_x ^LR)与f(I_y ^LR+)的距离，则三元组损失为：

通过设置α的值，便可通过最小化三元组损失来约束编码对人脸姿态的校正，使类内距离小，类间距离大，从而使生成的正面人脸具有更好的判别能力；

3)亚像素卷积解码：将步骤2)经过三元组损失约束的f(I_x ^LR)采用三层反卷积层，其中，三个卷积层的卷积核大小均4×4、通道数依次为512，256，128，为了增强特征的上下文信息，在前两层反卷积层后添加自注意力模块，再经过一层反卷积层后得到的特征图f'(I_x ^LR)输入到亚像素卷积层，亚像素卷积层将特征图放大后生成高分辨姿态矫正后的正面人脸

4)多损失约束判别：将步骤3)输出的与真实的正面人脸I_x ^HR+共同输入到判别网络D，判别网络D由四层卷积层与一层全连接层构成，其中四个卷积层的卷积核大小均3×3通道数依次为32、64、128、256，全连接层的神经元为4096，最后将经过判别网络的结果使用判别损失L_WGAN-GP计算误差更新值，再通过反向传播优化整个网络，其中，D为判别网络结果，判别器对输入的两幅图像进行比对，使重建人脸接近真实人脸，增强重建正面人脸的视觉感知效果，λ为L_WGAN-GP的惩罚项、取值为10：

除此之外了限制生成的高分辨率正脸图像在外观相似度方面与真实的正面人脸相似，因此采用像素损失L_pixel来约束像素强度，其中I_x ^HR+是真实的正面人脸图像，是重建得到的正面人脸图像，W表示图片的宽，H表示图片的高，损失函数为：

，采用像素损失来约束像素强度；

5)训练生成对抗网络：将步骤2)与步骤3)作为生成对抗网络中的生成网络，步骤4)作为对抗网络，步骤1)与步骤4)中的三种损失函数作为约束，最终的损失函数为L₊ ^SR＝αL_pixel++γL_triple+βL_WGAN，其中α，γ，β为权重，由于目标是低分辨下的姿态矫正，用于人脸识别，而不是生成一些高分辨但是随机的人脸所以在L_triple的γ会高一些，最后采用反向传播优化参数，训练得到最佳的低分辨人脸姿态校正网络；

6)重建与识别：将不同姿态的低分辨人脸图像输入到步骤5)训练好的低分辨人脸姿态校正网络，输出为重建好的正面人脸图像，再采用常用的人脸识别网络框架进行人脸识别。

步骤1)中所述的三元组是采用人脸相似度优化选择的过程，具体为：

首先将训练集中所有的正面人脸Fⁱ＝[F¹,F²,...,Fⁱ]采用深度残差神经网络提取出128维向量fⁱ＝[f¹,f²,...,fⁱ]，再计算每个比较面部的欧氏距离最后得到每张人脸与每张人脸欧式距离最短的对应人脸组成三元组。

步骤2)中所述的三元组损失中最短三元组损失为：采用特征向量之间的距离来度量人脸的相似性，并用作网络对抗训练损失函数的一部分，用于约束图像与图像正标靶具有相同的特征、与图像负标靶具有不同特征，从而提升不同人的脸部图像的区分度，最短距离的负标靶为I_yL^R+＝argmin(|F_enc(I_x ^LR+)|-|F_enc(I_y ^LR+)|)²，重点区分与第x个人具有较相似特征的不同身份的人脸，在确保网络训练收敛的同时，使模型拟合度更高，并将损失函数中的α设置为正标靶与负标靶的欧氏距离。

步骤3)中所述的自注意力模块用于捕捉校正时大角度和小角度的上下文信息，提升模型的映射能力，更好地保留身份信息，过程为：

将特征图经过两个不同的1×1卷积层，生成特征图/>将A,B通过M_a＝σ(A^T.B)得到f_j的重要性分布，T为矩阵转置，·为矩阵相乘，σ为softmax激活函数，则经过自注意力模块后输出的特征f'_j＝f_j+αM_af_j。

步骤3)中所述的亚像素卷积即超分辨过程为：

特征图f'(I_x ^LR)输入到亚像素卷积层得到输出I_x ^HR＝ρS(W_L×f'(I_x ^LR)+b_L)，其中，ρS为亚像素卷积的排列组合方法，尺寸为W×H，深度为3×r×r的特征f'(I_x ^LR)转换为rW×rH×3的清晰高分辨率正脸图像I_x ^HR。

本技术方案采用编解码网络将低分辨率侧脸图像重建为高分辨率正脸图像，再利用识别网络对所重建的正脸进行人脸识别，在网络训练上，兼顾了人脸重建和识别两个任务，将对抗机制与改进后的三元组损失函数相结合，提供了一种三元对抗训练方法，在重建出较高质量的正面人脸的同时，提取到有利于识别任务的特征，最短距离三元组损失函数作用在编码网络中，使网络对于同一个人提取的特征更为相似，即具有较小的距离；而与现有技术中提取的特征不相似，即具有较大的距离，该训练策略使重建生成的人脸特征与真实正面人脸的特有特征更接近，为后续识别提供鲁棒的特征。

本技术方案，有效解决了低分辨多姿态人脸由于缺少高频信息而无法识别的问题：

(1)将姿态校正网络和超分辨网络同时放入生成器中，超分辨是对已有的高频信息进行精细化填充，而对于低分辨的侧脸，由于缺少高频信息，所以需要先姿态校正，再进行超分辨，将三元组损失融合到正脸化过程中，约束低分辨正脸的校正，端到端地解决低分辨率人脸姿态校正，可以有效的去除生成图像的伪影，生成更加真实的人脸；

(2)在判别器中用WGAN-GP损失代替传统的交叉熵损失，推土机距离可以有效地稳定GAN的优化过程，通过人脸相似度优化三元组的选择，确保每次训练数据的正例和负例相似度最高，加速收敛，最终能够重建出有利于识别的人脸图像，可以有效提高识别准确率；

(3)在解码网路中添加自注意力模块可以捕捉校正时大角度和小角度的上下文信息，提升模型的映射能力，更好地保留身份信息。

这种方法在低分辨率和较大偏姿的情况下，仍然能够重建出清晰真实的正面人脸图像,并获得较高的识别率。

附图说明

图1为实施例的方法流程示意图；

图2为实施例中低分辨率人脸姿态校正网络的结构原理示意图；

图3为实施例中低分辨率人脸姿态校正网络生成器具体示意图。

具体实施方式

下面结合附图和实施例对本发明内容作进一步的说明，但不是对本发明的限定。

实施例：

参照图1，一种面向非配合场景的人脸重建与识别方法，包括如下步骤：

1)构造三元组人脸数据集：数据集采用Multi-PIE，训练集由各个侧脸与相对应的正面人脸组成二元组，将训练集中的正面人脸Fⁱ＝[F¹，F²,...,Fⁱ]采用人脸特征提取得到编码后的128维特征向量fⁱ＝[f¹,f²,...,fⁱ]，选择每个向量最接近的向量，将每个向量最接近的向量对应的正面人脸与二元组共同组成三元组，对三元组人脸进行双三次插值下采样至指定的32×32大小作为训练集，I_x ^LR是低分辨的侧面人脸，I_x ^LR+是生成人脸对应的正标靶，I_y ^LR+则是生成人脸最接近的负标靶；

2)三元组损失约束编码：将步骤1)得到的三元组人脸I_x ^LR，I_x ^LR+，I_y ^LR+采用编码网络的三层卷积池化操作提取三元组人脸的特征图，其中，三个卷积层的卷积核大小均4×4，通道数依次为128，256，512，最后采用一层2048个神经元的全连接层将三元组人脸进行编码，记为f，如图3所示，f(I_x ^LR)是低分辨的侧面人脸经过编码网络后的特征向量，f(I_x ^LR+)是生成人脸对应的正标靶经过编码网络后的特征向量，f(I_y ^LR+)是生成人脸对应的负标靶经过编码网络后的特征向量，为了使f(I_x ^LR)姿态矫正逼近正标靶，远离负标靶，设α为f(I_x ^LR)与f(I_x ^LR+)的距离减去f(I_x ^LR)与f(I_y ^LR+)的距离，则三元组损失为：

通过设置α的值，便可通过最小化三元组损失来约束编码对人脸姿态的校正，使类内距离小，类间距离大，从而使生成的正面人脸具有更好的判别能力；

3)亚像素卷积解码：将步骤2)经过三元组损失约束的f(I_x ^LR)采用三层反卷积层，其中，三个卷积层的卷积核大小均4×4、通道数依次为512，256，128，为了增强特征的上下文信息，在前两层反卷积层后添加自注意力模块，再经过一层反卷积层后得到的特征图f'(I_x ^LR)输入到亚像素卷积层，如图3所示，亚像素卷积层将特征图放大后生成高分辨姿态矫正后的正面人脸

4)多损失约束判别：如图2所示，将步骤3)输出的与真实的正面人脸I_x ^HR+共同输入到判别网络D，判别网络D由四层卷积层与一层全连接层构成，其中四个卷积层的卷积核大小均3×3通道数依次为32、64、128、256，全连接层的神经元为4096，最后将经过判别网络的结果使用判别损失L_WGAN-GP计算误差更新值，再通过反向传播优化整个网络，其中，D为判别网络结果，判别器对输入的两幅图像进行比对，使重建人脸接近真实人脸，增强重建正面人脸的视觉感知效果，λ为L_WGAN-GP的惩罚项，取值为10：

除此之外了限制生成的高分辨率正脸图像在外观相似度方面与真实的正面人脸相似，因此采用像素损失L_pixel来约束像素强度，其中I_x ^HR+是真实的正面人脸图像，是重建得到的正面人脸图像，W表示图片的宽，H表示图片的高，损失函数为：

，采用像素损失来约束像素强度；

5)训练生成对抗网络：将步骤2)与步骤3)作为生成对抗网络中的生成网络，步骤4)作为对抗网络，步骤1)与步骤4)中的三种损失函数作为约束，最终的损失函数为L₊ ^SR＝αL_pixel++γL_triple+βL_WGAN，其中α，γ，β为权重，由于目标是低分辨下的姿态矫正，用于人脸识别，而不是生成一些高分辨但是随机的人脸所以在L_triple的γ会高一些，最后采用反向传播优化参数，训练得到最佳的低分辨人脸姿态校正网络；

6)重建与识别：将不同姿态的低分辨人脸图像输入到步骤5)训练好的低分辨人脸姿态校正网络，输出为重建好的正面人脸图像，再采用常用的人脸识别网络框架进行人脸识别。

步骤1)中所述的三元组是采用人脸相似度优化选择的过程，具体为：

首先将训练集中所有的正面人脸Fⁱ＝[F¹,F²,...,Fⁱ]采用深度残差神经网络提取出128维向量fⁱ＝[f¹，f²，...，fⁱ]，再计算每个比较面部的欧氏距离最后得到每张人脸与每张人脸欧式距离最短的对应人脸组成三元组。

步骤2)中所述的三元组损失中最短三元组损失为：采用特征向量之间的距离来度量人脸的相似性，并用作网络对抗训练损失函数的一部分，用于约束图像与图像正标靶具有相同的特征、与图像负标靶具有不同特征，从而提升不同人的脸部图像的区分度，最短距离的负标靶为I_y ^LR+＝argmin(|F_enc(I_x ^LR+)|-|F_enc(I_y ^LR+)|)²，重点区分与第x个人具有较相似特征的不同身份的人脸，在确保网络训练收敛的同时，使模型拟合度更高，并将损失函数中的α设置为正标靶与负标靶的欧氏距离。

步骤3)中所述的自注意力模块用于捕捉校正时大角度和小角度的上下文信息，提升模型的映射能力，更好地保留身份信息，过程为：

将特征图经过两个不同的1×1卷积层，生成特征图/>将A,B通过M_a＝σ(A^T.B)得到f_j的重要性分布，T为矩阵转置，·为矩阵相乘，σ为softmax激活函数，则经过自注意力模块后输出的特征f'_j＝f_j+αM_af_j。

步骤3)中所述的亚像素卷积即超分辨过程为：

特征图f'(I_x ^LR)输入到亚像素卷积层得到输出I_x ^HR＝ρS(W_L×f'(I_x ^LR)+b_L)，其中，ρS为亚像素卷积的排列组合方法，尺寸为W×H，深度为3×r×r的特征f'(I_x ^LR)转换为rW×rH×3的清晰高分辨率正脸图像I_x ^HR。

Claims (5)

1.一种面向非配合场景的人脸重建与识别方法，其特征在于，包括如下步骤：

1)构造三元组人脸数据集：数据集采用Multi-PIE，训练集由各个侧脸与相对应的正面人脸组成二元组，将训练集中的正面人脸Fⁱ＝[F¹,F²,...,Fⁱ]采用人脸特征提取得到编码后的128维特征向量fⁱ＝[f¹,f²,...,fⁱ]，选择每个向量最接近的向量，将每个向量最接近的向量对应的正面人脸与二元组共同组成三元组，对三元组人脸进行双三次插值下采样至指定的32×32大小作为训练集，I_x ^LR是低分辨的侧面人脸，I_x ^LR+是生成人脸对应的正标靶，I_y ^LR+则是生成人脸最接近的负标靶；

2)三元组损失约束编码：将步骤1)得到的三元组人脸I_x ^LR，I_x ^LR+，I_y ^LR+采用编码网络的三层卷积池化操作提取三元组人脸的特征图，其中，三个卷积层的卷积核大小均4×4，通道数依次为128，256，512，最后采用一层2048个神经元的全连接层将三元组人脸进行编码，记为f，f(I_x ^LR)是低分辨的侧面人脸经过编码网络后的特征向量，f(I_x ^LR+)是生成人脸对应的正标靶经过编码网络后的特征向量，f(I_y ^LR+)是生成人脸对应的负标靶经过编码网络后的特征向量，设α为f(I_x ^LR)与f(I_x ^LR+)的距离减去f(I_x ^LR)与f(I_y ^LR+)的距离，则三元组损失为：

3)亚像素卷积解码：将步骤2)经过三元组损失约束的f(I_x ^LR)采用三层反卷积层，其中，三个卷积层的卷积核大小均4×4、通道数依次为512，256，128，在前两层反卷积层后添加自注意力模块，再经过一层反卷积层后得到的特征图f'(I_x ^LR)输入到亚像素卷积层，亚像素卷积层将特征图放大后生成高分辨姿态矫正后的正面人脸

4)多损失约束判别：将步骤3)输出的与真实的正面人脸I_x ^HR+共同输入到判别网络D，判别网络D由四层卷积层与一层全连接层构成，其中四个卷积层的卷积核大小均3×3通道数依次为32、64、128、256，全连接层的神经元为4096，最后将经过判别网络的结果使用判别损失L_WGAN-GP计算误差更新值，再通过反向传播优化整个网络，其中，D为判别网络结果，判别器对输入的两幅图像进行比对，λ为L_WGAN-GP的惩罚项、取值为10：

其中I_x ^HR+是真实的正面人脸图像，是重建得到的正面人脸图像，W表示图片的宽，H表示图片的高，损失函数为：

5)训练生成对抗网络：将步骤2)与步骤3)作为生成对抗网络中的生成网络，步骤4)作为对抗网络，步骤1)与步骤4)中的三种损失函数作为约束，最终的损失函数为L₊ ^SR＝αL_pixel++γL_triple+βL_WGAN，其中α，γ，β为权重，最后采用反向传播优化参数，训练得到最佳的低分辨人脸姿态校正网络；

6)重建与识别：将不同姿态的低分辨人脸图像输入到步骤5)训练好的低分辨人脸姿态校正网络，输出为重建好的正面人脸图像，再采用常用的人脸识别网络框架进行人脸识别。

2.根据权利要求1所述的面向非配合场景的人脸重建与识别方法，其特征在于，

步骤1)中所述的三元组是采用人脸相似度优化选择的过程，具体为：

首先将训练集中所有的正面人脸Fⁱ＝[F¹,F²,...,Fⁱ]采用深度残差神经网络提取出128维向量fⁱ＝[f¹,f²,...,fⁱ]，再计算每个比较面部的欧氏距离最后得到每张人脸与每张人脸欧式距离最短的对应人脸组成三元组。

3.根据权利要求1所述的面向非配合场景的人脸重建与识别方法，其特征在于，步骤2)中所述的三元组损失中最短三元组损失为：采用特征向量之间的距离来度量人脸的相似性，并用作网络对抗训练损失函数的一部分，用于约束图像与图像正标靶具有相同的特征、与图像负标靶具有不同特征，最短距离的负标靶为I_y ^LR+＝argmin(|F_enc(I_x ^LR+)|-|F_enc(I_y ^LR+)|)²，将损失函数中的α设置为正标靶与负标靶的欧氏距离。

4.根据权利要求1所述的面向非配合场景的人脸重建与识别方法，其特征在于，步骤3)中所述的自注意力模块用于捕捉校正时大角度和小角度的上下文信息，提升模型的映射能力，更好地保留身份信息，过程为：

将特征图经过两个不同的1×1卷积层，生成特征图/>将A,B通过M_a＝σ(A^T.B)得到f_j的重要性分布，T为矩阵转置，·为矩阵相乘，σ为softmax激活函数，经过自注意力模块后输出的特征f′_j＝f_j+αM_af_j。

5.根据权利要求1所述的面向非配合场景的人脸重建与识别方法，其特征在于，步骤3)中所述的亚像素卷积即超分辨过程为：

特征图f'(I_x ^LR)输入到亚像素卷积层得到输出I_x ^HR＝ρS(W_L×f'(I_x ^LR)+b_L)，其中，ρS为亚像素卷积的排列组合方法，尺寸为W×H，深度为3×r×r的特征f'(I_x ^LR)转换为rW×rH×3的清晰高分辨率正脸图像I_x ^HR。