CN114627531A - 一种基于人脸重构和Gabor遮挡字典的人脸识别方法 - Google Patents

Abstract

本发明涉及人脸识别技术领域，尤其涉及一种基于人脸重构和Gabor遮挡字典的人脸识别方法，包括S1、首先进行多角度人脸重构，经过mtcnn人脸对齐和裁剪；S2、引入遮挡字典A_e与训练数据A共同对测试样本编码；S3、增强字典对样本的表达能力；S4、用求解出的字典D重构测试样本；S5、重构误差矩阵进行样本分类；S6、由重构误差得到测试样本的标签分类；本发明一方面重构多角度人脸，弥补姿态遮挡人脸中的不可见部分；另一方面将Gabor遮挡字典与传统人脸识别过程相结合，利用Gabor遮挡字典重构因物理遮挡导致的噪声特征，增加对遮挡人脸识别的精度。

Description

一种基于人脸重构和Gabor遮挡字典的人脸识别方法

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种基于人脸重构和Gabor遮挡字典的人脸识别方法。

背景技术

人脸识别是机器视觉领域最重要的研究方向之一。近年来，人脸识别具有非常重要的实际应用价值。但是在很多实际应用场景中，人脸识别技术会受到很多限制，其中最常见的便是面部遮挡。面部的物理遮挡和姿态遮挡破坏了人脸信息的完整性，从而降低人脸识别的准确性。通常，有两类方法可以弥补这个问题。一种是通过人脸重建来恢复由于姿态变化而损失的信息。二是训练人脸识别模型，提取人脸不变特征。

随着生成对抗网络(GAN)和深度学习的发展以及人脸重建在人脸识别领域的应用，越来越多的基于GAN的人脸重建方法被提出，以弥补姿势变化导致的人脸信息不足。人脸重建方法不可避免地需要填充人脸的不可见部分。大多数使用面部标志(如五点标志)、面部对齐方法或三维人脸可形变模型(3DMM)进行图像预处理。这些工作的一些训练模型基于大规模数据集或复杂网络。而非使用更简单有效的网络重建正面人脸，聚焦到后续的人脸识别任务中。

关于面部特征损失导致的识别困难问题。传统上，基于字典学习的经典有效人脸识别方法侧重于学习不同类别的辨别特征，研究了因面部遮挡引起的识别困难问题，从不同的方面优化关于面部遮挡引起的识别结果降低的问题。Fisher判别字典学习方法(FDDL)整合了有效的费希尔判别标准，训练字典矩阵，增大类间距离。最新的字典学习方法也学习数据的隐含特征，增强字典识别和编码能力。但是面部遮挡部分对应的噪声特征，影响判别特征的学习。如何基于Gabor变换、LBP等低阶特征训练字典，学习具有判别力的特征，仍然是值得研究的问题。

发明内容

本发明所要解决的技术问题是：人脸姿态变化导致的面部姿态遮挡问题；人脸图像中出现的外部物理遮挡问题。

本发明所采用的技术方案是：一种基于人脸重构和Gabor遮挡字典的人脸识别方法包括以下步骤：

S1、图像处理：首先进行多角度人脸重构，每个个体各个角度的人脸按照角度分类，分类后的数据划分训练集和测试集，训练多角度人脸重构网络，生成正面人脸信息，然后正面人脸信息经过mtcnn人脸对齐和裁剪；

S2、求解Gabor遮挡字典：

在基于稀疏表达的人脸识别(SRC)中，测试样本y可以由训练样本A的线性组合求得，当出现遮挡或信息损失的样本，将样本分为完整的样本与噪声或遮挡信息两部分组成，引入遮挡字典A_e与训练数据A共同对测试样本编码，可以表示为：

y＝Ax₀+e₀＝[A,A_e][x₀,x_e]^T (1)

其中，e₀表示样本噪声的误差向量，x₀、x_e分别是与训练数据A、遮挡字典A_e对应的稀疏矩阵，A_e为单位矩阵；Fourier基等(Fourier基是线性无关的三角级数1，cosx,sinx,…cosix,sinix…cosnx,sinnx构成的正交基)；提取对应的Gabor特征χ(y)、χ(A_e)，χ(A)，求得的Gabor特征测试样本χ(y)，对应的Gabor遮挡字典χ(A_e)、训练样本χ(A)重构如下：

χ(y)＝[χ(A),χ(A_e)][x₀,x_e]^T (2)

其中，x₀、x_e分别是与训练数据A、遮挡字典A_e对应的稀疏矩阵；

由于Gabor遮挡字典求解过程中的代价太大，需要对χ(A_e)进行压缩，并对提取的Gabor特征进行了下采样，为了进一步得到一个紧凑且更有表达力的字典，对Gabor遮挡字典进行优化，Gabor遮挡字典χ(A_e)，具体求解Gabor遮挡字典公式如下：

其中，Γ表示压缩后的字典，Z是χ(A_e)在字典Γ上的表示矩阵；公式(3)是Gabor遮挡字典和矩阵Z的联合优化问题，与许多变量优化问题一样，本发明通过交替优化Γ和Z来求解公式(3)；

S3、求解训练数据字典：增强字典对样本的表达能力，保证字典的全局重构性、局部重构性、重构的唯一性，同时提取更深层次的特征，结合Fisher判别准则与对字典判别力的定义，重定义字典的求解公式：

其中，

D表示全局字典，D_i表示第i类局部字典，χ(A_i)表示第i类训练样本，X_i表示χ(A_i)在D上的表示矩阵，

表示χ(A_i)在D_i上的表示矩阵，

表示χ(A_i)在D_j上的表示矩阵，X表示χ(A)在D上的表示矩阵；

表示类内距离，

表示类间距离，m_i是X_i的均值向量，m是X的均值向量，n_i是第i类训练样本的数量；

字典原子初始化过程，将每个字典的所有原子初始化为具有单位L2范数的随机向量，公式(4)是字典矩阵D和矩阵X的联合优化问题；根据迭代投影法(IPM)可用于求解矩阵X，根据MFL(Meta-Face Learning)中的求解算法，求解出字典D；

S4、求解稀疏矩阵：根据公式(5)，求解出字典D，利用SRC人脸分类思想，用求解出的字典D重构测试样本，求解测试样本在字典中的稀疏编码：

其中，α、β_Γ为稀疏矩阵，D为全局字典、Γ为压缩字典；

公式(5)表示，稀疏矩阵α、β_Γ分别与全局字典D、压缩字典Γ共同重构Gabor特征测试样本χ(y)；使用L2范数对编码系数进行正则化；通过正则化可以使表示更稳定；此外，正则化使表示系数更小，增加表征系数的分辨力，有利于最终的人脸识别。

S5、计算重构误差：根据S4求解的字典D和Gabor遮挡字典Γ对应的稀疏编码矩阵重构测试样本，由公式(6)得到重构误差矩阵，公式(6)分为了两部分，一部分是稀疏编码矩阵对应的对完整样本的重构，另一部分是稀疏编码矩阵对应的对噪声或遮挡信息的重构，求得重构误差进行样本分类：

根据公式(5)求得α、β_Γ的近似解

用于求解重构误差e_i；

S6、标签分类：由重构误差得到测试样本的标签分类：

identify(y)＝argmin_i{e_i} (7)

由公式(7)求得重构测试样本最小误差对应的类别identify(y)；

进一步，所述人脸识别步骤中多角度人脸重构具体内容包括：

S11、数据预处理：人脸数据集中，每个个体的人脸姿态不尽相同，处理每个个体数据，得到一定角度的若干个体参与实验，对若干个体的每个图像进行人脸对齐，调整图像中的人脸位置，舍弃无用的背景信息；

S12、训练网络设计：多角度人脸重构网络由一个生成器和一个判别器组成；生成器输入和输出的图片w×h×c＝128×128×3，经过四层进行下采样和上采样卷积网络；判别网络输出：(1)用于判别输入图片真假的矩阵；(2)输入图片的判别标签；(3)图片的特征向量。

S13、损失函数设计：整个网络训练过程中，判别网络、生成网络联合训练最小化两个网络损失，L_D、L_G分别为D网络、G网络的总损失函数，具体设计如下：

D网络损失由对抗损失L_adv、标签损失L_rlbe、身份损失L_dide共同组成；G网络损失由对抗损失L_adv、标签损失L_flbe、身份损失L_gide、共循环一致性损失L_con、对称损失L_sym同组成；λ_adv、λ_lbe、λ_ide、λ_con、λ_sym为不同的损失函数对应的参数；对抗损失L_adv定义如下：

L_adv＝E_x[logD_dis(x)]+E_x,l′[1-log(D_dis(G(x,l′)))] (9)

输入图像x与其对应的标签l组成图片对(x,l)；l′是生成器训练的目标标签，从而生成器训练目标为G(x,l′)→y；G(x,l′)→y表示输入侧面图片x和目标正面人脸的标签l′,最终生成正面人脸y；

判别器训练目标为D(x)→{D_dis,D_lbe,D_fea}，表示输入一张图片，得到对应图片真假判别标签的概率分布D_dis、图片域标签的概率分布D_lbe、图片对应身份标签的概率分布D_fea；域标签损失分为两部分，一个是某一人脸图像输入的域标签损失，一个是生成器生成的目标人脸角度图片的域标签损失；域标签损失加入到训练判别器D的损失函数中，能够训练D正确的判别每一张图片对应的标签类别，标签损失L_rlbe的定义如下：

L_rlbe＝E_x,l[-logD_lbe(l|x)] (10)

域标签损失加入到训练生成器的损失函数中，定义如下：

L_flbe＝E_x,l′[-logD_lbe(l′|G(x,l′))] (11)

特别的是，每一张图片都有与之对应的域标签，使得只用一个生成器的同时，保证生成图像的多样性，与身份损失相结合，保证生成图像的唯一性，保持身份特征，生成器和判别器的身份损失具体定义如下：

L_gide＝-dist(D_fea(x^F)-D_fea(G(x^P,l₀)))+dist(D_fea(x^F)-D_fea(x^P)) (12)

L_dide＝dist(D_fea(x^F)-D_fea(G(x^P,l₀))) (13)

公式中x^F、x^P表示同一个人的正面、非正面图像，l₀表示正面图像的域标签，dist表示求解向量距离；除了以上的损失函数，加入了循环一致性损失，训练网络得到目标角度的人脸，同时保持原来人脸的面部细节，对称损失是针对生成的正面人脸视图，一定程度上能优化最终生成的正面人脸效果；具体定义如下：

L_con＝E_x,l,l′[||x-G(G(x,l′),l)||₁] (14)

其中w、h表示图像的宽和高，a、b表示图像某一像素点的坐标；将G(x^P,l₀)的结果表示为x^pred；假设人脸左右对称，

则表示由生成器生成的正面视图中的某一像素点，

则表示与

对称的像素点。

本发明的有益效果：

提出结合两方面内容的人脸识别方法，一方面重构多角度人脸，弥补姿态遮挡人脸中的不可见部分；另一方面将Gabor遮挡字典与传统人脸识别过程相结合，利用Gabor遮挡字典重构因物理遮挡导致的噪声特征，增加对遮挡人脸识别的精度；

针对不同姿态引起的自遮挡问题，采用MPFR模型重建正面人脸，在一定程度上补偿了面部特征的丢失，针对信息丢失的问题，GODL结合噪声项特征对人脸上丢失的信息进行重建，使受损图像更好地通过噪声项字典和训练字典进行重建。

附图说明

图1是本发明人脸重构和Gabor遮挡字典的人脸识别方法的框架图；

图2是多角度人脸重构网络框架；

图3是λ_adv＝0时，生成器和判别器的迭代的关系图；

图4是λ_adv＝5时，生成器和判别器的迭代的关系图；

图5是AR数据集下有遮挡人脸的测试结果；

图6是λ_ide＝5的训练结果。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1是基于人脸重构和Gabor遮挡字典的人脸识别方法的框架图，一种基于人脸重构和Gabor遮挡字典的人脸识别方法包括以下步骤：

S1、图像处理：

首先进行多角度人脸重构，每个个体各个角度的人脸按照角度分类，分类后的数据划分训练集和测试集训练多角度人脸重构网络，生成正面人脸信息，然后正面人脸信息，经过mtcnn人脸对齐和裁剪，用于后续的人脸识别步骤；

S2、求解Gabor遮挡字典：

在基于稀疏表达的人脸识别(SRC)中，测试样本y可以由训练样本A的线性组合求得，当出现遮挡或信息损失的样本，将样本分为完整的样本与噪声或遮挡信息两部分组成，引入遮挡字典A_e与训练数据A共同对测试样本编码；可以表示为：

y＝Ax₀+e₀＝[A,A_e][x₀,x_e]^T (1)

e₀表示样本噪声的误差向量，A_e为单位矩阵、Fourier基[2]等；提取对应的gabor特征χ(y)、χ(A_e)，χ(A)，求得的Gabor特征测试样本χ(y)，对应的Gabor遮挡字典χ(A_e)、训练样本χ(A)重构如下：

χ(y)＝[χ(A),χ(A_e)][x₀,x_e]^T (2)

由于Gabor遮挡字典求解过程中的代价太大，需要对其进行压缩，并对提取的Gabor特征进行了下采样，为了进一步得到一个紧凑且更有表达力的字典，对Gabor遮挡字典进行优化，具体求解如下

公式(3)是Gabor遮挡字典和矩阵Z的联合优化问题，与许多多变量优化问题一样，本发明通过交替优化Γ和Z来解决公式(3)；

S3、求解训练数据字典：增强字典对样本的表达能力，保证字典的全局重构性、局部重构性、重构的唯一性，同时提取更深层次的特征，结合Fisher判别准则与对字典判别力的定义，重定义字典的求解公式：

其中，

D表示全局字典，D_i表示第i类局部字典，χ(A_i)表示第i类训练样本，X_i表示χ(A_i)在D上的表示矩阵，

表示χ(A_i)在D_i上的表示矩阵，

表示χ(A_i)在D_j上的表示矩阵，X表示χ(A)在D上的表示矩阵；

表示类内距离，

表示类间距离，m_i是X_i的均值向量，m是X的均值向量，n_i是第i类训练样本的数量；

字典原子初始化过程，将每个字典的所有原子初始化为具有单位L2范数的随机向量，公式(4)是字典矩阵D和矩阵X的联合优化问题；根据迭代投影法(IPM)可用于求解矩阵X，根据MFL(Meta-Face Learning)中的求解算法，求解出字典D。

S4、求解稀疏矩阵：本发明使用L2范数对编码系数进行正则化，通过正则化可以使表示更稳定，此外，正则化使表示系数更小，增加表征系数的分辨力，有利于最终的人脸识别。

S5、计算重构误差：根据上一步求解的字典D和Gabor遮挡字典Γ对应的稀疏编码矩阵，重构测试样本，由公式(6)得到重构误差矩阵；

S6、标签分类：根据重构误差矩阵，由公式(7)求得重构测试样本最小误差对应的类别。

进一步的，所述人脸识别步骤中多角度人脸重构具体步骤包括：

S11、数据预处理：使用CAS-PEAL亚洲人脸数据库训练MPFR网络，选取936个人作为MPFR网络训练和测试，其中不同角度变化的人脸图片，包含0°，+15°，+30°，+45°，-15°，-30°，-45°七个角度变化，研究具有人脸遮挡和角度变化数据的人脸识别问题，与经典人脸识别算法的实验结果对比，展示加入Gabor遮挡字典的GODL提高人脸识别结果的有效性。

S12、训练网络设计：设定训练图片为w×h×c＝128×128×3(长×宽×通道数)，对输入图片首先进行下采样，经过四层卷积网络，第一层输入图片为128×128×3，

经过四层卷积网络的输出：128×128×64→64×64×128→32×32×256→16×16×512，每一层卷积操作都使用ReLU作激活函数，InstanceNorm做通道内归一化；四层卷积网络之后，经过一定层的残差网络，进行四层上采样，输出的w，h不断增加，通道数减少，最终生成一张目标人脸；四层网络输出：32×32×256→64×64×128→128×128×64→128×128×3；判别网络对的图片做下采样，进行了六层卷积网络，其中每一层采用ReLU激活函数。

MPFR模型主要用于解决不同姿势的人脸重建问题，MPFR模型框架如图2所示，该网络由一个发生器和一个鉴别器组成，生成器将输入文件图像重建为正面视图，鉴别器判断正面图像和文件图像的真实性，其中文件图像由生成器生成，鉴别器还为文件图像和正面视图生成角度标签损失和身份标签损失。

S13、损失函数设计：设计网络基本对抗损失参数λ_adv＝1，标签损失参数λ_lbe＝1，循环一致性损失λ_con＝10，对称损失λ_sym＝10；通过实验效果对比，身份损失参数λ_ide＝5或7时，能达到比较好的效果；如图6显示的结果就是在λ_ide＝5的训练结果，图3是λ_adv＝0时，生成器和判别器的迭代的关系图；图4是λ_adv＝5时，生成器和判别器的迭代的关系图；

验证GODL算法在遮挡人脸识别中的性能；本发明选择四个具有不同训练和测试数据的实验装置；在AR数据库上的实验设置细节如下：G1包括4幅有表情变化的图像作为训练集，13幅有物理遮挡的图像作为测试集，训练集不可避免地包含照明变化；G2包括4幅光照变化的图像作为训练集，测试集还选择了13幅遮挡图像；G3包括4张具有不同物理遮挡(围巾和眼镜)的图像作为训练集，13张没有遮挡的图像作为测试集；G4包括4张有遮挡和光照变化的图像作为训练集，13张没有遮挡的图像作为测试集；训练集还包括照明变化；图5显示了不同算法在G1～G4实验设置下的实验结果。

时间复杂度测试：本发明将GODL算法与经典字典学习算法(如FDDL、LRSDL等)的计算复杂度进行比较；算法的复杂性估计为一次迭代所需的近似乘法次数；为简单起见，假设每个类的训练样本数与Gabor遮挡词典的训练样本数一致；同一实验条件下，列出具体训练测试时间结果如下表所示：

表1AR数据集上训练、测试实验时间成本(上)

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改；本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (5)

1.一种基于人脸重构和Gabor遮挡字典的人脸识别方法，其特征在于，包括以下步骤：

S1、图像处理：首先进行多角度人脸重构，每个个体各个角度的人脸按照角度分类，分类后的数据划分训练集和测试集，训练多角度人脸重构网络，生成正面人脸信息，再经过mtcnn人脸对齐和裁剪；

S2、求解Gabor遮挡字典：

基于SRC，将测试样本y分为完整的样本与噪声或遮挡信息样本，引入遮挡字典A_e与训练数据A共同对测试样本编码，表示为：

y＝Ax₀+e₀＝[A,A_e][x₀,x_e]^T (1)

其中，e₀表示样本噪声的误差向量，x₀、x_e分别是与训练数据A、遮挡字典A_e对应的稀疏矩阵，A_e为单位矩阵；

提取gabor特征χ(y)、χ(A_e)，χ(A)，求得的Gabor特征测试样本χ(y)，对应的Gabor遮挡字典χ(A_e)和训练样本χ(A)的重构如下：

χ(y)＝[χ(A),χ(A_e)][x₀,x_e]^T (2)

其中，x₀、x_e分别是与训练数据A、遮挡字典A_e对应的稀疏矩阵；

对χ(A_e)进行压缩，对提取的Gabor特征进行下采样，并对Gabor遮挡字典进行优化；

S3、求解训练数据字典：增强字典对样本的表达能力，保证字典的全局重构性、局部重构性、重构的唯一性，同时提取更深层次的特征，结合Fisher判别准则与对字典判别力的定义，重定义字典的求解公式：

其中，

D表示全局字典，D_i表示第i类局部字典，χ(A_i)表示第i类训练样本，X_i表示χ(A_i)在D上的表示矩阵，

表示χ(A_i)在D_i上的表示矩阵，

表示χ(A_i)在D_j上的表示矩阵，X表示χ(A)在D上的表示矩阵，

表示类内距离，

表示类间距离，m_i是X_i的均值向量，m是X的均值向量，n_i是第i类训练样本的数量；

根据迭代投影法求解矩阵X，根据MFL中的求解算法，求解出字典D；

S4、求解稀疏矩阵：利用SRC人脸分类思想，用求解出的字典D重构测试样本，求解测试样本在字典中的稀疏编码：

其中，α、β_Γ为稀疏矩阵，D为全局字典、Γ为压缩字典；

S5、计算重构误差：根据字典D和Gabor遮挡字典Γ对应的稀疏编码矩阵重构测试样本，重构误差矩阵进行样本分类，重构误差矩阵公式为：

其中，α、β_Γ的近似解

用于求解重构误差e_i；

S6、标签分类：由重构误差得到测试样本的标签分类：

identify(y)＝arg min_i{e_i} (7)

其中，identify(y)为重构测试样本最小误差对应的类别。

2.根据权利要求1所述的基于人脸重构和Gabor遮挡字典的人脸识别方法，其特征在于，所述Gabor遮挡字典χ(A_e)的公式如下：

其中，Γ表示压缩后的字典，Z是χ(A_e)在字典Γ上的表示矩阵。

3.根据权利要求1所述的基于人脸重构和Gabor遮挡字典的人脸识别方法，所述多角度人脸重构包括如下步骤：

S11、数据预处理：对人脸数据集中个体的每个图像进行人脸对齐，调整图像中的人脸位置，舍弃无用的背景信息；

S12、训练网络设计：多角度人脸重构网络由一个生成器和一个判别器组成；生成器输入和输出的图片w×h×c＝128×128×3，经过四层进行下采样和上采样卷积网络；

S13、损失函数设计：整个网络训练过程中，判别网络、生成网络联合训练最小化两个网络损失，L_D为D网络的总损失函数、L_G为G网络的总损失函数，具体设计如下：

其中，L_adv为对抗损失、L_rlbe为标签损失、L_dide为身份损失、L_flbe为标签损失、L_gide为身份损失、L_con为共循环一致性损失、L_sym为对称损失。

4.根据权利要求3所述的基于人脸重构和Gabor遮挡字典的人脸识别方法，其特征在于，所述L_adv的定义如下：

L_adv＝E_x[logD_dis(x)]+E_x,l′[1-log(D_dis(G(x,l′)))] (9)

其中，输入图像x与其对应的标签l组成图片对(x,l)，l′是生成器训练的目标标签，从而生成器训练目标为G(x,l′)→y；G(x,l′)→y表示输入侧面图片x和目标正面人脸的标签l′,最终生成正面人脸y，D_dis为图片真假判别标签的概率分布。

5.根据权利要求3所述的基于人脸重构和Gabor遮挡字典的人脸识别方法，其特征在于，所述L_rlbe的定义如下：

L_rlbe＝E_x,l[-logD_lbe(l|x)] (10)

其中，D_dis为图片域标签的概率分布；

域标签损失加入到训练生成器的损失函数中，所述L_flbe的定义如下：

L_flbe＝E_x,l′[-logD_lbe(l′|G(x,l′))] (11)

每一张图片都有与之对应的域标签，使得只用一个生成器的同时，保证生成图像的多样性，与身份损失相结合，保证生成图像的唯一性，保持身份特征，所述L_gide和所述L_dide的具体定义分别为：

L_gide＝-dist(D_fea(x^F)-D_fea(G(x^P,l₀)))+dist(D_fea(x^F)-D_fea(x^P)) (12)

L_dide＝dist(D_fea(x^F)-D_fea(G(x^P,l₀))) (13)

其中，x^F、x^P表示同一个人的正面、非正面图像，l₀表示正面图像的域标签，dist表示求解向量距离；

加入循环一致性损失，训练网络得到目标角度的人脸，同时保持原来人脸的面部细节，对称损失是针对生成的正面人脸视图，一定程度上能优化最终生成的正面人脸效果，所述L_con和所述L_sym具体定义如下：

L_con＝E_x,l,l′[||x-G(G(x,l′),l)||₁] (14)

其中w、h表示图像的宽和高，a、b表示图像某一像素点的坐标；将G(x^P,l₀)的结果表示为x^pred；假设人脸左右对称，

则表示由生成器生成的正面视图中的某一像素点，

则表示与

对称的像素点。

Images