CN113920573A - 基于对抗学习的人脸变化解耦的亲属关系验证方法 - Google Patents

Abstract

本发明公开了一种基于对抗学习的人脸变化解耦的亲属关系验证方法，该方法首先通过对通用数据集的学习，得到具有判别性的人脸面部特征，然后对该特征进行分割，使用对抗学习与去相关学习方法保证得到独立于年龄的身份特征，针对得到的独立于年龄的身份特征再次进行特征剥离，去除干扰，以保证得到纯净的身份特征，最后进行亲属关系验证。此外，为了对身份相关的特征给予不同的关注，本方法提出了身份特征加权模块。将独立于年龄的人脸特征输入到FWM模块中，FWM模块可以根据此特征在亲属关系验证任务中的重要性为其分配不同的权重。本发明亲属关系验证方法能够提取鲁棒的身份特征，并在小规模和大规模的亲属关系数据集上鲁棒性好，精度高。

Description

基于对抗学习的人脸变化解耦的亲属关系验证方法

技术领域

本发明涉及亲属关系验证方法，特别是涉及很多场景无法满足NDA鉴定方法条件的亲属关系验证方法，他是基于图像的新型亲属关系验证方法，属于人脸识别技术领域。

背景技术

人脸验证问题包含很多研究分支，基于人脸图像判断两个人是否有某种亲属关系也是其中之一，与人脸验证不同的是，亲属关系验证问题是判别两个不同的人是否有关系，而人脸验证则是同一个人。同样都是二分类问题，但是亲属关系验证对于提取的人脸特征要求更高，普通的能够将同一个人很好地区分开的特征也许在亲属关系验证中并不能表现地太好，这是因为根据遗传学原理，亲属之间一脉相承的特征还是有所区别的。现今的亲属关系验证方法主要分为三类(1)基于度量学习的方法(2)基于特征提取的方法(3)其他类型的方法。

度量学习旨在以机器学习的方式从(弱)监督数据中自动构建特定任务的距离度量函数(Bellet A,Habrard A,Sebban M.Metric learning[J].Synthesis Lectures onArtificial Intelligence and Machine Learning,2015,9(1):1-151.)。这个度量函数能够将源数据(数据通常表现为一维或多维矩阵)映射到学习到的特征空间中，类似于线性代数中的过渡矩阵。因此，这种方法被广泛应用于验证问题中。文献(Lu J,Zhou X,Tan Y-P,et al.Neighborhood repulsed metric learning for kinship verification[J].IEEEtransactions on pattern analysis and machine intelligence,2013,36(2):331-45.)提出的方法是邻域拒绝度量学习(Neighborhood Repulsed Metric Learning,NRML)，作者的思想就是基于最原生的度量学习的思想，希望学习到一个度量函数针对易被错分的样本使得类内样本(即存在亲属关系的样本)尽可能接近，类间样本尽可能远离。此后，Hu等人(Hu J,Lu J,Yuan J,et al.Large margin multi-metric learning for face andkinship verification in the wild；proceedings of the Asian conference oncomputer vision,F,2014[C].Springer.)考虑到人脸某些地方的特征对亲属关系验证可能起到不同的作用，因此在NRML算法学习到度量函数后，将人脸进行分块建立综合稀疏验证方法并取得了一定程度的提升。自此，度量学习开始作为亲属关系验证的常用的方法而得到不同的改进，例如文献(Yan H.Kinship verification using neighborhoodrepulsed correlation metric learning[J].Image and Vision Computing,2017,60(91-7.)中提出了邻域拒绝相关度量学习(Neighborhood Repulsed Correlation MetricLearning,NRCML)，作者认为当时使用的度量学习方法一般使用的欧几里德距离函数不能很好的衡量人脸样本的相似度，并提出了使用相关相似度度量来学习一个判别性距离度量，进一步拉近正样本间的距离并增大负样本间的距离。此外，为了能够使得度量函数学习到一个人脸上的多个特征使得函数更加具有判别性，文献(Hu J,Lu J,Yuan J,etal.Large margin multi-metric learning for face and kinship verification inthe wild；proceedings of the Asian conference on computer vision,F,2014[C].Springer.)中提出了一个大边缘多度量学习方法(Large Margin Multi-MetricLearning,LM3L)。文献(Yan H,Lu J,Deng W,et al.Discriminative multimetriclearning for kinship verification[J].IEEE Transactions on Informationforensics and security,2014,9(7):1169-78.)也针对学习多个特征提出了一个多度量学习的方法。

基于特征的方法与很多任务都是互通的，可以从特征的语义维度进行分类。首先就是一些人工提取的局部特征，比如数字图像领域经典的一些特征:LBP,SIFT,HOG等。这些特征可以被应用于大部分识别与检测场景中，当然，亲属关系验证任务也可以利用这些特征完成，但直接使用这些特征是困难的，因为这些手工选择的特征并不能在是生物遗传这种复杂场景下起到明显的作用，一般都是配合度量学习使用，才能得到效果上的提升。其次就是二次提取出的中层特征，这些中层特征就是根据底层特征使用(无)监督学习的方法由底层算子转化而来的，这样就比底层特征浓缩了更丰富的特征信息，比较突出的方法是文献(Yan H,Lu J,Zhou X.Prototype-based discriminative feature learning forkinship verification[J].IEEE Transactions on cybernetics,2014,45(11):2535-4)提出的基于原型的判别特征学习(Prototype-Based Discriminative Feature Learning,PDFL)。最后就是高层特征的方法，随着深度神经网络的发展，通过卷积神经网络提取出高层特征再做分类已经屡见不鲜了，大部分任务都可以通过端到端的监督学习来解决问题，如zhang等人(Zhang12 K,Huang Y,Song C,et al.Kinship verification with deepconvolutional neural networks[J].2015)提出的基于深度卷积神经网络的亲属关系验证。然而，由于并没有开源的大规模的亲属关系验证数据集的存在来匹配大规模的深度卷积神经网络，参数量巨大的网络并无用武之地，直到Robinson等人(Robinson J P,Shao M,Wu Y,et al.Families in the Wild(FIW):Large-Scale Kinship Image Database andBenchmarks[J].ACM,2016)提出了FIW(Family in the wild)的数据集，并发现在预训练模型上对目标数据集进行微调才能够得到更好的亲属关系验证结果。

上述的方法不仅包括了基于人类惯性思维考虑到的特征进行亲属关系验证的方法，而且还考虑到了人脸面部的一些遗传信息较为丰富的区域比如眉毛，眼睛，鼻子等。但是由于传统方法使用的由人工主导的特征工程对于干扰较大的特定场景来说具有非常大的局限性，例如，乘坐公共交通时由于身份证件上的照片与实际年龄存在差距，使得识别设备失效而耽误行程；根据遗传学的原理，亲属之间在生物特征上具有一定的相似性，这就为解决亲属关系验证问题提供了基础。而脸部是人类外在特征最为丰富，也是最具有辨识性的区域，因此验证亲属关系主要在于如何准确地提取鲁棒的人脸特征。然而亲属之间势必存在诸如年龄等客观因素，这导致人脸特征的差异较大。因此，在提取人脸特征的同时，必须抑制此类与任务不相关的特征参与最终的验证过程。也就是说要尽量降低年龄特征于人脸特征的相关性，获得与年龄特征相独立的人脸特征来做亲属关系验证。

发明内容

本发明所要解决的技术问题是：提供基于对抗学习的人脸变化解耦的亲属关系验证方法，为亲属关系验证问题提供了一种简单有效的解决方案。

本发明为解决上述技术问题采用以下技术方案：

基于对抗学习的人脸变化解耦的亲属关系验证方法，包括如下步骤：

步骤1，通过CNN骨干网络对大量的通用人脸数据集进行训练和测试，得到具有判别性的1024维人脸面部特征X；

步骤2，对于得到的1024维面部特征X，直接分割成两个512维的特征，将其中一个512维特征X_id送入身份分类器用于身份分类，另一个512维特征

X_age送入年龄分类器用于年龄分类，通过有监督学习的惩罚更新CNN骨干网络参数来保证X_id具有身份分类能力，X_age具有年龄分类能力。

步骤3，为了身份特征X_id和年龄特征X_age不相关，本方法使用基于对抗学习的典型去相关分析方法尽可能减小身份特征X_id和年龄特征X_age的相关性。

步骤4，根据得到的身份特征X_id再通过特征剥离层F进行特征剥离，得到干扰特征F(X_id)，最后使用做差的方式(X_id-F(X_id))得到纯净的身份特征X′_id。

步骤5，对得到的纯净的身份特征X′_id输入到FWM模块，FWM模块可以根据身份特征不同区域在亲属关系验证任务中的重要性为其分配不同的权重。

步骤6，对于每对要测试的图像对，通过余弦相似性判断两个身份特征是否存在亲属关系。

作为本发明的一种优选方案，所述步骤1的具体过程为：

CNN骨干网络是一个卷积神经网络，共有65个卷积层。每个卷积层包括批处理规范化、核大小为3的卷积和Leaky ReLU激活函数。骨干网络后还跟随一个1024维的全连接层。在vggface通用数据集上训练骨干网络，得到鲁棒的1024维人脸面部特征X。

作为本发明的一种优选方案，所述步骤2的具体过程为：

X_id，X_age＝S(X)

其中，X为通过骨干网络得到的鲁棒的人脸面部特征，S为特征分割操作，具体为将1024维的面部特征直接从中间切分成两份，将上半部分送入身份分类器，下半部分送入年龄分类器，通过有监督的学习使得上半部分汇聚身份判别特征，下半部分汇聚年龄判别特征，最终得到具有判别性的身份特征X_id和年龄特征X_age。

作为本发明的一种优选方案，所述步骤3的具体过程为：

为了身份特征X_id和年龄特征X_age不相关，本方法使用基于对抗学习的典型去相关分析方法尽可能减小身份特征X_id和年龄特征X_age的相关性。

具体为：首先通过投影矩阵W_id和W_age对身份特征X_id和年龄特征X_age进行投影，得到低维的投影向量

和

然后计算身份向量

和年龄向量

利用ACCR典型相关分析计算出它们的相关系数，通过更新投影矩阵W保证身份向量

和年龄向量

的相关性最大，然后冻结投影矩阵W，更新骨干网络，使得身份向量

和年龄向量

的相关性最小，循环往复，最终得到独立于年龄的身份特征X_id。

作为本发明的一种优选方案，所述步骤4的具体过程为：

X′_id＝X_id-F(X_id)

其中，F表示特征剥离层，由两层512维的全连接层组成。将步骤3中得到的独立于年龄的身份特征送入特征剥离层，得到与身份判别无关的其他变化特征，使用独立于年龄的身份特征X_id减去其他变化特征，得到更加纯净的身份特征X′_id。

作为本发明的一种优选方案，所述步骤5的具体过程为：

对得到的纯净的身份特征X′_id输入到FWM模块，FWM模块是通过初始化为512*512维对角矩阵的权重矩阵M组成，通过使用KinfaceW数据集对权重矩阵M进行学习，最终它可以根据身份特征不同区域在亲属关系验证任务中的重要性为其分配不同的权重，使得更重要更具有判别性的特征拥有更大的权重。

作为本发明的一种优选方案，所述步骤6的具体过程为：

对于每一对测试图像，要判别是否具有亲属关系，首先通过步骤1,2,3,4,5得到的模型获取面部特征

和

然后将

和

通过余弦相似性方法计算得分，分值高于阈值则认为具有亲属关系。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明亲属关系验证方法，创新性地将年龄不变人脸识别的工作融入到亲属关系验证中，引入对抗学习的方法训练年龄不变人脸识别模型，在分析过程中认为，在亲属关系验证时，人脸的不同部位的特征应该给予不同的关注，从而设计了一个身份增强模块，得到鲁棒的身份特征，进一步提高了亲属关系验证的结果。

2、本发明亲属关系验证方法，无需生成中间年龄特征，验证简单易行；且充分利用了通用人脸数据集的通用人脸特征信息。

附图说明

以下将结合附图对本发明作进一步说明：

图1是本发明基于对抗学习的人脸变化解耦的亲属关系验证方法的流程图。

图2是本发明基于分析做出的年龄对亲属关系影响分析图。(a)如不排除年龄因素，亲属关系之间的距离可能大于非亲属关系之间的距离。(b)我们的方法可以提取出独立于年龄特征，以提高亲属关系验证的性能。

图3是本发明绘制的不同年龄段脸部特征的改变图。

图4是本发明基于对抗学习的人脸变化解耦的亲属关系验证方法模型图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

过去大部分亲属关系验证方法都未考虑到包括年龄在内的干扰特征对人脸识别的影响(图2和图3描述了年龄对亲属关系验证的影响)，或者考虑到了干扰特征的影响，但是并不能很好的将其去除。为了得到更鲁棒的人脸识别模型，我们需要一种能够更好地去除人脸特征中对识别造成影响的特征的方法，即对变化的特征与人脸特征进行解耦。基于这一想法，本发明提出一种基于对抗学习的人脸变化解耦的亲属关系验证方法。

如图1所示，本发明基于对抗学习的人脸变化解耦的亲属关系验证方法，包括以下步骤：

1.利用CNN骨干网络实现面部特征的提取，骨干网络是一个卷积神经网络，共有65个卷积层，如图4所示。每个卷积层包括批处理规范化、核大小为3的卷积和Leaky ReLU激活函数。骨干网络后还跟随一个1024维的全连接层。在vggface通用数据集上训练骨干网络，得到鲁棒的1024维人脸面部特征X。

2.所述步骤2的具体过程为：

X_id，X_age＝S(X)

在上述公式中，X为通过骨干网络得到的鲁棒的人脸面部特征，S为特征分割操作，具体为将步骤1中得到的鲁棒的1024维面部特征直接从中间切分成两份，将上半部分送入身份分类器，下半部分送入年龄分类器，通过有监督的学习保证上半部分汇聚身份判别特征，下半部分汇聚年龄判别特征，最终得到具有判别性的身份特征X_id和年龄特征X_age。

3.为了身份特征X_id和年龄特征X_age不相关，本方法使用基于对抗学习的典型去相关分析方法尽可能减小身份特征X_id和年龄特征X_age的相关性。

具体为：首先通过投影矩阵W_id和W_age对身份特征X_id和年龄特征X_age进行投影，得到低维的投影向量

和

然后计算身份向量

和年龄向量

利用ACCR典型相关分析计算出它们的相关系数，通过更新投影矩阵W保证身份向量

和年龄向量

的相关性最大，然后冻结投影矩阵W，更新骨干网络，使得身份向量

和年龄向量

的相关性最小，循环往复，最终得到独立于年龄的身份特征X_id。

4.所述步骤4的具体过程为：

X′_id＝X_id-F(X_id)

其中，F表示特征剥离层，由两层512维的全连接层组成。将步骤3中得到的独立于年龄的身份特征送入特征剥离层，得到与身份判别无关的其他变化特征，使用独立于年龄的身份特征X_id减去其他变化特征，得到更加纯净的身份特征X′_id。

5.对得到的纯净的身份特征X′_id输入到FWM模块，FWM模块是通过初始化为512*512维对角矩阵的权重矩阵M组成，通过使用KinfaceW数据集对权重矩阵M进行学习，最终它可以根据身份特征不同区域在亲属关系验证任务中的重要性为其分配不同的权重，使得更重要更具有判别性的特征拥有更大的权重。

6.对于每一对测试图像，要判别是否具有亲属关系，首先通过步骤1,2,3,4,5得到的模型获取面部特征

和

然后将

和

通过余弦相似性方法计算得分，分值高于阈值则认为具有亲属关系。

本发明基于对抗学习的人脸变化解耦的亲属关系验证方法，创新性地将年龄不变人脸识别的工作融入到亲属关系验证中，引入对抗学习的方法训练年龄不变人脸识别模型，在分析过程中认为，在亲属关系验证时，人脸的不同部位的特征应该给予不同的关注，从而设计了一个身份增强模块，得到鲁棒的身份特征。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.基于对抗学习的人脸变化解耦的亲属关系验证方法，其特征在于，包括如下步骤：

步骤1，通过CNN骨干网络对大量的通用人脸数据集进行训练和测试，得到具有判别性的1024维人脸面部特征X；

步骤2，对于得到的1024维面部特征X，直接分割成两个512维的特征，将其中一个512维特征X_id送入身份分类器用于身份分类，另一个512维特征X_age送入年龄分类器用于年龄分类，通过有监督学习的惩罚更新CNN骨干网络参数来保证X_id具有身份分类能力，X_age具有年龄分类能力；

步骤3，为了身份特征X_id和年龄特征X_age不相关，本方法使用基于对抗学习的典型去相关分析方法尽可能减小身份特征X_id和年龄特征X_age的相关性；

步骤4，根据得到的身份特征X_id再通过特征剥离层F进行特征剥离，得到干扰特征F(X_id)，最后使用做差的方式(X_id-F(X_id))得到纯净的身份特征X′_id；

步骤5，对得到的纯净的身份特征X′_id输入到FWM模块，FWM模块可以根据身份特征不同区域在亲属关系验证任务中的重要性为其分配不同的权重；

步骤6，对于每对要测试的图像对，通过余弦相似性判断两个身份特征是否存在亲属关系。

2.根据权利要求1所述基于对抗学习的人脸变化解耦的亲属关系验证方法，其特征在于，所述步骤1的具体过程为：

CNN骨干网络是一个卷积神经网络，共有65个卷积层，每个卷积层包括批处理规范化、核大小为3的卷积和Leaky ReLU激活函数，骨干网络后还跟随一个1024维的全连接层，在vggface通用数据集上训练骨干网络，得到鲁棒的1024维人脸面部特征X。

3.根据权利要求1所述基于对抗学习的人脸变化解耦的亲属关系验证方法，其特征在于，所述步骤2的具体过程为：

X_id，X_age＝S(X)

其中，X为通过骨干网络得到的鲁棒的人脸面部特征，S为特征分割操作，具体为将1024维的面部特征直接从中间切分成两份，将上半部分送入身份分类器，下半部分送入年龄分类器，通过有监督的学习使得上半部分汇聚身份判别特征，下半部分汇聚年龄判别特征，最终得到具有判别性的身份特征X_id和年龄特征X_age。

4.根据权利要求1所述基于对抗学习的人脸变化解耦的亲属关系验证方法，其特征在于，所述步骤3的具体过程为：

为了身份特征X_id和年龄特征X_age不相关，本方法使用基于对抗学习的典型去相关分析方法尽可能减小身份特征X_id和年龄特征X_age的相关性，

具体为：首先通过投影矩阵W_id和W_age对身份特征X_id和年龄特征X_age进行投影，得到低维的投影向量

和

然后计算身份向量

和年龄向量

利用ACCR典型相关分析计算出它们的相关系数，通过更新投影矩阵W保证身份向量

和年龄向量

的相关性最大，然后冻结投影矩阵W，更新骨干网络，使得身份向量

和年龄向量

的相关性最小，循环往复，最终得到独立于年龄的身份特征X_id。

5.根据权利要求1所述基于对抗学习的人脸变化解耦的亲属关系验证方法，其特征在于，所述步骤4的具体过程为：

X′_id＝X_id-F(X_id)

其中，F表示特征剥离层，由两层512维的全连接层组成，将步骤3中得到的独立于年龄的身份特征送入特征剥离层，得到与身份判别无关的其他变化特征，使用独立于年龄的身份特征X_id减去其他变化特征，得到更加纯净的身份特征X′_id。

6.根据权利要求1所述基于对抗学习的人脸变化解耦的亲属关系验证方法，其特征在于，所述步骤5的具体过程为：

对得到的纯净的身份特征X′_id输入到FWM模块，FWM模块是通过初始化为512*512维对角矩阵的权重矩阵M组成，通过使用KinfaceW数据集对权重矩阵M进行学习，最终它可以根据身份特征不同区域在亲属关系验证任务中的重要性为其分配不同的权重，使得更重要更具有判别性的特征拥有更大的权重。

7.根据权利要求1所述基于对抗学习的人脸变化解耦的亲属关系验证方法，其特征在于，所述步骤6的具体过程为：

对于每一对测试图像，要判别是否具有亲属关系，首先通过步骤1，2，3，4，5得到的模型获取面部特征

和

然后将

和

通过余弦相似性方法计算得分，分值高于阈值则认为具有亲属关系。

Images