CN112446317B - 一种基于特征解耦的异质人脸识别方法及装置 - Google Patents

Abstract

本发明涉及异质人脸识别领域，特别是一种基于特征解耦的异质人脸识别方法及装置。本发明将预处理后的人脸图像输入到特征提取主干网络，提取出对应的面部特征并将其传递给残差分解模块，该模块将面部特征解耦为身份特征信息、模态信息和残差信息。其中，身份特征信息用于人脸比对和识别，而模态信息用于建模图像的模态来源，残差信息用于建模其他外部因素，如表情、年龄等，由此从本质上消除了异质人脸识别中跨域差异的影响，以及其他外部因素变化的影响，提高人脸识别的精度和鲁棒性。

Description

一种基于特征解耦的异质人脸识别方法及装置

技术领域

本发明涉及异质人脸识别领域，特别是一种基于特征解耦的异质人脸识别方法及装置。

背景技术

异质人脸识别是一种跨视觉域的人脸识别技术。随着人脸识别技术的发展和普及，异质人脸识别在许多实际场景中起着越来越重要的作用，典型的例子如：将可见光(VIS)人脸图像与近红外(NIR)或热红外(TIR)人脸图像进行匹配，用于低(弱)光照条件下的公共安全监控；将人脸素描和照片进行比对，用于辅助刑侦执法等。由于不同视觉域图像间存在显著的外观差异，传统的同质人脸识别方法的识别性能会受到严重的影响。迫于跨域人脸识别的现实应用需求，近年来，已有研究工作致力于学习模态不变的身份特征。然而，大部分方法仅仅专注于提取身份特征，而没有明确排除域差异。为了显式的消除模态差异，一些工作尝试将人脸表征划分为模态共享的身份特征和模态特有的频谱信息；仅少数工作提出将人脸表征分解为身份相关信息、模态信息(即人脸图像的来源，如可见光、近红外以及素描等)和残差信息(如姿态、表情以及年龄等外界因素)。

现有的用于异质人脸识别的特征分解方法中，大部分方法仅考虑将人脸表征划分为模态共享的身份特征和模态特有的频谱信息，以此消除模态差异对识别性能的影响。然而，除不同模态数据分布之间的显著差异外，外界环境如姿态、表情、年龄等的变化也会给人脸识别的性能带来影响。因此，这些方法的识别性能在一定程度上仍然会受到外界环境变化的影响。此外，大部分方法对每个分量单独进行分解，对不同分量之间的关系无任何约束，或者仅约束分量之间线性独立。此类方法会存在以下问题：1)独立的分解方式会导致分量之间的互补关系丢失或者分量之间出现信息重叠。2)分量之间无任何独立性约束，难以保证身份特征分量不会受到其他分量，如模态信息变化的影响。3)由于高维表征通常分布在高维的非线性流形上，线性关系难以描述高维特征之间的复杂关系，由此导致分量之间的线性独立约束次优。

所以本发明提出一种基于特征解耦的异质人脸识别方法及装置来消除跨域分布差异以及其他身份无关因素的变化对人脸识别的影响。

发明内容

本发明的目的在于克服现有技术中所存在的跨域分布差异以及其他身份无关因素的变化对人脸识别的影响大的问题，提供一种基于特征解耦的异质人脸识别方法及装置。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于特征解耦的异质人脸识别方法，包括以下步骤：

S1：采集人脸图像，并对所述人脸图像进行对齐和裁剪，输出处理后的人脸图像，所述处理后的人脸图像与特征提取主干网络的输入相匹配；

S2：将所述处理后的人脸图像输入到特征提取主干网络，获取其面部表征；

S3：输入所述面部表征到残差分解模块进行分解，得到所述处理后的人脸图像对应的身份特征信息、模态信息和残差信息；

S4：将所述身份特征信息、模态信息和残差信息输入到对抗去相关模块进行解耦和优化，输出优化后的身份特征向量；

S5：根据所述身份特征向量进行相似度计算，得到人脸识别结果。

本发明将预处理后的人脸图像输入到特征提取主干网络，提取出对应的面部特征并将其传递给残差分解模块，该模块将人脸信息解耦为身份特征信息、模态信息和残差信息。其中，身份特征信息用于人脸比对和识别，而模态信息用于建模图像的模态来源，残差信息用于建模其他外部因素，如表情、年龄等，由此从本质上消除了异质人脸识别中跨域差异的影响，以及其他外部因素变化的影响，提高人脸识别的精度和鲁棒性。

作为本发明的优选方案，所述步骤S1包括：

S11：采集人脸图像，获取所述人脸图像的五个人脸关键点；

S12：根据所述人脸关键点将所述人脸图像进行对齐和裁剪，输出处理后的人脸图像，所述处理后的人脸图像与所述特征提取主干网络的输入相匹配。

作为本发明的优选方案，所述步骤S2包括：将所述处理后的人脸图像x_i输入到所述特征提取主干网络G_f，通过特征提取过程F_i＝G_f(x_i,Θ_f)，得到所述处理后的人脸图像x_i的面部表征F_i；其中，Θ_f为所述特征提取主干网络的参数，F_i∈R^c×h×w，R^c×h×w表示c×h×w维度的实数空间，c,h,w分别是所述面部表征F_i的通道数、高和宽。

作为本发明的优选方案，所述残差分解模块包括身份注意力网络IAN和模态注意力网络MAN，所述步骤S3包括以下步骤：

S31：将所述面部表征F_i输入所述身份注意力网络IAN并将其分解为身份特征信息F_id和身份无关的信息F_os：

其中，IAN(F_i)∈[0,1]^c×h×w是身份特征注意力图，

表示按元素相乘；

S32：将所述身份无关的信息F_os输入到所述模态注意力网络MAN中并将其分解为模态信息和残差信息：

其中，MAN(F_os)∈[0,1]^c×h×w是模态注意力图，F_dm是模态信息，F_res表示残差变化。本发明通过采用一种基于注意力的、分层残差互补方式，对面部表征进行自适应的分解，保证了分量之间的互补关系。

作为本发明的优选方案，所述对抗去相关模块包括基于互信息的对抗去相关网络MIbAD和基于总体相关的对抗去相关网络TCbAD；

其中，所述基于互信息的对抗去相关网络MIbAD用于增强所述身份特征信息F_id对所述身份无关信息F_os变化的鲁棒性；所述基于总体相关的对抗去相关网络TCbAD用于获取身份特征向量，并增强所述身份特征向量的表达能力以及对各维度变化的鲁棒性。本发明采用基于互信息的对抗去相关网络MIbAD和基于总体相关的对抗去相关网络TCbAD。互信息可以捕捉任意两个变量之间的任意依赖关系，而总体相关信息是互信息的多变量扩展。所述对抗去相关模块不需要任何潜在关系形式的假设，而从本质上约束身份特征独立于身份无关信息的变化(包含模态信息和残差变化)以及身份特征向量一个维度的变化不会对其他维度产生不利影响，从而高效地增强身份特征向量的鲁棒性和泛化性。

作为本发明的优选方案，所述基于互信息的对抗去相关网络MIbAD包括以下执行流程：

S41：将所述身份特征信息F_id和所述身份无关的信息F_os输入到所述基于互信息的对抗去相关网络MIbAD中，最小化所述身份特征信息F_id和所述身份无关的信息F_os之间的依赖关系，其最大最小对抗目标表述为：

其中，D_mi表示互信息判别器网络，P(*)为边缘概率分布，P(*,*)为联合概率分布，

表示基于JS散度的互信息估计，E_x～p[*]表示从概率分布P中随机采样并计算样本对应值的期望。

作为本发明的优选方案，所述基于总体相关的对抗去相关网络TCbAD包括以下执行流程：

S42：将所述身份特征信息F_id映射为身份特征向量f_id

S43：将所述身份特征向量f_id输入到所述基于总体相关的对抗去相关网络TCbAD，最小化所述身份特征向量f_id各维度之间的依赖关系，其最大最小对抗目标表述为：

其中，p(f_id)＝p(f_id,1,f_id,2,…,f_id,n)是所述身份特征向量f_id的分布函数，

Gs为以下三个函数的集合，包括特征提取主干网络G_f、身份注意力网络IAN以及F_id到f_id之间的映射函数,D_tc表示总体相关判别器网络。

作为本发明的优选方案，所述步骤S5包括：。

根据所述身份特征向量，将待识别图像和注册库中所有图像一一进行比对计算余弦相似度分数，根据相似度分数输出人脸识别结果。

一种基于特征解耦的异质人脸识别装置，所述人脸识别装置包括人脸图像采集和预处理模块、特征提取主干网络模块、残差分解模块、基于互信息的对抗去相关模块以及人脸比对模块；

所述人脸图像采集和预处理模块用于获取人脸图像并对其进行裁剪和对齐；

所述特征提取主干网络模块用于提取所述人脸图像的面部表征；

所述残差分解模块用于从所述面部表征中解耦出身份特征，模态信息以及残差信息；

所述对抗去相关模块用于对身份特征进行解耦，以增强身份特征对身份无关信息变化的鲁棒性，以及对特征向量各维度变化的鲁棒性；

所述人脸比对模块用于计算人脸图像对应身份特征向量之间的余弦相似度分数，并输出识别结果。

与现有技术相比，本发明的有益效果：

1.本发明将预处理后的人脸图像输入到特征提取主干网络，提取出对应的面部特征并将其传递给残差分解模块，该模块将人脸信息解耦为身份特征信息、模态信息和残差信息。其中，身份特征信息用于人脸比对和识别，而模态信息用于建模图像的模态来源，残差信息用于建模其他外部因素，如表情、年龄等，由此从本质上消除了异质人脸识别中跨域差异的影响，以及其他外部因素变化的影响，提高人脸识别的精度和鲁棒性。

2.本发明通过采用基于注意力的、分层残差互补方式，对面部表征进行自适应的分解，保证了分量之间的互补关系。

3.本发明采用基于互信息的对抗去相关网络MIbAD和基于总体相关的对抗去相关网络TCbAD。互信息可以捕捉任意两个变量之间的任意依赖关系，而总体相关信息是互信息的多变量扩展。所述对抗去相关模块不需要任何潜在关系形式的假设，而从本质上约束身份特征独立于身份无关信息的变化(包含模态信息和残差变化)以及身份特征向量一个维度的变化不会对其他维度产生不利影响，从而高效地增强身份特征向量的鲁棒性和泛化性。

4.本发明方法比较灵活，其内部模块可以根据需求进行设计、改进或替换，以提升实际效果。

5.本发明方法使用范围广泛，可以用于解决其他问题，如姿态/年龄/表情不变人脸识别。

附图说明

图1为本发明实施例1所述的一种基于特征解耦的异质人脸识别方法的流程示意图；

图2为本发明实施例2所述的一种基于特征解耦的异质人脸识别方法的方法框架示意图；

图3为本发明实施例2所述的一种基于特征解耦的异质人脸识别方法的注意力网络(IAN/MAN)框架示意图；

图4为本发明实施例2所述的一种基于特征解耦的异质人脸识别方法的互信息判别器网络框架示意图；

图5为本发明实施例2所述的一种基于特征解耦的异质人脸识别方法的总体相关判别器网络框架示意图；

图6为本发明实施例2所述的一种基于特征解耦的异质人脸识别方法的方法实施示意图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

如图1所示，一种基于特征解耦的异质人脸识别方法，包括以下步骤：

S1：采集人脸图像，并对所述人脸图像进行对齐和裁剪，输出处理后的人脸图像，所述处理后的人脸图像与特征提取主干网络的输入相匹配：

S11：采集人脸图像，获取所述人脸图像的五个人脸关键点。

S12：根据所述人脸关键点将所述人脸图像进行对齐和裁剪，输出处理后的人脸图像，所述处理后的人脸图像与特征提取主干网络的输入相匹配。

S2：将所述处理后的人脸图像输入到特征提取主干网络，获取其面部表征：

将所述处理后的人脸图像x_i输入到所述特征提取主干网络G_f，通过特征提取过程F_i＝G_f(x_i,Θ_f)，得到所述处理后的人脸图像x_i的面部表征F_i；其中，Θ_f为所述特征提取主干网络的参数，F_i∈R^c×h×w，R^c×h×w表示c×h×w维度的实数空间，c,h,w分别是所述面部表征的通道数、高和宽。

S3：输入所述面部表征到残差分解模块进行分解，得到所述处理后的人脸图像对应的身份特征信息、模态信息和残差信息：

所述残差分解模块包括身份注意力网络IAN和模态注意力网络MAN，包括以下步骤：

S31：将所述面部表征F_i输入所述身份注意力网络IAN并将其分解为身份特征信息F_id和身份无关的信息F_os；

其中，IAN(F_i)∈[0,1]^c×h×w是身份特征注意力图，

表示按元素相乘。

S32：将所述身份无关的信息F_os输入到所述模态注意力网络MAN中并将其分解为模态信息和残差变化；

其中，MAN(F_os)∈[0,1]^c×h×w是模态注意力图，F_dm是模态信息，F_res表示残差变化。所述模态信息F_dm是指图像的域来源信息，如可见光，近红外等。所述残差变化F_res包括表情、年龄等外界因素变化信息。

S4：将所述身份特征信息、模态信息和残差信息输入到对抗去相关模块进行解耦和优化，输出优化后的身份特征向量：

其中，所述对抗去相关模块包括基于互信息的对抗去相关网络MIbAD和基于总体相关的对抗去相关网络TCbAD；所述基于互信息的对抗去相关网络MIbAD用于增强所述身份特征信息F_id对所述身份无关信息F_os变化的鲁棒性；所述基于总体相关的对抗去相关网络TCbAD用于获取身份特征向量，并增强所述身份特征向量的表达能力以及对各维度变化的鲁棒性。步骤S4包括以下流程：

S41：将所述身份特征信息F_id和所述身份无关的信息F_os输入到所述基于互信息的对抗去相关网络MIbAD中，最小化所述身份特征信息F_id和所述身份无关的信息F_os之间的依赖关系，其最大最小对抗目标表述为：

其中，D_mi表示互信息判别器网络，P(*)为边缘概率分布，P(*,*)为联合概率分布，

表示基于JS散度的互信息估计，E_x～p[*]表示从概率分布P中随机采样并计算样本对应值的期望。

S42:将所述身份特征信息F_id映射为身份特征向量f_id；

S43：将所述身份特征向量f_id输入到所述基于总体相关的对抗去相关网络TCbAD，最小化所述身份特征向量f_id各维度之间的依赖关系，其最大最小对抗目标表述为：

其中，p(f_id)＝p(f_id,1,f_id,2,…,f_id,n)是所述身份特征向量f_id的分布函数，

Gs包括特征提取主干网络G_f、身份注意力网络IAN以及F_id到f_id之间的映射函数,D_tc表示总体相关判别器网络。

S5：根据所述身份特征向量进行相似度计算，得到人脸识别结果：

根据所述身份特征向量，将待识别图像和注册库中所有图像一一进行比对计算余弦相似度分数，根据相似度分数输出分数最高者作为人脸识别结果。

实施例2

本实施例为本发明所述一种基于特征解耦的异质人脸识别方法的另一种实施方式；其方法框架流程示意图如图2所示，主要包括：特征提取主干网络(backbone)、身份注意力网络IAN(IAN)、模态注意力网络MAN(MAN)、基于互信息的对抗去相关网络MIbAD(MIbAD)、基于总体相关的对抗去相关网络TCbAD(TCbAD)、身份判别器loss和域判别器loss。各模块相对独立，可以根据自己的需求进行设计或改进。本实施例提供的注意力网络结构设计框架示意图如图3所示。本发明实施例提供的互信息判别器网络D_mi的结构设计框架示意图如图4所示。本发明实施例提供的总体相关判别器网络D_tc的结构设计框架示意图如图5所示。本发明方法是一种通用方法，能够解决多种异质人脸识别问题，如近红外-可见光异质人脸识别、素描-数字照片异质人脸识别等。如图6所示，本发明实施例提供的完整示例包括训练和测试两个阶段。其训练阶段主要是在跨域人脸识别训练集图像上对网络进行训练，得到优化的人脸身份特征提取模型；测试阶段主要是用训练得到的优化模型提取测试图像的身份特征，然后进行人脸的比对和识别。

本实施例提供近红外-可见光异质人脸识别示例。本实施例用预训练的LightCNN-9网络作为征提取基础网络D_f，在CASIANIR-VIS 2.0异质人脸识别数据集上进行人脸特征解耦训练和人脸识别测试。该数据库是开源的、规模最大且最具挑战性的近红外-可见光异质人脸识别数据集，是近红外-可见光异质人脸识别评估中一个非常重要的基准数据集。其图像之间存在拍摄距离、光照、表情和姿态，以及有无戴眼镜等多种变化。该数据库包含独立的训练集和测试集。

本实施例训练阶段主要包括以下步骤：

a1：使用MTCNN(Multi-task convolutional neural network)算法，将CASIANIR-VIS 2.0数据库训练集中所有人脸图像对齐到128*128大小，并保存为灰度图像。

a2：采用开源的、已在MS-Celeb-1M数据集上预训练好的LightCNN-9网络对特征提取基础网络D_f进行初始化。具体地，将LightCNN-9网络的除最后两个全连接层外的其他网络层构成特征提取基础网络D_f。

a3：用对齐后的训练集图像进行特征提取和解耦训练。具体地，本发明实施例采用quadruplet loss为身份分类损失函数，Contrastive loss为域分类损失函数，结合两个对抗去相关损失函数，以共同监督网络训练。待网络训练结束后，得到优化的人脸身份特征提取模型(具体包括人脸特征提取模型和特征解耦模型)。

测试阶段的主要步骤包括：

b1：按照与步骤a1相同的图像预处理操作，采用MTCNN算法将CASIA NIR-VIS 2.0数据库测试集中所有图像(包括可见光注册图像集和待识别的近红外图像集)对齐为128*128的灰度图像。

b2：将可见光注册图像输入到预训练好的模型，提取其对应的身份特征，形成注册数据特征库。

b3：将待识别的近红外图像输入到预训练好的模型，提取出身份特征，并将其与注册库里所有的身份特征进行一一匹配，计算余弦相似性分数。根据最近邻分类原则，相似度分数最高的即为人脸识别结果。

对比实验：

将本发明所述一种基于特征解耦的异质人脸识别方法和现有异质人脸识别方法中的特征解耦方法进行了比对，其比对结果如下方表1所示。其中，VR@FAR＝0.1％表示在错误接受率(FAR)为0.1％情况下的验证准确率(VR)(所述现有异质人脸识别方法为以下论文中提出：W.Hu and H.Hu,"Dual Adversarial Disentanglement and DeepRepresentation Decorrelation for NIR-VIS Face Recognition,"in IEEETransactions on Information Forensics and Security,vol.16,pp.70-85,2021,doi:10.1109/TIFS.2020.3005314.)。

表1本发明方法和现有异质人脸识别方法比对结果表

方法	Top1识别率(％)	VR@FAR＝0.1％(％)
			DADRD	99.1±0.2	98.6±0.2
本发明方法	99.6±0.1	99.2±0.1

实施例3

本实施例与实施例2的区别在于，本实施例为素描-数字照片异质人脸识别示例。本实施例采用开源的、已在MS-Celeb-1M数据集上预训练好的LightCNN-29网络作为特征提取基础网络D_f。具体地，使用LightCNN-29网络中除最后两个全连接层外的其他网络层构成含29层卷积的基础网络D_f。本实施例使用CUHK Face Sketch FERET(CUFSF)数据库作为训练集，IIIT-D Viewed Sketch-Photo数据库为测试集，这两个数据库相互独立，无任何的图像或身份重叠。其实施过程依然包含训练和测试两个阶段，训练阶段的主要步骤有：

c1：使用MTCNN(Multi-task convolutional neural network)算法将CUHK FaceSketchFERET(CUFSF)数据库中所有人脸图像对齐到128*128大小，并保存为灰度图像。

c2：采用开源的、已在MS-Celeb-1M数据集上预训练好的LightCNN-29网络初始化特征提取基础网络D_f。

c3：采用quadruplet loss身份分类损失函数，Contrastive loss域分类损失函数、以及两个对抗去相关损失函数，共同作为监督信号，对网络进行优化训练，得到人脸身份特征提取模型。

测试阶段的主要步骤有：

d1：采用MTCNN算法将IIIT-D Viewed Sketch-Photo数据库中所有图像对齐为128*128大小的灰度图像。

d2：将IIIT-D Viewed Sketch-Photo数据库中的所有数字照片输入到人脸身份特征提取模型，提取出对应的身份特征，形成注册数据特征库。

d3：依次将IIIT-D Viewed Sketch-Photo数据库中的素描图像输入到人脸身份特征提取模型，提取出其对应的身份特征，然后与注册库里所有的身份特征进行一一匹配计算余弦相似度分数，分数最高者即为人脸识别结果。

实施例4

一种基于特征解耦的异质人脸识别装置，所述人脸识别装置包括人脸图像采集和预处理模块、特征提取主干网络模块、残差分解模块、基于互信息的对抗去相关模块以及人脸比对模块；

所述人脸图像采集和预处理模块用于获取人脸图像并对其进行裁剪和对齐；

所述特征提取主干网络模块用于提取所述人脸图像的面部表征；

所述残差分解模块用于从所述面部表征中解耦出身份特征，模态信息以及残差信息；

所述对抗去相关模块用于对身份特征进行解耦，以增强身份特征对身份无关信息变化的鲁棒性，以及对特征向量各维度变化的鲁棒性；

所述人脸比对模块用于计算人脸图像对应身份特征向量之间的余弦相似度分数，并输出识别结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于特征解耦的异质人脸识别方法，其特征在于，包括以下步骤：

S1：采集人脸图像，并对所述人脸图像进行对齐和裁剪，输出处理后的人脸图像，所述处理后的人脸图像与特征提取主干网络的输入相匹配；

S2：将所述处理后的人脸图像输入到特征提取主干网络，获取其面部表征；

S3：输入所述面部表征到残差分解模块进行分解，得到所述处理后的人脸图像对应的身份特征信息、模态信息和残差信息；其中，所述身份特征信息用于人脸比对和识别，所述模态信息用于建模图像的模态来源，所述残差信息用于建模其他外部因素；

S4：将所述身份特征信息、模态信息和残差信息输入到对抗去相关模块进行解耦和优化，输出优化后的身份特征向量；

S5：根据所述身份特征向量进行相似度计算，得到人脸识别结果；

其中，所述残差分解模块包括身份注意力网络IAN和模态注意力网络MAN，所述步骤S3包括以下步骤：

S31：将所述面部表征输入所述身份注意力网络IAN并将其分解为身份特征信息F_id和身份无关的信息F_os：

其中，F_i为所述面部表征，IAN(F_i)∈[0,1]^c×h×w是身份特征注意力图，

表示按元素相乘；

S32：将所述身份无关的信息F_os输入到所述模态注意力网络MAN中并将其分解为模态信息和残差信息：

其中，MAN(F_os)∈[0,1]^c×h×w是模态注意力图，F_dm是模态信息，F_res表示残差信息；

所述对抗去相关模块包括基于互信息的对抗去相关网络MIbAD和基于总体相关的对抗去相关网络TCbAD；

其中，所述基于互信息的对抗去相关网络MIbAD用于增强所述身份特征信息F_id对所述身份无关信息F_os变化的鲁棒性；所述基于总体相关的对抗去相关网络TCbAD用于获取身份特征向量，并增强所述身份特征向量的表达能力以及对各维度变化的鲁棒性。

2.根据权利要求1所述的一种基于特征解耦的异质人脸识别方法，其特征在于，所述步骤S1包括：

S11：采集人脸图像，获取所述人脸图像的五个人脸关键点；

S12：根据所述人脸关键点将所述人脸图像进行对齐和裁剪，输出处理后的人脸图像，所述处理后的人脸图像与所述特征提取主干网络的输入相匹配。

3.根据权利要求1所述的一种基于特征解耦的异质人脸识别方法，其特征在于，所述步骤S2包括：将所述处理后的人脸图像x_i输入到所述特征提取主干网络G_f，通过特征提取过程F_i＝G_f(x_i,Θ_f)，得到所述处理后的人脸图像x_i的面部表征F_i；其中，Θ_f为所述特征提取主干网络的参数，F_i∈R^c×h×w，R^c×h×w表示c×h×w维度的实数空间，c,h,w分别是所述面部表征F_i的通道数、高和宽。

4.根据权利要求1所述的一种基于特征解耦的异质人脸识别方法，其特征在于，所述基于互信息的对抗去相关网络MIbAD包括以下执行流程：

S41：将所述身份特征信息F_id和所述身份无关的信息F_os输入到所述基于互信息的对抗去相关网络MIbAD中，最小化所述身份特征信息F_id和所述身份无关的信息F_os之间的依赖关系，其最大最小对抗目标表述为：

其中，D_mi表示互信息判别器网络，P(*)为边缘概率分布，P(*,*)为联合概率分布，

表示基于JS散度的互信息估计，E_x～p[*]表示从概率分布P中随机采样并计算样本对应值的期望。

5.根据权利要求4所述的一种基于特征解耦的异质人脸识别方法，其特征在于，所述基于总体相关的对抗去相关网络TCbAD包括以下执行流程：

S42:将所述身份特征信息F_id映射为身份特征向量f_id；

S43：将所述身份特征向量f_id输入到所述基于总体相关的对抗去相关网络TCbAD，最小化所述身份特征向量f_id各维度之间的依赖关系，其最大最小对抗目标表述为：

其中，p(f_id)＝p(f_id,1,f_id,2,…,f_id,n)是所述身份特征向量f_id的分布函数，

Gs包括特征提取主干网络G_f、身份注意力网络IAN以及F_id到f_id之间的映射函数，D_tc表示总体相关判别器网络。

6.根据权利要求1所述的一种基于特征解耦的异质人脸识别方法，其特征在于，所述步骤S5包括：根据所述身份特征向量，将待识别图像和注册库中所有图像一一进行比对计算余弦相似度分数，根据相似度分数输出人脸识别结果。

7.一种用于实施权利要求1-6任一所述的基于特征解耦的异质人脸识别方法的基于特征解耦的异质人脸识别装置，其特征在于，所述人脸识别装置包括人脸图像采集和预处理模块、特征提取主干网络模块、残差分解模块、基于互信息的对抗去相关模块以及人脸比对模块；

所述人脸图像采集和预处理模块用于获取人脸图像并对其进行裁剪和对齐预处理；

所述特征提取主干网络模块用于提取所述人脸图像的面部表征；

所述残差分解模块用于从所述面部表征中解耦出身份特征，模态信息以及残差信息；

所述对抗去相关模块用于对身份特征进行解耦，以增强身份特征对身份无关信息变化的鲁棒性，以及对特征向量各维度变化的鲁棒性；

所述人脸比对模块用于计算人脸图像对应身份特征向量之间的余弦相似度分数，并输出识别结果。

Images