CN114764939A - 一种基于身份-属性解耦合成的异质人脸识别方法及系统 - Google Patents

一种基于身份-属性解耦合成的异质人脸识别方法及系统 Download PDF

Info

Publication number
CN114764939A
CN114764939A CN202210322834.9A CN202210322834A CN114764939A CN 114764939 A CN114764939 A CN 114764939A CN 202210322834 A CN202210322834 A CN 202210322834A CN 114764939 A CN114764939 A CN 114764939A
Authority
CN
China
Prior art keywords
face
identity
heterogeneous
attribute
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210322834.9A
Other languages
English (en)
Inventor
张晓宇
杨梓铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN202210322834.9A priority Critical patent/CN114764939A/zh
Publication of CN114764939A publication Critical patent/CN114764939A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明属于生物特征识别技术领域，公开了一种基于身份‑属性解耦合成的异质人脸识别方法及系统。本发明首先设计了一种人脸身份‑属性解耦算法，解耦人脸身份特征和属性特征，大量构建身份特征与属性特征的不同组合；进一步地设计一种人脸图像合成算法，利用身份特征与属性特征的不同组合生成异质人脸图像，用于训练异质人脸识别模型。本发明解决了异质人脸识别面临的图像数据不足、跨域差异巨大和面部属性复杂的挑战，具有优越的异质人脸识别性能。

Description

一种基于身份-属性解耦合成的异质人脸识别方法及系统
技术领域
本发明属于生物特征识别技术领域，具体涉及一种基于身份-属性解耦合成的异质人脸识别方法及系统。
背景技术
近年来，人脸识别广泛应用于身份认证、移动支付和安防监控等场景，为电子政务、智能交通、电子商务和公共安全等领域提供极大的便利。然而，实际场景通常根据不同的需要而使用不同类型的成像设备采集人脸图像，例如手机的近红外图像、安检门的热红外图像以及刑侦调查的素描画像。这导致采集的人脸图像与身份库的人脸图像之间的模态差异巨大，不能直接识别身份，因此需要有效的异质人脸识别方法(Heterogeneous FaceRecognition，HFR)。其中，异质图像是指不同模态的图像，如可见光、近红外和热红外等模态。异质人脸识别目标是匹配不同模态的人脸身份，对于增强人脸识别的可用性和准确性具有重要的意义。
目前，异质人脸识别面临三大挑战：异质数据不足、模态差异巨大和面部属性复杂。不同于可见光人脸，采集非可见光人脸需要特殊的成像设备。因此，非可见光的人脸图像远远少于可见光人脸图像。异质数据不足容易导致人脸识别算法的过拟合，影响人脸识别的准确性和泛化性。可见光与非可见光人脸的模态差异巨大，提高了异质人脸识别的难度。人脸面部的属性复杂多变，如角度、表情、装饰和环境光照等属性，进一步提高异质人脸识别的难度。
对此，研究学者不断改进异质人脸识别方法。现有方法主要分为三类：模态不变特征法、子空间学习法和图像合成法。
(一)模态不变特征法的主要思想是设计或者学习人脸特征提取算法，从异质人脸图像中获得与模态无关的身份判别特征，从而减小异质人脸的模态差异。该类方法早期主要依靠手工设计特征，准确性不高。深度卷积神经网络极大地促进了图像特征表示学习，有利于提取模态不变的身份特征。模态不变特征法解决了模态差异巨大的挑战，但仍存在异质数据不足和面部属性复杂两项挑战。
(二)子空间学习法的主要思想是将异质人脸图像投影到相同的子空间，在同一子空间内根据人脸特征的距离识别身份。机器学习的特征降维方法是子空间投影的早期工具。深度学习的特征解耦算法有效消除面部属性特征的差异，从而学习与模态和面部属性无关的特征子空间，进一步提升了异质人脸识别的性能。但该类方法不能缓解异质数据不足所带来的影响。
(三)图像合成法分为两类：一是有条件合成，将不同数据域的图像转换到相同数据域，在同域内匹配人脸身份，从而解决异质人脸的模态差异问题；二是无条件合成，合成大量异质人脸图像，解决当前缺乏异质人脸数据的问题，避免训练过拟合的现象，从而提高人脸识别准确性。现有基于图像合成法的异质人脸识别方法，虽然在公开的异质人脸视频数据库上达到了良好的识别性能，但尚未解决面部属性复杂对异质人脸识别的影响。
发明内容
针对现有方法的不足，本发明提出了一种基于身份-属性解耦合成的异质人脸识别方法及系统，具有领先的识别准确度。本发明具体按照如下的技术方案实施：
本发明的第一方面提供了一种基于身份-属性解耦合成的异质人脸识别方法，包括以下步骤：
步骤S100，从异质人脸数据库随机抽样一对异质人脸图像IN和IV，该对人脸图像属于同一个人物。首先采用预训练的人脸识别模型从人脸图像IV提取人脸图像的身份特征zid。其中，身份是指人脸所属的人物标签。第二，提出面向模态的人脸属性编码器，分别从异质人脸图像IN和IV提取人脸属性特征
Figure BDA0003570793550000021
和
Figure BDA0003570793550000022
第三，提出身份-属性解耦算法，固定人脸身份特征zid，约束人脸属性特征正交于人脸身份特征，从而使身份与属性的特征解耦。人脸属性特征具体包含面部角度、表情、肤色和光照等信息。
步骤S200，从异质人脸数据库随机抽样一对异质人脸图像XN和XV，利用步骤S100的面向模态的人脸属性编码器，从XN和XV提取属性特征
Figure BDA0003570793550000023
和
Figure BDA0003570793550000024
将步骤S100的身份特征zid与步骤S200的属性特征
Figure BDA0003570793550000025
和
Figure BDA0003570793550000026
组合，得到特征组合
Figure BDA0003570793550000027
和
Figure BDA0003570793550000028
然后提出人脸图像合成算法，由人脸图像生成器分别将特征组合
Figure BDA0003570793550000029
和
Figure BDA00035707935500000210
合成异质人脸图像
Figure BDA00035707935500000211
和
Figure BDA00035707935500000212
存储所述合成的异质人脸图像，作为异质人脸识别模型的训练数据。
步骤S300，循环步骤S100和S200，直至异质人脸数据库的所有图像均被抽样，则进行步骤S400。
步骤S400，结合异质人脸数据库的原始图像和步骤S300生成的异质人脸图像，训练异质人脸识别模型。对于异质人脸数据库的原始图像，采用交叉熵函数作为分类损失函数；对于步骤S300生成的异质人脸图像，提出跨模态对比损失函数。分类损失函数和跨模态对比损失函数的值相加，作为异质人脸识别模型的训练损失，更新模型参数。所述的异质人脸识别模型包含卷积神经网络和全连接层，其中卷积神经网络从待识别的人脸图像提取身份特征，全连接层根据提取的身份特征进行分类，输出身份的标签编号。
步骤S500，经过步骤S400训练的模型可用于识别异质人脸图像的身份。将待识别的人脸图像输入至异质人脸识别模型，模型内部的卷积神经网络将图像编码为身份特征向量v；同理，将身份数据库的所有人脸图像依次输入到异质人脸识别模型，编码为特征向量vi,i∈[1,N]，N为身份数据库的人物数量。依次计算特征向量v与vi的相似度。若特征向量v与vj,j∈[1,N]的相似度最高，则判定待识别的人脸属于第j个人物。
本发明的第二方面提出了一种基于身份-属性解耦合成的异质人脸识别系统，包括预处理模块、特征解耦模块、图像合成模块、图像存储介质和训练模块。
所述预处理模块，配置为人脸图像的数据读取和预处理。其中，数据读取是指从异质人脸数据库读取原始数据；数据预处理是指对人脸原始数据进行人脸检测、定位、对齐、裁剪和尺寸标准化，获得尺寸一致的人脸图像。
所述特征解耦模块，配置为解耦人脸的身份特征与属性特征。其中包含一个预训练的人脸识别模型和两个面向模态的人脸属性编码器。预训练的人脸识别模型用于提取人脸图像的身份特征。面向模态的人脸属性编码器分别从两个不同模态的人脸图像，提取与身份无关的人脸属性特征，从而将人脸图像分离成身份特征和属性特征。
所述图像合成模块，配置为生成异质人脸图像。其中包含一个生成器，接收人脸身份与属性的特征组合，合成异质人脸图像。
所述图像存储介质，用于存储异质人脸数据库和图像合成模块生成的异质人脸图像，为所述训练模块提供训练样本数据。
所述训练模块，配置为训练神经网络的模型参数。该模块通过梯度反向传播算法，更新所述特征解耦模块、图像合成模块和异质人脸识别模型的神经网络模型参数。
上述本发明的技术方案的有益效果：
本发明通过合成大量的、具有丰富面部属性的异质人脸图像，并减小类内特征的跨模态距离，有效解决了异质数据不足、模态差异巨大和面部属性复杂的问题，提升了异质人脸识别的准确性。
附图说明
图1是本发明一个或多个实施例中的基于身份-属性解耦合成的异质人脸识别模型的结构示意图。
图2为本发明多个实施例中的异质人脸识别模型在CASIA NIR-VIS 2.0数据库的测试结果ROC曲线示意图。
图3为本发明多个实施例中的异质人脸识别模型在BUAA-VisNir数据库的测试结果ROC曲线示意图。
图4为本发明多个实施例中的异质人脸识别模型在Oulu-CASIA NIR-VIS数据库的测试结果ROC曲线示意图。
图5为本发明多个实施例中的异质人脸识别模型在LAMP-HQ数据库的测试结果ROC曲线示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非本发明另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
正如背景技术所介绍的，针对现有技术存在的不足，本发明针对人脸不同区域之间的时序关系特征，提供一种基于身份-属性解耦合成的异质人脸识别方法，其异质人脸识别准确度高。
为了便于表述，表1介绍本发明所使用的符号。
表1
Figure BDA0003570793550000041
Figure BDA0003570793550000051
实施例1
本发明的一种典型的实施方式，如图1所示，实施例1公开了一种基于身份-属性解耦合成的异质人脸识别方法，包括以下步骤：
步骤S100，提取人脸图像的身份特征，然后利用身份-属性解耦算法，学习人脸图像的属性特征，提取与身份无关的人脸面部属性信息。该步骤的具体流程包括：
步骤S111，采用预训练的人脸识别模型LightCNN(参考Wu X,He R,Sun Z,et al.ALight CNN for Deep Face Representation with Noisy Labels[J].IEEE Transactionson Information Forensics and Security,2018,13(11):2884-2896)作为人脸身份特征编码器Eid，从异质人脸图像提取身份特征。
步骤S112，提出两个面向模态的人脸属性编码器EN和EV。EN对模态一的人脸图像IN进行特征提取，得到与身份无关的人脸属性特征
Figure BDA0003570793550000052
EV对模态二的人脸图像IV进行特征提取，得到与身份无关的人脸属性特征
Figure BDA0003570793550000053
人脸属性编码器的神经网络结构如表2所示，其中卷积层具体包含1个2D卷积运算、1个实例正则化(Instance Normalization)运算和1个带泄露线性整流(Leaky ReLU)激活函数。人脸图像输入到人脸属性编码器后，首先由卷积层处理，依次经过卷积运算得到特征图，经过正则化运算进行数据正则化，由激活函数进行特征图的非线性变换；同理，特征图由后续的卷积层处理；最后，全连接层将特征图变换为两个特征向量μ和σ，分别表示人脸属性分布的均值和标准差。由于人脸属性的先验分布服从多元高斯分布
Figure BDA0003570793550000054
I为单位矩阵，使用重参数化技巧(Kingma D P,Welling M.Auto-Encoding Variational Bayes[C].International Conference on LearningRepresentations,2014)将μ和σ变换为属性特征向量：
Figure BDA0003570793550000055
∈为高斯噪声。
表2
Figure BDA0003570793550000056
Figure BDA0003570793550000061
步骤S200，从异质人脸数据库选取大量的人脸图像，利用身份-属性解耦算法提取大量的身份特征和属性特征，随机组合身份与属性特征。然后利用人脸图像合成算法，根据身份与属性的特征组合，生成异质人脸图像。该步骤的具体流程包括：
步骤S211，从异质人脸数据库选取两对异质人脸图像，第一对异质人脸图像为IN和IV,第二对异质人脸图像为XN和XV，使用Eid从IV提取身份特征zid，使用EN分别从IN和XN提取属性特征
Figure BDA0003570793550000062
和
Figure BDA0003570793550000063
使用EV分别从IV和XV提取属性特征
Figure BDA0003570793550000064
和
Figure BDA0003570793550000065
步骤S212，组合身份特征zid和属性特征
Figure BDA0003570793550000066
使用生成器G(参考Goodfellow I,Pouget-Abadie J,Mirza M,et al.Generative Adversarial Networks[J].Communications of the ACM,2020,63(11):139-144)由
Figure BDA0003570793550000067
生成人脸图像
Figure BDA0003570793550000068
组合身份特征zid和属性特征
Figure BDA0003570793550000069
使用生成器G由
Figure BDA00035707935500000610
生成人脸图像
Figure BDA00035707935500000611
生成器的神经网络结构如表3所示。其中，转置卷积层具体包含1个2D转置卷积运算、1个自适应实例正则化(Adaptive Instance Normalization，参考Huang X,Belongie S.Arbitrary StyleTransfer in Real-time with Adaptive Instance Normalization[C].IEEEInternational Conference on Computer Vision.2017:1501-1510)运算和1个带泄露线性整流(Leaky ReLU)激活函数；Tanh为双曲正切激活函数。生成器生成人脸图像的具体处理流程如下，符号zX代表属性特征
Figure BDA00035707935500000612
或
Figure BDA00035707935500000613
避免赘述。人脸身份特征zid和属性特征zX输入到生成器，首先由全连接层映射为特征向量x；然后由转置卷积层处理，经过转置卷积运算得到特征图，经过自适应实例正则化运算对特征图进行数据正则化，由激活函数对正则化的特征图进行非线性变换。进一步地，特征图依次由后续的转置卷积层和卷积层处理，处理过程与上文同理，不再赘述。最后，双曲正切激活函数将特征图变换为人脸图像，得到生成的人脸图像。
表3
Figure BDA00035707935500000614
Figure BDA0003570793550000071
步骤S213，循环步骤S211-212，直至选取所有异质人脸图像。
步骤S300，结合异质人脸数据库的原始图像和步骤S300生成的异质人脸图像，训练异质人脸识别模型。对于异质人脸数据库的原始图像，采用交叉熵函数作为分类损失函数；对于步骤S300生成的异质人脸图像，提出跨模态对比损失函数。分类损失函数和跨模态对比损失函数的值相加，作为异质人脸识别模型的训练损失，更新模型参数。训练具体步骤和跨模态对比损失函数的细节内容在实施例2介绍。
为了验证本发明提出方法的有效性，使用CASIA NIR-VIS 2.0、BUAA-VisNir、Oulu-CASIA NIR-VIS和LAMP-HQ数据库，开展异质人脸识别的实验。
实验采用Rank-1 Accuracy、VR@FAR＝1％、VR@FAR＝0.1％、VR@FAR＝0.01％指标，测试方法的性能。模型在CASIA NIR-VIS 2.0、BUAA-VisNir、Oulu-CASIA NIR-VIS和LAMP-HQ数据库的实验结果如表4-7所示。模型在CASIA NIR-VIS 2.0、BUAA-VisNir、Oulu-CASIANIR-VIS和LAMP-HQ数据库的实验结果ROC曲线示意图如图2-5所示。FSIAD是本发明方法的英文简称。
表4模型在CASIA NIR-VIS 2.0的十折交叉验证结果
方法 Rank-1 Accuracy(％) VR@FAR＝0.1％(％) VR@FAR＝0.01％(％)
TRIVET 95.7±0.5 91.0±1.3 74.5±0.7
IDR 97.3±0.4 95.7±0.7 -
ADFL 98.2±0.3 97.2±0.5 -
W-CNN 98.7±0.3 98.4±0.4 94.3±0.4
PACH 98.9±0.2 98.3±0.2 -
DVR 99.7±0.1 99.6±0.3 98.6±0.3
DVG 99.8±0.1 99.8±0.1 98.8±0.2
LightCNN 96.7±0.2 94.8±0.4 88.5±0.2
FSIAD 99.9±0.0 99.9±0.0 99.2±0.1
表5模型在BUAA-VisNir的实验结果
方法 Rank-1 Accuracy(％) VR@FAR＝1％(％) VR@FAR＝0.1％(％)
TRIVET 93.9 93.0 80.9
IDR 94.3 93.4 84.7
ADFL 95.2 95.3 88.0
W-CNN 97.4 96.0 91.9
PACH 98.6 98.0 93.5
DVR 99.2 98.5 96.9
DVG 99.3 98.5 97.3
LightCNN 96.5 95.4 86.7
FSIAD 99.8 99.7 99.1
表6模型在Oulu-CASIA NIR-VIS的实验结果
方法 Rank-1 Accuracy(％) VR@FAR＝1％(％) VR@FAR＝0.1％(％)
TRIVET 92.2 67.9 33.6
IDR 94.3 73.4 46.2
ADFL 95.5 83.0 60.7
W-CNN 98.0 81.5 54.6
PACH 100.0 97.9 88.2
DVR 100.0 97.2 84.9
DVG 100.0 97.5 90.6
LightCNN 96.7 92.4 65.1
FSIAD 100.0 98.1 92.0
表7模型在LAMP-HQ的实验结果
方法 Rank-1 Acc(％) VR@FAR＝1％(％) VR@FAR＝0.1％(％) VR@FAR＝0.01％(％)
LightCNN 96.2 96.1 95.3 69.3
ADFL 95.8 91.5 71.0 -
PACH 96.9 93.9 78.7 -
DVG 98.3 98.8 96.0 88.2
FSIAD 98.8 99.1 97.9 93.0
模型的实验结果表明，本发明提出的方法达到最高的人脸识别准确度，在LAMP-HQ数据集的VR@FAR＝0.01％比现有最佳方法高4.8％。
实施例2
实施例2公开了一种基于身份-属性解耦合成的异质人脸识别系统，包括预处理模块、特征解耦模块、图像合成模块、图像存储介质和训练模块。
所述预处理模块完成人脸图像的数据读取和预处理。其中，数据读取是指从异质人脸数据库读取原始数据；数据预处理是指对人脸原始数据进行人脸检测、定位、对齐、裁剪和尺寸标准化，获得尺寸一致的人脸图像。
所述特征解耦模块按照步骤S100工作。解耦人脸的身份特征与属性特征。其中包含一个预训练的人脸识别模型，两个面向模态的人脸属性编码器。预训练的人脸识别模型用于提取人脸图像的身份特征。两个面向模态的人脸属性编码器分别从两个不同领域的人脸图像，提取与身份无关的属性特征。
人脸属性编码器选用变分自编码器(Variational Anto-Encoder，参考Kingma DP,Welling M.Auto-Encoding Variational Bayes[C].International Conference onLearning Representations,2014)实现，
Figure BDA0003570793550000091
和
Figure BDA0003570793550000092
的先验分布
Figure BDA0003570793550000093
和
Figure BDA0003570793550000094
服从多元高斯分布
Figure BDA0003570793550000095
需要使用KL散度损失函数训练人脸属性编码器，使
Figure BDA0003570793550000096
和
Figure BDA0003570793550000097
的后验分布
Figure BDA0003570793550000098
和
Figure BDA0003570793550000099
逼近先验分布，从而学习人脸属性特征。KL散度损失函数表示为：
Figure BDA00035707935500000910
进一步地，为了使人脸属性特征正交于人脸身份特征，提出解耦损失函数
Figure BDA00035707935500000911
训练人脸属性编码器，
Figure BDA00035707935500000912
表示为：
Figure BDA00035707935500000913
当
Figure BDA00035707935500000914
下降至0时，zid与
Figure BDA00035707935500000915
Figure BDA00035707935500000916
正交。
结合KL散度损失函数和解耦损失函数，提出特征解耦损失函数
Figure BDA00035707935500000917
用于训练人脸属性编码器，其中λdis为超参数，设置为2。
所述图像合成模块按照步骤S200生成异质人脸图像。图像生成包括人脸重建和人脸生成。人脸重建将IN和IV的身份特征zid与属性特征
Figure BDA00035707935500000918
Figure BDA00035707935500000919
组合，得到特征组合
Figure BDA00035707935500000920
和
Figure BDA00035707935500000921
输入生成器G，生成重建的人脸图像
Figure BDA00035707935500000922
和
Figure BDA00035707935500000923
使用重建损失函数
Figure BDA00035707935500000924
减少重建人脸与原始人脸的差异。
Figure BDA00035707935500000925
人脸生成将IN和IV的身份特征zid与XN和XV的属性特征
Figure BDA00035707935500000926
和
Figure BDA00035707935500000927
组合，得到特征组合
Figure BDA00035707935500000928
Figure BDA00035707935500000929
和
Figure BDA00035707935500000930
输入生成器G，生成人脸图像
Figure BDA00035707935500000931
和
Figure BDA00035707935500000932
生成的人脸图像应当满足两点性质：(1)身份与zid保持一致；(2)属性与XN和XV相似。因此，提出身份保持损失函数
Figure BDA0003570793550000101
训练生成器G，缩小
Figure BDA0003570793550000102
和
Figure BDA0003570793550000103
的身份特征与zid之间的距离。
Figure BDA0003570793550000104
对于属性的相似，分别从图像和特征两方面进行约束，以训练生成器G。
第一，结合L1损失(L1(x1,x2)＝‖x1-x2‖1)和多尺度结构相似度(MSSSIM，参考WangZ,Bovik A C,Sheikh H R,et al.Image Quality Assessment:From Error Visibilityto Structural Similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612)，提出图像相似损失函数
Figure BDA0003570793550000105
Figure BDA0003570793550000106
其中，
Figure BDA0003570793550000107
Figure BDA0003570793550000108
越小，则x1与x2越相似；
MSSSIM(x1,x2)是多尺度结构相似度函数；α是超参数，调节L1损失与多尺度结构相似度函数的比例，设置为0.84。MSSSIM(x1,x2)的具体计算过程如下：
分别计算图像x1和x2的均值μ1和μ2，计算图像x1和x2的标准差σ1和σ2，计算图像x1和x2的协方差σ12；
估计图像x1和x2的亮度：
Figure BDA0003570793550000109
C1是常数，为6.5025；
估计图像x1和x2的对比度：
Figure BDA00035707935500001010
C2是常数，为58.5225；
估计图像x1和x2的结构相似度：
Figure BDA00035707935500001011
C3是常数，为29.26125；
使用低通滤波器和降采样器，分别对图像x1和x2迭代进行M次的低通滤波和1/2下采样，每次迭代后计算对比度c(x1,x2)和结构相似度s(x1,x2)，在第j次迭代后的对比度和结构相似度分别记作cj(x1,x2)和sj(x1,x2)。直至图像下采样至1*1大小，计算亮度相似度lM(x1,x2)，M为迭代次数。
Figure BDA00035707935500001012
其中αM、βj和γj是超参数，设置为αM＝βj＝γj＝1。
第二，提出属性特征损失函数
Figure BDA00035707935500001013
缩小属性特征之间的距离。
Figure BDA00035707935500001014
其中
Figure BDA00035707935500001015
和
Figure BDA00035707935500001016
分别是
Figure BDA00035707935500001017
和
Figure BDA00035707935500001018
的属性特征。
为了进一步提高生成图像的质量，引入判别器D通过对抗方式训练生成器G。判别器D的目标是正确判别真实图像与生成图像，而生成器G的目标是生成高质量的图像使D不能正确区分其真实性，从而优化生成器G。提出对抗损失函数
Figure BDA0003570793550000111
Figure BDA0003570793550000112
Figure BDA0003570793550000113
其中D(I)是判别器判断图像I为生成图像的概率，图像I从真实图像数据采样获得，即异质人脸图像IN和IV，
Figure BDA0003570793550000114
表示真实图像数据；
Figure BDA0003570793550000115
是判别器判断图像
Figure BDA0003570793550000116
为生成图像的概率，图像
Figure BDA0003570793550000117
从生成图像数据采样获得，即生成的异质人脸图像
Figure BDA0003570793550000118
和
Figure BDA0003570793550000119
Figure BDA00035707935500001110
表示生成图像数据。
综合重建损失函数
Figure BDA00035707935500001111
身份保持损失函数
Figure BDA00035707935500001112
图像相似损失函数
Figure BDA00035707935500001113
和对抗损失函数
Figure BDA00035707935500001114
提出图像合成损失函数
Figure BDA00035707935500001115
用于训练所述图像合成模块。
Figure BDA00035707935500001116
Figure BDA00035707935500001117
所述图像存储介质用于存储异质人脸数据库和所述图像合成模块生成的异质人脸图像，为所述训练模块提供训练样本数据。
所述训练模块按照步骤S400训练异质人脸识别模型F。对于原始的异质人脸图像，使用交叉熵损失函数
Figure BDA00035707935500001118
作为分类损失，训练异质人脸识别模型，
Figure BDA00035707935500001119
其中n是异质人脸图像的总数量；
Figure BDA00035707935500001120
是第i对异质人脸图像，i∈[1,n]，包含2张不同模态的人脸图像
Figure BDA00035707935500001121
和
Figure BDA00035707935500001122
yi是人脸图像
Figure BDA00035707935500001123
的身份标签。对于步骤S300生成的异质人脸图像
Figure BDA00035707935500001124
和
Figure BDA00035707935500001125
使用异质人脸识别模型分别提取身份特征
Figure BDA00035707935500001126
和
Figure BDA00035707935500001127
然后使用跨模态类内损失函数
Figure BDA00035707935500001128
减小不同模态图像的类内身份特征距离，
Figure BDA00035707935500001129
综合交叉熵损失函数
Figure BDA00035707935500001130
和跨模态类内损失函数
Figure BDA00035707935500001131
提出异质人脸识别损失函数
Figure BDA00035707935500001132
用于训练异质人脸识别模型F。
Figure BDA00035707935500001133
其中γ是超参数，设置为0.001。
实施例3
为了验证本发明提出的方法具有有效性，本实施例开展实验，取消本发明和本发明提出的损失函数，测试模型的异质人脸识别性能。图5和表7表明，取消本发明或者取消本发明提出的损失函数，均导致异质人脸识别性能的下降，验证了本发明有助于提高异质人脸识别的准确性。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于身份-属性解耦合成的异质人脸识别方法，其步骤包括：
1)从异质人脸数据库随机抽取一样本Y，所述异质人脸数据库中每一样本包括属于同一人物的两张异质人脸图像；该样本Y包括一对异质人脸图像IN和IV，采用人脸身份特征编码器从IV中提取身份特征zid，采用人脸属性编码器分别从IN中提取人脸属性特征
Figure FDA0003570793540000011
从IV中提取人脸属性特征
Figure FDA0003570793540000012
然后固定人脸身份特征zid，约束人脸属性特征正交于人脸身份特征，提取与身份无关的人脸面部属性信息；
2)从异质人脸数据库随机抽样一样本X，其包括一对异质人脸图像XN和XV；从XN中提取属性特征
Figure FDA0003570793540000013
从XV中提取属性特征
Figure FDA0003570793540000014
将所述身份特征zid与属性特征
Figure FDA0003570793540000015
分别组合，得到特征组合
Figure FDA0003570793540000016
和
Figure FDA0003570793540000017
然后将特征组合
Figure FDA0003570793540000018
合成异质人脸图像
Figure FDA0003570793540000019
将特征组合
Figure FDA00035707935400000110
合成异质人脸图像
Figure FDA00035707935400000111
将合成的异质人脸图像
Figure FDA00035707935400000112
Figure FDA00035707935400000113
作为异质人脸识别模型的训练数据；
3)循环步骤1)～2)，得到一训练数据集；
4)结合所述异质人脸数据库的原始图像和所述训练数据集，训练所述异质人脸识别模型；其中，所述异质人脸识别模型包含卷积神经网络和全连接层，所述卷积神经网络用于从输入的人脸图像中提取身份特征并将其输入所述全连接层，所述全连接层用于根据所述身份特征对人脸图像进行分类，输出对应人脸图像的身份标签；输入图像为异质人脸数据库的样本Y时，采用交叉熵损失函数作为分类损失函数计算损失值；输入图像为所述训练数据集中样本Y对应的合成图像时，采用跨模态对比损失函数计算损失值；将分类损失函数计算所得损失值与跨模态对比损失函数计算所得损失值相加，作为所述异质人脸识别模型的训练损失，更新所述异质人脸识别模型的参数；
5)将待识别的人脸图像输入至训练后的异质人脸识别模型，所述卷积神经网络将该待识别的人脸图像编码为身份特征向量v；然后计算特征向量v与身份数据库中每一人脸图像对应的特征向量之间的相似度，若特征向量v与身份数据库中第j个人物对应的特征向量vj的相似度最高，则判定待识别的人脸图像属于第j个人物。
2.根据权利要求1所述的方法，其特征在于，步骤1)中，利用身份-属性解耦算法提取与身份无关的人脸面部属性信息，其步骤包括：选取两个面向模态的人脸属性编码器，即面向第一模态的人脸属性编码器为EN和面向第二模态的人脸属性编码器为EV；然后利用EN对属于模态一的人脸图像IN进行特征提取，得到与身份无关的人脸属性特征
Figure FDA00035707935400000114
利用EV对属于模态二的人脸图像IV进行特征提取，得到与身份无关的人脸属性特征
Figure FDA00035707935400000115
3.根据权利要求1所述的方法，其特征在于，生成异质人脸图像的步骤包括：首先利用全连接层将人脸身份特征zid和属性特征zX映射为特征向量x，其中zX为
Figure FDA0003570793540000021
或
Figure FDA0003570793540000022
然后利用转置卷积层对特征向量x进行转置卷积运算得到一特征图，通过自适应实例正则化运算对所述特征图进行数据正则化，再利用激活函数对进行正则化后的特征图进行非线性变换，得到合成的异质人脸图像。
4.根据权利要求1或2或3所述的方法，其特征在于，所述人脸属性编码器选用变分自编码器；训练所述人脸属性编码器所采用的损失函数为
Figure FDA0003570793540000023
其中
Figure FDA0003570793540000024
为KL散度损失函数，解耦损失函数
Figure FDA0003570793540000025
当
Figure FDA0003570793540000026
下降至0时，zid与
Figure FDA0003570793540000027
正交，其中λdis为超参数。
5.根据权利要求1或2或3所述的方法，其特征在于，利用生成器G生成合成的异质人脸图像
Figure FDA0003570793540000028
其中训练所述生成器G所采用的损失函数为
Figure FDA0003570793540000029
其中，重建损失函数
Figure FDA00035707935400000210
训练过程中生成器G根据输入的特征组合
Figure FDA00035707935400000211
生成重建的人脸图像
Figure FDA00035707935400000212
和
Figure FDA00035707935400000213
身份保持损失函数
Figure FDA00035707935400000214
Figure FDA00035707935400000215
为人脸身份特征编码器从输入
Figure FDA00035707935400000216
中提取的身份特征，
Figure FDA00035707935400000217
为人脸身份特征编码器从输入
Figure FDA00035707935400000218
中提取的身份特征；图像相似损失函数
Figure FDA00035707935400000219
Figure FDA00035707935400000220
Figure FDA00035707935400000221
为多尺度结构相似度函数，α是超参数；属性特征损失函数
Figure FDA00035707935400000222
Figure FDA00035707935400000223
和
Figure FDA00035707935400000224
分别是
Figure FDA00035707935400000225
和
Figure FDA00035707935400000226
的属性特征；对抗损失函数
Figure FDA00035707935400000227
其中D(I)是判别器判断图像I为生成图像的概率，图像I从真实图像数据采样获得，
Figure FDA00035707935400000228
表示真实图像数据；
Figure FDA00035707935400000229
是判别器判断图像
Figure FDA00035707935400000230
为生成图像的概率，图像
Figure FDA00035707935400000231
从生成图像数据采样获得，
Figure FDA00035707935400000232
表示生成图像数据。
6.根据权利要求1或2或3所述的方法，其特征在于，所述跨模态类内损失函数
Figure FDA00035707935400000233
Figure FDA00035707935400000234
为合成的异质人脸图像
Figure FDA00035707935400000235
输入异质人脸识别模型时输出的身份特征，
Figure FDA00035707935400000236
为合成的异质人脸图像
Figure FDA00035707935400000237
输入异质人脸识别模型时输出的身份特征提取身份特征。
7.根据权利要求1或2或3所述的方法，其特征在于，人脸属性特征包含面部角度、表情、肤色和光照；所述身份特征zid为人脸所属的人物标签。
8.一种基于身份-属性解耦合成的异质人脸识别系统，其特征在于，包括特征解耦模块、图像合成模块；其中，
所述特征解耦模块，配置为解耦人脸的身份特征与属性特征，其包含一个预训练的人脸识别模型和两个面向模态的人脸属性编码器；预训练的人脸识别模型用于提取人脸图像的身份特征，两个面向模态的人脸属性编码器分别从两个不同模态的人脸图像，提取与身份无关的人脸属性特征，从而将人脸图像分离成身份特征和属性特征；
所述图像合成模块，配置为生成异质人脸图像，其包含一个生成器，接收人脸身份与属性的特征组合，合成异质人脸图像。
9.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至8任一所述方法中各步骤的指令。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一所述方法的步骤。
CN202210322834.9A 2022-03-29 2022-03-29 一种基于身份-属性解耦合成的异质人脸识别方法及系统 Pending CN114764939A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210322834.9A CN114764939A (zh) 2022-03-29 2022-03-29 一种基于身份-属性解耦合成的异质人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210322834.9A CN114764939A (zh) 2022-03-29 2022-03-29 一种基于身份-属性解耦合成的异质人脸识别方法及系统

Publications (1)

Publication Number Publication Date
CN114764939A true CN114764939A (zh) 2022-07-19

Family

ID=82364700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210322834.9A Pending CN114764939A (zh) 2022-03-29 2022-03-29 一种基于身份-属性解耦合成的异质人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN114764939A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115050087A (zh) * 2022-08-16 2022-09-13 之江实验室 一种人脸关键点身份和表情解耦方法及装置
CN116152885A (zh) * 2022-12-02 2023-05-23 南昌大学 一种基于特征解耦的跨模态异质人脸识别和原型修复方法
CN117409470A (zh) * 2023-12-15 2024-01-16 千巡科技(深圳)有限公司 一种人脸识别特征数据动态匹配方法、系统、装置和介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115050087A (zh) * 2022-08-16 2022-09-13 之江实验室 一种人脸关键点身份和表情解耦方法及装置
CN116152885A (zh) * 2022-12-02 2023-05-23 南昌大学 一种基于特征解耦的跨模态异质人脸识别和原型修复方法
CN116152885B (zh) * 2022-12-02 2023-08-01 南昌大学 一种基于特征解耦的跨模态异质人脸识别和原型修复方法
CN117409470A (zh) * 2023-12-15 2024-01-16 千巡科技(深圳)有限公司 一种人脸识别特征数据动态匹配方法、系统、装置和介质
CN117409470B (zh) * 2023-12-15 2024-03-15 千巡科技(深圳)有限公司 一种人脸识别特征数据动态匹配方法、系统、装置和介质

Similar Documents

Publication Publication Date Title
US11645835B2 (en) Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
Qin et al. Multi-scale and multi-direction GAN for CNN-based single palm-vein identification
CN114764939A (zh) 一种基于身份-属性解耦合成的异质人脸识别方法及系统
CN106295694B (zh) 一种迭代重约束组稀疏表示分类的人脸识别方法
CN111666588B (zh) 一种基于生成对抗网络的情绪差分隐私保护方法
CN111666873A (zh) 一种基于多任务深度学习网络的训练方法、识别方法及系统
JP2005202932A (ja) データを複数のクラスに分類する方法
Akhtar et al. Optical character recognition (OCR) using partial least square (PLS) based feature reduction: an application to artificial intelligence for biometric identification
CN114821682B (zh) 一种基于深度学习算法的多样本混合掌静脉识别方法
CN115240280A (zh) 人脸活体检测分类模型的构建方法、检测分类方法及装置
Li et al. Transformer based defense GAN against palm-vein adversarial attacks
Chen et al. Semi-supervised dictionary learning with label propagation for image classification
Tseng et al. An interpretable compression and classification system: Theory and applications
Sams et al. Hq-fingan: High-quality synthetic fingerprint generation using gans
Li et al. Feature extraction based on deep‐convolutional neural network for face recognition
CN103942545A (zh) 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
Singh et al. Fingerprint identification using modified capsule network
CN111967331B (zh) 基于融合特征和字典学习的人脸表示攻击检测方法及系统
Pathak et al. Multimodal eye biometric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching
US20230281762A1 (en) Fingerphoto deblurring using deep learning gan architectures
Kanwal et al. Exposing ai generated deepfake images using siamese network with triplet loss
Nejrs et al. Face image classification based on feature extraction
Li et al. A pre-training strategy for convolutional neural network applied to Chinese digital gesture recognition
Yang et al. [Retracted] Analysis of Feature Extraction and Anti‐Interference of Face Image under Deep Reconstruction Network Algorithm
Xu et al. Face recognition algorithm based on correlation coefficient and ensemble-augmented sparsity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination