CN113158866A - 一种基于注意力机制与数据不平衡的跨年龄人脸识别方法 - Google Patents

一种基于注意力机制与数据不平衡的跨年龄人脸识别方法 Download PDF

Info

Publication number
CN113158866A
CN113158866A CN202110401376.3A CN202110401376A CN113158866A CN 113158866 A CN113158866 A CN 113158866A CN 202110401376 A CN202110401376 A CN 202110401376A CN 113158866 A CN113158866 A CN 113158866A
Authority
CN
China
Prior art keywords
age
identity
loss
characteristic
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110401376.3A
Other languages
English (en)
Inventor
颜成钢
张杰华
孙垚棋
张继勇
李宗鹏
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110401376.3A priority Critical patent/CN113158866A/zh
Publication of CN113158866A publication Critical patent/CN113158866A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于注意力机制与数据不平衡的跨年龄人脸识别方法。首先从跨年龄人脸识别数据集中抽取同一个人不同年龄的面部照片组成人脸时间序列，通过自注意力机制进行处理得到处理后的特征序列；然后将自注意力机制处理后的特征序列进行线性融合；将将融合后的面部特征分解为身份特征与年龄特征；采用重加权的年龄损失和身份损失分别对年龄估计和身份估计任务进行监督，并采用相关性损失约束年龄特征与身份特征之间的相似性。本发明方法通过融合同一个身份不同年龄的面部照片以及自注意力机制，学习了年龄对面部的影响，提取了更加鲁棒的身份特征；通过重加权年龄损失，缓解了年龄数据分布不平衡导致的准确率下降。

Description

一种基于注意力机制与数据不平衡的跨年龄人脸识别方法
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于注意力机制和数据平衡的跨年龄人脸识别方案，一种跨年龄人脸识别方案。
背景技术
随着社会经济与科学技术的发展，人脸识别在各行各业已经得到了广泛的应用，并且取得了令人印象深刻的表现。然而，面对人脸的随着年龄的老化，一般的人脸识别方案暴露了其低鲁棒性的缺陷，不能够准确、稳定的识别有着较大年龄差别的人脸。
随着年龄的老化，有时人脸在不同年龄之间的差距甚至会超过不同人之间的差距。因此，跨年龄人脸识别的一个关键挑战是从人脸提取不受年龄影响的身份特征，从而克服年龄的影响。总的来说，跨年龄人脸识别可以分为生成方法与判别方法。生成方法通过建模人脸老化过程生成人脸在不同的年龄的图像进行识别，判别方法则是通过提取不受年龄影响的身份特征进行人脸识别。许多判别方法简单的通过移除人脸特征中的年龄因素提取身份特征，但是这种方法会在一定程度上损失身份信息。此外，深度学习对于数据集有着巨大的依赖，而跨年龄人脸数据集通常表现出严重的年龄标签分布不均，即青年、中年的人脸数据较多，低龄和高龄人群的人脸数据较少，这种数据分布的不均衡很大程度上影响了跨年龄人脸识别的效果。
发明内容
针对现有技术中存在的不足，本发明提供一种基于注意力机制与数据不平衡的跨年龄人脸识别方法。本发明旨在解决如何通过神经网络从人脸提取鲁棒的身份特征，从而提高跨年龄人脸识别的准确性与鲁棒性。
为了达到上述目的，我们从人脸序列中提取面部特征序列，通过自注意力机制捕获序列中的全局信息，通过一个重加权年龄损失函数缓解年龄标签的不平衡分布，此外，我们通过特征融合与分解提高了身份特征对年龄因素的鲁棒性，最终提高跨年龄人脸识别的准确性。
一种基于注意力机制与数据不平衡的跨年龄人脸识别方法，步骤如下：
步骤1、从跨年龄人脸识别数据集Morph中抽取同一个人不同年龄的面部照片组成人脸时间序列，通过特征提取网络提取面部特征序列，通过自注意力机制进行处理得到处理后的特征序列；
步骤2、将自注意力机制处理后的特征序列进行线性融合。
步骤3、将融合后的面部特征分解为身份特征与年龄特征。
步骤4、监督训练；
采用重加权的年龄损失和身份损失分别对年龄估计和身份估计任务进行监督，并采用相关性损失约束年龄特征与身份特征之间的相似性。
步骤1、从跨年龄人脸识别数据集Morph中抽取同一个人不同年龄的面部照片组成人脸时间序列：
Figure BDA0003020462810000021
其中p代表身份，l代表序列长度。通过特征提取网络提取面部特征序列：
Figure BDA0003020462810000022
为了捕获序列间的全局信息与相互作用，引导模型关注身份信息，将面部特征序列堆叠为
Figure BDA0003020462810000031
并计算相互之间的注意力：
Figure BDA0003020462810000032
其中，σ是softmax函数，WQ，WK，WV是独立的参数矩阵，dk是WK的维度，然后输出重建为l个独立的特征表示为：
Figure BDA0003020462810000033
步骤2、将自注意力机制处理后的特征序列进行线性融合。
Figure BDA0003020462810000034
其中wi是权重，满足
Figure BDA0003020462810000035
的约束。
步骤3、将融合后的面部特征分解为身份特征与年龄特征。
首先通过三个全连接层将融合后的特征xp进行非线性变换得到年龄特征xage，然后将年龄特征xage投影到融合后的面部特征xp，得到投影后的年龄特征
Figure BDA0003020462810000036
Figure BDA0003020462810000037
从融合的面部特征中减去投影后的年龄特征即可得到身份特征：
Figure BDA0003020462810000038
将身份特征
Figure BDA0003020462810000039
通过一个全连接层进行身份识别，投影后的年龄特征
Figure BDA00030204628100000310
通过一个全连接层进行年龄估计。
步骤4、监督训练；
采用重加权的年龄损失和身份损失分别对年龄估计和身份估计任务进行监督，并采用相关性损失约束年龄特征与身份特征之间的相似性。
重加权的年龄损失：
Figure BDA0003020462810000041
Figure BDA0003020462810000042
Lage是交叉熵损失，w是每个样本的权重，对于年龄为yi的样本，年龄损失为交叉熵损失Lage与w的积。agem和agef分别为数据集中样本数量最大与最小的年龄。由于输入样本有不同的年龄，因此每次都将人脸时间序列中的第二个样本年龄作为整个序列的年龄标签。
身份损失同样采用交叉熵损失。
相关性损失：
Figure BDA0003020462810000043
Figure BDA0003020462810000044
Lc＝exp(|P|)
其中P描述了年龄特征与身份特征的相关性，μage与
Figure BDA0003020462810000045
分别表示
Figure BDA0003020462810000046
的均值与方差，
Figure BDA0003020462810000047
是一个学习参数。
本发明所达到的有益效果为：
通过融合同一个身份不同年龄的面部照片以及自注意力机制，学习了年龄对面部的影响，提取了更加鲁棒的身份特征；通过重加权年龄损失，缓解了年龄数据分布不平衡导致的准确率下降。
附图说明
图1为本发明方法流程图；
图2为本发明实施例采用的网络结构示意图。
具体实施方式
下面结合附图并通过具体实施例对本发明做进一步详述。
本方法所采用的网络结构如图2所示，首先通过一个特征提取网络对输入的进行特征提取，随后的自注意力模块对提取的面部特征序列进行处理，特征融合部分对面部特征序列进行融合，随后通过特征分解模块得到年龄特征与身份特征，由分类器估计出相应的年龄与身份。
如图1所示，本发明的具体实施例及其实施过程如下：
具体实施过程包括深度模型的训练与测试两个阶段：
步骤1：从Morph数据集中选取三张人脸照片样本，身份为p：
Figure BDA0003020462810000051
取第二个照片对应的年龄为整个序列的年龄。通过特征提取网络提取面部特征序列：
Figure BDA0003020462810000052
所述的特征提取网络采用ResNet-50。将面部特征序列堆叠
Figure BDA0003020462810000053
通过自注意力模块处理，学习特征之间的相互关系：
Figure BDA0003020462810000054
其中σ是softmax函数，WQ，WK，WV是独立的参数矩阵，dk是WK的维度。然后将输出重建为三个独立的特征表示为：
Figure BDA0003020462810000055
步骤2：将序列中的三个特征线性融合。
Figure BDA0003020462810000061
步骤3：通过三个全连接层将融合后的特征xp进行非线性变换，从融合特征中提取年龄特征xage，然后将年龄特征xage投影到融合后的面部特征xp，得到投影后的年龄特征：
Figure BDA0003020462810000062
从融合的面部特征中减去投影后的年龄特征即可得到身份特征：
Figure BDA0003020462810000063
将身份特征
Figure BDA0003020462810000064
通过一个全连接层进行身份识别，投影后的年龄特征
Figure BDA0003020462810000065
通过一个全连接层进行年龄估计。
步骤4、监督训练。
采用重加权的年龄损失和身份损失分别对年龄估计和身份估计任务进行监督，并采用相关性损失约束年龄特征与身份特征之间的相似性。
重加权的年龄损失：
Figure BDA0003020462810000066
Figure BDA0003020462810000067
Lage是普通的交叉熵损失，w是每个样本的权重，对于年龄为yi的样本年龄损失因为交叉熵损失Lage与w的积。agem和agef分别为数据集中样本数量最大与最小的年龄，此处分别取22与80。由于输入的样本有三个不同的年龄，因此每次都将第二个图片的年龄作为整个序列的年龄标签(当样本数大于三时，依然采用第二个样本的年龄)。
身份损失同样采用交叉熵损失。
相关性损失：
Figure BDA0003020462810000071
Figure BDA0003020462810000072
Lc＝exp(|P|)
其中P描述了年龄特征与身份特征的相关性，μage与
Figure BDA0003020462810000073
分别表示
Figure BDA0003020462810000074
的均值与方差，
Figure BDA0003020462810000075
是一个学习参数。
训练参数为：在pytorch库下，优化器选择SGD随机梯度下降，初始学习率为10-4，batchsize为32，训练150轮。
测试阶段：
步骤5：将测试图片组成序列输入到网络进行特征提取与融合，当同一个人的面部图片不足三张时用翻转后的图像作为补充，将线性融合的特征PCA降维后进行比对识别。

Claims (7)

1.一种基于注意力机制与数据不平衡的跨年龄人脸识别方法，其特征在于，步骤如下：
步骤1、从跨年龄人脸识别数据集Morph中抽取同一个人不同年龄的面部照片组成人脸时间序列，通过特征提取网络提取面部特征序列，通过自注意力机制进行处理得到处理后的特征序列；
步骤2、将自注意力机制处理后的特征序列进行线性融合；
步骤3、将融合后的面部特征分解为身份特征与年龄特征；
步骤4、监督训练；
采用重加权的年龄损失和身份损失分别对年龄估计和身份估计任务进行监督，并采用相关性损失约束年龄特征与身份特征之间的相似性。
2.根据权利要求1所述的一种基于注意力机制与数据不平衡的跨年龄人脸识别方法，其特征在于，步骤1具体操作如下：
从跨年龄人脸识别数据集Morph中抽取同一个人不同年龄的面部照片组成人脸时间序列：
Figure FDA0003020462800000011
其中p代表身份，l代表序列长度；通过特征提取网络提取面部特征序列：
Figure FDA0003020462800000012
为了捕获序列间的全局信息与相互作用，引导模型关注身份信息，将面部特征序列堆叠为
Figure FDA0003020462800000013
并计算相互之间的注意力：
Figure FDA0003020462800000014
其中，σ是softmax函数，WQ，WK，WV是独立的参数矩阵，dk是WK的维度，然后输出重建为l个独立的特征表示为：
Figure FDA0003020462800000015
3.根据权利要求2所述的一种基于注意力机制与数据不平衡的跨年龄人脸识别方法，其特征在于，步骤2具体操作如下：
将自注意力机制处理后的特征序列进行线性融合；
Figure FDA0003020462800000021
其中wi是权重，满足
Figure FDA0003020462800000022
的约束。
4.根据权利要求3所述的一种基于注意力机制与数据不平衡的跨年龄人脸识别方法，其特征在于，步骤3具体操作如下：
首先通过三个全连接层将融合后的特征xp进行非线性变换得到年龄特征xage，然后将年龄特征xage投影到融合后的面部特征xp，得到投影后的年龄特征
Figure FDA0003020462800000023
Figure FDA0003020462800000024
从融合的面部特征中减去投影后的年龄特征即可得到身份特征：
Figure FDA0003020462800000025
将身份特征
Figure FDA0003020462800000026
通过一个全连接层进行身份识别，投影后的年龄特征
Figure FDA0003020462800000027
通过一个全连接层进行年龄估计。
5.根据权利要求4所述的一种基于注意力机制与数据不平衡的跨年龄人脸识别方法，其特征在于，步骤4具体操作如下：
采用重加权的年龄损失和身份损失分别对年龄估计和身份估计任务进行监督，并采用相关性损失约束年龄特征与身份特征之间的相似性；
重加权的年龄损失：
Figure FDA0003020462800000031
Figure FDA0003020462800000032
Lage是普通的交叉熵损失，w是每个样本的权重，对于年龄为yi的样本，年龄损失为交叉熵损失Lage与w的积；agem和agef分别为数据集中样本数量最大与最小的年龄；由于输入样本有不同的年龄，因此每次都将人脸时间序列中的第二个样本年龄作为整个序列的年龄标签；
身份损失同样采用交叉熵损失；
相关性损失：
Figure FDA0003020462800000033
Figure FDA0003020462800000034
Lc＝exp(|P|)
其中P描述了年龄特征与身份特征的相关性，μage与
Figure FDA0003020462800000035
分别表示
Figure FDA0003020462800000036
的均值与方差，
Figure FDA0003020462800000037
是一个学习参数。
6.根据权利要求1-5任意所述的一种基于注意力机制与数据不平衡的跨年龄人脸识别方法，其特征在于，所述的特征提取网络采用ResNet-50。
7.根据权利要求6所述的一种基于注意力机制与数据不平衡的跨年龄人脸识别方法，其特征在于，训练参数为：在pytorch库下，优化器选择SGD随机梯度下降，初始学习率为10-4，batchsize为32，训练150轮。
CN202110401376.3A 2021-04-14 2021-04-14 一种基于注意力机制与数据不平衡的跨年龄人脸识别方法 Withdrawn CN113158866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110401376.3A CN113158866A (zh) 2021-04-14 2021-04-14 一种基于注意力机制与数据不平衡的跨年龄人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110401376.3A CN113158866A (zh) 2021-04-14 2021-04-14 一种基于注意力机制与数据不平衡的跨年龄人脸识别方法

Publications (1)

Publication Number Publication Date
CN113158866A true CN113158866A (zh) 2021-07-23

Family

ID=76890395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110401376.3A Withdrawn CN113158866A (zh) 2021-04-14 2021-04-14 一种基于注意力机制与数据不平衡的跨年龄人脸识别方法

Country Status (1)

Country Link
CN (1) CN113158866A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100709A (zh) * 2022-06-23 2022-09-23 北京邮电大学 一种特征分离的图像人脸识别与年龄估计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100709A (zh) * 2022-06-23 2022-09-23 北京邮电大学 一种特征分离的图像人脸识别与年龄估计方法

Similar Documents

Publication Publication Date Title
Thai et al. Image classification using support vector machine and artificial neural network
CN111968193B (zh) 一种基于StackGAN网络的文本生成图像方法
CN109902564B (zh) 一种基于结构相似性稀疏自编码网络的异常事件检测方法
CN109359550B (zh) 基于深度学习技术的满文文档印章提取与去除方法
CN112580521B (zh) 一种基于maml元学习算法的多特征真假视频检测方法
CN111325237B (zh) 一种基于注意力交互机制的图像识别方法
CN112990120B (zh) 一种利用相机风格分离域信息的跨域行人重识别方法
CN116311483B (zh) 基于局部面部区域重构和记忆对比学习的微表情识别方法
CN111507320A (zh) 后厨违规行为检测方法、装置、设备和存储介质
Liu et al. TI2Net: temporal identity inconsistency network for deepfake detection
CN113205002B (zh) 非受限视频监控的低清人脸识别方法、装置、设备及介质
CN113255557A (zh) 一种基于深度学习的视频人群情绪分析方法及系统
CN116206327A (zh) 一种基于在线知识蒸馏的图像分类方法
CN113158866A (zh) 一种基于注意力机制与数据不平衡的跨年龄人脸识别方法
Saealal et al. Three-Dimensional Convolutional Approaches for the Verification of Deepfake Videos: The Effect of Image Depth Size on Authentication Performance
CN113807237A (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
CN111967331A (zh) 基于融合特征和字典学习的人脸表示攻击检测方法及系统
Singh et al. Performance analysis of ELA-CNN model for image forgery detection
CN110298331A (zh) 一种人证比对方法
Knoche et al. Susceptibility to image resolution in face recognition and trainings strategies
CN112800959B (zh) 一种用于人脸识别中数据拟合估计的困难样本发掘方法
CN115116108A (zh) 基于双流对比学习模型的人脸篡改视频检测方法及系统
Saraswathi et al. Detection of synthesized videos using cnn
CN114663965B (zh) 一种基于双阶段交替学习的人证比对方法和装置
CN112084960B (zh) 一种基于稀疏图的人脸表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210723

WW01 Invention patent application withdrawn after publication