CN114511901B - 一种年龄分类辅助的跨年龄人脸识别算法 - Google Patents
一种年龄分类辅助的跨年龄人脸识别算法 Download PDFInfo
- Publication number
- CN114511901B CN114511901B CN202210009683.1A CN202210009683A CN114511901B CN 114511901 B CN114511901 B CN 114511901B CN 202210009683 A CN202210009683 A CN 202210009683A CN 114511901 B CN114511901 B CN 114511901B
- Authority
- CN
- China
- Prior art keywords
- age
- face
- identity
- face recognition
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000004913 activation Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims 2
- 230000006870 function Effects 0.000 abstract description 57
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 9
- 238000000556 factor analysis Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 230000032683 aging Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明涉及一种年龄分类辅助的跨年龄人脸识别算法，包括步骤：提取并预处理带有身份标签和年龄标签的人脸图像；训练年龄分类辅助的跨年龄人脸识别网络，跨年龄人脸识别网络包括卷积网络、身份特征提取网络和年龄特征提取网络；将预处理后的含有身份标签和年龄标签的人脸图像输入卷积网络，卷积网络最后的全连接层输出共享特征。本发明的有益效果是：改进跨年龄人脸识别深度学习模型，提取年龄不变的人脸特征以提高跨年龄人脸识别的准确率；使用Softmax损失函数保证特征的类间差异，引入Centor Loss损失函数减小人脸特征的类内差异，使不同类别的特征向量边界更加明晰，两者相辅相成，共同参与网络参数的更新。
Description
技术领域
本发明属于人脸识别领域，尤其涉及一种年龄分类辅助的跨年龄人脸识别算法。
背景技术
随着社会的不断发展和科技水平的快速提高，一种安全可靠且便携的身份认证已经成为社会的普遍需求。与传统的身份认证方法(例如密码认证、智能卡认证、动态口令认证等)相比，生物识别技术提供了更高的安全性、更复杂的防伪性以及更好的便携性。所谓生物特征识别技术，就是通过利用人体固有的生理特性(例如指纹、人脸、虹膜等)和行为特征(如声音、笔迹、步态等)对人的身份进行鉴定的技术，用于身份认证的生物特征必须满足如下要求：(1)普遍性，每个自然人都具有该生物特征以便于特征的提取和后续使用；(2)唯一性，对于每个人来说，该生物特征都是独一无二的，足以用来区分人的身份信息；(3)可度量性，该生物特征提取之后，必须可通过度量的方式进行相似度的计算，便于身份的认证；(4)稳定性，在一段时间内该生物特征能够保持相对的稳定。常见的用于生物识别的技术有面部识别、指纹识别、声纹识别、虹膜识别、静脉识别等，相比于其他的识别方式，面部识别技术具有高可靠性、便利性、低成本以及易于使用等优点，使得它广泛应用于智能监控、考勤管理、门禁系统、人机交互等场景，在公安、金融、火车站、机场等对多个人员身份进行对比识别方面也发挥了重要作用。
人脸识别是计算机视觉应用最广泛的领域之一，也已经成为身份认证中最著名的生物识别技术。人脸识别技术是在学术界和产业界长期存在的研究主题，在1990年代初期，随着Eigenface方法的引入，对人脸识别的研究开始流行。在2010年代初，基于学习的描述符应用于人脸识别领域，学习局部滤波器以获得更好区分性的同时学习编码码本以提高紧凑性。得益于硬件计算能力的提升、大规模人脸识别数据集的提出以及卷积神经网络在图像处理领域的独特优势，基于深度学习的方法成为人脸识别的研究重点。汤晓鸥教授团队提出的基于高斯过程的人脸识别技术GaussianFace在LFW数据集上取得了98.52％的识别率，这也是计算机自动识别算法的识别率首次超越人类水平。同时，一系列基于深度学习的人脸识别算法不断刷新人脸识别的基准。
相比无差别化的人脸识别算法研究，跨年龄人脸识别领域的研究并不多见，究其原因，在于跨年龄人脸数据的采集难度和成本远远大于常规的人脸数据集，而回归到问题本身，跨年龄人脸的复杂性也超过光照、姿态、表情等带来的外部差异。面部衰老是一个复杂的过程，会影响面部的结构(少年时期和青年时期的面部轮廓差异)和纹理(例如肤色、皱纹)等。由于年龄差异带来的面部结构和纹理的改变显著增加了识别难度，即便对于人类自身而言，识别与年龄相关的面部差异也是很大的挑战。和年龄相关的人脸研究包含诸多研究方向，例如年龄分类、老化模拟、跨年龄验证和检索等。其中消除年龄相关性并提取年龄不变人脸特征的研究，对解决现有人脸识别系统的技术缺陷有重要意义。
1、生成方法
在人脸的特征空间建模，然后根据学习到的子空间参数，将人脸图像拟合生成目标年龄对应的人脸图像，最后利用生成的人脸图像进行匹配识别。该生成方法的思路简单直接。
研究人员提出了一种3D建模的老化模型，并且利用该模型减小年龄变化对人脸特征的影响以提高人脸识别系统的性能。如图1所示，老化建模技术的具体过程是通过3D模型将2维人脸图像转换为3D人脸样本，将3D样本数据集投影到低维数据空间以作为基空间，然后利用同一类别中的其他样本进行最近邻插值，完善基空间。确定一个带有年龄标签的训练样本，利用同年龄空间的数据样本对训练样本进行拟合，在这个过程中确定了一组参数，一组组进行样本的拟合直至整个样本空间，形状和纹理在拟合过程中同时进行。对于验证任务而言，给定测试图像，生成参考图像集对应的目标图像，利用生成的目标图像与真实值进行匹配即可。而对于识别任务，则与参考图像集进行匹配即可。
2、判别方法
研究人员使用尺度不变特征变换(SIFT)和多尺度局部二值模式(LBP)作为特征结合变异的随机子空间LDA方法(RE-LDA)进行跨年龄的人脸识别，该方法的本质是提取出年龄不变的人脸特征进行跨年龄的人脸识别。
Gong等人提出了一种称为隐藏因子分析(HFA)的方法，他们认为人脸特征可以看作年龄不变的身份特征和受老化过程影响的年龄特征的组合，HFA试图将年龄特征从人脸特征中分离从而获得年龄不变的身份特征。他们采用期望最大化(EM)算法来估计模型参数，并进一步提出最大熵特征，改进方法更好地分离出年龄不变的人脸身份特征。为了简化计算，Gong等人假设人脸的模型为线性模型，而身份信息和年龄信息处于两个不同的子空间上。如此，将分离身份信息和年龄信息简化成学习子空间的基。考虑到在训练过程中，子空间和潜在因素都是未知的，他们推导出了一种根据一组训练图像使用EM过程联合估计两者的算法。在训练过程中，迭代更新潜在因子和模型参数来最大化统一目标。在测试过程中，给定一对未知年龄的人脸图像，利用提取到的身份因素的后验平均值来进行匹配以判断是否是同一个人。
隐因子分析模型假设年龄相关的信息和身份特征信息在统计意义上是相互独立的，因此可以通过建立相关的模型，从相应的潜在因素中获取这两种信息。隐因子分析模型利用向量去表达这些因素，同时为了简便和更强的鲁棒性，人脸特征的建模采用线性模型，将人脸特征分解为3个部分的线性组合，分别是身份特征分量、年龄特征分量以及在允许范围内的噪声项。身份分量和年龄分量分别通过线性变换从基础身份因子和年龄因子产生。隐因子分析模型的具体流程如下：
假设人脸特征可以表示为身份特征和年龄特征的线性组合，在年龄变化的过程中，身份特征是相对稳定的，而年龄特征是随之改变的。该模型可以表示如下：
t＝β+Ux+Vy+∈
其中x表示年龄不变的人脸身份特征，y表示年龄特征，且两者服从N(0，I)的高斯分布。β表示所用样本的平均值，∈表示噪声因子，服从N(0，σ2I)的高斯分布。U和V分别表示身份子空间和年龄子空间。
模型的参数θ＝{β，U，V，σ2}，定义似然函数：
该隐因子分析模型存在两个无法直接求解的隐变量因子xi和yj,采用交替坐标下降的方式进行求解。当参数θ确定时，可以计算后验分布P(xi，yj|θi，T)；当明确了后验概率分布后，就可以通过最大化似然函数更新参数θ。初始化参数θ0，将以下分布最大化：
按照公式：t＝β+Ux+Vy+∈，β表示所有样本的平均，因而可以得到：
为了优化公式：
初始参数确定后需要计算隐变量模型的联合分布。首先计算隐变量因子的后验概率分布的一阶和二阶矩，然后分别计算出其后验概率分布，最后更新模型参数，通过最大期望(EM)算法进行交替迭代更新直至收敛，确定最优的模型参数组合。人脸特征中的身份特征表示如下：
f＝UUT∑-1(t-β)
其中：
∑＝σ2I+UUT+VVT
人脸特征t是利用HOG算法提取的，经过降维操作后对所有训练样本求平均就能够得到平均特征。为了确定U，V，x和y四个未知量，采用了子空间学习的方法，使用EM算法交替更新参数以及身份和年龄的隐藏因子x和y。学习到的x就是年龄不变的人脸特征，使用这个特征完成跨年龄的人脸识别任务。但在上述方法中，只完成了一个任务，就是跨年龄的人脸识别，而且使用的是传统的HOG特征而不是目前应用比较广泛的深度学习特征。
判别方法中还存在一种采用数据驱动的方式进行跨年龄的人脸识别，虽然该方法在该领域的应用并不广泛，但是对跨年龄的人脸识别具有一定的启发意义，这种方法就是跨年龄参考编码(CARC)的编码框架。陈等人提出基于如下假设：如果两个人年轻时看起来很像，那么两个人长大后看起来也很相似，这一假设在其相关文献中得到了实验证明。基于此假设，利用在因特网上免费获取的大规模图像集作为参考集，CARC使用参考空间中的平均表示对人脸图像的低级特征进行编码。使用CARC，同一个人的两幅图像具有相似的表示，因为他们看起来与某些特定的参考任务(具有不同的年龄)相似，如图2所示。这种方法也存在一些问题，这种数据驱动的方法需要质量比较高的参考集，但是随年龄变化的人脸图像数据库的搜集和整理恰恰是跨年龄人脸识别的一大难点。老年和幼儿时期的图片缺失比较严重，而大多数带有年龄标签的数据集的年龄分布几乎是不均匀的。虽然随着网络的发展，可以搜集到各个年龄段的图片，但是搜集到同一个人从儿童到老年的图片仍然是一个巨大的挑战，而这是数据驱动方法的一个通病。
3、深度学习方法
跨年龄人脸识别领域对深度学习技术的尝试始于2015年，发展至今，已遥遥领先其他方法，并且取得了最佳性能。
Wen等人受到隐因子分析算法的启发，提出了隐因子引导卷积神经网络(LatentFactor Guided Convolutional Neural Network，LF-CNNs)，提升了跨年龄人脸识别的准确率。
LF-CNNs使用深度卷积神经网络进行特征学习，它的优势在于引入了隐式因子分析，特别是对卷积特征和身份因子的联合学习：利用传统的人脸识别流程进行卷积特征的学习，将带有年龄标签的人脸数据输入模型时，只更新卷积特征学习的相关的参数；在进行隐因子学习时，冻结其余卷积特征学习部分的相关参数，只更新隐因子学习的相关参数，按上述方式耦合地学习下去。在FG-NET等著名的跨年龄人脸数据集上，LF-CNNs在2016年取得了当时的最佳表现，并且在LFW数据集上也取得了不错的效果。LF-CNNs的框架结构图如图3所示。
发明内容
本发明的目的是克服现有技术中的不足，提供一种年龄分类辅助的跨年龄人脸识别算法。
这种年龄分类辅助的跨年龄人脸识别算法，包括以下步骤：
步骤1、提取并预处理带有身份标签和年龄标签的人脸图像；
步骤2、训练年龄分类辅助的跨年龄人脸识别网络，跨年龄人脸识别网络包括卷积网络、身份特征提取网络和年龄特征提取网络；
步骤3、将预处理后的含有身份标签和年龄标签的人脸图像输入卷积网络，卷积网络最后的全连接层输出共享特征(256维含有年龄、身份等诸多信息的人脸特征t)；
步骤4、将得到的共享特征输入步骤2训练得到的年龄特征提取网络，年龄特征提取网络经过线性映射输出和共享特征维度相同的年龄特征(由于年龄特征是经过年龄分类任务获得的，里面包含一些对人脸身份有益的信息，因此需要经过线性映射后得到对身份识别不利的特征)；用年龄特征完成年龄分类；
步骤5、将得到的年龄特征和共享特征共同作为步骤2训练得到的身份特征提取网络的输入，通过身份特征提取网络，用共享特征减去年龄特征，得到年龄不变的人脸特征；
为了简化计算和保证鲁棒性，将人脸图像中的人脸特征视为年龄不变的身份特征和年龄特征的组合，人脸特征、年龄不变的身份特征和年龄特征之间的关系如下式所示：
x＝Wagexage+bagey＝t-x
yid＝Widy+bid
上式中，x表示年龄特征提取网络经过线性映射提取得到的年龄特征，Wage和bage均为年龄特征提取网络的参数(通过训练年龄特征提取网络得到，经过网络训练确定最优值)，xage为对人脸身份识别造成负面影响的年龄因素(从年龄特征中提取得到)；y表示将年龄因素从人脸特征中剥离后与年龄无关的身份信息；t是经过卷积网络提取的共享特征；
通过线性变换的参数矩阵Wid和偏移量bid进一步调整身份信息y，得到年龄不变的人脸身份特征yid；
步骤6、利用年龄不变的人脸身份特征yid进行跨年龄的人脸识别：利用余弦距离度量各个年龄不变的人脸特征yid的相似性，根据相似性排序完成人脸识别；
二维空间中向量A(x1，y1)和向量B(x2，y2)的余弦距离的计算公式为：
上式中，x1、y1分别为二维空间中向量A的横坐标和纵坐标；x2、y2分别为二维空间中向量B的横坐标和纵坐标；
n维空间中向量A(x11，x12，...，x1n)和向量B(x21，x22，...，x2n)的余弦距离的计算公式为：
上式中，n为特征的维度，k表示n维特征中的第k维，x1k、x2k分别为向量A、向量B的第k维的数值；与一般的人脸识别方法相比，本发明将一般人脸特征中的年龄因素剥离，设计了解决年龄跨度较大的人脸识别方案。
作为优选，步骤1中对含有身份标签和年龄标签的人脸图像进行预处理的操作，为对人脸进行对齐处理：将图片统一转换为灰度图；利用MTCNN确定人脸特征点的位置；使用仿射变换和人脸姿态校正将特征点对齐；裁剪图片并归一化到224*224大小；对人脸识别算法性能的提升有很大的帮助；经过人脸对齐操作后，人脸的特征点处于图像的相同位置，使网络的输入更加工整。
作为优选，步骤2具体包括如下步骤：
步骤2.1、基础训练阶段：将预处理后带有身份标签的人脸图像输入身份特征提取网络，使用Softmax交叉熵损失函数训练身份特征提取网络，得到初始化身份特征提取网络；其中Softmax交叉熵损失函数为：
上式中，t是数据集的真实标签；y为身份特征提取网络的预测结果经过指数归一化后的数值；j为类别下标，zj为预测向量；此时年龄特征提取网络的参数权重设为0；采用随机初始化的方式初始化年龄特征提取网络；采用pytorch深度学习框架，它有自己默认初始化参数方式，所以定义好网络结构(身份特征提取网络和年龄特征提取网络)之后，无需进行显式初始化操作；
步骤2.2、跨年龄人脸识别训练阶段：引入Centor Loss损失函数来减小年龄不变人脸特征的类内差异，Centor Loss损失函数公式如下：
上式中，Lc为Centor Loss损失函数；i为样本序号；m为同时运算的样本个数大小；表示类别y的类内中心，yi表示类别y的第i个样本；随着跨年龄人脸识别网络训练过程的不断深入，同一类的身份特征和年龄特征不断向类别中心靠拢，从而使得身份特征或年龄特征具有较小的类内差异；将Softmax交叉熵损失函数和Centor Loss损失函数相加。
作为优选，步骤2中卷积网络包括五个卷积层、四个池化层和一个全连接层，五个卷积层卷积核的大小分别为5×5、3×3、3×3、3×3和3×3；池化层的尺寸均为2×2；最后一个卷积层后连接全连接层。
作为优选，步骤2中卷积网络中采用Maxout激活函数，Maxout激活函数的公式如下：
zij＝xTWij+bij，W∈Rd×m×k
上式中，zij为第i个节点的第j个隐隐含层节点输出值；hi(x)为Maxout激活函数的第i个节点；Rd×m×k表示数据维度为三维，尺寸为d×m×k，其中d表示输入层节点的个数，m表示隐含层节点的个数，k表示每个隐含层节点对应了k个隐隐含层节点，这k个隐隐含层节点都是线性输出，k个隐隐含层节点的参数矩阵为W；xT为卷积层未经过激活操作的输出；Wij和bij为zij的参数矩阵和偏移项；Maxout激活函数的每个节点取这k个隐隐含层节点输出值中最大的那个值；在每次更新参数之后，Maxout激活函数选出最大值进行传递，直接传递最大值位置的数据，其他位置的数据不会被传递，因此，该函数会随着最大值位置的改变调整参数更新的位置，从而使其具备强大的拟合能力。
作为优选，步骤6中余弦距离的取值范围是-1到1之间，两个特征向量之间角度的余弦值确定两个向量是否大致指向相同的方向；当两个特征向量有相同的指向时，余弦距离的值为1；当两个特征向量的夹角为90°时，余弦距离值为0；当两个特征向量指向完全相反的方向时，余弦距离值为-1；余弦距离值与特征向量的长度无关，仅仅与特征向量的指向相关。
作为优选，步骤4中年龄特征和共享特征的维度均为256维。
作为优选，步骤4中还通过权重参数λ调整年龄分类的任务在整个年龄分类辅助的跨年龄人脸识别算法所占的比重。当权重参数λ的值为0.4时，年龄分类辅助的跨年龄人脸识别算法的识别准确率达到最优。
年龄分类的任务在整个年龄分类辅助的跨年龄人脸识别算法所占的比重设置的太小或者太大都会造成准确率的下降，分析原因如下：(1)权重参数太小时，人脸识别任务是网络重点关注的对象，在最小化损失函数的过程中，年龄分类任务的损失对最终的损失值影响有限。在进行参数更新时，与年龄特征提取的相关参数的更新不被重视，因而无法获得具有代表性的年龄特征，从年龄特征进行年龄信息提取的效果会大打折扣，造成年龄不变的人脸特征仍包含残留的年龄信息。(2)权重参数太大时，年龄分类任务成为网络的重点，年龄分类损失函数梯度作用太大，在一定程度上抑制了身份识别部分参数的更新和调整，获取到的共享人脸特征的身份信息不够完善，虽然后续进行了特征分解操作，但是分解效果仍不及权重值为0.4时的识别准确率。
本发明的有益效果是：本发明改进跨年龄人脸识别深度学习模型，提取年龄不变的人脸特征以提高跨年龄人脸识别的准确率；本发明使用Softmax损失函数保证特征的类间差异，引入Centor Loss损失函数减小人脸特征的类内差异，使不同类别的特征向量边界更加明晰，两者相辅相成，共同参与网络参数的更新。
附图说明
图1为3D建模的老化模型识别流程图；
图2为采用跨年龄参考编码(CARC)的编码框架进行跨年龄的人脸识别流程图；
图3为LF-CNNs的框架结构图；
图4为本发明年龄分类辅助的跨年龄人脸识别算法的工作流程图；
图5为本发明中卷积网络的结构图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
作为一种实施例，一种年龄分类辅助的跨年龄人脸识别算法，如图4所示，包括以下步骤：
步骤1、提取并预处理带有身份标签和年龄标签的人脸图像；
步骤2、训练年龄分类辅助的跨年龄人脸识别网络，跨年龄人脸识别网络包括卷积网络、身份特征提取网络和年龄特征提取网络；
步骤2.1、基础训练阶段：将预处理后带有身份标签的人脸图像输入身份特征提取网络，使用Softmax交叉熵损失函数训练身份特征提取网络，得到初始化身份特征提取网络；其中Softmax交叉熵损失函数为：
上式中，t是数据集的真实标签；y为身份特征提取网络的预测结果经过指数归一化后的数值；j为类别下标，zj为预测向量；此时年龄特征提取网络的参数权重设为0；采用随机初始化的方式初始化年龄特征提取网络；采用pytorch深度学习框架，它有自己默认初始化参数方式，所以定义好网络结构(身份特征提取网络和年龄特征提取网络)之后，无需进行显式初始化操作；
步骤2.2、跨年龄人脸识别训练阶段：引入Centor Loss损失函数来减小年龄不变人脸特征的类内差异，Centor Loss损失函数公式如下：
上式中，Lc为Centor Loss损失函数；i为样本序号；m为同时运算的样本个数大小；表示类别y的类内中心，yi表示类别y的第i个样本；随着跨年龄人脸识别网络训练过程的不断深入，同一类的身份特征和年龄特征不断向类别中心靠拢，从而使得身份特征或年龄特征具有较小的类内差异；将Softmax交叉熵损失函数和Centor Loss损失函数相加。
从图5可以看出，卷积网络有五个卷积层，卷积核的大小分别为5×5，3×3，3×3，3×3和3×3，池化层的尺寸均为2×2，最后一个卷积层后面连接一个全连接层输出256维的特征向量，该特征向量即为一般的人脸特征。随着网络层数的增加，卷积层的感受野随之变大，网络提取的特征所蕴含信息也趋向整体。在卷积网络中采用Maxout激活函数，卷积网络中采用Maxout激活函数，Maxout激活函数的公式如下：
zij＝xTWij+bij，W∈Rd×m×k
上式中，zij为第i个节点的第j个隐隐含层节点输出值；hi(x)为Maxout激活函数的第i个节点；Rd×m×k表示数据维度为三维，尺寸为d×m×k，其中d表示输入层节点的个数，m表示隐含层节点的个数，k表示每个隐含层节点对应了k个隐隐含层节点，这k个隐隐含层节点都是线性输出，k个隐隐含层节点的参数矩阵为W；xT为卷积层未经过激活操作的输出；Wij和bij为zij的参数矩阵和偏移项；Maxout激活函数的每个节点取这k个隐隐含层节点输出值中最大的那个值；在每次更新参数之后，Maxout激活函数选出最大值进行传递，直接传递最大值位置的数据，其他位置的数据不会被传递，因此，该函数会随着最大值位置的改变调整参数更新的位置，从而使其具备强大的拟合能力。
该激活函数是深度学习中一类比较特殊的激活函数，在模型较小的情况下保证较高的准确率。深度学习网络中的激活函数有多种实现方式，Maxout是其中之一。相比常见的ReLU、Sigmoid、Tanh等，Maxout激活函数增加了k个神经元，激活函数经过两两比较之后输出激活值的最大值。由于Maxout激活函数是线性不饱和的，理论上可以通过Maxout拟合任意的凸函数。参数W在训练过程中是变化的，在每次更新参数之后，Maxout激活函数会挑选出最大值进行传递。因此，该函数会随着最大值位置的改变调整参数更新的位置，从而使其具备强大的拟合能力。由此看出，Maxout激活函数不像Sigmoid、ReLU、Tanh等激活函数一样是一个固定的函数，它是一个可学习的激活函数。而且Maxout是一个分段线性函数，直接传递最大值位置的数据，其他位置的数据不会被传递。同时，Maxout激活函数克服了ReLU激活函数的一些缺点，比如ReLU会造成部分神经元的死亡。
步骤3、将预处理后的含有身份标签和年龄标签的人脸图像输入卷积网络，卷积网络输出共享特征(256维含有年龄、身份等诸多信息的人脸特征t)；
步骤4、将得到的共享特征输入步骤2训练得到的年龄特征提取网络，年龄特征提取网络经过线性映射输出和共享特征维度相同(256维)的年龄特征(由于年龄特征是经过年龄分类任务获得的，里面包含一些对人脸身份有益的信息)；用年龄特征完成年龄分类；通过权重参数λ来调整年龄分类的任务在整个年龄分类辅助的跨年龄人脸识别算法所占的比重。
步骤5、将得到的年龄特征和共享特征共同作为步骤2训练得到的身份特征提取网络的输入，通过身份特征提取网络，用共享特征减去年龄特征，得到年龄不变的人脸特征；
为了简化计算和保证鲁棒性，将人脸图像中的人脸特征视为年龄不变的身份特征和年龄特征的组合，人脸特征、年龄不变的身份特征和年龄特征之间的关系如下式所示：
x＝Wagexage+bage
y＝t-x
yid＝Widy+bid
上式中，x表示年龄特征提取网络经过线性映射提取得到的年龄特征，Wage和bage均为年龄特征提取网络的参数(通过训练年龄特征提取网络得到，经过网络训练确定最优值)，xage为对人脸身份识别造成负面影响的年龄因素(从年龄特征中提取得到)；y表示将年龄因素从人脸特征中剥离后与年龄无关的身份信息；t是经过卷积网络提取的共享特征；
通过线性变换的参数矩阵Wid和偏移量bid进一步调整身份信息y，得到年龄不变的人脸身份特征yid；
步骤6、利用年龄不变的人脸身份特征yid进行跨年龄的人脸识别：利用余弦距离度量各个年龄不变的人脸特征yid的相似性，根据相似性排序完成人脸识别；
二维空间中向量A(x1，y1)和向量B(x2，y2)的余弦距离的计算公式为：
上式中，x1、y1分别为二维空间中向量A的横坐标和纵坐标；x2、y2分别为二维空间中向量B的横坐标和纵坐标；
n维空间中向量A(x11，x12，...，x1n)和向量B(x21，x22，...，x2n)的余弦距离的计算公式为：
上式中，n为特征的维度，k表示n维特征中的第k维，x1k、x2k分别为向量A、向量B的第k维的数值；与一般的人脸识别方法相比，本发明将一般人脸特征中的年龄因素剥离，设计了解决年龄跨度较大的人脸识别方案。
步骤6中余弦距离的取值范围是-1到1之间，两个特征向量之间角度的余弦值确定两个向量是否大致指向相同的方向；当两个特征向量有相同的指向时，余弦距离的值为1；当两个特征向量的夹角为90°时，余弦距离值为0；当两个特征向量指向完全相反的方向时，余弦距离值为-1；余弦距离值与特征向量的长度无关，仅仅与特征向量的指向相关。
由图4可知，年龄分类辅助的跨年龄人脸识别网络使用的训练数据集需要身份和年龄两个标签，该网络完成了年龄分类和人脸识别两个任务，两项任务共享网络的特征提取模块，年龄分类网络使用年龄分类损失函数，人脸识别使用Softmax作为损失函数，共同更新神经网络中的参数；
本实施例所采用的年龄分类辅助的跨年龄人脸识别算法提取出年龄无关的人脸特征，对跨年龄人脸识别准确率的提升效果明显；通过权重参数λ调整年龄分类任务在整个年龄分类辅助的跨年龄人脸识别算法所占的比重，当值为0.4时，年龄分类辅助的跨年龄人脸识别算法的识别准确率达到最优。对比仅采用Softmax损失函数的算法，识别准确率提高了0.25％，达到了98.30％。此外，如下表1所示，引入Centor Loss后的识别准确率明显提高，相较于仅采用Softmax损失函数，年龄分类辅助的跨年龄人脸识别算法的识别准确率提高了0.25％，达到了98.30％，说明Centor Loss使得类内特征更加聚拢，年龄不变的人脸特征更具区分性。同时将年龄问题看作多分类问题，可以在年龄分类辅助的跨年龄人脸识别中得到最好的结果，原因如下：年龄分类任务和人脸识别任务都看作分类任务，那么对应的特征空间分布比较类似，进行线性操作时能够得到理想的年龄不变人脸特征。
表1 MORPH数据集不同损失函数的结果表
/>
Claims (8)
1.一种年龄分类辅助的跨年龄人脸识别算法，其特征在于，包括以下步骤：
步骤1、提取并预处理带有身份标签和年龄标签的人脸图像；
步骤2、训练年龄分类辅助的跨年龄人脸识别网络，跨年龄人脸识别网络包括卷积网络、身份特征提取网络和年龄特征提取网络；
步骤3、将预处理后的含有身份标签和年龄标签的人脸图像输入卷积网络，卷积网络输出共享特征；
步骤4、将得到的共享特征输入步骤2训练得到的年龄特征提取网络，年龄特征提取网络经过线性映射输出和共享特征维度相同的年龄特征；用年龄特征完成年龄分类；
步骤5、将得到的年龄特征和共享特征共同作为步骤2训练得到的身份特征提取网络的输入，通过身份特征提取网络，用共享特征减去年龄特征，得到年龄不变的人脸特征；
将人脸图像中的人脸特征视为年龄不变的身份特征和年龄特征的组合，人脸特征、年龄不变的身份特征和年龄特征之间的关系如下式所示：
x＝Wagexage+bage
y＝t-x
yid＝Widy+bid
上式中，x表示年龄特征提取网络经过线性映射提取得到的年龄特征，Wage和bage均为年龄特征提取网络的参数，xage为对人脸身份识别造成负面影响的年龄因素；y表示将年龄因素从人脸特征中剥离后与年龄无关的身份信息；t是经过卷积网络提取的共享特征；
通过线性变换的参数矩阵Wid和偏移量bid进一步调整身份信息y，得到年龄不变的人脸身份特征yid；
步骤6、利用年龄不变的人脸身份特征yid进行跨年龄的人脸识别：利用余弦距离度量各个年龄不变的人脸特征yid的相似性，根据相似性排序完成人脸识别；
二维空间中向量A(x1，y1)和向量B(x2，y2)的余弦距离的计算公式为：
上式中，x1、y1分别为二维空间中向量A的横坐标和纵坐标；x2、y2分别为二维空间中向量B的横坐标和纵坐标；
n维空间中向量A(x11，x12，…，x1n)和向量B(x21，x22，…，x2n)的余弦距离的计算公式为：
上式中，n为特征的维度，k表示n维特征中的第k维，x1k、x2k分别为向量A、向量B的第k维的数值。
2.根据权利要求1所述年龄分类辅助的跨年龄人脸识别算法，其特征在于，步骤1中对含有身份标签和年龄标签的人脸图像进行预处理的操作，为对人脸进行对齐处理：将图片统一转换为灰度图；利用MTCNN确定人脸特征点的位置；使用仿射变换和人脸姿态校正将特征点对齐；裁剪图片并归一化。
3.根据权利要求1所述年龄分类辅助的跨年龄人脸识别算法，其特征在于，步骤2具体包括如下步骤：
步骤2.1、基础训练阶段：将预处理后带有身份标签的人脸图像输入身份特征提取网络，使用Softmax交叉熵损失函数训练身份特征提取网络，得到初始化身份特征提取网络；其中Softmax交叉熵损失函数为：
上式中，t是数据集的真实标签；y为身份特征提取网络的预测结果经过指数归一化后的数值；j为类别下标，zj为预测向量；此时年龄特征提取网络的参数权重设为0；采用随机初始化的方式初始化年龄特征提取网络；
步骤2.2、跨年龄人脸识别训练阶段：引入Centor Loss损失函数，Centor Loss损失函数公式如下：
上式中，Lc为Centor Loss损失函数；i为样本序号；m为同时运算的样本个数大小；表示类别y的类内中心，yi表示类别y的第i个样本将Softmax交叉熵损失函数和Centor Loss损失函数相加。
4.根据权利要求1所述年龄分类辅助的跨年龄人脸识别算法，其特征在于：步骤2中卷积网络包括五个卷积层、四个池化层和一个全连接层，五个卷积层卷积核的大小分别为5×5、3×3、3×3、3×3和3×3；池化层的尺寸均为2×2；最后一个卷积层后连接全连接层。
5.根据权利要求1所述年龄分类辅助的跨年龄人脸识别算法，其特征在于，步骤2中卷积网络中采用Maxout激活函数，Maxout激活函数的公式如下：
zij＝xTWij+bij，W∈Rd×m×k
上式中，Zij为第i个节点的第j个隐隐含层节点输出值；hi(x)为Maxout激活函数的第i个节点；Rd×m×k表示数据维度为三维，尺寸为d×m×k，其中d表示输入层节点的个数，m表示隐含层节点的个数，k表示每个隐含层节点对应了k个隐隐含层节点，这k个隐隐含层节点都是线性输出，k个隐隐含层节点的参数矩阵为W；xT为卷积层未经过激活操作的输出；Wij和bij为zij的参数矩阵和偏移项；Maxout激活函数的每个节点取这k个隐隐含层节点输出值中最大的那个值；在每次更新参数之后，Maxout激活函数选出最大值进行传递，直接传递最大值位置的数据。
6.根据权利要求1所述年龄分类辅助的跨年龄人脸识别算法，其特征在于：步骤6中余弦距离的取值范围是-1到1之间，两个特征向量之间角度的余弦值确定两个向量是否指向相同的方向；当两个特征向量有相同的指向时，余弦距离的值为1；当两个特征向量的夹角为90°时，余弦距离值为0；当两个特征向量指向完全相反的方向时，余弦距离值为-1；。
7.根据权利要求1所述年龄分类辅助的跨年龄人脸识别算法，其特征在于：步骤4中年龄特征和共享特征的维度均为256维。
8.根据权利要求1所述年龄分类辅助的跨年龄人脸识别算法，其特征在于：步骤4中还通过权重参数λ来调整年龄分类的任务在整个年龄分类辅助的跨年龄人脸识别算法所占的比重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210009683.1A CN114511901B (zh) | 2022-01-05 | 2022-01-05 | 一种年龄分类辅助的跨年龄人脸识别算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210009683.1A CN114511901B (zh) | 2022-01-05 | 2022-01-05 | 一种年龄分类辅助的跨年龄人脸识别算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114511901A CN114511901A (zh) | 2022-05-17 |
| CN114511901B true CN114511901B (zh) | 2024-04-05 |
Family
ID=81549471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210009683.1A Active CN114511901B (zh) | 2022-01-05 | 2022-01-05 | 一种年龄分类辅助的跨年龄人脸识别算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114511901B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100709B (zh) * | 2022-06-23 | 2023-05-23 | 北京邮电大学 | 一种特征分离的图像人脸识别与年龄估计方法 |
| CN114863542B (zh) * | 2022-07-06 | 2022-09-30 | 武汉微派网络科技有限公司 | 基于多模态的未成年人识别方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019109526A1 (zh) * | 2017-12-06 | 2019-06-13 | 平安科技（深圳）有限公司 | 人脸图像的年龄识别方法、装置及存储介质 |
| CN111783532A (zh) * | 2020-05-27 | 2020-10-16 | 东南大学 | 一种基于在线学习的跨年龄人脸识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993125B (zh) * | 2019-04-03 | 2022-12-23 | 腾讯科技（深圳）有限公司 | 模型训练方法、人脸识别方法、装置、设备及存储介质 |
-
2022
- 2022-01-05 CN CN202210009683.1A patent/CN114511901B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019109526A1 (zh) * | 2017-12-06 | 2019-06-13 | 平安科技（深圳）有限公司 | 人脸图像的年龄识别方法、装置及存储介质 |
| CN111783532A (zh) * | 2020-05-27 | 2020-10-16 | 东南大学 | 一种基于在线学习的跨年龄人脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的人脸年龄估计方法;杨国亮;张雨;;北京联合大学学报;20180120(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114511901A (zh) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Recurrent face aging | |
| Sawant et al. | Age invariant face recognition: a survey on facial aging databases, techniques and effect of aging | |
| Zhou et al. | Age-invariant face recognition based on identity inference from appearance age | |
| Yang et al. | Sparse representation classifier steered discriminative projection with applications to face recognition | |
| Grudin | On internal representations in face recognition systems | |
| Yu et al. | Deep learning with kernel regularization for visual recognition | |
| CN114511901B (zh) | 一种年龄分类辅助的跨年龄人脸识别算法 | |
| Duffner | Face image analysis with convolutional neural networks | |
| CN105718898B (zh) | 基于稀疏无向概率图模型的人脸年龄估计方法、系统 | |
| El-Ghandour et al. | Palmvein recognition using block-based WLD histogram of Gabor feature maps and deep neural network with Bayesian optimization | |
| Li et al. | A multi-scale parallel convolutional neural network based intelligent human identification using face information | |
| Perronnin et al. | A probabilistic model of face mapping with local transformations and its application to person recognition | |
| Sun et al. | Using backpropagation neural network for face recognition with 2D+ 3D hybrid information | |
| Li et al. | Feature extraction based on deep‐convolutional neural network for face recognition | |
| Gül | Holistic face recognition by dimension reduction | |
| Zhu | [Retracted] A Face Recognition System Using ACO‐BPNN Model for Optimizing the Teaching Management System | |
| Wang et al. | A modified sparse representation method for facial expression recognition | |
| Deng et al. | View-invariant gait recognition based on deterministic learning and knowledge fusion | |
| CN114943862A (zh) | 一种基于结构性解析字典学习的两阶段图像分类方法 | |
| Tan et al. | Eigenspectrum regularization on Grassmann discriminant analysis with image set classification | |
| Yesu et al. | Innovative feature extraction method for artificial neural network based face recognition | |
| Moussa et al. | Comparing feature and matching score fusion levels of multimodal biometrics recognition system using particle swarm optimization | |
| Li et al. | Deep Learning Based Image Recognition for 5G Smart IoT Applications | |
| Ermao et al. | Review of Cross-Age Face Recognition in Discriminative Models | |
| Mittal et al. | Age invariant face recognition using discriminative tensor subspace learning with fuzzy based classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |