CN117095434A - 一种不同年纪人脸识别方法、芯片及终端 - Google Patents

一种不同年纪人脸识别方法、芯片及终端 Download PDF

Info

Publication number
CN117095434A
CN117095434A CN202310911281.5A CN202310911281A CN117095434A CN 117095434 A CN117095434 A CN 117095434A CN 202310911281 A CN202310911281 A CN 202310911281A CN 117095434 A CN117095434 A CN 117095434A
Authority
CN
China
Prior art keywords
age
face
training
face image
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310911281.5A
Other languages
English (en)
Inventor
王汉波
郭军
柯武生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Ruixin Semiconductor Technology Co ltd
Original Assignee
Shandong Ruixin Semiconductor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Ruixin Semiconductor Technology Co ltd filed Critical Shandong Ruixin Semiconductor Technology Co ltd
Priority to CN202310911281.5A priority Critical patent/CN117095434A/zh
Publication of CN117095434A publication Critical patent/CN117095434A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种不同年纪人脸识别方法、芯片及终端，基于通用人脸数据集和预先构建的深度概率年纪预判模型，建立对应人脸图像的年龄标签，以充分利用通用人脸数据集规模庞大的优势，得到训练用人脸数据集，进而对不同年纪人脸识别网络模型进行模型训练，有利于提高模型训练效果和不同年纪人脸识别的准确性，充分利用了通用人脸数据集和专用不同年纪人脸数据集各自的优势，同时深度概率年纪预判模型用于将年龄估计问题转化为二分类问题，相对于直接估计年龄的方式，更加容易且更符合年龄动态变化的特性。

Description

一种不同年纪人脸识别方法、芯片及终端
技术领域
本发明涉及人工智能技术领域，特别是涉及一种不同年纪人脸识别方法、芯片及终端。
背景技术
目前，解决不同年纪的人脸识别问题，不仅依赖于优化人脸识别的方法，也依赖于是否有合适的数据集来进行模型的训练，然而，同一个人跨较大间隔年龄的多张图片是比较难获得的，进而现有的大多数用于不同年纪人脸识别的数据集规模是比较有限的，距离通用的人脸识别数据集规模还有一定的差距，这也在一定程度上影响了不同年纪人脸识别的准确性。
发明内容
基于此，本发明提供一种不同年纪人脸识别方法、芯片及终端，可解决不同年纪人脸识别的准确性的问题。
第一方面，提供一种不同年纪人脸识别方法，包括：
基于通用人脸数据集获取带有第一身份标签的若干第一人脸图像；所述通用人脸数据集中的各所述第一人脸图像不包含对应的年龄标签；
将所述第一人脸图像输入预先构建的深度概率年纪预判模型，利用所述深度概率年纪预判模型输出得到所述第一人脸图像的年龄估计值；将所述年龄估计值作为所述第一人脸图像的第一年龄标签；所述深度概率年纪预判模型预先基于专用不同年纪人脸数据集进行训练得到；所述专用不同年纪人脸数据集包含若干第二人脸图像以及对应的第二身份标签和第二年龄标签；所述深度概率年纪预判模型用于将年龄估计问题转化为二分类问题；
基于各所述第一人脸图像及对应的所述第一年龄估计值和所述第一身份标签，得到训练用人脸数据集；
利用所述训练用人脸数据集对不同年纪人脸识别网络模型进行模型训练；
利用训练好的不同年纪人脸识别网络模型，对待测人脸图像进行识别，以得到所述待测人脸图像的年龄识别结果。
可选的，所述深度概率年纪预判模型包括卷积层、第一全连接层、K-1个二分类器、K-1个softmax函数以及第二全连接层；所述卷积层用于对输入的人脸图像进行卷积处理后发送给所述第一全连接层；所述第一全连接层分别与所述K-1个二分类器连接；所述K-1二分类器与所述K-1个softmax函数一一对应连接；所述K-1个softmax函数将输出结果发送给所述第二全连接层处理；所述K为设定多个连续年龄的个数；每个所述二分类器对应一个设定年龄；所述二分类器利用后续连接的softmax函数，输出所述输入的人脸图像大于所述设定年龄的概率。
可选的，所述K-1个二分类器共享所述第一全连接层与所述卷积层，使用二分类的损失函数同时训练所述K-1个二分类器；所述第二全连接层使用欧氏距离损失函数进行训练，以得到所述输入的人脸图像大于所述设定年龄的概率的权重组合，从而利用所述权重组合得到所述输入的人脸图像的年龄估计值。
可选的，所述利用所述权重组合得到所述输入的人脸图像的年龄估计值包括：
按照如下公式计算所述输入的人脸图像的年龄估计值：
其中表示所述输入的人脸图像的年龄大于设定年龄tk的概率，所有ak表示通过训练获得的权重组合，||是取整数操作。
可选的，在所述利用所述训练用人脸数据集对不同年纪人脸识别网络模型进行模型训练之前，还包括：
从所述训练用人脸数据集中提取具有相同身份不同年龄的至少3张人脸图像，作为人脸图像序列；
利用骨干网提取所述人脸图像序列的初始人脸特征；以基于所述初始人脸特征对所述不同年纪人脸识别网络模型进行模型训练。
可选的，所述骨干网采用PreResNet网络，主要包括四个stage，所述人脸图像序列首先经过一个16个卷积核大小为3×3的Conv层；随后依次经过四个stage，每个stage均包含3个Block；每个Block按照“BN+ReLU+Conv”的顺序进行堆叠三次，第一个Conv层和第三个Conv层的卷积核大小都是1×1，第二个Conv层的卷积核大小为3×3；在第四个stage之后，连接BN、ReLU和平均池化层AvgPool，最终池化后得到的所述初始人脸特征包含512个通道。
可选的，所述不同年纪人脸识别网络模型包括特征融合模块与特征解耦模块；
所述特征融合模块采用加权线性特征融合和/或基于循环神经网络的特征融合；
所述特征解耦模块采用线性变换和投影映射，得到身份特征和年龄特征。
可选的，所述不同年纪人脸识别网络模型采用身份识别损失函数对身份特征进行监督训练，采用年龄估计损失函数对年龄特征进行监督训练，同时采用相关性损失函数来约束年龄特征和身份特征之间的相关性。
第二方面，提供一种芯片，包括第一处理器，用于从第一存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上所述的不同年纪人脸识别方法的各个步骤。
第三方面，提供一种终端，包括第二存储器、第二处理器以及存储在所述第二存储器中并可在所述第二处理器上运行的计算机程序，第二处理器执行所述计算机程序时实现如上介绍的不同年纪人脸识别方法的各个步骤。
上述不同年纪人脸识别方法、芯片及终端，基于通用人脸数据集和预先构建的深度概率年纪预判模型，建立对应人脸图像的年龄标签，以充分利用通用人脸数据集规模庞大的优势，得到训练用人脸数据集，进而对不同年纪人脸识别网络模型进行模型训练，有利于提高模型训练效果和不同年纪人脸识别的准确性；进一步的，深度概率年纪预判模型预先基于专用不同年纪人脸数据集进行训练得到，尽管专用不同年纪人脸数据集规模不大，但用于训练深度概率年纪预判模型规模已经能够满足较好的训练效果，从而充分利用了通用人脸数据集和专用不同年纪人脸数据集各自的优势；同时深度概率年纪预判模型用于将年龄估计问题转化为二分类问题，相对于直接估计年龄的方式，更加容易且更符合年龄动态变化的特性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例不同年纪人脸识别方法的基本流程示意图；
图2为本发明实施例深度概率年纪预判模型的结构示意图；
图3为本发明实施例骨干网模型的结构示意图；
图4为本发明实施例不同年纪人脸识别网络模型的结构示意图；
图5为本发明实施例特征解耦模型的基本结构示意图；
图6为本发明实施例基于循环神经网络的特征融合模型的基本结构示意图；
图7为本发明实施例终端的基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
具体地请参阅图1，图1为本实施例不同年纪人脸识别方法的基本流程示意图。
如图1所示，一种不同年纪人脸识别方法，包括：
S11、基于通用人脸数据集获取带有第一身份标签的若干第一人脸图像。
通用人脸数据集包括但不限于CASIA-webFace、CelebA(CelebFaces Attribute)、LFW(Labled Faces in the Wild)等人脸数据集，具体可灵活选用现有人脸数据集中的一个或多个。
CASIA-WebFace是一个规模较大的公开用于解决通用人脸识别任务的数据集，其中的人脸图片是从IMDB网站进行爬取和标记再进一步人工审核纠错获得的，最终包含10575个人的494414张人脸图片。
CelebA也是一个大规模且广泛使用的名人人脸属性数据集，其中包含了10177个人的202599张人脸图片，每张图片都进行了标记，包括人脸的标注框、5个人脸特征点的坐标以及40个人脸属性标记。CelebA是由香港中文大学开放，常用来人脸属性标识训练和人脸检测训练等。
LFw数据集是一个广泛用于人脸验证任务的人脸数据集，其中提供的人脸图片都是从互联网中收集的，图片内容大多来源于生活中的自然场景，因此识别难度会增大，并且由于姿态、光照、表情、年龄、遮挡等因素的影响也会导致即使同一人的照片差别也很大。该数据集包括5749个个体的13233张人脸图片，模型通常在6000个人脸图片对上进行测试来验证模型的泛化性能。
其中，通用人脸数据集中经常包含带有身份标识的人脸图像，但是通常不包含对应的年龄标签。应当理解的是，通用人脸数据集的可选范围较广，且数据规模也较大。但是由于不带有年龄标签，因此目前无法用于不同年纪人脸识别模型中进行学习训练。
本申请实施例基于预先构建的深度概率年纪预判模型，以很好地解决该问题，从而充分利用了大规模的通用人脸数据集实现跨人脸识别任务中。
S12、将第一人脸图像输入预先构建的深度概率年纪预判模型，利用深度概率年纪预判模型输出得到第一人脸图像的年龄估计值。
深度概率年纪预判模型预先基于专用不同年纪人脸数据集进行训练得到。其中专用不同年纪人脸数据集包括但不限于CACD(Cross-Age Celebrity Dataset)、CACD-VS等。
CACD数据集是不同年纪人脸识别任务中的一个较大规模的人脸老化数据集，其中采集到的图片随着年龄、光照、妆容、姿势和表情的变化而变化，能够更好地模拟真实场景。CACD数据集包含了来自2000名名人的163446张人脸图片，年龄从16岁到62岁不等。
CACD-VS是CACD数据集的一个子集，该数据集包含4000对按十次折叠划分的图像对。与具有一些错误注释的CACD数据集不同，CACD-VS通过检查关联的图像和web内容来仔细地注释。对于人脸验证任务，每个折叠划分包含200个正样本对和200个负样本对，该数据集进行人脸验证任务难度较大。
专用不同年纪人脸数据集包含若干人脸图像以及对应的身份标签和年龄标签。因此可利用专用不同年纪人脸数据集进行年龄估计训练。
在本申请的可选实施例中，可采用多分类模型进行年龄估计训练，多分类方法将年龄标签当作多个互不相干的类别，用多分类问题的损失函数解决，从而训练得到多分类年龄估计模型。这种方法比较直接，且使用的损失函数比较容易训练，但这种方法本身存在一定的问题，那就是人脸随着年龄变化的过程是损失敏感的，如果使用多分类的方法去解决年龄估计问题，就忽略了年龄数值之间的相互关联。举例来说，将一个17岁的人的年龄估计为18岁是可以接受的，而将这个人的年龄估计为48岁就不能接受了，然而对多分类的损失函数来说，仅仅对标签对应的数值进行惩罚，错分成18岁和48岁没有什么差别，因此多分类无法体现年龄问题是损失敏感的这一性质。
对此，在本申请的可选实施例中，可采用将年龄估计问题看成回归问题，让最后一个全连接层做回归器输出一个一维的数据作为估计出的年龄，使用回归的损失函数解决问题，从而得到对应的年龄估计模型。直接回归的损失衡量了年龄标签和估计年龄之间的距离，是损失敏感的，但是直接回归的损失函数本身是静态的，也就是说对于这个损失函数来说，人脸的变化过程是静态的，在不同的年龄，只要年龄差相同人脸的变化就是类似的，这并不符合人脸衰老的规律。在人脸随着年龄变化的过程中，人脸变化的位置是不相同的，从幼童到成年，变化的主要是面部的轮廓，脸部从圆润变得立体，线条更加明显。而从成年到老年，变化的主要是人脸的纹理，皮肤会产生皱纹，变得松弛。同时，人脸随着年龄变化的速度也是不相同的，从幼年到成年，脸部的变化会非常大，而20到40岁或者70到80岁这一年龄段，面部可能不会产生明显的变化。人脸随着年龄变化的位置和速度都是不同的，因此把年龄变化过程看作是静态的过程存在一定的问题，也因此使用直接回归的损失函数存在一定缺点。
考虑到以上两点，本申请实施例提供了第三种解决思路，将人脸的年龄估计问题当作一个排序问题，使用解决排序问题的方法解决人脸年龄估计问题。这种思路的来源相对来说比较直观，给出一张人脸的图片，对于一个人来说，给出大致的年龄段比较容易，但是直接给出准确的年龄数字是比较困难的。而如果换一种方法，给出同一个人的两张不同年龄的图片，让一个人去判断哪一张图片的年龄更大，这个问题的难度就大大下降了。因此相比准确的年龄数值，利用“相对顺序”解决年龄问题或许是更加合适的方法。将年龄估计看成排序问题，把年龄的数字看做是一串序列，这样体现了年龄之间的大小关系，具体实现的时候，将年龄的估计问题转化为有序回归问题，进一步将有序回归问题转化为二分类的问题。
具体的，本申请实施例采用深度概率年纪预判模型，用于将年龄估计问题转化为二分类问题。
参考图2，深度概率年纪预判模型包括卷积层、第一全连接层、K-1个二分类器、K-1个softmax函数以及第二全连接层；卷积层用于对输入的人脸图像进行卷积处理后发送给第一全连接层；第一全连接层分别与K-1个二分类器连接；K-1二分类器与K-1个softmax函数一一对应连接；K-1个softmax函数将输出结果发送给第二全连接层处理；K为设定多个连续年龄的个数；每个二分类器对应一个设定年龄；二分类器利用后续连接的softmax函数，输出人脸图像大于设定年龄的概率。
其中，K-1个二分类器共享第一全连接层与卷积层，使用二分类的损失函数同时训练K-1个二分类器；第二全连接层使用欧氏距离损失函数进行训练，以得到输入的人脸图像大于设定年龄的概率的权重组合，从而利用权重组合得到输入的人脸图像的年龄估计值。
需要说明的是，训练第二全连接层的原因是对于大多数数据库来说，年龄的分布并不均匀，因此有部分二分类器的训练效果相对较差，本实施例通过再增加一个全连接层，给这些二分类器的分类结果一个权重，从而获得更好的结果。
具体的，利用权重组合得到输入的人脸图像的年龄估计值，具体可按照如下公式计算输入的人脸图像的年龄估计值：
其中表示所述输入的人脸图像的年龄大于设定年龄rk的概率，所有ak表示通过训练获得的权重组合，||是取整数操作。
深度概率年纪预判模型对输入带有年龄标签的人脸图像，通过二分类器和softmax函数获得大于设定年龄的概率，通过权重组合计算概率获得估计年龄，之后再用欧式距离损失更新模型参数。这样尽管使用的是直接回归的欧氏距离函数，但是在前面体现了年龄的相对顺序，并且通过softmax获得了概率，通过第二全连接层对概率进行了整合，充分体现了人脸随着年龄非静态变化的特性。
本申请实施例中，每个二分类问题用来获得输入的人脸图像大于某个设定年龄的概率值，并将概率值进行权重组合计算得到最终的估计年龄。本方案通过使用相对顺序的概率值解决年龄估计问题，既体现了年龄标签之间的顺序性，又把衰老看成了非静态过程，符合人脸衰老的变化过程。因此，利用深度概率年纪预判模型输出第一人脸图像的年龄估计值结果更加准确。
S13、将年龄估计值作为第一人脸图像的第一年龄标签。
从而为输入的人脸图像打上年龄标签。通过对整个通用人脸数据集中的每个人脸图像采用上述方式，打上年龄标签，以获得训练用人脸数据集，实现对不同年纪人脸识别网络模型的训练。当然，可以基于通用人脸数据集所有人脸图像或者部分人脸图像，甚至多个通用人脸数据集中的全部或部分人脸图像，以建立训练用人脸数据集，本实施例对此不做限制。
S14、基于各第一人脸图像及对应的第一年龄估计值和第一身份标签，得到训练用人脸数据集。
用于对不同年纪人脸识别网络模型进行模型训练的训练用人脸数据集，只要包含足够数量(可基于实际训练需求设置)的人脸图像(包含身份标签和年龄标签)即可。在本申请的可选实施例中，也可包含其他数据信息，对此不做限制。
S15、利用训练用人脸数据集对不同年纪人脸识别网络模型进行模型训练。
具体的，从训练用人脸数据集中提取具有相同身份不同年龄的至少3张人脸图像，作为一个人脸图像序列；利用骨干网提取人脸图像序列的初始人脸特征；以基于初始人脸特征对不同年纪人脸识别网络模型进行模型训练。
具体的，人脸序列表示为：
其中F表示人脸图像，P表示人脸身份序号，l(l通常选取大于等于3)表示人脸序列的长度，N表示训练集中身份为P的人脸图像的数量。如上式所示，人脸序列的采样策略为连续不间断采样。
首先利用骨干网络从人脸图像中提取初始人脸特征/>如下式表示：
其中C表示通道数，H和W分别表示图像的高和宽。那么通过上式对人脸序列进行初步的提取特征，得到人脸特征序列(即初始人脸特征)/>
参考图3，骨干网采用PreResNet网络，主要包括四个stage，人脸图像序列首先经过一个16个卷积核大小为3×3的Conv层；随后依次经过四个stage，每个stage均包含3个Block；每个Block按照“BN+ReLU+Conv”的顺序进行堆叠三次，第一个Conv层和第三个Conv层的卷积核大小都是1×1，第二个Conv层的卷积核大小为3×3；在第四个stage之后，连接BN、ReLU和平均池化层AvgPool，最终池化后得到的初始人脸特征包含512个通道。
利用骨干网提取人脸图像序列的初始人脸特征；然后根据初始人脸特征对不同年纪人脸识别网络模型进行模型训练。参考图4，其中，不同年纪人脸识别网络模型包括特征融合模块feature fusion与特征解耦模块feature decomposition；特征融合模块采用加权线性特征融合linear feature fusion和/或基于循环神经网络的特征融合RNN-basedfeature fusion；参考图5，特征解耦模块采用线性变换linear transformation和投影映射projection mapping，得到身份特征identity feature和年龄特征age feature。
不同年纪人脸识别网络模型采用身份识别损失函数identity loss对身份特征进行监督训练，采用年龄估计损失函数age loss对年龄特征进行监督训练，同时采用相关性损失函数correlation loss来约束年龄特征和身份特征之间的相关性。本算法提取的身份特征不仅尽可能的保留了人脸图像的身份信息，并且对年龄干扰具有较强的鲁棒性。
1)身份识别损失函数identity loss
为了从人脸图像中充分提取抗年龄干扰的身份特征，将特征融合与特征解耦方法相结合。进一步的，本申请实施例采用CosFace Loss为身份识别损失函数Lid来监督模型对身份信息的学习。具体地，损失函数用下式表示：
其中N表示训练集中的样本数量，xid，i表示人脸身份标签yi对应的身份特征向量，Wj表示分类器第J个类别对应的权重向量，θj，i表示Wj与xid，i之间的角度。身份损失函数通过最大化类间差异和最小化类内差异来提高模型进行身份识别的能力。
2)年龄估计损失函数age loss
通过特征解耦可以从人脸特征中提取与年龄有关的特征，使用分类问题损失函数来监督对年龄信息的学习，从而实现一个年龄估计任务。具体来说，使用交叉熵损失作为年龄的损失函数Lage，它承担了身份识别任务的辅助任务，从而进一步提高不同年纪人脸识别任务的性能，损失函数表示如下：
其中，m表示年龄标签的类别数量，表示分类器中输出的第j项的值。
3)相关性损失函数correlation loss
对于提取的身份特征，自然希望身份特征越干净越好，能够完全代表身份信息。然而，通过简单的特征解祸得到的身份特征和年龄特征仍然不够纯粹，它们之间可能依然存在着隐性的关联。也就是说，身份特征xid可能包含与年龄成分有关的信息，可能导致不同年纪人脸识别性能的退化。当身份特征和年龄特征是相互不相关时，可以相互促进人脸识别任务和年龄估计的任务的提升。
为此，本申请实施例首先对特征解耦后得到的身份特征和年龄特征之间的相关性进行度量，然后设计相关损失函数Lc来约束二者的相关性。具体的，可采用批量相关分析法来计算身份特征与年龄特征之间的相关性。给定批量大小为m的身份特征集合和年龄特征集合/>两者之间的相关性可以表示如下：
其中，μid和是Yid的均值和方差，μage和/>是Yage的均值和方差，ε是一个微小的常数，用于保证数值的稳定性。Yid和Yage分别表示身份变量和年龄变量，定义如下:
其中W是可学习的参数。
基于上述相关性的度量，本申请实施例设计了一个相关性损失函数，来约束和之间的相关性，损失函数如下所示：
LC＝exp(|p|)
其中p就是上述公式定义的相关性。因此，通过相关性约束损失函数，和/>之间的相关性在特征解耦的基础上，进一步减小，从而人脸识别任务和年龄估计任务的性能都得到提升。
在本申请可选实施例中，为了实现多任务联合监督学习，上述损失函数构成了最终总的目标函数，定义如下：
L＝Lid+αLage+βLc
其中L表示总的目标函数Lid是身份识别损失函数，Lage是年龄估计损失函数，Lc是对年龄特征和身份特征之间的相关性进行约束的相关性损失函数，α和β是用来平衡这三个损失函数的超参数。可选的，α和β均设置为0.3。
在本申请可选实施例中，设置训练过程的初始学习速率为1e-3，通过ReduceLROnPlateau方法动态调整学习速率。
S16、利用训练好的不同年纪人脸识别网络模型，对待测人脸图像进行识别，以得到待测人脸图像的年龄识别结果。
具体的，将待测人脸图像输入骨干网提取人脸特征序列，将人脸特征序列输入训练好的不同年纪人脸识别网络模型，首先通过特征融合模块，对人脸特征序列进行特征融合。
具体的，可采用如下特征融合方式：
方式1：加权线性特征融合
对于长度为l的人脸特征序列其加权和可以表示如下：
其中，wi为提取的初始人脸特征对应的权重，/>表示身份为P的第s个人脸特征序列进行线性融合后的特征。
方式2：基于循环神经网络的特征融合
给定的人脸特征序列将同一身份不同年龄的人脸特征，按人脸特征序列长度进行堆叠，然后作为RNN(Recurrent Neural Network,循环神经网络)的输入。图6所示的基于循环神经网络的特征融合模块输入的人脸特征序列长度设置为3。为了给特征序列中的每个特征以不同程度的关注，使用RNN的注意力机制对每个时间步长的输出进行加权。
然后通过特征解耦模块，对融合后的人脸特征序列进行特征解耦，得到年龄特征以及与年龄无关的身份特征；然后基于得到的身份特征进行特征匹配。
具体的，每张人脸图像可以用一个特征向量进行表示，人脸匹配可基于提取的身份特征向量进行相似度计算，两者越相似，或者相似度超过设定的阈值，则确定两者为同一个人，从而实现人脸比对识别。
其中，身份特征相似度方法可采用欧式距离或余弦距离等方法。
本申请实施例提供的不同年纪人脸识别方法，不仅能够最大程度的保留人脸的身份信息，即尽可能地提取人脸的身份特征，并且能够保证提取的身份特征与年龄因素有较小的相关性。对年龄干扰具有较强的鲁棒性。
为解决上述技术问题，本发明实施例还提供一种芯片，该芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器，处理器用于支持终端执行上述相关步骤，例如从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行，以实现上述各个实施例中的不同年纪人脸识别方法。
可选的在一些示例下，该芯片还包括收发器，收发器用于接受处理器的控制，用于支持终端执行上述相关步骤，以实现上述各个实施例中的不同年纪人脸识别方法。
可选的，该芯片还可以包括存储介质。
需要说明的是，该芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑器件(programmablelogicdevice，PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
本发明还提供一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现如上所述的不同年纪人脸识别方法的步骤。
具体请参阅图7，图7为示出的一种终端的基本结构框图，该终端包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该终端的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现上述不同年纪人脸识别方法。该终端的处理器用于提供计算和控制能力，支撑整个终端的运行。该终端的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行上述不同年纪人脸识别方法。该终端的网络接口用于与终端连接通信。本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的电子设备。这种电子设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal DigitalAssistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Globa lPositioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile InternetDevice，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述不同年纪人脸识别方法的步骤。
本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述介绍的不同年纪人脸识别方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。
本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种不同年纪人脸识别方法，其特征在于，包括：
基于通用人脸数据集获取带有第一身份标签的若干第一人脸图像；所述通用人脸数据集中的各所述第一人脸图像不包含对应的年龄标签；
将所述第一人脸图像输入预先构建的深度概率年纪预判模型，利用所述深度概率年纪预判模型输出得到所述第一人脸图像的年龄估计值；将所述年龄估计值作为所述第一人脸图像的第一年龄标签；所述深度概率年纪预判模型预先基于专用不同年纪人脸数据集进行训练得到；所述专用不同年纪人脸数据集包含若干第二人脸图像以及对应的第二身份标签和第二年龄标签；所述深度概率年纪预判模型用于将年龄估计问题转化为二分类问题；
基于各所述第一人脸图像及对应的所述第一年龄估计值和所述第一身份标签，得到训练用人脸数据集；
利用所述训练用人脸数据集对不同年纪人脸识别网络模型进行模型训练；
利用训练好的不同年纪人脸识别网络模型，对待测人脸图像进行识别，以得到所述待测人脸图像的年龄识别结果。
2.如权利要求1所述的不同年纪人脸识别方法，其特征在于，所述深度概率年纪预判模型包括卷积层、第一全连接层、K-1个二分类器、K-1个softmax函数以及第二全连接层；所述卷积层用于对输入的人脸图像进行卷积处理后发送给所述第一全连接层；所述第一全连接层分别与所述K-1个二分类器连接；所述K-1二分类器与所述K-1个softmax函数一一对应连接；所述K-1个softmax函数将输出结果发送给所述第二全连接层处理；所述K为设定多个连续年龄的个数；每个所述二分类器对应一个设定年龄；所述二分类器利用后续连接的softmax函数，输出所述输入的人脸图像大于所述设定年龄的概率。
3.如权利要求2所述的不同年纪人脸识别方法，其特征在于，所述K-1个二分类器共享所述第一全连接层与所述卷积层，使用二分类的损失函数同时训练所述K-1个二分类器；所述第二全连接层使用欧氏距离损失函数进行训练，以得到所述输入的人脸图像大于所述设定年龄的概率的权重组合，从而利用所述权重组合得到所述输入的人脸图像的年龄估计值。
4.如权利要求3所述的不同年纪人脸识别方法，其特征在于，所述利用所述权重组合得到所述输入的人脸图像的年龄估计值包括：
按照如下公式计算所述输入的人脸图像的年龄估计值：
其中表示所述输入的人脸图像的年龄大于设定年龄rk的概率，所有ak表示通过训练获得的权重组合，||是取整数操作。
5.如权利要求4所述的不同年纪人脸识别方法，其特征在于，在所述利用所述训练用人脸数据集对不同年纪人脸识别网络模型进行模型训练之前，还包括：
从所述训练用人脸数据集中提取具有相同身份不同年龄的至少3张人脸图像，作为人脸图像序列；
利用骨干网提取所述人脸图像序列的初始人脸特征；以基于所述初始人脸特征对所述不同年纪人脸识别网络模型进行模型训练。
6.如权利要求5所述的不同年纪人脸识别方法，其特征在于，所述骨干网采用PreResNet网络，主要包括四个stage，所述人脸图像序列首先经过一个16个卷积核大小为3×3的Conv层；随后依次经过四个stage，每个stage均包含3个Block；每个Block按照“BN+ReLU+Conv”的顺序进行堆叠三次，第一个Conv层和第三个Conv层的卷积核大小都是1×1，第二个Conv层的卷积核大小为3×3；在第四个stage之后，连接BN、ReLU和平均池化层AvgPool，最终池化后得到的所述初始人脸特征包含512个通道。
7.如权利要求6所述的不同年纪人脸识别方法，其特征在于，所述不同年纪人脸识别网络模型包括特征融合模块与特征解耦模块；
所述特征融合模块采用加权线性特征融合和/或基于循环神经网络的特征融合；
所述特征解耦模块采用线性变换和投影映射，得到身份特征和年龄特征。
8.如权利要求7所述的不同年纪人脸识别方法，其特征在于，所述不同年纪人脸识别网络模型采用身份识别损失函数对身份特征进行监督训练，采用年龄估计损失函数对年龄特征进行监督训练，同时采用相关性损失函数来约束年龄特征和身份特征之间的相关性。
9.一种芯片，其特征在于，包括：第一处理器，用于从第一存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至8任一项所述的不同年纪人脸识别方法的各个步骤。
10.一种终端，其特征在于，包括第二存储器、第二处理器以及存储在所述第二存储器中并可在所述第二处理器上运行的计算机程序，其特征在于，所述第二处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的不同年纪人脸识别方法的步骤。
CN202310911281.5A 2023-07-24 2023-07-24 一种不同年纪人脸识别方法、芯片及终端 Withdrawn CN117095434A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310911281.5A CN117095434A (zh) 2023-07-24 2023-07-24 一种不同年纪人脸识别方法、芯片及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310911281.5A CN117095434A (zh) 2023-07-24 2023-07-24 一种不同年纪人脸识别方法、芯片及终端

Publications (1)

Publication Number Publication Date
CN117095434A true CN117095434A (zh) 2023-11-21

Family

ID=88770647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310911281.5A Withdrawn CN117095434A (zh) 2023-07-24 2023-07-24 一种不同年纪人脸识别方法、芯片及终端

Country Status (1)

Country Link
CN (1) CN117095434A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169454A (zh) * 2017-05-16 2017-09-15 中国科学院深圳先进技术研究院 一种人脸图像年龄估算方法、装置及其终端设备
CN107480575A (zh) * 2016-06-07 2017-12-15 深圳市商汤科技有限公司 模型的训练方法、跨年龄人脸识别方法和对应的装置
CN110197099A (zh) * 2018-02-26 2019-09-03 腾讯科技（深圳）有限公司 跨年龄人脸识别及其模型训练的方法和装置
CN110287761A (zh) * 2019-03-28 2019-09-27 电子科技大学 一种基于卷积神经网络和隐变量分析的人脸年龄估计方法
CN110298224A (zh) * 2019-03-28 2019-10-01 电子科技大学 一种基于方向梯度和隐变量分析的人脸年龄估计方法
CN111881722A (zh) * 2020-06-10 2020-11-03 广东芯盾微电子科技有限公司 一种跨年龄人脸识别方法、系统、装置及存储介质
CN114299572A (zh) * 2021-12-22 2022-04-08 云从科技集团股份有限公司 人脸年龄估计方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480575A (zh) * 2016-06-07 2017-12-15 深圳市商汤科技有限公司 模型的训练方法、跨年龄人脸识别方法和对应的装置
CN107169454A (zh) * 2017-05-16 2017-09-15 中国科学院深圳先进技术研究院 一种人脸图像年龄估算方法、装置及其终端设备
CN110197099A (zh) * 2018-02-26 2019-09-03 腾讯科技（深圳）有限公司 跨年龄人脸识别及其模型训练的方法和装置
CN110287761A (zh) * 2019-03-28 2019-09-27 电子科技大学 一种基于卷积神经网络和隐变量分析的人脸年龄估计方法
CN110298224A (zh) * 2019-03-28 2019-10-01 电子科技大学 一种基于方向梯度和隐变量分析的人脸年龄估计方法
CN111881722A (zh) * 2020-06-10 2020-11-03 广东芯盾微电子科技有限公司 一种跨年龄人脸识别方法、系统、装置及存储介质
CN114299572A (zh) * 2021-12-22 2022-04-08 云从科技集团股份有限公司 人脸年龄估计方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孟利选: "基于深度学习的跨年龄人脸识别算法研究", 《中国优秀硕士学位论文全文数据库（电子期刊） 信息科技辑》, 15 February 2023 (2023-02-15), pages 138 - 1685 *
郑天悦: "基于深度学习的跨年龄人脸识别问题", 《中国优秀硕士学位论文全文数据库（电子期刊） 信息科技辑》, 15 September 2019 (2019-09-15), pages 138 - 1159 *

Similar Documents

Publication Publication Date Title
CN109948425B (zh) 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN109086658B (zh) 一种基于生成对抗网络的传感器数据生成方法与系统
Li et al. Localizing and quantifying damage in social media images
Ali et al. Boosted NNE collections for multicultural facial expression recognition
Lara-Benítez et al. Asynchronous dual-pipeline deep learning framework for online data stream classification
Khan et al. Real-time plant health assessment via implementing cloud-based scalable transfer learning on AWS DeepLens
Felzenszwalb et al. Object detection grammars.
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
CN111985538A (zh) 基于语义辅助注意力机制的小样本图片分类模型及方法
CN111401339A (zh) 识别人脸图像中的人的年龄的方法、装置及电子设备
CN111611877A (zh) 基于多时空信息融合的抗年龄干扰的人脸识别方法
CN111582506A (zh) 基于全局和局部标记关系的偏多标记学习方法
CN114708637A (zh) 一种基于元学习的人脸动作单元检测方法
CN110163130B (zh) 一种用于手势识别的特征预对齐的随机森林分类系统及方法
CN116416334A (zh) 一种基于原型的嵌入网络的场景图生成方法
CN110110628B (zh) 一种频率综合器劣化的检测方法及检测设备
Abdullah et al. Vehicle counting using deep learning models: a comparative study
Kale et al. Age, gender and ethnicity classification from face images with CNN-based features
Prasetya et al. Indonesian food items labeling for tourism information using Convolution Neural Network
CN113240033B (zh) 一种基于场景图高阶语义结构的视觉关系检测方法及装置
CN113987188A (zh) 一种短文本分类方法、装置及电子设备
Ghosh et al. Deep learning-based multi-view 3D-human action recognition using skeleton and depth data
Dutt et al. Different approaches in pattern recognition
CN111914772A (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
Cho et al. A space-time graph optimization approach based on maximum cliques for action detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20231121

WW01 Invention patent application withdrawn after publication