CN114863540A - 基于人脸属性分析的人脸识别在线辅助方法及装置 - Google Patents

基于人脸属性分析的人脸识别在线辅助方法及装置 Download PDF

Info

Publication number
CN114863540A
CN114863540A CN202210780984.4A CN202210780984A CN114863540A CN 114863540 A CN114863540 A CN 114863540A CN 202210780984 A CN202210780984 A CN 202210780984A CN 114863540 A CN114863540 A CN 114863540A
Authority
CN
China
Prior art keywords
face
attribute
score
face recognition
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210780984.4A
Other languages
English (en)
Other versions
CN114863540B (zh
Inventor
宋鸿飞
王东
李来
陈志安
肖传宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Moredian Technology Co ltd
Original Assignee
Hangzhou Moredian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Moredian Technology Co ltd filed Critical Hangzhou Moredian Technology Co ltd
Priority to CN202210780984.4A priority Critical patent/CN114863540B/zh
Publication of CN114863540A publication Critical patent/CN114863540A/zh
Application granted granted Critical
Publication of CN114863540B publication Critical patent/CN114863540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及基于人脸属性分析的人脸识别在线辅助方法及装置,其方法包括:对待识别图片进行人脸识别,得到人脸识别分数;判断人脸识别分数是否在预设人脸分数区间内,若是,则将待识别图片与最相似人脸的历史人脸识别成功图片分别输入到人脸属性模型中,以得到待识别图片的属性标签向量以及历史人脸识别成功图片的属性标签向量;根据待识别图片的属性标签向量与历史人脸识别成功图片的属性标签向量之间的相同程度得到人脸属性分数;根据人脸属性分数和人脸识别分数得到人脸识别结果。本发明能够有效降低特定得分区间内的误识率和拒识率,能够极大程度的优化人脸识别系统稳定性,以解决人脸识别得分落在识别阈值附近的识别结果不可靠问题。

Description

基于人脸属性分析的人脸识别在线辅助方法及装置
技术领域
本发明属于人脸识别技术领域,具体涉及一种基于人脸属性分析的人脸识别在线辅助方法及装置。
背景技术
随着科学技术的发展,人脸识别技术应用随处可见,例如手机解锁、门禁通行、打卡考勤等。人脸识别过程可以简述为:人脸识别模型对抓拍照提取特征,与注册特征底库进行对比,通过计算得出最相似人脸(top1 facid)的识别得分(face_score),若该face_score超过事先设定阈值则人脸识别通过,输出结果为top1的faceid。
从人脸识别流程中可以发现,人脸识别结果一定程度上依赖比对分数是否超过阈值,而注册照特征值和识别阈值相对固定,当人脸识别分数落在阈值周围区域时,即略微超过或者略微低于识别阈值时,人脸识别模型给出的结果存在不确定性,仅依赖人脸识别模型的结果可能会带来未知的风险。
发明内容
本发明的目的是提供一种基于人脸属性分析的人脸识别在线辅助方法及装置,能够提升人脸识别的稳定性和可靠性。
为了解决上述技术问题,本发明公开了一种基于人脸属性分析的人脸识别在线辅助方法,包括:
对待识别图片进行人脸识别,得到人脸识别分数;
判断所述人脸识别分数是否在预设人脸分数区间内,若是,则将所述待识别图片与最相似人脸的历史人脸识别成功图片分别输入到人脸属性模型中,以得到所述待识别图片的属性标签向量以及所述历史人脸识别成功图片的属性标签向量,所述预设人脸分数区间包含人脸识别阈值,所述属性标签向量包括所有人脸属性的类别标签;
根据所述待识别图片的属性标签向量与所述历史人脸识别成功图片的属性标签向量之间的相同程度得到人脸属性分数;
根据所述人脸属性分数和所述人脸识别分数得到人脸识别结果。
进一步地,所述人脸属性包括随后天成长改变而改变的可变属性以及随后天成长改变而不改变的不变属性,所述根据所述待识别图片的属性标签向量与所述历史人脸识别成功图片的属性标签向量之间的相同程度得到人脸属性分数包括:
根据所述待识别图片在所有人脸属性的属性标签向量与所述历史人脸识别成功图片在所有人脸属性的属性标签向量的相同程度得到所有人脸属性的属性分数,对所有人脸属性的属性分数赋予对应的加权系数之后进行累加,得到人脸属性分数,所述可变属性的加权系数低于所述不变属性。
进一步地,所述得到所述待识别图片的属性标签向量以及所述历史人脸识别成功图片的属性标签向量包括:
由人脸属性模型识别出所述待识别图片和所述历史人脸识别成功图片在每一个人脸属性上的特征向量;
当所述人脸属性为年龄时,则使用回归方法根据年龄的特征向量进行年龄预测,得到年龄的类别标签;
当所述人脸属性为除年龄之前的其他属性时,对每一个人脸属性的特征向量进行分类识别,以获取所述待识别图片在每一个人脸属性的类别标签以及所述历史人脸识别成功图片在每一个人脸属性的类别标签;
将所述待识别图片在每一个人脸属性的类别标签整合为所述待识别图片的属性标签向量,将所述历史人脸识别成功图片在每一个人脸属性的类别标签整合为所述历史人脸识别成功图片的属性标签向量。
进一步地,所述根据所述人脸属性分数和所述人脸识别分数得到人脸识别结果包括:
当所述人脸识别分数大于或等于所述人脸识别阈值时,若所述人脸属性分数大于或等于人脸属性阈值,则人脸识别结果为成功,否则根据所述人脸识别分数和所述人脸属性分数得到新的人脸分数,判断新的人脸分数是否小于所述人脸识别阈值,若是,则人脸识别结果为失败,否则人脸识别结果为成功;
当所述人脸识别分数小于所述人脸识别阈值时,若所述人脸属性分数小于人脸属性阈值,则人脸识别结果为失败,否则根据所述人脸识别阈值和所述人脸属性分数得到新的人脸阈值,判断所述人脸识别分数是否小于新的人脸阈值,若是,则人脸识别结果为失败,否则人脸识别结果为成功。
进一步地,得到所述人脸属性模型包括:
对于每一个人脸属性设计一个人脸属性模块;
通过已打好标签的人脸图片对每一个人脸属性模块进行基于深度学习的训练,以得到测试集的正确率均能超过预设正确阈值的人脸属性模块;
汇总所有训练好的人脸属性模块,以得到人脸属性模型。
为了解决上述技术问题,本发明还公开了基于人脸属性分析的人脸识别在线辅助装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
对待识别图片进行人脸识别,得到人脸识别分数;
判断所述人脸识别分数是否在预设人脸分数区间内,若是,则将所述待识别图片与最相似人脸的历史人脸识别成功图片分别输入到人脸属性模型中,以得到所述待识别图片的属性标签向量以及所述历史人脸识别成功图片的属性标签向量,所述预设人脸分数区间包含人脸识别阈值,所述属性标签向量包括所有人脸属性的类别标签;
根据所述待识别图片的属性标签向量与所述历史人脸识别成功图片的属性标签向量之间的相同程度得到人脸属性分数;
根据所述人脸属性分数和所述人脸识别分数得到人脸识别结果。
进一步地,所述人脸属性包括随后天成长改变而改变的可变属性以及随后天成长改变而不改变的不变属性,所述根据所述待识别图片的属性标签向量与所述历史人脸识别成功图片的属性标签向量之间的相同程度得到人脸属性分数包括:
根据所述待识别图片在所有人脸属性的属性标签向量与所述历史人脸识别成功图片在所有人脸属性的属性标签向量的相同程度得到所有人脸属性的属性分数,对所有人脸属性的属性分数赋予对应的加权系数之后进行累加,得到人脸属性分数,所述可变属性的加权系数低于所述不变属性。
进一步地,所述得到所述待识别图片的属性标签向量以及所述历史人脸识别成功图片的属性标签向量包括:
由人脸属性模型识别出所述待识别图片和所述历史人脸识别成功图片在每一个人脸属性上的特征向量;
当所述人脸属性为年龄时,则使用回归方法根据年龄的特征向量进行年龄预测,得到年龄的类别标签;
当所述人脸属性为除年龄之前的其他属性时,对每一个人脸属性的特征向量进行分类识别,以获取所述待识别图片在每一个人脸属性的类别标签以及所述历史人脸识别成功图片在每一个人脸属性的类别标签;
将所述待识别图片在每一个人脸属性的类别标签整合为所述待识别图片的属性标签向量,将所述历史人脸识别成功图片在每一个人脸属性的类别标签整合为所述历史人脸识别成功图片的属性标签向量。
进一步地,所述根据所述人脸属性分数和所述人脸识别分数得到人脸识别结果包括:
当所述人脸识别分数大于或等于所述人脸识别阈值时,若所述人脸属性分数大于或等于人脸属性阈值,则人脸识别结果为成功,否则根据所述人脸识别分数和所述人脸属性分数得到新的人脸分数,判断新的人脸分数是否小于所述人脸识别阈值,若是,则人脸识别结果为失败,否则人脸识别结果为成功;
当所述人脸识别分数小于所述人脸识别阈值时,若所述人脸属性分数小于人脸属性阈值,则人脸识别结果为失败,否则根据所述人脸识别阈值和所述人脸属性分数得到新的人脸阈值,判断所述人脸识别分数是否小于新的人脸阈值,若是,则人脸识别结果为失败,否则人脸识别结果为成功。
进一步地,得到所述人脸属性模型包括:
对于每一个人脸属性设计一个人脸属性模块;
通过已打好标签的人脸图片对每一个人脸属性模块进行基于深度学习的训练,以得到测试集的正确率均能超过预设正确阈值的人脸属性模块;
汇总所有训练好的人脸属性模块,以得到人脸属性模型。
本项发明提供了一种基于人脸属性分析的人脸识别在线辅助方法及装置,当人脸识别过程中得到的人脸识别分数位于人脸识别阈值附近的预设人脸分数区间时,通过待识别图片与历史人脸识别成功图片在人脸属性的相同程度得到人脸属性分数,之后结合人脸识别分数和人脸属性分数来得到最终的人脸识别结果,从而能够有效降低特定得分区间内的误识率和拒识率,能够极大程度的优化人脸识别系统稳定性,以解决人脸识别得分落在识别阈值附近的识别结果不可靠问题。
附图说明
图1为本实施例的一种基于人脸属性分析的人脸识别在线辅助方法的流程示意图。
图2为本实施例的一种基于人脸属性分析的人脸识别在线辅助装置的结构示意图。
标号说明:
1、基于人脸属性分析的人脸识别在线辅助装置;2、处理器;3、存储器。
具体实施方式
下面通过实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”,“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例一
在人脸识别分数落在阈值周围区域这一场景下所遇见的问题,主要是由于抓拍照与注册照存在一定的面部差异导致人脸识别分数不能与人脸识别阈值拉开较大差异,而人脸差异性不是一瞬间完成的,因此需要借助识别过程中记录得到的时空人脸信息进行辅助分析,而人脸属性面部特征在短期内不会出现明显差异,因此可以使用人脸属性分析的方法辅助人脸识别过程,维护人脸识别系统稳定高效运行。
由此,如图1所示, 本实施例提供了一种基于人脸属性分析的人脸识别在线辅助方法,包括:
步骤S0、训练以得到人脸属性模型;
其中,步骤S0具体包括步骤:
步骤S01、对于每一个人脸属性设计一个人脸属性模块;
在本实施例中,首先需要设计能够反应人脸面部特征的人脸属性模块,在本实施例中我们选取人脸属性有以下几种:年龄、性别、种族、皮肤色系、脸型、有无胎记、妆容、胖瘦、皮肤状态、颧骨形状、额头是否皱纹、法令纹、发型、发际线类型、眉毛形状、眉毛浓浅、眉心痣、眼部形状、眼袋、单双眼皮、是否戴眼镜、眼镜类型、鼻子形状、鼻尖痣、嘴唇厚薄、口型、脸颊痣、是否胡子、胡子形状以及是否戴耳饰。合计共三十种人脸基础属性,经过大量实验表明,本实施例所提丰富且多维的人脸属性模块能够充分的描述一个人的人脸面部特征,并且本实施例所提到的人脸基础属性包括随后天成长改变而改变的可变属性以及随后天成长改变而不改变的不变属性,例如发型、眼镜佩戴、胡子等是会频繁改变,因此本文将其归类为可变属性。
步骤S02、通过已打好标签的人脸图片对每一个人脸属性模块进行基于深度学习的训练,以得到测试集的正确率均能超过预设正确阈值的人脸属性模块;
在本实施例中,针对每一个人脸属性模块,开始基于深度学习的模型训练工作。大量人脸图片都进行了打标签,由于本实施例所提方法仅以辅助人脸识别模块,因此选取轻量化模型用以训练,当参数调节到合适值,直至测试阶段模型能够给出可靠的人脸属性结果。
步骤S03、汇总所有训练好的人脸属性模块,以得到人脸属性模型。
在此步骤S01至S03里,主要的工作在于搭建可靠地人脸属性模块,只有人脸属性模块给出各自属性精度越高,才能越有效的辅助人脸识别模型进行识别结果输出。在本实施例中,每个人脸识别模块的测试集上的正确率均能到达99%以上。
步骤S1、对待识别图片进行人脸识别,得到人脸识别分数;
步骤S2、判断人脸识别分数是否在预设人脸分数区间内,若是,则将待识别图片与最相似人脸的历史人脸识别成功图片分别输入到人脸属性模型中,以得到待识别图片的属性标签向量以及历史人脸识别成功图片的属性标签向量,预设人脸分数区间包含人脸识别阈值,属性标签向量包括所有人脸属性的类别标签;
在本实施例中,人脸识别阈值设(face_threshold)为0.8,触发人脸属性模块工作的预设人脸分数区间为0.75-0.85,人脸识别得分(face_score)分布在此区间的抓拍照易发生误识别和拒识别,称该得分区间为识别阈值附近,对该得分范围的人脸识别结果持怀疑态度。当人脸得分落在该识别阈值附近时,触发人脸属性模块工作,
其中,步骤S2中得到待识别图片的属性标签向量以及历史人脸识别成功图片的属性标签向量包括:
步骤S21、由人脸属性模型识别出待识别图片和历史人脸识别成功图片在每一个人脸属性上的特征向量;
在本实施例中,首先对上一次进行人脸识别成功过程中保留的一张得分最高抓拍照img_pass进行人脸属性分析,img_pass即历史人脸识别成功图片。由此,本实施例利用时空人脸信息,将img_pass输入到人脸属性模块,得到30个维度的属性结果P_pass(v0,v1,v2,...,v29),P_pass是包括了三十个属性的特征向量。
然后对当前抓拍照img_test进行人脸属性分析,将其输入到人脸属性分析模块,得到三十个维度的属性结果P_img_test(v0,v1,v2,...,v29),同样包括了三十个属性的特征向量。
步骤S22、当人脸属性为年龄时,则使用回归方法根据年龄的特征向量进行年龄预测,得到年龄的类别标签;
步骤S23、当人脸属性为除年龄之前的其他属性时,对每一个人脸属性的特征向量进行分类识别,以获取待识别图片在每一个人脸属性的类别标签以及历史人脸识别成功图片在每一个人脸属性的类别标签;
在本实施例中,年龄模块使用回归方法进行年龄预测,因此不需要再进行解码。
除年龄之外的模块用分类方法完成因此需要使用softmax进行解码,获取类别标签。softmax公式如下:
Figure 546061DEST_PATH_IMAGE001
其中,zi是每一类的输出值,也便是每一个人脸属性模块特征向量的第i个值,而C为类别数。以人脸眼部形状为例,V17类别标签共七种,分别是普通眼、杏眼、丹凤眼、上斜眼、细长烟、圆眼、眯缝眼。此时的C为7,计算最大类别输出。若V17经过softmax之后输出6则人眼形状认定为眯缝眼,其中,输出从0排序,0到6共七种。
步骤S24、将待识别图片在每一个人脸属性的类别标签整合为待识别图片的属性标签向量,将历史人脸识别成功图片在每一个人脸属性的类别标签整合为历史人脸识别成功图片的属性标签向量。
其中,经过解码后,img_test和img_pass获得对应的可描述人脸生物特征的人脸基础属性高维特征向量V如下。
Figure 338437DEST_PATH_IMAGE002
其中,y和y’分别代表待识别图片在每一个人脸属性的类别标签以及历史人脸识别成功图片在每一个人脸属性的类别标签。
步骤S3、根据待识别图片的属性标签向量与历史人脸识别成功图片的属性标签向量之间的相同程度得到人脸属性分数;
其中,步骤S3包括:
根据待识别图片在所有人脸属性的属性标签向量与历史人脸识别成功图片在所有人脸属性的属性标签向量的相同程度得到所有人脸属性的属性分数,对所有人脸属性的属性分数赋予对应的加权系数之后进行累加,得到人脸属性分数,可变属性的加权系数低于不变属性。
具体而言,得到两个高维特征向量之后,将其结果进行比对,若对应位置相同则认为属性相同,即为1分,最终通过属性相同的占比和加权计算后输出得分,加权计算如下式所示:
Figure 571097DEST_PATH_IMAGE003
其中λ为加权系数,降低可变属性的对结果的影响,比如可变属性的加权系数为0.3,不变属性的加权系数为0.7。j为不变属性的数量,k为可变属性的数量,ρi为对应属性的得分,计算过程如下:
Figure 33302DEST_PATH_IMAGE004
例如输出人脸属性分数attr_score为0.9,则证明90%的属性一致,可以说明两个人脸面部特征高度相似。
在此步骤中,通过将测试图片和最近的一张识别通过的抓拍照输入到人脸属性模块,得到两个长度为30的属性标签向量,最终将两个标签向量经过比对输出人脸属性综合得分人脸属性分数attr_score。由此,步骤S3将人脸基础属性分为不变属性和可变属性,并且给属性进行加权,降低可变属性的权重,维持人脸属性模块描述人脸的准确性,最终得到相似度分数以描述两个人脸的面部特征相似程度。
步骤S4、根据人脸属性分数和人脸识别分数得到人脸识别结果。
其中,通过步骤S3获取到img_test的人脸属性分数attr_score。当人脸属性分数attr_score大于人脸属性阈值时认为img_test和img_pass很有可能是同一个人,而人脸识别结果输出识别失败,此时需要根据人脸属性分数attr_score的结果来将识别失败改成识别成功,反之亦然。在本实施例中,人脸属性阈值(attr_threshold)设定为0.9。由此,步骤S4包括:
步骤S41、当人脸识别分数大于或等于人脸识别阈值时,若人脸属性分数大于或等于人脸属性阈值,则人脸识别结果为成功,否则根据人脸识别分数和人脸属性分数得到新的人脸分数,判断新的人脸分数是否小于人脸识别阈值,若是,则人脸识别结果为失败,否则人脸识别结果为成功;
即当人脸识别分数face_score高于人脸识别阈值face_threshold时,人脸识别给出了识别成功的结果,此时人脸属性模块的工作目的是尽可能降低误识率,尽可能将高分的img_test挡在阈值之外。同理获取人脸属性分数attr_score,同样分两种情况进行后续处理,具体计算过程如下:
Figure 584369DEST_PATH_IMAGE005
其中校正属性分数g(attr_score)如下式所示:
g(attr_score)=0.5(attr_score-0.9);
上式中0和1为人脸识别结果,若为0则为人脸识别失败,若为1则人脸识别成功,下同。
1)若人脸属性分数attr_score大于或等于人脸属性阈值attr_threshold,则证明人脸属性模块认为img_test和img_pass面部差异极小,支持人脸识别模型结果继续输出人脸识别成功;
2)若人脸属性分数attr_score低于人脸属性阈值attr_threshold,则证明人脸属性模块认为img_test和img_pass存在较大的面部差异,需要对人脸识别结果持怀疑态度,通过人脸属性模块重新分析给出结论。具体的做法是将人脸属性分数attr_score减0.9之后乘于一个系数0.5得到一个校正属性分数g(attr_score),将人脸识别分数face_score加上校正属性分数g(attr_score)得到新的人脸得分new_face_score,当该分数被拉低之后还能超过原人脸识别阈值face_threshold则继续认定人脸识别结果为成功,若低于原人脸识别阈值face_threshold则修改人脸识别结果为识别失败。
根据上面可知,在第2)种情况中,人脸识别分数face_score在0.8-0.85,人脸属性分数attr_score低于0.9,此时,当人脸识别分数face_score为0.85时,校正属性分数g(attr_score)大于或等于-0.05,则人脸属性分数attr_score要大于或等于0.8才可以人脸识别通过,同理,当人脸识别分数face_score为0.84时,人脸属性分数attr_score要大于或等于0.82才可以人脸识别通过,依次类推。
步骤S42、当人脸识别分数小于人脸识别阈值时,若人脸属性分数小于人脸属性阈值,则人脸识别结果为失败,否则根据人脸识别阈值和人脸属性分数得到新的人脸阈值,判断人脸识别分数是否小于新的人脸阈值,若是,则人脸识别结果为失败,否则人脸识别结果为成功。
即当人脸识别分数face_score低于人脸识别阈值face_threshold,即人脸识别给出识别失败的结果,此时人脸属性模块工作的目的是尽可能的降低拒识率,尽可能将低分的img_test识别结果为成功。此时人脸属性模块通过步骤S3会给出一个人脸属性分数attr_score,在此过程分两种情况进行后续处理,具体计算结果如下:
Figure 180436DEST_PATH_IMAGE006
其中校正识别分数f(attr_score)如下式所示:
f(attr_score)=-0.5attr_score+0.45;
1)若人脸属性分数attr_score小于人脸属性阈值attr_threshold,证明人脸属性模块认为img_test和img_pass存在较明显的面部差异,支持人脸识别模型结果继续输出人脸识别失败;
2)若人脸属性分数attr_score大于或等于人脸属性阈值attr_threshold,证明人脸属性模块认为img_test和img_pass在本文所定义的30个面部特征上高度一致,因此需要对该img_test进一步分析尝试改变人脸识别模型的结果。具体的将人脸属性分数attr_score乘于一个系数-0.5之后加上0.45得到一个校正识别分数f(attr_score),将人脸识别阈值face_threshold加上校正识别分数f(attr_score)得到新阈值new_face_threshold,将识别阈值拉低后再与人脸识别分数face_score进行比对,若调整后人脸识别分数face_score超过new_face_threshold则修改人脸识别结果为成功,反之则坚持人脸识别模型结果为失败。
根据上面可知,在第2)种情况中,人脸识别分数face_score在0.75-0.8,人脸属性分数attr_score大于或等于0.9,此时,当人脸识别分数face_score为0.75时,校正识别分数f(attr_score)要小于或等于-0.05,则人脸属性分数attr_score要大于或等于1才可以人脸识别通过,同理,当人脸识别分数face_score为0.76时,则人脸属性分数attr_score要大于或等于0.98才可以人脸识别通过,依次类推。
即步骤S4中针对性对低分通过和高分通过样本进行不同手段的调整,灵活地调整方式能够降低误识率和拒识率。
由此,本实施例所提的基于人脸属性分析的人脸识别在线辅助方法,能够有效利用人脸识别过程中人脸信息,能够针对性的解决人脸识别得分落在识别阈值附近的识别结果不可靠问题,并且本实施例所提方法独立于人脸识别模型之外,从更多维度的情况来分析是否需要对不可靠样本再次进行提炼分析,将分析结果辅助人脸识别结果给出最终结果。经过实验研究表明,能够有效降低特定得分区间内的误识率和拒识率,能够极大程度的优化人脸识别系统稳定性。
实施例二
如图2 所示,基于人脸属性分析的人脸识别在线辅助装置1,包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序,处理器3执行计算机程序时实现实施例一中的基于人脸属性分析的人脸识别在线辅助方法的步骤。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的实施例。

Claims (10)

1.基于人脸属性分析的人脸识别在线辅助方法,其特征在于,包括:
对待识别图片进行人脸识别,得到人脸识别分数;
判断所述人脸识别分数是否在预设人脸分数区间内,若是,则将所述待识别图片与最相似人脸的历史人脸识别成功图片分别输入到人脸属性模型中,以得到所述待识别图片的属性标签向量以及所述历史人脸识别成功图片的属性标签向量,所述预设人脸分数区间包含人脸识别阈值,所述属性标签向量包括所有人脸属性的类别标签;
根据所述待识别图片的属性标签向量与所述历史人脸识别成功图片的属性标签向量之间的相同程度得到人脸属性分数;
根据所述人脸属性分数和所述人脸识别分数得到人脸识别结果。
2.如权利要求1所述的基于人脸属性分析的人脸识别在线辅助方法,其特征在于,所述人脸属性包括随后天成长改变而改变的可变属性以及随后天成长改变而不改变的不变属性,所述根据所述待识别图片的属性标签向量与所述历史人脸识别成功图片的属性标签向量之间的相同程度得到人脸属性分数包括:
根据所述待识别图片在所有人脸属性的属性标签向量与所述历史人脸识别成功图片在所有人脸属性的属性标签向量的相同程度得到所有人脸属性的属性分数,对所有人脸属性的属性分数赋予对应的加权系数之后进行累加,得到人脸属性分数,所述可变属性的加权系数低于所述不变属性。
3.如权利要求1所述的基于人脸属性分析的人脸识别在线辅助方法,其特征在于,所述得到所述待识别图片的属性标签向量以及所述历史人脸识别成功图片的属性标签向量包括:
由人脸属性模型识别出所述待识别图片和所述历史人脸识别成功图片在每一个人脸属性上的特征向量;
当所述人脸属性为年龄时,则使用回归方法根据年龄的特征向量进行年龄预测,得到年龄的类别标签;
当所述人脸属性为除年龄之前的其他属性时,对每一个人脸属性的特征向量进行分类识别,以获取所述待识别图片在每一个人脸属性的类别标签以及所述历史人脸识别成功图片在每一个人脸属性的类别标签;
将所述待识别图片在每一个人脸属性的类别标签整合为所述待识别图片的属性标签向量,将所述历史人脸识别成功图片在每一个人脸属性的类别标签整合为所述历史人脸识别成功图片的属性标签向量。
4.如权利要求1所述的基于人脸属性分析的人脸识别在线辅助方法,其特征在于,所述根据所述人脸属性分数和所述人脸识别分数得到人脸识别结果包括:
当所述人脸识别分数大于或等于所述人脸识别阈值时,若所述人脸属性分数大于或等于人脸属性阈值,则人脸识别结果为成功,否则根据所述人脸识别分数和所述人脸属性分数得到新的人脸分数,判断新的人脸分数是否小于所述人脸识别阈值,若是,则人脸识别结果为失败,否则人脸识别结果为成功;
当所述人脸识别分数小于所述人脸识别阈值时,若所述人脸属性分数小于人脸属性阈值,则人脸识别结果为失败,否则根据所述人脸识别阈值和所述人脸属性分数得到新的人脸阈值,判断所述人脸识别分数是否小于新的人脸阈值,若是,则人脸识别结果为失败,否则人脸识别结果为成功。
5.如权利要求1所述的基于人脸属性分析的人脸识别在线辅助方法,其特征在于,得到所述人脸属性模型包括:
对于每一个人脸属性设计一个人脸属性模块;
通过已打好标签的人脸图片对每一个人脸属性模块进行基于深度学习的训练,以得到测试集的正确率均能超过预设正确阈值的人脸属性模块;
汇总所有训练好的人脸属性模块,以得到人脸属性模型。
6.基于人脸属性分析的人脸识别在线辅助装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现以下步骤:
对待识别图片进行人脸识别,得到人脸识别分数;
判断所述人脸识别分数是否在预设人脸分数区间内,若是,则将所述待识别图片与最相似人脸的历史人脸识别成功图片分别输入到人脸属性模型中,以得到所述待识别图片的属性标签向量以及所述历史人脸识别成功图片的属性标签向量,所述预设人脸分数区间包含人脸识别阈值,所述属性标签向量包括所有人脸属性的类别标签;
根据所述待识别图片的属性标签向量与所述历史人脸识别成功图片的属性标签向量之间的相同程度得到人脸属性分数;
根据所述人脸属性分数和所述人脸识别分数得到人脸识别结果。
7.如权利要求6所述的基于人脸属性分析的人脸识别在线辅助装置,其特征在于,所述人脸属性包括随后天成长改变而改变的可变属性以及随后天成长改变而不改变的不变属性,所述根据所述待识别图片的属性标签向量与所述历史人脸识别成功图片的属性标签向量之间的相同程度得到人脸属性分数包括:
根据所述待识别图片在所有人脸属性的属性标签向量与所述历史人脸识别成功图片在所有人脸属性的属性标签向量的相同程度得到所有人脸属性的属性分数,对所有人脸属性的属性分数赋予对应的加权系数之后进行累加,得到人脸属性分数,所述可变属性的加权系数低于所述不变属性。
8.如权利要求6所述的基于人脸属性分析的人脸识别在线辅助装置,其特征在于,所述得到所述待识别图片的属性标签向量以及所述历史人脸识别成功图片的属性标签向量包括:
由人脸属性模型识别出所述待识别图片和所述历史人脸识别成功图片在每一个人脸属性上的特征向量;
当所述人脸属性为年龄时,则使用回归方法根据年龄的特征向量进行年龄预测,得到年龄的类别标签;
当所述人脸属性为除年龄之前的其他属性时,对每一个人脸属性的特征向量进行分类识别,以获取所述待识别图片在每一个人脸属性的类别标签以及所述历史人脸识别成功图片在每一个人脸属性的类别标签;
将所述待识别图片在每一个人脸属性的类别标签整合为所述待识别图片的属性标签向量,将所述历史人脸识别成功图片在每一个人脸属性的类别标签整合为所述历史人脸识别成功图片的属性标签向量。
9.如权利要求6所述的基于人脸属性分析的人脸识别在线辅助装置,其特征在于,所述根据所述人脸属性分数和所述人脸识别分数得到人脸识别结果包括:
当所述人脸识别分数大于或等于所述人脸识别阈值时,若所述人脸属性分数大于或等于人脸属性阈值,则人脸识别结果为成功,否则根据所述人脸识别分数和所述人脸属性分数得到新的人脸分数,判断新的人脸分数是否小于所述人脸识别阈值,若是,则人脸识别结果为失败,否则人脸识别结果为成功;
当所述人脸识别分数小于所述人脸识别阈值时,若所述人脸属性分数小于人脸属性阈值,则人脸识别结果为失败,否则根据所述人脸识别阈值和所述人脸属性分数得到新的人脸阈值,判断所述人脸识别分数是否小于新的人脸阈值,若是,则人脸识别结果为失败,否则人脸识别结果为成功。
10.如权利要求6所述的基于人脸属性分析的人脸识别在线辅助装置,其特征在于,得到所述人脸属性模型包括:
对于每一个人脸属性设计一个人脸属性模块;
通过已打好标签的人脸图片对每一个人脸属性模块进行基于深度学习的训练,以得到测试集的正确率均能超过预设正确阈值的人脸属性模块;
汇总所有训练好的人脸属性模块,以得到人脸属性模型。
CN202210780984.4A 2022-07-05 2022-07-05 基于人脸属性分析的人脸识别在线辅助方法及装置 Active CN114863540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210780984.4A CN114863540B (zh) 2022-07-05 2022-07-05 基于人脸属性分析的人脸识别在线辅助方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210780984.4A CN114863540B (zh) 2022-07-05 2022-07-05 基于人脸属性分析的人脸识别在线辅助方法及装置

Publications (2)

Publication Number Publication Date
CN114863540A true CN114863540A (zh) 2022-08-05
CN114863540B CN114863540B (zh) 2022-12-16

Family

ID=82626080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210780984.4A Active CN114863540B (zh) 2022-07-05 2022-07-05 基于人脸属性分析的人脸识别在线辅助方法及装置

Country Status (1)

Country Link
CN (1) CN114863540B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022317A (zh) * 2016-06-27 2016-10-12 北京小米移动软件有限公司 人脸识别方法及装置
CN107818308A (zh) * 2017-10-31 2018-03-20 平安科技(深圳)有限公司 一种人脸识别智能比对方法、电子装置及计算机可读存储介质
WO2019105285A1 (zh) * 2017-11-28 2019-06-06 腾讯科技(深圳)有限公司 人脸属性识别方法、电子设备及存储介质
CN110503033A (zh) * 2019-08-21 2019-11-26 杭州宇泛智能科技有限公司 一种降低人脸库中多个相似人脸误识别的方法
CN110688941A (zh) * 2019-09-25 2020-01-14 支付宝(杭州)信息技术有限公司 人脸图像的识别方法及其装置
CN112257491A (zh) * 2020-08-20 2021-01-22 江苏正赫通信息科技有限公司 自适应调度人脸识别和属性分析方法及装置
CN112257693A (zh) * 2020-12-22 2021-01-22 湖北亿咖通科技有限公司 一种身份识别方法及设备
WO2021082087A1 (zh) * 2019-10-30 2021-05-06 平安科技(深圳)有限公司 一种人脸识别方法、装置、存储介质和服务器
CN112836661A (zh) * 2021-02-07 2021-05-25 Oppo广东移动通信有限公司 人脸识别方法、装置、电子设备及存储介质
WO2021135064A1 (zh) * 2020-01-03 2021-07-08 平安科技(深圳)有限公司 人脸识别方法、装置、计算机设备及存储介质
CN114550261A (zh) * 2022-02-25 2022-05-27 成都商汤科技有限公司 人脸识别方法及装置、电子设备和存储介质
US20220207913A1 (en) * 2020-12-25 2022-06-30 Ubtech Robotics Corp Ltd Method and device for training multi-task recognition model and computer-readable storage medium

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022317A (zh) * 2016-06-27 2016-10-12 北京小米移动软件有限公司 人脸识别方法及装置
CN107818308A (zh) * 2017-10-31 2018-03-20 平安科技(深圳)有限公司 一种人脸识别智能比对方法、电子装置及计算机可读存储介质
WO2019105285A1 (zh) * 2017-11-28 2019-06-06 腾讯科技(深圳)有限公司 人脸属性识别方法、电子设备及存储介质
CN110503033A (zh) * 2019-08-21 2019-11-26 杭州宇泛智能科技有限公司 一种降低人脸库中多个相似人脸误识别的方法
CN110688941A (zh) * 2019-09-25 2020-01-14 支付宝(杭州)信息技术有限公司 人脸图像的识别方法及其装置
WO2021082087A1 (zh) * 2019-10-30 2021-05-06 平安科技(深圳)有限公司 一种人脸识别方法、装置、存储介质和服务器
WO2021135064A1 (zh) * 2020-01-03 2021-07-08 平安科技(深圳)有限公司 人脸识别方法、装置、计算机设备及存储介质
CN112257491A (zh) * 2020-08-20 2021-01-22 江苏正赫通信息科技有限公司 自适应调度人脸识别和属性分析方法及装置
CN112257693A (zh) * 2020-12-22 2021-01-22 湖北亿咖通科技有限公司 一种身份识别方法及设备
US20220207913A1 (en) * 2020-12-25 2022-06-30 Ubtech Robotics Corp Ltd Method and device for training multi-task recognition model and computer-readable storage medium
CN112836661A (zh) * 2021-02-07 2021-05-25 Oppo广东移动通信有限公司 人脸识别方法、装置、电子设备及存储介质
CN114550261A (zh) * 2022-02-25 2022-05-27 成都商汤科技有限公司 人脸识别方法及装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ESTEBAN VILLALOBOS ET AL: "Fair Face Verification by Using Non-Sensitive Soft-Biometric Attributes", 《IEEE ACCESS》 *
刘玮: "无约束条件下的人脸识别方法研究", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
CN114863540B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
Kumar et al. Real time face recognition using adaboost improved fast PCA algorithm
Shinohara et al. Facial expression recognition using fisher weight maps
Kak et al. A review of person recognition based on face model
US7031499B2 (en) Object recognition system
Khan et al. A comparative analysis of gender classification techniques
Monzo et al. Precise eye localization using HOG descriptors
Wang et al. A face recognition system based on local binary patterns and support vector machine for home security service robot
Roychowdhury et al. A survey of the trends in facial and expression recognition databases and methods
Upadhyay et al. A review on different facial feature extraction methods for face emotions recognition system
Zhang et al. Ethnic classification based on iris images
Kim et al. Component-based LDA Face Descriptor for Image Retrieval.
Kekre et al. Face and gender recognition using principal component analysis
CN114863540B (zh) 基于人脸属性分析的人脸识别在线辅助方法及装置
Gowda Fiducial points detection of a face using RBF-SVM and adaboost classification
Rasyid Comparison Of LBPH, Fisherface, and PCA For Facial Expression Recognition of Kindergarten Student
Abate et al. Biometric face recognition based on landmark dynamics
Al-Ghanim et al. Face Identification Under Disguise and Makeup Based on Hybrid Deep Learning
Kaur Review of face recognition system using MATLAB
Toh Multimodal biometrics: An overview and some recent developments
Singh et al. A SYSTEMATIC REVIEW OF FACE DETECTION AND FACE RECOGNITION TECHNIQUES USING MACHINE LEARNING
JP3841482B2 (ja) 顔画像認識装置
Hamid et al. Radius Based Block LBP for Facial Expression Recognition
Mahmoud et al. An effective hybrid method for face detection
KR102598434B1 (ko) 마스크 착용에 강건한 신원 확인 모델 학습 방법 및 상기 신원 확인 모델을 사용한 신원 확인 시스템
Wattamwar et al. Optimal Face Recognition System using Haar Classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant