CN106203294A - 基于人脸属性分析的人证合一身份验证方法 - Google Patents

Abstract

本发明公开了一种基于人脸属性分析的人证合一身份验证方法，该方法利用现场人脸图像所呈现的种族、性别、年龄和面部特征进行人证一致性验证，包括：现场人脸图像采集；证件信息采集；人证合一验证。其中，现场人脸图像采集包括人脸检测、人脸图像归一化、人脸图像质量评判；证件信息采集包括种族、性别、年龄和人脸面部信息的提取；人证合一验证包括种族验证、性别验证、年龄验证和人脸比对验证。本方法综合利用证件上的种族、性别、年龄等先验信息，可在无人值守场景下快速过滤明显的证件冒用情况；还能防止不法分子利用打印证件表面人脸图像欺骗摄像头而通过人脸身份验证。

Description

基于人脸属性分析的人证合一身份验证方法

技术领域

本发明涉及图像处理、模式识别，计算机视觉等领域，特别涉及一种基于人脸属性分析的人证合一身份验证方法。

背景技术

为了证明身份的需要，居民往往拥有身份证、护照、驾驶证、准考证和学生证等各种证件。于是，在火车站、海关口、考场、大型会展等场所，往往需要现场对通行人员的证件进行核查。目前，此类核查工作主要通过工作人员人工完成，整个验证过程不但费时费力，而且其可靠性与工作人员的经验、识别能力、工作时间和工作情绪等因素相关。因此，无法杜绝不法分子冒用他人证件的行为，存在安全隐患。例如，一些不法分子利用捡到或盗抢的身份证办理信用卡、手机卡、登记等业务，给公民带来了不必要的麻烦和经济损失。由于相关业务办理人员并没有义务审核身份证是否冒用，或没有时间，或审核不严格，或是为了业务量睁一只眼闭一只眼，甚至因内外勾结而不进行身份证件的冒用审核。因此，给不法分子创造了有利机会，加剧了身份证件主人“任人宰割”的局面。

在这种情势下，出现了基于人脸识别技术的人证合一验证方法。如申请号为200510029791.1，201110070277.8，201310099064.7，201510154396.X的专利文件公开了利用人脸识别技术进行二代身份证的人证合一验证系统。他们主要通过提取第二代身份证芯片照片、表面照片和现场照片进行比对的方法实现了二代身份证中两个环节(身份证本身真伪和冒用)的快速自动验证。以上方法在进行身份证冒用验证环节时都是基于人脸图像鉴别技术，而在实际应用中，随着时间年龄的变化，会使现场采集的人脸图像与身份证件表面的人脸图像发生较大变化，从而导致人脸鉴别的精度受到极大的影响。例如，将现场人脸和10年前身份证表面人脸进行比对，人的发型、肤色、皱纹和脸形等都会发生很大的变化，从而导致人脸鉴别技术的可靠性急剧下降。而目前大多数人脸鉴别方法，特别是以上专利所采用的人脸鉴别方法并不能克服人脸年龄变化所带来的影响。使计算机自动进行人证一致性验证的普及受到极大的阻力。

因此，目前亟待提出一种通过现场人脸图像所呈现出的种族、性别、年龄和身份等信息进行人证一致性的身份验证方法。

发明内容

本发明的目的在于克服目前基于人脸识别的人证合一验证方法的不足，提出一种基于人脸属性分析的人证合一身份验证方法，解决基于人脸比对验证中的年龄变化问题和防止无人值守下打印证件表面人脸图像欺骗摄像头的行为的发生，为解决人证合一验证提供一种行之有效的、可靠的算法和思路。

本发明的目的通过下述技术方案实现：

一种基于人脸属性分析的人证合一身份验证方法，包括下列步骤：

现场人脸图像采集步骤，利用现场摄像头抓拍持证者人脸，并利用人脸图像质量评判技术从若干幅抓拍的人脸图像中挑选出一幅质量最优的人脸图像作为现场人脸图像，记为F1；

证件信息采集识别或者读取步骤，利用证件信息采集设备采集识别或者读取身份证件中的信息；

人证合一验证步骤，利用人脸属性分析方法估计所述现场人脸图像的种族、性别和年龄信息，然后根据采集识别或者读取的身份证件信息，依次进行种族验证、性别验证、年龄验证和人脸比对验证，从而验证人证是否合一。

进一步地，所述现场人脸图像采集步骤中通过AdaBoost或者深度学习算法进行人脸检测；然后利用人脸图像质量评判技术从检测到的若干幅人脸图像中提取姿态正面、光照均匀、表情中性、清晰度高的质量最好的一幅人脸图像作为现场人脸。

进一步地，所述证件信息包括：种族信息、性别信息、出生日期、证件办理时间或/和证件表面人脸图像。

进一步地，所述证件信息采集识别或者读取步骤的具体过程为：

获取证件种族和性别信息，记为R2和G2；

获取证件年龄信息，首先获取出生年份，并计算：现场年份—出生年份＝持证者人脸应有的年龄，记为A1；然后，获取证件的办证时间，计算：办证年份—出生年份＝证件表面人脸图像年龄，记为A2；

获取证件表面人脸图像，记为F2。

进一步地，所述证件信息通过专门的证件芯片读取设备读取或者通过图像采集设备拍摄证件正反面进行图像采集，然后通过字符识别技术OCR获取。

进一步地，所述人证合一验证步骤的具体过程为：

种族验证与性别验证子步骤，将所述现场人脸图像估计出的种族和性别，记为R1和G1，与证件上的种族和性别，记为R2和G2，进行比对，如果一致，则转入下一子步骤；否则，验证失败；

年龄验证子步骤，将所述现场人脸图像估计出来的年龄记为A’，与所述持证者人脸应有的年龄A1进行比对，如果误差小于指定误差容限，则转入下一子步骤；否则，验证失败；

人脸比对验证子步骤，将所述现场人脸图像F1与所述证件表面人脸图像F2进行人脸身份相似度判断，如果其相似度大于指定判断阀值，则验证成功；否则，验证失败。

进一步地，所述年龄验证子步骤还包括对所述现场人脸图像估计出来的年龄A’进行修正的步骤，具体过程为：

利用所述人脸属性分析方法估计对所述证件表面人脸图像F2进行年龄估计得出A2’；

根据所述证件表面人脸图像年龄A2与估计年龄A2’计算出年龄内在因素误差Δ：A2—A2’＝内在因素误差Δ；

对所述现场人脸图像估计出来的年龄A’进行修正：A＝A’+Δ，A为修正后的现场人脸图像年龄。

进一步地，所述人脸比对验证子步骤的具体过程为：

当所述持证者人脸应有的年龄A1与所述证件表面人脸图像年龄A2的年龄差距小于指定年龄间隔时，将所述现场人脸图像F1与所述证件表面人脸图像F2进行人脸身份相似度判断，如果其相似度大于指定判断阀值，则验证成功；否则，验证失败；

当所述持证者人脸应有的年龄A1与所述证件表面人脸图像年龄A2的年龄差距大于或等于指定年龄间隔时，

首先，利用人脸老化模型合成与持证者人脸应有的年龄段一致的虚拟人脸图像，使用合成的虚拟人脸图像与所述现场人脸图像F1进行人脸相似度判断，然后减低指定判断阀值，如果其相似度大于减低后的指定判断阀值，则验证成功；否则，验证失败。

进一步地，所述人脸属性分析方法为：

SA1、采用Gabor滤波器和局部二元模式的方法提取现场人脸图像特征；

SA2、典型相关分析对人脸图像特征降维与分析；

SA3、采用最近邻聚类方法得出人脸图像的种族、性别和年龄值。

进一步地，所述人脸属性分析方法为：

SB1、采用深度学习的方法进行人脸属性训练与学习；

SB2、利用深度学习训练得到的模型进行人脸特征提取与属性分类；

SB3、获取人脸图像的种族、性别和年龄值。

本发明相对于现有技术具有如下的优点及效果：

(1)目前人证合一验证方法大多只采用人脸身份信息进行验证，而本发明同时利用了人脸的种族、性别、年龄和面部特征等信息，具有较高的可靠性和普及性。主要体现为：①通过种族和性别判别可以准确高效地排除很明显的冒用情况。因为目前人脸的种族和性别识别技术比人脸识别技术的精度和效率要高得多。②利用年龄分析可以防止照片攻击和提高人脸识别的精度。③通过种族、性别、年龄和面部特征的四重验证提高了系统的可靠性。

(2)目前基于人脸图像的人证合一验证方法很难解决年龄变化所带来的影响，可靠性并不高，因此普及性会受到影响。本发明通过相似度动态设计和年龄合成的方法可以解决人证合一验证过程中的年龄变化问题。

(3)由于基因、生活方式、健康状况等内在因素，导致年龄对于不同人有着不同的变化模式，影响最终的年龄估计准确率。为了提高年龄估计的准确性，本发明充分利用已知的证件表面人脸图像和年龄的先验信息，估计出此人的内在因素误差。然后利用此误差对现场人脸估计出的年龄进行修正得到更精确的年龄，解决人脸年龄估计内在因素干扰问题。

附图说明

图1是本发明公开的基于人脸属性分析的人证合一身份验证方法的流程步骤图；

图2(a)是人脸合成的输入人脸图像；

图2(b)是人脸合成的输出人脸图像。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

本实施例提出一种基于人脸属性分析的人证合一身份验证方法，主要利用现场人脸所呈现的种族、性别、年龄和面部图像信息与证件表面信息进行人证一致性判断，不需要访问公安系统数据库。整个人证合一验证方法包括三大步骤，如图1所示：

步骤S1、现场人脸图像采集。利用现场摄像头抓拍若干幅持证者人脸图像(示例性的，抓拍10幅图像，但具体可以根据摄像头的性能参数进行调整)，并利用人脸图像质量评判技术从若干幅抓拍的人脸图像中挑选出一幅质量最好的人脸图像作为现场人脸图像。

步骤S2、证件信息采集。利用证件信息采集设备读取证件信息，包括：1)种族信息；2)性别信息；3)出生日期(年龄信息)；4)证件办理时间；5)证件表面人脸图像。

步骤S3、人证合一验证。此步骤主要利用人脸属性分析验证人证合一情况，是本发明的重点与关键，主要包括以下内容：

S3.1、人脸种族和性别验证。对摄像头获取的人脸进行图像预处理、种族和性别特征提取和识别等操作获取现场持证者的人脸种族和性别信息。并与证件上的种族和性别信息进行比对，如果一致，则进行下一步年龄验证；如果不一致，则判定为冒用情况。

S3.2、人脸年龄验证。对摄像头获取的人脸进行年龄特征提取和年龄估计等操作获取现场持证者的人脸年龄。并与证件上根据出生日期推算出的年龄进行比对，如果相差小5，则进行下一步人脸比对验证；否则，则判定为冒用情况。

证件上的年龄通过获取到的证件上的出生日期推算得出，如，根据身份证上的出生日期来推算持证者当时的年龄。一般地，现场人脸与证件表面人脸拍摄时间相差都较大，新办的证件(3年以内新办的)除外。因此，可以利用这种人脸年龄差异信息防止无人值守场合不法分子利用打印证件表面人脸图像欺骗摄像头而通过人脸比对验证环节。例如，假设持证者的身份证件是5年前办的，如果不法分子利用打印的身份证件表面人脸图像欺骗摄像头，那么在年龄验证步骤中就被拦截下来。因为此现场人脸图像年龄与实际现场年龄不符，所以通不过验证。

S3.3、人脸比对验证。对摄像头获取的人脸图像与证件表面人脸图像进行人脸比对鉴别。人脸鉴别技术采用目前主流的深度学习或稀疏表示等先进方法。如果是同一人，则验证通过；否则，则判定为冒用情况。由于人脸年龄变化会严重影响人脸鉴别的可靠性，为了克服年龄变化所带来的影响，本发明从两个方面解决此问题：

1)相似度动态设计策略。首先，通过获取的证件办理时间，计算出证件表面人脸图像的年龄，作为A1。如，根据身份证背面的“有效期限”可以计算出身份证表面人脸图像的年龄。然后，通过证件的出生日期，推算出现场人脸的年龄，作为A2。当A1与A2的差值大于10岁时，人脸已经发生了很大的变化，此时应该降低两幅人脸图像比对的相似度来降低误判率。

2)人脸年龄合成策略。当A1与A2的差值大于10岁时，传统的人脸鉴别算法的可靠性急剧下降。为了克服人脸老化的影响，本发明利用人脸老化模型合成不同年龄段的人脸图像，使两幅比对的人脸图像属于同一年龄段，减少了年龄的干扰。具体为：首先，对证件表面人脸图像，利用人脸老化模型合成与现场人脸年龄段一致的虚拟人脸图像。然后，使用合成的虚拟人脸图像与现场人脸图像进行比对。

实施例二

本实施例公开一种基于人脸属性分析的人证合一身份验证方法的另一具体实施方式，包括现场人脸图像采集、证件信息采集和人证合一验证三大步骤，如图1所示。其中人证合一验证包括种族与性别验证，年龄验证和人脸比对验证等3个步骤。下面逐一对各步骤进行详细说明：

步骤S1：现场人脸图像采集

由图像采集卡负责采集持证者现场人脸图像。由于采集到的人脸图像通常含有较多背景干扰，同时可能包括各种姿态、表情和光照变化的人脸图像。因此，本发明通过AdaBoost或者深度学习算法进行人脸检测，提取干净的人脸图像。利用人脸图像质量评判技术，从众多采集的人脸图像中挑选出一幅质量最好的(姿态正面、光照均匀、表情中性、清晰度高)人脸图像作为现场人脸图像，记为F1。

步骤S2：证件信息采集

证件信息可以采用专门的证件芯片读取设备采集。也可以采用图像采集设备拍摄证件正反面，然后通过字符识别(OCR)技术获取证件信息。由于本发明需要利用种族、性别、年龄和人脸图像等信息，因此，证件信息采集包括如下三项：

1)获取种族和性别信息。直接从证件的种族和性别栏获取。

2)获取证件年龄信息。首先从出生日期栏获取出生年，并计算：现场年份—出生年份＝持证者人脸应有的年龄，记为A1；然后，获取证件的办证时间，计算：办证年份—出生年份＝证件表面人脸图像年龄，记为A2。

3)如果利用了证件芯片读取设备，如，身份证芯片读取设备，则直接提取芯片人脸图像，记为F2。如果是利用图像采集卡采集证件表面信息的方式，则利用AdaBoost人脸检测技术提取证件表面人脸图像，记为F2。

步骤S3：人证合一验证

此部分主要包括种族与性别验证、年龄验证和人脸比对验证三个子步骤。由于证件芯片或者证件表面上提供有种族、性别和年龄信息，因此，只需要对现场抓拍人脸进行种族、性别和年龄估计即可。本发明采用目前效果较好的人脸属性分析方法。主要包括两种1)采用Gabor滤波器+局部二元模式(LBP)的方法提取现场人脸图像特征；然后，采用典型相关分析(CCA)对人脸图像特征降维与分析；最后，采用最近邻聚类方法得出人脸图像的种族、性别和年龄值。2)采用深度学习的方法进行人脸属性训练与学习，利用深度学习训练得到的模型进行人脸特征提取与属性分类。目前存在许多人脸种族、性别和年龄估计的方法，但是每种方法只能估计其中一个。本发明方法采用的两种方法可以同时估计出人脸种族、性别和年龄信息。

S3.1种族与性别验证

将现场人脸图像估计出的种族和性别，记为R1和G1，与证件上的种族和性别，记为R2和G2，进行比对。如果一致，则转入下一步；否则，验证失败。

由于种族和性别估计较容易，目前的算法大多能达到95％以上的准确率。所以，通过种族和性别验证可以高效地过滤掉很明显的证件冒用情况。

S3.2年龄验证

将根据现场人脸图像估计出来的年龄记为A’，与持证者人脸应有的年龄A1进行比对。如果误差小于5岁，则转入下一步；否则，验证失败。

在实际应用中，年龄对于不同人有着不同的变化模式，如有的人看起来显得年青(如林志颖)，而有的人则显得较老。这主要由基因、种族背景、健康状况、生活方式、气候条件等各种因素的影响而导致。为了克服不同因素影响而导致年龄估计不准确的问题，本发明充分利用已知的证件表面人脸图像和年龄的先验信息，估计出此人的各种因素影响导致的误差。然后利用此误差对现场人脸估计出的年龄A’进行修正得到更精确的年龄。具体为：首先，采用本发明的年龄估计方法对证件表面人脸图像进行年龄估计得出A2’；然后，根据证件表面人脸年龄A2与估计年龄A2’计算出年龄内在因素Δ：A2—A2’＝因素影响误差Δ；最后，对现场人脸图像年龄A’进行修正：A＝A’+Δ，A为修正后的现场人脸图像年龄，将修正后的年龄A作为新的现场人脸图像估计年龄A’进行后继步骤的计算。

S3.3人脸比对验证

将现场人脸F1与证件人脸F2，进行人脸身份鉴别。如果其相似度大于某一阀值，则验证成功；则否验证失败。本发明采用的人脸鉴别方法包括但不限于目前主流的人脸识别方法，如稀疏表示人脸识别方法和深度学习方法等。

在实用场景中，当现场人脸F1与证件人脸F2的年龄差距大于10岁时，传统的人脸鉴别算法的可靠性急剧下降。为了克服人脸年龄变化影响，本发明利用人脸老化模型合成不同年龄段的人脸图像，使两幅比对的人脸图像属于同一年龄段，减少了年龄的干扰。具体为：如果F1与F2的年龄差距小于10岁，则采用传统的人脸鉴别方法进行人脸比对验证。如果F1与F2的年龄差距大于10岁，则首先，对身份证表面人脸图像，利用人脸老化模型合成与现场人脸年龄段一致的虚拟人脸图像，人脸图像合成示例如图2(a)和图2(b)所示。其中，图2(a)为输入人脸图像，其中黑点为利用ASM方法定位的人脸关键点，图2(b)为合成的从4-34岁的人脸虚拟图像。然后，使用合成的虚拟人脸图像与现场人脸图像进行人脸比对鉴别。最后，适当降低相似度阀值进行人脸比对验证。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于人脸属性分析的人证合一身份验证方法，其特征在于，包括下列步骤：

现场人脸图像采集步骤，利用现场摄像头抓拍持证者人脸，并利用人脸图像质量评判技术从若干幅抓拍的人脸图像中挑选出一幅质量最优的人脸图像作为现场人脸图像，记为F1；

证件信息采集识别或者读取步骤，利用证件信息采集设备采集识别或者读取证件中的信息；

人证合一验证步骤，利用人脸属性分析方法估计所述现场人脸图像的种族、性别和年龄信息，然后根据采集识别或者读取的证件信息，依次进行种族验证、性别验证、年龄验证和人脸比对验证，从而验证人证是否合一。

2.根据权利要求1所述的基于人脸属性分析的人证合一身份验证方法，其特征在于，

所述现场人脸图像采集步骤中通过AdaBoost或者深度学习算法进行人脸检测；然后利用人脸图像质量评判技术从检测到的若干幅人脸图像中提取姿态正面、光照均匀、表情中性、清晰度高的质量最好的一幅人脸图像作为现场人脸。

3.根据权利要求2所述的基于人脸属性分析的人证合一身份验证方法，其特征在于，

所述证件信息包括：种族信息、性别信息、出生日期、证件办理时间或/和证件表面人脸图像。

4.根据权利要求3所述的基于人脸属性分析的人证合一身份验证方法，其特征在于，所述证件信息采集识别或者读取步骤的具体过程为：

获取证件种族和性别信息，记为R2和G2；

获取证件年龄信息，首先获取出生年份，并计算：现场年份-出生年份＝持证者人脸应有的年龄，记为A1；然后，获取证件的办证时间，计算：办证年份-出生年份＝证件表面人脸图像年龄，记为A2；

获取证件表面人脸图像，记为F2。

5.根据权利要求3或4所述的基于人脸属性分析的人证合一身份验证方法，其特征在于，

所述证件信息通过专门的证件芯片读取设备读取或者通过图像采集设备拍摄证件正反面进行图像采集，然后通过字符识别技术OCR获取。

6.根据权利要求5所述的基于人脸属性分析的人证合一身份验证方法，其特征在于，所述人证合一验证步骤的具体过程为：

种族验证与性别验证子步骤，将所述现场人脸图像估计出的种族和性别，记为R1和G1，与证件上的种族和性别，记为R2和G2，进行比对，如果一致，则转入下一子步骤；否则，验证失败；

年龄验证子步骤，将所述现场人脸图像估计出来的年龄记为A’，与所述持证者人脸应有的年龄A1进行比对，如果误差小于指定误差容限，则转入下一子步骤；否则，验证失败；

人脸比对验证子步骤，将所述现场人脸图像F1与所述证件表面人脸图像F2进行人脸身份相似度判断，如果其相似度大于指定判断阀值，则验证成功；否则，验证失败。

7.根据权利要求5所述的基于人脸属性分析的人证合一身份验证方法，其特征在于，所述年龄验证子步骤还包括对所述现场人脸图像估计出来的年龄A’进行修正的步骤，具体过程为：

利用所述人脸属性分析方法估计对所述证件表面人脸图像F2进行年龄估计得出A2’；

根据所述证件表面人脸图像年龄A2与估计年龄A2’计算出年龄内在因素误差Δ：A2-A2’＝内在因素误差Δ；

对所述现场人脸图像估计出来的年龄A’进行修正：A＝A’+Δ，A为修正后的现场人脸图像年龄。

8.根据权利要求5所述的基于人脸属性分析的人证合一身份验证方法，其特征在于，所述人脸比对验证子步骤的具体过程为：

当所述持证者人脸应有的年龄A1与所述证件表面人脸图像年龄A2的年龄差距小于指定年龄间隔时，将所述现场人脸图像F1与所述证件表面人脸图像F2进行人脸身份相似度判断，如果其相似度大于指定判断阀值，则验证成功；否则，验证失败；

当所述持证者人脸应有的年龄A1与所述证件表面人脸图像年龄A2的年龄差距大于或等于指定年龄间隔时，

首先，利用人脸老化模型合成与持证者人脸应有的年龄段一致的虚拟人脸图像，使用合成的虚拟人脸图像与所述现场人脸图像F1进行人脸相似度判断，然后减低指定判断阀值，如果其相似度大于减低后的指定判断阀值，则验证成功；否则，验证失败。

9.根据权利要求1所述的基于人脸属性分析的人证合一身份验证方法，其特征在于，所述人脸属性分析方法为：

SA1、采用Gabor滤波器和局部二元模式的方法提取现场人脸图像特征；

SA2、典型相关分析对人脸图像特征降维与分析；

SA3、采用最近邻聚类方法得出人脸图像的种族、性别和年龄值。

10.根据权利要求1所述的基于人脸属性分析的人证合一身份验证方法，其特征在于，所述人脸属性分析方法为：

SB1、采用深度学习的方法进行人脸属性训练与学习；

SB2、利用深度学习训练得到的模型进行人脸特征提取与属性分类；

SB3、获取人脸图像的种族、性别和年龄值。