CN107025435A - 一种人脸识别处理方法和系统 - Google Patents

Abstract

本发明实施例提供一种人脸识别处理方法及系统，涉及计算机视觉与图像处理领域，所述方法包括：获取待识别人的身份证人脸相片和实时人脸图像；提取所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征；根据所述身份证人脸相片中的人脸特征，以及实时人脸图像中的人脸特征计算身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数；识别所述待识别人身份。通过利用了高清证件照的细节特征、二代身份证芯片人脸图片分辨率较低但姿态正光照好的特点，以及现场采集的人脸照姿态表情变化大等特点，进行训练得到辅助参数，提升了人脸识别处理的准确率以及场景适应性。

Description

一种人脸识别处理方法和系统

技术领域

本发明涉及计算机视觉与图像处理领域，更具体地，涉及一种人脸识别处理方法和系统。

背景技术

目前，在火车站、汽车站、公安检查站、大型会展等场所，由于安全保卫或其它业务需要，往往需要现场对旅客的身份进行核查。2015年以来，基于人脸识别的身份证核验设备在开始全国多地快速推广应用，并取得了良好的效果。这种设备通过读取旅客的二代身份证芯片信息，同时采用人脸确认算法自动比对身份证照片与现场采集的人脸照片的一致性，有效杜绝犯罪份子利用他人身份证件蒙混过关的行为。

在现有技术中基于联合贝叶斯的人脸确认自提出以来很快成为人脸确认的主流框架，其主要思想是将一副人脸看做两部分构成，一部分是人与人之间的差异，另一部分是个体自身的差异，比如光照、姿态、表情的变动，通过对大量人脸照片的训练计算出两者的均值和协方差矩阵参数。在进行人脸确认任务时，对于两张输入的人脸照片，基于训练获得的参数计算出两张照片可能是同一身份的最大联合后验概率，如果大于设定阈值就判断为同一人。

现有技术中，由于从二代身份证芯片中读取的人脸图片大小为126*104，两眼间距约30像素，分辨率较低，但姿态正，光照好。而现场采集的人脸照片往往分辨率较高，但光照、姿态、表情变化大。并且现场采集的时间比身份证照片采集时间通常要晚0-10年左右，因此在识别过程中，基于联合贝叶斯的技术假设输入的两张照片是对称的、同分布的，不能充分利用身份证人脸确认这个应用所涉及的特殊领域知识，限制了该算法在这种应用下的准确率以及场景适应性。

发明内容

为解决现有技术中，人脸识别准确率不高以及场景适应性不够广泛的问题，本发明实施例提供一种人脸识别处理方法和系统。

根据本发明实施例的一个方面，提供一种人脸识别处理方法，包括：

S1，获取待识别人的身份证人脸相片和实时人脸图像；

S2，提取所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征；

S3，根据所述身份证人脸相片中的人脸特征，计算身份证人脸特征自相关系数；根据所述实时人脸图像中的人脸特征计算现场人脸特征自相关系数；根据所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征计算身份证现场人脸特征互相关系数；

S4，根据所述身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数，识别所述待识别人身份。

其中，所述根据所述身份证人脸相片中的人脸特征，计算身份证人脸特征自相关系数包括：

通过以下公式根据所述身份证人脸相片中的人脸特征，计算身份证人脸特征自相关系数，所述公式为：

其中，x_p为所述身份证人脸相片中的人脸特征，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵。

其中，所述根据所述实时人脸图像中的人脸特征计算现场人脸特征自相关系数包括：

通过以下公式根据所述实时人脸图像中的人脸特征，计算现场人脸特征自相关系数，所述公式为：

其中，x_g为所述实时人脸相片中的人脸特征，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵。

其中，所述根据所述身份证人脸相片中的人脸特征和所述实施人脸图像中的人脸特征计算身份证现场人脸特征互相关系数包括：

通过以下公式根据所述身份证人脸相片中的人脸特征和所述实施人脸图像中的人脸特征计算身份证现场人脸特征互相关系数，所述公式为：

其中，x_p为所述身份证人脸相片中的人脸特征，x_g为所述实时人脸相片中的人脸特征，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵。

其中，所述S_u、S_ε和S_ε通过训练方法获得。

其中，所述根据所述身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数，识别所述待识别人身份包括：

若A+B-2C>＝T，则识别出所述待识别人与所述身份证的主人为同一人，若A+B-2C<T，识别出所述待识别人与所述身份证的主人不为同一人；

其中，A为所述身份证人脸特征自相关系数，B为所述现场人脸特征自相关系数，C为所述现场人脸特征自相关系数和身份证现场人脸特征互相关系数，T为预设阈值。

其中，所述训练方法包括：

S11，准备训练样本库，其中训练样本库由多组照片样本组成，每组照片样本包含属于同一身份的一张身份证芯片人脸照片、一张高清证件照片和多张现场人脸照片。

S12，随机初始化参数S_u、S_ε和S_δ，其中，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵，矩阵大小为N*N，N为人脸特征长度；

对训练样本库中的每一组照片样本，计算其观测特征x，其中x表示为x＝[x₁；...；x_m]，x₁为高清证件照的特征，x₂为身份证芯片人脸照片的特征，x₃-x_m为现场人脸的特征。

S13，对每一组特征x，用x＝Ph表示，使用公式计算h；

其中，

h＝[u；ε；δ₁...；δ_m-2]

其中，u为人脸特征均值，ε为所述证件照片的协方差矩阵，δ₁...δ_m-2为所述现场人脸照片的协方差矩阵；

其中，∑_h＝diag(S_u，S_ε，S_δ，…，S_δ)

S14，进行参数更新，根据u；ε；δ₁...；δ_m-1计算S_u、S_e和S_δ，其中，

S_u＝cov(u)，S_ε＝cov(ε)，S_δ＝cov(δ)。

根据本发明实施例的另一个方面，提供一种人脸识别处理系统，包括：人脸图像采集模块，用于获取待识别人的身份证人脸相片和实时人脸图像；

人脸特征提取模块，用于提取所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征；

人脸特征计算模块，根据所述身份证人脸相片中的人脸特征，计算身份证人脸特征自相关系数；根据所述实时人脸图像中的人脸特征计算现场人脸特征自相关系数；根据所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征计算身份证现场人脸特征互相关系数；

综合判定模块，用于根据所述身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数，识别所述待识别人身份。

其中，所述综合判定模块中根据所述身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数，识别所述待识别人身份包括：

若A+B-2C>＝T，则识别出所述待识别人与所述身份证的主人为同一人，若A+B-2C<T，识别出所述待识别人与所述身份证的主人不为同一人；

其中，A为所述身份证人脸特征自相关系数，B为所述现场人脸特征自相关系数，C为所述现场人脸特征自相关系数和身份证现场人脸特征互相关系数，T为预设阈值。

其中，所述训练系统包括：

训练样本库储存模块，用于准备训练样本库，其中训练样本库由多组照片样本组成，每组照片样本包含属于同一身份的一张身份证芯片人脸照片、一张高清证件照和多张现场人脸。

观测特征提取模块，随机初始化参数S_u、S_ε和S_δ，其中，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵，矩阵大小为N*N，N为人脸特征长度；

对训练样本库中的每一组照片样本，计算其观测特征x，其中x表示为x＝[x₁；...；x_m]，x₁为高清证件照的特征，x₂为身份证芯片人脸照片的特征，x₃-x_m为现场人脸的特征；

真实特征计算模块，对每一组特征x，用x＝Ph表示，使用公式计算h；

其中，

h＝[u；ε；δ₁...；δ_m-2]

其中，u为人脸特征均值，ε为所述证件照片的协方差矩阵，δ₁...δ_m-2为所述现场人脸照片的协方差矩阵；

其中，∑_h＝diag(S_u，S_ε，S_δ，…，S_δ)

参数更新模块，用于进行参数更新，根据u；ε；δ₁...；δ_m-1计算S_u、S_ε和S_δ，其中，

S_u＝cov(u)，S_ε＝cov(ε)，S_δ＝cov(δ)。

本发明实施例提出一种人脸识别处理方法和系统，通过使用身份证芯片人脸像片和现场实时人脸图像之间的异分布人脸确认，通过对大量人脸照片的训练计算出多个协方差矩阵参数，同时通过使用高清身份证件照片来辅助训练获得参数，提升了识别的准确率以及场景适应性。

附图说明

图1为本发明实施例提供的一种人脸识别处理方法的流程图；

图2为本发明实施例提供的一种人脸识别处理方法训练阶段流程图；

图3为本发明另一实施例提供的一种人脸识别处理系统的结构框图；

图4为本发明另一实施例提供的一种人脸识别处理系统的训练系统结构框图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，图1为本发明实施例提供的一种人脸识别处理方法的流程图，所述方法包括：

S1，获取待识别人的身份证人脸相片和实时人脸图像。

具体的，在执行中，身份证人脸相片通过二代身份证阅读器识读身份证采集区内的身份证，解析出芯片内的身份证人脸照片；同时，通过高清摄像机对拍摄范围内的待识别人的人脸图像进行实时采集。

S2，提取所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征。

其中，所述人脸特征使用x表示，其中，所述身份证人脸相片中的人脸特征表示为x_p，所述实时人脸图像中的人脸特征表示为x_g。

具体的当二代身份证阅读器获取了身份证人脸相片以及高清摄像机获取了实时人脸图像以后，通过所述人脸相片以及人脸图像计算其人脸特征，并将特征用于后续步骤进行计算。

S3，根据所述身份证人脸相片中的人脸特征，计算身份证人脸特征自相关系数；根据所述实时人脸图像中的人脸特征计算现场人脸特征自相关系数；根据所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征计算身份证现场人脸特征互相关系数。

其中，所述身份证人脸特征自相关系数通过所述身份证人脸特征x_p以及参数S_u、S_ε和S_ε计算获得；所述现场人脸特征自相关系数通过所述实时人脸图像中的人脸特征x_g以及参数S_u、S_ε和S_ε计算获得；所述身份证现场人脸特征互相关系数通过所述身份证人脸特征x_p、所述实时人脸图像中的人脸特征x_g以及参数S_u、S_ε和S_ε计算获得。

在具体实施中，通过S2获得的身份证人脸特征以及实时人脸特征，通过计算获取相关系数，所述相关系数包括身份证人脸特征自相关系数A、现场人脸特征自相关系数B以及身份证现场人脸特征互相关系数C。

S4，根据所述身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数，识别所述待识别人身份。

具体的，通过S3获取的身份证人脸特征自相关系数A、现场人脸特征自相关系数B以及身份证现场人脸特征互相关系数C，进行系数比对，来判定待识别人与身份证人员是否为同一身份。

本发明实施例提供一种人脸识别处理方法，实现了利用身份证芯片中的低清人脸进行身份确认，充分利用二代身份证芯片中的人脸照片样本分布知识、现场采集的人脸照片样本分布知识、身份证人脸与现场采集人脸的联合分布知识，有效提高身份证人脸确认的准确率。

在上述实施例中，在S3中，所述根据所述身份证人脸相片中的人脸特征，计算身份证人脸特征自相关系数包括：

通过以下公式根据所述身份证人脸相片中的人脸特征，计算身份证人脸特征自相关系数，所述公式为：

其中，x_p为所述身份证人脸相片中的人脸特征，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵。

具体的，在本方法的计算中引入了多种相关参数包括：S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵。

通过此方法，引入了人脸特征均值的协方差矩阵S_u作为参考系数，提升了人脸识别处理的场景适应性和准确率。

在上述实施例中，所述根据所述实时人脸图像中的人脸特征计算现场人脸特征自相关系数包括：

通过以下公式根据所述实时人脸图像中的人脸特征，计算现场人脸特征自相关系数，所述公式为：

其中，x_g为所述实时人脸相片中的人脸特征，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵。

具体的，在本方法的计算中引入了多种相关参数包括：S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵。

通过此方法，引入了人脸特征均值的协方差矩阵S_u作为参考系数，提升了人脸识别处理的场景适应性和准确率。

在上述实施例中，所述根据所述身份证人脸相片中的人脸特征和所述实施人脸图像中的人脸特征计算身份证现场人脸特征互相关系数包括：

通过以下公式根据所述身份证人脸相片中的人脸特征和所述实施人脸图像中的人脸特征计算身份证现场人脸特征互相关系数，所述公式为：

其中，x_p为所述身份证人脸相片中的人脸特征，x_g为所述实时人脸相片中的人脸特征，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵。

具体的，在本方法的计算中引入了多种相关参数包括：S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵。

通过此方法，引入了人脸特征均值的协方差矩阵S_u作为参考系数，提升了人脸识别处理的场景适应性和准确率。

在上述实施例中，所述根据所述身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数，识别所述待识别人身份包括：

若A+B-2C>＝T，则识别出所述待识别人与所述身份证的主人为同一人，若A+B-2C<T，识别出所述待识别人与所述身份证的主人不为同一人；

其中，A为所述身份证人脸特征自相关系数，B为所述现场人脸特征自相关系数，C为所述现场人脸特征自相关系数和身份证现场人脸特征互相关系数，T为预设阈值。

具体的，通过S3获取的身份证人脸特征自相关系数A、现场人脸特征自相关系数B、身份证现场人脸特征互相关系数C以及预设阈值T进行比对，比对方式为若A+B-2C>＝T，则输出端判定所述待识别人与身份证的主人为同一人，若A+B-2C<T，识输出端判定所述待识别人与所述身份证的主人不为同一人。

通过此方法，利用身份证芯片中的人脸照片和现场人脸照之间的异分布人脸确认，提升了人脸识别处理的准确率。

在以上实施例中，所述S_u、S_ε和S_ε通过训练阶段获得，参考图2所示，图2为本发明实施例提供的一种人脸识别处理方法训练阶段流程图，如图2所述，所述训练阶段包括：

S11，准备训练样本库，其中训练样本库由多组照片样本组成，每组照片样本包含属于同一身份的一张身份证芯片人脸照片、一张高清证件照片和多张现场人脸照片。

在具体实施中，训样本库由M组照片组成，每组照片包括属于同一身份的一张身份证人脸照片，一张高清证件照片以及多张现场人脸照片，M通常大于10万。

S12，随机初始化参数S_u、S_ε和S_δ，其中，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵，矩阵大小为N*N，N为人脸特征长度。

对训练样本库中的每一组照片样本，计算其观测特征x，其中x表示为x＝[x₁；...；x_m]，x₁为高清证件照的特征，x₂为身份证芯片人脸照片的特征，x₃-x_m为现场人脸的特征。

具体的，对参数S_u、S_ε和S_δ进行初始化，其中，S_u、S_ε和S_δ都为大小为N*N协方差矩阵，N为人脸特征长度；同时，根据每组照片中的高清证件照，身份证芯片人脸照片以及现场人脸照片计算出相应的人脸特征。

S13，对每一组特征x，用x＝Ph表示，使用公式计算h；

其中，

h＝[u；ε；δ₁...；δ_m-2]

其中，u为人脸特征均值，ε为所述证件照片的协方差矩阵，δ₁...δ_m-2为所述现场人脸照片的协方差矩阵；

其中，Σ_h＝diag(S_u，S_ε，S_δ，…，S_δ)

在具体实施中，对于高清证件照的特征表示为x₁＝u+ε；现场照的特征表示为x₁＝u+δ₁…x_m-2＝u+δ_m-2；通过公式计算出h，其中，h包括u、ε、δ₁…δ_m-2。

S14，进行参数更新，根据u；ε；δ₁...；δ_m-1计算S_u、S_ε和S_δ，其中，

S_u＝cov(u)，S_ε＝cov(ε)，S_δ＝cov(δ)。

具体的，通过S13中获得的u、ε、δ₁…δ_m-2，计算参数S_u、S_ε和S_δ，并记录此参数用于下一组照片进行训练，直到所有照片组训练完毕后，记录最终的S_u、S_ε和S_δ。

本发明实施例提供的，使用高清证件照来计算初始化的人脸特征均值u，计算出人脸特征均值协方差矩阵S_u，同时通过身份证芯片照片计算出身份证人脸特征的协方差矩阵S_ε，现场人脸照片计算出现场人脸特征的协方差矩阵S_δ，获取了多个参数用于人脸识别，提升了人脸识别处理的准确率。

本发明利用了高清证件照的细节特征、二代身份证芯片人脸图片分辨率较低但姿态正光照好的特点以及现场采集的人脸照片往往分辨率较高但光照姿态表情变化大、现场采集的时间比身份证照片采集时间通常要晚1-10年等相关信息，通过训练步骤获取更多的有效参数用于人脸识别处理，提高了人脸识别率，在场景适应性方面，能有效适应现场光照姿态表情变化。

图3为本发明另一实施例提供的一种人脸识别处理系统的结构框图，如图3所示，所述系统包括人脸图像采集模块31、人脸特征提取模块32、人脸特征计算模块33以及综合判定模块34，其中：

人脸图像采集模块31用于获取待识别人的身份证人脸相片和实时人脸图像；

具体的，在执行中，身份证人脸相片通过二代身份证阅读器识读身份证采集区内的身份证，解析出芯片内的身份证人脸照片；同时，通过高清摄像机对拍摄范围内的待识别人的人脸图像进行实时采集。

人脸特征提取模块32用于提取所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征；

其中，所述人脸特征使用x表示，其中，所述身份证人脸相片中的人脸特征表示为x_p，所述实时人脸图像中的人脸特征表示为x_g。

具体的当二代身份证阅读器获取了身份证人脸相片以及高清摄像机获取了实时人脸图像以后，通过所述人脸相片以及人脸图像计算其人脸特征，并将特征用于后续模块进行计算。

人脸特征计算模块33用于根据所述身份证人脸相片中的人脸特征，计算身份证人脸特征自相关系数；根据所述实时人脸图像中的人脸特征计算现场人脸特征自相关系数；根据所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征计算身份证现场人脸特征互相关系数；

其中，所述身份证人脸特征自相关系数通过所述身份证人脸特征x_p以及参数S_u、S_ε和S_ε计算获得；所述现场人脸特征自相关系数通过所述实时人脸图像中的人脸特征x_g以及参数S_u、S_ε和S_ε计算获得；所述身份证现场人脸特征互相关系数通过所述身份证人脸特征x_p、所述实时人脸图像中的人脸特征x_g以及参数S_u、S_ε和S_ε计算获得。

在具体实施中，通过人脸特征提取模块32获得的身份证人脸特征以及实时人脸特征，通过计算获取相关系数，所述相关系数包括身份证人脸特征自相关系数A、现场人脸特征自相关系数B以及身份证现场人脸特征互相关系数C。

综合判定模块34用于根据所述身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数，识别所述待识别人身份；

具体的，通过人脸特征计算模块33获取的身份证人脸特征自相关系数A、现场人脸特征自相关系数B以及身份证现场人脸特征互相关系数C，进行系数比对，来判定待识别人与身份证人员是否为同一身份。

本发明实施例提供一种人脸识别处理系统，实现了利用身份证芯片中的低清人脸进行身份确认，充分利用二代身份证芯片中的人脸照片样本分布知识、现场采集的人脸照片样本分布知识、身份证人脸与现场采集人脸的联合分布知识，有效提高身份证人脸确认的准确率。

在以上实施例中，综合判定模块34中根据所述身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数，识别所述待识别人身份包括：

若A+B-2C>＝T，则识别出所述待识别人与所述身份证的主人为同一人，若A+B-2C<T，识别出所述待识别人与所述身份证的主人不为同一人；

其中，A为所述身份证人脸特征自相关系数，B为所述现场人脸特征自相关系数，C为所述现场人脸特征自相关系数和身份证现场人脸特征互相关系数，T为预设阈值。

通过此系统，利用身份证芯片中的人脸照片和现场人脸照之间的异分布人脸确认，提升了人脸识别处理的准确率。

在以上实施例中，参考图4，图4为本发明另一实施例提供的一种人脸识别处理系统的训练系统结构框图，如图4所示，所述系统包括训练样本库储存模块41、观测特征提取模块42、真实特征计算模块43和参数更新模块44，其中：

训练样本库储存模块41用于准备训练样本库，其中训练样本库由多组照片样本组成，每组照片样本包含属于同一身份的一张身份证芯片人脸照片、一张高清证件照片和多张现场人脸照片。

在具体实施中，训样本库由M组照片组成，每组照片包括属于同一身份的一张身份证人脸照片，一张高清证件照片以及多张现场人脸照片，M通常大于10万。

观测特征提取模块42用于随机初始化参数S_u、S_ε和S_δ，其中，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵，矩阵大小为N*N，N为人脸特征长度；

对训练样本库中的每一组照片样本，计算其观测特征x，其中x表示为x＝[x₁；...；x_m]，x₁为高清证件照的特征，x₂为身份证芯片人脸照片的特征，x₃-x_m为现场人脸的特征。

具体的，对参数S_u、S_ε和S_δ进行初始化，其中，S_u、S_ε和S_δ都为大小为N*N协方差矩阵，N为人脸特征长度；同时，根据每组照片中的高清证件照，身份证芯片人脸照片以及现场人脸照片计算出相应的人脸特征。

真实特征计算模块43用于对每一组特征x，用x＝Ph表示，使用公式计算h；

其中，

h＝[u；ε；δ₁...；δ_m-2]

其中，u为人脸特征均值，ε为所述证件照片的协方差矩阵，δ₁...δ_m-2为所述现场人脸照片的协方差矩阵；

其中，∑_h＝diag(S_u，S_ε，S_δ，…，S_δ)

在具体实施中，对于高清证件照的特征表示为x₁＝u+ε；现场照的特征表示为x₁＝u+δ₁…x_m-2＝u+δ_m-2；通过公式计算出h，其中，h包括u、ε、δ₁…δ_m-2。

参数更新模块44用于进行参数更新，根据u；ε；δ₁...；δ_m-1计算S_u、S_ε和S_δ，其中，S_u＝cov(u)，S_ε＝cov(ε)，S_δ＝cov(δ)。

具体的，通过S13中获得的u、ε、δ₁…δ_m-2，计算参数S_u、S_ε和S_δ，并记录此参数用于下一组照片进行训练，直到所有照片组训练完毕后，记录最终的S_u、S_ε和S_δ。

本发明实施例提供的，使用高清证件照来计算初始化的人脸特征均值u，计算出人脸特征均值协方差矩阵S_u，同时通过身份证芯片照片计算出身份证人脸特征的协方差矩阵S_ε，现场人脸照片计算出现场人脸特征的协方差矩阵S_δ，获取了多个参数用于人脸识别，提升了人脸识别处理的准确率。

本发明利用了高清证件照的细节特征、二代身份证芯片人脸图片分辨率较低但姿态正光照好的特点以及现场采集的人脸照片往往分辨率较高但光照姿态表情变化大、现场采集的时间比身份证照片采集时间通常要晚1-10年等相关信息，通过训练步骤获取更多的有效参数用于人脸识别处理，提高了人脸识别率，在场景适应性方面，能有效适应现场光照姿态表情变化。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸识别处理方法，其特征在于，包括：

S1，获取待识别人的身份证人脸相片和实时人脸图像；

S2，提取所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征；

S3，根据所述身份证人脸相片中的人脸特征，计算身份证人脸特征自相关系数；根据所述实时人脸图像中的人脸特征计算现场人脸特征自相关系数；根据所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征计算身份证现场人脸特征互相关系数；

S4，根据所述身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数，识别所述待识别人身份。

2.根据权利要求1所述的方法，其特征在于，所述根据所述身份证人脸相片中的人脸特征，计算身份证人脸特征自相关系数包括：

通过以下公式根据所述身份证人脸相片中的人脸特征，计算身份证人脸特征自相关系数，所述公式为：

其中，x_p为所述身份证人脸相片中的人脸特征，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵。

3.根据权利要求2所述的方法，其特征在于，所述根据所述实时人脸图像中的人脸特征计算现场人脸特征自相关系数包括：

通过以下公式根据所述实时人脸图像中的人脸特征，计算现场人脸特征自相关系数，所述公式为：

其中，x_g为所述实时人脸相片中的人脸特征，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵。

4.根据权利要求3所述的方法，其特征在于，所述根据所述身份证人脸相片中的人脸特征和所述实施人脸图像中的人脸特征计算身份证现场人脸特征互相关系数包括：

通过以下公式根据所述身份证人脸相片中的人脸特征和所述实施人脸图像中的人脸特征计算身份证现场人脸特征互相关系数，所述公式为：

其中，x_p为所述身份证人脸相片中的人脸特征，x_g为所述实时人脸相片中的人脸特征，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵。

5.根据权利要求4所述的方法，其特征在于，所述根据所述身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数，识别所述待识别人身份包括：

若A+B-2C>＝T，则识别出所述待识别人与所述身份证的主人为同一人，若A+B-2C<T，识别出所述待识别人与所述身份证的主人不为同一人；

其中，A为所述身份证人脸特征自相关系数，B为所述现场人脸特征自相关系数，C为所述身份证现场人脸特征互相关系数，T为预设阈值。

6.根据权利要求4所述的方法，其特征在于所述S_u、S_ε和S_ε通过训练阶段获得。

7.根据权利要求6所述的方法，其特征在于，所述训练阶段包括：

S11，准备训练样本库，其中训练样本库由多组照片样本组成，每组照片样本包含属于同一身份的一张身份证芯片人脸照片、一张高清证件照片和多张现场人脸照片。

S12，随机初始化参数S_u、S_ε和S_δ，其中，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵，矩阵大小为N*N，N为人脸特征长度；

对训练样本库中的每一组照片样本，计算其观测特征x，其中x表示为x＝[x₁；...；x_m]，x₁为高清证件照的特征，x₂为身份证芯片人脸照片的特征，x₃-x_m为现场人脸的特征；

S13，对每一组特征x，用x＝Ph表示，使用公式计算h；

其中，

h＝[u；ε；δ₁...；δ_m-2]

其中，u为人脸特征均值，ε为所述证件照片的协方差矩阵，δ₁...δ_m-2为所述现场人脸照片的协方差矩阵；

其中，∑_h＝diag(S_u，S_ε，S_δ，…，S_δ)

S14，进行参数更新，根据u；ε；δ₁...；δ_m-1计算S_u、S_ε和S_δ，其中，

S_u＝cov(u)，S_ε＝cov(ε)，S_δ＝cov(δ)。

8.一种人脸识别处理系统，其特征在于，包括：

人脸图像采集模块，用于获取待识别人的身份证人脸相片和实时人脸图像；

人脸特征提取模块，用于提取所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征；

人脸特征计算模块，用于根据所述身份证人脸相片中的人脸特征，计算身份证人脸特征自相关系数；根据所述实时人脸图像中的人脸特征计算现场人脸特征自相关系数；根据所述身份证人脸相片中的人脸特征和所述实时人脸图像中的人脸特征计算身份证现场人脸特征互相关系数；

综合判定模块，用于根据所述身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数，识别所述待识别人身份。

9.根据权利要求8所述的系统，所述综合判定模块中根据所述身份证人脸特征自相关系数、现场人脸特征自相关系数和身份证现场人脸特征互相关系数，识别所述待识别人身份包括：

若A+B-2C>＝T，则识别出所述待识别人与所述身份证的主人为同一人，若A+B-2C<T，识别出所述待识别人与所述身份证的主人不为同一人；

其中，A为所述身份证人脸特征自相关系数，B为所述现场人脸特征自相关系数，C为所述现场人脸特征自相关系数和身份证现场人脸特征互相关系数，T为预设阈值。

10.根据权利要求8所述的系统，其特征在于，还包括训练系统，所述训练系统包括：

训练样本库储存模块，用于准备训练样本库，其中训练样本库由多组照片样本组成，每组照片样本包含属于同一身份的一张身份证芯片人脸照片、一张高清证件照和多张现场人脸。

观测特征提取模块，随机初始化参数S_u、S_ε和S_δ，其中，S_u为人脸特征均值协方差矩阵，S_ε为身份证人脸特征的协方差矩阵，S_δ为现场人脸特征的协方差矩阵，矩阵大小为N*N，N为人脸特征长度；

对训练样本库中的每一组照片样本，计算其观测特征x，其中x表示为x＝[x₁；...；x_m]，x₁为高清证件照的特征，x₂为身份证芯片人脸照片的特征，x₃-x_m为现场人脸的特征；

真实特征计算模块，对每一组特征x，用x＝Ph表示，使用公式计算h；

其中，

h＝[u；ε；δ₁...；δ_m-2]

其中，u为人脸特征均值，ε为所述证件照片的协方差矩阵，δ₁...δ_m-2为所述现场人脸照片的协方差矩阵；

其中，∑_h＝diag(S_u，S_ε，S_δ，…，S_δ)

参数更新模块，用于进行参数更新，根据u；ε；δ₁...；δ_m-1计算S_u、S_ε和S_δ，其中，

S_u＝cov(u)，S_ε＝cov(ε)，S_δ＝cov(δ)。