CN102902959A - 基于二代身份证存储证件照的人脸识别方法及系统 - Google Patents

Abstract

本发明为一种基于二代身份证存储证件照的人脸识别方法及系统，包括信息采集步骤、图片处理步骤、人脸检测步骤和人脸验证步骤。在人脸验证过程中，先是基于二元模式的人脸识别方法对局部特征进行判断，然后基于特征脸的人脸识别方法对整体特征进行判断；通过局部特征和整体特征判断相结合以验证当前人是否为声明人，有效地解决了现有技术无法直接将二代身份证中的小照片与现场抓拍的人脸照片直接比对的问题。使用该方法的识别系统包括信息采集子系统、数据处理及分析子系统、监控信息存储子系统以及监控信息管理及查询子系统子系统，可有效提高实行实名制系统的工作效率。

Description

基于二代身份证存储证件照的人脸识别方法及系统

技术领域

本发明涉及安防技术领域，特别涉及基于二代身份证存储证件照的人脸识别方法和识别系统。

背景技术

人脸识别技术是利用计算机分析人脸图像，并从人脸图像中提取有效的信息进行身份识别的技术。人脸识别技术是一个包括多学科非常活跃的研究领域，应用非常广泛，与其他的生物特征识别技术相比有很大的优越性。

人脸识别方法的研究已经很深入，如特征脸方法（Eigenface），最早由Turk和Pentland提出，是从主成分分析（Principal Component Analysis，PCA）导出的一种人脸识别和描述技术，其将包含人脸的图像区域看成是一种随机向量，对应其中较大特征值的基底具有与人脸相似的形状，将其称为特征脸。利用这些基底的线性组合可以描述、表达和逼近人脸图像，因此可以进行人脸识别和合成。识别过程就是将人脸图像映射到由特征脸长成的子空间上，比较其与人脸在特征脸空间中的位置。PCA方法具有均方误差最小、计算量减少、消除冗余等优点。但是PCA也有其自身的缺点，PCA将特征值由大到小进行排列，挑选相对较大的特征值所对应的特征向量，因为较大特征值所对应的特征向量所体现原图像的总体趋、低频分量；较小特征值所对应特征向量体现原图像的细节变化、高配分量，所以PCA法提取图像总体分量，在人脸图像上的表现就是人脸的外部轮廓和灰度变化，以此作为人脸特征，却丢失了一些原有的细节信息。

局部二值模式人脸识别方法（Local Binary Patterns，LBP）是另一种人脸识别方法，遵循从局部到整体的级联策略，使用LBP算子对由小波分解得到的细节图像进行特征提取,以达到扩充特征提取范围和增强所提取特征的有效性的目的，随后采用自适应加权机制对人脸图像的各个分块赋以不同的权值，即是将图像分块，每块再进行LBP处理得到局部直方图特征，把直方图特征按顺序连接，就得到整体的直方图特征。图像局部纹理特征有卓越的描述能力，有很强的分类能力、较高的计算效率。

但如何将现有人脸识别方法应用到基于二代身份证的人脸识别领域，目前还是一个难题，因为现有的人脸识别方法对待识别图片的清晰度要求很高，比如要求人脸照片的两眼距离要大于80像素。而由于存储空间限制，二代身份证RFID卡存储的证件照清晰度较差，人脸照片两眼距离仅在20像素左右。现有的人脸识别方法无法直接将二代身份证存储的高度压缩照片与现场抓拍的人脸照片进行比对。

为解决以上问题，现有身份识别系统采用联网方式获取证件照，如到公安部数据中心下载对应该身份证的原始照片，再利用商用人脸识别软件对身份证原始照片与现场抓拍的人脸照片进行比对。由于必须与身份证数据中心联网，故其应用范围受到极大的限制。

另有一种身份识别系统是通过扫描身份证表面印刷照片的方式获得身份证件照，如专利申请号为CN201110070277.8，名称为“基于第二代身份证进行身份验证的方法及系统”的专利文献，除对持证者面部进行图像采集外，还对第二代身份证表面印刷的照片进行扫描获得图像，然后利用人脸识别技术进行判断。需要说明的是，该方案必须利用扫描仪获得一个较高分辨率的身份证，再将该扫描图像与二代身份证内存储照片和摄像头拍摄照片分别进行对比，而不是直接将身份证内存储照片与拍摄照片进行对比，在硬件实现上，必须增加一个扫描装置，必须依赖扫描的分辨率，因此识别率不高。

发明内容

本发明提供一种基于二代身份证RFID存储照片的人脸识别方法，在不增加新硬件基础上，直接利用二代身份证存储的高度压缩的小照片与现场抓拍的人脸照片之间的对比，判别持证者是否为证件所有人，该方法简单有效、识别准确率高。

本发明包括如下技术特征：一种基于二代身份证存储证件照的人脸识别方法，包括如下步骤：

信息采集步骤，对二代身份证存储的证件照进行读取，获得证件照；对人脸部进行实时图像的采集，获得人脸图片；

图片处理步骤，对人脸图片进行灰度、大小和/或光照均衡处理；

人脸检测步骤，基于Haar特征和Adaboost方法组成的强分类器对人脸图片进行检测，提取人脸部特征点；

人脸验证步骤，（1）基于脸部特征点的位置，将人脸归一化为大小、比例和特征点位置对齐的脸部区域；（2）基于二元模式人脸识别方法，对人脸图片和证件照进行人脸局部特征判断，认为人脸局部特征相同则进入下一步骤，否则认为当前人不是声明人，识别完毕；（3）基于特征脸人脸识别方法，对人脸图片和证件照进行人脸整体特征判断，认为人脸在整体特征上相同则认为当前人是声明人，识别完毕；否则认为不是声明人，识别完毕。

本发明旨在提供一种可识别质量较差的小照片的方法，特别是将这种方法应用到了第二代身份证的身份识别领域，使得身份证存储的小照片与现场采集的人脸图片直接识别比对。本技术方案先后通过信息采集步骤、图片处理步骤，人脸检测步骤，对现场采集的人脸图片进行处理，确保进入人脸验证步骤时能够顺利进行验证。在人脸验证步骤中，分别采取基于二元模式人脸识别方法和基于特征脸人脸识别方法对人脸进行判断验证，通过这两个判断方法分别得出两个比对结果，再将这两个结果进行综合判断，得出验证结果。

一般而言，小照片是指分辨率比较低（低于102*126，人眼之间距离接近于25个像素）。小照片的分辨率低，相对于正常的照片（800*500）包含的信息量更少，不适合用于1：N的比对模式（即从多个注册的人脸库中找出待确认的人脸的信息）。相比于其他的人脸识别方案，针对小照片低分辨率低信息量而且实时性不高的特点，本方案采用1：1验证的模式，即将待确认的人脸与某一张特定的注册的人脸（身份证照片）进行验证，验证是否为同一个人。本发明的特点在于采用LBP以及PCA算法做并行处理，分别得出两个比对结果，再将这两个结果进行综合判断，得出验证结果（而不是将LBP以及PCA算法相结合，对一幅图像做LBP变换后对变换后的直方图向量做PCA处理，即所谓的串行处理）。

在身份证识别领域，最重要的问题就是低分辨率的小照片的信息提取。小照片信息量低而且只有单张照片，不适合用于适用于1：N比对模式的人脸识别系统，针对该问题，本方案采用1：1验证模式。由于身份证照片与现场抓拍的照片（分辨率高）的比对仍然有较大误差（确认的距离阀值与现场使用的摄像头很大关系），针对该问题的改进，本方案采用了下文的判断置信方法：

人脸局部特征判断：

基于局部二元模式方法获得人脸图片和证件照片的距离G1；基于局部二元模式方法将人脸图片与训练库中的多张训练照片进行比对，获得概率分布，根据置信率要求获得判别阈值距离H1；如果G1小于H1，则认为在局部特征上人脸图片和证件照片相同，进入下一个步骤，否则认为不同，识别完毕；

所述的人脸整体特征判断具体为：

基于特征脸的方法获得人脸图片和证据照片的距离G2；然后基于特征脸的方法将人脸照片与训练库中多张训练照片进行比对，获得概率分布，并根据置信率要求获得判别阈值距离H2；如果G2小于H2，则认为在整体特征上人脸图片和证件照片相同，识别完毕；否则认为不同，识别完毕。

以上可见，对现场采集照片和读卡器读出的证件照对比时，通过将现场采集照片与训练库的照片进行比对，再将两者比对结果进行比较，并通过概率投票，解决了照片光照的问题，同时也提高了识别率。

其中，阈值H1和H2的取值是关键，以下是阈值H1和H2的取值方法：

1、计算阈值H1：

通过局部二元模式方法逐一计算人脸图片和训练库中N标准人脸照的距离，得到距离集为L₁，L₂，L₃，……，L_N；

距离集均值为 $\stackrel{\‾}{L}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{L}_n;$

距离集标准差为 $\mathrm{\σ}=\sqrt{\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{(L_n-\stackrel{\‾}{L})}^2;}$

则阀值 $H1=f\left(c\right)\·\mathrm{\σ}+\stackrel{\‾}{L};$

所述c为置信率要求，c和f(c)的映射函数在于，c要求在99.06％-99.99％时，f(c)的取值范围在2.6-3.9及以上。

2、计算阈值H2：

通过特征脸的方法逐一计算人脸图片和训练库中中N标准人脸照的距离，得到距离集为P₁，P₂，P₃，……，P_N。

距离集均值为 $\stackrel{\‾}{P}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{P}_n;$

距离集标准差为 $\mathrm{\σ}=\sqrt{\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{(P_n-\stackrel{\‾}{P})}^2;}$

则阀值 $H2=f\left(c\right)\·\mathrm{\σ}+\stackrel{\‾}{P};$

所述c为置信率要求，c和f(c)的映射函数在于，c要求在99.06％-99.99％时，f(c)的取值范围在2.6-3.9及以上。

进一步的，本发明会创建一个线程负责处理身份证读卡的工作，使得系统在正常工作的时刻，被检测人可以随时在读卡器中刷卡然后开始识别。以下是用户在刷卡时刻系统的处理流程：（1）建立串口连接；（2）建立数据读取线程；（3）读取串口数据；（4）判断是否读取结束，如果结束则进行下一步骤，否则继续读取；（5）接受RFID卡内数据；（6）数据解码为用户ID；（7）清空缓冲区；（8）判断是否继续读取，如结束关闭串口连接，否则回到上述步骤（3）。

进一步的，图片处理步骤中将人脸照片从RGB图像转化为灰度图像的公式为：

I=0.212671·R+0.715160·G+0.072169·B；R,G，B为彩色图像像素红、绿、蓝三个部分的像素值，I为转化为灰度图像后的像素值；

图像归一化在于对齐人脸图像，使得图片尺寸大小一致，人脸在照片中所占的比例统一，双眼在图片中的位置固定；

光照均衡处理的公式为：s=T(r)=CP(r_k)，其中

n为图像中像素点的总数，n_i为像素值为i的像素点的个数。C为归一化参数，s=T(r)为所需要的亮度分布模型，此处为高斯分布。

进一步的，所述人脸检测步骤中先通过肤色检测确定人脸区域，去掉背景区域，在此基础上进行人脸检测；所述的肤色检测是基于YCbCr色彩编码作为肤色分布统计的映射空间。

本发明的另外一个目的在于提供应用以上识别方法的识别系统，包括信息采集子系统、数据处理及分析子系统、监控信息存储系统和监控信息管理及查询子系统；所述信息采集子系统包括摄像装置和二代身份证读卡器。所述数据处理及分析子系统包括图片处理模块、人脸检测模块和人脸验证模块；所述图片处理模块用于对采集人脸信息进行处理；所述人脸检测模块用于提取人脸特征；所述人脸验证模块通过人脸局部特征判断和人脸整体特征判断相结合的方式验证当前人是否为声明人；所述监控信息存储子系统，包括存储人脸模板数据库和记录数据库，所述存储人脸模板数据库用于存储训练库的训练照片；所述记录数据库用于记录验证结果。所述监控信息管理及查询子系统，用于对监控信息进行管理和查询。所述数据处理及分析子系统设于电脑主机，摄像装置与电脑主机连接，读卡器与电脑主机串口方式连接。

与现有技术相比，本识别系统采取人脸局部特征判断和人脸整体特征判断相结合的方式，验证当前人是否为声明人。通过融合整体特征判断（PCA）和局部特征判断（LBP）的优点，实现质量较差小图片的识别。

附图说明

图1为本发明的硬件连接图；

图2为本发明的系统模块原理图；

图3为系统判决流程图；

图4为计算机通过串口去读读卡器内的信息流程图。

具体实施方式

本专利提供了二代身份证存储的高度压缩的证件照片与现场抓拍照片之间的比对方法，用于鉴别持证者的真伪，杜绝借用/冒用他人证件行为，为施行“实名制”系统提供强有为的技术支持，能够大幅度提高效率，在极短时间（小于0.1秒）内完成持证者人脸与证件照片的比对，并给出比对结果，省去工作人员对证件和持证人反复进行肉眼比对等环节，提高施行“实名制”系统的工作效率。

系统总体框架包括信息采集子系统，数据处理及分析子系统，监控信息存储子系统，监控信息管理及查询子系统。信息采集子系统是输入部分，主要功能是视频图像的采集以及RFID卡的探测。数据处理子系统负责视频图像的显示，RFID卡内数据的解析封装以及各个数据处理线程的同步与互斥。监控信息存储子系统负责存储人脸模板数据库以及门禁记录；监控信息管理与查询子系统可根据查询条件返回门禁记录查询结果。

一、信息采集子系统

包括摄像头1、二代身份证2、身份证读卡器3。摄像头1用于视频的采集，将视频流数据发送到数据处理的计算机4。二代身份证2内含证件照和身份信息，证件照的尺寸为128X106，人脸的两眼像素在20像素左右，在身份证读卡器3可读范围内，将内含数据发送给身份证读卡器3。身份证读卡器3与计算机4通过串口相连，当接收到二代身份证RFID电子标签内存储信息之后把信息传送给计算机。身份证读卡器通过RS232接口与外部计算机连接，进行数据交换。计算机通过串口去读读卡器内的信息。

二、数据处理及分析子系统4：

涉及到RFID身份识别卡内的信息处理，视频图像中正面人脸位置的检测，人脸特征的抽取，人脸验证以及各个功能模块之间的同步与互斥控制。数据处理及分析子系统包括图片处理模块41、人脸检测模块42和人脸验证模块43；其中图片处理模块用于对采集人脸信息进行处理；所述人脸检测模块用于提取人脸特征；所述人脸验证模块通过人脸局部特征判断单元43a和人脸整体特征判断单元43b相结合的方式验证当前人是否为声明人。

三、监控信息存储系统5：

包括作为人脸模板数据库的人脸模板训练库51、作为记录数据库的识别结果存储库52、转发服务器。人脸模板训练库51包含人脸原始图片，以及从原始图片训练提取出的人脸特征。记录数据库记录身份ID，姓名，照片，刷卡时间，是否通过门禁系统等。证件照片以压缩的JPEG或PNG文件形式保存。转发服务器负责监控信息与手机间的信息传递负责将拍摄端的图像数据转发至相应的手机端。

四、监控信息管理及查询子系统6

监控信息管理及查询子系统与监控信息存储子系统通过数据库相连，系统支持的查询条件有：按照时间查询：查询输入时间段（精确到分钟），系统返回此时间段内的身边识别信息。按照ID查询：输入特定用户ID，系统返回此ID对应的所有通过门禁系统信息。按照记录内容查询：可查看所有通过门禁系统的记录。

以上是本发明的硬件部分介绍，作为发明的核心，是提供了一种直接利用二代身份证存储的高度压缩的小照片与现场抓拍的人脸照片对比的方法，从而实现了识别方法的实质性改进和识别效果的飞跃。

本发明的识别方法包括如下步骤：

一、信息采集步骤

本步骤在于对二代身份证存储的证件照进行串口方式读取，获得证件照；对人脸部进行实时图像的采集，获得人脸图片。证件照和人脸图片可以同步进行或依次进行。

二、图片处理步骤

本步骤包括灰度图转化、图像归一化和光照均衡处理。

灰度图转化：将图像从彩色转化为灰度图像；

从RGB图像转化为灰度图像的公式为：

I=0.212671·R+0.715160·G+0.072169·B

R,G，B为彩色图像像素红、绿、蓝三个部分的像素值，I为转化为灰度图像后的像素值。

图像归一化：对齐人脸图像，使得图片尺寸大小一致，人脸在照片中所占的比例统一，双眼在图片中的位置固定；

光照均衡处理：消除不同光照下导致的影响。

光照均衡处理的公式为：

s=T(r)=CP(r_k)；其中：

n为图像中像素点的总数，n_i为像素值为i的像素点的个数。C为归一化参数，s=T(r)为我们所需要的亮度分布模型，在这里我们使用高斯分布。

三、人脸检测步骤，

本步骤基于Haar特征和Adaboost方法组成的强分类器，对人脸图片进行检测，提取人脸部特征点。

为了提高人脸检测的速度，先使用肤色检测来确定人脸所在大致区域，快速丢弃大部分的背景区域，从而缩小Adaboost算法的搜索范围。人脸检测方法基于肤色并利用图像的彩色信息在一定的色彩空间内构造肤色模型，并选择YCbCr作为肤色分布统计的映射空间。该空间的优点是可以将亮度和色度分开单独处理，实现亮度和色度分量比较彻底的分离，能较好地限制肤色分布区域，肤色点能够形成较好聚类。

YCbCr是DVD、摄像机、数字电视等消费类视频产品中，常用的色彩编码方案。YCbCr有时会称为YCC.。Y′CbCr在模拟分量视频（analog component video）中也常被称为YPbPr。YCbCr是YUV压缩和偏移的版本。在YCbCr的像素值表征了人脸的肤色信息。

类Haar特征和Adaboost算法分别进行说明：

类Haar特征是一类简单特征，选择特征而不是像素本身进行分类运算有以下几个好处：特征包含了局部整体信息可以将分类空间降维；使用基于特征的运算在速度上远远优于基于像素的运算。

AdaBoost算法是一种迭代方法，它本身是通过改变数据分布来实现的。根据每轮训练中每个样本的分类是否正确，以及上轮的总体分类准确率，来确定每个样本的权值。然后将每次训练得到的分类器级连起来，作为最后的决策分类器。在AdaBoost算法中，每个训练样本都被赋予一个权重，表明它被某个弱分类器选入训练集的概率。如果某个样本没有被正确的分类，那么在构造下一个训练集时，它被选中的概率就会增加，如果相反，它被选中的概率就会降低。通过这样的方式，AdaBoost算法能够“聚焦”于那些较困难(更富信息)的样本上。具体实现中，最初令每个样本的权重都相等，对于第t次迭带操作，就根据这些权重来选取样本点，进而训练分类器。然后根据这个分类器，来提高被它错分的那些样本点的权重，并降低被正确分类的样本的权重。经权重更新后的样本集被用来训练下一个分类器。整个训练过程如此循环。这个算法的主要特点是在训练分类器的同时进行特征选择。它使得每个特征对应于一个弱分类器，弱分类器的数目是与矩形特征数目相等。训练过程中从大量的弱分类器中选择一个在当前样本权重分布情况下分类错误最小的弱分类器作为本轮训练结果，这样经过T次迭代，选择出了T个特征(弱分类器)，最终按照加权投票的方式组合成一个强分类器。

四、人脸验证步骤

人脸验证步骤是本发明实现方法的核心，具体又包括以下的流程：

1.基于脸部特征点的位置，将人脸归一化为大小相同，特征点位置对齐的脸部区域。

2.判别局部特征

2.1利用基于局部二元模式(LBP)的人脸识别方法将现场采集人脸与读卡器获得的证件照进行比对，获得两者距离G1；

LBP用于描述一个局部区域内任意两个像素之间的关系，定义为：

LBP_a，d(z_x，y)={f(I′_a，d(z_x，y));f(I′_a，d(z_x，y-d));f(I′_a，d(z_x-d，y-d));

f(I′_a,d(z_x-d,y));f(I′_a,d(z_x-d,y+d));f(I′_a,d(z_x,y+d));

f(I′_a,d(z_x+d,y+d));f(I′_a,d(z_x+d,y));f(I′_a,d(z_x+d,y-d))}

其中z_x,y代表图像I的摸一个像素，a代表方向，d就是指像素z_x,y与其领域像素之间的距离，函数f是一个二值函数，定义为：

$f\left({I^{\&prime;}}_{a,d}\left(z_{x,y}\right)\right)=\left\{\begin{array}{cc}1& {I^{\&prime;}}_{a,d}\left(z_{x,y}\right)\&GreaterEqual;0\\ 0& {I^{\&prime;}}_{a,d}\left(z_{x,y}\right)<0\end{array}\right.$

I′_a,d(z_x,y)是图像在像素z_x,y位置，沿着0度、45度、90度、135度方向的一阶导数，定义为：

$\left\{\begin{array}{c}{I^{\&prime;}}_{0,d}=I\left(z_{x,y}\right)-I\left(z_{x-d,y}\right)\\ {I^{\&prime;}}_{45,d}=I\left(z_{x,y}\right)-I\left(z_{x+d,y-d}\right)\\ {I^{\&prime;}}_{90,d}=I\left(z_{x,y}\right)-I\left(z_{x,y-d}\right)\\ {I^{\&prime;}}_{135,d}=I\left(z_{x,y}\right)-I\left(z_{x-d,y-d}\right)\end{array}\right.$

为了获取更多的区域信息，将四个方向的LBP图像分成多个区域，并求出诶个区域的直方图，最后将这些直方图连接起来形成一个特征向量V，这个特征向量就表征了一张人脸。

两个不同人脸的距离用卡方距离

V1i表示直方图向量中第i个元素。

2.2利用基于局部二元模式(LBP)的人脸识别方法将现场采集人脸与训练库中的多张训练照片进行比对，获得概率分布，并通过概率投票获得判别阈值距离H1（该阈值距离通常选择3σ或6σ）；

假定人脸训练库中有标准人脸照N张（不同人），人脸信息照片与人脸库中照片依照上述方法逐一比对，得到距离集为L₁，L₂，L₃，……，L_N。

距离集均值为 $\stackrel{\&OverBar;}{L}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{L}_n$

距离集标准差为 $\mathrm{\&sigma;}=\sqrt{\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{(L_n-\stackrel{\&OverBar;}{L})}^2}$

假定要求的最终的置信率为c（一般要求至少为99％），对于阀值H1，有H1=f(c)·σ+L映射函数为：

c	f(c)
		0.00％	0.0
7.96％	0.1

15.86％	0.2
		23.58％	0.3
31.08％	0.4
		38.30％	0.5
45.14％	0.6
		51.60％	0.7
57.62％	0.8
		63.18％	0.9
68.62％	1.0
		72.86％	1.1
77.68％	1.2
		80.64％	1.3
83.84％	1.4
		86.64％	1.5
89.04％	1.6
		91.08％	1.7
92.82％	1.8
		94.26％	1.9
95.44％	2.0
		96.42％	2.1
97.22％	2.2
		97.86％	2.3
98.36％	2.4
		98.76％	2.5
99.06％	2.6
		99.30％	2.7
99.48％	2.8
		99.62％	2.9
99.74％	3.0
		99.80％	3.1
99.86％	3.2
		99.90％	3.3
99.94％	3.4
		99.95％	3.5
99.96％	3.6
		99.97％	3.7
99.98％	3.8
		99.99％	3.9及以上

2.3如果2.1获得的距离G1小于阈值距离H1，则认为当前人在局部特征上是声明人，否则认为当前人在局部特征上不是声明人；

2.4如果认为当前人在局部特征上是声明人，则进行判别整体特征，否则认为当前人不是声明人，识别完毕；

3.判别整体特征

3.1如果认为当前人在局部特征上是声明人，则利用基于特征脸（即PCA分解）的方法将现场采集人脸与读卡器获得的证件照进行比对，获得两者距离G2；

训练阶段：

假设输入K张训练图像，每张训练图像为M×N维，将M×N维图像装换为MN维向量，有 $\mathrm{xi}=\left[\begin{array}{c}{x}_{11}\\ x_{21}\\ .\\ .\\ .\\ \mathrm{xM}1\\ .\\ .\\ .\\ \mathrm{xMN}\end{array}\right]$

训练图像样本矩阵为x=(x₁,x₂,…,x_K)^T，x为MN×K维矩阵。

训练图像平均脸为

Ψ为MN维向量。

每张训练图像与平均脸差值为d_i=x_i-Ψ。

协方差矩阵为

C为MN×MN维矩。

令A=(d₁,d₂,…,d_K)，A为MN×K维矩阵，有

通过奇异值分解（SVD），求AT·A的特征值λi及其对应的正交归一化特征向量vi，根据特征值贡献率选取前P个最大特征值及其对应的特征向量。

贡献率满足：

一般α取99％。

C的特征向量（特征脸）

i={1，2，3，……，P}，ui为MN维向量。

特征脸空间w＝(u₁,u₂,…,u_P)，w为MN×P维矩阵。

对测试图像T，将T与平均脸Ψ的差值投影到特征脸空间，得到特征向量Ω_T=W^T·(T-Ψ)

两张图像的距离（欧几里德距离）为ε_i=‖Ω_T-Ω_i‖

3.2利用利用基于特征脸（即PCA分解）的方法将现场采集人脸与训练库中的1000张训练照片进行比对，获得概率分布，并通过概率投票获得阈值距离H2（该阈值距离通常选择3σ或6σ）；

假定人脸训练库中有标准人脸照N张（不同人），人脸信息照片与人脸库中照片依照上述方法逐一比对，得到距离集为P₁，P₂，P₃，……，P_N。

距离集均值为 $\stackrel{\&OverBar;}{P}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{P}_n$

距离集标准差为 $\mathrm{\&sigma;}=\sqrt{\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{(P_n-\stackrel{\&OverBar;}{P})}^2}$

假定要求的最终的置信率为c（一般要求至少为99％），对于阀值H2，有

映射函数为：

c	f(c)
		0.00％	0.0
7.96％	0.1
		15.86％	0.2
23.58％	0.3
		31.08％	0.4
38.30％	0.5
		45.14％	0.6
51.60％	0.7
		57.62％	0.8
63.18％	0.9

68.62％	1.0
		72.86％	1.1
77.68％	1.2
		80.64％	1.3
83.84％	1.4
		86.64％	1.5
89.04％	1.6
		91.08％	1.7
92.82％	1.8
		94.26％	1.9
95.44％	2.0
		96.42％	2.1
97.22％	2.2
		97.86％	2.3
98.36％	2.4
		98.76％	2.5
99.06％	2.6
		99.30％	2.7
99.48％	2.8
		99.62％	2.9
99.74％	3.0
		99.80％	3.1
99.86％	3.2
		99.90％	3.3
99.94％	3.4
		99.95％	3.5
99.96％	3.6
		99.97％	3.7
99.98％	3.8
		99.99％	3.9及以上

3.3如果3.1获得的距离G2小于阈值距离H2，则认为当前人在整体特征上是声明人，否则认为当前人在整体特征上不是声明人，识别完毕；

3.4如果认为当前人在整体特征上是声明人，进行步骤4；

4.认为当前人是声明人，识别完毕。

本发明的创新之处在于将以上方法应用到了第二代身份证的识别领域，使得身份证存储的128X106的小照片与现场采集的人脸图片可以直接识别比对。在识别比对前，采取了信息采集步骤、图片处理步骤，人脸检测步骤，对现场采集的人脸图片进行处理，以确保能够顺利进入人脸验证步骤。在人脸验证步骤中，又先后采取基于二元模式人脸识别方法和基于特征脸人脸识别方法对人脸进行判断验证，通过融合整体特征判断（PCA）和局部特征判断（LBP），在保证效率的基础上，实现质量较差小图片的识别。

Claims (9)

1.基于二代身份证存储证件照的人脸识别方法，其特征在于包括如下步骤：

信息采集步骤，对二代身份证存储的证件照进行读取，获得证件照；对人脸部进行实时图像采集，获得人脸图片；

图片处理步骤，对人脸图片进行灰度、大小和/或光照均衡处理；

人脸检测步骤，基于Haar特征和Adaboost方法组成的强分类器对人脸图片进行检测，提取人脸部特征点；

人脸验证步骤，（1）基于脸部特征点的位置，将人脸归一化为大小、比例和特征点位置对齐的脸部区域；（2）基于二元模式人脸识别方法，对人脸图片和证件照进行人脸局部特征判断，认为人脸局部特征相同则进入下一步骤，否则认为当前人不是声明人，识别完毕；（3）基于特征脸人脸识别方法，对人脸图片和证件照进行人脸整体特征判断，认为人脸在整体特征上相同则认为当前人是声明人，识别完毕；否则认为不是声明人，识别完毕。

2.根据权利要求1所述的人脸识别方法，其特征在于，

所述人脸局部特征判断具体为：

基于局部二元模式方法获得人脸图片和证件照片的距离G1；

基于局部二元模式方法将人脸图片与训练库中的多张训练照片进行比对，获得概率分布，根据置信率要求获得判别阈值距离H1；

如果G1小于H1，则认为在局部特征上人脸图片和证件照片相同，进入下一个步骤，否则认为不同，识别完毕；

所述人脸整体特征判断具体为：

基于特征脸的方法获得人脸图片和证据照片的距离G2；

然后基于特征脸的方法将人脸照片与训练库中多张训练照片进行比对，获得概率分布，并根据置信率要求获得判别阈值距离H2；

如果G2小于H2，则认为在整体特征上人脸图片和证件照片相同，识别完毕；否则认为不同，识别完毕。

3.根据权利要求2所述的人脸识别方法，其特征在于，按如下方法计算阈值H1：

通过局部二元模式方法逐一计算人脸图片和训练库中N标准人脸照的距离，得到距离集为L₁，L₂，L₃，……，L_N；

距离集均值为 $\stackrel{\&OverBar;}{L}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{L}_n;$

距离集标准差为 $\mathrm{\&sigma;}=\sqrt{\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{(L_n-\stackrel{\&OverBar;}{L})}^2;}$

则阀值 $H1=f\left(c\right)\&CenterDot;\mathrm{\&sigma;}+\stackrel{\&OverBar;}{L};$

所述c为置信率要求，c和f(c)的映射函数在于，c在99.06％-99.99％时，f(c)的取值范围在2.6-3.9。

4.根据权利要求2所述的人脸识别方法，其特征在于，按如下方法计算阈值H2：

通过特征脸的方法逐一计算人脸图片和训练库中中N标准人脸照的距离，得到距离集为P₁，P₂，P₃，……，P_N。

距离集均值为 $\stackrel{\&OverBar;}{P}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{P}_n$

距离集标准差为 $\mathrm{\&sigma;}=\sqrt{\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{(P_n-\stackrel{\&OverBar;}{P})}^2}$

则阀值 $H2=f\left(c\right)\&CenterDot;\mathrm{\&sigma;}+\stackrel{\&OverBar;}{P};$

所述c为置信率要求，c和f(c)的映射函数在于，c要求在99.06％-99.99％时，f(c)的取值范围在2.6-3.9。

5.根据权利要求1至4任一项所述的人脸识别方法，其特征在于，通过如下方式读取二代身份证存储的证件照片：

（1）建立串口连接；

（2）建立数据读取线程；

（3）读取串口数据；

（4）判断是否读取结束，如果结束则进行下一步骤，否则继续读取；

（5）接受RFID卡内数据；

（6）数据解码为用户ID；

（7）清空缓冲区；

（8）判断是否继续读取，如结束关闭串口连接，否则回到上述步骤（3）。

6.根据权利要求1所述的人脸识别方法，其特征在于，

图片处理步骤中将人脸照片从RGB图像转化为灰度图像的公式为：

I=0.212671·R+0.715160·G+0.072169·B；R,G，B为彩色图像像素红、绿、蓝三个部分的像素值，I为转化为灰度图像后的像素值；

图像归一化在于对齐人脸图像，使得图片尺寸大小一致，人脸在照片中所占的比例统一，双眼在图片中的位置固定；

光照均衡处理的公式为：s=T(r)=CP(r_k)，其中

n为图像中像素点的总数，n_i为像素值为i的像素点的个数；C为归一化参数，s=T(r)为所需要的亮度分布模型，此处为高斯分布。

7.根据权利要求1所述的人脸识别方法，其特征在于，所述人脸检测步骤中先通过肤色检测确定人脸区域，去掉背景区域；所述的肤色检测是基于YCbCr色彩编码作为肤色分布统计的映射空间。

8.一种使用权利要求1所述人脸识别方法的识别系统，其特征在于：

包括信息采集子系统、数据处理及分析子系统、监控信息存储系统和监控信息管理及查询子系统；

所述信息采集子系统包括摄像装置和二代身份证读卡器。

所述数据处理及分析子系统包括图片处理模块、人脸检测模块和人脸验证模块；所述图片处理模块用于对采集人脸信息进行处理；所述人脸检测模块用于提取人脸特征；所述人脸验证模块通过人脸局部特征判断和人脸整体特征判断相结合的方式验证当前人是否为声明人；

所述监控信息存储子系统，包括存储人脸模板数据库和记录数据库，所述存储人脸模板数据库用于存储训练库的训练照片；所述记录数据库用于记录验证结果。

所述监控信息管理及查询子系统，用于对监控信息进行管理和查询。

9.根据权利要求8所述的识别系统，其特征在于，所述数据处理及分析子系统设于电脑主机，摄像装置与电脑主机连接，读卡器与电脑主机串口方式连接。

Images