CN105760815A - 基于第二代身份证人像和视频人像的异构人脸核实方法 - Google Patents

Abstract

本发明公开了一种基于第二代身份证人像和视频人像的异构人脸核实方法，包括如下步骤：人脸关键点检测：从原始人脸图像中检测出人脸关键点信息；图像预处理：将所述原始人脸图像中的人脸分割出来，进行归一化处理和DOG光照预处理；多特征提取：提取上述步骤处理后图像的Gabor特征、LBP特征和SIFT特征；相似性度量：利用LCSR度量学习方法，将不同模态下的所述Gabor特征、LBP特征和SIFT特征分别映射到公共子空间，再在公共子空间内进行匹配；特征决策投票：对所述Gabor特征、LBP特征和SIFT特征在公共子空间内的匹配结果进行多数投票确定核实结果。本发明实现对二代证人像和视频人像的快速精准核实。

Description

基于第二代身份证人像和视频人像的异构人脸核实方法

技术领域

本发明属于计算机应用技术领域，具体涉及基于第二代身份证人像和视频人像的异构人脸核实方法，即判断二代身份证人脸图像和身份证使用者的视频人脸图像是否为同一个人的人脸核实方法。

背景技术

目前，中国公民广泛使用第二代身份证作为身份识别的手段。随着近年来社会对于治安监控的逐步重视，基于计算机辅助的面向第二代身份证的异构人脸核实技术的研究吸引了大批研究者。面向第二代身份证的异构人脸核实技术是指判断二代身份证人像和身份证使用者人像是否为同一个人，具体来说，即将二代身份证上扫描出的人脸图像和在现实场景下拍摄的视频人脸图像作匹配，判断是否为同一个人。一般来说，二代身份证人像和视频人像存在以下差异：

①分辨率差异。二代证人脸图像属于受控环境下拍摄的人脸图像，分辨率低；视频人脸图像分属于不受控环境下拍摄的人脸图像，分辨率高；

②人脸内部变化。拍摄时间不同造成的面部变化，以及人脸表情和装饰物变化等；

③外在环境因素。拍摄环境的不同造成的光照变化和角度变化等。

该问题属于不同模态下的人脸图像核实问题，即异构人脸核实问题。面向第二代身份证的异构人脸核实技术应用非常广泛，比如协助公安部门刑侦破案，机器自动进行身份验证，视频监控跟踪识别等等。

当前有很多关于异构人脸核实问题的研究，如近红外人像(NIR)和可见光人像(VIS)的识别问题、素描人像和可见光人像的识别问题等。一般来说，针对异构人脸图像的核实技术通常分为两类：一是将其中一种模态的人像转化为另一种模态的人像后，再进行匹配，如Wang等人通过合成和分析的方法将NIR人像转化为合成的VIS人像，再进行匹配，这一类方法与具体的应用挂钩，扩展性较差；二是通过某种方法将由模态不同导致的人像特征差异减小，如Klare等人对NIR和VIS进行随机子空间投影和稀疏表示，在公共子空间上进行匹配，这一类方法的难点在于在公共子空间内消除异构造成的数据分布不同的影响。

发明内容

发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提供一种基于第二代身份证人像和视频人像的异构人脸核实方法，实现对二代证人像和视频人像的快速精准核实。

技术方案：为实现上述发明目的，本发明采用的技术方案为一种基于第二代身份证人像和视频人像的异构人脸核实方法，包括如下步骤：

(1)人脸关键点检测：从原始人脸图像中检测出人脸关键点信息；

(2)图像预处理：将所述原始人脸图像中的人脸分割出来，进行归一化处理和DOG(高斯差分方法，differenceofGaussian)光照预处理；

(3)多特征提取：提取所述步骤(2)处理后图像的Gabor(小波)特征、LBP(局部二值模式，LocalBinaryPattern)特征和SIFT(尺度不变特征转换，Scale-invariantfeaturetransform)特征；

(4)相似性度量：利用LCSR(线性耦合谱回归，LinearCoupledSpectralRegression)度量学习方法，将不同模态下的所述Gabor特征、LBP特征和SIFT特征分别映射到公共子空间，再在公共子空间内进行匹配；

(5)特征决策投票：对所述Gabor特征、LBP特征和SIFT特征在公共子空间内的匹配结果进行多数投票确定核实结果。

有益效果：本发明采用基于LCSR度量学习技术和多种人脸特征决策投票机制，降低了因模态不同造成的人脸图像差异，结合多种人脸特征匹配结果，提高了核实结果的准确性和稳定性。实验结果表明，本发明的方法能够大大提升二代证人像和视频人像的核实准确性，速度快，稳定性好，具有较高的使用价值。

附图说明

图1为本发明方法构建图；

图2(A)为本发明方法二代证人像对应的ASM关键点检测结果图，图2(B)为视频人像对应的ASM关键点检测结果图；

图3为标准人脸图像规格图；

图4(A)为人脸图像的旋转图，图4(B)为人脸图像的缩放图，图4(C)为人脸图像的裁剪图；

图5(A)为本发明方法视频人像(第一行)和二代证人像(第二行)通过DOG处理前的图，

图5(B)为本发明方法视频人像(第一行)和二代证人像(第二行)通过DOG处理后的图；

图6为LCSR和其他度量学习方法的核实精度比较图；

图7为本发明方法LCSR方法流程图；

图8为组合特征和单独特征的核实精度比较图。

具体实施方式

下面结合附图对和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明为如何将二代身份证上的人脸图像和视频中的人脸图像进行匹配提供了一套效果良好的方法。具有以下特点：1)运用了LCSR度量学习技术，降低了因模态不同造成的人脸图像差异，提高了核实结果的准确性。2)采用了多种人脸特征决策投票机制，提高了核实结果的稳定性。本发明可直接用于二代身份证上的人脸图像和视频中的人脸图像的匹配。

如图1所示，本发明方法的步骤包括：

(1)人脸关键点检测，从原始人脸图像中检测出人脸关键点信息。运用了ASM(主动形状模型,ActiveShapeModel)，快速、准确找出人脸图片中关键点信息。如图2(A)和图2(B)所示，二代证人像和视频人像对应的ASM关键点检测结果包含眉毛、眼睛、鼻子、嘴巴和脸颊区域共72个人脸关键点信息。

(2)图像预处理，根据人脸关键点检测对应的关键点信息，将图像中的人脸分割出来，通过放缩、旋转完成角度、大小的几何校准，再采用高斯差分方法DOG，有效消除或者减轻由不同拍摄条件造成的光照差异。具体地，

a.人脸区域分割、对齐和归一化

首先需要规定标准人脸图像的规格。

1)人脸图像大小为160*160像素；

2)两眼间连线中点的相对坐标为(dx，dy)＝(79，35)；

3)两眼间距离dd＝75；

根据以上规格，标准人脸图像如图3所示。

有了标准人脸图像的规格，就可以据此对原始图像中的人脸图像进行旋转和放缩，使其达到规格要求。如图4(A)中椭圆代表眼睛的位置，坐标分别为(plx,ply)和(prx,pry)，两眼之间连线的中点坐标为(mx,my)，两眼之间的距离为d，两眼连线与y轴之间的夹角为θ。

要从原图像中分割出符合人脸标准图像，需要对图像进行以下处理步骤：

●如图4(A),旋转θ度,使得两眼连线与y轴重合；

●如图4(B),作拉伸,使得两眼距离为dd；

●如图4(C),根据(dx，dy)及区域大小进行图像的分割。

经过上述图像处理之后，分割出来的人脸图像完全符合人脸标准。所有的人脸图像都具有统一的角度，大小，从而为系统的后续处理奠定了基础。

b.光照预处理

光照预处理部分采用了DOG方法。将两幅图像在不同参数下的高斯滤波结果相减，得到DOG图。如图5(A)和图5(B)所示，对于二代证人像，DOG处理可以降低模糊图像的模糊度，进而降低两种模态图像的差异性。

(3)多特征提取，对预处理后的人脸区域提取Gabor特征、LBP特征和SIFT特征。

(4)相似性度量，利用LCSR度量学习方法，将不同模态下的多种人脸特征分别映射到公共子空间，再在公共子空间内进行匹配。图6是十折交叉实验中每一折LCSR和其他度量学习方法的精度比较，LCSR的核实结果明显要优于其他度量学习方法的核实结果。

a.LCSR度量学习方法原理

LCSR度量学习方法是基于子空间学习的图嵌入模型，将CSR(耦合谱回归，CoupledSpectralRegression)模型嵌入LDA(线性判别分析，LinearDiscriminantAnalysis)的方法当中，先对不同模态的数据单独进行建模，再学习可以将异构数据投影到可区分的子空间的两个投影矩阵，计算简便，泛化性能好。

令G＝{X,W}表示含有数据点集X＝[x₁,x₂,...,x_N]和相似性矩阵W∈R^N×N的图集。W是数据点之间的关系权重矩阵，R为实数集合，N为数据点个数。

令y＝[y₁,y₂,...,y_n]是关于X的低维表示，y_i是x_i的低维表示，i＝1,2,3...,N。为了维持原始数据点在低维表示当中的邻近结构，则y有：

$y=\arg \min \underset{i,j}{\Σ}\left|\right|y_i-y_j|{|}^2{W}_j=\arg \underset{y}{min}{y}^{T}Ly---\left(1\right)$

其中，L＝D-W是拉普拉斯矩阵，D是对角阵D_ii＝∑_jW_ij，其中W_ij表示数据点x_i和x_j的权重值。

对于LDA方法而言，上述求得的y的表示为：

y_t表示第t类数据点的低维表示，m_i表示第i类数据点的样本个数，共c类数据点。

而对于二代身份证人像模态和视频人像模态这两种模态下的数据集，我们有：

$y^{g^T}=a^{g^T}{X}^g,y^{p^T}=a^{p^T}{X}^p---\left(3\right)$

其中 $X^g=[x_1^g,...,x_{N^g}^g],X^p=[x_1^p,...,x_{N^p}^p]$ 是g,p两种模态下的人脸特征数据集，表示g模态下的第i个数据点，N_g表示g模态下的样本个数，N^p同理。a^g,a^p是g,p两种模态下的投影矩阵。y^g,y^p是g,p两种模态下的低维表示。解上述公式，可得：

$\begin{array}{c}{a}^g={\[{\mathrm{\Φ}}^g-N^g{N}^p{\mathrm{\η}}^2{\left({\mathrm{\Φ}}^p\right)}^{-1}\]}^{-1}\[X^g{y}^g+N^g\mathrm{\η}{\left({\mathrm{\Φ}}^p\right)}^{-1}{X}^p{y}^p\]\\ a^p={\[{\mathrm{\Φ}}^p-N^g{N}^p{\mathrm{\η}}^2{\left({\mathrm{\Φ}}^g\right)}^{-1}\]}^{-1}\[X^p{y}^p+N^p\mathrm{\η}{\left({\mathrm{\Φ}}^g\right)}^{-1}{X}^g{y}^g\]\end{array}---\left(4\right)$

其中， $\begin{array}{c}{\mathrm{\Φ}}^g=X^g{X}^{gT}+N^g(\mathrm{\λ}+\mathrm{\η})I\\ {\mathrm{\Φ}}^p=X^p{X}^{pT}+N^p(\mathrm{\λ}+\mathrm{\η})I\end{array},$ λ,η是权重系数，I是单位矩阵。

b.实施细节

对异构人脸数据集按照人(共c个人)来标注类标信息，即c类，划分训练集合和测试集合。

在训练集合上，将提取的三种特征分别和类标信息一起，按照图7的过程获得三种特征表示对应的两种模态下的子空间投影矩阵a_f ^s，a_f ^s表示f特征在s模态下的投影矩阵，f＝Gabor,LBP,SIFT，s＝g,p。按照公式(4)将两种模态下的人脸图片特征投影到公共子空间，再在公共子空间内进行余弦相似性度量，根据阈值判定为是否为同一个人，是则匹配结果为1，否则为0。

(5)特征决策投票，如表1所示，对Gabor特征、LBP特征和SIFT特征在公共子空间内的匹配结果进行多数投票来确定核实结果。图8是十折交叉实验中每一轮组合特征和单独特征的精度比较，组合特征的核实结果明显要优于单独特征的核实结果，由此可见组合特征多数投票机制的必要性。

表1三种单一特征匹配结果和对应最终核实结果

Claims (3)

1.一种基于第二代身份证人像和视频人像的异构人脸核实方法，包括如下步骤：

(1)人脸关键点检测：从原始人脸图像中检测出人脸关键点信息；

(2)图像预处理：将所述原始人脸图像中的人脸分割出来，进行归一化处理和DOG光照预处理；

(3)多特征提取：提取所述步骤(2)处理后图像的Gabor特征、LBP特征和SIFT特征；

(4)相似性度量：利用LCSR度量学习方法，将不同模态下的所述Gabor特征、LBP特征和SIFT特征分别映射到公共子空间，再在公共子空间内进行匹配；

(5)特征决策投票：对所述Gabor特征、LBP特征和SIFT特征在公共子空间内的匹配结果进行多数投票确定核实结果。

2.根据权利要求1所述基于第二代身份证人像和视频人像的异构人脸核实方法，其特征在于：所述步骤(4)依据LCSR方法，将二代身份证人像模态和视频人像模态下的人脸特征映射到统一的公共子空间，降低了因模态不同造成的人脸图像之间的差异。

3.根据权利要求1所述基于第二代身份证人像和视频人像的异构人脸核实方法，其特征在于：所述步骤(4)中的LCSR度量学习方法，是基于子空间学习的图嵌入模型，将CSR模型嵌入LDA的方法当中，先对二代身份证人像模态和视频人像模态的数据单独进行建模，再学习能够将异构数据投影到可区分的子空间的两个投影矩阵。