CN105138972A - 人脸认证方法和装置 - Google Patents

Abstract

本发明提供一种人脸认证方法和装置，属于图像处理和模式识别领域，所述方法包括：采用Gabor滤波器对获取的人脸图像样本对提取Gabor纹理特征，并对提取的Gabor纹理特征分离实部和虚部得到若干特征图；对得到的若干特征图采用LBP统计直方图表示，汇总作为人脸图像样本对的人脸特征表达；采用AdaBoost算法对人脸图像样本对的人脸特征表达进行特征选择；依次采用PCA算法和LDA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征降维和特征判别处理等。与现有技术相比，本发明的人脸认证方法具有能够充分提出样本纹理信息、对样本数量需求较小、算法的时间和空间复杂度低的优点。

Description

人脸认证方法和装置

技术领域

本发明涉及图像处理和模式识别领域，特别是指一种人脸认证方法和装置。

背景技术

二代身份证作为能够代表中国16岁以上成年人身份的最有效证件，记录了持有者的唯一身份证号码、人脸图像以及其它相关信息。而身份证盗用、虚假身份证、一人多身份证等情况的出现对较多行业和国家造成了巨大的损失。因此，采用二代身份证进行身份认证已经成为避免上述现象的重要方法，该方法是将二代身份证的照片与现场采集的人脸图像进行比对，进而判断是否是同一个人。

由于二代身份证上的人脸图像清晰度较低、身份证人脸图像与现场采集到的人脸图像年龄往往存在着较大的差异，以及现场采集到的人脸图像易受到光照、表情、姿态、遮挡等干扰，使采用二代身份证进行身份认证的方法面临诸多挑战。目前，现有技术中的身份证认证方法包括基于特征脸方法和基于Gabor特征的方法等，但是，对于基于特征脸的方法，对人脸定位的准确度要求较高，并且该方法对遮挡、姿态的变化较为敏感，容易导致认证不准确；对于基于Gabor特征的方法，需要图像的纹理信息较多，训练时需要的样本数量较多，相应的时间复杂度较高，并且获得特征的维数较高，计算复杂，通常情形下无法满足实时性的需求。

发明内容

本发明要解决的技术问题是提供一种能够充分提出样本纹理信息、对样本数量需求较小、算法的时间和空间复杂度低的人脸认证方法和装置。

为解决上述技术问题，本发明提供技术方案如下：

一种人脸认证方法，包括：

获取人脸图像样本对；

采用Gabor滤波器对获取的人脸图像样本对提取Gabor纹理特征，并对提取的Gabor纹理特征分离实部和虚部得到若干特征图；

对得到的若干特征图采用LBP统计直方图表示，汇总作为人脸图像样本对的人脸特征表达；

采用AdaBoost算法对人脸图像样本对的人脸特征表达进行特征选择；

依次采用PCA算法和LDA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征降维和特征判别处理；

采用余弦距离计算特征降维和特征判别处理后的人脸图像样本对的人脸特征表达的相似度；

根据计算得到的相似度和预先设定的阈值，判断人脸图像样本对是否属于同一个人。

一种人脸认证装置，包括：

获取模块：用于获取人脸图像样本对；

提取模块：用于采用Gabor滤波器对获取的人脸图像样本对提取Gabor纹理特征，并对提取的Gabor纹理特征分离实部和虚部得到若干特征图；

特征表达模块：用于对得到的若干特征图采用LBP统计直方图表示，汇总作为人脸图像样本对的人脸特征表达；

特征选择模块：用于采用AdaBoost算法对人脸图像样本对的人脸特征表达进行特征选择；

处理模块：用于依次采用PCA算法和LDA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征降维和特征判别处理；

计算模块：用于采用余弦距离计算特征降维和特征判别处理后的人脸图像样本对的人脸特征表达的相似度；

判断模块：用于根据计算得到的相似度和预先设定的阈值，判断人脸图像样本对是否属于同一个人。

本发明具有以下有益效果：

本发明的人脸认证方法和装置，采用Gabor滤波器提取人脸图像样本对的Gabor纹理特征，将Gabor纹理特征分离实部和虚部得到若干特征图，并对得到的若干特征图采用LBP统计直方图表示，汇总作为人脸图像样本对的人脸特征表达，该方法能够更加充分的提取人脸的纹理特征，能够解决身份证图像可用纹理信息少的问题，而且算法的时间和空间复杂度都要比现有技术中采用单一的Gabor算法低。然后，对人脸图像样本对的人脸特征表达进行特征选择，本发明中，采用AdaBoost算法一方面能降低特征的维数，减小算法的时间和空间复杂度，另一方面还能提取的特征具有较强的判别性。接着，依次采用PCA算法和LDA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征降维和特征判别处理，本发明中采用的PCA算法可以使人脸图像数据从原始图像空间转化为维数大大减小的特征空间，同时，又保留原始图像数据的绝大部分信息，LDA算法可以选择使得样本类间离散度和样本类内离散度的比值最大的特征。最后，采用余弦距离计算特征降维和特征判别处理后的人脸图像样本对的人脸特征表达的相似度，根据计算得到的相似度和预先设定的阈值，判断人脸图像样本对是否属于同一个人。本发明，优选的，应用在基于二代身份证人脸图像认证的场合。此外，本发明还可以应用在除了二代身份证以外的其它包含人脸图像的证件认证场合中。与现有技术相比，本发明的人脸认证方法具有能够充分提出样本纹理信息、对样本数量需求较小、算法的时间和空间复杂度低的优点。

附图说明

图1为本发明的人脸认证方法的方法示意图；

图2为本发明的人脸认证方法的人脸图像预处理的方法示意图；

图3为本发明的人脸认证方法的采用AdaBoost算法进行特征选择的方法示意图；

图4为本发明的人脸认证方法的人脸特征提取过程的流程示意图；

图5为本发明的人脸认证方法的实施例的LDA算法的样本类间投影示意图；

图6为本发明的人脸认证方法的实施例的ROC曲线图；

图7为本发明的人脸认证装置的结构示意图；

图8为本发明的人脸认证装置的预处理模块的结构示意图；

图9为本发明的人脸认证装置的特征选择模块的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

名词解释：

二维Gabor滤波器是一种可以较好的模拟人类视觉系统中简单细胞的视觉刺激响应的滤波器；

LBP(LocalBinaryPattern，局部二进制模式)是通过比较中心与邻域的像素值大小进行二进制编码，可以适当的增大或减小在很小的位移下的像素值变化，并且对平行光照不敏感。作为一种特征编码工具，LBP在人脸识别特征提取方面得到了广泛的应用；

AdaBoost(AdaptiveBoosting)是一种自适应提升机器学习算法，AdaBoost可以通过自身迭代从而不断调整样本权重，将多个弱分类器集成为一个强分类器，从而达到更好的分类效果；

PCA(PrincipalComponentsAnalysis，主成分分析)是对特征进行线性组合构造新的特征的方法，这些线性组合最大化特征间的方差，尽可能的使得新的特征互不相关。PCA是模式识别领域中一种较常见的降维、去噪的方法；

LDA(LinearDiscriminantAnalysis，线性判别分析)是将高维的特征投影到最佳鉴别矢量空间，从而达到抽取分类信息和压缩特征空间维数的效果。投影后保证特征在新的子空间有最大类间距离和最小的类内距离，即特征在该空间中具有最佳的可分离性。

一方面，本发明提供一种人脸认证方法，如图1所示，包括：

步骤S101：获取人脸图像样本对；

本步骤中，获取的人脸图像样本对中，一个样本可以是身份证上的人脸照片，另一个样本可以是现场采集的人脸图像，其中，现场采集的人脸图像可以是在现场采集的视频中截取的图像，也可以是现场直接拍摄的人脸照片。

步骤S102：采用Gabor滤波器对获取的人脸图像样本对提取Gabor纹理特征，并对提取的Gabor纹理特征分离实部和虚部得到若干特征图；

本步骤中，Gabor滤波器是一个用于边缘提取的线性滤波器。Gabor滤波器的频率和方向表达同人类视觉系统类似，Gabor滤波器十分适合纹理表达和分离。

步骤S103：对得到的若干特征图采用LBP统计直方图表示，汇总作为人脸图像样本对的人脸特征表达；

本步骤中，采用的LBP为一种有效的描述算子，它可以提取图像局部的纹理信息，对光照、表情和姿态等具有很强鲁棒性。应用时，可以对每个特征图内的每个像素点都提取LBP特征，然后，对每个特征图进行直方图统计，使每个特征图都用一个统计直方图来进行描述，因此，整个人脸图像就可以由LBP统计直方图进行描述。

步骤S104：采用AdaBoost算法对人脸图像样本对的人脸特征表达进行特征选择；

本步骤中，采用的AdaBoost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，即弱分类器，然后把这些弱分类器集合起来，构造一个更强的最终分类器，本步骤中使用AdaBoost算法是为了在人脸图像样本对中挑选认证最有利的特征。

步骤S105：依次采用PCA算法和LDA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征降维和特征判别处理；

本步骤中，采用的PCA算法可以将人脸图像数据从原始图像空间转化为维数大大减小的特征空间，同时，又保留原始图像数据的绝大部分信息，LDA的目的是从高维特征空间提取出最具有判别能力的地位特征，这些特征能帮助将同一个类别的所有样本聚集在一起，不同类别的样本尽量地分开。即选择使得样本类间离散度和样本类内离散度的比值最大的特征。

步骤S106：采用余弦距离计算特征降维和特征判别处理后的人脸图像样本对的人脸特征表达的相似度；

本步骤中，针对降维和判别处理后的特征采用余弦距离衡量两个特征之间的相似度，计算公式可以为：

$S(x,y)=\frac{<x,y>}{\left|\right|x\left|\right|\left|\right|y\left|\right|}$

其中，x,y为经过降维和判别处理后的特征，<x,y>表示x,y之间的内积，||*||为范数算子。

步骤S107：根据计算得到的相似度和预先设定的阈值，判断人脸图像样本对是否属于同一个人。

本发明的人脸认证方法，采用Gabor滤波器提取人脸图像样本对的Gabor纹理特征，将Gabor纹理特征分离实部和虚部得到若干特征图，并对得到的若干特征图采用LBP统计直方图表示，汇总作为人脸图像样本对的人脸特征表达，该方法能够更加充分的提取人脸的纹理特征，能够解决身份证图像可用纹理信息少的问题，而且算法的时间和空间复杂度都要比现有技术中采用单一的Gabor算法低。然后，对人脸图像样本对的人脸特征表达进行特征选择，本发明中，采用AdaBoost算法一方面能降低特征的维数，减小算法的时间和空间复杂度，另一方面还能提取的特征具有较强的判别性。接着，依次采用PCA算法和LDA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征降维和特征判别处理，本发明中采用的PCA算法可以使人脸图像数据从原始图像空间转化为维数大大减小的特征空间，同时，又保留原始图像数据的绝大部分信息，LDA算法可以选择使得样本类间离散度和样本类内离散度的比值最大的特征。最后，采用余弦距离计算特征降维和特征判别处理后的人脸图像样本对的人脸特征表达的相似度，根据计算得到的相似度和预先设定的阈值，判断人脸图像样本对是否属于同一个人。本发明，优选的，应用在基于二代身份证人脸图像认证的场合。此外，本发明还可以应用在除了二代身份证以外的其它包含人脸图像的证件认证场合中。与现有技术相比，本发明的人脸认证方法具有能够充分提出样本纹理信息、对样本数量需求较小、算法的时间和空间复杂度低的优点。

作为本发明的一种改进，步骤S102之前，如图2所示，包括：

步骤S1021：采用AdaBoost算法对获取的人脸图像样本对进行人脸检测；

步骤S1022：在检测出的人脸图像上采用ESR算法对人脸图像定位；

步骤S1023：利用定位后人眼的位置坐标采用相似变换进行归一化处理。

本发明中，采用的Adaboost算法的人脸检测方法是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)，该算法具有鲁棒性强、检测率高等特点，同时，本发明中还采用了ESR(ExplicitShapeRegression，显性形状回归)算法的人脸定位归一化处理，ESR算法的归一化原理是将定位后的眼睛坐标位置固定，使人脸的其余部分参照眼睛坐标作相似变换，把获取的人脸图像样本对人脸剪裁成相同大小，以方便后续的人脸特征提取，ESR算法具有鲁棒性较强的特点。

为了实现滤波的最好效果，优选的，Gabor滤波器采用5尺度8方向的Gabor滤波核，同时，为了减小计算的复杂度，选取Gabor滤波核的核能量的95％对所述Gabor滤波核的大小进行缩放，本发明中的缩放过程是以中心点为原点，逐步向四周计算像素值之和，直到求得的点的像素值之和达到所有点像素值的和的95％停止，得到最终的Gabor滤波核。

本发明中的缩放过程是以中心点为原点，逐步向四周计算像素值之和，知道求得的点的像素值之和达到所有点像素值的和的95％停止。

本发明中，所述采用AdaBoost算法对人脸图像样本对的人脸特征表达进行特征选择的过程，如图3所示，包括：

步骤S1041：利用人脸图像样本对构造正负样本：

T＝{(x₁,y₁),(x₂,y₂),…,(x_n,y_n)},x_i∈X,y_i∈{+1,-1}

本步骤中，正样本例如为同一个人的身份证图像和现场采集的人脸图像，负样本例如为不同人的身份证图像和现场采集的人脸图像，样本特征值为两幅图像对应子块间的欧氏距离。

步骤S1042：初始化正负样本权重分布：

$D_1=(w_{11},...,w_{11},...,w_{11}),w_{1i}=\frac{1}{N},i=1,2,...,N$

步骤S1043：对于权重分布D_m学习弱分类器h_m，使得该弱分类器在数据集上的加权分类错误率最小：

$h_m=\arg {\min }_h{e}_m=\arg {\min }_{h}P\left(h\right(x_i)\&NotEqual;y_i)={\mathrm{\&Sigma;}}_{i=1}^N{w}_{mi}I\left(h\right(x_i)\&NotEqual;y_i)$

步骤S1044：更新样本权重分布，转至上一步骤，直至达到特征选择的预定个数为止。

更新样本权重分布：

D_m+1＝(w_m+！,1,…,w_m+！,2,…,w_m+！,n)

其中，

$w_{m+!,1}=w_{m,1}{e}^{-a_m{y}_i\left({\&Sigma;}_m{a}_m{h}_m\right(x_i\left)\right)}$

$a_m=\frac{1}{2}ln\frac{1-e_m}{e_m}$

本发明中，采用的AdaBoost算法可以将一组弱分类器自适应地提升为强分类器。AdaBoost算法为每个训练样本引入一个权重w_i，训练通过迭代过程实现，每次迭代训练一弱分类器使其在当前的权重分布下错误率最低，每次迭代结束后增大分类错误样本的权重，降低分类正确样本的权重，从而使得下次迭代弱分类器的选择更加重视错误的样本。

作为本发明的进一步改进，采用PCA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征降维处理中，选取累计贡献率为前95％的特征值所对应的特征向量作为对人脸图像样本对的人脸特征表达进行特征选择的主成分；

本发明中的累计贡献率定义为几个主成分的方差和在全部方差中所占的比重，公式：

其中，λ_i为选择后的特征的第i个特征值，k为选择主成分的数量，p为主成分的总数量。

本发明进行主成分分析的目的之一是希望用尽可能少的主成分代替原理的若干个指标。

与上述PCA算法作用相同，本发明中，采用LDA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征判别处理中，选取累计贡献率为前90％的特征值对应的特征向量构造使得类间离差和类内离差比值最大的投影方向矩阵。

本发明提供了一个人脸认证方法实施例，该实施例可以参照如下步骤进行：

(1)提取Gabor纹理特征：

我们用具有多方向性和多尺度性Gabor滤波器提取身份证和视频人脸图像的全局和局部的信息。Gabor滤波器的定义为：

$g(x,y,\mathrm{\&lambda;},\mathrm{\&theta;},\mathrm{\&psi;},\mathrm{\&sigma;},\mathrm{\&gamma;})=\exp (-\frac{x^{\&prime;2}+{\mathrm{\&gamma;}}^2{y}^{\&prime;2}}{2{\mathrm{\&sigma;}}^2})\exp \left(i\right(2\mathrm{\&pi;}\frac{x^{\&prime;}}{\mathrm{\&lambda;}}+\mathrm{\&psi;}\left)\right)$

其中，(x,y)是像素点的位置坐标，(x′,y′)是点(x,y)正交变换后的结果，即

x′＝xcosθ+ysinθ

y′＝-xsinθ+ycosθ

λ为滤波器的波长，θ为滤波器并行条纹的方向，ψ定义了相位，γ为空间纵横比，决定Gabor滤波器的形状的椭圆率；

因此。公式(1)可以简写为：

${\mathrm{\&psi;}}_{u,v}\left(z\right)=\frac{\left|\right|k_{u,v}|{|}^2}{{\mathrm{\&sigma;}}^2}{e}^{(-\frac{\left|\right|k_{u,v}\left|{|}^2\right|\left|z\right|{|}^2}{2{\mathrm{\&sigma;}}^2})}\&lsqb;e^{{\mathrm{ik}}_{u,v}z}-e^{-\frac{{\mathrm{\&sigma;}}^2}{2}}\&rsqb;$

其中z＝(x,y)， $k_{u,v}=k_u{e}^{{\mathrm{i\&phi;}}_u},k_v=\frac{k_{\max }}{f^v}$ 定义了Gabor的尺度， ${\mathrm{\&phi;}}_u=\frac{u\mathrm{\&pi;}}{8}\&Element;\&lsqb;0,\mathrm{\&pi;})$ 定义了Gabor的方向，||*||代表范数算子。公式(1)为Gabor核函数。在图像处理中，Gabor滤波器是一个用于边缘提取的线性滤波器，Gabor滤波器的频率和方向表达同人类视觉系统类似，该滤波器十分适合纹理表达和分离。

对一幅人脸图像f(x,y)提取Gabor特征的过程相当于将人脸图像与Gabor核ψ_u,v(z)做卷积：

G(x,y,u,v)＝f(x,y)*ψ_u,v(z)

其中*是卷积算子，f(x,y)表示在横纵坐标为(x,y)位置处的灰度值，经过卷积运算得到的G(x,y,u,v)是与f(x,y)大小相同的图像，对于不同的(u,v)组合，ψ_u,v(z)也就不相同，则最后得到的G也就是不相同的，由于ψ_u,v(z)是复数，与实数相乘结果也为复数，提取所有像素点的实数部分作为一个图像，虚数部分作为组成一个图像。本发明采用5尺度，8方向的Gabor滤波核，在对图像进行滤波之前首先取核能量的95％来对Gabor核的大小进行放缩，从而减小计算复杂度。对滤波后的结果，分离实部和虚部得到80个特征图。

(2)使用LBP对Gabor特征图编码：

Gabor特征图在较小的位移变化下特征值的变化也相对的较小，为了增大一个邻域内像素值的变化，并且增强光照的鲁棒性，采用LBP分别对Gabor的实部和虚部特征图进行编码。LBP通过比较邻域像素与中心像素的相对大小关系来进行二进制编码，即

$S(f_p-f_c)=\left\{\begin{array}{cc}1,& f_p\&GreaterEqual;f_c\\ 0,& f_p<f_c\end{array}\right.$

其中，f_p、f_c分别表示邻域像素值和中心像素值。

某一像素点的LBP取值为该位置的二进制编码转化成十进制数值：

$LBP={\mathrm{\&Sigma;}}_{p=1}^{l^2}S(f_p-f_c)2^p$

图4所示中，表示了人脸特征的提取过程。为了增强特征对外界变化的鲁棒性，本专利对人脸特征图提取局部统计特征表达人脸。首先，实部和虚部的特征图都被划分为互不重叠的子块，然后从每一个子块上提取统计直方图，最后把所有的统计直方图连接起来作为人脸特征表达。

图像f(x,y)灰度值在[0，L-1]范围中的统计直方图h定义为：

$h_i=\underset{x,y}{\&Sigma;}I\{f(x,y)=i\},i=0,1,...,L-1$

其中，i是i-th灰度值，h_i表示图像在灰度值i处的像素数：

$I\left(A\right)=\left\{\begin{array}{cccc}1,& A& is& ture\\ 0,& A& is& false\end{array}\right.$

假设每一个特征图被划分为m个区域R₀,R₁,...,R_m-1，则第r个区域的统计直方图为：

$H_{u,v,r}=(h_{u,v,r,0}^{real},h_{u,v,r,0}^{imag},h_{u,v,r,1}^{real},h_{u,v,r,1}^{imag},\mathrm{...},h_{u,v,r,L-1}^{real},h_{u,v,r,L-1}^{imag})$

其中：

$h_{u,v,r,i}^{real}={\&Sigma;}_{(x,y)\&Element;R_r}I\{G^{real}(x,y,u,v)=i\}$

$h_{u,v,r,1}^{imag}={\&Sigma;}_{(x,y)\&Element;R_r}I\{G^{imag}(x,y,u,v)=i\}$

则人脸的特征表达为：

R＝(H_0,0,0,...,H_0,0,m-1,H_0,1,0,...,H_0,0,m-1,...,H_7,4,m-1)

(3)AdaBoost特征选择

由于使用了5尺度和8方向的Gabor滤波器对人脸图像滤波提取人脸特征图，虽然利用Gabor核能量检查的方法缩小了Gabor核，但其多方向性、多尺度性仍然会导致特征具有较高的维数。此外，使用较大的Gabor核与图像进行卷积会增强图像的噪声。因此，使用AdaBoost算法对特征图中的特征进行选择。AdaBoost特征选择的步骤如下：

(a)利用身份证人脸图像和视频照人脸图像构造正负样本:

T＝{(x₁,y₁),(x₂,y₂),…,(x_n,y_n)},x_i∈X,y_i∈{+1,-1}

正样本为同一个人的身份证图像和视频图像，负样本为不同人的身份证图像和视频图像，样本特征值为两幅图像对应子块间的欧氏距离。

(b)初始化样本权重分布：

$D_1=(w_{11},...,w_{1i},...w_{ln}),w_{1i}=\frac{1}{N},i=1,2,...,N$

(c)对于权重分布D_m学习弱分类器h_m(特征的阈值化)，使得该分类器在数据集上的加权分类错误率最小：

$h_m=\arg {\min }_h{e}_m=\arg {\min }_{h}P\left(h\right(x_i)\&NotEqual;y_i)={\mathrm{\&Sigma;}}_{i=1}^N{w}_{mi}I\left(h\right(x_i)\&NotEqual;y_i)$

(d)更新样本权重分布：

D_m+1＝(w_m+1,1,…w_m+1,i,…,w_m+1,n)

其中，

$w_{m+1,i}=w_{m,i}{e}^{-{\mathrm{\&alpha;}}_m{y}_i\left({\&Sigma;}_m{\mathrm{\&alpha;}}_m{h}_m\right(x_i\left)\right)}$

${\mathrm{\&alpha;}}_m=\frac{1}{2}\ln \frac{1-e_m}{e_m}$

(e)重复步骤Step3，Step4直到达到特征选择的个数为止。

通过下面的例子，对AdaBoost算法的特征选择过程进行说明：

在这里我们定义弱分类器由x<v或x>v产生，其中v是两个样本的平均数(实验中常用的一种弱分类器确定的方法)。

初始化权重分布：

D₁＝(0.1，0.1，…，0.1)

t＝1时，在D₁上阈值v＝2.5时分类误差最低，所以基本分类器为：

$h_1\left(x\right)=\left\{\begin{array}{cc}1,& x<2.5\\ -1,& x>2.5\end{array}\right.$

h₁(x)在训练数据上的加权误差为ε₁＝0.3，h₁(x)的系数为α₁＝0.4236；

更新权重分布：

D₂＝(0.07143,0.07143,0.07143,0.07143,0.07143,0.07143,0.16667,0.16667,0.16667,0.07143)

此时，H(x)＝sign[0.4236h₁(x)]在训练数据上有3个错误分类点；

t＝2时，在D₂上阈值v＝8.5时分类误差最低，所以基本分类器为：

$h_2\left(x\right)=\left\{\begin{array}{cc}1,& x<8.5\\ -1,& x>8.5\end{array}\right.$

h₂(x)在训练数据上的加权误差为ε₂＝0.2143，h₂(x)的系数为α₂＝0.6496；

更新权重分布：

D₃＝(0.0455,0.0455,0.0455,0.1667,0.1667,0.1667,0.1060,0.1060,0.1060,0.0455)

此时，H(x)＝sign[0.4236h₁(x)+0.6496h₂(x)]在训练数据上有3个错误分类点；

t＝3时，在D₃上阈值v＝5.5时分类误差最低，所以基本分类器为：

$h_3\left(x\right)=\left\{\begin{array}{cc}1,& x<5.5\\ -1,& x>5.5\end{array}\right.$

h₃(x)在训练数据上的加权误差为ε₃＝0.1820，h₃(x)的系数为α₃＝0.7514。更新权重分布：

D₄＝(0.125,0.125,0.125,0.102,0.102,0.102,0.065,0.065,0.065,0.125)

此时，H(x)＝0.4236h₁(x)+0.6496h₂(x)+0.7514h₃(x)在训练数据上有0个错误分类点，训练结束；

最终的强分类器为：

H(x)＝sign[0.4236h₁(x)+0.6496h₂(x)+0.7514h₃(x)]

则最终挑选的特征为：h₁，h₂和h₃。

(4)利用PCA+LDA降维

由于AdaBoost特征选择只考虑了特征的判别能力，但特征之间往往会存在一定的相关性和信息冗余，并且经选择后获得特征维数仍然较大，所以本发明采用获得主元分析PAC(PrincipalcomponentsAnalysis)主元子空间进行特征降维和采用线性鉴别分析LDA(LinearDiscriminantAnalysis)特征子空间进行特征判别性增强的方法，其中：

(a)PCA的降维处理：

第一步，样本去均值处理。将每一个样本值减掉样本的均值，使得处理后的样本的均值为零。

第二步，计算样本方差最大的投影方向。首先对样本的协方差矩阵进行奇异值分解，然后按照特征值的大小取特征向量构造投影矩阵，本发明中取前95％的特征值对应的特征向量构造投影方向矩阵。

PCA算法的计算过程：

假定有m个样本，每个样本共有n个变量，构成一个m×n的数据矩阵：

要求得各主成分，首先计算相关系数矩阵：

其中r_ij是变量x_i和x_j的相关系数，r_ij＝r_ji，其计算公式为：

$r_{ij}=\frac{\underset{k=1}{\overset{m}{\&Sigma;}}(x_{ki}-{\stackrel{\&OverBar;}{x}}_i)(x_{kj}-{\stackrel{\&OverBar;}{x}}_j)}{\sqrt{\underset{k=1}{\overset{m}{\&Sigma;}}{(x_{ki}-{\stackrel{\&OverBar;}{x}}_i)}^2\underset{k=1}{\overset{m}{\&Sigma;}}{(x_{kj}-{\stackrel{\&OverBar;}{x}}_j)}^2}}$

然后求解特征值与特征向量，计算主成分贡献率及累计贡献率：

贡献率： $\begin{array}{cc}\frac{{\mathrm{\&lambda;}}_i}{\underset{k=1}{\overset{n}{\&Sigma;}}{\mathrm{\&lambda;}}_k}& (i=1,2,\mathrm{...},n)\end{array}$

累计贡献率： $\begin{array}{cc}\frac{\underset{k=1}{\overset{i}{\&Sigma;}}{\mathrm{\&lambda;}}_k}{\underset{k=1}{\overset{n}{\&Sigma;}}{\mathrm{\&lambda;}}_k}& (i=1,2,\mathrm{...},n)\end{array}$

一般取累计贡献率为前95％的特征值λ₁，λ₂，…，λ_r所对应的第1、第2、...、第r(r≤n)个主成分，计算主成分载荷：

则各主成分的得分为：

本发明中取累计贡献率95％。

(b)LDA的特征判别处理：

LDA是计算一个投影方向使得样本在该方向上组间离差最大，组内离差最小。LDA的计算过程为：

第一步，样本标准化处理。样本标准化是将样本去均值以后再除以样本标准差。

第二步，计算使得组间离差和组内离差比值最大的投影方向。该步骤最终也将转化为求特征值和特征向量问题，按照特征值的大小取对应的特征向量构造投影矩阵，本专利中取前90％的特征值对应的特征向量构造投影方向矩阵。

LDA算法的计算过程：

给定m个n维特征的训练数据 $\begin{array}{cc}{x}^{\left(i\right)}=\{x_1^{\left(i\right)},x_2^{\left(i\right)},...,x_n^{\left(i\right)}\}& (i=1,2......m),\end{array}$ 每个x(1)对应一个类标签y(1)。

对于二值分类情况，即y＝1或者y＝0。

为了方便表示，我们先换符号重新定义问题，给定特征为d维的N个数据，其中有N₁个数据属于类别另外N₂个数据属于类别

我们用w表示最佳判别矢量空间的一个向量(d维)，那么x(d维)到w上的投影可以用下式来计算：

y＝w^Tx

找到这个最佳的w。

类i(i＝1,2)的样本均值(中心点)为：

${\mathrm{\&mu;}}_i=\frac{1}{N_i}\underset{x\&Element;{\mathrm{\&omega;}}_i}{\&Sigma;}x$

类i投影后的中心点为：

${\widetilde{\mathrm{\&mu;}}}_i=\frac{1}{N_i}\underset{y\&Element;{\mathrm{\&omega;}}_i}{\&Sigma;}y=\frac{1}{N_i}\underset{x\&Element;{\mathrm{\&omega;}}_i}{\&Sigma;}{w}^{T}x=w^T{\mathrm{\&mu;}}_i$

即投影后的的均值是样本中心点的投影。

我们希望投影后两类样本中心点尽量分离，即样本在新的子空间有最大的类间距离，定量表示就是下式越大越好：

$|{\widetilde{\mathrm{\&mu;}}}_1-{\widetilde{\mathrm{\&mu;}}}_2|=\left|{\mathrm{\&omega;}}^T({\mathrm{\&mu;}}_1-{\mathrm{\&mu;}}_2)\right|$

但是只考虑类间距离，如图5所示，可能会产生下图的情况：

样本点均匀分布在椭圆里：投影到横轴x1上时虽然能够获得很大的中心点间距，但是由于有重叠，x1不能分离两类样本点；投影到纵轴x2上，虽然中心点间距较小，但是能够分离样本点。经过分析，还需要考虑类间样本点之间的方差，方差越大，样本点越难以分离。用散列值(scatter)作为度量，对投影后的类求散列值，表示如下：

散列值反映类间样本点的分散程度，值越大，越分散，反之，越集中。因而我们要求使得度量公式(称为损失函数)J(w)最大的w，J(w)表达式为：

$J\left(w\right)=\frac{|{\widetilde{\mathrm{\&mu;}}}_1-{\widetilde{\mathrm{\&mu;}}}_2{|}^2}{{{\tilde{S}}_1}^2+{{\tilde{S}}_2}^2}$

我们进行如下定义，散列矩阵：

类内离散矩阵：

S_w＝S₁+S₂

类间离散矩阵：

S_B＝(μ₁-μ₂)(μ₁-μ₂)^T

则有：

${{\tilde{S}}_i}^2=w^T{S}_{i}w$

${{\tilde{S}}_1}^2+{{\tilde{S}}_2}^2=w^T{S}_{w}w$

${\left|{\widetilde{\mathrm{\&mu;}}}_1-{\widetilde{\mathrm{\&mu;}}}_2\right|}^2={(w^T{\mathrm{\&mu;}}_1-w^T{\mathrm{\&mu;}}_2)}^2=w^T({\mathrm{\&mu;}}_1-{\mathrm{\&mu;}}_2){({\mathrm{\&mu;}}_1-{\mathrm{\&mu;}}_2)}^{T}w=w^T{S}_{B}w$

则J(w)化为：

$J\left(w\right)=\frac{w^T{S}_{B}w}{w^T{S}_{w}w}$

求J(w)的最大值可以使用拉格朗日乘子法，但是由于w扩大任何倍，都成立，那就得到无穷个解，因此我们可以对分母进行归一化(将分母限制为长度为1)，并作为拉格朗日乘子法的限制条件，带入得到：

$\begin{array}{c}c\left(w\right)=w^T{S}_{B}w-\mathrm{\&lambda;}(w^T{S}_{w}w-1)\\ \&DoubleRightArrow;\frac{dc}{dw}=2S_{B}w-2{\mathrm{\&lambda;S}}_{w}w=0\\ \&DoubleRightArrow;S_{B}w={\mathrm{\&lambda;S}}_{w}w\end{array}$

如果S_w可逆，则有：

S_w ^-1S_Bw＝λw

所以，我们得到要求的w就是矩阵的特征向量。

根据S_B的表达式，我们可以得到：

S_Bw＝(μ₁-μ₂)(μ₁-μ₂)^Tw＝(μ₁-μ₂)*λ_w(λ_w为常数)

代入最后的特征值公式得：

S_w ^-1S_Bw＝S_w ^-1(μ₁-μ₂)*λ_w＝λw

由于对w扩大缩小任何倍不影响结果，因此可以约去两边的未知常数λ和λ_w，得到：

w＝S_w ^-1(μ₁-μ₂)

因此，我们只需求出原始样本的均值和方差，就可以求出最佳的方向w。

(5)计算特征相似度

针对降维后的特征采用余弦距离衡量两个特征之间的相似度，计算公式为：

$S(x,y)=\frac{<x,y>}{\left|\right|x\left|\right|\left|\right|y\left|\right|}$

其中，x,y为经过降维和判别处理后的特征，<x,y>表示x,y之间的内积，||*||为范数算子。

(6)人脸认证

将身份证人脸图像特征和视频照人脸图像特征之间的相似度S与给定的阈值T进行比较，可以设定S≥T则说明是同一个人；反之，则不是同一个人。

本实施例中，采用Gabor和LBP对人脸进行特征表达，利用Gabor特征图的实部和虚部构造统计特征，实验表明该方法能够更加充分的提取人脸的纹理特征，并且对年龄、光照、姿态表现出了较强的稳健性。同时，本发明中采用AdaBoost特征选择一方面降低特征的维数，减小算法的时间和空间复杂度，另一方面提取的特征具有较强的判别性。本发明采用离线训练——在线测试的方式，在81名志愿者的二代身份证照片和若干张现场采集的视频照片组成的测试库上测试，当错误接受率为0.0994时，对应的认证率为97.71％，对应的ROC曲线如图6所示，ROC曲线为受试者工作特征曲线。

另一方面，本发明还提供一种人脸认证装置，如图7所示，包括：

获取模块11：用于获取人脸图像样本对；

提取模块12：用于采用Gabor滤波器对获取的人脸图像样本对提取Gabor纹理特征，并对提取的Gabor纹理特征分离实部和虚部得到若干特征图；

特征表达模块13：用于对得到的若干特征图采用LBP统计直方图表示，汇总作为人脸图像样本对的人脸特征表达；

特征选择模块14：用于采用AdaBoost算法对人脸图像样本对的人脸特征表达进行特征选择；

处理模块15：用于依次采用PCA算法和LDA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征降维和特征判别处理；

计算模块16：用于采用余弦距离计算特征降维和特征判别处理后的人脸图像样本对的人脸特征表达的相似度；

判断模块17：用于根据计算得到的相似度和预先设定的阈值，判断人脸图像样本对是否属于同一个人。

本发明的人脸认证装置，采用Gabor滤波器提取人脸图像样本对的Gabor纹理特征，将Gabor纹理特征分离实部和虚部得到若干特征图，并对得到的若干特征图采用LBP统计直方图表示，汇总作为人脸图像样本对的人脸特征表达，该方法能够更加充分的提取人脸的纹理特征，能够解决身份证图像可用纹理信息少的问题，而且算法的时间和空间复杂度都要比现有技术中采用单一的Gabor算法低。然后，对人脸图像样本对的人脸特征表达进行特征选择，本发明中，采用AdaBoost算法一方面能降低特征的维数，减小算法的时间和空间复杂度，另一方面还能提取的特征具有较强的判别性。接着，依次采用PCA算法和LDA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征降维和特征判别处理，本发明中采用的PCA算法可以使人脸图像数据从原始图像空间转化为维数大大减小的特征空间，同时，又保留原始图像数据的绝大部分信息，LDA算法可以选择使得样本类间离散度和样本类内离散度的比值最大的特征。最后，采用余弦距离计算特征降维和特征判别处理后的人脸图像样本对的人脸特征表达的相似度，根据计算得到的相似度和预先设定的阈值，判断人脸图像样本对是否属于同一个人。本发明，优选的，应用在基于二代身份证人脸图像认证的场合。此外，本发明还可以应用在除了二代身份证以外的其它包含人脸图像的证件认证场合中。与现有技术相比，本发明的人脸认证装置具有能够充分提出样本纹理信息、对样本数量需求较小、算法的时间和空间复杂度低的优点。

作为本发明的进一步改进，获取模块11与提取模块12之间还连接有预处理模块，预处理模块11’，如图8所示，包括：

检测模块121，用于采用AdaBoost算法对获取的人脸图像样本对进行人脸检测；

定位模块122，用于在检测出的人脸图像上采用ESR算法对人脸图像定位；

归一化处理模块123，用于利用定位后人眼的位置坐标采用相似变换进行归一化处理。

本发明中，采用的Adaboost算法的人脸检测方法是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)，该算法具有鲁棒性强、检测率高等特点，同时，本发明中还采用了ESR(ExplicitShapeRegression，显性形状回归)算法的人脸定位归一化处理，ESR算法的归一化原理是将定位后的眼睛坐标位置固定，使人脸的其余部分参照眼睛坐标作相似变换，把获取的人脸图像样本对人脸剪裁成相同大小，以方便后续的人脸特征提取，ESR算法具有鲁棒性较强的特点。

为了实现滤波的最好效果，优选的，Gabor滤波器采用5尺度8方向的Gabor滤波核，同时，为了减小计算的复杂度，选取Gabor滤波核的核能量的95％对所述Gabor滤波核的大小进行缩放，得到最终的Gabor滤波核。

本发明中的缩放过程是以中心点为原点，逐步向四周计算像素值之和，知道求得的点的像素值之和达到所有点像素值的和的95％停止。

本发明中，特征选择模块14，如图9所示，包括：

构造模块141：用于利用人脸图像样本对构造正负样本：

$D_1=(w_{11},...,w_{11},...,w_{11}),w_{1i}=\frac{1}{N},i=1,2,...,N$

其中，正样本例如为同一个人的身份证图像和现场采集的人脸图像，负样本例如为不同人的身份证图像和现场采集的人脸图像，样本特征值为两幅图像对应子块间的欧氏距离。

初始化模块142，用于初始化正负样本权重分布：

$D_1=(w_{11},...,w_{11},...,w_{11}),w_{1i}=\frac{1}{N},i=1,2,...,N$

学习模块143，用于对于权重分布学习弱分类器，使得该弱分类器在数据集上的加权分类错误率最小：

$h_m=\arg {\min }_h{e}_m=\arg {\min }_{h}P\left(h\right(x_i)\&NotEqual;y_i)={\mathrm{\&Sigma;}}_{i=1}^N{w}_{mi}I\left(h\right(x_i)\&NotEqual;y_i)$

更新模块144，用于更新样本权重分布，转至学习模块143，直至达到特征选择的预定个数为止：

D_m+1＝(w_m+！,1,…,w_m+！,2,…,w_m+！,n)

其中，

$w_{m+!,1}=w_{m,1}{e}^{-a_m{y}_i\left({\&Sigma;}_m{a}_m{h}_m\right(x_i\left)\right)}$

$a_m=\frac{1}{2}ln\frac{1-e_m}{e_m}$

本发明中，采用的AdaBoost算法可以将一组弱分类器自适应地提升为强分类器。AdaBoost算法为每个训练样本引入一个权重w_i，训练通过迭代过程实现，每次迭代训练一弱分类器使其在当前的权重分布下错误率最低，每次迭代结束后增大分类错误样本的权重，降低分类正确样本的权重，从而使得下次迭代弱分类器的选择更加重视错误的样本。

作为本发明的一种改进，处理模块15，进一步用于选取累计贡献率为前95％的特征值所对应的特征向量作为对人脸图像样本对的人脸特征表达进行特征选择的主成分；

本发明中的累计贡献率定义为几个主成分的方差和在全部方差中所占的比重，公式：

本发明进行主成分分析的目的之一是希望用尽可能少的主成分代替原理的若干个指标；

与上述PCA算法作用相同，处理模块15，还进一步用于选取累计贡献率为前90％的特征值对应的特征向量构造使得类间离差和类内离差比值最大的投影方向矩阵。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种人脸认证方法，其特征在于，包括：

获取人脸图像样本对；

采用Gabor滤波器对获取的人脸图像样本对提取Gabor纹理特征，并对提取的Gabor纹理特征分离实部和虚部得到若干特征图；

对得到的若干特征图采用LBP统计直方图表示，汇总作为人脸图像样本对的人脸特征表达；

采用AdaBoost算法对人脸图像样本对的人脸特征表达进行特征选择；

依次采用PCA算法和LDA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征降维和特征判别处理；

采用余弦距离计算特征降维和特征判别处理后的人脸图像样本对的人脸特征表达的相似度；

根据计算得到的相似度和预先设定的阈值，判断人脸图像样本对是否属于同一个人。

2.根据权利要求1所述的人脸认证方法，其特征在于，所述采用Gabor滤波器对获取的人脸图像样本对提取Gabor纹理特征，并对提取的Gabor纹理特征分离实部和虚部得到若干特征图之前，包括：

采用AdaBoost算法对获取的人脸图像样本对进行人脸检测；

在检测出的人脸图像上采用ESR算法对人脸图像定位；

利用定位后人眼的位置坐标采用相似变换进行归一化处理。

3.根据权利要求1所述的人脸认证方法，其特征在于，所述Gabor滤波器采用5尺度8方向的Gabor滤波核，并选取Gabor滤波核的核能量的95％对所述Gabor滤波核的大小进行放缩，得到最终的Gabor滤波核。

4.根据权利要求1所述的人脸认证方法，其特征在于，所述采用AdaBoost算法对人脸图像样本对的人脸特征表达进行特征选择的过程，包括：

利用人脸图像样本对构造正负样本；

初始化正负样本权重分布；

对于权重分布学习弱分类器，使得该弱分类器在数据集上的加权分类错误率最小；

更新样本权重分布，转至上一步骤，直至达到特征选择的预定个数为止。

5.根据权利要求1至4中任一所述的人脸认证方法，其特征在于，所述采用PCA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征降维处理中，选取累计贡献率为前95％的特征值所对应的特征向量作为对人脸图像样本对的人脸特征表达进行特征选择的主成分；

所述采用LDA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征判别处理中，选取累计贡献率为前90％的特征值所对应的特征向量构造使得类间离差和类内离差比值最大的投影方向矩阵。

6.一种人脸认证装置，其特征在于，包括：

获取模块：用于获取人脸图像样本对；

提取模块：用于采用Gabor滤波器对获取的人脸图像样本对提取Gabor纹理特征，并对提取的Gabor纹理特征分离实部和虚部得到若干特征图；

特征表达模块：用于对得到的若干特征图采用LBP统计直方图表示，汇总作为人脸图像样本对的人脸特征表达；

特征选择模块：用于采用AdaBoost算法对人脸图像样本对的人脸特征表达进行特征选择；

处理模块：用于依次采用PCA算法和LDA算法对特征选择后的人脸图像样本对的人脸特征表达进行特征降维和特征判别处理；

计算模块：用于采用余弦距离计算特征降维和特征判别处理后的人脸图像样本对的人脸特征表达的相似度；

判断模块：用于根据计算得到的相似度和预先设定的阈值，判断人脸图像样本对是否属于同一个人。

7.根据权利要求6所述的人脸认证装置，其特征在于，所述获取模块与提取模块之间还连接有预处理模块，所述预处理模块，包括：

检测模块，用于采用AdaBoost算法对获取的人脸图像样本对进行人脸检测；

定位模块，用于在检测出的人脸图像上采用ESR算法对人脸图像定位；

归一化处理模块，用于利用定位后人眼的位置坐标采用相似变换进行归一化处理。

8.根据权利要求6所述的人脸认证装置，其特征在于，所述Gabor滤波器采用5尺度8方向的Gabor滤波核，并选取Gabor滤波核的核能量的95％对所述Gabor滤波核的大小进行放缩，得到最终的Gabor滤波核。

9.根据权利要求1所述的人脸认证装置，其特征在于，所述特征选择模块，包括：

构造模块：用于利用人脸图像样本对构造正负样本；

初始化模块，用于初始化正负样本权重分布；

学习模块，用于对于权重分布学习弱分类器，使得该弱分类器在数据集上的加权分类错误率最小；

更新模块，用于更新样本权重分布，转至学习模块，直至达到特征选择的预定个数为止。

10.根据权利要求6至9中任一所述的人脸认证装置，其特征在于，所述处理模块中选取累计贡献率为前95％的特征值所对应的特征向量作为对人脸图像样本对的人脸特征表达进行特征选择的主成分；并且，选取累计贡献率为前90％的特征值对应的特征向量构造使得类间离差和类内离差比值最大的投影方向矩阵。