CN104318219A - 基于局部特征及全局特征结合的人脸识别方法 - Google Patents

Abstract

本发明公开一种基于局部特征及全局特征结合的人脸识别方法，包括步骤为：第一步、通过提取已有的人脸数据库中的人脸对训练集进行训练；第二步、提取输入人脸的灰度图像；第三步、提取输入人脸的主成分特征并进行识别；第四步、提取输入人脸的局部二值特征并进行识别；第五步、对输入人脸的主成分特征和输入人脸的局部二值特征进行加权；第六步、寻找在已有的人脸训练集中与输入人脸匹配的人脸并输出。本发明方法提高了人脸识别的识别率,同时提供了一种结合两种算法的方法,应用上有十分广泛的前景。

Description

基于局部特征及全局特征结合的人脸识别方法

技术领域

本发明涉及的本发明涉及的是一种对人脸图像识别的方法，具体是一种基于主元分析(PCA)全局特征与局部二值模式(LBP)特征的加权融合的人脸识别方法。

背景技术

1888年，Calton在《Nature》上发表了一篇关于人类鉴别人脸原理的论文，由此提出了人脸识别技术。在随后的80年的时间中,技术发展的方向主要在于对于人脸的图片进行灰度、亮度的处理后,以人的肉眼进行人脸识别。至今，人脸识别技术被广泛应用于安保、视频标记、图片数据库检索、一般身份验证和智能人机交互技术等方面。同时，随着网络时代的到来,以互联网为基础的大范围人脸识别也成为了新的研究课题和应用方向。

经对现有文献检索发现，中国专利文献号为:CN102156887A，题为：一种基于局部特征学习的人脸识别方法，该技术采用的是局部二值模式(LBP)以及局部三值模式(LTP)算子两种方法对训练集中的人脸特征进行分类，然后再对测试集中的人脸特征进行匹配识别。该发明主要是运用局部特征进行人脸识别。现有的人脸识别也多是采用单种方法来进行，并不断尝试单种方法的准确程度。这方面国内外都取得了较大的成功。然而，对于如何结合多种方法的方面，仍有很大的研究空间。一般来说使用多种方法的结合的人脸识别，需要通过对其工作原理运用统计学等知识进行有机结合。

发明内容

针对上述现有技术中存在的技术问题，本发明提出一种基于局部特征及全局特征结合实现对人脸的身份识别方法，克服现有技术鲁棒性不佳、识别效果不够准确等不足，对如何结合多种方法进行人脸识别进行了一定的探索和研究，并取得了一定的成果。

本发明是通过以下技术方案实现的：

基于局部特征及全局特征结合的人脸识别方法，包括以下步骤：

第一步、通过提取已有的人脸数据库中的人脸对训练集进行训练；

第二步、提取输入人脸的灰度图像；

第三步、提取输入人脸的主成分特征并进行识别；

第四步、提取输入人脸的局部二值特征并进行识别；

第五步、对输入人脸的主成分特征和输入人脸的局部二值特征进行加权；

第六步、寻找在已有的人脸训练集中与输入人脸匹配的人脸并输出。

第一步包括：

a)提取训练集中人脸的灰度图像形成灰度矩阵；

b)计算得到灰度矩阵各条向量的平均值；

c)计算得到灰度矩阵各条向量与平均值的差值并形成差值矩阵；

d)求得差值矩阵的较大的若干个奇异值；

e)根据奇异值分解定理求取特征脸空间；

f)将差值矩阵投影到特征脸空间；

g)提取测试集中人脸的灰度图像，并计算局部二值特征，以直方图形式存入返回矩阵。

第三步包括：

a)提取测试集中人脸的灰度图像形成灰度矩阵；

b)计算得到灰度矩阵各条向量的平均值；

c)计算得到灰度矩阵各条向量与平均值的差值并形成差值矩阵；

d)计算得到输入图像的向量与平均值的差值并形成差值向量；

e)将差值向量投影到所述的特征脸空间，计算向量欧式距离，实现识别。

第四步包括：

a)提取输入图像的矩阵的局部二值特征，以直方图形式存入输入矩阵；

b)采用直方图交叉核的计算方法将输入矩阵与所述的返回矩阵进行识别。

第五步包括：

a)通过极大值标准化，将输入人脸的主成分特征和输入人脸的局部二值特征的值域缩减到(0，1)；

b)通过加权融合得到新的特征值。

所述加权融合的权值取(0.5,0.5)。

第六步包括：

a)获取输入图片到每张人脸数据库中的图片的最终距离；

b)选取最终距离的最小值，利用最近邻分类器获取识别结果。

当所述识别结果的欧氏距离大于阈值0.5时，系统返回无对应人脸的信息。

本发明涉及K-L变换的运用，K-L变换是一种线性变换，它是随机变量的P个主成分经反变换而恢复的图像和原图像X在均方误差最小意义上的最佳正交变换。

假设X为由N个矢量组成的N×1维矩阵，X＝(X₁,X₂,...,X_N)^T。其中：

X的均值为：

$X_m=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i---\left(1\right)$

每个矢量与均值的差值为：

Φ_i＝X_i-X_m    (2)

矢量的协方差矩阵定义为：

$C=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\Φ}}_i{{\mathrm{\Φ}}_i}^T---\left(3\right)$

易知，C为N×N维的实对称矩阵，对角线上元素是Xi的方差，而非对角线上第(i,j)的元素是Xi与Xj的协方差。

假设e_i和λ_i是协方差矩阵C的特征向量与对应的特征值构成的两个矩阵。将特征向量按照特征值的由大到小的顺序排列成行，组成矩阵T。

假设T是将X转换为Y的一个线性变换，则：

Y＝T(X-X_m)    (4)

Y的协方差矩阵可以表示为：

C_y＝TCT^T    (5)由于|T|＝1，所以|C_y|＝|C|，即

$C_y=\left[\begin{array}{c}{\mathrm{\λ}}_i.........0\\ ...{\mathrm{\λ}}_{i+1}......\\ ...............\\ 0.........{\mathrm{\λ}}_N\end{array}\right]---\left(6\right)$

这样一来，Y的协方差矩阵C_y的特征值是Y中对应变量的方差。这就是K-L变换。

K-L变换的实质是建立了一个新的坐标系，将一个物体主轴沿特征矢量对齐的旋转变换，这个变换解除了原有数据向量的各个分量之间相关性，从而有可能去掉那些带有较少信息的坐标系以达到降低特征空间维数的目的。

本发明涉及SVD定理的运用，SVD(Singular Value Decomposition)，是线性代数中一种重要的矩阵分解，是矩阵分析中正规矩阵酉对角化的推广。在信号处理、统计学等领域有重要应用。

设A为m×n阶矩阵，A^T为A的转置矩阵，A^T×A的n个特征值的非负平方根就叫做A的奇异值。用公式表达为

σ_i(A)＝sqrt(λ_i(A^T×A))    (7)

奇异值分解定理：设A∈R_r ^m×n，则存在m阶正交矩阵U和n阶正交矩阵V，使

得 $U^T\mathrm{AV}=\left[\begin{array}{cc}\mathrm{\Σ}& 0\\ 0& 0\end{array}\right]---\left(8\right)$

其中∑＝diag(σ₁，σ₂，...，σ_r)，σ_i(i＝1，2，...，r)为矩阵A的全部非零奇异值，满足σ₁≥σ₂≥...≥σ_r≥，＞0，前几个值比较大，它们包含了矩阵A的大部分信息。U的列向量(左奇异向量)是AA^T的特征向量，V的列向量(右奇异向量)是A^TA的特征向量。

本发明包含三个部分，首先是对训练图库进行训练，然后再从测试图库中找到图片进行PCA以及LBP特征的计算，接下来则是通过一定的方法将两种算法得到的结果进行结合，从而得到更加准确的结果。

其中涉及的主元分析法(PCA)方法采用的是对全局特征的分析，该算法的实现包含：第一个阶段：创建数据库。利用训练集中的人脸图像转化为灰度数据构建特征脸空间。第二个阶段：训练阶段。将训练图像灰度数据提取出之后投影在特征脸空间上。第三个阶段：识别阶段。将待识别图像同样投影在特征脸空间上并与投影后的训练图像相比较，选取欧氏距离最小的训练图像作为识别结果输出。

涉及的局部二值模式(LBP)方法主要面向的是局部特征的分析。局部二值模式最初是由芬兰科学家Timo等提出的，它是一种有效的纹理描述算子，最初多用于分析图像的纹理特征。它能有效地描述图像的局部特征，具有旋转不变性，对灰度变化不敏感，且它的计算简单快速，所以在图像检索、人脸识别、运动分析、图像的恢复等计算机视觉领域的应用表现出了良好的性能。LBP纹理描述方法首先计算图像中每个像素与其局部邻域点在灰度上的二值关系，然后对二值关系按一定规则加权形成像素的LBP码，提取人脸图像子区域的LBP直方图序列作为图像的特征描述。

本发明的人脸识别的最终结果是对以上两种方法所得结果进行加权运算，对每个结果矩阵进行极大值标准化，然后进行加权融合，获取每张测试集图片到每张训练集图片的最终距离。进而选取最小值，利用最近邻分类器获取识别结果。

与现有技术相比,本发明的有益效果是:

一方面，通过对PCA及LBP两种方法得到结果的融合，达到了全局特征以及局部特征互补的效果，结合方法的人脸测试结果相对两种方法的单个测试都有了一定的提高。由于LBP单独测试并不能够达到理想的测试结果，因此通过与其他方法结合，能够使得LBP方法的结果更有价值。

另一方面，由于采用了对两种方法得到结果的加权处理，且设定一定的阀值，对今后这方面的发展也具有一定的参考价值。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的总体流程示意图；

图2是本发明的PCA算法训练部分的流程示意图；

图3是本发明实施例训练集图片的平均脸；

图4是本发明的PCA算法测试部分的流程示意图；

图5是本发明的LBP算法部分的流程示意图；

图6是采用不同选择方式的圆形LBP算子示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

如图1所示，本发明所提供的局部特征及全局特征结合的人脸识别方法，具体流程如下：

第一步：PCA算法的实现，如图2和图4所示，包括：

a)训练阶段

在训练阶段，总共分为以下几个步骤：

(1)首先将训练集中所有图片通过imread函数依次读入matlab，并将它们向量化，即将第i个m×n大小的灰度矩阵通过变换，存储于1×(m×n)的行向量train_data(i,:)中。

(2)把这些向量依次排列，并按列求平均值，这样的操作旨在得到训练集中人脸图像的平均脸train_mean。所得图像如图3所示。

(3)计算训练集中每一张人脸图片与平均脸的差值，并采取极大值标准化的形式控制特征矩阵train_xd数值取值范围。

(4)求取矩阵R＝train_xd*train_xd’,并计算特征值λ_i与其对应的正交归一化特征向量ν_i，train_xd表示特征矩阵。

(5)选取前100个最大的特征值及其对应的特征向量。

(6)根据奇异值分解定理求取协方差矩阵的正交归一化特征向量，公式如下

$U_i=\frac{1}{\sqrt{{\mathrm{\λ}}_i}}\mathrm{train}\_\mathrm{xd}*v_i---\left(9\right)$

特征脸空间即可表示为:

U＝(U₁,U₂,...,U_p)    (10)

(7)将训练集人脸与平均脸的差值矩阵train_xd投影到特征脸空间，存入矩阵train_Y中：

train_Y＝train_xd*U    (11)

至此训练阶段完成。

b)识别阶段

识别阶段操作与训练阶段操作较为类似，按照训练阶段(1)～(3)步骤对测试集图片进行操作。得到测试集人脸与平均脸的差值矩阵test_xd。然后将差值矩阵类似地投影到特征脸空间，即进行操作：

test_Y＝test_xd*U    (12)

第二步：LBP算法的实现，如图5所示。

在本实施例中，采用了算子，即以中心点像素为中心，以2像素为半径作圆，在圆上平均地取出8个样本点，并利用双线性插值法将样本点对应到整数坐标上。而后读取出这些点的灰度值，与中心点灰度值进行比较，产生LBP序列，计算LBP值，并转化为直方图形式存入返回矩阵。

a)圆形LBP算子取样

经典的LBP算子只覆盖了一个固定半径范围内的小区域，这并不能满足不同尺寸和频率纹理需要，为了适应上述条件，并满足灰度及旋转不变性的要求，Ojala等人对LBP算子进行了改进，将3×3邻域扩展到了任意邻域，并且，利用圆形邻域代替正方形邻域，这样一来，LBP算子在邻域内就不仅仅有8个像素点，而是多个，如图6所示，图6为三种不同的邻域选择方式，其中，即为经典LBP算子，而如果采用后两种取样方法，取样点可能不为整数，在这里可以采取双线性插值方法来得到取样点的像素值：

$f(x,y)=\left[\begin{array}{cc}1-x& x\end{array}\right]\left[\begin{array}{cc}f\left(\mathrm{0,0}\right)& f\left(\mathrm{0,1}\right)\\ f\left(\mathrm{1,0}\right)& f\left(\mathrm{1,1}\right)\end{array}\right]\left[\begin{array}{c}1-y\\ y\end{array}\right]---\left(13\right)$

b)LBP特征匹配

在根据上述算法提取图像LBP值之后，还需要将人脸图像按照需求划分为合适数量的子区域，并在这些子区域内根据LBP值获得其统计直方图，以直方图作为判别标准。这样的划分，不仅使LBP特征的维数有所降低，而且针对人脸姿态、拍摄角度造成的图像错位增强了鲁棒性。

针对得到的直方图特征，由于有时训练集中样本很少甚至只有一副，并不需要非常复杂的分类器，而仅仅采用最近邻分类器即可。Timo Ahonen等人也提到一些的可应用与LBP特征匹配的算法，包括：直方图交叉核、对数似然统计和卡方统计。

这些方法相对于直接简单地将两者直接求和，都可以提升算法的成功率。

另外，在实现上，getmapping()函数定义了lbp算法采用的模式，返回变址表供lbp()主函数使用。而主函数则通过读取训练集或测试集内所有图片，返回矩阵lbp_train和lbp_test，这两个矩阵中每一个行向量对应着它自身的直方图特征。

第三步，PCA与LBP识别结果的加权融合

根据以上两个步骤，已经得到了四个特征值矩阵。矩阵train_Y和test_Y分别记录训练集和测试集通过PCA算法投影到特征脸空间的结果。而矩阵lbp_train和lbp_test则记录着训练集和测试集的LBP直方图特征。分别将测试集与训练集数据进行比较，计算欧氏距离。

pca_dist＝norm(test_Y-train_Y)    (14)

lbp_dist＝norm(lbp_test-lbp_train)    (15)

考虑到两个距离数量级并不类似，在这里对原始数据进行线性变换，通过极大值标准化的方法，将特征值向量中的每一项都除以向量中的最大项，从而将特征值数据映射到[0，1]，这样既保留了原始数据之间的关系，又便于进一步融合。

然后，通过多次试验，选取权值为(0.5,0.5)，将通过两种算法获得的的欧氏距离pca_dist与lbp_dist进行融合，即

final_dist＝0.5*pca_dist+0.5*lbp_dist    (16)

获取每张测试集图片到每张训练集图片的最终距离final_dist。

最后利用最近邻分类器，选取final_dist向量中的最小项，即说明此项是与测试图片最接近的人脸，可以认为此项代表的训练集图片即为识别结果。需要特别指出的是，本算法还给出了正确阈值0.5，当识别结果的欧氏距离大于该阈值时，系统会返回无对应人脸的信息。

本发明在训练集足够大的前提下，识别效果能达到95％以上的识别率，能应用于从庞大的图片数据库中找到相似的人脸，如驾照管理，移民记录，寻找走失儿童等；又如可以进行人员的身份认证，如电子登记注册，银行，电子商务，新生儿鉴别，身份证，护照，工作证等。使用本发明能够有效地增强人脸识别的准确性。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (9)

1.基于局部特征及全局特征结合的人脸识别方法，其特征在于，包括以下步骤：

第一步、通过提取已有的人脸数据库中的人脸对训练集进行训练；

第二步、提取输入人脸的灰度图像；

第三步、提取输入人脸的主成分特征并进行识别；

第四步、提取输入人脸的局部二值特征并进行识别；

第五步、对输入人脸的主成分特征和输入人脸的局部二值特征进行加权；

第六步、寻找在已有的人脸训练集中与输入人脸匹配的人脸并输出。

2.根据权利要求1所述的基于局部特征及全局特征结合的人脸识别方法，其特征在于，第一步包括：

a)提取训练集中人脸的灰度图像形成灰度矩阵；

b)计算得到灰度矩阵各条向量的平均值；

c)计算得到灰度矩阵各条向量与平均值的差值并形成差值矩阵；

d)求得差值矩阵的较大的若干个奇异值；

e)根据奇异值分解定理求取特征脸空间；

f)将差值矩阵投影到特征脸空间；

g)提取测试集中人脸的灰度图像，并计算局部二值特征，以直方图形式存入返回矩阵。

3.根据权利要求2所述的基于局部特征及全局特征结合的人脸识别方法，其特征在于，第三步包括：

a)提取测试集中人脸的灰度图像形成灰度矩阵；

b)计算得到灰度矩阵各条向量的平均值；

c)计算得到灰度矩阵各条向量与平均值的差值并形成差值矩阵；

d)计算得到输入图像的向量与平均值的差值并形成差值向量；

e)将差值向量投影到所述的特征脸空间，计算向量欧式距离，实现识别。

4.根据权利要求3所述的基于局部特征及全局特征结合的人脸识别方法，其特征在于，第四步包括：

a)提取输入图像的矩阵的局部二值特征，以直方图形式存入输入矩阵；

b)采用直方图交叉核的计算方法将输入矩阵与所述的返回矩阵进行识别。

5.根据权利要求4所述的基于局部特征及全局特征结合的人脸识别方法，其特征在于，第五步包括：

a)通过极大值标准化，将输入人脸的主成分特征和输入人脸的局部二值特征的值域缩减到(0，1)；

b)通过加权融合得到新的特征值。

6.根据权利要求4或5所述的基于局部特征及全局特征结合的人脸识别方法，其特征在于，所述局部二值特征采用圆形邻域或者正方形邻域的LBP算子取样。

7.根据权利要求5所述的基于局部特征及全局特征结合的人脸识别方法，其特征在于，加权融合的权值取(0.5,0.5)。

8.根据权利要求5所述的基于局部特征及全局特征结合的人脸识别方法，其特征在于，第六步包括：

a)获取输入图片到每张人脸数据库中的图片的最终距离；

b)选取最终距离的最小值，利用最近邻分类器获取识别结果。

9.根据权利要求8所述的基于局部特征及全局特征结合的人脸识别方法，其特征在于，当所述识别结果的欧氏距离大于阈值0.5时，系统返回无对应人脸的信息。