CN103279745A - 一种基于半脸多特征融合的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于半脸多特征融合的人脸识别方法，把全局特征和局部特征结合起来应用于半张人脸中。使得在人脸识别中处理图像的维数更少，而在特征抽取时，利用多特征融合，使得提取图像特征时可以集全局特征和局部特征为一体，提取的特征更加的全面，在缩小识别时间的同时使图像的识别率大大地提高，克服原有的传统方法中采用单一特征处理完整的人脸，处理维数大，计算复杂度高，特征抽取不完整的问题，实现多特征提取半脸图像，使得提取的特征更加完善，不仅提取了全局特征，而且对于局部关键的细微特征也能提取出来，同时能够使得处理时间比较小，实现快速识别。

Description

一种基于半脸多特征融合的人脸识别方法

技术领域

本发明涉及一种人脸识别方法，是生物特征识别领域人脸特征提取与识别的一种方法，具体是一种基于半脸多特征融合的人脸识别方法，属于模式识别技术领域。

背景技术

生物特征识别^[1]是一项利用人类特有的生物特征进行身份识别的技术，它提供了一种高可靠性、高稳定性的身份鉴别途径。在所有的生物特征识别方法中，人脸识别是目前最受人们关注的一个分支，它是计算机视觉与模式识别领域中非常活跃的一个研究方向，被广泛应用于公安、安全、司法、政府、金融、商业、安检、保安等身份鉴别系统。在国外早已有美国麻省理工学院、南加州大学、卡内基-梅隆大学、马兰里大学、科内尔大学以及日本的东京大学等机构从事人脸识别研究，国内在国家自然科学基金和863计划等资助下，中科院自动化所、哈工大计算机系、清华大学、南京大学、北京交通大学、上海交通大学等一些知名大学也已经对人脸识别这一块领域展开了深入的研究。

人脸识别的方法有很多，不同的研究者可能会从不同的角度对已有的人脸识别方法进行归纳和分类。在众多的人脸识别方法中，Gabor（Gabor小波变换）和SVD（Singular Value Decomposition奇异值分解）作为局部特征和全局特征的典型代表被广泛应用。二维Gabor小波变换能够捕捉对应于空间位置、空间频率及方向选择性的局部结构信息，可以同时在时域和频域获得最佳局部化，其变换系数描述了图像上给定位置附近区域的灰度特征，并且具有对光照、位置等不敏感的优点，适合用于表示人脸的局部特征。SVD为抽取图像的代数特征提供了新的方法，在数据压缩、信号处理和模式分析等许多方面有着广泛的应用。SVD具有良好的稳定性、比例不变性和旋转不变性等优点，能有效的反映矩阵的特征，在人脸识别中是常用的全局特征提取方法。PCA（Principal Component Analysis主成分分析）是一种最小均方误差意义下的最优变换，具有去除数据相关性和实现数据的降维效果。

对于人脸识别问题，识别时间以及识别率无疑是人们必须考虑也是一直关心的问题，如何减少图像识别时间，提高识别率是一个难点，这就要求在维数较少的前提下提取更全面的图像特征，这关系到后面的分类结果，由此可见，对于维数减少和图像的特征抽取问题在人脸识别中都是十分重要和必要的。

传统的Gabor^[2]局部方法，处理的是完整的人脸图像，利用Gabor提取边缘以及峰、谷、脊轮廓等底层图像特征，相当于增强了被认为是面部关键特征部件的眼睛、鼻子、嘴巴等信息，同时也增强了诸如伤疤、黑痣等局部特征，能够抓住图像局部区域内多个方向的空间频率和局部结构特征，具有良好的时频局部化特性和多分辨特性，其对光照变化不敏感，且能容忍一定程度的图像旋转和变形。

具体的实现方法：

二维Gabor函数定义为：

其中

x为图像的坐标

k_j为滤波器的中心频率

体现了滤波器的方向选择性

其实部和虚部分别可以表示为：

$\left(\begin{array}{c}\mathrm{Re}\left({\mathrm{\ψ}}_j\left(x\right)\right)=\frac{{\left|\right|k_j\left|\right|}^2}{{\mathrm{\σ}}^2}{e}^{(-{\left|\right|k_j\left|\right|}^2{\left|\right|x\left|\right|}^2/2{\mathrm{\σ}}^2)}[\cos \left(k_{j}x\right)-e^{-{\mathrm{\σ}}^2/2}]\\ \mathrm{Im}\left({\mathrm{\ψ}}_j\left(x\right)\right)\frac{{\left|\right|k_j\left|\right|}^2}{{\mathrm{\σ}}^2}{e}^{({-\left|\right|k_j\left|\right|}^2{\left|\right|x\left|\right|}^2/2{\mathrm{\σ}}^2)}\left[\sin \left(k_{j}x\right)\right]\end{array}\right)---\left(2\right)$

在利用二维Gabor小波对图像进行提取特征时，假设I(x)是一个m×n的人脸图像，二维Gabor小波描述了图像I(x)上给定一点x附近区域的灰度特征，用一个卷积来定义：

$J_j\left(x\right)=\∫I\left(x\right){\mathrm{\ψ}}_j(x-x^{\′})d^2{x}^{\′}---\left(3\right)$

由于正面人脸、近似正面人脸（姿态变化较小）以及表情变化的人脸轮廓均近似为椭圆，双眼和嘴角都基本上在水平方向上，而鼻子位于竖直方向上，一般常用的滤波器组为采用5个中心频率和8个方向组成的40个Gabor滤波器k_j，其参数k_v和

的取值如下：

在得到的Gabor特征后，由于其维数较大，因此，采用PCA进行降维。

Gabor局部特征抽取法有着以下缺点：

1、所采用的照片是全脸照片，即一张完整的照片。在处理照片时使得处理维数变大，识别时间变长，复杂度变高。

2、Gabor小波变换特征提取方法主要用于局部特征的提取，具有局限性。

传统的SVD^[3-5]全局方法，处理完整人脸图像，因SVD具有良好的稳定性、比例不变性和旋转不变性能有效的反映矩阵的特征，在人脸识别中，将图像矩阵的奇异值作为识别特征是一种常用的全局特征提取方法。

假设一个人脸图像矩阵A的秩为k，通过SVD此矩阵可被分解为：

$A=U\left[\begin{array}{cc}{\mathrm{\Λ}}^{1/2}& O\\ O& 0\end{array}\right]V^H$ 或 $S=\left[\begin{array}{cc}{\mathrm{\Λ}}^{1/2}& O\\ O& 0\end{array}\right]=U^H\mathrm{AV}---\left(5\right)$

其中

Λ^1/2是以

为元素的k×k对角矩阵，而λ_i是矩阵A^HA的非零特征值。

O是一个零元素矩阵，即存在单位矩阵U和V，使得变换后的矩阵S是对角的。

奇异值分解为

$A=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\sqrt{{\mathrm{\λ}}_i}{u}_i{v}_i^H---\left(6\right)$

其中

u_i和v_i分别是U和V的前k列。更精确的是u_i和v_i分别是AA^H和A^HA的特征向量。特征值λ_i就是A的奇异值。

SVD全局特征抽取法有着以下缺点：

1、所采用的照片是全脸照片，即一张完整的照片。在处理照片时使得处理维数变大，识别时间变长，复杂度变高。

2、SVD反映的是全局特征，对于人局部特征反映不明显，所以仅仅采用奇异值作为特征是不够的，图像的奇异值特征只包含了少数信息。

参考文献

[1]山世光.人脸识别中若干关键问题的研究：（博士学位论文）.北京中国科学院，2004.

[2]Liu C J.Gabor-based Kernal PCA with fractional power polynomial models forface recognition.IEEE Transactions on PAMI,2005,26(5).

[3]Klema V C.The singular value decomposition:It`s computation and someapplication[J].IEEE Transaction on Automatic Control,1980,25:164-176.

[4]洪子泉，杨静宇.用于图像识别的图像代数特征抽取[J].自动化学报，1992,18(2)：233-238.

[5]洪子泉，杨静宇.基于奇异特征值和统计模型的人像识别算法.计算机研究与发展，1994,31(3)：60-65.

发明内容

发明目的：为了克服现有技术中存在的问题与不足，解决人脸识别中识别速度和特征抽取的问题，实现快速识别，得到高识别率。由于人脸是基本对称的，本发明提出一种基于半脸多特征融合的人脸识别方法，把全局特征和局部特征结合起来应用于半张人脸中。使得在人脸识别中处理图像的维数更少，而在特征抽取时，利用多特征融合，使得提取图像特征时可以集全局特征和局部特征为一体，提取的特征更加的全面，在缩小识别时间的同时使图像的识别率大大地提高，克服原有的传统方法中采用单一特征处理完整的人脸，处理维数大，计算复杂度高，特征抽取不完整的问题，实现多特征提取半脸图像，使得提取的特征更加完善，不仅提取了全局特征，而且对于局部关键的细微特征也能提取出来，同时能够使得处理时间比较小，实现快速识别。

技术方案：一种基于半脸多特征融合的人脸识别方法，包括以下步骤：

步骤1、在标准人脸库中，选取正脸图像，并取每幅图像的半边脸，生成标准半脸库。

步骤2、从标准半脸库随机抽取训练图像集，剩余的图像组成测试图像集。

步骤3、从所有的训练集图像中提取Gabor特征，再经过PCA处理，得到LP-Gabor特征（LP-Gabor，Local Principal Gabor局部主成分Gabor特征）。

步骤4、从所有的训练集图像中提取SVD特征，再经过PCA处理，得到WP-SVD特征（WP-SVD，Whole Principal Singular Value Decomposition全局主成分SVD特征）。

步骤5、针对LP-Gabor和WP-SVD进行串联特征融合，得到训练特征。

步骤6、将训练特征用于训练支持向量机模型。

步骤7、同样的，抽取所有测试图像的Gabor特征和SVD特征。

步骤8、通过将所有测试集的Gabor特征和SVD特征分别向各自的子空间映射，提取测试图像的LP-Gabor特征和WP-SVD特征。

步骤9、将测试图像的LP-Gabor特征和WP-SVD特征进行融合，得到测试特征。

步骤10、将测试特征用于训练好的支持向量机模型的分类测试，获得人脸识别结果。

其中，生成半脸、左右脸选择具体步骤如下：

步骤101、对于标准人脸库中图像进行预处理，再对2个眼睛进行定位。

步骤102、找到图像的中轴线，进行对半分割，分为左脸和右脸。

步骤103、分割后的左脸和右脸分别经过欧氏距离公式计算，取计算结果较大的作为处理的半脸图像。

有益效果：与现有技术相比，本发明提供的基于半脸多特征融合的人脸识别方法，具有如下优点，

1、由于人脸是一个共性与特性共存的基本对称实体，每个人脸都有一定的相似性及规则，但是不同的人脸又存在着明显的区别。传统的人脸识别方法只是利用单一的特征对于完整人脸进行识别，计算复杂度比较高，识别速度比较慢，本发明针对传统人脸识别方法中存在的问题，进行了改进，根据基本对称原则把人脸改为半人脸，降低了处理维数，减少了计算复杂度，从图5中可以看出半脸识别率和全脸识别率是基本保持不变的，但是从图6中可以看出，使用半脸识别的时间比全脸识别时间大大降低，从而说明我们提出的半脸识别在识别率基本保持不变的情况下大大降低了识别时间。

2、在人脸识别中特征提取是非常重要的环节，直接影响着后面的识别结果。传统的方法中仅仅利用图像矩阵的单一的特征值进行分类是远远不够的。本发明提出的基于信息融合理论的特征提取法，即在考虑了人脸图像的全局信息的同时也充分利用了局部信息对于光照、姿态等发生变化时的鲁棒性。提出把全局特征和局部特征相融合的方式进行特征提取，然后以此向量训练SVM（Support VectorMachine，支持向量机）分类器，并将分类器用于人脸识别，这样的融合使得提取的特征更加全面，提高了识别率，从图5中可以看出Fusion的识别率明显高于其他两种方法的识别率，图6中可以看出，Fusion的方法的识别时间和其他方法的时间是差不多的，所差的数量级在0.02s以内，从而说明我们提出的融合方法在识别时间基本保持不变的前提下提高了识别率。

附图说明

图1为本发明方法流程图；

图2为本发明人脸分割流程图；

图3为本发明左右脸选择流程图；

图4为本发明人眼定位流程图；

图5为半脸全脸识别率对比图；

图6为半脸全脸识别时间对比图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，基于半脸多特征融合的人脸识别方法，包括以下步骤：

步骤1、在标准人脸库中，选取正脸图像，并取每幅图像的半边脸，生成标准半脸库。

步骤2、从标准半脸库随机抽取训练图像集，剩余的图像组成测试图像集。

步骤3、从所有的训练集图像中提取Gabor特征，再经过PCA处理，得到LP-Gabor特征（LP-Gabor，Local Principal Gabor局部主成分Gabor特征）。

步骤4、从所有的训练集图像中提取SVD特征，再经过PCA处理，得到WP-SVD特征（WP-SVD，Whole Principal Singular Value Decomposition全局主成分SVD特征）。

步骤5、针对LP-Gabor和WP-SVD进行串联特征融合，得到训练特征。

步骤6、将训练特征用于训练支持向量机模型。

步骤7、同样的，抽取所有测试图像的Gabor特征和SVD特征。

步骤8、通过将所有测试集的Gabor特征和SVD特征分别向各自的子空间映射，提取测试图像的LP-Gabor特征和WP-SVD特征。

步骤9、将测试图像的LP-Gabor特征和WP-SVD特征进行融合，得到测试特征。

步骤10、将测试特征用于训练好的支持向量机模型的分类测试，获得人脸识别结果。

其中，生成半脸图像的算法流程图如图2所示，左右脸选择过程如图3所示，具体步骤如下：

步骤101、对于标准人脸库中图像进行预处理，再对2个眼睛进行定位。

步骤102、找到图像的中轴线，进行对半分割，分为左脸和右脸。

步骤103、分割后的左脸和右脸分别经过欧氏距离公式计算，取计算结果较大的作为处理的半脸图像。

其中图4是人眼定位流程图，具体步骤如下：

步骤1011、通过Adaboost算法定位人脸，构造级联分类器检测图像中的人脸。

步骤1012、对眼睛进行粗检测，在人脸区域的图像中分别取2张不同时刻的灰度图像检测人眼区域。

步骤1013、通过Hough变换检测圆心精确定位眼睛，利用Canny算子边缘提取和局部Hough变化检测圆心，精确定位瞳孔的中心。

本实施例采用了一个公用的人脸数据库，英国剑桥大学的ORL人脸数据库。ORL库包含了40个人的400幅112*92大小的人脸图像，每人10幅。这些图像是在不同时间拍摄的，有姿态、角度、尺度、表情和眼镜等变化。具体的人脸识别过程如下：

1、图像预处理与分割

在ORL库中我们选取正面图像，每人选6张，再对这120张112*92大小的标准人脸图像进行预处理，主要包括图像平滑和对比度校正等图像增强以及图像灰度处理。经过预处理后，根据人脸基本对称的原理，我们找到人脸中心轴，对人脸进行分割，通过欧氏距离公式

取距离d大的半边脸，生成112*46的标准半脸库。

2、特征提取

（1）我们采用随机取数据库中的一半图像用于训练，另一半用于识别的做法，即每人的3个样本进行训练，相应的剩余的样本进行测试。首先对人脸训练图像进行处理，以获取原空间中的原始训练样本矩阵V_j；把人脸图像按行堆叠为5152维的向量。这样共形成了5152*3*40训练样本矩阵V＝{V₁,V₂,...,V_j}j＝1,2,...,40，其中V_j是5152*3的训练样本矩阵。

（2）对应于每个V_jj＝1,2,...,40，分别应用Gabor小波变换和SVD，提取其对应图像的Gabor特征和SVD特征，分别得到Gabor特征V_Gjj＝1,2,...,40，和SVD特征V_Sjj＝1,2,...,40。

（3）利用（2）中求出的V_Gj和V_Sj，分别采用线性子空间方法PCA进行处理，通过特征方程sw＝λw的前d个最大特征值λ₁≥λ₂≥...≥λ_d对应的特征向量，即w＝[v₁,v₂,...,v_d]。其中，d的选择由

确定，其中v表示V_Gj或者V_Sj，得到LP-Gabor特征V_LP-Gaborjj＝1,2,...,40和WP-SVD特征V_WP-SVDjj＝1,2,...,40。

（4）将得到的LP-Gabor特征V_LP-Gaborj和WP-SVD特征V_WP-SVDj进行串联融合，得到训练特征V_x。

（5）同样的对于测试库中的图像同样地进行以上（1）至（4）步，得到测试特征V_c。

3、训练及识别

（1）将训练特征向量V_x作为支持向量机的训练向量，训练支持向量机模型。在本例中，支持向量机的核函数采用的是径向基函数K(x,y)＝exp(-γ||x-y||²)。

（2）将测试特征用于（1）中得到的支持向量机模型进行人脸图像的分类测试，并输出结果，如图5、6，图5中1为半脸库中识别率、2为全脸库中识别率；图6中1为半脸库中识别时间、2为全脸库中识别时间。

从图5中可以看出半脸识别率和全脸识别率是基本保持不变的，但是从图6中可以看出，使用半脸识别的时间比全脸识别时间大大降低，从而说明我们提出的半脸识别在识别率基本保持不变的情况下大大降低了识别时间。

从图5中可以看出无论在半脸库还是全脸库中Fusion方法的识别率明显高于其他两种方法，但是从图6中可以看出，Fusion的方法的识别时间和其他方法的时间是差不多的，所差的数量级在0.02s以内，从而说明我们提出的融合方法在识别时间基本保持不变的前提下提高了识别率。

Claims (3)

1.一种基于半脸多特征融合的人脸识别方法，其特征在于，包括以下步骤：

步骤1、在标准人脸库中，选取正脸图像，并取每幅图像的半边脸，生成标准半脸库；

步骤2、从标准半脸库随机抽取训练图像集，剩余的图像组成测试图像集；

步骤3、从所有的训练集图像中提取Gabor特征，再经过PCA处理，得到LP-Gabor特征；

步骤4、从所有的训练集图像中提取SVD特征，再经过PCA处理，得到WP-SVD特征；

步骤5、针对LP-Gabor和WP-SVD进行串联特征融合，得到训练特征；

步骤6、将训练特征用于训练支持向量机模型；

步骤7、同样的，抽取所有测试图像的Gabor特征和SVD特征；

步骤8、通过将所有测试集的Gabor特征和SVD特征分别向各自的子空间映射，提取测试图像的LP-Gabor特征和WP-SVD特征；

步骤9、将测试图像的LP-Gabor特征和WP-SVD特征进行融合，得到测试特征；

步骤10、将测试特征用于训练好的支持向量机模型的分类测试，获得人脸识别结果。

2.如权利要求1所述的基于半脸多特征融合的人脸识别方法，其特征在于，步骤1中生成半脸图像的具体步骤为：

步骤101、对于标准人脸库中图像进行预处理，再对2个眼睛进行定位；

步骤102、找到图像的中轴线，进行对半分割，分为左脸和右脸；

步骤103、分割后的左脸和右脸分别经过欧氏距离公式计算，取计算结果较大的作为处理的半脸图像。

3.如权利要求1所述的基于半脸多特征融合的人脸识别方法，其特征在于，步骤101中对2个眼睛进行定位的具体步骤为：

步骤1011、通过Adaboost算法定位人脸，构造级联分类器检测图像中的人脸；

步骤1012、对眼睛进行粗检测，在人脸区域的图像中分别取2张不同时刻的灰度图像检测人眼区域；

步骤1013、通过Hough变换检测圆心精确定位眼睛，利用Canny算子边缘提取和局部Hough变化检测圆心，精确定位瞳孔的中心。

Images