CN100557625C - 人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置 - Google Patents

Abstract

本发明涉及人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置，属于图像处理、计算机视觉、模式识别技术领域，该方法由基于Gabor方法的特征裸脸的提取、基于Gabor方法的图像投影特征向量的提取，以及基于Gabor方法与基于人脸部件主分量分析的多模式人脸识别方法融合的人脸识别三部分组成；该装置包括：一个长方形机箱，该机箱上安装有一个液晶显示屏和两台摄像机，还包括安装在该机箱前面板四周的四个长形的灯具，一个固定采集个人身份的数据采集装置的倾斜支架，本发明的装置提升了人脸图像采集的质量，该方法具有更高的人脸识别率。

Description

人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置

技术领域

本发明属于图像处理、计算机视觉、模式识别技术领域，特别涉及人脸识别方法。

背景技术

生物特征识别技术是身份识别的有效技术，近来发展最快的是人脸识别技术以及与人脸识别技术相融合的生物特征识别技术。因此，本发明涉及人脸图像采集和识别算法，具有重要的应用价值。

目前已有的人脸识别方法主要是对整个人脸进行识别的，而在诸多的识别方法中，主要采用主分量分析(PCA-Principal Component Analysis)、弹性匹配、神经网络、几何特征等方法。

同时，人脸识别的难点还在于：

(1)表情引起的人脸塑性变形

(2)姿态引起的人脸多样性

(3)年龄引起的人脸变化

(4)发型、胡须、眼镜、化装等因素引起的人脸模式的多重性

(5)光照的角度、强度以及传感器特性等因素引起的人脸图像的差异性

诸多的因素使得人脸识别成为一项棘手而富挑战性的课题，也因此在近年成为科研的热点。

基于人脸部件主分量分析的多模式人脸识别方法

对人脸进行部件提取，再对人脸部件进行主分量分析及多模式识别，以达到高的识别率。

1)首先采用模板匹配和投影直方图的方法对人脸图像定位，确定出人脸粗定位区、左右眼球、鼻尖、嘴、下颌顶点的基本位置，然后从整个人脸中提取出裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件；

2)对从训练集人脸中提取出来的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的特征脸方法，分别形成特征裸脸、特征(眼睛+眉毛)、特征眼睛、特征鼻子、特征嘴巴；

3)对已知人的人脸图像提取出的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的投影特征值分析方法，提取已知人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴五种人脸部件的投影特征值；

4)对待识别人的人脸图像提取出的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的特征投影值分析方法，提取待识别人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的投影特征值；

5)分别计算已知人脸部件图像的投影特征值和待识别人脸对应部件图像的投影特征值之间的相似度；对裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的相似度融合得到多模式的全局人脸识别方法，单个裸脸、眼睛+眉毛、眼睛、鼻子、嘴的相似度识别，或裸脸、眼睛+眉毛、眼睛、鼻子、嘴相互之间的组合识别就是多模式的局部人脸识别方法。

与本发明的相关技术说明如下：

Gabor方法：

Gabor小波是将Gabor基函数经过移位、旋转和比例变换以后得到的一组相似的Gabor函数，能够在保持空间关系的同时描述出图像中的频率结构，并能在空间域给出结果。在人脸识别的应用中，由于Gabor小波多分辨率、多方向地反映图像局部特性，所以对于光照的反应不敏感，和使用全局灰度特征进行识别相比较，对光照具有更好的适应性。

二维Gabor函数相当于一个被复正弦函数调制的二维高斯函数，在频域上则是二维高斯函数在两个频率轴上都发生了平移后的结果，是一个二维带通滤波器。由于每个Gabor滤波器相当于一个带通滤波器，为了提取人脸图像在多个方向多个尺度上的特征，通常会采用多个在不同尺度不同方向上的Gabor滤波器组成滤波器组。进行滤波时，将输入图像依次与滤波器组的各个滤波器卷积，并取其幅值作为输出，即输入图像的Gabor图像。

加权和规则：

对于不同的特征，识别性别都不尽相同，加权和规则就是对不同的特征采用不同的权值进行融合。每个特征的权值是由该特征本身的特性(可分性，识别率等)所决定的，不同的融合特征对应不同的融合权值。对识别性能好的特征赋予较大的权值，而识别性能差的特征赋予较小的权值。

发明内容

本发明的目的是为了提高人脸图像的采集质量和提高人脸识别算法的适应性，提出一种人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置，该装置提升了人脸图像采集的质量，该方法具有更高的人脸识别率。

本发明提出的人脸部件特征和Gabor人脸特征融合的人脸识别方法，其特征在于，由基于Gabor方法的特征裸脸的提取、基于Gabor方法的图像投影特征向量的提取，以及基于Gabor方法与基于人脸部件主分量分析的多模式人脸识别方法融合的人脸识别三部分组成；所述基于Gabor方法的特征裸脸的提取，包括以下步骤：

11)对预先采集得到的训练集的每一个人的人脸图像进行五尺度八方向Gabor滤波，得到对应的人脸Gabor图像；

12)对该人脸的Gabor图像均匀分块，取每块中所有象素点的平均值作为该块的特征象素点，所有特征象素点组合成Gabor特征图像，实现Gabor图像的降维；

13)对训练集中所有人脸图像采用所述步骤11)、12)中的方法提取人脸Gabor特征图像，利用基于主分量分析方法中的特征脸方法，形成Gabor特征裸脸；

所述基于Gabor方法的图像投影特征向量的提取，包括以下步骤：

21)由数据的采集得到的已知人的人脸图像提取出的已知人脸的Gabor特征图像，对已知人脸的Gabor特征图像，利用基于主分量分析方法中的投影特征向量分析方法，提取所述已知人脸的Gabor特征图像的投影特征向量；

22)对待识别人的人脸图像采用步骤11)、12)提取出待识别人的Gabor特征图像，对待识别人的Gabor特征图像，利用基于主分量分析方法中的特征投影向量分析方法，提取待识别人脸的Gabor特征图像的投影特征向量；

所述基于Gabor方法与基于人脸部件主分量分析的多模式人脸识别的方法融合的人脸识别，包括以下步骤：

31)分别计算出待识别的人脸和已知人脸的部件图像的相似度R，各部件图像相似度分别为裸脸图像R1、眼睛+眉毛图像R2、眼睛图像R3、鼻子图像R4、嘴巴图像R5；

32)计算步骤21)中的已知人脸的Gabor特征图像的投影特征向量和步骤22)中的待识别人脸的裸脸Gabor图像的投影特征向量之间的相似度R6；

33)将相似度R1、R2、R3、R4、R5、R6按照加权和规则进行融合，得到待识别的人脸和已知人脸的综合相似度R0，以R0作为人脸识别的人脸相似度；

34)比较步骤33)得到的相似度R0与预先设定的阈值T的大小，如果R0≥T，则判断待识别人和已知人是同一个人；如果R0＜T，则判断待识别人和已知人不是同一个人；由采集与显示装置显示出判断结果。

本发明提出的一种用于人脸识别的人脸图像和数据的采集与显示装置。

包括一个长方形机箱，机箱上安装有一个液晶显示器和两台摄像机，液晶显示器安装在机箱前面板的中间部位，一台摄像机安装在液晶显示器的上方中间的位置，另一台摄像安装在液晶显示器的下方中间的位置；

包括四个长形的灯具，安装在长方形机箱前面板的四周；

包括一个固定采集个人身份的数据采集装置的倾斜支架，使被识别人在人脸图像采集时处于正视摄像机的姿态。

本装置主要的作用是尽可能采集到好的人脸图像，并能与待识别人进行人机交互，营造一个好的应用环境。设置两台摄像机的目的是为了适应不同身高的要求。设置液晶显示器的目的是方便人机配合。首先，待识别人通过液晶显示器上显示的图像可以知道自己的人脸图像是否更好、自己被计算机识别的结果。同时也为了吸引人的眼球，使待识别人能正视摄像机，以采集到好的人脸图像。该装置设置四个灯具，进行补光，以克服外界光照的影响。将采集个人身份的数据采集装置摆放在被识别人的胸前，使被识别人在人脸图像采集时处于正视摄像机的姿态，以获得被识别人的正面人脸图像。

本发明的特点及效果

本发明的特点是软硬件结合，采用人脸图像和数据的采集与显示装置，提升了人脸图像采集的质量；对人脸图像进行Gabor滤波并降维，然后对Gabor特征图像进行主分量分析及与基于人脸部件主分量分析的多模式人脸识别方法融合的人脸识别方法，具有更高的人脸识别率。

附图说明

图1为本发明实施例的人脸图像和数据的采集与显示装置。

具体实施方式

本发明提出的人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置结合附图及实施例详细说明如下：

本发明的实施例是用于二代证实名身份认证系统。该系统包括采集个人身份的数据采集装置、本发明的人脸图像和数据的采集与显示装置及装有本发明方法的计算机。其中，采集个人身份的数据采集装置采用二代身份证验证机具，由此获得被识别人所持二代证的身份证号和人脸图像。人脸图像和数据的采集与显示装置如图1所示，包括一个长方形机箱，该机箱正面板1的中间部位装有液晶显示屏2，液晶显示屏选用8时的液晶显示屏；摄像机3安装在液晶显示屏上方的中间位置，另一台摄像机4安装在液晶显示屏下方的中间位置，摄像机采用Watec公司WAT-902DM黑白摄像机；四个长形的灯具5-8安装在该机箱面板四周，灯具采用5W的日光灯；还包括一个固定采集个人身份的数据采集装置9的倾斜支架10，该倾斜支架用以使被识别人在人脸图像采集时处于正视摄像机的姿态，倾斜支架和垂直支架11的长度可调；整个人脸图像和数据的采集与显示装置固定在底座12上。

本实施例中采用的人脸部件特征和Gabor人脸特征融合的人脸识别方法，由基于Gabor方法的特征裸脸的提取、基于Gabor方法的图像投影特征向量的提取，以及基于Gabor方法与基于人脸部件主分量分析的多模式人脸识别的方法融合的人脸识别三部分组成；所述基于Gabor方法的特征裸脸的提取，包括以下步骤：

11)采用Gabor滤波器组对预先采集得到的训练集的每一个人的人脸图像进行五尺度八方向Gabor滤波，得到对应的人脸Gabor图像；

Gabor滤波器的定义如式(1)：

${\mathrm{\ψ}}_{\mathrm{\μ},v}\left(z\right)=\frac{{\left|\right|k_{\mathrm{\μ},v}\left|\right|}^2}{{\mathrm{\σ}}^2}{e}^{-\frac{{\left|\right|k_{\mathrm{\μ},v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{2{\mathrm{\σ}}^2}}[e^{{\mathrm{ik}}_{\mathrm{\μ},v}z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}]---\left(1\right)$

其中，z＝(x，y)为对应点坐标，波矢量定义为： $k_{\mathrm{\μ},v}=k_v{e}^{{\mathrm{i\θ}}_{\mathrm{\μ}}},$ 其中k_v＝k_max/λ^v并且θ_μ＝πμ/n。v和μ分别定义了Gabor滤波器的尺度和方向。取n＝8，v∈{0，1，2，3，4}，μ∈{0，1，…，7}，σ＝2π，k_max＝π/2以及 $\mathrm{\λ}=\sqrt{2}$ 得到五尺度八方向的Gabor滤波器组。

将人脸图像I(z)与Gabor滤波器进行卷积，取卷积结果的幅值部分，得到对应的人脸Gabor图像A_μ，v(z)。

O_μ，v(z)＝I(z)*ψ_μ，v(z)    (2)

$A_{\mathrm{\μ},v}\left(z\right)=\sqrt{\mathrm{Re}{\left(O_{\mathrm{\μ},v}\left(z\right)\right)}^2+\mathrm{Im}{\left(O_{\mathrm{\μ},v}\left(z\right)\right)}^2}---\left(3\right)$

12)对该人脸的Gabor图像A_μ，v(z)均匀分块，每块大小为3×3，取每块中所有象素点的平均值作为该块的特征象素点，所有特征象素点组合成Gabor特征图像，实现Gabor图像的降维；

13)对训练集中所有人脸图像采用所述步骤11)、12)中的方法提取人脸Gabor特征图像，利用基于主分量分析方法中的特征脸方法，形成Gabor特征裸脸；

具体的做法是：

用n×N矩阵X表示训练集中所有人脸Gabor特征图像的矢量集，n为人脸Gabor特征图像的像素数，N(N＞1000)为训练集人脸总数，则：

$C=\frac{1}{N}{\mathrm{XX}}^T,X=(X_1,\·\·\·,X_k,\·\·\·,X_N)---\left(4\right)$

(4)式中X_k＝(x_1k，x_2k，…，x_nk)^T，k＝(1，2，…，N)表示一个人脸Gabor特征图像矢量，X^T表示矩阵X的转置。

在计算矩阵C的特征向量和特征值时，由于计算XX^T的维数很大(n²维)，而采用奇异值分解，改为计算X^TX，这样可以间接获得C的特征向量和特征值，而X^TX的维数降为N²维，XX^T与X^TX的特征值是一样的，而它们之间的特征向量的关系满足下式：

$u_k=\frac{1}{{\mathrm{\λ}}_k}\×{\mathrm{\φ}}_k---\left(5\right)$

(5)式中u_k为XX^T的特征向量，φ_k为X^TX的特征向量；λ_k既是X^TX的特征值，同时也是XX^T的特征值。通过计算X^TX的特征值λ_k和特征向量φ_k，而得到XX^T的特征向量u_k。按照λ_k数值按从大到小进行排序，取出前D(D＜＜N)个最大的特征值并保留与之相对应的D个特征向量u_k就形成Gabor特征裸脸。

所述基于Gabor方法的图像投影特征向量的提取，包括以下步骤：

21)由数据的采集得到的已知人的人脸图像采用所述步骤11)、12)中的方法提取出的已知人脸的Gabor特征图像，对已知人脸的Gabor特征图像，采用下面(6)式的运算即基于主分量分析方法中的投影特征向量分析方法，提取所述已知人脸的Gabor特征图像的投影特征向量B：

$B=u_k^T\×q,k=\mathrm{1,2},...,D---\left(6\right)$

(6)式中q为已知人脸图像的Gabor特征图像矢量，u_k为从训练集人脸中得到的Gabor特征脸。

22)对待识别人的人脸图像采用步骤11)、12)提取出待识别人的Gabor特征图像，对待识别人的Gabor特征图像，采用下面(7)式的运算即基于主分量分析方法中的投影特征向量分析方法，提取待识别人脸的Gabor特征图像的投影特征向量A：

$A=u_k^T\×p,k=\mathrm{1,2},...,D---\left(7\right)$

(7)式中p为待识别人脸图像的Gabor特征图像矢量，u_k为从训练集人脸中得到的Gabor特征脸。

所述基于Gabor方法与基于人脸部件主分量分析的多模式人脸识别的方法融合的人脸识别，包括以下步骤：

31)分别计算出待识别的人脸和已知人脸的部件图像的相似度R，各部件图像相似度分别为裸脸图像R1、眼睛+眉毛图像R2、眼睛图像R3、鼻子图像R4、嘴巴图像R5；

32)采用(8)式的运算计算步骤21)中的已知人脸的Gabor特征图像的投影特征向量B和步骤22)中的待识别人脸的裸脸Gabor图像的投影特征向量A之间的相似度R6；

$R_6=\sqrt{1-\frac{\left|\right|A-B\left|\right|}{\left|\right|A\left|\right|+\left|\right|B\left|\right|}}---.\left(8\right)$

33)将相似度R1、R2、R3、R4、R5、R6按照加权和规则进行融合，其融合系数分别取作24∶15∶7.5∶6∶9∶41，得到待识别的人脸和已知人脸的综合相似度R0，以R0作为人脸识别的人脸相似度；

34)选取错误接收率为0.1％时对应的相似度值为预设阈值T，本实施例的T＝87，比较步骤33)得到的相似度R0与阈值T的大小，如果R0≥T，则判断待识别人和已知人是同一个人；如果R0＜T，则判断待识别人和已知人不是同一个人；由采集与显示装置显示出判断结果。

基于人脸识别的二代证实名身份认证系统用VC++语言编程。所达到的识别率为：当错误接受率为0.1％时，正确识别率为77.8％。

Claims (1)

1、一种人脸部件特征和Gabor人脸特征融合的人脸识别方法，其特征在于，由基于Gabor方法的特征裸脸的提取、基于Gabor方法的图像投影特征向量的提取，以及基于Gabor方法与基于人脸部件主分量分析的多模式人脸识别方法融合的人脸识别三部分组成；所述基于Gabor方法的特征裸脸的提取，包括以下步骤：

11)对预先采集得到的训练集的每一个人的人脸图像进行五尺度八方向Gabor滤波，得到对应的人脸Gabor图像；

12)对该人脸的Gabor图像均匀分块，取每块中所有象素点的平均值作为该块的特征象素点，所有特征象素点组合成Gabor特征图像，实现Gabor图像的降维；

13)对训练集中所有人脸图像采用所述步骤11)、12)中的方法提取人脸Gabor特征图像，利用基于主分量分析方法中的特征脸方法，形成Gabor特征裸脸；

所述基于Gabor方法的图像投影特征向量的提取，包括以下步骤：

21)由数据采集得到的已知人的人脸图像采用所述步骤11)、12)中的方法提取出的已知人脸的Gabor特征图像，对已知人脸的Gabor特征图像，利用基于主分量分析方法中的投影特征向量分析方法，提取所述已知人脸的Gabor特征图像的投影特征向量；

22)对待识别人的人脸图像采用步骤11)、12)提取出待识别人的Gabor特征图像，对待识别人的Gabor特征图像，利用基于主分量分析方法中的投影特征向量分析方法，提取待识别人脸的Gabor特征图像的投影特征向量；

所述基于Gabor方法与基于人脸部件主分量分析的多模式人脸识别的方法融合的人脸识别，包括以下步骤：

31)分别计算出待识别的人脸和已知人脸的部件图像的相似度R，各部件图像相似度分别为裸脸图像R1、眼睛+眉毛图像R2、眼睛图像R3、鼻子图像R4、嘴巴图像R5；

32)计算步骤21)中的已知人脸的Gabor特征图像的投影特征向量和步骤22)中的待识别人脸的Gabor图像的投影特征向量之间的相似度R6；

33)将相似度R1、R2、R3、R4、R5、R6按照加权和规则进行融合，得到待识别的人脸和已知人脸的综合相似度R0，以R0作为人脸识别的人脸相似度；

34)比较步骤33)得到的相似度R0与预先设定的阈值T的大小，如果R0≥T，则判断待识别人和已知人是同一个人；如果R0＜T，则判断待识别人和已知人不是同一个人；由采集与显示装置显示出判断结果，该阈值T为错误接收率为0.1％时对应的相似度值。

Images