CN100557624C - 基于多部件多特征融合的人脸识别方法 - Google Patents

Abstract

本发明涉及基于多部件多特征融合的人脸识别方法，属于图像处理、计算机视觉、模式识别技术领域。该方法包括以下步骤：对训练集中所有人脸图像进行Gabor滤波，得到五种部件的Gabor特征图像，对已知人和待识别人的人脸图像采用同样方法对得到的五种部件的Gabor特征图像，分别提取五种人脸部件灰度图像的投影特征值；得到五种人脸部件的混合投影特征值；分别计算待识别人脸和已知人脸各个部件的混合投影特征值之间的欧式距离作为待识别的人脸和已知人脸的部件图像的相似度R，得到待识别的人脸和已知人脸的综合相似度R0，如果R0≥T，则判断待识别人和已知人是同一个人；如果R0＜T，则判断待识别人和已知人不是同一个人。本发明具有更高的人脸识别率。

Description

基于多部件多特征融合的人脸识别方法

技术领域

本发明属于图像处理、计算机视觉、模式识别技术领域，特别涉及人脸识别方法。

背景技术

生物特征识别技术是身份识别的有效技术，近来发展最快的是人脸识别技术以及与人脸识别技术相融合的生物特征识别技术。因此，本发明涉及人脸图像采集和识别算法，具有重要的应用价值。

目前已有的人脸识别方法主要是对整个人脸进行识别的，而在诸多的识别方法中，主要采用主分量分析(PCA-Principal Component Analysis)、弹性匹配、神经网络、几何特征等方法。

同时，人脸识别的难点还在于：

(1)表情引起的人脸塑性变形

(2)姿态引起的人脸多样性

(3)年龄引起的人脸变化

(4)发型、胡须、眼镜、化装等因素引起的人脸模式的多重性

(5)光照的角度、强度以及传感器特性等因素引起的人脸图像的差异性

诸多的因素使得人脸识别成为一项棘手而富挑战性的课题，也因此在近年成为科研的热点。

与本发明相关的已有技术说明如下：

基于人脸部件主分量分析的多模式人脸识别方法：其主要特点是对人脸进行部件提取，再对人脸部件进行主分量分析及多模式识别，以达到高的识别率。该方法包括：

1)首先采用模板匹配和投影直方图的方法对人脸图像定位，确定出人脸粗定位区、左右眼球、鼻尖、嘴、下颌顶点的基本位置，然后从整个人脸中提取出裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件；

2)对从训练集人脸中提取出来的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的特征脸方法，分别形成特征裸脸、特征(眼睛+眉毛)、特征眼睛、特征鼻子、特征嘴巴；

3)对已知人的人脸图像提取出的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的投影特征值分析方法，提取已知人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴五种人脸部件的投影特征值；

4)对待识别人的人脸图像提取出的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的特征投影值分析方法，提取待识别人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的投影特征值；

5)分别计算已知人脸部件图像的投影特征值和待识别人脸对应部件图像的投影特征值之间的相似度；对裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的相似度融合得到多模式的全局人脸识别方法，单个裸脸、眼睛+眉毛、眼睛、鼻子、嘴的相似度识别，或裸脸、眼睛+眉毛、眼睛、鼻子、嘴相互之间的组合识别就是多模式的局部人脸识别方法。

Gabor方法：其主要特点是将Gabor基函数经过移位、旋转和比例变换以后得到的一组相似的Gabor函数，能够在保持空间关系的同时描述出图像中的频率结构，并能在空间域给出结果。在人脸识别的应用中，由于Gabor小波多分辨率、多方向地反映图像局部特性，所以对于光照的反应不敏感，和使用全局灰度特征进行识别相比较，对光照具有更好的适应性。

二维Gabor函数相当于一个被复正弦函数调制的二维高斯函数，在频域上则是二维高斯函数在两个频率轴上都发生了平移后的结果，是一个二维带通滤波器。由于每个Gabor滤波器相当于一个带通滤波器，为了提取人脸图像在多个方向多个尺度上的特征，通常会采用多个在不同尺度不同方向上的Gabor滤波器组成滤波器组。进行滤波时，将输入图像依次与滤波器组的各个滤波器卷积，并取其幅值作为输出，即输入图像的Gabor图像。

加权和规则：对于不同的特征，识别性别都不尽相同，加权和规则就是对不同的特征采用不同的权值进行融合。每个特征的权值是由该特征本身的特性(可分性，识别率等)所决定的，不同的融合特征对应不同的融合权值。对识别性能好的特征赋予较大的权值，而识别性能差的特征赋予较小的权值。

发明内容

本发明的目的是为了提高人脸识别算法的适应性，提出一种基于多部件多特征融合的人脸识别方法，该方法具有更高的人脸识别率。

本发明提出的基于多部件多特征融合的人脸识别方法，其特征在于，包括以下步骤：

1)对人脸图像进行五尺度八方向Gabor滤波，得到对应的人脸Gabor图像；

2)从人脸Gabor图像中提取出裸脸Gabor图像、眉毛+眼睛Gabor图像、眼睛Gabor图像、鼻尖Gabor图像、嘴巴Gabor图像五种部件Gabor图像；

3)分别对所述裸脸Gabor图像、眉毛+眼睛Gabor图像、眼睛Gabor图像、鼻尖Gabor图像、嘴巴Gabor图像均匀分块，取每块中所有象素点的平均值作为该块的特征象素点，所有特征象素点组合成五种部件的Gabor特征图像，实现五种部件Gabor图像的降维；

4)对训练集中所有图像采用所述步骤1)-3)得到的五种部件的Gabor特征图像，利用基于主分量分析方法中的特征脸方法，形成Gabor特征裸脸、Gabor特征眉毛+眼睛、Gabor特征眼睛、Gabor特征鼻尖、Gabor特征嘴巴；

5)对已知人的人脸图像采用所述步骤1)-3)得到五种部件的Gabor特征图像，利用基于主分量分析方法中的投影特征向量分析方法，分别提取所述已知人脸的裸脸Gabor图像、眉毛+眼睛Gabor图像、眼睛Gabor图像、鼻尖Gabor图像、嘴巴Gabor图像的投影特征向量；

6)利用基于部件主分量分析的多模式人脸识别方法，提取已知人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件灰度图像的投影特征值；

7)将已知人脸图像的同一部件的灰度图像投影特征值和对应的Gabor图像投影特征值按照加权和规则融合，得到已知人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件的混合投影特征值；

8)对待识别人的人脸图像采用步骤1)-3)得到五种部件的Gabor特征图像，利用基于主分量分析方法中的投影特征向量分析方法，分别提取所述待识别人脸的裸脸Gabor图像、眉毛+眼睛Gabor图像、眼睛Gabor图像、鼻尖Gabor图像、嘴巴Gabor图像的投影特征向量；

9)利用基于部件主分量分析的多模式人脸识别方法，提取待识别人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件灰度图像的投影特征值；

10)将待识别人脸图像的同一部件的灰度图像投影特征值和对应的Gabor图像投影特征值按照加权和规则融合，得到待识别人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件的混合投影特征值；

11)分别计算待识别人脸各个部件的混合投影特征值和已知人脸各个部件的混合投影特征值之间的欧式距离作为待识别的人脸和已知人脸的部件图像的相似度R，各部件图像相似度分别为裸脸图像R1、眼睛+眉毛图像R2、眼睛图像R3、鼻子图像R4、嘴巴图像R5；

12)将相似度R1、R2、R3、R4、R5按照加权和规则进行融合，得到待识别的人脸和已知人脸的综合相似度R0，该R0作为人脸识别的人脸相似度；

13)比较步骤12)得到的相似度R0与预先设定的阈值T的大小，T为选取错误接收率为0.1％时对应的相似度值，如果R0≥T，则判断待识别人和已知人是同一个人；如果R0＜T，则判断待识别人和已知人不是同一个人。

本发明的特点及效果

本发明对灰度图像和Gabor图像进行部件分割，再对部件的灰度图像和Gabor图像进行主分量分析以及融合，具有更高的人脸识别率。

具体实施方式

本发明提出的基于多部件多特征融合的人脸识别方法结合实施例详细说明如下，包括以下步骤：

1)对人脸图像进行五尺度八方向Gabor滤波，得到对应的人脸Gabor图像；

Gabor滤波器的定义如式(1)：

${\mathrm{\ψ}}_{\mathrm{\μ},v}\left(z\right)=\frac{{\left|\right|k_{\mathrm{\μ},v}\left|\right|}^2}{{\mathrm{\σ}}^2}{e}^{\frac{{\left|\right|k_{\mathrm{\μ},v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{{2\mathrm{\σ}}^2}}[e^{i{k}_{\mathrm{\μ},v}z}-e^{-\frac{{\mathrm{\σ}}^2}{2}}]---\left(1\right)$

其中，z＝(x，y)为对应点坐标，波矢量定义为： $k_{\mathrm{\μ},v}=k_v{e}^{i{\mathrm{\θ}}_{\mathrm{\μ}}},$ 其中k_v＝k_max/λ^v并且θ_μ＝πμ/n。v和μ分别定义了Gabor滤波器的尺度和方向。取n＝8，v∈{0，1，2，3，4}，μ∈{0，1，…，7}，σ＝2π，k_max＝π/2以及 $\mathrm{\λ}=\sqrt{2}$ 得到五尺度八方向的Gabor滤波器组。

将人脸图像I(z)与Gabor滤波器进行卷积，取卷积结果的幅值部分，得到对应的人脸Gabor图像A_μ，v(z)。

O_μ，v(z)＝I(z)*ψ_μ，v(z)(2)

$A_{\mathrm{\μ},v}\left(z\right)=\sqrt{\mathrm{Re}{\left(O_{\mathrm{\μ},v}\left(z\right)\right)}^2+\mathrm{Im}{\left(O_{\mathrm{\μ},v}\left(z\right)\right)}^2}---\left(3\right)$

2)从人脸Gabor图像A_μ，v(z)中提取出裸脸Gabor图像、眉毛+眼睛Gabor图像、眼睛Gabor图像、鼻尖Gabor图像、嘴巴Gabor图像五种部件Gabor图像，裸脸Gabor图像的尺寸为90×120，眉毛+眼睛Gabor图像的尺寸为45×35，眼睛Gabor图像的尺寸为40×20，鼻尖Gabor图像的尺寸为20×30，嘴巴Gabor图像的尺寸为24×32。

3)分别对裸脸Gabor图像、眉毛+眼睛Gabor图像、眼睛Gabor图像、鼻尖Gabor图像、嘴巴Gabor图像均匀分块，每块大小为3×3，取每块中所有象素点的平均值作为该块的特征象素点，所有特征象素点组合成Gabor特征图像，实现五种部件Gabor图像的降维，降维后五部件的Gabor特征图像尺寸大小分别为30×40、15×11、13×6、6×10、8×10；

4)对训练集中所有图像采用所述步骤1)-3)得到的五种部件的Gabor特征图像，利用基于主分量分析方法中的特征脸方法，形成Gabor特征裸脸、Gabor特征眉毛+眼睛、Gabor特征眼睛、Gabor特征鼻尖、Gabor特征嘴巴；

具体的做法是：

用n×N矩阵X分别表示训练集中所有人脸Gabor特征裸脸或Gabor特征眉毛+眼睛或Gabor特征眼睛或Gabor特征鼻尖或Gabor特征嘴巴的矢量集，n为人脸Gabor特征裸脸或Gabor特征眉毛+眼睛或Gabor特征眼睛或Gabor特征鼻尖或Gabor特征嘴巴的像素数，N(N＞1000)为训练集人脸总数，则：

$C=\frac{1}{N}{\mathrm{XX}}^T$ X＝(X₁，…，X_k，…，X_N)        (4)

(4)式中X_k＝(x_1k，x_2k，…，x_nk)^T，k＝(1，2，…，N)可以表示一个人脸Gabor特征裸脸矢量、Gabor特征眉毛+眼睛矢量、Gabor特征眼睛矢量、Gabor特征鼻尖矢量、Gabor特征嘴巴矢量，X^T表示矩阵X的转置。

在计算矩阵C的特征向量和特征值时，由于计算XX^T的维数很大(n²维)，而采用奇异值分解，改为计算X^TX，这样可以间接获得C的特征向量和特征值，而X^TX的维数降为N²维，XX^T与X^TX的特征值是一样的，而它们之间的特征向量的关系满足下式：

$u_k=\frac{1}{{\mathrm{\λ}}_k}\×{\mathrm{\φ}}_k---\left(5\right)$

(5)式中u_k为XX^T的特征向量，φ_k为X^TX的特征向量；λ_k既是X^TX的特征值，同时也是XX^T的特征值。通过计算X^TX的特征值λ_k和特征向量φ_k，而得到XX^T的特征向量u_k。按照λ_k数值按从大到小进行排序，取出前D(D＜＜N)个最大的特征值并保留与之相对应的D个特征向量u_k就形成Gabor特征裸脸、Gabor特征眉毛+眼睛、Gabor特征眼睛、Gabor特征鼻尖、Gabor特征嘴巴，对于所述五种部件，D的取值分别为120、60、80、50、40。

5)对已知人的人脸图像采用所述步骤1)-3)得到五种部件的Gabor特征图像，采用下面(6)式的运算即基于主分量分析方法中的投影特征向量分析方法，分别提取所述已知人脸的裸脸Gabor图像、眉毛+眼睛Gabor图像、眼睛Gabor图像、鼻尖Gabor图像、嘴巴Gabor图像的投影特征向量；

$B=u_k^T\×q$ k＝1，2，...，D    (6)

(6)式中q分别为已知人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的Gabor特征图像矢量，u_k分别为从训练集人脸中得到的Gabor特征脸、Gabor特征眼睛+眉毛、Gabor特征眼睛、Gabor特征鼻子、Gabor特征嘴巴。

6)利用基于部件主分量分析的多模式人脸识别方法，提取已知人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件灰度图像的投影特征值；

7)将已知人脸图像的同一部件的灰度图像投影特征值和对应的Gabor图像投影特征值按照加权和规则融合，融合比例为1∶0.75，得到已知人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件的混合投影特征值；

8)对待识别人的人脸图像采用步骤1)-3)得到五种部件的Gabor特征图像，采用下面(7)式的运算即基于主分量分析方法中的投影特征向量分析方法，分别提取所述待识别人脸的裸脸Gabor图像、眉毛+眼睛Gabor图像、眼睛Gabor图像、鼻尖Gabor图像、嘴巴Gabor图像的投影特征向量；

$A=u_k^T\×p$ k＝1，2，...，D    (7)

(7)式中p分别为待识别人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的Gabor特征图像矢量，u_k分别为从训练集人脸中得到的Gabor特征脸、Gabor特征眼睛+眉毛、Gabor特征眼睛、Gabor特征鼻子、Gabor特征嘴巴。

9)利用基于部件主分量分析的多模式人脸识别方法，提取待识别人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件灰度图像的投影特征值；

10)将待识别人脸图像的同一部件的灰度图像投影特征值和对应的Gabor图像投影特征值按照加权和规则融合，融合比例为1∶0.75，得到待识别人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件的混合投影特征值；

11)按照(8)式分别计算出待识别的人脸和已知人脸的部件图像的相似度R，各部件图像相似度分别为裸脸图像R1、眼睛+眉毛图像R2、眼睛图像R3、鼻子图像R4、嘴巴图像R5；

$R=\sqrt{1-\frac{\left|\right|A-B\left|\right|}{\left|\right|A\left|\right|+\left|\right|B\left|\right|}}---\left(8\right)$

其中，B分别为7)中的已知人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件的混合投影特征值，A分别为10)中的待识别人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件的混合投影特征值。

12)将相似度R1、R2、R3、R4、R5按照加权和规则进行融合，其融合系数分别取作16∶1.5∶2.5∶2∶3，得到待识别的人脸和已知人脸的综合相似度R0，以R0作为人脸识别的人脸相似度；

13)选取错误接收率为0.1％时对应的相似度值为预设阈值T，T＝87，比较步骤12)得到的相似度R0与预先设定的阈值T的大小，如果R0≥T，则判断待识别人和已知人是同一个人；如果R0＜T，则判断待识别人和已知人不是同一个人。

基于人脸识别的二代证实名身份认证系统用VC++语言编程。所达到的识别率为：当错误接受率为0.1％时，正确识别率为78.96％。

Claims (1)

1、一种基于多部件多特征融合的人脸识别方法，其特征在于，该方法包括以下步骤：

1)对人脸图像进行五尺度八方向Gabor滤波，得到对应的人脸Gabor图像；

2)从人脸Gabor图像中提取出裸脸Gabor图像、眉毛+眼睛Gabor图像、眼睛Gabor图像、鼻尖Gabor图像、嘴巴Gabor图像五种部件Gabor图像；

3)分别对所述裸脸Gabor图像、眉毛+眼睛Gabor图像、眼睛Gabor图像、鼻尖Gabor图像、嘴巴Gabor图像均匀分块，取每块中所有象素点的平均值作为该块的特征象素点，所有特征象素点组合成五种部件的Gabor特征图像，实现五种部件Gabor图像的降维；

4)对训练集中所有图像采用所述步骤1)-3)得到的五种部件的Gabor特征图像，利用基于主分量分析方法中的特征脸方法，形成Gabor特征裸脸、Gabor特征眉毛+眼睛、Gabor特征眼睛、Gabor特征鼻尖、Gabor特征嘴巴；

5)对已知人的人脸图像采用所述步骤1)-3)得到五种部件的Gabor特征图像，利用基于主分量分析方法中的投影特征向量分析方法，分别提取所述已知人脸的裸脸Gabor图像、眉毛+眼睛Gabor图像、眼睛Gabor图像、鼻尖Gabor图像、嘴巴Gabor图像的投影特征向量；

6)利用基于部件主分量分析的多模式人脸识别方法，提取已知人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件灰度图像的投影特征值；

7)将已知人脸图像的同一部件的灰度图像投影特征值和对应的Gabor图像投影特征向量按照加权和规则融合，得到已知人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件的混合投影特征值；

8)对待识别人的人脸图像采用步骤1)-3)得到五种部件的Gabor特征图像，利用基于主分量分析方法中的投影特征向量分析方法，分别提取所述待识别人脸的裸脸Gabor图像、眉毛+眼睛Gabor图像、眼睛Gabor图像、鼻尖Gabor图像、嘴巴Gabor图像的投影特征向量；

9)利用基于部件主分量分析的多模式人脸识别方法，提取待识别人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件灰度图像的投影特征值；

10)将待识别人脸图像的同一部件的灰度图像投影特征值和对应的Gabor图像投影特征向量按照加权和规则融合，得到待识别人脸图像的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴五种人脸部件的混合投影特征值；

11)分别计算待识别人脸各个部件的混合投影特征值和已知人脸的对应的各个部件的混合投影特征值之间的欧式距离作为待识别的人脸和已知人脸的部件图像的相似度R，各部件图像相似度分别为裸脸图像R1、眼睛+眉毛图像R2、眼睛图像R3、鼻子图像R4、嘴巴图像R5；

12)将相似度R1、R2、R3、R4、R5按照加权和规则进行融合，得到待识别的人脸和已知人脸的综合相似度R0，该R0作为人脸识别的人脸相似度；

13)比较步骤12)得到的相似度R0与预先设定的阈值T的大小，T为选取错误接收率为0.1％时对应的相似度值，如果R0≥T，则判断待识别人和已知人是同一个人；如果R0＜T，则判断待识别人和已知人不是同一个人。