CN101620669A - 一种人脸身份和表情的同步识别方法 - Google Patents

Abstract

本发明提出了一种人脸身份和表情的同步识别方法，首先对每幅人脸图像进行面部特征提取，同时为每幅图像定义相应的语义特征，并对面部特征采用核主成分分析(PCCA)的特征融合方法，使得输入的图像特征具有更好的识别特性。在此基础上运用偏最小二乘回归(PLSR)方法建立脸部特征和语义特征之间的关系模型，并运用此模型对待识别的人脸图像进行表情和身份的识别。通过实验表明，本发明提出的方法不仅能进行人脸和表情的同步识别，而且可提高人脸表情识别的识别率。

Description

一种人脸身份和表情的同步识别方法

技术领域

本发明涉及一种人脸识别方法，特别涉及一种人脸身份和表情的同步识别方法。

背景技术

人脸面部图像中包含着丰富的信息，通过面部图像不仅可以识别人的身份，而且可以识别人的面部表情。目前，面部表情识别和身份识别已成为计算机视觉和模式识别领域中的两大热点研究问题。面部表情识别的主要目标是从人脸面部图像中提取能反映情绪类别的主要特征，并在此基础上进行表情分类与识别。大部分传统的面部表情识别方法是将面部图像划分为七种基本表情类型(高兴、悲伤、惊奇、生气、厌恶、害怕、中性)中的一种。与面部表情识别方法类似，人脸识别的目标则是将未知身份的人脸图像匹配到某一已知类别的人脸图像，从而达到人脸身份识别的目的。

由于识别目标的不同，人脸识别和表情识别往往被作为两个独立的任务来完成。然而，在某些场合下，进行人脸身份和表情的同步识别具有一定的特殊意义。例如，在基于面部表情的儿童情绪类型鉴别研究中，我们不仅要识别儿童的面部表情，而且还要了解不同儿童个体间的情绪差异。因此，如果能同时识别儿童的身份和表情类型，将能更好的完成该任务。但是而目前为止，二者同步识别方面的方法的研究还不够深入，还无法达到理想的识别效果。

发明内容

本发明的目的就在于解决现有技术的缺陷，设计了一种人脸身份和表情的同步识别方法。

本发明的技术方案是：

一种人脸身份和表情的同步识别方法，其特征在于包括以下步骤：

(1)面部特征提取：

面部特征由面部几何特征和Gabor小波特征两部分组成；其中面部几何特征定义为由面部关键点的坐标值所组成的特征矢量，而Gabor特征提取则是用一组具有不同尺度和方向的Gabor滤波器组对每幅人脸图像进行卷积，得到幅值图像，然后面部关键点处的幅值所组成的特征矢量作为Gabor特征矢量；此外，还必须为每一幅图像建立相应的语义特征矢量，用于后续的识别；

(2)特征融合：

在获得几何特征矢量和Gabor特征矢量后，运用核主成分分析(KPCA)法对两组特征矢量进行变换处理，再将变换后的两组特征矢量合并为一组新的特征矢量作为人脸身份和表情识别用的输入特征矢量。

(3)人脸和表情的同步识别：

首先采用偏最小二乘(PLSR)方法建立输入特征矢量和相应的输出语义矢量之间的关系表达式，然后根据该关系式对待测试的人脸图像的输入特征预测其所对应的语义特征，并依据语义特征进行人脸的身份和表情的分类。

在所述的人脸身份和表情的同步识别方法中，在所述的面部特征提取过程中，按人工标定或计算机自动标定的方式在每幅人脸图像中标定出34个关键点(用于JAFFE面部表情数据库)或22个关键点(用于AR人脸数据库)。

在所述的人脸身份和表情的同步识别方法中，所述的Gabor特征提取过程采用的Gabor小波的方向和尺度分别为5个方向和6个尺度，首先用一组Gabor滤波器对人脸图像进行卷积，再取脸部关键点处卷积图像的幅值作为Gabor小波在该关键点处的特征值。

在所述的人脸身份和表情的同步识别方法中，所述的人脸图像的语义特征定义为7种基本表情的强度大小以及该表情图像所对应的人脸身份信息。

在所述的人脸身份和表情的同步识别方法中，在运用核主成分分析法时，由选定的核函数决定映射关系Φ(x_i)；将表示对N个训练样本所提取的N个几何特征矢量x_i ¹及所对应的Gabor特征矢量x_i ²(i＝1，…，N)从输入空间映射到高维的再生核希尔伯特空间F₁和F₂中，即：

Φ₁： $R^{n_1}\→F_1,$ $x_i^1\→{\mathrm{\Φ}}_1\left(x_i^1\right)$

Φ₂： $R^{n_2}\→F_2,$ $x_i^2\→{\mathrm{\Φ}}_2\left(x_i^2\right)$

令K¹和K²分别代表在两个数据集{Φ₁(x_i ¹)}和{Φ₂(x_i ²)}上的Gram阵，寻找两个Gram矩阵的前m_i个最大特征值对应的特征矢量v_i ¹和v_i ²(i＝1，...，m_i)，并分别计算Φ(x_i ¹)-u₁ ^Ф和Φ(x_i ²)-u₂ ^Ф到V₁和V₂上的投影：

$z_i^1=V_1^T(\mathrm{\Φ}\left(x_i^1\right)-u_1^{\mathrm{\Φ}}),i=1,\·\·\·,m_1$

$z_i^2=V_2^T(\mathrm{\Φ}\left(x_i^2\right)-u_2^{\mathrm{\Φ}}),i=1,\·\·\·,m_2$

其中u₁ ^Ф和u₂ ^Ф分别表示{Φ(x_i ¹)，i＝1，…，N}和{Φ(x_i ²)，i＝1，…，N}的均值， $V_1=\left[\begin{array}{cccc}{v}_1^1& v_2^1& \·\·\·& v_{m_1}^1\end{array}\right]$ 和 $V_2=\left[\begin{array}{cccc}{v}_1^2& v_2^2& \·\·\·& v_{m_2}^2\end{array}\right];$

最后对特征矢量z_i ¹和z_i ²进行规范化处理，即 $\left|\right|z_i^1\left|\right|=1$ 和 $\left|\right|z_i^2\left|\right|=1,$ 并按 $z_i={[{\left(z_i^1\right)}^T,{\left(z_i^2\right)}^T]}^T$ 进行组合，则组合后的特征矢量z_i为进行人脸身份和表情识别用的输入特征矢量。

在所述的人脸身份和表情的同步识别方法中，采用所述的偏最小二乘(PLSR)方法建立的所述的输入特征矢量和相应的输出语义矢量之间的关系表达式为：

$\hat{Y}=Z^{T}U{\left(T^{T}Z{Z}^{T}U\right)}^{-1}{T}^{T}Y$

其中Z＝[z₁z₂…z_N]，Y＝[y₁-y y₂-y…y_N-y]分别表示输入特征矢量和语义矢量，y是y_i(i＝1，…，N)的均值，U和T通过NIPALS-PLS算法求得。

在所述的人脸身份和表情的同步识别方法中，所述的核函数在实际识别中选择的是规范化的单项式核函数，其定义式如下，用该核函数计算KPCA方法中的Gram矩阵，以消除不同度量空间中的特征差异。

$k(x,x^{\′})=\frac{{\left(x^T{x}^{\′}\right)}^d}{\sqrt{{\left(x^{T}x\right)}^d}\sqrt{{\left({\left(x^{\′}\right)}^T{x}^{\′}\right)}^d}}$

其中d是核函数度。

本发明的优点和效果在于：

1.充分利用脸部图像信息，分别提取脸部图像的Gabor特征和几何关键点的坐标，将两者一起作为人脸身份和表情同步识别的输入特征信息。这样不仅可以刻画图像的整体信息，同时也刻画了图像的局部信息，使其充分支持人脸身份和表情的同步识别。

2.利用核主成分分析(KPCA)的特征融合方法，将数据映射到一个高维的特征空间中，在该空间中进行线性特征提取，使得输入的图像特征矢量具有更好的识别特性。

3.通过基于偏最小二乘的回归(PLSR)的方法，建立特征矢量和语义矢量的关系，利用该关系可以更加有效地预测给定的人脸图像的身份和表情的类别，获得比传统方法更好的人脸身份和表情的识别效果。

本发明的其他优点和效果将在下面继续描述。

附图说明

图1——人脸身份和表情同步识别的系统框架

图2——34个关键点位置示例

图3——22个关键点位置示例

图4——Gabor小波变换示意图

图5——JAFFE数据库示例

图6——JAFFE数据库上的人脸和表情识别率

图7——采用交叉验证方法得到的面部表情识别率

图8——采用“Leave-one-class-out”交叉验证的面部表情识别的比较

图9——AR人脸数据库示例

图10——各种识别方法识别率的比较

具体实施方式

下面结合附图和实施例，对本发明所述的技术方案作进一步的阐述。

图1表示了人脸身份和表情同步识别方法的系统框架图。该同步识别方法可以通过以下三个步骤完成。

一.面部特征提取

面部特征由两部分组成。一部分为面部几何特征，另一部分则为Gabor小波特征。其中，几何特征由一些脸部关键点的坐标组成，代表了人脸的局部信息。而Gabor特征则是运用Gabor小波变换技术对面部图像进行小波变换后得到的特征，它既包含有人脸的局部特征，又包含有人脸图像的全局特征。此外，还必须为每一幅图像建立相应的语义特征矢量，用于后续的识别，具体说明如下：

1.几何特征提取：

为了提取脸部的几何特征，采用人工标定或计算机自动标定的方式在每幅人脸图像中标定出若干个关键位置，并将关键位置的坐标值组成的特征矢量定义为几何特征矢量。计算机自动定位关键点可以通过主动形状模型(ASM)方法实现。至于面部关键点的位置确定，可有不同的定义方法。如图2所示的34个关键点的定义方法，这种定义方法已广泛用于JAFFE面部表情数据库中。此外还存在着基于AR人脸数据库的另一种定义方式。这种方法在面部仅定义了22个关键点，如图3所示。在本发明中，以上两种定义方式均被采用。

2.Gabor特征提取：

典型的Gabor小波核函数定义如下：

${\mathrm{\ψ}}_{u,v}\left(z\right)=\frac{{\left|\right|k_{u,v}\left|\right|}^2}{{\mathrm{\σ}}^2}\exp (-\frac{{\left|\right|k_{u,v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{{2\mathrm{\σ}}^2})[\exp ({\mathrm{ik}}_{u,v}\·z)-\exp (-\frac{{\mathrm{\σ}}^2}{2})]$     (式1)

其中u和v分别表示Gabor核的方向和尺度，k_u，v＝k_v exp(iφ_u)。本发明所定义的Gabor小波的方向和尺度分别为5个方向和6个尺度。设σ＝π，k_v＝π/2^v，(v∈{1，…，5})，和φ_u＝πu/6，(u∈{0，…，5})。Gabor特征可根据下述方法得到：首先用一组Gabor滤波器对人脸图像进行卷积运算，再取脸部关键点处卷积图像的幅值作为Gabor小波在该关键点处的特征值。图4表示了Gabor小波变换的示意图，其中符号表示卷积运算，右边显示的图像是由人脸图像和Gabor小波滤波器组经过卷积运算后得到的幅值图像。

3.建立语义特征：

人脸图像的语义特征定义为7种基本表情的强度大小以及该表情图像所对应的人脸身份信息。假设c表示人脸的类别个数，y_i表示与人脸图像x_i相对应的语义特征矢量，并且假设每幅人脸图像属于七种基本表情中的一种，则y_i是一个c+7维的矢量，它的元素取为0或1。更具体来说，y_i可定义如下：若x_i属于第k个人的某一个人脸图像，且x_i属于七种基本情绪中的第j种基本表情，其中1≤k≤c。则y_i可定义为：

y_i＝e_j+e_7+k    (式2)

其中e_j是一个第j个元素等于1的c+7维的单位矢量。

二.特征融合

在获得几何特征矢量和Gabor特征矢量后，运用KPCA方法对两组特征矢量进行变换处理，再将变换后的两组特征矢量合并为一组新的特征矢量作为人脸身份和表情识别用的输入特征矢量。

令x_i ¹和x_i ²(i＝1，…，N)分别表示对N个训练样本所提取的N个几何特征矢量及所对应的Gabor特征矢量。令Φ是输入空间到再生核希尔伯特空间F的非线性映射，即Φ：R^p→F，x_i→Φ(x_i)。令K＝{k_ij}表示N×N阶的Gram阵，其元素k_ij通过(式3)算得：

k_ij＝k(x_i，x_j)  (式3)

其中k(x_i，x_j)是一个核函数，可表示成Φ(x_i)和Φ(x_j)的内积，即：

k(x_i，x_j)＝(Φ(x_i))^TΦ(x_j)(式4)

在这里，分别将x_i ¹和x_i ²(i＝1，…，N)从输入空间中映射到高维的再生核希尔伯特空间F₁和F₂中，即：

Φ₁： $R^{n_1}\→F_1,$ $x_i^1\→{\mathrm{\Φ}}_1\left(x_i^1\right)$   (式5)

Φ₂： $R^{n_2}\→F_2,$ $x_i^2\→{\mathrm{\Φ}}_2\left(x_i^2\right)$   (式6)

令K¹和K²分别代表在两个数据集{Φ₁(x_i ¹)}和{Φ₂(x_i ²)}上的Gram阵，且令 $K_n^1=(I-M)K^1(I-M)$ 和 $K_n^2=(I-M)K^2(I-M),$ 其中M是一个元素为

的N×N矩阵。假设α_i ¹(i＝1，…，m₁)是对应于K_n ¹的m₁个最大特征值的特征矢量，而α_i ²(i＝1，…，m₂)是对应于K_n ²的m₂个最大特征值的特征矢量，则K¹的前m₁个对应于最大特征值的特征矢量，以及K²的前m₂个对应于最大特征值的特征矢量可分别表示为：

$v_i^1=\mathrm{\Φ}\left(X^1\right)(I-M){\mathrm{\α}}_i^1,i=1,\·\·\·,m_1$ (式7)

$v_i^2=\mathrm{\Φ}\left(X^2\right)(I-M){\mathrm{\α}}_i^2,i=1,\·\·\·,m_2$ (式8)

其中 $\mathrm{\Φ}\left(X^1\right)=\left[\begin{array}{cccc}\mathrm{\Φ}\left(x_1^1\right)& \mathrm{\Φ}\left(x_2^1\right)& \·\·\·& \mathrm{\Φ}\left(x_N^1\right)\end{array}\right],$ $\mathrm{\Φ}\left(X^2\right)=\left[\begin{array}{cccc}\mathrm{\Φ}\left(x_1^2\right)& \mathrm{\Φ}\left(x_2^2\right)& \·\·\·& \mathrm{\Φ}\left(x_N^2\right)\end{array}\right].$

令 $V_1=\left[\begin{array}{cccc}{v}_1^1& v_2^1& \·\·\·& v_{m_1}^1\end{array}\right]$ 和 $V_2=\left[\begin{array}{cccc}{v}_1^2& v_2^2& \·\·\·& v_{m_2}^2\end{array}\right]$ 。假设u₁ ^Ф和u₂ ^Ф分别表示{Φ(x_i ¹)，i＝1，…，N}和{Φ(x_i ²)，i＝1，…，N}的均值，则Φ(x_i ¹)-u₁ ^Ф和Φ(x_i ²)-u₂ ^Ф到V₁和V₂上的投影可分别计算为：

$z_i^1=V_1^T(\mathrm{\Φ}\left(x_i^1\right)-u_1^{\mathrm{\Φ}})=A_1^T{\left(K_n^1\right)}_i$   (式9)

$z_i^2=V_2^T(\mathrm{\Φ}\left(x_i^2\right)-u_2^{\mathrm{\Φ}})=A_2^T{\left(K_n^2\right)}_i$   (式10)

其中 $A_1=\left[\begin{array}{cccc}{\mathrm{\α}}_1^1& {\mathrm{\α}}_2^1& \·\·\·& {\mathrm{\α}}_{m_1}^1\end{array}\right],$ $A_2=\left[\begin{array}{cccc}{\mathrm{\α}}_1^2& {\mathrm{\α}}_2^2& \·\·\·& {\mathrm{\α}}_{m_2}^2\end{array}\right],$ (K_n ¹)_i表示K_n ¹的第i列，(K_n ²)_i表示K_n ²的第i列。

现对特征矢量z_i ¹和z_i ²进行规范化处理，即 $\left|\right|z_i^1\left|\right|=1$ 和 $\left|\right|z_i^2\left|\right|=1,$ 并以下式方式进行组合，则组合后的特征矢量z_i为进行人脸身份和表情识别用的输入特征矢量。

$z_i={[{\left(z_i^1\right)}^T,{\left(z_i^2\right)}^T]}^T$   (式11)

三.人脸和表情的同步识别

应用偏最小二乘的回归(PLSR)方法建立面部特征矢量z_i和相应语义矢量y_i之间的关系，具体的回归关系表达式如下：

$\hat{Y}=Z^{T}U{\left(T^{T}Z{Z}^{T}U\right)}^{-1}{T}^{T}Y$   (式12)

其中Z＝[z₁z₂…z_N]，Y＝[y₁-y y₂-y…y_N-y]，y是y_i(i＝1，…，N)的均值，U和T通过NIPALS-PLS方法求得。

根据该关系式对待测试的人脸图像的输入特征预测其所对应的语义特征，并依据语义特征进行人脸的身份和表情的分类。假设x_test为一个待测人脸图像，则其所对应的语义特征矢量

可通过下式求得：

${\hat{y}}_{\mathrm{test}}=z_{\mathrm{test}}^{T}U{\left(T^T{\mathrm{ZZ}}^{T}U\right)}^{-1}{T}^{T}Y+\stackrel{\‾}{y}$      (式13)

其中 $z_{\mathrm{test}}={[{\left(z_{\mathrm{test}}^1\right)}^T,{\left(z_{\mathrm{test}}^2\right)}^T]}^T,$ z_test ⁱ(i＝1，2)是测试图像x_test所提取的标准化几何特征矢量和Gabor特征矢量。

令

表示

的第i个元素，则

的前7个元素组成的7维矢量 $y_{\mathrm{test}}^{\exp }={\left[\begin{array}{ccc}{\left({\hat{y}}_{\mathrm{test}}\right)}_1& \·\·\·& {\left({\hat{y}}_{\mathrm{test}}\right)}_7\end{array}\right]}^T$ 代表所测试的人脸图像包含的7种基本表情中每种表情的强度大小情况，而

剩下的元素组成的矢量 $y_{\mathrm{test}}^{\mathrm{face}}={\left[\begin{array}{ccc}{\left({\hat{y}}_{\mathrm{test}}\right)}_8& \·\·\·& {\left({\hat{y}}_{\mathrm{test}}\right)}_{7+c}\end{array}\right]}^T$ 则表示该人脸图像属于某一个人的可能性。假设i^exp表示最后分类得出的表情类别，而i^face则表示人脸的身份类别，则i^exp和i^face可分别由(式14)和(式15)得到：

$i^{\exp }=\arg \underset{i}{\max }{\left(y_{\mathrm{test}}^{\exp }\right)}_i$      (式14)

$i^{\mathrm{face}}=\arg {\underset{i}{\max }\left(y_{\mathrm{test}}^{\mathrm{face}}\right)}_i$      (式15)

通过以上的步骤，实现了人脸身份和表情的同步识别。

四.性能评价：

为了验证本发明提出的方法可以有效地应用于实际的识别系统，采用两个国际著名的人脸数据库来进行人脸身份和表情的同步识别。第一个人脸数据库是日本女性面部表情(JAFFE)数据库，该数据库已被广泛应用于表情识别研究。第二个人脸数据库是著名的AR人脸数据库，该数据库在人脸识别领域中被广泛使用。考虑到几何特征和Gabor特征位于不同的度量空间，因此实验中选择规范化的单项式核函数来计算KPCA方法中的Gram矩阵，以消除不同度量空间中的特征差异。规范化的单项式核函数的定义如下：

$k(x,x^{\′})=\frac{{\left(x^T{x}^{\′}\right)}^d}{\sqrt{{\left(x^{T}x\right)}^d}\sqrt{{\left({\left(x^{\′}\right)}^T{x}^{\′}\right)}^d}}$         (式16)

其中d是核函数度。为了进一步验证本文所提方法的有效性，采用了目前在人脸识别和表情识别中常用的其他方法来进行同样的对比实验。

1.JAFFE数据库上的实验

JAFFE数据库由10位日本女性的213张人脸图像构成，这些人脸图像覆盖了全部的7种基本面部表情类型，即高兴、悲伤、惊奇、生气、厌恶、害怕和中性。其中，每个人每种表情有2到4张图片。JAFFE数据库中每张图像是灰度级为256、图像尺寸大小为256×256的灰度图像。图5显示了该数据库中的部分图像。

在进行面部特征提取时，先从每幅面部图像中人工定义34个关键点(如图2所示)，并用这34个关键点的坐标值组成人脸的几何特征矢量。另一方面，对每幅人脸图像进行Gabor变换，并提取每个面部关键点处的Gabor变换后图像的幅值组成Gabor特征矢量。此外，为每幅图像建立相应的语义特征矢量。

实验采用交叉验证策略进行，先将整个数据集随机地分为大致相同的10个子集，然后选择9个子集作为训练数据，剩下的一个作为测试数据。整个实验重复10次，直到每个子集都被用于测试数据。最后将10次实验得到的识别率求平均以作为最后的平均识别率。本实验中，单项式核的度设为6。

图6中表示了交叉验证中每次实验的识别结果，而图7则给出了在JAFFE数据库上采用交叉验证法时各种面部表情识别方法的平均识别率。从图6中可以看出人脸识别的平均识别率高达100％，从图7中可以看出本发明所提出的方法(用PLSR+Gabor+Geometry表示)获得了最好的表情识别效果，平均识别率高达98.08％。

为了进一步测试本发明所提出的方法在面部表情识别中具有更好的识别性能，采用“leave-one-class-out”交叉验证策略进行了同样的实验。在“leave-one-class-out”交叉验证策略中，将属于同一个人的图像作为测试数据，而剩余的部分则作为训练数据。实验重复进行直到所有人的人脸图像都被用作测试数据。然后再将每次实验所得的识别率求平均作为最终的表情识别率。在本实验中，单项式核函数的度取为3。图8给出了各种方法识别率的比较，从中可以看出：本发明所提出的方法(用PLSR+Gabor+Geometry表示)获得了最好的识别效果，识别率高达85.45％。

2.AR人脸数据库上的实验

AR人脸数据库由126个人的人脸图像组成，总的图像数目超过3000张。每个人的图像取自两次间隔为两个星期时间所拍摄的26张人脸图像，每次拍摄的图像为13张。原始图像尺寸大小为768×576像素，每个像素用256级的灰度值来表示。图9表示了数据库中的一个人的所有26张图像示例，其中图像标号1到13的是第一次拍摄的，而标号14到26是第二次拍摄的。在数据库所有126个人中，仅选用69个人的图像进行实验，并且对于每个人的所有图像，仅选取编号为1、2、3和5的图像用于本次实验。这4种编号的图像的表情特征为：编号1为中性表情；编号2为微笑；编号3为生气；编号5左光源对应的图像。为了提取图像的几何特征和Gabor特征，采用如图2右侧的所示的22个特征点作为本实验所采用的脸部关键点。

实验采用“leave-one-out”交叉验证策略进行，首先选取1幅图像作为测试数据，而剩余的图像作为训练数据。重复此过程直至所有的图像都被用作测试数据。计算正确分类的图像数目以获得平均识别率。在本实验中，当单项式核函数的度设为6时，获得了98.55％的人脸识别率和81.16％的面部表情识别率。

为了说明本发明所采用的人脸特征以及所提出的识别方法的有效性，分别采用PCA方法、直接线性判别分析(D-LDA)方法、PCA+LDA方法和零空间方法进行人脸识别和表情识别的对比实验，其中每种方法所采用的输入数据为整幅人脸图像的灰度值。图10显示了各种方法的对比实验结果。

从图10可以看出：在人脸识别和表情识别中，本发明所提出的基于PLSR方法获得了最好的识别结果。此外也可以看出：采用图像灰度值作为输入数据不能很好地进行面部表情识别。原因在于：整个面部图像的灰度值主要刻画人脸的整体信息，而难以刻画图像的局部信息。而运用Gabor特征和几何特征相混合的组合特征不仅可以刻画图像的整体信息，同时也刻画了图像的局部信息。因此在人脸身份识别和表情识别因此在人脸身份识别和表情识别中均能得到较好结果。

Claims (7)

1.一种人脸身份和表情的同步识别方法，其特征在于包括以下步骤：

(1)面部特征提取：

面部特征由面部几何特征和Gabor小波特征两部分组成；其中面部几何特征定义为由面部关键点的坐标值所组成的特征矢量，而Gabor特征提取则是用一组具有不同尺度和方向的Gabor滤波器组对每幅人脸图像进行卷积，得到幅值图像，然后面部关键点处的幅值所组成的特征矢量作为Gabor特征矢量；此外，还必须为每一幅图像建立相应的语义特征矢量，用于后续的识别；

(2)特征融合：

在获得几何特征矢量和Gabor特征矢量后，运用核主成分分析(KPCA)法对两组特征矢量进行变换处理，再将变换后的两组特征矢量合并为一组新的特征矢量作为人脸身份和表情识别用的输入特征矢量；

(3)人脸和表情的同步识别：

首先采用偏最小二乘(PLSR)方法建立输入特征矢量和相应的输出语义矢量之间的关系表达式，然后根据该关系式对待测试的人脸图像的输入特征预测其所对应的语义特征，并依据语义特征进行人脸的身份和表情的分类。

2.根据权利要求1所述的一种人脸身份和表情的同步识别方法，其特征在于，在所述的面部特征提取过程中，按人工标定或计算机自动标定的方式在每幅人脸图像中标定出34个关键点(用于JAFFE面部表情数据库)或22个关键点(用于AR人脸数据库)。

3.根据权利要求1所述的一种人脸身份和表情的同步识别方法，其特征在于，在Gabor特征提取过程中，所采用的Gabor小波的方向和尺度分别为5个方向和6个尺度，首先用一组Gabor滤波器对人脸图像进行卷积，再取脸部关键点处卷积图像的幅值作为Gabor小波在该关键点处的特征值。

4.根据权利要求1所述的一种人脸身份和表情的同步识别方法，其特征在于，人脸图像的语义特征定义为7种基本表情的强度大小以及该表情图像所对应的人脸身份信息。

5.根据权利要求1所述的一种人脸身份和表情的同步识别方法，其特征在于，运用核主成分分析法时，由选定的核函数决定映射关系Φ(x_i)；将表示对N个训练样本所提取的N个几何特征矢量x_i ¹及所对应的Gabor特征矢量x_i ²(i＝1，…，N)从输入空间映射到高维的再生核希尔伯特空间F₁和F₂中，即：

Φ₁： $R^{n_1}\→F_1,$ $x_i^1\→{\mathrm{\Φ}}_1\left(x_i^1\right)$

Φ₂： $R^{n_2}\→F_2,$ $x_i^2\→{\mathrm{\Φ}}_2\left(x_i^2\right)$

令K¹和K²分别代表在两个数据集{Φ₁(x_i ¹)}和{Φ₂(x_i ²)}上的Gram阵，寻找两个Gram矩阵的前m_i个最大特征值对应的特征矢量v_i ¹和v_i ²(i＝1，...，m_i)，并分别计算Φ(x_i ¹)-u₁ ^Φ和Φ(x_i ²)-u₂ ^Φ到V₁和V₂上的投影：

$z_i^1=V_1^T(\mathrm{\Φ}\left(x_i^1\right)-u_1^{\mathrm{\Φ}})i=1,...,m_1$

$z_i^2=V_2^T(\mathrm{\Φ}\left(x_i^2\right)-u_2^{\mathrm{\Φ}})i=1,...,m_2$

其中u₁ ^Φ和u₂ ^Φ分别表示{Φ(x_i ¹)，i＝1，…，N}和{Φ(x_i ²)，i＝1，…，N}的均值， $V_1=\left[\begin{array}{cccc}{v}_1^1& v_2^1& ...& v_{m_1}^1\end{array}\right]$ 和 $V_2=\left[\begin{array}{cccc}{v}_1^2& v_2^2& ...& v_{m_2}^2\end{array}\right];$

最后对特征矢量z_i ¹和z_i ²进行规范化处理，即 $\left|\right|z_i^1\left|\right|=1$ 和 $\left|\right|z_i^2\left|\right|=1,$ 并按 $z_i={[{\left(z_i^1\right)}^T,{\left(z_i^2\right)}^T]}^T$ 进行组合，则组合后的特征矢量z_i为进行人脸身份和表情识别用的输入特征矢量。

6.根据权利要求1所述的一种人脸身份和表情的同步识别方法，其特征在于，采用偏最小二乘(PLSR)方法建立的所述的输入特征矢量和相应的输出语义矢量之间的关系表达式为：

$\hat{Y}=Z^{T}U{\left(T^T{\mathrm{ZZ}}^{T}U\right)}^{-1}{T}^{T}Y$

其中Z＝[z₁ z₂…z_N]，Y＝[y₁-y y₂-y… y_N-y]分别表示输入特征矢量和语义矢量，y是y_i(i＝1，…，N)的均值，U和T通过NIPALS-PLS算法求得。

7.根据权利要求5所述的一种人脸身份和表情的同步识别方法，其特征在于，所述的核函数在实际识别中选择的是规范化的单项式核函数，其定义式如下，用该核函数计算KPCA方法中的Gram矩阵，以消除不同度量空间中的特征差异；

$k(x,x^{\′})=\frac{{\left(x^T{x}^{\′}\right)}^d}{\sqrt{{\left(x^{T}x\right)}^d}\sqrt{{\left({\left(x^{\′}\right)}^T{x}^{\′}\right)}^d}}$

其中d是核函数度。

Images