CN101004791A - 一种基于二维偏最小二乘法的面部表情识别方法 - Google Patents

Abstract

本发明涉及一种基于二维偏最小二乘法的图像局部特征提取方法。本发明是将训练样本图分为七种表情，并分成大小相等的若干个子块，利用LBP算子提取每个子块的纹理特征，并构成局部纹理特征矩阵，采用自适应加权机制，对表情识别的差别赋予不同权值，使用二维偏最小二乘法对局部纹理特征矩阵进行统计特征提取，形成七种表情模板数据，完成训练过程，最接近者便是该幅输入图像的表情归属。解决了现有的面部表情识别方法所造成的破坏原始结构信息、粗糙、正确率低及耗时太长，无法实际应用等缺陷。本发明将传统偏最小二乘法为二维偏最小二乘法与局部二元模式算子结合并利用自适应加权方法所得到的图象具有客观、精确、节省时间。

Description

一种基于二维偏最小二乘法的面部表情识别方法

技术领域

本发明涉及一种面部表情识别方法，特别涉及一种基于二维偏最小二乘法的图像局部特征提取方法。

背景技术

局部二元模式(Local Binary Pattern，LBP)算子是一个固定大小为3×3的矩形块，共对应于9个灰度值。将四周的8个灰度值与中心灰度值相比较，大于等于中心灰度值的子块由1表示，反之则由0表示，根据顺时针方向读出的8个二进制值作为该3×3矩形块的特征值，最终的编码值就是这个点上的LBP值。该算子可以对灰度图像中局部邻近区域的纹理信息进行度量和提取。因此，LBP算子已经广泛的应用于纹理分类、图像检索、人脸图像分析等领域。

传统的基于LBP算子的面部表情识别方法大致可以分为两种。一是将样本图像进行划分成若干子块，利用LBP算子对每个子块进行纹理特征提取，然后将一副图像中所有子块的LBP特征串联起来作为这副样本图像的特征数据。最后，利用简单的最近邻分类器获得分类结果。这种方法虽然具有特征提取速度快，计算复杂度低的优点。但是它的缺陷也是明显的，首先将每个子块的LBP特征直接串联起来来表征样本图像破坏了每个子块在原始图像中的结构信息；其次在LBP算子提取完图像的纹理特征后，只是采用最近邻分类器来进行分类使得分类结果过于粗糙，很难取得令人满意的识别正确率。二是使用可变大小的子块，并结合AdaBoost等学习算法，在该类方法的训练过程中，AdaBoost算法会自动选取对于面部表情识别最关键的若干子块，并组成最终的强分类器完成分类功能。该方法由于采用了精致强大(State-of-the-art)的分类算法，可以取得很高的识别正确率。但是该类算法最突出的问题在于AdaBoost算法训练极其耗时，训练一个健壮的分类器至少需要几天，甚至几周的时间，这就严重制约了该类方法的广泛应用。

发明内容

本发明就在于克服上述缺陷，研制、开发一种基于二维偏最小二乘法的面部表情识别方法。

本发明的技术方案是：

一种基于二维偏最小二乘法的面部表情识别方法，其主要技术步骤如下：

(1)将训练样本图像集按照七种表情分为七类，即愤怒、厌恶、恐惧、高兴、中性、悲伤和惊讶；

(2)将样本图像划分成大小相等的若干个子块；

(3)利用LBP算子提取每个子块的纹理特征；

(4)将每幅样本图像所提取的LBP纹理特征构成一个局部纹理特征矩阵；

(5)采用自适应加权机制，即对m个子块赋予合理的权值，对训练样本中所有中性表情图像求出中性平均脸，并提取该中性平均脸的局部纹理特征矩阵A＝[a₁，…，a_m]，对于所有有表情图像则分别求出对应的局部纹理特征矩阵 $H_i=[h_1^i,\·\·\·,h_m^i],$ 然后利用卡方距离计算出所有有表情图像与中性平均脸图像在某个子块上的LBP直方图差异，所得差异的和作为该子块的自适应权重，如下所示：

$e_j=\underset{i}{\mathrm{\Σ}}{x}^2(a_j,h_j^i),(j=1,\·\·\·,m)---\left(1\right)$

并根据每个子块对面部表情识别重要性的差别分别赋予不同的权值；

(6)使用二维偏最小二乘法对所有样本图像得到的局部纹理特征矩阵进行统计特征提取，形成七种表情对应的模板数据，完成训练过程；

(7)当新图像输入时，按照(2)至(6)步骤完成新图像的纹理、统计特征的提取，然后与步骤(6)形成的七种表情的模板数据进行度量，最接近者便是该幅输入图像的表情归属。

本发明的优点和效果在于应用传统偏最小二乘法为二维偏最小二乘法(Two-dimensional Partial Least Square，以下简称2DPLS)，并利用其与局部二元模式算子结合进行表情局部特征提取，并提出了一种改进的图像局部特征提取方法。

具体如下：

一.本发明将人脸图像划分为若干子块，利用LBP算子提取子块中的纹理特征，并将每幅图像中所有子块获得的纹理特征组合成一个局部纹理特征矩阵用以表征该幅人脸图像。这种构造方法不仅可以有效地提取人脸图像的局部纹理特征，还能保持各个局部在整体中的空间信息，同时根据有表情图像与中性脸图像中相应子块所求得的LBP特征的差异设计了一种自适应加权机制，使得每个子块所获得的权重较预先人工设定的更为客观和精确。

二.本发明采用了更为精确但计算简便的降维方法对局部纹理特征矩阵进行判别信息提取。由于人脸图像被转化为局部纹理特征矩阵，通过将传统PLS方法推广为2DPLS，就可以对矩阵形式的样本进行处理。在2DPLS方法中，对类成员关系矩阵的构造进行了相应的修改，将传统方法中代表一个样本的标量扩展为一个对角矩阵使其适应样本的矩阵形式，并且利用自适应加权方法得到的权值来体现不同子块中所含信息重要性的差异。同时，对于类成员关系的奇异问题，还推导出了其协方差矩阵广义逆的解析解。

三.本发明在训练耗时方面明显优于传统第二类LBP方法。当训练样本集为70幅图像时，其完成训练过程只需4秒，而基于传统第二类LBP方法则需要若干个小时，并且两者的识别正确率的相差不大。

附图说明

图1——本发明中基本的LBP算子图。

图2——本发明中尺度为(8，2)和(16，2)的扩展LBP算子图。

图3——本发明中基于2DPLS的局部图像特征提取方法示意图。

图4——本发明中不同子块划分条件下获得的表情识别率图。

图5——与人相关实验获得的表情识别正确率图。

图6——与人无关实验获得的表情识别正确率图。

具体实施方式

一、首先建立二维偏最小二乘法

1.1偏最小二乘法(Partial Least Square，PLS)

设有两组均值为零的随机变量{r₁，r₂，…，r_n，…}，r_i∈R^p，{s₁，s₂，…，s_n，…}，sⁱ∈R^q，PLS方法的目标就是要找到一对投影方向(权向量)α与β，使投影 $\tilde{r}={\mathrm{\α}}^{T}r,\tilde{s}={\mathrm{\β}}^{T}s$ 满足：

1)

和

尽可能多地包含各自变量的变异信息，即 $\mathrm{Var}\left(\tilde{r}\right)\→\max ,$ $\mathrm{Var}\left(\tilde{s}\right)\→\max .$

2)

和

之间的相关程度达到最大，即 $\mathrm{\ρ}(\tilde{r},\tilde{s})\→\max .$

综合以上两点约束条件1)、2)即可得出，PLS方法是按照最大化

和

的协方差来求得最佳投影方向的，即：

$\arg \underset{{\mathrm{\α}}^T\mathrm{\α}=1,{\mathrm{\β}}^T\mathrm{\β}=1}{\max }\left\{\mathrm{var}\left({\mathrm{\α}}^{T}r\right)\mathrm{\ρ}{({\mathrm{\α}}^{T}r,{\mathrm{\β}}^{T}s)}^2\mathrm{var}\left({\mathrm{\β}}^{T}s\right)\right\}=\arg \underset{{\mathrm{\α}}^T\mathrm{\α}=1,{\mathrm{\β}}^T\mathrm{\β}=1}{\max }\left\{{\left[\mathrm{cov}({\mathrm{\α}}^{T}r,{\mathrm{\β}}^{T}s)\right]}^2\right\}---\left(2\right)$

从上述关于PLS的建模过程可以看出，约束条件1)、2)分别体现了主成分分析(PCA)和典型相关分析(CCA)的思想，因此PLS方法可以看作是分别在r和s空间中进行PCA之后的CCA方法。考虑到在解决模式分类问题中，s是人为构造的类成员关系变量，式(2)相应地修改为：

$\arg \underset{{\mathrm{\α}}^T\mathrm{\α}=1,{\mathrm{\β}}^T\mathrm{\β}=1}{\max }\left\{\frac{{\left[\mathrm{cov}({\mathrm{\α}}^{T}r,{\mathrm{\β}}^{T}s)\right]}^2}{\mathrm{var}\left({\mathrm{\β}}^{T}s\right)}\right\}---\left(3\right)$

上式是一个有约束的极值问题，可以由拉格朗日乘子法进行求解。经过计算我们可以得到以下特征方程组：

$\left\{\begin{array}{c}{\mathrm{\Σ}}_{\mathrm{rs}}{\mathrm{\Σ}}_{\mathrm{ss}}^{-1}{\mathrm{\Σ}}_{\mathrm{sr}}\mathrm{\α}=\mathrm{\λ\α}\\ {\mathrm{\Σ}}_{\mathrm{sr}}{\mathrm{\Σ}}_{\mathrm{rr}}^{-1}{\mathrm{\Σ}}_{\mathrm{rs}}\mathrm{\β}=\mathrm{\λ\β}\end{array}\right.---\left(4\right)$

其中，∑_rr，∑_ss，∑_rs＝∑_sr ^T分别是随机变量r，s的自协方差矩阵和互协方差矩阵。显然，我们可以通过求解特征方程组(4)来获得满足约束1和2的投影方向。此外，必须注意的是通过式(4)我们可以分别求得α与β，但是对于模式识别问题，只有α是有意义的。

1.2二维偏最小二乘法(Two-dimensional PLS，2DPLS)

二维最小二乘法(Two-dimensional PLS，2DPLS)与传统PLS方法的最大区别在于使用矩阵形式来表征样本图像。设 $X=[x_{11,}{x}_{12},\·\·\·x_{{1n}_1,}{x}_{21},x_{22},\·\·\·,x_{2n_2,}\·\·\·x_{C{n}_c}]$ 为样本数据，其中x_ij，(i＝1，…，C；j＝1，…，n_i)是大小为h×l的矩阵，n_i，(i＝1，…，C)是第i类内的样本数量，则样本集中共有N＝n₁+n₂…+n_C个样本图像。因此，样本的均值为 $\stackrel{\‾}{X}(1/N){\mathrm{\Σ}}_{i=1}^C{\mathrm{\Σ}}_{j=1}^{n_i}{x}_{\mathrm{ij}}$ 。对于模式分类问题，样本数据集可以作为一组2DPLS方法中的随机变量，称为样本数据矩阵，而另一组随机变量则需要人为构造。

接下来利用样本图像所属类别的信息来构造另一组随机变量，称为类成员关系矩阵。在传统CCA方法中，类成员关系矩阵通常有如下两种等价的构造方法：

其中1_ni是元素全为1的n_i×1列向量，表示第i类中包含n_i个样本。0_ni是元素全为0的n_i×1列向量，表示其他各类中并不包含第i类中的样本。换句话说式(5)代表一张类成员关系表，某一样本属于哪一类，则在类成员关系矩阵的相应位置置1，其它的则为0。如此构造的类成员关系矩阵很好的显示了每个样本与各类的归属关系。对于2DCCA方法，因为其使用矩阵而非向量来表征样本图像，因此在式(5)的基础上根据样本数据矩阵X的形式对类成员关系矩阵进行了如下修改：

对于2DPLS方法，因为其使用矩阵而非向量来表征样本数据，因此同样在式(5)的基础上根据样本数据矩阵X的形式对类成员关系矩阵进行了如下修改：

其中，P₁表示属于第i类中的样本。但是每个样本所对应的不是数字1而是一个大小为l×l的单位矩阵I_l。因此，P_i可以由矩阵I表示为：

这样的构造使得类成员关系矩阵不仅能体现出每个样本与各类的从属关系还保留了样本数据的空间信息。为了求得二维意义上类成员关系矩阵的均值，我们将矩阵Y重写为 $Y=[y_{11},\·\·\·,y_{1n_1},\·\·\·,y_{C{n}_C}]$ ，其中y_ij是一个(l×C)×l的矩阵。因此，类成员关系矩阵的均值为 $Y=(1/N){\mathrm{\Σ}}_{i=1}^C{\mathrm{\Σ}}_{j=1}^{n_i}{y}_{\mathrm{ij}}.$

在完成样本数据矩阵X和类成员关系矩阵Y的构造后，可以根据式(6)来求得2DPLS的最佳投影方向w_X和w_Y：

$\arg \max \left\{\frac{{\left[\mathrm{cov}(w_X^{T}X,w_Y^{T}Y)\right]}^2}{\mathrm{var}\left(w_Y^{T}Y\right)}\right\}---\left(8\right)$

同样，式(8)也是一个带约束的极值问题。采用拉格朗日乘子法可以求得如下特征问题方程组：

$\left\{\begin{array}{c}{\mathrm{\Σ}}_{\mathrm{XY}}{\mathrm{\Σ}}_{\mathrm{YY}}^{-1}{\mathrm{\Σ}}_{\mathrm{YX}}{w}_X={\mathrm{\λw}}_X\\ {\mathrm{\Σ}}_{\mathrm{YX}}{\mathrm{\Σ}}_{\mathrm{XX}}^{-1}{\mathrm{\Σ}}_{\mathrm{XY}}{w}_Y={\mathrm{\λw}}_Y\end{array}\right.---\left(9\right)$

其中， ${\mathrm{\Σ}}_{\mathrm{XX}}={\mathrm{\Σ}}_{i=1}^C{\mathrm{\Σ}}_{j=1}^{n_i}(x_{\mathrm{ij}}-\stackrel{\‾}{X}){(x_{\mathrm{ij}}-\stackrel{\‾}{X})}^T$ 和 ${\mathrm{\Σ}}_{\mathrm{YY}}={\mathrm{\Σ}}_{i=1}^C{\mathrm{\Σ}}_{j=1}^{n_i}(y_{\mathrm{ij}}-\stackrel{\‾}{Y}){(y_{\mathrm{ij}}-\stackrel{\‾}{Y})}^T$ 是样本数据矩阵X和类成员关系矩阵Y的自协方差矩阵， ${\mathrm{\Σ}}_{\mathrm{XY}}={\mathrm{\Σ}}_{\mathrm{YX}}^T={\mathrm{\Σ}}_{i=1}^C{\mathrm{\Σ}}_{j=1}^{n_i}(x_{\mathrm{ij}}-\stackrel{\‾}{X}){(y_{\mathrm{ij}}-\stackrel{\‾}{Y})}^T$ 则是两个矩阵的互协方差矩阵。

从以上推导可以看出，在2DPLS方法中仍然要面对类成员关系矩阵Y及其自协方差矩阵∑_YY不满秩的问题，因此需要求解矩阵∑_YY的广义逆。同样，根据由于矩阵Y和矩阵∑_YY的矩阵形式的特殊性，求得矩阵∑_YY的广义逆∑_YY ^g为：

${\mathrm{\Σ}}_{\mathrm{YY}}^g={\left[\begin{array}{cc}{\mathrm{\Σ}}_{\mathrm{ZZ}}^g& 0_{\{h\×(C-1)\}\×h}\\ 0_{h\×\{h\×(C-1)\}}& 0_{h\×h}\end{array}\right]}_{(l\×C)\×(l\×C)}---\left(10\right)$

其中， ${\mathrm{\Σ}}_{\mathrm{ZZ}}^g=((1/n_C)R_{C-1}{R}_{C-1}^T+M^g)$ 为式(10)中矩阵z的自协方差矩阵的广义逆。

二、样本图像中子块个数的选择

人脸图像上划分子块个数直接决定了LBP算子提取局部纹理特征的范围，子块个数的选择是一个局部和整体相结合的折中问题。该实验利用对人脸图像不同大小的划分经验的决定子块个数的选择。考虑到局部特征的有效体现和算法上的可行性，将人脸图像分别等分为16，36，64，144，200个子块，即每块大小分别为30×30，20×20，15×15，10×10，6×6。训练集则是从每个人的不同表情中各随机选取1幅图像，共70幅图像组成，剩余的作为测试集。按照以上策略进行5次实验得到的平均表情识别正确率如图4所示。从表可以看出，当子块个数为64，即每个子块大小为15×15时，所获得的识别正确率最高。该结果证明了子块个数的选择需要综合考虑局部和整体的关系，如果子块过大，则失去了局部性意义，而子块太小，则不能保证足够的统计意义。因此，在以下实验中，选择大小为15×15的子块对图像进行等分。

三、局部二元模式算子(Local Binary Pattern，LBP)

LBP算子是一个固定大小为3×3的矩形块，共对应于9个灰度值；将四周的8个灰度值与中心灰度值相比较，大于等于中心灰度值的子块由1表示，反之则由0表示，根据顺时针方向读出的8个二进制值作为该3×3矩形块的特征值，最终的编码值就是这个点上的LBP值，如图1所示。数学描述为：定义T＝t(g_c，g₀…g_p-1)表示要处理的纹理窗口，其中g_c表示窗口的中心点，g₀…g_p-1表示中心点周围的p-1个点。在减去中心点的灰度值后得到的纹理图像为T＝t(g_c，g₀-g_c，…，g_p-1-g_c)，如果认为中心点的灰度和周围点的灰度是独立的，那么上述的纹理图像单元可以写成T≈t(g₀-g_c，…g_p-1-g_c)，进而又可以写成T＝t(s(g₀-g_c)，s(g₁-g_c)，…，s(g_p-1-g_c))，其中x＞0时，s(x)＝1；x≤0时，s(x)＝0，最后通过给每一项分配一个二进制2^p的因子，得到最终的这个窗口的LBP的数值LBP_P.R＝∑^Ps(g_c-g_p)2^p，其中，P，R分类表示点数和半径的大小

为了改善最初的LBP算子存在的无法提取大尺度结构的纹理特征的局限，使用不同数量的邻近子块以及不同尺寸的矩形块为LBP算子的一种主要扩展。图2是两个扩展的LBP算子的例子，其中(P，R)表示在半径为R的圆周上存在P个抽样点。不同大小的窗口、不同个数的点数提取不同特征描述的局部纹理的能力也不一样，描述局部纹理的内容也不一样。

此外，当邻近子块数量和半径尺寸很大时，提取出的特征中有大部分对纹理的描述很有限。因此，Ojala提出了另一种对LBP算子的扩展称为“均匀模式(Uniform Pattern)”。这个时候每个窗口的LBP的数值不是绝对的二进制码的最终结果，而是计算每个窗口中二进制码中码元的变化情况，不同的变化情况代表了不同的局部特征，例如00000000有零个码元变化，00011110有两个码元变化。具体的数学描述为：

${\mathrm{LBP}}_{P,R}^{\mathrm{riu}2}=\left\{\begin{array}{cc}{\mathrm{\Σ}}_{p=0}^{p=1}s(g_p-g_c)\mathrm{if}& U(\mathrm{LB}{P}_{P,R}\≤2)\\ P+1& \mathrm{otherwise}\end{array}\right.---\left(11\right)$

其中

$U\left({\mathrm{LBP}}_{P,R}\right)=|s(g_{P-1}-g_c)-s(g_0-g_c)|+{\mathrm{\Σ}}_{p=1}^{p-1}|s(g_{p-1}-g_c)-s(g_0-g_c)|---\left(12\right)$

上标riu2是一个采用“均匀模式”的标记。Timo Ahonen经过研究表明，在LBP的59个“统一编码”中，在FERET库上经常出现的概率是79.3％。实验结果证明，均匀模式可以有效的描述出图像中大部分的纹理特征，并大大减小特征的数量。

对于面部性别分析这一类模式分类问题，需要对测试数据与训练数据之间的差异进行度量以确定测试数据的类别归属。由于LBP特征以直方图形式表征，通常使用最近邻分类器来完成以上功能。本发明使用卡方统计法(χ²)来度量LBP直方图的差异，如下：

这里是本发明的具体实施方式，即如何一步步完成的，因此内容都基本确定的，而不是不确定的。如果说可能这样，可能那样，可能就有不确定的嫌疑(下面的内容好象应当放在背景技术里去描述的)。

${\mathrm{\χ}}^2(S,M)=\underset{i}{\mathrm{\Σ}}\frac{{(S_i-M_i)}^2}{S_i+M_i}---\left(13\right)$

其中S和M分别表示两个LBP直方图。

四、建立与样本图像相对应的局部纹理特征矩阵

将样本图像等分为m个子块，使用LBP算子提取子块中的LBP直方图hi∈R^k，并将一副样本图像的m个LBP直方图组成k×m维的局部纹理特征矩阵，如图3所示。如上构造不仅可以有效的提取人脸图像的局部纹理特征，还可以保持局部特征在图像中的空间信息。

五、自适应加权机制与统计特征提取

此外，图像中m个子块中包含的特征信息对于表情分类的重要性显然是不同的，因此我们设计了一种自适应加权机制对m个子块赋予合理的权值。首先对训练样本中所有中性表情图像求出中性平均脸，并提取该中性平均脸的局部纹理特征矩阵A＝[a₁，…，a_m]，对于所有有表情图像则分别求出对应的局部纹理特征矩阵 $H_i=[h_1^i,\·\·\·,h_m^i]$ 。然后利用卡方距离计算出所有有表情图像与中性平均脸图像在某个子块上的LBP直方图(即是相应局部纹理特征矩阵的某一列)差异，所得差异的和作为该子块的自适应权重。如下所示：

$e_j=\underset{i}{\mathrm{\Σ}}{x}^2(a_j,h_j^i),(j=1,\·\·\·,m)---\left(1\right)$

我们使用2DPLS方法对以局部纹理特征矩阵形式表征的样本图像进行降维。在构造类成员关系矩阵时，将由式(1)求得的自适应权重替换式(6)中单位矩阵的对角线元素以体现不同子块对于表情识别的不同重要性。根据特征方程组(9)，我们便可求得特征矩阵w_x。从该矩阵中选取最大的若干个特征值对应的特征向量构造投影矩阵W用于降维处理。

六、对输入图像表情归属的判定

假设输入一个大小为h×l的局部纹理特征矩阵H，可以通过以下等式得到降维后的矩阵

为：

$\tilde{H}$ ${=W}^{T}H$ $\left(14\right)$

其中，如果从矩阵w_x中选取了d个向量，则投影矩阵W和矩阵

的大小分别是l×d和d×l。在判别时，利用卡方距离度量矩阵

和降维后训练样本间的距离，根据最近邻原则确定输入图像的表情。

七、实验结果及分析

两种实验：与人有关、与人无关。与人有关的实验重点是测试表情本身的可判别性上，因为同一个人的脸型如果精确定位工作做得好的话，剩下的差别主要就是脸上表情的差别。相反，与人无关的实验主要测试的是表情识别问题在标准表情库与非标准表情库上的推广问题。

实验基于日本女性面部表情(JAFFE)数据库。在局部纹理提取时均采用“均匀模式”的LBP(8，1)算子。所有实验均在P4 3.0G CPU，1GB内存的条件下，使用MATLAB 7.0软件平台实现。为了减少图像中人脸位置、人脸大小和光照变化等因素的影响，在实验前，对图像进行了如下预处理：

1.将图像中人脸区域分割提取，并统一大小为120×120。

2.基于双眼和嘴的中心坐标对人脸的位置进行归一化。为了保证准确性，中心坐标皆由手工标定。

3.对图像进行光照补偿和直方图均衡。

7.1与人相关的实验

与人相关实验的目的是测试同一个人不同表情的可判别性。训练集是从每个人的不同表情中各随机选取1幅图像，共70幅图像组成，剩余的作为测试集。并使用本文方法与传统方法进行5次实验，所得平均识别正确率分别为87.86％和78.41％。图5所示为该实验中每类表情获得的识别正确率，可以看出本文方法所获得的识别正确率明显高于传统LBP方法，这种提高源于本文方法采用了2DPLS对局部纹理特征矩阵进行了有利于判别的降维处理，比传统LBP方法中直接利用LBP直方图进行模板匹配能获取更多的表情判别信息。同时由图可以看出愤怒、高兴、惊讶的识别率较为理想，这是由于这几种表情在局部细节上的变化较大，LBP算子易于捕捉其间的纹理差异。而厌恶、恐惧和悲伤的识别率则较低，这是因为这三种表情的面部表现十分相似，甚至人工都容易将其混淆。此外，对于70幅人脸图像构成的训练集本，本文方法完成训练过程只需4秒，由此看出本文方法在大幅提高识别正确率的同时并未明显增加计算开销。

7.2与人无关的实验

与人无关的实验是为了测试本文方法在表情识别方面的泛化能力，与人无关就是测试集中的图像与训练集中的图像来自不同的对象，因此我们随机选择4个人的所有表情图像作为训练样本，剩余的作为测试样本。同样使用本文方法与传统方法进行5次实验，实验结果如图6所示。由图6可以发现：第一，与与人相关的实验相比，识别正确率都有所下降。这说明不同人在面部形状上的差异会对表情识别产生很大影响。第二，在该实验中本文方法所获得的识别正确率仍然全面超过传统LBP方法，进一步证明了采用基于2DPLS的局部特征提取对表情特征提取的有效性和较传统LBP方法的优越性。第三，本实验中又是愤怒、高兴和惊讶三种表情获得了最高的识别正确率，这说明了面部变形越大的表情泛化能力越好。

Claims (4)

1.一种基于二维偏最小二乘法的面部表情识别方法，其步骤如下：

(1)将训练样本图像集按照七种表情分类，即愤怒、厌恶、恐惧、高兴、中性、悲伤和惊讶；

(2)将样本图像划分成大小相等的若干个子块；

(3)利用LBP算子提取每个子块的纹理特征；

(4)将每幅样本图像所提取的LBP纹理特征构成一个局部纹理特征矩阵；

(5)采用自适应加权机制，即对m个子块赋予合理的权值，对训练样本中所有中性表情图像求出中性平均脸，并提取该中性平均脸的局部纹理特征矩阵A＝[a₁，…，a_m]，对于所有有表情图像则分别求出对应的局部纹理特征矩阵 $H_i=[h_1^i,...,h_m^i],$ 然后利用卡方距离计算出所有有表情图像与中性平均脸图像在某个子块上的LBP直方图差异，所得差异的和作为该子块的自适应权重，如下所示：

$e_j=\underset{i}{\mathrm{\Σ}}{x}^2(a_j,h_j^i),(j=1,...,m)---\left(1\right)$

并根据每个子块对面部表情识别重要性的差别分别赋予不同的权值；

(6)使用二维偏最小二乘法对所有样本图像得到的局部纹理特征矩阵进行统计特征提取，形成七种表情对应的模板数据，完成训练过程；

(7)当新图像输入时，按照(2)至(6)步骤完成新图像的纹理、统计特征的提取，然后与步骤(6)形成的七种表情的模板数据进行度量，最接近者便是该幅输入图像的表情归属。

2.根据权利要求l所述的一种基于二维偏最小二乘法的面部表情识别方法，其特征在于步骤(2)中所述样本图像中子块个数的选择，本发明将人脸图像等分为64个子块，即每块大小为15×15。

3.根据权利要求l所述的一种基于二维偏最小二乘法的面部表情识别方法，其特征在于步骤(4)中局部纹理特征矩阵的建立方法为：将样本图像等分为m个子块，使用LBP算子提取子块中的LBP直方图h_i∈R^k，并将一副样本图像的m个LBP直方图组成k×m维的局部纹理特征矩阵。

4.根据权利要求1所述的一种基于二维偏最小二乘法的面部表情识别方法，其特征在于步骤(7)中当输入一个大小为h×l，的局部纹理特征矩阵H，可以通过以下等式得到降维后的矩阵

为：

$\tilde{H}=W^{T}H---\left(14\right)$

在判别时，利用卡方距离度量矩阵 和降维后训练样本间的距离，根据最近邻原则确定输入图像的表情。

Images