CN105678235A - 基于典型区域多维度特征的三维人脸表情识别方法 - Google Patents

Abstract

本发明提出一种基于典型区域多维度特征的三维人脸表情识别算法，具体包括以下步骤：首先，对三维人脸数据进行预处理操作，获取更规格化的点云数据；接着，进行三维人脸表情典型区域的自动标定，根据鼻尖点位置，完成眼部区域(E区)、鼻子区域(N区)和嘴巴区域(M区)的自动标定；然后，分别提取三个典型区域的三维特征和二维特征，进行高斯归一化，并特征融合；最后，根据各典型区域的融合特征进行SVM训练，实现三维人脸表情识别。本发明不仅能观察出人脸不同区域对于不同表情的贡献程度，而且能有效地识别三维人脸的不同表情。

Description

基于典型区域多维度特征的三维人脸表情识别方法

技术领域

本发明涉及计算机视觉以及模式识别领域，具体来说涉及一种基于典型区域多维度特征的三维人脸表情识别方法。

背景技术

人脸表情识别是计算机视觉以及模式识别领域的热点研究问题，自20世纪80年代以来的三十年间受到了越来越多研究人员的重视。同时作为人工智能以及情感分析的重要分支，人脸表情识别在人机交互、重症病房监护等领域具有很大的研究价值以及应用前景。

早期的人脸表情识别专注于二维图像以及图像序列，也即视频上的算法实现。但是由于二维人脸图像是三维物体的二维平面投影，在投影过程中必然会损失纹理、形状等特征，还会受到姿态、光照等的影响。因此，近些年来，基于三维人脸点云模型的表情识别逐渐成为该领域的研究重点。

三维人脸表情识别通常包括三个主要步骤，分别为人脸图像预处理、表情特征提取和表情分类。基于此，本发明提出一种基于面部表情典型区域混合维度的三维人脸表情识别方法。针对三维人脸不同区域对表情的影响程度，将人脸划分为三个典型区域。刘慧敏等人在《地图上等高线信息度量的层次方法研究》一文中详细介绍了等高线图信息的利用方法。本发明基于等高线图信息度量研究，提出针对三维人脸典型区域等高线图的信息度量方法。全面的利用了人脸等高线图，极大地丰富了三维特征的信息量。然后，将三维人脸典型区域映射到二维平面进行研究。最后，结合典型区域的二维和三维特征实现三维人脸表情识别。

发明内容

本发明针对三维人脸点云数据，提出一种基于面部表情典型区域多维度的三维人脸表情识别方法。

首先，对三维人脸点云数据进行预处理操作，得到规格化的三维人脸点云数据；然后，自动标定三维人脸面部表情典型区域，分别为眼部区域(E区)、两颊区域(N区)和嘴巴区域(M区)。分别提取这三个典型区域的二维和三维特征；最后，根据提取的二维和三维特征进行SVM训练，实现三维人脸表情识别。具体流程如下：

1.人脸数据预处理

根据获取的原始三维人脸点云数据特点，对其进行剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样的一种或几种预处理工作，从而得到规格化后的三维人脸点云数据。

2.三维人脸表情典型区域自动标定

人脸表情通常指高兴、悲伤、愤怒、惊讶、厌恶和恐惧6种。在人脸呈现不同表情时，其眼部、两颊和嘴巴三个区域会呈现不同的特征，且这些不同特征对于不同表情有着良好地描述能力。基于此，本发明就这三个人脸表情典型区域进行自动标定，以进行后续的研究和分析。

三个典型区域的自动标定，首先需要确定人脸的鼻尖点，然后再进一步确定各个区域。具体步骤如下：

(1)鼻尖点的确定

本发明采用BU-3DFE三维人脸数据库，由于此数据库中的三维人脸点云都有严格的坐标限定，即采集实验者人脸点云时人脸与正对的三维数据采集设备平面连线并指向图像采集方向为Z轴正方向，与Z轴垂直平面为X轴、Y轴所在的二维平面，并且符合右手定则，水平方向为X轴，向右为X轴正方向，竖直方向为Y轴，向上为Y轴正方向。故由人脸解剖学可以获取人脸正面最高点，即该点坐标的Z轴坐标值最大点即为大体鼻尖端点。出于准确性考虑，提取Z轴坐标最大点及其邻接各点的三维坐标，取平均以获取更加准确的鼻尖三维坐标。

(2)E区、N区和M区的自动标定

沿下眼睑，两侧外眼角划分区域，这个区域将包括额头和双眼，作为眼睛区域(E区)，以鼻尖点为原点，分别向嘴角的两个边界点做射线，这两条射线之间的区域为嘴巴区域(M区)。其余部分为两颊区域(N区)。具体如图4所示。

3.典型区域三维特征提取

当人脸表情变化时，脸部的高低起伏也随之变化。为了有效地描述这种变化的量化规律，对人脸典型区域作等高线图。对于人脸典型区域的等高线图，本发明首先关注表情变化时整个人脸典型区域等高线图的变化，即人脸等高线图的整体形态特征；随后关注的是人脸局部起伏程度及其变化，即人脸等高线图坡度特征；最后，关注的是表情变化时，等高线图单条等高线走向的曲折变化，即弯曲度特征。用每个典型区域提取到的整体形态特征、坡度特征和弯曲度特征，构成特征矢量，全面地描述三维人脸表情特征。具体提取过程如下：

(1)整体形态特征提取

人脸等高线图会根据人脸表情的不同而呈现出不同的形态。当人脸表情发生变化时，等高线图的等高线数量和不同等高线围成的基本形貌单元面积等都将发生变化。本发明采取这两个指标来描述等高线图的每个区域的整体形态特征。

假设区域内有m条等高线，被划分为T个基本形貌单元，其中，第i个基本形貌单元含有m_i条等高线，平均每个基本形貌单元包含的等高线为对等高线数目进行规范化处理后，即可算得由于等高线的多样性而产生信息量I_GC，具体公式如下：

$I_{GC}\left(m\right)=\underset{i=1}{\overset{T}{\Σ}}log(\frac{m_i}{\stackrel{\‾}{m}}+1)---\left(1\right)$

假设形貌单元的覆盖面积为s_i，整个等高线图的面积为s，即可得形貌覆盖区域面积的信息量I_FG为：

$I_{FG}\left(s\right)=\underset{i=1}{\overset{T}{\Σ}}log(\frac{s_i}{s}+1)---\left(2\right)$

最后，结合这两种特征，即可得到等高线图整体形态上的特征值I_ZT，具体公式如下：

I_ZT＝I_GC(m)+I_FG(s)(3)

(2)坡度特征提取

人脸在呈现不同表情特征时，脸部的高低起伏存在着较大的区别，这将造成人脸等高线图的等高线形态和脸部平均坡度发生变化。基于此，进行坡度信息特征提取的具体过程如下：

对于一个由m_w条等高线组成的形貌T_w，按照一定的方向对每两条相邻等高线围成的区域求取坡度q_j，由于后续信息量度量仅考虑坡度多样性和差异性，即仅与坡度的相对关系有关，而不涉及坡度绝对值，因而可将q_j简化表达为：

q_j＝a_j/l_j,1≤j≤m_w(4)

其中，l_j和a_j分别为第j条与第j+1条等高线围成区域的中轴线长度和区域面积。

对形貌T_w，依次求取各相邻等高线间的坡度，并求取所有坡度的平均值q。代入公式(5)即可得到形貌T_w的坡度差异性信息量。

$I_{PD}\left(T_w\right)=\underset{j=1}{\overset{m_w}{\Σ}}log(q_j/q+1)---\left(5\right)$

由此，综合坡度差异信息量，可得到等高线坡度特征I_PD表达式：

$I_{PD}=\underset{w=1}{\overset{T}{\Σ}}\left(I_{PD}\right(T_w\left)\right)---\left(6\right)$

其中，T表示区域内等高图被分解为基本形貌单元的总数。

(3)弯曲度特征提取

人脸表情的变化会导致人脸等高线图中单条等高线的弯曲度和弯曲面积比发生相应变化。对于一幅人脸等高线图，不妨设有m条等高线，对于其任一条等高线L_u，首先对等高线进行弯曲划分，得到一个弯曲有序集。对该弯曲有序集中的每一个弯曲，采用式(7)和(8)计算弯曲度f_uv和弯曲面积比p_uv。

$f_{uv}=\frac{l_{uv}}{d_{uv}},1\≤v\≤n---\left(7\right)$

$p_{uv}=\frac{s_{uv}}{s_z},1\≤v\≤n---\left(8\right)$

其中，n为曲线的弯曲个数。l_uv是曲线L_u的第v个弯曲的曲线长度，d_uv是第v个弯曲底线宽度。s_uv表示第v个弯曲的曲线长度和底线宽度所围成的面积，即弯曲面积。s_z表示所有弯曲的弯曲面积均值。

从而，单条等高线的弯曲度特征I_WQ(L_u)为：

$I_{WQ}\left(L_u\right)=\underset{v=1}{\overset{n}{\Σ}}({\log }_2{f}_{uv}+{\log }_2(p_{uv}+1\left)\right)---\left(9\right)$

等高线图的弯曲度特征I_WQ为：

$\begin{array}{c}{I}_{WQ}=\underset{u=1}{\overset{m}{\Σ}}{I}_{WQ}\left(L_u\right)\\ =\underset{u=1}{\overset{m}{\Σ}}\underset{v=1}{\overset{n}{\Σ}}({\log }_2{f}_{uv}+{\log }_2(p_{uv}+1\left)\right)\end{array}---\left(10\right)$

其中，f_uv对应于等高线L_u经弯曲划分后的第v个弯曲的弯曲度；p_uv对应于等高线L_u经弯曲划分后的第v个弯曲的弯曲面积比；I_WQ(L_u)对应等高线L_u包含的弯曲度信息量；I_WQ为整个区域内所有等高线包含的弯曲度信息量。

由公式(9)可得所有等高线的弯曲信息序列，求所有等高线的平均弯曲信息，记为I_WP，则可得等高线的形态复杂度I_WX为：

$I_{WX}=\underset{u=1}{\overset{m}{\Σ}}log\left(I_{WQ}\right(L_u)/I_{WP}+1)---\left(11\right)$

则弯曲度信息总量I_WD为：

I_WD＝I_WQ+I_WX(12)

(4)典型区域特征矢量获取

经过上述步骤，可以获取三个典型区域等高线图的整体形态特征、坡度特征和弯曲度特征，但根据人脸等高线的特征，两颊部分，即N区，弯曲度特征变化不明显，因此在N区只选取整体形态特征和坡度特征进行计算。

所以，眼部区域(E区)、两颊区域(N区)和嘴巴区域(M区)的三维特征分别可以表述为：

$I_E=\{I_{ZT}^E,I_{PD}^E,I_{WD}^E\}---\left(13\right)$

$I_N=\{I_{ZT}^N,I_{PD}^N\}---\left(14\right)$

$I_M=\{I_{ZT}^M,I_{PD}^M,I_{WD}^M\}---\left(15\right)$

4.典型区域二维特征提取

虽然三维表情识别的研究是近年来学术界针对表情识别的研究热点，但是由于其巨大的数据量，对计算机处理技能的要求，导致短期内无法实现实时的三维表情识别。为了减轻三维人脸表情识别的计算量，本发明结合由三维人脸映射得到的二维人脸进行特征提取与分析研究。

纹理是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。当人脸表情发生变化时，映射得到的图像中纹理特征也会发生相应变化。本发明采用改进的LBP算法进行纹理特征提取。具体步骤如下：

(1)E区、N区和M区二维图像金字塔

为了更全面的描述二维人脸图像的纹理特征，本发明利用高斯函数对人脸图像典型区域，即E区、N区和M区，进行高斯平滑和降采样，得到典型区域图像的高斯金字塔。且每个区域均构建3层高斯金字塔，大小分别为原始图像的1/2和1/4。

(2)LBP纹理特征提取

针对典型区域高斯金字塔图像，本发明提取每层图像的LBP纹理特征，并进行融合，得到描述能力更强的LBP纹理特征描述符。LBP纹理特征提取算法如下：

假设像素c(灰度值为g_c)拥有P个邻域像素(灰度值为g_e，1≤e≤P)。首先将图像分为若干个细胞。对细胞中的每一个像素，确定其为候选像素，其周围的像素定义为邻域像素。

然后计算候选像素与其各邻域像素灰度值的差值PL_ec。并根据如下公式计算该候选像素的局部二元模式特征值：

$L_{(P,R)}=\underset{e=1}{\overset{P}{\Σ}}s\left({\mathrm{PL}}_{ec}\right)\·2^P---\left(16\right)$

其中， $s\left({\mathrm{PL}}_{ec}\right)=\{\begin{array}{cc}1,& g_e-g_c\&GreaterEqual;0\\ 0,& g_e-g_c<0\end{array}.$ 在此LBP算法中，邻域像素点集是以中心像素点为圆心、半径R的一个环形邻域点集。这样可以有效地提高LBP算子的旋转不变性能。

最后使用统计方法提取图像中所有像素点的局部二元模式特征值，得到LBP纹理直方图，记为LBP_(P,R)。

由于高斯金字塔每层图像是由图像降采样获取，因此，选取每层图像的LBP纹理特征分别为：LBP_(P,R)，LBP_(2P,2R)和LBP_(3P,3R)。结合提取到的3层金字塔的LBP纹理特征，进行如下融合，得到改进的LBP特征描述符LBP_final。

LBP_final＝{LBP_(P,R),LBP_(2P,2R),LBP_(3P,3R)}(17)

所以，E区、N区和M区的LBP纹理特征可以表述为：

${\mathrm{LBP}}_{final}^E=\{{\mathrm{LBP}}_{(P,R)}^E,{\mathrm{LBP}}_{(2P,2R)}^E,{\mathrm{LBP}}_{(3P,3R)}^E\}---\left(18\right)$

${\mathrm{LBP}}_{final}^N=\{{\mathrm{LBP}}_{(P,R)}^N,{\mathrm{LBP}}_{(2P,2R)}^N,{\mathrm{LBP}}_{(3P,3R)}^N\}---\left(19\right)$

${\mathrm{LBP}}_{final}^M=\{{\mathrm{LBP}}_{(P,cR)}^M,{\mathrm{LBP}}_{(2P,2R)}^M,{\mathrm{LBP}}_{(3P,3R)}^M\}---\left(20\right)$

5.SVM训练

根据步骤3和4，分别得到三维人脸典型区域的三维和二维特征，分别为：

根据提取的典型区域三维和二维特征，为了全面地描述三维人脸表情特征，本发明利用高斯归一化对三维和二维特征进行处理，并进行特征融合。假设三维和二维特征归一化之后，可表述为下表所示：

那么，对于归一化后的二维和三维特征融合结果为：

最后根据不同区域的融合特征，分别进行SVM训练，实现不同区域对于三维人脸表情识别的效果。如果某一区域的融合特征能够很好地辨识出某种表情，那么在SVM训练器中，对于这种表情的判断只用针对单一区域的融合特征。如果不行，则继续添加其他区域进行判断。这样即有利于观察不同区域对不同表情的贡献程度，又能很好地减少表情识别的计算量。

有益效果

1.根据三维人脸不同区域对于表情的贡献，本发明提出了三维人脸典型区域的概念，并进行区域自动标定工作。这对于研究三维人脸不同部位对于表情的贡献程度有着重要的参考价值。

2.针对三维人脸表情识别，本发明分别提取了人脸的三维和二维特征。利用典型区域的等高线图分别提取人脸典型区域的整体形态特征、坡度特征和弯曲度特征；利用三维人脸映射到二维的图像，提取其改进的LBP纹理特征。实现了从多维度对三维人脸特征进行描述。

3.根据人脸等高线的特征，本发明对每个区域的划分侧重点各有不同，以便进行不同方式的特征融合。在眼睛区域和嘴巴区域，整体形态特征、坡度特征和弯曲度特征均有显著影响，但在两颊区域，只有整体形态特征和弯曲度特征影响显著，因此在进行特征融合时不选取弯曲度特征，减小了计算量。

4.根据典型区域的融合特征，分别进行SVM训练，并进行实验得到三维人脸表情识别结果。根据不同区域的识别准确率，可以直观地看出不同区域对于人脸表情的影响程度。同时，对于3个典型区域的融合特征分别进行训练，能有效地降低算法复杂度，有效地缓解了三维人脸表情识别计算量大的问题。

附图说明

图1是本发明的整体流程图；

图2是三维人脸的三维特征提取算法流程图；

图3是三维人脸的二维特征提取算法流程图；

图4是三维人脸典型区域划分图；

具体实施方式

图1为本发明的整体流程图，下面为本发明的具体实施步骤：

1.人脸数据预处理

本发明以BU-3DFE三维人脸数据库为基础进行操作。由于三维人脸点云数据通常伴有毛刺、噪声等的干扰，为了获取更规则的三维人脸点云数据，根据实际需要对获得的原始三维人脸点云数据进行剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样的一种或几种预处理工作。

2.三维人脸表情典型区域自动标定

本发明根据三维人脸表情的特点，划分出三个重要的人脸表情相关区域，分别为眼部区域(E区)、两颊区域(N区)和嘴巴区域(M区)。这三个人脸表情典型区域对于不同表情的特点有着重要的描述能力。典型区域的自动标定分为两步：首先确定鼻尖点的位置，然后根据鼻尖点的位置，完成三维人脸典型区域的自动标定。具体实施步骤如下：

(1)鼻尖点的确定

根据BU-3DFE三维人脸数据库的三维人脸点云数据坐标限定，Z轴方向最大值即为鼻尖点位置。为了结果更为精确，选取Z轴最大值周边点，取平均，得到鼻尖点位置。

(2)E区、N区和M区自动标定

沿下眼睑，两侧外眼角划分区域，这个区域将包括额头和双眼，作为眼睛区域(E区)，以鼻尖点为原点，分别向嘴角的两个边界点做射线，这两条射线之间的区域为嘴巴区域(M区)。其余部分为两颊区域(N区)。具体如图4所示。

3.典型区域三维特征提取

三维特征是基于典型区域的等高线图来获取的。首先，将三维人脸放平，分别得到E区、N区和M区的等高线图，根据等高线图提取其整体形态特征、坡度特征和弯曲度特征，具体提取过程如下：

(1)整体形态提取

假设区域内有m条等高线，被划分为T个基本形貌单元，其中，第i个基本形貌单元含有m_i条等高线，平均每个基本形貌单元包含的等高线为对等高线数目进行规范化处理后，即可算得由于高差特征的多样性产生的信息量I_GC，具体公式如下：

$I_{GC}\left(m\right)=\underset{i=1}{\overset{T}{\&Sigma;}}log(\frac{m_i}{\stackrel{\&OverBar;}{m}}+1)---\left(21\right)$

对于形貌单元的覆盖面积特征指标s_i，整个等高线图的面积为s，仿等高线数目特征指标，可得整体层次上形貌单元覆盖区域的差异信息量I_FG为：

$I_{FG}\left(s\right)=\underset{i=1}{\overset{T}{\&Sigma;}}log(\frac{s_i}{s}+1)---\left(22\right)$

最后，结合这两种特征，即可得到等高线图整体形态上的特征值I_ZT，具体公式如下：

I_ZT＝I_GC(m)+I_FG(s)(23)

(2)坡度特征提取

对于一个由m_w条等高线组成的形貌单元T_w，按照一定的方向对每相邻等高线围成的区域求取坡度q_j，由于后续信息量度量仅考虑坡度多样性和差异性，即仅与坡度的相对关系有关，而不涉及坡度绝对值，因而可将q_j简化表达为：

q_j＝a_j/l_j,1≤j≤m_w(24)

其中，l_j和a_j分别为第j条与第j+1条等高线围成区域的中轴线长度和区域面积。

对形貌T_w，依次求取各相邻等高线间的坡度，并求取所有坡度的平均值q。根据以下公式即可得到形貌T_w的坡度差异性信息量。

$I_{PD}\left(T_w\right)=\underset{j=1}{\overset{m_w}{\&Sigma;}}log(q_j/q+1)---\left(25\right)$

由此，综合坡度差异信息量，可得到等高线坡度特征I_PD表达式(26)：

$I_{PD}=\underset{w=1}{\overset{T}{\&Sigma;}}\left(I_{PD}\right(T_w\left)\right)---\left(26\right)$

其中，T表示等高线图被分解为基本形貌单元的总数。

(2)弯曲度特征提取

不妨设一幅等高线图有m条等高线，对于其任一条等高线L_u，首先对等高线进行弯曲划分，得到一个弯曲有序集。对该弯曲有序集中的每一个弯曲，采用式(27)和式(28)计算弯曲度f_uv和弯曲面积比p_uv。

$f_{uv}=\frac{l_{uv}}{d_{uv}},1\&le;v\&le;n---\left(27\right)$

$p_{uv}=\frac{s_{uv}}{s_z},1\&le;v\&le;n---\left(28\right)$

其中，n为曲线的弯曲个数。l_uv是曲线L_u的第v个弯曲的曲线长度，d_uv是第v个弯曲底线宽度。s_uv表示第v个弯曲的曲线长度和底线宽度所围成的面积，即弯曲面积。s_z表示所有弯曲的弯曲面积均值。

从而，单条等高线的弯曲度特征I_WQ(L_u)为：

$I_{WQ}\left(L_u\right)=\underset{v=1}{\overset{n}{\&Sigma;}}({\log }_2{f}_{uv}+{\log }_2(p_{uv}+1\left)\right)---\left(29\right)$

等高线图的弯曲度特征I_WQ为：

$\begin{array}{c}{I}_{WQ}=\underset{u=1}{\overset{m}{\&Sigma;}}{I}_{WQ}\left(L_u\right)\\ =\underset{u=1}{\overset{m}{\&Sigma;}}\underset{v=1}{\overset{n}{\&Sigma;}}({\log }_2{f}_{uv}+{\log }_2(p_{uv}+1\left)\right)\end{array}---\left(30\right)$

其中，f_uv对应于等高线L_u经弯曲划分后的第v个弯曲的弯曲度；p_uv对应于等高线L_u经弯曲划分后的第v个弯曲的弯曲面积比；I_WD(L_u)对应等高线L_u包含的弯曲度信息量；I_WD为整个区域内所有等高线包含的弯曲度信息量。

由公式(29)可得所有等高线的弯曲信息序列，求所有等高线的平均弯曲信息，记为I_WP，则可得等高线的形态复杂度I_WX为：

$I_{WX}\underset{u=1}{\overset{m}{\&Sigma;}}log\left(I_{WQ}\right(L_u)/I_{WP}+1)---\left(31\right)$

则弯曲度信息总量I_WD为：

I_WD＝I_WQ+I_WX(32)

(4)根据步骤(1)(2)(3)，可以获取E区、N区和M区的三维特征分别为：

$I_E=\{I_{ZT}^E,I_{PD}^E,I_{WD}^E\}---\left(33\right)$

$I_N=\{I_{ZT}^N,I_{PD}^N\}---\left(34\right)$

$I_M=\{I_{ZT}^M,I_{PD}^M,I_{WD}^M\}---\left(35\right)$

4.典型区域二维特征提取

为了更好地描述典型区域的纹理特征，本发明提出了一种改进型LBP纹理特征提取算法，具体流程如下：

(1)E区、N区、M区构造3层高斯金字塔

以E区、N区和M区图像作为输入图像，分别构造3层高斯金字塔。第0层为输入图像，第1层和第2层图像大小分别为原区域的1/2和1/4。

(2)纹理特征的提取

提取3个典型区域输入图像的LBP纹理特征，提取步骤如下：

假设像素c(灰度值为g_c)拥有P个邻域像素(灰度值为g_e，1≤e≤P)。首先将图像分为若干个细胞。对细胞中的每一个像素，确定其为候选像素，其周围的像素定义为邻域像素。

然后计算候选像素与其各邻域像素灰度值的差值PL_ec。并根据如下公式计算该候选像素的局部二元模式特征值：

$L_{(P,R)}=\underset{e=1}{\overset{p}{\&Sigma;}}s\left({\mathrm{PL}}_{ec}\right)\&CenterDot;2^P---\left(36\right)$

其中， $s\left({\mathrm{PL}}_{ec}\right)=\{\begin{array}{cc}1,& g_e-g_c\&GreaterEqual;0\\ 0,& g_e-g_c<0\end{array}.$ 在此LBP算法中，邻域像素点集是以中心像素点为圆心、半径为R的一个环形邻域点集。最后使用统计方法提取图像中所有像素点的局部二元模式特征值，得到LBP纹理直方图，记为LBP_(P,R)。本发明选取P＝8和R＝1。

由于高斯金字塔每层图像是由图像降采样获取，因此，选取每层图像的LBP纹理特征为：LBP_(P,R)，LBP_(2P,2R)和LBP_(3P,3R)。结合提取到的3层金字塔的LBP纹理特征，进行如下融合，得到改进的LBP特征描述符LBP_final。

LBP_final＝{LBP_(8,1),LBP_(16,2),LBP_(24,3)}(37)

所以，E区、N区和M区的LBP纹理特征可以表述为：

${\mathrm{LBP}}_{final}^E=\{{\mathrm{LBP}}_{(8,1)}^E,{\mathrm{LBP}}_{(16,2)}^E,{\mathrm{LBP}}_{(24,3)}^E\}---\left(38\right)$

${\mathrm{LBP}}_{final}^N=\{{\mathrm{LBP}}_{(8,1)}^N,{\mathrm{LBP}}_{(16,2)}^N,{\mathrm{LBP}}_{(24,3)}^N\}---\left(39\right)$

${\mathrm{LBP}}_{final}^M=\{{\mathrm{LBP}}_{(8,1)}^M,{\mathrm{LBP}}_{(16,2)}^M,{\mathrm{LBP}}_{(24,3)}^M\}---\left(40\right)$

5.SVM训练

根据步骤3和4，分别得到三维人脸典型区域的三维特征和二维特征，为了更好地观察特征对于三维人脸的贡献程度，将它们进行高斯归一化，并进行特征融合。具体实施步骤如下：

对获取的三维人脸典型区域的三维和二维特征进行高斯归一化，得到如下结果：

将每个典型区域的三维特征和二维特征进行如下方式融合：

最后，选取BU-3DFE数据库中60个人的三维人脸数据进行训练和实验。每人24个三维表情，共1440个表情，这60个人被分成10组，利用SVM进行训练，9组拿来训练，1组验证训练效果。结果计入下表，观察训练后三维人脸表情识别效果。(单位：％)

从上述训练后的识别结果可以得知，眼睛区域(E区)对于愤怒表情的影响最大，识别准确率为76.12％，远远超过了对于其他表情的识别准确率；而两颊区域(N区)对于高兴、悲伤、愤怒和恐惧表情的识别影响程度相当，无明显的甄别能力；利用嘴巴区域(M区)的融合特征进行训练后，对于悲伤表情的识别准确率为75.32％，M区对于悲伤表情有着很好的识别效果。

通过上述实验，我们可以发现愤怒表情可以仅由E区特征进行识别，悲伤表情仅由M区特征进行识别，无需利用三个区域共同进行识别，可以有效地降低算法复杂度，同时，可以有效地观察出不同区域对不同表情的贡献程度。

最后，利用三个区域融合特征进行上述实验，得到本算法最后的识别平均准确度为71.13％。结果证明了本算法有着较好的表情识别准确率。

Claims (8)

1.一种基于典型区域多维度特征的三维人脸表情识别算法，其特征包括以下步骤：

(1)对三维人脸数据预处理以获取更规格化的三维人脸点云数据，根据实际需要预处理操作包括剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样；

(2)实现三维人脸表情典型区域的自动标定，典型区域包括眼部区域(E区)、两颊区域(N区)和嘴巴区域(M区)；

(3)获取典型区域的等高线图，根据等高线图，分别提取典型区域的整体形态特征、坡度特征和弯曲度特征，并进行特征融合，得到典型区域三维特征；

(4)将三维人脸典型区域映射到二维平面，分别对典型区域二维图像构造3层高斯金字塔，提取金字塔每层的LBP纹理特征，综合3层LBP特征，得到典型区域的二维纹理特征；

(5)对典型区域的三维特征和二维特征分别进行高斯归一化和特征融合，针对典型区域融合特征进行SVM训练，实现三维人脸表情识别。

2.根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征在于：所述步骤(1)中，根据实际需求，对三维人脸点云数据进行剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样的一种或几种预处理操作。

3.根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征在于：所述步骤(2)中，根据选取的BU-3DFE三维人脸数据库的特点，得到人脸鼻尖点位置；并根据鼻尖点位置，进行E区、N区和M区的自动标定。

4.根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征在于：所述步骤(3)中，典型区域等高线图的整体特征I_ZT提取公式：

假设等高线图有m条等高线，被划分为T个基本地貌单元，其中，第T_i个基本地貌单元含有m_i条等高线，平均每个基本地貌单元包含的等高线为地貌单元的覆盖面积特征指标s_i，等高线图总面积为s；

$\begin{array}{c}{I}_{ZT}=I_{GC}\left(m\right)+I_{FG}\left(s\right)\\ =\underset{i=1}{\overset{T}{\&Sigma;}}\log (\frac{m_i}{\stackrel{\&OverBar;}{m}}+1)+\underset{i=1}{\overset{T}{\&Sigma;}}\log (\frac{s_i}{s}+1)\end{array}---\left(1\right)$

其中，I_GC和I_FG分别表示等高线图高差特征的多样性产生的信息量和地貌单元覆盖区域的差异信息量。

5.根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征在于：所述步骤(3)中，典型区域等高线图的邻域特征I_PD提取公式：

假设形貌T_w有m_w条等高线，每两条相邻等高线围成的区域求取坡度q_j，具体表述为：

q_j＝a_j/l_j,1≤j≤m_w(2)

其中，l_j和a_j分别为第j条与第j+1条等高线围成区域的中轴线长度和区域面积；

对形貌T_w，依次求取各相邻等高线间的坡度，并求取所有坡度的平均值q；形貌T_w的坡度差异性信息量I_PD(T_w)为：

$I_{PD}\left(T_w\right)=\underset{j=1}{\overset{m_w}{\&Sigma;}}log(q_j/q+1)---\left(3\right).$

6.根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征在于：所述步骤(3)中，典型区域等高线图的元素特征I_WQ提取公式：

$\begin{array}{c}{I}_{WQ}=\underset{u=1}{\overset{m}{\&Sigma;}}{I}_{WQ}\left(L_u\right)\\ =\underset{u=1}{\overset{m}{\&Sigma;}}\underset{v=1}{\overset{n}{\&Sigma;}}({\log }_2{f}_{uv}+{\log }_2(p_{uv}+1\left)\right)\end{array}---\left(4\right)$

其中，n为曲线的弯曲个数,m表示等高线图有m条等高线，f_uv对应于等高线L_u经弯曲划分后的第v个弯曲的弯曲度；p_uv对应于等高线L_u经弯曲划分后的第v个弯曲的弯曲面积比；I_WQ(L_u)对应等高线L_u包含的弯曲度信息量；I_WQ为整个区域内所有等高线包含的弯曲度信息量；

等高线的形态复杂度I_WX为：

$I_{WX}=\underset{u=1}{\overset{m}{\&Sigma;}}log\left(I_{WQ}\right(L_u)/I_{WP}+1)---\left(5\right)$

则弯曲度信息总量I_WD为：

I_WD＝I_WQ+I_WX(6)。

7.根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征在于：所述步骤(4)中，典型区域二维特征提取过程：首先构造典型区域3层高斯金字塔，并分别提取高斯金字塔每层的LBP纹理特征，结合各层纹理特征，得到典型区域纹理特征公式如下：

${\mathrm{LBP}}_{final}^E=\{{\mathrm{LBP}}_{(8,1)}^E,{\mathrm{LBP}}_{(16,2)}^E,{\mathrm{LBP}}_{(24,3)}^E\}---\left(7\right)$

${\mathrm{LBP}}_{final}^N=\{{\mathrm{LBP}}_{(8,1)}^N,{\mathrm{LBP}}_{(16,2)}^N,{\mathrm{LBP}}_{(24,3)}^N\}---\left(8\right)$

${\mathrm{LBP}}_{final}^M=\{{\mathrm{LBP}}_{(8,1)}^M,{\mathrm{LBP}}_{(16,2)}^M,{\mathrm{LBP}}_{(24,3)}^M\}---\left(9\right)$

其中，和分别表示最终提取的E区、N区和M区改进的纹理特征；和分别表示E区半径为1、2、3，邻域像素为8、16、24的LBP纹理特征；N区和M区的纹理特征与E区相同。

8.根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征在于：所述步骤(5)中，对典型区域三为特征和二维特征进行高斯归一化并融合，根据典型区域融合特征进行SVM训练，实现三维人脸表情识别。