CN104978549A - 三维人脸图像特征提取方法和系统 - Google Patents

Abstract

本发明提供了一种三维人脸图像特征提取方法，所述方法包括：人脸区域分割，得到一组人脸区域；将每个人脸区域投射到对应的区域边界球；根据所述区域边界球获取对应的人脸区域的表示，记为所述人脸区域的区域边界球描述子；对每个人脸区域计算所述人脸区域的区域边界球描述子的权重；根据所述人脸区域的表示和对应的所述权重获取三维人脸图像的特征。采用该方法，能够使得提取出的三维人脸图像的特征同时满足于人脸识别和情感分析。此外，还提供了一种三维人脸图像特征提取系统。

Description

三维人脸图像特征提取方法和系统

技术领域

本发明涉及人脸图像处理技术，特别是涉及一种三维人脸图像特征提取方法和系统。

背景技术

人脸识别和情感分析是生物特征识别系统中的两个重要分支，在远程通信、医疗救援和智能监控中具有广泛的应用。传统技术中，三维人脸图像特征提取通常仅仅是单独满足于人脸识别或者情感分析。例如，对于三维人脸识别，传统技术中有将一张人脸分为一组区域，通过单独选配不同的区域，进行结果的融合来提高识别性能，也有使用人脸对称来克服大姿态变换，提出了一种自动界标探测器来估计姿态和检测遮挡区域。但这些方法更多的是关注人脸识别上而不是人脸表情描述上。对于人脸表情的描述，传统技术有使用人脸动作编码系统来作为一个人脸表情表示用于人脸表情分析中，但该方法关心的是人脸表情的描述，不能辨别不同的个体。

然而，越来越多的实践要求不再单独满足于人脸识别或情感分析，而是需要同时区分个体和表情，即要同时满足于人脸识别和情感分析。

发明内容

基于此，有必要针对上述技术问题，提供一种能同时满足人脸识别和情感分析的三维人脸图像特征提取方法和系统。

一种三维人脸图像特征提取方法，所述方法包括：

人脸区域分割，得到一组人脸区域；

将每个人脸区域投射到对应的区域边界球；

根据所述区域边界球获取对应的人脸区域的表示，记为所述人脸区域的区域边界球描述子；

对每个人脸区域计算所述人脸区域的区域边界球描述子的权重；

根据所述人脸区域的表示和对应的所述权重获取三维人脸图像的特征。

一种三维人脸图像特征提取系统，所述系统包括：

区域分割模块，用于进行人脸区域分割，得到一组人脸区域；

投射模块，用于将每个人脸区域投射到对应的区域边界球；

人脸区域表示模块，用于根据所述区域边界球获取对应的人脸区域的表示，记为所述人脸区域的区域边界球描述子；

权重计算模块，用于对每个人脸区域计算所述人脸区域的区域边界球描述子的权重；

特征提取模块，用于根据所述人脸区域的表示和对应的所述权重获取三维人脸图像的特征。

上述三维人脸图像特征提取方法和系统，通过将每个人脸区域投射到对应的区域边界球，根据区域边界球获取对应的人脸区域的表示，记为人脸区域的区域边界球描述子，该区域边界球描述子能有效反映不同人脸区域的表面区域形状特征，并结合每个人脸区域的区域边界球描述子的权重进行特征提取，使得人脸区域的区域边界球描述子能够基于人脸的辨别力和表情的描述力进行加权，从而使得提取的三维人脸图像的特征能够同时满足于人脸识别和情感分析。

附图说明

图1为一个实施例中三维人脸图像特征提取方法的流程示意图；

图2为一个实施例中人脸区域分割示意图；

图3为一个实施例中对原始三维人脸点云数据进行预处理的示意图；

图4为一个实施例中人脸表面的区域边界球表示的示意图；

图5为一个实施例中三维人脸图像特征提取系统的结构框图；

图6为一个实施例中区域分割模块的结构框图；

图7为另一个实施例中三维人脸图像特征提取系统的结构框图；

图8为一个实施例中预处理模块的结构框图；

图9为一个实施例中归一化处理模块的结构框图；

图10为一个实施例中图像对齐模块的结构框图；

图11为一个实施例中权重计算模块的结构框图；

图12为再一个实施例中三维人脸图像特征提取系统的结构框图；

图13为一个实施例中用于三维人脸识别和表情分析的框架图；

图14为在不同测试集中的在FRGC3D人脸数据上的ROC曲线的示意图；

图15为比较十个特征的描述能力的示意图；

图16为比较不同特征下的识别率的示意图；

图17为比较特征6和特征10在不同表情中的识别率的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，在一个实施例中，提供了一种三维人脸图像特征提取方法，该方法包括：

步骤102，人脸区域分割，得到一组人脸区域。

本实施例中，可获取经过了预处理后的三维人脸图像，经过了预处理后的三维人脸图像与参考人脸模型对齐。然后，可利用从参考人脸模型中提取的形状带，来对输入的三维人脸图像进行区域分割。

步骤104，将每个人脸区域投射到对应的区域边界球。

本实施例中，对于三维人脸图像中的每个人脸区域，使用区域边界球描述子作为人脸区域上的点云数据的相对位置的投影，成像为区域边界球，区域边界球的球心则为对应的人脸区域的质心点。也就是，在步骤104中，对每个人脸区域做投影，不同的人脸区域会成像为不同的区域边界球，并且，成像得到的区域边界球的球心为对应的人脸区域的质心点，确定了区域边界球后，则可以使用该区域边界球上的点的值来表示人脸区域。区域边界球描述子（regionalbounding spherical descriptor，简称RBSR）也就是区域边界球上的点的值所构成的、用来表示对应人脸区域的描述因子，意思是采用区域边界球这种表示方式来描述人脸区域。本发明实施例中，采用区域边界球描述子来表示人脸区域。

步骤106，根据区域边界球获取对应的人脸区域的表示，记为人脸区域的区域边界球描述子。

人脸区域可使用人脸区域上的点的值所组成的向量进行表示，也就是人脸区域的区域边界球描述子为人脸区域上的点的值所组成的向量，对人脸区域上的点进行定义即可得到人脸区域的区域边界球描述子。本实施例中，可定义人脸区域上的点的值为人脸区域对应的区域边界球上的点的值，而区域边界球上的点的值为人脸区域上的点与人脸区域的质心点之间的距离和对应的区域边界球的半径的比值。

步骤108，对每个人脸区域计算人脸区域的区域边界球描述子的权重。

由于每个人脸区域的表面特征都不一样，因此需要根据不同的人脸区域对区域边界球描述子进行加权。交互信息可以有效的反映人脸的辨别力和表情描述力，人脸的辨别力可用于区分不同的人脸，即人脸识别，人脸的表情描述力则可用于区分人脸的不同表情，即情感分析。本实施例中，可获取人脸区域的区域边界球描述子与人脸区域之间的交互信息，以及不同人脸区域的区域边界球描述子之间的交互信息，由于这些信息能反映人脸的辨别力和表情描述，因此，结合这些交互信息，并获取预先提供给每个人脸区域的标注信息，能够计算得到人脸区域的区域边界球描述子的权重。

步骤110，根据人脸区域的表示和对应的区域边界球描述子的权重获取三维人脸图像的特征。

三维人脸图像的特征是由所有人脸区域的表示组成的，由于人脸区域可使用区域边界球描述子来表示，且不同的人脸区域的区域边界球描述子具有不同的权重，因此，本实施例中，提取的三维人脸图像的特征可以是所有人脸区域的区域边界球描述子进行加权后的总和。

本实施例中，通过将每个人脸区域投射到对应的区域边界球，根据区域边界球获取对应的人脸区域的表示，记为人脸区域的区域边界球描述子，该区域边界球描述子能有效反映不同人脸区域的表面区域形状特征，并结合每个人脸区域的区域边界球描述子的权重进行特征提取，使得人脸区域的区域边界球描述子能够基于人脸的辨别力和表情的描述力进行加权，从而能够同时满足于人脸识别和情感分析。

在一个实施例中，进行三维人脸区域分割后得到的一组人脸区域包括鼻子、左眼、右眼、左脸颊、右脸颊、前额和嘴巴七个区域。下面详细描述如何分割出这七个区域。

结合图2所示，获取到的三维人脸图像可优选为经过了预处理后的三维人脸图像，预处理可以将原始的三维人脸图像去除掉一些非人脸区域，并将三维人脸图像上的主要器官位置对齐后，将三维人脸图像与参考人脸模型进行对齐。经过了预处理的人脸图像不仅能够提高人脸区域分割的精确度，也能节省计算成本。

具体的，人脸区域分割的过程包括：获取与参考人脸模型对齐后的三维人脸图像；获取从参考人脸模型中提取的不同人脸区域的形状带，从三维人脸图像中分割出鼻子区域、左眼区域、右眼区域、嘴巴区域；以及根据分割出的鼻子区域、左眼区域、眼睛区域和嘴巴区域分割出三维人脸图像中的前额区域、左脸颊区域和右脸颊区域。

进一步的，人脸区域分割的过程包括：

（1）获取与参考人脸模型对齐后的三维人脸图像。

（2）检测出三维人脸图像上的鼻尖点，获取从参考人脸模型中提取的鼻子区域的形状带，根据鼻尖点和提取的鼻子区域的形状带分割出三维人脸图像中的鼻子区域。

本发明实施例中的参考人脸模型，可选取一幅正面无表情变化的三维人脸图像。本实施例中，可首先检测三维人脸图像上的人脸中心侧影线即面部对称轴，然后在该面部对称轴上搜索鼻尖点。由于面部主要器官区域如眼窝、外眼角和鼻尖的几何形状索引特征显示出一定的聚焦性，便于与周围区域分开，可以结合人脸表面形状的先验信息和形状索引值进行面部关键点定位。为了提取面部对称轴，可采用基于表面曲率的形状索引值作为对称描述符，它对旋转和平移具有不变性。对于三维人脸表面上的每个点，给定最大曲率值k₁和最小曲率值k₂，可以计算表面点P_i的形状索引值为：

$\mathrm{SI}\left(p_i\right)=\frac{1}{2}-\frac{1}{\mathrm{\π}}{\mathrm{tg}}^{-1}\frac{k_1\left(p_i\right)+k_2\left(p_i\right)}{k_1\left(p_i\right)-k_2\left(p_i\right)}---\left(1\right)$

左/右外侧鼻基点可使用形状索引值检测到，鼻子边界处马鞍状几何区域具有形状索引值近似0.375的特性，因此可以根据表面点的形状索引值提取出类似马鞍状的鼻子边界线。搜索到鼻尖点后，即可根据从参考人脸模型中提取的鼻子区域的形状带来确定三维人脸图像上的鼻子的边界轮廓，从而分割出三维人脸图像中的鼻子区域。形状带是模型目标对象（即参考人脸模型）在轮廓内的特定带宽数据。采用形状索引值提取鼻子边界线，易于提取较低的鼻子边界轮廓，沿着鼻子边界线最左和最右的鼻子边界点分别作为最左和最右像素。

（3）分别检测出三维人脸图像上的左眼和右眼的内眼角位置，获取从参考人脸模型中提取的眼睛区域的形状带，根据内眼角位置和提取出的眼睛区域的形状带分割出三维人脸图像中的左眼区域和右眼区域。

由于左/右内眼角位置的点位于鼻子以上区域，且具有似圆锥的形状结构，其特点是该位置的高斯曲率值近似为零。可使用一个3*3的搜索窗口在人脸区域上进行搜索，比如，在鼻尖以上区域进行搜索。当搜索到鼻尖以上区域且高斯曲率值近似为零的区域，则为内眼角位置。获取到两个内眼角位置后，则可结合从参考人脸模型中提取的眼睛区域的形状带来确定左眼区域和右眼区域。

（4）获取从参考人脸模型中提取的嘴巴区域的形状带，根据提取的嘴巴区域的形状带分割出三维人脸图像中的嘴巴区域。

如上所述，嘴巴区域的曲率的值也具有一定的特征，由于检测到了鼻尖点，在鼻尖点下方进行搜索，并结合从参考人脸模型中提取的嘴巴区域的形状带，可以粗略的分割出嘴巴区域。

（5）根据左眼区域和右眼区域分割出三维人脸图像中的前额区域。

在左眼区域和右眼区域的上方即为前额区域。

（6）根据左眼区域、右眼区域和嘴巴区域分割出三维人脸图像中的左脸颊区域和右脸颊区域。

由于已经确定了左眼区域、右眼区域和嘴巴区域，左脸颊区域位于左眼区域和嘴巴区域之间，而右脸颊区域位于右眼区域和嘴巴区域之间，因此可以粗略的分割出左脸颊区域和右脸颊区域。

分割出的七个区域的示意图可如图2所示。

进一步的，在一个实施例中，在三维人脸区域分割的步骤之前，还可包括对原始三维人脸图像进行预处理的过程，结合图3所示，预处理过程具体包括：

（1）获取原始三维人脸点云数据，如图3（a）所示。

（2）提取出原始三维人脸点云数据中的主要人脸数据。

所谓点云，是指点数据集合，而三维人脸点云数据则是指采用三维坐标来表示三维人脸的点数据集合。由于原始三维人脸点云数据通常包括一些非人脸区域，比如脖子、肩部等（如图3（a）所示），去除这些非人脸区域，只提取出主要人脸数据，可以提高人脸识别的精度。采用传统的结合3D纹理图像和对应的有效点矩阵可以粗略的提取出主要人脸数据（如图3（b）所示）。

进一步的，如图3（c）所示，参考人脸模型的对称曲线被提取出，根据参考人脸模型的方向，通过旋转和平移主要人脸数据，可以检测出鼻尖点（如图3（d）所示）。所检测出的鼻尖点可用于后续的人脸区域分割。

（3）对主要人脸数据进行归一化处理。

对主要人脸数据进行归一化处理是指将人脸上的主要器官位置对齐，以提高后续人脸识别的准确率。

具体的，在一个实施例中，归一化处理的过程包括：获取参考人脸模型，计算参考人脸模型的水平方向参考长度值和垂直方向参考长度值；计算主要人脸数据的水平方向长度值和垂直方向长度值；计算主要人脸数据与参考人脸模型在水平方向上的长度值的比值和在垂直方向上的长度值的比值；根据该水平方向上的长度值的比值和主要人脸数据的每个水平方向的坐标值实现主要人脸数据在水平方向上的归一化，以及根据垂直方向上的长度值的比值和主要人脸数据的每个垂直方向的坐标值实现主要人脸数据在垂直方向上的归一化。

具体的，在水平方向上，可将上述水平方向上的长度值的比值与主要人脸数据的每个水平方向的x，y坐标值相除；在垂直方向上，可将上述垂直方向上的长度值的比值与主要人脸数据的每个垂直方向的x，y坐标值相除。如，可采用如下公式计算水平方向上的长度值的比值和垂直方向上的长度值的比值：

ratioX=distX/distXone,ratioY=distY/distYone    （2）

其中，distX、distY分别为主要人脸数据在水平方向上和垂直方向上的长度值，distXone、distYone分别为参考人脸模型在水平方向上和垂直方向上的参考长度值。将ratioX与主要人脸数据的每个水平方向的x、y坐标值相除，以及将ratioY与主要人脸数据的每个垂直方向的x、y坐标值相除，则完成了主要人脸数据在水平和垂直方向的归一化处理（如图3（e）所示）。主要人脸数据进行了归一化处理，使得后续的分割区域的过程更加精确，可以有效去除一部分头发遮挡的区域，从而提高了人脸识别的准确率。

（4）将归一化处理后的三维人脸图像与参考人脸模型进行对齐，得到与参考人脸模型对齐的三维人脸图像。

由于输入的三维人脸图像很可能会有一定程度上的姿态变化，因此，需要将三维人脸图像与参考人脸模型进行对齐，实现姿态的精确配准，以提供后续区域分割和人脸识别的准确率。

可以通过两个值来参数化三维人脸图像的旋转，这两个值分别为旋转轴和旋转的角度，通过分别对参考人脸模型和三维人脸图像上的对称侧影线上的点云数据进行拟合，可以分别得到参考人脸模型和三维人脸模型的对称侧影线拟合平面上的法向量，根据这两个法向量得到旋转轴和旋转的角度，然后将这两个值代入旋转公式进行计算，得到与参考人脸模型对齐的配准后的三维人脸图像。

在一个实施例中，将归一化处理后的三维人脸图像与参考人脸模型进行对齐的步骤，包括：对参考人脸模型和归一化处理后的三维人脸图像，分别拟合对称侧影线上的点云数据，得到参考人脸模型的对称侧影线拟合平面上的第一法向量和三维人脸图像的对称侧影线拟合平面上的第二法向量；获取旋转角度值为第一法向量和第二法向量之间的夹角，以及获取旋转轴为第一法向量和第二法向量的叉积；根据归一化处理后的三维人脸图像上的每一个点、旋转角度值和叉积，得到与参考人脸模型对齐的三维人脸图像。

比如，计算得到第一法向量为n_t，第二法向量为n_i，则计算法向量n_t和n_i之间的夹角作为旋转的角度值θ，这两个法向量的叉积为旋转轴ω。进一步的，预设旋转公式如下：

$v_{{\mathrm{rot}}_i}=v_i\cos \mathrm{\θ}+(\mathrm{\ω}\×v_i)\sin \mathrm{\θ}+\mathrm{\ω}(\mathrm{\ω}\·v_i)(1-\cos \mathrm{\θ})---\left(3\right)$

其中，V_i表示归一化处理后的三维人脸图像上的每一个点，根据旋转公式计算得到的点，也就是与参考人脸模型对齐的三维人脸图像上的点。

由于旋转轴和旋转角度的描述适应于处理刚性物体，因此，基于旋转轴和旋转角度的三维人脸对齐的方法来完成输入的三维人脸图像与参考人脸模型在旋转和平移尺度上的配准，具有很好的对齐效果（如图3（f）所示）。

结合图4所示，在对三维人脸图像进行区域分割后，得到7个人脸区域，分别为鼻子、左眼、右眼、左脸颊、右脸颊、前额和嘴巴区域。将这些人脸区域投射到对应的区域边界球，如图4所示，将每个人脸区域做投影，得到每个人脸区域的区域边界球，每个区域边界球具有不同的半径R_bsj。

在一个实施例中，根据区域边界球获取对应的人脸区域的表示的步骤包括：对每个人脸区域，计算人脸区域上的点的值，该人脸区域上的点的值为该点与人脸区域对应的区域边界球的球心之间的距离与该区域边界球的半径的比值；人脸区域的表示为由人脸区域上的点的值组成的向量。

本实施例中，人脸区域的表示记为人脸区域的区域边界球描述子，也就是说采用区域边界球描述子来表示一个人脸区域。区域边界球的球心也就是人脸区域的质心点。

具体的，人脸区域上的点的值定义为：

$\mathrm{RBSR}\left(c_j\right)=\sqrt{{(p_{\mathrm{ix}}-c_{\mathrm{xj}})}^2+{(p_{\mathrm{iy}}-c_{\mathrm{yj}})}^2+{(p_{\mathrm{iz}}-c_{\mathrm{zj}})}^2}/R_{\mathrm{bsj}}---\left(4\right)$

其中，c_j是第j个人脸区域的质心点，p_i是人脸区域上的第i个点的坐标值，p_ix、p_iy和p_iz分别为人脸区域上的点在x轴、y轴和z轴上的坐标值，c_xj、c_yj和c_zj分别为人脸区域的质心点（也就是对应的区域边界球的球心）在x轴、y轴和z轴上的坐标值，R_bsj为第j个人脸区域对应的区域边界球的半径。

则人脸区域的边界球描述子为：

RBSR^j={RBSR^j ₁,...,RBSR^j _N},1≤i≤N

其中，RBSR_j为第j个人脸区域的边界球描述子，N为该人脸区域上的点的数量。

由此可知，每个人脸区域是一个N维的向量，其中N为该人脸区域上的点的数量。由于原始三维人脸点云数据中的点是通过在一个三维空间的坐标值来表示的，这样会使得每个人脸区域的表示具有3*N的向量维度。而采用区域边界球描述子来表示人脸区域，实际上将原始3*N维度的点云数据转换成了N维向量，从而节省了计算成本和存储空间。

进一步的，由于不同人脸区域的表面特征有所不同，为了反映人脸的辨别力和描述力，需要对每个人脸区域的区域边界球描述子进行加权。

在一个实施例中，对每个人脸区域计算人脸区域的区域边界球描述子的权重的步骤包括：计算所有区域边界球描述子的相关性和冗余；获取为人脸区域提供的标注信息和为三维人脸图像提供的标注信息；根据相关性、冗余和标注信息计算每个人脸区域的区域边界球描述子的权重。

进一步的，在一个实施例中，区域边界球描述子的相关性可定义为每个区域边界球描述子与对应的人脸区域之间的所有交互信息的平均值。计算公式如下：

$D(\mathrm{RBSR},r_i)=\frac{1}{\left|\mathrm{RBSR}\right|}\underset{{\mathrm{rbsr}}_i\∈\mathrm{RBSR}}{\mathrm{\Σ}}I({\mathrm{rbsr}}_i;r_i)---\left(5\right)$

其中，r_i表示第i个人脸区域r，rbsr_i表示第i个人脸区域的边界球描述子，RBSR指所有人脸区域的区域边界球描述子，I(rbsr_i;r_i)为第i个人脸区域的区域球描述子与该人脸区域之间的交互信息。

区域边界球描述子的冗余可定义为每个人脸区域的区域边界球描述子与其它人脸区域的区域边界球描述子之间的所有交互信息的平均值的求和。计算公式如下：

$R\left(\mathrm{RBSR}\right)=\frac{1}{{\left|\mathrm{RBSR}\right|}^2}\underset{{\mathrm{rbsr}}_i,{\mathrm{rbsr}}_j\∈\mathrm{RBSR}}{\mathrm{\Σ}}I({\mathrm{rbsr}}_i;{\mathrm{rbsr}}_j)---\left(6\right)$

其中，rbsr_i为第i个人脸区域的区域边界球描述子，rbsr_j为第j个人脸区域的区域边界球描述子，I(rbsr_i;rbsr_j)为第i个人脸区域的区域边界球描述子与第j个人脸区域的区域边界球描述子之间的交互信息。

进一步的，获取每个人脸区域提供的标注信息，该标准信息是每个人脸的类别信息，是每个人脸区域的一种离散化编码表示，是为了建立个人和相应的人脸区域之间的连接而预先为每个人脸区域提供的。本实施例中，可采用如下公式计算每个人脸区域的区域边界球描述子的权重：

$P\left(\mathrm{RBSR}\right|r_i)=\underset{{\mathrm{rbsr}}_i\∈\mathrm{RBSR}}{\mathrm{\Π}}P\left(l_i\right|r_i)\underset{{\mathrm{rbsr}}_j\∈\mathrm{RBSR}}{\mathrm{\Π}}P\left(l_j\right|l_i,r_i)P(D,R|r_i,l_i,j_j)---\left(7\right)$

其中，l_i,l_j∈L是所述为每个人脸区域提供的标注信息；D前述计算得到的相关性；R前述计算得到的冗余；r_i表示第i个人脸区域；rbsr_i表示第i个人脸区域的区域边界球描述子；rbsr_j表示第j个人脸区域的区域边界球描述子；RBSR表示所有人脸区域的区域边界球描述子；P(RBSR|r_i)表示第i个人脸区域的区域边界球描述子的权重。

在另一个实施例中，可采用如下公式计算每个人脸区域的区域边界球描述子的权重：

${\mathrm{\ω}}_{r_i}=\underset{l\∈L}{\mathrm{\Σ}}\log \left(P\left(b_l\right|r_i)\right)---\left(8\right)$

其中，表示第i个人脸区域的区域边界球描述子的权重；log(P(b_l|r_i）是二进制概率， $\log (P\left(b_l\right|r_i)=\underset{{\mathrm{rbsr}}_i\∈\mathrm{RBSR}}{\mathrm{\Σ}}\underset{{\mathrm{rbsr}}_j\∈\mathrm{RBSR}}{\mathrm{\Σ}}\log (P(D,R|r_i,l_i,l_j)),$ 其中：rbsr_i表示第i个人脸区域的区域边界球描述子；rbsr_j表示第j个人脸区域的区域边界球描述子；D前述计算得到的相关性；R为前述计算得到的冗余；l_i,l_j∈L是所述为每个人脸区域提供的标注信息；r_i表示第i个人脸区域；b_l是为三维人脸图像提供的标注信息。

实际上，公式（8）将权重表示为二进制概率，能够降低计算的复杂度。公式（8）可由公式（7）改写得到，为便于理解，下面将阐述该改写过程：

对公式（7），log概率值以避免带数值精度的极小值，因此公式（7）可以表示为：

$\log P\left(\mathrm{RBSR}\right|r_i)=\underset{{\mathrm{rbsr}}_i\∈\mathrm{RBSR}}{\mathrm{\Σ}}\log P\left(l_i\right|r_i)+\underset{{\mathrm{rbsr}}_j\∈\mathrm{RBSR}}{\mathrm{\Σ}}\log P\left(l_i\right|l_i,r_i)+\log P(D,R|r_i,l_i,l_j)---\left(9\right)$

为了降低计算的复杂度，假设P(l_i|r_i)和P(l_j|l_i,r_i)是一样的概率，不均匀标注概率可以通过将个人标注直方图和概率公式中的两两区域描述子向量联系起来计算，则公式（9）改写为：

$\log P\left(\mathrm{RBSR}\right|r_i)=\underset{{\mathrm{rbsr}}_i\∈\mathrm{RBSR}}{\mathrm{\Σ}}\underset{{\mathrm{rbsr}}_j\∈\mathrm{RBSR}}{\mathrm{\Σ}}P(D,R|r_i,l_i,l_j)+C---\left(10\right)$

由于通过常数C近似估计的标注的均匀概率不依赖于人脸区域r_i，因此可以省略说明，公式（10）则可以改写为基于整个人脸的标注的二进制概率如下：

${\mathrm{\ω}}_{r_i}=\log (P\left(\mathrm{RBSR}\right|r_i)=\underset{l\∈L}{\mathrm{\Σ}}\log (P\left(b_l\right|r_i))---\left(11\right)$

得到每个人脸区域的区域边界球描述子的权重后，则可结合区域边界球描述子提取三维人脸图像的特征，提取的三维人脸图像的特征也就是整个三维人脸图像的表示。具体的，根据人脸区域的表示和对应的区域边界球描述子的权重获取三维人脸图像的特征的步骤包括：获取三维人脸图像的特征为每个人脸区域的表示和对应的人脸区域的区域边界球描述子的权重的乘积之和。

优选的，可采用如公式（8）中计算得到的二进制概率作为权重来提取三维人脸图像的特征。则三维人脸图像可表示为：

x_k=ω₁(rbsr₁)+...+ω_i(rbsr_i)+...+ω₇(rbsr₇)    （12）

其中，k表示特定的三维人脸处理，i对应于不同的人脸区域，包括鼻子、左眼、右眼、左脸颊、右脸颊、前额和嘴巴七个区域，范围为1～7。

本实施例中，通过人脸区域的区域边界球描述子表示人脸区域，能有效节省计算成本和存储空间，并且，结合了能够反映人脸的辨别力和表情的描述力的相关性和冗余来计算得到不同人脸区域的区域边界球描述子的权重，在表示三维人脸图像时，结合不同人脸区域的区域边界球描述子和对应的权重得到整个三维人脸图像的表示（特征），由于加权的区域边界球描述子能够很好的反映人脸的辨别力和表情的描述力，因此所提取的三维人脸图像的特征能够同时满足于人脸识别和情感分析。

进一步的，在一个实施例中，在根据人脸区域的表示和对应的区域边界球描述子的权重获取三维人脸图像的特征的步骤还包括：按照如下公式将三维人脸图像的特征嵌入到固有的低维特征向量：

Z=AX    （13）

其中，X为所述三维人脸图像的特征；A为所述固有的低维特征向量组成的回归矩阵。

本实施例中，将阐述如何使用区域和全局回归映射算法（regional and globalregression mapping algorithm，简称RGRM算法）来提取三维人脸图像的特征，以克服从区域分割中剩余的一些伪影，如一些拉伸或错位的图像、头发遮挡、大数据噪声和损坏。

本实施例中，假定是前述实施例所计算得到的整个三维人脸图像的描述子，也就是三维人脸图像的特征。我们需要学习两个回归函数a₁和a₂，以获得相应的低维特征向量z₁和z₂。由于三维人脸数据中多方面的区域的结构是线性的，回归表达式定义为线性回归模型，也就是，Y=W^TX+E，其中，W是局部投影矩阵，E是噪声矩阵。然后将加权的三维人脸图像的描述子映射到希尔伯特空间H和R中，得到：y_i=φ(W)^Tφ(x_i)+e_i，其中，φ(W)是从H到R的区域回归矩阵，e_i∈R^d是噪声项。

因此，目标函数可以同时被改写为学习低维嵌入Y，则映射矩阵为：

$\begin{array}{c}\underset{{\mathrm{\ω}}_i,Y}{\min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}({\left|\right|X_i^T{W}_i+1_j{e}_i^T-Y_i\left|\right|}_F^2+\mathrm{\γ}{\left|\right|{\mathrm{\ω}}_i\left|\right|}_F^2)+\mathrm{\μ}\left({\left|\right|\mathrm{\Φ}{\left(X\right)}^T\mathrm{\Φ}\left(W\right)+1_n{E}^T-Y\left|\right|}_F^2\right)+\mathrm{\γ}{\left|\right|\mathrm{\Φ}\left(W\right)\left|\right|}_F^2\\ s.t.Y^T=I\end{array}$

其中，1_j∈R^j和1_n∈Rⁿ是所有向量中的两个向量。

然后，y可以被计算为：

$y=Y^T{(\mathrm{HKH}+\mathrm{\γI})}^{-1}{\mathrm{HK}}_x+\frac{1}{n}{Y}^T{1}_n-\frac{1}{n}{Y}^T{(\mathrm{HKH}+\mathrm{\γI})}^{-1}{\mathrm{HK}1}_n---\left(14\right)$

其中，表示全局中心矩阵，K_x∈Rⁿ表示具有第i个元素K_xi=φ(x)^Tφ(x_i)=exp(-||x-x_i||²/σ²)的向量，x_i∈X是在训练集中的第i个RBSR描述子（三维人脸图像的特征表示）。为了避免过拟合，执行局部主成分分析（PCA）以降低作为预处理的每个人脸RBSR描述子的维度。

在多任务学习中，给定RBSR描述子的一个延长训练集，通过公式（14）可以计算该RBSR描述子表示用于第k个应用的第i个训练样本的RBSR描述子，表示相应的输出，m_k是人脸点的数量，表示整个图像的相应标注的低维嵌入。因此，回归矩阵A=[a₁,...,a_k]∈R^n×k中的所有人脸区域的回归向量，可以根据以下公式估计出：

通过公式（15）获取人脸识别和表情描述的最大后续估计值：

${\left(A^k\right)}^{*}=\underset{A^k}{\arg \min }P\left(y\right|A^k,{\mathrm{\μ}}_1)P\left(y\right|{\mathrm{\μ}}_2)\underset{j=1}{\overset{N}{\mathrm{\Π}}}P\left({\mathrm{\α}}_j^k\right|{\mathrm{\δ}}_j)\underset{k=1}{\overset{2}{\mathrm{\Π}}}\underset{i=1}{\overset{m_i}{\mathrm{\Π}}}P\left(y_i^k\right|A^k,x_i^k,{\mathrm{\σ}}^k)---\left(15\right)$

其中，μ₁，μ₂是特定应用的参数，假定对第k个应用的相应目标y^k∈R具有带均值y^k∈R和精度σ^k>0的高斯分布：

$p\left(y_i^k\right|A^k,x_i^k,{\mathrm{\σ}}^k)=\sqrt{\frac{{\mathrm{\σ}}^k}{2\mathrm{\π}}}\exp \left(\frac{{-\mathrm{\σ}}^k(y^k-{\left(A^k\right)}^T{x}^k)}{2}\right)---\left(16\right)$

假设根据现有指数p(A^k|δ^k)∞exp(-||A^k||δ^k)生成先验概率p(A^k|δ^k)，成对数据x,y公式（15）中得到，而，A¹，….Aⁿ从公式（16）中得到，则可以获得基于最大概率的分类结果：

$p\left(y\right|A,X,\mathrm{\δ})=\underset{k=1}{\overset{2}{\mathrm{\Π}}}\underset{i=1}{\overset{m^k}{\mathrm{\Π}}}p\left(y_i^k\right|A^k,x_i^k,{\mathrm{\σ}}^k),p\left(A\right|\mathrm{\δ})=\underset{i=1}{\overset{n}{\mathrm{\Π}}}p\left(A^k\right|{\mathrm{\δ}}^k)---\left(17\right)$

然后，可以得到回归矩阵A的最优估计值，如下：

$A^{*}=\underset{A}{\arg \min }p\left(y\right|A,{\mathrm{\μ}}_1)p\left(y\right|{\mathrm{\μ}}_2)p\left(y\right|A,X,\mathrm{\δ})p\left(A\right|\mathrm{\δ})---\left(18\right)$

然后，高维的RBSR描述子可通过公式（13）嵌入到固有的低维特征向量。

本实施例中，通过将高维的RBSR描述子嵌入到固有的低维特征向量，能够得到更低维度的三维人脸图像的特征，进一步减少了计算成本。同时能有效平衡人脸识别的辨别力和表情分析的描述力，提取的特征能更好的反映人脸表面结构，避免了扭曲伪影和噪声损坏。

如图5所示，在一个实施例中，还提供了一种三维人脸图像特征提取系统，包括：

区域分割模块502，用于进行人脸区域分割，得到一组人脸区域.

投射模块504，用于将每个人脸区域投射到对应的区域边界球。

人脸区域表示模块506，用于根据区域边界球获取对应的人脸区域的表示，记为人脸区域的区域边界球描述子。

权重计算模块508，用于对每个人脸区域计算人脸区域的区域边界球描述子的权重。

特征提取模块510，用于根据人脸区域的表示和对应的区域边界球描述子的权重获取三维人脸图像的特征。

在一个实施例中，分割出的一组人脸区域包括鼻子、左眼、右眼、左脸颊、右脸颊、前额和嘴巴七个区域。

在一个实施例中，如图6所示，区域分割模块502包括：

对齐三维人脸图像获取模块512，用于获取与参考人脸模型对齐的三维人脸图像。

人脸区域分割模块522，用于获取从参考人脸模型中提取的不同人脸区域的形状带，从三维人脸图像中分割出鼻子区域、左眼区域、右眼区域、嘴巴区域；以及根据分割出的鼻子区域、左眼区域、眼睛区域和嘴巴区域分割出三维人脸图像中的前额区域、左脸颊区域和右脸颊区域。

其中，人脸区域分割模块522包括：

鼻子区域分割模块522a，用于检测出三维人脸图像上的鼻尖点，获取从参考人脸模型中提取的鼻子区域的形状带，根据鼻尖点和鼻子区域的形状带分割出三维人脸图像中的鼻子区域。

眼睛区域分割模块522b，用于分别检测出三维人脸图像上的左眼和右眼的内眼角位置，获取从参考人脸模型中提取的眼睛区域的形状带，根据内眼角位置和眼睛区域的形状带分割出三维人脸图像中的左眼区域和右眼区域。

嘴巴区域分割模块522c，用于获取从参考人脸模型中提取的嘴巴区域的形状带，根据嘴巴区域的形状带分割出三维人脸图像中的嘴巴区域。

前额区域分割模块522d，用于根据左眼区域和右眼区域分割出人脸三维图像中的前额区域。

脸颊区域分割模块522e，用于根据左眼区域、右眼区域和嘴巴区域分割出三维人脸图像中的左脸颊区域和右脸颊区域。

在一个实施例中，如图7所示，三维人脸图像特征提取系统还包括预处理模块501，结合图8所示，预处理模块501包括：

原始数据获取模块511，用于获取原始三维人脸点云数据.

人脸提取模块521，用于提取出原始三维人脸点云数据中的主要人脸数据。

归一化处理模块531，用于对主要人脸数据进行归一化处理。

图像对齐模块541，用于将归一化处理后的三维人脸图像与参考人脸模型进行对齐，得到与参考人脸模型对齐的三维人脸图像。

进一步的，在一个实施例中，如图9所示，归一化处理模块531包括：

参考长度值计算模块531a，用于获取参考人脸模型，计算参考人脸模型的水平方向参考长度值和垂直方向参考长度值。

人脸长度值计算模块531b，用于计算主要人脸数据的水平方向长度值和垂直方向长度值。

比值计算模块531c，用于计算主要人脸数据与所述参考人脸模型在水平方向上的长度值的比值和在垂直方向上的长度值的比值。

坐标值运算模块531d，用于根据水平方向上的长度值的比值和所述主要人脸数据的每个水平方向的坐标值实现主要人脸数据在水平方向上的归一化，以及根据垂直方向上的长度值的比值和主要人脸数据的每个垂直方向的坐标值实现主要人脸数据在垂直方向上的归一化。

具体的，坐标值运算模块531d可用于将水平方向上的长度值的比值与主要人脸数据的每个水平方向的x，y坐标值相除；在垂直方向上，可将上述垂直方向上的长度值的比值与主要人脸数据的每个垂直方向的x，y坐标值相除。

在一个实施例中，如图10所示，图像对齐模块541包括：

法向量获取模块541a，用于对参考人脸模型和归一化处理后的三维人脸图像，分别拟合对称侧影线上的点云数据，得到参考人脸模型的对称侧影线拟合平面上的第一法向量和三维人脸图像的对称侧影线拟合平面上的第二法向量。

旋转参数获取模块541b，用于获取旋转角度值为第一法向量和第二法向量之间的夹角，以及获取旋转轴为第一法向量与第二法向量的叉积。

旋转运算模块541c，用于根据归一化处理后的三维人脸图像上的每一个点、旋转角度值和叉积，得到与参考人脸模型对齐的三维人脸图像。

在一个实施例中，人脸区域表示模块506用于对每个人脸区域，计算人脸区域上的点的值，人脸区域上的点的值为该点与人脸区域对应的区域边界球的球心之间的距离与所区域边界球的半径的比值；人脸区域的表示为由人脸区域上的点的值组成的向量。

在一个实施例中，如图11所示，权重计算模块508包括：

相关性和冗余计算单元518，用于计算所有区域边界球描述子的相关性和冗余.

标注信息获取单元528，用于获取为每个人脸区域提供的标注信息和为三维人脸图像提供的标注信息。

权重计算单元538，用于根据相关性、冗余和所述标注信息计算每个人脸区域的区域边界球描述子的权重。

进一步的，在一个实施例中，权重计算单元538用于根据如下公式计算每个人脸区域的区域边界球描述子的权重：

$P\left(\mathrm{RBSR}\right|r_i)=\underset{{\mathrm{rbsr}}_i\∈\mathrm{RBSR}}{\mathrm{\Π}}P\left(l_i\right|r_i)\underset{{\mathrm{rbsr}}_j\∈\mathrm{RBSR}}{\mathrm{\Π}}P\left(l_j\right|l_i,r_i)P(D,R|r_i,l_i,j_j)$

其中，l_i,l_j∈L是所述为每个人脸区域提供的标注信息；D为前述计算得到的相关性；R为前述计算得到的冗余；r_i表示第i个人脸区域；rbsr_i表示第i个人脸区域的区域边界球描述子；rbsr_j表示第j个人脸区域的区域边界球描述子；RBSR表示所有人脸区域的区域边界球描述子；P(RBSR|r_i)表示第i个人脸区域的区域边界球描述子的权重。

在另一个实施例中，权重计算单元538用于根据如下公式计算每个人脸区域的区域边界球描述子的权重：

${\mathrm{\ω}}_{r_i}=\underset{l\∈L}{\mathrm{\Σ}}\log \left(P\left(b_l\right|r_i)\right)$

其中，表示第i个人脸区域的区域边界球描述子的权重；log(P(b_l|r_i）是二进制概率， $\log (P\left(b_l\right|r_i)=\underset{{\mathrm{rbsr}}_i\∈\mathrm{RBSR}}{\mathrm{\Σ}}\underset{{\mathrm{rbsr}}_j\∈\mathrm{RBSR}}{\mathrm{\Σ}}\log (P(D,R|r_i,l_i,l_j)),$ 其中：rbsr_i表示第i个人脸区域的区域边界球描述子；rbsr_j表示第j个人脸区域的区域边界球描述子；D为前述计算得到的相关性；R为前述计算得到的冗余；l_i,l_j∈L是所述为每个人脸区域提供的标注信息；r_i表示第i个人脸区域；b_l是所述为三维人脸图像提供的标注信息。

在一个实施例中，特征提取模块510用于获取三维人脸图像的特征为每个人脸区域的表示和对应的人脸区域的区域边界球描述子的权重的乘积之和。

在一个实施例中，如图12所示，三维人脸图像特征提取系统还包括：

区域和全局回归映射算法模块512，用于按照如下公式将三维人脸图像的特征嵌入到固有的低维特征向量：

Z=AX

其中，X为三维人脸图像的特征；A为所固有的低维特征向量组成的回归矩阵。

上述三维人脸图像特征提取方法和系统，基于形状带分割人脸区域，将原始的三维人脸图像分割为一组人脸区域，能显著的减少分辨性区域的影响，并能为后续的特征表示和特征提取提供一种更好的方式来描述人脸区域特性。基于形状带的区域分割方法具有很好的鲁棒性。

由于分割出来的每个人脸区域被投射到的对应的区域边界球，根据区域边界球表示人脸区域的区域边界球描述子，能有效的将原始人脸图像的三维位置信息转换为具有几何和形状特性的一维向量，并能突出区域的特性，一维向量能够有效减少计算成本并能节省存储空间。通过计算不同人脸区域的区域边界球描述子的权重，能够有效反映不同人脸的表面形状特征，加权后的区域边界球描述子能同时反映人脸的辨别力和表情的描述力，使得提取的三维人脸图像特征能同时满足于人脸识别和情感分析。

提取的三维人脸图像特征比原始三维人脸点云数据的维度降低了，能够用于低维的人脸识别和表情分类。而将提取的三维人脸图像特征嵌入到低维特征向量，能进一步降低特征的维度，使得原始的三维分区域描述子可以转换成高效的具有低冗余度的低维特征向量，进一步降低了计算成本和存储空间。

下面结合实验数据来详细说明本发明能够达到的有益效果。

可在三个数据库：FRGC v2数据库、BU3DFE数据库和CASIA3D人脸数据库运行上述三维人脸图像特征提取方法。

FRGC v2数据库是一个用于评估3D人脸识别和验证性能的国际通用数据库，其包括466个不同的个人，具有4007个三维人脸模型。我们处理3D人脸识别和验证的标准协议，在FRGC数据库中的三维人脸形状由具有相同640*480分辨率的四个矩阵组成。二进制矩阵表示从背景中分割的对象的有效点。其它三个矩阵描述了笛卡尔坐标系中的X、Y、Z分量的位置。相应的彩色图是由具有相同分辨率的扫描仪同时捕获到的。该数据库包括来自大范围年龄段的不同性别的样本，40%以上的人脸有头发遮挡，也有拉伸的变化和在不受控制的环境中收集的不同照明条件。在采集中提出一些伪影，如存在鼻子和眼睛、嘴巴周围的孔。BU-3DFE3D人脸表情数据库包括来自100个不同的具有中性和6个表情（愤怒、厌恶、恐惧、快乐、悲伤和惊讶）的个人的2500个3D人脸表情模型。基于定义在BU-3DFE数据库中的已注册的人脸模型上的83个特征点，可为表情分析生成人脸区域和特征集的数量。CASIA3D人脸数据库涵盖了123个个人，每个个人具有大约37或37个图像。3D人脸模型的总数是4625，不仅包括分别在姿态、表情和光照的变化，还包括从右侧照明并具有微笑表情的姿态的组合变化。

在实验中，采用如图13所示的框架，首先对原始三维人脸点云数据进行预处理，然后对预处理后的三维人脸点云数据进行三维人脸区域分割，得到相应的七个人脸区域，通过RBSR描述子表示三维人脸图像，然后通过RGRM算法提取最终的三维人脸图像的特征，所提取的特征用来表示不同的个体。

具体的，从以下几个方面来对上述三维人脸图像特征提取方法进行评估：

一、3D人脸识别和验证的性能评估

（1）基于不同表示的3D人脸识别

在实验中，我们需要使用本发明所提出的用来表示三维人脸图像特征的RBSR描述子来表示对象，并与其它的用于3D人脸表示的方式进行对比。其它的表示3D人脸的方式有：表面法线（SN）、表面曲率（SC）、深度图像（DI）和形状索引描述子（SID）。在实验中引入多个测试数据库用于性能评估，FRGCv2数据库可分为两个子集：训练集和测试集。由于每个个人在数据库中有不同数量的人脸模型，我们保证个人每个测试数据库有至少i+1个样本，并对每个个人随机选择i个训练样本，同时其余的人脸模型被分配为测试数据库。表1示出了测试和训练集的配置。

表1

测试数据库	i	被测试者的数量	训练集	测试集
					1	1	410	410	3541
2	2	384	768	3183
					3	3	316	948	3003
4	4	285	1140	2755

表2示出了基于不同表示的识别精度。RBSR描述子与所有测试配置，特别是用于测试数据库3和4上的其它表示相比，提供了更高等级的精度。形状索引描述子与其它表示相比，实现了第二精度，并且，表面曲率与表面法线和深度图像相比，具有更高的性能。结果表明，RBSR描述子在具有挑战性的人脸变化和传感器信息上的有效性。表面法线可由微分几何表面计算，且他们实际上能编码表面的局部变化。但是表面法线对外部条件敏感，并且在姿态和照明变化下会得到最坏的结果。表面曲率能将人脸表面作为自由格式的对象，且注明局部描述子为表示人脸形状信息。但是，由于大噪声和损坏，表面曲率的性能因非刚性变换显著降低。深度图像实际上能反映在个人和用于有效的辨别特征提取的传感器之间的距离。形状索引描述子结合形状和距离信息，使它比其它三个表示更具有辨别力。而RBSR描述子可以有效将三个轴上的原始位置转换为一个表示向量，它能将原始注册的3D人脸图像处理为具有更多辨别特性的区域表示。实验结果表明，与其它经常使用的表示相比，RBSR描述子具有明显的改善。

表2

测试数据库

RBSR

DI

SC

SN

SID

1	56.48%	45.38%	47.47%	42.36%	49.59%
						2	62.68%	47.76%	53.13%	46.97%	59.75%
3	70.1%	53.08%	56.51%	51.32%	63.07%
						4	74.23%	57.71%	61.6%	57.75%	70.13%

（2）基于标准协议的3D人脸验证

在实验中，采用了一些用于3D人脸验证的现有算法，与本发明提出的方法进行对比。为了验证在FRGC v2数据库中不同问题的有效性。对不同采样时期的FRGC v2数据库的标准协议测试ROC（receiver operating characteristic，接受者工作特性曲线）。表3示出了基于标准协议的不同3D人脸识别算法的验证结果，其具有0.1%FAR（False Acceptance Rate，错误接受率）。如图14所示，示出了不同测试集中的FRGC v23D人脸数据库上的ROC曲线。

表3

方法	ROC I	ROC II	ROC III
				Faltemier	-	-	94.9%
Husken	-	-	86.9%
				Cook	93.71%	92.91%	92.01%
Kakadiaris	97.3%	97.2%	97%
				Ocegueda	96.2%	95.7%	95.2%
Queirolo	-	-	96.6%
				Alyuz	85.39%	85.63%	85.64%
Mian	-	-	86.6%
				本发明	95.67%	95.28%	95.03%

由表3可知，对于标准协议测试ROC I、ROC II和ROC III曲线，本发明比大多数现有已有的算法都好，虽然比不过Kakadiaris和Queirolo这两种算法，但本发明计算性能更好，而这两种算法比较复杂，需要相当大的计算成本和存储空间。表4示出了本发明用于3D人脸处理在每个步骤的识别时间。由表4可知，本发明处理整个人脸数据仅花费5.958秒。另外，本发明不仅在人脸验证上，也考虑到了表情分类的精度。因此，本发明可以有效平衡简单实例，具有高精度和较高的计算效率，在精度和有效性方面具有更好的性能。

表4

平均点数量	100474
		人脸区域提取	2.3s
鼻子顶端检测	0.04s
		人脸区域细化	1.46s
人脸区域分割	1.05s
		姿态对齐	0.26s
RBSR	0.694s
		RGSRM	0.154s

二、3D人脸表情分析

（1）不同的3D人脸表情特征的数据处理对比

在BU-3DFE数据库上进行实验，以证明3D人脸表情分析的描述能力。在评估与其它情感特征对比时，引入KLD（Kullback-L-eibler Divergence，KL距离）。从贝叶斯的观点，表情描述力依赖于分类条件分布。因此特征集y的人脸表情描述力可以通过KLD计算：

$\mathrm{DP}\left(y\right)=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j=i+1}{\overset{c}{\mathrm{\Σ}}}\mathrm{Ds}\left(f_i\left(y\right)\right|\left|f_j\left(y\right)\right)$

其中，c是人脸表情分类（6个原型表达式）的数量，f_i(y)和f_j(y)分别是特征向量y的第i和第j个分类条件概率。

表5示出了在实验中对比的特征的详情。将表5所示的特征在一系列实验中执行以确定表情分类，重复所有这些实验100次以降低随机性，每次从每个表情分类中随机选择50个人脸模型。为了更好的反映表情描述力，分别引入流量矩阵和几何矩阵到3D人脸表情分析中，分析结果如图15所示。

表5

由图15可知，本发明提取的特征能够提供最高的人脸表情描述力。对所有的特征，在流量矩阵中的描述力比在几何矩阵形式中的描述力更高。正由于本发明提出的特征比其它特征更具有描述力，使得编码更多的3D人脸表情的情感描述性信息成为可能。

（二）3D人脸表情识别

为了验证表情分类的识别结果，我们提供基于BU-3DFE数据库的结果，随机选取50个对象作为训练集，其余作为评估个人单独的测试组。每个实验重复100次，取平均值。不同特征的识别率如图16所示。由图16可知，本发明提取的特征在所有特征中实现了最好的识别率，特征6具有第二高的识别率。如图17所示，在不同的表情中，本发明提出的特征比特征6具有更高的识别率。因此，本发明所提取的特征在表情分类中实现了最好的性能，该性能显示本发明提取的特征能更好的处理人脸表情和提取强大的特征向量。

三、大的人脸姿态变化的鲁棒性

人脸识别的精度会因为大的人脸姿态变化而显著降低。由于自我遮挡、姿态变化会导致数据丢失，我们使用CASIA3D人脸数据库来评估性能，来证明本发明对大的姿态变化具有鲁棒性。针对这个数据库，我们与现有流行的方法来比较秩-1识别率。训练集包括759个图像，对应123个个人的后23个，每个主体22个图像。训练集进一步分为以下4个子集：

1）小姿态变化（SPV，700个图像）：前面、左/右20-30度、上/下20-30度和左/右倾斜20-30度的图像；

2）大姿态变化（LPV，200个图像）：左/右50-60度的图像；

3）带微笑的小姿态变化（SPVS，700个图像）：带微笑表情的前面、左/右20-30度、上/下20-30度和左/右倾斜20-30度的图像；

4）带微笑的大姿态变化（LPVS，200个图像）：带微笑表情的左/右50-60度的图像。

表6示出了在CASIA3D人脸数据库中的秩-1识别率。由表6可知：大姿态变化会显著影响识别精度，特别是结合前述方法的表情变化。本发明提供了在测试集中最好的效果。本发明将原始三维人脸数据转换为边界球域，并提取辨别的特征，以克服异常值和修补遮挡。在球域中，区域边界球描述子能反映在大范围旋转的人脸特性，并降低了因大姿态变化到最大程度产生的缺失数据的影响。因此，本发明对于大的姿态变化是稳定的。此外，本发明获得的优良的性能不受不同数据库的影响，因此具有通用性。

表6

测试数据库	SPV	LPV	SPVS	LPVS
					深度	90.7%	50.0%	81.0%	46.5%
强度	69.9%	49.5%	68.1%	48.5%
					Gabor深度	91.4%	51.5%	82.4%	49.0%
Gabor强度	75.3%	65.5%	77.6%	61.5%
					决定融合	89.0%	70.5%	85.6%	64.5%
特征融合	91.0%	91.0%	87.9%	79.0%
					本发明	93.42%	93.42.5%	90.28%	82%

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (22)

1.一种三维人脸图像特征提取方法，所述方法包括：

人脸区域分割，得到一组人脸区域；

将每个人脸区域投射到对应的区域边界球；

根据所述区域边界球获取对应的人脸区域的表示，记为所述人脸区域的区域边界球描述子；

对每个人脸区域计算所述人脸区域的区域边界球描述子的权重；

根据所述人脸区域的表示和对应的所述权重获取三维人脸图像的特征。

2.根据权利要求1所述的方法，其特征在于，所述一组人脸区域包括鼻子、左眼、右眼、左脸颊、右脸颊、前额和嘴巴七个区域。

3.根据权利要求1所述的方法，其特征在于，所述人脸区域分割包括：

获取与参考人脸模型对齐后的三维人脸图像；

获取从所述参考人脸模型中提取的不同人脸区域的形状带，从所述三维人脸图像中分割出鼻子区域、左眼区域、右眼区域、嘴巴区域；以及根据分割出的鼻子区域、左眼区域、眼睛区域和嘴巴区域分割出所述三维人脸图像中的前额区域、左脸颊区域和右脸颊区域。

4.根据权利要求1所述的方法，其特征在于，所述获取从所述参考人脸模型中提取的不同人脸区域的形状带，从所述三维人脸图像中分割出鼻子区域、左眼区域、右眼区域、嘴巴区域；以及根据分割出的鼻子区域、左眼区域、眼睛区域和嘴巴区域分割出所述三维人脸图像中的前额区域、左脸颊区域和右脸颊区域的步骤，包括：

检测出所述三维人脸图像上的鼻尖点，获取从所述参考人脸模型中提取的鼻子区域的形状带，根据所述鼻尖点和所述鼻子区域的形状带分割出所述三维人脸图像中的鼻子区域；

分别检测出所述三维人脸图像上的左眼和右眼的内眼角位置，获取从所述参考人脸模型中提取的眼睛区域的形状带，根据所述内眼角位置和所述眼睛区域的形状带分割出所述三维人脸图像中的左眼区域和右眼区域；

获取从所述参考人脸模型中提取的嘴巴区域的形状带，根据所述嘴巴区域的形状带分割出所述三维人脸图像中的嘴巴区域；

根据所述左眼区域和右眼区域分割出所述三维人脸图像中的前额区域；

根据所述左眼区域、右眼区域和所述嘴巴区域分割出所述三维人脸图像中的左脸颊区域和右脸颊区域。

5.根据权利要求1至4任一项所述的方法，其特征在于，在所述三维人脸区域分割的步骤之前，还包括：

获取原始三维人脸点云数据；

提取出所述原始三维人脸点云数据中的主要人脸数据；

对所述主要人脸数据进行归一化处理；

将所述归一化处理后的三维人脸图像与参考人脸模型进行对齐，得到与参考人脸模型对齐的三维人脸图像。

6.根据权利要求5所述的方法，其特征在于，所述对所述主要人脸数据进行归一化处理的步骤，包括：

获取参考人脸模型，计算所述参考人脸模型的水平方向参考长度值和垂直方向参考长度值；

计算所述主要人脸数据的水平方向长度值和垂直方向长度值；

计算所述主要人脸数据与所述参考人脸模型在水平方向上的长度值的比值和在垂直方向上的长度值的比值；

根据所述水平方向上的长度值的比值和所述主要人脸数据的每个水平方向的坐标值实现所述主要人脸数据在水平方向上的归一化，以及根据所述垂直方向上的长度值的比值和所述主要人脸数据的每个垂直方向的坐标值实现所述主要人脸数据在垂直方向上的归一化。

7.根据权利要求5所述的方法，其特征在于，所述将归一化处理后的三维人脸图像与参考人脸模型进行对齐的步骤，包括：

对所述参考人脸模型和归一化处理后的三维人脸图像，分别拟合对称侧影线上的点云数据，得到参考人脸模型的对称侧影线拟合平面上的第一法向量和所述三维人脸图像的对称侧影线拟合平面上的第二法向量；

获取旋转角度值为所述第一法向量和第二法向量之间的夹角，以及获取旋转轴为所述第一法向量与第二法向量的叉积；

根据归一化处理后的三维人脸图像上的每一个点、所述旋转角度值和叉积，得到与所述参考人脸模型对齐的三维人脸图像。

8.根据权利要求1所述的方法，其特征在于，所述根据区域边界球获取对应的人脸区域的表示的步骤，包括：

对每个人脸区域，计算所述人脸区域上的点的值，所述人脸区域上的点的值为该点与所述人脸区域对应的区域边界球的球心之间的距离与所述区域边界球的半径的比值；

所述人脸区域的表示为由所述人脸区域上的点的值组成的向量。

9.根据权利要求1所述的方法，其特征在于，所述对每个人脸区域计算所述人脸区域的区域边界球描述子的权重的步骤，包括：

计算所有区域边界球描述子的相关性和冗余；

获取为每个人脸区域提供的标注信息和为三维人脸图像提供的标注信息；

根据所述相关性、冗余和所述标注信息计算每个人脸区域的区域边界球描述子的权重。

10.根据权利要求1所述的方法，其特征在于，所述根据人脸区域的表示和对应的所述权重获取三维人脸图像的特征的步骤，包括：

获取三维人脸图像的特征为每个人脸区域的表示和对应的人脸区域的区域边界球描述子的权重的乘积之和。

11.根据权利要求10所述的方法，其特征在于，所述根据人脸区域的表示和对应的所述权重获取三维人脸图像的特征的步骤，还包括：

按照如下公式将所述三维人脸图像的特征嵌入到固有的低维特征向量：

Z=AX

其中，X为所述三维人脸图像的特征；A为所述固有的低维特征向量组成的回归矩阵。

12.一种三维人脸图像特征提取系统，其特征在于，所述系统包括：

区域分割模块，用于进行人脸区域分割，得到一组人脸区域；

投射模块，用于将每个人脸区域投射到对应的区域边界球；

人脸区域表示模块，用于根据所述区域边界球获取对应的人脸区域的表示，记为所述人脸区域的区域边界球描述子；

权重计算模块，用于对每个人脸区域计算所述人脸区域的区域边界球描述子的权重；

特征提取模块，用于根据所述人脸区域的表示和对应的所述权重获取三维人脸图像的特征。

13.根据权利要求12所述的系统，其特征在于，所述一组人脸区域包括鼻子、左眼、右眼、左脸颊、右脸颊、前额和嘴巴七个区域。

14.根据权利要求12所述的系统，其特征在于，所述区域分割模块包括：

对齐三维人脸图像获取模块，用于获取与参考人脸模型对齐的三维人脸图像；

人脸区域分割模块，用于获取从所述参考人脸模型中提取的不同人脸区域的形状带，从所述三维人脸图像中分割出鼻子区域、左眼区域、右眼区域、嘴巴区域；以及根据分割出的鼻子区域、左眼区域、眼睛区域和嘴巴区域分割出所述三维人脸图像中的前额区域、左脸颊区域和右脸颊区域。

15.根据权利要求14所述的系统，其特征在于，所述人脸区域分割模块包括：

鼻子区域分割模块，用于检测出所述三维人脸图像上的鼻尖点，获取从所述参考人脸模型中提取的鼻子区域的形状带，根据所述鼻尖点和所述鼻子区域的形状带分割出所述三维人脸图像中的鼻子区域；

眼睛区域分割模块，用于分别检测出所述三维人脸图像上的左眼和右眼的内眼角位置，获取从所述参考人脸模型中提取的眼睛区域的形状带，根据所述内眼角位置和所述眼睛区域的形状带分割出所述三维人脸图像中的左眼区域和右眼区域；

嘴巴区域分割模块，用于获取从所述参考人脸模型中提取的嘴巴区域的形状带，根据所述嘴巴区域的形状带分割出所述三维人脸图像中的嘴巴区域；

前额区域分割模块，用于根据所述左眼区域和右眼区域分割出所述人脸三维图像中的前额区域；

脸颊区域分割模块，用于根据所述左眼区域、右眼区域和所述嘴巴区域分割出所述三维人脸图像中的左脸颊区域和右脸颊区域。

16.根据权利要求12至15任一项所述的系统，其特征在于，所述系统还包括预处理模块，所述预处理模块包括：

原始数据获取模块，用于获取原始三维人脸点云数据；

人脸提取模块，用于提取出所述原始三维人脸点云数据中的主要人脸数据；

归一化处理模块，用于对所述主要人脸数据进行归一化处理；

图像对齐模块，用于将所述归一化处理后的三维人脸图像与参考人脸模型进行对齐，得到与参考人脸模型对齐的三维人脸图像。

17.根据权利要求16所述的系统，其特征在于，所述归一化处理模块包括：

参考长度值计算模块，用于获取参考人脸模型，计算所述参考人脸模型的水平方向参考长度值和垂直方向参考长度值；

人脸长度值计算模块，用于计算所述主要人脸数据的水平方向长度值和垂直方向长度值；

比值计算模块，用于计算所述主要人脸数据与所述参考人脸模型在水平方向上的长度值的比值和在垂直方向上的长度值的比值；

坐标值运算模块，用于根据所述水平方向上的长度值的比值和所述主要人脸数据的每个水平方向的坐标值实现所述主要人脸数据在水平方向上的归一化，以及根据所述垂直方向上的长度值的比值和所述主要人脸数据的每个垂直方向的坐标值实现所述主要人脸数据在垂直方向上的归一化。

18.根据权利要求16所述的系统，其特征在于，所述图像对齐模块包括：

法向量获取模块，用于对所述参考人脸模型和归一化处理后的三维人脸图像，分别拟合对称侧影线上的点云数据，得到参考人脸模型的对称侧影线拟合平面上的第一法向量和所述三维人脸图像的对称侧影线拟合平面上的第二法向量；

旋转参数获取模块，用于获取旋转角度值为所述第一法向量和第二法向量之间的夹角，以及获取旋转轴为所述第一法向量与第二法向量的叉积；

旋转运算模块，用于根据归一化处理后的三维人脸图像上的每一个点、所述旋转角度值和叉积，得到与所述参考人脸模型对齐的三维人脸图像。

19.根据权利要求12所述的系统，其特征在于，所述人脸区域表示模块用于对每个人脸区域，计算所述人脸区域上的点的值，所述人脸区域上的点的值为该点与所述人脸区域对应的区域边界球的球心之间的距离与所述区域边界球的半径的比值；所述人脸区域的表示为由所述人脸区域上的点的值组成的向量。

20.根据权利要求12所述的系统，其特征在于，所述权重计算模块包括：

相关性和冗余计算单元，用于计算所有区域边界球描述子的相关性和冗余；

标注信息获取单元，用于获取为每个人脸区域提供的标注信息和为三维人脸图像提供的标注信息；

权重计算单元，用于根据所述相关性、冗余和所述标注信息计算每个人脸区域的区域边界球描述子的权重。

21.根据权利要求12所述的系统，其特征在于，所述特征提取模块用于获取三维人脸图像的特征为每个人脸区域的表示和对应的人脸区域的区域边界球描述子的权重的乘积之和。

22.根据权利要求21所述的系统，其特征在于，所述系统还包括：

区域和全局回归映射算法模块，用于按照如下公式将所述三维人脸图像的特征嵌入到固有的低维特征向量：

Z=AX

其中，X为所述三维人脸图像的特征；A为所述固有的低维特征向量组成的回归矩阵。