CN103971122A - 基于深度图像的三维人脸描述方法及装置 - Google Patents

Abstract

一种基于深度图像的三维人脸描述装置及其方法，该装置包括：用于选取表情鲁棒区域的选择单元；用于存储盖博滤波器系数的第一存储单元；利用盖博滤波器系数对选取的三维人脸数据进行不同尺度和方向的响应计算的盖博响应计算单元；用于存储三维人脸数据的视觉词典的第二存储单元；以及获得第一数据计算单元通过计算得到的每个像素获得的盖博响应向量，并将其与视觉词典进行直方图映射的映射算单元。本发明通过盖博滤波提取三维人脸数据细节纹理，通过直方图映射获取三维人脸数据全局属性，通过视觉词典方式把细节纹理的描述性和直方图的鲁棒性结合起来，兼顾深度三维人脸数据细节纹理有效性和全局纹理鲁棒性，有效提升三维人脸特征向量的描述能力。<b/>

Description

基于深度图像的三维人脸描述方法及装置

技术领域

本发明涉及人脸识别技术领域，尤其是指基于深度图像的三维人脸描述方法及装置。

背景技术

三维人脸的特征描述是诸如三维人脸识别、三维人脸种族分类以及情感状态分析等众多应用的基础性工作。因此，在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后，很多研究者都将研究重点投入到该领域中。

其中，于2010年12月29日公开的201010256907.6号中国发明专利申请提出了采用三维弯曲不变量的相关特征用来进行人脸特性描述的方法，该方法通过编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分，并运用Ｋ最近邻分类方法对三维人脸进行识别。但是由于提取变量相关特征时需要复杂的计算量，因此在效率上限制了该方法的进一步应用。

而2011年5月4日公开的200910197378.4号中国发明专利申请则提出了一种全自动三维人脸检测和姿势纠正的方法，该方法通过对人脸三维曲面进行多尺度的矩分析，提出了脸部区域特征来粗糙地检测人脸曲面，及提出鼻尖区域特征来准确地定位鼻尖的位置，然后进一步精确地分割出完整的人脸曲面，根据人脸曲面的距离信息提出鼻根区域特征来检测鼻根的位置后，建立了一个人脸坐标系，并据此自动地进行人脸姿势的纠正应用。该方法目的在于对三维人脸数据的姿态进行估计，属于三维人脸识别系统的数据预处理阶段。

有效而鲁棒的描述三维人脸数据是三维人脸领域中许多应用的基础性工作。因此，该领域的初始工作大部分是利用三维数据的信息：如曲率、深度等数据对人脸进行描述，但是由于三维数据的采集中有很多数据的噪点，因此曲率等特征数据由于其本身对于噪音的敏感特性，使得其作为三维人脸的特征描述向量在识别结果上精度不高。在将三维数据映射到深度图数据后，很多二维人脸的表象特征开始应用到该领域，如主成分分析（PCA）以及盖博（Gabor）滤波器特征；但是这些特征也有各自的缺点：（1）对于PCA特征，由于其隶属于全局的表象特征，因此对于三维数据的细节纹理描述能力不足（2）对于盖博滤波器特征，由于三维数据的噪音问题，导致其对于三维人脸数据的描述能力依赖于获取的三维人脸数据的质量。

发明内容

本发明所要解决的技术问题在于，提供一种基于深度图像的三维人脸描述装置，以兼顾深度三维人脸数据细节纹理有效性以及全局纹理鲁棒性。

本发明进一步所要解决的技术问题在于，提供一种基于深度图像的三维人脸描述方法，以兼顾深度三维人脸数据细节纹理有效性以及全局纹理鲁棒性。

为解决上述技术问题，本发明提供如下技术方案：一种基于深度图像的三维人脸描述装置，其包括：

用于选取原始三维人脸数据的表情鲁棒区域的选择单元；

用于存储不同尺度和方向的盖博滤波器系数的第一存储单元；

利用不同尺度和方向的盖博滤波器系数对选择单元所选取的三维人脸数据进行不同尺度和方向的响应计算的盖博响应计算单元；

用于存储训练获得的三维人脸数据的视觉词典的第二存储单元；以及

获得第一数据计算单元通过计算得到的每个像素获得的盖博响应向量，并将其与从第二存储单元中读取到的视觉词典进行直方图映射的映射算单元。

另一方面，本发明还提供一种基于深度图像的三维人脸描述方法，包括如下步骤：

选择步骤，由选择单元选取三维人脸数据表情鲁棒区域；

盖博响应计算步骤，第一数据计算单元利用预定义好并存储于第一存储单元中的不同尺度和方向的盖博滤波器系数对选择单元所选取的三维人脸数据进行不同尺度和方向的响应计算；

直方图映射步骤，由第二计算单元获得第一数据计算单元通过计算得到的每个像素获得的盖博响应向量，并将其与从第二存储单元中读取到的视觉词典进行直方图映射，从而得到视觉词典直方图。

进一步地，所述选择步骤中，选择单元对原始三维人脸数据的表情鲁棒区域进行截取，提取人脸到鼻子的局部有效区域，并直接过滤额头、嘴唇以及嘴角区域。

进一步地，所述盖博响应计算步骤中，所述第一数据计算单元基于深度三维人脸数据，提取其表象特征，并利用预定义好的盖博滤波器系数，对三维人脸深度图像进行卷积运算，对每个深度图像像素获取得到其对应的盖博滤波响应向量。

进一步地，所述盖博响应计算步骤中，所述盖博滤波器系数的定义如下：

其中，

u和v分别为盖博核函数中的方向和尺度信息，

z＝(x，y)，x，y是对应的时域分量；

，其中，代表最大的频域值，f是盖博核函数在频域中尺度的间隔量。

进一步地，所述方法还包括获取视觉词典步骤，利用训练集中的三维人脸图像的盖博响应向量集合，通过聚类算法，以其聚类中心作为视觉词汇，将所有的词汇汇集在一起获取视觉词典。

进一步地，所述聚类算法为K均值算法，包括如下步骤：

步骤1，对于数据对象集，任意选取K个对象作为初始的类中心；

步骤2，根据类中对象的平均值，将每个对象重新赋给最相似的类；

步骤3，更新类的平均值，即计算每个类中对象的平均值；

步骤4，跳回步骤2，循环进行步骤2和步骤3，直至所得平均值不再发生变化即停止。

进一步地，所述第二储存单元中所储存的盖博响应向量组是mín的数据矩阵，其中，m为获取的聚类中心个数，n为盖博响应向量的维数。

进一步地，所述直方图映射步骤中，通过计算每个像素盖博响应后的向量与其距离最近的视觉词汇，构建基于视觉词典的直方图描述，第二储存单元中存储的聚类中心为m个，则得到的对于三维人脸数据的直方图描述向量也为m维。

进一步地，所述直方图映射步骤的具体步骤如下：

将三维人脸深度图像分割成一些局部纹理区域；

对每个盖博滤波响应向量，按照位置的不同将其映射到其对应的视觉分词典的词汇中，并以此为基础建立视觉词典直方图向量作为三维人脸的特征表达；

最近邻分类器被用来作为最后的人脸识别，并以L1距离作为距离度量，所述L1距离的定义为。

采用上述技术方案后，本发明至少具有如下有益效果：本发明通过盖博滤波可以提取三维人脸数据的细节纹理，通过直方图映射可以获取三维人脸数据的全局属性，通过视觉词典方式可以把细节纹理的描述性和直方图的鲁棒性同时结合在一起，从而兼顾深度三维人脸数据细节纹理有效性以及全局纹理鲁棒性，有效提升三维人脸特征向量的描述能力。

本发明可以广泛用于多种可生成深度图像的三维数据或者三维点云，并可作为多种应用的基础性工作，如三维人脸的识别、三维表情的识别、三维种族分类等。

附图说明

图1是本发明基于深度图像的三维人脸描述装置的系统原理框图。

图2是本发明基于深度图像的三维人脸描述方法的流程示意图。

图3是本发明基于深度图像的三维人脸描述方法的三维人脸数据的鲁棒区域提取策略示意图。

图4是本发明基于深度图像的三维人脸描述方法的盖博滤波示意图。

图5是本发明基于深度图像的三维人脸描述方法的盖博滤波响应示意图。

图6是本发明基于深度图像的三维人脸描述方法的三维人脸数据的局部分块策略示意图。

图7是本发明基于深度图像的三维人脸描述方法的三维人脸视觉词典的K均值聚类获取过程示意图。

图8是本发明基于深度图像的三维人脸描述方法的三维人脸视觉词典向量特征的建立过程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

如图1所示，本发明提供一种基于深度图像的三维人脸描述装置，其包括：

用于选取原始三维人脸数据的表情鲁棒区域的选择单元；

用于存储不同尺度和方向的盖博滤波器系数的第一存储单元；

利用不同尺度和方向的盖博滤波器系数对选择单元所选取的三维人脸数据进行不同尺度和方向的响应计算的盖博响应计算单元；

用于存储训练获得的三维人脸数据的视觉词典的第二存储单元；以及

获得第一数据计算单元通过计算得到的每个像素获得的盖博响应向量，并将其与从第二存储单元中读取到的视觉词典进行直方图映射的映射算单元。

其中，由于发型或者表情的变化，人脸的额头和嘴唇、嘴角部分的深度信息会受到很大影响，因此，如图3所示，选择单元会直接过滤掉上述敏感区域。

由于出色的尺度和方向选择性，盖博滤波器被我们用来提取隐藏在三维人脸数据中的纹理类别信息。所述盖博滤波器系数的定义如下：

其中，

u和v分别为盖博核函数中的方向和尺度信息，

z＝(x，y)，x，y是对应的时域分量；

，其中，代表最大的频域值，f是盖博核函数在频域中尺度的间隔量。

对于每一个尺度每一个方向，三维深度图像都会得到其对应的频域响应。例如4个方向和5个尺度的盖博核函数，则可以得到20个频域响应图像。每一个深度图像的像素点，则得到一个对应的20维频域响应向量。在图4所示的盖博滤波示意图中，是针对4个角度以及5个尺度的盖博滤波响应。

另一方面，本发明还提供一种基于深度图像的三维人脸描述方法，如图2所示，包括如下步骤：

选择步骤，由选择单元选取三维人脸数据表情鲁棒区域；

盖博响应计算步骤，第一数据计算单元利用预定义好并存储于第一存储单元中的不同尺度和方向的盖博滤波器系数对选择单元所选取的三维人脸数据进行不同尺度和方向的响应计算；

直方图映射步骤，由第二计算单元获得第一数据计算单元通过计算得到的每个像素获得的盖博响应向量，并将其与从第二存储单元中读取到的视觉词典进行直方图映射，从而得到视觉词典直方图。

其中，所述选择步骤中，选择单元对原始三维人脸数据的表情鲁棒区域进行截取，提取人脸到鼻子的局部有效区域，并直接过滤容易受到头发干扰的额头和易受表情干扰的嘴唇、嘴角等区域。

其中，所述盖博响应计算步骤中，所述第一数据计算单元基于深度三维人脸数据，提取其表象特征，并利用预定义好的盖博滤波器系数，对三维人脸深度图像进行卷积运算，对每个深度图像像素获取得到其对应的盖博滤波响应向量。

所述盖博响应计算步骤中，所述盖博滤波器系数的定义如下：

其中，

u和v分别为盖博核函数中的方向和尺度信息，

z＝(x，y)，

，其中，代表最大的频域值，f是盖博核函数在频域中尺度的间隔量。

所述方法还可进一步包括获取视觉词典步骤，利用训练集中的三维人脸图像的盖博响应向量集合，通过聚类算法，以其聚类中心作为视觉词汇，将所有的词汇汇集在一起获取视觉词典。

所述聚类算法优选为K均值算法，图7示出了K均值聚类获取过程，其包括如下步骤：

步骤1，对于数据对象集，任意选取K个对象作为初始的类中心；

步骤2，根据类中对象的平均值，将每个对象重新赋给最相似的类；

步骤3，更新类的平均值，即计算每个类中对象的平均值；

步骤4，跳回步骤2，循环进行步骤2和步骤3，直至所得平均值不再发生变化即停止。

所述视觉词典是在三维人脸数据训练集中通过对大量数据的盖博滤波响应向量集合进行K均值聚类获取的。在相关实验数据中，每幅深度人脸图像的大小是80í120，任意选取100幅中性表情人脸图像作为训练集。若将这些图像的盖博滤波响应向量数据直接存入一个三维张量中，数据规模将会达到5í4í80í120í100，包括了960000个20维向量，对于K均值聚类算法来说，这是非常巨大的数据量。为解决这个问题，需要将人脸数据首先分割成一系列局部纹理图像，并对每个局部纹理分配一个三维张量以存储其盖博滤波响应数据。这样通过将原始数据分解，每个局部纹理三维张量的大小为5í4í20í20í100，是原数据规模的1/24，从而可以大大提高算法效率。

所述第二储存单元中所储存的盖博响应向量组是mín的数据矩阵，其中，m为获取的聚类中心个数，n为盖博响应向量的维数。

所述直方图映射步骤中，通过计算每个像素盖博响应后的向量与其距离最近的视觉词汇，构建基于视觉词典的直方图描述。由于直方图特征没有局部空间信息，因此把原始全局的三维人脸深度图像首先分成多个局部的图像块，以此来部分地给直方图特征加入局部信息，同时，由于局部图像块的复杂程度小于全局深度图像，因此在训练时也可以大大降低聚类算法的收敛时间和复杂度。图5示出了三维人脸数据的局部分块策略示意图。

所述直方图映射步骤中，第二储存单元中存储的聚类中心为m个，则得到的对于三维人脸数据的直方图描述向量也为m维。

图8描述了三维深度图像的视觉词典直方图特征向量提取流程示意图。当测试人脸图像输入后，经过盖博滤波后，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方式，把它映射到与之距离最为接近的基元上。通过这种方式，就可以提取出原始深度图像的视觉词典直方图特征，其大致的流程如下：

将三维人脸深度图像分割成一些局部纹理区域；

对每个盖博滤波响应向量，按照位置的不同将其映射到其对应的视觉分词典的词汇中，并以此为基础建立视觉词典直方图向量作为三维人脸的特征表达；

最近邻分类器被用来作为最后的人脸识别，并以L1距离作为距离度量，所述L1距离是本领域公知的距离函数，其定义为。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (10)

1.一种基于深度图像的三维人脸描述装置，其特征在于，其包括：

用于选取原始三维人脸数据的表情鲁棒区域的选择单元；

用于存储不同尺度和方向的盖博滤波器系数的第一存储单元；

利用不同尺度和方向的盖博滤波器系数对选择单元所选取的三维人脸数据进行不同尺度和方向的响应计算的盖博响应计算单元；

用于存储训练获得的三维人脸数据的视觉词典的第二存储单元；以及

获得第一数据计算单元通过计算得到的每个像素获得的盖博响应向量，并将其与从第二存储单元中读取到的视觉词典进行直方图映射的映射算单元。

2.一种基于深度图像的三维人脸描述方法，其特征在于，包括如下步骤：

选择步骤，由选择单元选取三维人脸数据表情鲁棒区域；

盖博响应计算步骤，第一数据计算单元利用预定义好并存储于第一存储单元中的不同尺度和方向的盖博滤波器系数对选择单元所选取的三维人脸数据进行不同尺度和方向的响应计算；

直方图映射步骤，由第二计算单元获得第一数据计算单元通过计算得到的每个像素获得的盖博响应向量，并将其与从第二存储单元中读取到的视觉词典进行直方图映射，从而得到视觉词典直方图。

3.如权利要求2所述的基于深度图像的三维人脸描述方法，其特征在于，所述选择步骤中，选择单元对原始三维人脸数据的表情鲁棒区域进行截取，提取人脸到鼻子的局部有效区域，并直接过滤额头、嘴唇以及嘴角区域。

4.如权利要求2所述的基于深度图像的三维人脸描述方法，其特征在于，所述盖博响应计算步骤中，所述第一数据计算单元基于深度三维人脸数据，提取其表象特征，并利用预定义好的盖博滤波器系数，对三维人脸深度图像进行卷积运算，对每个深度图像像素获取得到其对应的盖博滤波响应向量。

5.如权利要求2或4所述的基于深度图像的三维人脸描述方法，其特征在于，所述盖博响应计算步骤中，所述盖博滤波器系数的定义如下：

其中，

u和v分别为盖博核函数中的方向和尺度信息；

z＝(x，y)，x，y是对应的时域分量；

，其中，代表最大的频域值，f是盖博核函数在频域中尺度的间隔量。

6.如权利要求2所述的基于深度图像的三维人脸描述方法，其特征在于，所述方法还包括获取视觉词典步骤，利用训练集中的三维人脸图像的盖博响应向量集合，通过聚类算法，以其聚类中心作为视觉词汇，将所有的词汇汇集在一起获取视觉词典。

7.如权利要求6所述的基于深度图像的三维人脸描述方法，其特征在于，所述聚类算法为K均值算法，包括如下步骤：

步骤1，对于数据对象集，任意选取K个对象作为初始的类中心；

步骤2，根据类中对象的平均值，将每个对象重新赋给最相似的类；

步骤3，更新类的平均值，即计算每个类中对象的平均值；

步骤4，跳回步骤2，循环进行步骤2和步骤3，直至所得平均值不再发生变化即停止。

8.如权利要求2所述的基于深度图像的三维人脸描述方法，其特征在于，所述第二储存单元中所储存的盖博响应向量组是mín的数据矩阵，其中，m为获取的聚类中心个数，n为盖博响应向量的维数。

9.如权利要求2所述的基于深度图像的三维人脸描述方法，其特征在于，所述直方图映射步骤中，通过计算每个像素盖博响应后的向量与其距离最近的视觉词汇，构建基于视觉词典的直方图描述，第二储存单元中存储的聚类中心为m个，则得到的对于三维人脸数据的直方图描述向量也为m维。

10.如权利要求9所述的基于深度图像的三维人脸描述方法，其特征在于，所述直方图映射步骤的具体步骤如下：

将三维人脸深度图像分割成一些局部纹理区域；

对每个盖博滤波响应向量，按照位置的不同将其映射到其对应的视觉分词典的词汇中，并以此为基础建立视觉词典直方图向量作为三维人脸的特征表达；

最近邻分类器被用来作为最后的人脸识别，并以L1距离作为距离度量，所述L1距离的定义为。