CN103714318A - 三维人脸配准方法 - Google Patents

Abstract

本发明涉及三维人脸配准方法，首先，把人脸当做椭球体放在坐标系中，把人脸的较长上下方向、中间长度的左右方向，宽度最小的前后方向分别当做坐标系的X、Y、Z轴，在此基础上使用主成分分析PCA，将主成分分析得到的三个特征向量分别对应人脸坐标轴的X、Y、Z轴并使主轴坐标系原点在z坐标最大的点处；接着，平移三维人脸数据，使Z坐标最大值点在人脸主轴坐标系的原点，即鼻尖点位于人脸主轴坐标系的原点；在主轴坐标系下，z坐标最大点可以近似认为鼻尖点；最后，将PCA方法应用于三维人脸配准，并用来确定鼻尖点候选点集。本发明提出使用PCA方法进行三维人脸的粗配准，在配准的同时定位出鼻尖点候选区域，该方法不仅运算量小而且能够简化后期特征点的选择工作。

Description

三维人脸配准方法

技术领域

本发明涉及三维人脸配准方法。

背景技术

人类对安全性考虑的增加使得人脸识别技术已经成为研究者关注的重点。在人脸识别技术中特征的提取技术起着关键的作用，这是因为三维人脸识别技术的实质是把人脸用特征来抽象的表示然后基于特征进行识别。目前常见的特征提取方法有基于二维人脸照片的也有基于三维人脸数据的。三维数据的信息量要远比二维照片丰富。加之三维人脸数据相比二维数据不受光照、姿态、表情等的影响，因此越来越多的研究者转向了三维人脸特征提取方面。

配准方法的实质就是寻找人脸模型与基准模型的对应关系，根据采用的对应关系的方法的不同，可以分为整体配准和逐片配准两大类。整体配准是寻找整个人脸之间的对应关系。逐片配准是把人脸按照一定的原则进行分解，然后一块一块的进行配准。根据配准是否分步，又可分为直接配准和粗精配准相结合的配准方法。当待配准的对象比较简单时通常采用粗配准算法，而对象比较复杂时一股采取粗精结合，先进行粗配准，然后再进行精配准，这样做的目的主要是为了减少工作量。常用的方法有标志点粗配准方法、ICP精配准方法和PCA粗配准方法。

标志点粗配准算法是借助于已经精确定位的特征点。该方法首先需要获取人脸的三个特征点，组成一个稳定的三角形框架。常用的三角形框架主要有鼻尖点与两个内眼角点组成的三角形框架，鼻尖点与外眼角点组成的三角形框架。在考虑到姿态的影响时，研究者发现外眼角的定位常常不那么准确。常用的三角形框架如图1所示。该算法的实质是基于待配准的人脸三角形与基准的人脸三角形进行配准，从其原理我们可以看出，该方法只能粗略的配准三维人脸。

该算法的主要流程为：

(1)定位人脸的鼻尖和内眼角或外眼角特征点，那么就可以形成待配准人脸的三角形框架和基准人脸的三角形框架，然后计算二者的质心和法向量。

(2)平移和旋转待配准的三维人脸的三角形，使其三角形的质心和法向量分别于基准人脸的三角形的质心与法向量相重合，这样就得到了两个共面的三角形。

(3)对改变后的待配准的三角形绕法向量进行旋转，其目的是使待配准三角形的顶点与基准三角形的顶点之间的距离的平方和最小，这样配准就完成了。

ICP精配准算法是最早提出来的配准方法。这是一种最近点迭代算法。该算法要求三维人脸数据已经进行了粗配准，否则该算法很难正常结束。而正常结束的算法的标准就是配准误差的平方和为最小。而在三维人脸识别方面，则是把待配准人脸与三维人脸库中的人脸点集进行一一对齐，把配准误差的平方和最小的那个人脸作为待识别人脸的身份，这里还必须考虑的一个问题是待配准人脸上的点的数目，ICP算法对点集数目的要求并不是很严格。但是待配准的人脸点集的数目必须小于基准人脸点集的数目，否则算法无法运行。另外我们还要考虑到表情和噪声对ICP算法是有影响的。本发明由于没有考虑表情对特征提取的影响，因此在这里也不予考虑表情的影响因素。ICP基本算法基本流程如下：

(1)给变量赋初值。

(2)对待配准人脸上的每个点，在基准人脸上查找距离最近的点，将这两组点集建立一一对应的关系。

(3)根据对应关系，建立转换矩阵，将待配准人脸上的每个点进行变换。

(4)求出待配准人脸上的每个点与基准人脸的对应点的距离。

(5)通过预先设定的条件来判断是否结束。如果超出阈值设定范围，则结束循环，配准完成。否则，返回第2步开始继续循环。

其中通过循环算法，对基准人脸上的每个点在待配准人脸上找到最近的点，这是算法中最重要的一步，计算量相当大，运行时间也特别长。研究者在遍历查找算法的基础上，提出了很多加速算法，比较成功的算法有k-d树算法和桶算法等。

发明内容

本发明提出使用PCA方法进行三维人脸的粗配准，在配准的同时定位出鼻尖点候选区域，该方法不仅运算量小而且能够简化后期特征点的选择工作。

本发明提供一种三维人脸配准方法，所述配准方法采用PCA方法，具体包括如下步骤：

首先，把人脸当做椭球体放在坐标系中，把人脸的较长上下方向、中间长度的左右方向，宽度最小的前后方向分别当做坐标系的X、Y、Z轴，在此基础上使用主成分分析PCA，将主成分分析得到的三个特征向量分别对应人脸坐标轴的X、Y、Z轴并使主轴坐标系原点在z坐标最大的点处；

接着，平移三维人脸数据，使Z坐标最大值点在人脸主轴坐标系的原点，即鼻尖点位于人脸主轴坐标系的原点；在主轴坐标系下，z坐标最大点可以近似认为鼻尖点；

最后，将PCA方法应用于三维人脸配准，并用来确定鼻尖点候选点集，其步骤主要如下：

(1)对三维人脸点集进行PCA降维处理，求取三维人脸数据的三个主轴(x₁，y₁，z₁)；

(2)对P(p₁，p₂…，p_n)进行平移和旋转，根据公式q_i=(x₁，y₁，z₁)^Tp_i，使之转移到(x₁，y₁，z₁)为坐标轴的坐标系下，由此得到Q(q₁，q₂…，q_n)，q_i为对应的点p_i在主轴坐标系中的坐标；

(3)把z坐标最大的点平移到主轴坐标系的原点，由此建立人脸在主轴坐标系下的点集，由此确定鼻尖点候选点集。

附图说明

通过参照附图更详细地描述本发明的示例性实施例，本发明的以上和其它方面及优点将变得更加易于清楚，在附图中：

图1为常用的三角形框架示意图；

图2为本发明的人脸主轴坐标系示意图；

图3为本发明的鼻尖点候选区域示意图。

具体实施方式

在下文中，现在将参照附图更充分地描述本发明，在附图中示出了各种实施例。然而，本发明可以以许多不同的形式来实施，且不应该解释为局限于在此阐述的实施例。相反，提供这些实施例使得本公开将是彻底和完全的，并将本发明的范围充分地传达给本领域技术人员。

在下文中，将参照附图更详细地描述本发明的示例性实施例。

PCA方法又称为K—L变换。该方法不仅是一种有效的人脸识别算法，也是一种有效的特征提取算法，在特征降维方面有不错的效果。其主要思想是使用一组正交向量尽可能去描述三维人脸。这组正交向量被称为主成分。其数学原理如下：

将一个在某一种坐标系下的向量x转换成用另一种基向量组成的坐标系表示，其基向量表示为μ_j，j=1，2，…，∞，对集合中的每一个x展开，可得：

$x=\underset{j=1}{\overset{\∞}{\mathrm{\Σ}}}{c}_j{\mathrm{\μ}}_j$                公式(2—1)

如果我们只用有限维坐标系来近似比表示这个无限多维基向量坐标则有：

$\hat{x}=\underset{j=1}{\overset{d}{\mathrm{\Σ}}}{c}_j{\mathrm{\μ}}_j$                公式(2—2)

这样引起的均方误差是：

$\mathrm{\ξ}=E\left[{(x-\hat{x})}^T(x-\hat{x})\right]$                公式(2—3)

K—L变换就可以实现这个均方误差最小，这是因为：

               公式(2—4)

因此

$\mathrm{\ξ}=E\left[\underset{j=d+1}{\overset{\∞}{\mathrm{\Σ}}}{c}_j^2\right]$                公式(2—5)

由于

$c_j={\mathrm{\μ}}_j^{T}x$                公式(2—6)

所以

$\mathrm{\ξ}=E\left[\underset{j=d+1}{\overset{\∞}{\mathrm{\Σ}}}{\mathrm{\μ}}_j^{T}x{x}^T{\mathrm{\μ}}_j\right]=\left[\underset{j=d+1}{\overset{\∞}{\mathrm{\Σ}}}{\mathrm{\μ}}_j^{T}E\right[{\mathrm{xx}}^T\left]{\mathrm{\μ}}_j\right]$                公式(2—7)

如果令ψ=E[xxT]则

当函数 $g\left({\mathrm{\μ}}_j\right)=\underset{j=d+1}{\overset{\∞}{\mathrm{\Σ}}}{\mathrm{\μ}}_j^T\mathrm{\ψ}{\mathrm{\μ}}_j-\underset{j=d+1}{\overset{\∞}{\mathrm{\Σ}}}{\mathrm{\λ}}_j[{\mathrm{\μ}}_j^T{\mathrm{\μ}}_j-1]$ 在符合正交条件式的情况下，使用拉格朗日乘子法求解对μ_j，j=d+1，…，∞求导数，因此有：

(ψ-λ_jI)μ_j=0，j=d+1，…，∞               公式(2—8)

令d＝0，有以下结论：

可见向量μ_j，j=d+1，…，∞应是矩阵ψ的特征向量，而此时的均方误差

$\mathrm{\ξ}=\underset{j=d+1}{\overset{\∞}{\mathrm{\Σ}}}{\mathrm{\λ}}_j$                    公式(2—9)

其中矩阵ψ的特征值为：λ_j。

我们很容易得出结论：把矩阵ψ的特征值按从大到小排列，当依次取从大到小的特征值对应的特征向量时，均方误差为最小。

这就是K—L变换。它是从对给定的数据集进行计算产生的，给定的数据集不同，则得到的K—L变换基函数也就不同，正是因为它对给定数据集存在依赖关系，在降低维数时的同时仍能较好的描述数据。

精配准算法是一种迭代型的算法，需要通过查找最近点找到对应关系，因此运行时间较长。而且精配准算法的使用必须在粗配准的基础上进行，如果直接进行精配准，这不仅运算量大，而且有可能导致不能收敛而程序不能正常结束。而基于标志点的配准算法则要求在准确定位特征点的基础之上，PCA方法则没有这么多的要求，而且根据人脸的结构特点，使用PCA方法进行配准是可行的。本发明考虑到下一步的特征提取以及采用的为北京工业大学的三维人脸库，该数据库在采集数据时对数据做了一定的处理工作，去除了头发等的遮挡，而且对缺少的数据进行了补充，因此可以认为数据是对称的。本发明采用PCA方法是合理的，而且还能定位出鼻尖点候选区域，大大了减轻了本发明的工作量。而且采用PCA方法进行三维人脸的粗配准，就能满足特征提取的需要。PCA方法的主要原理就是将人脸转换到主轴坐标系下。其中人脸主轴坐标系如下图2所示。

我们在研究人脸几何结构的基础上发现，人脸不仅具有三庭五眼的特点，而且人脸的形状类似于一个椭球体。当把人脸当做椭球体放在坐标系中，就可以把人脸的较长上下方向、中间长度的左右方向，宽度最小的前后方向分别当做坐标系的X、Y、Z轴。如果在此基础上使用主成分分析PCA，将主成分分析得到的三个特征向量分别对应人脸坐标轴的X、Y、Z轴并使主轴坐标系原点在z坐标最大的点处。可知鼻尖点应该在原点附近。在此基础上，如果我们平移三维人脸数据，使Z坐标最大值点在人脸主轴坐标系的原点，即鼻尖点位于人脸主轴坐标系的原点。这种方法在三维人脸配准方法不仅准确快速，而且使用这种方法可以定位出鼻尖点的候选点集，减少了后续工作的计算量，而且对确定其他特征点候选点集中有很大帮助。

在主轴坐标系下，z坐标最大点可以近似认为鼻尖点。可将PCA方法应用于三维人脸配准，还能用来确定鼻尖点候选点集，其流程主要如下：

(1)对三维人脸点集进行PCA降维处理，求取三维人脸数据的三个主轴(x₁，y₁，z₁)。

(2)对P(p₁，p₂…，p_n)进行平移和旋转，根据公式q_i=(x₁，y₁，z₁)^Tp_i，使之转移到(x₁，y₁，z₁)为坐标轴的坐标系下，由此得到Q(q₁，q₂…，q_n)。q_i为对应的点p_i在主轴坐标系中的坐标。

(3)把z坐标最大的点平移到主轴坐标系的原点，由此建立了人脸在主轴坐标系下的点集，由此我们可以确定鼻尖点候选点集。

我们使用PCA方法得到的鼻尖点候选区域如图3所示。

本发明对三维人脸数据库进行基于PCA的粗配准方法。该方法在很大程度上减轻了运算复杂度而且定位出了鼻尖点候选区域，取得了非常不错的效果。这大大减少了后期对其他特征点点集的选择工作。

以上所述仅为本发明的实施例而已，并不用于限制本发明。本发明可以有各种合适的更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.三维人脸配准方法，其特征在于：

所述配准方法采用PCA方法，具体包括如下步骤：

首先，把人脸当做椭球体放在坐标系中，把人脸的较长上下方向、中间长度的左右方向，宽度最小的前后方向分别当做坐标系的X、Y、Z轴，在此基础上使用主成分分析PCA，将主成分分析得到的三个特征向量分别对应人脸坐标轴的X、Y、Z轴并使主轴坐标系原点在z坐标最大的点处；

接着，平移三维人脸数据，使Z坐标最大值点在人脸主轴坐标系的原点，即鼻尖点位于人脸主轴坐标系的原点；在主轴坐标系下，z坐标最大点可以近似认为鼻尖点；

最后，将PCA方法应用于三维人脸配准，并用来确定鼻尖点候选点集，其步骤主要如下：

(1)对三维人脸点集进行PCA降维处理，求取三维人脸数据的三个主轴(x₁，y₁，z₁)；

(2)对P(p₁，p₂…，p_n)进行平移和旋转，根据公式q_i=(x₁，y₁，z₁)^Tp_i，使之转移到(x₁，y₁，z₁)为坐标轴的坐标系下，由此得到Q(q₁，q₂…，q_n)，q_i为对应的点p_i在主轴坐标系中的坐标；

(3)把z坐标最大的点平移到主轴坐标系的原点，由此建立人脸在主轴坐标系下的点集，由此确定鼻尖点候选点集。

Images