CN105740851A - 三维人脸的自动定位方法、曲面配准方法和系统 - Google Patents

Abstract

本发明公开了三维人脸的鼻尖点自动定位的方法、三维人脸的特征点自动定位的方法、三维人脸曲面配准方法和系统，为任意张不同的三维人脸曲面建立生理上密集的点到点对应关系。其技术方案为：选择一张三维人脸曲面，找到鼻尖点并进行姿态归一化校正，寻找多个特征点，经过球形重采样与三角形网格面曲面重构后成为参考脸；输入多张三维人脸曲面，找到鼻尖点并进行姿态归一化校正，寻找和参考脸对应的多个特征点；以特征点为基准，将参考脸变形拟合到目标脸上；在拟合后的目标脸上找到参考脸的每个顶点对应的最近点，作为生理上的对应点，按照参考脸的网络结构将目标脸上的生理上的对应点重构成三维曲面，完成目标脸与参考脸的配准。

Description

三维人脸的自动定位方法、曲面配准方法和系统

技术领域

本发明涉及一种模式识别和计算机视觉技术，尤其涉及一种新的三维人脸的鼻尖点自动定位的方法、三维人脸的特征点自动定位的方法、三维人脸曲面自动配准方法和系统，用于为任意张不同的三维人脸自动建立生理上的点到点密集对应关系，可以应用到人脸识别、生物特征分析等领域。

背景技术

随着三维扫描与成像技术的发展，生物个体特别是人脸的三维数据可以很轻易地得到，这些三维数据已经越来越广泛地应用于生物医学及相关领域。近10年来，以3dMD公司为代表的厂商生产的三维物体表面成像设备以其快速、高分辨率，并且附带物体颜色纹理信息而广泛地被众多研究机构以及医院采用。一般来说，三维表面成像设备输出的三维图形是由密集的三角形或者多边形网格构成的三维曲面。

三维人脸曲面的后续处理和分析通常要求不同个体的三维人脸曲面彼此精密地配准，也就是说要为不同的三维人脸曲面之间建立点到点的密集对应关系。国际上三维人脸曲面配准技术在上世纪90年代就已经兴起，配准方法有刚性和非刚性之分。前者对人脸使用刚性变换(如平移、旋转、缩放等)，后者则使用变形方法使三维人脸之间更好地拟合在一起，从而使找到的对应点更加精确。

对于刚性的配准方法来讲，目前使用最广泛的是迭代最近点(ICP,IterativeClosestPoint)算法。该方法通过在一张脸上寻找另外一张脸的每个顶点的对应点，求出一种最佳的平移和旋转变换使这些点对最好地拟合在一起，并依此方式反复迭代。尽管该方法易于实现，但是使用ICP方法得到的对应点并不是生理上的对应点，这个缺点源于它只对三维人脸曲面实行了刚性的变换。从另一方面来讲，非刚性方法由于对三维人脸曲面采用了弯曲和形变，因而能使三维人脸曲面更好的拟合在一起，从而求出来的对应点也更加接近生理上的对应点。一种典型的曲面变形方法就是薄板样条(TPS,ThinPlateSpline)方法。TPS方法是一种以基准点为指导的曲面变形方法，该方法通过将曲面弯曲变形使两个曲面上的基准点对重合在一起，并且这种弯曲变形的弯曲能量是最小的。

在部分文献中，研究者需要在三维人脸曲面上手动标定基准点。然而在通常的研究中，需要对几百甚至上千幅三维人脸曲面进行分析，在这种场合下，通过手动标定基准点的方法就行不通了。

大多数自动特征点标定方法通常使用基于曲率的曲面特征，其中最常用的两个特征是HK曲率和形状索引(SI,ShapeIndex)。这种基于曲率特征的方法对存在较多有毛刺噪声或者不规整的曲面的鲁棒性差，而且也不能很好地利用曲面的纹理特征。

大多数现存的三维人脸配准方法都假设要处理的人脸是正面姿态或者接近正面的姿态，因而这些方法对三维人脸的旋转很敏感，从而限制了它们的应用范围。

大部分现存的三维人脸曲面配准方法都不能为侧脸建立良好的点到点对应关系，因此这些方法通常先将正脸裁剪下来(侧脸被剔除)，然后进行配准。然而对于大部分生物医学相关的后续研究来讲，侧脸的信息或者其对应关系都是不可或缺的。

现存的三维人脸曲面配准方法的另外一个常见的缺点是配准后的人脸只含有形状信息而没有颜色纹理信息，配准后的三维人脸因为丢失了颜色信息，不仅视觉效果差，而且不利于后续研究。

因此，设计一种好的三维人脸配准方法，使之能够很好地解决以上所述的缺陷，是需要解决的关键问题。

发明内容

本发明的目的在于解决上述问题，提供了三维人脸的鼻尖点自动定位的方法。

本发明还提供了一种三维人脸的特征点自动定位的方法。

本发明还提供了一种三维人脸曲面配准方法，适用于任意姿态的三维人脸曲面配准，且参考脸结构非常均匀。

本发明的另一目的在于提供了一种三维人脸曲面配准系统，适用于任意姿态的三维人脸曲面配准，且参考脸结构非常均匀。

本发明的技术方案为：本发明揭示了一种三维人脸的鼻尖点自动定位的方法，其包括如下步骤：

(1)选取三维人脸曲面中若干顶点作为可能的鼻尖点；

(2)确定每个可能的鼻尖点的周围邻域；

(3)对每个可能的鼻尖点的周围邻域的所有顶点进行球面拟合，计算最佳拟合球面的半径r和拟合误差e，并根据r和e生成一个鼻尖点的可能性评判函数f，根据f定位鼻尖点。

根据本发明的三维人脸的鼻尖点自动定位的方的一实施例，步骤(1)中，如果人脸的三维数据包含颜色信息，先利用颜色信息进行皮肤检测，然后只选取颜色与人脸皮肤相近的点作为可能的鼻尖点。

根据本发明的三维人脸的鼻尖点自动定位的方的一实施例，步骤(1)中，如果拍摄时人脸的姿态都接近正面，只选取人脸曲面最前面的部分顶点作为可能的鼻尖点。

根据本发明的三维人脸的鼻尖点自动定位的方的一实施例，如果步骤(1)中选中的某一可能的鼻尖点的判据值f大于某一阈值N，则其它可能的鼻尖点中，与该点距离小于D的点都不再作为可能的鼻尖点。

根据本发明的三维人脸的鼻尖点自动定位的方的一实施例，N的取值范围可以是22到28之间的任意值，相应的，D的取值范围可以是5mm到9mm之间的任意值。

根据本发明的三维人脸的鼻尖点自动定位的方的一实施例，步骤(2)中，周围邻域可以是球形邻域。

根据本发明的三维人脸的鼻尖点自动定位的方的一实施例，步骤(3)的具体方法为：假设某个可能的鼻尖点p的周围邻域内包含k个顶点，第n个顶点的坐标表示为(x_n,yn,z_n)。于是构造两个矩阵

$A=\left[\begin{array}{c}{x}_1^2+y_1^2+z_1^2\\ .\\ .\\ .\\ x_k^2+y_k^2+z_k^2\end{array}\right]---\left(1\right)$

$B=\left[\begin{array}{ccc}{x}_1& ...& x_k\\ y_1& ...& y_k\\ z_1& ...& z_k\\ 1& ...& 1\end{array}\right]---\left(2\right)$

其中A为k×1的矩阵，B为4×k的矩阵。由这两个矩阵求出1个4×1的矩阵W

W＝(BB^T)^-1BA(3)

进而可以求出最佳拟合球面的半径

$r=\sqrt{W\left(4\right)+\frac{1}{4}(W{\left(1\right)}^2+W{\left(2\right)}^2+W{\left(3\right)}^2)}---\left(4\right)$

式中W(*)代表矩阵W的第*个元素。拟合误差可以用下式求得

$e=\frac{1}{k}\sqrt{{(A-B^{T}W)}^T(A-B^{T}W)}---\left(5\right)$

鼻尖点的可能性评判函数f由e和r计算得到，即

f＝e(12＋|r-12|)(6)

对于每个可能的鼻尖点，都利用其周围邻域计算出其f值，将f值最小的顶点定为鼻尖点。

本发明还揭示了一种三维人脸的特征点自动定位的方法，其包括如下步骤：

(1)选取M个三维人脸作为训练集，

(2)在训练集上手动标注出特征点；

(3)对训练集的特征点构建局部块向量；

(4)将主成份分析方法应用到训练集的M个局部块向量，求出平均局部块向量、协方差矩阵及其第i大的特征值λ_i及相应的特征向量u_i，使用最大的k个特征值对应的特征向量构建特征点的局部块特征空间U；

(5)对目标脸的特征点进行粗略定位；

(6)在目标脸的高度图和灰度图上，选取特征点的粗略位置为中心的长为L、宽为W的邻域或直径为W的圆形邻域作为特征点的搜索区域；

(7)对特征点的搜索区域内的每一个点构建局部块向量T；

(8)将特征点的搜索区域内的每一个点的T投影到U上，得到投影向量T’，计算判据η，从搜索区域所有点中选择η值最小的点作为最终的特征点，并将该点返回(映射)到原三维曲面上，得到特征点的精确定位。

根据本发明的三维人脸的特征点自动定位的方法的一实施例，自动定位的特征点是4个眼角点和/或2个嘴角点。

根据本发明的三维人脸的特征点自动定位的方法的一实施例，步骤(1)中，M的取值在32到128之间。

根据本发明的三维人脸的特征点自动定位的方法的一实施例，生成高度图和灰度图并构建局部块向量的方法包括如下步骤：

(1)对三维人脸曲面进行姿态归一化校正；

(2)对三维人脸进行均匀重采样得到高度图和颜色图；

(3)将三维人脸的颜色图经过灰度化后得到灰度图；

(4)在三维人脸的高度图和灰度图上以特征点为中心分别选取长为L、宽为W的局部高度块和局部灰度块；

(5)将三维人脸的特征点的局部高度块和局部灰度块分别做归一化，使其均方值为1；

(6)将三维人脸的局部高度块按行连接构成一个LW×1的列向量，称局部高度块向量；将局部灰度块按行连接构成一个LW×1的列向量，称为局部灰度块向量，将两个向量拼在一起构成一个2LW×1的列向量，称为局部块向量；

根据本发明的三维人脸的特征点自动定位的方法的一实施例，对三维人脸曲面进行姿态归一化校正包括如下步骤：

(1)对三维人脸的鼻尖点进行定位；

(2)取出以鼻尖点为中心半径为R的球形邻域内所有顶点；

(3)用最小二乘法求出这些点的最佳拟合平面，并将该平面的法向量作为z轴；

(4)将该球形邻域内位于该最佳拟合平面(称为参考平面)之上的顶点取出并用PCA的方法求出其主轴，将主轴在参考平面上的投影做为y轴；

(5)将鼻尖点沿z轴负方向140mm处设为原点；

(6)取与y轴和z轴垂直且满足右手螺旋关系的方向作为x轴。

根据本发明的三维人脸的特征点自动定位的方法的一实施例，对三维人脸进行的均匀重采样的采样间距可以为0.5mm到2.0mm之间，每个采样点都具有位置坐标信息和颜色纹理信息。

根据本发明的三维人脸的特征点自动定位的方法的一实施例，灰度化的方法是将彩色RGB图像转换到YCrCb空间，其Y分量就是灰度图。

根据本发明的三维人脸的特征点自动定位的方法的一实施例，L和W的值均在8mm到24mm之间。

根据本发明的三维人脸的特征点自动定位的方法的一实施例，步骤(4)中，k的值在12到24之间。

根据本发明的三维人脸的特征点自动定位的方法的一实施例，步骤(4)中，k的值为16。

本发明揭示了一种三维人脸曲面配准方法，包括：

选择一张三维人脸曲面，采用球面拟合法找到鼻尖点并进行姿态归一化校正，自动寻找多个特征点，经过球形重采样与三角形网格面曲面重构后成为参考脸；

输入多张三维人脸曲面，采用球面拟合法找到鼻尖点并进行姿态归一化校正，自动寻找和所述参考脸对应的所述多个特征点；

以所述特征点为基准，使用薄板样条方法将所述参考脸变形拟合到所述目标脸上；

在所述拟合后的目标脸上找到所述参考脸的每个顶点对应的最近点，作为生理上的对应点，按照所述参考脸的网络结构将所述目标脸上的所述生理上的对应点重构成三维曲面，完成所述目标脸与所述参考脸的配准。

根据本发明的三维人脸曲面配准方法的一实施例，在完成配准之后还包括：

采用普遍性普鲁克分析方法计算出经过参考脸配准的多张目标脸的平均脸；

将所述平均脸作为新的参考脸替换原来的参考脸继续进行配准。

根据本发明的三维人脸曲面配准方法的一实施例，所述多个特征点分为6个关键特征点和11个其余特征点，对于自动寻找多个特征点的步骤具体包括：

将姿态归一化校正后的三维人脸曲面进行均匀重采样得到高度图和颜色图，所述颜色图经过灰度化后得到灰度图；

将主成分分析方法应用到每个所述关键点的归一化局部高度图和局部灰度图，得到所述6个关键特征点对应的特征空间，进而自动寻找到所述6个关键特征点；

用启发式方法自动寻找11个所述其余特征点；

其中所述6个关键特征点分别是4个眼角点和2个嘴角点，所述11个其余特征点分别是人脸中轴面上的鼻梁点、鼻尖点、鼻下点、上下嘴唇边缘点，嘴唇中点、下巴点以及非中轴面上的两个鼻下边点和两个耳垂点。

根据本发明的三维人脸曲面配准方法的一实施例，所述三维人脸曲面由三角形或多边形网格构成，网格的每个顶点不仅具有坐标位置信息，且具有颜色纹理信息。

本发明还揭示了一种三维人脸曲面配准系统，包括：

参考脸形成模块，选择一张三维人脸曲面，采用球面拟合法找到鼻尖点并进行姿态归一化校正，自动寻找多个特征点，经过球形重采样与三角形网格面曲面重构后成为参考脸；

三维人脸曲面处理模块，输入多张三维人脸曲面，采用球面拟合法找到鼻尖点并进行姿态归一化校正，自动寻找和所述参考脸对应的所述多个特征点；

参考脸拟合模块，以所述多个特征点为基准，使用薄板样条方法将所述参考脸变形拟合到所述目标脸上；

配准模块，在所述拟合后的目标脸上找到所述参考脸的每个顶点对应的最近点，作为生理上的对应点，按照所述参考脸的网络结构将所述目标脸上的所述生理上的对应点重构成三维曲面，完成所述目标脸与所述参考脸的配准。

根据本发明的三维人脸曲面配准系统的一实施例，还包括：

平均脸计算模块，采用普遍性普鲁克分析方法计算出经过参考脸配准的多张目标脸的平均脸；

参考脸替换模块，将所述平均脸作为新的参考脸替换原来的参考脸继续进行配准。

根据本发明的三维人脸曲面配准系统的一实施例，所述多个特征点分为6个关键特征点和11个其余特征点，其中所述6个关键特征点分别是4个眼角点和2个嘴角点，所述11个其余特征点分别是人脸中轴面上的鼻梁点、鼻尖点、鼻下点、上下嘴唇边缘点，嘴唇中点、下巴点以及非中轴面上的两个鼻下边点和两个耳垂点，所述参考脸形成模块以及所述三维人脸曲面处理模块中均包括：

均匀重采样单元，将姿态归一化校正后的三维人脸曲面进行均匀重采样得到高度图和颜色图，所述颜色图经过灰度化后得到灰度图；

关键特征点寻找单元，将主成分分析方法应用到每个所述关键点的归一化局部高度图和局部灰度图，得到所述6个关键特征点对应的特征空间，进而自动寻找到所述6个关键特征点；

其余特征点寻找单元，用启发式方法自动寻找11个所述其余特征点。

根据本发明的三维人脸曲面配准系统的一实施例，所述三维人脸曲面由三角形或多边形网格构成，网格的每个顶点不仅具有坐标位置信息，且具有颜色纹理信息。

本发明对比现有技术有如下的有益效果：本发明通过球面拟合法在三维人脸曲面上准确地找到鼻尖点的位置，从而方便对人脸曲面进行姿态归一化调节，采用主成分分析方法和启发式方法，结合形状信息和颜色信息，提高了特征点标定精度和正确性，能够在三维人脸上自动寻找17个特征点，提出了球形球面重采样和曲面重构方法，使三维人脸曲面在结构上更均匀，而且很好地保留了侧脸，并且能够自动建立生理上的密集点到点对应关系而不是传统的配准方法所建立的普通(非生理上)的对应关系。

具体实施方式

下面实施例对本发明作进一步的描述。

实施例1三维人脸曲面配准方法

三维人脸曲面配准方法的详细步骤如下。

步骤1：选择一张三维人脸曲面，采用球面拟合法找到鼻尖点并进行姿态归一化校正，自动寻找多个特征点，经过球形重采样与三角形网格面曲面重构后成为参考脸。

本实施例中所指的多个特征点分为6个关键特征点和11个其余特征点，其中6个关键特征点分别是：4个眼角点和2个嘴角点，11个其余特征点分别是人脸中轴面上的鼻梁点、鼻尖点、鼻下点、上下嘴唇边缘点，嘴唇中点、下巴点以及非中轴面上的两个鼻下边点和两个耳垂点。

本实施例对三维人脸曲面进行均匀采样，采样间距为1.0mm，三维人脸曲面由密集的三角形网格构成，网格中的每个顶点均有三维坐标位置信息以及颜色纹理信息。本实施例对所有的人脸曲面均采用统一的坐标系。

本步骤是从三维人脸曲面库中选取的一张形状规则(毛刺、噪声或者漏洞较少)的三维人脸曲面，从中自动找出17个特征点并用球形重采样与三角形网格曲面重构的方法得到一张网格结构均匀的三维人脸曲面作为参考脸。

考虑到人脸曲面近似椭球形，因此本发明采用球形重采样法，这就很好地避免了采样点重叠问题。球形重采样的具体实施步骤是：首先，将完整脸的网格曲面的三维顶点坐标球形参数化，然后使用前述的均匀采样法得到四边形网格曲面。

完成了球形重采样之后，接下来进行三角形网格曲面重构，具体步骤是：首先，将球形重采样得到的四边形网格重构成三角形网格，然后将所有的采样点逆球形参数化返回原来的三维坐标系。

原先的完整脸经过球形重采样和三角形网格曲面重构之后，便得到一张结构均匀的参考脸。参考脸相对与完整脸来讲结构更均匀，并且保持了完整脸的形状(两者形状一致)。

上述的球形重采样和三角形网格曲面重构方法需要用到球形参数化和逆球形参数化，其具体公式将在下面介绍。

对于完整脸上的任一个顶点(x_i,y_i,z_i)，其球形参数化公式如下：

其中是反正切函数的拓展，它的返回值代表z轴到向量的角度，取值区间为(-π,π]。相应的逆球形化公式为

得到参考脸之后，此后就可以将目标脸与参考脸进行配准了。

步骤2：输入多张三维人脸曲面，采用球面拟合法找到鼻尖点并进行姿态归一化校正，自动寻找和参考脸对应的多个特征点。

采用球面拟合法自动寻找鼻尖点的步骤详述如下。

假设目标曲面上某个顶点p的d毫米球形邻域内包含k个顶点，第n个顶点的坐标表示为(x_n,y_n,z_n)。于是构造两个矩阵

$A=\left[\begin{array}{c}{x}_1^2+y_1^2+z_1^2\\ .\\ .\\ .\\ x_k^2+y_k^2+z_k^2\end{array}\right]---\left(7\right)$

$B=\left[\begin{array}{ccc}{x}_1& ...& x_k\\ y_1& ...& y_k\\ z_1& ...& z_k\\ 1& ...& 1\end{array}\right]---\left(8\right)$

其中A为k×1的矩阵，B为4×k的矩阵。由这两个矩阵求出1个4×1的矩阵W

W＝(BB^T)-¹BA(9)

进而可以求出最佳拟合球面的半径

$r=\sqrt{W\left(4\right)+\frac{1}{4}(W{\left(1\right)}^2+W{\left(2\right)}^2+W{\left(3\right)}^2)}---\left(10\right)$

式中W(*)代表矩阵W的第*个元素。拟合误差可以用下式求得

$e=\frac{1}{k}\sqrt{{(A-B^{T}W)}^T(A-B^{T}W)}---\left(11\right)$

鼻尖点的可能性评判函数f由e和r计算得到，即

f＝e(12+|r-12|)(12)

对于目标曲面上的每个顶点，都利用其半径为d的球形邻域像素计算出其f值，并且当该球形邻域为凹曲面时将f值乘以-1。判断一个局部曲面凸凹的方法是：如果该曲面的中心点位于其最佳拟合球面的球心的下面，则认为该曲面是凹曲面；否则，认为该曲面是凸曲面。从实验中发现，f的绝对值最小的那一部分顶点通常聚集在鼻尖点周围，并且越靠近鼻尖点f的绝对值有越来越小的趋势，因此将f的绝对值最小的顶点定为鼻尖点。

在找到鼻尖点之后，接下来就可以利用该鼻尖点对目标脸进行姿态归一化校正。利用鼻尖点进行姿态归一化校正的具体步骤是：首先取出以鼻尖点为中心半径为60mm的球形邻域内所有顶点，用最小二乘法求出这些点的最佳拟合平面，并将该平面的法向量作为z轴；然后将该球形邻域内位于该最佳拟合平面(称为参考平面)之上的顶点取出并用主成分分析(PCA，PrincipleComponentAnalysis)的方法求出其主轴，将主轴在参考平面上的投影做为y轴；将鼻尖点沿z轴负方向140mm处设为原点；当原点、z轴和y轴确定了之后，x轴的方向可根据右手螺旋法则确定，具体方法是取与y轴和z轴垂直且满足右手螺旋关系的方向作为x轴。

对于自动寻找多个特征点，先将姿态归一化校正后的三维人脸曲面进行均匀重采样得到高度图和颜色图，颜色图经过灰度化后得到灰度图，然后将PCA方法应用到每个关键点的归一化局部高度图和局部灰度图，得到6个关键特征点对应的特征空间，进而自动寻找到6个关键特征点，最后用启发式方法自动寻找11个所述其余特征点。

详细而言，对目标脸进行姿态归一化校正之后，接下来需要粗略定位6个关键特征点。具体实施方法是：先将训练样本集的每个三维人脸曲面采用与目标脸一样的方法进行鼻尖点定位与姿态归一化校正，然后求出训练样本集中每个关键特征点位置坐标的平均值，最后将这6个平均特征点沿z轴投影到目标脸上，得到的6个投影点就是目标脸的6个关键特征点的粗略估计位置。

因为模式识别方法一般处理二维图像数据，因此需要将三维人脸曲面转化为二维点阵数据或者说是二维矩阵以方便对关键特征点进行精确定位。这里采用的二维化方法是均匀采样法，即沿x轴方向和y轴方向对目标脸曲面进行等间距采样，两个方向的采样间距均为1mm。均匀采样方法的主旨思想是求三维曲面上每个采样点处的最高点，因为比它低的点如果存在的话将被该点覆盖因而是不可见的。考虑到人脸曲面上特征点的分布，因而不必对整张脸进行采样(例如头发、脖子等无需采样)，只需要将采样区域限制在某个范围即可。x方向的采样范围为-p到p-1，y方向的采样范围为-q到q-1，因此实际上只有2p×2q个采样点。p与q的典型值分别为100和80。这些采样点都拥有三维坐标，并且x坐标和y坐标均为整数。在对目标脸曲面进行采样得到每个数据点的高度信息的同时，也对其关联的颜色纹理图进行采样得到每个数据点的相应的颜色纹理信息。将彩色纹理图灰度化之后得到一幅灰度纹理图像，称为灰度图。灰度化的方法是将彩色RGB图像转换到YCrCb空间，其Y分量就是灰度图。用PCA的方法，结合高度图和灰度图，在图中定位出6个关键特征点，并将这6个特征点返回(映射)到原来的三维人脸曲面，得到6个关键特征点在原三维人脸曲面上的位置(三维坐标)。下面将介绍使用PCA方法定位6个关键特征点的详细步骤。

首先是训练阶段，需要使用m(m的典型值为80，最好是64到128之间)个训练样本(三维人脸曲面)。首先在训练样本上手动标注出6个关键特征点，然后使用上述方法得出每个训练样本的高度图及灰度图。

在对样本进行训练之前，需要先对局部块做归一化。具体方法是：首先将局部高度块的所有元素减去其中央元素的值(即关键特征点的高度值)，然后将局部高度块和局部灰度块分别做归一化，使其均方值为1。接下来需要将PCA方法应用到这m个样本(局部块向量)，从而为关键特征点的局部块建立特征空间。

可以求出这些局部块向量的均值相应的协方差矩阵可以证明C是对称矩阵。求出它的第i大的特征值λ_i及相应的特征向量u_i，满足Cu_i＝λ_iu_i,1≤i≤m。于是得到特征空间U＝[u₁,u₂,...,u_k],k＜m，k的典型值为16，最好是在12到24之间。以上步骤便是训练过程，接下来是识别过程，也就是目标脸对6个关键特征点分别进行精确定位的过程。

接下来要按照与训练样本一样的方法对目标脸均匀采样得到高度图和灰度图。前面已经从目标脸上找到了6个关键特征点的粗略位置，因此可以在高度图和灰度图上以每个关键特征点的粗略位置为中心的24×24邻域作为搜索区域，并假设关键特征点的精确位置在这个区域内。区域内的每个点都是候选点，即认为它可能是关键特征点。

在完成了6个关键特征点的精确定位之后，接下来需要使用启发式方法定位其它11个特征点。这是相当容易办到的，因为这11个特征点的位置与已经精确定位的6个关键特征点的位置具有强烈的关联性。首先选几幅三维人脸，在这些脸上手动标注出17个特征点并将这些脸上的各个特征点求平均得到17个平均特征点。根据这17个平均特征点中6个关键特征点与其它11个特征点的关系，可以比较精确地预测目标脸上11个特征点的位置。因此每个特征点的搜索区域就限制在预测点周围的很小一个区域，运用一定的模型或者约束，就可以精确地定位这11个特征点。

在定位11个特征点之前，利用已经精确定位的6个关键特征点调整目标脸的坐标系，具体方法是：以该6个关键特征点的最佳拟合平面的法向量为z轴，两个嘴角点的中心到四个眼角点中心的向量到该最佳拟合平面的投影作为y轴，再按照右手螺旋关系确定x轴。

根据6个关键特征点可以确定目标脸的中轴面，中轴面与目标脸三维曲面相交得到的曲线就是中轴线。在中轴线上，可以轻而易举地找到一系列特征点。例如，可以将z坐标最大的点定为鼻尖点。找到鼻尖点之后需要进一步修正目标脸坐标系的坐标原点，方法是将位于鼻尖点以下140mm的点作为坐标原点。其它几个特征点的定位可依据具体模型，有很多种建模方法，由于太繁琐，这里不再叙述。

步骤3：以特征点为基准，使用薄板样条方法将参考脸变形拟合到目标脸上。

在本步骤中采用TPS弯曲变形法和最近点查找法。下面介绍目标脸与参考脸进行配准的步骤。

一个是目标脸，另外一个是参考脸。两个脸上都标定了17个特征点。以这17个特征点为基准点，用TPS方法将参考脸曲面弯曲拟合到目标脸曲面。这样一来，参考脸的17个特征点与目标脸的17个特征点是完全重合的。两张脸上除这17个点以外的区域也很好地拟合到一起了，这就为两张脸的精确配准创造了条件。然后在目标脸曲面上为参考脸曲面的每个顶点寻找一个最近的点作为生理上的对应点，从而得到目标脸与参考脸生理上密集的点到点对应关系。得到这些对应点之后，就可以按照参考脸的网格结构，将目标脸上的这些对应点重构成三维曲面，并且重构后的三维曲面形状外观与原目标脸是一致的。

实施例2三维人脸曲面配准系统

本实施例的三维人脸曲面配准系统包括：参考脸形成模块、三维人脸曲面处理模块、三维人脸曲面处理模块、配准模块。

这些模块之间的连接关系是：参考脸形成模块和三维人脸曲面处理模块的输出端连接三维人脸曲面处理模块，三维人脸曲面处理模块的输出端连接配准模块。

参考脸形成模块选择一张三维人脸曲面，采用球面拟合法找到鼻尖点并进行姿态归一化校正，自动寻找多个特征点，经过球形重采样与三角形网格面曲面重构后成为参考脸。

参考脸形成模块分为参考脸三维人脸曲面输入单元、参考脸鼻尖寻找单元、参考脸姿态归一化校正单元、参考脸均匀重采样单元、参考脸关键特征点寻找单元、参考脸其余特征点寻找单元、参考脸球形重采样单元以及参考脸三角形网格曲面重构单元。

参考脸三维人脸曲面输入单元接收参考脸的三维人脸曲面输入，交给参考脸鼻尖寻找单元来处理。

参考脸鼻尖寻找单元采用球面拟合法找到鼻尖点，具体的查找方法在前述方法实施例中已经描述，在此不再赘述。

然后，参考脸姿态归一化校正单元根据找到的鼻尖点进行姿态归一化校正，具体的姿态归一化校正的过程在前述方法实施例中已经描述，在此不再赘述。

然后，参考脸均匀重采样单元将姿态归一化校正后的三维人脸曲面进行均匀重采样得到高度图和颜色图，颜色图经过灰度化后得到灰度图。

参考脸关键特征点寻找单元将PCA方法应用到每个关键点的归一化局部高度图和局部灰度图，得到6个关键特征点对应的特征空间，进而自动寻找到6个关键特征点。这里的6个关键特征点分别是4个眼角点和2个嘴角点。

参考脸其余特征点寻找单元用启发式方法自动寻找11个其余特征点。这里的11个其余特征点分别是人脸中轴面上的鼻梁点、鼻尖点、鼻下点、上下嘴唇边缘点，嘴唇中点、下巴点以及非中轴面上的两个鼻下边点和两个耳垂点。

参考脸球形重采样单元进行球形重采样的处理，具体处理过程在前述方法实施例中已经详述。

参考脸三角形网格曲面重构单元进行三角形网格曲面重构，具体处理过程在前述方法实施例中已经详述。

三维人脸曲面处理模块输入多张三维人脸曲面，采用球面拟合法找到鼻尖点并进行姿态归一化校正，自动寻找和参考脸对应的多个特征点。

三维人脸曲面处理模块包括目标脸三维人脸曲面输入单元、目标脸鼻尖点寻找单元、目标脸姿态归一化校正单元、目标脸均匀重采样单元、目标脸关键特征点寻找单元、目标脸其余特征点寻找单元。

目标脸三维人脸曲面输入单元接收目标脸的三维人脸曲面输入，交给目标脸鼻尖寻找单元来处理。

目标脸鼻尖寻找单元采用球面拟合法找到鼻尖点，具体的查找方法在前述方法实施例中已经描述，在此不再赘述。

然后，目标脸姿态归一化校正单元根据找到的鼻尖点进行姿态归一化校正，具体的姿态归一化校正的过程在前述方法实施例中已经描述，在此不再赘述。

然后，目标脸均匀重采样单元将姿态归一化校正后的三维人脸曲面进行均匀重采样得到高度图和颜色图，颜色图经过灰度化后得到灰度图。

目标脸关键特征点寻找单元将PCA方法应用到每个关键点的归一化局部高度图和局部灰度图，得到6个关键特征点对应的特征空间，进而自动寻找到6个关键特征点。这里的6个关键特征点分别是4个眼角点和2个嘴角点。

目标脸其余特征点寻找单元用启发式方法自动寻找11个其余特征点。这里的11个其余特征点分别是人脸中轴面上的鼻梁点、鼻尖点、鼻下点、上下嘴唇边缘点，嘴唇中点、下巴点以及非中轴面上的两个鼻下边点和两个耳垂点。

参考脸拟合模块以多个特征点为基准，使用薄板样条方法将参考脸变形拟合到目标脸上。

配准模块在拟合后的目标脸上找到参考脸的每个顶点对应的最近点，作为生理上的对应点，按照参考脸的网络结构将目标脸上的生理上的对应点重构成三维曲面，完成目标脸与参考脸的配准。

实施例3三维人脸的鼻尖点自动定位的方法

本实施例的方法包括如下步骤。

步骤1：选取三维人脸曲面中若干顶点作为可能的鼻尖点。

在这一步骤中，如果人脸的三维数据包含颜色信息，先利用颜色信息进行皮肤检测，然后只选取颜色与人脸皮肤相近的点作为可能的鼻尖点。

如果拍摄时人脸的姿态都接近正面，只选取人脸曲面最前面的部分顶点作为可能的鼻尖点。

如果可能的鼻尖点的判据值f大于某一阈值N，则其他可能的鼻尖点中，与该点距离小于D的点都不再作为可能的鼻尖点。其中N的取值范围可以是22到28之间的任意值，相应的，D的取值范围可以是5mm到9mm之间的任意值。较佳的，N的取值为25，D的取值为7mm。

步骤S2：确定每个可能的鼻尖点的周围邻域。

周围邻域可以是球形邻域，其半径在10mm到20mm之间。周围邻域也可以是立方体邻域，立方体邻域的边长在20mm到40mm之间。周围邻域也可以是距离当前点最近的N个点所组成的固定点数邻域，N的值可以这样确定：任意选取至少10张人脸，在每张脸上手动标定鼻尖点，然后计算鼻尖点半径为d的球形邻域内的顶点数的平均值，将这个值作为N值，其中d的取值在10mm到20mm之间。

步骤S3：对每个可能的鼻尖点的周围邻域的所有顶点进行球面拟合，计算最佳拟合球面的半径r和拟合误差e，并根据半径r和拟合误差e生成一个鼻尖点的可能性评判函数f，根据f定位鼻尖点。

这一步骤的具体方法为：假设某个可能的鼻尖点p的周围邻域内包含k个顶点，第n个顶点的坐标表示为(x_n,y_n,z_n)。于是构造两个矩阵

$A=\left[\begin{array}{c}{x}_1^2+y_1^2+z_1^2\\ .\\ .\\ .\\ x_k^2+y_k^2+z_k^2\end{array}\right]---\left(13\right)$

$B=\left[\begin{array}{ccc}{x}_1& ...& x_k\\ y_1& ...& y_k\\ z_1& ...& z_k\\ 1& ...& 1\end{array}\right]---\left(14\right)$

其中A为k×1的矩阵，B为4×k的矩阵。由这两个矩阵求出1个4×1的矩阵W

W＝(BB^T)-¹BA(15)

进而可以求出最佳拟合球面的半径

$r=\sqrt{W\left(4\right)+\frac{1}{4}(W{\left(1\right)}^2+W{\left(2\right)}^2+W{\left(3\right)}^2)}---\left(16\right)$

式中W(*)代表矩阵W的第*个元素。拟合误差可以用下式求得

$e=\frac{1}{k}\sqrt{{(A-B^{T}W)}^T(A-B^{T}W)}---\left(17\right)$

鼻尖点的可能性评判函数f由e和r计算得到，即

f＝e(12+|r-12|)(18)

对于每个可能的鼻尖点，都利用其周围邻域计算出其f值，将f值最小的顶点定为鼻尖点。

上述实施例是提供给本领域普通技术人员来实现和使用本发明的，本领域普通技术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的发明范围并不被上述实施例所限，而应该是符合权利要求书所提到的创新性特征的最大范围。

Claims (10)

1.一种三维人脸的鼻尖点自动定位的方法，其包括如下步骤：

(1)选取三维人脸曲面中若干顶点作为可能的鼻尖点；

(2)确定每个可能的鼻尖点的周围邻域；

(3)对每个可能的鼻尖点的周围邻域的所有顶点进行球面拟合，计算最佳拟合球面的半径r和拟合误差e，并根据r和e生成一个鼻尖点的可能性评判函数f，根据f定位鼻尖点。

2.根据权利要求1所述的三维人脸的鼻尖点自动定位的方法，其特征是：步骤(1)中，如果人脸的三维数据包含颜色信息，先利用颜色信息进行皮肤检测，然后只选取颜色与人脸皮肤相近的点作为可能的鼻尖点。

3.根据权利要求1所述的三维人脸的鼻尖点自动定位的方法，其特征是：步骤(1)中，如果拍摄时人脸的姿态都接近正面，只选取人脸曲面最前面的部分顶点作为可能的鼻尖点。

4.根据权利要求1所述的三维人脸的鼻尖点自动定位的方法，其特征是：步骤(3)的具体方法为：假设某个可能的鼻尖点p的周围邻域内包含k个顶点，第n个顶点的坐标表示为(xn,yn,zn)；于是构造两个矩阵

⑴

⑵

其中A为k×1的矩阵，B为4×k的矩阵；由这两个矩阵求出1个4×1的矩阵W

⑶

进而可以求出最佳拟合球面的半径

⑷

式中W(*)代表矩阵W的第*个元素；拟合误差可以用下式求得

⑸

鼻尖点的可能性评判函数f由e和r计算得到，即

　⑹

对于每个可能的鼻尖点，都利用其周围邻域计算出其f值，将f值最小的顶点定为鼻尖点。

5.一种三维人脸的特征点自动定位的方法，其包括如下步骤：

(1)选取M个三维人脸作为训练集，

(2)在训练集上手动标注出特征点；

(3)对训练集的特征点构建局部块向量；

(4)将主成份分析方法应用到训练集的M个局部块向量，求出平均局部块向量、协方差矩阵及其第i大的特征值λ _i 及相应的特征向量u _i ，使用最大的k个特征值对应的特征向量构建特征点的局部块特征空间U；

(5)对目标脸的特征点进行粗略定位；

(6)在目标脸的高度图和灰度图上，选取特征点的粗略位置为中心的长为L、宽为W的邻域或直径为W的圆形邻域作为特征点的搜索区域；

(7)对特征点的搜索区域内的每一个点构建局部块向量T；

(8)将特征点的搜索区域内的每一个点的T投影到U上，得到投影向量T’，计算判据η，从搜索区域所有点中选择η值最小的点作为最终的特征点，并将该点返回（映射）到原三维曲面上，得到特征点的精确定位。

6.根据权利要求5所述的三维人脸的特征点自动定位的方法，其特征是：生成高度图和灰度图并构建局部块向量的方法包括如下步骤：

(1)对三维人脸曲面进行姿态归一化校正；

(2)对三维人脸进行均匀重采样得到高度图和颜色图；

(3)将三维人脸的颜色图经过灰度化后得到灰度图；

(4)在三维人脸的高度图和灰度图上以特征点为中心分别选取长为L、宽为W的局部高度块和局部灰度块；

(5)将三维人脸的特征点的局部高度块和局部灰度块分别做归一化，使其均方值为1；

(6)将三维人脸的局部高度块按行连接构成一个LW×1的列向量，称局部高度块向量；将局部灰度块按行连接构成一个LW×1的列向量，称为局部灰度块向量，将两个向量拼在一起构成一个2LW×1的列向量，称为局部块向量。

7.一种三维人脸曲面配准方法，包括：

选择一张三维人脸曲面，采用球面拟合法找到鼻尖点并进行姿态归一化校正，自动寻找多个特征点，经过球形重采样与三角形网格面曲面重构后成为参考脸；

输入多张三维人脸曲面，采用球面拟合法找到鼻尖点并进行姿态归一化校正，自动寻找和所述参考脸对应的所述多个特征点；

以所述特征点为基准，使用薄板样条方法将所述参考脸变形拟合到所述目标脸上；

在所述拟合后的目标脸上找到所述参考脸的每个顶点对应的最近点，作为生理上的对应点，按照所述参考脸的网络结构将所述目标脸上的所述生理上的对应点重构成三维曲面，完成所述目标脸与所述参考脸的配准。

8.一种三维人脸曲面配准系统，包括：

参考脸形成模块，选择一张三维人脸曲面，采用球面拟合法找到鼻尖点并进行姿态归一化校正，自动寻找多个特征点，经过球形重采样与三角形网格面曲面重构后成为参考脸；

三维人脸曲面处理模块，输入多张三维人脸曲面，采用球面拟合法找到鼻尖点并进行姿态归一化校正，自动寻找和所述参考脸对应的所述多个特征点；

参考脸拟合模块，以所述多个特征点为基准，使用薄板样条方法将所述参考脸变形拟合到所述目标脸上；

配准模块，在所述拟合后的目标脸上找到所述参考脸的每个顶点对应的最近点，作为生理上的对应点，按照所述参考脸的网络结构将所述目标脸上的所述生理上的对应点重构成三维曲面，完成所述目标脸与所述参考脸的配准。

9.根据权利要求8所述的三维人脸曲面配准系统，其特征在于，还包括：

平均脸计算模块，采用普遍性普鲁克分析方法计算出经过参考脸配准的多张目标脸的平均脸；

参考脸替换模块，将所述平均脸作为新的参考脸替换原来的参考脸继续进行配准。

10.根据权利要求8所述的三维人脸曲面配准系统，其特征在于，所述多个特征点分为6个关键特征点和11个其余特征点，其中所述6个关键特征点分别是4个眼角点和2个嘴角点，所述11个其余特征点分别是人脸中轴面上的鼻梁点、鼻尖点、鼻下点、上下嘴唇边缘点，嘴唇中点、下巴点以及非中轴面上的两个鼻下边点和两个耳垂点，所述参考脸形成模块以及所述三维人脸曲面处理模块中均包括：

均匀重采样单元，将姿态归一化校正后的三维人脸曲面进行均匀重采样得到高度图和颜色图，所述颜色图经过灰度化后得到灰度图；

关键特征点寻找单元，将主成分分析方法应用到每个所述关键点的归一化局部高度图和局部灰度图，得到所述6个关键特征点对应的特征空间，进而自动寻找到所述6个关键特征点；

其余特征点寻找单元，用启发式方法自动寻找11个所述其余特征点。