CN110046543A - 一种基于平面参数化的三维人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于平面参数化的三维人脸识别方法。该方法具体步骤如下：首先，自动选择包含人脸最显著特征的区域。然后通过鼻尖找到基平面，计算相对深度，即坡变性。然后，将范围数据中的ROI三角化并映射到同构的二维平面圆中，保留固有的几何性质，并映射相对深度。最后，将特征面法应用于映射深度图像，实现识别任务。本发明克服了传统的人脸识别方法对姿态、光照和表情的变化很敏感的状况，同时因为保存了三维几何信息，所以有更多的处理表达变化的线索，实现快速、准确地建立人脸模型。

Description

一种基于平面参数化的三维人脸识别方法

技术领域

本发明涉及一种三维人脸识别方法，特别是涉及一种基于平面参数化的三维人脸识别方法。

背景技术

近年来，基于二维图像的人脸自动识别技术得到了广泛的研究，并提出了各种技术。然而，传统的人脸识别方法对姿态、光照和表情的变化很敏感。这些方法的局限性源于平面图像中有限的人脸信息。在自然界中，二维图像是三维人脸在一定平面上的投影，平面图像的这一固有弱点使其难以处理。人的脸是由于面部表情的变形而形成的非刚性物体。虽然三维人脸数据比二维图像具有更多的识别线索，但对三维数据的处理一般需要更高的计算成本。另一方面，虽然二维图像的分析方法很多，但由于空间上的不规则性，直接处理三维人脸模型的难度很大。

因此，为了降低计算成本，同时要突破现有二维图像分析方法的局限性，需要找到一个在给定的表面和一个同构平面三角形之间的映射，这个映射最好地保留了给定平面的原始的、鉴别的特征。如果提供从三维面到同构平面空间的一对一映射，那么识别任务可以直接在平面上而不是曲面上进行，从而可以有效解决上述问题。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于平面参数化的三维人脸识别方法，该方法克服了传统的人脸识别方法对姿态、光照和表情的变化很敏感的状况，同时保存了三维几何信息。

为实现上述目的，本发明提供了一种基于平面参数化的三维人脸识别方法，包括以下步骤：

S1、提取ROI；

S2、变形测量和压扁。

优选地，S1包括以下步骤：

S1.1求面部轮廓的对称平面：

给定人脸范围数据的点集S，可得到它服从一个初始的近似对称平面M的镜像S′，在S注册为S′后，S′被翻译成S″，因此S和S″组成了一个新的点集S，

令P为S中的任意点，P″为S″的镜像点，则对称平面A：

A＝{x|<x-(P+P″)/2,P-P″>＝0} 式II

引入迭代最近点方法来进行配准，对三维点集S做主分量分析，得到平均点和三个特征向量v₁，v₂，v₃，三个向量按照特征值的降序排列；

v₁大约是面朝上的方向，v₃点在面外，定义初始对称平面M来帮助ICP的收敛，其中M为：

最后计算得到的对称平面A与S的三角曲面的交点，得到中心轮廓曲线C；

S1.2检测鼻子尖：

计算出中心轮廓曲线C之后，令P₁和P₂为C的起点和终点，L为P₁和P₂之间的线段，定义鼻尖N为：

N＝arg max_P∈C{dist(P,L)} 式Ⅳ

然后在探测到的鼻尖N处建立一个以一定半径为中心的球面，并将ROI定义为S和球面上的点的集合，利用Delaunay方法对ROI进行三角化处理，并利用网格优化对其进行简化，重新引入计算复杂度。

优选地，S2包括以下步骤：

S2.1失真的措施：

定义函数E来测量S和U之间的失真，将S′作为一个简单的网格，在三维空间中由一个1环邻域组成，而将U′作为S′的同分异构体；

如果获得最小失真，两种畸变度量E_A和E_X分别测量了保角和保区，它们是主要的两个三维网格性能；

一般的失真测量可定义为：

E＝αE_A+(1-α)E_X 0≤α≤1 式Ⅴ

在保留角的条件下，获得了狄利克雷能量E_A的最小值；

等积能量E_A达到保面积：

当时，

对于整个面部模型，由以上所有推导出如下方程：

以及

对于一般失真测量E，将M^A和M^X相结合的对应M定义为：

M＝αM^A+(1-α)M^X 0≤α≤1 式XIV。

优选地，S2中还包括如下步骤：

S2.2面部表面的扁平：

给定映射的圆边界U_boundary，

将三角形网格参数化到平面上，就是将一个3D位置嵌入到单元圆中每个网格顶点；将绘制的边界预先定义为一个圆，将鼻尖设置为中心，在绘制的平面上只有旋转的变量；在给出边界条件的基础上，利用一般化最小残差算法求解了稀疏系统。

优选地，S2还包括以下步骤：

S2.3计算绘制的深度图像：

采用最小二乘法将平面拟合到ROI点集上，并将其转化为鼻尖作为参考平面；通过投影到参考平面上，得到面部每个位置的与姿态无关的特征，并得到相关深度图像；通过插值，计算出映射圆盘上每个点的特征。

优选地，S23中还包括移除旋转步骤：

1)将最接近中心轮廓曲线起点的边界顶点映射到圆盘的最右点上，并完成扁平化映射；

2)计算相对深度值，将对称轴调整到水平方向；经过以上两个步骤便完成映射ROI的正则化和注册。

本发明的有益效果是：

本发明克服了传统的人脸识别方法对姿态、光照和表情的变化很敏感的状况，同时保存了三维几何信息，所以有更多的处理表达变化的线索，实现快速、准确地建立人脸模型。

本发明使用的映射方案，从三维空间到同构平面空间，在尝试保存表面的不同特征之间提供了一种权衡，这种方法更灵活、更具适应性。

附图说明

图1是本发明为基于平面参数化的三维人脸识别方法的流程图。

图2是对称平面检测。其中：(a)为PCA之后的原始模型和三个特征方向，(b)为镜像模型，(c)和(d)为检测到的对称平面。

图3是为面部ROI提取。其中：(a)鼻尖作为中心轮廓曲线上的顶点，通过曲线两端到直线的最大距离，(b)和(c)使用以鼻尖为中心的球体提取ROI。

图4是为3D的1环及其平化版。

图5是为扁平化映射的图解。其中：(a)为ROI范围数据，(b)为三角形ROI，(c)为(b)的简化网格，(d)和(e)用最小二乘法求参考平面，(f)为映射ROI，(g)为绘制的相对深度图像。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

如图1所示，本发明提供的一种基于平面参数化的三维人脸识别方法，该识别方法主要步骤如下：

S1提取ROI

S1.1求面部轮廓的对称平面

S1.1.1首先提出一种有效的方法来求人脸表面的对称面，从人脸模型中应用并改进它来检测中心轮廓曲线。其具体步骤如下：

1)给定人脸范围数据的点集S，可以得到它服从一个初始的近似对称平面M的镜像S′，在S注册为S′后，S′被翻译成S″，因此S和S″组成了一个新的点集

其中S是自对称的，对称平面A在S和S″中通过每对对应点的平分线；

2)令P为S中的任意点，P″为S″的镜像点，那么对称平面A就是：

A＝{x|<x-(P+P″)/2,P-P″>＝0} (2)

3)如图2所示，引入迭代最近点(ICP)方法来进行配准，由于ICP的收敛性问题，需要正确选择上述的初始镜像面M，通过对人脸特征的观察，人脸的一般形状类似于椭圆体表面的一部分，其上底方向的轴最长，鼻尖的轴最短；

因此，对三维点集S做主分量分析，得到平均点p和三个特征向量v₁，v₂，v₃，三个向量按照特征值的降序排列；

因此，v₁大约是面朝上的方向，v₃点在面外，所以定义初始对称平面M来帮助ICP的收敛，其中M为：

最后计算得到的对称平面A与S的三角曲面的交点，得到中心轮廓曲线C；

S1.2检测鼻子尖

如图3所示，在计算出中心轮廓曲线C之后，令P₁和P₂为C的起点和终点，L为P₁和P₂之间的线段，我们定义鼻尖N为：

N＝arg max_P∈C{dist(P,L)} (4)

其中dist(.,.)是点到线段的欧式距离函数；

然后在探测到的鼻尖N处建立一个以一定半径为中心的球面，并将ROI定义为S和球面上的点的集合；

最后，利用Delaunay方法对ROI进行三角化处理，并利用网格优化对其进行简化，重新引入计算复杂度；

S 2、变形测量和压扁

S2.1失真的措施

如图4所示，定义函数E来测量S和U之间的失真，因此，当E(S,U)最小时，很明显可以避免最小的失真；

为了便于描述畸变的测量，将S′作为一个简单的网格，在三维空间中由一个1环邻域组成，而将U′作为S′的同分异构体；

给定图3中的固定映射边界，二维1环失真只与中心节点u_i有关，如果获得最小失真；

两种畸变度量E_A和E_X分别测量了保角和保区，它们是主要的两个三维网格性能，一般的失真测量可定义为：

E＝αE_A+(1-α)E_X 0≤α≤1 (5)

在保留角的条件下，获得了狄利克雷(dirichlet)能量E_A的最小值。

等积能量E_A达到保面积：

其中|u_i-u_j|为在U′的(i,j)和S′的|u_i-u_j|的边缘长度。α_ij，β_ij，γ_ij及δ_ij为图4所示的角度。

因为能量是连续二次的，当时，根据公式(6)和(7)得出下列方程：

对于整个面部模型，由以上所有推导出如下方程：

以及

对于公式(5)中的一般失真测量E，将M^A和M^X相结合的对应M定义为：

M＝αM^A+(1-α)M^X 0≤α≤1 (14)

S2.2面部表面的扁平

给定映射的圆边界U_boundary，参数化的稀疏线性系统由S2.1导出如下方程:

将三角形网格参数化到平面上，就是将一个3D位置嵌入到单元圆中每个网格顶点。将绘制的边界预先定义为一个圆，将鼻尖设置为中心，在绘制的平面上只有旋转的变量。在给出边界条件的基础上，利用一般化最小残差算法有效地求解了稀疏系统。

S2.3计算绘制的深度图像：

表面的局部几何特征可以提供与姿态无关的信息，但许多特征对噪声太敏感。采用相对深度值作为面部每个位置的特征。要计算相对深度值，需要一个参考平面。如图5所示，采用最小二乘法将平面拟合到ROI点集上，并将其转化为鼻尖作为参考平面。因此，通过投影到参考平面上，得到了面部每个位置的与姿态无关的特征，并得到了相关深度图像。

通过插值，计算出映射圆盘上每个点的特征。但是对于不同的脸，旋转还是有区别的。因此在以下两个步骤中移除旋转：

1)将最接近中心轮廓曲线起点的边界顶点映射到圆盘的最右点上，并完成扁平化映射。

2)计算相对深度值，将对称轴调整到水平方向。经过以上两步便完成映射ROI的正则化和注册。

本发明未详述之处，均为本领域技术人员的公知技术。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种基于平面参数化的三维人脸识别方法，其特征在于，包括以下步骤：

S1、提取ROI；

S2、变形测量和压扁。

2.如权利要求1所述的三维人脸识别方法，其特征在于，S1包括以下步骤：

S1.1求面部轮廓的对称平面：

给定人脸范围数据的点集S，可得到它服从一个初始的近似对称平面M的镜像S′，在S注册为S′后，S′被翻译成S″，因此S和S″组成了一个新的点集

令P为S中的任意点，P″为S″的镜像点，则对称平面A：

A＝{x|<x-(P+P″)/2,P-P″>＝0} 式II

引入迭代最近点方法来进行配准，对三维点集S做主分量分析，得到平均点和三个特征向量v₁，v₂，v₃，三个向量按照特征值的降序排列；

v₁大约是面朝上的方向，v₃点在面外，定义初始对称平面M来帮助ICP的收敛，其中M为：

最后计算得到的对称平面A与S的三角曲面的交点，得到中心轮廓曲线C；

S1.2检测鼻子尖：

计算出中心轮廓曲线C之后，令P₁和P₂为C的起点和终点，L为P₁和P₂之间的线段，定义鼻尖N为：

N＝arg max_P∈C{dist(P,L)} 式Ⅳ

然后在探测到的鼻尖N处建立一个以一定半径为中心的球面，并将ROI定义为S和球面上的点的集合，利用Delaunay方法对ROI进行三角化处理，并利用网格优化对其进行简化，重新引入计算复杂度。

3.如权利要求1所述的三维人脸识别方法，其特征在于，S2包括以下步骤：

S2.1失真的措施：

定义函数E来测量S和U之间的失真，将S′作为一个简单的网格，在三维空间中由一个1环邻域组成，而将U′作为S′的同分异构体；

如果获得最小失真，两种畸变度量E_A和E_X分别测量了保角和保区，它们是主要的两个三维网格性能；

一般的失真测量可定义为：

E＝αE_A+(1-α)E_X 0≤α≤1 式Ⅴ

在保留角的条件下，获得了狄利克雷能量E_A的最小值；

等积能量E_A达到保面积：

当时，

对于整个面部模型，由以上所有推导出如下方程：

以及

对于一般失真测量E，将M^A和M^X相结合的对应M定义为：

M＝αM^A+(1-α)M^X 0≤α≤1 式XIV。

4.如权利要求1或3所述的三维人脸识别方法，其特征在于，S2中还包括如下步骤：

S2.2面部表面的扁平：

给定映射的圆边界U_boundary，

将三角形网格参数化到平面上，就是将一个3D位置嵌入到单元圆中每个网格顶点；将绘制的边界预先定义为一个圆，将鼻尖设置为中心，在绘制的平面上只有旋转的变量；在给出边界条件的基础上，利用一般化最小残差算法求解了稀疏系统。

5.如权利要求4所述的三维人脸识别方法，其特征在于，S2还包括以下步骤：

S2.3计算绘制的深度图像：

采用最小二乘法将平面拟合到ROI点集上，并将其转化为鼻尖作为参考平面；通过投影到参考平面上，得到面部每个位置的与姿态无关的特征，并得到相关深度图像；通过插值，计算出映射圆盘上每个点的特征。

6.如权利要求5所述的三维人脸识别方法，其特征在于，S23中还包括移除旋转步骤：

1)将最接近中心轮廓曲线起点的边界顶点映射到圆盘的最右点上，并完成扁平化映射；

2)计算相对深度值，将对称轴调整到水平方向；经过以上两个步骤便完成映射ROI的正则化和注册。