CN102663810B - 一种基于相位偏移扫描的三维人脸全自动建模方法 - Google Patents

Abstract

本发明提出一种基于相位偏移扫描的三维人脸全自动建模方法，该方法首先通过相位偏移扫描技术获取被扫描者脸部的深度点云数据，然后再利用一种新的自适应拓扑非刚性配准方法对点云数据进行配准，获得光滑的、具有连续完整拓扑的人脸三角网格模型。实验结果证明，本发明提出的建模过程使得一般用户都可以得到自己个性化的三维人脸模型，这对于三维人脸动画在计算机图形学应用中的推广具有重要意义。

Description

一种基于相位偏移扫描的三维人脸全自动建模方法

技术领域

本发明涉及计算机模拟三维人脸建模领域中的三维人脸扫描与非刚性配准领域。

背景技术

人脸造型是计算机图形学和计算机视觉的一个研究热点。对于一般标准人脸模型的建立已有多种较好的方法，但对特定人脸的建模则要困难得多，目前为止还没有出现自动、高效且逼真的方法。

目前现有的(半)自动人脸建模技术方法可以划分为如下三大类：一是采用三维立体激光扫描仪等复杂昂贵的硬件设备，并配合相应的算法来获取几何以及纹理数据；二是采用普通相机采集二维人脸图像数据，并辅以复杂的图像处理和计算机视觉方法进行数据重建和获取；三是基于人体测量学的数据获取。

基于人体测量学的数据获取方法是利用人体尺度分布的先验知识进行人脸网格建模，其精度很难保证。而基于激光扫描设备以及基于图像的三维人脸建模方法均有其各自的优势和缺点。基于激光扫描设备的人脸建模方法尽管能够获取丰富的几何细节和细腻的纹理，但由于激光扫描设备的昂贵性，使其很难在一般应用中得到使用，另一方面由于激光扫描仪等设备的效率较为低下，也使得其对于动态物体的扫描工作束手无策。基于图像的三维人脸建模方法采用一张或多张不同角度的人脸图像，利用拍摄相机与人脸在空间中的几何位置关系对人脸三维模型进行重构。这种方法具有成本低，使用简便的优势，然而其扫描的精度十分有限，难以保证对人脸的许多几何细节和表情细节的捕获，因此该方法又很难满足许多应用对于模型精度的要求。

三维扫描深度数据(点云数据)往往具有数据量大、冗余量大以及存在噪声数据等问题，为了便于应用，必须对其进行较为复杂的处理，有效地降低数据冗余量及噪声，并通过某种方式将其转换为常用的三角网格形式。现有的转换方法包括：将点云直接进行三角化、Delaunay三角剖分以及采用标准模板进行配准等。采用标准模板配准的方法与其他方法相比较具有能够自动去除噪声和冗余数据的优势，这类方法通过将一个标准化的模型通过一系列的刚性和非刚性变换，将这个标准化模型实现个性化，在保证模型表面平滑性的同时，将模型与深度数据之间的误差最小化。然而现有标准模板配准技术没有考虑模板与点云数据的精细程度是否匹配的问题，采用的模板模型拓扑也是固定不变的，这就造成了最终的配准精度难以保证或者存在冗余数据。

发明内容

本发明提出的基于相位偏移扫描的三维人脸全自动建模方法，实现了对个性化人脸的低成本、高速率、自动化的建模。在三维人脸深度数据扫描阶段，运用较低成本的设备，获得足够精度的人脸表情数据(介于图像重构与激光扫描两种方法之间)，并且能够达到实时地对动态人脸表情的高速扫描；在三维人脸非刚性自动配准阶段，本发明在研究分析传统方法存在的不足之处的基础上，提出了一种拓扑可变的三维人脸点云数据非刚性配准方法。

该方法将三维人脸点云数据非刚性配准问题转换为对应点误差与平滑变形约束的最优化问题，通过三维人脸特征点自动检测方法找到标准人脸模板与扫描人脸之间的对应点，并利用基于薄膜能量的平滑变形算法对模型的非刚性形变进行约束。进一步地，本发明方法将网格细分/化简技术与非刚性配准技术有机结合，在非刚性变形配准的迭代过程中自适应地对模型的拓扑结构进行优化，从而在提高配准精度的同时，有效降低配准后模型的冗余数据。从总体上讲，该方法具有较高的建模自动化程度，从标定(Calibration)到扫描(Scanning)再到深度点云恢复(Reconstruction)以及三维深度数据非刚性配准(Non-rigidRegistration)全过程尽可能少的涉及人工干预。

本发明提出的方法完全能够保证对于一般应用的可用性，并且全自动的建模过程使得一般用户都可以得到自己个性化的三维人脸模型，这对于三维人脸动画在计算机图形学应用中的推广具有重要意义。

附图说明

图1为相机-投影机联合标定棋盘格示意图；

图2为相位偏移结构光样式亮度曲线图；

图3为基于相位偏移的三维数据扫描系统组成原理示意图；

图4为三维人脸扫描系统工作状态示意图；

图5(a)、图5(b)、图5(c)为未展开相位图、展开相位图以及深度图；

图6为用于深度数据恢复的三角化计算示意图；

图7为扫描系统获得的人脸深度图以及点云数据渲染效果图；

图8为固定拓扑的非刚性配准误差示意图；

图9为固定拓扑非刚性配准结果中嘴部拉伸错误示意图；

图10为本发明与现有方法实验效果对比图。

具体实施方式

本发明所述基于相位偏移扫描的三维人脸自动建模方法在具体实施中分为两个步骤，分别为三维人脸深度数据扫描和基于自适应拓扑的三维人脸非刚性自动配准。对于步骤1，本发明首先对本发明提出的相机/投影机联合标定方法进行阐述，然后在此基础上介绍了相位偏移扫描系统的部署以及所采用的结构光样式，并给出了扫描对象深度数据恢复算法；对于步骤2，本发明分别对非刚性配准算法以及自适应的拓扑改变策略进行了详细介绍。最后，在介绍理论方法的基础上，结合实际应用，给出了利用本发明所述方法实现对实验者进行面部扫描及非刚性配准建模的实验结果。

本发明的三维人脸自动建模方法具体步骤如下：

步骤1：三维人脸深度数据扫描

1.1相机/投影机联合标定

相机标定技术是一项较为成熟的技术，通过采集一系列棋盘格图像并检测角点，实现对相机内参数的准确估计。与相机标定所不同的是，投影机只能投射出图像而并不能拍摄图像，但是我们可以将图像的投影看作是图像拍摄的逆过程。从光的传播角度来讲，图像拍摄是光线从被棋盘格向镜头传播的过程，而图像投影(棋盘格投影)则是光线从投影镜头向被投平面传播的过程。基于如上思想，本发明设计了一套标定程序，能够同时将投影机和相机进行内外参数标定，而无需对两种设备分别进行内参标定，然后再同时标定其外参。整个相机-投影机联合标定流程包含如下四个步骤：

[1.1.1].将相机和投影机分别固定，使得相机的拍摄角度与投影机的投影角度有一定的重合(一旦固定之后，后续所有工作中两者之间的相互位置不能改变，包含结构光扫描过程)；

[1.1.2].手持棋盘格式标定物在相机拍摄角度与投影机投影角度的重合区域，使得相机可以拍摄到完整的棋盘格，同时投影机投影内容可以投射在棋盘格平面之上；

[1.1.3].由主控程序从相机抓取棋盘格图像并检测角点。一旦角点检测成功后，主控程序控制投影机投射出一副标准棋盘格图像在标定物上。同时控制相机再次捕获一张两棋盘格相互叠加的图像，并进行角点检测，如图1所示，如果检测到投影棋盘格的角点，则将此幅图像与两次棋盘格角点检测的结果存储；

[1.1.4].本方法中对于相机的标定与一般的相机标定过程相同(采用MATLAB提供标准的相机标定程序)。对于投影机的标定，将投影机看作是一台相机，并将其投射出的棋盘格在标定物上的投影(一幅错切变形后的棋盘格)作为投影机的标定物，将投影机投射的内容(标准棋盘格)作为其拍摄的图像，这样投影机的标定便完全等同于相机的标定。

1.2基于相位偏移结构光的人脸扫描

在假定投影机以及相机是完全线性且投影亮度稳定的情况下，通过投影机向被扫描物体连续投射出三幅相位偏移结构光(图2给出了基于余弦的相位偏移结构光样式亮度曲线图)，并利用相机采集被扫描物体照射后的三帧结构光图像，则这三帧图像中像素(x，y)的三个亮度值可以由以下公式给出：

其中：I_r，I_g和I_b分别表示相机所捕获的像素点(x，y)的三个亮度值，I_de代表着像素(x，y)所对应的被扫描物体上面一点本身所具有的亮度，对于指定像素而言I_de是一个常量，而I_mod代表投影机投射出的结构光样式(结构光样式就是指结构光的图案)中最大的亮度值，θ是相位偏移的偏移量，则代表了该像素的结构光相位值，对于投影机投射出的一幅结构光图案中的像素p，可以由以下公式进行表示：

其中X_P是像素p的投影机坐标x分量，w是投影机的水平方向分辨率，而N则表示在水平方向上余弦结构光样式所重复的周期数。

在相机/投影机已经标定，并且结构光样式以及设计生成的基础上，便可以开始进行三维数据的扫描工作。将被扫描物体置于相机和投影机镜头范围之内，利用主控程序自动完成结构光的投影以及图像数据的采集工作。图3给出了基于相位偏移的三维数据扫描系统组成原理，为了提高后续的相位展开计算效率，本系统采用了两台高速相机同步对被扫描物体进行图像捕捉。图4给出了三维人脸扫描系统工作状态示意图。

1.3人脸深度数据获取

按照公式(1)中给出的亮度与相位关系，可以对三个公式进行联立求解，得到下面的未展开的相位值(Wrapped Phase)：

本发明中采用的相位偏移量θ是将其代入公式(3)中，对三帧结构光投影采集图像进行计算处理，便可以得到图像中各个像素位置的未展开相位。将各像素的相位值作为灰度值对图像进行渲染，得到如图5(a)所示的未展开相位图。相位展开的问题可以描述为一个将未展开相位转换成为绝对相位的过程：

其中k(x，y)表示该相位所处的周期，而N则表示投影结构光中余弦周期的总数目。从公式(4)可以看出，对于每个像素点p＝(x，y)，需要计算出其k(x，y)的值才能够对其相位进行展开，而k(x，y)总共有N种可能的取值。从公式(2)可以看出该像素所对应的投影机坐标(即在投影机投影的结构光图像中的坐标)也有N种可能的取值。对于每个像素p，我们便可以利用两台相机之间的双目匹配计算求解相位周期k(x，y)。与传统双目匹配计算需要对整幅图像进行匹配不同，这里的可能性被局限为N个，因此可以通过GPU并行的方式实现快速地相位展开计算，具体流程如下：

(1.3.1)对于每个可能的相位周期k(x，y)∈[0，N-1]，利用点面求交的方法计算出第一台相机的射线与投影机的投影截面交点的三维空间位置P；

(1.3.2)将求得的三维交点位置P坐标变换到第二台相机的坐标系当中，求得其在第二台相机所采集图像的像素位置p(k)；

(1.3.3)对每个相机采集的三帧图像，取像素p的亮度值I₁(p)与p(k)的亮度值I₂(k，p)，并计算平方差之和(sum-of-squared-differences，SSD)：d(k，p)＝SSD(I₁(p)，I₂(k，p))；

(1.3.4)使得SSD最小的那个k便是所求的相位周期值，从而根据k计算出像素p的绝对相位值图5(b)给出的是将图5(a)进行相位展开得到的相位图。

三维点云深度数据重建的工作均是基于三角化方法进行的，本发明中采用的是线面相交三角化，即计算一条射线与一个三维空间平面之间的交点计算。图6给出了线面相交三角化在结构光扫描中的应用示意图，在相位展开并得到每个像素的绝对相位的基础上，我们便可以计算出像素p所对应的投影机坐标x分量，由此能够确定出由投影机发出的经过像素p的投影平面，同时给定像素p即可确定由相机发出的经过像素p的一条射线，这两者的交点便是所求像素点p所在的三维空间坐标位置。

令P表示像素p所对应的三维空间位置坐标，q_p表示投影机所处的三维空间位置坐标，n表示投影平面的法向量方向(n^t为法向量的转置)，则通过点P以及投影机q_p的投影平面可以由公式(5)来表示。其中P为未知数，它可以是该平面上除了q_p之外的任何一点。

P＝{p：n^t(p-q_p)＝0}(5)

令q_L表示相机所处的三维空间位置坐标，而v表示连接相机焦点与相机图像中像素p的射线，则三维空间坐标P又可以由公式(6)来表示。λ为未知参数，通过改变其取值，可以使得P表示在射线L上的任何一点。

L＝{p＝q_L+λv}(6)

将公式(5)的P带入到公式(6)中，可以得到：

n^t(λv+q_L-q_p)＝0(7)

对公式(7)进行求解，得到λ值可以表示为：

$\mathrm{\λ}=\frac{n^t(q_p-q_L)}{n^{t}v}---\left(8\right)$

得到λ值之后便能够方便地求解出点P所处的三维空间位置坐标。对于每个像素分别进行以上计算，便能够将扫描图像中所有像素的深度数据进行重建，图5(c)中给出的就是将各像素的深度数据作为其灰度值进行渲染得到的深度图。

步骤2：基于自适应拓扑的三维人脸非刚性自动配准

2.1非刚性配准

非刚性配准技术通常将变形配准问题转换为一个最优化问题，该最优化问题由一个网格变形平滑项以及一些数据或顶点拟合项所组成。我们将变形表示为所有顶点的偏移向量其中v₁∈V是原始网格模型的顶点，而是变形之后的网格模型顶点位置。网格变形的平滑性是通过最小化这些偏移向量上的薄膜能量(Membrane Energy)E_memb＝∑_ieV||Δd_L||²从而得到保证的，其中Δ是标准余切离散化的Laplace-Beltrami操作符。

在进行非刚性配准的过程中，本发明采用了稠密最近点约束、点到平面的约束以及自动检测的稀疏特征点对整个非线性变形过程进行约束，使得最终标准人脸模板经过循环迭代的变形之后越来越逼近于三维人脸的点云数据。

首先，我们利用人脸图像特征点检测方法对三维点云数据的二维纹理以及标准人脸模板的纹理进行特征点检测。对于三维点云数据，在纹理上检测到的人脸特征点可以直接对应到点云数据中的某个点；而对于标准人脸模板，则需要通过二维到三维的平投映射，找到在三维人脸上与纹理相对应的点作为三维人脸特征点。

将三维点云数据记作三维点云数据中检测的特征点记为(这些对应的特征点首先可以被用来进行刚性的ICP初步配准)，则这些特征点可以作为非刚性配准的稀疏对应点，由此可以列出将标准人脸模板M_neutral向进行变形的稀疏对应点能量项式中的下标2表示所求的模为向量的长度，上标2代表平方。在本发明的实验中，通过自动检测的方法实现了24个对应特征点的识别。

为了令标准人脸模板中的其它顶点(非稀疏对应点)进行变形，使其逼近于三维人脸点云数据，还需要增加一项稠密顶点拟合的能量项，该能量项的主要目标是使得点到目标平面以及点到目标点的距离最小化：

$E_{\mathrm{fit}}={\mathrm{\Σ}}_{i=1}^N{w}_1({\left|n_{c_1}^T({\tilde{v}}_1-c_1)\right|}^2+0.1{\left|\right|{\tilde{v}}_1-c_1\left|\right|}_2^2)w_1=0\mathrm{or}1$ (T表示向量转置)(9)

我们将点云数据中与标准人脸模板顶点距离最近的点记为其法向量记为通过对点云数据构建K-D树便可以快速地对标准人脸模板的每个顶点找到相应的最小点，形成对应点集合。然后需要将所有法向量不匹配的对应点对以及距离大于10mm的对应点对去除(这是由于法向量不匹配或距离过远的对应点对可以判断为并非合适的对应点)，可以通过将对应的权重w₁设置为0来实现。

将上述所有的能量方程进行结合，便可以得到最终的总能量方程为：

$E_{\mathrm{tat}}=E_{\mathrm{fit}}+{\mathrm{\α}}_{\mathrm{ref}}{E}_{\mathrm{ref}}+{\mathrm{\α}}_{\mathrm{memb}}{E}_{\mathrm{memb}}=$

${\mathrm{\Σ}}_{i=1}^N(w_1\·{\left|n_{c_1}^T({\tilde{v}}_1-c_1)\right|}^2+0.1w_1\·{\left|\right|{\tilde{v}}_1-c_1\left|\right|}_2^2+{\mathrm{\α}}_{\mathrm{ref}}{\left|\right|{v^{\′}}_1-r_1\left|\right|}_2^2+{\mathrm{\α}}_{\mathrm{memb}}{\left|\right|{\mathrm{\Δd}}_1\left|\right|}^2)---\left(10\right)$

其中α_ref与α_memb分别表示稀疏对应点能量项以及平滑能量项的权重。在非刚配准的迭代过程当中，各个能量项在各阶段所起到的作用不同，例如在最初的几次迭代当中，E_ref和E_memb必然是起到主要作用的，它们能够从更加粗粒度的角度对模型进行拟合，而越到最后则越需要精细的顶点拟合，这时候稠密最近点能量项E_fit便会起到主导的作用。因此本发明当中对于权重的取值采取了以α_ref＝100和α_memb＝100为初值，并随着迭代次数的增加，逐步递减到α_ref＝1和α_memb＝5。实验证明这中权重的取值策略能够取得较好的非刚性配准效果。

2.2自适应拓扑改变

传统的非刚性配准方法尽管能够较为有效地将标准模板与点云数据进行配准，然而却没有充分考虑到标准模板的精细度与点云模型的精细度是否匹配等问题。如果点云数据十分稠密，包含着丰富的人脸表面细节，而用以配准的标准人脸模板只是较为粗粒度的模型(如图8所示)，则会导致配准的结果出现较大的误差，精度无法满足要求；反之如果点云数据并非十分精细，而标准人脸模板的拓扑却十分复杂，也会导致非刚性配准的效率低下以及出现冗余数据等问题。此外，在传统的方法当中无法支持对于三角形的边删除操作，如果标准人脸模板中的嘴部拓扑是连续的而人脸扫描结果中嘴部是张开的话，则会导致该区域三角形粘连和扭曲的现象，如图9所示。针对这些问题，本发明提出了一种拓扑可变的非刚性配准技术，该技术的思想主要来源于层次细节LOD技术以及网格剖分和化简技术。通过在非刚配准的过程当中，自适应地对标准人脸网格的拓扑进行改变，以适应三维点云数据的精细程度，令配准的精度和效率这一对矛盾的指标同时得到有效的提高。

总体上讲，本发明所提出的拓扑可变的非刚性人脸点云数据配准方法可以分为以下几个步骤：

2.1通过特征点检测的方法对三维人脸点云数据以及标准人脸模板进行特征点的提取；

2.2利用这些特征点作为对应点进行迭代最近点ICP刚性配准；

2.3利用第一步中的对应点进行初始的非刚性配准；

2.4非刚性配准完成之后，计算所有由最近点构成的顶点对之间距离的相对误差(如公式(5))，其中，分子表示顶点v_i与其对应最近点c_i之间的距离的平方，而Scale_scan表示目标模型(点云数据)的包围球直径大小；

${\mathrm{RE}}_i=\frac{{\left|\right|v_i-c_i\left|\right|}_2^2}{{\mathrm{Scale}}_{\mathrm{scan}}}---\left(11\right)$

2.5对于误差小的区域，利用网格化简技术对变形后的标准人脸模板该区域进行化简；而对于误差大的区域，则利用网格剖分技术对变形后的标准人脸模板该区域进行细分；

2.6再次计算整体对应顶点平方误差之和，如果误差处于某个阀值区间，则停止非刚性配准迭代，否则返回第3步，继续进行非刚性配准。

实验：基于相位偏移扫描的三维人脸自动建模方法测试结果

我们使用Microsoft Visual Studio 2008实现了本发明所提出的基于相位偏移扫描的三维人脸自动建模方法，并结合实际应用对其进行了测试。测试时所使用的软硬件环境为：

(1)系统运行的操作系统：Windows Vista操作系统；

(2)计算机硬件配置：Intel(R)Pentium(R)D CPU 2.80GHz，2.00GB DDR RAM，NVIDIAGeForce 8800GT Video Card；

本发明首先利用相位偏移的三维扫描技术对五个实验者的面部进行扫描，获得他们的面部深度点云数据，如图7所示。从图中可以看出，扫描得到的深度点云数据由于受到扫描角度以及设备精度的限制，会出现一定的数据缺失和噪声。因此，需要运用本发明的第二阶段处理，对点云数据进行基于自适应拓扑的非刚性自动配准，得到光滑的、具有连续拓扑的三角网格模型。图10给出了对实验室面部点云数据进行非刚配准的结果，可以看到本发明中所述的方法能够通过自适应修正配准模板的拓扑结构，以适应实验者面部的不同部位的细节，从而达到较以往非刚性配准更加精确的结果。表1给出了对于不同扫描模型运用不同的配准模板模型进行配准的时间效率。

表1基于自适应拓扑的三维人脸非刚性自动配准效率统计

Claims (4)

1.一种基于相位偏移扫描的三维人脸全自动建模方法，其特征在于包括：

第一阶段：三维人脸深度数据扫描阶段：

（1）将一台相机与一台DLP投影机呈一定夹角布置在黑色幕布前方，令被扫描人员坐在设备前并调整设备位置使得投影机投射的画面以及相机采集的画面均能够包含扫描人员的面部；

（2）采用一种投影机与相机联合标定的方式，将步骤（1）中所述的相机与投影机进行标定，获取其各自的内参和外参；

（3）令被扫描人员坐在设备前方，利用投影机向被扫描人员面部连续反复投射一组正弦相位偏移的结构光图像，并利用与投影机同步的相机捕捉结构光投射在被扫描人员面部的图像数据，所述的一组正弦相位偏移的结构光图像为三张；

（4）利用步骤（3）中捕获的三张图像数据合成一张人脸纹理图像，并利用相位展开技术，通过计算三张图像各对应像素的亮度值恢复出所有像素的相位数据，获得展开的人脸相位图；

（5）利用步骤（4）中获得的人脸相位图以及步骤（2）中标定得到的相机与投影机内参和外参，通过空间三角化技术对人脸相位图中各个像素的深度数据进行恢复，获得人脸的深度图像；

第二阶段：基于自适应拓扑的三维人脸非刚性自动配准阶段：

（6）准备一个较为平滑的标准三维人脸三角网格数据，并利用三维人脸特征点检测技术获取该标准三维人脸的24个特征点位置；

（7）利用二维人脸特征点检测技术对步骤（4）中的人脸纹理图像进行特征点检测，从而可以获得人脸深度数据中对应的特征点位置，与步骤（6）中的标准三维人脸特征点形成一一对应；

（8）利用非刚性配准技术对标准三维人脸与人脸深度数据进行配准，并对配准的结果进行局部误差分析；

（9）对于局部误差较大的部位，对局部网格进行进一步的细分；而对于局部误差很小的部位，则对局部网格进行相应的化简；

（10）重复步骤（8）与步骤（9），直到非刚性配准的结果误差达到指定的阈值区间，则得到非刚性配准的结果便为自动构建的三维人脸平滑三角网格模型。

2.根据权利要求1所述的三维人脸全自动建模方法，其特征在于：第一阶段中所述的三维人脸深度数据扫描不仅能应用于人脸面部的扫描，而且能够用于其他任何物体的深度数据获取。

3.根据权利要求1所述的三维人脸全自动建模方法，其特征在于：第一阶段中所述的三维人脸深度数据扫描采用的相机为高速相机，每秒拍摄120帧黑白图像，并且系统能够在一秒时间内扫描三十帧人脸的深度数据，对于表情不断变化的动态人脸扫描仍然适用。

4.根据权利要求1所述的三维人脸全自动建模方法，其特征在于：第二阶段中所述的基于自适应拓扑的三维人脸非刚性自动配准阶段，网格拓扑改变包括一般的三角网格化简/细分，还包括连续三角网格的撕裂以及断裂三角网格的合并，能够对扫描人脸的不同表情进行有效的配准和逼近。