CN102426712A - 一种基于两幅图像的三维头部建模方法 - Google Patents

Abstract

本发明公开了一种由两幅图像恢复出用户三维脸部表面模型的建模方法，该方法包括交互式调整预定义的控制点位置匹配脸部特征，得到初始对应点集；将控制点按语义分层，并利用基于顶点三维刚性变化的移动最小二乘算法，从给定的初始点集来插值计算所有非控制顶点的形变，得到连续平滑的真实感三维模型表面；计算形变后模型的包络圆柱纹理坐标，从输入人脸图像中提取颜色值，合成纹理图像并贴至模型表面；产生纹理真实的三维头部模型。本发明解决了现有三维建模技术需要多幅输入图像或需要过多复杂手动交互操作的难题，可实现基于正侧两幅普通分辨率图像的三维头部真实模型的建立。

Description

一种基于两幅图像的三维头部建模方法

技术领域

本发明属于计算机视觉和计算机图形学等技术领域，特别涉及一种基于正侧面两幅图像的三维头部形状和纹理建模的技术。

背景技术

利用数码相机在不同角度进行拍摄，可以获取大量的二维人脸图像。如果能够从这些图像中恢复出三维的人脸模型，在虚拟视频会议、在线角色游戏和3D电影等领域都将获得广泛的应用。但由于图像三维结构的丢失，从输入图像中完整地重建出三维脸部模型和结构细节存在着很多的技术难题。在计算机图形学和计算机视觉领域，这是一个研究了很多年的问题，根据技术手段和所需图像样本数量的不同，已有的方法大致可以分为以下的两类：

第一类是利用计算机视觉的重建技术，无需或仅需少量手动交互的方法。当大量人脸样本存在时，通过统计学习一个可变的二维人脸模型，可以由模板匹配实现从单一图像中恢复出三维人脸模型的技术。在该方法中，可变模型的初始位置需手工给定，而模型匹配的过程则通过目标函数梯度相关方向的搜索自动完成。该方法的缺点是从二维匹配做三维结构恢复时，需要一个可变的三维模型作为先验，这只能使用昂贵的三维激光扫描设备才能准确获得，因而应用受限。通过立体视觉匹配的技术，也可以从一段视频序列中恢复出三维头部模型来。这一方法，无需先验模型学习和手动交互，但是，对图像序列跟踪误差和视觉匹配误差很敏感。在缺乏监督信息的条件下，由于匹配过程是一个全局非凸的迭代过程，当视频跟踪存在误差或给定的模型初始值存在小的误差时，最终结果可能与期望的重建效果相差甚远。这类方法，虽然没有交互的需求，但普遍存在着要求大量图像样本的缺点。此外，计算过程对初始值和图像噪声普遍较为敏感，进一步限制了这类方法在实际中的应用。

第二类是基于计算机图形学的交互式建模方法。这类方法基于一个表面参数化的三维头部模型，通过表面网格变形达到建模的目的。其中，基于物理定律的网格形变是比较主流的技术。该方法假设模型网格是一个连续平滑的表面，满足局部二阶平滑、牛顿动力方程、系统能量守恒等物理定律。当用户交互调整某部分时，表面便在这些定律的约束下通过计算变换到新的形状。由于这些物理能量项之间存在着复杂的相互制约的关系，往往需要多次手工调整才能保证新形状的真实性。另外，由于一些局部细节的调整需要一些美学专业的基础，对于普通的用户来说，需要多次重复交互试验才能取得较好的效果，因而时间消耗更长。融合基于视觉与基于运动捕捉数据重定向的建模方法可以大大减轻交互的任务，且能够强调脸部细节的重建，但由于涉及运动捕捉设备，该方法的使用成本很高，难以普及。对于这类方法，仅需两幅不同角度的图像即可完成建模过程，但存在较多的交互要求，往往给用户带来诸多麻烦。

综上所述，现有的三维头部建模技术远未成熟，还无法从给定的少量图像中，无需或仅需少量手动交互，即可恢复出三维脸部模型及其细节。如何在无需先验训练样本的情况下，从不多于两幅图像中完整地重建出任意用户的头部形状和细节仍是一个颇具挑战性的难题。

发明内容

本发明的目的旨在尽可能减少用户交互量和所需图像数量的前提条件下，基于两幅图像恢复出用户三维人脸的真实感表面，为此提供一种三维头部建模的新方法。

为达成所述目的，本发明提供一种基于两幅图像的三维头部建模方法的步骤包括：

步骤S1：调整三维模型的三维位置与姿态角度，使其与给定的两幅图像的用户脸部姿态近似对应一致；

步骤S2：交互调整包含11个控制点的脸部轮廓区域的位置，使其与给定图像的用户脸部形状对应一致；

步骤S3：在轮廓控制点调整的同时，利用移动最小二乘法实时计算所有非控制点的形变，保持表面连续平滑；

步骤S4：交互调整眼眉(6个)、眼睛(8个)、鼻子(4个)与嘴部(6个)控制点的位置，使其与给定图像的用户五官区域对应一致；

步骤S5：在五官控制点调整的同时，利用移动最小二乘法实时计算所有非控制点的形变，保持表面连续平滑；

步骤S6：计算形变后模型的包络圆柱纹理坐标，进而通过获取输入人脸图像中的颜色值，合成纹理图像并贴至模型表面，生成具有真实感的头部模型。

本发明的所述方法针对三维头部建模问题，可实现基于正侧面两幅图像的三维人脸模型的完整重建。优点体现在：1)该方法只需两幅输入人脸图像，且仅需要对少量控制点的交互操作，完全符合实际的应用需求；2)该方法利用移动最小二乘法计算模型表面的形变，具有方法简单实用、易于编程等特点，支持顶点密集模型的实时形变操作；3)该方法通过对控制点分组，实现了分层的移动最小二乘计算，并进一步通过确定恰当的平滑核函数及尺度大小，实现了一次交互即可完成建模的过程，大大降低了手动交互量。本发明突破了现有技术交互过多、需要大量训练样本、计算噪声敏感和成本代价高等难题，实现了基于正侧面两幅图像的三维头部形状和结构的建模。该方法可应用于基于数码相机、手持摄像机、网络摄像头等多种设备拍摄的人脸图像的三维重建，在虚拟现实会议、在线角色游戏和3D影视等领域具有广泛的应用前景。

附图说明

图1是本发明提出的基于两幅图像的三维头部建模方法的总体流程图。

图2是移动最小二乘法的可视化示意图。

图3是脸部语义特征控制点的定义、分组和分层示意图。

图4是基于二维仿射变换和三维刚性变换的移动最小二乘法的结果对比图。

图5是不同平滑核函数在不同尺度下的影响区域图。

图6是纹理坐标的计算示意图。

图7是三维建模结果的局部细节对比图。

图8是基于真实采集图像的三维头部建模结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

如图1所示，本发明提供了一种基于两幅图像的三维头部建模方法，具体包括以下步骤：

如图1所示，本发明的输入数据为正侧面两幅人脸图像和一个通用的三维头部模型。正侧面人脸图像可由用户自行利用网络摄像头拍摄，或收集日常的数码相片获得。而通用的三维头部模型是由229个三维顶点构成，后续的形变过程均自该模型开始。

步骤S1：调整三维头部模型的三维位置与姿态角度，使其与给定的两幅人脸图像的用户脸部位置、姿态近似对应一致。

为了消除姿态对头部建模的影响，我们允许用户交互式调整三维头部模型的三维姿态，使其与给定的人脸图像近似配准。调整过程需要先将三维头部模型中心移到正面脸部图像的中心位置，然后改变模型的大小使外轮廓与正面脸部图像中的外轮廓对齐，最终，调整模型的姿态角度使其与侧面脸部图像的姿态角度近似一致。

步骤S2：调整三维头部模型中脸部轮廓区域控制点的位置，使其与给定图像的用户脸部形状对应一致。

所述脸部轮廓区域包含11个控制点，图3给出了三维头部模型脸部轮廓区域所包含的11个控制点的位置定义，其中，8个控制点用来定义脸部的外轮廓，剩余3个控制点用于定义脸部的中心线。该步骤中，我们同样允许用户对三维头部模型中脸部轮廓区域的位置进行交互式调整，在交互式调整的过程中，用户仅需调整外轮廓左侧的5个和中心线上的3个控制点，脸部外轮廓右侧的3个控制点会根据对称性自动调整到相应的位置。

步骤S3：在调整脸部轮廓区域控制点的同时，利用移动最小二乘法实时计算三维头部模型中所有非控制点的形变，以保持三维头部模型表面的连续平滑。

移动最小二乘法是处理离散数据插值的有效工具，移动最小二乘法将模型建模看成是在给定控制数据点集及形变的条件下，插值计算剩余数据点位置的问题。本发明利用移动最小二乘法计算三维模型中所有非控制点的局部形变。

图2是移动最小二乘法的算法可视化示意图。如图2所示，v表示模型的顶点坐标，p_i表示其中的控制顶点坐标，q_i为其形变后的坐标。从给定的模型顶点中，首先选取一个小规模的控制点子集，进行手工调整。设p表示该控制点子集，而q表示它们调整后的新位置。对于给定的模型上的任一其它顶点v，我们通过最小化下面的函数来求解描述该点的最优的局部线性变换函数L_v(x)：

$\min \underset{i}{\mathrm{\Σ}}{w}_i{\left|\right|L_v\left(p_i\right)-q_i\left|\right|}^2,$

式中，p_i是任一控制点顶点的坐标值，q_i是变形p_i得到的新坐标值，而w_i是一加权核函数，其以距离‖p_i-v‖²为原变量。由于核函数w_i依赖于当前的顶点，因此，对于每一个顶点v，我们定义一个特定的线性变换函数L_v(x)与之对应。一般意义下的线性变换函数L_v(x)的形式如下：

L_v(x)＝xM+T，

其中，M为线性变换矩阵，T为线性平移向量。将该式代入到上式中可得到一个更为具体的目标函数：

$\min \underset{i}{\mathrm{\Σ}}{w}_i{\left|\right|p_{i}M+T-q_i\left|\right|}^2,$

为了求解线性平移向量T，令该目标函数关于T的一阶偏导数为零可得：

T＝q_*-p_*M，

其中，q_*和p_*分别是形变前后控制点子集的重心坐标：

$q_{*}=\frac{\underset{i}{\mathrm{\Σ}}{w}_i{q}_i}{\underset{i}{\mathrm{\Σ}}{w}_i},$ $p_{*}=\frac{\underset{i}{\mathrm{\Σ}}{w}_i{p}_i}{\underset{i}{\mathrm{\Σ}}{w}_i},$

将T的表达式带入上述目标函数，并令关于M的一阶偏导数等于零可得如下的加权最小二乘解：

$M={\left(\underset{i}{\mathrm{\Σ}}{w}_i{(p_i-p_{*})}^T(p_i-p_{*})\right)}^{-1}\underset{j}{\mathrm{\Σ}}{w}_j{(p_j-p_{*})}^T(q_j-q_{*}).$

图2中的第二、三个图分别为移动控制点后模型形变前后的效果示意图。由图可见，用户每次操纵一个控制点的q值时，该控制点的p值并不发生改变，因而对于不同的顶点，计算其形变时，T和M中与q无关的部分是可以作为提前量计算的。采用这一方法，移动最小二乘的计算速度可以大大提高，对于由上千个顶点构成的模型，基于移动最小二乘的形变过程可以实时的完成。

步骤S4：交互调整眼眉、双眼、鼻子与嘴部区域控制点的位置，使这四个区域与给定脸部图像的用户五官区域对应一致。

将对应的脸部图像控制点集合P首先划分为五个组合：

P＝P₁∪P₂∪P₃∪P₄∪P₅，

这五个组合分别对应于轮廓、眼眉、双眼、鼻子和嘴部五个语义区域，其中，轮廓区域存在11个控制点，眼眉区域存在6个控制点，双眼区域存在8个控制点，鼻子区域存在4个控制点，嘴部区域存在6个控制点。这五组控制点集合之间没有交集，即满足

在调整计算过程中，五组控制点集合又分为两层使用：L₁＝{P₁}和L₂＝{P₂，P₃，P₄，P₅}，且设定L₁驱动的形变计算影响L₂的结果，而L₂驱动的形变则对L₁无影响，亦即设定轮廓控制点可以影响全局的模型表面，而其余的控制点则仅影响其对应的语义区域。这样做可以避免局部的五官区域影响已正确匹配的脸部轮廓，从而达到减小用户交互量的目的。

以一个由414个三角面片和229个顶点构成的三维头部模型为例，在其229个顶点中，我们选择了35个顶点作为正面的控制点，10个作为侧面的控制点。根据上述的分层原则，这35个正面的控制点又进一步分为五组，分别对应于轮廓、眼眉、双眼、鼻子和嘴部五个语义区域，集合大小分别为：

|P₁|＝11，|P₂|＝6，|P₃|＝8，|P₄|＝4，|P₅|＝6。

图3显示了该三维头部模型上的控制点集合的分布。在交互调整控制点时，用户应首先调整轮廓控制点集合P₁，待完成后，再调整五官控制点集合P₂、P₃、P₄和P₅，以改变局部模型表面。据此，在配准模型与正面图像时，仅需改变模型顶点

的x，y坐标值，而在与侧面图像配准时，仅需改变其y，z坐标值。为获取完整的三维坐标，归一化两次配准的相同顶点的不同y值即可。

步骤S5：在调整五官控制点的同时，按照移动最小二乘法来实时计算所有非控制点的形变，以保持表面连续平滑。

移动最小二乘法的一个重要问题是选择合适的局部线性形变函数及其维度。本发明定义了两种局部线性变换函数：二维的仿射变换和三维的欧氏刚性变换，并分析给出了两种变换在移动最小二乘法框架中的不同效果。

定义v′为任一模型三维顶点V在图像平面上的投影，在两种变换形式下，它的表达式分别为：

v′＝MPV+t，v′＝PRV+T，

其中，P为三维到二维的投影矩阵，V是模型上的任一三维顶点坐标值，t是二维平移向量，R是三维旋转矩阵，T是三维平移向量。对任一三角面片的三个顶点V₁，V₂，V₃，定义其在图像平面上的投影分别为v₁，v₂和v₃，在微小形变的情况下，可以近似认为三个顶点的形变是相同的。在该假设下，对于二维的仿射变换，有：

$v_2^{\′}-v_1^{\′}=\mathrm{MP}(V_2-V_1)$

$v_3^{\′}-v_1^{\′}=\mathrm{MP}(V_3-V_1);$

相似地，在三维的刚性变换下，有

$v_2^{\′}-v_1^{\′}=\mathrm{PR}(V_2-V_1)$

$v_3^{\′}-v_1^{\′}=\mathrm{PR}(V_3-V_1).$

给定相同的投影矩阵P，在这两种变换下，三角面片的边

和

的形变自由度分别由矩阵M和R定义。已知二维的仿射矩阵M可分解为一个非对称的尺度变换和一个剪切变换，可以使得变换后的边拓扑与原始的投影拓扑完全不同，也就相当于改变了原始三角面片的拓扑结构，可能出现亏格、锐化等问题；相反，由于三维的旋转矩阵R是由三个方向旋转构成，不会改变三维三角面片的自身拓扑结构。如果假设三维模型由足够多的微小三角面片组成，并将每个面片比作人体的一个细胞，在形变过程中，由于不希望破坏细胞的物理结构，根据上面的分析，三维的刚性变换更能满足该要求。图4显示了两种变换下的形变对比图，图4中的左图为三维刚性变换下的形变示意图，右图为二维仿射变换下的形变示意图，从图中可以看出，三维刚性变换能保证三角面片的相对稳定性，使得变形后的结果在视觉感官上更加真实。

针对三维欧氏刚性变换下的移动最小二乘法的计算复杂性，本发明采用了如下的转换方法。首先将由欧拉角构成的3×3旋转矩阵等价表示为指数映射的形式，组成线性系统，进而通过求解该线性系统的特征值求得映射的旋转向量。具体地，三维刚性变换一般可以表示为L_v(x)＝xR+T，当映射到指数表达式时，R可以等价地表示为绕某一单位旋转轴e旋转α角度的描述：

R_e，α(v^T)＝e^Tev^T+cosα(I-ee^T)v^T+sinαe×v，

将该式代入移动最小二乘的目标函数中可得如下有约束的优化问题：

$\underset{e,\mathrm{\α}}{\max }e{\mathrm{Me}}^T+\cos \mathrm{\α}(E-e{\mathrm{Me}}^T)+\sin \mathrm{\α}{\mathrm{Ve}}^T,$

s.t.‖e‖＝1 and cos²α+sin²α＝1

其中，矩阵M是控制点集合形变前后位置的内积矩阵，标量E是矩阵M的迹，矩阵V是控制点集合形变前后位置张成的外积矩阵： $M=\underset{i}{\mathrm{\Σ}}{w}_i{(q_i-q_{*})}^T(p_i-p_{*}),$ E＝Trace(M)， $V=\underset{i}{\mathrm{\Σ}}{w}_i(p_i-p_{*})\×(q_i-q_{*}).$

依据上述目标函数的Kuhn-Tucker条件，可进一步得到如下的线性特征值问题：

(M+M^T+aV^TV)e^T＝λe^T，

其中，待求解的旋转轴e为对应矩阵M+M^T+aV^TV的特征值λ的特征向量，可通过标准的特征值分解方法求得。

关于移动最小二乘法中平滑加权核函数及尺度的选择：加权核函数决定了一次调整一个控制点可以影响多大范围内的顶点，其对最终的建模效果有着至关重要的影响。一个好的核函数是处处平滑可微的，本发明测试比较了三种方法：

$w_1\left(d\right)=\frac{1}{d^2+{\mathrm{\ϵ}}^2},$ $w_2\left(d\right)=e^{-\frac{d^2}{h^2}},$ $w_3\left(d\right)=\left\{\begin{array}{ccc}{(1-\frac{d}{h})}^4(\frac{4d}{h}+1)& \mathrm{if}& d\∈[0,h]\\ 0& & \mathrm{otherwise}\end{array}\right.,$

其中，w₁(d)是欧氏函数，d定义了当前插值点到某一控制点的欧氏距离，ε是一个非零的超参数，用来避免d＝0的奇异情况；w₂(d)是高斯函数，h是一个用于尺度控制的可调参数；w₃(d)是Wendland函数，在[0，h]的区间内定义为处处平滑可微，h是它的尺度控制参数。

本发明尤其提出了一种定量方法验证核函数尺度的选择。三种核函数在不同尺度下的影响域图见图5所示。图5中自上而下分别为欧式函数、高斯函数和Wendland函数在不同尺度下的影响域图，其中，每一组控制点用一个图显示，而受影响区域的亮度是所有控制点基色线性叠加的结果，且距离控制点越近，影响越大；暗色区域表示没有受影响的区域，而浅色区域则表示了受多组控制点的影响，且亮度越高，表示受影响越大。对于欧氏函数，我们采用了一个足够小的超参数ε值ε＝0.0005。对于高斯函数和Wendland函数，尺度因子h的影响较大，在h由小逐渐变大时，受控制点影响的区域逐渐扩大。针对人脸建模问题，形变区域应与脸部肌肉分布吻合，理想效果是每组特征控制点仅影响其邻近的特征语义区域，例如，眼部的4个控制点只能影响其对应眼眶以内的区域。以此为据，在所有结果中，两种情况能够满足这种期望：h＝0.2时的高斯函数和h＝0.5时的Wendland函数。鉴于它们的图谱非常相似，我们可以任选一种作为移动最小二乘法的核函数。

步骤S6：计算形变后模型的包络圆柱纹理坐标，进而通过获取输入人脸图像中的颜色值，合成纹理图像并贴至三维模型表面，生成具有真实感的头部模型。

首先，计算形变后模型顶点在其包络圆柱表面的位置，将圆柱表面展开作为纹理图像，即得顶点的纹理坐标对应；对于非顶点对应的纹理像素，计算相对坐标找到它所属的纹理图像上的三角形，并向该三角形对应的三维三角面片做反向投影，可以获得该像素对应的三维位置；进而根据模型点在输入人脸图像中的投影位置，获取纹理坐标点在输入人脸图像中的对应颜色值，基于纹理坐标点和获得的颜色值合成彩色纹理图像；最后，通过纹理贴图将生成的彩色纹理图像映射到形变后的三维模型表面，生成具有真实感的三维头部模型。

包络圆柱投影的纹理坐标：完成上述的模型表面调整后，需要从给定的人脸图像中提取彩色纹理并映射到模型表面。这是一个从二维到三维再到二维的过程，最关键的步骤是选择正确的纹理坐标，为此，我们定义了一种包络圆柱投影的纹理坐标。在该方法中，我们首先将模型顶点投影到一个包络的圆柱体表面上，得到模型顶点的包络圆柱坐标，然后将该圆柱体的表面沿平面展开作为纹理图像，并通过与纹理图像建立对应得到每个顶点在纹理图像上的纹理坐标；而对于非顶点对应的纹理像素，由于模型顶点在纹理图像上的对应点已知，首先通过计算该像素在这些对应点构成的三角形内的相对坐标，来确定其所属的三角形。对给定的任一非顶点像素(s，t)和任一三角形的三个顶点(s₁，t₁)，(s₂，t₂)，(s₃，t₃)，其相对坐标(a，b，c)可由下列的方程组唯一确定：

as₁+bs₂+cs₃＝s

at₁+bt₂+ct₃＝t。

a+b+c＝1

根据位置关系，计算的(a，b，c)中仅有唯一的一个满足{a，b，c|0≤a≤1，0≤b≤1，0≤c≤1}，其对应的三角形即为该像素所属的三角形。

所属三角形确定后，通过向该三角形对应的模型三角面片反向投影，即可确定该非顶点像素在三维空间内的坐标值。图6a和6b是纹理像素所对应的三维坐标计算过程的示意图。对任一模型三角面片ABC，三个顶点为A(x₁，y₁，z₁)、B(x₂，y₂，z₂)、C(x₃，y₃，z₃)，我们首先计算其对应的包络圆柱三角形A′B′C′，而对于A′B′C′内的任一点P′(s，t)，为求其对应的三维点，假设有自P′(s，t)出发的过包络圆柱中心点O(x₀，y₀，z₀)的射线P′O，与面片ABC的交点为P(x，y，z)，其坐标值满足如下方程组：

y＝t

x-x₀＝tanθ(z-z₀)，

(x，y，z)·N＝k

k＝(x_n，y_n，z_n)·(x₁，y₁，z₁)

其中，t为纹理坐标的纵坐标值，θ为如图6a所示的夹角，N＝(x_n，y_n，z_n)为平面ABC的法向量，k为一内积因子常数，(x₁，y₁，z₁)为平面ABC上的顶点A的坐标值。

联立求解上述的方程组求解未知变量x，y，z可得：

x＝k-yy_n-zz_n，y＝t， $z=\frac{k-{\mathrm{ty}}_n+z_0{x}_n\tan \mathrm{\θ}-x_0{x}_n}{z_n+x_n\tan \mathrm{\θ}},$

即为任一给定纹理点对应的三维位置。

由于模型顶点在输入的正面人脸图像中的投影位置已知，上述计算过程使得我们建立了纹理坐标点与输入人脸图像中的坐标点的对应关系。基于所有纹理坐标点及其在输入人脸图像中的对应颜色值，通过邻近像素颜色的线性插值，合成彩色的纹理图像；为了消除锯齿效应，本发明进一步使用了3×3的高斯滤波器对彩色的纹理图像进行平滑。最后，通过纹理贴图将生成的彩色纹理图像映射到形变后的三维模型表面，最终完成有真实感的头部模型建模过程。

三维头部建模结果：为验证本发明所提出的三维头部建模技术，我们采集了一系列真实的用户图像进行了实验验证。图7验证了所述模型形变技术的脸部细节表现能力。我们特别地放大了眼睛、鼻子和嘴部的细节来进行观察。如图所示，三个形变后的模型的脸部细节在结构上各不相同，但都具有平滑的真实感，且不存在面片亏格、顶点锐化等技术缺陷。

图8则给出了两个基于两幅真实视频图像的三维建模结果。每一行的左侧两幅图像为采集图像，剩余的图像则为纹理贴图的合成结果。可以看出，合成的脸部图像与真实图像之间存在着高度的视觉相似性，脸部的细节包括鼻子和眼睛等的形状得到了真实的重现，且不存在明显的纹理贴图瑕疵等问题。特别地，在眼睛和鼻子区域，虽然我们仅定义了稀疏的控制点，但由于移动最小二乘法中的分层操作以及区域控制核函数的恰当选择，形变被限定在了各自的语义范围内，保证了三维重建的真实性。这证明了该技术的有效性。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于两幅人脸图像的三维头部建模方法，其特征在于，包括以下步骤：

步骤S1：调整三维头部模型的三维位置与姿态角度，使其与给定的两幅人脸图像的用户脸部位置、姿态对应一致；

步骤S2：调整三维头部模型中脸部轮廓区域控制点的位置，使其与给定图像的用户脸部形状对应一致；

步骤S3：在调整脸部轮廓区域控制点的同时，利用移动最小二乘法实时计算三维头部模型中所有非控制点的局部形变；

步骤S4：交互调整眼眉、眼睛、鼻子与嘴部区域控制点的位置，使这四个区域与给定图像的用户五官区域对应一致；

步骤S5：在调整五官控制点的同时，利用移动最小二乘法实时计算所有非控制点的形变；

步骤S6：计算形变后模型的包络圆柱纹理坐标，进而通过获取输入人脸图像中的颜色值，合成纹理图像并贴至模型表面，生成具有真实感的头部模型。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2中的脸部轮廓区域包含11个控制点，其中，8个控制点用来定义脸部的外轮廓，3个控制点用于定义脸部的中心线。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3中使用的移动最小二乘法的目标函数为：

$\min \underset{i}{\mathrm{\Σ}}{w}_i{\left|\right|L_v\left(p_i\right)-q_i\left|\right|}^2,$

其中，p_i是三维头部模型中任一控制点顶点的坐标值，q_i是p_i对应的变换位置的坐标值，w_i是一加权核函数，L_v(x)为三维头部模型的任一其它顶点v的最优局部线性变换函数。

4.根据权利要求1所述的方法，其特征在于，所述步骤S4中眼眉、双眼、鼻子与嘴部区域控制点数分别为6个、8个、4个和6个。

5.根据权利要求1所述的方法，其特征在于，脸部区域控制点组成的集合P分为五组子集合：P＝P₁∪P₂∪P₃∪P₄∪P₅，其中，P₁为脸部轮廓区域控制点集，P₂为脸部眼眉区域控制点集，P₃为脸部双眼区域控制点集，P₄为脸部鼻子区域控制点集，P₅为脸部嘴部区域控制点集；这五组控制点集之间没有交集，即满足：

6.根据权利要求5所述的方法，其特征在于，在调整控制点的过程中，五组控制点集分为两层：L₁＝{P₁}和L₂＝{P₂，P₃，P₄，P₅}，且设定L₁驱动的形变计算影响L₂的结果，但L₂驱动的形变对L₁却无影响。

7.根据权利要求1所述的方法，其特征在于，所述移动最小二乘法所使用的局部线性变换函数为三维欧氏刚性变换。

8.根据权利要求7所述的方法，其特征在于，所述移动最小二乘法所使用的加权核函数为尺度控制参数h＝0.2时的高斯函数和h＝0.5时的Wendland函数。

9.根据权利要求8所述的方法，其特征在于，通过比较不同加权核函数在不同尺度下对每一组控制点的影响域图来选择所述加权核函数。

10.根据权利要求1所述的方法，其特征在于，所述步骤S6具体包括以下步骤：

步骤S61：计算形变后模型顶点在其包络圆柱表面的位置，将圆柱表面展开作为纹理图像，即得模型顶点所对应的纹理坐标；

步骤S62：对于非顶点对应的纹理像素，首先通过计算相对坐标找到它所属的纹理图像上的三角形，进而向该三角形对应的三维三角面片做反向投影，获得该像素对应的三维位置；

步骤S63：根据模型点在输入人脸图像中的投影位置，获取纹理坐标点的对应颜色值，从而合成彩色的纹理图像；

步骤S64：通过纹理贴图将生成的彩色纹理图像映射到形变后的三维模型表面，从而生成具有真实感的三维头部模型。

Images