CN102999942B - 三维人脸重建方法 - Google Patents

Abstract

本发明公开了本发明提供一种三维人脸重建方法，包括以下步骤：S1：定位出待重建人脸图象中的二维关键点；S2：定位出三维模型中与S1中的二维关键点对应的三维关键点坐标；S3：利用S2中的关键点分部件加权计算三维人脸的形状重建系数，以及成象模型参数；S4：利用三维形变模型分部件合成三维人脸形状；S5：利用成象模型和人脸对称性提取三维人脸纹理。本发明提供的三维人脸重建方法，首先对任意姿态人脸图象都能获得较好的重建结果，其次运算速度快，而且非线性优化很快收敛，与现有技术的稠密重建算法相比，速度提高一个数量级以上而且性能更加稳定。

Description

三维人脸重建方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种三维人脸重建方法。

背景技术

三维人脸重建是计算机视觉和计算机图形学中的一个重要研究课题，广泛应用于人脸识别、人机交互、三维动画领域中。三维人脸重建的经典方法是三维形变模型（3D Morphable Model），用基向量的线性组合来重建人脸的三维形状x_model和纹理t_model，即

$\begin{array}{cc}{x}_{\mathrm{mode}l}=\stackrel{\‾}{x}+\mathrm{Sdiag}\left(\mathrm{\σ}\right)c& t_{\mathrm{mode}l}=\stackrel{\‾}{t}+\mathrm{Tdiag}\left(\mathrm{\λ}\right)b---\left(1\right)\end{array}$

其中为三维平均人脸形状，c为形状重建系数，S为三维人脸形状基向量矩阵，σ=(σ₁,σ₂，…,σ_m)为形状系数的标准差，diag(σ)表示以σ₁,σ₂，…,σ_m为对角线元素的对角矩阵。m为形状基向量的个数；同样为三维平均人脸纹理，T为人脸纹理基向量矩阵，λ为纹理系数的标准差，b为纹理重建系数。

传统的基于图象纹理的人脸稠密重建过程中，重建的由于图象纹理差的目标函数很不平滑，在优化中容易陷入局部极小值。为了解决上述难点问题，基于关键点的人脸稀疏重建方法是一种行之有效的方法，因为其只利用少量人脸特征点来拟合模型，具有明显的速度优势。

目前大多数的稀疏重建方法需要较精确地定位关键点，并利用先验分布对参数进行约束。三维稀疏重建中有三个方面的因素会影响重建的准确性。首先，关键点数目较少容易导致过拟合，其次，由于训练三维形变模型的样本数有限，小样本问题会导致合成模型的泛化表达受限，三维形变模型是一个线性模型，其表达能力受到训练库的限制。因为三维采集和处理的代价较大，目前已有的数据库最多也不过三四百人，与数万的人脸顶点数相差甚远，因此小样本问题可能会导致模型的泛化误差变大。另外，如果用于重建的摄像机投影矩阵和产生二维坐标的真实投影矩阵不一致，就会引起额外的系统误差。因此，如何提高模型的表达能力，避免过拟合，和提高摄像机投影矩阵估计的准确性是亟待解决的问题。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是，针对现有技术的不足，提供一种三维人脸重建方法，提高模型的表达能力，避免过拟合；和提高摄像机投影矩阵估计的准确性

（二）技术方案

本发明提供一种三维人脸重建方法，包括以下步骤：

S1：定位出待重建人脸图象中的二维关键点；

S2：定位出三维模型中与S1中的二维关键点对应的三维关键点坐标；

S3：利用S2中的关键点分部件加权计算三维人脸的形状重建系数，以及成象模型参数；

S4：利用形状重建系数和三维形变模型分部件合成三维人脸形状并进行融合；

S5：利用成象模型和人脸对称性提取三维人脸纹理。

其中，S1具体包括：S11：确定待重建人脸的三维姿态；S12：获取二维关键点坐标。

其中，S2具体包括：S21：利用待重建人脸的三维旋转角度，从三维平均人脸合成相应角度的人脸虚图象；S22：从S21中的人脸虚图象中手工拾取或者用人脸定位算法定位二维关键点；S23：获取对应的三维关键点坐标。

其中，在S21中，经过透视变换、栅格化、消隐的计算机图形学操作，得到二维人脸虚图象，同时记录每一象素对应的三维模型顶点坐标。

其中，在S23中，根据所述二维关键点的象素坐标，通过回溯所述对应三维模型顶点坐标获取三维关键点坐标，然后从完整三维人脸基向量矩阵中抽取出对应的三维稀疏基向量矩阵G。

其中，在S3中，选取四组权重分别对关键点进行加权。

其中，在S4中，利用基向量矩阵加权融合合成三维人脸形状。

其中，S5还包括，对S4和S5中获取的三维人脸形状和三维人脸纹理中的任意一个点进行可见性检测。

（三）有益效果

本发明提供的三维人脸重建方法，首先对任意姿态人脸图象都能获得较好的重建结果，其次运算速度快，而且非线性优化很快收敛，与现有技术的稠密重建算法相比，速度提高一个数量级以上而且性能更加稳定。

附图说明

图1是本发明三维人脸重建方法步骤流程图；

图2是本发明三维人脸重建方法的人脸部件划分结构示意图；

图3是本发明三维人脸重建方法的三维人脸形状合成过程示意图；

图4是真实三维人脸各姿态表象；

图5是本发明三维人脸重建结果示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明提供一种三维人脸重建方法，包括：

S1：定位出待重建人脸图象中的二维关键点；

S11：确定待重建人脸的三维姿态；人脸的三维姿态可以用三个旋转角度来确定，即绕x，y，z轴的旋转角，利用姿态估计算法可以获取这三个角度；在S11中，人脸的三维姿态采用基于Gabor特征的人脸姿态估计算法。基于Gabor特征的人脸姿态估计算法的过程是：首先从人脸图象中提取Gabor特征，训练时将人脸姿态按照三个角度划分为若干个姿态子区间，然后训练随机树；识别时利用随机树进行回归，对不同随机树的回归结果进行融合，估计出人脸的三个旋转角度。本发明除了Gabor特征的人脸姿态估计算法获得人脸的三维姿态的三个角度以外，还可以利用Vanishing Point（灭点）法或ProjectiveGeometry（投影几何）法获取人脸的三维姿态的三个角度。

S12：获取二维关键点坐标；指定一组人脸上比较稳定的关键点，包括眉毛、眼睛、鼻尖、嘴巴、轮廓，然后可以手工拾取这或者用自动定位算法获取二维关键点坐标；在S12中，利用RFE-ASM算法获取二维关键点坐标。

RFE-ASM算法定位人脸关键点的过程是：首先利用训练样本和标注的关键点坐标建立二维人脸形状模型和局部纹理模型，定位时选取形状模型中原特征点预设范围内的局部纹理模型输出概率最大的点作为新的特征点，对每个二维人脸图像的形状模型进行优化，从而得到该二维人脸图像的最优的形状模型，根据最优形状模型，对该二维人脸图像进行精确定位。本发明除了RFE-ASM算法获取二维关键点坐标外，还可以利用AAM算法获取二维关键点坐标。

S2：定位出三维模型中与S1中的二维关键点对应的三维关键点坐标；

S21：利用待重建人脸的三维旋转角度，从三维平均人脸合成相应角度的人脸虚图象；对三维平均人脸进行按照所述姿态旋转，然后经过透视变换、栅格化、消隐的计算机图形学操作，得到二维人脸虚图象，同时记录每一象素对应的三维模型顶点坐标；

S22：从S21中的人脸虚图象中手工拾取或者用人脸定位算法定位二维关键点；在二维人脸虚图象上用与S12相同的方法定位人脸关键点；

S23：获取对应的三维关键点坐标；根据所述二维关键点的象素坐标，通过回溯所述对应三维模型顶点坐标获取三维关键点坐标，然后从完整三维人脸基向量矩阵中抽取出对应这些点的三维稀疏基向量矩阵G；

S3：利用S2中的关键点分部件加权计算三维人脸的形状重建系数，以及成象模型参数；

如图2所述，根据所属器官对关键点进行分组。本实例将人脸划分为四个部件。选取四组权重分别对关键点进行加权，只有在同一部件或者相邻部件内的关键点才被赋予非零权重。选取权重的方法很多，例如，基于Epanechnikov函数构造点x_i对于第j个部件的权重D_ij的方法是：

$D_{\mathrm{ij}}=D\left(\frac{\left|\right|x_i-x\left|\right|}{\mathrm{\λ}}\right),$ 其中以t为自变量的函数D

其中λ是一个可调参数，用来控制邻域大小。

加权拟合人脸形状重建系数的方法是优化式（3），来获取形状系数c和成象模型参数ρ：

$\left(\widehat{c,}\hat{p}\right)=\underset{c,p}{\arg \min }\left(\underset{j=1}{\overset{4}{\mathrm{\Σ}}}({\left|\right|D_j{\mathrm{Qc}}_j-D_{j}r\left|\right|}^2+\mathrm{\η}{\left|\right|c_j\left|\right|}^2)\right)---\left(3\right)$

其中Q为二维稀疏基向量矩阵，可以表示为成象矩阵H和S2得到的三维稀疏基向量矩阵G的乘积，r为S1得到的二维关键点坐标。真实成象矩阵H将三维坐标点(x，y，z)^T（其中T为矩阵转置），通过三维刚体变换（包括缩放、旋转、平移）和平行投影变换到二维坐标点(x’，y’)^T，如式（4）所示。成像矩阵的参数包括人头旋转和尺度参数的四元数表示q（式（5））和象平面上的平移t，使用ρ来表示这些参数。

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\mathrm{sR}\left[\begin{array}{c}x\\ y\\ z\end{array}\right]+t=H\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(4\right)$

$P=\mathrm{sR}=\left[\begin{array}{ccc}{q}_0^2+q_x^2-q_y^2-q_x^2& 2(q_x{q}_y-q_0{q}_z)& 2(q_x{q}_z+q_0{q}_y)\\ 2(q_0{q}_z+q_x{q}_y)& q_0^2-q_x^2+q_y^2-q_z^2& -2(q_0{q}_x-q_y{q}_z)\end{array}\right]---\left(5\right)$

可以使用确定性优化或随机优化算法来求式(3)的最优解，可采用Levenberg-Marquardt算法（列文伯格-马夸尔特法，是一种最小二乘拟合中的算法）。

S4：利用三维形变模型分部件合成三维人脸形状；

通过S3获得人脸形状重建系数后，就可以利用基向量矩阵加权融合合成三维人脸形状，如式（6）。

如图3所示，其中w_i是第i组系数合成形状的融合权重向量，w_ij是对应第j个顶点的权重，°代表Hadamard点乘，为三维平均人脸形状，S为完整三维人脸基向量矩阵。按照式（6）对某一个顶点j的合成，选取权重的方法与S3相同。

S5：利用成象模型和人脸对称性提取三维人脸纹理；

对S4和S5中获取的三维人脸形状和三维人脸纹理中的任意一个点进行可见性检测，其空间坐标为(x，y，z)^T，由式（3）得到其在图像平面上的投影坐标为(x’，y’)^T。首先对该点进行可见性检测。可见性检测可以采用Z-Buffer或光线跟踪算法（Z-Buffer：是一项处理3D物体深度信息的技术，它对不同物体和同一物体不同部分的当前Z坐标进行纪录，在进行着色时，对那些在其他物体背后的结构进行消隐，使它们不被显示出来；为了生成在三维计算机图形环境中的可见图像，光线跟踪是一个比光线投射或者扫描线渲染更加逼真的实现方法。这种方法通过逆向跟踪与假象的照相机镜头相交的光路进行工作，由于大量的类似光线横穿场景，所以从照相机角度看到的场景可见信息以及软件特定的光照条件，就可以构建起来。当光线与场景中的物体或者媒介相交的时候计算光线的反射、折射以及吸收）。如果该点在输入图象中可见，则将该坐标上输入的人脸图像的象素值作为三维模型上对应点的纹理。如果通过可见性检测发现该点纹理在图象中不可见，则用对称点的纹理作为该点纹理。这样就可以得到三维人脸纹理。

如图4并参考图5所示，本发明采用对正面人脸图象重建的方法，最终得到的三维人脸渲染产生的不同姿态人脸，和真实图象相比具有较高的真实度。并且只需要已知关键点位置，重建速度很快，只需要不到2秒，远快于稠密重建的数十秒。

本发明实施例，通过获取任意姿态人脸中对应的二维和三维关键点对，然后进行三维形状稀疏重建，最后结合人脸对称性进行纹理提取，使得任意姿态的人脸图象都能得到较好的重建效果。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (7)

1.一种三维人脸重建方法，其特征在于，包括以下步骤：

S1：定位出待重建人脸图象中的二维关键点；

S2：定位出三维模型中与S1中的二维关键点对应的三维关键点坐标；

S3：利用S2中的关键点分部件加权计算三维人脸的形状重建系数，以及成象模型参数；

S4：利用形状重建系数和三维形变模型分部件合成三维人脸形状并进行融合；

S5：利用成象模型和人脸对称性提取三维人脸纹理；

在S3中，选取四组权重分别对关键点进行加权，只有在同一部件或者相邻部件内的关键点才被赋予非零权重；

在S4中，选取四组权重分别对部件重建结果进行加权，只有基于同一部件或者相邻部件的重建结果才被赋予非零权重。

2.如权利要求1所述的方法，其特征在于，S1具体包括：

S11：确定待重建人脸的三维姿态；

S12：获取二维关键点坐标。

3.如权利要求2所述的方法，其特征在于，S2具体包括：

S21：利用待重建人脸的三维旋转角度，从三维平均人脸合成相应角度的人脸虚图象；

S22：从S21中的人脸虚图象中手工拾取或者用人脸定位算法定位二维关键点；

S23：获取对应的三维关键点坐标。

4.如权利要求3所述的方法，其特征在于，在S21中，经过透视变换、栅格化、消隐的计算机图形学操作，得到二维人脸虚图象，同时记录每一象素对应的三维模型顶点坐标。

5.如权利要求3所述的方法，其特征在于，在S23中，根据所述二维关键点的象素坐标，通过回溯所述对应三维模型顶点坐标获取三维关键点坐标，然后从完整三维人脸基向量矩阵中抽取出对应的三维稀疏基向量矩阵G。

6.如权利要求1所述的方法，其特征在于，在S4中，利用基向量矩阵加权融合合成三维人脸形状。

7.如权利要求1所述的方法，其特征在于，S5还包括，对S4和S5中获取的三维人脸形状和三维人脸纹理中的任意一个点进行可见性检测。