CN108564619A - 一种基于两张照片的真实感三维人脸重建方法 - Google Patents

Abstract

本发明一种基于两张照片的真实感三维人脸重建方法，利用事先训练好的ASM检测器检测出人脸正面照片上的特征点，并根据特征点选取最匹配脸型轮廓的3D人头模型，被选取的3D人头模型被分为若干的块，并根据每块对应的2D输入人脸照片上的块特征对3D人头上的块进行变形；最后，纹理也被逐块地创建出来。本发明与现有技术相比，只需要两张照片用于真实感3D人头重建，通过将3D人头划分成若干块并分别进行变形，使得3D人脸的局部特征与人脸照片保持一致，计算复杂度低，方法简单，容易实现，应用广泛。

Description

一种基于两张照片的真实感三维人脸重建方法

技术领域

本发明属于计算机图形学与三维重建领域，特别是一种基于两张照片的真实感三维人脸重建方法。

背景技术

随着科学技术的发展和计算机运算能力的增强，吸引了越来越多用户通过虚拟现实来构建一个奇妙的虚拟世界。在虚拟世界中，任何物体都能被构建出来，而随着渲染技术和硬件的支持，真实感的虚拟物体更是为广大受众提供一种前所未有的沉浸式体验，这种体验被应用在许多方面，教育、医疗、娱乐等。当人们想把自己置身于虚拟世界中时，往往会寻找一个与自己相像的角色替代自己，包括身材、发型、肤色，尤其是面部容貌。而面部容貌因为其高度复杂性，使得真实感3D人头重建成为计算机图形学和计算机视觉领域中一项热点和难点。

真实感3D人头重建主要是利用有限的面部数据，最大化地重建3D人头和真实感的皮肤纹理贴图。人脸具有共同特征的同时也存在个体之间的差异。自从Parke于1979年提出了面部参数模型之后，许多人脸重建方法被相继提出。人头重建方法主要分成两大类：第一种是通过扫描仪获取人头的精确空间数据信息以实现人头的三维重建，例如点云，虽然这种方法鲁棒性强、精度高，但是无法实现自动化，因为对点云的处理涉及到一系列复杂的操作和人为干预；另外，利用扫描仪采集人头的3D数据时，环境光照也有一定的要求；另一种是基于一张或多张人头照片来进行3D人头重建，人头照片容易采集而且成本低，相比于第一种方法，第二种方法更容易应用在其他方面，但是，人头照片缺失了深度信息，这给3D人头变形和纹理创建都带来了一定的阻碍，因此，要想实现真实感的3D人头重建，必须通过一系列复杂计算估计出缺失的深度信息。

发明内容

本发明的目的在于提供一种基于两张照片的真实感三维人脸重建方法，尤其是基于人脸的正面和侧面两张照片，通过一系列计算估计出缺失的深度信息来实现真实感的3D人头重建。

本发明一种基于两张照片的真实感三维人脸重建方法，包括如下步骤：

步骤1、3D建模师根据真实的人脸参数创建不同脸型的3D人头模型，并展好各人头模型的uv，创建标准人脸贴图，构建人头数据库；

随机选取预置数量的男性人脸正面照片和女性人脸正面照片，手动标记每张照片中人脸的N个特征点，并将上述人脸正面照片及对应的标记信息作为训练集用于模型训练，得到用于正面人脸特征点检测的主动形状模型ASM检测器，用于自动检测人脸正面照片上的特征点；

步骤2、用户输入两张人脸照片，一张正面，一张侧面，以证件照标准为输入照片的要求，调整人脸照片使得用户界面中的标尺位于人脸照片的合适位置以完成归一化的处理；

步骤3、特征点检测：

利用步骤1训练好的ASM检测器检测出当前输入的人脸正面照片上的N个特征点；对于当前输入的人脸侧面照片，根据从人脸正面照片得到的N个特征点的分布比例关系进行人脸侧面照片的特征点的初步生成；

步骤4、特征点调整：

用户对人脸正面照片上检测后自动生成的特征点的位置进行判断，调整位置有误的特征点，以获得与照片相符的有效特征点集F；

步骤5、根据人脸正面照片的有效特征点集F，与人头数据库中的3D人头模型进行脸型匹配，选取出最相似脸型的3D人头模型：

步骤6、根据人脸正面照片的有效特征点集F，对步骤5选取的3D人头模型进一步完成脸部五官的局部变形，得到3D人头：

变形前的3D人头投影上的每个特征点都能通过一个变换矩阵变换到输入的人脸照片上对应的特征点的位置上，而2D空间中的变换矩阵也可以反投射到3D空间中，从而指导3D人头模型完成变形；

步骤7、根据人脸侧面照片的有效特征点集，对步骤6得到的3D人头做细节调整；

步骤8、纹理创建：

将输入的人脸正面照片和步骤5选取出最相似脸型的3D人头模型对应的步骤1提前创建好的标准人脸贴图都划分成相同数量的若干个小块，根据有效特征点集F找到输入的人脸正面照片和该标准人脸贴图上每一个小块的对应关系，从输入的人脸正面照片上抽取与有效特征点集F对应的小块像素填充到该标准人脸贴图上，完成标准人脸贴图上与有效特征点集F对应的人脸区域的填充，剩余区域则保留该标准人脸贴图的内容；

步骤9、纹理映射关系创建：

步骤7中经过细节调整后的3D人头上的第i个顶点v_i坐标[x_i,y_i,z_i]与其纹理坐标[u_i,v_i]满足[x_i,y_i,z_i]·T＝[u_i,v_i]，将N个特征点分别代入，即可通过最小二乘法求解出T,再对剩余的顶点分别进行T变换即可得到每个顶点坐标对应的纹理坐标；

步骤10、渲染与展示：

利用OpenGL绘制渲染最终3D人头模型，用户通过鼠标操作实现对最终3D人头模型的缩放、平移和旋转操作，实现全方位查看。

所述的ASM算法使用一种主动形状模型来拟合照片中人脸的轮廓线，包括初始化操作和搜索过程，在初始化操作过程中，先粗略确定模型的尺度和偏移，要求输入的人脸正面照片需要满足证件照标准，通过这个约束条件来减少后续搜索子空间的范围，使其收敛于一个正确的形状和位置，方便输入照片和3D人脸特征点之间的比较，另外通过sobel边缘检测获得眼角点的位置和其他边缘可以提高估计的精度。

所述的有效特征点集F＝{f₀,f₁,...f₂₉}，其中，{f₀,f₁,...f₇}为右眼和左眼的8个特征点，{f₈,f₉,...f₁₂}为鼻子的5个特征点，{f₁₃,f₁₄,...f₁₉}为嘴巴的7个特征点，{f₂₀,f₂₁,...f₂₈}为脸型轮廓的9个特征点，点f₂₉是额头中点，作为特征点集F中的基准点。

所述步骤5中选取出最相似脸型的3D人头模型，包括如下内容：

(1)为了减小检索量，从满足输入照片的人脸长宽比的3D人头模型中选取出候选的3D人头模型；

(2)为了匹配2D特征，将候选的3D人头模型通过正交投影到3D平面上，通过平移、缩放、旋转的操作将3D人头投影与输入的人脸照片进行对齐；

(3)在2D空间中，用欧氏距离函数来计算和判断3D人头投影与输入的人脸照片的相似度，计算候选的3D人头投影上的第i个特征点和输入的人脸照片上的第i个特征点之间的欧氏距离，该距离越小表示误差越小，越相似。

所述步骤6中采用嵌入式变形技术来进行3D人头的变形，每个特征点作为嵌入式图G的一个图节点，关联一个刚性变换，各个图节点的影响被平滑地混合，使得每个网格顶点v_i的变形位置v～_i在变形图仿射变换的应用之后是其位置的加权和：

式中，w_j(v_i)是g_j对v_i的影响权重，R_j是旋转矩阵，k是节点数量，g_i是图节点，t_i是平移矩阵。

所述步骤7的细节调整指的是：涉及鼻子高度和嘴巴高度的细节调整，以额头高度h'_f作为基准高度，通过计算输入的人脸侧面照片的鼻子高度与额头高度的比值r_n，以及嘴巴高度与额头高度的比值r_m，以及3D人头的额头高度h'_f，

计算出人脸侧面照片对应的3D人头上的鼻子高度h'_n和嘴巴高度h'_m：

本发明的三维人脸重建方法，快速简单，仅通过一张正面人脸照片和一张侧面人脸照片，即可重建出真实感的3D人头模型。首先，人脸照片可以通过照相机拍摄得到，方便快捷；然后利用事先训练好的ASM检测器检测出人脸正面照片上的特征点，并根据特征点选取最匹配脸型轮廓的3D人头模型，被选取的3D人头模型被分为若干的块，并根据每块对应的2D输入人脸照片上的块特征对3D人头上的块进行变形；最后，纹理也被逐块地创建出来。本发明与现有技术相比，只需要两张照片用于真实感3D人头重建，通过将3D人头划分成若干块并分别进行变形，使得3D人脸的局部特征与人脸照片保持一致，计算复杂度低，方法简单，容易实现，应用广泛。

附图说明

图1是本发明工作原理流程图。

以下结合附图和实施例对本发明做进一步详述。

具体实施方式

如图1所示，本发明一种基于两张照片的真实感三维人脸重建方法，包括如下步骤：

步骤1、3D建模师根据真实的人脸参数创建不同脸型的3D人头模型，并展好各人头模型的uv，创建标准人脸贴图，构建人头数据库；

随机选取150张男性人脸正面照片和150张女性人脸正面照片，手动标记每张照片中人脸的30个特征点，并将上述人脸正面照片及对应的标记信息作为训练集用于模型训练，得到用于正面人脸特征点检测的主动形状模型ASM检测器，用于自动检测正面人脸的特征点；

步骤2、用户输入两张人脸照片，一张正面，一张侧面，这里使用的照片是弱透视的正交照片，以证件照标准为输入照片的要求，通过鼠标缩放和移动调整人脸照片，使得用户界面中的标尺位于人脸照片的合适位置以完成归一化的处理；

步骤3、特征点检测：

利用步骤1训练好的ASM检测器检测出当前输入的人脸正面照片上的30个特征点；对于当前输入的人脸侧面照片，根据从人脸正面照片得到的30个特征点的分布比例关系进行人脸侧面照片的特征点的初步生成；

ASM算法使用一种主动形状模型来拟合照片中人脸的轮廓线，包括初始化操作和搜索过程，在初始化操作过程中，先粗略确定模型的尺度和偏移，而后续的搜索精度也会依赖于初始化操作；由于初始化ASM超出范围的话，ASM算法将无法检测正确的特征点，为了提高鲁棒性，需要加一些约束来减少后续搜索子空间的范围，使其收敛于一个正确的形状和位置；本发明要求输入的人脸正面照片需要满足证件照标准，宽高比是4:5，这样的约束不但可以帮助确定人脸区域，而且方便输入照片和3D人脸特征点之间的比较，另外通过sobel边缘检测获得眼角点的位置和其他边缘可以提高估计的精度；

步骤4、特征点调整：

为确保后续人脸变形和纹理生成的顺利进行，用户对人脸正面照片上检测后自动生成的特征点的位置进行判断，调整位置有误的特征点，以获得与照片相符的有效特征点集F＝{f₀,f₁,...f₂₉}，其中，{f₀,f₁,...f₇}为右眼和左眼的8个特征点，{f₈,f₉,...f₁₂}为鼻子的5个特征点，{f₁₃,f₁₄,...f₁₉}为嘴巴的7个特征点，{f₂₀,f₂₁,...f₂₈}为脸型轮廓的9个特征点，点f₂₉是额头中点，作为特征点集F中的基准点；

步骤5、根据正面人脸照片的有效特征点集，与人头数据库中的3D人头模型进行脸型匹配，选取出最相似脸型的3D人头模型：

为了减小检索量，从满足输入照片的人脸长宽比的3D人头模型中选取出候选的3D人头模型；

为了匹配2D特征，将候选的3D人头模型通过正交投影到3D平面上，通过平移、缩放、旋转等操作将3D人头投影与输入的人脸照片进行对齐；

在2D空间中，用欧氏距离函数来计算和判断3D人头投影与输入的人脸照片的相似度，该距离越小表示误差越小，越相似：设候选的3D人头投影上的第i个特征点和输入的人脸照片上的第i个特征点之间的欧氏距离为||F_model(x_i,y_i)-F_image(x_i，y_i)||，则式中，m是特征点数量，w_i是第i个特征点的权重，相比于脸型的相似度，五官相似度更高，最终结果会更相似，所以人脸内部五官相关特征点的权重会大于决定脸型的特征点的权重；

步骤6、根据正面人脸图的有效特征点集，对步骤5选取的3D人头模型进一步完成脸部五官的局部变形，得到3D人头：

变形前的3D人头投影上的每个特征点都能通过一个变换矩阵变换到输入的人脸照片上对应的特征点的位置上，而2D空间中的变换矩阵也可以反投射到3D空间中，从而指导3D人头模型完成变形；

这里使用的是嵌入式变形技术来进行3D人头的变形，每个特征点作为嵌入式图G的一个图节点，关联一个刚性变换，各个图节点的影响被平滑地混合，使得每个网格顶点v_i的变形位置在变形图仿射变换的应用之后是其位置的加权和：

式中，w_j(v_i)是g_j对v_i的影响权重，R_j是旋转矩阵，k是节点数量，g_i是图节点，t_i是平移矩阵；

步骤7、根据人脸侧面照片的有效特征点集，对步骤6得到的3D人头做细节调整：

主要是鼻子高度和嘴巴高度等细节调整，以额头高度h'_f作为基准高度，通过计算输入的人脸侧面照片的鼻子高度与额头高度的比值r_n，以及嘴巴高度与额头高度的比值r_m，以及3D人头的额头高度h'_f，计算出人脸侧面照片对应的3D人头上的鼻子高度h'_n和嘴巴高度h'_m：

步骤8、纹理创建：

将输入的人脸正面照片和步骤5选取出最相似脸型的3D人头模型对应的步骤1提前创建好的标准人脸贴图都划分成相同数量的若干个小块，根据有效特征点集找到输入的人脸正面照片和标准人脸贴图上每一个小块的对应关系，从输入的人脸正面照片上抽取与有效特征点集对应的小块像素填充到标准人脸贴图上，完成标准人脸贴图上与有效特征点集F对应的人脸区域的填充，剩余区域则保留该标准人脸贴图的内容；

步骤9、纹理映射关系创建：

步骤7中经过细节调整后的3D人头上的第i个顶点v_i坐标[x_i,y_i,z_i]与其纹理坐标[u_i,v_i]满足[x_i,y_i,z_i]·T＝[u_i,v_i]，将30个特征点分别代入，即可通过最小二乘法求解出T,再对剩余的顶点分别进行T变换即可得到每个顶点坐标对应的纹理坐标；

步骤10、渲染与展示：利用OpenGL绘制渲染最终3D人头模型，用户通过鼠标操作实现对最终3D人头模型的缩放、平移和旋转等操作，实现全方位查看。

3D人头重建是计算机视觉和计算机图形学领域中都是一项非常吸引人的课题。在过去的几十年间，科学家们针对该课题提出了许多种不同的方法。大多数用户关注的是视觉上的相似和简单交互。本发明只需要一张人脸正面照片和一张人脸侧面照片，以及从人脸照片中获得的有效特征点集，即可创建真实感3D人头；为了使创建结果更真实，本发明提出提前创建若干不同脸型的3D人头模型作为人头数据库，在输入人脸正面照片后，从人头数据库中选取与人脸正面照片轮廓最相似的3D人头用于后续的五官变形，将提前定义好的3D人头上的特征点通过正交投影的方式映射到2D空间中，并用于与输入的人脸正面照片上特征点做匹配；将选取的3D人头和输入的人脸照片被特征点以相同的形式分成了若干块，则3D人头上的每一块区域根据输入的人脸照片上对应的块特征分别进行变形，最后，面部纹理也会一块一块地被计算出来并映射在3D人头上；结果表明，本发明具备鲁棒性并且容易实现，可直接嵌入多数虚拟现实应用中使用。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (6)

1.一种基于两张照片的真实感三维人脸重建方法，其特征在于包括如下步骤：

步骤1、3D建模师根据真实的人脸参数创建不同脸型的3D人头模型，并展好各人头模型的uv，创建标准人脸贴图，构建人头数据库；

随机选取预置数量的男性人脸正面照片和女性人脸正面照片，手动标记每张照片中人脸的N个特征点，并将上述人脸正面照片及对应的标记信息作为训练集用于模型训练，得到用于正面人脸特征点检测的主动形状模型ASM检测器，用于自动检测人脸正面照片上的特征点；

步骤2、用户输入两张人脸照片，一张正面，一张侧面，以证件照标准为输入照片的要求，调整人脸照片使得用户界面中的标尺位于人脸照片的合适位置以完成归一化的处理；

步骤3、特征点检测：

利用步骤1训练好的ASM检测器检测出当前输入的人脸正面照片上的N个特征点；对于当前输入的人脸侧面照片，根据从人脸正面照片得到的N个特征点的分布比例关系进行人脸侧面照片的特征点的初步生成；

步骤4、特征点调整：

用户对人脸正面照片上检测后自动生成的特征点的位置进行判断，调整位置有误的特征点，以获得与照片相符的有效特征点集F；

步骤5、根据人脸正面照片的有效特征点集F，与人头数据库中的3D人头模型进行脸型匹配，选取出最相似脸型的3D人头模型：

步骤6、根据人脸正面照片的有效特征点集F，对步骤5选取的3D人头模型进一步完成脸部五官的局部变形，得到3D人头：

变形前的3D人头投影上的每个特征点都能通过一个变换矩阵变换到输入的人脸照片上对应的特征点的位置上，而2D空间中的变换矩阵也可以反投射到3D空间中，从而指导3D人头模型完成变形；

步骤7、根据人脸侧面照片的有效特征点集，对步骤6得到的3D人头做细节调整；

步骤8、纹理创建：

将输入的人脸正面照片和步骤5选取出最相似脸型的3D人头模型对应的步骤1提前创建好的标准人脸贴图都划分成相同数量的若干个小块，根据有效特征点集F找到输入的人脸正面照片和该标准人脸贴图上每一个小块的对应关系，从输入的人脸正面照片上抽取与有效特征点集F对应的小块像素填充到该标准人脸贴图上，完成标准人脸贴图上与有效特征点集F对应的人脸区域的填充，剩余区域则保留该标准人脸贴图的内容；

步骤9、纹理映射关系创建：

步骤7中经过细节调整后的3D人头上的第i个顶点v_i坐标[x_i,y_i,z_i]与其纹理坐标[u_i,v_i]满足[x_i,y_i,z_i]·T＝[u_i,v_i]，将N个特征点分别代入，即可通过最小二乘法求解出T,再对剩余的顶点分别进行T变换即可得到每个顶点坐标对应的纹理坐标；

步骤10、渲染与展示：

利用OpenGL绘制渲染最终3D人头模型，用户通过鼠标操作实现对最终3D人头模型的缩放、平移和旋转操作，实现全方位查看。

2.根据权利要求1所述的一种基于两张照片的真实感三维人脸重建方法，其特征在于：所述的ASM算法使用一种主动形状模型来拟合照片中人脸的轮廓线，包括初始化操作和搜索过程，在初始化操作过程中，先粗略确定模型的尺度和偏移，要求输入的人脸正面照片需要满足证件照标准，通过这个约束条件来减少后续搜索子空间的范围，使其收敛于一个正确的形状和位置，方便输入照片和3D人脸特征点之间的比较，另外通过sobel边缘检测获得眼角点的位置和其他边缘可以提高估计的精度。

3.根据权利要求1所述的一种基于两张照片的真实感三维人脸重建方法，其特征在于：所述的有效特征点集F＝{f₀,f₁,...f₂₉}，其中，{f₀,f₁,...f₇}为右眼和左眼的8个特征点，{f₈,f₉,...f₁₂}为鼻子的5个特征点，{f₁₃,f₁₄,...f₁₉}为嘴巴的7个特征点，{f₂₀,f₂₁,...f₂₈}为脸型轮廓的9个特征点，点f₂₉是额头中点，作为特征点集F中的基准点。

4.根据权利要求1所述的一种基于两张照片的真实感三维人脸重建方法，其特征在于所述步骤5中选取出最相似脸型的3D人头模型，包括如下内容：

(1)为了减小检索量，从满足输入照片的人脸长宽比的3D人头模型中选取出候选的3D人头模型；

(2)为了匹配2D特征，将候选的3D人头模型通过正交投影到3D平面上，通过平移、缩放、旋转的操作将3D人头投影与输入的人脸照片进行对齐；

(3)在2D空间中，用欧氏距离函数来计算和判断3D人头投影与输入的人脸照片的相似度，计算候选的3D人头投影上的第i个特征点和输入的人脸照片上的第i个特征点之间的欧氏距离，该距离越小表示误差越小，越相似。

5.根据权利要求1所述的一种基于两张照片的真实感三维人脸重建方法，其特征在于所述步骤6中采用嵌入式变形技术来进行3D人头的变形，每个特征点作为嵌入式图G的一个图节点，关联一个刚性变换，各个图节点的影响被平滑地混合，使得每个网格顶点v_i的变形位置在变形图仿射变换的应用之后是其位置的加权和：

式中，w_j(v_i)是g_j对v_i的影响权重，R_j是旋转矩阵，k是节点数量，g_i是图节点，t_i是平移矩阵。

6.根据权利要求1所述的一种基于两张照片的真实感三维人脸重建方法，其特征在于所述步骤7的细节调整指的是：涉及鼻子高度和嘴巴高度的细节调整，以额头高度h'_f作为基准高度，通过计算输入的人脸侧面照片的鼻子高度与额头高度的比值r_n，以及嘴巴高度与额头高度的比值r_m，以及3D人头的额头高度h'_f，计算出人脸侧面照片对应的3D人头上的鼻子高度h'_n和嘴巴高度h'_m：