CN117523152B - 一种三维人脸重建方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请提供了一种三维人脸重建方法、装置、计算机设备和存储介质。该方法首先进行多视角图像采集和位姿追踪，然后基于人脸重建模型进行非结构化人脸重建，还通过纹理拟合模型生成细腻逼真的人脸纹理贴图，另外，以对齐后的非结构化模型作为形变参考，利用形变拟合模型所得到的形变矩阵对初始的结构化模型进行形变，得到与对齐后的非结构化模型逼近的结构化模型，最后，将纹理贴图贴合到结构化模型上，得到三维人脸模型。本申请协同多个深度学习模型，在完成数据采集后可实现全流程自动化的三维人脸重建，大大提高重建效率；在多视角人脸图像的支持下，各模型相互配合可实现超高的人脸重建质量和细节程度，达到了效率和写实度之间的最佳平衡。

Description

一种三维人脸重建方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种三维人脸重建方法、装置、计算机设备和存储介质。

背景技术

当前的三维人脸重建行业中，技术进步已经带来了许多创新和突破。随着测量技术的发展，以及计算机视觉和深度学习领域的日新月异，三维人脸重建已经从一个专门的科研领域转变成了广泛应用于各种实际场景的技术。在诸如面部识别、虚拟现实、游戏设计、电影制作、安全监控等领域，三维人脸重建都发挥着不可或缺的作用。但传统技术中的三维人脸重建存在着耗时较长或者人脸写实程度不高的问题。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中三维人脸重建存在着耗时较长或者人脸写实程度不高的缺陷。

第一方面，本申请提供了一种三维人脸重建方法，包括：

获取目标对象多视角的人脸图像集和其中各图像对应的位姿；

将位姿和人脸图像集输入人脸重建模型，得到非结构化模型；

将位姿、人脸图像集和初始的结构化模型输入纹理拟合模型，得到适用于结构化模型的纹理贴图；

对非结构化模型的正面投影图进行关键点检测，得到多个关键点；

确定各关键点在非结构化模型的第一三维坐标，并根据第一三维坐标和结构化坐标系下各关键点对应的第二三维坐标得到坐标变换矩阵，根据坐标变换矩阵对非结构化模型进行坐标变换；

将坐标变换后的非结构化模型和初始的结构化模型输入形变拟合模型，得到形变矩阵，利用形变矩阵对初始的结构化模型进行形变；

利用纹理贴图与形变后的结构化模型贴合，得到三维人脸模型。

在其中一个实施例中，纹理拟合模型得到纹理贴图的过程，包括：

对于人脸图像集中的任一图像，根据该图像的位姿对结构化模型进行投影，得到该图像对应的比较图像；

根据各图像与对应的比较图像之间的差异，更新结构化模型的权重参数，并返回对于人脸图像集中的任一图像，根据该图像的位姿对结构化模型进行投影，得到该图像对应的比较图像的步骤，直至差异小于第一阈值；

根据当前的结构化模型的权重参数，得到纹理贴图。

在其中一个实施例中，形变拟合模型得到形变矩阵的过程，包括：

利用当前的形变矩阵对初始的结构化模型进行形变；

对于结构化模型中的任意一个第一顶点，从坐标变换后的非结构化模型中找到距离最近的一个第二顶点，将该第一顶点与该第二顶点进行配对，得到一对拟合点对；

根据各拟合点对中第一顶点和第二顶点之间的差异，对当前的形变矩阵进行更新，并返回利用当前的形变矩阵对当前的结构化模型进行形变的步骤，直至差异小于第二阈值；

将当前的形变矩阵作为最终的形变矩阵。

在其中一个实施例中，在获取目标对象多视角的人脸图像集之后，还包括：

将人脸图像集中带有表情的图像过滤；

对人脸图像集中的图像进行遮挡纹理补全。

在其中一个实施例中，将人脸图像集中带有表情的图像过滤，包括：

将人脸图像集输入表情识别模型，得到人脸图像集中的各图像对应的表情系数集；

将对应的表情系数集中存在大于第三阈值的表情系数的图像过滤。

在其中一个实施例中，对人脸图像集中的图像进行遮挡纹理补全，包括：

将人脸图像集输入遮挡分割模型，从人脸图像集中找到存在遮挡的待补全图像并得到各待补全图像对应的遮挡区域掩码；

将待补全图像及其对应的遮挡区域掩码输入纹理补全模型，得到待补全图像对应的补全图像。

在其中一个实施例中，获取目标对象多视角的人脸图像集，包括：

通过RGB摄像头对目标对象的头部区域进行环绕式拍摄，得到人脸图像集。

第二方面，本申请提供了一种三维人脸重建装置，包括：

数据获取模块，用于获取目标对象多视角的人脸图像集和其中各图像对应的位姿；

重建模块，用于将位姿和人脸图像集输入人脸重建模型，得到非结构化模型；

贴图生成模块，用于将位姿、人脸图像集和初始的结构化模型输入纹理拟合模型，得到适用于结构化模型的纹理贴图；

关键点识别模块，用于对非结构化模型的正面投影图进行关键点检测，得到多个关键点；

坐标变换模块，用于确定各关键点在非结构化模型的第一三维坐标，并根据第一三维坐标和结构化坐标系下各关键点对应的第二三维坐标得到坐标变换矩阵，根据坐标变换矩阵对非结构化模型进行坐标变换；

形变模块，用于将坐标变换后的非结构化模型和初始的结构化模型输入形变拟合模型，得到形变矩阵，利用形变矩阵对初始的结构化模型进行形变；

贴合模块，用于利用纹理贴图与形变后的结构化模型贴合，得到三维人脸模型。

第三方面，本申请提供了一种计算机设备，包括一个或多个处理器，以及存储器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，执行上述任一实施例中的三维人脸重建方法的步骤。

第四方面，本申请提供了一种存储介质，存储介质中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例中的三维人脸重建方法的步骤。

从以上技术方案可以看出，本申请实施例具有以下优点：

基于本实施例中的三维人脸重建方法，首先进行多视角图像采集和精准的位姿追踪，获取完整输入信息。然后基于人脸重建模型进行非结构化人脸重建，充分复原面部细节。同时，通过纹理拟合模型生成细腻逼真的人脸纹理贴图。另外，以对齐后的非结构化模型作为形变参考，利用形变拟合模型所得到的形变矩阵对初始的结构化模型进行形变，得到与对齐后的非结构化模型逼近的结构化模型。最后，将纹理贴图贴合到结构化模型上，得到三维人脸模型。本方法协同多个深度学习模型，在完成数据采集后可实现全流程自动化的三维人脸重建，大大提高重建效率。在多视角人脸图像的支持下，各模型相互配合可实现超高的人脸重建质量和细节程度。实现了效率和写实度之间的最佳平衡。最终得到的模型为结构化模型，可发挥结构化模型的优势，降低产业应用门槛。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请一个实施例提供的三维人脸重建模型的训练方法的流程示意图；

图2为本申请一个实施例提供的三维人脸重建模型的训练装置的模块示意图；

图3为本申请一个实施例提供的计算机设备的内部结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

尽管人脸三维重建技术已经取得了显著的进步，但在实际的产业落地场景中，仍然存在这需要改进的地方。基于传统的超写实三维重建方法中，其采用了大量的专业设备以及专业的引擎、美术人员经过数月的人工制作而产生的。该种方式流程复杂、效率较低且耗时较长。而当前基于深度学习的三维重建方法大多基于单张照片生成，虽然其流程简单，但难以生成高相似度、高质量的超写实的三维人脸。为同时保证三维人脸重建的效率和写实程度，本申请提供了一种三维人脸重建方法，请参阅图1，包括步骤S102至步骤S114。

S102，获取目标对象多视角的人脸图像集和其中各图像对应的位姿。

可以理解，目标对象指的是需要进行三维人脸重建的对象。利用图像采集设备对目标对象的头部区域进行不同拍摄角度的拍摄，将得到的不同视角的人脸的图像，这些图像形成的集合即为多视角的人脸图像集。在有些实施例中，可以采用RGB摄像头对目标对象的头部区域进行环绕式拍摄，得到人脸图像集。多视角的人脸图像可以为后续三维人脸重建提供更多的真实人脸相关的信息，以提高三维人脸重建的写实程度。

位姿则反映了世界坐标系与采集人脸图像集的相机的相机坐标系之间的位置关系和姿态关系。在计算机视觉领域，一般就是评估相机在拍摄图像时所使用的内参和外参。由于人脸图像集中包括了多个视角的图像，拍摄不同视角时相机与世界坐标系之间的相对关系都会发生变化。因此，人脸图像集中的每个图像将对应一个位姿。评估位姿可以利用开源软件进行，如colmap。位姿包含图像视角以及在三维坐标系下的位置信息，是确定图像在三维空间中的姿态的必要信息，对后续通过多视图合成三维模型起关键作用。

S104，将位姿和人脸图像集输入人脸重建模型，得到非结构化模型。

可以理解，人脸重建模型是基于神经网络的三维重建模型，其基于对应的训练数据进行训练，逐步学习从多视角图像合成三维模型的过程。而由于目标对象可能发生变化、每次采集到的图像也可能不同等原因，人脸重建模型所生成的人脸是拓扑结构随机的三维网格（Mesh），网格上各点没有语义信息与拓扑结构约束，与3DMM等结构化模型库中的结构化模型存在区别。

这里的人脸重建模型可以是基于Nerf或Neus结构所构建出的模型。该类模型是基于隐式表面重建的神经网络模型，输入是人脸图像及其对应的位姿。该类模型中的两个主要构件是两个多层感知机，分别用于编码人脸表面距离场（SDF）和颜色。对于每张图片，将根据位姿生成对应的视线光线。这些光线起始于相机位置，穿过图像平面上的每个像素，并延伸到场景中对于每条视线光线，将光线的起始点传入上述多层感知机。最终会得到沿着光线的颜色和密度值，将颜色与实际图像中对应像素的颜色进行比较，计算损失。该损失衡量了非结构化模型在某一视角下与真实图像之间的差异。在训练的过程中，这两个多层感知机将以缩小该差异为目标不断优化，得到最终的人脸重建模型。

S106，将位姿、人脸图像集和初始的结构化模型输入纹理拟合模型，得到适用于结构化模型的纹理贴图。

可以理解，结构化模型指的是拓扑结构固定的人脸三维模型，初始的结构化模型即指的是其中的权重参数保持默认值时的模型。而纹理贴图则反映了结构化模型中各个结构化区域的与人脸皮肤颜色、细节纹理之间的映射关系。由于人脸图像集中的图像所包含的信息无法直接适用于模型绘制，本实施例需要利用纹理拟合模型根据位姿和人脸图像集拟合生成适用于结构化模型的纹理贴图。基于纹理贴图所得到的三维人脸在各视角的投影都能最大限度重现原始人脸纹理。

该结构化模型通常采用3DMM模型，方便进行数字人驱动和美工描绘。以3DMM模型为例，可以从开源模型HiFi3D++中选择初始的结构化模型。每个模型的数据中包含两种权重参数，分别是纹理参数和形状参数。其中，纹理参数用于调整结构化模型的表面纹理，形状参数用于调整模型的表面形状。纹理拟合模型的输入即为位姿、人脸图像集和初始的结构化模型，预测的对象即为结构化模型的纹理参数和形状参数。通过对纹理拟合模型的训练和调整，可以使得预测出的纹理贴图在同一位姿下的投影与人脸图像集的中的图像最大程度的相似，生成写实的纹理贴图。

S108，对非结构化模型的正面投影图进行关键点检测，得到多个关键点。

可以理解，由于非结构化模型不能直接用于数字人驱动和美工绘制等，无法直接应用于产业，需要将其转换为结构化的形式。需要做的第一个转换就是将非结构化模型与结构化模型统一在一个坐标系下。而统一坐标系需要选择具有相同含义的点位在不同坐标系下的坐标作为参考。本实施例中即采用对非结构化模型进行正面投影，对正面投影图按照预设的关键点检测算法。得到具有明确语义含义的多个人脸关键点在正面投影图下的二维坐标，直接定位非结构化模型上具有位置参考价值的点，为后续与结构化模型对齐做准备。具体的关键点检测算法可以使用49点人脸关键点检测算法、68点人脸关键点检测算法等。

S110，确定各关键点在非结构化模型的第一三维坐标，并根据第一三维坐标和结构化坐标系下各关键点对应的第二三维坐标得到坐标变换矩阵，根据坐标变换矩阵对非结构化模型进行坐标变换。

可以理解，第一三维坐标指的是各关键点在非结构化模型所处的非结构化坐标系下的三维坐标。而结构化坐标系指的是结构化模型所处的三维坐标系，其在初始的结构化模型被选定时已经确定下来，且人脸关键点在结构化模型中将存在相同语义的点位，根据各人脸关键点的定义，即可从结构化模型中找到对应位置的三维坐标，即第二三维坐标。基于此，每个人脸关键点都有一组对应的第一三维坐标和第二三维坐标。人脸关键点数量较多可以保证，基于各组第一三维坐标和第二三维坐标可以得到用于将点位从非结构化坐标系对齐到结构化坐标系的坐标变换矩阵。这里的坐标变化矩阵仅涉及旋转和平移，并不涉及形变。经过坐标变换矩阵的变换后，非结构化模型也处于结构化坐标系下，为后续形变拟合做准备。

S112，将坐标变换后的非结构化模型和初始的结构化模型输入形变拟合模型，得到形变矩阵，利用形变矩阵对初始的结构化模型进行形变。

可以理解，由于非结构化模型的顶点数量、顶点定义等均不明确，无法直接进行产业应用。但其可以精准的与目标对象的面部形状拟合，本实施例中的思路是将非结构化模型作为结构化模型的拟合参考，即参照非结构化模型的形状将结构化模型进行形变，使得结构化模型的形状与非结构化模型贴合，从而与目标对象的面部形状拟合。形变拟合模型就是基于该思路训练出来的基于神经网络的模型。形变拟合模型的输出是形变矩阵，形变矩阵用于对结构化模型中的每个顶点进行形变。通过预设的损失函数来评估形变后的结构化模型与非结构化模型之间的差异，以缩小该差异为目标不断优化形变矩阵，最终得到形变效果符合要求的形变矩阵。再利用形变矩阵对初始的结构化模型进行形变，使之逼近对齐后的非结构化模型。

S114，利用纹理贴图与形变后的结构化模型贴合，得到三维人脸模型。

最后，将纹理贴图映射到形变后的结构化模型的各个顶点上，即得到带有写实程度超高的人脸纹理的三维网格。本实施例所得到的三维人脸模型可在美术流程中进行编辑，也可在引擎中进行人脸驱动，可直接进行产业应用。

基于本实施例中的三维人脸重建方法，首先进行多视角图像采集和精准的位姿追踪，获取完整输入信息。然后基于人脸重建模型进行非结构化人脸重建，充分复原面部细节。同时，通过纹理拟合模型生成细腻逼真的人脸纹理贴图。另外，以对齐后的非结构化模型作为形变参考，利用形变拟合模型所得到的形变矩阵对初始的结构化模型进行形变，得到与对齐后的非结构化模型逼近的结构化模型。最后，将纹理贴图贴合到结构化模型上，得到三维人脸模型。本方法该协同多个深度学习模型，在完成数据采集后可实现全流程自动化的三维人脸重建，大大提高重建效率。在多视角人脸图像的支持下，各模型相互配合可实现超高的人脸重建质量和细节程度。实现了效率和写实度之间的最佳平衡。最终得到的模型为结构化模型，可发挥结构化模型的优势，降低产业应用门槛。

在其中一个实施例中，纹理拟合模型得到纹理贴图的过程，包括：

（1）对于人脸图像集中的任一图像，根据该图像的位姿对结构化模型进行投影，得到该图像对应的比较图像。

可以理解，每个图像都有其对应的位姿，即相当于从不同的视角观察三维模型所得到的投影图像。人脸图像集中的每个图像即为真实纹理的基准参考。而比较图像就是当前的结构化模型在各个视角下的实际纹理。

（2）根据各图像与对应的比较图像之间的差异，更新结构化模型的权重参数，并返回对于人脸图像集中的任一图像，根据该图像的位姿对结构化模型进行投影，得到该图像对应的比较图像的步骤，直至差异小于第一阈值。

可以理解，本实施例将从初始化（即纹理和形状的权重参数均为0）的结构化模型开始，生成当前的结构化模型的一组比较图像。每张图像与对应的比较图像之间的差异就代表在该图像的视角下，当前的结构化模型的实际纹理与真实纹理之间的差异。将所有图像对应的差异进行统计，可得到纹理拟合模型的损失函数，梯度将通过网络反向传播以迭代更新结构化模型中纹理和形状的权重参数。并重新回到步骤（1）得到新的一组比较图像，直到模型收敛到低于某一损失函数阈值，说明各个视角下的差异的总体水平已符合要求，当前结构化模型中的纹理和形状的权重参数已足够接近真实图像，当前的结构化模型以充分拟合目标对象的人脸。

（3）根据当前的结构化模型的权重参数，得到纹理贴图。

当结构化模型的权重参数经过多次迭代后已能很好重建人脸纹理细节时，当前的权重参数即可用于对结构化模型中各个结构化区域的形状、纹理进行调节，即当前的权重参数反映了结构化模型中各个结构化区域的与人脸皮肤颜色、细节纹理之间的映射关系，可以直接基于当前的权重参数得到纹理贴图。

在其中一个实施例中，形变拟合模型得到形变矩阵的过程，包括：

（1）利用当前的形变矩阵对初始的结构化模型进行形变。

可以理解，形变拟合模型得到形变效果最好的形变矩阵是一个迭代的过程，在每一次迭代中，都将加载当前迭代过程中的形变矩阵，并应用到结构化模型的每个顶点上，进行几何变换，并将形变后的结构化模型与非结构化模型进行比较，确定当前的形变矩阵的形变效果，以决定是否要继续进行更新。

（2）对于结构化模型中的任意一个第一顶点，从坐标变换后的非结构化模型中找到距离最近的一个第二顶点，将该第一顶点与该第二顶点进行配对，得到一对拟合点对。

可以理解，第一顶点指的是结构化模型中的顶点，第二顶点指的是非结构化模型中的顶点。经过对齐后的非结构化模型中与结构化模型具有相同语义的点已到达距离较近的位置。本步骤将遍历结构化模型的所有顶点，对于每一个第一顶点，基于欧氏距离或其他相似度度量，从非结构化模型中查找距离最近的一个点，作为其对应的配对点，该配对点就是第一顶点的形变参考。每个第一顶点都希望可以尽可能的接近对应的第二顶点，使得结构化模型的形状与对齐后的非结构化模型的形状拟合。

（3）根据各拟合点对中第一顶点和第二顶点之间的差异，对当前的形变矩阵进行更新，并返回利用当前的形变矩阵对当前的结构化模型进行形变的步骤，直至差异小于第二阈值。

可以理解，形变拟合模型的损失函数中将统计所有拟合点对所对应的差异，通过反向传播等优化算法更新形变矩阵参数，目的是减小损失函数的值，并为该损失函数设置相应的阈值，当误差小于某值则说明经过当前的形变矩阵形变的初始的结构化模型已充分拟合非结构化模型。

（4）将当前的形变矩阵作为最终的形变矩阵。

在其中一个实施例中，在获取目标对象多视角的人脸图像集之后，还包括：

（1）将人脸图像集中带有表情的图像过滤。

可以理解，三维人脸的表情是可以通过驱动和重新绘制的手段进行调整的。因此，在三维人脸的重建阶段希望得到的将是没有表情的模型。但是在人脸图像的采集过程中一般目对象都会伴有偶尔的唇动或眨眼帧，这些带有微小表情的图像都会对后续三维人脸重建的效果产生影响。因此，需要将人脸图像集中带有表情的图像过滤，以避免表情变化对最终人脸重建带来影响。

（2）对人脸图像集中的图像进行遮挡纹理补全。

可以理解，在对目标对象进行人脸采集的过程中可能会存在异物遮挡的情况，导致目标对象人脸部区域的真实形状信息和真实纹理信息的丢失，影响后续重建模型和贴图。因此，还需要对图像进行遮挡纹理补全。

在其中一个实施例中，将人脸图像集中带有表情的图像过滤，包括：

（1）将人脸图像集输入表情识别模型，得到人脸图像集中的各图像对应的表情系数集。

可以理解，表情系数集中包括与各种预设表情模版一一对应的表情系数。表情系数用于描述对应的预设表情模版的表情强度。表情识别模型是基于神经网络的表情系数预测模型。其输入为人脸图像，输出为表情系数集。每张输入图像都会对应一组表情系数集，不同维度与不同的预设表情模版对应，数值大小表示表情程度。表情识别模型的训练数据可以来自开源数据集，也可以是自行采集得到的。具体而言，可利用基于3DMM模型的单视图3D开源人脸重建算法如：DECA、Deep3DFace，批量制作人脸图片-表情数据集的数据对。也可以实地采集一定数量的志愿者在一定时长内的表情录制视频，并使用表情系数识别软件，如FaceGood，来得到对应每一帧的表情动画的表情系数集，同样形成数据对。在得到训练数据后，可选择合适框架的模型作为初始模型，如选择ResNet50为基础结构。将基础结构的输出层修改为输出表情数据集，即多个表情系数。通过上述训练集逐步改进模型的预测性能，得到表情识别模型。

（2）将对应的表情系数集中存在大于第三阈值的表情系数的图像过滤。

可以理解，对每张图像的表情系数向量进行解析，如果存在超过的第三阈值的表情成分，说明对应有较明显的表情，不能用于中性人脸建模。此时将该图像从人脸图像集中过滤除去。

在其中一个实施例中，对人脸图像集中的图像进行遮挡纹理补全，包括：

（1）将人脸图像集输入遮挡分割模型，从人脸图像集中找到存在遮挡的待补全图像并得到各待补全图像对应的遮挡区域掩码。

可以理解，遮挡分割模型是用于识别人脸图像中的遮挡物的神经网络模型。该遮挡分割模型可以对输入的人脸图像进行遮挡区域预测，对于存在遮挡的图像将输出对应遮挡区域的二值掩码图像。因此，可根据遮挡分割模型的输出，确定当前人脸图像中是否存在遮挡，还可得到图像对应的遮挡区域掩码。遮挡分割模型的训练数据可以是收集常见遮挡物体的图像，如麦克风、肢体、食物、碗筷等，并形成各遮挡物体对应的掩码。通过图像增强的方式在上述表情识别模型训练时收集的人脸图像上进行随机贴合，制作遮挡分割模型的训练数据集。在得到训练数据后，可选择合适框架的模型作为初始模型，如选择U-Net为基础结构。通过上述训练集逐步改进模型的分割性能，得到遮挡分割模型。

（2）将待补全图像及其对应的遮挡区域掩码输入纹理补全模型，得到待补全图像对应的补全图像。

可以理解，纹理补全模型是用于对存在纹理缺失的人脸图像进行纹理补全的神经网络模型。该纹理补全模型可以以在上述表情识别模型训练时收集的人脸图像作为基准，在人脸图像上进行随机涂抹，制作基准图像和涂抹图像的成对数据集。在得到训练数据后，可选择合适框架的模型作为初始模型，如选择GAN为基础结构。通过上述训练集逐步改进模型的补全性能，得到纹理补全模型。

本申请提供了一种三维人脸重建装置，请参阅图2，包括数据获取模块210、重建模块220、贴图生成模块230、关键点识别模块240、坐标变换模块250、形变模块260和贴合模块270。

数据获取模块210用于获取目标对象多视角的人脸图像集和其中各图像对应的位姿。

重建模块220用于将位姿和人脸图像集输入人脸重建模型，得到非结构化模型。

贴图生成模块230用于将位姿、人脸图像集和初始的结构化模型输入纹理拟合模型，得到适用于结构化模型的纹理贴图。

关键点识别模块240用于对非结构化模型的正面投影图进行关键点检测，得到多个关键点。

坐标变换模块250用于确定各关键点在非结构化模型的第一三维坐标，并根据第一三维坐标和结构化坐标系下各关键点对应的第二三维坐标得到坐标变换矩阵，根据坐标变换矩阵对非结构化模型进行坐标变换。

形变模块260用于将坐标变换后的非结构化模型和初始的结构化模型输入形变拟合模型，得到形变矩阵，利用形变矩阵对初始的结构化模型进行形变。

贴合模块270用于利用纹理贴图与形变后的结构化模型贴合，得到三维人脸模型。

关于三维人脸重建模型的训练装置的具体限定可以参见上文中对三维人脸重建模型的训练方法的限定，在此不再赘述。上述三维人脸重建模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

本申请提供了一种计算机设备，包括一个或多个处理器，以及存储器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，执行上述任一实施例中的三维人脸重建方法的步骤。

示意性地，如图3所示，图3为本申请实施例提供的一种计算机设备的内部结构示意图。参照图3，计算机设备300包括处理组件302，其进一步包括一个或多个处理器，以及由存储器301所代表的存储器资源，用于存储可由处理组件302的执行的指令，例如应用程序。存储器301中存储的应用程序可以包括一个或一个以上的，每一个对应于一组指令的模块。此外，处理组件302被配置为执行指令，以执行上述任意实施例的三维人脸重建方法的步骤。

计算机设备300还可以包括一个电源组件303被配置为执行计算机设备300的电源管理，一个有线或无线模型接口304被配置为将计算机设备300连接到模型，和一个输入输出（I/O）接口305。

本申请提供了一种存储介质，存储介质中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例中的三维人脸重建方法的步骤。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种三维人脸重建方法，其特征在于，包括：

获取目标对象多视角的人脸图像集和其中各图像对应的位姿；

将所述位姿和所述人脸图像集输入人脸重建模型，得到非结构化模型；所述非结构化模型为拓扑结构随机的三维网格；

将所述位姿、所述人脸图像集和初始的结构化模型输入纹理拟合模型，得到适用于结构化模型的纹理贴图；

对所述非结构化模型的正面投影图进行关键点检测，得到多个关键点；

确定各所述关键点在所述非结构化模型的第一三维坐标，并根据所述第一三维坐标和结构化坐标系下各所述关键点对应的第二三维坐标得到坐标变换矩阵，根据所述坐标变换矩阵对所述非结构化模型进行坐标变换；

将坐标变换后的所述非结构化模型和初始的所述结构化模型输入形变拟合模型，得到形变矩阵，利用所述形变矩阵对初始的所述结构化模型进行形变；所述形变拟合模型通过以下步骤得到所述形变矩阵：加载当前的形变矩阵，并利用所述当前的形变矩阵对初始的所述结构化模型进行形变；对于所述结构化模型中的任意一个第一顶点，从坐标变换后的所述非结构化模型中找到距离最近的一个第二顶点，将该第一顶点与该第二顶点进行配对，得到一对拟合点对；根据各所述拟合点对中所述第一顶点和所述第二顶点之间的差异，对当前的所述形变矩阵进行更新，并返回加载当前的形变矩阵，利用所述当前的形变矩阵对所述当前的结构化模型进行形变的步骤，直至所述差异小于第二阈值；将所述当前的形变矩阵作为所述形变矩阵；

利用所述纹理贴图与形变后的所述结构化模型贴合，得到三维人脸模型。

2.根据权利要求1所述的三维人脸重建方法，其特征在于，所述纹理拟合模型得到所述纹理贴图的过程，包括：

对于所述人脸图像集中的任一图像，根据该图像的所述位姿对所述结构化模型进行投影，得到该图像对应的比较图像；

根据各所述图像与对应的所述比较图像之间的差异，更新所述结构化模型的权重参数，并返回所述对于所述人脸图像集中的任一图像，根据该图像的所述位姿对所述结构化模型进行投影，得到该图像对应的比较图像的步骤，直至所述差异小于第一阈值；

根据当前的所述结构化模型的所述权重参数，得到所述纹理贴图。

3.根据权利要求1所述的三维人脸重建方法，其特征在于，在获取所述目标对象多视角的所述人脸图像集之后，还包括：

将所述人脸图像集中带有表情的图像过滤；

对所述人脸图像集中的图像进行遮挡纹理补全。

4.根据权利要求3所述的三维人脸重建方法，其特征在于，所述将所述人脸图像集中带有表情的图像过滤，包括：

将所述人脸图像集输入表情识别模型，得到所述人脸图像集中的各图像对应的表情系数集；

将对应的所述表情系数集中存在大于第三阈值的表情系数的图像过滤。

5.根据权利要求3所述的三维人脸重建方法，其特征在于，所述对所述人脸图像集中的图像进行遮挡纹理补全，包括：

将所述人脸图像集输入遮挡分割模型，从所述人脸图像集中找到存在遮挡的待补全图像并得到各所述待补全图像对应的遮挡区域掩码；

将所述待补全图像及其对应的所述遮挡区域掩码输入纹理补全模型，得到所述待补全图像对应的补全图像。

6.根据权利要求1所述的三维人脸重建方法，其特征在于，所述获取目标对象多视角的人脸图像集，包括：

通过RGB摄像头对所述目标对象的头部区域进行环绕式拍摄，得到所述人脸图像集。

7.一种三维人脸重建装置，其特征在于，包括：

数据获取模块，用于获取目标对象多视角的人脸图像集和其中各图像对应的位姿；

重建模块，用于将所述位姿和所述人脸图像集输入人脸重建模型，得到非结构化模型；所述非结构化模型为拓扑结构随机的三维网格；

贴图生成模块，用于将所述位姿、所述人脸图像集和初始的结构化模型输入纹理拟合模型，得到适用于结构化模型的纹理贴图；

关键点识别模块，用于对所述非结构化模型的正面投影图进行关键点检测，得到多个关键点；

坐标变换模块，用于确定各所述关键点在所述非结构化模型的第一三维坐标，并根据所述第一三维坐标和结构化坐标系下各所述关键点对应的第二三维坐标得到坐标变换矩阵，根据所述坐标变换矩阵对所述非结构化模型进行坐标变换；

形变模块，用于将坐标变换后的所述非结构化模型和初始的所述结构化模型输入形变拟合模型，得到形变矩阵，利用所述形变矩阵对初始的所述结构化模型进行形变；所述形变拟合模型通过以下步骤得到所述形变矩阵：加载当前的形变矩阵，并利用所述当前的形变矩阵对初始的所述结构化模型进行形变；对于所述结构化模型中的任意一个第一顶点，从坐标变换后的所述非结构化模型中找到距离最近的一个第二顶点，将该第一顶点与该第二顶点进行配对，得到一对拟合点对；根据各所述拟合点对中所述第一顶点和所述第二顶点之间的差异，对当前的所述形变矩阵进行更新，并返回加载当前的形变矩阵，利用所述当前的形变矩阵对所述当前的结构化模型进行形变的步骤，直至所述差异小于第二阈值；将所述当前的形变矩阵作为所述形变矩阵；

贴合模块，用于利用所述纹理贴图与形变后的结构化模型贴合，得到三维人脸模型。

8.一种计算机设备，其特征在于，包括一个或多个处理器，以及存储器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如权利要求1-6任一项所述的三维人脸重建方法的步骤。

9.一种存储介质，其特征在于，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1-6任一项所述的三维人脸重建方法的步骤。