CN109255830B - 三维人脸重建方法和装置 - Google Patents

Abstract

本申请实施例公开了三维人脸重建方法和装置。该方法的一具体实施方式包括：将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，特征向量基于对人脸三维重建模型的训练得出，基于特征向量和对应的特征系数构建二维人脸图像对应的三维人脸模型。该实施方式实现了用于构建三维人脸模型的特征向量的表达能力的提升，从而可以构建出更准确、更多样化的三维人脸模型。

Description

三维人脸重建方法和装置

技术领域

本申请实施例涉及计算机技术领域，具体涉及图像处理技术领域，尤其涉及三维人脸重建方法和装置。

背景技术

三维人脸重建，是从一幅或多幅二维人脸图像重建出三维人脸模型的技术。通常三维人脸重建技术是基于人脸的眼镜、鼻子、嘴巴等关键点之间的三维拓扑关系，由二维人脸图像中这些关键点的相对位置进行映射来构建三维人脸模型。在构建三维人脸模型时，需要通过复杂的人脸注册过程来获取一组特征基向量，由特征基向量与不同人脸对应的特征基向量对应的系数来表征不同的三维人脸模型。

然而由于注册过程所获得的特征基向量的表达能力受到注册人脸多样性的限制，对于复杂多变的人脸，三维人脸模型无法准确地体现出人脸特征。

发明内容

本申请实施例提出了三维人脸重建方法和装置。

第一方面，本申请实施例提供了一种三维人脸重建方法，包括：将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，特征向量基于对人脸三维重建模型的训练得出；基于特征向量和对应的特征系数构建二维人脸图像对应的三维人脸模型。

在一些实施例中，上述方法还包括：基于样本数据训练得出已训练的人脸三维重建模型，样本数据包括样本人脸图像集合和样本人脸图像集合中的样本人脸图像的人脸关键点的标注信息。

在一些实施例中，上述基于样本数据训练得出已训练的人脸三维重建模型，包括：将样本人脸图像的人脸关键点的标注信息按照预设的三维映射关系进行映射以生成对应的三维样本人脸模型；从已获取的三维基础人脸模型中提取出待训练的特征向量；采用待训练的特征向量构建待训练的人脸三维重建模型，并基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型。

在一些实施例中，上述基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，包括：根据待训练的人脸三维重建模型对样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的特征向量构建样本图像的三维人脸模型预测结果；基于样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的特征向量和待训练的人脸重建模型中的重建参数，以使基于待训练的人脸三维重建模型得到的样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的收敛条件。

在一些实施例中，上述特征向量包括身份特征向量；样本人脸图像集合包括第一样本人脸图像集合，第一样本人脸图像集合包括多幅具有身份特征差异、且不具有表情特征差异的第一样本人脸图像；以及上述从已获取的三维基础人脸模型中提取出待训练的特征向量，包括：获取对三维基础人脸模型进行身份特征维度的变换得到的多个第一人脸模型，并对第一人脸模型进行降维处理，提取出待训练的身份特征向量。

在一些实施例中，上述采用待训练的特征向量构建待训练的人脸三维重建模型，并基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型，包括：基于待训练的身份特征向量构建待训练的第一人脸重建模型，根据待训练的第一人脸重建模型对第一样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的身份特征向量构建第一样本人脸图像的三维人脸模型预测结果；基于第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的身份特征向量和待训练的第一人脸重建模型中的重建参数，以使基于待训练的第一人脸重建模型得到的第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第一收敛条件。

在一些实施例中，上述特征向量还包括表情特征向量；上述样本人脸图像集合还包括第二样本人脸图像集合，第二样本人脸图像还包括多幅不具有身份特征差异、且具有表情特征差异的第二样本人脸图像；以及上述从已获取的三维基础人脸模型中提取出待训练的特征向量，包括：获取对三维基础人脸模型进行表情特征维度的变换得到的多个第二人脸模型，并对第二人脸模型进行降维处理，提取出待训练的表情特征向量。

在一些实施例中，上述采用待训练的特征向量构建待训练的人脸三维重建模型，并基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型，还包括：基于已训练的第一人脸重建模型以及待训练的表情特征向量构建待训练的第二人脸重建模型，根据待训练的第二人脸重建模型对第二样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的表情特征向量构建第二样本人脸图像的三维人脸模型预测结果；基于第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的表情特征向量和待训练的第二人脸重建模型中的重建参数，以使基于待训练的第二人脸重建模型得到的第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第二收敛条件。

在一些实施例中，上述采用待训练的特征向量构建待训练的人脸三维重建模型，并基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型，还包括：将已训练的第二人脸重建模型中的身份特征向量和表情特征向量分别作为待修正的身份特征向量和待修正的表情特征向量，构建第三人脸重建模型；根据待训练的第三人脸重建模型对样本人脸图像集合中的样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的表情特征向量构建第一样本人脸图像集合和第二样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果；基于样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待修正的身份特征向量、待修正的表情特征向量和待训练的第三人脸重建模型中的重建参数，以使基于待训练的第三人脸重建模型得到的样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第三收敛条件。

在一些实施例中，上述方法还包括：利用与目标虚拟形象对应的转换矩阵将二维人脸图像对应的三维人脸模型映射至目标虚拟形象的脸部区域，其中转换矩阵基于样本虚拟形象及已标注的样本虚拟形象融合人脸后得到的融合结果训练得出。

第二方面，本申请实施例提供了一种三维人脸重建装置，包括：预测单元，被配置成将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，特征向量基于对人脸三维重建模型的训练得出；重建单元，被配置成基于特征向量和对应的特征系数构建二维人脸图像对应的三维人脸模型。

在一些实施例中，上述装置还包括：训练单元，被配置成基于样本数据训练得出已训练的人脸三维重建模型，样本数据包括样本人脸图像集合和样本人脸图像集合中的样本人脸图像的人脸关键点的标注信息。

在一些实施例中，上述训练单元进一步被配置成按照如下方式训练得出已训练的人脸三维重建模型：将样本人脸图像的人脸关键点的标注信息按照预设的三维映射关系进行映射以生成对应的三维样本人脸模型；从已获取的三维基础人脸模型中提取出待训练的特征向量；采用待训练的特征向量构建待训练的人脸三维重建模型，并基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型。

在一些实施例中，上述训练单元进一步被配置成基于样本人脸图像及样本人脸图像对应的三维样本人脸模型，按照如下方式对待训练的人脸重建模型进行训练：根据待训练的人脸三维重建模型对样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的特征向量构建样本图像的三维人脸模型预测结果；基于样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的特征向量和待训练的人脸重建模型中的重建参数，以使基于待训练的人脸三维重建模型得到的样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的收敛条件。

在一些实施例中，上述特征向量包括身份特征向量；上述样本人脸图像集合包括第一样本人脸图像集合，上述第一样本人脸图像集合包括多幅具有身份特征差异、且不具有表情特征差异的第一样本人脸图像；以及上述训练单元进一步被配置成按照如下方式从已获取的三维基础人脸模型中提取出待训练的特征向量：获取对三维基础人脸模型进行身份特征维度的变换得到的多个第一人脸模型，并对第一人脸模型进行降维处理，提取出待训练的身份特征向量。

在一些实施例中，上述训练单元进一步被配置成按照如下方式对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型：基于待训练的身份特征向量构建待训练的第一人脸重建模型，根据待训练的第一人脸重建模型对第一样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的身份特征向量构建第一样本人脸图像的三维人脸模型预测结果；基于第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的身份特征向量和待训练的第一人脸重建模型中的重建参数，以使基于待训练的第一人脸重建模型得到的第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第一收敛条件。

在一些实施例中，上述特征向量还包括表情特征向量；样本人脸图像集合还包括第二样本人脸图像集合，第二样本人脸图像还包括多幅不具有身份特征差异、且具有表情特征差异的第二样本人脸图像；以及训练单元还被配置成按照如下方式从已获取的三维基础人脸模型中提取出待训练的特征向量：获取对三维基础人脸模型进行表情特征维度的变换得到的多个第二人脸模型，并对第二人脸模型进行降维处理，提取出待训练的表情特征向量。

在一些实施例中，上述训练单元进一步被配置成按照如下方式对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型：基于已训练的第一人脸重建模型以及待训练的表情特征向量构建待训练的第二人脸重建模型，根据待训练的第二人脸重建模型对第二样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的表情特征向量构建第二样本人脸图像的三维人脸模型预测结果；基于第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的表情特征向量和待训练的第二人脸重建模型中的重建参数，以使基于待训练的第二人脸重建模型得到的第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第二收敛条件。

在一些实施例中，上述训练单元进一步被配置成按照如下方式对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型：将已训练的第二人脸重建模型中的身份特征向量和表情特征向量分别作为待修正的身份特征向量和待修正的表情特征向量，构建第三人脸重建模型；根据待训练的第三人脸重建模型对样本人脸图像集合中的样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的表情特征向量构建第一样本人脸图像集合和第二样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果；基于样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待修正的身份特征向量、待修正的表情特征向量和待训练的第三人脸重建模型中的重建参数，以使基于待训练的第三人脸重建模型得到的样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第三收敛条件。

在一些实施例中，上述装置还包括：映射单元，被配置成利用与目标虚拟形象对应的转换矩阵将二维人脸图像对应的三维人脸模型映射至目标虚拟形象的脸部区域，其中转换矩阵基于样本虚拟形象及已标注的样本虚拟形象融合人脸后得到的融合结果训练得出。

第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的三维人脸重建方法。

第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现第一方面提供的三维人脸重建方法。

本申请上述实施例的三维人脸重建方法和装置，通过将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，特征向量基于对人脸三维重建模型的训练得出，基于特征向量和对应的特征系数构建二维人脸图像对应的三维人脸模型，实现了特征向量的表达能力的提升，从而可以构建出更准确、更多样化的三维人脸模型。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的三维人脸重建方法的一个实施例的流程图；

图3是根据本申请的三维人脸重建方法的另一个实施例的流程图；

图4是根据本申请的三维人脸重建方法中基于样本数据训练得出已训练的人脸三维重建模型的步骤的一种可选实现方式的流程示意图；

图5是图3所示三维人脸重建方法的一个流程的实现原理示意图；

图6是本申请的三维人脸重建装置的一个实施例的结构示意图；

图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的三维人脸重建方法或三维人脸重建装置的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104、以及服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户110可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种信息交互应用，例如信息搜索应用、地图应用、社交平台应用、音视频播放应用等。终端设备101、102、103上还可以安装有各种三维建模应用。

终端设备101、102、103可以是具有显示器并支持互联网访问的各种电子设备，包括但不限于智能手机、平板电脑、智能手表、笔记本电脑、膝上便携型电脑、电子书阅读器等。

服务器105可以是为终端设备提供图像处理服务或三维人脸模型生成服务的服务器。服务器105可以对终端设备101、102、103上传的二维人脸图像进行分析和处理，重建出对应的三维人脸模型，并可以将构建出的三维人脸模型的相关数据通过网络104发送给终端设备101、102、103。终端设备101、102、103接收到三维人脸模型的相关数据之后可以搭建三维人脸模型并通过显示器呈现给用户110。

需要说明的是，本申请实施例所提供的三维人脸重建方法可以由服务器105执行，相应地，三维人脸重建装置可以设置于服务器105中。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

当终端设备包含用于执行物理运算的部件(例如GPU等处理器)时，本申请实施例所提供的三维人脸重建方法也可以由终端设备101、102、103执行，相应地，三维人脸重建装置可以设置于终端设备101、102、103中。

应该理解，图1中的终端设备、网络、服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器。

继续参考图2，其示出了根据本申请的三维人脸重建方法的一个实施例的流程200。该三维人脸重建方法，包括以下步骤：

步骤201，将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数。

在本实施例中，三维人脸重建方法的执行主体可以获取待重建的人脸对象的二维人脸图像，并将二维人脸图像输入预先训练好的人脸三维重建模型。其中，人脸三维重建模型可以包括用于构建三维人脸模型的特征向量，并且，人脸三维重建模型可以用于预测对应于各特征向量的特征系数。在这里，特征向量可以是用于表征三维人脸模型的某一维度特征的基向量。在三维人脸建模中，可以采用一组特征向量作为基向量，也即三维人脸模型可以由一组特征向量及与各特征向量对应的特征系数的乘积的组合来表示。不同人脸对象的三维人脸模型所采用的特征向量组相同，特征系数不相同。

在本实施例中，特征向量基于对人脸三维重建模型的训练得出。特征向量可以作为人脸三维重建模型中的待训练的参量。此外，人脸三维重建模型还可以包括其他需要训练或学习的重建参数。在采用机器学习方法训练人脸三维重建模型的过程中，可以调整待训练的人脸三维模型中的特征向量以及其他重建参数，不断修正人脸三维重建模型。在完成人脸三维重建模型的训练之后，可以得到训练好的特征向量。在这里，训练好的特征向量可以是一组可以与对应的特征系数相组合，完整地表征三维人脸模型的向量。

上述人脸三维重建模型可以是基于深度神经网络等构建的模型，在训练时，可以首先确定人脸三维重建模型的初始参量，包括初始的特征向量和初始的其他重建参数，从而构建初始的人脸三维重建模型，之后在训练过程中基于预先设定的人脸三维重建模型的期望输出或期望达到的指标，采用迭代方式不断调整特征向量和其他参数，使得人脸三维重建模型的输出逼近期望输出或期望达到的指标。这样，在训练人脸三维重建模型的同时，可以对特征向量进行学习。

步骤202，基于特征向量和对应的特征系数构建二维人脸图像对应的三维人脸模型。

在基于当前输入的二维人脸图像得出各特征向量对应的特征系数之后，可以对各特征向量与对应的系数的乘积进行线性组合，例如可以对各特征向量与对应的系数的乘积进行线性叠加，生成输入的二维人脸图像对应的三维人脸模型。

作为示例，一个三维人脸模型可以由Pa来表示，其中，P是由特征向量组成的矩阵，a＝(a1、a2、a3、…)，a1、a2、a3、…为组成矩阵P的各特征向量对应的特征系数。

本申请上述实施例的三维人脸重建方法，通过采用基于对人脸三维重建模型的训练得出的特征向量生成三维人脸模型，避免了基于注册人脸构建的特征向量的局限性，能够提升用于构建三维人脸模型的表达能力，使得构建出的三维人脸模型更准确，更多样化。

请参考图3，其示出了根据本申请的三维人脸重建方法的另一个实施例的流程300。该三维人脸重建方法，包括以下步骤：

步骤301，基于样本数据训练得出已训练的人脸三维重建模型。

样本数据可以包括样本人脸图像集合和样本人脸图像集合中的样本人脸图像的人脸关键点的标注信息。在本实施例中，可以收集人脸图像作为样本人脸图像，构造样本人脸图像集，并获取对样本人脸图像的人脸关键点的标注信息。人脸关键点可以是人脸部的特征点，例如嘴巴、眼睛、鼻子等部位的特征点。样本人脸图像的人脸关键点可以由标注人员标注，可以根据标注的人脸关键点的位置、像素值生成人脸关键点的标注信息。样本人脸图像中的人脸关键点的标注信息也可以通过人脸关键点检测的方式自动标注生成。例如可以根据嘴唇的颜色、眼睛的形状、纹理等信息自动检测这些关键点并生成表征这些关键点的位置、颜色、纹理等属性的信息，作为人脸关键点的标注信息。

在本实施例中，可以设定初始的特征向量，利用初始的特征向量来构建待训练的人脸三维重建模型。然后可以将样本人脸图像输入待训练的人脸三维重建模型进行三维重建，得到样本人脸图像对应的三维人脸模型的特征系数。之后可以利用待训练的人脸三维重建模型得出的特征系数与待训练的人脸三维重建模型中的特征向量得出基于待训练的人脸三维重建模型的三维重建结果，并将三维重建结果中各顶点的坐标映射至二维图像中，得到二维图像中的关键点预测结果，对二维图像中的关键点预测结果与样本人脸图像的人脸关键点的标注信息进行比对，根据二者的差异迭代调整待训练的人脸三维重建模型中的特征向量以及其他重建参数，使得调整后的人脸三维重建模型的三维重建结果与样本人脸图像的人脸关键点的标注信息所表征的三维人脸趋于一致。在基于待训练的人脸三维重建模型的二维图像中的关键点预测结果与样本人脸图像的人脸关键点的标注信息的差异满足预设的条件时，可以停止迭代调整操作，固定待训练的人脸三维重建模型中的特征向量和其他重建参数，得出已训练的人脸三维重建模型。

在一些实施例中，可以通过步骤3011、步骤3012和步骤3013来执行上述基于样本数据训练得出已训练的人脸三维重建模型的步骤301。

在步骤3011中，将样本人脸图像的二维人脸关键点的标注信息按照预设的三维映射关系进行映射以生成对应的三维样本人脸模型。

在本实施例中，可以首先将样本人脸图像的二维人脸关键的标注信息按照预设的三维映射关系映射至三维模型中，生成对应的三维样本人脸模型。在这里，预设的三维映射关系可以是根据人脸拓扑结构确定的，可以包括三维平移矩阵、三维旋转矩阵等。可以将二维人脸关键点的位置坐标按照预设的三维映射关系映射为三维顶点的位置坐标，从而构建出由三维顶点的位置坐标表征的三维人脸模型的标注结果。

在步骤3012中，从已获取的三维基础人脸模型中提取出待训练的特征向量。

在本实施例中，可以借助三维建模工具，得到基础的三维人脸模型。例如可以给定一个固定的人脸拓扑结构，借助MAYA等工具构造基础的三维人脸模型，然后借助三维建模工具对基础的三维人脸模型进行变形，获取多个具有不同特征的三维基础人脸模型。

可以对三维基础人脸模型进行降维处理，例如采用PCA(Principal ComponentsAnalysis，主成分分析)方法从三维基础人脸模型中提取出向量，作为待训练的特征向量。

在步骤3013中，采用待训练的特征向量构建待训练的人脸三维重建模型，并基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型。

可以将样本人脸图像对应的三维样本人脸模型作为期望得到的三维重建结果，基于样本人脸图像集合中的样本人脸图像对待训练的人脸三维重建模型进行训练。在训练过程中，可以通过调整待训练的人脸三维重建模型的参数和特征向量，使得人脸三维重建模型输出的样本人脸图像的特征系数接近三维样本人脸模型对应的特征系数，在人脸三维重建模型输出的样本人脸图像的特征系数与三维样本人脸模型对应的特征系数之间的差异收敛时，可以停止训练，得到已训练的人脸三维重建模型。

可选地，可以进一步按照如下方式对待训练的人脸重建模型进行训练：

首先，根据待训练的人脸三维重建模型对样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的特征向量构建样本图像的三维人脸模型预测结果。也就是说，在采用步骤3012提取出的初始的特征向量以及预先设定的初始参数构建待训练的人脸三维重建模型之后，可以采用待训练的人脸三维重建模型预测样本人脸图像对应的三维人脸模型的特征系数，基于预测出的特征系数与待训练的人脸重建模型中的特征向量的乘积做线性组合，得到预测出的三维人脸模型。

然后，基于样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的特征向量和待训练的人脸重建模型中的重建参数，以使基于待训练的人脸三维重建模型得到的样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的收敛条件。可以基于三维人脸模型的预测结果与步骤3011得出的样本人脸图像对应的三维样本人脸模型之间的差异构建损失函数，计算损失函数的值。然后判断是否满足预设的收敛条件，例如可以判断损失函数的值是否达到预设的阈值，或者可以判断在迭代过程中损失函数的值是否收敛至预设的范围内，又或者可以判断迭代次数是否达到预设的次数。如果不满足预设的收敛条件，即损失函数的值是未达到预设的阈值、损失函数的值未收敛值预设的范围内、迭代次数未达到预设的次数，则可以对损失函数进行反向传播，迭代调整待训练的人脸三维重建模型中的特征向量和重建参数，直到满足预设的收敛条件，即损失函数的值达到预设的阈值，或者在迭代过程中损失函数的值收敛至预设的范围内，或者迭代次数达到预设的次数，可以停止迭代调整，得到已训练的人脸三维重建模型。其中，重建参数是人脸三维重建模型中用于与特征向量组合以预测特征系数的参数。

在对人脸三维重建模型进行训练之后，不仅可以得到具有较好的表达能力的特征向量，还可以得到获取特征向量对应的特征系数的模型。

步骤302，将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数。

如步骤301中的描述，特征向量基于对人脸三维重建模型的训练得出。可以将待重建的人脸对象的二维人脸图像输入在步骤301得出的已训练的人脸三维重建模型，得到用于构建二维人脸图像对应的三维人脸模型的特征向量的特征系数。

步骤303，基于特征向量和对应的特征系数构建二维人脸图像对应的三维人脸模型。

在基于当前输入的二维人脸图像得出各特征向量对应的特征系数之后，可以对各特征向量与对应的系数的乘积进行线性组合，生成输入的二维人脸图像对应的三维人脸模型。

本实施例中的步骤302、步骤303分别与前述实施例的步骤201、步骤202一致，步骤302、步骤303还可分别参考上文对步骤201、步骤202的描述，此处不再赘述。

本实施例的三维人脸重建方法，通过以较易获取、且准确度较高的样本人脸图像的人脸关键点为标注信息，能够训练出更准确的特征向量和人脸三维重建模型，进而提升了构建的三维人脸模型的准确性。

继续参考图4，其示出了根据本申请的三维人脸重建方法中基于样本数据训练得出已训练的人脸三维重建模型的步骤的一种可选实现方式的流程400。在这里，用于构建三维人脸模型的特征向量可以包括身份特征向量，样本人脸图像集合可以包括第一样本人脸图像集合，第一样本人脸图像集合包括多幅具有身份特征差异、且不具有表情特征差异的第一样本人脸图像。身份特征向量可以是用于表征三维人脸的身份特征的基向量。该三维人脸重建方法，包括以下步骤：

步骤401，将样本人脸图像的人脸关键点的标注信息按照预设的三维映射关系进行映射以生成对应的三维样本人脸模型。

在本实施例中，可以首先将样本人脸图像的人脸关键点的标注信息映射到三维模型中，生成对应的三维样本人脸模型。具体实现方式可以参考步骤3011的描述，此处不再赘述。

步骤402，获取对三维基础人脸模型进行身份特征维度的变换得到的多个第一人脸模型，并对第一人脸模型进行降维处理，提取出待训练的身份特征向量。

在本实施例中，可以在采用三维建模工具生成的三维基础人脸模型进行身份特征维度的变换，形成具有不同身份特征的多个第一人脸模型，所形成的第一人脸模型不带有表情特征。

之后，可以采用PCA等方法对第一人脸模型进行降维处理，将降维后得到的向量作为待训练的身份特征向量。在这里，待训练的身份特征向量可以是一组用于表征人脸的身份特征的基向量。由于第一人脸模型包含身份特征且不包含表情特征，所以对第一人脸模型降维后得出的向量也包含身份特征且不包含表情特征，可以作为待训练的身份特征向量。

步骤403，基于待训练的身份特征向量构建待训练的第一人脸重建模型，根据待训练的第一人脸重建模型对第一样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的身份特征向量构建第一样本人脸图像的三维人脸模型预测结果。

可以根据待训练的身份特征向量来构建待训练的第一人脸重建模型，然后将第一样本人脸图像输入待训练的第一人脸重建模型，得到第一样本人脸图像对应的三维人脸模型的特征系数的预测结果。利用该特征系数的预测结果以及待训练的第一人脸重建模型中的特征向量进行线性叠加，生成对第一样本人脸图像的三维人脸模型的预测结果。

步骤404，基于第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的身份特征向量和待训练的第一人脸重建模型中的重建参数，以使基于待训练的第一人脸重建模型得到的第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第一收敛条件。

然后可以基于第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异构建第一损失函数，计算当前第一损失函数的值，判断第一损失函数是否满足预设的第一收敛条件。该第一收敛条件可以是第一损失函数的值小于预设的第一损失阈值或迭代次数达到第一预设次数。如果第一损失函数不满足预设的第一收敛条件，可以采用反向传播算法，迭代调整第一人脸重建模型中的身份特征向量以及其他重建参数，使得损失函数的值逼近第一损失阈值。当损失函数的值小于预设的第一损失阈值或迭代次数达到第一预设次数时，可以停止迭代调整操作，此时得到的第一人脸重建模型即为已训练的第一人脸重建模型。

可选地，在训练第一人脸重建模型的过程中，可以加入对身份特征向量本身具有的几何关系的约束。通常人脸具有特定的拓扑结构，用于构建三维人脸模型的身份特征向量之间也具有由该拓扑结构确定的几何约束关系，例如眼睛与鼻子、嘴巴等之间的距离、眼睛、鼻子、嘴巴等的位置、以及眼睛、鼻子、嘴巴等的相对尺寸具有预设的约束关系。则可以预先根据人脸的这些结构之间的约束关系生成用于表征三维人脸模型的身份特征向量之间的几何关系表达式，并在训练中迭代调整身份特征向量时保证所有的特征向量满足该几何关系的约束。

在本实施例的一些可选的实现方式中，可以将已训练的第一人脸重建模型作为上述已训练的人脸三维重建模型。该人脸三维重建模型可以具有良好的身份区分能力，基于该人脸三维重建模型构建出的三维人脸模型具有良好的身份特征区分性。

在本实施例的另一些可选的实现方式中，上述用于构建三维人脸模型的特征向量还可以包括表情特征向量，并且上述样本数据中的样本人脸图像集合还可以包括第二样本人脸图像集合。在这里，表情特征向量是用于表达人脸表情特征的基向量。第二样本人脸图像还包括多幅不具有身份特征差异、且具有表情特征差异的第二样本人脸图像。

步骤405，获取对三维基础人脸模型进行表情特征维度的变换得到的多个第二人脸模型，并对第二人脸模型进行降维处理，提取出待训练的表情特征向量。

在本实施例中，可以在采用三维建模工具生成的三维基础人脸模型进行表情特征维度的变换，形成具有不同表情特征的多个第二人脸模型。

之后，可以对第二人脸模型进行降维处理，例如对第二人脸模型进行主成分分析，提取出的向量作为待训练的表情特征向量。在这里，待训练的表情特征向量可以是一组用于表征人脸的表情特征的基向量。由于第二人脸模型包含了丰富的表情特征，所以对第二人脸模型降维后得出的向量也包含了表情特征，可以作为待训练的表情特征向量。

步骤406，基于已训练的第一人脸重建模型以及待训练的表情特征向量构建待训练的第二人脸重建模型，根据待训练的第二人脸重建模型对第二样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的表情特征向量构建第二样本人脸图像的三维人脸模型预测结果。

在本实施例中，可以将已训练的第一人脸重建模型中的身份特征向量和步骤405提取出的表情特征向量组合在一起，利用第一人脸重建模型中已训练的重建参数和设置好的第二人脸重建模型的初始的重建参数构建待训练的第二人脸重建模型。

之后可以将第二样本人脸图像输入待训练的第二人脸重建模型，得到第二样本人脸图像对应的三维人脸模型的特征系数的预测结果。利用该特征系数的预测结果以及待训练的第二人脸重建模型中的特征向量进行线性叠加，生成对第二样本人脸图像的三维人脸模型的预测结果。

步骤407，基于第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的表情特征向量和待训练的第二人脸重建模型中的重建参数，以使基于待训练的第二人脸重建模型得到的第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第二收敛条件。

然后可以基于第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异构建第二损失函数，计算当前第二损失函数的值，判断第二损失函数是否满足预设的第二收敛条件。该第二收敛条件可以是第二损失函数的值小于预设的第二损失阈值或迭代次数达到第二预设次数。如果第二损失函数不满足预设的第二收敛条件，可以采用反向传播算法，迭代调整第二人脸重建模型中的表情特征向量以及其他重建参数，使得损失函数的值逼近第二损失阈值。当损失函数的值小于预设的第二损失阈值或迭代次数达到第二预设次数时，可以停止迭代调整操作，此时得到的第二人脸重建模型即为已训练的第二人脸重建模型。

可选地，在训练第二人脸重建模型的过程中，还可以加入对表情特征向量本身具有的几何关系的约束。表情通常会受限于人脸的特定拓扑结构，因而用于构建三维人脸模型的表情特征向量之间也具有由该拓扑结构确定的几何约束关系。则可以预先根据人脸的拓扑结构生成用于表征三维人脸模型的表情特征向量之间的几何关系表达式，并在训练中迭代调整表情特征向量时保证所有的表情特征向量满足该几何关系的约束。

在本实施例的一些可选的实现方式中，可以将已训练的第二人脸重建模型作为上述已训练的人脸三维重建模型。该人脸三维重建模型可以具有良好的身份和表情区分能力，基于该人脸三维重建模型构建出的三维人脸模型具有良好的身份特征和表情特征的区分性。

进一步可选地，上述基于样本数据训练得出已训练的人脸三维重建模型的流程400还可以包括：

步骤408，将已训练的第二人脸重建模型中的身份特征向量和表情特征向量分别作为待修正的身份特征向量和待修正的表情特征向量，构建第三人脸重建模型。

在本实施例中，还可以构建待训练的第三人脸重建模型，将上述已训练的第二人脸重建模型中的身份特征向量和表情特征向量作为待训练的第三人脸重建模型中的待修正的特征向量，结合第三人脸重建模型的初始的重建参数生成待训练的第三人脸重建模型。

可选地，可以将已训练的第二人脸重建模型作为待训练的第三人脸重建模型。

步骤409，根据待训练的第三人脸重建模型对样本人脸图像集合中的样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的表情特征向量构建第一样本人脸图像集合和第二样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果。

之后，可以将包含第一样本人脸图像和第二样本人脸图像的样本人脸图像集合输入待训练的第二人脸重建模型，得到样本人脸图像集合中的样本人脸图像对应的三维人脸模型的特征系数的预测结果。利用该特征系数的预测结果以及待训练的第三人脸重建模型中的特征向量进行线性叠加，生成样本人脸图像的三维人脸模型的预测结果。

步骤410，基于样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待修正的身份特征向量、待修正的表情特征向量和待训练的第三人脸重建模型中的重建参数，以使基于待训练的第三人脸重建模型得到的样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第三收敛条件。

然后可以基于样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异构建第三损失函数，计算当前第三损失函数的值，判断第三损失函数是否满足预设的第三收敛条件。该第三收敛条件可以是第三损失函数的值小于预设的第三损失阈值或迭代次数达到第三预设次数。如果第三损失函数不满足预设的第三收敛条件，可以采用反向传播算法，迭代调整第三人脸重建模型中的表情特征向量以及其他重建参数，使得损失函数的值逼近第三损失阈值。当损失函数的值小于预设的第三损失阈值或迭代次数达到第三预设次数时，可以停止迭代调整操作，此时得到的第三人脸重建模型即为已训练的第三人脸重建模型。

可以将该已训练的第三人脸重建模型作为已训练的人脸三维重建模型。这样，通过基于包含身份特征差异和表情特征差异的样本人脸图像进一步调整身份特征向量和表情特征向量，可以进一步提升身份特征向量和表情特征向量的表达能力和准确度，从而能够更准确第构建三维人脸模型。

请参考图5，其示出了图3所示三维人脸重建方法的一个流程的实现原理示意图。

如图5所示，可以首先通过对三维基础人脸模型进行降维处理提取得到待训练的身份特征向量和表情特征向量，随后，在第一人脸重建模型的训练中更新身份特征向量，得到的第一人脸重建模型可以用于预测身份特征向量对应的身份特征系数。而后，将在第一人脸重建模型的基础上构建第二人脸重建模型，在第二人脸重建模型的训练中更新表情特征向量，得到的第二人脸重建模型可以用于预测表情特征向量对应的表情特征系数。然后，可以在第二人脸重建模型的基础上，通过训练进一步调整身份特征向量和表情特征向量，得到的第三人脸重建模型可以用于预测身份特征系数和表情特征系数。之后，可以利用第三人脸重建模型中的身份特征向量和表情特征向量对待重建的人脸对象的二维图像进行重建，得到待重建的人脸对象的二维图像对应的身份特征系数和表情特征系数。之后对身份特征向量与身份特征系数的乘积、表情特征向量与表情特征系数的乘积进行线性组合得到重建出的三维人脸模型。

在上述参考图2、图3、图4描述的实施例的一些可选的实现方式中，三维人脸重建方法还可以包括：利用与目标虚拟形象对应的转换矩阵将二维人脸图像对应的三维人脸模型映射至目标虚拟形象的脸部区域，其中转换矩阵基于样本虚拟形象及已标注的样本虚拟形象融合人脸后得到的融合结果训练得出。

可以将重建得到的三维人脸模型映射至目标虚拟形象的脸部区域。具体可以计算出三维人脸模型的关键点的空间坐标，根据预设的转换矩阵，将三维人脸模型的关键点的空间坐标映射至目标虚拟形象脸部的对应位置。在这里，目标虚拟形象可以是通过一组基本的混合形状(例如矩形、圆形、不规则形状、线条)进行线性组合生成的虚拟的人物或动物形象。

为了将用于形成目标虚拟形象的混合形状与三维人脸模型对应起来，可以采用机器学习的方法学习得出上述转换矩阵。该转换矩阵的训练样本可以是样本虚拟形象及已标注的样本虚拟形象融合人脸后得到的融合结果。在训练转换矩阵时，可以从样本虚拟形象融合人脸后得到的融合结果中提取出人脸特征点在融合结果中的坐标，或者提取出用于构建融合结果的基本混合形状的线性组合模式，将提取出的坐标或提取出的混合形状的线性组合模式作为训练目标，不断调整转换矩阵使得将三维人脸模型映射至样本虚拟形象之后的结果逼近训练目标。丰富的样本虚拟形象可以保证训练得出的转换矩阵可以适用于复杂的虚拟形象，使得融合人脸后的虚拟形象能更真实地反映人脸的各种特征，能够高精度地还原人脸的动作和神态。

进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种用于确定目标用户的装置的一个实施例，该装置实施例与图2、图3和图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的用于确定目标用户的装置600包括：预测单元601和重建单元602。其中预测单元601可以被配置成将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，特征向量基于对人脸三维重建模型的训练得出；重建单元602可以被配置成基于特征向量和对应的特征系数构建二维人脸图像对应的三维人脸模型。

在一些实施例中，上述装置600还可以包括：训练单元，被配置成基于样本数据训练得出已训练的人脸三维重建模型，样本数据包括样本人脸图像集合和样本人脸图像集合中的样本人脸图像的人脸关键点的标注信息。

在一些实施例中，上述训练单元可以进一步被配置成按照如下方式训练得出已训练的人脸三维重建模型：将样本人脸图像的人脸关键点的标注信息按照预设的三维映射关系进行映射以生成对应的三维样本人脸模型；从已获取的三维基础人脸模型中提取出待训练的特征向量；采用待训练的特征向量构建待训练的人脸三维重建模型，并基于样本人脸图像及样本人脸图像对应的三维样本人脸模型对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型。

在一些实施例中，上述训练单元可以进一步被配置成基于样本人脸图像及样本人脸图像对应的三维样本人脸模型，按照如下方式对待训练的人脸重建模型进行训练：根据待训练的人脸三维重建模型对样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的特征向量构建样本图像的三维人脸模型预测结果；基于样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的特征向量和待训练的人脸重建模型中的重建参数，以使基于待训练的人脸三维重建模型得到的样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的收敛条件。

在一些实施例中，上述特征向量包括身份特征向量；上述样本人脸图像集合包括第一样本人脸图像集合，第一样本人脸图像集合包括多幅具有身份特征差异、且不具有表情特征差异的第一样本人脸图像；以及上述训练单元进一步被配置成按照如下方式从已获取的三维基础人脸模型中提取出待训练的特征向量：获取对三维基础人脸模型进行身份特征维度的变换得到的多个第一人脸模型，并对第一人脸模型进行降维处理，提取出待训练的身份特征向量。

在一些实施例中，上述训练单元进一步被配置成按照如下方式对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型：基于待训练的身份特征向量构建待训练的第一人脸重建模型，根据待训练的第一人脸重建模型对第一样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的身份特征向量构建第一样本人脸图像的三维人脸模型预测结果；基于第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的身份特征向量和待训练的第一人脸重建模型中的重建参数，以使基于待训练的第一人脸重建模型得到的第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第一收敛条件。

在一些实施例中，上述特征向量还包括表情特征向量；上述样本人脸图像集合还包括第二样本人脸图像集合，第二样本人脸图像还包括多幅不具有身份特征差异、且具有表情特征差异的第二样本人脸图像；以及上述训练单元还被配置成按照如下方式从已获取的三维基础人脸模型中提取出待训练的特征向量：获取对三维基础人脸模型进行表情特征维度的变换得到的多个第二人脸模型，并对第二人脸模型进行降维处理，提取出待训练的表情特征向量。

在一些实施例中，上述训练单元可以进一步被配置成按照如下方式对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型：基于已训练的第一人脸重建模型以及待训练的表情特征向量构建待训练的第二人脸重建模型，根据待训练的第二人脸重建模型对第二样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的表情特征向量构建第二样本人脸图像的三维人脸模型预测结果；基于第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待训练的表情特征向量和待训练的第二人脸重建模型中的重建参数，以使基于待训练的第二人脸重建模型得到的第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第二收敛条件。

在一些实施例中，上述训练单元可以进一步被配置成按照如下方式对待训练的人脸重建模型进行训练，得到已训练的、包含用于构建三维人脸模型的特征向量的人脸三维重建模型：将已训练的第二人脸重建模型中的身份特征向量和表情特征向量分别作为待修正的身份特征向量和待修正的表情特征向量，构建第三人脸重建模型；根据待训练的第三人脸重建模型对样本人脸图像集合中的样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及待训练的表情特征向量构建第一样本人脸图像集合和第二样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果；基于样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整待修正的身份特征向量、待修正的表情特征向量和待训练的第三人脸重建模型中的重建参数，以使基于待训练的第三人脸重建模型得到的样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第三收敛条件。

在一些实施例中，上述装置还可以包括：映射单元，被配置成利用与目标虚拟形象对应的转换矩阵将二维人脸图像对应的三维人脸模型映射至目标虚拟形象的脸部区域，其中转换矩阵基于样本虚拟形象及已标注的样本虚拟形象融合人脸后得到的融合结果训练得出。

应当理解，装置600中记载的诸单元与参考图2、图3和图4描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置600及其中包含的单元，在此不再赘述。

本申请上述实施例的三维人脸重建装置600，通过预测单元将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，特征向量基于对人脸三维重建模型的训练得出，重建单元基于特征向量和对应的特征系数构建二维人脸图像对应的三维人脸模型，实现了特征向量的表达能力的提升，从而可以构建出更准确、更多样化的三维人脸模型。

下面参考图7，其示出了适于用来实现本申请实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括预测单元和重建单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，预测单元还可以被描述为“将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，特征向量基于对人脸三维重建模型的训练得出，基于特征向量和对应的特征系数构建二维人脸图像对应的三维人脸模型。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种三维人脸重建方法，包括：

将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，所述特征向量基于对人脸三维重建模型的训练得出，所述特征向量包括用于表征三维人脸模型的一个维度特征的基向量；

基于所述特征向量和对应的特征系数构建所述二维人脸图像对应的三维人脸模型；

所述方法还包括：

基于样本数据按照如下方式训练得出所述已训练的人脸三维重建模型，所述样本数据包括样本人脸图像集合和样本人脸图像集合中的样本人脸图像的人脸关键点的标注信息：

将所述样本人脸图像的人脸关键点的标注信息按照预设的三维映射关系进行映射以生成对应的三维样本人脸模型；

从已获取的三维基础人脸模型中提取出待训练的特征向量；

采用所述待训练的特征向量构建待训练的人脸三维重建模型，并基于所述样本人脸图像及样本人脸图像对应的三维样本人脸模型对所述待训练的人脸三维重建模型进行训练，在训练中迭代调整所述待训练的特征向量，得到已训练的、包含所述用于构建三维人脸模型的特征向量的人脸三维重建模型。

2.根据权利要求1所述的方法，其中，所述基于所述样本人脸图像及样本人脸图像对应的三维样本人脸模型对所述待训练的人脸重建模型进行训练，包括：

根据所述待训练的人脸三维重建模型对样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及所述待训练的特征向量构建样本图像的三维人脸模型预测结果；

基于所述样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整所述待训练的特征向量和所述待训练的人脸重建模型中的重建参数，以使基于所述待训练的人脸三维重建模型得到的样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的收敛条件。

3.根据权利要求1所述的方法，其中，所述特征向量包括身份特征向量；

所述样本人脸图像集合包括第一样本人脸图像集合，所述第一样本人脸图像集合包括多幅具有身份特征差异、且不具有表情特征差异的第一样本人脸图像；以及

所述从已获取的三维基础人脸模型中提取出待训练的特征向量，包括：

获取对所述三维基础人脸模型进行身份特征维度的变换得到的多个第一人脸模型，并对所述第一人脸模型进行降维处理，提取出待训练的身份特征向量。

4.根据权利要求3所述的方法，其中，所述采用所述待训练的特征向量构建待训练的人脸三维重建模型，并基于所述样本人脸图像及样本人脸图像对应的三维样本人脸模型对所述待训练的人脸重建模型进行训练，得到已训练的、包含所述用于构建三维人脸模型的特征向量的人脸三维重建模型，包括：

基于所述待训练的身份特征向量构建待训练的第一人脸重建模型，根据所述待训练的第一人脸重建模型对第一样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及所述待训练的身份特征向量构建第一样本人脸图像的三维人脸模型预测结果；

基于所述第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整所述待训练的身份特征向量和所述待训练的第一人脸重建模型中的重建参数，以使基于所述待训练的第一人脸重建模型得到的第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第一收敛条件。

5.根据权利要求4所述的方法，其中，所述特征向量还包括表情特征向量；

所述样本人脸图像集合还包括第二样本人脸图像集合，所述第二样本人脸图像还包括多幅不具有身份特征差异、且具有表情特征差异的第二样本人脸图像；以及

所述从已获取的三维基础人脸模型中提取出待训练的特征向量，包括：

获取对所述三维基础人脸模型进行表情特征维度的变换得到的多个第二人脸模型，并对所述第二人脸模型进行降维处理，提取出待训练的表情特征向量。

6.根据权利要求5所述的方法，其中，所述采用所述待训练的特征向量构建待训练的人脸三维重建模型，并基于所述样本人脸图像及样本人脸图像对应的三维样本人脸模型对所述待训练的人脸重建模型进行训练，得到已训练的、包含所述用于构建三维人脸模型的特征向量的人脸三维重建模型，还包括：

基于已训练的第一人脸重建模型以及所述待训练的表情特征向量构建待训练的第二人脸重建模型，根据所述待训练的第二人脸重建模型对第二样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及所述待训练的表情特征向量构建第二样本人脸图像的三维人脸模型预测结果；

基于所述第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整所述待训练的表情特征向量和所述待训练的第二人脸重建模型中的重建参数，以使基于所述待训练的第二人脸重建模型得到的第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第二收敛条件。

7.根据权利要求6所述的方法，其中，所述采用所述待训练的特征向量构建待训练的人脸三维重建模型，并基于所述样本人脸图像及样本人脸图像对应的三维样本人脸模型对所述待训练的人脸重建模型进行训练，得到已训练的、包含所述用于构建三维人脸模型的特征向量的人脸三维重建模型，还包括：

将已训练的第二人脸重建模型中的身份特征向量和表情特征向量分别作为待修正的身份特征向量和待修正的表情特征向量，构建第三人脸重建模型；

根据所述待训练的第三人脸重建模型对所述样本人脸图像集合中的样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及所述待训练的表情特征向量构建所述第一样本人脸图像集合和所述第二样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果；

基于所述样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整所述待修正的身份特征向量、待修正的表情特征向量和所述待训练的第三人脸重建模型中的重建参数，以使基于所述待训练的第三人脸重建模型得到的样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第三收敛条件。

8.根据权利要求1-7任一项所述的方法，其中，所述方法还包括：

利用与目标虚拟形象对应的转换矩阵将所述二维人脸图像对应的三维人脸模型映射至目标虚拟形象的脸部区域，其中所述转换矩阵基于样本虚拟形象及已标注的样本虚拟形象融合人脸后得到的融合结果训练得出。

9.一种三维人脸重建装置，包括：

预测单元，被配置成将获取的二维人脸图像输入已训练的人脸三维重建模型，得到与用于构建三维人脸模型的特征向量对应的特征系数，其中，所述特征向量基于对人脸三维重建模型的训练得出，所述特征向量包括用于表征三维人脸模型的一个维度特征的基向量；

重建单元，被配置成基于所述特征向量和对应的特征系数构建所述二维人脸图像对应的三维人脸模型；

所述装置还包括：

训练单元，被配置成基于样本数据按照如下方式训练得出所述已训练的人脸三维重建模型，所述样本数据包括样本人脸图像集合和样本人脸图像集合中的样本人脸图像的人脸关键点的标注信息：

将所述样本人脸图像的人脸关键点的标注信息按照预设的三维映射关系进行映射以生成对应的三维样本人脸模型；

从已获取的三维基础人脸模型中提取出待训练的特征向量；

采用所述待训练的特征向量构建待训练的人脸三维重建模型，并基于所述样本人脸图像及样本人脸图像对应的三维样本人脸模型对所述待训练的人脸三维重建模型进行训练，在训练中迭代调整所述待训练的特征向量，得到已训练的、包含所述用于构建三维人脸模型的特征向量的人脸三维重建模型。

10.根据权利要求9所述的装置，其中，所述训练单元进一步被配置成基于所述样本人脸图像及样本人脸图像对应的三维样本人脸模型，按照如下方式对所述待训练的人脸重建模型进行训练：

根据所述待训练的人脸三维重建模型对样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及所述待训练的特征向量构建样本图像的三维人脸模型预测结果；

基于所述样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整所述待训练的特征向量和所述待训练的人脸重建模型中的重建参数，以使基于所述待训练的人脸三维重建模型得到的样本图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的收敛条件。

11.根据权利要求9所述的装置，其中，所述特征向量包括身份特征向量；

所述样本人脸图像集合包括第一样本人脸图像集合，所述第一样本人脸图像集合包括多幅具有身份特征差异、且不具有表情特征差异的第一样本人脸图像；以及

所述训练单元进一步被配置成按照如下方式从已获取的三维基础人脸模型中提取出待训练的特征向量：

获取对所述三维基础人脸模型进行身份特征维度的变换得到的多个第一人脸模型，并对所述第一人脸模型进行降维处理，提取出待训练的身份特征向量。

12.根据权利要求11所述的装置，其中，所述训练单元进一步被配置成按照如下方式对所述待训练的人脸重建模型进行训练，得到已训练的、包含所述用于构建三维人脸模型的特征向量的人脸三维重建模型：

基于所述待训练的身份特征向量构建待训练的第一人脸重建模型，根据所述待训练的第一人脸重建模型对第一样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及所述待训练的身份特征向量构建第一样本人脸图像的三维人脸模型预测结果；

基于所述第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整所述待训练的身份特征向量和所述待训练的第一人脸重建模型中的重建参数，以使基于所述待训练的第一人脸重建模型得到的第一样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第一收敛条件。

13.根据权利要求12所述的装置，其中，所述特征向量还包括表情特征向量；

所述样本人脸图像集合还包括第二样本人脸图像集合，所述第二样本人脸图像还包括多幅不具有身份特征差异、且具有表情特征差异的第二样本人脸图像；以及

所述训练单元还被配置成按照如下方式所述从已获取的三维基础人脸模型中提取出待训练的特征向量：

获取对所述三维基础人脸模型进行表情特征维度的变换得到的多个第二人脸模型，并对所述第二人脸模型进行降维处理，提取出待训练的表情特征向量。

14.根据权利要求13所述的装置，其中，所述训练单元进一步被配置成按照如下方式对所述待训练的人脸重建模型进行训练，得到已训练的、包含所述用于构建三维人脸模型的特征向量的人脸三维重建模型：

基于已训练的第一人脸重建模型以及所述待训练的表情特征向量构建待训练的第二人脸重建模型，根据所述待训练的第二人脸重建模型对第二样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及所述待训练的表情特征向量构建第二样本人脸图像的三维人脸模型预测结果；

基于所述第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整所述待训练的表情特征向量和所述待训练的第二人脸重建模型中的重建参数，以使基于所述待训练的第二人脸重建模型得到的第二样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第二收敛条件。

15.根据权利要求14所述的装置，其中，所述训练单元进一步被配置成按照如下方式对所述待训练的人脸重建模型进行训练，得到已训练的、包含所述用于构建三维人脸模型的特征向量的人脸三维重建模型：

将已训练的第二人脸重建模型中的身份特征向量和表情特征向量分别作为待修正的身份特征向量和待修正的表情特征向量，构建第三人脸重建模型；

根据所述待训练的第三人脸重建模型对所述样本人脸图像集合中的样本人脸图像对应的三维人脸模型的特征系数的预测结果、以及所述待训练的表情特征向量构建所述第一样本人脸图像集合和所述第二样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果；

基于所述样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异，迭代调整所述待修正的身份特征向量、待修正的表情特征向量和所述待训练的第三人脸重建模型中的重建参数，以使基于所述待训练的第三人脸重建模型得到的样本人脸图像集合中的样本人脸图像的三维人脸模型预测结果与对应的样本三维人脸模型之间的差异满足预设的第三收敛条件。

16.根据权利要求9-15任一项所述的装置，其中，所述装置还包括：

映射单元，被配置成利用与目标虚拟形象对应的转换矩阵将所述二维人脸图像对应的三维人脸模型映射至目标虚拟形象的脸部区域，其中所述转换矩阵基于样本虚拟形象及已标注的样本虚拟形象融合人脸后得到的融合结果训练得出。

17.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

18.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。

Images