CN108876894B - 三维人脸模型和三维人头模型生成方法和生成装置 - Google Patents

Abstract

本公开提供了一种三维人脸和人头模型生成方法、三维人脸和人头模型生成装置以及计算机可读存储介质。该三维人脸模型生成方法包括：获取第一特定人群的N个三维人脸模型；获取第二特定人群的参数化三维人脸模型；对于第一特定人群的N个三维人脸模型中的每一个，确定多个第一残差对应的权重向量；根据第二特定人群的参数化三维人脸模型和N个权重向量，获得第二特定人群的N个新三维人脸模型；对第二特定人群的N个新三维人脸模型的每一个执行注册变形，获得第一特定人群的N个新三维人脸模型；以及对第一特定人群的N个新三维人脸模型执行主成分分析，获得第一特定人群的参数化三维人脸模型。

Description

三维人脸模型和三维人头模型生成方法和生成装置

技术领域

本公开涉及图像处理领域，更具体地，本公开涉及一种三维人脸模型生成方法、三维人头模型生成方法、三维人脸模型生成装置、三维人头模型生成装置以及计算机可读存储介质。

背景技术

参数化三维人脸和人头模型是三维面部形状和纹理的强大统计模型，在人脸识别、人脸三维重建、人脸图像渲染等方法都有着广泛应用。

由于参数化三维人脸和人头模型的建立需要依靠大量的人头样本，而不同地域的人群在其面部特征上有着明显的区别，从而使得基于某一人群(例如，欧洲人)的样本建立的参数化三维人脸模型无法准确的刻画出另一人群(例如，亚洲人)的人脸特征，而且现有的参数化三维人脸模型不包含全头信息，很难满足日益发展的三维算法的要求。

发明内容

鉴于上述问题而提出了本公开。本公开提供了一种三维人脸模型生成方法、三维人头模型生成方法、三维人脸模型生成装置、三维人头模型生成装置以及计算机可读存储介质。

根据本公开的一个方面，提供了一种三维人脸模型生成方法，包括：获取第一特定人群的N个三维人脸模型，N为大于2的整数；获取第二特定人群的参数化三维人脸模型，所述第二特定人群的参数化三维人脸模型由所述第二特定人群的平均三维人脸模型与多个第一残差表示；对于所述第一特定人群的N个三维人脸模型中的每一个，确定所述多个第一残差对应的权重向量；根据所述第二特定人群的参数化三维人脸模型和N个所述权重向量，获得所述第二特定人群的N个新三维人脸模型；对所述第二特定人群的N个新三维人脸模型的每一个执行注册变形，获得所述第一特定人群的N个新三维人脸模型；以及对所述第一特定人群的N个新三维人脸模型执行主成分分析，获得所述第一特定人群的参数化三维人脸模型，所述第一特定人群的参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第二残差表示。

根据本公开的另一个方面，提供了一种三维人头模型生成方法，包括：获取第一特定人群的参数化三维人脸模型，所述参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第三残差表示；获取初始三维人头模型；根据所述第一特定人群的平均三维人脸模型，对所述初始三维人头模型进行注册变形，得到第一特定人群的平均三维人头模型；基于所述第一特定人群的参数化三维人脸模型的多个分量的每一个分量，对所述初始人头模型执行注册变形，获得对应于所述每一个分量的三维人头模型，其中，所述每一个分量由所述第一特定人群的平均三维人脸模型与所述多个第三残差中的每一个第三残差表示；以及确定所述第一特定人群的参数化三维人头模型，所述参数化三维人头模型由所述平均三维人头模型和多个第四残差表示，所述多个第四残差是根据对应于所述多个分量的多个三维人头模型与所述平均三维人头模型得到的。

根据本公开的又一个方面，提供了一种三维人脸模型生成装置，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述三维人脸模型生成装置执行如上所述的三维人脸模型生成方法。

根据本公开的又一个方面，提供了一种三维人头模型生成装置，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述三维人头模型生成装置执行如上所述的三维人头模型生成方法。

根据本公开的再一个方面，提供了一种三维人脸模型生成装置，包括：第一获取单元，用于获取第一特定人群的N个三维人脸模型，N为大于2的整数；第二获取单元，用于获取第二特定人群的参数化三维人脸模型，所述第二特定人群的参数化三维人脸模型由所述第二特定人群的平均三维人脸模型与多个第一残差表示；权重向量确定单元，用于对于所述第一特定人群的N个三维人脸模型中的每一个，确定所述多个第一残差对应的权重向量；第三获取单元，用于根据所述第二特定人群的参数化三维人脸模型和N个所述权重向量，获得所述第二特定人群的N个新三维人脸模型；注册变形单元，用于对所述第二特定人群的N个新三维人脸模型的每一个执行注册变形，获得所述第一特定人群的N个新三维人脸模型；以及主成分分析单元，用于对所述第一特定人群的N个新三维人脸模型执行主成分分析，获得所述第一特定人群的参数化三维人脸模型，所述第一特定人群的参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第二残差表示。

根据本公开的再一个方面，提供了一种三维人头模型生成装置，包括：第一获取单元，用于获取第一特定人群的参数化三维人脸模型，所述参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第三残差表示；第二获取单元，用于获取初始三维人头模型；第一注册变形单元，用于根据所述第一特定人群的平均三维人脸模型，对所述初始三维人头模型进行注册变形，得到第一特定人群的平均三维人头模型；第二注册变形单元，用于基于所述第一特定人群的参数化三维人脸模型的多个分量的每一个分量，对所述初始人头模型执行注册变形，获得对应于所述每一个分量的三维人头模型，其中，所述每一个分量由所述第一特定人群的平均三维人脸模型与所述多个第三残差中的每一个第三残差表示；以及模型确定单元，用于确定所述第一特定人群的参数化三维人头模型，所述参数化三维人头模型由所述平均三维人头模型和多个第四残差表示，所述多个第四残差是根据对应于所述多个分量的多个三维人头模型与所述平均三维人头模型得到的。

根据本公开的再一个方面，提供了一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行如上所述的三维人脸模型生成方法或如上所述的三维人头模型生成方法。

如上所述，根据本公开的三维人脸模型生成方法、三维人脸模型生成装置以及计算机可读存储介质，能够利用有限的计算资源，基于现有的特定人群的参数化三维人脸模型，获得另一人群的参数化三维人脸模型，而无需重新从大量的人脸图像样本建立新的另一人群的参数化三维人脸模型。此外，根据本公开的三维人头模型生成方法、三维人头模型生成装置以及计算机可读存储介质，能够利用有限的计算资源，基于现有的特定人群的参数化三维人脸模型和通用的全头模型，获得该特定人群的参数化三维人头模型，而无需重新从大量的人头图像样本建立新的该特定人群的参数化三维人头模型。

要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是图示根据本公开的实施例的三维人脸模型生成方法的流程图。

图2A到2E是图示根据本公开的实施例的三维人脸模型生成过程的示意图。

图3是图示根据本公开的实施例的三维人脸模型生成装置的框图。

图4是图示根据本公开的实施例的三维人脸模型生成装置的硬件框图。

图5是图示根据本公开的实施例的三维人头模型生成方法的流程图。

图6A到6D是图示根据本公开的实施例的三维人头模型生成过程的示意图。

图7是图示根据本公开的实施例的三维人头模型生成装置的框图。

图8是图示根据本公开的实施例的三维人头模型生成装置的硬件框图。

图9是图示根据本公开的实施例的计算机可读存储介质的示意图。

具体实施方式

为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。基于本公开中描述的本公开实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。

首先，参照图1到图2E描述根据本公开的实施例的三维人脸模型生成方法。

图1是图示根据本公开的实施例的三维人脸模型生成方法的流程图。图2A到2E是图示根据本公开的实施例的三维人脸模型生成过程的示意图。如图1所示，根据本公开的实施例的三维人脸模型生成方法包括以下步骤。

在步骤S101中，获取第一特定人群的N个三维人脸模型，N为大于2的整数。

在本公开的一个实施例中，第一特定人群是需要建立三维人脸模型的目标人群，例如，第一特定人群是亚洲人。

进一步地，在本公开的一个实施例中，预先通过图像采集或者从图像数据库获取所述第一特定人群的N个人脸图像，并且进一步地通过人脸模型重建以获取所述第一特定人群的N个三维人脸模型。在本公开的一个实施例中，N个三维人脸模型可以表示为三维人脸点云或者网格模型。需要理解的是，如此获得的N个三维人脸模型(即，三维人脸点云或者网格模型)可能存在不对齐、点缺失(例如，缺失部分面部细节特征点)等问题。

如图2A所示，示出了第一特定人群的N个三维人脸模型中的一个。

在步骤S102中，获取第二特定人群的参数化三维人脸模型。应理解，步骤S102与步骤S101可以同时执行，步骤S102也可以先于步骤S101执行，或者步骤S101也可以先于步骤S102执行。

在本公开的一个实施例中，第二特定人群具有已经预先建立好的参数化三维人脸模型。所述第二特定人群是与第一特定人群不同的人群，例如所述第二特定人群是欧洲人。

所述第二特定人群的参数化三维人脸模型由所述第二特定人群的平均三维人脸模型与多个第一残差表示。换句话说，所述第二特定人群的参数化三维人脸模型包括所述第二特定人群的平均三维人脸模型与多个第一残差。通过对于多个残差矩阵赋予不同的权重向量，可以得到不同的三维人脸模型，这些不同的三维人脸模型可以具有不同的脸部形状、不同表情和/或不同纹理。通过存储参数化人脸三维模型，而非存储多个人脸三维模型，有利于降低占用的存储空间。具体地，根据所述第二特定人群的参数化三维人脸模型得到的三维人脸模型用以下表达式(1)表示：

Z＝X+Y*T表达式(1)

其中，Z表示一个三维人脸模型，X表示所述第二特定人群的平均人脸模型，Y为多个残差矩阵，T为多个残差矩阵对应的权重向量。

如图2B所示，示出了根据第二特定人群的参数化三维人脸模型得到的一个三维人脸模型。

在步骤S103中，对于第一特定人群的N个三维人脸模型中的每一个，确定多个第一残差对应的权重向量。

在本公开的一个实施例中，对于第一特定人群的N个三维人脸模型中的每一个(即，如图2A所示的一个三维人脸模型)，根据所述第一特定人群的三维人脸模型数据计算人脸位置和朝向，检测并且标注人脸特征点。进一步地，以所述人脸特征点作为约束条件，确定所述多个第一残差对应的权重向量(即，确定表达式(1)中的权重向量T)，使得由具有确定的权重向量T的表达式(1)表示的一个第二特定人群的三维人脸模型与第一特定人群的N个三维人脸模型(即，三维人脸点云或者网格模型)中的对应一个的相似度最大。

在步骤S104中，根据第二特定人群的参数化三维人脸模型和N个权重向量，获得第二特定人群的N个新三维人脸模型。通过利用在步骤S103中对于第一特定人群的N个三维人脸模型中的每一个确定的多个第一残差对应的权重向量，以及原始的第二特定人群的平均人脸模型，获得了第二特定人群的N个新三维人脸模型。需要理解的是，该第二特定人群的N个新三维人脸模型的每一个分别与对应的第一特定人群的N个三维人脸模型的每一个具有最大相似度。换句话说，步骤104之后，得到了与第一特定人群的三维人脸模型接近的第二特定人群的新三维人脸模型。

如图2C所示，示出了第二特定人群的一个新三维人脸模型。

在步骤S105中，对第二特定人群的N个新三维人脸模型的每一个执行注册变形，获得第一特定人群的N个新三维人脸模型。

在本公开的一个实施例中，由于在步骤S104中获得的是第二特定人群的N个新三维人脸模型，为了进一步获得第一特定人群的N个新三维人脸模型，则需要对于第二特定人群的N个新三维人脸模型每一个执行注册变形处理。该注册变形处理使得每个第二特定人群的新三维人脸模型的网格模型表面更加逼近于第一特定人群的三维人脸点云或者网格模型，进而得到第一特定人群的新三维人脸模型。

具体地，对所述N个新三维人脸模型的每一个执行注册变形包括从所述N个新三维人脸模型的每一个选择控制顶点，对所述N个新三维人脸模型的每一个执行注册变形。在本公开的一个实施例中，所述控制顶点包括所述新三维人脸模型中位于面部区域的点，即包括在上述步骤S103中根据所述第一特定人群的三维人脸模型数据计算人脸位置和朝向，检测并且标注出的人脸特征点，以及多个有效的面部顶点。

需要理解的是，由于采用的是同一个第二特定人群的参数化三维人脸模型进行注册变形，所以经过注册变形之后获得的第一特定人群的N个新三维人脸模型彼此直接对齐，并且无缺失点。

此外，在本公开的一个实施例中，还可以对于变形得到的三维人脸模型执行光滑处理(如拉普拉斯光滑)，以降低变形过程中的噪声，使得三维人脸模型的表面更加光滑。

如图2D所示，示出了经过注册变形之后，第一特定人群的N个新三维人脸模型中的一个。

在步骤S106中，对第一特定人群的N个新三维人脸模型执行主成分分析，获得第一特定人群的参数化三维人脸模型。在本公开的一个实施例中，所述第一特定人群的参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第二残差表示。

如图2E所示，示出了根据第一特定人群的参数化三维人脸模型得到的一个三维人脸模型。

如上参照图1到图2E所述的三维人脸模型生成方法，能够利用有限的计算资源，基于现有的特定人群的参数化三维人脸模型，获得另一人群的参数化三维人脸模型，而无需重新从大量的人脸图像样本建立新的另一人群的参数化三维人脸模型。

以上，参照图1到图2E描述了根据本公开的实施例的三维人脸模型生成方法。以下，将参照图3和图4描述根据本公开的实施例的三维人脸模型生成装置。

图3是图示根据本公开的实施例的三维人脸模型生成装置的框图。如图3所示的根据本公开的实施例的三维人脸模型生成装置30可以用于执行如图1所示的根据本公开的实施例的三维人脸模型生成方法。如图3所示，根据本公开的实施例的三维人脸模型生成装置30包括：第一获取单元301、第二获取单元302、权重向量确定单元303、第三获取单元304、注册变形单元305和主成分分析单元306。

具体地，第一获取单元301用于获取第一特定人群的N个三维人脸模型，N为大于2的整数。如上所述，第一特定人群是需要建立三维人脸模型的目标人群，例如，第一特定人群是亚洲人。在本公开的一个实施例中，第一获取单元301预先通过图像采集或者从图像数据库获取所述第一特定人群的N个人脸图像，并且进一步地通过人脸模型重建以获取所述第一特定人群的N个三维人脸模型。在本公开的一个实施例中，N个三维人脸模型可以表示为三维人脸点云或者网格模型。需要理解的是，如此获得的N个三维人脸模型(即，三维人脸点云或者网格模型)可能存在不对齐、点缺失(例如，缺失部分面部细节特征点)等问题。

第二获取单元302用于获取第二特定人群的参数化三维人脸模型，所述第二特定人群的参数化三维人脸模型由所述第二特定人群的平均三维人脸模型与多个第一残差表示。第二特定人群具有已经预先建立好的参数化三维人脸模型。所述第二特定人群是与第一特定人群不同的人群，例如所述第二特定人群是欧洲人。第二获取单元302获取的所述第二特定人群的参数化三维人脸模型由所述第二特定人群的平均三维人脸模型与多个第一残差表示。具体地，根据所述第二特定人群的参数化三维人脸模型得到的三维人脸模型用上述表达式(1)表示。

权重向量确定单元303用于对于所述第一特定人群的N个三维人脸模型中的每一个，确定所述多个第一残差对应的权重向量。权重向量确定单元303对于第一特定人群的N个三维人脸模型中的每一个，确定多个第一残差对应的权重向量。在本公开的一个实施例中，权重向量确定单元303对于第一特定人群的N个三维人脸模型中的每一个(即，如图2A所示的一个三维人脸模型)，根据所述第一特定人群的三维人脸模型数据计算人脸位置和朝向，检测并且标注人脸特征点。进一步地，权重向量确定单元303以所述人脸特征点作为约束条件，确定所述多个第一残差对应的权重向量(即，确定表达式(1)中的权重向量T)，使得由具有确定的权重向量T的表达式(1)表示的一个第二特定人群的三维人脸模型与第一特定人群的N个三维人脸模型(即，三维人脸点云或者网格模型)中的对应一个的相似度最大。

第三获取单元304用于根据所述第二特定人群的参数化三维人脸模型和N个所述权重向量，获得所述第二特定人群的N个新三维人脸模型。第三获取单元304根据第二特定人群的参数化三维人脸模型和N个权重向量，获得第二特定人群的N个新三维人脸模型。通过利用权重向量确定单元303对于第一特定人群的N个三维人脸模型中的每一个确定的多个第一残差对应的权重向量，以及原始的第二特定人群的平均人脸模型，获得了第二特定人群的N个新三维人脸模型。该第二特定人群的N个新三维人脸模型的每一个分别与对应的第一特定人群的N个三维人脸模型的每一个具有最大相似度。换句话说，第三获取单元304得到了与第一特定人群的三维人脸模型接近的第二特定人群的新三维人脸模型。

注册变形单元305用于对所述第二特定人群的N个新三维人脸模型的每一个执行注册变形，获得所述第一特定人群的N个新三维人脸模型。由于第三获取单元304获得的是第二特定人群的N个新三维人脸模型，为了进一步获得第一特定人群的N个新三维人脸模型，则需要对于第二特定人群的N个新三维人脸模型每一个执行注册变形处理。该注册变形处理使得每个第二特定人群的新三维人脸模型的网格模型表面更加逼近于第一特定人群的三维人脸点云或者网格模型，进而得到第一特定人群的新三维人脸模型。具体地，注册变形单元305对所述N个新三维人脸模型的每一个执行注册变形包括从所述N个新三维人脸模型的每一个选择控制顶点，对所述N个新三维人脸模型的每一个执行注册变形。在本公开的一个实施例中，所述控制顶点包括所述新三维人脸模型中位于面部区域的点，即包括权重向量确定单元303根据所述第一特定人群的三维人脸模型数据计算人脸位置和朝向，检测并且标注出的人脸特征点，以及多个有效的面部顶点。需要理解的是，由于采用的是同一个第二特定人群的参数化三维人脸模型进行注册变形，所以经过注册变形之后获得的第一特定人群的N个新三维人脸模型彼此直接对齐，并且无缺失点。此外，在本公开的一个实施例中，还可以对于变形得到的三维人脸模型执行光滑处理(如拉普拉斯光滑)，以降低变形过程中的噪声，使得三维人脸模型的表面更加光滑。

主成分分析单元306用于对所述第一特定人群的N个新三维人脸模型执行主成分分析，获得所述第一特定人群的参数化三维人脸模型，所述第一特定人群的参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第二残差表示。

图4是图示根据本公开的实施例的三维人脸模型生成装置的硬件框图。如图4所示，根据本公开实施例的三维人脸模型生成装置40包括存储器401和处理器402。三维人脸模型生成装置40中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。

所述存储器401用于存储非暂时性计算机可读指令。具体地，存储器401可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

所述处理器402可以是中央处理单元(CPU)、图形处理器(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制三维人脸模型生成装置40中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器402用于运行所述存储器401中存储的所述计算机可读指令，使得所述三维人脸模型生成装置40执行三维人脸模型生成方法。所述三维人脸模型生成方法与参照图1到图2E描述的相同，在此将省略其重复描述。

以上描述了根据本公开的实施例的三维人脸模型生成方法和装置，以下将进一步描述根据本公开的实施例的三维人头模型生成方法和装置。

图5是图示根据本公开的实施例的三维人头模型生成方法的流程图。图6A到6D是图示根据本公开的实施例的三维人头模型生成过程的示意图。如图5所示，根据本公开的实施例的三维人头模型生成方法包括以下步骤。

在步骤S501中，获取第一特定人群的参数化三维人脸模型。

在本公开的一个实施例中，第一特定人群是需要建立三维人头模型的目标人群，例如，第一特定人群是亚洲人。获取的第一特定人群的参数化三维人脸模型可以是如上所述通过参照图1描述的三维人脸模型生成方法所获取的。如上所述，所述参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第三残差表示。需要理解的是，在此使用的序数第一、第二、第三等仅仅是为了便于相互区分。例如，这里的第三残差相当于上文实施例中的第二残差。

如图6A所示，示出了根据第一特定人群的参数化三维人脸模型得到的一个三维人脸模型。如图6A示出的三维人脸模型与图2E中示出的三维人脸模型与相同。

在步骤S502中，获取初始三维人头模型。例如，该初始三维人头模型可以为不具备第一特定人群任何特征的全头模型。

应理解，步骤502与步骤S501可以同时执行，步骤S502也可以先于步骤S501执行，或者步骤S501也可以先于步骤S502执行。

在步骤S503中，根据第一特定人群的平均三维人脸模型，对初始三维人头模型进行注册变形，得到第一特定人群的平均三维人头模型。

如图6B所示，示出了经过注册变形得到的第一特定人群的平均三维人头模型。

在步骤S504中，基于第一特定人群的参数化三维人脸模型的多个分量的每一个分量，对初始人头模型执行注册变形，获得对应于每一个分量的三维人头模型。第一特定人群的参数化三维人脸模型的每个分量指的是在第一特定人群的平均三维人脸上添加一种主成分分量信息之后得到的三维人脸模型。例如，第一特定人群的参数化三维人脸模型中的每个残差表示一种主成分分量，则每个分量可以用以下表达式(2)表示：

A＝x+y*t表达式(2)

其中x表示第一特定人群的平均三维人头模型，y表示一个残差，t表示该残差y对应的权重。

在本公开的一个实施例中，选择所述初始人头模型中对应于面部区域的关键点作为约束条件，对所述初始人头模型执行注册变形，使得所述对应于所述每一个分量的三维人头模型在所述关键点与所述每一个分量的相似度最大。例如，第一特定人群的参数化三维人脸模型的多个，分量包括脸部形状分量、表情分量、纹理分量等。经变形后得到的人头模型在面部区域与三维人脸模型高度相似。

如图6C所示，示出了对所述初始人头模型执行注册变形所获取的对应于一个分量的三维人头模型。

在步骤S505中，确定第一特定人群的参数化三维人头模型。

在本公开的一个实施例中，确定所述第一特定人群的参数化三维人头模型，所述参数化三维人头模型由所述平均三维人头模型和多个第四残差表示，所述多个第四残差是根据对应于所述多个分量的多个三维人头模型与所述平均三维人头模型得到的。具体地，所述多个第四残差是步骤S504中获得的所述多个三维人头模型与步骤S503中获得的所述平均三维人头模型之差。

如图6D所示，示出了根据第一特定人群的参数化三维人头模型得到的一个三维人头模型。

如上参照图5到图6D所述的三维人头模型生成方法，能够利用有限的计算资源，基于特定人群的参数化三维人脸模型和通用的全头模型，获得该特定人群的参数化三维人头模型，而无需重新从大量的人头图像样本建立新的该特定人群的参数化三维人头模型。

以上，参照图5到图6D描述了根据本公开的实施例的三维人头模型生成方法。以下，将参照图7和图8描述根据本公开的实施例的三维人头模型生成装置。

图7是图示根据本公开的实施例的三维人头模型生成装置的框图。如图7所示的根据本公开的实施例的三维人头模型生成装置70可以用于执行如图5所示的根据本公开的实施例的三维人头模型生成方法。如图7所示，根据本公开的实施例的三维人头模型生成装置70包括：第一获取单元701、第二获取单元702、第一注册变形单元703、第二注册变形单元704和模型确定单元705。

具体地，第一获取单元701用于获取第一特定人群的参数化三维人脸模型，所述参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第三残差表示。需要理解的是，在此使用的序数第一、第二、第三等仅仅是为了便于相互区分。例如，这里的第三残差相当于上文实施例中的第二残差。在本公开的一个实施例中，第一特定人群是需要建立三维人头模型的目标人群，例如，第一特定人群是亚洲人。获取的第一特定人群的参数化三维人脸模型可以是如上所述由参照图3描述的三维人脸模型生成装置所获取的。

第二获取单元702用于获取初始三维人头模型。例如，该初始三维人头模型可以为不具备第一特定人群任何特征的全头模型。

第一注册变形单元703用于根据所述第一特定人群的平均三维人脸模型，对所述初始三维人头模型进行注册变形，得到第一特定人群的平均三维人头模型。

第二注册变形单元704用于基于所述第一特定人群的参数化三维人脸模型的多个分量的每一个分量，对所述初始人头模型执行注册变形，获得对应于所述每一个分量的三维人头模型。第一特定人群的参数化三维人脸模型的每个分量指的是在第一特定人群的平均三维人脸上添加一种主成分分量信息之后得到的三维人脸模型。例如，第一特定人群的参数化三维人脸模型中的每个残差表示一种主成分分量，则每个分量可以用上述表达式(2)表示。第二注册变形单元704选择所述初始人头模型中对应于面部区域的关键点作为约束条件，对所述初始人头模型执行注册变形，使得所述对应于所述每一个分量的三维人头模型在所述关键点与所述每一个分量的相似度最大。如上所述，例如，第一特定人群的参数化三维人脸模型的多个分量包括脸部形状分量、表情分量、纹理分量等。经变形后得到的人头模型在面部区域与三维人脸模型高度相似。

模型确定单元705用于确定所述第一特定人群的参数化三维人头模型，所述参数化三维人头模型由所述平均三维人头模型和多个第四残差表示，所述多个第四残差是根据对应于所述多个分量的多个三维人头模型与所述平均三维人头模型得到的。具体地，所述多个第四残差是第二注册变形单元704获得的所述多个三维人头模型与第一注册变形单元703获得的所述平均三维人头模型之差。

图8是图示根据本公开的实施例的三维人头模型生成装置的硬件框图。如图8所示，根据本公开实施例的三维人头模型生成装置80包括存储器801和处理器802。三维人头模型生成装置80中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。

所述存储器801用于存储非暂时性计算机可读指令。具体地，存储器801可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

所述处理器802可以是中央处理单元(CPU)、图形处理器(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制三维人头模型生成装置80中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器802用于运行所述存储器801中存储的所述计算机可读指令，使得所述三维人头模型生成装置80执行三维人脸模型生成方法。所述三维人头模型生成方法与参照图5到图6D描述的相同，在此将省略其重复描述。

图9是图示根据本公开的实施例的计算机可读存储介质的示意图。如图9所示，根据本公开实施例的计算机可读存储介质900其上存储有非暂时性计算机可读指令901。当所述非暂时性计算机可读指令901由处理器运行时，执行参照以上附图描述的根据本公开实施例的三维人脸模型生成方法和三维人头模型生成方法。

以上，参照附图描述了根据本公开的实施例的三维人脸模型生成方法、三维人头模型生成方法、三维人脸模型生成装置、三维人头模型生成装置以及计算机可读存储介质。根据本公开的三维人脸模型生成方法、三维人脸模型生成装置以及计算机可读存储介质，能够利用有限的计算资源，基于现有的特定人群的参数化三维人脸模型，获得另一人群的参数化三维人脸模型，而无需重新从大量的人脸图像样本建立新的另一人群的参数化三维人脸模型。此外，根据本公开的三维人头模型生成方法、三维人头模型生成装置以及计算机可读存储介质，能够利用有限的计算资源，基于现有的特定人群的参数化三维人脸模型和通用的全头模型，获得该特定人群的参数化三维人头模型，而无需重新从大量的人头图像样本建立新的该特定人群的参数化三维人头模型。

需要说明的是，在本发明的各个实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (13)

1.一种三维人脸模型生成方法，包括：

获取第一特定人群的N个三维人脸模型，N为大于2的整数；

获取第二特定人群的参数化三维人脸模型，所述第二特定人群的参数化三维人脸模型由所述第二特定人群的平均三维人脸模型与多个第一残差表示；

对于所述第一特定人群的N个三维人脸模型中的每一个，确定所述多个第一残差对应的权重向量；

根据所述第二特定人群的参数化三维人脸模型和N个所述权重向量，获得所述第二特定人群的N个新三维人脸模型；

对所述第二特定人群的N个新三维人脸模型的每一个执行注册变形，获得所述第一特定人群的N个新三维人脸模型；以及

对所述第一特定人群的N个新三维人脸模型执行主成分分析，获得所述第一特定人群的参数化三维人脸模型，所述第一特定人群的参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第二残差表示，

其中，所述第二特定人群的所述新三维人脸模型为所述第二特定人群的平均三维人脸模型加上所述多个第一残差与所述多个第一残差对应的权重向量的乘积。

2.如权利要求1所述的三维人脸模型生成方法，其中，所述对所述N个新三维人脸模型的每一个执行注册变形包括：

从所述N个新三维人脸模型的每一个选择控制顶点，对所述N个新三维人脸模型的每一个执行注册变形。

3.如权利要求2所述的三维人脸模型生成方法，其中，所述控制顶点包括所述新三维人脸模型中位于面部区域的点。

4.如权利要求1所述的三维人脸模型生成方法，还包括：

根据所述第一特定人群的三维人脸模型数据计算人脸位置和朝向，检测并且标注人脸特征点；

其中，所述对于所述第一特定人群的N个三维人脸模型中的每一个，确定所述多个第一残差对应的权重向量包括：

以所述人脸特征点作为约束条件，确定所述多个第一残差对应的权重向量。

5.一种三维人头模型生成方法，包括：

获取第一特定人群的参数化三维人脸模型，所述参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第三残差表示；

获取初始三维人头模型；

根据所述第一特定人群的平均三维人脸模型，对所述初始三维人头模型进行注册变形，得到第一特定人群的平均三维人头模型；

基于所述第一特定人群的参数化三维人脸模型的多个分量的每一个分量，对所述初始三维人头模型执行注册变形，获得对应于所述每一个分量的三维人头模型，其中，所述每一个分量由所述第一特定人群的平均三维人脸模型与所述多个第三残差中的每一个第三残差表示；以及

确定所述第一特定人群的参数化三维人头模型，所述参数化三维人头模型由所述平均三维人头模型和多个第四残差表示，所述多个第四残差是根据对应于所述多个分量的多个三维人头模型与所述平均三维人头模型得到的，

其中，所述第一特定人群的参数化三维人脸模型的每个分量为所述第一特定人群的平均三维人头模型加上所述多个第三残差中的每一个第三残差与所述每一个第三残差对应权重的乘积。

6.如权利要求5所述的三维人头模型生成方法，其中，所述基于所述第一特定人群的参数化三维人脸模型的多个分量的每一个分量，对所述初始三维人头模型执行注册变形包括：

选择所述初始三维人头模型中对应于面部区域的关键点作为约束条件，对所述初始三维人头模型执行注册变形，使得所述对应于所述每一个分量的三维人头模型在所述关键点与所述每一个分量的相似度最大。

7.如权利要求5所述的三维人头模型生成方法，其中，根据权利要求1到4的任一项所述的三维人脸模型生成方法，获取所述第一特定人群的参数化三维人脸模型。

8.如权利要求5或6所述的三维人头模型生成方法，其中，所述多个第四残差是所述多个三维人头模型与所述平均三维人头模型之差。

9.一种三维人脸模型生成装置，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述三维人脸模型生成装置执行如权利要求1到4的任一项所述的三维人脸模型生成方法。

10.一种三维人头模型生成装置，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述三维人脸模型生成装置执行如权利要求5到8的任一项所述的三维人头模型生成方法。

11.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行如权利要求1到4的任一项所述的三维人脸模型生成方法或如权利要求5到8的任一项所述的三维人头模型生成方法。

12.一种三维人脸模型生成装置，包括：

第一获取单元，用于获取第一特定人群的N个三维人脸模型，N为大于2的整数；

第二获取单元，用于获取第二特定人群的参数化三维人脸模型，所述第二特定人群的参数化三维人脸模型由所述第二特定人群的平均三维人脸模型与多个第一残差表示；

权重向量确定单元，用于对于所述第一特定人群的N个三维人脸模型中的每一个，确定所述多个第一残差对应的权重向量；

第三获取单元，用于根据所述第二特定人群的参数化三维人脸模型和N个所述权重向量，获得所述第二特定人群的N个新三维人脸模型；

注册变形单元，用于对所述第二特定人群的N个新三维人脸模型的每一个执行注册变形，获得所述第一特定人群的N个新三维人脸模型；以及

主成分分析单元，用于对所述第一特定人群的N个新三维人脸模型执行主成分分析，获得所述第一特定人群的参数化三维人脸模型，所述第一特定人群的参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第二残差表示，

其中，所述第二特定人群的所述新三维人脸模型为所述第二特定人群的平均三维人脸模型加上所述多个第一残差与所述多个第一残差对应的权重向量的乘积。

13.一种三维人头模型生成装置，包括：

第一获取单元，用于获取第一特定人群的参数化三维人脸模型，所述参数化三维人脸模型由所述第一特定人群的平均三维人脸模型与多个第三残差表示；

第二获取单元，用于获取初始三维人头模型；

第一注册变形单元，用于根据所述第一特定人群的平均三维人脸模型，对所述初始三维人头模型进行注册变形，得到第一特定人群的平均三维人头模型；

第二注册变形单元，用于基于所述第一特定人群的参数化三维人脸模型的多个分量的每一个分量，对所述初始三维人头模型执行注册变形，获得对应于所述每一个分量的三维人头模型，其中，所述每一个分量由所述第一特定人群的平均三维人脸模型与所述多个第三残差中的每一个第三残差表示；以及

模型确定单元，用于确定所述第一特定人群的参数化三维人头模型，所述参数化三维人头模型由所述平均三维人头模型和多个第四残差表示，所述多个第四残差是根据对应于所述多个分量的多个三维人头模型与所述平均三维人头模型得到的，

其中，所述第一特定人群的参数化三维人脸模型的每个分量为所述第一特定人群的平均三维人头模型加上所述多个第三残差中的每一个第三残差与所述每一个第三残差对应权重的乘积。

Images