CN111652974A - 三维人脸模型的构建方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种三维人脸模型的构建方法、装置、设备及存储介质，属于人工智能的计算机视觉技术领域。所述方法包括：获取目标对象的n个人脸图像对；基于人脸关键点的位置信息和深度信息，获取人脸关键点的三维坐标信息；将人脸关键点的三维坐标信息与基础三维人脸模型进行初步拟合，生成初步拟合的三维人脸模型；从初步拟合的三维人脸模型采样获取三维非关键点；获取三维非关键点的位置信息和深度信息；基于三维非关键点的位置信息和深度信息，对初步拟合的三维人脸模型进行二次拟合，生成目标对象的三维人脸模型。本申请中，采用稀疏点构建三维人脸模型，能够减少计算机设备的运算量，提高三维人脸模型的构建效率。

Description

三维人脸模型的构建方法、装置、设备及存储介质

技术领域

本申请涉及人工智能的计算机视觉技术领域，特别涉及一种三维人脸模型的构建方法、装置、设备及存储介质。

背景技术

目前，三维人脸重建在实际应用场景中得到了广泛运用。

相关技术提供的三维人脸重建方法如下：获取目标对象的人脸图像，从目标对象的人脸图像中获取人脸上各个部位的点，根据该人脸上各个部位的点形成三维点云数据，进一步地基于该三维点云数据构建目标对象的三维人脸模型。

为了保证构建生成的三维人脸模型与目标对象之间的相似性，相关技术需要在人脸图像上获取大量密集的点，以生成丰富的三维点云数据，但这会导致运算量过大。

发明内容

本申请实施例提供了一种三维人脸模型的构建方法、装置、设备及存储介质，能够采用稀疏点构建三维人脸模型，从而减少计算机设备的运算量，提高三维人脸模型的构建效率。所述技术方案如下：

一方面，本申请实施例提供了一种三维人脸模型的构建方法，所述方法包括：

获取目标对象的n个人脸图像对，一个人脸图像对包括一种头部姿态下的人脸彩色图像和人脸深度图像，所述n为正整数；

基于所述目标对象的人脸关键点在所述人脸图像对中的位置信息和深度信息，获取所述人脸关键点的三维坐标信息；

将所述人脸关键点的三维坐标信息与三维形变模型库中的基础三维人脸模型进行初步拟合，生成初步拟合的三维人脸模型；

从所述初步拟合的三维人脸模型的非关键点区域，采样获取三维非关键点，所述非关键点区域是指所述初步拟合的三维人脸模型中人脸关键点未覆盖的区域；

获取所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息；

基于所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息，对所述初步拟合的三维人脸模型进行二次拟合，生成所述目标对象的三维人脸模型。

另一方面，本申请实施例提供了一种三维人脸模型的构建装置，所述装置包括：

图像获取模块，用于获取目标对象的n个人脸图像对，一个人脸图像对包括一种头部姿态下的人脸彩色图像和人脸深度图像，所述n为正整数；

信息获取模块，用于基于所述目标对象的人脸关键点在所述人脸图像对中的位置信息和深度信息，获取所述人脸关键点的三维坐标信息；

初步拟合模块，用于将所述人脸关键点的三维坐标信息与三维形变模型库中的基础三维人脸模型进行初步拟合，生成初步拟合的三维人脸模型；

模型采样模块，用于从所述初步拟合的三维人脸模型的非关键点区域，采样获取三维非关键点，所述非关键点区域是指所述初步拟合的三维人脸模型中人脸关键点未覆盖的区域；

图像映射模块，用于获取所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息；

二次拟合模块，用于基于所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息，对所述初步拟合的三维人脸模型进行二次拟合，生成所述目标对象的三维人脸模型。

又一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述三维人脸模型的构建方法。

再一方面，本申请实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述三维人脸模型的构建方法。

还一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，使得计算机设备执行上述三维人脸模型的构建方法。

本申请实施例提供的技术方案可以带来如下有益效果：

通过人脸关键点的三维坐标信息，对基础三维人脸模型进行初步拟合，生成初步拟合的三维人脸模型，然后通过三维非关键点的三维坐标信息对初步拟合的三维人脸模型进行二次拟合，生成目标对象的三维人脸模型，即在初步拟合时仅仅采用人脸关键点进行拟合，在二次拟合时仅仅采用从非关键区域采样获取的三维非关键点进行拟合，无论是初次拟合还是二次拟合均采用稀疏点进行拟合，且人脸关键点与三维非关键点的集合依旧是对人脸图像对中某些点的采样，为稀疏点，并不包含目标对象的人脸图像中人脸上各个部位的点，解决了基于密集点构建三维人脸模型而造成的计算机设备运算量过大的问题，采用稀疏点构建三维人脸模型，能够减少计算机设备的运算量，提高三维人脸模型的构建效率。

另外，通过三位非关键点对初步拟合的三维人脸模型进行二次拟合，生成目标对象的三维人脸模型，在确定人脸关键点的基础上，保证目标对象的三维人脸模型的非关键区域与目标对象的非关键区域的相似性，有利于保证最终正常的目标对象的三维人脸模型与目标对象的真实人脸之间的相似性。从而，在重建生成与目标对象具备相似性的三维人脸模型的前提下，尽可能地减少计算机设备的运算量，提高三维人脸模型的构建效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了一种目标对象的三维人脸模型的构建方式的流程图；

图2是本申请一个实施例提供的三维人脸模型的构建方法的流程图；

图3示例性示出了一种人脸关键点种类的示意图；

图4示例性示出了一种人脸关键点的三维坐标信息的获取方式的示意图；

图5示例性示出了一种初步拟合的三维人脸模型的示意图；

图6示例性示出了一种三维非关键点的获取方式的示意图；

图7示例性示出了一种目标对象的三维人脸模型的获取方式的示意图；

图8是本申请一个实施例提供的三维人脸模型的构建装置的框图；

图9是本申请另一个实施例提供的三维人脸模型的构建装置的框图；

图10是本申请一个实施例提供的计算机设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

AI(Artificial Intelligence，人工智能)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)：计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3Dimensions，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及三维人脸模型的重建技术，利用计算机视觉技术对目标对象的多个人脸图像对进行分析处理，通过人脸关键点生成初步拟合的三维人脸模型，进一步地，通过三维非关键点对初步拟合的三维人脸模型进行二次拟合，构建目标对象的三维人脸模型。

可选地，不同的人脸图像对中包括不同头部姿态下的人脸图像对，即每个人脸图像对中包括一种头部姿态下的人脸彩色图像和人脸深度图像。其中，人脸彩色图像是指体现不同色彩的人脸图像，例如该人脸彩色图像可以是RGB图像，也可以是YUV图像；人脸深度图像是指包括人脸彩色图像的深度信息的图像，该深度信息用于指示人脸彩色图像的拍摄位置与目标对象的人脸上各个点之间的距离，不同的点具有不同的深度信息。可选地，在人脸深度图像中采用不同的颜色表示不同的深度信息。

示例性地，结合参考图1，计算机设备获取目标对象的正脸姿态的人脸图像对10，左边侧脸的人脸图像对20和右边侧脸姿态的人脸图像对30。其中，正脸姿态的人脸图像对10包括正脸姿态的人脸彩色图像11和对应的人脸深度图像12；左边侧脸的人脸图像对20包括左边侧脸姿态的人脸彩色图像21和对应的人脸深度图像22；右边侧脸姿态的人脸图像对30包括右边侧脸姿态的人脸彩色图像31和对应的人脸深度图像32。进一步地，计算机设备基于正脸姿态的人脸图像对10，左边侧脸姿态的人脸图像对20和右边侧脸姿态的人脸图像对30，获取人脸关键点的三维坐标信息40，并根据该人脸关键点的三维坐标信息40，对三维形变模型库中的基础三维人脸模型进行初步拟合，得到初步拟合的三维人脸模型50。之后，对初步拟合的三维人脸模型50采样投影获取三维非关键点的三维坐标信息60，并根据三维非关键点的三维坐标信息60，对初步拟合的三维人脸模型50进行二次拟合，得到目标对象的三维人脸模型70。

其中，三维形变模型库用于提供基础三维人脸模型，可选地，该三维形变模型库中包括多于一个的基础三维人脸模型，该基础三维人脸模型是一种通用人脸模型，该通用人脸模型用于三维人脸模型的拟合，计算机设备可以通过设置不同的拟合系数，基于该通用人脸模型获取不同的三维人脸模型。

需要说明的一点是，本申请实施例提供的方法流程，各步骤的执行主体可以是诸如手机、平板电脑、多媒体播放设备、可穿戴设备等终端，也可以是服务器。为了便于说明，在下述方法实施例中，仅以各步骤的执行主体为计算机设备为例进行介绍说明，所述计算机设备可以是任何具备计算和存储能力的电子设备，如上文介绍的终端或服务器。需要说明的一点是，在本申请实施例中，各步骤的执行主体可以是同一计算机设备，也可以是不同的计算机设备。

下面，将结合几个实施例对本申请技术方案进行详细的介绍说明。

请参考图2，其示出了本申请一个实施例提供的三维人脸模型的构建方法的流程图。该方法可以包括以下几个步骤(201～206)：

步骤201，获取目标对象的n个人脸图像对。

目标对象是指具有构建三维人脸模型需求的任意用户。人脸图像对用于构建目标对象的三维人脸模型，该人脸图像对是指包括目标对象的人脸信息的图像。可选地，每个人脸图像对包括一种头部姿态下的人脸彩色图像和人脸深度图像。其中，人脸彩色图像是指体现不同色彩的人脸图像，例如该人脸彩色图像可以是RGB图像，也可以是YUV图像；人脸深度图像是指包括人脸彩色图像的深度信息的图像，该深度信息用于指示人脸彩色图像的拍摄位置与目标对象的人脸上各个点之间的距离，不同的点具有不同的深度信息。

在本申请实施例中，计算机设备可以通过图像获取设备，如摄像头、人脸识别设备和人脸扫描仪等，获取上述目标对象的n个人脸图像对，其中，n为正整数。可选地，上述图像获取设备可以是设置在计算机设备上的图像获取装置，也可以是与计算机设备通过网络连接的电子设备。可选地，上述人脸图像对是指目标对象的头部姿态符合要求的图像对。

在一种可能的实施方式中，计算机设备直接获取上述n个人脸图像对。可选地，计算机设备向目标对象展示提示信息，该提示信息用于提醒目标对象采用不同的头部姿态面对图像获取设备。进一步地，目标对象根据上述提示信息，以不同的头部姿态面对图像获取设备，对应的，图像获取设备获取n个人脸图像对，并向计算机设备发送该人脸图像对。

在另一种可能的实施方式中，计算机设备通过对人脸图像对进行筛选获取上述n个人脸图像对。可选地，上述步骤201包括以下几个步骤：

1、获取目标对象的m个人脸图像对。

可选地，计算机设备通过图像获取设备获取上述目标对象的m个人脸图像对，其中，m为大于n的正整数。例如，在实际应用中，图像获取设备保持不动，目标对象在固定位置旋转头部，进而，图像获取设备获取该目标对象的m个人脸图像对。再例如，在实际应用中，目标对象保持不动，由多个图像获取设备从不同的角度获取该目标对象的m个人脸图像对。当然，图像获取设备也可以按照一定的运动轨迹进行移动，以获取目标对象的m和人脸图像对。

2、提取目标对象在人脸彩色图像中的人脸关键点。

人脸关键点是指上述目标对象的脸部特征点，该脸部特征点能够定位目标对象的人脸位置。可选地，该人脸关键点包括非轮廓关键点和轮廓关键点。其中，非轮廓关键点是指人脸的非边缘部位的特征点，该非边缘部位的特征点可以是目标对象的人脸五官对应的特征点，如图3中以黑色圆点示出的特征点31；轮廓关键点是指人脸的边缘部位的特征点，如图3中以菱形框示出的特征点32。在本申请实施例中，计算机设备在获取上述目标对象的m个人脸图像对之后，在各个人脸彩色图像中分别提取目标对象的人脸关键点。

3、根据目标对象的人脸关键点在人脸彩色图像中的位置信息，确定人脸彩色图像中目标对象的头部姿态。

可选地，计算机设备在获取上述目标对象的人脸关键点之后，根据该人脸关键点在人脸彩色图像中的位置信息，确定该人脸彩色图像中目标对象的头部姿态。

4、从m个人脸图像对中选择头部姿态符合要求的n个人脸图像对。

可选地，计算机设备在获取上述人脸彩色图像中目标对象的头部姿态之后，依据目标对象的头部姿态，从上述m个人脸图像对中选择头部姿态符合要求的n个人脸图像对。

可选地，上述n个人脸图像对包括正脸姿态的人脸图像对、左边侧脸姿态的人脸图像对和右边侧脸姿态的人脸图像对。可选地，计算机设备从m个人脸图像对中，依据人脸彩色图像中目标对象的头部姿态，选择正脸姿态的人脸图像对、左边侧脸姿态的人脸图像对和右边侧脸姿态的人脸图像对来构建目标对象的三维人脸模型。当然，在实际运用中，计算机设备可以仅仅选择正脸姿态的人脸图像对，以减少目标对象的三维人脸模型构建过程的处理开销；或者，计算机设备也可以选择多于三种头部姿态的人脸图像对，以提高目标对象的三维人脸模型构建结果的准确度。

需要说明的一点是，在本申请实施例中，图像获取设备在获取上述人脸图像对之后，可以实时为计算机设备提供该人脸图像对，以实现三维人脸模型的实时构建；或者，也可以按照一定的时间间隔向计算机设备同时提供多个目标对象的人脸图像对，使得计算机设备同时构建多个目标对象的三维人脸模型，提高三维人脸模型的构建效率。

步骤202，基于目标对象的人脸关键点在人脸图像对中的位置信息和深度信息，获取人脸关键点的三维坐标信息。

位置信息用于指示人脸关键点在人脸彩色图像中的位置。可选地，该位置信息可以以坐标的形式进行表示。深度信息用于指示人脸关键点与人脸彩色图像的拍摄位置之间的距离。可选地，该深度信息可以以数值的形式进行表示。三维坐标信息用于指示人脸关键点的在三维坐标系中的位置信息。其中，该三维坐标系可以是依据人脸图像对的获取环境所建立的三维坐标系，也可以是某个三维形变模型库对应的三维坐标系。

在本申请实施例中，计算机设备在获取上述目标对象的n个人脸图像对之后，从人脸彩色图像中获取人脸关键点的位置信息，从人脸深度图像中获取人脸关键点的深度信息；进一步地，基于该位置信息与深度信息，获取上述人脸关键点的三维坐标信息。需要说明的一点是，上述人脸关键点为稀疏点，计算机设备可以从人脸彩色图像的特征部位采样获取所需要的特征点作为人脸关键点，不需要获取该特征部位的全部特征点作为人脸关键点。可选地，计算机设备可以根据实际情况确定人脸关键点的数量。

可选地，上述人脸关键点包括非轮廓关键点、左边侧脸的轮廓关键点和右边侧脸的轮廓关键点。其中，非轮廓关键点的三维坐标信息可以从正脸姿态的人脸图像对中获取，左边侧脸的轮廓关键点的三维坐标信息可以从左边侧脸姿态的人脸图像对中获取，右边侧脸的轮廓关键点的三维坐标信息可以从右边侧脸姿态的人脸图像对中获取。

示例性地，结合参考图4，在正脸姿态的人脸彩色图像11中获取非轮廓关键点41，并依据该非轮廓关键点41的位置信息和深度信息，得到该非轮廓关键点的三维坐标信息42；在左边侧脸姿态的人脸彩色图像21中获取左边侧脸的轮廓关键点43，并依据该左边侧脸的轮廓关键点43的位置信息和深度信息，得到该左边轮廓关键点的三维坐标信息44；在右边侧脸姿态的人脸彩色图像31中获取右边侧脸的轮廓关键点45，并依据该左边侧脸的轮廓关键点45的位置信息和深度信息，得到该左边轮廓关键点的三维坐标信息46。

需要说明的一点是，在本申请实施例中，由于环境因素造成的深度信息缺失，计算机设备在获取人脸关键点的三维坐标信息之前，需要对深度信息确实的人脸关键点进行处理。可选地，上述步骤202包括以下几个步骤：

1、获取目标对象初始的人脸关键点在人脸图像对中的位置信息和深度信息。

初始的人脸关键点是指用于确定目标对象的头部姿态的人脸关键点。在本申请实施例中，计算机设备根据上述初始的人脸关键点确定目标对象的头部姿态，并根据该头部姿态选择上述n个人脸图像对之后，计算机设备从人脸彩色图像中获取上述初始的人脸关键点的位置信息，从人脸深度图像中获取上述初始的人脸关键点的深度信息。

2、响应于初始的人脸关键点中的目标关键点为轮廓关键点，且目标关键点不存在深度信息，剔除目标关键点。

目标关键点是指上述初始的人脸关键点中的任意一点。在本申请实施例中，计算机设备在获取上述位置信息和深度信息之后，对初始的人脸关键点进行判断，将该初始的人脸关键点中不存在深度信息的目标关键点进行更新处理。可选地，若初始的人脸关键点中的目标关键点为轮廓关键点，则确定该目标关键点对三维人脸模型的构建影响较小，在该目标关键点不存在深度信息时，剔除该目标关键点，得到更新后的人脸关键点。

3、响应于初始的人脸关键点中的目标关键点为非轮廓关键点，且目标关键点不存在深度信息，选择距离目标关键点最近且存在深度信息的点，替换目标关键点。

在本申请实施例中，若上述初始的人脸关键点中的目标关键点为非轮廓关键点，则确定该目标关键点对三维人脸模型的构建影响较大，在该目标关键点不存在深度信息时，依据该目标关键点对应的人脸彩色图像和人脸深度图像，从人脸彩色图像中选择距离上述目标关键点最近且存在深度信息的点，替换该目标关键点，得到更新后的人脸关键点。

可选地，计算机设备在确定上述目标关键点为非轮廓关键点，且该目标关键点不存在深度信息之后，可以在人脸彩色图像中搜索与该目标点距离最近的点，进而，判断与该目标关键点距离最近的点是否存在深度信息。若与该目标关键点距离最近的点存在深度信息，则使用该点替换上述目标关键点；否则，继续从人脸彩色图像中搜索另一个与该目标关键点距离最近的点，并判断该点是否存在深度信息，直至计算机设备搜索到与该目标关键点距离最近且存在深度信息的点。

4、基于更新后的人脸关键点在人脸图像对中的位置信息和深度信息，得到人脸关键点的三维坐标信息。

可选地，计算机设备在获取上述更新后的人脸关键点之后，从人脸彩色图像中获取该更新后的人脸关键点的位置信息，从人脸深度图像中获取该更新后的人脸关键点的深度信息，基于该位置信息与深度信息，得到上述人脸关键点的三维坐标信息。

需要说明的一点是，在本申请实施例中，对于不同的人脸图像对，可以具有代表目标对象的人脸相同位置的人脸关键点，此时，对于该人脸关键点，依据不同人脸图像对获取的三维坐标信息相同。

步骤203，将人脸关键点的三维坐标信息与三维形变模型库中的基础三维人脸模型进行初步拟合，生成初步拟合的三维人脸模型。

三维形变模型库用于提供基础三维人脸模型，可选地，该三维形变模型库中包括多于一个的基础三维人脸模型。其中，基础三维人脸模型是一种通用人脸模型，该通用人脸模型用于三维人脸模型的拟合。可选地，计算机设备可以通过设置不同的拟合系数，对基础三维人脸模型进行拟合，以得到符合要求的三维人脸模型。

在本申请实施例中，计算机设备在获取上述人脸关键点的三维坐标信息之后，利用该人脸关键点的三维坐标信息，对三维形变模型库中的基础三维人脸模型进行初步拟合，生成初步拟合的三维人脸模型。可选地，计算机设备可以根据人脸关键点的三维坐标信息，确定第一拟合系数。其中，该第一拟合系数用于拟合初步拟合的三维人脸模型与目标对象的人脸图像对之间的相似性。进一步地，计算机设备基于该第一拟合系数，对三维形变模型库中的基础三维人脸模型进行初步拟合，得到初步拟合的三维人脸模型。

其中，上述初步拟合的三维人脸模型中的人脸关键点，与目标对象的人脸关键点的位置信息与深度信息保持一致。示例性地，结合参考图5，将人脸关键点的三维信息40和三维形变模型库中的基础三维人脸模型进行初步拟合，之后，所得到的初步拟合的三维人脸模型50中的人脸关键点51，与目标对象的人脸关键点52保持一致。

需要说明的一点是，在本申请实施例中，计算机设备在确定上述第一拟合系数之前，需要对上述人脸关键点进行筛选。可选地，上述步骤203之前包括以下几个步骤：

1、基于人脸关键点的对称性，根据人脸关键点的三维坐标信息将人脸关键点放置在对称坐标系中。

对称坐标系是一种几何对称的坐标系，可选地，在对称坐标系中，将对称点的对称轴与对称坐标系的对称轴重合，则对称点的坐标之间满足某种对称规则。在本申请实施例中，计算机设备在确定上述第一拟合系数之前，基于人脸关键点的对称性，根据人脸关键点的三维坐标信息将人脸关键点放置在对称坐标系中，其中，人脸关键点的对称轴与对称坐标系的对称轴重合。

2、获取人脸关键点中的对称关键点在对称坐标系中的坐标信息。

可选地，计算机设备在将人脸关键点放置在对称坐标系之后，在该对称坐标系中，获取上述人脸关键点的对称关键点的坐标信息。

3、响应于坐标信息不满足对称坐标系对应的对称规则，去除对应的对称关键点，得到筛选后的人脸关键点。

对称规则是指对称点在对称坐标系中所需要满足的规则。可选地，不同的对称坐标系具有不同的对称规则。例如，在以x轴为对称轴的对称坐标系中，对称点需要满足的对称规则为x轴对应的坐标数值相等，其它轴对应的坐标数值互为相反数；在以y轴为对称轴的对称坐标系中，对称点需要满足的对称规则为y轴对应的坐标数值相等，其它轴对应的坐标数值互为相反数。筛选后的人脸关键点是指去除非对称的人脸关键点后得到的人脸关键点。

在本申请实施例中，计算机设备在获取上述对称关键点在对称坐标系中的坐标信息之后，判断该坐标信息是否满足对应的对称规则。若该坐标信息满足该对称规则，则确定保留上述对称关键点；否则，去除上述对称关键点，得到筛选后的人脸关键点。可选地，计算机设备可以通过筛选后的人脸关键点的三维坐标信息和未经过筛选的人脸关键点的三维坐标信息，确定上述第一拟合系数，进而生成拟合后的三维人脸坐标。

步骤204，从初步拟合的三维人脸模型的非关键点区域，采样获取三维非关键点。

非关键点区域是指上述初步拟合的三维人脸模型中人脸关键点未覆盖的区域。在本申请实施例中，计算机设备在生成上述初步拟合的三维人脸模型后，从该初步拟合的三维人脸模型的非关键区域，采样获取三维非关键点。示例性地，结合参考图6，从初步拟合的三维人脸模型50中的非关键区域61，采样获取三维非关键点62。

需要说明的一点是，在本申请实施例中，计算机设备对非关键区域进行采样获取三维非关键点时，不需要获取该非关键区域内的全部点，仅仅采样该非关键区域的部分点作为三维非关键点。例如，计算机设备可以采用稀疏采样的方式获取上述三维非关键点。可选地，计算机设备可以根据实际情况确定所采样的三维非关键点的数量。

步骤205，获取三维非关键点在人脸图像对中映射的位置信息和深度信息。

在本申请实施例中，计算机设备获取上述三维非关键点之后，通过投影获取该三维非关键点在上述人脸图像对中映射的位置信息和深度信息。可选地，计算机设备可以从人脸图像对中的人脸彩色图像中映射获取上述三维非关键点的位置信息，从人脸彩色图像对应的人脸深度图像中依据上述位置信息获取对应的深度信息。

步骤206，基于三维非键点在人脸图像对中映射的位置信息和深度信息，对初步拟合的三维人脸模型进行二次拟合，生成目标对象的三维人脸模型。

在本申请实施例中，计算机设备在获取上述位置信息和深度信息之后，基于三维非关键点的位置信息和深度信息，对初步拟合的三维人脸模型进行二次拟合，生成目标对象的三维人脸模型。

可选地，计算机设备可以基于上述三维非关键点在人脸图像对中映射的位置信息和深度信息，获取该三维非关键点的三维坐标信息。进一步地，根据该三维非关键点的三维坐标信息，确定第二拟合系数。其中，第二拟合系数用于拟合目标对象的三维人脸模型与目标对象的人脸图像对之间的相似性。之后，基于第二拟合系数，对初步拟合的三维人脸模型进行二次拟合，生成目标对象的三维人脸模型。

示例性地，结合参考图7，计算机设备从拟合后的三维人脸模型50中采样获取三维非关键点71。进一步地，将该三维非关键点71映射至正脸姿态的人脸彩色图像对11中，并获取该三维人脸非关键点的位置信息和深度信息，依据该位置信息和深度信息，获取三维非关键点的三维坐标信息60。之后，根据该三维非关键点的三维坐标信息60，确定第二拟合系数，并基于该第二拟合系数，对上述初步拟合的三维人脸模型50进行二次拟合，生成目标对象的三维人脸模型70。

综上所述，本申请实施例提供的技术方案中，通过人脸关键点的三维坐标信息，对基础三维人脸模型进行初步拟合，生成初步拟合的三维人脸模型，然后通过三维非关键点的三维坐标信息对初步拟合的三维人脸模型进行二次拟合，生成目标对象的三维人脸模型，即在初步拟合时仅仅采用人脸关键点进行拟合，在二次拟合时仅仅采用从非关键区域采样获取的三维非关键点进行拟合，无论是初次拟合还是二次拟合均采用稀疏点进行拟合，且人脸关键点与三维非关键点的集合依旧是对人脸图像对中某些点的采样，为稀疏点，并不包含目标对象的人脸图像中人脸上各个部位的点，解决了基于密集点构建三维人脸模型而造成的计算机设备运算量过大的问题，采用稀疏点构建三维人脸模型，能够减少计算机设备的运算量，提高三维人脸模型的构建效率。

另外，通过三位非关键点对初步拟合的三维人脸模型进行二次拟合，生成目标对象的三维人脸模型，在确定人脸关键点的基础上，保证目标对象的三维人脸模型的非关键区域与目标对象的非关键区域的相似性，有利于保证最终正常的目标对象的三维人脸模型与目标对象的真实人脸之间的相似性。从而，在重建生成与目标对象具备相似性的三维人脸模型的前提下，尽可能地减少计算机设备的运算量，提高三维人脸模型的构建效率。

另外，基于人脸关键点的对称性，对人脸关键点进行筛选，去除非对称的人脸关键点，保证筛选后的人脸关键点的对称性，确保筛选后的人脸关键点的可靠性，有利于提高目标对象的三维人脸模型的准确性。

另外，根据人脸关键点的深度信息对人脸关键点进行更新，保证每个人脸关键点具有深度信息，便于获取人脸关键点的三维坐标信息，有利于获取准确的目标对象的三维人脸模型；对不存在深度信息的轮廓关键点进行剔除，对不存在深度信息的非轮廓关键点进行搜索替换，针对不同的人脸关键点进行不同的处理，计算机设备可以有选择地根据人脸关键点对三维人脸模型的构建影响力，对不同的人脸关键点进行不同的更新处理，保证人脸关键点的准确性，进而保证目标对象的三维人脸模型的准确性。

下面，对第一拟合系数和第二拟合系数的获取方式进行介绍。

在示例性实施例中，上述步骤203包括以下几个步骤：

1、构建第一能量函数。

第一能量函数用于获取第一拟合系数。可选地，第一能量函数包括第一三维关键点参数项、第一二维关键点参数项和第一正则项。其中，第一三维关键点参数项用于控制初步拟合的三维人脸模型中筛选后的人脸关键点的位置满足对应的三维坐标信息；第一二维关键点参数项用于控制初步拟合的三维人脸模型中人脸关键点的位置满足对应的三维坐标信息；第一正则项用于控制初步拟合的三维人脸模型的形状趋于合理形状。

在本申请实施例中，计算机设备在获取上述第一拟合系数之前，构建第一能量函数。其中，该第一能量函数用于保证初步拟合后的三维人脸模型形状合理，且初步拟合的三维人脸模型的人脸关键点的位置满足对应的三维坐标信息。

可选地，计算机设备可以基于人脸关键点的对称性，去除非对称的人脸关键点，得到筛选后的人脸关键点，并根据该筛选后的人脸关键点构建上述第一三维关键点参数项。进一步地，计算机设备将上述人脸关键点通过旋转平移投影至人脸图像对中，获取人脸图像对中的二维人脸关键点，并根据该二维人脸关键点构建第一二维关键点参数项。之后，计算机设备构建第一正则项以控制初步拟合的三维人脸模型的形状趋于合理形状。

示例性地，第一能量函数E₁为：

E₁＝E₁₁+E₁₂+E₁₃；

第一三维关键点参数项E₁₁为：

E₁₁＝W(f(MU+B*paras₁)-keypoints3d)；

其中，W表示筛选后的人脸关键点的权值，该权值为对角矩阵，可选地，计算机设备可以基于筛选后的人脸关键点的重要程度进行设置，如五官部位等重要的人脸关键点设置较高的权值，轮廓部位等不总要的人脸关键点设置较低的权值；f表示选择筛选后的人脸关键点对应的位置的操作；MU表示三维形变模型库的均值；B表示三维形变模型库的基；paras₁表示第一拟合系数；keypoints3d表示筛选后的人脸关键点的三维坐标信息。

第一二维关键点参数项E₁₂为：

E₁₂＝W(KTf(MU+B*paras₁)-landmark2d)；

其中，W表示人脸关键点的权值，该权值为对角矩阵；K表示图像获取设备的拍摄参数，该拍摄参数用于将上述人脸关键点投影至人脸图像对中获取二维人脸关键点；T表示人脸关键点的旋转和平移，基于人脸关键点的三维坐标信息，将该人脸关键点旋转或平移至人脸图像对中；f表示选择人脸关键点对应的位置的操作；MU表示三维形变模型库的均值；B表示三维形变模型库的基；paras₁表示第一拟合系数；landmark2d表示二维人脸关键点的二维坐标信息。

第一正则项E₁₃为：

E₁₃＝W(paras₁/sigma)；

其中，paras₁表示第一拟合系数；sigma代表三维形变模型库的基上得到的方差。

需要说明的一点是，上述第一二维关键点参数项用于防止筛选后的人脸关键点数量过少导致初步拟合后的三维人脸模型不准确。可选地，上述第一二维关键点参数项可以是由未筛选过的人脸关键点构建的，也可以是由被筛选掉的人脸关键点构建的，本申请实施例对此不作限定。

2、基于人脸关键点的三维坐标信息和第一能量函数，确定满足第一条件的第一拟合系数。

第一条件用于选择第一拟合系数。可选地，计算机设备在构建上述第一能量函数之后，基于上述人脸关键点的三维坐标信息和第一能量函数，确定满足条件的第一拟合系数。

在一种可能的实施方式中，上述第一条件包括第一能量函数取最小值。可选地，计算机设备选择第一能量函数取最小值时对应的拟合系数作为第一拟合系数。

在另一种可能的实施方式中，上述第一条件包括第一能量函数收敛。可选地，计算机设备选择第一能量函数趋于收敛时对应的拟合系数作为第一拟合系数。

在示例性实施例中，上述步骤206包括以下几个步骤：

1、构建第二能量函数。

第二能量函数用于获取第二拟合系数。可选地，第二能量函数包括第二三维关键点参数项、第二二维关键点参数项、第二正则项和非关键点参数项。其中，第二三维关键点参数项用于控制目标对象的三维人脸模型中筛选后的人脸关键点的位置满足对应的三维坐标信息；第二二维关键点参数项用于控制目标对象的三维人脸模型中人脸关键点的位置满足对应的三维坐标信息；第二正则项用于控制目标对象的三维人脸模型的形状趋于合理形状；非关键点参数项用于控制目标对象的三维非关键点的位置满足对应的三维坐标信息。

在本申请实施例中，计算机设备在获取上述第二拟合系数之前，构建第二能量函数。其中，该第二能量函数用于保证目标对象的三维人脸模型形状合理，且目标对象的三维人脸模型的各个点的位置满足对应的三维坐标信息。

可选地，计算机设备可以基于筛选后的人脸关键点构建上述第二三维关键点参数项。进一步地，计算机设备将上述人脸关键点通过旋转平移投影至人脸图像对中，获取人脸图像对中的二维人脸关键点，并根据该二维人脸关键点构建第二二维关键点参数项。之后，计算机设备构建第二正则项以控制初步拟合的三维人脸模型的形状趋于合理形状。接着，计算机设备根据三维非关键点构建非关键点参数项。

示例性地，第二能量函数E₂为：

E₂＝E₂₁+E₂₂+E₂₃；

第二三维关键点参数项E₂₁为：

E₂₁＝W(f(MU+B*paras₂)-keypoints3d)；

其中，W表示筛选后的人脸关键点的权值，该权值为对角矩阵，可选地，计算机设备可以基于筛选后的人脸关键点的重要程度进行设置，如五官部位等重要的人脸关键点设置较高的权值，轮廓部位等不总要的人脸关键点设置较低的权值；f表示选择筛选后的人脸关键点对应的位置的操作；MU表示三维形变模型库的均值；B表示三维形变模型库的基；paras₂表示第二拟合系数；keypoints3d表示筛选后的人脸关键点的三维坐标信息。

第二二维关键点参数项E₂₂为：

E₂₂＝W(KTf(MU+B*paras₂)-landmark2d)；

其中，W表示人脸关键点的权值，该权值为对角矩阵；K表示图像获取设备的拍摄参数，该拍摄参数用于将上述人脸关键点投影至人脸图像对中获取二维人脸关键点；T表示人脸关键点的旋转和平移，基于人脸关键点的三维坐标信息，将该人脸关键点旋转或平移至人脸图像对中；f表示选择人脸关键点对应的位置的操作；MU表示三维形变模型库的均值；B表示三维形变模型库的基；paras₂表示第二拟合系数；landmark2d表示二维人脸关键点的二维坐标信息。

第二正则项E₂₃为：

E₂₃＝W(paras₂/sigma)；

其中，paras₂表示第一拟合系数；sigma代表三维形变模型库的基上得到的方差。

非关键点参数项E₂₄为：

E₂₄＝W(f(MU+B*paras₂)-project3d)；

其中，W表示筛选后的人脸关键点的权值，该权值为对角矩阵；f表示选择三维非关键点对应的位置的操作；MU表示三维形变模型库的均值；B表示三维形变模型库的基；paras₂表示第二拟合系数；project3d表示三维非关键点的三维坐标信息。

需要说明的一点是，上述第二二维关键点参数项用于防止筛选后的人脸关键点数量过少导致初步拟合后的三维人脸模型不准确。可选地，上述第二二维关键点参数项可以是由未筛选过的人脸关键点构建的，也可以是由被筛选掉的人脸关键点构建的，本申请实施例对此不作限定。

2、基于初步拟合的三维人脸模型和第二能量函数，确定满足第二条件的第二拟合系数。

第二条件用于选择第二拟合系数。可选地，计算机设备在构建上述第二能量函数之后，基于上述人脸关键点的三维坐标信息和第二能量函数，确定满足条件的第二拟合系数。

在一种可能的实施方式中，上述第二条件包括第二能量函数取最小值。可选地，计算机设备选择第二能量函数取最小值时对应的拟合系数作为第er拟合系数。

在另一种可能的实施方式中，上述第二条件包括第二能量函数收敛。可选地，计算机设备选择第二能量函数趋于收敛时对应的拟合系数作为第二拟合系数。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图8，其示出了本申请一个实施例提供的三维人脸模型的构建装置的框图。该装置具有实现上述三维人脸模型的构建方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是计算机设备，也可以设置计算机设备中。该装置800可以包括：图像获取模块810、信息获取模块820、初步拟合模块830、模型采样模块840、图像映射模块850和二次拟合模块860。

图像获取模块810，用于获取目标对象的n个人脸图像对，一个人脸图像对包括一种头部姿态下的人脸彩色图像和人脸深度图像，所述n为正整数；

信息获取模块820，用于基于所述目标对象的人脸关键点在所述人脸图像对中的位置信息和深度信息，获取所述人脸关键点的三维坐标信息；

初步拟合模块830，用于将所述人脸关键点的三维坐标信息与三维形变模型库中的基础三维人脸模型进行初步拟合，生成初步拟合的三维人脸模型；

模型采样模块840，用于从所述初步拟合的三维人脸模型的非关键点区域，采样获取三维非关键点，所述非关键点区域是指所述初步拟合的三维人脸模型中人脸关键点未覆盖的区域；

图像映射模块850，用于获取所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息；

二次拟合模块860，用于基于所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息，对所述初步拟合的三维人脸模型进行二次拟合，生成所述目标对象的三维人脸模型。

在示例性实施例中，如图9所示，所述初步拟合模块830，包括：第一确定单元831和初步拟合单元832。

第一确定单元831，用于根据所述人脸关键点的三维坐标信息，确定第一拟合系数，所述第一拟合系数用于拟合所述初步拟合的三维人脸模型与所述目标对象的人脸图像对之间的相似性。

初步拟合单元832，用于基于所述第一拟合系数，对所述三维形变模型库中的基础三维人脸模型进行初步拟合，生成所述初步拟合的三维人脸模型。

在示例性实施例中，所述第一确定单元832，用于构建第一能量函数，所述第一能量函数包括第一三维关键点参数项、第一二维关键点参数项和第一正则项；其中，所述第一三维关键点参数项用于控制所述初步拟合的三维人脸模型中筛选后的人脸关键点的位置满足对应的三维坐标信息，所述筛选后的人脸关键点是指去除非对称的人脸关键点后得到的人脸关键点，所述第一二维关键点参数项用于控制所述初步拟合的三维人脸模型中人脸关键点的位置满足对应的三维坐标信息，所述第一正则项用于控制所述初步拟合的三维人脸模型的形状趋于合理形状；基于所述人脸关键点的三维坐标信息和所述第一能量函数，确定满足第一条件的所述第一拟合系数，所述第一条件包括所述第一能量函数取最小值。

在示例性实施例中，如图9所示，所述初步拟合模块830，还包括：关键点放置单元833、坐标获取单元834和关键点筛选单元835。

关键点放置单元833，用于基于所述人脸关键点的对称性，根据所述人脸关键点的三维坐标信息将所述人脸关键点放置在对称坐标系中；其中，所述人脸关键点的对称轴与所述对称坐标系的对称轴重合；

坐标获取单元834，用于获取所述人脸关键点中的对称关键点在所述对称坐标系中的坐标信息；

关键点筛选单元835，用于响应于所述坐标信息不满足所述对称坐标系对应的对称规则，去除对应的所述对称关键点，得到筛选后的人脸关键点。

在示例性实施例中，如图9所示，所述二次拟合模块860，包括：信息获取单元861、第二确定单元862和二次拟合单元863。

信息获取单元861，用于基于所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息，获取所述三维非关键点的三维坐标信息。

第二确定单元862，用于根据所述三维非关键点的三维坐标信息，确定第二拟合系数，所述第二拟合系数用于拟合所述目标对象的三维人脸模型与所述目标对象的人脸图像对之间的相似性。

二次拟合单元863，用于基于所述第二拟合系数，对所述初步拟合的三维人脸模型进行二次拟合，生成所述目标对象的三维人脸模型。

在示例性实施例中，所述第二确定单元862，用于构建第二能量函数，所述第二能量函数包括第二三维关键点参数项、第二二维关键点参数项、第二正则项和非关键点参数项；其中，所述第二三维关键点参数项用于控制所述目标对象的三维人脸模型中筛选后的人脸关键点的位置满足对应的三维坐标信息，所述筛选后的人脸关键点是指去除非对称的人脸关键点后得到的人脸关键点，所述第二二维关键点参数项用于控制所述目标对象的三维人脸模型中人脸关键点的位置满足对应的三维坐标信息，所述第二正则项用于控制所述目标对象的三维人脸模型的形状趋于合理形状，所述非关键点参数项用于控制所述目标对象的三维非关键点的位置满足对应的三维坐标信息；基于所述初步拟合的三维人脸模型和所述第二能量函数，确定满足第二条件的所述第二拟合系数，所述第二条件包括所述第二能量函数取最小值。

在示例性实施例中，所述信息获取模块820，用于获取所述目标对象初始的人脸关键点在所述人脸图像对中的位置信息和深度信息；响应于所述初始的人脸关键点中的目标关键点为轮廓关键点，且所述目标关键点不存在所述深度信息，剔除所述目标关键点；响应于所述初始的人脸关键点中的目标关键点为非轮廓关键点，且所述目标关键点不存在所述深度信息，选择距离所述目标关键点最近且存在深度信息的点，替换所述目标关键点；基于更新后的人脸关键点在所述人脸图像对中的位置信息和深度信息，得到所述人脸关键点的三维坐标信息。

在示例性实施例中，所述图像获取模块810，用于获取所述目标对象的m个人脸图像对，所述m为大于所述n的正整数；提取所述目标对象在人脸彩色图像中的人脸关键点；根据所述目标对象的人脸关键点在所述人脸彩色图像中的位置信息，确定所述人脸彩色图像中所述目标对象的头部姿态；从所述m个人脸图像对中选择头部姿态符合要求的所述n个人脸图像对。

在示例性实施例中，所述n个人脸图像对包括正脸姿态的人脸图像对、左边侧脸姿态的人脸图像对和右边侧脸姿态的人脸图像对；其中，所述目标对象的非轮廓关键点的三维坐标信息，从所述正脸姿态的人脸图像对中获取；所述目标对象左边侧脸的轮廓关键点的三维坐标信息，从所述左边侧脸姿态的人脸图像对中获取；所述目标对象的右边侧脸的轮廓关键点的三维坐标信息，从所述右边侧脸姿态的人脸图像对中获取。

综上所述，本申请实施例提供的技术方案中，通过人脸关键点的三维坐标信息，对基础三维人脸模型进行初步拟合，生成初步拟合的三维人脸模型，然后通过三维非关键点的三维坐标信息对初步拟合的三维人脸模型进行二次拟合，生成目标对象的三维人脸模型，即在初步拟合时仅仅采用人脸关键点进行拟合，在二次拟合时仅仅采用从非关键区域采样获取的三维非关键点进行拟合，无论是初次拟合还是二次拟合均采用稀疏点进行拟合，且人脸关键点与三维非关键点的集合依旧是对人脸图像对中某些点的采样，为稀疏点，并不包含目标对象的人脸图像中人脸上各个部位的点，解决了基于密集点构建三维人脸模型而造成的计算机设备运算量过大的问题，采用稀疏点构建三维人脸模型，能够减少计算机设备的运算量，提高三维人脸模型的构建效率。

另外，通过三位非关键点对初步拟合的三维人脸模型进行二次拟合，生成目标对象的三维人脸模型，在确定人脸关键点的基础上，保证目标对象的三维人脸模型的非关键区域与目标对象的非关键区域的相似性，有利于保证最终正常的目标对象的三维人脸模型与目标对象的真实人脸之间的相似性。从而，在重建生成与目标对象具备相似性的三维人脸模型的前提下，尽可能地减少计算机设备的运算量，提高三维人脸模型的构建效率。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参考图10，其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可用于实现上述三维人脸模型的构建方法的功能。具体来讲：

计算机设备1000包括中央处理单元(Central Processing Unit，CPU)1001、包括随机存取存储器(Random Access Memory，RAM)1002和只读存储器(Read Only Memory，ROM)1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。计算机设备1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出(Input/Ouput，I/O)系统1006，和用于存储操作系统1013、应用程序1014和其他程序模块1012的大容量存储设备1007。

基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。大容量存储设备1007及其相关联的计算机可读介质为计算机设备1000提供非易失性存储。也就是说，大容量存储设备1007可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory，电可擦可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。

根据本申请的各种实施例，计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1000可以通过连接在系统总线1005上的网络接口单元1011连接到网络1012，或者说，也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括计算机程序，该计算机程序存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述三维人脸模型的构建。

在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时以实现上述三维人脸模型的构建方法。

可选地，该计算机可读存储介质可以包括：ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取记忆体)、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。

在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述三维人脸模型的构建方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种三维人脸模型的构建方法，其特征在于，所述方法包括：

获取目标对象的n个人脸图像对，一个人脸图像对包括一种头部姿态下的人脸彩色图像和人脸深度图像，所述n为正整数；

基于所述目标对象的人脸关键点在所述人脸图像对中的位置信息和深度信息，获取所述人脸关键点的三维坐标信息；

将所述人脸关键点的三维坐标信息与三维形变模型库中的基础三维人脸模型进行初步拟合，生成初步拟合的三维人脸模型；

从所述初步拟合的三维人脸模型的非关键点区域，采样获取三维非关键点，所述非关键点区域是指所述初步拟合的三维人脸模型中人脸关键点未覆盖的区域；

获取所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息；

基于所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息，对所述初步拟合的三维人脸模型进行二次拟合，生成所述目标对象的三维人脸模型。

2.根据权利要求1所述的方法，其特征在于，所述将所述人脸关键点的三维坐标信息与三维形变模型库中的基础三维人脸模型进行初步拟合，生成初步拟合的三维人脸模型，包括：

根据所述人脸关键点的三维坐标信息，确定第一拟合系数，所述第一拟合系数用于拟合所述初步拟合的三维人脸模型与所述目标对象的人脸图像对之间的相似性；

基于所述第一拟合系数，对所述三维形变模型库中的基础三维人脸模型进行初步拟合，生成所述初步拟合的三维人脸模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸关键点的三维坐标信息，确定第一拟合系数，包括：

构建第一能量函数，所述第一能量函数包括第一三维关键点参数项、第一二维关键点参数项和第一正则项；其中，所述第一三维关键点参数项用于控制所述初步拟合的三维人脸模型中筛选后的人脸关键点的位置满足对应的三维坐标信息，所述筛选后的人脸关键点是指去除非对称的人脸关键点后得到的人脸关键点，所述第一二维关键点参数项用于控制所述初步拟合的三维人脸模型中人脸关键点的位置满足对应的三维坐标信息，所述第一正则项用于控制所述初步拟合的三维人脸模型的形状趋于合理形状；

基于所述人脸关键点的三维坐标信息和所述第一能量函数，确定满足第一条件的所述第一拟合系数，所述第一条件包括所述第一能量函数取最小值。

4.根据权利要求3所述的方法，其特征在于，所述构建第一能量函数之前，还包括：

基于所述人脸关键点的对称性，根据所述人脸关键点的三维坐标信息将所述人脸关键点放置在对称坐标系中；其中，所述人脸关键点的对称轴与所述对称坐标系的对称轴重合；

获取所述人脸关键点中的对称关键点在所述对称坐标系中的坐标信息；

响应于所述坐标信息不满足所述对称坐标系对应的对称规则，去除对应的所述对称关键点，得到筛选后的人脸关键点。

5.根据权利要求1所述的方法，其特征在于，所述基于所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息，对所述初步拟合的三维人脸模型进行二次拟合，生成所述目标对象的三维人脸模型，包括：

基于所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息，获取所述三维非关键点的三维坐标信息；

根据所述三维非关键点的三维坐标信息，确定第二拟合系数，所述第二拟合系数用于拟合所述目标对象的三维人脸模型与所述目标对象的人脸图像对之间的相似性；

基于所述第二拟合系数，对所述初步拟合的三维人脸模型进行二次拟合，生成所述目标对象的三维人脸模型。

6.根据权利要求5所述的方法，其特征在于，所述根据所述三维非关键点的三维坐标信息，确定第二拟合系数，包括：

构建第二能量函数，所述第二能量函数包括第二三维关键点参数项、第二二维关键点参数项、第二正则项和非关键点参数项；其中，所述第二三维关键点参数项用于控制所述目标对象的三维人脸模型中筛选后的人脸关键点的位置满足对应的三维坐标信息，所述筛选后的人脸关键点是指去除非对称的人脸关键点后得到的人脸关键点，所述第二二维关键点参数项用于控制所述目标对象的三维人脸模型中人脸关键点的位置满足对应的三维坐标信息，所述第二正则项用于控制所述目标对象的三维人脸模型的形状趋于合理形状，所述非关键点参数项用于控制所述目标对象的三维非关键点的位置满足对应的三维坐标信息；

基于所述初步拟合的三维人脸模型和所述第二能量函数，确定满足第二条件的所述第二拟合系数，所述第二条件包括所述第二能量函数取最小值。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于所述目标对象的人脸关键点在所述人脸图像对中的位置信息和深度信息，获取所述人脸关键点的三维坐标信息，包括：

获取所述目标对象初始的人脸关键点在所述人脸图像对中的位置信息和深度信息；

响应于所述初始的人脸关键点中的目标关键点为轮廓关键点，且所述目标关键点不存在所述深度信息，剔除所述目标关键点；

响应于所述初始的人脸关键点中的目标关键点为非轮廓关键点，且所述目标关键点不存在所述深度信息，选择距离所述目标关键点最近且存在深度信息的点，替换所述目标关键点；

基于更新后的人脸关键点在所述人脸图像对中的位置信息和深度信息，得到所述人脸关键点的三维坐标信息。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述获取目标对象的n个人脸图像对，包括：

获取所述目标对象的m个人脸图像对，所述m为大于所述n的正整数；

提取所述目标对象在人脸彩色图像中的人脸关键点；

根据所述目标对象的人脸关键点在所述人脸彩色图像中的位置信息，确定所述人脸彩色图像中所述目标对象的头部姿态；

从所述m个人脸图像对中选择头部姿态符合要求的所述n个人脸图像对。

9.根据权利要求1至6任一项所述的方法，其特征在于，所述n个人脸图像对包括正脸姿态的人脸图像对、左边侧脸姿态的人脸图像对和右边侧脸姿态的人脸图像对；

其中，所述目标对象的非轮廓关键点的三维坐标信息，从所述正脸姿态的人脸图像对中获取；所述目标对象左边侧脸的轮廓关键点的三维坐标信息，从所述左边侧脸姿态的人脸图像对中获取；所述目标对象的右边侧脸的轮廓关键点的三维坐标信息，从所述右边侧脸姿态的人脸图像对中获取。

10.一种三维人脸模型的构建装置，其特征在于，所述装置包括：

图像获取模块，用于获取目标对象的n个人脸图像对，一个人脸图像对包括一种头部姿态下的人脸彩色图像和人脸深度图像，所述n为正整数；

信息获取模块，用于基于所述目标对象的人脸关键点在所述人脸图像对中的位置信息和深度信息，获取所述人脸关键点的三维坐标信息；

初步拟合模块，用于将所述人脸关键点的三维坐标信息与三维形变模型库中的基础三维人脸模型进行初步拟合，生成初步拟合的三维人脸模型；

模型采样模块，用于从所述初步拟合的三维人脸模型的非关键点区域，采样获取三维非关键点，所述非关键点区域是指所述初步拟合的三维人脸模型中人脸关键点未覆盖的区域；

图像映射模块，用于获取所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息；

二次拟合模块，用于基于所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息，对所述初步拟合的三维人脸模型进行二次拟合，生成所述目标对象的三维人脸模型。

11.根据权利要求10所述的装置，其特征在于，所述初步拟合模块，包括：

第一确定单元，用于根据所述人脸关键点的三维坐标信息，确定第一拟合系数，所述第一拟合系数用于拟合所述初步拟合的三维人脸模型与所述目标对象的人脸图像对之间的相似性；

初步拟合单元，用于基于所述第一拟合系数，对所述三维形变模型库中的基础三维人脸模型进行初步拟合，生成所述初步拟合的三维人脸模型。

12.根据权利要求10所述的装置，其特征在于，所述二次拟合模块，包括：

信息获取单元，用于基于所述三维非关键点在所述人脸图像对中映射的位置信息和深度信息，获取所述三维非关键点的三维坐标信息；

第二确定单元，用于根据所述三维非关键点的三维坐标信息，确定第二拟合系数，所述第二拟合系数用于拟合所述目标对象的三维人脸模型与所述目标对象的人脸图像对之间的相似性；

二次拟合单元，用于基于所述第二拟合系数，对所述初步拟合的三维人脸模型进行二次拟合，生成所述目标对象的三维人脸模型。

13.根据权利要求10至12任一项所述的装置，其特征在于，所述信息获取模块，用于：

获取所述目标对象初始的人脸关键点在所述人脸图像对中的位置信息和深度信息；

响应于所述初始的人脸关键点中的目标关键点为轮廓关键点，且所述目标关键点不存在所述深度信息，剔除所述目标关键点；

响应于所述初始的人脸关键点中的目标关键点为非轮廓关键点，且所述目标关键点不存在所述深度信息，选择距离所述目标关键点最近且存在深度信息的点，替换所述目标关键点；

基于更新后的人脸关键点在所述人脸图像对中的位置信息和深度信息，得到所述人脸关键点的三维坐标信息。

14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一项所述的三维人脸模型的构建方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一项所述的三维人脸模型的构建方法。

Images