CN111563959B - 人脸三维可形变模型的更新方法、装置、设备及介质 - Google Patents

Abstract

本申请提供一种人脸三维可形变模型的更新方法、装置、设备及介质，涉及人脸三维重建技术领域。该方法通过人脸三维可形变模型生成人脸特征点，通过特征点渲染，得到三维人脸图像，通过对得到的三维人脸图像进行投影，得到三维人脸图像对应的二维图像，并进一步通过获取与二维图像中人脸关键点最近的点，来确定二维图像中人脸关键点对应的三维顶点，从而得到二维图像中人脸关键点与三维人脸图像中三维顶点的对应关系。并根据该对应关系，对人脸三维可形变模型的参数更新，使得人脸三维可形变模型中二维人脸关键点与三维顶点的对应关系准确度更高，从而使得采用更新后的人脸三维可形变模型进行人脸重构，人脸重构的精确度更高。

Description

人脸三维可形变模型的更新方法、装置、设备及介质

技术领域

本发明涉及人脸三维重建技术领域，具体而言，涉及一种人脸三维可形变模型的更新方法、装置、设备及介质。

背景技术

随着计算机视觉及图像处理技术的不断发展，人脸三维重建因其具备的人脸重建的高效性和准确性，被广泛的应用在安防监控、医学等多个行业中。在人脸3D(三维)重建算法中，3DMM(人脸三维可形变模型)是经常使用的一种模型方法。该方法有一个关于人脸模型的“先验知识”，即可形变模型。因此不管人脸处于什么角度，都能得到较完整的人脸。利用该方法进行人脸三维重建时，需要找到人脸3D(三维)顶点和2D(二维)关键点之间的对应关系，作为生成3D模型的约束。

通常，现有技术中，是通过肉眼观察2D关键点的位置，并根据经验确定出每个2D关键点对应的一个或多个3D顶点，从而根据确定出的2D关键点与3D顶点之间的映射关系，进行人脸重建。

但是，由于现有技术中，确定出的2D关键点与3D顶点之间的映射关系的准确性较差，而人脸三维重建的精度严重依赖于此映射关系，从而导致人脸三维重建的精确度较低。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种人脸三维可形变模型的更新方法、装置、设备及介质，以便于解决现有技术中存在的人脸三维可形变模型中，2D关键点与3D顶点之间的映射关系的准确性较差，从而导致人脸三维重建精确度较低的问题。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种人脸三维可形变模型的更新方法，包括：

获取所述人脸三维可形变模型输出的三维人脸特征点，并对所述三维人脸特征点进行渲染，得到三维人脸图像；

对所述三维人脸图像进行人脸投影，得到所述三维人脸图像对应的二维图像；

从所述二维图像中，确定与人脸关键点最近的点；

确定所述最近的点所对应的所述三维人脸图像中的三维顶点，为所述人脸关键点对应的三维顶点；

根据所述人脸关键点，和所述人脸关键点对应的三维顶点，对所述人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新。

可选地，所述从所述二维图像中，确定与人脸关键点最近的点，包括：

从所述二维图像中确定所述人脸关键点的位置；

根据所述人脸关键点的位置，从所述二维图像中，确定与所述人脸关键点最近的点。

可选地，所述根据所述人脸关键点的位置，从所述二维图像中，确定与所述人脸关键点最近的点，包括：

从所述三维人脸图像中确定法线与视线垂直的多个候选顶点；

确定所述二维图像中所述多个候选顶点的对应位置；

根据所述人脸关键点的位置，和所述多个候选顶点的对应位置，从所述二维图像中确定与所述人脸关键点最近的点。

可选地，若所述三维人脸特征点包括：多张人脸的三维人脸特征点；所述人脸关键点包括：多个关键点，所述人脸关键点对应的三维顶点包括：多个所述关键点对应的三维顶点；

所述根据所述人脸关键点，和所述人脸关键点对应的三维顶点，对所述人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新，包括：

根据多个所述关键点，和多个所述关键点对应的三维顶点，确定每个所述关键点在多张人脸上对应的三维顶点；

从所述多张人脸上对应的三维顶点中，确定出现频次最高的三维顶点，作为所述关键点对应的目标三维顶点；

根据多个所述关键点，和多个所述关键点对应的目标三维顶点，对所述人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新。

可选地，所述三维人脸特征点包括下述至少一种特征点：人脸形状的特征点、人脸表情的特征点、人脸姿态的特征点、人脸纹理的特征点。

第二方面，本申请实施例还提供了一种人脸三维可形变模型的更新装置，包括：获取模块、投影模块、第一确定模块、第二确定模块及更新模块；

所述获取模块，用于获取所述人脸三维可形变模型输出的三维人脸特征点，并对所述三维人脸特征点进行渲染，得到三维人脸图像；

所述投影模块，用于对所述三维人脸图像进行人脸投影，得到所述三维人脸图像对应的二维图像；

所述第一确定模块，用于从所述二维图像中，确定与人脸关键点最近的点；

所述第二确定模块，用于确定所述最近的点所对应的所述三维人脸图像中的三维顶点，为所述人脸关键点对应的三维顶点；

所述更新模块，用于根据所述人脸关键点，和所述人脸关键点对应的三维顶点，对所述人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新。

可选地，所述第一确定模块，具体用于从所述二维图像中确定所述人脸关键点的位置；根据所述人脸关键点的位置，从所述二维图像中，确定与所述人脸关键点最近的点。

可选地，所述第一确定模块，具体用于从所述三维人脸图像中确定法线与视线垂直的多个候选顶点；确定所述二维图像中所述多个候选顶点的对应位置；根据所述人脸关键点的位置，和所述多个候选顶点的对应位置，从所述二维图像中确定与所述人脸关键点最近的点。

可选地，若所述三维人脸特征点包括：多张人脸的三维人脸特征点；所述人脸关键点包括：多个关键点，所述人脸关键点对应的三维顶点包括：多个所述关键点对应的三维顶点；

所述更新模块，具体用于根据多个所述关键点，和多个所述关键点对应的三维顶点，确定每个所述关键点在多张人脸上对应的三维顶点；从所述多张人脸上对应的三维顶点中，确定出现频次最高的三维顶点，作为所述关键点对应的目标三维顶点；根据多个所述关键点，和多个所述关键点对应的目标三维顶点，对所述人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新。

第三方面，本申请实施例还提供了一种处理设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当处理设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行时执行如上述第一方面所述的人脸三维可形变模型的参数更新方法的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面所述的人脸三维可形变模型的参数更新方法的步骤。

本申请的有益效果是：本申请提供的人脸三维可形变模型的更新方法、装置、设备及介质，通过人脸三维可形变模型生成人脸特征点，通过特征点渲染，得到三维人脸图像，通过对得到的三维人脸图像进行投影，得到三维人脸图像对应的二维图像，并进一步通过获取与二维图像中人脸关键点最近的点，来确定二维图像中人脸关键点对应的三维顶点，从而得到二维图像中人脸关键点与三维人脸图像中三维顶点的对应关系。并根据该对应关系，对人脸三维可形变模型的参数更新，使得人脸三维可形变模型中二维人脸关键点与三维顶点的对应关系准确度更高，从而使得采用更新后的人脸三维可形变模型进行人脸重构，人脸重构的精确度更高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种人脸三维可形变模型的更新方法的流程示意图；

图2为本申请实施例提供的另一种人脸三维可形变模型的更新方法的流程示意图；

图3为本申请实施例提供的又一种人脸三维可形变模型的更新方法的流程示意图；

图4为本申请实施例提供的另一种人脸三维可形变模型的更新方法的流程示意图；

图5为本申请实施例提供的一种人脸三维可形变模型的更新装置的结构示意图；

图6为本申请实施例提供的一种处理设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

需要说明的是，在人脸三维重建算法中，3DMM(人脸三维可形变模型)是经常使用的一种模型方法。3DMM方法在1999年首次提出，往后的改进通常是基于他们的工作。这种方法有一个关于人脸模型的“先验知识”，即可形变模型。因此不管人脸处于什么角度，都能得到较完整的人脸。

但此方法需要找到人脸3D顶点和2D关键点之间的对应关系，作为生成3D模型的约束。现有技术中，我们需要通过肉眼观察2D关键点的位置，凭经验选择出对应的一个或多个3D顶点。一方面，凭经验选择2D关键点对应的一个或多个3D顶点，相当耗费时间和精力，另一方面，三维人脸重建精度严重依赖此对应关系，会导致人脸重建精度较低。

而本申请提供的人脸三维可形变模型的更新方法，通过具体的计算过程，确定出每个2D关键点对应的目标3D顶点，从而根据确定出的每个2D关键点与目标3D顶点的对应关系，对人脸三维可形变模型的参数进行优化，以使得在采用优化后的人脸三维可形变模型进行三维人脸重建时，可以通过输入的2D图片，自动化映射出与该2D图片中关键点对应的3D顶点，从而对人脸进行三维重建，进一步提高了人脸重建的精度。

图1为本申请实施例提供的一种人脸三维可形变模型的更新方法的流程示意图；如图1所示，该方法可以包括：

S101、获取人脸三维可形变模型输出的三维人脸特征点，并对三维人脸特征点进行渲染，得到三维人脸图像。

可选地，三维人脸特征点包括下述至少一种特征点：人脸形状的特征点、人脸表情的特征点、人脸姿态的特征点、人脸纹理的特征点。

需要说明的是，三维可形变模型主要是用三角网格或点云来表示的，在有了形变模型之后，对于任意一张给定的二维人脸照片，我们需要将模型与人脸照片进行配准，然后对模型的参数进行调整，使其与照片中的人脸差异值达到最小。简单而言，不断依据模型与输入的人脸照片进行比对，不断进行迭代，使两者之间的比对误差达到最小，这个时候，我们可以近似认为该模型即为对应输入的二维人脸照片的三维模型。

可选地，对于输入的任意二维人脸图像，通过人脸三维可形变模型均可以输出该二维人脸图像对应的三维人脸特征点，其中，对于任意一个二维人脸图像，通过人脸三维可形变模型，可以生成该二维人脸图像对应的具有不同人脸角度、表情等的三维人脸特征点。也即，通过人脸三维可形变模型，可以将任意的二维人脸图像，重建得到该二维人脸图像对应的多张人脸。其中包括不同姿态、表情下的该人脸图像。

需要说明的是，上述通过人脸三维可形变模型输出的是二维人脸图像对应的三维人脸特征点，进一步地，可以通过渲染技术，对上述得到的特征点进行渲染，以得到三维人脸图像。在一些实施例中，可以采用3D引擎渲染，得到三维人脸图像。对于渲染方式，也可以不局限于上述的3D引擎渲染，本申请不做具体限制。

S102、对三维人脸图像进行人脸投影，得到三维人脸图像对应的二维图像。

S103、从二维图像中，确定与人脸关键点最近的点。

S104、确定最近的点所对应的三维人脸图像中的三维顶点，为人脸关键点对应的三维顶点。

可选地，在采用人脸三维可形变模型对二维人脸图像对应的人脸进行重构时，一定程度上是找到二维人脸图像中的人脸关键点在三维图像中的顶点，在确定了人脸关键点对应的三维顶点后，根据每个人脸关键点与三维顶点之间的对应关系，可以进一步地对人脸进行重建，得到该二维人脸图像对应的三维人脸图像。

可选地，对于上述渲染之后得到的三维人脸图像，可以将其向二维平面进行投影，得到该三维人脸图像对应的二维图像，并确定二维图像中的多个人脸关键点的位置信息，也即，确定二维人脸图像中多个人脸关键点的坐标信息。其中，人脸关键点也即可以用来确定人脸面部的关键区域位置的点，人脸关键点可以包括但不限于：嘴角、鼻尖、眉尾等多个点。

在确定出人脸关键点后，对于每一个人脸关键点，确定与该关键点距离最近的点，其中，对于三维人脸图像投影得到的二维图像中，会包含多个点，其中，一部分作为人脸关键点，而其余的点可以认为是三维人脸图像中的三维顶点在二维图像中所对应的点。这样，通过在二维图像中确定出的距离人脸关键点最近的点后，可以进一步地根据确定出的该最近的点与三维人脸图像中三维顶点的对应关系，从而确定出二维图像中人脸关键点所对应的三维人脸图像中的三维顶点。

S105、根据人脸关键点，和人脸关键点对应的三维顶点，对人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新。

可选地，在获取到人脸关键点对应的三维顶点后，可以进一步生成人脸关键点与三维顶点的映射关系表，并可以根据该映射关系表，对人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新。其中，包括任一二维图像中的多个人脸关键点与三维顶点的映射关系。例如：关键点1对应a顶点，关键点2对应b顶点，关键点3对应c顶点，关键点4对应d顶点等。这样，当输入二维图像后，在获取到二维图像中的人脸关键点后，根据人脸关键点与三维顶点的映射关系表，可以自动映射出任一人脸关键点对应的三维顶点，从而对人脸进行重建。

综上，本实施例提供的人脸三维可形变模型的更新方法，通过人脸三维可形变模型生成人脸特征点，通过特征点渲染，得到三维人脸图像，通过对得到的三维人脸图像进行投影，得到三维人脸图像对应的二维图像，并进一步通过获取与二维图像中人脸关键点最近的点，来确定二维图像中人脸关键点对应的三维顶点，从而得到二维图像中人脸关键点与三维人脸图像中三维顶点的对应关系。并根据该对应关系，对人脸三维可形变模型的参数更新，使得人脸三维可形变模型中二维人脸关键点与三维顶点的对应关系准确度更高，从而使得采用更新后的人脸三维可形变模型进行人脸重构，人脸重构的精确度更高。

图2为本申请实施例提供的另一种人脸三维可形变模型的更新方法的流程示意图，可选地，上述步骤S103中，从二维图像中，确定与人脸关键点最近的点，可以包括：

S201、从二维图像中确定人脸关键点的位置。

S202、根据人脸关键点的位置，从二维图像中，确定与人脸关键点最近的点。

可选地，本实施例中，可以采用人脸对齐算法，计算得到二维图像中人脸关键点在二维图像中的位置信息。需要说明的是，人脸对齐算法即根据输入的人脸图像，自动定位出人脸关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等。从而进一步地可以通过建立坐标系，来确定定位出的二维图像中人脸关键点以及其余非人脸关键点的位置坐标，并根据各点的坐标值，计算获取与每个人脸关键点距离最近的点。另外，也可以通过直接测量的方法，测量获取与各人脸关键点距离最近的点。对于人脸关键点最近的点的获取方法，本实施例不做具体限制。

图3为本申请实施例提供的又一种人脸三维可形变模型的更新方法的流程示意图，可选地，上述步骤S202中，根据人脸关键点的位置，从二维图像中，确定与人脸关键点最近的点，可以包括：

S301、从三维人脸图像中确定法线与视线垂直的多个候选顶点。

需要说明的是，二维图像中人脸关键点总是出现在法线与视线垂直的位置，且均匀分布。可选地，可以先获取三维人脸图像中，每个三维顶点的法线，需要说明的是，顶点的法线，也即指顶点所在的面的法线。在确定出三维顶点的法线后，可以选择法线与视线垂直的顶点为候选顶点，其中，候选顶点可以包括多个。

S302、确定二维图像中多个候选顶点的对应位置。

S303、根据人脸关键点的位置，和多个候选顶点的对应位置，从二维图像中确定与人脸关键点最近的点。

可选地，上述确定出的多个候选顶点，其在二维图像中均有对应的位置，也即每一个候选顶点均与二维图像中的某个点对应。这样，可以在二维图像中确定出多个候选顶点的对应位置信息。

需要说明的是，在确定人脸关键点对应的三维顶点时，因二维人脸关键点与三维顶点并不在一个图像空间中，使得根据距离确定人脸关键点对应的三维顶点受到限制，而实际情况中，每一个三维顶点在二维图像中均有对应的位置，故，可以先获取每个候选顶点在二维图像中的对应位置，这样，即可以在二维图像中，确定人脸关键点对应的距离最近的三维顶点的对应位置，从而进一步地根据确定的距离最近的三维顶点的对应位置，对应匹配到三维人脸图像中相应的三维顶点，从而确定出与二维人脸关键点对应的三维顶点。

图4为本申请实施例提供的另一种人脸三维可形变模型的更新方法的流程示意图，可选地，若三维人脸特征点包括：多张人脸的三维人脸特征点；人脸关键点包括：多个关键点，人脸关键点对应的三维顶点包括：多个关键点对应的三维顶点。上述步骤S105中，根据人脸关键点，和人脸关键点对应的三维顶点，对人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新，可以包括：

S401、根据多个关键点，和多个关键点对应的三维顶点，确定每个关键点在多张人脸上对应的三维顶点。

如上述实施例中所说明的，对于任一二维人脸图像，通过人脸三维可形变模型，可以得到多张人脸的三维人脸特征点，其中包括不同表情、不同姿态下的同一个人脸对应的多张人脸的三维人脸特征点。可选地，对于任一二维人脸图像中人脸关键点，确定其在多张三维人脸中对应的三维顶点，并对得到的多个三维顶点进行综合考虑，从而确定出每一个二维人脸关键点对应的唯一的目标三维顶点，可以使得确定出的目标三维顶点准确性更高，更具参考价值，也即得到的二维人脸关键点与三维顶点的映射关系更加准确，从而提高了三维人脸重建的精度。

可选地，在前面的实施例中，已经说明了对于单个人脸关键点，如何确定其在一张三维人脸图像中对应的三维顶点。同样的，对于该单个人脸关键点，确定其在其他多张三维人脸图像中对应的三维顶点的方法与之相同，此处不再一一赘述。另外，对于任一二维图像中，人脸关键点可以包括多个，同理，可以采用上述方法确定出每个人脸关键点在多张三维人脸图像中对应的三维顶点。

S402、从多张人脸上对应的三维顶点中，确定出现频次最高的三维顶点，作为关键点对应的目标三维顶点。

可选地，假设对于人脸关键点1，确定出其在第一张三维人脸图像中对应的三维顶点为顶点a，其在第二张三维人脸图像中对应的三维顶点为顶点b，其在第三张三维人脸图像中对应的三维顶点为顶点c，其在第四张三维人脸图像中对应的三维顶点为顶点a，其在第五张三维人脸图像中对应的三维顶点为顶点a。那么，可以确定顶点a为该人脸关键点1对应的目标三维顶点。同样的，按照上述的方法，可以进一步地确定出每个人脸关键点对应的目标三维顶点。可选性，本实施例中，确定出现频次最高的三维顶点，作为关键点对应的目标三维顶点只是其中的一种可行的实现方式。可选地，也可以采用构造平行线的方式来确定对应关系。在实际应用中，并不局限于该方法来确定人脸关键点对应的目标三维顶点。

S403、根据多个关键点，和多个关键点对应的目标三维顶点，对人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新。

可选地，在确定出二维图像中每个关键点对应的目标三维顶点后，也即确定了二维人脸关键点与三维顶点的对应关系，从而可以利用该对应关系对人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新，以使得人脸三维可形变模型得到优化，人脸关键点和三维顶点的对应关系更加准确，从而使得利用优化后的人脸三维可形变模型进行人脸重构，重构精度更高。

综上所述，本申请实施例提供一种人脸三维可形变模型的更新方法，通过人脸三维可形变模型生成人脸特征点，通过特征点渲染，得到三维人脸图像，通过对得到的三维人脸图像进行投影，得到三维人脸图像对应的二维图像，并进一步通过获取与二维图像中人脸关键点最近的点，来确定二维图像中人脸关键点对应的三维顶点，从而得到二维图像中人脸关键点与三维人脸图像中三维顶点的对应关系。并根据该对应关系，对人脸三维可形变模型的参数更新，使得人脸三维可形变模型中二维人脸关键点与三维顶点的对应关系准确度更高，从而使得采用更新后的人脸三维可形变模型进行人脸重构，人脸重构的精确度更高。

图5为本申请实施例提供的一种人脸三维可形变模型的更新装置的结构示意图。如图5所示，该装置包括：获取模块501、投影模块502、第一确定模块503、第二确定模块504及更新模块505；

获取模块501，用于获取人脸三维可形变模型输出的三维人脸特征点，并对三维人脸特征点进行渲染，得到三维人脸图像；

投影模块502，用于对三维人脸图像进行人脸投影，得到三维人脸图像对应的二维图像；

第一确定模块503，用于从二维图像中，确定与人脸关键点最近的点；

第二确定模块504，用于确定最近的点所对应的三维人脸图像中的三维顶点，为人脸关键点对应的三维顶点；

更新模块505，用于根据人脸关键点，和人脸关键点对应的三维顶点，对人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新。

可选地，第一确定模块503，具体用于从二维图像中确定人脸关键点的位置；根据人脸关键点的位置，从二维图像中，确定与人脸关键点最近的点。

可选地，第一确定模块503，具体用于从三维人脸图像中确定法线与视线垂直的多个候选顶点；确定二维图像中多个候选顶点的对应位置；根据人脸关键点的位置，和多个候选顶点的对应位置，从二维图像中确定与人脸关键点最近的点。

可选地，若三维人脸特征点包括：多张人脸的三维人脸特征点；人脸关键点包括：多个关键点，人脸关键点对应的三维顶点包括：多个关键点对应的三维顶点；

更新模块505，具体用于根据多个关键点，和多个关键点对应的三维顶点，确定每个关键点在多张人脸上对应的三维顶点；从多张人脸上对应的三维顶点中，确定出现频次最高的三维顶点，作为关键点对应的目标三维顶点；根据多个关键点，和多个关键点对应的目标三维顶点，对人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

图6为本申请实施例提供的一种处理设备的结构示意图，该设备可以集成于终端设备或者终端设备的芯片，该终端可以是具备数据处理功能的计算设备。

该设备包括：处理器601、存储器602。处理器601和存储器602通过总线连接。

存储器602用于存储程序，处理器601调用存储器602存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (9)

1.一种人脸三维可形变模型的更新方法，其特征在于，包括：

获取所述人脸三维可形变模型输出的三维人脸特征点，并对所述三维人脸特征点进行渲染，得到三维人脸图像；

对所述三维人脸图像进行人脸投影，得到所述三维人脸图像对应的二维图像；

从所述二维图像中，确定与人脸关键点最近的点；

确定所述最近的点所对应的所述三维人脸图像中的三维顶点，为所述人脸关键点对应的三维顶点；

根据所述人脸关键点，和所述人脸关键点对应的三维顶点，对所述人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新；

若所述三维人脸特征点包括：多张人脸的三维人脸特征点；所述人脸关键点包括：多个关键点，所述人脸关键点对应的三维顶点包括：多个所述关键点对应的三维顶点；

所述根据所述人脸关键点，和所述人脸关键点对应的三维顶点，对所述人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新，包括：

根据多个所述关键点，和多个所述关键点对应的三维顶点，确定每个所述关键点在多张人脸上对应的三维顶点；

从所述多张人脸上对应的三维顶点中，确定出现频次最高的三维顶点，作为所述关键点对应的目标三维顶点；

根据多个所述关键点，和多个所述关键点对应的目标三维顶点，对所述人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新。

2.根据权利要求1所述的方法，其特征在于，所述从所述二维图像中，确定与人脸关键点最近的点，包括：

从所述二维图像中确定所述人脸关键点的位置；

根据所述人脸关键点的位置，从所述二维图像中，确定与所述人脸关键点最近的点。

3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸关键点的位置，从所述二维图像中，确定与所述人脸关键点最近的点，包括：

从所述三维人脸图像中确定法线与视线垂直的多个候选顶点；

确定所述二维图像中所述多个候选顶点的对应位置；

根据所述人脸关键点的位置，和所述多个候选顶点的对应位置，从所述二维图像中确定与所述人脸关键点最近的点。

4.根据权利要求1-3中任一所述的方法，其特征在于，所述三维人脸特征点包括下述至少一种特征点：人脸形状的特征点、人脸表情的特征点、人脸姿态的特征点、人脸纹理的特征点。

5.一种人脸三维可形变模型的更新装置，其特征在于，包括：获取模块、投影模块、第一确定模块、第二确定模块及更新模块；

所述获取模块，用于获取所述人脸三维可形变模型输出的三维人脸特征点，并对所述三维人脸特征点进行渲染，得到三维人脸图像；

所述投影模块，用于对所述三维人脸图像进行人脸投影，得到所述三维人脸图像对应的二维图像；

所述第一确定模块，用于从所述二维图像中，确定与人脸关键点最近的点；

所述第二确定模块，用于确定所述最近的点所对应的所述三维人脸图像中的三维顶点，为所述人脸关键点对应的三维顶点；

所述更新模块，用于根据所述人脸关键点，和所述人脸关键点对应的三维顶点，对所述人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新；

若所述三维人脸特征点包括：多张人脸的三维人脸特征点；所述人脸关键点包括：多个关键点，所述人脸关键点对应的三维顶点包括：多个所述关键点对应的三维顶点；

所述更新模块，具体用于根据多个所述关键点，和多个所述关键点对应的三维顶点，确定每个所述关键点在多张人脸上对应的三维顶点；从所述多张人脸上对应的三维顶点中，确定出现频次最高的三维顶点，作为所述关键点对应的目标三维顶点；根据多个所述关键点，和多个所述关键点对应的目标三维顶点，对所述人脸三维可形变模型中的人脸关键点和三维顶点的对应关系进行更新。

6.根据权利要求5所述的装置，其特征在于，所述第一确定模块，具体用于从所述二维图像中确定所述人脸关键点的位置；根据所述人脸关键点的位置，从所述二维图像中，确定与所述人脸关键点最近的点。

7.根据权利要求6所述的装置，其特征在于，所述第一确定模块，具体用于从所述三维人脸图像中确定法线与视线垂直的多个候选顶点；确定所述二维图像中所述多个候选顶点的对应位置；根据所述人脸关键点的位置，和所述多个候选顶点的对应位置，从所述二维图像中确定与所述人脸关键点最近的点。

8.一种处理设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当处理设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行时执行如权利要求1至4任一所述的人脸三维可形变模型的更新方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4任一所述的人脸三维可形变模型的更新方法的步骤。

Images