CN109118579A - 动态生成人脸三维模型的方法、装置、电子设备 - Google Patents

Abstract

本公开公开一种动态生成人脸三维模型的方法、装置、电子设备及计算机存储介质。其中，该动态生成人脸三维模型的方法包括获取三维模型，所述三维模型上预设有标准人脸特征点；获取人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点；根据所述第一特征点动态生成网格，所述网格的顶点为所述第一特征点；获取所述第一特征点的深度信息；根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型。本公开实施例通过采取该技术方案，可以根据人脸图像的网格以及深度信息将人脸图像贴合到三维模型上，进而生成人脸三维模型，由此可以解决如何提高人脸模型真实度的技术问题。

Description

动态生成人脸三维模型的方法、装置、电子设备

技术领域

本公开涉及一种图像处理和计算机视觉领域，特别是涉及一种动态生成人脸三维模型的方法、装置及计算机可读存储介质。

背景技术

随着计算机视觉技术的发展以及人们在图像处理领域的需求，人脸建模技术得到广泛的关注。

从视觉角度来讲，人脸建模的最基本评价就是真实感。现有的一种人脸建模方法，通过对人脸图像进行切割然后将图像贴合到通用模型上生成人脸三维模型。这种方法虽然处理速度较快，但是，无法针对不同人脸生成反映个体特征的三维模型，真实度较低。

对此，如何提高真实感也就成为业界一直讨论与研究的问题。

发明内容

本公开解决的技术问题是提供一种动态生成人脸三维模型的方法，以至少部分地解决如何提高真实度的技术问题。此外，还提供一种动态生成人脸三维模型的装置、电子设备和计算机可读存储介质。

为了实现上述目的，根据本公开的一个方面，提供以下技术方案：

一种动态生成人脸三维模型的方法，包括：

获取三维模型，所述三维模型上预设有标准人脸特征点；

获取人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点；

根据所述第一特征点动态生成网格，所述网格的顶点为所述第一特征点；

获取所述第一特征点的深度信息；

根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型。

进一步地，所述第一特征点包括：

眉毛特征点、眼睛特征点、鼻子特征点、嘴巴特征点以及脸部轮廓特征点。

进一步地，所述根据所述第一特征点动态生成网格，包括：

根据第一特征点，使用三角剖分法在人脸图像上生成三角剖分网格，所述三角剖分网格将人脸图像分为多个区域。

进一步地，所述获取所述第一特征点的深度信息，包括：

根据第一特征点的编号，在深度信息表中查找所述第一特征点的深度信息，所述深度信息表是所述编号与深度信息的对应表。

所述获取所述第一特征点的深度信息，包括：

根据第一特征点的编号，在深度信息表中查找所述第一特征点的深度信息，所述深度信息表是所述编号与深度信息的对应表。

进一步地，所述根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型，包括：

根据所述第一特征点的坐标调整所述标准人脸特征点的坐标，根据所述深度信息调整标准人脸特征点的深度，将所述网格中的人脸图像进行缩放之后，对应贴合到三维模型上，生成人脸三维模型。

进一步地，所述获取人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点包括：

从图像传感器中采集人脸图像，识别人脸图像中的特征点；

接收特征点选择命令，将特征点选择命令所选择的特征点作为第一特征点。

进一步地，所述获取所述第一特征点的深度信息，包括：

根据所述人脸图像获取人种信息；

根据人种信息获取人种深度信息表，根据第一特征点的编号，在人种深度信息表中获取第一特征点的深度信息。

进一步地，根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型，包括：

在所述三维模型上生成与人脸图像上同样的三角剖分网格，将所述人脸图像上的多个区域贴合到三维模型的对应区域中，并根据所述深度信息调整标准人脸特征点的深度，生成人脸三维模型。

进一步地，根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型，包括：

在所述三维模型上生成与人脸图像上同样的三角剖分网格，将所述人脸图像上的多个区域贴合到三维模型的对应区域中，并根据所述深度信息调整标准人脸特征点的深度，生成人脸三维模型。

为了实现上述目的，根据本公开的另一个方面，还提供以下技术方案：

一种动态生成人脸三维模型的装置，包括：

三维模型获取模块，用于获取三维模型，所述三维模型上预设有标准人脸特征点；

人脸图像获取模块，用于获取人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点；

网格生成模块，用于根据所述第一特征点动态生成网格，所述网格的顶点为所述第一特征点；

深度信息获取模块，用于获取所述第一特征点的深度信息；

人脸三维模型生成模块，用于根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型。

进一步地，所述人脸图像获取模块具体用于从图像传感器中采集人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点。

进一步地，所述第一特征点包括：眉毛特征点、眼睛特征点、鼻子特征点、嘴巴特征点以及脸部轮廓特征点。

进一步地，所述网格生成模块具体用于根据第一特征点，使用三角剖分法在人脸图像上生成三角剖分网格，所述三角剖分网格将人脸图像分为多个区域。

进一步地，所述深度信息获取模块具体用于根据第一特征点的编号，在深度信息表中查找所述第一特征点的深度信息，所述深度信息表是所述编号与深度信息的对应表。

进一步地，所述人脸三维模型生成模块具体用于：根据所述第一特征点的坐标调整所述标准人脸特征点的坐标，根据所述深度信息调整标准人脸特征点的深度，将所述网格中的人脸图像进行缩放之后，对应贴合到三维模型上，生成人脸三维模型。

进一步地，所述人脸图像获取模块具体用于：从图像传感器中采集人脸图像，识别人脸图像中的特征点；接收特征点选择命令，将特征点选择命令所选择的特征点作为第一特征点。

进一步地，所述深度信息获取模块具体用于：根据所述人脸图像获取人种信息；根据人种信息获取人种深度信息表，根据第一特征点的编号，在人种深度信息表中获取第一特征点的深度信息。

进一步地，所述人脸三维模型生成模块具体用于：在所述三维模型上生成与人脸图像上同样的三角剖分网格，将所述人脸图像上的多个区域贴合到三维模型的对应区域中，并根据所述深度信息调整标准人脸特征点的深度，生成人脸三维模型。

进一步地，当识别出有多个人脸图像时，获取多个三维模型，所述多个三维模型与所述多个人脸图像一一对应，对每个三维模型，生成对应的人脸三维模型。

为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：

一种电子设备，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现上述任一动态生成人脸三维模型的方法技术方案中所述的步骤。

为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：

一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述任一动态生成人脸三维模型的方法技术方案中所述的步骤。

为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：

本公开实施例提供一种动态生成人脸三维模型的方法、动态生成人脸三维模型的装置、电子设备、计算机可读存储介质。其中，该动态生成人脸三维模型的方法包括：获取三维模型；获取人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点；根据所述第一特征点动态生成网格，所述网格的顶点为所述第一特征点；获取所述第一特征点的深度信息；根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型。本公开实施例通过采取该技术方案，可以基于网格和深度信息将人脸图像贴合到三维模型上，从而生成人脸三维模型，提高了三维模型的真实度。

上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。

附图说明

图1为根据本公开一个实施例的动态生成人脸三维模型的方法的流程示意图；

图2为根据本公开一个实施例的获取人脸图像的方法的流程示意图；

图3a为根据本公开一个实施例的基于网格和深度信息生成人脸三维模型的方法的流程示意图；

图3b为根据本公开另一个实施例的基于网格和深度信息生成人脸三维模型的方法的流程示意图；

图4为根据本公开一个实施例的动态生成人脸三维模型的装置的结构示意图；

图5为根据本公开一个实施例的用于动态生成人脸三维模型的电子设备的结构示意图；

图6为根据本公开一个实施例的计算机可读存储介质的结构示意图；

图7为根据本公开一个实施例的人脸建模终端的结构示意图。

具体实施方式

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

为了解决如何提高人脸模型的真实度的技术问题，本公开实施例提供一种动态生成人脸三维模型的方法。如图1所示，该动态生成人脸三维模型的方法主要包括如下步骤S1至步骤S5。其中：

步骤S1：获取三维模型，所述三维模型上预设有标准人脸特征点。

其中，三维模型为人形模型，所述人形模型包括人脸模型，所述人脸模型上预设有人脸特征点，即所述标准人脸设别点。三维模型上的标准人脸识别点可以根据预设的人脸识别算法得到。

整体来讲，人脸识别技术大致可以归结为如下几类：基于几何特征的方法、基于模板的方法和基于模型的方法。其中，基于几何特征的方法通常需要和其他算法结合才能有比较好的效果；基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等；基于模型的方法则有基于隐马尔柯夫模型、主动形状模型和主动外观模型的方法等。本领域技术人员在建立所述人形模型时，可以考虑这些方法、这些方法的改进、或者这些方法与其他方法的结合。

步骤S2：获取人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点。

其中，人脸图像可以通过图像传感器采集得到，也可以通过接收图像而获取。本实施例并不限制人脸图像的获取方式。

步骤S3：根据所述第一特征点动态生成网格，所述网格的顶点为所述第一特征点。

其中，网格生成是把特定区域分割成由许多很小的子区域(元素)，网格中的每个元素的形状和分布可以通过自动的网格生成算法来确定。通常，根据网格的连接关系来区分，主要包括结构化网格和非结构化网格。结构化网格生成算法主要有无限插值方法和偏微分方程网格生成方法；非结构化网格生成算法主要有结点连元法、映射法和Delaunay三角化方法。本领域技术人员可以根据实际需要选择实现本步骤S3的方法，例如，采用三角剖分法。

步骤S4：获取所述第一特征点的深度信息。

其中，可以每个特征点都有深度信息。在一个应用中，深度信息可以是预设的，每个特征点包括编号，在一个表中将标号和深度信息对应，需要深度信息时查表获取即可。在另一个应用中，深度信息可通过估算获得，例如，采用诸如Make3D之类的算法估算。在另一个应用中，深度信息可以使用两次拍摄或者多次拍摄计算出来。

步骤S5：根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型。

采用本公开技术方案，基于识别人脸图像得到的与所述标准人脸特征点对应的第一特征点生成网格，并基于该网格以及所述第一特征点的深度信息生成人脸三维模型，这样得到的人脸三维模型具有较高的真实感。

下面以具体实施例对图1所示相关步骤进行详细说明，这些说明意在举例以使技术方案更容易理解。

在一个可选的实施例中，在步骤S1中，所述三维模型的人脸模型上预设的人脸识别点可以包括眉毛、眼睛、鼻子、嘴巴以及脸轮廓的特征点等，特征点的数量可以预先设置，比如106个或者68个等等，每个特征点可以有深度信息。

在一个可选的实施例中，步骤S2可以通过以下方式实现：从图像传感器中采集人脸图像；在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点。识别人脸图像一般可以使用特征点的识别来实现，之后可以获取与标准人脸特征点对应的第一特征点，第一特征点的编号与标准人脸特征点的编号相同。如前文所述，人脸识别算法很多，而在实际使用中，三维模型上的特征点也是根据算法预先识别出来的，在本实施例中可以使用同样的算法识别图像传感器中的人脸，进而得到包括同样的特征点的人脸图像。

在一个可选的实施例中，参照图2，步骤S2可以通过以下方式实现：

S21：从图像传感器中采集人脸图像，识别人脸图像中的特征点。其中，所述第一特征点包括：眉毛特征点、眼睛特征点、鼻子特征点、嘴巴特征点以及脸部轮廓特征点。各个部位的特征点的数量可以根据需要设置，本实施例对此不作具体限制。

S22：接收特征点选择命令，将特征点选择命令所选择的特征点作为第一特征点。

采用该实施例，可以由用户选择部分特征点，以此选择贴合区域。比如选择眼睛的特征点，则最终贴合时，只贴合眼睛部分，人脸三维模型的其他部分也可以是预设的。其中，可以以列表、图像的方式将特征点或特征点所在区域展示给用户，进而由用户通过选择特征点的操作发出所述特征点选择命令。

在一个可选的实施例中，步骤S3通过以下方式实现：根据第一特征点，使用三角剖分法在人脸图像上生成三角剖分网格，所述三角剖分网格将人脸图像分为多个区域。

作为本实施例的一种实现，采用以下方式生成三角剖分网格：首先建立一个大的三角形或多边形，把所有的第一特征点包围起来；然后向其中插入一点，该点与包含它的三角形三个顶点相连，形成三个新的三角形，然后逐个对它们进行空外接圆检测，同时用局部最优化过程(例如，本领域所熟知的Lawson设计的局部最优化过程)LOP进行优化，集通过交换对角线的方法来保证所形成的三角网为Delaunay三角网。

作为本实施例的另一种实现，采用以下步骤生成三角剖分网格：

首先，建立初始三角网格。具体而言，针对第一特征点的点集,找到一个包含该点集的矩形，连接该矩形的任意一条对角线，形成两个三角形，作为初始三角网格。

然后，逐点插入。具体而言，假设目前已经有一个三角网格T,现在在它里面再插入一个P,需要找到该点P所在的三角形。从P所在的三角形开始，搜索该三角形的邻近三角形，并进行空外接圆检测。找到外接圆包含点P的所有的三角形并删除这些三角形，形成一个包含P的多边形空腔，然后连接P与多边形空腔的每一个顶点，形成新的三角网格。

最后，删除前面所述的矩形。具体而言，重复执行前述逐点插入处理，当点集中所有点都已经插入到三角形网格中后，将顶点包含签署矩形的三角形全部删除。

在一个可选的实施例中，步骤S4通过以下方式实现：根据第一特征点的编号，在深度信息表中查找所述第一特征点的深度信息，所述深度信息表是所述编号与深度信息的对应表。通过查表的方式获取深度信息，具有较高的数据处理效率。除此之外，还可以采用两幅图计算方式、或者直接使用现有的深度摄像机，得到第一特征点的深度信息。

其中，所述采用两幅图计算方式如下：采用双目相机(或者单个摄像机按设定路径移动到不同位置)拍摄同一场景的左、右两幅视点图像；采用立体匹配算法获取视差图，进而获取深度信息。其中，示例性地，所述立体匹配算法包括:BM(Block Matching)算法、SGBM(Semi-Global Block matching)算法等。

当然，在一些其他应用中，不限于两幅图，还可以是两幅以上。

在一个可选的实施例中，步骤S4通过以下方式实现：根据所述人脸图像获取人种信息；根据人种信息获取人种深度信息表，根据第一特征点的编号，在人种深度信息表中获取第一特征点的深度信息。

在本实施例中，考虑到不同人种的脸型有差异，深度信息也有不同，所以通过识别的人脸识别出人种，然后查找预先设置有多个人种的深度信息表，得到对应的深度信息。

其中，可以采用以下方式识别人种：获取彩色人脸图像；图像预处理(例如，裁剪、归一化、去噪等)；进行人脸肤色特征提取；将图像转换为8位灰度图，采用Gabor滤波提取人脸局部特征；将上述人脸肤色特征和人脸局部特征结合，此时的特征维度较多；采用Adaboost学习算法将特征维数进行降维处理(例如，由94464维降到150维)以降低运算量；将降维之后的特征输入人种分类器(例如，支持向量机分类器)进行识别，得到人种信息。所述人种分类器可以通过输入大数据、基于现有的分类算法训练得到，此处不赘述。

采用该实施例，获取的深度信息考虑了人种差异，有利于提高后续生成的人脸三维模型与实际人脸的相似度。

在一个可选的实施例中，如图3a所示，步骤S5通过以下方式实现：

S51a：根据所述第一特征点的坐标调整所述标准人脸特征点的坐标。

S52a：根据所述深度信息调整标准人脸特征点的深度。

S53a：将所述网格中的人脸图像进行缩放之后，对应贴合到三维模型上，生成人脸三维模型。

在本实施例中，根据人脸图像的特征点坐标调整标准人脸特征点，使其符合实际人脸的特征。该调整方式的一种具体实现如下：从第一特征点中选取坐标原点(例如，选取鼻尖点或者嘴唇上的点作为坐标原点)；基于该坐标原点将第一特征点的坐标在三维模型上标定出对应的网格顶点。示例性地，该过程可以通过三维建模软件实现。

在一个可选的实施例中，如图3b所示，步骤S5通过以下方式实现：

S51b：在所述三维模型上生成与人脸图像上同样的三角剖分网格。

在本实施例中，具体而言，步骤S51b可以采用以下方式实现：

步骤b1，从第一特征点中选取坐标原点(例如，选取鼻尖点作为坐标原点)，基于该坐标原点将第一特征点的坐标在三维模型上标定出对应的网格顶点。示例性地，该过程可以通过三维建模软件实现。

步骤b2，将第一特征点通过投影变换到三维空间中，得到调整后的标准人脸特征点的横坐标值和纵坐标值，深度则基于对应顶点的深度信息确定。

步骤b3，将在三维模型上标定的特征点移至上述投影位置，然后基于同样的三角剖分法在三维模型上生成与人脸图像上同样的三角剖分网格。

S52b：将所述人脸图像上的多个区域贴合到三维模型的对应区域中。

S53b：根据所述深度信息调整标准人脸特征点的深度，生成人脸三维模型。

在本实施例中，三维模型和人脸图像使用同样的三角剖分方式，贴合时对应贴合三角片即可。

在一个可选的实施例中，当识别出有多个人脸图像时，获取多个三维模型，所述多个三维模型与所述多个人脸图像一一对应，对每个三维模型，生成对应的人脸三维模型。采用该实施例，可以批量生成人脸三维模型，还可以应用到多人AR(Augmented Reality，增强现实)场景中，对每个人分别生成一个人脸三维模型。

根据前文描述可知，本公开通过采取上述技术方案，基于识别人脸图像得到的与所述标准人脸特征点对应的第一特征点生成网格，并基于该网格以及所述第一特征点的深度信息生成人脸三维模型，这样得到的人脸三维模型具有较高的真实感。

本领域技术人员应能理解，在上述获得较高真实感的实施例的基础上，还可以进行明显变型或等同替换，例如，本领域技术人员可以在兼顾上述真实感的同时，合理地调整(例如，删除、增加、移动)特征点、改变网格划分方法、改变深度信息的获取方法、改变坐标调整方法等。

本公开实施例在具体实施时，在上述实施例的基础上，还可以增加相应的步骤。例如，根据生成的人脸三维模型进行上传、评价(例如，用户对于真实度打分，或者，与已知的用户人脸三维模型进行比对)等处理。

下面为本公开装置实施例，本公开装置实施例可用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。

为了解决如何提高人脸模型的真实度的技术问题，本公开实施例提供一种动态生成人脸三维模型的装置。参照图4，所述动态生成人脸三维模型的装置包括三维模型获取模块41、人脸图像获取模块42、网格生成模块43、深度信息获取模块44和人脸三维模型生成模块45。下面进行详细说明。

在本实施例中，三维模型获取模块41用于获取三维模型，所述三维模型上预设有标准人脸特征点。

在本实施例中，人脸图像获取模块42用于获取人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点。

在本实施例中，网格生成模块43用于根据所述第一特征点动态生成网格，所述网格的顶点为所述第一特征点。

在本实施例中，深度信息获取模块44用于获取所述第一特征点的深度信息。

在本实施例中，人脸三维模型生成模块45用于根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型。

在一种可选实施例中，所述人脸图像获取模块42具体用于从图像传感器中采集人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点。

在一种可选实施例中，所述第一特征点包括：眉毛特征点、眼睛特征点、鼻子特征点、嘴巴特征点以及脸部轮廓特征点。

在一种可选实施例中，所述网格生成模块43具体用于根据第一特征点，使用三角剖分法在人脸图像上生成三角剖分网格，所述三角剖分网格将人脸图像分为多个区域。

在一种可选实施例中，所述深度信息获取模块44具体用于根据第一特征点的编号，在深度信息表中查找所述第一特征点的深度信息，所述深度信息表是所述编号与深度信息的对应表。

在一种可选实施例中，所述人脸三维模型生成模块45具体用于：根据所述第一特征点的坐标调整所述标准人脸特征点的坐标，根据所述深度信息调整标准人脸特征点的深度，将所述网格中的人脸图像进行缩放之后，对应贴合到三维模型上，生成人脸三维模型。

在一种可选实施例中，所述人脸图像获取模块45具体用于：从图像传感器中采集人脸图像，识别人脸图像中的特征点；接收特征点选择命令，将特征点选择命令所选择的特征点作为第一特征点。

在一种可选实施例中，所述深度信息获取模块44具体用于：根据所述人脸图像获取人种信息；根据人种信息获取人种深度信息表，根据第一特征点的编号，在人种深度信息表中获取第一特征点的深度信息。

在一种可选实施例中，所述人脸三维模型生成模块45具体用于：在所述三维模型上生成与人脸图像上同样的三角剖分网格，将所述人脸图像上的多个区域贴合到三维模型的对应区域中，并根据所述深度信息调整标准人脸特征点的深度，生成人脸三维模型。

在一种可选实施例中，当识别出有多个人脸图像时，获取多个三维模型，所述多个三维模型与所述多个人脸图像一一对应，对每个三维模型，生成对应的人脸三维模型。

有关动态生成人脸三维模型的工作原理、实现的技术效果等详细说明可以参考前述动态生成人脸三维模型的方法实施例中的相关说明，在此不再赘述。

图5是图示根据本公开的实施例的用于动态生成人脸三维模型的电子设备的硬件框图。如图5所示，根据本公开实施例的用于动态生成人脸三维模型的电子设备50包括存储器51和处理器52。

该存储器51用于存储非暂时性计算机可读指令。具体地，存储器51可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

该处理器52可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制动态生成人脸三维模型的装置50中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器52用于运行该存储器51中存储的该计算机可读指令，使得该动态生成人脸三维模型的硬件装置50执行前述的本公开各实施例的动态生成人脸三维模型的方法的全部或部分步骤。

本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

图6是图示根据本公开的实施例的计算机可读存储介质的示意图。如图6所示，根据本公开实施例的计算机可读存储介质60，其上存储有非暂时性计算机可读指令61。当该非暂时性计算机可读指令61由处理器运行时，执行前述的本公开各实施例的动态生成人脸三维模型的方法的全部或部分步骤。

上述计算机可读存储介质60包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

图7是图示根据本公开实施例的终端设备的硬件结构示意图。如图7所示，该用于动态生成人脸三维模型的人脸建模终端70包括上述动态生成人脸三维模型的装置实施例。

该人脸建模终端设备可以以各种形式来实施，本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。

作为等同替换的实施方式，该终端还可以包括其他组件。如图7所示，该人脸建模终端70可以包括电源单元71、无线通信单元72、A/V(音频/视频)输入单元73、用户输入单元74、感测单元75、接口单元76、控制器77、输出单元78和存储器79等等。图7示出了具有各种组件的终端，但是应理解的是，并不要求实施所有示出的组件，也可以替代地实施更多或更少的组件。

其中，无线通信单元72允许终端70与无线通信系统或网络之间的无线电通信。A/V输入单元73用于接收音频或视频信号。用户输入单元74可以根据用户输入的命令生成键输入数据以控制终端设备的各种操作。感测单元75检测终端70的当前状态、终端70的位置、用户对于终端70的触摸输入的有无、终端70的取向、终端70的加速或减速移动和方向等等，并且生成用于控制终端70的操作的命令或信号。接口单元76用作至少一个外部装置与终端70连接可以通过的接口。输出单元78被构造为以视觉、音频和/或触觉方式提供输出信号。存储器79可以存储由控制器77执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据。存储器79可以包括至少一种类型的存储介质。而且，终端70可以与通过网络连接执行存储器79的存储功能的网络存储装置协作。控制器77通常控制终端设备的总体操作。另外，控制器77可以包括用于再现或回放多媒体数据的多媒体模块。控制器77可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元71在控制器77的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

本公开提出的动态生成人脸三维模型的方法的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本公开提出的动态生成人脸三维模型的方法的各种实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，本公开提出的动态生成人脸三维模型的的方法的各种实施方式可以在控制器77中实施。对于软件实施，本公开提出的动态生成人脸三维模型的方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器79中并且由控制器77执行。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (13)

1.一种动态生成人脸三维模型的方法，其特征在于，包括：

获取三维模型，所述三维模型上预设有标准人脸特征点；

获取人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点；

根据所述第一特征点动态生成网格，所述网格的顶点为所述第一特征点；

获取所述第一特征点的深度信息；

根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型。

2.根据权利要求1所述的动态生成人脸三维模型的方法，其特征在于，所述获取人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点包括：

从图像传感器中采集人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点。

3.根据权利要求2所述的动态生成人脸三维模型的方法，其特征在于，所述第一特征点包括：

眉毛特征点、眼睛特征点、鼻子特征点、嘴巴特征点以及脸部轮廓特征点。

4.根据权利要求1所述的动态生成人脸三维模型的方法，其特征在于，所述根据所述第一特征点动态生成网格，包括：

根据第一特征点，使用三角剖分法在人脸图像上生成三角剖分网格，所述三角剖分网格将所述人脸图像分为多个区域。

5.根据权利要求1所述的动态生成人脸三维模型的方法，其特征在于，所述获取所述第一特征点的深度信息，包括：

根据第一特征点的编号，在深度信息表中查找所述第一特征点的深度信息。

6.根据权利要求1所述的动态生成人脸三维模型的方法，其特征在于，所述根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型，包括：

根据所述第一特征点的坐标调整所述标准人脸特征点的坐标，根据所述深度信息调整标准人脸特征点的深度，将所述网格中的人脸图像进行缩放之后，对应贴合到三维模型上，生成人脸三维模型。

7.根据权利要求1所述的动态生成人脸三维模型的方法，其特征在于，所述获取人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点包括：

从图像传感器中采集人脸图像，识别人脸图像中的特征点；

接收特征点选择命令，将特征点选择命令所选择的特征点作为第一特征点。

8.根据权利要求1所述的动态生成人脸三维模型的方法，其特征在于，所述获取所述第一特征点的深度信息，包括：

根据所述人脸图像获取人种信息；

根据人种信息获取人种深度信息表，根据第一特征点的编号，在人种深度信息表中获取第一特征点的深度信息。

9.根据权利要求4所述的动态生成人脸三维模型的方法，其特征在于，根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型，包括：

在所述三维模型上生成与人脸图像上同样的三角剖分网格，将所述人脸图像上的多个区域贴合到三维模型的对应区域中，并根据所述深度信息调整标准人脸特征点的深度，生成人脸三维模型。

10.根据权利要求1所述的动态生成人脸三维模型的方法，其特征在于：

当识别出有多个人脸图像时，获取多个三维模型，所述多个三维模型与所述多个人脸图像一一对应，对每个三维模型，生成对应的人脸三维模型。

11.一种动态生成人脸三维模型的装置，其特征在于，包括：

三维模型获取模块，用于获取三维模型，所述三维模型上预设有标准人脸特征点；

人脸图像获取模块，用于获取人脸图像，在所述人脸图像上识别与所述标准人脸特征点对应的第一特征点；

网格生成模块，用于根据所述第一特征点动态生成网格，所述网格的顶点为所述第一特征点；

深度信息获取模块，用于获取所述第一特征点的深度信息；

人脸三维模型生成模块，用于根据所述网格以及所述深度信息，将人脸图像贴合到三维模型上，生成人脸三维模型。

12.一种电子设备，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现根据权利要求1-10中任意一项所述的基于人脸的形变图像生成方法。

13.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行权利要求1-10中任意一项所述的基于人脸的形变图像生成方法。