CN109979013A - 三维人脸贴图方法及终端设备 - Google Patents

Abstract

本发明适用于计算机技术领域，提供了一种三维人脸贴图方法及终端设备。该方法包括：获取人脸三维网格和人脸二维图像；建立第一网格点与所述人脸二维图像的映射关系；所述第一网格点为所述人脸三维网格中与所述人脸二维图像存在对应关系的网格点；根据所述第一网格点与所述人脸二维图像的映射关系，确定第二网格点与所述人脸二维图像的映射关系；所述第二网格点为所述人脸三维网格中与所述人脸二维图像不存在对应关系的网格点。本发明不需要重新构造纹理图像，使用单幅人脸二维图像即能实现完整逼真的三维人脸贴图，算法复杂度低，能够提高三维人脸贴图的处理速度，提高三维人脸贴图的逼真程度。

Description

三维人脸贴图方法及终端设备

技术领域

本发明属于计算机技术领域，尤其涉及一种三维人脸贴图方法及终端设备。

背景技术

随着虚拟现实技术和增强现实技术的迅速发展，逼真的数字三维人脸被广泛应用。例如，在虚拟试戴中，3D产品可以叠加到用户的数字化人脸上，3D产品与头部动作同步交互，展示出逼真的穿戴效果；在虚拟社交应用中，个性化的数字人脸可以增强虚拟社交的真实性与互动性，优化用户的VR(Virtual Reality，虚拟现实)体验；在电影、动画、游戏等视频制作中，使用用户的个性化数字人脸代替其中的角色人脸，可以增强用户体验的趣味性。在三维人脸的应用中人脸的逼真程度主要取决于人脸颜色纹理信息与人脸三维结构的精确配准，以及人脸纹理的完整性和真实性。

传统的三维人脸贴图方法通常是通过合成分析和对多元代价函数进行随机优化来重建人脸纹理贴图。该方法需要使用对光照条件进行模拟，并根据优化后的光照参数对人脸纹理贴图进行重建，将重建的人脸纹理贴图与从二维图像中提取到的人脸纹理贴图进行融合，最终对人脸三维网格进行人脸三维贴图处理。该方法计算复杂，生成的人脸纹理贴图逼真程度较低，导致三维人脸贴图处理耗时长且逼真程度低。

发明内容

有鉴于此，本发明实施例提供了三维人脸贴图方法及终端设备，以解决目前三维人脸贴图方法计算复杂，生成的人脸纹理贴图逼真程度较低，导致三维人脸贴图处理耗时长且逼真程度低的问题。

本发明实施例的第一方面提供了三维人脸贴图方法，包括：

获取人脸三维网格和人脸二维图像；

建立第一网格点与所述人脸二维图像的映射关系；所述第一网格点为所述人脸三维网格中与所述人脸二维图像存在对应关系的网格点；

根据所述第一网格点与所述人脸二维图像的映射关系，确定第二网格点与所述人脸二维图像的映射关系；所述第二网格点为所述人脸三维网格中与所述人脸二维图像不存在对应关系的网格点。

本发明实施例的第二方面提供了三维人脸贴图装置，包括：

获取模块，用于获取人脸三维网格和人脸二维图像；

建立模块，用于建立第一网格点与所述人脸二维图像的映射关系；所述第一网格点为所述人脸三维网格中与所述人脸二维图像存在对应关系的网格点；

处理模块，用于根据所述第一网格点与所述人脸二维图像的映射关系，确定第二网格点与所述人脸二维图像的映射关系；所述第二网格点为所述人脸三维网格中与所述人脸二维图像不存在对应关系的网格点。

本发明实施例的第三方面提供了三维人脸贴图终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中的三维人脸贴图方法。

本发明实施例的第四方面提供了计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中的三维人脸贴图方法。

本发明实施例与现有技术相比存在的有益效果是：通过建立第一网格点与人脸二维图像的映射关系，再根据第一网格点与人脸二维图像的映射关系，确定第二网格点与人脸二维图像的映射关系，能够生成完整的人脸三维网格与人脸二维图像的映射关系，根据补全后的映射关系将人脸二维图像用于三维人脸贴图处理，能够实现快速、完整的三维人脸贴图。本发明实施例不需要重新构造纹理图像，使用单幅人脸二维图像即能实现完整逼真的三维人脸贴图，算法复杂度低，能够提高三维人脸贴图的处理速度，提高三维人脸贴图的逼真程度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的三维人脸贴图方法的实现流程图；

图2是本发明实施例提供的三维人脸贴图方法中查找第一网格点的实现流程图；

图3是本发明实施例提供的三维人脸贴图方法中确定第二网格点的映射关系的实现流程图；

图4为本发明实施例提供的波前推进并行算法的示意图；

图5为本发明实施例提供的三维人脸贴图的过程示意图；

图6是本发明实施例提供的三维人脸贴图方法中构建人脸三维网格的实现流程图；

图7是本发明一个实施例提供的三维人脸贴图方法中对人脸三维点云进行信息补充的实现流程图；

图8是本发明另一实施例提供的三维人脸贴图方法中对人脸三维点云进行信息补充的实现流程图；

图9是本发明实施例提供的对人脸三维点云进行信息补充的过程示意图；

图10是本发明实施例提供的三维人脸贴图装置的示意图；

图11是本发明实施例提供的三维人脸贴图终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1为本发明实施例提供的三维人脸贴图方法的实现流程图，详述如下：

在S101中，获取人脸三维网格和人脸二维图像。

在本实施例中，人脸三维网格为人脸三维模型上划分的网格。可以通过将三维形变模型和人脸三维点云进行拟合得到人脸三维网格，也可以从人脸数据库或其它终端设备中获取人脸三维网格。人脸二维图像可以是正面或侧面的人脸二维图像。可以通过图像采集装置对人脸进行采集获取人脸二维图像，也可以从人脸数据库或其它终端设备中获取人脸二维图像。

在S102中，建立第一网格点与所述人脸二维图像的映射关系；所述第一网格点为所述人脸三维网格中与所述人脸二维图像存在对应关系的网格点。

在本实施例中，人脸三维网格中的网格形状可以包括但不限于三角形、矩形和菱形中的一种或多种。一个网格可以对应一个或多个网格点。人脸三维网格中的各个网格对应的网格点可以为网格边线的交点或网格边线上的中点等，也可以根据实际需求在网格上设定网格点的位置，在此不作限定。例如对于三角形的网格，可以将三角形的三个顶点设为网格对应的网格点。

由于视线遮挡，人脸二维图像中通常只包含部分的人脸面部信息，会缺少部分面部信息。例如对于正面人脸二维图像，只包含人脸正面的面部信息和部分侧面的面部信息，缺少一部分侧面的面部信息。因此，在将人脸三维网格与人脸二维图像建立映射的过程中，人脸三维网格上部分网格点与人脸二维图像中的像素点存在对应关系，这些网格点能够直接与人脸二维图像建立映射关系，在此将这些网格点记为第一网格点；而由于人脸二维图像缺少部分面部信息，人脸三维网格上的一部分网格点与人脸二维图像中的像素点不存在对应关系，这些网格点不能够直接与人脸二维图像建立映射关系，在此将这些网格点记为第二网格点。

在本步骤中建立人脸三维网格中各个第一网格点与人脸二维图像中对应像素点的映射关系，对于第二网格点的处理将在后文中进一步说明。

作为本发明的一个实施例，S102可以包括：

根据所述人脸三维网格对应的人脸三维点云与所述人脸二维图像的映射关系，建立所述第一网格点与所述人脸二维图像的映射关系。

在本实施例中，人脸三维点云与人脸三维网格呈对应关系，并且人脸三维点云中的部分点云与人脸二维图像中的像素点呈对应关系，因此，可以根据人脸三维点云与人脸二维图像的映射关系，建立第一网格点与人脸二维图像的映射关系。通过人脸三维点云能够快速准确地建立第一网格点与人脸二维图像的映射关系。

作为本发明的另一个实施例，S102可以包括：

根据所述人脸三维网格的三维人脸特征点信息与所述人脸二维图像的二维人脸特征点信息的映射关系，建立所述第一网格点与所述人脸二维图像的映射关系。

在本实施例中，可以从人脸三维网格中提取三维人脸特征点信息，从人脸二维图像中提取二维人脸特征点信息，建立三维人脸特征点信息与二维人脸特征点信息的映射关系。根据三维人脸特征点信息与二维人脸特征点信息的映射关系，可以构造人脸三维与人脸二维的投影矩阵。根据投影矩阵，建立第一网格点与人脸二维图像的映射关系。其中，投影矩阵可以根据旋转矩阵和平移向量确定。

例如，根据三维人脸特征点信息与二维人脸特征点信息的映射关系，可以通过OpenCV视觉库中的cv::solvePnP函数获得人脸三维与人脸二维之间的旋转矩阵和平移向量，进而确定投影矩阵。根据投影矩阵，可以通过OpenCV视觉库中的cv::projectPoints函数建立第一网格点与人脸二维图像的映射关系。

作为本发明的一个实施例，如图2所示，在S101之后，S102之前，该方法还可以包括：

在S201中，计算所述人脸三维网格中各个网格的法向量与所述人脸二维图像的视线向量之间的夹角角度。

在本实施例中，人脸二维图像的视线向量为人从正面观察人脸二维图像的视线的方向向量。人脸二维图像的视线向量垂直于人脸二维图像中面部所在平面。例如对于正面人脸二维图像，则人脸二维图像的视线向量垂直于正面人脸；对于左侧人脸二维图像，则人脸二维图像的视线向量垂直于左侧人脸。

可以遍历人脸三维网格，分别计算各个网格的法向量，再计算各个网格的法向量与人脸二维图像的视线向量之间的夹角角度。每个网格对应一个法向量和一个夹角角度。

在S202中，将计算出的各个夹角角度与预设角度阈值进行对比。

其中，预设角度阈值可以根据实际需求进行设定，例如可以将预设角度阈值设为90度或者设为80度。可选地，预设角度阈值的取值范围为45度至90度。预设角度阈值越大，则人脸三维网格中被判定为第一网格点的网格点越多。

在S203中，将夹角角度小于所述预设角度阈值的网格对应的网格点判定为所述第一网格点。

在本实施例中，若网格对应的夹角角度小于所述预设角度阈值，表明该网格所在平面与人脸二维图像对应的平面偏差不大，此时不存在视觉遮挡，该网格对应的网格点与人脸二维图像存在对应关系，因此可以将夹角角度小于预设角度阈值的网格对应的网格点判定为第一网格点。

若网格对应的夹角角度大于所述预设角度阈值，表明该网格所在平面与人脸二维图像对应的平面偏差较大，此时由于视觉遮挡，该网格对应的网格点与人脸二维图像不存在对应关系，因此可以将夹角角度大于预设角度阈值的网格对应的网格点判定为第二网格点。

例如，人脸二维图像为正面人脸二维图像，预设角度阈值为80度，则人脸三维网格中正面区域的网格对应的夹角角度约为0度，该区域内网格对应网格点与人脸二维图像存在对应关系，判定为第一网格点；人脸三维网格中耳朵附近区域的网格对应的夹角角度约为90度，该区域内的网格对应的网格点与人脸二维图像不存在对应关系，判定为第二网格点。

本实施例通过将各个网格对应的夹角角度与预设角度阈值进行对比，能够判定出人脸三维网格中各个网格对应的网格点是第一网格点还是第二网格点，从而对人脸三维网格中的网格点进行划分，以便建立第一网格点与所述人脸二维图像的映射关系，避免首先处理第二网格点的情况。

在S103中，根据所述第一网格点与所述人脸二维图像的映射关系，确定第二网格点与所述人脸二维图像的映射关系；所述第二网格点为所述人脸三维网格中与所述人脸二维图像不存在对应关系的网格点。

在本实施例中，根据第一网格点与人脸二维图像的映射关系，可以确认与第一网格点相邻的第二网格点与人脸二维图像的映射关系。之后可以多次按照该方法确认其它第二网格点与人脸二维图像的映射关系，直到确认人脸三维网格中所有的网格点与人脸二维图像的映射关系为止。然后可以根据人脸三维网格中所有的网格点与人脸二维图像的映射关系和人脸二维图像，对人脸三维网格进行贴图处理。

本发明实施例通过建立第一网格点与人脸二维图像的映射关系，再根据第一网格点与人脸二维图像的映射关系，确定第二网格点与人脸二维图像的映射关系，能够生成完整的人脸三维网格与人脸二维图像的映射关系，根据补全后的映射关系将人脸二维图像用于三维人脸贴图处理，能够实现快速、完整的三维人脸贴图。本发明实施例不需要重新构造纹理图像，使用单幅人脸二维图像即能实现完整逼真的三维人脸贴图，算法复杂度低，能够提高三维人脸贴图的处理速度，提高三维人脸贴图的逼真程度。

作为本发明的一个实施例，可以根据第一网格点与人脸二维图像的映射关系和波前推进并行算法，确定第二网格点与人脸二维图像的映射关系。如图3所示，S103可以包括：

在S301中，查找与所述第一网格点相邻的第二网格点。

在本实施例中，查找人脸三维网格中与第一网格点相邻的第二网格点。其中，与第一网格点相邻的第二网格点可以是与第一网格点对应网格相邻的网格所对应的第二网格点，也可以是与第一网格点对应同一网格的第二网格点。

在S302中，根据所述第一网格点与所述人脸二维图像的映射关系和网格模型信息，确定查找到的第二网格点与所述人脸二维图像的映射关系，并将与所述人脸二维图像确定映射关系的第二网格点更新为第一网格点。

在本实施例中，网格模型信息为人脸三维网格的模型信息。网格模型信息可以包括但不限于网格顶点信息、网格边线信息和网格之间的连接关系中的一种或多种。例如对于三角形网格，网格模型信息可以包括三个顶点位置、三条边位置，每条边相邻的三角形个数，每个顶点相邻的三角形个数等。

在确定查找到的第二网格点与人脸二维图像的映射关系后，该第二网格点已经不需要下次再进行重新确认，并且可以根据该第二网格点去确认其它第二网格点与人脸二维图像的映射关系，因此可以将与人脸二维图像确定映射关系的第二网格点更新为第一网格点。

在S303中，判断所述人脸三维网格中是否存在所述第二网格点，若所述人脸三维网格中存在所述第二网格点，则跳转执行S301的步骤。

在本实施例中将查找到的第二网格点的映射关系确认完成后，则该次计算结束，需要判断人脸三维网格中是否存在第二网格点，若人脸三维网格中仍然存在第二网格点，则表明需要再一次进行计算，因此可以跳转到S301的步骤进行下一次计算；若人脸三维网格中不存在第二网格点，则表明人脸三维网格中所有网格点与人脸二维图像的映射关系都已确认，因此结束该波前推进并行算法。

本实施例通过波前推进并行算法，渐进地利用已经存在映射关系的网格点去修补不存在对应关系的临近的网格点，之后再修补次临近的网格点，直到所有网格点与人脸二维图像像素之间都存在映射关系，能够快速准确的确定人脸三维网格与人脸二维图像的映射关系，进而得到完整逼真的三维人脸贴图效果。

作为本发明的一个实现示例，波前推进并行算法的程序示例如下：

Set the mapping of vi as the mapping of vertex v who has the sameedge correspondence e as vi(as shown in图4(c))；

下面结合上述程序示例和图4对波前推进并行算法进一步说明。该算法首先并行扫描每一个被视线遮挡的三角形(即第二网格点对应的网格)，如果三角形有两个顶点(即第一网格点)存在与人脸二维图像的映射关系，那么第三个顶点(即第二网格点)被当作候选点(candidate)插入到一个数组里L’(参见程序示例第2-6行)；由于顶点有可能被重复插入，所以接下来一步，该算法对数组L’进行压缩，使得每个顶点在数组L里是唯一的，数组L就是被初始化的波前(front)(参见程序示例第7行及图4(b)所示)；之后，并行地处理在数组L中的每个顶点vi，使用跟顶点vi所在的三角形相邻的三角形的顶点v的映射关系更新顶点vi的映射关系(如图4(c)所示，顶点vi和顶点v对应相同的边e)(参见程序示例第9-10行),vi即被更新为第一网格点；再访问跟顶点vi相邻的三角形，如果其中有三角形的两个顶点(即第一网格点)存在映射关系，则将第三个顶点(即第二网格点)作为candidate插入到下一个波前‘next-front’(参见程序示例第11-14行)，同样地，顶点有可能被重复插入，所以需要对‘next-front’进行压缩成新的数组L’，用数组L’更新数组L(参见程序示例第17-18行)；只要数组L不空，则重复更新数组L中顶点的映射关系，直到被遮挡的三角形的所有顶点与二维输入图像存在映射关系。

图4为本发明实施例提供的波前推进并行算法的示意图。图4(a)中间区域的黑色三角形网格为第一网格点对应的网格，其余周围区域的灰色三角形网格为第二网格点对应的网格。图4(b)中黑点表示该次进行映射关系确认的第二网格点，即为波前。图4(c)为根据第一网格点确认相邻的第二网格点(波前)与人脸二维图像的映射关系的示意图。在该图中根据箭头起始位置的第一网格点v确认箭头终止位置的第二网格点v_i的映射关系。图4(d)中间区域的黑色三角形网格为经过一次波前推进并行计算后的第一网格点对应的网格。这些网格点均已确认映射关系，接下来可以根据这些网格点继续对临近的第二网格点进行更新，经过多次迭代直至所有网格点的映射关系都得到确认，则该算法整个过程结束。

图5为本发明实施例提供的三维人脸贴图的过程示意图。图5(a)为人脸三维模型，从左到右依次为右侧人脸、正面人脸和左侧人脸，人脸三维模型表面的人脸三维网络未在图中显示。图5(b)为获取到的人脸二维图像，在本实施例中获取的为正面的人脸二维图像。图5(c)为建立第一网格点与人脸二维图像的映射关系后人脸的贴图效果，从左到右依次为正面人脸、右侧人脸和左侧人脸。可以看出，右侧人脸和左侧人脸耳朵附近为第二网格点对应的区域，由于视线遮挡，第二网格点与人脸二维图像不存在对应关系，因此在图中显示为缺失部分。图5(d)为经过本实施例提供的三维人脸贴图处理后的贴图效果。从左到右依次为右侧人脸、左侧人脸的正面人脸，可以看到，通过本方法耳朵附近原本缺失的部分已经得到补全，通过该三维人脸贴图可以得到完整逼真的贴图效果。

作为本发明的一个实施例，可以根据人脸三维点云构建人脸三维网格。但由于光线遮挡、空间遮挡、图像解码存在错误等，人脸三维点云通常存在噪声，部分坐标点的深度信息缺失，影响构建人脸三维网格的精度。为此，可以首先对人脸三维点云进行信息补充，再根据信息补充后的人脸三维点云构建人脸三维网格，从而提高人脸三维网格的构建精度，进而提高三维人脸贴图的贴图效果。如图6所示，在S101之前，还可以包括：

在S601中，获取人脸三维点云。

在本实施例中，可以通过人脸扫描方法对人脸进行扫描，来获取人脸三维点云，也可以从人脸三维点云数据库中获取人脸三维点云。其中，人脸扫描方法包括但不限于时差测距法(Time of Flight，TOF)、立体视觉方法和结构光扫描方法。

在S602中，建立所述人脸三维点云与二维深度图像的映射关系，根据所述二维深度图像对所述人脸三维点云进行信息补充；所述二维深度图像中各像素点的像素信息与所述人脸三维点云中对应坐标点的深度信息相对应。

在本实施例中，建立人脸三维点云与二维深度图像的映射关系，可以是根据人脸三维点云映射生成二维深度图像，也可以是将人脸三维点云与预置的二维深度图像建立映射关系。人脸三维点云中各个坐标点与二维深度图中的各个像素点为一一对应关系。

由于光线遮挡、空间遮挡、图像解码存在错误等，初始生成的人脸三维点云通常存在噪声，部分坐标点的深度信息缺失，影响人脸三维重建的精度。为此可以通过对二维深度图像中像素点的像素信息进行信息补充，再根据信息补充后的二维深度图像以及人脸三维点云与二维深度图像的映射关系，对人脸三维点云进行信息补充。

作为本发明的一个实施例，如图7所示，S602可以包括：

在S701中，建立所述人脸三维点云与所述二维深度图像的映射关系。

在S702中，从所述二维深度图像中查找第一像素点；所述第一像素点为缺失深度信息的像素点。

在本实施例中，人脸三维点云中存在深度信息缺失的坐标点，这些坐标点与二维深度图像中缺失深度信息的第一像素点为映射关系。可以通过查找二维深度图像中深度信息缺失的像素点来查找第一像素点。可选地，从二维深度图像中查找所有第一像素点。

在S703中，根据第一预设范围内像素点的像素点信息，计算各个第一像素点的像素点信息；其中，所述第一预设范围根据各个第一像素点确定。

在本实施例中，第一预设范围可以是第一像素点周围的环形区域、矩形区域或圆形区域等。例如，第一预设范围可以是以第一像素点为中心，范围内像素点总个数为n×n的矩形区域。像素点信息可以包括像素点的坐标信息和像素点的深度信息。可以根据第一预设范围内除第一像素点之外的像素点的坐标信息计算对应的第一像素点的坐标信息，根据第一预设范围内除第一像素点之外的像素点的深度信息计算对应的第一像素点的深度信息。

在S704中，根据计算出的各个第一像素点的像素点信息对所述二维深度图像进行信息补充。

在S705中，根据所述人脸三维点云与所述二维深度图像的映射关系和信息补充后的二维深度图像，对所述人脸三维点云进行信息补充。

其中，可以根据人脸三维点云与二维深度图像的映射关系和信息补充后的二维深度图像，对人脸三维点云中深度信息缺失的坐标点进行信息补充，也可以根据人脸三维点云与二维深度图像的映射关系和信息补充后的二维深度图像，重新映射生成人脸三维点云。

本实施例在二维深度图像中查找到所有深度信息缺失的像素点，根据各个深度信息缺失的像素点周围的像素点信息重新计算各个深度信息缺失的像素点，对二维深度图像进行信息补充，再根据信息补充后的二维深度图像对人脸三维点云进行信息补充，获得全面精准的人脸三维点云，进而提高人脸三维网格的精度。

作为本发明的另一实施例，如图8所示，S602可以包括：

在S801中，建立所述人脸三维点云与所述二维深度图像的映射关系。

在S802中，从二维深度图像中查找第二像素点，所述第二像素点为缺失深度信息的像素点。

在本实施例中，人脸三维点云中存在深度信息缺失的坐标点，这些坐标点与二维深度图像中缺失深度信息的第二像素点为映射关系。可以通过查找二维深度图像中深度信息缺失的像素点来查找第二像素点。可选地，从二维深度图像中查找所有第二像素点。

在S803中，计算各个第二预设范围内的第三像素点个数；每个所述第二预设范围对应一个第二像素点，每个所述第二预设范围对应的区域为：以第二像素点为中心，总像素点个数为n×n的矩形区域；所述第三像素点为第二预设范围对应区域的对角线位置上未缺失深度信息的像素点。

其中，n为正整数。例如，若第二预设范围为3×3的矩形区域，则对角线位置上除第二像素点外共有4个像素点，假设4个像素点中有1个像素点的深度信息缺失，则其余3个像素点均为第三像素点；若第二预设范围为5×5的矩形区域，则对角线位置上除第二像素点外共有8个像素点，假设8个像素点中有2个像素点的深度信息缺失，则其余6个像素点均为第三像素点。

在S804中，根据满足预设条件的各个第二预设范围内的第三像素点的像素点信息，计算各个第四像素点的像素点信息；所述预设条件为第三像素点个数大于预设像素个数；所述第四像素点为满足预设条件的第二预设范围对应的第二像素点。

其中，预设像素个数可以根据实际进行设定。对于满足预设条件的第二预设范围，对应区域内的第三像素点的个数大于预设像素个数。通过预设条件能够对第二像素点进行区分，满足预设条件的第二预设范围对应的第二像素点定义为第四像素点，这部分像素点在该次迭代计算中进行信息补充；不满足预设条件的第二预设范围对应的第二像素点，在该次迭代计算中不进行信息补充。

例如，第二预设范围为3×3的矩形区域，预设像素个数为2，假设一个第二预设范围内第三像素点的个数为3，则该第二预设范围对应的第二像素点记为第四像素点，对该像素点进行计算；假设一个第二预设范围内第三像素点的个数为2，则该第二预设范围对应的第二像素点不为第四像素点，不计算该像素点的信息。

在S805中，根据计算出的各个第四像素点的像素点信息对所述二维深度图像进行信息补充；根据所述人脸三维点云与所述二维深度图像的映射关系和信息补充后的二维深度图像，对所述人脸三维点云进行信息补充。

在S806中，判断信息补充后的人脸三维点云中是否存在深度信息缺失的坐标点，若信息补充后的人脸三维点云中存在深度信息缺失的坐标点，则跳转至建立所述人脸三维点云与所述二维深度图像的映射关系的步骤，根据信息补充后的人脸三维点云进行再次迭代；若信息补充后的人脸三维点云中不存在深度信息缺失的坐标点，则结束迭代。

在本实施例中，若信息补充后的人脸三维点云中存在深度信息缺失的坐标点，则表明通过上次迭代计算，人脸三维点云中的深度信息还没有全部补充，因此跳转到S801的步骤进行再次迭代。若信息补充后的人脸三维点云中不存在深度信息缺失的坐标点，则表明通过上次迭代计算，人脸三维点云中的深度信息全部补充完成，因此结束迭代。

下面结合图9进行示例说明。

由于光线遮挡、空间遮挡、图像解码存在错误等，导致初始生成的人脸三维点云(如图9(a)所示)存在噪声。为保证信息补全后的人脸三维点云的精度，首先对初始的人脸三维点云进行去噪处理(如图9(b)所示)。之后建立去噪处理后的人脸三维点云(图9(b))与二维深度图像(图9(c))的映射关系，其中二维深度图像中像素点的像素信息与人脸三维点云中坐标点的深度信息相对应。遍历二维深度图像(图9(c))，首先查找到缺失深度信息的像素点，再扫描缺失深度信息的像素点周围3×3区域内对角线位置上的像素。如图9(d)所示，★代表正在处理的缺失深度信息的像素点，*代表该像素点的对角线位置的像素点。如果对角线位置的有深度信息的像素点的个数大于3(即第三像素点个数大于预设像素个数，此例中预设像素个数为3)，则该像素点的像素点信息可以根据公式进行计算。

通过上述过程，获得经过一次迭代后部分补全的二维深度图像(图9(e))。通过二维深度图像与人脸三维点云的映射关系，获得部分补全的人脸三维点云(图9(f))。基于上述经过一次迭代后的人脸三维点云，新一轮迭代开始，人脸三维点云被渐进的补全，直到人脸三维点云中的信息完全补充为止。

在S603中，将三维形变模型与信息补充后的人脸三维点云进行拟合，得到所述人脸三维网格。

在本实施例中，通过三维形变模型与信息补充后的人脸三维点云进行拟合，可以得到三维形变模型的模型参数，基于该模型参数的三维形变模型即可得到人脸三维网格。

本实施例通过建立人脸三维点云与二维深度图像的映射关系，根据二维深度图像对人脸三维点云进行信息补充，能够使人脸三维点云中坐标点的信息更加全面，使根据信息补充后的人脸三维点云拟合得到的人脸三维网格的精度提高，进而使得人脸三维网格与人脸二维图像的映射关系更加精准，提高三维人脸贴图的逼真程度。

本发明实施例通过建立第一网格点与人脸二维图像的映射关系，再根据第一网格点与人脸二维图像的映射关系，确定第二网格点与人脸二维图像的映射关系，能够生成完整的人脸三维网格与人脸二维图像的映射关系，根据补全后的映射关系将人脸二维图像用于三维人脸贴图处理，能够实现快速、完整的三维人脸贴图。本发明实施例不需要重新构造纹理图像，使用单幅人脸二维图像即能实现完整逼真的三维人脸贴图，算法复杂度低，能够提高三维人脸贴图的处理速度，提高三维人脸贴图的逼真程度。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例所述的三维人脸贴图方法，图10示出了本发明实施例提供的三维人脸贴图装置的示意图。为了便于说明，仅示出了与本实施例相关的部分。

参照图10，该装置包括获取模块101、建立模块102和处理模块103。

获取模块101，用于获取人脸三维网格和人脸二维图像。

建立模块102，用于建立第一网格点与所述人脸二维图像的映射关系；所述第一网格点为所述人脸三维网格中与所述人脸二维图像存在对应关系的网格点。

处理模块103，用于根据所述第一网格点与所述人脸二维图像的映射关系，确定第二网格点与所述人脸二维图像的映射关系；所述第二网格点为所述人脸三维网格中与所述人脸二维图像不存在对应关系的网格点。

优选地，所述建立模块102用于：

根据所述人脸三维网格对应的人脸三维点云与所述人脸二维图像的映射关系，建立所述第一网格点与所述人脸二维图像的映射关系。

优选地，所述建立模块102用于：

根据所述人脸三维网格的三维人脸特征点信息与所述人脸二维图像的二维人脸特征点信息的映射关系，建立所述第一网格点与所述人脸二维图像的映射关系。

优选地，该装置还包括对比模块。所述对比模块用于：

计算所述人脸三维网格中各个网格的法向量与所述人脸二维图像的视线向量之间的夹角角度；

将计算出的各个夹角角度与预设角度阈值进行对比；

将夹角角度小于所述预设角度阈值的网格对应的网格点判定为所述第一网格点。

优选地，所述处理模块103用于：

查找与所述第一网格点相邻的第二网格点；

根据所述第一网格点与所述人脸二维图像的映射关系和网格模型信息，确定查找到的第二网格点与所述人脸二维图像的映射关系，并将与所述人脸二维图像确定映射关系的第二网格点更新为第一网格点；

判断所述人脸三维网格中是否存在所述第二网格点，若所述人脸三维网格中存在所述第二网格点，则跳转执行所述查找与所述第一网格点相邻的第二网格点的步骤。

优选地，该装置还包括构建模块。所述构建模块用于：

获取人脸三维点云；

建立所述人脸三维点云与二维深度图像的映射关系，根据所述二维深度图像对所述人脸三维点云进行信息补充；所述二维深度图像中各像素点的像素信息与所述人脸三维点云中对应坐标点的深度信息相对应；

将三维形变模型与信息补充后的人脸三维点云进行拟合，得到所述人脸三维网格。

本发明实施例通过建立第一网格点与人脸二维图像的映射关系，再根据第一网格点与人脸二维图像的映射关系，确定第二网格点与人脸二维图像的映射关系，能够生成完整的人脸三维网格与人脸二维图像的映射关系，根据补全后的映射关系将人脸二维图像用于三维人脸贴图处理，能够实现快速、完整的三维人脸贴图。本发明实施例不需要重新构造纹理图像，使用单幅人脸二维图像即能实现完整逼真的三维人脸贴图，算法复杂度低，能够提高三维人脸贴图的处理速度，提高三维人脸贴图的逼真程度。

图11是本发明一实施例提供的三维人脸贴图终端设备的示意图。如图11所示，该实施例的三维人脸贴图终端设备11包括：处理器110、存储器111以及存储在所述存储器111中并可在所述处理器110上运行的计算机程序112，例如三维人脸贴图程序。所述处理器110执行所述计算机程序112时实现上述各个三维人脸贴图方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器110执行所述计算机程序112时实现上述各装置实施例中各模块/单元的功能，例如图10所示模块101至103的功能。

示例性的，所述计算机程序112可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器111中，并由所述处理器110执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序112在所述三维人脸贴图终端设备11中的执行过程。例如，所述计算机程序112可以被分割成获取模块、建立模块和处理模块，各模块具体功能如下：

获取模块，用于获取人脸三维网格和人脸二维图像；

建立模块，用于建立第一网格点与所述人脸二维图像的映射关系；所述第一网格点为所述人脸三维网格中与所述人脸二维图像存在对应关系的网格点；

处理模块，用于根据所述第一网格点与所述人脸二维图像的映射关系，确定第二网格点与所述人脸二维图像的映射关系；所述第二网格点为所述人脸三维网格中与所述人脸二维图像不存在对应关系的网格点。

所述三维人脸贴图终端设备11可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述三维人脸贴图终端设备可包括，但不仅限于，处理器110、存储器111。本领域技术人员可以理解，图11仅仅是三维人脸贴图终端设备11的示例，并不构成对三维人脸贴图终端设备11的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述三维人脸贴图终端设备还可以包括输入输出设备、网络接入设备、总线、显示器等。

所称处理器110可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器111可以是所述三维人脸贴图终端设备11的内部存储单元，例如三维人脸贴图终端设备11的硬盘或内存。所述存储器111也可以是所述三维人脸贴图终端设备11的外部存储设备，例如所述三维人脸贴图终端设备11上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器111还可以既包括所述三维人脸贴图终端设备11的内部存储单元也包括外部存储设备。所述存储器111用于存储所述计算机程序以及所述三维人脸贴图终端设备所需的其他程序和数据。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维人脸贴图方法，其特征在于，包括：

获取人脸三维网格和人脸二维图像；

建立第一网格点与所述人脸二维图像的映射关系；所述第一网格点为所述人脸三维网格中与所述人脸二维图像存在对应关系的网格点；

根据所述第一网格点与所述人脸二维图像的映射关系，确定第二网格点与所述人脸二维图像的映射关系；所述第二网格点为所述人脸三维网格中与所述人脸二维图像不存在对应关系的网格点。

2.如权利要求1所述的三维人脸贴图方法，其特征在于，所述建立第一网格点与人脸二维图像的映射关系包括：

根据所述人脸三维网格对应的人脸三维点云与所述人脸二维图像的映射关系，建立所述第一网格点与所述人脸二维图像的映射关系。

3.如权利要求1所述的三维人脸贴图方法，其特征在于，所述建立第一网格点与所述人脸二维图像的映射关系包括：

根据所述人脸三维网格的三维人脸特征点信息与所述人脸二维图像的二维人脸特征点信息的映射关系，建立所述第一网格点与所述人脸二维图像的映射关系。

4.如权利要求1所述的三维人脸贴图方法，其特征在于，在所述获取人脸三维网格和人脸二维图像之后，所述建立第一网格点与所述人脸二维图像的映射关系之前，还包括：

计算所述人脸三维网格中各个网格的法向量与所述人脸二维图像的视线向量之间的夹角角度；

将计算出的各个夹角角度与预设角度阈值进行对比；

将夹角角度小于所述预设角度阈值的网格对应的网格点判定为所述第一网格点。

5.如权利要求1所述的三维人脸贴图方法，其特征在于，所述根据所述第一网格点与所述人脸二维图像的映射关系，确定第二网格点与所述人脸二维图像的映射关系包括：

查找与所述第一网格点相邻的第二网格点；

根据所述第一网格点与所述人脸二维图像的映射关系和网格模型信息，确定查找到的第二网格点与所述人脸二维图像的映射关系，并将与所述人脸二维图像确定映射关系的第二网格点更新为第一网格点；

判断所述人脸三维网格中是否存在所述第二网格点，若所述人脸三维网格中存在所述第二网格点，则跳转执行所述查找与所述第一网格点相邻的第二网格点的步骤。

6.如权利要求1至5任一项所述的三维人脸贴图方法，其特征在于，在所述获取人脸三维网格和人脸二维图像之前，还包括：

获取人脸三维点云；

建立所述人脸三维点云与二维深度图像的映射关系，根据所述二维深度图像对所述人脸三维点云进行信息补充；所述二维深度图像中各像素点的像素信息与所述人脸三维点云中对应坐标点的深度信息相对应；

将三维形变模型与信息补充后的人脸三维点云进行拟合，得到所述人脸三维网格。

7.一种三维人脸贴图装置，其特征在于，包括：

获取模块，用于获取人脸三维网格和人脸二维图像；

建立模块，用于建立第一网格点与所述人脸二维图像的映射关系；所述第一网格点为所述人脸三维网格中与所述人脸二维图像存在对应关系的网格点；

处理模块，用于根据所述第一网格点与所述人脸二维图像的映射关系，确定第二网格点与所述人脸二维图像的映射关系；所述第二网格点为所述人脸三维网格中与所述人脸二维图像不存在对应关系的网格点。

8.如权利要求7所述的三维人脸贴图装置，其特征在于，所述建立模块用于：

根据所述人脸三维网格对应的人脸三维点云与所述人脸二维图像的映射关系，建立所述第一网格点与所述人脸二维图像的映射关系。

9.一种三维人脸贴图终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。