CN114519761A - 一种人脸纹理图的生成方法、装置、存储介质及设备 - Google Patents

Abstract

本申请提供一种人脸纹理图的生成方法、装置、存储介质及设备，所述人脸纹理图的生成方法包括：获取输入图像中的人脸图像；根据预设的人脸拓扑结构，生成所述人脸的人脸网格；根据所述人脸网格上的点在所述输入图像中对应的像素值，以及所述人脸网格上的点在人脸纹理图上对应的纹理坐标，生成所述人脸图像的初始纹理图；通过神经网络模型对所述初始纹理图进行纹理填充，生成目标纹理图。由于人脸纹理图具有高度的规律性，神经网络模型在纹理填充处理上具有很好的效果，本方法生成的人脸纹理图贴合现实，效果优益，而且，本方法对图像的要求比较低，对操作人员的经验要求也比较低。

Description

一种人脸纹理图的生成方法、装置、存储介质及设备

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种人脸纹理图的生成方法、装置、存储介质及设备。

背景技术

目前，市面上存在着很多种涉及人脸的应用产品，其中，涉及二维人脸的应用包括了从人脸检测识别到人脸生成等各种应用，应用的丰富程度较高，而涉及三维人脸的应用则不如二维人脸般应用广泛，普及程度较低。而限制三维人脸普及的原因主要是在可驱动性、点云精度以及纹理精度等方面上的技术还不够成熟。

构建一个完整的三维人脸模型，需要人脸网格和人脸纹理相互配合。其中，人脸网格是指人脸的空间结构，其可以由一系列带坐标的点和点连接形成的面组成，用于描述人脸形状，一般使用点云表示。而人脸纹理则是指人脸的颜色分布，其可以由纹理坐标和纹理图组成，用于描述人脸颜色，一般使用人脸纹理图表示。其中，纹理坐标与人脸网格的各个点一一对应，用于描述每个点对应在人脸纹理图中的坐标位置，而人脸纹理图在各个坐标位置上的像素则表示人脸上对应的点所处位置的颜色。

由于一个摄像机同一时间只能采集到人脸的一个方向的图像，因此，一般需要基于多个不同方向的摄像机采集的多张人脸图像，来生成人脸纹理图。但是，实际应用中只有一个普通的摄像头的场景更加常见，而这种场景下不适合使用多张人脸图像生成人脸纹理图的方法。

而如果只使用单张图像来生成人脸纹理图，难免会出现不可见的区域，例如鼻翼两侧等位置，因此，还需要人脸纹理图中对图像中没出现的区域进行纹理填充。现有技术中一般是利用泊松融合的方法进行纹理填充，但是这种方法对图像的要求比较高，需要图像满足一定的条件才能达到较好的填充效果，即对操作人员选取图像的经验具有较高的要求。

发明内容

为克服相关技术中存在的问题，本申请提供一种人脸纹理图的生成方法、装置、存储介质及设备，用以解决相关技术中的缺陷。

根据本申请的第一方面，提供一种人脸纹理图的生成方法，所述方法包括：

获取输入图像中的人脸图像；

根据预设的人脸拓扑结构，生成所述人脸的人脸网格；

根据所述人脸网格上的点在所述输入图像中对应的像素值，以及所述人脸网格上的点在人脸纹理图上对应的纹理坐标，生成所述人脸图像的初始纹理图；

通过神经网络模型对所述初始纹理图进行纹理填充，生成目标纹理图。

根据本申请的第二方面，提供一种人脸纹理图的生成装置，所述装置包括：

图像输入模块，用于获取输入图像中的人脸图像；

网格生成模块，用于根据预设的人脸拓扑结构，生成所述人脸的人脸网格；

纹理图生成模块，用于根据所述人脸网格上的点在所述输入图像中对应的像素值，以及所述人脸网格上的点在人脸纹理图上对应的纹理坐标，生成所述人脸图像的初始纹理图；

纹理填充模块，用于通过神经网络模型对所述初始纹理图进行纹理填充，生成目标纹理图。

根据本申请的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意实施例所述的方法。

根据本申请的第四方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意实施例所述的方法。

本申请所述的人脸纹理图的生成方法通过使用训练好的神经网络模型进行人脸纹理图的纹理填充处理，可以根据一张图像直接填充出完整的人脸纹理图。而且，对于同一个拓扑结构，其生成的人脸网格上各个点在人脸纹理图上对应的位置是固定的，虽然对于不同脸型的人脸生成的人脸网格上的点的空间位置可能发生变化，但是由于每个点对应的纹理坐标都是一致的，所以所有人脸纹理图中人脸上各个部位的分布会满足一定的规律，例如说所有人脸纹理图中人的眼睛、鼻子以及嘴巴所在的位置都是固定的，因此，在人脸纹理图具有高度的规律性的情况下，训练出的神经网络模型在纹理填充处理上具有很好的效果，因此，本申请所述方法生成的人脸纹理图贴合现实，效果优益，因此，利用本申请生成的人脸纹理图构建的三维人脸模型也具有较好的效果。而且，由于本申请是通过神经网络模型进行纹理填充的，因此，本申请的人脸纹理图生成方法对图像的要求比较低，对操作人员的经验要求也比较低。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

图1是本申请示出的一个三维人脸模型的点云、三角面片、纹理坐标和人脸纹理图的示意图。

图2是本申请示出的一个由人脸网格和人脸纹理图生成的三维人脸模型的示意图。

图3是本申请一示例性实施例示出的一种人脸纹理图的生成方法的流程图。

图4是本申请一示例性实施例示出的生成目标人脸的人脸网格的示意图。

图5是本申请一示例性实施例示出的基于输入图像中完整的人脸图像生成的初始纹理图的示意图。

图6是本申请一示例性实施例示出的分割出输入图像中的人脸图像的示意图。

图7是本申请一示例性实施例示出的基于人脸分割后的人脸图像生成的初始纹理图的示意图。

图8是本申请一示例性实施例示出的目标纹理图的示意图。

图9是本申请一示例性实施例示出的由目标纹理图生成的三维人脸模型的示意图。

图10是本申请一示例性实施例示出的生成式对抗网络的示意图。

图11是本申请一示例性实施例示出的一种人脸纹理图的生成装置的框图。

图12是本申请一示例性实施例示出的一种计算设备硬件的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

接下来根据示出的一些实施例对本申请提出的一种数据增强方法进行详细说明。

在本申请中，人脸网格是指由一系列空间中的点和面组成的网格结构，用于表示三维人脸模型的空间结构。人脸网格可以通过点云和三角面片表示。点云是指目标表面特性的海量数据点的集合。在获取目标人脸表面每个采样点的空间坐标后，可以构成一个具有三维空间坐标的点的集合，即为点云。由于点云中的点分别与目标人脸表面的各个采样点一一对应，点云中的所有点组成的空间模型可以表现出目标人脸的空间结构。一般来说，点云中的点至少包括三维空间信息，特别地，根据测量原理或生成方法的不同，点云中的点还可以携带颜色信息和激光反射强度等信息。点云的表现效果根据采样点的数量和密度的不同而不同，例如，数量更多、分布更加密集的点云的表现效果更好，其表现出来的三维模型更加贴近目标物体的真实结构。然而，点的数量的增加也必然会导致数据量的增加，处理点云数据时的计算量也就更大，当数据量大到一定程度时，反而会限制了点云数据的使用范围。因此，点云中的采样点的数量和密度应当根据需求进行设置。而三角面片则是指由点云中相邻的三个点彼此之间相互连接形成的三角形的面片。在人脸网格中，点云中的点只是离散的点，而点云中的所有点可以按照一定的规则相互连接，形成一个由一系列三角面片组成表面的，呈现出人脸形状的三维立体模型。

在本申请中，人脸纹理图是指将人脸的表面纹理按一定的规律排列形成的图像，用于表示三维人脸模型的纹理特征。人脸纹理图中的点可以对应有一个纹理坐标，该纹理坐标用于表示三维人脸模型中的点在人脸纹理图上对应的点的空间坐标。通过纹理坐标，可以将人脸网格上的点与人脸纹理图上的点一一对应，而人脸网格上每三个点可以连接形成一个三角面片，与之相对的，人脸纹理图上对应的三个点也可以连接形成一个对应的三角区域，通过一定的放缩形变，可以将人脸纹理图上的一个三角区域中的纹理图像映射到人脸网格上的三角面片上，即可以使人脸纹理图上的纹理贴到三维人脸模型上的对应位置，最终形成一个带有完整纹理特征的三维人脸模型。

如图1所示，图1是本申请示出的一个三维人脸模型的点云、三角面片、纹理坐标和人脸纹理图的示意图。其中，图(1-1)是点云的示意图，图(1-2)是三角面片的示意图，图(1-3)是纹理坐标的示意图，图(1-4)是人脸纹理图的示意图。

在图(1-1)中，由在人脸表面采样得到的一系列离散的点组成了三维人脸模型。值得注意的是，不同区域中点的数量和分布密度是不同的。在结构比较复杂的区域，例如眼睛、鼻子和耳朵等区域中，点的数量相对更多、分布相对更密集；而在结构比较简单的区域，例如脸部、额头和头顶等区域中，点的数量相对更少、分布也相对更稀疏。

在图(1-2)中，由图(1-1)中的点云中的各个点按一定的规则连接在一起，其中，相邻的每三个点相互连接形成一个三角面片，所有点连接后则形成一个由三角面片组成的三维人脸模型。

在图(1-3)中，图(1-1)中的点云中的各个点分别对应在人脸纹理图的不同位置，即纹理坐标上。同样地，人脸纹理图中，不同纹理区域中纹理坐标的数量和分布密度也是不同的。在结构比较复杂的纹理区域，例如眼睛、鼻子和耳朵等纹理区域中，纹理坐标的数量相对更多、分布相对更密集；而在结构比较简单的纹理区域，例如脸部、额头和头顶等纹理区域中，纹理坐标的数量相对更少、分布也相对更稀疏。

在图(1-4)中，人脸上不同区域的纹理特征按照一定的规则分布在一张长方形的图像上，例如，带五官的正脸分布在图像的中间，人的头顶和头的后部则被分成左右两半，分别围绕着中间的正脸分布在图像的上半部分的两侧，而两只眼睛的纹理还分布在图像的左上角和右上角处，与大部分纹理区域分离。

一般来说，人脸网格只能表现出人脸的空间结构，而无法表现出人脸的纹理特征，例如眼睛、皮肤的颜色等。由于缺乏纹理特征，只通过人脸网格构成的三维人脸模型更接近于人脸石膏模型。而通过人脸网格和人脸纹理图构成的三维人脸模型不仅能表现出人脸的形状，还能表现出人脸的表面纹理特征，更加贴近真实的人脸。

如图2所示，图2是本申请示出的一个由人脸网格和人脸纹理图生成的三维人脸模型的示意图。其中，图(2-1)示出了显示人脸网格时贴了人脸纹理的三维人脸模型的正视图，图(2-2)、图(2-3)和图(2-4)则分别示出了不显示人脸网格时贴了人脸纹理的三维人脸模型的正视图、左视图和右视图。与单纯由人脸网格形成的三维人脸模型相比，贴了人脸纹理的三维人脸模型精确地表现出了人脸的眼睛、肤色等特征，更加地贴近真实的人脸。

在本申请中，人脸拓扑结构是指具有指定数量和位置关系的点云的人脸网格结构集合。一个人脸拓扑结构可以对应不同的多个人脸，人脸拓扑结构仅指定人脸上采样点的数量、采样点在人脸上的位置和采样点间的位置关系(即不同的采样点之间的连接关系)，而不指定形成的人脸网格的大小和形状。长相不同，比如一胖一瘦的两个人脸，可以使用同一个人脸拓扑结构，形成对应的两个不同的人脸网格，两个人脸网格可以构成两个不同的三维人脸模型，但是两个人脸网格中采样点的数量、采样点在人脸上的位置和采样点间的位置关系都是相同的。例如，使用同一个人脸拓扑结构T形成的两个不同的人脸网格M1和M2，其中，M1中存在10000个采样点，包括位于左眼左眼角的p1-1、位于左眼瞳孔的p1-2、以及位于左眼右眼角的p1-3；同样的，M2中也存在10000个采样点，包括位于左眼左眼角的p2-1、位于左眼瞳孔的p2-2、以及位于左眼右眼角的p2-3；而且，在M1中，p1-2分别与p1-1和p1-3相连接，在M2中，p2-2也分别与p2-1和p2-3相连接；即由于M1和M2由同一个人脸拓扑结构T生成，M1中的采样点和M2中的采样点存在着明显的对应关系。人脸拓扑结构中的采样点可以携带语义标签，例如表示左眼眼角的点、表示鼻尖的点、表示上嘴唇的第二个点等，而根据点的语义标签，可以确定每个采样点在不同人脸上的位置。而由于不同的人脸都具有相似的五官结构，例如都具有两个眼睛，分别位于上半脸的左右两边等，因此一个人脸拓扑结构可以使用于不同的人脸。

由于对于同一个人脸拓扑结构，不同的人脸网格中采样点的数量、采样点在人脸上的位置和采样点间的位置关系都是相同的，因此不同的人脸网格中由采样点形成的三角面片在人脸上的位置和彼此间的位置关系也都是相同的，而且采样点在对应的人脸纹理图上的纹理坐标也都是相同的。因此，使用同一个人脸拓扑结构对不同的人脸生成的不同的人脸模型，各自对应的人脸纹理图虽然不同，但是人脸上各个部位在不同的人脸纹理图上对应的位置是基本一致的，例如不同的人脸纹理图上，眼睛对应的纹理特征均位于人脸纹理图的左上角和右上角处。

由于一张二维图像上携带的信息是有限的，往往只能表现出正面看得到的人脸特征，因此，如果只使用单张图像来生成人脸纹理图，难免会出现不可见的区域，例如鼻翼两侧等位置。因此，在通过单张图像生成人脸纹理图的过程中，还需要人脸纹理图中对图像中没出现的人脸区域进行纹理填充。而由于对于同一个人脸拓扑结构，不同的人脸生成的人脸纹理图上各个纹理特征对应的位置基本较为固定，可以预见的是，不同的人脸纹理图将具有高度的规律性。因此，可以想到不同人脸生成的人脸纹理图的纹理填充过程是可以通过大量的学习来获得一个可靠性较高的纹理填充方法的。因此，可以使用神经网络模型来执行单张图像生成人脸纹理图中纹理填充的步骤。

接下来，本申请将根据一示例性实施例示出一种人脸纹理图的生成方法。

如图3所示，图3是本申请一示例性实施例示出的一种人脸纹理图的生成方法的流程图，包括以下步骤：

步骤S301，获取输入图像中的人脸图像；

步骤S302，根据预设的人脸拓扑结构，生成该人脸的人脸网格；

步骤S303，根据人脸网格上的点在输入图像中对应的像素值，以及人脸网格上的点在人脸纹理图上对应的纹理坐标，生成该人脸图像的初始纹理图；

步骤S304，通过神经网络模型对初始纹理图进行纹理填充，生成目标纹理图。

在步骤S301中，输入图像中至少包含人脸的图像，该人脸可以视为目标人脸；且输入图像应该是带有颜色信息的RGB图像，其能够正确的反映出人脸的纹理特征，例如眼睛的颜色、皮肤的颜色和嘴巴的颜色等。

在步骤S302中，使用预设的人脸拓扑结构，并基于输入图像中的人脸图像，生成目标人脸的人脸网格，即确定人脸拓扑结构中各个采样点在人脸图像中对应的位置，以获取该采样点对应的纹理特征。如图4所示，图4是本申请一示例性实施例示出的生成目标人脸的人脸网格的示意图，其中，图(4-1)是带有目标人脸的图像的输入图像，图(4-2)是根据人脸拓扑结构，以及输入图像中的人脸图像，生成的目标人脸的人脸网格，而且人脸网格与输入图像中的人脸图像对齐。

在本申请的人脸纹理图的生成方法中，所使用的人脸拓扑结构可以是现有的人脸拓扑结构，也可以是针对该人脸纹理图的生成方法而设计的人脸拓扑结构，其既可以是开源的人脸拓扑结构，也可以是非开源的人脸拓扑结构，只要其具备本申请的人脸拓扑结构的基本特征即可，本申请对此不做限定。而且，由于在输入图像上进行的纹理采样主要依赖于人脸拓扑结构中采样点的数量和分布结构，因此，所使用的人脸拓扑结构将直接影响生成的人脸纹理图的纹理精度，应当更具需求进行选取和设置。

具体地，所使用的人脸拓扑结构应当具有完整头部拓扑结构，即采样点分布在整个头部结构上。

具体地，所使用的人脸拓扑结构还应当具有纹理模型，即采样点在人脸纹理图存在对应的纹理坐标。

值得注意的是，每次生成人脸纹理图的过程中，所使用的人脸拓扑结构应该都是同一个人脸拓扑结构，以保证生成结果的可靠性；而当需要更改人脸拓扑结构时，也应当重新对进行纹理填充的神经网络模型进行训练。

在一些实施例中，生成目标人脸的人脸网格的具体方式可以是，将预设的人脸拓扑结构与输入图像中的人脸图像进行拟合，从而生成目标人脸的人脸网格。根据人脸拓扑结构中部分采样点的语义，可以在输入图像中匹配到对应的像素点，即将人脸拓扑结构的采样点和输入图像的像素点进行拟合，从而确定部分采样点的位置，进而确定部分采样点的空间结构，例如人脸正面上采样点的空间结构。而在确定了部分采样点的空间结构后，可以根据人脸拓扑结构中采样点的相对位置关系，相应的调整其他采样点的位置，最终获得目标人脸的人脸网格。

在一些实施例中，还可以是通过深度学习回归的方式生成目标人脸的人脸网格。本申请对于如何根据人脸拓扑结构生成输入图像中的目标人脸的人脸网格的具体方式不做限定。

在步骤S303中，人脸网格上的采样点能够投影到输入图像对应的像素点上，并获取输入图像上该像素点的RGB值，即纹理特征，再根据人脸网格上的采样点在人脸纹理图上对应的纹理坐标，将该采样点获取的纹理特征赋值到人脸纹理图上该纹理坐标指定的位置，最终生成该人脸图像的初始纹理图。

在本申请中，初始纹理图是指根据输入图像初步生成的人脸纹理图，由于输入图像上存在许多缺失的纹理数据，例如鼻翼两侧处的纹理特征，初始纹理图是不完整的人脸纹理图，其上存在许多空缺区域，因此还需要通过进一步的纹理填充，才能生成完整的人脸纹理图。

由于二维图像的局限性，在输入图像上获取的纹理特征可能存在错误，以致成为干扰信息。尤其是位于人脸的轮廓周围的纹理特征，可能由于深度信息的缺失，导致获取的纹理特征不够理想。如图5所示，图5是本申请一示例性实施例示出的基于输入图像中完整的人脸图像生成的初始纹理图的示意图，其中，图(5-1)是基于输入图像中完整的人脸图像生成的初始纹理图，图(5-2)、图(5-3)和图(5-4)则分别是将该初始纹理图贴到人脸网格上形成的三维人脸模型的正视图、左视图和右视图。从图5中可以看出，基于输入图像中完整的人脸图像生成的初始纹理图在脸部轮廓四周、脖子区域和头发区域的纹理特征出现了很多错误的干扰信息，而由于输入图像中人脸正面获取到的正确信息比较多，由该初始纹理图贴到人脸网格上形成的三维人脸模型的正视图效果比较好，但是其左右视图上可以看到很多错误的干扰信息导致的不好的影响，使得该初始纹理图即使通过纹理填充后也无法输出为合适的人脸纹理图。

在一些实施例中，为了避免出现干扰信息，可以在获取输入图像时，通过人脸分割模型等手段从输入图像中分割处人脸图像，而摒弃掉输入图像中处人脸图像外的其他区域信息；而在生成初始纹理图时，只有当人脸网格上的采样点在输入图像上投影所在的像素点落入分割出来的人脸图像内时，才将采样点获取的纹理特征赋值到初始纹理图中。

其中，在一些实施例中，可以使用人脸掩具实现输入图像中人脸图像和非人脸图像的分割和判定。如图6所示，图6是本申请一示例性实施例示出的分割出输入图像中的人脸图像的示意图，其中，图(6-1)是具有完整的人脸图像的输入图像，图(6-2)是通过人脸分割模型生成的人脸掩具，图(6-3)是分割后的人脸图像。其中，人脸掩具通过人脸分割模型划出输入图像中的人脸轮廓，再将位于轮廓外部的区域全部赋值为掩盖色，从而将人脸掩具覆盖到输入图像上后，掩盖色会将输入图像中非人脸图像的区域进行掩盖，使得只输入图像中只保留分割出来的人脸图像。而在判断人脸网格上的采样点在输入图像上投影所在的像素点是否落入分割出来的人脸图像内时，可以根据该像素点落入人脸掩具中的哪个区域确定。当该像素点落入人脸轮廓内部区域时，将采样点获取的纹理特征赋值到初始纹理图中；而当该像素点落入人脸轮廓外部区域时，则不将采样点获取的纹理特征赋值到初始纹理图中。

如图7所示，图7是本申请一示例性实施例示出的基于人脸分割后的人脸图像生成的初始纹理图的示意图。与图5的初始纹理图相比，图7的初始纹理图少了很多错误的干扰信息。

在步骤S304中，由于人脸纹理图具有高度的规律性，可以通过神经网络模型对初始纹理图进行纹理填充，生成目标纹理图。

在本申请中，所使用神经网络模型是预先训练好的用于进行纹理填充的神经网络模型，在输入一张不完整的初始人脸纹理图后，可以输出一张完整的目标人脸纹理图。而且，由于人脸纹理图具有高度的规律性，经过训练后的神经网络模型一般都能够具有较好的纹理填充效果。而且通过神经网络进行纹理填充，一方面其获得的完整纹理图的纹理填充效果较好，处理速度也很快，另一方，由于不需要人工进行纹理填充处理，对输入图像的要求也比较低，因此适合广泛的应用。

如图8所示，图8是本申请一示例性实施例示出的目标纹理图的示意图。与图7所示的初始纹理图相比，目标纹理图对目标人脸地双耳以及头部地周边区域进行了填充，形成了一张完整地人脸纹理图。

如图9所示，图9是本申请一示例性实施例示出的由目标纹理图生成的三维人脸模型的示意图，其中，图(9-1)是正视图，图(9-2)是侧视图。从图9可见，经过纹理填充后的目标人脸纹理图不管是正视图，还是侧视图均有了优秀的表现。

在一些实施例中，进行纹理填充的神经网络模型可以是生成式对抗网络模型。

具体地，如图10所示，图10是本申请一示例性实施例示出的生成式对抗网络的示意图。其中，该生成式对抗网络包括生成器和判别器。其中，生成器用于生成不完整的人脸纹理图；而判别器用于判别生成器生成的不完整的人脸纹理图是否为真的人脸纹理图。

而将不完整的人脸纹理图逆向输入到生成器中，则可以生成与之对应的完整的人脸纹理图。

具体地，在步骤S304中，可以将初始纹理图逆向输入到生成式对抗网络的生成器中，从而生成完整的目标纹理图。

在一些实施例中，生成器生成不完整的人脸纹理图的具体操作可以是，先基于预设的人脸拓扑结构，生成随机的人脸纹理图；再在该随机人脸纹理图上随机填充掩盖色，从而生成不完整的人脸纹理图。

值得注意的是，在生成器中用于生成随机人脸纹理图的人脸拓扑结构，应当与步骤S302中的人脸拓扑结构相同，以使得生成器生成的人脸纹理图和本申请方法实施例生成的人脸纹理图具有较高的相似性，训练出的生成式对抗网络可以用于进行纹理填充。

在一些实施例中，判别器判别生成器生成的不完整的人脸纹理图是否为真的人脸纹理图的具体操作可以是，根据生成器生成的不完整的人脸纹理图是否符合人脸拓扑结构对应的纹理模型，从而确定该不完整的人脸纹理图是否为真的人脸纹理图。

值得注意的是，判别器所使用的人脸拓扑结构，应当与生成器所使用的人脸拓扑结构相同，即也应当与步骤S302中的人脸拓扑结构相同。

与前文所述的人脸纹理图的生成方法实施例相对应，本申请还提供一种人脸纹理图的生成装置。

如图11所示，图11是本申请一示例性实施例示出的一种人脸纹理图的生成装置的框图，包括以下模块：

图像输入模块1110，用于获取输入图像中的人脸图像；

网格生成模块1120，用于根据预设的人脸拓扑结构，生成该人脸的人脸网格；

纹理图生成模块1130，用于根据人脸网格上的点在输入图像中对应的像素值，以及人脸网格上的点在人脸纹理图上对应的纹理坐标，生成该人脸图像的初始纹理图；

纹理填充模块1140，用于通过神经网络模型对初始纹理图进行纹理填充，生成目标纹理图。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的方法。

图12示出了本申请所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器1201、存储器1202、输入/输出接口1203、通信接口1204和总线1205。其中处理器1201、存储器1202、输入/输出接口1203和通信接口1204通过总线1205实现彼此之间在设备内部的通信连接。

处理器1201可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。处理器1201还可以包括显卡，所述显卡可以是Nvidia titan X显卡或者1080Ti显卡等。

存储器1202可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1202可以存储操作系统和其他应用程序，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1202中，并由处理器1201来调用执行。

输入/输出接口1203用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1204用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1205包括一通路，在设备的各个组件(例如处理器1201、存储器1202、输入/输出接口1203和通信接口1204)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1201、存储器1202、输入/输出接口1203、通信接口1204以及总线1205，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或子模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本申请方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种人脸纹理图的生成方法，其特征在于，所述方法包括：

获取输入图像中的人脸图像；

根据预设的人脸拓扑结构，生成所述人脸的人脸网格；

根据所述人脸网格上的点在所述输入图像中对应的像素值，以及所述人脸网格上的点在人脸纹理图上对应的纹理坐标，生成所述人脸图像的初始纹理图；

通过神经网络模型对所述初始纹理图进行纹理填充，生成目标纹理图。

2.根据权利要求1所述的方法，其特征在于，所述根据预设的人脸拓扑结构，生成所述人脸的人脸网格，具体为：

使用预设的人脸拓扑结构与所述人脸图像进行拟合，生成所述人脸的人脸网格。

3.根据权利要求1所述的方法，其特征在于，所述获取输入图像中的人脸图像，具体为：

通过人脸分割模型从所述输入图像中分割出人脸图像；

所述根据所述人脸网格上的点在所述输入图像中对应的像素值，以及所述人脸网格上的点在人脸纹理图上对应的纹理坐标，生成所述人脸图像的初始纹理图，具体为：

当所述人脸网格上的点在所述输入图像中的投影在所述人脸图像内时，根据所述人脸网格上的点在所述输入图像中对应的像素值，以及所述人脸网格上的点在人脸纹理图上对应的纹理坐标，生成所述人脸图像的初始纹理图。

4.根据权利要求1所述的方法，其特征在于，所述神经网络模型为生成式对抗网络模型。

5.根据权利要求4所述的方法，其特征在于，所述生成式对抗网络包括生成器和判别器；

所述生成器用于生成不完整的人脸纹理图；

所述判别器用于判别所述不完整的人脸纹理图是否为真的人脸纹理图；

所述通过神经网络模型对所述初始纹理图进行纹理填充，生成目标纹理图，具体为：

将所述初始纹理图逆向输入所述生成器，生成目标纹理图。

6.根据权利要求5所述的方法，其特征在于，所述生成器生成不完整的人脸纹理图的步骤具体包括：

基于所述人脸拓扑结构，生成随机人脸纹理图；

在所述随机人脸纹理图上随机填充掩盖色，生成不完整的人脸纹理图。

7.根据权利要求5所述的方法，其特征在于，所述判别器根据所述生成器生成的不完整的人脸纹理图是否符合所述人脸拓扑结构对应的纹理模型确定所述不完整的人脸纹理图是否为真的人脸纹理图。

8.一种人脸纹理图的生成装置，其特征在于，所述装置包括：

图像输入模块，用于获取输入图像中的人脸图像；

网格生成模块，用于根据预设的人脸拓扑结构，生成所述人脸的人脸网格；

纹理图生成模块，用于根据所述人脸网格上的点在所述输入图像中对应的像素值，以及所述人脸网格上的点在人脸纹理图上对应的纹理坐标，生成所述人脸图像的初始纹理图；

纹理填充模块，用于通过神经网络模型对所述初始纹理图进行纹理填充，生成目标纹理图。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-7任意一项所述的方法。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任意一项所述的方法。

Images