CN117315115A - 基于透明度纹理贴图的头发重建方法及电子设备 - Google Patents

Abstract

本申请涉及虚拟人的三维重建技术领域，提供一种基于透明度纹理贴图的头发重建方法及电子设备，将预先生成的人脸基础模型与标准头发模型绑定蒙皮权重，这样，在根据单张正面人脸图像中提取的形状参数和表情参数对人脸基础模型进行变形时，能够获得与个性化的人脸模型匹配的初始头发模型，并根据正面人脸图像，生成带透明度的正面纹理图像和背面纹理图像，借助三维渲染引擎对透明度纹理贴图的支持，按照人脸模型与正面人脸图像间的投影矩阵，直接使用正面纹理图像对初始头发模型的正面区域进行渲染，使用背面纹理图像对初始头发模型的背面区域进行渲染，使得初始头发模型中带透明度的面片不可见，从得到个性化目标头发模型。

Description

基于透明度纹理贴图的头发重建方法及电子设备

技术领域

本申请涉及虚拟人的三维重建技术领域，提供一种基于透明度纹理贴图的头发重建方法及电子设备。

背景技术

在基于单目图像的人脸三维重建中，人脸三维模型的重建方法已经较为成熟，大多数是基于真人人脸数据集通过PCA降维的方式得到人脸基础模型，通过分析输入的单张人脸图像，估计出变形参数驱动人脸基础模型进行变形，从而得到个性化的3D人脸模型。

然而，要生成完整的虚拟数字人，除了3D人脸模型外，3D头发模型也是不可或缺的一部分，因此，如何快速高效的重建出高精度的3D头发模型，直接影响了虚拟数字人的重建质量。

发明内容

本申请实施例提供了一种基于透明度纹理贴图的头发重建方法及电子设备，用于生成个性化的3D头发模型。

一方面，本申请实施例提供一种基于透明度纹理贴图的头发重建方法，包括：

根据目标对象的正面人脸图像中提取的形状参数和表情参数，对人脸基础模型进行变形，获得个性化的人脸模型，以及所述人脸模型与所述正面人脸图像间的投影矩阵；其中，对所述人脸基础模型变形的过程中，根据所述人脸基础模型与标准头发模型间已绑定的蒙皮权重，同时对匹配的标准头发模型进行变形，获得初始头发模型；

按最大分型面，将所述初始头发模型分为正面区域和背面区域；

根据所述正面人脸图像，生成带透明度的正面纹理图像和背面纹理图像；

根据所述投影矩阵，从所述正面纹理图像中获取颜色值对所述正面区域进行纹理贴图，以及，从所述背面纹理图像中获取颜色值对所述背面区域进行纹理贴图，得到目标头发模型。

另一方面，本申请实施例一种电子设备，包括处理器、存储器和通信接口，所述通信接口、所述存储器和所述处理器通过总线连接；

所述通信接口用于在虚拟社交场景中进行数据传输；

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

根据目标对象的正面人脸图像中提取的形状参数和表情参数，对人脸基础模型进行变形，获得个性化的人脸模型，以及所述人脸模型与所述正面人脸图像间的投影矩阵；其中，对所述人脸基础模型变形的过程中，根据所述人脸基础模型与标准头发模型间已绑定的蒙皮权重，同时对匹配的标准头发模型进行变形，获得初始头发模型；

按最大分型面，将所述初始头发模型分为正面区域和背面区域；

根据所述正面人脸图像，生成带透明度的正面纹理图像和背面纹理图像；

根据所述投影矩阵，从所述正面纹理图像中获取颜色值对所述正面区域进行纹理贴图，以及，从所述背面纹理图像中获取颜色值对所述背面区域进行纹理贴图，得到目标头发模型。

另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本申请实施例提供的基于透明度纹理贴图的头发重建方法的步骤。

本申请实施例提供的基于透明度纹理贴图的头发重建方法及电子设备，将预先生成的人脸基础模型与标准头发模型绑定蒙皮权重，这样，在根据单张正面人脸图像中提取的形状参数和表情参数对人脸基础模型进行变形时，能够获得与个性化的人脸模型匹配的初始头发模型，并根据正面人脸图像，生成带透明度的正面纹理图像和背面纹理图像，借助三维渲染引擎对透明度纹理贴图的支持，按照人脸模型与正面人脸图像间的投影矩阵，直接使用正面纹理图像对初始头发模型的正面区域进行渲染，使用背面纹理图像对初始头发模型的背面区域进行渲染，使得初始头发模型中带透明度的面片不可见，从得到个性化目标头发模型。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于透明度纹理贴图的头发重建方法的整体架构图；

图2A为本申请实施例提供的标准头发模型和人脸基础模型的侧面几何示意图；

图2B为本申请实施例提供的标准头发模型和人脸基础模型的正面几何示意图；

图3为本申请实施例提供的基于透明度纹理贴图的头发重建方法的流程图；

图4为本申请实施例提供的生成个性化的人脸模型的方法流程图；

图5为本申请实施例提供的68个2D人脸关键点示意图；

图6为本申请实施例提供的生成带透明度的正面纹理图像的方法流程图；

图7为本申请实施例提供的生成带透明度的正面纹理图像的过程示意图；

图8为本申请实施例提供的发梢检测示意图；

图9为本申请实施例提供的生成带透明度的背面纹理图像的方法流程图；

图10为本申请实施例提供的生成带透明度的背面纹理图像的过程示意图；

图11为本申请实施例提供的3D头发模型的效果图；

图12为本申请实施例提供的基于透明度纹理贴图的头发重建方法的虚拟社交场景过程示意图；

图13为本申请实施例提供的电子设备的结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

基于单目人脸图像完成人脸三维重建后，需要继续对头发进行三维重建才能获得完整的虚拟数字人模型。目前，3D头发模型的重建方法主要有以下几种：

(1)通过美工制作几款标准的头发模型，如短发、长发、刘海、卷发等模型，供用户自行挑选使用。然而，这种方法重建的发型资源有限，无法满足用户个性化的需求。

(2)收集开源发型数据库，给每一款发型创建标签(如长发、短发、直发、弯发等)，形成特征向量，然后根据用户图像识别头发的标签信息，并根据标签信息从发型数据库中匹配最佳发型。然而，这种方法需要较为复杂的打标签过程，且存储发型数据库也需占用大量的内存空间。

(3)采用深度学习技术，直接生成头发的发丝发束表达，但是发丝发束的学习过于繁重，而并非所有的渲染引擎都能够支持，且在实际使用时，仍需转换成面片表达，增加了大量的运算时间。

鉴于此，本申请实施例提供一种基于透明度纹理贴图的头发重建方法及电子设备，能够生成个性化的3D头发模型。在预先制作的标准头发模型时，将其与人脸基础模型绑定在一起，当基于单张正面人脸图像对人脸基础模型进行变形生成个性化的人脸模型时，标准头发模型随之发生重定向，得到几何表达的初始头发模型，并对正面人脸图像进行分割，根据分割出的头发区域生成带有透明度的正面头发纹理和背面头发纹理，借助三维渲染引擎对透明度纹理贴图的支持，对初始头发模型进行纹理贴图，使得初始头发模型中带透明度的面片不可见，从得到个性化的目标头发模型。

参见图1，为本申请实施例提供的基于透明度纹理贴图的头发重建方法的整体架构图，分为离线过程和在线过程。

离线过程主要包括人脸基础模型的重建和标准头发模型的重建这两部分。其中，人脸基础模型是从人脸扫描数据集中通过主成分分析法(Principal ComponentsAnalysis，PCA)获得的平均人脸模型。目前比较常用的平均人脸模型有BFM模型和FLAME模型，本申请实施例可以选择任意一种平均人脸模型作为人脸重建的人脸基础模型。在确定人脸基础模型后，美工基于人脸基础模型制作几何表达的标准头发模型，并绑定人脸基础模型与标准头发模型间的蒙皮权重。

如图2A所示和图2B所示，为本申请实施例提供的标准头发模型的侧面效果图和正面效果图，其中，标准头发模型由多个三角形面片组成。

在线过程主要包括几何重建和纹理重建两部分。其中，几何重建包括个性化人脸三维模型重建和标准头发模型重定向。个性化人脸三维模型重建通过输入的目标对象的单张正面人脸图像，对人脸基础模型进行变形，得到个性化的人脸模型和人脸模型与正面人脸图像间的投影矩阵。标准头发模型重定向在人脸基础模型变形过程中，通过人脸基础模型与标准头发模型间的蒙皮权重，对标准头发模型进行变形，得到个性化的初始头发模型。

纹理重建过程中，从正面人脸图像中分割出头发区域，并确定头发区域的颜色均值，转化头发区域图像为透明度图像，根据投影矩阵，确定重定向后的初始头发模型中正面区域头发面片的各顶点的UV坐标，根据各UV坐标从透明纹理图像中获取正面区域头发面片各顶点的颜色值，初始头发模型中背面区域头发面片以头发区域颜色均值作为纹理渲染，得到带有纹理的个性化的目标头发模型。

基于图1所示的架构图，本申请实施例提供的基于透明度纹理贴图的头发重建方法流程图如图3所示，主要包括以下几步：

S301：根据目标对象的正面人脸图像中提取的形状参数和表情参数，对人脸基础模型进行变形，获得个性化的人脸模型，以及人脸模型与正面人脸图像间的投影矩阵；其中，对人脸基础模型变形的过程中，根据人脸基础模型与标准头发模型间已绑定的蒙皮权重，同时对匹配的标准头发模型进行变形，获得初始头发模型。

通过PCA得到的人脸基础模型除了平均人脸模型几何外，还有形状参数和表情参数，通过调整这两个参数的数值，可以组合得到个性化的人脸模型。具体个性化生成过程参见图4，主要包括以下几步；

S3011：从目标对象的正面人脸图像中提取N个2D关键点。

人脸关键点检测是指定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等N(N为大于1的整数)个2D关键点。基于采用的人脸关键点检测算法的不同，提取的出的2D关键点的数量也不同。

在一种可选的实施方式中，本申请实施例采用开源的dlib人脸检测库，从目标对象的正面人脸图像中提取68个2D关键点，如图5所示，这68个2D关键点的坐标表示如下：

其中，(u_i，v_i)表示第i个关键点在正面人脸图像中的2D坐标。

需要说明的是，本申请实施例对人脸关键点检测算法不做限制性要求，例如，还可以自然宽泛的面部标记(Wider Facial Landmark in the Wild，WFLW)法提取98个2D关键点。

S3012：根据N个2D关键点所定义的生物特征顺序，从人脸基础模型中提取相同数量的3D点。

在一种可选的实施方式中，按照68个2D关键点所定义的生物特征顺序(如图5所示)，在人脸基础模型上同样定义68个3D点，用世界坐标表示为：

其中，(x_i，y_i，z_i)表示人脸基础模型中第i个3D点的3D坐标。

S3013：根据N个2D关键点与N个3D点间的对应关系，估计三维模型与二维图像间投影矩阵。

其中，N个2D关键点和N个3D点之间可以通过投影矩阵建立一一对应关系，公式表示如下：

通过68个点对可以构造线性方程组，通过最小二乘法，可以求出使得投影误差||P₆₈-MX₆₈||的值最小的投影矩阵M。

S3014：根据投影矩阵迭代优化人脸基础模型中的表情参数和形状参数，并重新计算投影误差，直到投影误差属于预设阈值区间时停止优化。

由于S3012中N个3D点从是从人脸基础模型上提取的，导致S3013中估计的投影矩阵M也不准确，因此，可以将S3013中的投影矩阵M作为初值，进行多轮迭代优化，获得符合目标对象生物特征的形状参数和表情参数。

具体实施时，基于上一轮的投影矩阵优化人脸基础模型中的形状参数和表情参数，随着形状和表情参数的变化，N个3D点的位置也随之改变从而可以影响||P₆₈-MX₆₈||的值，直到||P₆₈-MX₆₈||的值在预设阈值区间时，优化停止，以获得最小的||P₆₈-MX₆₈||。每轮优化后，根据最新的3D点的值重新计算投影矩阵M的值。

S3015：将最小投影误差对应的表情参数和形状参数变形后的人脸基础模型，作为最终个性化的人脸模型，并得到该人脸模型与正面人脸图像间的投影矩阵。

通过多轮迭代优化后，当投影误差||P₆₈-MX₆₈||最小时，表明当前的N个3D点表征的形状参数和表情参数可以很好的表示目标对象的生物特征，因此，用最小投影误差||P₆₈-MX₆₈||对应的表情参数和形状参数对人脸基础模型进行变形，可以得到个性化的人脸模型，同时，获得该人脸模型与正面人脸图像间的投影矩阵M。

由于重建的个性化的人脸模型与人脸基础模型会存在形状和位移上的变化，直接使用标准头发模型会存在错位和穿模的问题。因此，在对人脸基础模型变形时，由于人脸基础模型与标准头发模型已经绑定好了蒙皮权重，这样，标准头发模型会在人脸基础模型的牵动下发生对应的变形，从而避免错位和穿模的现象，得到匹配的初始头发模型。

S302：按最大分型面，将初始头发模型分为正面区域和背面区域。

考虑到基于单张正面人脸图像无法获得完整的头发数据，背面头发数据是缺失的。因此，本申请实施例将获得的初始头发模型，按最大分型面分割为正面区域和背面区域分别进行纹理贴图。

可选的，最大分型面为初始头发模型中高度方向最大值的几何顶点与最小值的几何顶点的连线所在的切平面。

S303：根据正面人脸图像，生成带透明度的正面纹理图像和背面纹理图像。

随着深度学习技术的快速发展，对正面人脸图像进行语义分割已经较为成熟，本申请实施例可以借助语义分割结果，生成带透明度的正面纹理图像和背面纹理图像，以分别对初始头发模型的正面区域和背面区域进行纹理贴图。

在一种可选的实施方式中，带透明度的正面纹理图像的生成过程参见图6，主要包括以下几步：

S303_11：对正面人脸图像进行头发分割，生成头发区域的第一单通道掩码图像。

采用深度学习技术，对目标对象的正面人脸图像进行头发分割，获得头发区域，并用第一单通道掩码图像表示，如图7中(a)所示。

S303_12：根据第一单通道掩码图像，确定正面填充区域。

由于标准头发模型的外轮廓可能会比目标对象的正面人脸图像中的头发区域大，如果直接使用分割出的头发区域对初始头发模型的正面区域进行纹理贴图，可能导致正面人脸图像的头发区域无法完全覆盖正面区域的面片，造成纹理缺失。

为了解决纹理缺失的问题，本申请实施例对头发区域进行了扩充，并填充了颜色值，生成覆盖区域较大的正面填充区域。

具体实施时，首先将第一单通道掩码图像沿中线分为左右两个区域，如图8所示，然后分别检测左区域和右区域内发梢的位置，其中，左发梢和右发梢的位置分别为第一单通道掩码图像中的左区域和右区域的最大行，进一步的，将左发梢和右发梢以上的位置与头发区域的外侧，作为正面填充区域，如图7中的(b)所示。

可选的，在一些实施例中，考虑到目标对象的正面人脸图像中头发对耳朵的遮挡情况可能不同，为方便处理，从正面人脸图像中分割出双耳区域，并将双耳区域也作为正面填充区域，统一对耳朵进行遮挡。

S303_1 3：根据头发区域内和正面填充区域，生成带透明度的正面纹理图像。

分割出头发区域后，确定头发区域内所有像素点的颜色均值，并赋值给正面填充区域内的像素点，人后将头发区域与正面填充区域进行合并，得到头发区域和正面区域的交集，并将头发区域和正面区域的交集，作为正面人脸图像的透明度通道，与正面人脸图像中三原色R、G、B通道，合成生成带透明度的四通道32位的正面纹理图像，如图7中的(c)所示。

背面纹理图像的生成规则是：凡是能够被前面头发或身体遮挡的部分，都作为填充区域，带透明度的背面纹理图像的生成过程参见图9，主要包括以下几步：

S30321：对正面人脸图像进行身体分割，生成身体区域的第二单通道掩码图像。

采用深度学习技术，对目标对象的正面人脸图像进行身份分割，获得身体区域，并用第二单通道掩码图像表示，如图10中(a)所示。

S30322：将第二单通道掩码图像和正面填充区域合并，确定背面填充区域。

将第二单通道掩码图像与正面填充区域合并，得到会被身体和正面头发的正面纹理遮挡的背面填充区域，如图10中(b)所示。

S30323：根据头发区域内和背面填充区域，生成带透明度的背面纹理图像。

将头发区域内像素点的颜色均值赋值给背面填充区域内的像素点，并新建一张与正面纹理图像尺寸相同的空白图像，将赋值后的背面填充区域作为空白图像透明度通道，与空白图像中三原色R、G、B通道，合成生成带透明度的四通道32位的背面纹理图像，如图10中的(c)所示。

其中，背面纹理图像中无法被正面头发或身体挡住的区域(即非背面填充区域)内的像素点，透明度通道的取值设置为完全透明，使用户不可见，以防止对正面纹理的干扰。

S304：根据投影矩阵，从正面纹理图像中获取颜色值对正面区域进行纹理贴图，以及，从背面纹理图像中获取颜色值对背面区域进行纹理贴图，得到目标头发模型。

初始头发模型已经根据最大分型面分为了正面区域和背面区域，这样，正面区域的面片直接使用带透明度的正面纹理图像作为颜色值的采样图，按照初始头发模型与正面人脸图像间的投影矩阵，将正面区域的面片的几何顶点投影到正面纹理图像，获得2D投影点，根据2D投影点的UV坐标从正面纹理图像获取颜色值赋值给相应的几何顶点，完成初始头发模型中正面区域的纹理贴图；同时，将背面区域的面片直接使用带透明度的背面纹理贴图作为颜色值的采样图，按照初始头发模型与正面人脸图像间的投影矩阵，将背面区域的面片的几何顶点投影到背面纹理图像，获得2D投影点，根据2D投影点的UV坐标从背面纹理图像获取颜色值赋值给相应的几何顶点，完成初始头发模型中背面区域的纹理贴图，从而得到完整的带有纹理的个性化的目标头发模型。

参见图11，为本申请实施例提供的生成个性化的目标头发模型的示意图，该目标头发模型与个性化的人脸模型能够完美的适配，从而完成虚拟数字人头部的重建。

本申请实施例提供基于透明度纹理贴图的头发重建方法中，在离线过程将预先制作的标准头发模型与人脸基础模型绑定蒙皮权重，这样，在将正面人脸图像中提取的表征目标对象生物特征的形状参数和表情参数，对人脸基础模型进行变形时，实现标准头发模型的重定向，能够同时获得个性化的人脸模型和初始头发模型。通过对正面人脸图像进行头发和身体的分割，确定正面填充区域和背面填充区域，为保证从单张正面人脸图像中获得完整的纹理数据，用头发区域内的颜色均值对填充区域进行颜色值的填充，将填充后的结果作为透明度通道，生成带有透明度的正面头发纹理和背面头发纹理，从而借助三维渲染引擎对透明度纹理贴图的支持，对初始头发模型进行纹理贴图，使得初始头发模型中带透明度的面片不可见，从得到个性化的目标头发模型。

本申请实施例提供的基于透明度纹理贴图的头发重建方法，在基于单张正面人脸图像生成个性化的3D人脸模型后，为3D人脸模型生成个性化的头发模型，由于是对预先制作的标准头发模型变形后的头发几何模型进行的纹理贴图，整个个性化重建过程中的运算量较小，重建时间较短，用户无需长时间等待便可得到个性化的头发模型。

考虑到在多用户参与的虚拟社交场景中，当所有虚拟数字人均使用同一个标准头发模型时，仅需存在一份头发模型数据，区别仅存在于纹理贴图不同。因此，本申请实施例提供的基于透明度纹理贴图的头发重建方法，可应用在时效性要求较高的虚拟社交场景。

如图12所示，为应用本申请实施例提供的方法进行虚拟社交的过程示意图，用户A使用移动终端101和移动终端102处的用户B进行远程三维交互，建立交互连接的过程中，移动终端101和移动终端102分别从社交服务器200下载标准头发模型和人脸基础模型的几何数据，待建立连接后，移动终端101将用户A的正面人脸图像1发送给社交服务器200，由社交服务器200分发给移动终端102，同时，移动终端102将用户B的正面人脸图像2发送给移动终端101，移动终端101根据正面人脸图像2，采用本申请实施例提供的基于透明度纹理贴图的头发重建方法，重建用户B的个性化3D头发模型，移动终端102根据正面人脸图像1，也采用本申请实施例提供的基于透明度纹理贴图的头发重建方法，重建用户A的个性化3D头发模型，并将双方的个性化3D头发模型应用在同一虚拟场景中相应的虚拟数字人上，实现面对面交互的沉浸式体验。

在虚拟社交场景中使用本申请实施例提供的基于透明度纹理贴图的头发重建方法，在传输数据量较小的正面人脸图像的情况下，便可重建出多用户各自的个性化3D头发模型，大幅度减少了数据传输压力，提高了虚拟数字人的渲染显示效率，保证了交互的流畅性。

可选的，在一些实施例中，考虑到移动终端的数据处理性能有限，可以有社交服务器200执行本申请实施例提供的基于透明度纹理贴图的头发重建方法步骤，并将双方的个性化3D头发模型的几何和纹理数据发送分别给移动终端101和移动终端102，移动终端101和移动终端102仅根据接收的数据进行渲染显示，从而节省了自身的计算量。

需要说明的是，图12仅是一种示例，本申请实施例对虚拟社交场景的人数不做限制性要求。图12中的社交服务器可以是单个服务器，还可以是服务器集群，也可以是云服务器，移动终端包括但不限于智能手机、平板、笔记本电脑、可穿戴设备、车载终端等。

基于相同的技术构思，本申请实施例提供一种电子设备，该电子设备可以图12中的移动终端，还可以图12中的社交服务器，且能够实现上述基于透明度纹理贴图的头发重建方法的步骤，且能达到相同的技术效果。

参见图13，该电子设备包括处理器1301、存储器1302和通信接口1303通信接口1303、存储器1302和处理器1301通过总线1304连接；

所述通信接口1303用于虚拟社交场景中进行数据传输；

所述存储器1302存储有计算机程序，所述处理器1301根据所述计算机程序，执行以下操作：

根据目标对象的正面人脸图像中提取的形状参数和表情参数，对人脸基础模型进行变形，获得个性化的人脸模型，以及所述人脸模型与所述正面人脸图像间的投影矩阵；其中，对所述人脸基础模型变形的过程中，根据所述人脸基础模型与标准头发模型间已绑定的蒙皮权重，同时对匹配的标准头发模型进行变形，获得初始头发模型；

按最大分型面，将所述初始头发模型分为正面区域和背面区域；

根据所述正面人脸图像，生成带透明度的正面纹理图像和背面纹理图像；

根据所述投影矩阵，从所述正面纹理图像中获取颜色值对所述正面区域进行纹理贴图，以及，从所述背面纹理图像中获取颜色值对所述背面区域进行纹理贴图，得到目标头发模型。

可选的，所述处理器1301根据所述正面人脸图像，生成带透明度的正面纹理图像和背面纹理图像，具体操作为：

对所述正面人脸图像进行头发分割，生成头发区域的第一单通道掩码图像，以及，对所述正面人脸图像进行身体分割，生成身体区域的第二单通道掩码图像；

根据所述第一单通道掩码图像，确定正面填充区域；

将所述第二单通道掩码图像和所述正面填充区域合并，确定背面填充区域；

根据所述头发区域内和所述正面填充区域，生成带透明度的正面纹理图像；

根据所述头发区域内和所述背面填充区域，生成带透明度的背面纹理图像。

可选的，所述处理器1301根据所述第一单通道掩码图像，确定正面填充区域，具体操作为：

将所述第一单通道掩码图像沿中线分为左右两个区域；

分别检测左区域和右区域内发梢的位置，将左发梢和右发梢以上的位置与所述头发区域的外侧，作为正面填充区域。

可选的，所述正面填充区域还包括双耳区域。

可选的，所述处理器根据所述头发区域内和所述正面填充区域，生成带透明度的正面纹理图像，具体操作为：

确定所述头发区域内像素点的颜色均值，并赋值给所述正面填充区域内的像素点；

将所述头发区域和所述正面区域的交集，作为所述正面人脸图像的透明度通道，生成带透明度的正面纹理图像。

可选的，所述处理器根据所述头发区域内和所述背面填充区域，生成带透明度的背面纹理图像，具体操作为：

确定所述头发区域内像素点的颜色均值，并赋值给所述背面填充区域内的像素点；

新建一张与所述正面纹理图像尺寸相同的空白图像，将所述背面填充区域作为所述空白图像透明度通道，生成带透明度的背面纹理图像。

可选的，所述带透明度的背面纹理图像中，非背面填充区域内像素点的透明度通道取值设置为完全透明。

需要说明的是，图13仅是一种示例，给出电子设备执行本申请实施例提供的基于透明度纹理贴图的头发重建方法的步骤所必要的硬件。未示出的，当该电子设备为移动终端时，还包括收音器、扬声器、显示屏、电源等显示设备的常规器件。

本申请实施例图13中涉及的处理器可以是中央处理器(Central ProcessingUnit，CPU)，通用处理器，图形处理器(Graphics Processing Unit，GPU)数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-specific IntegratedCircuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例中的基于透明度纹理贴图的头发重建方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例中的基于透明度纹理贴图的头发重建方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于透明度纹理贴图的头发重建方法，其特征在于，包括：

根据目标对象的正面人脸图像中提取的形状参数和表情参数，对人脸基础模型进行变形，获得个性化的人脸模型，以及所述人脸模型与所述正面人脸图像间的投影矩阵；其中，对所述人脸基础模型变形的过程中，根据所述人脸基础模型与标准头发模型间已绑定的蒙皮权重，同时对匹配的标准头发模型进行变形，获得初始头发模型；

按最大分型面，将所述初始头发模型分为正面区域和背面区域；

根据所述正面人脸图像，生成带透明度的正面纹理图像和背面纹理图像；

根据所述投影矩阵，从所述正面纹理图像中获取颜色值对所述正面区域进行纹理贴图，以及，从所述背面纹理图像中获取颜色值对所述背面区域进行纹理贴图，得到目标头发模型。

2.如权利要求1所述的方法，其特征在于，所述根据所述正面人脸图像，生成带透明度的正面纹理图像和背面纹理图像，包括：

对所述正面人脸图像进行头发分割，生成头发区域的第一单通道掩码图像，以及，对所述正面人脸图像进行身体分割，生成身体区域的第二单通道掩码图像；

根据所述第一单通道掩码图像，确定正面填充区域；

将所述第二单通道掩码图像和所述正面填充区域合并，确定背面填充区域；

根据所述头发区域内和所述正面填充区域，生成带透明度的正面纹理图像；

根据所述头发区域内和所述背面填充区域，生成带透明度的背面纹理图像。

3.如权利要求2所述的方法，其特征在于，所述根据所述第一单通道掩码图像，确定正面填充区域，包括：

将所述第一单通道掩码图像沿中线分为左右两个区域；

分别检测左区域和右区域内发梢的位置，将左发梢和右发梢以上的位置与所述头发区域的外侧，作为正面填充区域。

4.如权利要求3所述的方法，其特征在于，所述正面填充区域还包括双耳区域。

5.如权利要求2或4所述的方法，其特征在于，所述根据所述头发区域内和所述正面填充区域，生成带透明度的正面纹理图像，包括：

确定所述头发区域内像素点的颜色均值，并赋值给所述正面填充区域内的像素点；

将所述头发区域和所述正面区域的交集，作为所述正面人脸图像的透明度通道，生成带透明度的正面纹理图像。

6.如权利要求2所述的方法，其特征在于，所述根据所述头发区域内和所述背面填充区域，生成带透明度的背面纹理图像，包括：

确定所述头发区域内像素点的颜色均值，并赋值给所述背面填充区域内的像素点；

新建一张与所述正面纹理图像尺寸相同的空白图像，将所述背面填充区域作为所述空白图像透明度通道，生成带透明度的背面纹理图像。

7.如权利要求6所述的方法，其特征在于，所述带透明度的背面纹理图像中，非背面填充区域内像素点的透明度通道取值设置为完全透明。

8.一种电子设备，其特征在于，包括处理器、存储器和通信接口，所述通信接口、所述存储器和所述处理器通过总线连接；

所述通信接口用于在虚拟社交场景中进行数据传输；

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

根据目标对象的正面人脸图像中提取的形状参数和表情参数，对人脸基础模型进行变形，获得个性化的人脸模型，以及所述人脸模型与所述正面人脸图像间的投影矩阵；其中，对所述人脸基础模型变形的过程中，根据所述人脸基础模型与标准头发模型间已绑定的蒙皮权重，同时对匹配的标准头发模型进行变形，获得初始头发模型；

按最大分型面，将所述初始头发模型分为正面区域和背面区域；

根据所述正面人脸图像，生成带透明度的正面纹理图像和背面纹理图像；

根据所述投影矩阵，从所述正面纹理图像中获取颜色值对所述正面区域进行纹理贴图，以及，从所述背面纹理图像中获取颜色值对所述背面区域进行纹理贴图，得到目标头发模型。

9.如权利要求8所述的电子设备，其特征在于，所述处理器根据所述正面人脸图像，生成带透明度的正面纹理图像和背面纹理图像，具体操作为：

对所述正面人脸图像进行头发分割，生成头发区域的第一单通道掩码图像，以及，对所述正面人脸图像进行身体分割，生成身体区域的第二单通道掩码图像；

根据所述第一单通道掩码图像，确定正面填充区域；

将所述第二单通道掩码图像和所述正面填充区域合并，确定背面填充区域；

根据所述头发区域内和所述正面填充区域，生成带透明度的正面纹理图像；

根据所述头发区域内和所述背面填充区域，生成带透明度的背面纹理图像。

10.如权利要求9所述的电子设备，其特征在于，所述处理器根据所述第一单通道掩码图像，确定正面填充区域，具体操作为：

将所述第一单通道掩码图像沿中线分为左右两个区域；

分别检测左区域和右区域内发梢的位置，将左发梢和右发梢以上的位置与所述头发区域的外侧，作为正面填充区域。