CN112699791A - 虚拟对象的脸部生成方法、装置、设备和可读存储介质 - Google Patents

Abstract

本申请公开了一种虚拟对象的脸部生成方法、装置、设备和可读存储介质，属于互联网技术领域。该方法包括：三维重建得到真实对象的脸部仿生模型，根据脸部仿生模型，对预先建立的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数，根据目标模型参数，调整虚拟脸部特征模型的模型参数，将目标模型参数表征的脸部特征迁移到虚拟脸部特征模型中，得到虚拟对象的目标脸部特征模型。在脸部特征的迁移过程中，通过参考脸部特征模型实现脸部特征的过渡，避免脸部特征直接从脸部仿生模型向虚拟脸部特征模型迁移，可以解决虚拟对象的脸部结构与真实对象的脸部结构差异较大时，虚拟脸部特征模型发生不正常形变的问题。

Description

虚拟对象的脸部生成方法、装置、设备和可读存储介质

技术领域

本发明属于互联网技术领域，特别是涉及一种虚拟对象的脸部生成方法、装置、设备和可读存储介质。

背景技术

随着互联网技术的发展，根据下述方法，已经实现了基于真实对象的脸部特征，建立与真实对象相似的虚拟对象，使虚拟对象具有真实对象的脸部特征，真实对象例如真实的人或动物，虚拟对象例如虚拟的三维卡通人物或动物。在虚拟对象的脸部生成过程中，首先建立虚拟对象的虚拟脸部特征模型，并根据真实对象脸部的脸部图像数据建立真实对象的脸部仿生模型，虚拟脸部特征模型和脸部仿生模型均为三维(3Dimensions)模型。然后将脸部仿生模型中的脸部特征迁移到虚拟脸部特征模型中，得到包括真实对象的脸部特征的目标脸部特征模型，从而可以使虚拟对象具有真实对象的脸部特征。

在实现本申请的过程中，发明人发现现有技术中至少存在如下问题：在脸部生成过程中，若虚拟对象的脸部结构与真实对象的脸部结构差异较大，在脸部特征迁移过程中，会使虚拟脸部特征模型发生不正常的形变，导致虚拟对象的脸部结构异常。

发明内容

有鉴于此，本发明提供一种虚拟对象的脸部生成方法、装置、设备和可读存储介质，在一定程度上解决了脸部生成过程中虚拟脸部特征模型发生不正常的形变，导致虚拟对象的脸部结构异常的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种虚拟对象的脸部生成方法，该方法包括：

获取真实对象的脸部图像数据；

基于所述脸部图像数据，三维重建得到所述真实对象的脸部仿生模型；

根据所述脸部仿生模型，对预先建立的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数；所述目标模型参数表征所述脸部仿生模型包括的所述真实对象的脸部特征；

根据所述目标模型参数，调整虚拟脸部特征模型的模型参数，以将所述目标模型参数表征的所述脸部特征迁移到所述虚拟脸部特征模型中，得到目标脸部特征模型；所述虚拟脸部特征模型为根据所述参考脸部特征模型预先建立的、属于虚拟对象的脸部特征模型。

第二方面，本申请实施例提供了一种虚拟对象的脸部生成装置，该装置包括：

获取模块，用于获取真实对象的脸部图像数据；

重建模块，用于基于所述脸部图像数据，三维重建得到所述真实对象的脸部仿生模型；

优化模块，用于根据所述脸部仿生模型，对预先建立的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数；所述目标模型参数表征所述脸部仿生模型包括的所述真实对象的脸部特征；

调整模块，用于根据所述目标模型参数，调整虚拟脸部特征模型的模型参数，以将所述目标模型参数表征的所述脸部特征迁移到所述虚拟脸部特征模型中，得到目标脸部特征模型；所述虚拟脸部特征模型为根据所述参考脸部特征模型预先建立的、属于虚拟对象的脸部特征模型。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，电子设备首先获取真实对象的脸部图像数据，基于脸部图像数据，三维重建得到真实对象的脸部仿生模型，然后根据脸部仿生模型，对预先建立的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数，并根据目标模型参数，调整虚拟脸部特征模型的模型参数，将目标模型参数表征的脸部特征迁移到虚拟脸部特征模型中，得到虚拟对象的目标脸部特征模型。在脸部特征的迁移过程中，首先将脸部特征迁移到参考脸部特征模型中，然后将参考脸部特征模型中的脸部特征迁移到虚拟对象的虚拟脸部特征模型中，通过参考脸部特征模型实现脸部特征的过渡，避免脸部特征直接从脸部仿生模型向虚拟脸部特征模型迁移，从而可以解决虚拟对象的脸部结构与真实对象的脸部结构差异较大时，虚拟脸部特征模型发生不正常形变的问题，进而避免虚拟对象的脸部结构异常。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本申请实施例提供的一种虚拟对象的脸部生成方法的步骤流程图；

图2是本申请实施例提供的一种参考脸部特征模型的优化示意图；

图3是本申请实施例提供的另一种虚拟对象的脸部生成方法的步骤流程图；

图4是本申请实施例提供的一种虚拟对象的脸部生成装置的框图；

图5是本申请实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1是本申请实施例提供的一种虚拟对象的脸部生成方法的步骤流程图，如图1所示，该方法可以包括：

步骤101、获取真实对象的脸部图像数据。

步骤102、基于脸部图像数据，三维重建得到真实对象的脸部仿生模型。

本实施例中，虚拟对象的脸部生成方法可以由个人计算机、手机和服务器等电子设备执行。真实对象可以为真实的人物或动物，也可以为真实的玩偶或者雕像等具有脸部的真实物体。脸部图像数据用于建立真实对象的脸部仿生模型，脸部图像数据的类型和获取方法可以根据三维重建方法具体设置。

例如，电子设备可以通过双目匹配算法三维重建得到脸部仿生模型。在三维重建过程中，电子设备首先可以采用双目摄像头对真实对象的脸部区域进行拍摄，获取真实对象的两张二维的脸部图像，即脸部图像数据，然后通过双目匹配算法匹配两张脸部图像，得到脸部区域的深度信息，根据脸部图像中的脸部特征和深度信息，三维重建得到真实对象的脸部仿生模型。

在一种实施例中，电子设备可以采用深度摄像头，对真实对象的脸部区域进行拍摄，得到包括彩色图像和深度图像的脸部图像数据，彩色图像包括红色(Red，R)通道、绿色(Green，G)通道和蓝色(Blue，B)通道三个颜色通道的颜色值，深度图像包括深度(Depth，D)通道的深度值，深度图像数据中每个像素点的深度值为真实对象脸部区域中对应的点与摄像头之间的距离值，例如深度图像中鼻尖对应的像素点的深度值为真实对象的鼻尖与摄像头之间的距离值。电子设备可以基于彩色图像包括的脸部特征和深度图像包括的深度信息，三维重建得到真实对象的脸部仿生模型。

在一种实施例中，电子设备可以根据一张二维的脸部图像，三维重建得到脸部仿生模型。例如，电子设备可以直接对真实对象的脸部区域进行拍摄，得到一张二维的脸部图像，即脸部图像数据，然后提取脸部图像中的关键点，关键点的坐标可以确定真实对象的脸部特征。例如，关键点中包括真实对象的眼部区域中的多个关键点，眼部区域中的多个关键点可以勾勒出真实对象的眼睛轮廓。在提取得到可以表征脸部特征的关键点之后，电子设备可以从三维可变形模型(3D Morphable models，3DMM)库中选择平均脸部模型，将多个关键点拟合到平均脸部模型上，得到脸部仿生模型。

本实施例中，脸部仿生模型可以是由一定数量的顶点、三角面片和关联结构等组成的三角网格模型，脸部仿生模型中包括真实对象的脸部特征，脸部特征例如真实对象的脸部轮廓、眉毛形状、眼睛形状、鼻子形状和嘴巴形状，以及眉毛、眼睛、鼻子和嘴巴等在脸部区域的布局位置。脸部仿生模型的重建方法可以根据需求设置，本实施例对此不做限制。

步骤103、根据脸部仿生模型，对预先建立的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数。

其中，目标模型参数表征脸部仿生模型中包括的真实对象的脸部特征。参考脸部特征模型为用户设计的、虚拟的三维网格模型，参考脸部特征模型用于建立虚拟对象的虚拟脸部特征模型。不同的模型参数对应不同的脸部特征，初始模型参数为参考脸部特征模型初始状态下的模型参数。在虚拟对象的建立过程中，可以根据参考脸部特征模型建立虚拟对象的虚拟脸部特征模型，通过调整参考脸部特征模型的模型参数，即调整虚拟脸部特征模型的模型参数，可以使虚拟脸部特征模型具有不同的脸部特征。

本实施例中，在得到真实对象的脸部仿生模型之后，可以将参考脸部特征模型拟合到脸部仿生模型，从而实现对参考脸部特征模型的初始模型参数的优化，得到目标模型参数，也即根据脸部仿生模型对参考脸部特征模型的初始参数进行调整，以将脸部仿生模型中的脸部特征向参考脸部特征模型迁移，得到可以表征脸部特征的目标模型参数，根据目标模型参数调整参考脸部特征模型，可以使参考脸部特征模型具有真实对象的脸部特征。

在一种实施例中，参考脸部特征模型例如特征混合形状(Identity blendshape)模型，Identity blendshape模型包括一组特征基(blendshape)和一个基本网格，基本网格为一个平均的虚拟脸部模型，每个特征基为一个基本脸部特征模型。每个特征基具有对应的权重，Identity blendshape模型在初始状态下每个特征基的权重即初始模型参数。特征基与基本网格构成脸部特征模型，调整Identity blendshape模型中每个特征基的权重，可以得到具有不同脸部特征的虚拟脸部特征模型。

其中，Identity blendshape模型中的每个特征基为一个三维网格模型，三维网格模型由预设数量的顶点组成，每个顶点具有三个维度的坐标，即x轴、 y轴、z轴上的坐标。例如，每个特征基包括n个顶点，Identity blendshape 模型可以包括m个特征基B_3×n和一个基本网格H_3×n，m和n为正整数。每个特征基的权重为w，则Identity blendshape模型可以通过公式A表示：

B_3×n，m×w_m，1+H_3×n，1

其中，每个特征基B_3×n为一个基本矩阵，下标3×n表示基本矩阵包括特征基中每个顶点具有的三个维度的向量，即x轴、y轴和z轴的坐标，m 个基本矩阵构成一个B_3×n，m矩阵，m个基本矩阵的权重构成一个w_m，1的矩阵。基本网格为一个中性脸部矩阵，下标3×n表示基本网格中每个顶点具有的三个维度的向量。

在拟合过程中，可以设置关于权重w的优化函数f(w)，针对参考脸部特征模型的顶点在x轴方向上的优化，优化目标可以设置为公式B：

||S(B_xw+H_x-P_x)||²

其中，下标x表示x维度的向量，P_x为脸部仿生模型在x维度的向量，公式B表示参考脸部特征模型与脸部仿生模型在x维度上的误差。S为x维度的系数矩阵，在计算过程中可以根据系数矩阵，确定每个特征基的权重在计算过程中的取值，S中的元素可以定义为：

其中，i为系数矩阵中的第i行，j为系数矩阵中的第j列，在计算过程中可以根据系数矩阵，设置位于参考脸部特征模型对应的矩阵中，除矩阵的对角上的权重之外的其他权重为0。即如上所示，在i不等于j时，权重为0。

依次类推，综合x、y和z三个维度的分量，优化函数f(w)为：

其中，

为特征基在x、y和z三个维度上的向量矩阵，

为基本网格在x、y和z三个维度上的向量矩阵，

为脸部仿生模型在x、y和z三个维度上的向量矩阵。

为 3n×3n的分块矩阵：

在优化过程中，使优化函数f(w)的值尽可能的小，即使参考脸部特征模型与脸部仿生模型之间的误差尽可能的小，从而使参考脸部特征模型接近脸部仿生模型，具有脸部仿生模型包括的脸部特征。具体的，可以将优化函数 f(w)转换为二次规划方程(QuadraticProgramming，QP)方程，求解QP方程，可以得到每个特征基的权重w，即目标模型参数。

实际应用中，也可以通过其他方式对参考脸部特征模型进行优化，使参考脸部特征模型接近脸部仿生模型，得到目标模型参数。具体优化过程可以根据需求设置，本实施例对此不做限制。需要说明的是，为了便于得到精确的目标模型参数，可以使脸部仿生模型和参考脸部特征模型具有相同的网格结构。

需要说明的是，本实施例对参考脸部特征模型的初始模型参数进行优化，本质上是对参考脸部特征模型进行优化，使参考脸部特征模型具有脸部仿生模型中的脸部特征。如图2所示，图2是本申请实施例提供的一种参考脸部特征模型的优化示意图，在根据人物(真实对象)的脸部图像201重建得到脸部仿生模型202之后，可以根据脸部仿生模型202对参考脸部特征模型的初始模型参数进行优化，得到目标模型参数，在根据目标模型参数对参考脸部特征模型进行调整之后，可以得到如图2所示的优化后的参考脸部仿生模型203。如图2所示，优化后的参考脸部特征模型中包括了人物的脸部特征，脸部特征由优化后的参考脸部特征模型中的目标模型参数决定，本实施例只使用目标脸部模型中的目标模型参数对虚拟脸部特征模型的模型参数进行调整。

步骤104、根据目标模型参数，调整虚拟脸部特征模型的模型参数，以将目标模型参数表征的脸部特征迁移到虚拟脸部特征模型中，得到目标脸部特征模型。

其中，虚拟脸部特征模型为根据参考脸部特征模型预先建立的、属于虚拟对象的脸部特征模型。结合上述举例，若参考脸部特征模型为Identity blendshape模型，则虚拟对象的脸部特征模型可以根据Identity blendshape模型建立，根据Identity blendshape模型建立虚拟脸部特征模型的具体过程可以根据需求设置，本实施例对此不做限制。

本实施例中，在得到目标参数模型之后，可以根据目标模型参数调整虚拟脸部特征模型的模型参数，得到目标脸部特征模型。结合上述举例，虚拟脸部特征模型根据参考脸部特征模型建立，虚拟脸部特征模型和参考脸部特征模型具有相同的网格结构，并且具有相同的模型参数，虚拟脸部特征也可以通过公式A表示。在得到目标模型参数，也即优化后的参考脸部特征模型中每个特征基的权重w之后，可以将权重w带入公式A，得到目标虚拟脸部特征模型。由于目标模型参数是根据脸部仿生模型优化得到的，可以表征真实对象的脸部特征，根据目标模型参数调整虚拟对象的虚拟脸部特征模型时，可以将真实对象的脸部特征迁移到虚拟对象的虚拟脸部特征模型，使虚拟对象具有真实对象的脸部特征。根据目标模型参数，对虚拟脸部特征模型的模型参数进行调整的具体过程可以根据需求设置，本实施例对此不做限制。

综上所述，本实施例中，电子设备首先获取真实对象的脸部图像数据，基于脸部图像数据，三维重建得到真实对象的脸部仿生模型，然后根据脸部仿生模型，对预先建立的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数，并根据目标模型参数，调整虚拟脸部特征模型的模型参数，将目标模型参数表征的脸部特征迁移到虚拟脸部特征模型中，得到虚拟对象的目标脸部特征模型。在脸部特征的迁移过程中，首先将脸部特征迁移到参考脸部特征模型中，然后将参考脸部特征模型中的脸部特征迁移到虚拟对象的虚拟脸部特征模型中，通过参考脸部特征模型实现脸部特征的过渡，避免脸部特征直接从脸部仿生模型向虚拟脸部特征模型迁移，从而可以解决虚拟对象的脸部结构与真实对象的脸部结构差异较大时，虚拟脸部特征模型发生不正常形变的问题，进而避免虚拟对象的脸部结构异常。

图3是本申请实施例提供的另一种虚拟对象的脸部生成方法的步骤流程图，如图3所示，该方法可以包括

步骤301、获取真实对象的脸部图像数据。

步骤302、基于脸部图像数据和平均脸部模型，三维重建得到脸部仿生模型。

步骤303、根据平均脸部模型，对参考脸部特征模型进行校准，得到校准后的参考脸部特征模型。

其中，平均脸部模型为根据脸部模型数据集处理得到的参考脸部模型，校准后的参考脸部特征模型的结构与平均脸部模型的结构匹配。

本实施例中，在对初始模型参数进行优化之前，首先可以对参考脸部特征模型进行校准，使参考脸部特征模型与平均脸部模型的结构匹配。

在一种实施例中，可以建立真实对象的脸部模型数据集，例如若真实对象为人，则可以建立关于人脸的脸部模型数据集。结合步骤102，脸部模型数据集可以为3DMM库，平均脸部模型可以为3DMM库中的平均人脸模型。在对参考脸部特征模型进行优化之前，可以根据平均脸部模型(即平均人脸模型)对Identity blendshape模型进行校准。例如，可以根据平均脸部模型的结构，调节Identity blendshape模型的尺寸、旋转角度和轮廓，使Identity blendshape模型与平均脸部模型的尺寸一致，使Identity blendshape模型与平均脸部模型的旋转角度一致，以及使Identity blendshape模型的轮廓与平均脸部模型的轮廓一致。

本实施例中，可以对参考脸部特征模型中的一项或多项参数进行校准。在校准过程中，也可以选择对应的形变迁移(Deformation Transfer)算法，将平均脸部模型所表现出的形状变化迁移到参考脸部特征模型中，使参考脸部特征模型与平均脸部模型的结构匹配。具体对参考脸部特征模型进行校准的方法可以根据需求设置，本实施例对此不做限制。

实际应用中，在对参考脸部特征模型进行优化之前，首先对参考脸部特征模型进行校准，使参考脸部特征模型与平均脸部模型具有相同或相近的结构。当参考脸部特征模型的结构与平均脸部模型相匹配时，在优化过程中，可以得到更准确的目标模型参数，使目标模型参数表征的脸部特征模型更接近真实对象的脸部特征。

步骤304、根据脸部仿生模型，对校准后的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数。

可选地，该方法还可以包括：

在优化过程中，控制优化后的参考脸部特征模型与脸部仿生模型的结构匹配。

可选地，该方法还可以包括：

在优化过程中，控制目标模型参数小于或等于预设阈值，以使优化后的参考脸部特征模型的结构符合设定结构条件。

本实施例中，在对参考脸部特征模型进行校准之后，可以根据脸部仿生模型对校准后的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数。同时，在优化过程中，可以增加约束条件，使优化后的参考脸部特征模型与脸部仿生模型的结构匹配，以及使优化后的参考脸部特征模型的结构符合设定结构条件。

例如，可以在优化函数f(w)中增加结构约束项，结构约束项例如拉普拉斯(Laplacian)约束，通过结构约束项控制优化过程中的参考脸部特征模型的形变。具体的，可以设置x维度上的拉普拉斯约束为：

α||L(B_xw+H_x)-δ_x||²

其中，L为n×n的拉普拉斯矩阵，δ_x是脸部仿生模型中的平均脸部模型中拉普拉斯坐标的x维元素的n×1向量，α为拉普拉斯约束项中正则项的系数，α可以大于或等于0、且小于或等于1。

同时，可以在优化函数f(w)中增加权重约束项，通过权重约束项使优化后的参考脸部特征模型的结构符合设定结构条件。具体的，可以设置x维度上的权重约束项为：

ω||w||²

其中，β为统一的权重正则项的系数，β的可以大于或等于0、且小于或等于1。

结合上述举例，综合x、y和z三个维度的分量，优化函数f(w)可以设置为：

s.t.w∈[0，1]

其中，在权重约束项中，可以通过公式：s.t w∈[0，1]限制权重w大于或等于0，且小于或等于1。

为3n×3n的分块矩阵：

为平均脸部模型中拉普拉斯坐标中x维、y维和z维元素向量。

脸部仿生模型可以根据平均脸部模型和脸部图像数据三维重建得到，拉普拉斯约束表征参考脸部特征模型与平均脸部模型的结构误差，在优化过程中，使拉普拉斯约束项尽可能小，可以使优化后的参考脸部特征模型的结构接近脸部仿生模型的结构，从而可以使优化后的参考脸部特征模型与脸部仿生模型的结构匹配。同时，在优化过程中，使权重约束项尽可能小，可以使优化后的参考脸部特征模型中的权重(即目标模型参数)小于或等于预设阈值，当权重小于预设阈值时，可以避免出现较大的权重，可以避免优化后的参考脸部特征模型发生较大的形变，从而可以避免优化后的参考脸部特征模型出现奇怪的形状。

同理，可以将优化函数f(w)转换为QP方程，求解得到每个特征基的权重w。

在优化过程中，通过拉普拉斯约束项，可以使优化得到的参考脸部特征模型的结构与脸部仿生模型的结构匹配。如图2所示，当参考脸部特征模型的结构与脸部仿生模型的结构匹配时，可以使优化后的参考脸部特征模型中具有更多的脸部仿生模型中的脸部特征，从而可以使目标模型参数可以更准确的表征真实对象的脸部特征。

同时，在优化过程中，控制目标模型参数w小于或等于预设阈值，可以使优化后的参考脸部特征模型的结构不发生较大的变化，从而可以使优化后的参考脸部特征模型的结构不出现奇怪的形变，进行可以使目标模型参数可以更准确的表征真实对象的脸部特征。

实际应用中，在优化过程中，可以只控制优化后的参考脸部特征模型与脸部仿生模型的结构匹配，或者只控制目标模型参数小于或等于预设阈值。

可选地，在控制目标模型参数小于或等于预设阈值，以使优化后的参考脸部特征模型的结构符合设定结构条件时，可以包括：

控制优化后的参考脸部特征模型中的目标脸部特征符合设定特征条件。

结合上述举例，在参考脸部特征模型中，每个特征基为一个基本脸部特征模型，每个特征基具有对应的权重。在参考脸部特征模型中，每个脸部特征由一定数量的特征基表征，例如参考脸部特征模型中的眉毛特征可以通过多个特征基表征。在优化过程中，可以在权重约束项中为表征目标脸部特征 (目标脸部特征例如眉毛特征)的多个特征基设对应的系数，使优化后的参考脸部特征模型中的眉毛特征符合设定特征条件。

在一种实施例中，优化函数f(w)可以表示为：

s.t.w∈[0，1]

其中，C为权重约束中β分量对应的系数矩阵，C中的元素可以定义为：

其中，i为系数矩阵中的第i行，j为系数矩阵中的第j列，在计算过程中可以根据系数矩阵，设置位于参考脸部特征模型对应的矩阵中，除矩阵的对角上的权重之外的其他权重0。即如上所示，在i不等于j时，权重为0。在优化过程中，通过系数矩阵，可以对参考脸部特征模型中的权重进行更细致的调整。

在一种实施例中，针对参考脸部特征模型中的目标脸部特征，可以在系数矩阵中为表征目标脸部特征的多个特征基的权重设置对应的系数，在优化过程中，可以控制目标脸部特征模型的形变，从而可以使优化后的参考脸部特征模型中的目标脸部特征符合设定特征条件。例如，针对眉毛特征，可以在系数矩阵中为表征眉毛特征的多个特征基的权重分别设置较大的系数，在优化过程中，通过较大的系数可以控制眉毛特征发生较小的形变，使优化后的参考脸部特征模型中的眉毛特征符合设定特征条件。再例如，针对参考脸部特征模型中的眼睛特征，可以在系数矩阵中为组成眼睛特征的多个特征基的权重分别设置较小的系数，在优化过程中，通过较小的系数可以使眼睛特征发生较大的形变，使优化后的参考脸部特征模型中的眼睛符合设定特征条件。

需要说明的是，结构约束项和权重约束项的具体设置方法可以根据需求设置，本实施例对此不做限制。

步骤305、根据目标模型参数，调整虚拟脸部特征模型的模型参数，以将目标模型参数表征的脸部特征迁移到虚拟脸部特征模型中，得到目标脸部特征模型。

综上所述，本实施例中，电子设备首先获取真实对象的脸部图像数据，基于脸部图像数据，三维重建得到真实对象的脸部仿生模型，然后根据脸部仿生模型，对预先建立的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数，并根据目标模型参数，调整虚拟脸部特征模型的模型参数，将目标模型参数表征的脸部特征迁移到虚拟脸部特征模型中，得到虚拟对象的目标脸部特征模型。在脸部特征的迁移过程中，首先将脸部特征迁移到参考脸部特征模型中，然后将参考脸部特征模型中的脸部特征迁移到虚拟对象的虚拟脸部特征模型中，通过参考脸部特征模型实现脸部特征的过渡，避免脸部特征直接从脸部仿生模型向虚拟脸部特征模型迁移，从而可以解决虚拟对象的脸部结构与真实对象的脸部结构差异较大时，虚拟脸部特征模型发生不正常形变的问题，进而避免虚拟对象的脸部结构异常。

可选地，步骤302可以通过如下方式实现：

基于脸部图像数据和平均脸部模型，三维重建得到脸部仿生模型。

其中，平均脸部模型为根据脸部模型数据集处理得到的参考脸部模型。

结合步骤102，脸部模型数据集可以为3DMM库，平均脸部模型可以为3DMM库中的平均人脸模型。此时，可以采用步骤102所述的方法，基于采集到的人脸的二维脸部图像和平均人脸模型建立真实对象的脸部仿生模型。

实际应用中，基于平均脸部模型，三维重建得到脸部仿生模型，并根据平均脸部模型对参考脸部特征模型进行校准，使校准后的参考脸部特征模型的结构与平均脸部模型的结构向匹配，可以使脸部仿生模型与校准后的参考脸部特征模型具有相同或相近的网格结构。因此，在根据脸部仿生模型，对校准后的参考脸部特征模型的初始模型参数进行优化的过程中，得到的目标模型参数可以更准确的表征真实对象的脸部特征。

可选地，该方法还可以包括：

根据目标脸部特征模型，对虚拟对象的虚拟脸部表情模型进行优化，得到目标脸部表情模型；目标脸部表情模型中包括目标脸部特征模型中的脸部特征；

基于目标脸部表情模型，对真实对象的表情进行跟踪。

本实施例中，在得到目标脸部特征模型，可以将目标脸部特征模型中的脸部特征迁移到虚拟对象的虚拟脸部表情模型中，以根据虚拟脸部表情模型对真实对象的表情进行跟踪。

其中，虚拟脸部表情模型用于构建真实对象的脸部表情，虚拟脸部表情模型例如表情混合形状(Expression Blendshape)模型。Expression Blendshape 模型包括一组特征基(blendshape)和一个基本网格(blendshape)，基本网格为一个平均脸部模型，每个特征基为一个基本脸部表情模型。每个特征基具有对应的权重，调整Expression Blendshape模型每个特征基的权重可以得到具有不同表情的Expression Blendshape模型。

结合上述举例，在得到目标脸部特征模型之后，可以将Expression Blendshape模型拟合到目标脸部特征模型中，从而实现对Expression Blendshape模型的优化，将目标脸部特征模型的脸部特征迁移到Expression Blendshape模型中，使Expression Blendshape模型具有真实对象的脸部特征。在得到具有脸部特征的Expression Blendshape模型之后，可以基于目标脸部表情模型，对真实对象的表情进行跟踪。Expression Blendshape模型的优化过程可以依据参考脸部特征模型的优化过程，基于目标脸部表情模型对真实对象的表情进行跟踪的具体方法可以根据需求设置，本实施例对此不做限制。

需要说明的是，本实施例提供的虚拟对象的脸部生成方法，可以由电子设备单独实施，也可以由多个电子设备配合实施。例如，客户端可以获取用户的脸部图像数据，并将脸部图像数据上传至服务器，服务器可以基于脸部图像数据，三维重建得到真实对象的脸部仿生模型，并根据脸部仿生模型，对参考脸部特征模型的初始模型参数进行优化，得到目标模型参数，将目标模型参数发送至客户端，客户端可以根据目标模型参数，调整虚拟脸部特征模型的模型参数，得到目标脸部特征模型。虚拟对象的脸部生成方法的具体实施例过程可以根据需求设置，本实施例对此不做限制。

图4是本申请实施例提供的一种虚拟对象的脸部生成装置的框图，如图 4所示，该装置400可以包括：

获取模块401，用于获取真实对象的脸部图像数据。

重建模块402，用于基于脸部图像数据，三维重建得到真实对象的脸部仿生模型。

优化模块403，用于根据脸部仿生模型，对预先建立的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数；目标模型参数表征脸部仿生模型包括的真实对象的脸部特征。

调整模块404，用于根据目标模型参数，调整虚拟脸部特征模型的模型参数，以将目标模型参数表征的脸部特征迁移到虚拟脸部特征模型中，得到目标脸部特征模型；虚拟脸部特征模型为根据参考脸部特征模型预先建立的、属于虚拟对象的脸部特征模型。

可选地，优化模块403，具体用于根据平均脸部模型，对参考脸部特征模型进行校准，得到校准后的参考脸部特征模型；其中，平均脸部模型为根据脸部模型数据集处理得到的参考脸部模型，校准后的参考脸部特征模型的结构与平均脸部模型的结构匹配；根据脸部仿生模型，对校准后的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数。

可选地，优化模块403还用于控制优化后的参考脸部特征模型与脸部仿生模型的结构匹配。

可选地，优化模块403还用于控制目标模型参数小于或等于预设阈值，以使优化后的参考脸部特征模型的结构符合设定结构条件。

可选地，优化模块403还用于控制优化后的参考脸部特征模型中的目标脸部特征符合设定特征条件。

可选地，重建模块402具体用于基于脸部图像数据和平均脸部模型，三维重建得到脸部仿生模型。

可选地，优化模块403，还用于根据目标脸部特征模型，对虚拟对象的虚拟脸部表情模型进行优化，得到目标脸部表情模型；目标脸部表情模型中包括目标脸部特征模型中的脸部特征；基于目标脸部表情模型，对真实对象的表情进行跟踪。

在本申请实施例中，电子设备首先获取真实对象的脸部图像数据，基于脸部图像数据，三维重建得到真实对象的脸部仿生模型，然后根据脸部仿生模型，对预先建立的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数，并根据目标模型参数，调整虚拟脸部特征模型的模型参数，将目标模型参数表征的脸部特征迁移到虚拟脸部特征模型中，得到虚拟对象的目标脸部特征模型。在脸部特征的迁移过程中，首先将脸部特征迁移到参考脸部特征模型中，然后将参考脸部特征模型中的脸部特征迁移到虚拟对象的虚拟脸部特征模型中，通过参考脸部特征模型实现脸部特征的过渡，避免脸部特征直接从脸部仿生模型向虚拟脸部特征模型迁移，从而可以解决虚拟对象的脸部结构与真实对象的脸部结构差异较大时，虚拟脸部特征模型发生不正常形变的问题，进而避免虚拟对象的脸部结构异常。

本申请实施例提供的虚拟对象的脸部生成装置具备执行虚拟对象的脸部生成方法相应的功能模块，可执行本申请实施例所提供的虚拟对象的脸部生成方法，且能达到相同的有益效果。

在本发明提供的又一实施例中，还提供了一种电子设备，电子设备可以包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述虚拟对象的脸部生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

示例的，如图5所示，图5是本申请实施例提供的一种电子设备的硬件结构示意图，该电子设备具体可以包括：处理器501、存储装置502、具有触摸功能的显示屏503、输入装置504、输出装置505以及通信装置506。该电子设备中处理器501的数量可以是一个或者多个，图5中以一个处理器501 为例。该电子设备的处理器501、存储装置502、显示屏503、输入装置504、输出装置505以及通信装置506可以通过总线或者其他方式连接。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的虚拟对象的脸部生成方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的虚拟对象的脸部生成方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种虚拟对象的脸部生成方法，其特征在于，包括：

获取真实对象的脸部图像数据；

基于所述脸部图像数据，三维重建得到所述真实对象的脸部仿生模型；

根据所述脸部仿生模型，对预先建立的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数；所述目标模型参数表征所述脸部仿生模型包括的所述真实对象的脸部特征；

根据所述目标模型参数，调整虚拟脸部特征模型的模型参数，以将所述目标模型参数表征的所述脸部特征迁移到所述虚拟脸部特征模型中，得到目标脸部特征模型；所述虚拟脸部特征模型为根据所述参考脸部特征模型预先建立的、属于虚拟对象的脸部特征模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述脸部仿生模型，对预先建立的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数，包括：

根据平均脸部模型，对所述参考脸部特征模型进行校准，得到校准后的参考脸部特征模型；其中，所述平均脸部模型为根据脸部模型数据集处理得到的参考脸部模型，所述校准后的参考脸部特征模型的结构与所述平均脸部模型的结构匹配；

根据所述脸部仿生模型，对所述校准后的参考脸部特征模型的初始模型参数进行优化，得到所述目标模型参数。

3.根据权利要求2所述的方法，其特征在于，在所述根据所述脸部仿生模型，对所述校准后的参考脸部特征模型的初始模型参数进行优化，得到所述目标模型参数时，包括：

控制优化后的参考脸部特征模型与所述脸部仿生模型的结构匹配。

4.根据权利要求2所述的方法，其特征在于，在所述根据所述脸部仿生模型，对所述校准后的参考脸部特征模型的初始模型参数进行优化，得到所述目标模型参数时，包括：

控制所述目标模型参数小于或等于预设阈值，以使优化后的参考脸部特征模型的结构符合设定结构条件。

5.根据权利要求4所述的方法，其特征在于，在所述控制所述目标模型参数小于或等于预设阈值，以使优化后的参考脸部特征模型的结构符合设定结构条件时，包括：

控制优化后的参考脸部特征模型中的目标脸部特征符合设定特征条件。

6.根据权利要求2所述的方法，其特征在于，所述基于所述脸部图像数据，三维重建得到所述真实对象的脸部仿生模型，包括：

基于所述脸部图像数据和所述平均脸部模型，三维重建得到所述脸部仿生模型。

7.根据权利要求1-6任一项所述的方法，其特征在于，在所述根据所述目标模型参数，调整虚拟脸部特征模型的模型参数，以将所述目标模型参数表征的所述脸部特征迁移到所述虚拟脸部特征模型中，得到目标脸部特征模型之后，还包括：

根据所述目标脸部特征模型，对所述虚拟对象的虚拟脸部表情模型进行优化，得到目标脸部表情模型；所述目标脸部表情模型中包括所述目标脸部特征模型中的所述脸部特征；

基于所述目标脸部表情模型，对所述真实对象的表情进行跟踪。

8.一种虚拟对象的脸部生成装置，其特征在于，包括：

获取模块，用于获取真实对象的脸部图像数据；

重建模块，用于基于所述脸部图像数据，三维重建得到所述真实对象的脸部仿生模型；

优化模块，用于根据所述脸部仿生模型，对预先建立的参考脸部特征模型的初始模型参数进行优化，得到目标模型参数；所述目标模型参数表征所述脸部仿生模型包括的所述真实对象的脸部特征；

调整模块，用于根据所述目标模型参数，调整虚拟脸部特征模型的模型参数，以将所述目标模型参数表征的所述脸部特征迁移到所述虚拟脸部特征模型中，得到目标脸部特征模型；所述虚拟脸部特征模型为根据所述参考脸部特征模型预先建立的、属于虚拟对象的脸部特征模型。

9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7所述的虚拟对象的脸部生成方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7所述的虚拟对象的脸部生成方法的步骤。

Images