CN115908722A - 一种生成3d人脸建模的方法 - Google Patents

Abstract

本说明书披露的多个实施例提供了一种生成3D人脸建模的方法。给定用于生成3D人脸建模的目标脸型参数，给定口头表达内容，可以利用表情匹配模型得到口头表达内容所匹配的常规表情参数、微表情参数，进而，可以将目标脸型参数、匹配于口头表达内容的常规表情参数、匹配于口头表达内容的微表情参数，输入预训练号的3D人脸建模生成模型，生成匹配于口头表达内容的3D人脸建模，该3D人脸建模的表情效果，是对真人在口头表达时的表情效果的高拟真。

Description

一种生成3D人脸建模的方法

技术领域

本说明书多个实施例涉及信息技术领域，尤其涉及一种生成3D人脸建模的方法。

背景技术

目前在一些应用场景下，存在生成具有表情效果的3D人脸建模的需求。

这样的应用场景例如可以是利用虚拟讲解员向用户进行讲解时，虚拟讲解员在说话时如果有相应的表情效果，可以增强虚拟讲解员的拟真感。这样的应用场景又如可以是电商直播间中的虚拟主播向用户推销商品时，虚拟主播在说话时如果有相应的表情效果，也可以增强虚拟讲解员的拟真感。

基于此，需要一种能够生成高拟真表情效果的3D人脸建模的技术方案。

发明内容

本说明书的多个实施例提供一种生成3D人脸建模的方法，以便能够生成高拟真表情效果的3D人脸建模。

本说明书多个实施例提供技术方案如下：

根据本说明书多个实施例的第一方面，提出了一种生成3D人脸建模的方法，包括：

获取用于生成3D人脸建模的目标脸型参数，以及，获取一段或多段口头表达内容；

针对每段口头表达内容，将该段口头表达内容输入预训练的表情匹配模型，输出匹配于该段口头表达内容的常规表情参数与微表情参数；

将所述目标脸型参数、匹配于该段口头表达内容的常规表情参数、匹配于该段口头表达内容的微表情参数，输入预训练的3D人脸建模生成模型，输出匹配于该段口头表达内容的3D人脸建模。

根据本说明书多个实施例的第二方面，提出了一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现第一方面所述方法。

根据本说明书多个实施例的第三方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面所述方法。

在上述技术方案中，将3D人脸建模的参数结构设计为包括脸型参数、常规表情参数与微表情参数，值得强调，3D人脸建模的表情效果的相关参数不仅包括常规表情参数，而且包括微表情参数。利用这样的参数结构可以刻画出具有高拟真表情效果的3D人脸建模。

还考虑到真人在进行口头表达时会产生的表情变化（常规表情变化、微表情变化），为了使得口头表达状态下的3D人脸建模具有高拟真表情效果，因此需要利用某种技术手段来发掘口头表达状态下的3D人脸建模的常规表情参数、微表情参数，与口头表达内容之间的关联规律。本公开中利用人工智能模型来学习这种关联规律，学习到这种关联规律的人工智能模型（本公开中所述的表情匹配模型）可以根据给定的口头表达内容，提供相应的常规表情参数与微表情参数。

在方案应用时，给定用于生成3D人脸建模的目标脸型参数，给定口头表达内容，可以利用表情匹配模型得到口头表达内容所匹配的常规表情参数、微表情参数，进而，可以将目标脸型参数、匹配于口头表达内容的常规表情参数、匹配于口头表达内容的微表情参数，输入预训练号的3D人脸建模生成模型，生成匹配于口头表达内容的3D人脸建模，该3D人脸建模的表情效果，是对真人在口头表达时的表情效果的高拟真。

通过上述技术方案，能够生成高拟真表情效果的3D人脸建模。

附图说明

图1示例性提供一种没有表情效果的3D人脸建模的示意图。

图2示例性提供一种有表情效果的3D人脸建模局部的示意图。

图3示例性提供一种生成3D人脸建模的方法的流程。

图4是本公开提供的一种计算机可读存储介质的示意图。

图5是本公开提供的一种计算设备的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

本公开中的3D人脸建模，又称3D人脸模型。作为一种示例，可以基于三角面网格mesh来实现3D人脸建模，即3D人脸mesh建模。

现有的3D人脸建模的参数结构通常仅包括脸型参数与常规表情参数。其中，常规表情参数通常指可以利用通常其参数结构包括脸型参数、常规表情参数、微表情参数。其中，常规表情可以称为宏表情，是一种持续时间较长、情绪表现比较明显的表情，比如常见的笑、苦、怒等。

常规表情参数通常可以利用N个维度的常规表情特征系数共同约束得到。例如，可以定义250个维度的常规表情特征系数，不同维度的常规表情特征系数可以对应于人脸的不同部位，同一个维度的常规表情特征系数的取值可以介于0-1之间，取值不同意味着的该部位的形变程度的不同。当然，可以定义的用于共同约束常规表情参数的维度的数量也可以更多（比如1万个维度），维度越多，所约束出的常规表情效果越拟真，相应的也对算力提出了更高的要求。

而现有技术并没有在3D人脸建模的参数结构中引入微表情参数。微表情是一种持续时间较短，转瞬即逝，情绪表现不够明显的表情，常常表现为面部肌肉的轻微抽动或面部皮肤的褶皱，比如嘴角微微翘动（轻微的得意情绪）、鼻子上的皮肤褶皱等。容易理解，加入微表情的3D人脸建模的表情效果会更加拟真。

本公开中定义的微表情参数可以利用M个维度的微表情特征系数共同约束得到。例如，可以定义500个维度的微表情特征系数，不同维度的微表情特征系数可以对应于人脸的不同部位（这里的基于微表情的部位划分比现有技术中基于常规表情的部位划分更加精细），同一个维度的微表情特征系数的取值可以介于0-1之间，取值不同意味着的该部位的形变程度的不同。当然，可以定义的用于共同约束微表情参数的维度的数量也可以更多（比如2万个维度），维度越多，所约束出的微表情效果越拟真，相应的也对算力提出了更高的要求。

举例来说，假设一个3D人脸建模的常规表情参数、微表情参数都为0，脸型参数有取值，那么可以得到一个没有表情效果的3D人脸建模，参见图1所示。

再举例来说，在上述的没有表情效果的3D人脸建模的基础上，假设赋予一定的常规表情参数与微表情参数。具体而言，常规表情参数中限定了左边眉毛上扬程度（对应于左边眉毛的维度的表情特征系数）为47.1%，右边眉毛上扬程度（对应于右边眉毛的维度的表情特征系数）为49.7%，眼睛睁开程度（对应于眼眶的维度的表情特征系数）为15%；而微表情参数中限定了额头的褶皱程度（对应于额头皮肤的维度的微表情特征系数）为36.3%，鼻子的褶皱程度（对应于鼻子皮肤的维度的微表情特征系数）为61%，那么可以得到相应的3D人脸模型的局部表情效果，参见图2所示。

现有技术中生成3D人脸建模的方式主要有以下几种：

1、人工建模。这种生成3D人脸建模的方式耗时长、成本高，无法大规模快速构建具有高拟真表情效果的3D人脸建模。

2、物理引擎计算建模。这种生成3D人脸建模的方式带来很大的实时计算量，导致建模过程缓慢，无法快速构建具有高拟真表情效果的3D人脸建模。

3、图像识别建模。这种生成3D人脸建模的方式是从人脸图片中提取人脸特征点坐标数据，进而得到3D人脸建模中每个网格的坐标数据，但是实时计算缓慢，并且得到的表情效果拟真程度很低。

为此，在本公开提供的技术方案中，将3D人脸建模的参数结构设计为包括脸型参数、常规表情参数与微表情参数，值得强调，3D人脸建模的表情效果的相关参数不仅包括常规表情参数，而且包括微表情参数。利用这样的参数结构可以刻画出具有高拟真表情效果的3D人脸建模。

还考虑到真人在进行口头表达时会产生的表情变化（常规表情变化、微表情变化），为了使得口头表达状态下的3D人脸建模具有高拟真表情效果，因此需要利用某种技术手段来发掘口头表达状态下的3D人脸建模的常规表情参数、微表情参数，与口头表达内容之间的关联规律。本公开中利用人工智能模型来学习这种关联规律，学习到这种关联规律的人工智能模型（本公开中所述的表情匹配模型）可以根据给定的口头表达内容，提供相应的常规表情参数与微表情参数。

在方案应用时，给定用于生成3D人脸建模的目标脸型参数，给定口头表达内容，可以利用表情匹配模型得到口头表达内容所匹配的常规表情参数、微表情参数，进而，可以将目标脸型参数、匹配于口头表达内容的常规表情参数、匹配于口头表达内容的微表情参数，输入预训练号的3D人脸建模生成模型，生成匹配于口头表达内容的3D人脸建模，该3D人脸建模的表情效果，是对真人在口头表达时的表情效果的高拟真。

通过上述技术方案，能够生成高拟真表情效果的3D人脸建模。并且，本技术方案中只会在前期预训练人工智能模型的过程中耗时较长，而一旦得到训练好的人工智能模型之后，就可以快速（接近实时性）的输出具有高拟真表情效果的3D人脸建模。

以下结合附图，详细说明上述技术方案。

图3示例性提供一种生成3D人脸建模的方法的流程，包括：

S300：获取用于生成3D人脸建模的目标脸型参数。

S302：获取一段或多段口头表达内容。

S304：针对每段口头表达内容，将该段口头表达内容输入预训练的表情匹配模型，输出匹配于该段口头表达内容的常规表情参数与微表情参数。

S306：将所述目标脸型参数、匹配于该段口头表达内容的常规表情参数、匹配于该段口头表达内容的微表情参数，输入预训练的3D人脸建模生成模型，输出匹配于该段口头表达内容的3D人脸建模。

上述的目标脸型参数可以是默认的通用脸型参数，也可以是某个用户为自己的脸型所定制的脸型参数。

在一些实施例中，可以获取真人的多个人脸图片，其中，不同人脸图片所反映的表情效果不同。针对每个人脸图片，将该人脸图片输入预训练的人脸参数映射模型，输出该人脸图片对应的脸型参数、常规表情参数、微表情参数。对各个人脸图片分别对应的脸型参数进行平均化操作，得到用于生成3D人脸建模的目标脸型参数。

其中，预训练人脸参数映射模型的步骤可以包括：

获取多个人脸图片样本；以及，获取训练方指定的、每个人脸图片样本对应的脸型参数真实值、常规表情参数真实值、微表情参数真实值；

将每个人脸图片样本定义为模型输入，将该人脸图片样本对应的脸型参数预测值、常规表情参数预测值、微表情参数预测值定义为模型输出，将该人脸图片样本对应的脸型参数真实值、常规表情参数真实值、微表情参数真实值定义为训练监督信号，以降低所述训练监督信号与所述模型输出之间的差距为训练目标，迭代训练所述人脸参数映射模型。

上述的多个人脸图片中，不同人脸图片样本对应的表情效果不同，这多个人脸图片可以覆盖真人的全部可能性的表情效果。上述的人脸参数映射模型，可以具有卷积神经网络CNN的算法结构。

上述的训练监督信号与模型输出之间的差距，可以利用均方误差进行表征，也可以利用训练监督信号输入到3D人脸建模生成模型所得到的真实3D人脸建模，与模型输出输入到3D人脸建模生成模型所得到的预测3D人脸建模之间的差别来进行表征。在3D数据不充足的情况下，还可以将真实3D人脸建模在若干平面上的2D投影与预测3D人脸建模在若干平面上的2D投影的差别，作为训练监督信号与模型输出之间的差距。

此处还需要重点说明，利用预训练的人脸参数映射模型得到目标脸型参数的好处。人脸参数映射模型的输入被定义为人脸图片，输出被定义为不仅包括脸型参数，而且包括常规表情参数、微表情参数，这意味着，人脸参数映射模型本身已经学习到了脸型与常规表情、微表情之间的关联关系，人脸参数映射模型所输出的脸型参数与常规表情参数、微表情参数之间是彼此适应、彼此融合的关系，这样共同限定出的3D人脸建模的展示效果是非常自然的。

换言之，在上述实施例中，虽然只是需要人脸参数映射模型所输出脸型参数来参与后续计算，看起来貌似人脸参数映射模型所输出的常规表情参数、微表情参数是没有用处的，然而，将人脸参数映射模型的输出定义为不仅包括脸型参数，而且包括常规表情参数、微表情参数，正是为了让所得到的目标脸型参数中蕴含与常规表情参数、微表情参数的适配性信息，这样方便后续将口头表达内容对应的常规表情参数、微表情参数与目标脸型参数进行适配融合，得到的3D人脸模型的效果更加自然、更加拟真。

此外，上述的口头表达内容，是指3D人脸建模在口头表达状态下所表达的内容。口头表达内容的数据形式可以是文本、语音音频、图片（图片中显示有文字）等等。

上述的表情匹配模型的预训练步骤可以包括：

获取多个文本样本，以及，获取训练方指定的、每个文本样本所匹配的常规表情参数真实值与微表情参数真实值；

将每个文本样本定义为模型输入，将该文本样本所匹配的常规表情参数预测值与微表情参数预测值定义为模型输出，将该文本样本所匹配的常规表情参数真实值与微表情参数真实值定义为训练监督信号，以降低所述训练监督信号与所述模型输出之间的差距为训练目标，迭代训练所述表情匹配模型。

口头表达内容的语种可以有多种可能，比如中文、英文等。考虑到真人在表达不同语种的相同内容时，面部表情效果也会有不同，因此，通常需要针对不同语种，预先训练专用的表情匹配模型，使得所述多个文本样本对应的语种，与所述多段口头表达内容所对应的语种，为同一语种。

本公开中的3D人脸建模生成模型，可以具有生成不同性别的3D人脸建模的能力。这要求在训练3D人脸建模生成模型的阶段，使用不同性别的真人的人脸参数作为训练样本。在实际使用训练好的3D人脸建模生成模型时，可以向该模型指定需要的性别，使得该模型生成的3D人脸建模具有指定的性别特征。

此外，还可以基于每段口头表达内容以及匹配于该段口头表达内容的3D人脸建模，生成相应的3D视频。3D视频所展现的是3D人脸建模在进行口头表达的过程，以及口头表达时的高拟真表情效果。

在一些实施例中，可以获取具有先后顺序的多段口头表达内容。可以针对每段口头表达内容，根据该段口头表达内容以及匹配于该段口头表达内容的3D人脸建模，生成相应的3D视频帧；根据所述多段口头表达内容的先后顺序，将所述多段口头表达内容分别对应的3D视频帧进行排列组合，得到3D视频。

在实际应用中，可以预先根据目标脸型参数以及若干口头表达内容，生成3D视频，后续再播放该3D视频。也可以实时根据目标脸型参数以及实时对白中的口头表达内容，实时生成3D视频并播放。

本公开还提供一种计算机可读存储介质，如图4所示，该介质140上存储有计算机程序，所述程序被处理器执行时实现本公开实施例的方法。

本公开还提供一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开实施例的方法。

图5是本公开提供的一种计算设备的结构示意图，该计算设备15可以包括但不限于：处理器151、存储器152、连接不同系统组件（包括存储器152和处理器151）的总线153。

其中，存储器152存储有计算机指令，该计算机指令可以被处理器151执行，使得处理器151能够执行本公开任一实施例的方法。存储器152可以包括随机存取存储单元RAM1521、高速缓存存储单元1522和/或只读存储单元ROM1523。该存储器152还可以包括：具有一组程序模块1524的程序工具1525，该程序模块1524包括但不限于：操作系统、一个或多个应用程序、其他程序模块和程序数据，这些程序模块一种或多种组合可以包含网络环境的实现。

总线153例如可以包括数据总线、地址总线和控制总线等。该计算设备15还可以通过I/O接口154与外部设备155通信，该外部设备155例如可以是键盘、蓝牙设备等。该计算设备150还可以通过网络适配器156与一个或多个网络通信，例如，该网络可以是局域网、广域网、公共网络等。如图所示，该网络适配器156还可以通过总线153与计算设备15的其他模块进行通信。

此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。在一个典型的配置中，计算机包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书多个实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本说明书多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书多个实施例。在本说明书多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的方法实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本说明书多个实施例的较佳实施例而已，并不用以限制本说明书多个实施例，凡在本说明书多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书多个实施例保护的范围之内。

Claims (10)

1.一种生成3D人脸建模的方法，包括：

获取用于生成3D人脸建模的目标脸型参数，以及，获取一段或多段口头表达内容；

针对每段口头表达内容，将该段口头表达内容输入预训练的表情匹配模型，输出匹配于该段口头表达内容的常规表情参数与微表情参数；

将所述目标脸型参数、匹配于该段口头表达内容的常规表情参数、匹配于该段口头表达内容的微表情参数，输入预训练的3D人脸建模生成模型，输出匹配于该段口头表达内容的3D人脸建模。

2.如权利要求1所述方法，预训练所述表情匹配模型的步骤包括：

获取多个文本样本，以及，获取训练方指定的、每个文本样本所匹配的常规表情参数真实值与微表情参数真实值；

将每个文本样本定义为模型输入，将该文本样本所匹配的常规表情参数预测值与微表情参数预测值定义为模型输出，将该文本样本所匹配的常规表情参数真实值与微表情参数真实值定义为训练监督信号，以降低所述训练监督信号与所述模型输出之间的差距为训练目标，迭代训练所述表情匹配模型。

3.如权利要求2所述方法，其中，所述多个文本样本对应的语种，与所述多段口头表达内容所对应的语种，为同一语种。

4.如权利要求1所述方法，获取用于生成3D人脸建模的目标脸型参数，包括：

获取真人的多个人脸图片，其中，不同人脸图片所反映的表情效果不同；

针对每个人脸图片，将该人脸图片输入预训练的人脸参数映射模型，输出该人脸图片对应的脸型参数、常规表情参数、微表情参数；

对各个人脸图片分别对应的脸型参数进行平均化操作，得到用于生成3D人脸建模的目标脸型参数。

5.如权利要求4所述方法，预训练所述人脸参数映射模型的步骤包括：

获取多个人脸图片样本，不同人脸图片样本对应的表情效果不同；以及，获取训练方指定的、每个人脸图片样本对应的脸型参数真实值、常规表情参数真实值、微表情参数真实值；

将每个人脸图片样本定义为模型输入，将该人脸图片样本对应的脸型参数预测值、常规表情参数预测值、微表情参数预测值定义为模型输出，将该人脸图片样本对应的脸型参数真实值、常规表情参数真实值、微表情参数真实值定义为训练监督信号，以降低所述训练监督信号与所述模型输出之间的差距为训练目标，迭代训练所述人脸参数映射模型。

6.如权利要求1所述方法，其中，所述3D人脸建模，包括：3D人脸mesh建模。

7.如权利要求1所述方法，还包括：

基于每段口头表达内容以及匹配于该段口头表达内容的3D人脸建模，生成相应的3D视频。

8.如权利要求7所述方法，获取一段或多段口头表达内容，包括：

获取具有先后顺序的多段口头表达内容；

基于每段口头表达内容以及匹配于该段口头表达内容的3D人脸建模，生成相应的3D视频，包括：

针对每段口头表达内容，根据该段口头表达内容以及匹配于该段口头表达内容的3D人脸建模，生成相应的3D视频帧；

根据所述多段口头表达内容的先后顺序，将所述多段口头表达内容分别对应的3D视频帧进行排列组合，得到3D视频。

9.一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至8中任一项所述方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现权利要求1至8中任一项所述方法。

Images