CN112669424B - 一种表情动画生成方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种表情动画生成方法、装置、设备及存储介质，其中，方法包括：获取目标图片和目标驱动数据，目标图片为指定动画人物的图片，目标驱动数据为决定指定动画人物脸部动作的数据；根据目标图片获取动画特征点，作为目标图片对应的参考信息；建立目标图片对应的参考信息与目标图片的目标映射关系；基于目标图片、目标驱动数据、目标图片对应的参考信息和目标映射关系，生成指定动画人物的表情动画。本申请提供的表情动画方法可基于指定动画人物的图片以及决定指定动画人物脸部动作的驱动数据自动生成指定动画人物的表情动画，由于动画的生成过程不需要人工参与，因此，节省了人工成本，降低了时间成本，提高了动画生成效率。

Description

一种表情动画生成方法、装置、设备及存储介质

技术领域

本申请涉及动画生成技术领域，尤其涉及一种表情动画生成方法、装置、设备及存储介质。

背景技术

一个表情动画由多幅动画图片组成，表情动画生成实质是，生成组成表情动画的多幅表情图片，目前的表情动画生成方案大多为基于人工的表情动画生成方案，即，由专业绘制人员根据指定动画人物的图片和指定表情(即脸部动作)绘制多幅指定动画人物的表情图片，进而由绘制的多幅指定动画人物的表情图片组成指定动画人物的表情动画。由于一个表情动画由多幅表情图片组成，且在某些场景中，可能还需要多个表情动画，因此，基于人工的表情动画生成方案人工成本和时间成本较高。

发明内容

有鉴于此，本申请提供了一种表情动画生成方法、装置、设备及存储介质，用以解决现有的表情动画生成方案人工成本和时间成本较高的问题，其技术方案如下：

一种表情动画生成方法，其包括：

获取目标图片和目标驱动数据，其中，所述目标图片为指定动画人物的图片，所述目标驱动数据为决定所述指定动画人物脸部动作的数据；

根据所述目标图片获取动画特征点，作为所述目标图片对应的参考信息；

建立所述目标图片对应的参考信息与所述目标图片的映射关系，作为目标映射关系；

基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画。

可选的，所述根据所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画，包括：

基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画；

其中，所述动画生成模型以训练图片、训练驱动数据、所述训练图片对应的参考信息、所述训练图片对应的参考信息与所述训练图片的映射关系为训练样本，以对应的真实表情动画为样本标签训练得到。

可选的，所述基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画，包括：

基于所述目标驱动数据、所述目标图片对应的参考信息以及所述动画生成模型，生成参考信息序列；

基于所述参考信息序列、所述目标映射关系以及所述动画生成模型，生成图片序列；

由所述目标图片和生成的所述图片序列组成所述指定动画人物的第一表情动画。

可选的，所述基于所述目标驱动数据、所述目标图片对应的参考信息以及所述动画生成模型，生成参考信息序列，包括：

针对每个待生成的目标参考信息：

将所述目标驱动数据和前一个参考信息，输入所述动画生成模型的参考信息生成模块，得到生成的所述目标参考信息。

可选的，所述基于所述参考信息序列、所述目标映射关系以及所述动画生成模型，生成图片序列，包括：

针对所述参考信息序列中的每个目标参考信息：

将所述目标参考信息和所述目标映射关系，输入所述动画生成模型的图片生成模块，得到所述目标参考信息对应的图片；

由所述参考信息序列中各参考信息分别对应的图片组成所述图片序列。

可选的，所述基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画，还包括：

利用所述动画生成模型对所述目标驱动数据提取特征，以得到所述目标驱动数据对应的目标特征；

利用所述动画生成模型分别对组成所述第一表情动画的各图片提取特征，以得到组成所述第一表情动画的各图片分别对应的目标特征；

基于所述目标驱动数据对应的目标特征、组成所述第一表情动画的各图片分别对应的目标特征以及所述动画生成模型，生成所述指定动画人物的第二表情动画。

可选的，所述基于所述动画生成模型分别对组成所述第一表情动画的各图片提取特征，以得到组成所述第一表情动画的各图片分别对应的目标特征，包括：

针对组成所述第一表情动画的每个图片：

基于所述动画生成模型和该图片对应的参考信息，将该图片切分为多个子图；

利用所述动画生成模型分别对所述多个子图提取特征，并将分别对所述多个子图提取的特征整合，整合后特征作为该图片对应的目标特征。

可选的，所述基于所述目标驱动数据对应的目标特征、组成所述第一表情动画的各图片分别对应的目标特征以及所述动画生成模型，生成所述指定动画人物的第二表情动画，包括：

针对组成所述第一表情动画的每幅图片：

利用所述动画生成模型将该图片对应的目标特征与所述目标驱动数据对应的目标特征融合，以得到该图片对应的融合后特征；

基于所述动画生成模型和该图片对应的融合后特征，生成图片；

由基于组成所述第一表情动画的各幅图片分别对应的融合后特征生成的图片组成所述指定动画人物的第二表情动画。

可选的，所述基于所述目标驱动数据对应的目标特征、组成所述第一表情动画的各图片分别对应的目标特征以及所述动画生成模型，生成所述指定动画人物的第二表情动画，包括：

针对组成所述第一表情动画的每幅图片：

若该图片为首幅图片，则基于该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片；

若该图片为非首幅图片，则基于所述动画生成模型和该图片之前的一幅或多幅图片对应的目标特征，预测该图片对应的特征，基于预测的特征、该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片；

由基于组成所述第一表情动画的各图片分别对应的目标特征和所述目标驱动数据对应的目标特征生成的图片组成第二表情动画。

可选的，所述基于该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片，包括：

利用所述动画生成模型将该图片对应的目标特征与所述目标驱动数据对应的目标特征融合，以得到该图片对应的融合后特征；

基于所述动画生成模型和该图片对应的融合后特征生成图片；

所述基于预测的特征、该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片，包括：

利用所述动画生成模型将预测的特征与该图片对应的目标特征融合，得到该图片对应的第一融合特征；

利用所述动画生成模型将该图片对应的第一融合特征与所述目标驱动数据对应的目标特征融合，得到该图片对应的第二融合特征；

基于所述动画生成模型和该图片对应的第二融合后特征，生成图片。

一种表情动画生成装置，包括：数据获取模块、动画特征点获取模块、映射关系建立模块和表情动画生成模块；

所述数据获取模块，用于获取目标图片和目标驱动数据，其中，所述目标图片为指定动画人物的图片，所述目标驱动数据为决定所述指定动画人物脸部动作的数据；

所述动画特征点获取模块，用于根据所述目标图片获取动画特征点，作为所述目标图片对应的参考信息；

所述映射关系建立模块，用于建立所述目标图片对应的参考信息与所述目标图片的映射关系，作为目标映射关系；

所述动画生成模块，用于基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画。

可选的，所述动画生成模块，具体用于基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画；

其中，所述动画生成模型以训练图片、训练驱动数据、所述训练图片对应的参考信息、所述训练图片对应的参考信息与所述训练图片的映射关系为训练样本，以对应的真实表情动画为样本标签训练得到。

可选的，所述动画生成模块包括：参考信息生成模块和图片生成模块；

所述参考信息生成模块，用于基于所述目标驱动数据、所述目标图片对应的参考信息以及所述动画生成模型，生成参考信息序列；

所述图片生成模块，用于基于所述参考信息序列、所述目标映射关系以及所述动画生成模型，生成图片序列；所述目标图片和生成的所述图片序列组成所述指定动画人物的第一动画。

一种表情动画生成设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现上述任一项所述的表情动画生成方法的各个步骤。

一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述任一项所述的表情动画生成方法的各个步骤。

经由上述方案可知，本申请提供的表情动画生成方法，首先获取指定动画人物的目标图片以及决定指定动画人物脸部动作的目标驱动数据，然后根据目标图片获取动画特征点，作为目标图片对应的动画生成参考信息，接着建立目标图片对应的动画生成参考信息与目标图片的映射关系，最后基于目标图片、目标驱动数据、目标图片对应的动画生成参考信息和建立的映射关系，生成指定动画人物的表情动画。本申请提供的表情动画方法可基于指定动画人物的图片以及决定指定动画人物脸部动作的驱动数据自动生成指定动画人物的表情动画，由于表情动画的生成过程不需要人工参与，因此，节省了人工成本，降低了时间成本，提高了动画生成效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的表情动画生成方法的流程示意图；

图2为本申请实施例提供的基于目标图片、目标驱动数据、目标图片对应的参考信息和目标映射关系，以及预先建立的动画生成模型，生成指定动画人物的表情动画的一种实现方式的流程示意图；

图3为本申请实施例提供的基于目标驱动数据、目标图片对应的参考信息以及动画生成模型，生成参考信息序列的示意图；

图4为本申请实施例提供的基于目标图片、目标驱动数据、目标图片对应的参考信息和目标映射关系，以及预先建立的动画生成模型，生成指定动画人物的表情动画的另一种实现方式的流程示意图；

图5为本申请实施例提供的基于目标驱动数据对应的目标特征、目标图片序列中一图片对应的目标特征以及动画生成模型，生成图片的一示意图：

图6为本申请实施例提供的基于目标驱动数据对应的目标特征、目标图片序列中一图片对应的目标特征以及动画生成模型，生成图片的另一示意图：

图7为本申请实施例提供的建立动画生成模型的流程示意图；

图8为本申请实施例提供的表情动画生成装置的结构示意图；

图9为本申请实施例提供的表情动画生成设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

鉴于现有的表情动画生成方法存在的问题，本案发明人试图提出一种能够自动生成表情动画的方案，为此，本案发明人进行了深入研究，通过研究发现，不同动画人物纹理虽然不同，但拥有相同的拓扑结构(与人脸相似的拓扑结构)，本案发明人基于该发现继续研究，最终提出了一种表情动画生成方法，该表情动画生成方法不需人工参与，且可针对任意动画人物生成表情动画，生成的表情动画效果较好。

本申请提供的表情动画生成方法可应用于具有处理能力的电子设备，该电子设备可以为网络侧的服务器，也可以为用户侧使用的终端，比如PC、笔记本、智能手机等，网络侧的服务器或用户侧使用的终端可按本申请提供的表情动画生成方法生成指定动画人物的表情动画。接下来通过下述实施例对本申请提供的表情动画生成方法进行介绍。

第一实施例

请参阅图1，示出了本申请实施例提供的表情动画生成方法的流程示意图，该方法可以包括：

步骤S101：获取目标图片和目标驱动数据。

其中，目标图片为指定动画人物的图片，可选的，指定动画人物可以为类人的动画人物，即拥有与正常人脸相似的拓扑结构的动画人物。

其中，目标驱动数据为决定指定动画人物脸部动作的数据，即指定动画人物做什么样的表情，或者脸部做什么样的动作取决于目标驱动数据。可选的，目标驱动数据可以为以下数据中的一种：表情特征数据、脸部动作数据、内容与脸部动作有关的语音数据、内容与脸部动作有关的文本数据等。

步骤S102：根据目标图片获取动画特征点，作为目标图片对应的参考信息。

可以理解的是，表情的主要运动区域为眼睛、嘴、鼻子、头部，有鉴于此，可根据目标图片获取指定动画人物的脸部特征点，即眼部、嘴部、鼻子、头部的特征点，作为动画特征点。可选的，可采用基于轮廓或边缘的检测方法获取动画特征点。

步骤S103：建立目标图片对应的参考信息与目标图片的映射关系，作为目标映射关系。

具体的，可基于目标图片对应的参考信息，建立狄利克雷三角形，建立的狄利克雷三角形能够表征目标图片对应的参考信息与目标图片中像素的映射关系。

步骤S104：基于目标图片、目标驱动数据、目标图片对应的参考信息和目标映射关系，生成指定动画人物的表情动画。

具体的，可基于目标图片、目标驱动数据、目标图片对应的参考信息和目标映射关系，以及预先建立的动画生成模型，生成指定动画人物的表情动画。

其中，动画生成模型以训练图片、训练驱动数据、训练图片对应的参考信息、训练图片对应的参考信息与训练图片的映射关系为训练样本，以对应的真实表情动画为样本标签训练得到。需要说的是，训练图片为一动画人物的图片，训练驱动数据为决定该动画人物脸部动作的数据，训练图片对应的参考信息为根据训练图片获取的动画特征点。

本申请实施例提供的表情动画生成方法，首先获取指定动画人物的目标图片以及决定指定动画人物脸部动作的目标驱动数据，然后根据目标图片获取动画特征点，作为目标图片对应的动画生成参考信息，接着建立目标图片对应的动画生成参考信息与目标图片的映射关系，最后基于目标图片、目标驱动数据、目标图片对应的动画生成参考信息和建立的映射关系，生成指定动画人物的表情动画。本申请实施例提供的表情动画方法可基于指定动画人物的图片以及决定指定动画人物脸部动作的驱动数据自动生成指定动画人物的表情动画，由于表情动画的生成过程不需要人工参与，因此，节省了人工成本，降低了时间成本，提高了动画生成效率。

第二实施例

上述实施例提到，可“基于目标图片、目标驱动数据、目标图片对应的参考信息和目标映射关系，以及预先建立的动画生成模型，生成指定动画人物的表情动画”，本实施例对这一过程进行介绍。

请参阅图2，示出了基于目标图片、目标驱动数据、目标图片对应的参考信息和目标映射关系，以及预先建立的动画生成模型，生成指定动画人物的表情动画的流程示意图，可以包括：

步骤S201：基于目标驱动数据、目标图片对应的参考信息以及动画生成模型，生成参考信息序列。

需要说明的是，参考信息序列中的各参考信息是逐个生成的，具体的，针对每个待生成的目标参考信息，将目标驱动数据和前一个参考信息，输入动画生成模型的参考信息生成模块，得到生成的目标参考信息，即，首先基于目标驱动数据、目标图片对应的参考信息以及动画生成模型生成第一个参考信息，然后基于目标驱动数据、生成的第一个参考信息以及动画生成模型生成第二个参考信息，接着基于目标驱动数据、生成的第二个参考信息以及动画生成模型生成第三个参考信息，以此类推。

需要说明的是，生成的参考信息个数取决于目标驱动数据。假设目标驱动数据为表情特征数据，表情特征数据通常会包括多个子特征数据，每个子特征数据与一图片对应，在生成参考信息时，如图3所示，将第一个子特征数据d1和目标图片对应的参考信息输入动画生成模型的参考信息生成模块，得到生成的第一个参考信息I1，然后将第二个子特征数据d2和生成的第一个参考信息I1输入动画生成模型的参考信息生成模块，得到生成的第二个参考信息I2，…将最后一个子特征数据和前一个参考信息输入动画生成模型的参考信息生成模块，得到生成的最后一个参考信息，即，表情特征数据包括多少个子特征数据，最终会生成多少个参考信息。以脸部动作数据、语音数据为目标驱动数据的情况类似，都是每次向动画生成模型的参考信息生成模块输入与一幅图片对应的子数据，若目标驱动数据为文本数据，需要将整个文本数据输入动画生成模型的参考信息生成模块，动画生成模型根据文本数据中所包含的动作逐个生成参考信息，以得到参考信息序列。

步骤S202：基于参考信息序列、目标映射关系以及动画生成模型，生成图片序列。

具体的，对于参考信息序列中的每个目标参考信息，将目标参考信息和目标映射关系，输入动画生成模型的第一图片生成模块，动画生成模型的第一图片生成模块基于目标映射关系将目标参考信息映射为图片，从而得到目标参考信息对应的图片，由参考信息序列中各参考信息分别对应的图片组成图片序列。

步骤S203：由目标图片和生成的图片序列组成指定动画人物的表情动画。

第三实施例

考虑到基于上述第二实施例生成的动画可能细节不佳，比如，可能会有空洞或者不自然的地方，甚至包含变形和噪点，为了能够生成细节较佳的表情动画，本实施例提供“基于目标图片、目标驱动数据、目标图片对应的参考信息和目标映射关系，以及预先建立的动画生成模型，生成指定动画人物的表情动画”的另一种实现方式。

请参阅图4，示出了基于目标图片、目标驱动数据、目标图片对应的参考信息和目标映射关系，以及预先建立的动画生成模型，生成指定动画人物的表情动画的第二种实现方式的流程示意图，可以包括：

步骤S401：基于目标驱动数据、目标图片对应的参考信息以及动画生成模型，生成参考信息序列。

步骤S402：基于参考信息序列、目标映射关系以及动画生成模型，生成图片序列。

需要说明的是，步骤S401的实现过程与上述实施例中的步骤S201的实现过程相同，步骤S402的实现过程与上述实施例中的步骤S202的实现过程相同，具体可参见上述实施例中的相关部分，本实施例在此不做赘述。

步骤S403a：利用动画生成模型对目标驱动数据提取特征，以得到目标驱动数据对应的目标特征。

步骤S403b：利用动画生成模型分别对目标图片序列中的各图片提取特征，以得到目标图片序列中各图片分别对应的目标特征。

其中，目标图片序列为由目标图片和通过步骤S402生成的图片序列组成的图片序列，即，在通过步骤S402生成的图片序列前添加目标图片，即得到目标图片序列。

具体的，利用动画生成模型分别对目标图片序列中的各图片提取特征的过程包括：针对目标图片序列中的每个图片，执行：

步骤S403b1、基于动画生成模型和该图片对应的参考信息，将该图片切分为多个子图。

具体的，基于动画生成模型和该图片对应的参考信息，从该图片中切取出左眼所在区域作为第一子图，从该图片中切取出右眼所在区域作为第二子图，从该图片中切取嘴部和鼻子所在区域作为第三子图，剩余部分作为第四子图。可选的，第一子图和第二子图的尺寸可以为32*32，第三子图的尺寸可以为128*128。

步骤S403b2、利用动画生成模型分别对多个子图提取特征，并将分别对多个子图提取的特征整合，整合后特征作为该图片对应的目标特征。

需要说的是，对子图提取特征的过程实质是将子图映射为特征向量的过程，可选的，可采用权重不共享的auto-encoder方法，将子图映射成一个特征向量。

步骤S404：基于目标驱动数据对应的目标特征、目标图片序列中各图片分别对应的目标特征以及动画生成模型，生成指定动画人物的第二表情动画。

基于目标驱动数据对应的目标特征、目标图片序列中各图片分别对应的目标特征以及动画生成模型，生成指定动画人物的第二表情动画的实现方式有多种，本实施例提供如下两种可选的实现方式：

第一种实现方式：

针对目标图片序列中的每幅图片，执行：

步骤S404-a1、利用动画生成模型将该图片对应的目标特征与目标驱动数据对应的目标特征融合，得到该图片对应的融合后特征。

如图5所示，利用动画生成模型将该图片对应的目标特征与目标驱动数据对应的目标特征融合的过程包括：利用动画生成模型将该图片对应的目标特征与目标驱动数据对应的目标特征加权求和，加权求和后得到的特征即为该图片对应的融合后特征。需要说明的是，该图片对应的目标特征和目标驱动数据对应的目标特征分别对应的权重通过训练得到。

步骤S404-a2、基于动画生成模型和该图片对应的融合后特征生成图片。

需要说明的是，目标图片序列中除目标图片外的图片均是基于生成的参考信息和目标映射关系生成，其难免有生成不准确部分，比如脸部有空洞，眼睛有瑕疵，针对该问题，本实施例在生成最终的图片时，引入目标驱动数据，基于目标驱动数据消减该图片中不准确部分对最终生成图片的影响。

步骤S404-a3、由目标图片序列中各图片分别对应的融合后特征生成的图片组成指定动画人物的表情动画。

经由上述过程可生成细节较佳的表情动画。

可以理解的是，动画本身是视频，其需要具有时序连续性，为了能够保证动画的时序连续性，本实施例在上述第一种实现方式的基础上，提出了第二种实现方式：

针对目标图片序列中的每幅图片，执行：

步骤S404-b1-a、若该图片为首幅图片，则基于该图片对应的目标特征、目标驱动数据对应的目标特征以及动画生成模型，生成图片。

具体的，利用动画生成模型将该图片对应的目标特征与目标驱动数据对应的目标特征融合，以得到该图片对应的融合后特征，基于动画生成模型和该图片对应的融合后特征生成图片。

其中，利用动画生成模型将该图片对应的目标特征与目标驱动数据对应的目标特征融合的过程包括：利用动画生成模型将该图片对应的目标特征与目标驱动数据对应的目标特征加权求和，其中，该图片对应的目标特征和目标驱动数据对应的目标特征分别对应的权重通过训练得到。

步骤S404-b1-b、若该图片为非首幅图片，则基于动画生成模型和该图片之前的一幅或多幅图片对应的目标特征，预测该图片对应的特征，以得到该图片对应的预测特征，基于该图片对应的预测特征、该图片对应的目标特征、目标驱动数据对应的目标特征以及动画生成模型，生成图片。

具体的，如图6所示，首先利用动画生成模型将该图片对应的特征与该图片对应的目标特征融合，得到该图片对应的第一融合特征；然后利用动画生成模型将该图片对应的第一融合特征与目标驱动数据对应的目标特征融合，得到该图片对应的第二融合特征；最后基于动画生成模型和该图片对应的第二融合后特征，生成图片。

其中，利用动画生成模型将该图片对应的目标特征与目标驱动数据对应的目标特征融合的过程包括：利用动画生成模型将该图片对应的目标特征与目标驱动数据对应的目标特征加权求和。需要说明的是，该图片对应的目标特征和目标驱动数据对应的目标特征分别对应的权重通过训练得到。

其中，利用动画生成模型将该图片对应的第一融合特征与目标驱动数据对应的目标特征融合的过程包括：利用动画生成模型将该图片对应的第一融合特征与目标驱动数据对应的目标特征加权求和。需要说明的是，该图片对应的第一融合特征与目标驱动数据对应的目标特征分别对应的权重通过训练得到。

步骤S404-b2、由基于目标图片序列中各图片分别对应的目标特征和目标驱动数据对应的目标特征生成的图片(即通过S404-b1提供的方式生成的图片)组成表情动画。

第四实施例

经由上述实施例可知，指定动画人物的表情动画可基于预先建立的动画生成模型生成，本实施例重点对建立动画生成模型的过程进行介绍。

请参阅图7，示出了建立动画生成模型的流程示意图，可以包括：

步骤S701：从训练数据集中获取一训练图片i，并获取该训练图片i对应的训练驱动数据d和真实表情动画。

其中，训练图片i为一动画人物的图片，对应的训练驱动数据为用于决定该动画人物脸部动作的数据。需要说明的是，为了使动画生成模型能够生成不同动画人物的表情动画，训练数据集优选为包括多个不同动画人物的图片。

步骤S702：根据训练图片i获取动画特征点，作为训练图片对应的参考信息。

根据训练图片i获取动画特征点的方式与上述实施例中根据目标图片获取动画特征点的方式类似，本实施例在此不做赘述。

步骤S703：建立训练图片i对应的参考信息与训练图片i的映射关系，作为训练映射关系f。

具体的，基于训练图片i对应的参考信息建立能够表征训练图片i对应的参考信息与训练图片i的映射关系的狄利克雷三角形。

步骤S704：以训练图片i、训练驱动数据d、训练图片i对应的参考信息和训练映射关系f为依据，利用动画生成模型生成表情动画。

在一种可能的实现方式中，可先基于训练图片i、训练图片i对应的参考信息以及动画生成模型，生成参考信息序列，然后基于生成的参考信息序列、训练映射关系f以及动画生成模型，生成图片序列，由训练图片i和生成图片序列组成表情动画。

为了能够生成细节较佳的表情动画，在另一种可能的实现方式中，可先基于训练图片i、训练图片i对应的参考信息以及动画生成模型，生成参考信息序列，然后基于生成的参考信息序列、训练映射关系f以及动画生成模型，生成图片序列，由训练图片i和生成图片序列组成训练图片序列，接着，利用动画生成模型对训练驱动数据d提取特征，以得到训练驱动数据对应的目标特征，并利用动画生成模型分别对训练图片序列中的各图片提取特征，以得到训练图片序列中各图片分别对应的目标特征，最后基于训练驱动数据d对应的目标特征、训练图片序列中各图片分别对应的目标特征以及动画生成模型，生成表情动画。

优选的，利用动画生成模型分别对训练图片序列中的各图片提取特征的过程可以包括：针对训练图片序列中的每个图片，基于动画生成模型和该图片对应的参考信息，将该图片切分为多个子图，利用动画生成模型分别对多个子图提取特征，并将分别对多个子图提取的特征整合，整合后特征作为该图片对应的目标特征，以得到训练图片序列中每个图片对应的目标特征。

优选的，基于训练驱动数据d对应的目标特征、训练图片序列中各图片分别对应的目标特征以及动画生成模型，生成表情动画的过程可以包括：针对训练图片序列中的每幅图片，若该图片为首幅图片，则利用动画生成模型将该图片对应的目标特征与目标驱动数据对应的目标特征融合，以得到该图片对应的融合后特征，基于动画生成模型和该图片对应的融合后特征生成图片，若该图片为非首幅图片，则首先基于动画生成模型和该图片之前的一幅或多幅图片对应的目标特征，预测该图片对应的特征，利用动画生成模型将预测的特征与该图片对应的目标特征融合，得到该图片对应的第一融合特征，然后利用动画生成模型将该图片对应的第一融合特征与训练驱动数据对应的目标特征融合，得到该图片对应的第二融合特征，最后基于动画生成模型和该图片对应的第二融合后特征，生成图片。

需要说明的是，步骤S704的实现过程与上述实施例中“基于目标图片、目标驱动数据、目标图片对应的参考信息和目标映射关系，以及预先建立的动画生成模型，生成指定动画人物的表情动画”的实现过程类似，步骤S704的更为具体的实现过程可参见上述实施例，本实施例在此不做赘述。

步骤S705：根据生成的表情动画与训练图片i对应的真实表情动画，确定动画生成模型的预测损失。

步骤S706：根据动画生成模型的预测损失更新动画生成模型的参数。

按上述步骤S701～S706进行多次迭代训练，直至满足结束训练条件，训练结束后得到的模型即为建立的动画生成模型。

考虑到经由上述过程建立的动画生成模型可能对某些动画人物适应性不够好，可对动画生成模型中部分模块的参数进行微调，比如可对动画生成模型中用于生成参考信息序列的模块和用于生成最终的动画图片的模块的部分参数进行微调，以使动画生成模型的适应性更强。

第五实施例

本申请实施例还提供了一种表情动画生成装置，下面对本申请实施例提供的表情动画生成装置进行描述，下文描述的表情动画生成装置与上文描述的表情动画生成方法可相互对应参照。

请参阅图8，示出了本申请实施例提供的表情动画生成装置的结构示意图，可以包括：数据获取模块801、动画特征点获取模块802、映射关系建立模块803和动画生成模块804。

数据获取模块801，用于获取目标图片和目标驱动数据，其中，所述目标图片为指定动画人物的图片，所述目标驱动数据为决定所述指定动画人物脸部动作的数据。

动画特征点获取模块802，用于根据所述目标图片获取动画特征点，作为所述目标图片对应的参考信息。

映射关系建立模块803，用于建立所述目标图片对应的参考信息与所述目标图片的映射关系，作为目标映射关系。

动画生成模块804，用于基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画。

可选的，动画生成模块804，具体用于基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画。其中，所述动画生成模型以训练图片、训练驱动数据、所述训练图片对应的参考信息、所述训练图片对应的参考信息与所述训练图片的映射关系为训练样本，以对应的真实表情动画为样本标签训练得到。

可选的，动画生成模块804包括：参考信息生成模块和图片生成模块；

所述参考信息生成模块，用于基于所述目标驱动数据、所述目标图片对应的参考信息以及所述动画生成模型，生成参考信息序列。

所述图片生成模块，用于基于所述参考信息序列、所述目标映射关系以及所述动画生成模型，生成图片序列；所述目标图片和生成的所述图片序列组成所述指定动画人物的第一动画。

可选的，所述参考信息生成模块，具体用于针对每个待生成的目标参考信息：将所述目标驱动数据和前一个参考信息，输入所述动画生成模型的参考信息生成模块，得到生成的所述目标参考信息。

可选的，所述图片生成模块，具体用于针对所述参考信息序列中的每个目标参考信息：将所述目标参考信息和所述目标映射关系，输入所述动画生成模型的图片生成模块，得到所述目标参考信息对应的图片；由所述参考信息序列中各参考信息分别对应的图片组成所述图片序列。

可选的，动画生成模块804还可以包括：第一特征提取模块、第二特征提取模块、目标表情动画生成模块。

所述第一特征提取模块，用于利用所述动画生成模型对所述目标驱动数据提取特征，以得到所述目标驱动数据对应的目标特征；

所述第二特征提取模块，用于利用所述动画生成模型分别对组成所述第一表情动画的各图片提取特征，以得到组成所述第一表情动画的各图片分别对应的目标特征；

所述目标表情动画生成模块，用于基于所述目标驱动数据对应的目标特征、组成所述第一表情动画的各图片分别对应的目标特征以及所述动画生成模型，生成所述指定动画人物的第二表情动画。

可选的，所述第二特征提取模块，具体用于针对组成所述第一表情动画的每个图片：基于所述动画生成模型和该图片对应的参考信息，将该图片切分为多个子图；利用所述动画生成模型分别对所述多个子图提取特征，并将分别对所述多个子图提取的特征整合，整合后特征作为该图片对应的目标特征。

可选的，所述目标表情动画生成模块，具体用于针对组成所述第一表情动画的每幅图片：利用所述动画生成模型将该图片对应的目标特征与所述目标驱动数据对应的目标特征融合，以得到该图片对应的融合后特征；基于所述动画生成模型和该图片对应的融合后特征，生成图片；由基于组成所述第一表情动画的各幅图片分别对应的融合后特征生成的图片组成所述指定动画人物的第二表情动画。

可选的，所述目标表情动画生成模块，具体用于针对组成所述第一表情动画的每幅图片：若该图片为首幅图片，则基于该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片；若该图片为非首幅图片，则基于所述动画生成模型和该图片之前的一幅或多幅图片对应的目标特征，预测该图片对应的特征，基于预测的特征、该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片；由基于组成所述第一表情动画的各图片分别对应的目标特征和所述目标驱动数据对应的目标特征生成的图片组成第二表情动画。

可选的，所述目标表情动画生成模块在基于该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片时，具体用于利用所述动画生成模型将该图片对应的目标特征与所述目标驱动数据对应的目标特征融合，以得到该图片对应的融合后特征，基于所述动画生成模型和该图片对应的融合后特征生成图片。

可选的，所述目标表情动画生成模块在基于预测的特征、该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片时，具体用于利用所述动画生成模型将预测的特征与该图片对应的目标特征融合，得到该图片对应的第一融合特征，利用所述动画生成模型将该图片对应的第一融合特征与所述目标驱动数据对应的目标特征融合，得到该图片对应的第二融合特征，基于所述动画生成模型和该图片对应的第二融合后特征，生成图片。

本申请实施例提供的表情动画生成装置可基于指定动画人物的图片以及决定指定动画人物脸部动作的驱动数据自动生成指定动画人物的表情动画，由于表情动画的生成过程不需要人工参与，因此，节省了人工成本，降低了时间成本，提高了动画生成效率。

第六实施例

本申请实施例还提供了一种表情动画生成设备，请参阅图9，示出了该表情动画生成设备的结构示意图，该表情动画生成设备可以包括：至少一个处理器901，至少一个通信接口902，至少一个存储器903和至少一个通信总线904；

在本申请实施例中，处理器901、通信接口902、存储器903、通信总线904的数量为至少一个，且处理器901、通信接口902、存储器903通过通信总线904完成相互间的通信；

处理器901可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器903可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：

获取目标图片和目标驱动数据，其中，所述目标图片为指定动画人物的图片，所述目标驱动数据为决定所述指定动画人物脸部动作的数据；

根据所述目标图片获取动画特征点，作为所述目标图片对应的参考信息；

建立所述目标图片对应的参考信息与所述目标图片的映射关系，作为目标映射关系；

基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

第七实施例

本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：

获取目标图片和目标驱动数据，其中，所述目标图片为指定动画人物的图片，所述目标驱动数据为决定所述指定动画人物脸部动作的数据；

根据所述目标图片获取动画特征点，作为所述目标图片对应的参考信息；

建立所述目标图片对应的参考信息与所述目标图片的映射关系，作为目标映射关系；

基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种表情动画生成方法，其特征在于，包括：

获取目标图片和目标驱动数据，其中，所述目标图片为指定动画人物的图片，所述目标驱动数据为决定所述指定动画人物脸部动作的数据；

根据所述目标图片获取动画特征点，作为所述目标图片对应的参考信息；

建立所述目标图片对应的参考信息与所述目标图片的映射关系，作为目标映射关系；

基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画；

所述根据所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画，包括：

基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画；

其中，所述动画生成模型以训练图片、训练驱动数据、所述训练图片对应的参考信息、所述训练图片对应的参考信息与所述训练图片的映射关系为训练样本，以对应的真实表情动画为样本标签训练得到；

所述基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画，包括：

基于所述目标驱动数据、所述目标图片对应的参考信息以及所述动画生成模型，生成参考信息序列；

基于所述参考信息序列、所述目标映射关系以及所述动画生成模型，生成图片序列；

由所述目标图片和生成的所述图片序列组成所述指定动画人物的第一表情动画。

2.根据权利要求1所述的表情动画生成方法，其特征在于，所述基于所述目标驱动数据、所述目标图片对应的参考信息以及所述动画生成模型，生成参考信息序列，包括：

针对每个待生成的目标参考信息：

将所述目标驱动数据和前一个参考信息，输入所述动画生成模型的参考信息生成模块，得到生成的所述目标参考信息。

3.根据权利要求1所述的表情动画生成方法，其特征在于，所述基于所述参考信息序列、所述目标映射关系以及所述动画生成模型，生成图片序列，包括：

针对所述参考信息序列中的每个目标参考信息：

将所述目标参考信息和所述目标映射关系，输入所述动画生成模型的图片生成模块，得到所述目标参考信息对应的图片；

由所述参考信息序列中各参考信息分别对应的图片组成所述图片序列。

4.根据权利要求1～3中任一项所述的表情动画生成方法，其特征在于，所述基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画，还包括：

利用所述动画生成模型对所述目标驱动数据提取特征，以得到所述目标驱动数据对应的目标特征；

利用所述动画生成模型分别对组成所述第一表情动画的各图片提取特征，以得到组成所述第一表情动画的各图片分别对应的目标特征；

基于所述目标驱动数据对应的目标特征、组成所述第一表情动画的各图片分别对应的目标特征以及所述动画生成模型，生成所述指定动画人物的第二表情动画。

5.根据权利要求4所述的表情动画生成方法，其特征在于，所述基于所述动画生成模型分别对组成所述第一表情动画的各图片提取特征，以得到组成所述第一表情动画的各图片分别对应的目标特征，包括：

针对组成所述第一表情动画的每个图片：

基于所述动画生成模型和该图片对应的参考信息，将该图片切分为多个子图；

利用所述动画生成模型分别对所述多个子图提取特征，并将分别对所述多个子图提取的特征整合，整合后特征作为该图片对应的目标特征。

6.根据权利要求4所述的表情动画生成方法，其特征在于，所述基于所述目标驱动数据对应的目标特征、组成所述第一表情动画的各图片分别对应的目标特征以及所述动画生成模型，生成所述指定动画人物的第二表情动画，包括：

针对组成所述第一表情动画的每幅图片：

利用所述动画生成模型将该图片对应的目标特征与所述目标驱动数据对应的目标特征融合，以得到该图片对应的融合后特征；

基于所述动画生成模型和该图片对应的融合后特征，生成图片；

由基于组成所述第一表情动画的各幅图片分别对应的融合后特征生成的图片组成所述指定动画人物的第二表情动画。

7.根据权利要求4所述的表情动画生成方法，其特征在于，所述基于所述目标驱动数据对应的目标特征、组成所述第一表情动画的各图片分别对应的目标特征以及所述动画生成模型，生成所述指定动画人物的第二表情动画，包括：

针对组成所述第一表情动画的每幅图片：

若该图片为首幅图片，则基于该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片；

若该图片为非首幅图片，则基于所述动画生成模型和该图片之前的一幅或多幅图片对应的目标特征，预测该图片对应的特征，基于预测的特征、该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片；

由基于组成所述第一表情动画的各图片分别对应的目标特征和所述目标驱动数据对应的目标特征生成的图片组成第二表情动画。

8.根据权利要求7所述的表情动画生成方法，其特征在于，所述基于该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片，包括：

利用所述动画生成模型将该图片对应的目标特征与所述目标驱动数据对应的目标特征融合，以得到该图片对应的融合后特征；

基于所述动画生成模型和该图片对应的融合后特征生成图片；

所述基于预测的特征、该图片对应的目标特征、所述目标驱动数据对应的目标特征以及所述动画生成模型，生成图片，包括：

利用所述动画生成模型将预测的特征与该图片对应的目标特征融合，得到该图片对应的第一融合特征；

利用所述动画生成模型将该图片对应的第一融合特征与所述目标驱动数据对应的目标特征融合，得到该图片对应的第二融合特征；

基于所述动画生成模型和该图片对应的第二融合后特征，生成图片。

9.一种表情动画生成装置，其特征在于，包括：数据获取模块、动画特征点获取模块、映射关系建立模块和表情动画生成模块；

所述数据获取模块，用于获取目标图片和目标驱动数据，其中，所述目标图片为指定动画人物的图片，所述目标驱动数据为决定所述指定动画人物脸部动作的数据；

所述动画特征点获取模块，用于根据所述目标图片获取动画特征点，作为所述目标图片对应的参考信息；

所述映射关系建立模块，用于建立所述目标图片对应的参考信息与所述目标图片的映射关系，作为目标映射关系；

所述动画生成模块，用于基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，生成所述指定动画人物的表情动画；

所述动画生成模块，具体用于基于所述目标图片、所述目标驱动数据、所述目标图片对应的参考信息和所述目标映射关系，以及预先建立的动画生成模型，生成所述指定动画人物的表情动画；

其中，所述动画生成模型以训练图片、训练驱动数据、所述训练图片对应的参考信息、所述训练图片对应的参考信息与所述训练图片的映射关系为训练样本，以对应的真实表情动画为样本标签训练得到；

所述动画生成模块包括：参考信息生成模块和图片生成模块；

所述参考信息生成模块，用于基于所述目标驱动数据、所述目标图片对应的参考信息以及所述动画生成模型，生成参考信息序列；

所述图片生成模块，用于基于所述参考信息序列、所述目标映射关系以及所述动画生成模型，生成图片序列；所述目标图片和生成的所述图片序列组成所述指定动画人物的第一动画。

10.一种表情动画生成设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如权利要求1～8中任一项所述的表情动画生成方法的各个步骤。

11.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1～8中任一项所述的表情动画生成方法的各个步骤。