CN115471618A - 重定向方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提出一种重定向方法、装置、电子设备和存储介质，方法包括基于目标对象的特定部位图像进行目标对象的特定部位三维重建，得到第一三维模型，并确定与目标对象对应的虚拟身份信息。其中，虚拟身份信息能够体现与目标对象的特定部位对应的虚拟形象的外形轮廓特征。然后从第一三维模型中提取得到动作信息，该动作信息能够体现目标对象的特定部位图像中的目标对象的特定部位的动作特征。通过对虚拟身份信息和动作信息进行融合，得到携带动作信息的虚拟形象，由于虚拟形象所携带的动作信息是基于目标对象的特定部位的动作特征生成的，能够使虚拟形象执行的动作与目标对象的特定部位的动作一致。

Description

重定向方法、装置、电子设备和存储介质

技术领域

本申请涉及虚拟形象技术领域，尤其涉及一种重定向方法、装置、电子设备和存储介质。

背景技术

虚拟形象在游戏、影视、动漫等产业的应用越来越广泛，虚拟形象的应用能够极大提升人机交互自然度和体验感。通常情况下，人们希望创建的虚拟形象能够执行与真实形象一致的动作，从而实现真实形象与虚拟形象的同步映射。因此，如何使虚拟形象执行与真实形象一致的动作，是本领域技术人员亟待解决的技术问题。

发明内容

基于上述需求，本申请提出一种重定向方法、装置、电子设备和存储介质，该方法能够使虚拟形象执行与真实形象一致的动作，从而实现真实形象与虚拟形象的同步映射。

本申请提出的技术方案具体如下：

一方面，本申请提供了一种重定向方法，包括：

基于目标对象的特定部位图像进行目标对象的特定部位三维重建，得到第一三维模型，并确定与所述目标对象对应的虚拟身份信息；所述虚拟身份信息是体现与所述目标对象的特定部位对应的虚拟形象的外形轮廓特征的信息；

从所述第一三维模型中提取得到动作信息；所述动作信息是体现所述目标对象的特定部位图像中的目标对象的特定部位的动作特征的信息；

通过对所述虚拟身份信息和所述动作信息进行融合，得到携带所述动作信息的虚拟形象。

作为一种可选的实现方式，以上所述的方法中，确定与所述目标对象对应的虚拟身份信息，包括：

根据目标对象的特定部位图像，生成与所述目标对象的特定部位相对应的第二三维模型；所述第二三维模型是与所述目标对象的特定部位相对应的虚拟形象的三维模型；

从所述第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息。

作为一种可选的实现方式，以上所述的方法中，从所述第一三维模型中提取得到动作信息，包括：

将所述第一三维模型输入预先训练的第一特征提取网络，得到所述第一特征提取网络从所述第一三维模型中提取得到的目标对象的特定部位的动作信息。

作为一种可选的实现方式，以上所述的方法中，所述第一特征提取网络包括：第一身份编码器、第一动作编码器、第一编码融合器以及第一解码器；

所述第一身份编码器，用于从所述第一三维模型中提取得到目标对象的特定部位的外形轮廓特征，并对所述外形轮廓特征进行编码，得到身份信息；

所述第一动作编码器，用于从所述第一三维模型中提取得到目标对象的特定部位的动作特征，并对所述动作特征进行编码，得到动作信息；

所述第一编码融合器，用于融合所述身份信息和所述动作信息，得到第一融合信息；

所述第一解码器，用于对所述第一融合信息进行解码处理，得到第三三维模型。

作为一种可选的实现方式，以上所述的方法中，从所述第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息，包括：

将所述第二三维模型输入预先训练的第二特征提取网络，得到所述第二特征提取网络从所述第二三维模型中提取得到的目标对象的特定部位对应的虚拟形象的外形轮廓特征。

作为一种可选的实现方式，以上所述的方法中，所述第二特征提取网络包括：第二身份编码器、第二动作编码器、第二编码融合器以及第二解码器；

所述第二身份编码器，用于从所述第二三维模型中提取得到目标对象的特定部位对应的虚拟形象的外形轮廓特征，并对所述外形轮廓特征进行编码，得到虚拟身份信息；

所述第二动作编码器，用于从所述第二三维模型中提取得到目标对象的特定部位对应的虚拟形象的动作特征，并对所述动作特征进行编码，得到虚拟动作信息；

所述第二编码融合器，用于融合所述虚拟身份信息和所述虚拟动作信息，得到第二融合信息；

所述第二解码器，用于对所述第二融合信息进行解码处理，得到第四三维模型。

作为一种可选的实现方式，以上所述的方法中，通过对所述虚拟身份信息和所述动作信息进行融合，得到携带所述动作信息的虚拟形象，包括：

对所述虚拟身份信息和所述动作信息进行编码融合，得到融合信息；

对所述融合信息进行解码处理，得到携带所述动作信息的虚拟形象。

作为一种可选的实现方式，以上所述的方法中，通过对所述虚拟身份信息和所述动作信息进行融合，得到携带所述动作信息的虚拟形象，包括：

利用所述第二特征提取网络的第二编码融合器对所述虚拟身份信息和所述动作信息进行融合，得到融合信息；

利用所述第二特征提取网络的第二解码器对所述融合信息进行解码，得到携带所述动作信息的虚拟形象。

作为一种可选的实现方式，以上所述的方法中，还包括：将动作信息转换到与虚拟身份信息相同的特征空间。

作为一种可选的实现方式，以上所述的方法中，从所述第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息；从所述第一三维模型中提取得到动作信息；通过对所述虚拟身份信息和所述动作信息进行融合，得到携带所述动作信息的虚拟形象，包括：

将第一三维模型和第二三维模型分别输入重定向网络，得到携带所述动作信息的虚拟形象；

所述重定向网络包括：第一特征提取网络、第二特征提取网络、特征变换网络、编码融合网络以及解码网络；

所述第一特征提取网络，用于从所述第一三维模型中提取得到的目标对象的特定部位的动作信息；

所述第二特征提取网络，用于从所述第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息；

所述特征变换网络，用于将动作信息转换到与虚拟身份信息相同的特征空间；

所述编码融合网络，用于对所述虚拟身份信息和进行转换后的动作信息进行编码融合，得到融合信息；

所述解码网络，用于对所述融合信息进行解码处理，得到携带所述动作信息的虚拟形象。

作为一种可选的实现方式，以上所述的方法中，所述特定部位包括面部，所述动作信息包括面部表情信息。

另一方面，本申请还提供了一种重定向装置，包括：

重建模块，用于基于目标对象的特定部位图像进行目标对象的特定部位三维重建，得到第一三维模型，并确定与所述目标对象对应的虚拟身份信息；所述虚拟身份信息是体现与所述目标对象的特定部位对应的虚拟形象的外形轮廓特征的信息；

提取模块，用于从所述第一三维模型中提取得到动作信息；所述动作信息是体现所述目标对象的特定部位图像中的目标对象的特定部位的动作特征的信息；

融合模块，用于通过对所述虚拟身份信息和所述动作信息进行融合，得到携带所述动作信息的虚拟形象。

另一方面，本申请还提供了一种电子设备，包括：

存储器和处理器；

其中，所述存储器用于存储程序；

所述处理器，用于通过运行所述存储器中的程序，实现以上任意一项所述的重定向方法。

另一方面，本申请还提供了一种存储介质，包括：所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现以上任意一项所述的重定向方法的各个步骤。

本申请提出的重定向方法，基于目标对象的特定部位图像进行目标对象的特定部位三维重建，得到第一三维模型，并确定与目标对象对应的虚拟身份信息。其中，虚拟身份信息能够体现与目标对象的特定部位对应的虚拟形象的外形轮廓特征。然后从第一三维模型中提取得到动作信息，该动作信息能够体现目标对象的特定部位图像中的目标对象的特定部位的动作特征。通过对虚拟身份信息和动作信息进行融合，得到携带动作信息的虚拟形象，由于虚拟形象所携带的动作信息是基于目标对象的特定部位的动作特征生成的，能够使虚拟形象执行的动作与目标对象的特定部位的动作一致。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的一种重定向方法的流程示意图；

图2是本申请实施例提供的提取虚拟身份信息的流程示意图；

图3是本申请实施例提供的一种第一特征提取网络的结构示意图；

图4是本申请实施例提供的另一种第一特征提取网络的结构示意图；

图5是本申请实施例提供的一种第二特征提取网络的结构示意图；

图6是本申请实施例提供的另一种第二特征提取网络的结构示意图；

图7是本申请实施例提供的确定携带动作信息的虚拟形象的流程示意图；

图8是本申请实施例提供的一种重定向网络的结构示意图；

图9是本申请实施例提供的一种重定向网络的结构示意图；

图10是本申请实施例提供的一种重定向装置的结构示意图；

图11是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

申请概述

本申请实施例技术方案适用于对虚拟角色重定向的应用场景，采用本申请实施例技术方案，能够使虚拟形象执行的动作与真实形象执行的动作一致，实现真实形象与虚拟形象的同步映射。

近年来，随着游戏、影视、动漫等产业的发展，以及元宇宙概念的普及，虚拟形象生成技术得到了越来越多的关注和应用。比如，可以将虚拟形象应用于虚拟视频会议、影视游戏制作、虚拟形象直播等场景中，提升人机交互自然度和体验感。将真实形象的动作同步映射至创建的虚拟形象，以使虚拟形象能够执行与真实形象完全一致的动作，是虚拟角色重定向驱动过程中需要实现的重要目标。

基于此，本申请提供一种重定向方法、装置、电子设备和存储介质，该技术方案能够使虚拟形象执行与真实形象一致的动作，从而实现真实形象与虚拟形象的同步映射。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

示例性方法

本申请实施例提出一种重定向方法，该方法可以由电子设备执行，该电子设备可以是任意的具有数据及指令处理功能的设备，例如可以是计算机、智能终端、服务器等。参见图1所示，该方法包括：

S101、基于目标对象的特定部位图像进行目标对象的特定部位三维重建，得到第一三维模型，并确定与目标对象对应的虚拟身份信息。

上述目标对象一般为生命体，例如人或者动物等。上述目标对象的特定部位指的是目标对象特定的身体部位。本申请的实施例中，针对目标对象的特定部位进行重定向，以使目标对象的特定部位对应的虚拟形象能够执行与目标对象的特定部位一致的动作。

可以将目标对象的任意身体部位设定为目标对象的特定部位。例如，若目标对象为人，可以设定目标对象的至少一个身体部位为目标对象的特定部位，具体的，可以设定目标对象的面部、手、脚或者其他部位中的至少一项为目标对象的特定部位，也可以将目标对象的所有身体部位设定为目标对象的特定部位；若目标对象为动物，可以设定目标对象的至少一个身体部位为目标对象的特定部位，具体的，可以设定目标对象的面部、肢体、尾部或者其他部位中的至少一项为目标对象的特定部位，也可以将目标对象的所有身体部位设定为目标对象的特定部位。

目标对象的特定部位图像指的是目标对象的特定部位的视频或者图片。可以通过摄像装置采集目标对象的特定部位图像，摄像装置可以采用摄像机、手机摄像头、电脑摄像头、单目相机等设备。通过摄像装置采集的目标对象的特定部位图像一般为二维的图像，本实施例中，可以基于目标对象的特定部位图像，针对目标对象的特定部位进行三维重建，得到目标对象的特定部位的第一三维模型。

基于目标对象的特定部位图像重建第一三维模型，能够还原目标对象的特定部位真实的外形轮廓，以及，目标对象的特定部位的动作。第一三维模型一般由网格构成或者由点云构成。

需要说明的是，对二维图像进行三维重建是本领域非常成熟的现有技术，本领域的技术人员参照现有技术即可，本实施例不做赘述。其中，若目标对象的特定部位是人的面部，在一个可选的实施例中，可以采用现有技术中的FaceWarehouse进行面部的重建。

进一步的，本实施例中还需要确定与目标对象对应的虚拟身份信息。虚拟身份信息是体现与目标对象的特定部位对应的虚拟形象的外形轮廓特征的信息，具体的，虚拟身份信息包含与目标对象的特定部位对应的虚拟形象的外形轮廓特征。目标对象的特定部位对应的虚拟形象的外形轮廓特征，指的是能够表征目标对象的特定部位对应的虚拟形象的外形轮廓的特征。将目标对象的特定部位对应的虚拟形象的外形轮廓特征组合，能够得到目标对象的特定部位对应的虚拟形象。

例如，若目标对象为人，特定部位为面部，目标对象的特定部位对应的虚拟形象的外形轮廓特征包括虚拟形象的面部形状与尺寸、眼睛形状与尺寸、眼距、鼻子的形状与尺寸、嘴的形状与尺寸等；若目标对象为人，特定部位为手指，目标对象的特定部位对应的虚拟形象的外形轮廓特征包括虚拟形象的手指形状与尺寸、手掌形状与尺寸、手指间的距离、指甲的形状与尺寸等。

示例性的，可以根据目标对象的特定部位的真实外形轮廓特征，生成目标对象的特定部位对应的虚拟形象的外形轮廓特征。

例如，若目标对象的特定部位为面部，目标对象的特定部位的真实外形轮廓特征包括圆脸，目标对象的特定部位对应的虚拟形象的外形轮廓特征则也可以包括圆脸；若目标对象的特定部位为手，目标对象的特定部位的真实外形轮廓特征包括长手指，目标对象的特定部位对应的虚拟形象的外形轮廓特征则也可以包括长手指。

又一示例性的，也可以不采用根据目标对象的特定部位的真实外形轮廓特征，生成目标对象的特定部位对应的虚拟形象的外形轮廓特征的方式。即，无论目标对象的特定部位的真实外形轮廓特征是何种状态，目标对象的特定部位对应的虚拟形象的外形轮廓特征始终处于设定状态。

例如，若目标对象的特定部位为面部，目标对象的特定部位对应的虚拟形象的外形轮廓特征若设定为瓜子脸，即使目标对象的特定部位的真实外形轮廓特征为圆脸，目标对象的特定部位对应的虚拟形象的外形轮廓特征也还是瓜子脸；若目标对象的特定部位为手，目标对象的特定部位对应的虚拟形象的外形轮廓特征若设定为长手指，即使目标对象的特定部位的真实外形轮廓特征为短手指，目标对象的特定部位对应的虚拟形象的外形轮廓特征也还是长手指。

若不采用根据目标对象的特定部位的真实外形轮廓特征，生成目标对象的特定部位对应的虚拟形象的外形轮廓特征的方式，则可以获取预先设定的目标对象的特定部位的虚拟形象的外形轮廓特征，确定与目标对象对应的虚拟身份信息。

若根据目标对象的特定部位的真实外形轮廓特征，生成目标对象的特定部位对应的虚拟形象的外形轮廓特征，则需要提取目标对象的特定部位的真实外形轮廓特征，以便于生成目标对象的特定部位对应的虚拟形象的外形轮廓特征，确定与目标对象对应的虚拟身份信息。

具体的，可以根据目标对象的特定部位图像，提取目标对象的特定部位的真实外形轮廓特征。此外，也可以预先将目标对象的特定部位的真实外形轮廓特征存储于设定的数据库中，进而从该数据库中提取目标对象的特定部位的真实外形轮廓特征。

在一个具体的场景中，采用根据目标对象的特定部位的真实外形轮廓特征，生成目标对象的特定部位对应的虚拟形象的外形轮廓特征的方式。若检测到是第一次对目标对象的特定部位进行重定向处理，可以根据目标对象的特定部位图像，提取目标对象的特定部位的真实外形轮廓特征，以便于生成目标对象的特定部位对应的虚拟形象的外形轮廓特征，确定与目标对象对应的虚拟身份信息。

同时，将目标对象的特定部位的真实外形轮廓特征存储于设定的数据库中。在下一次对目标对象的该特定部位进行重定向处理时，可以直接从该数据库中提取目标对象的特定部位的真实外形轮廓特征，节省时间，提高处理速度。

此外，目标对象的特定部位在经过一段时间后外形轮廓可能会发生较为明显的变化。例如，人在一段时间后可能会出现较为明显的变胖或者变瘦的情况，发型可能会发生改变，而且儿童可能会出现长高、发生面容变化的情况。

为了避免目标对象的特定部位在经过一段时间后外形轮廓发生较为明显的变化导致数据库中存储的目标对象的特定部位的真实外形轮廓特征与实际情况不一致，示例性的，可以设定数据库存储目标对象的特定部位的真实外形轮廓特征的时间，例如，设置为一个月或者两个月。超过该存储时间后数据库自动将目标对象的特定部位的真实外形轮廓特征删除，在下一次对目标对象的该特定部位进行重定向处理时，重新根据目标对象的特定部位图像，提取目标对象的特定部位的真实外形轮廓特征。

S102、从第一三维模型中提取得到动作信息。

上述动作信息，是体现目标对象的特定部位图像中的目标对象的特定部位的动作特征的信息。具体的，动作信息包括目标对象的特定部位图像中的目标对象的特定部位的动作特征。动作信息可以是动作特征向量、动作特征编码或者仅具有动作信息的三维模型，本实施例不做限定。

目标对象的特定部位的动作特征，指的是能够表征目标对象的特定部位的动作的特征。例如，若目标对象是人，特定部位是面部，目标对象的特定部位的动作特征指的是表情特征；若目标对象是人，特定部位是胳膊，目标对象的特定部位的动作特征指的是胳膊的动作特征。

基于目标对象的特定部位的视频图像重建第一三维模型，能够还原目标对象的特定部位在每个时刻的动作。本实施例中，从第一三维模型中提取上述动作信息。

示例性的，可以预先训练动作特征提取网络，将第一三维模型输入到该动作特征提取网络中，得到动作特征提取网络输出的动作信息。

其中，动作特征提取网络的训练样本为大量通过三维重建得到的三维模型，标签为每个训练样本对应的动作信息。其具体的训练过程为：

将训练样本输入到动作特征提取网络中，得到动作特征提取网络输出的动作信息，根据训练标签和动作特征提取网络输出的动作信息，确定动作特征提取网络的损失值，按照减小动作特征提取网络的损失值的方向，对动作特征提取网络的参数进行调整。重复执行上述训练过程，直至动作特征提取网络的损失值小于设定值，动作特征提取网络训练完成。需要说明的是，上述设定值可以根据实际情况进行设定，本实施例不做限定。

又一示例性的，还可以实时跟踪检测第一三维模型的动作特征，按照设定的编码规则对第一三维模型的动作特征进行编码，生成动作信息；或者，实时跟踪检测第一三维模型的动作特征，按照设定的规则将第一三维模型的动作特征转换成向量，生成动作信息。

S103、通过对虚拟身份信息和动作信息进行融合，得到携带动作信息的虚拟形象。

虚拟身份信息包含与目标对象的特定部位对应的虚拟形象的外形轮廓特征，动作信息包括目标对象的特定部位图像中的目标对象的特定部位的动作特征。将虚拟身份信息与动作信息融合，也就是将目标对象的特定部位对应的虚拟形象的外形轮廓特征与目标对象的特定部位的动作特征融合，则可以得到携带动作信息的虚拟形象。

将虚拟身份信息与动作信息融合时，可以采用拼接融合的方式，本实施例不做限定。

以上实施例中，基于目标对象的特定部位图像进行目标对象的特定部位三维重建，得到第一三维模型，并确定与目标对象对应的虚拟身份信息。其中，虚拟身份信息能够体现与目标对象的特定部位对应的虚拟形象的外形轮廓特征。然后从第一三维模型中提取得到动作信息，该动作信息是体现目标对象的特定部位图像中的目标对象的特定部位的动作特征的信息。通过对虚拟身份信息和动作信息进行融合，得到携带动作信息的虚拟形象，由于虚拟形象所携带的动作信息是基于目标对象的特定部位的动作特征生成的，能够使虚拟形象执行的动作与目标对象的特定部位的动作一致。

作为一种可选的实现方式，如图2所示，在本申请另一实施例中公开了，若采用根据目标对象的特定部位的真实外形轮廓特征，生成目标对象的特定部位对应的虚拟形象的外形轮廓特征的方式，以上实施例的步骤确定与目标对象对应的虚拟身份信息，具体可以包括如下步骤：

S201、根据目标对象的特定部位图像，生成与目标对象的特定部位相对应的第二三维模型。

若要根据目标对象的特定部位的真实外形轮廓特征，生成目标对象的特定部位对应的虚拟形象的外形轮廓特征，则需要先根据目标对象的特定部位图像，生成与目标对象的特定部位相对应的虚拟形象的三维模型，然后再从与目标对象的特定部位相对应的虚拟形象的三维模型中，提取与目标对象对应的虚拟身份信息。

上述第二三维模型为与目标对象的特定部位相对应的虚拟形象的三维模型。本实施例中，首先根据目标对象的特定部位图像，生成该第二三维模型，以便于后续的步骤中，能够基于该第二三维模型提取与目标对象对应的虚拟身份信息。

示例性的，可以采用虚拟三维网络对目标对象的特定部位图像进行处理，生成第二三维模型。由于本申请的实施例中仅需要从该第二三维模型中提取虚拟身份信息，因此，虚拟三维网络可以将目标对象的特定部位图像中目标对象的特定部位的动作信息过滤掉，仅保留目标对象的特定部位的身份信息，实现将目标对象的特定部位的身份信息转换为目标对象的特定部位对应的虚拟形象的身份信息的目的。如此设置，不仅能够有效减小虚拟三维网络的计算量，而且不需要预先绘制虚拟形象执行各种动作的虚拟三维图像，有效减少前期虚拟角色绘制的工作量。

在一个具体的实施场景中，目标对象为人，特定部位为面部。现有技术中，在利用虚拟三维网络将面部转换为虚拟形象时，需要根据虚拟形象的面部特征制作表情基，其中每个表情基都是对常用表情的分解，如闭左眼，闭右眼，张嘴笑等。通过所有表情基的线性组合便可以模拟出常用的表情来模仿真实面部的表情动作。表情基的制作需要专业动画从业人员付出大量时间和精力。

本实施场景中，仅需要专业动画从业人员绘制中性表情或者设定表情的面部虚拟形象即可，耗时短。虚拟三维网络提取人的面部的外形轮廓特征后，能够基于面部的外形轮廓特征对中性表情或者设定表情的面部虚拟形象进行调整，即可得到符合面部外形轮廓特征的虚拟形象。

本实施例可以采用现有技术中非常成熟的虚拟三维网络即可；或者，将现有技术中虚拟三维网络中动作转换的相关部分删除，仅保留身份信息转换的部分，此处不作赘述。

S202、从第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息。

第二三维模型，实质上是将目标对象的特定部位的身份信息转换为目标对象的特定部位对应的虚拟形象的身份信息。本实施例中，从第二三维模型中提取虚拟身份信息，提供目标对象的特定部位对应的虚拟形象的外形轮廓特征，以便于将虚拟形象的外形轮廓特征与目标对象的特定部位的动作特征融合，得到携带动作信息的虚拟形象。虚拟身份信息可以是身份特征向量、身份特征编码或者仅具有身份信息的三维模型，本实施例不做限定。需要说明的是，本实施例的虚拟身份信息应与动作信息的格式一致，以便于能够将虚拟身份信息和动作信息融合。

示例性的，可以预先训练身份特征提取网络，将第二三维模型输入到该身份特征提取网络中，得到身份特征提取网络输出的虚拟身份信息。

其中，身份特征提取网络的训练样本为大量的虚拟三维模型，标签为每个训练样本对应的虚拟身份信息。其具体的训练过程与以上实施例的动作特征提取网络的训练过程相同，本领域的技术人员参照以上实施例的记载即可，此处不作赘述。

以上实施例中，能够提取虚拟身份信息，以便于将虚拟形象的外形轮廓特征与目标对象的特定部位的动作特征融合，得到携带动作信息的虚拟形象。还能够有效减小虚拟三维网络的计算量，而且，不需要预先绘制虚拟形象执行各种动作的虚拟三维图像，有效减少前期虚拟角色绘制的工作量。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤从第一三维模型中提取得到动作信息，具体可以包括如下步骤：

将第一三维模型输入预先训练的第一特征提取网络，得到第一特征提取网络从第一三维模型中提取得到的目标对象的特定部位的动作信息。

本实施例中，可以预先训练第一特征提取网络，以便于将第一三维模型输入预先训练的第一特征提取网络中，得到第一特征提取网络输出的目标对象的特定部位的动作信息。

本实施例提供了一种第一特征提取网络，如图3所示，本实施例的第一特征提取网络包括第一身份编码器30、第一动作编码器31、第一编码融合器32以及第一解码器33。

第一身份编码器30，用于从第一三维模型中提取得到目标对象的特定部位的外形轮廓特征，并对外形轮廓特征进行编码，得到身份信息。

上述身份信息是体现目标对象的特定部位真实的外形轮廓特征的信息，具体的，身份信息包含目标对象的特定部位的外形轮廓特征。目标对象的特定部位的外形轮廓特征，指的是能够表征目标对象的特定部位的外形轮廓的特征。将目标对象的特定部位的外形轮廓特征组合，能够得到目标对象的特定部位的三维图像。

具体的，本实施例中的身份信息为身份编码。将第一三维模型输入第一特征提取网络后，由第一身份编码器30对第一三维模型进行处理，从一三维模型中提取目标对象的特定部位的真实的外形轮廓特征，并且对目标对象的特定部位的外形轮廓特征进行编码，得到身份信息。

第一动作编码器31，用于从第一三维模型中提取得到目标对象的特定部位的动作特征，并对动作特征进行编码，得到动作信息。

具体的，本实施例中的动作信息为动作编码。将第一三维模型输入第一特征提取网络后，由第一动作编码器31对第一三维模型进行处理，从一三维模型中提取目标对象的特定部位的动作特征，并对目标对象的特定部位的动作特征进行编码，得到动作信息，并且将动作信息作为第一特征提取网络的输出。

第一编码融合器32，用于融合身份信息和动作信息，得到第一融合信息。

本实施例中，可以采用第一编码融合器32对身份信息和动作信息进行编码融合，得到第一融合信息。由于身份信息和动作信息均是编码格式，融合得到的第一融合信息也是编码格式。第一编码融合器32可以采用拼接的方式将身份信息和动作信息融合，本实施例不做限定。

第一解码器33，用于对第一融合信息进行解码处理，得到第三三维模型。

需要说明的是，本实施例在对第一特征提取网络进行训练时，应在第一解码器33解码得到的三维模型与第一特征提取网络输入的三维模型的相似度达到设定相似度值后，再结束对第一特征提取网络的训练。

如此设置，第一特征提取网络对第一三维模型进行编码再融合、解码后得到的第三三维模型与第一三维模型之间的相似度较高且高于设定相似度值。将虚拟身份信息与在这样的情况下得到的动作信息进行融合时，得到的携带动作信息的虚拟形象的动作精度也更高，与目标对象的特定部位的动作一致性更强。

例如，如图3所示，若目标对象的特定部位是面部，动作信息为面部表情信息，那么输入的第一三维模型为第一三维面部模型，第一解码器33解码得到的三维模型为第三三维面部模型。第一三维面部模型与第三三维面部模型之间的相似度越高，将虚拟身份信息与在这样的情况下得到的面部表情信息进行融合时，得到的携带面部表情信息的虚拟形象的动作精度也更高，与目标对象的面部表情一致性更强。

上述编码器和解码器可以采用变分自动编码器（Variational autoEncoder，VAE），编码融合器可以采用常规的拼接模型，本实施例不做限定。

在对第一特征提取网络进行训练时，选取大量的目标对象的特定部位图像进行三维重建，将三维重建后的三维模型作为训练样本，对第一特征提取网络整体进行训练。将训练样本输入第一特征提取网络后，得到第一特征提取网络的第一解码器33输出的三维模型，根据第一解码器33输出的三维模型与输入的训练样本，计算第一特征提取网络的损失值，按照减小第一特征提取网络的损失值的方向，对第一特征提取网络的参数进行调整。重复执行上述训练过程，直至第一特征提取网络的损失值小于设定值，第一特征提取网络训练完成。需要说明的是，上述设定值可以根据实际情况进行设定，本实施例不做限定。

此外，第一动作编码器31编码得到的动作信息，可能会受到目标对象的特定部位的身份信息的干扰。因此，在一个具体的实施例中，为第一动作编码器31引入约束信息，实现动作信息和身份信息的解耦。示例性的，可以采集设定数量的目标对象的特定部位样本图像；目标对象的特定部位样本图像包括不同的目标对象处于相同动作的图像。计算目标对象的特定部位样本图像的网格均值，将网格均值作为第一动作编码器31的约束信息。

在另外一个可选的实施例中，还提供了另一种第一特征提取网络，如图4所示，本实施例的第一特征提取网络包括第一身份编码器30、第一动作编码器31、身份解码器34、动作解码器35和第一动作融合器36。

其中，第一身份编码器30的作用不变，依旧用于基于第一三维模型生成身份信息，第一动作编码器31的作用也不变，用于基于第一三维模型生成动作信息，将动作信息作为第一特征提取网络的输出。身份解码器34用于对身份信息进行解码，得到身份三维模型，动作解码器35用于对动作信息进行解码，得到动作三维模型，第一动作融合器36用于对身份三维模型和动作三维模型进行拼接融合，得到第三三维模型。

需要说明的是，本实施例在对第一特征提取网络进行训练时，应在第一动作融合器36融合得到的三维模型与第一特征提取网络输入的三维模型的相似度达到设定相似度值后，再结束对第一特征提取网络的训练。

如此设置，第一特征提取网络对第一三维模型进行编码再解码、融合后得到的第三三维模型与第一三维模型之间的相似度较高且高于设定相似度值。将虚拟身份信息与在这样的情况下得到的动作信息进行融合时，得到的携带动作信息的虚拟形象的动作精度也更高，与目标对象的特定部位的动作一致性更强。

例如，如图4所示，若目标对象的特定部位是面部，动作信息为面部表情信息，那么输入的第一三维模型为第一三维面部模型，第一动作融合器36融合得到的三维模型为第三三维面部模型。第一三维面部模型与第三三维面部模型之间的相似度越高，将虚拟身份信息与在这样的情况下得到的面部表情信息进行融合时，得到的携带面部表情信息的虚拟形象的动作精度也更高，与目标对象的面部表情一致性更强。

上述编码器和解码器也可以采用VAE，动作融合器也可以采用常规的拼接模型，本实施例不做限定。

需要说明的是，本实施例提供的第一特征提取网络的训练样本、标签以及训练方式与以上实施例的第一特征网络的训练方式相同，本领域的技术人员参照以上实施例的记载即可，此处不作赘述。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤从第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息，具体可以包括如下步骤：

将第二三维模型输入预先训练的第二特征提取网络，得到第二特征提取网络从第二三维模型中提取得到的目标对象的特定部位对应的虚拟形象的外形轮廓特征。

本实施例中，可以预先训练第二特征提取网络，以便于将第二三维模型输入预先训练的第二特征提取网络中，得到第二特征提取网络输出的目标对象的特定部位对应的虚拟形象的外形轮廓特征。

如图5所示，第二特征提取网络包括第二身份编码器50、第二动作编码器51、第二编码融合器52以及第二解码器53。

第二身份编码器50，用于从第二三维模型中提取得到目标对象的特定部位对应的虚拟形象的外形轮廓特征，并对外形轮廓特征进行编码，得到虚拟身份信息。

具体的，本实施例中的虚拟身份信息为虚拟身份编码。将第二三维模型输入第二特征提取网络后，由第二身份编码器50对第二三维模型进行处理，从第二三维模型中提取目标对象的特定部位对应的虚拟形象的外形轮廓特征，并且对目标对象的特定部位对应的虚拟形象的外形轮廓特征进行编码，得到虚拟身份信息，并且将虚拟身份信息作为第二特征提取网络的输出。

第二动作编码器51，用于从第二三维模型中提取得到目标对象的特定部位对应的虚拟形象的动作特征，并对动作特征进行编码，得到虚拟动作信息。

上述虚拟动作信息是体现目标对象的特定部位对应的虚拟形象的动作特征的信息。具体的，本实施例中的虚拟动作信息为虚拟动作编码。将第二三维模型输入第二特征提取网络后，由第二动作编码器51对第二三维模型进行处理，从第二三维模型中提取目标对象的特定部位对应的虚拟形象的动作特征，并对目标对象的特定部位对应的虚拟形象的动作特征进行编码，得到虚拟动作信息。

第二编码融合器52，用于融合虚拟身份信息和虚拟动作信息，得到第二融合信息。

本实施例中，可以采用第二编码融合器52对虚拟身份信息和虚拟动作信息进行编码融合，得到第二融合信息。由于虚拟身份信息和虚拟动作信息均是编码格式，融合得到的第二融合信息也是编码格式。第二编码融合器52可以采用拼接的方式将虚拟身份信息和虚拟动作信息融合，本实施例不做限定。

第二解码器53，用于对第二融合信息进行解码处理，得到第四三维模型。

需要说明的是，本实施例在对第二特征提取网络进行训练时，应在第二解码器53解码得到的三维模型与第二特征提取网络输入的三维模型的相似度达到设定相似度值后，再结束对第二特征提取网络的训练。

如此设置，第二特征提取网络对第二三维模型进行编码再融合、解码后得到的第四三维模型与第二三维模型之间的相似度较高且高于设定相似度值。将动作信息与在这样的情况下得到的虚拟身份信息进行融合时，得到的携带动作信息的虚拟形象的精度更高。

例如，如图5所示，若目标对象的特定部位是面部，动作信息为面部表情信息，那么输入的第二三维模型为第二三维面部模型，第二解码器53解码得到的三维模型为第四三维面部模型。第二三维面部模型与第四三维面部模型之间的相似度越高，将面部表情信息与在这样的情况下得到的虚拟身份信息进行融合时，得到的携带面部表情信息的虚拟形象的动作精度也更高。

上述编码器和解码器可以采用VAE，编码融合器可以采用常规的拼接模型。

在对第二特征提取网络进行训练时，选取大量的目标对象的特定部位图像，将根据目标对象的特定部位图像生成的虚拟形象的三维模型作为训练样本，对第二特征提取网络整体进行训练。将训练样本输入第二特征提取网络后，得到第二特征提取网络的第二解码器53输出的三维模型，根据第二解码器53输出的三维模型与输入的训练样本，计算第二特征提取网络的损失值，按照减小第二特征提取网络的损失值的方向，对第二特征提取网络的参数进行调整。重复执行上述训练过程，直至第二特征提取网络的损失值小于设定值，第二特征提取网络训练完成。需要说明的是，上述设定值可以根据实际情况进行设定，本实施例不做限定。

在另外一个可选的实施例中，还提供了另一种第二特征提取网络，如图6所示，第二特征提取网络包括第二身份编码器50、第二动作编码器51、虚拟身份解码器54、虚拟动作解码器55和第二动作融合器56。

其中，第二身份编码器50的作用不变，依旧用于基于第二三维模型生成虚拟身份信息，将虚拟身份信息作为第二特征提取网络的输出，第二动作编码器51的作用也不变，用于基于第二三维模型生成虚拟动作信息。虚拟身份解码器54用于对虚拟身份信息进行解码，得到虚拟身份三维模型，虚拟动作解码器55用于对虚拟动作信息进行解码，得到虚拟动作三维模型，第二动作融合器56用于对虚拟身份三维模型和虚拟动作三维模型进行融合，得到第四三维模型。

需要说明的是，本实施例在对第二特征提取网络进行训练时，应在第二动作融合器56融合得到的三维模型与第二特征提取网络输入的三维模型的相似度达到设定相似度值后，再结束对第二特征提取网络的训练。

如此设置，第二特征提取网络对第二三维模型进行编码再解码、融合后得到的第四三维模型与第二三维模型之间的相似度较高且高于设定相似度值。将动作信息与在这样的情况下得到的虚拟身份信息进行融合时，得到的携带动作信息的虚拟形象的动作精度也更高。

例如，如图6所示，若目标对象的特定部位是面部，动作信息为面部表情信息，那么输入的第二三维模型为第二三维面部模型，第二动作融合器56融合得到的三维模型为第四三维面部模型。第二三维面部模型与第四三维面部模型之间的相似度越高，将面部表情信息与在这样的情况下得到的虚拟身份信息进行融合时，得到的携带面部表情信息的虚拟形象的动作精度也更高。

上述编码器和解码器也可以采用VAE，动作融合器也可以采用常规的拼接模型，本实施例不做限定。

需要说明的是，本实施例提供的第二特征提取网络的训练样本、标签以及训练方式与以上实施例的第二特征网络的训练方式相同，本领域的技术人员参照以上实施例的记载即可，此处不作赘述。

作为一种可选的实现方式，如图7所示，在本申请另一实施例中公开了，以上实施例的步骤通过对虚拟身份信息和动作信息进行融合，得到携带动作信息的虚拟形象，具体可以包括如下步骤：

S701、对虚拟身份信息和动作信息进行编码融合，得到融合信息。

本申请的实施例中，得到虚拟身份信息和动作信息后，可以先对虚拟身份信息和动作信息进行融合处理，得到融合信息。示例性的，若虚拟身份信息和动作信息均为编码格式，可以通过拼接编码的方式，将虚拟身份信息和动作信息融合，得到融合信息。

S702、对融合信息进行解码处理，得到携带动作信息的虚拟形象。

得到融合信息以后，可以进一步对融合信息进行解码处理，得到携带动作信息的虚拟形象。示例性的，可以预先训练编码解码网络，将融合信息输入到该编码解码网络中，得到编码解码网络输出的携带动作信息的虚拟形象。

其中，编码解码网络的训练样本为大量的融合信息，标签为每项融合信息对应的携带动作信息的虚拟形象。其具体的训练过程与以上实施例的第一特征提取网络相同，本领域的技术人员参照以上实施例的记载即可，此处不作赘述。

以上实施例中，通过对虚拟身份信息和动作信息进行融合和解码，能够得到携带动作信息的虚拟形象。由于虚拟形象所携带的动作信息是基于目标对象的特定部位的动作特征生成的，能够使虚拟形象执行的动作与目标对象的特定部位的动作一致。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤通过对虚拟身份信息和动作信息进行融合，得到携带动作信息的虚拟形象，具体可以包括如下步骤：

利用第二特征提取网络的第二编码融合器对虚拟身份信息和动作信息进行融合，得到融合信息；利用第二特征提取网络的第二解码器对融合信息进行解码，得到携带动作信息的虚拟形象。

本实施例中，可以利用图5所示的实施例的第二特征提取网络中的第二编码融合器52，融合虚拟身份信息和动作信息。具体的，可以调用第二编码融合器52，将虚拟身份信息和动作信息输入第二编码融合器52中，由第二编码融合器52将虚拟身份信息和动作信息融合，得到融合信息；也可以复制第二编码融合器52，得到编码融合网络，将虚拟身份信息和动作信息输入复制得到的编码融合网络中，由复制得到的编码融合网络将虚拟身份信息和动作信息融合，得到融合信息。

可以利用图5所示的实施例的第二特征提取网络中的第二解码器53，对融合信息进行解码。具体的，可以调用第二解码器53，将融合信息输入到第二解码器53中，由第二解码器53对融合信息进行解码，得到携带动作信息的虚拟形象；也可以复制第二解码器53，得到解码网络，将融合信息输入复制得到的解码网络中，由复制得到的解码网络53对融合信息进行解码，得到携带动作信息的虚拟形象。

以上实施例中，能够利用第二特征提取网络的第二编码融合器52融合虚拟身份信息和动作信息，利用第二解码器53对融合信息进行解码，得到携带动作信息的虚拟形象，不需要再训练新的编码融合器和解码器，有效减少模型训练的工作量。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤通过对虚拟身份信息和动作信息进行融合，得到携带动作信息的虚拟形象，具体可以包括如下步骤：

对虚拟身份信息进行解码，得到虚拟身份三维模型；以及，对动作信息进行解码，得到动作三维模型；将虚拟身份三维模型和动作三维模型进行融合，得到携带动作信息的虚拟形象。

具体地，本实施例中先分别对虚拟身份信息和动作进行解码处理，得到解码之后的虚拟身份三维模型和动作三维模型。其中，对虚拟身份信息进行解码可以采用预先训练好的虚拟身份解码网络，对动作信息进行解码可以采用预先训练好的动作信息解码网络，本实施例不做限定。

然后针对虚拟身份三维模型和动作三维模型进行融合处理，例如进行拼接融合，则可以得到携带动作信息的虚拟形象。

以上实施例中，通过对虚拟身份信息和动作信息进行解码和融合，能够得到携带动作信息的虚拟形象。由于虚拟形象所携带的动作信息是基于目标对象的特定部位的动作特征生成的，能够使虚拟形象执行的动作与目标对象的特定部位的动作一致。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤通过对虚拟身份信息和动作信息进行融合，得到携带动作信息的虚拟形象，具体可以包括如下步骤：

利用第二特征提取网络的虚拟身份解码器，对虚拟身份信息进行解码，得到虚拟身份三维模型；以及，利用第二特征提取网络的虚拟动作解码器，对动作信息进行解码，得到虚拟动作三维模型；利用第二特征提取网络的第二动作融合器融合虚拟身份三维模型和虚拟动作三维模型，得到携带动作信息的虚拟形象。

可以利用图6所示的实施例的第二特征提取网络的虚拟身份解码器54对虚拟身份信息进行解码，得到虚拟身份三维模型。具体的，可以调用虚拟身份解码器54，将虚拟身份信息输入到虚拟身份解码器54中，由虚拟身份解码器54对虚拟身份信息进行解码，得到虚拟身份三维模型；也可以复制虚拟身份解码器54，得到虚拟身份解码网络，将虚拟身份信息输入复制得到的虚拟身份解码网络中，由复制得到的虚拟身份解码网络对虚拟身份信息进行解码，得到虚拟身份三维模型。

可以利用图6所示的实施例的第二特征提取网络的虚拟动作解码器55对动作信息进行解码，得到虚拟动作三维模型。具体的，可以调用虚拟动作解码器55，将动作信息输入到虚拟动作解码器55中，由虚拟动作解码器55对动作信息进行解码，得到虚拟动作三维模型；也可以复制虚拟动作解码器55，得到虚拟动作解码网络，将动作信息输入复制得到的虚拟动作解码网络中，由复制得到的虚拟动作解码网络对动作信息进行解码，得到虚拟动作三维模型。

可以利用图6所示的实施例的第二特征提取网络的第二动作融合器56融合虚拟身份三维模型和虚拟动作三维模型，得到携带动作信息的虚拟形象。具体的，可以调用第二动作融合器56，将虚拟身份三维模型和虚拟动作三维模型输入第二动作融合器56中，由第二动作融合器56将虚拟身份三维模型和虚拟动作三维模型融合，得到携带动作信息的虚拟形象；也可以复制第二动作融合器56，得到特征融合网络，将虚拟身份三维模型和虚拟动作三维模型输入复制得到的特征融合网络中，由复制得到的特征融合网络将虚拟身份三维模型和虚拟动作三维模型融合，得到携带动作信息的虚拟形象。

以上实施例中，能够利用第二特征提取网络的虚拟身份解码器54对虚拟身份信息进行解码，利用第二特征提取网络的虚拟动作解码器55对虚拟动作信息进行解码，利用第二动作融合器56融合虚拟身份三维模型和虚拟动作三维模型，得到携带动作信息的虚拟形象，不需要再训练新的解码器和特征融合器，有效减少模型训练的工作量。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的重定向方法，具体可以包括如下步骤：将动作信息转换到与虚拟身份信息相同的特征空间。

具体的，由于第一三维模型表征的是真实场景下的目标对象的特定部位，而第二三维模型表征的是虚拟场景下的目标对象的特定部位，导致第一三维模型和第二三维模型的拓扑和分布存在差异，根据第一三维模型生成的动作信息与根据第二三维模型生成的虚拟身份信息在特征空间的分布上存在差异，因此，需要将动作信息转换到与虚拟身份信息相同的特征空间。也就是说，根据第一三维模型生成的动作信息在进行特征转换后，与根据第二三维模型生成的虚拟动作信息相同。

示例性的，可以将动作信息输入到预先训练的特征转换网络中，以使特征转换网络将动作信息转换为虚拟身份信息。

特征转换网络的训练过程如下：

首先需要构造训练样本。利用现有技术中的三维重建算法，对大量真实演员的特定部位图像中的真实演员的特定部位进行三维重建，得到真实演员特定部位的三维模型。需要说明的是，若真实演员的特定部位的图像数量较少，可以通过随机采样三维重建算法中控制动作信息的参数的方式，获得具有随机动作的真实演员特定部位的三维模型。

从真实演员特定部位的三维模型中提取动作信息，将动作信息一一迁移到虚拟三维网络中，得到虚拟三维网络输出的真实演员的特定部位虚拟形象的三维模型，从真实演员的特定部位虚拟形象的三维模型中提取虚拟动作信息，如此设置可以得到具有相同动作的真实-虚拟特定部位动作信息用于训练。

将动作信息做为训练样本，将虚拟动作信息作为训练标签，对特征转换模型进行训练，当特征转换模型的损失值小于设定值时，训练完成。需要说明的是，上述设定值可以根据实际情况设置，本实施例不做限定。

在一个具体的实施场景中，若目标对象为人，特定部位为面部，动作信息为面部表情信息，可以通过如下方式构造训练样本：

将大量真实演员的面部图像进行三维重建，得到真实演员面部的三维模型。可以 采用FaceWareHouse进行三维人脸的重建。FaceWareHouse人脸模型中人脸

通常通过下面 的公式来近似：

其中

是核心张量，

和

分别是身份系数和表情系数。

通过带有可微渲染器的卷积神经网络，以自监督的方式能够回归出人脸的身份系 数和表情系数。基于身份系数和表情系数，可以重建出演员的三维人脸网格。根据如下公式 可以得到每个演员自身的混合变形表情模型

：

其中

表示FaceWareHouse人脸模型表情模态的截短矩阵，

表示表情权重向量。

若真实演员的面部的图像数量较少，可以通过随机采样混合变形系数的方式获得具有随机表情的真实演员面部的三维模型。

将相同混合变形系数迁移到虚拟三维网络中，得到虚拟三维网络输出的真实演员的面部虚拟形象的三维模型。从真实演员面部三维模型中提取表情信息，从真实演员的面部虚拟形象的三维模型中提取虚拟动作信息即可。

本实施例中，将动作信息转换到与虚拟身份信息相同的特征空间后，再融合动作信息和虚拟身份信息，可以直接接受目标对象特定部位图片或视频输入，不再需要通过标记特征点的方式将动作信息和虚拟身份信息对齐，实用性大大增加。

作为一种可选的实现方式，在本申请另一实施例中公开了，以上实施例的步骤从第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息；从第一三维模型中提取得到动作信息；通过对虚拟身份信息和动作信息进行融合，得到携带动作信息的虚拟形象，具体可以包括如下步骤：

将第一三维模型和第二三维模型分别输入重定向网络，得到携带动作信息的虚拟形象。

本实施例中，采用重定向网络对第一三维模型和第二三维模型进行处理，通过将第一三维模型和第二三维模型分别输入重定向网络，能够得到重定向网络输出的携带动作信息的虚拟形象。

如图8所示，重定向网络包括第一特征提取网络80、第二特征提取网络81、特征变换网络82、编码融合网络83以及解码网络84。

其中，第一特征提取网络80主要用于对第一三维模型进行处理，从第一三维模型中提取得到目标对象的特定部位的动作信息。第一特征提取网络80的具体结构与图3所示实施例的第一特征提取网络的作用、结构相同，本领域的技术人员参照图3所示实施例的第一特征提取网络的记载即可，此处不做赘述。

第二特征提取网络81主要用于对第二三维模型进行处理，从第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息。第二特征提取网络81的具体作用、结构与图5所示实施例的第二特征提取网络的结构相同，本领域的技术人员参照图5所示实施例的第二特征提取网络的记载即可，此处不做赘述。

特征变换网络82，用于将动作信息转换到与虚拟身份信息相同的特征空间。特征变换网络82的作用、结构与以上实施例的特征转换网络相同，本领域的技术人员参照以上实施例对特征转换网络的记载即可，此处不做赘述。

编码融合网络83，用于对虚拟身份信息和进行转换后的动作信息进行编码融合，得到融合信息；解码网络84，用于对融合信息进行解码处理，得到携带动作信息的虚拟形象。

在训练时，可以设置将重定向网络中的第一特征提取网络80、第二特征提取网络81、特征变换网络82、编码融合网络83以及解码网络84同时进行训练，当第一特征提取网络80、第二特征提取网络81、特征变换网络82、编码融合网络83以及解码网络84均满足各自的训练要求时停止进行训练。还可以仅训练第一特征提取网络80、第二特征提取网络81、特征变换网络82，当第一特征提取网络80、第二特征提取网络81、特征变换网络82各自满足训练需求时，复制第二特征提取网络81中第二编码融合器作为编码融合网络83，复制第二特征提取网络81中的第二解码器作为解码网络84。

以上实施例中，通过重定向网络对第一三维模型和第二三维模型进行处理，能够得到携带动作信息的虚拟形象。由于虚拟形象所携带的动作信息是基于目标对象的特定部位的动作特征生成的，能够使虚拟形象执行的动作与目标对象的特定部位的动作一致。

作为一种可选的实施方式，重定向网络中可以不设置编码融合网络以及解码网络，而是调用第二特征提取网络81中的第二编码融合器实现编码融合网络的作用，对虚拟身份信息和进行转换后的动作信息进行编码融合；调用第二特征提取网络81中的第二解码器实现解码网络的作用，对融合信息进行解码处理，得到携带动作信息的虚拟形象。如此设置，可以减少重定向网络的数据量。

在一个具体的实施例中，目标对象为人，特定部位为面部，动作信息包括面部表情信息。

获取面部图像，对面部图像进行三维重建，得到第一面部三维模型，将第一面部三维模型输入到图8所示的第一特征提取网络80中，第一特征提取网络能够输出面部表情信息。

第一特征提取网络80在对第一面部三维模型进行处理时，第一特征提取网络80中的第一身份编码器用于提取面部身份特征，并对面部身份特征进行编码，得到身份信息；第一动作编码器用于提取面部表情特征，并对面部表情特征进行编码，得到表情信息；第一编码融合器用于对表情信息和身份信息进行融合，得到第一融合信息；第一解码器用于对第一融合信息进行解码，得到第三面部三维模型。其中，第一特征提取网络80对第一面部三维模型进行编码后又融合、解码，如此得到的第三面部三维模型与第一面部三维模型相似度越高，则说明第一特征提取网络80的训练精度更高。

进一步地，利用虚拟三维网络将面部图像转换为三维虚拟形象，得到第二面部三维模型。将第二面部三维模型输入到图8所示的第二特征提取网络81中，第二特征提取网络81能够输出虚拟身份信息。

第二特征提取网络81在对第二面部三维模型进行处理时，第二特征提取网络81的第二身份编码器用于提取面部身份特征，并对面部身份特征进行编码，得到虚拟身份信息；第二动作编码器用于提取面部表情特征，并对面部表情特征进行编码，得到虚拟表情信息；第二编码融合器用于对虚拟表情信息和虚拟身份信息进行融合，得到第二融合信息；第二解码器用于对第二融合信息进行解码，得到第四面部三维模型。其中，第二特征提取网络81对第二面部三维模型进行编码后又融合、解码，如此得到的第四面部三维模型与第二面部三维模型相似度越高，则说明第二特征提取网络81的训练精度更高。

将表情信息送入图8所示的特征变换网络82中进行特征转换。将转换后的表情信息和虚拟身份信息输入到图8所示的编码融合网络83中，将转换后的表情信息和虚拟身份信息进行融合，得到融合信息。将融合信息送入图8所示的解码网络84对融合信息进行解码，则可以得到携带表情信息的虚拟形象。如图8所示，虚拟形象的外形轮廓与第二面部三维模型一致，虚拟形象的表情与第一面部三维模型一致。

如此设置，不需要根据虚拟形象的面部特征预先制作各种表情基，仅需要专业动画从业人员绘制中性表情或者设定表情的面部虚拟形象即可，耗时短。而且，现有技术中是通过表情基的线性组合模拟常用的表情来模仿真实人脸的表情动作，缺乏真实感和表现力。本实施例中将真实的面部表情迁移到虚拟形象中，能够有效提高虚拟形象表情动作的真实感和表现力。

在另外一个可选的实施例中，还提供了另一种重定向网络，如图9所示，本实施例的重定向网络包括第一特征提取网络80、第二特征提取网络81、特征变换网络82、虚拟身份解码网络85、虚拟动作解码网络86和特征融合网络87。

其中，第一特征提取网络80主要用于对第一三维模型进行处理，从第一三维模型中提取得到目标对象的特定部位的动作信息。第一特征提取网络80的具体结构与图4所示实施例的第一特征提取网络的作用、结构相同，本领域的技术人员参照图4所示实施例的第一特征提取网络的记载即可，此处不做赘述。

第二特征提取网络81主要用于对第二三维模型进行处理，从第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息。第二特征提取网络81的具体作用、结构与图6所示实施例的第二特征提取网络的结构相同，本领域的技术人员参照图6所示实施例的第二特征提取网络的记载即可，此处不做赘述。

特征变换网络82用于将动作信息转换到与虚拟身份信息相同的特征空间。特征变换网络82的作用、结构与以上实施例的特征转换网络相同，本领域的技术人员参照以上实施例对特征转换网络的记载即可，此处不做赘述。

虚拟身份解码网络85用于对第二特征提取网络81提取的虚拟身份信息进行解码，得到虚拟身份三维模型；虚拟动作解码网络86用于对第一特征提取网络80输出的动作信息进行解码，得到虚拟动作三维模型；特征融合网络87用于对虚拟身份三维模型和虚拟动作三维模型进行融合处理，得到携带动作信息的虚拟形象。

在训练时，可以设置将重定向网络中的第一特征提取网络80、第二特征提取网络81、特征变换网络82、虚拟身份解码网络85、虚拟动作解码网络86和特征融合网络87同时进行训练，当第一特征提取网络80、第二特征提取网络81、特征变换网络82、虚拟身份解码网络85、虚拟动作解码网络86和特征融合网络87均满足各自的训练要求时停止进行训练。还可以仅训练第一特征提取网络80、第二特征提取网络81、特征变换网络82，当第一特征提取网络80、第二特征提取网络81、特征变换网络82各自满足训练需求时，复制第二特征提取网络81中虚拟身份解码器作为虚拟身份解码网络85，复制第二特征提取网络81中的虚拟动作解码器作为虚拟动作解码网络86，复制第二特征提取网络81中的第二动作融合器作为特征融合网络87。

以上实施例中，通过重定向网络对第一三维模型和第二三维模型进行处理，能够得到携带动作信息的虚拟形象。由于虚拟形象所携带的动作信息是基于目标对象的特定部位的动作特征生成的，能够使虚拟形象执行的动作与目标对象的特定部位的动作一致。

作为一种可选的实施方式，可以不设置虚拟身份解码网络、虚拟动作解码网络和特征融合网络，而是调用第二特征提取网络81中的虚拟身份解码器实现虚拟身份解码网络的作用，对第二特征提取网络提取的虚拟身份信息进行解码，得到虚拟身份三维模型；调用第二特征网络81中的虚拟动作解码器实现虚拟动作解码网络的作用，对特征变换后的动作信息进行解码，得到虚拟动作三维模型，调用第二特征网络中的第二动作融合器实现特征融合网络的作用，对虚拟身份三维模型和虚拟动作三维模型进行融合处理，得到携带动作信息的虚拟形象。如此设置，可以减少重定向网络的数据量。

在一个具体的实施例中，目标对象为人，特定部位为面部，动作信息包括面部表情信息。

获取面部图像，对面部图像进行三维重建，得到第一面部三维模型，将第一面部三维模型输入到图9所示的第一特征提取网络80中，第一特征提取网络能够输出面部表情信息。利用虚拟三维网络将面部图像转换为三维虚拟形象，得到第二面部三维模型。将第二面部三维模型输入到图9所示的第二特征提取网络81中，第二特征提取网络81能够输出虚拟身份信息。

将表情信息送入图9所示的特征变换网络82中进行特征转换。将转换后的表情信息送入图9所示的虚拟动作解码网络86中进行解码，得到虚拟表情三维模型，将虚拟身份信息送入图9所示的虚拟身份解码网络85中进行解码，得到虚拟身份三维模型。将虚拟表情三维模型和虚拟身份三维模型输入到图9所示的特征融合网络87中，则可以得到携带表情信息的虚拟形象。如图9所示，虚拟形象的外形轮廓与第二面部三维模型一致，虚拟形象的表情与第一面部三维模型一致。

示例性装置

与上述重定向方法相对应的，本申请实施例还公开了一种重定向装置，参见图10所示，该装置包括：

重建模块100，用于基于目标对象的特定部位图像进行目标对象的特定部位三维重建，得到第一三维模型，并确定与目标对象对应的虚拟身份信息；虚拟身份信息是体现与目标对象的特定部位对应的虚拟形象的外形轮廓特征的信息；

提取模块110，用于从第一三维模型中提取得到动作信息；动作信息是体现目标对象的特定部位图像中的目标对象的特定部位的动作特征的信息；

融合模块120，用于通过对虚拟身份信息和动作信息进行融合，得到携带动作信息的虚拟形象。

作为一种可选的实现方式，在本申请另一实施例中公开了，重建模块100，包括：

生成单元，用于根据目标对象的特定部位图像，生成与目标对象的特定部位相对应的第二三维模型；第二三维模型是与目标对象的特定部位相对应的虚拟形象的三维模型；

第一提取单元，用于从第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息。

作为一种可选的实现方式，在本申请另一实施例中公开了，提取模块110，包括：

第二提取单元，用于将第一三维模型输入预先训练的第一特征提取网络，得到第一特征提取网络从第一三维模型中提取得到的目标对象的特定部位的动作信息。

作为一种可选的实现方式，在本申请另一实施例中公开了，第一特征提取网络包括：第一身份编码器、第一动作编码器、第一编码融合器以及第一解码器；

第一身份编码器，用于从第一三维模型中提取得到目标对象的特定部位的外形轮廓特征，并对外形轮廓特征进行编码，得到身份信息；

第一动作编码器，用于从第一三维模型中提取得到目标对象的特定部位的动作特征，并对动作特征进行编码，得到动作信息；

第一编码融合器，用于融合身份信息和动作信息，得到第一融合信息；

第一解码器，用于对第一融合信息进行解码处理，得到第三三维模型。

作为一种可选的实现方式，在本申请另一实施例中公开了，第一提取单元从第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息时，具体用于将第二三维模型输入预先训练的第二特征提取网络，得到第二特征提取网络从第二三维模型中提取得到的目标对象的特定部位对应的虚拟形象的外形轮廓特征。

作为一种可选的实现方式，在本申请另一实施例中公开了，第二特征提取网络包括：第二身份编码器、第二动作编码器、第二编码融合器以及第二解码器；

第二身份编码器，用于从第二三维模型中提取得到目标对象的特定部位对应的虚拟形象的外形轮廓特征，并对外形轮廓特征进行编码，得到虚拟身份信息；

第二动作编码器，用于从第二三维模型中提取得到目标对象的特定部位对应的虚拟形象的动作特征，并对动作特征进行编码，得到虚拟动作信息；

第二编码融合器，用于融合虚拟身份信息和虚拟动作信息，得到第二融合信息；

第二解码器，用于对第二融合信息进行解码处理，得到第四三维模型。

作为一种可选的实现方式，在本申请另一实施例中公开了，融合模块120包括：

第一融合单元，用于对虚拟身份信息和动作信息进行编码融合，得到融合信息；

第一解码单元，用于对融合信息进行解码处理，得到携带动作信息的虚拟形象。

作为一种可选的实现方式，在本申请另一实施例中公开了，融合模块120包括：

第二融合单元，用于利用第二特征提取网络的第二编码融合器对虚拟身份信息和动作信息进行融合，得到融合信息；

第二解码单元，用于利用第二特征提取网络的第二解码器对融合信息进行解码，得到携带动作信息的虚拟形象。

作为一种可选的实现方式，在本申请另一实施例中公开了，重定向装置还包括：

转换模块，用于将动作信息转换到与虚拟身份信息相同的特征空间。

作为一种可选的实现方式，在本申请另一实施例中公开了，重定向装置还包括：

输入模块，用于将第一三维模型和第二三维模型分别输入重定向网络，得到携带动作信息的虚拟形象；

重定向网络包括：第一特征提取网络、第二特征提取网络、特征变换网络、编码融合网络以及解码网络；

第一特征提取网络，用于从第一三维模型中提取得到的目标对象的特定部位的动作信息；

第二特征提取网络，用于从第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息；

特征变换网络，用于将动作信息转换到与虚拟身份信息相同的特征空间；

编码融合网络，用于对虚拟身份信息和进行转换后的动作信息进行编码融合，得到融合信息；

解码网络，用于对融合信息进行解码处理，得到携带动作信息的虚拟形象。

作为一种可选的实现方式，在本申请另一实施例中公开了，特定部位包括面部，动作信息包括面部表情信息。

具体的，上述的重定向装置的各个单元的具体工作内容，请参见上述方法实施例的内容，此处不再赘述。

示例性电子设备、计算机程序产品和存储介质

本申请另一实施例还提出一种电子设备，参见图11所示，该电子设备包括：

存储器200和处理器210；

其中，存储器200与处理器210连接，用于存储程序；

处理器210，用于通过运行存储器200中存储的程序，实现上述任一实施例公开的重定向方法。

具体的，上述电子设备还可以包括：总线、通信接口220、输入设备230和输出设备240。

处理器210、存储器200、通信接口220、输入设备230和输出设备240通过总线相互连接。其中：

总线可包括一通路，在计算机系统各个部件之间传送信息。

处理器210可以是通用处理器，例如通用中央处理器（CPU）、微处理器等，也可以是特定应用集成电路（application-specific integrated circuit，ASIC），或一个或多个用于控制本申请方案程序执行的集成电路。还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器210可包括主处理器，还可包括基带芯片、调制解调器等。

存储器200中保存有执行本申请技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器200可以包括只读存储器（read-only memory，ROM）、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器（random access memory，RAM）、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

输入设备230可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。

输出设备240可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。

通信接口220可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网（RAN），无线局域网(WLAN)等。

处理器210执行存储器200中所存放的程序，以及调用其他设备，可用于实现本申请上述实施例所提供的重定向方法的各个步骤。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器210运行时使得处理器210执行上述实施例所提供的重定向方法的各个步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器210执行上述实施例所提供的重定向方法的各个步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

具体的，上述的电子设备、计算机程序产品和存储介质的各个部分的具体工作内容，以及计算机程序产品或者上述的存储介质上的计算机程序被处理器运行时的具体处理内容，均可以参见上述重定向的各个实施例的内容，此处不再赘述。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。

本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种重定向方法，其特征在于，包括：

基于目标对象的特定部位图像进行目标对象的特定部位三维重建，得到第一三维模型，并确定与所述目标对象对应的虚拟身份信息；所述虚拟身份信息是体现与所述目标对象的特定部位对应的虚拟形象的外形轮廓特征的信息；

从所述第一三维模型中提取得到动作信息；所述动作信息是体现所述目标对象的特定部位图像中的目标对象的特定部位的动作特征的信息；

通过对所述虚拟身份信息和所述动作信息进行融合，得到携带所述动作信息的虚拟形象。

2.根据权利要求1所述的方法，其特征在于，确定与所述目标对象对应的虚拟身份信息，包括：

根据目标对象的特定部位图像，生成与所述目标对象的特定部位相对应的第二三维模型；所述第二三维模型是与所述目标对象的特定部位相对应的虚拟形象的三维模型；

从所述第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息。

3.根据权利要求1所述的方法，其特征在于，从所述第一三维模型中提取得到动作信息，包括：

将所述第一三维模型输入预先训练的第一特征提取网络，得到所述第一特征提取网络从所述第一三维模型中提取得到的目标对象的特定部位的动作信息。

4.根据权利要求3所述的方法，其特征在于，所述第一特征提取网络包括：第一身份编码器、第一动作编码器、第一编码融合器以及第一解码器；

所述第一身份编码器，用于从所述第一三维模型中提取得到目标对象的特定部位的外形轮廓特征，并对所述外形轮廓特征进行编码，得到身份信息；

所述第一动作编码器，用于从所述第一三维模型中提取得到目标对象的特定部位的动作特征，并对所述动作特征进行编码，得到动作信息；

所述第一编码融合器，用于融合所述身份信息和所述动作信息，得到第一融合信息；

所述第一解码器，用于对所述第一融合信息进行解码处理，得到第三三维模型。

5.根据权利要求2所述的方法，其特征在于，从所述第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息，包括：

将所述第二三维模型输入预先训练的第二特征提取网络，得到所述第二特征提取网络从所述第二三维模型中提取得到的目标对象的特定部位对应的虚拟形象的外形轮廓特征。

6.根据权利要求5所述的方法，其特征在于，所述第二特征提取网络包括：第二身份编码器、第二动作编码器、第二编码融合器以及第二解码器；

所述第二身份编码器，用于从所述第二三维模型中提取得到目标对象的特定部位对应的虚拟形象的外形轮廓特征，并对所述外形轮廓特征进行编码，得到虚拟身份信息；

所述第二动作编码器，用于从所述第二三维模型中提取得到目标对象的特定部位对应的虚拟形象的动作特征，并对所述动作特征进行编码，得到虚拟动作信息；

所述第二编码融合器，用于融合所述虚拟身份信息和所述虚拟动作信息，得到第二融合信息；

所述第二解码器，用于对所述第二融合信息进行解码处理，得到第四三维模型。

7.根据权利要求1所述的方法，其特征在于，通过对所述虚拟身份信息和所述动作信息进行融合，得到携带所述动作信息的虚拟形象，包括：

对所述虚拟身份信息和所述动作信息进行编码融合，得到融合信息；

对所述融合信息进行解码处理，得到携带所述动作信息的虚拟形象。

8.根据权利要求5所述的方法，其特征在于，通过对所述虚拟身份信息和所述动作信息进行融合，得到携带所述动作信息的虚拟形象，包括：

利用所述第二特征提取网络的第二编码融合器对所述虚拟身份信息和所述动作信息进行融合，得到融合信息；

利用所述第二特征提取网络的第二解码器对所述融合信息进行解码，得到携带所述动作信息的虚拟形象。

9.根据权利要求1所述的方法，其特征在于，还包括：将动作信息转换到与虚拟身份信息相同的特征空间。

10.根据权利要求2所述的方法，其特征在于，从所述第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息；从所述第一三维模型中提取得到动作信息；通过对所述虚拟身份信息和所述动作信息进行融合，得到携带所述动作信息的虚拟形象，包括：

将第一三维模型和第二三维模型分别输入重定向网络，得到携带所述动作信息的虚拟形象；

所述重定向网络包括：第一特征提取网络、第二特征提取网络、特征变换网络、编码融合网络以及解码网络；

所述第一特征提取网络，用于从所述第一三维模型中提取得到的目标对象的特定部位的动作信息；

所述第二特征提取网络，用于从所述第二三维模型中提取虚拟形象的外形轮廓特征，得到虚拟身份信息；

所述特征变换网络，用于将动作信息转换到与虚拟身份信息相同的特征空间；

所述编码融合网络，用于对所述虚拟身份信息和进行转换后的动作信息进行编码融合，得到融合信息；

所述解码网络，用于对所述融合信息进行解码处理，得到携带所述动作信息的虚拟形象。

11.根据权利要求1所述的方法，其特征在于，所述特定部位包括面部，所述动作信息包括面部表情信息。

12.一种重定向装置，其特征在于，包括：

重建模块，用于基于目标对象的特定部位图像进行目标对象的特定部位三维重建，得到第一三维模型，并确定与所述目标对象对应的虚拟身份信息；所述虚拟身份信息是体现与所述目标对象的特定部位对应的虚拟形象的外形轮廓特征的信息；

提取模块，用于从所述第一三维模型中提取得到动作信息；所述动作信息是体现所述目标对象的特定部位图像中的目标对象的特定部位的动作特征的信息；

融合模块，用于通过对所述虚拟身份信息和所述动作信息进行融合，得到携带所述动作信息的虚拟形象。

13.一种电子设备，其特征在于，包括：

存储器和处理器；

其中，所述存储器用于存储程序；

所述处理器，用于通过运行所述存储器中的程序，实现如权利要求1至11中任意一项所述的重定向方法。

14.一种存储介质，其特征在于，包括：所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至11中任意一项所述的重定向方法的各个步骤。

Images