CN115393487B - 一种虚拟角色模型处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种虚拟角色模型处理方法、装置、电子设备及存储介质，所述虚拟角色模型处理方法，在获得具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像后，基于对参考图像的纹理编码和对二维图像的结构编码，获得参考图像的目标纹理特征编码和二维图像的目标结构特征编码，保证了纹理特征和结构特征的精确解耦，从而确保后续在对所述目标结构特征编码和目标纹理特征编码进行联合解码的过程中，参考图像的目标纹理特征能够有效迁移至虚拟角色三维模型，有效的保证了虚拟角色三维模型的纹理真实性。

Description

一种虚拟角色模型处理方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机设备应用领域，具体涉及一种虚拟角色模型处理方法、装置、电子设备及存储介质。

背景技术

随着科学技术的不断发展，虚拟角色作为人与机器交互的媒介和连接现实与虚拟环境的桥梁，成为本领域技术人员的一个重要研究方向。

现有技术方案中，对于虚拟角色的创建通常包括：角色原画设计、角色建模设计、角色绑定以及角色动画设计等步骤；在实际操作过程中，上述每一个步骤都需要依赖大量专业设备和专业人员参与制作和调整，且无法保障虚拟角色的纹理的真实性。

因此，如何提高虚拟角色的纹理制作效率，同时保障虚拟角色的纹理的真实性成为本领域技术人员亟需解决的技术问题。

发明内容

本申请提供一种虚拟角色模型处理方法、装置、电子设备及存储介质，以提高虚拟角色的纹理制作效率，提升虚拟角色的纹理的真实性。

根据本申请实施例的第一方面，提供了一种虚拟角色模型处理方法，包括：

获取具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像；

对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码；以及，对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码；

对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型。

在本申请的一种可选实施方式中，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码，包括：

将所述参考图像输入预先训练的纹理特征编码器，以使所述纹理特征编码器对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码。

在本申请的一种可选实施方式中，所述纹理特征编码器通过以下方式训练得到：

将第一样本图像输入预设的包括纹理特征编码器和结构特征编码器的变分自编码器，以使所述变分自编码器的纹理特征编码器和结构特征编码器对所述第一样本图像进行纹理特征编码和结构特征编码，并通过所述变分自编码器的解码器对纹理特征编码结果和结构特征编码结果进行图像还原，获得还原后的样本图像；

基于所述第一样本图像的纹理特征和所述还原后的样本图像的纹理特征，构建纹理感知损失函数；

基于所述纹理感知损失函数，对所述纹理特征编码器进行训练。

在本申请的一种可选实施方式中，所述对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码，包括：

将所述二维图像输入预先训练的结构特征编码器，以使所述结构特征编码器对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码。

在本申请的一种可选实施方式中，所述结构特征编码器通过以下方式训练得到：

将第二样本图像输入预设的包括纹理特征编码器和结构特征编码器的变分自编码器，以使所述变分自编码器的纹理特征编码器和结构特征编码器对所述第二样本图像进行纹理特征编码和结构特征编码，并通过所述变分自编码器的解码器对纹理特征编码结果和结构特征编码结果进行图像还原，获得还原后的样本图像；

基于所述第二样本图像的结构特征和所述还原后的样本图像的结构特征，构建结构差异损失函数；

基于所述差异损失函数，对所述结构特征编码器进行训练。

在本申请的一种可选实施方式中，所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型，包括：

对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，获得具有目标纹理的二维图像；

对所述具有目标纹理的二维图像进行三维重建，获得具有所述目标纹理的虚拟角色三维模型。

在本申请的一种可选实施方式中，所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，获得具有目标纹理的二维图像，包括：

将所述目标纹理特征编码和所述目标结构特征编码进行融合处理，获得融合特征编码；

将所述融合特征编码输入预先训练的融合特征解码器，以使所述融合特征解码器对所述融合特征编码进行解码，获得具有所述目标纹理的二维图像。

在本申请的一种可选实施方式中，所述虚拟角色三维模型的二维图像，包括：所述虚拟角色三维模型的多个视角的二维图像；

所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，获得具有目标纹理的二维图像，包括：

分别对所述虚拟角色三维模型的多个视角的二维图像的目标结构特征，以及所述目标纹理特征进行联合解码，获得具有目标纹理的多个视角的二维图像。

在本申请的一种可选实施方式中，所述对所述具有目标纹理的二维图像进行三维重建，获得具有所述目标纹理的虚拟角色三维模型，包括：

从具有目标纹理的多个视角的二维图像中，确定所述虚拟角色三维模型的各个顶点的颜色信息；

根据所述各个顶点的颜色信息，对所述虚拟角色三维模型进行颜色填充，获得具有所述目标纹理的虚拟角色三维模型。

在本申请的一种可选实施方式中，所述从具有目标纹理的多个视角的二维图像中，确定所述虚拟角色三维模型的各个顶点的颜色信息，包括：

对于任一顶点，获得具有目标纹理的各个视角的二维图像中该顶点的颜色信息，将所述具有目标纹理的各个视角的二维图像中该顶点的颜色信息的颜色信息平均值作为所述虚拟角色三维模型中该顶点的颜色信息。

在本申请的一种可选实施方式中，所述根据所述各个顶点的颜色信息，对所述虚拟角色三维模型进行颜色填充，获得具有所述目标纹理的虚拟角色三维模型，包括：

确定所述虚拟角色三维模型处于第一姿态时，各个顶点的顶点朝向；

对于任一顶点，判断该顶点的顶点朝向是否在预设的视角范围内；

如果该顶点的顶点朝向在预设的视角范围内，则将该顶点的颜色信息填充至该顶点；

通过不断调整所述虚拟角色三维模型的姿态，对各个姿态下的虚拟角色三维模型顶点进行颜色填充，直至完成所述虚拟角色三维模型所有顶点的顶点颜色填充。

根据本申请实施例的第二方面，提供了一种虚拟角色模型处理装置，包括：

获取单元，用于获取具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像；

编码单元，用于对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码；以及，对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码；

解码单元，用于对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型。

根据本申请实施例的第三方面，提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于通过运行所述存储器中的指令，执行上述虚拟角色模型处理方法。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时，执行上述虚拟角色模型处理方法。

与现有技术相比，本申请具有以下优点：

本申请提供一种虚拟角色模型处理方法、装置、电子设备及存储介质，所述虚拟角色模型处理方法，在获得具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像后，基于对参考图像的纹理编码和对二维图像的结构编码，获得参考图像的目标纹理特征编码和二维图像的目标结构特征编码，保证了纹理特征和结构特征的精确解耦，从而确保后续在对所述目标结构特征编码和目标纹理特征编码进行联合解码的过程中，参考图像的目标纹理特征能够有效迁移至虚拟角色三维模型，有效的保证了虚拟角色三维模型的纹理真实性；同时，该方法摒弃了现有技术中依赖大量设备人工制作模型纹理的方式，提高了虚拟角色三维模型的制作效率，降低了虚拟角色三维模型的制作成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请一实施例提供的虚拟角色模型处理方法应用场景示意图；

图2为本申请另一实施例提供的虚拟角色模型处理方法流程图；

图3为本申请另一实施例提供的一种变分自编码器的结构示意图；

图4为本申请另一实施例提供的虚拟角色三维模型结构示意图；

图5为本申请另一实施例提供的虚拟角色模型处理装置结构示意图；

图6为本申请另一实施例提供的电子设备结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着科学技术的不断发展，虚拟角色作为人与机器交互的媒介和连接现实与虚拟环境的桥梁，成为本领域技术人员的一个重要研究方向。

现有技术方案中，对于虚拟角色的创建通常包括：角色原画设计、角色建模设计、角色绑定以及角色动画设计等步骤；在实际操作过程中，上述每一个步骤都需要依赖大量专业设备和专业人员参与制作和调整，且无法保障虚拟角色的纹理的真实性。

因此，如何提高虚拟角色的纹理制作效率，同时保障虚拟角色的纹理的真实性成为本领域技术人员亟需解决的技术问题。

为了解决上述技术问题，本申请提供一种角色模型处理方法、装置、电子设备及存储介质，在以下的实施例中逐一进行详细说明。

示例性实施环境

首先，为了便于理解本申请提供的虚拟角色模型处理方法的具体应用场景，以下结合所述虚拟角色模型处理方法的具体应用场景对该方法进行介绍。

本申请场景实施例描述一种针对游戏中已创建的虚拟角色三维模型进行皮肤纹理制作的过程。

请参考图1，图1为本申请一实施例提供的虚拟角色模型处理方法应用场景示意图。

图1中包括：人物图像101、二维图像102、计算机103、具有皮肤纹理的虚拟角色三维模型104，其中，计算机103配置有图像获取模块103-1、图像编码模块103-2、特征解码模块103-3，以及颜色填充模块103-4。

人物图像101可以理解为通过互联网或者人物图像数据库等方式获得的人物图像，其中，人物图像101中的人物具备的待迁移的皮肤纹理。

二维图像102可以理解为虚拟角色三维模型的至少一个视角的图像，虚拟角色三维模型可以理解为通过人物建模技术获得的3D虚拟形象；本方案的目的在于基于人物图像101和二维图像102，将人物图像101的皮肤纹理迁移至虚拟角色三维模型，以获得具有皮肤纹理的三维模型104。

在获得人物图像101和二维图像102后，将人物图像101和二维图像102输入计算机103，以使计算机103的图像获取模块103-1获取人物图像101和二维图像102，并将其发送至图像编码模块103-2。

图像编码模块103-2对人物图像101进行纹理特征编码，获得人物图像的纹理特征编码，以及对二维图像进行结构特征编码，获得二维图像的结构特征编码，并将纹理特征编码和结构特征编码输入特征解码模块103-3。

特征解码模块103-3对纹理特征编码和结构特征编码进行联合解码，以结合纹理特征对所述二维图像进行还原，获得具有皮肤纹理的二维图像，并将其发送至颜色填充模块103-4。

颜色填充模块103-4根据具有皮肤纹理的二维图像，确定所述虚拟角色三维模型的各顶点的顶点颜色，并完成虚拟角色三维模型的顶点颜色填充，以及对虚拟角色三维模型其他部分的颜色填充，进而获得具有皮肤纹理的虚拟角色三维模型104。

最后，计算机103通过显示界面展示具有皮肤纹理的虚拟角色三维模型104。

可以理解的，以上对本申请场景实施例的介绍只是为了便于更好的理解本申请提供的所述虚拟角色模型处理方法，而非用于对所述虚拟角色模型处理方法的应用场景进行限定，所述虚拟角色模型处理方法还可以应用于其他场景，比如说，用于创建虚拟主播的纹理、虚拟动物的纹理等等。

示例性方法

在本申请的一示例性实施例中，提供一种虚拟角色模型处理方法，其核心在于：在获得具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像后，基于对参考图像的纹理编码和对二维图像的结构编码，获得参考图像的目标纹理特征编码和二维图像的目标结构特征编码，保证了纹理特征和结构特征的精确解耦，从而确保后续在对所述目标结构特征编码和目标纹理特征编码进行联合解码的过程中，参考图像的目标纹理特征能够有效迁移至虚拟角色三维模型，有效的保证了虚拟角色三维模型的纹理真实性。

在本申请的一种可选实施方式中，所述虚拟角色模型处理方法的实施主体可以是笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备（例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，游戏主机）等各种类型的用户终端或者是这些数据处理设备中的任一两个或多个的组合，也可以是服务器。

请参考图2，图2为本申请另一实施例提供的虚拟角色模型处理方法流程图。

如图2所示，该方法包括以下步骤S201至步骤S203：

步骤S201，获取具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像。

所述目标纹理可以理解为参考图像中展示的2D角色的皮肤纹理，以及其他表现角色特点的角色纹理信息，比如说：毛发。

所述参考图像可以理解为一张彩色照片，比如说，一张人物角色的自拍照，或者是一张已建立纹理的虚拟角色图像等等。

在本申请的一种可选实施方式中，所述具有目标纹理的参考图像，可以是基于互联网获得的一种人物彩色照片，也可以是基于图像处理技术获得的虚拟人物的照片或截图。对此，本申请不做限制。

所述虚拟角色三维模型可以理解为一种基于三维建模技术生成的3D虚拟角色。在本申请实施例提供的所述虚拟角色模型处理方法的目的在于为所述虚拟角色三维模型赋予目标纹理。

所述虚拟角色三维模型的二维图像可以理解为从所述虚拟角色三维模型的一个或多个角度得到的虚拟角色三维模型的二维图像。

在本申请的一种可选实施方式中，所述虚拟角色三维模型的二维图像可以通过计算机内置的虚拟角色三维模型展示应用程序获得，也可以在虚拟角色三维模型建立成功后，通过转动三维模型至不同的角度，并对不同角度的三维模型进行截图获得。对此，本申请不做限制。

步骤S202，对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码；以及，对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码。

所述参考图像的目标纹理特征编码，可以理解为所述参考图像中目标纹理的纹理特征向量；类似的，所述二维图像的目标结构特征编码可以理解为所述二维图像的结构特征向量。

在本申请的一种可选实施方式中，所述二维图像的结构特征编码应能能够体现所述虚拟角色三维模型展示的、所述虚拟角色的面部结构信息，例如：虚拟角色的面部轮廓、虚拟角色的长相等信息。

进一步的，上述步骤S202，包括：

将所述参考图像输入预先训练的纹理特征编码器，以使所述纹理特征编码器对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码；

以及，将所述二维图像输入预先训练的结构特征编码器，以使所述结构特征编码器对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码。

在本申请的一种可选实施方式中，所述纹理特征编码器和所述结构特征编码器，可以分别理解为变分自编码器（Variational Auto-Encoders，VAE）中的用于对纹理特征进行编码的编码器和用于对结构特征进行编码的编码器。

所述变分自编码器是深度生成模型的一种形式，所述变分自编码器主要由两部分组成：编码器（Encoder）和解码器（Decoder）；在实际应用中，变分自编码器通过编码器将输入数据X转化为一个编码向量X’，其中，X’表示编码器的神经网络学到的一种数据特征，X’在每个维度上的取值表示X在该数据特征上的表现；之后，解码器接收X’并对这些值进行还原重构。

比如说，假设人脸图像可以通过表情、肤色、性别等几个特征唯一确定，那么将一张人脸图像输入变分自编码器的编码器后，该编码器会对这张图像的表情、肤色、性别等几个维度进行特征取值，获得向量X’，而后，解码器将会根据X’对人像进行还原，尝试重新获得所述人脸图像。

进一步的，为了便于理解上述步骤S202中提到的纹理特征编码器和结构特征编码器，以下结合所述纹理特征编码器和所述结构特征编码器的训练过程对其进行介绍。

请参考图3，图3为本申请另一实施例提供的一种变分自编码器的结构示意图。

如图3所示，图3中包括：样本图像301、纹理特征编码器302、结构特征编码器303、解码器304、还原后的样本图像305。

首先，对于所述纹理特征编码器302的训练，包括以下步骤S1至步骤S3：

步骤S1，将第一样本图像输入预设的包括纹理特征编码器302和结构特征编码器303的变分自编码器，以使所述变分自编码器的纹理特征编码器302和结构特征编码器303对所述第一样本图像进行纹理特征编码和结构特征编码，并通过所述变分自编码器的解码器304对纹理特征编码结果和结构特征编码结果进行图像还原，获得还原后的样本图像305。

在步骤S1中，所述第一样本图像即为图3中的样本图像301，所述第一样本图像既可以是一种具有纹理特征的虚拟角色三维模型的二维图像，也可以是存储于数据库或网络上公布的具有纹理的照片，对此，本申请不做限制。

在获得第一样本图像后，为了实现对纹理特征编码器302的训练，首先将所述样本图像301输入预设的包括纹理特征编码器302和结构特征编码器303的变分自编码器，并获得经过解码器304还原后的样本图像305，以便于基于样本图像301和还原后的样本图像305对纹理特征编码器302进行训练。

步骤S2，基于所述第一样本图像的纹理特征和所述还原后的样本图像305的纹理特征，构建纹理感知损失函数。

在本申请的一种可选实施方式中，可以将所述第一样本图像和所述还原后的样本图像305输入用于提取纹理特征的神经网络，以获得所述第一样本图像的纹理特征以及所述还原后的样本图像305的纹理特征，并根据两个特征之间的差异信息，构建所述纹理感知损失函数。

步骤S3，基于所述纹理感知损失函数，对所述纹理特征编码器进行训练。

其次，对于所述结构特征编码器303的训练，包括以下步骤S4至步骤S6：

步骤S4，将第二样本图像输入预设的包括纹理特征编码器302和结构特征编码器303的变分自编码器，以使所述变分自编码器的纹理特征编码器302和结构特征编码器303对所述第二样本图像进行纹理特征编码和结构特征编码，并通过所述变分自编码器的解码器304对纹理特征编码结果和结构特征编码结果进行图像还原，获得还原后的样本图像305。

在步骤S4中，所述第二样本图像即为图3中到的样本图像301。

与上述步骤S1类似的在获得第二样本图像后，为了实现对结构特征编码器303的训练，首先通过变分自编码器对所述第二样本图像进行还原，获得还原后的样本图像305。

步骤S5，基于所述第二样本图像的结构特征和所述还原后的样本图像的结构特征，构建结构差异损失函数。

在本申请的一种可选实施方式中，与上述步骤S2类似的，可以将所述第二样本图像和还原后的样本图像305输入用于提取结构特征的神经网络，获得第二样本图像的结构特征以及还原后的样本图像305的结构特征，并根据两者之间的差异信息，构建所述结构差异信息。

在本申请的另一可选实施例中，也可以通过获得第二样本图像的结构特征特征向量，以及所述还原后的样本图像的结构特征向量，通过两者之间相似度构建所述结构差异损失函数。

步骤S6，基于所述差异损失函数，对所述结构特征编码器进行训练。

需要说明的是，上述对所述纹理特征编码器和所述结构特征编码器的训练过程只是本申请的一种可选训练方式，在其他实施方式中，也可以采用不同于上述步骤的方式训练获得所述纹理特征编码器和结构特征编码器，比如说，可以采用两套类似图3所示的自变分编码器，对于所述纹理特征编码器的训练，可以用具有样本纹理的图像作为训练样本，训练其中一套自变分编码器中的纹理特征编码器，以提高所述纹理特征编码器对图像纹理的识别度；对于结构特征编码器的训练，可以用样本虚拟角色三维模型的二维图像作为训练样本，训练另一套自变分编码器中的结构特征编码器，以提高所述结构编码器对结构特征的识别度。

步骤S203，对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型。

所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，可以理解为在还原虚拟角色三维模型的二维图像的结构的同时，将参考图像的目标纹理迁移至所述二维图像，以便于根据所述二维图像获得具有目标纹理的虚拟角色三维模型。

鉴于上述思想，所述对所述目标纹理特征编码和所述目标结构特征进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型，包括以下步骤S203-1和步骤S203-2：

步骤S203-1，对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，获得具有目标纹理的二维图像；

步骤S203-2，对所述具有目标纹理的二维图像进行三维重建，获得具有所述目标纹理的虚拟角色三维模型。

在本申请的一种可选实施方式中，为了实现对所述目标纹理特征编码和所述目标结构特征编码的联合解码，在对其进行联合解码之前，可以将所述目标纹理特征编码和所述目标结构特征编码进行特征融合处理，获得融合特征编码，之后，采用类似图3中的解码器304对融合特征编码进行解码，进而获得具有目标纹理的二维图像。

在本申请的一种可选实施方式中，所述虚拟角色三维模型的二维图像，包括所述虚拟角色三维模型的多个视角的二维图像；对应的，上述步骤S203-1，包括：分别对所述虚拟角色三维模型的多个视角的二维图像的目标结构特征，以及所述目标纹理特征进行联合解码，获得具有目标纹理的多个视角的二维图像。

在获得具有目标纹理的多个视角的二维图像后，即可基于所述具有目标纹理的多个视角的二维图像对所述虚拟角色三维模型进行三维重建，完成上述步骤S203-2。

在本申请实施例中，对所述虚拟角色三维模型进行三维重建主要包括对所述虚拟角色三维模型的各个顶点进行颜色填充，为了便于理解本申请实施例提供的虚拟角色三维模型的顶点，请参考图4，图4为本申请另一实施例提供的虚拟角色三维模型结构示意图。

图4中包括所述虚拟角色三维模型的一个面的各个顶点，分别为：顶点401、顶点402、顶点403、顶点404、顶点405。

具体的，上述步骤S203-2，包括以下步骤S7和步骤S8：

步骤S7，从具有目标纹理的多个视角的二维图像中，确定所述虚拟角色三维模型的各个顶点的颜色信息。

基于上述步骤S203-1获得具有目标纹理的多个视角的二维图像后，可从具有目标纹理的多个视角的二维图像中，提取各个视角下所述虚拟角色三维模型的渲染信息，包括：各个视角下的二维图像中所述虚拟角色三维模型被渲染的顶点的颜色信息、被渲染的顶点的二维坐标等等。

在本申请的一种可选实施方式中，由于光照和遮挡的问题，对于同一顶点，不同视角的二维图像中展现的顶点颜色信息并不相同，鉴于此，上述步骤S7，包括：

对于任一顶点，获得具有目标纹理的各个视角的二维图像中该顶点的颜色信息，将所述具有目标纹理的各个视角的二维图像中该顶点的颜色信息的颜色信息平均值作为所述虚拟角色三维模型中该顶点的颜色信息。

步骤S8，根据所述各个顶点的颜色信息，对所述虚拟角色三维模型进行颜色填充，获得具有所述目标纹理的虚拟角色三维模型。

在获得各个顶点的颜色信息后，即可基于各个顶点的颜色信息，对所述虚拟角色三维模型进行颜色填充，然而，在实际应用中，通过变分自编码器重建图像的过程中，会出现因图像重建偏差，导致顶点颜色的获取也存在偏差的问题。

为了解决这一问题，上述步骤S8，包括：确定所述虚拟角色三维模型处于第一姿态时，各个顶点的顶点朝向；对于任一顶点，判断该顶点的顶点朝向是否在预设的视角范围内；如果该顶点的顶点朝向在预设的视角范围内，则将该顶点的颜色信息填充至该顶点；通过不断调整所述虚拟角色三维模型的姿态，对各个姿态下的虚拟角色三维模型顶点进行颜色填充，直至完成所述虚拟角色三维模型所有顶点的顶点颜色填充。

在实际应用的过程中，对所述虚拟角色三维模型进行颜色填充时，计算机的展示页面首先会对所述虚拟角色三维模型进行3D展示，基于此，所述虚拟角色三维模型的第一姿态可以理解为虚拟角色三维模型在计算机展示界面时的默认姿态，请参考图4，图4所示的虚拟角色三维模型的即可理解为第一姿态的虚拟角色三维模型。

如图4所示，此时，虚拟角色三维模型只有部分顶点可见，为了使计算机能够快速的识别第一视角的虚拟角色三维模型的可见顶点，本申请首先采用一种法向量加权融合的方式，确定各个顶点的顶点朝向。所述顶点朝向可以理解为包含该顶点的各个面的法向量的加权平均值，其中，各法向量的权重与法向量对应的面的面积成正比。

请进一步参考图4，图4中还包括：面406、面407、面408，其中，面406的法向量为向量406-1，面407的法向量为向量407-1，面408的法向量为408-1。

对于顶点401，顶点401的顶点朝向可通过向量406-1、向量407-1，以及向量408-1的加权平均向量401-1的方向表示。

进一步的，在本申请的一种可选实施方式中，所述预设的视角范围可以理解为计算机展示界面观测虚拟角色三维模型时的可视范围；在本申请的另一种可选实施方式中，所述预设的视角范围可以根据实际情况进行调整，对此，本申请不做限制。

进一步的，判断该顶点的顶点朝向是否在预设的视角范围内，可以理解为在预设的视角范围内能够观测到该顶点，如果能够观测到该顶点，则完成该顶点的颜色填充。

比如说，假设所述预设的视角范围为0~180°，则建议一直角坐标系（x-y），并将基于加权平均获得的各个顶点的顶点向量，平移该直角坐标系，并进一步确定与x轴呈-90°~-180°的向量对应的顶点为在预设的视角范围内的顶点。

对于未填充颜色的顶点，可以通过旋转所述虚拟角色三维模型的方式，改变所述虚拟角色三维模型的姿态，从而将未填充颜色的顶点旋转至可视范围，完成颜色填充。

进一步的，对于所述虚拟角色三维模型的除顶点之外的其他部分的颜色填充，可以基于现有技术完成，比如说，根据所述虚拟角色三维模型的各顶点颜色差值，完成虚拟角色三维模型的整体颜色填充。由于该部分并非本申请保护的重点，此处不再赘述。

综上所述，所述虚拟角色模型处理方法，在获得具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像后，基于对参考图像的纹理编码和对二维图像的结构编码，获得参考图像的目标纹理特征编码和二维图像的目标结构特征编码，保证了纹理特征和结构特征的精确解耦，从而确保后续在对所述目标结构特征编码和目标纹理特征编码进行联合解码的过程中，参考图像的目标纹理特征能够有效迁移至虚拟角色三维模型，有效的保证了虚拟角色三维模型的纹理真实性；同时，该方法摒弃了现有技术中依赖大量设备人工制作模型纹理的方式，提高了虚拟角色三维模型的制作效率，降低了虚拟角色三维模型的制作成本。

示例性装置

在本申请另一实施例还提出一种虚拟角色模型处理装置，请参考5，图5为本申请另一实施例提供的虚拟角色模型处理装置结构示意图。

如图5所示，该装置包括：

获取单元501，用于获取具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像；

编码单元502，用于对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码；以及，对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码；

解码单元503，用于对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型。

在本申请的一种可选实施方式中，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码，包括：

将所述参考图像输入预先训练的纹理特征编码器，以使所述纹理特征编码器对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码。

在本申请的一种可选实施方式中，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特所述纹理特征编码器通过以下方式训练得到：

将第一样本图像输入预设的包括纹理特征编码器和结构特征编码器的变分自编码器，以使所述变分自编码器的纹理特征编码器和结构特征编码器对所述第一样本图像进行纹理特征编码和结构特征编码，并通过所述变分自编码器的解码器对纹理特征编码结果和结构特征编码结果进行图像还原，获得还原后的样本图像；

基于所述第一样本图像的纹理特征和所述还原后的样本图像的纹理特征，构建纹理感知损失函数；

基于所述纹理感知损失函数，对所述纹理特征编码器进行训练。

在本申请的一种可选实施方式中，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特所述对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码，包括：

将所述二维图像输入预先训练的结构特征编码器，以使所述结构特征编码器对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码。

在本申请的一种可选实施方式中，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特所述结构特征编码器通过以下方式训练得到：

将第二样本图像输入预设的包括纹理特征编码器和结构特征编码器的变分自编码器，以使所述变分自编码器的纹理特征编码器和结构特征编码器对所述第二样本图像进行纹理特征编码和结构特征编码，并通过所述变分自编码器的解码器对纹理特征编码结果和结构特征编码结果进行图像还原，获得还原后的样本图像；

基于所述第二样本图像的结构特征和所述还原后的样本图像的结构特征，构建结构差异损失函数；

基于所述差异损失函数，对所述结构特征编码器进行训练。

在本申请的一种可选实施方式中，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型，包括：

对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，获得具有目标纹理的二维图像；

对所述具有目标纹理的二维图像进行三维重建，获得具有所述目标纹理的虚拟角色三维模型。

在本申请的一种可选实施方式中，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，获得具有目标纹理的二维图像，包括：

将所述目标纹理特征编码和所述目标结构特征编码进行融合处理，获得融合特征编码；

将所述融合特征编码输入预先训练的融合特征解码器，以使所述融合特征解码器对所述融合特征编码进行解码，获得具有所述目标纹理的二维图像。

在本申请的一种可选实施方式中，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特所述虚拟角色三维模型的二维图像，包括：所述虚拟角色三维模型的多个视角的二维图像；

所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，获得具有目标纹理的二维图像，包括：

分别对所述虚拟角色三维模型的多个视角的二维图像的目标结构特征，以及所述目标纹理特征进行联合解码，获得具有目标纹理的多个视角的二维图像。

在本申请的一种可选实施方式中，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特所述对所述具有目标纹理的二维图像进行三维重建，获得具有所述目标纹理的虚拟角色三维模型，包括：

从具有目标纹理的多个视角的二维图像中，确定所述虚拟角色三维模型的各个顶点的颜色信息；

根据所述各个顶点的颜色信息，对所述虚拟角色三维模型进行颜色填充，获得具有所述目标纹理的虚拟角色三维模型。

在本申请的一种可选实施方式中，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特所述从具有目标纹理的多个视角的二维图像中，确定所述虚拟角色三维模型的各个顶点的颜色信息，包括：

对于任一顶点，获得具有目标纹理的各个视角的二维图像中该顶点的颜色信息，将所述具有目标纹理的各个视角的二维图像中该顶点的颜色信息的颜色信息平均值作为所述虚拟角色三维模型中该顶点的颜色信息。

在本申请的一种可选实施方式中，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特所述根据所述各个顶点的颜色信息，对所述虚拟角色三维模型进行颜色填充，获得具有所述目标纹理的虚拟角色三维模型，包括：

确定所述虚拟角色三维模型处于第一姿态时，各个顶点的顶点朝向；

对于任一顶点，判断该顶点的顶点朝向是否在预设的视角范围内；

如果该顶点的顶点朝向在预设的视角范围内，则将该顶点的颜色信息填充至该顶点；

通过不断调整所述虚拟角色三维模型的姿态，对各个姿态下的虚拟角色三维模型顶点进行颜色填充，直至完成所述虚拟角色三维模型所有顶点的顶点颜色填充。

本实施例提供的虚拟角色模型处理装置，与本申请上述实施例所提供的虚拟角色模型处理方法属于同一申请构思，可执行本申请上述任意实施例所提供的虚拟角色模型处理方法，具备执行虚拟角色模型处理方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请上述实施例提供的虚拟角色模型处理方法的具体处理内容，此处不再加以赘述。

示例性电子设备

本申请另一实施例还提出一种电子设备，请参考图6，图6为本申请另一实施例提供的电子设备结构示意图。

如图6所示，该设备包括：

存储器200和处理器210；

其中，所述存储器200与所述处理器210连接，用于存储程序；

所述处理器210，用于通过运行所述存储器200中存储的程序，实现上述任一实施例公开的虚拟角色模型处理方法。

具体的，上述电子设备还可以包括：总线、通信接口220、输入设备230和输出设备240。

处理器210、存储器200、通信接口220、输入设备230和输出设备240通过总线相互连接。其中：

总线可包括一通路，在计算机系统各个部件之间传送信息。

处理器210可以是通用处理器，例如通用中央处理器（CPU）、微处理器等，也可以是特定应用集成电路（application-specific integrated circuit，ASIC），或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器210可包括主处理器，还可包括基带芯片、调制解调器等。

存储器200中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器200可以包括只读存储器（read-only memory，ROM）、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器（random access memory，RAM）、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

输入设备230可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。

输出设备240可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。

通信接口220可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网（RAN），无线局域网(WLAN)等。

处理器210执行存储器200中所存放的程序，以及调用其他设备，可用于实现本申请上述实施例所提供的任意一种虚拟角色模型处理方法的各个步骤。

示例性计算机程序产品和存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的虚拟角色模型处理方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是存储介质，其上存储有计算机程序，计算机程序被处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的虚拟角色模型处理方法中的步骤，具体可以实现以下步骤：

步骤S201，获取具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像；

步骤S202，对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码；以及，对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码；

步骤S203，对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。

本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种虚拟角色模型处理方法，其特征在于，包括：

获取具有目标纹理的参考图像，以及虚拟角色三维模型的多个视角的二维图像；

对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码；以及，对所述多个视角的二维图像进行结构特征编码，获得所述多个视角的二维图像的目标结构特征编码；

分别将所述多个视角的二维图像的目标结构特征编码和所述目标纹理特征编码进行融合处理，获得多个视角的融合特征编码；

对所述多个视角的融合特征编码进行解码，获得具有目标纹理的多个视角的二维图像；

对所述具有目标纹理的多个视角的二维图像进行三维重建，获得具有所述目标纹理的虚拟角色三维模型。

2.根据权利要求1所述的方法，其特征在于，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码，包括：

将所述参考图像输入预先训练的纹理特征编码器，以使所述纹理特征编码器对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码。

3.根据权利要求2所述的方法，其特征在于，所述纹理特征编码器通过以下方式训练得到：

将第一样本图像输入预设的包括纹理特征编码器和结构特征编码器的变分自编码器，以使所述变分自编码器的纹理特征编码器和结构特征编码器对所述第一样本图像进行纹理特征编码和结构特征编码，并通过所述变分自编码器的解码器对纹理特征编码结果和结构特征编码结果进行图像还原，获得还原后的样本图像；

基于所述第一样本图像的纹理特征和所述还原后的样本图像的纹理特征，构建纹理感知损失函数；

基于所述纹理感知损失函数，对所述纹理特征编码器进行训练。

4.根据权利要求1所述的方法，其特征在于，所述对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码，包括：

将所述二维图像输入预先训练的结构特征编码器，以使所述结构特征编码器对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码。

5.根据权利要求4所述的方法，其特征在于，所述结构特征编码器通过以下方式训练得到：

将第二样本图像输入预设的包括纹理特征编码器和结构特征编码器的变分自编码器，以使所述变分自编码器的纹理特征编码器和结构特征编码器对所述第二样本图像进行纹理特征编码和结构特征编码，并通过所述变分自编码器的解码器对纹理特征编码结果和结构特征编码结果进行图像还原，获得还原后的样本图像；

基于所述第二样本图像的结构特征和所述还原后的样本图像的结构特征，构建结构差异损失函数；

基于所述差异损失函数，对所述结构特征编码器进行训练。

6.根据权利要求1所述的方法，其特征在于，所述对所述多个视角的融合特征编码进行解码，获得具有目标纹理的二维图像，包括：

将所述融合特征编码输入预先训练的融合特征解码器，以使所述融合特征解码器对所述融合特征编码进行解码，获得具有所述目标纹理的二维图像。

7.根据权利要求1所述的方法，其特征在于，所述对所述具有目标纹理的二维图像进行三维重建，获得具有所述目标纹理的虚拟角色三维模型，包括：

从具有目标纹理的多个视角的二维图像中，确定所述虚拟角色三维模型的各个顶点的颜色信息；

根据所述各个顶点的颜色信息，对所述虚拟角色三维模型进行颜色填充，获得具有所述目标纹理的虚拟角色三维模型。

8.根据权利要求7所述的方法，其特征在于，所述从具有目标纹理的多个视角的二维图像中，确定所述虚拟角色三维模型的各个顶点的颜色信息，包括：

对于任一顶点，获得具有目标纹理的各个视角的二维图像中该顶点的颜色信息，将所述具有目标纹理的各个视角的二维图像中该顶点的颜色信息的颜色信息平均值作为所述虚拟角色三维模型中该顶点的颜色信息。

9.根据权利要求7所述的方法，其特征在于，所述根据所述各个顶点的颜色信息，对所述虚拟角色三维模型进行颜色填充，获得具有所述目标纹理的虚拟角色三维模型，包括：

确定所述虚拟角色三维模型处于第一姿态时，各个顶点的顶点朝向；

对于任一顶点，判断该顶点的顶点朝向是否在预设的视角范围内；

如果该顶点的顶点朝向在预设的视角范围内，则将该顶点的颜色信息填充至该顶点；

通过不断调整所述虚拟角色三维模型的姿态，对各个姿态下的虚拟角色三维模型顶点进行颜色填充，直至完成所述虚拟角色三维模型所有顶点的顶点颜色填充。

10.一种虚拟角色模型处理装置，其特征在于，包括：

获取单元，用于获取具有目标纹理的参考图像，以及虚拟角色三维模型的多个视角的二维图像；

编码单元，用于对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码；以及，对所述多个视角的二维图像进行结构特征编码，获得所述多个视角的二维图像的目标结构特征编码；

解码单元，用于分别将所述多个视角的二维图像的目标结构特征编码和所述目标纹理特征编码进行融合处理，获得多个视角的融合特征编码；对所述多个视角的融合特征编码进行解码，获得具有目标纹理的多个视角的二维图像；对所述具有目标纹理的多个视角的二维图像进行三维重建，获得具有所述目标纹理的虚拟角色三维模型。

11.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于通过运行所述存储器中的指令，执行权利要求1-9任意一项所述的虚拟角色模型处理方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时，执行权利要求1-9中任意一项所述的虚拟角色模型处理方法。

Images