CN114863002A - 虚拟形象生成方法及装置、终端设备、计算机可读介质 - Google Patents

Abstract

本公开具体涉及图像处理技术领域，具体涉及虚拟形象生成方法及装置、计算机可读介质以及终端设备。所述方法包括：获取第一向量，将所述第一向量作为虚拟形象生成模型的输入参数，对所述第一向量进行处理以获取对应的第二特征向量；对所述第二特征向量进行处理，以获取纹理贴图；对所述纹理贴图和预设人体模型进行光栅化处理，以获取初始虚拟形象；对所述初始虚拟形象进行渲染以获取对应的彩色虚拟形象，以作为所述虚拟形象生成模块的输出参数。本公开的方法可以生成全身的人体虚拟形象。

Description

虚拟形象生成方法及装置、终端设备、计算机可读介质

技术领域

本公开涉及图像处理技术领域，具体涉及一种虚拟形象生成方法、一种虚拟形象生成装置、一种计算机可读介质以及一种终端设备。

背景技术

随着人工智能技术的快速发展，虚拟形象在直播、游戏、即时通讯等场景中广泛应用。但是，现有的技术方案一般针对人体的头部或者面部来生成虚拟形象；或者，在一些技术方案中，在生成虚拟时还需要借助预先构建的面部模型，以及虚拟形象参考模型，因此不具有普适性。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种虚拟形象生成方法、一种虚拟形象像生成装置、一种计算机可读介质以及一种终端设备，能够生成完整的虚拟形象。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种虚拟形象生成方法，包括：

获取第一向量，将所述第一向量作为虚拟形象生成模型的输入参数，对所述第一向量进行处理以获取对应的第二特征向量；

对所述第二特征向量进行处理，以获取纹理贴图；

对所述纹理贴图和预设人体模型进行光栅化处理，以获取初始虚拟形象；

对所述初始虚拟形象进行渲染以获取对应的彩色虚拟形象。

根据本公开的第二方面，提供一种虚拟形象生成装置，包括：

向量处理模块，用于获取第一向量，将所述第一向量作为虚拟形象生成模型的输入参数，对所述第一向量进行处理以获取对应的第二特征向量；

纹理贴图生成模块，用于对所述第二特征向量进行处理，以获取纹理贴图；

光栅化处理模块，用于对所述纹理贴图和预设人体模型进行光栅化处理，以获取若干个具备不同的视角的初始虚拟形象；

目标虚拟形象生成模块，用于对所述初始虚拟形象进行渲染以获取对应的彩色虚拟形象，以作为所述虚拟形象生成模块的输出参数。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的虚拟形象生成方法。

根据本公开的第四方面，提供一种终端设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令时实现上述的网络制式切换方法。

本公开的一种实施例所提供的虚拟形象生成方法，通过预先训练一虚拟形象生成模型，将获取的第一向量作为虚拟形象生成模型的输入参数，首先对第一向量进行处理得到对应的更高维度的第二特征向量，再对所述第二特征向量生成对应的纹理贴图；再对纹理贴图和预设的人体模型进行处理来得到初始虚拟形象，对初始虚拟形象进行渲染得到彩色虚拟形象，从而可以生成完整的包含全身及服装的虚拟形象。并且简化了虚拟形象的生成方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开示例性实施例中一种虚拟形象生成方法的示意图；

图2示意性示出本公开示例性实施例一种获取纹理贴图的方法的示意图；

图3示意性示出本公开示例性实施例一种光栅化处理方法的示意图；

图4示意性示出本公开示例性实施例一种虚拟形象生成模型训练方法的示意图；

图5示意性示出本公开示例性实施例中一种虚拟形象生成装置的组成示意图；

图6意性示出本公开示例性实施例中一种终端设备的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在相关技术中，现有的虚拟形象生成技术大都仅针对人脸或头部等人体局部区域的虚拟形象生成；并且存在部分虚拟形象生成技术还需要借助预先构建的面部模型，以及虚拟形象参考模型，因此不具有普适性；还有部分虚拟形象生成方案需要借助多个不同属性的虚拟形象，生成步骤比较冗长，效率较低。

针对上述的现有技术的缺点和不足，本示例实施方式中提供了一种虚拟形象生成方法，能够生成全身的人体虚拟形象。参考图1中所示，上述的虚拟形象生成方法可以包括：

步骤S11，获取第一向量，将所述第一向量作为虚拟形象生成模型的输入参数，对所述第一向量进行处理以获取对应的第二特征向量；

步骤S12，利用纹理生成模块所述第二特征向量进行处理，以获取纹理贴图；

步骤S13，对所述纹理贴图和预设人体模型进行光栅化处理，以获取初始虚拟形象；

步骤S14，对所述初始虚拟形象进行渲染以获取对应的彩色虚拟形象，以作为所述虚拟形象生成模块的输出参数；

本示例实施方式所提供的虚拟形象生成方法，通过预先训练虚拟形象生成模型，将获取的第一向量作为虚拟形象生成模型的输入参数，首先对第一向量进行处理得打对应的第二特征向量，再对所述第二特征向量生成对应的纹理贴图；再对纹理贴图和预设的人体模型进行处理来得到初始虚拟形象，对初始虚拟形象进行渲染得到彩色虚拟形象，从而可以生成完整的包含全身及服装的虚拟形象。并且简化了虚拟形象的生成方法。

下面，将结合附图及实施例对本示例实施方式中的虚拟形象生成方法的各个步骤进行更详细的说明。

本示例实施方式中，上述的方法可以应用于手机、平板电脑、智能手表、智能手环等智能移动终端设备；或者，也可以应用于台式电脑、笔记本电脑或者服务器。

在步骤S11中，获取第一向量，将所述第一向量作为虚拟形象生成模型的输入参数，对所述第一向量进行处理以获取对应的第二特征向量。

本示例实施方式中，上述的第一向量可以是用户输入的低维度向量，该低维度向量可以是随机生成的，或者用于描述已有的非全身虚拟形象特征的低维度向量。具体而言，上述的步骤S11可以包括：将所述第一向量输入所述多层神经网络的输入层，利用所述多层神经网络的输入层、隐藏层和输出层依次进行卷积处理，以获取升维之后的第二特征向量。举例来说，可以将采用一基于多层神经网络的向量处理模块对第一向量进行升维运算，得到更高维度的第二特征向量；多层神经网络一般可以包括输入层、隐藏层和输出层。例如，上述的第一向量可以是64维的特征向量，第二特征向量可以是128维的特征向量。

在步骤S12中，对所述第二特征向量进行处理，以获取纹理贴图。

本示例实施方式中，可以利用一已训练的基于Style GAN的纹理生成模型的纹理生成模块来计算纹理贴图。具体而言，参考图2所示，上述的步骤S12可以包括：

步骤S121，获取目标张量参数；

步骤S122，利用自适应实例标准化模块对所述目标张量参数、所述第二特征向量进行规范化处理以获取中间参数；

步骤S123，对所述中间参数进行卷积处理，以获取所述纹理贴图。

具体的，纹理生成模型可以首先初始化生成一个高阶张量并叠加噪声，再该张量与上述的第二特征向量进入自适应实例标准化模块(AdaIN)，其输出结果进行卷积；重复上述步骤若干次，最后输出纹理贴图。

在步骤S13中，对所述纹理贴图和预设人体模型进行光栅化处理，以获取初始虚拟形象；

本示例实施方式中，所述预设人体模型为SMPL-X参数化的人体模型。具体而言，参考图3所示，上述的步骤S13可以包括：

步骤S131，将所述预设人体模型从世界坐标系转换到相机坐标系；

步骤S132，利用透视变换将所述预设人体模型从相机坐标系转到图像坐标系，以获取各三维点的投影坐标；

步骤S133，根据所述投影坐标将所述纹理贴图加载至所述预设人体模型，以获取所述初始虚拟形象。

举例来说，可以利用一光栅化处理模型进行光栅处理。光栅化处理后可以生成至少一个初始虚拟形象。另外，在利用光栅化模型生成多个初始虚拟形象时，各初始虚拟形象之间可以配置有不同的视角。

在步骤S14中，对所述初始虚拟形象进行渲染以获取对应的彩色虚拟形象，以作为所述虚拟形象生成模块的输出参数。

本示例实施方式中，利用已训练的神经渲染模型对所述初始虚拟形象计算颜色值，以根据颜色值计算结果对所述初始虚拟形象进行色彩渲染。举例来说，在上述步骤仅生成单一视角的一个初始虚拟形象时，对该初始虚拟形象进行渲染，得到单一视角的彩色虚拟形象。或者，在上述步骤生成多个不同视角的初始虚拟形象时，可以利用神经渲染模型分别对不同视角的初始虚拟形象进行渲染，得到多个不同视角的彩色虚拟形象。此时，可以根据预设的规则选择一个视角的彩色虚拟形象进行输出；或者，也可以对多个视角的彩色虚拟形象进行图像融合处理，输出一个融合处理后的全身的彩色虚拟形象的三维模型。

本示例实施方式中，上述的方法可以包括预先训练基于GAN网络的所述虚拟形象生成模型，参考图4所示，可以包括：

步骤S201，在生成器中，对样本数据进行处理以获取对应的样本特征向量；对所述样本特征向量进行处理，以获取样本纹理贴图；对所述样本纹理贴图和预设人体模型进行光栅化处理，以获取初始虚拟形象样本；对所述初始虚拟形象样本进行渲染，以获取彩色虚拟形象样本；

步骤S202，将所述虚拟形象样本输入判别器，以获取所述虚拟形象样本的判别结果，并基于所述判别结果对所述虚拟形象生成模型进行反向传播训练，以获取基于GAN网络的所述虚拟形象生成模型。

具体来说，基于GAN网络的虚拟形象生成模型可以包括生成器和判别器；其中，生成器可以用于根据输入的特征向量生成人体全身的虚拟形象；生成器可以包括向量处理模块、纹理生成模块、光栅化处理模块、渲染模块。判别器可以用于对生成器生成的彩色虚拟形象进行是否为真进行判别；利用反向传播算法对虚拟形象生成模型进行迭代训练。

可以首先构建样本数据集。举例而言，在用户端或者服务器端，可以响应于用户对虚拟形象生成模型的需求，或者对虚拟形象的需求，筛选指定类型的图像作为样本数据。例如，在需要生成女性角色的虚拟形象时，可以筛选女性角色的全身图像作为样本，例如使用漫画风格、油画风格、普通真实图像等风格的图像作为样本。或者，在需要生成男性角色的虚拟形象时，可以筛选包含男性角色的全身图像作为样本。或者，在一些示例性实施方式中，也可以选取一种或多种类型的的图像作为样本数据。例如，样本图像可以采用尺寸为60*500＝30k的图像；利用64维的向量进行表示。

上述的向量处理模块可以是基于MLP(Multilayer Perceptron，多层感知器)网络的模块，可以用于对向量进行升维。举例而言，MLP网络的输入可以是样本图像对应的64维的向量z，输出为高维的特征向量w，例如128维的特征向量w，作为上述的样本特征向量。利用MLP网络对输入的向量z进行上采样，其实质可以为多个高阶矩阵相乘。例如，计算公式可以包括：w＝ABCz；其中，w为高维特征向量，z为低维向量，A、B、C分别为不同的高阶矩阵。

上述的纹理生成模块可以是基于Style v2 GAN网络训练的。MLP网络输出的特征向量z可以作为Style v2 GAN网络的输入参数；Style v2GAN网络的输出为纹理贴图。

具体来说，在纹理生成模块中，可以首先初始化生成一个目标维度的高阶张量，并叠加噪声，例如生成一个4*4*512维度的张量。将上述MLP输出的特征向量w和该叠加噪声后的高阶张量输入自适应实例标准化模块(AdaIN)，并将其输出结果进行卷积运算；重复上述的过程到预先设定的次数，输出纹理贴图，作为样本纹理贴图。例如，上述过程的迭代次数可以配置为2次，或者其他的数量。

上述的光栅化处理模块，其输入参数包括上述步骤得到的样本纹理贴图，以及SMPL-X参数化人体模型，其输出参数可以是一个加载有纹理贴图的人体图像；或者，也可以是两个、三个、四个，或者其他数量的具备不同视角的加载有纹理贴图的人体图像，作为初始虚拟形象样本。具体的，光栅化的过程可以包括：将所述预设人体模型从世界坐标系转换到相机坐标系；利用透视变换将所述预设人体模型从相机坐标系转到图像坐标系，以获取各三维点的投影坐标；根据所述投影坐标将所述纹理贴图加载至所述预设人体模型，以获取所述初始虚拟形象。

上述的渲染模块可以是神经渲染器，上述光栅化处理后得到的多个不同视角的初始虚拟形象样本可以输入神经渲染器中，通过神经渲染模型前向运算获得初始颜色值；反向传播调整模型参数；神经渲染器模型输出正确颜色值，最终输出各视角下对应的彩色虚拟形象样本，作为生成器的输出参数。

将上述生成器输出的具备各个视角的彩色虚拟形象样本输入到判别器中，判断输入图像的真假。若判别器输出为假，则利用神经网络的反向传播技术优化神经渲染器的网络参数，进行迭代训练；若判别为真，则保留上述输入的人体彩色图像，从而生成人体全身的虚拟形象。从而实现对虚拟形象生成模型的训练。

本公开实施例所提供的虚拟形象生成方法，提出的一种基于GAN网络的全身虚拟人体形象生成方法，结合GAN网络和神经渲染器进行人体全身虚拟形象的生成。通过使用SMPL-X参数化人体模型，可以生成包括脸部、头部以及服装的全身人体虚拟形象，相比现有的人体局部虚拟形象更饱满真实。利用渲染器可以高效准确地为虚拟形象着装。并且，本方案流水管线式的方法流程更简单高效，一次训练便可高效生成人体全身的虚拟形象；同时，也不用事先构建三维的人体模型或构建各种属性的多个虚拟形象，无需显式地对人体三维网格进行重建，减少了计算和存储资源消耗，并生成相应的人体全身虚拟形象。

需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图5所示，本示例的实施方式中还提供一种虚拟形象生成装置50，所述装置包括：向量处理模块501、纹理贴图生成模块502、光栅化处理模块503和目标虚拟形象生成模块504。其中，

所述向量处理模块501可以用于获取第一向量，将所述第一向量作为虚拟形象生成模型的输入参数，利用向量处理模块对所述第一向量进行处理以获取对应的第二特征向量。

所述纹理贴图生成模块502可以用于利用纹理生成模块对所述第二特征向量进行处理，以获取纹理贴图。

所述光栅化处理模块503可以用于利用光栅化处理模型对所述纹理贴图和预设人体模型进行处理，以获取若干个具备不同的视角的初始虚拟形象。

所述目标虚拟形象生成模块504可以用于对所述初始虚拟形象进行渲染以获取对应的彩色虚拟形象，以作为所述虚拟形象生成模块的输出参数。

在一些示例性实施方式中，所述向量处理模块为多层神经网络；所述向量处理模块501可以用于将所述第一向量输入所述多层神经网络的输入层，利用所述多层神经网络的输入层、隐藏层和输出层依次进行卷积处理，以获取升维之后的第二特征向量。

在一些示例性实施方式中，所述纹理生成模块为已训练的基于Style GAN的纹理生成模型；所述纹理贴图生成模块502可以包括：获取目标张量参数；利用自适应实例标准化模块对所述目标张量参数、所述第二特征向量进行规范化处理以获取中间参数；对所述中间参数进行卷积处理，以获取所述纹理贴图。

在一些示例性实施方式中，所述预设人体模型为SMPL-X参数化的人体模型；所述光栅化处理模块503可以包括：将所述预设人体模型从世界坐标系转换到相机坐标系；利用透视变换将所述预设人体模型从相机坐标系转到图像坐标系，以获取各三维点的投影坐标；根据所述投影坐标将所述纹理贴图加载至所述预设人体模型，以获取所述初始虚拟形象。

在一些示例性实施方式中，所述目标虚拟形象生成模块504可以包括：利用已训练的神经渲染模型对所述初始虚拟形象计算颜色值，以根据颜色值计算结果对所述初始虚拟形象进行色彩渲染。

在一些示例性实施方式中，所述装置还包括：模型训练模块。

所述模型训练模块可以用于预先训练基于GAN网络的所述虚拟形象生成模型，包括：在生成器中，对样本数据进行处理以获取对应的样本特征向量；对所述样本特征向量进行处理，以获取样本纹理贴图；对所述样本纹理贴图和预设人体模型进行光栅化处理，以获取初始虚拟形象样本；对所述初始虚拟形象样本进行渲染，以获取彩色虚拟形象样本；将所述彩色虚拟形象样本输入判别器，以获取所述虚拟形象样本的判别结果，并基于所述判别结果对所述虚拟形象生成模型进行反向传播训练，以获取基于GAN网络的所述虚拟形象生成模型。

在一些示例性实施方式中，所述光栅化处理模型输出若干个具备不同视角的所述初始虚拟形象样本，并分别对各所述初始虚拟形象样本进行渲染以获取若干个具备不同视角的所述彩色虚拟形象样本，并作为所述判别器的输入参数。

上述的虚拟形象生成装置50中各模块的具体细节已经在对应的虚拟形象生成方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

图6示出了适于用来实现本发明实施例的终端设备的示意图。

需要说明的是，图6示出的终端设备1000仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，终端设备1000包括中央处理单元(Central Processing Unit，CPU)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从储存部分1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU 1001、ROM1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的储存部分1008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入储存部分1008。

特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的各种功能。

具体来说，上述的终端设备可以是手机、平板电脑或者笔记本电脑等智能移动终端设备。或者，上述的终端设备也可以是台式电脑等智能终端设备。

需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

需要说明的是，作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图1所示的各个步骤。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种虚拟形象生成方法，其特征在于，所述方法包括：

获取第一向量，将所述第一向量作为虚拟形象生成模型的输入参数，对所述第一向量进行处理以获取对应的第二特征向量；

对所述第二特征向量进行处理，以获取纹理贴图；

对所述纹理贴图和预设人体模型进行光栅化处理，以获取初始虚拟形象；

对所述初始虚拟形象进行渲染以获取对应的彩色虚拟形象。

2.根据权利要求1所述的虚拟形象生成方法，其特征在于，所述对所述第一向量进行处理以获取对应的第二特征向量，包括：

将所述第一向量输入多层神经网络的输入层，利用所述多层神经网络的输入层、隐藏层和输出层依次进行卷积处理，以获取升维之后的第二特征向量。

3.根据权利要求1所述的虚拟形象生成方法，其特征在于，所述对所述第二特征向量进行处理，以获取纹理贴图，包括：

获取目标张量参数；

利用自适应实例标准化模块对所述目标张量参数、所述第二特征向量进行规范化处理以获取中间参数；

对所述中间参数进行卷积处理，以获取所述纹理贴图。

4.根据权利要求1所述的虚拟形象生成方法，其特征在于，所述预设人体模型为SMPL-X参数化的人体模型；

所述对所述纹理贴图和预设人体模型进行光栅化处理，包括：

将所述预设人体模型从世界坐标系转换到相机坐标系；

利用透视变换将所述预设人体模型从相机坐标系转到图像坐标系，以获取各三维点的投影坐标；

根据所述投影坐标将所述纹理贴图加载至所述预设人体模型，以获取所述初始虚拟形象。

5.根据权利要求1所述的虚拟形象生成方法，其特征在于，所述对所述初始虚拟形象进行渲染以获取对应的彩色虚拟形象包括：

利用已训练的神经渲染模型对所述初始虚拟形象计算颜色值，以根据颜色值计算结果对所述初始虚拟形象进行色彩渲染。

6.根据权利要求1所述的虚拟形象生成方法，其特征在于，所述方法还包括：预先训练基于GAN网络的所述虚拟形象生成模型，包括：

在生成器中，对样本数据进行处理以获取对应的样本特征向量；对所述样本特征向量进行处理，以获取样本纹理贴图；对所述样本纹理贴图和预设人体模型进行光栅化处理，以获取初始虚拟形象样本；对所述初始虚拟形象样本进行渲染，以获取彩色虚拟形象样本；

将所述彩色虚拟形象样本输入判别器，以获取所述虚拟形象样本的判别结果，并基于所述判别结果对所述虚拟形象生成模型进行反向传播训练，以获取基于GAN网络的所述虚拟形象生成模型。

7.根据权利要求6所述的虚拟形象生成方法，其特征在于，所述方法还包括：

所述光栅化处理模型输出若干个具备不同视角的所述初始虚拟形象样本，并分别对各所述初始虚拟形象样本进行渲染以获取若干个具备不同视角的所述彩色虚拟形象样本，并作为所述判别器的输入参数。

8.一种虚拟形象生成装置，其特征在于，所述装置包括：

向量处理模块，用于获取第一向量，将所述第一向量作为虚拟形象生成模型的输入参数，对所述第一向量进行处理以获取对应的第二特征向量；

纹理贴图生成模块，用于对所述第二特征向量进行处理，以获取纹理贴图；

光栅化处理模块，用于对所述纹理贴图和预设人体模型进行光栅化处理，以获取若干个具备不同的视角的初始虚拟形象；

目标虚拟形象生成模块，用于对所述初始虚拟形象进行渲染以获取对应的彩色虚拟形象，以作为所述虚拟形象生成模块的输出参数。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的虚拟形象生成方法。

10.一种终端设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的虚拟形象生成方法。

Images