CN115908766B - 三维虚拟人物图像的生成方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种三维虚拟人物图像的生成方法、装置及电子设备，通过获取基础虚拟人物特征和虚拟场景特征，将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征，其中，基础虚拟人物特征、虚拟场景特征和人物动作特征为渲染神经辐射场的特征，当前动作信息转换模型与基础虚拟人物特征存在对应关系，基于基础虚拟人物特征、虚拟场景特征和人物动作特征，渲染得到三维虚拟人物图像。这样，可以基于渲染神经辐射场的基础虚拟人物特征、虚拟场景特征和动作特征，渲染得到三维虚拟人物图像，能够提高三维虚拟人物图像的真实度。

Description

三维虚拟人物图像的生成方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种三维虚拟人物图像的生成方法、装置及电子设备。

背景技术

目前，可以将虚拟人物对应的图像和视频呈现给用户，为了提高用户的视觉体验，可以通过提高虚拟人物的外观、动作与环境的一致性的方式，提高虚拟人物的真实感，从而提高用户的视觉体验。

目前生成虚拟人物的方式包括以下两种：第一种方式为基于虚拟人物的三维建模，可以使用CG（Computer Graphics，计算机动画）技术渲染得到三维虚拟人物。第二种方式为卷积神经网络的方式，可以基于虚拟人物对应的图像训练得到虚拟人物模型，从而利用神经渲染的方式得到二维虚拟人物，进而基于二维虚拟人物生成三维虚拟人物。

但是，CG技术存在限制，无法得到自然度、真实感高的虚拟人物。由于卷积神经网络的方式得到的是二维的虚拟人物，无法保证三维虚拟人物的一致性。可见，目前生成三维虚拟人物的方式不能生成真实度高的三维虚拟人物。

发明内容

本发明提供一种三维虚拟人物图像的生成方法、装置及电子设备，用以解决现有技术中生成的三维虚拟人物的真实度低的缺陷，实现生成真实度高的三维虚拟人物的图像。

本发明提供一种三维虚拟人物图像的生成方法，方法包括：

获取基础虚拟人物特征和虚拟场景特征；

将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征，其中，所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征为渲染神经辐射场的特征，所述当前动作信息转换模型与所述基础虚拟人物特征存在对应关系；

基于所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征，渲染得到三维虚拟人物图像。

根据本发明提供的一种三维虚拟人物图像的生成方法，所述人物动作信息包括面部动作信息和身体动作信息；

所述将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征的步骤，包括：

将所述人物动作信息输入至所述当前动作信息转换模型；

通过所述当前动作信息转换模型采用预设的面部处理方式，对所述面部动作信息进行融合处理，得到面部动作特征；

通过所述当前动作信息转换模型采用预设的身体处理方式，对所述身体动作信息进行融合处理，得到身体动作特征；

通过所述当前动作信息转换模型融合所述面部动作特征和所述身体动作特征，得到人物动作特征。

根据本发明提供的一种三维虚拟人物图像的生成方法，所述面部动作信息包括多个面部子动作信息；

所述通过所述当前动作信息转换模型采用预设的面部处理方式，对所述面部动作信息进行融合处理，得到面部动作特征的步骤，包括：

通过所述当前动作信息转换模型对多个所述面部子动作信息进行扩充处理，得到多个满足预设扩充条件的面部子动作信息，作为待融合面部信息；

通过所述当前动作信息转换模型对所述待融合面部信息进行优化处理，得到满足预设优化条件的待融合面部信息并作为面部动作特征。

根据本发明提供的一种三维虚拟人物图像的生成方法，所述通过所述当前动作信息转换模型对所述待融合面部信息进行优化处理，得到满足预设优化条件的待融合面部信息并作为面部动作特征的步骤，包括：

通过所述当前动作信息转换模型将所述待融合面部信息按照预设划分规则，划分为多组待处理信息；

通过所述当前动作信息转换模型针对每组所述待处理信息，对该组待处理信息进行优化处理，得到该组待处理信息对应的满足预设优化条件的信息，其中，该组待处理信息包括多个待融合面部信息；

将每组所述待处理信息对应的满足预设优化条件的信息，作为面部动作特征。

根据本发明提供的一种三维虚拟人物图像的生成方法，所述通过所述当前动作信息转换模型针对每组所述待处理信息，对该组待处理信息进行优化处理，得到该组待处理信息对应的满足预设优化条件的信息的步骤，包括：

通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息均不为无效信息，且多个待融合面部信息均不冲突的情况下，确定该组待处理信息对应的多个待融合面部信息满足所述预设优化条件；

通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息中存在无效信息的情况下，根据不为无效信息的待融合面部信息的优先级信息，确定第一参考信息，基于所述第一参考信息，生成与所述无效信息的存在对应关系的有效信息，并采用所述有效信息替换该组待处理信息中的所述无效信息，得到满足所述预设优化条件的信息；

通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息存在冲突的情况下，基于存在冲突的待融合面部信息的优先级信息，确定第二参考信息，基于所述第二参考信息，调整存在冲突且不满足预设优先级条件的待融合面部信息，得到满足所述预设优化条件的信息。

根据本发明提供的一种三维虚拟人物图像的生成方法，所述获取基础虚拟人物特征和虚拟场景特征的步骤，包括：

基于预先训练完毕的虚拟人物神经辐射场生成模型，生成基础虚拟人物特征和虚拟场景特征。

根据本发明提供的一种三维虚拟人物图像的生成方法，所述虚拟人物神经辐射场生成模型通过以下方式训练：

获取随机变量、样本动作信息和初始模型；

将所述随机变量输入至所述初始模型，得到预测人物特征和初始动作信息转换模型；

将所述样本动作信息输入至所述初始动作信息转换模型，得到预测动作特征；

基于所述预测人物特征与所述预测动作特征的乘积，渲染得到预测图像；

对所述预测图像与所述样本动作信息进行判别处理，得到损失函数；

基于所述损失函数，对所述初始模型的参数进行调整，直到所述初始模型收敛，得到虚拟人物神经辐射场生成模型。

根据本发明提供的一种三维虚拟人物图像的生成方法，在所述将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征的步骤之前，所述方法还包括：

获取动作语义信息；

基于所述基础虚拟人物的类型，确定当前语义信息转换模型；

将所述动作语义信息输入至所述当前语义信息转换模型，得到所述人物动作信息。

根据本发明提供的一种三维虚拟人物图像的生成方法，所述基于所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征，渲染得到三维虚拟人物图像的步骤，包括：

将所述基础虚拟人物特征和所述人物动作特征融合，得到带动作的虚拟人物特征；

基于预先获取的基础虚拟人物特征的位置信息，将所述带动作的虚拟人物特征和所述虚拟场景特征融合，得到待渲染特征；

基于预先获取的角度信息，对所述待渲染特征进行渲染，得到三维虚拟人物图像。

本发明还提供一种三维虚拟人物图像的生成装置，装置包括：

获取模块，用于获取基础虚拟人物特征和虚拟场景特征；

输入模块，用于将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征，其中，所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征为渲染神经辐射场的特征，所述当前动作信息转换模型与所述基础虚拟人物特征存在对应关系；

渲染模块，用于基于所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征，渲染得到三维虚拟人物图像。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维虚拟人物图像的生成方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维虚拟人物图像的生成方法的步骤。

本发明提供的三维虚拟人物图像的生成方法、装置及电子设备，通过获取基础虚拟人物特征和虚拟场景特征，将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征，其中，基础虚拟人物特征、虚拟场景特征和人物动作特征为渲染神经辐射场的特征，当前动作信息转换模型与基础虚拟人物特征存在对应关系，基于基础虚拟人物特征、虚拟场景特征和人物动作特征，渲染得到三维虚拟人物图像。这样，可以基于渲染神经辐射场的基础虚拟人物特征、虚拟场景特征和动作特征，渲染得到三维虚拟人物图像，能够提高三维虚拟人物图像的真实度，并且动作特征为基于当前动作信息转换模型生成的，能够进一步提高三维虚拟人物图像的自然度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的三维虚拟人物图像的生成方法的流程示意图之一；

图2是本发明提供的三维虚拟人物图像的生成方法的流程示意图之二；

图3是本发明提供的三维虚拟人物图像的生成方法的流程示意图之三；

图4是本发明提供的三维虚拟人物图像的生成方法的流程示意图之四；

图5是本发明提供的三维虚拟人物图像的生成方法的流程示意图之五；

图6是本发明提供的三维虚拟人物图像的生成装置的结构示意图；

图7是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了生成真实度高的三维虚拟人物，本发明实施例提供了一种三维虚拟人物图像的生成方法、装置、电子设备、非暂态计算机可读存储介质及计算机程序产品。下面结合图1对本发明实施例提供的一种三维虚拟人物图像的生成方法进行介绍。

如图1所示，本发明实施例提供了一种三维虚拟人物图像的生成方法，方法包括：

S101，获取基础虚拟人物特征和虚拟场景特征。

为了获取三维虚拟人物图像，可以获取基础虚拟人物特征和虚拟场景特征，其中，基础虚拟人物特征可以为未添加动作特征的虚拟人物特征，虚拟场景特征为渲染虚拟人物对应的场景的特征。

基础虚拟人物特征可以采用特征空间或特征模型进行表示，并且基础虚拟人物特征具备可运动的能力，也就是说，后续可以根据运行特征对虚拟人物对应的信息进行调整。虚拟场景特征也可以采用也特征空间或特征模型进行表示。

在一种实施方式中，可以基于预先训练完毕的虚拟人物神经辐射场生成模型，生成基础虚拟人物特征和虚拟场景特征。在另一种实施方式中，可以采集真人对应的图像或视频，作为待处理人物数据，从而将待处理人物数据注册到神经辐射场进行编辑，从而得到基础虚拟人物特征。同样，可以采集真实场景对应的图像或视频，作为待处理场景数据，从而将待处理场景数据注册到神经辐射场进行编辑，从而得到虚拟场景特征。

S102，将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征。

为了能够得到真实度高的三维虚拟人物，可以将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征。其中，所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征为渲染神经辐射场的特征，所述当前动作信息转换模型与所述基础虚拟人物特征存在对应关系。

在一种实施方式中，当前动作信息转换模型为基于预先训练完毕的虚拟人物神经辐射场生成模型生成的模型。

神经辐射场（Neural radiance field）为三维物理的表示方式，基于渲染神经辐射场的特征，可以渲染得到真实度高的三维图像。

虚拟人物的人物动作信息为能够表征虚拟人物的动作的信息。在生成一张三维虚拟人物图像的情况下，虚拟人物的人物动作信息为虚拟人物某个时刻的动作的信息。例如，虚拟人物的人物动作信息可以包括某个时刻对应的虚拟人物的面部表情、肢体动作等信息。

在生成多张三维虚拟人物图像的情况下，虚拟人物的人物动作信息可以为虚拟人物某段时间的动作的信息。例如。虚拟人物的人物动作信息可以包括虚拟人物说一段话对应的面部信息。又例如，虚拟人物的人物动作信息可以包括虚拟人物跳一段舞对应的动作信息。这都是合理的，在此不做具体限定。

在一种实施方式中，在获取到基础虚拟人物特征后，可以从预先获取的虚拟人物与动作信息转换模型的对应关系中，确定基础虚拟人物特征对应的动作信息转换模型，作为当前动作信息转换模型。

S103，基于所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征，渲染得到三维虚拟人物图像。

在获取到基础虚拟人物特征、虚拟场景特征和人物动作特征后，可以将基础虚拟人物特征、虚拟场景特征和人物动作特征融合，并采用神经辐射场渲染方式，渲染得到三维虚拟人物图像。

在一种实施方式中，可以获取多张三维虚拟人物图像，并且多张三维虚拟人物图像对应的人物动作信息为连续的信息，这样，便可以获取到三维虚拟人物视频。

可见，在本实施例中，可以基于渲染神经辐射场的基础虚拟人物特征、虚拟场景特征和人物动作特征，渲染得到三维虚拟人物图像，能够提高三维虚拟人物图像的真实度，并且动作特征为基于当前动作信息转换模型生成的，能够进一步提高三维虚拟人物图像的自然度。

在生成视频的情况下，基于当前动作信息转换模型生成的动作特征能够保证虚拟人物动作的协调性，进而生成自然、流畅的三维虚拟人物的动作序列信息，也就是生成自然、流畅的三维虚拟人物视频。

作为本发明实施例的一种实施方式，上述人物动作信息可以包括面部动作信息和身体动作信息。

如图2所示，上述将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征的步骤，可以包括：

S201，将所述人物动作信息输入至所述当前动作信息转换模型。

S202，通过所述当前动作信息转换模型采用预设的面部处理方式，对所述面部动作信息进行融合处理，得到面部动作特征。

面部动作信息包括多个面部子动作信息，上述通过所述当前动作信息转换模型采用预设的面部处理方式，对所述面部动作信息进行融合处理，得到面部动作特征的步骤，可以包括：

通过所述当前动作信息转换模型对多个所述面部子动作信息进行扩充处理，得到多个满足预设扩充条件的面部子动作信息，作为待融合面部信息。

其中，面部子动作信息为面部对应的部位的动作信息，面部子动作信息可以为眼部动作信息、眉毛动作信息、脸颊动作信息、下巴动作信息、唇部动作信息、鼻子动作信息、耳朵动作信息中的一种。

换句话说，面部动作信息可以包括眼部动作信息、眉毛动作信息、脸颊动作信息、下巴动作信息、唇部动作信息、鼻子动作信息、耳朵动作信息。在一些情况下，上述面部行为子信息对应的内容可能为无效信息。

在一种实施方式中，可以为面部子动作信息添加不影响动作的信息，从而使各个面部动作信息对应的长度相同，在各个面部动作信息对应的长度相同的情况下，得到多个满足预设扩充条件的面部子动作信息，作为待融合面部信息。

例如，眼部动作信息可以采用Me={me1，me2，…meT1}表示，其中T1为Me包括的元素的个数。唇部动作信息可以采用Mm={mm1，mm2，…meT2}表示，其中T2为Mm包括的元素的个数。脸颊动作信息可以采用Mf={mf1，mf2，…mfT3}表示，其中T3为Mf包括的元素的个数。

假设T3大于T1大于T2，因此，可以将Me、Mm扩充至与Mf长度一致，在一种实施方式中，可以添加对应数量个0至Me、Mm中，其中，Me可以添加T3-T1数量个0，Mm可以添加T2-T1数量个0。

其中，待融合面部信息包括多个已扩充的面部行为子信息，各个待融合面部信息对应的长度均相同。具体地，待融合面部信息包括待融合眼部信息、待融合眉毛信息、待融合脸颊信息、待融合下巴信息、待融合唇部信息、待融合鼻子信息、待融合耳朵信息。

通过所述当前动作信息转换模型对所述待融合面部信息进行优化处理，得到满足预设优化条件的信息并作为面部动作特征。

为了保证不同区域对应的行为（动作）自然、流畅，可以通过所述当前动作信息转换模型将所述待融合面部信息按照预设划分规则，划分为多组待处理信息。

在一种实施方式中，可以按照区域范围对多个待融合面部信息进行划分，得到多组面部动作信息，每组面部动作信息存在对应的优先级信息。

例如，待融合面部信息可以包括两组，第一组为待融合眼部信息、待融合眉毛信息和待融合脸颊信息，优先级信息为待融合眼部信息的优先级大于待融合眉毛信息的优先级，待融合眉毛信息的优先级大于待融合脸颊信息的优先级。

第二组为待融合唇部信息、待融合下巴信息和待融合脸颊信息，优先级信息为待融合唇部信息的优先级大于待融合下巴信息的优先级，待融合下巴信息的优先级大于待融合脸颊信息的优先级。

通过所述当前动作信息转换模型针对每组所述待处理信息，对该组待处理信息进行优化处理，得到该组待处理信息对应的满足预设优化条件的信息，其中，该组待处理信息包括多个待融合面部信息。

将每组所述待处理信息对应的满足预设优化条件的信息，作为面部动作特征。

针对待融合面部信息的不同情况，对待融合面部信息进行优化处理存在对应的几种方式，如下：

第一种方式，通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息均不为无效信息，且多个待融合面部信息均不冲突的情况下，确定该组待处理信息对应的多个待融合面部信息满足所述预设优化条件。在第一种方式中，多个待融合面部信息在当前动作信息模型中的置信度大于预设置信度阈值。

第二种方式，通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息中存在无效信息的情况下，根据不为无效信息的待融合面部信息的优先级信息，确定第一参考信息，基于所述第一参考信息，生成与所述无效信息的存在对应关系的有效信息，并采用所述有效信息替换该组待处理信息中的所述无效信息，得到满足所述预设优化条件的信息。

作为一种实施方式，可以以优先级最高的不为无效信息的待融合面部信息作为第一参考信息，基于当前动作信息模型和第一参考信息，生成有效信息，其中，有效信息为在当前动作信息转换模型中的置信度大于置信度阈值的信息。

将有效信息替换无效信息，得到满足预设优化条件的信息，其中，满足预设优化条件的信息包括有效信息，和不为无效信息的待融合面部信息。

例如，待处理信息包括待融合眼部信息、待融合眉毛信息、待融合脸颊信息。待融合眼部信息为无效信息，待融合眉毛信息和待融合脸颊信息不为无效信息，且待融合眉毛信息的优先级大于待融合脸颊信息的优先级，可以将待融合眉毛信息作为第一参考信息，基于当前动作信息模型和待融合眉毛信息，生成有效信息，并将有效信息替换无效信息，得到包括待融合眉毛信息、待融合脸颊信息、有效信息的满足预设优化条件的信息。

又例如，待处理信息包括待融合眼部信息、待融合眉毛信息、待融合脸颊信息。待融合眉毛信息和待融合脸颊信息为无效信息，待融合眼部信息不为无效信息，可以将待融合眼部信息作为第一参考信息，基于当前动作信息模型和第一参考信息，生成有效信息，其中有效信息包括第一有效信息和第二有效信息，第一有效信息为待融合眉毛信息对应的有效信息，第二有效信息为待融合脸颊信息对应的有效信息。

将有效信息替换无效信息，便可以得到包括第一有效信息、第二有效信息和待融合眼部信息的满足预设优化条件的信息。

第三种方式，通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息存在冲突的情况下，基于存在冲突的待融合面部信息的优先级信息，确定第二参考信息，基于所述第二参考信息，调整存在冲突且不满足预设优先级条件的待融合面部信息，得到满足所述预设优化条件的信息。

其中，预设优先级条件即在存在冲突的待融合面部信息之间，优先级不是最高。也就是说，可以固定存在冲突且优先级最高的待融合面部信息，并将其作为第二参考信息，调整存在冲突且不满足预设优先级条件的待融合面部信息，得到满足预设优化条件信息。

在第三种方式中，在对存在冲突且优先级低的待融合面部信息进行调整的过程中，需要优化该待融合面部信息，直到置信度满足预设置信度条件，也就是该待融合面部信息在当前动作信息转换模型中的置信度大于置信度阈值的情况下，得到调整后的该待融合面部信息。

例如，待处理信息包括待融合眼部信息、待融合眉毛信息、待融合脸颊信息。仅有待融合眼部信息与待融合眉毛信息存在冲突，且待融合眼部信息的优先级大于待融合眉毛信息的优先级，待融合脸颊信息不为无效信息。因此，可以将待融合眼部信息作为第二参考信息，对待融合眉毛信息进行优化调整，直到待融合眉毛信息在当前动作信息转换模型中的置信度大于置信度阈值的情况下，将调整后的待融合眉毛信息、待融合眼部信息、待融合脸颊信息作为满足预设优化条件的信息。

第四种方式，通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息中存在无效信息，且该组待处理信息对应的多个待融合面部信息存在冲突的情况下，根据不为无效信息的待融合面部信息的优先级信息，确定第一参考信息，基于所述第一参考信息，生成与所述无效信息的存在对应关系的有效信息，并采用所述有效信息替换该组待处理信息中的所述无效信息，并基于存在冲突的待融合面部信息的优先级信息，确定第二参考信息，基于所述第二参考信息，调整存在冲突且不满足预设优先级条件的待融合面部信息，得到满足所述预设优化条件的信息。

例如，待处理信息包括待融合眼部信息、待融合眉毛信息、待融合脸颊信息。待融合脸颊信息为无效信息，待融合眼部信息不为无效信息且优先级最高，可以将待融合眼部信息作为第一参考信息，基于当前动作信息模型和待融合眼部信，生成有效信息，并替换无效信息。

待融合眼部信息与待融合眉毛信息存在冲突，且待融合眼部信息的优先级大于待融合眉毛信息的优先级。因此，可以将待融合眼部信息作为第二参考信息，对待融合眉毛信息进行优化调整，直到待融合眉毛信息在当前动作信息转换模型中的置信度大于置信度阈值的情况下，将调整后的待融合眉毛信息、有效信息和待融合眼部信息作为满足预设优化条件信息。

S203，通过所述当前动作信息转换模型采用预设的身体处理方式，对所述身体动作信息进行融合处理，得到身体动作特征。

其中，身体动作信息可以包括手部动作信息、脚部动作信息、四肢动作信息和其他身体动作信息中的至少一种，这都是合理的，在此不做具体限定。

在一种实施方式中，可以将身体动作信息包括的各部位对应的动作信息进行融合，从而得到身体动作特征。在另一种实施方式中，可以根据发生变化的某个部位对应的动作信息，对应补充其他部位对应的动作信息，从而得到身体动作特征。例如，手部动作信息发生了变化，可以基于手部动作信息对应的变化，对应补充脚部动作信息、四肢动作信息和其他身体动作信息，从而得到身体动作特征。

S204，通过所述当前动作信息转换模型融合所述面部动作特征和所述身体动作特征，得到人物动作特征。

由于面部行为与身体行为之间独立性较强，因此，可以在获取到面部动作特征和身体动作特征后，融合面部动作特征和身体动作特征，得到人物动作特征。

可见，在本实施例中，可以对分别对面部动作信息和身体动作信息进行融合处理，并对空动作信息进行补充，从而使面部动作信息和身体动作信息更加完整，更加协调。并且，在本实施例中，可以对不同区域对应的行为分别进行融合，从而能够生成自然流畅的动作特征。

作为本发明实施例的一种实施方式，上述获取基础虚拟人物特征和虚拟场景特征的步骤，可以包括：

基于预先训练完毕的虚拟人物神经辐射场生成模型，生成基础虚拟人物特征和虚拟场景特征。

作为本发明实施例的一种实施方式，上述虚拟人物神经辐射场生成模型的训练方式，可以包括：

获取随机变量、样本动作信息和初始模型。

将所述随机变量输入至所述初始模型，得到预测人物特征和初始动作信息转换模型。

将所述样本动作信息输入至所述初始动作信息转换模型，得到预测动作特征。

基于所述预测人物特征与所述预测动作特征的乘积，渲染得到预测图像。

对所述预测图像与所述样本动作信息进行判别处理，得到损失函数。

在一种实施方式中，可以将预测图像与样本动作信息对应的图像输入至判别器，从而可以得到真实度对应的损失函数。在另一种实施方式中，可以将预测图像对应的表达信息与样本动作信息对应的表达信息输入至判别器，从而可以得到真实度对应的损失函数。

基于所述损失函数，对所述初始模型的参数进行调整，直到所述初始模型收敛，得到虚拟人物神经辐射场生成模型。在得到虚拟人物神经辐射场生成模型后，可以基于虚拟人物神经辐射场生成模型获取训练完毕的动作信息转换模型（当前动作信息转换模型）。其中，当前动作信息转换模型为仅对虚拟人物有效动作信息进行形变操作的模型。

可见，虚拟人物神经辐射场生成模型和当前动作信息转换模型是通过协同训练的方式得到的。

作为一种实施方式，预先训练完毕的虚拟人物神经辐射场生成模型可以输出对应的基础虚拟人物特征和对应的当前动作信息转换模型，可以将基础虚拟人物特征对应的隐变量输入至虚拟人物神经辐射场生成模型，从而便可以得到基础虚拟人物特征和对应的当前动作信息转换模型。

作为本发明实施例的一种实施方式，在上述将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征的步骤之前，上述方法还可以包括：

获取动作语义信息。其中，动作语义信息可以包括指示虚拟人物说话的信息，还可以包括指示虚拟人物面部表情变化的信息，还可以包括指示虚拟人物身体动作变化的信息。

基于所述基础虚拟人物的类型，确定当前语义信息转换模型。

其中，基础虚拟人物的类型可以为肖像类型，上半身类型和全身类型等。具体可以根据实际需求进行设置，在此不做具体限定。相应地，语义信息转换模型可以包括肖像类型对应的语义信息转换模型、上半身类型对应的语义信息转换模型、全身类型对应的语义信息转换模型等。

将所述动作语义信息输入至所述当前语义信息转换模型，得到所述人物动作信息。

可见，在本实施例中，可以根据基础虚拟人物的类型，确定对应的当前语义信息转换模型，进而，可以获取到更加准确的人物动作信息，从而能够提高虚拟人物的真实度。

作为本发明实施例的一种实施方式，上述基于所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征，渲染得到三维虚拟人物图像的步骤，可以包括：

将所述基础虚拟人物特征和所述人物动作特征融合，得到带动作的虚拟人物特征。

基于预先获取的基础虚拟人物特征的位置信息，将所述带动作的虚拟人物特征和所述虚拟场景特征融合，得到待渲染特征。

基于预先获取的角度信息，对所述待渲染特征进行渲染，得到三维虚拟人物图像。

下面介绍对待渲染特征进行渲染到三维虚拟人物图像的过程，也就是介绍采用神经辐射场对应的渲染方式，得到三维虚拟人物图像的过程。

一个神经辐射场（记为F）可以视为一个密集的三维空间（可以想象一个立方体中装满了不同密度和颜色的液体），角度信息可以为观察方向，也就是，可以根据观察方向（记为D）和位置（记为X），检索得到对应的颜色（记为C）和透明度（记为O）。渲染时，首先确定观察点（可以看作是一个相机）、观察方向D和待渲染的图像对应的尺寸（记为W×H），也就是三维虚拟人物图像的尺寸。其中，位置为点位置，点位置可以为预先设置的，可以采用三维坐标进行表征。

针对三维虚拟人物图像的每个像素点，从该像素点出发，确定一条光线，与神经辐射场F相交，密集采集场内光线上N个点，根据D和X，检索对应的C和O。接着，将C根据O的大小做权重累加，即可得到该像素点的颜色。

依次遍历三维虚拟人物图像中的所有像素点，便可得到对应的神经辐射场渲染图像(即三维虚拟人物图像）。通过这样的方式得到的三维虚拟人物图像的真实度高。

为了更加方便理解本发明实施例提供的一种三维虚拟人物图像的生成方法，可以以图3-图5为例，对本发明实施例提供的一种三维虚拟人物图像的生成方法进行举例介绍。

如图3所示为本发明实施例提供的一种三维虚拟人物图像的生成方法的示意图。

获取语义动作信息310，进而根据语义动作信息310获取对应的人物动作信息320。获取基础虚拟人物特征330和虚拟场景特征350，将人物动作信息320和基础虚拟人物特征330融合（即对虚拟人物进行动作形变），可以获取到带动作虚拟人物特征340，将带动作虚拟人物特征340和虚拟场景特征350融合，可以获取带动作虚拟人物特征和场景360。进而可以采用神经辐射场渲染，获取到三维虚拟人物图像370。

如图4所示为本发明实施例提供的一种三维虚拟人物图像的生成方法中得到人物动作特征的示意图。

获取到面部动作信息410后，可以根据面部动作信息410得到面部动作特征430，获取到身体动作信息420后，可以根据身体动作信息420生成得到身体动作特征440。进而，可以根据面部动作特征430和身体动作特征440，得到人物动作特征450。

如图5所示为本发明实施例提供的一种三维虚拟人物图像的生成方法中训练虚拟人物神经辐射场生成模型的示意图。

获取随机变量510、样本动作信息520和初始模型530。将随机变量510输入至初始模型530可以得到预测人物特征550和初始动作信息转换模型540。将样本动作信息520输入至初始动作信息转换模型540可以得到预测动作特征560，基于预测人物特征550与预测动作特征560的乘积，渲染得到预测图像570。对预测图像570与样本动作信息520进行判别处理，得到损失函数（图5中未示出）。基于损失函数，对初始模型520的参数进行调整（图5中未示出），直到初始模型收敛，得到虚拟人物神经辐射场生成模型580。

下面对本发明提供的三维虚拟人物图像的生成装置进行描述，下文描述的三维虚拟人物图像的生成装置与上文描述的三维虚拟人物图像的生成方法可相互对应参照。

如图6所示，本发明实施例提供了一种三维虚拟人物图像的生成装置，装置包括：

获取模块610，用于获取基础虚拟人物特征和虚拟场景特征。

输入模块620，用于将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征。

其中，所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征为渲染神经辐射场的特征，所述当前动作信息转换模型与所述基础虚拟人物特征存在对应关系。

渲染模块630，用于基于所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征，渲染得到三维虚拟人物图像。

作为本发明实施例的一种实施方式，上述人物动作信息包括面部动作信息和身体动作信息。

上述输入模块620可以包括：

输入单元，用于将所述人物动作信息输入至所述当前动作信息转换模型。

第一处理单元，用于通过所述当前动作信息转换模型采用预设的面部处理方式，对所述面部动作信息进行融合处理，得到面部动作特征。

第二处理单元，用于通过所述当前动作信息转换模型采用预设的身体处理方式，对所述身体动作信息进行融合处理，得到身体动作特征；

第一融合单元，用于通过所述当前动作信息转换模型融合所述面部动作特征和所述身体动作特征，得到人物动作特征。

作为本发明实施例的一种实施方式，上述面部动作信息包括多个面部子动作信息。

上述第一处理单元可以包括：

扩充子单元，用于通过所述当前动作信息转换模型对多个所述面部子动作信息进行扩充处理，得到多个满足预设扩充条件的面部子动作信息，作为待融合面部信息。

优化子单元，用于通过所述当前动作信息转换模型对所述待融合面部信息进行优化处理，得到满足预设优化条件的待融合面部信息并作为面部动作特征。

作为本发明实施例的一种实施方式，上述优化子单元包括：

划分子单元，用于通过所述当前动作信息转换模型将所述待融合面部信息按照预设划分规则，划分为多组待处理信息。

处理子单元，用于通过所述当前动作信息转换模型针对每组所述待处理信息，对该组待处理信息进行优化处理，得到该组待处理信息对应的满足预设优化条件的信息。

其中，该组待处理信息包括多个待融合面部信息。

获取子单元，用于将每组所述待处理信息对应的满足预设优化条件的信息，作为面部动作特征。

作为本发明实施例的一种实施方式，上述处理子单元，具体用于

通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息均不为无效信息，且多个待融合面部信息均不冲突的情况下，确定该组待处理信息对应的多个待融合面部信息满足所述预设优化条件；

通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息中存在无效信息的情况下，根据不为无效信息的待融合面部信息的优先级信息，确定第一参考信息，基于所述第一参考信息，生成与所述无效信息的存在对应关系的有效信息，并采用所述有效信息替换该组待处理信息中的所述无效信息，得到满足所述预设优化条件的信息；

通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息存在冲突的情况下，基于存在冲突的待融合面部信息的优先级信息，确定第二参考信息，基于所述第二参考信息，调整存在冲突且不满足预设优先级条件的待融合面部信息，得到满足所述预设优化条件的信息。

作为本发明实施例的一种实施方式，上述获取模块610，具体用于基于预先训练完毕的虚拟人物神经辐射场生成模型，生成基础虚拟人物特征和虚拟场景特征。

作为本发明实施例的一种实施方式，上述虚拟人物神经辐射场生成模型是通过训练模块进行训练的，训练模块包括：

获取单元，用于获取随机变量、样本动作信息和初始模型。

第一输入单元，用于将所述随机变量输入至所述初始模型，得到预测人物特征和初始动作信息转换模型。

第二输入单元，用于将所述样本动作信息输入至所述初始动作信息转换模型，得到预测动作特征。

第一渲染单元，用于基于所述预测人物特征与所述预测动作特征的乘积，渲染得到预测图像。

判别单元，用于对所述预测图像与所述样本动作信息进行判别处理，得到损失函数。

调整单元，用于基于所述损失函数，对所述初始模型的参数进行调整，直到所述初始模型收敛，得到虚拟人物神经辐射场生成模型。

作为本发明实施例的一种实施方式，上述装置还包括：

信息获取模块，用于在将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征之前，获取动作语义信息；

确定模型模块，用于基于所述基础虚拟人物的类型，确定当前语义信息转换模型；

转换模块，用于将所述动作语义信息输入至所述当前语义信息转换模型，得到所述人物动作信息。

作为本发明实施例的一种实施方式，上述渲染模块630包括：

第二融合单元，用于将所述基础虚拟人物特征和所述人物动作特征融合，得到带动作的虚拟人物特征。

第三融合单元，用于基于预先获取的基础虚拟人物特征的位置信息，将所述带动作的虚拟人物特征和所述虚拟场景特征融合，得到待渲染特征。

第二渲染单元，用于基于预先获取的角度信息，对所述待渲染特征进行渲染，得到三维虚拟人物图像。

图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行三维虚拟人物图像的生成方法，该方法包括：获取基础虚拟人物特征和虚拟场景特征，将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征，其中，基础虚拟人物特征、虚拟场景特征和人物动作特征为渲染神经辐射场的特征，当前动作信息转换模型与基础虚拟人物特征存在对应关系，基于基础虚拟人物特征、虚拟场景特征和人物动作特征，渲染得到三维虚拟人物图像。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的三维虚拟人物图像的生成方法，该方法包括：获取基础虚拟人物特征和虚拟场景特征，将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征，其中，基础虚拟人物特征、虚拟场景特征和人物动作特征为渲染神经辐射场的特征，当前动作信息转换模型与基础虚拟人物特征存在对应关系，基于基础虚拟人物特征、虚拟场景特征和人物动作特征，渲染得到三维虚拟人物图像。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的三维虚拟人物图像的生成方法，该方法包括：获取基础虚拟人物特征和虚拟场景特征，将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征，其中，基础虚拟人物特征、虚拟场景特征和人物动作特征为渲染神经辐射场的特征，当前动作信息转换模型与基础虚拟人物特征存在对应关系，基于基础虚拟人物特征、虚拟场景特征和人物动作特征，渲染得到三维虚拟人物图像。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维虚拟人物图像的生成方法，其特征在于，所述方法包括：

获取基础虚拟人物特征和虚拟场景特征；

将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征，其中，所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征为渲染神经辐射场的特征，所述当前动作信息转换模型与所述基础虚拟人物特征存在对应关系；所述当前动作信息转换模型为基于预先训练完毕的虚拟人物神经辐射场生成模型生成的模型；

基于所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征，渲染得到三维虚拟人物图像；

所述获取基础虚拟人物特征和虚拟场景特征的步骤，包括：

基于预先训练完毕的虚拟人物神经辐射场生成模型，生成基础虚拟人物特征和虚拟场景特征；

所述虚拟人物神经辐射场生成模型通过以下方式训练：

获取随机变量、样本动作信息和初始模型；

将所述随机变量输入至所述初始模型，得到预测人物特征和初始动作信息转换模型；

将所述样本动作信息输入至所述初始动作信息转换模型，得到预测动作特征；

基于所述预测人物特征与所述预测动作特征的乘积，渲染得到预测图像；

对所述预测图像与所述样本动作信息进行判别处理，得到损失函数；

基于所述损失函数，对所述初始模型的参数进行调整，直到所述初始模型收敛，得到虚拟人物神经辐射场生成模型。

2.根据权利要求1所述的三维虚拟人物图像的生成方法，其特征在于，所述人物动作信息包括面部动作信息和身体动作信息；

所述将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征的步骤，包括：

将所述人物动作信息输入至所述当前动作信息转换模型；

通过所述当前动作信息转换模型采用预设的面部处理方式，对所述面部动作信息进行融合处理，得到面部动作特征；

通过所述当前动作信息转换模型采用预设的身体处理方式，对所述身体动作信息进行融合处理，得到身体动作特征；

通过所述当前动作信息转换模型融合所述面部动作特征和所述身体动作特征，得到人物动作特征。

3.根据权利要求2所述的三维虚拟人物图像的生成方法，其特征在于，所述面部动作信息包括多个面部子动作信息；

所述通过所述当前动作信息转换模型采用预设的面部处理方式，对所述面部动作信息进行融合处理，得到面部动作特征的步骤，包括：

通过所述当前动作信息转换模型对多个所述面部子动作信息进行扩充处理，得到多个满足预设扩充条件的面部子动作信息，作为待融合面部信息；

通过所述当前动作信息转换模型对所述待融合面部信息进行优化处理，得到满足预设优化条件的待融合面部信息并作为面部动作特征。

4.根据权利要求3所述的三维虚拟人物图像的生成方法，其特征在于，所述通过所述当前动作信息转换模型对所述待融合面部信息进行优化处理，得到满足预设优化条件的待融合面部信息并作为面部动作特征的步骤，包括：

通过所述当前动作信息转换模型将所述待融合面部信息按照预设划分规则，划分为多组待处理信息；

通过所述当前动作信息转换模型针对每组所述待处理信息，对该组待处理信息进行优化处理，得到该组待处理信息对应的满足预设优化条件的信息，其中，该组待处理信息包括多个待融合面部信息；

将每组所述待处理信息对应的满足预设优化条件的信息，作为面部动作特征。

5.根据权利要求4所述的三维虚拟人物图像的生成方法，其特征在于，所述通过所述当前动作信息转换模型针对每组所述待处理信息，对该组待处理信息进行优化处理，得到该组待处理信息对应的满足预设优化条件的信息的步骤，包括：

通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息均不为无效信息，且多个待融合面部信息均不冲突的情况下，确定该组待处理信息对应的多个待融合面部信息满足所述预设优化条件；

通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息中存在无效信息的情况下，根据不为无效信息的待融合面部信息的优先级信息，确定第一参考信息，基于所述第一参考信息，生成与所述无效信息的存在对应关系的有效信息，并采用所述有效信息替换该组待处理信息中的所述无效信息，得到满足所述预设优化条件的信息；

通过所述当前动作信息转换模型在该组待处理信息对应的多个待融合面部信息存在冲突的情况下，基于存在冲突的待融合面部信息的优先级信息，确定第二参考信息，基于所述第二参考信息，调整存在冲突且不满足预设优先级条件的待融合面部信息，得到满足所述预设优化条件的信息。

6.根据权利要求1-5任一项所述的三维虚拟人物图像的生成方法，其特征在于，在所述将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征的步骤之前，所述方法还包括：

获取动作语义信息；

基于所述基础虚拟人物的类型，确定当前语义信息转换模型；

将所述动作语义信息输入至所述当前语义信息转换模型，得到所述人物动作信息。

7.根据权利要求1-5任一项所述的三维虚拟人物图像的生成方法，其特征在于，所述基于所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征，渲染得到三维虚拟人物图像的步骤，包括：

将所述基础虚拟人物特征和所述人物动作特征融合，得到带动作的虚拟人物特征；

基于预先获取的基础虚拟人物特征的位置信息，将所述带动作的虚拟人物特征和所述虚拟场景特征融合，得到待渲染特征；

基于预先获取的角度信息，对所述待渲染特征进行渲染，得到三维虚拟人物图像。

8.一种三维虚拟人物图像的生成装置，其特征在于，所述装置包括：

获取模块，用于获取基础虚拟人物特征和虚拟场景特征；

输入模块，用于将预先获取的虚拟人物的人物动作信息，输入至预先获取的当前动作信息转换模型进行转换，得到人物动作特征，其中，所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征为渲染神经辐射场的特征，所述当前动作信息转换模型与所述基础虚拟人物特征存在对应关系；所述当前动作信息转换模型为基于预先训练完毕的虚拟人物神经辐射场生成模型生成的模型；

渲染模块，用于基于所述基础虚拟人物特征、所述虚拟场景特征和所述人物动作特征，渲染得到三维虚拟人物图像；

所述获取模块，具体用于基于预先训练完毕的虚拟人物神经辐射场生成模型，生成基础虚拟人物特征和虚拟场景特征；

所述虚拟人物神经辐射场生成模型通过训练模块进行训练，所述训练模块包括：

获取单元，用于获取随机变量、样本动作信息和初始模型；

第一输入单元，用于将所述随机变量输入至所述初始模型，得到预测人物特征和初始动作信息转换模型；

第二输入单元，用于将所述样本动作信息输入至所述初始动作信息转换模型，得到预测动作特征；

第一渲染单元，用于基于所述预测人物特征与所述预测动作特征的乘积，渲染得到预测图像；

判别单元，用于对所述预测图像与所述样本动作信息进行判别处理，得到损失函数；

调整单元，用于基于所述损失函数，对所述初始模型的参数进行调整，直到所述初始模型收敛，得到虚拟人物神经辐射场生成模型。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述三维虚拟人物图像的生成方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述三维虚拟人物图像的生成方法的步骤。

Images