CN114792359B - 渲染网络训练和虚拟对象渲染方法、装置、设备及介质 - Google Patents

Abstract

本公开提供了一种渲染网络训练和虚拟对象渲染方法、装置、设备及介质，涉及人工智能技术领域，具体涉及增强现实、虚拟现实、计算机视觉和深度学习等技术领域。具体实现方案为：获取样本白模贴图和所述样本白模贴图对应的样本高精贴图；将所述样本白模贴图输入至渲染网络，得到所述样本白模贴图的预测高精贴图；根据所述预测高精贴图和所述样本高精贴图，确定训练损失；采用所述训练损失，对所述渲染网络进行训练。根据本公开的技术，能够在部署有渲染网络的移动端实现虚拟对象的超写实渲染。

Description

渲染网络训练和虚拟对象渲染方法、装置、设备及介质

技术领域

本公开涉及人工智能技术领域，尤其涉及增强现实、虚拟现实、计算机视觉和深度学习等技术领域，具体涉及一种渲染网络训练和虚拟对象渲染方法、装置、设备及介质。

背景技术

随着人工智能技术的不断发展，超写实渲染技术逐渐兴起。由于写实逼真需求，对虚拟对象（比如数字人）进行超写实渲染，需要进行大量的运算。目前受移动端运算量的限制，难以在移动端实现虚拟对象的超写实渲染。

发明内容

本公开提供了一种渲染网络训练和虚拟对象渲染方法、装置、设备及介质。

根据本公开的一方面，提供了一种渲染网络训练方法，该方法包括：

获取样本白模贴图和所述样本白模贴图对应的样本高精贴图；

将所述样本白模贴图输入至渲染网络，得到所述样本白模贴图的预测高精贴图；

根据所述预测高精贴图和所述样本高精贴图，确定训练损失；

采用所述训练损失，对所述渲染网络进行训练。

根据本公开的另一方面，提供了一种虚拟对象渲染方法，该方法包括：

对待渲染虚拟对象的三维模型进行白模渲染，得到所述三维模型对应的三维白模；

确定所述三维白模的白模贴图；

将所述白模贴图输入至渲染网络，得到所述白模贴图对应的高精贴图；其中，所述渲染网络通过本公开任一所述的渲染网络训练方法训练得到；

在所述三维模型上显示所述高精贴图，得到所述待渲染虚拟对象的高精渲染结果。

根据本公开的另一方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述渲染网络训练方法，或者虚拟对象渲染方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任一实施例所述的渲染网络训练方法，或者虚拟对象渲染方法。

根据本公开的技术，能够在部署有渲染网络的移动端实现虚拟对象的超写实渲染。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例提供的一种渲染网络训练方法的流程图；

图2是根据本公开实施例提供的另一种渲染网络训练方法的流程图；

图3是根据本公开实施例提供的又一种渲染网络训练方法的流程图；

图4是根据本公开实施例提供的一种虚拟对象渲染方法的流程图；

图5是根据本公开实施例提供的一种渲染网络训练装置的结构示意图；

图6是根据本公开实施例提供的一种虚拟对象渲染装置的结构示意图；

图7是用来实现本公开实施例的渲染网络训练或虚拟对象渲染方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开实施例提供的一种渲染网络训练方法的流程图，该方法适用于如何在移动端实现虚拟对象的超写实渲染的情况。尤其适用于在元宇宙场景下，如何实现在移动端对虚拟对象进行超写实渲染的情况。该方法可以由渲染网络训练装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载渲染网络训练功能的电子设备中，比如服务器中。如图1所示，本实施例的渲染网络训练方法可以包括：

S101，获取样本白模贴图和样本白模贴图对应的样本高精贴图。

本实施例中，白模贴图和高精贴图均为二维坐标系下的图像，具体为纹理坐标（即UV）下的图像。

样本白模贴图和样本白模贴图对应的样本高精贴图是用于对渲染网络进行训练的样本数据。可选的，样本白模贴图和样本高精贴图可基于样本虚拟对象的三维模型得到。其中，虚拟对象即为活动在虚拟空间中的对象，比如虚拟数字人；虚拟空间可以是元宇宙或包含可移动界面的游戏等娱乐产品为用户所提供的仿真实世界的虚拟活动空间。例如，对于元宇宙产品，其虚拟空间可以是与现实世界映射且可与用户交互的虚拟世界。

为使得渲染网络学习到多种虚拟对象的白模贴图与高精贴图之间的对应关系，以满足实际场景中用户对不同虚拟对象渲染的需求，在本实施例中样本虚拟对象优选为活动在虚拟空间中的多种虚拟对象，例如可以包括虚拟数字人、虚拟狗、虚拟车辆等。

通常情况，一个虚拟对象可由多个部分组成。例如，对于只有头部的虚拟数字人而言，可由脸部和头发组成。可选的，每一部分可对应一个三维模型，即一个虚拟对象可对应多个三维模型。在本实施例中，对于每一样本虚拟对象，可基于该样本虚拟对象的组成结构，获取多组样本。其中，每一组样本中包括一个样本白模贴图和该样本白模贴图对应的样本高精贴图。

样本白模贴图可通过对样本虚拟对象的三维模型进行白模渲染得到；样本高精贴图可通过对样本虚拟对象的三维模型进行高精渲染得到。下述以获取一组样本为例，来介绍样本白模贴图和样本白模贴图对应的高精贴图的获取方式。对于任一样本虚拟对象的任一组成部分，对该组成部分对应的三维模型进行白模渲染，得到三维白模；将三维白模输入至可微分渲染器，可得到三维白模中点的颜色值（即RGB值），进而基于该三维模型与纹理坐标贴图（即UV贴图）之间的映射关系，根据三维白模中点的RGB值，可得到三维白模的白模贴图；同理，对该组成部分对应的三维模型进行超写实渲染（即高精渲染），得到三维高精模型；将三维高精模型输入至可微分渲染器，可得到三维高精模型中点的RGB值，进而基于该三维模型与UV贴图之间的映射关系，根据三维高精模型中点的RGB值，可得到三维高精模型的高精贴图。将所得到的该组成部分的白模贴图和高精贴图作为训练样本，至此得到了一组样本白模贴图和样本白模贴图对应的高精贴图。

S102，将样本白模贴图输入至渲染网络，得到样本白模贴图的预测高精贴图。

本实施例中，渲染网络是用于根据白模贴图来确定高精贴图任务的网络。可选的，考虑到移动端的内存、运算能力等，为使得渲染网络能够更好的应用到移动端，本实施例中渲染网络优选采用轻量级的残差网络resnet；更进一步的，渲染网络使用float16计算前向和梯度回传。

具体的，将样本白模贴图输入至渲染网络，由渲染网络对样本白模贴图进行处理，可输出样本白模贴图对应的预测高精贴图。

S103，根据预测高精贴图和样本高精贴图，确定训练损失。

可选的，本实施例可以直接将预测高精贴图和样本高精贴图输入到预先设定的损失函数中，得到训练损失。或者，还可以对预测高精贴图和样本高精贴图进行进一步处理后再输入到预先设定的损失函数中，得到训练损失等，对此不进行限定。

S104，采用训练损失，对渲染网络进行训练。

可选的，本实施例可以采用训练损失，对渲染网络进行训练，不断优化渲染网络中的网络参数。具体的，本实施例可基于上述方法对渲染网络进行多次迭代训练，直至达到预设的训练停止条件，则停止调整渲染网络的网络参数，得到经训练的渲染网络。训练停止条件可以包括：训练次数达到预设次数，或者训练损失收敛等。

进一步的，在渲染网络训练好之后，可以采用飞桨的推理引擎（即paddle-lite）对训练好的渲染网络进行处理，以实现模型的迁移和适配。

进一步的，训练好的渲染网络可以部署于移动端中，进而在移动端基于渲染网络实现虚拟对象的超写实渲染。

本公开实施例提供的技术方案，通过将样本白模贴图输入至渲染网络，可得到样本白模贴图的预测高精贴图，进而根据预测高精贴图和样本高精贴图，确定训练损失，并基于训练损失对渲染网络进行训练。上述方案，训练了一个能够通过白模贴图得到高精贴图的渲染网络，将该渲染网络可部署于移动端中，进而在移动端对虚拟对象进行渲染时，只需进行白模等少量渲染操作，相比于直接将光照等高精度复杂模型导入移动端进行超写实渲染方案而言，减少了移动端的计算成本和硬件成本等，为实现在移动端对虚拟对象进行超写实渲染提供了一种优选方案。此外，本方案具有较强的可扩展性，能够适配到具有超写实渲染需求的任一移动端中。

示例性的，在上述实施例的基础上，根据预测高精贴图和样本高精贴图确定训练损失的一种可选方式可以是，基于对抗网络、特征网络和范数损失函数中的至少一种，根据预测高精贴图和样本高精贴图，确定训练损失。

本实施例中，对抗网络是指根据预测高精贴图执行对抗任务的网络，例如GAN（Generative Adversarial Network，生成对抗网络）。特征网络是用于从预测高精贴图和样本高精贴图中提取特征的网络。可选的，范数损失函数可以是L1范数损失函数，用于计算预测高精贴图和样本高精贴图两者在RGB空间的损失。

可选的，本实施例可以基于对抗网络、特征网络和范数损失函数中的任一种，根据预测高精贴图和样本高精贴图，来确定训练损失。

或者，可以基于对抗网络、特征网络和范数损失函数中的至少两种，根据预测高精贴图和样本高精贴图，来确定训练损失。例如可以基于对抗网络，根据预测高精贴图和样本高精贴图，确定第一损失；基于特征网络，根据预测高精贴图和样本高精贴图，确定第二损失；基于范数损失函数，根据预测高精贴图和样本高精贴图，确定第三损失；根据第一损失、第二损失和第三损失，以及预先确定的权重值，来确定训练损失。例如，可以将第一损失与第一权重值相乘，将第二损失与第二权重值相乘，将第三损失与第三权重相乘，并将三者的相乘结果相加，作为训练损失。

可以理解的是，本实施例采用上述方式确定训练损失的好处在于，一方面引入范数损失函数，可提高网络的收敛速度；另一方面，引入对抗网络，可提高网络的抗干扰能力和鲁棒性；再者，引入特征网络，可使得网络学习到预测高精贴图和样本高精贴图之间的更细微的差异，进而提升模型精度。

图2是根据本公开实施例提供的另一种渲染网络训练方法的流程图，本实施例在上述实施例的基础上，进一步对“根据预测高精贴图和样本高精贴图，确定训练损失”进行详细解释说明。如图2所示，本实施例的渲染网络训练方法包括：

S201，获取样本白模贴图和样本白模贴图对应的样本高精贴图。

S202，将样本白模贴图输入至渲染网络，得到样本白模贴图的预测高精贴图。

S203，基于对抗网络，根据预测高精贴图，确定对抗预测结果。

具体的，将预测高精贴图输入至对抗网络，该对抗网络会产生一个干扰高精贴图，并预测出该干扰高精贴图是真实图像的概率。本实施例中，对抗预测结果即为对抗网络预测的干扰高精贴图是真实图像的概率。例如，对抗预测结果为1，则代表干扰高精贴图是真实图像；对抗预测结果为0，则代表干扰高精贴图是假图像。

可选的，基于对抗网络，根据预测高精贴图，确定对抗预测结果一种优选方式是：对预测高精贴图添加干扰特征，得到干扰高精贴图；将干扰高精贴图输入至对抗网络，得到对抗预测结果。

可选的，生成干扰特征的方式有很多种，本实施例对此不做限定。例如一种方式可以是，随机生成一组向量，作为干扰特征；另一种方式可以是，将默认高斯噪声，作为干扰特征；又一种方式可以是，对预测高精贴图进行随机缩放和/或平移操作，来确定干扰特征等；再者，还可以基于神经网络，来生成干扰特征。

具体的，将干扰特征添加至预测高精贴图上，以得到干扰高精贴图。例如，可以先确定预测高精贴图的特征表示，将所确定的特征表示和干扰特征融合，得到融合特征，进而基于融合特征，确定干扰高精贴图。

在确定干扰高精贴图之后，可以将干扰高精贴图输入至对抗网络，由对抗网络对干扰高精贴图进行处理，并输出对抗预测结果。

可选的，在对抗网络为GAN的情况，对抗网络可以包括一个图像生成网络和一个判别网络。其中，图像生成网络用于生成干扰高精贴图；判别网络用于判别图像生成网络所生成的干扰高精贴图是不是真实的，即输出对抗预测结果。

此时，可以先确定预测高精贴图的特征表示，将所确定的特征表示和干扰特征融合，得到融合特征，将融合特征输入至对抗网络中的图像生成网络，以得到干扰高精贴图；将干扰高精贴图输入至对抗网络中的判别网络，得到对抗预测结果。

S204，根据样本高精贴图，确定对抗监督数据。

可选的，在本实施例中，可以将样本高精贴图的预测对抗结果，作为预测高精贴图的对抗监督数据。

S205，根据对抗预测结果和对抗监督数据，确定第一损失。

具体的，可以计算对抗预测结果和对抗监督数据之间的差值，并将所计算的差值，作为第一损失。

S206，根据第一损失，确定训练损失。

可选的，可以直接将第一损失作为训练损失。

进一步的，在确定训练损失的过程，若还引入了特征网络和/或范数损失函数，此时可以基于第一损失，以及基于特征网络确定的第二损失和/或基于范数损失函数确定的第三损失，来确定训练损失。

S207，采用训练损失，对渲染网络进行训练。

本公开实施例提供的技术方案，通过将样本白模贴图输入至渲染网络，可得到样本白模贴图的预测高精贴图；基于对抗网络，根据预测高精贴图和样本高精贴图，可得到第一损失；进而基于第一损失可确定训练损失，并基于训练损失对渲染网络进行训练。上述方案，在确定训练损失的过程中，引入对抗网络，可以提高渲染网络的抗干扰能力和鲁棒性。

示例性的，在上述实施例的基础上，在确定训练损失的过程中引入对抗网络的情况下，采用训练损失，对渲染网络进行训练还可以是：采用训练损失，对渲染网络和对抗网络进行联合训练。即基于训练损失联合训练渲染网络和对抗网络，不断优化渲染网络和对抗网络中的网络参数，直至达到训练停止条件，如训练次数达到预设次数等。可以理解的是，本实施例将渲染网络与对抗网络进行联合训练，进一步提高了模型训练的准确性。

图3是根据本公开实施例提供的又一种渲染网络训练方法的流程图，本实施例在上述实施例的基础上，又进一步对“根据预测高精贴图和样本高精贴图，确定训练损失”进行详细解释说明。如图3所示，本实施例的渲染网络训练方法包括：

S301，获取样本白模贴图和样本白模贴图对应的样本高精贴图。

S302，将样本白模贴图输入至渲染网络，得到样本白模贴图的预测高精贴图。

S303，将预测高精贴图和样本高精贴图，分别输入特征网络，得到预测高精贴图的第一特征表示，以及样本高精贴图的第二特征表示。

本实施例中，第一特征表示用于表征预测高精贴图的特征，可以采用矩阵或向量形式来表示；相应的，第二特征表示用于表征样本高精贴图的特征，也可以采用矩阵或向量形式来表示。

具体的，可以基于特征网络，确定预测高精贴图的第一特征表示，以及样本高精贴图的第二特征表示。具体的，可以将预测高精贴图和样本高精贴图，分别输入至特征网络，经过特征网络处理，得到预测高精贴图的第一特征表示，以及样本高精贴图的第二特征表示。

在一可实施方式中，本实施例中的特征网络可以包括学习感知图像块相似度（Learned Perceptual Image Patch Similarity，LPIPS）网络，和/或，预训练（Contrastive Language-Image Pre-Training，CLIP）网络。其中，CLIP网络相比于LPIPS网络而言，可以提取图像中更细节的特征。

进一步的，在特征网络包括LPIPS网络和CLIP网络的情况下，第一特征表示可以包括两个子特征表示，分别为第一子特征表示和第二子特征表示；同理，第二特征表示也可以包括两个子特征表示，分别为第三子特征表示和第四子特征表示。

例如，将预测高精贴图和样本高精贴图，分别输入LPIPS网络，得到预测高精贴图的第一子特征表示，以及样本高精贴图的第三子特征表示。与此同时，将预测高精贴图和样本高精贴图，分别输入CLIP网络，得到预测高精贴图的第二子特征表示，以及样本高精贴图的第四子特征表示。

S304，根据第一特征表示和第二特征表示，确定第二损失。

在一可实施方式中，可以计算第一特征表示和第二特征表示之间的距离，并将两者之间的距离作为第二损失。

在又一可实施方式中，在特征网络包括LPIPS网络和CLIP网络的情况下，可以根据第一子特征表示和第三子特征表示，确定第一子损失；根据第二子特征表示和第四子特征表示，确定第二子损失；根据第一子损失和第二子损失，确定第二损失。

其中，可以基于LPIPS网络中感知损失计算逻辑，根据第一子特征表示和第三子特征表示，确定第一子损失。可以计算第二子特征表示和第四子特征表示之间的距离，并将两者之间的距离作为第二子损失。

可选的，可以将第一子损失和第二子损失之和，作为第二损失。或者，还可以将第一子损失与第一子权重相乘，将第二子损失与第二子权重相乘，并将两者的乘积之和，作为第二损失。

S305，根据第二损失，确定训练损失。

可选的，可以直接将第二损失作为训练损失。

进一步的，在确定训练损失的过程，若还引入了对抗网络和/或范数损失函数，此时可以基于第二损失，以及基于对抗网络确定的第一损失和/或基于范数损失函数确定的第三损失，来确定训练损失。

S306，采用训练损失，对渲染网络进行训练。

本公开实施例提供的技术方案，通过将样本白模贴图输入至渲染网络，可得到样本白模贴图的预测高精贴图；基于特征网络，根据预测高精贴图和样本高精贴图，可得到第二损失；进而基于第二损失可确定训练损失，并基于训练损失对渲染网络进行训练。上述方案，通过引入特征网络，使得训练损失的计算更精准，进而使得渲染网络的精准更高。

图4是根据本公开实施例提供的一种虚拟对象渲染方法的流程图，该方法适用于如何在移动端实现虚拟对象的超写实渲染的情况。尤其适用于在元宇宙场景下，如何实现在移动端对虚拟对象进行超写实渲染的情况。该方法可以由虚拟对象渲染装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载虚拟对象渲染功能的电子设备中，比如部署有渲染网络的移动端中，其中渲染网络通过上述任一所述的渲染网络训练方法训练得到。如图4所示，本实施例的虚拟对象渲染方法可以包括：

S401，对待渲染虚拟对象的三维模型进行白模渲染，得到三维模型对应的三维白模。

本实施例中，所谓待渲染虚拟对象即为需要进行超写实渲染的虚拟对象，例如可以是虚拟数字人。

可选的，可以使用lambert（朗伯）光照模型或者PBR（Physically BasedRendering，基于物理的渲染）模型，对待渲染虚拟对象的三维模型进行白模渲染，得到三维模型对应的三维白模。

S402，确定三维白模的白模贴图。

在一可实施方式中，可以对三维白模进行UV展示，根据UV展开结果，来确定三维白模对应的白模贴图。

在又一可实施方式中，可以将三维白模输入至可微分渲染器，得到三维白模中点的RGB值；基于三维模型与UV贴图之间的映射关系，根据三维白模中点的RGB值，生成三维白模的白模贴图。

具体的，将三维白模输入至可微分渲染器，由可微分渲染器直接获取三维白模中三角面片上每一顶点的RGB值，以及对三角面片进行插值处理，得到三角面片上除顶点之外其他点的RGB值。即通过可微分渲染器，可得到三维白模中每一点（包括顶点，以及顶点之外的其他点）的RGB值。

可选的，基于三维白模与三维模型之间的对应关系，可知三维模型与UV贴图之间的映射关系，即为三维白模与UV贴图之间的映射关系；进而可基于三维白模与UV贴图之间的映射关系，以及三维白模中每一点的RGB值，可得到三维白模的白模贴图。例如，可以获取三维模型的初始UV贴图，基于三维白模与UV贴图之间的映射关系，将三维白模中每一点的RGB值，添加至初始UV贴图中，即可得到三维白模对应的白模贴图。其中，初始UV贴图即为三维模型UV展开后的二维图像。

可以理解的是，本实施例在确定白模贴图的过程中，引入可微分渲染器，能够使得所确定的白模贴图更精准，为后续获取更精准的高精贴图奠定了基础。

S403，将白模贴图输入至渲染网络，得到白模贴图对应的高精贴图。

具体的，可以将所确定的白模贴图输入至预先训练好的渲染网络中，由渲染网络对白模贴图进行处理，并输出白模贴图对应的高精贴图。

S404，在三维模型上显示高精贴图，得到待渲染虚拟对象的高精渲染结果。

具体的，可以基于三维模型与UV贴图之间的映射关系，将高精贴图映射于三维模型上，即可得到待渲染虚拟对象的高精渲染结果。

本公开实施例提供的技术方案，通过对待渲染虚拟对象的三维模型进行白模渲染，可得到白模贴图，并将白模贴图输入至渲染网络可得到高精贴图，进而基于高精贴图，即可得到待渲染虚拟对象的高精渲染结果。上述方案，移动端部署有渲染网络，在进行渲染时，只需进行白模等少量渲染操作，且无需存储有复杂的光照模型，减少了移动端的计算成本和硬件成本等；进一步的，本方案将白模渲染与渲染网络有机结合，能够在移动端低功耗实现与PC端同等质量的渲染结果，可满足移动端实时渲染需求，为实现在移动端对虚拟对象进行超写实渲染提供了一种优选方案。

由于通常情况，一个虚拟对象可由多个部分组成。示例性的，对待渲染虚拟对象的三维模型进行白模渲染，得到三维模型对应的三维白模的一种可选方式是：根据待渲染虚拟对象的组成结构，对待渲染虚拟对象进行区域划分；分别对各划分区域对应的三维模型进行白模渲染，得到各划分区域对应的三维模型的三维白模。

本实施例中，每一组成结构对应一个划分区域。例如，待渲染虚拟对象为虚拟数字人，且该虚拟数字人由脸部、头发和上衣三个部分组成，即该虚拟数字人具有三个组成结构，此时可以将该虚拟数字人划分为三个划分区域，分别为脸部区域、头发区域和上衣区域。

可选的，每一划分区域对应一个三维模型。

示例性的，可以并行对各划分区域对应的三维模型进行白模渲染，以得到各划分区域对应的三维模型的三维白模。

相应的，可以确定每一个三维白模的白模贴图；对于所确定的每一白模贴图，可以将该白模贴图输入至渲染网络，得到该白模贴图对应的高精贴图。最后，在每一三维模型上显示对应的高精贴图，即可得到待渲染虚拟对象的高精渲染结果。

可以理解的是，由于实际场景中一个物体的不同组成部分之间存在材质、布料等多方面的差异，因此为使得所渲染的虚拟对象更具有真实感，本实施例分区域进行白模渲染。

图5是根据本公开实施例提供的一种渲染网络训练装置的结构示意图。本公开实施例适用于如何在移动端实现虚拟对象的超写实渲染的情况。尤其适用于在元宇宙场景下，如何实现在移动端对虚拟对象进行超写实渲染的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例所述的渲染网络训练方法。如图5所示，该渲染网络训练装置500包括：

样本获取模块501，用于获取样本白模贴图和所述样本白模贴图对应的样本高精贴图；

预测贴图确定模块502，用于将样本白模贴图输入至渲染网络，得到样本白模贴图的预测高精贴图；

训练损失确定模块503，用于根据预测高精贴图和样本高精贴图，确定训练损失；

训练模块504，用于采用训练损失，对渲染网络进行训练。

本公开实施例提供的技术方案，通过将样本白模贴图输入至渲染网络，可得到样本白模贴图的预测高精贴图，进而根据预测高精贴图和样本高精贴图，确定训练损失，并基于训练损失对渲染网络进行训练。上述方案，训练了一个能够通过白模贴图得到高精贴图的渲染网络，将该渲染网络可部署于移动端中，进而在移动端对虚拟对象进行渲染时，只需进行白模等少量渲染操作，相比于直接将光照等高精度复杂模型导入移动端进行超写实渲染方案而言，减少了移动端的计算成本和硬件成本等，为实现在移动端对虚拟对象进行超写实渲染提供了一种优选方案。此外，本方案具有较强的可扩展性，能够适配到具有超写实渲染需求的任一移动端中。

示例性的，训练损失确定模块503包括：

训练损失确定单元，用于基于对抗网络、特征网络和范数损失函数中的至少一种，根据预测高精贴图和样本高精贴图，确定训练损失。

示例性的，训练损失确定单元包括：

对抗预测结果确定子单元，用于基于对抗网络，根据预测高精贴图，确定对抗预测结果；

对抗监督数据确定子单元，用于根据样本高精贴图，确定对抗监督数据；

第一损失确定子单元，用于根据对抗预测结果和对抗监督数据，确定第一损失；

训练损失确定子单元，用于根据第一损失，确定训练损失。

示例性的，对抗预测结果确定子单元具体用于：

对预测高精贴图添加干扰特征，得到干扰高精贴图；

将干扰高精贴图输入至对抗网络，得到对抗预测结果。

示例性的，训练损失确定单元还具体用于：

将预测高精贴图和样本高精贴图，分别输入特征网络，得到预测高精贴图的第一特征表示，以及样本高精贴图的第二特征表示；

根据第一特征表示和第二特征表示，确定第二损失；

根据第二损失，确定训练损失。

示例性的，训练模块504具体用于：

采用训练损失，对渲染网络和对抗网络进行联合训练。

图6是根据本公开实施例提供的一种虚拟对象渲染装置的结构示意图。本公开实施例适用于如何在移动端实现虚拟对象的超写实渲染的情况。尤其适用于在元宇宙场景下，如何实现在移动端对虚拟对象进行超写实渲染的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例所述的虚拟对象渲染方法。如图6所示，该虚拟对象渲染装置600包括：

白模渲染模块601，用于对待渲染虚拟对象的三维模型进行白模渲染，得到三维模型对应的三维白模；

白模贴图确定模块602，用于确定三维白模的白模贴图；

高精贴图确定模块603，用于将白模贴图输入至渲染网络，得到白模贴图对应的高精贴图；其中，渲染网络通过本公开任一实施例所提供的渲染网络训练方法训练得到；

高精渲染结果确定模块604，用于在三维模型上显示高精贴图，得到待渲染虚拟对象的高精渲染结果。

本公开实施例提供的技术方案，通过对待渲染虚拟对象的三维模型进行白模渲染，可得到白模贴图，并将白模贴图输入至渲染网络可得到高精贴图，进而基于高精贴图，即可得到待渲染虚拟对象的高精渲染结果。上述方案，移动端部署有渲染网络，在进行渲染时，只需进行白模等少量渲染操作，且无需存储有复杂的光照模型，减少了移动端的计算成本和硬件成本等；进一步的，本方案将白模渲染与渲染网络有机结合，能够在移动端低功耗实现与PC端同等质量的渲染结果，可满足移动端实时渲染需求，为实现在移动端对虚拟对象进行超写实渲染提供了一种优选方案。

示例性的，白模贴图确定模块602具体用于：

将三维白模输入至可微分渲染器，得到三维白模中点的颜色值；

基于三维模型与纹理坐标贴图之间的映射关系，根据三维白模中点的颜色值，生成三维白模的白模贴图。

示例性的，白模渲染模块601具体用于：

根据待渲染虚拟对象的组成结构，对待渲染虚拟对象进行区域划分；

分别对各划分区域对应的三维模型进行白模渲染，得到各划分区域对应的三维模型的三维白模。

本公开的技术方案中，所涉及的虚拟对象的三维模型等的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器（ROM）702中的计算机程序或者从存储单元708加载到随机访问存储器（RAM）703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。

电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如渲染网络训练或虚拟对象渲染方法。例如，在一些实施例中，渲染网络训练或虚拟对象渲染方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的渲染网络训练或虚拟对象渲染方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行渲染网络训练或虚拟对象渲染方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。

云计算（cloud computing），指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (18)

1.一种渲染网络训练方法，包括：

对于任一样本虚拟对象的任一组成部分，对所述组成部分对应的三维模型进行白模渲染，得到三维白模；将所述三维白模输入至可微分渲染器，得到三维白模中点的颜色值，进而基于所述三维模型与纹理坐标贴图之间的映射关系，根据三维白模中点的颜色值，得到三维白模的白模贴图，作为样本白模贴图；

对所述组成部分对应的三维模型进行高精渲染，得到三维高精模型；将所述三维高精模型输入至可微分渲染器，得到三维高精模型中点的颜色值，进而基于三维模型与纹理坐标贴图之间的映射关系，根据三维高精模型中点的颜色值，得到三维高精模型的高精贴图，作为样本高精贴图；

将所述样本白模贴图输入至渲染网络，得到所述样本白模贴图的预测高精贴图；其中，所述渲染网络是用于部署在移动端，根据白模贴图确定高精贴图任务的网络；

根据所述预测高精贴图和所述样本高精贴图，确定训练损失；

采用所述训练损失，对所述渲染网络进行训练。

2.根据权利要求1所述的方法，其中，所述根据所述预测高精贴图和所述样本高精贴图，确定训练损失，包括：

基于对抗网络、特征网络和范数损失函数中的至少一种，根据所述预测高精贴图和所述样本高精贴图，确定训练损失。

3.根据权利要求2所述的方法，其中，基于对抗网络，根据所述预测高精贴图和所述样本高精贴图，确定训练损失，包括：

基于对抗网络，根据所述预测高精贴图，确定对抗预测结果；

根据所述样本高精贴图，确定对抗监督数据；

根据所述对抗预测结果和所述对抗监督数据，确定第一损失；

根据所述第一损失，确定训练损失。

4.根据权利要求3所述的方法，其中，所述基于对抗网络，根据所述预测高精贴图，确定对抗预测结果，包括：

对所述预测高精贴图添加干扰特征，得到干扰高精贴图；

将所述干扰高精贴图输入至对抗网络，得到对抗预测结果。

5.根据权利要求2所述的方法，其中，基于特征网络，根据所述预测高精贴图和所述样本高精贴图，确定训练损失，包括：

将所述预测高精贴图和所述样本高精贴图，分别输入所述特征网络，得到所述预测高精贴图的第一特征表示，以及所述样本高精贴图的第二特征表示；

根据所述第一特征表示和所述第二特征表示，确定第二损失；

根据所述第二损失，确定训练损失。

6.根据权利要求2或3所述的方法，其中，所述采用所述训练损失，对所述渲染网络进行训练，包括：

采用所述训练损失，对所述渲染网络和所述对抗网络进行联合训练。

7.一种虚拟对象渲染方法，应用于移动端，所述方法包括：

对待渲染虚拟对象的三维模型进行白模渲染，得到所述三维模型对应的三维白模；

将所述三维白模输入至可微分渲染器，得到所述三维白模中点的颜色值；

基于所述三维模型与纹理坐标贴图之间的映射关系，根据所述三维白模中点的颜色值，生成所述三维白模的白模贴图；

将所述白模贴图输入至渲染网络，得到所述白模贴图对应的高精贴图；其中，所述渲染网络通过权利要求1-6中任一所述的渲染网络训练方法训练得到；

在所述三维模型上显示所述高精贴图，得到所述待渲染虚拟对象的高精渲染结果。

8.根据权利要求7所述的方法，其中，所述对待渲染虚拟对象的三维模型进行白模渲染，得到所述三维模型对应的三维白模，包括：

根据所述待渲染虚拟对象的组成结构，对所述待渲染虚拟对象进行区域划分；

分别对各划分区域对应的三维模型进行白模渲染，得到各划分区域对应的三维模型的三维白模。

9.一种渲染网络训练装置，包括：

样本获取模块，用于对于任一样本虚拟对象的任一组成部分，对所述组成部分对应的三维模型进行白模渲染，得到三维白模；将所述三维白模输入至可微分渲染器，得到三维白模中点的颜色值，进而基于所述三维模型与纹理坐标贴图之间的映射关系，根据三维白模中点的颜色值，得到三维白模的白模贴图，作为样本白模贴图；

对所述组成部分对应的三维模型进行高精渲染，得到三维高精模型；将所述三维高精模型输入至可微分渲染器，得到三维高精模型中点的颜色值，进而基于三维模型与纹理坐标贴图之间的映射关系，根据三维高精模型中点的颜色值，得到三维高精模型的高精贴图，作为样本高精贴图；

预测贴图确定模块，用于将所述样本白模贴图输入至渲染网络，得到所述样本白模贴图的预测高精贴图；其中，所述渲染网络是用于部署在移动端，根据白模贴图确定高精贴图任务的网络；

训练损失确定模块，用于根据所述预测高精贴图和所述样本高精贴图，确定训练损失；

训练模块，用于采用所述训练损失，对所述渲染网络进行训练。

10.根据权利要求9所述的装置，其中，所述训练损失确定模块包括：

训练损失确定单元，用于基于对抗网络、特征网络和范数损失函数中的至少一种，根据所述预测高精贴图和所述样本高精贴图，确定训练损失。

11.根据权利要求10所述的装置，其中，所述训练损失确定单元包括：

对抗预测结果确定子单元，用于基于对抗网络，根据所述预测高精贴图，确定对抗预测结果；

对抗监督数据确定子单元，用于根据所述样本高精贴图，确定对抗监督数据；

第一损失确定子单元，用于根据所述对抗预测结果和所述对抗监督数据，确定第一损失；

训练损失确定子单元，用于根据所述第一损失，确定训练损失。

12.根据权利要求11所述的装置，其中，所述对抗预测结果确定子单元具体用于：

对所述预测高精贴图添加干扰特征，得到干扰高精贴图；

将所述干扰高精贴图输入至对抗网络，得到对抗预测结果。

13.根据权利要求10所述的装置，其中，所述训练损失确定单元具体用于：

将所述预测高精贴图和所述样本高精贴图，分别输入所述特征网络，得到所述预测高精贴图的第一特征表示，以及所述样本高精贴图的第二特征表示；

根据所述第一特征表示和所述第二特征表示，确定第二损失；

根据所述第二损失，确定训练损失。

14.根据权利要求10或11所述的装置，其中，所述训练模块具体用于：

采用所述训练损失，对所述渲染网络和所述对抗网络进行联合训练。

15.一种虚拟对象渲染装置，应用于移动端，所述装置包括：

白模渲染模块，用于对待渲染虚拟对象的三维模型进行白模渲染，得到所述三维模型对应的三维白模；

白模贴图确定模块，用于将所述三维白模输入至可微分渲染器，得到所述三维白模中点的颜色值；

基于所述三维模型与纹理坐标贴图之间的映射关系，根据所述三维白模中点的颜色值，生成所述三维白模的白模贴图；

高精贴图确定模块，用于将所述白模贴图输入至渲染网络，得到所述白模贴图对应的高精贴图；其中，所述渲染网络通过权利要求1-6中任一所述的渲染网络训练方法训练得到；

高精渲染结果确定模块，用于在所述三维模型上显示所述高精贴图，得到所述待渲染虚拟对象的高精渲染结果。

16.根据权利要求15所述的装置，其中，所述白模渲染模块具体用于：

根据所述待渲染虚拟对象的组成结构，对所述待渲染虚拟对象进行区域划分；

分别对各划分区域对应的三维模型进行白模渲染，得到各划分区域对应的三维模型的三维白模。

17. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的渲染网络训练方法，或者权利要求7-8中任一项所述的虚拟对象渲染方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-6中任一项所述的渲染网络训练方法，或者权利要求7-8中任一项所述的虚拟对象渲染方法。

Images