CN117671110A - 基于人工智能的实时渲染系统及方法 - Google Patents

Abstract

本发明公开了一种基于人工智能的实时渲染系统及方法，其获取用户输入的场景描述；对所述场景描述进行语义分析，以生成待渲染物体的三维模型；根据所述场景描述对所述待渲染物体的三维模型进行渲染以得到渲染三维模型；将所述渲染三维模型输出为渲染三维模型图像，并进行图像后处理以得到渲染完成三维模型图像。这样，所述基于人工智能的实时渲染系统能够根据用户输入的场景描述，生成真实的三维模型，并在不同的光照和视角下，实时地渲染出清晰的图像。

Description

基于人工智能的实时渲染系统及方法

技术领域

本发明涉及智能化实时渲染技术领域，尤其涉及一种基于人工智能的实时渲染系统及方法。

背景技术

实时渲染是指在计算机图形学中，以足够高的帧率（通常为每秒30帧或更高）生成图像的过程。实时渲染的应用场景非常广泛，例如电子游戏、虚拟现实、增强现实、模拟训练等。实时渲染的难点在于如何在保证图像质量的同时，提高渲染效率和降低渲染成本。

目前，实时渲染的主流方法是基于光栅化的渲染技术，即将三维模型转换为二维像素，并根据光照和材质等信息进行着色。光栅化的渲染技术具有速度快、硬件支持好的优点，但也存在一些缺点，例如无法处理复杂的光照效果（如阴影、反射、折射等）、无法处理透明或半透明物体和无法处理细节丰富的物体等。因此，这种方法在处理复杂场景和真实感渲染方面存在一定的局限性。

因此，期望一种基于人工智能的实时渲染系统。

发明内容

本发明实施例提供一种基于人工智能的实时渲染系统及方法，其获取用户输入的场景描述；对所述场景描述进行语义分析，以生成待渲染物体的三维模型；根据所述场景描述对所述待渲染物体的三维模型进行渲染以得到渲染三维模型；将所述渲染三维模型输出为渲染三维模型图像，并进行图像后处理以得到渲染完成三维模型图像。这样，所述基于人工智能的实时渲染系统能够根据用户输入的场景描述，生成真实的三维模型，并在不同的光照和视角下，实时地渲染出清晰的图像。

本发明实施例还提供了一种基于人工智能的实时渲染系统，其包括：

场景描述输入模块，用于获取用户输入的场景描述；

三维模型生成模块，用于对所述场景描述进行语义分析，以生成待渲染物体的三维模型；

三维模型渲染模块，用于根据所述场景描述对所述待渲染物体的三维模型进行渲染以得到渲染三维模型；

渲染三维模型图像生成与后处理模块，用于将所述渲染三维模型输出为渲染三维模型图像，并进行图像后处理以得到渲染完成三维模型图像。

本发明实施例还提供了一种基于人工智能的实时渲染方法，其包括：

获取用户输入的场景描述；

对所述场景描述进行语义分析，以生成待渲染物体的三维模型；

根据所述场景描述对所述待渲染物体的三维模型进行渲染以得到渲染三维模型；

将所述渲染三维模型输出为渲染三维模型图像，并进行图像后处理以得到渲染完成三维模型图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中提供的一种基于人工智能的实时渲染系统的框图。

图2为本发明实施例中提供的一种基于人工智能的实时渲染方法的流程图。

图3为本发明实施例中提供的一种基于人工智能的实时渲染方法的系统架构的示意图。

图4为本发明实施例中提供的一种基于人工智能的实时渲染系统的应用场景图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。

在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。

实时渲染是指在计算机图形学中以实时或接近实时的速度生成图像的过程，要求在每秒钟渲染多个图像帧，通常目标帧率为每秒30帧或更高，实时渲染的应用场景非常广泛，包括电子游戏、虚拟现实、增强现实、模拟训练等。

实时渲染的难点在于如何在保证图像质量的同时，提高渲染效率和降低渲染成本。实时渲染通常依赖于专门的图形处理单元（GPU）来加速图像计算，GPU具有并行处理能力，能够高效地执行图形渲染任务。实时渲染通常使用多边形来表示场景中的物体，如三角形网格，多边形渲染涉及顶点变换、光栅化、着色等步骤，需要高效的算法和数据结构来处理大量的多边形。实时渲染需要模拟光照效果和生成逼真的阴影，常用的技术包括基于物理的渲染（PBR）和实时光线追踪的近似方法。纹理映射是将二维图像映射到三维物体表面的过程，实时渲染使用纹理映射来增加物体的细节和真实感。为了提高渲染效率，实时渲染使用各种优化技术，如级别-of-细节（LOD）技术、视锥剪裁、遮挡剔除等，以减少不必要的计算和渲染操作。实时渲染通常还包括各种后期处理效果，如抗锯齿、景深、运动模糊、色彩校正等，以增强图像的质感和真实感。某些应用场景需要实时模拟物理效果，如碰撞检测、布料模拟、流体模拟等，这些物理模拟可以与实时渲染结合，使场景更加逼真。

实时渲染的主流方法是基于光栅化的渲染技术，这种方法将三维模型转换为二维像素，并根据光照和材质等信息进行着色。其中，光栅化渲染利用硬件加速，能够高效地处理大量的三维模型和复杂场景，实现实时渲染的要求。现代计算机图形硬件通常针对光栅化渲染进行了优化，提供了专门的图形处理单元（GPU）来加速渲染过程。光栅化渲染算法相对较为简单，容易实现和调试。

然而，也存在一些缺点：光栅化渲染无法直接处理全局光照、阴影、反射、折射等复杂的光照效果，需要使用近似方法或额外的技术来模拟这些效果。光栅化渲染在处理透明或半透明物体时存在困难，需要使用排序、混合等技术来解决。光栅化渲染在处理细节丰富的物体时可能存在失真或锯齿状边缘的问题，需要使用抗锯齿技术等来改善。

在本发明的一个实施例中，图1为本发明实施例中提供的一种基于人工智能的实时渲染系统的框图。如图1所示，根据本发明实施例的基于人工智能的实时渲染系统100，包括：场景描述输入模块110，用于获取用户输入的场景描述；三维模型生成模块120，用于对所述场景描述进行语义分析，以生成待渲染物体的三维模型；三维模型渲染模块130，用于根据所述场景描述对所述待渲染物体的三维模型进行渲染以得到渲染三维模型；渲染三维模型图像生成与后处理模块140，用于将所述渲染三维模型输出为渲染三维模型图像，并进行图像后处理以得到渲染完成三维模型图像。

在所述场景描述输入模块110中，能够准确地获取用户输入的场景描述，对于输入的文本，进行语义分析和处理，以提取关键信息和场景描述。准确获取场景描述可以为后续的三维模型生成和渲染提供有效的输入，确保生成的模型和渲染结果符合用户的期望。

在所述三维模型生成模块120中，对场景描述进行语义分析，并将其转化为对应的三维模型，考虑模型的准确性、细节丰富度和合理性。准确生成符合场景描述的三维模型可以为后续的渲染提供合适的物体和场景，使得渲染结果更加真实和符合用户期望。

在所述三维模型渲染模块130中，根据场景描述对待渲染物体的三维模型进行渲染，包括光照、材质、纹理等方面的处理，考虑渲染效果和渲染速度之间的平衡。高质量的三维模型渲染可以增强渲染结果的真实感和视觉效果，使用户能够更好地理解场景和物体的外观。

在所述渲染三维模型图像生成与后处理模块140中，将渲染得到的三维模型转化为图像，并进行后处理，如抗锯齿、景深、色彩校正等，考虑图像生成的效率和后处理效果的质量。生成高质量的渲染完成三维模型图像可以提供给用户直观的视觉反馈，增强用户体验和交互效果。

针对上述技术问题，在本申请的技术方案中，提出了一种基于人工智能的实时渲染系统，其包括：场景描述输入模块，用于获取用户输入的场景描述；三维模型生成模块，用于对所述场景描述进行语义分析，以提取出其中的关键信息，如物体的类别、属性、位置、大小、形状等特征信息来生成待渲染物体的三维模型；三维模型渲染模块，用于根据所述场景描述中的光照信息，以及预设的环境参数，如天空颜色、大气散射等，计算出所述待渲染物体的三维模型在不同视角下的光照效果，并对其进行着色和纹理贴图，从而得到渲染三维模型；渲染三维模型图像生成与后处理模块，用于将所述渲染三维模型输出为渲染三维模型图像，并进行图像后处理，如抗锯齿、景深、运动模糊等，以提高图像的真实感和美观度来得到渲染完成三维模型图像。这样，所述基于人工智能的实时渲染系统能够根据用户输入的场景描述，生成真实的三维模型，并在不同的光照和视角下，实时地渲染出清晰的图像。

相应地，考虑到在基于人工智能的实时渲染系统中，根据所述场景描述中的光照信息，以及预设的环境参数，如天空颜色、大气散射等，计算出所述待渲染物体的三维模型在不同视角下的光照效果，并对其进行着色和纹理贴图，以此来得到渲染三维模型的步骤尤为关键，其是确保渲染质量和效率的关键。基于此，本申请的技术构思为在得到用户输入的场景描述和待渲染物体的三维模型后，在后端引入基于人工智能的语义理解算法和三维模型特征提取技术来进行场景描述中的光照信息和环境信息的语义理解以及对三维模型的特征分析，然后，再将渲染语义融入三维模型特征中，以此来进行三维模型的渲染。这样，能够根据用户输入的场景描述中的光照信息和环境信息来对三维模型进行实时渲染，提高了渲染的质量和效率，并且优化了渲染三维模型的真实感，提供了更好的视觉体验和用户交互。

具体地，在本申请的技术方案中，在获取用户输入的场景描述后，从所述场景描述中提取渲染信息，其中，所述渲染信息包括光照信息和环境信息。应可以理解，所述光照信息包括光源的位置、颜色、强度等与光照相关的属性。所述环境信息包括场景的背景、反射属性、阴影等与环境相关的属性。这些信息对于渲染过程至关重要，它们决定了最终渲染图像的外观和质量。因此，为了能够对于所述光照信息和所述环境信息进行语义分析和理解，以此来完成三维模型的实时渲染，在本申请的技术方案中，进一步分别对所述光照信息和所述环境信息进行语义编码，以分别提取出所述光照信息和所述环境信息的语义理解特征信息，从而得到光照语义特征向量和环境语义特征向量。

在本申请的一个具体实施例中，所述三维模型渲染模块，包括：渲染信息提取单元，用于从所述场景描述中提取渲染信息，其中，所述渲染信息包括光照信息和环境信息；渲染信息语义编码单元，用于分别对所述光照信息和所述环境信息进行语义编码以得到光照语义特征向量和环境语义特征向量；渲染语义重要性加权融合单元，用于分别以所述光照语义特征向量和所述环境语义特征向量在所述光照语义特征向量和所述环境语义特征向量的整体的语义重要性来进行语义特征重要性加权融合以得到渲染语义特征向量；三维模型特征提取单元，用于通过基于深度神经网络模型的模型区域特征提取器对所述待渲染物体的三维模型进行特征提取以得到三维模型局部区域特征图；渲染语义-三维模型特征嵌入融合单元，用于对所述渲染语义特征向量和所述三维模型局部区域特征图进行通道嵌入渲染融合编码以得到渲染语义嵌入三维模型特征；渲染三维模型生成单元，用于基于所述渲染语义嵌入三维模型特征，生成渲染三维模型。

接着，考虑到光照和环境信息在实际渲染的过程中起着不同的作用，它们对最终渲染结果的贡献程度可能不同。因此，进一步通过计算光照语义特征向量和环境语义特征向量相对于整体渲染语义特征信息的语义重要性，可以确定它们在渲染过程中的权重。这样，再以计算出的权重来分别对所述光照语义特征向量和所述环境语义特征向量进行加权融合来得到渲染语义特征向量。值得一提的是，加权后的特征向量将更加准确地反映光照和环境信息在渲染过程中的贡献，然后，再通过将加权后的光照语义特征向量和环境语义特征向量进行拼接，可以将光照和环境的语义特征信息融合在一起，提供更全面和综合的渲染特征表示。

在本申请的一个具体实施例中，所述渲染语义重要性加权融合单元，包括：语义权重值计算子单元，用于分别计算所述光照语义特征向量和所述环境语义特征向量相对于所述光照语义特征向量和所述环境语义特征向量的整体的渲染信息语义重要性以得到第一语义权重值和第二语义权重值；语义重要性加权子单元，用于以所述第一语义权重值和所述第二语义权重值作为权重分别对所述光照语义特征向量和所述环境语义特征向量进行加权，并将加权后的所述光照语义特征向量和加权后的所述环境语义特征向量进行拼接以得到所述渲染语义特征向量。

进一步地，对于所述待渲染物体的三维模型来说，其在空间上存在着诸多局部细节特征分布信息，这种特征信息对于渲染的质量和真实性具有重要的意义。因此，在本申请的技术方案中，进一步将所述三维模型通过基于三维卷积神经网络模型的模型区域特征提取器中进行特征挖掘，以提取出所述三维模型的局部区域空间特征分布信息，从而得到三维模型局部区域特征图。

应可以理解，在实时渲染中，所述三维模型局部区域特征图包含了有关于所述待渲染物体的三维模型的各个局部区域的特征分布信息，例如几何形状、边缘和纹理等特征信息。这些局部特征对于渲染过程中的细节表现非常重要。而所述渲染语义特征向量则包含了光照和环境的全局渲染语义特征信息，它们对整体渲染效果起到关键作用。因此，为了能够将局部区域的几何特征和全局渲染语义信息相结合，以此基于渲染语义来进行三维模型的渲染，在本申请的技术方案中，进一步将所述三维模型局部区域特征图和所述渲染语义特征向量通过基于MetaNet的通道嵌入渲染融合模块以得到渲染语义嵌入三维模型特征图。特别地，MetaNet是一种神经网络结构，它可以学习到特征之间的相关性和权重分配，从而将所述渲染语义特征向量和所述三维模型局部区域特征图和进行信息的嵌入式交互和融合，使得融合后的所述渲染语义嵌入三维模型特征图综合了三维模型的局部区域的几何特征和全局渲染语义特征信息。

在本申请的一个具体实施例中，所述深度神经网络模型为三维卷积神经网络模型。

在本申请的一个具体实施例中，所述渲染语义-三维模型特征嵌入融合单元，用于：将所述三维模型局部区域特征图和所述渲染语义特征向量通过基于MetaNet的通道嵌入渲染融合模块以得到渲染语义嵌入三维模型特征图作为所述渲染语义嵌入三维模型特征。

具体地，所述渲染语义-三维模型特征嵌入融合单元，包括：第一卷积子单元，用于将所述三维模型局部区域特征图通过所述基于MetaNet的通道嵌入渲染融合模块的卷积神经网络以得到三维模型特征图；第二卷积子单元，用于将所述渲染语义特征向量通过所述基于MetaNet的通道嵌入渲染融合模块的一维卷积层以得到渲染关联特征向量；以及，通道加权子单元，用于以所述渲染关联特征向量对所述三维模型特征图进行通道加权以得到所述渲染语义嵌入三维模型特征图。

在本申请的一个具体实施例中，所述渲染三维模型生成单元，包括：特征分布优化子单元，用于对所述渲染语义嵌入三维模型特征图进行特征分布优化以得到优化渲染语义嵌入三维模型特征图；渲染生成子单元，用于将所述优化渲染语义嵌入三维模型特征图通过基于AIGC的渲染生成器以得到渲染三维模型。

所述特征分布优化子单元对渲染语义嵌入三维模型特征图进行特征分布优化，以得到优化渲染语义嵌入三维模型特征图。通过特征分布优化，可以增强渲染语义嵌入三维模型特征图中的关键特征，使其更具表达能力和区分度。优化渲染语义嵌入三维模型特征图能够更好地捕捉物体的形状、纹理、光照等细节信息，提高渲染的真实感和细节展现能力。特征分布优化可以帮助去除特征图中的噪声和冗余信息，提高渲染结果的清晰度和准确性，优化渲染语义嵌入三维模型特征图能够更好地反映物体的真实属性，减少因噪声引起的伪影和失真现象。

所述渲染生成子单元通过基于AIGC的渲染生成器，将优化后渲染语义嵌入三维模型特征图转化为渲染三维模型。基于AIGC的渲染生成器能够利用优化渲染语义嵌入三维模型特征图生成高质量的渲染结果，AIGC结合了实例级别和组级别的卷积操作，能够更好地处理物体的细节和整体结构，提高渲染结果的真实感和细节展现能力。基于AIGC的渲染生成器具有灵活的参数和控制选项，可以根据需要调整渲染结果的风格、光照、材质等属性，用户可以通过调整参数来实现不同的渲染效果，满足不同场景和需求的渲染要求。

特征分布优化子单元通过优化渲染语义嵌入三维模型特征图，增强特征并抑制噪声，提高渲染结果的真实感和准确性。渲染生成子单元利用基于AIGC的渲染生成器，生成高质量的渲染三维模型，并具有灵活性和可控性，满足不同渲染需求，有助于提升实时渲染系统的渲染质量和用户体验。

特别地，在上述技术方案中，所述三维模型局部区域特征图的各个位置的特征值表达所述待渲染物体的三维模型的三维图像语义特征，而所述渲染语义特征向量表达渲染信息语义重要性加权后的所述光照信息和所述环境信息的信息语义特征。这样，将所述三维模型局部区域特征图和所述渲染语义特征向量通过基于MetaNet的通道嵌入渲染融合模块时，实质上是以所述渲染语义特征向量表达的渲染语义特征分布来对所述三维模型局部区域特征图的预定维度上的图像语义特征分布进行约束，使得所述渲染语义嵌入三维模型特征图在所述预定维度上表达所述图像语义特征和所述渲染语义特征的融合分布，并且，由于所述渲染语义嵌入三维模型特征图的除所述预定维度之外的另外两个维度上的特征矩阵仍然表达所述待渲染物体的图像语义特征，因此所述渲染语义嵌入三维模型特征图实质上具有基于特征图各位置的空间位置属性的特征表达。由此，如果能够提升所述渲染语义嵌入三维模型特征图作为高维特征的空间信息表达效果，则能够提升其通过基于AIGC的渲染生成器得到的渲染三维模型的质量。

基于此，本申请的申请人对所述渲染语义嵌入三维模型特征图进行优化，表示为：以如下优化公式对所述渲染语义嵌入三维模型特征图进行特征分布优化以得到优化渲染语义嵌入三维模型特征图；其中，所述优化公式为：/>其中，/>，/>是所述渲染语义嵌入三维模型特征图/>的全局特征均值，且/>为局部空间分割系数，/>是所述优化渲染语义嵌入三维模型特征图的全局特征均值。

具体地，以所述渲染语义嵌入三维模型特征图展开后的希尔伯特空间内的局部分割空间为基准，对所述渲染语义嵌入三维模型特征图/>在高维特征空间内的特征流形进行曲面的局部积分，从而基于积分函数的局部积分处理，来修正所述渲染语义嵌入三维模型特征图/>的局部空间展开后的非平稳数据序列所表达的特征流形的相变不连续点，从而获得特征流形的更精细的结构和几何特征，提升所述渲染语义嵌入三维模型特征图在高维特征空间内的空间信息表达效果，从而提升所述渲染语义嵌入三维模型特征图通过基于AIGC的渲染生成器得到的渲染三维模型的质量。这样，能够根据用户输入的场景描述中的光照信息和环境信息来对三维模型进行实时渲染，提高了渲染的质量和效率，并且优化了渲染三维模型的真实感，通过这样的方式，能够在不同的光照和视角下，实时地渲染出清晰的图像，提升了实时渲染系统的视觉效果和用户体验。

继而，再将所述优化渲染语义嵌入三维模型特征图通过基于AIGC的渲染生成器以得到渲染三维模型。也就是说，利用渲染语义特征嵌入融合到所述三维模型的空间特征分布信息来进行渲染三维模型的生成，特别地，通过所述基于AIGC的渲染生成器处理，系统可以将所述优化渲染语义嵌入三维模型特征图转化为渲染三维模型。这样，能够根据用户输入的场景描述中的光照信息和环境信息来对三维模型进行实时渲染，提高了渲染的质量和效率，并且优化了渲染三维模型的真实感。

综上，基于本发明实施例的基于人工智能的实时渲染系统100被阐明，其在得到用户输入的场景描述和待渲染物体的三维模型后，在后端引入基于人工智能的语义理解算法和三维模型特征提取技术来进行场景描述中的光照信息和环境信息的语义理解以及对三维模型的特征分析，然后，再将渲染语义融入三维模型特征中，以此来进行三维模型的渲染。这样，能够根据用户输入的场景描述中的光照信息和环境信息来对三维模型进行实时渲染，提高了渲染的质量和效率，并且优化了渲染三维模型的真实感，提供了更好的视觉体验和用户交互。

如上所述，根据本发明实施例的基于人工智能的实时渲染系统100可以实现在各种终端设备中，例如用于基于人工智能的实时渲染的服务器等。在一个示例中，根据本发明实施例的基于人工智能的实时渲染系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于人工智能的实时渲染系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于人工智能的实时渲染系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于人工智能的实时渲染系统100与该终端设备也可以是分立的设备，并且该基于人工智能的实时渲染系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图2为本发明实施例中提供的一种基于人工智能的实时渲染方法的流程图。图3为本发明实施例中提供的一种基于人工智能的实时渲染方法的系统架构的示意图。如图2和图3所示，一种基于人工智能的实时渲染方法，包括：210，获取用户输入的场景描述；220，对所述场景描述进行语义分析，以生成待渲染物体的三维模型；230，根据所述场景描述对所述待渲染物体的三维模型进行渲染以得到渲染三维模型；240，将所述渲染三维模型输出为渲染三维模型图像，并进行图像后处理以得到渲染完成三维模型图像。

在所述基于人工智能的实时渲染方法中，根据所述场景描述对所述待渲染物体的三维模型进行渲染以得到渲染三维模型，包括：从所述场景描述中提取渲染信息，其中，所述渲染信息包括光照信息和环境信息；分别对所述光照信息和所述环境信息进行语义编码以得到光照语义特征向量和环境语义特征向量；分别以所述光照语义特征向量和所述环境语义特征向量在所述光照语义特征向量和所述环境语义特征向量的整体的语义重要性来进行语义特征重要性加权融合以得到渲染语义特征向量；通过基于深度神经网络模型的模型区域特征提取器对所述待渲染物体的三维模型进行特征提取以得到三维模型局部区域特征图；对所述渲染语义特征向量和所述三维模型局部区域特征图进行通道嵌入渲染融合编码以得到渲染语义嵌入三维模型特征；基于所述渲染语义嵌入三维模型特征，生成渲染三维模型。

在所述基于人工智能的实时渲染方法中，分别以所述光照语义特征向量和所述环境语义特征向量在所述光照语义特征向量和所述环境语义特征向量的整体的语义重要性来进行语义特征重要性加权融合以得到渲染语义特征向量，包括：分别计算所述光照语义特征向量和所述环境语义特征向量相对于所述光照语义特征向量和所述环境语义特征向量的整体的渲染信息语义重要性以得到第一语义权重值和第二语义权重值；以所述第一语义权重值和所述第二语义权重值作为权重分别对所述光照语义特征向量和所述环境语义特征向量进行加权，并将加权后的所述光照语义特征向量和加权后的所述环境语义特征向量进行拼接以得到所述渲染语义特征向量。

本领域技术人员可以理解，上述基于人工智能的实时渲染方法中的各个步骤的具体操作已经在上面参考图1的基于人工智能的实时渲染系统的描述中得到了详细介绍，并因此，将省略其重复描述。

图4为本发明实施例中提供的一种基于人工智能的实时渲染系统的应用场景图。如图4所示，在该应用场景中，首先，获取用户输入的场景描述（例如，如图4中所示意的C）；然后，将获取的用户输入的场景描述输入至部署有基于人工智能的实时渲染算法的服务器（例如，如图4中所示意的S）中，其中所述服务器能够基于人工智能的实时渲染算法对所述用户输入的场景描述进行处理，以进行图像后处理以得到渲染完成三维模型图像。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的实时渲染系统，其特征在于，包括：

场景描述输入模块，用于获取用户输入的场景描述；

三维模型生成模块，用于对所述场景描述进行语义分析，以生成待渲染物体的三维模型；

三维模型渲染模块，用于根据所述场景描述对所述待渲染物体的三维模型进行渲染以得到渲染三维模型；

渲染三维模型图像生成与后处理模块，用于将所述渲染三维模型输出为渲染三维模型图像，并进行图像后处理以得到渲染完成三维模型图像。

2.根据权利要求1所述的基于人工智能的实时渲染系统，其特征在于，所述三维模型渲染模块，包括：

渲染信息提取单元，用于从所述场景描述中提取渲染信息，其中，所述渲染信息包括光照信息和环境信息；

渲染信息语义编码单元，用于分别对所述光照信息和所述环境信息进行语义编码以得到光照语义特征向量和环境语义特征向量；

渲染语义重要性加权融合单元，用于分别以所述光照语义特征向量和所述环境语义特征向量在所述光照语义特征向量和所述环境语义特征向量的整体的语义重要性来进行语义特征重要性加权融合以得到渲染语义特征向量；

三维模型特征提取单元，用于通过基于深度神经网络模型的模型区域特征提取器对所述待渲染物体的三维模型进行特征提取以得到三维模型局部区域特征图；

渲染语义-三维模型特征嵌入融合单元，用于对所述渲染语义特征向量和所述三维模型局部区域特征图进行通道嵌入渲染融合编码以得到渲染语义嵌入三维模型特征；

渲染三维模型生成单元，用于基于所述渲染语义嵌入三维模型特征，生成渲染三维模型。

3.根据权利要求2所述的基于人工智能的实时渲染系统，其特征在于，所述渲染语义重要性加权融合单元，包括：

语义权重值计算子单元，用于分别计算所述光照语义特征向量和所述环境语义特征向量相对于所述光照语义特征向量和所述环境语义特征向量的整体的渲染信息语义重要性以得到第一语义权重值和第二语义权重值；

语义重要性加权子单元，用于以所述第一语义权重值和所述第二语义权重值作为权重分别对所述光照语义特征向量和所述环境语义特征向量进行加权，并将加权后的所述光照语义特征向量和加权后的所述环境语义特征向量进行拼接以得到所述渲染语义特征向量。

4.根据权利要求3所述的基于人工智能的实时渲染系统，其特征在于，所述深度神经网络模型为三维卷积神经网络模型。

5.根据权利要求4所述的基于人工智能的实时渲染系统，其特征在于，所述渲染语义-三维模型特征嵌入融合单元，用于：将所述三维模型局部区域特征图和所述渲染语义特征向量通过基于MetaNet的通道嵌入渲染融合模块以得到渲染语义嵌入三维模型特征图作为所述渲染语义嵌入三维模型特征。

6.根据权利要求5所述的基于人工智能的实时渲染系统，其特征在于，所述渲染语义-三维模型特征嵌入融合单元，包括：

第一卷积子单元，用于将所述三维模型局部区域特征图通过所述基于MetaNet的通道嵌入渲染融合模块的卷积神经网络以得到三维模型特征图；

第二卷积子单元，用于将所述渲染语义特征向量通过所述基于MetaNet的通道嵌入渲染融合模块的一维卷积层以得到渲染关联特征向量；以及

通道加权子单元，用于以所述渲染关联特征向量对所述三维模型特征图进行通道加权以得到所述渲染语义嵌入三维模型特征图。

7.根据权利要求6所述的基于人工智能的实时渲染系统，其特征在于，所述渲染三维模型生成单元，包括：

特征分布优化子单元，用于对所述渲染语义嵌入三维模型特征图进行特征分布优化以得到优化渲染语义嵌入三维模型特征图；

渲染生成子单元，用于将所述优化渲染语义嵌入三维模型特征图通过基于AIGC的渲染生成器以得到渲染三维模型。

8.一种基于人工智能的实时渲染方法，其特征在于，包括：

获取用户输入的场景描述；

对所述场景描述进行语义分析，以生成待渲染物体的三维模型；

根据所述场景描述对所述待渲染物体的三维模型进行渲染以得到渲染三维模型；

将所述渲染三维模型输出为渲染三维模型图像，并进行图像后处理以得到渲染完成三维模型图像。

9.根据权利要求8所述的基于人工智能的实时渲染方法，其特征在于，根据所述场景描述对所述待渲染物体的三维模型进行渲染以得到渲染三维模型，包括：

从所述场景描述中提取渲染信息，其中，所述渲染信息包括光照信息和环境信息；

分别对所述光照信息和所述环境信息进行语义编码以得到光照语义特征向量和环境语义特征向量；

分别以所述光照语义特征向量和所述环境语义特征向量在所述光照语义特征向量和所述环境语义特征向量的整体的语义重要性来进行语义特征重要性加权融合以得到渲染语义特征向量；

通过基于深度神经网络模型的模型区域特征提取器对所述待渲染物体的三维模型进行特征提取以得到三维模型局部区域特征图；

对所述渲染语义特征向量和所述三维模型局部区域特征图进行通道嵌入渲染融合编码以得到渲染语义嵌入三维模型特征；

基于所述渲染语义嵌入三维模型特征，生成渲染三维模型。

10.根据权利要求9所述的基于人工智能的实时渲染方法，其特征在于，分别以所述光照语义特征向量和所述环境语义特征向量在所述光照语义特征向量和所述环境语义特征向量的整体的语义重要性来进行语义特征重要性加权融合以得到渲染语义特征向量，包括：

分别计算所述光照语义特征向量和所述环境语义特征向量相对于所述光照语义特征向量和所述环境语义特征向量的整体的渲染信息语义重要性以得到第一语义权重值和第二语义权重值；

以所述第一语义权重值和所述第二语义权重值作为权重分别对所述光照语义特征向量和所述环境语义特征向量进行加权，并将加权后的所述光照语义特征向量和加权后的所述环境语义特征向量进行拼接以得到所述渲染语义特征向量。