CN116843812A

CN116843812A - 一种图像渲染方法、装置及电子设备

Info

Publication number: CN116843812A
Application number: CN202210307363.4A
Authority: CN
Inventors: 范佳琪; 武明飞; 潘嘉荔
Original assignee: Beijing Zitiao Network Technology Co Ltd
Current assignee: Beijing Zitiao Network Technology Co Ltd
Priority date: 2022-03-25
Filing date: 2022-03-25
Publication date: 2023-10-03

Abstract

本公开涉及一种图像渲染方法、装置及电子设备，尤其涉及图像处理术领域。包括：获取用户配置的目标渲染管线脚本，目标渲染管线脚本中包括第一渲染信息和渲染逻辑，第一渲染信息用于指示进行图像渲染使用的资源；根据第一渲染信息，从渲染资源中确定目标资源；基于目标资源和渲染逻辑，生成渲染数据；基于渲染数据，进行图像渲染。本公开实施例用于灵活控制渲染流程。

Description

一种图像渲染方法、装置及电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像渲染方法、装置及电子设备。

背景技术

渲染管线是渲染引擎的核心结构之一。渲染管线可以确定各个渲染节点的顺序，决定不同渲染阶段之间的数据是如何流向，同时要兼顾不同设备平台、特性需求的兼容性。传统的渲染管线中，用户会通过配置文件修改渲染管线的设置，从而达到自己想要的渲染效果，这种模式下对于管线的修改依赖于管线对外提供的配置能力，无法灵活控制渲染流程。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像渲染方法、装置及电子设备，可以通过基于脚本的渲染管线，实现渲染流程的灵活控制。

为了实现上述目的，本公开实施例提供的技术方案如下：

第一方面，提供一种图像渲染方法，包括：

获取用户配置的目标渲染管线脚本，所述目标渲染管线脚本中包括第一渲染信息和渲染逻辑，所述第一渲染信息用于指示进行图像渲染使用的资源；

根据所述第一渲染信息，从渲染资源中确定目标资源；

基于所述目标资源和所述渲染逻辑，生成渲染数据；

基于所述渲染数据，进行图像渲染。

作为本公开实施例一种可选的实施方式，所述渲染资源包括：多种场景模型和多种材质；

所述第一渲染信息包括：至少一个渲染对象，每个渲染对象的场景模型指示信息，以及每个渲染对象的材质指示信息。

作为本公开实施例一种可选的实施方式，所述目标渲染管线脚本中还包括第二渲染信息；

其中，所述第二渲染信息包括光照参数，和/或，纹理参数。

作为本公开实施例一种可选的实施方式，所述获取目标渲染管线脚本，包括：

在配置文件中存在第一渲染指示的情况下，从所述配置文件中获取与所述第一渲染指示对应的脚本路径，其中，所述第一渲染指示用于指示通过可编程渲染管线进行图像渲染；

根据所述脚本路径获取所述目标渲染管线脚本。

作为本公开实施例一种可选的实施方式，所述在配置文件中存在第一渲染指示的情况下，从所述配置文件中获取与所述第一渲染指示对应的脚本路径，包括：

在所述配置文件中存在所述第一渲染指示的情况下，检测是否已创建可编程渲染管线；

在已创建所述可编程渲染管线的情况下，从所述配置文件中获取与所述第一渲染指示对应的脚本路径；

或者，

在未创建所述可编程渲染管线的情况下，则创建所述可编程渲染管线，并从所述配置文件中获取与所述第一渲染指示对应的脚本路径；

其中，所述可编程渲染管线用于执行所述目标渲染管线脚本。

作为本公开实施例一种可选的实施方式，所述方法还包括：

在所述配置文件中不存在所述第一渲染指示的情况下，基于预设的渲染管线生成所述渲染数据。

作为本公开实施例一种可选的实施方式，所述基于预设的渲染管线，进行图像渲染，包括：

从所述配置文件中读取预设渲染信息和预设渲染逻辑；

基于所述预设渲染信息、预设渲染逻辑和所述渲染资源，生成所述渲染数据。

第二方面，提供一种图像渲染装置，包括：

获取模块，用于获取用户配置的目标渲染管线脚本，所述目标渲染管线脚本中包括第一渲染信息和渲染逻辑，所述第一渲染信息用于指示进行图像渲染使用的资源；

生成模块，用于根据所述第一渲染信息，从渲染资源中确定目标资源；基于所述目标资源和所述渲染逻辑，生成渲染数据；

渲染模块，用于基于所述渲染数据，进行图像渲染。

其中，所述第二渲染信息包括光照参数，和/或，纹理参数。

作为本公开实施例一种可选的实施方式，所述获取模块，具体用于：

根据所述脚本路径获取所述目标渲染管线脚本。

或者，

作为本公开实施例一种可选的实施方式，所述生成模块，具体用于：

作为本公开实施例一种可选的实施方式，所述渲染模块，具体用于：

从所述配置文件中读取预设渲染信息和预设渲染逻辑；

第三方面，提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面或其任意一种可选的实施方式所述的图像渲染方法。

第四方面，提供一种计算机可读存储介质，包括：所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面或其任意一种可选的实施方式所述的图像渲染方法。

第五方面，提供一种计算机程序产品，其特征在于，包括：当所述计算机程序产品在计算机上运行时，使得所述计算机实现如第一方面或其任意一种可选的实施方式所述的图像渲染方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：获取用户配置的目标渲染管线脚本，所述目标渲染管线脚本中包括第一渲染信息和渲染逻辑，所述第一渲染信息用于指示进行图像渲染使用的资源；根据所述第一渲染信息，从渲染资源中确定目标资源；基于所述目标资源和所述渲染逻辑，生成渲染数据；基于所述渲染数据，进行图像渲染。通过该方案，渲染管线的整个流程由用户配置的目标渲染管线脚本控制，由于脚本是一种可编程内容，因此可以随时进行修改，相比于传统的通过配置文件的修改来进行渲染管线的设置，可以更加灵活的控制渲染流程。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为相关技术中提供的一种图像渲染方法的流程示意图；

图2为本公开实施例提供的一种图像渲染方法的流程示意图一；

图3为本公开实施例提供的一种图像渲染方法的流程示意图二；

图4为本公开实施例提供的一种可编程渲染管线的基础架构示意图；

图5为本公开实施例提供的一种图像渲染装置的结构框图；

图6为本公开实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

在本公开实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本公开实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本公开实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

如图1所示，为相关技术中一种图像渲染方法的流程示意图一，传统的渲染管线的执行流程可以为：首先会读取配置文件，以获取用户配置，然后结合该配置文件中的渲染信息和预选设置的渲染资源(即渲染需要的场景模型、材料等)，确定待使用资源，之后再根据配置文件中预选设置好的渲染逻辑，去组织待使用资源，以生成渲染数据，最后根据渲染数据完成图像渲染。

如图2所示，为本公开实施例提供的一种图像渲染方法的流程示意图一；本公开实施例中，会读取预先设置的渲染资源，并通过运行用户配置的目标渲染管线脚本，获取目标渲染管线脚本中包括的第一渲染信息和渲染逻辑，第一渲染信息用于指示进行图像渲染使用的资源；并根据第一渲染信息，从渲染资源中确定目标资源；基于目标资源和渲染逻辑，生成渲染数据；基于渲染数据，进行图像渲染。由于脚本是一种可编程内容，相对于传统的渲染管线，可编程渲染管线会先读取渲染资源，然后把渲染资源作为上下文提供给用户的目标渲染管线脚本，用户通过编程脚本实现渲染流程，生成渲染数据，最终提交到设备完成渲染，可以达到灵活的控制渲染流程的目的。

渲染管线的主要功能是由给定的虚拟摄像机、三维物体、灯源、光照模型、纹理贴图或其他来产生或渲染一个二维图像。由此可见，渲染管线是实时渲染技术的底层工具。图像中物体的位置及形状是通过它们的几何描述、环境特征、以及该环境中虚拟摄像机的摆放位置来决定的。物体的外观受到了材质属性、灯源、贴图以及渲染模式的影响。渲染管线是将对象显示到屏幕上所需的一系列技术的总称。它可以包含:剔除、渲染对象、后期处理等一系列概念。其中，剔除是指对场景模型中大量的三角形面片进行剔除，对于巨量三角面片的模型的渲染，一个直观的方法是进行剔除。实际情况中，最后渲染到的三角面片的面数占场景模型总三角面片的面数的比例非常低。因此，渲染场景模型中的所有三角面片是没有必要的，如果能剔除掉对最后渲染无贡献的三角面片，则会大大提高渲染效率。目前常见的剔除有视锥体剔除、遮挡剔除、距离剔除等。

剔除、渲染对象、后期处理等概念还可以分别根据执行方式继续分解。示例性的，渲染对象可以分解为：(1)多通道渲染：每个光照每个对象一个通道；(2)单通道渲染：每个对象一个通道；(3)延迟渲染：渲染表面属性到一个几何缓冲区(G-Buffer)，执行屏幕空间光照。

本公开实施例中提供的图像渲染方法，可以通过图像渲染装置或者电子设备实现，其中，该图像渲染装置可以为该电子设备中用于实现该图像渲染方法的功能实体或者功能模块。

本公开实施例中，上述电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)、个人计算机(personalcomputer，PC)等，本公开实施例对此不作具体限定。

如图3所示，为本公开实施例提供的一种图像渲染方法的流程示意图二，该方法包括如下步骤301至304：

301、获取用户配置的目标渲染管线脚本。

其中，目标渲染管线脚本中包括第一渲染信息和渲染逻辑，第一渲染信息用于指示进行图像渲染使用的资源。

其中，上述第一渲染信息包括：至少一个渲染对象，每个渲染对象的场景模型指示信息，以及每个渲染对象的材质指示信息。

示例性的，场景模型可以是指针对一些场景建立的三维模型，例如，地形模型、建筑模型等。每个场景模型由大量三角形面片组成。一个模型如果要真实的还原现实中的物体，需要的三角形面片的数量往往非常大。

材质是指在面片上进行贴图渲染时对应的材料，例如，白墙、金属、玻璃、大理石等。

在一些实施例中，目标渲染管线脚本中还包括第二渲染信息。其中，第二渲染信息包括光照参数，和/或，纹理参数。也就是说，目标渲染管线脚本中可以包括：至少一个渲染对象，每个渲染对象的场景模型指示信息、每个渲染对象的材质指示信息以及渲染逻辑。

其中，渲染逻辑可以包括但不限于：渲染顺序、物体筛选规则、以及渲染渲染状态信息。渲染状态信息又可以包括：分辨率、深度信息、颜色叠加规则等。

上述目标渲染管线脚本为一种可编程内容，也就是说，用户配置的目标渲染管线脚本是指用户自定义编写的一种渲染管线脚本。

在一些实施例中，获取目标渲染管线脚本时会判断是否存在第一渲染指示，其中，第一渲染指示用于指示通过可编程渲染管线进行图像渲染。

(a)在配置文件中存在第一渲染指示的情况下，说明此时需要通过可编程渲染管线进行图像渲染，可以从配置文件中获取与第一渲染指示对应的脚本路径，并根据脚本路径获取目标渲染管线脚本。

其中，脚本路径用于指示目标渲染管线脚本的存储位置，可以根据该脚本路径读取到目标渲染管线脚本。

其中，在配置文件中存在第一渲染指示的情况下，从配置文件中获取与第一渲染指示对应的脚本路径时，需要先确保已经创建了可编程渲染管线(Scriptable RenderPipeline，SRP)，即在配置文件中存在第一渲染指示的情况下，检测是否已创建可编程渲染管线。

(a.1)在已创建可编程渲染管线的情况下，从配置文件中获取与第一渲染指示对应的脚本路径。

(a.2)在未创建可编程渲染管线的情况下，则创建可编程渲染管线，并从配置文件中获取与第一渲染指示对应的脚本路径。

其中，该可编程渲染管线用于执行目标渲染管线脚本，是一种用于执行脚本的软件结构。示例性的，如图4所示，为本公开实施例提供的一种可编程渲染管线的基础架构示意图，可编程渲染管线(SRP)可以包括以下模块：

渲染系统(RenderSystem)，渲染系统是引擎渲染流程的入口，在RenderSystem中会根据配置决定运行的渲染管线脚本，本公开实施例中可以为目标渲染管线脚本。

渲染管线配置(RenderPipelineSettings)，渲染管线配置是SRP的配置，可以配置是否开启SRP进行渲染。

脚本渲染内容(ScriptRenderContext)，脚本渲染内容是SRP的渲染上下文(Context)，Context中记录了渲染所需要的场景数据。Context同时向脚本提供可以调用的接口，所有的接口调用会被转为SRP指令(SRPCommand)并存储在上下文中。

过滤设置(FilteringSettings)、图形设置(DrawingSettings)、筛选结果(CullingResults)以及脚本化剔除参数(ScriptableCullingParameters)都是提供给脚本的数据结构，通过这些结构可以更加方便地控制渲染管线。

SRP提供了很大的灵活性，本公开实施例中SRP可以采用预先构建的一种SRP，也就是通用渲染管线(Universal Render Pipeline，URP)。URP由纯脚本实现，URP主要通过渲染节点(Render Pass)的排序与渲染进行实现。其中，渲染节点是脚本层的概念，每个渲染节点可以实现一个独立的渲染功能。

(b)在配置文件中不存在第一渲染指示的情况下，基于预设的渲染管线生成渲染数据。

其中，该预设的渲染管线是指传统的固定渲染管线，无法通过用户编程进行配置和更改。该方法中，用户会通过配置文件修改渲染管线的设置，从而达到自己想要的渲染效果，这种模式下对于管线的修改依赖于管线对外提供的配置能力。

在一些实施例中，基于预设的渲染管线进行图像渲染，可以包括：首先从配置文件中读取预设渲染信息和预设渲染逻辑，然后基于预设渲染信息、预设渲染逻辑和渲染资源，生成渲染数据。

其中，预设渲染信息用来指示场景模型、材料等，这样基于预设渲染信息可以从渲染资源中确定待使用的资源，并基于预设渲染逻辑和确定的待使用的资源，生成渲染数据。

302、根据第一渲染数据，从渲染资源中确定目标资源。

其中，渲染资源包括：多种场景模型和多种材质。渲染资源是指预先配置的渲染需要的资源。

第一渲染信息包括：至少一个渲染对象，每个渲染对象的场景模型指示信息，以及每个渲染对象的材质指示信息。

上述根据第一渲染数据，从渲染资源中确定目标资源是指，根据每个渲染对象的场景模型指示信息，从多种场景模型中确定对应的目标场景模型，以及根据每个渲染对象的材质指示信息，从多种材质中确定对应的目标材质，目标场景模型和目标材质即为目标资源。

其中，渲染对象可以是指待渲染的物体，例如，图像中的天空、树木、人物等。

示例性的，假设预先设置有A场景模型、B场景模型、C场景模型、D场景模型这四种场景模型，材质则包括材质1、材质2、材质3和材质4这四种材质，在获取的渲染信息中某个渲染对象的模型指示信息指示C场景模型，并且材质指示信息指示材质1，那么就可以确定该渲染对象对应的渲染资源为C场景模型和材质1，那么后续就基于C场景模型和材质1对该渲染对象进行渲染。

303、基于目标资源和渲染逻辑，生成渲染数据。

在一些实施例中，目标渲染管线脚本中还包括第二渲染信息，即光照参数，和/或，纹理参数，此时在生成渲染数据时，还可以基于光照参数，和/或，纹理参数，以及目标资源和渲染逻辑，生成渲染数据。

304、基于渲染数据，进行图像渲染。

本公开实施例中，可以获取用户配置的目标渲染管线脚本，目标渲染管线脚本中包括第一渲染信息和渲染逻辑，第一渲染信息用于指示进行图像渲染使用的资源；根据第一渲染信息，从渲染资源中确定目标资源；基于目标资源和渲染逻辑，生成渲染数据；基于渲染数据，进行图像渲染。通过该方案，渲染管线的整个流程由用户配置的目标渲染管线脚本控制，由于脚本是一种可编程内容，因此可以随时进行修改，相比于传统的通过配置文件的修改来进行渲染管线的设置，可以更加灵活的控制渲染流程。

如图5所示，为本公开实施例提供的一种图像渲染装置的结构框图，该装置包括：

获取模块501，用于获取用户配置的目标渲染管线脚本，所述目标渲染管线脚本中包括第一渲染信息和渲染逻辑，所述第一渲染信息用于指示进行图像渲染使用的资源；

生成模块502，用于根据所述第一渲染信息，从渲染资源中确定目标资源；基于所述目标资源和所述渲染逻辑，生成渲染数据；

渲染模块503，用于基于所述渲染数据，进行图像渲染。

其中，所述第二渲染信息包括光照参数，和/或，纹理参数。

作为本公开实施例一种可选的实施方式，所述获取模块501，具体用于：

根据所述脚本路径获取所述目标渲染管线脚本。

或者，

作为本公开实施例一种可选的实施方式，所述生成模块502，还用于：

作为本公开实施例一种可选的实施方式，所述渲染模块503，具体用于：

从所述配置文件中读取预设渲染信息和预设渲染逻辑；

如图6所示，为本公开实施例提供的一种电子设备的硬件结构示意图，该电子设备包括：处理器601、存储器602及存储在所述存储器602上并可在所述处理器601上运行的计算机程序，所述计算机程序被所述处理器601执行时实现上述方法实施例中的图像渲染方法的各个过程。且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例提供一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现上述方法实施例中图像渲染方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，该计算机可读存储介质可以为只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本领域技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims

1.一种图像渲染方法，其特征在于，包括：

根据所述第一渲染信息，从渲染资源中确定目标资源；

基于所述目标资源和所述渲染逻辑，生成渲染数据；

基于所述渲染数据，进行图像渲染。

2.根据权利要求1所述的方法，其特征在于，所述渲染资源包括：多种场景模型和多种材质；

3.根据权利要求2所述的方法，其特征在于，所述目标渲染管线脚本中还包括第二渲染信息；

其中，所述第二渲染信息包括光照参数，和/或，纹理参数。

4.根据权利要求1所述的方法，其特征在于，所述获取目标渲染管线脚本，包括：

根据所述脚本路径获取所述目标渲染管线脚本。

5.根据权利要求4所述的方法，其特征在于，所述在配置文件中存在第一渲染指示的情况下，从所述配置文件中获取与所述第一渲染指示对应的脚本路径，包括：

或者，

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述基于预设的渲染管线，进行图像渲染，包括：

从所述配置文件中读取预设渲染信息和预设渲染逻辑；

8.一种图像渲染装置，其特征在于，包括：

渲染模块，用于基于所述渲染数据，进行图像渲染。

9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像渲染方法。

10.一种计算机可读存储介质，其特征在于，包括：所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像渲染方法。