CN115082609A - 图像渲染方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像渲染方法、装置、存储介质及电子设备，其中，该方法包括：确定图像中待渲染场景的粒子群所处的三维空间；将粒子群所处的三维空间划分成多个粒子空间，每个粒子空间对应一种形状的粒子体素；根据各种形状的粒子体素对应的着色速率对粒子空间中的粒子进行渲染。根据本申请实施例的技术方案，能够减少对粒子群中的粒子进行渲染时生成的渲染命令，降低图形处理器的渲染开销，从而能够高效地对粒子系统中的粒子进行渲染。

Description

图像渲染方法、装置、存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像渲染方法、装置、存储介质及电子设备。

背景技术

随着计算机视觉技术的发展，电子设备能够处理的图像场景也越来越多，如何对复杂场景例如云、雾、烟等场景进行渲染成为了关注的焦点。

在一种技术方案中，以体积云为例，采用网格模型对体积云进行渲染，在渲染的过程中，需要考虑光打到每个粒子之后的光照效果。因此，这种技术方案需要遍历体积云的粒子群中的每个粒子来计算粒子的光照效果，渲染效率较低。

因此，如何高效地对复杂场景的粒子群中的粒子进行渲染成为了亟待解决的技术难题。

发明内容

本申请实施例提供了一种图像渲染方法、装置、存储介质及电子设备，能够高效地对复杂场景的粒子群中的粒子进行渲染，降低图形处理器的渲染开销。所述技术方案如下：

第一方面，本申请实施例提供了一种图像渲染方法，包括：

确定图像中待渲染场景的粒子群所处的三维空间；

将所述粒子群所处的三维空间划分成多个粒子空间，每个所述粒子空间对应一种形状的粒子体素；

根据各种形状的所述粒子体素对应的着色速率对所述粒子空间中的粒子进行渲染。

第二方面，本申请实施例提供了一种图像渲染装置，所述装置包括：

空间确定模块，用于确定图像中待渲染场景的粒子群所处的三维空间；

空间划分模块，用于将所述粒子群所处的三维空间划分成多个粒子空间，每个所述粒子空间对应一种形状的粒子体素；

着色渲染模块，用于根据各种形状的所述粒子体素对应的着色速率对所述粒子空间中的粒子进行渲染。

第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法的步骤。

第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法的步骤。

本申请一些实施例提供的技术方案带来的有益效果至少包括：

一方面，将待渲染场景的粒子群所处的三维空间划分成多个粒子空间，每个粒子空间对应一种形状的粒子体素，能够降低粒子空间内待渲染的粒子数量；另一方面，根据粒子体素对应的着色速率对粒子空间中的粒子进行渲染，能够减少对粒子群中的粒子进行渲染时生成的DrawCall(渲染命令)，降低图形处理器的渲染开销，从而能够高效地对粒子系统中的粒子进行渲染。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的一种电子设备的系统架构的示意图；

图2示出了根据本申请的一些实施例提供的图像渲染方法的流程示意图；

图3示出了根据本申请实施例提供的多种形状的粒子体素的示意图；

图4示出了根据本申请的另一些实施例提供的图像渲染方法的流程示意图；

图5示出了根据本申请的又一些实施例提供的粒子体素划分的示意图；

图6示出了根据本申请实施例提供的确定三维包围盒的示意图；

图7示出了根据本申请实施例提供的多种形状的粒子体素的示意图；

图8示出了根据本申请实施例提供的粒子空间的索引标识与粒子体素的对应关系的示意图；

图9示出了根据本申请的一些实施例提供的对包围盒中的粒子进行渲染的示意图；

图10示出了根据本申请的一些实施例提供的相机坐标系下视线对应的像素点和三维点的示意图；

图11示出了根据本申请的一些实施例提供的在光线可以穿透的粒子系统中划分粒子体素的示意图；

图12示出了根据本申请的一些实施例提供的在光线可以穿透的粒子系统中确定粒子的着色的示意图；

图13示出了本申请实施例提供的一种图像渲染装置的结构示意图；

图14示出了本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先，对本申请实施例涉及的名词进行解释和说明。

渲染场景：指的是由多个粒子或粒子群组成的三维物体的场景，例如云、雾、烟、火等场景。

粒子空间：指的是粒子系统中包含粒子的空间区域，每个粒子空间可以与一种形状的粒子体素对应。

粒子体素：指的是包含粒子的体素Voxel，粒子体素的形状可以表示三维空间中规则网格上的形状，例如，粒子体素的形状可以为1x1x1、1x2x2、2x2x2、2x2x4、2x4x4等形状。

着色速率(shading rate)：可以表示粒子体素的形状大小，或者表示粒子体素包含的粒子数量，即每次渲染的粒子数量，每种形状的粒子体素对应的着色速率不同。

Drawcall：指的是应用程序下发的渲染命令，Drawcall包含待渲染对象的数据，例如包含待渲染对象的网格数据和渲染方法的信息。

包围盒：包围盒指的是用体积稍大且特性简单的几何体(称为包围盒)来近似地代替复杂的几何对象，包围盒中包含组成该几何对象。

粒子体素包围盒：指的是包含组成几何对象的粒子体素的包围盒。

目前，VRS(Variable Rates Shading，可变速率着色)可以使单个像素的着色渲染应用到多个像素上，让应用程序可以根据图像画面上的不同区域来应用不同的着色率。也就是说，可以根据图像中不同区域的重要性来决定不同区域画面的精细度，减少显卡的渲染负荷。

然而，目前的VRS技术，是在平面空间中，通过不同的着色速率shading rate来改善平面空间的渲染效果，没有对粒子在3D(Three Dimension，三维)空间的渲染方案。

基于上内容，本申请实施例提供了一种图像渲染方法以及图像渲染装置，将待渲染场景的粒子群在3D空间内，切分为大小不同的粒子空间即volumn，不同的粒子空间对应各自的渲染方法或着色速率，一方面，由于对粒子群在3D空间内进行了划分处理，从而能够通过下采样处理来降低粒子空间volumn内待渲染的粒子数量，减少渲染命令(DrawCall)；另一方面，可以通过超分辨率重建来对粒子空间进行上采样处理，增加粒子空间volumn的待渲染的粒子数量，提升渲染质量。

进一步地，本申请实施例中的图像渲染方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的图像渲染装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的图像渲染装置可以为终端设备，包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中终端设备可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、5G网络或未来演进网络中的终端设备等。

下面，将结合附图对本申请实施例的图像渲染方法的技术方案进行详细的说明。

图1示出了本申请实施例提供的一种电子设备的系统架构的示意图。

参照图1所示，该电子设备可以包括应用层110，框架层120，系统库130，以及硬件层140等。其中，应用层110也可以称为应用程序层，或者应用(application，APP)层。在一些实现中，应用程序层可以包括一系列应用程序包。应用程序包可以包括相机，图库，日历，通话，地图，导航，蓝牙，音乐，视频，短信息等应用程序。应用程序包还可以包括需要通过渲染图像向用户展示图片或者视频的应用程序。比如，该应用层110中包括的应用程序可以为游戏类应用程序，例如射击类游戏程序或MOBA(Multiplayer Online Battle Arena，多人在线战术竞技游戏)等。

框架层120也可以称为应用程序框架层。该框架层120可以为应用层110的应用程序提供应用编程接口(application programming interface，API)和编程框架。框架层120包括一些预先定义的函数。

在本申请实施例中，在框架层120中可以设置一个或多个功能模块，用于实现本申请实施例提供的图像渲染方案。系统库130可以包括多个功能模块。例如：表面管理器(surface manager)，媒体框架(Media Framework)，标准C库(Standard C library，libc)，嵌入式系统的开放图形库(OpenGL for Embedded Systems，OpenGL ES)、SQLite、Webkit等。

其中，表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体框架支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：动态图像专家组4(MovingPicturesExperts Group，MPEG4)，H.264，动态影像专家压缩标准音频层面3(MovingPictureExperts Group Audio Layer3，MP3)，高级音频编码(Advanced Audio Coding，AAC)，自适应多码解码(Adaptive Multi Rate，AMR)，联合图像专家组(JointPhotographic ExpertsGroup，JPEG)，便携式网络图形(Portable Network Graphics，PNG)等。OpenGLES提供应用程序中2D图形和3D图形的绘制和操作。SQLite为电子设备的应用程序提供轻量级关系型数据库。

在一些实现中，系统库130中的OpenGL ES能够提供可变速率着色功能。电子设备可以在需要针对某一个渲染命令(Drawcall)执行可变速率着色时，调用OpenGL ES中的可变速率着色API，与其他指令一同实现对当前Drawcall的可变速率着色。比如，电子设备可以使用着色速率(如1x1x1、1x2x2、2x2x2、2x2x4、2x4x4等)对当前Drawcall进行着色，由此降低对当前Drawcall进行着色产生的开销。

在如图1的示例中，电子设备中还可以包括硬件层140。该硬件层140中可以包括处理器如CPU(Central Processing Unit，中央处理单元)、GPU(Graphics Processing Unit，图形处理单元)等，以及具有存储功能的部件。在一些实现中，CPU可以用于控制框架层120中的各个模块实现其各自的功能，GPU可以用于根据框架层120中各个模块处理后的指令所调用的图形库(如OpenGL ES)中的API执行相应的渲染处理。

为了能够对本申请实施例提供的软件架构中各个层的功能进行更加清楚的说明，以下以图像渲染为例，对具有如图1所示系统架构的各个组件的功能实现进行举例说明。

示例性的，应用层110中的应用程序在需要进行图像渲染时，可以下发渲染命令。在以下说明中，应用程序下发的一个渲染命令也可以称为一个Drawcall。在不同示例中，该渲染命令可以包括不同的内容。比如，在一些实施例中，以应用程序需要渲染一帧图像中的图形为例。在下发的渲染命令中可以包括该需要被渲染的图形的粒子群的粒子数据。在一些实现中，该粒子数据可以用于指示待渲染的图形的粒子的坐标。该坐标可以是基于局部空间的坐标。在渲染命令中，还可以包括一个或多个绘制元素，例如粒子体素或粒子空间。框架层120可以在接收到该渲染命令之后，将渲染命令转换为渲染指令，在渲染指令中可以携带上述粒子数据以及一个或多个绘制元素等。在一些实现中，框架层120还可以根据应用程序的指示，从系统库130的图形库中获取当前Drawcall所需的API，以便使用该API对应的功能指示其他模块(如GPU)进行渲染操作。

示例性的，电子设备可以在渲染之前，确定可变速率着色过程中所要使用的参数，例如粒子体素的着色速率。电子设备还可以通过调用可变速率着色API，结合前述参数，发送可变着色指令。实现对后续粒子空间的可变速率着色。以硬件层140中的GPU执行渲染为例，GPU可以获取可变着色指令，并响应于该可变着色指令，使用对应的参数指示的着色速率执行对粒子空间中的粒子的渲染。

本申请实施例提供的渲染方法也可以应用于具有如图1所示的系统架构的电子设备中。以下结合如图1所示的软件组成，对本申请实施例提供的方案进行说明。

图2示出了根据本申请的一些实施例提供的图像渲染方法的流程示意图。该图像渲染方法的执行主体可以是具有计算处理功能的计算设备，例如上述电子设备。该图像渲染方法包括步骤S210至步骤S230，下面，结合附图对示例实施例中的图像渲染方法进行详细的说明。

参照图2所示，在步骤S210中，确定图像中待渲染场景的粒子群所处的三维空间。

在示例实施例中，图像中待渲染场景可以包括体积云、烟雾、火焰或爆炸等场景。待渲染场景的粒子群包括粒子系统中构成待渲染场景的多个粒子，待渲染场景的粒子群中的粒子可以通过随机函数来生成。待渲染场景的粒子群所处的三维空间可以为立方体空间或其他适当形状的三维空间。

举例而言，基于粒子系统确定待渲染场景的粒子群所处的三维空间，例如，基于粒子系统建立包含待渲染场景的粒子群的三维包围盒，三维包围盒可以为方向包围盒(Oriented Bounding Box，OBB)，包围盒指的是用体积稍大且特性简单的几何体(称为包围盒)来近似地代替复杂的几何对象，包围盒中包含组成该几何对象的粒子群。

需要说明的是，虽然以三维包围盒为OBB包围盒为例进行说明，但是本领域技术人员应该理解的是，三维包围盒也可以为其他适当形状的包围盒例如轴对齐包围盒(Axis-Aligned Bounding Box，AABB)或包围球等，这同样在本申请实施例的范围内。

在步骤S220中，将粒子群所处的三维空间划分成多个粒子空间，每个粒子空间对应一种形状的粒子体素。

在示例实施例中，预先设置有多种形状的粒子体素，例如1x1x1、1x2x2、2x2x2、2x2x4、2x4x4等形状的粒子体素，粒子空间指的是包含粒子的空间区域，每个粒子空间对应一种粒子体素。例如，参照图3所示，粒子体素包括1x1x1、1x1x2、1x2x1、1x2x2等4种形状的粒子体素，每个粒子空间对应一种形状的粒子体素。

进一步地，根据预定划分单元，将粒子群所处的三维空间划分成多个体素单元，根据粒子群中各个粒子的属性信息将多个体素单元划分或聚合成多个粒子空间，预定划分单元可以根据当前空间相对于相机的可分辨单元大小来确定，例如，预定划分单元可以为当前空间相对于相机的最小可分辨单元。粒子的属性信息可以包括：粒子相对于视点的位置、粒子的生命周期、粒子透明度中的一种或多种。

需要说明的是，在本申请的一些实施例中，粒子的属性信息还可以包括其他适当的属性信息例如粒子的颜色或粒子的速度等，这同样在本申请实施例的范围内。

举例而言，设粒子群所处的三维空间为三维包围盒，粒子空间为粒子体素包围盒，根据预定划分单元例如立方体体素将粒子群所处的三维包围盒划分成多个体素单元；根据粒子群中各个粒子的属性信息，结合粒子体素的形状将体素单元聚合或分割成多个粒子体素包围盒。

需要说明的是，虽然以预定划分单元为立方体体素为例进行了说明，但是本领域技术人员应该理解的是，预定划分单元还可以为其他适当的划分单元，例如长方体体素或球体体素等，这同样在本申请实施例的范围内。

在步骤S230中，根据各种形状的粒子体素对应的着色速率对粒子空间中的粒子进行渲染。

在示例实施例中，粒子体素对应的着色速率可以表示粒子体素的形状大小，或者表示该粒子体素包含的粒子数量，即每次渲染的粒子数量，每种形状的粒子体素对应的着色速率不同，例如，参照图3所示，粒子体素包括1x1x1、1x1x2、1x2x1、1x2x2等4种形状的粒子体素，粒子体素对应的粒子数量分别为1、2、2、4。进一步地，根据粒子空间对应的粒子体素的着色速率，对粒子空间中的粒子进行渲染。

举例而言，设粒子空间1、粒子空间2及粒子空间3对应的粒子体素的着色速率分别为1x1x1、1x1x2、1x2x2，即每次渲染的粒子数量为1、2、4，从粒子空间中选取一个采样点例如粒子空间的中心点，根据采样点的渲染方式，对粒子空间中的粒子进行渲染。

根据图2的示例实施例中的技术方案，一方面，将待渲染场景的粒子群所处的三维空间划分成多个粒子空间，每个粒子空间对应一种形状的粒子体素，能够通过下采样来降低粒子空间内待渲染的粒子数量；另一方面，根据粒子体素对应的着色速率对粒子空间中的粒子进行渲染，能够减少对粒子群中的粒子进行渲染时生成的DrawCall(渲染命令)，降低图形处理器的渲染开销，从而能够高效地对粒子系统中的粒子进行渲染。

图4示出了根据本申请实施例的另一种图像渲染方法的流程示意图。

参照图4所示，在步骤S410中，生成待渲染场景的粒子群。

在示例实施例中，待渲染场景可以包括大气、云朵、雾、火焰或爆炸等场景。待渲染场景的粒子群中的粒子可以通过随机函数由GPU模拟生成。

举例而言，通过随机函数定义单位时间内进入粒子系统的新粒子的数量，即通过该随机函数生成单位时间内粒子系统中的某一图像帧的新粒子。参照图5所示，通过GPU模拟生成图像中待渲染场景的粒子群505。

在步骤S420中，确定待渲染场景的粒子群所处的三维包围盒。

在示例实施例中，基于粒子系统建立待渲染场景的粒子群所处的三维包围盒，三维包围盒的体积由待渲染场景的粒子群在模型空间里的位置决定。

参照图5所示，E为相机或视点，三维包围盒510垂直于相机的视线方向，由相机的位置，计算三维包围盒510的近截面和远截面。

进一步地，参照图6所示，根据相机E的位置，计算出包围盒的近截面的四个顶点坐标以及包围盒的远截面的四个顶点坐标。

在步骤S430中，将粒子群所处的三维包围盒划分成多个体素单元。

在示例实施例中，根据当前空间相对于相机的最小可分辨单元大小，定义预定划分单位，以预定划分单元将粒子群的三维包围盒切分成多个体素单元。参照图5所示，设预定划分单元为立方体体素单元，将粒子群的三维包围盒510中的粒子划分成多个体素单元515。

在步骤S440中，基于各个粒子的属性信息，对体素单元进行区域分割处理，生成粒子体素包围盒。

在示例实施例中，基于粒子的属性信息，例如粒子相对于视点的位置，粒子的生命周期，粒子的透明度等，对体素单元中的粒子进行区域分割或聚合处理，生成粒子体素包围盒，每个粒子体素包围盒对应一种形状的粒子体素，不同形状的粒子体素对应的着色速率不同。

举例而言，通过点云分割模型将体素单元分割或聚合为一些不同大小的粒子体素包围盒，每个粒子体素包围盒对应一种形状的粒子体素。

举例而言，参照图5所示，通过点云分割模型520将体素单元分割为多个粒子体素包围盒525，例如1x1x1、1x2x2、2x2x2、2x2x4、2x4x4等大小的粒子体素包围盒525。

在示例实施例中，点云分割模型520可以为Mask-RCNN模型，但是，本领域技术人员应该理解的是，点云分割模型还可以为其他适当的区域分割模型例如Faster RCNN模型等，本申请实施例对此不进行特殊限定。

在步骤S450中，根据各种形状的粒子体素对应的着色速率对粒子体素包围盒中的粒子进行渲染。

在示例实施例中，根据粒子体素包围盒对应的粒子体素的着色速率，对粒子体素包围盒中的粒子进行渲染。

举例而言，对粒子体素包围盒中的粒子进行下采样，得到采样点例如粒子体素点的中心点，基于采样点的渲染方式，根据粒子体素包围盒对应的粒子体素的着色速率，对粒子体素包围盒中的粒子进行渲染。参照图9所示，基于粒子体素的中心点的渲染方式，根据粒子体素包围盒对应的粒子体素的着色速率，对粒子体素包围盒中的粒子进行渲染。

根据图4的示例实施例中的技术方案，一方面，将粒子群所处的三维包围盒划分成多个体素单元，基于粒子的属性信息，对体素单元聚合成粒子体素包围盒，通过建立粒子体素包围盒，能够通过降低包围盒中的粒子数量，降低DrawCall，优化粒子系统的渲染性能；另一方面，对于需要高质量显示的细节区域，能够通过插值产生更多粒子，提高渲染质量，实现粒子系统的渲染优化。

此外，在示例实施例中，定义不同形状的粒子体素shading volumn，如图7所示，包括1x1x1、1x2x1、1x1x2、1x2x2、2x2x2、1x1x4、2x1x4、1x2x4、2x4x2、2x2x4、2x4x4等各种形状的粒子体素。其中，原始粒子点为粒子体素中包含的原始粒子，实际绘制的采样点为粒子体素所处空间的采样点，一般采样点为粒子体素所处空间的中心点。

进一步地，每个粒子空间对应一种形状的粒子体素，粒子体素的着色速率(shading rate)和粒子体素的形状具有对应关系，在生成粒子体素包围盒时，生成粒子空间的索引标识与粒子体素的对应关系表。在示例实施例中，确定各个粒子空间对应的粒子体素的着色速率，包括：确定各个粒子空间的索引标识；根据索引标识与粒子体素的着色速率的对应关系，确定各个粒子空间对应的粒子体素的着色速率。

图8示出了根据本申请实施例提供的粒子空间的索引标识与粒子体素的对应关系的示意图。参照图8所示，左侧为粒子群所处的三维空间，中间为粒子群对应的粒子空间，粒子空间的索引标识为0时，对应的粒子体素形状为1x1x1；粒子空间的索引标识为2时，对应的粒子体素形状为1x2x2；粒子空间的索引标识为6时，对应的粒子体素形状为4x4x2。也就是说，粒子空间的索引标识为0时，对应的粒子体素的着色速率为1x1x1；粒子空间的索引标识为2时，对应的粒子体素的着色速率为1x2x2；粒子空间的索引标识为6时，对应的粒子体素的着色速率为4x4x2。

通过建立粒子空间的索引标识与粒子体素的对应关系，能够高效的确定每个粒子空间的着色速率，从而能够进一步降低图形处理器的渲染开销，提高对粒子系统中的粒子进行渲染的渲染效率。

进一步地，可以采用机器学习模型例如Mask-RCNN模型的训练方式对点云分割模型进行训练。举例而言，确定多种样本场景的粒子群的三维包围盒；将各种样本场景的粒子群的三维包围盒划分成多个所述粒子体素包围盒；根据各种样本场景的粒子群对应的粒子体素包围盒，生成各种样本场景下的样本数据；根据样本数据，对点云分割模型进行训练。例如，生成大气，云朵，雾等场景下的样本数据即标注数据GroundTruth，通样本数据对点云分割模型进行训练。

参照图10所示，采用光线追踪的方式，针对样本场景的每个像素点例如点p(x，y)，沿相机指向该像素点的方向发射一条光线；将光线打到样本场景的粒子群中的第一粒子例如点P(Xw，Yw，Zx)作为起点样本粒子；将所述起始点粒子作为当前样本点粒子，以预定步长更新当前样本点粒子，直到达到粒子群的边界为止；基于当前样本点粒子的深度，确定当前样本点粒子所在的投影平面；基于投影平面以及粒子的属性信息，结合粒子体素确定包围当前样本点粒子及当前样本点粒子的邻居粒子的粒子体素包围盒。例如，将发射光线的预定角度范围例如1度或2度角度范围内的粒子，包裹到粒子体素包围盒中。进一步地，根据样本场景下生成的粒子体素包围盒，生成样本场景对应的样本数据。

在图10中，包括4个坐标系，其中，Ow-XwYwZw为世界坐标系，描述相机位置，单位为m；Oc-XcYcZc为相机坐标系，光心为原点，单位为m；O-xy为图像坐标系，光心为图像中点，单位为mm；uv为像素坐标系，原点在图像左上角，单位为pixel。点P(Xw，Yw，Zx)为世界坐标系下的坐标点，即为待渲染场景中的点，点p(x，y)为图像坐标系下的坐标点，即为点P在图像中的成像点，在图像坐标系下的坐标为(x，y)，在像素坐标系下的坐标为(u，v)，f为相机焦距。

通过机器学习模型将粒子群所处的三维空间划分成多个粒子体素包围盒，能够准确高效地将各种场景下的粒子群划分成粒子体素形状的包围盒，从而能够高效地对包围盒中的粒子进行渲染。

进一步地，在3D场景重建的场景下，确定待渲染场景的各个粒子群的类型；根据粒子群的类型，将粒子群所处的三维空间划分成多个粒子空间。在示例实施例中，可以通过本申请实施例的点云分割模型对图像中的待渲染场景进行物体检测分割，确定各个物体的粒子群的类型，根据粒子群的类型对粒子群所处的三维空间进行划分。

举例而言，对于需要高质量渲染的物体类型，例如桌子、人物、门等物体，采用较小形状的粒子体素例如1x1x1对粒子群所处的三维空间进行划分；而对于其他不需要高质量渲染的物体的点云，则采用较大形状的粒子体素例如2x4x4对粒子群所处的三维空间进行划分。此外，对于需要高质量渲染的物体类型，还可以对包围盒内的粒子进行上采样或超分辨率重建粒子；对于其他不需要高质量渲染的物体类型，可以进行下采样处理。

根据上述实施例中的技术方案，基于根据粒子群的类型对粒子群所处的三维空间进行划分，能够根据待渲染物体的类型采用不同的着色速率进行渲染，从而能够根据不同场景的各个物体的显示需求进行渲染，一方面，对粒子进行上采样，能够丰富高质量渲染物体的细节，提高渲染质量；另一方面，对粒子进行下采样，能够降低Drawcall，优化GPU的性能。

此外，在示例实施例中，在体积云，体积雾这种光线可以穿透的粒子系统中，需要考虑到粒子的相互混合，例如需要考虑粒子的透明度，对于透明度较高的粒子，会发生光重叠。举例而言，若待渲染场景的粒子群为光线可穿透的粒子群，则确定粒子群中的各个粒子沿光线的距离；根据粒子群中各个粒子沿光线的距离以及粒子的属性信息，将粒子群所处的三维空间划分成多个粒子空间。光线的方向为相机发出的指向粒子群的粒子的光线的方向，粒子沿光线的距离表示粒子位置与相机位置之间的距离，或者为粒子位置与视点位置之间的距离。

如图11所示，较小圆圈中是离视线或光线比较近的粒子，需要更高质量的渲染，可以不进行下采样，所以采用1x1x1大小的粒子体素来划分；较大圆圈中的两个粒子，离视线比较远，进行下采样，采用1x2x1大小的粒子体素表示。

根据上述实施例中的技术方案，在光线可以穿透的粒子系统中，通过在视线触碰的粒子群里，根据沿光线方向的粒子距视点或相机位置的距离，动态划分为不同的粒子体素shading volumn，减少需要混合的粒子的数量，优化渲染性能。

进一步地，确定粒子群中沿光线的各个粒子的距离以及透明度；基于距离以及透明度，对各个粒子的颜色进行加权运算，确定沿光线的粒子的着色。参照图12所示，确定粒子群中沿预定光线的粒子的距离以及透明度，将粒子的距离以及透明度作为权重，对沿光线的粒子的颜色进行加权运算，确定沿光线的粒子的着色。

根据上述实施例中的技术方案，在光线可以穿透的粒子系统中，通过将粒子沿光线的距离以及透明度作为权重，对沿光线的粒子的颜色进行加权运算，能够使得粒子的着色更接近于现实场景，使得着色结果更自然。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参见图13，其示出了本申请一个示例性实施例提供的图像渲染装置的结构示意图。该图像渲染装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1300包括空间确定模块1310、空间划分模块1320以及着色渲染模块1330。

空间确定模块，用于确定图像中待渲染场景的粒子群所处的三维空间；

空间划分模块，用于将所述粒子群所处的三维空间划分成多个粒子空间，每个所述粒子空间对应一种形状的粒子体素；

着色渲染模块，用于根据各种形状的粒子体素对应的着色速率对所述粒子空间中的粒子进行渲染。

在一些示例实施例中，基于上述方案，所述空间划分模块包括：

属性确定单元，用于确定所述粒子群中各个所述粒子的属性信息；

区域分割单元，用于根据所述粒子的属性信息，对所述粒子群所处的所述三维空间进行区域分割处理，生成多个所述粒子空间。

在一些示例实施例中，基于上述方案，所述粒子群所处的三维空间为三维包围盒，所述粒子空间为粒子体素包围盒，所述区域分割单元包括：

单元划分模块，用于根据预定划分单元，将所述粒子群所处的三维包围盒划分成多个体素单元；

聚合处理模块，用于根据所述粒子群中各个粒子的属性信息，对所述多个体素单元进行聚合处理，生成与所述粒子体素对应的粒子体素包围盒。

在一些示例实施例中，基于上述方案，所述聚合处理模块被配置为：

获取所述粒子群中各个粒子的属性信息；

基于各个粒子的属性信息，通过点云分割模型对所述多个体素单元进行聚合处理。

在一些示例实施例中，基于上述方案，所述装置还包括：样本训练模块，所述样本训练模块被配置为：

确定多种样本场景的粒子群的三维包围盒；

将各种样本场景的粒子群的三维包围盒划分成多个所述粒子体素包围盒；

根据各种样本场景的粒子群对应的所述粒子体素包围盒，生成各种样本场景下的样本数据；

根据所述样本数据，对所述点云分割模型进行训练。

在一些示例实施例中，基于上述方案，所述样本训练模块还被配置为：

采用光线追踪的方式，从样本场景的每个像素点沿相机的方向发射一条光线；

将所述光线打到所述样本场景的粒子群中的第一粒子作为第一样本点粒子，以预定步长确定第二样本点粒子；

基于所述样本点粒子的深度，确定所述样本点粒子所在的投影平面；

基于所述投影平面以及粒子的属性信息，结合所述粒子体素确定包围所述样本点粒子及所述样本点粒子的邻居粒子的粒子体素包围盒。

在一些示例实施例中，基于上述方案，所述属性信息包括粒子相对于视点的位置、粒子的生命周期以及粒子透明度中的一种或多种。

在一些示例实施例中，基于上述方案，所述着色渲染模块1330包括：

采样单元，用于对各个所述粒子空间中的粒子进行采样，得到采样点；

着色速率确定单元，用于确定各个粒子空间对应的粒子体素的着色速率；

变速渲染单元，用于基于所述采样点的渲染方式，根据各个粒子空间对应的着色速率对各个所述粒子空间中的粒子进行渲染。

在一些示例实施例中，基于上述方案，所述着色速率确定单元被配置为：

确定各个粒子空间的索引标识；

根据所述索引标识与粒子体素的着色速率的对应关系，确定各个粒子空间对应的粒子体素的着色速率。

在一些示例实施例中，基于上述方案，所述装置还包括：

插值处理模块，用于在所述根据各种形状的粒子体素对应的着色速率对所述粒子空间中的粒子进行渲染之前，对所述粒子空间中的粒子进行插值处理，生成所述粒子空间的新增粒子。

在一些示例实施例中，基于上述方案，所述待渲染场景为三维场景重建，所述装置还包括：

类型确定模块，用于确定所述待渲染场景的各个粒子群的类型；

所述空间划分模块1320被配置为：

根据所述粒子群的类型，将所述粒子群所处的三维空间划分成多个粒子空间。

在一些示例实施例中，基于上述方案，所述空间划分模块1320还被配置为：

若所述待渲染场景的粒子群为光线可穿透的粒子群，则确定所述粒子群中的各个粒子沿光线的距离；

根据所述粒子群中各个粒子沿光线的距离以及粒子的属性信息，将所述粒子群所处的三维空间划分成多个粒子空间。

在一些示例实施例中，基于上述方案，所述装置还包括：

权重确定模块，用于确定所述粒子群中沿光线的各个粒子的距离以及透明度；

着色确定模块，用于基于所述距离以及透明度，对各个粒子的颜色进行加权运算，确定所述粒子的着色。

需要说明的是，上述实施例提供的图像渲染装置在执行图像渲染方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像渲染装置与图像渲染方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述实施例的所述图像渲染方法，具体执行过程可以参见上述实施例的具体说明，在此不进行赘述。

本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述实施例的所述图像渲染方法，具体执行过程可以参见上述实施例的具体说明，在此不进行赘述。

请参见图14，为本申请实施例提供了一种电子设备的结构示意图。如图14所示，所述电子设备1400可以包括：至少一个处理器1401，至少一个网络接口1404，输入输出接口1403，存储器1405，至少一个通信总线1402。

其中，通信总线1402用于实现这些组件之间的连接通信。

其中，输入输出接口1403可以包括显示屏(Display)、摄像头(Camera)，可选输入输出接口1403还可以包括标准的有线接口、无线接口。

其中，网络接口1404可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，处理器1401可以包括一个或者多个处理核心。处理器1401利用各种借口和线路连接整个电子设备1400内的各个部分，通过运行或执行存储在存储器1405内的指令、程序、代码集或指令集，以及调用存储在存储器1405内的数据，执行电子设备1400的各种功能和处理数据。可选的，处理器1401可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1401可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1401中，单独通过一块芯片进行实现。

其中，存储器1405可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1405包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1405可用于存储指令、程序、代码、代码集或指令集。存储器1405可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1405可选的还可以是至少一个位于远离前述处理器1401的存储装置。如图14所示，作为一种计算机存储介质的存储器1405中可以包括操作系统、网络通信模块、输入输出接口模块以及图像渲染应用程序。

在图14所示的电子设备1400中，输入输出接口1403主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1401可以用于调用存储器1405中存储的图像渲染应用程序，并具体执行以下操作：

确定图像中待渲染场景的粒子群所处的三维空间；

将所述粒子群所处的三维空间划分成多个粒子空间，每个所述粒子空间对应一种形状的粒子体素；

根据各种形状的粒子体素对应的着色速率对所述粒子空间中的粒子进行渲染。

在一些实施例中，基于上述方案，所述粒子群所处的三维空间为三维包围盒，所述粒子空间为粒子体素包围盒，所述处理器1401在执行所述将所述粒子群所处的三维空间划分成多个粒子空间时，具体执行以下操作：

根据预定划分单元，将所述粒子群所处的三维包围盒划分成多个体素单元；

根据所述粒子群中各个粒子的属性信息，对所述多个体素单元进行聚合处理，生成与所述粒子体素对应的粒子体素包围盒。

在一些实施例中，基于上述方案，所述处理器1401在执行所述根据所述粒子群中各个粒子的属性信息，对所述多个体素单元进行聚合处理时，具体执行以下操作：

获取所述粒子群中各个粒子的属性信息；

基于各个粒子的属性信息，通过点云分割模型对所述多个体素单元进行聚合处理。

在一些实施例中，基于上述方案，所述处理器1401还执行以下操作：

确定多种样本场景的粒子群的三维包围盒；

将各种样本场景的粒子群的三维包围盒划分成多个所述粒子体素包围盒；

根据各种样本场景的粒子群对应的所述粒子体素包围盒，生成各种样本场景下的样本数据；

根据所述样本数据，对所述点云分割模型进行训练。

在一些实施例中，基于上述方案，所述处理器1401在执行所述将各种样本场景的粒子群的三维包围盒划分成多个所述粒子体素包围盒时，具体执行以下操作：

采用光线追踪的方式，从样本场景的每个像素点沿相机的方向发射一条光线；

将所述光线打到所述样本场景的粒子群中的第一粒子作为第一样本点粒子，以预定步长确定第二样本点粒子；

基于所述样本点粒子的深度，确定所述样本点粒子所在的投影平面；

基于所述投影平面以及粒子的属性信息，结合所述粒子体素确定包围所述样本点粒子及所述样本点粒子的邻居粒子的粒子体素包围盒。

在一些实施例中，基于上述方案，所述属性信息包括粒子相对于视点的位置、粒子的生命周期以及粒子透明度中的一种或多种。

在一些实施例中，基于上述方案，所述处理器1401在执行所述根据各种形状的粒子体素对应的着色速率对所述粒子空间中的粒子进行渲染时，具体执行以下操作：

对各个所述粒子空间中的粒子进行采样，得到采样点；

确定各个粒子空间对应的粒子体素的着色速率；

基于所述采样点的渲染方式，根据各个粒子空间对应的着色速率对各个所述粒子空间中的粒子进行渲染。

在一些实施例中，基于上述方案，所述处理器1401在执行所述确定各个粒子空间对应的粒子体素的着色速率时，具体执行以下操作：

确定各个粒子空间的索引标识；

根据所述索引标识与粒子体素的着色速率的对应关系，确定各个粒子空间对应的粒子体素的着色速率。

在一些实施例中，基于上述方案，所述处理器1401在所述根据各种形状的粒子体素对应的着色速率对所述粒子空间中的粒子进行渲染之前，，还执行以下操作：

对所述粒子空间中的粒子进行插值处理，生成所述粒子空间的新增粒子。

在一些实施例中，基于上述方案，所述待渲染场景为三维场景重建，所述处理器1401还执行以下操作：

确定所述待渲染场景的各个粒子群的类型；

所述将所述粒子群所处的三维空间划分成多个粒子空间，包括：

根据所述粒子群的类型，将所述粒子群所处的三维空间划分成多个粒子空间。

在一些实施例中，基于上述方案，所述处理器1401在所述将所述粒子群所处的三维空间划分成多个粒子空间时，具体执行以下操作：

若所述待渲染场景的粒子群为光线可穿透的粒子群，则确定所述粒子群中的各个粒子沿光线的距离；

根据所述粒子群中各个粒子沿光线的距离以及粒子的属性信息，将所述粒子群所处的三维空间划分成多个粒子空间。

在一些实施例中，基于上述方案，所述处理器1401还执行以下操作：

确定所述粒子群中沿光线的各个粒子的距离以及透明度；

基于所述距离以及透明度，对各个粒子的颜色进行加权运算，确定沿光线的粒子的着色。

上述为本说明书实施例的一种电子设备的示意性方案。需要说明的是，该电子设备的技术方案与上述的图像渲染处理方法的技术方案属于同一构思，电子设备的技术方案未详细描述的细节内容，均可以参见上述图像渲染处理方法的技术方案的描述。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (16)

1.一种图像渲染方法，其特征在于，包括：

确定图像中待渲染场景的粒子群所处的三维空间；

将所述粒子群所处的三维空间划分成多个粒子空间，每个所述粒子空间对应一种形状的粒子体素；

根据各种形状的所述粒子体素对应的着色速率对所述粒子空间中的粒子进行渲染。

2.根据权利要求1所述的方法，其特征在于，所述将所述粒子群所处的三维空间划分成多个粒子空间，包括：

确定所述粒子群中各个所述粒子的属性信息；

根据所述粒子的属性信息，对所述粒子群所处的所述三维空间进行区域分割处理，生成多个所述粒子空间。

3.根据权利要求2所述的方法，其特征在于，所述粒子群所处的三维空间为三维包围盒，所述粒子空间为粒子体素包围盒，所述根据所述粒子的属性信息，对所述粒子群所处的所述三维空间进行区域分割处理，生成多个所述粒子空间，包括：

根据预定划分单元，将所述粒子群所处的所述三维包围盒划分成多个体素单元；

根据所述粒子群中各个粒子的属性信息，对所述多个体素单元进行聚合处理；

生成与所述粒子体素对应的粒子体素包围盒。

4.根据权利要求3所述的方法，其特征在于，所述根据所述粒子群中各个粒子的属性信息，对所述多个体素单元进行聚合处理，包括：

获取所述粒子群中各个粒子的属性信息；

基于所述各个粒子的属性信息，通过点云分割模型对所述多个体素单元进行聚合处理。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

确定多种样本场景的粒子群的三维包围盒；

将各种所述样本场景的粒子群的三维包围盒划分成多个所述粒子体素包围盒；

根据各种样本场景的粒子群对应的所述粒子体素包围盒，生成各种样本场景下的样本数据；

根据所述样本数据，对所述点云分割模型进行训练。

6.根据权利要求5所述的方法，其特征在于，所述将各种样本场景的粒子群的三维包围盒划分成多个所述粒子体素包围盒，包括：

采用光线追踪的方式，针对样本场景的每个像素点，沿相机指向所述像素点的方向发射一条光线；

将所述光线打到所述样本场景的粒子群中的粒子作为当前样本点粒子，以预定步长更新所述当前样本点粒子；

基于所述当前样本点粒子的深度，确定所述当前样本点粒子所在的投影平面；

基于所述投影平面以及粒子的属性信息，结合所述粒子体素确定包围所述当前样本点粒子及所述当前样本点粒子的邻居粒子的粒子体素包围盒。

7.根据权利要求2至6中任一项所述的方法，其特征在于，所述属性信息包括粒子相对于视点的位置、粒子的生命周期以及粒子透明度中的一种或多种。

8.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据各种形状的所述粒子体素对应的着色速率对所述粒子空间中的粒子进行渲染，包括：

对各个所述粒子空间中的粒子进行采样，得到采样点；

确定各个所述粒子空间对应的粒子体素的着色速率；

基于所述采样点的渲染方式，根据各个所述粒子空间对应的着色速率对各个所述粒子空间中的粒子进行渲染。

9.根据权利要求8所述的方法，其特征在于，所述确定各个所述粒子空间对应的粒子体素的着色速率，包括：

确定各个粒子空间的索引标识；

根据所述索引标识与粒子体素的着色速率的对应关系，确定各个粒子空间对应的粒子体素的着色速率。

10.根据权利要求1所述的方法，其特征在于，在所述根据各种形状的所述粒子体素对应的着色速率对所述粒子空间中的粒子进行渲染之前，所述方法还包括：

对所述粒子空间中的粒子进行插值处理，生成所述粒子空间的新增粒子。

11.根据权利要求1至6中任一项所述的方法，其特征在于，所述待渲染场景为三维场景重建，所述方法还包括：

确定所述待渲染场景的各个粒子群的类型；

所述将所述粒子群所处的三维空间划分成多个粒子空间，包括：

根据所述粒子群的类型，将所述粒子群所处的三维空间划分成多个粒子空间。

12.根据权利要求1所述的方法，其特征在于，所述将所述粒子群所处的三维空间划分成多个粒子空间，包括：

若所述待渲染场景的粒子群为光线可穿透的粒子群，则确定所述粒子群中的各个粒子沿光线的距离；

根据所述粒子群中各个粒子沿光线的距离以及粒子的属性信息，将所述粒子群所处的三维空间划分成多个粒子空间。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

确定所述粒子群中沿光线的各个粒子的距离以及透明度；

基于所述距离以及透明度，对各个粒子的颜色进行加权运算，确定沿光线的粒子的着色。

14.一种图像渲染装置，其特征在于，包括：

空间确定模块，用于确定图像中待渲染场景的粒子群所处的三维空间；

空间划分模块，用于将所述粒子群所处的三维空间划分成多个粒子空间，每个所述粒子空间对应一种形状的粒子体素；

着色渲染模块，用于根据各种形状的所述粒子体素对应的着色速率对所述粒子空间中的粒子进行渲染。

15.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～13任一项所述方法的步骤。

16.一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～13任一项所述方法的步骤。

Images