CN114494553A

CN114494553A - 基于渲染时间估计和lod选择的实时渲染方法、系统及设备

Info

Publication number: CN114494553A
Application number: CN202210068758.3A
Authority: CN
Inventors: 陈明迪; 赵文平; 叶耀鸣; 李云桃
Original assignee: Hangzhou Juyou Information Technology Co ltd
Current assignee: Hangzhou Juyou Information Technology Co ltd
Priority date: 2022-01-21
Filing date: 2022-01-21
Publication date: 2022-05-13
Anticipated expiration: 2042-01-21
Also published as: CN114494553B

Abstract

本发明公开了一种基于渲染时间估计和LOD选择的实时渲染方法、系统及设备，属于计算机图形学领域。本发明先根据终端设备获取预先训练的渲染时间预估网络。然后对于场景中的每一个物体，一方面根据其在不同细节层次下的复杂度元信息以及在上一场景帧中的预估渲染时间与实际渲染时间，使用渲染时间预估网络估计其渲染时间；另一方面根据该物体距离视点的距离、在最终渲染图像上的面积占比以及该物体的相对复杂度估计不同LOD下该物体的渲染收益。最后综合考虑渲染成本和收益，在总渲染时间满足实时渲染要求的条件下，为每个物体分别设定一个细节层次LOD，使得总体的渲染收益最大。本发明可以综合提高实时渲染的效率和质量。

Description

基于渲染时间估计和LOD选择的实时渲染方法、系统及设备

技术领域

本发明属于计算机图形学领域，具体涉及计算机图形学中的实时渲染和LOD选择方法。

背景技术

实时渲染是计算机图形学中的一个热门领域，对于渲染可互动的虚拟场景、游戏引擎的开发尤其重要。实时渲染系统需要保持稳定的帧率，即实时渲染系统要在指定时间内完成图形渲染。指定的时间用尽，实时渲染系统必须立即停止处理。使用不同细节层次的模型是实现实时渲染的一种方法。实时渲染算法可以分为两种：预测型算法根据给定的帧率为场景中的每个对象分配细节层次；反应型算法根据上一帧的渲染时间为每个对象分配细节层次。

在计算机图形学中，细节层次(Level of Detail，LOD)是指三维模型的复杂程度。其基本思想是对于远离视点或者移动较快的物体，使用简化版的三维模型。因为它对渲染图像的贡献较小，简化版看起来与更详细的版本大致相同。通过这种方式，LOD技术可以通过减少图形流水线的工作量来提高渲染效率。LOD算法一般由生成、选择和切换三大部分组成。首先，通过三维模型简化算法或者人工简化获得同一个对象不同细节层次的三维模型。随后，根据场景中物体的重要程度(如该物体在渲染图像上的区域面积等)为每一个物体选定一个合适的细节层次。一个良好的细节层次选择算法一方面可以很大程度上减少场景渲染所需的工作量，提升渲染效率；另一方面可以保证图像的渲染质量，即低细节模型不会影响图像的观感。最后，当细节层次选择算法决定改变一个物体的细节层次，层次切换算法负责替换不同细节层次的模型，同时保证渲染生成的图片不会发生突兀的变化。但是在实时渲染过程中如何决定场景中的不同物体选择何种LOD进行渲染，是保证渲染效率和渲染质量的关键。

随着机器学习的不断成熟，机器学习模型可以被引入LOD算法中，来辅助决定场景中不同物体的LOD分配。在机器学习领域，序列回归模型用来拟合具有序列关系(时序或一维空间序列)的一系列实值数据，如气温变化、运动轨迹等。循环神经网络常被用来解决序列回归问题。循环神经网络在每个步骤都有输出，并且隐藏单元之间有循环连接的循环网络。这种循环迭代的设计使得循环神经网络可以处理任意离散数目的输入，并产生对应数目的输出。不同步骤中神经网络的参数是共享的，以更好的利用序列输入中的不变性特征，同时减少网络参数。循环神经网络隐藏层的特征可以视作当前步骤系统状态的一个有效表征(如当前的天气状况、物体的运动状态)。但是，如何在LOD算法中涉及合理的机器学习模型，进而平衡实时渲染过程中的渲染效率和渲染质量，是目前亟待解决的技术问题。

发明内容

本发明的目的是解决现有技术中存在的问题，并提供一种基于渲染时间估计和LOD选择的实时渲染方法、系统及设备，为虚拟场景中的每一个物体动态分配LOD，实现高效的实时渲染。

为了实现上述发明目的，本发明具体采用的技术方案如下：

第一方面，本发明提供了一种基于渲染时间估计和LOD选择的实时渲染方法，其包括：

S1：获取针对执行渲染的目标终端设备的机型预先训练的渲染时间预估网络；所述渲染时间预估网络为基于门控循环单元和多层感知机的神经网络，能够根据物体在上一场景帧的预估渲染时间与实际渲染时间以及待渲染的三维模型复杂度元信息预测当前场景帧渲染该三维模型所需要的预估渲染时间；所述复杂度元信息包括三维模型的节点数、多边形面数、最小外包球体积、最小外包立方体体积、材质数目和材质质量；

S2：目标终端设备在渲染一个场景帧之前，首先加载场景帧中所有物体在所有可选细节层次下的复杂度元信息，然后将每一个物体在每一种细节层次下的三维模型复杂度元信息与同一物体在上一场景帧中的预估渲染时间与实际渲染时间一起输入所述渲染时间预估网络中进行渲染时间预测，最终得到当前场景帧中每一个物体在每一种细节层次下进行三维模型渲染所需的预估渲染时间；

S3：针对场景帧中的每一个物体在每一种细节层次下的三维模型，根据该物体与视点之间的距离、该物体在场景帧中的面积占比以及三维模型的相对复杂度，计算场景帧中的每一个物体在每一种细节层次下进行三维模型渲染所能产生的渲染收益；

S4：根据场景帧中所有物体在不同细节层次下的预估渲染时间和渲染收益，使用寻优算法为场景帧中每一个物体分配细节层次，得到在所有物体的预估渲染时间总和不超过总渲染时间允许值的条件下最大化渲染收益的近似最优LOD分配方案；

S5：场景帧中所有物体均按照近似最优LOD分配方案中分配的细节层次加载三维模型并进行渲染。

作为上述第一方面的优选，所述渲染时间预估网络的训练方法如下：

S11：针对目标终端设备的机型，构建基于门控循环单元和多层感知机的渲染时间预估网络，并对网络参数进行随机初始化；

S12：从三维模型库中随机抽取一个样本三维模型，加载其复杂度元信息；

S13：将该样本三维模型上一场景帧的预估渲染时间与实际渲染时间输入到门控循环单元中，获得当前场景帧的隐藏状态；

S14：将S13中由门控循环单元输出的当前场景帧的隐藏状态以及S12中加载的样本三维模型的复杂度元信息输入到多层感知机中，计算当前场景帧渲染该样本三维模型所需的预估渲染时间；

S16：在目标终端设备上渲染该样本三维模型，记录所需的实际渲染时间；

S17：使用实际渲染时间和预估渲染时间计算损失函数，并更新网络参数；

S18：判断损失函数是否收敛，若收敛则结束训练，否则重新按照S12～S17继续迭代训练，直至收敛为止。

作为上述第一方面的优选，所述S17中，使用反向传播函数计算渲染时间预估网络中参数的梯度，并使用梯度更新网络参数。

作为上述第一方面的优选，场景帧中的任意一个物体o在任意第i种细节层次下进行三维模型渲染所能产生的渲染收益计算公式为：

Benefit(o,i)＝S*b_i

S＝πp²

其中，S为物体在渲染后图像上的面积；p为物体的最小外包球在视锥体近平面上的投影的半径；n为从观测者到视锥体的近平面的距离；r为物体最小外包球体的半径；v指向观测者位置的向量；c为指向物体最小外包球体中心的向量；d为指向观测方向的单位向量；b_i代表第i个细节层次的三维模型的相对复杂程度，定义为三维模型中顶点数num_v和多边形面数num_p的加权和与三维模型最小外包球体积的比值；r为三维模型最小外包球半径；α和β均为权重值。

作为上述第一方面的优选，所述寻优算法为贪心算法。

作为上述第一方面的优选，所述S4中，使用贪心算法为场景帧中每一个物体分配细节层次的具体方法为：

S41：遍历场景帧中的每一个物体在每一种细节层次下的预估渲染时间和渲染收益，以渲染收益和预估渲染时间的比值作为相对收益，将所有物体在不同细节层次下的渲染操作按照其相对收益进行排序，形成渲染操作列表；

S42：将场景帧中每一个物体o的细节层次设定值初始化为不渲染后，开始对所述渲染操作列表按照相对收益由高到低进行遍历，对于遍历过程中的每一个当前渲染操作，首先判断采用该渲染操作后场景中所有物体的预估渲染时间总和是否超过总渲染时间允许值，若超过则直接跳过当前渲染操作遍历下一个渲染操作，若不超过则继续判断当前渲染操作的渲染收益是否大于当前渲染操作中对应物体在其细节层次设定值下的渲染收益，若大于则将该物体的细节层次设定值修改为当前渲染操作中的细节层次，若不大于则不修改；

S43：遍历完所述渲染操作列表后，以场景帧中所有物体最终的细节层次设定值作为所述近似最优LOD分配方案。

作为上述第一方面的优选，待渲染场景中的场景帧需逐帧按照S2～S5进行渲染，每一帧渲染完毕后记录场景帧中每一个物体的三维模型的预估渲染时间和实际渲染时间，用于估计下一帧的渲染时间。

作为上述第一方面的优选，所述总渲染时间允许值不高于相邻场景帧的间隔时间。

第二方面，本发明提供了一种基于渲染时间估计和LOD选择的实时渲染系统，其包括：

模型获取模块，用于获取针对执行渲染的目标终端设备的机型预先训练的渲染时间预估网络；所述渲染时间预估网络为基于门控循环单元和多层感知机的神经网络，能够根据上一场景帧的预估渲染时间与实际渲染时间以及待渲染的三维模型复杂度元信息预测当前场景帧渲染该三维模型所需要的预估渲染时间；所述复杂度元信息包括三维模型的节点数、多边形面数、最小外包球体积、最小外包立方体体积、材质数目和材质质量；

渲染时间估计模块，用于供目标终端设备在渲染一个场景帧之前，首先加载场景帧中所有物体在所有可选细节层次下的复杂度元信息，然后将每一个物体在每一种细节层次下的三维模型复杂度元信息各自与上一场景帧的预估渲染时间与实际渲染时间一起输入所述渲染时间预估网络中进行渲染时间预测，最终得到当前场景帧中每一个物体在每一种细节层次下进行三维模型渲染所需的预估渲染时间；

渲染收益估计模块，用于针对场景帧中的每一个物体在每一种细节层次下的三维模型，根据该物体与视点之间的距离、该物体在场景帧中的面积占比以及三维模型的相对复杂度，计算场景帧中的每一个物体在每一种细节层次下进行三维模型渲染所能产生的渲染收益；

寻优模块，用于根据场景帧中所有物体在不同细节层次下的预估渲染时间和渲染收益，使用寻优算法为场景帧中每一个物体分配细节层次，得到在所有物体的预估渲染时间总和不超过总渲染时间允许值的条件下最大化渲染收益的近似最优LOD分配方案；

渲染模块，用于将场景帧中所有物体均按照近似最优LOD分配方案中分配的细节层次加载三维模型并进行渲染。

第三方面，本发明提供了一种电子设备，其包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如第一方面中任一方案所述的基于渲染时间估计和LOD选择的实时渲染。

相对于现有技术而言，本发明具有以下有益效果：

本发明将实时渲染算法于反应型算法有机结合，在预测不同LOD的模型的渲染时间时，综合考虑模型的渲染难度和当前终端历史的渲染效率，进而预测结果更加精确。本发明使用门控循环单元来处理终端设备渲染能力的时序变化，以更加准确、更加鲁棒的预估不同时刻、不同复杂程度的三维模型的渲染时间，门控循环单元预测出来的渲染时间可作为LOD选择的依据。同时，本发明还提出了一种能够自适应细节层次选择的优化算法来提升实时渲染场景下的渲染效率，增强视觉效果。

附图说明

图1为基于渲染时间估计和LOD选择的实时渲染方法的基本步骤图。

图2为训练渲染时间预估网络的流程图。

图3为在终端设备上使用预训练的渲染时间预估网络进行自适应细节层次选择的流程图。

图4为基于渲染时间估计和LOD选择的实时渲染系统的模块示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。

本发明中的实时渲染方法是在终端设备上进行的，由于不同的终端设备具有不同的硬件参数和不同的图像渲染性能，因此本发明的实时渲染方法亦需要针对指定的终端设备来执行渲染任务。为了便于后续描述，本发明中定义实际执行实时渲染流程的终端设备为目标终端设备。

本发明中的实时渲染的对象是场景帧中的所有物体，例如人物、植物、建筑、道具等等。每一个物体都可以用一个三维模型表示，但物体的细节层次LOD是可根据渲染方案进行调整的，细节层次的改变会改变同一物体的三维模型复杂程度，细节越丰富该三维模型渲染所需的计算资源越大。

需要说明的是，上述目标终端设备可以为任意具有图像渲染能力的设备，例如服务器、独立的游戏机设备，亦可以为智能手机、平板电脑、笔记本电脑等配置有显示屏的智能终端设备。对于游戏场景的渲染而言，智能手机、平板电脑、笔记本电脑等智能终端设备上还需要搭载有游戏软件。

参见图1所示，在本发明的一个较佳实施例中，提供了一种基于渲染时间估计和LOD选择的实时渲染方法，其基本步骤如下：

S1：获取针对执行渲染的目标终端设备的机型预先训练的渲染时间预估网络。其中，渲染时间预估网络为基于门控循环单元和多层感知机的神经网络，能够根据物体在上一场景帧的预估渲染时间与实际渲染时间以及待渲染的三维模型复杂度元信息预测当前场景帧渲染该三维模型所需要的预估渲染时间。而本发明中三维模型的复杂度元信息包括6类信息，分别为该三维模型的节点数、多边形面数、最小外包球体积、最小外包立方体体积、所需的材质数目和材质质量。

需要说明的是，本发明中的最小外包球亦可称为边界球，是指能够完全包围三维模型的最小球体；本发明中的最小外包立方体亦可称为边界立方体，是指能够完全包围三维模型的最小立方体。

需要说明的是，由于每种终端设备的硬件参数不同，渲染性能也不同，所以每种终端设备需要训练独立的渲染时间预估网络。渲染时间预估网络需要预先在服务端训练至收敛，训练过程无需重复。训练好的神经网络可以部署到对应型号的设备上进行渲染时间预估。另外，由于不同目标终端设备中所采用的渲染时间预估网络的网络结构实际上是相同的，其区别仅仅在于网络参数是各自针对不同机型训练的。因此，作为本发明实施例的一种较佳实现方式，可以预先针对常见的目标终端设备机型分别训练适用的渲染时间预估网络，并将其网络参数存储在可供终端设备访问的云端或者本地端。在具体执行步骤时，渲染时间预估网络可以预先内置于目标终端设备中，仅需要根据执行渲染的目标终端设备的机型从存储网络参数的云端或者本地端下载对应的网络参数，即可实现渲染时间预估网络的构建。当然，若外部条件允许，渲染时间预估网络以及对应的网络参数亦可在目标终端设备出厂时直接内置于目标终端设备中，当需要进行渲染时直接调用该网络即可。

需要说明的是，本发明中的渲染时间预估网络是一个由门控循环单元(gatedrecurrent unit,GRU)和多层感知机(Multilayer Perceptron,MLP)组成的神经网络。渲染时间预估网络可以根据模型的复杂程度估计渲染所需的时间，而得益于门控循环单元的引入，渲染时间预估网络可以妥善处理终端设备渲染性能的波动，提高渲染时间估测的准确度。在构建渲染时间预估网络时，可先初始化一个门控循环单元，该门控循环单元的输入为模型上一时刻的实际渲染时间R_t和预估渲染时间E_t。门控循环单元当前时刻的隐藏状态由上一时刻的隐藏状态和当前时刻的输入决定。在本发明中，由于渲染时以场景帧为单位的，因此所谓的上一时刻实际就是代表了上一个场景帧，当前时刻代表了当前需要渲染的场景帧。随后，将当前时刻门控循环单元的隐藏状态和待估计三维模型的复杂度元信息输入一个多层感知机网络。多层感知机的输出为一个实数，即当前时刻终端设备渲染此模型所需要的渲染时间的估计值。

门控循环单元和多层感知机各自的结构均属于现有技术，为了便于理解两者在本发明中的具体作用，下面对其进行简要介绍：

1)门控循环单元部分：

门控循环单元中的计算过程如下：

z＝σ(x_tU^z+h_t-1W^z)

r＝σ(x_tU^r+h_t-1W^r)

其中，x_t＝[E_t-1,R_t-1,E_t-1-R_t-1]，E_t-1为上一时刻渲染时间的估计值，R_t-1为上一时刻渲染时间的实际值；h_t为门控循环单元的隐藏向量，维度为8，表示了t时刻终端设备的渲染能力；z为门控循环单元中的更新门，控制了门控循环单元状态转移的剧烈程度；r为门控循环单元的更新门，控制了历史状态信息和当前时刻的输入信息的结合比例；σ为Sigmoid函数；U^z、W^z、U^r、W^r、U^h、W^h为门控循环单元中可训练的参数，它们的取值将在多轮的训练迭代中由反向传播算法确定。在门控循环单元中，上一时刻的预估渲染时间与实际渲染时间可以反应终端设备在过去一段时间内的渲染能力变化，进而实时估计终端设备当前的算力。

2)多层感知机部分：

多层感知机中的计算过程如下：

其中，M为前述复杂度元信息组成的一个6维向量，表示了待渲染三维模型的复杂程度，如前所述其六个维度分别表示模型的节点数、多边形面数、边界球体积、边界立方体体积、所需要的材质数目和材质质量。这些因素直接影响了终端设备渲染一个三维模型的计算量；U^e，b^e，W^e为多层感知机中可训练的参数，它们的取值将在多轮的训练迭代中由反向传播算法确定。

需要说明的是，上述门控循环单元和多层感知机中具体执行的过程和原理仅仅为了更好地说明所给出的简要描述，其属于现有技术，可参见现有技术中的做法或者调用现有的封装模型来实现，本发明不再重复赘述，亦非对本发明的限定。

作为本发明实施例的一种较佳实现方式，对于任意一个目标终端设备对应的机型，如图2所示，其对应的渲染时间预估网络的训练方法如下：

S17：使用实际渲染时间和预估渲染时间计算损失函数，并更新网络参数；其中网络参数的更新可以通过梯度下降法实现，即使用反向传播函数计算渲染时间预估网络中参数的梯度，并使用梯度更新网络参数；

上述S11～S18的过程，可以实现一种目标终端设备机型的渲染时间预估网络的训练，所有可能的目标终端设备机型均可通过该过程进行训练，从而得到每一种目标终端设备机型的渲染时间预估网络的网络参数。

本发明中，训练过程中使用的损失函数可以为预估渲染时间E_t与真实渲染时间R_t之间的均方误差损失，具体公式描述如下：

Loss＝(E_t-R_t)²

需要说明的是，本发明中的三维模型库是由场景中的不同物体所组成的三维模型库，原则上该三维模型库应当尽可能涵盖场景中出现的所有可能的细节层次下的物体三维模型，以便于经过训练的渲染时间预估网络能够对每一个三维模型都能够准确估计其渲染所需的渲染时间。

需要说明的是，目标终端设备的渲染时以场景帧为单位的，即每一次需要渲染场景中的一帧图像中所含有的物体。

S2：目标终端设备在渲染一个场景帧之前，首先加载场景帧中所有物体在所有可选细节层次下的复杂度元信息，然后将每一个物体在每一种细节层次下的三维模型复杂度元信息与同一物体在上一场景帧中的预估渲染时间与实际渲染时间一起输入所述渲染时间预估网络中进行渲染时间预测，最终得到当前场景帧中每一个物体在每一种细节层次下进行三维模型渲染所需的预估渲染时间。

需要说明的是，所述渲染时间预估网络是对场景帧中的每一个三维模型分别进行渲染时间预测的，不同物体由于存在不同的可选细节层次，因此需要将不同细节层次下的物体三维模型分别通过所述渲染时间预估网络进行渲染时间预测。

S3：针对场景帧中的每一个物体在每一种细节层次下的三维模型，根据该物体与视点之间的距离、该物体在场景帧中的面积占比以及三维模型的相对复杂度，计算场景帧中的每一个物体在每一种细节层次下进行三维模型渲染所能产生的渲染收益。

需要说明的是，本发明中的渲染收益实际上代表了对该物体进行某种细节层次下的渲染对于整个场景帧的最终图像质量所带来的提升幅度，该渲染收益可以通过定义相应的评价公式进行量化，从而为后续的细节层次选择提供参照基础。

作为本发明实施例的一种较佳实现方式，场景帧中的任意一个物体o在任意第i种细节层次下进行三维模型渲染所能产生的渲染收益Benefit(o,i)可按照下列计算公式计算：

Benefit(o,i)＝S*b_i

S＝πp²

其中，S为物体在场景帧渲染后图像上的面积；p为物体的最小外包球在视锥体近平面上的投影的半径，其与物体与观测者的视点之间的距离相关；n为从观测者到视锥体的近平面的距离；r为物体最小外包球体的半径；v指向观测者位置的向量；c为指向物体最小外包球体中心的向量；d为指向观测方向的单位向量；b_i代表第i个细节层次的三维模型的相对复杂程度，定义为三维模型中顶点数 num_v和多边形面数num_p的加权和与三维模型最小外包球体积的比值；r为三维模型最小外包球半径；α和β均为权重值，其具体取值需要根据实际的渲染效果进行优化调整。

需要说明的是，在上述相对复杂程度b_i的计算公式中，其分母r³实际为三维模型最小外包球体积

的简化，常数项

被简化到了权重值α和β中。

需要说明的是，本发明中的寻优算法可以是任意能够实现参数寻优的算法。对于本发明而言，在得到场景内所有物体在不同细节层次的渲染代价和渲染收益后，为每个物体分配细节层次可以视作如下的一个整形规划问题：

其中，φ(o)为物体o分配的细节层次设定值，该细节层次设定值是物体o后续实际要执行渲染的细节层次，是寻优算法的寻优对象；Cost(o,i)定义为渲染时间预估网络输出的在当前时刻渲染细节层次为i的物体o所需要的预估渲染时间；Budget定义为总渲染时间允许值，即整个场景帧中所有物体的最大渲染时间总和。

上述整数规划问题是一个NP完全问题，难以在多项式时间内找到最优解。故本发明使用渲染收益与预估渲染时间的比值为优化目标，使用贪心算法在多项式时间内找到一个近似最优解。本发明中的预估渲染时间相当于渲染代价。

为了便于叙述，渲染收益Benefit(o,i)与预估渲染时间Cost_t(o,i)的比值可以定义为相对收益Value(o,i)，计算公式为：

作为本发明实施例的一种较佳实现方式，本发明中确定近似最优LOD分配方案所采用的寻优算法为贪心算法，其中，自适应LOD分配的主要依据包括：1)场景中的物体在不同LOD下的渲染时间；2)场景中不同物体的重要程度；3)渲染时间预算以及设备在当前时刻的渲染能力。在一较佳实施例中，使用贪心算法为场景帧中每一个物体分配细节层次的具体方法如下：

上述S41～S43步骤执行完毕，即可得到一个包含了场景帧中所有物体渲染时应当选择的细节层次LOD的最优LOD分配方案。在一个示例中，上述S41～S43步骤具体可以通过增设定义以及通过以下方法来实现：

定义1：设定一个最低的LOD＝0，在这个LOD下物体不被渲染，预估渲染时间和渲染收益均为0；

定义2：渲染操作列表中的每一个渲染操作均采用渲染对象二元组(o,i)表示，代表物体o在第i种细节层次下进行三维模型渲染。

由此，Cost，Benefit和Value函数的输入均为渲染对象二元组。在渲染每一场景帧之前，进行如下的步骤获取最优LOD分配方案：

1)将场景帧中所有物体o，初始化φ(o):＝0，即不渲染。CurrentCost:＝0。

2)计算场景帧内所有物体在所有LOD下的预估渲染时间(Cost)和收益(Benefit)。

3)根据渲染收益与预估渲染时间的比值(即Value)对所有的渲染对象二元组从高到低排序。

4)按Value值从高至低遍历步骤3)产生的序列，对于遍历过程中的每一个当前二元组(o,i)，分以下4.1)和4.2)两种情况执行不同操作：

4.1)若满足CurrentCost+Cost(o,i)-Cost(o,φ(o))≤Budget，则进一步判断Benefit(o,i)和Benefit(o,φ(o))的大小，并根据判断结果执行4.1.1)和4.1.2)不同操作：

4.1.1)若满足Benefit(o,i)＞Benefit(o,φ(o))，则代表物体o采用第i种细节层次作为细节层次设定值具有更高的渲染收益，更新LOD选择，即设置：

CurrentCost∶＝CurrentCost+Cost(o,i)-Cost(o,φ(o))，φ(o):＝i。

4.1.2)若满足Benefit(o,i)≤Benefit(o,φ(o))，则代表物体o采用第i种细节层次作为细节层次设定值不具有更高的渲染收益，不做改动；

4.2)若满足CurrentCost+Cost(o,i)-Cost(o,φ(o))＞Budget，则代表物体o采用第i种细节层次作为细节层次设定值将导致超出总渲染时间允许值，不做改动。

5)完成遍历后，每一个φ(o)即为物体o分配的细节层次LOD设定值，得到最优LOD分配方案。后续就可以在这个最优LOD分配方案下，为每个物体分配一个LOD，使得整体的渲染效果最好。

需说明的是，本发明中的总渲染时间允许值需要根据相邻两个需要渲染的场景帧之间的时间间隔而定。在场景的实时渲染任务中，待渲染场景中的场景帧需逐帧按照S2～S5进行渲染，其流程如图3所示，每一帧渲染完毕后记录场景帧中每一个物体的三维模型的预估渲染时间和实际渲染时间，用于估计下一帧的渲染时间。因此，作为与实时渲染向匹配的做法，总渲染时间允许值不高于相邻场景帧的间隔时间，总渲染时间允许值做大取值为等于相邻场景帧的间隔时间，即等于场景中帧率的倒数。

S5：当得到当前场景帧的最优LOD分配方案后，场景帧中所有物体均按照近似最优LOD分配方案中分配的细节层次加载三维模型并进行渲染。

基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于渲染时间估计和LOD选择的实时渲染方法对应的基于渲染时间估计和LOD选择的实时渲染系统。如图4所示，在该基于渲染时间估计和LOD选择的实时渲染系统中包括四个基本的模块，分别为：

由于本发明实施例中的基于渲染时间估计和LOD选择的实时渲染系统解决问题的原理与本发明上述实施例的基于渲染时间估计和LOD选择的实时渲染方法相似，因此该实施例中系统的各模块具体实现形式未尽之处亦可可以参见上述方法的具体实现形式，重复之处不再赘述。

同样的，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于渲染时间估计和LOD选择的实时渲染方法对应的一种电子设备，其包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如前所述的基于渲染时间估计和LOD选择的实时渲染方法。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

由此，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于渲染时间估计和LOD选择的实时渲染方法对应的一种计算机可读存储介质，该所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如前所述的基于渲染时间估计和LOD选择的实时渲染方法。

具体而言，在上述两个实施例的计算机可读存储介质中，存储的计算机程序被处理器执行，可执行前述S1～S5的步骤。

可以理解的是，上述存储介质可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。同时存储介质还可以是U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可以理解的是，上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

另外需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的各实施例中，所述的系统和方法中对于步骤或者模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或步骤可以结合或者可以集成到一起，一个模块或者步骤亦可进行拆分。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims

1.一种基于渲染时间估计和LOD选择的实时渲染方法，其特征在于，包括：

2.如权利要求1所述的基于渲染时间估计和LOD选择的实时渲染方法，其特征在于，所述渲染时间预估网络的训练方法如下：

3.如权利要求2所述的基于渲染时间估计和LOD选择的实时渲染方法，其特征在于，所述S17中，使用反向传播函数计算渲染时间预估网络中参数的梯度，并使用梯度更新网络参数。

4.如权利要求1所述的基于渲染时间估计和LOD选择的实时渲染方法，其特征在于，场景帧中的任意一个物体o在任意第i种细节层次下进行三维模型渲染所能产生的渲染收益计算公式为：

Benefit(o,i)＝S*b_i

S＝πp²

5.如权利要求1所述的基于渲染时间估计和LOD选择的实时渲染方法，其特征在于，所述寻优算法为贪心算法。

6.如权利要求5所述的基于渲染时间估计和LOD选择的实时渲染方法，其特征在于，所述S4中，使用贪心算法为场景帧中每一个物体分配细节层次的具体方法为：

7.如权利要求1所述的基于渲染时间估计和LOD选择的实时渲染方法，其特征在于，待渲染场景中的场景帧需逐帧按照S2～S5进行渲染，每一帧渲染完毕后记录场景帧中每一个物体的三维模型的预估渲染时间和实际渲染时间，用于估计下一帧的渲染时间。

8.如权利要求7所述的基于渲染时间估计和LOD选择的实时渲染方法，其特征在于，所述总渲染时间允许值不高于相邻场景帧的间隔时间。

9.一种基于渲染时间估计和LOD选择的实时渲染系统，其特征在于，包括：

10.一种电子设备，其特征在于，包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如权利要求1～8任一所述的基于渲染时间估计和LOD选择的实时渲染。