CN115170713B - 基于超网络的三维场景云渲染方法和系统 - Google Patents

Abstract

本发明公开了一种基于超网络的三维场景云渲染方法和系统，在云端根据三维场景运动信息分析变化大的关注像素点后，利用着色器参数更新模型更新关注像素点对应的着色器参数，并将着色器参数传输至本地端，这样可以减少云端与本地设备端之间通讯次数和通讯带宽需求，在本地端利用着色器参数构建着色器，利用着色器对关注像素点进行着重渲染，能够减少本地设备的渲染计算代价，还能保证三维场景画面的完整渲染。

Description

基于超网络的三维场景云渲染方法和系统

技术领域

本发明属于实时渲染领域，具体涉及一种基于超网络的三维场景云渲染方法和系统。

背景技术

随着移动设备的普及及其计算能力的提高，在移动设备上实时渲染真实感图像的需求也逐步提高。但与此同时，不断发展的图形渲染技术也对设备的计算能力提出越来越高的要求。移动设备的计算性能增长并没有跟上人们对更高品质画面的追求。在现有的硬件与图形渲染技术下，从业人员不得不在画面质量、画面分辨率与延迟上做平衡。对手机游戏等产品来说，保证较低的延迟和稳定的帧率是首先需要保证的，因此很多产品在移动设备上不得不牺牲画质与分辨率来保证玩家较为流畅的游戏体验。

为了让移动设备的用户能够有更好的体验，有人想到把云上强大的计算能力利用起来。如专利文献CN1856819A公开了一种过分布式应用程序的图形数据的网络传输的系统和方法，在强计算能力的服务器上完成绘制操作后把绘制结果压缩传输到移动设备，该方法解决了移动设备实时渲染中低画质、低分辨率的问题，但如何获得低延迟、高帧率的画面这一问题该技术方案并没有解决。

专利文献CN101971625A公开的用于压缩流动互动式视频的系统和方法，针对低延迟的重要性的问题提出了一种基于传统视频编码改进出来的流式传输(视频串流)方式，但是该方式要求使用大量的网络带宽来实现高帧率、高分辨率的画面的实时传输，实际应用场景无法提供大量的网络宽带，因此并不适用。同时，直接传输画面的云渲染方案需要本地端与云端的通讯保持畅通，一旦发生网络波动，本地端的画面会不可避免的发生卡顿，影响用户体验。

发明内容

鉴于上述，本发明的目的是提供一种基于超网络的三维场景云渲染方法和系统，可以减少云端与本地设备端之间通讯次数和通讯带宽需求，同时也可以减少本地设备的渲染计算代价。

为实现上述发明目的，实施例提供的一种基于超网络的三维场景云渲染方法，包括以下步骤：

利用云端渲染流水线对场景数据进行渲染，得到第一三维场景几何信息、第一三维场景渲染图、以及第一三维场景运动信息；

在云端依据第一三维场景运动信息分析变化大的关注像素点；

在云端从第一三维场景几何信息和第一三维场景渲染图中提取与关注像素点相关的数据输入基于超网络构建的着色器参数更新模型，将第一三维场景光照信息同时输入基于超网络构建的着色器参数更新模型，经计算输出与关注像素点对应的着色器参数，并将着色器参数传输至本地端；

利用本地端渲染流水线对场景数据进行渲染，得到第二三维场景几何信息、第二三维场景运动信息；

在本地端依据接收的着色器参数构建着色器，并根据第二三维场景运动信息维护历史着色器；

将第二三维场景几何信息和第二三维场景光照信息输入至着色器，经过计算得到最终渲染结果。

在一个实施例中，所述依据第一三维场景运动信息分析变化大的关注像素点，包括：

分析渲染帧之间的第一三维场景运动信息，如果在当前渲染帧中，某个像素点无法在历史渲染帧中找到对应的像素点，则认为该像素点变化大，为关注像素点。

在一个实施例中，所述依据第一三维场景运动信息分析变化大的关注像素点，包括：

分析渲染帧之间的第一三维场景运动信息，如果像素点在相邻两渲染帧中颜色变化超过阈值，则认为该像素点变化大，为关注像素点。

在一个实施例中，所述基于超网络构建的着色器参数更新模型的构建过程包括：

以第一三维场景几何信息、第一三维场景渲染图以及第一三维场景光照信息作为超网络的输入，经计算输出所有像素的着色器参数；

基于所有像素的着色器参数构建着色器，利用着色器对第二三维场景几何信息和第二三维场景光照信息进行着色计算，以得到预测渲染结果；

以预测渲染结果与真实渲染结果之差构建损失函数，并以该损失函数优化超网络参数，参数优化结束后，得到着色器参数更新模型；

其中，超网络为基于神经网络构建的网络。

在一个实施例中，所述着色器为函数的隐式表达或神经网络。

在一个实施例中，所述三维场景云渲染方法还包括：

每隔一段时间，在云端利用着色器参数更新模型为当前渲染帧所有像素重新预测着色器参数；在云端根据着色器参数构建着色器，利用着色器进行着色得到渲染结果；若该渲染结果与历史着色器维护的渲染结果相差大于像素阈值，则将该像素的着色器参数下传到本地端。

在一个实施例中，在本地端利用着色器进行着色渲染时，不同渲染帧之间，利用第二三维场景运动信息来复用着色器，即将不同渲染帧之间通过第二三维场景运动信息相联系的两个像素点采用同一着色器着色渲染。

为实现上述发明目的，实施例还提供了一种基于超网络的三维场景云渲染系统，包括云端和本地端；

所述云端用于利用云端渲染流水线对场景数据进行渲染，得到第一三维场景几何信息、第一三维场景渲染图、以及三维场景运动信息；还用于依据三维场景运动信息分析变化大的关注像素点；还用于从第一三维场景几何信息和第一三维场景渲染图中提取与关注像素点相关的数据输入基于超网络构建的着色器参数更新模型，将第一三维场景光照信息同时输入基于超网络构建的着色器参数更新模型，经计算输出与关注像素点对应的着色器参数，并将着色器参数传输至本地端；

所述本地端利用本地端渲染流水线对场景数据进行渲染，得到第二三维场景几何信息、第二三维场景运动信息；还用于依据接收的着色器参数构建着色器，并根据第二场景运动信息维护历史着色器；还用于将第二三维场景几何信息和第二三维场景光照信息输入至着色器，经过计算得到最终渲染结果。

与现有技术相比，本发明具有的有益效果至少包括：

在云端根据三维场景运动信息分析变化大的关注像素点后，利用着色器参数更新模型更新关注像素点对应的着色器参数，并将着色器参数传输至本地端，这样可以减少云端与本地设备端之间通讯次数和通讯带宽需求，在本地端利用着色器参数构建着色器，利用着色器对关注像素点进行重渲染，能够减少本地设备的渲染计算代价，还能保证三维场景画面的完整渲染。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的基于超网络的三维场景云渲染方法的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为解决背景技术存在的问题，实施例提供了一种基于超网络的三维场景云渲染方法和系统，渲染过程由本地端的着色器完成，但着色器运行时的着色器参数由运行在云端的着色器参数更新模型生成并传输到本地。由于并非所有像素处的着色器参数都需要实时改变，因此可以减少云端与本地设备段的通讯次数和通讯时的带宽需求，同时减少本地设备的渲染计算代价。

图1是实施例提供的基于超网络的三维场景云渲染方法的流程图。该三维场景云渲染方法的实现需要采用的系统包括云端和本地端，其中，云端具有云端渲染流水线，还具有基于超网络构建的着色器参数更新模型。本地端具有本地渲染流水线。

如图1所示，实施例提供的基于超网络的三维场景云渲染方法，包括以下步骤：

步骤1，利用云端渲染流水线对场景数据进行渲染，得到第一三维场景几何信息、第一三维场景渲染图、以及第一三维场景运动信息。

实施例中，在云端利用渲染引擎通过渲染流水线对三维场景数据进行渲染得到当前帧的第一三维场景渲染图、第一三维场景几何信息以及第一三维场景运动信息。

其中，第一三维场景几何信息由以三维场景数据为输入的渲染流水线得到，包括位置贴图、深度贴图、法线贴图、材质贴图。第一三维场景运动信息由以第一三维场景数据为输入的渲染流水线得到，包括相邻两帧间的三维场景运动信息，或当前帧与各历史帧之间的三维场景运动信息。

步骤2，在云端依据第一三维场景运动信息分析变化大的关注像素点。

实施例中，第一三维场景运动信息采用运动向量表示，记录了每一个像素所对应的物体在一系列中画面的运动情况。通过运动向量可以追踪在不同时刻的画面中像素的对应关系。

实施例中，可以采用以下两种方式依据第一三维场景运动信息分析变化大的关注像素点：

方式一：分析渲染帧之间的第一三维场景运动信息，如果在当前渲染帧中，某个像素点无法在历史渲染帧中找到对应的像素点，则认为该像素点变化大，为关注像素点，需要对该关注像素点生成新着色器参数；

方式二：分析渲染帧之间的第一三维场景运动信息，如果像素点在相邻两渲染帧中的颜色变化超过阈值的，则认为该像素点变化大，为关注像素点。当像素点在相邻两渲染帧中发生超过阈值的颜色变化，说明该像素处的材质或光照情况发生了较大的改变，因此，需要重新为变化大的关注像素点生成新着色器参数。

步骤3，在云端利用基于超网络构建的着色器参数更新模型计算得到与关注像素点对应的着色器参数，并将着色器参数传输至本地端。

实施例中，在云端从第一三维场景几何信息和第一三维场景渲染图中提取与关注像素点相关的数据输入基于超网络构建的着色器参数更新模型，将第一三维场景光照信息同时输入基于超网络构建的着色器参数更新模型，经计算输出与关注像素点对应的着色器参数，并将着色器参数传输至本地端。

当然，也可以将第一三维场景几何信息和第一三维场景渲染图中输入基于超网络构建的着色器参数更新模型，将第一三维场景光照信息同时输入基于超网络构建的着色器参数更新模型，经计算获得所有像素点对应的全局着色器参数，然后再从全局着色器参数中提取与关注像素点对应的着色器参数，传输至本地端。

实施例中，第一三维场景光照信息包括光源参数，其中，光源参数包括光源类型、光源形状、光源位置、光照方向、光照强度、环境光贴图中的至少一种；所述光照信息还包括光源参数经过神经网络编码处理的编码向量。

实施例中，着色器参数更新模型是基于超网络经过参数优化构建得到。具体地，超网络可以选择神经网络。构建过程包括：

以第一三维场景几何信息、第一三维场景渲染图以及第一三维场景光照信息作为超网络的输入，经计算输出所有像素的着色器参数；基于所有像素的着色器参数构建着色器，利用着色器对第二三维场景几何信息和第二三维场景光照信息进行着色计算，以得到预测渲染结果；以预测渲染结果与真实渲染结果之差构建损失函数，并以该损失函数优化超网络参数，参数优化结束后，得到着色器参数更新模型。

其中，第二三维场景几何信息是在本地端采用与云端相同的渲染流水线对相同的场景数据进行渲染得到的，同样包括位置贴图、深度贴图、法线贴图、材质贴图。第二三维场景光照信息来自于场景数据，同样包括光源参数，其中，光源参数包括光源类型、光源形状、光源位置、光照方向、光照强度、环境光贴图中的至少一种；所述光照信息还包括光源参数经过神经网络编码处理的编码向量。

对于非关注像素点外的大多数像素点，由于其所处的环境并没有太大的变化，因此可以复用之前的着色器参数，所以云端只要根据需求获得关注像素点对应的着色器参数下传到本地端即可，这样可以按照不同的速率生成着色器参数来减少带宽需求。

步骤4，在本地端依据接收的着色器参数构建着色器，并利用构建的着色器进行渲染，得到最终渲染结果。

实施例中，在本地端依据接收的着色器参数构建着色器，同时利用本地端渲染流水线对场景数据进行渲染得到的第二三维场景几何信息；将第二三维场景几何信息和第二三维场景光照信息输入至着色器，经过计算得到最终渲染结果。

本地端采用的渲染流水线和场景数据与云端采用的相等，这样利用本地端渲染流水线渲染场景数据得到的数据中存在与云端确定的关注像素点对应的像素，这样在每个像素处，利用云端传来的着色器参数构建该像素的着色器，以当前帧预处理得到的三维场景几何信息、三维场景光照信息作为着色器输入，由着色器完成着色过程，输出像素在当前帧的着色结果。这样可以减少地设备的渲染计算代价。

本地端并不是对每一帧的每一个像素处都能接收到云端传输的着色器参数。利用着色器进行着色渲染时，不同渲染帧之间，利用第二三维场景运动信息来复用着色器，即将不同渲染帧之间通过第二三维场景运动信息相联系的两个像素点采用同一着色器着色渲染，以实现每帧所有像素点的着色渲染。

实施例中，每隔一段时间，在云端利用着色器参数更新模型为当前渲染帧所有像素重新预测着色器参数；在云端根据着色器参数构建着色器，利用着色器进行着色得到渲染结果；若该渲染结果与历史着色器维护的渲染结果相差大于像素阈值，则将该像素的着色器参数下传到本地。

实施例中，着色器可以是传统渲染引擎中的着色器，接受参数输入的程序，可以解析成如辐射度场函数Radiance Filed或光传递函数Precomputed Radiance Transfer等函数的隐式表达，或是简单的神经网络，包括简单的MLP、CNN网络等。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于超网络的三维场景云渲染方法，其特征在于，包括以下步骤：

利用云端渲染流水线对场景数据进行渲染，得到第一三维场景几何信息、第一三维场景渲染图、以及第一三维场景运动信息；

在云端依据第一三维场景运动信息分析变化大的关注像素点，包括：分析渲染帧之间的第一三维场景运动信息，如果像素点在相邻两渲染帧中颜色变化超过阈值，则认为该像素点变化大，为关注像素点；

在云端从第一三维场景几何信息和第一三维场景渲染图中提取与关注像素点相关的数据输入基于超网络构建的着色器参数更新模型，将第一三维场景光照信息同时输入基于超网络构建的着色器参数更新模型，经计算输出与关注像素点对应的着色器参数，并将着色器参数传输至本地端；

其中，基于超网络构建的着色器参数更新模型的构建过程包括：

以第一三维场景几何信息、第一三维场景渲染图以及第一三维场景光照信息作为基于神经网络构建的超网络的输入，经计算输出所有像素的着色器参数；基于所有像素的着色器参数构建着色器，利用着色器对第二三维场景几何信息和第二三维场景光照信息进行着色计算，以得到预测渲染结果；以预测渲染结果与真实渲染结果之差构建损失函数，并以该损失函数优化超网络参数，参数优化结束后，得到着色器参数更新模型；

利用本地端渲染流水线对场景数据进行渲染，得到第二三维场景几何信息、第二三维场景运动信息；

在本地端依据接收的着色器参数构建着色器，并根据第二三维场景运动信息维护历史着色器；

将第二三维场景几何信息和第二三维场景光照信息输入至着色器，经过计算得到最终渲染结果。

2.根据权利要求1所述的基于超网络的三维场景云渲染方法，其特征在于，所述依据第一三维场景运动信息分析变化大的关注像素点，包括：

分析渲染帧之间的第一三维场景运动信息，如果在当前渲染帧中，某个像素点无法在历史渲染帧中找到对应的像素点，则认为该像素点变化大，为关注像素点。

3.根据权利要求1所述的基于超网络的三维场景云渲染方法，其特征在于，所述着色器为函数的隐式表达或神经网络。

4.根据权利要求1所述的基于超网络的三维场景云渲染方法，其特征在于，所述三维场景云渲染方法还包括：

每隔一段时间，在云端利用着色器参数更新模型为当前渲染帧所有像素重新预测着色器参数；在云端根据着色器参数构建着色器，利用着色器进行着色得到渲染结果；若该渲染结果与历史着色器维护的渲染结果相差大于像素阈值，则将该像素的着色器参数下传到本地端。

5.根据权利要求1所述的基于超网络的三维场景云渲染方法，其特征在于，在本地端利用着色器进行着色渲染时，不同渲染帧之间，利用第二三维场景运动信息来复用着色器，即将不同渲染帧之间通过第二三维场景运动信息相联系的两个像素点采用同一着色器着色渲染。

6.根据权利要求1所述的基于超网络的三维场景云渲染方法，其特征在于，所述第一三维场景几何信息和第二三维场景几何信息包括位置贴图、深度贴图、法线贴图、材质贴图；

所述第一三维场景运动信息和所述第二三维场景运动信息包括相邻两帧间的三维场景运动信息，或当前帧与各历史帧之间的三维场景运动信息；

所述第一三维场景光照信息和所述第二三维场景光照信息包括光源参数、光源参数经过神经网络编码处理的编码向量，其中，光源参数包括光源类型、光源形状、光源位置、光照方向、光照强度、环境光贴图中的至少一种。

7.一种基于超网络的三维场景云渲染系统，其特征在于，包括云端和本地端；

所述云端用于利用云端渲染流水线对场景数据进行渲染，得到第一三维场景几何信息、第一三维场景渲染图、以及第一三维场景运动信息；还用于依据第一三维场景运动信息分析变化大的关注像素点，包括分析渲染帧之间的第一三维场景运动信息，如果像素点在相邻两渲染帧中颜色变化超过阈值，则认为该像素点变化大，为关注像素点；还用于从第一三维场景几何信息和第一三维场景渲染图中提取与关注像素点相关的数据输入基于超网络构建的着色器参数更新模型，将第一三维场景光照信息同时输入基于超网络构建的着色器参数更新模型，经计算输出与关注像素点对应的着色器参数，并将着色器参数传输至本地端；

其中，基于超网络构建的着色器参数更新模型的构建过程包括：

以第一三维场景几何信息、第一三维场景渲染图以及第一三维场景光照信息作为基于神经网络构建的超网络的输入，经计算输出所有像素的着色器参数；基于所有像素的着色器参数构建着色器，利用着色器对第二三维场景几何信息和第二三维场景光照信息进行着色计算，以得到预测渲染结果；以预测渲染结果与真实渲染结果之差构建损失函数，并以该损失函数优化超网络参数，参数优化结束后，得到着色器参数更新模型；

所述本地端利用本地端渲染流水线对场景数据进行渲染，得到第二三维场景几何信息、第二三维场景运动信息；还用于依据接收的着色器参数构建着色器，并根据第二三维场景运动信息维护历史着色器；还用于将第二三维场景几何信息和第二三维场景光照信息输入至着色器，经过计算得到最终渲染结果。

Images