CN117456113A - 一种云端离线渲染交互应用实现方法及系统 - Google Patents

Abstract

一种云端离线渲染交互应用实现方法及系统，涉及工业模型三维渲染技术领域，包括终端和云端，终端程序初始化，发送渲染命令至云端，命令云端生成渲染实例；加载模型文件及创建三维场景，并将三维场景同步至云端渲染实例；进行三维场景编辑操作，并将场景变化增量同步至云端，云端渲染实例离线并行处理渲染任务；采用基于路径追踪算法离线渲染生成高渲染图像，编码压缩后，以视频流的形式发送至终端，采用融合的混合方程，将渲染图像与三维场景编辑操作后的场景变化增量进行融合，生成新的图像后重新编码为视频流，并播放显示。本公开提高云端渲染图像的画面质量，降低了终端硬件资源限制。

Description

一种云端离线渲染交互应用实现方法及系统

技术领域

本公开涉及工业模型三维渲染技术领域，具体涉及一种云端离线渲染交互应用实现方法、系统、介质及设备。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

渲染是指根据场景或模型的描述生成图像，并呈现在屏幕上的过程。在渲染过程中，计算机需要对模型或场景进行大量的计算和图形处理，包括建模、纹理、映射、光照计算、投影变换、视点变换等，涉及光线追踪、阴影计算、反射、折射等技术。渲染过程描述了用计算机虚拟化真实世界的基本逻辑。

目前，常见的渲染类型有：实时渲染、离线渲染、云渲染。其中，实时渲染为边计算画面边输出显示，特点是追求渲染速度，能够实时操控交互。但是受终端硬件性能的限制，渲染的速度、效果和真实度相对一般，必要时牺牲画面效果来满足实时性要求。

离线渲染为先构建逼真的物体和场景，再根据定义好的场景设置，将模型在光线、视点、运动轨迹等不同因素的作用下的视觉画面计算出来，追求高质量的渲染效果。缺点是渲染时用户不能实时控制物体和场景，交互性差。

云渲染与常规的云计算类似，在云端服务器运行3D应用程序，终端通过web软件提交指令，服务器根据指令执行对应的渲染任务，而渲染结果画面被传送回终端显示，这种云渲染技术存在网络延迟、画面卡顿、画质不足的问题，以及渲染服务器集群运维成本高等情况。所以，现有的渲染方式对于终端设备配置不高的用户无法体验低延迟、强交互以及高画质的渲染服务。

发明内容

本公开为了解决上述问题，提出了一种云端离线渲染交互应用实现方法、系统、介质及设备，实现3D应用程序在终端运行，完成交互操作（非渲染逻辑）的运算，云端只承担渲染职能，并且采用基于路径追踪算法的离线渲染，提高渲染画面的质量，提高资源利用率和整体负载能力，让系统架构更具有拓展性和可用性。

根据一些实施例，本公开采用如下技术方案：

一种云端离线渲染交互应用实现方法，应用于终端，包括：

终端程序初始化，发送渲染命令至云端，命令云端生成渲染实例；

加载模型文件及创建三维场景，并将三维场景同步至云端渲染实例；

进行三维场景编辑操作，并将场景变化增量同步至云端，云端渲染实例离线并行处理渲染任务；

接收云端渲染实例离线渲染后的视频流，对视频流解码，得到云端渲染实例生成的渲染图像；

采用融合的混合方程，将渲染图像与三维场景编辑操作后的场景变化增量进行融合，生成新的图像后重新编码为视频流，并播放显示。

根据一些实施例，本公开采用如下技术方案：

一种云端离线渲染交互应用实现方法，应用于云端，包括：

云端加载，接收终端渲染命令，并调度渲染服务器生成对应渲染实例；

接收终端同步来的三维场景以及场景变化增量；

根据三维场景的复杂度，通过渲染服务器动态调度渲染节点，离线并行处理渲染任务；

采用基于路径追踪算法离线渲染生成高渲染图像，编码压缩后，以视频流的形式发送至终端。

根据一些实施例，本公开采用如下技术方案：

一种云端离线渲染交互应用实现系统，包括终端和云端，

所述终端，被配置为：终端程序初始化，发送渲染命令至云端，命令云端生成渲染实例；加载模型文件及创建三维场景，并将三维场景同步至云端渲染实例；进行三维场景编辑操作，并将场景变化增量同步至云端，云端渲染实例离线并行处理渲染任务；接收云端渲染实例离线渲染后的视频流，对视频流解码，得到云端渲染实例生成的渲染图像；采用融合的混合方程，将渲染图像与三维场景编辑操作后的场景变化增量进行融合，生成新的图像后重新编码为视频流，并播放显示；

所述云端，被配置为：云端加载，接收终端渲染命令，并调度渲染服务器生成对应渲染实例；接收终端同步来的三维场景以及场景变化增量；根据三维场景的复杂度，通过渲染服务器动态调度渲染节点，离线并行处理渲染任务；采用基于路径追踪算法离线渲染生成高渲染图像，编码压缩后，以视频流的形式发送至终端。

根据一些实施例，本公开采用如下技术方案：

一种云端离线渲染交互应用实现方法，包括：

终端启动3D应用程序，并向云端发送渲染命令，云端命令服务器调度渲染服务器生成对应渲染实例；

终端加载模型文件，创建三维场景，并将三维场景同步至云端渲染实例；终端进行三维场景编辑操作，并将场景变化增量同步至云端；

云端渲染实例根据三维场景的复杂度，通过渲染服务器动态调度渲染节点，离线并行处理渲染任务；云端渲染实例采用基于路径追踪的离线渲染生成高渲染图像；云端渲染实例将渲染图像推送给视频服务器进行编码和压缩，以视频流形式推送给终端；终端接收视频流并解码，得到云端渲染实例生成的渲染图像；终端采用融合的混合方程，将渲染图像与三维场景编辑操作的场景变化增量进行融合，生成新的图像；终端将融合后的新图像重新编码为视频流，并播放显示。

与现有技术相比，本公开的有益效果为：

本公开的一种云端离线渲染交互应用实现方法，提供了一种更加灵活、高校的云渲染方案，让3D应用程序在终端侧运行，完成交互操作（非渲染逻辑）的运算，云端只承担渲染的功能，在物理层面来说，整个云渲染过程中，终端所进行的计算、网络传输、编码解码等每一个环节不会对最终的用户渲染体验产生影响，云端离线渲染更注重渲染效果和质量，适用于对时间要求相对较低且渲染复杂度较高的场景，减轻对终端硬件配置的要求，充分利用了终端的算力；并且基于实时通信技术的技术特点，云端根据终端的地址，通过WebRTC协议建立音/视频流传输通道和交互控制命令传递通道，这是一个实时双向数据通道，可用于发送和接收数据流；通过WebSocket协议建立程序接口控制通道，发送给渲染程序，这样通过构建更好的网络设施、缩短传输距离、在保证画质的基础上减小传输数据量，以平衡画质与延迟，实现更好的云渲染体验。

本公开采用终端实时计算交互操作以及云端离线渲染场景内容的混合渲染方式，提高了云端渲染图像的画面质量，降低了终端硬件资源限制，又充分利用了终端的计算能力，达到了低延迟、强交互、高画质的渲染效果。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例的一种云端离线渲染交互应用实现方法的物理架构图；

图2为本公开实施例的一种云端离线渲染交互应用实现方法的总体渲染方法流程图；

图3为本公开实施例的一种云端离线渲染交互应用实现方法在终端所实现的方法流程图；

图4为本公开实施例的一种云端离线渲染交互应用实现方法在云端所实现的方法流程图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

本公开的一种实施例中提供了一种云端离线渲染交互应用实现方法，应用在终端，如图3所示，包括：

终端程序初始化，发送渲染命令至云端，命令云端生成渲染实例；

加载模型文件及创建三维场景，并将三维场景同步至云端渲染实例；

进行三维场景编辑操作，并将场景变化增量同步至云端，云端渲染实例离线并行处理渲染任务；

接收云端渲染实例离线渲染后的视频流，对视频流解码，得到云端渲染实例生成的渲染图像；

采用融合的混合方程，将渲染图像与三维场景编辑操作后的场景变化增量进行融合，生成新的图像后重新编码为视频流，并播放显示。

进一步的，终端程序初始化为终端启动3D应用程序，3D应用程序在终端运行，只负责进行三维场景交互操作的计算。

进一步的，终端加载模型文件在本地读取模型文件，并上传至云存储空间，如云端NAS存储服务器，该云存储空间不仅保存模型文件，还包括材质、纹理、贴图等资源。

进一步的，创建三维场景、以及编辑操作包括：用户进入编辑器页面，拾取三维场景中的对象，终端采用射线投射拾取的方式，获取三维场景中选中的对象，并给选中对象增加黄色边框用来标记选中状态，而将源选中对象的透明度设置为0表示完全透明，如模型、相机、物体、背景场景等，并进行交互，如对模型进行旋转、缩放、平移等操作。

作为一种实施例，终端包括个人电脑、平板、手机以及交互式屏幕等设备，终端将场景数据以及场景变化增量同步至云端渲染实例，云端渲染实例离线并行处理渲染任务；

当云端接收同步请求后，并将数据更新到渲染实例的场景对象中，云端渲染实例根据三维场景的复杂度，通过渲染服务器动态调度渲染节点，并行处理渲染任务。在并行计算过程中，计算节点之间相互交流和同步数据，如共享光照数据、相机设置等数据，以保证整个渲染效果的一致性。

进一步的，在云端采用基于路径追踪算法离线渲染生成高渲染图像，包括：

路径追踪算法是渲染方程，是在物理的基础上定义的，利用它实现基于物理的渲染（PBR），渲染方程公式为，

其中，表示某个点，/>表示单位向量，/>表示反射光的辐射率，即单位面积下接收到来自单位立体角的辐射通量，/>表示自发光辐射率，即自发光往相机方向的辐射通量，/>表示双向反射分布函数，计算出有多少辐射通量被反射Camera中，/>表示入射光的辐射率，/>表示光线的投影cosθ，/>表示微分立体角，/>表示入射光对表面产生的辐照度，表示光照强度；n表示积分次数，打向像素点的光线数；w _i表示p点的一个随机方向。

然后使用蒙特卡洛积分公式求取积分，做重要性采样，求解渲染方程，生层渲染图像后推送给视频服务器进行编码压缩。

具体的，蒙特卡洛积分公式为，

其中，表示取值点，/>表示概率密度函数，指某个确定的取值点x附近的一小块区域对应的面积，即是其概率值，/>表示随机采样值，/>表示区间，x _i表示第i次的取值点的值。

然后，通过使用蒙特卡洛方法求积分，并做重要性采样，进而求解出渲染方程：

进一步的，云端渲染实例将生成的高质量图像推送给视频服务器；

云端视频服务器接收渲染图像，并采用H264标准进行编码和压缩，以视频流的形式推送给对应的终端。

场景数据信息包括终端标识ID、场景标识、渲染参数等。

基于实时通信技术的技术特点，云端根据终端的地址，通过WebRTC协议建立音/视频流传输通道和交互控制命令传递通道，这是一个实时双向数据通道，可用于发送和接收数据流；通过WebSocket协议建立程序接口控制通道，并发送给渲染程序。

终端利用WebRTC协议建立音/视频流传输通道和交互控制命令传递通道向终端发送各种命令以及各种数据信息，实现终端和云端的交互。

进一步的，终端接收云端渲染实例离线渲染后的视频流，对视频流解码，得到云端渲染实例生成的渲染图像；

采用融合的混合方程，将渲染图像与三维场景编辑操作后的场景变化增量进行融合，生成新的图像后重新编码为视频流，并播放显示。

具体的，终端采用融合的混合方程，将渲染图像与三维场景编辑操作的变化增加进行融合，生成新图像，混合方程公式为：

其中，为输出颜色，/>为源颜色，指是要绘制的颜色，cloud指云端；为目标颜色，是已经存在于帧缓冲区的颜色；client指客户端（终端），/>为目标颜色的alpha值，作为因子。

混合就是一种颜色计算，将材质内部颜色采用指定计算模式，叠加生成最终的结果；终端将合并后的新图像重新编码为视频流，并播放显示，渲染完成。

实施例2

本公开的一种实施例中提供了一种云端离线渲染交互应用实现方法，应用于云端，如图4所示，包括：

云端加载，接收终端渲染命令，并调度渲染服务器生成对应渲染实例；

接收终端同步来的三维场景以及场景变化增量；

根据三维场景的复杂度，通过渲染服务器动态调度渲染节点，离线并行处理渲染任务；

采用基于路径追踪算法离线渲染生成高渲染图像，编码压缩后，以视频流的形式发送至终端。

进一步的，云端包括渲染服务器、命令服务器、存储服务器以及视频服务器，所述渲染服务器采用集群部署的方式，命令服务器用于监听终端发送的各种命令，调度渲染服务器生成对应的渲染实例并执行相应操作。云端服务器监听终端的网络连接状态，当连接中断，则终止渲染程序并释放通信通道；

进一步的，当云端接收同步请求后，并将数据更新到渲染实例的场景对象中，云端渲染实例根据三维场景的复杂度，通过渲染服务器动态调度渲染节点，并行处理渲染任务。在并行计算过程中，计算节点之间相互交流和同步数据，如共享光照数据、相机设置等数据，以保证整个渲染效果的一致性。

进一步的，采用基于路径追踪算法离线渲染生成高渲染图像，包括：

路径追踪算法是渲染方程，是在物理的基础上定义的，利用它实现基于物理的渲染（PBR），渲染方程公式为，

其中，表示某个点，/>表示单位向量，/>表示反射光的辐射率，即单位面积下接收到来自单位立体角的辐射通量，/>表示自发光辐射率，即自发光往相机方向的辐射通量，/>表示双向反射分布函数，计算出有多少辐射通量被反射Camera中，/>表示入射光的辐射率，/>表示光线的投影cosθ，/>表示微分立体角，/>表示入射光对表面产生的辐照度，表示光照强度；n表示积分次数，打向像素点的光线数；w _i表示p点的一个随机方向。

然后使用蒙特卡洛积分公式求取积分，做重要性采样，求解渲染方程，生层渲染图像后推送给视频服务器进行编码压缩。

具体的，蒙特卡洛积分公式为，

其中，表示取值点，/>表示概率密度函数，指某个确定的取值点x附近的一小块区域对应的面积，即是其概率值，/>表示随机采样值，/>表示区间，x _i表示第i次的取值点的值。

然后，通过使用蒙特卡洛方法求积分，并做重要性采样，进而求解出渲染方程：

进一步的，云端渲染实例将生成的高质量图像推送给视频服务器；

云端视频服务器接收渲染图像，并采用H264标准进行编码和压缩，以视频流的形式推送给对应的终端。

实施例3

本公开的一种实施例中提供了一种云端离线渲染交互应用实现系统，包括终端和云端，如图1所示，

终端，被配置为：终端程序初始化，发送渲染命令至云端，命令云端生成渲染实例；加载模型文件及创建三维场景，并将三维场景同步至云端渲染实例；进行三维场景编辑操作，并将场景变化增量同步至云端，云端渲染实例离线并行处理渲染任务；接收云端渲染实例离线渲染后的视频流，对视频流解码，得到云端渲染实例生成的渲染图像；采用融合的混合方程，将渲染图像与三维场景编辑操作后的场景变化增量进行融合，生成新的图像后重新编码为视频流，并播放显示；

云端，被配置为：云端加载，接收终端渲染命令，并调度渲染服务器生成对应渲染实例；接收终端同步来的三维场景以及场景变化增量；根据三维场景的复杂度，通过渲染服务器动态调度渲染节点，离线并行处理渲染任务；采用基于路径追踪算法离线渲染生成高渲染图像，编码压缩后，以视频流的形式发送至终端。

所述终端可为PC端或者移动端，具体的可为个人电脑、平板、手机以及交互式屏幕等设备。

所述终端与云端进行通信交互，基于实时通信技术的技术特点，云端根据终端的地址，通过网关、WebRTC协议建立音/视频流传输通道和交互控制命令传递通道，这是一个实时双向数据通道，可用于发送和接收数据流；通过WebSocket协议建立程序接口控制通道，并发送给渲染程序。

所述云端包括渲染服务器、命令服务器、存储服务器、视频服务器，云端渲染服务器，采用集群部署方式；云端命令服务器，实时监听终端发送来的各种命令，调度渲染服务器生成对应的渲染实例并执行相应操作；云端服务器监听终端的网络连接状态，当连接中断，则终止渲染程序并释放通信通道，所述存储服务器用于存储各种模型文件、数据信息等。

其中，命令服务器能够发送渲染调度命令至渲染服务器，命令渲染服务器生成渲染实例，所述存储服务器用于同步各种模型文件以及数据信息至渲染服务器，云端渲染实例将生成的高质量图像推送给视频服务器，视频服务器接收渲染图像，并采用H264标准进行编码和压缩，以视频流的形式推送给对应的终端。

实施例4

本公开的一种实施例中提供了一种云端离线渲染交互应用实现方法，实现云端和终端的交互应用实现，如图2所示，包括：

终端启动3D应用程序，并向云端发送渲染命令，云端命令服务器调度渲染服务器生成对应渲染实例；

终端加载模型文件，创建三维场景，并将三维场景同步至云端渲染实例；终端进行三维场景编辑操作，并将场景变化增量同步至云端；

云端渲染实例根据三维场景的复杂度，通过渲染服务器动态调度渲染节点，离线并行处理渲染任务；云端渲染实例采用基于路径追踪的离线渲染生成高渲染图像；云端渲染实例将渲染图像推送给视频服务器进行编码和压缩，以视频流形式推送给终端；终端接收视频流并解码，得到云端渲染实例生成的渲染图像；终端采用融合的混合方程，将渲染图像与三维场景编辑操作的场景变化增量进行融合，生成新的图像；终端将融合后的新图像重新编码为视频流，并播放显示。渲染完成。

本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种云端离线渲染交互应用实现方法，其特征在于，应用于终端，包括：

终端程序初始化，发送渲染命令至云端，命令云端生成渲染实例；

加载模型文件及创建三维场景，并将三维场景同步至云端渲染实例；

进行三维场景编辑操作，并将场景变化增量同步至云端，云端渲染实例离线并行处理渲染任务；

接收云端渲染实例离线渲染后的视频流，对视频流解码，得到云端渲染实例生成的渲染图像；

采用融合的混合方程，将渲染图像与三维场景编辑操作后的场景变化增量进行融合，生成新的图像后重新编码为视频流，并播放显示。

2.如权利要求1所述的一种云端离线渲染交互应用实现方法，其特征在于，所述终端程序初始化为终端启动3D应用程序，所述3D应用程序在终端运行，进行三维场景交互操作的计算。

3.如权利要求1所述的一种云端离线渲染交互应用实现方法，其特征在于，所述终端包括个人电脑、平板、手机以及交互式屏幕设备。

4.如权利要求1所述的一种云端离线渲染交互应用实现方法，其特征在于，所述加载模型文件为读取本地模型文件，并上传至云存储空间，所述云存储空间用于保存模型文件、材质、纹理以及贴图资源。

5.如权利要求1所述的一种云端离线渲染交互应用实现方法，其特征在于，创建三维场景、以及编辑操作包括：进入编辑器页面，拾取三维场景中的对象，包括模型、相机、物体以及背景场景，并进行交互，对模型进行旋转、缩放以及平移编辑操作。

6.一种云端离线渲染交互应用实现方法，其特征在于，应用于云端，包括：

云端加载，接收终端渲染命令，并调度渲染服务器生成对应渲染实例；

接收终端同步来的三维场景以及场景变化增量；

根据三维场景的复杂度，通过渲染服务器动态调度渲染节点，离线并行处理渲染任务；

采用基于路径追踪算法离线渲染生成高渲染图像，编码压缩后，以视频流的形式发送至终端。

7.如权利要求6所述的一种云端离线渲染交互应用实现方法，其特征在于，所述云端包括渲染服务器、命令服务器、存储服务器以及视频服务器，所述渲染服务器采用集群部署的方式，命令服务器用于监听终端发送的各种命令，调度渲染服务器生成对应的渲染实例并执行相应操作。

8.如权利要求6所述的一种云端离线渲染交互应用实现方法，其特征在于，包括：基于路径追踪算法为渲染方程，利用渲染方程实现基于物理的渲染，然后使用蒙特卡洛积分公式求取积分，做重要性采样，求解渲染方程，生层渲染图像后推送给视频服务器进行编码压缩。

9.一种云端离线渲染交互应用实现系统，其特征在于，包括云端和终端，

所述终端，被配置为：终端程序初始化，发送渲染命令至云端，命令云端生成渲染实例；加载模型文件及创建三维场景，并将三维场景同步至云端渲染实例；进行三维场景编辑操作，并将场景变化增量同步至云端，云端渲染实例离线并行处理渲染任务；接收云端渲染实例离线渲染后的视频流，对视频流解码，得到云端渲染实例生成的渲染图像；采用融合的混合方程，将渲染图像与三维场景编辑操作后的场景变化增量进行融合，生成新的图像后重新编码为视频流，并播放显示；

所述云端，被配置为：云端加载，接收终端渲染命令，并调度渲染服务器生成对应渲染实例；接收终端同步来的三维场景以及场景变化增量；根据三维场景的复杂度，通过渲染服务器动态调度渲染节点，离线并行处理渲染任务；采用基于路径追踪算法离线渲染生成高渲染图像，编码压缩后，以视频流的形式发送至终端。

10.一种云端离线渲染交互应用实现方法，基于权利要求9所述的一种云端离线渲染交互应用实现系统，其特征在于，包括：

终端启动3D应用程序，并向云端发送渲染命令，云端命令服务器调度渲染服务器生成对应渲染实例；

终端加载模型文件，创建三维场景，并将三维场景同步至云端渲染实例；终端进行三维场景编辑操作，并将场景变化增量同步至云端；

云端渲染实例根据三维场景的复杂度，通过渲染服务器动态调度渲染节点，离线并行处理渲染任务；云端渲染实例采用基于路径追踪的离线渲染生成高渲染图像；云端渲染实例将渲染图像推送给视频服务器进行编码和压缩，以视频流形式推送给终端；终端接收视频流并解码，得到云端渲染实例生成的渲染图像；终端采用融合的混合方程，将渲染图像与三维场景编辑操作的场景变化增量进行融合，生成新的图像；终端将融合后的新图像重新编码为视频流，并播放显示。