CN108235053A - 交互式渲染方法、设备和系统 - Google Patents
交互式渲染方法、设备和系统 Download PDFInfo
- Publication number
- CN108235053A CN108235053A CN201611178454.3A CN201611178454A CN108235053A CN 108235053 A CN108235053 A CN 108235053A CN 201611178454 A CN201611178454 A CN 201611178454A CN 108235053 A CN108235053 A CN 108235053A
- Authority
- CN
- China
- Prior art keywords
- global illumination
- result
- voxel
- cloud device
- scene image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 60
- 238000009877 rendering Methods 0.000 title claims abstract description 42
- 238000005286 illumination Methods 0.000 claims abstract description 183
- 238000004364 calculation method Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims description 50
- 230000005540 biological transmission Effects 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000002360 preparation method Methods 0.000 claims 1
- 230000010415 tropism Effects 0.000 claims 1
- 230000007812 deficiency Effects 0.000 abstract description 11
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 12
- 239000000243 solution Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000005303 weighing Methods 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 4
- 244000144992 flock Species 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003760 hair shine Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005906 menstruation Effects 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种交互式渲染方法、装置和系统，涉及人机交互领域。其中的方法包括：云端设备接收终端发送的应用信息；云端设备根据应用信息重构场景图像，并对场景图像进行全局光照计算；云端设备将场景图像的全局光照结果发送至终端，以便终端将基于场景表面属性的局部光照计算结果与全局光照结果进行合成。本发明能够有效避免了性能受限终端面向VR、MR等3D交互式应用场景的处理能力不足问题。
Description
技术领域
本发明涉及人机交互领域，尤其涉及一种交互式渲染方法、装置和系统。
背景技术
随着终端与4G等网络能力的快速发展，云+端相结合的3D交互式应用及其后端的行业云解决方案成为继视频之后的高带宽应用热点。如虚拟营业厅、立体导航、VR(VirtualReality，虚拟现实)/AR(Augmented Reality，增强现实)生活服务、3D会展导览、移动在线游戏等交互式应用快速涌现，在不断带来全新沉浸式体验的同时，也对当前的网络、终端乃至软件等综合解决方案提出了更高要求。
一方面，VR/AR/MR等虚拟现实新技术的快速发展与应用，从客观上较大提升了对软件渲染技术及交互式画面品质的要求；其所涉及的复杂3D场景、实时全局/间接光照(Real-time Global Illumination，RTGI)等下一代高质量3D渲染技术对计算设备处理能力要求极高，移动端因处理能力、存储能力及能耗受限，无法应用上述技术，从而限制了其在当前热点领域的应用及效果呈现。
另一方面，全局光照等新一代高质量实时渲染技术需要更为强大的计算与存储能力，在目前性能、能耗及配置、成本受限的终端上几乎无法高效实现，以云服务的方式来提供类似视觉体验是目前最具现实意义的解决方案。然而为了能够提供此类云服务，目前依然存在着若干关键问题需要解决：
1)需要在尽可能保障高质量渲染效果的同时，尽可能减少其所需的计算存储需求；这二者目标往往是矛盾的，但必须尽可能权衡与兼顾。
2)需要提供更灵活、更优化的光照方案，实现对真实全局照明的快速近似计算，从而实现画面渲染整体效率的提升。
3)需要考虑云端-终端侧计算任务的合理分配与有效协同，进而实现基于终端的3D交互式应用。
发明内容
本发明要解决的一个技术问题是提供一种交互式渲染方法、装置和系统解决了由于性能受限终端面向3D交互式应用场景的处理能力不足问题。
根据本发明一方面，提出一种交互式渲染方法，包括：云端设备接收终端发送的应用信息；云端设备根据应用信息重构场景图像，并对场景图像进行全局光照计算；云端设备将场景图像的全局光照结果发送至终端，以便终端将基于场景表面属性的局部光照计算结果与全局光照结果进行合成。
进一步地，云端设备对场景图像进行全局光照计算包括：云端设备判断场景图像是否已体素化；若场景图像已体素化，则进行全局光照计算；否则，对场景图像进行体素化处理。
进一步地，云端设备对场景图像进行体素化处理包括：云端设备基于球谐波对场景图像进行体素化描述；对当前体素场景图像进行基于球谐波的体素方向性预滤波。
进一步地，云端设备进行全局光照计算包括：云端设备对进行体素方向性预滤波的体素场景图像进行体素锥光线跟踪；将光线跟踪结果进行多次体素方向性预滤波后，将原分辨率的体素场景图像缩小为N个小分辨率子图像；基于小分辨率图像进行体素锥光线跟踪，得到多帧小分辨率全局光照结果。
进一步地，还包括：云端设备将多帧小分辨率全局光照结果进行视频压缩编码，并封装成视频码流；在视频码流中添加视频同步信息后发送至终端。
根据本发明的另一方面，还提出一种交互式渲染方法，包括：终端将应用信息发送至云端设备，以便云端设备根据应用信息重构场景图像，并对场景图像进行全局光照计算；终端接收云端设备发送的全局光照结果；终端将基于场景表面属性的局部光照计算结果与全局光照结果进行合成。
进一步地，终端接收云端设备发送的全局光照结果包括：终端接收云端设备发送的视频码流，其中，视频码流中包括多帧小分辨率全局光照结果；对视频码流进行解码，将多帧小分辨率全局光照结果进行间插排列，形成全分辨率大图；使用高斯卷积核对全分辨率大图进行基于深度的图像滤波，得到全分辨率图像。
根据本发明的另一方面，还提出一种交互式渲染云端设备，包括：信息接收单元，用于接收终端发送的应用信息；场景重构单元，用于根据应用信息重构场景图像；全局光照计算单元，用于对场景图像进行全局光照计算；结果发送单元，用于将场景图像的全局光照结果发送至终端，以便终端将基于场景表面属性的局部光照计算结果与全局光照结果进行合成。
进一步地，全局光照计算单元用于判断场景图像是否已体素化，若场景图像已体素化，则进行全局光照计算，否则，对场景图像进行体素化处理。
进一步地，全局光照计算单元用于基于球谐波对场景图像进行体素化描述，对当前体素场景图像进行基于球谐波的体素方向性预滤波。
进一步地，全局光照计算单元用于对进行体素方向性预滤波的体素场景图像进行体素锥光线跟踪，将光线跟踪结果进行多次体素方向性预滤波后，将原分辨率的体素场景图像缩小为N个小分辨率子图像，基于小分辨率图像进行体素锥光线跟踪，得到多帧小分辨率全局光照结果。
进一步地，全局光照计算单元用于将多帧小分辨率全局光照结果进行视频压缩编码，并封装成视频码流，并在视频码流中添加视频同步信息。
根据本发明的另一方面，还提出一种交互式渲染终端，包括：信息发送单元，用于将应用信息发送至云端设备，以便云端设备根据应用信息重构场景图像，并对场景图像进行全局光照计算；结果接收单元，用于接收云端设备发送的全局光照结果；光照合成单元，用于将基于场景表面属性的局部光照计算结果与全局光照结果进行合成。
进一步地，结果接收单元用于接收云端设备发送的视频码流，其中，视频码流中包括多帧小分辨率全局光照结果；对视频码流进行解码，将多帧小分辨率全局光照结果进行间插排列，形成全分辨率大图；使用高斯卷积核对全分辨率大图进行基于深度的图像滤波，得到全分辨率图像。
根据本发明的另一方面，还提出一种交互式渲染系统，其特征在于，包括上述的云端设备和上述的终端。
与现有技术中非实时本地光照计算方式相比，本发明采用云加端混合渲染方式，即由云端设备负责实时全局光照的加速计算，而由终端来负责基于表面属性的局部光照计算，并负责最终的全局、局部光照计算结果合成，能够有效避免了性能受限终端面向VR、MR等3D交互式应用场景的处理能力不足问题。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明交互式渲染方法的一个实施例的流程示意图。
图2为本发明交互式渲染方法的另一个实施例的流程示意图。
图3A为本发明交互式渲染方法中体素锥光线跟踪算法应用的一个实施例的示意图。
图3B为本发明交互式渲染方法中体素锥光线跟踪算法应用的一个实施例的示意图。
图4为本发明交互式渲染方法中基于球谐波的体素方向性预滤波的一个实施例的流程示意图。
图5为体素方向性预滤波应用的一个实施例的示意图。
图6为本发明交互式渲染方法的再一个实施例的流程示意图。
图7为本发明交互式渲染方法的另一个实施例的流程示意图。
图8为本发明交互式渲染云端设备的一个实施例的结构示意图。
图9为本发明交互式渲染终端的一个实施例的结构示意图。
图10为本发明交互式渲染系统的一个实施例的结构示意图。
图11为本发明交互式渲染系统的一个实施例的架构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
图1为本发明交互式渲染方法的一个实施例的流程示意图。该方法包括以下步骤：
在步骤110，云端设备接收终端发送的应用信息。例如，3D空间中镜头所在场景、位置、朝向、FoV(Field Of View，视场角)配置等与索引场景数据相关的信息。
在步骤120，云端设备根据应用信息重构场景图像。云端设备根据应用信息自行索引相关场景信息并重建与终端侧一致的场景画面。
在步骤130，云端设备对场景图像进行全局光照计算。例如，针对3D场景进行体素化处理，然后基于体素化场景进行预滤波及体素锥光线跟踪，并计算GI漫反射场景。
在步骤140，云端设备将场景图像的全局光照结果发送至终端，以便终端将基于场景表面属性的局部光照计算结果与全局光照结果进行合成。其中，终端负责基于表面属性的局部光照计算与最终光照合成。
在该实施例中，采用云加端混合渲染方式，即由云端设备负责实时全局光照的加速计算，而由终端来负责基于表面属性的局部光照计算，并负责最终的全局、局部光照计算结果合成。与传统的非实时本地光照计算方式相比，该实施例有效避免了性能受限终端面向VR、MR等3D交互式应用场景的处理能力不足问题。
图2为本发明交互式渲染方法的另一个实施例的流程示意图。该方法包括以下步骤：
在步骤210，云端设备接收终端发送的场景、交互信息等，并进行逻辑计算。其中，终端实现镜头交互控制，并将场景、交互信息发送至云端设备，由云端设备进行应用逻辑计算同步。
在步骤220，云端设备判断场景图像是否已体素化，例如从当前高速缓冲中检索当前场景是否已实现体素化。如果已体素化，则执行步骤250，否则，执行步骤230。
在步骤230，基于球谐波对场景图像进行体素化描述。例如，云端设备将以X/Y/Z等6个主轴向为镜头方向，针对当前场景进行6轴保守光栅化操作，将当前3D场景转换为体素场景，并将当前3D场景中的表面属性(如面法线、albedo、roughness等)转换为2阶球谐波描述形式，并将其存储在场景体素中。
在步骤240，对当前体素场景图像进行基于球谐波的体素方向性预滤波。其中，可以首先根据体素化场景+终端直接光照等交互式信息，计算体素化场景中每一个体素所反射的直接光照，实现直接光照注入。此时对于每一个直接光源而言，体素均能获得一个对应的反射光照强度，该反射光照强度可用一个对应的Cos Lobe球谐波来描述，因此，在光照注入阶段，体素所获得的直接光照将等于每一个直接光源在体素处所产生的Cos Lobe球谐波系数之和。然后，将基于直接光照注入之后的体素化场景，进行基于球谐波的体素方向性预滤波。该方向性滤波处理是进行后继体素锥光线跟踪的前置条件。
在步骤250，对进行体素方向性预滤波的体素场景图像进行体素锥光线跟踪。将基于预滤波结果，以体素为单位，针对体素化场景上所有的表面体素，进行相应的体素锥光线跟踪。其光线跟踪所获得的结果将再次被进行方向性预滤波。上述过程将重复2-3次，以便获得2-3跳全局反射光。如图3A和3B所示，一次体素锥光线跟踪所得的结果可视为光线反射点在光线入射方向(即体素锥的延展方向)上所收集的入射光照能量的总和，其在数值上可近似等同于光照锥(即图3A中横线区域)所覆盖到的全部体素(即图3A中竖线区域)所拥有的方向性光照能量总和。注意到此处为了进一步加速体素锥光照能量的计算过程，在孔径较大的地方，我们采用上一LOD层级物理尺寸较大的体素来替代多个物理尺寸较小的下一LOD层级体素，从而极大降低了体素化场景的采样数量，进而提升单体素锥的光照能量累计计算过程。
在通常情况下，为计算某一具体像素所对应的GI间接光照，可首先沿其法线方向，将其上半球空间划分为N个互不相交的体素锥，然后以此像素所对应的体素为出发点，分别发起N次体素锥光线跟踪，进而将其光照能量结果进行累计，最终得到该像素处所获得的入射GI间接光照。我们可以针对体素化场景中的每一个体素，均重复上述步骤多次，从而获得整个体素化场景的多跳间接光照结果。
在步骤260，将光线跟踪结果进行多次体素方向性预滤波后，将原分辨率的体素场景图像缩小为N个小分辨率子图像。例如，云端设备根据需要生成的目标图像进行下采样，生成N个小分辨率图像。
在步骤270，基于小分辨率图像进行体素锥光线跟踪，得到多帧小分辨率全局光照结果。例如，云端设备基于小分辨率图像进行体素锥光线跟踪；针对特定的小分辨率图像，云端只进行1个特定方向上的体素锥光线跟踪，而不是N个方向上的体素锥光线跟踪；因此每个小分辨率图像对应着一个体素锥方向上的光线跟踪结果。
在步骤280，将多帧小分辨率全局光照结果进行视频压缩编码，并封装成视频码流。例如，以H.265/AVC自适应编码方式进行视频编码，并封装成相应的视频码流。
在步骤290，在视频码流中添加视频同步信息后发送至终端。这N个小分辨率图像将以相对独立的N路视频码流的方式，通过网络传输给终端侧。其中，终端对全局光照结果画面进行同步解码，然后进行解间插画面滤波重建，最后将重建之后的全局光照结果与本地局部光照计算结果合成，得到最终输出画面并显示。
单像素全局光照计算所需的平均体素锥光线跟踪数量被缩减到了1/N，从而极大提升了全局光照效率，同时，通过将其小分辨率图像编码成为相对独立的码流的形式，其视频传输效率也得以有效的提升，在实时全局光照计算及网络传输性能需得到充分保障的场合下，可以通过动态调账N的方式来实现其渲染质量与实时性能的灵活调整与有效权衡。
在该实施例中，采用云加段混合渲染方式，即由云端设备负责实时全局光照的加速计算，而由终端来负责基于表面属性的局部光照计算，并负责最终的全局、局部光照计算结果合成。与传统的非实时本地光照计算方式相比，该实施例有效避免了性能受限终端面向VR、MR等3D交互式应用场景的处理能力不足问题。另外，采用了二阶球谐波来描述方向体素，同时采用球谐波等效光照投影方式来实现不同LOD层级下球谐波体素的方向性预滤波；该方法不仅具备方向性光照及体素遮蔽关系的描述能力，在较低的体素分辨率下实现高质量全局光照效果，同时还可以在保障全局光照计算质量的前提下，尽可能地降低体素化场景的存储需求，提升方向性体素滤波的性能，进而从整体上提升全局光照计算质量。
体素预滤波流程指根据下一级LOD(level of details，层次细节)层级，即更精细的体素化场景生成上一级LOD层级，即更粗糙的体素化场景的过程。一般的，我们需要将下一LOD层级8个物理尺寸相对较小的体素，归并成为1个上一LOD层级物理尺寸相对较大的体素，并迭代重复这一过程，直至体素化场景的所有LOD层级全部生成为止。如图4所示：
在步骤410，每一个上一LOD层级的体素，对应着下一LOD层级的8个体素。如图5所示，由于其每个体素所对应的光照强度均以球谐波形式保存。因此，体素预滤波目标为：已知下一LOD层级8个体素所对应的球谐波，求得上一LOD层级体素所对应的1个等效球谐波。
在步骤420，针对每一个下一LOD层级体素(共8个)，均分别进行如下计算，并且将计算结果进行向量分量加和：
首先，将下一LOD层级体素所对应的球谐波光照强度投影至上一LOD层级体素(正方形)的6个面上，分别求出其在6个面上的等效投影光照强度。然后，将其6个等效投影光照强度进一步表述为6个二阶球谐波Cos Lobe(1个二阶球谐波对应4个球谐波系数)；针对每个球谐波的4个系数，均乘以相应的面所各自对应的球面角权值(6个面的球面角总和为4*Pi)；然后将6个加权之后的球谐波系数进行向量分量累计，得到该下一LOD层级体素所对应的二阶球谐波系数加权和；针对8个体素，重复上述过程，直到其所对应的全部8套二阶球谐波加权和全部矢量加和完毕为止。
在步骤430，针对上述过程中最终得到的二阶球谐波加权和进行归一化(各分量均除以8*4*Pi)，得到一个最终的二阶球谐波，该球谐波即为上一LOD层级体素所对应的等效球谐波光照表述。
在步骤440，重复上述体素归并过程，直到上一LOD层级体素化场景中每一个等效体素均计算完毕。
在步骤450，重复上述上一LOD层级体素化场景计算过程，直到整个体素化场景中所有的LOD层级计算完毕。
在该实施例中，采用球谐波等效光照投影方式来实现不同LOD层级下球谐波体素的方向性预滤波，该方法不仅具备方向性光照及体素遮蔽关系的描述能力，在较低的体素分辨率下实现高质量全局光照效果，同时还可以在保障GI光照计算质量的前提下，尽可能地降低体素化场景的存储需求，提升方向性体素滤波的性能，进而从整体上提升全局光照计算质量。
图6为本发明交互式渲染方法的再一个实施例的流程示意图。该方法包括以下步骤：
在步骤610，终端将应用信息发送至云端设备，以便云端设备根据应用信息重构场景图像，并对场景图像进行全局光照计算。例如，终端将3D镜头所在的场景、所在的位置、所采用的投影配置(正交/透视、Fov、远/近平面)、镜头朝向、镜头移动偏移、镜头运动速度等等发送至云端设备，可以帮助云端设备重建出与终端侧相同的场景画面。云端设备针对3D场景进行体素化处理，然后基于体素化场景进行预滤波及体素锥光线跟踪，并计算GI漫反射场景。
在步骤620，终端接收云端设备发送的全局光照结果。
在步骤630，终端将基于场景表面属性的局部光照计算结果与全局光照结果进行合成。
在该实施例中，采用云加端混合渲染方式，即由云端设备负责实时全局光照的加速计算，而由终端来负责基于表面属性的局部光照计算，并负责最终的全局、局部光照计算结果合成。与传统的非实时本地光照计算方式相比，该实施例有效避免了性能受限终端面向VR、MR等3D交互式应用场景的处理能力不足问题。
图7为本发明交互式渲染方法的另一个实施例的流程示意图。该实施例中，描述云端设备将以相对独立的N路视频码流的方式将全局光照结果发送至终端，终端对全局光照结果画面进行同步解码，然后进行解间插画面滤波重建的步骤：
在步骤710，云端设备根据需要生成的目标图像进行下采样，生成N个小分辨率图像。
在步骤720，云端设备基于小分辨率图像进行体素锥光线跟踪。针对特定的小分辨率图像，云端只进行1个特定方向上的体素锥光线跟踪，而不是N个方向上的体素锥光线跟踪；因此每个小分辨率图像对应着一个体素锥方向上的光线跟踪结果；这N个小分辨率图像将以相对独立的N路视频码流的方式，通过网络传输给终端侧。
在步骤730，终端侧针对小分辨率图像进行解码，然后将N个小分辨率图像的像素进行间插排列，形成全分辨率大图。
在步骤740，终端使用高斯卷积核对所述全分辨率大图进行基于深度的图像滤波，得到全分辨率图像。例如，终端侧使用3D卷积核，结合全分辨率大图所拥有的3D深度信息，对全分辨率大图进行N-taps滤波，以深度偏差为权重值，平滑画面中深度接近部位的像素光照，实现低频率GI画面的分辨率重建。
通过上述云端与终端侧协同处理的方式，单像素全局光照计算所需的平均体素锥光线跟踪数量被缩减到了1/N，从而极大提升了全局光照效率，同时，通过将其小分辨率图像编码成为相对独立的码流的形式，其视频传输效率也得以有效的提升，在实时全局光照计算及网络传输性能需得到充分保障的场合下，可以通过动态调账N的方式来实现其渲染质量与实时性能的灵活调整与有效权衡。
图8为本发明交互式渲染云端设备的一个实施例的结构示意图。该云端设备包括信息接收单元810、场景重构单元820、全局光照计算单元830和结果发送单元840，其中：
信息接收单元810用于接收终端发送的应用信息。例如，3D空间中镜头所在场景、位置、朝向、FoV配置等。场景重构单元820用于根据应用信息重构场景图像。例如，根据应用信息自行索引相关场景信息并重建与终端侧一致的场景画面。全局光照计算单元830用于对场景图像进行全局光照计算。例如，针对3D场景进行体素化处理，然后基于体素化场景进行预滤波及体素锥光线跟踪，并计算GI漫反射场景。结果发送单元840用于将场景图像的全局光照结果发送至终端，以便终端将基于场景表面属性的局部光照计算结果与全局光照结果进行合成。其中，终端负责基于表面属性的局部光照计算与最终光照合成。
在该实施例中，采用云加端混合渲染方式，即由云端设备负责实时全局光照的加速计算，而由终端来负责基于表面属性的局部光照计算，并负责最终的全局、局部光照计算结果合成。与传统的非实时本地光照计算方式相比，该实施例有效避免了性能受限终端面向VR、MR等3D交互式应用场景的处理能力不足问题。
在本发明的另一个实施例中，信息接收单元810用于接收终端发送的场景、交互信息等，并进行逻辑计算。其中，终端实现镜头交互控制，并将场景、交互信息发送至云端设备，由云端设备进行应用逻辑计算同步。场景重构单元820用于根据应用信息自行索引相关场景信息并重建与终端侧一致的场景画面。
全局光照计算单元830用于从当前高速缓冲中检索当前场景是否已实现体素化，若场景图像已体素化，则进行全局光照计算，否则，对场景图像进行体素化处理。其中，基于球谐波对场景图像进行体素化描述。例如，云端设备将以X/Y/Z等6个主轴向为镜头方向，针对当前场景进行6轴保守光栅化操作，将当前3D场景转换为体素场景，并将当前3D场景中的表面属性转换为2阶球谐波描述形式，并将其存储在场景体素中。还需要对当前体素场景图像进行基于球谐波的体素方向性预滤波。其中，可以首先根据体素化场景+终端直接光照等交互式信息，计算体素化场景中每一个体素所反射的直接光照，实现直接光照注入。此时对于每一个直接光源而言，体素均能获得一个对应的反射光照强度，该反射光照强度可用一个对应的Cos Lobe球谐波来描述，因此，在光照注入阶段，体素所获得的直接光照将等于每一个直接光源在体素处所产生的Cos Lobe球谐波系数之和。然后，将基于直接光照注入之后的体素化场景，进行基于球谐波的体素方向性预滤波。该方向性滤波处理是进行后继体素锥光线跟踪的前置条件。
全局光照计算单元830还用于对进行体素方向性预滤波的体素场景图像进行体素锥光线跟踪。将基于预滤波结果，以体素为单位，针对体素化场景上所有的表面体素，进行相应的体素锥光线跟踪。其光线跟踪所获得的结果将再次被进行方向性预滤波。上述过程将重复2-3次，以便获得2-3跳全局反射光。将光线跟踪结果进行多次体素方向性预滤波后，将原分辨率的体素场景图像缩小为N个小分辨率子图像。例如，云端设备根据需要生成的目标图像进行下采样，生成N个小分辨率图像。基于小分辨率图像进行体素锥光线跟踪，得到多帧小分辨率全局光照结果。例如，云端设备基于小分辨率图像进行体素锥光线跟踪；针对特定的小分辨率图像，云端只进行1个特定方向上的体素锥光线跟踪，而不是N个方向上的体素锥光线跟踪；因此每个小分辨率图像对应着一个体素锥方向上的光线跟踪结果。
全局光照计算单元830还用于将多帧小分辨率全局光照结果进行视频压缩编码，并封装成视频码流，在视频码流中添加视频同步信息。例如，以H.265/AVC自适应编码方式进行视频编码，并封装成相应的视频码流。其中，单像素全局光照计算所需的平均体素锥光线跟踪数量被缩减到了1/N，从而极大提升了全局光照效率，同时，通过将其小分辨率图像编码成为相对独立的码流的形式，其视频传输效率也得以有效的提升，在实时全局光照计算及网络传输性能需得到充分保障的场合下，可以通过动态调账N的方式来实现其渲染质量与实时性能的灵活调整与有效权衡。
结果发送单元840用于将全局光照结果发送至终端。这N个小分辨率图像将以相对独立的N路视频码流的方式，通过网络传输给终端侧。其中，终端对全局光照结果画面进行同步解码，然后进行解间插画面滤波重建，最后将重建之后的全局光照结果与本地局部光照计算结果合成，得到最终输出画面并显示。
在该实施例中，采用云加段混合渲染方式，即由云端设备负责实时全局光照的加速计算，而由终端来负责基于表面属性的局部光照计算，并负责最终的全局、局部光照计算结果合成。与传统的非实时本地光照计算方式相比，该实施例有效避免了性能受限终端面向VR、MR等3D交互式应用场景的处理能力不足问题。另外，采用了二阶球谐波来描述方向体素，同时采用球谐波等效光照投影方式来实现不同LOD层级下球谐波体素的方向性预滤波；该方法不仅具备方向性光照及体素遮蔽关系的描述能力，在较低的体素分辨率下实现高质量全局光照效果，同时还可以在保障全局光照计算质量的前提下，尽可能地降低体素化场景的存储需求，提升方向性体素滤波的性能，进而从整体上提升全局光照计算质量。
图9为本发明交互式渲染终端的一个实施例的结构示意图。该终端包括信息发送单元910、结果接收单元920和光照合成单元930，其中：
信息发送单元910用于将应用信息发送至云端设备，以便云端设备根据应用信息重构场景图像，并对场景图像进行全局光照计算。例如，终端将3D镜头所在的场景、所在的位置、所采用的投影配置(正交/透视、Fov、远/近平面)、镜头朝向、镜头移动偏移、镜头运动速度等等发送至云端设备，可以帮助云端设备重建出与终端侧相同的场景画面。云端设备针对3D场景进行体素化处理，然后基于体素化场景进行预滤波及体素锥光线跟踪，并计算GI漫反射场景。
结果接收单元920用于接收云端设备发送的全局光照结果。光照合成单元930用于将基于场景表面属性的局部光照计算结果与全局光照结果进行合成。
在该实施例中，采用云加端混合渲染方式，即由云端设备负责实时全局光照的加速计算，而由终端来负责基于表面属性的局部光照计算，并负责最终的全局、局部光照计算结果合成。与传统的非实时本地光照计算方式相比，该实施例有效避免了性能受限终端面向VR、MR等3D交互式应用场景的处理能力不足问题。
在另一个实施例中，当云端设备将以相对独立的N路视频码流的方式将全局光照结果发送至终端，结果接收单元920还用于针对小分辨率图像进行解码，然后将N个小分辨率图像的像素进行间插排列，形成全分辨率大图。使用高斯卷积核对所述全分辨率大图进行基于深度的图像滤波，得到全分辨率图像。例如，终端侧使用3D卷积核，结合全分辨率大图所拥有的3D深度信息，对全分辨率大图进行N-taps滤波，以深度偏差为权重值，平滑画面中深度接近部位的像素光照，实现低频率GI画面的分辨率重建。
通过上述云端与终端侧协同处理的方式，单像素全局光照计算所需的平均体素锥光线跟踪数量被缩减到了1/N，从而极大提升了全局光照效率，同时，通过将其小分辨率图像编码成为相对独立的码流的形式，其视频传输效率也得以有效的提升，在实时全局光照计算及网络传输性能需得到充分保障的场合下，可以通过动态调账N的方式来实现其渲染质量与实时性能的灵活调整与有效权衡。
图10为本发明交互式渲染系统的一个实施例的结构示意图。该系统包括云端设备1010和终端1020，其中，云端设备1010和终端1020已在上述实施例中进行了描述，此处不再进一步阐述。本发明采用云加端混合渲染方式，即由云端设备负责实时全局光照的加速计算，而由终端来负责基于表面属性的局部光照计算，并负责最终的全局、局部光照计算结果合成。与传统的非实时本地光照计算方式相比，能够有效避免了性能受限终端面向VR、MR等3D交互式应用场景的处理能力不足问题。
本领域的技术人员应当理解，云端设备以及终端中的各个单元所实现的功能可以用一个设备来实现，也可以利用两个或多个独立的设备来实现，例如云端设备的信息接收单元、场景重构单元、全局光照计算单元和结果发送单元所实现的功能可以用多个服务器来实现。如图11所示，信息接收单元和结果发送单元可以采用前端接入服务器1110，场景重构单元可以采用前端逻辑服务器1120，全局光照计算单元可以采用GI渲染服务器1130、视频编码服务器1140以及码流封装-传输服务器1150实现。
其中，终端1160主要包括移动应用客户端本身，主要实现3D应用交互逻辑以及基于3D场景表面属性的局部光照计算，同时还负责GI画面解码/上采样放大、以及最终全局光照+局部光照画面的合成输出。
前端接入服务器1110负责完成相应的用户会话/控制信息同步及缓冲，以负载均衡方式，将交互信息及应用逻辑信息上行传输给前端逻辑服务器1120及下行同步封装码流的传输。其中，控制信息可以包括PC上鼠标Cursor的移动量、光标键控信息等；在移动终端上，最常见的交互信息包括：触摸屏的点击位置、虚拟摇杆的移动量、手势/触摸所导致的系统交互控制信息等。前端逻辑服务器1120负载完成交互式应用的业务逻辑计算，输出场景画面渲染所需的指导信息，传输给GI渲染服务器1130。GI渲染服务器1130负责体素化当前3D场景、维护管理体素场景缓冲；并使用球谐波表述形式存储当前体素场景，进行相应的体素预滤波，并进行体素锥光线跟踪，实现基于像素间插的小分辨率全局光照近似计算。视频编码服务器1140负责将GI渲染服务器1130输出的多幅小分辨率全局光照计算结果进行视频压缩编码，并传递给码流封装-传输服务器1150封装为视频码流，并添加相应的帧同步信息，最终由经前端接入服务器1110传输给移动终端1160，由后者进行相应的视频解码与最终画面滤波重建。
在该实施例中，采用云加端混合渲染方式，即由云端设备负责实时全局光照的加速计算，而由终端来负责基于表面属性的局部光照计算，并负责最终的全局、局部光照计算结果合成。与传统的非实时本地光照计算方式相比，能够有效避免了性能受限终端面向VR、MR等3D交互式应用场景的处理能力不足问题。另外，基于球面谐波的方向性体素描述、基于球谐波的体素预滤波方法及其基于像素间插的全局光照近似合成等额外优化机制，还降低了云端侧实时全局光照计算所需的存储容量与计算成本，有效提升了终端侧的画面质量及其交互效率。
至此，已经详细描述了本发明。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本发明的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。
Claims (15)
1.一种交互式渲染方法，其特征在于，包括：
云端设备接收终端发送的应用信息；
所述云端设备根据所述应用信息重构场景图像，并对所述场景图像进行全局光照计算；
所述云端设备将所述场景图像的全局光照结果发送至所述终端，以便所述终端将基于场景表面属性的局部光照计算结果与所述全局光照结果进行合成。
2.根据权利要求1所述的方法，其特征在于，所述云端设备对所述场景图像进行全局光照计算包括：
所述云端设备判断所述场景图像是否已体素化；
若所述场景图像已体素化，则进行全局光照计算；
否则，对所述场景图像进行体素化处理。
3.根据权利要求2所述的方法，其特征在于，所述云端设备对所述场景图像进行体素化处理包括：
所述云端设备基于球谐波对所述场景图像进行体素化描述；
对当前体素场景图像进行基于球谐波的体素方向性预滤波。
4.根据权利要求3所述的方法，其特征在于，所述云端设备进行全局光照计算包括：
所述云端设备对进行体素方向性预滤波的体素场景图像进行体素锥光线跟踪；
将光线跟踪结果进行多次体素方向性预滤波后，将原分辨率的体素场景图像缩小为N个小分辨率子图像；
基于小分辨率图像进行体素锥光线跟踪，得到多帧小分辨率全局光照结果。
5.根据权利要求4所述的方法，其特征在于，还包括：
所述云端设备将多帧小分辨率全局光照结果进行视频压缩编码，并封装成视频码流；
在所述视频码流中添加视频同步信息后发送至所述终端。
6.一种交互式渲染方法，其特征在于，包括：
终端将应用信息发送至云端设备，以便所述云端设备根据所述应用信息重构场景图像，并对所述场景图像进行全局光照计算；
所述终端接收所述云端设备发送的全局光照结果；
所述终端将基于场景表面属性的局部光照计算结果与所述全局光照结果进行合成。
7.根据权利要求6所述的方法，其特征在于，所述终端接收所述云端设备发送的全局光照结果包括：
所述终端接收所述云端设备发送的视频码流，其中，所述视频码流中包括多帧小分辨率全局光照结果；
对所述视频码流进行解码，将多帧小分辨率全局光照结果进行间插排列，形成全分辨率大图；
使用高斯卷积核对所述全分辨率大图进行基于深度的图像滤波，得到全分辨率图像。
8.一种交互式渲染云端设备，其特征在于，包括：
信息接收单元，用于接收终端发送的应用信息；
场景重构单元，用于根据所述应用信息重构场景图像；
全局光照计算单元，用于对所述场景图像进行全局光照计算；
结果发送单元，用于将所述场景图像的全局光照结果发送至所述终端，以便所述终端将基于场景表面属性的局部光照计算结果与所述全局光照结果进行合成。
9.根据权利要求8所述的云端设备，其特征在于，所述全局光照计算单元用于判断所述场景图像是否已体素化，若所述场景图像已体素化，则进行全局光照计算，否则，对所述场景图像进行体素化处理。
10.根据权利要求9所述的云端设备，其特征在于，所述全局光照计算单元用于基于球谐波对所述场景图像进行体素化描述，对当前体素场景图像进行基于球谐波的体素方向性预滤波。
11.根据权利要求10所述的云端设备，其特征在于，所述全局光照计算单元用于对进行体素方向性预滤波的体素场景图像进行体素锥光线跟踪，将光线跟踪结果进行多次体素方向性预滤波后，将原分辨率的体素场景图像缩小为N个小分辨率子图像，基于小分辨率图像进行体素锥光线跟踪，得到多帧小分辨率全局光照结果。
12.根据权利要求11所述的云端设备，其特征在于，所述全局光照计算单元用于将多帧小分辨率全局光照结果进行视频压缩编码，并封装成视频码流，并在所述视频码流中添加视频同步信息。
13.一种交互式渲染终端，其特征在于，包括：
信息发送单元，用于将应用信息发送至云端设备，以便所述云端设备根据所述应用信息重构场景图像，并对所述场景图像进行全局光照计算；
结果接收单元，用于接收所述云端设备发送的全局光照结果；
光照合成单元，用于将基于场景表面属性的局部光照计算结果与所述全局光照结果进行合成。
14.根据权利要求11所述的终端，其特征在于，所述结果接收单元用于接收所述云端设备发送的视频码流，其中，所述视频码流中包括多帧小分辨率全局光照结果；对所述视频码流进行解码，将多帧小分辨率全局光照结果进行间插排列，形成全分辨率大图；使用高斯卷积核对所述全分辨率大图进行基于深度的图像滤波，得到全分辨率图像。
15.一种交互式渲染系统，其特征在于，包括权利要求8-12任一所述的云端设备和权利要求13或14所述的终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611178454.3A CN108235053B (zh) | 2016-12-19 | 2016-12-19 | 交互式渲染方法、设备、终端和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611178454.3A CN108235053B (zh) | 2016-12-19 | 2016-12-19 | 交互式渲染方法、设备、终端和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108235053A true CN108235053A (zh) | 2018-06-29 |
| CN108235053B CN108235053B (zh) | 2020-07-07 |
Family
ID=62651620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611178454.3A Active CN108235053B (zh) | 2016-12-19 | 2016-12-19 | 交互式渲染方法、设备、终端和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108235053B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458902A (zh) * | 2019-03-26 | 2019-11-15 | 华为技术有限公司 | 3d光照估计方法及电子设备 |
| CN111739142A (zh) * | 2019-03-22 | 2020-10-02 | 厦门雅基软件有限公司 | 场景渲染方法、装置、电子设备及计算机可读存储介质 |
| CN111815750A (zh) * | 2020-06-30 | 2020-10-23 | 深圳市商汤科技有限公司 | 对图像打光的方法及装置、电子设备和存储介质 |
| CN112002019A (zh) * | 2020-08-25 | 2020-11-27 | 成都威爱新经济技术研究院有限公司 | 一种基于mr混合现实的模拟人物阴影的方法 |
| WO2021135989A1 (zh) * | 2019-12-31 | 2021-07-08 | 中兴通讯股份有限公司 | 虚拟营业厅系统、业务处理方法、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050041024A1 (en) * | 2003-08-20 | 2005-02-24 | Green Robin J. | Method and apparatus for real-time global illumination incorporating stream processor based hybrid ray tracing |
| CN102622776A (zh) * | 2011-01-31 | 2012-08-01 | 微软公司 | 三维环境重构 |
| US20140327690A1 (en) * | 2013-05-03 | 2014-11-06 | Nvidia Corporation | System, method, and computer program product for computing indirect lighting in a cloud network |
| US20140375659A1 (en) * | 2013-05-03 | 2014-12-25 | Nvidia Corporation | Image illumination rendering system and method |
| US20150187129A1 (en) * | 2014-01-02 | 2015-07-02 | Nvidia Corporation | Technique for pre-computing ambient obscurance |
-
2016
- 2016-12-19 CN CN201611178454.3A patent/CN108235053B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050041024A1 (en) * | 2003-08-20 | 2005-02-24 | Green Robin J. | Method and apparatus for real-time global illumination incorporating stream processor based hybrid ray tracing |
| CN102622776A (zh) * | 2011-01-31 | 2012-08-01 | 微软公司 | 三维环境重构 |
| US20140327690A1 (en) * | 2013-05-03 | 2014-11-06 | Nvidia Corporation | System, method, and computer program product for computing indirect lighting in a cloud network |
| US20140375659A1 (en) * | 2013-05-03 | 2014-12-25 | Nvidia Corporation | Image illumination rendering system and method |
| US20150187129A1 (en) * | 2014-01-02 | 2015-07-02 | Nvidia Corporation | Technique for pre-computing ambient obscurance |
Non-Patent Citations (2)
| Title |
|---|
| 王书民: "一种基于全局和局部光照估计的Retinex图像增强算法", 《科学技术与工程》 * |
| 郭静: "基于PRT的大规模场景全局光照技术", 《计算机工程与设计》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739142A (zh) * | 2019-03-22 | 2020-10-02 | 厦门雅基软件有限公司 | 场景渲染方法、装置、电子设备及计算机可读存储介质 |
| CN110458902A (zh) * | 2019-03-26 | 2019-11-15 | 华为技术有限公司 | 3d光照估计方法及电子设备 |
| CN110458902B (zh) * | 2019-03-26 | 2022-04-05 | 华为技术有限公司 | 3d光照估计方法及电子设备 |
| WO2021135989A1 (zh) * | 2019-12-31 | 2021-07-08 | 中兴通讯股份有限公司 | 虚拟营业厅系统、业务处理方法、电子设备及存储介质 |
| CN111815750A (zh) * | 2020-06-30 | 2020-10-23 | 深圳市商汤科技有限公司 | 对图像打光的方法及装置、电子设备和存储介质 |
| CN112002019A (zh) * | 2020-08-25 | 2020-11-27 | 成都威爱新经济技术研究院有限公司 | 一种基于mr混合现实的模拟人物阴影的方法 |
| CN112002019B (zh) * | 2020-08-25 | 2023-04-11 | 成都威爱新经济技术研究院有限公司 | 一种基于mr混合现实的模拟人物阴影的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108235053B (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | GROOT: a real-time streaming system of high-fidelity volumetric videos | |
| Qian et al. | Toward practical volumetric video streaming on commodity smartphones | |
| US9906816B2 (en) | Facilitating environment-based lossy compression of data for efficient rendering of contents at computing devices | |
| CN108235053A (zh) | 交互式渲染方法、设备和系统 | |
| CN105051792B (zh) | 用于使用深度映射和光源合成增强3d图像的设备 | |
| CA2843479C (en) | Crowd-sourced video rendering system | |
| US11711563B2 (en) | Methods and systems for graphics rendering assistance by a multi-access server | |
| US9761001B2 (en) | Filtered shadow mapping | |
| Duguet et al. | Flexible point-based rendering on mobile devices | |
| US10366468B2 (en) | Ray compression for efficient processing of graphics data at computing devices | |
| WO2016153603A1 (en) | Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes | |
| US11386613B2 (en) | Methods and systems for using dynamic lightmaps to present 3D graphics | |
| Xie et al. | Q-vr: system-level design for future mobile collaborative virtual reality | |
| CN114028804A (zh) | 流式传输压缩光场 | |
| CN113808244A (zh) | 支持运动模糊和运动/变形几何形状的光线追踪硬件加速 | |
| US11501467B2 (en) | Streaming a light field compressed utilizing lossless or lossy compression | |
| KR20130085051A (ko) | 서버로부터 클라이언트로 3ｄ 비디오 정보를 전송하기 위한 디바이스 및 방법 | |
| CN114078077A (zh) | 使用会话性能元数据评估定性流体验 | |
| Zhao et al. | LITAR: Visually coherent lighting for mobile augmented reality | |
| CN114758051A (zh) | 一种图像渲染方法及其相关设备 | |
| KR102598603B1 (ko) | 이기종 클라이언트 종단점에 대한 스트리밍을 위한 2d 비디오의 적응 | |
| Beacco et al. | A flexible approach for output‐sensitive rendering of animated characters | |
| Aranha et al. | A physically-based client-server rendering solution for mobile devices | |
| US11948338B1 (en) | 3D volumetric content encoding using 2D videos and simplified 3D meshes | |
| Trapp et al. | Geometry Batching using Texture-arrays. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |