CN107274469A - 面向虚拟现实的协同渲染方法 - Google Patents

Abstract

面向虚拟现实的协同渲染方法，是一种虚拟现实领域中的创新型渲染技术，其目的在于在当前的移动设备上实现高质量的虚拟现实体验，同时也无需耗尽移动设备的计算资源和网络传输的带宽资源；其主要思路为：1)将虚拟现实应用的内容拆分为动态交互内容和静态环境内容，并利用云计算中手机和服务器的分离式架构分别渲染这两个部分；2)服务器将连续虚拟空间离散化为大量的采样点，提前渲染每个点对应的全景图并存储；3)客户端根据接收的用户信息，从服务器上获取对应位置的全景图，本地实时渲染交互内容并最终将两部分内容结合实现整个协同渲染的过程；本发明旨在根据虚拟现实应用交互内容和环境内容的不同特征，充分利用云计算的分离式架构实现了移动设备上高质量的虚拟现实体验。

Description

面向虚拟现实的协同渲染方法

技术领域

本发明属于虚拟现实技术领域，特别涉及一种面向虚拟现实的协同渲染方法。

背景技术

虚拟现实(Virtual Reality，以下简称VR)，旨在利用计算机视觉、传感等技术及专门的硬件设备，给用户呈现逼真的虚拟环境和颠覆性的交互体验。随着相关技术的成熟，国内外各大公司(诸如Facebook、Google、HTC等)也纷纷进入VR领域，推出自己的VR系统。当下主流的VR系统通常都由三个关键的部件组成：头戴式显示器、传感器和渲染器。为了能够提供沉浸式的虚拟现实体验，VR系统需要利用传感器不断追踪、接收用户的姿势信息(包括位置和方向信息)。根据不同的姿势信息，渲染器将实时地渲染出相应视角的画面并在头戴式显示器上以双眼畸变的形式显示。

目前主流的商业级VR系统分为两大类：连线型和移动型。连线型VR系统，将复杂的渲染、计算工作交给强大的主机，然后通过高速数据线(HDMI等)将主机渲染的每一帧图像传给单独的头戴式显示器。另一类移动型VR系统则摒弃了主机和数据线，将智能手机自身的GPU和显示屏分别作为渲染器和头戴式显示器来提供沉浸式VR体验。VR系统特殊的工作流程以及头戴式显示器所引入的近眼显示都给系统带来了巨大的计算和渲染开销。为了使用户能够舒适地体验各种VR应用，VR系统通常需要满足下面三个性能和特征需求。

1)响应性：VR系统的端到端延迟需要小于10–25毫秒，过高的端到端延迟将使用户在体验过程中出现眩晕等不适症状；

2)高质量的视觉效果：为了营造逼真的虚拟环境，VR系统需要提供照片级真实感的高质量画面，同时每秒帧刷新率也至少需要达到60来保证流畅的体验；

3)移动性：VR系统复杂的渲染、计算工作通常可以在强大的主机上完成，这时头戴式显示器通常需要连接HDMI数据线来传输好几个Gbps级别的数据量，也就是连线型VR系统。但这样的方式也极大地降低了用户体验(例如用户容易被数据线绊倒)，因此如何提供具备移动性的VR系统也是至关重要的。

目前两类主流的VR系统均无法满足以上三个相互矛盾的性能和特征需求。连线型VR系统虽然能够提供很好的响应性和高质量的视觉效果，但却无法提供必要的移动性。移动型VR虽然在移动性上有先天的优势，但由于手机上较弱的渲染能力和电池容量，他们往往无法同时满足前两个基本的性能需求。与此同时，目前的无线数据传输技术也无法直接替代高速数据线来支撑VR应用所需的几个Gbps的带宽和极低的端到端延迟。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种面向虚拟现实的协同渲染方法，基于云计算，使移动型VR系统能够同时满足VR系统的三个性能和特征需求，可针对移动型VR系统在移动设备(智能手机)上提供高质量的沉浸式虚拟现实体验。

为了实现上述目的，本发明采用的技术方案是：

一种面向虚拟现实的协同渲染方法，包括如下步骤：

首先，将VR应用的内容拆分成动态交互内容和静态环境内容两个部分；

其次，利用手机本身的GPU实时地根据用户输入渲染、显示所述动态交互内容；利用云端的服务器渲染所述静态环境内容；

最后，手机在运行VR应用时，向服务器请求已渲染的静态环境内容，并与本地渲染好的动态交互内容在客户端进行叠加、组合得到最终VR应用的画面。

所述动态交互内容主要包括会根据用户的输入而发生改变的一些物体，它们的模型规模相对较小、渲染纹理相对简单，但是需要实时响应用户的输入；所述静态环境内容是构成整个虚拟环境的主要成分，它们的模型规模相对庞大、渲染纹理相对复杂，但是通常只随着用户在虚拟空间内的移动才发生连续性的改变和更新。

在虚拟现实场景下，通过如下步骤实现：

步骤(1)，将目标VR应用的3D渲染模型拆分成两部分：交互模型和环境模型，分别对应VR应用的动态交互内容和静态环境内容；

步骤(2)，服务器端加载VR应用的环境模型，并按固定间隔在模型空间中可到达的范围内遍历取点，对于每一个采样点，服务器都渲染出一张全景图，并以采样点对应三维位置信息作为其索引存储在服务器端；

步骤(3)，客户端实时追踪、接收用户的姿势信息，客户端利用位置信息向服务器请求、获取对应位置的全景图；

步骤(4)，客户端实时追踪、接收用户的交互信息，客户端根据交互信息利用手机的GPU实时渲染出动态交互内容；

步骤(5)，客户端将获取的全景图加载、映射到球面上以产生360度环绕效果；同时客户端还利用全景图的深度信息将本地实时渲染得出的交互物体叠加到球面全景图上，完成前后景结合；

步骤(6)，客户端根据方向信息在手机屏幕上以双眼畸变的形式显示出对应角度的最终合成画面。

所述步骤(2)中，固定间隔一般小于0.05米，所述步骤(3)中，姿势信息包括位置和方向信息。

与现有技术相比，本发明可以直接在当前移动设备(移动VR系统)上利用已有的网络传输技术满足VR系统所需的三个性能和特征需求。同时本发明方案也在无需耗尽移动设备计算资源和网络技术带宽资源的情况下，实现了高质量的VR体验，对于提升移动VR系统的性能具有十分重大的意义。

附图说明

图1是本发明协同渲染示意图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明技术原理如下：

首先，将VR应用的内容拆分成动态交互内容和静态环境内容两个部分。动态交互内容通常是那些会根据用户的输入而发生改变的一些物体。它们的模型规模较小、渲染纹理相对简单但是需要实时响应用户的输入。静态环境内容则是构成整个虚拟环境的主要成分。它们的模型规模庞大、渲染纹理十分复杂但是通常只随着用户在虚拟空间内的移动才发生连续性的改变和更新。

针对动态交互内容，考虑它们的实时性和轻便性，本方案利用手机本身的GPU来实时地根据用户输入渲染、显示它们。针对静态环境内容，考虑它们的复杂性，本方案利用云计算的思想，将渲染这部分内容的繁重工作交给云端的服务器。手机在运行VR应用时，将向服务器请求渲染好的静态环境内容，并与自己本地渲染好的动态交互内容在客户端进行叠加、组合得到最终VR应用的画面。

为了解决网络传输无法提供足够高的带宽和足够低的延迟来满足实时渲染、传输静态环境内容的问题，本方案还利用其静态、连续的特点，设计了基于预渲染的环境加载方案。该方案首先将VR应用中可到达的虚拟空间按照固定间隔(小于0.05米，之前的研究表明人眼无法识别这一间隔带来的细微变化)遍历取点。对于每一个采样点，服务器将提前渲染并存储一张全景图来包含这个点上所有可能方向的画面信息。当用户的位置不发生改变时，无论用户的头部如何转动，手机也无需从服务器上获取不同方向所对应的帧。而当用户在虚拟空间内移动时，手机将按需地从服务器上获取相应位置的全景图并逐帧地将其在本地加载、显示出来。

具体地，在虚拟现实场景下，如图1所示，基于边缘计算的协同渲染方案的具体实施方式包含以下几个主要步骤：

步骤(1)将VR应用的3D模型拆分为交互模型和环境模型两部分。它们将分别对应VR应用的动态交互内容和静态环境内容。以游戏应用为例，动态交互内容通常为玩家的角色及武器，静态环境内容则为玩家所处的虚拟世界。利用游戏开发工具(Unity等)能轻松地将两种模型解耦、拆分。

步骤(2)在服务器端加载解耦、拆分得到的环境模型。对环境模型对应的空间进行离散化处理。即position_set＝{p₁,p₂,p₃,p₄,...,p_n}，每个位置采样点p_k都是一个唯一的三维空间坐标[x_k,y_k,z_k]。

步骤(3)对环境模型进行预渲染处理。即对于position_set中所有元素(位置采样点)都渲染出该位置唯一的全景图(包含了该位置所有方向上的信息)，得到一组全景图集合pano_frame_set＝{f₁,f₂,f₃,f₄,...,f_n}。position_set和pano_frame_set构成一个一一对应的映射关系：p_k→f_k。

步骤(4)服务器端对全景图集合内的元素进行压缩处理(例如，每一个全景图压缩为H.264中的I帧)，并将压缩后的全景图集合连同映射关系一并存在服务器端。至此，服务器端的准备工作结束。

步骤(5)客户端编译、加载拆分出来的交互模型并与服务器端建立连接。

步骤(6)当用户在体验VR应用时，客户端实时地追踪用户的交互、姿势两类信息。交互信息通常经由控制器或其他输入设备输入，姿势信息则为用户的头部转动信息和位置信息经由传感器获得。

步骤(7)客户端根据用户的交互信息，实时地调用本地GPU渲染相应的交互内容。

步骤(8)客户端检测用户姿势信息中的位置信息(即三维坐标[x_k,y_k,z_k])是否更新，若有更新则将新坐标发送给服务器用来请求相应的全景图。

步骤(9)服务器端收到客户端的请求后，根据映射关系p_k→f_k从全景图集合中找出对应的全景图，并发送给客户端。

步骤(10)客户端将服务器返回的全景图进行解码，并将解码后的图案映射到一个球形纹理的内部以产生360度环绕效果的环境内容。

步骤(11)客户端不断地将步骤(7)和步骤(10)分别产生的动态交互内容和静态环境内容按照位置关系进行叠加、组合。

步骤(12)客户端实时地根据用户姿势信息中的头部转动信息，在手机屏幕上以双眼畸变的形式显示出对应角度的最终画面。

综上所述，本发明提出了一种面向虚拟现实的协同渲染方案。该方案将VR应用的内容拆分为动态交互内容和静态环境内容。利用云计算中手机和服务器的分离式架构，将复杂的环境渲染交给服务器，轻便的交互渲染交给本地手机，在当前手机设备和已有网络传输上实现了高质量的VR系统。同时利用预渲染的方案使得本发明在无需耗尽手机计算资源和网络带宽资源的情况下，提供了满足高质量VR性能和特征需求的沉浸式体验。

Claims (4)

1.一种面向虚拟现实的协同渲染方法，其特征在于，包括如下步骤：

首先，将VR应用的内容拆分成动态交互内容和静态环境内容两个部分；

其次，利用手机本身的GPU实时地根据用户输入渲染、显示所述动态交互内容；利用云端的服务器渲染所述静态环境内容；

最后，手机在运行VR应用时，向服务器请求已渲染的静态环境内容，并与本地渲染好的动态交互内容在客户端进行叠加、组合得到最终VR应用的画面。

2.根据权利要求1所述面向虚拟现实的协同渲染方法，其特征在于，所述动态交互内容主要包括会根据用户的输入而发生改变的一些物体，它们的模型规模相对较小、渲染纹理相对简单，但是需要实时响应用户的输入；所述静态环境内容是构成整个虚拟环境的主要成分，它们的模型规模相对庞大、渲染纹理相对复杂，但是通常只随着用户在虚拟空间内的移动才发生连续性的改变和更新。

3.根据权利要求1所述面向虚拟现实的协同渲染方法，其特征在于，在虚拟现实场景下，通过如下步骤实现：

步骤(1)，将目标VR应用的3D渲染模型拆分成两部分：交互模型和环境模型，分别对应VR应用的动态交互内容和静态环境内容；

步骤(2)，服务器端加载VR应用的环境模型，并按固定间隔在模型空间中可到达的范围内遍历取点，对于每一个采样点，服务器都渲染出一张全景图，并以采样点对应三维位置信息作为其索引存储在服务器端；

步骤(3)，客户端实时追踪、接收用户的姿势信息，客户端利用位置信息向服务器请求、获取对应位置的全景图；

步骤(4)，客户端实时追踪、接收用户的交互信息，客户端根据交互信息利用手机的GPU实时渲染出动态交互内容；

步骤(5)，客户端将获取的全景图加载、映射到球面上以产生360度环绕效果；同时客户端还利用全景图的深度信息将本地实时渲染得出的交互物体叠加到球面全景图上，完成前后景结合；

步骤(6)，客户端根据方向信息在手机屏幕上以双眼畸变的形式显示出对应角度的最终合成画面。

4.根据权利要求3所述面向虚拟现实的协同渲染方法，其特征在于，所述步骤(2)中，固定间隔小于0.05米，所述步骤(3)中，姿势信息包括位置和方向信息。