CN107562185A - 一种基于头戴vr设备的光场显示系统及实现方法 - Google Patents

Abstract

本发明属于虚拟现实技术领域，公开了一种基于头戴VR设备的光场显示系统及实现方法，所述基于头戴VR设备的光场显示方法包括：根据VR设备提供的当前视点位置，实时渲染出当前视点的左眼视图及右眼视图；将光场渲染所得的新视点左眼视图及右眼视图送入VR显示设备显示。所述基于头戴VR设备的光场显示系统包括：光场渲染模块，根据VR设备提供的当前视点位置，实时渲染出当前视点的左眼视图及右眼视图；VR显示模块，将光场渲染所得的新视点左眼视图及右眼视图送入VR显示设备显示。本发明建立了基于头戴VR设备的光场显示系统，可以在头戴VR设备上有效显示光场源，并保证其显示质量；具有复杂度低、适用性广、实用性强的特点。

Description

一种基于头戴VR设备的光场显示系统及实现方法

技术领域

本发明属于虚拟现实技术领域，尤其涉及一种基于头戴VR设备的光场显示系统及实现方法。

背景技术

近年来，随着3D视频业务的兴起，光场作为一种新兴的视觉类媒体信息源，凭借其自身独特优势得到了业界的广泛关注。基于光场的自由视点视频系统可以为用户实时呈现动态三维场景任意视点、任意朝向的新视点图像，为用户带来更加全面的场景信息。与此同时，各式各样的虚拟现实(Virtual Reality,VR)显示设备也逐渐流行。其中，头戴VR设备的沉浸式立体视觉体验及自由视点的特性恰好与光场源的特性相符。在这种情况下，建立基于头戴VR的光场显示系统，对有效解决当前光场显示方法的缺陷，提升当前VR设备显示图像/视频的自由度(Degree ofFreedom,DOF)，具有十分重要的意义。。当前的头戴VR设备通常用于显示具有3自由度的立体视频或全景视频，输入的视频源可以直接在VR设备进行显示。而对于具有6自由度特性的光场源，通常包含若干视角图像构成的全光信息。若要在头戴VR设备上获得任意视角的图像输出，需要对输入信号进行光场渲染处理。因此，如何将光场源进行有效处理，使其匹配VR设备输入，同时保证光场质量不受损伤，是基于VR设备的光场显示系统需要解决的问题。

综上所述，现有技术存在的问题是：1.针对当前光场数据源，头戴VR显示设备无法直接显示任意视角的图像，需要经过若干处理步骤；2.光场数据在处理过程中容易导致光场质量受损。

发明内容

针对现有技术存在的问题，本发明提供了一种基于头戴VR设备的光场显示系统及实现方法。

本发明是这样实现的，一种基于头戴VR设备的光场显示方法，所述基于头戴VR设备的光场显示方法包括：

步骤一：根据VR设备提供的当前视点位置，利用光场渲染实时渲染出当前视点的左眼视图及右眼视图；

步骤二：将光场渲染所得的新视点左眼视图及右眼视图送入VR显示设备显示。

进一步，所述步骤一中光场渲染的实现方法包括以下两个子步骤：光场渲染包括场景构建和光场成像。

所述场景构建主要依据光场源及输入采集参数在虚拟场景中重构出光场源所表示的场景，实现光场场景构建。具体而言，依据采集参数所提供相机间距在虚拟场景中重构相机面；依据采集参数相机分辨率重构出像面；在此基础上，利用光场源信息可以重构出相应的光场场景。

所述光场成像利用VR显示设备提供的左右眼虚拟视点位置信息确定待插值光线的位置，在重构的场景中记录新视点所采集光线与相机面及像面的交点坐标，利用已采样光线中与其最邻近的光线通过双线性插值方法确定各待插值光线的光线值，当所有待插值光线的光线值全部获得时，左右眼对应的光场新视点图像即可输出。

进一步，所述步骤二中VR显示的实现方法包括以下步骤：

被送入头戴VR显示设备的新视点的左右眼视图在模型渲染过程中，无法直接输入到送显的帧缓冲区内，必须结合VR基础场景模型通过模型渲染操作才能实现在VR设备的左右屏幕上分别显示左右眼视图；

进一步，所述VR基础场景模型根据已知的视域范围以及视点到场景位置的距离来确定。

所述模型渲染实现方法包括以下步骤：

顶点处理、图元处理、光栅化、片段处理四个处理过程。顶点处理主要是对输入的基础VR场景模型顶点信息进行坐标变换，通过变换矩阵完成模型坐标系与世界坐标系之间的相互转换；图元处理将变换后的孤立的顶点互相连接，形成三角形或四边形的图元；光栅化是对多边形图元进行像素化；片段处理利用片段着色器将光场渲染输出的左右眼视图通过纹理映射操作贴图到VR基础场景表面，最终生成送显图像。

本发明的另一目的在于提供一种所述基于头戴VR设备的光场显示方法的基于头戴VR设备的光场显示系统，所述基于头戴VR设备的光场显示系统包括：

光场渲染模块，根据VR设备提供的当前视点位置，实时渲染出当前视点的左眼视图及右眼视图；

VR显示模块，将光场渲染所得的新视点左眼视图及右眼视图送入VR显示设备显示。

本发明的另一目的在于提供一种应用所述基于头戴VR设备的光场显示方法的头戴VR设备。

本发明的优点及积极效果为：光场源通过光场渲染模块和VR显示模块来实现光场的显示。其中，光场渲染模块用于生成可供头戴VR设备处理的特定视点的左右眼图像，主要解决场景构建、光场成像等关键问题；VR显示模块可以将特定视点的左右眼图像在头戴VR设备中实时显示，主要解决模型渲染等问题。本发明可以实现不同光场源在头戴VR设备中的实时显示，从而提供更加“身临其境”的观看体验，充分发挥光场源和VR设备的优势；基于VR设备的光场显示系统，可以为用户实时呈现动态三维场景任意视点、任意朝向的新视点图像，为用户带来更加全面的场景信息，使用户感受到“身临其境”的体验。

本发明针对当前的VR显示设备只能显示具有3自由度特性的360视频，而无法显示具有6自由度特性的光场源的问题，建立了基于头戴VR设备的光场显示系统，可以在头戴VR设备上实时、准确地显示光场源。实验测试表明，95％的用户反映使用该显示系统观看光场图像可以获得较好的视觉体验。本发明具有复杂度低、适用性广、实用性强的特点。

附图说明

图1是本发明实施例提供的基于头戴VR设备的光场显示系统结构示意图；

图中：1、光场渲染模块；2、VR显示模块。

图2是本发明实施例提供的光场渲染模块的实现方法流程图。

图3是本发明实施例提供的VR显示模块的实现方法流程图。

图4是本发明实施例提供的模型渲染实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于头戴VR设备的光场显示系统包括：光场渲染模块1、VR显示模块2。

光场渲染模块1，根据VR设备提供的当前视点位置，实时渲染出当前视点的左眼视图及右眼视图。

VR显示模块2，将光场渲染所得的新视点左眼视图及右眼视图送入VR显示设备显示。

如图2所示，本发明实施例提供的光场渲染模块的实现方法包括以下步骤：

根据输入的采集参数如相机间距、相机分辨率等确定各视点的空间坐标，依据光场源及输入采集参数在虚拟场景中重构出光场源所表示的场景，实现光场场景构建；利用VR显示设备提供的左右眼视点位置，确定每根待插值光线的位置坐标；通过光场插值操作确定每根待插值光线的光线强度，当所有待插值光线的光线强度全部获得时，相应的光场新视点图像即可输出。

如图3所示，本发明实施例提供的VR显示模块的实现方法包括以下步骤：

被送入头戴VR显示设备的新视点图像在模型渲染过程中首先通过纹理映射操作被贴图至基础场景模型，之后通过模型渲染的后续操作将渲染结果显示至VR设备屏幕上；新视点的左眼及右眼视图均经过上述流程被显示于VR设备的左眼屏幕及右眼屏幕上。

如图4所示，本发明实施例提供的模型渲染实现方法包括以下步骤：

模型渲染是VR显示模块中的关键技术环节。模型渲染操作主要用于渲染基础场景模型，渲染结果被送于头戴VR显示屏显示；采用基于光栅化系统的模型渲染，其算法流程主要包含顶点处理、图元处理、光栅化、片段处理四个处理过程。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于头戴VR设备的光场显示方法，其特征在于，所述基于头戴VR设备的光场显示方法包括：

根据VR设备提供的当前视点位置，实时渲染出当前视点的左眼视图及右眼视图；

将光场渲染所得的新视点左眼视图及右眼视图送入VR显示设备显示。

2.如权利要求1所述的基于头戴VR设备的光场显示方法，其特征在于，

所述光场渲染的实现方法包括以下两个子步骤：光场渲染包括场景构建和光场成像；

所述场景构建主要依据光场源及输入采集参数在虚拟场景中重构出光场源所表示的场景，实现光场场景构建；依据采集参数所提供相机间距在虚拟场景中重构相机面；依据采集参数相机分辨率重构出像面,利用光场源信息可以重构出相应的光场场景；

所述光场成像利用VR显示设备提供的左右眼虚拟视点位置信息确定待插值光线的位置，在重构的场景中记录新视点所采集光线与相机面及像面的交点坐标，利用已采样光线中与其最邻近的光线通过双线性插值方法确定各待插值光线的光线值，当所有待插值光线的光线值全部获得时，左右眼对应的光场新视点图像即可输出。

3.如权利要求1所述的基于头戴VR设备的光场显示方法，其特征在于，所述VR显示的实现方法包括以下步骤：

被送入头戴VR显示设备的新视点图像在模型渲染过程中首先通过纹理映射操作被贴图至基础场景模型；通过模型渲染的后续操作将渲染结果显示至VR设备屏幕上；新视点的左眼及右眼视图被显示于VR设备的左眼屏幕及右眼屏幕上。

4.如权利要求3所述的基于头戴VR设备的光场显示方法，其特征在于，所述模型渲染实现方法包括以下步骤：

顶点处理、图元处理、光栅化、片段处理四个处理过程；顶点处理、图元处理、光栅化、片段处理四个处理过程；顶点处理对输入的基础VR场景模型顶点信息进行坐标变换，通过变换矩阵完成模型坐标系与世界坐标系之间的相互转换；图元处理将变换后的孤立的顶点互相连接，形成三角形或四边形的图元；光栅化是对多边形图元进行像素化；片段处理利用片段着色器将光场渲染输出的左右眼视图通过纹理映射操作贴图到VR基础场景表面，最终生成送显图像。

5.一种如权利要求1所述基于头戴VR设备的光场显示方法的基于头戴VR设备的光场显示系统，其特征在于，所述基于头戴VR设备的光场显示系统包括：

光场渲染模块，根据VR设备提供的当前视点位置，实时渲染出当前视点的左眼视图及右眼视图；

VR显示模块，将光场渲染所得的新视点左眼视图及右眼视图送入VR显示设备显示。

6.一种应用权利要求1～4任意一项所述基于头戴VR设备的光场显示方法的头戴VR设备。