CN104702936A - 一种基于裸眼3d显示的虚拟现实交互方法 - Google Patents

Abstract

本发明提出一种基于裸眼3D显示的虚拟现实交互方法。在虚拟现实交互场景中创建多台立体相机并进行排布。每台立体相机输出的渲染贴图与计算的视点子像素映射矩阵编写在GPU上运行的着色器Shader进行采样和融合处理，获得合成图像，然后输出到场景中新的显示面板，之后将PC端连接裸眼3D显示终端，裸眼3D显示终端显示立体图像。最后在PC端进行虚拟现实交互场景的交互操作，在裸眼3D显示终端完成交互操作的同步立体显示。本发明能够有效的解决裸眼3D视频内容制作周期长，制作成本高，无互动性等问题。

Description

一种基于裸眼3D显示的虚拟现实交互方法

技术领域

本发明涉及虚拟现实交互领域，尤其涉及一种基于裸眼3D显示的虚拟现实交互方法。

背景技术

虚拟现实交互技术是一门新兴的综合信息技术，使用以计算机技术为核心的现代高科技，生成逼真的视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响，从而产生与亲临等同真实环境的感受和体验。它融合了数字图像处理、多媒体技术、计算机图形学、传感器技术等多方面信息技术。它通过计算机图形学构成三维数字模型，在视觉上给用户一种立体的虚拟环境。与通常的CAD(计算机辅助设计)系统所产生的三维模型不同，它不是一个静态的世界，而是一个互动的环境。

实现虚拟现实交互技术的步骤为：首先，需要生成虚拟实体，虚拟实体主要是针对用户的生理感觉而言；其次，用户通过人生理的自然技能同这个环境进行交互；最后，利用传感器完成人和虚拟环境的交互。从系统上看，虚拟现实交互系统包括检测模块、反馈模块、传感器模块、控制模块以及建模模块等。在该系统中，主要采用了动态环境建模技术、实时三维图形生成技术、立体显示和传感器技术及系统集成技术。

虚拟现实交互技术的应用领域十分广泛，主要集中在工程设计CAD、数据可视化、飞行模拟、多媒体远程教育、临床外科、远程医疗、艺术创作和娱乐等方面。

裸眼3D显示是无需佩戴任何辅助设备(如3D眼镜、头盔等)的情况下，通过光柱透镜等先进光学技术与特殊算法定制的视频片源即可让观众获得前所未有的“高真实度”视觉体验，是一种新型的图像显示技术。基于双目视觉原理的裸眼3D显示技术在教育、展示、科学、影音及移动终端等领域具有重要的应用。

目前，裸眼3D显示技术为了获得更好的立体效果，往往采用多幅视差图像进行合成，观看者在不同观看位置只要看到其中的两幅图像就可以在大脑皮层中产生立体视觉，且随着观看者的水平移动，可以看到物体的不同角度侧面，进而产生运动视差。

现阶段裸眼3D显示内容主要以裸眼3D视频内容为主，然而裸眼3D视频内容受限于制作周期长、制作成本高、无互动性等问题，无法良好的推动裸眼3D技术的发展。虚拟现实交互技术虽然有良好的强烈的临场感、友好的交互性、多感知性、虚拟现实世界的自主性，且虚拟现实交互的内容制作周期短、制作成本低等特点，但也面临着缺乏亮点，视觉冲击力不足等问题，无法良好的推进虚拟现实交互技术的发展。

假若能够实现一种基于裸眼3D显示的虚拟现实交互方法，便可以极大地扩展虚拟现实交互技术和裸眼3D显示技术这两者的应用领域，且可以将已有的虚拟现实交互场景经过些许修改便可实现裸眼3D显示，从而在很大程度上降低了裸眼3D显示的视频内容制作成本，并且可以将虚拟现实丰富的交互功能移植到裸眼3D显示技术中来，并借助于虚拟现实引擎强大的模型兼容能力丰富裸眼3D的显示内容及素材。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于裸眼3D显示的虚拟现实交互方法。该方法能够有效的解决裸眼3D视频内容制作周期长，制作成本高，无互动性等问题，且同时解决虚拟现实交互视觉冲击力不足，缺乏亮点等问题，极大地扩展虚拟现实交互技术和裸眼3D显示技术这两者的应用领域，显著推动两者的发展。

人眼在观看自然物体时，两眼是从不同角度观看物体，从而在左右眼视网膜上行形成稍有差异的像，然后经过大脑分析融合形成立体视觉。裸眼3D的显示过程就是模拟人眼的立体视觉过程。

虚拟现实交互技术就是使用以计算机技术为核心的现代高科技，生成逼真的视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响，从而产生与亲临等同真实环境的感受和体验。虚拟现实的交互能力主要依靠立体显示和传感器技术。

如上所述，实现基于裸眼3D显示的虚拟现实交互方法包括如下步骤：

a.在虚拟现实开发引擎中建立虚拟现实交互场景；

b.在场景中建立多台虚拟相机，并按照一定的结构要求进行摆放；

c.在每个相机身上加渲染贴图，以便与相应的Shader相互作用；

d.计算出视点子像素映射矩阵，并编写相应的Shader，对每台相机渲染的贴图进行采样处理，并得到合成图像；

e.在虚拟现实交互场景中创建裸眼3D显示部分，分别为获取合成图像的相机，以及裸眼3D显示面板，将合成图像输出到裸眼3D显示面板上；

f.将PC端连接裸眼3D显示终端，裸眼3D显示终端显示立体图像；

g.在PC端进行虚拟现实交互场景的交互操作；

h.在裸眼3D显示终端同步交互操作，实现裸眼3D显示终端交互操作的立体显示。

附图说明

图1是本发明一种基于裸眼3D显示的虚拟现实交互方法的流程图。

图2是本发明涉及的虚拟现实交互场景中虚拟相机的具体实施图。

图3是本发明涉及的虚拟现实交互场景中裸眼3D显示部分。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步详细的描述。

图1是本发明一种基于裸眼3D显示的虚拟现实交互方法的流程图，步骤为：

a.建立虚拟现实交互场景。模型物体可以在虚拟现实引擎中自建，也可以从其他模型制作软件中导入，交互逻辑根据自己需求进行编写与制作；

b.在虚拟现实开发引擎中摆放多台虚拟立体相机，实现立体视觉。在虚拟现实交互场景中，可以通过合理布局多台虚拟立体相机，对同一个场景进行同步拍摄来获得多幅视差图像以便给观看者左右眼提供稍有差异的视差图像，从而实现立体视觉；

c.在每台相机的目标贴图中加入渲染贴图Render Texture，渲染贴图是一种特殊的纹理类型，能够在运行时实时产生以及更新。其使用方法是创建一个新的渲染纹理，并且指定一个相机对其进行渲染，然后就可以像常规纹理一样进行使用；

d.计算视点映射矩阵。首先，确定2D显示屏上给定的RGB子像素应该取自哪个视点的RGB分量，下式给出了多视点子像素映射矩阵的计算公式：

$Q=\mathrm{Ntot}\frac{(K+K_{\mathrm{off}}-3\left(\tan a\right)\mathrm{mod}X}{X}$

其中，x为一个光栅周期在水平方向上覆盖RGB子像素的个数，(k，1)为RGB子像素的坐标位置，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，k_off表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，N_tot表示总视点个数，也就是参与合成的视差图像数量。根据上式可计算出2D显示屏上的每个子像素的灰度值应该取自于哪幅视差图像的相应坐标位置的灰度值；

e.Shader处理渲染贴图。将视点映射矩阵编写到Shader中，利用Shader对相机渲染的多张渲染贴图进行子像素的采样处理，并将经过采样处理的多张视差图像相互叠加，得到最终的合成图像；

f.在虚拟现实交互场景中创建裸眼3D显示部分。在虚拟现实交互场景中分别创建新的相机以及新的显示面板，将最终合成图像赋予显示面板之上，并通过新相机获取显示面板的合成图像；

g.PC端连接裸眼3D显示终端，裸眼3D显示终端显示立体图像。将合成图像赋予到新的显示面板，并通过新相机进行显示。之后，将PC端输出到裸眼3D显示终端。然后，利用光栅的分光作用，使不同视差图像的光线在空间分离，当观察者在合适的观看位置处，左右眼可分别接收到来自不同视点的信息，从而产生立体视觉；

h.实现基于裸眼3D显示的虚拟现实交互操作。在已经连接裸眼3D显示终端的PC端进行虚拟现实交互场景的交互操作，裸眼3D显示终端呈现相同交互操作的立体视觉图像。

图2是本发明涉及的虚拟现实交互场景中虚拟相机的具体实施图。其结构方式为平行会聚式立体相机结构，并以8台相机为例。其中，201为会聚平面，也称为零平面，即为相机焦点的所在平面；202为多台虚拟立体相机的光轴；203为多台虚拟立体相机的成像系统中心点，也被称为聚焦点；204为8台虚拟立体相机以及其摆放结构。通过以上交互场景中虚拟相机的具体实施图，可以有效的实现裸眼3D显示的立体效果。

图3是本发明涉及的虚拟现实交互场景中裸眼3D显示部分。图中301为新建虚拟立体相机，主要用于呈现新建显示面板上的合成图像；图中302为新建虚拟立体相机的光轴；图中303为新建显示面板，用于显示最终合成图像的一个载体。

Claims (5)

1.一种基于裸眼3D显示的虚拟现实交互方法，其特征包括：

a.在虚拟现实开发引擎中建立虚拟现实交互场景；

b.在场景中建立多台虚拟相机，并按照一定的结构要求进行摆放；

c.在每个相机身上加渲染贴图，以便与相应的Shader相互作用；

d.计算视点子像素映射矩阵，编写相应的Shader，对每台相机渲染的贴图进行采样处理，并得到合成图像；

e.在虚拟现实交互场景中创建裸眼3D显示部分，分别为获取合成图像的相机，以及裸眼3D显示面板，将合成图像输出到裸眼3D显示面板上；

f.将PC端连接裸眼3D显示终端，裸眼3D显示终端显示立体图像；

g.在PC端进行虚拟现实交互场景的交互操作；

h.在裸眼3D显示终端同步交互操作，实现裸眼3D显示终端交互操作的立体显示。

2.如权利要求1所述的基于裸眼3D显示的虚拟现实交互方法，其特征为：步骤a建立虚拟现实交互场景，模型物体可以在虚拟现实引擎中自建，也可以从其他模型制作软件中导入，交互逻辑根据自己需求进行编写与制作。

3.如权利要求1所述的基于裸眼3D显示的虚拟现实交互方法，其特征为：步骤b按照一定结构要求摆放多台虚拟相机，具体结构方式为平行会聚式。

4.如权利要求1所述的基于裸眼3D显示的虚拟现实交互方法，其特征为：步骤e在虚拟现实交互场景中创建裸眼3D显示部分，分别为获取合成图像的相机，以及裸眼3D显示面板。

5.如权利要求1所述的基于裸眼3D显示的虚拟现实交互方法，其特征为：步骤h实现PC端交互与裸眼3D显示终端交互的同步进行，并在裸眼3D显示终端得到立体显示。