CN106547557A

CN106547557A - 一种基于虚拟现实和裸眼3d的多屏互动交互方法

Info

Publication number: CN106547557A
Application number: CN201610962544.5A
Authority: CN
Inventors: 廖巍巍; 曾超; 魏星
Original assignee: CHENGDU SEEFELD SCIENCE & TECHNOLOGY Co Ltd
Current assignee: Kunshan Hui Ren Corelle Intelligent Technology Co., Ltd.
Priority date: 2016-10-10
Filing date: 2016-10-28
Publication date: 2017-03-29

Abstract

本发明提出一种基于虚拟现实和裸眼3D的多屏互动交互方法，首先将通信插件导入开发引擎，然后创建交互式裸眼3D显示场景，运用通信插件赋予不同交互物体不同ID值，然后编译场景内容发布裸眼3D显示端的可执行文件，同时修改相关文件并发布到头戴式虚拟现实设备端，最后在头戴式虚拟现实设备端进行交互操作，裸眼3D显示端响应相同的裸眼3D交互动作，实现基于虚拟现实和裸眼3D的多屏互动交互方法。本发明提供一种基于虚拟现实和裸眼3D的多屏互动交互方法。该方法不仅解决了头戴式虚拟现实设备的局限性问题，而且这种创新的体验方式可以让虚拟现实技术和裸眼3D技术相互交互，极大的推动虚拟现实技术以及裸眼3D显示技术的发展。

Description

一种基于虚拟现实和裸眼3D的多屏互动交互方法

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种基于虚拟现实和裸眼3D的多屏互动交互方法。

背景技术

近年，虚拟现实（Virtual Reality）交互技术发展十分迅速，由于其独有的3I特性，沉浸感（Immersion），交互性（Interaction），构想性（Imagination），使得虚拟现实交互技术的应用领域十分广泛，主要集中在工程设计CAD、数据可视化、飞行模拟、多媒体远程教育、临床外科、远程医疗、艺术创作和娱乐等方面。随着Facebook、谷歌、索尼和Valve等大公司的入场，虚拟现实领域持续火热，2016年更是被业界称为“虚拟现实元年”，据SuperData的数据，2019年虚拟现实市场有望突破159亿美元规模。

虚拟现实（Virtual Reality）主要的呈现方式为头戴式虚拟现实设备，然而这种头戴式设备的呈现方式有着巨大的局限性，头戴式虚拟现实设备仅仅适合于单人体验，极大的阻碍了虚拟现实技术的发展。

裸眼3D显示技术是无需佩戴任何辅助设备（如3D眼镜、头盔等）的情况下，通过光栅透镜等先进光学技术与特殊算法定制的视频片源即可让观众获得前所未有的“高真实度”视觉体验，是一种新型的图像显示技术。裸眼3D显示技术不仅仅可以带给用户身临其境的体验感，而且适合多人同时体验。假若能够实现一种基于虚拟现实和裸眼3D的多屏互动交互方法，不仅解决了头戴式虚拟现实设备的局限性，而且这种创新的体验方式可以让虚拟现实技术和裸眼3D技术相互交互，极大的推动虚拟现实技术以及裸眼3D显示技术的发展。

发明内容

本发明所要解决的技术问题是：提出一种基于虚拟现实和裸眼3D的多屏互动交互方法，有效的解决头戴式虚拟现实设备无法多人同时体验的问题。

本发明解决其技术问题所采用的技术方案是：一种基于虚拟现实和裸眼3D的多屏互动交互方法，包括以下步骤：

a. 将实现头戴式虚拟现实设备端与裸眼3D显示端通信的相关插件导入开发引擎；

b. 在开发引擎中调用通信插件的相关接口实现头戴式虚拟现实设备端与裸眼3D显示端的网络通信功能；

c. 开发引擎中创建交互式裸眼3D显示场景；

d. 在开发引擎中调用通信插件的相关接口，赋予不同的响应按钮不同的ID值；

e. 编译场景内容并发布为裸眼3D显示端的可执行文件；

f. 修改交互式裸眼3D显示场景为交互式虚拟现实显示场景，保持ID值不发生变化；

g. 编译交互式虚拟现实显示场景并发布为头戴式虚拟现实设备端的可执行文件；

h. 将头戴式虚拟现实设备端与裸眼3D显示端连接到同一局域网络；

i. 运行可执行文件，实现头戴式虚拟现实设备端与裸眼3D显示端程序的自动连接；

j. 头戴式虚拟现实设备端进行交互操作，裸眼3D显示端响应相同的裸眼3D交互动作。

作为进一步优化，步骤b中，所述调用通信插件的相关接口实现网络通信包括：在开发引擎中创建新的场景，在新场景中创建摄像机，将调用通信插件的相关接口的代码文件挂在虚拟相机。

作为进一步优化，步骤c中，所述创建的交互式裸眼3D显示场景包括场景模块和显示模块，其中场景模块用于实现裸眼功能和交互功能，显示模块用于实现合成功能，显示功能。

作为进一步优化，步骤d中，所述运用通信插件赋予不同交互物体不同ID值，包括：调用通信插件的相关接口，修改其通信脚本，将ID值设置为公有制变量，将通信脚本挂在不同交互物体上，并赋予不同的ID值。

作为进一步优化，步骤f中，所述修改交互式裸眼3D显示场景为交互式虚拟现实显示场景，保持ID值不发生变化，具体包括：

在场景中保留挂有TouchHandle的虚拟相机以及其他任意一个虚拟相机，删除其余六个虚拟相机，同时删除显示模块中的新相机及显示面板。

作为进一步优化，步骤h中，所述将头戴式虚拟现实设备端与裸眼3D显示端连接到同一局域网络，具体包括：

通过路由器创建局域网，同时将头戴式虚拟现实设备端与裸眼3D显示端连接到创建的局域网；

本发明的有益效果是：不仅解决了头戴式虚拟现实设备的局限性的问题，而且这种创新的体验方式可以让虚拟现实技术和裸眼3D技术相互交互，极大的推动虚拟现实技术以及裸眼3D显示技术的发展。

附图说明

图1为本发明中基于虚拟现实和裸眼3D的多屏互动交互方法流程图。

具体实施方式

如图1所示，本发明中基于虚拟现实和裸眼3D的多屏互动交互方法包括以下实现步骤：

步骤一、将实现头戴式虚拟现实设备端与裸眼3D显示端通信的相关插件导入开发引擎；通信插件作为封装了TCP，HTTP等网络协议的插件，使用此插件来实现网络通信功能并不用太多的工作量，其功能完全满足两端之间的网络通信功能。

步骤二、在开发引擎中调用通信插件的相关接口实现头戴式虚拟现实设备端与裸眼3D显示端的网络通信功能；在开发引擎中创建新的场景，在新场景中创建摄像机，将调用通信插件的相关接口的代码文件挂在虚拟相机上，保存场景为Communication。

步骤三、开发引擎中创建交互式裸眼3D显示场景；在开发引擎中创建交互式裸眼3D显示场景主要分为以下两个模块：场景模块，显示模块。场景模块主要包括裸眼功能，交互功能，而显示模块主要包含合成功能，显示功能；裸眼功能的实现方式如下：在开发引擎的Scene窗口创建八台虚拟相机，并将所有虚拟相机的坐标Position设置为（0，0，0），旋转角度Rotation设置为（0，0，0），尺寸大小Scale设置为（1，1，1），然后调整每台相机之间的距离间隔为0.015，同时在Layer属性中添加新层PlaySence，修改八台摄像机的剔除遮罩Culling Mask属性为PlaySence，在八台虚拟相机的正前方创建零平面ZeroPlane，并设置其坐标Position设置为（0，0，15），旋转角度Rotation设置为（270，0，0），尺寸大小Scale设置为（1，1，1），修改其属性将其隐藏，编写相关脚本实现八台摄像机聚焦于零平面的中心点，然后在Project中创建8张渲染贴图RenderTexture，将渲染贴图的Size修改为1920*1080，在每台虚拟相机的Target Texture属性中赋予不同的渲染贴图，使得每台摄像机对应一张渲染贴图，然后计算出视点子像素映射矩阵，并编写相应的Shader，对每台相机渲染的贴图进行采样处理，具体的计算方式如下：首先，确定2D显示屏上给定的RGB子像素应该取自哪个视点的RGB分量，下式给出了多视点子像素映射矩阵的计算公式：

其中，为一个光栅周期在水平方向上覆盖RGB子像素的个数，为RGB子像素的坐标位置，为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，表示总视点个数，也就是参与合成的视差图像数量，根据上式可计算出2D显示屏上的每个子像素的灰度值应该取自于哪幅视差图像的相应坐标位置的灰度值，然后将视点映射矩阵编写到Shader中，利用Shader对相机渲染的多张渲染贴图进行子像素的采样处理，并将经过采样处理的多张视差图像相互叠加，得到最终的合成图像；交互功能的实现方式如下：在场景中添加各种交互物体，并将其Layer属性中全部修改为PlaySence，然后在Project中创建CS脚本，修改脚本名字为Play，编写脚本实现不同的交互动作（例如旋转，移动，缩放等动作），并将脚本挂在与之相对应动作的交互物体之上，然后再创建CS脚本，修改脚本名字为TouchHandle，编写脚本实现射线检测功能，并将脚本挂在其中一个虚拟摄像机，修改虚拟摄像机的属性为Main Camera；显示功能的实现方式如下：创建新的虚拟相机及显示面板，调整虚拟相机的坐标Position设置为（-5，0，150），旋转角度Rotation设置为（0，90，0），尺寸大小Scale设置为（1，1，1），在Layer属性中添加新层ShowSence，修改八台摄像机的剔除遮罩Culling Mask属性为ShowSence，同时修改起摄像方式为正交式，摄像角度调整为27，修改起深度Depth为1（新建相机默认为0）。然后调整显示面板的坐标Position设置为（0，0，100），旋转角度Rotation设置为（90，-90，0），尺寸大小Scale设置为（9.6，1，5.4）（匹配1080P分辨率的显示终端），将其Layer属性修改为ShowSence，同时在显示面板创建材质球Material，通过材质球的Custom选项调用shader获取合成图像，将合成图像呈现在显示面板。最后，保存以上场景为Play1。

步骤四、在开发引擎中调用通信插件的相关接口，赋予不同的响应按钮不同的ID值；调用通信插件的相关接口，修改其通信脚本，将ID值设置为公有制变量，将通信脚本挂在不同交互物体上，并赋予不同的ID值，例如赋予第一交互物体的ID值为1，第二交互物体的ID值为2，以此类推。

步骤五、编译场景内容并发布为裸眼3D显示端的可执行文件；点击开发引擎File菜单下的Build Settings，并将以上两个场景放入Scenes In Build选项栏，并选择Platform为PC and Mac Standalone，之后点击Build发布出裸眼3D显示端的可执行文件。

步骤六、修改交互式裸眼3D显示场景为交互式虚拟现实显示场景，保持ID值不发生变化；修改的具体方式为：在场景中保留挂有TouchHandle的虚拟相机以及其他任意一个虚拟相机，删除其余六个虚拟相机，同时删除显示模块中的新相机及显示面板。为了模拟人双眼效果，在开发引擎里采用两个虚拟照相机来实现，分别设置左右两个照相机的Viewport Rect参数，左边照相机的Viewport Rect参数改成(0，0，0.5，1)，右边照相机的Viewport Rect参数改成(0.5，0，0.5，1)，此时将会在屏幕产生两个相同的场景，左右两个场景各占屏幕的一半，在头戴式虚拟现实设备中便能得到正确的3D立体效果显示。

步骤七、编译交互式虚拟现实显示场景并发布为头戴式虚拟现实设备端的可执行文件；如同裸眼3D显示终端的文件发布，将之前选择的PC and Mac Standalone修改为Android，之后点击Build发布头戴式虚拟现实设备端的可执行文件。

步骤八、将头戴式虚拟现实设备端与裸眼3D显示端连接到同一局域网络；通过路由器创建局域网，同时将头戴式虚拟现实设备端与裸眼3D显示端连接到创建的局域网。

步骤九、运行可执行文件，实现头戴式虚拟现实设备端与裸眼3D显示端程序的自动连接；运行裸眼3D显示端的可执行文件，选择文件分辨率为1920*1080，在头戴式虚拟现实设备端新建IP地址，裸眼3D显示终端弹出相同IP地址，点击IP地址，显示连接成功。

步骤十、头戴式虚拟现实设备进行交互操作，裸眼3D显示端响应相同的裸眼3D交互动作；在头戴式虚拟现实设备端进行3D场景的交互操作，例如旋转，移动，缩放，通过通信插件的通信接口，相同ID值响应相同的动作，裸眼3D显示终端响应与之对应的裸眼3D交互动作，实现基于虚拟现实和裸眼3D的多屏互动交互方法。

Claims

1.一种基于虚拟现实和裸眼3D的多屏互动交互方法，其特征包括：

c. 开发引擎中创建交互式裸眼3D显示场景；

e. 编译场景内容并发布为裸眼3D显示端的可执行文件；

j. 头戴式虚拟现实设备进行交互操作，裸眼3D显示端响应相同的裸眼3D交互动作。

2.如权利要求1所述的一种基于虚拟现实和裸眼3D的多屏互动交互方法，其特征为：步骤c创建交互式裸眼3D显示场景；交互式裸眼3D显示场景主要分为两个模块：场景模块，显示模块；场景模块主要包括裸眼功能，交互功能，而显示模块主要包含合成功能，显示功能。

3.如权利要求1所述的一种基于虚拟现实和裸眼3D的多屏互动交互方法，其特征为：步骤f修改交互式裸眼3D显示场景为交互式虚拟现实显示场景，保持ID值不发生变化；修改的具体方式为：在场景中保留挂有TouchHandle的虚拟相机以及其他任意一个虚拟相机，删除其余六个虚拟相机，同时删除显示模块中的新相机及显示面板；同时设置两个虚拟摄像机Viewport Rect的参数为(0，0，0.5，1)以及(0.5，0，0.5，1)。