CN105892686A - 一种3d虚拟现实广播交互方法及系统 - Google Patents

Abstract

本发明涉及虚拟现实技术领域，具体而言，涉及一种3D虚拟现实广播交互方法及系统。该方法，具体包括：服务器通过广域网连通一个以上广播端和一个以上接收端。每个广播端都可以创建3D虚拟现实教室，则在多个3D虚拟现实教室共存的情况下，每个接收端根据需求选择进入一个3D虚拟现实教室。并且，广播端通过服务器将控制指令或自行操作指令发送至接收端，接收端可通过3D显示器观察广播端对三维虚拟场景的操作，或者接收端对3D虚拟现实教室内的三维虚拟场景进行自主操作，并且接收端的操作行为信息会反馈至广播端。因此，解决了无法实现一对多和多对多虚拟现实内容的同步广播、操控和交互，服务器支持人数有上限的难题。

Description

一种3D虚拟现实广播交互方法及系统

技术领域

本发明涉及虚拟现实技术领域，具体而言，涉及一种3D虚拟现实广播交互方法及系统。

背景技术

现如今，虚拟现实技术VR发展之势越来越猛烈，而且其所应用的领域也越来越宽泛，例如医学、航天和室内设计、教学系统等领域。尤其是VR在教学领域的发展，更是颠覆了传统的教学方式，为学生营造了“自主学习”的环境，由传统的“以教促学”的学习方式代之为学习者通过自身与信息环境的相互作用来得到知识、技能的新型学习方式。学习者可以通过佩戴虚拟现实头盔设备，如oculus、三星gear vr、htc vive，来感受教学中的虚拟现实场景。其中，虚拟现实头盔是一种利用头盔显示器将人的对外界的视觉、听觉封闭，引导用户产生一种身在虚拟环境中的感觉。头盔式显示器的显示原理，是左右眼屏幕分别显示左右眼的图像，人眼获取这种带有差异的信息后在脑海中产生立体感。

但是，现有的虚拟现实内容大多是由观看者佩戴虚拟现实设备自行观看操作，这种方式不仅不适合一人操作多人观看内容的场合，同时操作人与观看者也不能进行交互。而且，在现阶段，谷歌Google面向教育机构推出了免费的VR体验服务的EXPEDITIONS，其存在的缺点是支持的终端种类有限，且支持的链接用户数有限，不具备可扩展性，不支持广域网链接。

发明内容

本发明的目的在于提供3D虚拟现实广播互动方法及系统，以解决现阶段远程非同一局域网环境和同一局域网环境下，无法实现一对多和多对多虚拟现实内容的同步广播、操控和交互，以及支持的人数有上限的问题。

本发明提供了一种3D虚拟现实广播交互方法，其包括：

步骤1，服务器通过广域网连通一个以上广播端和一个以上接收端，所述广播端在服务器上创建一个以上3D虚拟现实教室，并将3D虚拟现实教室向所有接收端开放入口；

步骤2，所述广播端发出操控所述3D虚拟现实教室的控制指令，所述控制指令用于对3D虚拟现实教室的三维虚拟场景操作；

步骤3，所述服务器接收所述控制指令，并在3D虚拟现实教室中展示相应三维虚拟场景，并将其共享给接收端；所述接收端通过3D显示器观察所述三维虚拟场景；

步骤4，所述广播端发出自行操作指令；

步骤5，所述服务器根据所述自行操作指令，向所述接收端开放操控指令入口；

步骤6，所述服务器根据来自每个接收端的操控指令，在3D虚拟现实教室中展示对应三维虚拟场景，并将所述对应三维虚拟场景共享给对应的接收端。

在一些实施例中，优选为，在步骤2之后，所述服务器接收所述广播端对控制指令的操控方式，并将所共享给接收端。在步骤5之后，所述服务器对所述操控指令进行统计，并将所述统计的结果共享于所述广播端。

在步骤3之后，所述方法还包括：所述服务器统计所述接收端对三维虚拟场景各区域的关注度，并将所述关注度发送广播端；所述广播端根据所述关注度，调整所述3D虚拟现实教室对各区域的展示方式和展示内容。

所述服务器统计所述接收端对三维虚拟场景各区域的关注度包括：所述服务器将三维虚拟场景的各区域进行模块化；所述服务器统计每个模块化与3D显示器对焦线的对焦时间，用对焦时间衡量所述关注度。

所述3D虚拟现实教室中还包含仿真人偶，则，所述步骤3还包括：所述服务器接收广播端的广播者或接收端的接收者个体动作行为，所述广播者个体动作行为由广播端通过动作采集器对广播者进行采集，所述接收者个体动作行为由接收端通过动作采集器对接收者进行采集；所述服务器根据广播者个体动作行为进行动作模拟，并将动作模拟加载于3D虚拟现实教室的仿真人偶，并将执行动作模拟的仿真人偶在三维虚拟场景中展示。

每个接收端通过头盔显示器，和/或，感应手柄对三维虚拟场景进行自行操作；所述服务器连接有MYSQL数据库、SQLSERVER数据库或ORACLE数据库；所述广播端、接收端与所述服务器通过TCP协议或UDP活websocket协议保持连接，和/或，所述广播端、接收端与所述服务器之间数据传输采用的是protobuf；所述广播端通过UNITY引擎、虚幻4引擎或WEBVR技术创建3D虚拟现实教室内的三维虚拟场景。

针对上述方法，本发明还公开了一种3D虚拟现实广播交互系统，其特征在于，包括：服务器、一个以上广播端和一个以上接收端，所述服务器通过广域网连通每个广播端和每个接收端；所述接收端包括创建单元、控制单元、操作单元和接收反馈单元，所述创建单元用于创建3D虚拟现实教室，所述控制单元用于发出控制指令，所述操作单元用于发出自行操作指令，所述接收反馈单元用于接收服务器共享给接收端的对应三维虚拟场景；所述接收端包括选择单元、接收单元、自行操作单元和反馈单元，所述选择单元用于接收端选择进入的3D虚拟现实教室，所述接收单元用于接收相应三维虚拟场景和自行操作指令，所述自行操作单元用于接收端发出操控指令，所述反馈单元用于将对应三维虚拟场景共享给对应的接收端；所述接收端通过3D显示器观察3D虚拟现实教室内的三维虚拟场景。

在一些实施例中，优选为，所述服务器接收所述广播端对控制指令的操控方式，所述接收单元接收服务器发出的所述述操控方式。所述服务器对自行操作指令进行统计，所述接收反馈单元接收服务器发出的所述统计的结果。

所述服务器统计所述接收端对三维虚拟场景各区域的关注度，并将所述关注度发送至所述接收反馈单元。

该系统还包括动作采集器，所述动作采集器用于采集广播者或接收者个体动作行为，将所述动作行为传输至所述服务器，所述服务器根据所述动作行为，将动作模拟加载于3D虚拟现实教室的仿真人偶，并将执行动作模拟的仿真人偶在三维虚拟场景中展示。

所述服务器包括云服务器。

本发明实施例提供的一种3D虚拟现实广播交互方法及系统，与现有技术相比，服务器通过广域网连通一个以上广播端和一个以上接收端，则广播端和接收端之间可通过广域网进行数据传输，服务器可连接的广播端、接收端的数量是没有上线的，从而解决了局域网环境下服务器连接几百甚至几十个有限的移动终端的问题。

再者，每个广播端都可以创建3D虚拟现实教室，则在多个3D虚拟现实教室共存的情况下，每个接收端根据需求选择进入一个3D虚拟现实教室，从而实现了一对多和多对多的教学模式。并且，广播端可通过服务器将控制指令发送至接收端，接收端则通过3D显示器观察广播端并对所述三维虚拟场景的操作，通过观摩学习。同时，广播端也可通过服务器发送自行操作指令至接收端，接收端则可以对3D虚拟现实教室内的三维虚拟场景进行自主操作，且接收端的操作行为信息会反馈至广播端，广播端会根据反馈回的信息对接收端的操作行为进行评估和统计。因此，本发明有效的解决了无法实现一对多和多对多虚拟现实内容的同步广播、操控和交互的难题。

附图说明

图1为本发明一个实施例中3D虚拟现实广播交互系统示意图；

图2为本发明一个实施例中3D虚拟现实广播交互系统数据传输示意图；

图3为本发明一个实施例中3D虚拟现实广播交互系统数据传输示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现阶段远程非同一局域网环境和同一局域网环境下，无法实现一对多和多对多虚拟现实内容的同步广播、操控和交互，以及支持的人数有上限的问题，本发明提出了一种3D虚拟现实广播互动方法。如图1所示，该具体包括：

步骤1，服务器通过广域网连通一个以上广播端和一个以上接收端，广播端在服务器上创建一个以上3D虚拟现实教室，并将3D虚拟现实教室向所有接收端开放入口；

步骤2，广播端发出操控3D虚拟现实教室的控制指令，控制指令用于对3D虚拟现实教室的三维虚拟场景操作；

服务器接收所述广播端对控制指令的操控方式，并将所共享给接收端；

步骤3，服务器接收控制指令，并在3D虚拟现实教室中展示相应三维虚拟场景，并将其共享给接收端；接收端通过3D显示器观察三维虚拟场景；

服务器统计接收端对三维虚拟场景各区域的关注度，并将关注度发送广播端；广播端根据关注度，调整3D虚拟现实教室对各区域的展示方式和展示内容；

步骤4，广播端发出自行操作指令；

步骤5，服务器根据自行操作指令，向接收端开放操控指令入口；

服务器对所述操控指令进行统计，并将所述统计的结果共享于所述广播端

步骤6，服务器根据来自每个接收端的操控指令，在3D虚拟现实教室中展示对应三维虚拟场景，并将对应三维虚拟场景共享给对应的接收端。

步骤1中服务器通过广域网连通广播端a、广播端b和接收端a、接收端b，广播端创建一个以上3D虚拟现实教室，其中每个广播端都可以分别创建各自的3D虚拟现实教室，广播端还可对创建的3D虚拟现实教室进行命名，实现多个3D虚拟现实教室共同存在。每个接收端登录界面，选择进入一个3D虚拟现实教室。所有接收端可共同进入一个3D虚拟现实教室，也可分别进入不同的教室，根据自己的需求以及界面上显示的创建好的3D虚拟现实教室，进行选择所要加入的3D虚拟现实教室。当然，广播端也可以选择进入已经创建好的3D虚拟现实教室，有一个以上广播端存在的3D虚拟现实教室，再此教室内，广播端都可以执行广播端所有的功能，发送操控控制指令以及其他。

如图2、图3所示，在步骤2之后，广播端发出控制指令，控制指令用于对3D虚拟现实教室的三维虚拟场景操作，服务器接收广播端对控制指令的操控方式，并将所共享给接收端，从而接收端可以通过3D显示器观察广播端对三维虚拟场景的操作。此时，同一3D虚拟现实教室内的广播端和接收端所看到的三维虚拟场景由一个广播者控制。

在步骤4、5中，广播端发出自行操作指令，自行操作指令通过服务器传输至接收端，则每个接收端过头盔显示器或感应手柄对3D虚拟现实教室内的三维虚拟场景自行操作，服务器将每个接收端的操控指令，显示在其对应的虚拟教室内。并且，服务器对操控指令进行统计，并将统计的结果共享于广播端，从而广播端可通过统计结果掌握接收端自行操作的情况。并且，广播端可选择查看某个接收端的具体自行操控情况，进入该接收端所显示的三维虚拟场景中，对接收端每一步操作进行监控、指导。

服务器统计接收端对三维虚拟场景各区域的关注度，并将关注度发送广播端；广播端根据关注度，调整3D虚拟现实教室对各区域的展示方式和展示内容。其中，服务器统计接收端对三维虚拟场景各区域的关注度包括：服务器将三维虚拟场景的各区域进行模块化；服务器统计每个模块化与3D显示器对焦线的对焦时间，用对焦时间衡量关注度。也就是说，接收端的接收者在3D虚拟现实教室中会有视觉上的移动以及停驻，广播端可通过设置将接收者在3D虚拟现实教室所浏览的点停留几秒之上的数据信息反馈回广播端，则广播端可通过反馈回的信息分析接收端的兴趣点或关注点，从而调整3D虚拟现实教室对各区域的展示方式和展示内容。而且，在控制指令或自行操作指令、反馈信息等数据传输，是在通过广域网互联的服务器与广播端、接收端之间进行的，并且服务器包括云服务器，则可以实现数据的快速传输，已到达广播端和接收端数据内容的同步广播和操控。

3D虚拟现实教室中还包含仿真人偶，服务器接收广播端的广播者或接收端的接收者个体动作行为，广播者个体动作行为由广播端通过动作采集器对广播者进行采集，接收者个体动作行为由接收端通过动作采集器对接收者进行采集。服务器根据广播者或接收者个体动作行为进行动作模拟，并将动作模拟加载于3D虚拟现实教室的仿真人偶，并将执行动作模拟的仿真人偶在三维虚拟场景中展示。在同一个3D虚拟现实教室中，广播者和接收者可通过仿真人偶模拟对方的存在和动作，使得虚拟现实的体验更有真实感。例如，在模拟星空的3D虚拟现实教室中，广播者手指某个星球，则在接收端就可通过仿真人偶看到广播者所指星球的动作。甚至广播者拿放某个星球，都可通过虚拟现实技术以及仿真人偶在3D虚拟现实教室中变现出。

上述3D虚拟现实教室的三维虚拟场景，是由广播端通过UNITY引擎、虚幻4引擎或WEBVR技术所创建，三维虚拟场景可复制到每个广播端上，再通过广播端创建的3D虚拟现实教室传播至接收端。也就是说，3D虚拟现实教室内的三维虚拟场景相当于三维PPT，通过接收端的3D显示器呈现在各个接收端，使得接收端获得沉浸式3D体验。并且，在广播端在创建三维虚拟场景时，还可以添加语音数据包，使得广播端和接收端在3D虚拟现实教室内进行语音通讯。因此，在教学、路演和通讯等领域，本发明所公开的方法都是适用的。

广播端、接收端与服务器之间要进行通信，必须有协议，否则双方无法理解对方的码流。本发明中的广播端、接收端与服务器是通过TCP协议或UDP活websocket协议保持连接，和/或，广播端、接收端与服务器之间数据传输采用的是protobuf，以保证网络通讯语言和数据交换格式统一。在protobuf中，协议是由一系列的消息组成的。因此最重要的就是定义通信时使用到的消息格式。Protobuf定义了一套基本数据类型。几乎都可以映射到C++\Java等语言的基础数据类型。并且，服务器还连接有MYSQL数据库、SQLSERVER数据库或ORACLE数据库。数据库可对传输过程中的数据进行储存，以保证传输数据的速度和可靠性。MYSQL是一种开放源代码的关系型数据库管理系统(RDBMS)，MYSQL数据库系统使用最常用的数据库管理语言--结构化查询语言(SQL)进行数据库管理。SQLSERVER是一个可扩展的、高性能的、为分布式客户机/服务器计算所设计的数据库管理系统，实现了与WindowsNT的有机结合，提供了基于事务的企业级信息管理系统方案。ORACLE数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的适应高吞吐量的数据库解决方案。

针对上述3D虚拟现实广播交互方法，本发明还公开了一种3D虚拟现实广播交互系统，其主要包括：

服务器、一个以上广播端和一个以上接收端，所述服务器通过广域网连通每个广播端和每个接收端。接收端包括创建单元、控制单元、操作单元和接收反馈单元，创建单元用于创建3D虚拟现实教室，控制单元用于发出控制指令，操作单元用于发出自行操作指令，接收反馈单元用于接收服务器共享给接收端的对应三维虚拟场景。接收端包括选择单元、接收单元、自行操作单元和反馈单元，选择单元用于接收端选择进入的3D虚拟现实教室，接收单元用于接收相应三维虚拟场景和自行操作指令，自行操作单元用于接收端发出操控指令，反馈单元用于将对应三维虚拟场景共享给对应的接收端。接收端通过3D显示器观察3D虚拟现实教室内的三维虚拟场景，如若接收端没有3D显示器，接收者也可以通过普通的ppt显示屏或是其他显示器观看3D虚拟现实教室内的场景演示，此情况下接收者没有身处虚拟环境中的体现。

服务器接收广播端对控制指令的操控方式，接收单元接收服务器发出的述操控方式，服务器对自行操作指令进行统计，接收反馈单元接收服务器发出的统计的结果。服务器统计接收端对三维虚拟场景各区域的关注度，并将关注度发送至接收反馈单元。每个接收端通过3D显示器或感应手柄对三维虚拟场景进行自行操作，服务器包括云服务器。服务器连接有MYSQL数据库、SQLSERVER数据库或ORACLE数据库。其具体原理，同上述方法一致，故不再作细致阐述。

该系统还包括动作采集器，动作采集器用于采集广播者或接收者个体动作行为，将动作行为传输至服务器，服务器根据动作行为，将动作模拟加载于3D虚拟现实教室的仿真人偶，并将执行动作模拟的仿真人偶在三维虚拟场景中展示。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种3D虚拟现实广播交互方法，其特征在于，包括：

步骤1，服务器通过广域网连通一个以上广播端和一个以上接收端，所述广播端在服务器上创建一个以上3D虚拟现实教室，并将3D虚拟现实教室向所有接收端开放入口；

步骤2，所述广播端发出操控所述3D虚拟现实教室的控制指令，所述控制指令用于对3D虚拟现实教室的三维虚拟场景操作；

步骤3，所述服务器接收所述控制指令，并在3D虚拟现实教室中展示相应三维虚拟场景，并将其共享给接收端；所述接收端通过3D显示器观察所述三维虚拟场景；

步骤4，所述广播端发出自行操作指令；

步骤5，所述服务器根据所述自行操作指令，向所述接收端开放操控指令入口；

步骤6，所述服务器根据来自每个接收端的操控指令，在3D虚拟现实教室中展示对应三维虚拟场景，并将所述对应三维虚拟场景共享给对应的接收端。

2.如权利要求1所述的3D虚拟现实广播交互方法，其特征在于，

在步骤2之后，所述方法还包括：所述服务器接收所述广播端对控制指令的操控方式，并将所共享给接收端；和/或，

在步骤5之后，所述方法还包括：所述服务器对所述操控指令进行统计，并将所述统计的结果共享于所述广播端。

3.如权利要求1所述的3D虚拟现实广播交互方法，其特征在于，在步骤3之后，所述方法还包括：

所述服务器统计所述接收端对三维虚拟场景各区域的关注度，并将所述关注度发送广播端；

所述广播端根据所述关注度，调整所述3D虚拟现实教室对各区域的展示方式和展示内容。

4.如权利要求3所述的3D虚拟现实广播交互方法，其特征在于，所述服务器统计所述接收端对三维虚拟场景各区域的关注度包括：

所述服务器将三维虚拟场景的各区域进行模块化；

所述服务器统计每个模块化与3D显示器对焦线的对焦时间，用对焦时间衡量所述关注度。

5.如权利要求3所述的3D虚拟现实广播交互方法，其特征在于，所述3D虚拟现实教室中还包含仿真人偶，则，所述步骤3还包括：

所述服务器接收广播端的广播者或接收端的接收者个体动作行为，所述广播者个体动作行为由广播端通过动作采集器对广播者进行采集，所述接收者个体动作行为由接收端通过动作采集器对接收者进行采集；

所述服务器根据广播者或接收者个体动作行为进行动作模拟，并将动作模拟加载于3D虚拟现实教室的仿真人偶，并将执行动作模拟的仿真人偶在三维虚拟场景中展示。

6.如权利要求1所述的3D虚拟现实广播交互方法，其特征在于，

每个接收端通过头盔显示器，和/或，感应手柄对三维虚拟场景进行自行操作；和/或，

所述服务器连接有MYSQL数据库、SQLSERVER数据库或ORACLE数据库；和/或，

所述广播端、接收端与所述服务器通过TCP协议或UDP活websocket协议保持连接，和/或，所述广播端、接收端与所述服务器之间数据传输采用的是protobuf；和/或，

所述广播端通过UNITY引擎、虚幻4引擎或WEBVR技术创建3D虚拟现实教室内的三维虚拟场景。

7.一种3D虚拟现实广播交互系统，其特征在于，包括：

服务器、一个以上广播端和一个以上接收端，所述服务器通过广域网连通每个广播端和每个接收端；

所述接收端包括创建单元、控制单元、操作单元和接收反馈单元，所述创建单元用于创建3D虚拟现实教室，所述控制单元用于发出控制指令，所述操作单元用于发出自行操作指令，所述接收反馈单元用于接收服务器共享给接收端的对应三维虚拟场景；

所述接收端包括选择单元、接收单元、自行操作单元和反馈单元，所述选择单元用于接收端选择进入的3D虚拟现实教室，所述接收单元用于接收相应三维虚拟场景和自行操作指令，所述自行操作单元用于接收端发出操控指令，所述反馈单元用于将对应三维虚拟场景共享给对应的接收端；

所述接收端通过3D显示器观察3D虚拟现实教室内的三维虚拟场景。

8.如权利要求7所述的一种3D虚拟现实广播交互系统，其特征在于，所述服务器接收所述广播端对控制指令的操控方式，所述接收单元接收服务器发出的所述述操控方式；和/或，

所述服务器对自行操作指令进行统计，所述接收反馈单元接收服务器发出的所述统计的结果。

9.如权利要求7所述的一种3D虚拟现实广播交互系统，其特征在于，所述服务器统计所述接收端对三维虚拟场景各区域的关注度，并将所述关注度发送至所述接收反馈单元；和/或，

还包括动作采集器，所述动作采集器用于采集广播者或接收者个体动作行为，将所述动作行为传输至所述服务器，所述服务器根据所述动作行为，将动作模拟加载于3D虚拟现实教室的仿真人偶，并将执行动作模拟的仿真人偶在三维虚拟场景中展示。

10.如权利要求7所述的一种3D虚拟现实广播交互系统，其特征在于，所述服务器包括云服务器。