CN103941861A - 一种应用混合现实技术的多人合作训练系统 - Google Patents

Abstract

本发明提供一种应用混合现实技术的多人合作训练系统，利用增强现实技术，丰富人机交互过程，建立现实与虚拟世界的数据联系，保证真实的训练效果体验和丰富的训练内容。包括虚拟场景搭建系统、后台数据管理系统和移动增强现实交互系统；其中：虚拟场景搭建系统建立在一个封闭的真实室内空间当中，系统通过真实的道具进行结构设定，通过计算机建模创建虚拟场景，然后通过投影仪将虚拟场景投影到房间中，投影内容包括对房间外貌的改变，道具外部特征的改变，以及移动增强现实交互式的标志点改变，构建一个通过移动增强现实设备进行交互的沉浸式环境。

Description

一种应用混合现实技术的多人合作训练系统

技术领域

本发明涉及一种应用混合现实技术的多人合作训练系统,适合于多人合作性培训和多人娱乐互动教育。 

背景技术

个人英雄主义的问题解决模式在现代社会已不再被人们推崇，团队合作模式成为一种更加高效的解决问题方式。人们也开始更多的重视团队建设和培养团队意识。但是，大多数的训练系统都是基于面对面的交流以及局限性的现实环境，比如一些桌面模型的合作类游戏模拟。但是这样的一种训练模式缺乏灵活性，无法适应多变的情况，单一的训练内容也不能提供足够的资源面向不同的团队。 

传统的训练模式局限在现实场景中，实体道具无法提供足够真实的用户体验，训练内容缺乏变通，训练者投入度不高导致训练效果不够理想。 

虚拟现实技术提供了一种虚拟环境作为合作训练的拓展手段，利用人机交互的方式，使得用户能够在虚拟世界中进行合作培训。这种虚拟世界系统丰富了训练内容，拓宽了训练人群。但是局限于目前的3D渲染技术和多样化的人体感官信息，训练者在虚拟环境中无法达到完全投入，真实体验感不强并且缺乏人与人的直接交流。 

在虚拟世界的基础上又开发出了沉浸式的培训系统，包括进行空间投影，头盔现实或者是封闭空间显示，提供更加真实的虚拟体验，并且加入更多的虚拟角色促进用户的真实体验提高。但是这样的系统依旧不能提供足够真实的训练环境。 

增强现实这个词汇实际上可用于两类技术。其中一类增强现实技术包括这样的系统，即使用一个网络摄像头或者视频摄像机捕捉一个用户的图像(他的头部、手或身体等)，或者实时捕捉一个现实世界的物体，并把该图像放在计算机屏幕上。然后，软件跟踪这个用户或物体在实际空间的移动，这样，该用户或 物体就可以和屏幕上的一个虚拟物体(类似一个3D模型)进行互动。这种类型的增强现实技术一直应用于视频游戏、促销工具和在线购物助手等系统中。在线购物助手能够让购买者在实际购物之前虚拟地“试穿”衣服。在商业领域，这个版本的增强现实技术可用于测试产品或者营销思路。 

第二类的增强现实系统使用网络摄像头、智能手机或其他设备捕捉现实世界的图像，然后在显示器显示的3D图像上添加文本、链接或其他物体。采用这种类型的应用，你就可以用一个联网设备的相机对准一幢大楼或者地标建筑，然后便可在你的屏幕上接收到关于这个地点的有帮助的信息。 

发明内容

本发明要解决的技术问题为提供一种应用混合现实技术的多人合作训练系统，利用增强现实技术，丰富人机交互过程，建立现实与虚拟世界的数据联系，保证真实的训练效果体验和丰富的训练内容。 

本发明的一种应用混合现实技术的多人合作训练系统，包括虚拟场景搭建系统、后台数据管理系统和移动增强现实交互系统；其中： 

虚拟场景搭建系统建立在一个封闭的真实室内空间当中，系统通过真实的道具进行结构设定，通过计算机建模创建虚拟场景，然后通过投影仪将虚拟场景投影到房间中，投影内容包括对房间外貌的改变，道具外部特征的改变，以及移动增强现实交互式的标志点改变，构建一个通过移动增强现实设备进行交互的沉浸式环境； 

后台数据管理系统用于对整个训练过程的控制，以及对各个流程的逻辑控制，同时对整个过程数据进行监控和收集，并对团队训练结果进行数据分析和评估； 

移动增强现实交互系统用于创建虚拟角色与用户进行交互并传递信息，使用移动设备增强现实技术连接虚拟和现实场景，同时实现用户与系统的信息交互。 

所述的虚拟场景搭建系统基于XNA Unity3D游戏引擎控制，建立在真实训练场景中。 

所述的投影显示为平面或曲面。 

所述的真实训练场景为封闭空间的室内场所，提供多种实体的训练环境， 包括房间的机械装置设备，及自动化控制系统；通过红外，重力感应触发器进行机械装置控制。 

所述的后台数据管理系统包括后台服务器、后台监控系统、监控摄像头、无线局域网路由器。 

所述的移动增强现实交互系统为基于Android系统的智能手机或基于IOS系统的iPhone、iPad或者其他具有相同计算能力的携带摄像头的智能移动装置。 

本发明的有益效果： 

1、本发明结合了真实训练场景和虚拟现实技术的优势，提出一种利用移动增强现实技术促进人机交互，建立现实与虚拟世界的联系，发挥两者的共同优势； 

2、本系统的训练模式加入更多可拓展的虚拟元素，极大丰富训练内容； 

3、由于现实场景作为基础，团队训练过程体验感大大增加，保证训练的效果； 

4、本发明加入后台控制系统，虚拟场景可自由变化，训练过程能够被记录。

附图说明

图1是本发明多人合作训练系统结构图。 

具体实施方式

本发明提供一种高效的合作训练系统，结合现实训练环境和虚拟场景作为合作训练环境，尽量去避免目前主流的两种训练系统的弊端。以真实的人员为基础，在面对面进行交流的基础上，配以多维度的无限虚拟空间，通过增强现实技术将现实和虚拟环境最大化的结合，构成一个混合现实环境，给训练者更加丰富的训练内容和真实的训练体验，同时利用全新的训练模式和智能分析，最大程度的促进团队建设，迅速寻找一个团队解决问题的最佳方案。 

多人合作训练系统主要分为三个模块：虚拟场景搭建系统、后台数据管理系统和移动增强现实交互系统。 

虚拟场景搭建系统通过投影机制造虚拟沉浸式环境，以及现实有限空间的物理场景建设，并将两者很好的结合起来；移动增强现实交互系统则是创建虚 拟角色与用户进行交互并传递信息，使用移动设备主要是利用增强现实技术连接虚拟和现实场景，并且用户可以用其与系统进行交互，同时许多促进合作训练的道具装置与后台系统进行直接的信息交换；后台数据管理系统包括对整个训练过程的控制，对各个流程的逻辑控制，对整个过程数据进行监控和收集，并对团队训练结果进行数据分析和评估。 

整个系统建立在一个有限的房间内，进入训练的团队只能与自己的队友交谈，不会再看到其他外部人员。房间在某些适当的地方会通过投影仪投影影像到墙壁上，在有限的空间中创造无限延伸的虚拟场景。与之对应的房间为基础的物理场景则通过增强现实技术和自动化的道具装置与虚拟场景结合起来，许多关键的道具都具有增强现实识别的标志点，训练者通过一些移动设备或者是提供的道具装置能够发现隐藏的信息或是与系统进行交互。房间中所有的场景都是有后台系统进行控制，这些场景将组成一个完整的故事情节和逻辑关系。训练者在这样的背景中将会遇到一系列的任务或是难关，这些任务和难关都需要通过团队协作的模式进行解决，其要求的知识范围很广但是都是一些基础的在训练者知识技能范围之内的。整个训练的过程就是训练团队在系统封闭的房间内通过体验一个完整的故事，在情节和系统的提示引导下，通过一系列的团队合作完成要求的任务，整个过程将反复在虚拟和现实场景中穿梭，结合各方面的知识和技能。 

在整个训练过程，后台管理评估系统都是至关重要的一个环节，它控制着整个训练的逻辑过程，在每一个阶段都进行数据的统计，包括完成的任务类型，时间等，并针对团队的特点可以进行简单的智能化筛选。最后通过训练过程的数据对团队进行分析和评估。 

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施案例对于本发明作进一步的详细说明。 

图1多人合作训练系统结构示意图，主要分为虚拟场景搭建系统，后台数据管理系统和移动增强现实交互系统。场景搭建系统则分为实景和虚拟场景建设，实景搭建部分主要是封闭的房间内运用增强现实技术的相关道具，和辅助训练过程的提示道具。虚拟场景部分是由电脑控制投影机在房间的四周投影出具有纵深感的3D立体影像，创造沉浸式的虚拟场景；也通过电脑控制投影机在一些房间白色背景的道具上进行投影，能够快速的改变道具的表面特征，形成 多样化的虚实结合。整个系统PC端包括投影控制和人机交互都是用XNA作为框架搭建起来的，作为一款成熟的游戏制作框架套件，XNA能够很好的创建3D场景和模型，并且很好的兼容2D与3D并存的投影模式，同时也能准确的控制投影图像的坐标，方便进行投影画面的调整，虚拟场景部分也可通过多点触摸屏设备进行部分小规模的虚拟场景建设。 

增强现实技术主要应用在移动设备上，与移动设备的摄像头相结合。通过增强现实技术能够更好的将虚拟场景与实景结合起来，给用户更好的体验。本专利采用iPad或iPhone作为调试设备，通过Unity3D游戏引擎进行训练过程指导应用，采用Vuforia^TM提供的增强现实识别库，进行开发。作为控制训练内容的主要线索，数据通讯都建立在局域网的Socket基础上。通过无线路由局域网想祸胎数据管理系统发送和接收数据。 

后台数据管理则是进行训练过程的数据处理，数据通过交互过程的移动设备和电脑进行记录和传输；另外则是控制整个训练过程，通过移动设备和道具装置后台控制能够实时监控训练的进程，根据训练任务完成的情况，去选择适合团队的下一阶段任务。整个训练系统的数据通信是建立在一个独立的局域网基础上，设备的数据传输主要依靠网络信号和串口信号。整个通信控制模块基于IGRS协议，一种架构在TCP/IP基础上，对信息设备资源共享的协同服务协议。 

训练者通过移动增强现实技术和训练环境进行交互，其主要的交互方式有如下五种： 

第一种交互方式，移动设备上具备摄像头，通过摄像头采集标志点信息，增强现实识库提供识别标志点的标定和跟踪技术，在移动设备摄像头设别标志点时，对移动设备屏幕上的现实画面叠加虚拟场景，提供给训练者有用的隐藏信息。包括对现实物体的形象特征进行改变，提供图片和视频播放，进行设备操作指导。 

第二种交互方式，训练过程提供大量传感器进行自动化控制，训练系统根据训练过程进行反馈。其中包括红外热感触发控制，压力传感器控制，光敏电阻传感器控制，霍尔开关传感器控制以及声音识别控制。移动增强现实设备主要提供操作性指导和声源。 

第三种交互方式，与沉浸式虚拟环境进行交互。在本系统中，训练空间由 多个房间构成，部分房间通过多个投影仪对墙体进行投影，形成沉浸式的虚拟场景。训练者进入场景通过自动化装置和移动增强现实设备与虚拟环境进行交互。自动化控制装置通过串口通信技术与虚拟环境后台主机进行信号传输，移动增强现实设备通过局域网络socket通信与后台主机进行网络信号传输。 

第四种交互方式，与多点触摸屏进行交互，为更好的提供多种训练体验，保证训练内容丰富性，本专利培训体统提供多点触摸屏作为一种交互方式，多点触摸屏提供多人合作完成任务训练的硬件基础，通过移动增强现实设备进行任务知道，包括通过多点触摸屏上应用提供标志点进行隐藏信息探索。 

第五种交互方式，利用无线网络的通信基础，进行多人远程合作训练，两组训练人员被隔离在不同房间，通过移动增强现实设备进行远程合作与交流，共同完成系统指定训练内容，达到合作训练效果。 

对于多人合作训练系统训练内容的设计，主要的训练形式为让玩家在虚拟的房间中通过敏锐的观察和逻辑推理找到线索，破除一个个难关和谜题最终成功的逃脱出上锁的房间。多人合作训练系统将这样的游戏实体化，在现实的封闭的房间构建这样的一种密室，房间中会有很多辅助逃脱密室的线索，它们或者通过破解制作的装置道具，通过增强现实技术获取信息；或者与虚拟环境进行交互，比如完成游戏或者与虚拟人物进行交流等；或者是两者皆有的虚实结合谜题。在训练过程中对于每一个阶段都要求训练者必须通过多人合作才能进行破解。谜题的设计分为串行结构和并行结构，串行结构中每一个谜题都是下一个谜题的基础，要求团队成员合力进行完成；并行结构中，各个谜题相互之间有联系，但是却是独立的，内容繁琐，需要团队成员分工协作才能在较短的时间内完成。在多人合作训练系统的后台管理程序中有一个谜题任务库，其中设计的谜题涉及多方面的知识和技能，但是要求专业性都不高，在普通玩家的控制范围之类，每次进行训练，系统会在符合游戏逻辑过程的基础上进行随机选择，随着前期谜题的完成，系统会根据谜题破解情况进行简单的智能筛选，最大程度提供适合各个团队的训练过程。首先在这样的封闭空间中，环境的压抑氛围能够促进训练者组成团队寻求安全感；其次，训练游戏有着风格独特的故事背景，能够更大的吸引训练者的兴趣，沉浸式的虚拟环境能够使得训练者更加融入故事当中，表现更加积极；谜题设定丰富，类型广泛，虚拟环境具有足够高的机动性，能够更好的适应不同的团队特点；虚实结合的游戏基础，超 越传统的多人合作训练模式，从空间维度和时间维度上进行扩展，更加丰富的谜题结构，针对性的团队训练设计，能够更加高效的提高团队成员积极性和默契程度。 

Claims (6)

1.一种应用混合现实技术的多人合作训练系统，其特征在于，包括虚拟场景搭建系统、后台数据管理系统和移动增强现实交互系统；其中：

虚拟场景搭建系统建立在一个封闭的真实室内空间当中，系统通过真实的道具进行结构设定，通过计算机建模创建虚拟场景，然后通过投影仪将虚拟场景投影到房间中，投影内容包括对房间外貌的改变，道具外部特征的改变，以及移动增强现实交互式的标志点改变，构建一个通过移动增强现实设备进行交互的沉浸式环境；

后台数据管理系统用于对整个训练过程的控制，以及对各个流程的逻辑控制，同时对整个过程数据进行监控和收集，并对团队训练结果进行数据分析和评估；

移动增强现实交互系统用于创建虚拟角色与用户进行交互并传递信息，使用移动设备增强现实技术连接虚拟和现实场景，同时实现用户与系统的信息交互。

2.如权利要求1所述的一种应用混合现实技术的多人合作训练系统，其特征在于，所述的虚拟场景搭建系统基于XNA Unity3D游戏引擎控制，建立在真实训练场景中。

3.如权利要求1或2所述的一种应用混合现实技术的多人合作训练系统，其特征在于，所述的投影显示为平面或曲面。

4.如权利要求1或2所述的一种应用混合现实技术的多人合作训练系统，其特征在于，所述的真实训练场景为封闭空间的室内场所，提供多种实体的训练环境，包括房间的机械装置设备，及自动化控制系统；通过红外，重力感应触发器进行机械装置控制。

5.如权利要求1或2所述的一种应用混合现实技术的多人合作训练系统，其特征在于，所述的后台数据管理系统包括后台服务器、后台监控系统、监控摄像头、无线局域网路由器。

6.如权利要求1或2所述的一种应用混合现实技术的多人合作训练系统，其特征在于，所述的移动增强现实交互系统为基于Android系统的智能手机或基于IOS系统的iPhone、iPad或者其他具有相同计算能力的携带摄像头的智能移动装置。