CN112669690B - 一种基于mr设备的汽车教学数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于MR设备的汽车教学数据处理方法及系统，所述方法包括：当MR设备扫描到汽车实体后，获取所述汽车实体对应的增强现实描述以及与所述汽车实体对应的教学数据；构建虚拟场景，所述增强现实描述对应的虚拟现实模型，并基于所述MR设备将所述虚拟现实模型在所述虚拟场景中进行虚拟呈现；将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作。本发明可突破时间和空间限制，将一些危险性高、开展难度大、相对难控制的项目采用虚拟现实系统进行练习,模拟真实场景，在虚拟环境中身临其境地进行虚拟实训，提高实训效率。

Description

一种基于MR设备的汽车教学数据处理方法及系统

技术领域

本发明涉及虚拟现实技术领域，尤其涉及的是一种基于MR设备的汽车教学数据处理方法及系统。

背景技术

1)在现阶段教育发展的支持下，对于国内大多数院校而言，对汽车专业教育展开实训教学并非难事，但在实际进行中，教育效果却并不理想，其主要原因有院校缺乏专业经验丰富的指导老师、实训教学条件及设备场所限制、以及实训存在诸多意外等因素。

在汽车教学领域，汽车内燃机学等理论原理较难，学生学习的时候对一些专业术语没有概念，涉及的计算量也较大，且内燃机学等理论原理属于探究式，需观察一个现象并解释为何会发生，学生学习之时无实物仿真，仅凭老师讲解及想象，学生学习起来较为吃力，教学效果不理想。可见，现有技术中无法实现对便捷且直观地对汽车进行教学的系统或者平台。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于MR设备的汽车教学数据处理方法及系统，旨在解决现有技术中的无法实现对便捷且直观地对汽车进行教学的系统或者平台的问题。

本发明解决问题所采用的技术方案如下：

本发明实施例提供一种基于MR设备的汽车教学数据处理方法，其中，所述方法包括：

当MR设备扫描到汽车实体后，获取所述汽车实体对应的增强现实描述以及与所述汽车实体对应的教学数据；

构建虚拟场景，所述增强现实描述对应的虚拟现实模型，并基于所述MR设备将所述虚拟现实模型在所述虚拟场景中进行虚拟呈现；

将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作。

在一种实施方式中，所述当MR设备扫描到汽车实体后，获取所述汽车实体对应的增强现实描述以及与所述汽车实体对应的教学数据之前，包括：

预先在所述MR设备中建立若干个模型，所述模型用于当所述MR设备扫描到汽车实体后，对所述汽车实体进行增强现实描述，并将所述汽车实体与对应的增强现实描述进行绑定。

在一种实施方式中，所述增强现实描述中包括与对应的汽车实体的介绍信息，所述介绍信息即为所述教学数据。

在一种实施方式中，所述介绍信息包括所述汽车实体中的各个系统构件的参数信息以及所述汽车实体中的各个系统构件的运动状态信息。

在一种实施方式中，所述将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作之前，包括：

预先将多个MR设备进行连接，每一个MR设备对应一个用户，建立多个MR设备之间的互联。

在一种实施方式中，所述将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作，包括：

当进行多人协作时，对协作过程进行记录与录制，形成视频文件，并将所述视频文件发送至显示终端进行显示。

在一种实施方式中，所述视频文件中包括有所述协作过程的全息影像。

一种基于MR设备的汽车教学数据处理系统，其中，所述系统包括：

数据获取单元，用于当MR设备扫描到汽车实体后，获取所述汽车实体对应的增强现实描述以及与所述汽车实体对应的教学数据；

虚拟呈现单元，用于构建虚拟场景，所述增强现实描述对应的虚拟现实模型，并基于所述MR设备将所述虚拟现实模型在所述虚拟场景中进行虚拟呈现；

多人协作单元，用于将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作。

在一种实施方式中，所述系统还包括：

模型构建单元，用于预先在所述MR设备中建立若干个模型，所述模型用于当所述MR设备扫描到汽车实体后，对所述汽车实体进行增强现实描述，并将所述汽车实体与对应的增强现实描述进行绑定。

在一种实施方式中，所述系统还包括：

设备连接单元，用于预先将多个MR设备进行连接，每一个MR设备对应一个用户，建立多个MR设备之间的互联。

本发明的有益效果：本发明通过基于MR设备利用虚拟现实技术，可突破时间和空间限制，将一些危险性高、开展难度大、相对难控制的项目采用虚拟现实系统进行练习,模拟真实场景，在虚拟环境中身临其境地进行虚拟实训，提高实训效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于MR设备的汽车教学数据处理方法的流程示意图。

图2是本发明提供的基于MR设备的汽车教学数据处理系统的功能原理框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在现阶段教育发展的支持下，对于国内大多数院校而言，对汽车专业教育展开实训教学并非难事，但在实际进行中，教育效果却并不理想，其主要原因有院校缺乏专业经验丰富的指导老师、实训教学条件及设备场所限制、以及实训存在诸多意外等因素。

汽车内燃机学等理论原理较难，学生学习的时候对一些专业术语没有概念，涉及的计算量也较大，且内燃机学等理论原理属于探究式，需观察一个现象并解释为何会发生，学生学习之时无实物仿真，仅凭老师讲解及想象，学生学习起来较为吃力，教学效果不理想。

2016年开始，国家对混合现实技术重视程度越来越高。国务院在先后印发的《“十三五”国家信息化规划》、《国家创新驱动发展战略纲要》等文献中就明确指出，需将虚拟现实等新技术基础研发和前沿布局，加强自然交互与虚拟现实等技术研究，构筑新赛场先发主导优势，为我国经济转型升级和提供保障。在5G到来的契机下，MR在培训教学领域将存在更高清的视频画面、更丰富的情景化体验、更低的时延、更低的能耗等优势。

为了解决现有技术的问题，本实施例提供了一种基于MR设备的汽车教学数据处理方法，具体如图1中所示。所述方法包括：

步骤S100、当MR设备扫描到汽车实体后，获取所述汽车实体对应的增强现实描述以及与所述汽车实体对应的教学数据；

步骤S200、构建虚拟场景，所述增强现实描述对应的虚拟现实模型，并基于所述MR设备将所述虚拟现实模型在所述虚拟场景中进行虚拟呈现；

步骤S300、将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作。

具体实施时，本实施例中的MR(Mix reality，混合现实)设备可为Hololens。用户(如学生)可佩带该MR设备对汽车实体进行识别，当MR设备扫描到汽车实体后，获取所述汽车实体对应的增强现实描述。为了实达到扫描识别到汽车实体后出现的增强效果，本实施例中预先在所述MR设备中建立若干个模型，所述模型用于当所述MR设备扫描到汽车实体后，对所述汽车实体进行增强现实描述，并将所述汽车实体与对应的增强现实描述进行绑定。所述增强现实描述中包括与对应的汽车实体的介绍信息，所述介绍信息即为所述教学数据。所述介绍信息包括所述汽车实体中的各个系统构件的参数信息以及所述汽车实体中的各个系统构件的运动状态信息。

具体地，本实施例首先在unity中构造同等大小模型,然后导入Vuforia的SDK(Software Development Kit，软件开发工具包)，把物体进行增强描述效果和物体进行绑定，这样如果MR设备扫描到一辆车,MR设备就会预载出加载好的增强效果的介绍信息。Unity是一款强大的性能分析工具，拥有丰富的插件，本项目应用MRTK和PiXYZ和Bolt插件，实现探究性学习，实现不同机构对应更改参数或改变结构会呈现的运动效果的改变以及压力、温度等随位置不同而改变的曲线图或者是云图。当然，本实施例中可以根据不同的车辆，载入不同的介绍信息与之绑定，并且车内的零件也可以用此方式进行增强现实描述，以便后续构建虚拟现实模型。

进一步地，当需要进行教学时的，需要在一个虚拟的场景下将汽车实体对应的增强现实描述虚拟化呈现，以便更加直观地了解汽车的结构。在本实施例中，首先构建一个虚拟场景。具体地，利用unity进行开发,首先使用混合现实工具包新建unity项目,然后开始构建虚拟场景，本实施例通过脚本实现用按钮控制显示和隐藏之后通过Visual Studio(开发包)将应用程序部署到MR设备.首先在设备上启用“开发人员模式”，使Visual Studio能够连接到该MR设备,然后在MR设备和电脑上进行部署设置,可以通过WiFi部署也可以通过usb进行部署，部署完成之后就可以进行使用。也就是说，当部署完整后，就可以通过所述MR设备将对应的所述虚拟现实模型进行呈现。并且可以对汽车中的各大系统机构(如曲柄连杆机构、配气机构等)工作时的运动状态(如换气过程气门的开关闭、进气涡流的产生过程等)进行仿真。优选地，首先根据要进行仿真的物件进行建模,可以通过catia,pro/E等进行建模,选择其中的部分进行装配然后进行设计仿真。在进行学习实训时，用户(学生)可根据自己的需要进行探究式学习，更改物体模型相应的参数(如压缩比、等熵指数、转速、行程等)，观察其更改后的运动状态及理论数值的变化(如循环效率、最高压力、温度、气体流速变化等)。

进一步地，本实施例中还可以预先将多个MR设备进行连接，每一个MR设备对应一个用户，建立多个MR设备之间的互联。这样，本实施例就可将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作。多人协同技术是使用动作捕捉技术作为实现VGE中人机交互的重要手段,且以基于动作捕捉技术的用户化身作为VGE的主体,模拟现实中人类的交流交互。例如，可实现用户与用户之间在同个场景下的交互动作包括化身的转向、蹲下、起立和化身之间的对话、传递和研讨等形式。具体实施时，在教学实训过程中，教师可利用多人协同技术，与学生同时带上MR设备后创建虚拟房间，在虚拟房间中老师同学可面对同一个虚拟汽车实体进行实时教学讲课，选择对称式教学或者是非对称式教学。优选地，本实施例用到混合现实中的共享体验,意思是全息影像不需要仅对一个用户保密。全息版应用可能会从一个HoloLens、iOS或Android设备共享空间锚点，使用户能够在真实世界的同一位置跨多个设备渲染一张全息影像。教学演示可能由单个虚拟用户(即教师)实施，但是多个用户可进行协作，或者教师可以向使用虚拟材料的虚拟学生提供指导，这种体验的复杂程度取决于用户拥有的代理级别或在方案中可以有。一对一共享体验可提供强大的基线，理想情况下，可以在此级别创建概念证明。但是越大的组就会越复杂.当在同一位置发生共享体验时，混合现实的强度会成为一种情况，称之为归置。相反，当分配组时，至少有一个参与者不在同一物理空间(如使用VR设备时)，称之为远程体验。通常情况下，用户的组具有共同加入和远程参与者(例如会议室中的两个组).要构建共享体验根据您的应用程序和方案，将有各种要求来实现您所需的体验。其中一些内容包括如下，Match：创建会话、播发会话、发现和邀请特定人员，同时在本地和远程加入会话。定位点共享：能够在一个公共的本地空间内对齐多个设备上的坐标，因此对于所有用户，全息影像都显示在同一位置。网络：能够在所有参与者之间实时同步用户和全息影像的位置、交互和移动。状态存储：能够在空间中存储全息图的特性和位置，以便进行中型会话加入，稍后重新调用，并抵御网络问题。共享体验的关键是，多个用户在自己的设备上看到同一个全息影像，这通常通过共享锚点来跨设备对齐坐标来完成。若要共享锚，需要使用Azure空间锚点。首先，用户放置全息影像；应用创建空间锚，以便在世界上准确固定该全息图，可以通过Azure空间点将锚点共享到HoloLens、IOS和Android设备。本实施例还需要设置Photon Unity网络，然后通过将Photon Unity网络导入到Unity项目来创建共享体验。

优选地，本实施例中，当进行多人协作时，对协作过程进行记录与录制，形成视频文件，并将所述视频文件发送至显示终端进行显示。而在具体应用时，指导教师、甚至是远端的工程师和维修专家，能透过学生佩戴的MR设备所传出的影像对该学生提供建议或下达指示，而学生可以从其MR设备上的显示器看到这些建议或指示。优选地，在与多人共享，所有使用同一个帐户多个用户也可以在使用单个用户帐户时共享MR设备。在MR设备上，当新用户首次使用MR设备时(在保持相同帐户登录的同时)，MR设备会提示新用户快速校准和个性化查看体验。MR设备可以存储校准信息，以便将来的MR设备可以自动优化质量并舒适了解每个用户的观看体验,利用多人共享可以实现多人协作。

当然，在教学实训的具体应用时，学生所有的操作过程也会被记录下来，操作是否正确等资讯都会被记录及分析，用以教师对需改善的学生提供合适的培训及考核。从而在解决师资问题的同时，达到了教师不在现场指导，学生也可以进行实训操作的目的。优选地，本实施例中的视频文件可发至其他终端设备，形成旁观视图，以便让他人在2D屏幕上观看用户在MR设备中看到的东西。有了旁观视图，就可以通过快速且经济的方式在移动设备中录制高清全息影像。有了旁观视图，还可以通过摄像机对全息影像进行专业质量的录制。例如，可以使用iPhone或Android设备录制混合现实体验。以全高清进行录制，对全息影像甚至阴影应用抗锯齿效果。这样可以经济高效且快速地捕获全息影像的视频。

可见，本实施例通过基于MR设备利用虚拟现实技术，可突破时间和空间限制，将一些危险性高、开展难度大、相对难控制的项目采用虚拟现实系统进行练习,模拟真实场景，在虚拟环境中身临其境地进行虚拟实训，提高实训效率。其效果可列举如下：

1)使得实训教学准确真实。例如可实现对汽车的发动机拆装对应零件所需要的扭矩以及力气等，靠设置震动来逼真的模拟，达到与现实拆装一样的效果，做到以虚代实；

2)实训效率及安全性显著提高，对一些危险性高、开展难度大、相对难控制的项目进行沉浸式练习；

3)教学内容更全面更直观，考核形式高效生动。例如，将汽车按照四大组成(发动机、底盘、车身、电气设备)进行分模块教学，每个模块对应的知识按照组成机构及系统进行深入学习。如发动机板块就再细分为两大机构五大系统，分别进行维修学习，最后实现对整个发动机故障鉴定。最终在系统中给出一辆有故障的汽车，让学员进行故障鉴定并维修，作为考核。

4)探究式学习，实时仿真，操作简便，弥补传统课堂的不足。例如，学生自主更改参数(如压缩比、等熵指数、转速、行程等)或选用不同的结构(如气环开口形状、气体流动方式等)，观察更改参数后对应带来的工作变化(如循环效率、最高压力、温度、气体流速变化等)。而传统的发动机仿真软件(如star-ccm、GT-SUITE、avl-fire)上手较难，展示也不够直观。

5)实训成本相对更便宜、实训场地要求更低，且可进行连续教学。

基于上述实施例，本发明还提供一种基于MR设备的汽车教学数据处理系统，具体如图2中所示，所述系统包括：数据获取单元210、虚拟呈现单元220以及多人协作单元230。具体地，所述数据获取单元210，用于当MR设备扫描到汽车实体后，获取所述汽车实体对应的增强现实描述以及与所述汽车实体对应的教学数据；所述虚拟呈现单元220，用于构建虚拟场景，所述增强现实描述对应的虚拟现实模型，并基于所述MR设备将所述虚拟现实模型在所述虚拟场景中进行虚拟呈现；所述多人协作单元230，用于将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作。

优选地，所述系统还包括：模型构建单元，用于预先在所述MR设备中建立若干个模型，所述模型用于当所述MR设备扫描到汽车实体后，对所述汽车实体进行增强现实描述，并将所述汽车实体与对应的增强现实描述进行绑定。所述系统还包括：设备连接单元，用于预先将多个MR设备进行连接，每一个MR设备对应一个用户，建立多个MR设备之间的互联。

综上所述，本发明公开了一种基于MR设备的汽车教学数据处理方法及系统，所述方法包括：当MR设备扫描到汽车实体后，获取所述汽车实体对应的增强现实描述以及与所述汽车实体对应的教学数据；构建虚拟场景，所述增强现实描述对应的虚拟现实模型，并基于所述MR设备将所述虚拟现实模型在所述虚拟场景中进行虚拟呈现；将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作。本发明可突破时间和空间限制，将一些危险性高、开展难度大、相对难控制的项目采用虚拟现实系统进行练习,模拟真实场景，在虚拟环境中身临其境地进行虚拟实训，提高实训效率。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种基于MR设备的汽车教学数据处理方法，其特征在于，所述方法包括：

当MR设备扫描到汽车实体后，获取所述汽车实体对应的增强现实描述以及与所述汽车实体对应的教学数据；

构建虚拟场景，所述增强现实描述对应的虚拟现实模型，并基于所述MR设备将所述虚拟现实模型在所述虚拟场景中进行虚拟呈现；

将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作；

所述当MR设备扫描到汽车实体后，获取所述汽车实体对应的增强现实描述以及与所述汽车实体对应的教学数据之前，包括：

预先在所述MR设备中建立若干个模型，所述模型用于当所述MR设备扫描到汽车实体后，对所述汽车实体进行增强现实描述，并将所述汽车实体与对应的增强现实描述进行绑定；

所述增强现实描述中包括与对应的汽车实体的介绍信息，所述介绍信息即为所述教学数据；首先在unity中构造同等大小模型,然后导入Vuforia的SDK，把物体进行增强描述效果和物体进行绑定，当MR设备扫描到一辆车,MR设备就会预载出加载好的增强效果的介绍信息；

所述介绍信息包括所述汽车实体中的各个系统构件的参数信息以及所述汽车实体中的各个系统构件的运动状态信息；

使用混合现实工具包新建unity项目,构建虚拟场景，通过脚本实现用按钮控制显示和隐藏之后通过Visual Studio将应用程序部署到MR设备；在设备上启用开发人员模式，使Visual Studio能够连接到MR设备,然后在MR设备和电脑上进行部署设置,通过WiFi部署或通过usb进行部署，部署完成之后进行使用；当部署完整后，通过所述MR设备将对应的所述虚拟现实模型进行呈现；并且对汽车中的各大系统机构工作时的运动状态进行仿真；根据要进行仿真的物件进行建模,通过catia,pro/E进行建模,选择其中的部分进行装配然后进行设计仿真；在进行学习实训时，用户可根据自己的需要进行探究式学习，更改物体模型相应的参数，观察更改后的运动状态及理论数值的变化；

所述将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作之前，包括：

预先将多个MR设备进行连接，每一个MR设备对应一个用户，建立多个MR设备之间的互联；

所述将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作，包括：

当进行多人协作时，对协作过程进行记录与录制，形成视频文件，并将所述视频文件发送至显示终端进行显示；

多人协同技术是使用动作捕捉技术作为实现VGE中人机交互的重要手段,且以基于动作捕捉技术的用户化身作为VGE的主体,模拟现实中人类的交流交互；在教学实训过程中，教师利用多人协同技术，与学生同时带上MR设备后创建虚拟房间，在虚拟房间中老师和同学面对同一个虚拟汽车实体进行实时教学讲课，选择对称式教学或者是非对称式教学；教学演示由单个虚拟用户实施，多个用户进行协作，或者教师向使用虚拟材料的虚拟学生提供指导；

指导教师、远端的工程师和维修专家，能透过学生佩戴的MR设备所传出的影像对该学生提供建议或下达指示，而学生从MR设备上的显示器看到这些建议或指示；在与多人共享，所有使用同一个帐户多个用户也可以在使用单个用户帐户时共享MR设备；在MR设备上，当新用户首次使用MR设备时，MR设备会提示新用户快速校准和个性化查看体验；

在教学实训时，学生所有的操作过程也会被记录下来，操作是否正确都会被记录及分析，用以教师对需改善的学生提供培训及考核；所述视频文件可发至终端设备，形成旁观视图，以让他人在2D屏幕上观看用户在MR设备中看到的东西；有了旁观视图，可通过在移动设备中录制高清全息影像；有了旁观视图，还可通过摄像机对全息影像进行专业质量的录制；使用iPhone或Android设备录制混合现实体验；以全高清进行录制，对全息影像甚至阴影应用抗锯齿效果。

2.一种基于MR设备的汽车教学数据处理系统，其特征在于，所述系统包括：

数据获取单元，用于当MR设备扫描到汽车实体后，获取所述汽车实体对应的增强现实描述以及与所述汽车实体对应的教学数据；

虚拟呈现单元，用于构建虚拟场景，所述增强现实描述对应的虚拟现实模型，并基于所述MR设备将所述虚拟现实模型在所述虚拟场景中进行虚拟呈现；

多人协作单元，用于将虚拟呈现的所述汽车虚拟现实模型与多个所述MR设备进行互联，以实现对汽车虚拟现实模型的多人协作；

所述系统还包括：

模型构建单元，用于预先在所述MR设备中建立若干个模型，所述模型用于当所述MR设备扫描到汽车实体后，对所述汽车实体进行增强现实描述，并将所述汽车实体与对应的增强现实描述进行绑定；所述增强现实描述中包括与对应的汽车实体的介绍信息，所述介绍信息即为所述教学数据；首先在unity中构造同等大小模型,然后导入Vuforia的SDK，把物体进行增强描述效果和物体进行绑定，当MR设备扫描到一辆车,MR设备就会预载出加载好的增强效果的介绍信息；所述介绍信息即为所述教学数据；述介绍信息包括所述汽车实体中的各个系统构件的参数信息以及所述汽车实体中的各个系统构件的运动状态信息；

使用混合现实工具包新建unity项目,构建虚拟场景，通过脚本实现用按钮控制显示和隐藏之后通过Visual Studio将应用程序部署到MR设备；在设备上启用开发人员模式，使Visual Studio能够连接到该MR设备,在MR设备和电脑上进行部署设置,通过WiFi部署或通过usb进行部署，部署完成之后进行使用；当部署完整后，通过所述MR设备将对应的所述虚拟现实模型进行呈现；并且对汽车中的各大系统机构工作时的运动状态进行仿真；具体地，首先根据要进行仿真的物件进行建模,通过catia,pro/E进行建模,选择其中的部分进行装配然后进行设计仿真；在进行学习实训时，用户可根据自己的需要进行探究式学习，更改物体模型相应的参数，观察其更改后的运动状态及理论数值的变化；

所述系统还包括：

设备连接单元，用于预先将多个MR设备进行连接，每一个MR设备对应一个用户，建立多个MR设备之间的互联；

多人协同技术是使用动作捕捉技术作为实现VGE中人机交互的重要手段,且以基于动作捕捉技术的用户化身作为VGE的主体,模拟现实中人类的交流交互；在教学实训过程中，教师利用多人协同技术，与学生同时带上MR设备后创建虚拟房间，在虚拟房间中老师和同学面对同一个虚拟汽车实体进行实时教学讲课，选择对称式教学或者是非对称式教学；教学演示可由单个虚拟用户实施，多个用户进行协作，或者教师向使用虚拟材料的虚拟学生提供指导；

当进行多人协作时，对协作过程进行记录与录制，形成视频文件，并将所述视频文件发送至显示终端进行显示；指导教师、远端的工程师和维修专家，能透过学生佩戴的MR设备所传出的影像对该学生提供建议或下达指示，而学生从MR设备上的显示器看到这些建议或指示；在与多人共享，所有使用同一个帐户多个用户也可以在使用单个用户帐户时共享MR设备；在MR设备上，当新用户首次使用MR设备时，MR设备会提示新用户快速校准和个性化查看体验；

在教学实训时，学生所有的操作过程也会被记录下来，操作是否正确都会被记录及分析，用以教师对需改善的学生提供培训及考核；所述视频文件可发至终端设备，形成旁观视图，以便让他人在2D屏幕上观看用户在MR设备中看到的东西；有了旁观视图，可通过在移动设备中录制高清全息影像；有了旁观视图，还可通过摄像机对全息影像进行专业质量的录制；使用iPhone或Android设备录制混合现实体验；以全高清进行录制，对全息影像甚至阴影应用抗锯齿效果。

Images