CN113593347B - 一种基于虚拟现实的多人协同训练系统 - Google Patents

Abstract

本发明公开了一种基于虚拟现实的多人协同训练系统，用于实现对同一乘组的三名受训人员同时进行作业操作的协同训练，其包括虚拟现实训练系统和作业转运设备操作台；作业转运设备操作台是对作业转运设备运动过程进行控制与监视的专用设备，用于实现作业转运设备的运动控制和运动情况监视，包括作业转运设备操作台本体、编码器、摄像机和无线耳麦；虚拟现实训练系统包括虚拟现实设备、工作站、电视显示器、网络交换机、音频矩阵、视频矩阵、无线耳麦、KVM和中控设备等。本发明突破了物理限制和环境限制，采用虚拟现实技术建立了逼真的作业任务三维场景，实现了三名人员协同完成作业任务的全流程、全要素操作训练。

Description

一种基于虚拟现实的多人协同训练系统

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种基于虚拟现实的多人协同训练系统。

背景技术

目前，特殊岗位人员，例如航天员，在执行任务前需要进行大量的训练，合适的训练设备是进行高效训练的保障。对于特殊的训练内容，由于受多方面因素限制，例如物理空间因素、危险因素、破坏性因素等，不便于采用实物设备进行训练，即使采用实物设备进行训练，也只能是某个方面的片段式训练，不能进行全要素、全流程的训练。通过采用虚拟现实技术，创建逼真的作业任务场景，可进行逼真的作业操作仿真，从而实现全要素、全岗位训练支持，达到真实作业任务的全面真实模拟仿真，实现逼真的全要素、全流程的训练。因此，面向特殊领域、特殊人员，亟需采用虚拟现实技术开发一种虚拟现实多人协同训练系统。

发明内容

针对特殊领域人员进行逼真的全要素、全流程的训练的难题，本发明提供了一种基于虚拟现实的多人协同训练系统，以实现乘组三名人员同时进行特殊领域的作业操作协同训练，从而达到低成本、高效、快速熟练掌握特殊领域的操作步骤、操作方法和协同操作的目的。

本发明提供了一种基于虚拟现实的多人协同训练系统，用于实现对同一乘组的三名受训人员同时进行作业操作的协同训练，三名受训人员分别称为人员1、人员2和人员3，其包括虚拟现实训练系统和作业转运设备操作台；基于虚拟现实的多人协同训练系统部署在两个房间；作业转运设备操作台是用于作业时，对作业转运设备运动过程进行控制与监视的专用设备，既可以单独用于人员训练，也可以与虚拟现实训练系统互联用于协同训练，作业转运设备操作台用于实现作业转运设备的运动控制和运动情况监视，其部署在一个单独的房间，通过网线与设备区的网络交换机相连，包括作业转运设备操作台本体、一台编码器、一台摄像机和两个无线耳麦。摄像机安装在该房间的墙上，拍摄范围为作业转运设备操作台，通过视频线与编码器相连。编码器通过网线与设备区的网络交换机相连，把摄像机视频编码为H.264格式，传输给设备区的解码器。无线耳麦通过音频线与编码器相连，实现作业转运设备操作台的操作者与虚拟现实训练系统中的主教、辅教和受训人员通话。在进行作业操作的协同训练时，主教负责对整个训练过程的教学进程进行控制；辅教负责训练过程的记录、对受训人员的操作过程进行辅助，保障训练过程安全、顺利的进行。教员包括主教和辅教。

虚拟现实训练系统包括三套虚拟现实设备、七台工作站、七台电视显示器、一个教员台、一台网络交换机、一台音频矩阵、一台视频矩阵、三个无线耳麦、一台KVM(即键盘、显示器、鼠标切换器)、一套中控设备、一台录像机、一台解码器、两个机柜、一个电源柜组成，虚拟现实训练系统部署于一个房间内，房间分为五个区，分别为训练控制区、第一训练操作区、第二训练操作区、第三训练操作区和设备区；

所述训练控制区部署教员台和由四个电视显示器构成的训练监视电视墙，教员台上部署两台工作站、一个中控平板电脑以及两个显示器，其中第一工作站安装有训练控制软件，训练控制软件用于控制训练进程，发送作业转运设备的运动仿真指令，实现训练初始化设置，对训练开始、训练结束、作业转运设备仿真开始等过程进行控制等。中控设备包括中控平板电脑和中控主机，中控主机安装在机柜上。

第二工作站安装有虚拟现实仿真软件，该软件采用辅教的PC视角，第二工作站中的虚拟现实仿真软件将产生辅教PC视角下的作业任务的仿真场景。中控平板电脑上安装中控软件，用于实现工作站的开关机、电视显示器开关机、电视显示器显示图像源设置、通话语音控制等；该两台工作站通过网线与设备区的网络交换机相连，通过视频线与该训练控制区部署的电视显示器和设备区的视频矩阵相连。四个电视显示器均通过视频线与设备区的视频矩阵相连，用于显示所有工作站的图像；在训练过程中，教员通过中控平板电脑上的中控软件控制四个电视显示器的开关机和显示画面内容；

所述第一训练操作区部署一套虚拟现实设备、一台电视显示器和第三工作站，第三工作站安装有虚拟现实仿真软件，该软件采用人员1的虚拟现实VR视角，用于支持人员1完成作业任务的虚拟现实操作训练，第三工作站中的虚拟现实仿真软件将产生的VR视角下的作业任务仿真场景发送给其虚拟现实设备；第一训练操作区部署的虚拟现实设备通过视频线与第三工作站相连；第三工作站通过网线与设备区的网络交换机相连，通过视频线与设备区的视频矩阵相连；第一训练操作区部署的电视显示器通过网线与设备区的中控设备相连，通过视频线与设备区的视频矩阵相连，可显示所有工作站的图像；训练过程中，教员通过中控平板电脑上的中控软件控制该电视显示器的开关机和显示画面内容；

所述第二训练操作区部署一套虚拟现实设备、一台电视显示器和第四工作站，第四工作站安装有虚拟现实仿真软件，该软件采用人员2的VR视角，用于支持人员2完成作业任务的虚拟现实操作训练，第四工作站中的虚拟现实仿真软件将产生的VR视角下的作业任务仿真场景发送给其虚拟现实设备；第二训练操作区部署的虚拟现实设备通过视频线与该区部署的第四工作站相连；第四工作站通过网线与设备区的网络交换机相连，通过视频线与设备区的视频矩阵相连；第二训练操作区部署的电视显示器通过网线与设备区的中控设备相连，通过视频线与设备区的视频矩阵相连，可显示所有工作站的图像；训练过程中，教员通过中控平板电脑上的中控软件控制该电视显示器的开关机和显示画面内容；

所述第三训练操作区部署一套虚拟现实设备和一台电视显示器，用于支持教员对人员1和人员2的作业任务进行虚拟现实观察和教学；虚拟现实设备通过视频线与第一机柜的第五工作站相连，第三训练操作区部署的电视显示器通过视频线与设备区的视频矩阵相连，可显示所有工作站的图像；第三训练操作区部署的电视显示器通过网线与设备区的中控设备相连；训练时，教员通过中控平板电脑上的中控软件控制该电视显示器的开关机和显示画面内容；

所述设备区用于集中安装虚拟现实训练系统的各设备，其部署两个机柜和一个电源柜，其中第一机柜中部署第五工作站、第六工作站、一台音频矩阵、三个无线耳麦和一台KVM，第一机柜中的第五工作站内置虚拟现实仿真软件，该软件采用辅教VR视角，第五工作站通过视频线与第三训练操作区的虚拟现实设备、设备区的视频矩阵和KVM相连，通过网线与设备区的网络交换机相连，与所有工作站进行网络通信。第六工作站内置虚拟现实仿真软件用于实现音效仿真，第六工作站安装有声卡，第六工作站通过视频线与设备区的视频矩阵和KVM相连，通过网线与设备区的网络交换机相连，与所有工作站进行网络通信。音频矩阵通过音频线与三个无线耳麦的基座相连，通过网线与第二机柜的中控设备相连，训练时，教员佩戴无线耳麦，可以通过中控平板电脑上的中控软件控制无线耳麦、第一虚拟现实设备的虚拟现实头盔、第二虚拟现实设备的虚拟现实头盔、第三虚拟现实设备的虚拟现实头盔通话声音大小、是否静音等，实现训练过程中话音控制。

第二机柜内安装网络交换机、中控设备、录像机、视频矩阵、解码器和第七工作站。网络交换机通过网线与七台工作站、中控设备、录像机、视频矩阵、解码器、音频矩阵相连，实现仿真数据通信或控制信号传输；中控设备通过网线及网络交换机与录像机、视频矩阵、音频矩阵、七台工作站、解码器相连，通过中控平板电脑上的中控软件实现视频切换、通话语音控制、工作站开关机等；中控设备通过网线与七台电视显示器相连，通过中控平板电脑上的中控软件实现七台电视显示器开关机。录像机通过四根视频线与视频矩阵相连，录像机通过网线与网络交换机、中控设备分别相连，通过中控平板电脑上的的中控软件控制四路输入图像源，录像机可同时存储该四路图像。视频矩阵通过视频线与七台工作站以及解码器分别相连，七台工作站以及解码器的视频输出作为视频矩阵的视频输入源，视频矩阵通过网线与网络交换机和中控设备分别相连，教员通过中控平板电脑上的中控软件控制七台电视显示器的视频源。解码器通过视频线与视频矩阵相连，解码器通过网线与网络交换机和作业转运设备操作台的编码器分别相连，解码器把作业转运设备操作台编码器输出的H.264视频流，解码为视频信号并输入到视频矩阵。第七工作站内置作业转运设备仿真软件，第七工作站通过视频线与视频矩阵和KVM分别相连，通过网线与网络交换机相连，与所有工作站进行网络通信。

所述训练控制区、第一训练操作区、第二训练操作区、第三训练操作区与设备区之间，相互通过电源线、网线和视频线完成两两区域之间的互联，以确保各个区域中的所有设备之间能够利用网线或视频线进行连接，同时各个区域中的所有设备都获得电源供应；所述作业转运设备操作台通过网线、编码器、无线耳麦，与设备区的设备进行数据和音视频互联。

所述虚拟现实设备，包括虚拟现实头盔1、操作手柄2和两个跟踪定位装置3。虚拟现实头盔1用于显示虚拟现实仿真软件的三维立体仿真图像，，虚拟现实头盔1包含耳麦，该耳麦可实现虚拟现实头盔1的穿戴者与教员之间的通话，虚拟现实头盔1与跟踪定位装置3配合使用，具有定位功能，该功能实时计算虚拟现实头盔1的位置和姿态。操作手柄2有两只，分别用于采集虚拟现实头盔1的穿戴者的左手和右手的操作指令，操作手柄2有一个扳机，用虚拟现实头盔1的穿戴者输入操作指令，操作手柄2与跟踪定位装置3配合使用，跟踪定位装置3具有定位功能，其实时计算操作手柄2的位置和姿态。跟踪定位装置3有两个跟踪定位器，与虚拟现实头盔1和操作手柄2配合使用，实现对虚拟现实头盔1和操作手柄2的跟踪定位，两个跟踪对位器对着训练中心区域斜对角安装，使得虚拟现实头盔1和操作手柄2在跟踪定位装置3的跟踪范围内。虚拟现实设备在用于训练时，人员1在第一训练操作区，人员2在第二训练操作区，辅教在第三训练操作区，三人分别佩戴虚拟现实头盔1和手持操作手柄2，观察其各自虚拟现实仿真软件为各自生成的各自视角下的作业任务的仿真场景；主教在训练控制区操作训练控制软件，控制和观察训练进程，根据观察内容的需要，操作中控平板电脑上的中控软件，实现各电视显示器显示内容的切换，监视受训人员的训练情况，需要时通过无线耳麦实现与受训人员通话，同时利用中控平板电脑上的中控软件实现整个系统开关机和通话控制等。

当该基于虚拟现实的多人协同训练系统用于训练时，所述的作业转运设备仿真软件实时计算作业转运设备的运动姿态数据；虚拟现实仿真软件实时接收作业转运设备仿真软件数据，计算作业任务三维场景中的各个设备的位置和姿态数据，设置作业任务三维场景中各个设备的位置和姿态，实时渲染光照效果，生成人员1VR视角的立体图像、人员2VR视角的立体图像、辅教VR视角的立体图像和辅教PC视角软件图像，实现各无线耳麦与虚拟现实头盔之间语音通话的音效仿真。受训人员通过虚拟现实头盔观察虚拟现实仿真软件仿真的作业任务三维立体场景，人员1、人员2通过手柄按照实际作业步骤，完成作业任务的操作，人员3操作作业转运设备操作台，实现对作业转运设备的运动控制，并观察人员1、人员2及作业转运设备的作业情况，同时三名人员同时通过语音进行实时沟通，实现同一乘组的三名人员协同完成作业任务训练。

所述虚拟现实设备所包含的两个跟踪定位装置，部署于第一、第二或第三训练操作区的房间顶部，两个跟踪定位装置呈斜对角放置，朝向训练操作区房间的中心区域。

每个虚拟现实头盔的耳麦采集到的声音，通过与各自虚拟现实设备相连的工作站，传输到网络交换机上，再通过网络传输到安装有声卡的第六工作站上，第六工作站通过音频线与音频矩阵相连，将该声音传输到音频矩阵中，音频矩阵对收到的各个虚拟现实头盔耳麦采集到的声音进行编号、存储和分配，第六工作站的虚拟现实仿真软件的音效仿真模块把各个虚拟现实头盔的耳麦采集的声音进行传输转换，实现所有人员之间的无缝通话；

虚拟现实仿真软件的功能，包括人员1VR视角、人员2VR视角、辅教VR视角和辅教PC视角生成，音效仿真，并可根据训练需要拓展更多的视角。虚拟现实仿真软件接收训练控制软件训练初始化、训练开始、训练结束指令，接收作业转运设备仿真软件生成的作业转运设备的仿真数据，并驱动作业转运设备在三维空间内按照应有的位置关系运动，从而使作业转运设备的运动位置及姿态数据发生变化。虚拟现实仿真软件按照各个训练岗位的功能，在各个工作站上部署后，还需要实时进行三维场景数据的同步。对于部署于各个工作站上的虚拟现实仿真软件的三维场景数据的实时同步，首先建立服务器/客户端的模式，虚拟现实仿真软件服务器在第三台工作站建立，在第一、二或三训练操作区的人员完成操作后，得到操作结果数据，在第一、二或三训练操作区中，各自由跟踪定位装置3获取虚拟现实头盔1和操作手柄2的位置和姿态，将该获取的位置和姿态数据输入到虚拟现实仿真软件中，然后由虚拟现实仿真软件实时计算三维空间中虚拟人体的各个关节数据，并把该关节数据和操作结果数据输出到虚拟现实仿真软件服务器；然后通过虚拟现实仿真软件服务器，把该关节数据和操作结果数据传输到各个工作站上的虚拟现实仿真软件中，达到同步更新的目的。虚拟人体是由虚拟现实仿真软件在三维场景中通过虚拟仿真方法生成的一个人体三维模型，其动作与现实中的受训人员动作一致，由这个虚拟人体替代受训人体在虚拟环境中完成作业任务。

作业转运设备仿真软件接收训练控制软件发送的训练初始化、训练开始、训练结束指令以及运动控制指令，实时进行作业转运设备的仿真数据计算，虚拟现实仿真软件接收作业转运设备的仿真数据，并驱动作业转运设备的运动。

本发明的有益效果为：

本发明的虚拟现实多人协同训练系统突破物理限制和环境限制，采用虚拟现实技术建立了逼真的作业任务三维场景，实现了三名人员协同完成作业任务的全流程、全要素操作训练；该系统不仅可以应于人员训练，还可以进行任务推演和任务研制。该系统在空间站任务航天员出舱活动全流程训练、出舱活动协同指挥程序推演与验证中得到了充分的应用与验证。

附图说明

图1为本发明的基于虚拟现实的多人协同训练系统设备部署图；

图2为本发明的基于虚拟现实的多人协同训练系统虚拟现实头盔构成图；

图3为本发明的基于虚拟现实的多人协同训练系统语音通话传输原理图；

图4为本发明的基于虚拟现实的多人协同训练系统虚拟现实仿真软件数据同步原理图。

具体实施方式

为了更好的了解本发明内容，这里给出一个实施例。

本发明公开了一种基于虚拟现实的多人协同训练系统，用于实现对同一乘组的三名受训人员同时进行作业操作的协同训练，三名受训人员分别称为人员1、人员2和人员3，其包括虚拟现实训练系统和作业转运设备操作台；基于虚拟现实的多人协同训练系统部署在两个房间；作业转运设备操作台是用于作业时，对作业转运设备运动过程进行控制与监视的专用设备，作业转运设备操作台用于实现作业转运设备的运动控制和运动情况监视，其部署在一个单独的房间，通过网线与设备区的网络交换机相连，包括作业转运设备操作台本体、一台编码器、一台摄像机和两个无线耳麦；摄像机安装在该房间的墙上，拍摄范围为作业转运设备操作台，通过视频线与编码器相连；编码器通过网线与设备区的网络交换机相连，把摄像机视频编码为H.264格式，传输给设备区的解码器；无线耳麦通过音频线与编码器相连，实现作业转运设备操作台的操作者与虚拟现实训练系统中的主教、辅教和受训人员通话；在进行作业操作的协同训练时，主教负责对整个训练过程的教学进程进行控制；辅教负责训练过程的记录、对受训人员的操作过程进行辅助，保障训练过程安全、顺利的进行；教员包括主教和辅教；

虚拟现实训练系统包括三套虚拟现实设备、七台工作站、七台电视显示器、一个教员台、一台网络交换机、一台音频矩阵、一台视频矩阵、三个无线耳麦、一台KVM、一套中控设备、一台录像机、一台解码器、两个机柜和一个电源柜组成，虚拟现实训练系统部署于一个房间内，房间分为五个区，分别为训练控制区、第一训练操作区、第二训练操作区、第三训练操作区和设备区；

所述训练控制区部署教员台和由四个电视显示器构成的训练监视电视墙，教员台上部署两台工作站、一个中控平板电脑以及两个显示器，其中第一工作站安装有训练控制软件，训练控制软件用于控制训练进程，发送作业转运设备的运动仿真指令，实现训练初始化设置，对训练开始、训练结束和作业转运设备仿真开始过程进行控制；中控设备采用中控平板电脑来实现；

第二工作站安装有虚拟现实仿真软件，该软件采用辅教的PC视角，第二工作站中的虚拟现实仿真软件将产生辅教PC视角下的作业任务的仿真场景；中控平板电脑上安装中控软件，用于实现工作站的开关机、电视显示器开关机、电视显示器显示图像源设置和通话语音控制；该两台工作站通过网线与设备区的网络交换机相连，通过视频线与该训练控制区部署的电视显示器和设备区的视频矩阵相连；四个电视显示器均通过视频线与设备区的视频矩阵相连，用于显示所有工作站的图像；在训练过程中，教员通过中控平板电脑上的中控软件控制四个电视显示器的开关机和显示画面内容；

所述第一训练操作区部署一套虚拟现实设备、一台电视显示器和第三工作站，第三工作站安装有虚拟现实仿真软件，该软件采用人员1的虚拟现实VR视角，用于支持人员1完成作业任务的虚拟现实操作训练，第三工作站中的虚拟现实仿真软件将产生的VR视角下的作业任务仿真场景发送给其虚拟现实设备；第一训练操作区部署的虚拟现实设备通过视频线与第三工作站相连；第三工作站通过网线与设备区的网络交换机相连，通过视频线与设备区的视频矩阵相连；第一训练操作区部署的电视显示器通过网线与设备区的中控设备相连，通过视频线与设备区的视频矩阵相连，可显示所有工作站的图像；训练过程中，教员通过中控平板电脑上的中控软件控制该电视显示器的开关机和显示画面内容；

所述第二训练操作区部署一套虚拟现实设备、一台电视显示器和第四工作站，第四工作站安装有虚拟现实仿真软件，该软件采用人员2的VR视角，用于支持人员2完成作业任务的虚拟现实操作训练，第四工作站中的虚拟现实仿真软件将产生的VR视角下的作业任务仿真场景发送给其虚拟现实设备；第二训练操作区部署的虚拟现实设备通过视频线与该区部署的第四工作站相连；第四工作站通过网线与设备区的网络交换机相连，通过视频线与设备区的视频矩阵相连；第二训练操作区部署的电视显示器通过网线与设备区的中控设备相连，通过视频线与设备区的视频矩阵相连，可显示所有工作站的图像；训练过程中，教员通过中控平板电脑上的中控软件控制该电视显示器的开关机和显示画面内容；

所述第三训练操作区部署一套虚拟现实设备和一台电视显示器，用于支持教员对人员1和人员2的作业任务进行虚拟现实观察和教学；虚拟现实设备通过视频线与第一机柜的第五工作站相连，第三训练操作区部署的电视显示器通过视频线与设备区的视频矩阵相连，可显示所有工作站的图像；第三训练操作区部署的电视显示器通过网线与设备区的中控设备相连；训练时，教员通过中控平板电脑上的中控软件控制该电视显示器的开关机和显示画面内容；

所述设备区用于集中安装虚拟现实训练系统的各设备，其部署两个机柜和一个电源柜，其中第一机柜中部署第五工作站、第六工作站、一台音频矩阵、三个无线耳麦和一台KVM，第一机柜中的第五工作站内置虚拟现实仿真软件，该软件采用辅教VR视角，第五工作站通过视频线与第三训练操作区的虚拟现实设备、设备区的视频矩阵和KVM相连，通过网线与设备区的网络交换机相连，与所有工作站进行网络通信；第六工作站内置虚拟现实仿真软件用于实现音效仿真，第六工作站安装有声卡，第六工作站通过视频线与设备区的视频矩阵和KVM相连，通过网线与设备区的网络交换机相连，与所有工作站进行网络通信；音频矩阵通过音频线与三个无线耳麦的基座相连，通过网线与第二机柜的中控设备相连，训练时，教员佩戴无线耳麦，可以通过中控平板电脑上的中控软件控制无线耳麦、第一虚拟现实设备的虚拟现实头盔、第二虚拟现实设备的虚拟现实头盔以及第三虚拟现实设备的虚拟现实头盔通话声音大小和是否静音，实现训练过程中话音控制；

第二机柜内安装网络交换机、中控设备、录像机、视频矩阵、解码器和第七工作站；网络交换机通过网线与七台工作站、中控设备、录像机、视频矩阵、解码器和音频矩阵分别相连，实现仿真数据通信或控制信号传输；中控设备通过网线及网络交换机与录像机、视频矩阵、音频矩阵、七台工作站和解码器分别相连，通过中控平板电脑上的中控软件实现视频切换、通话语音控制和工作站开关机；中控设备通过网线与七台电视显示器相连，通过中控平板电脑上的中控软件实现七台电视显示器开关机；录像机通过四根视频线与视频矩阵相连，录像机通过网线与网络交换机和中控设备分别相连，通过中控平板电脑上的的中控软件控制四路输入图像源，录像机可同时存储该四路图像；视频矩阵通过视频线与七台工作站以及解码器分别相连，七台工作站以及解码器的视频输出作为视频矩阵的视频输入源，视频矩阵通过网线与网络交换机和中控设备分别相连，教员通过中控平板电脑上的中控软件控制七台电视显示器的视频源；解码器通过视频线与视频矩阵相连，解码器通过网线与网络交换机和作业转运设备操作台的编码器分别相连，解码器把作业转运设备操作台编码器输出的H.264视频流，解码为视频信号并输入到视频矩阵；第七工作站内置作业转运设备仿真软件，第七工作站通过视频线与视频矩阵和KVM分别相连，通过网线与网络交换机相连，与所有工作站进行网络通信。

所述训练控制区、第一训练操作区、第二训练操作区、第三训练操作区与设备区之间，相互通过电源线、网线和视频线完成两两区域之间的互联，以确保各个区域中的所有设备之间能够利用网线或视频线进行连接，同时各个区域中的所有设备都获得电源供应；所述作业转运设备操作台通过网线、编码器和无线耳麦，与设备区的设备进行数据和音视频互联。

所述虚拟现实设备，包括虚拟现实头盔1、操作手柄2和两个跟踪定位装置3；虚拟现实头盔1用于显示虚拟现实仿真软件的三维立体仿真图像，虚拟现实头盔1包含耳麦，该耳麦可实现虚拟现实头盔1的穿戴者与教员之间的通话，虚拟现实头盔1与跟踪定位装置3配合使用，具有定位功能，该功能实时计算虚拟现实头盔1的位置和姿态；操作手柄2有两只，分别用于采集虚拟现实头盔1的穿戴者的左手和右手的操作指令，操作手柄2有一个扳机，用虚拟现实头盔1的穿戴者输入操作指令，操作手柄2与跟踪定位装置3配合使用，跟踪定位装置3具有定位功能，其实时计算操作手柄2的位置和姿态；跟踪定位装置3有两个跟踪定位器，与虚拟现实头盔1和操作手柄2配合使用，实现对虚拟现实头盔1和操作手柄2的跟踪定位，两个跟踪对位器对着训练中心区域斜对角安装，使得虚拟现实头盔1和操作手柄2在跟踪定位装置3的跟踪范围内；虚拟现实设备在用于训练时，人员1在第一训练操作区，人员2在第二训练操作区，辅教在第三训练操作区，三人分别佩戴虚拟现实头盔1和手持操作手柄2，观察其各自虚拟现实仿真软件为各自生成的各自视角下的作业任务的仿真场景；主教在训练控制区操作训练控制软件，控制和观察训练进程，根据观察内容的需要，操作中控平板电脑上的中控软件，实现各电视显示器显示内容的切换，监视受训人员的训练情况，需要时通过无线耳麦实现与受训人员通话，同时利用中控平板电脑上的中控软件实现整个系统开关机和通话控制。

所述虚拟现实设备所包含的两个跟踪定位装置，部署于第一、第二或第三训练操作区的房间顶部，两个跟踪定位装置呈斜对角放置，朝向训练操作区房间的中心区域。

每个虚拟现实头盔的耳麦采集到的声音，通过与各自虚拟现实设备相连的工作站，传输到网络交换机上，再通过网络传输到安装有声卡的第六工作站上，第六工作站通过音频线与音频矩阵相连，将该声音传输到音频矩阵中，音频矩阵对收到的各个虚拟现实头盔耳麦采集到的声音进行编号、存储和分配，第六工作站的虚拟现实仿真软件的音效仿真模块把各个虚拟现实头盔的耳麦采集的声音进行传输转换，实现所有人员之间的无缝通话；

当该基于虚拟现实的多人协同训练系统用于训练时，所述的作业转运设备仿真软件实时计算作业转运设备的运动姿态数据；虚拟现实仿真软件实时接收作业转运设备仿真软件数据，计算作业任务三维场景中的各个设备的位置和姿态数据，设置作业任务三维场景中各个设备的位置和姿态，实时渲染光照效果，生成人员1VR视角的立体图像、人员2VR视角的立体图像、辅教VR视角的立体图像和辅教PC视角软件图像，实现各无线耳麦与虚拟现实头盔之间语音通话的音效仿真；受训人员通过虚拟现实头盔观察虚拟现实仿真软件仿真的作业任务三维立体场景，人员1和人员2通过手柄按照实际作业步骤，完成作业任务的操作，人员3操作作业转运设备操作台，实现对作业转运设备的运动控制，并观察人员1、人员2及作业转运设备的作业情况，同时三名人员同时通过语音进行实时沟通，实现同一乘组的三名人员协同完成作业任务训练。

所述的虚拟现实仿真软件，其功能包括人员1VR视角、人员2VR视角、辅教VR视角和辅教PC视角生成，音效仿真，并可根据训练需要拓展更多的视角；虚拟现实仿真软件接收训练控制软件训练初始化、训练开始和训练结束指令，接收作业转运设备仿真软件生成的作业转运设备的仿真数据，并驱动作业转运设备在三维空间内按照应有的位置关系运动，从而使作业转运设备的运动位置及姿态数据发生变化；虚拟现实仿真软件按照各个训练岗位的功能，在各个工作站上部署后，还需要实时进行三维场景数据的同步；对于部署于各个工作站上的虚拟现实仿真软件的三维场景数据的实时同步，首先建立服务器/客户端的模式，虚拟现实仿真软件服务器在第三台工作站建立，在第一、二或三训练操作区的人员完成操作后，得到操作结果数据，在第一、二或三训练操作区中，各自由跟踪定位装置3获取虚拟现实头盔1和操作手柄2的位置和姿态，将该获取的位置和姿态数据输入到虚拟现实仿真软件中，然后由虚拟现实仿真软件实时计算三维空间中虚拟人体的各个关节数据，并把该关节数据和操作结果数据输出到虚拟现实仿真软件服务器；然后通过虚拟现实仿真软件服务器，把该关节数据和操作结果数据传输到各个工作站上的虚拟现实仿真软件中，达到同步更新的目的；虚拟人体是由虚拟现实仿真软件在三维场景中通过虚拟仿真方法生成的一个人体三维模型，其动作与现实中的受训人员动作一致，由这个虚拟人体替代受训人体在虚拟环境中完成作业任务。

作业转运设备仿真软件接收训练控制软件发送的训练初始化、训练开始、训练结束指令以及运动控制指令，实时进行作业转运设备的仿真数据计算，虚拟现实仿真软件接收作业转运设备的仿真数据，并驱动作业转运设备的运动。

图1为本发明的基于虚拟现实的多人协同训练系统设备部署图；图2为本发明的基于虚拟现实的多人协同训练系统虚拟现实头盔构成图；图3为本发明的基于虚拟现实的多人协同训练系统语音通话传输原理图；图4为本发明的基于虚拟现实的多人协同训练系统虚拟现实仿真软件数据同步原理图。图1中，所述的作业转运仿真软件，为作业转运设备仿真软件。

本发明提供了一种基于虚拟现实的多人协同训练系统，用于实现对同一乘组的三名受训人员同时进行作业操作的协同训练，三名受训人员分别称为人员1、人员2和人员3，其包括虚拟现实训练系统和作业转运设备操作台；基于虚拟现实的多人协同训练系统部署在两个房间；作业转运设备操作台是用于作业时，对作业转运设备运动过程进行控制与监视的专用设备，既可以单独用于人员训练，也可以与虚拟现实训练系统互联用于协同训练，作业转运设备操作台用于实现作业转运设备的运动控制和运动情况监视，其部署在一个单独的房间，通过网线与设备区的网络交换机相连，包括作业转运设备操作台本体、一台编码器、一台摄像机和两个无线耳麦。摄像机安装在该房间的墙上，拍摄范围为作业转运设备操作台，通过视频线与编码器相连。编码器通过网线与设备区的网络交换机相连，把摄像机视频编码为H.264格式，传输给设备区(如图1中⑤)的解码器。无线耳麦通过音频线与编码器相连，实现作业转运设备操作台的操作者与虚拟现实训练系统中的主教、辅教和受训人员通话。在进行作业操作的协同训练时，主教负责对整个训练过程的教学进程进行控制；辅教负责训练过程的记录、对受训人员的操作过程进行辅助，保障训练过程安全、顺利的进行；受训人员包括人员1、人员2和人员3，是该系统使用和教学培训对象。教员包括主教和辅教。

虚拟现实训练系统包括三套虚拟现实设备、七台工作站、七台电视显示器、一个教员台、一台网络交换机、一台音频矩阵、一台视频矩阵、三个无线耳麦、一台KVM(即键盘、显示器、鼠标切换器)、一套中控设备、一台录像机、一台解码器、两个机柜、一个电源柜组成，虚拟现实训练系统部署于一个12米×12米房间内，房间分为五个区，分别为训练控制区(如图1中①)、第一训练操作区(如图1中②)、第二训练操作区(如图1中③)、第三训练操作区(如图1中④)和设备区(如图1中⑤)；

所述训练控制区部署教员台和由四个电视显示器构成的训练监视电视墙，教员台上部署两台工作站、一个中控平板电脑以及两个显示器，其中第一工作站安装有训练控制软件，训练控制软件用于控制训练进程，发送作业转运设备的运动仿真指令，实现训练初始化设置，对训练开始、训练结束、作业转运设备仿真开始等过程进行控制等。所述的两个显示器是放置于教员台上的显示器，不是电视显示器。中控设备采用中控平板电脑来实现。

第二工作站安装有虚拟现实仿真软件，该软件采用辅教的PC视角，第二工作站中的虚拟现实仿真软件将产生辅教PC视角下的作业任务的仿真场景。中控平板电脑上安装中控软件，用于实现工作站的开关机、电视显示器开关机、电视显示器显示图像源设置、通话语音控制等；该两台工作站通过网线与设备区的网络交换机相连，通过视频线与该训练控制区部署的电视显示器和设备区的视频矩阵相连。四个电视显示器均通过视频线与设备区的视频矩阵相连，用于显示所有工作站的图像；在训练过程中，教员通过中控平板电脑上的中控软件控制四个电视显示器的开关机和显示画面内容；

所述第一训练操作区(如图1中②)部署一套虚拟现实设备、一台电视显示器和第三工作站，第三工作站安装有虚拟现实仿真软件，该软件采用人员1的虚拟现实VR视角(VR，即为虚拟现实)，用于支持人员1完成作业任务的虚拟现实操作训练，第三工作站中的虚拟现实仿真软件将产生的VR视角下的作业任务仿真场景发送给其虚拟现实设备；第一训练操作区部署的虚拟现实设备通过视频线与第三工作站相连；第三工作站通过网线与设备区的网络交换机相连，通过视频线与设备区的视频矩阵相连；第一训练操作区部署的电视显示器通过网线与设备区的中控设备相连，通过视频线与设备区的视频矩阵相连，可显示所有工作站的图像；训练过程中，教员通过中控平板电脑上的中控软件控制该电视显示器的开关机和显示画面内容；

所述第二训练操作区(如图1中③)部署一套虚拟现实设备、一台电视显示器和第四工作站，第四工作站安装有虚拟现实仿真软件，该软件采用人员2的VR视角，用于支持人员2完成作业任务的虚拟现实操作训练，第四工作站中的虚拟现实仿真软件将产生的VR视角下的作业任务仿真场景发送给其虚拟现实设备；第二训练操作区部署的虚拟现实设备通过视频线与该区部署的第四工作站相连；第四工作站通过网线与设备区的网络交换机相连，通过视频线与设备区的视频矩阵相连；第二训练操作区部署的电视显示器通过网线与设备区的中控设备相连，通过视频线与设备区的视频矩阵相连，可显示所有工作站的图像；训练过程中，教员通过中控平板电脑上的中控软件控制该电视显示器的开关机和显示画面内容；

所述第三训练操作区(如图1中④)部署一套虚拟现实设备和一台电视显示器，用于支持教员对人员1和人员2的作业任务进行虚拟现实观察和教学；虚拟现实设备通过视频线与第一机柜的第五工作站相连，第三训练操作区部署的电视显示器通过视频线与设备区的视频矩阵相连，可显示所有工作站的图像；第三训练操作区部署的电视显示器通过网线与设备区的中控设备相连；训练时，教员通过中控平板电脑上的中控软件控制该电视显示器的开关机和显示画面内容；

所述设备区(如图1中⑤)用于集中安装虚拟现实训练系统的各设备，其部署两个机柜和一个电源柜，其中第一机柜中部署第五工作站、第六工作站、一台音频矩阵、三个无线耳麦和一台KVM，第一机柜中的第五工作站内置虚拟现实仿真软件，该软件采用辅教VR视角，第五工作站通过视频线与第三训练操作区的虚拟现实设备、设备区的视频矩阵和KVM相连，通过网线与设备区的网络交换机相连，与所有工作站进行网络通信。第六工作站内置虚拟现实仿真软件用于实现音效仿真，第六工作站安装有声卡，第六工作站通过视频线与设备区的视频矩阵和KVM相连，通过网线与设备区的网络交换机相连，与所有工作站进行网络通信。音频矩阵通过音频线与三个无线耳麦的基座相连，通过网线与第二机柜的中控设备相连，训练时，教员佩戴无线耳麦，可以通过中控平板电脑上的中控软件控制无线耳麦、第一虚拟现实设备的虚拟现实头盔、第二虚拟现实设备的虚拟现实头盔、第三虚拟现实设备的虚拟现实头盔通话声音大小、是否静音等，实现训练过程中话音控制。

第二机柜内安装网络交换机、中控设备、录像机、视频矩阵、解码器和第七工作站。网络交换机通过网线与七台工作站、中控设备、录像机、视频矩阵、解码器、音频矩阵相连，实现仿真数据通信或控制信号传输；中控设备通过网线及网络交换机与录像机、视频矩阵、音频矩阵、七台工作站、解码器相连，通过中控平板电脑上的中控软件实现视频切换、通话语音控制、工作站开关机等；中控设备通过网线与七台电视显示器相连，通过中控平板电脑上的中控软件实现七台电视显示器开关机。录像机通过四根视频线与视频矩阵相连，录像机通过网线与网络交换机、中控设备分别相连，通过中控平板电脑上的的中控软件控制四路输入图像源，录像机可同时存储该四路图像。视频矩阵通过视频线与七台工作站以及解码器分别相连，七台工作站以及解码器的视频输出作为视频矩阵的视频输入源，视频矩阵通过网线与网络交换机和中控设备分别相连，教员通过中控平板电脑上的中控软件控制七台电视显示器的视频源。解码器通过视频线与视频矩阵相连，解码器通过网线与网络交换机和作业转运设备操作台的编码器分别相连，解码器把作业转运设备操作台编码器输出的H.264视频流，解码为视频信号并输入到视频矩阵。第七工作站内置作业转运设备仿真软件，第七工作站通过视频线与视频矩阵和KVM分别相连，通过网线与网络交换机相连，与所有工作站进行网络通信。

所述训练控制区、第一训练操作区、第二训练操作区、第三训练操作区与设备区之间，相互通过电源线、网线和视频线完成两两区域之间的互联，以确保各个区域中的所有设备之间能够利用网线或视频线进行连接，同时各个区域中的所有设备都获得电源供应；所述作业转运设备操作台通过网线、编码器、无线耳麦，与设备区的设备进行数据和音视频互联。

所述虚拟现实设备，包括虚拟现实头盔1、操作手柄2和两个跟踪定位装置3，如图2所示。虚拟现实头盔1用于显示虚拟现实仿真软件的三维立体仿真图像，所述的虚拟现实仿真软件运行于第三、四、五工作站，虚拟现实头盔1包含耳麦，该耳麦可实现虚拟现实头盔1的穿戴者与教员之间的通话，虚拟现实头盔1与跟踪定位装置3配合使用，具有定位功能，该功能实时计算虚拟现实头盔1的位置和姿态。操作手柄2有两只，分别用于采集虚拟现实头盔1的穿戴者的左手和右手的操作指令，操作手柄2有一个扳机，用虚拟现实头盔1的穿戴者输入操作指令，操作手柄2与跟踪定位装置3配合使用，具有定位功能，该功能实时计算操作手柄2的位置和姿态。跟踪定位装置3有两个跟踪定位器，与虚拟现实头盔1和操作手柄2配合使用，实现对虚拟现实头盔1和操作手柄2的跟踪定位，两个跟踪对位器一般对着训练中心区域斜对角安装，使得虚拟现实头盔1和操作手柄2在跟踪定位装置3的跟踪范围内。虚拟现实设备在用于训练时，人员1在第一训练操作区(如图1中②)，人员2在第二训练操作区(如图1中③)，辅教在第三训练操作区(如图1中④)，三人分别佩戴虚拟现实头盔1和手持操作手柄2，观察其各自虚拟现实仿真软件为各自生成的各自视角下的作业任务的仿真场景；主教在训练控制区操作训练控制软件，控制和观察训练进程，根据观察内容的需要，操作中控平板电脑上的中控软件，实现各电视显示器显示内容的切换，监视受训人员的训练情况，需要时通过无线耳麦实现与受训人员通话，同时利用中控平板电脑上的中控软件实现整个系统开关机和通话控制等。

当该基于虚拟现实的多人协同训练系统用于训练时，所述的作业转运设备仿真软件实时计算作业转运设备的运动姿态数据；虚拟现实仿真软件实时接收作业转运设备仿真软件数据，计算作业任务三维场景中的各个设备的位置和姿态数据，设置作业任务三维场景中各个设备的位置，实时渲染光照效果，生成人员1VR视角的立体图像、人员2VR视角的立体图像、辅教VR视角的立体图像和辅教PC视角软件图像，实现各无线耳麦与虚拟现实头盔之间语音通话的音效仿真。受训人员通过虚拟现实头盔观察虚拟现实仿真软件仿真的作业任务三维立体场景，人员1、人员2通过手柄按照实际作业步骤，完成作业任务的操作，人员3操作作业转运设备操作台，实现对作业转运设备的运动控制，并观察人员1、人员2及作业转运设备的作业情况，同时三名人员同时通过语音进行实时沟通，实现同一乘组的三名人员协同完成作业任务训练。

所述虚拟现实设备所包含的两个跟踪定位装置，部署于第一、第二或第三训练操作区的房间顶部，两个跟踪定位装置呈斜对角放置，朝向训练操作区房间的中心区域。

每个虚拟现实头盔的耳麦采集到的声音，通过与各自虚拟现实设备相连的工作站，传输到网络交换机上，再通过网络传输到安装有声卡的第六工作站上，第六工作站通过音频线与音频矩阵相连，将该声音传输到音频矩阵中，音频矩阵对收到的各个虚拟现实头盔耳麦采集到的声音进行编号、存储和分配，第六工作站的虚拟现实仿真软件的音效仿真模块把各个虚拟现实头盔的耳麦采集的声音进行传输转换，实现所有人员之间的无缝通话；

虚拟现实仿真软件的功能，包括人员1VR视角、人员2VR视角、辅教VR视角和辅教PC视角生成，音效仿真，并可根据训练需要拓展更多的视角。虚拟现实仿真软件接收训练控制软件训练初始化、训练开始、训练结束指令，接收作业转运设备仿真软件生成的作业转运设备的仿真数据，并驱动作业转运设备在三维空间内按照应有的位置关系运动，从而使作业转运设备的运动位置及姿态数据发生变化。虚拟现实仿真软件按照各个训练岗位的功能，在各个工作站上部署后，还需要实时进行三维场景数据的同步。同步方式如图4所示，对于部署于各个工作站上的虚拟现实仿真软件的三维场景数据的实时同步，首先建立服务器/客户端的模式，虚拟现实仿真软件服务器在第三台工作站建立，在第一、二或三训练操作区的人员完成操作后，得到操作结果数据，在第一、二或三训练操作区中，各自由跟踪定位装置3获取虚拟现实头盔1和操作手柄2的位置和姿态，将该获取的位置和姿态数据输入到虚拟现实仿真软件中，然后由虚拟现实仿真软件实时计算三维空间中虚拟人体的各个关节数据，并把该关节数据和操作结果数据输出到虚拟现实仿真软件服务器；然后通过虚拟现实仿真软件服务器，把该关节数据和操作结果数据传输到各个工作站上的虚拟现实仿真软件中，达到同步更新的目的。虚拟人体是由虚拟现实仿真软件在三维场景中通过虚拟仿真方法生成的一个人体三维模型，其动作与现实中的受训人员动作一致，由这个虚拟人体替代受训人体在虚拟环境中完成作业任务。

作业转运设备仿真软件接收训练控制软件发送的训练初始化、训练开始、训练结束指令以及运动控制指令，实时进行作业转运设备的仿真数据计算，虚拟现实仿真软件接收作业转运设备的仿真数据，并驱动作业转运设备的运动。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种基于虚拟现实的多人协同训练系统，其特征在于，用于实现对同一乘组的三名受训人员同时进行作业操作的协同训练，三名受训人员分别称为人员1、人员2和人员3，其包括虚拟现实训练系统和作业转运设备操作台；基于虚拟现实的多人协同训练系统部署在两个房间；作业转运设备操作台是用于对作业转运设备运动过程进行控制与监视的专用设备，作业转运设备操作台用于实现作业转运设备的运动控制和运动情况监视，其部署在一个单独的房间，通过网线与设备区的网络交换机相连，包括作业转运设备操作台本体、一台编码器、一台摄像机和两个无线耳麦；摄像机安装在该房间的墙上，拍摄范围为作业转运设备操作台，通过视频线与编码器相连；编码器通过网线与设备区的网络交换机相连，把摄像机视频编码为H.264格式，传输给设备区的解码器；无线耳麦通过音频线与编码器相连，实现作业转运设备操作台的操作者与虚拟现实训练系统中的主教、辅教和受训人员通话；在进行作业操作的协同训练时，主教负责对整个训练过程的教学进程进行控制；辅教负责训练过程的记录、对受训人员的操作过程进行辅助，保障训练过程安全、顺利的进行；教员包括主教和辅教；

虚拟现实训练系统包括三套虚拟现实设备、七台工作站、七台电视显示器、一个教员台、一台网络交换机、一台音频矩阵、一台视频矩阵、三个无线耳麦、一台KVM、一套中控设备、一台录像机、一台解码器、两个机柜和一个电源柜，虚拟现实训练系统部署于一个房间内，房间分为五个区，分别为训练控制区、第一训练操作区、第二训练操作区、第三训练操作区和设备区；

所述训练控制区部署教员台和由四个电视显示器构成的训练监视电视墙，教员台上部署两台工作站、一个中控平板电脑以及两个显示器，其中第一工作站安装有训练控制软件，训练控制软件用于控制训练进程，发送作业转运设备的运动仿真指令，实现训练初始化设置，对训练开始、训练结束和作业转运设备仿真开始过程进行控制；中控设备包括中控平板电脑和中控主机；

第二工作站安装有虚拟现实仿真软件，该软件采用辅教的PC视角，第二工作站中的虚拟现实仿真软件将产生辅教PC视角下的作业任务的仿真场景；中控平板电脑上安装中控软件，用于实现工作站的开关机、电视显示器开关机、电视显示器显示图像源设置和通话语音控制；该两台工作站通过网线与设备区的网络交换机相连，通过视频线与该训练控制区部署的电视显示器和设备区的视频矩阵相连；四个电视显示器均通过视频线与设备区的视频矩阵相连，用于显示所有工作站的图像；在训练过程中，教员通过中控平板电脑上的中控软件控制四个电视显示器的开关机和显示画面内容；

所述第一训练操作区部署一套虚拟现实设备、一台电视显示器和第三工作站，第三工作站安装有虚拟现实仿真软件，该软件采用人员1的虚拟现实VR视角，用于支持人员1完成作业任务的虚拟现实操作训练，第三工作站中的虚拟现实仿真软件将产生的VR视角下的作业任务仿真场景发送给其虚拟现实设备；第一训练操作区部署的虚拟现实设备通过视频线与第三工作站相连；第三工作站通过网线与设备区的网络交换机相连，通过视频线与设备区的视频矩阵相连；第一训练操作区部署的电视显示器通过网线与设备区的中控设备相连，通过视频线与设备区的视频矩阵相连，可显示所有工作站的图像；训练过程中，教员通过中控平板电脑上的中控软件控制该电视显示器的开关机和显示画面内容；

所述第二训练操作区部署一套虚拟现实设备、一台电视显示器和第四工作站，第四工作站安装有虚拟现实仿真软件，该软件采用人员2的VR视角，用于支持人员2完成作业任务的虚拟现实操作训练，第四工作站中的虚拟现实仿真软件将产生的VR视角下的作业任务仿真场景发送给其虚拟现实设备；第二训练操作区部署的虚拟现实设备通过视频线与该区部署的第四工作站相连；第四工作站通过网线与设备区的网络交换机相连，通过视频线与设备区的视频矩阵相连；第二训练操作区部署的电视显示器通过网线与设备区的中控设备相连，通过视频线与设备区的视频矩阵相连，可显示所有工作站的图像；训练过程中，教员通过中控平板电脑上的中控软件控制该电视显示器的开关机和显示画面内容；

所述第三训练操作区部署一套虚拟现实设备和一台电视显示器，用于支持教员对人员1和人员2的作业任务进行虚拟现实观察和教学；虚拟现实设备通过视频线与第一机柜的第五工作站相连，第三训练操作区部署的电视显示器通过视频线与设备区的视频矩阵相连，可显示所有工作站的图像；第三训练操作区部署的电视显示器通过网线与设备区的中控设备相连；训练时，教员通过中控平板电脑上的中控软件控制该电视显示器的开关机和显示画面内容；

所述设备区用于集中安装虚拟现实训练系统的各设备，其部署两个机柜和一个电源柜，其中第一机柜中部署第五工作站、第六工作站、一台音频矩阵、三个无线耳麦和一台KVM，第一机柜中的第五工作站内置虚拟现实仿真软件，该软件采用辅教VR视角，第五工作站通过视频线与第三训练操作区的虚拟现实设备、设备区的视频矩阵和KVM相连，通过网线与设备区的网络交换机相连，与所有工作站进行网络通信；第六工作站内置虚拟现实仿真软件用于实现音效仿真，第六工作站安装有声卡，第六工作站通过视频线与设备区的视频矩阵和KVM相连，通过网线与设备区的网络交换机相连，与所有工作站进行网络通信；音频矩阵通过音频线与三个无线耳麦的基座相连，通过网线与第二机柜的中控设备相连，训练时，教员佩戴无线耳麦，可以通过中控平板电脑上的中控软件控制无线耳麦、第一虚拟现实设备的虚拟现实头盔、第二虚拟现实设备的虚拟现实头盔以及第三虚拟现实设备的虚拟现实头盔通话声音大小和是否静音，实现训练过程中话音控制；

第二机柜内安装网络交换机、中控设备、录像机、视频矩阵、解码器和第七工作站；网络交换机通过网线与七台工作站、中控设备、录像机、视频矩阵、解码器和音频矩阵分别相连，实现仿真数据通信或控制信号传输；中控设备通过网线及网络交换机与录像机、视频矩阵、音频矩阵、七台工作站和解码器分别相连，通过中控平板电脑上的中控软件实现视频切换、通话语音控制和工作站开关机；中控设备通过网线与七台电视显示器相连，通过中控平板电脑上的中控软件实现七台电视显示器开关机；录像机通过四根视频线与视频矩阵相连，录像机通过网线与网络交换机和中控设备分别相连，通过中控平板电脑上的的中控软件控制四路输入图像源，录像机可同时存储该四路图像；视频矩阵通过视频线与七台工作站以及解码器分别相连，七台工作站以及解码器的视频输出作为视频矩阵的视频输入源，视频矩阵通过网线与网络交换机和中控设备分别相连，教员通过中控平板电脑上的中控软件控制七台电视显示器的视频源；解码器通过视频线与视频矩阵相连，解码器通过网线与网络交换机和作业转运设备操作台的编码器分别相连，解码器把作业转运设备操作台编码器输出的H.264视频流，解码为视频信号并输入到视频矩阵；第七工作站内置作业转运设备仿真软件，第七工作站通过视频线与视频矩阵和KVM分别相连，通过网线与网络交换机相连，与所有工作站进行网络通信；

所述训练控制区、第一训练操作区、第二训练操作区、第三训练操作区与设备区之间，相互通过电源线、网线和视频线完成两两区域之间的互联，以确保各个区域中的所有设备之间能够利用网线或视频线进行连接，同时各个区域中的所有设备都获得电源供应；所述作业转运设备操作台通过网线、编码器和无线耳麦，与设备区的设备进行数据和音视频互联；

当该基于虚拟现实的多人协同训练系统用于训练时，所述的作业转运设备仿真软件实时计算作业转运设备的运动姿态数据；虚拟现实仿真软件实时接收作业转运设备仿真软件数据，计算作业任务三维场景中的各个设备的位置和姿态数据，设置作业任务三维场景中各个设备的位置和姿态，实时渲染光照效果，生成人员1VR视角的立体图像、人员2VR视角的立体图像、辅教VR视角的立体图像和辅教PC视角软件图像，实现各无线耳麦与虚拟现实头盔之间语音通话的音效仿真；受训人员通过虚拟现实头盔观察虚拟现实仿真软件仿真的作业任务三维立体场景，人员1和人员2通过手柄按照实际作业步骤，完成作业任务的操作，人员3操作作业转运设备操作台，实现对作业转运设备的运动控制，并观察人员1、人员2及作业转运设备的作业情况，同时三名人员同时通过语音进行实时沟通，实现同一乘组的三名人员协同完成作业任务训练。

2.如权利要求1所述的基于虚拟现实的多人协同训练系统，其特征在于，

所述虚拟现实设备，包括虚拟现实头盔（1）、操作手柄（2）和两个跟踪定位装置（3）；虚拟现实头盔（1）用于显示虚拟现实仿真软件的三维立体仿真图像，虚拟现实头盔（1）包含耳麦，该耳麦可实现虚拟现实头盔（1）的穿戴者与教员之间的通话，虚拟现实头盔（1）与跟踪定位装置（3）配合使用，具有定位功能，该功能实时计算虚拟现实头盔（1）的位置和姿态；操作手柄（2）有两只，分别用于采集虚拟现实头盔（1）的穿戴者的左手和右手的操作指令，操作手柄（2）有一个扳机，用虚拟现实头盔（1）的穿戴者输入操作指令，操作手柄（2）与跟踪定位装置（3）配合使用，跟踪定位装置（3）具有定位功能，其实时计算操作手柄（2）的位置和姿态；跟踪定位装置（3）有两个跟踪定位器，与虚拟现实头盔（1）和操作手柄（2）配合使用，实现对虚拟现实头盔（1）和操作手柄（2）的跟踪定位，两个跟踪对位器对着训练中心区域斜对角安装，使得虚拟现实头盔（1）和操作手柄（2）在跟踪定位装置（3）的跟踪范围内；虚拟现实设备在用于训练时，人员1在第一训练操作区，人员2在第二训练操作区，辅教在第三训练操作区，三人分别佩戴虚拟现实头盔（1）和手持操作手柄（2），观察其各自虚拟现实仿真软件为各自生成的各自视角下的作业任务的仿真场景；主教在训练控制区操作训练控制软件，控制和观察训练进程，根据观察内容的需要，操作中控平板电脑上的中控软件，实现各电视显示器显示内容的切换，监视受训人员的训练情况，需要时通过无线耳麦实现与受训人员通话，同时利用中控平板电脑上的中控软件实现整个系统开关机和通话控制。

3.如权利要求2所述的基于虚拟现实的多人协同训练系统，其特征在于，

所述虚拟现实设备所包含的两个跟踪定位装置，部署于第一、第二或第三训练操作区的房间顶部，两个跟踪定位装置呈斜对角放置，朝向训练操作区房间的中心区域。

4.如权利要求2所述的基于虚拟现实的多人协同训练系统，其特征在于，

每个虚拟现实头盔的耳麦采集到的声音，通过与各自虚拟现实设备相连的工作站，传输到网络交换机上，再通过网络传输到安装有声卡的第六工作站上，第六工作站通过音频线与音频矩阵相连，将该声音传输到音频矩阵中，音频矩阵对收到的各个虚拟现实头盔耳麦采集到的声音进行编号、存储和分配，第六工作站的虚拟现实仿真软件的音效仿真模块把各个虚拟现实头盔的耳麦采集的声音进行传输转换，实现所有人员之间的无缝通话。

5.如权利要求1所述的基于虚拟现实的多人协同训练系统，其特征在于，所述的虚拟现实仿真软件，其功能包括人员1VR视角、人员2VR视角、辅教VR视角和辅教PC视角生成，音效仿真，并可根据训练需要拓展更多的视角；虚拟现实仿真软件接收训练控制软件训练初始化、训练开始和训练结束指令，接收作业转运设备仿真软件生成的作业转运设备的仿真数据，并驱动作业转运设备在三维空间内按照应有的位置关系运动，从而使作业转运设备的运动位置及姿态数据发生变化；虚拟现实仿真软件按照各个训练岗位的功能，在各个工作站上部署后，还需要实时进行三维场景数据的同步；对于部署于各个工作站上的虚拟现实仿真软件的三维场景数据的实时同步，首先建立服务器/客户端的模式，虚拟现实仿真软件服务器在第三台工作站建立，在第一、二或三训练操作区的人员完成操作后，得到操作结果数据，在第一、二或三训练操作区中，各自由跟踪定位装置（3）获取虚拟现实头盔（1）和操作手柄（2）的位置和姿态，将该获取的位置和姿态数据输入到虚拟现实仿真软件中，然后由虚拟现实仿真软件实时计算三维空间中虚拟人体的各个关节数据，并把该关节数据和操作结果数据输出到虚拟现实仿真软件服务器；然后通过虚拟现实仿真软件服务器，把该关节数据和操作结果数据传输到各个工作站上的虚拟现实仿真软件中，达到同步更新的目的；虚拟人体是由虚拟现实仿真软件在三维场景中通过虚拟仿真方法生成的一个人体三维模型，其动作与现实中的受训人员动作一致，由这个虚拟人体替代受训人体在虚拟环境中完成作业任务。

6.如权利要求1所述的基于虚拟现实的多人协同训练系统，其特征在于，

作业转运设备仿真软件接收训练控制软件发送的训练初始化、训练开始、训练结束指令以及运动控制指令，实时进行作业转运设备的仿真数据计算，虚拟现实仿真软件接收作业转运设备的仿真数据，并驱动作业转运设备的运动。

Images