CN115311918B - 虚实融合训练系统以及方法 - Google Patents

Abstract

本申请公开了一种虚实融合训练系统以及方法，系统包括：VR设备，用于获取佩戴VR设备的第一用户针对第一画面的第一操作信息；MR设备，用于获取佩戴MR设备的第二用户针对第二画面的第二操作信息；数据处理中心，用于接收VR设备发送的第一操作信息以及MR设备发送的第二操作信息，根据第一操作信息、第二操作信息以及第一画面，获得第三画面，并根据第一操作信息、第二操作信息以及第二画面，获得第四画面；VR设备，还用于接收并输出第三画面；MR设备，还用于接收并输出第四画面。通过本申请的系统，第一用户不需要去实体训练场景进行训练，从而降低了训练成本以及危险性。

Description

虚实融合训练系统以及方法

技术领域

本申请涉及虚拟训练技术领域，更具体地，涉及一种虚实融合训练系统以及方法。

背景技术

为了提高士兵的作战能力，军事训练是必不可少的。在传统的军事训练方式中，士兵通常是在实际训练场地进行训练，例如模拟作战、模拟偷袭以及模拟对抗等。但是，这种训练方式需要较高的训练成本，而且其训练效率低、危险性高。

发明内容

有鉴于此，本申请实施例提出了一种虚实融合训练系统以及方法。

第一方面，本申请实施例提供了一种虚实融合训练系统，所述系统包括1个或多个VR设备、1个或多个MR设备以及数据处理中心；其中，所述VR设备，用于获取佩戴所述VR设备的第一用户针对第一画面的第一操作信息，所述第一画面从第一场景获取，所述第一场景包括实体训练场景的数字孪生体以及训练用户的数字孪生体，所述训练用户包括处于所述实体训练场景的数字孪生体中的第一用户以及处于所述实体训练场景的第二用户；所述MR设备，用于获取佩戴所述MR设备的第二用户针对第二画面的第二操作信息，所述第二画面从第二场景获取，所述第二场景包括所述实体训练场景、所述第一用户的数字孪生体以及所述第二用户；数据处理中心，用于接收所述VR设备发送的第一操作信息以及所述MR设备发送的第二操作信息，根据所述第一操作信息、所述第二操作信息以及所述第一画面，获得第三画面，并根据所述第一操作信息、所述第二操作信息以及所述第二画面，获得第四画面；所述VR设备，还用于接收所述数据处理中心返回的所述第三画面，并输出所述第三画面；所述MR设备，还用于接收所述数据处理中心返回的所述第四画面，并输出所述第四画面。

第二方面，本申请实施例提供了一种虚实融合训练方法，方法包括：获取佩戴VR设备的第一用户针对第一画面的第一操作信息，所述第一画面从第一场景获取，所述第一场景包括实体训练场景的数字孪生体以及训练用户的数字孪生体，所述训练用户包括处于所述实体训练场景的数字孪生体中的第一用户以及处于所述实体训练场景的第二用户；获取佩戴MR设备的第二用户针对第二画面的第二操作信息所述第二画面从第二场景获取，所述第二场景包括所述实体训练场景、所述第一用户的数字孪生体以及所述第二用户；根据所述第一操作信息、所述第二操作信息以及所述第一画面，获得第三画面，并根据所述第一操作信息、所述第二操作信息以及所述第二画面，获得第四画面；通过所述VR设备并输出所述第三画面，通过所述MR设备输出所述第四画面。

第三方面，本申请实施例提供了一种数据处理中心，包括处理器以及存储器；一个或多个程序被存储在存储器中并被配置为由处理器执行以实现上述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有程序代码，其中，在程序代码被处理器运行时执行上述的方法。

第五方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，该计算机指令被处理器执行时，实现上述的方法。

本申请实施例提供的一种虚实融合训练系统以及方法，第一用户可以通过VR设备参与到第二用户的训练过程，第一用户不需要去实体训练场景进行训练，从而降低了训练成本以及危险性。佩戴MR设备的第二用户和训练场景为实，线上VR数字孪生为虚，战场环境、武器装备可实可虚；以数字孪生技术为主线，以传感器、物联网、大数据、5G通讯、MR，VR等技术为手段，根据实际要求，建立战场环境、武器装备、作战人员等要素的数字孪生(虚拟实体)模型，并保证该数字孪生模型与物理实体模型、真实场景作战人员之间信息的实时共享与交互，进而选择性地建立对抗训练体系，围绕作战人员展开具有针对性、对抗性的实战化训练。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个实施例提出的一种虚实融合训练系统的结构框图；

图2示出了本申请又一个实施例提出的一种虚实融合训练系统的结构框图；

图3示出了本申请再一个实施例提出的一种虚实融合训练系统的结构框图；

图4示出了本申请一个实施例提出的一种虚实融合训练方法的流程；

图5示出了本申请一个实施例提出的一种数据处理中心的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

VR(Virtual Reality，虚拟现实)，VR是通过设备模拟一个完全虚拟的数字世界，通过VR眼睛和手柄等外设，能给使用者提供视觉、听觉等感官上的体验感。我们看到的一切场景和现实世界没有任何关联，所有的场景、事物都是由计算机生成的。

AR(Augmented Reality，增强现实)，AR技术是将现实场景和虚拟场景相结合的一种集成技术。通过将真实世界特定的画面或信息植入程序中，并对这些内容进行模拟、升级、补充、渲染，在应用AR技术的时候，这些被计算器处理的信息会在特定的场景被激发，与现实世界叠加，从而达到超越现实的感官体验。例如我们用手机的摄像头扫描现实场景，如果AR程序中植入了一张桌子的处理信息，在我们扫描到桌子时，我们的屏幕除了会显示桌子，还可能会现实桌子的价格、生产日期等“增强”信息。

MR(Mixed Reality，混合现实)，MR是VR和AR的融合形态，能够将真实世界和虚拟世界进行融合，产生新的可视化环境。并且产生的虚拟动画能够和真实世界进行实时交互，而这是AR所不具备的。例如MR技术下产生的卡通人物，能根据现实场景做出实时反应，碰见水会绕道、自己跳到桌子上、躺在沙发上等等，虽然“绕道”、“跳跃”、“躺下”这些动作都是程序预先设定的，但人物可以通过实况信息做出相应反应。

数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。简单来说，数字孪生就是在一个设备或系统的基础上，创造一个数字版的“克隆体”，例如，可以将实体飞机“克隆”为一个数字版的飞机。

请参阅图1，图1示出了本申请一个实施例提出的一种虚实融合训练系统的结构框图，系统包括1个或多个VR设备10、1个或多个MR设备20以及数据处理中心30。

VR设备10与数据处理中心30通过第五代移动通信技术通信连接(5G)，MR设备10与数据处理中心30通过第五代移动通信技术通信连接，以使得VR设备10、MR设备20以及数据处理中心30之间的数据通信更加迅速，保证数据传输的即时性和稳定性。

在其他实施方式中，通信网络包括但不限于局域网(LAN)广域网(WAN)卫星网络，有线网络，Wi-Fi网络，Wi-Max网络，移动通信网络(例如3G，4G等)或其任意组合。

所述VR设备10，用于获取佩戴所述VR设备10的第一用户针对第一画面的第一操作信息，所述第一画面从第一场景获取，所述第一场景包括实体训练场景的数字孪生体以及训练用户的数字孪生体，所述训练用户包括处于所述实体训练场景的数字孪生体中的第一用户以及处于所述实体训练场景的第二用户。

在本实施例中，实体训练场景可以是指任意形式的实体训练场景，可以是一栋建筑物、一块训练场地或一个封闭小镇等，实体训练场景可以包括真实武器和真实建筑物，真实武器可以是坦克、无人机、雷达、飞机以及导弹等，真实建筑物可以包括真实营地、真实楼房、真实森林以及真实战壕等。

可以通过无人机或SLAM(SimultaneousLocalizationandMapping，即时定位与地图构建)机器人对实体训练场景进行扫描，并基于扫描结果，根据数字孪生技术进行建模，得到实体训练场景对应的数字孪生体。

VR设备10可以是指VR眼镜、VR头盔以及具有VR功能的移动终端等。

第一用户可以是指参与到训练的线上用户，第一用户未处于实体训练场景中，第一用户可以佩戴VR设备10，并通过VR设备10进行身份注册，获得账号，第一用户可以通过获得的账号登录虚实融合训练系统，虚实融合训练系统基于数字孪生技术对已登录账号的第一用户进行数字建模，得到第一用户对应的数字孪生体。

VR设备10可以具有虚拟按钮或实体按钮，佩戴VR设备10的第一用户可以通过按钮选择第一用户的数字孪生体所在的位置，第一用户还可以通过VR设备10的按钮为自身选择适配的虚拟训练装备，例如虚拟手枪、虚拟炸弹、虚拟子弹、虚拟车辆以及虚拟防弹衣等。

佩戴MR设备20在实体训练场景中训练的线下用户即为第二用户，第二用户可以通过MR设备20进行身份注册，获得账号，第二用户可以通过获得的账号登录虚实融合训练系统，虚实融合训练系统基于数字孪生技术对已登录账号的第二用户进行数字建模，得到第二用户对应的数字孪生体第二用户可以佩戴实体训练装备，实体训练装备可以是手枪、炸弹、子弹、车辆以及防弹衣。

全部的第一用户(可以是一个或多个)以及全部的第二用户(可以是一个或多个)构成了训练用户。训练用户还可包括在训练场景中除第一用户和第二用户以外的参与训练的智能对抗体或者由第一用户和第二用户根据需要创建的智能AI的数字孪生体。

第一场景是指包括实体训练场景的数字孪生体以及训练用户的数字孪生体的虚拟场景，可以根据第一用户的位姿以及位置，确定出第一用户通过VR设备10观测到的画面，作为第一画面。其中，在第一场景中，实体训练场景的数字孪生体以及训练用户的数字孪生体处于同一个世界坐标系下。也就是说获取实体训练场景的世界坐标以及训练用户的世界坐标，在将实体训练场景以及训练用户虚拟化为数字孪生体之后，各个数字孪生体保持其实体所在的世界坐标系下的坐标，得到虚拟化的第一场景。

第一用户针对第一画面的操作信息作为第一操作信息，操作信息可以是指走动、跑动、乘坐工具、操控设备、投弹以及开枪等训练行为。例如，第一用户通过VR设备10开枪打击第一画面中的目标A，则第一操作信息为开枪打击目标A，又如，第一用户通过VR设备10操控无人机对建筑物B搜索，则第一操作信息为操控无人机搜索建筑物B。

所述MR设备20，用于获取佩戴所述MR设备20的第二用户针对第二画面的第二操作信息，所述第二画面从第二场景获取，所述第二场景包括所述实体训练场景、所述第一用户的数字孪生体以及所述第二用户。

MR设备20可以是MR眼镜或MR头盔等。

将实体训练场景、第一用户的数字孪生体以及第二用户合并为一个虚实结合场景，根据佩戴MR设备20的第二用户的位姿和所在位置，确定出第二用户通过MR设备20观测到的画面，作为第二画面。第二画面包括实体训练场景的实时画面，第二画面还可以包括第一用户的数字孪生体以及真实的第二用户(观测到的第二用户也佩戴MR设备20)。

第二用户可以通过MR设备20观测到实体训练场景的真实画面，并通过MR设备20观测到虚拟的数字孪生体的画面(MR设备20显示虚拟的数字孪生体的画面)，第二用户观测到的真实画面与虚拟的数字孪生体的画面的组合结果，即为第二画面。其中，MR设备20可以只显示虚拟的部分。

第二用户针对第二画面的操作信息作为第二操作信息，操作信息可以是操作信息可以是指走动、跑动、乘坐工具、操控设备、投弹以及开枪等训练行为。例如，第二用户通过MR设备20开枪打击第二画面中的目标A1，则第二操作信息为开枪打击目标A1，又如，第二用户通过MR设备20操控无人机对建筑物B1搜索，则第二操作信息为操控无人机搜索建筑物B1。

在本申请中，第一用户以及第二用户观测到的数字孪生体可以均是三维的数字孪生体，可以基于实体训练场景以及训练用户，根据三维建模技术，得到对应的三维数字孪生体。

数据处理中心30，接收所述VR设备发送的第一操作信息以及所述MR设备发送的第二操作信息，根据所述第一操作信息、所述第二操作信息以及所述第一画面，获得第三画面，并根据所述第一操作信息、所述第二操作信息以及所述第二画面，获得第四画面。

数据处理中心30可以是服务器等，数据处理中心可以具有较高的算力。其可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

数据处理中心30根据第一用户的第一操作信息、第二用户的第二操作信息以及第一画面，得到触发第一操作信息和第二操作信息后的被第一用户观测到的面作为第三画面，第三画面为虚拟画面。

例如，第一用户C1的第一操作信息D1为开枪射击第二用户C2，第二用户C2的第二操作信息D2为开枪射击第一用户C1，则第三画面可以是射击第二用户C2、被第二用户C2射击以及视野范围内的实体训练场地对应的数字孪生体。

数据处理中心30根据第一用户的第一操作信息、第二用户的第二操作信息以及第二画面，得到触发第一操作信息和第二操作信息后的被第二用户观测到的虚拟画面作为第四画面。

例如，第一用户C3的第一操作信息D3为开枪射击第二用户C4，第二用户C4的第二操作信息D4为开枪射击第一用户C3，则第四画面可以包括被第一用户C3射击的虚拟画面以及第一用户C3被击中的虚拟画面。

所述VR设备10，还用于接收所述数据处理中心返回的所述第三画面，并输出所述第三画面。

VR设备接收到第三画面之后，直接显示第三画面。

所述MR设备20，还用于接收所述数据处理中心返回的所述第四画面，并输出所述第四画面。

第四画面仅包括虚拟部分，MR设备显示第四画面，同时，第二用户通过MR设备20观测到真实画面，此时，第二用户观测到第四画面与真实画面的结合结果，从而使第二用户观测到完整的虚实结合画面。

通过本实施例的虚实融合训练系统，第一用户可以通过VR设备参与到第二用户的训练过程，第一用户不需要去实体训练场景进行训练，从而降低了训练成本以及危险性。

在又一个实施例中，所述数据处理中心30，还用于获取实体附加训练设施的附加设施信息，根据所述附加设置信息得到对应所述实体附加训练设施的数字孪生体，并根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到第一画面，以及根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第五画面。

所述VR设备10，还用于显示所述第一画面。

所述MR设备20，还用于输出所述第五画面，以使所述第二用户观测到所述第二画面。

在本实施例中，还可以在实体训练场景中添加实体附加训练设施，实体附加训练设施可以是装备、敌人和建筑物等，实体附加训练设施的附加设施信息可以是指实体附加训练设施的具体参数、尺寸以及功能等，例如，实体附加训练设施为飞机，实体附加训练设施的附加设施信息可以是飞机型号、尺寸、功能等。

可以通过数字孪生技术，根据所述附加设置信息，对实体附加训练设施进行建模，得到所述实体附加训练设施的数字孪生体，然后根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到具有附加训练设施的虚拟场景，第一用户通过VR设备10观测到该具有附加训练设施的虚拟场景的画面即为第一画面。

根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到虚拟场景，第二用户通过MR设备20观测到该虚拟场景的画面作为第五画面。第二用户通过MR设备20观测到的第五画面和实体训练场景的画面的叠加结果，即为第二画面。

需要说明的是，实体附加训练设施、实体训练场景以及训练用户所在的坐标系均为世界坐标系，即，在同一个世界坐标系下建立一个虚拟场景(第一场景)或一个虚实结合的场景(第二场景)。

可选地，所述数据处理中心30可以根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到第一场景，并根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第三场景。

所述VR设备10可以获取所述第一用户的位姿信息以及位置信息，作为第一信息；

所述MR设备20可以获取所述第二用户的位姿信息以及位置信息，作为第二信息；

所述数据处理中心30可以根据所述第一信息以及第一场景，得到所述第一画面，并根据所述第二信息以及所述第三场景，获得第五画面。

根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到具有附加训练设施的虚拟场景作为第一场景。根据附加训练设施的数字孪生体以及第一用户对应的数字孪生体，得到第三场景，第三场景和真实训练场景叠加后，得到与第一场景相似的虚实结合的场景即为第二场景，第一场景与第二场景的区别在于第一训练场景中真实训练场景为数字孪生体的形式。

根据第一用户的位姿信息以及位置信息，确定第一场景中第一用户可以观测到的画面，然后在第一场景中截取该可以观测到的画面作为第一画面，根据第二用户的位姿信息以及位置信息，确定第三场景中第二用户可以观测到的画面，然后在第三场景中截取该可以观测到的画面作为第五画面。

可选地，数据处理中心30可以确定所述实体附加训练设施的设置位置信息以及遮挡信息，根据所述设置位置信息、所述遮挡信息、所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到所述第一场景，并根据所述设置位置信息、所述遮挡信息、所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第三场景。

可选地，数据处理中心可包括输入/输出接口。输入/输出接口可以包括本领域已知的任何类型的输入/输出接口，例如显示器(例如液晶显示器)，扬声器，振动机构或触觉反馈机构。输入/输出接口还包括用于一个或多个外围设备如耳机，外围设备扬声器或外围设备显示器的端口。其次，输入/输出接口(一个或多个)可进一步包括照相机、麦克风、键盘/小键盘或触敏显示器。键盘/小键盘可以是按钮数字拨号板(例如在典型的电信设备上)，多键键盘(例如传统的QWERTY键盘)或一种或多种其它类型的键或按钮，并且还可以包括操纵杆状控制器和/或指定的导航按钮或虚拟现实手持控制器等。再次，输入/输出接口(一个或多个)可以促进经由增强现实平台，虚拟现实平台，混合现实平台，声控平台或其任意组合的客户机和系统交互。

数据处理中心还包括收集每个用户的场景内的x、y和z轴方向的坐标数据：在其中的位置、器件取向、观察方向和在用户的观看路径中的任何对象的数据信息。

设置位置信息可以是指附加训练设施的设置位置坐标等，当附加训练设施可移动时，设置位置信息可以是附加训练设施的移动路线等。

遮挡信息可以包括附加训练设施与实体训练场景中各个对象的遮挡关系，还可以包括附加训练设施与第二用户的遮挡关系、附加训练设施与训练用户的数字孪生体的遮挡关系。其中，设置位置信息以及遮挡信息均是以他们所在的世界坐标系为基准的；其次，第一画面、第二画面、第三画面、第四画面和第五画面均是以同一世界坐标系下的VR设备或MR设备坐标为基准。

再次，一个或多个VR设备或MR设备可以单独在共享会话中(经由有线或无线通信链路)通信配对，该共享会话包括允许多个用户在相同的共享虚拟会话(例如，多用户游戏和/或经历相同环境的多个用户)上协作的环境的共享坐标系。在这种情况下，共享虚拟会话可以由操作VR设备的第一用户发起，其生成并共享环境的坐标系(例如全息图对象和物理表在第一用户的真实环境中的映射)，其他VR设备或MR设备可根据相应操作接收共享环境并同步坐标系。

在第一场景以及第三场景中，保持了实体附加训练设施的设置位置信息以及遮挡信息，使得虚实结合的训练场景更加多样复杂，提高了训练效果。

在本实施例中，对附加训练设施进行数字化，得到对应的数字孪生体，并不需要真实的附加训练设施，节省了构建真实附加训练设施的时间和成本，提高了训练效率，并降低了训练成本。佩戴MR设备的第二用户和训练场景为实，线上VR数字孪生为虚，战场环境、武器装备可实可虚；以数字孪生技术为主线，以传感器、物联网、大数据、5G通讯、MR，VR等技术为手段，根据实际要求，建立战场环境、武器装备、作战人员等要素的数字孪生(虚拟实体)模型，并保证该数字孪生模型与物理实体模型、真实场景作战人员之间信息的实时共享与交互，进而选择性地建立对抗训练体系，围绕作战人员展开具有针对性、对抗性的实战化训练。

请参阅图2，图2示出了本申请又一个实施例提出的一种虚实融合训练系统的结构框图，系统包括VR设备10、MR设备20、数据处理中心30以及第一采集设备40。

第一采集设备40，用于采集所述实体训练场景的实体场景信息；

所述数据处理中心30，还用于从所述第一采集设备获取所述实体场景信息，根据所述实体场景信息，得到对应所述实体训练场景的数字孪生体。

第一采集设备40可以是可以通过无人机或SLAM机器人等，通过第一采集设备对实体训练场景进行扫描，并基于扫描结果，根据数字孪生技术进行建模，得到实体训练场景对应的数字孪生体。

可选地，数据处理中心30可以获取虚拟训练场景的虚拟场景信息，根据所述虚拟场景信息，通过三维建模技术，构建对应所述虚拟训练场景的数字孪生体。也即，得到的实体训练场景和虚拟训练场景的数字孪生体都是三维，可以进行实时融合形成虚实结合训练场景。虚拟训练场景的虚拟场景信息可以是指虚拟训练场景的参数，参数例如可以包括虚拟训练场景中设备的设备参数、地图参数以及人物参数等。

作为一种实施方式，第一采集设备还可以对第二用户以及第一用户进行扫描，基于扫描结果，通过数字孪生技术以及三维建模技术，对第一用户以及第二用户进行建模，得到第一用户以及第二用户对应的数字孪生体。

需要说明的是，本申请上述实施例中附加训练设施对应的数字孪生体也可以是三维模型，以使附加训练设施的数字孪生体更加立体的呈现，提高训练精确度。

请参阅图3，图3示出了本申请在一个实施例提出的一种虚实融合训练系统的结构框图，系统包括VR设备10、MR设备20、数据处理中心30、第二采集设备50以及第三采集设备60。

所述第二采集设备50，用于采集所述第一操作信息；

所述第二采集设备60，用于采集所述第二操作信息。

所述第二采集设备50包括用于采集所述第一用户行为的实体采集模块以及虚拟采集模块；所述第三采集设备60包括用于采集所述第二用户行为的实体采集模块以及虚拟采集模块。

实体采集模块可以包括跟踪摄像机以及取景摄像机等，用于采集第一用户以及第二用户的真实行为，虚拟采集模块可以指出现在MR设备和VR设备输出的显示画面中的采集模块，例如投弹按钮、射击按钮、操控无人机按钮等等，虚拟采集模块还可以包括虚拟传感器(夜视仪，扫描仪，外部传感器(用于目标探测、精准打击、姿态控制的光电传感器、红外传感器等)、内部传感器(力学量传感器、温度传感器、光电传感器等))。

为了更清楚的理解本申请的方案，下面将结合具体应用场景解释本申请的虚实融合训练系统。

应用场景1：佩戴VR设备的第一用户的可以操作坦克、飞机等需要实时控制的实体作战工具，可直接将第一用户、坦克、飞机以及佩戴MR眼镜的第二用户的数字孪生体投射到3D模拟训练场景，得到第一场景。佩戴MR眼镜的第二用户观测到第一用户的数字孪生体、真实第二用户以及实体训练场景结合后的第二场景。

当佩戴VR设备的第一用户的第一操作信息为操作虚拟的坦克(飞机，无人机等)时，此时根据该第一操作信息，获得第一用户操作虚拟的坦克(飞机，无人机等)的第三画面，该第三画面显示给第一用户观看。同时，线下佩戴MR设备的第二用户观测到操作虚拟的坦克(飞机，无人机等)的第一用户的数字孪生体的第四画面，该第四画面显示给第二用户观看。

佩戴VR设备的第一用户也可以为步兵、侦察兵等，佩戴MR设备的第二用户也可实体操作坦克(飞机，无人机等)，与线上佩戴VR设备的第一用户配合战术训练。

应用场景2：线下佩戴MR设备的第二用户，也可实时控制实体附加训练设施的数字孪生体，从而实现模拟作战，更好的辅助完成战术训练目的，例如，第二用户通过MR设备控制虚拟的无人侦察机(也就是实体无人侦察机的数字孪生体)去刺探敌情或者直接控制虚拟的无人机打击远方视线外敌人等。

或者，佩戴MR设备的第二用户利用手势识别技术，通过旋转、标记、操控等动作与全息叠加场景地图交互，并从各种角度查看地形，在上战场之前提前找出地形优势。

应用场景3：线上佩戴VR设备的第一用户观测的场景为虚拟的第一场景，第一用户在第一场景中操作虚拟的武器，例如坦克、飞机、无人机等。

例如，第一用户观测到的第一场景包括虚拟的无人机和虚拟的带操作屏幕的手持控制器，线上佩戴VR的第一用户利用虚拟的手持控制器操作虚拟无人机进行敌情侦查或者直接对敌方(敌方可为虚，也可为实)进行作战攻击。作战攻击产生的数据对整个虚实融合训练系统的叠加场景产生影响。

VR设备还可为第一用户实时模拟显示：风速、海拔、天气情况、敌人距离等细节信息，且全部细节信息都可以与线下佩戴MR设备的第二用户实时共享并交互。

应用场景4：可以允许任意操作员(战士，指挥官，作战指挥中心等，可以是佩戴VR设备的第一用户，也可以是佩戴MR设备的第二用户)从所在场景的任意一个位置获取数据，无需身处于该位置，根据权限不同可以有不同的获取区域限制，这使得敌对地区的信息收集操作开辟了新的可能性，操作员将能够在虚拟的场景中(第一场景或第三场景)移动任意虚拟传感器(夜视仪，扫描仪，外部传感器(用于目标探测、精准打击、姿态控制的光电传感器、红外传感器等)、内部传感器(力学量传感器、温度传感器、光电传感器等))。

应用场景五：佩戴VR设备的第一用户可以远程参与到游乐场的项目中，佩戴MR设备的第二用户可以直接参与到实体游乐场的项目。

例如，游乐场的数字孪生体、虚拟的第一用户以及虚拟的第二用户构成第一场景，第一场景还包括摩天轮的数字孪生体以及旋转木马的数字拉孪生体。游乐场、虚拟的第一用户以及第二用户构成第二场景，第二场景还包括真实摩天轮以及真实旋转木马。佩戴MR设备的第二用户可以在真实的游乐场中与佩戴VR设备的第一用户一起娱乐。

佩戴VR设备的第一用户可通过VR设备乘坐虚拟的摩天轮，并可以观测到虚拟的摩天轮上的虚拟的第二用户以及虚拟的第一用户。佩戴MR设备的第二用户可以通MR设备乘坐真实的摩天轮，并可以观测到虚拟的第一用户、真实的摩天轮以及真实的第二用户。

应用场景六：佩戴VR设备的第一用户可以远程参与到娱乐项目中，佩戴MR设备的第二用户可以直接参与到娱乐项目。

例如，娱乐项目为密室逃脱，密室包括一间真实密室以及密室中的虚拟设施。第一用户的数字孪生体、第二用户的数字孪生体、密室的数字孪生体以及密室中的虚拟设施构成第一场景，第一用户的数字孪生体、第二用户、密室以及密室中的虚拟设施构成第二场景。

佩戴VR设备的第一用户可通过VR设备在密室中进行密室逃脱，并可以观测到虚拟的密室中的虚拟的第二用户、虚拟的第一用户以及虚拟的设施。佩戴MR设备的第二用户可以通MR设备在密室中进行密室逃脱，并可以观测到虚拟的第一用户、真实的密室、真实的第二用户以及虚拟的设施。

第一用户可以通过VR设备对密室以及密室内的设施进行操作，第二用户可以通过MR设备对密室以及密室内的设施进行操作。

在其他实施方式中，传感器包括物联网(TOT)传感器，VR传感器，MR传感器，压力传感器，运动传感器，温度传感器，光传感器，力感测电阻器，触觉传感器，流量测量装置，化学传感器或高度传感器中的一个或多个。一个或多个传感器可以定位在要经受物理模拟的真实世界用户上。在物理仿真期间，传感器可以收集表示在物理仿真期间检测到的真实世界用户的变化或特性的动态传感器数据。此外，一个或多个传感器可以被定位在对应于完全虚拟环境中。在虚拟环境中的虚拟现实或仿真期间，位于相应真实世界或虚拟环境中的传感器可用于跟踪和记录用户动作，或用于识别由用户执行的语音命令或姿势等。

请参阅图4，图4示出了本申请一个实施例提出的一种虚实融合训练方法的流程，方法可以用于虚实融合训练系统，虚实融合训练系统可以包括1个或多个VR设备、一个或多个MR设备以及数据处理中心；方法包括以下步骤：

S110、获取佩戴VR设备的第一用户针对第一画面的第一操作信息，所述第一画面从第一场景获取，所述第一场景包括实体训练场景的数字孪生体以及训练用户的数字孪生体，所述训练用户包括处于所述实体训练场景的数字孪生体中的第一用户以及处于所述实体训练场景的第二用户。

S120、获取佩戴MR设备的第二用户针对第二画面的第二操作信息所述第二画面从第二场景获取，所述第二场景包括所述实体训练场景、所述第一用户的数字孪生体以及所述第二用户。

S130、根据所述第一操作信息、所述第二操作信息以及所述第一画面，获得第三画面，并根据所述第一操作信息、所述第二操作信息以及所述第二画面，获得第四画面。

S140、通过所述VR设备并输出所述第三画面，通过所述MR设备输出所述第四画面。

可以是通过VR设备执行S110。可以是通过MR设备执行S120。可以是通过数据处理中心执行S130。

可选地，S110之前，还包括：获取实体附加训练设施的附加设施信息；根据所述附加设置信息得到对应所述实体附加训练设施的数字孪生体，并根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到第一画面；根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第五画面；通过所述VR设备显示所述第一画面，并通过所述MR设备显示所述第五画面，以使所述第二用户观测到所述第二画面。

可选地，所述根据所述附加设置信息得到对应所述实体附加训练设施的数字孪生体，并根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到第一画面；根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第五画面，包括：根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到第一场景；根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第三场景；通过所述VR设备获取所述第一用户的位姿信息以及位置信息，作为第一信息；通过所述MR设备获取所述第二用户的位姿信息以及位置信息，作为第二信息；所述数据处理中心，还用于根据所述第一信息以及第一场景，得到所述第一画面，并根据所述第二信息以及所述第三场景，获得第五画面。

可选地，所述根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到第一场景；根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第三场景，包括：确定所述实体附加训练设施的设置位置信息以及遮挡信息，根据所述设置位置信息、所述遮挡信息、所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到所述第一场景；根据所述设置位置信息、所述遮挡信息、所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第三场景。

需要说明的是，本申请中的方法实施例与前述系统实施例是相互对应的，方法实施例中具体的原理可以参见前述系统实施例中的内容，此处不再赘述。

其中，当用户参加训练会话时，数据处理中心收集和/或捕获所有用户数据，并且在训练会话期间或之后使用，修改，改变，删除和/或增加训练例程。可以在任何时间执行修改，改变，删除和/或增加，另外，可以为每个用户改变，修改，删除和/或增加例行程序。另外，该系统和方法还可用于对数据进行处理。接口和实现它们的方法可以被配置为使得可以保存路由的不同版本以适应不同组用户的不同需求。例如，如果实现它们的装置，系统和接口以及方法检测到一组用户正出现掌握一个特定任务的问题，那么这些用户将调用的训练例程版本将被设计成提高用户在任务中的能力。作为另一个可选实施例，可以基于用户的学习倾向来构造不同的版本。

图5示出了本申请一个实施例提出的一种数据处理中心的结构框图。图5示出的数据处理中心1200仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，数据处理中心1200包括中央处理单元(Central Processing Unit，CPU)1201，其可以根据存储在只读存储器(Read-Only Memory，ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(Random Access Memory，RAM)1203中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 1203中，还存储有系统操作所需的各种程序和数据。CPU1201、ROM1202以及RAM 1203通过总线1204彼此相连。输入/输出(Input/Output，I/O)接口1205也连接至总线1204。

以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时，执行本申请的系统中限定的各种功能。

本发明适于在用户在他们的数字现实环境或数字模拟环境中操作时跟踪和分析VR设备用户或MR设备用户中的任何一个的空间分析数据。该系统包括处理硬件集和计算机可读介质，其中处理硬件集被结构化连接和/或编程为运行存储在计算机可读介质指令和相关数据上的程序指令。所述程序指令包括跟踪模块，所述跟踪模块被编程为在用户正经历他们的数字现实环境或数字模拟环境时实时地收集用户的原始空间分析数据，并将所述原始数据转换为可理解的数据格式。程序指令包括数据库模块，该数据库模块被编程为接收由跟踪模块收集的空间分析数据，并将数据打包以用于网络传输到支持数据库以用于永久存储。该程序指令还包括实时用户界面模块，该实时用户界面模块被编程为一旦从跟踪模块接收到用户的变换后的实时空间分析数据，立即使用户环境的开发者能够以接近真实的图形方式查看和分析变换后的空间分析数据。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载计算机可读指令，当该计算机可读存储指令被处理器执行时，实现上述任一实施例中的方法。

根据本申请实施例的一个方面，提供了计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述任一实施例中的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种虚实融合训练系统，其特征在于，所述系统包括1个或多个VR设备、1个或多个MR设备以及数据处理中心；其中，

所述VR设备，用于获取佩戴所述VR设备的第一用户针对第一画面的第一操作信息，所述第一画面从第一场景获取，所述第一场景包括实体训练场景的数字孪生体以及训练用户的数字孪生体，所述训练用户包括处于所述实体训练场景的数字孪生体中的第一用户以及处于所述实体训练场景的第二用户；

所述MR设备，用于获取佩戴所述MR设备的第二用户针对第二画面的第二操作信息，所述第二画面从第二场景获取，所述第二场景包括所述实体训练场景、所述第一用户的数字孪生体以及所述第二用户；

数据处理中心，用于接收所述VR设备发送的第一操作信息以及所述MR设备发送的第二操作信息，根据所述第一操作信息、所述第二操作信息以及所述第一画面，获得第三画面，并根据所述第一操作信息、所述第二操作信息以及所述第二画面，获得第四画面；

所述VR设备，还用于接收所述数据处理中心返回的所述第三画面，并输出所述第三画面；

所述MR设备，还用于接收所述数据处理中心返回的所述第四画面，并输出所述第四画面。

2.根据权利要求1所述的系统，其特征在于，

所述数据处理中心，还用于获取实体附加训练设施的附加设施信息，根据所述附加设置信息得到对应所述实体附加训练设施的数字孪生体，并根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到第一画面，以及根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第五画面；

所述VR设备，还用于显示所述第一画面；

所述MR设备，还用于输出所述第五画面，以使所述第二用户观测到所述第二画面。

3.根据权利要求2所述的系统，其特征在于，

所述数据处理中心，还用于根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到第一场景，并根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第三场景；

所述VR设备，还用于获取所述第一用户的位姿信息以及位置信息，作为第一信息；

所述MR设备，还用于获取所述第二用户的位姿信息以及位置信息，作为第二信息；

所述数据处理中心，还用于根据所述第一信息以及第一场景，得到所述第一画面，并根据所述第二信息以及所述第三场景，获得第五画面。

4.根据权利要求3所述的系统，其特征在于，

所述数据处理中心，还用于确定所述实体附加训练设施的设置位置信息以及遮挡信息，根据所述设置位置信息、所述遮挡信息、所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到所述第一场景，并根据所述设置位置信息、所述遮挡信息、所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第三场景。

5.根据权利要求1所述的系统，其特征在于，所述系统还包括：

第一采集设备，用于采集所述实体训练场景的实体场景信息；

所述数据处理中心，还用于从所述第一采集设备获取所述实体场景信息，根据所述实体场景信息，得到对应所述实体训练场景的数字孪生体。

6.根据权利要求5所述的系统，其特征在于，

所述数据处理中心，还用于获取虚拟训练场景的虚拟场景信息，根据所述虚拟场景信息，通过三维建模技术，构建对应所述虚拟训练场景的数字孪生体。

7.一种虚实融合训练方法，其特征在于，方法包括：

获取佩戴VR设备的第一用户针对第一画面的第一操作信息，所述第一画面从第一场景获取，所述第一场景包括实体训练场景的数字孪生体以及训练用户的数字孪生体，所述训练用户包括处于所述实体训练场景的数字孪生体中的第一用户以及处于所述实体训练场景的第二用户；

获取佩戴MR设备的第二用户针对第二画面的第二操作信息所述第二画面从第二场景获取，所述第二场景包括所述实体训练场景、所述第一用户的数字孪生体以及所述第二用户；

根据所述第一操作信息、所述第二操作信息以及所述第一画面，获得第三画面，并根据所述第一操作信息、所述第二操作信息以及所述第二画面，获得第四画面；

通过所述VR设备并输出所述第三画面，通过所述MR设备输出所述第四画面。

8.根据权利要求7所述的方法，其特征在于，所述获取佩戴VR设备的第一用户针对第一画面的第一操作信息之前，所述方法还包括：

获取实体附加训练设施的附加设施信息；

根据所述附加设置信息得到对应所述实体附加训练设施的数字孪生体，并根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到第一画面；

根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第五画面；

通过所述VR设备显示所述第一画面，并通过所述MR设备显示所述第五画面，以使所述第二用户观测到所述第二画面。

9.根据权利要求8所述的方法，其特征在于，所述根据所述附加设置信息得到对应所述实体附加训练设施的数字孪生体，并根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到第一画面；根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第五画面，包括：

根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到第一场景；

根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第三场景；

通过所述VR设备获取所述第一用户的位姿信息以及位置信息，作为第一信息；

通过所述MR设备获取所述第二用户的位姿信息以及位置信息，作为第二信息；

数据处理中心，还用于根据所述第一信息以及第一场景，得到所述第一画面，并根据所述第二信息以及所述第三场景，获得第五画面。

10.根据权利要求9所述的方法，其特征在于，所述根据所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到第一场景；根据所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第三场景，包括：

确定所述实体附加训练设施的设置位置信息以及遮挡信息，根据所述设置位置信息、所述遮挡信息、所述实体训练场景的数字孪生体、所述实体附加训练设施的数字孪生体以及所述训练用户的数字孪生体，得到所述第一场景；

根据所述设置位置信息、所述遮挡信息、所述实体附加训练设施的数字孪生体以及所述第一用户对应的数字孪生体，得到第三场景。