CN113077674B - 基于虚拟训练场景的训练方法、装置及存储介质 - Google Patents

Abstract

本申请提供一种基于虚拟训练场景的训练方法，所述方法包括：计算头戴显示装置在所述虚拟训练场景中的第一位置信息；计算训练枪具的枪口朝向信息；获取预存的虚拟训练场景中的位置以及此位置时训练枪具的枪口朝向的对应关系；根据所述第一位置信息，以及此时训练枪具的枪口朝向信息，确定与所述对应关系的第一匹配结果；根据所述第一匹配结果，生成训练枪具使用的第一反馈内容。本申请提供的训练方法，可以使得用户在使用训练系统进行虚拟训练的过程中，对使用枪具的过程的枪口朝向的使用细节有强化的效果，有助于提高军警领域用户的枪具使用意识，通过虚拟场景训练达到实战训练的目的。

Description

基于虚拟训练场景的训练方法、装置及存储介质

技术领域

本申请涉及虚拟训练领域，尤其涉及一种基于虚拟训练场景的训练方法、装置及存储介质。

背景技术

传统的警务实战训练受经费、场地等条件的限制，存在训练基地不足、训练设施器材陈旧、训练模式落后等问题，警务实战训练受客观条件的影响相当突出。虚拟仿真训练是利用真实和虚拟的结合进行训练的一种方式，是未来的技术发展趋势，采用混合显示技术，依托简单的现有场地，能够创新实战教学新思路，不断拓宽训练的使用技能，让学员如身临其境般体验不同场合下的处理技巧，达到更好的学习体验和教学效果，将客观条件的影响降至最低。

发明内容

本申请实施例提供一种基于虚拟训练场景的训练方法、装置、头戴显示装置以及存储介质，能够提升用户的训练效果。

第一方面，本申请实施例提供一种基于虚拟训练场景的训练方法，所述方法包括：计算头戴显示装置在虚拟训练场景中的第一位置信息；计算训练枪具的枪口朝向信息；获取预存的虚拟训练场景中的位置以及此位置时训练枪具的枪口朝向的对应关系；根据所述第一位置信息，以及此时训练枪具的枪口朝向信息，确定与所述对应关系的第一匹配结果；根据所述第一匹配结果，生成训练枪具使用的第一反馈内容。

第二方面，本申请实施例提供一种基于虚拟训练场景的训练装置，所述装置包括：第一计算模块，用于计算头戴显示装置在所述虚拟训练场景中的第一位置信息；第二计算模块，用于计算训练枪具的枪口朝向信息；获取模块，用于获取预存的虚拟训练场景中的位置以及此位置时训练枪具的枪口朝向的对应关系；确定模块，用于根据所述第一位置信息，以及此时训练枪具的枪口朝向信息，确定与所述对应关系的第一匹配结果；以及反馈模块，用于根据所述第一匹配结果，生成训练枪具使用的第一反馈内容。

第三方面，本申请实施例提供一种头戴显示装置，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的训练方法。

第四方面，本申请实施例提供一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的训练方法。

本申请提供的训练方法、装置、头戴显示设备以及存储介质，可以使得用户在使用训练系统进行虚拟训练的过程中，对使用枪具的过程的枪口朝向的使用细节有强化的效果，有助于提高军警领域用户的枪具使用意识，通过虚拟场景训练达到实战训练的目的。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一个实施例提供的一种训练系统的示意图。

图2为本申请一个实施例提供的训练系统中的一种枪具的整体示意图。

图3为图2所示的枪具的另一方向的整体示意图。

图4为图2所示的枪具的主要内部构造的框架图。

图5为图4所示的枪具的另一状态下的示意图。

图6为图2所示的枪具与枪套相结合的整体示意图。

图7为本申请一实施例的使用训练枪具的训练方法的流程图。

图8为本申请一实施例的基于虚拟训练的战术板显示方法的流程图。

图9为用户进行训练的后台电脑显示的二维地图的示意图。

图10a、10b为角色标识与第一观察标识的示意图。

图11a、11b为角色标识与第一、二观察标识的示意图。

图12为角色标识与与第一、二、三观察标识的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，本申请一个实施例提供的一种训练系统，应用于混合现实、增强现实和/或虚拟现实技术领域，该训练系统包括训练器械100和头戴显示装置200。其中，训练器械100可被设置在外部的相机识别跟踪，用户可佩戴头戴显示装置200，并透过头戴显示装置200观看到虚拟训练场景，用户对训练器械100的使用操作可映射到虚拟训练场景中，使得用户可以进行虚拟的警务场景训练。其中，识别跟踪训练器械100的相机可以是集成在头戴显示装置200上，头戴显示装置200为可以同时观看到现实世界场景和虚拟训练场景的装置，也即是，用户透过头戴显示装置200，可以看到现实世界场景，还可以观看到虚拟训练场景叠加显示在现实世界场景中。

在一些实施方式中，头戴显示装置200可以包括显示器和光学镜片，显示器可将显示的虚拟训练场景投射至光学镜片，并透过光学镜片反射到佩戴头戴显示装置的用户的眼睛，使得用户可以观看到虚拟训练场景；此外，佩戴用户还可以透过光学镜片观看到现实场景，进而使得用户在视觉上可以观看到虚拟训练场景与现实场景叠加融合的虚实场景。

在一些实施方式中，该训练系统还包括参考标记物300，头戴显示装置200上的相机可以识别追踪参考标记物300，并以该参考标记物为相对世界坐标系原点，构建出相对现实世界固定的虚拟训练场景，并将头戴显示装置200(也即是用户)相对参考标记物的位置映射到虚拟训练场景中，进而获取到用户在虚拟训练场景中的位置，以便用户进行虚拟训练。

在一个实施例中，考虑到虚拟训练场景的大空间范围，随着用户在虚拟训练场景中的移动，仅使用一个参考标记物，会出现参考标记物离开头戴显示装置的相机视觉范围内，造成获取不到用户在虚拟训练场景中的位置的问题，可以在现实场景中设置多个具有位置关联且身份不同的参考标记物，使得用户在虚拟训练场景中无论怎么移动，也不会出现获取不到用户在虚拟训练场景中的位置的问题。

在一个实施例中，还可以在头戴显示装置中设置VIO跟踪模块，在标记物离开头戴显示装置的相机视觉范围内时，可利用VIO定位技术辅助获取头戴显示装置的真实位置，进而获取到用户在虚拟训练场景中的位置。在一些实施例中，还可以不采用参考标记物的方式，直接采用VIO定位技术获取用户在虚拟训练场景中的位置。

在警务训练领域中，训练器械有多种，例如枪、警棍、催泪喷射器等等，枪是警务训练中常用的一种器械。请参阅图2-4，本申请一个实施例提供的一种可用与虚拟训练的训练枪具100a，包括主体10和装设于主体10上的套筒20，其中，套筒20在外力的作用下可以相对主体10沿特定方向滑动。

主体10包括握柄11、枪架12以及扳机13，握柄11的一端与枪架12连接，扳机13位于握柄11和枪架12的连接交叉处，也与枪架12连接。主体10内部设有电源41、主板42、换弹模块43、装弹模块44、射击模块45以及上膛模块46，其中，电源41、换弹模块43以及装弹模块44设置在握柄11内，射击模块45设置在枪架12内，主板42与上膛模块46设置在枪架12的上方，且被套筒20覆盖。握柄11的一侧面设置有换弹按键111，用户在握持枪具100时，用户的大拇指可按压换弹按键111，以激发换弹模块43，进而使得主板42触发与按压换弹按键111对应的控制指令，该控制指令为控制虚拟训练场景的虚拟枪具的弹夹脱离该虚拟枪具，也即是换弹夹指令。握柄11远离枪架12的一端设置有装弹组件113，用户在握持枪具100时，可通过另一只手辅助按压装弹组件113，以激发装弹模块43，进而使得主板42触发与按压装弹组件113对应的控制指令，该控制指令为控制虚拟训练场景的虚拟枪具装上新的弹夹，也即是装弹夹指令。用户在握持枪具100时，可通过食指按压扳机13，以激发射击模块45，进而使得主板42触发与按压扳机13对应的控制指令，该控制指令为控制虚拟训练场景的虚拟枪具进行射击。用户在握持枪具100时，可用过另一只手辅助，以使套筒20相对主体10滑动，以激发上膛模块46，进而使得主板42触发控制虚拟训练场景中的虚拟枪具上膛的控制指令。

在一些实施方式中，握柄11于背离枪口的侧面上且邻近枪架12处设置有传感器14，该传感器14可用于感测枪具100a是否被使用者的手所握持。在现实的真枪使用场景，对用户(例如警察)何时开始握持枪是存在一定要求的，因此，本申请在握柄11背离枪口的侧面上且邻近枪架12处设置有传感器14，使得可以感测到用户在哪些时间段是握持枪具100a的，进而可以反馈到虚拟训练场景中，有助于进一步提高用户的训练效果。

在一些实施方式中，枪架12的侧面且邻近扳机13处设置有传感器15，该传感器15用于感测握持枪具100a的用户的手指是否在枪架的侧面上。用户在握持真枪时，在非开枪的场景中，一般是不允许用户的手指去接触扳机，以避免出现走火的情况，正常的训练中，都是要求用户习惯按压扳机的手指(一般是食指)抵触在枪架的侧面上；本申请通过在枪架12的侧面邻近扳机13处设置有传感器15，使得可以感测到用户的手指在哪些时间段是放置在枪架12的侧面上，进而可以反馈到虚拟训练场景中，有助于进一步提高用户的训练效果。

在一些实施方式中，主体10内部还设置有充电接口47、开关按键48以及菜单按键49，其中充电接口47、开关按键48以及菜单按键49相邻设置，均位于枪架12底部且远离握柄11的一端处。充电接口47可与外部电源电性连接，为主体10内部的电源提供电能；开关按键48可控制枪具100a的电源开关，菜单按键49可控制与枪具100a相对应的虚拟训练场景的软件。

套筒20包括壳体21、追踪模块22、后准星23以及前准星24。其中，壳体21覆盖于枪架12上，且壳体21与枪架12可相对滑动，也即是，壳体21与枪架12之间具有滑动配合的结构设计，本申请中不作具体结构的说明；追踪模块22大致呈方形板块妆，其位于壳体21远离枪口(未标识)的一端，且追踪模块22背离壳体21和主体10的一侧表面上设有标记物(未标识)，通过对拍摄的该标记物图像进行分析，可获取相机相对标记物的六自由度信息，进而实时获取到枪具100a相当于头戴显示装置200的相对位置和旋转关系；后准星23和前准星24均设置于壳体21背离枪架12一侧的外表面上，后准星23邻近追踪模块22设置，前准星24邻近枪口一端设置，后准星23的数量为两个，前准星24的数量为一个，两个后准星23相对平行且间隔设置，用户的视线可在具有追踪模块的一侧，从两个后准星23的空隙穿过以观察到前准星24。在本申请实施方式中，前准星24和后准星23朝向追踪模块22的一侧分别设置有发光元件241、231，发光元件231、241在枪具100a开启后均会发出光线，其中前准星24上的发光元件241和后准星23上的发光元件231发光的颜色不同，且具有一定的对比度，例如后准星23上的发光元件231发出绿光，前准星24上的发光元件241发出红光。通过在前、后准星上设置发光元件，用户可以快速的找到前、后准星，并通过前、后准星实现对虚拟场景的目标物的瞄准。

在一些实施方式中，将平行于壳体21和枪架12的方向定义为水平方向，追踪模块22上设有标记物的面与水平方向倾斜设置，使得佩戴头戴显示装置200的用户握持枪具100a进行训练时，在各种正常操作的情况下，枪具100a上的追踪模块22的标记物都能够被包括相机的头戴显示装置200识别跟踪到，进而获取到枪具100a相对头戴显示装置200的位置和旋转关系，进而可将真实世界的枪具100a的位置和旋转信息映射到虚拟训练场景中。优先地，追踪模块22上设有标记物的面与水平方向的夹角范围在30-60度之间。

请一并参阅图5，套筒20可通过滑动组件30的作用相对主体10滑动，滑动组件30包括滑动件31、套置于滑动件31上的弹性件32以及容置部分滑动件31的收容槽33。其中，滑动件31大致呈柱状，其一端固定于套筒20内，另一端容置于收容槽33内；弹性件32为弹簧，其套设在滑动件31的柱面上，且弹性件31的一端与滑动件31一同固定在套筒20上，另一端抵持在收容槽33入口的两侧面上；开设容置槽33的部件相对主体10固定。用户可用一只手握住主体10，用另一只手对套筒20施加外力，以使滑动件31容置于收容槽33的一端在收容槽33内滑动直至抵持收容槽33的底部，以激发上膛模块46，并使得弹性件31成压缩状态；此时，套筒20整体相对主体10沿追踪模块22远离主体10的水平方向滑动。当用户不再对套筒施加力的作用后，在呈压缩状态的弹性件31的弹性力的作用下，可使得套筒20整体相对主体10沿追踪模块22朝向主体10的水平方向滑动，进而使得套筒20恢复相对主体10的原始状态。

请同时参阅图6，枪具100a的枪架12的侧面设置有传感器16，枪套70的侧面对应传感器16设有接触元件71。当传感器16感测到与接触元件71对齐时，也即说明，枪具100a准确套置在枪套70内；当传感器16感测到与接触元件71不在对齐状态时，也即说明，枪具100a脱离枪套70。在现实的真枪使用场景，对枪具何时需要拔出脱离枪套，以及枪具是否准确套置在枪套内时由要求的，本申请通过在枪具100a的枪架12的侧面设置的传感器16和枪套70的侧面对应设置接触元件71，使得可以感测到枪具100a在哪些时间段是脱离枪套70的，进而可以反馈到虚拟训练场景中，有助于进一步提高用户的训练效果。

基于上述训练系统，本申请实施例提供一种在虚拟训练场景中使用训练枪具的训练方法，应用在上述训练系统的头戴显示装置上。下面对具体的训练方法进行介绍。

请参阅图7，本申请实施例提供的一种在虚拟训练场景中使用训练枪具的训练方法，该方法包括如下内容。

S710，计算头戴显示装置在虚拟训练场景中的第一位置信息。

其中，虚拟训练场景可以为预先加载的虚拟场景，该虚拟训练场景对应的程序可以是预先存储在头戴显示装置中，用户可以通过对头戴显示装置投放显示的界面操作，以使得进入相应的虚拟训练场景，使得佩戴头戴显示装置的用户可以通过该头戴显示装置观看到该虚拟训练场景叠加显示在现实世界中。在一些实施方式中，虚拟训练场景对应的程序可以是存储在其他终端中，例如计算机电脑，该终端可以将该虚拟训练场景通过无线传输的方式分发给头戴显示装置，可以简化头戴显示装置的配置。

加载的叠加显示的虚拟训练场景是相对现实世界固定的，可以获取将虚拟训练场景以现实世界中的某一位置为虚拟训练场景在世界坐标系的原点，在获得虚拟训练场景的三维模型后，结合该世界坐标系原点以及头戴显示装置在世界坐标系中的位置，在头戴显示装置中渲染对应的虚拟场景画面。

世界坐标系原点可以由用户自己设定，例如，通过外部控制器或手势等方式指定选择世界坐标系原点，通过VIO定位技术可以获取到头戴显示装置(即用户)在虚拟训练场景中的位置及朝向，即获取到头戴显示装置在虚拟训练场景中的第一位置信息。

在一些实施方式中，还可以通过摆放在现实世界中的标记物确定世界坐标系的原点，例如，可在现实世界中放置能够被头戴显示装置定位追踪的参考标记物(包含光点或图案信息等)，该参考标记物即可作为世界坐标系的原点。头戴显示装置可以通过视觉跟踪方式以获取头戴显示装置相对参考标记物的位置及旋转关系，进而获取头戴显示装置(即用户)在虚拟训练场景中的位置和朝向，即获取到头戴显示装置在虚拟训练场景中的第一位置信息。在参考标记物离开头戴显示装置的相机视觉范围内时，还可利用VIO定位技术辅助获取头戴显示装置的真实位置，进而获取到用户在虚拟训练场景中的位置，使得利用一个参考标记物，即可在大范围的虚拟训练场景中实时获取头戴显示装置在虚拟训练场景中的第一位置信息。

S720，计算训练枪具的枪口朝向信息。

在训练系统的实际使用过程中，用户通常都会头部佩戴该头戴显示装置，并手持该训练枪具。其中，该训练枪具与头戴显示装置通信连接，对训练枪具的操作信息均可发送至头戴显示装置。

在一些实施方式中，获取训练枪具的枪口朝向信息，包括：实时采集设置在训练枪具上的标记物的图像信息；根据采集的标记物图像，计算出训练枪具相对于头戴显示装置的位置及姿态信息；根据预存的训练枪具上的标记物与枪口之间的刚体关系，以及训练枪具相对于头戴显示装置的位置及姿态信息，计算出训练枪具的枪口朝向信息。

在一些实施方式中，还可以通过设置在训练枪具中的惯性测量单元实时获取训练枪具的三自由度信息，即可获得训练枪具的枪口朝向信息。

S730，获取预存的虚拟训练场景中的位置以及此位置时训练枪具的枪口朝向的对应关系。

虚拟训练场景中的布局是由开发者根据训练情况设定的，例如，虚拟训练场景包括多个虚拟房间、房门、桌子、椅子、人质、歹徒等虚拟物体或人物，在冲房解救人质的过程中，在不同的虚拟场景的位置，对手握的训练枪具是有规定要求的，如在冲房前(可以是整个虚拟场景的大房间，也可以是虚拟场景中的小房间)，用户手握的训练枪具是不建议水平指向的，在冲房过程中未确认对应的虚拟场景，要求用户手握训练枪具应该是水平指向的，以便能够快速应对突发情况。

在一些实施方式中，可针对虚拟训练场景预先设置第一预设区域，该第一预设区域可以为房间的门口侧边位置、墙边角位置等用户需要在虚拟场景中躲避、超过一定时间等待停留或者局部清场后的位置，在该第一预设位置可以设定枪口朝向要求，要求训练枪具的枪口朝向是斜指向地面或者斜指向上面，因此，可以预先设定在该第一预设位置时，该训练枪具的枪口朝向与垂直于水平地面的垂直方向的夹角小于第一预设夹角的要求指令。该第一预设夹角指可以设定为45度。在一些实施例中，还可以根据虚拟场景的情形变化进行调整第一预设区域，例如，在局部虚拟房间消灭歹徒解救人质时，将该局部场景更新调整为第一预设区域；又例如，在进入关闭房门的房间前的门口侧边为第一预设区域，在打开该房门后，将该区域不再设为第一预设区域。

在一些实施方式中，还可针对虚拟训练场景预先设置第二预设区域，该第二预设区域可以为用户在房间内部执行任务行走搜寻歹徒时的位置区域，在该第二预设位置可以设定枪口朝向要求，要求训练枪具的枪口朝向是水平指向，因此，可以预先设定在该第二预设位置时，该训练枪具的枪口朝向与水平方向的夹角小于第二预设夹角的要求指令。该第二预设夹角指可以设定为15度。

S740，根据所述第一位置信息，以及此时训练枪具的枪口朝向信息，确定与所述对应关系的第一匹配结果。

在一些实施方式中，该第一匹配结果可以为符合或者不符合对应关系的要求的次数结果，也即是针对用户进行战术冲房的训练过程，实时进行枪口朝向信息的匹配，可以得出用户在训练过程中枪口指向符合或者不符合要求的次数。

S750，根据所述第一匹配结果，生成训练枪具使用的第一反馈内容。

在一些实施方式中，可以在整个战术冲房训练结束后，根据获得的第一匹配结果生成第一反馈内容，该第一反馈内容可以为呈现给使用者或者管理者用户在训练过程中的关于枪口朝向操作的训练结果，可以为直观的不符合次数结果，也可以为评分结果。

在一些实施方式中，该训练方法还可以包括：采集手指传感器的手指检测信息；根据所述枪口朝向信息以及所述手指检测信息，生成训练枪具使用的第二反馈内容。该第二反馈内容能够呈现在不同情形下，用户是否扣押扳机的手指的判断。

在一个实施例，手指传感器可以设置在训练枪具的扳机的上侧；当枪口朝向为水平方向时，要求手指离开该手指传感器，根据该要求可以生成一个反馈结果；当枪口朝向为与水平方向偏差超过设定的夹角阈值时，要求手指放在该手指传感器上，根据该要求可以生成又一反馈结果；将上述两个反馈结果进行整合，即可生成第二反馈内容。

在一个实施例中，手指传感器可以设置在训练枪具的扳机处，以感测用户的手指是否有放置在扳机上；当枪口朝向为水平方向时，要求手指放置在该手指传感器上，即要求手指放置扳机上，根据该要求可以生成一个反馈结果；当枪口朝向为与水平方向偏差超过设定的夹角阈值时，要求手指离开该手指传感器上，即要求手指不放置在扳机上，根据该要求可以生成又一反馈结果；将上述两个反馈结果进行整合，即可生成第二反馈内容。

当然，可以在训练枪具的扳机处，以及扳机的上侧均设置有手指传感器，通过两个手指传感器，能够有效地判断用户按压扳机的手指在相应的情形下是否放置在正确的位置上，并能够生成反馈内容，以在训练结束后能够通过反馈内容直观的获得手指放置信息，有助于提高用户的训练效果。

其中，当该第二反馈内容为不正确操作时，也可以在用户训练过程及时提醒用户，以使用户及时改正，并体现在最终的训练结果中。

在一些实施方式中，该训练方法还可以包括，获取队友虚拟角色在虚拟训练场景中的第二位置信息；获取所述训练枪具的位置信息；根据所述训练枪具的位置信息、枪口朝向信息以及所述第二位置信息，确定所述训练枪具的朝向与误指方向之间的夹角，其中所述误指方向为所述训练枪具到所述第二位置的方向；获取预存的第三预设夹角，根据所述训练枪具的朝向与误指方向之间的夹角与所述第三预设夹角的比较结果，生成训练枪具使用的第三反馈内容。

虚拟训练场景可以是多个用户一起使用训练，每一用户均佩戴有一个头戴显示装置，手持一个训练枪具，多个用户可以是队友的角色一起进行统一场景的训练。在训练过程，需要求任何一个用户均不得将枪具的枪口指向队友，在一个实施方式中，可以通过队友佩戴的头戴显示装置获取队友在虚拟训练场景中的第二位置信息；训练枪具的位置信息可以通过用户自身佩戴的头戴显示装置对训练枪具进行跟踪以获取训练枪具相对该用户佩戴的头戴显示装置的位置及旋转信息，并根据该用户佩戴的头戴显示装置在虚拟训练场景中的位置和朝向，得到训练枪具的位置信息，以及枪口朝向信息；根据训练枪具的位置信息、枪口朝向信息以及第二位置信息能够确定训练枪具的枪口朝向与枪口指向队友的方向(即误指方向)之间的夹角；可以预先存储一个第三预设夹角，通过将比较训练枪具的枪口朝向与枪口指向队友的方向(即误指方向)之间的夹角与第三预设夹角相比较，生成第三反馈内容；当训练枪具的枪口朝向与枪口指向队友的方向(即误指方向)之间的夹角小于第三预设夹角时，可以生成提示用户枪口有指向队友可能的反馈信息；该第三反馈内容可以为呈现给使用者或者管理者用户在训练过程中的关于是否指向队友的训练结果。其中，该第三预设夹角可以设定为30度。其中，当该第三反馈内容为确认有可能指向队友时，可以在用户训练过程及时提醒用户，以使用户及时改正，并体现在最终的训练结果中。

在一些实施方式中，在确定与所述对应关系的第一匹配结果后，当所述第一匹配结果为不符合结果时，可以实时生成不符合的提示信息，以提示用户在训练过程中及时改变不正确的操作，提高训练效果。

本申请提供的训练方法，可以使得用户在使用训练系统进行虚拟训练的过程中，对使用枪具的过程的枪口朝向的使用细节有强化的效果，有助于提高军警领域用户的枪具使用意识，通过虚拟场景训练达到实战训练的目的。

本申请实施例还提供的一种虚拟训练场景的训练装置，应用于头戴显示设备，用以执行上述的训练方法。训练装置可以包括：第一计算模块、第二计算模块、获取模块、确定模块以及反馈模块。可以理解的是，上述各模块可以为运行于计算机可读存储介质中的程序模块，上述各个模块的用途及工作具体如下：第一计算模块用于计算头戴显示装置在所述虚拟训练场景中的第一位置信息；第二计算模块用于计算训练枪具的枪口朝向信息；获取模块用于获取预存的虚拟训练场景中的位置以及此位置时训练枪具的枪口朝向的对应关系；确定模块用于根据所述第一位置信息，以及此时训练枪具的枪口朝向信息，确定与所述对应关系的第一匹配结果；以及反馈模块用于根据所述第一匹配结果，生成训练枪具使用的第一反馈内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

在一些实施方式中，在使用上述训练系统进行训练的过程中，相关训练数据可以实时传输给后台，以便于管理者能够实时观察到训练过程中发生的情况，有鉴于此，本申请实施例还提供一种基于虚拟训练的战术板显示方法，应用于后台终端，该后台终端可以是带有显示屏的计算机电脑。下面对具体的战术板显示方法进行介绍。

请参阅图8，本申请实施例提供一种基于虚拟训练的战术板显示方法，该方法包括如下内容。

S810，获取所述虚拟训练场景的数据信息，所述数据信息包括建筑信息、虚拟物体信息以及虚拟人物信息。

用户通过佩戴的头戴显示装置，通过加载相关的虚拟训练场景的三维模型，既可以进行观看到虚拟训练场景进行训练。同时，后台电脑也可以获取到该虚拟训练的模型，即相关的数据信息；而且，当用户与该虚拟训练场景交互的相关数据也可以被后台电脑获得，以实时更新与虚拟训练场景相关的数据信息。其中，虚拟训练场景模型可以包括建筑信息(例如房子等)、虚拟物体信息(例如桌子、障碍物等)以及虚拟人物信息(例如人质、歹徒等)。

S820，根据所述数据信息构建二维地图。

利用头戴显示装置的光学结构，用户通过头戴显示装置看到的是叠加在现实世界的三维虚拟训练场景。为便于管理者观看，后台电脑通常是采用显示屏对训练场景进行观看，可根据上述虚拟训练场景的数据信息构建二维地图。例如，请参阅图9，构建出的二维地图包括房间的二维视图901、虚拟物体的标识902以及虚拟人物的角色标识903。

S830，获取头戴显示装置在所述虚拟场景中的位置信息，以及所述头戴显示装置对应的角色标识。

当用户佩戴头戴显示装置进行虚拟训练时，用户在虚拟场景中的位置信息可被计算，并被后台电脑获取并映射到二维虚拟地图中。同时，该头戴显示装置的角色标识也可以被后台电脑获取并映射到二维虚拟地图中，该角色标识可以是根据预先设定的头戴显示装置的ID信息进行编号的数据信息生成获得。如图9，头戴显示装置对应的角色标识904根据该头戴显示装置在虚拟训练场景中的位置被实时映射到二维地图中。

在一些实施方式中，当一起参加虚拟训练的用户有多个时，可以对每一用户佩戴的头戴显示装置进行编号，并将对应的编号映射到二维地图的角色标识中，以便于能够清晰的观察到具体每一用户的训练过程。

S840，将所述角色标识与所述二维地图一起显示，其中，所述角色标识覆盖于所述二维地图上，所述角色标识在所述二维地图中的覆盖位置与所述头戴显示装置在所述虚拟场景中的位置信息相对应。

显示在二维地图上与训练用户对应的角色标识对应的位置，是根据该用户对应的头戴显示装置在叠加显示在虚拟训练场景中的位置对应获得的。具体地，可以先获取头戴显示装置在现实世界坐标系中相对原点的位置，并根据叠加在现实世界中的虚拟训练场景相对世界坐标系的原点的位置一起计算获得的。当佩戴头戴显示装置的用户在现实世界中的位置发生变化时，与二维地图一起显示的角色标识在二维地图中的位置也会发生对应的变化，依次实现用户在现实世界中的位置变化、在用户看到的三维虚拟训练场景中的位置变化以及角色标识在二维地图中的位置变化一一对应。

训练用户对应的角色标识是覆盖在二维地图上进行显示的，也即是说，当该角色标识与二维地图中的建筑信息、虚拟物体或虚拟人物信息重合时，角色标识会覆盖在与该角色标识重合的二维地图信息上。

在一些实施方式中，在获取头戴显示装置在虚拟训练场景中的位置信息的同时，还会获取到头戴显示装置的姿态信息，也即是头戴显示在虚拟训练场景中的六自由度信息均可以被获得，六自由度信息的获取方式在本申请文件的上面部分已经说明，例如可以通过头戴显示装置对参考标记物的追踪技术与VIO定位技术的结合获得，使得在整个虚拟训练场景中都能够实时获取到头戴显示装置相对虚拟世界的六自由度信息。

在获取到头戴显示装置在虚拟训练场景中的姿态信息时，可以将姿态信息中的偏航信息提取出来，并根据该偏航信息生成第一观察标识，并可将该第一观察标识跟随对应的角色标识在所述二维地图上一起显示。其中，第一观察标识与对应的角色标识的距离是相对固定的，且第一观察标识限定了一个区域空间。如图10a，角色标识1001会跟随用户的位置变化而在二维地图中发生对应的位置变化，第一观察标识1002会跟随角色标识1001一起显示，该第一观察标识1002对应现实世界中头戴显示装置水平转动的方向，即标识用户在虚拟训练场景中的观察方向；如图10b，当佩戴头戴显示装置用户的头部在水平方向发生变化时，第一观察标识1002在虚拟训练场景中的方向也会发生对应的改变，但第一观察标识1002相对角色标识1001的距离并不会发生改变，使得管理者可以实时观察到用户在二维虚拟场景中的观察方向。在一些实施方式中，第一观察标识由呈一预设夹角的两条线段形成，且该两条线段并不相交，且每一条线段与对应的角色标识均相距一预设距离；其中，该预设夹角值可设定在45-70度之间。通过设置第一观察标识，可以使得后台的管理者能够清晰的了解到用户的观察方向在水平转动的方向的情形，可以及时掌握用户的训练情况。

在一些实施方式中，在获取到头戴显示装置在虚拟训练场景中的姿态信息时，可以将姿态信息中的俯仰信息提取出来，并根据该俯仰信息生成第二观察标识，并可将该第二观察标识跟随对应的第一观察标识以及角色标识在所述二维地图上一起显示。其中，该第二观察标识是在第一观察标识限定的区域空间内的。如图11a，第一观察标识1002限定的区域空间内的阴影部分1101a即为第二观察标识，第二观察标识对应现实世界中头戴显示装置相对水平地面俯仰的情况，也即是垂直转动方向的情况；阴影部分的颜色深度即表示用户的观察方向在俯仰的角度信息。图11a和图11b的颜色的深度不同，表示用户的观察方向在垂直转动方向的不同，深度越浅，俯视程度越大；深度越深，仰视程度越大。在一些实施方式中，还可以在阴影部分内增加角度标识，该角度标识可为相对于垂直转动方向的夹角，例如，当用户的观察方向是垂直看向地面时，为0度；当用户的观察方向是水平往前看时，为90度；当用户的观察方向是抬头垂直往上看时，为180度。在一些实施方式中，还可以通过将阴影部分设置为渐变模式，以表示用户观察方向在垂直转动方向的情况，具体的渐变方式有很多种，本申请不再展开详述。在一些实施方式中，还可以通过阴影部分的颜色信息表示用户的观察方向在垂直转动方向的情况，例如，当用户的观察方向在仰视超过30度时，阴影部分呈现为红色；当用户的观察方向在俯视超过60度时，阴影部分呈现为蓝色；当用户的观察方向在仰视小于30度，俯视小于60度之间时，阴影部分呈现为绿色。通过设置第二观察标识，可以使得后台的管理者能够清晰的了解到用户的观察方向在垂直转动的方向的情形，及时掌握用户更详细的训练情况。

在一些实施方式中，在获取到头戴显示装置在虚拟训练场景中的姿态信息时，可以将姿态信息中的滚动信息提取出来，并根据该滚动信息生成第三观察标识，并可将该第三观察标识跟随对应的第一观察标识以及角色标识在所述二维地图上一起显示。第三观察标识对应现实世界中头戴显示装置相对水平方向侧偏的情况，也即是表示用户侧观察方向的情形。如图12所示，第三观察标识为角度标识，当用户正常水平观察时，角度标识可显示为0度；当用户向左侧转动头部观察时，角度标识可向-90度的趋势变化，也即是用户头部越往左侧，角度标识越接近于-90度；当用户向右侧转动头部观察时，角度标识可向90度的趋势变化，也即是用户头部越往右侧，角度标识越接近于90度。通过设置第三观察标识，可以使得后台的管理者能够清晰的了解到用户的侧方向观察的情形，及时掌握用户更详细的训练情况。

在一些实施方式中，在获取到头戴显示装置在所述虚拟场景中的位置信息时，同时获取头戴显示装置在所述虚拟场景中的姿态信息；将头戴显示装置的位置映射到用户在虚拟训练场景中的位置，当用户在虚拟训练场景中的位置为预设区域且符合预设状态时，可判断获取的头戴显示装置的姿态信息是否与预设姿态阈值是否相符；当判断结果为不符时，实时生成并显示提示信息。其中，预设区域和预设姿态阈值可以为用户根据建筑信息进行自定义，例如，在虚拟房间的门口左侧，要求用户头部往右侧滚动一预设角度范围，当用户头部实际往右侧的角度没有达到该预设角度范围时，可以生成在后台电脑上显示的提示信息，以提示管理者的用户此时的训练动作不符合要求。又例如，在虚拟房间的门口入口处的区域，要求用户头部先往左水平转动在一预设角度范围的方向观察，在往右水平转动在一预设角度范围的方向观察，当用户头部实际往左水平转动或往右水平转动的角度没有达到该预设角度范围时，可以生成在后台电脑上显示的提示信息，以提示管理者的用户此时的训练动作不符合要求；在一些实施方式中，还可以根据预设位置的情况预设转动顺序和/或转动速度，当实际转动顺序和/或转动速度与预设转动顺序和/或转动速度不符合时，也可以生成在后台电脑上显示的提示信息，以提示管理者的用户此时的训练动作不符合要求。

在一些实施方式中，还可将头戴显示装置的位置信息与虚拟训练场景的数据信息中的建筑信息、虚拟物体信息以及虚拟人物信息进行计算分析；当头戴显示装置的位置信息与所述数据信息中的建筑信息、虚拟物体信息以及虚拟人物信息的位置距离小于预设距离时，实时生成并显示提示信息。在进行虚拟训练过程中，虚拟建筑信息、虚拟物体信息以及虚拟人物信息均为用户视觉感知的叠加在现实世界中，在现实世界中并不存在这些信息，用户可以在现实世界中进行随意走动，并不会被虚拟训练场景的物体阻碍，为了提高用户的训练效率，设置上述步骤可以有效地对用户进行的训练进一步评估。其中，考虑到长时间VIO定位漂移导致用户观察的虚拟训练场景存在位移变化的问题，设置预设距离的有助于提高判断用户训练的准确性。

在一些实施方式中，可以获取与头戴显示装置通信连接的训练枪具在虚拟训练场景中的相对位置信息，具体可通过头戴显示装置对训练枪具进行视觉定位追踪，以获取到训练枪具相对头戴显示装置的位置信息，由于头戴显示装置在虚拟训练场景中的位置可以获得，因此可以将训练枪具的相对头戴显示装置的位置信息映射到虚拟训练场景中，以获取训练枪具在虚拟训练场景中的相对位置信息；再获取用户对训练枪具的射击操作信息，当用户按压训练枪具中的扳机时，可以根据该射击操作生成对应的数据信息，并发送给后台电脑；后台电脑可以根据训练枪具的相对位置信息以及射击操作的数据信息生成射击标识，并跟随所述二维地图一起显示，其中该射击标识是动态显示的，也即是相应的射击轨迹。

本申请提供的基于后台电脑进行虚拟训练场景训练的显示方法，使得后台的管理者能够实时观察到用户训练的实际过程，可以直观地了解到用户的训练情况的好坏，有助于为后续训练进行指导改善，强化训练的效果

本申请实施例还提供的一种基于虚拟训练场景训练的显示装置，应用于后台电脑，用以执行上述的训练方法。该显示装置可以包括：第一获取模块、构建模块、第二获取模块以及显示模块。可以理解的是，上述各模块可以为运行于计算机可读存储介质中的程序模块，上述各个模块的用途及工作具体如下：第一获取模块用于获取所述虚拟训练场景的数据信息，所述数据信息包括建筑信息、虚拟物体信息以及虚拟人物信息；构建模块用于根据所述数据信息构建二维地图；第二获取模块用于获取头戴显示装置在所述虚拟场景中的位置信息，以及所述头戴显示装置的角色标识；显示模块用于将所述角色标识与所述二维地图一起显示，其中，所述角色标识覆盖于所述二维地图上，所述角色标识在所述二维地图中的覆盖位置与所述终端设备在所述虚拟场景中的位置信息相对应。

本申请实施例提供的一种头戴显示装置，其可以包括一个或多个如下部件：处理器、存储器以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。处理器可以包括一个或者多个处理核。处理器利用各种接口和线路连接整个头戴显示装置内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行头戴显示装置的各种功能和处理数据。可选地，处理器可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储头戴显示装置在使用中所创建的数据等。

本申请实施例提供的一种计算机可读存储介质。该计算机可读存储介质中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。该计算机可读存储介质可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种基于虚拟训练场景的训练方法，其特征在于，所述方法包括：

计算头戴显示装置在虚拟训练场景中的第一位置信息；

计算训练枪具的枪口朝向信息；

获取预存的虚拟训练场景中的位置以及此位置时所述训练枪具的枪口朝向的对应关系；

根据所述第一位置信息，以及此时所述训练枪具的枪口朝向信息，确定与所述对应关系的第一匹配结果；

根据所述第一匹配结果，生成所述训练枪具使用的第一反馈内容；

所述计算训练枪具的枪口朝向信息，包括：

实时采集设置在所述训练枪具上的标记物的图像信息；

根据所述采集的标记物图像，计算出所述训练枪具相对于所述头戴显示装置的位置及姿态信息；

根据预存的所述训练枪具上的标记物与枪口之间的刚体关系，以及所述训练枪具相对于所述头戴显示装置的位置及姿态信息，计算出所述训练枪具的枪口朝向信息；

在现实场景中设置多个具有位置关联且身份不同的参考标记物；

所述预存的虚拟训练场景中的位置以及此位置时训练枪具的枪口朝向的对应关系，包括：

在虚拟训练场景的第一预设区域，所述训练枪具的枪口朝向与垂直方向的夹角小于第一预设夹角；

在虚拟训练场景的第二预设区域，所述训练枪具的枪口朝向与水平方向的夹角小于第二预设夹角。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

采集手指传感器的手指检测信息；

根据所述枪口朝向信息以及所述手指检测信息，生成训练枪具使用的第二反馈内容。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取队友在虚拟训练场景中的第二位置信息；

获取所述训练枪具的位置信息；

根据所述训练枪具的位置信息、枪口朝向信息以及所述第二位置信息，确定所述训练枪具的朝向与误指方向之间的夹角，其中所述误指方向为所述训练枪具指向所述第二位置的方向；

获取预存的第三预设夹角，根据所述训练枪具的朝向与误指方向之间的夹角与所述第三预设夹角的比较结果，生成训练枪具使用的第三反馈内容。

4.如权利要求1所述的方法，其特征在于，在确定与所述对应关系的第一匹配结果后，所述方法还包括：

当所述第一匹配结果为不符合结果时，实时生成不符合的提示信息。

5.一种基于虚拟训练场景的训练装置，其特征在于，所述装置包括：

第一计算模块，用于计算头戴显示装置在所述虚拟训练场景中的第一位置信息；

第二计算模块，用于计算训练枪具的枪口朝向信息；

获取模块，用于获取预存的虚拟训练场景中的位置以及此位置时训练枪具的枪口朝向的对应关系；

确定模块，用于根据所述第一位置信息，以及此时训练枪具的枪口朝向信息，确定与所述对应关系的第一匹配结果；以及

反馈模块，用于根据所述第一匹配结果，生成训练枪具使用的第一反馈内容；

所述第二计算模块包括：

实时采集设置在所述训练枪具上的标记物的图像信息；

根据所述采集的标记物图像，计算出所述训练枪具相对于所述头戴显示装置的位置及姿态信息；

根据预存的所述训练枪具上的标记物与枪口之间的刚体关系，以及所述训练枪具相对于所述头戴显示装置的位置及姿态信息，计算出所述训练枪具的枪口朝向信息；

在现实场景中设置多个具有位置关联且身份不同的参考标记物；

所述获取模块包括：

在虚拟训练场景的第一预设区域，所述训练枪具的枪口朝向与垂直方向的夹角小于第一预设夹角；

在虚拟训练场景的第二预设区域，所述训练枪具的枪口朝向与水平方向的夹角小于第二预设夹角。

6.一种头戴显示装置，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1～4中任一项所述的方法。

7.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1～4中任一项所述的方法。