CN110211449A - 一种基于增强现实的飞行驾驶训练系统以及方法 - Google Patents

Abstract

本发明公开了一种基于增强现实的飞行驾驶训练系统以及方法，系统包括驾驶舱模拟框架、模拟座椅、模拟操纵面板、模拟操纵器件、用于供使用者穿戴的头戴式增强现实显示设备、用于供使用者穿戴的姿态捕捉设备、处理装置，姿态捕捉设备用于实时捕捉使用者的姿态信息并反馈至所述处理装置，模拟操纵器件、模拟操纵面板用于实时反馈使用者触发的操纵信息至所述处理装置，处理装置用于根据所述姿态捕捉设备、模拟操纵器件、模拟操纵面板实时反馈的信息，将对应的增强现实图像发送到头戴式增强现实显示设备进行显示，本发明通过将增强现实技术引入飞行驾驶训练，实现了模拟飞行驾驶训练的效果，成本较低。

Description

一种基于增强现实的飞行驾驶训练系统以及方法

技术领域

本发明涉及增强现实领域，尤其涉及一种基于增强现实的飞行驾驶训练系统和方法。

背景技术

近年来，随着增强现实技术的逐步成熟，各种增强现实头盔陆续出现。增强现实(Augmented Reality，AR)技术是一种可以将真实景观和虚拟景观“无缝”集成的新技术，可实时地获知相机图像的位置和角度并叠加相应图像、视频、三维模型等信息，可以把现实中不能体验到的景观，通过AR技术与现实相叠加和融合，从而获得超越现实的旅游体验。

目前，飞行员的培训多采用理论培训及模拟机培训。理论培训阶段由地面教员负责，模拟机培训则由飞行教员结合操作讲解。模拟机1:1还原机舱内实景，仪表、设备、材质都和真正的客机一模一样，包括起飞、降落失重感和气流颠簸等都能精准模拟，让学员们体会到100％实际操作感受。但是目前的模拟机价格非常昂贵，许多学员无法直接使用模拟机进行训练。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述成本高的缺陷，提供一种基于增强现实的飞行驾驶训练系统以及方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于增强现实的飞行驾驶训练系统，包括驾驶舱模拟框架、模拟座椅、模拟操纵面板、模拟操纵器件、用于供使用者穿戴的头戴式增强现实显示设备、用于供使用者穿戴的姿态捕捉设备、处理装置，所述模拟座椅、模拟操纵面板、模拟操纵器件均设置在所述驾驶舱模拟框架内；

其中，所述处理装置与所述姿态捕捉设备、模拟操纵器件、模拟操纵面板、头戴式增强现实显示设备连接，所述姿态捕捉设备用于实时捕捉使用者的姿态信息并反馈至所述处理装置，所述模拟操纵器件、模拟操纵面板用于实时反馈使用者触发的操纵信息至所述处理装置，所述处理装置用于根据所述姿态捕捉设备、模拟操纵器件、模拟操纵面板实时反馈的信息，将对应的增强现实图像发送到头戴式增强现实显示设备进行显示。

在本发明所述的基于增强现实的飞行驾驶训练系统中，所述驾驶舱模拟框架的下方设置有可控制驾驶舱模拟框架产生晃动的角度控制装置，所述角度控制装置用于与头戴式增强现实显示设备配合共同模拟飞机飞行过程中的颠簸和晃动场景。

在本发明所述的基于增强现实的飞行驾驶训练系统中，所述角度控制装置包括多个电缸，多个电缸通过伸缩控制所述驾驶舱模拟框架模拟不同的飞行角度。

在本发明所述的基于增强现实的飞行驾驶训练系统中，所述驾驶舱模拟框架内还设置有显示装置，处理装置用于在根据姿态捕捉设备反馈的信息确定出使用者的视野中包含显示装置时，控制头戴式增强现实显示设备显示与所述显示装置的实景画面相应的虚拟画面，且所显示的虚拟画面与所述显示装置的实景画面叠加后形成该处理装置所应具备的显示画面。

较佳的，所述显示装置包括虚拟仪表盘。

在本发明所述的基于增强现实的飞行驾驶训练系统中，所述模拟座椅、头戴式增强现实显示设备均为两个，且两个模拟座椅并排可拆卸的安装在模拟操纵面板后方，模拟操纵器件可拆卸的安装在两个模拟座椅之间。

在本发明所述的基于增强现实的飞行驾驶训练系统中，所述模拟操纵面板可拆卸的安装在所述驾驶舱模拟框架内且安装位置可调，所述模拟操纵面板可配置成与预定型号飞机驾驶舱内操纵面板相同的安装位置。

在本发明所述的基于增强现实的飞行驾驶训练系统中，所述模拟操纵器件可拆卸的安装在所述驾驶舱模拟框架内且安装位置可调，可配置成与预定型号飞机驾驶舱内模拟操纵器件相同的安装位置。

本发明还公开了一种基于增强现实的飞行驾驶训练方法，使用如上所述的系统实现，方法包括：

姿态捕捉设备实时捕捉使用者的姿态信息并反馈至处理装置，模拟操纵器件、模拟操纵面板实时反馈使用者触发的操纵信息至所述处理装置；

所述处理装置根据所述姿态捕捉设备、模拟操纵器件、模拟操纵面板实时反馈的信息，将对应的增强现实图像发送到头戴式增强现实显示设备进行显示。

实施本发明的基于增强现实的飞行驾驶训练系统，具有以下有益效果：本发明通过将增强现实技术引入飞行驾驶训练，整个系统包括驾驶舱模拟框架、模拟座椅、模拟操纵面板、模拟操纵器件、头戴式增强现实显示设备、姿态捕捉设备以及处理装置，处理装置根据姿态捕捉设备、模拟操纵面板、模拟操纵器件实时反馈的信息，将对应的增强现实图像发送到头戴式增强现实显示设备进行显示，实现了模拟飞行驾驶训练的效果，成本较低；进一步地，设置角度控制装置，可以模拟飞机飞行过程中的颠簸和晃动场景；设置虚拟仪表盘，可以根据需要通过叠加画面实时显示完整的仪表盘画面，降低成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图：

图1是本发明的一个具体实施例的结构示意图；

图2是为穿戴头戴式增强现实显示设备之前和之后看到的虚拟仪表盘的对比图一；

图3是为穿戴头戴式增强现实显示设备之前和之后看到的虚拟仪表盘的对比图二。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的典型实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

本发明总的思路是：将增强现实技术引入飞行驾驶训练，整个系统包括驾驶舱模拟框架、模拟座椅、模拟操纵面板、模拟操纵器件、头戴式增强现实显示设备、姿态捕捉设备以及处理装置，处理装置根据姿态捕捉设备、模拟操纵面板、模拟操纵器件实时反馈的信息，将对应的增强现实图像发送到头戴式增强现实显示设备进行显示，实现了模拟飞行驾驶训练的效果，成本较低。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。

参考图1，一个具体实施例中的基于增强现实的飞行驾驶训练系统，包括驾驶舱模拟框架1、模拟座椅2、模拟操纵面板5、模拟操纵器件6、头戴式增强现实显示设备3、姿态捕捉设备(图未示)以及处理装置4。其中，所述模拟座椅2、模拟操纵面板5、模拟操纵器件6、均设置在所述驾驶舱模拟框架1内，处理装置4设置在所述驾驶舱模拟框架1外，当然也可以设置在驾驶舱模拟框架1内。模拟座椅2、头戴式增强现实显示设备3的数量相同，可以为一个以上，本实施例中模拟座椅2、头戴式增强现实显示设备3均为两个。

其中，所述处理装置4与所述姿态捕捉设备、模拟操纵面板5、模拟操纵器件6、头戴式增强现实显示设备3连接，连接方式并不做限制，可以是电子线等形式的有线连接，还可以是蓝牙等形式的无线连接。

所述姿态捕捉设备用于实时捕捉使用者的姿态信息并反馈至所述处理装置4，所述模拟操纵器件6、模拟操纵面板5实时反馈使用者触发的操纵信息至所述处理装置4，所述处理装置4用于根据所述姿态捕捉设备、模拟操纵器件6、模拟操纵面板5实时反馈的信息，将对应的增强现实图像发送到头戴式增强现实显示设备3进行显示。

具体的，驾驶舱模拟框架1为主体框架，主要是用于构成飞机驾驶舱内框架结构，本实施例中，驾驶舱模拟框架1优选呈长方体形。

模拟座椅2用于模拟预定型号飞机驾驶舱内座椅，以供实验者倚坐，模拟座椅2与预定型号飞机驾驶舱内座椅的上下、前后以及靠背角的调节范围相同，以便于实验者模拟真实座椅调节。本实施例中模拟座椅2包括左右两个，头戴式增强现实显示设备3也相应的为两个，两个模拟座椅2并排可拆卸的安装在模拟操纵面板5后方，模拟操纵器件6可拆卸的安装在两个模拟座椅2之间，可以同时满足两个飞行员进行训练。当两个飞行员进行训练时，两个飞行员需要各自佩戴头戴式增强现实显示设备3，两个头戴式增强现实显示设备3连接与一个处理装置4。

模拟操纵面板5可拆卸地安装在驾驶舱模拟框架1内部，安装过程中其位置、安装角度等均可以进行相应的调节，从而配置成与预定型号飞机驾驶舱内操纵面板相同的安装位置。

模拟操纵器件6与现实的操纵器件结构基本相同，可配置成与预定型号飞机驾驶舱内模拟操纵器件相同的安装位置，可实现按压、旋转等操作，例如可以是按键、旋钮以及开关等，并且模拟操纵器件6可以发送电信号(该电信号仅仅被用于鉴别使用者的操作，并不用于触发真正的操作)到处理装置4，处理装置4根据模拟操纵器件6发送的电信号可以飞机的运行进行判断。

姿态捕捉设备用于捕捉使用者姿态，包括但不限于上肢、下肢、眼部等的运动姿态。可以直接选用已有的姿态捕捉设备，例如，可以采用捕捉使用者眼球的转动信息的眼球追踪装置，可以使用数据手套，等等。

头戴式增强现实显示设备3用于供坐在模拟座椅2上的实验者进行穿戴，头戴式增强现实显示设备3可以接收来自处理装置4的图像信息，并对相关图像进行显示。

处理装置4可以是计算机或者其他适合的处理设备，用于处理姿态捕捉设备、模拟操纵器件6、模拟操纵面板5的数据，并将图像信息发送至头戴式增强现实显示设备3。

可选的，还可以在驾驶舱模拟框架1内设置显示装置，处理装置4用于在根据姿态捕捉设备反馈的信息确定出使用者的视野中包含显示装置时，控制头戴式增强现实显示设备3显示与所述显示装置的实景画面相应的虚拟画面，且所显示的虚拟画面与所述显示装置的实景画面叠加后形成该处理装置所应具备的显示画面。

例如，所述显示装置可以是虚拟仪表盘。参考图2、3，图2、3中左图是佩戴头戴式增强现实显示设备3之前看到的虚拟仪表盘的图像，右图是佩戴了佩戴头戴式增强现实显示设备3之后看到的虚拟仪表盘的图像。虚拟仪表盘可以是空白的仪表盘，如图2，此时的虚拟画面是包括刻度和指针的，叠加显示后即为正常的仪表盘的显示画面。虚拟仪表盘还可以是带刻度的仪表盘，如图3，此时的虚拟画面包括指针但不包括刻度，同样的，叠加显示后同样为正常的仪表盘的显示画面。

另一实施例中，所述驾驶舱模拟框架1的下方还设置有可控制驾驶舱模拟框架1产生晃动的角度控制装置，所述角度控制装置用于与头戴式增强现实显示设备3配合共同模拟飞机飞行过程中的颠簸和晃动场景。所述角度控制装置可以为多个电缸，多个电缸通过伸缩控制所述驾驶舱模拟框架1模拟不同的飞行角度。

本发明的飞行驾驶训练系统的工作过程如下：当使用者开始训练时，使用者走入驾驶室模拟框架1中并坐在模拟座椅2上，使用者戴上头戴式增强现实显示设备3和姿态捕捉设备，拉上幕布覆盖驾驶室模拟框架1。处理装置4传输对应的增强现实图像到头戴式增强现实显示设备3。当姿态捕捉设备反馈的信息表明使用者看向窗外时，处理装置4将控制头戴式增强现实显示设备3显示蓝天、云朵等飞行中经常看到的场景，在起降训练时会显示机场、导航灯、跑道等标志物。当姿态捕捉设备反馈的信息表明使用者看向仪表时，处理装置4将控制头戴式增强现实显示设备3叠加显示对应的读数，当使用者员对模拟操纵面板5或模拟操纵器件6进行操作后，处理装置4根据模拟操纵面板5或模拟操纵器件6反馈的操纵信息同步改变头戴式增强现实显示设备3中的显示图像。

本发明还公开了一种基于增强现实的飞行驾驶训练方法，使用如上所述的系统实现，方法包括：

姿态捕捉设备实时捕捉使用者的姿态信息并反馈至处理装置4，模拟操纵器件6实时反馈使用者触发的操纵信息至所述处理装置4；

所述处理装置4根据所述姿态捕捉设备、模拟操纵器件6实时反馈的信息，将对应的增强现实图像发送到头戴式增强现实显示设备3进行显示。

综上所述，实施本发明的基于增强现实的飞行驾驶训练系统，具有以下有益效果：本发明通过将增强现实技术引入飞行驾驶训练，整个系统包括驾驶舱模拟框架、模拟座椅、模拟操纵面板、模拟操纵器件、头戴式增强现实显示设备、姿态捕捉设备以及处理装置，处理装置根据姿态捕捉设备、模拟操纵面板、模拟操纵器件实时反馈的信息，将对应的增强现实图像发送到头戴式增强现实显示设备进行显示，实现了模拟飞行驾驶训练的效果，成本较低。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于增强现实的飞行驾驶训练系统，其特征在于，包括驾驶舱模拟框架、模拟座椅、模拟操纵面板、模拟操纵器件、用于供使用者穿戴的头戴式增强现实显示设备、用于供使用者穿戴的姿态捕捉设备、处理装置，所述模拟座椅、模拟操纵面板、模拟操纵器件均设置在所述驾驶舱模拟框架内；

其中，所述处理装置与所述姿态捕捉设备、模拟操纵器件、模拟操纵面板、头戴式增强现实显示设备连接，所述姿态捕捉设备用于实时捕捉使用者的姿态信息并反馈至所述处理装置，所述模拟操纵器件、模拟操纵面板用于实时反馈使用者触发的操纵信息至所述处理装置，所述处理装置用于根据所述姿态捕捉设备、模拟操纵器件、模拟操纵面板实时反馈的信息，将对应的增强现实图像发送到头戴式增强现实显示设备进行显示。

2.根据权利要求1所述的基于增强现实的飞行驾驶训练系统，其特征在于，所述驾驶舱模拟框架的下方设置有可控制驾驶舱模拟框架产生晃动的角度控制装置，所述角度控制装置用于与头戴式增强现实显示设备配合共同模拟飞机飞行过程中的颠簸和晃动场景。

3.根据权利要求2所述的基于增强现实的飞行驾驶训练系统，其特征在于，所述角度控制装置包括多个电缸，多个电缸通过伸缩控制所述驾驶舱模拟框架模拟不同的飞行角度。

4.根据权利要求1所述的基于增强现实的飞行驾驶训练系统，其特征在于，所述驾驶舱模拟框架内还设置有显示装置，

处理装置用于在根据姿态捕捉设备反馈的信息确定出使用者的视野中包含显示装置时，控制头戴式增强现实显示设备显示与所述显示装置的实景画面相应的虚拟画面，且所显示的虚拟画面与所述显示装置的实景画面叠加后形成该处理装置所应具备的显示画面。

5.根据权利要求4所述的基于增强现实的飞行驾驶训练系统，其特征在于，所述显示装置包括虚拟仪表盘。

6.根据权利要求1所述的基于增强现实的飞行驾驶训练系统，其特征在于，所述模拟座椅、头戴式增强现实显示设备的数量相同，且均为一个或者多个。

7.根据权利要求6所述的基于增强现实的飞行驾驶训练系统，其特征在于，所述模拟座椅、头戴式增强现实显示设备均为两个，且两个模拟座椅并排可拆卸的安装在模拟操纵面板后方，模拟操纵器件可拆卸的安装在两个模拟座椅之间。

8.根据权利要求1所述的基于增强现实的飞行驾驶训练系统，其特征在于，所述模拟操纵面板可拆卸的安装在所述驾驶舱模拟框架内且安装位置可调，所述模拟操纵面板可配置成与预定型号飞机驾驶舱内操纵面板相同的安装位置。

9.根据权利要求1所述的基于增强现实的飞行驾驶训练系统，其特征在于，所述模拟操纵器件可拆卸的安装在所述驾驶舱模拟框架内且安装位置可调，可配置成与预定型号飞机驾驶舱内模拟操纵器件相同的安装位置。

10.一种基于增强现实的飞行驾驶训练方法，使用如权利要求1-9中任一项所述的系统实现，其特征在于，方法包括：

姿态捕捉设备实时捕捉使用者的姿态信息并反馈至处理装置，模拟操纵器件、模拟操纵面板实时反馈使用者触发的操纵信息至所述处理装置；

所述处理装置根据所述姿态捕捉设备、模拟操纵器件、模拟操纵面板实时反馈的信息，将对应的增强现实图像发送到头戴式增强现实显示设备进行显示。