CN115762293A

CN115762293A - 一种基于虚拟现实定位器定位的航空训练方法和系统

Info

Publication number: CN115762293A
Application number: CN202211671457.6A
Authority: CN
Inventors: 张旭; 蔡向群; 郭树河; 刘学敏
Original assignee: Beijing Dongfang Ruifeng Aviation Technology Co ltd
Current assignee: Beijing Dongfang Ruifeng Aviation Technology Co ltd
Priority date: 2022-12-26
Filing date: 2022-12-26
Publication date: 2023-03-07

Abstract

本发明涉及一种基于虚拟现实的航空训练方法和系统，方法包括：搭建物理训练设备与虚拟现实模拟设备；对二者的空间位置进行匹配；对训练员的手部动作进行捕捉，采集所述手部动作产生的操作数据；将操作数据发送至虚拟现实模拟设备，驱动该设备，使得物理训练设备与虚拟现实模拟设备同步操作。本发明在虚拟现实模拟设备之外再构建与其相同的物理训练设备，利用定位技术确认物理训练设备的位置，并匹配虚拟现实模拟设备的位置；再利用定位技术确认训练员的手部的物理位置，并与虚拟现实模拟设备中的手部进行匹配，从而在训练员的手部触碰相应部件时，虚拟现实模拟设备的虚拟手部也同步进行触摸操作，达到在虚拟世界中加入物理触感的训练的目的。

Description

一种基于虚拟现实定位器定位的航空训练方法和系统

技术领域

本发明属于航空培训领域和飞行仿真领域，具体涉及一种基于虚拟现实定位器定位的航空训练方法。

背景技术

飞行模拟设备是飞行员培训过程中最重要的设备。传统的模拟机经历数十年的发展，技术已经趋近成熟，在保证安全和成本较低的前提下，能够有效的进行飞行员培训。但是传统飞行模拟机仍有如下缺陷：

1.传统飞行模拟设备成本高：由于传统设备需要外置巨大的模拟驾驶舱，而模拟舱造价不菲，因此造成传统飞行模拟设备成本的居高不下。

2.对于飞行学员，或者复训飞行员进行的流程训练，使用高等级FTD （FixedTraining Devices，基座固定式模拟机）或 FFS（Full Flight Simulators，全动模拟器）进行训练过于昂贵，并且没有必要。

3.对于一部分通航飞机，由于模拟机研制、运营成本相比实飞训练成本还要高，导致没有模拟机厂商愿意研制该型号模拟机。

随着计算机图形学和硬件性能的高速发展，依托虚拟现实设备研制的、基于VR的飞行训练设备在飞行训练领域逐渐发挥越来越大的作用。相比于传统飞行模拟机，基于VR的飞行训练设备在价格、运营维护成本、使用灵活性上都有着显著的优势，甚至具有部分传统模拟机难以实现的训练功能。但是，目前基于VR的飞行训练设备又有着如下缺陷：

虽然基于VR的飞行培训设备能够提供逼真的视觉感受，但是在触觉感受上仍然存在不足。飞行训练中驾驶杆与按键的操作是训练必不可少的一环，能否精确熟练的运用这些物理训练设备控制飞机是飞行员是否可以胜任的重要指标。由于基于VR的训练设备的训练缺乏物理触感不能够得到良好的操作感受，因此难以让飞行员形成操作习惯、提高飞行员的操作精度。单纯的VR设备基本只能提供视觉上的模拟，不能提供足够的触感模拟，所以在训练时缺乏真实感，难以满足飞行员训练的使用要求，缺少物理训练设备的触感模拟的训练难以达成良好的训练效果。

发明内容

为克服传统飞行模拟机与单纯虚拟现实训练设备的缺陷，本发明提供了一种基于虚拟现实的航空训练方法和系统。

一种基于虚拟现实的航空训练方法，所述方法包括：

S1：搭建物理训练设备与虚拟现实模拟设备；

S2：对物理训练设备与虚拟现实模拟设备的空间位置进行匹配；

S3：对训练员的手部动作进行捕捉，采集所述手部动作产生的操作数据；

S4：将所述操作数据发送至虚拟现实模拟设备以驱动所述虚拟现实模拟设备，使得物理训练设备与虚拟现实模拟设备同步操作。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述物理训练设备包括驾驶舱及设置在所述驾驶舱内部的控制面板、驾驶杆、开关和按钮，若干所述开关和按钮设置在所述控制面板上，所述驾驶杆与控制面板连接。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在所述驾驶舱的室内至少安装有两个激光传感器，用于获得所述物理训练设备的位置。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述驾驶舱的室内还设置有虚拟现实头盔，所述虚拟现实头盔用于呈现所述虚拟现实模拟设备。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述驾驶舱的室内还设置有手套，所述手套用于捕捉所述训练员的手部动作。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述虚拟现实模拟设备与所述物理训练设备的结构设置完全相同。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述步骤2包括：所述物理训练设备的坐标变换矩阵为：

，其中，

其中，

为所述物理训练设备在激光传感器所形成的坐标系下的所在位置，为已知量；

为偏转、翻滚、俯仰角度，为已知量；

为变换的矩阵在

下的对应矩阵变量。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述步骤2包括：在训练员带上头盔上时，所述虚拟现实模拟设备所在位置为

，为已知量；偏转、翻滚、俯仰角度为

，为已知量，采用矩阵变换，将虚拟现实中设备的位置与物理训练设备进行匹配，进行变换的矩阵为：

，其中

，其中，

为所述变换的矩阵在

下的对应矩阵变量。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述步骤4包括：当训练员的人手操作物理训练设备时产生相应的数据，采集这些数据并发送给虚拟现实模拟设备，驱动所述虚拟现实模拟设备做出相应的状态改变，使得与物理训练设备同步进行。

本发明还提供了一种基于虚拟现实的航空训练系统，用于实现本发明的方法，所述系统包括：

搭建模块：用于搭建物理训练设备与虚拟现实模拟设备；

匹配模块：用于对物理训练设备与虚拟现实模拟设备的空间位置进行匹配；

捕捉模块：用于对训练员的手部动作进行捕捉，采集所述手部动作产生的操作数据；

同步模块：用于将所述操作数据发送至虚拟现实模拟设备以驱动所述虚拟现实模拟设备，使得物理训练设备与虚拟现实模拟设备同步操作。

本发明的有益效果

与现有技术相比，本发明有如下有益效果：

1.成本低，不需要外置昂贵的模拟舱，虽然外部也采用了真实的物理训练设备，但是相比于传统模拟机中的虚像视景、1:1仿真的座舱成本而言，控制面板的成本占模拟机总成本的比率很小，能够有效节约成本。

2.轻量化，降低设备占用空间与设备复杂度；但相比于目前的基于虚拟现实的飞行设备，具有操作感受更逼真的特点，可以更好地满足训练要求。

附图说明

图1为本发明的方法流程图；

图2为本发明的搭建的物理训练设备与虚拟现实模拟设备示意图；

图3为本发明的物理训练设备与虚拟现实模拟设备坐标转换示意图。

具体实施方式

为了更好的理解本发明的技术方案，本发明内容包括但不限于下文中的具体实施方式，相似的技术和方法都应该视为本发明保护的范畴之内。为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

如图1所示，本发明的一种基于虚拟现实的航空训练方法，所述方法包括：

S1：搭建物理训练设备与虚拟现实模拟设备；

本发明在虚拟现实训练设备之外再构建一套与虚拟现实模拟设备内一样的物理训练设备，其中的操作台包括所有飞行训练所需的驾驶杆与按键。利用定位技术确认物理训练设备的操作台位置，之后将虚拟现实模拟设备中的操作台与物理训练设备的操作台的位置进行匹配。再利用定位技术确认物理训练设备的训练员的手部的物理位置，并使虚拟现实模拟设备中的手与物理训练设备的手部也进行匹配。这样在物理训练设备的手部触碰到物理训练设备的操作台时，虚拟现实模拟设备的手部也能够在虚拟现实中触摸到虚拟操作台，从而完成了在虚拟世界中加入物理触感的训练的目的。

本发明的具体过程如下：

步骤1：搭建物理训练设备与虚拟现实模拟设备。

根据被仿真飞机对象，建立驾驶舱物理训练设备，以及与其一致的虚拟现实模拟设备。其中物理训练设备包括：驾驶舱及设置在驾驶舱内的控制面板、驾驶杆、若干开关及按钮，其中，开关及按钮均设置在控制面板上，所述驾驶杆与控制面板连接；虚拟现实设备包括：驾驶舱、座舱内控制面板、驾驶杆。

物理训练设备可以采用传统飞行模拟机的座舱搭建方法，对驾驶舱开关、按钮等功能进行实现；虚拟现实模拟设备在外形、位置布局和控制功能几个方面，均与物理训练设备完全一致，搭建后效果如附图2所示。

步骤2：对物理训练设备与虚拟现实模拟设备的空间位置进行匹配。

在驾驶舱的室内对角安装两个激光传感器，如室内的左前上和右后下、左后下和右前上等组合方式实现对象安装，利用激光定位技术，上述两个激光传感器可获得物理训练设备的位置。在物理训练设备（尤其是控制面板与驾驶杆）上安装多个光敏传感器，并调整虚拟现实模拟设备的虚拟训练设备（控制面板与驾驶杆）放置于虚拟现实中的对应位置上，即虚拟现实模拟设备与眼睛视点的相对位置与物理训练设备与眼睛视点的相对位置相同。训练员佩戴虚拟现实头盔，虚拟现实头盔中同样安装多个光敏传感器，激光传感器通过光敏传感器获知虚拟现实头盔的位置，将虚拟现实模拟设备中的训练设备呈现给训练员。这样，当训练员在虚拟世界中操作虚拟训练设备时，同时也能够在现实世界中操作物理训练设备。例如：当训练员想要操作某一开关时，按照虚拟现实模拟设备的影像将手伸向这一开关并进行操作时，训练员在现实世界中即物理训练设备中也能在同一位置触摸到并可操作这一开关的物理实体。由于物理训练设备位置与虚拟现实模拟设备的训练设备的初始位置往往不能完成空间上的匹配，因此需要对虚拟现实模拟设备的位置进行设置，在设置位置的过程中需要用到坐标变换。如附图3所示，设现实中物理训练设备在激光传感器所形成的坐标系（世界坐标系）下所在位置为

，为已知量；偏转、翻滚、俯仰角度为

，为已知量，

为变换的矩阵在

下的对应矩阵变量，则物理训练设备的坐标变换矩阵为：

，其中

。

而当训练员带上虚拟头盔上时，虚拟现实模拟设备所在位置为

，为已知量；偏转、翻滚、俯仰角度为

，为已知量。此时还需要经过矩阵变换，将虚拟现实模拟设备的位置与物理训练设备进行匹配，此时进行变换的矩阵为：

其中

其中，

为所述变换的矩阵在

下的对应矩阵变量。

当训练员转动头部或移动头部位置时，激光传感器将实时获取到新的位置，并进行坐标变换，确保虚拟现实模拟设备与头盔的相对位置与物理训练设备与头盔的相对位置相同。

步骤3：对训练员的手部动作进行捕捉，通过其佩戴的手套上的光敏传感器来采集动作产生的操作数据。其中手部动作包括但不限于：操作驾驶舱内的控制面板、驾驶杆、开关和按钮等。

人的每只手由21个关键点组成，在数据手套的相对位置上装备21个光敏传感器。根据这21个关键点的位置便可以判断人手处于何种位置与状态，在虚拟现实模拟设备中将虚拟的人手位置与真实的手部位置相匹配，使虚拟的人手相对于头盔与真实的人手相对于头盔处于同一位置上。这样当真实的人手进行移动或做出某一手势时，虚拟的人手在训练员的头盔视野中，也将出现在同一位置并或做出相同手势。

步骤4：采集手部对物理训练设备内的部件的操作数据并将所述操作数据发送至驱动虚拟现实模拟设备，使得物理训练设备与虚拟现实模拟设备同步。

当人手操作物理训练设备内的部件——例如开关按键被打开或关闭、驾驶杆被转动等，均应产生相应的数据或数值变化，对这些数据进行采集，并通过UDP数据包发送给虚拟现实模拟设备中，在虚拟现实模拟设备收到上述操作数据时，根据数据驱动虚拟现实模拟设备中对应开关状态做出相应的状态改变，以便与物理训练设备的控制面板、驾驶杆状态同步，从而为训练人员提供真实的操作状态反馈。

例如：当物理训练设备驾驶杆处于默认位置时驾驶杆相关数据为0，当训练员向右搬动驾驶杆一个角度时，物理训练设备数据将发生改变，数据由0变为相应数值。物理驾驶杆数据经由 UDP 协议将数据返回给虚拟现实模拟设备，虚拟现实模拟设备接收到数据后其虚拟现实系统将根据接收的该数据重新绘制虚拟现实系统中驾驶杆的位置（从0度变为相应数值），从而完成物理训练设备与虚拟现实模拟设备的同步。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求书的保护范围内。