CN111195433B - 训练器和测试环境中具有虚拟化的虚拟现实 - Google Patents

训练器和测试环境中具有虚拟化的虚拟现实 Download PDF

Info

Publication number
CN111195433B
CN111195433B CN201910987554.8A CN201910987554A CN111195433B CN 111195433 B CN111195433 B CN 111195433B CN 201910987554 A CN201910987554 A CN 201910987554A CN 111195433 B CN111195433 B CN 111195433B
Authority
CN
China
Prior art keywords
environment
immersive
virtual
fmc
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910987554.8A
Other languages
English (en)
Other versions
CN111195433A (zh
Inventor
J·N·霍特拉
L·J·凯尔
A·R·亨特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN111195433A publication Critical patent/CN111195433A/zh
Application granted granted Critical
Publication of CN111195433B publication Critical patent/CN111195433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302—Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/28—Simulation of stick forces or the like
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017—Driving on land or water; Flying
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及训练器和测试环境中具有虚拟化的虚拟现实，并公开了用于虚拟现实(VR)飞行器测试和训练环境的系统和方法，该系统和方法通过使用将沉浸式VR环境引擎与虚拟飞行管理计算机(FMC)耦接的通信信道，同时利用高质量的沉浸式环境引擎和在虚拟FMC上运行的操作飞行程序(OFP)。飞行模拟器、测试环境核心组件以及导航模拟、数据链路模拟、空中交通控制模拟和飞行可视化模块中的任何一项的现有投资都可以有利地用于提供高质量，逼真的测试和训练能力。

Description

训练器和测试环境中具有虚拟化的虚拟现实
背景技术
随着这些年来计算机处理能力不断增强，使用低成本组件创建引人注目的增强现实(AR)、混合现实(MR)和虚拟现实(VR)平台已成为可能。例如，AR、MR和VR平台(统称为VR)可以经常使用为图形和用户控件提供应用编程接口(API)的游戏引擎。然而，这些游戏引擎在与环境中的对象进行交互方面保真度有限。
VR游戏引擎的保真度有限的示例是，虚拟环境中的控制面板通常显示为多边形，该多边形具有位映射到该多边形的纹理，使得它类似于物理控制面板，但不能在全部可能输入范围内提供逼真的交互体验。在一些情况下，纹理位图是静态的，或模拟的控制面板仅具有有限的功能。因此，需要在训练器和测试环境中具有虚拟化的更逼真的虚拟现实。
发明内容
下面参考下面列出的附图详细描述所公开的示例。提供以下发明内容以说明本文公开的一些示例。然而，这并不意味着将所有示例限制为任何特定的配置或操作顺序。
本文公开的一些方面和示例针对虚拟现实(VR)飞行器测试和训练环境，其通过使用将沉浸式VR环境引擎与虚拟FMC耦接的通信信道，同时利用高质量的沉浸式环境引擎(可能是VR游戏引擎)和在虚拟机上实现的虚拟飞行管理计算机(FMC)上运行的操作飞行程序(OFP)。飞行模拟器、测试环境组件以及导航模拟、数据链路模拟、空中交通控制模拟和飞行可视化模块中的任何一项的现有投资都可以有利地用于提供高质量，逼真的测试和训练能力。
本文公开的一些方面和示例针对VR环境平台，其具有：沉浸式VR环境引擎，该沉浸式VR环境引擎具有飞行器控制和显示单元并提供飞行器的沉浸式VR环境；在运行OFP的虚拟机上实现的虚拟FMC；以及将沉浸式VR环境引擎与虚拟FMC耦接的通信信道，该通信信道仿真FMC通信协议以准许沉浸式VR环境引擎运行虚拟FMC。
附图说明
下面参考下面列出的附图详细描述公开的示例：
图1是示出根据本公开的方面的用于提供测试环境的虚拟现实(VR)环境平台的框图。
图2是示出根据本公开的方面的用于提供训练环境的VR环境平台的框图。
图3是根据本公开的方面的在虚拟机上实现的虚拟飞行管理计算机(FMC)的图示。
图4是示出根据本公开的方面的虚拟化系统的框图。
图5是示出根据本公开的方面的在训练器和测试环境中向虚拟现实提供虚拟化的过程的流程图。
图6A是根据本公开的方面的服务器合并的图示。
图6B是根据本公开的方面的虚拟化的图示。
图7是根据本公开的方面可以被虚拟化的飞行器驾驶舱的图示。
在整个附图中，对应的附图标记表示对应的部分。
具体实施方式
将参考附图详细描述各种实施例。在所有附图中，将尽可能使用相同的附图标记来表示相同或相似的部分。贯穿本公开而做出的与特定示例和实施方式有关的参考仅出于说明性目的而提供，而不意味着限制所有示例，除非有相反的指示。
与游戏引擎相比，功能齐全的飞行模拟器具有高保真的硬件模型，诸如与多用途计算机显示单元(MCDU)(也称为多用途控制和显示单元)进行通信的飞行管理计算机(FMC)。为了达到期望的逼真水平，通常使用复杂的模型来模拟MCDU和FMC，或通过使用实际的飞行硬件或代理飞行硬件来实现MCDU和FMC。然而，这些选项的生产成本昂贵，并且依赖于开发人员的技能。同时，现有的低级训练设备是基于模型的，有时会补充模仿驾驶舱、驾驶舱、地面站等的物理结构。当存在时，这些物理模仿设备与训练的实际设备的布局接近，但在大多数其他情况下可能与实际布局不匹配。此外，子系统模型的保真度不如虚拟机(VM)。通常通过查看子系统的输入/输出并创建软件以从输入/输出的角度摹拟该子系统的行为来创建模型。
VM也生成输入/输出行为，因此可能看起来类似，尽管对于VM，该行为是由实际的未修改或最小修改的飞行软件二进制可执行文件(executable)(诸如，操作飞行程序(OFP))驱动的。例如，FMC OFP可以在VM上运行。与更简单的模型相比，运行FMC的OFP(本文也称为“虚拟FMC”)的VM可以在训练环境中提供更高的保真度，并且还可以使人相信在训练器中观察到的行为与训练器代表的物理设备相同。然后，有可能通过使用低成本的，有吸引力的，沉浸式的，高保真度的训练平台来减少对昂贵的全运动训练器的需求(通常花费超过1000万美元)。
因此，本公开的示例提供了虚拟现实(VR)飞行器测试和训练环境，其通过使用将沉浸式VR环境引擎与虚拟FMC耦接的通信信道，同时利用高质量的沉浸式环境引擎(可能是VR游戏引擎)和在虚拟FMC上运行的OFP。飞行模拟器、测试环境组件以及导航模拟、数据链路模拟、空中交通控制模拟和飞行可视化模块中的任何一项的现有投资都可以有利地用于提供高质量，逼真的测试和训练能力。
利用计算机处理能力的最新改善以及VR和虚拟化技术的进步来创建新型的训练环境。前端VR世界为用户提供沉浸式的逼真的视觉体验，而VR与实时计算机图形的组合使用户能够以与真实设备相同的方式感知虚拟世界并与之交互。VR世界与由模型和VM组成的高保真后端的集成提供了几乎等同于物理硬件的动态行为。VM允许在训练设备中使用实际未修改或最少修改的飞行软件二进制文件和数据库，从而使人相信在训练器中观察到的内容与实际的飞行器相同。另外，通过尽早创建人机回圈(human-in-the-loop)测试，测试环境是可行的。由于驾驶舱是在VR世界中创建的，因此可以相对便宜地对驾驶舱进行原型制作和修改，并最终用作物理驾驶舱的设计输入。通常，在为物理系统开发需求时，可以相对快速地创建和测试模型和虚拟机。
各种示例解决了与不同FMC/MCDU使用不同协议进行通信(例如ARINC429、MIL-STD-1553、以太网)有关的一个或多个问题。并且，可以根据远程终端(RT)和飞行器类型对消息进行不同的打包。本文公开的一个或多个示例使用允许以统一方式打包/解压消息的通信信道。结果，通信信道可以被并入在不同的处理引擎中，例如游戏引擎，诸如虚幻引擎4。这样，对于本公开的一个或多个示例，编码执行一次，并且可以以更少的改变和更高的一致性在不同的FMC上使用。这减少了错误/调试时间和费用。现在将描述各种实施例的示例。
应当理解，尽管本文描述的各种示例涉及飞行器环境，但是本公开可以在其他环境中实现。例如，本文描述的示例可以结合需要训练的任何复杂系统来实现，诸如航天器、汽车、船、医疗设备等。因此，本文描述的各种组件可在许多其他系统中操作。
图1是示出根据本公开的方面的用于提供测试环境的示例性VR环境平台100的框图。VR环境平台100包括沉浸式VR环境引擎102，该沉浸式VR环境引擎102包括飞行器控制和显示单元并提供飞行器驾驶舱的沉浸式VR环境。例如，沉浸式VR环境引擎102包括MCDU104、模式控制面板(MCP)106、显示系统(DS)108，诸如可从爱荷华州锡达拉皮兹市的Rockwell Collins公司(Rockwell Collins of Cedar Rapids,Iowa)获得的显示系统(MDS)、无线电调谐面板(RTP)110、顶部面板112和电子飞行仪表系统(EFIS)114。MCDU104提供导航计划，并且可以显示电子指南针和飞行信息。MCP 106为飞行机组人员显示诸如空速和警告的信息。DS 108显示诸如主飞行显示(PFD)、导航显示(ND)和系统状态的信息。顶部面板112提供交互点，诸如开关。在VR环境中，顶部面板112可以通过虚拟交互点接收飞行器驾驶舱控制输入。EFIS 114是驾驶舱仪表显示系统(的虚拟版本)，其以电子方式而不是机电方式显示飞行数据。在一些示例中，EFIS 114被并入到DS 108中。
虚拟化系统170包括一个或多个计算机存储设备，该计算机存储设备具有存储在其上的用于操作VR环境平台100的计算机可执行指令，该指令在由计算机执行时使计算机执行包括操作沉浸式VR环境引擎102的操作。耦接到虚拟化系统170并被示出为控制杆的物理交互点172模拟飞行器控制并向VR环境平台100的用户180提供物理反馈。应当理解，可以提供其他物理交互点，例如，也模拟飞行器控制并向用户180提供物理反馈的方向舵踏板。同样示出为耦接到虚拟化系统170的是用户180佩戴的头戴式显示器(HMD)182，用于向用户180显示(如由VR环境平台100生成的)沉浸式VR环境的视图。
如图1所示，在VR环境平台100中，测试环境核心组件130与飞行模拟器组件150、沉浸式VR环境引擎102和虚拟FMC 160通过接口连接。测试环境核心组件130进一步与导航模拟132、数据链路模拟134、空中交通控制模拟136和飞行可视化138通过接口连接，以便为飞行器飞行模拟器组件150的操作提供额外的逼真。在其他示例中，根据期望的保真度水平的需要，具有更多或更少组件的其他布置也是可能的。在操作中，测试环境核心组件130可以用于例如插入模拟故障并监测子系统操作。测试环境核心组件130能够通过飞行模拟器组件150、虚拟FMC 160、导航模拟132、数据链路模拟134、空中交通控制模拟136和飞行可视化138中的每个之间的信令通过测试环境核心组件130来完成这些任务。还示出为与测试环境核心组件130通过接口连接的是文件服务器140，用于存储VR环境平台100的操作所使用和生成的数据。
在一些示例中，飞行模拟器组件150是在高端飞行模拟器中使用的相同的二进制可执行文件。这样，飞行模拟器组件150可以基于系统的配置而互换。例如，飞行模拟器组件150可以被配置成根据期望的保真度水平而在有或没有运动基座(未示出)的情况下进行操作。在VR环境平台100中，飞行模拟器组件150通过测试环境核心组件130与虚拟FMC 160通过接口连接，使得测试环境核心组件130可以监测数据流量并注入模拟故障。虚拟FMC 160运行OFP，在某些示例中，该OFP是在操作飞行器上的硬件FMC中使用的同一二进制可执行文件的副本。上述布置提供了典型的游戏引擎以其它方式无法达到的逼真水平。如在本文描述的，在各种示例中，通信信道的使用还允许游戏引擎比传统上仅由游戏引擎可实现的更容易地与OFP交互。通信信道122通过测试环境核心组件130将沉浸式VR环境引擎102与虚拟FMC 160耦接。也就是说，数据流量通过测试环境核心组件130被路由，这允许例如测试脚本和手动交互出于测试目的而超控(override)名义系统行为。通信信道122仿真FMC通信协议，以准许沉浸式VR环境引擎102使用飞行器的实际打包输入/输出(I/O)与虚拟FMC 160交互。在各种示例中，通信信道122(具有仿真的FMC协议)也在数据链路模拟134与测试环境核心组件130之间以及空中交通控制模拟136与测试环境核心组件130之间。图1中所示的其余连接不使用FMC通信协议，而是互连支持主要飞行器模拟和VM的组件。在一些示例中，使用数据通信技术中已知的协议缓冲区来实现通信信道122。然而，可以使用任何合适类型的通信信道。
通信信道122支持对飞行器航空电子盒的任何类型的打包的输入/输出(I/O)，诸如ARINC 429、ARINC 664、CAN总线、RS-485、MIL-STD-1553、MIL-STD-6016、ACARS、ATN、以太网等。如果链路是虚拟的，例如具有封装在数据包中的飞行器I/O的套接字和UDP数据包，则使用进程间通信的形式在通信信道122上传输I/O。作为另一个示例，通过在PC中安装ARINC429I/O卡，在物理I/O链路上传输打包的I/O。I/O未存储在文件中，而是在系统之间共享的动态信息，就像在真实飞行器中一样。
图2是示出根据本公开的方面的用于提供训练环境的示例性VR环境平台200的框图。尽管VR环境平台100用于测试，而VR环境平台200用于训练，诸如训练飞行机组人员，但VR环境平台200与图1的VR环境平台100共享一些组件。在VR环境平台200中，沉浸式VR环境引擎102直接与飞行模拟器组件150和虚拟FMC 160通过接口连接。因此，通信信道220将沉浸式VR环境引擎102与虚拟FMC 160耦接。通信信道220仿真FMC通信协议以准许沉浸式VR环境引擎102与虚拟FMC 160交互。在图2的一些配置中，飞行器飞行模拟器150位于并连接到类似于图1的其他组件。
另外，飞行模拟器组件150和虚拟FMC 160在没有测试环境核心组件130作为中介的情况下耦接，尽管在一些示例中，可以使用与测试环境核心组件130相似的组件。飞行模拟器组件150与沉浸式VR环境引擎102和虚拟FMC 160二者通过接口连接。文件服务器140被示为耦接到虚拟FMC 160，尽管在一些示例中，文件服务器140可以耦接到飞行模拟器组件150。此外，由于VR环境平台200用于训练，所以教练员控制台组件230与飞行模拟器组件150通过接口连接。教练员控制台组件230准许教练员监测并可能参与使用VR环境平台200进行的训练活动。
VR环境平台200可以用作飞行管理系统(FMS)训练器。在一些示例中，基于二维(2D)平板计算机的应用有助于在飞行的各个阶段之前和期间学习和练习MCDU 104、MCP106和其他显示器(例如，DS 108)的操作。学生可以学习和练习FMS数据输入(飞行计划等)，以及自动飞行和飞行路径管理，作为教练员指导课程的一部分，或用于独立的自学训练。
VR环境平台200可以用作交互式的，完全模拟的虚拟飞行器驾驶舱。学生将能够在完全沉浸式的逼真的虚拟环境中学习和练习规程，作为教练员指导课程的一部分或用于独立的自学训练。如VR环境平台200中所描述的具有高保真度组件的3D交互式VR应用具有极大地降低训练成本以及通过沉浸式体验来改善学习结果的潜力。它还可以实现自学和远程学习，从而减少甚至有可能消除前往现场训练地点的需求。
图3是示例性虚拟FMC 160的图示，其可以作为虚拟机(VM)在虚拟化系统170上执行，虚拟化系统170在图4中更详细地示出。如图所示，虚拟FMC 160包括处理器302，该处理器可以是PowerPC处理器、ARINC总线304(例如ARINC 429或ARINC 664)、通用异步收发器(UART)306、以太网模块308和OFP 310。DITS 304是主要的航空电子数据总线，用于许多高端商用和运输飞行器。其定义了两线数据总线的物理和电气接口以及支持飞行器的航空电子局域网的数据协议。UART 306是用于异步串行通信的设备，在该通信中数据格式和传输速度是可配置的。
OFP 310是在航空电子设备(即硬件FMC)上运行的嵌入式软件。如本文所述，测试环境可用于开发并且训练器用于训练以操作的物理平台模拟如图7所示的飞行器驾驶舱700。即，各种示例模拟对应于飞行器驾驶舱700的物理系统。
OFP 310包含执行FMC的操作所需的功能的软件逻辑。在硬件FMC的示例中，OFP310执行路由计划、计算、逻辑、输入/输出等。OFP 310通常在操作系统软件(例如，嵌入式实时操作系统)和功能组件之上执行。OFP 310可以专门针对航空电子设备、飞行器和飞行器类型的硬件进行定制。硬件FMC OFP使用诸如ARINC 429的航空电子总线与其他飞行器系统通信，其他飞行器系统的示例包括MCDU 104、MCP 106、DS 108、顶部面板112和EFIS 114。应当理解，协议缓冲区不通常用于在实际飞行器上进行通信。标准以太网(其中协议缓冲区为其设计)缺乏飞行器系统操作所需的保证消息传递。
图4是示出示例性虚拟化系统170的附加细节的框图。虚拟化系统170可以是由可以仿真其他设备的硬件和软件组成的计算系统。在实施方式中，虚拟化系统170可以是一个或多个通用计算机，诸如服务器或台式计算机，其托管仿真物理硬件系统(诸如，硬件FMC)以及它们的硬件和软件接口(例如，外设、数据链路、中断行为和定时要求)的一个或多个VM。另外，诸如虚拟FMC 160的VM执行由对应的物理硬件系统(例如，OFP 310)执行的应用软件的精确或基本精确的副本(例如，图像)。在实施方式中，虚拟化系统170可以包括例如管理程序或虚拟机监测器软件。例如，虚拟化系统170可以使用快速仿真器(“QEMU”)，其是执行硬件虚拟化的开源软件应用。因此，虚拟FMC 160可以是虚拟化系统170内的物理硬件FMC的仿真。
虚拟化系统170包括计算设备403、输入/输出(I/O)设备413和存储设备415。I/O设备413可以包括使个人能够与计算设备403(例如用户界面)进行交互的任何设备和/或使计算设备403能够使用任何类型的通信链路与一个或多个其他计算设备进行通信的任何设备。I/O设备413可以是例如触摸屏显示器、指针设备、键盘等。
存储设备415可以包括存储信息和程序指令的计算机可读的非易失性硬件存储设备。例如，存储设备415可以是一个或多个闪存驱动器和/或硬盘驱动器。根据本公开的方面，存储设备415可以存储硬件系统程序代码417、一个或多个存储器映射419、中断逻辑421和设备库423。程序代码417可以是物理硬件系统(例如，物理FMC)的应用软件。在实施方式中，程序代码417实质上反映了物理硬件系统。存储器映射419从存储器接口的角度描述了物理硬件系统的组件之间的连接。例如，存储器映射419可以将用于物理硬件系统的硬件组件的存储器寄存器的信息的位置表示为从起始存储器地址的偏移。中断逻辑421可以是描述物理硬件系统的中断功能的信息，如下所述。设备库423可以是描述一个或多个物理硬件系统的仿真的计算机可读信息和指令的存储库，这些信息和指令可以预先创建并存储以供将来使用。
在一些示例中，计算设备403包括一个或多个处理器439(例如，微处理器、微芯片或专用集成电路)、一个或多个存储器设备441(例如，RAM、只读存储器(ROM))、一个或多个I/O接口443和一个或多个网络接口设备445。存储器设备441可以包括在执行程序指令期间采用的本地存储器(例如，随机存取存储器和高速缓冲存储器)。另外，计算设备403包括至少一个通信信道444(例如，数据总线)，通过该通信信道，计算设备403与I/O设备413和存储设备415进行通信。处理器439执行计算机程序指令(例如，操作系统和/或应用)，计算机程序指令可以存储在存储器设备441和/或存储设备415中。
处理器439还可以执行虚拟化应用451(例如，QEMU)以及测试和/或评估软件455的计算机程序指令。虚拟化应用451可以与先前描述的相同或相似。例如，虚拟化应用451可以包括管理程序或VM监测器软件。根据本公开的各方面，虚拟化应用451可以使用程序代码417、存储器映射419、中断逻辑421和/或设备库423来提供VM(例如，虚拟FMC 160)。
训练、测试和/或评估软件455可以是包括被配置成训练、测试、评估和/或验证软件的计算机可读指令和信息的应用或程序。例如，训练、测试和/或评估软件455可以执行测试例程，该例程验证硬件设备的程序代码响应于预定场景而表现出预期的行为。另外，训练、测试和评估软件455可以执行测试恶意软件的攻击向量的网络安全例程。例如，训练、测试和/或评估软件455可以在指令执行时记录虚拟机的完整状态(寄存器、存储器、硬件状态等)，以允许观察和分析受损系统。训练、测试和/或评估软件455可以用于为VR环境平台200的用户(例如，飞行机组人员或维护训练器)提供训练器。
注意，计算设备403代表可以执行本文描述的过程的各种可能的等效计算设备。就此而言，在实施例中，计算设备403提供的功能可以是通用和/或专用硬件和/或计算机程序指令的任何组合。在所公开的实施例中，可以分别使用标准编程和工程技术来创建程序指令和硬件。
图5是示出在训练器和测试环境中向沉浸式VR环境提供虚拟化的示例性过程的流程图500。操作502包括开启包括飞行器控制和显示单元(例如，MCDU 104、MCP 106、DS 108、顶部面板112和电子飞行仪表系统(EFIS)114)的沉浸式VR环境引擎102，并且操作504包括提供飞行器的沉浸式VR环境。在一些示例中，系统的启动规程包括在测试环境核心GUI上开启启动(例如，用户点击“启动”)。然而，可以使用VR环境技术中的其他启动规程。
操作506包括操作与沉浸式VR环境引擎102和虚拟FMC 160通过接口连接的飞行模拟器组件150(配置有XML和JSON文件)。操作508包括操作运行OFP 310的虚拟FMC 160。在操作510中，OFP 310在虚拟化系统170上的虚拟FMC 160内运行。在各种示例中，VM的配置类似于物理飞行器硬件操作。例如，飞行软件OFP配置有操作程序配置(OPC)数据库和航空公司可修改信息(AMI)，它们在一些配置中是基于XML的。应当注意，在各个示例中，通信信道在设计期间被定义并且被实现为编译代码。
操作512包括使用通信信道(例如，通信信道122和220中的一个或多个)将沉浸式VR环境引擎102与虚拟FMC 160耦接。操作514包括通信信道(例如，通信信道122和220中的一个或多个)仿真FMC通信协议，以准许在操作516中沉浸式VR环境引擎102与虚拟FMC 160并行运行并与之通信。操作518包括显示沉浸式VR环境的视图。显示可以是2D或3D的，并且可以在任何合适的显示设备上，诸如屏幕或HMD，诸如HMD 182。操作520包括通过虚拟交互点(例如，MCDU 104、MCP 106、DS 108、RTP 110、顶部面板112和EFIS 114，它们是沉浸式VR环境发动机102内的模拟)接收对沉浸式VR环境的飞行器座舱控制输入。操作522包括通过模拟飞行器控制的物理交互点(例如，物理交互点172)向VR环境平台的用户提供物理反馈。例如，控制杆和方向舵踏板的物理表现可以提供机械阻力或在飞行模拟活动的控制下移动。
决策524指示两个选项：测试环境(诸如图1的VR环境平台100)或训练环境(诸如图2的VR环境平台200)。如果是训练环境，则操作526包括操作与飞行模拟器组件150通过接口连接的教练员控制台组件230。如果是测试环境，则操作528包括操作与飞行模拟器组件150、沉浸式VR环境引擎102以及虚拟FMC 160通过接口连接的测试环境核心组件130。在操作530中，导航模拟132、数据链路模拟134、空中交通控制模拟136和飞行可视化138中的至少一个与测试环境核心组件130通过接口连接。
图6A是根据本公开的方面的服务器合并的图示。在图6A中，服务器602、604和606中的每个在单个主机服务器610上分别作为VM 612、614和616中的一个进行操作。尽管示出了三个服务器(602、604和606)，但是应当理解，可以将不同数量的服务器组合为主机服务器上的VM。管理程序620将VM 612、614和616的执行管理为客户机(guest machine)。以这种方式的操作准许图1的VR环境平台100和图2的VR环境平台200的各种组件在单个机器(例如，单个主机服务器610)上操作。
图6B是根据本公开的方面的虚拟化的另一个图示。在图6B中，线路可更换单元(LRU)652、654和656表示专用的硬件单元，诸如可以在飞行器上使用的硬件单元。使用单个主机服务器660上的VM 662、664和666中的一个分别模拟LRU 652、654和656中的每个。尽管示出了三个LRU(652、654和656)，但是应该理解可以将不同数量的LRU组合为主机服务器上的VM。虚拟I/O组件670管理作为客户机的VM 662、664和666中的每个之间的消息传递和数据流。以这种方式的操作准许将飞行器的各个组件虚拟化，以与图1的VR环境平台100和图2的VR环境平台200一起使用。
本文提供的示例性系统是VR环境平台。该VR环境平台包括：沉浸式VR环境引擎，其包括飞行器控制和显示单元，并提供飞行器的沉浸式VR环境；运行OFP的虚拟FMC；以及将沉浸式VR环境引擎与虚拟FMC耦接的通信信道，该通信信道仿真FMC通信协议以准许沉浸式VR环境引擎运行虚拟FMC。
本文提供的示例性方法是操作沉浸式VR环境的方法。该方法包括：操作沉浸式VR环境引擎，该沉浸式VR环境引擎包括飞行器控制和显示单元并提供飞行器的沉浸式VR环境；操作运行OFP的虚拟FMC；以及通过通信信道将沉浸式VR环境引擎与虚拟FMC耦接，该通信信道仿真FMC通信协议，以准许沉浸式VR环境引擎运行虚拟FMC。
本文提供的示例性系统包括一个或多个计算机存储设备，其上存储有用于操作沉浸式VR环境平台的计算机可执行指令，该指令在由计算机执行时使计算机执行包括以下的操作：操作沉浸式VR环境引擎，该沉浸式VR环境引擎包括飞行器控制和显示单元并提供飞行器的沉浸式VR环境；在HMD上显示沉浸式VR环境的视图；通过虚拟交互点接收用于沉浸式VR环境的飞行器驾驶舱控制输入；操作运行操作飞行程序(OFP)的虚拟飞行管理计算机(FMC)；通过模拟飞行器控制的物理交互点向VR环境平台的用户提供物理反馈(或接收物理输入)；操作与沉浸式VR环境引擎和虚拟FMC通过接口连接的飞行模拟器组件，并通过协议缓冲区将沉浸式VR环境引擎与虚拟FMC耦接，通信信道仿真FMC通信协议以准许沉浸式VR环境引擎运行虚拟FMC。
作为本文描述的其他示例的替代或附加，前述示例性系统和方法包括以下的任何组合：用于显示沉浸式VR环境的视图的HMD；在HMD上显示沉浸式VR环境的视图；为沉浸式VR环境提供飞行器驾驶舱控制输入的虚拟交互点；通过虚拟交互点接收用于沉浸式VR环境的飞行器驾驶舱控制输入；模拟飞行器控制并向VR环境平台的用户提供物理反馈的物理交互点；通过模拟飞行器控制的物理交互点向VR环境平台的用户提供物理反馈(或接收物理输入)；与沉浸式VR环境引擎和虚拟FMC通过接口连接的飞行模拟器组件；操作与沉浸式VR环境引擎和虚拟FMC通过接口连接的飞行模拟器组件；与飞行模拟器组件通过接口连接的教练员控制台组件；操作与飞行模拟器组件通过接口连接的教练员控制台组件；与飞行模拟器组件、沉浸式VR环境引擎和虚拟FMC通过接口连接的测试环境核心组件；操作与飞行模拟器组件、沉浸式VR环境引擎和虚拟FMC通过接口连接的测试环境核心组件；与测试环境核心组件通过接口连接，并选自由以下组成的列表的至少一个组件：导航模拟、数据链路模拟、空中交通控制模拟和飞行可视化；以及将选自由以下组成的列表的至少一个组件与测试环境核心组件通过接口连接：导航模拟、数据链路模拟、空中交通控制模拟和飞行可视化。
本文中图示和描述的示例以及本文中未具体描述但在本公开的方面的范围内的示例构成用于提供VR环境的示例性装置。本文中图示和描述的本公开的示例中的操作的执行或进行顺序不是必需的，并且可以在各种示例中以不同的顺序方式来进行。例如，预期在另一操作之前、与之同时或之后执行或进行特定操作在本公开的方面的范围内。
以下段落描述了本公开的进一步的方面：
条款1.一种虚拟现实(VR)环境平台，其包括：
沉浸式VR环境引擎(102)，其包括飞行器控制和显示单元(104、106、108、112、114)，并提供飞行器的沉浸式VR环境；
虚拟飞行管理计算机(FMC)(160)，其运行操作飞行程序(OFP)(310)；以及
通信信道(122)，其将沉浸式VR环境引擎与虚拟FMC耦接，该通信信道仿真FMC通信协议以准许沉浸式VR环境引擎运行虚拟FMC。
条款2.根据条款1所述的VR环境平台，还包括：
头戴式显示器(HMD)(182)，其用于显示沉浸式VR环境的视图。
条款3.根据条款1至2中任一项所述的VR环境平台，还包括：
虚拟互动点(104、106、108、110、112、114)，其提供用于沉浸式VR环境的飞行器驾驶舱控制输入。
条款4.根据条款1至3中任一项所述的VR环境平台，还包括：
物理交互点(172)，其模拟飞行器控制并向VR环境平台的用户(180)提供物理反馈，或从用户接收物理输入。
条款5.根据条款1至4中任一项所述的VR环境平台，还包括：
飞行模拟器组件(150)，其与沉浸式VR环境引擎和虚拟FMC通过接口连接。
条款6.根据条款5所述的VR环境平台，还包括：
教练员控制台组件(230)，其与飞行模拟器组件通过接口连接的。
条款7.根据条款5至6中任一项所述的VR环境平台，还包括：
测试环境核心组件(130)，其与飞行模拟器组件、沉浸式VR环境引擎和虚拟FMC通过接口连接。
条款8.根据条款7所述的VR环境平台，还包括：
至少一个组件，其与测试环境核心组件通过接口连接，并选自至少包括以下项的列表：
导航模拟(132)、数据链路模拟(134)、空中交通控制模拟(136)和飞行可视化(138)。
条款9.一个或多个计算机存储设备，其上存储有用于操作沉浸式虚拟现实(VR)环境平台的计算机可执行指令，该指令在由计算机执行时使计算机执行包括以下的操作：
操作沉浸式VR环境引擎(150)，该沉浸式VR环境引擎(150)包括飞行器控制和显示单元(104、106、108、112、114)并提供飞行器的沉浸式VR环境(502)；
在头戴式显示器(HMD)(182)上显示沉浸式VR环境的视图(518)；
通过虚拟交互点(104、106、108、110、112、114)接收用于沉浸式VR环境的飞行器驾驶舱控制输入(520)；
操作运行操作飞行程序(OFP)(310)的虚拟飞行管理计算机(FMC)(160)(508)；
通过模拟飞行器控制的物理交互点(172)向VR环境平台的用户(180)提供物理反馈或从用户接收物理输入(522)；
操作与沉浸式VR环境引擎和虚拟FMC通过接口连接的飞行模拟器组件(150)(506)；以及
通过协议缓冲区(122)将沉浸式VR环境引擎与虚拟FMC耦接，该协议缓冲区仿真FMC通信协议以准许沉浸式VR环境引擎运行虚拟FMC(504)。
条款10.根据条款9所述的一个或多个计算机存储设备，其中操作还包括：
操作与飞行模拟器组件通过接口连接的教练员控制台组件(230)(526)。
条款11.根据条款9至10中任一项所述的一个或多个计算机存储设备，其中操作还包括：
操作与飞行模拟器组件、沉浸式VR环境引擎和虚拟FMC通过接口连接的测试环境核心组件(130)(528)
条款12.根据条款11所述的一个或多个计算机存储设备，其中操作还包括：
将选自至少包括以下项的列表的至少一个组件与测试环境核心组件通过接口连接：
导航模拟(132)、数据链路模拟(134)、空中交通控制模拟(136)和飞行可视化(138)(530)。
条款13.一种操作沉浸式虚拟现实(VR)环境平台的方法，该方法包括：
操作沉浸式VR环境引擎(150)，该沉浸式VR环境引擎(150)包括飞行器控制和显示单元(104、106、108、112、114)并提供飞行器的沉浸式VR环境(502)；
操作运行操作飞行程序(OFP)(310)的虚拟飞行管理计算机(FMC)(160)(508)；以及
通过通信信道(122)将沉浸式VR环境引擎与虚拟FMC耦接，该通信信道仿真FMC通信协议以准许沉浸式VR环境引擎运行虚拟FMC(504)。
条款14.根据条款13所述的方法，还包括：
在头戴式显示器(HMD)(182)上显示沉浸式VR环境的视图(518)。
条款15.根据条款13至14中任一项所述的方法，还包括：
通过虚拟交互点(104、106、108、110、112、114)接收用于沉浸式VR环境的飞行器驾驶舱控制输入(520)。
条款16.根据条款13至15中任一项所述的方法，还包括：
通过模拟飞行器控制的物理交互点(172)向VR环境平台的用户(180)提供物理反馈或从用户接收物理输入(522)。
条款17.根据条款13至16中任一项所述的方法，还包括：
操作与沉浸式VR环境引擎和虚拟FMC通过接口连接的飞行模拟器组件(150)(506)。
条款18.根据条款17所述的方法，还包括：
操作与飞行模拟器组件通过接口连接的教练员控制台组件(230)(526)。
条款19.根据条款17至18中任一项所述的方法，还包括：
操作与飞行模拟器组件、沉浸式VR环境引擎和虚拟FMC通过接口连接的测试环境核心组件(130)(528)。
条款20.根据条款19所述的方法，还包括：
将选自至少包括以下项的列表的至少一个组件与测试环境核心组件通过接口连接：
导航模拟(132)、数据链路模拟(134)、空中交通控制模拟(136)和飞行可视化(138)(530)。
当介绍本公开的各方面或其示例的要素时，冠词“一”、“一个”、“该”和“所述”旨在表示存在要素中的一个或多个。术语“包括”、“包含”和“具有”旨在是包括性的，并且意味着除所列要素外，还可以有额外的要素。术语“示例性”旨在表示“……的示例”。短语“以下中的一个或多个：A、B和C”表示“A中的至少一个和/或B中的至少一个和/或C中的至少一个。”
已经详细描述了本公开的方面，将显而易见的是，在不脱离如所附权利要求所限定的本公开的方面的范围的情况下，可以进行修改和改变。由于可以在不脱离本公开的方面的范围的情况下对以上构造、产品和方法进行各种改变，因此旨在将以上描述中包含的以及附图中示出的所有内容解释为说明性的，而并非限制性的。
将理解，上述益处和优点可以涉及一个实施例或可以涉及若干实施例。实施例不限于解决所陈述的问题中的任一个或全部的那些实施例，或具有所陈述的益处和优点中的任一个或全部的那些实施例。除非另有说明，否则本文示出和描述的本公开示例中的操作的执行或进行顺序不是必需的。即，除非另有说明，否则可以以任何顺序执行操作，并且本公开的示例可以包括比本文公开的操作更多或更少的操作。例如，可以预期在另一操作(例如，不同的步骤)之前、与之同时或之后执行或进行特定操作在本公开的方面的范围内。

Claims (15)

1.一种虚拟现实即VR环境平台，其包括：
包括硬件设备的虚拟化系统，所述硬件设备包括一个或多个计算机存储设备，所述计算机存储设备上存储有用于操作所述VR环境平台的计算机可执行指令，所述计算机可执行指令在由所述硬件设备执行时使得所述硬件设备实现：
沉浸式VR环境引擎(102)，其包括飞行器控制和显示单元(104、106、108、112、114)，提供飞行器的沉浸式VR环境；
虚拟飞行管理计算机即虚拟FMC(160)，运行操作飞行程序即OFP(310)；以及
协议缓冲区，将所述沉浸式VR环境引擎与所述虚拟FMC耦接，以仿真FMC通信协议以准许所述沉浸式VR环境引擎使用所述飞行器的实际打包输入/输出(I/O)与所述虚拟FMC交互。
2.根据权利要求1所述的VR环境平台，还包括：
头戴式显示器即HMD(182)，其用于显示沉浸式VR环境的视图。
3.根据权利要求1至2中任一项所述的VR环境平台，还包括：
虚拟互动点(104、106、108、110、112、114)，其提供用于所述沉浸式VR环境的飞行器驾驶舱控制输入。
4.根据权利要求1至2中任一项所述的VR环境平台，还包括：
物理交互点(172)，其模拟飞行器控制并向所述VR环境平台的用户(180)提供物理反馈，或从所述用户接收物理输入。
5.根据权利要求1至2中任一项所述的VR环境平台，还包括：
飞行模拟器组件(150)，其与所述沉浸式VR环境引擎和所述虚拟FMC通过接口连接。
6.根据权利要求5所述的VR环境平台，还包括：
教练员控制台组件(230)，其与所述飞行模拟器组件通过接口连接。
7.根据权利要求5所述的VR环境平台，还包括：
测试环境核心组件，其与所述飞行模拟器组件、所述沉浸式VR环境引擎和所述虚拟FMC通过接口连接。
8.根据权利要求7所述的VR环境平台，还包括：
至少一个组件，其与所述测试环境核心组件通过接口连接，并且所述至少一个组件选自由以下项组成的列表：
导航模拟(132)、数据链路模拟(134)、空中交通控制模拟(136)和飞行可视化(138)。
9.一种操作沉浸式虚拟现实即VR环境平台的方法，所述方法包括：
操作沉浸式VR环境引擎(150)，所述沉浸式VR环境引擎(150)包括飞行器控制和显示单元(104、106、108、112、114)，以提供飞行器的沉浸式VR环境(502)；
操作运行操作飞行程序即OFP(310)的虚拟飞行管理计算机即虚拟FMC(160)(508)；以及
将所述沉浸式VR环境引擎与所述虚拟FMC耦接，以仿真FMC通信协议以准许所述沉浸式VR环境引擎使用所述飞行器的实际打包输入/输出(I/O)与所述虚拟FMC(504)交互。
10.根据权利要求9所述的方法，还包括：
在头戴式显示器即HMD(182)上显示沉浸式VR环境的视图(518)。
11.根据权利要求9至10中任一项所述的方法，还包括：
通过虚拟交互点(104、106、108、110、112、114)接收用于所述沉浸式VR环境的飞行器驾驶舱控制输入(520)。
12.根据权利要求9至10中任一项所述的方法，还包括：
通过模拟飞行器控制的物理交互点(172)向所述VR环境平台的用户(180)提供物理反馈或从所述用户接收物理输入(522)。
13.根据权利要求9至10中任一项所述的方法，还包括：
操作与所述沉浸式VR环境引擎和所述虚拟FMC通过接口连接的飞行模拟器组件(150)(506)。
14.根据权利要求13所述的方法，还包括：
操作与所述飞行模拟器组件通过接口连接的教练员控制台组件(230)(526)。
15.根据权利要求13所述的方法，还包括：
操作与所述飞行模拟器组件、所述沉浸式VR环境引擎和所述虚拟FMC通过接口连接的测试环境核心组件；以及
将至少一个组件与所述测试环境核心组件通过接口连接，所述至少一个组件选自由以下项组成的列表：
导航模拟(132)、数据链路模拟(134)、空中交通控制模拟(136)和飞行可视化(138)(530)。
CN201910987554.8A 2018-11-19 2019-10-17 训练器和测试环境中具有虚拟化的虚拟现实 Active CN111195433B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/195,117 US11688297B2 (en) 2018-11-19 2018-11-19 Virtual reality with virtualization in trainers and test environments
US16/195,117 2018-11-19

Publications (2)

Publication Number Publication Date
CN111195433A CN111195433A (zh) 2020-05-26
CN111195433B true CN111195433B (zh) 2024-03-22

Family

ID=68066612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910987554.8A Active CN111195433B (zh) 2018-11-19 2019-10-17 训练器和测试环境中具有虚拟化的虚拟现实

Country Status (5)

Country Link
US (1) US11688297B2 (zh)
EP (1) EP3654315A1 (zh)
JP (1) JP7393922B2 (zh)
KR (1) KR20200059142A (zh)
CN (1) CN111195433B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11442829B2 (en) * 2020-03-16 2022-09-13 International Business Machines Corporation Packeted protocol device test system
CN111653141A (zh) * 2020-06-08 2020-09-11 湖南翰坤实业有限公司 一种基于vr的儿童交通安全教育模拟系统及方法
CN112102682B (zh) * 2020-11-09 2021-05-18 中电科芜湖通用航空产业技术研究院有限公司 基于5g通信的飞行器驾驶培训系统和方法
US11939085B2 (en) 2021-06-16 2024-03-26 Beta Air, Llc Methods and systems for wrapping simulated intra-aircraft communication to a physical controller area network
TWI832084B (zh) * 2021-09-03 2024-02-11 南開科技大學 具故事性可延伸內容之遊戲互動系統及其方法
WO2023084456A1 (en) * 2021-11-12 2023-05-19 Ahmad Fareed Aldarwish System for simulating the operation of a vehicle, associated components and methods
JP2024072656A (ja) * 2022-11-16 2024-05-28 三菱重工業株式会社 操作表示システム
CN117576980B (zh) * 2024-01-19 2024-03-22 中国民用航空飞行学院 一种飞行模拟座舱数据补全方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6478581B1 (en) * 1999-06-07 2002-11-12 American Gnc Corporation External method for employing CNDU in trainer system
CN1689679A (zh) * 2004-04-19 2005-11-02 李明 虚拟飞行系统及方法
CN105359063A (zh) * 2013-06-09 2016-02-24 索尼电脑娱乐公司 利用追踪的头戴式显示器
CN107694090A (zh) * 2017-09-29 2018-02-16 广州云友网络科技有限公司 一种虚拟场景结合机械手的模拟飞行系统
CN108295464A (zh) * 2017-01-11 2018-07-20 翔升（上海）电子技术有限公司 一种模拟训练方法和系统
CN108694874A (zh) * 2017-03-29 2018-10-23 波音公司 用于沉浸式模拟器的系统和方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001100628A (ja) 1999-09-28 2001-04-13 Toshiba Corp 飛行訓練装置
JP2002229433A (ja) 2001-01-31 2002-08-14 Shimadzu Corp フライトシミュレータ
JP3665058B2 (ja) 2003-02-26 2005-06-29 三菱重工業株式会社 シミュレータシナリオ製作支援プログラム及びシミュレータ装置
US8734250B2 (en) * 2012-10-05 2014-05-27 Wargaming.Net Llp Control of vehicles in three dimensional space
US9547173B2 (en) 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US20160236088A1 (en) * 2013-12-23 2016-08-18 Hong C. Li Provision of a virtual environment based on real time data
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
CN106716272B (zh) * 2014-09-30 2021-03-09 深圳市大疆创新科技有限公司 用于飞行模拟的系统和方法
CN106796761B (zh) * 2014-09-30 2021-08-20 深圳市大疆创新科技有限公司 用于支持模拟移动的系统和方法
JP2016184244A (ja) 2015-03-25 2016-10-20 三菱重工業株式会社 シミュレータ装置及び画像生成方法
JP6769697B2 (ja) 2015-09-16 2020-10-14 株式会社バンダイナムコエンターテインメント プログラム及びゲーム装置
US9984586B2 (en) * 2015-11-22 2018-05-29 Victor Popa-Simil Method and device to improve the flying abilities of the airborne devices operator
US10495421B2 (en) * 2017-08-25 2019-12-03 Aurora Flight Sciences Corporation Aerial vehicle interception system
US11043138B2 (en) * 2017-11-02 2021-06-22 Textron Innovations Inc. VR emulator
JP7298932B2 (ja) * 2018-02-02 2023-06-27 アクセス ヴァーチャル， エルエルシー 仮想現実に基づくパイロット訓練システム
US11887495B2 (en) * 2018-04-27 2024-01-30 Red Six Aerospace Inc. Augmented reality for vehicle operations
CN110858464A (zh) * 2018-08-24 2020-03-03 财团法人工业技术研究院 多视角显示装置与操控模拟机
US11605122B2 (en) * 2018-10-31 2023-03-14 The Boeing Company Aircraft modification marketplace

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6478581B1 (en) * 1999-06-07 2002-11-12 American Gnc Corporation External method for employing CNDU in trainer system
CN1689679A (zh) * 2004-04-19 2005-11-02 李明 虚拟飞行系统及方法
CN105359063A (zh) * 2013-06-09 2016-02-24 索尼电脑娱乐公司 利用追踪的头戴式显示器
CN108295464A (zh) * 2017-01-11 2018-07-20 翔升（上海）电子技术有限公司 一种模拟训练方法和系统
CN108694874A (zh) * 2017-03-29 2018-10-23 波音公司 用于沉浸式模拟器的系统和方法
CN107694090A (zh) * 2017-09-29 2018-02-16 广州云友网络科技有限公司 一种虚拟场景结合机械手的模拟飞行系统

Also Published As

Publication number Publication date
JP2020112780A (ja) 2020-07-27
EP3654315A1 (en) 2020-05-20
CN111195433A (zh) 2020-05-26
US11688297B2 (en) 2023-06-27
JP7393922B2 (ja) 2023-12-07
KR20200059142A (ko) 2020-05-28
US20200160742A1 (en) 2020-05-21
US20230245585A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
CN111195433B (zh) 训练器和测试环境中具有虚拟化的虚拟现实
US20110207091A1 (en) Compact multi-aircraft configurable flight simulator
EP3647956A1 (en) Generalized virtualization platform for systems using hardware abstraction software layers
CN108701420A (zh) 能与多个服务器交互的模拟服务器
US20050017977A1 (en) Method and apparatus for integrating virtual environments with functional simulations via HLA protocol
CN110709914B (zh) 交互计算机模拟站中模型的连续监控
US12027072B2 (en) Virtual reality with virtualization in trainers and test environments
CA3000480C (en) Systems and methods for remotely operated machine training
CN110322567B (zh) 动态修改包括预定特征的视觉元素的视觉渲染
US10915676B2 (en) Recertification of an interactive computer simulation station
KR20200099229A (ko) 항공전자 장비 시뮬레이션 시스템 및 방법
Perz-Osowska et al. Usage of virtual technology in training given to ground engineering crew
US20240233570A1 (en) Training lesson authoring and execution
EP4398220A1 (en) Training lesson authoring and execution
Morrison et al. HUD Training and Extended Reality Solutions
CN215911051U (zh) 一种机载自动飞行显示控制虚拟实训装备
Bendall et al. Test and evaluation techniques using rapid prototyping tools for avionics requirements development
Bendall et al. Reusable prototypes for avionics development, testing, training, and real time manned simulation
Kenney et al. Using abstration to isolate hardware in an object-oriented simulation
Bezdek et al. Open Systems Architecture for Avionics Development, Testing, and Real Time Manned Simulation
Negro et al. V-22 Dynamic Display Simulation (VDDS)-avionics program risk reduction and life cycle support through the use of commercial off the shelf (COTS) equipment
Bendall et al. Rapid prototyping tools applicable to avionics requirements development and real time manned simulation
CN118314788A (zh) 计算系统、方法和计算机可读介质
CN115981271A (zh) 自动驾驶仿真测试系统、方法、设备及存储介质
Bezdek et al. A Real Time Simulation Using Linux Converted from a Unix Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant