CN108694874B - 用于沉浸式模拟器的系统和方法 - Google Patents

用于沉浸式模拟器的系统和方法 Download PDF

Info

Publication number
CN108694874B
CN108694874B CN201810232365.5A CN201810232365A CN108694874B CN 108694874 B CN108694874 B CN 108694874B CN 201810232365 A CN201810232365 A CN 201810232365A CN 108694874 B CN108694874 B CN 108694874B
Authority
CN
China
Prior art keywords
simulator
operator
simulated
aircraft
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810232365.5A
Other languages
English (en)
Other versions
CN108694874A (zh
Inventor
R·J·莱希纳
E·M·比德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN108694874A publication Critical patent/CN108694874A/zh
Application granted granted Critical
Publication of CN108694874B publication Critical patent/CN108694874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
    • G09B9/165—Condition of cabin, cockpit or pilot's accessories
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/085—Special purpose teaching, e.g. alighting on water, aerial photography
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/28—Simulation of stick forces or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及用于沉浸式模拟器的系统和方法。涉及的系统、计算机可读介质和方法包括在航空器模拟器中生成真人大小的虚拟机组人员的视觉、听觉和其他感官描绘。虚拟机组人员模拟航空器的机组人员的操作动作以及行为和生理反应。该方法包括使用航空器模拟器采集操作者的一个或更多个反应。一个或更多个反应包含与操作者相关的生物反馈数据。该方法包括响应于一个或更多个反应，生成针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应。该方法包括采集操作者的一个或更多个附加反应。一个或更多个附加反应包含操作者的附加生物反馈数据，其对应于与针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应的交互。

Description

用于沉浸式模拟器的系统和方法
背景技术
目前，模拟器被用来在交通工具的操作中训练学生和评价交通工具的操作。例如，航空器模拟器提供模拟的航空器的环境，诸如驾驶舱，用于训练和表现评估。然而，目前的模拟器被限制于模拟交通工具的操作。因此，需要模拟器来提供完整的真实世界环境，其包括与交通工具的乘客的交互。
发明内容
本公开的各个方面涉及一种方法，其包括在航空器模拟器中生成真人大小的虚拟机组人员的视觉、听觉和其他感官描绘。虚拟机组人员模拟航空器的机组人员的操作动作以及行为和生理反应。该方法还包括采集表示正被模拟的航空器的状态的数据和使用航空器模拟器的操作者的一个或更多个反应。一个或更多个反应包含与操作者相关的生物反馈数据。此外，该方法包括响应于表示航空器的状态的数据和一个或更多个反应中的至少一个，生成针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应。进一步，该方法包括采集表示正被模拟的航空器的新状态的附加数据和操作者的一个或更多个附加反应。一个或更多个附加反应包含操作者的附加生物反馈数据，其对应于与针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应的交互。该方法还包括将一个或更多个反应和一个或更多个附加反应存储为操作者的使用航空器模拟器的日志。
本公开的附加方面涉及一种系统，其包括被配置为模拟飞行器或交通工具的操作的模拟器。该模拟器包括一个或更多个控制器和显示器、一个或更多个生物反馈传感器、以及被配置为模拟飞行器或交通工具的乘客或机组人员的机组人员模拟器。该系统还包括耦合到模拟器的一个或更多个处理器。一个或更多个处理器被配置为执行存储在一个或更多个存储器装置中的指令以执行方法。该方法包括利用机组人员模拟器在模拟器中生成真人大小的虚拟机组人员的视觉、听觉和其他感官描绘。虚拟机组人员模拟飞行器或交通工具的乘客或机组人员的操作动作以及行为和生理反应。该方法还包括从一个或更多个控制器和显示器以及一个或更多个生物反馈传感器中采集表示正被模拟的飞行器或交通工具的状态的数据以及使用模拟器的操作者的一个或更多个反应。一个或更多个反应包含与操作者相关的生物反馈数据。此外，该方法包括响应于表示飞行器或交通工具的状态的数据和一个或更多个反应中的至少一个，利用机组人员模拟器生成针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应。该方法还包括从一个或更多个控制器和显示器以及一个或更多个生物反馈传感器中采集表示正被模拟的飞行器或交通工具的新状态的附加数据以及操作者的一个或更多个附加反应。一个或更多个附加反应包含操作者的附加生物反馈数据，该附加生物反馈数据对应于与针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应的交互。进一步，该方法包括将一个或更多个反应和一个或更多个附加反应存储为操作者的使用模拟器的日志。
本公开的附加方面涉及存储用于引起一个或更多个处理器执行方法的指令的非暂时性计算机可读介质。该方法包括在航空器模拟器中生成真人大小的虚拟机组人员的视觉、听觉和其他感官描绘。虚拟机组人员模拟航空器的机组人员的操作动作以及行为和生理反应。该方法还包括采集表示正被模拟的航空器的状态的数据和使用航空器模拟器的操作者的一个或更多个反应。一个或更多个反应包含与操作者相关的生物反馈数据。此外，该方法包括响应于表示航空器的状态的数据和一个或更多个反应中的至少一个，生成针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应。进一步，该方法包括采集表示正被模拟的航空器的新状态的附加数据和操作者的一个或更多个附加反应。一个或更多个附加反应包含操作者的附加生物反馈数据，该附加生物反馈数据对应于与针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应的交互。该方法还包括将一个或更多个反应和一个或更多个附加反应存储为操作者的使用航空器模拟器的日志。
附图说明
图1根据本公开的各个方面，示出了沉浸式模拟器的示例。
图2根据本公开的各个方面，示出了沉浸式航空器模拟器的示例。
图3根据本公开的各个方面，示出了用于操作沉浸式模拟器的过程的示例。
图4根据本公开的各个方面，示出了用于利用由沉浸式模拟器生成的数据的过程的示例。
图5根据本公开的各个方面，示出了用于计算机装置的硬件配置的示例。
具体实施方式
为了简单和说明性的目的，当前教导的原理通过主要引用其各种实施方式的示例来描述。然而，本领域技术人员将很容易地认识到，同样的原理同样适用于所有类型的信息和系统，并且可以在这些所有类型的信息和系统中实施，而且任何这种变化都不会偏离当前教导的真正精神和范围。另外，在下面的详细描述中，对附图进行了参考，附图示出了各种实施方式的具体示例。可以对各种实施方式的示例进行逻辑和结构的改变，而不偏离当前教导的精神和范围。因此，下面的详细描述不应被视为有限制的意义，并且当前教导的范围由所附的权利要求及它们的等效物来定义。
图1根据本公开的各个方面，示出了沉浸式模拟器系统100，其中机组人员的真实世界交互可以被模拟，并且这些交互可以被记录用于训练。虽然图1示出了在沉浸式模拟器系统100中包含的各种组件，但图1示出模拟器系统的一个示例并且附加组件可以被添加，并且现有组件可以被移除。
如图1所示，沉浸式模拟器系统100包括模拟器102。模拟器102可被配置为提供交通工具的模拟的和沉浸式环境用于训练操作者104和由操作者104操作。交通工具可以是飞行器、航空器、机动交通工具、船舶、机车、太空飞行器。例如，模拟器102可以是航空器模拟器、机动交通工具模拟器、船舶模拟器、机车模拟器、太空飞行器模拟器等。模拟器102可以包括物理控制器和显示器、虚拟控制器和显示器及其组合，以模拟飞行器或交通工具的操作和环境，如下所述。
模拟器102包括控制器和显示器106。控制器和显示器106提供用于操作模拟器102并将模拟器102的反应和操作输出给操作者104的用户界面。在一些示例中，控制器和显示器106可以包括物理控制器和显示器、虚拟控制器和显示器及其组合，以模拟由模拟器102模拟的飞行器或交通工具的操作。例如，如果模拟器102是机动交通工具模拟器，则控制器和显示器106可以包括诸如方向盘、加速踏板、制动踏板、齿轮控制器、速度显示器、燃油水平显示器、发动机温度显示器、音频控制器等物理控制器和显示器。同样，例如，如果模拟器102是机动交通工具模拟器，则控制器和显示器106可以包括虚拟控制器和显示器，诸如挡风玻璃显示器，该挡风玻璃显示器显示机动交通工具正在其中运行的虚拟实时环境。
模拟器102包括机组人员模拟器108。机组人员模拟器108可被配置为模拟由模拟器102模拟的飞行器或交通工具的机组人员、乘客或其他活的占有者(例如，人)。机组人员模拟器108可以被配置为模拟模拟的机组人员的操作动作。同样，机组人员模拟器108可被配置为模拟模拟的机组人员的物理、行为、生理和情绪动作和反应。机组人员模拟器108可以是物理装置或系统、虚拟装置或系统及其组合。例如，机组人员模拟器108可以是模拟机组人员的物理装置或系统，诸如仿生机器人。同样，例如，机组人员模拟器108可以是诸如虚拟现实显示器、全息发生器或全息显示器等虚拟系统，其投影模拟的机组人员的图像用于操作者104观看。
例如，如果模拟器是机动交通工具模拟器，并且操作者104是模拟的机动交通工具的驾驶员，则机组人员模拟器108可以模拟机动交通工具的机组人员或乘客。在这个示例中，机组人员模拟器108可以模拟模拟的乘客的物理动作和反应，诸如打开无线电、改变环境控制器、与操作者104对话等等。同样，在这个示例中，机组人员模拟器108可以模拟机组人员或乘客的情绪动作或反应，诸如，对模拟的事故的惊讶或震惊反应、对模拟的争论的愤怒等。因此，操作者104可以体验操作机动交通工具的完整的、真实世界模拟，包括与机动交通工具的乘客的真实世界交互。在一个示例中，机组人员模拟器108可以仅仅模拟机组人员的情绪动作和反应，或者可替代地，机组人员模拟器108可以仅仅模拟模拟的机组人员的物理动作和反应。
模拟器102包括生物反馈传感器110。生物反馈传感器110可以捕获表示操作者104的意识和潜意识回应、情绪、反应、语音模式等的信号。回应、情绪、反应等可响应于模拟器102的操作，并可响应于与由机组人员模拟器108模拟的机组人员的交互。生物反馈传感器110可以是能够感知或检测操作者104的动作、回应、输入、情绪等的任何类型的装置。例如，生物反馈传感器110可被配置为捕获生物反馈数据，其包括言语和声音数据、气味数据、脑电波数据(例如，脑电图(EEG)数据)、眼动跟踪数据、微面部表情数据、体态语言、生命体征数据(心率、血压、呼吸频率等)、肌肉运动数据、毛细血管扩张数据、皮电传导数据等等。
模拟器102还可以经由教员站114容纳教员112。教员站114可以允许教员112启动和控制模拟器102的操作。例如，教员站114可以提供用户界面，以允许教员针对模拟器102选择和配置不同的场景、选择和配置模拟的机组人员、控制和操作模拟器102、监视和评估操作者104的表现、提供关于操作者104的表现的反馈等。例如，通过提供表现评定。在另一个示例中，教员站114可以允许教员112控制和操作机组人员模拟器108以与操作者104通信，并直接控制模拟的机组人员的操作动作和物理、行为、生理和情绪动作。
沉浸式模拟器系统100还包括模拟器控制系统116。模拟器控制系统116可以被配置为控制模拟器102的操作和由机组人员模拟器108生成模拟的机组人员。例如，模拟器控制系统116可以包括与控制器和显示器106通信以模拟作为模拟器102的对象的飞行器或交通工具的环境和操作的硬件、软件及其组合。同样，例如，模拟器控制系统116可以包括与生物反馈传感器110通信以捕获和分析操作者104的生物反馈数据的硬件、软件及其组合。另外，例如，模拟器控制系统116可以包括与机组人员模拟器108通信以根据机组人员模型并响应于来自操作者104的操作动作和生物反馈数据生成模拟的机组人员并操作模拟的机组人员的硬件、软件及其组合。此外，例如，模拟器控制系统116可以包括与教员站114通信以允许教员112控制和操作模拟器102的硬件、软件及其组合。
如上所述，模拟器控制系统116可以被实现为硬件、软件及其组合。例如，模拟器控制系统116可以被实现为在一个或更多个计算机系统上执行的模拟器软件程序。计算机系统可以是在沉浸式模拟器系统100中运行的任何类型的传统计算机系统，或者可以是支持沉浸式模拟器系统100的任何类型的传统计算机系统。例如，计算机系统可以包括各种类型的服务器，诸如文件服务器、web服务器、应用服务器、数据库服务器、电子邮件服务器等，它们在沉浸式模拟器系统100中提供服务。同样，例如，计算机系统102可以包括膝上型计算机、台式计算机、平板计算机、移动电话。在一些示例中，可以在专用的硬件中实现模拟器控制系统116的一个或更多个组件。
此外，例如，沉浸式模拟器系统100可以包括支持沉浸式模拟器系统100的其他硬件和计算机系统。例如，沉浸式模拟器系统100可以包括网关、路由器、无线接入点、防火墙等，其支持任何类型的通信网络以允许沉浸式模拟器系统100中的计算系统通信。在任何示例中，沉浸式模拟器系统100中的计算机系统包括硬件资源(诸如处理器、存储器、网络硬件、存储装置等)和软件资源(诸如操作系统(OS)、应用程序等)。
在一个示例中，模拟器控制系统116可以包括控制模拟器102的操作和机组人员模拟器108的操作的一个或更多个模拟软件程序。模拟软件程序可以用各种编程语言编写，诸如JAVA、C++、Python代码、Visual Basic、超文本标记语言(HTML)、可扩展标记语言(XML)等，以适应各种操作系统、计算系统体系结构等。在这个示例中，模拟器软件程序可以控制模拟器102的操作。例如，模拟器软件程序可以与模拟器102的控制器和显示器106接合以为操作者模拟飞行器或交通工具，诸如运行模拟器102的模拟场景，显示和更新模拟的飞行器和交通工具的运行状态，响应于操作者104进行的操作显示和更新模拟的环境等。
同样，例如，模拟器软件程序可以生成和控制机组人员模拟器108。模拟器软件程序可以在机组人员模拟器108上生成、显示和控制模拟的机组人员。模拟器软件程序可以基于一个或更多个机组人员行为和动作的模型、基于来自教员的输入及其组合，在机组人员模拟器108上自动地生成、显示和控制模拟的机组人员。例如，模拟器软件程序可以生成模拟的机组人员的不同类型和配置，其反映不同的年龄、性别、文化、种族、外貌等。同样，例如，模拟器软件程序可以在机组人员模拟器108上控制和修改模拟的机组人员，使得模拟的机组人员执行对操作者104做出反应、对模拟场景做出反应、跟踪来自教员112的输入及其组合中的任何一种。此外，例如，模拟器软件程序可以在机组人员模拟器108上控制和修改模拟的机组人员，使得模拟的机组人员对操作者104的生物反馈数据做出反应。例如，模拟器软件可以控制和修改模拟的机组人员以响应于操作者104的语音变化、操作者104的言语措辞、响应于在操作者104中检测到的压力等。
沉浸式模拟器系统100包括存储库118。存储库118可以被配置为存储由模拟器102和模拟器控制系统116使用的数据。例如，存储库118可以存储用于模拟器的操作参数和数据，其允许模拟飞行器或交通工具。同样，存储库118可以存储由模拟器102生成的数据。例如，存储库118可以存储由生物反馈传感器110捕获的生物反馈数据、由操作者104在控制器和显示器106上执行的动作、由模拟的机组人员执行的动作以及在教员站114上的来自教员112的输入。
沉浸式模拟器系统100包括一个或更多个存储库122。计算机系统102可以经由一个或更多个网络122耦合到一个或更多个存储库122。例如，存储库122可以由沉浸式模拟器系统100和/或其他实体操作和维护。网络120可以是任何类型的网络，无论是公共的还是私有的。存储库122可被配置为存储由模拟器102和模拟器控制系统116使用的数据。例如，存储库122可以存储用于模拟器的操作参数和数据，其允许模拟飞行器或交通工具。同样，存储库122可以存储由模拟器102生成的数据。例如，存储库122可以存储由生物反馈传感器110捕获的生物反馈数据、由操作者104在控制器和显示器106上执行的动作、由模拟的机组人员执行的动作以及在教员站114上的来自教员112的输入。
沉浸式模拟器系统100包括训练系统124。训练系统124可以耦合到存储库118(和/或存储库122)，以检索为操作者104捕获的数据。训练系统124可以向操作者104提供数据。例如，训练系统124可以向操作者104提供训练概要，其包括对模拟器102的操作的表现评价或评定以及与模拟的机组人员的交互。
利用上述组件，沉浸式模拟器系统100提供一种独立的和/或教员影响的学习系统，其允许领导的插话、模拟和指导通信，机组资源管理和交互式技能学习。机组人员模拟器108提供了交互式模拟，其通过口头言语和肢体语言包括面部表情，在模拟器102中调用操作者104的情绪和冲突(例如，不尊重权威、缺乏合作、丧失、尴尬等)，并重点关注通信和其他机组资源管理能力。因此，除了操作训练和评估之外，沉浸式模拟器系统100还可以教导或允许应对机制的实践，并允许个人技能掌握的发展。此外，沉浸式模拟器系统100提供了在行动后审查，以强调学习点。
如上所述，沉浸式模拟器系统100可以提供模拟的和沉浸式的飞行器或交通工具的环境。图2示出了沉浸式模拟器系统100的一个示例，沉浸式航空器模拟器系统200，其中根据本公开的方面，可以模拟航空器机组人员的真实世界交互，并且可以记录交互用于训练。虽然图2示出了包含在沉浸式航空器模拟器系统200中的各个组件，但是图2示出的是航空器模拟器的一个示例，并且附加组件可以被增加并且现有的组件可以被移除。
沉浸式航空器模拟器系统200包括飞行甲板202。飞行甲板202可以被配置为模拟航空器飞行甲板的环境。飞行甲板202可以包括在航空器飞行甲板上发现的系统、硬件、控制器、显示器等。在示例中，飞行甲板202可以是飞行训练装置和/或全飞行模拟器。飞行甲板202可以使用任何商业上可获得的飞行甲板模拟器以及根据本文中描述的方面进行修改来实现。在一些示例中，飞行甲板202可以使用从CAE公司(CAE,Inc.)和/或泰雷兹集团(Thales)可获得的飞行甲板模拟器来实现。
飞行甲板202包括飞行员站204。飞行员站204可以包括模拟模拟的航空器的飞行员的控制和操作的系统、硬件、控制器、显示器等。例如，飞行员站204可包括座椅、控制杆或轭、控制器、襟翼和升降舵控制器、电子飞行袋等。此外，例如，飞行员站204可以包括显示器，诸如初级飞行显示器、多功能显示器、导航显示器、平视显示器、以及发动机指示和机组报警系统(EICAS)显示器。例如，初级飞行显示器可以提供信息，诸如空速、高度、航向、姿态，垂直速度和下滑道。例如，多功能显示器可以提供关于航空器系统的状态信息，诸如通信、辅助动力单元(APU)、燃料和电气系统。导航显示器可以展现航向/航迹、飞行计划航路、航点、机场、导航协助和天气信息。平视显示器(HUD)可以在挡风玻璃正前面安装的HUD组合器上提供投射的飞机飞行数据。EICAS显示器可展示关于航空器系统(其包括推进、警告、飞行控制、燃料和空气系统)的信息。
飞行甲板202包括用于捕获生物反馈数据的一个或更多个装置和系统。生物反馈传感器可以是包括硬件、软件或其组合并且能够感测或检测操作者104的动作、反应、输入、情绪等的任何类型的系统。例如，生物反馈传感器可以被配置为捕获生物反馈数据，其包括言语和声音数据、气味数据、脑电波数据(例如，脑电图(EEG)数据)、眼睛运动跟踪数据、微面部表情数据、肢体语言、生命体征数据(心率、血压、呼吸率等)、肌肉运动数据、毛细血管扩张数据、皮电传导数据等。
例如，生物反馈装置和系统可以包括面部和姿势捕获系统206、语音识别系统208和生理测量系统210。面部和姿势捕获系统206可以是包括硬件、软件或其组合的任何类型的系统，以检测、捕获和分析操作者的面部姿势和身体运动，使得操作者的情绪和认知状态可以被确定。语音识别系统208可以是包括硬件、软件或其组合的任何类型的系统，以检测、捕获和分析由操作者或学生发出的言语和声音。例如，语音识别系统208可以分析操作者或学生的言语和声音，以检测操作者或学生的语法和口语字，以便识别针对模拟场景的言语，并区分可操作的和不可操作的命令。同样，例如，语音识别系统208可以分析操作者或学生的言语和声音，以检测情绪方面(例如，变音、音调等)并插入操作者或学生情绪状态。生理测量系统210可以是包括硬件、软件或其组合的任何类型的系统，以检测、捕获和分析操作者或学生的生理状态(例如，脑电波、生命体征、毛细血管扩张、皮电传导等)。
飞行甲板202包括副飞行员模拟器212。副飞行员模拟器212可以被配置为模拟由模拟器102模拟的航空器的副飞行员。副飞行员模拟器212可以被配置为模拟模拟的副飞行员的操作动作。同样，副飞行员模拟器212可以被配置为模拟模拟的副飞行员的物理、行为、生理和情绪动作和反应。副飞行员模拟器212可以是物理装置或系统、虚拟装置或系统及其组合。例如，副飞行员模拟器212可以是模拟诸如仿生机器人之类的副飞行员的物理装置或系统。同样，副飞行员模拟器212可以是诸如虚拟现实显示器、增强现实显示器、全息生成器等的虚拟系统，该虚拟系统为操作者104投射模拟的机组人员的图像。虽然副飞行员模拟器212被描述为模拟副飞行员，但副飞行员模拟器212可被配置为模拟任何机组人员、乘客或航空器的其它活的占有者(例如，人)。
在一个示例中，副飞行员模拟器212可以包括气味发生器214、显示系统216和音频系统218。气味发生器214可以是包括硬件、软件或其组合的任何类型的系统，以生成在不同的模拟的场景中在飞行甲板中发现的气味和嗅觉类型，和/或在不同的模拟的场景中从机组人员发出的气味和嗅觉类型。显示系统216可以是包括硬件、软件或其组合的任何类型的系统，以显示模拟的机组人员的图像或化身。例如，显示系统216可以是虚拟现实显示器(例如，HololensTM、OcculusTM、HTC VieTM等)、传统的显示器或监视器(例如，阴极射线管显示器、液晶显示器、等离子显示器、发光二极管显示器等)、全息发射器等。音频系统218可以是包括硬件、软件或其组合的任何类型的系统，以生成在不同的模拟的场景中在飞行甲板中发现的声音和/或在不同的模拟的场景中从机组人员发出的声音。例如，音频系统218可以是扬声器系统、头戴式耳机(例如，飞行员通信头戴式耳机)等。
飞行甲板202包括教员站226。教员站226可以允许教员启动和控制飞行甲板202的操作。例如，教员站226可以提供用户界面以允许教员选择和配置用于飞行甲板202的不同的场景、选择和配置模拟的副飞行员、控制和操作飞行甲板202、监视和评估操作者或学生的表现、提供关于操作者或学生的表现的反馈等。在另一个示例中，教员站226可以允许教员控制和操作副飞行员模拟器212以与操作者通信，并直接地控制模拟的副飞行员的操作动作和物理、行为、生理和情绪动作的一部分或全部。
副飞行员模拟器212和飞行甲板202的其他系统、装置和控制器被耦合到副飞行员控制系统220。副飞行员控制系统220可以包括硬件、软件及其组合，其与副飞行员模拟器212通信以生成模拟的机组人员，并根据机组人员的场景以及响应于来自操作者或学生的操作动作和生物反馈数据操作模拟的机组人员。副飞行员控制系统220可以基于机组人员行为和动作的一个或更多个模型、基于来自教员的输入及其组合，利用副飞行员模拟器212自主地生成、显示和控制模拟的副飞行员。例如，副飞行员控制系统220可以生成反映不同年龄、性别、文化、种族、物理属性等的模拟的副飞行员的不同类型和配置。同样，例如，副飞行员控制系统220可以利用副飞行员模拟器212控制和修改模拟的副飞行员，使得模拟的机组人员对操作者或学生做出反应，对模拟场景做出反应，跟随来自教员的输入，及其组合。此外，例如，副飞行员控制系统220可以利用副飞行员模拟器212控制和修改模拟的副飞行员，使得模拟的副飞行员对操作者或学生的生物反馈数据做出反应。例如，副飞行员控制系统220可以控制和修改模拟的飞行员以响应于操作者或学生的语音变音，操作者或学生的言语措辞，响应于在操作者或学生中检测的压力等。
副飞行员控制系统220可以包括化身物理模型222和化身智能行为模型224。化身物理模型222定义逻辑和数据，以支持由副飞行员模拟器212生成并显示的模拟的副飞行员的物理呈现。副飞行员控制系统220可以维护、存储和利用反映不同年龄、性别、文化、种族、物理属性等的化身物理模型222的不同版本。化身物理模型222还定义电机运动、言语、头部运动、面部反应等，其提供模拟的副飞行员与飞行甲板202的交互的感知。化身物理模型222还定义电机运动、语音、头部运动、面部反应等，其提供模拟的副飞行员与操作者或学生的交互的真实的言语。化身物理模型222还定义电机运动、言语、头部运动、面部反应等，其提供模拟的副飞行员的情绪的感知。
化身智能行为模型224定义逻辑和数据以支持行为和反应，以便模拟模拟的副飞行员的认知状态，并生成真实的动作(例如，对话、情绪、物理任务等)以模拟场景中的副飞行员。例如，化身智能行为模型224可以定义行为和反应，以模拟专家飞行员或副飞行员对飞行甲板202过程和通信的认知和理解。同样，例如，化身智能行为模型224可以定义行为和反应，其根据模拟场景和表现测量检查点来模拟动作。此外，例如，化身智能行为模型224可以定义分支逻辑以调用飞行甲板202中的情况(例如，飞行甲板故障、设备故障、机组通信问题等)，以允许操作者或学生能力的测量。进一步，例如，化身智能行为模型224可以定义逻辑以识别操作者或学生的认知和情绪状态，并且响应于操作者或学生的认知和情绪状态。
化身智能行为模型224(和/或化身物理模型222)还定义数据输出以支持沉浸式航空器模拟器系统200的操作。例如，化身智能行为模型224(和/或化身物理模型222)将数据输出到副飞行员模拟器212，以便响应于口头通信并生成口头通信，例如，语法和口语字和语音变音，以指示真实的行为和情绪。另外，例如，化身智能行为模型224(和/或化身物理模型222)将数据输出到副飞行员模拟器212，以便响应于非口头通信并生成非口头通信(例如，面部表情、姿势等)。此外，例如，化身智能行为模型224(和/或化身物理模型222)将数据输出到副飞行员模拟器212，以便生成嗅觉的线索(例如，卫生、人体功能等中的变化)并生成物理运动。化身智能行为模型224(和/或化身物理模型222)还接收输入以便模拟真实世界交互。例如，化身智能行为模型224(和/或化身物理模型222)可以进行从面部和姿势捕获系统206接收数据、从语音识别系统208接收数据、从生理测量系统210接收数据、从控制模拟场景的系统接收数据、从教员或其他用户接收数据及其任意组合等中的任何一个。
沉浸式航空器模拟器系统200还包括机组站模拟系统228。机组站模拟系统228可被耦合到飞行员站204和教员站226。机组站模拟系统228可被配置为管理和控制到飞行员站204的数据的输入和输出，以模拟飞行甲板202中的状况。
沉浸式航空器模拟器系统200还包括场景管理器230。场景管理器230可被耦合到副飞行员控制系统220、机组站模拟系统228、独立操作者控制台232和表现测量系统234。场景管理器230包括逻辑、命令、指令等，以提供和管理提供给沉浸式航空器模拟器系统200的组件的场景数据、交通工具模拟事件和状态数据。例如，场景管理器230可以提供与机组站模拟系统228的数据后台程序的接口，以读取和写入模拟数据和加载场景配置文件。另外，例如，场景管理器230可以向副飞行员控制系统220提供接口，以向机组站模拟系统228提供模拟和场景数据和反馈模拟触发事件。此外，例如，场景管理器230可以向表现测量系统234提供接口，以提供模拟数据、操作者或学生动作、教员输入等。另外，例如，场景管理器230可以向独立操作者控制台232提供界面，以显示来自模拟的数据和触发智能代理动作的覆写。
独立操作者控制台232可以为教员或其他用户提供界面，以启动、配置和操作沉浸式航空器模拟器系统200的组件。独立操作者控制台232可包括硬件、软件及其组合，以向教员或其他用户提供界面。
表现测量系统234采集由沉浸式航空器模拟器系统200生成的数据，并确定对操作者或学生的表现测量。表现测量系统234可以提供用户界面以创建学生表现的客观测量。例如，表现测量系统234可以提供用户界面来指定使用模拟器数据的算法，该算法针对预定义的标准来评估操作者或学生的表现。例如，标准可以是操作航空器模拟器和生物反馈以及与虚拟机组人员的交互的组合中的预定的表现的水平。此外，例如，表现测量系统234可以提供用户定义的触发事件以定义何时操作者或学生的度量应当被评估。表现测量系统234包括用于使用模拟数据来执行预定的表现测量的评估的逻辑。例如，表现测量系统234可以包括用于采集和注释来自沉浸式航空器模拟系统200的数据以包括表现特征(例如，速度、高度等)的所有权的逻辑。例如，表现测量系统234可以包括用于采集、评估和注释操作者或学生与飞行甲板202的交互(例如，按钮按压、油门控制)以及与模拟的副飞行员的交互的逻辑。表现测量系统234包括向诸如独立操作者控制台232和反馈和日志系统236的其它系统发送表现测量的逻辑。
沉浸式航空器模拟器系统200还包括反馈和日志系统236。反馈和日志系统236可被耦合到副飞行员控制系统220、表现测量系统234和训练系统238。例如，反馈和日志系统236经由训练系统238向操作者或学生提供表现反馈。反馈和日志系统236可以自动地提供表现和进度的口头或视觉指示，自动地提供用于改进表现的动作的口头和视觉推荐等。另外，例如，反馈和日志系统236可以自动地突出在模拟中的区域(例如，高度计)，以指示操作者或学生集中在飞行甲板202的仪器或其它部分上以校正表现。另外，例如，反馈和日志系统236可以基于对操作者或学生的表现的评估自动地调整模拟器(例如，调整速度或高度)。另外，例如，反馈和日志系统236可以生成并提供训练概要，诸如包括表现测量结果的操作者或学生表现的图形、表格、数字指示。反馈和日志系统236还存储来自沉浸式航空器模拟器200的任何数据、训练概要和表现测量。
图3示出了根据本公开的方面的用于提供和操作沉浸式模拟器的过程的示例。虽然图3示出了可以执行的各个阶段，但是阶段可以被移除并且附加阶段可以被添加。同样，所示的阶段的顺序可以任意顺序执行。
在过程开始后，在302中，确定了模拟参数。模拟参数可以包括启动和操作沉浸式模拟器系统100或沉浸式航空器模拟器系统200的任何数据。例如，模拟参数可以包括模拟场景、用于模拟的配置参数、用于机组人员模拟器的模型、用于机组人员模拟器的配置参数等。在示例中，模拟参数中的一个或更多个可以由教员112(或其他用户)输入。在一个示例中，可以在沉浸式模拟器系统100或沉浸式航空器模拟器系统200中预定义模拟参数中的一个或更多个。
在304中，启动包括模拟的机组人员或虚拟机组人员的模拟。一旦确定了模拟参数，模拟器控制系统116可以启动模拟器102。例如，模拟器控制系统116可以基于模拟场景利用初始状态信息启动控制器和显示器106，并且开始接收来自操作者104的输入。此外，例如，模拟器控制系统116可以初始化生物反馈传感器110并开始从操作者104接收生物反馈数据。此外，例如，模拟器控制系统116可以基于机组人员模型初始化机组人员模拟器106，并开始生成用于与操作者104交互的模拟的机组人员。此外，例如，模拟器控制系统116可以初始化教员站114并开始接收来自教员112的输入。此外，例如，模拟器控制系统116可以开始在存储库118和/或存储库122中存储来自模拟器102的数据。
在306中，沉浸式模拟器系统生成针对虚拟机组人员的模拟的操作动作或模拟的行为和生理反应。例如，基于模拟场景，模拟控制系统116生成并修改外观和操作动作，以符合模拟器102的操作。例如，在针对沉浸式航空器模拟器系统200的模拟中，副飞行员控制系统220生成和修改外观和操作动作，例如，在飞行前检查中与操作者或学生互动、移动或操作控制器、与操作者或学生交谈等。此外，例如，在针对沉浸式航空器模拟器系统200的模拟中，副飞行员控制系统220生成并修改针对虚拟机组人员的模拟的行为和生理反应，例如，面部表情和在机组人员的前额上增加的可见的汗水。
在308中，沉浸式模拟器系统采集操作者的反馈，其包括生物反馈数据。在310中，沉浸式模拟器系统存储操作者的反应、针对虚拟机组人员的模拟的操作动作或模拟的行为和生理反应和用于模拟的数据。例如，模拟器控制系统116可以捕获来自操作者104的输入，例如，与控制器和显示器106的交互。此外，例如，模拟器控制系统116从生物反馈传感器110接收来自操作者104的生物反馈数据。此外，例如，模拟器控制系统116可以记录针对虚拟机组人员的模拟的操作动作或模拟的行为和生理反应。此外，例如，模拟器控制系统116可以接收来自教员112的输入。此外，例如，模拟器控制系统116可以在存储库118和/或存储库122中存储来自模拟器102的数据。
在312中，沉浸式模拟器系统确定是否继续模拟。例如，模拟可以持续预定的时间量、直到模拟场景完成、直到由事件(例如，飞行器或交通工具的碰撞)停止、直到由教员或其他用户停止等。如果模拟完成，则沉浸式模拟器系统可以生成模拟的训练概要。训练概要可以包括来自模拟的数据，诸如操作者104的动作、与模拟的机组人员的交互、操作和模拟参数、模拟的视频和音频记录等。训练概要还可以包括一个或更多个表现度量。表现度量可以是与模拟器102的操作相关的，与模拟的机组人员的交互相关的等表现度量。表现度量可以由沉浸式模拟器系统100或沉浸式航空器模拟器系统200自动地生成，可以至少部分地基于来自教员或其他用户的输入自动地生成等。之后，方法300可以结束。
如果模拟继续，则在314中，沉浸式模拟器系统可以可选地接收来自教员的输入。例如，教员112可以提供关于操作者104的表现的输入、在模拟期间发生的事件、模拟的机组人员的行为和动作等。
在316中，沉浸式模拟器系统可以可选地修改虚拟机组人员。例如，可以修改外观、情绪状态、动作等。可以基于来自操作者104的生物反馈数据、来自教员112的输入、模拟场景中的事件等来修改虚拟机组人员。之后，方法300返回306并重复。
图4示出了根据本公开的方面的用于利用由沉浸式模拟器生成的数据的过程的示例。虽然图4示出了可以执行的各个阶段，但是阶段可以被移除并且附加阶段可以被添加。同样，所示的阶段的顺序可以任意顺序执行。
在过程开始之后，在402中，接收包括操作者的反应、针对虚拟机组人员的模拟的操作动作或模拟的行为和生理反应的数据和用于模拟的数据。在一个示例中，模拟器控制系统116可以接收数据。在另一个示例中，表现测量系统和/或反馈和日志系统236可以接收数据。
在404中，可选地，可以从教员接收输入。该输入可以包括在模拟器102或飞行甲板202的操作期间操作者或学生的表现评估、与模拟的机组人员或模拟的副飞行员的交互等。例如，教员112可以提供关于操作者104的表现的输入、在模拟期间发生的事件、模拟的机组人员的行为和动作等。
在406中，将操作者的反应、针对虚拟机组人员的模拟的操作动作或模拟的行为和生理反应以及用于模拟的数据和与模拟相关的操作标准比较。在408中，至少部分地基于比较、来自教员的输入或两者来确定表现度量。
例如，模拟器控制系统116(或表现测量系统234)采集由沉浸式模拟器系统100(沉浸式航空器模拟器系统200)生成的数据，并确定针对操作者或学生的表现测量。模拟器控制系统116(或表现测量系统234)可以利用学生表现的客观测量。例如，模拟器控制系统116(或表现测量系统234)可以利用使用模拟器数据的算法，该算法针对预定义的标准、指令输入及其组合来评估操作者或学生的表现。此外，例如，模拟器控制系统116(或表现测量系统234)可以利用触发事件来定义何时应评估操作者或学生的度量。例如，模拟器控制系统116(或表现测量系统234)可以采集和注释来自沉浸式航空器模拟系统200的数据以包括表现特征(如速度、高度等)的所有权，操作者或学生与飞行甲板202(例如，按钮按压，油门控制)的交互和与模拟的副飞行员的交互。
例如，反馈和日志系统236可以自动地提供表现和进度的口头或视觉指示、自动地提供动作的口头和视觉建议以改进表现等。此外，例如，反馈和日志系统236可以自动地突出模拟中的区域(例如，高度计)以指示操作者或学生集中在飞行甲板202的仪表或其他部分上以校正表现。此外，例如，反馈和日志系统236可以基于操作者或学生表现的评估自动地调整模拟器(例如，调整速度或高度)。
在410中，生成包括表现度量的训练概要。训练概要可以包括来自模拟的数据，诸如操作者104的动作、与模拟的机组人员的交互、操作和模拟参数、模拟的视频和音频记录等。训练概要还可以包括一个或更多个表现度量。在示例中，模拟的视频和音频记录可以包括表现或进度的口头或视觉指示，在模拟中突出的区域以指示操作者或学生集中在飞行甲板上的仪表或其他部分以校正表现等。
在412中，至少部分地基于训练概要，更新虚拟机组人员用于未来模拟。例如，基于操作者的与模拟的机组人员的交互，可以更新模拟的机组人员的模型，以改善模拟的机组人员的真实世界外观和交互。
在414中，向操作者提供训练概要。在一个示例中，可以通过训练系统124提供训练概要。在另一个例子中，可以通过训练系统238提供训练概要。
前面的描述是说明性的，并且本领域中的技术人员可以想到在配置和实施方式中的变化。例如，结合本文公开的实施例描述的各种说明性逻辑、逻辑块、模块和电路可以利用通用目的处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件、或其经设计执行本文描述的功能的任意组合来实施或执行。通用目的处理器可以是微处理器，但在替代方式中，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算装置的组合，例如，DSP和微处理器、多个微处理器、与DSP内核结合的一个或更多个微处理器、或任何其它这种配置的组合。
在一个或更多个示例性实施例中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。对于软件实施方式，本文所描述的技术可以利用模块(例如，过程、函数、子程序、程序、例程、子例程、模块、软件包，类等)实现，其执行本文描述的功能。通过传递和/或接收信息、数据、命令行参数、参数或存储器内容，模块可以耦合到另一个模块或硬件电路。信息、命令行参数、参数、数据等可以使用任何合适的手段传递、转发或发送，其包括存储器共享、消息传递、令牌(token)传递、网络发送等。软件代码可以存储在存储器单元中并由处理器执行。存储器单元可以在处理器的内部或处理器的外部被实现，在处理器的外部被实现的这种情况下，它可通过在本领域已知的各种手段通信地耦合到该处理器。
例如，图5示出了可用于沉浸式模拟器系统100或沉浸式模拟器系统200的任何组件中的计算机系统的硬件配置的示例。虽然图5示出了计算机装置500中所包含的各种组件，但是图5示出了计算机装置的一个示例，并且可以添加附加组件，并且可以移除现有组件。
计算机装置500可以是任何类型的计算机装置。如图5所示，计算机装置500可以包括不同的内核配置和时钟频率的一个或更多个处理器502。计算机装置500还可以包括在计算机装置500的操作期间用作主存储器的一个或更多个存储器装置504。例如，在操作期间，支持模拟的软件的副本可以被存储在一个或更多个存储器装置504中。计算机装置500还可以包括一个或更多个外设接口506，诸如键盘、鼠标、触摸板、计算机屏幕、触摸屏等，用于使得人类能够与计算机装置500交互并且操纵计算机装置500。
计算机装置500还可以包括一个或更多个网络接口508，用于通过一个或更多个网络，例如网络120(诸如以太网适配器、无线收发器或串行网络组件)进行通信，用于使用协议在有线或无线介质上进行通信。计算机装置500还可以包括不同的物理尺寸和存储容量的一个或更多个存储装置510(诸如闪存驱动器、硬盘驱动器、随机存取存储器等)，用于存储由一个或更多个处理器502执行的数据，诸如图像、文件和程序指令。
此外，计算机装置500可以包括一个或更多个软件程序512，该软件程序启用上述模拟环境的功能。一个或更多个软件程序512可以包括引起一个或更多个处理器502执行本文描述的过程的指令。一个或更多个软件程序512的副本可以被存储在一个或更多个存储器装置504中和/或在一个或更多个存储装置510上。同样，由一个或更多个软件程序512所利用的数据可以存储在一个或更多个存储器装置504中和/或在一个或更多个存储装置510上。
计算机装置500可以包括上面讨论的各种数据存储和其他存储器和存储介质。它们可以驻留在各种各样的位置上，诸如在一台或更多台计算机本地的存储介质上(和/或驻留在一台或更多台计算机中)，或在网络上的远离任何或全部计算机的存储介质上。在一些实施方式中，信息可以驻留在本领域技术人员熟悉的存储区域网络(SAN)中。类似地，用于执行归属于计算机、服务器或其他网络装置的功能的任何必要文件可根据需要本地和/或远程地存储。
在实施方式中，如上所述的计算机装置500的组件不需要被封装在单个外壳中，或者甚至不需要彼此靠近地定位。本领域的技术人员将认识到，上述组件仅是示例，因为计算机装置500可以包括任何类型的硬件组件，包括任何必要的附带固件或软件，用于执行公开的实施方式。计算机装置500也可以部分或全部通过电子电路部件或处理器，诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)来实现。
如果在软件中实现，这些功能可以作为一个或更多个指令或代码被存储在计算机可读介质上或通过计算机可读介质发送。计算机可读介质包括有形的、非暂时性的计算机存储介质和通信介质二者，其包括便于计算机程序从一个地方到另一个地方的转移的任何介质。存储介质可以是可通过计算机访问的任何可获得的有形的、非暂时的介质。通过示例的方式，并且不受限制，这种有形的、非暂时性的计算机可读介质可以包含随机存取存储器(RAM)、只读存储器(ROM)、闪存(Flash)、电可擦除的可编程只读存储器(EEPROM)、压缩光盘只读存储器(CD-ROM)或其他光盘存储器、磁盘存储器或其他磁性存储装置、或可用于携带或存储以指令或数据结构的形式并可通过计算机访问的所需程序代码的任何其他介质。如本文使用的，磁盘(disk)和光盘(disc)包括CD、激光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光盘，其中磁盘通常以磁方式复制数据，而光盘则用激光以光学方式复制数据。此外，任何连接都被恰当地称为计算机可读介质。例如，如果该软件是使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或诸如红外、无线电和微波等无线技术从网站、服务器或其他远程源被发送，则同轴电缆、光纤电缆、双绞线、DSL或诸如红外、无线电和微波等无线技术包括在介质的定义中。上述组合也应被包括在计算机可读介质的范围内。
此外，本公开包含根据下列实施例的实施例：
1.一种方法(300)，其包含：在航空器模拟器中生成(304)真人大小的虚拟机组人员的视觉、听觉和其他感官描绘，其中虚拟机组人员模拟航空器的机组人员的操作动作以及行为和生理反应；采集(308)表示正被模拟的航空器的状态的数据和操作者在航空器模拟器的操作期间的一个或更多个反应，其中一个或更多个反应包含与操作者相关的生物反馈数据；响应于表示航空器的状态的数据和一个或更多个反应中的至少一个，生成(306)针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应；采集(308)表示正被模拟的航空器的新状态的附加数据和操作者的一个或更多个附加反应，其中一个或更多个附加反应包含操作者的附加生物反馈数据，该数据对应于与针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应的交互；以及将一个或更多个反应和一个或更多个附加反应存储(310)为操作者的航空器模拟器的操作的日志。
2.根据实施例1所述的方法(300)，该方法还包含：
至少部分地基于操作者的航空器模拟器的操作的日志，更新(316)虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应。
3.根据实施例1或2中任一项所述的方法，该方法还包含：
接收(314)来自教员的输入，其中教员包含监督航空器模拟器的人或计算机，并且其中针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应至少部分地基于来自教员的输入。
4.根据实施例1-3中任一项所述的方法(300)，该方法还包含：
至少部分地基于操作者的航空器模拟器的操作的日志生成(318)训练概要。
5.根据实施例4所述的方法(300，400)，该方法还包含：
将一个或更多个反应和一个或更多个附加反应与航空器模拟器的操作标准进行比较(406)；
至少部分地基于比较，确定(408)操作者的航空器模拟器的操作的表现评定；以及
将表现评定提供(414)为训练概要的一部分。
6.根据实施例5所述的方法，其中表现评定至少部分地基于来自教员的输入，并且其中教员包括人或计算机。
7.根据实施例1-6中任一项所述的方法，其中生物反馈数据和附加生物反馈数据包含采集的操作者的面部姿势、捕获的操作者的言语，以及捕获的操作者的行为和生理反应。
8.一种系统(100)，包含被配置为模拟飞行器或交通工具的操作的模拟器(102)，模拟器(102)包含一个或更多个控制器和显示器(106)、一个或更多个生物反馈传感器(110)和被配置为模拟飞行器或交通工具的乘客或机组人员的机组人员模拟器(108)；以及耦合到模拟器(102)并且被配置为执行存储在一个或更多个存储器装置(504)中的指令以执行方法(300)的一个或更多个处理器(502)，方法(300)包含：在模拟器(102)中利用机组人员模拟器(108)生成(304)真人大小的虚拟机组人员的视觉、听觉和其他感官描绘，其中虚拟机组人员模拟飞行器或交通工具的乘客或机组人员的操作动作以及行为和生理反应；从一个或更多个控制器和显示器(106)和一个或更多个生物反馈传感器(110)采集(308)表示正被模拟的飞行器或交通工具的状态的数据以及使用模拟器(102)的操作者(104)的一个或更多个反应，其中一个或更多个反应包含与操作者(104)相关的生物反馈数据；响应于表示飞行器或交通工具的状态的数据和一个或更多个反应中的至少一个，利用机组人员模拟器(108)生成(306)针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应；从一个或更多个控制器和显示器(106)和一个或更多个生物反馈传感器(110)采集(308)表示正被模拟的飞行器或交通工具的新状态的附加数据以及操作者(104)的一个或更多个附加反应，其中一个或更多个附加反应包含操作者(104)的附加生物反馈数据，附加生物反馈数据对应于与针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应的交互；以及将一个或更多个反应和一个或更多个附加反应存储(310)为操作者的模拟器(102)的操作的日志。
9.根据实施例8所述的系统(100)，方法还包含至少部分地基于操作者的模拟器(102)的操作的日志来更新(316)虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应。
10.根据实施例8或9中任一项所述的系统(100)，其中模拟器(102)还包含教员站(114)，并且其中方法还包含经由教员站(114)从教员(112)接收(314)输入，其中教员(112)包括监管模拟器(102)的人或计算机，并且其中针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应至少部分地基于来自教员(112)的输入。
11.根据实施例8-10中任一项所述的系统(100)，方法还包括至少部分地基于操作者的模拟器(102)的操作的日志向操作者生成训练概要。
12.根据实施例11所述的系统(100)，方法(300，400)还包含：将一个或更多个反应和一个或更多个附加反应与模拟器(102)的操作标准比较(406)；至少部分地基于比较确定(408)确定操作者的模拟器(102)的操作的表现评定；以及将表现评定提供(414)为训练概要的一部分。
13.根据实施例8-12中任一项所述的系统(100)，其中机组人员模拟器(108)包含仿生机器人、虚拟现实显示器和全息显示器中的至少一个。
14.根据实施例8-13中任一项所述的系统(100)，其中生物反馈数据和附加生物反馈数据包含捕获的操作者(104)的面部姿态、捕获的操作者(104)的言语以及捕获的操作者(104)的行为和生理反应。
15.一种存储用于使一个或更多个处理器执行方法(300)的指令的非暂时性计算机可读介质(510)，方法包含在航空器模拟器中生成(304)真人大小的虚拟机组人员的视觉、听觉和其它感官描绘，其中虚拟机组人员模拟航空器的机组人员的操作动作以及行为和生理反应；采集(308)表示正被模拟的航空器的状态的数据和使用航空器模拟器的操作者的一个或更多个反应，其中一个或更多个反应包含与操作者相关的生物反馈数据；响应于表示航空器的状态的数据和一个或更多个反应中的至少一个，生成(306)针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应；采集(308)表示正被模拟的航空器的新状态的附加数据和操作者的一个或更多个附加反应，其中一个或更多个附加反应包含操作者的附加生物反馈数据，附加生物反馈数据对应于与针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应的交互；以及将一个或更多个反应和一个或更多个附加反应存储(310)为操作者的航空器模拟器的操作的日志。
16.根据实施例15所述的非暂时性计算机可读介质(510)，方法还包含至少部分地基于操作者的航空器模拟器的操作的日志来更新(316)虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应。
17.根据实施例15或16中任一项所述的非暂时性计算机可读介质(510)，方法还包含从教员接收(314)输入，其中教员包含监督航空器模拟器的人或计算机，并且其中针对虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应至少部分地基于来自教员的输入。
18.根据实施例15-17中任一项所述的非暂时性计算机可读介质(510)，方法还包含至少部分地基于操作者的航空器模拟器的操作的日志来向操作者提供训练概要。
19.根据实施例18所述的非暂时性计算机可读介质(510)，方法(300，400)还包含：将一个或更多个反应和一个或更多个附加反应与航空器模拟器的操作标准比较(406)；至少部分地基于比较确定(408)航空器模拟器的操作者的表现评定；以及将表现评定提供(414)为训练概要的一部分。
20.根据实施例15-19中任一项所述的非暂时性计算机可读介质(510)，其中生物反馈数据和附加生物反馈数据包含捕获的操作者的面部姿态、捕获的操作者的言语以及捕获的操作者的行为和生理反应。
虽然已经参照实施方式的示例来描述这些教导，但是本领域技术人员将能够对所描述的实施方式进行各种修改，而不偏离真正的精神和范围。本文使用的术语和描述仅以说明的方式列出，并不意味着作为限制。特别是，虽然这些过程已被举例描述，但过程的各个阶段可以以不同于所示的顺序或同时被执行。此外，在详细说明中使用术语“包括(including、includes)”、“具有(having、has、with)”或其变体的情况下，这些术语意在以类似于术语“包含(comprising)”的方式包括在内。如本文所用，关于项目清单，诸如A和B的术语“一个或更多个”和“至少一个”指仅A、仅B或A和B，此外，除非另有规定，术语“组(set)”应被解释为“一个或更多个”。另外，术语“耦合(couple、couples)”的意思是间接或直接连接。因此，如果第一装置耦合到第二装置，则该连接可以通过直接连接，或可以通过经过其他装置、组件和连接的间接连接。

Claims (12)

1.一种用于沉浸式模拟器的方法(300)，其包含：
在航空器模拟器中生成(304)真人大小的虚拟机组人员的视觉、听觉和其他感官描绘，其中所述虚拟机组人员模拟航空器的机组人员的操作动作以及行为和生理反应；
采集(308)表示正被模拟的所述航空器的状态的数据和操作者在所述航空器模拟器的操作期间的一个或更多个反应，其中所述一个或更多个反应包含与所述操作者相关的生物反馈数据；
响应于表示所述航空器的所述状态的所述数据和所述一个或更多个反应中的至少一个，生成(306)针对所述虚拟机组人员的一个或更多个模拟的操作动作或模拟的行为和生理反应；
采集(308)表示正被模拟的所述航空器的新状态的附加数据和所述操作者的一个或更多个附加反应，其中所述一个或更多个附加反应包含所述操作者的附加生物反馈数据，所述操作者的附加生物反馈数据对应于与针对所述虚拟机组人员的所述一个或更多个模拟的操作动作或模拟的行为和生理反应的交互；以及
将所述一个或更多个反应和所述一个或更多个附加反应存储(310)为所述操作者的所述航空器模拟器的操作的日志；
其中所述生物反馈数据包括表示所述操作者的潜意识回应的数据，其包括：气味数据、脑电波数据、微面部表情数据、毛细血管扩张数据或皮电传导数据中的一个或多个。
2.根据权利要求1所述的方法(300)，所述方法还包含：
至少部分地基于所述操作者的所述航空器模拟器的操作的所述日志，更新(316)所述虚拟机组人员的所述一个或更多个模拟的操作动作或模拟的行为和生理反应。
3.根据权利要求1所述的方法，所述方法还包含：
接收(314)来自教员的输入，其中所述教员包含监督所述航空器模拟器的人或计算机，并且其中针对所述虚拟机组人员的所述一个或更多个模拟的操作动作或模拟的行为和生理反应至少部分地基于来自所述教员的所述输入。
4.根据权利要求1所述的方法(300)，所述方法还包含：
至少部分地基于所述操作者的所述航空器模拟器的操作的所述日志生成(318)训练概要。
5.根据权利要求4所述的方法(300，400)，所述方法还包含：
将所述一个或更多个反应和所述一个或更多个附加反应与所述航空器模拟器的操作标准比较(406)；
至少部分地基于所述比较，确定(408)所述操作者的所述航空器模拟器的操作的表现评定；以及
将所述表现评定提供(414)为所述训练概要的一部分。
6.根据权利要求5所述的方法，其中所述表现评定至少部分地基于来自教员的输入，并且其中所述教员包含人或计算机。
7.根据权利要求1所述的方法，其中所述生物反馈数据和所述附加生物反馈数据还包含采集的所述操作者的面部姿势、捕获的所述操作者的言语，以及捕获的所述操作者的行为和生理反应。
8.一种用于沉浸式模拟器的系统(100)，其包含：
模拟器(102)，其被配置为模拟飞行器或交通工具的操作，所述模拟器(102)包含：
一个或更多个控制器和显示器(106)，
一个或更多个生物反馈传感器(110)，其被配置为捕获表示操作者的潜意识回应的信号，以及
机组人员模拟器(108)，其被配置为模拟飞行器或交通工具的乘客或机组人员；以及
一个或更多个处理器(502)，其耦合到所述模拟器(102)，并被配置为执行存储在一个或更多个存储器装置(504)中的指令，以执行包含权利要求1-7中的任一项的方法(300)。
9.根据权利要求8的所述的系统(100)，其中所述模拟器(102)还包含教员站(114)，并且其中所述方法还包含：
通过所述教员站(114)接收(314)来自教员(112)的输入，其中所述教员(112)包含监督所述模拟器(102)的人或计算机，并且其中针对所述虚拟机组人员的所述一个或更多个模拟的操作动作或模拟的行为和生理反应至少部分地基于来自所述教员(112)的所述输入。
10.根据权利要求8所述的系统(100)，其中所述机组人员模拟器(108)包含仿生机器人、虚拟现实显示器和全息显示器中的至少一个。
11.根据权利要求8所述的系统(100)，其中所述生物反馈数据和所述附加生物反馈数据包含捕获的所述操作者(104)的面部姿势、捕获的所述操作者(104)的言语和捕获的所述操作者(104)的行为和生理反应。
12.一种非暂时计算机可读介质(510)，其存储用于引起一个或更多个处理器执行根据权利要求1-7中的任一项所述的方法(300)的指令。
CN201810232365.5A 2017-03-29 2018-03-21 用于沉浸式模拟器的系统和方法 Active CN108694874B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/472,645 US10395551B2 (en) 2017-03-29 2017-03-29 Systems and methods for an immersive simulator
US15/472,645 2017-03-29

Publications (2)

Publication Number Publication Date
CN108694874A CN108694874A (zh) 2018-10-23
CN108694874B true CN108694874B (zh) 2022-06-03

Family

ID=61526596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810232365.5A Active CN108694874B (zh) 2017-03-29 2018-03-21 用于沉浸式模拟器的系统和方法

Country Status (4)

Country Link
US (2) US10395551B2 (zh)
EP (1) EP3382676B1 (zh)
JP (1) JP7158876B2 (zh)
CN (1) CN108694874B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11579744B2 (en) * 2017-06-21 2023-02-14 Navitaire Llc Systems and methods for seat selection in virtual reality
JP7298932B2 (ja) 2018-02-02 2023-06-27 アクセス ヴァーチャル， エルエルシー 仮想現実に基づくパイロット訓練システム
WO2019164737A1 (en) 2018-02-20 2019-08-29 International Flavors & Fragrances Inc. Device and method for integrating scent into virtual reality environment
JP6954198B2 (ja) * 2018-03-23 2021-10-27 株式会社Ｊｖｃケンウッド 端末装置、グループ通信システム、及びグループ通信方法
US10565799B2 (en) * 2018-06-21 2020-02-18 Lockheed Martin Corporation Automatic cockpit identification and augmented image placement
US11688297B2 (en) * 2018-11-19 2023-06-27 The Boeing Company Virtual reality with virtualization in trainers and test environments
EP3739559B1 (en) * 2019-05-13 2024-03-20 Ratier-Figeac SAS Cockpit controls simulation
US20210004749A1 (en) * 2019-07-02 2021-01-07 The Boeing Company Systems and methods for remotely monitoring an aircraft
JP7058300B2 (ja) * 2020-05-26 2022-04-21 三菱航空機株式会社 航空機に関する評価支援システム
RU203238U1 (ru) * 2020-10-16 2021-03-29 Федеральное государственное автономное образовательное учреждение высшего образования "Южно-Уральский государственный университет (национальный исследовательский университет)" ФГАОУ ВО "ЮУрГУ (НИУ)" Аппаратно-программный комплекс исследования резервов внимания летчика вертолета при применении очков ночного видения
RU203239U1 (ru) * 2020-10-16 2021-03-29 Федеральное государственное автономное образовательное учреждение высшего образования "Южно-Уральский государственный университет (национальный исследовательский университет)" ФГАОУ ВО "ЮУрГУ (НИУ)" Устройство для исследования резервов внимания летчика вертолета при применении очков ночного видения
US20220335850A1 (en) * 2021-04-16 2022-10-20 Paladin AI Inc. Automatic inferential pilot competency analysis based on detecting performance norms in flight simulation data
CN114170865B (zh) * 2021-11-18 2023-12-12 南京航旭机电设备有限公司 一种可变人感控制系统
US20230267849A1 (en) * 2022-02-23 2023-08-24 The Boeing Company Recorded physical interaction playback
CN114638442B (zh) * 2022-05-19 2022-09-02 珠海翔翼航空技术有限公司 面向个体差异的飞行训练方案生成系统、方法及设备
CN116594858A (zh) * 2022-12-30 2023-08-15 北京津发科技股份有限公司 一种智能座舱人机交互测评方法及系统
CN116824954B (zh) * 2023-07-03 2024-03-01 中国民用航空飞行学院 眼动+飞行数据的模拟机飞行训练讲评系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007109507A3 (en) * 2006-03-17 2008-09-25 Commercial Level Simulations L Pc-based simulator training system and methods

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10333543A (ja) * 1997-06-04 1998-12-18 Mitsubishi Electric Corp 訓練装置
JP2004061532A (ja) * 2002-07-24 2004-02-26 Hitachi Ltd 人間系シミュレータを備えた作業訓練システム
US20070264617A1 (en) 2006-05-12 2007-11-15 Mark Richardson Reconfigurable non-pilot aircrew training system
US9022786B2 (en) 2008-10-14 2015-05-05 The Boeing Company Flight crew training system
US8616891B2 (en) 2009-08-26 2013-12-31 Psych-Tech, Inc. Architecture for delivering relational skills training content
US9754506B2 (en) 2015-03-31 2017-09-05 Cae Inc. Interactive computer program with virtualized participant

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007109507A3 (en) * 2006-03-17 2008-09-25 Commercial Level Simulations L Pc-based simulator training system and methods

Also Published As

Publication number Publication date
JP2018205696A (ja) 2018-12-27
EP3382676B1 (en) 2021-04-07
US20190347952A1 (en) 2019-11-14
US10395551B2 (en) 2019-08-27
CN108694874A (zh) 2018-10-23
JP7158876B2 (ja) 2022-10-24
US20180286269A1 (en) 2018-10-04
US10685581B2 (en) 2020-06-16
EP3382676A1 (en) 2018-10-03

Similar Documents

Publication Publication Date Title
CN108694874B (zh) 用于沉浸式模拟器的系统和方法
US10685582B2 (en) Adaptive training system, method and apparatus
US9302393B1 (en) Intelligent auditory humanoid robot and computerized verbalization system programmed to perform auditory and verbal artificial intelligence processes
Sarter et al. How in the world did we ever get into that mode? Mode error and awareness in supervisory control
Zhu et al. AR-mentor: Augmented reality based mentoring system
EP2933070A1 (en) Methods and systems of handling a dialog with a robot
US20120139828A1 (en) Communication And Skills Training Using Interactive Virtual Humans
US10957216B2 (en) Assessing a training activity performed by a user in an interactive computer simulation
Srinivasan et al. Review of virtual reality (VR) applications to enhance chemical safety: from students to plant operators
CA3000443C (en) Standard operating procedures feedback during an interactive computer simulation
AU2019272048A1 (en) Adaptive training system, method and apparatus
Di Vincenzo et al. A Natural Human-Drone Embodied Interface: Empirical Comparison With a Traditional Interface
KR20210028370A (ko) 가상현실 기반 지능형 표준화환자 훈련 및 평가 시스템
Merlevede et al. Expectations of train drivers for innovative driving cabin
Clement et al. Assessment concept for trustvehicles
Xu Modeling Pilot Flight Performance on Pre-flight and Take-off Tasks with A Cognitive Architecture
Shevchenko Design of a VR application for pilots as a complementary tool for procedure training of Abnormal Operations
Miranda et al. Development of simulation interfaces for evaluation task with the use of physiological data and virtual reality applied to a vehicle simulator
Billman et al. The Effects of Training and Flight Director Use on Pilot Monitoring Performance: A Sensemaking Approach
Sen et al. Understanding Human Behaviour In Virtual Reality Environments
Villanueva Fernández Development of an emotion-based driving assistant to improve safety
Harrivel et al. CAST SE211 Training for Attention Management Final Report
Durand et al. ISAE-SUPAERO Conference paper
Lenné et al. Evolution of Simulators in Transportation Human Factors
Gatsoulis Performance metrics and human-robot interaction for teleoperated systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant