CN1214783A - 用时间指示标记以时间同步方式来恢复和显示多数据流的任务汇报系统和方法 - Google Patents

用时间指示标记以时间同步方式来恢复和显示多数据流的任务汇报系统和方法 Download PDF

Info

Publication number
CN1214783A
CN1214783A CN97193352.9A CN97193352A CN1214783A CN 1214783 A CN1214783 A CN 1214783A CN 97193352 A CN97193352 A CN 97193352A CN 1214783 A CN1214783 A CN 1214783A
Authority
CN
China
Prior art keywords
data stream
time
incident
mark
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN97193352.9A
Other languages
English (en)
Inventor
路易斯·G·内梅思
詹姆斯·W·布兰查德第三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Training Innovations Group LLC
Original Assignee
Training Innovations Group LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Training Innovations Group LLC filed Critical Training Innovations Group LLC
Publication of CN1214783A publication Critical patent/CN1214783A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/24—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer including display or recording of simulated flight path
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G09B19/165—Control of aircraft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/003—Simulators for teaching or training purposes for military purposes and tactics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
    • G09B9/165—Condition of cabin, cockpit or pilot's accessories

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Processing Or Creating Images (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • User Interface Of Digital Computer (AREA)
  • Debugging And Monitoring (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

提供一种事件的任务汇报系统和方法,用以记录与事件相关的各种数据流。每一数据流包括与事件中至少一个方面有关的时序信息。事件的观察者可以创建时间指示标志,用以在任务汇报时迅速重放该事件任一时刻发生的事情。被记录的数据流可以从标记时刻开始,其后按时间顺序继续,并以时间同步方式被恢复并被显示。

Description

用时间指示标记以时间同步方式来恢复 和显示多数据流的任务汇报系统和方法
本发明总的涉及事件记录系统，更具体地，涉及任务汇报(debriefing)事件参与方的系统。
众所周知对整个航空工业而言，在大量的空难事故中，飞行机组乘员失误是原因之一。然而在多人机组乘员的失误中，有关飞机驾驶的技术这方面的比例非常小。相反，他们失误中的绝大多数与机组乘员内贫乏的团队决策、无效的交流、不充分的领导，及拙劣的任务管理(总称为“人为因素”失误)有关。
六十年代末和七十年代早期开发了飞行模拟器，以提高飞行员在飞行技术方面的熟练程度。飞行模拟器为计算机控制的设备，它模拟飞机的真实飞行状况，并预先训练飞行员处理各种各样在实际飞行中会遭遇到的情况。航空工业很早就认识到为消除人为失误而提高飞行员熟练程度的重要性，并开始在飞行模拟器练习的同时进行技术和人为因素的训练。例如，起飞时发动机故障这种高压力的环境需要乘员间进行清晰而不含糊的交流。虽然这经常被当作一种技术演习，但它同时也需要飞行员、控制塔、机舱乘员之间精确的信息传递。
提高飞行员在人为因素方面的熟练程度，这方面的知识和技术被称为“座舱资源管理”(CRM)训练。CRM训练通常包括对飞行模拟器训练练习情况录象，以便飞行员在之后的任务汇报时重放和观看。装有录象机的模拟器能帮助飞行员在各种紧急情况下提高他们的交流能力以及其他人为因素的技能。不幸的是，目前用来记录飞行模拟器练习的传统录象机(VCR)技术在任务汇报时仍常有不足。为了定位到录象带上被录事件的某一特定部分，和对某一部分多次观看，不得不经常反绕和快进。由于在录象带的不同部位间快速来回跳转非常困难，因此通常导致一定程度的时间滞后。为汇报目的而使用传统VCR技术来记录飞行模拟器训练练习的另一不利之处在于很难用录象机同步地捕获模拟器中各种指示器和刻度盘指示的飞行数据，及飞行员的活动。
故此本发明的目的是提供改进的任务汇报系统和方法。
本发明的另一目的是提供改进的任务汇报系统和方法，以克服传统VCR技术的限制和缺陷。
根据本发明，通过用于记录和重放在模拟事件或真实事件中生成的各种类型的信息的事件任务汇报系统和方法，这些目标以及其他目标已经达到。提供用以记录多个与事件相关的数据流的设备，每一数据流包括至少与该事件中某一方面有关的时序信息。被记录的数据流包括事件参与者活动的录象，和事件参与者语音交流的录音，还包括各种事件监视仪表的仪表数据流，这些仪表包括那些对产生飞机飞行动画而言是必需的仪表。
此处提供的设备使事件中的任意时刻均能用时间指示标记来表示，该时间指示标记可以由观察者生成或由任务汇报系统自动生成。事件观察者可以建立时间指示标记以方便汇报时回忆在该事件中任一时刻发生的事情。最好通过计算机显示屏给观察者显示各种预定时间指示标记的类别和子类别的菜单，这些时间标记可以被选择，并与事件相关联。类似地，任务汇报系统也可以如此构造：当在事件中遇到某些参数时就自动建立时间指示标记。
与事件有关的任一方面均可用来定义时间指示标记，包括但不限于：事件中与参与者活动有关的类别(如CRM)，以及与事件的技术方面有关的类别。通过将事件中的某一时刻与时间指示标记中的某一特定类别相关联，使汇报时能有选择地重放所记录的各种数据流。例如，若事件期间某一时刻事件参与者间的交流正常(或不正常)，就从菜单内选取某预定义的时间指示标记，并将它与各个被记录的数据流相关联。在汇报中，事件参与者可以从这一时间指示标记或附近开始，按时间同步方式观看数据流。未预先定义的时间指示标记也可以被建立并与被记录的数据流相关联。例如，若在事件中发生了某种情况，值得在汇报时观看，但并不没有落入任何预定类别，观察者就可以任意创建一个时间指示标记。
被记录的数据流被恢复并按时间同步方式显示。具体地，被记录数据流可以按时间同步方式，从标记时间指示的起始位置开始，并随后按时间顺序被恢复和显示。汇报时，用户可以使用多个计算机屏幕，从其中选择特定的时间指示标记。例如，可以列出一事件中建立的全部标记列表。或者，来自一事件中与时间指示标记相关联的各种数据，也可以通过显示给用户供选择。通过选择某特定时间指示标记，从该选择的时间指示标记所表示的时刻或附近开始，按时间同步循序重放各种被记录数据流。
多区域的显示器被用来按时间同步方式显示视频和仪表数据流。事件监视仪表和其他数据以动画方式显示。音频数据流在显示视频和仪表数据流时按时间同步方式播放。因此传统VCR技术的缺陷被本发明克服。按下按纽就能回顾被记录事件的任意部分，而不存在时间延迟。
本发明可以与飞机的飞行模拟器任务汇报系统和方法一起使用。飞行模拟器的数据以及装在模拟器驾驶舱上的录象机的数据都被传到计算机上，计算机屏幕设计成用来显示各种时间指示标记预定义类别。一位称作“监督飞行员”的训练观察模拟器练习期间乘员的交互活动，并从显示器上选择时间指示标记。这些时间指示标记可以与模拟飞行的各种方面相关联，包括技术和CRM方面。例如：若监督飞行员在模拟事件期间观察飞行员的行为，并希望在任务汇报时能够对此进行回顾，他或她就可以选择一个预定义的时间指示标记或创建一个未预先定义的标记，并将此标记与被记录的数据流相关联。
与任务汇报计算机相关的软件自动重现模拟器飞行，并将它与来自驾驶舱的视频音频信号连在一起，将数字化的录象、动画和所选仪表显示到位于任务汇报室的监视器上。在模拟器练习后的任务汇报期间，监督飞行员可以转到飞行期间的任一事件，并在单独一台监视器上为乘员确切显示驾驶舱内发生了什么，完成仪表动画以及飞行器和航线的多个视图等一切情况。语音识别软件也可以包括在其中，用来从模拟训练时乘员的交谈中搜寻选择的单词和短语。
本发明的优点在于它通过乘员在单个综合显示器上“重温”技术和人为因素表现方面的飞行经验，显著提高了训练效率和效果。本发明的任务汇报系统的另一个优点是机组乘员在训练练习后可以自我检查其表现。这可以排除监督飞行员的主观性，从而简单处理飞行乘员和模拟系统间的相互作用关系。还有一种附加优点是：本发明提高了监督飞行员简要指点、任务汇报和评估的标准化程度。
在本发明之前，录象带上的标记缺乏识别信息。监督飞行员知道有一个标记存在，但没有任何描述性信息与此标志相关连。本发明的时间指示标记使检索模拟器练习时发生的事件的回顾变得容易，特别是在汇报中重放练习的关键时刻。因为在模拟飞行练习中存在多种刺激(例如飞行仪表读数的动态变化、驾驶舱外视觉场景的变换，多种语音交流的发生，包括：铃、喇叭、飞行员之间以及与飞行交通控制人员之间的通讯)，使飞行员和监督飞行员很难在一次会议上回顾所有的事件和数据。飞行员和监督飞行员的认知过程不能吸收所有刺激，以便有效地训练机械技能和认知技能。
如上所述，本发明实现了如下系统和方法：1、按时间同步方式记录、标记、显示多种数据流；2、按时间同步方式记录、分类标记、并显示多种数据流；3、按时间同步方式记录、自动标记和显示多种数据流。这些方面可以单独使用或联合使用，以便在事件任务汇报时提高训练的效率和有效性。
本发明不限于记录和汇报模拟事件。许多“实际”事件也可以被记录，而事件的实际参与者用本发明进行汇报。例如，本发明的系统和方法可用于核电厂的控制室，医院的手术室，国家航空航天局(NASA)某次空间任务的控制中心，工厂的装配线以及其他一些既包含事件的技术方面又包含事件参与者之间交互活动关系的场所。在其潜在应用中本发明是一种强大的学习工具。
图1A示出了本发明记录、标记、恢复多数据流的操作。
图1B示出了本发明对事件中某一时刻指示进行标记的操作。
图1C示出了本发明通过时间指示标记来按时间同步方式恢复并显示多数据流的操作。
图2示出了本发明用于飞行模拟器时的硬件构造。
图3是本发明用于飞行模拟器时时间指示标记的树形菜单。
图4是本发明用于飞行模拟器时的综合汇报计算机显示器。
图5是任务汇报时从时间指示标记表中选择某一特定时间标记的显示屏。
图6是任务汇报时选择时间指示标记的另一种显示屏。
图7是本发明另一方面时间指示标记的层次菜单。
此后将结合视图详细描述本发明的优选实施例，本发明可以以一些不同的形式来实施，并不限于此中的实施例，提供这些实施例是希望能向本领域的专业人员完整全面地介绍本发明所涉及的每个方面。
参照1A，本发明的任务汇报操作包括记录与事件有关的多个数据流(块100)，在该事件中标记出一时间指示标记(块200)，通过标记时间指示按时间同步方式即时恢复和显示被记录数据流(块300)。该多个数据流可以包括视频、音频、事件监视和仪表数据流。该任务汇报系统能够使多个数据流数字化并使之同步，并在计算机屏幕上同时显示数据，并允许随时访问每一数据流中任意时刻的信息。
参照图1B描述对事件中某时间指示做标记的操作。事件的观察者可以将时间指示标记与被记录信息相关联，以使任务报告时的回顾更加容易。时间指示标记是一组数据，包括类另和子类别的标题，及标记创建时间的时间代码。最好是，多个预先定义的时间指示标记被按类别和各自下属子类别组织起来(块202和204)。显现给观察者的是一个计算机显示屏，其中包括多个菜单、窗口等，可以从中选择特定时间指示标记(块206)。时间代码被关联到所选的时间指示标记上(块208)。
例如，在一个包括多个交互的参与者的事件中，若观察者证明事件期间参与者的行为很好或很糟，就从计算机显示屏上选出预先定义的时间指示标记，并将一时间代码与选中时间标记相关联。在任务汇报时，事件参与者可以按时间同步方式从这一时间指示标记代表的时间，或从它附近开始观看数据流。也可以创建未预先设定的时间指示标记，并将它与被记录的数据流相关联。例如，若在事件中发生了什么值得在汇报时回顾的事，但并不符合预先确定的类别，观察者就能创建一个时间指示标记。此外，时间指示标记也可以自动生成(块210和212)。例如，某些事件可以独立于观察者触发对时间指示标记的创建。
参照图1C，描述根据标记的时间指示，按照时间同步方式恢复和显示被记录的数据流的操作。在事件任务汇报期间最好通过计算机显示屏为用户显示在事件期间创建的时间指示标记的列表(块302)。若用户选中某个时间指示标记(块304)则从时间指示标记代表的时间或附近开始按时间同步方式显示多个被记录的数据流(块306)。最好是，时间指示标记按类别显示。但是可以使用各种显示方式，从而方便用户选择时间指示标记。
本发明允许各种时间指示标记与多个数据流相关联，从而可以在任务汇报期间访问标记时刻的这些数据流。本发明还允许从多种类别中选择时间指示标记，包括被记录事件的技术方面和事件参与者的交互活动方面，本发明作为多种模拟事件的一种教学工具，特别是那些包括了多个参与者，而且真实事件的风险和费用都很高的情况，使用本发明很有益。根据本发明，适用于任务汇报系统的典型事件，包括但不限于：飞机驾驶、地基设备操作，包括：公共汽车、火车，外科手术、海事模拟、战争模拟。对于各种真实事件而言，特别是那些包括了事件的技术方面和多个参与者的事件，本发明作为一种教学工具也是很适用的。典型的真实事件场所包括但不限于：电厂控制室、医院手术室、空间局控制中心、作战指挥室、机场操作中心、航空运输控制设备、电视广播室、船桥、体育事件、谈判/斡旋室以及各种工业制造设备。
在一实施例中，本发明包括与飞机飞行模拟器一起使用的系统和方法。在飞行模拟器练习中，飞行员的表现通常用两部分来测试：技术熟练程度和人为因素或CRM熟练程度。飞行员素质的技术部分包括，但不限于，与飞机系统有关的知识和技能，正常、异常、紧急情况操作步骤，航空运输控制(ATC)过程；仪表飞行；以及导航和图表。飞行员素质的CRM部分包括，但不限于，交流技能；团队组建；命令和领导权使用的练习；决策；及资源、工作负荷、工作压力的管理。
本发明包括软件、硬件和从飞行模拟器及安装在模拟器舱内的录象机和麦克风处获取多个数据流的必要接口。来自飞行模拟器的数据包括飞行和发动机的仪表数据，以及其他产生动画式仪表和飞行器位置所需的数据。一般这些数据流以数字格式生成。另一方面，音频和视频数据流通常以模拟格式生成。本发明可以将模拟数据流转换成数字式数据流。更进一步，本发明能同步并存储这些数据流。本发明的一个重要方面在于能创建与被记录数据流相关联的各种时间指示标记。这些时间指示标记允许在任务汇报时虚拟地访问多个数据流。
在模拟飞行练习后的典型的飞行模拟器任务汇报会上，本发明在计算机监视器的一系列窗口中按时间同步方式显示数字化视频数据流和飞行仪表与飞机位置的动态动画。音频数据也与被显示的视频和动画数据流一起，按时间同步方式，在扬声嚣系统上播放。因此，任意时刻的飞机位置、仪表读数、乘员活动/交互活动均可非常容易地观看。在重放时，各种同步的数据流可以迅速快进、回倒到飞行练习的任一时刻，几乎不存在延迟。
参照图2，该图简要显示了本发明的优选硬件构成，它与飞行模拟器一起用做任务汇报系统。通常，任务汇报系统10的组成包括飞行模拟器驾驶室20，飞行模拟器主计算机30，监督飞行员接口40，标记系统50，音频和视频记录系统60，任务汇报计算机70，和任务汇报计算机的用户接口80。正如本领域技术人员所知，飞行员在飞行模拟器驾驶室20内进行飞行训练练习，驾驶室20由飞行模拟器主计算机30控制。飞行模拟器驾驶室20内的仪表一般是某特定飞机驾驶舱的复制品，由主计算机30进行计算机控制。对训练练习的控制通过监督飞行员接口40提供给监督飞行员。
在示例实施例中，飞行模拟器驾驶室20内装有多个麦克风，以便记录机组乘员之间的声者交流。在典型配置中，与驾驶舱广域麦克风、机长和第一长官的悬挂式麦克风、以及仪表盘装麦克风共同使用的还包括4个驾驶舱麦克风。音频混合器23将各麦克风的输入混合成单一声源。飞行员的动作由飞行模拟器舱20内的一台或多台录象机24记录。最好是，每一录象机24均是红外暗光摄像机。视频和音频放大器25放大在记录系统60和任务汇报室计算机70间长距离传输的视频和音频模拟数据流。从而有利于随后的数据流数字化。最好使用一交流声抑制器(hum-buckler)26来最大程度减少在记录系统60和任务汇报室计算机70间长距离传输时视频和音频模拟数据流的噪声。然而，本发明不限于模拟视频和音频记录设备。数字记录设备，包括电荷耦合器件(CCD)摄像机，也可以使用。
本发明将关键飞行信息和直接从模拟器获取的数字化音频和视频信息合在一起。该信息被立即在汇报室计算机70的可配置显示器上重现。在任务汇报时，监视器最好能提供可增强形势意识的任一有利位置点的追踪飞机视图。更可取地，任务汇报室计算机70是硅图形模型(Silicon GraphicsModel)R4000型，或等效机型，具有：音频和视频捕获和重放板；串行或以太网通讯端口；键盘；适用于小组观看的监视器；鼠标；至少4G(千兆)字节，最好在8G字节以上的数据存储容量。任务汇报计算机70上的软件执行下列任务；捕获和存储视频和音频数据流；存储飞行仪表数据流以及其他来自模拟器的数据流；存储来自标记系统个人计算机的数据；重放音频和视频数据流；以4D动画重放飞行模拟器数据。4D动画提供了从空间任一点观看三维(3D)动画的能力。最好是，计算机鼠标在物体周围任意点的移动将使用户能从空间中的这一点来观察物体。此外，提供可以使4D动画加速或减慢帧重放率的软件，以保持视频重放的同步。
还提供将模拟器飞行仪表的指示解码为“超常”的软件。术语“超常”指一旦发生就不会再发生的事情。例如，飞机超过最大限速，这就是“超常”。飞机的最大限速存储在计算机文件中。最大限速可以进一步用条件集来定义，如在某高度的最大限速。程序不断将模拟飞机的速度和此文件相比较，判断是否超过最大限速。若超过，则创建一个标记和一个“超常”。
通过鼠标驱动的用户界面，最好，通过各种启动和配置的菜单来维持对任务汇报计算机70的控制。此外，最好用户界面能有一个与VCR界面所用协议相似的面板，从而便于使用。例如屏幕上显示有“快进”，“回绕”，“播放”，“停止”按纽。最好能提供可以跳至上一个或下一个时间指示标记的按纽。用户在任务汇报时能简单地通过点击屏幕上的适当按钮来控制重放过程。所有在任务汇报计算机监视器上的窗口均为同步，以便在重放时与视频保持平衡。音频数据通过连在任务汇报计算机上的扬声器播放，并完全与视频和图形的显示同步。
参照图4，描述与飞行模拟器一起使用的任务汇报计算机显示器72的优选实施例。该显示器最好是35英寸的彩色监视器，并至少有四个不同窗口。也可以提供第五个窗口来显示时间指示标记列表。可配置的显示窗口可以随便放大，移动或缩小。在所描述的结构中，视频显示窗口73显示飞行员在模拟器练习时的数字化录象。飞机位置显示窗口74描述模拟飞行练习任一阶段从各种视点观看到的飞机位置。此外，可以在飞机位置显示窗口74的实际飞机位置上添加理想的飞机位置。飞机位置显示窗口74还可以显示相关信息，如下滑道(glide slope)和天气特征。仪表显示窗75包括所选飞机仪表的动画化显示，可以根据在模拟器上“飞行”的飞机机型和具体的模拟飞行练习情况重新配置。动画化仪表是对模拟器驾驶舱内实际仪表外观的精确复制。运种动画是动态的，所显示的各种仪表看起来是实时显示数据。例如，图4所示的地面速度指示计和高度计在重放模拟练习某一部分时给出连续的读数。
所有的显示窗口全都同步，使得动态仪表和飞行位置动画，以及飞行乘员活动的数字化音频和视频数据表示被记录练习中某时刻发生的情况。因为所有被显示的视频和仪表数据都是数字格式，所以可以即时访问被记录飞行练习的任一时刻。此外，正如下面将要更为详细地描述的，时间指示标记可以在飞行练习记录的不同时刻被监督飞行员创建，或被超常程序自动创建，或被模拟器自动创建，因此在任务汇报时，这些特定时刻就可以即时被访问。
在任务汇报中回放被记录数据流时，每一时间指示标记便于快速访问模拟飞行练习特定时刻所发生的事件。在任务汇报时，飞行员可以观察任何时间标记之前、当时和之后他们的行为，听到他们的交谈，观察飞行仪表和飞机位置。例如，可以从提前给定时间标记10秒开始重放被记录数据流。本发明还可以有很多其他重放选择，而不限于此处的描述。这些可能的重放选项为事件参与者创建了一种有价值的从真实或模拟事件中学习的工具。
标记系统50允许监督飞行员在模拟飞行练习时创建事件指示标记，并将它与表现因素的一个或多个类别相关联。最好是，标记系统50由含“触摸屏”的计算机控制，并放在飞行模拟器驾驶舱20中。触摸屏上使用的标记系统用户界面将在下面详细描述，这种设计能使监督飞行员易于使用。然而也可以使用非触摸屏的计算机监视器来呈现标记系统用户接口。包括键盘和鼠标在内的常规选择技术也可以用来创建时间指示标记。
标记系统50包括用于在标记系统显示器上建立主菜单和树形子菜单，并将时间标记数据传送到汇报室计算机60的软件。最好是，标记系统50通过以太网或串口端电缆连到汇报室计算机70上。此外，标记系统50使监督飞行员能用汇报室计算机70控制各种视频、音频和仪表数据流的记录。标记系统50指令任务汇报系统何时开始、停止和做标记。
在飞行模拟练习中，在标记系统的显示器上呈现给监督飞行员的是如图3上方所示的主菜单52，它包括下列时间指示标记类别：人为因素，技术，LOFT时间触发器，自动监测，及结束。如图3所示，主菜单52中呈现给监督飞行员的是每一类别下的子菜单54。每一子菜单最好包含多个预先定义的时间指示标记，它们可以按下述方式被选择。预先定义的时间指示标记和它们各自的类别和子类别能够以各种方式显示给用户，并不限于菜单形式。将时间指示标记的类别和子类别显示给用户的其他方法包括分立的窗口或图标。
时间指示标记被定义为一数据字段，包括主类别标题，子类别标题，汇报室计算机70接收到该标记时的时间代码索引。每个标记被选择后，时间指示标记数据被存储在汇报室计算机70上，标记系统50返回时间标记类别的主菜单，等待下一时间标记。
人为因素标记子类别包括，但不限于：“任务汇报”，“调查/判定/辨护”，“乘员自我评价”，“交流/决策”，“领导/伙伴关系”，“人际关系”，“准备/计划/警惕”，和“工作负荷管理”。这些子类别由联邦航空局(FAA)在乘员资源管理咨询通告(AC 120-51)上推荐，这里列出其全文作为参考。这些子类别是被世界范围航空训练部门做为标准、目标和模型的CRM项目，他们一直努力在这些方面达到熟练。下表1-8是对上述人为因素子类别中预定时间指示标记的描述。
表1
    任务汇报有效的任务汇报是有趣而且详尽的。它涉及协调、计划和问题。虽然汇报主要是机长的职责，但其他乘员也可以在相当大的程度上加入到计划制定中，并鼓励他们这样做。时间指示标记和描述任务汇报建立了一种开放式/交互式交流环境(例如，机长邀请提出问题或评论，并直接回答问题，耐心倾听，不去打断或“讨论”，不草草完成汇报，并作适当眼光接触)。汇报是交互式的，强调提问、评价和提供信息的重要性。汇报建立了一种“团队概念”(例如，机长使用“我们”的语言，鼓励所有的参加者，在飞行方面给予帮助。)汇报覆盖了与安全性和操作有关的项目。汇报确认潜在的问题，如天气，延迟和异常系统操作。汇报为乘员活动提供指南；指导工作量和乘员负荷的划分。汇报包括了机舱乘员，他们是团队的一部分。汇报希望能处理背离标准操作步骤的情况。汇报为自动系统的操作建立指南(如，当系统将失效时，规划的动作必须被表述和能知。)汇报指明了飞行员飞行和飞行员不飞行的职责，以及启用自动系统时的责任。
表2
    调查/辩护/判定这些行为涉及机组乘员在即使与他人发生中突时，也能采取被认为是最好的活动过程。时间指示标记和描述机组乘员在适当坚持的情况下陈述他们的意见，直至有一定的解决方法。“挑战与回应”环境被开发。鼓励机组乘员提问，并开诚布公地回答问题。必要时机组乘员从他人处寻求帮助。机组乘员询问自动系统的状态和程序，以证实对形势的认识。
表3
    乘员对决策和行为的自我评价这些行为涉及一组及/或单个机组乘员评价和汇报的有效性。其覆盖面包括成果，过程，和相关人员。评价可以在活动期间，及/或结束后进行。时间指示标记和描述在适当时间进行评价，如可以在工作负荷低或高时。评价处理乘员素质的积极和消极方面。评价是交互式地在全体乘员间进行。评价产生正面的学习经验。给出的反馈是具体的，客观的，有用的，及建设性的。评价被客观，无敌意地接受。
表4
    交流/决策这些行为涉及自由开放的交流。它们反映出机组乘员在适当时间提供必要信息的能力。(例如，启用检查清单及警告他人潜在的问题)。鼓励积极参与决策过程。决策被清楚地交流和理解。对活动和决策提出质疑成为惯例。时间指示标记和描述操作决议被清晰地陈述给其他乘员。乘员了解他们对决议的理解情况。安全“底线”被设立和交流。团队各乘员，包括参加飞行者和其他相关人员，参与“大图象”和行动策划。鼓励乘员陈述自己的思想，意见和建议。努力提供开放自由的氛围。表述和理解自动系统的初始项目和变更项目。
表5
    领导 伙伴关系/对任备的关注这些行为涉及适当的领导和伙伴关系。他们反映了乘员关注任务完成情况的程度。时间指示标记和描述所有可用资源均用于完成手边的工作。协调驾驶舱活动，在尊重权威和适当专断间建立可接受的平衡。形势需要时，果断行动。明确表明对操作达到最高效率的期望。认识到遵守标准操作惯例的必要性。不断关注和调整适合于操作形势的小组气候(例如，在低而非高工作负荷时，可以进行社交活动。)认识到压力和疲劳对表现的影响。有效管理任务所需时间。认识并管理操作自动系统时对资源的要求。当规划要求会减少对形势的认识或导致工作超负荷时，适当减少自动化水平。
表6
    人际关系/小组气候这些行为涉及人际关系的品质和驾驶舱内的普遍气候。时间指示标记和描述在压力状况下乘员保持平静。乘员表现出适应其他个性的感受和能力。乘员认识到心理压力和疲劳在自己和他人身上表现出的症状(例如，当他/她感到“见识片面”，并向团队寻求帮助时认识到，或当某乘员不进行交流时将他/她拉回到团队中时认识到。)在驾驶舱中的“基调”是友好，放松，和支持性的。在较少交流的时间里，乘员与他人一起检查，看他们在做什么。
表7
    准备/计划/警惕这些行为涉及乘员预期的紧急情况和所需的各种行为。优秀乘员总是“提前准备(ahead of the curve)”，并且一般看来很放松。他们适当关注需要完成的任务，并对新进展的反应不会过分迟缓。(在低工作负荷时，他们可能投入到少量的社交谈话中，但不会丧失他们必要的警惕性。)时间指示标记和描述演示并表达形势意识，例如，乘员共同参与正在发生事件的“模型”；积极监视所有仪表并与其余乘员分享相关信息；监视天气和交通状况，并与其余乘员分享相关信息；避免压力导致的“见识片面”，例如讲述或询问“大图象”。意识到压力等能降低警惕性的因素，并注意其他乘员素质的下降。在为预计形势或紧急形势做准备时，保持在“提前准备”。确保驾驶舱和机舱乘员了解计划。所有合适的乘员均参加计划的制定。在演习前为飞行管理计算机的规划留出足够时间。确保所有乘员均了解飞行管理系统的初始项目和变更项目。
表8
    工作负荷分配/避免分心这些行为涉及时间和工作负荷管理。它们反映出乘员怎样优先安排任务、分担工作负荷，以及避免从主要活动上分心。时间指示标记和描述当乘员意识到工作超负荷时，在内部或向其他人表明看法。按效率最高方式分配任务。明确参加工作负荷的分配。非操作因素如社会交互活动不允许干扰各人的职责。任务优先级被明确告知。次要操作任务(例如处理乘客要求和与公司通讯)被指定为优先，以便有足够的资源完成主要飞行职责。预计到由自动系统带来的可能的分心，并采取了适当的防护措施，包括适当减少或解除自动特性。
模拟器内的监督飞行员应观察这些子类别中的积极或消极行为。他或她通过创建上述时间指示标记之一，或其他的时间指示标记来指明这些观察结果。最好是，时间指示标记的创建是通过在触摸屏上触摸时间指示标记列表中的某一标记来完成。然而，时间指示标记可以由触摸屏以外的各种方式来创建。例如由鼠标或键盘。此外，还可以创建没有预先在特定类别或子类别中定义的时间指示标记。例如，在模拟事件中发生了某件值得在任务汇报时回顾的事情，但不属于特殊的预定类别。监督飞行员就可以创建一总的时间指示标记来标记此模拟事件中的特定时刻。
时间指示标记的技术子类别包括飞行员能够熟练操作的最小练习次数。这些子类别可能因国家而异，但其中大多数在航空领域是标准的。通常，这些子类别包括，但不限于，“Rejected Takeoff(拒绝起飞)”，”Vl Cut(Vl切断)”，“AreaArrival(到达空域)”，“NonPrecisionApproaches(非精确进场着陆)”，“Holding(等待)”，“ILS Approached(用ILS仪表着陆系统进场着陆)”，“Missed Approaches(进场失败)”，“Landings(看陆)”和”Windshear(风的切变)”。如图所示，存在各种这些子目录。如上所述，模拟器内的监督飞行员可以从任一子类别中选择时间指示标记。
“ LOFT”是“面向飞行训练的航线”(Line Oriented Flight Training)的简写。航空业已经不太关注在技术方面基于熟练程度的演习，而更趋向于模拟真实的航线操作。术语“航线操作”指的是有乘客的飞行。此处强调的是人为因素的训练和评价，而不仅仅是机械技能的训练、演示和评价。“ LOFT”事件触发器定义为一种被引入到模拟飞行练习中的外部事件，具体为设计用来引发人为因素的事件。例如在模拟飞行练习中，发动机油温计可能显示杂乱读数，分散飞行员的注意力。这种分散注意力可能会导致工作负荷管理或飞行员之间交流的失败。任务汇报时着重于处理这种分散注意力，从而尽管在飞行时存在分散注意力现象，仍能继续成功飞行。模拟器内的监督飞行员可以从任一“LOFT”类别和子类别中选择时间指示标记。
“自动检测”包括各种自动创建时间指示标记的子类别。典型的子类别包括当监督飞行员启动某些模拟器功能时，和当特定表现参数被超过时，例如当监督飞行员请求模拟器产生“windshear(风切变)”时，可以自动创建一个时间指示标记。另外一个例子是当飞机在特定高度超过特定空速的情况下被操作时，可以自动创建一个时间指示标记。自动创建的时间指示标记可以很多，希望用户能自行根据本发明来定制，以便适用于特定用途。
现在参照图5，描述在任务汇报期间，用来从时间指示标记列表83中选取特定时间指示标记的汇报室计算机显示屏。用户在标有“键入标记#”的字段中键入时间指示标记号，并按键盘或鼠标功能，以开始重放由所选标记指明的时刻处的各种数据流。屏幕82允许用户通过“下页”或“前页”或等效功能来查看时间标记列表的其他屏幕。或者在特定标记处经历的时间的显示可以与对从被选择的经历时间处重放的控制一起显示。
如图所示，时间代码84，代表某被记录飞行练习期间的某一时刻，被关联到每一时间指示标记上。此外，标记类别85和子类别86与各自的时间指示标记相关联。例如如图5所示，当时间等于特定飞行练习第10秒时，为“ Vl CUT”技术演习创建一个时间标记。通过在汇报时选择此标记，如图4所示的显示被从飞行练习第10秒开始，以数字格式、按时间同步方式重放飞行员、飞机位置和各种飞行仪表的录象。然而需要明白的是，本发明允许配置重放功能，因此它可以在10秒标记前、后或正在此时开始或结束。
现在参看图6，显示另一用来在任务汇报时选择时间指示标记的汇报室计算机显示屏88，其中所示屏幕显示飞行练习的某段飞行高度的曲线91。高度单位为英尺，沿Y轴89绘制，时间沿X轴90绘制。垂直标记92代表在模拟飞行练习期间标记系统50创建的时间指示标记。在模拟飞行练习期间，如前所述，该标记可以自动由模拟器创建，或由监督飞行员创建。
在任务汇报时，用户用鼠标在某标记上“单击”选中它。标记被选中后，如前所述，在汇报室计算机监视器上可以显示在那时刻所发生事件的细节。此外，当标记被选中时，最好能出现一个包含被选时间指示标记的数据的窗口。各个时间指示标记最好按标记类型用颜色编码，以方便识别。例如图6中垂直标记92的部分或全部可以为品红色，代表技术标记；图6中垂直标记92的部分或全部可以为红色，代表人为因素标记；图6中垂直标记92的部分或全部可以为黄色，代表“LOFT”事件触发器标记；图6中垂直标记92的部分或全部可以为白色，代表自动检测标记；此外，屏幕最好能具有缩放功能，以方便使用满是各种标记的屏幕。
参照图7，标记系统显示器的主菜单52可以包括语音识别类别。通过记录飞行员成员的语音交流而生成的音频数据流可以使用语音识别软件来进行分析。据该领域技术人员所知，音频数据流的词语、短句和其他部分可以使用语音识别软件来有选择地定位。更适宜地，可以提供关键词的搜索功能，以迅速将音频数据流定位到所选区域。例如在任务汇报时进行搜索来确定乘员在模拟练习中使用了“abort(停车)”或“fire(点火)”。被选择性定位的词语或音频数据流的其他部分可以用做时间指示标记，并可以被存储，以便以后取用。
根据本发明的另一方面，适当的飞行员行为的录象示例可以在模拟器练习时即时用到一特定事件上。例如，若会话时发生“CRM”错误，该系统如果在任务汇报时或在简述时被提示，将会提供一个适用于特定事件的乘员活动/交互活动的录象示例。
本发明的系统和方法可以用做各种事件的教学工具。例如，在外科手术中，可以用录象机记录该事件。此系统可以被重新配置，以便与录象机接口，以及与在手术中使用的仪器，如监视器、人工呼吸器等类似仪器接口。视频和/或音频信号被数字化并与仪器数据同步，然后被存储。接下来被存储的视频和仪器数据可以被显示，从而与各种仪器读数一起，显示外科手术小组的活动/交互活动。最终结果可以用做外科手术小组汇报和训练其他人时的教学辅助方式。
本发明是对目前任务汇报训练练习和真实事件所用工具的极大改进。本发明通过综合显示被训练者的技术和人为因素两方面的表现，从而使他们能“重温”，自己的训练和操作经历，因此提高了训练的效率和有效性。
前述是对本发明的描述，但并不限于如此构造。虽然描述了本发明的典型实施例，但本领域的技术人员已经充分意识到，可以对本发明的典型实施例做各种的修改，而实质上不会偏离本发明的新技术和优点。因而在限定权利要求时，这些修改希望能被包含在本发明的范围中。在权利要求书中，装置加功能的句式应该能够覆盖此中用于执行上述功能而使用的构造，不仅包括结构上的等效物，而且包括等效的结构。因此，需要明白的是以上是对本发明的描述，但其实现不限于所描述的具体实施例，并且对所描述实施例的修改，以及对其他实施例的修改，应被包含在所附权利要求的范围中。本发明由下述权利要求和其等效物来限定。

Claims (46)

1、一种事件任务汇报系统，包括：
用于记录与在一延续时间期间中发生事件有关的多个数据流的装置，每一数据流包括与该延续时间期间所发生事件至少一个方面有关的时序信息；
分类标记装置，用于标记该延续时间期间内的各个时间，并且将类别与所标记时间相关联；及
显示装置，响应于所述自动标记装置，用于根据在一选择类别中的自动标记的时间从所述数据流中恢复信息，并且显示从数据流中恢复的信息。
2、如权利要求1所述的事件任务汇报系统，其中所述关联的类别包括在所述事件中与参加人活动有关的类别。
3、如权利要求1所述的事件任务汇报系统，其中所述关联的类别包括在所述事件中与技术参数有关的类别。
4、如权利要求1所述的事件任务汇报系统，其中所述同步显示装置包括从标记时刻开始，其后按时间顺序继续，从所述数据流中恢复信息，并以时间同步方式显示从数据流中恢复的信息的装置。
5、如权利要求1所述的事件任务汇报系统，其中所述记录装置包括：用于生成事件参与者活动的视频数据流的视频记录装置；用于生成事件参与者语音交流的音频数据流的音频记录装置；用于生成事件监视仪表的仪表数据流的仪表记录。
6、如权利要求5所述的事件任务汇报系统，其中所述同步显示装置包括一含多个区域的显示器，所述视频和仪表数据流以时间同步方式显示到所述多个区域中的一个中。
7、如权利要求6所述的事件任务汇报系统，其中所述同步显示装置包括与所述视频和仪表数据流时间同步播放音频数据流的装置。
8、如权利要求7所述的事件任务汇报系统，其中所述播放装置还包括用于对所述音频数据流各部分进行选择性定位的语音识别装置。
9、如权利要求1所述的事件任务汇报系统，其中所述标记装置响应于用户对所述持续时间期间内时间的确定。
10、如权利要求1所述的事件任务汇报系统，其中所述同步显示装置包括显示选择仪表外观的装置。
11、一种事件任务汇报系统，包括：
用于记录与一延续时间期间所发生事件有关的多个数据流的装置，每一数据流包括与该延续时间期间所发生事件至少一个方面有关的时序信息；
自动标记装置，用于标记所述延续时间期间内的时间，其中所述诸方面中至少有一方面满足预定标准；及
显示装置，响应于所述自动标记，用于根据所述自动标记的时间从所述数据流中恢复信息，并且显示从数据流中恢复的信息。
12、如权利要求11所述的事件任务汇报系统，其中所述同步显示装置包括从标记时刻开始，其后按时间顺序继续，从所述数据流中恢复信息并以时间同步方式显示从数据流中恢复的信息的装置。
13、如权利要求11所述的事件任务汇报系统，其中所述记录装置包括：
用于生成事件参与者活动的视频数据流的视频记录装置；
用于生成事件参与者语音交流的音频数据流的音频记录装置；以及
用于生成各种事件监视仪表数据流的仪表记录。
14、如权利要求13所述的事件任务汇报系统，其中所述同步显示装置包括一含多个区域的显示器，其中所述视频和仪表数据流以时间同步方式呈现到所述多个区域中的一个内。
15、如权利要求14所述的事件任务汇报系统，其中所述同步显示装置包括将所述音频数据流和所述视频和仪表数据流同步显示的装置。
16、如权利要求11所述的事件任务汇报系统，还包括用于标记所述延续时间期间内的时间，并且将各标记时间与类别关联的分类标记装置。
17、如权利要求11所述的事件任务汇报系统，其中所述同步显示装置包括显示所选仪表外观的装置。
18、一种飞机飞行模拟器汇报系统，包括：
用于模拟飞机飞行的飞机飞行模拟器；
记录与模拟飞机飞行有关的多个数据流的装置，每一数据流包括与模拟飞机飞行至少其中一个方面有关的时序信息；
分类标记装置，用于标记模拟飞机飞行期间的时间，和将类别与各标记时间关联起来；
显示装置，响应于所述标记装置，用于按照所选类别中的各标记时间从所述数据流中恢复信息，并且显示为所选类别中的标记时间从所述数据流中恢复的信息。
19、如权利要求18所述的飞机飞行模拟器汇报系统，其中所述被关联的类别包括在所述模拟飞机飞行中与参加人活动有关的类别。
20、如权利要求18所述的飞机飞行模拟器汇报系统，其中所述被关联的类别包括在所述模拟飞机飞行中与技术参数有关的类别。
21、如权利要求18所述的飞机飞行模拟器汇报系统，其中所述同步显示装置包括从标记时刻开始，其后按时间顺序继续，从所述数据流中恢复信息并以时间同步方式显示从数据流中恢复的信息的装置。
22、如权利要求18所述的飞机飞行模拟器汇报系统，其中所述记录装置包括：
用于生成事件参与者活动的视频数据流的视频记录装置；
用于生成事件参与者语音交流的音频数据流的音频记录装置；以及
用于生成各种事件监视仪表数据流的仪表记录。
23、如权利要求22所述的飞机飞行模拟器汇报系统，其中所述同步显示装置包括一含多个区域的显示器，所述视频和仪表数据流被按时间同步方式显示到所述多个区域中的一个内。
24、如权利要求23所述的飞机飞行模拟器汇报系统，其中所述同步显示装置包括将所述音频数据流和所述视频和仪表数据流同步播放的装置。
25、如权利要求24所述的飞机飞行模拟器汇报系统，其中所述播放装置还包括用来对所述音频数据流各部分选择性定位的语音识别装置。
26、如权利要求18所述的飞机飞行模拟器汇报系统，其中所述标记方式响应于用户对所述模拟飞机飞行期间内时间的确定。
27、如权利要求18所述的飞机飞行模拟器汇报系统，其中所述同步显示装置包括显示所选飞机飞行仪表外观的装置。
28、一种事件任务汇报方法，包括如下步骤：
记录多个与在延续时间期间内发生的事件相关的数据流，每一数据流包括与在延续时间期间内所发生事件的至少一个方面相关的时序信息；
自动标记延续时间期间内的时间，其中在所述方面中至少有一个方面满足预定标准；及
根据自动标记的时间从所述数据流中恢复信息，并且显示从数据流中以同步方式恢复的信息。
29、如权利要求28所述的事件任务汇报方法，其中所述根据自动标记的时间从所述数据流中恢复信息的步骤包括从标记时刻开始，其后按时间顺序继续，从所述数据流中恢复信息，并以时间同步方式显示从数据流中恢复的信息。
30、如权利要求28所述的事件任务汇报方法，其中所述记录各种与事件相关数据流的步骤包括：
生成事件参与者活动的视频数据流；
生成事件参与者语音交流的音频数据流；以及
生成各种事件监视仪表数据流。
31、如权利要求30所述的事件任务汇报方法，其中所述恢复并显示被恢复信息的步骤包括：以时间同步方式将所述视频和仪表数据流显示到多个显示区域中的一个内。
32、如权利要求31所述的事件任务汇报方法，其中还包括将音频数据流和所述被显示的视频和仪表数据流同步播放的步骤。
33、如权利要求32所述的事件任务汇报方法，其中所述播放步骤还包括对所述音频数据流的语音部分选择性定位的步骤。
34、如权利要求28所述的事件任务汇报方法，其中所述自动标记延续时间期间内的时间的步骤还包括：
将类别与各标记时间相关联；以及
按照所选类别中的标记时间从所述数据流中恢复信息，并且显示按照所选类别中的标记时间从所述数据流中恢复的信息。
35、如权利要求34所述的事件任务汇报方法，其中所述关联类另的步骤包括将与所述事件参与者的活动有关的类别与标记时间相关联。
36、如权利要求34所述的事件任务汇报方法，其中所述关联类别的步骤包括将与所述事件的技术参数有关的类别与标记时间相关联。
37、一种飞机飞行模拟器练习的任务汇报方法，包括：
模拟飞机飞行；
记录与模拟飞机飞行有关的多个数据流，每一数据流包括与模拟飞机飞行至少其中一个方面有关的时序信息；
标记模拟飞机飞行期间的时间，并将一类别与被标记时间关联起来；
按照所选类别中的标记时间从所述数据流中恢复信息，并且显示按照所选类别中的标记时间从所述数据流中恢复的信息。
38、如权利要求37所述飞机飞行模拟器练习的任务汇报方法，其中所述依照自动标记的时间从所述数据流中恢复信息的步骤包括从标记时刻开始，其后按时间顺序继续，从所述数据流中恢复信息，并以时间同步方式显示从数据流中恢复的信息。
39、如权利要求37所述的飞机飞行模拟器练习的任务汇报方法，其中所述记录多个与事件相关数据流的步骤包括：
生成飞行模拟练习参与者活动的视频数据流；
生成飞行模拟练习参与者语音交流的音频数据流；以及
生成各种飞行模拟练习监视仪表的仪表数据流。
40、如权利要求39所述的飞机飞行模拟器练习的任务汇报方法，其中所述恢复并显示被恢复信息的步骤包括：按时间同步方式将所述视频和仪表数据流显示到所述众多显示区域中的一个内。
41、如权利要求40所述的飞机飞行模拟器练习的任务汇报方法，其中还包括将音频数据流和所述被显示的视频和仪表数据流同步播放的步骤。
42、如权利要求41所述的飞机飞行模拟器练习的任务汇报方法，其中所述播放步骤还包括对所述音频数据流的语音部分选择性定位的步骤。
43、如权利要求37所述的飞机飞行模拟器练习的任务汇报方法，其中所述自动标记延续时间期间内时间的步骤还包括：
将一类别与被标记时间关联；以及
按照所选类别中的标记时间从所述数据流中恢复信息，并且显示按照所选类别中的标记时间从所述数据流中恢复的信息。
44、如权利要求43所述的飞机飞行模拟器练习的任务汇报方法，其中所述关联类别的步骤包括将与所述飞行模拟器练习参与人的活动有关的类别与各标记时间相关联。
45、如权利要求43所述的飞机飞行模拟器练习的任务汇报方法，其中所述关联类别的步骤包括将与所述飞行模拟器练习的技术参数有关的类别与各标记时间相关联。
46、如权利要求37所述的飞机飞行模拟器练习汇报方法，还包括：标记所述延续时间期间内的时间，其中所述方面中至少有一个方面满足预定标准；以及
按照所述自动标记时间从所述数据流中恢复信息，并且显示从所述数据流中恢复的信息。
CN97193352.9A 1996-03-12 1997-03-07 用时间指示标记以时间同步方式来恢复和显示多数据流的任务汇报系统和方法 Pending CN1214783A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/614,337 1996-03-12
US08/614,337 US5826206A (en) 1996-03-12 1996-03-12 Debriefing systems and methods for retrieving and presenting multiple datastreams with time indication marks in time synchronism

Publications (1)

Publication Number Publication Date
CN1214783A true CN1214783A (zh) 1999-04-21

Family

ID=24460819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN97193352.9A Pending CN1214783A (zh) 1996-03-12 1997-03-07 用时间指示标记以时间同步方式来恢复和显示多数据流的任务汇报系统和方法

Country Status (11)

Country Link
US (2) US5826206A (zh)
EP (1) EP0886848B1 (zh)
JP (1) JP2001500981A (zh)
CN (1) CN1214783A (zh)
AT (1) ATE240572T1 (zh)
AU (1) AU709627B2 (zh)
BR (1) BR9708182A (zh)
CA (1) CA2248010C (zh)
DE (1) DE69721976T8 (zh)
IL (1) IL125764A (zh)
WO (1) WO1997034277A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044513B (zh) * 2004-06-01 2010-05-12 通用电气航空系统有限责任公司 对多格式时基文件记录及回放的时间线随机访问
CN103023934A (zh) * 2011-09-23 2013-04-03 中兴通讯股份有限公司 虚拟终端系统和虚拟终端系统中的多流业务同步方法
CN104969277A (zh) * 2013-01-31 2015-10-07 波音公司 飞行员评估系统
CN103648010B (zh) * 2013-11-28 2017-01-11 陕西千山航空电子有限责任公司 一种飞行数据及多路音视频数据同步回放方法
CN110111669A (zh) * 2019-04-29 2019-08-09 江苏安全技术职业学院 一种安全生产事故应急报告训练系统
CN112528085A (zh) * 2020-12-09 2021-03-19 中国航空工业集团公司沈阳飞机设计研究所 一种基于标记信息的数据快速卸载方法
CN112565874A (zh) * 2020-12-09 2021-03-26 中国航空工业集团公司沈阳飞机设计研究所 一种基于标记信息的视频回放方法

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020091850A1 (en) 1992-10-23 2002-07-11 Cybex Corporation System and method for remote monitoring and operation of personal computers
WO1996027983A1 (en) * 1995-03-07 1996-09-12 Interval Research Corporation System and method for selective recording of information
US5893062A (en) 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US6263507B1 (en) 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
JP3988205B2 (ja) * 1997-05-27 2007-10-10 ソニー株式会社 映像信号記録再生装置、映像信号記録再生方法、映像信号再生装置及び映像信号再生方法
US5978715A (en) * 1997-10-15 1999-11-02 Dassault Aviation Apparatus and method for aircraft display and control
US6120298A (en) * 1998-01-23 2000-09-19 Scientific Learning Corp. Uniform motivation for multiple computer-assisted training systems
US7174083B1 (en) * 1998-12-30 2007-02-06 Xerox Corporation Systems and methods for using structured representations to index recordings of activity
US6825875B1 (en) * 1999-01-05 2004-11-30 Interval Research Corporation Hybrid recording unit including portable video recorder and auxillary device
US6934461B1 (en) * 1999-01-05 2005-08-23 Interval Research Corporation Low attention recording, with particular application to social recording
US7155735B1 (en) 1999-10-08 2006-12-26 Vulcan Patents Llc System and method for the broadcast dissemination of time-ordered data
US6757682B1 (en) 2000-01-28 2004-06-29 Interval Research Corporation Alerting users to items of current interest
US7194186B1 (en) * 2000-04-21 2007-03-20 Vulcan Patents Llc Flexible marking of recording data by a recording unit
JP3380212B2 (ja) * 2000-05-18 2003-02-24 明宏 川村 多重聴取訓練装置及び多重聴取訓練用記録媒体
US20020016719A1 (en) * 2000-06-19 2002-02-07 Nemeth Louis G. Methods and systems for providing medical data to a third party in accordance with configurable distribution parameters
US20020123671A1 (en) * 2000-08-31 2002-09-05 Haaland Peter D. Method and apparatus for monitoring biological properties
JP2002342645A (ja) * 2001-05-15 2002-11-29 Ntt Docomo Inc 航空機運行情報提供装置、航空機運行情報提供方法、航空機運行情報提供プログラム、及びコンピュータ読み取り可能な記録媒体
AU2002348112B2 (en) * 2001-10-31 2007-01-25 New York Air Brake Llc Chain of custody
JP3780252B2 (ja) * 2001-12-25 2006-05-31 キヤノン株式会社 記録再生装置および記録再生方法
US20030211450A1 (en) * 2002-05-07 2003-11-13 Cae Inc. Method and apparatus for self-paced integrated procedure training using a real-time, full-scope simulation
US20030211451A1 (en) * 2002-05-07 2003-11-13 Cae Inc. System and method for distance learning of systems knowledge and integrated procedures using a real-time, full-scope simulation
US20040019509A1 (en) * 2002-07-23 2004-01-29 Bekkers Ivan H. System and method for managing flight information
DE10240838A1 (de) * 2002-09-04 2004-03-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erfassen von Fahrdaten
US20060059024A1 (en) * 2002-11-07 2006-03-16 Flytecomm, Inc. Advanced travel management system
US7552445B2 (en) * 2002-12-13 2009-06-23 Savvis Communications Corporation Systems and methods for monitoring events from multiple brokers
FR2858696B1 (fr) * 2003-08-05 2006-02-24 Corsica Disinfezzione Procede et dispositif d'acquisition et de traitement de donnees d'apprentissage de la conduite d'un vehicule
US20050216281A1 (en) * 2004-03-23 2005-09-29 Prior Francis J System and method for managing flight information
IL162265A0 (en) * 2004-06-01 2005-11-20 Usraek Aurcraft Ubdystrues Ktd Flight debriefing system
US8944822B2 (en) * 2005-07-22 2015-02-03 Appareo Systems, Llc Synchronized video and synthetic visualization system and method
WO2007015234A2 (en) * 2005-08-01 2007-02-08 Verdi Visual Intelligence Ltd. Method and system for synchronizing multiple data channels and data files in a data network
WO2007115140A2 (en) * 2006-03-31 2007-10-11 Alaka'i Technologies Aircraft-engine trend monitoring methods and systems
US9202318B2 (en) 2006-09-25 2015-12-01 Appareo Systems, Llc Ground fleet operations quality management system
US9172481B2 (en) 2012-07-20 2015-10-27 Appareo Systems, Llc Automatic multi-generational data caching and recovery
US9047717B2 (en) 2006-09-25 2015-06-02 Appareo Systems, Llc Fleet operations quality management system and automatic multi-generational data caching and recovery
US8113844B2 (en) * 2006-12-15 2012-02-14 Atellis, Inc. Method, system, and computer-readable recording medium for synchronous multi-media recording and playback with end user control of time, data, and event visualization for playback control over a network
US20080145829A1 (en) * 2006-12-15 2008-06-19 Atellis, Inc. Synchronous multi-media recording and playback with end user control of time, data, and event visualization for playback control over a network
FR2917204B1 (fr) * 2007-06-05 2011-07-01 Airbus France Procede et dispositif d'acquisition, enregistrement et exploitation de donnees captees dans un aeronef
US9022786B2 (en) * 2008-10-14 2015-05-05 The Boeing Company Flight crew training system
US20100329648A1 (en) * 2009-06-25 2010-12-30 Tadmor Arbel D System and method of ensuring correct execution of a laboratory protocol or procedure
US20100328353A1 (en) * 2009-06-30 2010-12-30 Solidfx Llc Method and system for displaying an image on a display of a computing device
US8311791B1 (en) 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
EP2246832B1 (en) * 2010-03-29 2016-06-08 AIRBUS HELICOPTERS DEUTSCHLAND GmbH Flight simulator vibration system
JP6457262B2 (ja) 2011-03-30 2019-01-23 アヴィザル，モルデチャイ 外科手術をシミュレーションする方法およびシステム
US8666748B2 (en) 2011-12-20 2014-03-04 Honeywell International Inc. Methods and systems for communicating audio captured onboard an aircraft
CN104271066B (zh) 2012-05-25 2017-10-24 外科手术室公司 具有不用手的控制的混合图像/场景再现器
IL225956A (en) * 2013-04-25 2013-11-28 Elbit Systems Ltd Methods and systems for managing training arena for training of host vehicles
US9391807B2 (en) * 2013-10-31 2016-07-12 Invisible Intelligence, Llc Audio recording system and apparatus
US10261189B2 (en) 2013-10-31 2019-04-16 Invisible Intelligence, Llc Recording system and apparatus including geofencing
US11547499B2 (en) 2014-04-04 2023-01-10 Surgical Theater, Inc. Dynamic and interactive navigation in a surgical environment
KR101482910B1 (ko) * 2014-07-31 2015-01-15 (주)스타넥스 항공기용 항공정보 저장 시스템 및 그 운용 방법
EP3361979A4 (en) 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY
RU2653219C2 (ru) * 2016-06-08 2018-05-07 Публичное акционерное общество "Ракетно-космическая корпорация "Энергия" имени С.П. Королёва" Способ контроля готовности космонавта к выполнению полетных операций
US11462121B2 (en) * 2017-02-15 2022-10-04 Cae Inc. Visualizing sub-systems of a virtual simulated element in an interactive computer simulation system
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
JP7097323B2 (ja) * 2019-03-29 2022-07-07 本田技研工業株式会社 運転教習装置及び運転教習方法
US20210407314A1 (en) * 2020-06-25 2021-12-30 Honeywell International Inc. Systems and methods for pilot training via streaming avionic simulation to client device

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3278680A (en) * 1963-06-05 1966-10-11 Ampex Camera system for recording aircraft landings
US3557304A (en) * 1967-10-24 1971-01-19 Richard O Rue Remote control flying system
US3484549A (en) * 1968-02-02 1969-12-16 Colin J Ricketts Television-assisted aircraft landing and monitoring system
US4207688A (en) * 1977-10-11 1980-06-17 The United States Of America As Represented By The Secretary Of The Navy Pilot training simulator
US4360345A (en) * 1980-07-14 1982-11-23 American Heart Association, Inc. Health education system
US4660145A (en) * 1984-02-03 1987-04-21 Sundstrad Data Control, Inc. System for compressing aircraft flight data utilizing a multilevel time format
DE3511237A1 (de) * 1984-03-29 1985-10-03 Olympus Optical Co., Ltd., Tokio/Tokyo Bildmarkierungsgeraet
US4636858A (en) * 1984-10-30 1987-01-13 The United States Of America As Represented By The Secretary Of The Air Force Extracting digital data from a bus and multiplexing it with a video signal
FR2615641B1 (fr) * 1987-05-20 1989-08-18 Airbus Ind Procede d'elaboration d'un modele statistique pour determiner la charge de travail d'un pilote d'aeronef, modele en resultant, dispositif pour la mise en oeuvre de ce procede et applications du modele
US5240416A (en) * 1988-11-23 1993-08-31 Bennington Thomas E Simulator apparatus employing actual craft and simulators
JPH0792995B2 (ja) * 1990-01-16 1995-10-09 ティアツク株式会社 記録再生装置
US5659400A (en) * 1991-10-24 1997-08-19 Canon Kabushiki Kaisha Information signal recording device for recording main information signal with index signal for rapidly and accurately searching main information signal
JPH07115677B2 (ja) * 1990-10-30 1995-12-13 嘉三 藤本 航空機の飛行情報記録方法とその装置
IL97663A (en) * 1991-03-25 1994-01-25 Rada Electronic Ind Ltd Method for debriefing multi aircraft operations
US5249967A (en) * 1991-07-12 1993-10-05 George P. O'Leary Sports technique video training device
US5566032A (en) * 1991-11-12 1996-10-15 Storage Technology Corporation Method for utilizing a longitudinal track on a helical scan tape data storage system to provide a fast search capability
JPH08403B2 (ja) * 1991-12-17 1996-01-10 茂 小林 連続圧延によるコンクリートパネルの製造方法および装置
DE4141920A1 (de) * 1991-12-19 1993-06-24 Mathias Zirm Verfahren zum erlernen von mikrochirurgischen operationstechniken und vorrichtung zur ausuebung des verfahrens
JPH0756652B2 (ja) * 1992-03-24 1995-06-14 インターナショナル・ビジネス・マシーンズ・コーポレイション 動画像のフレーム列の検索
US5428530A (en) * 1992-05-05 1995-06-27 Kaman Sciences Corporation Airborne reactive threat simulator
US5228854A (en) * 1992-07-21 1993-07-20 Teledyne, Inc. Combat training system and method
US5457460A (en) * 1992-11-17 1995-10-10 Honeywell Inc. Embedded threat data recorder
US5333091B2 (en) * 1993-01-08 1996-12-17 Arthur D Little Enterprises Method and apparatus for controlling a videotape player to automatically scan past recorded commercial messages
US5421728A (en) * 1994-03-07 1995-06-06 Honeywell Inc. In-flight radar warning receiver training system
JP2950432B2 (ja) * 1994-03-16 1999-09-20 インターナシヨナル・ビジネス・マシーンズ・コーポレーシヨン 複数データ・ストリームおよび実時間タスクの同期およびスケジューリングの方法および装置
DE4410709A1 (de) * 1994-03-28 1995-10-05 Bodenseewerk Geraetetech Überwachungs-Einrichtung zur Überwachung der Flugsicherheit von Flugzeugen
US5655058A (en) * 1994-04-12 1997-08-05 Xerox Corporation Segmentation of audio data for indexing of conversational speech for real-time or postprocessing applications
US5613032A (en) * 1994-09-02 1997-03-18 Bell Communications Research, Inc. System and method for recording, playing back and searching multimedia events wherein video, audio and text can be searched and retrieved
US5675511A (en) * 1995-12-21 1997-10-07 Intel Corporation Apparatus and method for event tagging for multiple audio, video, and data streams
FR2743921B1 (fr) * 1996-01-19 1998-02-20 Sextant Avionique Procede et dispositif d'aide a la navigation aerienne, facilitant l'entree et le controle de donnees de vol

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044513B (zh) * 2004-06-01 2010-05-12 通用电气航空系统有限责任公司 对多格式时基文件记录及回放的时间线随机访问
CN103023934A (zh) * 2011-09-23 2013-04-03 中兴通讯股份有限公司 虚拟终端系统和虚拟终端系统中的多流业务同步方法
CN104969277A (zh) * 2013-01-31 2015-10-07 波音公司 飞行员评估系统
CN104969277B (zh) * 2013-01-31 2019-02-05 波音公司 飞行员评估系统
US10832592B2 (en) 2013-01-31 2020-11-10 The Boeing Company Pilot assessment system
CN103648010B (zh) * 2013-11-28 2017-01-11 陕西千山航空电子有限责任公司 一种飞行数据及多路音视频数据同步回放方法
CN110111669A (zh) * 2019-04-29 2019-08-09 江苏安全技术职业学院 一种安全生产事故应急报告训练系统
CN112528085A (zh) * 2020-12-09 2021-03-19 中国航空工业集团公司沈阳飞机设计研究所 一种基于标记信息的数据快速卸载方法
CN112565874A (zh) * 2020-12-09 2021-03-26 中国航空工业集团公司沈阳飞机设计研究所 一种基于标记信息的视频回放方法
CN112528085B (zh) * 2020-12-09 2024-06-11 中国航空工业集团公司沈阳飞机设计研究所 一种基于标记信息的数据快速卸载方法

Also Published As

Publication number Publication date
ATE240572T1 (de) 2003-05-15
WO1997034277A1 (en) 1997-09-18
CA2248010A1 (en) 1997-09-18
IL125764A (en) 2001-01-28
IL125764A0 (en) 1999-04-11
EP0886848B1 (en) 2003-05-14
DE69721976T2 (de) 2004-05-19
BR9708182A (pt) 2000-01-04
AU2319097A (en) 1997-10-01
EP0886848A1 (en) 1998-12-30
US5826206A (en) 1998-10-20
DE69721976T8 (de) 2004-09-23
US6370457B1 (en) 2002-04-09
CA2248010C (en) 2001-05-01
DE69721976D1 (de) 2003-06-18
AU709627B2 (en) 1999-09-02
JP2001500981A (ja) 2001-01-23

Similar Documents

Publication Publication Date Title
CN1214783A (zh) 用时间指示标记以时间同步方式来恢复和显示多数据流的任务汇报系统和方法
Klein Cognitive task analysis of teams
CN1294510C (zh) 一种航空模拟机训练的计算机辅助教学系统及其方法
Ryffel et al. Eye tracking as a debriefing tool in upset prevention and recovery training (UPRT) for general aviation pilots
US20220246055A1 (en) Device and method for analysing the behaviour of a subject
CN108762502A (zh) 一种基于眼动追踪的虚拟现实人群仿真方法及系统
Rebensky et al. Impact of heads-up displays on small unmanned aircraft system operator situation awareness and performance: a simulated study
Prince et al. The measurement of team process behaviors in the cockpit: Lessons learned
CN212816265U (zh) 一种基于虚拟现实技术的空军招飞心理选拔装置
Nählinder Flight simulator training: Assessing the potential
Oser et al. An analysis of aircrew communication patterns and content
Sobreperez Technological frame incongruence, diffusion, and noncompliance
Yu et al. Application of psychological counseling system based on virtual reality technology in college students' psychological counseling
Sturre et al. Using eye movements to test assumptions of the situation present assessment method
Parrish et al. Effective declutter of complex flight displays using stereoptic 3-d cueing
WO2023279732A1 (zh) 一种航空公司运行控制场景再现与数据验证装置
Dold et al. Real-Life Exercises as a Tool in Security Research and Civil Protection-Options for Data Collections.
Wong et al. Field research in HCI: a case study
Rustenberg et al. Adopting a Trading Zone Framework to Emergency Management
Weng et al. Design of Helicopter Avionics Maintenance Training System Based on Intelligent Teaching System
Zachrisson SIMULATION MEETS REALITY The Remote Tower System as an Air Traffic Control Training-Environment
Battiste A Comparison of Graphics-Based versus Text-Based Online Probe Methods for Predicting Performance of Air Traffic Controllers
Ahmadi Application of Eye-Tracking Technology and a PC-Based Aviation Training Device in Accelerating the Learning Curve of Novice Pilots
Russi Effects of stereoscopic 3D digital radar displays on Air Traffic Controller performance
Deutsch et al. Modeling the NASA SVS part-task scenarios in D-OMAR

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication