CN108229791B - 用于汇报基于迹象的训练会话的电子装置和方法 - Google Patents

Abstract

本申请涉及用于汇报基于迹象的(evidence‑based)训练会话的电子装置和方法，并公开了用于在训练会话期间收集迹象(evidence)的电子装置。该电子装置包括：通信模块，其用于在训练会话期间获取实时训练会话数据；实时数据获取模块，其用于产生带时间戳(time‑stamped)的训练会话数据；输入单元，其用于获取指导者在训练会话期间输入的指导者评分数据；实时指导者评分模块，其用于产生带时间戳的指导者评分数据；存储模块，其用于将训练会话的实时数据存储在数据储存库中，该实时数据包括带时间戳的训练会话数据和带时间戳的指导者评分数据；汇报模块，其用于从数据储存库检索训练会话的实时数据，在显示器上重放实时数据，以及在重放期间使用从指导者接收的已更新指导者评分数据来更新数据储存库中的指导者评分数据。

Description

用于汇报基于迹象的训练会话的电子装置和方法

相关申请的交叉引用

本申请要求2016年12月9日提交的标题为“Electronic Device and Method forDebriefing Evidence-Based Training Sessions”的欧洲专利申请号EP16382593.8的优先权的权益，该专利申请通过引用其全文被并入本文。

技术领域

本公开内容涉及用于评价受训者在训练会话期间的表现的系统和方法的领域，并且更具体地涉及用于基于迹象的训练的系统和方法的领域。

背景技术

基于迹象的训练(evidence-based training,EBT)涉及一种新的评估和训练概念，其使用操作数据来启用基于胜任力(competency)的训练以便开发管理操作风险的胜任力。胜任力是实行任务以达到规定标准所需的知识、技能和态度的组合。可以使用行为指示符对胜任力的演示进行评估，该行为指示符应该满足如操作者针对特定操作建立的所要求的表现水平。

在航空领域中，目前由指导者在训练会话期间使用纸质表格来进行飞行机组人员评价，该训练会话通常包括飞行模拟。将纸上的指导者评论与在视频记录上记载的模拟期间的飞行数据分析和受训者的行为相匹配要求指导者额外记载模拟时间，并且然后在汇报期间使用外部视频或飞行数据记录系统。此外，如果要求EBT胜任力框架内的评分，则指导者需要记住他/她的评论并且将其应用于行为描述符。

将视频或数据记录集成到汇报中的困难通常导致指导者不使用这些设施(如果其由模拟器提供的话)。然而，仅依靠指导者对行为框架的了解来进行学生评分导致主观且不可靠的评分，该评分在用于飞行机组人员资格的通过或失败决定的EBT行为框架上是不可接受的。

此外，当指导者的笔记记录在纸上并且只有最终评估被捕获为电子格式时，指导者表现评分的质量难以保证，从而使得更难以实现指导的一致性水平。虽然有一些用于记录指导者评分的软件工具，但它们仅取代指导者评价的纸质记录，而没有集成提供对胜任力水平、模拟器数据或视频记录的直接访问的汇报功能。

该行业目前正在接受基于胜任力的训练的概念，代替基于情景的训练。因此，需要在基于迹象的训练环境中启用基于胜任力的训练和可靠的胜任力评价的工具。

发明内容

本公开的实施例提供了一种训练系统，该训练系统包括通信模块、实时数据获取模块、输入单元、实时指导者评分模块、存储模块、汇报模块和人工智能系统。该通信模块被配置成在受训者的训练会话期间获取实时训练会话数据，其中实时训练会话数据包括从训练装置获得的训练装置数据以及视频数据。实时数据获取模块被配置成产生带时间戳的训练会话数据。输入单元被配置成获取指导者在训练会话期间输入的指导者评分数据。实时指导者评分模块被配置成产生带时间戳的指导者评分数据。存储模块被配置成将训练会话的实时数据存储在数据储存库中，其中实时数据包括带时间戳的训练会话数据和带时间戳的指导者评分数据。汇报模块在处理器单元上运行，并且被配置成接收训练会话的实时训练会话数据；产生带时间戳的训练会话数据；接收实时指导者评分数据；并且产生带时间戳的指导者评分数据。人工智能系统被配置成在接收到带时间戳的训练会话数据时分析实时训练会话数据和实时指导者评分数据。

本公开的另一个实施例提供了用于汇报基于迹象的训练会话的电子装置。该电子装置包括：通信模块、实时数据获取模块、输入单元、实时指导者评分模块、存储模块和汇报模块。通信模块在受训者的训练会话期间获取实时训练会话数据，其中训练会话数据包括视频数据。实时数据获取模块产生带时间戳的训练会话数据。输入单元获取指导者在训练会话期间输入的指导者评分数据。实时指导者评分模块产生带时间戳的指导者评分数据。存储模块将训练会话的实时数据存储在数据储存库中，其中实时数据包括带时间戳的训练会话数据和带时间戳的指导者评分数据。汇报模块从数据储存库检索训练会话的实时数据；将训练会话的带时间戳的指导者评分数据与视频数据集成；在显示器上重放集成数据；以及在重放期间使用从指导者接收的已更新指导者评分数据来更新数据储存库中的指导者评分数据。实时指导者评分模块被配置成：检索包括将在预定情景事件期间由受训者实行的动作的检查表框；分析从训练装置接收的训练装置数据；基于对训练装置数据的分析，自动检查将在检查表框中包括的由受训者在训练会话期间实行的至少一个动作的执行；以及向指导者提供关于至少一个动作的执行的实时反馈。

本公开的又一个实施例提供了用于汇报基于迹象的训练会话的计算机实施的方法。在受训者的训练会话期间获取实时训练会话数据，其中训练会话数据包括从训练装置获得的训练装置数据以及视频数据。产生带时间戳的训练会话数据。获取由指导者在训练会话期间输入的指导者评分数据并且产生带时间戳的指导者评分数据。将训练会话的实时数据存储在数据储存库中，其中实时数据包括带时间戳的训练会话数据和带时间戳的指导者评分数据。从数据储存库检索训练会话的实时数据。将训练会话的带时间戳的指导者评分数据与视频数据集成。在显示器上重放集成数据。在重放期间使用从指导者接收的已更新指导者评分数据来更新数据储存库中的指导者评分数据。检索包括将在预定情景事件期间由受训者实行的动作的检查表框。分析从训练装置接收的训练装置数据。自动检查检查表框中包括的由受训者在训练会话期间实行的至少一个动作的执行。向指导者提供关于至少一个动作的执行的实时反馈。

特征和功能可以在本公开的各种实施例中独立地实现，或者可以与其他实施例组合来实现，其中参考以下描述和附图可看到进一步的细节。

附图说明

在所附权利要求中阐述了被认为是图示性实施例的特征的新颖特征。然而，在结合附图阅读时通过参考本公开的图示性实施例的以下具体实施方式将最好地理解图示性实施例以及其优选使用模式、进一步的目的和特征，其中：

图1描绘了训练工具框架的示意图。

图2表示评分和汇报装置的部件的示意图。

图3描述了具有会话后评估模块的评分和汇报装置。

图4示出了包括最终评估模块的评分和汇报装置。

图5描绘了评分和汇报装置的不同部件的集成。

图6示出了汇报和评估中涉及的步骤的流程图。

图7和图8描绘了用于实行指导者评分的图形用户界面。

图9描述了用于指导者汇报的图形用户界面。

图10是根据图示性实施例的具有用于分析训练会话数据和指导者评分数据的人工智能系统的分析环境的框图的图示；

图11是根据图示性实施例的用于在训练会话期间将指导者评论与视频相关联的过程的数据流程图的图示；

图12是根据图示性实施例的利用与视频训练会话相关联的评论的汇报会话过程的流程图的图示。

图13是根据示图示性实施例的用于自动分析来自训练会话的数据的过程的流程图的图示；

图14是根据图示性实施例的用于分析训练者在训练会话期间做出的评价的过程的流程图的图示；

图15是根据图示性实施例的用于分析来自训练者的输入与受训者所实行的动作之间的差异的过程的流程图的图示；

图16是根据图示性实施例的用于训练人工智能系统以便分析训练者在训练会话中做出的评论的流程图的图示；

图17是根据图示性实施例的用于利用人工智能系统来分析训练者在训练会话期间做出的评论的流程图的图示；

图18是根据图示性实施例的用于分析训练数据的分析环境的框图的图示；以及

图19是根据图示性实施例的数据处理系统的框图的图示。

具体实施方式

图示性实施例认识并考虑到一个或多个不同的注意事项。本公开涉及用于对基于迹象的训练(EBT)会话(诸如使用飞行模拟器来实行的飞行训练会话)进行评分和汇报的电子装置。

图1示意性地描绘了训练工具框架的实施例，其中在由一个或多个学生或受训者130执行的训练会话期间(例如，训练会话可以由诸如驾驶员和副驾驶员的飞行机组人员引导)，评分和汇报电子装置100从视频照相机110和训练装置120(诸如飞行模拟器、桌面模拟、视频游戏或任何其他交互式训练平台)获取数据。电子装置100可以连接到模拟器内使用的视频记录系统，并且连接到模拟器或训练平台的数据输出端。

在训练会话期间，指导者140负责对受训者130进行评分。同时，评分和汇报电子装置100存储从视频照相机110接收的视频流和来自训练装置的数据。评分和汇报电子装置100允许指导者140在训练会话的执行期间实行训练会话的实时评分。指导者评分数据150可以包括事件评分、评论和/或胜任力表现。指导者评分、训练会话的视频或音频片段160和模拟数据170稍后可用于指导者向学生做汇报，以便获得每个受训者130的胜任力评估180(例如，其胜任力表现)。

图2表示了训练工具框架的更详细示意图。在图示性示例中，可以在不止一个附图中使用相同的参考数字。在不同附图中这样重复使用参考数字表示不同附图中的相同元件。

为了实现评分和汇报，电子装置100包括两个主模块：飞行员在飞行模拟器(或任何其他训练装置120)中训练期间使用的实时指导者评分模块210以及在训练会话202之后用于汇报的汇报模块250。

电子装置100的输入单元260获取指导者评分数据150，指导者评分数据150包括在训练会话202期间插入的指导者140的评分和评论。输入单元260可以是键盘、触屏或具有图形用户界面的任何其他输入装置。电子装置100可能以在计算机站(个人计算机、工作站等)或移动装置(诸如智能电话、PDA或平板计算机)中实现。

电子装置100还包括通信模块270，装置通过该通信模块270接收在训练会话202期间产生的训练会话数据204。训练会话数据204也可以被称为实时训练会话数据。训练会话数据204至少包括在训练会话202的执行期间捕获的视频数据206。在一个实施例中，通过外部视频照相机110(图2)记录视频数据206。在另一个实施例中，视频数据由训练装置120本身记载(registered)(例如，训练装置可以是以24fps的速率捕获训练会话202的视频数据的软件飞行模拟器)。

训练会话数据204还可以包括由训练装置120输出的训练装置数据208。换言之，训练装置数据208是从训练装置120获得的数据。在图示性示例中，训练装置数据208是与训练装置120上运行的模拟相关的数据。例如，训练装置数据208可以是用户输入、模拟对象数据或其他合适类型数据中的至少一个。模拟数据170是训练装置数据208的示例，并且可以包括飞机高度、飞机配置或其他合适的数据。图1中的模拟数据170是一种类型的训练装置数据。

训练装置120是可以用于训练的任何物理装置。例如，训练装置120可以是运行飞行模拟器程序的台式计算机。作为另一个示例，训练装置120可以是物理再现飞行器的驾驶舱的飞行模拟器，包括带有操纵器、按钮和显示器的驾驶舱面板。

训练装置数据208可以包括由训练装置120检索和/或计算的变量的集合。例如，当训练装置120是飞行模拟器时，训练装置数据208可以包括模拟器数据，该模拟器数据包括由受训者130产生的输入数据(例如，转向、推力)以及由飞行模拟器计算的输出数据(例如，高度和飞机速度)。通信模块270可以无线地(例如，经由蓝牙、WiFi或紫蜂(Zigbee))接收训练会话数据204。可替代地，通信模块270可以是有线通信模块，诸如USB、RS-232或RS-485模块。

电子装置100的实时数据获取模块220接收训练会话数据204并且合并时间戳，从而产生带时间戳的训练会话数据234。类似地，实时指导者评分模块210接收指导者评分数据150，并且产生带时间戳的指导者评分数据232。电子装置100的存储模块240被配置成实行将训练会话的带时间戳的实时数据230存储在数据储存库242中，该带时间戳的实时数据230包括带时间戳的指导者评分数据232和带时间戳的训练会话数据234。数据储存库242可以是电子装置100的一部分或外部储存库。因此，训练会话的实时数据230可以本地存储在电子装置100上，或者在外面存储在外部存储装置(服务器、云服务、外部硬盘驱动装置等)中。

汇报模块250可以以软件、硬件、固件或其组合实现。在使用软件时，可以以被配置成在诸如处理器单元的硬件上运行的程序代码来实现汇报模块250实行的操作。在使用固件时，可以以程序代码和数据来实现汇报模块250实行的操作，并且将该操作存储在永久性存储器中以便在处理器单元上运行。在采用硬件时，硬件可以包括运行以便实行汇报模块250中的操作的电路。

在图示性示例中，硬件可以采取选自以下中的至少一个的形式：电路系统、集成电路、专用集成电路(ASIC)、可编程逻辑器件或被配置成实行多个操作的一些其他合适类型的硬件。在利用可编程逻辑器件的情况下，该器件可以被配置成实行多个操作。该器件可以稍后被重新配置，或者可以永久被配置成实行该多个操作。例如，可编程逻辑器件包括：可编程逻辑阵列、可编程阵列逻辑、现场可编程逻辑阵列、现场可编程门阵列以及其他合适的硬件装置。此外，可以以与无机部件集成的有机部件实现该过程，并且该过程也可以完全由除人以外的有机部件组成。例如，该过程可以被实现为有机半导体中的电路。

如本文所使用的，短语“至少一个”在与项目列表一起使用时意味着可以使用所列项目中的一个或多个的不同组合，并且可以仅需要列表中的每个项目中的一个。换言之，“至少一个”意味着可以使用来自列表的任何项目组合以及任何数量的项目，但是并非需要列表中的所有项目。项目可以是特定的对象、事物或类别。

例如，非限制地，“项目A、项目B或项目C中的至少一个”可以包括项目A、项目A和项目B、或项目B。该示例还可以包括项目A、项目B和项目C、或项目B和项目C。当然，可以存在这些项目的任何组合。在一些图示性示例中，“至少一个”可以是例如但不限于两个项目A、一个项目B以及十个项目C；四个项目B和七个项目C；或其他合适的组合。

在训练会话202之后，汇报模块250访问数据储存库242上存储的训练会话的实时数据230。汇报模块250被配置成在显示器280(电子装置100的显示器或外部显示器)上重放实时数据230，从而将带时间戳的指导者评分数据232与带时间戳的训练会话数据234集成。为此，例如以类似于将字幕集成到视频流中以形成集成数据的方式，可以将指导者的评论或评分与训练会话202的视频数据206集成。可替代地或附加地，也可以将指导者的评论或评分与训练装置120的输出模拟器数据集成。

在汇报期间，指导者140观看具有先前插入的指导者评分或评论的重放252。然后，指导者可以在重放252的彻底分析之后更新指导者评分数据。汇报模块250从输入单元260接收已更新的指导者评分数据256，并且更新254数据储存库242上存储的指导者评分数据，从而包括新评论或评分。

在图2所示的实施例中，负责管理数据存储的实时数据获取模块220、实时指导者评分模块210、汇报模块250和存储模块240是处理器200或中央处理单元的主要部分(integral part)。

此外，电子装置100可以包括图3的实施例中表示的会话后评估模块310，图3仅描绘了电子装置100的一部分。该模块用于访问和回顾在训练会话202期间收集的所有数据，并且在训练会话202之后基于收集的数据和评论来实行指导者评估314。会话后评估模块310重放312先前存储在数据储存库242上的训练会话202的指导者评分数据。指导者140回顾该信息并且准备受训者的胜任力评估180。然后，会话后评估模块310基于由指导者140做出的胜任力评估180，产生训练会话202的指导者评估314。然后，将训练会话202的指导者评估314存储在数据储存库242上。

如在图4的简化实施例中描绘的，电子装置100可以包括附加模块，即用于包括模拟器会话之后的最终指导者评估的最终评估模块410。该模块从指导者140接收最终评分414(例如，通过或失败)并且产生训练会话202的最终指导者评估412。

已经关于在训练会话之后实行的汇报操作描述了图2-图4的汇报模块250的图示。该图示并不意味限制了汇报模块250在其他图示性示例中可以操作的方式。例如，汇报模块250可以操作以便在训练会话期间以及在情景事件期间实行汇报操作。换言之，在训练会话期间仍然发生情景事件时，可以在已经实行动作之后进行汇报。以此方式，汇报模块250还可以在实行一个或多个动作之后实时提供反馈。例如，汇报模块250可以在训练会话期间向指导者通知学生没有实行检查表所要求的某些动作(例如，开启安全带标志)。该通知将允许指导者在训练会话期间重复检查表而不必等待另一个训练会话。这些动作可针对相同的情景事件或不同的情景事件。

图5描绘了可视化不同系统部件的集成的另一个示意图。在左栏中，在训练会话202期间产生的实时数据(例如，来自视频照相机的视频数据206、来自训练装置120的模拟器数据208以及来自指导者评分模块210的指导者评分数据232)被加时间戳并且存储在数据储存库242上。一旦训练会话202完成，基于会话的数据被回顾、更新并且存储在数据储存库242(右列)上。在训练会话202之后，基于在重放针对该训练会话存储的数据期间从指导者140接收的新评论或评分，汇报模块250更新254数据储存库242中的指导者评分数据。

可选地，会话后评估模块310和最终评估模块410分别允许包括训练会话202的指导者评估314和最终指导者评估412。由于视频记录的大数据量，采取措施以便在训练会话202之后立即使视频数据可用于汇报是重要的。为此目的，视频数据应该与其他数据一起被连续下载并存储在数据储存库242上。如果没有使用中央储存库，则所有数据使用公共时间戳在本地存储，并且可以没有迟延地用于会话后活动。

图6表示用于考虑到会话后评估模块310和最终评估模块410而对基于迹象的训练会话进行评分和汇报的方法的简化流程图。

指导者140首先使用电子装置100的图形用户界面来选择602设置受训者的胜任力以进行分析的情景或胜任力框架。然后，开始训练会话202的数据收集604。然后，指导者140选择606汇报是基于评论还是基于指导者评估。在后一种情况下，从指导者获得胜任力评估608以用于进行汇报610。如果胜任力评估不是必需的，则仅基于训练会话期间插入的指导者的评论来实行汇报610。因此，指导者140不需要评估胜任力并且可以跳过那些评价。指导者140还可以确定612是否需要最终评估。如果需要最终评估，则从指导者140获得最终指导者评估614(例如，通过/失败)。最后，存储616训练会话的已更新评价数据。

因此，为了支持不同类型的训练和表现评分，汇报可以基于实时收集的指导者评论(通常用于飞行机组人员训练和评价)或基于会话后指导者评估。虽然在这两种情况下都收集实时评论和数据，但基于评估的汇报需要附加步骤，在该附加步骤中指导者回顾他/她的评论并且进行对受训者的胜任力表现的评估608，该评估然后用于支持汇报610。如果用户期望基于评论的汇报，则不需要收集指导者评估608的中间步骤。如果期望最终评估614(例如，通过/失败)，则在将所有数据存储616在储存库上之前需要指导者输入。指导者在设置屏幕中指定汇报和最终评估选项。

因此，紧接在训练会话202之后，指导者140可以为了胜任力评估608而访问会话后评估模块310，并且为了最终指导者评估614而访问最终评估模块410。这些模块可显示：具有提交的所有评论/评分的时间线、所选时间窗口中的评论列表、其评分特征使用与训练会话202期间所使用的那种相同的评分量表的胜任力和行为描述符的完整列表、以及最终评分输入。指导者在这些模块中输入的数据(行为描述符评分和最终评分)被存储而无需时间戳，因为它们代表整个会话。

虽然会话后评估模块310和最终评估模块410允许访问所收集的所有信息并且限于指导者140使用，但汇报模块250仅允许访问被认为对学生汇报有用的信息。

电子装置100的实时指导者评分模块210采用图形用户界面以获取指导者评分数据150。图7示出了应用于飞行机组人员评价的该模块的图形用户界面700的可能实施例的示例。顶行示出了基于迹象的训练(EBT)会话中考虑的胜任力702；特别是EBT的国际民用航空组织(ICAO)手册中描述的八个核心胜任力。然而，可以使用其他胜任力框架。第二行包含描述训练情景的情景事件704(情景事件704的使用是可选的)。这些事件可以从数据库下载，或者由指导者使用专门软件工具来预先限定。

情景事件是计划在训练会话期间发生的事件。情景可以是在情景脚本中发生的事件，该事件在创建情景脚本时由评估者计划。例如，情景事件可以是：发动机运行中断、演习(maneuver)、在起飞前接近机场的天气、重飞(go-around)、或其他合适的事件。情景事件涉及为该事件实行的一组动作。该组动作可以由标准、规则、策略或其他合适的权限规定为必需动作。例如，在重飞中，一组可能动作是：以重飞(GA)推力调用飞机并设置飞机、调用襟翼并缩回襟翼、调用正爬升(positive climb)、以及然后实行增速(gear up)动作并使用正确控制装置来缩回起落架。

第三行包含：供指导者140在训练会话202期间留下评论的文本输入框706、列出EBT表现指示符(PI)(也被称为行为指示符)的不可编辑文本框708、以及列出期望的飞行机组人员表现(DFCP)的不同项目的检查表框710，该不同项目是预期在预先限定的情景事件期间由飞行机组人员实行的可观察动作和行为。例如，期望的飞行机组人员表现可以包括：认识到防冰规程的要求、做出规定的通告、配置飞行器系统以用于除冰或防冰处理、使用标准术语、或其他合适的动作或行为。

由于电子装置100直接访问训练装置数据208，因此可以自动检查这些动作中的一些动作。例如，在诸如重飞的演习期间正确执行动作可以被直接标记为通过检索襟翼设置、节流阀位置、起落架位置的改变来完成。然后，电子装置将确保以正确顺序实行动作，并且给予指导者有关这些动作的失败/成功的实时反馈。然后，指导者可以将工具所给予的反馈与其自己的标记进行比较，以防他错过飞行机组人员实行的某些动作。不能从模拟器数据访问的动作(例如，适当通信)将必需由指导者140手动标记。

在第三行下方，图形用户界面700示出了两个提交评论按钮712，以便提交由指导者140创建的好的或坏的评论或注释。可替代地，评分可以基于评分量表，该评分量表使用描述评分的一系列数字或一系列字母或短语。保存与评论相关联的评分。指导者140还可以使用加亮按钮714来加亮特定观察；该功能可以用于迫使加亮用于汇报目的的特定观察，或者如果模拟器会话正在被实行为熟练检查则加亮不通过观察。

当选择胜任力702时，利用相应的表现指示符来自动填入表现指示符810的列表(参见图8的示例，其中指导者正准备写关于特定情景事件704期间的胜任力“工作负载管理”的评论)。以此方式，指导者可以写出与该胜任力702相关的评论，并且刷新(have arefresher of)描述该胜任力702的表现指示符810。例如，指导者140可能已经注意到正在评价的飞行机组人员在该时刻难以计划其任务。然后，指导者140将写出关于该点的评论并且将其标记为具有“工作负载管理”问题。例如，可以通过标准键盘、屏幕上的键盘、以及屏幕上的手写或语音识别来进行输入评论。显示表现指示符810的列表以便确保评论被正确地分类。

如果需要的话，指导者140也可以标记显示的任何表现指示符810，以便依据更详细的表现指示符限定评论。然后，指导者140可以使用“提交好的评论”按钮或“提交坏的评论”按钮来提交评论。更精细的评分量表是可能的，例如，5分制量表。然后，该评论被保存并且与相关胜任力702和/或表现指示符810相关联，并且具有与正在记录的视频相关的时间戳，使得指导者稍后可以检索与视频记录的正确时刻相关联的该评论。此外，指导者评分模块210还可以提供用于识别所记录的评论或情景事件是否与单独机组成员的表现或整个机组人员(例如，机长、副机长、两者)相关的装置。

指导者评分模块210还可具有在训练会话202期间选择的情景事件704。事件进展可以自动完成从而分析模拟器数据(即训练装置120的输出)或手动完成。图8示出了图形用户界面700，其中选择特定飞行事件(在该情况下为第二情景事件)。通过访问DFCP列表820，指导者140将知道要在飞行机组人员中寻找什么。指导者也可以标记由飞行机组人员进行的与DFCP项目匹配的任何动作。该标记也是带时间戳的，使得指导者140可以在稍后观看所记录的视频时检索它。

然后，指导者评分模块210允许指导者140写评论，同时检查来自飞行机组人员的哪些动作或行为是期望的。指导者140可以使评论与飞行机组人员未示出的行为或超出期望的行为相关。

在评分之后，或直接在实时数据收集会话之后，指导者140将使用汇报模块250以用于飞行机组人员汇报。图9描绘了由汇报模块250描绘的汇报屏幕900的实施例。指导者250可以访问来自模拟的总体统计数据902，如胜任力和标记的DFCP中的每一个的好的评论和坏的评论的数量。界面允许指导者140选择包括在训练会话202期间输入的所有评论的堆叠列表904或由加亮的评论906过滤的列表。每个评论908也可以被编码为好的评论或坏的评论。当选择特定评论908时，指导者140可以访问训练会话期间输入的所选评论的全文910以及指导者发现的与所选评论的关联相关的胜任力和标记的PI和DFCP 912。

图形用户界面700可以用于回顾与训练者在训练会话期间做出的评论相关联的视频段。在该图示性示例中，训练者在训练会话期间做出关于受训者的评论908。训练者可以选择这些评论以便查看在做出评论908时实行的动作的相应的视频。在该图示性示例中，评论908的选择导致显示文本910。此外，可以显示标记的PI和DFCP 912。例如，标记的PI和DFCP 912包括是否实行特定的所需动作。

指导者140也可以选择播放914与所选评论相关联的视频。视频916显示了所捕获的视频数据110，其具有训练会话202期间大概在进行评论时的受训者的动作。在视频下方的时间线918上，指导者140还可以访问会话期间进行的评论(时间线上的黑色方块)。评论将显示在右上框中，因此指导者140可以在观看视频916时阅读他/她所记录的内容，类似电影中的字幕。指导者还可以在观看视频以及标记在训练会话202期间错过的附加DFCP时添加新评论920，这将导致汇报屏幕900中的总体统计数据902的更新。除了视频重放功能之外，汇报屏幕900还可以起以下作用：具有在显示器中编码的评分(颜色、分隔线等)的所有已做出的评论的时间线、以及在每个类别中做出的评分的表格。

接下来参照图10，其是根据图示性实施例描绘的具有用于分析训练会话数据和指导者评分数据的人工智能系统的分析环境的框图的图示。如所描绘的，分析环境1000包括在计算机系统1004上运行的人工智能系统1002。

如所描绘的，人工智能系统1002可以分析训练会话数据1006或指导者评分数据1008中的至少一个。可以在训练会话1010期间实时实行该分析。可以针对受训者1016在训练会话1010期间对情景事件1020实行的动作1018进行该分析。分析包括将所实行的动作1018与情景事件1020的所需动作1022进行比较。

在该图示性示例中，训练会话数据1006和指导者评分数据1008位于评分和简报装置1012中。评分和简报装置1012是数据处理系统，并且可以选自以下中的至少一个：笔记本计算机、台式计算机、工作站、服务器计算机、移动电话、平板计算机或一些其他合适类型的数据处理系统。评分和简报装置1012可以从训练装置1050或视频照相机1052中的至少一个接收训练会话数据1006。如所描绘的，训练会话数据1006包括以下中的至少一个：训练装置数据、模拟数据、视频或可以用于分析受训者1016的动作表现的其他合适类型的数据。

训练者1014可以将指导者评分数据1008输入到评分和简报装置1012中。指导者评分数据1008包括以下中的至少一个：评论、评分数据或用于对受训者1016进行评分或计分的其他合适信息。

如所描绘的，具有人工智能系统1002的计算机系统1004、评分和简报装置1012、训练装置1050以及视频照相机形成训练系统1054。可以实时分析该数据以便在训练会话1010期间提供反馈。可以将该反馈提供给训练者1014或受训者1016中的至少一个。

以此方式，可以利用人工智能系统1002来实行更有效的训练。在训练会话1010期间提供反馈的情况下，可以取决于所接收的反馈在相同训练会话中再次实行演习、规程或其他情景事件。例如，可以避免在看到分析结果和张贴简报会话之后调度另一个训练会话。其结果是，可以在相同训练会话期间实行附加训练以便加强或纠正由受训者1016实行的动作，从而导致更有效的训练。

分析环境1000被设置以用于描述一种方式的目的，人工智能系统可以以该方式用于分析训练会话数据和指导者评分数据，并且不意味着限制可实现其他图示性示例的方式。例如，当在训练会话1010期间实时实行分析时，人工智能系统1002可以位于评分和简报装置1012中而不是位于计算机系统1004中。例如，人工智能系统1002可以位于汇报模块1030中，或者作为评分和简报装置1012内的可以与汇报模块1030通信的单独部件。

如所描绘的，可以利用如图1-图2所描绘的评分和汇报装置100来实现评分和简报装置1012。在另一个图示性示例中，人工智能系统1002可以直接接收训练会话数据1006和指导者评分数据1008。

参考图11，根据图示性实施例描绘了用于在训练会话期间将指导者评论与视频相关联的过程的数据流程图的图示。在该图示性示例中，可以利用软件或硬件中的至少一个在图2的汇报模块250中实现数据流程图中的不同操作。

过程通过显示针对情景事件的图形用户界面开始(操作1100)。图7中的图形用户界面700是可以在操作1100中使用的图形用户界面的示例。

过程通过图形用户界面从训练者接收指导者评分数据(操作1102)。在该示例中，指导者评分数据采取评论的形式。指导者评分数据还可以包括计分数据或用于对受训者行为进行分等级或评分的其他类型信息。过程将时间戳与指导者评分数据相关联(操作1104)。

过程存储具有时间戳的指导者评分数据(操作1106)。过程在其之后终止。通过如图4所示的汇报装置100中的存储模块240将评论和时间戳存储在数据储存库242中。当训练者输入指导者评分数据(诸如评论)时，该过程可以重复任意次数。可以存储与训练会话的视频相关联的指导者评分数据。如果被一起存储，则训练者所做出的评论不直接编码到视频中。相反，在视频顶部的图层上添加指导者评分数据。

图11中的该过程运行，同时在针对情景事件的训练会话期间利用图1中的视频照相机110来记录视频。视频记录包括指示不同帧的日期和时间的时间戳。也可以将视频存储在数据储存库242中。当训练者做出评论时，使用时间戳能够使得与针对相同事件的训练会话的视频相关联。

转到图12，根据图示性实施例描绘了利用与视频训练会话相关联的评论的汇报会话的过程的流程图的图示。在该图示性示例中，可以利用软件或硬件中的至少一个在图2的汇报模块250中实现数据流程图中的不同操作。该过程可用于回顾评论，并且查看示出所采取的动作的视频以及该事件的训练会话的音频。

过程通过显示包含由训练者创建的评论列表的图形用户界面开始(操作1200)。如所描绘的，可以使用图9中的汇报屏幕900来实行操作1200。

过程接收选择评论的用户输入(操作1202)。过程基于用户输入来识别评论和计分信息(操作1204)。过程识别评论的时间戳(操作1206)。

过程识别与评论的时间戳相对应的视频段(操作1208)。视频段包括其时间戳在评论的时间戳的所选时间量内的帧。视频段可以包括在输入评论之前的视频、在输入评论之后的视频或其组合。所选视频的量可以基于与评论相关的动作。换言之，可以基于包括评论中描述的动作的视频来选择视频的量。例如，视频段可以包括在评论的时间戳之前的30秒视频和在评论的时间戳之后的30秒视频。可以使用对象识别过程和人工智能系统在视频中识别这些动作。

过程显示指导者评分数据(操作1210)。在该示例中，指导者评分数据包括评论并且还可以包括计分或其他指导者评分数据。过程还显示到视频段的链接(操作1212)。过程在其之后终止。通过该过程，训练者可以查看与训练者在训练会话期间所创建的评论相关的视频段。

参考图13，根据图示性实施例描绘了用于自动分析来自训练会话的数据的过程的流程图的图示。在该图示性示例中，可以利用软件或硬件中的至少一个在图2的汇报模块250中实现数据流程图中的不同操作。

过程通过从训练会话识别情景事件开始(操作1300)。过程识别情景事件的所需动作的序列(操作1302)。过程识别在针对情景事件的训练会话期间实行的已实行动作的序列(操作1304)。可以以任意数量的不同方式来识别所实行的动作序列。例如，可以使用评论、针对期望飞行机组人员表现的检查表、视频、音频和其他训练数据。可以使用分析过程来自动识别这些动作。可以以人工智能系统或一些其他合适方式来实现该过程。训练数据可以包括：有关控制装置(诸如杠杆、开关)的位置的信息、在事件期间激活特定控制装置的时间以及可以从训练装置获得的其他合适数据。

确定已实行动作的序列是否匹配所需动作的序列(操作1306)。如果存在匹配，则针对情景事件指示通过(操作1308)，其中过程在其之后终止。另一方面，如果在操作1306中不存在匹配，则针对情景事件指示失败(操作1310)。过程在其之后终止。

可以为任何数量类型的事件实行该过程。在图示性示例中，事件可以采取为针对其实行胜任力训练的许多不同形式。例如，情景事件可以是：重飞、着陆、起飞、飞行前检查表、发动机运转中断、雷暴或一些其他合适类型的事件。

例如，在重飞情况下，诸如以下的动作是以所列出的序列为该事件实行的动作：调用重飞、推进助推器以起飞/重飞、调用襟翼、移动襟翼以进行设置、调用正速率、调用增速以及移动起落架杠杆。可以从训练数据识别诸如推力杠杆、襟翼和起落架杠杆的定位的动作。可以通过音频识别调用，该音频可以被单独记录或被记录为训练会话的视频的一部分。可以使用语音识别和自然语言处理来处理音频以便识别讲话内容以及说话者。可以使用人工智能系统来实行该分析，该人工智能系统被训练以便分析来自训练会话的情景事件的已实行动作。

在图14中，根据图示性实施例描绘了用于分析训练者在训练会话期间做出的评价的过程的流程图的图示。在该图示性示例中，可以利用软件或硬件中的至少一个在汇报模块250中实现数据流程图中的不同操作。与通过计算机实施的过程(诸如人工智能系统中的过程)分析的受训者在视频中实行的动作相比，该过程可以用于比较受训者在训练会话中实行的动作的评价。

过程通过识别情景事件开始(操作1400)。过程识别情景事件的所需动作的序列(1402)。当事件开始时，过程监测所需动作(操作1404)。过程确定是否实行了所需动作(操作1406)。在该图示性示例中，可以使用人工智能过程来进行操作1406中的确定，使得该过程在训练会话中发生情景事件期间实时运行。可以通过使用训练会话数据的人工智能过程来形成操作1406中的确定。在该图示性示例中，训练会话数据包括以下中的至少一个：从训练装置获得的训练装置数据、视频数据、音频数据或用于训练会话的其他合适数据。

过程将所需动作的实行或未实行与训练者所输入的指导者评分数据进行比较(操作1408)。可以进行比较以便查看受训者是否实行如训练者所输入的指导者评分数据中所示的所需动作。例如，如果将要把襟翼移动到所选位置，则可以分析训练会话数据以便确定动作是否将襟翼移动到所选位置。此外，可以分析指导者评分数据，以便确定训练者是否输入关于襟翼移动的指导者评分数据。指导者评分数据可以是是否标记检查表中的项目、是否做出评论、或其组合。确定从训练识别的已实行动作是否对应于训练者所输入的关于已实行动作的指导者评分数据(操作1410)。

如果已实行动作对应于动作的指导者评分数据，则过程选择下一个情景事件(操作1412)。然后过程返回操作1404。在一些情况下，指导者评分数据不包括训练者所输入的评论。该评论的缺乏可以被认为是相对于该过程行进到选择下一个情景事件的对应评论。

再次参考操作1410，如果已实行动作不对应于训练者所输入的指导者评分数据，则过程识别已实行动作是否正确或者指导者评分数据是否正确(操作1414)。可以通过人工智能系统将已实行动作和指导者评分数据与关于事件的标准或策略进行比较来做出该确定。

通过该识别，过程产生警报(操作1416)。例如，该警报可以是以下中的至少一个：指示存在差异的图形指示符、音频警报、用于修正评论的关键字的识别、示出动作的正确表现的视频的显示或一些其他合适类型的信息。可以将警报呈现给训练者、放置在日志中、以消息发送给训练主管或某种其他合适类型的警报。

然后过程行进到操作1412。在实行训练会话的动作期间实时实行该过程。以此方式，可以将增强的反馈提供给训练者或受训者中的至少一个。

因此，可以使用这种类型的动态反馈来更有效地使用训练会话。例如，如果一个或多个已实行动作是不正确的，则在相同训练会话期间可以重复该事件以便更快速地加强事件的所需动作的正确实行。

在图15中，根据图示性实施例描绘了用于分析来自训练者对动作的输入与受训者所实行的动作之间的差异的过程的流程图的图示。在该图示性示例中，可以利用软件或硬件中的至少一个在图2的汇报模块250中实现数据流程图中的不同操作。在该示例中，可以以用于汇报模块250的人工智能过程来实现过程。

过程通过从评论中识别针对训练会话中的情景事件的评论开始(操作1500)。过程识别与评论相关的所需动作的视频段(操作1502)。所需动作是针对情景事件将要实行的动作。在该图示性示例中，如图11中的流程图中所描述的，可以基于时间戳与评论的关联来识别视频段。

过程分析视频段以便产生指示是否实行所需动作的结果(操作1504)。过程将是否实行所需动作的结果与有关所需动作的评论进行比较(操作1506)。确定结果是否与评论相对应(操作1508)。

如果结果与评论相对应，则过程确定针对情景事件是否存在另一个评论(操作1510)。如果存在另一个评论，则过程返回操作1500以便识别另一个评论以进行处理。

再次参考操作1508，如果结果不对应于评论，则记录差异(操作1512)。然后过程行进到如上所述的操作1510。

再次参考操作1510，如果不存在附加评论，则过程确定差异的数量是否大于阈值水平(操作1514)。阈值水平可以基于指示计分可能不准确的差异的数量。此外，阈值水平可以基于训练者的差异历史，其中具有差异的事件的数量也大于指示可能存在对情景事件的理解偏差或缺乏的阈值。

如果差异的数量大于阈值水平，则过程将计分与相同情景事件的计分历史进行比较(操作1516)。确定比较是否指示计分的有效性缺乏置信度(操作1518)。如果存在缺乏置信度，则产生警报(操作1520)。过程在其之后终止。例如，警报可以是用于指示计分中存在缺乏置信度的电子邮件消息、文本消息或语音消息。再次参考操作1514，如果差异的数量不大于阈值水平，则过程终止。

再次参考操作1518，如果不存在缺乏置信度，则过程也终止。该过程可以用作审计以便确定训练者是否未遵循为事件设置的标准或策略。

在一个图示性示例中，由图15中的过程分析的视频可以是由一个或多个领域专家(subject matter experts)进行评分的视频。该类型的视频也可以被称为黄金标准视频。然后，训练者可以对黄金标准视频实行评分，并且训练者的评分与黄金标准评分之间的差别可用于确定训练者是否满足评分实践所期望的胜任力水平。该黄金标准视频可以用于检测训练者之间的评分间可变性。另外，可以通过一个或多个领域专家针对情景事件实行通常由受训者实行的动作，产生情景事件的图示性视频。该视频可以用作向训练者展示顶级(top)受训者的预期表现的一种方式。

参考图16，根据图示性实施例描绘了用于训练人工智能系统以便分析训练者在训练会话中做出的评论的流程图的图示。在该图示性示例中，可以在人工智能系统中实现数据流程图中的不同操作，该人工智能系统可以位于图2中的汇报模块250中或者利用软件或硬件中的至少一个与汇报模块进行通信。可以实行该过程以便训练人工智能系统从而实时评价训练者所做出的评论。

可以实现该流程图中的过程，以便训练人工智能系统以用作训练评分和汇报装置中的部件。例如，可以实现过程以便训练人工智能系统，该人工智能系统是汇报模块250的一部分或与汇报模块250进行通信的单独部件。

在训练会话期间，过程从训练者接收评论(操作1600)。操作1600中的评论是关于受训者表现的。过程将评论与来自训练会话的视频数据相关联(操作1602)。

在后处理中，过程选择用于训练人工智能的评论(操作1604)。可以通过领域专家分析评论来实行该操作。例如，可以分析评论以便识别评论是用于训练人工智能系统的适当评论。

过程根据训练会话期间所做出的评论产生关键字(操作1606)。过程将关键字与视频数据相关联(操作1608)。将关键字和相关联的视频段用于人工智能系统的机器学习算法中(操作1610)。过程在其之后终止。

参考图17，根据图示性实施例描绘了用于利用人工智能系统来分析训练者在训练会话期间做出的评论的流程图的图示。在该图示性示例中，可以利用软件或硬件中的至少一个在图2的汇报模块250中的人工智能系统中实现数据流程图中的不同操作。

过程通过在训练会话期间实时接收训练会话数据开始(操作1700)。在该示例中，训练会话数据包括视频、来自训练装置的数据以及可用于分析训练者所做出的评论的其他合适类型数据。

过程分析训练会话数据以便识别由受训者实行的动作的一组关键字(操作1702)。在操作1702中，训练会话数据包括以下中的至少一个：训练装置数据、模拟数据、视频或在训练会话期间获得的关于已实行动作的其他合适类型数据。如本文所使用的，在与参考项目一起使用时，“一组”意味着一个或多个项目。例如，“一组关键字”是一个或多个关键字。该组关键字针对动作的评论。过程向训练者建议评论的一组关键字(操作1704)。在操作1704中，可以通过图形用户界面(诸如图7中的图形用户界面700)中的弹出窗口或其他图形指示符来进行建议。

确定训练者是否同意该组关键字(操作1706)。如果训练者同意该组关键字，则将该组关键字自动添加为评论(操作1708)。然后过程返回如上所述的操作1700。在实时分析训练会话数据时，人工智能系统可以建议用于评论的关键字，从而减少了对训练者输入评论的需求。再次参考步骤1706，如果训练者不同意该组关键字，则过程返回如上所述的操作1700。

为了图示说明一种方式的目的而提供了图16和图17中的训练并使用人工智能系统来分析视频中实行的动作的图示，可以以该方式在不同图示性示例中使用人工智能系统。该图示并不意味着限制人工智能系统可使用另一个示例的方式。例如，也可以训练人工智能系统来识别训练者对受训者所实行的动作做出的评论与人工智能系统所分析的动作之间的差异。换言之，人工智能系统可以基于限定将针对事件实行的动作的标准或其他策略，识别训练者所做出的评论何时没有正确地表征通过训练实行的动作。

转到图18，根据图示性实施例描绘了用于分析训练数据的分析环境的框图的图示。分析环境1800是训练会话数据1808和指导者评分数据1810可以在其中进行分析的环境。

如所描绘的，总体训练会话数据1802和总体指导者评分数据1804存储在总体数据储存库1806中。如所描绘的，总体数据储存库1806包括在计算机系统1820上运行的分析器1818以及数据存储设备1822。计算机系统1820是包括一个或多个数据处理系统的物理硬件系统。当存在不止一个数据处理系统时，这些数据处理系统可以使用通信介质来彼此通信。通信介质可以是网络。数据处理系统可以选自以下中的至少一个：计算机、服务器计算机、工作站、平板计算机、笔记本计算机、电子飞行包、移动电话或一些其他合适的数据处理系统。

如所描绘的，分析器1818可以以硬件或软件中的至少一个来实现。数据存储设备1822是存储总体训练会话数据1802和总体指导者评分数据1804的存储系统。数据存储设备1822由选自以下中的至少一个的一个或多个存储装置构成：硬盘驱动器、光盘驱动器、固态盘驱动器、磁带驱动器或其他合适类型的存储装置。

在该示例中，总体数据储存库1806是从训练中心1812接收训练会话数据1808和指导者评分数据1810的储存库。训练中心1812可以位于不同的地理位置中。换言之，不同的训练中心可以位于不同的城市、州、国家或大陆中。如所描绘的，可以经由位于训练中心1812处的评分和汇报装置1814，从训练中心1812发送训练会话数据1808和指导者评分数据1810。

在该图示性示例中，总体数据储存库1806与训练中心1812中的评分和汇报装置1814通过网络1816彼此通信。网络1816由局域网、广域网、内联网、互联网、或一些其他合适类型的网络中的至少一个构成。

将训练会话数据1808和指导者评分数据1810聚合到总体训练会话数据1802和总体指导者评分数据1804中使得在总体数据储存库1806中的计算机系统1820上运行的分析器1818能够分析针对待进行的一个特定情景事件或一组情景事件的训练程序(诸如胜任力训练程序)。例如，训练中心1812可以是航空公司、航空学校或一些其他组织的训练中心。

计算机系统1820是包括一个或多个数据处理系统的物理硬件系统。当存在不止一个数据处理系统时，这些数据处理系统可以使用通信介质来彼此通信。通信介质可以是网络。数据处理系统可以选自以下中的至少一个：计算机、服务器计算机、工作站、平板计算机、笔记本计算机、电子飞行包、移动电话或一些其他合适的数据处理系统。分析器1818可以以硬件或软件中的至少一个来实现。

该数据的聚合可以允许识别位于特定学校的不同训练中心处的学生的胜任力。分析器1818被配置成确定训练中心1812中的一个训练中心的胜任力是否在统计学上是较低的。

在一个示例中，统计上较低的胜任力可以针对情景事件。如果训练中心处的学生针对情景事件的胜任力在统计学上比相同组织中的其他训练中心处的学生更低，则可以进行关于是否需要改变该特定训练中心中的程序、指导者、训练装置或其他部件或规程中的至少一个的进一步分析。

在另一个图示性示例中，胜任力可以是例如跨情景事件的胜任力。胜任力可以用于跨情景事件进行通信。例如，在起飞情景和着陆情景中，起飞情景和着陆情景中的通信胜任力可以被聚合为单个通信胜任力。由于胜任力不是情景相关的，因此所有胜任力都可以在情景事件之间进行聚合，类似于以上给出的通信示例。例如，跨情景事件的标准操作规程也可以被聚合，因为该胜任力调查是否正确地遵循该规程。这些规程可以是起飞检查表、着陆检查表和汇报、仪表化着陆规程以及其他合适规程。因此，所有的国际民用航空组织(ICAO)胜任力都可以跨情景事件进行聚合，从而最终是总体胜任力计分而不是基于情景的计分。

现在转到图19，根据图示性实施例描绘了数据处理系统的框图的图示。数据处理系统1900可以用于实现以下中的至少一个：图1和图2中的训练装置120、图10中的计算机系统1004、图18中的计算机系统1820、图1和图4中的评分和汇报装置100、图10中的评分和简报装置1012、图18中的评分和简报装置1814或其他合适装置。在该图示性示例中，数据处理系统1900包括通信框架1902，其提供处理器单元1904、存储器1906、永久性贮存器1908、通信单元1910、输入/输出(I/O)单元1912以及显示器1914之间的通信。在该示例中，通信框架1902可以采取总线系统的形式。

处理器单元1904执行可以加载到存储器1906中的软件的指令。取决于特定实施方式，处理器单元1904可以是多个处理器、多处理器核心或一些其他类型的处理器。处理器单元104是可以在图2中的处理器200中使用的硬件装置的示例。

存储器1906和永久性贮存器1908是存储装置1916的示例。存储装置是能够临时地、永久地、或者临时和永久地存储信息(诸如，例如但不限于数据、功能形式的程序代码或其他合适信息中的至少一个)的任何硬件。在这些图示性示例中，存储装置1916也可以被称为计算机可读存储装置。在这些示例中，存储器1906可以是例如随机存取存储器或任何其他合适的易失性或非易失性存储装置。取决于特定实施方式，永久性贮存器1908可以采取各种形式。

例如，永久性贮存器1908可以包含一个或多个部件或装置。例如，永久性贮存器1908可以是硬盘驱动器、固态硬盘驱动器、闪速存储器、可重写光盘、可重写磁带或以上的一些组合。永久性贮存器1908所使用的介质也可以是可移除的。例如，可移除硬盘驱动器可以用于永久性贮存器1908。

在这些图示性示例中，通信单元1910提供与其他数据处理系统或装置的通信。在这些图示性示例中，通信单元1910是网络接口卡(NIC)。

输入/输出单元1912允许使用可连接到数据处理系统1900的其他装置来进行数据的输入和输出。例如，输入/输出单元1912可以通过键盘、鼠标或一些其他合适的输入装置中的至少一个来提供用于用户输入的连接。此外，输入/输出单元1912可以将输出发送到打印机。显示器1914提供用于向用户显示信息的机构。

操作系统、应用或程序中的至少一个的指令可以位于存储装置1916中，该存储装置1916通过通信框架1902与处理器单元1904进行通信。可以通过处理器单元1904使用可以位于存储器1906中的计算机实施的指令来实行不同实施例的过程。

这些指令被称为程序代码、计算机可用程序代码或计算机可读程序代码，其可以由处理器单元1904中的处理器读取和执行。不同实施例中的程序代码可以体现在不同的物理或计算机可读存储介质上，诸如存储器1906或永久性贮存器1908。

程序代码1918以功能形式位于可选择性移除的计算机可读介质1920上，并且可以被加载或转移到数据处理系统1900以供处理器单元1904执行。在这些图示性示例中，程序代码1918和计算机可读介质1920形成计算机程序产品1922。在一个示例中，计算机可读介质1920是计算机可读存储介质1924。

在这些图示性示例中，计算机可读存储介质1924是用于存储程序代码1918的物理或有形存储装置，而不是传播或传输程序代码1918的介质。

可替代地，可以使用计算机可读信号介质将程序代码1918转移到数据处理系统1900。例如，计算机可读信号介质可以是包含程序代码1918的传播数据信号。例如，计算机可读信号介质可以是电磁信号、光信号或任何其他合适类型信号中的至少一个。这些信号可以通过至少一个通信链路(诸如，无线通信链路、光纤电缆、同轴电缆、电线或任何其他合适类型的通信链路)来传输。

针对数据处理系统1900示出的不同部件并不意味着对可实现不同实施例的方式提供架构限制。可以在数据处理系统中实现不同的图示性实施例，该数据处理系统包括用于附加或替代针对数据处理系统1900示出的部件的部件。图19所示的其他部件可以根据所示的图示性示例发生变化。可以使用能够运行程序代码1918的任何硬件装置或系统来实现不同的实施例。

因此，本公开涉及用于对基于迹象的训练会话进行评分和汇报的电子装置。装置允许指导者以结构化方式从训练会话中提取机组人员行为并对其进行评分，以便直接将其与通过基于迹象的训练(EBT)训练的胜任力(新行业标准)相关联。为了在分析作为一部分胜任力的一组行为时最小化评分人员之间的可变性，可以在输入指导者评论时提供情景事件和预期动作的预定列表。装置可以在记录评论时将视频与带时间戳的数据记录集成以便有助于汇报。

评分和汇报电子装置包括：通信模块，其用于在受训者的训练会话期间获取实时训练会话数据；实时数据获取模块，其被配置用于产生带时间戳的训练会话数据；输入单元，其用于获取指导者在训练会话期间输入的指导者评分数据；实时指导者评分模块，其被配置用于产生带时间戳的指导者评分数据；存储模块，其被配置用于将训练会话的实时数据存储在数据储存库中，其中实时数据包括带时间戳的训练会话数据和带时间戳的指导者评分数据；以及汇报模块，其被配置成从数据储存库检索训练会话的实时数据、在显示器上重放实时数据以及在重放期间使用从指导者接收的已更新指导者评分数据来更新数据储存库中的指导者评分数据。

该电子装置还可以包括会话后评估模块，其被配置成重放数据储存库上存储的训练会话的指导者评分数据，并且基于在重放期间从指导者接收的胜任力评估来产生针对训练会话的指导者评估。在一个实施例中，该电子装置包括最终评估模块，其被配置成基于指导者所输入的最终评分来产生针对训练会话的最终指导者评估。

例如，该电子装置可以以移动装置、台式计算机或工作站来实现。根据一个实施例，训练会话数据包括从训练装置获得的训练装置数据；以及在训练会话的执行期间从记录受训者的视频照相机获得的视频数据。在该实施例中，汇报模块可以被配置成将训练会话的带时间戳的指导者评分数据与视频数据集成，以用于重放训练会话的实时数据。

根据本公开的进一步方面，还提供了用于对基于迹象的训练会话进行评分和汇报的系统，其包括如前所述的电子装置以及用于在训练装置中执行训练会话期间记录受训者的视频照相机。该系统还可以包括被实现为飞行模拟器、桌面模拟或视频游戏的训练装置。

根据本公开的又一个方面，提供了用于对基于迹象的训练会话进行评分和汇报的计算机实施的方法。该方法包括以下步骤：

-在受训者的训练会话期间获取实时训练会话数据并且产生带时间戳的训练会话数据。

-获取由指导者在训练会话期间输入的指导者评分数据并且产生带时间戳的指导者评分数据。

-将训练会话的实时数据存储在数据储存库中，其中实时数据包括带时间戳的训练会话数据和带时间戳的指导者评分数据。

-从数据储存库检索训练会话的实时数据，并且在显示器上重放实时数据。

-在重放期间使用从指导者接收的已更新指导者评分数据来更新数据储存库中的指导者评分数据。

该方法还可以包括基于从指导者接收的胜任力评估，产生针对训练会话的指导者评估。在一个实施例中，该方法还包括基于指导者所输入的最终评分来产生针对训练会话的最终指导者评估。

根据一个实施例，训练会话数据包括从训练装置获得的训练装置数据以及在训练会话的执行期间从记录受训者的视频照相机获得的视频数据。该方法可以包括将训练会话的带时间戳的指导者评分数据与视频数据集成，以用于在显示器上重放实时数据。

根据本发明的另一个方面，提供了用于对基于迹象的训练会话进行评分和汇报的计算机程序产品，其包括计算机代码指令，该计算机代码指令在被处理器执行时致使处理器实行先前描述的方法。该计算机程序产品可以包括已经在其上记录计算机代码指令的至少一个计算机可读存储介质。

根据本公开的EBT训练的实施方式允许指导者以指导性、客观性且一致性的方式评价飞行机组人员。通过提供情景事件的选择以及相关联的期望飞行机组人员动作(用于预定义训练会话)和/或行为指示符，指导者接收用于有效可重复评分的必要指导。此外，每当评论或评分被记录时，行为评分与自由文本评论的链接以及与带时间戳的视频流的集成创建了拟真式汇报体验，其增强学生的学习效果、有助于指导者进行评价、并且完全取代学生评估的纸质过程。

以电子方式获取训练数据而不是使用纸质过程允许在会话之后(定量的)直接访问胜任力综述(overviews)，从而根据胜任力对指导者评论进行分类和处理、使得可以进行基于数据的更客观的表现评估。另外，对视频和模拟数据的直观访问极大地有助于汇报效果。基于加亮的项目来自动选择汇报主题以及与被评分为低于标准的胜任力相关的观察进一步改善了指导者的汇报表现。此外，以电子格式存储所有训练信息有利于过渡到完全无纸化的记录保存并具有其所有优点，包括训练质量保证和可审计性。

不同图示性实施例的描述已经出于说明和描述的目的被呈现，并且并非意图为详尽的或限于公开形式的实施例。不同的图示性示例描述了实行动作或操作的部件。在图示性实施例中，部件可以被配置成实行所描述的动作或操作。例如，部件可以具有用于一定结构的配置或设计，该结构向部件提供实行在图示性示例中被描述为由部件实行的动作或操作的能力。

许多修改和变型对本领域普通技术人员来说将是显而易见的。此外，与其他期望的实施例相比，不同的图示性实施例可以提供不同的特征。例如，受训者可以是学生驾驶员或学生训练者中的至少一个。在学生训练者的情况下，视频还包括学生受训者，以用于分析学生受训者在训练会话中进行实行的方式。训练者所做出的评论集中在学生受训者使用该类型实施方式实行的动作上。选择并描述所选的一个或多个实施例以便最好地解释实施例的原理、实际应用，并且使得本领域的其他普通技术人员能够理解本发明，以用于具有适合于所涵盖的具体用途的多种修改的各种实施例。

Claims (26)

1.一种训练系统，其包括：

通信模块，其被配置成在受训者的训练会话期间获取实时训练会话数据，其中所述实时训练会话数据包括从训练装置获得的训练装置数据以及视频数据；

实时数据获取模块，其被配置成产生带时间戳的训练会话数据；

输入单元，其被配置成获取指导者在所述训练会话期间输入的指导者评分数据；

实时指导者评分模块，其被配置成产生带时间戳的指导者评分数据；

存储模块，其被配置成将所述训练会话的实时数据存储在数据储存库中，其中所述实时数据包括所述带时间戳的训练会话数据和所述带时间戳的指导者评分数据；

汇报模块，其在处理器单元上运行，其中所述汇报模块被配置成接收所述训练会话的所述实时训练会话数据；产生所述带时间戳的训练会话数据；接收实时指导者评分数据；并且产生所述带时间戳的指导者评分数据；将所述带时间戳的训练会话数据与所述带时间戳的指导者评分数据集成；并且在显示器上显示具有评论列表的图形用户界面，显示由用户输入选择的所选评论，根据与所述带时间戳的指导者评分数据中的时间戳相关联的评论以及与所述带时间戳的训练会话数据中的时间戳相关联的视频，显示与所述所选评论相关联的视频段的链接；以及

人工智能系统，其中所述人工智能系统被配置成分析所述实时训练会话数据，记录和显示基于由所述训练装置生成的所述训练装置数据的包括所述训练会话所需完成的动作的检查表框，以及在接收到所述带时间戳的训练会话数据时分析所述实时指导者评分数据。

2.根据权利要求1所述的训练系统，其中所述汇报模块被配置成在显示器上显示具有评论列表的图形用户界面，显示由用户输入选择的所选评论，根据与所述带时间戳的指导者评分数据中的时间戳相关联的评论以及与所述带时间戳的训练会话数据中的时间戳相关联的视频，显示与所述所选评论相关联的视频段的链接。

3.根据权利要求1所述的训练系统，其中所述人工智能系统被配置成识别情景事件的所需动作的序列；从所述带时间戳的训练会话数据中识别已实行动作的序列；确定所述已实行动作的序列与所述所需动作的序列是否相匹配；以及如果存在匹配则指示通过。

4.根据权利要求3所述的训练系统，其中所述人工智能系统被配置成在所述训练会话完成之后，确定所述已实行动作的序列是否与所述所需动作的序列相匹配。

5.根据权利要求3所述的训练系统，其中所述人工智能系统被配置成在所述训练会话期间实时确定所述已实行动作的序列是否与所述所需动作的序列相匹配。

6.根据权利要求3所述的训练系统，其中所述人工智能系统被配置成确定是否像训练者评论的那样实行所需动作，并且如果没有像训练者评论的那样实行所述所需动作则产生警报。

7.根据权利要求3所述的训练系统，其中所述人工智能系统被配置成访问从训练中心接收的总体训练会话数据和总体指导者评分数据，并且识别所述训练中心中的一个训练中心针对所述情景事件的胜任力是否在统计学上是较低的。

8.根据权利要求3所述的训练系统，其中所述人工智能系统被配置成通过分析所述带时间戳的训练会话数据来识别所述受训者所实行的动作的关键字组，其中所述关键字组针对所述动作的评论。

9.根据权利要求1所述的训练系统，其中所述人工智能系统位于所述汇报模块或与所述汇报模块通信的计算机系统中的至少一个中。

10.根据权利要求1所述的训练系统，其中所述通信模块、所述实时数据获取模块、所述输入单元、所述实时指导者评分模块、所述存储模块以及在所述处理器单元上运行的所述汇报模块位于评分和简报装置中。

11.根据权利要求10所述的训练系统，其还包括：

视频照相机；以及

训练装置。

12.根据权利要求1所述的训练系统，其中所述带时间戳的训练会话数据包括训练装置数据和视频数据。

13.一种用于汇报基于迹象的训练会话的电子装置，所述电子装置包括：

通信模块，其用于在受训者的训练会话期间获取实时训练会话数据，其中所述实时训练会话数据包括视频数据；

实时数据获取模块，其被配置用于产生带时间戳的训练会话数据；

输入单元，其用于获取指导者在所述训练会话期间输入的指导者评分数据；

实时指导者评分模块，其被配置用于产生带时间戳的指导者评分数据；

存储模块，其被配置用于将所述训练会话的实时数据存储在数据储存库中，其中所述实时数据包括所述带时间戳的训练会话数据和所述带时间戳的指导者评分数据；以及

汇报模块，其被配置成从所述数据储存库检索训练会话的实时数据；将所述训练会话的带时间戳的指导者评分数据与视频数据集成以便形成集成数据；在显示器上重放所述集成数据；以及在所述显示器上重放所述集成数据期间使用从指导者接收的已更新指导者评分数据来更新所述数据储存库中的所述指导者评分数据；

其特征在于所述实时指导者评分模块被配置成：

检索包括将在预定情景事件期间由所述受训者实行的动作的检查表框；

分析从训练装置接收的训练装置数据；

基于对所述训练装置数据的分析，自动检查所述检查表框中包括的由所述受训者在所述训练会话期间实行的至少一个动作的执行；以及

向所述指导者提供关于所述至少一个动作的执行的实时反馈。

14.根据权利要求13所述的电子装置，其还包括会话后评估模块，所述会话后评估模块被配置成重放所述数据储存库上存储的训练会话的指导者评分数据，并且基于在所述重放期间从指导者接收的胜任力评估来产生所述训练会话的指导者评估。

15.根据权利要求13所述的电子装置，其还包括：

最终评估模块，其被配置成基于指导者所输入的最终评分来产生训练会话的最终指导者评估。

16.根据权利要求13所述的电子装置，其中所述电子装置是移动装置、台式计算机或工作站。

17.根据权利要求13所述的电子装置，其中从在所述训练会话的执行期间记录所述受训者的视频照相机获得所述视频数据。

18.根据权利要求13所述的电子装置，其中从记录所述训练会话的执行的所述训练装置获得所述视频数据。

19.根据权利要求13所述的电子装置，其还包括：

人工智能系统，其中所述人工智能系统被配置成在从所述训练装置接收到所述训练会话数据时，实时分析所述训练会话数据和所述指导者评分数据。

20.根据权利要求19所述的电子装置，其中所述人工智能系统被配置成识别情景事件的所需动作的序列；从所述训练会话数据识别已实行动作的序列；确定所述已实行动作的序列与所述所需动作的序列是否相匹配；以及如果存在匹配则指示通过。

21.根据权利要求20所述的电子装置，其中所述人工智能系统被配置成在所述训练会话完成之后确定所述已实行动作的序列是否与所述所需动作的序列相匹配。

22.根据权利要求20所述的电子装置，其中所述人工智能系统被配置成在所述训练会话期间实时确定所述已实行动作的序列是否与所述所需动作的序列相匹配。

23.根据权利要求20所述的电子装置，其中所述人工智能系统被配置成通过分析所述训练会话数据来识别受训者所实行的动作的关键字组，其中所述关键字组针对所述动作的评论。

24.一种用于汇报基于迹象的训练会话的计算机实施的方法，所述方法包括：

在受训者的训练会话期间获取实时训练会话数据，其中所述实时训练会话数据包括从训练装置获得的训练装置数据以及视频数据；

产生带时间戳的训练会话数据；

获取由指导者在所述训练会话期间输入的指导者评分数据并且产生带时间戳的指导者评分数据；

将所述训练会话的实时数据存储在数据储存库中，其中所述实时数据包括所述带时间戳的训练会话数据和所述带时间戳的指导者评分数据；

从所述数据储存库检索训练会话的实时数据；

将所述训练会话的带时间戳的指导者评分数据与视频数据集成以便形成集成数据；

在显示器上重放所述集成数据；

在所述重放期间使用从指导者接收的已更新指导者评分数据来更新所述数据储存库中的所述指导者评分数据；以及

其特征在于所述方法还包括：

检索包括将在预定情景事件期间由所述受训者实行的动作的检查表框；

分析从所述训练装置接收的所述训练装置数据；

基于对所述训练装置数据的分析，自动检查所述检查表框中包括的由所述受训者在所述训练会话期间实行的至少一个动作的执行；

与人工智能接合，从而分析由所述训练装置生成的所述训练装置数据，自动检查在所述检查表框中的在所述训练会话期间实行的至少一个动作的执行；以及

向所述指导者提供关于所述至少一个动作的执行的实时反馈。

25.根据权利要求24所述的计算机实施的方法，其还包括基于从指导者接收的胜任力评估，产生所述训练会话的指导者评估。

26.根据权利要求24所述的计算机实施的方法，其还包括：

基于指导者输入的最终评分来产生训练会话的最终指导者评估。