CN116830178A - 用于评估技能的设备和方法 - Google Patents
用于评估技能的设备和方法 Download PDFInfo
- Publication number
- CN116830178A CN116830178A CN202280014208.1A CN202280014208A CN116830178A CN 116830178 A CN116830178 A CN 116830178A CN 202280014208 A CN202280014208 A CN 202280014208A CN 116830178 A CN116830178 A CN 116830178A
- Authority
- CN
- China
- Prior art keywords
- data
- technical
- operator
- behavior
- observable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000009471 action Effects 0.000 claims abstract description 40
- 238000011156 evaluation Methods 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 230000003542 behavioural effect Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000036314 physical performance Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 33
- 238000004891 communication Methods 0.000 claims description 15
- 238000004088 simulation Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 description 73
- 238000005259 measurement Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000763 evoking effect Effects 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012907 on board imaging Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000010668 complexation reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/16—Control of vehicles or other craft
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/16—Control of vehicles or other craft
- G09B19/165—Control of aircraft
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Entrepreneurship & Innovation (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种用于评估操作者的技术和非技术技能的方法，所述方法包括：收集与操作者的身体表现有关的内生数据和与课程的上下文有关的外生数据的步骤；由数据处理模块实现的以下步骤：使所收集的数据相关联，以将内生数据连接到外生数据；使用关联数据检测包括至少一个触发事件参数和一个动作参数的可观察行为数据；以预定义分析序列分析可观察行为数据，每个预定义分析序列对于待评估的技能都是特定的，并且包括根据预定义情境表征预期可观察行为的触发事件参数和动作参数，所述分析生成测量指标；通过将观察到的行为与预期参考行为进行比较来评估操作者的行为；基于行为评估的结果来评估操作者的每项技能。
Description
本发明提出了一种用于精确且简洁地评估操作者或操作者团队在培训情境中或在真实或模拟任务情境中的技能的设备和方法。本发明的应用领域可以涉及实现由操作者或操作者团队管理的复杂系统的所有领域，这些领域必须应用过程(procedure)，根据情境做出决定，与系统和其它操作者沟通和交互，并且对于这些领域来说，安全性是极为重要的。更具体地，本发明涉及在专用平台上评估飞行员和/或机组人员在模拟或培训情境中的飞行技能的领域。
这些领域涉及以下领域，以下领域不是穷举性的：
-运输领域，诸如，例如航空部门、铁路部门、海运部门或汽车部门，
-情境管理领域，诸如，例如空中交通控制部门、公共安全部门，
-工业处理管理领域，诸如，例如能量生产部门。
来自本申请人的文献FR 3 098 389提出了一种用于分析操作者在模拟或培训情境中的行为的方法，允许观察者获得提供关于操作者的状态和行为的实时信息的统计数据。使用这些统计数据，观察者能够对操作者的技术和非技术技能进行他们自己的分析。然而，在这种方法中，分析主要基于观察者的主观性和偏好。因此，取决于进行分析的观察者，针对同一个操作者获得的数据可能导致对操作者技能的不同分析。
循证培训(Evidence-based training，EBT)是用于基于客观技能评估(基于胜任力的培训)的由航空领域中的参与者开发的用于评估和培训商业航空飞行员的方法。
因此，根据九项技术和非技术技能的集合(即，过程的应用、沟通、飞行路径管理(手动和自动)、知识、领导力和协作、问题解决和决策作出、情境感知以及最后地工作量管理)对飞行员进行评估。
为了帮助指导者评估这些非技术技能，欧洲联盟航空安全机构(European UnionAviation Safety Agency，EASA)已经公布了可观察行为指标(Observable BehaviorIndicator，OBI)清单。这些行为指标使得有可能客观化这多种技能并且在指导者之间提供共享评估框架，从而能够减少评估的主观性。
然而，这些OBI也可能受到指导者之间的不同解释影响，并且可能由于其大数量或其多样性而难以检测。实际上，培训或模拟课程(session)通常持续三到四个小时，这对于飞行员(为了他的许可证的有效性而参加)和负责模拟的指导者来说都是具有挑战性的时间。因此，在这些课程期间，飞行员或机组人员在指导者的指导下学习了许多故障和情境。因此，所述指导者是培训设备的核心，并且必须处理许多任务，诸如场景的管理和执行、场景的平滑运行、空中交通控制交互的模拟以及机舱乘务员交互。
除此之外，循证培训的引入还要求指导者监控飞行员及其团队，以便检测技能评估所需的可观察行为(Observable Behavior，OB)数据。
然而，指导者装备得很差，并且通常仅使用他们在课程期间已经观察到的事件的注释，并且因此由每项技能的大约十个指标表示的许多OB的检测通常是部分的。
总之，指导者因此负责飞行员的实时评估以及模拟的管理和培训课程的组织。由于受到机组人员留下的且不利于观察的定位限制，并且由于不存在的或仍然不发达的工具，这些观察任务难以执行，并且指导者的工作量大大增加。精神上过载和/或受课程必须平稳运行的活动限制，指导者不能检测正确评估飞行员所需的所有行为指标(OB)。
这些缺陷随后可能在对飞行员的技能的评估和工作中引入差距，而飞行员的技能又可能危及飞行操作的安全。
已经开发了用于克服上述限制的一些解决方案，诸如在培训情境期间对飞行员及其团队的视频监视，允许指导者获得从不同于他们自己的视点观看的手段、或者观察由飞行员及其团队展示的技术技能(制动器、操纵杆、襟翼的管理)的手段。然而，迄今为止还没有开发出使非技术技能客观化的方法。此外，指导者辅助系统通常不链接至循证培训技能，并且提供给指导者的信息通常不允许指导者容易地直接得到评估技能所需的可观察行为数据。最终，这种负担落在指导者身上，然后指导者还必须分析所获得的视频或所捕获的数据，以便将它们与允许评估技能的可能可观察行为数据相关联。一些研究(诸如，例如专利US10755591)已经提到了这些技术，但是没有提供对该问题的显著解决方案。
然而，如上所述，大量可检测的可观察行为数据与研究辅助媒介的需要相结合以便能够评估非技术技能，迄今为止所开发的系统没有为其提供解决方案，总是部分地增加指导者的工作量，而不另外辅助他们进行评估。
本发明旨在通过提出一种用于在包括多种元件的平台上评估操作者在培训情境中的技术和非技术技能的设备和方法来克服所有或一些上述问题，多种元件使得可以：
-收集与所述培训情境有关的上下文数据，
-收集在培训情境期间与飞行员和/或其团队有关的数据，
-分析上述数据以检测培训情境期间的可观察行为数据，
-评估操作者行为，
-评估操作者的至少一项技术和/或非技术技能。
为此，本发明的一个主题是一种用于在真实或模拟平台上评估至少一个操作者在任务或培训情境中的技术和非技术技能的方法，该评估方法包括：
-收集与所述至少一个操作者在任务或培训课程期间的身体表现有关的内生数据和与在真实或模拟平台上的所述课程的上下文有关的外生数据的步骤；
-由数据处理模块执行的计算机实现的步骤为：
■使所收集的数据相关联，以将内生数据链接到外生数据；
■使用关联数据检测可观察行为数据，可观察行为数据包括被称为触发事件参数的至少一个参数和被称为动作参数的一个参数；
■以预定义分析序列分析可观察行为数据，每个预定义分析序列对于待评估的技术和非技术技能都是特定的，并且包括根据预定义情境表征预期的可观察行为的至少一个触发事件参数和一个动作参数，所述分析为每个观察到的行为生成测量指标；
■评估所述至少一个操作者的行为，所述评估包括将观察到的行为与预期的预定义参考行为进行比较；以及
■基于行为评估的结果评估所述至少一个操作者的每项技术和非技术技能。
根据本发明的一方面，数据收集步骤至少包括捕获观察和/或操纵和/或沟通性质的内生数据。
根据本发明的一方面，数据关联步骤包括：将在获取至少一个外生数据之后的内生数据按时间分组在一起，或者基于给定外生数据将它们按主题分组在一起。
根据本发明的一方面，检测可观察行为数据的步骤包括：用于确定源自所述至少一个操作者的触发事件的步骤，所述触发事件特别是在所述至少一个操作者的动作的起点或超过的时间延迟处发生的事件。
根据本发明的一方面，检测可观察行为数据的步骤包括：用于确定源自真实或模拟平台的触发事件的步骤，所述触发事件是发生在平台的状态改变的起点处的事件。
根据本发明的一方面，包括确定触发事件的步骤包括：检测源自所述至少一个操作者或源自所述平台的触发事件的步骤、以及选择至少一个触发事件的步骤。
根据本发明的一方面，分析步骤包括：将检测到的可观察行为数据与定义预期行为的预定义序列进行比较的步骤，每个预定义序列表示分配给预期行为的至少一个身体表现，预定义序列包含在对应关系数据库中。
根据本发明的一方面，在技能评估步骤之后，评估方法包括：显示技术和非技术技能的评估的步骤。
根据本发明的一方面，评估方法包括：存储内生数据、外生数据、可观察行为数据和评估结果的步骤。
本发明的另一主题是一种用于在真实或模拟平台上评估至少一个操作者在培训情境中的技术和非技术技能的设备，该评估设备包括用于实现该评估方法的步骤的设备。
在航空电子领域的一个特定实现中，本发明的设备被个性化，以在模拟平台上评估飞行员或机组人员在培训情境中的技术和非技术技能。为此，本发明覆盖包括本发明的设备的飞行模拟器。
本发明还涉及一种计算机程序产品，所述计算机程序包括当在计算机上执行所述程序时用于执行所述方法的步骤的代码指令。
通过阅读由示例给出的一个实施方式的详细描述，本发明将被更好地理解并且其它优点将变得明显，该描述通过附图例示，其中：
图1示出了在一个实施方式中的用于在本发明的平台上评估至少一个操作者在任务或培训情境中的技术和非技术技能的方法的步骤序列；
图2示出了在一个实施方式中的用于在本发明的平台上评估至少一个操作者在任务或培训情境中的技术和非技术技能的方法的关联和分析步骤；以及
图3示出了在本发明的一个实施方式中的用于评估至少一个操作者在任务或培训情境中的技术和非技术技能的设备。
为了清楚起见，在所有附图中，相同的元件由相同的附图标记表示。
为了能够允许对至少一个操作者进行这种评估，也就是说，对于航空电子领域，根据以上公开的九项技术和非技术技能，仅对飞行员或所述飞行员及其机载团队进行评估，一些出版物详述了这九项技能中的每项以及一定数量的可观察行为指标，这些指标可以允许负责评估的指导者表征这些技能。例如，可以引用ICAO(2013)提供的文献“Manual ofEvidence-Based Training(循证培训的手册)”或IATA(2013年7月)提供的“Evidence-Based Training Implementation Guide(循证培训实施指南)”。
图1所示的用于在真实或模拟平台上评估至少一个操作者在任务或培训情境中的技术和非技术技能的方法100基于这些指标描述。
在本说明书中，术语“内生数据”表示来自操作者(或飞行员)和/或操作者团队或其机组人员的身体参数或表现。例如，凝视跟踪或瞳孔跟踪、特定姿势的检测、姿势识别、对在真实或模拟平台上的沟通或操纵动作的分析可以被认为是内生数据。术语“外生数据”就其部分而言表征与上下文有关的所有数据，诸如，例如来自平台的航空电子数据、与场景和操作者或操作者团队的实践知识的角色扮演或者所显示的天气有关的元素。总之，所有外生数据都来自平台。平台还表示容纳操作者或操作者团队的机舱。因此，在需要模拟飞行情境的培训情境的情况下，平台表示容纳操作者或操作者团队的测量设备。相反地，在实际飞行情境的上下文中，平台则表示操作者或操作者团队在其中工作的飞机机舱。
评估方法100可以在平台上建立的飞行情境期间实现。
可以将评估方法100分解为多个连续阶段，所述评估方法100使得可以产生评估至少一个操作者的技能所需的信息。
评估方法100开始于步骤102，即，收集与至少一个操作者在任务或培训课程期间的身体表现有关的内生数据和与平台上的任务或培训课程的上下文有关的外生数据。内生数据和外生数据可以以各种格式提供，诸如，例如图像格式、视频、音频信号、电信号、施加在控制器上的动作或力、连续参数或量化参数。
更具体地，在步骤102期间收集的内生数据表示由评估方法100检测到的基本事件和与观察有关的参数(短暂眼睛移动、眼睛路径)、在平台上检测到的操纵(诸如，由飞行员在其平台上、在其机载仪器上执行的触摸动作)、或者利用声音参数(所使用的词典和措辞)的沟通。
经由平台收集102外生数据，该平台提供与平台上的角色扮演有关的所有信息和参数，特别是上下文、至少一个操作者遇到的场景或检查者希望对至少一个操作者的技能进行评分所需的工作台。
对来自至少一个操作者的动作的检测考虑了操作上下文，特别是至少一个操作者专注于的作业、所使用的专业语言、用户手册和作业手册。
作为示例，表示可能引起来自至少一个操作者的动作或反应的上下文或特定情境的外生数据可以表示：
-飞行阶段，诸如，起飞，
-飞行条件，诸如，天气，
-接合(engaged)操作模式，诸如，自动驾驶模式，
-存在任何故障。
因此，数据收集步骤102至少包括捕获视觉和/或操纵和/或沟通性质的内生数据、以及外生数据。
在已经收集了来自至少一个操作者的内生数据和来自平台的外生数据之后，评估方法100发起使内生数据和外生数据相关联的步骤104。该关联步骤104可以被解释为应用于原始信息(即，内生数据和外生数据)的预处理步骤。
因此，关联步骤104使得可以响应于所记录的外生数据来链接所获得的表征至少一个操作者的身体表现的内生数据。因此，内生数据围绕一个或更多个外生数据被分组在一起。内生数据在一个或更多个外生数据周围的这种关联之后，关联步骤104使得可以基于所观察的关联生成可观察行为数据。
这种关联可以按时间执行，也就是说，可以将在获取至少一个外生数据之后出现的内生数据分组在一起，或者这种关联可以按主题执行，也就是说，基于给定外生数据，预定义特定数量的内生数据可以由评估方法100预期，以便根据特定主题将这些数据分组在一起，诸如，例如飞行器起飞阶段之前的验证处理。
因此，每个可观察行为数据包括被称为触发事件参数的至少一个参数和被称为动作参数的一个参数。触发事件参数表示由至少一个动作参数表示的在至少一个操作者及其举止的潜在反应的起点处的动作。触发事件也可以是超过的时间延迟，作为正在进行的过程的一部分。
更具体地并且如图2所示，数据关联步骤104包括：用于确定源自操作者的触发事件的步骤116，源自操作者的触发事件是响应于源自操作者的该触发事件在至少一个操作者的动作的起点处发生的事件。因此，源自操作者的触发参数可以是内生数据，诸如，例如操作者团队之间的技术对话的初始化。然而，在更一般化场景中，也可以设想触发事件参数是外生数据。
数据关联步骤104然后包括：用于确定源自平台的触发事件的步骤118。源自平台的触发事件表示在平台的状态的起点处发生的事件，并且可以被解释为外生数据。随后是检测源自所述至少一个操作者或源自所述平台的触发事件的步骤120、以及选择至少一个触发事件的步骤122。
对源自操作者的触发事件的检测120基于对来自至少一个操作者的动作的检测。对源自平台的触发事件的检测120基于对平台的状态的检测(诸如，例如领航模式的改变、起落架的伸出或缩回、故障)以及基于从动态参数(诸如，例如速度、倾斜度、姿态)的包络的偏离。
响应于触发事件，不管它是来自至少一个操作者还是来自平台的触发，评估方法100然后均捕获由内生数据表示的至少一个动作参数，并且呈现至少一个操作者对触发参数的反应的身体表现。因此，将由外生数据或内生数据表示的触发参数和由内生数据表示的至少一个动作参数分组在一起，使得可以在关联步骤104期间生成根据有形参数反映至少一个操作者在触发事件时的行为的至少一个可观察行为数据。
这些动作反映了至少一个操作者在观察、仪表和飞行控制操纵或语音通信领域中的行为。作为示例，动作参数可以表示诸如由至少一个操作者观察的区域的内生视觉(ocular)数据，或者表示诸如由至少一个操作者说出的短语的内生语音数据，或者动作参数可以表示诸如由至少一个操作者执行的操纵的内生操纵数据。
例如，源自至少一个操作者的触发事件参数可以表示诸如特定观察区域的内生视觉数据或诸如检测到的特定语音消息的内生语音数据、或者诸如检测到的特定动作的内生操纵数据。
举例来说，源自平台的触发事件参数可以表示：
-所述平台的状态的变化，
-超过阈值或偏离平台的动态参数的包络，
-对飞行控件执行的动作，
-从驾驶舱外部或从另一乘务人员接收的语音命令。
因此，可观察行为数据的生成确实地反映了能够通过与可观察行为的所有元素的实现相关的时间延迟、持续时间、序列或排序来测量和检测的特性的产生，与其触发有关。
在步骤106中，评估方法100包括：用于以预定义分析序列分析可观察行为数据的步骤，每个预定义分析序列对于待评估的技术和非技术技能都是特定的，并且包括至少一个触发事件参数和用于根据预定义情境表征预期可观察行为的一个动作参数。分析106还使得可以为每个观察到的行为生成测量指标。更具体地，步骤106通过将检测到的可观察行为数据与定义预期可观察行为的预定义序列进行比较(步骤132)来分析触发事件和动作参数的棱镜(prism)下的可观察行为数据，每个预定义序列表示分配给预期行为的至少一个身体表现。预定义序列包含在对应关系数据库中。因此，该对应关系数据库包括呈现本领域技术人员已知的可观察行为数据的预定义分析序列、以及它们的指定可测量和可检测身体表现。因此，每个预定义分析序列包括至少一个触发事件参数和至少一个动作参数、以及用于表征至少一个操作者的飞行情境和上下文、以及根据预定义情境的他们的预期反应的其它内生和外生数据。该分析提供了诱发动作的性质、其时间位置以及其持续时间或其频率。对应关系数据库还包括包含与待观察的每个行为相关的触发事件参数的参考表。
因此，为了能够分析至少一个操作者在飞行情境期间的行为，分析可观察行为数据的步骤106将检测到的内生和外生数据(更具体地，触发事件和动作参数)与触发事件和动作参数以及还有预定义内生和外生数据进行比较。预定义分析序列对于待评估的每个技术和非技术技能都是特定的。
所考虑的观察到的行为数据的分析识别与所述至少一个操作者的举止相关的其三种不同性质：
-观察或视觉数据，
-与操作站的飞行控件和装置上的操纵或手动动作有关的数据，
-通信或语音交换数据。
例如，用于测量观察到的行为的这些指标(其通过与发生有关的度量(metric)和与检测到的行为有关的多种内生数据的排序来确定)可以非穷举地按以下形式呈现：
-相对于触发和/或触发事件参数的时间延迟，
-同一类型的诱发事件的两次发生之间的最小和最大时间延迟，
-一段时间内相同类型的诱发事件的发生次数，
-连续事件的有序接续的标识，
-连续序列事件之间的时间延迟，
-完整序列持续时间。
然后，观察到的行为指标的生成使得可以发起图1所示的步骤108，该步骤包括评估至少一个操作者的行为。对至少一个操作者的行为的评估包括将基于检测到的一组行为元素的观察到的行为与预定义预期参考行为进行比较。通过与包含在对应关系数据库中的定义过程或建立的协议的已知现有技术进行比较来评估所观察行为的一致性。
因此，对操作者的技术和非技术技能的评估的客观性是基于先前创建的各种可观察行为和与这些可观察行为有关的可测量身体变量之间的对应关系数据库的。
对于每个可观察行为，匹配包括确定测量相同行为的各种方式，然后开发每次测量所需的工具。
通过指示性和非穷尽性示例，给出以下各种情况来说明可观察行为与可测量身体变量的匹配以允许行为被评估。
为了评估被称为“领导力和团队合作”的非技术技能，发明人已经确定，可以通过分析沟通来客观地测量与鼓励团队参与和公开沟通有关的可观察行为，以便确定由一个操作者向另一个操作者做出的请求。例如，对于航空电子领域，每个飞行员之间或飞行员与地面操作者之间的交互频率是有助于该评估的量度(measure)。考虑到该领域特有的词汇，可以根据应用领域来建立和定义其它标准，诸如例如作为任务的一部分的诱发沟通的某些术语的目标和目的。
仍然在评估“领导力和团队合作”的非技术技能的上下文中，与以建设性方式接收和/或发送反馈有关的可观察行为的评估可以通过测量跟随由另一操作者(例如副驾驶员)或由机组人员或由地面操作者传达的信息的可听和可视反馈来执行。因此，可以分析非语言沟通以检测例如手势一致性(compliance)，或者可以执行视频分析以检测表示理解的身体移动(例如，点头或手的姿势)。另一种量度可以是信息沟通和由操作者观察到的反馈之间的时间延迟。
作为“情境感知”的非技术技能的评估的一部分，与监视和评估可能影响飞行器操作的一般环境有关的可观察行为的评估可以例如通过测量在飞行阶段花费在分析外部视图上的时间百分比来执行，在飞行阶段中操作者能够这样做，或者可以通过测量眼睛移动在能够进行这种监测的可用工具的方向上的频率来执行，或者可以通过测量飞行员相对于与环境有关的指示(眼睛移动或操纵或者与机组人员或地面操作者的口头交互)的响应时间来执行。
本领域技术人员将理解，这些可观察行为测量可以由其它测量来补充。
因此，在已经测量了与待分析的可观察行为有关的所需的各种参数和数据之后，构建客观可观察行为参考或指标。
通过非详尽示例的方式，可以测量与以下有关的参数：
-对所述课程期间机器限制的各种超出进行计数；这使得有可以在对限制和系统及其交互的实际和可应用知识的演示的上下文中客观地测量可观察行为。
-对从飞行员A到飞行员B的请求数量进行计数；这使得可以测量与鼓励团队参与和开放沟通有关的技能。
-测量在可能进行该分析的阶段中分析外部视图所花费的时间；这使得可以客观地评估与监视和评估可能影响飞行器操作的一般环境有关的可观察行为。
-测量飞行员眼睛移动到驾驶舱中的指示元件的时间延迟，测量路径(速度、高度、变感器、姿态)，并且与可接受时间延迟阈值(在几秒和几分钟之间变化)进行比较；这允许用于分析可观察行为的手段，所述可观察行为涉及在飞行期间使用自动化来维持所规划的飞行路径，同时管理其它任务和分心事物。
观察到的行为的测量因此围绕彼此跟随的两个主要步骤被组织：
-行为的检测，通过关联和生成可观察行为数据的步骤104，其识别触发事件之后由至少一个操作者引起的并且在所定义上下文中执行的元素或动作。通过步骤104，该检测通过指定动作开始的时间、动作结束的时间和动作的持续时间来提供所引起的动作的性质及其时间位置。
-行为的测量，通过分析和生成观察到的行为测量指标的步骤106，其将度量应用于所有这些行为元素相对于其触发的实现。观察到的行为数据将检测到的一组行为元素分组在一起，所述检测到的一组行为元素需要被组合和组织并用于构造要应用度量的分组。
所观察行为的分析106和评估108相当于将在收集步骤102期间通过内生数据产生和检测的动作与在所定义情境期间通过相比于参考测量观察到的行为而观察到的动作进行比较，该参考是通过在其中结合容差建立的。该比较使用对应关系数据库，该对应关系数据库对由现有技术的良好实践过程产生的所有参考元素及其容差进行形式化和编码。
在已经评估了至少一个操作者的行为之后，评估方法100可以发起步骤110，该步骤包括基于在步骤108中获得的行为评估的结果来评估至少一个操作者的每项技术和非技术技能。因此，步骤110通过组合对可观察行为执行的各种评估和与所讨论的技能有关的观察到的其行为测量指标来确定度量，从而提供针对整个技术或非技术技能的代表性简洁评估。
在一个实施方式中，在技能评估步骤110之后，评估方法100包括：显示技术和非技术技能的评估的步骤112。因此，为了便于阅读对至少一个操作者的技术和非技术技能的评估，可以根据他们的性质或根据时间或任务规模来显示一个或更多个所评估的技能，所述时间或任务规模使得可以对指导者的评估进行语境化。该显示步骤112还使得能够显示与外生数据相关联的所有检测到的内生数据，使得能够基于真实或模拟平台的状态精确地呈现至少一个操作者的反应。
作为示例，对于每种技能，显示步骤112可以使得能够显示呈现所评估和注明日期的可观察行为数据的出现的专用行、以及技能评估的概要。
该解决方案使得可以将各种技能相互关联，并且还可以根据观察到的各种行为来分析该关联。
为了区分每种技能，可以定义颜色代码，将每种颜色与所评估的技术或非技术技能相关。
出于可读性或指导者兴趣的原因，可以显示或不显示每个被评估的技能行。
在一个实施方式中，评估方法100可以包括存储114内生数据、外生数据、可观察行为数据和评估结果的步骤。该存储使得能够存储附加数据，该附加数据使得能够通过丰富用于评估方法1的后续使用的对应关系数据库来改进评估方法100的评估能力。
本发明还提出了如图3所示的设备200，用于在真实或模拟平台200上评估至少一个操作者在培训情境中的技术和非技术技能，包括用于实现评估方法100的步骤的装置。评估设备200包括：模块204，其用于收集内生数据和外生数据，能够实现收集步骤102；数据处理模块206，其被配置为使所收集的内生数据和外生数据相关联，并且能够实现关联步骤104；数据处理模块208，其被配置为基于触发事件参数和动作参数来分析可观察行为数据，并且能够实现分析步骤106；以及数据处理模块210，其被配置为评估所述至少一个操作者的行为并且评估所述至少一个操作者的技术和非技术技能，并且能够实现评估行为的步骤108和评估每种技能的步骤110。
评估设备200可以包括其它附加模块，其使得可以实现评估方法1的附加步骤。
评估设备200因此可以包括用于实现显示步骤112的显示模块212和用于实现存储步骤114的存储模块214。存储模块214可以是存在于评估设备200中的物理模块，或者是分布在因特网服务器上的数字模块，使用因特网网络接收和发送其数据。这允许该模块具有在云中执行数据处理的可能性，以便能够访问大计算容量。
收集模块204还包括至少一个图像传感器216和/或一个音频传感器(用于语音检测)218和/或一个操纵传感器220和/或附加传感器222(诸如，例如心电图(electrocardiogram，ECG)生理传感器)，以便能够从至少一个操作者收集所有内生数据。收集模块204还连接到真实或模拟平台202，以便访问外生数据。
本发明还提供了一种计算机程序产品，该计算机程序产品包括代码指令，当在计算机上执行所述程序时，所述代码指令用于执行评估方法100的数据处理步骤。
本发明的实施方式可以通过各种手段来实现，例如通过硬件、软件或其组合。
通常，为了实现本发明的实施方式而执行的例程可以在特定操作系统或应用、组件、程序、对象、模块或指令序列、或甚至其子集的上下文中实现，在此可以被称为“计算机程序代码”或简称为“程序代码”。程序代码通常包括计算机可读指令，所述计算机可读指令在各种时间驻留在计算机中的各种存储器和存储设备中，并且当所述计算机可读指令被计算机中的一个或更多个处理器读取和执行时，所述计算机可读指令提示本发明的实施方式的各个方面特定的操作和/或元素所必需的操作。用于执行本发明的实施方式的操作的程序的计算机可读指令例如可以是汇编语言，或者是结合一种或多种编程语言编写的源代码或目标代码。
Claims (12)
1.一种用于在真实或模拟平台上评估至少一个操作者在任务或培训情境中的技术和非技术技能的方法(100)，所述评估方法(100)包括：
-收集与所述至少一个操作者在任务或培训课程期间的身体表现有关的内生数据和与在真实或模拟平台上的所述课程的上下文有关的外生数据的步骤(102)；
-由数据处理模块(206，208，210)执行的计算机实现的步骤(104，106，108，110)，包括：
■使所收集的数据相关联，以将内生数据链接到外生数据；
■使用关联数据检测可观察行为数据，可观察行为数据包括被称为触发事件参数的至少一个参数和被称为动作参数的一个参数；
■以预定义分析序列分析所述可观察行为数据，每个预定义分析序列对于待评估的技术和非技术技能都是特定的，并且包括根据预定义情境表征预期可观察行为的至少一个触发事件参数和一个动作参数，所述分析为每个观察到的行为生成测量指标；
■评估所述至少一个操作者的行为，所述评估包括将观察到的行为与预期的预定义参考行为进行比较；以及
■基于所述行为评估的结果评估所述至少一个操作者的每项技术和非技术技能。
2.根据权利要求1所述的用于评估技术和非技术技能的方法(100)，其中，所述数据收集步骤(102)至少包括捕获观察和/或操纵和/或沟通性质的内生数据。
3.根据权利要求1或2所述的用于评估技术和非技术技能的方法(100)，其中，所述数据关联步骤(104)包括将在获取至少一个外生数据之后出现的内生数据按时间分组在一起，或者基于给定外生数据将所述内生数据按主题分组在一起。
4.根据权利要求1至3中任一项所述的用于评估技术和非技术技能的方法(100)，其中，检测可观察行为数据的步骤包括：用于确定源自所述至少一个操作者的触发事件的步骤(116)，所述触发事件特别是在所述至少一个操作者的动作的起点或超过的时间延迟处发生的事件。
5.根据权利要求1至4中任一项所述的用于评估技术和非技术技能的方法(100)，其中，检测可观察行为数据的步骤包括：用于确定源自所述真实或模拟平台的触发事件的步骤(118)，所述触发事件是在所述平台的状态改变的起点处发生的事件。
6.根据权利要求4至5所述的用于评估技术和非技术技能的方法(100)，其中，用于确定触发事件的步骤包括：检测源自所述至少一个操作者或源自所述平台的触发事件的步骤(120)、以及选择至少一个触发事件的步骤(122)。
7.根据权利要求1至6中任一项所述的用于评估技术和非技术技能的方法(100)，其中，所述分析步骤(106)包括将检测到的可观察行为数据与定义所述预期行为的预定义序列进行比较的步骤(132)，每个预定义序列表示分配给所述预期行为的至少一个身体表现，所述预定义序列包含在对应关系数据库中。
8.根据权利要求1至7中任一项所述的用于评估技术和非技术技能的方法(100)，在所述技能评估步骤(110)之后，所述方法还包括：显示所述技术和非技术技能的评估的步骤(112)。
9.根据权利要求1至8中任一项所述的用于评估技术和非技术技能的方法(100)，所述方法包括：存储所述内生数据、所述外生数据、所述可观察行为数据和所述评估结果的步骤(114)。
10.一种用于在真实或模拟平台(202)上评估至少一个操作者在培训情境中的技术和非技术技能的设备(200)，所述评估设备(200)包括用于实现如权利要求1至9中任一项所述的所述评估方法(100)的步骤的装置。
11.一种飞行模拟器，所述飞行模拟器包括如权利要求10所述的评估设备。
12.一种计算机程序产品，所述计算机程序包括代码指令，当在计算机上执行所述程序时，所述代码指令用于执行如权利要求1至9中任一项所述的方法的步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2101200A FR3119699A1 (fr) | 2021-02-09 | 2021-02-09 | Dispositif et procédé d'évaluation des compétences |
| FRFR2101200 | 2021-02-09 | ||
| PCT/EP2022/052860 WO2022171563A1 (fr) | 2021-02-09 | 2022-02-07 | Dispositif et procede d'evaluation des competences |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116830178A true CN116830178A (zh) | 2023-09-29 |
Family
ID=77519139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280014208.1A Pending CN116830178A (zh) | 2021-02-09 | 2022-02-07 | 用于评估技能的设备和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240105076A1 (zh) |
| EP (1) | EP4292072A1 (zh) |
| CN (1) | CN116830178A (zh) |
| FR (1) | FR3119699A1 (zh) |
| WO (1) | WO2022171563A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115471377B (zh) * | 2022-09-14 | 2024-02-13 | 上海安洵信息技术有限公司 | 一种人才赋能管理方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3333782A1 (en) | 2016-12-09 | 2018-06-13 | The Boeing Company | Electronic device and method for debriefing evidence-based training sessions |
| FR3098389A1 (fr) * | 2019-07-11 | 2021-01-15 | Thales | Dispositif et procede d'analyse du comportement d'un sujet |
-
2021
- 2021-02-09 FR FR2101200A patent/FR3119699A1/fr active Pending
-
2022
- 2022-02-07 CN CN202280014208.1A patent/CN116830178A/zh active Pending
- 2022-02-07 EP EP22707644.5A patent/EP4292072A1/fr active Pending
- 2022-02-07 WO PCT/EP2022/052860 patent/WO2022171563A1/fr active Application Filing
- 2022-02-07 US US18/276,032 patent/US20240105076A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022171563A1 (fr) | 2022-08-18 |
| US20240105076A1 (en) | 2024-03-28 |
| EP4292072A1 (fr) | 2023-12-20 |
| FR3119699A1 (fr) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10984674B2 (en) | System and method to teach and evaluate image grading performance using prior learned expert knowledge base | |
| CN108229791B (zh) | 用于汇报基于迹象的训练会话的电子装置和方法 | |
| US20210251541A1 (en) | Evaluation of a person or system through measurement of physiological data | |
| Behrend et al. | How role assignment impacts decision-making in high-risk environments: Evidence from eye-tracking in aviation | |
| CN116824954B (zh) | 眼动+飞行数据的模拟机飞行训练讲评系统及方法 | |
| Carroll et al. | Enhancing HMD-based F-35 training through integration of eye tracking and electroencephalography technology | |
| Skvarekova et al. | Objective measurement of pilot´ s attention using eye track technology during IFR flights | |
| Bruder et al. | A model for future aviation | |
| US20220246055A1 (en) | Device and method for analysing the behaviour of a subject | |
| Yang et al. | Artificial intelligence in pilot training and education–towards a machine learning aided instructor assistant for flight simulators | |
| CN116830178A (zh) | 用于评估技能的设备和方法 | |
| Wee et al. | Real time eye tracking interface for visual monitoring of radar controllers | |
| Ha et al. | Investigation on relationship between information flow rate and mental workload of accident diagnosis tasks in NPPs | |
| Li et al. | The benefits of integrated eye tracking with airborne image recorders in the flight deck: A rejected landing case study | |
| Mamessier et al. | Calibration of online situation awareness assessment systems using virtual reality | |
| Ayiei | The Use of Eye Tracking in Assessing Visual Attention | |
| Li et al. | The development of eye tracking in aviation (ETA) technique to investigate pilot's cognitive processes of attention and decision-making | |
| Diaz et al. | Visual scan patterns of expert and cadet pilots in VFR landing | |
| Kilingaru et al. | Smart evaluation of instrument scan pattern using state transition model during flight simulator training | |
| Spravka et al. | Unmanned air vehicles: A new age in human factors evaluations | |
| Knabl-Schmitz et al. | Eye-Tracking | |
| Friedrich | Designing a workplace in the aviation domain: the transition to a remote air traffic control workplace by analysing the human-computer interaction | |
| Knabl-Schmitz et al. | Eye-tracking: From concept to operational training tool. | |
| Wu et al. | Direct measurement of situation awareness in abnormal situation during aircraft landing | |
| Lyu et al. | VALIO: Visual attention-based linear temporal logic method for explainable out-of-the-loop identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |