CN115273600A - 一种飞行员驾驶技能智能辅助训练方法及系统 - Google Patents
一种飞行员驾驶技能智能辅助训练方法及系统 Download PDFInfo
- Publication number
- CN115273600A CN115273600A CN202210890882.8A CN202210890882A CN115273600A CN 115273600 A CN115273600 A CN 115273600A CN 202210890882 A CN202210890882 A CN 202210890882A CN 115273600 A CN115273600 A CN 115273600A
- Authority
- CN
- China
- Prior art keywords
- flight
- training
- data
- attention
- physiological activation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 166
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000004913 activation Effects 0.000 claims abstract description 78
- 230000008569 process Effects 0.000 claims abstract description 37
- 238000002474 experimental method Methods 0.000 claims abstract description 28
- 238000004088 simulation Methods 0.000 claims abstract description 21
- 230000006399 behavior Effects 0.000 claims abstract description 18
- 238000012546 transfer Methods 0.000 claims description 31
- 230000000638 stimulation Effects 0.000 claims description 17
- 230000004424 eye movement Effects 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000037007 arousal Effects 0.000 claims description 7
- 206010062519 Poor quality sleep Diseases 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 230000010344 pupil dilation Effects 0.000 claims description 4
- 206010063659 Aversion Diseases 0.000 claims description 3
- 230000001766 physiological effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000019771 cognition Effects 0.000 abstract 1
- 230000001149 cognitive effect Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000004598 abnormal eye movement Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009914 physiological arousal Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种飞行员驾驶技能智能辅助训练方法及系统，属于辅助训练技术领域，用于解决传统上飞行员技能训练缺乏客观化、量化、实时跟踪化认知错误检测环节，训练靶点针对性不明显的技术问题。方法包括：定义飞行过程中的注意力指标；采集模拟飞行实验过程中，注意力指标对应的实验数据，建立各个飞行阶段的注意力指标数据标准；在实际飞行训练中，根据实时捕获的注意力指标数据以及注意力指标数据标准，对飞行学员进行注意力辅助训练；通过模拟训练实验，采集若干条错误操作行为的生理激活度数据；将生理激活度数据作为训练数据，训练SVM分类器；在实际训练中，根据实时捕获的生理激活度数据以及SVM分类器，对飞行学员进行生理激活度辅助训练。
Description
技术领域
本申请涉及辅助训练领域，尤其涉及一种飞行员驾驶技能智能辅助训练方法及系统。
背景技术
飞行员驾驶技能的培养与训练是一个复杂的过程，传统上一般依靠行为评估法进行评价与辅助训练，即依靠对飞行学员的操作动作进行监控，分析错误频率与错误类型，由此进行错误识别与成因归纳，制定训练计划。
但是飞行学员的操作错误原因较为复杂，可能由于训练时间不足、训练方向错误、生理唤醒度不足、过于紧张焦虑等多种原因造成飞行学员的操作错误，但是传统工具无法给出操作错误的客观化、精确化、计量化的指标。传统上的飞行员技能训练方法，缺乏客观化、量化、实时跟踪化认知错误检测环节，训练靶点针对性不明显，训练效果较差。
发明内容
本申请实施例提供了一种飞行员驾驶技能智能辅助训练方法及系统，用于解决如下技术问题：传统上飞行员技能训练缺乏客观化、量化、实时跟踪化认知错误检测环节，训练靶点针对性不明显。
本申请实施例采用下述技术方案：
一方面，本申请实施例提供了一种飞行员驾驶技能智能辅助训练方法，方法包括：定义飞行过程中的注意力指标；采集模拟飞行实验过程中，所述注意力指标对应的实验数据，并根据所述实验数据，建立各个飞行阶段的注意力指标数据标准；在实际飞行训练中，根据实时捕获的注意力指标数据以及所述注意力指标数据标准，对飞行学员进行注意力辅助训练；通过模拟训练实验，采集若干条错误操作行为的生理激活度数据；将所述生理激活度数据作为训练数据，训练SVM分类器；在实际飞行训练中，根据实时捕获的生理激活度数据以及所述SVM分类器，对飞行学员进行生理激活度辅助训练。
在一种可行的实施方式中，定义飞行过程中的注意力指标，具体包括：定义飞行过程中的注意力指标，分别为注视点指标、注视转移轨迹指标以及注视分配比例指标；其中，所述注视点指标为：眼部中央凹停留时间长度大于1635ms的对应场景区域；所述注视转移轨迹指标为：从一个注视点向另一个注视点变动的轨迹，且两个注视点之间无第三个注视点；所述注视分配比例指标为：在同一张飞行场景图像上，两组不同的注视点形成的注视时间长度的分配比例。
在一种可行的实施方式中，在采集模拟飞行实验过程中，所述注意力指标对应的实验数据之前，所述方法还包括：选取若干名飞行工作经验15年以上且零事故的专业飞行员作为被试者，进行所述模拟飞行实验；将飞行阶段拆分为起飞阶段、攀升阶段、巡航阶段以及着陆阶段；分别在各个飞行阶段的模拟条件下，通过VR头盔对所述被试者播放一组对应的仪表板与外部场景的模拟视频，并通过眼动仪采集被试者在各个飞行阶段的眼动数据；其中，所述眼动数据至少包括被试者的注视点、注视转移轨迹以及注视分配比例。
在一种可行的实施方式中，根据所述实验数据，建立各个飞行阶段的注意力指标数据标准，具体包括：根据所有被试者在各个飞行阶段的眼动数据分布情况，制定所述各个飞行阶段的注意力指标数据标准；其中，所述注意力指标数据标准包括注视点标准、注视分配比例标准以及注视转移轨迹标准；将注视点标准定义为：注视点在感兴趣区域内，所述感兴趣区域是指飞行仪表板上的速度计区域；将起飞阶段的注视分配比例标准定义为：RoGPROI>RoGPother，表示飞行员在感兴趣区域的注视分配比例RoGPROI大于在其他区域的注视分配比例RoGPother；将攀升阶段、巡航阶段以及着陆阶段的注视转移轨迹标准定义为：GPv→GPhorizonmeter→GPHigh→GPGV，表示飞行员在这三个飞行阶段中的注视转移轨迹为：第一个注视点GPv为飞行仪表板的速度计，第二个注视点GPhorizonmeter为地平仪，第三个注视点GPHigh为飞行高度表，第四个注视点GPGV为地速偏流角指示仪；且四个注视点的注视分配比例之差不超过预设阈值。
在一种可行的实施方式中，在实际飞行训练中，根据实时捕获的注意力指标数据以及所述注意力指标数据标准，对飞行学员进行注意力辅助训练，具体包括：在实际飞行技能训练过程中，实时捕获飞行学员的注意力指标数据；将所述注意力指标数据中的各种实时数据，分别与对应的注意力指标数据标准进行比较；若所述实时数据与对应的注意力指标数据标准不符合，则在训练屏幕上进行注视点引导，以对所述飞行学员进行注意力辅助训练。
在一种可行的实施方式中，若所述实时数据与对应的注意力指标数据标准不符合，则在训练屏幕上进行注视点引导，具体包括：若所述飞行学员的实时注视点不符合作数注视点标准，则在所述飞行学员的当前注视点位处显示红色亮点，并将所述红色亮点引导至所述感兴趣区域中；若所述飞行学员的实时注视转移轨迹不符合所述注视转移轨迹标准，则在所述实时注视转移轨迹相较于注视转移轨迹标准缺乏的点位处，显示红色亮点，引导所述飞行学员注视亮点；若所述飞行学员的实时注视分配比例不符合所述注视分配比例标准，则在所述实时注视分配比例相较于注视分配比例标准缺乏的区域，闪烁淡红色区域提示，引导飞行学员注视该区域。
在一种可行的实施方式中，通过模拟训练实验，采集若干条错误操作行为的生理激活度数据，具体包括：选取若干名未经过系统训练的人员进行模拟训练实验；分别对每个人员显示三次异常刺激信号，并持续采集实验中两个生理激活阶段内的错误操作行为对应的生理激活度数据；其中，所述两个生理激活阶段分别为：异常刺激信号出现后0s～1567ms内的注意准备阶段、异常刺激信号出现后1567ms～3s内的注意加工阶段；所述生理激活度数据至少包括瞳孔扩张程度、心率以及心率变异性。
在一种可行的实施方式中，将所述生理激活度数据作为训练数据，训练SVM分类器，具体包括：对于采集的每条生理激活度数据，分别规定对应的判断结果；所述判断结果为：对应的人员是否激活唤醒度；将所述生理激活度数据与判断结果的关联关系作为训练集，对SVM模型进行训练；训练过程中，对SVM模型参数进行调整，以使损失函数最小化，得到最终的SVM分类器；其中，所述SVM分类器的输入为所述生理激活度数据，输出为是否激活唤醒度的二分类变量；从所述训练集中抽取200条数据对所述SVM分类器进行验证，在所述SVM分类器的判别准确率高于预设准确率时，验证通过。
在一种可行的实施方式中，在实际飞行训练中，根据实时捕获的生理激活度数据以及所述SVM分类器，对飞行学员进行生理激活度辅助训练，具体包括：在实际飞行技能训练过程中，实时捕获飞行学员的生理激活度数据；将捕获的所述生理激活度数据输入训练好的所述SVM分类器；当所述SVM分类器在所述注意准备阶段的输出结果是未激活唤醒度时，在训练屏幕上闪烁红色文字“注意”，对所述飞行学员进行辅助激活；当所述SVM分类器在所述注意加工阶段的输出结果是未激活唤醒度时，在训练屏幕上闪烁红色文字“警示”，对所述飞行学员进行辅助激活。
另一方面，本申请实施例还提供了一种飞行员驾驶技能智能辅助训练系统，系统包括：注意力智能分析模块，用于定义飞行过程中的注意力指标；以及采集模拟飞行实验过程中，所述注意力指标对应的实验数据，并根据所述实验数据，建立各个飞行阶段的注意力指标数据标准；生理激活度智能分析模块，用于通过模拟训练实验，采集若干条错误操作行为的生理激活度数据；将生理激活度数据作为训练数据，训练SVM分类器；智能辅助训练模块，用于在实际飞行训练中，根据实时捕获的注意力指标数据以及所述注意力指标数据标准，对飞行学员进行注意力辅助训练；以及根据实时捕获的生理激活度数据以及所述SVM分类器，对飞行学员进行生理激活度辅助训练。
本申请实施例提供的一种飞行员驾驶技能智能辅助训练方法及系统，主要用于飞行学员的驾驶技能训练与智能化认知操作错误识别、自适应辅助技能提升场景，依靠人工智能技术自动分析错误成因，并生成自适应化的训练引导机制，辅助飞行学员进行飞行技能训练。依靠对生理与行为信号的人工智能分析，识别飞行学员与熟练技能的飞行员之间的模式差异，并根据这一模式差异，进行训练靶点定向引导，辅助飞行学员的技能训练，提升训练方向的精确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本申请实施例提供的一种飞行员驾驶技能智能辅助训练方法流程图；
图2为本申请实施例提供的一种飞行员驾驶技能智能辅助训练系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请实施例提供了一种飞行员驾驶技能智能辅助训练方法，如图1所示，飞行员驾驶技能智能辅助训练方法具体包括步骤S101-S105：
S101、定义飞行过程中的注意力指标。
具体地，飞行员的驾驶技能主要包括两个认知加工环节，一部分是对环境刺激的注意分布与注意转换模式，另一部分是对综合性环境刺激的信息整合模式，与安全驾驶密切相关的错误操作识别。即在出现异常性环境刺激之前，能否有效通过预测性指标注意，提前发现异常现象，并采取对应操作避免事故的发生。
根据注意的神经科学原理，造成飞行操作事故发生的成因，主要由两方面成因造成，一方面来自于环境刺激的注意分布、注意转化与信息整合模式异常或者功能不足，另一方面来自于飞行员本身的注意需求检测与注意准备度不足，上述两方面特征表现在生理与行为特征上。前者表现为注意分配的眼动注视点分布异常，在存在技能不足的飞行员眼动模式中，向特定的仪表区域分配的注视比例不足，注视加工的注视点分布量不足等，后者表现为在信号刺激出现后的生理激活度不足，例如瞳孔扩张程度不足、心率变化不足等。
本申请依靠对上述生理与行为信号的人工智能分析，定义了三种飞行过程中的注意力指标，分别为注视点指标、注视转移轨迹指标以及注视分配比例指标。
其中，注视点指标为：眼部中央凹停留时间长度大于1635ms的对应场景区域；注视转移轨迹指标为：从一个注视点向另一个注视点变动的轨迹，且两个注视点之间无第三个注视点；注视分配比例指标为：在同一张飞行场景图像上，两组不同的注视点形成的注视时间长度的分配比例。
在一个实施例中，注视点(Gaze Point，GP)，指的是眼部中央凹停留时间长度大于1635ms的对应场景区域。注视转移轨迹(Saccadic Rail，SR)，指的是从一个注视点(GP1)向另一个注视点(GP2)变动的轨迹，两个注视点之间无第三个注视点，两个注视点之间的连线为SR指标。注视分配比例(Rate of Gaze Points，RoGP)，指的是在同一张飞行场景图像上，两组不同的注视点形成的注视时间长度的分配比例。
S102、采集模拟飞行实验过程中，注意力指标对应的实验数据，并根据实验数据，建立各个飞行阶段的注意力指标数据标准。
一般而言，具有较高的飞行驾驶技能的飞行员，具备较强的异常预警技能与信息整合技能。具体而言，异常预警技能指的是飞行员在飞行操作过程中，能够根据高度计、速度计、飞机各个功能模块传感器显示仪等多种仪表板的读数情况，提前预测是否在飞行操作中出现异常，并采取应对措施。信息整合技能指的是飞行员在飞行操作过程中，能够有效分配自身的注意力，并在不同的飞行阶段采用不同的注意分配策略，注意到每阶段不同的信号特征。
因此，在模拟飞行实验中，本申请选取若干名飞行工作经验15年以上且零事故的专业飞行员作为被试者，并将飞行阶段拆分为起飞阶段、攀升阶段、巡航阶段以及着陆阶段。然后分别在各个飞行阶段的模拟条件下，通过VR头盔对被试者播放一组对应的仪表板与外部场景的模拟视频，并通过眼动仪采集被试者在各个飞行阶段的眼动数据。眼动数据至少包括被试者的注视点、注视转移轨迹以及注视分配比例。
在一个实施例中，选取了10名飞行工作经验15年以上，0事故的飞行员作为被试者。
进一步地，根据所有被试者在各个飞行阶段的眼动数据分布情况，制定各个飞行阶段的注意力指标数据标准。注意力指标数据标准包括注视点标准、注视分配比例标准以及注视转移轨迹标准。
具体地，将四个飞行阶段的注视点标准定义为：注视点在感兴趣区域内，感兴趣区域是指飞行仪表板上的速度计区域；
将起飞阶段的注视分配比例标准定义为：RoGPROI>RoGPother，表示飞行员在感兴趣区域的注视分配比例RoGPROI大于在其他区域的注视分配比例RoGPother；
将攀升阶段、巡航阶段以及着陆阶段的注视转移轨迹标准定义为：GPv→GPhorizonmeter→GPHigh→GPGV，表示飞行员在这三个飞行阶段中的注视转移轨迹为：第一个注视点GPv为飞行仪表板的速度计，第二个注视点GPhorizonmeter为地平仪，第三个注视点GPHigh为飞行高度表，第四个注视点GPGV为地速偏流角指示仪；且四个注视点的注视分配比例之差不超过预设阈值。
S103、在实际飞行训练中，根据实时捕获的注意力指标数据以及注意力指标数据标准，对飞行学员进行注意力辅助训练。
具体地，在实际飞行技能训练过程中，实时捕获飞行学员的注意力指标数据。将注意力指标数据中的各种实时数据，分别与对应的注意力指标数据标准进行比较。
若实时数据与对应的注意力指标数据标准不符合，则在训练屏幕上进行注视点引导，以对飞行学员进行注意力辅助训练，具体包括：
若飞行学员的实时注视点不符合作数注视点标准，则在飞行学员的当前注视点位处显示红色亮点，并将红色亮点引导至感兴趣区域中。若飞行学员的实时注视转移轨迹不符合注视转移轨迹标准，则在实时注视转移轨迹相较于注视转移轨迹标准缺乏的点位处，显示红色亮点，引导飞行学员注视亮点。若飞行学员的实时注视分配比例不符合注视分配比例标准，则在实时注视分配比例相较于注视分配比例标准缺乏的区域，闪烁淡红色区域提示，引导飞行学员注视该区域。
在一个实施例中，注视点GP与标准ROI不符合：屏幕上展示红色亮点，红色亮点出现区域为当前飞行学员注视点位，定义为GPcurent，将GPcurent引导至模块1中的标准ROI位置。注视转移轨迹SR与标准SR不符合：系统计算飞行学员当前SR特征，识别与标准SR不符合的注视点位，在当前SR中相较于标准SR缺乏的点位，出现红色亮点，引导飞行学员注视亮点。注视分配比例RoGP与标准不符合：系统计算飞行学员当前的RoGP，识别与标准RoGP不符合的注视比例区域，在当前RoGP中相较于标准RoGP缺乏的区域，闪烁淡红色区域提示，引导飞行学员注视区域。
S104、通过模拟训练实验，采集若干条错误操作行为的生理激活度数据；将生理激活度数据作为训练数据，训练SVM分类器；
具体地，选取若干名未经过系统训练的人员进行模拟训练实验。分别对每个人员显示三次异常刺激信号，并持续采集实验中两个生理激活阶段内的错误操作行为对应的瞳孔扩张程度、心率以及心率变异性等生理激活度数据。其中，两个生理激活阶段分别为：异常刺激信号出现后0s～1567ms内的注意准备阶段、异常刺激信号出现后1567ms～3s内的注意加工阶段。
进一步地，对于采集的每条生理激活度数据，分别规定对应的判断结果。判断结果为：对应的人员是否激活唤醒度。然后将生理激活度数据与判断结果的关联关系作为训练集，对SVM模型进行训练。
训练过程中，对SVM模型参数进行调整，以使损失函数最小化，得到最终的SVM分类器。其中，SVM分类器的输入为生理激活度数据，输出为是否激活唤醒度的二分类变量。
进一步地，从训练集中抽取200条数据对SVM分类器进行验证，在SVM分类器的判别准确率高于预设准确率时，验证通过。
在一个实施例中，识别飞行员在飞行操作过程中，当出现异常信号时，是否能够有效地激活认知需求并产生注意加工。主要在飞行员模拟训练过程中，采集飞行员的瞳孔扩张程度、心率和心率变异性，分别定义为PD，HR，HRV。
将上述生理激活度拆分为两个阶段，第一个阶段是刺激出现0-1567ms内的注意准备阶段，用于衡量飞行员的注意激活程度与反应速度；第二个阶段是刺激出现后1567ms-3s内的注意加工阶段，用于衡量飞行员的注意加工与认知负荷。一般而言，在出现刺激后，注意准备的激活程度不足或注意加工与认知负荷不足，均会造成错误操作行为。
前期试验中，选取350名未经过系统训练的人员进行模拟实验，分别进行了每人3次的试次，采集了1150条错误操作行为的生理激活度对应数据集。训练好分类器后，从训练集中抽取200条数据进行验证，分类器的判别准确率高于92％。
S105、在实际飞行训练中，根据实时捕获的生理激活度数据以及SVM分类器，对飞行学员进行生理激活度辅助训练。
具体地，在实际飞行技能训练过程中，实时捕获飞行学员的生理激活度数据。将捕获的生理激活度数据输入训练好的SVM分类器。
当SVM分类器在注意准备阶段的输出结果是未激活唤醒度时，在训练屏幕上闪烁红色文字“注意”，对飞行学员进行辅助激活。当SVM分类器在注意加工阶段的输出结果是未激活唤醒度时，在训练屏幕上闪烁红色文字“警示”，对飞行学员进行辅助激活。
在一个实施例中，飞行学员佩戴VR头盔，启动系统进行飞行技能训练。飞行学员的眼动数据与生理数据，由VR头盔以及上面附带的眼动仪和传感器进行自动采集分析。系统自动记录飞行学员在每一个阶段的训练数据，并进行系统提示，辅助飞行学员训练。
另外，本申请实施例还提供了一种飞行员驾驶技能智能辅助训练系统，如图2所示，飞行员驾驶技能智能辅助训练系统200具体包括：
注意力智能分析模块210，用于定义飞行过程中的注意力指标；以及采集模拟飞行实验过程中，所述注意力指标对应的实验数据，并根据所述实验数据，建立各个飞行阶段的注意力指标数据标准；
生理激活度智能分析模块220，用于通过模拟训练实验，采集若干条错误操作行为的生理激活度数据；将生理激活度数据作为训练数据，训练SVM分类器；
智能辅助训练模块230，用于在实际飞行训练中，根据实时捕获的注意力指标数据以及所述注意力指标数据标准，对飞行学员进行注意力辅助训练；以及根据实时捕获的生理激活度数据以及所述SVM分类器，对飞行学员进行生理激活度辅助训练。
作为一种可行的实施方式，所述注意力智能分析模块210还用于，定义飞行过程中的注意力指标，分别为注视点指标、注视转移轨迹指标以及注视分配比例指标；其中，所述注视点指标为：眼部中央凹停留时间长度大于1635ms的对应场景区域；所述注视转移轨迹指标为：从一个注视点向另一个注视点变动的轨迹，且两个注视点之间无第三个注视点；所述注视分配比例指标为：在同一张飞行场景图像上，两组不同的注视点形成的注视时间长度的分配比例。
作为一种可行的实施方式，所述注意力智能分析模块210还用于，选取若干名飞行工作经验15年以上且零事故的专业飞行员作为被试者，进行所述模拟飞行实验；将飞行阶段拆分为起飞阶段、攀升阶段、巡航阶段以及着陆阶段；分别在各个飞行阶段的模拟条件下，通过VR头盔对所述被试者播放一组对应的仪表板与外部场景的模拟视频，并通过眼动仪采集被试者在各个飞行阶段的眼动数据；其中，所述眼动数据至少包括被试者的注视点、注视转移轨迹以及注视分配比例。
作为一种可行的实施方式，所述注意力智能分析模块210还用于，根据所有被试者在各个飞行阶段的眼动数据分布情况，制定所述各个飞行阶段的注意力指标数据标准；其中，所述注意力指标数据标准包括注视点标准、注视分配比例标准以及注视转移轨迹标准；将注视点标准定义为：注视点在感兴趣区域内，所述感兴趣区域是指飞行仪表板上的速度计区域；将起飞阶段的注视分配比例标准定义为：RoGPROI>RoGPother，表示飞行员在感兴趣区域的注视分配比例RoGPROI大于在其他区域的注视分配比例RoGPother；将攀升阶段、巡航阶段以及着陆阶段的注视转移轨迹标准定义为：GPv→GPhorizonmeter→GPHigh→GPGV，表示飞行员在这三个飞行阶段中的注视转移轨迹为：第一个注视点GPv为飞行仪表板的速度计，第二个注视点GPhorizonmeter为地平仪，第三个注视点GPHigh为飞行高度表，第四个注视点GPGV为地速偏流角指示仪；且四个注视点的注视分配比例之差不超过预设阈值。
作为一种可行的实施方式，所述智能辅助训练模块230还用于，在实际飞行技能训练过程中，实时捕获飞行学员的注意力指标数据；将所述注意力指标数据中的各种实时数据，分别与对应的注意力指标数据标准进行比较；若所述实时数据与对应的注意力指标数据标准不符合，则在训练屏幕上进行注视点引导，以对所述飞行学员进行注意力辅助训练。若所述飞行学员的实时注视点不符合作数注视点标准，则在所述飞行学员的当前注视点位处显示红色亮点，并将所述红色亮点引导至所述感兴趣区域中；若所述飞行学员的实时注视转移轨迹不符合所述注视转移轨迹标准，则在所述实时注视转移轨迹相较于注视转移轨迹标准缺乏的点位处，显示红色亮点，引导所述飞行学员注视亮点；若所述飞行学员的实时注视分配比例不符合所述注视分配比例标准，则在所述实时注视分配比例相较于注视分配比例标准缺乏的区域，闪烁淡红色区域提示，引导飞行学员注视该区域。
作为一种可行的实施方式，所述生理激活度智能分析模块220还用于，选取若干名未经过系统训练的人员进行模拟训练实验；分别对每个人员显示三次异常刺激信号，并持续采集实验中两个生理激活阶段内的错误操作行为对应的生理激活度数据；其中，所述两个生理激活阶段分别为：异常刺激信号出现后0s～1567ms内的注意准备阶段、异常刺激信号出现后1567ms～3s内的注意加工阶段；所述生理激活度数据至少包括瞳孔扩张程度、心率以及心率变异性。对于采集的每条生理激活度数据，分别规定对应的判断结果；所述判断结果为：对应的人员是否激活唤醒度；将所述生理激活度数据与判断结果的关联关系作为训练集，对SVM模型进行训练；训练过程中，对SVM模型参数进行调整，以使损失函数最小化，得到最终的SVM分类器；其中，所述SVM分类器的输入为所述生理激活度数据，输出为是否激活唤醒度的二分类变量；从所述训练集中抽取200条数据对所述SVM分类器进行验证，在所述SVM分类器的判别准确率高于预设准确率时，验证通过。
作为一种可行的实施方式，所述智能辅助训练模块230还用于，在实际飞行技能训练过程中，实时捕获飞行学员的生理激活度数据；将捕获的所述生理激活度数据输入训练好的所述SVM分类器；当所述SVM分类器在所述注意准备阶段的输出结果是未激活唤醒度时，在训练屏幕上闪烁红色文字“注意”，对所述飞行学员进行辅助激活；当所述SVM分类器在所述注意加工阶段的输出结果是未激活唤醒度时，在训练屏幕上闪烁红色文字“警示”，对所述飞行学员进行辅助激活。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请的实施例可以有各种更改和变化。凡在本申请实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种飞行员驾驶技能智能辅助训练方法，其特征在于，所述方法包括：
定义飞行过程中的注意力指标；
采集模拟飞行实验过程中，所述注意力指标对应的实验数据，并根据所述实验数据，建立各个飞行阶段的注意力指标数据标准；
在实际飞行训练中，根据实时捕获的注意力指标数据以及所述注意力指标数据标准，对飞行学员进行注意力辅助训练；
通过模拟训练实验，采集若干条错误操作行为的生理激活度数据；将所述生理激活度数据作为训练数据，训练SVM分类器；
在实际飞行训练中，根据实时捕获的生理激活度数据以及所述SVM分类器，对飞行学员进行生理激活度辅助训练。
2.根据权利要求1所述的一种飞行员驾驶技能智能辅助训练方法，其特征在于，定义飞行过程中的注意力指标，具体包括：
定义飞行过程中的注意力指标，分别为注视点指标、注视转移轨迹指标以及注视分配比例指标；其中，
所述注视点指标为：眼部中央凹停留时间长度大于1635ms的对应场景区域；
所述注视转移轨迹指标为：从一个注视点向另一个注视点变动的轨迹，且两个注视点之间无第三个注视点；
所述注视分配比例指标为：在同一张飞行场景图像上，两组不同的注视点形成的注视时间长度的分配比例。
3.根据权利要求1所述的一种飞行员驾驶技能智能辅助训练方法，其特征在于，在采集模拟飞行实验过程中，所述注意力指标对应的实验数据之前，所述方法还包括：
选取若干名飞行工作经验15年以上且零事故的专业飞行员作为被试者，进行所述模拟飞行实验；
将飞行阶段拆分为起飞阶段、攀升阶段、巡航阶段以及着陆阶段；
分别在各个飞行阶段的模拟条件下，通过VR头盔对所述被试者播放一组对应的仪表板与外部场景的模拟视频，并通过眼动仪采集被试者在各个飞行阶段的眼动数据；其中，所述眼动数据至少包括被试者的注视点、注视转移轨迹以及注视分配比例。
4.根据权利要求3所述的一种飞行员驾驶技能智能辅助训练方法，其特征在于，根据所述实验数据，建立各个飞行阶段的注意力指标数据标准，具体包括：
根据所有被试者在各个飞行阶段的眼动数据分布情况，制定所述各个飞行阶段的注意力指标数据标准；其中，所述注意力指标数据标准包括注视点标准、注视分配比例标准以及注视转移轨迹标准；
将注视点标准定义为：注视点在感兴趣区域内，所述感兴趣区域是指飞行仪表板上的速度计区域；
将起飞阶段的注视分配比例标准定义为：RoGPROI>RoGPother，表示飞行员在感兴趣区域的注视分配比例RoGPROI大于在其他区域的注视分配比例RoGPother；
将攀升阶段、巡航阶段以及着陆阶段的注视转移轨迹标准定义为：
GPv→GPhorizonmeter→GPHigh→GPGV，表示飞行员在这三个飞行阶段中的注视转移轨迹为：第一个注视点GPv为飞行仪表板的速度计，第二个注视点GPhorizonmeter为地平仪，第三个注视点GPHigh为飞行高度表，第四个注视点GPGV为地速偏流角指示仪；且四个注视点的注视分配比例之差不超过预设阈值。
5.根据权利要求4所述的一种飞行员驾驶技能智能辅助训练方法，其特征在于，在实际飞行训练中，根据实时捕获的注意力指标数据以及所述注意力指标数据标准，对飞行学员进行注意力辅助训练，具体包括：
在实际飞行技能训练过程中，实时捕获飞行学员的注意力指标数据；
将所述注意力指标数据中的各种实时数据，分别与对应的注意力指标数据标准进行比较；
若所述实时数据与对应的注意力指标数据标准不符合，则在训练屏幕上进行注视点引导，以对所述飞行学员进行注意力辅助训练。
6.根据权利要求5所述的一种飞行员驾驶技能智能辅助训练方法，其特征在于，若所述实时数据与对应的注意力指标数据标准不符合，则在训练屏幕上进行注视点引导，具体包括：
若所述飞行学员的实时注视点不符合作数注视点标准，则在所述飞行学员的当前注视点位处显示红色亮点，并将所述红色亮点引导至所述感兴趣区域中；
若所述飞行学员的实时注视转移轨迹不符合所述注视转移轨迹标准，则在所述实时注视转移轨迹相较于注视转移轨迹标准缺乏的点位处，显示红色亮点，引导所述飞行学员注视亮点；
若所述飞行学员的实时注视分配比例不符合所述注视分配比例标准，则在所述实时注视分配比例相较于注视分配比例标准缺乏的区域，闪烁淡红色区域提示，引导飞行学员注视该区域。
7.根据权利要求1所述的一种飞行员驾驶技能智能辅助训练方法，其特征在于，通过模拟训练实验，采集若干条错误操作行为的生理激活度数据，具体包括：
选取若干名未经过系统训练的人员进行模拟训练实验；
分别对每个人员显示三次异常刺激信号，并持续采集实验中两个生理激活阶段内的错误操作行为对应的生理激活度数据；
其中，所述两个生理激活阶段分别为：异常刺激信号出现后0s～1567ms内的注意准备阶段、异常刺激信号出现后1567ms～3s内的注意加工阶段；
所述生理激活度数据至少包括瞳孔扩张程度、心率以及心率变异性。
8.根据权利要求7所述的一种飞行员驾驶技能智能辅助训练方法，其特征在于，将所述生理激活度数据作为训练数据，训练SVM分类器，具体包括：
对于采集的每条生理激活度数据，分别规定对应的判断结果；所述判断结果为：对应的人员是否激活唤醒度；
将所述生理激活度数据与判断结果的关联关系作为训练集，对SVM模型进行训练；
训练过程中，对SVM模型参数进行调整，以使损失函数最小化，得到最终的SVM分类器；其中，所述SVM分类器的输入为所述生理激活度数据，输出为是否激活唤醒度的二分类变量；
从所述训练集中抽取200条数据对所述SVM分类器进行验证，在所述SVM分类器的判别准确率高于预设准确率时，验证通过。
9.根据权利要求8所述的一种飞行员驾驶技能智能辅助训练方法，其特征在于，在实际飞行训练中，根据实时捕获的生理激活度数据以及所述SVM分类器，对飞行学员进行生理激活度辅助训练，具体包括：
在实际飞行技能训练过程中，实时捕获飞行学员的生理激活度数据；
将捕获的所述生理激活度数据输入训练好的所述SVM分类器；
当所述SVM分类器在所述注意准备阶段的输出结果是未激活唤醒度时，在训练屏幕上闪烁红色文字“注意”，对所述飞行学员进行辅助激活；
当所述SVM分类器在所述注意加工阶段的输出结果是未激活唤醒度时，在训练屏幕上闪烁红色文字“警示”，对所述飞行学员进行辅助激活。
10.一种飞行员驾驶技能智能辅助训练系统，其特征在于，所述系统包括：
注意力智能分析模块，用于定义飞行过程中的注意力指标；以及采集模拟飞行实验过程中，所述注意力指标对应的实验数据，并根据所述实验数据，建立各个飞行阶段的注意力指标数据标准；
生理激活度智能分析模块，用于通过模拟训练实验，采集若干条错误操作行为的生理激活度数据；将生理激活度数据作为训练数据，训练SVM分类器；
智能辅助训练模块，用于在实际飞行训练中，根据实时捕获的注意力指标数据以及所述注意力指标数据标准，对飞行学员进行注意力辅助训练；以及根据实时捕获的生理激活度数据以及所述SVM分类器，对飞行学员进行生理激活度辅助训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210890882.8A CN115273600A (zh) | 2022-07-27 | 2022-07-27 | 一种飞行员驾驶技能智能辅助训练方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210890882.8A CN115273600A (zh) | 2022-07-27 | 2022-07-27 | 一种飞行员驾驶技能智能辅助训练方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115273600A true CN115273600A (zh) | 2022-11-01 |
Family
ID=83769224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210890882.8A Pending CN115273600A (zh) | 2022-07-27 | 2022-07-27 | 一种飞行员驾驶技能智能辅助训练方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115273600A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101466305A (zh) * | 2006-06-11 | 2009-06-24 | 沃尔沃技术公司 | 用于确定和分析视觉兴趣位置的方法与装置 |
| US20100100001A1 (en) * | 2007-12-27 | 2010-04-22 | Teledyne Scientific & Imaging, Llc | Fixation-locked measurement of brain responses to stimuli |
| CN108133639A (zh) * | 2017-12-21 | 2018-06-08 | 信阳泰蓝仿真科技有限公司 | 一种航空心理模拟系统及测试方法 |
| CN110991890A (zh) * | 2019-12-04 | 2020-04-10 | 江西洪都航空工业集团有限责任公司 | 一种高级教练机训练效能提升方法 |
| CN111209833A (zh) * | 2019-12-31 | 2020-05-29 | 广东科学技术职业学院 | 一种疲劳驾驶检测方法及无人驾驶设备 |
| CN112735192A (zh) * | 2020-12-10 | 2021-04-30 | 东南大学 | 一种基于专家眼动信号指导的图像判读能力训练系统及方法 |
| CN112785890A (zh) * | 2020-12-24 | 2021-05-11 | 中国人民解放军空军工程大学 | 一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法 |
| CN113709411A (zh) * | 2020-05-21 | 2021-11-26 | 陈涛 | 一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统 |
| CN114154592A (zh) * | 2021-12-17 | 2022-03-08 | 江西洪都航空工业集团有限责任公司 | 一种融合生理数据与飞参数据的飞行训练质效评估方法 |
| CN114641744A (zh) * | 2020-12-25 | 2022-06-17 | 深圳市大疆创新科技有限公司 | 控制方法、设备、系统及计算机可读存储介质 |
-
2022
- 2022-07-27 CN CN202210890882.8A patent/CN115273600A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101466305A (zh) * | 2006-06-11 | 2009-06-24 | 沃尔沃技术公司 | 用于确定和分析视觉兴趣位置的方法与装置 |
| US20100100001A1 (en) * | 2007-12-27 | 2010-04-22 | Teledyne Scientific & Imaging, Llc | Fixation-locked measurement of brain responses to stimuli |
| CN108133639A (zh) * | 2017-12-21 | 2018-06-08 | 信阳泰蓝仿真科技有限公司 | 一种航空心理模拟系统及测试方法 |
| CN110991890A (zh) * | 2019-12-04 | 2020-04-10 | 江西洪都航空工业集团有限责任公司 | 一种高级教练机训练效能提升方法 |
| CN111209833A (zh) * | 2019-12-31 | 2020-05-29 | 广东科学技术职业学院 | 一种疲劳驾驶检测方法及无人驾驶设备 |
| CN113709411A (zh) * | 2020-05-21 | 2021-11-26 | 陈涛 | 一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统 |
| CN112735192A (zh) * | 2020-12-10 | 2021-04-30 | 东南大学 | 一种基于专家眼动信号指导的图像判读能力训练系统及方法 |
| CN112785890A (zh) * | 2020-12-24 | 2021-05-11 | 中国人民解放军空军工程大学 | 一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法 |
| CN114641744A (zh) * | 2020-12-25 | 2022-06-17 | 深圳市大疆创新科技有限公司 | 控制方法、设备、系统及计算机可读存储介质 |
| CN114154592A (zh) * | 2021-12-17 | 2022-03-08 | 江西洪都航空工业集团有限责任公司 | 一种融合生理数据与飞参数据的飞行训练质效评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3617815B1 (en) | Work support device, work support method, and work support program | |
| CN105809152B (zh) | 一种基于多源信息融合的驾驶员认知分心监测方法 | |
| CN108309327B (zh) | 一种视觉注意分配能力测评与训练方法 | |
| McGinnis et al. | Rapid anxiety and depression diagnosis in young children enabled by wearable sensors and machine learning | |
| CN111951637B (zh) | 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 | |
| CN112465059A (zh) | 基于跨脑融合决策的多人运动想象识别方法及脑机系统 | |
| CN113974589B (zh) | 多模态行为范式评估优化系统及认知能力评价方法 | |
| CN113721483B (zh) | 研究模拟飞行空间定向中视觉注意特征的实验系统和方法 | |
| CN112617772B (zh) | 一种基于脉搏波信号的驾驶疲劳识别方法及系统 | |
| CN115273600A (zh) | 一种飞行员驾驶技能智能辅助训练方法及系统 | |
| CN109215435B (zh) | 一种老年驾驶人有效视野能力的测试与训练系统及方法 | |
| CN111738234A (zh) | 基于个体眼动特征的自动化共情能力识别方法 | |
| Jiang et al. | Mental workload artificial intelligence assessment of pilots’ EEG based on multi-dimensional data fusion and LSTM with attention mechanism model | |
| CN116469557A (zh) | 干预效果评估方法、装置、终端设备及存储介质 | |
| CN116311433A (zh) | 一种基于视觉技术的中长跑测试方法、装置、设备和介质 | |
| CN116269212A (zh) | 一种基于深度学习的多模态睡眠阶段预测方法 | |
| CN115553779A (zh) | 一种情绪识别方法、装置、电子设备及存储介质 | |
| CN116115239A (zh) | 基于多模态数据融合的建筑工人尴尬工作姿势识别方法 | |
| CN114742090A (zh) | 一种基于精神疲劳监测的驾驶舱人机交互系统 | |
| CN115462755A (zh) | 飞行员认知能力评估方法、系统和存储介质 | |
| Zhang et al. | Mask R-CNN method for dashboard feature extraction in eye tracking | |
| CN109484330B (zh) | 基于Logistic模型的新手驾驶员驾驶技能辅助提升系统 | |
| CN114169755A (zh) | 一种驾驶员接管能力考评及报警方法、系统、设备及介质 | |
| CN112257190A (zh) | 一种异常态人在环飞行模拟环境下进行监测的方法 | |
| CN113873981A (zh) | 功能恢复训练系统、功能恢复训练装置以及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |