CN111951637A - 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 - Google Patents

一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 Download PDF

Info

Publication number
CN111951637A
CN111951637A CN202010695285.0A CN202010695285A CN111951637A CN 111951637 A CN111951637 A CN 111951637A CN 202010695285 A CN202010695285 A CN 202010695285A CN 111951637 A CN111951637 A CN 111951637A
Authority
CN
China
Prior art keywords
pilot
task
data
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010695285.0A
Other languages
English (en)
Other versions
CN111951637B (zh
Inventor
于薇薇
陆正煜
蔡闻峰
任志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010695285.0A priority Critical patent/CN111951637B/zh
Publication of CN111951637A publication Critical patent/CN111951637A/zh
Application granted granted Critical
Publication of CN111951637B publication Critical patent/CN111951637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公布了一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，该方法通过眼动仪获取飞行员注意力分配数据，通过飞行参数数据划分不同任务情景，提取飞行员生理信号划分其疲劳等级，对不同任务情景、不同疲劳等级下的飞行员注意力分配情形进行区分。眼动仪采集飞行员在仿真平台下执行任务时的眼动数据；对飞行参数高维时间序列进行分割聚类，划分不同任务情景；采集飞行员心电数据进行时频域分析，结合眼动数据和听觉反应时建立疲劳状态判别分类器；通过兴趣区域注视点百分比、回视次数、重要程度表征注意力分配特性，提取支持度最高的注意力分配情形作为模式，可对无人机飞行员的操控起指导作用，对优化无人机操控平台界面设置也有重要意义。

Description

一种任务情景相关联的无人机飞行员视觉注意力分配模式提 取方法
技术领域
本发明涉及无人机飞行操控训练领域，具体为一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，可对任务情景相关联的无人机飞行员视觉注意力分配模式进行提取，进而用于对飞行员眼动行为起指导作用。
背景技术
现代无人机操控系统中，自动化程度非常高，无人机飞行员的主要职能已由操控转变为监视。在执行不同的飞行任务时，无人机飞行员需要同时对各种各样的信息进行监控，故存在最优的视觉注意力分配模式使得飞行员能够最准确、最及时地完成信息收集，这种模式对无人机飞行员具有很强的指导意义。此外，该模式还可以应用于无人机控制系统信息界面显示布局的工效评测和优化设计中，对进一步改善飞行绩效、提高飞行安全性有重要作用。
任务情景是影响飞行员注意力分配最主要的因素，除此之外，由于操作的减少和监视的增多，飞行员在任务执行中会更易陷入疲劳，故提取飞行员不同疲劳等级下的注意力分配模式非常有必要。
目前，对飞行员注意力分配进行测评的方法主要有主观评价法、眼动追踪法以及数学建模法。主观评价法多采用测评量表或是问卷调查的方式，但因其主观因素过多，且难以生成量化标准，不能准确反映实际情况，只能作为辅助手段。眼动追踪法是目前比较常用的方法，通过眼动仪间接获取视觉注意力定量化特征，测量结果比较准确客观。数学建模法是最可能全面深入视觉注意力机理开展研究的方法，一直都受到航空工效学界的重视，但是视觉注意力机理非常复杂，目前尚没有成熟的数学模型能够全面考虑到各个层面的影响，离直接应用于航空工程实践尚有很远的距离。
公开号为CN102693349A的中国发明专利公开了一种基于飞机驾驶舱显示界面的飞行员注意力分配功效测评系统和方法。该方法通过飞行显示信息重要度等级和飞行员检出信息平均反应时等参数，计算出参与测评的飞行显示信息的注意力分配比例值。但是该发明从信息论的角度进行分析，缺少真实眼动数据的支撑。另外也没能考虑到飞行员的生理状态差异，不适用于无人机飞行员的注意力分配模式提取。
公开号为CN104463216A的中国发明专利公开了一种基于计算机视觉的眼动模式数据自动获取方法。该方法将模式数据获取过程分为学习阶段和测试阶段，学习阶段获得单眼注视模型，测试阶段通过SVM分类器得到预测值，对比得到被试眼动模式数据。但是该发明中眼动模式仅针对于不同频率光栅刺激任务下，不适用于无人机侦察任务这种相对复杂的任务情形。
发明内容
针对现有技术中存在的不足，本发明提供了一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，该方法通过获取无人机飞行员注意力分配情况，提取不同任务情景、不同疲劳等级下飞行员注意力分配的普遍规律，作为飞行员注意力分配模式，对无人机飞行员的操控具有很强的指导意义。
本发明的技术方案为：
所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：包括以下步骤：
步骤1：设置飞行任务，明确无人机飞行员在任务各个阶段需要执行的操作；无人机飞行员按照飞行任务要求在模拟仿真平台上执行飞行任务，使用眼动采集装置获取飞行员在试行飞行任务过程中的眼动数据，对眼动数据进行预处理，提取注视点数据；
步骤2：整合任务过程中操控模拟仿真平台的各项飞行参数，对飞行参数数据进行预处理，形成高维时间序列，并通过时间序列分割聚类算法将整个任务划分为多个任务情景；
步骤3：将整个任务阶段按照时间窗进行划分，每个时间窗内分别进行心电、眼动特征提取，记录听觉反应时，并进行飞行员疲劳等级标定；建立SVM分类器，以提取出的心电、眼动特征参数和听觉反应时作为SVM分类器输入，以标定好的疲劳等级作为分类标签，采用一部分时间窗样本作为训练集进行分类器训练，剩余时间窗样本作为测试集进行验证，得到能够判别飞行员疲劳等级的SVM分类器；
选取75％时间窗样本作为训练集，建立多分类器，剩余样本作为测试集，通过识别准确率验证分类器模型，完成飞行员疲劳等级划分；
步骤4：综合考虑模拟仿真平台界面设置和任务特征，将模拟仿真平台界面划分为多个兴趣区域，计算每个时间窗内各兴趣区域注视点百分比和各注视点的回视次数；以各兴趣区域注视点百分比、回视次数、重要程度表征飞行员注意力分配特性，基于步骤2和步骤3的结果，提取不同任务情景、不同飞行员疲劳等级下支持度最高的注意力分配情形作为飞行员注意力分配模式。
进一步的，步骤1中，模拟仿真平台所处实验环境应安静且光线充足；执行飞行任务的无人机飞行员为具有一定飞行经验的无人机飞行员，不配戴眼镜，且能熟练掌握模拟仿真平台。
进一步的，步骤1中，对眼动数据进行预处理的过程包括：
步骤1.1：利用I-VT滤波器，根据眼睛的定向移动速度，对眼动进行分类：设定速度阈值，当眼动速度低于阈值时，被划分为注视，否则被划分为眼跳；
步骤1.2：对原始眼动数据进行空白填充，消除睫毛、眨眼或者其他因素的干扰，防止出现由于数据样本的缺失导致一个持续的注视阶段被划分为多个的情形；
步骤1.3：对眼动数据进行降噪处理，消除环境、眼震颤、眼微跳或者其他因素的影响，并去除持续时间过短的注视点。
进一步的，步骤1中，眼动采集装置为瑞典Tobii公司的X3-120眼动仪，眼动数据的预处理通过Tobii Pro Lab软件完成。
进一步的，步骤2中，对飞行参数数据进行预处理的过程包括：
步骤2.1：特征选择：计算飞行参数中各维度数据之间相关性，去除含义重复的数据维度；计算各维度数据信息增益，选择信息增益大的前若干维数据；
步骤2.2：离群点检测：对步骤2.1选择的若干维飞行参数数据中，偏离正常范围的异常数据进行删除或修正处理；
步骤2.3：归一化处理：将经过步骤2.2处理的若干维飞行参数数据映射至[0,1]或者[-1,1]范围内，实现若干维飞行参数数据归一化。
进一步的，步骤2中采用时间序列分割聚类算法，通过考察各维度飞行参数数据之间的相关性来确定数据间的相似度，进而实现聚类，将整个任务划分为多个任务情景。
进一步的，步骤2中的时间序列分割聚类算法通过稀疏高斯逆协方差矩阵来表征各个集群，所述集群与任务情景对应；通过EM算法，从初始集群开始，交替执行E步骤和M步骤，重复执行将飞行参数数据的各个数据段分配至不同集群以及根据集群既有数据段更新参数的操作，直到聚类的结果不发生变化。
进一步的，步骤2中采用介数中心性指标，以表征各集群所对应的任务情景。
进一步的，步骤3中，对时间窗内心电数据提取的特征参数包括心电时域特征参数和心电频域特征参数；心电时域特征参数包括R波间隔均值MEAN、R波间隔标准差SDNN和相邻R波间隔差值均方根RMSSD，心电频域特征参数包括低频功率LF、高频功率HF、低频功率与高频功率之比LF/HF；对时间窗内眼动数据提取的特征参数包括眨眼频率、平均注视时长、眼跳频率、瞳孔半径；步骤3中，在每个时间窗内均设置有警报声作为听觉刺激，飞行员听到声音后需第一时间按下手边的按钮，以此实现听觉反应时记录；步骤3中，飞行员疲劳等级分为清醒、轻度疲劳和重度疲劳三个等级；每个时间窗内，无人机飞行员对自身疲劳等级作出评价，以此标定飞行员的疲劳等级。
有益效果
本发明的有益效果：
(1)飞行员的注意力分配情况受任务情景因素影响非常大，本发明对任务情景的划分考察不同维度飞行参数间相关性，通过时间序列分割聚类算法完成。这样的划分方法可以挖掘出一些人为划分很难发现的隐藏任务段，还能将循环重复的任务段归为一类。
(2)采集飞行员心电、眼动数据，结合听觉反应时建立分类器，通过分类器判断飞行员处于何种疲劳等级，这种判断方法较其他方法准确率更高。
(3)以兴趣区域注视点百分比、回视次数、重要程度等指标表征飞行员的视觉注意力分配特性，通过排序区分不同注意力分配情形，选取支持度最高的情形作为飞行员注意力分配模式。这种方式提取出的模式可以很好地反映飞行员注视、扫视、转移轨迹的特性，对飞行员具有很强的指导意义。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明提出的无人机飞行员视觉注意力分配模式提取方法的流程框图；
图2是本发明中叠加了兴趣区域的眼动注视点转移路径图。
具体实施方式
下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本实施例中的任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，包括以下步骤：
步骤1：设置飞行任务，明确无人机飞行员在任务各个阶段需要执行的操作；无人机飞行员按照飞行任务要求在模拟仿真平台上执行飞行任务，使用眼动采集装置获取飞行员在试行飞行任务过程中的眼动数据，对眼动数据进行预处理，提取注视点数据。
本步骤中，模拟仿真平台所处实验环境应安静且光线充足；执行飞行任务的无人机飞行员(被试)为具有一定飞行经验的无人机飞行员，不配戴眼镜，且能熟练掌握模拟仿真平台，执行飞行任务过程中被试需要避免大幅度的头部转动。
眼动采集装置为瑞典Tobii公司的X3-120眼动仪。模拟仿真平台包括四个分屏幕，宽65cm，高65cm。眼动仪架设要求距屏幕35cm，高于屏幕最下边5cm，并向前倾斜约5°。另外，要求被试眼睛距离屏幕90-100cm，高于屏幕最下边约20cm。实验证明这种架设方式能够完整捕捉到飞行员在四块屏幕范围内的眼动数据。
眼动数据的预处理通过Tobii Pro Lab软件完成，主要包括：
a.通过I-VT滤波器(速度-阈值识别眼动过滤器)，根据眼睛的定向移动速度(°/s)，对眼动进行分类：设定相应的速度阈值，眼动速度低于阈值时，样本被划分为注视，高于则被划分为眼跳；
b.对原始眼动数据进行空白填充，消除睫毛、眨眼或者其他因素的干扰，防止出现由于数据样本的缺失使得一个持续的注视阶段被划分为两个的情形；
c.对眼动数据进行降噪处理，消除环境、眼震颤、眼微跳等其他因素的影响。部分注视点的持续时间太短，以至于大脑都无法理解其中的视觉输入信号，故这些无法成为真正的注视点，对其进行去除。
对原始眼动数据进行预处理之后，可以形成可视化数据，以便更加直观显示：热点图使用不同颜色来说明被试在特定区域内注视点的数量，或者在该区域内的注视时间；注视轨迹图可显示注视点的顺序和位置，按照顺序将注视点连接起来。
步骤2：整合任务过程中操控模拟仿真平台的各项飞行参数，对飞行参数数据进行预处理，形成高维时间序列，并通过时间序列分割聚类算法将整个任务划分为多个任务情景。
步骤2是通过飞行参数数据对任务情景进行划分。实验过程中，模拟仿真平台传输各项无人机飞行参数，以CSV格式存储。原始数据包括飞行高度、速度、爬升率、坡度、侦察载荷状态等80维，包含着不少的冗余数据和脏数据，需要对其进行预处理，主要包括：
a.特征选择：计算飞行参数中各维度数据之间相关性，去除含义重复的数据维度；计算各维度数据信息增益，选择信息增益大的前若干维数据进行分析；
b.离群点检测：由于数据传输等原因，会存在部分异常数据远远偏离正常范围，因此对步骤2.1选择的若干维飞行参数数据中，偏离正常范围的异常数据进行删除或修正处理；
c.归一化处理：将经过步骤2.2处理的若干维飞行参数数据映射至[0,1]或者[-1,1]范围内，实现若干维飞行参数数据归一化，以消除不同量纲造成的负面影响。归一化处理对于聚类分割算法的收敛速度也有很大的提升。这里我们使用了max-min的归一化方式，变换方式如下：
Figure BDA0002590805970000071
步骤2中采用时间序列分割聚类算法，通过考察各维度飞行参数数据之间的相关性来确定数据间的相似度，进而实现聚类，将整个任务划分为多个任务情景。时间序列分割聚类算法通过稀疏高斯逆协方差矩阵来表征各个集群，所述集群与任务情景对应；通过交替最小化的期望最大化(EM)方法，从初始集群开始，交替执行E步骤和M步骤，重复执行将飞行参数数据的各个数据段分配至不同集群以及根据集群既有数据段更新参数的操作，直到聚类的结果不发生变化(即问题收敛)。
E步骤：将每个数据点段子序列分配至一个聚类，以最大化聚类内部数据总体对数似然性和时间一致性。在给第i个信号段分类时，仅需考虑第i-1信号段分为各类时的代价即可，可通过动态规划思想解决。
M步骤：通过最小化其负对数似然总和，更新每个聚类的协方差逆矩阵。此外，为保证聚类内部时不变，协方差逆矩阵必须为Toeplitz矩阵，可使用ADMM算法(交替方向乘子法)快速求解。
为表征各集群所对应的任务情景，使用了介数中心性指标，其直接定义如下：
Figure BDA0002590805970000072
其中σst(v)表示经过节点v的s→t的最短路径条数，σst表示s→t的最短路径条数。
直观来说，该指标反映了节点作为“桥梁”的重要程度，值越高越表明该节点对于其他节点的控制和影响能力越大。
以每个集群的逆协方差矩阵作为邻接矩阵构造无向图，点表示不同维度的飞行参数，边表示不同维度参数之间的关联性。节点介数中心性表征了各维度参数在任务阶段的重要程度，据此可判断各集群所代表的任务情景。
步骤3：将整个任务阶段按照时间窗进行划分，每个时间窗内分别进行心电、眼动特征提取，记录听觉反应时，并进行飞行员疲劳等级标定；建立SVM分类器，以提取出的心电、眼动特征参数和听觉反应时作为SVM分类器输入，以标定好的疲劳等级作为分类标签，采用一部分时间窗样本作为训练集进行分类器训练，剩余时间窗样本作为测试集进行验证，得到能够判别飞行员疲劳等级的SVM分类器；选取75％时间窗样本作为训练集，建立多分类器，剩余样本作为测试集，通过识别准确率验证分类器模型，完成飞行员疲劳等级划分。
本实施例中将整个任务阶段每5分钟划分为一个时间窗，每个时间窗内数据作为一个样本。
每个时间窗内分别进行心电、眼动特征提取：
先对飞行员心电信号进行滤波，滤除肌电信号、工频等干扰。计算的心电时域特征参数包括R波间隔均值MEAN、R波间隔标准差SDNN和相邻R波间隔差值均方根RMSSD，心电频域特征参数包括低频功率LF、高频功率HF、低频功率与高频功率之比LF/HF。眼动特征包括眨眼频率、平均注视时长、眼跳频率、瞳孔半径。
其中时域信号计算方式如下：
Figure BDA0002590805970000081
其中RRi为相邻两个R波间隔的长度。
Figure BDA0002590805970000082
其中N为心搏总数；RRi为第i个R波间期，RRmean为N个R波间期的平均值。
Figure BDA0002590805970000083
其中N为心搏总数；RRi、RRi-1为相邻的两个R波间隔。
通过听觉反应时来反映飞行员精神注意力集中程度，每个时间窗内均设置有警报声作为听觉刺激，飞行员听到声音后第一时间按下手边的按钮，以此实现听觉反应时记录。
斯坦福嗜睡量表是疲劳监测领域应用最为广泛的主观评价量表，该量表将人的状态分为七个等级。对于飞行员操控场景，这样的划分方法过于详细，飞行员无法在操作的同时对自身状态作出如此准确地判断。因此对疲劳等级进行合并，分为清醒、轻度疲劳和重度疲劳三个等级。每个时间窗内，被试需对自身疲劳等级作出评价，以此标定飞行员的疲劳等级。
表1为斯坦福嗜睡量表以及步骤3所采取的合并方案。
Figure BDA0002590805970000091
SVM(Support Vector Machine，支持向量机)是一种基于结构风险最小化原则的分类方法，处理小样本分类问题具有很大的优势。由于这是一个三分类的问题，需要采用多个二分类器进行组合的方法。这里先将前两级疲劳状态归为一类，创建与第三类的分类器，再创建分类器划分前两级疲劳状态。
本步骤中，选取75％时间窗样本作为训练集，以提取出的心电、眼动特征和听觉反应时作为模型输入，标定好的疲劳等级作为分类标签，训练SVM分类器。以剩余样本数据作为测试集，对照模型分类结果和实际标定结果得到模型识别率，验证分类器，该分类器便可实现飞行员疲劳等级的判别。
步骤4：综合考虑模拟仿真平台界面设置和任务特征，将模拟仿真平台界面划分为多个兴趣区域，计算每个时间窗内各兴趣区域注视点百分比和各注视点的回视次数；以各兴趣区域注视点百分比、回视次数、重要程度表征飞行员注意力分配特性，基于步骤2和步骤3的结果，提取不同任务情景、不同飞行员疲劳等级下支持度最高的注意力分配情形作为飞行员注意力分配模式。
步骤4综合考虑模拟仿真平台界面设置和任务特征，将整个界面划分为多个兴趣区域(AOI)，包括：航迹、前视、方位角、高度、速度、滚转角、监视载荷、操作、状态仪表。例如图2所示，兴趣区域之间可以存在重叠和覆盖。兴趣区域创建之后，便可以计算每个时间窗内各兴趣区域注视点百分比和各注视点的回视次数。
注视点在兴趣区域间的转移轨迹可以通过有向图表示。对于有向图G＝(V,A)，V＝{v1,v2,···,vn}称为图G的节点集，V中每一个元素vi(i＝1,2,···,n)称为该图的一个节点，即兴趣区域的名称；A＝{a1,a2,···,an}称为图G的弧集，A中的每一个元素ak(即V中某两个元素vi,vj的有序对)称作图的一条从vi到vj的弧，即兴趣区域的转移轨迹。
基于图论提出重要程度概念：
Figure BDA0002590805970000101
其中
Figure BDA0002590805970000102
代表一定时间内，弧集A中以节点vi(i＝1,2,···,n)作为起点的元素个数，
Figure BDA0002590805970000103
即为节点vi作为起点的重要程度。
Figure BDA0002590805970000104
其中
Figure BDA0002590805970000105
代表一定时间内，弧集A中以节点vi(i＝1,2,···,n)作为终点的元素个数，
Figure BDA0002590805970000106
即为节点vi作为终点的重要程度。
Figure BDA0002590805970000107
Figure BDA0002590805970000108
即为tm至tn时刻内，节点vi相对于其他节点的重要程度。
各兴趣区域注视点百分比、回视次数、重要程度一定程度上可反映飞行员的注视、扫视、转移轨迹特性，因此通过这三个指标来表征飞行员注意力分配特性。
步骤4对各个兴趣区域注视点百分比、回视次数和重要程度进行排序，当排序情况一致时，即可认作同一类注意力分配情形。某一类注意力分配情形在所有情形中所占比例称为这类情形的支持度，支持度最高的情形即为飞行员注意力分配模式。
基于步骤2和步骤3对任务情景和飞行员疲劳等级的划分结果，通过该种方法便可以实现不同任务情景、不同飞行员疲劳等级注意力分配模式的提取。
对于清醒状态和轻度疲劳状态，提取出的模式可以很好地反映该任务情景下，哪些兴趣区域应当分配更多的注意力、应该更加频繁地进行扫视。两者进行对照，还可以判断飞行员在轻度疲劳状态下容易忽视哪部分信息、容易错误判断哪部分信息重要程度，据此可以在飞行员轻度疲劳时对平台界面作出优化，加强这些部分信息的视觉显著性。
对于重度疲劳状态，该状态下飞行员已处于意识模糊状态，不适合继续进行无人机操作任务。这种情形的出现是由于实验并非基于真实操作场景，仿真平台给被试的临场紧张感不足，现实情形中基本不会出现此等级的状态，对其进行分析意义不大。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：包括以下步骤：
步骤1：设置飞行任务，明确无人机飞行员在任务各个阶段需要执行的操作；无人机飞行员按照飞行任务要求在模拟仿真平台上执行飞行任务，使用眼动采集装置获取飞行员在试行飞行任务过程中的眼动数据，对眼动数据进行预处理，提取注视点数据；
步骤2：整合任务过程中操控模拟仿真平台的各项飞行参数，对飞行参数数据进行预处理，形成高维时间序列，并通过时间序列分割聚类算法将整个任务划分为多个任务情景；
步骤3：将整个任务阶段按照时间窗进行划分，每个时间窗内分别进行心电、眼动特征提取，记录听觉反应时，并进行飞行员疲劳等级标定；建立SVM分类器，以提取出的心电、眼动特征参数和听觉反应时作为SVM分类器输入，以标定好的疲劳等级作为分类标签，采用一部分时间窗样本作为训练集进行分类器训练，剩余时间窗样本作为测试集进行验证，得到能够判别飞行员疲劳等级的SVM分类器；
选取75％时间窗样本作为训练集，建立多分类器，剩余样本作为测试集，通过识别准确率验证分类器模型，完成飞行员疲劳等级划分；
步骤4：综合考虑模拟仿真平台界面设置和任务特征，将模拟仿真平台界面划分为多个兴趣区域，计算每个时间窗内各兴趣区域注视点百分比和各注视点的回视次数；以各兴趣区域注视点百分比、回视次数、重要程度表征飞行员注意力分配特性，基于步骤2和步骤3的结果，提取不同任务情景、不同飞行员疲劳等级下支持度最高的注意力分配情形作为飞行员注意力分配模式。
2.根据权利要求1所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤1中，模拟仿真平台所处实验环境应安静且光线充足；执行飞行任务的无人机飞行员为具有一定飞行经验的无人机飞行员，不配戴眼镜，且能熟练掌握模拟仿真平台。
3.根据权利要求1所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤1中，对眼动数据进行预处理的过程包括：
步骤1.1：利用I-VT滤波器，根据眼睛的定向移动速度，对眼动进行分类：设定速度阈值，当眼动速度低于阈值时，被划分为注视，否则被划分为眼跳；
步骤1.2：对原始眼动数据进行空白填充，消除睫毛、眨眼或者其他因素的干扰，防止出现由于数据样本的缺失导致一个持续的注视阶段被划分为多个的情形；
步骤1.3：对眼动数据进行降噪处理，消除环境、眼震颤、眼微跳或者其他因素的影响，并去除持续时间过短的注视点。
4.根据权利要求3所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤1中，眼动采集装置为瑞典Tobii公司的X3-120眼动仪，眼动数据的预处理通过Tobii Pro Lab软件完成。
5.根据权利要求1所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤2中，对飞行参数数据进行预处理的过程包括：
步骤2.1：特征选择：计算飞行参数中各维度数据之间相关性，去除含义重复的数据维度；计算各维度数据信息增益，选择信息增益大的前若干维数据；
步骤2.2：离群点检测：对步骤2.1选择的若干维飞行参数数据中，偏离正常范围的异常数据进行删除或修正处理；
步骤2.3：归一化处理：将经过步骤2.2处理的若干维飞行参数数据映射至[0,1]或者[-1,1]范围内，实现若干维飞行参数数据归一化。
6.根据权利要求1所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤2中采用时间序列分割聚类算法，通过考察各维度飞行参数数据之间的相关性来确定数据间的相似度，进而实现聚类，将整个任务划分为多个任务情景。
7.根据权利要求6所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤2中的时间序列分割聚类算法通过稀疏高斯逆协方差矩阵来表征各个集群，所述集群与任务情景对应；通过EM算法，从初始集群开始，交替执行E步骤和M步骤，重复执行将飞行参数数据的各个数据段分配至不同集群以及根据集群既有数据段更新参数的操作，直到聚类的结果不发生变化。
8.根据权利要求7所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤2中采用介数中心性指标，以表征各集群所对应的任务情景。
9.根据权利要求1所述一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法，其特征在于：步骤3中，对时间窗内心电数据提取的特征参数包括心电时域特征参数和心电频域特征参数；心电时域特征参数包括R波间隔均值MEAN、R波间隔标准差SDNN和相邻R波间隔差值均方根RMSSD，心电频域特征参数包括低频功率LF、高频功率HF、低频功率与高频功率之比LF/HF；对时间窗内眼动数据提取的特征参数包括眨眼频率、平均注视时长、眼跳频率、瞳孔半径；步骤3中，在每个时间窗内均设置有警报声作为听觉刺激，飞行员听到声音后需第一时间按下手边的按钮，以此实现听觉反应时记录；步骤3中，飞行员疲劳等级分为清醒、轻度疲劳和重度疲劳三个等级；每个时间窗内，无人机飞行员对自身疲劳等级作出评价，以此标定飞行员的疲劳等级。
CN202010695285.0A 2020-07-19 2020-07-19 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 Active CN111951637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010695285.0A CN111951637B (zh) 2020-07-19 2020-07-19 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010695285.0A CN111951637B (zh) 2020-07-19 2020-07-19 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法

Publications (2)

Publication Number Publication Date
CN111951637A true CN111951637A (zh) 2020-11-17
CN111951637B CN111951637B (zh) 2022-05-03

Family

ID=73340621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010695285.0A Active CN111951637B (zh) 2020-07-19 2020-07-19 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法

Country Status (1)

Country Link
CN (1) CN111951637B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112698637A (zh) * 2021-01-13 2021-04-23 广东轻工职业技术学院 一种多任务蜂群的协同资源调度算法
CN113344423A (zh) * 2021-06-28 2021-09-03 北京航空航天大学 一种基于机器学习的飞行员场景适用性诊断方法及系统
CN113655882A (zh) * 2021-08-17 2021-11-16 中国人民解放军军事科学院战争研究院 一种基于眼动数据测量的人机界面信息筛选方法
CN113827239A (zh) * 2021-09-18 2021-12-24 中国人民解放军海军特色医学中心 一种采用视觉追踪设备评估飞行员视觉分配的方法
CN113888944A (zh) * 2021-11-01 2022-01-04 郑州大学第一附属医院 一种心肺复苏模拟训练系统及方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698329A (ja) * 1992-01-06 1994-04-08 Fumitaka Seki 乗物用死角監視装置
CN101980660A (zh) * 2008-09-19 2011-02-23 松下电器产业株式会社 注意力分散检测装置、注意力分散检测方法及计算机程序
CN102693349A (zh) * 2011-03-25 2012-09-26 北京航空航天大学 基于飞机驾驶舱显示界面的飞行员注意力分配工效测评系统和方法
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
CN103902766A (zh) * 2014-03-14 2014-07-02 西北工业大学 基于脑力负荷模型和模糊逻辑的动态功能分配方法
CN104463216A (zh) * 2014-12-15 2015-03-25 北京大学 基于计算机视觉的眼动模式数据自动获取方法
CN105788364A (zh) * 2014-12-25 2016-07-20 中国移动通信集团公司 一种预警信息的发布方法及装置
CN108133639A (zh) * 2017-12-21 2018-06-08 信阳泰蓝仿真科技有限公司 一种航空心理模拟系统及测试方法
CN108236464A (zh) * 2017-12-29 2018-07-03 重庆邮电大学 基于脑电信号的特征提取方法及其检测提取系统
CN108682189A (zh) * 2018-04-20 2018-10-19 南京脑桥智能科技有限公司 一种学习状态确认系统及方法
CN109124625A (zh) * 2018-09-04 2019-01-04 大连理工大学 一种驾驶员疲劳状态水平分级方法
US20190025586A1 (en) * 2017-07-13 2019-01-24 Colopl, Inc. Information processing method, information processing program, information processing system, and information processing apparatus
CN109523188A (zh) * 2018-11-29 2019-03-26 中国船舶工业综合技术经济研究院 面向人机界面显示的舰员认知特性工效测评方法及系统
CN109933193A (zh) * 2019-03-01 2019-06-25 北京体育大学 基于运动员眼动信息实时捕捉的智能辅助训练系统
CN110096328A (zh) * 2019-05-09 2019-08-06 中国航空工业集团公司洛阳电光设备研究所 一种基于飞行任务的hud界面优化布局自适应方法及系统
EP3617935A1 (en) * 2018-06-04 2020-03-04 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving management method and system, vehicle-mounted intelligent system, electronic device and medium
CN110928618A (zh) * 2019-10-30 2020-03-27 西北工业大学 一种座舱人机界面注意力分配计算方法
CN111429013A (zh) * 2020-03-30 2020-07-17 西北工业大学 基于注意力分配和个体状态的飞行员情境觉知评测方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698329A (ja) * 1992-01-06 1994-04-08 Fumitaka Seki 乗物用死角監視装置
CN101980660A (zh) * 2008-09-19 2011-02-23 松下电器产业株式会社 注意力分散检测装置、注意力分散检测方法及计算机程序
CN102693349A (zh) * 2011-03-25 2012-09-26 北京航空航天大学 基于飞机驾驶舱显示界面的飞行员注意力分配工效测评系统和方法
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
US20170001648A1 (en) * 2014-01-15 2017-01-05 National University Of Defense Technology Method and Device for Detecting Safe Driving State of Driver
CN103902766A (zh) * 2014-03-14 2014-07-02 西北工业大学 基于脑力负荷模型和模糊逻辑的动态功能分配方法
CN104463216A (zh) * 2014-12-15 2015-03-25 北京大学 基于计算机视觉的眼动模式数据自动获取方法
CN105788364A (zh) * 2014-12-25 2016-07-20 中国移动通信集团公司 一种预警信息的发布方法及装置
US20190025586A1 (en) * 2017-07-13 2019-01-24 Colopl, Inc. Information processing method, information processing program, information processing system, and information processing apparatus
CN108133639A (zh) * 2017-12-21 2018-06-08 信阳泰蓝仿真科技有限公司 一种航空心理模拟系统及测试方法
CN108236464A (zh) * 2017-12-29 2018-07-03 重庆邮电大学 基于脑电信号的特征提取方法及其检测提取系统
CN108682189A (zh) * 2018-04-20 2018-10-19 南京脑桥智能科技有限公司 一种学习状态确认系统及方法
EP3617935A1 (en) * 2018-06-04 2020-03-04 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving management method and system, vehicle-mounted intelligent system, electronic device and medium
CN109124625A (zh) * 2018-09-04 2019-01-04 大连理工大学 一种驾驶员疲劳状态水平分级方法
CN109523188A (zh) * 2018-11-29 2019-03-26 中国船舶工业综合技术经济研究院 面向人机界面显示的舰员认知特性工效测评方法及系统
CN109933193A (zh) * 2019-03-01 2019-06-25 北京体育大学 基于运动员眼动信息实时捕捉的智能辅助训练系统
CN110096328A (zh) * 2019-05-09 2019-08-06 中国航空工业集团公司洛阳电光设备研究所 一种基于飞行任务的hud界面优化布局自适应方法及系统
CN110928618A (zh) * 2019-10-30 2020-03-27 西北工业大学 一种座舱人机界面注意力分配计算方法
CN111429013A (zh) * 2020-03-30 2020-07-17 西北工业大学 基于注意力分配和个体状态的飞行员情境觉知评测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHIORI HORI; TAKAAKI HORI; TENG-YOK LEE; ZIMING ZHANG; BRET HARS: "Attention-Based Multimodal Fusion for Video Description", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
张志敏: "篮球运动员运动性疲劳状态下的注意特征和情绪变化研究", 《武汉体育学院》 *
张焱: "脑力疲劳对注意特征的影响——行为学和ERP研究", 《第四军医大学》 *
王森,王润孝,左欣欣,于薇薇: "多频飞行时间相机实时深度补偿算法研究", 《西北工业大学学报》 *
陈悦菲,薛红军,苏润娥: "基于驾驶舱告警信息的双任务操作注意分配研究", 《智能信息技术应用学会》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112698637A (zh) * 2021-01-13 2021-04-23 广东轻工职业技术学院 一种多任务蜂群的协同资源调度算法
CN113344423A (zh) * 2021-06-28 2021-09-03 北京航空航天大学 一种基于机器学习的飞行员场景适用性诊断方法及系统
CN113655882A (zh) * 2021-08-17 2021-11-16 中国人民解放军军事科学院战争研究院 一种基于眼动数据测量的人机界面信息筛选方法
CN113827239A (zh) * 2021-09-18 2021-12-24 中国人民解放军海军特色医学中心 一种采用视觉追踪设备评估飞行员视觉分配的方法
CN113888944A (zh) * 2021-11-01 2022-01-04 郑州大学第一附属医院 一种心肺复苏模拟训练系统及方法

Also Published As

Publication number Publication date
CN111951637B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN111951637B (zh) 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法
EP3617815B1 (en) Work support device, work support method, and work support program
EP3143933B1 (en) Method for estimating a mental state, in particular a workload, and related apparatus
CN106108894A (zh) 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法
CN109646022B (zh) 儿童注意力评估系统及其方法
CN109480833A (zh) 基于人工智能的癫痫患者脑电信号的预处理和识别方法
CN113576481B (zh) 一种脑力负荷评估方法、装置、设备、介质
CN113951903B (zh) 基于脑电数据测定的高速铁路调度员超负荷状态识别方法
CN114492513A (zh) 跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法
Kuravsky et al. Assessing the aircraft crew actions with the aid of a human factor risk model
WO2019132768A1 (en) Alert versus fatigue discriminator
CN112438741B (zh) 一种基于脑电特征迁移学习的驾驶状态检测方法及系统
CN117547270A (zh) 一种多源数据融合的飞行员认知负荷反馈系统
CN116348042A (zh) 用於量化注意力的方法及系統
Chen et al. EEG-based mental fatigue detection using linear prediction cepstral coefficients and Riemann spatial covariance matrix
Chen et al. A situation awareness assessment method based on fuzzy cognitive maps
CN115407872B (zh) 一种智能人机协同系统测评方法、装置及存储介质
CN111124124A (zh) 一种基于眼动追踪技术的人机功效评估方法
CN105787459A (zh) 一种基于最优评分稀疏判别的erp信号分类方法
CN112733727B (zh) 基于线性分析的特征决策融合的脑电意识动态分类方法
CN114742090A (zh) 一种基于精神疲劳监测的驾驶舱人机交互系统
CN114098764A (zh) 数据处理方法、装置、电子设备和存储介质
Yamamoto et al. Modeling complex EEG data distribution on the Riemannian manifold toward outlier detection and multimodal classification
Hussain et al. Epileptic seizure detection using temporal based measures in EEG signal
US20230298755A1 (en) Data labelling method for building a database for configuring, validating and/or testing an application for monitoring an individual's fatigue level

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant