CN116129510A - 基于眼动数据评估飞行员对不同编码信息感知的方法与装置 - Google Patents

Abstract

本发明公开了一种基于眼动数据评估飞行员对不同编码信息感知的方法与装置，该方法包括：设计不同类型的编码信息，基于设计的编码信息获取飞行员的眼动数据；根据信息的编码方式对各项眼动特征数据的影响进行方差分析，得到各项眼动特征的F值；基于各项眼动特征的F值对特征的重要性进行排序和分类得到不同层次的眼动特征；将不同的眼动特征对应的眼动数据转化为灰度图像数据；将灰度图像数据作为训练好的深度残差收缩网络模型的输入，得到评估结果。本发明能够提高基于眼动数据的飞行员感知评估准确性，为飞行员对飞机驾驶舱信息感知提供反馈，确保安全飞行。

Description

基于眼动数据评估飞行员对不同编码信息感知的方法与装置

技术领域

本发明涉及飞机驾驶舱人机工效领域，具体涉及一种基于眼动数据评估飞行员对不同编码信息感知的方法与装置。

背景技术

现如今，飞机依然是最安全的运输设备，但是飞行事故产生的危害性和事故中的伤亡人数占比高，导致航空安全的因素很多，如飞行员方面长时间的飞行和复杂的飞行操纵导致的疲劳、设备屏幕显示方面不够显著和恶劣的天气条件等。许多研究发现，眼动数据能够提供包括危险感知在内的生理动作与心理活动的实时数据。随着现代化智能化座舱的发展，飞行员与驾驶舱之间的人机交互向着日益复杂化发展，飞行员的认知负荷也在逐步增加，情景意识的重要性愈加凸显。当面临高度紧张，复杂的任务时，飞行员可能会丧失情景意识，可能会未充分意识到驾驶舱内出现的信息，产生事故的隐患，甚至导致事故的发生。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种基于眼动数据评估飞行员对不同编码信息感知的方法与装置，能够提高基于眼动数据的飞行员感知评估准确性，为飞行员对飞机驾驶舱信息感知提供反馈，确保安全飞行。

技术方案：为实现上述目的，本发明提供一种基于眼动数据评估飞行员对不同编码信息感知的方法，包括如下步骤：

S1：设计不同类型的编码信息，基于设计的编码信息获取飞行员的眼动数据；

S2：根据信息的编码方式对各项眼动特征数据的影响进行方差分析，得到各项眼动特征的F值(特征之间地均方和内均方的比值)；

S3：基于各项眼动特征的F值对特征的重要性进行排序和分类得到不同层次的眼动特征；

S4：将不同的眼动特征对应的眼动数据转化为灰度图像数据；

S5：将灰度图像数据作为训练好的深度残差收缩网络模型的输入，得到评估结果。

进一步地，所述步骤S1中不同类型的编码信息包括静态显示信息、动态闪烁显示信息、语音信息或者兼顾这些不同特征，如静态显示+语音信息等。

进一步地，所述步骤S1中飞行员的眼动数据为飞行员感知到不同编码信息时的包含多项眼动特征的数据，分为出现不同类型编码信息时的眼动数据和未出现信息时的眼动数据，包括双目类别、右瞳孔大小(X、Y)、右瞳孔直径、左瞳孔大小(X、Y)、左瞳孔直径、右眼位置(X、Y、Z)、左眼位置(X、Y、Z)、双目关注点(X、Y)、右眼关注点(X、Y)、左眼关注点(X、Y)、右眼凝视向量(X、Y、Z)、左眼凝视向量(X、Y、Z)。

进一步地，所述步骤S2中眼动特征的F值的计算公式如下：

其中，k为处理眼动数据组数、n为眼动数据总样本量、n_i为第i组中眼动数据样本量、x_ij为第i组中眼动数据中第j个样本值、

为样本均值、

为第i组眼动数据均值。

进一步地，所述步骤S3具体为：

通过各眼动特征的F值，基于欧氏距离进行划分，得到多个分层的眼动特征，将重要性最高的分层作为第一组特征组，将重要性最高和第二高的分层作为第二组特征，以此类推，确定多个包含不同重要性的特征组。

进一步地，将眼动特征输入预训练的深度残差收缩网络模型前还包括：对眼动数据进行预处理，包括剔除眼动数据中冗余的数据与含有缺失值的数据。

进一步地，所述步骤S5中深度残差收缩网络模型的构建方法包括如下步骤：

A1：建立初始的卷积神经网络模型；

A2：构建基于软阈值函数与深度注意力机制的残差网络模块；

A3：在卷积神经网络中加入构建的残差收缩网络模块得到深度残差收缩网络模型。

进一步地，所述步骤S5中深度残差收缩网络模型的输入输出过程为：

假设x^l为layer1的输入，需求解的函数为H(x^l)，在残差网络中H(x^l)＝F(x^l)+x^l，于是求解恒等映射函数F(x^l)，通过layer1，得到权重w^l+1，偏移b^l+1，同时经过ReLU函数激活等操作得到x^l+1，将x^l+1输入layer2，在layer2构建一个收缩子网络，通过深度注意力机制学习特征阈值x，将layer2没有经过收缩子网络的输出x'软阈值化，与残差项F(x^l)相加得到x^{l +2}。

进一步地，所述步骤S5中在深度残差收缩网络基本模块中，函数映射关系与每一层的输出为：

H(x^l)＝F(x^l)+x^l

x^l+1＝ReLU(w^l+1x^l+b^l+1)

x^l+2＝x^t+F(x^l)

其中，

为每一维度下的特征值、x^t为每一维度下的特征值经过软阈值化处理后的值、τ为软阈值化处理过程中设置的阈值。

本发明还提供一种基于眼动数据评估飞行员对不同编码信息感知的装置，包括：

数据获取模块，用于基于不同编码信息获取飞行人员的眼动数据；

数据处理模块，用于根据眼动数据进行特征重要性分析与选择，将眼动数据转化为灰度图像数据，用于模型的输入；

模型训练模块，用于训练深度残差收缩网络模型，包括相应参数的调整、残差项与软阈值的设置等；

评估模块，用于将灰度图像数据输入预训练的深度残差收缩网络模型得到评估结果。

本发明提供的基于眼动数据评估飞行员对飞机驾驶舱不同编码信息感知的方法，通过飞行员眼动数据，识别是否出现信息以及出现何种编码信息，对模型的识别准确率衡量模型，相比于传统机器学习模型，深度残差收缩网络模型能够有效提高通过眼动数据对不同编码信息的识别准确率。

有益效果：本发明与现有技术相比，通过在飞行过程中出现不同类型的编码信息，获取飞行员的眼动数据，通过预训练的深度残差收缩网络模型，进一步提高了模型基于眼动数据评估飞行员对飞机驾驶舱不同编码信息感知的准确性，在未来，有望用于飞行员的信息感知的补充反馈机制，当出现未意识到信息的存在，对飞行员予以相应的报警反馈。

附图说明

图1为本发明方法的流程图；

图2为各项眼动特征的F值排序与层次分层示意图；

图3为深度残差收缩网络模型部分结构示意图；

图4为本发明方法的实现流程图；

图5为深度残差收缩网络、SVM、随机森林和BP神经网络模型的ROC曲线图；

图6为本发明装置的结构框图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明提供一种基于眼动数据评估飞行员对不同编码信息感知的方法，如图1所示，其包括如下步骤：

S1：设计不同类型的编码信息，开展相应飞行实验，基于设计的编码信息获取飞行员的眼动数据：

不同类型的编码信息包括静态显示信息、动态闪烁显示信息、语音信息或者兼顾这些不同特征，如静态显示+语音信息等。

飞行员的眼动数据为飞行员感知到不同编码信息时的包含25项眼动特征的数据，分为出现不同类型编码信息时的眼动数据和未出现信息时的眼动数据，包括双目类别、右瞳孔大小(X、Y)、右瞳孔直径、左瞳孔大小(X、Y)、左瞳孔直径、右眼位置(X、Y、Z)、左眼位置(X、Y、Z)、双目关注点(X、Y)、右眼关注点(X、Y)、左眼关注点(X、Y)、右眼凝视向量(X、Y、Z)、左眼凝视向量(X、Y、Z)。

S2：根据信息的编码方式对各项眼动特征数据的影响进行方差分析，得到各项眼动特征的F值(特征之间地均方和内均方的比值)：

眼动特征的F值的计算公式如下：

其中，k为处理眼动数据组数、n为眼动数据总样本量、n_i为第i组中眼动数据样本量、x_ij为第i组中眼动数据中第j个样本值、

为样本均值、

为第i组眼动数据均值。

S3：基于各项眼动特征的F值对特征的重要性进行排序和分类得到不同层次的眼动特征：

通过各眼动特征的F值，基于欧氏距离进行划分，得到多个分层的眼动特征，将重要性最高的分层作为第一组特征组，将重要性最高和第二高的分层作为第二组特征，以此类推，确定多个包含不同重要性的特征组。

S4：将不同的眼动特征对应的眼动数据转化为灰度图像数据；

S5：将灰度图像数据作为训练好的深度残差收缩网络模型的输入，进行不同编码类型的分类识别，得到评估结果。

将眼动特征输入预训练的深度残差收缩网络模型前还包括：对眼动数据进行预处理，包括剔除眼动数据中冗余的数据与含有缺失值的数据。

如图4所示，深度残差收缩网络模型的构建方法包括如下步骤：

A1：建立初始的卷积神经网络模型；

A2：构建基于软阈值函数与深度注意力机制的残差网络模块；

A3：在卷积神经网络中加入构建的残差收缩网络模块得到深度残差收缩网络模型。

深度残差收缩网络模型的输入输出过程为：

假设x^l为layer1的输入，需求解的函数为H(x^l)，在残差网络中H(x^l)＝F(x^l)+x^l，于是求解恒等映射函数F(x^l)，通过layer1，得到权重w^l+1，偏移b^l+1，同时经过ReLU函数激活等操作得到x^l+1，将x^l+1输入layer2，在layer2构建一个收缩子网络，通过深度注意力机制学习特征阈值x，将layer2没有经过收缩子网络的输出x'软阈值化，与残差项F(x^l)相加得到x^{l +2}。

在深度残差收缩网络基本模块中，函数映射关系与每一层的输出为：

H(x^l)＝F(x^l)+x^l

x^l+1＝ReLU(w^l+1x^l+b^l+1)

x^l+2＝x^t+F(x^l)

其中，

为每一维度下的特征值、x^t为每一维度下的特征值经过软阈值化处理后的值、τ为软阈值化处理过程中设置的阈值。

如图6所示，本发明还提供一种基于眼动数据评估飞行员对不同编码信息感知的装置，包括：

数据获取模块，用于基于不同编码信息获取飞行人员的眼动数据；

数据处理模块，用于根据眼动数据进行特征重要性分析与选择，将眼动数据转化为灰度图像数据，用于模型的输入；

模型训练模块，用于训练深度残差收缩网络模型，包括相应参数的调整、残差项与软阈值的设置等；

评估模块，用于将灰度图像数据输入预训练的深度残差收缩网络模型得到评估结果。

基于上述方案，本实施例对本发明方案进行分析，具体如下：

本发明提供的一种基于眼动数据评估飞行员对飞机驾驶舱不同编码信息感知的方法，通过对飞行人员进行不同类型的编码信号的刺激，获取飞行人员的眼动数据，使得评估过程与眼动数据直接相关，通过预训练的深度残差收缩网络模型进一步提高了基于眼动数据的飞行员对不同类型的编码信息感知评估方法的准确性。实际应用中，该方法可辅助飞行员安全飞行，当出现飞行员未意识信息的出现时，设置相应的反馈提醒机制，使得飞行员注意到信息的存在。

一方面，飞行员对不同编码类型的信息感知评估结果在很大程度上取决于眼动数据的可用性和特征的选择，因此有效的数据处理方法对飞行员感知不同类型的编码信息评估具有重要的意义。

由于实验采集的眼动数据包含25个眼动特征，可能存在较多的冗余信息，本发明通过对眼动特征与不同类型的编码信息进行方差分析，确定不同的眼动特征的组别为输入数据的特征，并对比不同眼动特征对模型准确率的影响。

由于眼动数据具有一定的个体差异和易干扰等特殊性质，往往会存在噪声。在传统的深度学习模型中，多层网络结构随着网络层数的增加，其非线性表达很难去表示恒等映射，因此模型会出现网络退化问题。深度残差网络与传统网络模型相比，深度残差网络采用恒等路径的方式跨模型层反向传播梯度信息，不会出现梯度弥散现象，可使整体误差达到最小。为了解决网络退化问题，深度残差网络中引入深度注意力机制与软阈值化得到深度残差收缩网络模型，将其用于眼动数据的研究。深度残差收缩网络可克服传统学习模型在深层网络中训练数据样本时无法实现在非线性变换上的恒等映射的困难，同时抑制噪声数据样本与冗余数据样本对于特征阈值提取的干扰。在深度残差收缩网络进行基于反向传播的模型训练时，可克服传统学习模型在深层网络中训练数据样本时无法实现在非线性变换上的恒等映射的困难，同时抑制噪声数据样本与冗余数据样本对于特征阈值提取的干扰，能够得到更优的模型，

因此本发明通过使用深度残差收缩网络对数据进行处理分析，能够降低噪声的干扰，提高评估的准确性。

另一方面，分类算法的性能直接影响了分类的效果。

为了验证上述分析的正确性，本实施例中选择常见的分类算法进行对比分析，包括BP神经网络、SVM和随机森林算法三种模型与本发明的深度残差收缩网络模型的性能效果进行对比，具体实验和数据如下：

1)对眼动数据的采集，通过在驾驶舱模拟平台，进行模拟飞行，在飞行的过程中随机出现不同类型的编码信息，信息持续时间为15秒，当飞行员意识到信息时，向负责记录实验过程的人员汇报，并进行相应操作以应对信息。

2)根据信息的编码方式对各项眼动特征数据的影响进行方差分析，得到各项眼动特征的F值，基于各项眼动特征的F值对特征的重要性进行排序和分类得到不同层次的眼动特征，本实施例中各项眼动特征的重要性值排序与层次分层如图2所示。

3)将不同的眼动特征对应的眼动数据转化为灰度图像数据；

4)构建如图3所示的深度残差收缩网络模型，用灰度图像数据作为模型的输入，选择70％的眼动数据作为测试集，剩余30％对应的数据作为训练集，进行不同编码类型的分类识别，得到评估结果。

本实施例从模型的准确率和ROC曲线两个方面进行结果分析，对模型的性能进行比较，表1和图5是深度残差收缩网络、SVM、随机森林和BP神经网络四个模型的准确率和ROC曲线，其中PartⅠ、PartⅡ、PartⅢ和PartⅣ为选择不同的眼动特征时的准确率。

表1深度残差收缩网络、SVM、随机森林和BP神经网络的分类准确率

从上表可以看出，基于眼动数据的深度残差收缩网络模型对飞行员感知不同类型的编码信息感知评估的准确率更高，在深度残差收缩网络模型中，当模型选择PartⅣ特征时，对不同类型的编码信息的识别准确率最高，优于SVM、RF和BPNN模型。其次分别为PartIII、Part I和PartⅡ特征，所对应的模型准确率均达到了88％以上。

Claims (9)

1.一种基于眼动数据评估飞行员对不同编码信息感知的方法，其特征在于，包括如下步骤：

S1：设计不同类型的编码信息，基于设计的编码信息获取飞行员的眼动数据；

S2：根据信息的编码方式对各项眼动特征数据的影响进行方差分析，得到各项眼动特征的F值；

S3：基于各项眼动特征的F值对特征的重要性进行排序和分类得到不同层次的眼动特征；

S4：将不同的眼动特征对应的眼动数据转化为灰度图像数据；

S5：将灰度图像数据作为训练好的深度残差收缩网络模型的输入，得到评估结果。

2.根据权利要求1所述的一种基于眼动数据评估飞行员对不同编码信息感知的方法，其特征在于，所述步骤S1中不同类型的编码信息包括静态显示信息、动态闪烁显示信息、语音信息或者兼顾这些不同特征。

3.根据权利要求1所述的一种基于眼动数据评估飞行员对不同编码信息感知的方法，其特征在于，所述步骤S1中飞行员的眼动数据为飞行员感知到不同编码信息时的包含多项眼动特征的数据，分为出现不同类型编码信息时的眼动数据和未出现信息时的眼动数据，包括双目类别、右瞳孔大小(X、Y)、右瞳孔直径、左瞳孔大小(X、Y)、左瞳孔直径、右眼位置(X、Y、Z)、左眼位置(X、Y、Z)、双目关注点(X、Y)、右眼关注点(X、Y)、左眼关注点(X、Y)、右眼凝视向量(X、Y、Z)、左眼凝视向量(X、Y、Z)。

4.根据权利要求1所述的一种基于眼动数据评估飞行员对不同编码信息感知的方法，其特征在于，所述步骤S2中眼动特征的F值的计算公式如下：

其中，k为处理眼动数据组数、n为眼动数据总样本量、n_i为第i组中眼动数据样本量、x_ij为第i组中眼动数据中第j个样本值、

为样本均值、

为第i组眼动数据均值。

5.根据权利要求1所述的一种基于眼动数据评估飞行员对不同编码信息感知的方法，其特征在于，所述步骤S3具体为：

通过各眼动特征的F值，基于欧氏距离进行划分，得到多个分层的眼动特征，将重要性最高的分层作为第一组特征组，将重要性最高和第二高的分层作为第二组特征，以此类推，确定多个包含不同重要性的特征组。

6.根据权利要求1所述的一种基于眼动数据评估飞行员对不同编码信息感知的方法，其特征在于，所述步骤S5中深度残差收缩网络模型的构建方法包括如下步骤：

A1：建立初始的卷积神经网络模型；

A2：构建基于软阈值函数与深度注意力机制的残差网络模块；

A3：在卷积神经网络中加入构建的残差收缩网络模块得到深度残差收缩网络模型。

7.根据权利要求1所述的一种基于眼动数据评估飞行员对不同编码信息感知的方法，其特征在于，所述步骤S5中深度残差收缩网络模型的输入输出过程为：

假设x^l为layer1的输入，需求解的函数为H(x^l)，在残差网络中H(x^l)＝F(x^l)+x^l，于是求解恒等映射函数F(x^l)，通过layer1，得到权重w^l+1，偏移b^l+1，同时经过ReLU函数得到x^l+1，将x^l+1输入layer2，在layer2构建一个收缩子网络，通过深度注意力机制学习特征阈值x，将layer2没有经过收缩子网络的输出x'软阈值化，与残差项F(x^l)相加得到x^l+2。

8.根据权利要求7所述的一种基于眼动数据评估飞行员对不同编码信息感知的方法，其特征在于，所述步骤S5中在深度残差收缩网络基本模块中，函数映射关系与每一层的输出为：

H(x^l)＝F(x^l)+x^l

x^l+1＝ReLU(w^l+1x^l+b^l+1)

x^l+2＝x^t+F(x^l)

其中，

为每一维度下的特征值、x^t为每一维度下的特征值经过软阈值化处理后的值、τ为软阈值化处理过程中设置的阈值。

9.一种基于眼动数据评估飞行员对不同编码信息感知的装置，其特征在于，包括：

数据获取模块，用于基于不同编码信息获取飞行人员的眼动数据；

数据处理模块，用于根据眼动数据进行特征重要性分析与选择，将眼动数据转化为灰度图像数据，用于模型的输入；

模型训练模块，用于训练深度残差收缩网络模型；

评估模块，用于将灰度图像数据输入预训练的深度残差收缩网络模型得到评估结果。

Images