CN111387976B - 一种基于眼动和脑电数据的认知负荷评估方法 - Google Patents

Abstract

本发明提供了一种基于眼动和脑电数据的认知负荷评估方法，基于眼动数据和脑电数据，使用支持向量机算法来计算飞行员的认知负荷，基于眼动和脑电数据进行认知负荷评估和计算，使认知负荷的评估和计算具备实时性，使飞行员及地勤人员可实时了解当前飞行员的认知负荷状态，提升执行飞行任务的效率。本发明克服了原有主观评测法实时性差的缺点，使认知负荷这一结果可以实时计算并反馈，增强了对飞行员飞行状态的实时监督。

Description

一种基于眼动和脑电数据的认知负荷评估方法

技术领域

本发明涉及人因工程领域，尤其是一种飞行员的认知负荷计算方法。

背景技术

面对未来日益复杂飞行的环境，飞行员在执行飞行任务时面临着态势复杂多变、数据实时更新和任务繁重紧迫等困难，为了防止飞行员由于认知负荷过高而产生的态势理解能力下降的现象，需要对飞行员的认知负荷进行评估和计算。目前，评估和计算认知负荷的方法主要是基于问卷和量表的主观评测法，该方法只适用于实验环境，不具备实时评估与计算的功能。

发明内容

为了克服现有技术的不足，本发明提供一种基于眼动和脑电数据的认知负荷评估方法。本发明基于眼动数据和脑电数据，使用支持向量机算法来计算飞行员的认知负荷(认知负荷高/认知负荷低)，基于眼动和脑电数据进行认知负荷评估和计算，使认知负荷的评估和计算具备实时性。因此，本发明基于眼动和脑电数据进行飞行员认知负荷的评估和计算，使飞行员及地勤人员可实时了解当前飞行员的认知负荷状态，提升执行飞行任务的效率。

本发明解决其技术问题所采用的技术方案包括如下步骤：

Step1：基于眼动数据计算认知负荷；

用于计算认知负荷的眼动数据总共有7个指标，分别是：凝视时长、凝视次数、扫视时长、扫视次数、扫视角度、瞳孔面积和眨眼率7个眼动数据，各眼动数据的具体定义如表1所示：

表1各眼动数据解释

接下来，需要对7个眼动数据进行归一化，将眼动数据统一到0～1之间，归一化公式如下：

其中，i的取值范围为{1,2,3,4,5,6,7}，分别代表以上7个眼动数据；x_1i表示各眼动数据的原始值大小；x_1min和x_1max分别表示各眼动数据原始值的最小值和最大值；

将7个眼动数据归一化后，根据支持向量机的决策方程与0的关系来判断认知负荷的高低，基于数据对模型进行训练，训练完成后会得到支持向量机决策方程的两个参数w₁和b₁，分别为决策方程的权重和决策方程的附加量；

得到两个参数w₁和b₁后，根据决策方程与0的关系即可判断认知负荷的高低，决策方程如下：

f(x₁)＝w₁·x₁+b₁ (2)

其中，x₁为归一化后的7个眼动数据所构成的向量，通过公式(2)，计算出最终结果，将最终结果与0进行比较，若小于0则为高认知负荷，大于0则为低认知负荷；

Step2：基于脑电数据(alpha波)计算认知负荷

脑电数据根据脑电波频率的不同可分为5种，分别是Delta、Theta、Alpha、Beta、Gamma波，具体下表3所示：

表3脑电数据定义

计算认知负荷时，使用alpha波进行计算，每个alpha波数据中共包含m个数据，m个数据来自于大脑m个不同的部位，m个部位的alpha波脑电数据分别用alpha_1～

alpha_m表示，对脑电数据进行归一化处理，归一化公式如下：

其中，i的取值范围为1-m，分别代表m个alpha波脑电数据；x_2i表示各脑电数据的原始值大小；x_2min和x_2min分别表示各脑电数据原始值的最小值和最大值；将m个脑电数据归一化后，同样根据支持向量机的决策方程与0的关系来判断认知负荷的高低；

支持向量机的决策方程如下：

f(x₂)＝w₂·x₂+b₂ (4)

其中，x₂为归一化后的20个脑电数据所构成的向量，通过公式(4)，计算出最终结果，将最终结果与0进行比较，若小于0则为高认知负荷，大于0则为低认知负荷；

Step3：将Step1、Step2计算的2个认知负荷结果进行组合，得到最终结果，结果组合如下公式所示：

(1)IF(认知负荷(脑电)＝高)AND(认知负荷(眼动)＝高)THEN(认知负荷＝高)

(2)IF(认知负荷(脑电)＝低)AND(认知负荷(眼动)＝低)THEN(认知负荷＝低)

(3)IF(认知负荷(脑电)＝高)AND(认知负荷(眼动)＝低)THEN(认知负荷＝低)

(4)IF(认知负荷(脑电)＝低)AND(认知负荷(眼动)＝高)THEN(认知负荷＝低)

通过上述规则，可计算出最终的认知负荷。

所述Step1中，w₁和b₁的取值分别为：

w₁＝[-3.948-0.041,0.355,-0.461,1.155,0.998,-3.521]^T

b₁＝[1.882]^T。

所述Step1中，各眼动数据原始值的最小值和最大值的取值范围如表2所示：

表2眼动指标的最值

其中，各眼动数据原始值的最小值为x_1min，最大值为x_1max。

所述Step2中，权重w₂和决策方程附加量b₂分别为：

w₂＝[-3.186,-3.186,1.243,8.424,-3.432,-1.122,-2.386,1.913,-1.638,-9.523,9.669,-1.049,-7.967,-6.736,1.684,5.207,-9.564,-1.848,1.580,-1.497]^T，

b₂＝[0.742884]。

本发明有益效果在于基于眼动和脑电数据进行认知负荷评估与计算，克服了原有方法(主观评测法)实时性差的缺点，使认知负荷这一结果可以实时计算并反馈，增强了对飞行员飞行状态的实时监督。

具体实施方式

下面结合实施例对本发明进一步说明。

Step1：基于眼动数据计算认知负荷；

用于计算认知负荷的眼动数据总共有7个指标，分别是：凝视时长、凝视次数、扫视时长、扫视次数、扫视角度、瞳孔面积和眨眼率7个眼动数据，各眼动数据的具体定义如表1所示：

表1各眼动数据解释

接下来，需要对7个眼动数据进行归一化，将眼动数据统一到0～1之间，归一化公式如下：

其中，i的取值范围为{1,2,3,4,5,6,7}，分别代表以上7个眼动数据；x_1i表示各眼动数据的原始值大小；x_1min和x_1max分别表示各眼动数据原始值的最小值和最大值；具体如表2所示：

表2眼动指标的最值

将7个眼动数据归一化后，根据支持向量机的决策方程与0的关系来判断认知负荷的高低。支持向量机是一种数据分类算法，常用于处理具有多维特征的二分类问题。在使用之前需要基于数据对模型进行训练，训练完成后会得到支持向量机决策方程的两个参数w₁和b₁，分别为决策方程的权重和决策方程的附加量；

得到两个参数w₁和b₁后，根据决策方程与0的关系即可判断认知负荷的高低，决策方程如下：

f(x₁)＝w₁·x₁+b₁ (2)

其中，x₁为归一化后的7个眼动数据所构成的向量，权重值大小为w₁＝[-3.948-0.041,0.355,-0.461,1.155,0.998,-3.521]^T，b₁＝[1.882]^T，通过公式(2)，计算出最终结果，将最终结果与0进行比较，若小于0则为高认知负荷，大于0则为低认知负荷；

Step2：基于脑电数据(alpha波)计算认知负荷

脑电数据根据脑电波频率的不同可分为5种，分别是Delta、Theta、Alpha、Beta、Gamma波，具体下表3所示：

表3脑电数据定义

计算认知负荷时，使用alpha波进行计算，每个alpha波数据中共包含20个数据，20个数据来自于大脑20个不同的部位，具体如表4所示：

表4脑电数据采集部位

以上20个部位的alpha波脑电数据分别用alpha_1～alpha_20表示，对脑电数据进行归一化处理，归一化公式如下：

其中，i的取值范围为1-20，分别代表20个alpha波脑电数据；x_2i表示各脑电数据的原始值大小；x_2min和x_2min分别表示各脑电数据原始值的最小值和最大值；具体如表5所示：

表5脑电(alpha波段)数据的最值

将20个脑电数据归一化后，同样根据支持向量机的决策方程与0的关系来判断认知负荷的高低；

支持向量机的决策方程如下：

f(x₂)＝w₂·x₂+b₂ (4)

其中，x₂为归一化后的20个脑电数据所构成的向量，w₂＝[-3.186,-3.186,1.243,8.424,-3.432,-1.122,-2.386,1.913,-1.638,-9.523,9.669,-1.049,-7.967,-6.736,1.684,5.207,-9.564,-1.848,1.580,-1.497]^T，，b₂＝[0.742884]，通过公式(4)，计算出最终结果，将最终结果与0进行比较，若小于0则为高认知负荷，大于0则为低认知负荷；

Step3：将Step1、Step2计算的2个认知负荷结果进行组合，得到最终结果，结果组合如下公式所示：

(1)IF(认知负荷(脑电)＝高)AND(认知负荷(眼动)＝高)THEN(认知负荷＝高)

(2)IF(认知负荷(脑电)＝低)AND(认知负荷(眼动)＝低)THEN(认知负荷＝低)

(3)IF(认知负荷(脑电)＝高)AND(认知负荷(眼动)＝低)THEN(认知负荷＝低)

(4)IF(认知负荷(脑电)＝低)AND(认知负荷(眼动)＝高)THEN(认知负荷＝低)

通过上述规则，可计算出最终的认知负荷。

实施例1：被试人员1在模拟飞行驾驶时计算其认知负荷

被试人员1在模拟飞行驾驶的过程中共测得了5组有效数据，现根据测得的脑电、眼动数据计算其认知负荷。

Step1：基于眼动数据计算认知负荷

首先从眼动设备中导出5组眼动数据，具体眼动数据如下表所示：

表6眼动数据原始数值

导出原始数据后，需要对原始数据进行归一化，根据公式1-5和表2，计算出归一化后的眼动值，如下表所示。

表7眼动数据归一化数值

归一化数据计算完后，根据公式1-6，可计算出决策函数的结果值，结果为f(x)＝[1.82,-2.04,2.07,2.17,1.35]^T,判断其与0的大小关系即可得出各样本的认知负荷最终结果为：{低，高，低，低，低}

Step2：基于脑电数据计算认知负荷

首先导出脑电数据的原始值，具体如下表所示：

表8脑电(alpha波段)的原始数据

导出原始数据后，需要对原始数据进行归一化，根据公式1-7和表5，计算出归一化后的眼动值，如下表所示。

表9脑电(alpha波段)的归一化后数据

归一化数据计算完后，根据公式1-8，可计算出决策函数的结果值，结果为f(x)＝[5.95,5.73,-12.34,3.96,2.75]^T,判断其与0的大小关系即可得出各样本的认知负荷，最终结果为：{低，低，高，低，低}

Step3：将Step1、Step2计算的2个认知负荷结果进行组合，得到最终结果

根据组合规则，基于眼动数据计算的认知负荷为{低，高，低，低，低}，基于脑电计算的认知负荷为{低，低，高，低，低}，两者最终组合的认知负荷结果为{低，低，低，低，低}

实施例2：被试人员2在模拟飞行驾驶时计算其认知负荷

被试人员2在模拟飞行驾驶的过程中共测得了5组有效数据，现根据测得的脑电、眼动数据计算其认知负荷。

Step1：基于眼动数据计算认知负荷

首先从眼动设备中导出5组眼动数据，具体眼动数据如下表所示：

表10眼动数据原始数值

导出原始数据后，需要对原始数据进行归一化，根据公式1-5和表2，计算出归一化后的眼动值，如下表所示。

表11眼动数据归一化数值

归一化数据计算完后，根据公式1-6，可计算出决策函数的结果值，结果为f(x)＝[1.82,-2.04,2.07,2.17,1.35]^T,判断其于0的大小关系即可得出10各样本的认知负荷，最终结果为：{高，低，低，高，低}

Step2：基于脑电数据计算认知负荷

首先导出脑电数据的原始值，具体如下表所示：

表12脑电(alpha波段)的原始数据

导出原始数据后，需要对原始数据进行归一化，根据公式1-7和表5，计算出归一化后的眼动值，如下表所示。

表13脑电(alpha波段)的归一化后数据

归一化数据计算完后，根据公式1-8，可计算出决策函数的结果值，结果为f(x)＝[-16.67,0.31,2.22,0.82,5.01]^T,判断其与0的大小关系即可得出各样本的认知负荷最终结果为：{高，低，低，低，低}

Step3：将Step1、Step2计算的2个认知负荷结果进行组合，得到最终结果

根据组合规则，基于眼动数据计算的认知负荷为{高，低，低，高，低}

，基于脑电计算的认知负荷为{高，低，低，低，低}，两者最终组合的认知负荷结果为{高，低，低，低，低}。

Claims (4)

1.一种基于眼动和脑电数据的认知负荷评估方法，其特征在于包括下述步骤：

Step1：基于眼动数据计算认知负荷；

用于计算认知负荷的眼动数据总共有7个指标，分别是：凝视时长、凝视次数、扫视时长、扫视次数、扫视角度、瞳孔面积和眨眼率7个眼动数据，各眼动数据的具体定义如表1所示：

表1各眼动数据解释

接下来，需要对7个眼动数据进行归一化，将眼动数据统一到0～1之间，归一化公式如下：

其中，i的取值范围为{1,2,3,4,5,6,7}，分别代表以上7个眼动数据；x_1i表示各眼动数据的原始值大小；x_1min和x_1max分别表示各眼动数据原始值的最小值和最大值；

表示各眼动数据归一化后的结果；

将7个眼动数据归一化后，根据支持向量机的决策方程与0的关系来判断认知负荷的高低，基于数据对模型进行训练，训练完成后会得到支持向量机决策方程的两个参数w₁和b₁，分别为决策方程的权重和决策方程的附加量；

得到两个参数w₁和b₁后，根据决策方程与0的关系即可判断认知负荷的高低，决策方程如下：

其中，

为归一化后的7个眼动数据所构成的向量，通过公式(2)，计算出最终结果，将最终结果与0进行比较，若小于0则为高认知负荷，大于0则为低认知负荷；

Step2：基于脑电数据(alpha波)计算认知负荷

脑电数据根据脑电波频率的不同可分为5种，分别是Delta、Theta、Alpha、Beta、Gamma波，具体下表3所示：

表3脑电数据定义

计算认知负荷时，使用alpha波进行计算，每个alpha波数据中共包含20个数据，20个数据来自于大脑20个不同的部位，20个部位的alpha波脑电数据分别用alpha_1～alpha_20表示，对脑电数据进行归一化处理，归一化公式如下：

其中，i的取值范围为1-20，分别代表第1-20个alpha波脑电数据；x_2i表示各脑电数据的原始值大小；

为归一化后的脑电数据，x_2min和x_2min分别表示各脑电数据原始值的最小值和最大值；将20个脑电数据归一化后，同样根据支持向量机的决策方程与0的关系来判断认知负荷的高低；

支持向量机的决策方程如下：

其中，

为归一化后的20个脑电数据所构成的向量，通过公式(4)，计算出最终结果，将最终结果与0进行比较，若小于0则为高认知负荷，大于0则为低认知负荷；

Step3：将Step1、Step2计算的2个认知负荷结果进行组合，得到最终结果，结果组合如下公式所示：

(1)IF(认知负荷(脑电)＝高)AND(认知负荷(眼动)＝高)THEN(认知负荷＝高)

(2)IF(认知负荷(脑电)＝低)AND(认知负荷(眼动)＝低)THEN(认知负荷＝低)

(3)IF(认知负荷(脑电)＝高)AND(认知负荷(眼动)＝低)THEN(认知负荷＝低)

(4)IF(认知负荷(脑电)＝低)AND(认知负荷(眼动)＝高)THEN(认知负荷＝低)

可计算出最终的认知负荷。

2.根据权利要求1所述的基于眼动和脑电数据的认知负荷评估方法，其特征在于：

所述Step1中，w₁和b₁的取值分别为：

w₁＝[-3.948,-0.041,0.355,-0.461,1.155,0.998,-3.521]^T

b₁＝[1.882]^T。

3.根据权利要求1所述的基于眼动和脑电数据的认知负荷评估方法，其特征在于：

所述Step1中，各眼动数据原始值的最小值和最大值的取值范围如表2所示：

表2眼动指标的最值

其中，各眼动数据原始值的最小值为x_1min，最大值为x_1max。

4.根据权利要求1所述的基于眼动和脑电数据的认知负荷评估方法，其特征在于：

所述Step2中，权重w₂和决策方程附加量b₂分别为：

w₂＝[-3.186,-3.186,1.243,8.424,-3.432,-1.122,-2.386,1.913,-1.638,-9.523,9.669,-1.049,-7.967,-6.736,1.684,5.207,-9.564,-1.848,1.580,-1.497]^T，

b₂＝[0.742884]。