CN114305452B - 一种基于脑电和领域适配的跨任务认知负荷识别方法 - Google Patents

Abstract

本发明公开了一种基于脑电和领域适配的跨任务认知负荷识别方法。属于脑电信号分析及脑‑机接口应用领域，具体步骤：设计跨任务认知负荷刺激范式；根据跨任务认知负荷刺激范式采集脑电数据，对采集到的脑电数据进行预处理；对预处理后的认知负荷脑电数据计算脑电特征，并将其作为跨任务认知负荷分类特征；将得到的跨任务认知负荷分类特征通过迁移联合匹配进行特征对齐；将对齐后的跨任务脑电特征作为支持向量机分类器的输入，进行模式识别，最终得到跨任务认知负荷识别结果。本发明通过跨任务刺激范式采集了多个任务的客观脑电数据，通过领域适配对齐多个任务数据的特征分布，从而减轻数据的分布差异，可以高效、准确、客观地得到跨任务认知负荷识别结果。

Description

一种基于脑电和领域适配的跨任务认知负荷识别方法

技术领域

本发明属于脑电信号处理、被动式脑-机接口应用领域，涉及一种基于脑电和领域适配的跨任务认知负荷识别方法。

背景技术

现有技术中，载人航天、飞机驾驶、汽车驾驶、医疗抢救、核电操控以及空中交管等复杂人机交互系统中，操作者通常需要在短时间内获取加工大量的感知觉信息并迅速做出反应和决策，从而容易导致较高的认知负荷。认知负荷体现为由操作者感知、注意、记忆、思维、推理和决策等方面造成的负荷，可以定义为操作者完成任务所需的资源与可用于该任务的资源之比。当需要大量资源来完成分配的任务，但只有少量资源可用时，就会出现高负荷状态。认知负荷显著影响特定任务中的操作者绩效，导致操作者表现和行为发生变化。研究表明，过高负荷状态会导致效率低下和任务性能下降，更严重的可能导致事故发生；而过低负荷状态会造成人力资源浪费，分散对主要任务的注意力，并失去适当的警惕性，从而导致性能下降。因此，在人机交互系统中，对系统造成的认知负荷进行评估，实现认知负荷的监测并进行反馈调节，对系统的工作效率、安全性、人的健康都有非常重要的意义。

认知负荷评估算法主要通过机器学习和数据挖掘技术，检测或识别操作者在执行人机交互任务过程中能表征认知负荷水平高低的客观生理指标、主观心理和行为指标，从而将认知负荷分为高负荷和低负荷。其中，基于客观生理指标的认知负荷评估，使用可佩戴的生物传感器，通过测量操作者在任务过程中相关生理指标的变化程度，来推断其认知负荷水平。由于脑电信号能敏感体现大脑对认知负荷的原始神经电生理响应，具有良好的时间分辨率，便于携带和实时采集，价格较低廉等特点，脑电已成为目前识别认知负荷水平的重要手段之一。

有研究者认为虽然不同认知任务调用大脑资源不同，但认知负荷更关注占用大脑资源的多少(即容量)，而不关注具体占用的大脑资源。因此，建立适用于不同任务场景的认知负荷识别模型是有可能的。目前绝大多数认知负荷研究的主要焦点是在单个任务上，其所用认知负荷诱发任务单一，较少探讨不同任务情况下的模型适用性，因此跨任务认知负荷识别仍然存在挑战。此外，由于脑电信号的非稳态特性和不同任务的差异性，不同被试认知任务之间的差异，目前跨任务认知负荷识别正确率低，限制了预先训练模型扩展到新认知状态的泛化性。因此，针对跨任务认知负荷识别任务，如何在各种任务中找到鲁棒或者共享的脑电特征，如何减少不同被试任务之间的差异性是接下来要思考的问题。

发明内容

发明目的：现有的基于脑电信号的认知负荷识别方法，大多基于单个认知任务，限制了其在真实场景中的应用；其次，现有的跨任务认知负荷识别方法主要发掘和提取不同任务的鲁棒特征，忽略了被试内的个体差异性，即同一被试在不同时间的脑电信号也是有差异的；本发明提供一种基于脑电信号和领域适配的跨任务认知负荷识别技术，包括基于数学计算和工作记忆的任务范式，同时采用领域适配方法减轻被试个体性分布差异，以解决现有跨任务认知负荷识别精度不高等问题。

技术方案：本发明所述的一种基于脑电和领域适配的跨任务认知负荷识别方法，其具体操作步骤如下：

(1)、设计跨任务认知负荷刺激范式；

(2)、根据跨任务认知负荷刺激范式采集脑电数据，对采集到的脑电数据进行预处理；

(3)、对预处理后的认知负荷脑电数据计算脑电特征，并将其作为跨任务认知负荷分类特征；

(4)、将得到的跨任务认知负荷分类特征通过迁移联合匹配进行特征对齐；

(5)、将对齐后的跨任务脑电特征作为支持向量机分类器的输入，进行模式识别，最终得到跨任务认知负荷识别结果；

在步骤(1)中，所述设计的跨任务认知负荷刺激范式包括基于工作记忆任务和数学计算任务的认知负荷刺激范式；

其中，所述基于工作记忆任务的认知负荷刺激范式具体操作步骤是：

首先，从工作记忆素材库中选取英文字符序列或图片序列作为工作记忆任务的认知负荷刺激材料；

然后，设计认知负荷刺激材料的任务难度、展示顺序、展示时间及时间间隔；

最后，将实验重复若干次，直到将所有认知负荷刺激材料都展示过一次，最终形成完整的工作记忆任务的认知负荷刺激范式；

所述基于数学计算任务的认知负荷刺激范式具体操作步骤是：

首先，从数学计算素材库中选取数学加法计算或减法计算作为数学计算任务的认知负荷刺激材料；

然后，设计认知负荷刺激材料的任务难度、展示顺序、展示时间及时间间隔；

最后，将实验重复若干次，直到将所有认知负荷刺激材料都展示过一次，最终形成完整的数学计算任务的认知负荷刺激范式；

在步骤(2)中，所述根据跨任务认知负荷刺激范式采集脑电数据的具体过程是：

首先，受试者佩戴多通道脑电采集设备；

然后，通过脑电采集设备收集受试者在认知负荷刺激实验范式下产生的认知负荷脑电数据；

最后，将收集到的脑电数据保存在可存储介质中；

所述对采集到的脑电数据进行预处理的具体步骤如下：

一、重参考：对采集到的脑电数据进行重参考，得到每个电极和参考电极之间的电位差；

二、信号滤波：对采集到的脑电数据进行滤波，去除工频及肌电伪迹干扰，保留所需的频率范围中的脑电信号；

三、分段和基线校正：对于认知负荷刺激实验范式下采集到的脑电数据，根据数据的标签信息将脑电数据分段，每段保留一定时间长度的脑电数据，然后对数据进行基线校正去除数据漂移的影响；

四、伪迹去除：对分段后的脑电数据进行独立成分分析，并去除分析结果中所包含的伪迹或眼电成分；

五、人工检查：对经过上述步骤的脑电数据片段进行人工检查，手动删除坏的数据片段；

在所述步骤(3)中，在对经过预处理后的认知负荷脑电信号数据计算脑电特征中，

所述计算的脑电特征包括功率谱密度特征和基于头皮脑电电极通道间的谱相干功能连接特征；其具体操作过程如下所述：

(3.1)、计算脑电信号的功率谱密度特征：将认知负荷脑电信号数据转换到频域，在频域将脑电信号分解成五个频段delta[1,3]Hz、theta[4,7]Hz、alpha[8,13]Hz、beta[14,30]Hz及gamma[31,50]Hz，从频域中选取出需要的频段计算功率谱密度特征；

其中，功率谱密度特征的计算公式如下：

式中，x[n]为脑电信号片段，n＝1,2,…,N是片段的个数，F_s为采样率，w[n]为窗函数,f是频率；

(3.2)、计算基于头皮脑电电极通道间的谱相干功能连接特征：将认知负荷脑电信号数据转换到频域，在频域将脑电信号分解成五个频段delta[1,3]Hz、theta[4,7]Hz、alpha[8,13]Hz、beta[14,30]Hz及gamma[31,50]Hz，然后将每个频段的脑电数据基于谱相干的计算公式等计算脑电各通道之间的功能连接特征；

其中，谱相干特征的计算公式如下：

式中，对于每一个频率f，P_xy(f)是两个通道信号x和y的交叉功率谱密度，P_xx(f)和P_yy(f)分别是信号x和y的功率谱密度；

在步骤(4)中，所述将得到的跨任务认知负荷分类特征通过迁移联合匹配进行对齐的具体过程是：

首先，分别整合两种任务下的功率谱密度特征和谱相干特征作为跨任务认知负荷初始分类特征；

然后，将两种任务下的初始分类特征输入到迁移联合匹配，从而通过迁移联合匹配得到对齐后的脑电信号降维对齐特征；

其中，所述迁移联合匹配的方法是在降维空间同时考虑跨域的特征对齐和训练样本的重加权方法；其具体操作步骤如下：

(4.1)、对特征分布进行适配：使用最大平均值差差异距离衡量不同特征分布的差异，利用核技巧该距离可转化为如下公式：

式中，是脑电信号片段的特征空间，y是脑电信号片段对应的标签，C是脑电的通道个数，d是每个通道提取的特征个数；源域 包含N_s个有标签样本，目标域包含N_t个无标签样本，K＝[φ(x_i)^Tφ(x_j)]是定义在所有数据上的核矩阵，若x_i,x_j∈X_s,则L_ij＝1/N_s ²；若x_i,x_j∈X_t，则L_ij＝1/N_t ²；其他 是转换矩阵，把核矩阵K转化到m-维空间(m＜＜N_s+N_t)，转换后的特征表示为Z＝W^TK；

(4.2)、样例空间加权：对源域和目标域的样例空间进行加权，通过对转换矩阵W施加稀疏约束，如下式所述：

式中，||·||_2,1是结构稀疏正则项，是稀疏正则项；

(4.3)、优化目标函数：综合以上两个步骤，得到迁移联合匹配的优化目标函数，其如下所示：

使得W^TKHK^TW＝I；

式中，第一项为对特征分布进行适配，第二项为样例空间进行加权，约束项为保留原始数据分布的方差结构，λ为平衡因子，I是单位矩阵； 是中心矩阵，是单位矩阵,是全一向量；

在步骤(5)中，所述最终得到跨任务认知负荷识别结果的具体过程是：

首先，针对任一被试的任务A数据进行模型训练，同被试的任务B数据进行模型测试；

然后，将两个任务的脑电信号降维对齐特征输入到线性支持向量机分类器，通过支持向量机分类器得到一种认知负荷识别结果；

最后，将该认知负荷结果和实际负荷水平作对比，从而得到一种识别正确率。

有益效果：本发明与现有技术相比，本发明采集工作记忆和数学计算两个认知任务实验，使用迁移联合匹配对齐不同任务的脑电特征分布从而减轻分布差异，本发明提供的方法能够更加准确的对大脑认知负荷状态和水平进行识别。

附图说明

图1是本发明的操作流程图；

图2是本发明中认知负荷诱发实验流程示意图；

图3是本发明中实施例工作记忆数据作为训练集的实验准确性结果图；

图4是本发明中实施例数学计算数据作为训练集的实验准确性结果图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：

如图所述，本发明所述的一种基于脑电和领域适配的跨任务认知负荷识别方法，其具体操作步骤如下：

(1)、设计跨任务认知负荷刺激范式：设计基于工作记忆和数学计算的认知负荷诱发任务范式，在规定时间内，被试者做出按键行为反应，记录其行为学信息，包括反应时间和准确率；

(2)、根据跨任务认知负荷刺激范式采集脑电数据，对采集到的脑电数据进行预处理：采集不同任务，不同认知负荷水平下的被试进行试验的59通道脑电信号，对59通道的脑电信号进行预处理；

(3)、对预处理后的认知负荷脑电数据计算脑电特征，作为跨任务认知负荷分类特征：提取脑电信号的功率谱密度特征和谱相干特征，作为认知负荷分类特征；

(4)、将得到的跨任务认知负荷分类特征通过迁移联合匹配进行特征对齐：通过迁移联合匹配对齐同被试、不同任务的认知负荷脑电特征，同时降低特征的维度；

(5)、将对齐后的跨任务脑电特征作为支持向量机分类器的输入，进行模式识别，最终得到跨任务认知负荷识别结果：对同一被试，不同任务不同水平下的特征向量进行模式识别，得到认知负荷识别结果；

在步骤(1)中，所述的跨任务认知负荷刺激范式包括基于工作记忆任务和数学计算任务的认知负荷刺激范式；

其中，所述基于工作记忆任务的认知负荷刺激范式具体操作步骤是：从工作记忆素材库中选取英文字符序列或图片序列作为工作记忆任务的认知负荷刺激材料；设计认知负荷刺激材料的任务难度、展示顺序、展示时间、时间间隔；将实验重复若干次，直到将所有认知负荷刺激材料都展示过一次，最终形成完整的工作记忆任务的认知负荷刺激范式；

所述基于数学计算任务的认知负荷刺激范式具体操作步骤是：从数学计算素材库中选取数学加法计算或减法计算作为数学计算任务的认知负荷刺激材料；设计认知负荷刺激材料的任务难度、展示顺序、展示时间、时间间隔；将实验重复若干次，直到将所有认知负荷刺激材料都展示过一次，最终形成完整的数学计算任务的认知负荷刺激范式；

在步骤(2)中，所述根据跨任务认知负荷刺激范式采集脑电数据的具体过程是：受试者佩戴多通道脑电采集设备；脑电采集设备收集受试者在认知负荷刺激实验范式下产生的认知负荷脑电数据；将收集到的脑电数据保存在可存储介质中。

所述对采集到的脑电数据进行预处理的具体步骤如下：

(2.1)、重参考：采取某种平均重参考方法对采集到的脑电数据进行重参考，得到每个电极和参考电极之间的电位差；

(2.2)、信号滤波：采取某种信号滤波方法(带通滤波器(1-70Hz)和陷波器(50Hz)滤波方法)对采集到的脑电数据进行滤波，去除工频及肌电伪迹干扰，保留所需的频率范围中的脑电信号；

(2.3)、分段和基线校正：对于认知负荷刺激实验范式下采集到的脑电数据，根据数据的标签信息将脑电数据分段，每段保留一定时间长度的脑电数据，然后对数据进行基线校正去除数据漂移的影响；

(2.4)、伪迹去除：对分段后的脑电数据进行独立成分分析，并去除分析结果中所包含的伪迹或眼电成分。

(2.5)、人工检查：对经过上述步骤的脑电数据片段进行人工检查，手动删除坏的数据片段；

在步骤(3)中，所述对经过预处理后的认知负荷脑电信号数据计算脑电特征的具体过程是：所述计算的脑电特征包括功率谱密度特征和基于头皮脑电电极通道间的谱相干功能连接特征；

(3.1)、计算脑电信号的功率谱密度特征：通过短时傅里叶变换将时域认知负荷脑电信号转换到频域，在频域将脑电信号分解成五个频段delta[1,3]Hz,theta[4,7]Hz,alpha[8,13]Hz,beta[14,30]Hz,gamma[31,50]Hz，从频域中选取出需要的频段计算功率谱密度特征；

其中，功率谱密度特征的计算公式为

式中，x[n]为脑电信号片段，n＝1,2,…,N是片段的个数，F_s为采样率，w[n]为窗函数，f是频率；

(3.2)、计算基于头皮脑电电极通道间的谱相干功能连接特征：通过短时傅里叶变换将时域认知负荷脑电信号转换到频域，在频域将脑电信号分解成五个频段delta[1,3]Hz,theta[4,7]Hz,alpha[8,13]Hz,beta[14,30]Hz,gamma[31,50]Hz，然后将每个频段的脑电数据基于谱相干的计算公式等计算脑电各通道之间的功能连接特征；

其中，谱相干特征的计算公式为：

式中，对于每一个频率f，P_xy(f)是两个通道信号x和y的交叉功率谱密度，P_xx(f)和P_yy(f)分别是信号x和y的功率谱密度；

在步骤(4)中，所述将得到的跨任务认知负荷分类特征通过迁移联合匹配进行对齐的具体过程是：

分别整合两种任务下的功率谱密度特征和谱相干特征作为跨任务认知负荷初始分类特征；

将两种任务下的初始分类特征输入到迁移联合匹配，通过迁移联合匹配得到对齐后的脑电降维对齐特征；

所述迁移联合匹配方法是在降维空间同时考虑跨域的特征对齐和训练样本的重加权方法；其具体操作步骤如下：

(4.1)、对特征分布进行适配：使用最大平均值差差异距离衡量不同特征分布的差异，利用核技巧该距离可转化为下式：

式中，(X,y)是一个脑电信号样本，是特征空间，C是脑电的通道个数，d是每个通道提取的特征个数；是相对应的标签；源域包含N_s个有标签样本，目标域包含N_t个无标签样本，K＝[φ(x_i)^Tφ(x_j)]是定义在所有数据上的核矩阵，若x_i,x_j∈X_s,则L_ij＝1/N_s ²；若x_i,x_j∈X_t，则L_ij＝1/N_t ²；其他 是转换矩阵，把核矩阵K转化到m-维空间(m＜＜N_s+N_t)，转换后的特征表示为Z＝W^TK；

(4.2)、样例空间加权：对转换矩阵W施加稀疏约束从而对源域和目标域的样例空间进行加权，

其中，||·||_2,1是结构稀疏正则项，是稀疏正则项；

(4.3)、优化目标函数：综合以上两个步骤，可以得到迁移联合匹配的优化目标函数，如下所述：

使得W^TKHK^TW＝I,

式中，第一项为对特征分布进行适配，第二项为样例空间进行加权，约束项为保留原始数据分布的方差结构，λ为平衡因子，I为单位矩阵， 是中心矩阵，是单位矩阵,是全一向量；

在步骤(5)中，所述将对齐后的脑电特征作为支持向量机分类器的输入进行模式识别，最终得到跨任务认知负荷识别结果的具体过程是：针对任一被试的任务A数据进行模型训练，同被试的任务B数据进行模型测试。将两个任务的脑电信号降维对齐特征输入到线性支持向量机分类器，通过支持向量机分类器得到一种认知负荷识别结果，将该认知负荷结果和实际负荷水平作对比，得到一种识别正确率。

具体的，本发明使用的认知负荷诱发任务范式包括工作记忆和数学计算认知任务，需要实验被试依次参与；认知负荷诱发任务范式；被试依次进行工作记忆和数学计算认知任务；其中，工作记忆任务，要求被试短暂地记录一串字符序列，经过一段时间后提取记忆，并做出按键反应；包括且不限于Sternberg记忆任务，n-back记忆任务；为了得到更加细化的任务水平，任务的难度从1到7，试验呈现次序随机；数学计算任务，要求被试短暂地记录并计算出电脑呈现的数学公式，经过一段时间后电脑呈现结果，需被试做出按键反应；包括且不限于数学加法任务，数学减法任务；任务的难度从1到7，试验呈现次序随机。

采集不同被试的认知负荷脑电信号；使用无线脑电信号采集系统，接地电极为额极中线FPz，参考电极为中央中线Cz，采样频率为1000Hz,头皮阻抗小于5千欧姆，采集59通道的脑电初始信号；所有被试均为高校学生。

认知负荷脑电信号预处理方法具体包括：(1)、对提取到的脑电初始信号进行重参考，转化为平均参考信号；(2)、通过带通滤波器(1-70Hz)和陷波器(50Hz)进行带通滤波和去除工频干扰；(3)、通过降采样处理，将1000Hz降到256Hz，可以减少后续实验的时间；(4)、根据负荷水平标签，将脑电信号截取为多个数据片段；(5)、采用独立成分分析去除眼电伪迹；(6)、手动删除坏的数据片段，得到干净的数据片段。

认知负荷脑电信号特征提取部分，提取常用功率谱密度特征和谱相干特征，并组合这两类特征作为总的特征；功率谱密度特征是最为常见的负荷相关特征，它描述信号的功率随频率的变化情况；谱相干特征是一种脑网络连接特征，其假设不同的脑电通道之间具有相关关系，可作为一种特征；本发明基于短时傅里叶变换计算脑电数据片段5个频段的功率谱密度特征和谱相干特征。短时傅里叶变换将通过移动窗口信号划分为小的连续数据帧，然后将快速傅立叶变换应用于每个帧。5个频段包括delta[1,3]Hz,theta[4,7]Hz,alpha[8,13]Hz,beta[14,30]Hz,gamma[31,50]Hz,窗函数为0.5秒汉宁窗，无重叠；

功率谱密度特征的计算公式为：

其中，x[n]为脑电信号片段，n＝1,2,…,N,F_s为采样率，w[n]为窗函数。

谱相干特征的计算公式为：

其中，P_xy(ω)是两个通道信号x和y的互谱，P_xx(ω)和P_yy(ω)分别是信号x和y的功率谱。

通过迁移联合匹配对齐不同任务的脑电信号特征；其中，脑电信号特征为功率谱密度特征和谱相干特征的组合；迁移联合匹配在降维空间同时考虑跨域的特征对齐和训练样本的重加权，对分布差异和无关实例均具有鲁棒性；迁移联合匹配主要包括参数包括降维特征子空间参数和正则化参数。

假设(X,y)是一个脑电信号样本，其中是脑电信号记录，是特征空间，C是脑电的通道个数，d是每个通道提取的特征的个数；是相对应的标签，是标签空间；假设P(X)是X的边缘概率分布，是条件概率分布，P(X,y)＝P(X)P(y|X)是联合概率分布。定义域在本发明中，域表示的是给定被试的任一任务的脑电数据；假设源域包含N_s个有标签样本，目标域包含N_t个无标签样本，领域自适应试图通过从源域学到的知识预测目标域的标签；在本发明中，假设源域和目标域共享特征空间和标签空间，但二者的边缘分布不同，条件分布不同。

迁移联合匹配主要包含两部分，一是对特征分布进行适配，使用最大平均值差差异距离衡量不同特征分布的差异，利用核技巧该距离可转化为：

其中，K＝[φ(x_i)^Tφ(x_j)]是定义在所有数据上的核矩阵，若x_i,x_j∈X_s,则L_ij＝1/N_s ²；若x_i,x_j∈X_t，则L_ij＝1/N_t ²；其他L_ij＝-1/N_sN_t；是转换矩阵，把核矩阵K转化到m-维空间(m＜＜N_s+N_t)，转换后的特征表示为Z＝W^TK；

二是对源域和目标域的样例空间进行加权，找到与目标域相关的样例给予较大的权重，无关样例给予小的权重。通过对转换矩阵W施加稀疏约束：

其中，||·||_2,1是结构稀疏正则项，是稀疏正则项；

综合以上两个步骤，可以得到迁移联合匹配的优化目标函数，

s.t.W^TKHK^TW＝I,

其中，第一项为对特征分布进行适配，第二项为样例空间进行加权，约束项为保留原始数据分布的方差结构。

运用支持向量机进行认知负荷识别。采用支持向量机，选取线性核函数，对同一被试，不同任务不同水平下的特征向量进行模式识别，得到认知负荷识别结果；针对任一被试的任务A数据进行模型训练，同被试的任务B数据进行模型测试；得到一种认知负荷识别结果，将所述认知负荷结果和实际负荷水平作对比，得到一种识别正确率。

实施例：

1、实验数据：根据跨任务认知负荷刺激范式采集认知负荷脑电数据，脑电采集设备是博睿康的NeuSen W 64导无线脑电放大器；实验范式流程如图2所示，工作记忆任务采用英文字母序列作为刺激，数学计算任务采用数学加法计算作为实验刺激；每个任务都包括七组，每组有20个试验，其中30％是目标刺激；任务难度分为七级，包括极低(L1)、低(L2)、中(L3)、中高(L4)、高(L5)、极高(L6)、最高(L7)；工作记忆字母系列的长度分别为1,2,4,6,8,10,12，对应7个任务难度；数学加法根据加数的位数和进位控制认知负荷的难度等级，对应7个任务难度。在每个任务中，按照：空白页(1s)—刺激呈现(2s)—注视页(3s)—判断(2s)的顺序随机呈现刺激，每两组之间休息60s；实验共采集38个被试的脑电数据。

2、实验设定：

跨任务认知负荷识别：组合任一任务的极低和低负荷难度水平为低负荷难度，组合极高和最高负荷水平为高负荷难度，将低和高认知负荷在该任务内进行分类；针对任一被试，每次将1个任务的脑电数据作为训练集，另一个任务的脑电数据作为测试集，在训练集上训练模型，在测试集上得到预测的准确性，准确性越高越好；同一被试两个任务的识别准确性的均值作为该被试的最终识别准确性；任一任务所有被试的最终识别准确性作为该识别任务的最终识别准确性；

3、实验结果(如表1和图3、图4所示)：

表1：基于联合迁移匹配的跨任务认知负荷识别结果

图3和图4给出了不同方法的箱线图，其中最后一列是提出的方法。其中，SVM是支持向量机，kNN是K近邻，LDA是线性判别分析，ANN是人工神经网络，TJM对应提出方法。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (1)

1.一种基于脑电和领域适配的跨任务认知负荷识别方法，其特征在于，其具体操作步骤如下：

(1)、设计跨任务认知负荷刺激范式；

所述设计的跨任务认知负荷刺激范式包括基于工作记忆任务和数学计算任务的认知负荷刺激范式；

其中，所述基于工作记忆任务的认知负荷刺激范式具体操作步骤是：

首先，从工作记忆素材库中选取英文字符序列或图片序列作为工作记忆任务的认知负荷刺激材料；

然后，设计认知负荷刺激材料的任务难度、展示顺序、展示时间及时间间隔；

最后，将实验重复若干次，直到将所有认知负荷刺激材料都展示过一次，最终形成完整的工作记忆任务的认知负荷刺激范式；

所述基于数学计算任务的认知负荷刺激范式具体操作步骤是：

首先，从数学计算素材库中选取数学加法计算或减法计算作为数学计算任务的认知负荷刺激材料；

然后，设计认知负荷刺激材料的任务难度、展示顺序、展示时间及时间间隔；

最后，将实验重复若干次，直到将所有认知负荷刺激材料都展示过一次，最终形成完整的数学计算任务的认知负荷刺激范式；

(2)、根据跨任务认知负荷刺激范式采集脑电数据，对采集到的脑电数据进行预处理；

所述根据跨任务认知负荷刺激范式采集脑电数据的具体过程是：

首先，受试者佩戴多通道脑电采集设备；

然后，通过脑电采集设备收集受试者在认知负荷刺激实验范式下产生的认知负荷脑电数据；

最后，将收集到的脑电数据保存在可存储介质中；

所述对采集到的脑电数据进行预处理的具体步骤如下：

一、重参考：对采集到的脑电数据进行重参考，得到每个电极和参考电极之间的电位差；

二、信号滤波：对采集到的脑电数据进行滤波，去除工频及肌电伪迹干扰，保留所需的频率范围中的脑电信号；

三、分段和基线校正：对于认知负荷刺激实验范式下采集到的脑电数据，根据数据的标签信息将脑电数据分段，每段保留一定时间长度的脑电数据，然后对数据进行基线校正去除数据漂移的影响；

四、伪迹去除：对分段后的脑电数据进行独立成分分析，并去除分析结果中所包含的伪迹或眼电成分；

五、人工检查：对经过上述步骤的脑电数据片段进行人工检查，手动删除坏的数据片段；

(3)、对预处理后的认知负荷脑电数据计算脑电特征，并将其作为跨任务认知负荷分类特征；

在对经过预处理后的认知负荷脑电信号数据计算脑电特征中，

所述计算的脑电特征包括功率谱密度特征和基于头皮脑电电极通道间的谱相干功能连接特征；其具体操作过程如下所述：

(3.1)、计算脑电信号的功率谱密度特征：将认知负荷脑电信号数据转换到频域，在频域将脑电信号分解成五个频段delta[1，3]Hz、theta[4，7]Hz、alpha[8，13]Hz、beta[14，30]Hz及gamma[31，50]Hz，从频域中选取出需要的频段计算功率谱密度特征；

其中，功率谱密度特征的计算公式如下：

式中，x[n]为脑电信号片段，n＝1，2，…，N是片段的个数，F_s为采样率，w[n]为窗函数，f是频率；

(3.2)、计算基于头皮脑电电极通道间的谱相干功能连接特征：将认知负荷脑电信号数据转换到频域，在频域将脑电信号分解成五个频段delta[1，3]Hz、theta[4，7]Hz、alpha[8，13]Hz、beta[14，30]Hz及gamma[31，50]Hz，然后将每个频段的脑电数据基于谱相干的计算公式计算脑电各通道之间的功能连接特征；

其中，谱相干特征的计算公式如下：

式中，对于每一个频率f，P_xy(f)是两个通道信号x和y的交叉功率谱密度，P_xx(f)和P_yy(f)分别是信号x和y的功率谱密度；

(4)、将得到的跨任务认知负荷分类特征通过迁移联合匹配进行特征对齐；

所述将得到的跨任务认知负荷分类特征通过迁移联合匹配进行对齐的具体过程是：

首先，分别整合两种任务下的功率谱密度特征和谱相干特征作为跨任务认知负荷初始分类特征；

然后，将两种任务下的初始分类特征输入到迁移联合匹配，从而通过迁移联合匹配得到对齐后的脑电信号降维对齐特征；

其中，所述迁移联合匹配的方法是在降维空间同时考虑跨域的特征对齐和训练样本的重加权方法；其具体操作步骤如下：

(4.1)、对特征分布进行适配：使用最大平均值差异距离衡量不同特征分布的差异，利用核技巧该距离可转化为如下公式：

式中，是脑电信号片段的特征空间，y是脑电信号片段对应的标签，C是脑电的通道个数，d是每个通道提取的特征个数；源域 包含N_s个有标签样本，目标域包含N_t个无标签样本，K＝[φ(x_i)^Tφ(x_j)]是定义在所有数据上的核矩阵，若x_i，x_j∈X_s，则L_ij＝1/N_s ²；若x_i，x_j∈X_t，则L_ij＝1/N_t ²；其他 是转换矩阵，把核矩阵K转化到m-维空间(m＜＜N_s+N_t)，转换后的特征表示为Z＝W^TK；

(4.2)、样例空间加权：对源域和目标域的样例空间进行加权，通过对转换矩阵W施加稀疏约束，如下式所述：

式中，||·||_2，1是结构稀疏正则项，是稀疏正则项；

(4.3)、优化目标函数：综合以上两个步骤，得到迁移联合匹配的优化目标函数，其如下所示：

使得W^TKHK^TW＝I；

式中，第一项为对特征分布进行适配，第二项为样例空间进行加权，约束项为保留原始数据分布的方差结构，λ为平衡因子，I是单位矩阵； 是中心矩阵，是单位矩阵，是全一向量；

(5)、将对齐后的跨任务脑电特征作为支持向量机分类器的输入，进行模式识别，最终得到跨任务认知负荷识别结果；

所述最终得到跨任务认知负荷识别结果的具体过程是：

首先，针对任一被试的任务A数据进行模型训练，同被试的任务B数据进行模型测试；

然后，将两个任务的脑电信号降维对齐特征输入到线性支持向量机分类器，通过支持向量机分类器得到一种认知负荷识别结果；

最后，将该认知负荷结果和实际负荷水平作对比，从而得到一种识别正确率。