CN114533085A - 基于注意力机制的EEG-fNIRS多模态时空融合分类方法 - Google Patents

Abstract

本发明提出了一种基于注意力机制的EEG‑fNIRS的多模态的时空融合分类算法。EEG具有高时间分辨率但是空间分辨率较低，而fNIRS具有高空间分辨率但是时间分辨率较低，本发明利用EEG、fNIRS的多模态融合信息提取在运动想象中的大脑指令，以充分利用EEG、fNIRS之间的信息优势互补。本发明针对运动想象的时空特征的提取，本发明采用CNN提取空间特征，然后再利用LSTM提取时间特征，同时在CNN中使用ECA注意力机制以将有限的资源专注于重要的特征。本发明能够在运动想象的分类任务中，充分利用多模态的时空特性，可以有效的提高大脑中指令的识别。

Description

基于注意力机制的EEG-fNIRS多模态时空融合分类方法

技术领域

本发明涉及一种基于注意力机制的EEG-fNIRS多模态时空融合分类方法，属于脑机接口的运动想象领域。

背景技术

伴随着现代医疗的发展，很多的疑难杂症有了相应的治疗方法，但是有一些疾病受限于目前的医疗水平仍然困扰着人们。无论是老年人容易患上的中风、脑瘫，还是近年走入社会视线的渐冻人症，亦或是因为交通事故导致的截肢，这些疾病现代医疗暂时还没有很好的办法，只能依靠轮椅、拐杖辅助病人行动，而这不仅让病人失去了自由身体上的行动能力，对病人的心理健康也造成了很大的负面影响。大脑作为人的思想、感情产生的地方，无疑是最重要的器官，正是依靠大脑的神经中枢产生的信号控制肢体，我们每天才能自由的行走、运动。而这些疾病虽然导致病人失去了行动的能力，但是他们的大脑和正常人无异，仍然可以产生控制肢体的信号，只是身体的这些部位不能接收信号从而进行相应的反馈。传统的轮椅因为需要人工推动，不是那么方便，现在有些电动的轮椅可以很好的改变这些缺点，但是这仍是有局限性的，因为需要病人通过手动、声音或者面部表情控制，而对于像没有肌肉控制能力的渐冻症病人来说，这是一项艰难的任务。

脑-机接口(BCI)是一种可以将人或动物的大脑和电子机械设备之间建立连接，实现信息交换的技术，从而可以让大脑直接控制设备，使物理设备成为身体的延展。对于失去行动能力的病人，可以通过收集大脑中的信号，进行快速的分析判断，从而驱动类似电动轮椅、机械肢体的运动，帮助他们更好的行动。在医疗领域，BCI可以帮助残疾病人重拾生活的希望，其它领域BCI也有着广泛的应用场景，在生活娱乐领域，人们将可以通过思维玩游戏或者其它的娱乐，这将会带来更好的浸入式体验，而在军事领域，人们则可以通过思维控制机器人或者智能设备完成一些危险的任务。

BCI获取大脑中的信号的方式有侵入和非侵入两种方式，侵入式需要通过手术将获取信号的电极放入测试者的脑中，这种方式的优点是获取的信号更精确不会有过多的干扰，缺点就是会有风险而且成本也会比较高。非侵入式采用电极帽在头表皮获取信号，这种方式有便携、安全、成本低的优点，带来的缺点就是信号间的干扰比较大。本发明的研究使用的是非侵入的方式，这也是现在主流的获取大脑信号的方式。

可以使用头皮电极记大脑中神经元活动的细胞内外电流的变化，这就是脑电信号(EEG)，EEG是现在广泛使用的研究大脑潜在机制最常用的技术。EEG在采集时因为使用的非侵入的方式，容易受到其它信号的干扰，例如心电、肌电、眼电的干扰，所以EEG的信号需要进行数据处理，尽量减少这些额外信号的干扰，除此之外，空间分辨率低也是其缺点，但是它也有着其它信号难以比拟的高时间分辨率的优点。近红外信号(fNIRS)是利用脑组织对不同波长的近红外光的吸收率的差异，由此计算出大脑中的氧合血红蛋白变化量(HbO)和脱氧血红蛋白变化量(HbR)的含量，从而反应出大脑中的思想变化，相较于EEG，fNIRS具有高空间分辨率的优点，但是由于人的思想变化导致的血液的变化会有一定的延迟时间，所以不如EEG那样具有很高的时间分辨率。传统的BCI大多是采用单模态分析处理运动想象，而本发明采用的是将EEG和fNIRS信号结合的方式进行多模态分析处理，这样就能同时利用两种信号的优点，同时具有很高的时间和空间分辨率，对大脑中的想法分类的也就会更加准确。虽然也有别的信号结合的方式，例如脑磁图(MEG)和EEG的结合等，但是由于两者信号之间在采集时相互会干扰，所以仍然效果不是那么好，还有改进的空间。而EEG和fNIRS的信号采集中，因为是电信号和光信号，一般不会相互干扰，且设备轻便，实验成本相对来说较低。

发明内容

本发明是为了提出一种基于注意力机制的EEG-fNIRS的多模态的时空融合分类算法，利用深度学习找出在运动想象过程中的大脑中的指令特征，从而对运动想象进行精确的分类。

本发明为了达到上述发明目的，经过多次研究和实验论证，采用如下的设计方案：

1)获取单一被试的EEG、fNIRS数据稍后进行预处理，因为fNIRS数据代表着光强度，需要将其转换为光密度后利用修正比尔-朗伯定律再将光密度转化为血红蛋白浓度变化量。然后对EEG、fNIRS数据带通滤波以去除生理和环境噪声，因为EEG和fNIRS的采样率并不相同，所以还需要调整采样率以便接下来两者之间进行融合，对EEG进行下采样，对fNIRS进行上采样，调整到同一采样率。

2)预处理后的EEG、fNIRS数据按照时空特征进行融合，因为采集EEG、fNIRS使用的是非侵入的电极帽，而不同标准的电极帽在通道位置上可能会有差异，本发明使用的是10-5系统电极帽采集的数据，所以需要根据该系统的EEG、fNIRS电极位置融合数据，其他的10-10、10-20系统也是类似的。在融合数据时，fNIRS预处理的数据包括HbO和HbR，将HbO与EEG按照通道位置融合得到一个矩阵，同时HbR和EEG也得到一个矩阵，这样就可以得到两个矩阵，为了便于处理，将数据利用z-score归一化，调整数据到一个区间。因为每个被试的样本数量只有60个任务，所以为了充分得到特征，将矩阵按照时间维度利用滑动窗口扩充数据。

3)将处理的数据输入到网络进行训练，得到大脑指令特征。首先将数据输入到CNN网络得到空间特征，其中包含三个卷积层和一个全连接层，为了更好的得到空间特征，这里使用ECA通道注意力机制，以专注于空间特征。将CNN网络得到的数据按照时间维度拼凑输入到LSTM网络得到时间特征。

4)网络模型经过CNN提取到的空间特征和LSTM提取到的时间特征输入到softmax进行分类，从而得到运动想象的分类结果，经过前向计算和反向传播训练得到一个基于注意力机制的时空融合模型。

1.基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于，包括以下步骤：

(1)采集脑电图EEG数据，并对数据进行预处理；

(2)采集近红外光谱fNIRS数据，并将其转化为血红蛋白浓度变化量；

(3)针对步骤(2)得到的血红蛋白浓度变化量数据，对该数据进行预处理操作；

(4)将步骤(1)、(3)的预处理数据，按照时空位置信息融合为时空矩阵；

(5)将步骤(4)的数据进行z-score归一化处理，然后再按照滑动窗口把数据转化为多个数据片段；

(6)将数据输入到网络模型中训练，提取运动想象的大脑指令时空特征，输出到softmax进行分类。

2.进一步，EEG数据预处理包括以下步骤：

1)使用1Hz-33Hz的带通滤波去除在EEG数据采集过程中的眨眼、环境所产生的干扰信号；

2)实验数据的EEG的采样频率是200Hz，将其降采样到128Hz。

3.进一步，将fNIRS数据转化为血红蛋白浓度变化量是利用修正比尔-朗伯定律，包括以下步骤：

修正比尔-朗伯定律总结归纳了适用于生物组织的出射光强与入射光强、介质中吸光物质浓度和光传输距离之间的关系，

其中，I₀为入射光强，I为出射光强，

为吸光度，可表示介质的吸光能力，DPF是路径差分因子，i，n表示为某一个吸光物质，ε为消光系数，λ为波长，ε_i ^λ为物质i对λ波长的消光系数，c为浓度，c_i为吸光物质i的浓度，d为光在介质中传输的距离，即光源和探测器之间的距离，G是背景散射导致的光衰减量；

根据修正比尔-朗伯定律推导出氧合血红蛋白浓度变化量，

其中，ΔHbO₂为氧合血红蛋白浓度的变化量，ε₂为脱氧血红蛋白的消光系数，ε₁为氧合血红蛋白的消光系数，λ₁代表波长，λ₂代表另一个波长，

为脱氧血红蛋白对λ₂波长的消光系数，

为对λ₁波长吸光度变化量，

为脱氧血红蛋白对λ₁波长的消光系数，

为对λ₂波长吸光度变化量，

为氧合血红蛋白对λ₁波长的消光系数，

为氧合血红蛋白对λ₂波长的消光系数；

推导出脱氧血红蛋白浓度，

其中，ΔHbR为脱氧血红蛋白浓度的变化量。

4.进一步，血红蛋白浓度变化量的预处理，包括以下步骤：

1)使用0.01Hz-0.3Hz的带通滤波去除在数据采集过程中的心率伪迹、环境所产生的噪声；

2)实验数据的fNIRS的采样频率是10Hz，这里将其上采样到128Hz。

5.进一步，将预处理后的EEG、fNIRS数据按照时空位置融合为时空矩阵，其中根据修正比尔-朗伯定律求出的fNIRS数据既包含HbO(氧合血红蛋白)数据又包含HbR(脱氧血红蛋白)数据，将EEG和HbO融合为一个二维矩阵，EEG和HbR融合为一个二维矩阵。

6.进一步，时空特征融合矩阵的通道位置按照10-5系统采集，将每一时刻的EEG和HbO融合为一个按照通道位置排列的二维15×15矩阵，同样，EEG和HbR融合为一个15×15的矩阵，融合包含以下步骤：

1)E_t是EEG数据在时刻t的所有通道数据，则E_t＝{E_t ¹,E_t ²,E_t ³…E_t ⁱ},1≤i≤30，i代表EEG的通道序号，实验数据共30个通道；O_t是HbO数据在时刻t的所有通道数据，则O_t＝{O_t ¹,O_t ²,O_t ³…O_t ^j},1≤j≤36,j代表HbO的通道序号，实验数据共36个通道；将两者按照10-5采集系统的各通道二维相对位置进行数据的拼凑；

2)E_t是EEG数据在时刻t的所有通道数据，则E_t＝{E_t ¹,E_t ²,E_t ³…E_t ⁱ},1≤i≤30，i代表EEG的通道序号，实验数据共30个通道；R_t是HbR数据在时刻t的所有通道数据，则R_t＝{R_t ¹,R_t ²,R_t ³…R_t ^j},1≤j≤36，j代表HbR的通道序号，实验数据共36个通道；将两者按照10-5采集系统的各通道二维相对位置进行数据的拼凑。

7.进一步，将EEG-HbO和EEG-HbR矩阵数据进行z-score归一化，调整数据到一个区间，再按照滑动窗口把数据转化为多个数据片段；

z-score归一化：

其中X为EEG-HbO/EEG-HbR矩阵的非零数据，Z为EEG-HbO/EEG-HbR矩阵归一化后的数据，E(X)为EEG-HbO/EEG-HbR矩阵的非零元素的均值，σ(X)为EEG-HbO/EEG-HbR矩阵的非零元素的标准差；

用于训练的每个被试只有60个任务数据，用滑动窗口扩充数据量，相邻窗口之间有50％的数据重复，窗口数据W_i＝{W_i-1 ^m/2,W_i-1 ^m/2+1,W_i-1 ^m/2+2,…，W_i-1 ^m，W_i ⁰，W_i ^m/2-1}，其中，i代表窗口序号，m代表窗口大小。

8.进一步，网络模型包括以下部分，

模型分为多个空间特征提取模块和一个时间特征提取模块，其中每个空间特征提取模块由3个二维卷积层、1个ECA层以及1个全连接层组成，1个时间特征提取模块包含2层的LSTM和2个全连接层；

每个空间特征提取模块的3个二维卷积的核都是(3,3)，stride为1，padding为0，输出通道数分别是32、64、128，时间特征提取模块的隐层个数为64；多个空间特征提取模块将提取的空间特征按照时序拼接到一起后，输入到时间特征提取模块；最后输出到softmax，进行二分类。

本发明通过使用通道注意力机制，对原有的CNN和LSTM网络进行改进，从而能够更好的提取空间和时间特征，而在运动想象中EEG、fNIRS各通道信号之间也会互相起影响作用，所以将数据按照位置关系融合为矩阵，对时空特征融合后的大脑指令提取也是有增益的。

附图说明

图1EEG-fNIRS通道图

图2总体流程图

图3EEG-HbO矩阵融合图

图4EEG-HbR矩阵融合图

图5网络模型图

具体实施方式

本发明提供了一种注意力机制的多模态时空融合分类方法，可以利用使用了注意力机制的CNN和LSTM组成的网络提取按照空间位置融合的EEG、fNIRS时空矩阵的特征，从而对在运动想象产生的大脑指令做出识别分类。具体的实施步骤如下：

3)对于采集到的EEG、fNIRS数据读入后分别先进行预处理，因为信号采集时会有生理和环境噪声，所以需要使用预处理去除噪声

4)对于EEG的预处理，需要去除眼睛眨动的噪声和环境噪声，这里利用1Hz到33Hz的带通滤波。本发明使用的公开数据集EEG的采样率是200Hz，将其下采样到128Hz，以便接下来和fNIRS的数据融合为时空矩阵。根据Nyquist定理选择128Hz作为目标的采样率，既避免了数据丢失，又减少了计算负担

5)fNIRS的数据是光强度数据，先将其转为光密度数据，然后将获取到的光密度数据利用修正比尔-朗伯定律求出血红蛋白浓度变化量，之后才可以进行相应的预处理

6)利用上一步骤求出的血红蛋白浓度变化量数据，对其进行预处理去除心率伪迹，这里使用的是0.01Hz到0.3Hz的带通滤波器。在公开数据集中fNIRS的采样率是10Hz，为了与EEG融合，这里需要将其上采样到128Hz

7)获取EEG、fNIRS通道的位置信息和预处理后数据，以便接下来将其按照位置信息构造矩阵。其中fNIRS预处理后的数据既包含HbO数据也包含HbR的数据，HbO和HbR是fNIRS源和探测器利用不同的波长采集到数据计算后得出的

8)将时刻t，通道i的EEG数据E_t ⁱ和同样在t时刻通道j的HbO数据O_t ^j按照10-5系统的通道位置关系融合为一个二维矩阵，非通道位置置为0。E_t是EEG数据在时刻t的所有通道数据，则E_t＝{E_t ¹,E_t ²,E_t ³…E_t ⁱ},1≤i≤30，i代表EEG的通道序号，实验数据共30个通道。O_t是HbO数据在时刻t的所有通道数据，则O_t＝{O_t ¹,O_t ²,O_t ³…O_t ^j},1≤j≤36，j代表HbO的通道序号，实验数据共36个通道

9)将时刻t，通道i的EEG数据E_t ⁱ和同样在t时刻通道j的HbR数据R_t ^j按照10-5系统的通道位置关系融合为一个二维矩阵，非通道位置置为0。E_t是EEG数据在时刻t的所有通道数据，则E_t＝{E_t ¹,E_t ²,E_t ³…E_t ⁱ},1≤i≤30，i代表EEG的通道序号，实验数据共30个通道。R_t是HbR数据在时刻t的所有通道数据，则R_t＝{R_t ¹,R_t ²,R_t ³…R_t ^j},1≤j≤36，j代表HbR的通道序号，实验数据共36个通道

10)获取所有时刻t的EEG-HbO和EEG-HbR融合矩阵后，利用z-score归一化，z-score归一化：

其中X为EEG-HbO/EEG-HbR矩阵的非零数据，Z为EEG-HbO/EEG-HbR矩阵归一化后的数据，E(X)为EEG-HbO/EEG-HbR矩阵的非零元素的均值，σ(X)为EEG-HbO/EEG-HbR矩阵的非零元素的标准差。

11)将所有时刻的EEG-HbO和EEG-HbR融合矩阵按照滑动窗口的方式切分为数据段，这是因为用于训练的每个被试只有60个任务数据，用滑动窗口扩充数据量，让模型训练到更多的特征。相邻窗口之间有50％的数据重复，窗口数据W_i＝{W_i-1 ^m/2,W_i-1 ^m/2+1,W_i-1 ^m/2+2,…，W_i-1 ^m，W_i ⁰，W_i ^m/2-1}，其中，i代表窗口序号，m代表窗口大小。

12)构造网络模型，为了能够提取时空特征，这里先使用CNN来提取空间特征，使用三个二维卷积层提取特征，输出通道数分别是32、64、128通道。然后将输出的特征再输入到两层LSTM提取时间特征，隐层都是64，同时为了使模型更关注于主要特征，在CNN后加上ECA注意力机制

13)将模型训练的提取到的特征经过全连接层后输入到softmax进行二分类，从而提取到大脑指令

14)输入的数据为(64,30,2,15,15)，其中64为Batch Size，30是窗口大小，2代表着EEG-HbO和EEG-HbR的两通道数据，15代表EEG-HbO和EEG-HbR构造的15×15的二维矩阵。模型结构如图所示：

综上所述，将EEG和fNIRS的数据按照时空位置融合之后，可以充分利用数据之间的位置关系和时序关系，比单纯的线性融合会有更好的分类精度，同时利用CNN也会更好的提取空间特征，而使用LSTM则可以很好的提取时间特征，相比较只是使用CNN和LSTM，利用ECA等注意力机制，则可以更好的使模型专注于重点信息，可以提高训练的速度和精度。

Claims (8)

1.基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于，包括以下步骤：

(1)采集脑电图EEG数据，并对数据进行预处理；

(2)采集近红外光谱fNIRS数据，并将其转化为血红蛋白浓度变化量；

(3)针对步骤(2)得到的血红蛋白浓度变化量数据，对该数据进行预处理操作；

(4)将步骤(1)、(3)的预处理数据，按照时空位置信息融合为时空矩阵；

(5)将步骤(4)的数据进行z-score归一化处理，然后再按照滑动窗口把数据转化为多个数据片段；

(6)将数据输入到网络模型中训练，提取运动想象的大脑指令时空特征，输出到softmax进行分类。

2.根据权利要求1所述的基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于：EEG数据预处理包括以下步骤：

1)使用1Hz-33Hz的带通滤波去除在EEG数据采集过程中的眨眼、环境所产生的干扰信号；

2)实验数据的EEG的采样频率是200Hz，将其降采样到128Hz。

3.根据权利要求1所述的基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于，将fNIRS数据转化为血红蛋白浓度变化量是利用修正比尔-朗伯定律，包括以下步骤：

修正比尔-朗伯定律总结归纳了适用于生物组织的出射光强与入射光强、介质中吸光物质浓度和光传输距离之间的关系，

其中，I₀为入射光强，I为出射光强，

为吸光度，可表示介质的吸光能力，DPF是路径差分因子，i，n表示为某一个吸光物质，ε为消光系数，λ为波长，ε_i ^λ为物质i对λ波长的消光系数，c为浓度，c_i为吸光物质i的浓度，d为光在介质中传输的距离，即光源和探测器之间的距离，G是背景散射导致的光衰减量；

根据修正比尔-朗伯定律推导出氧合血红蛋白浓度变化量，

其中，ΔHbO₂为氧合血红蛋白浓度的变化量，ε₂为脱氧血红蛋白的消光系数，ε₁为氧合血红蛋白的消光系数，λ₁代表波长，λ₂代表另一个波长，

为脱氧血红蛋白对λ₂波长的消光系数，

为对λ₁波长吸光度变化量，

为脱氧血红蛋白对λ₁波长的消光系数，

为对λ₂波长吸光度变化量，

为氧合血红蛋白对λ₁波长的消光系数，

为氧合血红蛋白对λ₂波长的消光系数；

推导出脱氧血红蛋白浓度，

其中，ΔHbR为脱氧血红蛋白浓度的变化量。

4.根据权利要求1所述的基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于，血红蛋白浓度变化量的预处理，包括以下步骤：

1)使用0.01Hz-0.3Hz的带通滤波去除在数据采集过程中的心率伪迹、环境所产生的噪声；

2)实验数据的fNIRS的采样频率是10Hz，这里将其上采样到128Hz。

5.根据权利要求1所述的基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于：将预处理后的EEG、fNIRS数据按照时空位置融合为时空矩阵，其中根据修正比尔-朗伯定律求出的fNIRS数据既包含HbO(氧合血红蛋白)数据又包含HbR(脱氧血红蛋白)数据，将EEG和HbO融合为一个二维矩阵，EEG和HbR融合为一个二维矩阵。

6.根据权利要求1所述的基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于：时空特征融合矩阵的通道位置按照10-5系统采集，将每一时刻的EEG和HbO融合为一个按照通道位置排列的二维15×15矩阵，同样，EEG和HbR融合为一个15×15的矩阵，融合包含以下步骤：

1)E_t是EEG数据在时刻t的所有通道数据，则E_t＝{E_t ¹,E_t ²,E_t ³…E_t ⁱ},1≤i≤30，i代表EEG的通道序号，实验数据共30个通道；O_t是HbO数据在时刻t的所有通道数据，则O_t＝{O_t ¹,O_t ²,O_t ³…O_t ^j},1≤j≤36,j代表HbO的通道序号，实验数据共36个通道；将两者按照10-5采集系统的各通道二维相对位置进行数据的拼凑；

2)E_t是EEG数据在时刻t的所有通道数据，则E_t＝{E_t ¹,E_t ²,E_t ³…E_t ⁱ},1≤i≤30，i代表EEG的通道序号，实验数据共30个通道；R_t是HbR数据在时刻t的所有通道数据，则R_t＝{R_t ¹,R_t ²,R_t ³…R_t ^j},1≤j≤36，j代表HbR的通道序号，实验数据共36个通道；将两者按照10-5采集系统的各通道二维相对位置进行数据的拼凑。

7.根据权利要求1所述的基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于：将EEG-HbO和EEG-HbR矩阵数据进行z-score归一化，调整数据到一个区间，再按照滑动窗口把数据转化为多个数据片段；

z-score归一化：

其中X为EEG-HbO/EEG-HbR矩阵的非零数据，Z为EEG-HbO/EEG-HbR矩阵归一化后的数据，E(X)为EEG-HbO/EEG-HbR矩阵的非零元素的均值，σ(X)为EEG-HbO/EEG-HbR矩阵的非零元素的标准差；

用于训练的每个被试只有60个任务数据，用滑动窗口扩充数据量，相邻窗口之间有50％的数据重复，窗口数据W_i＝{W_i-1 ^m/2,W_i-1 ^m/2+1,W_i-1 ^m/2+2,…，W_i-1 ^m，W_i ⁰，W_i ^m/2-1}，其中，i代表窗口序号，m代表窗口大小。

8.根据权利要求1所述的基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于，网络模型包括以下部分，

模型分为多个空间特征提取模块和一个时间特征提取模块，其中每个空间特征提取模块由3个二维卷积层、1个ECA层以及1个全连接层组成，1个时间特征提取模块包含2层的LSTM和2个全连接层；

每个空间特征提取模块的3个二维卷积的核都是(3,3)，stride为1，padding为0，输出通道数分别是32、64、128，时间特征提取模块的隐层个数为64；多个空间特征提取模块将提取的空间特征按照时序拼接到一起后，输入到时间特征提取模块；最后输出到softmax，进行二分类。

Images