CN114662524A - 基于脑电信号的即插即用式域适应方法 - Google Patents

Abstract

一种基于脑电信号的即插即用式域适应方法，通过脑电帽采集脑电信号并经预处理后，通过微分熵特征提取得到用于训练基于长短期记忆的神经网络的训练集，再通过对训练后的神经网络进行校正，实现即插即用式域适应。本发明能通过少数无标签的目标被试数据对模型进行校正，同时不明显降低模型准确率。

Description

基于脑电信号的即插即用式域适应方法

技术领域

本发明涉及的是一种医疗监测领域的技术，具体是一种基于脑电信号的即插即用式域适应方法。

背景技术

近年来，基于脑电信号的情绪识别以其内含信息量大和识别精度高的特点引起了科研人员的广泛关注。然而，由于个体间如心理状态、头皮电阻、头型等结构和功能上的差异，脑电信号的特征模式与被试呈现高度相关，这一缺点阻碍了基于脑电信号的情绪识别技术的大规模应用。目前常见的解决上述问题的方式是通过迁移学习方法进行域适应(Domain adaptation，DA)或域泛化(Domain Generalization，DG)。域适应方式需要预先采集大量目标被试数据再进行训练，存在效率低下、时间成本高、用户体验差等问题；而域泛化方法则会因为完全不依赖于目标被试的任何数据，导致准确率不佳。相较于域适应和域泛化两种方法，在进行实时情绪识别开始前，提前使用部分目标被试的数据对模型进行校正在实际中也是可以接受的。然而，已有的研究证明，如果没有提供与特征向量维度相匹配的训练数据，那么模型很可能会失效。因此如何使用有限的目标训练数据得到一个好的域适应结果是很有挑战性的问题。

发明内容

本发明针对现有技术特征识别需要重新采集新被试大量数据并重新训练才能达到较好识别效果的难点，提出一种基于脑电信号的即插即用式域适应方法，能通过少数无标签的目标被试数据对模型进行校正，同时不明显降低模型准确率。

本发明是通过以下技术方案实现的：

本发明涉及一种基于脑电信号的即插即用式域适应方法，通过脑电帽采集脑电信号并经预处理后，通过微分熵特征提取得到用于训练基于长短期记忆的神经网络的训练集，再通过对训练后的神经网络进行校正，实现即插即用式域适应。

所述的校正是指：利用少量无标签目标域数据，为目标被试生成私有编码器，并通过计算目标被试及源被试间的编码器输出Cosin相似度，输出综合了私有分类器和共有分类器的分类结果，进而对目标被试进行情绪识别。

所述的预处理是指：对采集到的脑电信号降采样至200Hz，在1-75Hz进行带通滤波，以过滤噪音及伪迹。

所述的微分熵特征提取是指：对经过预处理的脑电信号进行短时傅里叶变换，在频域以1秒的时间窗口对特征频段求能量谱，并提取微分熵(Differential Entropy，DE)特征，具体包括以下步骤：

1)对于脑电信号序列x[n]＝x₁，...，x_n，其中：N表示一个时间窗口内样本个数；对该信号序列进行短时傅里叶变换：

其中

是角频率，k＝0，1，...，N-1，w[n]是窗函数；对每一个时间窗口使用傅里叶变换，且随着m的增加窗口在时间轴上平移，得到频域信号。

所述的窗函数优选采用汉宁窗(Hanningwindow)，即

经过汉宁窗处理可以减少由于傅里叶变换导致的频谱损失。

2)根据特征频段计算出相应的能量谱E(ω_k)＝X(m，ω_k)X^*(m，ω_k)。

3)基于能量谱计算微分熵特征

其中：X为随机变量，f(x)是X概率密度函数，是f(x)的支持(Support)；当脑电信号服从X的高斯分布N(μ，σ²)，则微分熵为

由于脑电信号的微分熵只和方差σ²有关，而脑电信号中的直流分量经带通滤波滤除，因此均值为0。因此有

而脑电信号不同频段的方差σ²与该频段能量P_i成正比，即

由此得到每个频段的微分熵

所述的特征频段具体是指：Delta波，其频率范围为：1-4Hz；Theta波，其频率范围为：4-8Hz；Alpha波，其频率范围为：8-14Hz；Beta波，其频率范围为：14-31Hz；Gamma波，其频率范围为：31-50Hz。

所述的基于长短期记忆的神经网络包括：共有和私有两种类别的编码器与解码器，从而从脑电信号中，找到情绪相关的所有被试都具有的共有成分及每个被试各不相同的私有成分，其中：对于共有编码器在时刻t的脑电特征

及在时刻t-1的LSTM隐状态

被用来计算其t时刻的隐状态

同样在t时刻的私有编码器隐状态

也通过类似的方式同时计算得到，将私有编码器和共有编码器的隐状态相加得到共有解码器的输入

即

所述的训练是指：基于注意力的池化被用于利用脑电信号中的关键导联和频段的空间信息，基于长短期记忆的编码器、解码器被用于学习时序信息，分类器根据编码器输出的结果进行情绪标签预测，域分类器被用于与共有编码器形成对抗，具体包括：

1)随机初始化共有编码器E_s、私有编码器

共有解码器D_s、共有分类器C_s及私有分类器

其中：1-n表示源域上的n名被试。

2)对于j＝1：n，计算共有分类器损失函数

及私有分类器损失函数

其中：

代表第j名被试的输入

所对应的正确情绪标签，

和

分别代表共有分类器和私有分类器的预测结果。

3)计算编码器的重构损失函数：

其中：k是脑电特征的数量，而

代表L₂范数损失函数。同时计算差异损失函数

其中：

代表Frobenius范式，

为了提取脑电信号中与被试无关的成分，通过对域分类器进行梯度反转与共有编码器形成对抗。所述的梯度反转层的损失函数为：

其中：d_i是正确的域标签，

4)计算整体的损失函数：

根据整体损失函数优化

所述的校正，通过使用目标被试部分无标签数据，在不改变E_s和D_s的条件下，更新该被试的私有编码器

具体包括：

①随机初始化

根据训练后的AT，E_s，D_s，计算

②根据最小化重构损失函数：

优化

所述的插即用式域适应是指：在测试阶段，使用共有分类器C_s进行预测的同时将基于私有编码器

与其他私有编码器之间的相似度来进行预测，分类器综合所有相似度分类结果后输出最终结果，具体包括：

i)对于X_t中的每一个数据x_t，随机从X_s中选择

计算

和

的相似性权重w_s，其中：相似性权重根据Cosin相似性得到；

ii)计算加权后的私有源域分类器预测结果：

iii)计算共有分类器的预测结果：

iv)根据私有源域分类器和共有分类器的预测结果输出最终预测结果：

并返回

本发明涉及一种实现上述方法的系统，包括：基于注意力机制的池化单元、基于长短期记忆的编码器单元和解码器单元以及分类器单元，其中：基于注意力机制的池化单元使用输入的脑电微分熵特征，进行加权处理，得到加权后的脑电特征，编码器单元接受输入的加权向量，并对其进行编码，得到共有及私有的中间表达，解码器单元接受中间表达，对其进行解码重构，得到重构后的脑电特征，分类器单元根据接收到的共有及私有表达，得到分类结果，并根据所有共有及私有分类器结果输出最终预测标签。

所述的基于注意力的池化(Attention-based Pooling)指：通过注意力机制学习原始脑电信号中情绪识别相关的关键导联和频段。记x_t∈R^m为时刻t的脑电信号特征向量，即x_t的每一维都代表了某一个频段的某一个特定导联；加权后的脑电特征向量为

通过公式

得到，AT代表基于注意力的池化。即x_t为某一全连接层输入，而标准化后的权向量α_t∈R^m代表每一个维度的重要性，通过表达式α_t＝softmax(W_αx_t+b_α)得到。而

则是新的加权后的脑电特征，即

对于α_t中的每一个元素，其值越大代表所对应的特征越重要。权重矩阵W_α∈R^m×m及偏置向量b_α∈R^m的值随机初始化，并在训练过程中进行调整。

所述的基于长短期记忆(Long Short-Term Memory，LSTM)的编码器与解码器指采用LSTM作为编码器和解码器的基本单元，对于输入序列的每一个元素，长短期记忆单元的输入门i_t＝σ(W_iix_t+b_ii+W_hih_t-1+b_hi)，遗忘门f_t＝σ(W_ifx_t+b_if+W_hfh_t-1+b_hf)，记忆门g_t＝tanh(W_igx_t+b_ig+W_hgh_t-1+b_hg)，输出门o_t＝σ(W_iox_t+b_io+W_hoh_t-1+b_ho)，

其中：h_t和c_t则为时间t的隐藏状态和记忆细胞状态，对应h_t-1为该层在t-1或者最开始的初始状态，σ为sigmoid函数，

为Hadamard积。

所述的分类器包括：所有被试都具有的公共分类器及每个被试私有的分类器。本方法采用单层的全连接神经网络作为分类器，该分类器将经过编码器的编码的数据作为输入，输出情绪类别。最终系统的分类结果根据目标域数据和源域数据的相似性对分类器结果进行加权，得到最终预测情绪类别。

技术效果

本发明整体解决现有域迁移方法需要采集新被试的大量数据并进行训练，耗时长、用户体验差、实用性不强；而域泛化方法虽然无需新被试数据，但由于缺少新被试数据性能较差的问题。

与现有技术相比，本发明只需提前训练好模型，在将模型迁移至新被试时，只使用新被试的短时(一分钟内)无标签脑电数据对训练好的模型进行校正即可，在保证用户体验及准确率的前提下将模型迁移至新被试。由于在适配新被试时只需进行校正阶段，免去了重新使用大量被试数据重新训练，大量减少了等待时间的同时保证了模型准确率，提高了使用体验，在实时性更具优势。

附图说明

图1为本发明流程示意图；

图2为本发明中校正阶段所使用数据量与性能之间的关系；

图3为本发明中基于注意力机制的关键频段可视化示意图；

图中：H、N、S代表被试观看高兴、中性、悲伤素材；

图4为本发明中基于注意力机制的关键脑区可视化。

具体实施方式

如图1所示，为本实施例涉及一种基于脑电信号的即插即用式域适应方法，包含以下步骤：

步骤一：给定15名健康被试分三次参与实验，观看高兴、悲伤及中性三种类型情绪刺激素材，以诱发被试相应的情绪，每种情绪共五个片段。通过62导脑电帽，根据10-20国际标准电位分布采集被试脑电数据。

步骤二：将数据降采样至200Hz，在1-75Hz进行带通滤波，以过滤噪音及伪迹。

步骤三：对脑电信号进行短时傅里叶变换，在Delta、Theta、Alpha、Beta、Gamma五个频段上以1秒的时间窗口提取微分熵特征。

步骤四：将其中14名被试每名被试3394个样本点作为源域数据输入到神经网络，进入训练阶段，待神经网络稳定后，保存神经网络用于后续检测。

步骤五：将剩余一名被试作为新被试，将其少量(60秒左右)无标签脑电数据进行提取特征，并输入至神经网络并运行校正算法对模型进行校正。

步骤六：为检测模型识别能力，将新被试的剩余脑电数据作为测试集输入至神经网络，进行测试阶段，得到预测结果及准确率。

如图2所示，通过创新性的加入校正阶段之后，模型的性能相比不加入新被试的任何数据准确度得到提升，说明校正阶段能够有效去除由于外界因素及被试自身心理状态所导致的变化；同时无需重复对模型的训练过程，节省了大量时间。总的来说，模型的性能会随着校正所使用的数据时长增长而提升，在时长达到一定程度后，性能提升逐渐趋于稳定。

如图3所示，通过对基于注意力的池化层进行可视化，得到了由神经网络自主学习得到的与情绪识别相关的脑电信号关键频段：Beta和Gamma。

如图4所示，同样通过对基于注意力的池化层可视化，得到了与情绪识别相关的关键脑区主要为两耳处所对应的区域。

表1为使用不同时长的新被试无标签脑电数据对训练得到的模型分别进行校正后的情绪识别准确率比较。当新被试数据时长为0时代表域泛化方式，可以看到和域泛化方式相比，在使用少量的新被试无标签脑电数据时，本方法能够提高模型准确率。

时长(秒)	0	15	30	45	60	75	80	95
									准确率(％)	85.37	86.57	86.58	86.71	86.56	86.53	86.56	86.58

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (10)

1.一种基于脑电信号的即插即用式域适应方法，其特征在于，通过脑电帽采集脑电信号并经预处理后，通过微分熵特征提取得到用于训练基于长短期记忆的神经网络的训练集，再通过对训练后的神经网络进行校正，实现即插即用式域适应；

所述的校正是指：利用少量无标签目标域数据，为目标被试生成私有编码器，并通过计算目标被试及源被试间的编码器输出Cosin相似度，输出综合了私有分类器和共有分类器的分类结果，进而对目标被试进行情绪识别；

所述的微分熵特征提取是指：对经过预处理的脑电信号进行短时傅里叶变换，在频域以1秒的时间窗口对特征频段求能量谱，并提取微分熵特征，具体包括以下步骤：

1)对于脑电信号序列x[n]＝x₁，...，x_n，其中：N表示一个时间窗口内样本个数；对该信号序列进行短时傅里叶变换：

其中

是角频率，k＝0，1，...，N-1，w[n]是窗函数；对每一个时间窗口使用傅里叶变换，且随着m的增加窗口在时间轴上平移，得到频域信号；

2)根据特征频段计算出相应的能量谱E(ω_k)＝X(m，ω_k)X^*(m，ω_k)；

3)基于能量谱计算微分熵特征

其中：X为随机变量，f(x)是X概率密度函数，是f(x)的支持(Support)；当脑电信号服从X的高斯分布N(μ，σ²)，则微分熵为

每个频段的微分熵

2.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的特征频段具体是指：Delta波，其频率范围为：1-4Hz；Theta波，其频率范围为：4-8Hz；Alpha波，其频率范围为：8-14Hz；Beta波，其频率范围为：14-31Hz；Gamma波，其频率范围为：31-50Hz。

3.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的基于长短期记忆的神经网络包括：共有和私有两种类别的编码器与解码器，从而从脑电信号中，找到情绪相关的所有被试都具有的共有成分及每个被试各不相同的私有成分，其中：对于共有编码器在时刻t的脑电特征

及在时刻t-1的LSTM隐状态

被用来计算其t时刻的隐状态

同样在t时刻的私有编码器隐状态

也通过类似的方式同时计算得到，将私有编码器和共有编码器的隐状态相加得到共有解码器的输入

即

4.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的训练是指：基于注意力的池化被用于利用脑电信号中的关键导联和频段的空间信息，基于长短期记忆的编码器、解码器被用于学习时序信息，分类器根据编码器输出的结果进行情绪标签预测，域分类器被用于与共有编码器形成对抗，具体包括：

1)随机初始化共有编码器E_s、私有编码器

共有解码器D_s、共有分类器C_s及私有分类器

其中：1-n表示源域上的n名被试；

2)对于j＝1∶n，计算共有分类器损失函数

及私有分类器损失函数

其中：

代表第j名被试的输入

所对应的正确情绪标签，

和

分别代表共有分类器和私有分类器的预测结果；

3)计算编码器的重构损失函数：

其中：k是脑电特征的数量，而

代表L₂范数损失函数；同时计算差异损失函数

其中：

代表Frobenius范式，

为了提取脑电信号中与被试无关的成分，通过对域分类器进行梯度反转与共有编码器形成对抗；所述的梯度反转层的损失函数为：

其中：d_i是正确的域标签，

4)计算整体的损失函数：

根据整体损失函数优化AT，

E_s，

C_s，D_s。

5.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的校正，通过使用目标被试部分无标签数据，在不改变E_s和D_s的条件下，更新该被试的私有编码器

具体包括：

①随机初始化

根据训练后的AT，E_s，D_s，计算

②根据最小化重构损失函数：

优化

6.根据权利要求1所述的基于脑电信号的即插即用式域适应方法，其特征是，所述的插即用式域适应是指：在测试阶段，使用共有分类器C_s进行预测的同时将基于私有编码器

与其他私有编码器之间的相似度来进行预测，分类器综合所有相似度分类结果后输出最终结果，具体包括：

i)对于X_t中的每一个数据x_t，随机从X_s中选择

计算

和

的相似性权重w_s，其中：相似性权重根据Cosin相似性得到；

ii)计算加权后的私有源域分类器预测结果：

iii)计算共有分类器的预测结果：

iv)根据私有源域分类器和共有分类器的预测结果输出最终预测结果：

并返回

7.一种实现权利要求1～6中任一所述方法的系统，其特征在于，包括：基于注意力机制的池化单元、基于长短期记忆的编码器单元和解码器单元以及分类器单元，其中：基于注意力机制的池化单元使用输入的脑电微分熵特征，进行加权处理，得到加权后的脑电特征，编码器单元接受输入的加权向量，并对其进行编码，得到共有及私有的中间表达，解码器单元接受中间表达，对其进行解码重构，得到重构后的脑电特征，分类器单元根据接收到的共有及私有表达，得到分类结果，并根据所有共有及私有分类器结果输出最终预测标签。

8.根据权利要求7所述的系统，其特征是，所述的基于注意力的池化指：通过注意力机制学习原始脑电信号中情绪识别相关的关键导联和频段，记x_t∈R^m为时刻t的脑电信号特征向量，即x_t的每一维都代表了某一个频段的某一个特定导联；加权后的脑电特征向量为

通过公式

得到，AT代表基于注意力的池化，即x_t为某一全连接层输入，而标准化后的权向量α_t∈R^m代表每一个维度的重要性，通过表达式α_t＝softmax(W_αx_t+b_α)得到，而

则是新的加权后的脑电特征，即

对于α_t中的每一个元素，其值越大代表所对应的特征越重要，权重矩阵W_α∈R^m×m及偏置向量b_α∈R^m的值随机初始化，并在训练过程中进行调整。

9.根据权利要求7所述的系统，其特征是，所述的基于长短期记忆的编码器与解码器指采用LSTM作为编码器和解码器的基本单元，对于输入序列的每一个元素，长短期记忆单元的输入门i_t＝σ(W_iix_t+b_ii+W_hih_t-1+b_hi)，遗忘门f_t＝σ(W_ifx_t+b_if+W_hfh_t-1+b_hf)，记忆门g_t＝tanh(W_igx_t+b_ig+W_hgh_t-1+b_hg)，输出门o_t＝σ(W_iox_t+b_io+W_hoh_t-1+b_ho)，

其中：h_t和c_t则为时间t的隐藏状态和记忆细胞状态，对应h_t-1为该层在t-1或者最开始的初始状态，σ为sigmoid函数，

为Hadamard积。

10.根据权利要求7所述的系统，其特征是，所述的分类器包括：所有被试都具有的公共分类器及每个被试私有的分类器，本方法采用单层的全连接神经网络作为分类器，该分类器将经过编码器的编码的数据作为输入，输出情绪类别，最终系统的分类结果根据目标域数据和源域数据的相似性对分类器结果进行加权，得到最终预测情绪类别。

Images