CN113729735B - 基于多域自适应图卷积神经网络的情感脑电特征表示方法 - Google Patents

Abstract

一种基于多域自适应图卷积神经网络的情感脑电特征表示方法，通过对脑电数据集进行特征类别的标记，再将其中的脑电数据通过时域和频域预处理和特征提取后将两个域特征训练多域自适应图卷积网络，最后采用训练后的训练多域自适应图卷积网络进行在线特征识别。本发明融合脑电的频域和时域的信息以及信号模式相关的脑功能连接，通过多域自适应图卷积神经网络充分利用多个域的互补信息，同时考虑脑电通道的拓扑结构，自适应地学习脑功能连接实现识别。

Description

基于多域自适应图卷积神经网络的情感脑电特征表示方法

技术领域

本发明涉及的是一种脑电信号处理领域的技术，具体是一种基于多域自适应图卷积神经网络的情感脑电特征表示方法。

背景技术

脑电图特征可分为时域、频域和时频域三类。脑电信号是离散的时间序列，这表明时域可能包含信号模式识别的重要信息。在时域中，应用最广泛的脑电图特有分形维数、高阶交叉。由于脑电图信号的非稳态特性以及原始脑电图数据的噪声和伪影的干扰，功率谱密度和微分熵频域特征，以及一些时频域特征被研究者们广泛采用，其中频域微分熵特征在基于脑电的信号模式识别任务中取得良好的表现。

发明内容

本发明针对现有技术没有同时充分利用脑电在时域，频域以及功能脑连接上的信息，提出一种基于多域自适应图卷积神经网络的情感脑电特征表示方法，融合脑电的频域和时域的信息以及信号模式相关的脑功能连接，通过多域自适应图卷积神经网络充分利用多个域的互补信息，同时考虑脑电通道的拓扑结构，自适应地学习脑功能连接实现识别。

本发明是通过以下技术方案实现的：

本发明涉及一种基于多域自适应图卷积神经网络的脑电特征识别方法，通过对脑电数据集进行特征类别的标记，再将其中的脑电数据通过时域和频域预处理和特征提取后将两个域特征训练多域自适应图卷积网络，最后采用训练后的训练多域自适应图卷积网络进行在线特征识别。

所述的时域和频域预处理和特征提取具体包括：依次进行的时域预处理、时域特征提取、时域预处理和频域特征提取。

所述的时域预处理是指：对采集到的脑电数据进行基线校正、去除伪迹处理，对脑电信号进行滤波处理，将脑电信号通过滤波器划分为5个频段。然后将脑电信号按照S秒无重叠的时间窗进行分割，由此得到的每个样本，可以由5个时长S秒的V导脑电片段组成，分别对应5个频段。

所述的时域特征提取是指：提取时域信号模式相关功能脑连接A^Te，具体步骤包括：

1)对于每个样本，在每个频段下，计算各通道时长S秒脑电信号间的皮尔森相关系数，将所述得到的每个样本每个频段下成对的脑电信号之间的联系用一个V×V的对称的连接矩阵A来表示，矩阵中的元素表示两两通道的脑电信号之间的连接权重，即为脑功能连接网络中边的信息，最后得到功能连接矩阵

其中：N是预处理后的样本个数，F代表5个频段，V×V是根据皮尔森相关系数计算得到的时域连接矩阵的维度。

2)将训练集中所有被试的样本一起用来选择与信号模式识别相关的功能脑连接，L为信号模式类别集合，在每个频段f∈F上，对于每类信号模式l∈L，将训练集中的全部功能连接矩阵对所有样本以及所有被试进行平均化，即将所有标签为l的连接矩阵进行平均，其表达形式为：

其中：

表示第i个样本在f频段上对应的连接矩阵，yⁱ表示第i个样本对应的信号模式类别。

3)将矩阵

的右上角元素按照连接权重的绝对值从大到小进行排序。

4)将所述得到的F*L个平均的脑网络采用一个相同的比例阈值t，来保留最强的连接，得到每类信号模式下的关键连接：

5)将L个信号模式类别的平均脑网络中保留的关键连接进行合并，其表达形式为：

6)将F个频段平均脑网络中保留的关键连接进行合并，其表达形式为：A_critical＝

union_f∈F(A^f)。

7)对上述得到的关键连接进行归一化，计算时域信号模式相关功能脑连接A^Te＝normalizing(A_critical)。

所述的频域预处理是指：对采集到的脑电数据进行基线校正、去除伪迹处理，对脑电信号进行滤波处理。

所述的频域特征提取是指，将脑电信号通过短时间傅里叶变换划分到5个频段，提取每个频段微分熵频域特征，为获取脑电时间序列，将所提取的频域特征

用时间窗口T转换成

所述的多域自适应图卷积网络包括：多个多域自适应图卷积块、全局平均池化层、softmax层，其中：多域自适应图卷积块融合脑电时域和频域特征，提取与信号模式识别相关的特征，池化层对最后一层的图卷积块的输出特征进行全局平均池化，softmax层对池化后输出的特征进行分类，得到信号模式类别。

所述的在线特征识别，具体包括：

步骤1)在多域自适应图卷积网络中，将频域特征

设置为第一个图卷积块的输入：

步骤2)第b个图卷积块为Block^b，对于每一个b∈B，

步骤3)对最后一层的图卷积块的输出进行全局平均池化：

步骤4)输入softmax层对类别进行分类：Y_pre＝softmax(f_g)。

步骤5)模型学到的频域与信号模式相关的脑功能连接为：

对于每一个多域图卷积块Block^b，由空间图卷积层和时间卷积层组成。

所述的空间图卷积是指：

其中：W为C_out×C_in×1×1的卷积权重向量，f_in为输入频域特征，对于第一层空间图卷积，

α₁,α₁,α₁为每种连接矩阵可训练的权重大小参数；A^Te为上述时域上提取的信号模式相关脑连接，

是所有样本共享的共有加权邻接矩阵，并且设置为可训练的参数，每个样本私有的邻接矩阵

和W_τ是1×1卷积操作的权重向量，用来将输入的频域特征f_in映射到embedding空间中，并通过点积来衡量每个特征的通道间的连接强度。

所述的时间卷积是指：对输入特征的时间维度T进行卷积核为K_t×1的卷积运算。

技术效果

本发明同时利用脑电时域和频域与功能脑连接的信息进行信号模式识别，引入权重大小参数平衡时域与频域的贡献，将脑电单通道特征与通道之间的功能连接融合，自适应地学习与信号模式相关的功能脑连接，其整体解决了现有技术缺乏融合脑电各个域信息的缺陷。

与现有技术相比，本发明将脑电信号时域与频域的特征与脑拓扑结构信息结合，自适应学习与信号模式相关的大脑神经模式，提高基于脑电的信号模式识别准确率。

附图说明

图1为本发明脑电信号通道拓扑图；

图2为本发明多域自适应图卷积神经网络；

图3为本发明流程图；

图4a、b、c分别为本发明中对于三、四、五类信号模式区分的混淆矩阵示意图；

图5为本发明中与信号模式相关的关键脑功能连接可视化；

图中：SEED含义上海交通大学情感脑电数据集，Block含义为每一个多域图卷积块。

具体实施方式

如图1所示，为本实施例涉及一种脑电信号通道拓扑图，为G＝(V^*,E^*)，其中脑电图通道所代表的图的顶点V^*通过通道间的边E^*连接起来，示例如图1，图中v₁,v₂,v₃为V^*中三个脑电通道示例，e₁₂,e₁₃分别代表E^*中v₁v₂，v₁v₃之间的边。定义加权邻接矩阵A∈R^V×V来表示图中的边E^*，作为图的拓扑结构实现脑功能连接。此外，的模型可以以一种自适应的方式学习与信号模式相关的脑功能连接。

如图3所示，为本实施例涉及一种基于多域自适应图卷积神经网络的情感脑电特征提取方法，包含以下步骤：

步骤一：根据健康被试参与信号模式实验，观看信号模式刺激素材，以诱发被试相应的信号模式，通过62导脑电帽，根据10-20国际标准电位分布采集被试脑电数据。

步骤二：对数据进行预处理，并提取时域特征。

步骤三：对数据进行预处理，并提取频域特征。

步骤四：将时域与频域的脑电数据结合大脑拓扑结构，通过多域自适应图卷积神经网络进行融合进行模型训练。

步骤五：将被试的测试数据输入至训练好的神经网络进行预测，输出预测信号模式标签。

如图4所示，模型在三类、四类、五类信号模式的预测上都达到较好的效果。

如图5所示，与信号模式识别有关的大脑功能连接主要分布在前额区域。

以上方法中将脑电信号的时域与频域信息与信号模式相关的脑功能连接相结合为本发明独创、从未被公开，且其工作方式与任何现有文献记载均不相同的是：现有文献没有充分利用脑电的时域与频域与大脑拓扑结构信息，其与现有常规技术手段相比具有显著改进的技术细节具体为：将脑电的时域与频域信息与大脑拓扑结构信息相融合。并自适应地学习与信号模式相关的功能脑连接。

经过具体实际实验，使用PyTorch神经网络框架，以学习率参数为0.01运行上述方法，能够得到的实验数据是：对于信号模式三分类、四分类、五分类分别达到94.81％，87.63％，80.77％的准确率。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (7)

1.一种基于多域自适应图卷积神经网络的脑电特征识别方法，其特征在于，通过对脑电数据集进行特征类别的标记，再将其中的脑电数据通过时域和频域预处理和特征提取后将两个域特征训练多域自适应图卷积网络，最后采用训练后的训练多域自适应图卷积网络进行在线特征识别；

所述的时域和频域预处理和特征提取具体包括：依次进行的时域预处理、时域特征提取、时域预处理和频域特征提取；

所述的频域预处理是指：对采集到的脑电数据进行基线校正、去除伪迹处理，对脑电信号进行滤波处理；

所述的时域特征提取是指：提取时域信号模式相关功能脑连接A^Te，具体步骤包括：

1)对于每个样本，在每个频段下，计算各通道时长S秒的脑电信号间的皮尔森相关系数，将所述得到的每个样本每个频段下成对的脑电信号之间的联系用一个V×V的对称的连接矩阵A来表示，矩阵中的元素表示两两通道的脑电信号之间的连接权重，即为脑功能连接网络中边的信息，最后得到功能连接矩阵

其中N是预处理后的样本个数，F代表5个频段，V×V是根据皮尔森相关系数计算得到的时域连接矩阵的维度；

2)将训练集中所有被试的样本一起用来选择与信号模式识别相关的功能脑连接，L为信号模式类别集合，在每个频段f∈F上，对于每类信号模式l∈L，将训练集中的全部功能连接矩阵对所有样本以及所有被试进行平均化，即将所有标签为l的连接矩阵进行平均，其表达形式为：

其中

表示第i个样本在f频段上对应的连接矩阵，yⁱ表示第i个样本对应的信号模式类别；

3)将矩阵

的右上角元素按照连接权重的绝对值从大到小进行排序；

4)将所述得到的F*L个平均的脑网络采用一个相同的比例阈值t，来保留最强的连接，得到每类信号模式下的关键连接：

5)将L个信号模式类别的平均脑网络中保留的关键连接进行合并，其表达形式为：

6)将F个频段平均脑网络中保留的关键连接进行合并，其表达形式为：A_critical＝union_f∈F(A^f)；

7)对上述得到的关键连接进行归一化，计算时域信号模式相关功能脑连接A^Te＝normalizing(A_critical)。

2.根据权利要求1所述的基于多域自适应图卷积神经网络的脑电特征识别方法，其特征是，所述的时域预处理是指：对采集到的脑电数据进行基线校正、去除伪迹处理，对脑电信号进行滤波处理，将脑电信号通过滤波器划分为5个频段；然后将脑电信号按照S秒无重叠的时间窗进行分割，由此得到的每个样本，可以由5个时长S秒的V导脑电片段组成，分别对应5个频段。

3.根据权利要求1所述的基于多域自适应图卷积神经网络的脑电特征识别方法，其特征是，所述的频域特征提取是指，将脑电信号通过短时间傅里叶变换划分到5个频段，提取每个频段微分熵频域特征，为获取脑电时间序列，将所提取的频域特征

用时间窗口T转换成

4.根据权利要求1所述的基于多域自适应图卷积神经网络的脑电特征识别方法，其特征是，所述的多域自适应图卷积网络包括：多个多域自适应图卷积块、全局平均池化层、softmax层，其中：多域自适应图卷积块融合脑电时域和频域特征，提取与信号模式识别相关的特征，池化层对最后一层的图卷积块的输出特征进行全局平均池化，softmax层对池化后输出的特征进行分类，得到信号模式类别。

5.根据权利要求1所述的基于多域自适应图卷积神经网络的脑电特征识别方法，其特征是，所述的在线特征识别，具体包括：

步骤1)在多域自适应图卷积网络中，将频域特征

设置为第一个图卷积块的输入：

步骤2)第b个图卷积块为Block^b，对于每一个b∈B，

步骤3)对最后一层的图卷积块的输出进行全局平均池化：

步骤4)输入softmax层对类别进行分类：Y_pre＝softmax(f_g)；

步骤5)模型学到的频域与信号模式相关的脑功能连接为：

对于每一个多域图卷积块Block^b，由空间图卷积层和时间卷积层组成。

6.根据权利要求5所述的基于多域自适应图卷积神经网络的脑电特征识别方法，其特征是，所述的空间图卷积是指：

其中：W为C_out×C_in×1×1的卷积权重向量，f_in为输入频域特征，对于第一层空间图卷积，

α₁,α₂ ,α₃ 为每种连接矩阵可训练的权重大小参数；A^Te为上述时域上提取的信号模式相关脑连接，

是所有样本共享的共有加权邻接矩阵，并且设置为可训练的参数，每个样本私有的邻接矩阵

和W_τ是1×1卷积操作的权重向量，用来将输入的频域特征f_in映射到embedding空间中，并通过点积来衡量每个特征的通道间的连接强度。

7.根据权利要求5所述的基于多域自适应图卷积神经网络的脑电特征识别方法，其特征是，所述的时间卷积是指：对输入特征的时间维度T进行卷积核为K_t×1的卷积运算。

Images