CN114224342B - 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 - Google Patents

Abstract

本发明公开了一种基于时空融合特征网络的多通道脑电信号情绪识别方法。属于脑电信号处理和情感计算领域，具体操作步骤如下：情绪刺激实验范式设计和脑电信号采集；对采集到的脑电信号进行预处理；预处理后的信号进行数据转换，得到包含时空信息的样本数据；将处理后的脑电样本输入至时空融合特征网络中，利用时空融合相关性信息，得到情绪分类结果。本发明所提出的基于时空融合特征网络的脑电信号情绪识别框架，既利用了脑电信号在情绪识别中的客观性，又通过时空融合特征网络充分挖掘了脑电信号时间依赖性和空间相关性信息，并且不需要专家先验知识和人工特征提取，可以高效、准确、客观地得到情绪识别结果。

Description

一种基于时空融合特征网络的多通道脑电信号情绪识别方法

技术领域

本发明属于脑电信号处理、情感计算领域，涉及一种基于时空融合特征网络的多通道脑电信号情绪识别方法。

背景技术

情绪是认知和意识过程中对心理和生理状态的测量，对人类的行为、心理健康以及日常体验的质量有着非常重要的影响。了解人类的情感状态是缩短人机距离、建立友好人机交互环境的关键一环。医学领域中，情绪识别技术可以帮助医生诊疗精神疾病、帮助患者表达情感，同时有助于医生追踪患者病情。为了让机器理解情绪，心理学家通常使用两种模型来表示情绪，即离散模型和维度模型。离散模型将情绪划分为基本状态，包括六种基本情绪(快乐、悲伤、恐惧、厌恶、愤怒、惊讶)。维度模型使用连续的坐标系来描述情绪空间。通常，维度模型包含效价和唤醒两个维度。唤醒维度用于表示情绪的兴奋程度，效价维度用于表示情绪的积极程度。

脑电信号(EEG)直接从大脑皮层采集，是情绪刺激的实时反映。同时，与识别面部表情等非生理信号相比，生理信号无法伪装的特性使得使用生理信号识别情绪更加准确。因此，基于多通道脑电信号的情绪识别受到了越来越多的关注，也逐渐成为情绪障碍诊断的重要计算机辅助方法。随着深度学习在其他模式识别任务中的表现越来越突出，许多研究应用深度学习方法替代传统的机器学习，以自动学习与情绪有关的深度特征表示。现有的大多数方法基于人工选择特征，然而，人工设计和提取特征需要基于领域知识，对于非领域专家来说可能是一种障碍。同时，人工特征冗余度高，而且难以表达脑电信号的高层语义信息。因此，如何更好地利用脑电信号的时空维度相关性信息建立更高效的模型，以在无需领域知识的情况下，实现更加快速、准确、客观的情绪识别仍然是一个尚待解决的问题。

发明内容

发明目的：本发明的目的是提供了一种基于时空融合特征网络的多通道脑电信号情绪识别方法；目前存在的大多数基于脑电的情绪识别框架通常需要人工特征提取和选择，而有些方法即使使用深度学习，也仍然需要手动提取特征，然后将选择出有利于情绪识别的有用特征输入网络。然而人工提取和选择特征通常是比较困难的，同时可能会造成所设计方法向专业领域外推广应用的阻碍，因此开发原始信号端到端自动学习的情绪识别模型是必要的。在深度网络提取特征方面，由于脑电信号序列在时间和空间维度上包含丰富的有用信息，目前的方法通常仅考虑时间或空间单一维度，或设置两个独立模块，分开提取时空信息再将特征合并。这些方法虽然考虑了时空维度的信息，但可能不利于网络内两个维度之间的信息流动。对此，我们提出的方法基于原始脑电信号端到端学习，在模型中同步提取时空特征，同时加入时空注意力模块加强有意义信息，在公开数据集上测试，实现了精确、客观的识别结果。

技术方案：本发明所述的一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其具体操作步骤如下：

(1)、情绪刺激实验范式设计和脑电信号数据采集；

(2)、对采集到的脑电信号进行基本预处理，从而得到情绪脑电信号数据；

(3)、对经过预处理后的情绪脑电信号进行数据转换，使样本包含时空信息；

(4)、将处理后的脑电样本输入至时空融合特征网络中，并充分利用时空融合相关性信息，最终得到情绪分类结果；

其中，提出时空融合特征网络STFF-Net(Spatial-Temporal Fusion FeatureNetwork)挖掘脑电信号的时间依赖性和空间相关性，融合两种维度上的信息来提高情绪识别的性能；其具体过程如下：

(4.1)、时空注意力模块STAM：

包括时间和空间两个注意力子模块，分别学习两个维度上的关注点，减少冗余信息；使用注意力机制强调时间和空间的有意义特征同时抑制无关特征，有助于信息流动并增强网络的辨识能力；

具体的：输入的一秒长样本首先进入空间注意力模块，对每个采样点处二维矩阵中的每个元素，即电极位置，计算所有采样点在该电极处信息的最小值、最大值和平均值；空间方向全局平均池化可形式化为：

S_avg＝AveragePool(X′_t)

其中，X′_t表示单个输入样本， 表示坐标(u,v)电极处的平均值；U,V分别为二维矩阵的行、列数，即电极分布图横向与纵向的最大长度；X′_t(m,u,v)是矩阵X′_t在(m,u,v)坐标上的值；同理，空间方向最大或最小池化可以形式化为：

S_max/min＝MaxPool/MinPool(X′_t)

其中，S_max/min(u,v)＝max/min{X′_t(1,u,v),X′_t(2,u,v),…,X′_t(M,u,v)}；然后合并三种映射，计算空间注意力映射A_spatial：

A_spatial＝F_spatial([S_min；S_max；S_avg])

其中，映射F_spatial(·)代表一层卷积核大小为7×7的二维卷积和Sigmoid激活函数的组合，[S_min；S_max；S_avg]表示按通道连接；空间权重A_spatial∈R^(U,V)通过与每个采样点的二维矩阵逐元素相乘加权到X′_t，完成空间维度上的特征重标定；空间子模块的加权过程可表示为：

其中，表示逐元素乘法；

经过空间注意力模块的样本接着进入时间注意力模块，计算每个采样点的二维矩阵中所有元素的最小值、最大值和平均值；对于输入特征时间方向全局平均池化可形式化为：

其中，表示在m采样点处的平均值；时间方向全局最大或最小池化可形式化为：

其中，

接着通过T_min、T_max和T_avg三个映射计算时间注意力映射：

其中，T_i(i＝min,max,avg)表示池化计算结果；映射F_temporal(·)代表两组全连接层和激活函数(分别是Relu和Sigmoid函数)的组合，第一个式子得到所有采样点的非线性特征，建模采样点之间的相关性；第二个式子对三种池化结果的映射输出求和，得到时间权重将/>中每个采样点的二维矩阵与权值相乘，完成时间维度上的信息重标定；时间子模块的加权过程可表示为：

最终得到样本X′_t经过STAM模块的输出X_t，

(4.2)、Changer模块：将经过时空注意力模块加权后的特征作为输入；Changer模块是一层三维卷积，其卷积核大小为2×1×1，通道数为8；无非线性激活函数；目的是为了改变特征维度，方便后续学习；

(4.3)、扩展因果卷积堆Dilated Causal Stack：

设计扩展因果卷积形式使其同时适应时间和空间两个维度，得到三维扩展因果卷积；其中，扩展因果卷积堆由六层三维扩展因果卷积层构成，每一层在时间维度进行扩展因果卷积，并同时对空间维度的二维特征图进行卷积操作提取空间特征，完成跨时间、跨通道的特征交流和整合；

在每一层中，首先，输入特征分别通过filter层和gate层；Filter层使用8个卷积核大小为2×3×3的滤波器，filter层的输出经过Tanh激活函数；gate层同样使用8个卷积核大小为2×3×3的滤波器，gate层的输出经过Sigmoid激活函数；

然后，将两种激活函数的输出特征相乘；

最后，相乘后的输出一方面经过8个卷积核大小为1×1×1的滤波器和Relu激活函数引入更多非线性，再与输入相加作为下一层的输入；另一方面先经过三维最大池化层改变特征维度至设定大小，再经过16个卷积核大小为1×1×1的滤波器和Relu激活函数，作为该层的输出，传递到下一层；

(4.4)、分类器模块Classifier：

通过跳步连接得到扩展因果卷积堆的每一层输出并相加，以整合所有层级特征；相加后的特征首先经过两组通道数为8的1×1×1卷积和Relu激活函数进一步学习融合特征；然后，将特征矩阵延展为一维向量，输入进节点数分别为128和情绪类别数的两层全连接网络；最后，全连接输出的特征经过Softmax函数得到识别出的情绪类别。

进一步的，在步骤(1)中，所述设计情绪刺激实验范式的具体过程是：

首先，从情绪素材库中挑选能够诱发不同情绪的情绪刺激素材；

然后，设定实验范式中情绪刺激素材的展示顺序、展示间隔和展示时间；将每种情绪刺激实验重复若干次，直到将所有情绪刺激素材都展示过一次；

最后，形成完整的情绪刺激实验范式。

进一步的，在步骤(1)中，所述脑电信号数据采集的具体过程是：

首先，参与者佩戴多通道脑电设备；

然后，脑电设备记录参与者在整个实验流程下的脑电信号；其中，所述脑电信号包括基线信号和试验信号；

最后，将收集到的脑电数据保存在可存储介质中。

进一步的，在步骤(2)中，所述对采集到的脑电信号进行的基本预处理操作步骤是：

(2.1)、通道定位与无关通道剔除：将EEG设备的记录通道与头皮位置相对应，并移除不相关的通道；

(2.2)、带通滤波：对EEG信号进行滤波，保留所需要的频率范围，过滤噪声和干扰；

(2.3)、重参考与降采样：根据参考点对其他电极数据进行重参考，计算各电极和参考电极之间的电位差；降采样减少数据量，提高计算速度；

(2.4)、伪迹去除：

首先，对数据记录不良的电极进行插值操作；

然后，使用独立主成分分析去除眼动和肌动伪迹；

最后，通过目视检查手动删除污染严重的数据；

(2.5)、分段和基线校正：

首先，使用一秒长度的滑动时间窗口从连续的试验信号中不重叠地提取样本，增加样本数量；其中，每个样本包含一秒时间内所有采样点全部通道的信号幅值，构成二维矩阵；对基线信号以相同时间窗进行划分处理，将分割后的T₁秒基线信号和T₂秒试验信号分别记为

然后，计算T₁秒基线样本的平均值作为平均基线，对试验信号进行基线去除操作，以去除数漂移的影响，其形式化如下式所示：

其中，分别表示第t秒的基线信号和试验信号；M表示采样率，C表示记录的电极数目，/>表示去除基线后的单个样本。

进一步的，在步骤(3)中，所述对经过预处理后的情绪脑电信号进行数据转换的具体步骤是：

(3.1)、将每个采样点处的一维向量根据脑电电极分布图转换为二维方阵，未记录的电极处添0，使样本包含电极之间的相关性；

(3.2)、将每个采样点处转换得到的二维方阵按照采样顺序排列成三维阵列，使样本同时包含时间和空间维度信息，其形式化如下式所示：

X′_t＝DataConverting(X_t)

其中，表示经过数据转换步骤得到的样本，包含时空信息，作为分类网络的输入；l表示转换为的二维方阵的边长。

有益效果：本发明与现有技术相比，本发明提出的基于情绪脑电信号和多任务学习的人格评估方法；既利用了脑电信号在人格评估中的客观性，又通过多任务学习技术利用人格维度之间的相关性信息，且只需要建立一个评估模型就可以得到五个人格维度的评估结果，因此可以快速、准确、客观的得到人格评估结果。

附图说明

图1是本发明的操作流程图；

图2是本发明中STFF-Net的整体结构示意图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图对本实用新型的技术方案做进一步的详细说明：

如图所述，本发明所述的一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其具体操作步骤如下：

(1)、情绪刺激实验范式设计和脑电信号数据采集；

(2)、对采集到的脑电信号进行基本预处理，从而得到情绪脑电信号数据；

(3)、对经过预处理后的情绪脑电信号进行数据转换，使样本包含时空信息；

(4)、将处理后的脑电样本输入至时空融合特征网络中，并充分利用时空融合相关性信息，最终得到情绪分类结果；

其中，提出时空融合特征网络STFF-Net(Spatial-Temporal Fusion FeatureNetwork)挖掘脑电信号的时间依赖性和空间相关性，融合两种维度上的信息来提高情绪识别的性能；下面简要阐述信息在网络中的流动过程：

经过数据转换的预处理后信号整合了时空信息，使得模型每一次的训练过程可以同步学习两个维度；为了探究多通道脑电信号不同脑区对于识别情绪的贡献，同时在时间维度对各帧级特征进行动态的权重增减，首先在模型中加入时空注意力模块(STAM)，注意力机制应用于原始信号能够强调或抑制部分特征，这有助于信息流动以及增强网络辨识能力；在STAM中，信号首先经过空间注意力子模块，然后进入时间注意力子模块，输出为经过时空维度重标定后的特征。接下来，重标定后的特征先经过一层卷积模块(Changer)改变特征维度，随后进入扩展因果卷积堆，保持时间因果性的同时进一步提取整合时空信息的综合特征；跳跃连接(Skip-connection)合并扩展因果卷积堆中各层的输出实现浅层与深层的特征融合；最后将所有特征展开成一维向量输入分类器模块(Classifier)进一步提取特征，通过内部两层全连接(Fully connected)实现情绪分类；另外，学习模型的整体结构，由一个时空注意力模块(Spatial-Temporal Attention Module)、一层三维卷积(Changer)、六层扩展因果层(Dilated Causal Layer)构成的扩展因果堆(Dilated Causal Stack)和一个分类器(Classifier)构成；

其具体过程如下：

(4.1)、时空注意力模块STAM：

在脑电信号采集中，不同的通道和时间点往往包含冗余或者不相关的信息，这些信息会对识别情绪起到反作用。为了强调时间和空间两个维度上的有意义特征，提出的STAM包括时间和空间两个注意力子模块，分别学习两个维度上的关注点，减少冗余信息；使用注意力机制强调时间和空间的有意义特征同时抑制无关特征，有助于信息流动并增强网络的辨识能力；

具体的：在空间注意力模块，为了学习到涵盖所有空间位置的权重矩阵，输入的一秒长样本首先进入空间注意力模块，对每个采样点处二维矩阵中的每个元素，即电极位置，计算所有采样点在该电极处信息的最小值、最大值和平均值；空间方向全局平均池化可形式化为：

S_avg＝AveragePool(X′_t)

其中，X′_t表示单个输入样本， 表示坐标(u,v)电极处的平均值；U,V分别为二维矩阵的行、列数，即电极分布图横向与纵向的最大长度；X′_t(m,u,v)是矩阵X′_t在(m,u,v)坐标上的值；同理，空间方向最大或最小池化可以形式化为：

S_max/min＝MaxPool/MinPool(X′_t)

其中，S_max/min(u,v)＝max/min{X′_t(1,u,v),X′_t(2,u,v),…,X′_t(M,u,v)}；

由于脑电每个电极点的数据实际上是该电极与参考电极之间的电位差，存在负值，所以在计算权重的过程中引入最小池化，三种不同的全局池化操作也意味着提取的高层次特征更加丰富；然后合并三种映射，计算空间注意力映射A_spatial：

A_spatial＝F_spatial([S_min；S_max；S_avg]

其中，映射F_spatial(·)代表一层卷积核大小为7×7的二维卷积和Sigmoid激活函数的组合，[；]表示按通道连接；空间权重A_spatial∈R^(U,V)通过与每个采样点的二维矩阵逐元素相乘加权到X′_t，完成空间维度上的特征重标定；空间子模块的加权过程可表示为：

其中，表示逐元素乘法；

经过空间注意力模块的样本接着进入时间注意力模块(时间注意力模块采用类似的思想，)，计算每个采样点的二维矩阵中所有元素的最小值、最大值和平均值；对于输入特征时间方向全局平均池化可形式化为：

其中，表示在m采样点处的平均值；时间方向全局最大或最小池化可形式化为：

其中，

接着通过T_min、T_max和T_avg三个映射计算时间注意力映射：

其中，T_i(i＝min,max,avg)表示池化计算结果；映射F_temporal(·)代表两组全连接层和激活函数(分别是Relu和Sigmoid函数)的组合，第一个式子得到所有采样点的非线性特征，建模采样点之间的相关性；第二个式子对三种池化结果的映射输出求和，得到时间权重将/>中每个采样点的二维矩阵与权值相乘，完成时间维度上的信息重标定；时间子模块的加权过程可表示为：

最终得到样本X′_t经过STAM模块的输出X_t，

(4.2)、Changer模块：将经过时空注意力模块加权后的特征作为输入；Changer模块是一层三维卷积，其卷积核大小为2×1×1，通道数为8；无非线性激活函数；目的是为了改变特征维度，方便后续学习；

(4.3)、扩展因果卷积堆Dilated Causal Stack：

扩展因果卷积可以使模型在层数不深的情况下有较大的感受野。本文将扩展因果卷积应用于脑电信号的时间维度，同时增加空间维度上的特征提取功能；设计扩展因果卷积形式使其同时适应时间和空间两个维度，得到三维扩展因果卷积；其中，扩展因果卷积堆由六层三维扩展因果卷积层构成，每一层在时间维度进行扩展因果卷积，并同时对空间维度的二维特征图进行卷积操作提取空间特征，完成跨时间、跨通道的特征交流和整合；

STAM的输出X_t首先经过一层卷积模块，其卷积核大小为2×1×1，通道数为8。本层没有增加非线性，目的是为了改变特征维度，方便后续学习。然后进入由六层适用于脑电时空特征同步提取的扩展因果层构成的堆，每层都可以在实现时间维度扩展因果卷积的同时，对时间点的二维特征图同步进行卷积操作提取空间特征，实现跨时间、跨通道的特征信息交流与整合。以下说明将三维扩展因果卷积简称为卷积。各层中，原始数据首先通过门机制，这是由于脑电波形作为输入信号，我们希望输出保留波形特征。其中filter层使用8个卷积核大小为2×3×3的滤波器；在每一层中，首先，输入特征分别通过filter层和gate层；Filter层使用8个卷积核大小为2×3×3的滤波器，filter层的输出经过Tanh激活函数；gate层同样使用8个卷积核大小为2×3×3的滤波器，gate层的输出经过Sigmoid激活函数；

然后，将两种激活函数的输出特征相乘；

最后，相乘后的输出一方面经过8个卷积核大小为1×1×1的滤波器和Relu激活函数引入更多非线性，再与输入相加作为下一层的输入；另一方面先经过三维最大池化层改变特征维度至设定大小，再经过16个卷积核大小为1×1×1的滤波器和Relu激活函数，作为该层的输出，传递到下一层；

(4.4)、分类器模块(特征整合与分类)Classifier：

通过跳步连接得到扩展因果卷积堆的每一层输出并相加，以整合所有层级特征；至此，得到了网络前部分所学习到的时空融合特征；相加后的特征首先经过两组通道数为8的1×1×1卷积和Relu激活函数进一步学习融合特征；然后，将特征矩阵延展为一维向量，输入进节点数分别为128和情绪类别数的两层全连接网络；其结点数分别为128和识别类别数；最后，全连接输出的特征经过Softmax函数得到识别出的情绪类别。

进一步的，在步骤(1)中，所述设计情绪刺激实验范式的具体过程是：

首先，从情绪素材库中挑选能够诱发不同情绪的情绪刺激素材，如图片、歌曲和视频等；

然后，设定实验范式中情绪刺激素材的展示顺序、展示间隔和展示时间；将每种情绪刺激实验重复若干次，直到将所有情绪刺激素材都展示过一次；

最后，形成完整的情绪刺激实验范式。

进一步的，在步骤(1)中，所述脑电信号数据采集的具体过程是：

首先，参与者佩戴多通道脑电设备；

然后，脑电设备记录参与者在整个实验流程下的脑电信号；其中，所述脑电信号包括基线信号和试验信号；

最后，将收集到的脑电数据保存在可存储介质中。

进一步的，在步骤(2)中，为了让模型从更有意义的脑电数据中同步学习时空特征，首先对采集到的数据做一系列处理操作，包括脑电信号基本预处理、滑动窗口切片、基线去除和转换表示。由于脑电信号在采集的过程中会受到噪声和伪迹的影响，具体的，对采集到的脑电信号进行的基本预处理操作步骤是：

(2.1)、通道定位与无关通道剔除：将EEG设备的记录通道与头皮位置相对应，并移除不相关的通道；

(2.2)、带通滤波：对EEG信号进行滤波，保留所需要的频率范围，过滤噪声和干扰；

(2.3)、重参考与降采样：根据参考点对其他电极数据进行重参考，计算各电极和参考电极之间的电位差；降采样减少数据量，提高计算速度；

(2.4)、伪迹去除：

首先，对数据记录不良的电极进行插值操作；

然后，使用独立主成分分析去除眼动和肌动等伪迹；

最后，通过目视检查手动删除污染严重的数据；

(2.5)、分段和基线校正：

首先，由于基线去除操作可以提高情绪识别的性能，所以一般情况下在实验过程中会记录被试每轮试验之前的基线信号。通常，为了增加训练样本数，实验采集到的连续EEG信号会分割成许多时间切片；使用一秒长度的滑动时间窗口从连续的试验信号中不重叠地提取样本，增加样本数量；其中，每个样本包含一秒时间内所有采样点全部通道的信号幅值，构成二维矩阵；对基线信号以相同时间窗进行划分处理，将分割后的T₁秒基线信号和T₂秒试验信号分别记为

然后，计算T₁秒基线样本的平均值作为平均基线，对试验信号进行基线去除操作，以去除数漂移的影响，其形式化如下式所示：

其中，分别表示第t秒的基线信号和试验信号；M表示采样率，C表示记录的电极数目，/>表示去除基线后的单个样本；

由于每个脑电记录电极都在物理上与多个电极相邻，而样本中每个时间帧的链状序列只保留了相邻两个电极的位置关系，这不利于网络对于空间特征的提取；以NeuSen W系列64通道无线采集系统采集为例，该设备根据国际标准10-20系统，记录59个电极信号；首先将各时间帧的一维向量根据电极分布图转换为二维矩阵，使网络可以挖掘相邻电极之间的相关性和更多的空间信息；由于电极图的每个方向最多记录9个电极，这样，样本中每个时间点的数据都可以表示为一个9×9的矩阵；矩阵中的元素为当前时间点各电极的信号幅值，矩阵行列数为电极图最长维度的大小(行根据59个电极的位置分布，先将原一维向量改写为9×9(分布图最大长度为9)二维矩阵，再按时间点顺序关系构成信号三维表示列数相等)，未记录的电极由0填充；最后将样本中每一时间点的二维矩阵按采样顺序堆叠成三维阵列，得到X′_t＝DataConverting(X_t),X_t∈R^(M,9,9)；这样，处理后的样本X′_t中便同时包含了时间和空间维度上的有用信息，直接作为网络的输入；根据59个电极的位置分布，先将原一维向量改写为9×9(分布图最大长度为9)二维矩阵，再按时间点顺序关系构成信号三维表示。

进一步的，在步骤(3)中，所述对经过预处理后的情绪脑电信号进行数据转换的具体步骤是：

(3.1)、将每个采样点处的一维向量根据脑电电极分布图转换为二维方阵，未记录的电极处添0，使样本包含电极之间的相关性；

(3.2)、将每个采样点处转换得到的二维方阵按照采样顺序排列成三维阵列，使样本同时包含时间和空间维度信息，其形式化如下式所示：

X′_t＝DataConverting(X_t)

其中，表示经过数据转换步骤得到的样本，包含时空信息，作为分类网络的输入；l表示转换为的二维方阵的边长。

在附图中，图1是本发明的整体框架；本发明首先用预选的音乐视频片段作为刺激材料诱发被试情绪，同时记录多通道脑电信号；然后对所有电极信号进行基本的预处理操作并去除基线，以一秒长的滑动时间窗口对预处理后的信号进行无重叠切片，得到包含全部记录电极的长度为一秒的单个样本；接下来，将样本中每个时间帧的一维向量根据电极分布图转换成包含空间位置信息的二维矩阵。为了使学习模型可以同步捕获时空信息，将各帧的二维矩阵沿时间维度堆叠，最终得到样本的三维阵列表示；以上预处理操作结束后，无需手动提取特征，直接将原始信号作为模型输入，通过STFF-Net实现端到端学习；

图2是的STFF-Net的整体框架；本发明的STFF-Net由信号采集(SignalAcquisition)、数据转换(Data Converting)、学习模型(Learning Model)三个部分组成；首先，通过刺激诱发情绪，记录设备采集EEG信号；然后，预处理后的信号进入数据转换模块，使样本包含时空信息；最后，利用STFF-Net实现情绪分类。

具体实施例：

1、实验数据：在广泛使用的多模态标准情感数据集DEAP上进行了实验。DEAP数据集包括32名健康被试的32通道脑电图信号和8通道外围生理信号，其中脑电信号用于情绪识别，外周生理信号被剔除。每个受试者被要求观看40个长度1分钟的音乐视频片段，生理信号由根据国际10-20系统放置的40个电极记录。每个实验包含63秒信号，其中前3秒为基线信号。所有原始信号都以512Hz的采样率进行采样，然后下采样到128Hz。每次实验结束后，受试者分别在效价(Valence)、唤醒(Arousal)、控制(Dominance)和喜欢(Liking)四个维度上根据个人情绪感受对该视频片段打分(1-9分)，从而评估当前情绪状态。

2、实验设定：根据DEAP数据集上的四个情感维度，构建了五个情绪分类任务，分别是：高/低效价分类(HV/LV,task1)、高/低唤醒分类(HA/LA,task2)、高/低控制分类(HD/LD,task3)、高/低喜欢分类(HL/LL,task4)、高效价高唤醒/高效价低唤醒/低效价高唤醒/低效价低唤醒多分类(HVHA/HVLA/LVHA/LVLA,task5)。对每个受试者独立进行训练和分类，采用十折交叉验证，将每个受试者的数据分为十份，其中九份作为训练样本，剩余一份作为测试样本。每个被试五次十折分类平均结果的平均值作为该被试的分类准确率，所有被试在单一情感维度下的分类结果的平均值作为该维度的最终分类性能。实验将标签的分数阈值设置为5，评分超过5时认为效价/唤醒/控制/喜欢水平高，标签用1表示，否则认为水平低，标签用0表示。STFF-Net网络的训练过程使用交叉熵损失函数作为目标函数，Adam作为优化器，初始学习率设置为0.02，mini-batch大小设置为16，每一折包含10轮完整训练。模型实现基于Tensorflow框架。

3、实验结果

表1：基于时空融合特征网络的脑电信号情绪识别框架的评估结果

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其特征在于，其具体操作步骤如下：

(1)、情绪刺激实验范式设计和脑电信号数据采集；

(2)、对采集到的脑电信号进行基本预处理，从而得到情绪脑电信号数据；

(3)、对经过预处理后的情绪脑电信号进行数据转换，使样本包含时空信息；

(4)、将处理后的脑电样本输入至时空融合特征网络中，并充分利用时空融合相关性信息，最终得到情绪分类结果；

其中，所述的时空融合特征网络用于挖掘脑电信号的时间依赖性和空间相关性，融合两种维度上的信息来提高情绪识别的性能；其具体过程如下：

(4.1)、时空注意力模块：

包括时间和空间两个注意力子模块，分别学习两个维度上的关注点，减少冗余信息；

具体的：输入的一秒长样本首先进入空间注意力模块，对每个采样点处二维矩阵中的每个元素，即电极位置，计算所有采样点在该电极处信息的最小值、最大值和平均值；空间方向全局平均池化可形式化为：

S_avg＝AveragePool(X_t ^′)

其中，X_t ^′表示单个输入样本， 表示坐标(u,v)电极处的平均值；U,V分别为二维矩阵的行、列数，即电极分布图横向与纵向的最大长度；X_t ^′(m,u,v)是矩阵X_t ^′在(m,u,v)坐标上的值；同理，空间方向最大或最小池化的形式化为：

S_max/min＝MaxPool/MinPool(X_t ^′)

其中，S_max/min(u,v)＝max/min{X_t ^′(1,u,v),X_t ^′(2,u,v),…,X_t ^′(M,u,v)}；然后合并三种映射，计算空间注意力映射A_spatial：

A_spatial＝F_spatial([S_min；S_max；S_avg])

其中，映射F_spatial(·)代表一层卷积核大小为7×7的二维卷积和Sigmoid激活函数的组合，[S_min；S_max；S_avg]表示按通道连接；空间权重A_spatial∈R^(U,V)通过与每个采样点的二维矩阵逐元素相乘加权到X_t ^′，完成空间维度上的特征重标定；空间子模块的加权过程可表示为：

其中，表示逐元素乘法；

经过空间注意力模块的样本接着进入时间注意力模块，计算每个采样点的二维矩阵中所有元素的最小值、最大值和平均值；对于输入特征时间方向全局平均池化可形式化为：

其中，表示在m采样点处的平均值；时间方向全局最大或最小池化可形式化为：

其中，接着通过T_min、T_max和T_avg三个映射计算时间注意力映射：

其中，T_i(i＝min,max,avg)表示池化计算结果；映射F_temporal(·)代表两组全连接层和激活函数的组合，第一个式子得到所有采样点的非线性特征，建模采样点之间的相关性；第二个式子对三种池化结果的映射输出求和，得到时间权重将/>中每个采样点的二维矩阵与权值相乘，完成时间维度上的信息重标定；时间子模块的加权过程可表示为：

最终得到样本X_t ^′经过STAM模块的输出X_t，

(4.2)、Changer模块：将经过时空注意力模块加权后的特征作为输入；Changer模块是一层三维卷积，其卷积核大小为2×1×1，通道数为8；无非线性激活函数；

(4.3)、扩展因果卷积堆：

设计扩展因果卷积形式使其同时适应时间和空间两个维度，得到三维扩展因果卷积；其中，扩展因果卷积堆由六层三维扩展因果卷积层构成，每一层在时间维度进行扩展因果卷积，并同时对空间维度的二维特征图进行卷积操作提取空间特征，完成跨时间、跨通道的特征交流和整合；

在每一层中，首先，输入特征分别通过filter层和gate层；Filter层使用8个卷积核大小为2×3×3的滤波器，filter层的输出经过Tanh激活函数；gate层同样使用8个卷积核大小为2×3×3的滤波器，gate层的输出经过Sigmoid激活函数；

然后，将两种激活函数的输出特征相乘；

最后，相乘后的输出一方面经过8个卷积核大小为1×1×1的滤波器和Relu激活函数引入更多非线性，再与输入相加作为下一层的输入；另一方面先经过三维最大池化层改变特征维度至设定大小，再经过16个卷积核大小为1×1×1的滤波器和Relu激活函数，作为该层的输出，传递到下一层；

(4.4)、分类器模块：

通过跳步连接得到扩展因果卷积堆的每一层输出并相加，以整合所有层级特征；相加后的特征首先经过两组通道数为8的1×1×1卷积和Relu激活函数进一步学习融合特征；然后，将特征矩阵延展为一维向量，输入进节点数分别为128和情绪类别数的两层全连接网络；最后，全连接输出的特征经过Softmax函数得到识别出的情绪类别。

2.根据权利要求1所述的一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其特征在于，

在步骤(1)中，设计所述情绪刺激实验范式的具体过程是：

首先，从情绪素材库中挑选能够诱发不同情绪的情绪刺激素材；

然后，设定实验范式中情绪刺激素材的展示顺序、展示间隔和展示时间；将每种情绪刺激实验重复若干次，直到将所有情绪刺激素材都展示过一次；

最后，形成完整的情绪刺激实验范式。

3.根据权利要求1所述的一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其特征在于，

在步骤(1)中，所述脑电信号数据采集的具体过程是：

首先，参与者佩戴多通道脑电设备；

然后，脑电设备记录参与者在整个实验流程下的脑电信号；其中，所述脑电信号包括基线信号和试验信号；

最后，将收集到的脑电数据保存在可存储介质中。

4.根据权利要求1所述的一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其特征在于，

在步骤(2)中，所述对采集到的脑电信号进行的基本预处理操作步骤是：

(2.1)、通道定位与无关通道剔除：将EEG设备的记录通道与头皮位置相对应，并移除不相关的通道；

(2.2)、带通滤波：对EEG信号进行滤波，保留所需要的频率范围，过滤噪声和干扰；

(2.3)、重参考与降采样：根据参考点对其他电极数据进行重参考，计算各电极和参考电极之间的电位差；降采样减少数据量，提高计算速度；

(2.4)、伪迹去除：

首先，对数据记录不良的电极进行插值操作；

然后，使用独立主成分分析去除眼动和肌动伪迹；

最后，通过目视检查手动删除污染严重的数据；

(2.5)、分段和基线校正：

首先，使用一秒长度的滑动时间窗口从连续的试验信号中不重叠地提取样本，增加样本数量；其中，每个样本包含一秒时间内所有采样点全部通道的信号幅值，构成二维矩阵；对基线信号以相同时间窗进行划分处理，将分割后的T₁秒基线信号和T₂秒试验信号分别记为

然后，计算T₁秒基线样本的平均值作为平均基线，对试验信号进行基线去除操作，以去除数漂移的影响，其形式化如下式所示：

其中，分别表示第t秒的基线信号和试验信号；M表示采样率，C表示记录的电极数目，/>表示去除基线后的单个样本。

5.根据权利要求1所述的一种基于时空融合特征网络的多通道脑电信号情绪识别方法，其特征在于，

在步骤(3)中，所述对经过预处理后的情绪脑电信号进行数据转换的具体步骤是：

(3.1)、将每个采样点处的一维向量根据脑电电极分布图转换为二维方阵，未记录的电极处添0，使样本包含电极之间的相关性；

(3.2)、将每个采样点处转换得到的二维方阵按照采样顺序排列成三维阵列，使样本同时包含时间和空间维度信息，其形式化如下式所示：

X_t ^′＝DataConverting(X_t)

其中，表示经过数据转换步骤得到的样本，包含时空信息，作为分类网络的输入；l表示转换为的二维方阵的边长。