CN110403602B - 用于脑电信号情感分析的改进公共空间模式特征提取方法 - Google Patents

Abstract

本发明属于脑电信号处理技术领域，公开了一种用于脑电信号情感分析的改进公共空间模式特征提取方法，首先利用小波包变换在时频域分解脑电信号，提取脑电波的gamma节律；然后针对多分类问题，采用一对一策略将公共空间模式从两类模式扩展到多类模式，利用一对一公共空间模式对gamma节律脑电提取特征向量；最后根据特征值的分布特点对特征向量的维数进行选择。本发明在传统公共空间模式的基础上进行了扩展，并将空域滤波技术与时频域分析方法以及特征选择相结合，为基于脑电信号的情绪识别研究提供了一种有效的特征提取算法——公共空间模式，具有重要的理论意义和实用价值。

Description

用于脑电信号情感分析的改进公共空间模式特征提取方法

技术领域

本发明属于脑电信号处理技术领域，尤其涉及一种用于脑电信号情感分析的改进公共空间模式特征提取方法。

背景技术

脑机接口(Brain Computer Interface,BCI)是一种基于脑电信号实现人脑与外部设备之间直接交互的系统。公共空间模式(Common Spatial Pattern,CSP)是一种针对两分类任务的空域滤波特征提取算法，它能够从多通道脑机接口数据中提取出每一类的空间分布成分。算法的基本原理是基于矩阵的对角化找到一组最优空间滤波器，使得经过滤波后两类信号的方差值差别最大，从而获得具有较高区分度的特征向量。公共空间模式是目前脑电分析领域中性能最好且应用最广泛的特征提取方法之一。

现阶段，公共空间模式被广泛应用于两类运动想象任务中，取得了良好的分类性能，但是对于多类脑电信号，尤其是多类情绪脑电信号的分类问题，CSP算法并不常见，这种现状主要由如下三方面的原因所造成：

(1)传统公共空间模式是针对两分类问题提出的，而情绪状态类别众多，情绪识别问题一般属于多分类问题，因此针对多类情绪识别任务，不能直接应用公共空间模式，需要首先寻找一种合适的扩展方法将其转换为多类模式。

(2)脑电信号的随机性、非平稳性等特点导致它的频率随时间不断变化，另外，脑电信号还具有非线性，因此单纯地采用公共空间模式从空域上进行分析，并不能提取出脑电信号所蕴含的全部特征信息，也就无法获得较高的分类准确率。

(3)由于采集脑电信号所需的导联数目较多，而公共空间模式对脑电信号提取全通道特征向量，因此特征向量的维数较大，相应的分类速率也就较慢。

综上所述，现有技术存在的问题是：传统公共空间模式局限于两分类问题、分类准确率较低、算法实时性较差。

解决上述技术问题的难度：要同时解决上述技术问题，不但要用扩展方法将公共空间模式从两类模式扩展到多类模式，而且要从合适的角度对公共空间模式进行改进，提高分类准确率，还要对特征值进行筛选，来减小特征向量维度，提高分类速率。因此需要同时选择多种技术手段与公共空间模式相结合，使它们充分发挥各自的优势，从而达到相应的目的。

解决上述技术问题的意义：解决上述技术问题不但能够进一步提升分类性能，而且能够为基于脑电信号的情绪识别研究提供一种有效的特征提取算法——公共空间模式，具有重要的理论意义和实用价值。

发明内容

针对现有技术存在的问题，本发明提供了一种用于脑电信号情感分析的改进公共空间模式特征提取方法。

本发明是这样实现的，一种用于脑电信号情感分析的改进公共空间模式特征提取方法，所述用于脑电信号情感分析的改进公共空间模式特征提取方法包括：

第一步，利用小波包变换在时频域分解脑电信号，提取脑电波的gamma节律；

第二步，采用一对一策略将公共空间模式从两类模式扩展到多类模式，利用一对一公共空间模式对gamma节律脑电提取特征向量；

第三步，根据特征值的分布特点对特征向量的维数进行选择。

进一步，所述用于脑电信号情感分析的改进公共空间模式特征提取方法对原始脑电信号提取gamma节律脑电，包括：采用小波包变换在时频域对脑电信号进行分解，将gamma频段对应的若干子带的节点系数进行组合重构，从而提取出与原始脑电信号形式一致的gamma节律脑电信号。

进一步，所述用于脑电信号情感分析的改进公共空间模式特征提取方法基于公共空间模式对gamma节律脑电样本数据提取特征向量，具体包括：设情绪脑电的类别个数为n，则针对n类情绪识别问题，采用一对一方法对传统的两类公共空间模式进行扩展，一对一公共空间模式算法的步骤为：

(1)用E_i来表示gamma节律情绪脑电样本数据，i指第i类(i＝1,2,...,n)；矩阵E_i的大小为N*T，其中N为记录脑电信号所使用的通道数，T为在每个通道上采集的样本点数目，满足约束条件N≤T；分别对每个样本数据计算归一化协方差矩阵，记为R_i：

式中，trace(X)表示对角矩阵X的迹；

然后对每一类所有样本数据的归一化协方差矩阵求平均值作为该类数据的平均归一化空间协方差矩阵

则任意两类样本数据的混合空间协方差矩阵R为：

(2)首先对R进行主分量分解：

R＝UVU^T；

其中V为特征值对角矩阵，U为由与V中特征值相对应的特征向量构成的特征向量矩阵；

然后对特征值按降序排序，并对特征向量的排列顺序做相应的调整，得到新的V和U；定义白化矩阵P为：

(3)首先用白化矩阵P对

和

进行白化变换：

然后对S₁和S₂进行主分量分解：

对S₁和S₂做主分量分解得到的两个特征向量矩阵是相等的，即U₁＝U₂＝B；两个特征值对角矩阵之和为单位矩阵，即V₁+V₂＝I；

将V₁中的特征值按照降序排列，则V₂中的特征值就是按照升序排列的；定义投影矩阵W为：

W＝B^TP；

对任意两类样本数据都计算一个投影矩阵W_j(j＝1,2,...,n(n-1)/2)，并将得到的所有投影矩阵纵向拼接，构建一个n类空间滤波器SF；

(4)对每个样本数据E_i使用SF进行滤波：

Z_i＝SFE_i；i＝1,2,...n；

得到的Z_i表示单个样本的模式特征矩阵，其中一行表示一个通道上的特征分布情况；取每个通道特征向量的方差作为提取的脑电信号特征，再对特征值进行对数运算，特征向量如下式所示：

f_i＝log(var(Z_i))；i＝1,2,...n。

进一步，所述用于脑电信号情感分析的改进公共空间模式特征提取方法对特征向量的维数进行选择，包括：将一个一对一公共空间模式特征向量看作是由所有的投影矩阵依次作用于样本数据得到的CSP特征向量拼接而成的特征向量；对一对一公共空间模式特征向量取其中每一小段特征向量的前m个特征点和后m个特征点组成低维特征向量，来完成对特征值的筛选，作为一种优选方案，m的取值范围为1-10。

本发明的另一目的在于提供一种应用所述用于脑电信号情感分析的改进公共空间模式特征提取方法的脑电信号处理系统。

本发明将小波包变换与扩展公共空间模式以及特征选择相结合。小波包变换是一种常用的时频域分析方法，它既对信号的低频部分做进一步分解，也对信号的高频部分做进一步分解，因此能够很好地分析处理包含大量中、高频信息的信号，尤其适用于从脑电信号中提取出与情绪识别最为相关的gamma频段。针对多分类问题，需要对传统公共空间模式进行扩展，常用的扩展方法有一对一方法和一对多方法；一对一方法将多分类问题转化为多个一类对一类的两分类问题，并对每个两分类问题分别进行CSP处理，计算投影矩阵，再将所有的投影矩纵向拼接，构成一个多类CSP空间滤波器，一个N分类问题会被转化为N×(N-1)/2个两分类问题；一对多方法将多分类问题转化为多个一类对其他所有类的两分类问题，即一个N分类问题会被转化为N个两分类问题，但是由于不同种类脑电信号的内部特征并不统一，而该方法对多类别做“一对其他”的CSP处理，故无法得到两类差别最大的特征，也就无法取得较好的分类效果。根据公共空间模式的基本原理和运算步骤，CSP特征向量中特征值的分布具有这样的特点：分布在两端的特征值在两类信号之间的差别更大，而分布在中间部分的特征值在两类信号之间的差别相对较小；因此对特征值进行合理筛选，保留有用特征、滤除干扰特征，可以有效地提高分类准确率，减少特征向量的维数，提升运算速率。

综上所述，本发明的优点及积极效果为：

1、本发明考虑到情绪识别的关键频段是gamma频段，因此将时频域分析方法与空域分析方法相结合，在进行特征提取之前，首先采用小波包变换在时频域对脑电信号进行分解和重构，从中选取有用频段、过滤无用频段，能够有效地提高情绪识别的准确率。

2、本发明利用一对一方法将公共空间模式从两类模式扩展到多类模式，使得公共空间模式能够对多类情绪脑电数据进行特征提取。

3、本发明考虑到CSP特征值的分布特点以及全通道特征向量的维数较大导致了支持向量机分类速率较慢，因此对脑电特征进行筛选，保留有用特征、滤除干扰特征，不但能够有效地提高分类准确率，而且大大减少了特征向量的维数，显著地提升了运算速率。

本发明提供的用于脑电信号情感分析的改进公共空间模式特征提取方法，以公共空间模式作为基础算法，采用一对一方法对其进行扩展，并与小波包变换和特征选择方法相结合，对脑电信号进行分析处理，分类识别多种情绪状态。对于所有的情绪种类不同、分类标准不同的多类别情感脑电数据集，都可以应用该方法来分析，适用范围十分广泛。在基于脑电信号的情绪识别研究中运用本发明能够帮助人们判断和预测消极情绪的出现，以便及时采取相应的治疗措施和干预手段，对于抑郁症、神经衰弱等精神性疾病的临床诊断和治疗有很大的帮助；还能够监测和评估军人、飞行员等专业人员的情绪变化情况；对自闭症患者的心理状态进行监控等。

附图说明

图1是本发明实施例提供的用于脑电信号情感分析的改进公共空间模式特征提取方法流程图。

图2是本发明实施例提供的用于脑电信号情感分析的改进公共空间模式特征提取方法实现流程图。

图3、图4、图5是本发明实施例提供的在真实情感脑电数据集SEED上的有效性结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对传统公共空间模式存在的局限于两分类任务、分类准确率较低、算法实时性较差这些问题，本发明提出了一种用于脑电信号情感分析的改进公共空间模式特征提取方法，将小波包变换与扩展公共空间模式以及特征选择相结合。

下面结合附图对本发明的技术方案作详细的描述。

如图1所示，本发明实施例提供的用于脑电信号情感分析的改进公共空间模式特征提取方法包括以下步骤：

S101：利用小波包变换在时频域分解脑电信号，提取脑电波的gamma节律；

S102：采用一对一策略将公共空间模式从两类模式扩展到多类模式，利用一对一公共空间模式对gamma节律脑电提取特征向量；

S103：根据特征值的分布特点对特征向量的维数进行选择。

下面结合附图对技术方案作进一步的描述。

如图2所示，本发明实施例提供的用于脑电信号情感分析的改进公共空间模式特征提取方法包括以下步骤：

步骤一，对原始脑电信号提取gamma节律脑电：

采用小波包变换在时频域对脑电信号进行分解，将gamma频段对应的若干子带的节点系数进行组合重构，从而提取出与原始脑电信号形式一致的gamma节律脑电信号。

步骤二，基于公共空间模式对gamma节律脑电样本数据提取特征向量：

设情绪脑电的类别个数为n，则针对n类情绪识别问题，采用一对一方法对传统的两类公共空间模式进行扩展，一对一公共空间模式算法的步骤为：

(1)用E_i来表示gamma节律情绪脑电样本数据，i指第i类(i＝1,2,…,n)；矩阵E_i的大小为N*T，其中N为记录脑电信号所使用的通道数，T为在每个通道上采集的样本点数目，满足约束条件N≤T；分别对每个样本数据计算归一化协方差矩阵，记为R_i：

式中，trace(X)表示对角矩阵X的迹；

然后对每一类所有样本数据的归一化协方差矩阵求平均值作为该类数据的平均归一化空间协方差矩阵

则任意两类样本数据的混合空间协方差矩阵R为：

(2)首先对R进行主分量分解：

R＝UVU^T；

其中V为特征值对角矩阵，U为由与V中特征值相对应的特征向量构成的特征向量矩阵；

然后对特征值按降序排序，并对特征向量的排列顺序做相应的调整，得到新的V和U；定义白化矩阵P为：

(3)首先用白化矩阵P对

和

进行白化变换：

然后对S₁和S₂进行主分量分解：

对S₁和S₂做主分量分解得到的两个特征向量矩阵是相等的，即U₁＝U₂＝B；两个特征值对角矩阵之和为单位矩阵，即V₁+V₂＝I；

将V₁中的特征值按照降序排列，则V₂中的特征值就是按照升序排列的；定义投影矩阵W为：

W＝B^TP；

对任意两类样本数据都计算一个投影矩阵W_j(j＝1,2,...,n(n-1)/2)，并将得到的所有投影矩阵纵向拼接，构建一个n类空间滤波器SF；

(4)对每个样本数据E_i使用SF进行滤波：

Z_i＝SFE_i；i＝1,2,...n；

得到的Z_i表示单个样本的模式特征矩阵，其中一行表示一个通道上的特征分布情况；取每个通道特征向量的方差作为提取的脑电信号特征，再对特征值进行对数运算，特征向量如下式所示：

f_i＝log(var(Z_i))；i＝1,2,...n。

步骤三，对特征向量的维数进行选择：

将一个一对一公共空间模式特征向量看作是由所有的投影矩阵依次作用于样本数据得到的CSP特征向量拼接而成的特征向量；对一对一公共空间模式特征向量取其中每一小段特征向量的前m个特征点和后m个特征点组成低维特征向量，来完成对特征值的筛选，作为一种优选方案，m的取值范围为1-10。

下面将结合实验对本发明的技术效果作详细的描述。

实验1：在真实情感脑电数据集上采用公共空间模式进行特征提取

真实情感脑电数据集选择经过预处理的SEED(SJTU Emotion EEG Dataset)，采样频率为200Hz，频率范围为0.3-50Hz。SEED数据集记录了15名受试者分别三次情绪实验中的62通道脑电信号，其中一次情绪实验以带有强烈积极、中性和消极三类情绪色彩的国产电影片段各5个作为诱发材料，来诱发受试者的相应情绪状态。对SEED数据集划分样本，对于其中每个电影片段对应的脑电数据，每次选取全部通道上的200个采样点(无重叠)，即1秒的数据作为一个样本数据；每个电影片段的时长为4分钟，经过预处理后，通道上的最短数据长度为37001，选取每个通道上的前37000个采样点作为有效数据，则每个电影片段包含37000/200＝185个样本，一次情绪实验总共包含185*15＝2775个样本；对于每一次情绪实验，将所有样本数据等分成15份，取前9份为训练数据集，后6份为测试数据集。在SEED数据集上的具体操作步骤如下：

步骤一，使用db4小波基函数对原始脑电信号进行三层小波包分解，得到8个宽度相等的频段，每个频段的宽度为50/8＝12.5Hz(预处理后频率范围为0.3-50Hz)。表1展示了这8个子带的频率范围。

表1各个子带的频率范围

子带	频率范围/Hz	子带	频率范围/Hz
				(3,0)	0-6.25	(3,1)	6.25-12.5
(3,2)	12.5-18.75	(3,3)	18.75-25
				(3,4)	25-31.25	(3,5)	31.25-37.5
(3,6)	37.5-43.75	(3,7)	43.75-50

从表1中可以看出，gamma频段(31-50Hz)对应的是(3,5)、(3,6)、(3,7)三个子带，因此对这三个节点系数进行组合重构，提取出与原始脑电信号形式一致的gamma节律脑电信号。单一通道上的原始脑电信号和相应的重构gamma节律脑电信号如图3所示。

步骤二，针对三类情绪识别问题，采用一对一公共空间模式对三类gamma节律情绪脑电样本数据进行特征提取，算法的步骤为：

(1)计算任意两类样本数据的混合空间协方差矩阵R。

(2)基于对R的主分量分解求白化矩阵P。

(3)对任意两类样本数据都计算一个投影矩阵W_j(j＝1,2,3)，并将得到的所有投影矩阵纵向拼接，构建一个三类CSP空间滤波器SF。

(4)对每个样本数据提取一个186(62*3＝186)维特征向量。积极、中性和消极三类gamma节律情绪脑电的特征值分布情况如图4所示。

步骤三，对一对一公共空间模式特征向量取其中每一小段特征向量的前m个特征点和后m个特征点，组成6m维的低维特征向量。

步骤四，分别对m取1-10，将得到的特征向量输入支持向量机中进行分类识别，得到平均分类准确率，来验证m取不同值时的分类效果，最终确定一种最优的特征模式。

图5比较了m分别取1-10时得到的平均分类准确率，表2列出了m分别取1-10时得到的平均分类准确率和相应的特征向量维数。从图5和表2的结果可以看出，当m＝4时，分类效果最好，此时特征向量的维数只有24，而得到的平均分类准确率为68.3704％，比原始脑电信号(全频段)、全通道特征下的平均分类准确率要高出6.1201％。基于真实情感脑电数据集的该运行结果证明了本发明方法对于提升分类性能的可靠性和有效性。

表2在SEED数据集上的实验结果

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种用于脑电信号情感分析的改进公共空间模式特征提取方法，其特征在于，所述用于脑电信号情感分析的改进公共空间模式特征提取方法包括：

第一步，利用小波包变换在时频域分解脑电信号，提取脑电波的gamma节律；

第二步，采用一对一策略将公共空间模式从两类模式扩展到多类模式，利用一对一公共空间模式对gamma节律脑电提取特征向量；

第三步，根据特征值的分布特点对特征向量的维数进行选择；

所述用于脑电信号情感分析的改进公共空间模式特征提取方法对原始脑电信号提取gamma节律脑电，包括：采用小波包变换在时频域对脑电信号进行分解，将gamma频段对应的若干子带的节点系数进行组合重构，从而提取出与原始脑电信号形式一致的gamma节律脑电信号；

所述用于脑电信号情感分析的改进公共空间模式特征提取方法基于公共空间模式对gamma节律脑电样本数据提取特征向量，具体包括：设情绪脑电的类别个数为n，则针对n类情绪识别问题，采用一对一方法对传统的两类公共空间模式进行扩展，一对一公共空间模式算法的步骤为：

(1)用E_i来表示gamma节律情绪脑电样本数据，i指第i类(i＝1,2,...,n)；矩阵E_i的大小为N*T，其中N为记录脑电信号所使用的通道数，T为在每个通道上采集的样本点数目，满足约束条件N≤T；分别对每个样本数据计算归一化协方差矩阵，记为R_i：

式中，

表示对角矩阵

的迹；

然后对每一类所有样本数据的归一化协方差矩阵求平均值作为该类数据的平均归一化空间协方差矩阵

则任意两类样本数据的混合空间协方差矩阵R为：

(2)首先对R进行主分量分解：

R＝UVU^T；

其中V为特征值对角矩阵，U为由与V中特征值相对应的特征向量构成的特征向量矩阵；

然后对特征值按降序排序，并对特征向量的排列顺序做相应的调整，得到新的V和U；定义白化矩阵P为：

(3)首先用白化矩阵P对

和

进行白化变换：

然后对S₁和S₂进行主分量分解：

对S₁和S₂做主分量分解得到的两个特征向量矩阵是相等的；两个特征值对角矩阵之和为单位矩阵I，即V₁+V₂＝I；

将V₁中的特征值按照降序排列，则V₂中的特征值就是按照升序排列的；定义投影矩阵W为：

W＝B^TP；U₁＝U₂＝B

对任意两类样本数据都计算一个投影矩阵W_j(j＝1,2,...,n(n-1)/2)，并将得到的所有投影矩阵纵向拼接，构建一个n类空间滤波器SF；

(4)对每个样本数据E_i使用SF进行滤波：

Z_i＝SFE_i；i＝1,2,...n；

得到的Z_i表示单个样本的模式特征矩阵，其中一行表示一个通道上的特征分布情况；取每个通道特征向量的方差作为提取的脑电信号特征，再对特征值进行对数运算，特征向量如下式所示：

f_i＝log(var(Z_i))；i＝1,2,...n。

2.如权利要求1所述的用于脑电信号情感分析的改进公共空间模式特征提取方法，其特征在于，所述用于脑电信号情感分析的改进公共空间模式特征提取方法对特征向量的维数进行选择，包括：将一个一对一公共空间模式特征向量看作是由所有的投影矩阵依次作用于样本数据得到的CSP特征向量拼接而成的特征向量；对一对一公共空间模式特征向量取其中每一小段特征向量的前m个特征点和后m个特征点组成低维特征向量，来完成对特征值的筛选。

3.如权利要求2所述的用于脑电信号情感分析的改进公共空间模式特征提取方法，其特征在于，m的取值范围为1-10。

4.一种应用权利要求1～3任意一项所述用于脑电信号情感分析的改进公共空间模式特征提取方法的脑电信号处理系统。

Images