CN113378650B - 一种基于脑电源成像和正则化共空间模式的情绪识别方法 - Google Patents

Abstract

本发明涉及信号特征提取领域，特别涉及一种基于脑电源成像和正则化共空间模式的情绪识别方法，包括采集脑电信号并进行预处理；通过搭建脑电源成像，重构大脑皮层神经电活动；通过最小模算法，重构的EEG时间序列被投影到Brodman分区上，Brodman分区包括26个空间感兴趣的区域，利用26个空间感兴趣的区域互信息构建脑功能连接矩阵；基于脑功能连接矩阵采用正则化的方式构建泛化样本的协方差矩阵，提取特征向量；将历史数据的特征输入分类器进行训练，并将待分类数据的特征向量输入分类器获得脑电情绪分类；本发明减少了估计偏差，提高了估计稳定性，最终分类出的结果准确率提高。

Description

一种基于脑电源成像和正则化共空间模式的情绪识别方法

技术领域

本发明涉及信号特征提取领域，特别涉及一种基于脑电源成像和正则化共空间模式的情绪识别方法。

背景技术

情感分析作为人机交互的重要内容。脑电(Electroencephalography，EEG)信号反映认知任务下皮层神经活动，由于其高时间分辨率和非侵入性，在情绪识别中越来越受到重视。

目前常用的基于脑电情绪识别方法首先提取脑电信号的时域、频域等属性特征，然后利用模式分类器进行情绪识别。然而，由于容积效应，头皮EEG信号的空间分辨率较低，也限制了基于头皮EEG信号的脑电情绪识别性能。

此外在实际应用中，跨被试的情绪识别是非常重要的研究内容。此前中国专利CN110070105B公布了一种基于元学习实例快速筛选的脑电情绪识别方法，该专利将各电极脑电数据的特征向量进行拼接，得到待识别特征向量，然后采用训练好的情绪识别模型，依据待识别特征向量，获取相应的情绪标签以实现跨被试的情绪识别。该方法仍然存在一些实用性问题，例如，不同被试者的脑电数据差异，导致难以获得能够跨被试使用的通用模型：鉴于脑电的非平稳特性，同一个被试者的脑电分布会随时间变化，难以获得可以长期使用的模型。由于人脑认知行为是若干脑区协同作用的结果，与脑区间的交互有关，因此脑网络蕴含丰富的时空分类信息。该方法忽略脑网络中蕴含的分类信息，未有效提取皮层脑网络的分类特征。同时，在基于脑电的跨被试情绪识别研究中，如何充分利用已有被试EEG数据的信息，依然是一个亟待解决的问题。

发明内容

为了提高脑电信号分类的准确性，本发明提出一种基于脑电源成像和正则化共空间模式的情绪识别方法，包括以下步骤：

采集脑电信号，并对脑电信号进行预处理；

利用贝叶斯最小模算法处理与处理后的脑电信号，通过搭建脑电源成像，重构大脑皮层神经电活动；

通过最小模算法，重构的EEG时间序列被投影到Brodman分区上，Brodman分区包括26个空间感兴趣的区域，在翻转方向相反的源信号后，将26个空间感兴趣的区域内所有源信号的时间序列取平均值；

利用26个空间感兴趣的区域互信息构建脑功能连接矩阵；

基于脑功能连接矩阵采用正则化的方式构建泛化样本的协方差矩阵，得到最优空间滤波器使两类信号的方差值差异最大化，从而得到具有较高区分度的特征向量；

将历史数据的特征输入分类器进行训练，并将待分类数据的特征向量输入分类器获得脑电情绪分类。

进一步的，重构大脑皮层神经电活动具体包括以下步骤：

根据生物导体中电磁场的传播规律，构建头皮表面的EEG电位分布与人脑内源空间信号的线性关系表达式；

对获取的线性关系表达式进行空间白化；

根据给定大脑皮层源信号的一个先验分布以及贝叶斯公式，计算该源信号的后验分布；

利用最小模解估算源信号的最大后验估计，即利用最小模解选择能量最小的源结构作为最终的源信号估计，该源信号估计作为人脑成像的源信号。

进一步的，利用最小模解估算源信号的最大后验估计，则源信号的最大后验估计表示为：

其中，S为源信号；

为源信号的最大后验估计；p(S|B)为源信号S的后验分布；p(S)为源信号先验分布；L为导联矩阵；B为大脑头皮表面的脑电信号数据；λ为正则参数，I为单位矩阵；||·||_F为F范数。

进一步的，利用贝叶斯概率推断，通过数据自驱动的方式自动学习正则参数λ，该参数表示为：

λ^-1＝γ

其中，γ^(k)表示第k次的迭代值；∑_b为中间参数，定义为

其中∑_S为源信号高斯分布的方差；∑_ε表示观测噪声高斯分布的方差。优选的，迭代更新，直到p(S|B)收敛或者相对变化小于某个阈值(比如10^-6)。

进一步的，利用互信息构建脑功能连接矩阵包括：对于每一个对象，分别计算26个空间感兴趣的区域的互信息值，且数据的自信息值为得到脑功能连接矩阵，其中区域x与区域y的互信息值表示为：

其中，p(x)、p(y)和p(x,y)分别表示x,y概率密度和联合概率密度。

进一步的，获取脑电数据的特征向量包括以下过程：

将脑电数据唤醒类和效价类两个类别得到的协方差矩阵相加，得到正则化符合空间协方差；

分别对两个类别的协方差矩阵进行白变换，并对白变换后的协方差矩阵进行分解，得到白化空间特征向量矩阵；

并根据得到的白化空间特征向量矩阵和白化值矩阵，得到投影矩阵；

根据自定义的特征参数α，保留第一个α和倒数一个α列的投影矩阵构成最有区分度的图像；

将一个试验根据最有区分度的图像进行投影，并将投影矩阵的行的方差形成特征向量。

本发明与传统的CSP将把脑电数据作为输入进行特征提取和分类相比，本发明对预处理后的脑电信号，进行脑电源成像分析，构造协方差矩阵，并运用正则化技术解决小样本问题，除了脑电信号再引入其他个体的脑电数据，形成正则化协方差估计的公式，降低了偏差由于小数量的训练样本的误差；传统CSP算法依赖于基于样本的协方差矩阵估计，而本发明使用RCSP算法，融合了他人脑电样本的协方差矩阵，减少了估计偏差，提高了估计稳定性，最终分类出的结果准确率提高。

附图说明

图1为本发明一种基于脑电源成像和基于皮层脑网络的正则化共空间模式特征提取方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种基于脑电源成像和正则化共空间模式的情绪识别方法，具体包括以下步骤：

采集脑电信号，并对脑电信号进行预处理；

利用贝叶斯最小模算法处理预处理后的脑电信号，通过搭建脑电源成像，重构大脑皮层神经电活动；

通过最小模算法，重构的EEG时间序列被投影到Brodman分区上，Brodman分区包括26个空间感兴趣的区域，在翻转方向相反的源信号后，将26个空间感兴趣的区域内所有源信号的时间序列取平均值；

利用26个空间感兴趣的区域互信息构建脑功能连接矩阵；

基于脑功能连接矩阵采用正则化的方式构建泛化样本的协方差矩阵，得到最优空间滤波器使两类信号的方差值差异最大化，从而得到具有较高区分度的特征向量；

将历史数据的特征输入分类器进行训练，并将待分类数据的特征向量输入分类器获得脑电情绪分类。

如图1所示，本发明分为训练阶段集数据处理和测试集数据处理，两者的数据均需进行EEG脑电源成像以及皮层ROI信号获取，对训练集数据进行RCSP空间滤波器计算以及特征提取，并将该过程迁移训练为一个特征提取器，测试集数据通过该过程获取数据的RCSP特征，对训练集数据提取得到的特征对分类器进行训练，训练完成后迁移得到一个EEG情绪分类器，用于对测试集数据的RCSP特征进行分类处理，以上过程主要包括以下步骤：

(1)信号预处理，主要是进行去噪处理，以减少一些非脑电信号的干扰和个体间的差异效应。

(2)利用贝叶斯最小模算法处理预处理后的脑电数据，通过搭建脑电源成像，重构大脑皮层神经电活动。

(3)通过最小模算法，重构的EEG时间序列被投影到Brodman分区上，其中包括26个空间感兴趣的区域，在翻转方向相反的源信号后，将ROI内所有源信号的时间序列取平均值。

(4)利用互信息构建脑功能连接矩阵

(5)利用RCSP算法，通过两个参数对协变矩阵估计进行正则化，从而降低估计方差，同时减小估计偏差。

(6)对所求的特征向量提取皮层层面的分类特征，采用SVM或KNN等模式分类器实现脑电情绪分类。

1、基于贝叶斯最小模解的源成像

利用脑电源成像计算，重构皮层源信号，从而获得同时具有高时间和空间分辨率的神经电活动。人脑头皮表面的EEG电位分布是由脑内神经电流源引起的，生物导体中电磁场的传播规律满足准静态的麦克斯韦方程组，头皮表面的EEG电位分布与人脑内源空间信号的关系可以用如下的线性关系表示：

B＝LS+ε (1)

其中，

表示在人脑头皮表面d_b个电极测量的T个采样时间点上脑电信号数据。

表示第t个采样的观测信号。

是源空间内d_s个源的源信号，

表示t时刻的皮质神经活动。是观测噪声。

表示导联矩阵，描述特定位置和方向的源信号与头皮表面测量的脑电信号的关系，其受到电极数目、源信号数目及头模型的约束。

假设源信号先验分布为p(S)，观测噪声ε服从高斯分布N(0,Σ_ε)，则似然分布为P(B|S)～N(LS,Σ_ε)，Σ_ε为观测噪声协方差。为了不失一般性，对观测方程(1)进行空间白化。具体来讲，就是对观测噪声协方差进行特征值分解，得到：

B＝LS+ε (2)

其中，

且

I为单位矩阵。为表示方便,在后文假设观测模型已白化，并去掉上式中变量符号上的波浪线。

给定大脑皮层源信号的某一个先验分布p(S)，根据贝叶斯公式，源信号S的后验分布为：

利用最小模解(MNE)，选择能量最小(利用L2范数度量)的源结构为最终的源信号估计。MNE算法假设

则S的最大后验估计

为

正则参数λ对最终的源信号估计有着重要的影响，一般可通过经验或者交叉验证等方法选择。本系统利用贝叶斯概率推断，通过数据自驱动的方式自动学习λ。具体来说，通过最大化λ的后验分布

将λ的最大后验估计作为正则参数的估计值。假设λ的先验服从均匀分布，则

其中，p(B|λ)＝∫p(B|S)p(S|λ)dS～N(0,Σ_B)，

令

得到

其中，x^(k)表示x第k次的迭代值。迭代更新λ，直到p(B|λ)收敛或者相对变化小于某个阈值(比如10^-6)。

2、ROI时间序列获取及皮层脑功能连接矩阵计算

ROI时间序列获取：通过最小模算法，重构的EEG时间序列被投影到Brodman分区上，其中包括26个空间感兴趣区域(Region Of Interest,ROI)，在翻转方向相反的源信号后，将ROI内所有源信号的时间序列取平均值。通过提取ROI的脑电源信号，从根本上提高了EEG信号的空间分辨率。

皮层脑功能连接矩阵计算：实验利用互信息度量电极间功能连接。随机变量

间的互信息为：

其中p(x)、p(y)和p(x,y)分别表示x,y概率密度和联合概率密度，P为随机变量的向量长度。对每个样本，计算N个脑区间的互信息值，得到一个N×N脑功能连接矩阵。以DEAP数据集为例，选取被试某一划分时间段的单次试验样本，大小26*2560，利用nchoosek函数每次选取两行数据，分别求出每行数据的概率密度和两行数据的联合概率密度，对应于式(2)中的p(x)、p(y)和p(x,y)，根据(联合)概率密度可求出两行数据的互信息MI_xy，依次循环求得的样本大小为26*2560数据的对角线为0的对称脑功能连接矩阵为26×26。

3、基于RCSP和皮层脑网络的特征提取与分类

CSP方法中的协方差矩阵估计

在想象手运动过程中，CSP算法被广泛应用于多通道脑电信号的处理。它提取了几个空间滤波器，使滤波信号的方差对两个类是最具鉴别性的。在基于CSP的脑电图信号分类中,用大小为的N×T的E矩阵表示一个通道数量为N的脑电图实验，并且每一个通道中有T个样本，每个样本都作为一个单独实验。每个样本实验E的归一化样本协方差矩阵S为:

其中上标‘T’表示矩阵的转置，tr(·)是矩阵的迹(对角线元素之和)。本发明只考虑二元类问题，因此只有两个类，通过c＝{1,2}对两个类进行索引。为了简单起见，假设M个试验可以在每个类中为一个受试者的实验对象进行训练，m为E_(c,m)，其中m＝1,...,M。因此，每个试验都有相应的协方差矩阵S_(c,m)。

然后将每个类的平均空间协方差矩阵计算为：

由于新受试者训练数据样本较少，通过RCSP技术，利用已有受试者的EEG数据，从而提高跨被试EEG情绪识别性能。

RCSP特征提取：

RCSP的特征提取遵循经典的CSP方法。正则化复合空间协方差的形成和分解如下：

Σ(β,γ)＝Σ₁(β,γ)+Σ₂(β,γ)＝UΛU^T (10)

其中，U是正则化复合空间协方差的特征向量矩阵，Λ是正则化复合空间协方差相应特征值的对角矩阵。本发明采用了特征值按降序排序的惯例。

接下来，得到白化变换为：

P＝Λ^-1/2U^T (11)

正则化复合空间协方差的第一分解Σ₁(β,γ)及其第二分解Σ₂(β,γ)被白化变换为：

Σ₁(β,γ)＝PΣ₁(β,γ)P^T (12)

和

Σ₂(β,γ)＝PΣ₂(β,γ)P^T (13)

分别地，然后Σ₁(β,γ)可以被分解为：

Σ₁(β,γ)＝BΛ₁B^T (14)

其中，Λ₁为正则化复合空间协方差的第一分解Σ₁(β,γ)相应特征值的对角矩阵，Σ₂(β,γ)同理进行分解，分解为Σ₂(β,γ)＝BΛ₂B^T，Λ₂为正则化复合空间协方差的第二分解Σ₂(β,γ)相应的对角特征值矩阵，此处不再赘述。形成全投影矩阵为：

W₀＝B^TP (15)

为了得到最有区分度的图像，第一个和最后一个α列W₀保留形成一个N×Q，其中Q＝2α。对于特征提取，首先将试验E投影为：

Z＝W^TE (16)

然后，由Z的行的方差形成Q维特征向量y：

其中y_q是y的第q个分量，

是

的第q行，

是向量

的方差。

分类：通过使用十折交叉验证，减小了差异，提高了算法准确性。将数据集分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行试验。

在数据集有限的情况下，使用十折交叉验证，相当于对一个数据集用同一个模型进行不同的测试，但每个训练的数据集又不全一样，相当于扩充了数据集，如果这十个模型的均值效果好的话，在一定程度上可以说这个模型有一定的泛化能力。

利用SVM和KNN分类，其中SVM基于LIBSVM，选择RBF核函数，惩罚因子和核参数对训练数据通过网格搜索确定，其他参数使用默认值。对于KNN算法的k值，通过具体应用选取不同k，例如在DEAP数据集选取k＝3和k＝5可以得到最高准确率。

使用十折交叉验证，取十次测试结果的平均值作为交叉验证方法下的分类器性能指标，有效地避免过拟合和欠拟合的情况，获取的结果也比较可靠。利用SVM和KNN分类，其中SVM基于LIBSVM，选择RBF核函数，惩罚因子和核参数对训练数据通过网格搜索确定，其他参数使用默认值。对于KNN算法的k值，实验通过选取不同k，k＝3和k＝5在DEAP数据集得到最高准确率。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.基于脑电源成像和正则化共空间模式的情绪识别方法，其特征在于，包括以下步骤：

采集脑电信号，并对脑电信号进行预处理；

利用贝叶斯最小模算法处理预处理后的脑电信号，通过搭建脑电源成像，重构大脑皮层神经电活动，具体包括以下步骤：

根据生物导体中电磁场的传播规律，构建头皮表面的EEG电位分布与人脑内源空间信号的线性关系表达式；

对获取的线性关系表达式进行空间白化；

根据给定大脑皮层源信号的一个先验分布以及贝叶斯公式，计算该源信号的后验分布；

利用最小模解估算源信号的最大后验估计，即利用最小模解选择能量最小的源结构作为最终的源信号估计，该源信号估计作为人脑成像的源信号，则源信号的最大后验估计表示为：

其中，S为源信号；

为源信号的最大后验估计；p(S|B)为源信号S的后验分布；p(S)为源信号先验分布；L为导联矩阵；B为大脑头皮表面的脑电信号数据；I为单位矩阵；||·||_F为F范数；λ为正则参数，利用贝叶斯概率推断，通过数据自驱动的方式自动学习正则参数λ，该参数表示为：

λ^-1＝γ

其中，γ^(k)表示第k次的迭代值；∑_b为中间参数，定义为

其中∑_S为源信号高斯分布的方差；∑_ε表示观测噪声高斯分布的方差；

通过最小模算法，重构的EEG时间序列被投影到Brodman分区上，Brodman分区包括26个空间感兴趣的区域，在翻转方向相反的源信号后，将26个空间感兴趣的区域内所有源信号的时间序列取平均值；

利用26个空间感兴趣的区域互信息构建脑功能连接矩阵，即对于每一个对象，分别计算26个空间感兴趣的区域的互信息值，且数据的自信息值为得到脑功能连接矩阵，其中区域x与区域y的互信息值表示为：

其中，p(x)表示x的概率密度，p(y)表示y概率密度，p(x,y)表示x,y的联合概率密度；

基于脑功能连接矩阵采用正则化的方式构建泛化样本的协方差矩阵，得到最优空间滤波器使脑电数据唤醒类和效价类这两类信号的方差值差异最大化，从而得到具有高区分度的特征向量，获取脑电数据的特征向量包括以下过程：

将脑电数据唤醒类和效价类两个类别得到的协方差矩阵相加，得到正则化符合空间协方差；

分别对两个类别的协方差矩阵进行白变换，并对白变换后的协方差矩阵进行分解，得到白化空间特征向量矩阵；

并根据得到的白化空间特征向量矩阵和白化值矩阵，得到全投影矩阵；

根据自定义的特征参数α，保留全投影矩阵的第一个α列和倒数一个α列构成投影矩阵；

将一个试验根据投影矩阵进行投影，并将投影矩阵的行的方差形成特征向量；

将历史数据的特征输入分类器进行训练，并将待分类数据的特征向量输入分类器获得脑电情绪分类。

2.根据权利要求1所述的基于脑电源成像和正则化共空间模式的情绪识别方法，其特征在于，白化空间特征向量矩阵表示为：

其中，

为白化空间协方差矩阵的特征向量矩阵；U为对应其特征值的特征向量矩阵；Σ₁(β,γ)为正则化复合空间协方差的第一分解；上标T表示矩阵的转置，Λ为正则化复合空间协方差Σ(β,γ)相应的对角特征值矩阵。

3.根据权利要求1所述的基于脑电源成像和正则化共空间模式的情绪识别方法，其特征在于，全投影矩阵表示为：

其中，W₀为全投影矩阵；

为白化空间协方差矩阵的特征向量矩阵；U为对应其特征值的特征向量矩阵；上标T表示矩阵的转置。

4.根据权利要求1所述的基于脑电源成像和正则化共空间模式的情绪识别方法，其特征在于，将一个试验根据最有区分度的图像进行投影，得到的投影矩阵表示为：

其中，

为一个试验根据最有区分度的图像进行投影得到的投影矩阵；W为保留第一个α和倒数一个α列的投影矩阵得到的矩阵；E为N×T试验向量矩阵，N表示脑电图试验的通道数，T为每个通道的样本数量。

5.根据权利要求1所述的基于脑电源成像和正则化共空间模式的情绪识别方法，其特征在于，将投影矩阵的行的方差形成特征向量，该向量的第q个分量表示为：

其中，y_q是y的第q个分量，

是

的第q行，

是向量

的方差；Q＝2α，α为自定义的特征参数。

Images