CN112149724A - 一种基于类内紧凑度的脑电数据特征提取方法 - Google Patents

Abstract

本发明公开了一种基于类内紧凑度的脑电数据特征提取方法，包括以下步骤：获取待处理的脑电数据，去除脑电数据中的伪迹，获得有效频段，标准化，获得有效数据段，按照合理比例分成训练集，验证集，测试集；根据脑电数据特点构建合理的神经网络结构；确定类内紧凑性度量方式，基于网络的输出特征计算类内紧凑度并将之作为损失函数以一定权重加入到需要优化的总体损失函数中；在训练集数据中对网络进行训练，用验证集数据对模型的拟合程度进行评估，选出分类效果最优的模型，在测试集中评估模型性能。本方法通过在网络训练过程中加入类内紧凑性约束，一定程度解决了深度学习在脑电数据应用中的过拟合现象，有效提高脑电数据特征提取效果。

Description

一种基于类内紧凑度的脑电数据特征提取方法

技术领域

本发明属于脑电数据分析领域，尤其是涉及一种基于类内紧凑度的脑电数据特征提取方法。

背景技术

头皮脑电信号数据能以毫秒级高时间分辨率反映大脑神经电生理活动的变化，包含了大量与大脑特征以及状态相关的信息，是进行大脑状态判断的重要工具，可便捷地应用于多种场景。脑电数据分析与应用一般分为四个部分:信号采集，特征提取，分类和控制。现有方法大多在特征提取(如小波变换、傅里叶变换和共空间模式等)部分借助先验知识和假设，人为地进行特征提取，但是由于大脑的复杂性，人为选取特征很可能会丢失一些信息，而且由于个体之间脑电信号的巨大差异性，人工选取适合个体的特征的时间投入大而且最后的分类效果上也不理想。另外由于头皮脑电信号受颅内组织容积导电效应影响，存在信噪比低、易受干扰等缺点，于是有效而鲁棒的脑电信号特征提取方法成为难题。

近年来，深度神经网络由于其强大的学习能力，在计算机视觉、自然语言处理等多个领域中取得了普遍的成功。相较于传统机器学习算法，其最大的优势在于数据驱动的特征学习方式，能够从大量数据中自动学习到任务相关的最优特征，从而避免了人工特征的构建和筛选。故深度学习在脑电数据分析方面有了越来越多的应用，并取得了一定成果。

如公开号为CN110263606A的中国专利文献公开了基于端到端卷积神经网络的头皮脑电特征提取分类方法，对训练数据进行数据增强，再让增强后的训练数据训练卷积神经网络；待检测数据输入卷积神经网络进行特征提取分类步骤为：S1、将原始头皮脑电信号用带通滤波器滤波处理，得到信号xθ、xμ和xβ；S2、对信号xθ、xμ和xβ分别进行多尺度时间卷积和空间卷积提取特征；S3、对卷积层输出的特征图进行池化操作；S4、池化之后进行特征融合，再送进全连接层对输入的抽象特征进行整合；S5、全连接层的输出送入softmax层进行分类。

然而，数据驱动的特征学习方式同时带来了新的问题。由于数据驱动的特征构建完全依赖数据本身，数据中噪声、错误标签等因素会直接影响特征的有效性和鲁棒性。最近研究表明，神经网络的特征学习过程，在学习有效模式的同时，也会“记忆”训练样本中独有的特征甚至噪声，这些特征往往不具有泛化能力，影响特征有效性。而脑电数据具有信噪比低，样本数量少的数据特点。因此，在脑电数据分析中，如何利用深度神经网络学习有效特征的同时，抑制样本记忆过程，从而提高特征的表达能力和泛化能力，是当前深度学习在脑电数据分析应用中仍待解决的重要问题。

发明内容

本发明提供了一种基于类内紧凑度的脑电数据特征提取方法，通过构建类内紧凑型度量，约束同类别样本特征分布的一致性，鼓励神经网络学习大量样本中普遍具有的特征，惩罚单个或少量样本独有的特征，从而能够有效抑制样本记忆过程，提高特征的有效性和泛化能力。

一种基于类内紧凑度的脑电数据特征提取方法，包括以下步骤：

(1)获取用于训练的脑电数据，去除脑电数据中的伪迹，获得数据中心的有效频段，对数据进行标准化，截取出合适窗口长度的数据段，得到预处理后的脑电数据，按照比例分成训练集、验证集和测试集；

(2)根据脑电数据特点构建神经网络结构；

(3)在神经网络中加入基于类内紧凑性约束的特征表示学习方法，具体为：

采用CORAL作为类内紧凑性度量方式，基于网络的最后一个全连接层的输出特征计算类内紧凑度D(·)，并将之作为损失函数以一定权重加入到需要优化的总体损失函数中；

(4)在训练集数据中对网络进行训练，用验证集数据对模型的拟合程度进行评估，选出分类效果最优的模型，最后在测试集中评估模型性能；

(5)对于待提取特征的脑电数据，预处理后输入训练好的网络模型，利用模型进行脑电数据特征提取。

作为优选，步骤(1)中，采用带通滤波去除伪迹，去除伪迹后获得的有效频段频率为4～40Hz。带通滤波可以采用3阶巴特沃兹滤波器 (Butterworth)，有效频段的频率可以根据需要通过滤波参数进行选择。

作为优选，步骤(1)中，采用指数移动平均对信号进行标准化，其衰减因子可定为0.999，具体计算方式如下：

μ_t＝0·001x_t+0·999μ_t-1

其中，x′_t和x_t分别表示在t时刻单个通道得到的经过标准化的信号和原始信号；μ_t表示t时刻对应的均值，

表示t时刻对应的方差。

对数据进行标准化对于卷积神经网络来说非常普遍，标准化的方法可以根据需要做不同的选择。采用指数移动平均的优势在于可以在在线BCI 系统上应用。

作为优选，根据脑电数据的不同类型截取出有效时间段的数据作为训练数据，截取的数据出长度可以根据脑电数据的范式进行合理选择。

作为优选，将数据按照合理比例分成训练集、验证集和测试集，可以按照原数据的划分方式1:1的方式分成训练集和测试集，后按照4折交叉验证的方式将训练集划分成训练集和验证集。

步骤(3)中，紧凑性度量方式为可以衡量不同分布之间差异的方法，如最常用的Kullback-LeiblerDivergence(KL-Divergence)等。但考虑到脑电数据量少，且神经网络训练过程一般采用mini-batch的方法，故可以采用对样本数量要求较低，对紧凑性变化敏感，且计算方便的CORAL度量方式。

CORAL通过最小化其二阶统计量之间的差异来对齐两个不同分布的输入特征分布。出发点是利用不同分布之间的特征相关性来衡量不同分布之间的差异。CORAL的度量简单有效，所采用的二阶统计量是协方差。具体计算方式如下：

假设给定两个分布S和T。给定分布S的训练样本

标签L_S＝{y_i}，y∈{1,…,L}，分布

这里，

和

都是对应两个分布的输入I的D维特征表示φ(I)假设μ_s，μ_t和C_S，C_T是特征向量均值和协方差矩阵。假设所有特征均被标准化为具有零均值和单位方差，则在标准化步骤之后，μ_t＝μ_s＝0，而C_S≠C_T。

为了有效度量分布S和分布T的二阶统计量(协方差)之间的距离，对分布S的原始特征应用线性变换A，并使用Frobenius范数作为矩阵距离度量，如下式

是变换后的特征D_SA的协方差,

表示平方矩阵Frobenius范数。如果rank(C_S)≥rank(C_T)，则可以通过选择A使得

来获得解析解。

步骤(3)中，所述的总体损失函数为：

L＝L_clf+λ*L_IDc

式中，L_clf代表分类损失，L_IDC代表类内紧凑性度量损失，λ是平衡损失函数两部分的系数。

对于多类别分类任务，给定N个样本

属于M个类别，并且对应的标签

其中y_i∈{1,2,...,M}。分类损失L_clf可以表示为下式；

式中，y_i是x_i的类别标签；p(x_i)是经过softmax之后x_i的对数概率；N 表示样本总量；

对于类内紧凑性度量损失(IDC loss)，具体来说，针对每个类别分别计算IDCloss，而L_IDC是所有类别的平均值，具体的计算如下式：

式中，X^m表示训练集中属于类别m的样本集，D(·)表示该类样本的紧凑性度量函数，M表示类别总量。

而具体与神经网络学习过程结合，可以使用一种基于mini-batch的方法来有效地计算IDC loss，将类内紧凑性度量损失分为子批次划分和子批次内类内紧凑性计算两个阶段，具体的：

在子批次划分阶段，给定一个mini-batch B，首先将B划分K个子批次；假设B个样本属于M类，并表示为

对于类别m，其在小批量中的对应样本表示为

将

划分成K组

组之间没有重叠；

在子批次内类内紧凑性计算阶段，每个类别有K组样本；对于每一类，具有K组

中的相应样本，通过测量每组的平均分布紧凑性作为类内紧凑性，如下：

其中，Dist(·)表示两个样本组的紧凑性度量函数，可以采用CORAL。

紧凑性度量函数采用CORAL，具体计算方式如下：

其中，

和

为训练样本

和

的特征向量映射；Cov_mi和Cov_mj为

和

的协方差；d代表的是特征的维数；

表示矩阵的Frobenius 范数。

协方差的计算方式如下：

其中，

和

为两组样本数。

本发明将神经网络基于数据驱动的特征提取方式，应用于脑电信号分析中，同时考虑到脑电信号的信噪比低，个体差异大，信号特征复杂等特点，在特征学习的过程中加入类内紧凑型度量，约束同类别样本特征分布的一致性，鼓励神经网络学习大量样本中普遍具有的特征，惩罚单个或少量样本独有的特征，结果证明该约束让神经网络学习到了更加紧凑的特征表示。

附图说明

图1为本发明实施例中数据集实验范式时序图；

图2为本发明一种基于类内紧凑度的脑电数据特征提取方法的流程示意图；

图3为利用本发明方法处理与未利用发明方法处理的分类准确率比较图；

图4为利用本发明方法和未利用发明方法提取得到的特征利用t-SNE 降维分析得到的分布比较图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本实例采用的数据集2008年国际BCI竞赛IV中的Data-sets 2a数据集，包含9名被试的左手、右手、舌头和足部动作这四类运动想象任务。数据采集的实验范式如图1所示，具体来说：在开始后的前2s中，被试放松并舒适地坐在屏幕前方，屏幕显示“+”符号；在2s结束时屏幕会出现对应四种想象任务的提示，被试需要根据出现的提示做相应的运动想象任务，任务想象的时间为4s；后会进行一段时间的休息下一组实验做准备。每个被试的实验数据采集在两天内完成，每天采集6组，每组为48 次运动想象数据，故数据被分为288个训练样本和288个测试样本。实验共采集了25个通道的信号，其中22个通道为EEG，另外3个通道为眼电信号，均为以左乳突为参考、右乳突为地的单极信号。信号的采样频率为 250Hz，并使用0.05～100Hz带通滤波器和50Hz工频陷波器进行滤波。

如图2所示，一种基于类内紧凑度的脑电数据特征提取方法，具体包括以下步骤：

步骤1，脑电数据预处理：获取待处理的脑电数据，去除脑电数据中的伪迹，获得数据中的有效频段，对数据进行标准化，截取出合适窗口长度的数据段，得到预处理后的脑电数据，将数据按照合理比例分成训练集，验证集，测试集。

具体来说，取22个通道的EEG数据，首先采用3阶巴特沃兹滤波器(Butterworth)，对数据进行带通滤波以去除伪迹，获得有效频段频率为 4～40Hz的数据；

然后采用指数移动平均对信号进行标准化，其衰减因子可定为0.999，具体计算方式如下：

μ_t＝0·001x_t+0·999μ_t-1

其中x′_t和x_t分别表示在t时刻单个通道得到的经过标准化的信号和原原始信号。

然后在标准化后的数据中，截取出在运动提示音响起后的[0.5,2.5]秒的数据作为样本数据。

最后按照原数据集的方式将数据按照分成训练集和测试集，对于训练集的数据，按照4折交叉验证的方式将训练集划分成训练集和验证集。

步骤2，构建卷积神经网络：根据脑电数据特点构建合理的神经网络结构，本实例选取了应用于脑电数据上较有代表性的卷积神经网络结构， DeepConvNet，该网络由4个卷积-最大池化模块，和一个基于softmax的分类模块组成，卷积-最大池化模块由卷积层，批量归一化层，基于ELU的激活层，最大池化层，和随机失活层组成，其中首个卷积-最大池化模块具有针对EEG数据设计的特殊卷积层，由时间卷积层和空间卷积层顺序连接组成，具体来说，时间卷积层由25个1*5的时间卷积核组成，基于通道只在时间维度进行卷积，空间卷积层由25个C*1的空间卷积核组成，C与脑电通道数据相同，只对空间维度进行卷积。之后的3个卷积-最大池化模块中的卷积核尺寸均为1*5，个数分别为50,100,200个。每个模块中最大池化层尺寸为1*2，随机失活率为0.5。

步骤3，在网络中加入基于内类紧凑性约束的特征表示学习方法IDC(IntraclassDomain Compacting)：确定类内紧凑型度量方式，基于网络的最后一个全连接层数输出特征计算类内紧凑度D(·)作为类内紧凑度损失IDC loss，将类内紧凑度作为损失以一定权重加入到需要优化的总体损失中：

3-1，步骤3中的紧凑性度量方式为可以为衡量不同分布之间差异的方法，如最常用的Kullback-LeiblerDivergence(KL-Divergence)等。但考虑到脑电数据量少，且神经网络训练过程一般采用mini-batch的方法，故可以采用对样本数量要求较低，对紧凑性变化敏感，且计算方便的CORAL度量方式。

CORAL通过最小化其二阶统计量之间的差异来对齐两个不同分布的输入特征分布。出发点是利用不同分布之间的特征相关性来衡量不同分布之间的差异。CORAL的度量简单有效，所采用的二阶统计量是协方差。具体计算方式如下：

假设给定两个分布S和T。给定分布S的训练样本

标签L_S＝{y_i}，y∈{1,…,L}，分布

这里，

和

都是对应两个分布的输入I的D维特征表示φ(I)假设μ_s，μ_t和C_S，C_T是特征向量均值和协方差矩阵。假设所有特征均被标准化为具有零均值和单位方差，则在标准化步骤之后，μ_t＝μ_s＝0，而C_S≠C_T。

为了有效度量分布S和分布T的二阶统计量(协方差)之间的距离，对分布S的原始特征应用线性变换A，并使用Frobenius范数作为矩阵距离度量，如下式

是变换后的特征D_SA的协方差,

表示平方矩阵Frobenius范数。如果rank(C_S)≥rank(C_T)，则可以通过选择A使得

来获得解析解。

3-2，步骤3中在每次训练过程中，基于网络的最后一个全连接层数输出特征计算类内紧凑度D(·)作为类内紧凑度损失IDC loss，将类内紧凑度作为损失以一定权重加入到需要优化的总体损失中，将会得到如下的总体损失函数：

L＝L_clf+λ*L_IDC

其中L_clf代表分类损失，L_IDC代表IDC损失。λ是平衡损失函数两部分的系数。

对于多类别分类任务，给定N个样本

属于M个类别，并且对应的标签

其中y_i∈{1,2,...,M}。分类损失L_clf可以表示为下式

其中y_i是x_i的类别标签，而p(x_i)是经过softmax之后x_i的对数概率。

对于IDC loss，具体来说，针对每个类别分别计算IDC loss，而L_IDC是所有类别的平均值，具体的计算如下式：

其中X^m表示属于训练集中属于类别m的样本集。

而具体与神经网络学习过程结合，可以使用一种基于mini-batch的方法来有效地计算IDC loss，具体来说计算过程可以分成子批次划分和子批次内类内紧凑性计算两个阶段：

(1)子批次划分：给定一个mini-batch B，首先将B划分K个子批次。假设B个样本属于M类，并表示为

对于类别m，其在小批量中的对应样本可以表示为

将

划分成K组

组之间没有重叠。

(2)子批次内的类内紧凑性：子批次划分后，每个类别有K组样本。对于每一类，具有K组

中的相应样本，可以通过测量每对组的平均分布紧凑性来作为类内紧凑性，如下式：

其中Dist(·)表示两个样本组的紧凑性度量函数，可以采用CORAL。

为了计算在类别m中，两组样本i和j之间的CORAL度量值，首先通过网络最后一层得到训练样本

和

的特征向量映射

和

然后计算

和

之间的CORAL度量值。分别用Cov_mi和Cov_mj表示

和

的协方差，并且计算协方差如下式：

其中

和

分别对应于两组样本数。然后可以如下计算

和

之间的CORAL度量值，如下式：

其中，d代表的是特征的维数，

表示矩阵的Frobenius范数

最后，可以通过下式计算mini-batch B的基于批次的IDC损失：

步骤4，卷积神经网络的训练与测试：在训练集数据中对网络进行训练，用验证集数据对模型的拟合程度进行评估，选出分类效果最优的模型作为最优模型，最后在测试集中评估模型性能将预处理后的数据输入加入 IDC学习框架的卷积神经网络中，对网络进行训练和测试。

结合实例具体来说，将预处理后的数据输入加入IDC学习框架的卷积神经网络中，设定最大轮次数为300，在每轮次训练中，将训练集中的数据随机打乱，每个批次取每类4个样本，组成大小为16的mini-batch送入卷积神经网络，前向计算提取每个样本的特征，计算分类损失和紧凑性损失，其中的紧凑性计算方式是将mini-batch分成2个批次，基于步骤3所述基于 CORAL计算子批次的类内紧凑性，紧凑性损失的权重系数λ在 [0.002,0.02,0.2,2,20]中根据模型在验证集选取最优的。模型参数的更新采用BP算法。

验证集用来衡量训练集得到的模型性能，在每轮次训练结束后，在验证集中测试模型的分类性能，并保存最优模型。达到最大训练轮次后，在测试集上用最优的模型作为最终的测试性能。

为了对比说明本发明提出的特征学习框架有效，在相同数据集上对没有加入IDC学习框架的相同网络结构进行实验，得到的比较结果图3所示，其中横坐标表示未加入IDC学习框架的原网络的分类准确率，纵坐标为加入IDC学习框架的网络分类准确率，圆点表示各个被试各自的分类准确率，三角形表示平均的分类准确率，可以看出加入IDC结构对于分类准确率有所提升。

为了说明本学习框架可以学习到更加鲁棒，类内更加紧凑的特征，将网络学习到的特征用t-SNE进行降维可视化分析，如图4，其中首行为加入 IDC约束后得到的训练集(左)和测试集(右)的特征，末行为未加入IDC 约束后得到的训练集(左)和测试集(右)的特征，不同灰度代表不同各类别的数据，可以看出，加入IDC约束学习得到的特征在类内更加紧凑。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于类内紧凑度的脑电数据特征提取方法，其特征在于，包括以下步骤：

(1)获取用于训练的脑电数据，去除脑电数据中的伪迹，获得数据中心的有效频段，对数据进行标准化，截取出合适窗口长度的数据段，得到预处理后的脑电数据，按照比例分成训练集、验证集和测试集；

(2)根据脑电数据特点构建神经网络结构；

(3)在神经网络中加入基于类内紧凑性约束的特征表示学习方法，具体为：

采用CORAL作为类内紧凑性度量方式，基于网络的最后一个全连接层的输出特征计算类内紧凑度，并将之作为损失函数以一定权重加入到需要优化的总体损失函数中；

(4)在训练集数据中对网络进行训练，用验证集数据对模型的拟合程度进行评估，选出分类效果最优的模型，最后在测试集中评估模型性能；

(5)对于待提取特征的脑电数据，预处理后输入训练好的网络模型，利用模型进行脑电数据特征提取。

2.根据权利要求1所述的基于类内紧凑度的脑电数据特征提取方法，其特征在于，步骤(1)中，采用带通滤波去除伪迹，去除伪迹后获得的有效频段频率为4～40Hz。

3.根据权利要求1所述的基于类内紧凑度的脑电数据特征提取方法，其特征在于，步骤(1)中，采用指数移动平均对信号进行标准化，其衰减因子为0.999，具体计算方式如下：

μ_t＝0.001x_t+0.999μ_t-1

其中，x′_t和x_t分别表示在t时刻单个通道得到的经过标准化的信号和原始信号；μ_t表示t时刻对应的均值，

表示t时刻对应的方差。

4.根据权利要求1所述的基于类内紧凑度的脑电数据特征提取方法，其特征在于，步骤(3)中，所述的总体损失函数为：

L＝L_clf+λ*L_IDC

式中，L_clf代表分类损失，L_IDC代表类内紧凑性度量损失，λ是平衡损失函数两部分的系数。

5.根据权利要求4所述的基于类内紧凑度的脑电数据特征提取方法，其特征在于，所述分类损失的计算方式如下：

式中，y_i是x_i的类别标签；p(x_i)是经过softmax之后x_i的对数概率；N表示样本总量；

所述类内紧凑性度量损失的计算方式如下：

式中，X^m表示训练集中属于类别m的样本集，D(·)表示该类样本的紧凑性度量函数，M表示类别总量。

6.根据权利要求5所述的基于类内紧凑度的脑电数据特征提取方法，其特征在于，所述类内紧凑性度量损失分为子批次划分和子批次内类内紧凑性计算两个阶段，具体的：

在子批次划分阶段，给定一个mini-batch B，首先将B划分K个子批次；假设B个样本属于M类，并表示为

对于类别m，其在小批量中的对应样本表示为

将

划分成K组

组之间没有重叠；

在子批次内类内紧凑性计算阶段，每个类别有K组样本；对于每一类，具有K组

中的相应样本，通过测量每组的平均分布紧凑性作为类内紧凑性，如下：

其中，Dist(·)表示两个样本组的紧凑性度量函数。

7.根据权利要求6所述的基于类内紧凑度的脑电数据特征提取方法，其特征在于，紧凑性度量函数采用CORAL，具体计算方式如下：

其中，

和

为训练样本

和

的特征向量映射；Cov_mi和Cov_mj为

和

的协方差；d代表的是特征的维数；

表示矩阵的Frobenius范数。

8.根据权利要求7所述的基于类内紧凑度的脑电数据特征提取方法，其特征在于，协方差的计算方式如下：

其中，

和

为两组样本数。

Images