CN111062250A

CN111062250A - 基于深度特征学习的多受试者运动想象脑电信号识别方法

Info

Publication number: CN111062250A
Application number: CN201911099530.5A
Authority: CN
Inventors: 罗靖; 刘光明; 徐蓉; 弓一婧; 任宇昆; 张梦馨
Original assignee: Xian University of Technology
Current assignee: Xian University of Technology
Priority date: 2019-11-12
Filing date: 2019-11-12
Publication date: 2020-04-24
Anticipated expiration: 2039-11-12
Also published as: CN111062250B

Abstract

本发明公开了基于深度特征学习的多受试者运动想象脑电信号识别方法，通过脑电采集设备采集运动想象时受试者的脑电信号；使用多主体运动想象脑电信号识别模型对所述脑电信号进行分析，确定运动想象内容；首先构造一种基于卷积自编码器的运动想象脑电信号特征学习模型；再基于深度特征的不变性评价方法与判别性评价方法选择出多主体脑电信号的不变性特征，在不变性特征所在网络层后加全连接层与Softmax分类层构成了多主体运动想象脑电信号识别模型；对模型进行训练然后应用。本发明能够得到具有受试者间泛化能力的通用模型，在新受试者加入时无需采集标定数据，能够有效提高对新受试者运动想象内容识别的准确率。

Description

基于深度特征学习的多受试者运动想象脑电信号识别方法

技术领域

本发明属于脑机接口技术领域，涉及一种基于深度特征学习的多受试者运动想象脑电信号识别方法。

背景技术

脑机接口技术是一种在人类的大脑和外界设备间建立起交流或者控制通路的技术，可以利用大脑活动控制外部设备。脑机接口在医学领域、神经生物学领域和心理学领域都已存在重要的应用，且在虚拟现实、教育科技、智能家居等领域都有光明的商业化前景。因此包括美国、欧盟、日本和中国在内的各国政府纷纷投入重金制定了各自的“脑计划”，哈佛大学、麻省理工学院、波士顿大学、Facebook公司等机构都设立了脑机接口相关实验室。国际脑研究组织在日本京都举办的第四届世界神经科学大会更是称21世纪为“脑科学世纪”。

运动想象脑电是一种内源性自发脑电，具有简单、灵活、无创、环境要求低等特点，是脑机接口的重要分支，应用广泛。基于运动想象脑电信号识别的脑机接口系统在主体进行特定运想象时采集脑电信号，依据脑电信号对想象内容进行识别，进而将识别结果转化为控制命令实现对外围设备的控制。相关研究工作主要集中在三个方面，分别是采集脑电信号的设备与技术、特征提取的方法以及分类器的训练。脑电信号具有信噪比低、空间分辨率低的特点，如何对脑电信号提取有效的特征是运动想象识别系统成功的关键。

目前已有技术主要关注单主体系统，对目标主体独立建模，取得了令人满意的识别效果。但是单主体系统需要针对不同主体分别采集数据、提取特征和训练模型，根据训练集与验证集数据选择出最优的参数与配置，因此分类模型仅适用于目标主体，主体间泛化能力弱，将其应用于其他主体则效果不佳。这也就导致了当新主体参与实验时，必须对其采集足够量的校准数据，才能训练出合适的模型，这大大增加了脑机接口系统实际应用的难度。

在基于运动想象脑电信号识别的脑机接口系统中，脑电信号的个体差异性给研究造成了巨大的困难。这种个体差异主要由主体间的解剖学差异、行为习惯差异、反应行为差异和脑自发低频震荡差异等原因造成的。具体来说，运动想象相关信号段的位置与长度(有效信号段)因人而异，运动想象事件相关去同步化与事件相关同步化在脑电信号上体现最显著的频带(有效频带)因人而异等。目前对单主体独立建模的方法通常利用频谱分析技术和共空间模式算法提取特征，再针对目标主体通过特征选择等技术手段选择最佳模型配置以提高算法表现，回避了个体差异的影响，所以此类特征对个体间有效信号段与有效频带差异敏感，导致模型的主体间泛化能力弱，对某主体最优的特征与模型在用于其他主体就得不到满意的效果，无法满足多主体运动想象脑机接口的要求。如何从多主体脑电中提取对个体差异具有不变性的特征是多主体脑机接口系统技术的难点。

发明内容

本发明的目的是提供一种基于深度特征学习的多受试者运动想象脑电信号识别方法，解决了现有技术中存在的针对单受试者建模，模型仅适用于目标受试者，受试者间泛化能力弱的问题。

本发明所采用的技术方案，基于深度特征学习的多受试者运动想象脑电信号识别方法，具体如下：

步骤1：通过脑电采集设备采集运动想象时受试者的脑电信号；

步骤2：构造一种基于卷积自编码器的运动想象脑电信号特征学习模型；

步骤3：基于深度特征的不变性评价方法与判别性评价方法选择出多主体脑电信号的不变性特征，在不变性特征所在网络层后加全连接层与Softmax分类层构成了多主体运动想象脑电信号识别模型；

步骤4：利用同源脑电信号与经过样本迁移的异源脑电信号组成扩展同源数据集训练脑电信号识别模型，充分训练的模型用于多主体运动想象脑电信号识别。

本发明的特点还在于，

步骤2：构造脑电信号特征学习模型方法如下：

步骤2.1：基于小波包分解技术将脑电信号转化为小波包时频谱图，再将不同通道的脑电信号时频谱图堆叠，形成三维脑电信号时频空域表示；

步骤2.2：将步骤2.1的三维脑电信号时频空域表示输入以两个空间滤波器原型组成的空间滤波器层，空间滤波器层的输出合并原三维脑电信号时频空域表示输入卷积自编码器，卷积自编码器结构由编码层与解码层组成，编码层包含多个卷积层与池化层的堆叠，经过编码层得到输入信号的隐含表示，解码层包括多个上采样层与卷积层的堆叠，经过解码层得到输入信号的重建；

步骤2.3：利用脑电信号数据增广技术扩充脑电信号训练集，基于反向传播算法与梯度下降算法，训练基于卷积自编码器的运动想象脑电信号特征学习模型，得到运动想象脑电信号的特征学习模型。

步骤3特征的不变性评价方法具体如下：

首先，脑电信号通过卷积运算得到特征图；

其次，计算特征图激活值的直方图，并将其归一化为相对频率分布形式；

再次，两个频率分布函数的相对熵用于度量两个特征图的差异度，相对熵计算如下：

其中，p(x)，q(x)是两个不同特征图的激活值直方图频率分布函数，K是卷积算子，由于相对熵不具备对称性，采用两种相对熵的和作为两个特征图的差异度量如式(5)：

KL′(p，q)＝KL(p，q)+KL(q，p) (5)

多个特征图的差异度由所有特征图二元组的差异度之和度量，如式(6)

P是所有特征图的激活值直方图频率分布函数的集合，p与q是其中元素；

某一卷积算子K的不变性I(K)由其在多受试者同类脑电信号生成特征图间的差异性之和决定,如式(7)：

其中，

是卷积算子K在多受试者训练集第i类脑电信号上生成的特征图的激活值直方图频率分布函数集合，c为训练集中数据类别数；I(K)越小，说明卷积算子K的不变性越好。

步骤3特征的判别性评价方法具体如下：

某一卷积算子的判别性由其在不同类别脑电信号上生成的特征图间的差异性决定，如式(8)：

D(K)＝KLD(P^K) (8)

其中，P^K是卷积算子K在多受试者训练集上生成的特征图的激活值直方图频率分布集合；D(K)越大，说明卷积算子K的判别性越好。

步骤3不变性与判别性特征选择方法

卷积算子评价指标如式(9)：

同时，同时具有较小I(K)和较大D(K)的卷积算子具有更大的S(K),S(K)较大的卷积算子同时具有良好的不变性与判别性，S(K)最大化相当于最大化了类间特征图差异度同时最小化类内特征图差异度；

基于训练数据对卷积自编码器模型中所有卷积算子计算S(K)，选取整个训练集中的S(K)较大的卷积算子，即从大到小排序后前20％的卷积算子，在这些卷积算子运算得到的特征图后连接全连接网络层与Softmax分类层，构成多主体运动想象识别模型。

步骤4中同源脑电信号是利用相同设备与实验范式采集自不同受试者的数据，异源脑电信号是采用不同设备或者实验范式采集的数据。

步骤4中样本迁移异源脑电信号的方法如下：

将采集的异源脑电信号输入卷积自编码器，从不同卷积算子输出不同的特征图，将特征图激活值直方图频率分布函数间的相对熵作为两个脑电样本在某一卷积算子特征空间的差异性度量，将所有卷积算子特征空间的差异性之和作为两个脑电样本的差异性度量，如式(10):

其中，e与f是两个脑电信号样本，S是选中卷积算子集合，K是某选中卷积算子，K(e)与K(f)是异源脑电信号基于卷积算子K的特征图的激活值直方图频率分布函数；

基于卷积算子特征不变性，对同源脑电信号中所有相同类别脑电信号的特征图激活值累积，建立唯一直方图频率分布函数，用于计算异源数据样本与同源数据间的差异度，最后，选择异源数据中差异度小，即相似度高的脑电样本扩展同源数据集，得到扩展同源数据集。

步骤2.3脑电信号数据增广技术包括：

①脑两侧信号互换

对于单侧肢体运动想象，对侧脑电信号与同侧脑电信号差异是识别的主要依据，因此将两侧脑电信号互换并改变样本类别，可被视为对侧肢体运动想象。而对于非单侧肢体运动想象，将两侧脑电信号互换并不改变类别，可被视为同类运动想象；

②多通道脑电信号取通道子集

采用左、右两侧大脑感觉运动区单通道加上大脑中央单通道组成三通道脑电信号用于左右上肢二分类运动想象识别模型训练，因此可从多通道数据中随机选取满足位置要求的三通道脑电信号，作为扩充训练新样本；

③同类数据平均

同一受试者相同类别脑电信号时频谱随机选取并平均作为新样本；

④适度裁剪与平移

对脑电信号时频谱在保留主要时频分量的基础上进行适度裁剪与平移，得到扩充训练新样本；

⑤强度变化

对时频谱中信号幅值进行适度变化，得到扩充训练新样本；

⑥叠加多个数据增广方法

对上述①-⑤脑电信号数据增广方法进行随机选取叠加，得到扩充脑电信号样本集。

本发明的有益效果是，本发明提出的基于深度特征学习的多受试者运动想象脑电信号识别方法通过多受试者脑电信号中的不变性深度特征学习技术，构造了具有受试者间泛化能力的通用运动想象识别模型，解决了现有技术中对单受试者独立建模，受试者间泛化能力弱，模型应用于其他受试者时识别效果较差的问题。本发明的成功实施，使新受试者加入时无需采集标定数据，而达到显著降低脑机接口的应用难度，使新主体即来即用，对脑机接口从实验室走向实际应用具有重要的推动作用。

附图说明

图1是本发明基于深度特征学习的多受试者运动想象脑电信号识别方法的结构流程图；

图2是本发明基于卷积自编码器示意图的特征学习模型；

图3是本发明多主体运动想象脑电信号识别模型。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于深度特征学习的多受试者运动想象脑电信号识别方法的流程如图1所示，具体如下：

步骤2构造脑电信号特征学习模型方法如下：

步骤3：基于深度特征的不变性评价方法与判别性评价方法选择出多主体脑电信号的不变性特征，在不变性特征所在网络层后加全连接层与Softmax分类层构成了多主体运动想象脑电信号识别模型，

1、运动想象脑电信号的特征学习模型

针对多主体运动想象脑电信号的特点，本发明首先构造一种基于空间滤波的卷积自编码器用于特征学习，如图2所示。具体来说，首先利用小波包分解算法计算脑电信号时频谱(图中以脑电信号通道名表示为C3、Cz与C4)，再将不同通道的脑电信号堆叠，形成三维脑电信号的时频空域表示。其次，输入空间滤波器层，时频谱与空间滤波后的时频谱(图2中表示为FC1与FC2，以两个空间滤波器原型组成空间滤波器层为例)合并输入卷积自编码器。卷积自编码器结构由编码层与解码层组成，编码层包含多个卷积层与池化层的堆叠，经过编码层得到输入信号的隐含表示，解码层包括多个上采样层与卷积层的堆叠，经过解码层得到输入信号的重建。最后利用脑电信号数据增广技术，基于反向传播算法与梯度下降算法，训练基于卷积自编码器的运动想象脑电信号特征学习模型，组成了运动想象脑电信号的特征学习模型。

(1)基于卷积网络模型的不变性特征表示

时序波形可以认为是频率分辨率最小，时间分辨率最大的信号表示方法；相反，频谱可以认为是时间分辨率最小而频率分辨率最大的信号表示方法。本发明中，首先利用小波包分解时频分析方法，通过小波包层数选择折衷时间分辨率与频率分辨率，将信号变换为二维时频谱(Time-Frequency Spectrogram)表示WP^m(i,k)，其中i是频率分量的编号，k是频率分量系数的编号，m是EEG通道的编号。将多个通道的时频谱堆叠构成了具有频率维度、时间维度与空间维度的三维空间时频谱WP(m,i,k)。脑电信号的三维空间时频谱表示作为深度特征学习模型的输入。

(2)基于空间滤波层的时频谱预处理

共空间模式在运动想象识别中应用广泛，基于共空间模式算法在卷积模型训练前加入先验知识能够降低训练难度并提高模型表现。共空间模式及其改进算法在近年来取得了令人瞩目的成果，其针对两类运动想象分类，通过协方差矩阵对角化，构建使两类信号方差比最大或最小的空间滤波器P来对原始信号预处理，如(1)：

Z＝P·WPⁱ(m，k) (1)

其中，Z是空间滤波后i频带上的多通道信号，WPⁱ(m，k)是M×K的脑电信号矩阵，M是脑电信号通道数，K是脑电信号时频谱中频带i上的系数个数。对于不同主体与不同频带，构建的空间滤波器各不相同。

本发明基于不同主体不同频带小波包时频谱图计算空间滤波器，利用K-means聚类算法从中学习空间滤波器原型，将原始时频谱与通过空间滤波层的时频谱堆叠作为卷积自编码器的输入，通过这种方式将先验知识引入卷积网络构建。具体地，例如每位受试者采集了C3，Cz，C4三个通道的脑电信号，那么求得空间滤波器为一组三维向量(P_C3，P_Cz，P_C4),因为共空间模式算法的选择的是将两类信号方差比最大化(和最小化)的空间滤波器，向量长度与方向不影响空间滤波器作用，所以将其标准化为单位向量，且令C3通道权重

为正，如(2)：

其中，sgn()是符号函数。本发明在每类空间滤波器内部利用K-means聚类方法得到S个空间滤波器原型，由空间滤波器原型组成空间滤波层，预处理脑电信号时频谱，为卷积网络模型特征学习加入先验信息，其中S是依据经验设置的超参数，控制了空间滤波器的原型个数。

(3)基于卷积自编码器的运动想象脑电信号特征学习模型

本发明构造了一种卷积自编码器模型基于空间滤波层预处理后的脑电信号三维时频空域表示进行特征学习。脑电信号时频谱与空间滤波后的时频谱(图2中表示为FC1与FC2，图中以两个空间滤波器原型组成空间滤波器层为例)合并输入卷积自编码器。卷积自编码器结构由编码层与解码层组成，编码层包含多个卷积层与池化层的堆叠，经过编码层得到输入信号的隐含表示，解码层包括多个上采样层与卷积层的堆叠，经过解码层得到输入信号的重建。训练目标最小化均方误差代价函数，如(3)所示：

其中x_i与y_i分别表示卷积自编码器的输入与输出信号，采用误差反传方式进行训练，利用随机梯度下降算法优化参数。

具体地，本发明使用的卷积自编码器结构如表1所示，其中Conv表示卷积层，ReLU表示利用线性整流函数作为激活函数(Rectified Linear Unit)，MaxPool表示最大池化层，UpSampling表示上采样层，M是脑电信号通道数，S是空间滤波器原型个数，I是选中频带总数，K是某频率分量中系数总数。

表1卷积自编码器结构

(4)基于脑电信号数据增广技术的网络训练

对于卷积网络模型，近年来在图像领域取得成功的一个重要条件是海量训练数据集，而脑电信号识别问题由于数据采集难度大，成本高，所以无法获取类似规模的数据集，所以如何解决数据问题就成了技术成功的关键。数据增广技术在扩充训练数据集、抑制过拟合上有非常出色的效果，在神经网络训练中应用非常广泛，能够极大程度缓解脑电信号数据量小引起的模型过拟合，因此本发明针对运动想象脑电信号特点，采取多种数据增广方法对已有训练数据进行扩展：

1)脑两侧信号互换

对于单侧肢体运动想象，对侧脑电信号与同侧脑电信号差异是识别的主要依据，因此将两侧脑电信号互换并改变样本类别，可被视为对侧肢体运动想象。而对于非单侧肢体运动想象，将两侧脑电信号互换并不改变类别，可被视为同类运动想象。

2)多通道脑电信号取通道子集

对于左右单侧上肢运动想象二分类问题，二至三通道脑电信号就可用于运动想象识别，如第三届国际脑机接口大赛数据集3b与第四届国际脑机接口大赛数据集2b。本发明采用左、右两侧大脑感觉运动区单通道加上大脑中央单通道组成三通道脑电信号用于左右上肢二分类运动想象识别模型训练，因此可从多通道数据中随机选取满足位置要求的三通道脑电信号，扩充训练样本。

3)同类数据平均

同一受试者相同类别脑电信号时频谱随机选取并平均作为新样本。

4)适度裁剪与平移

对脑电信号时频谱中在保留主要时频分量的基础上进行适度裁剪与平移。

5)强度变化

对时频谱中信号幅值进行适度变化。

6)叠加多个数据增广方法

对上述脑电信号数据增广方法进行随机选取叠加。

通过上述数据增广技术可以克服脑电信号训练样本数量有限的问题，再利用反向传播算法与梯度下降算法对基于卷积自编码器的运动想象脑电信号特征学习模型。

2、多主体脑电信号的不变性特征选择方法

卷积自编码器的编码层(隐含表示前网络)通常在具体任务中作为特征提取层使用，通过卷积运算可以得到特征图，隐含表示层中特征图都是重构输入数据的重要组件，蕴含了输入信号的重要局部结构信息。但是其中哪些卷积算子生成特征图对于多主体脑电信号的个体差异具有不变性？哪些卷积算子生成特征图对于识别任务具有良好判别性？编码层与解码层内部是否也存在有效特征图？对特征图的选择就是对应卷积算子的选择，也就是对识别模型结构的选择，极大影响了最终识别精度。针对这些问题，本发明提出特征的不变性评价方法和判别性评价方法，并构建一种多主体脑电信号的不变性特征选择方法，用于基于多主体运动想象识别的卷积网络模型的设计。

(1)特征的不变性评价方法

如果不同受试者脑电信号在同一卷积算子上生成的特征图相似度高，则此卷积算子被认为具有良好的个体差异不变性，能够生成不变性特征图。

两个特征图的激活值直方图频率分布的相对熵被用于评价其差异度(相似度)。首先，脑电信号通过卷积运算得到特征图，其次，计算特征图激活值的直方图，并将其归一化为相对频率分布形式，再次，两个频率分布函数的相对熵用于度量两个特征图的差异度。相对熵计算如(4)：

其中，p(x)，q(x)是两个特征图的激活值直方图频率分布函数。相对熵，最早用在信号处理上，用于度量两段信号的相似程度，在这里被用来度量特征图差异度。由于相对熵不具备对称性，所以采用两种相对熵的和作为两个特征图的差异度量如(5)：

KL′(p，q)＝KL(p，q)+KL(q，p) (5)

多个特征图的差异度由所有特征图二元组的差异度之和度量，如(6)

P是所有特征图的激活值直方图频率分布函数的集合，p与q是其中元素。最终，某一卷积算子K的不变性I(K)由其在多受试者同类脑电信号生成特征图间的差异性之和决定,如(7)：

其中

是卷积算子K在多受试者训练集第i类脑电信号上生成的特征图的激活值直方图频率分布函数集合，c为训练集中数据类别数。I(K)越小，说明卷积算子K的不变性越好。

(2)特征的判别性评价方法

如果仅基于不变性，单纯选择差异性小的特征图对应的卷积算子，就倾向于得到对任意输入恒定输出的卷积算子(比如权重全为0)，使识别模型失去判别性，所以判别性是特征选择时需要考虑的另一关键因素。

在本发明中，某一卷积算子的判别性由其在不同类别脑电信号上生成的特征图间的差异性决定，如(8)：

D(K)＝KID(P^K) (8)

其中P^K是卷积算子K在多受试者训练集上生成的特征图的激活值直方图频率分布集合。D(K)越大，说明卷积算子K的判别性越好。

(3)基于不变性与判别性的特征选择方法

我们综合卷积算子的不变性与判别性评价方法，提出卷积算子评价指标如(9)：

同时，最小化I(K)且最大化D(K),S(K)较大的卷积算子兼顾良好的不变性与判别性，相当于最大化了类间特征图差异度同时最小化类内特征图差异度。

基于训练数据对卷积自编码器模型中所有卷积算子计算S(K)，选取S(K较大的卷积算子，即从大到小排序后前20％的卷积算子，在这些卷积算子运算得到的特征图后连接全连接网络与Softmax分类层，构成多主体运动想象识别模型。

3、多主体运动想象识别的迁移学习方法

迁移学习，是一种将源领域中学习到的知识应用到目标领域上的机器学习算法。在多主体运动想象识别中，利用相同实验设备与方案采集到的同源数据数量有限，因此充分利用进行类似运动想象的异源脑电数据，并成功完成迁移学习，就成为模型成功的关键。本发明通过模型迁移与样本迁移两种方式挖掘异源数据价值，提出基于迁移学习的多主体运动想象识别方法。

表2已有多主体运动想象脑电信号数据集统计(注：此数据集单个样本时长为2分钟)

(1)同源脑电数据与异源脑电数据

本发明利用已收集到多个基于运动想象识别的脑电信号数据集，具体统计情况如表2所示。对于左、右上肢运动想象二分类识别任务，现已有采集自159位受试者，总数超过18000的样本，数据已初具规模，已能为二分类多主体运动想象识别提供数据支持。模型构建前首先需要以目标任务确定同源数据与异源数据，利用相同设备与实验范式采集自不同受试者的数据被称为同源数据，而采用不同设备或者实验范式采集的数据被称为异源数据。例如以第四届国际脑机接口大赛2b数据集中的左右手运动想象二分类问题作为目标任务，那么此数据集为同源数据，而表中其他数据集可作为异源数据使用。

(2)样本迁移

同源数据数量有限，本发明利用样本迁移方法将异源数据中相似的脑电样本结合同源数据集组成扩展同源数据集，扩大训练样本数量，用于促进识别模型高效训练。

为了筛选用于样本迁移的脑电样本，需要样本差异性评价方法，本发明将两个样本在特征空间的距离作为其差异性评价。具体来说，将样本输入已预训练的卷积自编码器，从不同卷积算子输出不同的特征图，这些特征图就是样本在特征空间的映射。将特征图激活值直方图频率分布函数间的相对熵作为两个脑电样本在某一卷积算子特征空间的差异性度量；将所有卷积算子特征空间的差异性之和作为两个脑电样本的差异性度量，如(10):

其中e与f是两个脑电信号样本，S是选中卷积算子集合，K是某选中卷积算子，K(e)与K(f)是脑电信号样本基于卷积算子K的特征图的激活值直方图频率分布函数。为了降低计算量，基于卷积算子特征不变性，对同源数据中所有相同类别脑电信号的特征图激活值累积，建立唯一直方图频率分布函数，用于计算异源数据样本与同源数据间的差异度。最后，选择异源数据中差异度小，即相似度高的脑电样本扩展同源数据集。

(3)模型迁移

模型迁移是把源任务中的成功模型迁移至目标任务，作为模型初始化方式，它可能带来的三种益处：1.更高的起点，在微调之前，与不使用模型迁移的随机初始化模型相比，源模型的初始性能更高。2.更高的斜率，在训练的过程中源模型提升的速率更快。3.更高的渐进，训练得到的模型的收敛性能更好。因此，我们将基于异源数据生成的卷积自编码器模型中不变性特征迁移至目标任务。

首先，基于异源数据计算空间滤波器层，预训练用于特征学习的卷积自编码器模型。其次，基于同源数据对已训练卷积自编码器模型中的卷积算子进行选择。再次，在选中卷积算子后连接全连接特征融合层与Softmax分类器层，组成多主体运动想象识别模型，如图3所示，因为选中卷积算子位于不同网络层上，所以形成类似残差网络(ResNet)结构，有利于误差反传，提高训练效率。最后，基于扩展同源数据集微调模型，得到最终多主体运动想象识别模型。