CN111914708B - 迁移半监督宽度学习的脑电信号分类方法 - Google Patents

Abstract

本发明涉及一种迁移半监督宽度学习的脑电信号分类方法。本发明使用迁移学习方法对源域和目标域进行最小化最大均值差异。接着使用最大均值差异适配源域和目标域的条件概率分布。进而对JDA方法处理后的无标签样本和有标签样本送入流形正则BLS分类器进行迁移半监督宽度学习分类器的训练。最后对构建的迁移半监督模型进行测试，并与其他方法进行对比。本发明在脑电信号处理、脑机接口系统中具有广阔的应用前景。

Description

迁移半监督宽度学习的脑电信号分类方法

技术领域

本发明属于模式识别领域，通过迁移学习降低无标签风险性样本对分类器影响，并结合流形正则项构造具有安全性质的半监督宽度学习的脑电信号分类方法。

背景技术

脑机接口(Brain-Computer Interface,BCI)是一种只需要利用人脑在受到特定刺激时产生的信号就能控制外部设备或系统的技术，不依赖于正常的外围神经肌肉通道。在生物医学领域，BCI的一个主要应用是帮助病人进行主动康复训练，而脑电信号(Electroencephalography,EEG)是BCI中常用的信号之一，如何使用机器学习方法准确快速识别和分类病人的EEG信号成了现阶段研究热点。

近年来，机器学习在BCI中的研究越来越广泛，现有很多机器学习算法对EEG信号进行分类：支持向量机(Support Vector Machine,SVM)通过核函数将样本映射到高维空间，学习得到一个超平面来对样本进行分类。K近邻(K-Nearest Neighbor,KNN)通过计算距离，如常用的欧式距离来对样本进行分类。极限学习机(Extreme Learning Machine,ELM)是一个单隐层神经网络，由于其输入层和隐层连接权重随机产生且不需要调节，隐层和输出层连接权重可以通过最小二乘法计算获得，所以具有高效性和实时性。

除了传统的机器学习之外，深度学习(Deep Learning,DL)也开始应用于EEG信号的分类，Kumar等提出了一种自适应寻找深度参数阈值的深度学习模型。Tabar等考虑了EEG信号的时空特征，将堆叠式自动编码器和卷积神经网络用于EEG信号的分类，提出了一种从脑电信号中提取时间、频率和位置信息的新输入形式。Wang等使用短时傅里叶变换替代常见的共空间模式(Common Spatial Pattern,CSP)方法进行EEG特征提取，提出了两种新的基于卷积神经网络和长短时记忆的深度学习模型。但是，深度学习需要大量的训练时间且计算量庞大，为此，陈俊龙教授提出了一种宽度学习算法(Broad Learning System,BLS)，在简化分类器结构和减少训练时常的同时其分类准确度仍然接近深度学习分类准确度。Zou等提出一种新的结合共空间模式和宽度学习的多类脑电信号分类的算法，其结果表明宽度学习也适用于脑电信号分类领域。

然而，上述的方法都属于有监督学习，只使用有标签样本。而现实生活中无标签样本远远多于有标签样本，故近几年半监督算法在脑电信号分类领域逐渐受到广泛关注。Chen等提出了半监督最小二乘方法(Laplacian RLS,LapRLS)用于定位无线传感器网络。Melacci等提出半监督支持向量机(Laplacian SVM,LapSVM)，使用无标签样本使得分类器性能优于有监督SVM。Huang等提出了半监督极限学习机(Semi-Supervised ELM,SS-ELM)，在原有的ELM方法上引入流形正则项，使得算法可以利用无标签样本的信息进行训练，不仅保留其训练速度快的特点，而且模型的泛化性能也得到提升。She等提出了基于图的半监督宽度学习算法用于分类脑电信号，通过标签扩散法获得无标签样本的伪标签，进而训练半监督宽度学习分类器。

现阶段的半监督学习算法都遵循一个普遍的共识，即无标签样本的加入可以提升分类器性能，然而，最近有几项研究指出无标签样本加入到半监督学习中存在损害分类器性能的可能，原因是无标签样本中可能会带有危险信息。为此，一些专家学者展开了研究，他们通过自己的理论和实验证实了无标签样本确实有潜在风险。这种风险的存在是因为有些无标签样本的特性不符合流行假设，最终训练得到的模型并不是该数据集特征分布的实质体现。所以，研究安全半监督的目的就是寻找一种安全的策略，来保障半监督学习算法的性能不会衰退，然而目前安全半监督学习研究还处在不断发展过程中，尤其是基于安全半监督学习的BCI研究非常缺乏，还需要付出更多的努力来进行深入研究。

发明内容

本发明针对现有的技术存在的不足，提出了一种迁移半监督宽度学习的脑电信号分类方法。

本发明包括以下步骤：

步骤(1)、将脑电数据集分为训练样本Y＝[Y^l,Y^u]，辅助样本/>X和X_f表示训练样本和辅助样本，Y和Y_f表示样本和辅助样本标签。Y^l表示有标签样本的标签，Y^u表示无标签样本标签，初始默认为全0向量。l表示有标签样本数，u表示无标签样本数，t表示辅助样本数，D表示样本维数，C₀表示标签类别数。

假定辅助样本为源域，无标签样本为目标域，对源域和目标域使用联合分布自适应方法(Joint Distribution Adaptation,JDA)，首先使用最大均值差异(Maximum meandiscrepancy,MMD)来最小化源域和目标域的最大均值差异，MMD距离为：

其中，A是变换矩阵，A^T是A的转置矩阵。分别是源域和目标域样本，在引入核方法后公式(1)简化为：

其中，X_st是源域和目标域合并的数据，M₀是MMD矩阵。

步骤(2)、使用MMD适配源域和目标域的条件概率分布，类与类之间的MMD距离表示为：

其中，t_c,u_c分别是源域和目标域中来自第c类的样本个数，同边缘适配一致，使用核方法得到公式(4)：

其中，M_c是MMD矩阵，tr(·)表示矩阵的迹，D_s ^(c),D_t ^(c)分别表示第c类的源域数据集和目标域数据集。

步骤(3)、对JDA方法处理后的无标签样本和有标签样本送入流形正则BLS分类器进行迁移半监督宽度学习(Transfer Semi-Supervised BLS,TSS-BLS)分类器的训练。

具体是：将X通过线性映射函数生成特征向量Z_i：

Z_i＝φ_i(XW_i+β_i),i∈N_w (5)

其中，W_i是随机权值矩阵，β_i是随机偏差，N_w为特征向量数目，φ(·)为激活函数。进而增强层可以表示为：

其中，W_j为随机权值矩阵，β_j为随机偏差，M_w为增强特征向量数目，φ(·)为一激活函数。同宽度学习一样，这里的激活函数都用线性函数表示。最后，将流形正则项加入到宽度学习中，使之利用无标签样本信息，同时将迁移后得到的伪标签加入到流形正则项中，得到了迁移半监督宽度学习的目标函数：

其中，dis＝A^TX_stM_cX_st ^TA，是正则项，F_tbls＝A_tblsW_tbls，/>W_tbls表示随机权值矩阵。/>是样本标签，其中前l为有标签样本的标签Y^l，剩下的是伪标签Y^u。θ,λ₀分别是两个设定参数。L是拉普拉斯矩阵，可由式(8)和对角矩阵D求得：L＝D-W_w。H是一个中心矩阵，H＝I_t+u-1/(t+u)11^T。

其中，W_w是由w_ij构成，D是一个对角矩阵且每个对角元素为d_i＝∑_jw_ij。I_t+u表示单位矩阵，11^T表示1向量和其转置。

步骤(4)、根据步骤(3)中得出的TSS-BLS模型，对其A和W_tbls进行求解，其求解如下所示：

当固定W_tbls求解A时，目标函数可以写成：

该式可由拉格朗日法求解，最后变成：

其中Θ是拉格朗日乘子，由此可求解得到A且得到无标签样本的伪标签。

当固定A求解W_tbls时，目标函数可以写成：

将F_tbls＝A_tblsW_tbls代式(11)后用梯度下降法并将方程置0求解。

其中是特征节点和增强节点个数和的单位矩阵。当样本个数小于节点数时，会产生无穷多个解。于是，本发明在用梯度下降法对公式(11)进行求解后，在其两边同时乘(A_tblsA_tbls ^T)^-1A_tbls，可得：

步骤(5)、当训练好TSS-BLS模型后，将所有无标签测试样本送入分类器进行测试，获得输出向量值，依据向量中对应类别值最大的类别序号确定测试的类别。

本发明与已有的运动想象脑电信号分类方法相比，具有如下有益效果：

1、将带有无标签样本伪标签的流形正则项引入BLS中，构造了流形正则项的半监督分类器。

脑电信号分类的方法有很多，从最早期的支持向量机、近邻法、到最近火热的神经网络、深度学习等。支持向量机主要用于二分类问题，近邻法是根据待测样本与有标签样本的距离来判定待测样本的标签，形式过于简单，容易受到噪声等干扰。而深度学习由于其多层框架结构和过多的训练参数，导致其训练时间过长。这对于一个实时的脑机接口系统设计是非常不利的，必须有效地提高模型的训练速率。而BLS的实质是随机向量函数链接神经网络，其特点是层数少，待优化参数少，训练时间短和准确度高。本发明就采用BLS作为脑电信号分类的分类器，可以有效的解决训练耗时问题，此外，考虑到脑电信号的有标签样本数远少于无标签样本数问题，将流形正则项和BLS方法结合，建立了半监督BLS模型，使得分类性能得到提升，所以本发明兼顾了模型的训练耗时降低和性能的提升。

2、引入迁移学习方法JDA对无标签样本进行迁移，降低了无标签样本的风险性问题。

现阶段的半监督算法默认加入的无标签样本都有助于提高分类器的准确度，然而近几年的研究成果表明，无标签样本的加入可能导致分类器性能下降。换言之存在部分无标签样本可能与有标签样本分布不同，即条件分布或边缘分布不同。而迁移学习中的数据分布自适应方法正是为了解决目标域和源域数据分布不同的情况，所以本发明提出了一种迁移半监督宽度学习算法，旨在解决无标签样本存在部分样本导致分类器性能下降的问题。

附图说明

图1为本发明的实施流程图。

具体实施方式

下面结合附图详细描述本发明基于迁移半监督宽度学习分类方法，图1为实施流程图。

如图1，本发明方法的实施主要包括四个步骤：(1)使用迁移学习方法对源域和目标域进行最小化最大均值差异；(2)使用最大均值差异适配源域和目标域的条件概率分布；(3)对JDA方法处理后的无标签样本和有标签样本送入流形正则BLS分类器进行迁移半监督宽度学习分类器的训练；(4)对构建的迁移半监督模型进行测试，并与其他算法进行对比。

下面逐一对各步骤进行详细说明。

步骤(1)、将脑电数据集分为训练样本Y＝[Y^l,Y^u]，辅助样本/>X和X_f表示训练样本和辅助样本，Y和Y_f表示样本和辅助样本标签。Y^l表示有标签样本的标签，Y^u表示无标签样本标签，初始默认为全0向量。l表示有标签样本数，u表示无标签样本数，t表示辅助样本数，D表示样本维数，C₀表示标签类别数。本发明的样本集中，有9位受试者的4分类运动想象脑电数据，5个受试者的2分类运动想象脑电数据，3个受试者的2分类运动想象脑电数据。4分类运动想象脑电数据和2分类运动想象脑电数据训练样本中有标签和无标签样本的比例分别为1:9。

假定辅助样本为源域，无标签样本为目标域，对源域和目标域使用联合分布自适应方法(Joint Distribution Adaptation,JDA)，首先使用最大均值差异(Maximum meandiscrepancy,MMD)来最小化源域和目标域的最大均值差异，MMD距离为：

其中，A是变换矩阵，A^T是A的转置矩阵。分别是源域和目标域样本，在引入核方法后公式(1)简化为：

其中，X_st是源域和目标域合并的数据，M₀是MMD矩阵。

步骤(2)、使用MMD适配源域和目标域的条件概率分布，类与类之间的MMD距离表示为：

其中，t_c,u_c分别是源域和目标域中来自第c类的样本个数，同边缘适配一致，使用核方法得到公式(4)：

其中，M_c是MMD矩阵，tr(·)表示矩阵的迹，D_s ^(c),D_t ^(c)分别表示第c类的源域数据集和目标域数据集。

步骤(3)、对JDA方法处理后的无标签样本和有标签样本送入流形正则BLS分类器进行迁移半监督宽度学习(Transfer Semi-Supervised BLS,TSS-BLS)分类器的训练。

具体是：将X通过线性映射函数生成特征向量Z_i：

Z_i＝φ_i(XW_i+β_i),i∈N_w (5)

其中，W_i是随机权值矩阵，β_i是随机偏差，N_w为特征向量数目，φ(·)为激活函数。进而增强层可以表示为：

其中，W_j为随机权值矩阵，β_j为随机偏差，M_w为增强特征向量数目，φ(·)为一激活函数。同宽度学习一样，这里的激活函数都用线性函数表示。最后，将流形正则项加入到宽度学习中，使之利用无标签样本信息，同时将迁移后得到的伪标签加入到流形正则项中，得到了迁移半监督宽度学习的目标函数：

其中，dis＝A^TX_stM_cX_st ^TA，是正则项，F_tbls＝A_tblsW_tbls，/>W_tbls表示随机权值矩阵。/>是样本标签，其中前l为有标签样本的标签Y^l，剩下的是伪标签Y^u。θ,λ₀分别是两个设定参数。L是拉普拉斯矩阵，可由式(8)和对角矩阵D求得：L＝D-W_w。H是一个中心矩阵，H＝I_t+u-1/(t+u)11^T。

其中，W_w是由w_ij构成，D是一个对角矩阵且每个对角元素为d_i＝∑_jw_ij。I_t+u表示单位矩阵，11^T表示1向量和其转置。

步骤(4)、根据步骤(3)中得出的TSS-BLS模型，对其A和W_tbls进行求解，其求解如下所示：

当固定W_tbls求解A时，目标函数可以写成：

该式可由拉格朗日法求解，最后变成：

其中Θ是拉格朗日乘子，由此可求解得到A且得到无标签样本的伪标签。

当固定A求解W_tbls时，目标函数可以写成：

将F_tbls＝A_tblsW_tbls代式(11)后用梯度下降法并将方程置0求解。

其中是特征节点和增强节点个数和的单位矩阵。当样本个数小于节点数时，会产生无穷多个解。于是，本发明在用梯度下降法对公式(11)进行求解后，在其两边同时乘(A_tblsA_tbls ^T)^-1A_tbls，可得：

最后，当训练好TSS-BLS模型后，将所有无标签测试样本送入分类器进行测试，获得输出向量值，依据向量中对应类别值最大的类别序号确定测试的类别，统计测试出的类别与真实标签的一致性程度，用预测正确的类别数除以总的测试样本数，即为本发明方法的最终测试精度，并与对比方法比较性能，其中在分类精度体现上，本发明方法利用了针对多分类更具可靠性的kappa值来分析性能，最终结果体现出本发明方法的有效性。

为了验证本发明在脑电信号分类研究中的真实分类性能，实验部分将本发明与ELM、SS-ELM、HELM、SVM、LapSVM、BLS、GSS-BLS方法在BCI竞赛IV DatasetⅡa以及DatasetⅣa的数据进行性能比较，通过测试分类精度的kappa系数来衡量本发明在脑电信号分类领域的可行性。

表1 BCI CompetitionⅣDatasetⅡa的各方法kappa值

表1可以看出TSS-BLS算法在8个数据集上的kappa值优于其他对比算法，其平均kappa值显示TSS-BLS的值也是最好的。在A4、A7和A9数据集上，GSS-BLS的kappa值略低于BLS，分别为A4(0.257):A4(0.294)，A7(0.343):A7(0.532)，A9(0.613):A9(0.701)，这其中的原因是GSS-BLS中风险性样本对分类器性能影响较大，但在TSS-BLS上得到了优化，kappa值结果优于半监督和有监督算法。A2、A4、A5和A6受试者的kappa值都很低，其原因在于EEG数据本身存在信噪比低、不稳定性、时变性等，导致数据分类结果受到影响，但是TSS-BLS仍然取得最优的结果。从上述表格可以看出，TSS-BLS在4分类数据集上有明显的提升。同样的，本发明在2分类测试集上做了相同的实验，结果如表2和表3所示。

表2 BCI CompetitionⅢDataset IVa的各方法的kappa值

表3 BCI CompetitionⅢDataset IIIa的各方法的kappa值

表2和表3可以看出，TSS-BLS结果在部分数据集上优于对比方法，分别是B1，B4，B5，C1和C2。从平均kappa值看，TSS-BLS在两个数据集上结果优于其他算法。C2数据集的所有算法的kappa值均很低，这是由于C2数据集本身存在信噪比低、不稳定性、时变性等问题，而且由于C2训练样本过少，导致其分类器存在欠拟合问题。

从上述三个数据集可以看出，TSS-BLS在实验上取得良好的结果，在大多受试者上明显优于其他对比方法，这证明本文提出的算法是可行的。且在A4、A7和A9上，半监督宽度的结果低于有监督宽度时，TSS-BLS算法能优于这两个算法，证实了TSS-BLS存在降低风险性样本的能力。

综上，本发明提出了迁移半监督宽度学习方法，通过迁移学习降低无标签风险性样本对分类器影响，并结合流形正则项构造具有安全性质的半监督宽度学习的脑电信号分类方法。

Claims (1)

1.迁移半监督宽度学习的脑电信号分类方法，其特征在于：该方法包括以下主要步骤：

步骤(1)、将脑电数据集分为训练样本Y＝[Y^l,Y^u]，辅助样本/>X和X_f表示训练样本和辅助样本，Y和Y_f表示样本和辅助样本标签；Y^l表示有标签样本的标签，Y^u表示无标签样本标签，初始默认为全0向量；l表示有标签样本数，u表示无标签样本数，t表示辅助样本数，D表示样本维数，C₀表示标签类别数；

在样本集中，有9位受试者的4分类运动想象脑电数据，5个受试者的2分类运动想象脑电数据，3个受试者的2分类运动想象脑电数据；4分类运动想象脑电数据和2分类运动想象脑电数据训练样本中有标签和无标签样本的比例分别为1:9；

假定辅助样本为源域，无标签样本为目标域，对源域和目标域使用联合分布自适应方法，首先使用最大均值差异MMD来最小化源域和目标域的最大均值差异，MMD距离为：

其中，A是变换矩阵，A^T是A的转置矩阵；分别是源域和目标域样本，在引入核方法后公式(1)简化为：

其中，X_st是源域和目标域合并的数据，M₀是MMD的矩阵；

步骤(2)、使用MMD适配源域和目标域的条件概率分布，类与类之间的MMD距离表示为：

其中，t_c,u_c分别是源域和目标域中来自第c类的样本个数，同边缘适配一致，使用核方法得到公式(4)：

其中，M_c是MMD矩阵，tr(·)表示矩阵的迹，D_s ^(c),D_t ^(c)分别表示第c类的源域数据集和目标域数据集；

步骤(3)、对联合分布自适应方法处理后的无标签样本和有标签样本送入流形正则BLS分类器进行迁移半监督宽度学习分类器的训练，得到TSS-BLS模型；

具体是：将X通过线性映射函数生成特征向量Z_i：

Z_i＝φ_i(XW_i+β_i),i∈N_w (5)

其中，W_i是随机权值矩阵，β_i是随机偏差，N_w为特征向量数目，φ(·)为激活函数；进而增强层可以表示为：

其中，W_j为随机权值矩阵，β_j为随机偏差，M_w为增强特征向量数目，φ(·)为一激活函数；

将流形正则项加入到宽度学习中，使之利用无标签样本信息，同时将迁移后得到的伪标签加入到流形正则项中，得到了迁移半监督宽度学习的目标函数：

其中，dis＝A^TX_stM_cX_st ^TA，是正则项，F_tbls＝A_tblsW_tbls，/>W_tbls表示随机权值矩阵；/>是样本标签，其中前l为有标签样本的标签Y^l，剩下的是伪标签Y^u；θ,λ₀分别是两个设定参数；L是拉普拉斯矩阵，可由式(8)和对角矩阵D求得：L＝D-W_w；H是一个中心矩阵，H＝I_t+u-1/(t+u)11^T；

其中，W_w是由w_ij构成，D是一个对角矩阵且每个对角元素为d_i＝∑_jw_ij；I_t+u表示单位矩阵，11^T表示1向量和其转置；

步骤(4)、对A和W_tbls进行求解，其求解如下所示：

当固定W_tbls求解A时，目标函数变为：

该式可由拉格朗日法求解，最后变成：

其中Θ是拉格朗日乘子，由此可求解得到A且得到无标签样本的伪标签；

当固定A求解W_tbls时，目标函数变为：

将F_tbls＝A_tblsW_tbls代式(11)后用梯度下降法并将方程置0求解；

其中是特征节点和增强节点个数和的单位矩阵；当样本个数小于节点数时，会产生无穷多个解；于是，在用梯度下降法对公式(11)进行求解后，在其两边同时乘(A_tblsA_tbls ^T)^-1A_tbls，可得：

步骤(5)、当训练好TSS-BLS模型后，将所有无标签测试样本送入分类器进行测试，获得输出向量值，依据向量中对应类别值最大的类别序号确定测试的类别。