CN110598728B - 基于图平衡正则化的半监督超限学习机分类方法 - Google Patents

Abstract

本发明涉及一种基于图平衡正则化的半监督超限学习机分类方法。本发明通过非负权值量来平衡基于标签一致性的邻接图和基于信息结构一致性的邻接图，以此来达到图平衡，可以获得最佳图的拉普拉斯正则项来约束模型，并且认为在信息一致性图不能很好的描述样本集的结构信息时，增大标签一致性图的权重，反之则要减小相应的比例。本发明首先通过样本的标签一致性来构造训练样本间的邻接有监督图，与基于样本信息一致性的半监督图组合在一起来约束模型的输出，通过合理的调整图的比重来改变描述数据分布的能力，获得最优的邻接图后得到最佳的输出权值向量。本发明在脑电信号处理、脑机接口系统中具有广阔的应用前景。

Description

基于图平衡正则化的半监督超限学习机分类方法

技术领域

本发明属于模式识别领域，是一种同时利用基于样本标签一致性和信息一致性的图来构造拉普拉斯正则项加入到半监督超限学习机后进行脑电信号分类的方法。

背景技术

脑机接口技术(BCI)是通过脑电信号(EEG)分析方法来实现人机交互的重要手段，而基于运动想象脑电信号分类是BCI技术中的典型范式，其通过脑电信息对运动想象动作进行判别，并将结果转为设备的控制命令来完成相应的想象动作，这可以为意识障碍和中风患者的康复提供很大的帮助，患者可以通过该技术实现机械设备的控制，完成所需的动作。为了准确判别运动想象动作的模式，需要寻找一种合适的算法来准确的描述数据结构的分布，为此有很多的机器学习算法被应用于脑电信号分析中，并能完成一定的判别任务。

为了有效的判别出一组脑电信号的不同模式，很多的机器学习算法被应用于对其进行分类，其中包括：线性判别分析法、神经网络、支持向量机、非线性贝叶斯分类器以及近邻分类器。而后黄等人提出了超限学习机方法，因其训练速度快优于一般的神经网络算法和支持向量机，很快也被应用于脑电信号分析中。而脑电信号存在时变性、个体差异性等性质，对于BCI系统实际运用情况下，传统的有监督学习算法只能利用有标签样本来训练模型分析问题，存在的很大的弊端。而为了进一步的提升模型的适应性和稳定性，面对时变信号的问题，模型的训练需要引入无标签的脑电信号，为此运用半监督算法来分析脑电信号变得更加有意义。半监督算法能同时利用有标签样本和无标签样本的信息进行模型训练，利用无标签样本信息更好的挖掘样本的数据分布，使得分类准确度有所提升。近年来，越来越多的半监督算法应用于脑电信号分类研究中，Nicolas-Alonso等在中利用一种自适应的半监督分类方法解决了多类运动想象脑电信号的非平稳性影响问题，该方法可以通过在线累积的无标签样本加入训练逐渐增强模型性能，为了满足在线BCI分析的要求，采用了一种谱回归和判别分析的方法来减小计算成本，实验结果证实该分析系统具有很强的分类性能。Tian等人将聚类假设和流行假设结合分析，利用多类核学习方法设计出直推式支持向量机(TSVM)，并将其应用于脑电信号分类，取得了不错的效果。Xu等人为了分析脑电信号与情感肢体表达之间的联系，采用了堆叠自编码器和半监督深度置信网络等方法来分析这两者的相关性，实验证实该方法能有效的提取脑电信号关于情感状态的特征，并进行准确的判别。上述方法在脑电信号分类研究中都取得了良好的成绩，但是其作为一种半监督学习算法，却未能很好的考虑样本几何机构分布的对模型的影响。

基于图的方式是研究半监督算法的重要方式，其通过构造有标签和无标签样本之间的平滑邻接图，完成对训练样本的数据分布的描述，依据图的约束来完成模型训练。在邻接图矩阵中相似样本具有相同的标记，这是为了使得图的标记对于样本来说是尽可能平滑的，使得图能准确的描述样本的隐层信息。超限学习机因为其网络结构简单，训练时间短的优势，所以有很多研究对其进行了基于图的模型改进。Huang等人在依据于图的理论进行了模型训练获得半监督超限学习机(SS-ELM)，取得了不错的性能提升。Peng等人通过分析相似性样本之间的一致性属性，提出了基于图的超限学习机方法，并实验证实了此构图方法的可行性。Zhou等人提出了一种基于双流行正则约束的半监督超限学习机方法，很好的展现了图在模型训练中的作用。She等人引入一种安全半监督超限学习机的方法分析脑电信号分类，通过衡量无标签样本构图时的风险程度，加入控制风险机制，最后提高在分类的性能。Yi等人提出一种自适应多图正则化半监督超限学习机方法，不同方式下构造多个样本图来共同描述样本结构信息，其验证了该方法能获得更好的图。

基于图正则化的机器学习算法在样本邻接图的构建时，往往只能单一的利用样本标签一致性构图或通过样本的自身结构信息相似性来构建邻接图，却没有综合考虑两者的协同作用对训练模型的影响。

发明内容

本发明针对现有的技术存在的不足，提出了一种基于图平衡正则化的半监督超限学习机分类方法。

本发明包括以下步骤：

步骤(1)、训练超限学习机基分类器F，预测训练集中的无标签样本。

利用有标签样本集{X_l,Y_l}训练出超限学习机(ELM)基分类器F, 并且利用基分类器F对无标签训练样本集X_u＝{x_l+1,...,x_l+u}进行正确的预测，得到样本的预测标签

得到无标签样本的伪标签以后构造新的样本集合

并记此时的样本数为 N＝l+u。

步骤(2)、利用新的训练样本集合

构造基于标签一致性的邻接图W′；

具体是：有标签样本数为N，则记N_t为第t类样本的个数，并且有N₁+N₂+...+N_c＝N，其中c为总的类别数。基于流行假设的半监督图的构造方式，通过训练样本标签一致性信息，可以定义如下规则的有监督图的邻接矩阵W′：

其中，

和

分别表示样本x_i和x_j在通过隐含层表示后的向量值。有了邻接矩阵W′，基于一般流行假设图的拉普拉斯构造方式，同样可以获得基于标签一致性的图拉普拉斯算子：

L′＝D′-W′ (2)

其中D′为对角阵，第i个对角元素的值为对应列的所有值之和

步骤(3)、将新的图拉普拉斯项结合原始的算子构造新的流行正则项，并加入半监督超限学习机的损失函数中进行训练；

具体是：结合半监督图的拉普拉斯算子L以及有监督图的拉普拉斯算子L′，综合考虑两个图算子同时对分类器性能的影响，则通过一种线性组合的方式来分配两个图的权重，定义新的图拉普拉斯算子为：

L_new＝μL+(1-μ)L′ (3)

其中，μ为平衡图比例的非负权值参数，获得新的图算子构造流行正则项加入到半监督超限学习机(SS-ELM)算法的损失函数中，获得了具有图平衡正则项的半监督超限学习机方法(BGR-SSELM)。将新的损失函数为：

其中，β为网络输出权值向量，参数C称为类间惩罚参数，λ为流行正则项参数，H称为状态矩阵或隐层输出矩阵，Y为样本标签矩阵，关于输出向量的损失函数梯度变化表示如下：

当训练样本数l+u>m隐含层节点数时，利用矩阵求伪逆的方式得到模型的解为：

β＝(I_m+CH^TH+λH^TL_newH)^-1CH^TY (6)

式中，I_m为单位矩阵。同样的，当输入样本X的个数l+u<m时，式(5) 的解为：

β＝H^T(I_l+u+CHH^T+λL_newHH^T)^-1CY (7)

其中，I_l+u是一个l+u维的单位矩阵。

步骤(4)、利用步骤(3)中的隐含层权值计算公式就对测试样本计算出相应的输出向量，并判断相应的类别，测试该算法的性能。

本发明与已有的运动想象脑电信号分类方法相比，具有如下特点：

1、采用半监督超限学习算法对多类脑电信号进行特征分类

很多的机器学习方法被应用于脑电信号分类中，都取得了一定的研究成果，其中包括：线性判别分析法、神经网络、支持向量机、非线性贝叶斯分类器以及近邻分类器。但是这些分类器在进行模型训练时，往往都具有一个共同的劣势，那就是训练的耗时一般都较长，这对于一个实时的脑机接口系统设计是非常不利的，必须有效的提高模型的训练速率。本发明采用结构简单的超限学习机作为脑电信号分析的分类器，可以有效的解决训练耗时问题，并且在此之上，进一步使用基于平衡图正则化的半监督模型，结合无标签样本训练模型，使得分类性能得到提升，所以本发明兼顾了模型的训练耗时降低和性能的提升。

2、引入基于标签一致性的邻接图结合原始的拉普拉斯图来构建平衡的图正则项加入半监督超限学习机算法中

因为在传统的基于图正则化的半监督超限学习机的训练过程中只利用了样本之间结构信息相似性来判定样本之间的关系，这样构建的图具有一定的偏差，不能很好的描述整个样本集的数据分布信息，而导致最终的分类器性能不能达到最佳状态。为此，引入了基于样本标签一致性策略来一同参与构建最终的正则项有助于改善描述的偏差，最终提升整个分类器的性能。所以本发明提出了基于图平衡正则化的半监督学习算法来对脑电信号进行分析研究。既满足了训练速度快的要求，又保证了模型的性能优势。

附图说明

图1为本发明的实施流程图。

具体实施方式

下面结合附图详细描述本发明基于图平衡正则化的半监督超限学习机分类方法，图1为实施流程图。

如图1，本发明方法的实施主要包括四个步骤：(1)用有标记样本训练出基础ELM分类器,并对无标签训练样本进行预测；(2)利用有标签训练样本结合预测样本的标签构造基于标签一致性的邻接图； (3)利用标签一致性的邻接图和原有的信息相似性图组建新的正则项加入损失函数中进行训练；(4)对具有图平衡优势的半监督超限学习机进行分类测试，并对比其它方法得出结论。

下面逐一对各步骤进行详细说明。

步骤(1)、利用BCI的24维脑电信号训练超限学习机基分类器F，预测训练集中的占比50％的无标签样本；

本发明测试的样本集中，有9位受试者的4分类运动想象脑电数据，在进行算法测试时，针对每一个受试者分别进行实验。每位受试者的数据中有288个训练样本和288个测试样本，并且训练样本中有标签和无标签样本的比例分别为1：1。利用144个24维度的有标签样本集{X_l,Y_l}训练出超限学习机(ELM)基分类器F,l为有标签样本的个数，并且利用基分类器F对无标签训练样本集X_u＝{x_l+1,...,x_l+u}进行正确的预测，u为无标签样本个数。进一步得到样本的预测标签

样本的预测标签包括四种分类情况，分别是左手、右手、足和舌头的运行想象任务。在得到无标签样本的伪标签以后构造新的样本集合

并记此时的训练样本总数为 N＝l+u。

步骤(2)、利用新的脑电信号训练样本集合

构造基于标签一致性的邻接图W′；

具体是：有标签样本数为N，则记N_t为第t类样本的个数，即为四种脑电信号分类情况，并且有N₁+N₂+...+N_c＝N，其中c＝4为总的分类数。基于流行假设的半监督图的构造方式，通过训练样本标签一致性信息，可以定义如下规则的有监督图的邻接矩阵W′：

其中

分别表示样本x_i和x_j在通过隐含层表示后的向量值，i和j表示邻接矩阵的行和列数，且α_m表示第m个隐层节点和所有输入节点的连接权值，b_m表示第m个隐层节点的阈值，m为算法网络的隐层节点数，g(·)为激活函数，这里选用sigmod函数。有了邻接矩阵W′，基于一般流行假设图的拉普拉斯构造方式，同样可以获得基于标签一致性的图拉普拉斯算子：

L′＝D′-W′ (2)

其中D′为对角阵，第i个对角元素的值为对应列的所有值之和

步骤(3)、将新的图拉普拉斯项结合原始的算子构造新的流行正则项，并加入半监督超限学习机的损失函数中进行训练；

具体是：结合半监督超限学习机的图的拉普拉斯算子L以及有监督图的拉普拉斯算子L′，综合考虑两个图算子同时对分类器性能的影响，则通过一种线性组合的方式来分配两个图的权重，定义新的图拉普拉斯算子为：

L_new＝μL+(1-μ)L′ (3)

其中μ为平衡图比例的非负权值参数，获得新的图算子构造流行正则项加入到半监督超限学习机(SSELM)算法的损失函数中，获得了具有图平衡正则项的SSELM方法(BGR-SSELM)。将新的损失函数为：

其中β为网络输出权值向量，参数C称为类间惩罚参数，λ为流行正则项参数，H称为状态矩阵或隐层输出矩阵，Y为样本标签矩阵，关于输出向量的损失函数梯度变化表示如下：

当训练样本数l+u>m隐含层节点数时，利用矩阵求伪逆的方式，可以得到模型的解为：

β＝(I_m+CH^TH+λH^TL_newH)^-1CH^TY (6)

式中，I_m为单位矩阵。同样的，当输入样本X的个数l+u<m时，式(5) 的解为：

β＝H^T(I_l+u+CHH^T+λL_newHH^T)^-1CY (7)

其中，I_l+u是一个l+u维的单位矩阵；

步骤(4)、依据步骤(3)中的隐含层权值计算公式就对对脑电信号进行测试，将288个24维训练样本送入基于图平衡正则化的分类器中进行训练，计算出相应的隐含层权值向量，并将该向量值与288测试样本向量分别进行相乘，获得输出向量值，依据向量中对应类别值最大的类别序号确定测试的类别。统计测试出的类别与真实标签的一致性程度，用预测正确的类别数除以总的测试样本数，即为本发明方法的最终测试精度，并与对比方法比较性能，其中在分类精度体现上，本发明方法利用了针对多分类更具可靠性的kappa值来分析性能，最终结果体现出本发明方法通过图的构造方式改变来提高脑电信号分类精度的有效性。

为了验证本发明在脑电信号分类研究中的真实分类性能，充分展现本发明在对标签一致性图和信息相似性图之间达到了一种平衡，获得最佳的样本描述图，使得分类准确率得到了提升。实验部分将本发明与ELM、GELM、SS-ELM、LapSVM以及TSVM等方法在BCI竞赛IV Dataset 2a以及Dataset 4a的数据进行性能比较，通过测试分类精度的kappa系数来衡量本发明在脑电信号分类领域的可行性。

表1给出了所提方法在BCI Competition IV Dataset 2a数据集上的测试结果。从表1可以看出，本发明在所有9位受试者的数据集上都取得最高的kappa值，并且在6种方法对比实验中取得最高的平均 kappa值(0.660)，高于ELM(0.031)，高于GELM(0.008)高于SS-ELM (0.013)，高于LapSVM(0.050)，高于TSVM(0.047),可以看出本发明具有最佳的分类性能，而且有5位(A1,A3,A7,A8,A9)受试者数据的分类精度与真实标签达到高度的一致性，展现出本发明在脑电信号分类中具有一定的价值。从平均测试kappa值上可以看到本文方法比SSELM和GELM方法都要高，这充分说明本发明能够有效在两种图之间寻找一种平衡，使得组合图的性能优于这两种传统图单独的表征能力，从而达到提升性能的效果。

表1各算法在BCI Competition IV Dataset 2a上测试kappa值

同样的，为进一步验证本发明方法的分类性能，将本发明应用于 BCICompetition IV Dataset 4a上进行测试，同样利用kappa值来衡量分类器的分类精度，对比结果如表2所示。

表2各算法在BCI Competition IV Dataset 4a上测试kappa值

观察表2可以发现，本发明在所有受试者实验时都取得了最好的 kappa值，并且平均的kappa值(0.781)也是6种对比方法中最佳的。该实验进一步说明了本发明算法在脑电信号分类研究中的存在一定的优势，可以为脑电信号分类研究提供可能。

综上，本发明提出了基于图平衡正则化的半监督超限学习机算法，其同时结合样本标签和数据一致性构图的优势，通过非负权值平衡两个图的比重，当样本结构信息图难以描述整个样本集时，需要增加标签图权重，当样本信息被真实描述时，就适当降低标签图的权值，通过非负权值参数的自适应调整，可以为对应的训练样本提供最佳的图算子。最后将两种图的线性组合图构造为新的图的拉普拉斯正则项加入到半监督超限学习机的损失函数中，求得最优的隐含层权值，获得了图平衡正则化的半监督超限学习机算法。

Claims (1)

1.一种 基于图平衡正则化的半监督超限学习机分类方法，其特征在于：该方法包括以下主要步骤：

步骤(1)、利用BCI的24维脑电信号训练超限学习机基分类器F，预测训练集中占比50％的无标签样本，具体是：

用于实验的样本集中，有9位受试者的4分类运动想象脑电数据，在测试时，针对每一个受试者分别进行实验；每位受试者的数据中有288个训练样本构成的训练集和288个测试样本构成的测试集，并且在训练集中有标签和无标签样本的比例分别为1：1；

利用含有144个24维度的有标签样本集{X_l,Y_l}训练出超限学习机基分类器F，l为有标签样本的个数，并且利用基分类器F对无标签训练样本集X_u＝{x_l+1,...,x_l+u}进行预测，u为无标签样本个数，从而得到样本的预测标签集

样本的预测标签包括四种分类情况，分别是左手、右手、足和舌头的运行想象任务；在得到无标签样本的预测标签集以后，构造新的训练样本集合

并记此时的训练样本总数为N＝l+u；

步骤(2)、利用新的脑电信号训练样本集合

构造基于标签一致性的邻接图W′；

具体是：新的训练样本集样本数为N，则记N_t为第t类样本的个数，并且有N₁+N₂+...+N_c＝N，其中c＝4为总的分类数；基于流行假设的半监督图的构造方式，通过训练样本标签一致性信息，定义如下规则的有监督图的邻接矩阵W′：

其中，

和

分别表示样本x_i和x_j在通过隐含层表示后的向量值，i和j表示邻接矩阵的行和列数，且a_m表示第m个隐层节点和所有输入节点的连接权值，b_m表示第m个隐层节点的阈值，m为网络的隐层节点数，g(·)为激活函数；有了邻接矩阵W′，基于一般流行假设图的拉普拉斯构造方式，获得基于标签一致性的图拉普拉斯算子：

L′＝D′-W′ (2)

其中D′为对角阵，第i个对角元素的值为对应列的所有值之和

步骤(3)、将新的图拉普拉斯项结合原始的算子构造新的流行正则项，并加入半监督超限学习机的损失函数中进行训练；

具体是：结合半监督超限学习机的图的拉普拉斯算子L以及有监督图的拉普拉斯算子L′，综合考虑两个图算子同时对分类器性能的影响，通过线性组合的方式来分配两个图的权重，定义新的图拉普拉斯算子为：

L_new＝μL+(1-μ)L′ (3)

其中，μ为平衡图比例的非负权值参数，获得新的图算子构造流行正则项加入到半监督超限学习机算法的损失函数中，获得了具有图平衡正则项的半监督超限学习机，将新的损失函数为：

其中，β为网络输出权值向量，参数C称为类间惩罚参数，λ为流行正则项参数，H称为状态矩阵或隐层输出矩阵，Y为样本标签矩阵，关于输出向量的损失函数梯度变化表示如下：

当训练样本数l+u＞m隐含层节点数时，利用矩阵求伪逆的方式得到模型的解为：

β＝(I_m+CH^TH+λH^TL_newH)^-1CH^TY (6)

式中，I_m为单位矩阵；同样的，当输入样本X的个数l+u＜m时，式(5)的解为：

β＝H^T(I_l+u+CHH^T+λL_newHH^T)^-1CY (7)

其中，I_l+u是一个l+u维的单位矩阵；

步骤(4)、依据步骤(3)中的隐含层权值计算公式对脑电信号进行测试，将288个24维训练样本送入基于图平衡正则化的分类器中进行训练，计算出相应的隐含层权值向量，并将隐含层权值向量值与288测试样本向量分别进行相乘，获得输出向量值，依据向量中对应类别值最大的类别序号来确定测试的类别。

Images