CN109858511A - 基于协同表示的安全半监督超限学习机分类方法 - Google Patents

Abstract

本发明涉及一种基于协同表示的安全半监督超限学习机分类方法，首先定义出无标记样本的风险项，并利用未标记样本重构前后输出预测标签一致性和重构误差来评判样本的风险性。本发明采用协同表示的方法分析半监督学习中无标签样本的风险性，通过实验证实样本风险的存在，将风险项加入到半监督超限学习机的损失函数中，从而使模型自带样本安全风险策略，最后在脑电信号数据集下进行测试，结果显示在传统的半监督超限学习机性能劣于有监督超限学习机时，本发明的安全半监督超限学习方法性能仍然优于有监督学习方法，这也证实了本文方法具有一定的无标记样本的安全性。

Description

基于协同表示的安全半监督超限学习机分类方法

技术领域

本发明属于模式识别领域，是一种利用协同表示方法分析无标签样本的风险性，并将风险机制加入到半监督超限学习机后进行脑电信号分类的方法。

背景技术

脑电信号(EEG)分析是研究脑科学的一种有效方法，它为脑机接口(BCI)系统的实现提供了可能，而基于运动想象的脑电信号分类是其中的典型范式。在过去的一些年中，BCI为意识障碍和中风患者提供帮助。脑电信号具有非平稳性、个体差异性等性质，使得传统的方法难以进行准确的分类，并且存在严重的耗时问题。近年来，为了寻找一种高性能且耗时低的方法来对信号进行判别，机器学习的算法被越来越多的应用于脑电分析中，并取得了一定的成果。

为了有效的判别出一组脑电信号的不同模式，很多的机器学习算法被应用于对其进行分类，其中包括：线性判别分析法、神经网络、支持向量机、非线性贝叶斯分类器以及近邻分类器。而后黄等人提出了超限学习机(ELM)方法，因其训练速度快优于一般的神经网络算法和支持向量机，很快也被应用于脑电信号分析中。机器学习模型的训练离不开有标记样本的支持，而且有标记样本越多，得到的模型性能更好。但是现实情况中有标记样本的获得是非常耗时且昂贵的，而无标记样本往往非常的容易获得且廉价，所以半监督学习算法演变为成为主流，并应用于脑电信号分析中。半监督学习方法同时利用有标签样本和无标签样本的信息进行模型训练，使得分类准确度有所提升，其核心思想是有效利用无标记样本的隐藏信息来提升模型的各项性能。在过去的十几年中，半监督学习算法发展非常迅速，在目标跟踪与检测、图像分类、人脸识别等领域都有不错的效果。其中，半监督超限学习机(SS-ELM)在ELM方法基础上引入了流行正则项，结合无标记样本信息，不仅保留了其训练速度快的特点，而且模型的泛化性能也得到了提升。

半监督学习方法应用于脑电信号分析可以有效的解决信号的时变性问题，在脑电分析中，无标记样本获取比较方便，而应用半监督学习方法可以有效的利用这些信息，为高实时性的BCI系统提供便利。就目前的半监督学习算法研究而言，普遍的共识都认为无标记样本的加入会提升分类器的性能。但是也有一部分研究指出无标记样本加入到半监督学习中反而会损害分类器的性能，使得模型中带有危险信息。为分析无标记的脑电信号样本的安全性，我们需要设置一种样本安全机制去评估样本的风险，并将其嵌入到模型中进行有效的预防。安全半监督机制是寻找一种安全策略使得半监督学习方法性能总是比有监督分类器要好。

Li和Zhou等提出了S3VM-us方法，该方法利用级联聚类的方法先挑选出有价值的无标记样本，然后将挑选出的样本给半监督训练，剩余认为危险的样本给有监督训练，实验证实这种方法可以降低分类器的性能下降。随后他们又提出了安全半监督支持向量机(S4VMs),不同于S3VM-us方法只寻找一个最优的间隔，该方法提供了很多候选最优间隔，从而降低了无标记样本的风险性。在这时候，Wang和Chen通过平衡最小二乘支持向量机(LS-SVM)和基于类成员关系的半监督分类方法(SSCCM)之间的关系建立一种安全半监督策略，提出了一种具有安全机制的SSCCM方法(SA-SSCCM)，最终实验证实效果优于SSCCM。甘海涛在中通过无标签样本在初始的有监督和半监督分类器下输出的差异性来衡量无标签样本的风险性，并设计出风险正则项嵌入到半监督学习中来降低样本的危险性，实验证实该方法的确具有样本安全机制。随后他又提出利用对偶学习方法来建立样本风险策略，通过样本的自身的重构差异性得到样本的风险项，并运用到半监督学习中得到了期望的结果。

以上方法都很好的利用了各种机制进行安全半监督算法的研究，但是很多方法都是针对整个训练模型来进行风险度计算的，很少有针对样本本身的信息来设计的策略，并且应用于脑电信号分类中，所以本文提出了一种基于样本重构的风险策略应用于半监督学习机中，并且用训练速度快的SS-ELM作为本文的半监督分类器应用于脑电信号分析。为了得到未标记样本的风险度，首先需要训练一个初始的ELM分类器。然后将无标记样本利用初始模型进行预测，接着利用预测信息结合协同表示分类(CRC)方法对无标签样本进行重构，将重构后的样本同样利用初始模型进行预测，对比前后两次的预测标签差异性和重构误差大小就可以设计出一种安全策略来评估样本的风险性。如果预测结果前后一致并且重构误差较小，可以认为样本较为安全，否则样本则是危险的。利用以上的结果，计算出样本的风险项构建出一种合理的安全机制进行半监督学习。最终，我们将风险正则项加入到SS-ELM中建立了基于协同表示的安全半监督超限学习机方法(CRC-SSELM)，利用得到的安全半监督方法对脑电信号的标准数据集进行测试分析。

发明内容

本发明针对现有技术的不足，提出了一种基于协同表示的安全半监督超限学习机分类方法。

本发明基于协同表示的安全半监督超限学习机分类方法，包括以下步骤：

步骤(1)、构建预测和重构基分类器，分析无标记样本的风险性；

利用样本集{X_l,Y_l}训练出超限学习机ELM分类器C_b，并且用同样的数据集构建出协同表示分类器C_d；其中分类器C_d是用来对无标记样本集X_u中的样本进行样本重构的，而分类器C_b是对样本重构前后进行输出对比使用；x_l+j送入分类器C_d之后，获得重构样本两者之间的重构误差小于阈值￡，并且两者送入分类器C_b之后所分类别一致时，即可认为该无标记样本是安全的，反之，则认为该无标记样本是不安全的；u表示无标记样本的个数，l表示有标记样本的个数，j＝1,2,...,u；

步骤(2)、利用无标记样本的重构误差和分类一致性建立风险项；具体是：先对一个无标记样本x_l+j利用协同表示分类器方法进行样本重构，获得最优的系数向量并计算出重构样本然后利用分类器C_b分别对重构前后的样本进行预测，获得预测标签分别为y_l+j,利用样本的重构误差和预测标签的一致性建立无标记样本的风险度如下：

从上述风险度表达式可以看出，当预测标签一致时，说明该样本比较安全，所以风险度会随着样本重构误差的增大而减小，而当预测标签不一致时，风险度会随着样本重构误差的增大而增大，σ为常系数，设为1；

步骤(3)、将风险项系数结合到半监督超限学习机的损失函数中；具体是：对于未标记样本X_u中的每一个样本，使用步骤(2)中的过程对其进行样本重构，并计算对应的风险系数，然后结合原损失函数中的非平衡惩罚参数C，构建出样本风险对角矩阵S，并且其对角元素表示为：

其中其前l个元素的值为1，且对角矩阵S的对角元素

利用得到的样本风险矩阵就改写原半监督超限学习机的损失函数为：

相对应的输出权值矩阵目标函数梯度变为：

▽L_{Safe_SSELM}＝β+H^TS(Y-Hβ)+λH^TLHβ (4)

运用半监督超限学习机的计算原理分析，利用矩阵的伪逆求解原理得到新的隐含层输出权值矩阵：

β^*＝H^T(I_l+u+SHH^T+λLHH^T)^-1SY (5)

其中I_l+u是l+u维的单位矩阵，β是隐含层与输出之间的连接权值矩阵，H是激活函数矩阵，选择sigmoid函数、高斯函数或者核函数，L是半监督流行正则项矩阵，λ是流行正则项系数，Y是模型的输出矩阵，即标签矩阵；

步骤(4)、利用步骤(3)中的隐含层权值计算公式就可以对无标签样本计算出相应的输出向量，使得模型具有了样本安全分析能力。

本发明与已有的运动想象脑电信号分类方法相比，具有如下特点：

1、采用半监督超限学习算法对多类脑电信号进行特征分类

很多的机器学习方法被应用于脑电信号分类中，都取得了一定的研究成果，其中包括：线性判别分析法、神经网络、支持向量机、非线性贝叶斯分类器以及近邻分类器。但是这些分类器在进行模型训练时，往往都具有一个共同的劣势，那就是训练的耗时一般都较长，这对于一个实时的脑机接口系统设计是非常不利的，必须有效的提高模型的训练速率。本发明采用结构简单的超限学习机作为脑电信号分析的分类器，可以有效的解决训练耗时问题，并且在此之上，进一步使用半监督模型，结合无标签样本训练模型，使得分类性能得到提升，所以本发明兼顾了模型的训练耗时降低和性能的提升。

2、引入安全策略来构建半监督超限学习机算法

因为在半监督超限学习机的训练过程中需要用到无标记样本，而无标记样本的引入并不都是对半监督学习框架有利，有时候反而会损害分类器的性能，使得半监督模型不可控。为此，引入安全策略构建半监督超限学习机就是为了应对样本风险问题，所以本发明提出了基于协同表示的安全半监督学习算法来对脑电信号进行分析研究。既满足了分类准确率要求，而且保证了模型的优质性能。

附图说明

图1为本发明的实施流程图。

具体实施方式

下面结合附图详细描述本发明基于协同表示的安全半监督超限学习机分类方法，图1为实施流程图。

如图1，本发明方法的实施主要包括四个步骤：(1)用有标记样本训练出基础ELM分类器和协同表示分类器；(2)利用无标记样本的重构误差和基分类器的输出一致性构建样本风险项；(3)将(2)中获得的风险项矩阵结合到半监督超限学习机的损失函数中；(4)对具有安全机制的半监督超限学习机进行分类测试，并对比其它方法得出结论。

下面逐一对各步骤进行详细说明。

步骤一：用有标记样本训练出基础ELM分类器和协同表示分类器

利用样本集{X_l,Y_l}训练出ELM分类器C_b，并且用同样的数据集构建出协同表示分类器C_d。其中分类器C_d是用来对无标记样本集X_u中的样本进行样本重构的，而分类器C_b是对样本重构前后进行输出对比使用，我们相信当重构前后的样本x_l+j,送入分类器C_d之后的重构误差较小，并且送入分类器C_b之后所分类别一致时，即可认为该无标记样本是比较安全的。

步骤二：利用无标记样本的重构误差和基分类器输出的一致性建立风险项

先对一个无标记样本x_l+j利用CRC方法进行样本重构，其中通过获得的最优的系数向量可以计算出重构样本然后利用分类器C_b分别对重构前后的样本进行预测，获得预测标签分别为y_l+j,利用样本的重构误差和预测标签的一致性建立无标记样本的风险度如下：

其中σ为常数参数，一般设置为1。从上述风险度表达式可以看出，当预测标签一致时，说明该样本比较安全，所以风险度会随着样本重构误差的增大而减小，而当预测标签不一致时，风险度会随着样本重构误差的增大而增大。步骤三：将风险项系数结合到半监督超限学习机的损失函数中，并计算新的隐含层输出权值向量

对于未标记样本X_u中的每一个样本，我们都可以使用步骤(2)中的过程对其进行样本重构，并计算对应的风险系数，然后结合原损失函数中的非平衡惩罚参数C，就可以构建出样本风险对角矩阵S，并且其对角元素表示为：

其中前l的值为1，且

利用得到的样本风险矩阵就可以改写原半监督超限学习机的损失函数为：

其中β为输出权值矩阵，H为激活函数，L为流行正则项系数矩阵，λ为平衡参数矩阵。关于输出权值矩阵的目标函数梯度变为：

▽L_{Safe_SSELM}＝β+H^TS(Y-Hβ)+λH^TLHβ (4)

运用的(4)式的分析，经过推导求解，可以得到：

β^*＝H^T(I_l+u+SHH^T+λLHH^T)^-1SY (5)

其中I_l+u是l+u维的单位矩阵。

步骤四：利用步骤(3)中的隐含层权值计算公式就可以对无标签样本计算出相应的输出向量，判定类别，并与ELM、SS-ELM等算法在相同数据集实验下做测试准确率的比较，分析本发明算法的可行性。

为了验证本文算法的真实分类性能，体现出安全半监督超限学习机对危险样本具有一定的敏感度和防止模型性能下降的作用。利用该算法在BCI竞赛数据集2a上进行了实验验证，并与ELM、SS-ELM等方法进行比较，对提出的算法进行样本安全性能评估，在表1中展示了不同方法在各个数据集上的平均测试准确率和标准差的值，用这两项数据来比较本发明算法的优缺点：

表格1安全半监督超限学习机在BCI竞赛数据集2a测试对比实验

由表1观察可知，在脑电数据集上测试三种方法的性能时，安全半监督超限学习机(CRC-SSELM)具有最佳的平均测试准确率，优于半监督超限学习机方法，并且在所有的受试者上准确率都优于ELM方法。特别的，安全半监督超限学习机方法在9个受试者数据上测试有7个(1,2,4,5,6,7,8)优于半监督超限学习机，而进一步可以发现，其中有4个(1,4,5,7)受试者测试时，SS-ELM性能劣于ELM方法，出现了性能下降的情况，但是运用本文的安全策略方法之后，CRC-SSELM方法在这4个受试者数据测试中准确率仍然优于ELM方法，可见该安全策略的优势所在。这些实验结果可以证实样本风险性的存在，并且可以体现出本文算法的安全策略有效性，即在半监督学习方法(SS-ELM)性能比对应的有监督学习方法差时，具有安全机制的半监督学习方法性能仍然超过有监督学习方法(ELM)。

Claims (1)

1.基于协同表示的安全半监督超限学习机分类方法，其特征在于：该方法包括以下主要步骤：

步骤(1)、构建预测和重构基分类器，分析无标记样本的风险性；

利用样本集{X_l,Y_l}训练出超限学习机ELM分类器C_b，并且用同样的数据集构建出协同表示分类器C_d；其中分类器C_d是用来对无标记样本集X_u中的样本进行样本重构的，而分类器C_b是对样本重构前后进行输出对比使用；x_l+j送入分类器C_d之后，获得重构样本两者之间的重构误差小于阈值￡，并且两者送入分类器C_b之后所分类别一致时，即认为该无标记样本是安全的，反之，则认为该无标记样本是不安全的；u表示无标记样本的个数，l表示有标记样本的个数，j＝1,2,...,u；

步骤(2)、利用无标记样本的重构误差和分类一致性建立风险项；具体是：先对一个无标记样本x_l+j利用协同表示分类器方法进行样本重构，获得最优的系数向量并计算出重构样本然后利用分类器C_b分别对重构前后的样本进行预测，获得预测标签分别为利用样本的重构误差和预测标签的一致性建立无标记样本的风险度如下：

从上述风险度表达式看出，当预测标签一致时，说明该样本比较安全，所以风险度会随着样本重构误差的增大而减小，而当预测标签不一致时，风险度会随着样本重构误差的增大而增大，σ为常系数，设为1；

步骤(3)、将风险项系数结合到半监督超限学习机的损失函数中；具体是：对于未标记样本X_u中的每一个样本，使用步骤(2)中的过程对其进行样本重构，并计算对应的风险系数，然后结合原损失函数中的非平衡惩罚参数C，构建出样本风险对角矩阵S，并且其对角元素表示为：

其中其前l个元素的值为1，且对角矩阵S的对角元素

利用得到的样本风险矩阵就改写原半监督超限学习机的损失函数为：

相对应的输出权值矩阵目标函数梯度变为：

运用半监督超限学习机的计算原理分析，利用矩阵的伪逆求解原理得到新的隐含层输出权值矩阵：

β^*＝H^T(I_l+u+SHH^T+λLHH^T)^-1SY (5)

其中I_l+u是l+u维的单位矩阵，β是隐含层与输出之间的连接权值矩阵，H是激活函数矩阵，选择sigmoid函数、高斯函数或者核函数，L是半监督流行正则项矩阵，λ是流行正则项系数，Y是模型的输出矩阵，即标签矩阵；

步骤(4)、利用步骤(3)中的隐含层权值计算公式就对无标签样本计算出相应的输出向量，使得模型具有了样本安全分析能力。