CN108122004A - 基于Fisher判别稀疏超限学习机的脑电分类方法 - Google Patents
基于Fisher判别稀疏超限学习机的脑电分类方法 Download PDFInfo
- Publication number
- CN108122004A CN108122004A CN201711373996.0A CN201711373996A CN108122004A CN 108122004 A CN108122004 A CN 108122004A CN 201711373996 A CN201711373996 A CN 201711373996A CN 108122004 A CN108122004 A CN 108122004A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- msubsup
- mtd
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
- G06F18/21322—Rendering the within-class scatter matrix non-singular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
- G06F18/21322—Rendering the within-class scatter matrix non-singular
- G06F18/21324—Rendering the within-class scatter matrix non-singular involving projections, e.g. Fisherface techniques
Abstract
本发明提出一种基于Fisher判别稀疏超限学习机的脑电分类方法。首先依据Fisher判别准则训练出一个结构化字典，其次根据这个字典获得更有区分性的稀疏系数进行信号重构，得到更有效的特征信号，然后利用超限学习机算法对新的特征信号进行分类，从而提高多运动想象任务分类的准确性。该方法在脑‑机接口领域具有广阔的应用前景。
Description
技术领域
本发明属于模式识别领域，涉及一种运动想象脑电信号模式识别方法，特别涉及一种基于Fisher判别稀疏超限学习机的脑电分类方法。
背景技术
大脑作为控制人类的思想、行为、情绪等活动的中枢，分析处理从外部环境获取的信息，通过神经肌肉通路完成与外界的交流。然而，不少异常疾病，如脊髓损伤、肌萎缩侧索硬化症、脑中风等，都能损伤或削弱控制肌肉的神经通路以及肌肉本身的功能。病情严重的患者可能完全丧失自主控制的能力，甚至影响说话等功能，完全没有办法用传统的方式表达意愿或与外界交流。我国乃至全世界有成百上千万人受此类疾病困扰，尽管现代生命支持技术可以维持部分患者的生命，但是由此给患者、家庭和社会带来了无尽的痛苦和沉重的负担。从人体运动的源头出发，直接提取大脑信号解读患者的意愿，或将大脑信号解读成相应的命令来实现与外部世界的交流和控制，实现脑-机交互。基于运动感觉的自发节律(SMR)的运动想象脑电信号分析被广泛应用于脑-机接口(BCI)领域。
模式分类是BCI系统中的关键技术，目前最常用的分类算法有K近邻法、人工神经网络、朴素贝叶斯、支持向量机、稀疏表示分类等算法。稀疏表示(或稀疏编码)最初由Olshausen等人提出，用于模拟人类视觉系统中简单细胞的空间感受野的工作机制。稀疏表示广泛用于信号重构、信号表示、压缩感知等领域。近年，稀疏表示被应用于BCI系统中，面对非常微弱且背景噪声强的脑电信号，能够获得较好的结果表现。但是，稀疏表示方法中的字典一般是预定义的，直接使用训练样本作为字典，容易丢失许多隐藏训练样本中的分类信息。为此，基于Fisher判别准则的字典学习(Fisher discrimination dictionarylearning,FDDL)算法被提出来，并且在AR人脸数据集上，与传统的稀疏表示分类算法相比，提高了3.2％的识别正确率。
超限学习机(Extreme learning machines,ELM)是近年来发展很快的一种机器学习算法，本质上是一种单隐层前馈神经网络，具有结构简单、学习速度快、非线性处理能力和全局搜索性能良好等优势，目前已有大量学者致力于其在BCI系统中的应用，并取得了良好的分类效果。考虑超限学习机的速度优势、良好的分类能力及稀疏编码优秀的抗噪能力，已有不少学者尝试将两者有机融合一起。Seyedehsamaneh等人研究出一种极限稀疏学习算法(Extreme Sparse Learning)，将稀疏表示中字典与超限学习机输出权重进行联合优化求解，最后送入超限学习机进行分类。Yu等人用稀疏编码取代超限学习机原本的隐藏层，将得到稀疏系数作为隐藏层的输出，进而分类。曹九稳等人提出一种级联框架，先用超限学习机将数据进行“过滤”，将噪声较大的数据挑出来交给SRC进行分类处理。但是上述几种方法均是单隐层结构，对数据特征学习不够充分，很大程度上限制了网络的鲁棒性能。
综上所述，针对随机、非平稳的运动想象脑电信号，如何有机结合稀疏编码、超限学习机算法构造多层网络结构进行模式分类，这一问题还没有得到有效的解决。
发明内容
本发明针对现有技术的不足，提出一种一种基于Fisher判别稀疏超限学习机的脑电分类方法。该方法采用一个多层网络结构，一方面解决了单隐层超限学习机对样本特征学习不够充分问题，另一方面针对背景嘈杂的、非平稳的运动想象脑电信号，有机融合Fisher判别字典学习(FDDL)与超限学习机(ELM)算法，最终达到提高网络泛化性能以及分类准确率的目的。
本发明方法首先依据Fisher判别准则训练出一个结构化字典，其次根据这个字典获得更有区分性的稀疏系数进行信号重构，得到更有效的特征信号，然后利用超限学习机分类器对新的特征信号进行分类，从而提高多运动想象任务分类的准确性。
为了实现以上目的，本发明方法主要包括以下步骤：
步骤一：采用Fisher判别字典学习算法训练结构化字典；
具体是：给定{A,Y}为训练样本，其中A＝[A1,A2,...,Ac]，Ai表示第i类样本，c表示类别总数；Y是对应的类别标签；令D＝[D1,D2,...,Dc]为A的冗余字典，其中Di表示与第i类样本相关的原子；X＝[X1,X2,...,Xc]为系数矩阵，其中Xi表示与第i类样本相关的系数；根据公式(1)得到学习模型，然后进行优化求解，具体是：首先保持D不变，使用迭代投影算法更新稀疏编码稀疏矩阵X，然后把X当作常量，采用二次线性规划来更新D，如此交替循环，直至算法收敛，得出结构化字典D；
式中，r(Ai,D,Xi)表示重构误差约束和稀疏系数的可分性约束项，表示与第i类样本Ai第i类原子Di相关的系数，表示与第i类样本Ai第j类原子Dj相关的系数，||·||F表示F范数；||X||1表示稀疏约束项，其中||·||1表示l1范数；表示正则项约束项，SW(X)表示稀疏系数的类内距离，SB(X)表示稀疏系数的类间距离，其中Mi是第i类系数Xi的均值，M是所有系数X的均值，ni表示第i类样本个数；λ1、λ2和η分别表示不同约束项的权重；T表示转置；
步骤二：重构特征信号；
具体是：根据步骤一训练出的字典D以及系数X，重构出新的特征信号
步骤三：根据步骤二得到的新的特征信号，采用超限学习机算法求出输出层的权重矩阵；
具体是：随机初始化输入权值矩阵a＝[a1,a2,…,am]T和隐层偏置b＝[b1,b2,…,bm]T，得到新的隐藏层输出矩阵，如公式(3)所示；
式中，g(·)为激活函数，N为样本总数，m为隐层节点个数，am表示第m个隐层节点和所有输入节点的连接权值，bm表示第m个隐节点的阈值；接下来，更新后的损失函数为：
其中，β表示输出权重矩阵，β＝[β1,β2,…,βm]T；C表示正则项系数，防止过拟合；根据Moore-Penrose原理求解公式(4)的优化问题；当N大于等于m时，式(4)的解为：
当N小于m时，式(4)的解为：
其中，I为单位矩阵；
步骤四：采用训练好的分类模型判别测试样本的类标签；
具体是：对于含有L个样本的测试数据集B，先根据训练好的字典D重构出再依据步骤三训练好的输出权重β、输入权值a以及隐层偏置b，然后采用公式(7)预测出其类别标签Ypredict；
其中，ai表示第i个隐层节点和所有输入节点的连接权值，bi表示第i个隐节点的阈值。
本发明创新处在于：构造出一个分层网络结构区别于传统的单层网络，能够更好的进行特征学习，进而提高分类准确率。相对于传统的稀疏表示，本发明引入Fisher判别准则学习一个结构化字典取代传统的预定义字典，保留了训练集中丰富的类别信息，同时也使得计算出的稀疏系数更具有判别性能，这样能够学习到更有意义的特征信号。
本发明方法可以较好地满足智能轮椅等康复辅具控制中的多模式识别要求，在脑-机接口、脑疾病诊断领域具有广阔的应用前景。
附图说明
图1为本发明的实施流程图。
具体实施方式
下面结合附图详细描述本发明基于Fisher判别稀疏超限学习机的运动想象脑电分类方法，图1为实施流程图。
如图1，本发明方法的实施主要包括四个步骤：(1)采用Fisher判别字典学习算法训练结构化字典；(2)重构信号，得出新的特征信号；(3)采用超限学习机算法求出输出层的权重矩阵；(4)采用训练好的分类模型判别测试样本的类标签。
下面逐一对各步骤进行详细说明。
步骤一：采用Fisher判别字典学习算法训练结构化字典；
具体是：给定{A,Y}为训练样本，其中A＝[A1,A2,...,Ac]，Ai表示第i类样本，c表示类别总数；Y是对应的类别标签。令D＝[D1,D2,...,Dc]为A的冗余字典，其中Di表示与第i类样本相关的原子；X＝[X1,X2,...,Xc]为系数矩阵，其中Xi表示与第i类样本相关的系数。根据公式(1)得到学习模型，然后进行优化求解，具体是：首先保持D不变，使用迭代投影算法更新稀疏编码稀疏矩阵X，然后把X当作常量，采用二次线性规划来更新D，如此交替循环，直至算法收敛，得出结构化字典D。
式中，r(Ai,D,Xi)表示重构误差约束和稀疏系数的可分性约束项，表示与第i类样本Ai第i类原子Di相关的系数，表示与第i类样本Ai第j类原子Dj相关的系数，||·||F表示F范数；||X||1表示稀疏约束项，其中||·||1表示l1范数；表示正则项约束项，SW(X)表示稀疏系数的类内距离，SB(X)表示稀疏系数的类间距离，其中Mi是第i类系数Xi的均值，M是所有系数X的均值，ni表示第i类样本个数；λ1、λ2和η分别表示不同约束项的权重；T表示转置。
步骤二：重构特征信号；
具体是：根据步骤一训练出的字典D以及系数X，重构出新的特征信号
步骤三：根据步骤二得到的新的特征信号，采用超限学习机算法求出输出层的权重矩阵；
具体是：随机初始化输入权值矩阵a＝[a1,a2,…,am]T和隐层偏置b＝[b1,b2,…,bm]T，得到新的隐藏层输出矩阵，如公式(3)所示。
式中，g(·)为激活函数，N为样本总数，m为隐层节点个数，am表示第m个隐层节点和所有输入节点的连接权值，bm表示第m个隐节点的阈值。接下来，更新后的损失函数为：
其中，β表示输出权重矩阵，β＝[β1,β2,…,βm]T；C表示正则项系数，防止过拟合。根据Moore-Penrose原理求解公式(4)的优化问题。当N大于等于m时，式(4)的解为：
当N小于m时，式(4)的解为：
其中，I为单位矩阵。
步骤四：采用训练好的分类模型判别测试样本的类标签；
具体是：对于含有L个样本的测试数据集B，先根据训练好的字典D重构出再依据步骤三训练好的输出权重β、输入权值a以及隐层偏置b，然后采用公式(7)预测出其类别标签Ypredict。
其中，ai表示第i个隐层节点和所有输入节点的连接权值，bi表示第i个隐节点的阈值。
为了验证本发明的有效性，分别在BCI III竞赛IVa数据集、IIIa数据集以及BCIIV竞赛IIa数据集上进行实验验证，其中IVa、IIIa数据集为二分类数据集，IIa数据集为四分类数据集。重复十次分类过程，得出其平均准确率，并且与目前流行的ELM、FDDL以及深度ELM(H-ELM)算法进行比较，实验结果如表一所示。
表一在不同脑电数据集上比较不同算法的分类准确率
通过表一可以看出，本发明方法在二分类及四分类情景下拥有良好的分类效果。本发明方法不仅优于单隐层的传统ELM，也高于FDDL分类算法，同时与具有深度结构的H-ELM算法相比，也基本取得较好的分类结果。在二分类情况下，本发明方法获得最高的平均准确率(80.68％,87.54％)。在四分类情况下，本发明方法平均准确率为63.76％高于ELM(63.18％)、FDDL(52.76％),在C1，C3，C6，C7情况下，本发明方法分类效果优于H-ELM。
Claims (1)
1.基于Fisher判别稀疏超限学习机的脑电分类方法，其特征在于，该方法包括如下步骤：
步骤一：采用Fisher判别字典学习算法训练结构化字典；
具体是：给定{A,Y}为训练样本，其中A＝[A1,A2,...,Ac]，Ai表示第i类样本，c表示类别总数；Y是对应的类别标签；令D＝[D1,D2,...,Dc]为A的冗余字典，其中Di表示与第i类样本相关的原子；X＝[X1,X2,...,Xc]为系数矩阵，其中Xi表示与第i类样本相关的系数；根据公式(1)得到学习模型，然后进行优化求解，具体是：首先保持D不变，使用迭代投影算法更新稀疏编码稀疏矩阵X，然后把X当作常量，采用二次线性规划来更新D，如此交替循环，直至算法收敛，得出结构化字典D；
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mi>D</mi>
<mo>,</mo>
<mi>X</mi>
<mo>)</mo>
</mrow>
</msub>
<mo>=</mo>
<munder>
<mrow>
<mi>arg</mi>
<mi>min</mi>
</mrow>
<mrow>
<mo>(</mo>
<mi>D</mi>
<mo>,</mo>
<mi>X</mi>
<mo>)</mo>
</mrow>
</munder>
<mo>{</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>c</mi>
</munderover>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>A</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>D</mi>
<mo>,</mo>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mn>1</mn>
</msub>
<mo>|</mo>
<mo>|</mo>
<mi>X</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mi>r</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>S</mi>
<mi>W</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>X</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>S</mi>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>X</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>+</mo>
<mi>&eta;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>X</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>}</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>r</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>A</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>D</mi>
<mo>,</mo>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>A</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>DX</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>A</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>X</mi>
<mi>i</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
<mo>&NotEqual;</mo>
<mi>i</mi>
</mrow>
<mi>c</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>D</mi>
<mi>j</mi>
</msub>
<msubsup>
<mi>X</mi>
<mi>i</mi>
<mi>j</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>S</mi>
<mi>W</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>X</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>c</mi>
</msubsup>
<msub>
<mo>&Sigma;</mo>
<mrow>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>&Element;</mo>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>M</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>M</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>S</mi>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>X</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>c</mi>
</msubsup>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>M</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>M</mi>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>M</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>M</mi>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
式中，r(Ai,D,Xi)表示重构误差约束和稀疏系数的可分性约束项，表示与第i类样本Ai第i类原子Di相关的系数，表示与第i类样本Ai第j类原子Dj相关的系数，||·||F表示F范数；||X||1表示稀疏约束项，其中||·||1表示l1范数；表示正则项约束项，SW(X)表示稀疏系数的类内距离，SB(X)表示稀疏系数的类间距离，其中Mi是第i类系数Xi的均值，Xi＝[xi1,xi2,...,xini]，M是所有系数X的均值，ni表示第i类样本个数；λ1、λ2和η分别表示不同约束项的权重；T表示转置；
步骤二：重构特征信号；
具体是：根据步骤一训练出的字典D以及系数X，重构出新的特征信号
<mrow>
<mover>
<mi>A</mi>
<mo>^</mo>
</mover>
<mo>=</mo>
<mi>D</mi>
<mi>X</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
步骤三：根据步骤二得到的新的特征信号，采用超限学习机算法求出输出层的权重矩阵；
具体是：随机初始化输入权值矩阵a＝[a1,a2,…,am]T和隐层偏置b＝[b1,b2,…,bm]T，得到新的隐藏层输出矩阵，如公式(3)所示；
<mrow>
<mi>G</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>a</mi>
<mn>1</mn>
<mi>T</mi>
</msubsup>
<msub>
<mover>
<mi>A</mi>
<mo>^</mo>
</mover>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mrow>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>a</mi>
<mi>m</mi>
<mi>T</mi>
</msubsup>
<msub>
<mover>
<mi>A</mi>
<mo>^</mo>
</mover>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mi>m</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mo>...</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>a</mi>
<mn>1</mn>
<mi>T</mi>
</msubsup>
<msub>
<mover>
<mi>A</mi>
<mo>^</mo>
</mover>
<mi>N</mi>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mrow>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>a</mi>
<mi>m</mi>
<mi>T</mi>
</msubsup>
<msub>
<mover>
<mi>A</mi>
<mo>^</mo>
</mover>
<mi>N</mi>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mi>m</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
式中，g(·)为激活函数，N为样本总数，m为隐层节点个数，am表示第m个隐层节点和所有输入节点的连接权值，bm表示第m个隐节点的阈值；接下来，更新后的损失函数为：
<mrow>
<munder>
<mi>argmin</mi>
<mi>&beta;</mi>
</munder>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<mi>&beta;</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>C</mi>
<mo>|</mo>
<mo>|</mo>
<mi>G</mi>
<mi>&beta;</mi>
<mo>-</mo>
<mi>Y</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，β表示输出权重矩阵，β＝[β1,β2,…,βm]T；C表示正则项系数，防止过拟合；根据Moore-Penrose原理求解公式(4)的优化问题；当N大于等于m时，式(4)的解为：
<mrow>
<mi>&beta;</mi>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>C</mi>
</mfrac>
<mi>I</mi>
<mo>+</mo>
<msup>
<mi>G</mi>
<mi>T</mi>
</msup>
<mi>G</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msup>
<mi>G</mi>
<mi>T</mi>
</msup>
<mi>Y</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
当N小于m时，式(4)的解为：
<mrow>
<mi>&beta;</mi>
<mo>=</mo>
<msup>
<mi>G</mi>
<mi>T</mi>
</msup>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>C</mi>
</mfrac>
<mi>I</mi>
<mo>+</mo>
<msup>
<mi>GG</mi>
<mi>T</mi>
</msup>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mi>Y</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，I为单位矩阵；
步骤四：采用训练好的分类模型判别测试样本的类标签；
具体是：对于含有L个样本的测试数据集B，先根据训练好的字典D重构出再依据步骤三训练好的输出权重β、输入权值a以及隐层偏置b，然后采用公式(7)预测出其类别标签Ypredict；
<mrow>
<msub>
<mi>Y</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
<mi>d</mi>
<mi>i</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>a</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<msub>
<mover>
<mi>B</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
<mo>+</mo>
<msub>
<mi>b</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<mi>L</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，ai表示第i个隐层节点和所有输入节点的连接权值，bi表示第i个隐节点的阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711373996.0A CN108122004A (zh) | 2017-12-19 | 2017-12-19 | 基于Fisher判别稀疏超限学习机的脑电分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711373996.0A CN108122004A (zh) | 2017-12-19 | 2017-12-19 | 基于Fisher判别稀疏超限学习机的脑电分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108122004A true CN108122004A (zh) | 2018-06-05 |
Family
ID=62229421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711373996.0A Pending CN108122004A (zh) | 2017-12-19 | 2017-12-19 | 基于Fisher判别稀疏超限学习机的脑电分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108122004A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800651A (zh) * | 2018-12-20 | 2019-05-24 | 杭州电子科技大学 | 一种基于双规则主动超限学习机的多类脑电分类方法 |
| CN109858511A (zh) * | 2018-11-30 | 2019-06-07 | 杭州电子科技大学 | 基于协同表示的安全半监督超限学习机分类方法 |
| CN110516724A (zh) * | 2019-06-04 | 2019-11-29 | 沈阳瑞初科技有限公司 | 可视化作战场景的高性能多层字典学习特征图像处理方法 |
| CN111783959A (zh) * | 2020-07-08 | 2020-10-16 | 湖南工业大学 | 一种基于分层极限学习机分类的电子皮肤触觉模式识别方法 |
| CN111860591A (zh) * | 2020-06-16 | 2020-10-30 | 南通大学 | 基于间隔自适应特征选择融合的宫颈细胞图像分类方法 |
| CN113554073A (zh) * | 2021-07-09 | 2021-10-26 | 常州大学 | 一种融合稀疏学习和二分法的情绪状态特征选择优化方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616030A (zh) * | 2015-01-21 | 2015-05-13 | 北京工业大学 | 一种基于极限学习机算法的识别方法 |
| CN105069485A (zh) * | 2015-08-26 | 2015-11-18 | 中国科学院深圳先进技术研究院 | 一种张量模式下基于极限学习机的模式识别方法 |
| US20170223288A1 (en) * | 2016-01-29 | 2017-08-03 | Ford Global Technologies, Llc | Automotive imaging system including an electronic image sensor having a sparse color filter array |
-
2017
- 2017-12-19 CN CN201711373996.0A patent/CN108122004A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104616030A (zh) * | 2015-01-21 | 2015-05-13 | 北京工业大学 | 一种基于极限学习机算法的识别方法 |
| CN105069485A (zh) * | 2015-08-26 | 2015-11-18 | 中国科学院深圳先进技术研究院 | 一种张量模式下基于极限学习机的模式识别方法 |
| US20170223288A1 (en) * | 2016-01-29 | 2017-08-03 | Ford Global Technologies, Llc | Automotive imaging system including an electronic image sensor having a sparse color filter array |
Non-Patent Citations (3)
| Title |
|---|
| 付爱民: "极速学习机的训练残差、稳定性及泛化能力研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 柯海森 等: "基于ELM运动想象脑电信号的分类", 《计算机应用与软件》 * |
| 王伟 等: "基于Fisher判别字典学习的说话人识别", 《电子与信息学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858511A (zh) * | 2018-11-30 | 2019-06-07 | 杭州电子科技大学 | 基于协同表示的安全半监督超限学习机分类方法 |
| CN109800651A (zh) * | 2018-12-20 | 2019-05-24 | 杭州电子科技大学 | 一种基于双规则主动超限学习机的多类脑电分类方法 |
| CN109800651B (zh) * | 2018-12-20 | 2020-10-27 | 杭州电子科技大学 | 一种基于双规则主动超限学习机的多类脑电分类方法 |
| CN110516724A (zh) * | 2019-06-04 | 2019-11-29 | 沈阳瑞初科技有限公司 | 可视化作战场景的高性能多层字典学习特征图像处理方法 |
| CN110516724B (zh) * | 2019-06-04 | 2022-10-25 | 沈阳瑞初科技有限公司 | 可视化作战场景的高性能多层字典学习特征图像处理方法 |
| CN111860591A (zh) * | 2020-06-16 | 2020-10-30 | 南通大学 | 基于间隔自适应特征选择融合的宫颈细胞图像分类方法 |
| CN111783959A (zh) * | 2020-07-08 | 2020-10-16 | 湖南工业大学 | 一种基于分层极限学习机分类的电子皮肤触觉模式识别方法 |
| CN113554073A (zh) * | 2021-07-09 | 2021-10-26 | 常州大学 | 一种融合稀疏学习和二分法的情绪状态特征选择优化方法 |
| CN113554073B (zh) * | 2021-07-09 | 2024-03-15 | 常州大学 | 一种融合稀疏学习和二分法的情绪状态特征选择优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108122004A (zh) | 基于Fisher判别稀疏超限学习机的脑电分类方法 | |
| Zhang et al. | An investigation of deep learning models for EEG-based emotion recognition | |
| Lu et al. | A deep learning scheme for motor imagery classification based on restricted Boltzmann machines | |
| CN111134666B (zh) | 一种多通道脑电数据的情绪识别方法及电子装置 | |
| Hemanth et al. | Brain signal based human emotion analysis by circular back propagation and Deep Kohonen Neural Networks | |
| CN107961007A (zh) | 一种结合卷积神经网络和长短时记忆网络的脑电识别方法 | |
| CN107516110A (zh) | 一种基于集成卷积编码的医疗问答语义聚类方法 | |
| Held et al. | Extracting fuzzy rules from polysomnographic recordings for infant sleep classification | |
| CN111714118A (zh) | 一种基于集成学习的脑认知模型融合方法 | |
| Song et al. | EEG-based motor imagery classification with deep multi-task learning | |
| Thenmozhi et al. | Feature selection using extreme gradient boosting Bayesian optimization to upgrade the classification performance of motor imagery signals for BCI | |
| Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
| Liang et al. | Obstructive sleep apnea detection using combination of CNN and LSTM techniques | |
| Wang et al. | Deep learning for sleep stage classification | |
| Shen et al. | A high-precision feature extraction network of fatigue speech from air traffic controller radiotelephony based on improved deep learning | |
| Jayasekara et al. | Timecaps: Capturing time series data with capsule networks | |
| Havugimana et al. | Predicting cognitive load using parameter-optimized cnn from spatial-spectral representation of eeg recordings | |
| Top | Classification of eeg signals using transfer learning on convolutional neural networks via spectrogram | |
| Dasey et al. | Detection of multiple sclerosis with visual evoked potentials-an unsupervised computational intelligence system | |
| Wu et al. | Genetic-algorithm-based Convolutional Neural Network for Robust Time Series Classification with Unreliable Data. | |
| Kulkarni et al. | Depression prediction system using different methods | |
| CN114052734A (zh) | 基于渐进式图卷积神经网络的脑电情感识别方法 | |
| Chau | Machine learning for gesture recognition with electromyography | |
| Coelho et al. | A novel sEMG data augmentation based on WGAN-GP | |
| Huynh et al. | An investigation of ensemble methods to classify electroencephalogram signaling modes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180605 |