CN110569727A - 基于运动想象分类的结合类内距和类间距的迁移学习方法 - Google Patents

基于运动想象分类的结合类内距和类间距的迁移学习方法 Download PDF

Info

Publication number
CN110569727A
CN110569727A CN201910720007.3A CN201910720007A CN110569727A CN 110569727 A CN110569727 A CN 110569727A CN 201910720007 A CN201910720007 A CN 201910720007A CN 110569727 A CN110569727 A CN 110569727A
Authority
CN
China
Prior art keywords
class
distance
distribution
class distance
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910720007.3A
Other languages
English (en)
Other versions
CN110569727B (zh
Inventor
许旋
章熙春
李远清
余天佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910720007.3A priority Critical patent/CN110569727B/zh
Publication of CN110569727A publication Critical patent/CN110569727A/zh
Application granted granted Critical
Publication of CN110569727B publication Critical patent/CN110569727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于运动想象分类的结合类内距和类间距的迁移学习方法，包括步骤：1)利用除当前受试者以外的其它受试者的跨session数据作为训练集，当前受试者的跨session数据作为测试集；2)利用巴特沃斯带通滤波器提取目标信号；3)使用CSP(共同空间模式)提取特征；4)结合分布自适应、类内距和类间距做特征迁移；5)使用集成学习方法进行分类。本发明将分布自适应、类内距和类间距结合起来做特征迁移，并使用集成学习的方法进行分类，有效地解决了由于运动想象数据稀缺而导致的分类准确度不高的问题。

Description

基于运动想象分类的结合类内距和类间距的迁移学习方法
技术领域
本发明涉及运动想象分类和迁移学习的技术领域，尤其是指一种基于运动想象分类的结合类内距和类间距的迁移学习方法。
背景技术
已有的研究结果已经表明，BCI(脑机接口)系统的使用必须要有足够量可利用的训练样本，才能够学习到一个高效的特征提取和分类模型，而大量的训练样本的获取势必导致长时间的数据采集过程而且耗费资源，会严重影响到系统使用的便捷性。因而，在当前受试者仅有少量甚至是没有训练集的情况下，如果能够利用其它受试者的数据进行特征提取和分类具有非常重大的意义，而这正是迁移学习所要解决的问题。
CSP(共同空间模式)是在运动想象中使用最为广泛的特征提取方法，它能够增强两类运动想象任务之间的能量差异，非常适合用于区分由运动想象诱导的不同状态。虽然CSP已经取得了巨大的成功，但是CSP仍然存在容易对训练数据造成过拟合的问题，特征的稳定性也难以保证。其主要的原因在于，CSP作为一种数据驱动的算法，空域滤波器的求解基于对两类任务的协方差矩阵的估计。而在样本数比较少时，估计不准确的协方差矩阵不能很好的代表基本的神经生理过程，这将直接影响空域滤波器设计的准确性。再者，后续分类器的设计也会直接影响分类结果。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于运动想象分类的结合类内距和类间距的迁移学习方法，通过融合其他受试者的数据，并结合分布自适应、类内距和类间距做特征迁移，解决了运动现象数据稀缺导致的过拟合问题，此外使用集成学习方法提高了分类准确率。
为实现上述目的，本发明所提供的技术方案为：基于运动想象分类的结合类内距和类间距的迁移学习方法，包括以下步骤：
1)利用除当前受试者以外的其它受试者的跨session数据作为训练集，当前受试者的跨session数据作为测试集；其中，每个受试者具有两个会话session的数据，分别采集于不同的时间，需要把同一个受试者的两个session的数据合并，这样得到的就是一个受试者的跨session数据；
2)利用巴特沃斯带通滤波器提取目标信号，去除噪声信号对结果的干扰；
3)对训练集和测试集使用共同空间模式CSP提取特征，CSP的公式如下：
式中，fi表示第i个受试者的特征，wi表示对第i个受试者所使用的空域滤波器，表示第i个受试者所使用的空域滤波器的转置，X表示原始输入，XT表示原始输入的转置，wk表示所有受试者中第k个受试者的空域滤波器，表示所有受试者中第k个受试者的空域滤波器的转置；
4)对经过CSP提取得到的特征，使用分布自适应、类内距和类间距做特征迁移；
5)使用集成学习方法对已做特征迁移的训练集上的特征训练出一个分类器，然后把该分类器用于已做特征迁移的测试集上的特征进行分类，得到分类准确率。
在步骤4)中，所谓分布自适应就是虽然源域和目标域的数据概率分布不同，但是通过变换，能够把不同的数据分布的距离拉近，其中，采用的变换方法有条件概率分布和联合分布；
条件概率分布是指对于两个已知的相关随机变量A和Y，随机变量Y在条件{A＝a}下的概率分布，即当已知A的取值为某个特定值a时，Y的概率分布；
联合分布是指同时对于两个随机变量A和Y的概率分布；
如果采用的变换是条件概率分布称为条件分布自适应，如果采用的变换是联合分布称为联合分布自适应，条件分布自适应的目标是减小源域与目标域之间的条件分布的距离，从而完成迁移学习；联合分布自适应的目标是减小源域与目标域之间的联合分布的距离，从而完成迁移学习；
另外，使用类内距和类间距做特征迁移就是在损失函数中加入类内距和类间距的比值，在最小化类内距的同时最大化类间距，其中损失函数是一个用来评估模型预测值与真实值之间不一致程度的函数。
在步骤5)中，集成学习是使用一个或多个学习器进行学习，并使用规则把各个学习结果进行整合，从而获得比单个学习器更好的学习效果的一种机器学习方法；在这里使用集成的规则是Bagging算法，Bagging算法对于一个给定大小为n的训练集D，从中均匀、有放回地选出m个大小为q的子集作为新的训练集，在这m个训练集上使用分类、回归算法，则能够得到m个模型，再通过取平均值或者取多数票的方法，即可得到Bagging的结果。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明首次实现了跨session(会话)和跨受试者的迁移，解决了运动想象数据稀缺的问题。
2、本发明首次将分布自适应、类内距和类间距结合的迁移学习方法应用于运动想象数据集上，解决了不同受试者间特征不匹配的问题。
3、本发明将集成学习方法应用于运动想象数据集上，使得分类结果具有更高的准确性。
4、本发明方法计算量小，训练时间短，在实时系统中有广阔的应用前景。
5、本发明可以扩展应用于图像处理、文本分析等诸多领域，具有普适性。
附图说明
图1为本发明逻辑流程示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所提供的基于运动想象分类的结合类内距和类间距的迁移学习方法，包括以下步骤：
1)利用除当前受试者以外的其它受试者的跨session(会话)数据作为训练集，当前受试者的跨session数据作为测试集；其中，每个受试者具有两个session的数据，分别采集于不同的时间，需要把同一个受试者的两个session的数据合并，这样得到的就是一个受试者的跨session数据。
2)利用巴特沃斯带通滤波器提取目标信号，去除其它噪声信号对结果的干扰。由于运动想象信号主要发生在8～30Hz，因此巴特沃斯带通滤波器的频带也选择此范围。
3)对训练集和测试集使用CSP(共同空间模式)提取特征，其中CSP的具体公式如下：
式中，fi表示第i个受试者的特征，wi表示对第i个受试者所使用的空域滤波器，表示第i个受试者所使用的空域滤波器的转置，X表示原始输入，XT表示原始输入的转置，wk表示所有受试者中第k个受试者的空域滤波器，表示所有受试者中第k个受试者的空域滤波器的转置。
4)结合分布自适应、类内距和类间距做特征迁移，传统的迁移学习方法在做特征迁移的时候只考虑到了分布自适应，但却忽视了类内距和类间距的影响，本发明方法将它们结合起来进行特征迁移。
所谓分布自适应就是虽然源域和目标域的数据概率分布不同，但是通过变换，能够把不同的数据分布的距离拉近，其中，采用的变换方法有条件概率分布和联合分布。
条件概率分布是指对于两个已知的相关随机变量A和Y，随机变量Y在条件{A＝a}下的概率分布，即当已知A的取值为某个特定值a时，Y的概率分布。
联合分布是指同时对于两个随机变量A和Y的概率分布。
如果采用的变换是条件概率分布称为条件分布自适应，如果采用的变换是联合分布称为联合分布自适应，条件分布自适应的目标是减小源域与目标域之间的条件分布的距离，从而完成迁移学习；联合分布自适应的目标是减小源域与目标域之间的联合分布的距离，从而完成迁移学习。
另外，使用类内距和类间距做特征迁移就是在损失函数中加入类内距和类间距的比值，在最小化类内距的同时最大化类间距，其中损失函数是一个用来评估模型预测值与真实值之间不一致程度的函数。
5)使用集成学习方法对做了特征迁移的训练集上的特征训练出一个分类器，然后把该分类器用于做了特征迁移的测试集上的特征进行分类，得到分类准确率，如表1所示。其中，集成学习是使用一个或多个学习器进行学习，并使用某种规则把各个学习结果进行整合，从而获得比单个学习器更好的学习效果的一种机器学习方法；在这里使用集成的规则是Bagging算法，Bagging算法对于一个给定大小为n的训练集D，从中均匀、有放回地选出m个大小为q的子集作为新的训练集，在这m个训练集上使用分类、回归算法，则能够得到m个模型，再通过取平均值或者取多数票的方法，即可得到Bagging的结果。
表1
受试者编号 Subject1 Subject2 Subject3 Subject4 Subject5
分类准确率 74.01％ 78.82％ 70.26％ 76.26％ 58.28％
综上所述，在采用以上方案后，本发明为运动想象分类提供了一种新的方法，将结合分布自适应、类内距和类间距的迁移学习方法应用于不同受试者的数据中实现特征迁移，而后利用集成学习方法进行分类，可以获得更高的分类准确率，而且由于本系统计算量小，训练时间短，具有很强的实用性，非常具有推广价值。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.基于运动想象分类的结合类内距和类间距的迁移学习方法，其特征在于，包括以下步骤：
1)利用除当前受试者以外的其它受试者的跨session数据作为训练集，当前受试者的跨session数据作为测试集；其中，每个受试者具有两个会话session的数据，分别采集于不同的时间，需要把同一个受试者的两个session的数据合并，这样得到的就是一个受试者的跨session数据；
2)利用巴特沃斯带通滤波器提取目标信号，去除噪声信号对结果的干扰；
3)对训练集和测试集使用共同空间模式CSP提取特征，CSP的公式如下：
式中，fi表示第i个受试者的特征，wi表示对第i个受试者所使用的空域滤波器，表示第i个受试者所使用的空域滤波器的转置，X表示原始输入，XT表示原始输入的转置，wk表示所有受试者中第k个受试者的空域滤波器，表示所有受试者中第k个受试者的空域滤波器的转置；
4)对经过CSP提取得到的特征，使用分布自适应、类内距和类间距做特征迁移；
5)使用集成学习方法对已做特征迁移的训练集上的特征训练出一个分类器，然后把该分类器用于已做特征迁移的测试集上的特征进行分类，得到分类准确率。
2.根据权利要求1所述的基于运动想象分类的结合类内距和类间距的迁移学习方法，其特征在于：在步骤4)中，所谓分布自适应就是虽然源域和目标域的数据概率分布不同，但是通过变换，能够把不同的数据分布的距离拉近，其中，采用的变换方法有条件概率分布和联合分布；
条件概率分布是指对于两个已知的相关随机变量A和Y，随机变量Y在条件{A＝a}下的概率分布，即当已知A的取值为某个特定值a时，Y的概率分布；
联合分布是指同时对于两个随机变量A和Y的概率分布；
如果采用的变换是条件概率分布称为条件分布自适应，如果采用的变换是联合分布称为联合分布自适应；条件分布自适应的目标是减小源域与目标域之间的条件分布的距离，从而完成迁移学习；联合分布自适应的目标是减小源域与目标域之间的联合分布的距离，从而完成迁移学习；
另外，使用类内距和类间距做特征迁移就是在损失函数中加入类内距和类间距的比值，在最小化类内距的同时最大化类间距，其中损失函数是一个用来评估模型预测值与真实值之间不一致程度的函数。
3.根据权利要求1所述的基于运动想象分类的结合类内距和类间距的迁移学习方法，其特征在于：在步骤5)中，集成学习是使用一个或多个学习器进行学习，并使用规则把各个学习结果进行整合，从而获得比单个学习器更好的学习效果的一种机器学习方法；在这里使用集成的规则是Bagging算法，Bagging算法对于一个给定大小为n的训练集D，从中均匀、有放回地选出m个大小为q的子集作为新的训练集，在这m个训练集上使用分类、回归算法，则能够得到m个模型，再通过取平均值或者取多数票的方法，即可得到Bagging的结果。
CN201910720007.3A 2019-08-06 2019-08-06 用于运动想象分类的结合类内距和类间距的迁移学习方法 Active CN110569727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910720007.3A CN110569727B (zh) 2019-08-06 2019-08-06 用于运动想象分类的结合类内距和类间距的迁移学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910720007.3A CN110569727B (zh) 2019-08-06 2019-08-06 用于运动想象分类的结合类内距和类间距的迁移学习方法

Publications (2)

Publication Number Publication Date
CN110569727A true CN110569727A (zh) 2019-12-13
CN110569727B CN110569727B (zh) 2022-03-29

Family

ID=68774623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910720007.3A Active CN110569727B (zh) 2019-08-06 2019-08-06 用于运动想象分类的结合类内距和类间距的迁移学习方法

Country Status (1)

Country Link
CN (1) CN110569727B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931656A (zh) * 2020-08-11 2020-11-13 西安交通大学 基于迁移学习的用户独立型运动想象分类模型训练方法
CN114757305A (zh) * 2022-06-13 2022-07-15 华中科技大学 一种基于集成学习的电压互感器绝缘故障辨识方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056043A (zh) * 2016-05-19 2016-10-26 中国科学院自动化研究所 基于迁移学习的动物行为识别方法和装置
CN106943140A (zh) * 2017-03-08 2017-07-14 重庆邮电大学 一种基于RandomSelect‑RCSP的运动想象脑电信号特征提取方法
CN107832711A (zh) * 2017-11-13 2018-03-23 常州大学 一种基于迁移学习的行人重识别方法
CN107958213A (zh) * 2017-11-20 2018-04-24 北京工业大学 一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法
CN108209909A (zh) * 2017-12-21 2018-06-29 佛山科学技术学院 基于动作意图任务的双模特神经信号特征选择方法
CN109620223A (zh) * 2018-12-07 2019-04-16 北京工业大学 一种脑卒中康复系统脑机接口关键技术方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056043A (zh) * 2016-05-19 2016-10-26 中国科学院自动化研究所 基于迁移学习的动物行为识别方法和装置
CN106943140A (zh) * 2017-03-08 2017-07-14 重庆邮电大学 一种基于RandomSelect‑RCSP的运动想象脑电信号特征提取方法
CN107832711A (zh) * 2017-11-13 2018-03-23 常州大学 一种基于迁移学习的行人重识别方法
CN107958213A (zh) * 2017-11-20 2018-04-24 北京工业大学 一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法
CN108209909A (zh) * 2017-12-21 2018-06-29 佛山科学技术学院 基于动作意图任务的双模特神经信号特征选择方法
CN109620223A (zh) * 2018-12-07 2019-04-16 北京工业大学 一种脑卒中康复系统脑机接口关键技术方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
DAI MENGXI等: ""Transfer Kernel Common Spatial Patterns for Motor Imagery Brain-Computer Interface Classification"", 《COMPUTIONAL AND METHEMATICAL METHODS IN MEDICINE》 *
MINGSHENG LONG等: ""Transfer Feature Learning with Joint Distribution Adaption"", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
XIANGHONG ZHAO等: ""Transferring Common Spatial Filters With Semi-Supervised Learning for Zero-Training Motor Imagery Brain-Computer Interface"", 《IEEE ACESS》 *
付荣荣等: "基于Fisher准则的单次运动想象脑电信号意图识别研究", 《生物医学工程学杂志》 *
林程: ""基于迁移学习的脑机接口信号分类算法研究"", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
聂聃等: "基于脑电的情绪识别研究综述", 《中国生物医学工程学报》 *
舒醒等: ""基于边际 Fisher 准则和迁移学习的小样本集分类器设计算法"", 《自动化学报》 *
蔡淼等: "基于小波包变换的右手和脚运动想象任务分类", 《中国医疗器械杂志》 *
齐菲菲: ""基于正则化的脑电信号时空分析方法研究"", 《中国博士学位论文全文数据库 哲学与人文科学辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931656A (zh) * 2020-08-11 2020-11-13 西安交通大学 基于迁移学习的用户独立型运动想象分类模型训练方法
CN111931656B (zh) * 2020-08-11 2022-08-05 西安交通大学 基于迁移学习的用户独立型运动想象分类模型训练方法
CN114757305A (zh) * 2022-06-13 2022-07-15 华中科技大学 一种基于集成学习的电压互感器绝缘故障辨识方法及系统
CN114757305B (zh) * 2022-06-13 2022-09-20 华中科技大学 一种基于集成学习的电压互感器绝缘故障辨识方法及系统

Also Published As

Publication number Publication date
CN110569727B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN110097543B (zh) 基于生成式对抗网络的热轧带钢表面缺陷检测方法
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN102609681B (zh) 基于字典学习模型的人脸识别方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN109034210A (zh) 基于超特征融合与多尺度金字塔网络的目标检测方法
CN103870816B (zh) 一种识别率高的植物识别的方法
CN101526994B (zh) 一种与采集设备无关的指纹图像分割方法
CN104794368A (zh) 基于foa-mksvm的滚动轴承故障分类方法
CN105389583A (zh) 图像分类器的生成方法、图像分类方法和装置
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN106096660B (zh) 基于独立成分分析算法的卷积神经网络
CN106943140A (zh) 一种基于RandomSelect‑RCSP的运动想象脑电信号特征提取方法
CN111767790B (zh) 一种基于卷积神经网络的色谱峰识别方法
CN110659682A (zh) 一种基于MCWD-KSMOTE-AdaBoost-DenseNet算法的数据分类方法
CN110569727B (zh) 用于运动想象分类的结合类内距和类间距的迁移学习方法
CN106991355A (zh) 基于拓扑保持的解析型字典学习模型的人脸识别方法
CN109598292A (zh) 一种不同辅助样本正负比例的迁移学习方法
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
CN109359550A (zh) 基于深度学习技术的满文文档印章提取与去除方法
CN106570183A (zh) 一种彩色图像检索和分类方法
CN108268890A (zh) 一种高光谱图像分类方法
CN110929624A (zh) 一种基于正交损失函数的多任务分类网络的构建方法
CN106778897B (zh) 基于余弦距离和中心轮廓距离的两次植物物种识别方法
CN105975940A (zh) 一种基于稀疏双向二维局部判别投影的掌纹图像识别方法
CN111832426B (zh) 基于双稀疏迁移学习的跨库微表情识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant