CN114305453A - 多源流形脑电特征迁移学习方法 - Google Patents
多源流形脑电特征迁移学习方法 Download PDFInfo
- Publication number
- CN114305453A CN114305453A CN202111563107.3A CN202111563107A CN114305453A CN 114305453 A CN114305453 A CN 114305453A CN 202111563107 A CN202111563107 A CN 202111563107A CN 114305453 A CN114305453 A CN 114305453A
- Authority
- CN
- China
- Prior art keywords
- domain
- source
- manifold
- distribution
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013526 transfer learning Methods 0.000 title claims abstract description 13
- 238000009826 distribution Methods 0.000 claims abstract description 85
- 230000006870 function Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 53
- 238000002474 experimental method Methods 0.000 claims description 31
- 238000013508 migration Methods 0.000 claims description 31
- 230000005012 migration Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 230000001568 sexual effect Effects 0.000 claims 1
- 238000013145 classification model Methods 0.000 abstract 1
- 238000000537 electroencephalography Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 235000014653 Carica parviflora Nutrition 0.000 description 2
- 241000243321 Cnidaria Species 0.000 description 2
- 241000948268 Meda Species 0.000 description 2
- 241000931197 Themeda Species 0.000 description 2
- 238000004070 electrodeposition Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100356682 Caenorhabditis elegans rho-1 gene Proteins 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 208000030886 Traumatic Brain injury Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提出了一种多源流形脑电特征迁移学习方法；首先，在对称正定(SPD)流形中对齐源域和目标域协方差矩阵的分布均值，并提取切线空间特征，再通过格拉斯曼流形学习，提取Grassmann流行特征，将源域和目标域的边缘概率分布差异最小化。得到流行特征后，通过对源域和目标域的结构风险最小化和条件概率分布差异最小化作为目标函数，为每个源域进行分类模型训练，每个分类器分别对目标域进行预测，将不同源域的预测结果通过投票方式进行整合。最终进行迭代，得到多源迁移学习的分类结果。
Description
技术领域
本发明属于神经系统运动控制机制研究领域，脑电信号预处理，脑电特征提取，流形特征对齐和提取，多源迁移框架设计，从而进行多源脑电迁移学习。
背景技术
大脑作为控制人类的思想、行为、情绪等活动的中枢，分析处理从外部环境获取的信息，通过神经肌肉通路完成与外界的交流。然而，脊髓损伤、肌萎缩性侧索硬化、脑卒中、帕金森等疾病和脑外伤往往会对神经中枢功能造成损伤或削弱，从而导致不同程度的知觉、感觉、言语、运动等障碍。一方面，脑机接口(Brain Computer Interface,BCI)技术的突破有望通过直接建立大脑与外部设备之间的高精度信息交互与控制，实现机能代偿与功能重建；另一方面，基于BCI技术的主动康复训练可以增强神经重塑，促进患者恢复肢体运动功能康复，提高患者的生活质量与幸福指数，对患者、家庭和社会都具有重要的意义。
BCI系统中，一个核心问题是传统的监督分类器的模型训练需要大量有标记的脑电数据，过长的训练时间给患者带来很大的心理和生理负担，阻碍了BCI系统的发展和应用。因此，如何设计和实现具有自适应能力强、识别率高、用户训练时间短的脑电信号解析模型，已成为BCI系统实用化过程中亟待解决的共性关键基础科学问题之一，尚待进一步研究和方法上的拓展。
针对脑电信号解码存在的训练时间和识别性能问题，本发明提出一种多源流形脑电特征迁移分类方法，增强迁移模型的泛化能力和分类器的鲁棒性，实现健康被试到健康被试或患者之间的迁移，提高脑机接口系统性能。
近年来，迁移学习在BCI中的研究应用层出不穷。其中，黎曼几何在BCI中的应用变得流行，协方差矩阵作为对称正定(Symmetric positive definite,SPD)矩阵，每个(Electroencephalogram,EEG)试验的协方差矩阵可以看作是SPD流形上的一个点。Zanini等人提出了黎曼对齐(Riemannian alignment,RA)框架，用于校准来自不同源域的EEG协方差矩阵。然而，这些基于黎曼空间的方法计算量大，并且与欧氏空间中的机器学习方法不兼容。传统的迁移学习方法旨在解决单到单(Single to Single,STS)迁移问题，在实验中，我们可以发现，即使使用最简单的迁移学习算法，一个好的源域也有助于获得非常高的分类精度，因此源域的质量非常重要。然而，实际上我们很可能有多个源域，就像BCI设备往往有很多以前使用过的标记数据一样。因此，当存在多个源域时，好的源域更有可能被包括在内。在多源迁移中，由于数据的扩展，好的源域可以减少坏源域引起的负迁移的影响，多源迁移学习通常可以获得比STS迁移学习更稳定、更高的分类精度。近年来，多源无监督域自适应迁移学习受到了越来越多的关注，如(Yao，&Doretto，2010；Lin，An，&Zhang，2013；Li等人，2019；Zhu，Zhung，&Wang，2019；Zhang，&Wu，2020)。
发明内容
本发明的目的在于提供一种多源流形脑电特征迁移学习方法(multi-sourcemanifold feature transfer learning,MMFT)。
为实现上述目的，多源流行脑电特征迁移学习方法，该方法包括以下步骤：
步骤(1)，脑电流形特征提取；
具体为：通过计算每个样本脑电信号的协方差矩阵，在SPD流形上对不同源域和目标域进行对齐，提取切空间特征；将所提取的切空间特征重构回Grassmann流形，提取Grassmann流形特征，达到最小化源域和目标域边缘概率分布的目的；
步骤(2)，流形特征迁移；
根据步骤(1)中得到了最小化源域和目标域边缘概率分布的流形特征，对流行特征进行迁移，最小化源域和目标域的条件概率分布；步骤(3)，多源迁移框架设计；
得到了迁移分类器的训练方法后，对于z个源域，在对齐分布均值之后，通过步骤(2)中分类器设计方法，为每个对齐后得源域单独训练分类器，最终将每个源域对目标域做出对量化预测值进行累加得到最终的分类结果。
作为优选，步骤2所述的对流行特征进行迁移，最小化源域和目标域的条件概率分布；采用SRM分类器来最小化源域和目标域的条件概率分布。
作为优选，所述的脑电流形特征提取，具体为：
记一次实验的EEG信号的协方差矩阵为P，P＝XXT，且P为SPD矩阵；用
和
表示源域
和目标与域
所有样本的协方差矩阵，在SPD流形上距离的一维分布，Ms和Mt是域分布均值，
和
代表协方差矩阵分布的方差,方差值越大，则代表该域样本在SPD流形上的分布更分散；为了通过改变黎曼流形上的参考位置，减小化源域和目标域的边缘概率分布，选取可逆矩阵A和B作为线性变换，来进行域的分布均值对齐；在线性变换之后，源域和目标域的样本为
和
根据黎曼距离的同余不变性特性，所有特征的协方差矩阵只是在空间的参考位置上发生了变化，因此，变换后源域和目标域的
和
不变，变换后的源域分布为
目标域分布
为
利用KL散度度量源于和目标域的分布差异，最小化边缘概率分布的目标函数为:
其中KL(·)为KL散度的计算，使用标准正态分布的概率密度
x表示SPD流形上一次实验的协方差矩阵；
KL散度计算得到
和
将式(2)和(3)带入式(1),目标函数化简为
当ATMsA＝BTMtB时,目标函数可得最优解，如：
和
其中E为单位矩阵，式(6)中的对其方法将每个域对齐到自己的分布均值处，而式(7)将源域的样本全部对齐到了目标域，本方法采用式(6)的对齐方式，因为这样对齐完后使源域和目标域样本多协方差矩阵白化；
对齐分布均值后，源域和目标域所有样本的协方差矩阵分别为
和
ns，nt分别为源域和目标域的样本个数，通过式(8)
计算得到，
表示源域的第i次实验的协方差矩阵，
表示目标域的第j次实验的协方差矩阵；
通过对齐后的协方差矩阵，投影到切空间上，得到切空间特征，将原本二维的协方差矩阵特征，转为一维的向量形式，计算方法如式(9)所示；
其中upper(·)为取c×c的SPD矩阵的上三角部分组成向量
的操作；得到源域和目标域的切空间特征分别为
和
最后将得到的一维切空间特征重构回格拉斯曼流形空间
z＝g(x)＝Φ(t)Tx (10)
通过式(11)计算特征映射G
最后通过式(12)得到Grassmann流形特征
最后得到的Grassmann流形特征z尽可能消除源于和目标域分布方差
和
的差异。
作为优选，所述的流形特征迁移，具体为：
步骤一中得到了最小化边缘概率分布的流形特征，在步骤二中，要对流形特征进行迁移，最小化源域和目标域的条件概率分布；所求分类器f的目标函数如式(13)所示，采用SRM分类器来最小化源域和目标域的条件概率分布，
其中前两项为SRM分类器，第三项表示源域
和目标域
之间的条件概率分布差异；
其中，SRM分类器表示为
其中E是对角矩阵，用来记录标签，并且当样本类不平衡的情况下，属于样本数量更少的那一类样本可以获得更大的权重；
其中ns,(c＝1)和ns,(c＝2)分别表示源域中属于第1类和第2类样本的数量。
第三项可表示为
其中
表示第c类样本的条件概率分布对齐；
使用表征理论，分类器f的一个张成为
其中K是由原始特征向量映射到希尔伯特空间
的一个核，
是对应的系数向量；
因此，式(16)可以写成
其中
表示Frobenious范数，
是核矩阵其中Kij＝K(zi,zj),Y＝[y1,…,yn]为源域标签和目标域的伪标签，n＝ns+nt，tr(·)为求矩阵的迹；
式(17)可以写成
其中Mc是MMD矩阵
其中
and
分别表示源域和目标域中属于第c类的样本；
将式(18)和式(19)带入式(13)，分类器的目标函数即为
通过求导，对
来最小化目标函数，求得最优解为
α＝((E+λMc)K+σI)-1EYT (22)
将式(22)带入式(17)，即可求得分类器的预测信息。
本发明与传统的肌间耦合分析方法相比，具有如下优点：
1.传统多源迁移学习方法将多个源域一起进行迁移，导致计算条件概率分布时信息的丢失，本方法对每个源域单独进行迁移，保证每个源域和目标域做到条件概率分布最小化，最大程度保留每个源域的条件概率分布信息。
2.传统迁移学习方法在进行边缘分布对齐和条件分布对齐时，将二者同等对待或是需要额外计算二者的权重。本方法通过黎曼流形上的特征学习，在黎曼流形上最小化边缘概率分布，后续的迁移只需要对齐条件概率分布，成功将两种分布对齐分开进行，避免计算二者间的权重。
附图说明
图1为本发明专利的流程图；
图2为SPD流形上分布均值对齐的示意图。
具体实施方式
下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方案和具体的操作过程。
由于传统单源脑电信号迁移存在着性能随着源域可迁移性不同而不稳定的问题。本发明提出一种多源流形脑电特征迁移学习方法。如图1所示，本发明的实施主要包括六个步骤：(1)脑电流形特征提取；(2)流形特征迁移；(3)多源迁移框架。
下面逐一对各步骤进行详细说明。
步骤一：脑电流形特征提取
记一次实验的EEG信号的协方差矩阵为P，P＝XXT，且P为SPD矩阵。用
和
表示源域和目标与域所有样本的协方差矩阵，在SPD流形上距离的一维分布，Ms和Mt是域分布均值(一个域所有样本的黎曼均值)，
和
代表协方差矩阵分布的方差,方差值越大，则代表该域样本在SPD流形上的分布更分散。为了通过改变黎曼流形上的参考位置，减小化源域和目标域的边缘概率分布，选取可逆矩阵A和B作为线性变换，来进行域的分布均值对齐。在线性变换之后，源域和目标域的样本为
和
根据黎曼距离的同余不变性特性，所有特征的协方差矩阵只是在空间的参考位置上发生了变化，因此，变换后源域和目标域的
和
不变，变换后的分布为
和
利用KL散度度量源于和目标域的分布差异，最小化边缘概率分布的目标函数为:
其中KL(·)为KL散度的计算，使用标准正态分布的概率密度
x表示SPD流形上一次实验的协方差矩阵；
KL散度可以计算得到
和
将式(2)和(3)带入式(1),目标函数化简为
当ATMsA＝BTMtB时,目标函数可得最优解，如：
和
其中E为单位矩阵，如图2所示，不同的解对应了不同的对其方法，式(6)中的对其方法将每个域对齐到自己的分布均值处，而式(7)将源域的样本全部对齐到了目标域，本方法采用式(6)的对齐方式，因为这样对齐完后可以使源于和目标域样本多协方差矩阵白化。
对齐分布均值后，源域和目标域所有样本的协方差矩阵分别为
和
ns，nt分别为源域和目标域的样本个数，可通过式(8)
计算得到。
通过对齐后的协方差矩阵，可以投影到切空间上，得到切空间特征，将原本二维的协方差矩阵特征，转为一维的向量形式，计算方法如式(9)所示。
其中upper(·)为取c×c的SPD矩阵的上三角部分组成向量
的操作。得到源域和目标域的切空间特征分别为
和
最后将得到的一维切空间特征重构回格拉斯曼流形空间
z＝g(x)＝Φ(t)Tx (10)
通过式(11)计算特征映射G
最后通过式(12)得到Grassmann流形特征
最后得到的Grassmann流形特征z可以尽可能消除源于和目标域分布方差
和
的差异。
步骤二：流形特征迁移
步骤一中得到了最小化边缘概率分布的流形特征，在步骤二中，要对流形特征进行迁移，最小化源域和目标域的条件概率分布。所求分类器f的目标函数如式(13)所示，本方法采用SRM分类器来最小化源域和目标域的条件概率分布以及标签相似度，
其中前两项为SRM分类器，第三项表示源域
和目标域
之间的条件概率分布差异。
其中，SRM分类器可以表示为
其中E是对角矩阵，用来记录标签，并且当样本类不平衡的情况下，属于样本数量更少的那一类样本可以获得更大的权重。
其中ns,(c＝1)和ns,(c＝2)分别表示源域中属于第1类和第2类样本的数量。
第三项可表示为
其中
表示第c类样本的条件概率分布对齐。
使用表征理论(
Herbrich,&Smola,2001)，分类器f的一个张成为
其中K是由原始特征向量映射到希尔伯特空间
的一个核，
是对应的系数向量。
因此，式(16)可以写成
其中
表示Frobenious范数，
是核矩阵其中Kij＝K(zi,zj),Y＝[y1,…,yn]为源域标签和目标域的伪标签，n＝ns+nt，tr(·)为求矩阵的迹。
式(17)可以写成
其中Mc是MMD(maximum mean discrepancy)矩阵
其中
and
分别表示源域和目标域中属于第c类的样本。
将式(18)和式(19)带入式(13)，分类器的目标函数即为
通过求导，对
来最小化目标函数，求得最优解为
α＝((E+λMc)K+σI)-1EYT (22)
将式(22)带入式(17)，即可求得分类器的预测信息。
步骤三：多源迁移框架设计
得到了迁移分类器的训练方法后，如图1中所示，对于z个源域
在对齐分布均值之后，所有源域的条件概率分布仍然存在差异。当它们的MMD矩阵一起计算时，可能会丢失部分条件概率分布信息。因此，对齐联合概率分布的结果可能并不比只对齐边缘分布的结果好。与传统多源迁移相比，本方法多源迁移框架并不是简单的将多个对齐后得源域放在一起训练分类器，而是通过步骤二的分类器设计方法，为每个对齐后得源域单独训练分类器，最终将每个源域对目标域做出对量化预测值进行累加得到最终的分类结果。这种做法最大程度保留了每个源域的条件概率分布信息，并且本方法采用的是量化分类器，在多源投票的情况下可以更好描述每个样本属于某一类的概率。具体为：
通过式(8)得到z个源域对齐后的协方差矩阵
和目标域对齐后的协方差矩阵
通过式(9)计算切空间特征
最后通过式(11)和式(12)进行Grassmann流形特征学习，得到边缘概率分布最小化的流形特征
然后用得到的流形特征，通过式(22)为每个源域训练一个分类器fi,i＝1,2,…z,，并进行量化投票
得到最后多源分类器f。
重复并更新目标域的伪标签，迭代多次，最终输出目标域的预测标签。
实验：
1.数据集：
为了验证本发明方法的性能，实验部分在5个公开脑电数据集上进行了实验。具体描述如下:
(1)MI1(BCI CompetitionⅢDatasetⅣa):该数据集包含5名受试者的EEG信号，每位受试者(编号A1－A5)进行两类运动想象任务，要求在视觉提示后想象右手或足的运动，每次实验持续3.5s每组EEG信号均使用118个电极进行记录，采样频率为100Hz，电极位置采用国际10/20系统。每个受试者均进行200次实验，本实验只选择其中的左手和右手的EEG信号进行测试，200次实验中，左手和右手运动想象均为进行100次。
(2)MI2(BCI CompetitionⅣDatasetⅡa):该数据集包含9名受试者(编号C1－C9)的EEG信号，每位受试者执行四类运动想象任务:左手、右手、右足还有舌头，每次实验持续4s。所有实验均使用22个电极记录，采样频率为250Hz，电极位置采用国际10/20系统。每个受试者均进行144次实验，本实验只选择其中的左手和右手的EEG信号进行测试，144次实验中，左手和右手运动想象均为进行72次。
(3)MI3和MI4(Cho,2017):该数据集包含52名受试者(编号S1－S52)的EEG和EMG信号，所有实验均使用64个电极记录，采样频率为512Hz。每个受试者均进行200次实验，本实验只选择其中的左手和右手的EEG信号进行测试，200次实验中，左手和右手运动想象均为进行100次。考虑到受试者的数据集的数量很大，此外，几乎一半的受试者迁移性低，为了实验的合理性，52个受试者被分为10个一组进行的简单迁移实验，平均分类精度低于60％的受试者不选用，最后选出20名受试者的数据，前10个(S1,S3,S4,S5,S9,S10,S14,S19,S20、S23)组成MI3,后10个(S24,S25,S28,S31,S33,S36,S43,S47,S48,S49)组成MI4。
(4)RSVP(Matran-Fernandez,&Polo,2017)：RSVP数据集包含11名健康受试者在快速串行视觉呈现(RSVP)实验中的8通道脑电图记录。在三个不同的实验中，图像以不同的速率(5、6和10Hz)呈现。本实验中只使用5HZ的版本。目标是从脑电图中对被试看到的目标图像或非目标图像进行分类，例如，有飞机或没有飞机的图像。不同受试者的图像数量在368-565张之间，目标与非目标的比例约为1:10。RSVP数据集EEG信号采样率为2048hz，带通滤波设置为0.15-28hz。
(5)ERN(Margaux et al.,2012):ERN数据集为反馈误差相关负性(ERN)实验，该实验用于Kaggle竞赛的两类分类实验。从26个受试者中采集，分为训练集(16个受试者)和测试集(10个受试者)。由于无法访问测试集的完整数据，所以在本实验中只使用了训练集。目标与非目标的平均比率约为1:4。56通道的脑电图数据采样频率为200Hz。
2.实验流程与评价指标：
在5个脑电数据集中，ERN和RSVP数据集存在分类不平衡，因此我们采用平衡分类精度(BCA)来衡量分类性能。
其中npk和nk为第k类的真阳性的样本数量数和实际第k类的样本数。当样本类平衡时，BCA就等价于普通的分类精度。
假设一个数据集中有z+1个受试者，在多源迁移中，每个受试者轮流作为目标域，剩余的受试者作为源域，因此共会有z+1个不同的迁移任务，对z+1个迁移任务的BCA求均值，作为最后衡量一个方法在该数据集上的分类表现。
3.实验对比方法：
为了验证该方法的有效性，实验将该方法与六种最先进的脑电信号分类算法进行了比较，归纳如下:
(1)4种传统迁移学习方法:CORAL(correlation alignment)(Sun,Feng，&Saenko)，TCA(Pan et al.，2010)，JDA(Long,Wang,Ding,Sun，&Yu,2013)，BDA(Wang etal.，2017)。
(2)2种基于图的方法:MEKT-R(Zhang，&Wu,2020)和MEDA(Wang et al.，2018)。值得注意的是，MEDA无法应对类不平衡的情况，导致BCA很低，因此只有MEDA应用于4个MI数据集。
将分布均值对齐后的切线空间特征作为所有比较方法的输入。在每一种子空间学习方法(CORAL、TCA、JDA、BDA和MEKT)中，MI使用sLDA分类器(Peck，&Van Ness,1982)，RSVP和ERN数据集使用SVM。
超参数设置中，TCA、JDA和BDA在5个数据集中使用了子空间维数d＝20和正则化参数λ＝0.1。对于MEDA，流形子空间维数设置为d＝10，正则化参数为λ＝0.1,η＝10,ρ＝1，该参数设置以确保在四个MI数据集上最高的平均分类精度。对于MEKT，我们使用原文献中推荐的超参数。本方法中，所有数据集均使用超参数λ＝0.1和η＝0.1，这些方法均采用了宽度为0.1的RBF核。
4.实验结果：
5个数据集上的平均BCA值和标准差如表1所示。本方法在MI1-4和RSVP数据集上取得了最好的性能(粗体)，在ERN数据集上取得了第二好的性能(下划线)。在MI1-4和RSVP数据集中，MMFT的分类精度分别比次优方法高0.57％、0.54％、1.05％、0.30％和0.06％。
表1不同方法在五个数据集上的平均BCA(％)±标准差
以上所述的实施例仅仅是对本发明的优选实例方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权力要求书确定的保护范围内。
Claims (4)
1.多源流行脑电特征迁移学习方法，其特征在于：该方法包括以下步骤：
步骤(1)，脑电流形特征提取；
具体为：通过计算每个样本脑电信号的协方差矩阵，在SPD流形上对不同源域和目标域进行对齐，提取切空间特征；将所提取的切空间特征重构回Grassmann流形，提取Grassmann流形特征，达到最小化源域和目标域边缘概率分布的目的；
步骤(2)，流形特征迁移；
根据步骤(1)中得到了最小化源域和目标域边缘概率分布的流形特征，对流行特征进行迁移，最小化源域和目标域的条件概率分布；
步骤(3)，多源迁移框架设计；
得到了迁移分类器的训练方法后，对于z个源域，在对齐分布均值之后，通过步骤(2)中分类器设计方法，为每个对齐后得源域单独训练分类器，最终将每个源域对目标域做出对量化预测值进行累加得到最终的分类结果。
2.根据权利要求1所述的多源流行脑电特征迁移学习方法，其特征在于：步骤2所述的对流行特征进行迁移，最小化源域和目标域的条件概率分布；采用SRM分类器来最小化源域和目标域的条件概率分布。
3.根据权利要求1所述的多源流行脑电特征迁移学习方法，其特征在于：所述的脑电流形特征提取，具体为：
记一次实验的EEG信号的协方差矩阵为P，P＝XXT，且P为SPD矩阵；用
和
表示源域
和目标与域
所有样本的协方差矩阵，在SPD流形上距离的一维分布，Ms和Mt是域分布均值，
和
代表协方差矩阵分布的方差,选取可逆矩阵A和B作为线性变换，来进行域的分布均值对齐；在线性变换之后，源域和目标域的样本为
和
根据黎曼距离的同余不变性特性，所有特征的协方差矩阵只是在空间的参考位置上发生了变化，因此，变换后源域和目标域的
和
不变，变换后的源域分布为
目标域分布
为
利用KL散度度量源于和目标域的分布差异，最小化边缘概率分布的目标函数为:
其中KL(·)为KL散度的计算，使用标准正态分布的概率密度
x表示SPD流形上一次实验的协方差矩阵；
KL散度计算得到
和
将式(2)和(3)带入式(1),目标函数化简为
当ATMsA＝BTMtB时,目标函数可得最优解，如：
和
其中E为单位矩阵，式(6)中的对其方法将每个域对齐到自己的分布均值处，而式(7)将源域的样本全部对齐到了目标域，本方法采用式(6)的对齐方式，因为这样对齐完后使源域和目标域样本多协方差矩阵白化；
对齐分布均值后，源域和目标域所有样本的协方差矩阵分别为
和
ns，nt分别为源域和目标域的样本个数，通过式(8)
计算得到，
表示源域的第i次实验的协方差矩阵，
表示目标域的第j次实验的协方差矩阵；
通过对齐后的协方差矩阵，投影到切空间上，得到切空间特征，将原本二维的协方差矩阵特征，转为一维的向量形式，计算方法如式(9)所示；
其中upper(·)为取c×c的SPD矩阵的上三角部分组成向量
的操作；得到源域和目标域的切空间特征分别为
和
最后将得到的一维切空间特征重构回格拉斯曼流形空间
z＝g(x)＝Φ(t)Tx (10)
通过式(11)计算特征映射G
最后通过式(12)得到Grassmann流形特征
最后得到的Grassmann流形特征z尽可能消除源于和目标域分布方差
和
的差异。
4.根据权利要求1所述的多源流行脑电特征迁移学习方法，其特征在于：所述的流形特征迁移，具体为：
步骤一中得到了最小化边缘概率分布的流形特征，在步骤二中，要对流形特征进行迁移，最小化源域和目标域的条件概率分布；所求分类器f的目标函数如式(13)所示，采用SRM分类器来最小化源域和目标域的条件概率分布，
其中前两项为SRM分类器，第三项表示源域
和目标域
之间的条件概率分布差异；
其中，SRM分类器表示为
其中E是对角矩阵，用来记录标签，并且当样本类不平衡的情况下，属于样本数量更少的那一类样本可以获得更大的权重；
其中ns,(c＝1)和ns,(c＝2)分别表示源域中属于第1类和第2类样本的数量；
第三项可表示为
其中
表示第c类样本的条件概率分布对齐；
使用表征理论，分类器f的一个张成为
其中K是由原始特征向量映射到希尔伯特空间
的一个核，
是对应的系数向量；
因此，式(16)可以写成
其中
表示Frobenious范数，
是核矩阵其中Kij＝K(zi,zj),Y＝[y1,…,yn]为源域标签和目标域的伪标签，n＝ns+nt，tr(·)为求矩阵的迹；
式(17)可以写成
其中Mc是MMD矩阵
其中
and
分别表示源域和目标域中属于第c类的样本；
将式(18)和式(19)带入式(13)，分类器的目标函数即为
通过求导，对
来最小化目标函数，求得最优解为
α＝((E+λMc)K+σI)-1EYT (22)
将式(22)带入式(17)，即可求得分类器的预测信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111563107.3A CN114305453A (zh) | 2021-12-20 | 2021-12-20 | 多源流形脑电特征迁移学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111563107.3A CN114305453A (zh) | 2021-12-20 | 2021-12-20 | 多源流形脑电特征迁移学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114305453A true CN114305453A (zh) | 2022-04-12 |
Family
ID=81052329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111563107.3A Pending CN114305453A (zh) | 2021-12-20 | 2021-12-20 | 多源流形脑电特征迁移学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114305453A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842245A (zh) * | 2022-04-19 | 2022-08-02 | 华南理工大学 | 一种图像分类模型训练方法、目标分类方法、装置及介质 |
| CN116049639A (zh) * | 2023-03-31 | 2023-05-02 | 同心智医科技(北京)有限公司 | 脑电图信号的选择性迁移学习方法、装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723661A (zh) * | 2020-05-18 | 2020-09-29 | 华南理工大学 | 一种基于流形嵌入分布对齐的脑机接口迁移学习方法 |
| CN111914708A (zh) * | 2020-07-23 | 2020-11-10 | 杭州电子科技大学 | 迁移半监督宽度学习的脑电信号分类方法 |
| CN112560937A (zh) * | 2020-12-11 | 2021-03-26 | 杭州电子科技大学 | 一种利用静息态对齐的运动想象迁移学习的方法 |
| CN112684891A (zh) * | 2020-12-30 | 2021-04-20 | 杭州电子科技大学 | 基于多源流形嵌入迁移的脑电信号分类方法 |
-
2021
- 2021-12-20 CN CN202111563107.3A patent/CN114305453A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723661A (zh) * | 2020-05-18 | 2020-09-29 | 华南理工大学 | 一种基于流形嵌入分布对齐的脑机接口迁移学习方法 |
| CN111914708A (zh) * | 2020-07-23 | 2020-11-10 | 杭州电子科技大学 | 迁移半监督宽度学习的脑电信号分类方法 |
| CN112560937A (zh) * | 2020-12-11 | 2021-03-26 | 杭州电子科技大学 | 一种利用静息态对齐的运动想象迁移学习的方法 |
| CN112684891A (zh) * | 2020-12-30 | 2021-04-20 | 杭州电子科技大学 | 基于多源流形嵌入迁移的脑电信号分类方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842245A (zh) * | 2022-04-19 | 2022-08-02 | 华南理工大学 | 一种图像分类模型训练方法、目标分类方法、装置及介质 |
| CN114842245B (zh) * | 2022-04-19 | 2024-05-14 | 华南理工大学 | 一种图像分类模型训练方法、目标分类方法、装置及介质 |
| CN116049639A (zh) * | 2023-03-31 | 2023-05-02 | 同心智医科技(北京)有限公司 | 脑电图信号的选择性迁移学习方法、装置及存储介质 |
| CN116049639B (zh) * | 2023-03-31 | 2023-06-23 | 同心智医科技(北京)有限公司 | 脑电图信号的选择性迁移学习方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiao et al. | Sparse group representation model for motor imagery EEG classification | |
| CN107958213A (zh) | 一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法 | |
| CN114305453A (zh) | 多源流形脑电特征迁移学习方法 | |
| CN112370066A (zh) | 一种基于生成对抗网络的脑卒中康复系统脑机接口方法 | |
| Wan et al. | EEG fading data classification based on improved manifold learning with adaptive neighborhood selection | |
| CN114533086A (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| CN113951900A (zh) | 一种基于多模态信号的运动想象意图识别方法 | |
| CN111544256A (zh) | 基于图卷积和迁移学习的脑控智能全肢体康复方法 | |
| CN114699093A (zh) | 一种基于卷积神经网络和长短期记忆的脑电癫病发作信号检测方法 | |
| CN116522106A (zh) | 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法 | |
| Xu et al. | Decoding spectro-temporal representation for motor imagery recognition using ECoG-based brain-computer interfaces | |
| Guan | Application of logistic regression algorithm in the diagnosis of expression disorder in Parkinson's disease | |
| Ma et al. | Iterative outlier removal clustering based time-frequency-spatial feature selection for binary EEG motor imagery decoding | |
| CN114254676A (zh) | 多源脑电迁移的源域选择方法 | |
| Pei et al. | User-independent emotion classification based on domain adversarial transfer learning | |
| Dang et al. | Motor imagery EEG recognition based on generative and discriminative adversarial learning framework and hybrid scale convolutional neural network | |
| CN115758118A (zh) | 一种基于脑电互信息的多源流形嵌入特征选择方法 | |
| Chen et al. | Myoformer: sEMG missing signal recovery for gesture recognition based on multi-channel self-attention mechanism | |
| CN115154828A (zh) | 一种基于脑机接口技术的大脑功能重塑方法、系统、设备 | |
| Yacine et al. | A novel ANN adaptive Riemannian-based kernel classification for motor imagery | |
| CN109800651B (zh) | 一种基于双规则主动超限学习机的多类脑电分类方法 | |
| CN110174947A (zh) | 基于分形几何和概率协作的运动想象任务识别方法 | |
| Zhao et al. | EEG-Based Cross-Subject Emotion Recognition Using GADF and CADAN | |
| Joseph et al. | MODCN: Fine-Tuned Deep Convolutional Neural Network with GAN Deployed to Forecast Diabetic Eye Damage in Fundus Retinal Images | |
| CN116842445B (zh) | 基于多模态时空谱融合的觉醒自动识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |