CN114548166A - 一种基于黎曼流形的脑电信号异构标签空间迁移学习方法 - Google Patents

一种基于黎曼流形的脑电信号异构标签空间迁移学习方法 Download PDF

Info

Publication number
CN114548166A
CN114548166A CN202210152396.6A CN202210152396A CN114548166A CN 114548166 A CN114548166 A CN 114548166A CN 202210152396 A CN202210152396 A CN 202210152396A CN 114548166 A CN114548166 A CN 114548166A
Authority
CN
China
Prior art keywords
label
electroencephalogram
electroencephalogram data
tag
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210152396.6A
Other languages
English (en)
Inventor
王力
詹倩倩
任玲玲
黄学文
刘彦俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202210152396.6A priority Critical patent/CN114548166A/zh
Publication of CN114548166A publication Critical patent/CN114548166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • G06F2218/04Denoising
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • G06F2218/16Classification; Matching by matching signal segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Fuzzy Systems (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,包括,对被试A的脑电数据的单频段进行分段;将各子频带的脑电数据中标签1和标签2的脑电数据分别按照不同顺序拼接成新标签1和新标签2;将新标签1和新标签2作为源域,标签3和标签4作为目标域;分别计算标签1、标签2,标签3和标签4的脑电数据的平均协方差矩阵;分别将每个子频段的黎曼流形上的源域数据通过平均协方差矩阵构建的线性变换矩阵对齐到目标域;将各子频带对齐后的黎曼流形上的源域和目标域数据通过对数映射至切空间,再通过mRMR将高维的切空间特征降至低维;融合各子频段降维后的切空间特征,并输入LDA分类器中进行分类。本发明有助于扩大脑电数据的适用范围。

Description

一种基于黎曼流形的脑电信号异构标签空间迁移学习方法
技术领域
本发明涉及信号处理技术领域,尤其是一种基于黎曼流形的脑电信号异构标签空间迁移学习方法。
背景技术
脑机接口是可将大脑活动转化为控制信号,以指挥外部设备的系统。在BCI系统的帮助下,大脑活动可转化为驱动设备的指令,而无需依赖周围的神经和肌肉。BCI系统的许多应用已被开发为患有交流障碍的人们的康复工具,它也被视为身体健康的人们的增强工具。脑电信号具有低成本、高时间分辨率的特点,广泛应用于脑电接口中。运动想象(MI)是一种自发产生的脑电信号,不需要外界刺激,特别适用于患者的康复训练和运动控制。此外,BCI系统在教育、军事和娱乐领域也有广泛的应用前景。
但现在有一个新问题。由于脑电信号对噪声或伪影敏感,且具有较高的非平滑性,这可能导致跨标签或跨被试的脑电数据具有较高的变异性。这也导致想象类型较多时,采集新标签的脑电数据会加重被试的负担,以及在构建相应分类器时,每个标签的校准时间相对较长。因此,探索针对不同任务提取和识别EEG特征的有效方法,减少被试负担以及校准时间是非常重要的,迁移学习被认为是解决这个问题的重要方法。迁移学习是指在源域上学习知识,然后将其应用于不同但相关的目标域,迁移学习主要是为了提高数据分布的相关性,减少EEG数据之间校准时间过长的问题。
然而现阶段在BCI领域适应方面,迁移学习方法多为同构迁移学习类型。同构迁移学习是在源域和目标域具有相同的特征空间和标签空间的情况下进行的。然而,在脑机接口领域中,存在着许多源域数据和目标域数据具有不同的特征空间或标签空间的情况。而现有的迁移学习技术只考虑了特征空间不同的情况,并且还是单一频带之间的迁移,也没有提出任何针对标签空间不同的迁移学习方法。当源域和目标域的标签空间不同时,源域的数据就无法利用,所以只能采集大量的新标签的脑电数据进行校准。但是在采集新标签的数据的时候,对于运动意象、语言想象等主动实验范式,当想象类型较多时,实验数据的采集过程会过长,使得被试产生疲劳感,造成被试的负担大大加重,从而进一步降低采集的信号质量,最终影响脑电信号的分类精度,也使得校准时间大大加长。
发明内容
针对现有技术的以上缺陷或改进要求,本发明提供了一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,其目的在于解决,在脑电信号校准过程中,当源域数据和目标域数据的标签空间不同时,源域数据无法利用,采集大量新标签的脑电数据进行校准造成被试负担大大加重以及校准时间加长的技术问题。
有鉴于此,第一方面,本发明提供一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,包括:
S1对被试A的脑电数据的单频段进行分段,得到各子频带的脑电数据;
S2将各子频带的脑电数据中标签1和标签2的脑电数据分别按照不同顺序拼接成新标签1和新标签2;将经过拼接的新标签1,2的脑电数据作为源域,标签为3,4的脑电数据作为目标域;其中标签1和标签2仅包含单一的语言想象或运动想象特征,标签3和标签4包含语言想象和运动想象特征;
S3对源域的脑电数据集S={Xs,i,Ys,i}的所有脑电数据按标签类别进行分组;分别计算标签1和标签2的脑电数据的平均协方差矩阵;
S4对目标域的部分组脑电数据集T={Xt,i}的所有脑电数据按标签类别进行分组;分别计算标签3和标签4的脑电数据的平均协方差矩阵;
S5对源域和目标域的平均协方差矩阵设定对应关系,根据该关系对源域S的脑电数据Xs,i进行变换,并将目标域的标签按照所述对应关系赋给源域的脑电数据,得到变换后的源域脑电数据;
S6将变换后的源域的脑电数据以及步骤S4标注的目标域的脑电数据合并作为训练集,目标域未标注的脑电数据作为测试集,进行特征提取后,进一步进行mRMR特征降维。
S7在各个子频带训练集降维后的融合特征上构建用于目标域未标注样本预测的机器学习模型,再送入LDA分类器中进行分类。
具体地,本发明设计的四类想象分别包括:标签1:默念汉字“壹”,标签2:想象右手划水,标签3:先默念汉字“壹”再想象右手划水,标签4:先想象右手划水再默念汉字“壹”。
进一步地,默念汉字“壹”为单一的语言想象,想象右手划水为单一的运动想象,而先默念汉字“壹”再想象右手划水为先语言想象后运动想象的复合型想象、先想象右手划水再默念汉字“壹”为先运动想象后语言想象的复合型想象。其中标签1和标签2仅含有单一的想象特征,而标签3和4都含有语言想象和运动想象这两种想象内容。标签3和4的语言想象和运动想象出现的时序是不一样的,故标签3和4含有丰富的时序特征信息。
进一步地,将标签1和标签2,按照标签3这样的先语言想象后运动想象的含有时序特征的复合型脑电信号,拼接成新标签1,即新标签1也成为了先语言想象后运动想象的含有时序特征的复合型脑电信号;同理,将标签1和标签2,按照标签4这样的先运动想象后语言想象的含有时序特征的复合型脑电信号,拼接成新标签2,即新标签2也成为了先运动想象后语言想象的含有时序特征的复合型脑电信号。把经过拼接的新标签1和2这两类含有丰富的时序特征信息的复合型想象分别对应地迁移至标签3,4这两类同样含有丰富的时序特征信息的复合型想象,具有减轻被试负担以及减少被试训练时间的现实意义。
进一步地,步骤S1具体包括:
S11截取出被试A的想象期4S的脑电数据
S12对被试A的8-32Hz的脑电数据进行分频段,得到8-12Hz、12-16Hz、16-20Hz、20-24Hz、24-28Hz、28-32Hz 6个子频带的脑电数据;
S13对被试A的6个子频带分别进行5阶巴特沃斯带通滤波。
进一步地,步骤S2具体包括:
S21分别挑选出标签为标签1、标签2、标签3、标签4这4个标签的脑电数据;
S22将标签1和标签2的脑电数据按照先标签1后标签2的顺序拼接成一个新标签,得到新标签1;
S23将将标签1和标签2的脑电数据按照先标签2后标签1的顺序拼接成一个新标签,得到新标签2;
S24将新标签1和新标签2的脑电数据作为源域,标签3和标签4的脑电数据作为目标域。
进一步地,步骤S3包括:
对该被试A源域的脑电数据集S={Xs,i,Ys,i}的所有脑电数据按标签类别进行分组,其中,所述被试A的源域共有2个标签类别
Figure BDA0003510902200000031
其中C=2,c=1,2分别表示即标签1和标签2;分别计算标签为1和标签为2的平均协方差矩阵
Figure BDA0003510902200000032
进一步地,步骤S4包括:
被试A目标域的部分组脑电数据集T={Xt,i}的所有脑电数据按标签类别进行分组;其中,所述被试A的目标域共有2个标签类别
Figure BDA0003510902200000033
C=4,c=3,4分别表示标签3和标签4;分别计算标签为3和标签为4的脑电数据的平均协方差矩阵
Figure BDA0003510902200000034
进一步地,步骤S4具体包括:
S41计算目标域的部分脑电信号集T={Xt,i}中每次实验Xt,i的协方差矩阵;
S42计算目标域的两两脑电协方差矩阵之间的黎曼距离,利用k-medoids聚类,对所有次实验的协方差矩阵执行k-medoids聚类,可得到k个聚类中心,根据对应试验次的脑电标签类别,对k个聚类中心进行标注,得到k个带标签的脑电数据;
S43根据标注信息对k个带标签实验进行分组,得到C个分组
Figure BDA0003510902200000041
以及每个分组GT,m的平均协方差矩阵
Figure BDA0003510902200000042
进一步地,所述6个子频带的目标域脑电数据集T={Xt,i}通过对目标域的脑电数据进行8-32Hz的时域带通滤波得到。
进一步地,任意两个协方差矩阵之间的黎曼距离定义为:
Figure BDA0003510902200000043
其中,F代表F范数,Pi、Pj表示两个不同的协方差矩阵,λr表示矩阵Pi -1Pj的所有实特征值;
进一步地,步骤S42具体包括:
S421设定一个聚类的目标域实验数k;
S422随机选择k个协方差矩阵分别作为k次实验的中心;
S423对实验中心之外的每一个协方差矩阵,对比其到k个中心的距离,并将其分到距离最近的中心所属的类别;
S424对每个类别,重新分配一个协方差矩阵作为该类别的中心,分配的规则是使得中心到该类别内部其它协方差矩阵的距离之和最小;
S425重复步骤S423-S424,直到所有类别的脑电数据的中心收敛。
进一步地,步骤S5具体包括:
S51将目标域T的C个标签类别
Figure BDA0003510902200000044
与源域S的C个标签类别
Figure BDA0003510902200000045
按照设定的对应关系一一对应;其中所述设定的对应关系为:被试A有标签1,标签2,标签3和标签4这4种脑电数据,该被试
Figure BDA0003510902200000046
的标签3与
Figure BDA0003510902200000047
的标签1对应,
Figure BDA0003510902200000048
的标签4与
Figure BDA0003510902200000049
的标签2对应,属于异构标签空间迁移;
S52根据源域和目标域脑电数据之间每组对应的平均协方差矩阵,构建线性变换矩阵
Figure BDA00035109022000000410
S53对源域的脑电数据Xs,i执行以下变换:当ys,i=YT,C时,
Figure BDA0003510902200000051
S54将目标域的标签按照如下关系赋给源域的标签;当ys,i=YT,C时,
Figure BDA0003510902200000052
进一步地,步骤S6具体包括:
S61将训练集以及测试集的脑电数据一一对齐到黎曼流形空间中;训练集以及测试集的脑电数据指的是脑电协方差矩阵,而脑电协方差矩阵位于一个对称正定矩阵空间中,故本发明用黎曼度量来衡量脑电的协方差矩阵;
S62根据对数映射将经过对齐后的脑电协方差矩阵从黎曼流形上映射到切空间中,提取子频带的切空间特征;
S63利用mRMR特征选择,将高维的136维的切空间特征降至2维。
进一步地,黎曼流形与切线空间的之间的对数映射定义为:
Figure BDA0003510902200000053
其中Log(P)是对数映射,表示映射距离信息从黎曼流形到切线空间。
具体地,对数映射是黎曼流形M上从点P到Pi的测地线到切空间T的切向量S的映射。测地线是黎曼流形空间中两点P1和P2之间最短的曲线距离,测地线和切向量S有相同的方向和长度。
进一步地,步骤S63具体包括:
S631根据互信息计算所有维切空间特征与标签之间的相关性;
S632按照生成的136维的互信息的大小排序,选择出2维相关性最大的切空间特征;
其中,切空间特征之间的互信息定义为:
Figure BDA0003510902200000054
其中,I(·)表示切空间特征之间的互信息,nf=d(d+1)/2中的d表示16导联的脑电数据,nf表示切空间特征的维度。
进一步地,对于6个子频带,分别对每个子频带执行步骤S2-S6。
第二方面,本发明提供一种基于黎曼流形的脑电信号异构标签空间迁移学习装置,该装置用于实现如上述第一方面中任一种实施方式所述的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法。
通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
(1)本发明针对标签空间不同的情形,提出的异构标签空间迁移学习方法,在充分利用了采集到的脑电信号的时序特征的基础上,将被试经过拼接的源域脑电数据对齐到目标域中,这样使得对齐后的源域数据训练出的分类模型可以更好的应用至目标域中,成功地减少了目标域脑电数据所需要的校准数据,即大幅度减轻了被试采集新标签的负担,也减少了目标域数据的校准时间。
(2)在目前应用至脑机接口的迁移学习算法中,大多数只能使用同构标签空间的源域的脑电数据,而采用本发明的算法,还可以使用异构标签空间的源域脑电数据来提升目标域脑电数据的模型学习能力,很好的扩大了源域脑电数据的适用范围。
(3)本发明提出的异构标签空间迁移学习方法,并不限制后续特征提取方法和分类模型的选择,具有良好的适用性。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明提出的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法流程图。
图2是被试A的源域数据没有使用本发明的对齐方式直接迁移到目标域降维后的切空间特征散点图。
图3是被试A的源域数据使用本发明的对齐方式再迁移到目标域降维后的切空间特征散点图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明提供的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,包括:
(1)对被试A的脑电数据的单频段进行分段,得到6个子频带的脑电数据;
具体地,步骤(1)包括:
(1.1)截取出被试S的想象期4S的脑电数据;
(1.2)对被试S的8-32Hz的脑电数据进行分频段,得到8-12Hz、12-16Hz、16-20Hz、20-24Hz、24-28Hz、28-32Hz六个子频带的脑电数据;
(1.3)对被试S的六个子频带分别进行5阶巴特沃斯带通滤波;带通滤波的目的是去除原始脑电数据中的噪音、以及心电和肌电,同时提高脑电信号的信噪比。
(2)将所有组脑电数据中标签1和标签2的脑电数据分别按照先标签1后标签2,先标签2后标签1的顺序拼接成新标签1和新标签2;将经过拼接的新标签1,2的脑电数据作为源域,标签为3,4的脑电数据作为目标域;
具体地,步骤(2)包括:
(2.1)分别挑选出标签为1、2、3、4这4个标签的脑电数据;
进一步地,本发明设计的四类想象分别包括:标签1:默念汉字“壹”,标签2:想象右手划水,标签3:先默念汉字“壹”再想象右手划水,标签4:先想象右手划水再默念汉字“壹”。
进一步地,默念汉字“壹”为单一的语言想象,想象右手划水为单一的运动想象,而先默念汉字“壹”再想象右手划水为先语言想象后运动想象的复合型想象、先想象右手划水再默念汉字“壹”为先运动想象后语言想象的复合型想象。其中标签1和标签2仅含有单一的想象特征,而标签3和4都含有语言想象和运动想象这两种想象内容。标签3和4的语言想象和运动想象出现的时序是不一样的,故标签3和4含有丰富的时序特征信息。
(2.2)将标签1,2的脑电数据按照先标签1后标签2的顺序拼接成一个新标签,命名为标签1;
(2.3)将标签1,2的脑电数据按照先标签2后标签1的顺序拼接成一个新标签,命名为标签2;
(2.4)将新标签1和2的脑电数据作为源域,标签3和4的脑电数据作为目标域。
进一步地,将标签1和标签2,按照标签3这样的先语言想象后运动想象的含有时序特征的复合型脑电信号,拼接成新标签1,即新标签1也成为了先语言想象后运动想象的含有时序特征的复合型脑电信号;同理,将标签1和标签2,按照标签4这样的先运动想象后语言想象的含有时序特征的复合型脑电信号,拼接成新标签2,即新标签2也成为了先运动想象后语言想象的含有时序特征的复合型脑电信号。把经过拼接的新标签1和2这两类含有丰富的时序特征信息的复合型想象分别对应地迁移至标签3,4这两类同样含有丰富的时序特征信息的复合型想象,具有减轻被试负担以及减少被试训练时间的现实意义。
(3)对该被试A源域的脑电数据集S={Xs,i,Ys,i}的所有脑电数据按标签类别进行分组,其中,所述被试A的源域共有2个标签类别
Figure BDA0003510902200000081
C=2,即标签1和2;分别计算标签为1和标签为2的平均协方差矩阵
Figure BDA0003510902200000082
(4)对被试A目标域的部分组脑电数据集T={Xt,i}的所有脑电数据按标签类别进行分组;其中,所述被试A的目标域共有2个标签类别
Figure BDA0003510902200000083
C=4,即标签3和4;分别计算标签为3和标签为4的脑电数据的平均协方差矩阵
Figure BDA0003510902200000084
具体地,步骤(4)包括:
(4.1)计算目标域的部分脑电信号集T={Xt,i}中每次实验Xt,i的协方差矩阵;
(4.2)计算目标域的两两脑电协方差矩阵之间的黎曼距离,利用k-medoids聚类,对所有次实验的协方差矩阵执行k-medoids聚类,可得到k个聚类中心,根据对应试验次的脑电标签类别,对k个聚类中心进行标注,得到k个带标签的脑电数据;
任意两个协方差矩阵之间的黎曼距离定义为:
Figure BDA0003510902200000085
其中,F代表F范数,Pi、Pj表示两个不同的协方差矩阵,λr表示矩阵Pi -1Pj的所有实特征值。
步骤(4.2)的聚类过程具体包括:
(4.2.1)设定一个聚类的目标域实验数k;
(4.2.2)随机选择k个协方差矩阵分别作为k次实验的中心;
(4.2.3)对实验中心之外的每一个协方差矩阵,对比其到k个中心的距离,并将其分到距离最近的中心所属的类别;
(4.2.4)对每个类别,重新分配一个协方差矩阵作为该类别的中心,分配的规则是使得中心到该类别内部其它协方差矩阵的距离之和最小;
(4.2.5)重复步骤(4.2.3)-(4.2.4),直到所有类别的脑电数据的中心收敛。
(4.3)根据标注信息对k个带标签实验进行分组,得到C个分组
Figure BDA0003510902200000086
以及每个分组GT,m的平均协方差矩阵
Figure BDA0003510902200000087
(5)对源域和目标域的平均协方差矩阵设定对应关系,根据该关系对源域S的脑电数据Xs,i进行变换,并将目标域T的标签按照所述对应关系赋给源域的脑电数据,得到变换后的源域脑电数据;
具体地,步骤(5)具体包括:
(5.1)将目标域T的C个标签类别
Figure BDA0003510902200000091
与源域S的C个标签类别
Figure BDA0003510902200000092
按照设定的对应关系一一对应;所述设定的对应关系为:被试A有标签1,2,3,和4这4种脑电数据。该被试
Figure BDA0003510902200000093
的标签3与
Figure BDA0003510902200000094
的标签1对应,
Figure BDA0003510902200000095
的标签4与
Figure BDA0003510902200000096
的标签2对应,属于异构标签空间迁移;
(5.2)根据源域和目标域脑电数据之间每组对应的平均协方差矩阵,构建线性变换矩阵
Figure BDA0003510902200000097
(5.3)对源域的脑电数据Xs,i执行以下变换:当ys,i=YT,C时,
Figure BDA0003510902200000098
(5.4)将目标域的标签按照如下关系赋给源域的标签;当ys,i=YT,C时,
Figure BDA0003510902200000099
(6)将变换后的源域的脑电数据以及步骤(4)标注的目标域的脑电数据合并作为训练集,目标域未标注的脑电数据作为测试集。进行特征提取后,并进行mRMR特征降维。
进一步地,步骤(6)具体包括:
(6.1)将训练集以及测试集的脑电数据一一对齐到黎曼流形空间中;训练集以及测试集的脑电数据指的是脑电协方差矩阵,而脑电协方差矩阵位于一个对称正定矩阵空间中,故本发明用黎曼度量来衡量脑电的协方差矩阵;
(6.2)根据对数映射将经过对齐后的脑电协方差矩阵从黎曼流形上映射到切空间中,提取子频带的切空间特征;
(6.3)利用mRMR特征选择,将高维的136维的切空间特征降至2维。
进一步地,黎曼流形与切线空间的之间的对数映射定义为:
Figure BDA00035109022000000910
其中Log(P)是对数映射,表示映射距离信息从黎曼流形到切线空间。
具体地,对数映射是黎曼流形M上从点P到Pi的测地线到切空间T的切向量S的映射。测地线是黎曼流形空间中两点P1和P2之间最短的曲线距离,测地线和切向量S有相同的方向和长度。
进一步地,步骤(6.3)具体包括:
(6.3.1)根据互信息计算所有维切空间特征与标签之间的相关性;
(6.3.2)按照生成的136维的互信息的大小排序,选择出2维相关性最大的切空间特征。
进一步地,切空间特征之间的互信息定义为:
Figure BDA0003510902200000101
其中,I(·)表示切空间特征之间的互信息,nf=d(d+1)/2中的d代表本发明的16导联的脑电数据,nf表示切空间特征的维度。
进一步地,对于6个子频带,分别对每个子频带执行步骤(2)-(6)。
(7)在6个子频带训练集降维后的融合特征上构建用于目标域未标注样本预测的机器学习模型,送入LDA分类器中进行分类。
本发明并不限制后续特征提取方法和分类模型的选择,具体地,对于本发明所设计的实验范式,首先将一个被试的脑电信号分为6个子频带,分别对这6个子频带进行带通滤波,再将经过拼接的源域的两类脑电的协方差矩阵对齐到目标域的协方差矩阵;对齐后,将在对称正定矩阵黎曼流形上的源域和目标域的协方差矩阵对数映射到切空间,再提取6个子频带的切空间特征;然后使用mRM特征选择将高维的切空间特征降至2维;将6个子频带的源域的切空间特征融合为最终的源域的12维的切空间特征,6个子频带的目标域的切空间特征融合为最终的目标域切空间特征;再通过源域的融合切空间特征训练出一个LDA分类器;最后通过十折交叉验证得到分类精度。
同时,本发明也提出了一种基于黎曼流形的脑电信号异构标签空间迁移学习装置,该装置用于实现如上述图1所示的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法中各方法步骤对应的具体实施例,本申请在此不重复叙述。
本发明设计的是包含运动想象与语言想象的混合实验范式,实验共采集了12位被试的实验数据,电极通道为16导,采样频率为250Hz。每位被试执行4种想象任务:默念“壹”、想象右手划水、先默念“壹”再想象右手划水,先想象右手划水再默念“壹”。其中,默念“壹”和想象右手划水为单一的语言想象和运动想象,而先默念“壹”再想象右手划水、先想象右手划水再默念“壹”为含有语言想象和运动想象时序特征的复合型想象,这四种想象分别以标签1、2、3、4表示。本发明实施例首先将被试S1所有脑电数据通过时域带通滤波分为6个子频带,然后分别将6个子频带的所有组脑电数据中标签1和标签2的脑电数据按照先标签1后标签2,先标签2后标签1的顺序拼接成新标签1和新标签2。其中,经过拼接的新标签1和2的脑电数据组成数据集1,标签3和4的脑电数据组成数据集2。从被试S1的数据集2,即含标签“3,4”的脑电数据中选择1组实验作为目标域,从被试S1的数据集1,即含经过拼接的标签“1,2”的脑电数据中选择剩余的6组实验作为源域,然后提取6个子频带的目标域和源域的特征,分别执行mRMR特征选择再融合进行分类,对以上12位被试分别执行本发明提出的方法。目标域聚类目标群体数k设为4,实验结果如表1所示:
表1:正确率(%)对比,其中SB-TS-LDA是指本发明的算法,代表提取6个子频带的切空间特征,融合后再用LDA分类;SB-CSP-LDA代表提取6个子频带的公共空间模式特征,融合后再用LDA分类;LA-TS-SVM代表提取单个子频带的切空间特征,再用SVM分类。
被试 SB-CSP-LDA LA-TS-SVM SB-TS-LDA
S1 56.21 59.66 60.37
S2 71.22 73.02 80.11
S3 67.62 68.91 79.89
S4 62.60 64.64 77.63
S5 66.03 66.70 81.10
S6 71.67 75.77 82.01
S7 77.68 82.72 87.56
S8 58.40 61.83 60.99
S9 70.12 84.22 83.43
S10 61.24 64.90 71.61
S11 67.80 71.07 67.80
S12 66.02 66.25 70.36
Mean 66.38 69.97 75.24
从表1中可以看出,使用SB-CSP-LDA、LA-TS-SVM都没有使用本发明提出的SB-TS-LDA的方法的平均分类准确率高。
需要说明的是,在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中,也可以是各个单元/模块单独物理存在,也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现,也可以采用软件功能单元/模块的形式实现。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解应当理解,可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现,处理器可以在一个或多个下列单元中实现:专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现,实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时,可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当分析,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,其特征在于,包括:
S1对被试A的脑电数据的单频段进行分段,得到各子频带的脑电数据;
S2将各子频带的脑电数据中标签1和标签2的脑电数据分别按照不同顺序拼接成新标签1和新标签2;将经过拼接的新标签1,2的脑电数据作为源域,标签为3,4的脑电数据作为目标域;其中标签1和标签2仅包含单一的语言想象或运动想象特征,标签3和标签4包含语言想象和运动想象特征;
S3对源域的脑电数据集S={Xs,i,Ys,i}的所有脑电数据按标签类别进行分组;分别计算标签1和标签2的脑电数据的平均协方差矩阵;
S4对目标域的部分组脑电数据集T={Xt,i}的所有脑电数据按标签类别进行分组;分别计算标签3和标签4的脑电数据的平均协方差矩阵;
S5对源域和目标域的平均协方差矩阵设定对应关系,根据该关系对源域S的脑电数据Xs,i进行变换,并将目标域的标签按照所述对应关系赋给源域的脑电数据,得到变换后的源域脑电数据;
S6将变换后的源域的脑电数据以及步骤S4标注的目标域的脑电数据合并作为训练集,目标域未标注的脑电数据作为测试集,进行特征提取后,进一步进行mRMR特征降维。
S7在各个子频带训练集降维后的融合特征上构建用于目标域未标注样本预测的机器学习模型,再送入LDA分类器中进行分类。
2.根据权利要求1所述的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,其特征在于,步骤S1包括:
S11截取出被试A的想象期4S的脑电数据
S12对被试A的8-32Hz的脑电数据进行分频段,得到8-12Hz、12-16Hz、16-20Hz、20-24Hz、24-28Hz、28-32Hz 6个子频带的脑电数据;
S13对被试A的6个子频带分别进行5阶巴特沃斯带通滤波。
3.根据权利要求1所述的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,其特征在于,步骤S2包括:
S21分别挑选出标签为标签1、标签2、标签3、标签4这4个标签的脑电数据;
S22将标签1和标签2的脑电数据按照先标签1后标签2的顺序拼接成一个新标签,得到新标签1;
S23将将标签1和标签2的脑电数据按照先标签2后标签1的顺序拼接成一个新标签,得到新标签2;
S24将新标签1和新标签2的脑电数据作为源域,标签3和标签4的脑电数据作为目标域。
4.根据权利要求1所述的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,其特征在于,步骤S3包括:
对该被试A源域的脑电数据集S={Xs,i,Ys,i}的所有脑电数据按标签类别进行分组,其中,所述被试A的源域共有2个标签类别
Figure FDA0003510902190000021
其中C=2,c=1,2分别表示标签1和标签2;分别计算标签为1和标签为2的平均协方差矩阵
Figure FDA0003510902190000022
5.根据权利要求1所述的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,其特征在于,步骤S4包括:
被试A目标域的部分组脑电数据集T={Xt,i}的所有脑电数据按标签类别进行分组;其中,所述被试A的目标域共有2个标签类别
Figure FDA0003510902190000023
C=4,c=3,4分别表示标签3和标签4;分别计算标签为3和标签为4的脑电数据的平均协方差矩阵
Figure FDA0003510902190000024
具体包括:
S41计算目标域的部分脑电信号集T={Xt,i}中每次实验Xt,i的协方差矩阵;
S42计算目标域的两两脑电协方差矩阵之间的黎曼距离,利用k-medoids聚类,对所有次实验的协方差矩阵执行k-medoids聚类,可得到k个聚类中心,根据对应试验次的脑电标签类别,对k个聚类中心进行标注,得到k个带标签的脑电数据;
其中,任意两个协方差矩阵之间的黎曼距离定义为:
Figure FDA0003510902190000025
其中,F代表F范数,Pi、Pj表示两个不同的协方差矩阵,λr表示矩阵
Figure FDA0003510902190000026
的所有实特征值;
S43根据标注信息对k个带标签实验进行分组,得到C个分组
Figure FDA0003510902190000027
以及每个分组GT,m的平均协方差矩阵
Figure FDA0003510902190000028
6.根据权利要求5所述的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,其特征在于,步骤S42具体包括:
S421设定一个聚类的目标域实验数k;
S422随机选择k个协方差矩阵分别作为k次实验的中心;
S423对实验中心之外的每一个协方差矩阵,对比其到k个中心的距离,并将其分到距离最近的中心所属的类别;
S424对每个类别,重新分配一个协方差矩阵作为该类别的中心,分配的规则是使得中心到该类别内部其它协方差矩阵的距离之和最小;
S425重复步骤S423-S424,直到所有类别的脑电数据的中心收敛。
7.根据权利要求6所述的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,其特征在于,步骤S5包括:
S51将目标域T的C个标签类别
Figure FDA0003510902190000031
与源域S的C个标签类别
Figure FDA0003510902190000032
按照设定的对应关系一一对应;其中所述设定的对应关系为:被试A有标签1,标签2,标签3和标签4这4种脑电数据,该被试
Figure FDA0003510902190000033
的标签3与
Figure FDA0003510902190000034
的标签1对应,
Figure FDA0003510902190000035
的标签4与
Figure FDA0003510902190000036
的标签2对应,属于异构标签空间迁移;
S52根据源域和目标域脑电数据之间每组对应的平均协方差矩阵,构建线性变换矩阵
Figure FDA0003510902190000037
S53对源域的脑电数据Xs,i执行以下变换:当ys,i=YT,C时,
Figure FDA0003510902190000038
S54将目标域的标签按照如下关系赋给源域的标签;当ys,i=YT,C时,
Figure FDA0003510902190000039
8.根据权利要求7所述的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,其特征在于,步骤S6包括:
S61将训练集以及测试集的脑电数据一一对齐到黎曼流形空间中;训练集以及测试集的脑电数据指的是脑电协方差矩阵,而脑电协方差矩阵位于一个对称正定矩阵空间中,故本发明用黎曼度量来衡量脑电的协方差矩阵;
S62根据对数映射将经过对齐后的脑电协方差矩阵从黎曼流形上映射到切空间中,提取子频带的切空间特征;
S63利用mRMR特征选择,将高维的136维的切空间特征降至2维。
9.根据权利要求8所述的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法,其特征在于,步骤S63具体包括:
S631根据互信息计算所有维切空间特征与标签之间的相关性;
S632按照生成的136维的互信息的大小排序,选择出2维相关性最大的切空间特征;
其中,切空间特征之间的互信息定义为:
Figure FDA0003510902190000041
其中,I(*,*)表示切空间特征之间的互信息,nf=d(d+1)/2中的d表示16导联的脑电数据,nf表示切空间特征的维度。
10.一种基于黎曼流形的脑电信号异构标签空间迁移学习装置,其特征在于,该装置用于实现如上述权利要求1-9中任一项所述的一种基于黎曼流形的脑电信号异构标签空间迁移学习方法。
CN202210152396.6A 2022-02-18 2022-02-18 一种基于黎曼流形的脑电信号异构标签空间迁移学习方法 Pending CN114548166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210152396.6A CN114548166A (zh) 2022-02-18 2022-02-18 一种基于黎曼流形的脑电信号异构标签空间迁移学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210152396.6A CN114548166A (zh) 2022-02-18 2022-02-18 一种基于黎曼流形的脑电信号异构标签空间迁移学习方法

Publications (1)

Publication Number Publication Date
CN114548166A true CN114548166A (zh) 2022-05-27

Family

ID=81674617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210152396.6A Pending CN114548166A (zh) 2022-02-18 2022-02-18 一种基于黎曼流形的脑电信号异构标签空间迁移学习方法

Country Status (1)

Country Link
CN (1) CN114548166A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195040A (zh) * 2023-08-25 2023-12-08 浙江大学 一种基于静息态脑电数据校准的脑机接口迁移学习方法
CN117204856A (zh) * 2023-10-07 2023-12-12 清华大学 基于脑电数据的驾驶员情绪状态检测方法和装置
WO2024055385A1 (zh) * 2022-09-13 2024-03-21 东南大学 一种基于黎曼空间的手部自然动作脑电数据迁移方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075324A1 (en) * 2014-11-13 2016-05-19 Mensia Technologies Scoring method based on improved signals analysis
CN110851783A (zh) * 2019-11-12 2020-02-28 华中科技大学 一种用于脑机接口校准的异构标签空间迁移学习方法
CN112580436A (zh) * 2020-11-25 2021-03-30 重庆邮电大学 一种基于黎曼流形坐标对齐的脑电信号域适应方法
CN113191206A (zh) * 2021-04-06 2021-07-30 华南理工大学 基于黎曼特征迁移的脑磁图信号分类方法、装置及介质
CN118035816A (zh) * 2024-01-09 2024-05-14 广州大学 一种脑电信号分类方法、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016075324A1 (en) * 2014-11-13 2016-05-19 Mensia Technologies Scoring method based on improved signals analysis
CN110851783A (zh) * 2019-11-12 2020-02-28 华中科技大学 一种用于脑机接口校准的异构标签空间迁移学习方法
CN112580436A (zh) * 2020-11-25 2021-03-30 重庆邮电大学 一种基于黎曼流形坐标对齐的脑电信号域适应方法
CN113191206A (zh) * 2021-04-06 2021-07-30 华南理工大学 基于黎曼特征迁移的脑磁图信号分类方法、装置及介质
CN118035816A (zh) * 2024-01-09 2024-05-14 广州大学 一种脑电信号分类方法、装置和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
QIANQIAN ZHAN 等: "A novel heterogeneous transfer learning method based on data stitching for the sequential coding brain computer interface", COMPUTERS IN BIOLOGY AND MEDICINE 151 (2022) 106220, 21 October 2022 (2022-10-21), pages 1 - 15 *
YINHAO CAI 等: "Motor imagery EEG decoding using manifold embedded transfer learning", JOURNAL OF NEUROSCIENCE METHODS 370 (2022) 109489, 25 January 2022 (2022-01-25), pages 1 - 12 *
吴小培;周蚌艳;张磊;宋杰;: "脑-机接口中空域滤波技术现状与进展", 安徽大学学报(自然科学版), no. 02, 15 March 2017 (2017-03-15), pages 19 - 36 *
詹倩倩: "基于黎曼流形 的脑 电信号 异构标签空间迁移 研究", 中国优秀硕士学位论文全文数据库 基础科技辑, 15 February 2024 (2024-02-15), pages 006 - 498 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055385A1 (zh) * 2022-09-13 2024-03-21 东南大学 一种基于黎曼空间的手部自然动作脑电数据迁移方法
CN117195040A (zh) * 2023-08-25 2023-12-08 浙江大学 一种基于静息态脑电数据校准的脑机接口迁移学习方法
CN117195040B (zh) * 2023-08-25 2024-05-17 浙江大学 一种基于静息态脑电数据校准的脑机接口迁移学习方法
CN117204856A (zh) * 2023-10-07 2023-12-12 清华大学 基于脑电数据的驾驶员情绪状态检测方法和装置

Similar Documents

Publication Publication Date Title
CN114548166A (zh) 一种基于黎曼流形的脑电信号异构标签空间迁移学习方法
CN111062250B (zh) 基于深度特征学习的多受试者运动想象脑电信号识别方法
CN109165556B (zh) 一种基于grnn身份识别方法
CN111259761B (zh) 基于可迁移注意力神经网络的脑电情感识别方法及装置
CN110851783B (zh) 一种用于脑机接口校准的异构标签空间迁移学习方法
CN114176607B (zh) 一种基于视觉Transformer的脑电信号分类方法
CN112656431A (zh) 基于脑电的注意力识别方法、装置、终端设备和存储介质
CN107092874A (zh) 基于心电和指纹融合特征的身份识别方法、装置及系统
CN109497996A (zh) 一种微状态eeg时域特征的复杂网络构建及分析方法
CN108256579A (zh) 一种基于先验知识的多模态民族认同感量化测量方法
CN111671420A (zh) 一种从静息态脑电数据中提取特征的方法及终端设备
CN113143295A (zh) 基于运动想象脑电信号的设备控制方法及终端
CN113707286A (zh) 基于决策树的问诊分配方法、装置、设备及存储介质
Jiang et al. Analytical comparison of two emotion classification models based on convolutional neural networks
CN116919422A (zh) 基于图卷积的多特征情感脑电识别模型建立方法及装置
CN115414041A (zh) 基于脑电数据的自闭症评估装置、方法、终端设备和介质
Gao et al. A multiscale feature fusion network based on attention mechanism for motor imagery EEG decoding
CN113963193A (zh) 车身颜色分类模型生成的方法、装置以及存储介质
CN111407231A (zh) 用于检测阿兹海默症罹患风险的方法、装置及终端设备
CN116662782A (zh) 一种基于MSFF-SENet的运动想象脑电图解码方法
CN116340825A (zh) 一种基于迁移学习的跨被试rsvp脑电信号的分类方法
CN115444431A (zh) 一种基于互信息驱动下的脑电情绪分类模型生成方法
CN115374817A (zh) 基于混合图网络的情绪识别方法、装置、设备及存储介质
CN115036034A (zh) 一种基于患者表征图的相似患者识别方法及系统
Massar et al. Blind Source Separation of EEG Signals Using Wavelet and EMD Decomposition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination