CN115470863A - 一种基于双重监督的领域泛化脑电信号分类方法 - Google Patents
一种基于双重监督的领域泛化脑电信号分类方法 Download PDFInfo
- Publication number
- CN115470863A CN115470863A CN202211219633.2A CN202211219633A CN115470863A CN 115470863 A CN115470863 A CN 115470863A CN 202211219633 A CN202211219633 A CN 202211219633A CN 115470863 A CN115470863 A CN 115470863A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- data
- network
- double
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000013145 classification model Methods 0.000 claims abstract 3
- 230000006870 function Effects 0.000 claims description 18
- 230000003190 augmentative effect Effects 0.000 claims description 10
- 210000004556 brain Anatomy 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000013434 data augmentation Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims 1
- 230000003321 amplification Effects 0.000 abstract description 5
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 5
- 238000013507 mapping Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 101100234002 Drosophila melanogaster Shal gene Proteins 0.000 description 1
- 235000015076 Shorea robusta Nutrition 0.000 description 1
- 244000166071 Shorea robusta Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于双重监督的领域泛化脑电信号分类方法,包括以下步骤:对脑电信号进行预处理;建立双层监督机制,在时频域上对预处理后的脑电数据线性插值,进行类别相关的数据增广,实现隐式监督;利用受试者不变特征学习模块,对脑电样本施加权重约束,在不变类别相关脑电特征和对应标签之间建立更准确的映射关系,实现显式监督;将双层监督机制引入自监督模型中,将自集成模型的分类损失和一致性损失加权求和,与脑电样本权重约束,共同构成双层目标优化模型,通过反向传播交替更新权重参数和网络参数,直到精度收敛得到最终分类模型。本发明可以提升脑电信号识别的准确性和泛化性,保证了跨不同受试者的脑电信号的准确识别。
Description
技术领域
本发明涉及一种基于双重监督的领域泛化脑电信号分类方法,属于脑电信号识别领域。
背景技术
随着人工智能技术的快速发展,深度学习方法已经成为脑电信号识别任务中的主流方法。基于训练数据和测试数据服从同一分布假设,目前的大多数深度学习方法表现出出色的脑电分类效果。在实际应用场景中,将深度脑电信号识别方法泛化到先前未见过的新受试者的脑电信号识别任务,是实现深度脑电信号识别方法实用化的重要方法。然而,由于不同受试者的脑电信号之间的分布存在差异,将特定于某一受试者的深度脑电信号识别方法直接应用于其他受试者将会不可避免地造成分类性能下降。针对此问题,研究人员提出了两大类解决策略:学习不变特性以及数据增广。尽管取得了一定的效果,但这两类策略均是借鉴于机器视觉领域,并不适用于脑电信号处理。考虑到上述原因,本发明提出一种基于双重监督机制的领域泛化方法,设计了一种类别相关的脑电数据增广监督策略以及一种受试者不变特征学习监督策略,并结合自集成模型,实现了跨不同受试者脑电信号的准确识别。
发明内容
本发明提供了一种基于双重监督的领域泛化脑电信号分类方法,设计并引入类相关脑电数据增广监督模块以及受试者不变特征学习监督模块,同时结合自集成模型,实现了跨不同受试者脑电信号的准确识别。
本发明为解决上述问题采用以下技术方案:
1、一种基于双重监督的领域泛化脑电信号分类方法,包括以下步骤:
步骤1:从s个受试者采集脑电数据;
步骤3:随机从其余受试者脑电数据中选择与同类别的脑电数据,将该脑电数据和从时域转换到时频域,并沿着时域方向进行数据平均分割,线性插值它们对应的分割片段,进行数据重组,最后将新重组的脑电数据从时频域转换到时域,得到对应的增广脑电数据,直到遍历完所有受试者的脑电数据,得到增广脑电数据其中N表示s个受试者脑电数据的总和。重复执行步骤3,得到另一组增广脑电数据注意,这里将s个受试者训练数据集的脑电信号进行合并,因此不再对xi加上标用以区分。除非有特殊说明,下文均采用此描述。
步骤5:步骤4中学生网络的输出特征经过受试者不变特征学习模块,计算所有脑电样本的权重,从而去除特征之间的依赖性;
步骤6:将步骤4中学生网络的输出特征经过全连接层和Softmax层得到的概率输出与真实标签,同时乘以对应样本的权重,计算分类损失;
步骤7:将步骤4中学生网络的输出特征经过全连接层和Softmax层得到概率输出,以及教师网络以同样方式得到的概率输出,同时乘以对应样本的权重,计算一致性损失;
步骤8:将步骤6中的分类损失和步骤7中的一致性损失加权求和形成最终损失函数,以及步骤5中样本权重约束,共同构成双层优化问题,通过反向传播交替更新权重参数和网络参数,优化整个求解过程。
优选的,所述类别相关脑电数据增广策略是本发明双重监督中的隐式监督。具体地,首先将时域脑电信号经过短时傅里叶变换转换为时域特征。然后对时频域特征进行分割,并对分割后的每一段特征和同类样本的对应片段进行线性插值,将插值后的片段拼接。最后利用逆短时傅里叶变换将拼接后的特征转换为时域脑电信号,得到增广后的脑电信号。至此,实现了类别相关的脑电数据增广,是本发明双重监督中的隐式监督。
优选的,所述受试者不变特征学习模块是本发明双重监督中的显式监督。通过该模块,计算出每个脑电数据对应的权重,去除不同脑电特征之间的相互依赖。
优选的,所述基于双重监督的领域泛化脑电分类方法,在自集成模型中引入双重监督机制,首先分别将增广数据和输入自集成模型中的学生网络和教师网络,然后将自集成模型的分类损失和一致性损失加权求和,与受试者不变特征学习模块计算的样本权重的约束,共同构成如下双层优化问题:
这里N表示s个受试者脑电数据的总和,和分别表示交叉熵损失函数、分类损失和一致性损失函数,fs和ft分别表示学生模型特征提取网络和教师模型特征提取网络,gs和gt分别表示两个模型的分类网络。通过上述优化过程,更好地学习受试者的不变特征,则是本发明双重监督中的显式监督。
有益效果:
1、本发明引入一种受试者间类别相关的数据增广机制,通过对多个受试者的相同类别脑电信号在时频域上分割、线性插值、拼接,最终生成增广脑电数据。所提出的新型脑电信号增广策略在保留相同类别信息的同时,能够跨越受试者空间。
2、本方法引入受试者不变特征学习模块对所有脑电特征进行去相关,从而消除特征之间的依赖关系,使得模型能够在受试者不变特征和对应类标之间建立更合理的映射关系。
3、通过将上述双重监督机制引入自集成模型,增强了模型学习领域不变特征的能力,提升了模型在新受试者脑电数据上的识别效果。
附图说明
图1是本发明中基于双重监督的领域泛化脑电信号分类方法的网络框架图。
具体实施方式
下面结合实例对本发明做更进一步的解释。
本发明主要实施流程如下,相关流程见图1。
步骤1:从s个受试者采集的脑电数据;
步骤3:随机从其余受试者脑电数据中选择与同类别的脑电数据,分别将两者从时域转换到时频域,依次完成数据分割、线性插值及数据重组,最后将新重组的脑电数据从时频域转换到时域,直到遍历完所有受试者的脑电数据,生成增广脑电信号数据。具体计算如下:
1)随机选择脑电信号Xi,i=1,2,…,N,利用短时傅立叶变换将其转换到时频表示这里,c,r和t分别表示通道数、频带范围以及时间点数。然后,沿着时间维度,将Ti平均分为K个连续且不重叠的片段此时,可以将Ti重新表示为:
2)选择与脑电信号Xi同类别的任意受试者的脑电信号Xj进行上述步骤1)中的处理得到Tj,对两个样本的第k个片段使用线性插值,具体方式如下:
其中,和分别表示Ti和Tj的第k个片段。λ是平衡系数,其值取自于均匀分布λ~U(0,ρ),参数ρ用于控制样本的增广强度。对于形成的新数据片段将其按顺序拼接,通过逆短时傅里叶变换,将时频域数据转换到时域上。直到遍历完所有受试者的脑电数据,得到一组增广脑电信号数据
步骤5:步骤4中学生网络的输出特征经过受试者不变特征学习模块,得到所有样本的权重,从而去除特征之间的依赖性。具体计算如下:
2)为每一个样本特征赋值权重,偏协方差矩阵可重新表示如下:
步骤6:将步骤4中学生网络的输出特征经过全连接层和Softmax层得到的概率输出与真实标签,同时乘以对应样本的权重αi(步骤5中得到)计算分类损失:
步骤7:将步骤4中学生网络的输出特征经过全连接层和Softmax层得到概率输出,以及同时利用教师网络以同样方式得到的概率输出,同时乘以对应样本的权重计算一致性损失:
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所做的等效结构或等流程变换,或直接或间接运用在相关技术领域,均同理包括在本发明的专利保护范围。
Claims (3)
1.一种基于双重监督的领域泛化脑电信号分类方法,其特征在于,步骤如下:
步骤1:从S个受试者采集脑电数据;
步骤3:从其余受试者EEG数据中随机选择与同类别的脑电信号数据,将它们转换到时频域后进行分割,对分割片段线性插值并重组,后将新重组的脑电数据从时频域转换到时域,直到遍历完所有受试者的脑电数据,得到增广脑电信号数据重复执行步骤3,得到增广脑电信号注意,这里将S个受试者训练数据集的脑电信号进行合并,因此不再对Xi加上标用以区分;除非有特殊说明,下文均采用此描述;
步骤5:步骤4中学生网络的输出特征经过受试者不变特征学习模块,计算所有脑电样本的权重,从而去除特征之间的依赖性;
步骤6:将步骤4中学生网络的输出特征经过全连接层和Softmax层得到的概率输出与真实标签,同时乘以对应样本的权重,计算分类损失;
步骤7:将步骤4中学生网络的输出特征经过全连接层和Softmax层得到概率输出,以及教师网络以同样方式得到的概率输出,同时乘以对应样本的权重,计算一致性损失;
步骤8:将步骤6中的分类损失和步骤7中的一致性损失加权求和形成最终损失函数,以及步骤5中样本权重约束,共同构成双层优化问题,通过反向传播交替更新权重参数和网络参数,直到精度收敛,得到最终分类模型;
步骤9:将新受试者的脑电信号输入最终分类模型,得到每个样本对应的预测类别标签。
2.根据权利要求1所述的一种基于双重监督的领域泛化脑电信号分类方法,其特征在于,步骤3中,所述的类别相关的脑电数据增广策略,具体地,首先对经过预处理之后的时域脑电数据Xi使用短时傅里叶变换,将其由时域数据转换为时频域数据Ti;然后,沿着时间维度,对时域脑电数据进行平均分割,得到K个连续且不重叠的片段从S个受试者采集脑电数据中,选择与脑电数据Xi同一类别的其他受试者的脑电信号Xj,重复上述步骤,得到对新的Ti和Tj的第k个片段使用线性插值其中和分别表示Ti和Tj的第k个片段,λ是平衡系数;最后按顺序重组并通过逆短时傅里叶变换,将时频域数据表示转换回时域数据,直到遍历完所有受试者的脑电数据,最后增广的脑电信号。
3.根据权利要求1所述的一种基于双重监督的领域泛化脑电信号分类方法,其特征在于,在自集成模型中引入所述的双重监督机制,首先分别将增广数据和输入自集成模型中的学生网络和教师网络,然后将自集成模型的分类损失和一致性损失加权求和,与所述的受试者不变特征学习模块计算的样本权重的约束,共同构成如下双层优化问题:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211219633.2A CN115470863A (zh) | 2022-09-30 | 2022-09-30 | 一种基于双重监督的领域泛化脑电信号分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211219633.2A CN115470863A (zh) | 2022-09-30 | 2022-09-30 | 一种基于双重监督的领域泛化脑电信号分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115470863A true CN115470863A (zh) | 2022-12-13 |
Family
ID=84335155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211219633.2A Pending CN115470863A (zh) | 2022-09-30 | 2022-09-30 | 一种基于双重监督的领域泛化脑电信号分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115470863A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116258730A (zh) * | 2023-05-16 | 2023-06-13 | 先进计算与关键软件(信创)海河实验室 | 一种基于一致性损失函数的半监督医学图像分割方法 |
-
2022
- 2022-09-30 CN CN202211219633.2A patent/CN115470863A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116258730A (zh) * | 2023-05-16 | 2023-06-13 | 先进计算与关键软件(信创)海河实验室 | 一种基于一致性损失函数的半监督医学图像分割方法 |
CN116258730B (zh) * | 2023-05-16 | 2023-08-11 | 先进计算与关键软件(信创)海河实验室 | 一种基于一致性损失函数的半监督医学图像分割方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110598793B (zh) | 一种大脑功能网络特征分类方法 | |
CN111150393B (zh) | 基于lstm多通道的脑电癫痫尖棘波放电联合检测方法 | |
CN110289081B (zh) | 深度网络堆栈模型自适应加权特征融合的癫痫检测方法 | |
CN111931656B (zh) | 基于迁移学习的用户独立型运动想象分类模型训练方法 | |
CN113052099B (zh) | 一种基于卷积神经网络的ssvep分类方法 | |
CN112932505A (zh) | 一种基于时频能量的符号传递熵及脑网络特征计算方法 | |
CN115470863A (zh) | 一种基于双重监督的领域泛化脑电信号分类方法 | |
CN114239652A (zh) | 基于聚类的对抗部分域适应跨被试eeg情绪识别方法 | |
CN116011507A (zh) | 融合元学习与图神经网络的稀有故障诊断方法 | |
CN114239657A (zh) | 一种基于复值干涉神经网络的时序信号识别方法 | |
CN115969392A (zh) | 基于张量化频空注意力域适应网络的跨时段脑纹识别方法 | |
CN115271063A (zh) | 基于特征原型投影的类间相似性知识蒸馏方法与模型 | |
CN114287910A (zh) | 一种基于多阶段图卷积融合的脑功能连接分类方法 | |
CN112966735B (zh) | 一种基于谱重建的监督多集相关特征融合方法 | |
CN112947080B (zh) | 一种基于场景参数变换的智能决策模型性能评估系统 | |
CN117612644A (zh) | 一种空气安全评价方法及系统 | |
CN117609863A (zh) | 基于脑电微状态的长时脑电情绪识别方法 | |
CN111310680B (zh) | 一种基于深度学习的辐射源个体识别方法 | |
CN113095354A (zh) | 基于辐射源特征子空间知识的未知雷达目标识别方法 | |
CN114841216B (zh) | 一种基于模型不确定性学习的脑电信号分类方法 | |
CN116712087A (zh) | 一种锋电位信息的分类预测方法及装置 | |
Westerdijk et al. | Predicting malignant tumor cells in breasts | |
CN116644378A (zh) | 一种基于双层嵌套lstm的超长多维时间序列分类方法 | |
CN116049655A (zh) | 一种基于深度学习的癫痫多类别分类方法及系统 | |
CN114757273A (zh) | 一种基于协同对比正则化平均教师模型的脑电信号分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |