CN115700104B - 基于多尺度原型学习的本身可解释的脑电信号分类方法 - Google Patents

基于多尺度原型学习的本身可解释的脑电信号分类方法 Download PDF

Info

Publication number
CN115700104B
CN115700104B CN202211718922.7A CN202211718922A CN115700104B CN 115700104 B CN115700104 B CN 115700104B CN 202211718922 A CN202211718922 A CN 202211718922A CN 115700104 B CN115700104 B CN 115700104B
Authority
CN
China
Prior art keywords
prototype
classification
representing
formula
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211718922.7A
Other languages
English (en)
Other versions
CN115700104A (zh
Inventor
陈勋
高逸凯
刘爱萍
钱若兵
孙启彬
吴曼青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202211718922.7A priority Critical patent/CN115700104B/zh
Publication of CN115700104A publication Critical patent/CN115700104A/zh
Application granted granted Critical
Publication of CN115700104B publication Critical patent/CN115700104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于多尺度原型学习的本身可解释的脑电信号分类方法,其步骤包括:1对数据集中的原始脑电信号进行预处理,包括通道选择、切片分割;2建立基于多尺度原型学习的本身可解释的脑电信号分类模型,初始化网络参数;3设计损失函数,建立分类模型优化目标;4输入数据对网络进行训练,优化网络参数,获得最优分类模型。本发明相对现有脑电信号分类方法,能够在高分类准确率的条件下提供本身可解释的证据,从而提升脑电信号在医疗等领域中的应用价值。

Description

基于多尺度原型学习的本身可解释的脑电信号分类方法
技术领域
本发明涉及脑电信号处理及深度学习可解释性领域,具体的说是一种基于多尺度原型学习的本身可解释的脑电信号分类方法。
背景技术
脑电信号(EEG,Electroencephalography)是一种大脑神经活动产生的自发性电位活动,能够反映受试者的脑部状态,因此有效的脑电信号分类方法可以极大的提高脑电信号在医疗等领域中的应用价值,具有重大的研究意义。
近年来,由于深度学习能够自动提取具有高区分度的特征,人们将其广泛应用于脑电信号分类中。常见的脑电信号分类网络结构有卷积神经网络、循环神经网络等。深度学习通过数据驱动的方式,驱动人工神经网络自动提取信号中的特征,从而实现分类,并在脑电信号分类中取得了较好的分类效果。然而,深度学习的黑盒属性使其牺牲了可解释性,在实际应用中令用户无法直接信任其分类结果。尤其在医疗领域中,当模型对人类健康等重要任务给出预测和决策结果时,无法解释的深度学习模型会给病患带来严重安全隐患。因此,如何建立可解释的脑电信号分类深度学习模型成为本领域急需解决的一个挑战。
深度学习可解释性可大致分为两类:事后解释与本身可解释。现有脑电信号分类可解释方法专注于事后解释,事后解释是指在模型训练好之后再对其进行解释,不改变其原有模型结构及优化过程。然而,事后解释方法易受信号噪声干扰,导致所得解释本身准确性及可信赖度不足,不能从根源解决模型黑盒属性问题。
发明内容
本发明是为了解决上述现有技术存在的不足之处,提出一种基于多尺度原型学习的本身可解释的脑电信号分类方法,以期通过设计本身可解释的深度学习模型,在提升脑电信号分类准确率的同时提供本身可解释的决策依据,而能提升脑电信号在医疗等领域中的应用价值。
本发明为达到上述发明目的,采用如下技术方案:
本发明一种基于多尺度原型学习的本身可解释的脑电信号分类方法的特点在于,包括以下步骤:
步骤1、获取有标签类别的脑电信号数据集,并利用滑动窗划分为N段时长为t的脑电信号片段,得到训练样本集X={X1, X2, …, Xn, …, XN}及其标签集合Y={y1, y2, …,yn, …, yN};其中,Xn表示第n个脑电信号样本,且Xn={Xn 1, Xn 2, …, Xn c, …, Xn C},Xn c表示第n个脑电信号样本中第c个通道的脑电信号数据,且Xn c={xn,1 c, xn,2 c, …, xn,r c,xn,t×s c};xn,r c表示第n个脑电信号样本Xn中第c个通道的第r个数据点,r=1, 2, …, t×s,s表示脑电信号的采样率;n=1, 2, …, N;N表示样本数,c=1, 2, …, C;C表示通道数;yn表示第n个脑电信号样本Xn的真实标签;
步骤2、建立基于多尺度原型学习的本身可解释的分类模型,包括:特征提取模块、多尺度原型学习模块以及分类模块;
所述特征提取模块包含m个特征提取单元,其中,每个特征提取单元依次由一个二维卷积层、一个非线性激活函数和一个最大池化层组成,第i个二维卷积层的步长为si、卷积核的尺寸为ki×ki,第i个最大池化层的核尺寸为ki ×ki ,其中,i=1, 2, …, m;
所述分类模块由一个全局最大池化层,不含偏置项的全连接层及激活函数组成;
步骤2.1、初始化权重值:对所述分类模型的二维卷积层、原型层以及全连接层进行参数初始化;
步骤2.2、所述训练样本集X输入本身可解释的分类模型中,并依次经过特征提取模块中的m个特征提取单元后,输出特征序列F={F1, F2, …, Fn, …, FN},其中,Fn表示第n个脑电信号样本Xn对应的第n张特征图;
步骤2.3、所述特征序列F输入多尺度原型学习模块中进行处理,得到相似度图集合S={S1, S2, …, Sn, …, SN};
步骤2.4、将相似度图集合S输入所述分类模块中,并依次经过全局最大池化层,不含偏置项的全连接层及激活函数的处理后,得到每个脑电信号样本对应类别的概率;
步骤3、分类模型的训练阶段,包括:所有层的全局优化阶段与原型投影阶段;
步骤3.1、定义当前迭代轮数为epoch,并初始化epoch=1;
步骤3.2、判断当前迭代轮数epoch是否满足式(1),若满足,则使用Adam优化算法对本身可解释的分类模型进行所有层的全局优化阶段的更新,并更新多尺度原型学习模块中的权值,否则,执行步骤3.3;
(epoch≥e0) && (epoch%e1=0)  (1)
式(1)中,e0表示原型投影阶段的起始迭代轮数,&&表示逻辑“与”操作符,%表示模运算符,e1表示原型投影阶段的间隔迭代轮数;
步骤3.3、判断迭代轮数epoch是否满足式(2),若满足,则使用Adam优化算法对本身可解释的分类模型进行原型投影阶段的更新,并更新分类模型中的每一个权值,否则,执行步骤步骤3.4;
 (2)
式(2)中,emax表示训练过程的最大迭代轮数,||表示逻辑“或”操作符;
步骤3.4、判断迭代轮数epoch=emax是否成立,若成立,则停止训练更新,并得到最优分类模型;否则,epoch+1赋值给epoch后,返回步骤3.2;
步骤4、利用最优分类模型对任一脑电信号样本进行分类,得到对应类别的概率值,并按照所设的阈值,对概率值进行二值化分类,从而得到最终的分类结果。
本发明所述的基于多尺度原型学习的本身可解释的脑电信号分类方法的特点也在于,所述多尺度原型学习模块由K个并行的网络分支组成,其中,第k个网络分支对应第k个尺度,第k个网络分支均包含第k个原型层,且第k个原型层含有Cp个尺寸相同的原型{pj k|j=1, 2, …, Cp },pj k表示第k个尺度下的第j个原型;第k个原型层中第j个原型pj k的尺寸为s1 k×s2 k×s3 k,k=1, 2, …, K; j=1, 2, …, Cp
所述第k个网络分支中第k个原型层的第j个原型pj k利用式(1)对第n张特征图Fn进行相似度评估,得到第j个原型pj k输出的相似度图Sn k,j,从而由第k个网络分支的Cp个原型输出第k个相似度图集合,进而由K个网络分支的K×Cp个原型输出第n张特征图Fn的相似度图集合Sn={Sn 1, Sn 2, …, Sn k, …, Sn K},最终由K个网络分支的K×Cp个原型输出特征序列F的相似度图集合S={S1, S2, …, Sn, …,SN};
(3)。
在所有层的全局优化阶段中,利用式(2)构建损失函数L,并用于进行所有层的全局优化阶段的更新:
(4)
式(4)中,P={pj | j=1, 2, …, Cp;k=1, 2, …, K}代表原型层中待优化的原型集合,wf代表特征提取模块中的待优化参数,wc代表分类模块中全连接层的待优化参数;BCELoss(·)代表二分类交叉熵损失函数,f(·)代表特征提取模块的映射函数,gp代表多尺度原型学习模块的映射函数,h代表分类模块的映射函数,°表示复合函数操作符,μ1和μ2代表两个损失系数;|| ||1代表L1正则化操作;Clst表示聚集损失,并由式(5)得到:
(5)
式(5)中,表示属于第n个脑电信号样本Xn所在类别的原型,∈P;GMP(·)代表全局最大池化操作;
在原型投影阶段中,利用式(6)对第j个原型pj k进行更新,并用于原型投影阶段的更新:
(6)
式(6)中,⇐表示赋值,Z表示特征提取模块输出的特征图中的图像块集合,并由式(7)得到:
(7)
式(7)中,z表示图像块集合Z中的任意一个图像块,patches(f(Xn))代表特征提取模块输出的特征图f(Xn)中与第j个原型pj k尺寸相同的所有图像块组成的集合。
与现有技术相比,本发明的有益效果在于:
1、本发明针对脑电信号分类问题,构建了一种本身可解释的深度学习模型,模型拥有透明的推理过程,能够在给出预测结果的同时提供决策依据;
2、本发明考虑到脑电信号的多尺度特性,构建了基于多尺度原型学习的深度学习网络,充分挖掘了脑电信号的多尺度特征,提升了脑电信号分类性能;
3、本发明提出的脑电信号分类方法与期刊报道的使用相同数据库的方法相比,在本身可解释的约束下仍取得与当前最先进方法相当的性能。
附图说明
图1为本发明方法流程图;
图2为本发明分类模型的整体框架图;
图3为本发明方法的特征提取模块结构图;
图4为本发明方法在分类时的推理过程展示图。
具体实施方式
本实施例中,一种基于多尺度原型学习的本身可解释的脑电信号分类方法,如图1所示,其包括如下步骤:
步骤1、获取有标签类别的脑电信号数据集,并利用滑动窗划分为N段时长为t的脑电信号片段,得到训练样本集X={X1, X2, …, Xn, …, XN}及其标签集合Y={y1, y2, …,yn, …, yN};其中,Xn表示第n个脑电信号样本,且Xn={Xn 1, Xn 2, …, Xn c, …, Xn C},Xn c表示第n个脑电信号样本中第c个通道的脑电信号数据,且Xn c={xn,1 c, xn,2 c, …, xn,r c,xn,t×s c};xn,r c表示第n个脑电信号样本Xn中第c个通道的第r个数据点,r=1, 2, …, t×s,s表示脑电信号的采样率;n=1, 2, …, N;N表示样本数,c=1, 2, …, C;C表示通道数;yn表示第n个脑电信号样本Xn的真实标签;
具体实施中,对18导联脑电信号数据集,选取C=18;对滑动窗方法,可取窗口长度为4秒,滑动步长为2秒。
步骤2、建立基于多尺度原型学习的本身可解释的分类模型,如图2所示,包括:特征提取模块、多尺度原型学习模块以及分类模块;
特征提取模块包含m个特征提取单元,其中,每个特征提取单元依次由一个二维卷积层、一个非线性激活函数和一个最大池化层组成,第i个二维卷积层的步长为si、卷积核的尺寸为ki×ki,第i个最大池化层的核尺寸为ki ×ki ,其中,i=1, 2, …, m;
示例性的,特征提取模块的网络结构如图3所示,选取特征提取单元数量m=3;二维卷积层的尺寸分别为:3×3,5×5,7×7,步长分别为:1×1,1×2,1×4;最大池化层的核尺寸分别为:1×2,1×4,1×4;
分类模块由一个全局最大池化层,不含偏置项的全连接层及激活函数组成;
具体实施中,全连接层的激活函数为sigmoid函数。
步骤2.1、初始化权重值:对分类模型的二维卷积层、原型层以及全连接层进行参数初始化;
具体实施中,使用均匀分布对分类模型中的权重初始化。
步骤2.2、训练样本集X输入本身可解释的分类模型中,并依次经过特征提取模块中的m个特征提取单元后,输出特征序列F={F1, F2, …, Fn, …, FN},其中,Fn表示第n个脑电信号样本Xn对应的第n张特征图。
步骤2.3、特征序列F输入多尺度原型学习模块中进行处理,得到相似度图集合S={S1, S2, …, Sn, …, SN};具体的说:
多尺度原型学习模块由K个并行的网络分支组成,其中,第k个网络分支对应第k个尺度,第k个网络分支均包含第k个原型层,且第k个原型层含有Cp个尺寸相同的原型{pj k| j=1, 2, …, Cp },pj k表示第k个尺度下的第j个原型;第k个原型层中第j个原型pj k的尺寸为s1 k×s2 k×s3 k,k=1, 2, …, K; j=1, 2, …, Cp;示例性的,选取K=3,不同原型层的原型尺寸分别为:64×1×1,64×1×2,64×1×4。
第k个网络分支中第k个原型层的第j个原型pj k利用式(1)对第n张特征图Fn进行相似度评估,得到第j个原型pj k输出的相似度图Sn k,j,从而由第k个网络分支的Cp个原型输出第k个相似度图集合,进而由K个网络分支的K×Cp个原型输出第n张特征图Fn的相似度图集合Sn={Sn 1, Sn 2, …, Sn k, …, Sn K},最终由K个网络分支的K×Cp个原型输出特征序列F的相似度图集合S={S1, S2, …, Sn, …, SN};
(1)。
步骤2.4、将相似度图集合S输入分类模块中,并依次经过全局最大池化层,不含偏置项的全连接层及激活函数的处理后,得到每个脑电信号样本对应类别的概率。
步骤3、分类模型的训练阶段,包括:所有层的全局优化阶段与原型投影阶段;
步骤3.1、在所有层的全局优化阶段中,利用式(2)构建损失函数L,并用于进行所有层的全局优化阶段的更新:
(2)
式(2)中,P={pj | j=1, 2, …, Cp; k=1, 2, …, K}代表原型层中待优化的原型集合,wf代表特征提取模块中的待优化参数,wc代表分类模块中全连接层的待优化参数;BCELoss(·)代表二分类交叉熵损失函数,f(·)代表特征提取模块的映射函数,gp代表多尺度原型学习模块的映射函数,h代表分类模块的映射函数,∘表示复合函数操作符,μ1和μ2代表两个损失系数,|| ||1代表L1正则化操作;Clst表示聚集损失,并由式(3)得到:
(3)
式(3)中,表示属于第n个脑电信号样本Xn所在类别的原型,∈P;GMP(·)代表全局最大池化操作;示例性的,选取μ1=0.8,μ2=10-4
步骤3.2、在原型投影阶段中,利用式(4)对第j个原型pj k进行更新,并用于原型投影阶段的更新:
(4)
式(4)中,⇐表示赋值,Z表示特征提取模块输出的特征图中的图像块集合,并由式(5)得到:
(5)
式(5)中,z表示图像块集合Z中的任意一个图像块,patches(f(Xn))代表特征提取模块输出的特征图f(Xn)中与第j个原型pj k尺寸相同的所有图像块组成的集合。
步骤3.3、定义当前迭代轮数为epoch,并初始化epoch=1;
步骤3.4、判断当前迭代轮数epoch是否满足式(6),若满足,则使用Adam优化算法对本身可解释的分类模型进行所有层的全局优化阶段的更新,并更新多尺度原型学习模块中的权值,否则,执行步骤3.5;
(epoch≥e0) && (epoch%e1=0)  (6)
式(6)中,e0表示原型投影阶段的起始迭代轮数,&&表示逻辑“与”操作符,%表示模运算符,e1表示原型投影阶段的间隔迭代轮数;示例性的,选取起始迭代轮数e0=10,间隔迭代轮数e1=5。
步骤3.5、判断迭代轮数epoch是否满足式(7),若满足,则使用Adam优化算法对本身可解释的分类模型进行原型投影阶段的更新,并更新分类模型中的每一个权值,否则,执行步骤步骤3.6;
 (7)
式(7)中,emax表示训练过程的最大迭代轮数,||表示逻辑“或”操作符;示例性的,选取最大迭代轮数emax=60。
步骤3.6、判断迭代轮数epoch=emax是否成立,若成立,则停止训练更新,并得到最优分类模型;否则,epoch+1赋值给epoch后,返回步骤3.4;
步骤4、利用最优分类模型对任一脑电信号样本进行分类,得到对应类别的概率值,并按照所设的阈值,对概率值进行二值化分类,从而得到最终的分类结果。
为了说明本发明上述方案的性能和有效性,使用近期期刊文献报道的脑电信号分类性能与本发明上述方案得到的性能进行了对比,对比的指标采用了脑电信号分类常用的评价指标,即灵敏度与误报率,灵敏度即正确预测的正类与所有正类之比,误报率即平均每小时将负类预测为正类的次数。
具体实施中,数据采用两个国际公开数据集:CHB-MIT数据集以及AmericanEpilepsy Society Seizure Prediction Challenge (Kaggle)数据集。对于CHB-MIT数据集,采用了期刊文献报道的四种方法进行对比,如表1所示:1. Truong等人采用短时傅里叶变换(STFT)提取脑电信号的时频表征,利用卷积神经网络(CNN)对其进行分类,取得了平均灵敏度80.2%,平均误报率0.182/小时的性能;2. Ozcan等人通过人工设计脑电信号的特征,并利用3D-CNN对特征进行分类,取得了平均灵敏度79.2%,平均误报率0.202/小时的性能;3. Zhang等人通过共空间模式(CSP)提取脑电信号的特征,利用CNN进行分类,取得了平均灵敏度93.1%,平均误报率0.103/小时的性能;4. Zhao等人考虑到现有深度学习模型的计算复杂度高,设计了轻量级加法神经网络,取得了平均灵敏度91.8%,平均误报率0.067/小时的性能。
表 1. 不同方法在CHB-MIT数据集的预测性能
上述对比方法的数据来源均为公开的CHB-MIT数据集,表1展示了本发明与上述方法的对比结果,本发明的方法取得了93.3%的平均灵敏度,0.054/小时的平均误报率,性能优于上述所有对比方法。
对于Kaggle数据集,采用了期刊文献报道的三种方法进行对比,如表2所示:1.Daoud等人采用深度卷积神经网络和双向长短期记忆神经网络提取脑电信号的特征并分类,取得了平均灵敏度81.5%,平均误报率0.167/小时的性能;2. Xu等人采用端到端的卷积神经网络对脑电信号进行特征提取和分类,取得了平均灵敏度80.9%,平均误报率0.134/小时的性能;3. Zhao等人采用残差卷积神经网络对脑电信号进行特征提取和分类,取得了平均灵敏度81.2%,平均误报率0.161/小时的性能;
表 2. 不同方法在Kaggle数据集的预测性能
上述对比方法的数据来源均为公开的Kaggle数据集,表2展示了本发明与上述方法的对比结果,本发明的方法取得了88.6%的平均灵敏度,0.146/小时的平均误报率,平均灵敏度优于上述所有对比方法,平均误报率与上述方法性能相当。
此外,图4展示了本发明方法在进行脑电信号分类时获得的可解释支撑与模型的推理过程。具体地,对于给定脑电信号样本,本发明方法能够获取与之最相似的若干原型以及原型对应的训练样本片段,并得到相似度值。再结合模型分类模块中透明的推理过程,可作为分类结果的可解释支撑和依据。

Claims (4)

1.一种基于多尺度原型学习的本身可解释的脑电信号分类方法,其特征在于,包括以下步骤:
步骤1、获取有标签类别的脑电信号数据集,并利用滑动窗划分为N段时长为t的脑电信号片段,得到训练样本集X={X1, X2, …, Xn, …, XN}及其标签集合Y={y1, y2, …, yn,…, yN};其中,Xn表示第n个脑电信号样本,且Xn={Xn 1, Xn 2, …, Xn c, …, Xn C},Xn c表示第n个脑电信号样本中第c个通道的脑电信号数据,且Xn c={xn,1 c, xn,2 c, …, xn,r c, xn,t×s c};xn,r c表示第n个脑电信号样本Xn中第c个通道的第r个数据点,r=1, 2, …, t×s,s表示脑电信号的采样率;n=1, 2, …, N;N表示样本数,c=1, 2, …, C;C表示通道数;yn表示第n个脑电信号样本Xn的真实标签;
步骤2、建立基于多尺度原型学习的本身可解释的分类模型,包括:特征提取模块、多尺度原型学习模块以及分类模块;
所述特征提取模块包含m个特征提取单元,其中,每个特征提取单元依次由一个二维卷积层、一个非线性激活函数和一个最大池化层组成,第i个二维卷积层的步长为si、卷积核的尺寸为ki×ki,第i个最大池化层的核尺寸为ki ×ki ,其中,i=1, 2, …, m;
所述分类模块由一个全局最大池化层,不含偏置项的全连接层及激活函数组成;
步骤2.1、初始化权重值:对所述分类模型的二维卷积层、原型层以及全连接层进行参数初始化;
步骤2.2、所述训练样本集X输入本身可解释的分类模型中,并依次经过特征提取模块中的m个特征提取单元后,输出特征序列F={F1, F2, …, Fn, …, FN},其中,Fn表示第n个脑电信号样本Xn对应的第n张特征图;
步骤2.3、所述特征序列F输入多尺度原型学习模块中进行处理,得到相似度图集合S={S1, S2, …, Sn, …, SN};
步骤2.4、将相似度图集合S输入所述分类模块中,并依次经过全局最大池化层,不含偏置项的全连接层及激活函数的处理后,得到每个脑电信号样本对应类别的概率;
步骤3、分类模型的训练阶段,包括:所有层的全局优化阶段与原型投影阶段;
步骤3.1、定义当前迭代轮数为epoch,并初始化epoch=1;
步骤3.2、判断当前迭代轮数epoch是否满足式(1),若满足,则使用Adam优化算法对本身可解释的分类模型进行所有层的全局优化阶段的更新,并更新多尺度原型学习模块中的权值,否则,执行步骤3.3;
(epoch≥e0) && (epoch%e1=0)  (1)
式(1)中,e0表示原型投影阶段的起始迭代轮数,&&表示逻辑“与”操作符,%表示模运算符,e1表示原型投影阶段的间隔迭代轮数;
步骤3.3、判断迭代轮数epoch是否满足式(2),若满足,则使用Adam优化算法对本身可解释的分类模型进行原型投影阶段的更新,并更新分类模型中的每一个权值,否则,执行步骤步骤3.4;
(2)
式(2)中,emax表示训练过程的最大迭代轮数,||表示逻辑“或”操作符;
步骤3.4、判断迭代轮数epoch=emax是否成立,若成立,则停止训练更新,并得到最优分类模型;否则,epoch+1赋值给epoch后,返回步骤3.2;
步骤4、利用最优分类模型对任一脑电信号样本进行分类,得到对应类别的概率值,并按照所设的阈值,对概率值进行二值化分类,从而得到最终的分类结果。
2.根据权利要求1所述的基于多尺度原型学习的本身可解释的脑电信号分类方法,其特征在于,所述多尺度原型学习模块由K个并行的网络分支组成,其中,第k个网络分支对应第k个尺度,第k个网络分支均包含第k个原型层,且第k个原型层含有Cp个尺寸相同的原型{pj k| j=1, 2, …, Cp },pj k表示第k个尺度下的第j个原型;第k个原型层中第j个原型pj k的尺寸为s1 k×s2 k×s3 k,k=1, 2, …, K; j=1, 2, …, Cp
所述第k个网络分支中第k个原型层的第j个原型pj k利用式(1)对第n张特征图Fn进行相似度评估,得到第j个原型pj k输出的相似度图Sn k,j,从而由第k个网络分支的Cp个原型输出第k个相似度图集合,进而由K个网络分支的K×Cp个原型输出第n张特征图Fn的相似度图集合Sn={Sn 1, Sn 2, …, Sn k, …, Sn K},最终由K个网络分支的K×Cp个原型输出特征序列F的相似度图集合S={S1, S2, …, Sn, …,SN};
  (3)。
3.根据权利要求1所述的基于多尺度原型学习的本身可解释的脑电信号分类方法,其特征在于,在所有层的全局优化阶段中,利用式(2)构建损失函数L,并用于进行所有层的全局优化阶段的更新:
(4)
式(4)中,P={pj | j=1, 2, …, Cp;k=1, 2, …, K}代表原型层中待优化的原型集合,wf代表特征提取模块中的待优化参数,wc代表分类模块中全连接层的待优化参数;BCELoss(·)代表二分类交叉熵损失函数,f(·)代表特征提取模块的映射函数,gp代表多尺度原型学习模块的映射函数,h代表分类模块的映射函数,°表示复合函数操作符,μ1和μ2代表两个损失系数;|| ||1代表L1正则化操作;Clst表示聚集损失,并由式(5)得到:
(5)
式(5)中,表示属于第n个脑电信号样本Xn所在类别的原型,∈P;GMP(·)代表全局最大池化操作。
4.根据权利要求1所述的基于多尺度原型学习的本身可解释的脑电信号分类方法,其特征在于,在原型投影阶段中,利用式(6)对第j个原型pj k进行更新,并用于原型投影阶段的更新:
(6)
式(6)中,⇐表示赋值,Z表示特征提取模块输出的特征图中的图像块集合,并由式(7)得到:
(7)
式(7)中,z表示图像块集合Z中的任意一个图像块,patches(f(Xn))代表特征提取模块输出的特征图f(Xn)中与第j个原型pj k尺寸相同的所有图像块组成的集合。
CN202211718922.7A 2022-12-30 2022-12-30 基于多尺度原型学习的本身可解释的脑电信号分类方法 Active CN115700104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211718922.7A CN115700104B (zh) 2022-12-30 2022-12-30 基于多尺度原型学习的本身可解释的脑电信号分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211718922.7A CN115700104B (zh) 2022-12-30 2022-12-30 基于多尺度原型学习的本身可解释的脑电信号分类方法

Publications (2)

Publication Number Publication Date
CN115700104A CN115700104A (zh) 2023-02-07
CN115700104B true CN115700104B (zh) 2023-04-25

Family

ID=85121204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211718922.7A Active CN115700104B (zh) 2022-12-30 2022-12-30 基于多尺度原型学习的本身可解释的脑电信号分类方法

Country Status (1)

Country Link
CN (1) CN115700104B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717390A (zh) * 2019-09-05 2020-01-21 杭州电子科技大学 基于图半监督宽度学习的脑电信号分类方法
CN111950694A (zh) * 2019-05-17 2020-11-17 罗伯特·博世有限公司 用于可解释序列和时序数据建模的系统和方法
CN112580518A (zh) * 2020-12-22 2021-03-30 杭州电子科技大学 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
CN113180695A (zh) * 2021-04-20 2021-07-30 西安交通大学 脑机接口信号分类方法、系统、设备和存储介质
CN114528900A (zh) * 2020-10-30 2022-05-24 罗伯特·博世有限公司 经由原型因子分解改进深度神经网络
CN114595725A (zh) * 2022-03-15 2022-06-07 合肥工业大学 一种基于加法网络和监督对比学习的脑电信号分类方法
CN115358260A (zh) * 2022-07-27 2022-11-18 华南师范大学 一种脑电睡眠分期方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016154298A1 (en) * 2015-03-23 2016-09-29 Temple University-Of The Commonwealth System Of Higher Education System and method for automatic interpretation of eeg signals using a deep learning statistical model
US20210248462A1 (en) * 2020-02-07 2021-08-12 Nec Laboratories America, Inc. Interpreting convolutional sequence model by learning local and resolution-controllable prototypes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950694A (zh) * 2019-05-17 2020-11-17 罗伯特·博世有限公司 用于可解释序列和时序数据建模的系统和方法
CN110717390A (zh) * 2019-09-05 2020-01-21 杭州电子科技大学 基于图半监督宽度学习的脑电信号分类方法
CN114528900A (zh) * 2020-10-30 2022-05-24 罗伯特·博世有限公司 经由原型因子分解改进深度神经网络
CN112580518A (zh) * 2020-12-22 2021-03-30 杭州电子科技大学 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
CN113180695A (zh) * 2021-04-20 2021-07-30 西安交通大学 脑机接口信号分类方法、系统、设备和存储介质
CN114595725A (zh) * 2022-03-15 2022-06-07 合肥工业大学 一种基于加法网络和监督对比学习的脑电信号分类方法
CN115358260A (zh) * 2022-07-27 2022-11-18 华南师范大学 一种脑电睡眠分期方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李景聪等.基于原型网络的小样本脑电伪迹检测方法.华南师范大学学报(自然科学版).2022,全文. *

Also Published As

Publication number Publication date
CN115700104A (zh) 2023-02-07

Similar Documents

Publication Publication Date Title
CN110610168B (zh) 一种基于注意力机制的脑电情绪识别方法
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
George et al. Deep Transfer Learning: A new deep learning glitch classification method for advanced LIGO
CN112699960B (zh) 基于深度学习的半监督分类方法、设备及存储介质
CN109598222B (zh) 基于eemd数据增强的小波神经网络运动想象脑电分类方法
CN110472649B (zh) 基于多尺度分析和集成树模型的脑电情感分类方法及系统
CN112766355B (zh) 一种标签噪声下的脑电信号情绪识别方法
CN112022153B (zh) 基于卷积神经网络的脑电信号检测方法
CN112465069B (zh) 一种基于多尺度卷积核cnn的脑电情绪分类方法
CN115689008A (zh) 基于集合经验模态分解的CNN-BiLSTM短期光伏功率预测方法及其系统
CN112613749B (zh) 跨境隐存高危因子风险智能分析系统
CN104751186A (zh) 一种基于bp网络和小波变换的虹膜图像质量分类方法
CN112784892A (zh) 一种脑电运动意图识别方法及系统
CN114595725B (zh) 一种基于加法网络和监督对比学习的脑电信号分类方法
Yang et al. Classification of medical images with synergic graph convolutional networks
Puangsuwan et al. Enhancement of plant leaf disease classification based on snapshot ensemble convolutional neural network
CN113011330B (zh) 一种基于多尺度神经网络和空洞卷积的脑电信号分类方法
CN113076878B (zh) 基于注意力机制卷积网络结构的体质辨识方法
CN113069117A (zh) 一种基于时间卷积神经网络的脑电情绪识别方法及系统
CN117193537A (zh) 一种基于自适应迁移学习的双分支卷积神经网络运动想象意图解码方法
CN115700104B (zh) 基于多尺度原型学习的本身可解释的脑电信号分类方法
CN116421200A (zh) 一种基于并行训练的多任务混合模型的脑电情感分析方法
CN112883905B (zh) 基于粗粒度时频特征与多层融合学习的人体行为识别方法
CN116091763A (zh) 苹果叶部病害图像语义分割系统及分割方法、设备和介质
CN112861949B (zh) 一种基于人脸和声音的情绪预测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant