CN113158949A - 一种基于自监督学习的运动想象脑电信号分类方法 - Google Patents

一种基于自监督学习的运动想象脑电信号分类方法 Download PDF

Info

Publication number
CN113158949A
CN113158949A CN202110478028.6A CN202110478028A CN113158949A CN 113158949 A CN113158949 A CN 113158949A CN 202110478028 A CN202110478028 A CN 202110478028A CN 113158949 A CN113158949 A CN 113158949A
Authority
CN
China
Prior art keywords
electroencephalogram signal
motor imagery
representing
data set
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110478028.6A
Other languages
English (en)
Inventor
甘海涛
许宵闻
欧阳瀚
林姗
周然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202110478028.6A priority Critical patent/CN113158949A/zh
Publication of CN113158949A publication Critical patent/CN113158949A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开一种基于自监督学习的运动想象脑电信号分类方法,包括辅助任务和目标任务学习;在辅助任务学习中,对每条运动想象脑电信号样本分割成多个块,并随机排列组合得到乱序的脑电信号样本,采用卷积神经网络对正序和乱序脑电信号样本分类,得到辅助任务最优模型;在目标任务学习中,将辅助任务最优模型迁移至目标任务网络初始化权重,并采用少量标记样本,更新目标任务网络,得到运动想象脑电信号分类模型;使用该模型对测试样本进行分类,得到分类结果。本发明提出的自监督学习方法,可有效提高目标任务网络的收敛效率,提升运动想象脑电信号分类的准确率。

Description

一种基于自监督学习的运动想象脑电信号分类方法
技术领域
本发明属于机器学习技术领域,尤其涉及一种基于自监督学习的运动想象脑电信号分类方法。
背景技术
有监督学习方法已经在机器学习的各种领域中广泛应用,在支持向量机、卷积神经网络等模型上使用有监督学习方法,可以大大提高结果的准确率,获得一个性能优异的模型。但有监督学习方法具有样本的依赖性,需要依赖大量的标记数据才能得到很好地效果,在少量样本的情况下,有监督学习方法并不能有效学习特征,通过训练所得的模型性能较差且不稳定。而在实际任务中,获得大量的标记数据十分困难且要花费大量人力物力。因此,存在小样本如何训练一个有效模型的问题。
在脑电信号领域中,普遍存在如何使用小样本训练一个有效模型的问题。自监督学习方法是近年来一种新的解决方案。主要是利用辅助任务从数据自身的结构或特征中挖掘监督信息,再通过所挖掘的监督信息对模型进行监督训练,从而学习到对目标任务有价值的表征。因此,如何构造一个有效的辅助任务是自监督学习方法的主要问题。
发明内容
针对如何构造一个有效的辅助任务,本发明提供一种基于自监督学习的运动想象脑电信号分类方法,在有少量数据的情况下,实现分类性能相比于有监督学习方法更加优异。
为解决上述技术问题,本发明采用技术方案为一种基于自监督学习的运动想象脑电信号分类方法,包括以下步骤:
步骤1:引入运动想象脑电信号数据集,通过预处理方法得到预处理后运动想象脑电信号的数据集,其中运动脑电信号数据集中包含少量标记样本,由这些标记样本构成标签集;
步骤2:将经过预处理后每条运动想象脑电信号样本中每个通道的脑电信号分割成多个块得到运动想象脑电信号样本块,将预处理后每条运动想象脑电信号样本中每个通道的脑电信号对应的多个运动想象脑电信号样本块随机排列组合得到乱序的脑电信号样本,进一步构建扩充数据集和对应的标签集;
步骤3:以扩充数据集作为训练样本,输入EfficientNet网络进行训练得到运动想象脑电信号是否为正序的结果,进一步结合扩充数据集对应的标签集构建EfficientNet网络的损失函数,优化EfficientNet网络权重参数通过优化训练得到优化后的EfficientNet网络;
步骤4:将辅助任务优化后的EfficientNet网络模型迁移至目标任务的EfficientNet网络模型初始化权重。将预处理后运动想象脑电信号数据集中的少量标记样本输入目标任务的EfficientNet网络进行训练得到运动想象是向左还是向右的结果,进一步结合运动想象脑电信号数据集的标签集构建目标任务EfficientNet网络的损失函数,通过优化训练得到二次优化后的EfficientNet网络。使用二次优化后的EfficientNet网络对测试样本进行分类,得到分类结果;
作为优选,步骤1所述运动想象脑电信号数据集为:
X=[x1,...,xl,...,xn]
xi={xi,1,xi,2,...,xi,C}
xi,c={xi,c,1,xi,c,2,...,xi,c,T}
i∈[1,n],c∈[1,C],t∈[1,T]
其中,X表示运动想象脑电信号数据集,前l个为标记样本,后n-l个为无标记样本,xi表示第i条运动想象脑电信号样本,xi,c表示第i条运动想象脑电信号样本中第c个通道的脑电信号,xi,c,t表示第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,n表示样本的数量,l表示标记样本的数量,C表示脑电图通道的数量,T表示总的采样点数;
步骤1所述运动想象脑电信号的标签集为:
Y=[y1,...,yl]
yi∈{1,-1}
i∈[1,l],l<n
其中Y表示运动想象脑电信号标签集,yi表示第i条运动想象脑电信号样本的标签,yi=1表示运动想象脑电信号样本对应运动想象向左,yi=-1表示运动想象脑电信号样本对应运动想象向右,l表示标签的数量,n表示样本的数量。
步骤1所述预处理方法为:通道选择、带通滤波、独立成分分析;
步骤1所述预处理后运动想象脑电信号的数据集为:
X′=[x′1,...,x′n]
x′i={x′i,1,x′i,2,...,x′i,C′}
x′i,c={x′i,c,1,x′i,c,2,...,x′i,c,T′}
i∈[1,n],c∈[1,C′],t∈[1,T′]
其中,X′表示经过预处理后运动想象脑电信号数据集,x′i表示经过预处理后第i条运动想象脑电信号样本,x′i,c表示经过预处理后第i条运动想象脑电信号样本中第c个通道的脑电信号,x′i,c,t表示经过预处理后第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,n表示样本的数量,C′表示经过通道选择后脑电图通道的数量,T′表示经过预处理后总的采样点数;
作为优选,步骤2所述第r块运动想象脑电信号样本块表示为:
Figure BDA0003047983670000031
r∈{1,...,m},i∈[1,n],c∈[1,C′]
其中,m表示分块的数量,n表示样本的数量,C′表示经过通道选择后脑电图通道的数量,
Figure BDA0003047983670000032
第r块运动想象脑电信号样本快中第p个采集的脑电信号,p∈[1,T′/m],T′/m表示第r块运动想象脑电信号样本块采集的脑电信号的数量;
x′i,c={z1,z2,...,zm}
其中,x′i,c表示经过预处理后第i条运动想象脑电信号样本中第c个通道的脑电信号;
步骤2所述排列后每条运动想象脑电信号样本中每个通道的脑电信号为:
a′i,c,i∈[1,n],c∈[1,C′]
其中,a′i,c表示排列后第i条运动想象脑电信号样本中第c个通道的脑电信号;
由x′i,c和a′i,c构成新的扩充数据集:
X″=[x′1,...,x′n,a′1,...,a′n]
x′i={x′i,1,x′i,2,...,x′i,C′},i∈[1,n]
a′i={a′i,1,a′i,2,...,a′i,C′},i∈[1,n]
x′i,c={x′i,c,1,x′i,c,2,...,x′i,c,T′},i∈[1,n]
a′i,c={a′i,c,1,a′i,c,2,...,a′i,c,T′},i∈[1,n]
c∈[1,C′],t∈[1,T′]
其中,X″表示构成的扩充数据集,x′i表示扩充数据集中正序的第i条运动想象脑电信号样本,a′i表示扩充数据集中乱序的第i条运动想象脑电信号样本。x′i,c表示扩充数据集中正序的第i条运动想象脑电信号样本中第c个通道的脑电信号,a′i,c表示扩充数据集中乱序的第i条运动想象脑电信号样本中第c个通道的脑电信号,x′i,c,t表示扩充数据集中正序的第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,a′i,c,t表示扩充数据集中正序的第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号。
将预处理后的运动想象脑电信号样本的标签设置为1,将排列后生成的运动想象脑电信号样本的标签设置为-1,构成扩充数据集对应的标签集:
Figure BDA0003047983670000041
Figure BDA0003047983670000042
Figure BDA0003047983670000043
其中,Y″表示扩充数据集的标签集,y″i表示通过辅助任务设定的样本标签。
作为优选,步骤3所述EfficientNet网络的损失函数模型采用交叉熵作为损失函数,具体如下:
Figure BDA0003047983670000044
其中,gΘ表示卷积函数,Θ表示卷积函数中需要学习的参数,w表示最后一层全连接层的系数,w0表示最后一层全连接层的偏置,
Figure BDA0003047983670000051
表示预处理后的运动想象脑电信号样本的标签,x′i表示扩充数据集中正序的第i条运动想象脑电信号样本,
Figure BDA0003047983670000052
表示排列后生成的运动想象脑电信号样本的标签,a′i扩充数据集中乱序的第i条运动想象脑电信号样本;
步骤3所述EfficientNet网络权重参数定义为W=[Θ,w,w0];
步骤3所述通过优化训练得到优化后的EfficientNet为:
所述EfficientNet网络的损失函数模型的损失值最低作为优选目标,通过Adam算法优化训练得到最优的网络权重参数;
通过最优的网络权重参数构建优化后的EfficientNet网络;
所述最优的网络权重参数定义为
Figure BDA0003047983670000053
作为优选,步骤4所述预处理后运动想象脑电信号数据集中少量标记样本构建的数据集为:
X*=[x′1,...,x′l]
x′i={x′i,1,x′i,2,...,x′i,C′},i∈[1,l]
x′i,c={x′i,c,1,x′i,c,2,...,x′i,c,T′},i∈[1,l]
c∈[1,C′],t∈[1,T′]
其中,X*表示预处理后少量标记样本数据集,x′i表示预处理后少量标记样本数据集中的第i条运动想象脑电信号样本,x′i,c表示预处理后少量标记样本数据集中的第i条运动想象脑电信号样本中第c个通道的脑电信号,x′i,c,t表示预处理后少量标记样本中正序的第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,l表示标记样本的数量;
将X*作为训练集,输入至初始化后的EfficientNet,这个网络预测可以得到运动想象是向左还是向右的结果,结合Y得到损失函数;
步骤4所述优化后的EfficientNet损失函数模型采用交叉熵作为损失函数,具体如下:
Figure BDA0003047983670000061
其中,
Figure BDA0003047983670000062
表示卷积函数,Θ*表示卷积函数中需要微调的参数,w*表示最后一层全连接层的系数,
Figure BDA0003047983670000063
表示最后一层全连接层的偏置,yi表示运动想象脑电信号标签集中第i条运动想象脑电信号样本的标签,x′i表示预处理后少量标记样本集中第i条运动想象脑电信号样本,1表示标记样本的数量;
通过优化训练得到二次优化后的EfficientNet网络。使用二次优化后的EfficientNet网络对测试样本进行分类,得到分类结果。
与现有技术相比,本发明提出的自监督学习方法,可有效提高目标任务网络的收敛效率,提升运动想象脑电信号分类的准确率。
附图说明
图1:为本发明具体实施流程图。
图2:为本发明的结果图。
具体实施方式
下面结合附图所示的实施例对本发明作进一步说明。
步骤l:引入运动想象脑电信号数据集,通过预处理方法得到预处理后运动想象脑电信号的数据集,其中运动脑电信号数据集中包含少量标记样本,由这些标记样本构成标签集;
步骤1所述运动想象脑电信号数据集为:
X=[x1,...,xl,...,xn]
xi={xi,1,xi,2,...,xi,C}
xi,c={xi,c,1,xi,c,2,...,xi,c,T}
i∈[1,n],c∈[1,C],t∈[1,T]
其中,X表示运动想象脑电信号数据集,前l个为标记样本,后n-l个为无标记样本,xi表示第i条运动想象脑电信号样本,xi,c表示第i条运动想象脑电信号样本中第c个通道的脑电信号,xi,c,t表示第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,n=200表示样本的数量,l表示标记样本的数量,C=59表示脑电图通道的数量,T=800表示总的采样点数;
步骤1所述运动想象脑电信号的标签集为:
Y=[y1,...,yl]
yi∈{1,-1}
i∈[1,l],l<n
其中Y表示运动想象脑电信号标签集,yi表示第i条运动想象脑电信号样本的标签,yi=1表示运动想象脑电信号样本对应运动想象向左,yi=-1表示运动想象脑电信号样本对应运动想象向右,l=50表示标签的数量,n=200表示样本的数量。
步骤1所述预处理方法为:通道选择、带通滤波、独立成分分析
依据已有研究选择与运动想象脑电信号有关的脑电图通道C3、Cz、C4。又因为脑电信号的频率各不相同,为保留与运动想象相关的脑电信号,故采用带通滤波进行过滤,保留8-30hz的脑电信号。对运动想象脑电信号进行独立成分分析获得分离后的运动想象脑电信号。由于每名受试者实验次数200次,采样频率为100Hz,每次采集的时间为8s,8s中又分为2s提示时间,4s运动想象时间,2s休息时间,故从原始脑电信号数据中截取对应运动想象时间部分的数据,得到处理后的脑电信号数据集X′;
步骤1所述预处理后运动想象脑电信号的数据集为:
X′=[x′1,...,x′n]
x′i={x′i,1,x′i,2,...,x′i,C′}
x′i,c={x′i,c,1,x′i,c,2,...,x′i,c,T′}
i∈[1,n],c∈[1,C′],t∈[1,T′]
其中,X′表示经过预处理后运动想象脑电信号数据集,x′i表示经过预处理后第i条运动想象脑电信号样本,x′i,c表示经过预处理后第i条运动想象脑电信号样本中第c个通道的脑电信号,x′i,c,t表示经过预处理后第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,n=200表示样本的数量,C′=3表示经过通道选择后脑电图通道的数量,T′=400表示经过截取后总的采样点数;
步骤2:将经过预处理后每条运动想象脑电信号样本中每个通道的脑电信号分割成多个块得到运动想象脑电信号样本块,将预处理后每条运动想象脑电信号样本中每个通道的脑电信号对应的多个运动想象脑电信号样本块随机排列组合得到乱序的脑电信号样本,进一步构建扩充数据集和对应的标签集;
步骤2所述第r块运动想象脑电信号样本块表示为:
Figure BDA0003047983670000081
r∈{1,...,m},i∈[1,n],c∈[1,C′]
其中,m=4表示分块的数量,n=200表示样本的数量,C′=3表示经过通道选择后脑电图通道的数量,
Figure BDA0003047983670000082
第r块运动想象脑电信号样本快中第p个采集的脑电信号,p∈[1,T′/m],T′/m=100表示第r块运动想象脑电信号样本块采集的脑电信号的数量;
x′i,c={z1,z2,...,zm}
其中,x′i,c表示经过预处理后第i条运动想象脑电信号样本中第c个通道的脑电信号;
步骤2所述排列后每条运动想象脑电信号样本中每个通道的脑电信号为:
a′i,c,i∈[1,n],c∈[1,C′]
其中,a′i,c表示排列后第i条运动想象脑电信号样本中第c个通道的脑电信号;
由x′i,c和a′i,c构成新的扩充数据集:
X″=[x′1,...,x′n,a′1,...,a′n]
x′i={x′i,1,x′i,2,...,x′i,C′},i∈[1,n]
a′i={a′i,1,a′i,2,...,a′i,C′},i∈[1,n]
x′i,c={x′i,c,1,x′i,c,2,...,x′i,c,T′},i∈[1,n]
a′i,c={a′i,c,1,a′i,c,2,...,a′i,c,T′},i∈[1,n]
c∈[1,C′],t∈[1,T′]
其中,X″表示构成的扩充数据集,x′i表示扩充数据集中正序的第i条运动想象脑电信号样本,a′i表示扩充数据集中乱序的第i条运动想象脑电信号样本。x′i,c表示扩充数据集中正序的第i条运动想象脑电信号样本中第c个通道的脑电信号,a′i,c表示扩充数据集中乱序的第i条运动想象脑电信号样本中第c个通道的脑电信号,x′i,c,t表示扩充数据集中正序的第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,a′i,c,t表示扩充数据集中正序的第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,n=200表示预处理后的运动想象脑电信号样本数量和新生成的运动想象脑电信号样本数量,C′=3表示经过通道选择后脑电图通道的数量,T′=400表示经过截取后总的采样点数;
将预处理后的运动想象脑电信号样本的标签设置为1,将排列后生成的运动想象脑电信号样本的标签设置为-1,构成扩充数据集对应的标签集:
Figure BDA0003047983670000091
Figure BDA0003047983670000092
Figure BDA0003047983670000093
其中,Y″表示扩充数据集的标签集,y″i表示通过辅助任务设定的样本标签。
步骤3:以扩充数据集作为训练样本,输入EfficientNet网络进行训练得到运动想象脑电信号是否为正序的结果,进一步结合扩充数据集对应的标签集构建EfficientNet网络的损失函数,优化EfficientNet网络权重参数通过优化训练得到优化后的EfficientNet网络;
所述EfficientNet的网络权重参数定义为W=[Θ,w,w0]
步骤3所述EfficientNet网络的损失函数模型采用交叉熵作为损失函数,具体如下:
Figure BDA0003047983670000094
其中,gΘ表示卷积函数,Θ表示卷积函数中需要学习的参数,w表示最后一层全连接层的系数,w0表示最后一层全连接层的偏置,
Figure BDA0003047983670000095
表示预处理后的运动想象脑电信号样本的标签,x′i表示扩充数据集中正序的第i条运动想象脑电信号样本,
Figure BDA0003047983670000101
表示随机排列组合后生成的运动想象脑电信号样本的标签,a′i表示扩充数据集中乱序的第i条运动想象脑电信号样本;
步骤3所述通过优化训练得到优化后的EfficientNet为:
所述EfficientNet网络的损失函数模型的损失值最低作为优选目标,通过Adam算法优化训练得到最优的网络权重参数;
通过最优的网络权重参数构建优化后的EfficientNet网络;
所述最优的网络权重参数定义为
Figure BDA0003047983670000102
步骤4:将辅助任务优化后的EfficientNet网络模型迁移至目标任务的EfficientNet网络模型初始化权重。将预处理后运动想象脑电信号数据集中的少量标记样本输入目标任务的EfficientNet网络进行训练得到运动想象是向左还是向右的结果,进一步结合运动想象脑电信号数据集的标签集构建目标任务EfficientNet网络的损失函数,通过优化训练得到二次优化后的EfficientNet网络。使用二次优化后的EfficientNet网络对测试样本进行分类,得到分类结果;
步骤4所述预处理后运动想象脑电信号数据集中少量标记样本构建的数据集为:
X*=[x′1,...,x′l]
x′i={x′i,1,x′i,2,...,x′i,C′},i∈[1,l]
x′i,c={x′i,c,1,x′i,c,2,...,x′i,c,T′},i∈[1,l]
c∈[1,C′],t∈[1,T′]
其中,X*表示预处理后少量标记样本数据集,x′i表示预处理后少量标记样本数据集中的第i条运动想象脑电信号样本,x′i,c表示预处理后少量标记样本数据集中的第i条运动想象脑电信号样本中第c个通道的脑电信号,x′i,c,t表示预处理后少量标记样本中正序的第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,l=50表示标记样本的数量,C′=3表示经过通道选择后脑电图通道的数量,T′=400表示经过截取后总的采样点数;
将X*作为训练集,输入至初始化后的EfficientNet,这个网络预测可以得到运动想象是向左还是向右的结果,结合Y得到损失函数。
步骤4所述优化后的EfficientNet损失函数模型采用交叉熵作为损失函数,具体如下:
Figure BDA0003047983670000111
其中,
Figure BDA0003047983670000112
表示卷积函数,Θ*表示卷积函数中需要微调的参数,w*表示最后一层全连接层的系数,
Figure BDA0003047983670000113
表示最后一层全连接层的偏置,yi表示运动想象脑电信号标签集中第i条运动想象脑电信号样本的标签,x′i表示预处理后少量标记样本集中第i条运动想象脑电信号样本,l=50表示标记样本的数量;
通过优化训练得到二次优化后的EfficientNet网络。使用二次优化后的EfficientNet网络对测试样本进行分类,得到分类结果。
本发明的保护范围不限于上述的实施例,显然,本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的范围和精神。倘若这些改动和变形属于本发明权利要求及其等同技术的范围,则本发明的意图也包含这些改动和变形在内。

Claims (5)

1.一种基于自监督学习的运动想象脑电信号分类方法,其特征在于,包括以下步骤:
步骤1:引入运动想象脑电信号数据集,通过预处理方法得到预处理后运动想象脑电信号的数据集,其中运动脑电信号数据集中包含少量标记样本,由这些标记样本构成标签集;
步骤2:将经过预处理后每条运动想象脑电信号样本中每个通道的脑电信号分割成多个块得到运动想象脑电信号样本块,将预处理后每条运动想象脑电信号样本中每个通道的脑电信号对应的多个运动想象脑电信号样本块随机排列组合得到乱序的脑电信号样本,进一步构建扩充数据集和对应的标签集;
步骤3:以扩充数据集作为训练样本,输入EfficientNet网络进行训练得到运动想象脑电信号是否为正序的结果,进一步结合扩充数据集对应的标签集构建EfficientNet网络的损失函数,优化EfficientNet网络权重参数通过优化训练得到优化后的EfficientNet网络;
步骤4:将辅助任务优化后的EfficientNet网络模型迁移至目标任务的EfficientNet网络模型初始化权重。将预处理后运动想象脑电信号数据集中的少量标记样本输入目标任务的EfficientNet网络进行训练得到运动想象是向左还是向右的结果,进一步结合运动想象脑电信号数据集的标签集构建目标任务EfficientNet网络的损失函数,通过优化训练得到二次优化后的EfficientNet网络。使用二次优化后的EfficientNet网络对测试样本进行分类,得到分类结果。
2.根据权利要求1所述的基于自监督学习的运动想象脑电信号分类方法,其特征在于,步骤1所述运动想象脑电信号数据集为:
X=[x1,...,xl,...,xn]
xi={xi,1,xi,2,...,xi,C}
xi,c={xi,c,1,xi,c,2,...,xi,c,T}
i∈[1,n],c∈[1,C],t∈[1,T]
其中,X表示运动想象脑电信号数据集,前l个为标记样本,后n-l个为无标记样本,xi表示第i条运动想象脑电信号样本,xi,c表示第i条运动想象脑电信号样本中第c个通道的脑电信号,xi,c,t表示第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,n表示样本的数量,C表示脑电图通道的数量,T表示总的采样点数;、
步骤1所述运动想象脑电信号的标签集为:
Y=[y1,...,yl]
yi∈{1,-1}
i∈[1,l],l<n
其中Y表示运动想象脑电信号标签集,yi表示第i条运动想象脑电信号样本的标签,yi=1表示运动想象脑电信号样本对应运动想象向左,yi=-1表示运动想象脑电信号样本对应运动想象向右,l表示标签的数量,n表示样本的数量。
步骤1所述预处理方法为:通道选择、带通滤波、独立成分分析;
步骤1所述预处理后运动想象脑电信号的数据集为:
X′=[x′1,...,x′n]
x′i={x′i,1,x′i,2,...,x′i,C′}
x′i,c={x′i,c,1,x′i,c,2,...,x′i,c,T′}
i∈[1,n],c∈[1,C′],t∈[1,T′]
其中,X′表示经过预处理后运动想象脑电信号数据集,x′i表示经过预处理后第i条运动想象脑电信号样本,x′i,c表示经过预处理后第i条运动想象脑电信号样本中第c个通道的脑电信号,x′i,c,t表示经过预处理后第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,n表示样本的数量,C′表示经过通道选择后脑电图通道的数量,T′表示经过预处理后总的采样点数。
3.根据权利要求1所述的基于自监督学习的运动想象脑电信号分类方法,其特征在于,步骤2所述第r块运动想象脑电信号样本块表示为:
Figure FDA0003047983660000021
其中,m表示分块的数量,n表示样本的数量,C′表示经过通道选择后脑电图通道的数量,
Figure FDA0003047983660000022
第r块运动想象脑电信号样本快中第p个采集的脑电信号,p∈[1,T′/m],T′/m表示第r块运动想象脑电信号样本块采集的脑电信号的数量;
x′i,c={z1,z2,...,zm}
其中,x′i,c表示经过预处理后第i条运动想象脑电信号样本中第c个通道的脑电信号;
步骤2所述排列后每条运动想象脑电信号样本中每个通道的脑电信号为:
a′i,c,i∈[1,n],c∈[1,C′]
其中,a′i,c表示排列后第i条运动想象脑电信号样本中第c个通道的脑电信号;
由x′i,c和a′i,c构成新的扩充数据集:
X″=[x′1,...,x′n,a′1,...,a′n]
x′i={x′i,1,x′i,2,...,x′i,C′},i∈[1,n]
a′i={a′i,1,a′i,2,...,a′i,C′},i∈[1,n]
x′i,c={x′i,c,1,x′i,c,2,...,x′i,c,T′},i∈[1,n]
a′i,c={a′i,c,1,a′i,c,2,...,a′i,c,T′},i∈[1,n]
c∈[1,C′],t∈[1,T′]
其中,X″表示构成的扩充数据集,x′i表示扩充数据集中正序的第i条运动想象脑电信号样本,a′i表示扩充数据集中乱序的第i条运动想象脑电信号样本;x′i,c表示扩充数据集中正序的第i条运动想象脑电信号样本中第c个通道的脑电信号,a′i,c表示扩充数据集中乱序的第i条运动想象脑电信号样本中第c个通道的脑电信号,x′i,c,t表示扩充数据集中正序的第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,a′i,c,t表示扩充数据集中正序的第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号;
将预处理后的运动想象脑电信号样本的标签设置为1,将排列后生成的运动想象脑电信号样本的标签设置为-1,构成扩充数据集对应的标签集:
Figure FDA0003047983660000031
Figure FDA0003047983660000041
Figure FDA0003047983660000042
其中,Y″表示扩充数据集的标签集,y″i表示通过辅助任务设定的样本标签。
4.根据权利要求1所述的基于自监督学习的运动想象脑电信号分类方法,其特征在于,步骤3所述EfficientNet网络的损失函数模型采用交叉熵作为损失函数,具体如下:
Figure FDA0003047983660000043
其中,gΘ表示卷积函数,Θ表示卷积函数中需要学习的参数,w表示最后一层全连接层的系数,w0表示最后一层全连接层的偏置,
Figure FDA0003047983660000044
表示预处理后的运动想象脑电信号样本的标签,x′i表示扩充数据集中正序的第i条运动想象脑电信号样本,
Figure FDA0003047983660000045
表示排列后生成的运动想象脑电信号样本的标签,a′i扩充数据集中乱序的第i条运动想象脑电信号样本;
步骤3所述EfficientNet网络权重参数定义为W=[Θ,w,W0];
步骤3所述通过优化训练得到优化后的EfficientNet为:
所述EfficientNet网络的损失函数模型的损失值最低作为优选目标,通过Adam算法优化训练得到最优的网络权重参数;
通过最优的网络权重参数构建优化后的EfficientNet网络;
所述最优的网络权重参数定义为
Figure FDA0003047983660000046
5.根据权利要求1所述的基于自监督学习的运动想象脑电信号分类方法,其特征在于,步骤4所述预处理后运动想象脑电信号数据集中少量标记样本构建的数据集为:
X*=[x′1,...,x′l]
x′i={x′i,1,x′i,2,...,x′i,C′},i∈[1,l]
x′i,c={x′i,c,1,x′i,c,2,...,x′i,c,T′},i∈[1,l]
c∈[1,C′],t∈[1,T′]
其中,X*表示预处理后少量标记样本数据集,x′i表示预处理后少量标记样本数据集中的第i条运动想象脑电信号样本,x′i,c表示预处理后少量标记样本数据集中的第i条运动想象脑电信号样本中第c个通道的脑电信号,x′i,c,t表示预处理后少量标记样本中正序的第i条运动想象脑电信号样本中第c个通道的脑电信号中第t个采集的脑电信号,1表示标记样本的数量;
将X*作为训练集,输入至初始化后的EfficientNet,这个网络预测可以得到运动想象是向左还是向右的结果,结合Y得到损失函数;
步骤4所述优化后的EfficientNet损失函数模型采用交叉熵作为损失函数,具体如下:
Figure FDA0003047983660000051
其中,
Figure FDA0003047983660000053
表示卷积函数,Θ*表示卷积函数中需要微调的参数,w*表示最后一层全连接层的系数,
Figure FDA0003047983660000052
表示最后一层全连接层的偏置,yi表示运动想象脑电信号标签集中第i条运动想象脑电信号样本的标签,x′i表示预处理后少量标记样本集中第i条运动想象脑电信号样本,l表示标记样本的数量;
通过优化训练得到二次优化后的EfficientNet网络。使用二次优化后的EfficientNet网络对测试样本进行分类,得到分类结果。
CN202110478028.6A 2021-04-30 2021-04-30 一种基于自监督学习的运动想象脑电信号分类方法 Pending CN113158949A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110478028.6A CN113158949A (zh) 2021-04-30 2021-04-30 一种基于自监督学习的运动想象脑电信号分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110478028.6A CN113158949A (zh) 2021-04-30 2021-04-30 一种基于自监督学习的运动想象脑电信号分类方法

Publications (1)

Publication Number Publication Date
CN113158949A true CN113158949A (zh) 2021-07-23

Family

ID=76872699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110478028.6A Pending CN113158949A (zh) 2021-04-30 2021-04-30 一种基于自监督学习的运动想象脑电信号分类方法

Country Status (1)

Country Link
CN (1) CN113158949A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048806A (zh) * 2021-11-09 2022-02-15 安徽大学 一种基于细粒度深度学习的阿尔兹海默症辅助诊断模型分类方法
CN114145745A (zh) * 2021-12-15 2022-03-08 西安电子科技大学 基于图的多任务自监督情绪识别方法
CN114612685A (zh) * 2022-03-22 2022-06-10 中国科学院空天信息创新研究院 一种结合深度特征与对比学习的自监督信息提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886345A (zh) * 2019-02-27 2019-06-14 清华大学 基于关系推理的自监督学习模型训练方法和装置
CN110399805A (zh) * 2019-07-02 2019-11-01 成都信息工程大学 半监督学习优化svm的运动想象脑电信号分类方法
CN111062250A (zh) * 2019-11-12 2020-04-24 西安理工大学 基于深度特征学习的多受试者运动想象脑电信号识别方法
US20200337625A1 (en) * 2019-04-24 2020-10-29 Interaxon Inc. System and method for brain modelling
CN112587155A (zh) * 2020-12-12 2021-04-02 中山大学 一种基于自监督学习的脑电波图异常检测的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886345A (zh) * 2019-02-27 2019-06-14 清华大学 基于关系推理的自监督学习模型训练方法和装置
US20200337625A1 (en) * 2019-04-24 2020-10-29 Interaxon Inc. System and method for brain modelling
CN110399805A (zh) * 2019-07-02 2019-11-01 成都信息工程大学 半监督学习优化svm的运动想象脑电信号分类方法
CN111062250A (zh) * 2019-11-12 2020-04-24 西安理工大学 基于深度特征学习的多受试者运动想象脑电信号识别方法
CN112587155A (zh) * 2020-12-12 2021-04-02 中山大学 一种基于自监督学习的脑电波图异常检测的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CLORIS_SUE: "自监督学习详细介绍(学习笔记)", 《CSDN博客》 *
ORHAN G. YALÇ&#: "4个计算机视觉领域用作迁移学习的模型", 《51CTO》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048806A (zh) * 2021-11-09 2022-02-15 安徽大学 一种基于细粒度深度学习的阿尔兹海默症辅助诊断模型分类方法
CN114145745A (zh) * 2021-12-15 2022-03-08 西安电子科技大学 基于图的多任务自监督情绪识别方法
CN114145745B (zh) * 2021-12-15 2024-03-29 西安电子科技大学 基于图的多任务自监督情绪识别方法
CN114612685A (zh) * 2022-03-22 2022-06-10 中国科学院空天信息创新研究院 一种结合深度特征与对比学习的自监督信息提取方法
CN114612685B (zh) * 2022-03-22 2022-12-23 中国科学院空天信息创新研究院 一种结合深度特征与对比学习的自监督信息提取方法

Similar Documents

Publication Publication Date Title
CN113158949A (zh) 一种基于自监督学习的运动想象脑电信号分类方法
Ya et al. Large-scale real-world radio signal recognition with deep learning
CN110287863B (zh) 一种基于WiFi信号的手势识别方法
CN111414942A (zh) 一种基于主动学习和卷积神经网络的遥感图像分类方法
CN109978034B (zh) 一种基于数据增强的声场景辨识方法
CN111881714A (zh) 一种无监督跨域行人再识别方法
CN110472649B (zh) 基于多尺度分析和集成树模型的脑电情感分类方法及系统
CN106886569A (zh) 一种基于mpi的ml‑knn多标签中文文本分类方法
CN111582214B (zh) 基于孪生网络的笼养动物行为分析方法、系统、装置
CN113541834B (zh) 一种异常信号半监督分类方法、系统、数据处理终端
CN112699945B (zh) 数据标注方法及装置、存储介质及电子装置
CN116451150A (zh) 一种基于半监督小样本的设备故障诊断方法
CN114419389A (zh) 一种基于神经网络架构搜索的目标检测模型构建方法
CN115311605A (zh) 基于近邻一致性和对比学习的半监督视频分类方法及系统
Omran et al. Barebones particle swarm methods for unsupervised image classification
Turner et al. Distilling with performance enhanced students
Zhang et al. Learning to search efficient densenet with layer-wise pruning
CN114936583B (zh) 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法
CN116229512A (zh) 基于跨摄像头自蒸馏的行人重识别模型建立方法及其应用
CN115797904A (zh) 一种智能驾驶视觉感知中多场景多任务的主动学习方法
Vardhan et al. Density based clustering technique on crop yield prediction
CN114549962A (zh) 一种园林植物叶病分类方法
CN114550034A (zh) 一种基于Deep Learning的视频识别技术的系统
CN113409293A (zh) 一种基于深度学习的病理学图像自动分割系统
CN112966812A (zh) 一种通信信号调制识别的自动神经网络结构搜索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723