CN108446020A - 融合可视图与深度学习的运动想象意念控制方法及应用 - Google Patents
融合可视图与深度学习的运动想象意念控制方法及应用 Download PDFInfo
- Publication number
- CN108446020A CN108446020A CN201810169306.8A CN201810169306A CN108446020A CN 108446020 A CN108446020 A CN 108446020A CN 201810169306 A CN201810169306 A CN 201810169306A CN 108446020 A CN108446020 A CN 108446020A
- Authority
- CN
- China
- Prior art keywords
- network
- motor imagery
- eeg
- scene
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000000007 visual effect Effects 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 230000003340 mental effect Effects 0.000 title abstract 6
- 238000012549 training Methods 0.000 claims abstract description 34
- 210000004556 brain Anatomy 0.000 claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 230000033001 locomotion Effects 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 12
- 238000003062 neural network model Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000190070 Sarracenia purpurea Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Neurology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Image Analysis (AREA)
Abstract
一种融合可视图与深度学习的运动想象意念控制方法及应用,获取运动想象EEG脑电信号并进行预处理;对预处理后的运动想象EEG脑电信号采用可视图理论构建可视图复杂网络,得到大脑多层复杂网络;对于每一个可视图复杂网络,分别提取网络指标数据;对于任一被试者在每一个运动场景下的大脑多层复杂网络,获得所述各个网络指标数据,组成一维序列,并构建样本集,搭建初始深度卷积神经网络模型,使用样本集对初始深度卷积神经网络模型进行有监督的训练,得到能够用于运动想象EEG脑电信号有效分类、辨识的深度卷积神经网络模型及参数。本发明能够实现对运动想象EEG脑电信号的有效辨识和进行正确分类,并转化为脑控指令,实现对机械外骨骼的控制。
Description
技术领域
本发明涉及一种运动想象意念控制方法。特别是涉及一种融合可视图与深度学习的运动想象意念控制方法及应用。
背景技术
脑机接口(BCI)是指人脑与计算机或其他电子设备间建立的交流与控制通道,可以通过获取脑电信号,提取其中有效信息,进而对连接的其它设备进行控制。脑电信号的获取范式有SSVEP、P300、运动想象三种,且这些获取方法的实现不受脑外围神经、肌肉输出的限制,对于残疾人士的恢复治疗有重要的意义。其中,运动想象由于不需要附加刺激界面,在设备要求便携化、小型化时,具有独特的优点。
运动想象范式是在没有肢体运动的情况下,被试者自主进行思维活动,想象某一特定的运动场景,产生连续的EEG脑电信号,由BCI感知并对其特征进行分析的过程。此过程中得到的脑电特征提取结果与被试者初始思维活动相关,从而可以转化成与之对应的控制指令,控制被试者穿戴的机械外骨骼带动被试者进行运动。需要下达该控制指令时,仅需进行某固定的运动场景想象,即可实现对外界设备的控制。
近年来,复杂网络获得快速发展。作为前沿的数据融合、分析理论,复杂网络为复杂系统的研究提供了新的视角。特别的,可视图复杂网络作为复杂网络时间序列分析的主要方法之一,已经在包括经济、多相流、交通等诸多领域有了成功的应用,其计算快速,形象直观的特点使其能够很好地刻画复杂系统的内在运行机理。
深度学习作为机器学习中一种基于对数据进行表征学习的方法,在计算机视觉、语音识别和自然语言处理等领域有重要应用。其中深度卷积神经网络作为应用较为广泛的技术,在处理序列上也有重要贡献。通过构建深度卷积神经网络进行有监督学习,将对序列进行充分的数据挖掘,有着较好的实时性和准确性。
发明内容
本发明所要解决的技术问题是,提供一种能够利用虚拟现实技术,设计实验获取运动想象EEG脑电信号,结合复杂网络和深度学习理论实现数据分析、分类并最终实现脑机控制的融合可视图与深度学习的运动想象意念控制方法及应用。
本发明所采用的技术方案是:一种融合可视图与深度学习的运动想象意念控制方法,使用虚拟现实技术生成不同运动场景,被试者通过虚拟现实设备观察不同运动场景的同时,想象相应的具体动作,诱发运动想象EEG脑电信号,通过脑电采集设备实现采集,而后结合可视图复杂网络和深度卷积神经网络模型,实现对运动想象EEG脑电信号的有效辨识以及分类,以分类结果为基础,生成相应的控制指令,控制机械外骨骼实现多自由度运动,辅助被试者完成各种运动;具体包括如下步骤:
1)获取运动想象EEG脑电信号并对运动想象EEG脑电信号进行预处理;
2)对预处理后的运动想象EEG脑电信号其中,L为每个信号的数据长度,Xc,g表示第c个电极采集的信号中第g个数值,采用可视图理论构建可视图复杂网络Ac,得到大脑多层复杂网络;
3)对于每一个可视图复杂网络Ac,分别提取网络指标数据,所述的网络指标数据包括:网络平均节点度、网络平均节点介数、网络平均聚集系数、网络全局聚集系数、网络聚集系数熵和网络平均最短路径;
4)对于任一被试者在每一个运动场景下的大脑多层复杂网络,获得上述各个网络指标数据,组成一维序列,通过运动场景编号为该一维序列设定标签,构建样本集,搭建初始深度卷积神经网络模型,使用样本集对初始深度卷积神经网络模型进行有监督的训练,得到能够用于运动想象EEG脑电信号有效分类、辨识的深度卷积神经网络模型及参数,其中,所述样本集中的每一个样本由各个网络指标数据组成的一维序列以及相应的标签构成。
步骤1)所述的获取运动想象EEG脑电信号,是通过EEG脑电信号采集设备,分别获取被试者对应于P3,P4,O1,O2,C3,C4,Cz七个电极的运动想象EEG脑电信号,电极分布符合10~20国际标准导联;包括:
(1)使用虚拟现实(VR)技术生成Q种以上运动场景,其中Q≥2,为各个场景分别设置编号1,2,...,Q;
(2)被试者通过虚拟现实设备观察生成的不同运动场景的同时,想象相应场景的具体动作;
(3)在每一个运动场景下,当被试者想象相应的具体动作时,通过运动想象EEG脑电信号采集设备完成运动想象EEG脑电信号的采集。
步骤1)所述的对运动想象EEG脑电信号进行预处理,是对运动想象EEG脑电信号进行带通滤波并去除伪迹,得到能够用于实现运动想象状态辨识的运动想象EEG脑电信号:
其中,L为每个信号的数据长度,Xc,g表示第c个电极采集的信号中第g个数值。
步骤2)包括:
(1)对每一个电极的运动想象EEG脑电信号采用可视图理论进行处理,若其中任意两点和以及两点之间的任意一点满足条件:则称和可视,设定运动想象EEG脑电信号中任意相邻的两点可视,以中的每个点为网络节点,根据各点之间的可视性确定网络连边,即:若两点可视,则建立连边,若不可视,则没有连边,得到可视图复杂网络其中,分别为第c个通道的运动想象EEG脑电信号中的第g1、g2、g3个数值;
(2)对7个电极的运动想象EEG脑电信号分别重复第(1)步,建立7个可视图复杂网络,得到大脑多层复杂网络{A1,A2,...,A7}。
步骤4)所述的初始深度卷积神经网络模型依次包括:
一个数据输入层:输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签,所述的输入数据是具有标签信息的数据;
三个一维卷积层:卷积核数量为8,卷积核大小为1×7,激活函数是一个线型修正单元,采用Relu激活函数fRelu(x)=max(0,x);
一个最大池化层:池化核大小为1×4,具体过程描述为Pp=max{0,x},表示对当前池化核覆盖下的输入数据的元素提取最大值作为输出;
四个一维卷积层:卷积核数量为16,卷积核大小为1×7,采用Relu激活函数fRelu(x)=max(0,x);
一个最大池化层:池化核大小为1×4;
分类器:作为神经网络的输出层,输出分类结果,并用H个神经元表示,通过Softmax函数处理,Softmax函数本质上是归一化的指数函数,定义为其中h=1···H,e为自然对数值,zh为第h个神经元的输出,式子中的分母充当了正则项的作用,使得
步骤4)所述的训练包括:
(1)将样本集中80%的数据作为训练集,用于训练初始深度卷积神经网络模型,确定初始深度卷积神经网络模型参数,20%的数据作为测试集,用于测试已经训练好的深度卷积神经网络模型的泛化能力;
(2)将网络权值、阈值取接近于0的随机值,并初始化训练所需的超参数,所述的超参数包括学习率、权值衰减、学习率衰减;
(3)通过反向传播算法对初始深度卷积神经网络模型进行训练;
(4)在训练中通过梯度下降法对网络权值进行调整,公式为W是更新前的网络权值,Wnew是更新后的网络权值,ξ是学习率,是误差对网络权值的偏导;
(5)当损失函数停止收敛或者网络训练迭代次数超过设定值M时,停止训练。
一种融合可视图与深度学习的运动想象意念控制方法的应用,包括如下步骤:
1)设定4个运动场景,编号为场景1,场景2,场景3,场景4,分别对应书写汉字场景、驾驶场景、家居场景和踢足球场景,在不同场景下,想象不同的具体的动作;获取运动想象EEG脑电信号并对运动想象EEG脑电信号进行预处理;
2)利用可视图复杂网络与训练得到的深度卷积神经网络模型对采集到的运动想象EEG脑电信号进行处理,提取特征,判断出该信号对应的是何种运动想象,以分类结果为基础生成脑控指令,发送给机械外骨骼,控制机械外骨骼运动。
本发明的融合可视图与深度学习的运动想象意念控制方法及应用,能够实现对运动想象EEG脑电信号的有效辨识和进行正确分类,并转化为脑控指令,实现对机械外骨骼的控制;本发明能够实现多自由度大脑意念控制,辅助肢体运动困难者进行训练。
附图说明
图1是本发明融合可视图与深度学习的运动想象意念控制方法的流程图
图2是10~20国际标准导联电极安放位置示意图;
图3是可视图复杂网络建网方法示意图;
图4是卷积神经网络结构示意图;
图5是一维卷积、池化的示意图。
具体实施方式
下面结合实施例和附图对本发明的融合可视图与深度学习的运动想象意念控制方法及应用做出详细说明。
本发明的融合可视图与深度学习的运动想象意念控制方法,使用虚拟现实(VR)技术生成不同运动场景,被试者通过虚拟现实设备观察不同运动场景的同时,想象相应的具体动作,诱发运动想象EEG脑电信号,通过脑电采集设备实现采集,而后结合可视图复杂网络和深度卷积神经网络(DCNN)模型,实现对运动想象EEG脑电信号的有效辨识以及分类,以分类结果为基础,生成相应的控制指令,控制机械外骨骼实现多自由度运动,辅助被试者完成各种运动。
本发明的融合可视图与深度学习的运动想象意念控制方法,具体包括如下步骤:
1)获取运动想象EEG脑电信号并对运动想象EEG脑电信号进行预处理;
所述的获取运动想象EEG脑电信号,是通过EEG脑电信号采集设备,分别获取被试者对应于P3,P4,O1,O2,C3,C4,Cz七个电极的运动想象EEG脑电信号,电极分布符合10~20国际标准导联,如图2所示;包括:
(1)使用虚拟现实(VR)技术生成Q种以上运动场景,其中Q≥2,为各个场景分别设置编号1,2,...,Q;
(2)被试者通过虚拟现实设备观察生成的不同运动场景的同时,想象相应场景的具体动作;
(3)在每一个运动场景下,当被试者想象相应的具体动作时,通过运动想象EEG脑电信号采集设备完成运动想象EEG脑电信号的采集。
通过虚拟现实(VR)给出场景,被试者在对应运动场景下想象具体的实际的动作,能够提高脑电信号的质量,而且统一受试者的运动想象内容,便于优化脑电信号识别算法。
所述的对运动想象EEG脑电信号进行预处理,是对运动想象EEG脑电信号进行带通滤波并去除伪迹,得到能够用于实现运动想象状态辨识的运动想象EEG脑电信号:
其中,L为每个信号的数据长度,Xc,g表示第c个电极采集的信号中第g个数值。
2)对预处理后的运动想象EEG脑电信号采用可视图理论构建可视图复杂网络Ac,得到大脑多层复杂网络;包括:
(1)对每一个电极的运动想象EEG脑电信号采用可视图理论进行处理,若其中任意两点和以及两点之间的任意一点满足条件:则称和可视,设定运动想象EEG脑电信号中任意相邻的两点可视,以中的每个点为网络节点,根据各点之间的可视性确定网络连边,即:若两点可视,则建立连边,若不可视,则没有连边,得到可视图复杂网络其中,分别为第c个通道的运动想象EEG脑电信号中的第g1、g2、g3个数值;
(2)对7个电极的运动想象EEG脑电信号分别重复第(1)步,建立7个可视图复杂网络,得到大脑多层复杂网络{A1,A2,...,A7}。
3)对于每一个可视图复杂网络Ac,分别提取网络指标数据,所述的网络指标数据包括:网络平均节点度、网络平均节点介数、网络平均聚集系数、网络全局聚集系数、网络聚集系数熵和网络平均最短路径;所述的网络指标数据具体如下:
(1)网络平均节点度K:任意节点i的度ki表示与该节点有连边的节点的数目,则其中<·>表示取平均值的操作;
(2)网络平均节点介数B=<bi>,表示节点i的节点介数,其中σmn为连接节点m和节点n的最短路径数目,σmn(i)为经过节点i的连接节点m和节点n的最短路径数目;
(3)网络平均聚集系数表示节点i的节点聚集系数,其中τi,Δ表示复杂网络中包含节点i的封闭三角形的数目,τi表示复杂网络中从节点i出发至少有两个边的三角形的数目;
(4)网络全局聚集系数
(5)网络聚集系数熵
(6)网络平均最短路径其中节点i和节点j互不相同,且Lij表示节点i和节点j之间的最短路径长度。
4)对于任一被试者在每一个运动场景下的大脑多层复杂网络,获得上述各个网络指标数据,组成一维序列,通过运动场景编号为该一维序列设定标签,构建样本集,搭建初始深度卷积神经网络模型,如图4所示,使用样本集对初始深度卷积神经网络模型进行有监督的训练得到能够用于运动想象EEG脑电信号有效分类、辨识的深度卷积神经网络模型及参数。其中,所述样本集中的每一个样本由各个网络指标数据组成的一维序列以及相应的标签构成。
所述的初始深度卷积神经网络模型依次包括:
一个数据输入层:输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签,所述的输入数据是具有标签信息的数据;
三个一维卷积层:卷积核数量为8,卷积核大小为1×7,激活函数是一个线型修正单元,采用Relu激活函数fRelu(x)=max(0,x);
一个最大池化层:池化核大小为1×4,具体过程描述为Pp=max{0,x},表示对当前池化核覆盖下的输入数据的元素提取最大值作为输出,其中Pp对应池化核最左边的元素所在位置;
四个一维卷积层:卷积核数量为16,卷积核大小为1×7,采用Relu激活函数fRelu(x)=max(0,x);
一个最大池化层:池化核大小为1×4;
分类器:作为神经网络的输出层,输出分类结果,并用H个神经元表示,通过Softmax函数处理,Softmax函数本质上是归一化的指数函数,定义为其中h=1···H,e为自然对数值,zh为第h个神经元的输出,式子中的分母充当了正则项的作用,使得
本发明中,一维卷积、池化过程如图5所示。对于一维序列xi,其卷积过程函数描述如下:
其中,为卷积核(在本例中rmax=7),η1为卷积核步长,f为激活函数(在本例中激活函数为Relu),为卷积输出序列,q满足(表示向下取整);池化过程函数描述如下:
其中,pw为池化核(在本例中wmax=4,{pw=1|w∈N,1≤w≤4}),η2为池化核步长,为池化输出序列,d满足(表示向下取整)。
对初始深度卷积神经网络(DCNN)模型的训练包括:
(1)将样本集中80%的数据作为训练集,用于训练初始深度卷积神经网络模型,确定初始深度卷积神经网络模型参数,20%的数据作为测试集,用于测试已经训练好的深度卷积神经网络模型的泛化能力;
(2)将网络权值、阈值取接近于0的随机值,并初始化训练所需的超参数,所述的超参数包括学习率、权值衰减、学习率衰减;
(3)通过反向传播算法对初始深度卷积神经网络模型进行训练,分两种情况,包括:
当第l层为卷积层,第l+1层为池化层时,将第l+1层的特征图上采样,使得与第l层特征图大小一致,然后进行敏感度计算,计算公式为其中“○”为元素对应相乘,up(·)表示上采样函数,为第l+1的特征图上元素μ对应的权值,f'(·)为当前层激活函数的导数,为经过激活之前的数据。在权值更新过程中,该层每个特征图的偏置项的导数都为该特征图的所有像素的敏感度之和,公式为式中E为参数集在训练集上的模型整体误差,bμ为该层每个特征图的偏置项。对于卷积核,其偏导数等于相邻两层对应之积,公式为式中代表第l层第λ行μ列的卷积核,表示第l-1层第λ个特征图,为之前所计算的敏感度,rot180(·)表示将矩阵旋转180度,conv2(·)表示两个矩阵的卷积计算,valid表示返回值不考虑边界补零,即只要有边界补出的零参与运算的都舍去。
当第l层为池化层,第l+1层为卷积层,由于池化层权值固定,涉及不到权值更新,不用计算偏导数,其公式为式中“○”为元素对应相乘,f'(·)为当前层激活函数的导数,conv2(·)表示两个矩阵的卷积计算,表示经过激活之前的数据,表示第l+1层第μ个元素对应的敏感度,表示第l+1层第μ个卷积核,full表示返回全部二维卷积结果。
(4)在训练中通过梯度下降法对网络权值进行调整,公式为W是更新前的网络权值,Wnew是更新后的网络权值,ξ是学习率,是误差对网络权值的偏导;
(5)当损失函数停止收敛或者网络训练迭代次数超过设定值M时,停止训练。
本发明的融合可视图与深度学习的运动想象意念控制方法的应用,包括如下步骤:
1)设定4个运动场景,编号为场景1,场景2,场景3,场景4,分别对应书写汉字场景、驾驶场景、家居场景和踢足球场景;获取运动想象EEG脑电信号并对运动想象EEG脑电信号进行预处理;在不同场景下,想象不同的具体的动作,包括:
在书写汉字场景下,被试者想象通过右手书写汉字的过程;
在驾驶场景下,被试者想象紧急时刻通过右脚踩下刹车的过程;
在家居场景下,被试者想象通过左手端起水杯喝水的过程;
在踢足球场景下,被试者想象通过左脚射门的过程;
上述具体动作有助于运动想象脑电信号的产生,但本发明不仅限于这些动作,其他无本质创新的动作也属于本发明的保护内容。
2)利用可视图复杂网络与训练得到的深度卷积神经网络模型对采集到的运动想象EEG脑电信号进行处理,提取特征,判断出该信号对应的是何种运动想象,以分类结果为基础生成脑控指令,发送给机械外骨骼,控制机械外骨骼运动。
以上对本发明和实施例的描述,并不局限于此,实施例中的描述仅是本发明的实施方式之一,在不脱离本发明创造宗旨的情况下,任何不经创造性的设计出与该技术方案类似的结构或实施例,均属本发明的保护范围。
Claims (7)
1.一种融合可视图与深度学习的运动想象意念控制方法,其特征在于,使用虚拟现实技术生成不同运动场景,被试者通过虚拟现实设备观察不同运动场景的同时,想象相应的具体动作,诱发运动想象EEG脑电信号,通过脑电采集设备实现采集,而后结合可视图复杂网络和深度卷积神经网络模型,实现对运动想象EEG脑电信号的有效辨识以及分类,以分类结果为基础,生成相应的控制指令,控制机械外骨骼实现多自由度运动,辅助被试者完成各种运动;具体包括如下步骤:
1)获取运动想象EEG脑电信号并对运动想象EEG脑电信号进行预处理;
2)对预处理后的运动想象EEG脑电信号其中,L为每个信号的数据长度,Xc,g表示第c个电极采集的信号中第g个数值,采用可视图理论构建可视图复杂网络Ac,得到大脑多层复杂网络;
3)对于每一个可视图复杂网络Ac,分别提取网络指标数据,所述的网络指标数据包括:网络平均节点度、网络平均节点介数、网络平均聚集系数、网络全局聚集系数、网络聚集系数熵和网络平均最短路径;
4)对于任一被试者在每一个运动场景下的大脑多层复杂网络,获得各个所述网络指标数据,组成一维序列,通过运动场景编号为该一维序列设定标签,构建样本集,搭建初始深度卷积神经网络模型,使用样本集对初始深度卷积神经网络模型进行有监督的训练,得到能够用于运动想象EEG脑电信号有效分类、辨识的深度卷积神经网络模型及参数,其中,所述样本集中的每一个样本由各个网络指标数据组成的一维序列以及相应的标签构成。
2.根据权利要求1所述的融合可视图与深度学习的运动想象意念控制方法,其特征在于,步骤1)所述的获取运动想象EEG脑电信号,是通过EEG脑电信号采集设备,分别获取被试者对应于P3,P4,O1,O2,C3,C4,Cz七个电极的运动想象EEG脑电信号,电极分布符合10~20国际标准导联;包括:
(1)使用虚拟现实(VR)技术生成Q种以上运动场景,其中Q≥2,为各个场景分别设置编号1,2,...,Q;
(2)被试者通过虚拟现实设备观察生成的不同运动场景的同时,想象相应场景的具体动作;
(3)在每一个运动场景下,当被试者想象相应的具体动作时,通过运动想象EEG脑电信号采集设备完成运动想象EEG脑电信号的采集。
3.根据权利要求1所述的融合可视图与深度学习的运动想象意念控制方法,其特征在于,步骤1)所述的对运动想象EEG脑电信号进行预处理,是对运动想象EEG脑电信号进行带通滤波并去除伪迹,得到能够用于实现运动想象状态辨识的运动想象EEG脑电信号:
其中,L为每个信号的数据长度,Xc,g表示第c个电极采集的信号中第g个数值。
4.根据权利要求1所述的基于可视图复杂网络的运动想象意念控制方法,其特征在于,步骤2)包括:
(1)对每一个电极的运动想象EEG脑电信号采用可视图理论进行处理,若其中任意两点和以及两点之间的任意一点满足条件:则称和可视,设定运动想象EEG脑电信号中任意相邻的两点可视,以中的每个点为网络节点,根据各点之间的可视性确定网络连边,即:若两点可视,则建立连边,若不可视,则没有连边,得到可视图复杂网络其中,分别为第c个通道的运动想象EEG脑电信号中的第g1、g2、g3个数值;
(2)对7个电极的运动想象EEG脑电信号分别重复第(1)步,建立7个可视图复杂网络,得到大脑多层复杂网络{A1,A2,...,A7}。
5.根据权利要求1所述的融合可视图与深度学习的运动想象意念控制方法,其特征在于,步骤4)所述的初始深度卷积神经网络模型依次包括:
一个数据输入层:输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签,所述的输入数据是具有标签信息的数据;
三个一维卷积层:卷积核数量为8,卷积核大小为1×7,激活函数是一个线型修正单元,采用Relu激活函数fRelu(x)=max(0,x);
一个最大池化层:池化核大小为1×4,具体过程描述为Pp=max{0,x},表示对当前池化核覆盖下的输入数据的元素提取最大值作为输出;
四个一维卷积层:卷积核数量为16,卷积核大小为1×7,采用Relu激活函数fRelu(x)=max(0,x);
一个最大池化层:池化核大小为1×4;
分类器:作为神经网络的输出层,输出分类结果,并用H个神经元表示,通过Softmax函数处理,Softmax函数本质上是归一化的指数函数,定义为其中h=1···H,e为自然对数值,zh为第h个神经元的输出,式子中的分母充当了正则项的作用,使得
6.根据权利要求1所述的融合可视图与深度学习的运动想象意念控制方法,其特征在于,步骤4)所述的训练包括:
(1)将样本集中80%的数据作为训练集,用于训练初始深度卷积神经网络模型,确定初始深度卷积神经网络模型参数,20%的数据作为测试集,用于测试已经训练好的深度卷积神经网络模型的泛化能力;
(2)将网络权值、阈值取接近于0的随机值,并初始化训练所需的超参数,所述的超参数包括学习率、权值衰减、学习率衰减;
(3)通过反向传播算法对初始深度卷积神经网络模型进行训练;
(4)在训练中通过梯度下降法对网络权值进行调整,公式为W是更新前的网络权值,Wnew是更新后的网络权值,ξ是学习率,是误差对网络权值的偏导;
(5)当损失函数停止收敛或者网络训练迭代次数超过设定值M时,停止训练。
7.一种权利要求1所述的融合可视图与深度学习的运动想象意念控制方法的应用,其特征在于,包括如下步骤:
1)设定4个运动场景,编号为场景1,场景2,场景3,场景4,分别对应书写汉字场景、驾驶场景、家居场景和踢足球场景,在不同场景下,想象不同的具体的动作;获取运动想象EEG脑电信号并对运动想象EEG脑电信号进行预处理;
2)利用可视图复杂网络与训练得到的深度卷积神经网络模型对采集到的运动想象EEG脑电信号进行处理,提取特征,判断出该信号对应的是何种运动想象,以分类结果为基础生成脑控指令,发送给机械外骨骼,控制机械外骨骼运动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810169306.8A CN108446020B (zh) | 2018-02-28 | 2018-02-28 | 融合可视图与深度学习的运动想象意念控制方法及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810169306.8A CN108446020B (zh) | 2018-02-28 | 2018-02-28 | 融合可视图与深度学习的运动想象意念控制方法及应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108446020A true CN108446020A (zh) | 2018-08-24 |
CN108446020B CN108446020B (zh) | 2021-01-08 |
Family
ID=63193149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810169306.8A Active CN108446020B (zh) | 2018-02-28 | 2018-02-28 | 融合可视图与深度学习的运动想象意念控制方法及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108446020B (zh) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109276244A (zh) * | 2018-09-03 | 2019-01-29 | 南京理工大学 | 基于脑电波信息的老年人护理意图的识别方法 |
CN109598222A (zh) * | 2018-11-26 | 2019-04-09 | 南开大学 | 基于eemd数据增强的小波神经网络运动想象脑电分类方法 |
CN109620651A (zh) * | 2018-11-16 | 2019-04-16 | 中国科学技术大学 | 基于同步脑肌电的智能辅助康复设备 |
CN109634405A (zh) * | 2018-11-07 | 2019-04-16 | 湖北汽车工业学院 | 一种基于脑电信号的情绪分类方法、装置和存储介质 |
CN109711383A (zh) * | 2019-01-07 | 2019-05-03 | 重庆邮电大学 | 基于时频域的卷积神经网络运动想象脑电信号识别方法 |
CN109730818A (zh) * | 2018-12-20 | 2019-05-10 | 东南大学 | 一种基于深度学习的假手控制方法 |
CN109992113A (zh) * | 2019-04-09 | 2019-07-09 | 燕山大学 | 一种基于多场景诱发的mi-bci系统及其控制方法 |
CN110309797A (zh) * | 2019-07-05 | 2019-10-08 | 齐鲁工业大学 | 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统 |
CN110377049A (zh) * | 2019-06-29 | 2019-10-25 | 天津大学 | 基于脑-机接口的无人机集群编队队形重构控制方法 |
CN110534180A (zh) * | 2019-08-20 | 2019-12-03 | 西安电子科技大学 | 深度学习人机互适应运动想象脑机接口系统和训练方法 |
CN110584597A (zh) * | 2019-07-15 | 2019-12-20 | 天津大学 | 基于时空卷积神经网络的多通道脑电信号监测方法及应用 |
CN110584596A (zh) * | 2019-07-15 | 2019-12-20 | 天津大学 | 基于双输入卷积神经网络的睡眠阶段分类方法及应用 |
CN110765920A (zh) * | 2019-10-18 | 2020-02-07 | 西安电子科技大学 | 基于卷积神经网络的运动想象分类方法 |
CN110916654A (zh) * | 2019-11-09 | 2020-03-27 | 天津大学 | 一种脑活动状态的等级评估方法 |
CN111026267A (zh) * | 2019-11-29 | 2020-04-17 | 北方工业大学 | Vr脑电意念控制接口系统 |
CN111493836A (zh) * | 2020-05-31 | 2020-08-07 | 天津大学 | 基于脑机接口和深度学习的术后急性疼痛预测系统及应用 |
CN111513735A (zh) * | 2020-05-31 | 2020-08-11 | 天津大学 | 基于脑机接口和深度学习的重度抑郁症辨识系统及应用 |
CN111584030A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于深度学习和复杂网络的意念控制智能康复系统及应用 |
CN111616682A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于便携式脑电采集设备的癫痫发作预警系统及应用 |
CN111616721A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于深度学习和脑机接口的情绪识别系统及应用 |
CN111616681A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于便携式脑电采集设备和深度学习的麻醉状态监测系统 |
CN111631908A (zh) * | 2020-05-31 | 2020-09-08 | 天津大学 | 基于脑机交互与深度学习的主动式手部训练系统及方法 |
CN112842357A (zh) * | 2019-11-26 | 2021-05-28 | 阿里健康信息技术有限公司 | 脑部生理数据的处理方法、设备及存储介质 |
CN113002558A (zh) * | 2021-03-30 | 2021-06-22 | 复旦大学 | 一种基于脑电信号的残疾人辅助智能驾驶系统和方法 |
CN113157100A (zh) * | 2021-01-04 | 2021-07-23 | 河北工业大学 | 一种附加汉字默读与运动想象任务的脑-机接口方法 |
CN114305333A (zh) * | 2021-12-16 | 2022-04-12 | 广州大学 | 一种基于脑网络和深度学习的脑电信号识别方法 |
CN115374831A (zh) * | 2022-10-24 | 2022-11-22 | 睿瞳(杭州)科技发展有限公司 | 多模态配准和时空特征注意的动静结合速度想象分类方法 |
CN116306824A (zh) * | 2023-05-17 | 2023-06-23 | 中国第一汽车股份有限公司 | 脑机接口评价模型训练方法、评价方法、装置及设备 |
CN116841386A (zh) * | 2023-03-06 | 2023-10-03 | 湖南工商大学 | 结合深度学习与运动想象脑机接口的意念观影系统及方法 |
CN118013352A (zh) * | 2024-01-03 | 2024-05-10 | 之江实验室 | 基于异构图网络的EEG-fNIRS运动想象识别方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130184558A1 (en) * | 2009-03-04 | 2013-07-18 | The Regents Of The University Of California | Apparatus and method for decoding sensory and cognitive information from brain activity |
CN106388814A (zh) * | 2016-10-11 | 2017-02-15 | 天津大学 | 基于最优核时频分布可视图的癫痫脑电信号识别方法 |
CN106821681A (zh) * | 2017-02-27 | 2017-06-13 | 浙江工业大学 | 一种基于运动想象的上肢外骨骼控制方法及系统 |
CN107616880A (zh) * | 2017-08-01 | 2018-01-23 | 南京邮电大学 | 一种基于脑电意念和深度学习的智能电动轮椅实现方法 |
-
2018
- 2018-02-28 CN CN201810169306.8A patent/CN108446020B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130184558A1 (en) * | 2009-03-04 | 2013-07-18 | The Regents Of The University Of California | Apparatus and method for decoding sensory and cognitive information from brain activity |
CN106388814A (zh) * | 2016-10-11 | 2017-02-15 | 天津大学 | 基于最优核时频分布可视图的癫痫脑电信号识别方法 |
CN106821681A (zh) * | 2017-02-27 | 2017-06-13 | 浙江工业大学 | 一种基于运动想象的上肢外骨骼控制方法及系统 |
CN107616880A (zh) * | 2017-08-01 | 2018-01-23 | 南京邮电大学 | 一种基于脑电意念和深度学习的智能电动轮椅实现方法 |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109276244A (zh) * | 2018-09-03 | 2019-01-29 | 南京理工大学 | 基于脑电波信息的老年人护理意图的识别方法 |
CN109634405A (zh) * | 2018-11-07 | 2019-04-16 | 湖北汽车工业学院 | 一种基于脑电信号的情绪分类方法、装置和存储介质 |
CN109620651B (zh) * | 2018-11-16 | 2020-03-31 | 中国科学技术大学 | 基于同步脑肌电的智能辅助康复设备 |
CN109620651A (zh) * | 2018-11-16 | 2019-04-16 | 中国科学技术大学 | 基于同步脑肌电的智能辅助康复设备 |
CN109598222A (zh) * | 2018-11-26 | 2019-04-09 | 南开大学 | 基于eemd数据增强的小波神经网络运动想象脑电分类方法 |
CN109598222B (zh) * | 2018-11-26 | 2023-04-07 | 南开大学 | 基于eemd数据增强的小波神经网络运动想象脑电分类方法 |
CN109730818A (zh) * | 2018-12-20 | 2019-05-10 | 东南大学 | 一种基于深度学习的假手控制方法 |
CN109711383A (zh) * | 2019-01-07 | 2019-05-03 | 重庆邮电大学 | 基于时频域的卷积神经网络运动想象脑电信号识别方法 |
CN109992113A (zh) * | 2019-04-09 | 2019-07-09 | 燕山大学 | 一种基于多场景诱发的mi-bci系统及其控制方法 |
CN109992113B (zh) * | 2019-04-09 | 2020-05-15 | 燕山大学 | 一种基于多场景诱发的mi-bci系统及其控制方法 |
CN110377049A (zh) * | 2019-06-29 | 2019-10-25 | 天津大学 | 基于脑-机接口的无人机集群编队队形重构控制方法 |
CN110377049B (zh) * | 2019-06-29 | 2022-05-17 | 天津大学 | 基于脑-机接口的无人机集群编队队形重构控制方法 |
CN110309797A (zh) * | 2019-07-05 | 2019-10-08 | 齐鲁工业大学 | 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统 |
CN110584596A (zh) * | 2019-07-15 | 2019-12-20 | 天津大学 | 基于双输入卷积神经网络的睡眠阶段分类方法及应用 |
CN110584596B (zh) * | 2019-07-15 | 2022-05-27 | 天津大学 | 基于双输入卷积神经网络的睡眠阶段分类方法及应用 |
CN110584597A (zh) * | 2019-07-15 | 2019-12-20 | 天津大学 | 基于时空卷积神经网络的多通道脑电信号监测方法及应用 |
CN110534180B (zh) * | 2019-08-20 | 2022-06-07 | 西安电子科技大学 | 深度学习人机互适应运动想象脑机接口系统和训练方法 |
CN110534180A (zh) * | 2019-08-20 | 2019-12-03 | 西安电子科技大学 | 深度学习人机互适应运动想象脑机接口系统和训练方法 |
CN110765920A (zh) * | 2019-10-18 | 2020-02-07 | 西安电子科技大学 | 基于卷积神经网络的运动想象分类方法 |
CN110765920B (zh) * | 2019-10-18 | 2023-03-24 | 西安电子科技大学 | 基于卷积神经网络的运动想象分类方法 |
CN110916654A (zh) * | 2019-11-09 | 2020-03-27 | 天津大学 | 一种脑活动状态的等级评估方法 |
CN110916654B (zh) * | 2019-11-09 | 2022-03-25 | 天津大学 | 一种脑活动状态的等级评估方法 |
CN112842357B (zh) * | 2019-11-26 | 2024-04-09 | 阿里健康信息技术有限公司 | 脑部生理数据的处理方法、设备及存储介质 |
CN112842357A (zh) * | 2019-11-26 | 2021-05-28 | 阿里健康信息技术有限公司 | 脑部生理数据的处理方法、设备及存储介质 |
CN111026267B (zh) * | 2019-11-29 | 2023-11-24 | 北方工业大学 | Vr脑电意念控制接口系统 |
CN111026267A (zh) * | 2019-11-29 | 2020-04-17 | 北方工业大学 | Vr脑电意念控制接口系统 |
CN111584030A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于深度学习和复杂网络的意念控制智能康复系统及应用 |
CN111616681A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于便携式脑电采集设备和深度学习的麻醉状态监测系统 |
CN111616682A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于便携式脑电采集设备的癫痫发作预警系统及应用 |
CN111493836A (zh) * | 2020-05-31 | 2020-08-07 | 天津大学 | 基于脑机接口和深度学习的术后急性疼痛预测系统及应用 |
CN111616721B (zh) * | 2020-05-31 | 2022-05-27 | 天津大学 | 基于深度学习和脑机接口的情绪识别系统及应用 |
CN111513735A (zh) * | 2020-05-31 | 2020-08-11 | 天津大学 | 基于脑机接口和深度学习的重度抑郁症辨识系统及应用 |
CN111631908A (zh) * | 2020-05-31 | 2020-09-08 | 天津大学 | 基于脑机交互与深度学习的主动式手部训练系统及方法 |
CN111616721A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于深度学习和脑机接口的情绪识别系统及应用 |
CN113157100A (zh) * | 2021-01-04 | 2021-07-23 | 河北工业大学 | 一种附加汉字默读与运动想象任务的脑-机接口方法 |
CN113002558A (zh) * | 2021-03-30 | 2021-06-22 | 复旦大学 | 一种基于脑电信号的残疾人辅助智能驾驶系统和方法 |
CN114305333A (zh) * | 2021-12-16 | 2022-04-12 | 广州大学 | 一种基于脑网络和深度学习的脑电信号识别方法 |
CN115374831B (zh) * | 2022-10-24 | 2023-01-24 | 睿瞳(杭州)科技发展有限公司 | 多模态配准和时空特征注意的动静结合速度想象分类方法 |
CN115374831A (zh) * | 2022-10-24 | 2022-11-22 | 睿瞳(杭州)科技发展有限公司 | 多模态配准和时空特征注意的动静结合速度想象分类方法 |
CN116841386A (zh) * | 2023-03-06 | 2023-10-03 | 湖南工商大学 | 结合深度学习与运动想象脑机接口的意念观影系统及方法 |
CN116841386B (zh) * | 2023-03-06 | 2024-05-24 | 湖南工商大学 | 结合深度学习与运动想象脑机接口的意念观影系统及方法 |
CN116306824A (zh) * | 2023-05-17 | 2023-06-23 | 中国第一汽车股份有限公司 | 脑机接口评价模型训练方法、评价方法、装置及设备 |
CN118013352A (zh) * | 2024-01-03 | 2024-05-10 | 之江实验室 | 基于异构图网络的EEG-fNIRS运动想象识别方法和装置 |
CN118013352B (zh) * | 2024-01-03 | 2024-07-26 | 之江实验室 | 基于异构图网络的EEG-fNIRS运动想象识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108446020B (zh) | 2021-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108446020B (zh) | 融合可视图与深度学习的运动想象意念控制方法及应用 | |
WO2021043118A1 (zh) | 运动想象脑电信号的处理方法和装置及存储介质 | |
Ale et al. | Deep learning based plant disease detection for smart agriculture | |
CN110139597B (zh) | 利用神经生理信号进行迭代分类的系统和方法 | |
CN113693613B (zh) | 脑电信号分类方法、装置、计算机设备及存储介质 | |
CN108319928B (zh) | 一种基于多目标微粒群算法优化的深度学习方法及系统 | |
CN109685037B (zh) | 一种实时动作识别方法、装置及电子设备 | |
CN109086754A (zh) | 一种基于深度学习的人体姿态识别方法 | |
CN111584030A (zh) | 基于深度学习和复杂网络的意念控制智能康复系统及应用 | |
CN107506692A (zh) | 一种基于深度学习的密集人群计数与人员分布估计方法 | |
CN110070029A (zh) | 一种步态识别方法及装置 | |
CN106909938A (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
CN107330393A (zh) | 一种基于视频分析的新生儿疼痛表情识别方法 | |
CN110333783A (zh) | 一种用于鲁棒肌电控制的无关手势处理方法及系统 | |
Liu et al. | Multi-class motor imagery EEG classification method with high accuracy and low individual differences based on hybrid neural network | |
CN107967941A (zh) | 一种基于智能视觉重构的无人机人体健康监控方法与系统 | |
CN111966217A (zh) | 基于手势和眼动的无人机控制方法和系统 | |
CN112043260A (zh) | 基于局部模式变换的心电图分类方法 | |
CN115969369A (zh) | 一种大脑任务负荷识别方法、应用及设备 | |
Ghonchi et al. | Spatio-temporal deep learning for EEG-fNIRS brain computer interface | |
CN111401209B (zh) | 一种基于深度学习的动作识别方法 | |
CN115374831B (zh) | 多模态配准和时空特征注意的动静结合速度想象分类方法 | |
CN112562850A (zh) | 基于人工智能的面部神经麻痹康复检测系统 | |
CN116524380A (zh) | 一种基于脑-机信号融合的目标检测方法 | |
CN115154828A (zh) | 一种基于脑机接口技术的大脑功能重塑方法、系统、设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |