CN112205988A - 一种双手协同运动下的手部运动方向解码方法及系统 - Google Patents
一种双手协同运动下的手部运动方向解码方法及系统 Download PDFInfo
- Publication number
- CN112205988A CN112205988A CN202011090446.XA CN202011090446A CN112205988A CN 112205988 A CN112205988 A CN 112205988A CN 202011090446 A CN202011090446 A CN 202011090446A CN 112205988 A CN112205988 A CN 112205988A
- Authority
- CN
- China
- Prior art keywords
- hand
- signal
- motion
- electroencephalogram
- electroencephalogram signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Power Engineering (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种双手协同运动下的手部运动方向解码方法及系统,通过回声状态网络的方法提取人在进行手部运动时的脑电信号的非线性特征信息,采用主成分分析对特征进行压缩,并利用线性判别分析算法对特征进行解码,搭建了基于回声状态网络的双手协同运动与单手运动的运动方向脑电解析模型,实现了对双手协同运动与单手运动条件下的主运动手的运动方向解码以及对应的神经表征。
Description
技术领域
本发明涉及神经科学领域,特别是涉及一种双手协同运动下的手部运动方向解码方法及系统。
背景技术
解析人的运动意图是人机交互系统中的一个重要研究方向。通过解析人体运动意图,尤其是手部的运动意图,可以促进人机交互系统更好地辅助人执行操作任务,也可以对危险或错误操作意图进行监测和及时纠正。考虑到大脑为人体活动的控制与命令中心,基于脑皮层信号(EEG信号)解码人的手部运动意图具有追踪运动意图更快、可反应人的真实运动意图的优点。此外,通过EEG信号解码人的运动意图,有助于对大脑神经科学的探索,帮助认识大脑活动与实际运动的神经联系。
过去,有许多研究都对基于EEG信号的手部运动学参数解码进行了研究。2008年,Waldert等人通过EEG信号分类了手的运动方向,二分类准确率为55%。在2018年,Chouhan等人提出了基于小波锁相值的运动方向分类方法,基于EEG信号的二分类结果达到了76.85%的准确性。2019年,Ofner等人研究了解码针对脊髓损伤患者的不同的手部运动类型(即手打开,掌抓,侧抓,内翻,旋转)。2019年,Kim等人研究基于EEG信号哪些运动参数(例如方向、距离和到达的位置)可以在运动准备阶段解析出来,结果显示了方向和距离的分类准确率明显高于随机水平。综合来看现有研究,所有基于EEG信号的手部运动意图解析都是聚焦于单手的运动解析,即实验过程中单手运动,对侧手静止。然而,在实际的人机交互系统中,双手的协同运动是十分重要和普遍的。在2019年,Schwarz等人研究了通过低频EEG信号解码不同的单手或双手操作任务,最终七分类解码准确率达到38.6%。
然而,一方面,Schwarz等人研究的是病人康复中常用的动作(握勺子、拿起盆等)的单手及双手运动解析,这些动作的解析并不适用于面向协同控制的人机交互系统中,另一方面,Schwarz等人的研究是将单手动作和双手动作区分出来,而不是在双手协同运动下,实现对单只手(尤其是主运动手)的运动解析,因此,本领域亟需一种在双手协同运动下的单手运动方向解码的技术方案。
发明内容
本发明的目的是提供一种双手协同运动下的手部运动方向解码方法及系统,解决了当前只能对单只手的运动解析的问题,因此本发明首次提出基于EEG信号在双手协同运动下的单手运动方向解码。此外,为了进一步提升基于EEG信号的在双手协同运动下的单手运动方向解码的解码精度,本发明还首次将通过回声状态网络提取脑电特征的技术用于解析手部运动的方案中。
为实现上述目的,本发明提供了如下方案:
一种双手协同运动下的手部运动方向解码方法,所述方法包括:
采集人的脑头皮指定电极位置的脑电信号;
利用回声状态网络的方法提取所述脑电信号中的特征,得到脑电信号特征信息;
将所述脑电信号特征信息输入线性解析模型进行解析,得到人的手部运动方向。
可选的,所述利用回声状态网络的方法提取所述脑电信号中的特征之前还包括对所述脑电信号进行预处理,具体包括:
将所述脑电信号放大,然后通过基线校正的方法去除零点漂移,得到第一修正信号;
利用共同平均参考法去除所述第一修正信号中各个通道共同的背景噪声,得到第二修正信号;
利用快速傅里叶变换对所述第二修正信号进行滤波,得到预处理后脑电信号。
可选的,所述利用回声状态网络的方法提取所述脑电信号中的特征,得到脑电信号特征信息,具体包括:
采用z-score对所述脑电信号进行归一化,归一化公式为:
采用当前时间点的多通道脑电信号的时域信号作为输入信号,下一个时间点的多通道脑电信号的时域信号作为输出信号,选择非线性动态的输出连接矩阵Wout作为回声状态网络特征进行训练;所述非线性动态的输出连接矩阵为:
Wout=YtXT(XXT+λrI)-1
其中,λr是输出正则化系数,Yt为读出层的目标输出信号,X为存储池的状态矩阵,I为单位矩阵;
将所述输出连接矩阵Wout一维展开,得到特征值;
采用主成分分析对所述特征值进行降维,得到脑电信号特征信息。
可选的,所述采用当前时间点的多通道脑电信号的时域信号作为输入信号,下一个时间点的多通道脑电信号的时域信号作为输出信号,选择非线性动态的输出连接矩阵Wout作为回声状态网络特征进行训练过程中,
设定参数为:谱半径ρ=0.98;x(n)矩阵的初始矩阵x(0)为零矩阵;输出正则化系数λr为1×10-4;稀疏连接的稀疏度c与存储层规模NN通过网格搜索的方法确定对应最优性能的参数值。
可选的,所述线性解析模型的建立方法为:
将手部运动任务通过屏幕显示给受试者,并要求受试者执行所述手部运动任务;
采集执行手部运动任务时的受试者脑头皮指定电极位置的脑电信号,得到受试者脑电信号;所述手部运动任务包括:双手协同运动与单手运动;所述受试者脑电信号为多通道脑电信号;
利用回声状态网络的方法提取所述受试者脑电信号中的特征,得到受试者脑电信号特征;
利用线性判别分析的方法以受试者脑电信号特征为输入,以所述手部运动任务为输出进行训练,得到线性解析模型。
可选的,所述采集执行手部运动任务时的受试者脑头皮指定电极位置的脑电信号,得到受试者脑电信号之后还包括对双手协同运动与单手运动下的大脑活动以及两种运动下的大脑活动的差异进行表征,具体包括:
将所述受试者脑电信号按照双手协同运动与单手运动分为双手协同运动脑电信号和单手运动脑电信号;
采用零相位四阶巴特沃斯滤波器以及加权平均滤波器对所述双手协同运动脑电信号和所述单手运动脑电信号分别进行滤波,每次滤波得到一个滤波信号;
将所述双手协同运动脑电信号经多次滤波得到的多个滤波信号数据叠加平均,得到双手协同运动相关皮层电位信号;
将所述单手运动脑电信号经多次滤波得到的多个滤波信号数据叠加平均,得到单手运动相关皮层电位信号;
将所述双手协同运动相关皮层电位信号和所述单手运动相关皮层电位信号的曲线绘制在同一曲线图中。
可选的,利用线性判别分析的方法以受试者脑电信号特征为输入,以所述手部运动任务为输出进行训练,得到线性解析模型,具体包括:
将所述受试者脑电信号特征按照双手协同运动与单手运动分为受试者双手协同运动脑电信号特征信息和受试者单手运动脑电信号特征信息;
以受试者脑电信号特征为输入,以所述手部运动任务为输出,利用线性判别分析算法确定最佳投影方向w;
所述线性判别分析算法的原始模型如下:
f(x)=wTx+w0
其中,x=[x1,x2,...,xn]是特征向量,w=[w1,w2,...,wn]代表所述线性判别分析算法的原始模型的投影方向,w0代表所述线性判别分析算法的原始模型的阈值;
利用所述最佳投影方向w将所有训练样本进行投影,得到投影后的样本点;
将所述样本点的最大值与最小值之间的范围作为阈值选取范围,在所述阈值选取范围内通过迭代的方法选取对训练样本分类精度最高的阈值为w0;
将所述最佳投影方向与所述对训练样本分类精度最高的阈值代入所述原始模型,得到线性解析模型。
一种双手协同运动下的手部运动方向解码系统,所述系统包括:
信号获取单元,用于采集人的脑头皮指定电极位置的脑电信号;
特征提取单元,用于利用回声状态网络的方法提取所述脑电信号中的特征,得到脑电信号特征信息;
解码单元,用于将所述脑电信号特征信息输入线性解析模型进行解析,得到人的手部运动方向。
可选的,还包括信号预处理单元,用于:
将所述脑电信号放大,然后通过基线校正的方法去除零点漂移,得到第一修正信号;
利用共同平均参考法去除所述第一修正信号中各个通道共同的背景噪声,得到第二修正信号;
利用快速傅里叶变换对所述第二修正信号进行滤波,得到预处理后脑电信号。
可选的,所述特征提取单元,还包括:
归一化子单元,用于采用z-score对所述脑电信号进行归一化,归一化公式为:
训练子单元,用于采用当前时间点的多通道脑电信号的时域信号作为输入信号,下一个时间点的多通道脑电信号的时域信号作为输出信号,选择非线性动态的输出连接矩阵Wout作为回声状态网络特征进行训练;所述非线性动态的输出连接矩阵为:
Wout=YtXT(XXT+λrI)-1
其中,λr是输出正则化系数,Yt为读出层的目标输出信号,X为存储池的状态矩阵;
特征值确定子单元,用于将所述输出连接矩阵Wout一维展开,得到特征值;
降维子单元,用于采用主成分分析对所述特征值进行降维,得到脑电信号特征信息。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提出了一种双手协同运动下的手部运动方向解码方法及系统,利用回声状态网络提取运动相关皮层电位的非线性动力学参数作为解码特征,在有与无对侧手运动的条件下,运动相关皮层电位有显著差异。此外,在存在和不存在对侧手运动的情况下,与基于时域振幅和功率谱密度的脑电解码模型相比,本发明中基于回声状态网络的解码模型的解码准确率分别平均提高了7%和13%,且双手协同运动下的单手解码精度和单手运动的精度分别达到85.23%±7.19%和89.99%±4.76%。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的双手协同运动下的手部运动方向解码方法的主要步骤控制流程图。
图2为本发明实施例一提供的双手协同运动下的手部运动方向解码方法的详细步骤控制流程图。
图3为本发明实施例一提供的双手协同运动下的手部运动方向解码方法的回声状态网络原理图。
图4为本发明实施例一提供的双手协同运动下的手部运动方向解码方法的实验范式。
图5为本发明实施例一提供的双手协同运动下的手部运动方向解码方法的采集脑电信号的通道位置。
图6为本发明实施例一提供的双手协同运动下的手部运动方向解码方法的受试者运动相关皮层电位结果图。
图7为本发明实施例一提供的双手协同运动下的手部运动方向解码方法的回声状态网络特征提取中的参数选择图。
图8为本发明实施例一提供的双手协同运动下的手部运动方向解码方法的解析结果对比图。
图9为本发明实施例一提供的双手协同运动下的手部运动方向解码系统的组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种双手协同运动下的手部运动方向解码方法及系统,利用回声状态网络提取运动相关皮层电位的非线性动力学参数作为解码特征,提出基于EEG信号在双手协同运动条件下的单手运动方向解码。此外,为了进一步提升基于EEG信号的在双手协同运动下的单手运动方向解码的解码精度,本发明还首次将通过回声状态网络提取脑电特征的技术用于解析手部运动的方案中。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一:
如图1所示,一种双手协同运动下的手部运动方向解码方法,其主要包括三个步骤,详细步骤内容见图2:
A1、采集人的脑头皮指定电极位置的脑电信号;然后对所述脑电信号进行预处理,为后续分析打下基础,预处理的过程具体包括:
A11、将所述脑电信号放大,然后通过基线校正的方法去除零点漂移,得到第一修正信号;
A12、利用共同平均参考法去除所述第一修正信号中各个通道共同的背景噪声,得到第二修正信号;
A13、考虑到与运动相关的脑电信号主要集中在低频段,所以采用快速傅里叶变换滤波的方法对所述第二修正信号进行0.1-4Hz的带通滤波,得到预处理后脑电信号。
A2、利用回声状态网络的方法提取所述脑电信号中的特征,得到脑电信号特征信息;
本发明将通过回声状态网络(Echo State Network,ESN)的提取脑电信号中的特征的方法应用到手部运动方向解析中。回声状态网络作为一种新兴的递归神经网络,能够捕获脑电信号的非线性动力学特征。图3展示了ESN的原理结构图。ESN由输入层、存储层(隐藏层)和读出层组成。将输入层到存储层的连接矩阵定义为Win。存储层的内部连接矩阵是稀疏的,定义为WNN。Win和WNN在网络更新过程中都被随机初始化并保持不变。从存储层到读出层的连接矩阵被定义为Wout,使用输入和输出数据对其进行更新。通过Win,ESN将来自低维空间的输入信号映射到高维非线性空间:
x(n)=f·(Winu(n)+Wnnx(n-1))
其中,u(n)为信号输入,x(n-1)为存储池在上一时刻的状态,f·被设置为tan·以实现网络的非线性。在高维非线性空间中,回声状态网络通过线性回归(如脊回归)对Wout进行训练:
Wout=YtXT(XXT+λrI)-1
其中,λr是输出正则化系数,Yt为读出层的目标输出信号,X为存储池的状态矩阵,I为单位矩阵;
存储层作为回声状态网络的核心部分,具有以下参数:(1)稀疏连接的稀疏度c;(2)存储层规模(神经元的数量)NN,(3)谱半径ρ(通常ρ<1,确保输入和存储池的状态所产生的影响在足够长时间后会消失),(4)存储层的输出在当前时间的状态x(n);(5)内部连接矩阵WNN(随机初始化且在网络更新期间保持不变)。由于ESN具有庞大而稀疏的存储池,所以其能够捕捉非线性系统的动态变化特性,且考虑到EEG脑电信号是非线性的、不稳定的,因此,ESN本身的结构特性决定了它非常适合用来提取脑电信号中的非线性特征。
在本发明中,利用回声状态网络的方法提取所述脑电信号中的特征,得到脑电信号特征信息,具体包括:
A21、采用z-score对所述脑电信号进行归一化,归一化公式为:
A22、采用当前时间点的多通道脑电信号的时域信号作为输入信号(u(t)),下一个时间点的多通道脑电信号的时域信号作为输出信号(Yt),选择可以反映EEG信号随时间变化的非线性动态的输出连接矩阵Wout作为回声状态网络特征进行训练;所述非线性动态的输出连接矩阵为:
Wout=YtXT(XXT+λrI)-1
其中,λr是输出正则化系数,Yt为读出层的目标输出信号,X为存储池的状态矩阵,I为单位矩阵;
在训练过程中,设定参数为:谱半径ρ=0.98;x(n)矩阵的初始矩阵x(0)为零矩阵;输出正则化系数λr为1×10-4;稀疏连接的稀疏度与存储层规模通过网格搜索的方法确定对应最优性能的参数值,存储池稀疏程度c搜索范围为[0.10.9],步长为0.1;存储池规模NN搜索集为{10,20,30,40,50,60,70}。
A23、将所述输出连接矩阵Wout一维展开,得到特征值;
A24、为了抑制冗余以及加快计算速度,采用主成分分析对所述特征值进行降维,得到脑电信号特征信息。
主成分分析,是统计多个变量间相关性一种多元统计方法,目的是通过少数几个主成分来揭示多个变量间的关系,使它们尽可能多地保留原始变量的信息,且彼此间互不相关。主成分分析方法的具体计算步骤如下:
A241、计算相关系数矩阵:
其中,rij(i,j=1,2,…,p)为变量指标xi与xj的相关系数,其计算公式为:
由于R是实对称矩阵(即rij=rji),故只需计算其上三角元素即可。
A242、计算特征值与特征向量
先求解特征方程|λI-R|=0,得到特征值λi(i=1,2,…,p),并将特征值由大至小排列,即λ1≥λ2≥…≥λp≥0;然后求出每个特征值的特征向量ei(i=1,2,…,p)。
A243、求出每个主成分的贡献率与累计贡献率
通常选择累计贡献率达85-95%的特征值λ1,λ2,…,λm对应的第1,第2,……,第m(m≤p)个主成分。
本发明通过计算各主成分的累计贡献率,选择前40个主成分作为样本的特征。即对于回声状态网络所提取的特征,利用主成分分析将特征的维数降至40。
A3、将所述脑电信号特征信息输入线性解析模型进行解析,得到人的手部运动方向。
解码过程中,将所述脑电信号特征信息按照双手协同运动与单手运动进行分类;在解码的过程中,着重考虑双手协同所带来的解码效应,并与单手运动进行对比。
本发明详细研究了双手协同运动下的单手运动方向的脑电信号的解析,提出了一种对双手协同运动条件下的单手运动方向解码的建模方法,最终得到的线性解析模型可以有效的提高解码准确率。具体建模方法如下:
B1、将手部运动任务通过屏幕显示给受试者,并要求受试者执行所述手部运动任务。
本发明的研究是处于双手协同运动条件下的,因此本发明设计了一种双手协同运动的实验范式。将双手各自的运动任务刺激通过屏幕显示给受试者,受试者可以根据范式中的任务要求执行双手各自的运动任务。
本发明所设计的实验范式如图4所示。在主要的运动任务中,所有的受试者被要求向右或向左移动他们的右手。为了使对手运动的干扰效果显著,我们初步将对手运动设置为垂直方向,而不是水平方向。所有受试者被要求向前和向后移动他们的左手。双手的运动被限制在与桌面平行的水平面上。如图4所示,在显示器上,空心和斜线填充的两个方块分别对应左手和右手的运动提示。当一个试验开始时空心方块会随机出现在向前或向后方向,斜线填充方块会随机出现在左或右方向。也就是说,在0秒后(运动提示开始),为被试指明运动方向,为运动做好准备。在第4秒,斜线填充方块变为空心,被视为go-cue。受试者被要求立即将双手从初始中心移到空心和斜线填充的两个方块指定的目标位置。动作任务必须在第七秒之前完成。第七秒后,双手被要求回到原来的中心位置,整个实验在11秒内完成。
在实验过程中,受试者被要求盯着屏幕,以避免眼球运动。实验共分为6个阶段,包括左或右方向的单右手运动、左或右方向的右手运动和向前或向后方向的左手运动。每个阶段包括5组,每组包括16次试验。在每种运动条件下,总共记录了80次试验。在每组之间,受试者被要求进行2分钟的休息。每节实验结束后,记录静止状态1分钟,在此期间不允许身体运动,只允许自然眨眼。
B2、采集执行手部运动任务时的受试者脑头皮指定电极位置的脑电信号,得到受试者脑电信号;所述手部运动任务包括:双手协同运动与单手运动;所述受试者脑电信号为多通道脑电信号。通过脑电采集系统采集受试者脑头皮指定电极位置的脑电信号,并通过脑电放大器放大并输所采集到的受试者原始脑电信号。
脑电采集仪用于实时采集脑电信号并且进行放大和模数转换,通过数据线与处理器进行数据传输。其中,考虑到大脑控制手部运动,主要涉及感知、运动以及认知,所以根据“10-20国际标准导联”,脑电采集电极放置在使用者头部的Cz,C1,C2,C3,C4,Fz,F3,F4,FCz,FC3,FC4,CP3,CP4,T7,T8,Oz,O1,O1,POz,Pz,P3,P4,P7,P8位置,将参考电极放置在CPz位置,接地电极放置在AFz位置,各电极位置如图5所示。此外,为了记录手部运动位置与状态,将两个位置检测传感器(FASTRACK)固定在双手虎口的位置,实时跟踪手的运动。
B3、对采集来的受试者的脑头皮指定电极位置的脑电信号进行预处理,为后续分析打下基础。该步骤与上述步骤A1中采集完人的脑头皮指定电极位置的脑电信号之后进行的预处理过程相同,因此不再赘述。
B4、对双手协同运动与单手运动下的大脑活动以及两种运动下的大脑活动的差异进行表征。
脑电神经表征是指从信号幅值变化、脑活动能量变化等角度对大脑活跃状态变化进行一种基础性的表征,有利于帮助理解人体运动下的神经活动。本发明从运动相关皮层电位的分析对双手协同运动与单手运动进行了神经表征。
为了表征手部运动对应的大脑信号与能量变化状态,本发明从运动相关皮层电位(MRCP)对单手运动及双手协同运动下的大脑活动以及两者之间活动差异进行了表征。MRCP是一种由运动想象或运动执行所诱发的大脑运动感知区域的典型信号,主要包括运动准备阶段以及运动执行阶段。MRCP信号主要集中在低频段,通过多次试验数据叠加平均可获得。
具体表征步骤为:
B41、将所述受试者脑电信号按照双手协同运动与单手运动分为双手协同运动脑电信号和单手运动脑电信号;从而可以分别将双手协同运动与单手运动进行表征和比较。
B42、采用零相位四阶巴特沃斯滤波器对所述双手协同运动脑电信号和所述单手运动脑电信号分别进行多次滤波,每次滤波得到一个滤波信号;
脑电信号预处理后,采用零相位四阶巴特沃思滤波器对低频区域的脑电图信号进行滤波[0.01,4]Hz。对Cz电极采用加权平均滤波器(WAVG)去除空间公共背景噪声。WAVG计算按式:
其中ei(t)为第i个通道的脑电信号,ej(t)为与i通道相邻的第j个通道的脑电信号,K为最近邻通道的个数。
B43、将所述双手协同运动脑电信号经多次滤波得到的多个滤波信号数据叠加平均,得到双手协同运动相关皮层电位信号;
B44、将所述单手运动脑电信号经多次滤波得到的多个滤波信号数据叠加平均,得到单手运动相关皮层电位信号;
B45、将所述双手协同运动相关皮层电位信号和所述单手运动相关皮层电位信号的曲线绘制在同一曲线图中。
MRCP结果如图6所示。基于MRCP的运动表征为后续的运动解码进行了基础性探究,该部分表征结果展示了与手部运动相关的大脑信号变化规律,也进一步说明了在低频[0.01,4]Hz所提取的脑电信号包含较多的与运动相关的信息,且不同手部运动(单手、双手)对应的神经信号活动规律有所不同(MRCP负向偏移幅值不同)。因此,在后续解码中,本发明提取[0.01,4]Hz的脑电信号用于运动解码是合理且可行的。上述表征过程,检查了本实验中的手部运动所对应的脑电信号是否符合运动所产生的脑电信号的标准形式,也就是说可以检查本实验在实验设置、信号采集、信号处理等方面是否有问题。
B5、利用回声状态网络的方法提取所述受试者脑电信号中的特征,得到受试者脑电信号特征,该步骤只需利用跟上述步骤A2中相同的过程即可,故此不再赘述。
B6、利用线性判别分析的方法以受试者脑电信号特征为输入,以所述手部运动任务为输出进行训练,得到线性解析模型。
完成特征提取之后,通过线性判别分析(lineardiscriminantanalysis,LDA)的方法搭建以回声状态网络所提取的特征为输入、以手部运动方向为输出的线性解析模型,分别对双手协同运动下的单手运动以及对侧手静止下的单手运动两种条件进行训练,得出线性解析模型。
具体步骤为:
B61、将所述受试者脑电信号特征按照双手协同运动与单手运动分为受试者双手协同运动脑电信号特征信息和受试者单手运动脑电信号特征信息;具体还可细分为:单手左/右运动、双手协同运动下的右手左/右运动和双手协同运动下的左手左/右运动六种情况,对各类情况的样本进行标定。
B62、以受试者脑电信号特征为输入,以所述手部运动任务为输出,利用线性判别分析算法(Linear Discriminant Analysis,LDA)确定最佳投影方向w,LDA的思想是通过将所有样本投影到一条直线上,观察样本的投影位置,使得同类别样本尽量集中,不同类样本尽量分离;
所述线性判别分析算法的原始模型如下:
f(x)=wTx+w0
其中,x=[x1,x2,...,xn]是特征向量,w=[w1,w2,...,wn]代表所述线性判别分析算法的原始模型的投影方向,w0代表所述线性判别分析算法的原始模型的阈值;
确定最佳投影方向具体包括以下步骤:
其中,Ni是样本的总数,y是样本x的投影,Ψi为样本在y上的投影空间。
B624、利用下列公式,求得最佳的投影方向w,其准则是使原样本在该方向上类内样本的投影尽量聚集,类间样本的投影尽量分离
B63、利用所述最佳投影方向w将所有训练样本进行投影,得到投影后的样本点;
B64、将所述样本点的最大值与最小值之间的范围作为阈值选取范围,在所述阈值选取范围内通过迭代的方法选取对训练样本分类精度最高的阈值为w0;
B65、将所述最佳投影方向与所述对训练样本分类精度最高的阈值代入所述原始模型,得到线性解析模型。
B7、验证平均解码准确率
本发明采用10×8交叉验证方法计算所有受试者的平均解码准确率。通过ESN特征提取所建立的模型参数选择如图7所示,分类效果对比如图8所示。在存在和不存在对侧手运动的情况下,与基于时域振幅和功率谱密度的脑电解码模型相比,基于回声状态网络的解码模型的解码准确率分别平均提高了7%和13%。单手运动的精度以及双手协同运动下的单手解码精度分别达到85.23%±7.19%和89.99%±4.76%。
表1展示了采用不同特征所建立模型的计算时间对比。通过表1可知,尽管基于回声状态网络的解码模型计算时间稍高于其他两种模型,但远低于实际在线的模型计算时间要求(通常100ms)。因此,基于回声状态网络的解码模型可应用到实际的在线解码系统中。
表一
针对上述方法,本发明还提供了一种双手协同运动下的手部运动方向解码系统,如图9所示,包括:
信号获取单元,用于采集人的脑头皮指定电极位置的脑电信号;
信号预处理单元,用于:
将所述脑电信号放大,然后通过基线校正的方法去除零点漂移,得到第一修正信号;
利用共同平均参考法去除所述第一修正信号中各个通道共同的背景噪声,得到第二修正信号;
利用快速傅里叶变换对所述第二修正信号进行滤波,得到预处理后脑电信号。
特征提取单元,用于利用回声状态网络的方法提取所述脑电信号中的特征,得到脑电信号特征信息;
解码单元,用于将所述双手协同运动脑电信号特征信息和所述单手运动脑电信号特征信息分别输入线性解析模型,得到所述人的手部运动方向;
所述信号预处理单元还用于信号的表征。
作为一种可选的实施方式,所述特征提取单元,还包括:
归一化子单元,用于采用z-score对所述脑电信号进行归一化,归一化公式为:
训练子单元,用于采用当前时间点的多通道脑电信号的时域信号作为输入信号,下一个时间点的多通道脑电信号的时域信号作为输出信号,选择非线性动态的输出连接矩阵Wout作为回声状态网络特征进行训练;所述非线性动态的输出连接矩阵为:
Wout=YtXT(XXT+λrI)-1
其中,λr是输出正则化系数,Yt为读出层的目标输出信号,X为存储池的状态矩阵,I为单位矩阵;
特征值确定子单元,用于将所述输出连接矩阵Wout一维展开,得到特征值;
降维子单元,用于采用主成分分析对所述特征值进行降维,得到脑电信号特征信息。
本发明研究了基于脑电信号的双手协同运动条件下的单手运动方向的神经特征和解码。提出了一种新的解码模型系统,利用回声状态网络提取运动相关皮层电位的非线性动力学参数作为解码特征。在有与无对侧手运动的条件下,运动相关皮层电位有显著差异。此外,在存在和不存在对侧手运动的情况下,与基于时域振幅和功率谱密度的脑电解码模型相比,基于回声状态网络的解码模型的解码准确率分别平均提高了7%和13%。单手运动的精度以及双手协同运动下的单手解码精度分别达到85.23%±7.19%和89.99%±4.76%。这些结果表明,基于ESN提取脑电特征的方法可以包含更多有意义的运动相关皮层电位的信息。本发明为从脑电信号中解码手部运动参数开辟了新的思路,为今后发展基于手部运动解析的人机交互系统奠定了基础
本说明书中各个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种双手协同运动下的手部运动方向解码方法,其特征在于,所述方法包括:
采集人的脑头皮指定电极位置的脑电信号;
利用回声状态网络的方法提取所述脑电信号中的特征,得到脑电信号特征信息;
将所述脑电信号特征信息输入线性解析模型进行解析,得到人的手部运动方向。
2.根据权利要求1所述的双手协同运动下的手部运动方向解码方法,其特征在于,所述利用回声状态网络的方法提取所述脑电信号中的特征之前还包括对所述脑电信号进行预处理,具体包括:
将所述脑电信号放大,然后通过基线校正的方法去除零点漂移,得到第一修正信号;
利用共同平均参考法去除所述第一修正信号中各个通道共同的背景噪声,得到第二修正信号;
利用快速傅里叶变换对所述第二修正信号进行滤波,得到预处理后脑电信号。
3.根据权利要求1所述的双手协同运动下的手部运动方向解码方法,其特征在于,所述利用回声状态网络的方法提取所述脑电信号中的特征,得到脑电信号特征信息,具体包括:
采用z-score对所述脑电信号进行归一化,归一化公式为:
采用当前时间点的多通道脑电信号的时域信号作为输入信号,下一个时间点的多通道脑电信号的时域信号作为输出信号,选择非线性动态的输出连接矩阵Wout作为回声状态网络特征进行训练;所述非线性动态的输出连接矩阵为:
Wout=YtXT(XXT+λrI)-1
其中,λr是输出正则化系数,Yt为读出层的目标输出信号,X为存储池的状态矩阵,I为单位矩阵;
将所述输出连接矩阵Wout一维展开,得到特征值;
采用主成分分析对所述特征值进行降维,得到脑电信号特征信息。
4.根据权利要求3所述的双手协同运动下的手部运动方向解码方法,其特征在于,所述采用当前时间点的多通道脑电信号的时域信号作为输入信号,下一个时间点的多通道脑电信号的时域信号作为输出信号,选择非线性动态的输出连接矩阵Wout作为回声状态网络特征进行训练过程中,
设定参数为:谱半径ρ=0.98;x(n)矩阵的初始矩阵x(0)为零矩阵;输出正则化系数λr为1×10-4;稀疏连接的稀疏度c与存储层规模NN通过网格搜索的方法确定对应最优性能的参数值。
5.根据权利要求1所述的双手协同运动下的手部运动方向解码方法,其特征在于,所述线性解析模型的建立方法为:
将手部运动任务通过屏幕显示给受试者,并要求受试者执行所述手部运动任务;
采集执行手部运动任务时的受试者脑头皮指定电极位置的脑电信号,得到受试者脑电信号;所述手部运动任务包括:双手协同运动与单手运动;所述受试者脑电信号为多通道脑电信号;
利用回声状态网络的方法提取所述受试者脑电信号中的特征,得到受试者脑电信号特征;
利用线性判别分析的方法以受试者脑电信号特征为输入,以所述手部运动任务为输出进行训练,得到线性解析模型。
6.根据权利要求5所述的双手协同运动下的手部运动方向解码方法,其特征在于,所述采集执行手部运动任务时的受试者脑头皮指定电极位置的脑电信号,得到受试者脑电信号之后还包括对双手协同运动与单手运动下的大脑活动以及两种运动下的大脑活动的差异进行表征,具体包括:
将所述受试者脑电信号按照双手协同运动与单手运动分为双手协同运动脑电信号和单手运动脑电信号;
采用零相位四阶巴特沃斯滤波器对所述双手协同运动脑电信号和所述单手运动脑电信号分别进行多次滤波,每次滤波得到一个滤波信号;
将所述双手协同运动脑电信号经多次滤波得到的多个滤波信号数据叠加平均,得到双手协同运动相关皮层电位信号;
将所述单手运动脑电信号经多次滤波得到的多个滤波信号数据叠加平均,得到单手运动相关皮层电位信号;
将所述双手协同运动相关皮层电位信号和所述单手运动相关皮层电位信号的曲线绘制在同一曲线图中。
7.根据权利要求5所述的双手协同运动下的手部运动方向解码方法,其特征在于,利用线性判别分析的方法以受试者脑电信号特征为输入,以所述手部运动任务为输出进行训练,得到线性解析模型,具体包括:
将所述受试者脑电信号特征按照双手协同运动与单手运动分为受试者双手协同运动脑电信号特征信息和受试者单手运动脑电信号特征信息;
以受试者脑电信号特征为输入,以所述手部运动任务为输出,利用线性判别分析算法确定最佳投影方向w;
所述线性判别分析算法的原始模型如下:
f(x)=wTx+w0
其中,x=[x1,x2,...,xn]是特征向量,w=[w1,w2,...,wn]代表所述线性判别分析算法的原始模型的投影方向,w0代表所述线性判别分析算法的原始模型的阈值;
利用所述最佳投影方向w将所有训练样本进行投影,得到投影后的样本点;
将所述样本点的最大值与最小值之间的范围作为阈值选取范围,在所述阈值选取范围内通过迭代的方法选取对训练样本分类精度最高的阈值为w0;
将所述最佳投影方向与所述对训练样本分类精度最高的阈值代入所述原始模型,得到线性解析模型。
8.一种双手协同运动下的手部运动方向解码系统,其特征在于,所述系统包括:
信号获取单元,用于采集人的脑头皮指定电极位置的脑电信号;
特征提取单元,用于利用回声状态网络的方法提取所述脑电信号中的特征,得到脑电信号特征信息;
解码单元,用于将所述脑电信号特征信息输入线性解析模型进行解析,得到人的手部运动方向。
9.根据权利要求8所述的双手协同运动下的手部运动方向解码系统,其特征在于,
还包括信号预处理单元,用于:
将所述脑电信号放大,然后通过基线校正的方法去除零点漂移,得到第一修正信号;
利用共同平均参考法去除所述第一修正信号中各个通道共同的背景噪声,得到第二修正信号;
利用快速傅里叶变换对所述第二修正信号进行滤波,得到预处理后脑电信号。
10.根据权利要求8所述的双手协同运动下的手部运动方向解码系统,其特征在于,
所述特征提取单元,还包括:
归一化子单元,用于采用z-score对所述脑电信号进行归一化,归一化公式为:
训练子单元,用于采用当前时间点的多通道脑电信号的时域信号作为输入信号,下一个时间点的多通道脑电信号的时域信号作为输出信号,选择非线性动态的输出连接矩阵Wout作为回声状态网络特征进行训练;所述非线性动态的输出连接矩阵为:
Wout=YtXT(XXT+λrI)-1
其中,λr是输出正则化系数,Yt为读出层的目标输出信号,X为存储池的状态矩阵;
特征值确定子单元,用于将所述输出连接矩阵Wout一维展开,得到特征值;
降维子单元,用于采用主成分分析对所述特征值进行降维,得到脑电信号特征信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011090446.XA CN112205988B (zh) | 2020-10-13 | 2020-10-13 | 一种双手协同运动下的手部运动方向解码方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011090446.XA CN112205988B (zh) | 2020-10-13 | 2020-10-13 | 一种双手协同运动下的手部运动方向解码方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112205988A true CN112205988A (zh) | 2021-01-12 |
CN112205988B CN112205988B (zh) | 2021-08-20 |
Family
ID=74053808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011090446.XA Active CN112205988B (zh) | 2020-10-13 | 2020-10-13 | 一种双手协同运动下的手部运动方向解码方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112205988B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112869743A (zh) * | 2021-01-15 | 2021-06-01 | 北京理工大学 | 一种考虑认知分心的运动起始意图神经解析方法 |
CN113171111A (zh) * | 2021-04-25 | 2021-07-27 | 北京理工大学 | 一种上肢运动方向神经解码方法和装置 |
CN116491960A (zh) * | 2023-06-28 | 2023-07-28 | 南昌大学第一附属医院 | 脑瞬态监测设备、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101810479A (zh) * | 2009-12-16 | 2010-08-25 | 天津大学 | 复合下肢想象动作脑电的相位特征提取方法 |
CN106484112A (zh) * | 2016-10-10 | 2017-03-08 | 天津大学 | 基于运动想象脑‑机接口的字符拼写器及测试方法 |
CN106502405A (zh) * | 2016-10-24 | 2017-03-15 | 天津大学 | 基于同步性复合肢体想象动作多模态脑机接口方法及系统 |
CN107037883A (zh) * | 2017-04-13 | 2017-08-11 | 安徽大学 | 一种基于运动想象的混合脑机接口系统及方法 |
CN108563324A (zh) * | 2018-03-04 | 2018-09-21 | 天津大学 | 一种面向过程控制的运动想象脑-机接口设计方法 |
CN110175510A (zh) * | 2019-04-10 | 2019-08-27 | 杭州电子科技大学 | 基于脑功能网络特征的多模式运动想象识别方法 |
-
2020
- 2020-10-13 CN CN202011090446.XA patent/CN112205988B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101810479A (zh) * | 2009-12-16 | 2010-08-25 | 天津大学 | 复合下肢想象动作脑电的相位特征提取方法 |
CN106484112A (zh) * | 2016-10-10 | 2017-03-08 | 天津大学 | 基于运动想象脑‑机接口的字符拼写器及测试方法 |
CN106502405A (zh) * | 2016-10-24 | 2017-03-15 | 天津大学 | 基于同步性复合肢体想象动作多模态脑机接口方法及系统 |
CN107037883A (zh) * | 2017-04-13 | 2017-08-11 | 安徽大学 | 一种基于运动想象的混合脑机接口系统及方法 |
CN108563324A (zh) * | 2018-03-04 | 2018-09-21 | 天津大学 | 一种面向过程控制的运动想象脑-机接口设计方法 |
CN110175510A (zh) * | 2019-04-10 | 2019-08-27 | 杭州电子科技大学 | 基于脑功能网络特征的多模式运动想象识别方法 |
Non-Patent Citations (3)
Title |
---|
ANDREAS SCHWARZ,ET AL: "Unimanual and Bimanual Reach-and-Grasp Actions Can Be Decoded From Human EEG", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 * |
LEILEI SUN,ET AL: "Unsupervised EEG feature extraction based on echo state network", 《INFORMATION SCIENCES》 * |
STEPHAN WALDERT,ET AL: "Decoding Performance for Hand Movements: EEG vs. MEG", 《PROCEEDINGS OF THE 29TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE EMBS》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112869743A (zh) * | 2021-01-15 | 2021-06-01 | 北京理工大学 | 一种考虑认知分心的运动起始意图神经解析方法 |
CN112869743B (zh) * | 2021-01-15 | 2021-10-22 | 北京理工大学 | 一种考虑认知分心的运动起始意图神经解析方法 |
CN113171111A (zh) * | 2021-04-25 | 2021-07-27 | 北京理工大学 | 一种上肢运动方向神经解码方法和装置 |
CN116491960A (zh) * | 2023-06-28 | 2023-07-28 | 南昌大学第一附属医院 | 脑瞬态监测设备、电子设备及存储介质 |
CN116491960B (zh) * | 2023-06-28 | 2023-09-19 | 南昌大学第一附属医院 | 脑瞬态监测设备、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112205988B (zh) | 2021-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112205988B (zh) | 一种双手协同运动下的手部运动方向解码方法及系统 | |
Alomari et al. | Wavelet-based feature extraction for the analysis of EEG signals associated with imagined fists and feet movements | |
Xie et al. | A review of processing methods and classification algorithm for EEG signal | |
Bentlemsan et al. | Random forest and filter bank common spatial patterns for EEG-based motor imagery classification | |
CN110555468A (zh) | 一种联合递归图和cnn的脑电信号识别方法及系统 | |
EP2385789A1 (en) | Device and method for generating a representation of a subject's attention level | |
CN110969108A (zh) | 一种基于自主运动想象脑电的肢体动作识别方法 | |
Aly et al. | Bio-signal based motion control system using deep learning models: A deep learning approach for motion classification using EEG and EMG signal fusion | |
CN112869743B (zh) | 一种考虑认知分心的运动起始意图神经解析方法 | |
Mingai et al. | Removing ocular artifacts from mixed EEG signals with FastKICA and DWT | |
Chen et al. | An adaptive feature extraction method for motor-imagery BCI systems | |
Dzitac et al. | Identification of ERD using fuzzy inference systems for brain-computer interface | |
Ghonchi et al. | Spatio-temporal deep learning for EEG-fNIRS brain computer interface | |
Cososchi et al. | EEG features extraction for motor imagery | |
Vigneshwari et al. | Analysis of finger movements using EEG signal | |
CN113128384A (zh) | 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法 | |
CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
Vega-Escobar et al. | DWT-based feature extraction for motor imagery classification | |
CN113171111B (zh) | 一种上肢运动方向神经解码方法和装置 | |
Elgharabawy et al. | Decoding of finger movement using kinematic model classification and regression model switching | |
Wang | Temporally local maximum signal fraction analysis for artifact removal from biomedical signals | |
Nawas et al. | K-NN classification of brain dominance | |
Tseng et al. | Robust multistage ECG identification for astronaut spacesuits with IoT applications | |
Karam et al. | Neural network for recognition of brain wave signals | |
Dasgupta et al. | A new multi-resolution analysis method for electrooculography signals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |