CN103845137A - 基于稳态视觉诱发脑机接口的机器人控制方法 - Google Patents
基于稳态视觉诱发脑机接口的机器人控制方法 Download PDFInfo
- Publication number
- CN103845137A CN103845137A CN201410103602.XA CN201410103602A CN103845137A CN 103845137 A CN103845137 A CN 103845137A CN 201410103602 A CN201410103602 A CN 201410103602A CN 103845137 A CN103845137 A CN 103845137A
- Authority
- CN
- China
- Prior art keywords
- frequency
- brain
- signal
- eeg signals
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004438 eyesight Effects 0.000 title claims abstract description 13
- 238000012880 independent component analysis Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 210000004556 brain Anatomy 0.000 claims description 34
- 230000000763 evoking effect Effects 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 24
- 230000000638 stimulation Effects 0.000 claims description 21
- 238000001228 spectrum Methods 0.000 claims description 16
- 210000000869 occipital lobe Anatomy 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012887 quadratic function Methods 0.000 claims description 4
- 210000004761 scalp Anatomy 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 12
- 206010033799 Paralysis Diseases 0.000 abstract description 2
- 230000009471 action Effects 0.000 abstract description 2
- 230000003925 brain function Effects 0.000 abstract description 2
- 238000010183 spectrum analysis Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000142 dyskinetic effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Abstract
本发明涉及基于稳态视觉诱发脑机接口的机器人控制方法,首先将实际采集得到的脑电信号通过带通滤波进行预处理;其次对预处理得到的脑电信号进行快速独立成分分析得到独立成分;然后用希尔伯特黄变换对独立成分分解获得固有模态函数;接着对固有模态函数进行频谱分析得到所需特征。最后运用阈值判断法对提取的特征进行分类,把分类结果翻译成机器人能识别的信号,从而实现对机器人的实时控制。本发明基于稳态视觉诱发电位的脑机接口,传输率高、设备装置简单。在特征提取的过程中结合了独立成分分析和希尔伯特黄变换,使特征提取更有效。实现了对机器人运动的无肢体动作控制,可使重症瘫痪但脑功能正常的残疾人控制机器人辅助他们进行日常生活。
Description
技术领域
本发明涉及机器人领域,尤其涉及一种基于稳态视觉诱发脑机接口的机器人控制方法。
背景技术
脑机接口(Brian-Computer Interface,BCI)是一种不依赖于大脑外周神经与肌肉正常输出通道的通讯控制系统。它通过采集和分析人脑生物电信号,在大脑和外界建立直接交流通道,这样人就可以通过大脑来表达意愿或操纵计算机、语音合成器、辅助电器、神经假体、机器人等电子设备。脑机接口研究的最终目标是设计实现一种基于脑电信号的新型残疾人辅助设备,以帮助有运动障碍的残疾患者更好地与外界交流。因此,脑机接口领域的研究具有非常重要的社会意义和潜在的经济价值。
VEP(Visual Evoked Potential,视觉诱发电位)是由一个固定的调制频率刺激眼球来诱发电信号,它可以在头皮的视觉皮层区(头皮的枕部)进行采集。根据诱发电位的刺激频率高低,视觉诱发电位分为:瞬态视觉诱发电位、稳态视觉诱发电位。当视觉刺激时间间隔比单次诱发电位时长长时,产生瞬态视觉诱发电位,此时视觉刺激频率一般低于2Hz;相反地,如果视觉刺激的刺激时间间隔比单次诱发电位时长短时,每次刺激诱发的电位会发生重叠,从而形成了稳态视觉诱发电位SSVEP(Steady State Visual Evoked Potential,SSVEP),此时刺激频率一般超过6Hz。稳态视觉诱发电位临床上一般通过模式光刺激或图形视觉变化刺激诱发,在大脑皮层的枕部可以采集到明显的信号。这种电位的产生和采集比较简便,信号的频谱特征峰值明显,提取方法比较简单,所以基于SSVEP的BCI系统具有比较容易实现的优点。在多个注视目标的SSVEP脑-机接口系统中,通过VEP信号频谱的峰值,可以判别注视目标。
目前脑机接口的应用研究不断得到发展和应用,申请号为200910068833.0的专利公开了一种利用脑机接口来对服务机器人在四个方向的移动控制,该专利的脑机接口是基于自发脑电节律波,根据脑神经功能正常的人在短时间闭眼后,脑中α波幅明显增强这一特点实现对机器人的移动控制。自发脑电节律的脑机接口中有许多的噪声干扰,睁开眼睛时候,稍有延时的眨眼都会对状态选择有影响,而且需要比较准确的脑电信号特征提取和分类才能达到准确率比较高的状态选择。在该专利所涉及的硬件设备较多,成本高,不便于携带。申请号为200310104875.8的专利在脑机接口中结合了虚拟键盘和机器人控制系统,该专利的脑接口是基于运动想象的脑机接口,用特定的思维来诱发脑电信号。运动想象脑机接口的不足是需要进行大量的训练,在该专利中,需采样标准特征波形,如果采样效果不佳,就必须进行重新采样,采样过程需要大量的实验。
发明内容
针对现有技术中存在的脑机接口设备装置复杂、需要大量训练、特征不能有效的提取问题,本发明提供了一种基于稳态视觉诱发电位脑机接口的机器人控制方法,通过用显示器屏幕的闪烁刺激诱发稳态视觉诱发电位解决脑机接口硬件设备复杂的问题,同时在特征提取的过程中结合了独立成分分析(Independent Component Analysis,ICA)和希尔伯特黄变换(HilbertHuang Transform,HHT),从而对脑电信号的特征得到有效提取。
为实现上述目的,本发明采用如下的技术方案:
首先将实际采集得到的脑电信号通过带通滤波进行预处理;其次对预处理得到的脑电信号进行快速ICA分析,得到独立成分;然后用HHT对独立成分分解,获得固有模态函数;接着对固有模态函数进行频谱分析得到所需的特征。运用阈值判断法对提取的特征进行分类。最后把分类结果进行翻译,转换成机器人能识别的信号,然后把控制指令发送给机器人,从而实现对机器人的实时控制。
基于稳态视觉诱发脑机接口的机器人控制方法,包括以下步骤:
步骤1,安放脑电极。
被受试者安静放松地坐在舒适的椅子上,椅子距离计算机显示屏约65厘米。脑电极安放按照国际10-20系统电极放置标准在被测试者头部枕区P3、PZ、P4、PO3、POZ、PO4、O1、OZ、O2位置,以耳部作为参考电极,接地电极接地,给电极打入导电膏,确保电极阻抗保持低于5kΩ才可以进行实验。
步骤2,呈现刺激范式。
使计算机屏幕上出现四个白色正方形图片,分别分布于屏幕的上、下、左、右四个方位,并且这四个白色图片分别以不同的刺激频率进行闪烁(每个图片的闪烁频率高于6Hz),每个闪烁频率对应着机器人的一个运动方向。刺激器选择LCD。
采用白色刺激图片是因为白色更容易诱发稳态视觉诱发电位。
当刺激频率超过6Hz时,视觉刺激的刺激时间间隔比单次诱发电位时长短,每次刺激诱发的电位会发生重叠,这样就形成了稳态视觉诱发电位(SSVEP)。
刺激器可选择LED、LCD和CRT。选择LED作刺激器的好处在于刺激设备和处理设备可以分开,能应用于比较复杂的场合,缺点是需要额外的刺激设备,即单个的LED或LED阵列。而LCD和CRT则不需要额外的刺激设备。当刺激多于20个时可以选择LED作为刺激器;刺激少于10个可以选择CRT和LCD作为刺激器。CRT刺激器更易让眼睛疲劳,而且已经逐步淘汰,因此在本发明选择LCD作为刺激器。
步骤3,获取脑电信号。
当被测试者专注于步骤2中的一个图片时,被测试者的枕叶区就会诱发出和图片相同频率以及谐波成分的脑电波。将大脑枕叶区产生的脑电波信号由电极送入数字脑电记录仪进行放大、A/D转换等处理,然后将得到的脑电信号传输至计算机。
步骤4,对步骤3采集到的脑电信号进行滤波预处理。
在脑电信号的实验中,会受到低于4Hz的低频噪声扰,同时也会受到50Hz的工频噪声干扰。因为产生稳态视觉诱发电位一般高于6Hz,同时本发明的采用的刺激频率远小于50Hz。因此对脑电信号进行5~40Hz的带通滤波处理,得到预处理的脑电信号x(t)。
步骤5,应用快速ICA对预处理后的脑电信号进行独立源提取。
利用ICA对预处理得到的脑电信号x(t)进行处理。ICA以源信号彼此相互独立为前提,通过构造对分离结果独立性度量的目标函数,并对目标函数进行优化,使得分离结果尽可能地彼此相互独立,从而达到对独立源的提取。在独立成分分析的过程中用到了基于负熵的快速独立成分分析,步骤如下所示:
步骤5.1,对数据进行中心化处理,使数据的均值为零。
步骤5.2,对数据进行白化得到c(t),表示为:
步骤5.3,选择一个具有单位范数的初始化向量ωi(m),其中ωi(0)∈R(n+1)×1,||ωi(0)||=1,m是迭代的次数,i为正整数,i∈[1,n+1]。
步骤5.4,更新ωi(m):
其中,G是一个任意非二次型函数的导数,G′是一个任意非二次型函数的二阶导数。
步骤5.5,对ωi(m+1)进行标准化:
ωi(m+1)=ωi(m+1)/||ωi(m+1)||
步骤5.6,判断ωi(m+1)是否收敛,即判断ω一个迭代前后的值是否指向同一个方向,判断方法如下:
如果|1-ωi(m)·ωi(m+1)|<δ,δ一般取0.0001,且|ωi(m+1)-ωi(m)|<ε,ε为迭代精度,一般取0.0001,则ωi(m+1)收敛,迭代结束,ωi(m+1)作为得到的权值向量;否则,重复步骤5.4、步骤5.5。
步骤5.7,计算独立成分矩阵y(t),式如下:
y(t)=W·x(t)=[y1(t),y2(t),...,ωn+1(t)]T,
其中,W=[ω1(m),ω2(m),...,ωn+1(m)]T∈R(n+1)×(n+1)。
通过快速ICA,得到各个通道的独立成分,完成独立源的提取。
步骤6,对信号进行HHT。
HHT主要内容包含经验模态分解(EMD)和Hilbert谱分析(HSA)。首先利用EMD方法将给定的信号分解为若干固有模态函数(IMF),这些IMF是满足一定条件的分量;然后,对每一个IMF进行Hilbert变换,得到相应的Hilbert谱,即将每个IMF表示在联合的时频域中;最后,汇总所有IMF的Hilbert谱得到原始信号的Hilbert谱。
经验模态分解是一个筛选的过程。这个筛选过程可以依据信号的特点自适应地把任意一个复杂信号分解为一列本征模态函数(IMF)。
步骤6.1,应用EMD方法将信号分解为若干固有模态函数IMF。
(1)确定y(t)所有的极值点,用三次样条曲线分别对极小值点和极大值点进行拟合,得到上包络曲线emax(t)和emin(t)。
(2)计算包络线的平均值m(t):
m(t)=(emax(t)+emin(t))/2
(3)更新信号:
c(t)=y(t)-m(t)
(4)若c(t)不满足IMF定义,则用c(t)取代x(t),计算剩余信号r(t):
r(t)=y(t)-c(t)
判断是否满足EMD的筛选条件:信号极值点的数量与零点数相等或相差1;信号由极大值定义的上包络和由极小值定义的下包络的局部均值为零。
如果不满足,对r(t)重复步骤(1)~(3);如果满足,停止循环,此时的脑电信号y(t)为:
其中,ci(t)就是第i次筛选得到的IMF分量。
步骤6.2,对IMF进行频域分析或功率谱估计。
采用快速傅里叶变换对IMF进行频域分析,在快速傅里叶变换得到的频率谱图中,可以明显看到在波峰位置对应的频率,就是大脑皮层枕叶诱发脑电波的频率;也可以采用AR能量谱,在AR能量谱图中,能量最高点对应的频率,也是大脑皮层枕叶诱发脑电波的频率。
步骤7,对脑电信号进行分类。
在电脑显示屏幕上有四个图片,分别以不同的刺激频率闪烁,当看一个图片的时候其他三个图形也会在大脑头皮枕叶区诱发相应的刺激,因此需要对提取特征的脑电信号进行分类把目标图形的频率分离出来。
步骤7.1,将一个刺激的基频、2倍频以及4倍频处的峰值之和作为该刺激频率的特征值。
步骤7.2,从步骤7.1中得出稳态视觉诱发电位(SSVEP)频谱特征值中选取最大的一个,且这最大的特征值大于信号平均频率幅度的2倍。最大频谱特征值对应的刺激频率就是被测试者集中注意看的图形的闪烁频率。
步骤8,将分类结果翻译成机器人能识别的信号,然后向机器人发送控制指令,从而对机器人进行实时控制。
与现有技术相比,本发明具有以下明显优势:
1.基于稳态视觉诱发电位的脑机接口相对于其它类的脑机接口,具有传输率高、设备装置简单等优点,而且不需要做太多的训练工作。
2.在特征提取的过程中结合了独立成分分析(ICA)和希尔伯特黄变换(HHT),使特征提取更有效。
3.实现对机器人运动的无肢体动作控制,可使重症瘫痪但脑功能正常的残疾人控制机器人辅助他们进行日常生活。
附图说明
图1是本发明所涉及方法的流程图;
图2是计算机屏幕上的四个刺激图片;
图3是原始脑电信号和经过预处理的脑电信号波形图:(a)为原始脑电信号波形图,(b)为预处理后的脑电信号波形图;
图4是经过独立成分分析后的脑电波形图:(a)为预处理后的脑电信号波形图,(b)为经独立成分分析后的脑电信号波形图;
图5是经过希尔伯特黄变换分解后的脑电波形图:(a)为经分解后的模态分量1-4,(b)为经分解后的模态分量5-8,(c)为经分解后的模态分量9-12;
图6是频率为11Hz脑电信号的频谱图;
图7是频率为11Hz脑电信号的能量谱图;
图8是刺激图标与机器人运动的对应关系示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的说明。
本实施例的方法流程图如图1所示,具体包括以下步骤:
1.被测试者要求视力正常或经校正后视力达到正常。被受试者坐在舒适的椅子上,椅子距离计算机显示屏约65厘米。按照国际10-20系统电极放置标准来安放电极。脑电极安放在被测试者头部枕区P3、PZ、P4、PO3、POZ、PO4、O1、OZ、O2位置,以耳部作为参考电极,接地电极接地,给被试者脑电极注入导电膏,目的是保证电极阻抗保持低于5kΩ,这样实验才更准确。
2.刺激范式的呈现。运用Matlab中Psychtoolbox工具箱设计刺激范式,通过Psychtoolbox工具箱中的Screen函数,可以在电脑显示屏上呈现所需要的刺激频率。本实例中,用LCD显示屏来作为刺激器,屏幕的刷新频率是60Hz,分辨率是1024*768。计算机屏幕上出现四个白色正方形图片,如图2所示,分别分布于屏幕的上、下、左、右四个方位,并且这四个图片分别以不同的刺激频率进行闪烁,刺激频率依次为7.5Hz、8.5Hz、9.5Hz和11Hz。每个闪烁频率对应着机器人的一个运动方向,上、下、左、右四个图片分别表示前进、后退、左转、右转。
3.被测试者专注于以11Hz刺激闪烁的图形60秒,被测试者的枕叶区诱发出和图片相同频率以及谐波成分的脑电波。在产生的脑电波经SynAmps2(NeuroScan)数字脑电记录仪放大、A/D转换等处理,然后将得到的脑电信号传输至计算机,这样就得到了一组60秒时间长的脑电信号数据。
4.对数字脑电信号进行以下步骤处理:
在数据分析的过程中,把Oz导作为信号通道,因为在Oz电极出有着幅值最大的视觉诱发电位,同时选取Cz导作为参考电极。
4.1,首先对脑电信号进行5-40Hz的带通滤波等预处理工作,去除低频信号的干扰以及50Hz工频噪声干扰;预处理后的脑电波形图如图3所示,(a)是原始信号,(b)是预处理后的信号。经过预处理后的脑电信号,在高频及低频的噪声得到有效的去除。预处理后的脑电信号表示为:
x(t)=[x1(t),x2(t)]T
式中,x1(t)是信号电极,x2(t)是参考电极。
4.2,将预处理得到的脑电信号做特征提取。
首先应用ICA对预处理得到的信号进行处理,此步骤的目的是得到脑电信号各个通道的权值,在独立成分分析的过程中用到了基于负熵的快速ICA。经过ICA后的脑电信号如图4所示,可以看出,经过ICA,从预处理的脑电信号中对脑电信号的特征得到进一步的提取。各通道的独立成分分为:
y(t)=W·x(t)=[y1(t),y2(t)]T
y1(t)为信号通道的独立成分,即所需要的独立成分,y2(t)为参考通道的独立成分。
然后对y(t)做希尔伯特黄变换,通过希尔伯特黄变换中的经验模态分解(EMD)得到所需要频段的经验模态分量:
IMF(n)=[IMF(1),IMF(2),IMF(3),...,IMF(n)]Tn=1,2,3,4...
经过希尔伯特黄变换分解得到的固有模态分量如图5所示。所需要的频段是7-12Hz,因此,需要的是第三个固有模态分量IMF3,也就是图5(a)第三个模态分量,对比ICA的提取,经过希尔伯特黄变换的分解,已经把需要的脑电信号频段分解出来。
最后,对IMF3做频域分析或功率谱估计。分别采用了快速傅里叶变换和AR能量谱。通过快速傅里叶变换的计算。得到的频率谱图如图6所示,由图6可以明显看到在波峰位置对应的频率是11Hz,就是大脑皮层枕叶诱发脑电波的频率。得到的AR能量谱图如图7所示,能量最高点对应的频率,也就是大脑皮层枕叶诱发脑电波的频率。
4.3对脑电信号进行分类。在分类的过程中运用了阈值判断方法。阈值判断方法的步骤如下:
(1)当一个刺激的基频、2倍频以及4倍频处为峰值时候,将这三个峰值相加之和作为该刺激频率的特征值;
(2)从步骤(1)中得出SSVEP频谱特征值中选取最大的一个,且这最大的特征值大于信号品均频率幅度的2倍。
4.4用Matlab实现脑电信号的模式分类,然后生成DLL文件,用VisualC++调用DLL文件,根据检测出的频率和刺激图标与机器人运动的对应关系,如图8所示,对分类结果进行翻译,转换成机器人能识别的信号,调用Nao机器人的API函数来控制Nao机器人的运动。
Claims (5)
1.基于稳态视觉诱发脑机接口的机器人控制方法,其特征在于,包括以下步骤:
步骤1,安放脑电极;
被受试者安静放松地坐在舒适的椅子上,椅子距离计算机显示屏约65厘米;脑电极安放按照国际10-20系统电极放置标准在被测试者头部枕区P3、PZ、P4、PO3、POZ、PO4、O1、OZ、O2位置,以耳部作为参考电极,接地电极接地,给电极打入导电膏,确保电极阻抗保持低于5kΩ才可以进行实验;
步骤2,呈现刺激范式;
使计算机屏幕上出现四个白色正方形图片,分别分布于屏幕的上、下、左、右四个方位,并且这四个白色图片分别以不同的刺激频率进行闪烁,每个闪烁频率对应着机器人的一个运动方向;
步骤3,获取脑电信号;
当被测试者专注于步骤2中的一个图片时,被测试者的枕叶区就会诱发出和图片相同频率以及谐波成分的脑电波;将大脑枕叶区产生的脑电波信号由电极送入数字脑电记录仪进行放大、A/D转换等处理,然后将得到的脑电信号传输至计算机;
步骤4,对步骤3采集到的脑电信号进行滤波预处理,得到脑电信号x(t);
步骤5,应用快速独立成分分析法对预处理后的脑电信号进行独立源提取;
利用独立成分分析法对预处理得到的脑电信号x(t)进行处理;独立成分分析以源信号彼此相互独立为前提,通过构造对分离结果独立性度量的目标函数,并对目标函数进行优化,使得分离结果尽可能地彼此相互独立,从而达到对独立源的提取;在独立成分分析的过程中用到了基于负熵的快速独立成分分析,步骤如下所示:
步骤5.1,对数据进行中心化处理,使数据的均值为零;
步骤5.2,对数据进行白化得到c(t),表示为:
步骤5.3,选择一个具有单位范数的初始化向量ωi(m),其中ωi(0)∈R(n+1)×1,||ωi(0)||=1,m是迭代的次数,i为正整数,i∈[1,n+1];
步骤5.4,更新ωi(m):
其中,G是一个任意非二次型函数的导数,G′是一个任意非二次型函数的二阶导数;
步骤5.5,对ωi(m+1)进行标准化:
ωi(m+1)=ωi(m+1)/||ωi(m+1)||
步骤5.6,判断ωi(m+1)是否收敛,即判断ω一个迭代前后的值是否指向同一个方向,判断方法如下:
如果|1-ωi(m)·ωi(m+1)|<δ,δ一般取0.0001,且|ωi(m+1)-ωi(m)|<ε,ε为迭代精度,一般取0.0001,则ωi(m+1)收敛,迭代结束,ωi(m+1)作为得到的权值向量;否则,重复步骤5.4、步骤5.5;
步骤5.7,计算独立成分矩阵y(t),式如下:
y(t)=W·x(t)=[y1(t),y2(t),...,ωn+1(t)]T,
其中,W=[ω1(m),ω2(m),...,ωn+1(m)]T∈R(n+1)×(n+1);
通过快速独立成分分析,得到各个通道的独立成分,完成独立源的提取;
步骤6,对信号进行希尔伯特黄变换;
希尔伯特黄变换主要包含经验模态分解EMD和Hilbert谱分析;首先利用EMD方法将给定的信号分解为若干固有模态函数IMF,这些IMF是满足一定条件的分量;然后,对每一个IMF进行Hilbert变换,得到相应的Hilbert谱,即将每个IMF表示在联合的时频域中;最后,汇总所有IMF的Hilbert谱得到原始信号的Hilbert谱;
经验模态分解是一个筛选的过程;这个筛选过程可以依据信号的特点自适应地把任意一个复杂信号分解为一列本征模态函数IMF;
步骤6.1,应用EMD方法将信号分解为若干固有模态函数IMF;
(1)确定y(t)所有的极值点,用三次样条曲线分别对极小值点和极大值点进行拟合,得到上包络曲线emax(t)和emin(t);
(2)计算包络线的平均值m(t):
m(t)=(emax(t)+emin(t))/2
(3)更新信号:
c(t)=y(t)-m(t)
(4)若c(t)不满足IMF定义,则用c(t)取代x(t),计算剩余信号r(t):
r(t)=y(t)-c(t)
判断是否满足EMD的筛选条件:信号极值点的数量与零点数相等或相差1;信号由极大值定义的上包络和由极小值定义的下包络的局部均值为零;
如果不满足,对r(t)重复步骤(1)~(3);如果满足,停止循环,此时的脑电信号y(t)为:
其中,ci(t)就是第i次筛选得到的IMF分量;
步骤6.2,对IMF进行频域分析或功率谱估计;
采用快速傅里叶变换对IMF进行频域分析,在快速傅里叶变换得到的频率谱图中,可以明显看到在波峰位置对应的频率,就是大脑皮层枕叶诱发脑电波的频率;也可以采用AR能量谱,在AR能量谱图中,能量最高点对应的频率,也是大脑皮层枕叶诱发脑电波的频率;
步骤7,对脑电信号进行分类;
在电脑显示屏幕上有四个图片,分别以不同的刺激频率闪烁,当看一个图片的时候其他三个图形也会在大脑头皮枕叶区诱发相应的刺激,因此需要对提取特征的脑电信号进行分类把目标图形的频率分离出来;
步骤8,将分类结果翻译成机器人能识别的信号,然后向机器人发送控制指令,从而对机器人进行实时控制。
2.根据权利要求1所述的基于稳态视觉诱发脑机接口的机器人控制方法,其特征在于,步骤2所述每个图片的闪烁频率高于6Hz;当刺激频率超过6Hz时,视觉刺激的刺激时间间隔比单次诱发电位时长短,每次刺激诱发的电位会发生重叠,这样就形成了稳态视觉诱发电位。
3.根据权利要求1或2所述的基于稳态视觉诱发脑机接口的机器人控制方法,其特征在于,所述刺激选择的刺激器为LCD。
4.根据权利要求1所述的基于稳态视觉诱发脑机接口的机器人控制方法,其特征在于,所述步骤4对脑电信号的滤波预处理为5~40Hz的带通滤波处理。
5.根据权利要求1所述的基于稳态视觉诱发脑机接口的机器人控制方法,其特征在于,所述步骤7对脑电信号进行分类的方法还包括以下步骤:
步骤7.1,将一个刺激的基频、2倍频以及4倍频处的峰值之和作为该刺激频率的特征值;
步骤7.2,从步骤7.1中得出稳态视觉诱发电位频谱特征值中选取最大的一个,且这最大的特征值大于信号平均频率幅度的2倍;最大频谱特征值对应的刺激频率就是被测试者集中注意看的图形的闪烁频率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410103602.XA CN103845137B (zh) | 2014-03-19 | 2014-03-19 | 基于稳态视觉诱发脑机接口的机器人控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410103602.XA CN103845137B (zh) | 2014-03-19 | 2014-03-19 | 基于稳态视觉诱发脑机接口的机器人控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103845137A true CN103845137A (zh) | 2014-06-11 |
CN103845137B CN103845137B (zh) | 2016-03-02 |
Family
ID=50853552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410103602.XA Expired - Fee Related CN103845137B (zh) | 2014-03-19 | 2014-03-19 | 基于稳态视觉诱发脑机接口的机器人控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103845137B (zh) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104216515A (zh) * | 2014-07-25 | 2014-12-17 | 北京机械设备研究所 | 一种基于脑机接口的载人飞船非接触式操控方法 |
CN104524689A (zh) * | 2014-12-03 | 2015-04-22 | 上海交通大学 | 一种通过脑-脑接口实现异体生物控制的系统及方法 |
CN104536573A (zh) * | 2014-12-30 | 2015-04-22 | 天津大学 | 一种基于高频闪烁情感刺激的脑-机接口方法 |
CN104606030A (zh) * | 2015-01-06 | 2015-05-13 | 上海交通大学 | 融合自主运动意识的下肢在线行走康复系统及方法 |
CN105549743A (zh) * | 2016-01-18 | 2016-05-04 | 中国医学科学院生物医学工程研究所 | 一种基于脑-机接口的机器人系统及实现方法 |
CN105810129A (zh) * | 2016-03-20 | 2016-07-27 | 唐山师范学院 | 一种工业设计展示平台 |
CN106371451A (zh) * | 2016-11-07 | 2017-02-01 | 东南大学 | 基于稳态视觉诱发电位的无人机操控方法及装置 |
CN106443801A (zh) * | 2016-08-01 | 2017-02-22 | 湖南文理学院 | 一种大地电磁阻抗估计的时频分析方法 |
CN106491251A (zh) * | 2016-09-27 | 2017-03-15 | 中国医学科学院生物医学工程研究所 | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 |
CN107175673A (zh) * | 2017-04-13 | 2017-09-19 | 中国农业大学 | 车型机器人控制系统及方法 |
CN107693257A (zh) * | 2017-10-26 | 2018-02-16 | 西安科技大学 | 一种基于云平台的多模态护理床bci系统 |
CN107957780A (zh) * | 2017-12-07 | 2018-04-24 | 东南大学 | 一种基于稳态视觉诱发电位生理特性的脑机接口系统 |
CN108042145A (zh) * | 2017-11-28 | 2018-05-18 | 广州视源电子科技股份有限公司 | 情绪状态识别方法和系统、情绪状态识别设备 |
WO2018204119A1 (en) * | 2017-05-03 | 2018-11-08 | Hrl Laboratories, Llc | Method and apparatus to determine optimal brain stimulation to induce desired behavior |
CN109015635A (zh) * | 2018-08-08 | 2018-12-18 | 西安科技大学 | 一种基于脑机交互的服务机器人控制方法 |
CN109065184A (zh) * | 2018-07-12 | 2018-12-21 | 山东建筑大学 | 基于脑机接口的脑卒中患者语音交流看护控制系统及方法 |
CN109465823A (zh) * | 2018-11-06 | 2019-03-15 | 泰康保险集团股份有限公司 | 智能机器人控制方法及装置、电子设备、存储介质 |
CN109843157A (zh) * | 2017-05-22 | 2019-06-04 | 艾德脑科技股份有限公司 | 脑波检测装置与方法 |
CN110074783A (zh) * | 2019-05-17 | 2019-08-02 | 杭州师范大学 | 经颅磁刺激诱发信号的大脑皮层兴奋性及成像和量化方法 |
CN110164091A (zh) * | 2019-06-13 | 2019-08-23 | 华东师范大学 | 一种基于脑电波的疲劳驾驶监测装置 |
US10420937B2 (en) | 2014-06-23 | 2019-09-24 | Hrl Laboratories, Llc | Method and apparatus to determine optimal brain stimulation to induce desired behavior |
CN110502101A (zh) * | 2019-05-29 | 2019-11-26 | 中国人民解放军军事科学院军事医学研究院 | 基于脑电信号采集的虚拟现实交互方法及装置 |
CN110852307A (zh) * | 2019-11-26 | 2020-02-28 | 中国科学院上海高等研究院 | 基于脑电信号的脑机接口的检测方法、系统、介质及设备 |
CN110850795A (zh) * | 2019-12-18 | 2020-02-28 | 北京航空航天大学 | 一种基于ssvep脑机接口的仪器仪表控制系统 |
WO2020042109A1 (zh) * | 2018-08-30 | 2020-03-05 | 西门子(中国)有限公司 | 用于安全控制的脑机接口装置以及机器人系统 |
CN111273578A (zh) * | 2020-01-09 | 2020-06-12 | 南京理工大学 | 基于Alpha波和SSVEP信号控制的实时脑控机器人系统及控制方法 |
CN111596572A (zh) * | 2020-05-29 | 2020-08-28 | 黄淮学院 | 一种适于脑控的智能家居仿真实验系统 |
CN113576496A (zh) * | 2021-07-08 | 2021-11-02 | 华南理工大学 | 视觉追踪的脑机接口检测系统 |
CN113849067A (zh) * | 2021-09-26 | 2021-12-28 | 华东理工大学 | 基于经验模态分解的运动想象人工数据生成方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4651145A (en) * | 1984-05-31 | 1987-03-17 | Medical Research Institute | Communication system for the disabled in which a display target is selected by encephalogram response |
WO1997021165A1 (de) * | 1995-12-06 | 1997-06-12 | Johanna Lorenz | Verfahren und vorrichtung zum schalten und/order steuern unter verwendung eines rechners |
JP3553630B2 (ja) * | 1993-03-11 | 2004-08-11 | パイオニア株式会社 | 脳波誘導装置 |
CN1538340A (zh) * | 2003-10-21 | 2004-10-20 | 东北大学 | 基于脑电信号的虚拟键盘和机器人控制系统 |
CN101221554A (zh) * | 2008-01-25 | 2008-07-16 | 北京工业大学 | 基于小波变换和bp神经网络的脑电特征提取方法 |
CN101515200A (zh) * | 2009-04-03 | 2009-08-26 | 北京工业大学 | 基于瞬态视觉诱发脑电的目标选择方法 |
CN101590648A (zh) * | 2009-05-14 | 2009-12-02 | 天津工程师范学院 | 基于脑-机接口的服务机器人系统 |
CN101869477A (zh) * | 2010-05-14 | 2010-10-27 | 北京工业大学 | 一种自适应脑电信号中眼电伪迹的自动去除方法 |
CN102306303A (zh) * | 2011-09-16 | 2012-01-04 | 北京工业大学 | 一种基于小训练样本的脑电信号特征提取方法 |
CN103099693A (zh) * | 2013-02-07 | 2013-05-15 | 王禹 | 基于脑电/语音指令助残控制系统 |
-
2014
- 2014-03-19 CN CN201410103602.XA patent/CN103845137B/zh not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4651145A (en) * | 1984-05-31 | 1987-03-17 | Medical Research Institute | Communication system for the disabled in which a display target is selected by encephalogram response |
JP3553630B2 (ja) * | 1993-03-11 | 2004-08-11 | パイオニア株式会社 | 脳波誘導装置 |
WO1997021165A1 (de) * | 1995-12-06 | 1997-06-12 | Johanna Lorenz | Verfahren und vorrichtung zum schalten und/order steuern unter verwendung eines rechners |
CN1538340A (zh) * | 2003-10-21 | 2004-10-20 | 东北大学 | 基于脑电信号的虚拟键盘和机器人控制系统 |
CN101221554A (zh) * | 2008-01-25 | 2008-07-16 | 北京工业大学 | 基于小波变换和bp神经网络的脑电特征提取方法 |
CN101515200A (zh) * | 2009-04-03 | 2009-08-26 | 北京工业大学 | 基于瞬态视觉诱发脑电的目标选择方法 |
CN101590648A (zh) * | 2009-05-14 | 2009-12-02 | 天津工程师范学院 | 基于脑-机接口的服务机器人系统 |
CN101869477A (zh) * | 2010-05-14 | 2010-10-27 | 北京工业大学 | 一种自适应脑电信号中眼电伪迹的自动去除方法 |
CN102306303A (zh) * | 2011-09-16 | 2012-01-04 | 北京工业大学 | 一种基于小训练样本的脑电信号特征提取方法 |
CN103099693A (zh) * | 2013-02-07 | 2013-05-15 | 王禹 | 基于脑电/语音指令助残控制系统 |
Non-Patent Citations (2)
Title |
---|
刘家乐 等: ""基于稳态视觉诱发电位的脑机接口系统的设计与研究"", 《工业控制计算机》 * |
黄漫玲 等: ""基于稳态视觉诱发电位的脑-机接口实验研究"", 《北京理工大学学报》 * |
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10420937B2 (en) | 2014-06-23 | 2019-09-24 | Hrl Laboratories, Llc | Method and apparatus to determine optimal brain stimulation to induce desired behavior |
CN104216515A (zh) * | 2014-07-25 | 2014-12-17 | 北京机械设备研究所 | 一种基于脑机接口的载人飞船非接触式操控方法 |
CN104216515B (zh) * | 2014-07-25 | 2017-04-05 | 北京机械设备研究所 | 一种基于脑机接口的载人飞船非接触式操控方法 |
CN104524689A (zh) * | 2014-12-03 | 2015-04-22 | 上海交通大学 | 一种通过脑-脑接口实现异体生物控制的系统及方法 |
CN104536573A (zh) * | 2014-12-30 | 2015-04-22 | 天津大学 | 一种基于高频闪烁情感刺激的脑-机接口方法 |
CN104536573B (zh) * | 2014-12-30 | 2017-08-25 | 天津大学 | 一种基于高频闪烁情感刺激的脑‑机接口方法 |
CN104606030A (zh) * | 2015-01-06 | 2015-05-13 | 上海交通大学 | 融合自主运动意识的下肢在线行走康复系统及方法 |
CN105549743A (zh) * | 2016-01-18 | 2016-05-04 | 中国医学科学院生物医学工程研究所 | 一种基于脑-机接口的机器人系统及实现方法 |
CN105810129A (zh) * | 2016-03-20 | 2016-07-27 | 唐山师范学院 | 一种工业设计展示平台 |
CN106443801A (zh) * | 2016-08-01 | 2017-02-22 | 湖南文理学院 | 一种大地电磁阻抗估计的时频分析方法 |
CN106491251A (zh) * | 2016-09-27 | 2017-03-15 | 中国医学科学院生物医学工程研究所 | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 |
CN106491251B (zh) * | 2016-09-27 | 2022-02-01 | 中国医学科学院生物医学工程研究所 | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 |
CN106371451A (zh) * | 2016-11-07 | 2017-02-01 | 东南大学 | 基于稳态视觉诱发电位的无人机操控方法及装置 |
CN107175673A (zh) * | 2017-04-13 | 2017-09-19 | 中国农业大学 | 车型机器人控制系统及方法 |
WO2018204119A1 (en) * | 2017-05-03 | 2018-11-08 | Hrl Laboratories, Llc | Method and apparatus to determine optimal brain stimulation to induce desired behavior |
CN109843157A (zh) * | 2017-05-22 | 2019-06-04 | 艾德脑科技股份有限公司 | 脑波检测装置与方法 |
CN107693257A (zh) * | 2017-10-26 | 2018-02-16 | 西安科技大学 | 一种基于云平台的多模态护理床bci系统 |
CN108042145A (zh) * | 2017-11-28 | 2018-05-18 | 广州视源电子科技股份有限公司 | 情绪状态识别方法和系统、情绪状态识别设备 |
CN107957780A (zh) * | 2017-12-07 | 2018-04-24 | 东南大学 | 一种基于稳态视觉诱发电位生理特性的脑机接口系统 |
CN107957780B (zh) * | 2017-12-07 | 2021-03-02 | 东南大学 | 一种基于稳态视觉诱发电位生理特性的脑机接口系统 |
CN109065184A (zh) * | 2018-07-12 | 2018-12-21 | 山东建筑大学 | 基于脑机接口的脑卒中患者语音交流看护控制系统及方法 |
CN109065184B (zh) * | 2018-07-12 | 2021-10-22 | 山东建筑大学 | 基于脑机接口的脑卒中患者语音交流看护控制系统及方法 |
CN109015635A (zh) * | 2018-08-08 | 2018-12-18 | 西安科技大学 | 一种基于脑机交互的服务机器人控制方法 |
WO2020042109A1 (zh) * | 2018-08-30 | 2020-03-05 | 西门子(中国)有限公司 | 用于安全控制的脑机接口装置以及机器人系统 |
CN109465823A (zh) * | 2018-11-06 | 2019-03-15 | 泰康保险集团股份有限公司 | 智能机器人控制方法及装置、电子设备、存储介质 |
CN110074783B (zh) * | 2019-05-17 | 2021-07-20 | 杭州师范大学 | 经颅磁刺激诱发信号的大脑皮层兴奋性及成像和量化方法 |
CN110074783A (zh) * | 2019-05-17 | 2019-08-02 | 杭州师范大学 | 经颅磁刺激诱发信号的大脑皮层兴奋性及成像和量化方法 |
CN110502101A (zh) * | 2019-05-29 | 2019-11-26 | 中国人民解放军军事科学院军事医学研究院 | 基于脑电信号采集的虚拟现实交互方法及装置 |
CN110164091A (zh) * | 2019-06-13 | 2019-08-23 | 华东师范大学 | 一种基于脑电波的疲劳驾驶监测装置 |
CN110852307A (zh) * | 2019-11-26 | 2020-02-28 | 中国科学院上海高等研究院 | 基于脑电信号的脑机接口的检测方法、系统、介质及设备 |
CN110852307B (zh) * | 2019-11-26 | 2022-07-05 | 中国科学院上海高等研究院 | 基于脑电信号的脑机接口的检测方法、系统、介质及设备 |
CN110850795A (zh) * | 2019-12-18 | 2020-02-28 | 北京航空航天大学 | 一种基于ssvep脑机接口的仪器仪表控制系统 |
CN111273578A (zh) * | 2020-01-09 | 2020-06-12 | 南京理工大学 | 基于Alpha波和SSVEP信号控制的实时脑控机器人系统及控制方法 |
CN111596572A (zh) * | 2020-05-29 | 2020-08-28 | 黄淮学院 | 一种适于脑控的智能家居仿真实验系统 |
CN113576496A (zh) * | 2021-07-08 | 2021-11-02 | 华南理工大学 | 视觉追踪的脑机接口检测系统 |
CN113849067A (zh) * | 2021-09-26 | 2021-12-28 | 华东理工大学 | 基于经验模态分解的运动想象人工数据生成方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103845137B (zh) | 2016-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103845137B (zh) | 基于稳态视觉诱发脑机接口的机器人控制方法 | |
CN106073702B (zh) | 基于小波-传递熵的多时频尺度间脑肌电耦合分析方法 | |
CN107315478B (zh) | 一种运动想象上肢智能康复机器人系统及其训练方法 | |
CN105054927B (zh) | 一种下肢康复系统中主动参与度的生物量化评估方法 | |
CN110732082B (zh) | 一种经颅直流电刺激和功能性电刺激的运动功能康复方法 | |
CN109271020B (zh) | 一种基于眼动追踪的稳态视觉诱发脑机接口性能评价方法 | |
CN100571617C (zh) | 站起想象动作脑电的信号采集和特征提取方法 | |
CN109299751B (zh) | 基于emd数据增强的卷积神经模型的ssvep脑电分类方法 | |
Lee et al. | A brain-wave-actuated small robot car using ensemble empirical mode decomposition-based approach | |
CN110238863A (zh) | 基于脑电-肌电信号的下肢康复机器人控制方法及系统 | |
CN105147281A (zh) | 便携式意识障碍刺激促醒与评估系统 | |
CN103258120A (zh) | 一种基于脑电信号的中风康复程度指标计算方法 | |
CN110974212A (zh) | 一种融合心电和肌电特征的康复训练运动状态监测方法及系统 | |
CN104571504B (zh) | 一种基于想象动作的在线脑‑机接口方法 | |
CN108742611B (zh) | 一种随机动态参数电刺激条件下的自主肌电提取方法 | |
CN112137616B (zh) | 一种多感觉脑-体联合刺激的意识检测装置 | |
CN113274032A (zh) | 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法 | |
CN100525854C (zh) | 智能型瘫痪病人辅助康复系统 | |
CN111571619A (zh) | 一种基于ssvep脑控机械臂抓取的生活辅助系统与方法 | |
CN113180992A (zh) | 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法 | |
Daud et al. | Time frequency analysis of electrooculograph (EOG) signal of eye movement potentials based on wavelet energy distribution | |
CN103300850A (zh) | 一种中风病人脑电信号采集与处理的方法 | |
CN103816007B (zh) | 一种基于脑电频域特征指标化算法的耳鸣治疗设备及方法 | |
CN114469641A (zh) | 基于肌电识别的功能性电刺激运动障碍镜像训练方法 | |
Li et al. | Smart house control system controlled by brainwave |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160302 |
|
CF01 | Termination of patent right due to non-payment of annual fee |