CN110393527B - 基于beamforming和CCA的稳态视觉诱发电位检出方法 - Google Patents

基于beamforming和CCA的稳态视觉诱发电位检出方法 Download PDF

Info

Publication number
CN110393527B
CN110393527B CN201910738544.0A CN201910738544A CN110393527B CN 110393527 B CN110393527 B CN 110393527B CN 201910738544 A CN201910738544 A CN 201910738544A CN 110393527 B CN110393527 B CN 110393527B
Authority
CN
China
Prior art keywords
ssvep
flicker frequency
space
stimulation
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910738544.0A
Other languages
English (en)
Other versions
CN110393527A (zh
Inventor
葛盛
江一川
刘慧�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910738544.0A priority Critical patent/CN110393527B/zh
Publication of CN110393527A publication Critical patent/CN110393527A/zh
Application granted granted Critical
Publication of CN110393527B publication Critical patent/CN110393527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Abstract

本发明公开了基于beamforming和CCA的稳态视觉诱发电位检出方法,属于认知神经科学、自动化控制相交叉的技术领域。针对进一步提高基于稳态视觉诱发电位的脑机接口的分类精度的需求,本发明在初期利用典型相关分析作为系统的分类方法进行脑机接口输出,并将这一阶段的稳态视觉诱发电位数据作为波束形成的训练数据;当波束形成构建稳定的激活模板后,由波束形成和典型相关分析共同作为系统的分类方法进行脑机接口输出。本发明利用波束形成和典型相关分析的混合方式,充分发挥典型相关分析无需训练以及波束形成分类精度高的优点,可以实现无训练高检出率的脑机接口系统。

Description

基于beamforming和CCA的稳态视觉诱发电位检出方法
技术领域
本发明公开了基于beamforming和CCA的稳态视觉诱发电位检出方法,尤其涉及利用稳态视觉诱发电位作为范式的脑机接口系统,属于认知神经科学、自动化控制相交叉的技术领域。
背景技术
稳态视觉诱发电位(Steady-State Visual Evoked Potentials,SSVEP)是一种常用的脑机接口(Brain-Computer Interface,BCI)范式。SSVEP信号是指用户注视某种固定频率闪烁的视觉刺激时在用户视觉皮层所激发的脑电(Electroencephalography,EEG)信号。SSVEP诱发范式由多个不同频率闪烁的视觉刺激(以下简称为SSVEP刺激)构成。定义BCI用户每一次注视某个SSVEP刺激进行意图输出为一个试次。在某个试次内,当用户注视某一个固定频率fj闪烁的视觉刺激时,在SSVEP信号对应的频谱分布中,其基频fj及倍频(k*fj,k=1,2...N,N表示倍频数)处会出现较大能量。因此,可以根据SSVEP信号呈现的频率分布特征来判断对应的SSVEP刺激的种类。在SSVEP型BCI系统中,事先构建不同SSVEP刺激与特定的意图之间的对应关系。用户就可以通过注视特定SSVEP刺激来实现意图的输出,从而实现BCI功能。
目前,对于在SSVEP型BCI系统,普遍采用典型相关分析(Canonical CorrelationAnalysis,CCA,参见Bin G.Y.et al.,.An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.Journal ofNeural Engineering,2009,6(4):1771-1779)来分析各个SSVEP刺激与SSVEP信号之间的相关性,选取与SSVEP信号相关性最高的一个SSVEP刺激的作为BCI的输出结果。CCA用于SSVEP型BCI分类的基本原理如下:利用每个SSVEP刺激频率的基频和倍频的sin和cos函数构建对应该SSVEP刺激的频率模板,以从频率模板和SSVEP信号这两组变量中分别提取的具有代表性的多个变量的线性组合构成表征原来两组变量的两个新变量,利用新变量之间的相关关系来反映频率模板和SSVEP信号之间的整体相关性。现有的CCA算法采用SSVEP刺激频率的基频和倍频的sin和cos函数构建对应的频率模板,该种模板生成方式本质上只是基于模拟信号而非生理信号,生成的模板对EEG生理信号的刻画缺乏代表性,BCI系统的分类效果有待提高。
波束形成(beamforming)是一种有效的SSVEP信号特征提取和分类方法(Wittevrongel B.et al.,Frequency-and phase encoded SSVEP using spatiotemporalbeamforming,Plos One,2016,11(8):e0159988),其原理为:对于某一试次的SSVEP信号,将各种SSVEP刺激对应的周期(频率fj的倒数)作为窗宽进行数据切割,采用与SSVEP刺激周期相同的窗宽切割SSVEP信号时,SSVEP刺激对应的各通道信号振荡周期与切割窗宽相同,信号叠加后得到加强;而其它按照不等于SSVEP刺激周期进行数据切割的信号因切割窗宽与振荡周期不同且各分段间存在相位差,信号叠加后抵消减弱;由此,时空矩阵对应两类信号:一类是采用SSVEP刺激周期切割后的数据(叠加后构成激活模板),另一类是非SSVEP刺激周期切割后的数据。对于训练数据,基于其对应的激活模板和时空矩阵构建时空间波束形成器,以经过该波束形成器后的两类信号差异最大为目标对波束形成器进行最优化设计,由此针对所有SSVEP刺激分别构建时空间波束形成器,形成时空间波束形成器组。对于测试信号,对其按照各个SSVEP刺激周期分别进行数据切割,再分别通过时空间波束形成器组进行滤波,最终选取滤波后最大输出值所对应的SSVEP刺激频率作为分类结果,从而实现SSVEP信号分类。现有的beamforming方法均需要利用一定数量的数据训练生成针对每个SSVEP刺激类别的时空间波束形成器,从而最终构成一个适用于所有SSVEP刺激类别的时空间波束形成器组。在构建完该时空间波束形成器组的基础之上,将测试数据的时空间组合向量与时空间波束形成器组经过计算得到各个SSVEP刺激类别对应的特征向量,从而完成对测试数据的特征提取,并将产生最大特征值对应的时空间波束形成器对应的SSVEP刺激类别作为SSVEP型BCI的分类输出。这种传统的beamforming方法必须经过一定数量的数据集训练后方可获得有效的时空间波束形成器组,无法满足即插即用的需求。并且一旦经训练获得时空间波束形成器组后,无法实现时空间波束形成器组的动态更新,若时空间波束形成器组效果不佳会一直影响后续系统的分类效果。
综上,CCA方法中存在的模板对EEG生理信号的刻画缺乏代表性,导致分类效果有待提高;以及beamforming方法需经过训练后方可使用,且缺乏动态更新训练模型的能力导致分类效果有待提高。
发明内容
本发明的发明目的是针对上述背景技术的不足,提出了融合CCA和beamforming两种方法(以下简称为CCA-BF)的稳态视觉诱发电位检测方法,构建了SSVEP型数字键盘输入的BCI系统。利用CCA生成beamforming所需的时空间波束形成器组,根据CCA和beamforming的分类结果更新时空间波束形成器组,省去了beamforming的训练过程,提高了以SSVEP为范式的BCI系统的分类正确率。
本发明为实现上述发明目的采用如下技术方案:
基于beamforming和CCA的稳态视觉诱发电位检出方法,包括以下四大步骤。
(一)采集SSVEP信号
在被测人员头皮枕区的配置O3、Oz和O4三通道电极作为脑电信号获取模块,采集每个试次内被测人员注视稳态视觉诱发电位刺激图片时产生的SSVEP信号。
(二)初始阶段采用典型相关分析法对每个试次内所采集的SSVEP信号进行分类
以各稳态视觉诱发电位刺激图片闪烁频率的基频fj和二倍频2fj的sin和cos函数的线性组合为频率模板,具体为sin(2π*fj*t),cos(2π*fj*t),sin(2π*2fj*t),cos(2π*2fj*t),其中,t为时刻点。计算SSVEP信号与频率模板的典型相关系数,以最大典型相关系数所对应频率模板的基频为分类结果。
(三)基于CCA分类结果构建时空间波束形成器组
根据稳态视觉诱发电位刺激图片的闪烁频率对每个试次内的SSVEP信号分段得到各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段,共包含pj个SSVEP信号片段;
组合各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段得到各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量,对各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段中的各数值叠加后取平均值得到各稳态视觉诱发电位刺激图片闪烁频率对应的时空矩阵Sj,将各稳态视觉诱发电位刺激图片闪烁频率对应的时空矩阵按照采集通道顺序首尾链接后转置得到各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量sj
根据典型相关分析结果以及各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量构建时空间波束形成器组,根据典型相关分析法对每个试次内所采集的SSVEP信号的分类结果,对每个试次内所采集SSVEP信号所属闪烁频率类别的时空组合向量的各分量叠加后取平均得到SSVEP信号所属闪烁频率类别的激活模板aj,再结合各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量的协方差矩阵∑j得到SSVEP信号所属闪烁频率类别的时空间波束形成器wj
Figure BDA0002163117050000041
(四)更新时空间波束形成器组
采用CCA和beamforming分别对新采集的SSVEP信号进行分类,输出波束形成法的分类结果;在典型相关分析法和时波束形成法的分类结果相同时,根据波束形成法对新采集SSVEP信号的分类结果更新新采集SSVEP信号所属闪烁频率类别的激活模板,再结合beamforming得到的时空组合向量更新时空间协方差矩阵,由更新后的激活模板及时空间协方差矩阵更新SSVEP信号所属闪烁频率类别的时空间波束形成器。
实现上述基于波束形成和典型相关分析的稳态视觉诱发电位检出方法的装置,包括:
刺激提示模块,用于显示激励稳态视觉诱发电位的刺激图片,
脑电信号获取模块,采集每个试次内被测人员注视稳态视觉诱发电位刺激图片时产生的SSVEP信号,
典型相关分析模块,对比稳态视觉诱发电位刺激图片闪烁频率对应的频率模板和SSVEP信号以识别每个试次内的SSVEP信号所属的分类,
波束形成分析模块,根据稳态视觉诱发电位刺激图片的闪烁频率对每个试次内的SSVEP信号分段得到各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段,组合各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段得到各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量,根据典型相关分析结果以及各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量构建时空间波束形成器组,及,
决策融合模块,比较典型相关分析模块和波束形成分析模块的分类输出,输出波束形成分析模块的分类结果,仅在典型相关分析法和时波束形成法的分类结果相同时更新波束形成分析模块中的时空间波束形成器组。
实现上述基于beamforming和CCA的稳态视觉诱发电位检出方法的脑机接口,包括:显示稳态视觉诱发电位刺激图片的数字键盘式显示器,配置在被测人员头皮枕区用于采集注视稳态视觉诱发电位刺激图片时激励的脑电信号的电极,及,计算机设备;
所述计算机设备包含存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:
采用典型相关分析法对每个试次内所采集的SSVEP信号进行分类,
根据稳态视觉诱发电位刺激图片的闪烁频率对每个试次内的SSVEP信号分段得到各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段,组合各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段得到各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量,根据CCA结果以及各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量构建时空间波束形成器组,
采用典型相关分析法以及波束形成法分别对新采集的脑电信号进行分类,输出波束形成法的分类结果,仅在CCA和beamforming的分类结果相同时更新时空间波束形成器组。
本发明采用上述技术方案,具有以下有益效果:本发明将CCA和beamforming两种方法有机融合,初始阶段由CCA生成稳定的时空间波束形成器组,后期由CCA和beamforming进行决策层融合实现分类输出,省去了beamforming的训练过程,并可更新时空间波束形成器组以提高系统的分类正确率,有效地克服了现有SSVEP型BCI系统分类中常用的CCA和beamforming方法中所存在的不足之处,即,CCA所用的模板对EEG生理信号的刻画缺乏代表性,降低了BCI系统的分类正确率;beamforming方法分类正确率高但前期需做大量的训练以获得稳定的时空间波束形成器组,且时空间波束形成器组无法更新。
附图说明
图1为系统信号处理流程图。
图2为系统实现数字键盘输出功能的示意图。
图3为刺激提示模块参数配置的示意图。
图4为典型相关分析模块原理图。
图5为波束形成分析模块原理图。
图6为决策融合模块原理图。
图7为CCA、beamforming,以及本发明提出的CCA-BF方法分类正确率的对比图。
具体实施方式
下面结合附图对发明的技术方案进行详细说明。
本发明针对现有CCA方法中存在的模板对EEG生理信号的刻画缺乏代表性,导致分类效果不佳的不足以及beamforming方法需经过训练后方可使用且因缺乏动态更新训练模型的能力导致分类效果有待提高的不足,提出融合CCA和beamforming两种方法的稳态视觉诱发电位检测方法,构建了SSVEP型数字键盘输入的BCI系统。初期利用CCA生成beamforming所需的时空间波束形成器组,待生成稳定的时空间波束形成器组之后,引入beamforming分类,并对CCA和beamforming分类结果进行决策融合并更新beamforming的时空间波束形成器组。
采用本发明公开的检出方法的SSVEP型BCI如图1所示,包括:刺激提示模块、脑电信号获取模块、典型相关分析模块、波束形成分析模块以及决策融合模块。刺激提示模块用于提示SSVEP刺激图片;脑电信号获取模块用于获取BCI用户注视SSVEP刺激诱发产生的SSVEP信号;典型相关分析模块用于对SSVEP刺激的频率模板以及SSVEP信号进行相关性分析获得分类结果;波束形成分析模块用于对SSVEP信号进行时空间滤波获得分类结果;决策融合模块用于针对典型相关分析模块和波束形成分析模块的分类输出进行融合。BCI运作初始阶段的若干个试次,由典型相关分析模块进行分类并训练生成波束形成分析所需要的时空间波束形成器组,后期由决策融合模块更新时空间波束形成器组。
系统实现数字键盘输出功能如图2所示,由显示器显示4行3列的数字键盘,具体为:0-9的10个数字键以及实现输入删除的Delete键和确认全部输入完毕的Enter键,屏幕最上方的文本框回显用户既往键入的数字串。某一试次用户通过注视屏幕上特定数字键实现数字的选择,选中的数字将回显在屏幕最上方的文本框内;用户可以通过注视Delete键对已经选中的数字进行删除;当所有数字输入完毕后,用户通过注视Enter键实现对所有输入数字的最终确认并发送至计算机,实现通过意念控制数字键盘输出的功能。
刺激提示模块所采用的参数如图3所示,对应显示器显示4行3列的数字键盘,所用的SSVEP刺激的闪烁频率分别设置为:1(8.8Hz),2(13Hz),3(10.9Hz),4(15.1Hz),5(9.5Hz),6(13.7Hz),7(11.6Hz),8(15.8Hz),9(8.1Hz),0(10.2Hz),Delete(12.3Hz),Enter(14.4Hz)。按照上述频率构成的sin波函数,SSVEP刺激的灰度值随sin波函数的振幅而改变。每个试次内SSVEP刺激闪烁2秒,试次之间间隔为2秒。
典型相关分析模块的原理如图4所示,CCA的输入为模板信号和SSVEP信号。将刺激图片的频率的基频fj和二倍频2fj的sin和cos函数sin(2π*fj*t),cos(2π*fj*t),sin(2π*2fj*t),cos(2π*2fj*t)的线性组合构成频率fj对应的频率模板Xj,其中,t为时刻点;将视觉区的O3,Oz和O4获取的3通道SSVEP信号的线性组合构成脑电信号组合Y;对于不同频率fj,分别求Xj和Y的相关系数ρj。将最大ρj对应的频率fj作为CCA的分类输出。
波束形成分析模块的原理如图5所示,包含训练阶段和分类阶段。
1、训练阶段:采用若干个试次的SSVEP信号构建训练集
Figure BDA0002163117050000071
其中,m表示通道数,n表示采样点个数,l表示试次个数,k表示类别数,训练集中包含k个类别,每个类别包含相等数量的r个样本,其中,r=ltrain/k,基于Xtrain构建属于不同类别的时空间波束形成器组,具体步骤如下:
for i=1:ltrain
对于第i试次的数据,如图5所示进行操作,
for j=1:k
1)根据频率fj将第i个试次的训练集数据xi分为pj段,每段包含hj=[fs/fj]个采样点,其中,fj为类别j所对应的刺激频率,pj=[n/hj],[·]为取整符号,fs为采样频率,
2)对pj个分段进行叠加后取平均得到时空矩阵
Figure BDA0002163117050000081
将Sj按行(通道)顺序首尾链接并转置构成时空组合向量
Figure BDA0002163117050000082
所得sj按列存入矩阵
Figure BDA0002163117050000083
3)若xi属于类别j,则将其对应时空组合向量sj按列存入矩阵
Figure BDA0002163117050000084
1)将Aj中的各向量按列(试次)进行叠加后取平均得到属于类别j的激活模板
Figure BDA0002163117050000085
2)计算Cj的时空间协方差矩阵
Figure BDA0002163117050000086
3)将aj与∑j带入
Figure BDA0002163117050000087
求解得到属于类别j的时空间波束形成器
Figure BDA0002163117050000088
end
2、分类阶段:定义第i个试次待分类的SSVEP信号为测试数据Xi∈Rm×n,对Xi进行分类:
1)将Xi分为pj段,每段包含hj=[fs/fj]个采样点,其中,fj为类别j所对应的刺激频率,pj=[n/hj],
2)对pj个分段进行叠加后取平均得到矩阵
Figure BDA0002163117050000091
将Sj按行(通道)顺序首尾链接并转置构成时空组合向量
Figure BDA0002163117050000092
3)for j=1:k
将sj转置后代入
Figure BDA0002163117050000093
与所有wj分别计算得到yj
end
4)得到第i个试次的待分类数据Xi对应的特征向量y=[y1,y2,...yk],取最大yj对应的类别j作为Xi的分类结果。
end
决策融合模块的原理如图6所示,将典型相关分析模块和波束形成分析模块的分类输出结果进行比较,无论是否相同,都以波束形成分析模块的分类输出结果作为系统的分类结果输出。当典型相关分析模块和波束形成分析模块的分类输出结果相同时,基于波束形成分析模块分类结果和时空组合向量更新激活模板和时空间协方差矩阵,并进一步更新波束形成分析模块中的时空间波束形成器组。
图7为CCA、beamforming以及本发明提出的CCA-BF方法对应的11名被测人员的平均分类正确率。如图所示,beamforming和CCA-BF的分类正确率均高于90%,其中beamforming显著高于CCA(P<0.001),CCA-BF显著高于CCA(P<0.01)。beamforming正确率略高于CCA-BF但无统计差异(P>0.05)。beamforming方法前期需要利用一定数量的数据训练生成针对每个SSVEP刺激类别的时空间波束形成器,而本方案提出的CCA-BF无需训练过程。本方案提出的方法即能达到beamforming相当的分类正确率,又能省去beamforming必需的训练过程,同时,后期还可更新时空间波束形成器组以提高系统的分类正确率,因此,本方案提出的方法可以构建高精度的稳态视觉诱发电位检出系统并基于该系统实现以SSVEP为范式的脑机接口。

Claims (6)

1.基于beamforming和CCA的稳态视觉诱发电位检出方法,其特征在于,
采集每个试次内被测人员注视SSVEP刺激时产生的SSVEP信号;
采用典型相关分析法对每个试次内所采集的SSVEP信号进行分类;
根据SSVEP刺激的闪烁频率对每个试次内的SSVEP信号分段得到各SSVEP刺激闪烁频率对应的SSVEP信号片段,组合各SSVEP刺激闪烁频率对应的SSVEP信号片段得到各SSVEP刺激闪烁频率对应的时空组合向量,根据典型相关分析法对每个试次内所采集的SSVEP信号的分类结果,对每个试次内所采集SSVEP信号所属闪烁频率类别的时空组合向量的各分量叠加后取平均得到SSVEP信号所属闪烁频率类别的激活模板,再结合各SSVEP刺激闪烁频率对应的时空组合向量的协方差矩阵得到SSVEP信号所属闪烁频率类别的时空间波束形成器,
Figure FDA0003325789560000011
wj为SSVEP信号所属闪烁频率类别的时空间波束形成器,aj为SSVEP信号所属闪烁频率类别的激活模板,Σj为各SSVEP刺激闪烁频率对应的时空组合向量的协方差矩阵;
采用典型相关分析法以及波束形成法分别对新采集的SSVEP信号进行分类,输出波束形成法的分类结果,根据波束形成法的当前分类结果更新SSVEP信号所属闪烁频率类别的激活模板,再结合波束形成法得到的时空组合向量更新时空间协方差矩阵,由更新后的激活模板及时空间协方差矩阵更新SSVEP信号所属闪烁频率类别的时空间波束形成器。
2.根据权利要求1所述基于beamforming和CCA的稳态视觉诱发电位检出方法,其特征在于,组合各SSVEP刺激闪烁频率对应的SSVEP信号片段得到各SSVEP刺激闪烁频率对应的时空组合向量的方法为:从各SSVEP刺激闪烁频率对应的SSVEP信号片段中提取各SSVEP刺激闪烁频率对应的时空矩阵,将各SSVEP刺激闪烁频率对应的时空矩阵按照采集通道顺序首尾链接后转置得到各SSVEP刺激闪烁频率对应的时空组合向量。
3.根据权利要求1所述基于beamforming和CCA的稳态视觉诱发电位检出方法,其特征在于,采用典型相关分析法对每个试次内所采集的SSVEP信号进行分类的具体过程为:以各SSVEP刺激闪烁频率的基频和二倍频的sin和cos函数的线性组合为频率模板,计算SSVEP信号与频率模板的典型相关系数,以最大典型相关系数所对应频率模板的基频所对应的SSVEP刺激为分类结果。
4.实现权利要求1至3中任意一项所述基于beamforming和CCA的稳态视觉诱发电位检出方法的装置,其特征在于,包括:
刺激提示模块,用于显示SSVEP刺激,
脑电信号获取模块,采集每个试次内被测人员注视SSVEP刺激时产生的SSVEP信号,
典型相关分析模块,对比SSVEP刺激闪烁频率对应的频率模板和SSVEP信号以识别每个试次内的SSVEP信号所属的分类,
波束形成分析模块,根据SSVEP刺激的闪烁频率对每个试次内的SSVEP信号分段得到各SSVEP刺激闪烁频率对应的SSVEP信号片段,组合各SSVEP刺激闪烁频率对应的SSVEP信号片段得到各SSVEP刺激闪烁频率对应的时空组合向量,根据典型相关分析法对每个试次内所采集的SSVEP信号的分类结果,对每个试次内所采集SSVEP信号所属闪烁频率类别的时空组合向量的各分量叠加后取平均得到SSVEP信号所属闪烁频率类别的激活模板,再结合各SSVEP刺激闪烁频率对应的时空组合向量的协方差矩阵得到SSVEP信号所属闪烁频率类别的时空间波束形成器,
Figure FDA0003325789560000021
wj为SSVEP信号所属闪烁频率类别的时空间波束形成器,aj为SSVEP信号所属闪烁频率类别的激活模板,Σj为各SSVEP刺激闪烁频率对应的时空组合向量的协方差矩阵,及,
决策融合模块,比较典型相关分析模块和波束形成分析模块的分类输出,输出波束形成分析模块的分类结果,根据波束形成法的当前分类结果更新SSVEP信号所属闪烁频率类别的激活模板,再结合波束形成法得到的时空组合向量更新时空间协方差矩阵,由更新后的激活模板及时空间协方差矩阵更新SSVEP信号所属闪烁频率类别的时空间波束形成器。
5.实现权利要求1至3中任意一项所述基于beamforming和CCA的稳态视觉诱发电位检出方法的脑机接口,其特征在于,包括:显示SSVEP刺激的数字键盘式显示器,配置在被测人员头皮枕区用于采集注视SSVEP刺激时产生的SSVEP信号的电极,及,计算机设备;
所述计算机设备包含存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以下步骤:
采用典型相关分析法对每个试次内所采集的SSVEP信号进行分类,
根据SSVEP刺激的闪烁频率对每个试次内的SSVEP信号分段得到各SSVEP刺激闪烁频率对应的SSVEP信号片段,组合各SSVEP刺激闪烁频率对应的SSVEP信号片段得到各SSVEP刺激闪烁频率对应的时空组合向量,根据典型相关分析法对每个试次内所采集的SSVEP信号的分类结果,对每个试次内所采集SSVEP信号所属闪烁频率类别的时空组合向量的各分量叠加后取平均得到SSVEP信号所属闪烁频率类别的激活模板,再结合各SSVEP刺激闪烁频率对应的时空组合向量的协方差矩阵得到SSVEP信号所属闪烁频率类别的时空间波束形成器,
Figure FDA0003325789560000031
wj为SSVEP信号所属闪烁频率类别的时空间波束形成器,aj为SSVEP信号所属闪烁频率类别的激活模板,Σj为各SSVEP刺激闪烁频率对应的时空组合向量的协方差矩阵,
采用典型相关分析法以及波束形成法分别对新采集的SSVEP信号进行分类,输出波束形成法的分类结果,根据波束形成法的当前分类结果更新SSVEP信号所属闪烁频率类别的激活模板,再结合波束形成法得到的时空组合向量更新时空间协方差矩阵,由更新后的激活模板及时空间协方差矩阵更新SSVEP信号所属闪烁频率类别的时空间波束形成器。
6.根据权利要求5所述的脑机接口,其特征在于,所述数字键盘式显示器显示包含0至9的10个数字键、删除键、确认键的12幅SSVEP刺激,各SSVEP刺激的闪烁频率不同,被测人员注视过的数字键回显在显示器屏幕上。
CN201910738544.0A 2019-08-12 2019-08-12 基于beamforming和CCA的稳态视觉诱发电位检出方法 Active CN110393527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910738544.0A CN110393527B (zh) 2019-08-12 2019-08-12 基于beamforming和CCA的稳态视觉诱发电位检出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910738544.0A CN110393527B (zh) 2019-08-12 2019-08-12 基于beamforming和CCA的稳态视觉诱发电位检出方法

Publications (2)

Publication Number Publication Date
CN110393527A CN110393527A (zh) 2019-11-01
CN110393527B true CN110393527B (zh) 2021-12-28

Family

ID=68327990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910738544.0A Active CN110393527B (zh) 2019-08-12 2019-08-12 基于beamforming和CCA的稳态视觉诱发电位检出方法

Country Status (1)

Country Link
CN (1) CN110393527B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477405A (zh) * 2009-01-05 2009-07-08 清华大学 基于左右视野两个频率刺激的稳态视觉诱发脑机接口方法
CN104182048A (zh) * 2014-08-27 2014-12-03 西安科技大学 基于脑机接口的电话系统及其方法
CN105549743A (zh) * 2016-01-18 2016-05-04 中国医学科学院生物医学工程研究所 一种基于脑-机接口的机器人系统及实现方法
CN105929937A (zh) * 2016-03-11 2016-09-07 南京邮电大学 一种基于稳态视觉诱发电位的手机音乐播放系统
CN107714331A (zh) * 2017-09-13 2018-02-23 西安交通大学 基于视觉诱发脑机接口的智能轮椅控制及路径优化方法
CN107957780A (zh) * 2017-12-07 2018-04-24 东南大学 一种基于稳态视觉诱发电位生理特性的脑机接口系统
WO2018117439A1 (ko) * 2016-12-23 2018-06-28 계명대학교 산학협력단 뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130127708A1 (en) * 2010-05-28 2013-05-23 The Regents Of The University Of California Cell-phone based wireless and mobile brain-machine interface
WO2014138925A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477405A (zh) * 2009-01-05 2009-07-08 清华大学 基于左右视野两个频率刺激的稳态视觉诱发脑机接口方法
CN104182048A (zh) * 2014-08-27 2014-12-03 西安科技大学 基于脑机接口的电话系统及其方法
CN105549743A (zh) * 2016-01-18 2016-05-04 中国医学科学院生物医学工程研究所 一种基于脑-机接口的机器人系统及实现方法
CN105929937A (zh) * 2016-03-11 2016-09-07 南京邮电大学 一种基于稳态视觉诱发电位的手机音乐播放系统
WO2018117439A1 (ko) * 2016-12-23 2018-06-28 계명대학교 산학협력단 뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법
CN107714331A (zh) * 2017-09-13 2018-02-23 西安交通大学 基于视觉诱发脑机接口的智能轮椅控制及路径优化方法
CN107957780A (zh) * 2017-12-07 2018-04-24 东南大学 一种基于稳态视觉诱发电位生理特性的脑机接口系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Filter Bank Spatiotemporal Beamforming for;Jiang YC et al;《IEEE EMBS International Conference on Biomedical and Health Informatics(BHI)》;20190522;全文 *
The Combination of CCA and PSDA Detection Methods in a;Ruimin Wang et al;《Proceeding of the 11th World Congress on Intelligent Control and Automation》;20140704;全文 *
数字助听器若干关键算法研究现状综述;赵力等;《数据采集与处理》;20150315(第02期);全文 *
稳态视觉诱发电位型脑机接口的优化的研究;孙高鹏;《中国优秀博硕士学位论文全文数据库(硕士) 基础科学辑》;20190515;A006-279 *

Also Published As

Publication number Publication date
CN110393527A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN104503580B (zh) 一种对稳态视觉诱发电位脑‑机接口目标的识别方法
Bigdely-Shamlo et al. Brain activity-based image classification from rapid serial visual presentation
Citi et al. P300-based BCI mouse with genetically-optimized analogue control
CN109255366B (zh) 一种针对在线学习的情感状态调节系统
Euán et al. Spectral synchronicity in brain signals
CN108324292B (zh) 基于脑电信号的室内视觉环境满意度分析方法
CN107656612B (zh) 基于p300-ssvep的大指令集脑-机接口方法
Santhanam et al. An extensible infrastructure for fully automated spike sorting during online experiments
CN107957780B (zh) 一种基于稳态视觉诱发电位生理特性的脑机接口系统
Fujiwara et al. A visual analytics system for brain functional connectivity comparison across individuals, groups, and time points
Bhardwaj et al. An analysis of integration of hill climbing in crossover and mutation operation for eeg signal classification
Salehin et al. Affective video events summarization using EMD decomposed EEG signals (EDES)
CN101833669A (zh) 视听联合刺激产生事件相关电位的特征提取方法
CN110393527B (zh) 基于beamforming和CCA的稳态视觉诱发电位检出方法
Kovács-Bálint et al. Automatic detection of trustworthiness of the face: a visual mismatch negativity study
CN116596046A (zh) 一种利用脑电信号和视觉特征进行图像重构的方法
Abdelnabi et al. Towards high-frequency SSVEP-based target discrimination with an extended alphanumeric keyboard
CN115281692A (zh) 一种闭环自适应经颅电刺激装置和方法
CN115392287A (zh) 一种基于自监督学习的脑电信号在线自适应分类方法
Wang et al. Ascertaining neuron importance by information theoretical analysis in motor brain–machine interfaces
CN113662564B (zh) 一种基于本征模函数相干分析的事件诱发电位提取装置
Zhang et al. Implement an asynchronous online SSVEP-based brain computer interface
Rutkowski et al. Information fusion for perceptual feedback: A brain activity sonification approach
Montoya-Martínez et al. Structured sparsity regularization approach to the EEG inverse problem
Zhang et al. Emotion recognition in natural scene images based on brain activity and gist

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant