CN106569604A - 视听双模态语义匹配和语义失配协同刺激脑机接口范式 - Google Patents
视听双模态语义匹配和语义失配协同刺激脑机接口范式 Download PDFInfo
- Publication number
- CN106569604A CN106569604A CN201610972089.7A CN201610972089A CN106569604A CN 106569604 A CN106569604 A CN 106569604A CN 201610972089 A CN201610972089 A CN 201610972089A CN 106569604 A CN106569604 A CN 106569604A
- Authority
- CN
- China
- Prior art keywords
- brain
- audiovisual
- data
- semantic
- computer interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及脑机接口(BCI)范式,为提出一种新的BCI视听觉双模态刺激范式,为研究在脑‑机接口范式下大脑对视听觉协同关系的响应机制奠定基础。从而可以有助于更深层次理解大脑对视听刺激的反应机制及完善视听双模态脑‑机接口系统,并有望获得可观的社会效益和经济效益。本发明采用的技术方案是,视听双模态语义匹配和语义失配协同刺激脑机接口范式,采集不同刺激范式下的行为学数据和脑电信号,通过对行为学数据分析、脑电信号特征的提取和分析、不同范式下目标刺激与非目标刺激的分类等实现脑控命令的输出。本发明主要应用于脑机接口场合。
Description
技术领域
本发明涉及脑机接口(BCI)范式,具体讲,涉及基于视听双模态语义匹配与语义失配协同范式的脑机接口。
背景技术
脑-机接口(BCI)是一种新型的交互方式,可以不通过肢体或者外围神经肌肉便可以实现人与电脑或者其他机器设备的交互,最终使“思想”变成“行动”。在目前BCI系统的研究和应用中,人们普遍认为基于事件相关电位(ERP)的BCI系统(ERP-BCI)是较为高效和稳定的。在ERP-BCI系统中,用户可以通过对视觉、听觉等刺激的选择性注意来实现对目标字符或任务的选择。
目前针对视听觉信息的ERP-BCI系统多是针对单一模态的研究,其研究方案有限,系统效率也很难再提高。视听多模态信息研究存在的问题是,基于视听信息的BCI系统无法体现视听双模态信息的优越性,且目前研究所得到的结论并不一致,同时缺乏脑机接口应用下合理的大脑响应机制。神经心理学的研究发现大脑对“视觉+听觉”双模态的刺激相较于单模态刺激(视觉或听觉)具有更强的响应特性,并且受试者对视觉刺激的反应要强于对听觉刺激的反应。然而,实际应用的BCI研究指出视觉相关的双模态刺激相较于单独的视觉刺激并不存在显著性差别。目前,BCI中视觉相关的双模态刺激与单独的视觉刺激所诱发产生的事件相关电位(Event-Related Potential,ERP)具有的差别也并不明显,相对于视、听单模态的刺激范式,视听双模态刺激的BCI系统并没有体现出优越性。如何在BCI系统的应用中体现视听觉双模态范式的优越性是亟待解决的问题。
优化基于视听双模态的BCI系统需要深入理解大脑对多模态信息的获取和处理的机制。视觉与听觉信息之间存在着协同关系。这种关系属于多感觉信息之间的整合,这种整合对于人类的感觉、认知和记忆都具有重要作用。协同关系是表示当视、听觉信息所代表含义相同,大脑对视听觉融合信息进行响应时的双模态信息之间的关系,这时候的大脑响应机制简称为“协同机制”。因此可以考虑多角度地来研究大脑对视听觉信息响应的协同机制,从而改善BCI系统的刺激范式,使得基于视听觉多模态信息的BCI系统取得重大突破。
发明内容
为克服现有技术的不足,本发明旨在提出一种新的BCI视听觉双模态刺激范式,为研究在脑-机接口范式下大脑对视听觉协同关系的响应机制奠定基础。从而可以有助于更深层次理解大脑对视听刺激的反应机制及完善视听双模态脑-机接口系统,并有望获得可观的社会效益和经济效益。本发明采用的技术方案是,视听双模态语义匹配和语义失配协同刺激脑机接口范式,采集不同刺激范式下的行为学数据和脑电信号,通过对行为学数据分析、脑电信号特征的提取和分析、不同范式下目标刺激与非目标刺激的分类等实现脑控命令的输出。
视听双模态语义匹配和语义失配协同刺激范式中视觉刺激分为两种,一种是不同颜色的大写字母,称为“语音相关”刺激方式;另一种视觉刺激为不同颜色不同形状的几何图形呈现,称为“语音无关”刺激方式;听觉刺激拟统一选取对应的单音节语音刺激;
视觉刺激通过电脑显示器呈现在屏幕的中央位置,听觉刺激则通过耳机输出到左右双耳,被试需要同时注意视觉刺激与听觉刺激,数据的采集过程包括对行为学数据的采集和对脑电数据的采集。在不进行脑电采集的情况下需要对视觉和听觉目标刺激进行按键反应,以采集被试的分类正确率和反应时间等特征。脑电信号采集时通过64导脑电采集系统采集被试进行视听双模态各范式下的脑电信号;
行为学数据包括被试按键反应数据和被试任务相关量表主观打分,按键反应主要由Eprime软件采集,主观量表打分则以问卷形式提供。
1)行为学数据分析具体是:
行为学数据分析主要包括对被试反应正确率,反应时和量表评分的统计分析,其中包括对多名被试的叠加平均,方差分析,从而可以得出被试在不同的实验范式或者实验参数下的反应速度、反应精度、主观意愿;
2)脑电信号特征的提取和分析包括VAERP的时-空域特征提取,具体是:
在对视听双模态事件相关电位VAERP信号进行特征提取之前需对采集到的原始脑电信号进行预处理,其预处理过程主要包括:变参考电极,滤波,降维,去伪迹,数据分段,基线校正;
VAERP的时域特征是指在整个选取的时间段某一导联的波形特征,而VAERP空间域特征则指的是某一时刻VAERP信号在头皮各导联的分布情况,则待分析的数据为其中k是指第k个刺激呈现,M为导联的个数,T为采样点个数;为了减少特征的维度,选取几个特定时间间隔内的特征进行叠加平均,并以均值来代表这个时间段内的特征值,并将选定导联在这些时刻的均值总体作为待分类信号的总特征;
选定的导联组为集合C,选定的所有I段时间间隔为T=<Tm>m=1,…,I,其中Tm表示第m段时间间隔,用t代表选取的时间间隔内的采样点时刻,定义时-空特性为
在选定时间间隔时,使用的可分性算法为带符号的R2算法,逐一时刻的目标刺激与非目标刺激的相关系数r-value为:
带符号的R2定义为sgn R2:=sign(r)·r2,其中μ1表示属于目标刺激样本数据的均值,μ2表示属于非目标刺激样本数据的均值,N1表示属于目标刺激的样本数,N2表示属于非目标刺激的样本数,σ表示所有样本的标准差;
将各导联各时段的可分性进行比较选取R2在某一范围内的数个时间段和导联组合,由于在选定的时间段内的数据将会平均而得到这一时段的平均值,在选取时间段时,应尽量选取空间模式相对稳定的时间段,从而得到降维的VAERP时-空域特征。
3)目标刺激与非目标刺激的分类包括基于VAERP特征的分类,具体是:
二分类的线性分类函数将输入数据即时空域特征X(C,T)简写为x,用对应的wTx+b的符号来作为分类标准,如下所示:
其中表示第一类均值的估计,表示第二类均值的估计,为两类之间的期望协方差矩阵的均值,即公共协方差矩阵的估计,为避免有限数据点的高维数据给这一估计带来的误差,利用收缩算法作为修正算法来补偿估计的协方差矩阵系统性偏差:
使为n个特征向量,d为特征空间的维度,且
其中和为均值和协方差矩阵的无偏估计量。为了抵消估计误差,由以下量来代替。
其中γ∈[0,1]为收缩参数,并且ν为矩阵在特征空间维度的特征值的平均值即其中d为特征空间的维度,用(xk)i和分别表示向量xk和的第i个元素,并用sij表示矩阵的第i行,第j列的数据,中间量zij可以表示为:
则收缩参数为:
根据特征提取阶段所获得的VAERP信号的时-空域特征利用改进的线性分类器算法训练分类器并对之后的输入特征进行分类,最终实现脑控命令的输出。
本发明的特点及有益效果是:
神经心理学的研究表明视听双模态刺激范式具有幅值高,响应大,反应速度快的特性,然而在脑机接口的应用中,视听双通道的刺激并未完全体现出上述优势。通过设计视听语义匹配与语义失配的视听协同刺激范式,可以研究语义匹配与失配对大脑响应特性及BCI系统性能的影响,从而研究大脑对视听双模态交互刺激的协同机制,对进一步设计合理的BCI范式并提高脑-机接口效率有重要的意义。
附图说明:
图1技术路线示意图。
图2视听双模态刺激语义匹配和失配协同机制示意图。
图3为本发明所用脑机接口范式实验结构示意图。
具体实施方式
本发明提出了一种基于视听双模态语义匹配与失配协同机制的脑机接口(BCI)范式。协同关系是表示当视、听觉信息所代表含义相同,大脑对视听觉融合信息进行响应时的双模态信息之间的关系,这时候的大脑响应机制简称为“协同机制”。本发明通过将传统的单一模态刺激方式转变成有视觉和听觉同时刺激的双模态刺激方式,从而诱发出相应的视听双模态事件相关电位信号(VAERP),通过对VAERP特征的提取和分类可以实现脑控命令的输出。该设计有助于研究视听双模态在不同刺激范式下的协同机制。
本发明在充分考察分析国内外研究现状和发展动态以及在开展了相应前期预实验研究的基础上,提出了不同视听双模态的协同实验范式,从而为视听双模态认知信息的交互协同机制及未来基于视听觉信息的BCI系统的范式设计和参数设置提供理论基础。
本发明采用的技术方案为:设计视听双模态语义匹配和语义失配协同刺激范式,采集不同刺激范式下的行为学数据和脑电信号,通过对行为学数据分析、脑电信号特征的提取和分析、不同范式下目标刺激与非目标刺激的分类等实现脑控命令的输出。并为进一步构建大脑对视听双模态刺激的协同相应机制奠定基础。图1为本发明方法的技术方案示意图。
1.1实验范式设计
本设计中拟使用的视觉刺激分为两种,一种是四个不同颜色的大写字母,如:‘A’,‘B’,‘C’,‘D’,称为“语音相关”刺激方式;另一种视觉刺激为四种不同颜色不同形状的几何图形呈现如图所示,称为“语音无关”刺激方式。听觉刺激拟统一选取对应的单音节语音刺激即:‘ei’,‘bi’,‘ci’,‘di’的发音。
视觉、听觉刺激的呈现方式为成对呈现。每一类型的视觉刺激与听觉刺激一一对应,视觉目标刺激呈现时对应的听觉目标也相应呈现。项目首先通过视觉刺激的选取可以实现语义匹配和语义失配的实验范式,实现方式如图2所示。
1.2数据采集过程
图3为本发明所用脑机接口范式实验结构示意图。视觉刺激通过电脑显示器呈现在屏幕的中央位置,听觉刺激则通过耳机输出到左右双耳。被试需要同时注意视觉刺激与听觉刺激。数据的采集过程包括对行为学数据的采集和对脑电数据的采集。在不进行脑电采集的情况下需要对视觉和听觉目标刺激进行按键反应,以采集被试的分类正确率和反应时间等特征。另外,还需要被试填写与任务相关的主观量表。脑电信号采集时通过64导脑电采集系统,采集被试进行视听双模态各范式下的脑电信号。
行为学数据包括被试按键反应数据和被试任务相关量表主观打分。按键反应主要由Eprime软件采集,主观量表打分则以问卷形式提供。
本发明使用Neuroscan公司的Scan4.5数字采集系统采集64导联脑电数据。实验所用电极均为Ag/AgCl电极;以鼻尖作为参考电极,脑电采样频率为1000Hz,滤波通带为0.5~100Hz,并采用50Hz陷波器去除工频干扰。
1.3特征提取与分类
1)行为学数据分析
行为学数据分析主要包括对被试反应正确率,反应时和量表评分的统计分析。其中包括对多名被试的叠加平均,方差分析等,从而可以得出被试在不同的实验范式或者实验参数下的反应速度、反应精度、主观意愿等。
2)VAERP的时-空域特征提取
在对视听双模态事件相关电位(VAERP)信号进行特征提取之前需对采集到的原始脑电信号进行预处理。其预处理过程主要包括:变参考电极,滤波,降维,去伪迹,数据分段,基线校正。该部分的处理可以利用EEGLAB工具箱完成。
VAERP信号的特征主要包含时域特征与空间域特征。VAERP的时域特征是指在整个选取的时间段某一导联的波形特征,而空间域特征则指的是某一时刻VAERP信号在头皮各导联的分布情况。则待分析的数据为其中k是指第p个刺激呈现,M为导联的个数,N为采样点个数。为了减少特征的维度,本发明将选取几个特定时间间隔内的特征进行叠加平均,并以均值来代表这个时间段内的特征值,并将选定导联在这些时刻的均值总体作为待分类信号的总特征,从而可以达到减少特征维度的作用。
选定的导联组为集合C,选定的所有I段时间间隔为T=<Tm>m=1,…,I,其中Tm表示第m段时间间隔。用t代表选取的时间间隔内的采样点时刻。可以定义时-空特性为
在选定时间间隔时,使用的可分性算法为带符号的R2算法(signed-r2-value)。逐一时刻的目标刺激与非目标刺激的相关系数(r-value)为:
带符号的R2定义为sgn R2:=sign(r)·r2。其中μ1表示属于目标刺激样本数据的均值,μ2表示属于非目标刺激样本数据的均值,N1表示属于目标刺激的样本数,N2表示属于非目标刺激的样本数,σ表示所有样本的标准差。将各导联各时段的可分性进行比较选取sgn R2在某一范围内的数个时间段,导联组作为选定的导联组合和时间段组合。由于在选定的时间段内的数据将会平均得到这一时段的平均值,在选取时间段时,应尽量选取空间模式相对稳定的时间段。从而可以得到降维的VAERP时-空域特征。
3)基于VAERP特征的分类
二分类的线性分类函数将输入数据(即时空域特征)X(C,T)简写为x,可以用对应的wTx+b的符号来作为分类标准。如下所示:
其中表示第一类均值的估计,表示第二类均值的估计,为两类之间的期望协方差矩阵的均值,即公共协方差矩阵的估计。为避免有限数据点的高维数据给这一估计带来的误差,通常利用收缩算法作为修正算法来补偿估计的协方差矩阵系统性偏差。
使为n个特征向量,d为特征空间的维度,且
其中和为均值和协方差矩阵的无偏估计量。为了抵消估计误差,由以下量来代替。
其中γ∈[0,1]为收缩参数,并且ν为矩阵在特征空间维度的特征值的平均值即其中d为特征空间的维度。用(xk)i和分别表示向量xk和的第i个元素,并用sij表示矩阵的第i行,第j列的数据。中间量zij可以表示为:
则收缩参数为:
根据特征提取阶段所获得的VAERP信号的时-空域特征利用改进的线性分类器算法(sLDA算法)训练分类器并对之后的输入特征进行分类,最终可以实现脑控命令的输出。
本发明提出了一种基于视听语义匹配与语义失配协同关系的双模态脑接机口(BCI)范式。该项发明可以用于充分利用视听双模态刺激的优势完善脑-机接口系统,并进一步用于康复医疗、航天航空、生活娱乐等领域,有望获得可观的社会效益和经济效益。
Claims (4)
1.一种视听双模态语义匹配和语义失配协同刺激脑机接口范式,其特征是,采集不同刺激范式下的行为学数据和脑电信号,通过对行为学数据分析、脑电信号特征的提取和分析、不同范式下目标刺激与非目标刺激的分类等实现脑控命令的输出。
2.如权利要求1所述的视听双模态语义匹配和语义失配协同刺激脑机接口范式,其特征是,视听双模态语义匹配和语义失配协同刺激范式中视觉刺激分为两种,一种是不同颜色的大写字母,称为“语音相关”刺激方式;另一种视觉刺激为不同颜色不同形状的几何图形呈现,称为“语音无关”刺激方式;听觉刺激拟统一选取对应的单音节语音刺激;
视觉刺激通过电脑显示器呈现在屏幕的中央位置,听觉刺激则通过耳机输出到左右双耳,被试需要同时注意视觉刺激与听觉刺激,数据的采集过程包括对行为学数据的采集和对脑电数据的采集。在不进行脑电采集的情况下需要对视觉和听觉目标刺激进行按键反应,以采集被试的分类正确率和反应时间等特征。脑电信号采集时通过64导脑电采集系统采集被试进行视听双模态各范式下的脑电信号;
行为学数据包括被试按键反应数据和被试任务相关量表主观打分,按键反应主要由Eprime软件采集,主观量表打分则以问卷形式提供。
3.如权利要求1所述的视听双模态语义匹配和语义失配协同刺激脑机接口范式,其特征是,在一个具体实例中,具体步骤是:
1)行为学数据分析具体是:
行为学数据分析主要包括对被试反应正确率,反应时和量表评分的统计分析,其中包括对多名被试的叠加平均,方差分析,从而可以得出被试在不同的实验范式或者实验参数下的反应速度、反应精度、主观意愿;
2)脑电信号特征的提取和分析包括VAERP的时-空域特征提取,具体是:
在对视听双模态事件相关电位VAERP信号进行特征提取之前需对采集到的原始脑电信号进行预处理,其预处理过程主要包括:变参考电极,滤波,降维,去伪迹,数据分段,基线校正;
VAERP的时域特征是指在整个选取的时间段某一导联的波形特征,而VAERP空间域特征则指的是某一时刻VAERP信号在头皮各导联的分布情况,则待分析的数据为其中k是指第k个刺激呈现,M为导联的个数,T为采样点个数;为了减少特征的维度,选取几个特定时间间隔内的特征进行叠加平均,并以均值来代表这个时间段内的特征值,并将选定导联在这些时刻的均值总体作为待分类信号的总特征;
选定的导联组为集合C,选定的所有I段时间间隔为T=<Tm>m=1,…,I,其中Tm表示第m段时间间隔,用t代表选取的时间间隔内的采样点时刻,定义时-空特性为
在选定时间间隔时,使用的可分性算法为带符号的R2算法,逐一时刻的目标刺激与非目标刺激的相关系数r-value为:
带符号的R2定义为sgn R2:=sign(r)·r2,其中μ1表示属于目标刺激样本数据的均值,μ2表示属于非目标刺激样本数据的均值,N1表示属于目标刺激的样本数,N2表示属于非目标刺激的样本数,σ表示所有样本的标准差;
将各导联各时段的可分性进行比较选取R2在某一范围内的数个时间段和导联组合,由于在选定的时间段内的数据将会平均而得到这一时段的平均值,在选取时间段时,应尽量选取空间模式相对稳定的时间段,从而得到降维的VAERP时-空域特征。
4.如权利要求3所述的视听双模态语义匹配和语义失配协同刺激脑机接口范式,其特征是,目标刺激与非目标刺激的分类包括基于VAERP特征的分类,具体是:
二分类的线性分类函数将输入数据即时空域特征X(C,T)简写为x,用对应的wTx+b的符号来作为分类标准,如下所示:
其中表示第一类均值的估计,表示第二类均值的估计,为两类之间的期望协方差矩阵的均值,即公共协方差矩阵的估计,为避免有限数据点的高维数据给这一估计带来的误差,利用收缩算法作为修正算法来补偿估计的协方差矩阵系统性偏差:
使为n个特征向量,d为特征空间的维度,且
其中和为均值和协方差矩阵的无偏估计量。为了抵消估计误差,由以下量来代替。
其中γ∈[0,1]为收缩参数,并且ν为矩阵在特征空间维度的特征值的平均值即其中d为特征空间的维度,用(xk)i和分别表示向量xk和的第i个元素,并用sij表示矩阵的第i行,第j列的数据,中间量zij可以表示为:
则收缩参数为:
根据特征提取阶段所获得的VAERP信号的时-空域特征利用改进的线性分类器算法训练分类器并对之后的输入特征进行分类,最终实现脑控命令的输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610972089.7A CN106569604B (zh) | 2016-11-04 | 2016-11-04 | 视听双模态语义匹配和语义失配协同刺激脑机接口方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610972089.7A CN106569604B (zh) | 2016-11-04 | 2016-11-04 | 视听双模态语义匹配和语义失配协同刺激脑机接口方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106569604A true CN106569604A (zh) | 2017-04-19 |
CN106569604B CN106569604B (zh) | 2019-09-17 |
Family
ID=58541695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610972089.7A Active CN106569604B (zh) | 2016-11-04 | 2016-11-04 | 视听双模态语义匹配和语义失配协同刺激脑机接口方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106569604B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107736889A (zh) * | 2017-09-08 | 2018-02-27 | 燕山大学 | 一种人体协调性检测装置及方法 |
CN109521870A (zh) * | 2018-10-15 | 2019-03-26 | 天津大学 | 一种基于rsvp范式的视听觉结合的脑-机接口方法 |
CN109893093A (zh) * | 2019-02-20 | 2019-06-18 | 华南理工大学 | 一种隐式注视脑机接口的意识状态检测系统 |
CN110244836A (zh) * | 2019-04-22 | 2019-09-17 | 广东工业大学 | 一种通过p300脑波分析筛选游戏防沉迷警示色的方法 |
CN110347242A (zh) * | 2019-05-29 | 2019-10-18 | 长春理工大学 | 基于空间和语义一致的视听觉脑机接口拼写系统及其方法 |
CN110687999A (zh) * | 2018-07-04 | 2020-01-14 | 刘彬 | 一种对脑电信号进行语义处理的方法和装置 |
CN111012342A (zh) * | 2019-11-01 | 2020-04-17 | 天津大学 | 一种基于p300的视听双通道竞争机制脑-机接口方法 |
CN111144450A (zh) * | 2019-12-10 | 2020-05-12 | 天津大学 | 一种构建基于不同长度名字刺激的erp范式的方法 |
CN111222009A (zh) * | 2019-10-25 | 2020-06-02 | 汕头大学 | 一种基于长短时记忆机制的多模态个性化情感的处理方法 |
CN112137616A (zh) * | 2020-09-22 | 2020-12-29 | 天津大学 | 一种多感觉脑-体联合刺激的意识检测装置 |
CN112200066A (zh) * | 2020-10-09 | 2021-01-08 | 河北工业大学 | 一种结合空间与频率的体感刺激脑机接口范式及实现方法 |
CN112244774A (zh) * | 2020-10-19 | 2021-01-22 | 西安臻泰智能科技有限公司 | 脑机接口康复训练系统及方法 |
CN112618912A (zh) * | 2020-12-31 | 2021-04-09 | 中国科学院心理研究所 | 一种调节视听时间整合窗的方法 |
CN112711328A (zh) * | 2020-12-04 | 2021-04-27 | 西安交通大学 | 一种基于跨模态随机共振的视听觉诱发脑机接口方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009145725A1 (en) * | 2008-05-26 | 2009-12-03 | Agency For Science, Technology And Research | A method and system for classifying brain signals in a bci |
CN102184019A (zh) * | 2011-05-16 | 2011-09-14 | 天津大学 | 基于隐性注意的视听联合刺激脑-机接口方法 |
CN102793540A (zh) * | 2012-06-14 | 2012-11-28 | 天津大学 | 一种视听认知事件相关电位实验范式的优化方法 |
CN103472922A (zh) * | 2013-09-23 | 2013-12-25 | 北京理工大学 | 一种基于p300与ssvep混合式脑机接口的目的地选择系统 |
CN103699226A (zh) * | 2013-12-18 | 2014-04-02 | 天津大学 | 一种基于多信息融合的三模态串行脑-机接口方法 |
CN104503580A (zh) * | 2014-12-25 | 2015-04-08 | 天津大学 | 一种对稳态视觉诱发电位脑-机接口目标的识别方法 |
-
2016
- 2016-11-04 CN CN201610972089.7A patent/CN106569604B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009145725A1 (en) * | 2008-05-26 | 2009-12-03 | Agency For Science, Technology And Research | A method and system for classifying brain signals in a bci |
CN102184019A (zh) * | 2011-05-16 | 2011-09-14 | 天津大学 | 基于隐性注意的视听联合刺激脑-机接口方法 |
CN102793540A (zh) * | 2012-06-14 | 2012-11-28 | 天津大学 | 一种视听认知事件相关电位实验范式的优化方法 |
CN103472922A (zh) * | 2013-09-23 | 2013-12-25 | 北京理工大学 | 一种基于p300与ssvep混合式脑机接口的目的地选择系统 |
CN103699226A (zh) * | 2013-12-18 | 2014-04-02 | 天津大学 | 一种基于多信息融合的三模态串行脑-机接口方法 |
CN104503580A (zh) * | 2014-12-25 | 2015-04-08 | 天津大学 | 一种对稳态视觉诱发电位脑-机接口目标的识别方法 |
Non-Patent Citations (1)
Title |
---|
王悟夷等: "视体联合刺激双模增进作用的研究", 《生物医学工程研究》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107736889A (zh) * | 2017-09-08 | 2018-02-27 | 燕山大学 | 一种人体协调性检测装置及方法 |
CN110687999A (zh) * | 2018-07-04 | 2020-01-14 | 刘彬 | 一种对脑电信号进行语义处理的方法和装置 |
CN109521870A (zh) * | 2018-10-15 | 2019-03-26 | 天津大学 | 一种基于rsvp范式的视听觉结合的脑-机接口方法 |
CN109893093A (zh) * | 2019-02-20 | 2019-06-18 | 华南理工大学 | 一种隐式注视脑机接口的意识状态检测系统 |
CN110244836A (zh) * | 2019-04-22 | 2019-09-17 | 广东工业大学 | 一种通过p300脑波分析筛选游戏防沉迷警示色的方法 |
CN110347242A (zh) * | 2019-05-29 | 2019-10-18 | 长春理工大学 | 基于空间和语义一致的视听觉脑机接口拼写系统及其方法 |
CN111222009A (zh) * | 2019-10-25 | 2020-06-02 | 汕头大学 | 一种基于长短时记忆机制的多模态个性化情感的处理方法 |
CN111222009B (zh) * | 2019-10-25 | 2022-03-22 | 汕头大学 | 一种基于长短时记忆机制的多模态个性化情感的处理方法 |
CN111012342A (zh) * | 2019-11-01 | 2020-04-17 | 天津大学 | 一种基于p300的视听双通道竞争机制脑-机接口方法 |
CN111012342B (zh) * | 2019-11-01 | 2022-08-02 | 天津大学 | 一种基于p300的视听双通道竞争机制脑-机接口方法 |
CN111144450A (zh) * | 2019-12-10 | 2020-05-12 | 天津大学 | 一种构建基于不同长度名字刺激的erp范式的方法 |
CN112137616A (zh) * | 2020-09-22 | 2020-12-29 | 天津大学 | 一种多感觉脑-体联合刺激的意识检测装置 |
CN112137616B (zh) * | 2020-09-22 | 2022-09-02 | 天津大学 | 一种多感觉脑-体联合刺激的意识检测装置 |
CN112200066A (zh) * | 2020-10-09 | 2021-01-08 | 河北工业大学 | 一种结合空间与频率的体感刺激脑机接口范式及实现方法 |
CN112200066B (zh) * | 2020-10-09 | 2022-04-08 | 河北工业大学 | 一种结合空间与频率的体感刺激脑机接口范式及实现方法 |
CN112244774A (zh) * | 2020-10-19 | 2021-01-22 | 西安臻泰智能科技有限公司 | 脑机接口康复训练系统及方法 |
CN112711328A (zh) * | 2020-12-04 | 2021-04-27 | 西安交通大学 | 一种基于跨模态随机共振的视听觉诱发脑机接口方法 |
CN112618912A (zh) * | 2020-12-31 | 2021-04-09 | 中国科学院心理研究所 | 一种调节视听时间整合窗的方法 |
CN112618912B (zh) * | 2020-12-31 | 2023-09-26 | 中国科学院心理研究所 | 一种调节视听时间整合窗系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106569604B (zh) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106569604A (zh) | 视听双模态语义匹配和语义失配协同刺激脑机接口范式 | |
CN102793540B (zh) | 一种视听认知事件相关电位实验范式的优化方法 | |
Doulah et al. | Wavelet domain feature extraction scheme based on dominant motor unit action potential of EMG signal for neuromuscular disease classification | |
CN103412646B (zh) | 基于脑机交互的音乐情绪化推荐方法 | |
CN101474070B (zh) | 一种脑电信号中眼电伪迹的去除方法 | |
CN102499676B (zh) | 基于有效时间序列和电极重组的脑电信号分类系统和方法 | |
CN109674468A (zh) | 一种单导脑电自动睡眠分期方法 | |
CN106407733A (zh) | 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法 | |
CN103955269A (zh) | 一种基于虚拟现实环境的智能眼镜脑-机接口方法 | |
CN106919956A (zh) | 基于随机森林的脑电波年龄预测系统 | |
CN105809124A (zh) | 基于DWT和Parametric t-SNE的运动想象脑电信号的特征提取方法 | |
CN102200833B (zh) | 一种Speller BCI系统及其控制方法 | |
CN106529476A (zh) | 一种基于深层堆叠网络的脑电信号特征提取及分类方法 | |
CN101690659A (zh) | 脑电波分析方法 | |
CN111184509A (zh) | 一种基于传递熵的情绪诱导脑电信号分类方法 | |
CN105496404A (zh) | 基于脑机接口辅助crs-r量表听觉惊吓的评估方法 | |
WO2009069135A2 (en) | System and method for neural modeling of neurophysiological data | |
CN106725452A (zh) | 基于情感诱发的脑电信号识别方法 | |
CN108681391A (zh) | 一种基于多模式的脑电信号虚拟键盘设计方法 | |
CN109124624A (zh) | 脑电波模板获取方法及相关产品 | |
CN112137616B (zh) | 一种多感觉脑-体联合刺激的意识检测装置 | |
CN101515200A (zh) | 基于瞬态视觉诱发脑电的目标选择方法 | |
CN106510702B (zh) | 基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统及方法 | |
CN105342605A (zh) | 一种去除脑电信号中肌电伪迹的方法 | |
CN105147282A (zh) | 认知功能障碍脑电识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |