CN107346179A - 基于诱发式脑机接口的多移动目标选择方法 - Google Patents

基于诱发式脑机接口的多移动目标选择方法 Download PDF

Info

Publication number
CN107346179A
CN107346179A CN201710811728.6A CN201710811728A CN107346179A CN 107346179 A CN107346179 A CN 107346179A CN 201710811728 A CN201710811728 A CN 201710811728A CN 107346179 A CN107346179 A CN 107346179A
Authority
CN
China
Prior art keywords
target
user
selection
brain
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710811728.6A
Other languages
English (en)
Inventor
刘亚东
周宗潭
刘亚茹
胡德文
于扬
唐景昇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201710811728.6A priority Critical patent/CN107346179A/zh
Publication of CN107346179A publication Critical patent/CN107346179A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Abstract

本发明公开了一种基于诱发式脑机接口的多移动目标选择方法,步骤包括:1)通过摄像机采集实际环境信息,并确定画面中目标的数量和坐标;2)将诱发式BCI动态范式的视觉刺激叠加显示在移动的目标上;3)在用户关注目标的同时,利用脑电采集设备检测用户的EEG信号,判断出用户希望选择的目标并对该目标进行标记,完成目标选择。本发明将诱发式BCI范式与动态场景相结合,能够使用户以第一视角观察和选择移动目标,能够提升多移动目标选择操作友好性,具有通用性强、原理简单、操作方便的优点。

Description

基于诱发式脑机接口的多移动目标选择方法
技术领域
本发明涉及脑机接口技术,具体涉及一种基于诱发式脑机接口的多移动目标选择方法。
背景技术
脑机接口(brain computer interface,BCI)是一种不通过外周神经和肌肉,实现大脑与外界直接通信的新兴技术,它通过检测并判别大脑神经信号中对应不同大脑活动所体现出来的时空模式来识别人的意图,从而实现人脑与外界交流和控制。BCI不需要人的肢体活动或语言表达的参与,是无动作、非接触的,它的研究初衷是服务于运动神经疾病患者。目前,BCI在助残、康复工作以及武器装备研发、娱乐等领域有着广泛的应用前景,已经受到国内外研究学者的广泛关注。
根据信号检测的方式不同,BCI可分为侵入式和非侵入式两种基本形式。侵入式BCI使电极直接和大脑皮层接触或进入大脑皮层,测量的信号噪声小,损失低,但由于涉及外科手术,操作复杂,需要具有专业技术的操作人员,对用户伤害较大。非侵入式BCI具有操作简单、安全等优点,其有利于BCI系统的推广,但电极距离信号源较远,噪声较大。目前,随着人们对大脑功能不断深入的研究以及信号处理技术的不断进步,头皮脑电图(Electroencephalograph, EEG)信号的处理技术已经达到一定水平,并常应用于光标控制、机械臂控制等方面BCI技术的研究,这为非侵入式BCI的推广应用提供了技术基础。
BCI技术逐步被应用于多种信息交互和实体设备控制系统中。随着BCI系统应用领域的拓展,利用BCI系统实现人与外界的信息交互以及对外部设备的控制越来越依赖对环境信息的获取,例如利用BCI控制智能轮椅避开障碍、到达目的地的过程需要依托对实际环境信息的获取和判断;利用脑控机械臂完成物体抓取等动作需要得到物体的位置信息。已经有许多研究者展开了关于BCI系统中人与环境交互的研究,如将环境中的实物作为待选择的目标。
通常利用诱发式脑机接口选择实际环境中的目标时,范式布局在单次目标选择过程中一般是固定的,即用户在完成单次选择时交互界面中的待选目标以及范式是静态的,用户与外界的信息交互过程就被BCI范式离散化。面对动态的世界,传统静态的BCI范式提供的环境信息比较有限,需要用户在交互界面与实际场景切换来完成信息交互与外设控制,其灵活性和操作友好性受到很大限制,影响用户体验;并且信息更新不及时,不利于用户掌握动态环境的全局状态。另一方面,当BCI技术需要以第一视角从实际环境中选择目标时,这些目标可能是静态的,但更可能的它们是移动的。比如对监控视频中的可疑人物、车辆,战场上的敌方士兵、武器装备等。在脑控操作者自身移动时,即使静止目标也会存在相对运动,例如从汽车等移动平台视角来看,道路上的人或物是相对运动的。对于这些移动目标的选择,静态BCI系统的的应用受到很大制约,因此将BCI技术与动态应用场景相结合对于脑机接口技术的进一步应用和推广有着重要意义。
发明内容
本发明要解决的技术问题:针对现有技术的上述问题,提供一种能够使用户以第一视角观察和选择移动目标、能够提升多移动目标选择操作友好性、通用性强、原理简单、操作方便的基于诱发式脑机接口的多移动目标选择方法。
为了解决上述技术问题,本发明采用的技术方案为:
一种基于诱发式脑机接口的多移动目标选择方法,步骤包括:
1)通过摄像机采集实际环境信息,并确定画面中目标的数量和坐标;
2)将诱发式BCI动态范式的视觉刺激叠加显示在移动的目标上;
3)在用户关注目标的同时,利用脑电采集设备检测用户的EEG信号,判断出用户希望选择的目标并对该目标进行标记,完成目标选择。
步骤2)的详细步骤包括:
2.1A)在一次目标选择之前,首先确定此时画面中的目标数量并进行编号,将编号叠加在相应移动目标上;
2.2A)根据目标数量生成随机刺激序列,编号按照随机序列瞬时变色来生成随机闪烁刺激事件,通过用户对闪烁刺激“预期到达”的心理响应诱发脑电成分P300;在一轮选择周期内,刺激的坐标根据每一帧目标检测与跟踪结果实时更新。
步骤3)的详细步骤包括:预先通过离线实验为用户选择最优EEG信道和训练SWLDA权值;进入在线目标选择阶段后,在用户关注目标的同时,利用脑电采集设备检测用户的EEG信号,对实时采集的最优信道EEG信号采用频率为0.01~50Hz的带通滤波后,截取每个随机闪烁刺激发生后100~600ms的EEG信号;对每组单次响应EEG信号用SWLDA训练得到的权值进行加权,得到加权和,并将其定义为该单次响应的特征值,将特征值最大所对应的编号定为用户所选择的目标并标记出目标选择结果。
或者,步骤2)的详细步骤包括:
2.1B)在一次目标选择之前,首先确定此时画面中的目标数量并进行编号,将编号叠加在相应移动目标上;
2.2B)根据目标数量设置刺激频率,将SSVEP视觉刺激叠加在各个目标编号上,且各个目标编号的SSVEP视觉刺激分别以不同频率交替闪烁,刺激的坐标根据每一帧目标检测与跟踪结果实时更新;用户在关注移动的目标的过程中,将受到目标所叠加的相应频率视觉刺激的影响,进而诱发脑电成分SSVEP。
步骤2.2B)中的SSVEP视觉刺激频率范围为8~15Hz。
步骤2.2B)中的交替闪烁具体是指将圆形简单图形按照设置的不同频率以黑白两个相位交替闪烁。
步骤3)的详细步骤包括:在用户关注目标的同时,利用脑电采集设备检测用户的EEG信号,将读取的EEG信号采用频率为6~35Hz的带通滤波器进行滤波,应用CCA方法计算滤波后的EEG信号与各刺激频率的相关性系数,将其作为各刺激频率的特征向量,将特征向量最大值所匹配的刺激频率相对应的目标定为用户所选择的目标,并标记出目标选择结果。
本发明基于诱发式脑机接口的多移动目标选择方法具有下述优点:
1、本发明与传统静态方法相比,移动刺激对用户交互界面的限制减少,使用户能够以第一视角观察环境,在选择环境目标的同时能够把更多注意力放在整体环境信息获取上,及时掌握变化的全局状态,因而使系统灵活性、机动性强。
2、本发明充分发挥诱发式BCI的优势,动态诱发式BCI设计简单,响应速度快,与移动目标相结合,用户只需要关注感兴趣目标,就能够将意愿传达给BCI系统,为用户提供了一种“所见即所得”的理想移动目标选择方式,符合人类的自然习惯,具有较强的操作友好性。
3、本发明拓展性强,具有相当广阔的应用前景。结合相应的目标检测及跟踪算法,本发明可以应用于各类移动目标选择场景中,也可以应用于真实设备控制系统。
4、本发明对于所述多移动目标选择方法,基于P300和SSVEP的两种诱发式BCI的适应性均比较强,不需对用户进行长时间训练,大多数用户在不经过大量训练的情况下可以达到较高的目标选择准确率,便于用户快速入门使用,有利于所述方法的推广。
附图说明
图1是本发明实施例一多移动目标选择方法的基本流程示意图。
图2是本发明实施例一BCI系统主动电极安放位置示意图。
图3是本发明实施例一完成一次多移动目标选择的流程示意图。
图4是本发明实施例一P300动态范式示意图。
图5是本发明实施例二BCI系统主动电极安放位置示意图。
图6是本发明实施例二完成一次多移动目标选择的流程示意图。
图7是本发明实施例二SSVEP动态范式示意图。
具体实施方式
实施例一:
如图1所示,本发明基于诱发式脑机接口的多移动目标选择方法的步骤包括:
1)通过摄像机采集实际环境信息,并确定画面中目标的数量和坐标;
2)将诱发式BCI动态范式的视觉刺激叠加显示在移动的目标上;
3)在用户关注目标的同时,利用脑电采集设备检测用户的EEG信号,判断出用户希望选择的目标并对该目标进行标记,完成目标选择。
本实施例基于诱发式脑机接口的多移动目标选择方法利用摄像机采集实际环境信息,利用目标检测算法和多目标跟踪算法确定画面中目标的数量和坐标,实现对目标的实时跟踪;在目标选择阶段,将诱发式BCI动态范式的视觉刺激叠加显示在移动目标上;在用户关注目标的同时,利用脑电采集设备检测用户的神经信号,通过信号处理判断出用户希望选择的目标并对该目标进行标记,完成目标选择,能够使用户以第一视角观察和选择移动目标,能够提升多移动目标选择操作友好性,具有通用性强、原理简单、操作方便的优点。
本实施例为基于基于P300事件相关电位(P300 Event-related Potentials,P300ERP)的诱发式BCI动态范式实施例,此外也可以根据需要选择基于稳态视觉诱发电位(Steady-state VisuallyEvoked Ptentials, SSVEP)的诱发式BCI动态范式(详见实施例二,本实施例和实施例二两者为相互独立的过程,并非同时进行)。本实施例中,脑电采集设备使用主动电极在用户头皮采集高信噪比的EEG信号。电极安放在采用导联位置按照国际惯例1020系统的64导联电极帽上,图2为基于P300的BCI系统电极分布图,图中F3、Fz、F4、FC1、FC2、C3、Cz、C4、CP5、CP1、CP2、CP6、P3、Pz、P4以及Poz等16个电极为P300信号采集通道,TP10为参考,Fpz为接地。上述位置打入导电膏,并插上主动电极。主动电极通过脑电放大器、A/D转换器与计算机相连接。通过电极阻抗检测软件检验电极与用户头部是否接触良好,并通过用户闭眼的方式检测波,以使各电极位置采集的脑电信号的高频噪声保持在一定水平之下。当系统初始化后,首先要检查所有电极的阻抗值,以保证系统能采集到高信噪比的EEG信号,如果有电极阻抗较大,将对电极的安放重新进行调整,直至所有电极阻抗满足要求才能进入目标选择环节。用户安坐在距离显示器正前方30cm~80cm的位置,用户前方的计算机显示器上呈现出摄像机拍摄的实际环境画面,画面中的运动物体(如行人等)为待选择目标。通过目标检测与目标跟踪算法确定移动目标数量以及各时刻的坐标,并进行编号,一方面为诱发式BCI叠加范式提供坐标信息,另一方面为用户通过BCI选择移动目标提供指令对应关系,用户只需选择出感兴趣的目标编号,系统就能提供该目标的位置信息,即“所见即所得”,为实际应用中的后续操作提供便利。
本实施例中,步骤2)的详细步骤包括:
2.1A)在一次目标选择之前,首先确定此时画面中的目标数量并进行编号,将编号叠加在相应移动目标上;
2.2A)根据目标数量生成随机刺激序列,编号按照随机序列瞬时变色来生成随机闪烁刺激事件,通过用户对闪烁刺激“预期到达”的心理响应诱发脑电成分P300;本实施例中,待选择目标为运动的,刺激叠加坐标根据每一帧目标检测与跟踪结果实时更新。
本实施例中,步骤3)的详细步骤包括:预先通过离线实验为用户选择最优EEG信道和训练SWLDA权值;进入在线目标选择阶段后,在用户关注目标的同时,利用脑电采集设备检测用户的EEG信号,对实时采集的最优信道EEG信号采用频率为0.01~50Hz的带通滤波后,截取每个随机闪烁刺激发生后100~600ms的EEG信号;对每组单次响应EEG信号用SWLDA训练得到的权值进行加权,得到加权和,并将其定义为该单次响应的特征值,将特征值最大所对应的编号定为用户所选择的目标并标记出目标选择结果。
对于基于P300动态范式选择移动目标,如图3所示,首先读取目标数量信息,将目标编号叠加在移动目标上,便于用户确定需要选择的目标,并生成随机刺激序列。在目标选择过程中,随机闪烁的具体实施方式为:采用序列随机闪烁方式,各目标编号在正常状态下设置为一种颜色,颜色设置需要根据背景确定,与背景有一定的辨识度,确保用户能够清晰地区分目标;各编号按照随机顺序依次闪烁,闪烁形式为目标编号变色,刺激颜色需要与正常状态颜色有较高的辨识度,例如本实施例设置正常状态下编号颜色为蓝色,闪烁颜色变为红色。设置刺激时间间隔(stimulus onset asynchrony,SOA)为300ms,包括刺激变色持续时间150ms,以及颜色变换之间的刺激间隔时间150ms。各目标均闪烁一次为一个刺激序列,经过三个闪烁序列后系统标记出目标选择结果。图4以选择环境中行人目标为例为P300动态范式提供了更形象的描述。对于P300信号的识别分类,首先需要通过离线实验为用户选择最优信道。P300成分作为一种内源性ERP成分,与大脑对事件的认知加工有紧密的联系。在动态P300范式中,由于刺激叠加在移动目标上,复杂背景可能影响用户对于刺激事件的响应,因此用户的P300响应不一定局限于局部的感知区域;另一方面,由于个体差异,不同用户的P300响应区域及强度均有差异,设置固定的数据采集通道不一定适合所有的使用者,导致系统的通用性降低。通道选择算法为Jumpwise回归算法,从16个通道中选择6个通道用于P300信号识别分类;在线多移动目标选择对P300信号处理流程为,将所选择的EEG通道采集的信号经脑电放大器放大,并通过A/D转换器转换成数字信号输入计算机中进行处理。采用频率为0.01~50Hz的带通滤波器对信号预处理后,截取每个随机闪烁刺激发生后100~600ms的EEG信号。对每组单次响应EEG信号用SWLDA训练得到的权值进行加权,得到加权和,并将其定义为该单次响应的特征值。按照编号对三个刺激序列的特征值进行平均,最大值所对应的编号定为用户所选择的目标。系统将目标选择结果进行标记,对用户形成视觉反馈,以便用户可以实时监控移动目标选择结果。
综上所述,实施例一提供了一种原理简单、操作方便、能够使用户以第一视角观察和选择移动目标的基于诱发式脑机接口的多移动目标选择方法,下面对本方法的可行性进行分析说明。P300诱发式BCI系统操作简单,响应速度快,适应性强,用户不需要进行大量训练就可以达到较高的目标选择准确率。将诱发式视觉刺激的固定布局改进为动态布局,视觉刺激依靠目标检测与跟踪技术使用户对目标的关注和对视觉刺激的关注在时空上合二为一,发挥了诱发式BCI的优势,减轻了BCI范式对目标选择过程的约束,为使用者提供了一种自然便捷的多移动目标选择方式。具体到P300移动刺激的可行性,P300是一种重要的内源性ERP成分,由内部事件诱发,不受刺激物理特性的影响,与人对目标的识别、比较、判断等过程以及精神状态和注意力有关,反映了认知过程中大脑神经的电生理变化,也被称为认知电位。P300移动视觉刺激发生时,即用户所关注的目标编号闪烁时,尽管该目标处于运动状态,用户仍然能够注意到闪烁的发生,意味着使用者在认知层面对这次闪烁进行了处理,因此该刺激事件仍然是有效的。
实施例二:
本实施例与实施例一基本相同,其主要不同点为采用的:步骤2)采用的诱发式BCI动态范式不同,步骤3)的处理方式也有所不同。
本实施例中,步骤2)的详细步骤包括:
2.1B)在一次目标选择之前,首先确定此时画面中的目标数量并进行编号,将编号叠加在相应移动目标上;
2.2B)根据目标数量设置刺激频率,将SSVEP视觉刺激叠加在各个目标编号上,且各个目标编号的SSVEP视觉刺激分别以不同频率交替闪烁,刺激的坐标根据每一帧目标检测与跟踪结果实时更新;用户在关注移动的目标的过程中,将受到目标所叠加的相应频率视觉刺激的影响,进而诱发脑电成分SSVEP。
本实施例中,步骤2.2B)中的SSVEP视觉刺激频率范围为8~15Hz。
本实施例中,步骤2.2B)中的交替闪烁具体是指将圆形简单图形按照设置的不同频率以黑白两个相位交替闪烁。
本实施例中,步骤3)的详细步骤包括:在用户关注目标的同时,利用脑电采集设备检测用户的EEG信号,将读取的EEG信号采用频率为6~35Hz的带通滤波器进行滤波,应用CCA方法计算滤波后的EEG信号与各刺激频率的相关性系数,将其作为各刺激频率的特征向量,将特征向量最大值所匹配的刺激频率相对应的目标定为用户所选择的目标,并标记出目标选择结果。
图5为基于SSVEP的BCI系统电极安放位置分布,其中Oz,O1,O2,POz,PO7和PO8为SSVEP信号采集通道,TP10为参考,Fpz为接地。
对于基于SSVEP动态范式选择移动目标,如图6和图7所示,首先读取目标数量信息,将目标编号叠加在移动目标上,便于用户确定需要选择的目标。在目标选择阶段,每个目标叠加不同频率的视觉刺激,因此SSVEP视觉刺激频率选取与待选目标数量有关,本实施例中以移动目标数量为6作为具体实例对SSVEP动态范式进行说明。本实施例中,SSVEP移动刺激频率分别设置为8.18,8.97,9.98,11.23,12.85以及14.99Hz,这六个闪烁频率的选择是综合考虑以下因素的结果:1)为了保证SSVEP脑电电位强度,应选取响应较强的频率段,研究表明SSVEP视觉刺激响应在8~15Hz频段最强;2)SSVEP成分是在刺激频率或其整数倍处的能量增强,因此选择频率时要保证各频率的基频、倍频没有重合,避免不同刺激诱发相同频率段的响应信号。并且由于EEG信号在刺激频率的二次谐波频率处响应明显,为避免信息丢失,刺激频率最大值的二次谐波不应超过带宽范围;3)不同频率间隔尽量大(频率间隔不小于0.2Hz),增大SSVEP响应信号之间的差异性。4)在频率刺激软件实现过程中,系统通过分频计时在不同时刻对相应刺激进行一次相位转换,从而得到不同频率的刺激。
目标选择过程中,所叠加的移动刺激形式为圆形简单图形刺激,圆形刺激的优势在于其有利于减少由于目标遮挡造成的刺激重叠。移动刺激按照设置的不同频率以黑白两个相位交替闪烁,黑白两色在本实施例中辨识度较高,具体颜色的设置应该根据具体场景加以分析。图7以选择环境中行人目标为例为SSVEP动态范式提供了更形象的描述。频率刺激的时长通过对用户进行测试来确定,本实施例中具体做法是分析单次目标选择视觉刺激闪烁5s内,各时长(以0.2s为单位)所对应的目标选择正确率和信息传输率(InformationTransfer Rate, ITR),选择ITR最大值所对应的时长作为用户的频率刺激时长。
对于SSVEP信号的处理流程为,将所选择的EEG通道采集的信号经脑电放大器放大,并通过A/D转换器转换成数字信号输入计算机中进行处理。采用频率为6~35Hz的带通滤波器对信号进行预处理,应用CCA算法分析预处理所得信号与各刺激频率的相关性,将其作为各刺激频率的特征向量;将特征向量最大值所匹配的刺激频率相对应的目标定为目标选择结果,并对其进行标记,对用户形成视觉反馈,以便用户可以实时监控移动目标选择结果。
同理,本实施例基于诱发式脑机接口的多移动目标选择方法利用摄像机采集实际环境信息,利用目标检测算法和多目标跟踪算法确定画面中目标的数量和坐标,实现对目标的实时跟踪;在目标选择阶段,将诱发式BCI动态范式的视觉刺激叠加显示在移动目标上;在用户关注目标的同时,利用脑电采集设备检测用户的神经信号,通过信号处理判断出用户希望选择的目标并对该目标进行标记,完成目标选择,能够使用户以第一视角观察和选择移动目标,能够提升多移动目标选择操作友好性,具有通用性强、原理简单、操作方便的优点。
综上所述,实施例二提供了一种原理简单、操作方便、能够使用户以第一视角观察和选择移动目标的基于诱发式脑机接口的多移动目标选择方法,下面对本方法的可行性进行分析说明。SSVEP诱发式BCI系统操作简单,响应速度快,适应性强,用户不需要进行大量训练就可以达到较高的目标选择准确率。对于SSVEP移动刺激的可行性,SSVEP成分是依靠特定频率周期性的视觉刺激诱发的,通常视觉刺激在视线的中央处SSVEP信号最强,并向周围衰减。通过SSVEP动态范式选择移动目标时,人眼会对感兴趣目标进行跟踪,这样该目标所叠加的频率刺激就会处于用户视线的中央,大脑视觉皮层所产生的相关响应信号就会较强;其他频率刺激由于没有处于视线中央因而诱发的SSVEP信号强度会较弱,这样通过CCA方法就能有效地判别用户希望选择的目标。根据上述分析可知,实施例一和实施例二两种方法都能有效地应用于多移动目标选择中,传统静态范式相比,都具有更强的机动性和操作友好性,具有广阔的应用前景,并且相比之下,P300动态范式对复杂背景的抗干扰能力更强,SSVEP动态范式则具有更高的信息传输率。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于诱发式脑机接口的多移动目标选择方法,其特征在于步骤包括:
1)通过摄像机采集实际环境信息,并确定画面中目标的数量和坐标;
2)将诱发式BCI动态范式的视觉刺激叠加显示在移动的目标上;
3)在用户关注目标的同时,利用脑电采集设备检测用户的EEG信号,判断出用户希望选择的目标并对该目标进行标记,完成目标选择。
2.根据权利要求1所述的基于诱发式脑机接口的多移动目标选择方法,其特征在于,步骤2)的详细步骤包括:
2.1A)在一次目标选择之前,首先确定此时画面中的目标数量并进行编号,将编号叠加在相应移动目标上;
2.2A)根据目标数量生成随机刺激序列,编号按照随机序列瞬时变色来生成随机闪烁刺激事件,通过用户对闪烁刺激“预期到达”的心理响应诱发脑电成分P300;在一轮选择周期内,刺激的坐标根据每一帧目标检测与跟踪结果实时更新。
3.根据权利要求1所述的基于诱发式脑机接口的多移动目标选择方法,其特征在于,步骤3)的详细步骤包括:预先通过离线实验为用户选择最优EEG信道和训练SWLDA权值;进入在线目标选择阶段后,在用户关注目标的同时,利用脑电采集设备检测用户的EEG信号,对实时采集的最优信道EEG信号采用频率为0.01~50Hz的带通滤波后,截取每个随机闪烁刺激发生后100~600ms的EEG信号;对每组单次响应EEG信号用SWLDA训练得到的权值进行加权,得到加权和,并将其定义为该单次响应的特征值,将特征值最大所对应的编号定为用户所选择的目标并标记出目标选择结果。
4.根据权利要求1所述的基于诱发式脑机接口的多移动目标选择方法,其特征在于,步骤2)的详细步骤包括:
2.1B)在一次目标选择之前,首先确定此时画面中的目标数量并进行编号,将编号叠加在相应移动目标上;
2.2B)根据目标数量设置刺激频率,将SSVEP视觉刺激叠加在各个目标编号上,且各个目标编号的SSVEP视觉刺激分别以不同频率交替闪烁,刺激的坐标根据每一帧目标检测与跟踪结果实时更新;用户在关注移动的目标的过程中,将受到目标所叠加的相应频率视觉刺激的影响,进而诱发脑电成分SSVEP。
5.根据权利要求4所述的基于诱发式脑机接口的多移动目标选择方法,其特征在于,步骤2.2B)中的SSVEP视觉刺激频率范围为8~15Hz。
6.根据权利要求5所述的基于诱发式脑机接口的多移动目标选择方法,其特征在于,步骤2.2B)中的交替闪烁具体是指将圆形简单图形按照设置的不同频率以黑白两个相位交替闪烁。
7.根据权利要求1所述的基于诱发式脑机接口的多移动目标选择方法,其特征在于,步骤3)的详细步骤包括:在用户关注目标的同时,利用脑电采集设备检测用户的EEG信号,将读取的EEG信号采用频率为6~35Hz的带通滤波器进行滤波,应用CCA方法计算滤波后的EEG信号与各刺激频率的相关性系数,将其作为各刺激频率的特征向量,将特征向量最大值所匹配的刺激频率相对应的目标定为用户所选择的目标,并标记出目标选择结果。
CN201710811728.6A 2017-09-11 2017-09-11 基于诱发式脑机接口的多移动目标选择方法 Pending CN107346179A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710811728.6A CN107346179A (zh) 2017-09-11 2017-09-11 基于诱发式脑机接口的多移动目标选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710811728.6A CN107346179A (zh) 2017-09-11 2017-09-11 基于诱发式脑机接口的多移动目标选择方法

Publications (1)

Publication Number Publication Date
CN107346179A true CN107346179A (zh) 2017-11-14

Family

ID=60257686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710811728.6A Pending CN107346179A (zh) 2017-09-11 2017-09-11 基于诱发式脑机接口的多移动目标选择方法

Country Status (1)

Country Link
CN (1) CN107346179A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108919947A (zh) * 2018-06-20 2018-11-30 北京航空航天大学 一种通过视觉诱发电位来实现的脑机接口系统及方法
CN110209073A (zh) * 2019-05-31 2019-09-06 湖南大佳数据科技有限公司 基于增强现实的脑机交互载人移动平台系统
CN110362201A (zh) * 2019-07-04 2019-10-22 中国人民解放军国防科技大学 基于环境理解的脑机交互结构化环境控制方法、系统及介质
CN110824979A (zh) * 2019-10-15 2020-02-21 中国航天员科研训练中心 一种无人设备控制系统和方法
CN111399652A (zh) * 2020-03-20 2020-07-10 南开大学 基于分层ssvep与视觉辅助的多机器人混合系统
CN111419223A (zh) * 2020-03-16 2020-07-17 陶弋南 一种基于ssvep注意力验证系统
CN111694425A (zh) * 2020-04-27 2020-09-22 中国电子科技集团公司第二十七研究所 一种基于ar-ssvep的目标识别方法及系统
CN111712192A (zh) * 2018-01-18 2020-09-25 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
CN111930238A (zh) * 2020-08-27 2020-11-13 北京理工大学 基于动态ssvep范式的脑机接口系统实现方法及装置
CN112955944A (zh) * 2018-07-13 2021-06-11 W·福格尔 用于人脑诱导和训练的装置、系统和方法
CN113434040A (zh) * 2021-06-07 2021-09-24 西北工业大学 基于增强现实诱发的脑机接口技术方法
CN114003048A (zh) * 2021-12-31 2022-02-01 季华实验室 多目标对象的运动控制方法、装置、终端设备及介质
GR1010460B (el) * 2022-05-30 2023-05-16 Ιδρυμα Τεχνολογιας Και Ερευνας, Ενα συστημα κινητικοτητας και σχετικος ελεγκτης, μεθοδος, λογισμικο και μεσο αναγνωσιμο απο υπολογιστη
US11934576B2 (en) 2022-01-14 2024-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Methods, systems, and non-transitory computer-readable mediums for SSVEP detection optimization

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571748A (zh) * 2009-06-04 2009-11-04 浙江大学 一种基于增强现实的脑机交互系统
US20130130799A1 (en) * 2010-07-30 2013-05-23 Marc Van Hulle Brain-computer interfaces and use thereof
CN103472922A (zh) * 2013-09-23 2013-12-25 北京理工大学 一种基于p300与ssvep混合式脑机接口的目的地选择系统
CN106339091A (zh) * 2016-08-31 2017-01-18 博睿康科技(常州)股份有限公司 一种基于脑机接口穿戴系统的增强现实交互方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571748A (zh) * 2009-06-04 2009-11-04 浙江大学 一种基于增强现实的脑机交互系统
US20130130799A1 (en) * 2010-07-30 2013-05-23 Marc Van Hulle Brain-computer interfaces and use thereof
CN103472922A (zh) * 2013-09-23 2013-12-25 北京理工大学 一种基于p300与ssvep混合式脑机接口的目的地选择系统
CN106339091A (zh) * 2016-08-31 2017-01-18 博睿康科技(常州)股份有限公司 一种基于脑机接口穿戴系统的增强现实交互方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111712192A (zh) * 2018-01-18 2020-09-25 神经股份有限公司 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口
CN108919947A (zh) * 2018-06-20 2018-11-30 北京航空航天大学 一种通过视觉诱发电位来实现的脑机接口系统及方法
CN112955944A (zh) * 2018-07-13 2021-06-11 W·福格尔 用于人脑诱导和训练的装置、系统和方法
US11978353B2 (en) 2018-07-13 2024-05-07 Wolfgang Vogel Device, system and method for entrainment and training of the human brain
CN110209073A (zh) * 2019-05-31 2019-09-06 湖南大佳数据科技有限公司 基于增强现实的脑机交互载人移动平台系统
CN110362201B (zh) * 2019-07-04 2023-05-09 中国人民解放军国防科技大学 基于环境理解的脑机交互结构化环境控制方法、系统及介质
CN110362201A (zh) * 2019-07-04 2019-10-22 中国人民解放军国防科技大学 基于环境理解的脑机交互结构化环境控制方法、系统及介质
CN110824979A (zh) * 2019-10-15 2020-02-21 中国航天员科研训练中心 一种无人设备控制系统和方法
CN111419223A (zh) * 2020-03-16 2020-07-17 陶弋南 一种基于ssvep注意力验证系统
CN111399652A (zh) * 2020-03-20 2020-07-10 南开大学 基于分层ssvep与视觉辅助的多机器人混合系统
CN111694425A (zh) * 2020-04-27 2020-09-22 中国电子科技集团公司第二十七研究所 一种基于ar-ssvep的目标识别方法及系统
CN111930238A (zh) * 2020-08-27 2020-11-13 北京理工大学 基于动态ssvep范式的脑机接口系统实现方法及装置
CN111930238B (zh) * 2020-08-27 2022-08-05 北京理工大学 基于动态ssvep范式的脑机接口系统实现方法及装置
CN113434040B (zh) * 2021-06-07 2024-01-05 西北工业大学 基于增强现实诱发的脑机接口技术方法
CN113434040A (zh) * 2021-06-07 2021-09-24 西北工业大学 基于增强现实诱发的脑机接口技术方法
CN114003048B (zh) * 2021-12-31 2022-04-26 季华实验室 多目标对象的运动控制方法、装置、终端设备及介质
CN114003048A (zh) * 2021-12-31 2022-02-01 季华实验室 多目标对象的运动控制方法、装置、终端设备及介质
US11934576B2 (en) 2022-01-14 2024-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Methods, systems, and non-transitory computer-readable mediums for SSVEP detection optimization
GR1010460B (el) * 2022-05-30 2023-05-16 Ιδρυμα Τεχνολογιας Και Ερευνας, Ενα συστημα κινητικοτητας και σχετικος ελεγκτης, μεθοδος, λογισμικο και μεσο αναγνωσιμο απο υπολογιστη

Similar Documents

Publication Publication Date Title
CN107346179A (zh) 基于诱发式脑机接口的多移动目标选择方法
Kim et al. Decoding three-dimensional trajectory of executed and imagined arm movements from electroencephalogram signals
CN105938397B (zh) 基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法
CN108814597A (zh) 一种基于运动信息与肌电交互的康复训练评测方法及系统
CN102609090B (zh) 采用脑电时频成分双重定位范式的快速字符输入方法
CN106236503B (zh) 肌电驱动的上肢可穿戴外骨骼系统及控制方法
CN106037731A (zh) 用于提高训练效果的智能服装及其方法
Kondo et al. Effect of instructive visual stimuli on neurofeedback training for motor imagery-based brain–computer interface
CN103040446A (zh) 基于光学脑成像的神经反馈训练系统和神经反馈训练方法
CN106264520A (zh) 一种神经反馈运动训练系统及方法
CN111227825B (zh) 一种基于脑机接口系统辅助评估声源定位的方法
CN112465059A (zh) 基于跨脑融合决策的多人运动想象识别方法及脑机系统
CN112741637B (zh) P300脑电信号提取方法、认知康复训练方法及系统
CN105942975A (zh) 基于稳态视觉诱发的脑电信号处理方法
CN113180992A (zh) 基于脑电交互及肌电检测的上肢康复外骨骼闭环控制系统及方法
CN106901751A (zh) 一种基于大脑血红蛋白信息的运动速度状态的识别方法
CN105844111A (zh) 一种基于脑效应网络的新型脑电卒中评估方法
CN114003129B (zh) 一种基于非侵入式脑机接口的意念控制虚实融合反馈方法
CN205988477U (zh) 身心康复反馈训练装置
Bastos-Filho et al. Towards a system to command a robotic wheelchair based on independent SSVEP–BCI
CN109078262B (zh) 一种基于外周神经电刺激的mi-bci训练方法
Igarashi et al. bioLights: Light emitting wear for visualizing lower-limb muscle activity
Kaneoke Magnetoencephalography: in search of neural processes for visual motion information
Wang et al. Optimization of machine learning method combined with brain-computer interface rehabilitation system
Wu et al. Intelligent command and control of uav based on brain computer and eye tracking combined technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171114