CN112633312B - 基于ssmvep-erp-osr混合脑机接口的自动寻优方法 - Google Patents

基于ssmvep-erp-osr混合脑机接口的自动寻优方法 Download PDF

Info

Publication number
CN112633312B
CN112633312B CN202011059020.8A CN202011059020A CN112633312B CN 112633312 B CN112633312 B CN 112633312B CN 202011059020 A CN202011059020 A CN 202011059020A CN 112633312 B CN112633312 B CN 112633312B
Authority
CN
China
Prior art keywords
target
stimulation
ssmvep
data
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011059020.8A
Other languages
English (en)
Other versions
CN112633312A (zh
Inventor
郭晓辉
王晶
石斌
乐赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Rhb Medical Tech Co ltd
Original Assignee
Shenzhen Rhb Medical Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Rhb Medical Tech Co ltd filed Critical Shenzhen Rhb Medical Tech Co ltd
Priority to CN202011059020.8A priority Critical patent/CN112633312B/zh
Publication of CN112633312A publication Critical patent/CN112633312A/zh
Application granted granted Critical
Publication of CN112633312B publication Critical patent/CN112633312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • A61G5/1051—Arrangements for steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/22—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering for automatically guiding movable devices, e.g. stretchers or wheelchairs in a hospital
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了基于SSMVEP‑ERP‑OSR混合脑机接口的自动寻优算法。基于SSMVEP‑ERP‑OSR混合脑机接口的自动寻优算法包括数据采集、脑电信号预处理、离线实验、生成基础目标分类器、最优测量电极位置选择、在线测试并将在先测试得到的识别结果转化为目标控制指令并实施对轮椅的控制。本发明基于SSMVEP‑ERP‑OSR混合脑机接口的自动寻优算法，通过基于SSMVEP‑ERP‑OSR混合脑机接口范式，增加了目标数，进而提高了轮椅控制的更多指令，增加了受试者控制轮椅的灵活性，提出了基于复杂模板与CCA的时频特征分步识别算法，通过最优通道的选取提高了控制的准确率及实时性。

Description

基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法
技术领域
本发明涉及脑电信号识别领域，特别涉及基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法。
背景技术
由于交通事故、工伤、疾病等缘由的频繁发生，下肢残疾人数正在逐步上升。根据我国 2006 年残疾人抽样调成数据得知，目前我国残疾人总人数为 8296 万人 , 其中肢体残疾者为 2412 万人，占残疾人总人数的 29.07％。大多数下肢残疾人利用电动轮椅进行日常出行，坐在轮椅上的人通过操作轮椅上的按钮或操作杆即可实现轮椅的启停、前进、后退等操作，但是对于一部分手部活动不便的老年人及残障人士而言，极大的限制了其操作性，一定程度上降低了轮椅的便利性。脑机接口是人脑-计算机接口的简称，是基于脑电信号实现大脑与电子设备之间直接交流通讯和控制的技术。由于不依赖常规的大脑输出通路，脑机接口为人的大脑开辟了全新的与外界进行信息交流和控制的途径。
视觉诱发电位（Visual Evoked Potential,VEP）是大脑皮质枕叶区对视觉刺激发生的电反应，是代表视网膜接受刺激，经视路传导至枕叶皮层而引起的电位变化。当视觉刺激的刺激频率在6Hz以上时，大脑视觉系统产生的对外部持续周期性视觉刺激的响应，即为稳态视觉诱发电位（Steady State Visually Evoked Potential,SSVEP）。然而，在传统的SSVEP-BCI领域，大多数研究是基于闪烁或闪烁的反衬变化，很少有研究运动对视觉刺激的影响及其潜在的稳态BCI的设计。稳态运动视觉诱发电位(Steady-State Motion VisuallyEvoked Potentials, SSMVEP)就是利用一种特殊的运动视觉刺激，类似于牛顿环周期性的扩张和收缩运动。与对光的感知和颜色对比类似运动感知也是对人类视觉系统的基本任务之一。基于稳态运动视觉诱发电位的BCI系统主要优点是无需训练，信号获取容易，相比与光闪烁范式还可以减少视觉疲劳。缺省刺激响应（Omitted stimulus response, OSR）是一种内因性的大脑反应，是指重复性感官刺激的停止可以引起头皮电位的一系列模式特征，是一系列有规律的感官刺激缺失后可以诱发出来。
脑机接口技术已被广泛的引入到智能轮椅的控制技术中，其中脑机接口技术主要包括运动想象和稳态视觉诱发的脑机接口。基于运动想象脑电控制的智能轮椅系统主要存在准确率低和个体差异较大等不足，基于稳态视觉诱发电位控制的轮椅系统主要存在控制指令较少，训练时间较长等不足。
发明内容
本发明的目的是提供一种解决上述目前已存在的至少一个问题的的基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法。
为实现上述目的，本发明采用如下技术方案，基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法，包括：
离线实验：生成基础目标分类器和最优测量电极位置来得到最优通道的基础目标分类器；
生成基础目标分类器：在训练样本采集阶段，通过交叉验证算法Leave-One-OutCross-Validation生成基础目标分类器；
交叉验证算法Leave-One-Out Cross-Validation生成基础目标分类器的步骤为：
la.在训练样本采集阶段，受试者根据屏幕提示依次盯视刺激目标，得到盯视不同刺激目标时的 EEG 数据，假设有 M 个盯视目标，每个盯视目标采集了 N 组数据；将原始脑电信号数据经过滤波等预处理，将数据按照不同盯视目标按类进行存储，则有M 类数据，每类数据包含 N 组；
lb.从每类数据随机取一组数据作为测试数据 TestData，其余N-1组数据作为训练数据；
lc.将训练数据经过N-1次叠加平均得到每个目标的波形模板 Template，M个目标的Template构成分类器；
ld.将 M个目标的测试数据TestData分别与分类器中的模板做典型相关分析，若某组测试数据与分类器中某组 Template的相关性最大，则认为该组测试数据与该组Template 对应同一刺激目标；
le.将M组测试数据进行分类，若M个目标的测试数据均正确分类，即分类正确率为1，则将此时分类器中的模板输入最终模板TEMPLATE中， 否则摒弃掉这组模板；
返回步骤 lb，重新从每类数据随机取一组数据作为测试数据TestData，重复上述过程lb-le，将上述过程迭代100次，将TEMPLATE中的模板通过叠加平均，即可生成比较成熟的基础目标分类器，基础目标分类器中存储着所有目标的波形模板；
最优测量电极位置选择：在训练样本采集阶段，采用最优记录电极位置选择算法来自动寻取最优测量电极位置，步骤包括：
a.布置多个电极，进行离线实验，记录EEG信号；
b.每次选择一个通道计算离线正确率，选择使正确率最高的通道作为固定通道C1；
c.将已固定通道与其他通道依次组合，若正确率未升高，则选择使正确率最高的C2，此时最优通道为[C1,C2],若正确率持续升高，则选择使正确率升高最高的通道为C2，将C1与C2组合进行后续探索；
d.重复上述步骤c继续探索，若正确率无法继续升高，此时已固定通道即为最优通道；
在线测试：采集最优通道上获取的受试者盯视刺激目标所产生的脑电信号，对采集的脑电信号进行去趋势向和滤波预处理，进行基于EMD和CCA的SSMVEP频域特征提取识别，判断受试者盯视目标所在列，将最优通道上的脑电信号与刺激频率对应目标的复杂模板进行典型相关分析，最终判定受试者盯视目标；
复杂模板为最优通道的基础目标分类器内的波形模板。
在一些实施方式中，信号采集方式为通过电极帽采集受试者头皮脑电信号，用于检测的电极包括 O1、O2、OZ、PO4、PO8、PO3、PO7、P3、CZ、FZ、FCZ、POZ、PZ、P4、CPZ，参考电极位于左侧耳垂，地电极为Fpz。
在一些实施方式中，屏幕播放的SSMVEP-ERP-OSR混合范式包括三行三列牛顿环，每个牛顿环的直径约为4.8deg，第一列和第三列牛顿环距屏幕中心的距离均为视角的9.6deg，第一行和第三行牛顿环距屏幕中心的距离均为视角的6.4deg。
在一些实施方式中，同处一列的刺激目标刺激频率相同，三列牛顿环对应的刺激频率分别为15Hz、17 Hz和19 Hz；同一行刺激目标设置的刺激频率不同，刺激缺失时间存在差别；
刺激频率为15Hz的三个刺激目标，均包括三次短刺激缺失和一次长刺激缺失，同频率的三个刺激目标的刺激缺失时刻均不相同。
在一些实施方式中，SSMVEP频域特征提取识别具体方法为：对脑电信号进行经验模态分解，得到多个本征模函数（IMF），其中SSMVEP特征主要分布在前三个分量中，通过SSMVEP所在的分量重构信号，在此基础上通过CCA算法对EMD分解后IMF分量重构中的SSMVEP特征进行识别，即可判断出受试者所在盯视目标的闪烁频率，同一列刺激目标具有相同的刺激频率，因此可判断出用户盯视目标所在列。
在一些实施方式中，在获取目标列后，将最优通道上的脑电信号x（t）与刺激频率对应目标的复杂模板进行典型相关分析，判定受试者盯视目标。
在一些实施方式中，轮椅的目标控制指令包括前进、后退、加速前进、减速前进、左转向、右转向、加速后退、减速后退、停止，与三行三列的牛顿环相对应。
本发明的有益效果为：本发明基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法，通过基于SSMVEP-ERP-OSR混合脑机接口范式，增加了目标数，进而提高了轮椅控制的更多指令，增加了受试者控制轮椅的灵活性，提出了基于复杂模板与CCA的时频特征分步识别算法，通过最优通道的选取提高了控制的准确率及实时性。
附图说明
图1为本发明基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法的系统框架示意图；
图2为本发明电极帽的电极放置示意图；
图3为本发明混合范式的示意图；
图4为本发明轮椅目标控制指令的示意图；
图5为本发明时频特征分布识别算法示意图；
图6为本发明离线实验刺激时序图；
图7为本发明Leave-One-Out Cross-Validation交叉验证算法生成基础目标分类器的流程示意图；
图8为本发明基于自动寻优算法的记录电极位置选择流程图。
具体实施方式
下面结合附图对本发明作进一步详细的说明。
实施例
如图1、2所示，基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法，包括系统整体框架图中将系统分为人机交互模块、信号采集模块、信号处理模块以及应用控制模块。选择Windows 旗下 Surface 笔记本作为系统主机， 其主要功能是提供人机交互界面并进行数据处理；系统开始运行后，首先 Surface 屏幕上呈现 SSMVEP-ERP-OSR 混合范式刺激，对用户进行视觉诱发；用户佩戴16导干电极脑电帽，采集经视觉诱发的脑电信号， 经过放大器放大后将 EEG信号传输给 Surface，对数据进行实时处理，包括预处理、频域SSMVEP特征提取识别、时域ERP及OSR特征提取识别，判断刺激目标，将识别结果通过电脑屏幕视觉反馈给用户；同时，将识别结果转换为对应指令，通过电脑与智能轮椅间的无线通讯，将指令传输至轮椅控制系统，控制轮椅完成受试者盯视目标方向。以上流程的具体的步骤如下：
步骤1：脑电采集模块中受试者穿戴好16导干电极帽坐在轮椅上，正前方计算机屏幕距离头部为60-80厘米，所有电极按照“国际10/20标准导联”放置，如图3所示，记录电极分布主要位于枕区、顶区和中央区域。电极包括 O1、O2、OZ、PO4、PO8、PO3、PO7、P3、CZ、FZ、FCZ、POZ、PZ、P4、CPZ。参考电极位于左侧耳垂，地电极为Fpz，确保其头部与头皮接触良好，并在实验过程中保证电极阻抗低于5千欧姆。
步骤:2：人机交互模块主要包括混合范式对受试者进行视觉诱发，如图4、5所示，具体方法为预先通过Matlab编写的SSMVEP-ERP-OSP混合范式程序会在计算机屏幕上呈现，屏幕上有9个刺激目标其分别对应关系为牛顿环1代表减速前进，牛顿环2代表前进，牛顿环3代表加速前进，牛顿环4代表左转向，牛顿环5代表停止，牛顿环6代表右转向，牛顿环7代表减速后退，牛顿环8代表后退，牛顿环9代表加速后退。牛顿环的位置如图4a所示，显示屏幕中每个牛顿环的直径约为 4.8deg，第一列和第三列牛顿环距屏幕中心的距离均为视角的9.6deg， 第一行和第三行牛顿环距屏幕中心的距离均为视角的 6.4deg。同处一列的刺激目标刺激频率相同，三列牛顿环对应的刺激频率分别为 15Hz、 17 Hz 和 19 Hz； 同一行刺激目标的刺激频率不同， 刺激缺失时间有细微差别，但大致相同。刺激时序如图4b所示，刺激频率为 15Hz 的刺激目标一、 二、 三，每个刺激目标中均包括三次短刺激缺失和一次长刺激缺失，三个目标的三次短时刺激和一次长时刺激之间的序列不同，并且刺激缺失时刻也不同。
步骤3：经过脑电采集仪放大、滤波及模数转换后，将数字化的脑电信号输入计算机，其中，脑电信号的采集采用16导gUSBamp放大器作为采集硬件，放大器的采样频率为1200Hz,硬件滤波包括0.05-100Hz的带通滤波及48-52Hz的带阻滤波。
步骤4:对脑电信号处理，如图6所示，包括以下步骤：
步骤4-1:对脑电信号的预处理，去除时间序列中的直流成分以及1-45Hz的带通滤波；
步骤4-2:通过训练阶段离线实验得到最优通道的基础目标分类器，离线实验的混合脑机接口范式如图7所示。训练阶段包括对九个刺激目标分别盯视九种任务，每种任务下包括两个Run，每个Run包括16次 trail， 每次trail中首先是500ms 的目标提示，紧接着是3000ms的刺激呈现，受试者对所提示目标进行盯视，之后屏幕黑屏 500ms 后进入下一次trail。训练阶段结束后，可得到每个刺激目标 32 次 trail 的训练数据，生成各个刺激目标的复杂模板作为基础目标分类器。
步骤4-3:在训练阶段，利用Leave-One-Out Cross-Validation 交叉验证算法生成基础目标分类器，如图8所示，具体步骤如下：
la.在训练样本采集阶段，受试者根据屏幕提示依次盯视刺激目标，得到盯视不同刺激目标时的 EEG 数据，有9个盯视目标，每个盯视目标采集了32组数据。将原始脑电信号数据经过滤波等预处理，将数据按照不同盯视目标按类进行存储，则有9类数据，每类数据包含32组；
lb.从每类数据随机取一组数据作为测试数据 TestData，其余31组数据作为训练数据；
lc.将训练数据经过31次叠加平均得到每个目标的波形模板 Template，9个目标的Template 构成分类器；
ld.将9个目标的测试数据 TestData 分别与分类器中的模板做典型相关分析，若某组测试数据与分类器中某组 Template 的相关性最大，则认为该组测试数据与该组Template 对应同一刺激目标。
le.将9组测试数据进行分类，若9个目标的测试数据均正确分类，即分类正确率为1，则将此时分类器中的模板输入最终模板TEMPLATE 中，否则摒弃掉这组模板。
返回步骤l b，重新从每类数据随机取一组数据作为测试数据 TestData，重复上述过程lb-le，将上述过程迭代 100 次，将 TEMPLATE 中的模板通过叠加平均， 即可生成比较成熟的目标分类器，分类器中存储着所有目标的波形模板。
步骤4-4: 在训练阶段，采用最优记录电极位置选择算法来自动寻取最优测量电极位置，如图1所示。
a.布置多个电极，进行离线实验，记录EEG信号；
b.每次选择一个通道计算离线正确率，选择使正确率最高的通道作为固定通道C1；
c.将已固定通道与其他通道依次组合，若正确率未升高，则选择使正确率最高的C2，此时最优通道为[C1,C2],若正确率持续升高，则选择使正确率升高最高的通道为C2，将C1与C2组合进行后续探索；
d.重复上述步骤c继续探索，若正确率无法继续升高，此时已固定通道即为最优通道；
这种自动寻优选取最优记录电极的算法可规避电极损坏、 电极接触不良、因人而异等因素影响。
步骤4-4: 经过基础目标分类器与自动寻优电极位置得到最优通道的基础目标分类器。
步骤4-5:在线测试阶段，首先被试者根据目标方向盯视目标牛顿环，然后采集在离线实验中获得的最优通道上的脑电信号，并进行去趋势向和滤波预处理后，进行基于EMD和CCA的SSMVEP频域特征提取识别，具体方法为对脑电信号进行经验模态分解，得到多个本征模函数（IMF），其中SSMVEP特征主要分布在前三个分量中，通过SSMVEP所在的分量重构信号，在此基础上通过CCA算法对EMD分解后IMF分量重构中的SSMVEP特征进行识别，即可判断出受试者所在盯视目标的闪烁频率，同一列刺激目标具有相同的刺激频率，因此可判断出用户盯视目标所在列。
步骤4-6:在获取目标列后，将最优通道上的脑电信号x(t)与刺激频率对应目标的复杂模板进行典型相关分析，最终判定受试者盯视目标。
步骤5：得到受试者盯视目标后，将其识别结果转化为目标控制指令进而实施对轮椅的控制，各目标对应有轮椅前进、后退、加速前进、减速前进、左转向、右转向、加速后退、减速后退、停止的指令，根据受试者自身需求，选择不同的目标，识别结果转化后的控制指令通过信号处理模块无线传输到轮椅控制器的信号接收模块，进而由轮椅驱动模块驱动轮椅做出不同的响应动作。智能轮椅自带的传感系统在受试者操控轮椅运行过程中，根据轮椅周边环境变化，做出保护动作，达到安全保护的目的。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法，其特征在于，包括：
离线实验：生成基础目标分类器和最优测量电极位置来得到最优通道的基础目标分类器；
生成基础目标分类器：在训练样本采集阶段，通过交叉验证算法Leave-One-OutCross-Validation生成基础目标分类器；
所述交叉验证算法Leave-One-Out Cross-Validation生成基础目标分类器的步骤为：
la.在训练样本采集阶段，受试者根据屏幕提示依次盯视刺激目标，得到盯视不同刺激目标时的 EEG 数据，假设有 M 个盯视目标，每个盯视目标采集了 N 组数据；将原始脑电信号数据经过滤波预处理，将数据按照不同盯视目标按类进行存储，则有M 类数据，每类数据包含 N 组；
lb.从每类数据随机取一组数据作为测试数据，其余N-1组数据作为训练数据；
lc.将训练数据经过N-1次叠加平均得到每个目标的波形模板 Template，M个目标的波形模板Template构成分类器；
ld.将 M个目标的测试数据分别与分类器中的波形模板Template做典型相关分析，若某个目标的测试数据与分类器中某个波形模板Template的相关性最大，则认为该目标的测试数据与该个波形模板Template 对应同一刺激目标；
le.将M个目标的测试数据进行分类，若M个目标的测试数据均正确分类，即分类正确率为1，则将此时分类器中的波形模板Template输入最终模板TEMPLATE中，否则摒弃掉该分类器中的波形模板Template；
返回步骤 lb，重新从每类数据随机取一组数据作为测试数据，重复上述过程lb-le，将上述过程迭代100次，将最终模板TEMPLATE中的波形模板Template通过叠加平均，即可生成比较成熟的基础目标分类器，基础目标分类器中存储着所有目标的波形模板；
最优测量电极位置选择：在训练样本采集阶段，采用最优记录电极位置选择算法来自动寻取最优测量电极位置，步骤包括：
a.布置多个电极，进行离线实验，记录EEG信号；
b.每次选择一个通道计算离线正确率，选择使正确率最高的通道作为固定通道C1；
c.将已固定通道与其他通道依次组合，若正确率未升高，则选择使正确率最高的C2，此时最优通道为[C1,C2],若正确率持续升高，则选择使正确率最高的通道为C2，将C1与C2组合进行后续探索；
d.重复上述步骤c继续探索，若正确率无法继续升高，此时已固定通道即为最优通道；
在线测试：采集最优通道上获取的受试者盯视刺激目标所产生的脑电信号，对采集的脑电信号进行去趋势向和滤波预处理，进行基于EMD和CCA的SSMVEP频域特征提取识别，判断受试者盯视目标所在列，将最优通道上的脑电信号与刺激频率对应目标的复杂模板进行典型相关分析，最终判定受试者盯视目标；
所述复杂模板为最优通道的基础目标分类器内的波形模板。
2.根据权利要求1所述的基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法，其特征在于，信号采集方式为通过电极帽采集受试者头皮脑电信号，所述头皮脑电信号由受试者盯视刺激目标时产生，所述刺激目标为计算机屏幕播放的SSMVEP-ERP-OSR混合范式，用于检测的所述电极包括 O1、O2、OZ、PO4、PO8、PO3、PO7、P3、CZ、FZ、FCZ、POZ、PZ、P4、CPZ，参考电极位于左侧耳垂，地电极为Fpz。
3.根据权利要求2所述的基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法，其特征在于，所述屏幕播放的SSMVEP-ERP-OSR混合范式包括三行三列牛顿环，每个牛顿环的直径为4.8deg，第一列和第三列牛顿环距屏幕中心的距离均为视角的9.6deg，第一行和第三行牛顿环距屏幕中心的距离均为视角的6.4deg。
4.根据权利要求3所述的基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法，其特征在于，同处一列的刺激目标刺激频率相同，三列牛顿环对应的刺激频率分别为15Hz、17 Hz和19 Hz；同一行刺激目标设置的刺激频率不同，刺激缺失时间存在差别；
刺激频率为15Hz的三个刺激目标，均包括三次短刺激缺失和一次长刺激缺失，同频率的三个刺激目标的刺激缺失时刻均不相同。
5.根据权利要求1所述的基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法，其特征在于，所述SSMVEP频域特征提取识别具体方法为：对脑电信号进行经验模态分解，得到多个本征模函数IMF，其中SSMVEP特征主要分布在前三个分量中，通过SSMVEP所在的分量重构信号，在此基础上通过CCA算法对EMD分解后IMF分量重构中的SSMVEP特征进行识别，即可判断出受试者所在盯视目标的闪烁频率，同一列刺激目标具有相同的刺激频率，因此可判断出用户盯视目标所在列。
6.根据权利要求5所述的基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法，其特征在于，在获取目标列后，将最优通道上的脑电信号与刺激频率对应目标的复杂模板进行典型相关分析，判定受试者盯视目标。
7.根据权利要求3所述的基于SSMVEP-ERP-OSR混合脑机接口的自动寻优方法，其特征在于，轮椅的目标控制指令包括前进、后退、加速前进、减速前进、左转向、右转向、加速后退、减速后退、停止，与三行三列的牛顿环相对应。
CN202011059020.8A 2020-09-30 2020-09-30 基于ssmvep-erp-osr混合脑机接口的自动寻优方法 Active CN112633312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011059020.8A CN112633312B (zh) 2020-09-30 2020-09-30 基于ssmvep-erp-osr混合脑机接口的自动寻优方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011059020.8A CN112633312B (zh) 2020-09-30 2020-09-30 基于ssmvep-erp-osr混合脑机接口的自动寻优方法

Publications (2)

Publication Number Publication Date
CN112633312A CN112633312A (zh) 2021-04-09
CN112633312B true CN112633312B (zh) 2023-04-14

Family

ID=75302771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011059020.8A Active CN112633312B (zh) 2020-09-30 2020-09-30 基于ssmvep-erp-osr混合脑机接口的自动寻优方法

Country Status (1)

Country Link
CN (1) CN112633312B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473294A (zh) * 2013-09-03 2013-12-25 重庆邮电大学 基于msvm脑电信号特征分类的方法及智能轮椅系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050085744A1 (en) * 2003-10-20 2005-04-21 Stmicroelectronics S.R.I. Man-machine interfaces system and method, for instance applications in the area of rehabilitation
CN102789441B (zh) * 2012-08-09 2015-03-18 上海海事大学 基于稳态诱发电位的异步脑机接口系统及其实现方法
CN104965584B (zh) * 2015-05-19 2017-11-28 西安交通大学 基于ssvep与osp的混合脑‑机接口方法
US10925509B2 (en) * 2018-05-28 2021-02-23 The Governing Council Of The University Of Toronto System and method for generating visual identity and category reconstruction from electroencephalography (EEG) signals
CN108920699B (zh) * 2018-07-16 2021-08-17 重庆邮电大学 一种基于N2pc的目标识别反馈系统及方法
US11676719B2 (en) * 2018-12-20 2023-06-13 Oregon Health & Science University Subtyping heterogeneous disorders using functional random forest models

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473294A (zh) * 2013-09-03 2013-12-25 重庆邮电大学 基于msvm脑电信号特征分类的方法及智能轮椅系统

Also Published As

Publication number Publication date
CN112633312A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
Ochoa EEG signal classification for brain computer interface applications
Pfurtscheller et al. 15 years of BCI research at Graz University of Technology: current projects
Wolpaw et al. Brain-computer interface research at the Wadsworth Center
Citi et al. P300-based BCI mouse with genetically-optimized analogue control
Serby et al. An improved P300-based brain-computer interface
CN110765920A (zh) 基于卷积神经网络的运动想象分类方法
Fazel-Rezai et al. A region-based P300 speller for brain-computer interface
CN101464728B (zh) 视觉运动相关神经信号为载体的人机交互方法
CN113157100B (zh) 一种附加汉字默读与运动想象任务的脑-机接口方法
CN101201696A (zh) 基于p300脑电电位的中文输入bci系统
CN107510555B (zh) 一种轮椅脑波控制装置及控制方法
CN110262658B (zh) 一种基于强化注意的脑机接口字符输入系统及实现方法
CN110037696A (zh) 基于眼电开关的脑电生物反馈系统
CN111930238B (zh) 基于动态ssvep范式的脑机接口系统实现方法及装置
CN109582131A (zh) 一种异步混合脑机接口方法及系统
CN108958486A (zh) 基于人脸识别脑电n170成分的情绪脑机接口系统
CN116400800B (zh) 一种基于脑机接口和人工智能算法的als患者人机交互系统及方法
Wang et al. P300 brain-computer interface design for communication and control applications
CN112162634A (zh) 一种基于seeg信号的数字输入脑机接口系统
Gong et al. An idle state-detecting method based on transient visual evoked potentials for an asynchronous ERP-based BCI
CN113359991A (zh) 一种面向残疾人的智能脑控机械臂辅助进食系统及方法
CN113082448A (zh) 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统
CN112633312B (zh) 基于ssmvep-erp-osr混合脑机接口的自动寻优方法
CN112230767B (zh) 基于ssmvep-erp-osr混合脑机接口驱动的轮椅控制方法
CN213423889U (zh) 基于ssmvep-erp-osr混合脑机接口驱动的轮椅

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant