CN116700495A - 基于稳态视觉诱发电位和运动想象的脑机交互方法和设备 - Google Patents

基于稳态视觉诱发电位和运动想象的脑机交互方法和设备 Download PDF

Info

Publication number
CN116700495A
CN116700495A CN202310699422.1A CN202310699422A CN116700495A CN 116700495 A CN116700495 A CN 116700495A CN 202310699422 A CN202310699422 A CN 202310699422A CN 116700495 A CN116700495 A CN 116700495A
Authority
CN
China
Prior art keywords
brain
motor imagery
steady
user
computer interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310699422.1A
Other languages
English (en)
Inventor
杨帮华
郭孟澳
竭荣昕
徐柏洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202310699422.1A priority Critical patent/CN116700495A/zh
Publication of CN116700495A publication Critical patent/CN116700495A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及一种基于稳态视觉诱发电位和运动想象的脑机交互方法和设备，方法包括如下步骤：建立与脑电采集设备的连接，构建包括多个区块的交互界面；接收用户的指令信息；当用户的指令为区块选取时，在预设时段内输出包括交互界面的图像数据，其中可移动的区块以预设频率闪烁，接收所述预设时段内的脑电信号，基于稳态视觉诱发电位得到用户注视的目标区块；当若用户的指令为区块移动时，发出运动想象的提示信息，采集脑电信号，基于预训练好的运动想象识别模型，判断用户想象的是左手运动还是右手运动，并根据已确定的目标区块更新图像数据，完成脑机交互。与现有技术相比，本发明具有识别准确率高、应用场景广等优点。

Description

基于稳态视觉诱发电位和运动想象的脑机交互方法和设备
技术领域
本发明涉及脑机交互技术领域，尤其是涉及一种基于稳态视觉诱发电位和运动想象的脑机交互方法和设备。
背景技术
脑机接口(Brain-Computer Interface,BCI)是一种基于脑电信号实现人脑与计算机或者其他设备之间的通信和控制接口，它把大脑发出的信息直接转换成能够驱动外部设备的命令，由此代替人的肢体或者语言器官实现对外部环境的控制。运动想象(MotionImagination,MI)指的是人在想象自己肢体(或肌肉)运动但没有实际运动输出时，人的特定脑区仍会有激活，通过分析脑电信号，检测识别不同脑区的激活效果来判断用户意图，进而实现人脑与外部设备之间的直接通信与控制。目前常见的运动想象部位为：左手，右手，双脚和舌头。稳态视觉诱发电位(Steady statevisual evoked potential,SSVEP)是一种常用基于视觉刺激的BCI输入信号，基本原理是当人眼受到一个固定频率视觉刺激时，大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频段)的响应信号。
目前，在脑机接口领域大部分的BCI系统均为单个实验范式，混合脑机的应用系统少之又少。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于稳态视觉诱发电位和运动想象的脑机交互方法和设备，以达到较高的识别准确率。
本发明的目的可以通过以下技术方案来实现：
本发明的一个方面，提供了一种基于稳态视觉诱发电位和运动想象的脑机交互方法，包括如下步骤：
步骤S1，建立与脑电采集设备的连接，构建包括多个区块的交互界面；
步骤S2，接收用户的指令信息，若用户的指令为区块选取，则执行步骤S3，若用户的指令为区块移动，则执行步骤S4；
步骤S3，在预设时段内输出包括交互界面的图像数据，其中可移动的区块以预设频率闪烁，接收所述预设时段内的脑电信号，基于稳态视觉诱发电位得到用户注视的目标区块，返回步骤S2；
步骤S4，发出运动想象的提示信息，采集脑电信号，基于预训练好的运动想象识别模型，判断用户想象的是左手运动还是右手运动，并根据已确定的目标区块更新图像数据，完成脑机交互，返回步骤S2。
作为优选的技术方案，所述的运动想象识别模型的训练过程包括如下步骤：
发送训练引导信息，采集用户在左右手运动想象时的脑电信号，并与同步标签信号绑定，形成运动想象脑电数据，并通过线下的滤波和特征提取构建所述运动想象识别模型。
作为优选的技术方案，所述的步骤S2中，所述目标区块的确定过程包括如下步骤：
步骤S21，基于接收到的脑电信号，获取预处理后的稳态视觉诱发电位脑波，并使用预设的子带滤波器组进行滤波，得到信号的子带分量；
步骤S22，基于FBCCA算法计算各个子带对应的相关系数，通过平方加权得到总相关系数，选取最大的总相关系数对应的频率，确定目标区块。
作为优选的技术方案，所述的步骤S3中，判断用户想象的是左手运动还是右手运动具体为：
步骤S31，基于预处理后的脑电信号，利用FBCSP算法进行空间滤波和特征提取；
步骤S32，基于提取到的特征，利用预训练好的运动想象识别模型输出预测标签，判断用户想象的是左手运动还是右手运动。
作为优选的技术方案，所述的步骤S4中，所述的动想象识别模型预先在线下训练。
作为优选的技术方案，所述的步骤S1中，与脑电采集设备建立无线连接。
作为优选的技术方案，所述的脑电采集设备为脑电帽。
作为优选的技术方案，所述的预设频率为8-12Hz。
本发明的另一个方面，提供了一种基于稳态视觉诱发电位和运动想象的脑机交互设备，包括：
信号采集设备，用于采集脑电信号；
BCI模块，用于通过无线通信模块获取所述脑电信号，用于在区块选取模式下基于稳态视觉诱发电位得到用户注视的目标区块，在区块移动模式下基于预训练好的运动想象识别模型，判断用户想象的是左手运动还是右手运动，并更新包括多个区块的交互界面；
显示模块，用于根据当前的交互界面，输出视觉信号。
本发明的另一个方面，提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行上述基于稳态视觉诱发电位和运动想象的脑机交互方法的指令。
与现有技术相比，本发明具有以下优点：
(1)识别准确率高：不同于现有的单一脑机范式，本发明提供了基于稳态视觉诱发电位和运动想象的混合脑机交互方法，相比于单一脑机范式具有更高的识别准确率、系统灵活性、可控制命令的扩展性，同时也能提高用户的参与度和兴趣，用户能够在两种范式中进行切换。
(2)应用场景广：本发明不仅可以有效的锻炼了受试者的脑部能力，同时也有助于脑卒中患者的康复。
附图说明
图1是用于混合BCI的拼图系统控制流程示意图；
图2是整体实验流程图；
图3是用户交互初始界面；
图4是用户离线训练建模引导界面；
图5是用户在线交互脑控拼图测试画面。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例1
为了解决现在大部分的脑机接口系统均为单个实验范式，混合脑机的构建系统较少，应用场景不多。本实施例提供一种基于稳态视觉诱发电位和运动想象的混合脑机交互方法，从而方便构建基于混合脑机接口新型交互范式的混合BCI系统，令受试者在两种范式中进行切换，从而可以有效的锻炼了受试者的脑部能力，同时也有助于脑卒中患者的康复。其原理是用户需跟随系统的提示进行MI或SSVEP测试，BCI模块会将此时的脑电波(EEG)信号解码为控制命令，更改此时系统检测到的状态，随后根据测试结果进行下一次的提示。在MI-BCI范式中采用了改进基于滤波器组共空间模式(Filter Bank Common SpatialPattern,FBCSP)算法，对受试者的顶叶区脑电信号进行分析。在SSVEP-BCI范式中采用基于滤波器组的典型相关分析(Filter Bank Canonical Correlation Analysis，FBCCA)算法，对受试者的枕叶区脑电信号进行分析。最后将识别指令通过TCP/UDP通信发送出解析结果。
本方法使用合适的脑电帽实时采集被试者的脑电数据，高性能生物信号放大器将原始信号放大并通过无线通信传输给计算机。在刺激界面上，用户需跟随系统的提示进行MI或SSVEP测试，BCI模块会将此时的脑电图(EEG)信号解码为控制命令，更改此时系统拼图的状态，随后根据测试结果进行下一次的提示。
本方法包括如下步骤：
步骤1，准备过程，帮助患者佩戴好脑电帽和连接信号放大器。
步骤2，打开用户交互界面，扬声器播放设备已激活请等待连接后等待几秒，当系统连接上脑电帽后，扬声器播放设备已连接后系统开始运行。
步骤3，入用户初始交互界面，首先需要对被试进行离线训练，如果还未进行离线训练系统将会提醒请先进行训练，如果已完成训练只需要选择已经训练好的模型即可。
步骤4，用户交互界面离线系统开启时，患者根据视频引导进行左右手的运动想象，同时脑电帽采集脑电信号，经信号放大器放大后，与同步标签信号通过无线方式传输给系统端。
具体的，离线训练的具体步骤如下：患者根据视频引导进行左右手的运动想象。同时脑电帽采集脑电信号，经信号放大器放大后，保存到本地。
步骤5，基于运动想象脑电数据的离线建模使用FBCSP、SVM算法对采集软件保存的离线数据进行建模。
具体的，原始脑电数据离线解码建模的具体步骤如下：
步骤51，对原始数据进行预处理滤波；
步骤52，将两类脑电信号协方差矩阵同时进行对角化，找到一组最优的空间滤波器；
步骤53，通过最优空间滤波器对脑电数据进行投影，可使两类EEG信号方差差异值达到极大，实现脑电数据的特征提取；
步骤54，通过寻找最优超平面，结合已知标签和提取到的脑电特征脑电数据进行分类，生成对应模型。依据算法建模结果，选取最优模型以供在线测试使用。
步骤6，选择脑控拼图在线系统，进行用户的在线测试。开启后，用户根据脑控拼图的提示进行注视目标闪烁块，或者进行左右手的运动想象。同时脑电帽采集脑电信号，经信号放大器放大后，与同步标签信号通过无线方式传输给系统；
具体的，原始脑电数据在线测试，用户交互界面在线系统开启时，患者根据脑控游戏里的任务进行相应的动作。同时脑电帽采集脑电信号，经信号放大器放大后，与同步标签信号通过无线方式传输给在线解码模块。
步骤7，系统首先在可能移动的目标区块(拼图块)上选择8～12Hz之间不同的闪烁频率进行视觉刺激，被试人员需要注视目标块。当刺激结束后，系统选择SSVEP-EEG在线识别单元使用FBCCA算法对刺激时间段的数据进行分类识别，最终输出被试人员看到的目标块。
具体的，原始脑电数据在线解码的具体步骤如下：
步骤71，构造对应的子带滤波器组，将预处理过后的SSVEP-EEG使用滤波组滤波，得到信号的子带分量。
步骤72，对子带分量分别使用CCA算法，得到对应的相关系数。
步骤73，各子带的相关系数的平方与权重点乘并相加，得到对应频率的相关系数。取最大的相关系数所在的频率为结果。
步骤8，然后系统通过提示用户开始控制目标块的移动，用户进行相应的左手或右手运动想象，系统调用MI-EEG在线识别单元使用FBCSP算法对采集软件实时转发的数据进行左手还是右手分类识别，最终输出预测目标块的移动方向。
具体的，原始脑电数据在线解码的具体步骤如下：
步骤81，对原始数据进行预处理滤波；
步骤82，将两类脑电信号协方差矩阵同时进行对角化，找到一组最优的空间滤波器；
步骤83，通过最优空间滤波器对脑电数据进行投影，可使两类EEG信号方差差异值达到极大，实现脑电数据的特征提取；
步骤84，通过寻找最优超平面，结合训练模型和提取到的脑电特征脑电数据进行分类，输出预测标签，即患者想象右手还是左手运动；
步骤9，系统将在线识别结果转换成执行指令在脑控拼图界面中执行相应动作，根据执行后的状态，进一步调整下一步的脑控任务，在刺激界面中显示，然后重复步骤7-8的过程，直到完成脑控拼图游戏或用户通过主动退出游戏；
具体的，系统将在线识别结果转换成脑控游戏的控制指令发送给刺激界面，刺激界面实现相应的转换。
以下是本方法的一个具体实施过程：
如图1所示，一种基于稳态视觉诱发电位和运动想象的混合脑机交互方法，首先由专业人员帮助使用者佩戴好脑电帽并打开信号放大器，然后打开厂家对应采集软件，根据实时阻抗图打好导电膏。接着打开混合脑机系统的交互界面，先进行信息登记和参数设置，再播放视频引导使用者进行左右手的运动想象(Motor Imagery，MI)，采集到的数据由信号放大器放大后与多参数同步器的同步信号一起经由路由器发送至采集软件，再由MI-EEG离线解码建模单元对数据解码并建立模型。最后，给使用者打开在线脑控拼图测试任务，采集到的数据由在线识别单元进行在线分类识别，并根据分类结果控制拼图块运动，从而达到对使用者进行康复训练或者提升注意力的目的。
如图2所示，实验流程如下：首先由专业人员帮助使用者佩戴好博瑞康64导联湿电极帽，并打好导电膏，系统正确连接脑电帽。其次打开混合脑机系统的用户交互界面。然后判断是否已经建立模型，若未建模，进行视频引导的离线训练，脑电帽采集使用者此时的脑电信号经信号放大器放大后结合同步标签信号一并通过无线方式传输混合脑机系统，MI-EEG离线解码建模单元对采集软件保存的离线数据进行建模；若已经建模进行混合BCI在线测试，SSVEP-BCI在线识别单元对采集软件实时转发的数据进行解码，最终输出选择的拼图块；MI-BCI在线识别单元对采集软件实时转发的数据进行左右手的分类识别，最终输出拼图的移动方向，并最终转化成游戏指令反映到用户游戏界面当中。
如图3所示，用户交互界面包含4个子界面，开始界面主要用于人员信息登记和在线任务选择；系统设置界面可用于调整功能模块的运行参数，检查设备连接状态。在完成设备连接和人员登记后，主界面中的离线建模和在线测试才可以点击，这两个辅助界面分别用于展示离线训练的视频引导界面和在线测试的拼图反馈界面。
运动想象脑电特征提取采用滤波器组共空间模式(Filter Bank Common SpatialPattern,FBCSP)算法，首先采用由Butterworth滤波器构成的滤波器组，以4Hz为带宽，在4-40Hz的范围内将运动想象脑电信号分解为4-8Hz、8-12Hz、12-16Hz、…、36-40Hz共9个频带上的信号，再分别对每个频段的EEG信号进行空间滤波。然后再经过基于CSP算法的特征提取，每个子带将得到特征向量。最后的特征分类方法采用向量机(Support VectorMachine,SVM)，从而得到输出分类结果。
其中CSP算法提取特征步骤如下：
假设训练集左右手分别包含n个trial，。包含单个trial数据为EN*T，其中N为通道数，T包含点数。CSP具体实现过程如下：
1)计算每个trial的协方差，trace(X)表示矩阵X的迹。
2)分别计算左右手的平均协方差Cl和Cr，以及混合空间协方差Cc：
Cc＝Cl+Cr
3)对Cc进行特征值分解，Uc为特征向量矩阵，Λc为特征值对角矩阵：
4)构造白化矩阵P和左右手对应空间系数矩阵Sl Sr：
Sl＝PClPT
Sr＝PCrPT
5)对白化后的Sl和Sr进行特征值分解：
Sl＝BΛlBT
Sr＝BΛrBT
6)计算空间滤波器矩阵:
W＝(BTP)T
将EEG信号EN*T通过WN*N滤波，可得：ZN*T＝WN*NEN*T
7)计算特征向量f。f的维数最大值不能超过电极导联数N。提取Z的前m行和后m行(2m＜N)：
var(X)代表计算样本X的方差。CSP特征提取的最终结果为特征向量f＝{f1,f2,…,f2m}，其中m为选择的特征对数。f的前m维和后m维分别与一类信号的方差达到极大，与另一类信号的方差达到极小。
如图4所示，离线训练时，根据需要设置对应的左右手训练量，开始训练后用户界面会跳转至离线系统播放左右手的引导视频，患者根据随机播放的左右手引导画面进行离线训练。
如图5所示，在线测试时，用户交互界面会跳至拼图页面。用户首先根据提示注视闪烁块，识别成功后闪烁块会变红，并提示继续进行运动想象，此时用户根据界面提示进行相应的左右手运动想象，识别成功后会控制相应拼图块运动。以此来增加任务的多样性和变化性，提高用户的参与度和兴趣，从而更好地激发脑部能力。
SSVEP脑电特征提取采用FBCCA算法，FBCCA算法是基于CCA算法的改进，接下来首先介绍CCA的算法流程，再介绍FBCCA的算法流程。步骤如下：
1)CCA是分析两组数据相关度的算法，在处理SSVEP-EEG时，一组信号即为多通道的脑电信号，设为X，另一组信号就为模板信号，通常为由正余弦生成的参考信号，设为Y。X、Y的具体定义参照下式
其中，式中Nh是指定的谐波次数，f为采样频率，N为采样点数。Y需要根据X的长度，生成对应长度的序列，才能进行运算。
2)CCA的核心是通过求解下式的优化问题，找到一组线性组合Wx和Wy，使得x＝XTWX和y＝YTWY之间的相关性达到最大，得到最大相关系数ρ。最大的相关系数ρ即为判别的特征。
对不同频率下的模板信号，使用脑电信号进行CCA，即可得到各自的相关系数，选择其中最大相关系数对应的频率作为识别结果。
3)对于FBCCA算法来说，就是在CCA的基础上，对每一个频率的信号使用滤波器组进行子带分解，得到子带分量XSBi，先对子带分量进行CCA，得到相关系数序列ρf。计算公式如下所示。
4)将相关系数序列ρf中的N个相关系数进行平方加权，得到总相关系数ρ，计算公式如下所示。
5)其中，a，b是常数。按照上述公式，可以得到单个频率对应的ρ。分别计算出各频率对应的ρ，选择其中最大的ρ对应的频率作为分类结果。
本发明具有如下优点：
(1)MI范式和SSVEP范式均达到了较高的成功率和模拟信息传输速率，说明系统的可靠性和实用性。
(2)构建了一种基于MI-SSVEP混合BCI的脑机交互方法和设备，并且构建了脑控拼图这一场景，可以帮助用户在脑控游戏的过程中进行康复训练提升注意力，在保证趣味性的同时完成训练的目的，未来可以根据需要在系统的SSVEP-BCI范式中增添新的功能，构建更完整的脑控游戏训练系统。
实施例2
本实施例提供了一种基于稳态视觉诱发电位和运动想象的脑机交互设备，包括：
信号采集设备，用于采集脑电信号；
BCI模块，用于通过无线通信模块获取所述脑电信号，用于在区块选取模式下基于稳态视觉诱发电位得到用户注视的目标区块，在区块移动模式下基于预训练好的运动想象识别模型，判断用户想象的是左手运动还是右手运动，并更新包括多个区块的交互界面；
显示模块，用于根据当前的交互界面，输出视觉信号。
实施例3
本实施例提供了一种基于稳态视觉诱发电位和运动想象的混合脑机交互系统，包括：脑电帽、多参数同步器、信号放大器、基于MI-SSVEP混合脑机系统包含用户交互界面、MI-EEG离线解码建模单元和混合脑机在线识别单元，脑电帽和信号放大器通过串口方式连接，信号放大器通过无线方式与混合脑机系统连接。具体的，
脑电帽：用于采集患者根据用户交互界面的引导进行左右手运动想象时的离线训练脑电信号，采集患者根据用户交互界面的反馈进行视觉诱发脑电和左右手的运动想象时的在线测试脑电信号；
信号放大器：用于对离线训练脑电信号进行放大处理生成离线训练放大脑电信号，对在线测试脑电信号进行放大处理生成在线测试放大脑电信号；
多参数同步器：用于对离线训练同步标签信息和在线测试同步标签信息进行打标；
MI-SSVEP混合脑机系统脑控拼图交互界面：用于引导患者进行稳态视觉诱发任务和左右手运动想象；
MI-SSVEP混合脑机系统离线解码建模单元：用于采用滤波器组共空间模式(Filter Bank Common Spatial Pattern,FBCSP)算法对离线训练数据进行特征提取，采用支持向量机(Support Vector Machine,SVM)算法对特征和已知标签进行分类，建立脑卒中康复训练模型；
MI-SSVEP混合脑机系统在线识别单元：对于视觉刺激任务用于采用FBCCA算法对在线数据进行特征提取后进行注视闪烁块的分类识别，输出用户注视的是那一块拼图块；对于运动想象任务用于采用FBCSP算法对在线数据进行特征提取后，采用SVM算法对特征和离线训练建立的训练模型进行左右手分类识别，输出拼图块的走向；
具体的，用户交互界面包含下述四种子界面中的至少一种：登记界面、系统设置界面、离线训练和在线测试界面，其中，
登记界面，用于采集人员登记信息；
系统设置界面，用于调整功能模块的运行参数和控制脑电设备的连接；
离线训练界面，用于展示离线训练的视频引导界面；
在线测试界面，用于展示在线测试的脑控拼图游戏界面。
具体的，离线训练时，采用FBCSP算法对离线训练数据进行特征提取，采用支持向量机SVM算法对特征和已知标签进行分类，建立人员训练模型，其中，算法实现步骤如下：
首先采用由Butterworth滤波器构成的滤波器组，以4Hz为带宽，在4-40Hz的范围内将运动想象脑电信号分解为4-8Hz、8-12Hz、12-16Hz、…、36-40Hz共9个频带上的信号，再分别对每个频段的EEG信号进行空间滤波。然后再经过基于CSP算法的特征提取，将两类脑电信号协方差矩阵同时进行对角化，找到一组最优的空间滤波器；通过最优空间滤波器对脑电数据进行投影，可使两类EEG信号方差差异值达到极大，实现脑电数据的特征提取，每个子带将得到特征向量。最后的特征分类方法采用向量机(Support Vector Machine,SVM)，从而得到输出分类结果。
具体的，在线测试基于稳态视觉诱发脑电，采用FBCCA算法对在线数据进行特征提取后和分类识别，输出预测用户注视拼图块信息。其中，算法实现步骤如下：
构造对应的子带滤波器组，将预处理过后的SSVEP-EEG使用滤波组滤波，得到信号的子带分量。
对子带分量分别使用CCA算法，得到对应的相关系数。
各子带的相关系数的平方与权重点乘并相加，得到对应频率的相关系数。取最大的相关系数所在的频率为结果。
具体的，在线测试运动想象任务时，采用FBCSP算法对在线数据进行特征提取后，采用SVM算法对特征和离线训练建立的脑卒中康复训练模型进行分类识别，输出预测标签，预测标签包括：患者想象左手、患者想象右手；其中，算法实现步骤如下：
首先采用由Butterworth滤波器构成的滤波器组，以4Hz为带宽，在4-40Hz的范围内将运动想象脑电信号分解为4-8Hz、8-12Hz、12-16Hz、…、36-40Hz共9个频带上的信号，再分别对每个频段的EEG信号进行空间滤波。然后再经过基于CSP算法的特征提取，将两类脑电信号协方差矩阵同时进行对角化，找到一组最优的空间滤波器；通过最优空间滤波器对脑电数据进行投影，可使两类EEG信号方差差异值达到极大，实现脑电数据的特征提取，每个子带将得到特征向量。最后的特征分类方法采用向量机(Support Vector Machine,SVM)，从而得到输出分类结果。通过寻找最优超平面，结合训练模型和提取到的脑电特征脑电数据进行分类，输出预测标签，预测标签包括：患者想象左手、患者想象右手；最后得到脑控拼图的运动指令。
实施例4
本实施例提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如实施例1所述基于稳态视觉诱发电位和运动想象的脑机交互方法的指令。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于稳态视觉诱发电位和运动想象的脑机交互方法，其特征在于，包括如下步骤：
步骤S1，建立与脑电采集设备的连接，构建包括多个区块的交互界面；
步骤S2，接收用户的指令信息，若用户的指令为区块选取，则执行步骤S3，若用户的指令为区块移动，则执行步骤S4；
步骤S3，在预设时段内输出包括交互界面的图像数据，其中可移动的区块以预设频率闪烁，接收所述预设时段内的脑电信号，基于稳态视觉诱发电位得到用户注视的目标区块，返回步骤S2；
步骤S4，发出运动想象的提示信息，采集脑电信号，基于预训练好的运动想象识别模型，判断用户想象的是左手运动还是右手运动，并根据已确定的目标区块更新图像数据，完成脑机交互，返回步骤S2。
2.根据权利要求1所述的一种基于稳态视觉诱发电位和运动想象的脑机交互方法，其特征在于，所述的运动想象识别模型的训练过程包括如下步骤：
发送训练引导信息，采集用户在左右手运动想象时的脑电信号，并与同步标签信号绑定，形成运动想象脑电数据，并通过线下的滤波和特征提取构建所述运动想象识别模型。
3.根据权利要求1所述的一种基于稳态视觉诱发电位和运动想象的脑机交互方法，其特征在于，所述的步骤S2中，所述目标区块的确定过程包括如下步骤：
步骤S21，基于接收到的脑电信号，获取预处理后的稳态视觉诱发电位脑波，并使用预设的子带滤波器组进行滤波，得到信号的子带分量；
步骤S22，基于FBCCA算法计算各个子带对应的相关系数，通过平方加权得到总相关系数，选取最大的总相关系数对应的频率，确定目标区块。
4.根据权利要求1所述的一种基于稳态视觉诱发电位和运动想象的脑机交互方法，其特征在于，所述的步骤S3中，判断用户想象的是左手运动还是右手运动具体为：
步骤S31，基于预处理后的脑电信号，利用FBCSP算法进行空间滤波和特征提取；
步骤S32，基于提取到的特征，利用预训练好的运动想象识别模型输出预测标签，判断用户想象的是左手运动还是右手运动。
5.根据权利要求1所述的一种基于稳态视觉诱发电位和运动想象的脑机交互方法，其特征在于，所述的步骤S4中，所述的动想象识别模型预先在线下训练。
6.根据权利要求1所述的一种基于稳态视觉诱发电位和运动想象的脑机交互方法，其特征在于，所述的步骤S1中，与脑电采集设备建立无线连接。
7.根据权利要求1所述的一种基于稳态视觉诱发电位和运动想象的脑机交互方法，其特征在于，所述的脑电采集设备为脑电帽。
8.根据权利要求1所述的一种基于稳态视觉诱发电位和运动想象的脑机交互方法，其特征在于，所述的预设频率为8-12Hz。
9.一种基于稳态视觉诱发电位和运动想象的脑机交互设备，其特征在于，包括：
信号采集设备，用于采集脑电信号；
BCI模块，用于通过无线通信模块获取所述脑电信号，用于在区块选取模式下基于稳态视觉诱发电位得到用户注视的目标区块，在区块移动模式下基于预训练好的运动想象识别模型，判断用户想象的是左手运动还是右手运动，并更新包括多个区块的交互界面；
显示模块，用于根据当前的交互界面，输出视觉信号。
10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-8任一所述基于稳态视觉诱发电位和运动想象的脑机交互方法的指令。
CN202310699422.1A 2023-06-13 2023-06-13 基于稳态视觉诱发电位和运动想象的脑机交互方法和设备 Pending CN116700495A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310699422.1A CN116700495A (zh) 2023-06-13 2023-06-13 基于稳态视觉诱发电位和运动想象的脑机交互方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310699422.1A CN116700495A (zh) 2023-06-13 2023-06-13 基于稳态视觉诱发电位和运动想象的脑机交互方法和设备

Publications (1)

Publication Number Publication Date
CN116700495A true CN116700495A (zh) 2023-09-05

Family

ID=87844700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310699422.1A Pending CN116700495A (zh) 2023-06-13 2023-06-13 基于稳态视觉诱发电位和运动想象的脑机交互方法和设备

Country Status (1)

Country Link
CN (1) CN116700495A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116400800A (zh) * 2023-03-13 2023-07-07 中国医学科学院北京协和医院 一种基于脑机接口和人工智能算法的als患者人机交互系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116400800A (zh) * 2023-03-13 2023-07-07 中国医学科学院北京协和医院 一种基于脑机接口和人工智能算法的als患者人机交互系统及方法
CN116400800B (zh) * 2023-03-13 2024-01-02 中国医学科学院北京协和医院 一种基于脑机接口和人工智能算法的als患者人机交互系统及方法

Similar Documents

Publication Publication Date Title
CN109992113B (zh) 一种基于多场景诱发的mi-bci系统及其控制方法
CN113398422B (zh) 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法
CN107037883A (zh) 一种基于运动想象的混合脑机接口系统及方法
CN104548347A (zh) 一种纯意念神经肌肉电刺激控制与神经功能评价系统
CN111544015B (zh) 基于认知力的操控工效分析方法、设备及系统
CN111598453B (zh) 基于虚拟场景中执行力的操控工效分析方法、设备及系统
CN111598451B (zh) 基于任务执行能力的操控工效分析方法、设备及系统
CN111110982A (zh) 基于运动想象的手部康复训练方法
CN111553618B (zh) 操控工效分析方法、设备及系统
CN112465059A (zh) 基于跨脑融合决策的多人运动想象识别方法及脑机系统
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
CN110955330B (zh) 基于复杂对象控制的高唤醒度的脑电意图辨析方法
CN116700495A (zh) 基于稳态视觉诱发电位和运动想象的脑机交互方法和设备
CN111553617A (zh) 基于虚拟场景中认知力的操控工效分析方法、设备及系统
CN110074779A (zh) 一种脑电信号识别方法及装置
CN108523883A (zh) 一种基于实际动作建模的左右食指连续运动想象识别系统
CN107184205B (zh) 基于脑的记忆刻度和诱导捕捉的自动知识记忆牵引方法
CN114298089A (zh) 一种多模态力量训练辅助方法和系统
CN112162634A (zh) 一种基于seeg信号的数字输入脑机接口系统
CN113506607A (zh) 一种基于树莓派的便携式脑卒中康复训练系统及方法
CN112987917B (zh) 运动想象增强方法、装置、电子设备和存储介质
CN115374831B (zh) 多模态配准和时空特征注意的动静结合速度想象分类方法
CN109078262B (zh) 一种基于外周神经电刺激的mi-bci训练方法
CN108388345B (zh) 基于小波多分辨率复杂网络的脑电极优化方法及其应用
CN115392287A (zh) 一种基于自监督学习的脑电信号在线自适应分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination