CN109992113B - 一种基于多场景诱发的mi-bci系统及其控制方法 - Google Patents

一种基于多场景诱发的mi-bci系统及其控制方法 Download PDF

Info

Publication number
CN109992113B
CN109992113B CN201910280670.6A CN201910280670A CN109992113B CN 109992113 B CN109992113 B CN 109992113B CN 201910280670 A CN201910280670 A CN 201910280670A CN 109992113 B CN109992113 B CN 109992113B
Authority
CN
China
Prior art keywords
scene
subject
eeg signal
module
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910280670.6A
Other languages
English (en)
Other versions
CN109992113A (zh
Inventor
谢平
陈伟
房华蕾
张宁宁
何思凡
袁航
陈晓玲
付子豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN201910280670.6A priority Critical patent/CN109992113B/zh
Publication of CN109992113A publication Critical patent/CN109992113A/zh
Application granted granted Critical
Publication of CN109992113B publication Critical patent/CN109992113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/816—Athletics, e.g. track-and-field sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game

Abstract

本发明公开了一种基于多场景诱发的MI‑BCI系统及其控制方法，所述MI‑BCI系统包含声音文字、图片视频、3D生活场景、虚拟游戏场景4类目标导向型运动想象诱发场景，从不同角度深度诱导受试者进行运动想象；训练中实时采集大脑运动区多通道EEG信号，经过信号预处理、特征提取、PSO‑SVM意图识别后将结果输出到虚拟场景中进行交互控制，形成一个闭环反馈训练系统。通过评估运动区神经激活程度大小绘制动态脑地形图，为受试者提供反映大脑激活状况的可视化神经反馈。根据当前神经活跃程度大小对训练场景进行自适应切换调整，保证受试者持续处于运动神经最大程度激活状态，以提高系统的识别率。

Description

一种基于多场景诱发的MI-BCI系统及其控制方法
技术领域
本发明涉及脑-机接口系统识别领域，特别是涉及一种基于多场景诱发的MI-BCI系统及其控制方法。
背景技术
脑-机接口(brain-computer interface，BCI)是一种基于脑电信号实现人脑与计算机或其他电子设备通讯和控制的系统，它不依赖人体的外周神经系统及肌肉组织，是一种更加迅速、有效的人机接口方式。基于运动想象的脑-机接口(move image-brain-computer interface，MI-BCI)系统是一种通过运动想象产生的脑电信号(electroephalography，EEG)实现人脑与外部设备之间直接进行通信和控制的接口。
近年来，国内外研究者逐渐将运动想象、脑机接口技术应用到康复、娱乐、军事等众多领域，并取得了很好的效果，但目前的MI-BCI系统仍然存在诸多方面不足：(1)当前基于运动想象的BCI训练系统大多皆从模式识别算法上改进来提高识别准确率，却忽视了从诱发场景方面研究如何提高受试者运动想象脑区激活程度与主动参与性，通过提升信号质量以提高识别准确率；(2)多数MI-BCI系统的刺激场景单一简单、个体适应性差且多为开环或采用简单的视觉反馈，即将系统的输出通过简单视觉呈现给受试者，缺乏对受试者运动想象的有效监测和神经状态反馈，无法形成多重立体反馈网络，用户难以根据反馈的信息做出有针对性的主观调节；(3)MI-BCI多为离线系统，受试者无法知道他们当前参与的运动想象是帮助还是阻碍了大脑皮层运动神经的激活，导致受试者不能进行运动想象实时纠错调整。
发明内容
本发明的目的是提供一种基于多场景诱发的MI-BCI系统及其控制方法，以解决传统的MI-BCI系统的刺激场景单一简单，无法形成多重立体反馈网络，用户难以根据反馈的信息做出有针对性的主观调节以及受试者无法知道他们当前参与的运动想象是帮助还是阻碍了大脑皮层运动神经的激活，导致他们不能运动想象进行实时纠错调整的问题。
为实现上述目的，本发明提供了如下方案：
一种基于多场景诱发的MI-BCI系统，包括：多场景诱发想象模块、脑电EEG信号采集模块、EEG信号分析模块、可视化神经反馈模块以及虚拟场景交互控制模块；
所述多场景诱发想象模块提供虚拟场景，诱发受试者产生EEG信号，并将所述EEG信号传输至所述EEG信号采集模块；所述虚拟场景包括声音文字场景、图片视频场景、3D生活场景、虚拟游戏场景；
所述EEG信号采集模块将采集到的所述EEG信号发送至所述EEG信号分析模块，由所述EEG信号分析模块进行分析处理，得到分析后的EEG信号；
所述可视化神经反馈模块接收所述分析后的EEG信号，并根据所述分析后的EEG信号形成动态脑地形图和受试者意图指令；
所述虚拟场景交互控制模块获取所述动态脑地形图和所述受试者意图指令输入到所述虚拟场景中实时交互控制，形成一个闭环反馈训练系统；所述受试者基于所述闭环反馈训练系统，根据所述动态脑地形图对所述虚拟场景进行任务实时纠错，使得运动想象控制过程变得可视化。
可选的，所述多场景诱发想象模块用于为受试者提供静/动态场景、2D/3D场景或虚拟/真实场景的多形式诱发增强想象场景。
可选的，所述多场景诱发想象模块用于通过游戏开发平台Unity3D搭建包括声音文字、图片视频、3D生活场景、虚拟游戏场景四种目标导向型虚拟场景以全方位诱导受试者进行运动想象。
可选的，所述EEG信号分析模块用于对所述EEG信号通过长度为4s、步长3s的滑动窗进行数据截取，并对截取的所述EEG信号进行预处理，得到分析后的EEG信号。
可选的，所述对截取的所述EEG信号进行预处理的预处理过程，具体包括：降采样过程、高通去基线过程、自适应陷波去工频过程、以及6层小波包分解进行特定频段提取过程。
可选的，所述可视化神经反馈模块用于将当前各通道EEG信号的μ/β频段能量值、平均功率谱密度值以及小波包熵值以图形图像形式绘制成动态脑地形图，为受试者提供反映大脑活跃程度的可视化神经反馈；并获取大脑运动皮层神经激活程度值，比较所述大脑运动皮层神经激活程度值与设定阈值，得到比较结果，根据所述比较结果控制诱发场景的自适应切换；其中，μ/β频段能量值包括μ频段能量值以及β频段能量值，μ频段为8Hz-12Hz的脑电信号，β频段为14z-30Hz的脑电信号。
可选的，所述可视化神经反馈模块还包括：在线训练单元，所述在线训练单元用于对所述EEG信号通过长度3s、步长1s的滑动窗的滑动窗进行数据截取，获得运动区神经活跃度特征值并构建大脑特征值分布模型，对大脑特征值分布模型的区域颜色进行填充，并生成动态脑地形图。
一种基于多场景诱发的MI-BCI系统的控制方法，所述控制方法应用于一种MI-BCI系统，所述MI-BCI系统包括：多场景诱发想象模块、脑电EEG信号采集模块、脑电信号EEG信号分析模块、可视化神经反馈模块以及虚拟场景交互控制模块；
所述控制方法包括：
受试者佩戴脑电帽，连接脑电放大器和电脑，同时登陆MI-BCI系统；
根据屏幕中移动箭头提示进行30次左/右手肢体想象，创建粒子群优化-支持向量机PSO-SVM分类模型；
判断所述PSO-SVM分类模型是否创建成功，得到第一判断结果；
若所述第一判断结果表示为所述PSO-SVM分类模型创建成功，确定受试者选择一种肢体运动想象虚拟场景，根据所述虚拟场景中的提示进行想象训练，进入运动想象在线控制训练；所述EEG信号分析模块每隔3s进行一次EEG数据处理，解析受试者的意图指令输出至所述虚拟场景中控制物体动作，受试者根据反馈结果进行运动想象的自我调整；同时，在线训练过程中每隔1s进行一次EEG数据处理，获得运动区神经活跃度特征值并构建大脑特征值分布模型，通过对大脑模型区域颜色填充生成动态脑地形图；
根据所述动态脑地形图提供的神经激活状况的在线反馈，进行运动想象主观意识下的自我调节与实时纠错循环，直到达到最佳运动神经激活状态；
获取运动区神经活跃度值；
判断所述运动区神经活跃度值是否小于指定阈值，得到第二判断结果；
若所述第二判断结果表示为运动区神经活跃度值小于指定阈值，确定受试者对当前训练场景产生疲劳；
若所述第二判断结果表示为运动区神经活跃度值不小于指定阈值，切换所述虚拟场景继续进行肢体运动想象在线控制训练。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于多场景诱发的MI-BCI系统及其控制方法，该MI-BCI系统基于神经反馈与多场景诱发想象，包含声音文字、图片视频、3D生活场景、虚拟游戏场景4类目标导向型运动想象诱发场景，从不同角度深度诱导受试者进行运动想象；训练中实时采集运动区多通道EEG信号，经过信号预处理、特征提取、PSO-SVM意图识别后将结果输出到虚拟场景中进行交互控制，形成一个闭环反馈训练系统，有效监测和神经状态反馈，形成多重立体反馈网络，根据反馈的信息做出有针对性的主观调节。
此外，通过绘制动态脑地形图，为受试者提供反映大脑激活状况的可视化神经反馈；根据所述动态脑地形图提供的神经激活状况的在线反馈，进行运动想象主观意识下的自我调节与实时纠错循环，直到达到最佳运动神经激活状态，提高MI-BCI系统的识别率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的MI-BCI系统结构图；
图2为本发明所提供的脑电信号采集所用导联的电极分布图；
图3为本发明所提供的PSO-SVM分类模型训练实验范式示意图；
图4为本发明所提供的四种任务式虚拟场景示意图；图4(a)为本发明所提供的声音文字场景示意图；图4(b)为本发明所提供的图片视频场景示意图；图4(c)为本发明所提供的3D生活场景示意图；图4(d)为本发明所提供的虚拟游戏场景示意图；
图5为本发明所提供的MI-BCI系统的控制方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于多场景诱发的MI-BCI系统及其控制方法，能够形成多重立体反馈网络，根据反馈的信息做出有针对性的主观调节，进行运动想象主观意识下的自我调节与实时纠错循环，直到达到最佳运动神经激活状态，提高MI-BCI系统的识别率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的MI-BCI系统结构图，如图1所示，通过设计多诱发运动想象刺激场景(声音文字、图片视频、3D生活场景、虚拟游戏场景等)深层次诱导受试者进行运动想象，脑电采集设备实时采集脑部运动区EEG信号，经过信号预处理、意图特征提取、意图识别系列信号处理后将分类结果输出到虚拟场景中进行交互控制，最终形成一个闭环神经训练系统。
此外，系统通过提取神经激活特征获得运动区神经活跃度大小并绘制动态脑地形图，为受试者提供可视化神经反馈，一方面促进受试者进行主观脑部信号调整，促进产生更易于分类识别的脑电信号；另一方面通过对当前大脑运动区神经活跃程度大小来对训练刺激场景进行自适应切换调整，保证受试者持续处于运动神经最大程度激活，提高MI-BCI系统识别率。
所述MI-BCI系统分为PSO-SVM分类模型建立及运动想象在线训练两个阶段。
一、PSO-SVM分类模型建立阶段
(1)EEG信号采集：
图2为本发明所提供的脑电信号采集所用导联的电极分布图，如图2，EEG数据采集设备采用博睿康公司生产的Neuracle-64导无线脑电采集设备，电极位置采用国际标准10–20电极导联定位，参考电极设在头顶中央区；放大器采样频率为1000Hz，采集通道为运动区相关的11个导联的EEG信号，包括：FC3、C1、C3、C5、CP3、Cz、FC4、C2、C4、C6、CP4，脑电帽中一共有64个通道，其余的FP1、FP2、FPZ、AF7、AF8、F8等通道闲置不使用。
(2)PSO-SVM分类模型建立实验范式：
图3为本发明所提供的PSO-SVM分类模型训练实验范式示意图，训练在一个安静舒适环境下进行，受试者静坐于距屏幕约1m的靠椅上，使全身肌肉处于放松状态，尽量避免眼动与实际运动。
如图3所示，要求受试者根据屏幕移动箭头方向提示进行左/右肢体想象(或左/右想象)：首先，屏幕中央出现“十”符号提醒受试者集中精神即将开始想象训练，此过程持续2秒时间，第2秒时，屏幕中央出现蓝色箭头朝着两端的实心圆向右或向左移动，受试者跟随箭头移动方向进行左/右运动想象，第6秒时箭头消失，屏幕变为出现空心圆提示受试者想象过程结束，之后有2秒时间供受试者休息，重复进行第二次运动想象训练，直到完成30次想象Trial。
(3)EEG数据预处理：
分别截取30次试验共11个通道中第2s到6s之间(共4s)的数据进行分析处理。首先对截取的EEG信号进行降采样到128Hz，0.5～2Hz高通滤波进行去基线、自适应陷波去除50Hz工频；接着对信号进行6层小波包分解提取脑电特征频段，选择小波包分解的第4层中的0～4Hz频带与EEG信号中的δ波对应；第4层中的4～8H频带与EEG信号中的θ波对应；第4层中的8～12Hz频带与第6层中的12～13Hz频带组合起来与α波对应；第5层中的14～16Hz频带和28～30Hz频带组合起来与β波对应。
(4)运动意图特征提取：针对30次试验11个通道中的α(8～13Hz)波与β(14～30Hz)波EEG数据分别采用共空间模式(common spatial pattern，CSP)进行多导联空间滤波，脑电信号在滤波处理之后产生新的能够最优区分左右运动想象时间序列。
采用周期图法对α/β频段进行功率谱密度提取，直接将信号的采样数据x(n)进行Fourier变换求取功率谱密度估计的方法，假定有限长随机信号序列为x(n)，它的功率谱密度估计求取存在关系
Figure BDA0002021547960000071
提取小波包节点能量特征。信号x(t)经过N层分解，可以分成2N个子空间，第n(n＝1,2,3,...2N)个子空间重构信号对应的能量En可由该空间小波包系数的平方和计算，如式：
Figure BDA0002021547960000072
其中，j表示尺度系数，k代表平移因数，
Figure BDA0002021547960000073
为小波系数。
提取小波包熵特征，首先，将重构信号
Figure BDA0002021547960000074
进行m等分，那么每个时段的总能量可表示为：
Figure BDA0002021547960000075
其次，每一频带能量的概率密度分布pmk可由每时段总能量经过归一化后给出，
Figure BDA0002021547960000076
再次，这时候信号在不同时段的不同频带中的能量分布情况可通过pmk反映出来，计算不同时段对应的带谱熵值
Figure BDA0002021547960000077
该带谱熵值称为小波包频带局部熵，矩阵可表示为si＝{En1,En2,...,Enm}T∈Rm。最后，可得小波包熵S计算公式为：
Figure BDA0002021547960000078
(5)PSO-SVM分类模型建立：
支持向量机实现在特征空间构建最优分割超平面，从而使不同类别的样本线性分开。
将特征矩阵输入到支持向量机进行分类模型训练，同时利用粒子群PSO的全局搜索能力，对SVM建模过程中的惩罚参数C和核参数g进行自适应优化调整，以获得分类效果更佳、识别更为精确的SVM分类器。
二、运动想象在线训练阶段
此阶段主要利用已经训练成功的PSO-SVM分类模型对当前运动想象进行实时意图提取输出到虚拟游戏场景中进行交互式控制，评估当前脑部运动区神经的活跃程度大小绘制成脑地形图，为受试者提供运动想象神经反馈。数据处理过程同上述PSO-SVM分类模型建立阶段所述数据分析，增加部分内容接下来进行补充说明。
(1)运动想象诱发场景，图4为本发明所提供的四种任务式虚拟场景示意图，如图4所示，通过Unity3D平台搭建了包括声音文字、图片视频、3D生活场景、虚拟游戏场景四种任务式虚拟场景全方位诱导受试者进行运动想象。
所述声音文字场景如图4(a)所示，通过诸如“右手摸右耳”、“左手拿杯子”等文字提示，同时播放对应文字内容的语音的方式来诱导受试者进行相应的运动想象，如果分类器识别结果与文字描述的左/右一致，则反馈用户运动想象正确，同时进入下一诱导想象页面进行训练，否则继续页面进行训练，其中a1-训练倒计时时间，a2-文字提示，a3-语音开，a4-诱导文字。
所述图片视频场景如图4(b)所示，通过诸如“右手拿小礼盒”、“右手拿鼠标”等与现实相关的图片或短视频提示，受试者进行相应动作的运动想象，其中b1-训练倒计时时间，b2-文字提示，b3-诱发图片或短视频。
所述3D生活场景如图4(c)所示，通过如图所示移动桌子上的水杯到右侧的饮水机或水壶处接水这样的生活场景诱导受试者进行右手右移运动想象，如果分类模型识别到当前的结果是右则控制水杯向右移动一个单位距离，否者控制水杯向左侧移动一个单位距离，同时屏幕右上角显示了当前受试者脑部运动区神经激活情况，受试者根据当前脑地形图中颜色变化情况进行主观性运动想象自我调整。其中c1-训练倒计时时间，c2-可视化脑地形图，c3-文字提示,c4-箭头提示，c5-水杯，c6-饮水机。
所述虚拟游戏场景如图4(d)所示，受试者能够通过左/右运动想象实时控制虚拟游戏场景中人物左/右运动，直到到达右下角小红旗处。训练过程中受试者可根据实时有效的视觉反馈和大脑可视化神经激活程度地形图及时调整自身的运动想象方式。其中d1-训练倒计时时间，d2-虚拟游戏人物，d3-奖励,c4-可视化脑地形图。
(2)实时EEG数据分析：通过长度为4s步长为3s滑动窗1截取实时EEG数据，对每个滑动窗内的EEG数据进行预处理、意图特征提取、PSO-SVM分类器进行运动想象分类，最后将分类结果输出到虚拟场景中进行交互控制,接着读取下一个时间窗内的EEG数据。通过长度为3s步长为1s滑动窗2截取实时EEG数据，对每个滑动窗内的数据进行预处理、神经激活度特征提取实现对动态脑地形图绘制。
动态脑电地形图又称脑电活动地形图，是一种集中表达大脑生理信息的图形技术，把计算机的高速计算、高质量彩色图、易于操作的屏幕控制结合起来构成了各种节律的脑电图，依据特征参数值绘制脑电地形图而将不同脑区的活跃状态直观的显现出来，能直观的反映大脑神经活动的图形系统。通过将当前各个通道脑电信号的μ/β频段能量值、平均功率谱密度值、小波包熵等以图形图像形式绘制成脑地形图，为受试者提供跟人眼一样直接的、交互的可视化大脑活跃程度大小的神经反馈。
图5为本发明所提供的MI-BCI系统的控制方法流程图，如图5所示。
受试者佩戴脑电帽、打脑电膏、电极降阻抗，连接脑电放大器和电脑，同时登陆训练软件系统；若为新用户需要注册属于自己的训练账户。
登录MI-BCI系统。
判断是否为新用户，若是，注册账户，若否，选择PSO-SVM分类模型建立。
受试者静坐于距屏幕约1m的靠椅上根据屏幕中移动箭头及文字提示连续完成30次左/右手肢体想象(左/右运动想象)，完毕后点击创建PSO-SVM分类模型按钮。
MI-BCI系统对当前已完成的30次Trail中11个通道的EEG数据分别进行预处理、意图特征提取，接着将所有的特征矩阵及生成的运动想象标签一起输入到支持向量机分类模型中进行模型训练，通过粒子群优化算法对模型中的惩罚参数C和核参数g进行自适应最优调整。
受试者选择运动想象在线训练进入运动神经训练系统，选择一种运动想象训练场景(声音文字、图片视频、3D生活场景、虚拟游戏场景等)，进入运动想象在线控制训练。
受试者集中注意力观察场景中的提示进行运动想象，EEG信号分析模块每隔3s进行一次EEG数据(长度4s步长3s的滑动窗1截取)处理并解析受试者意图(左/右)输出到训练场景中控制物体(如水杯移动)动作，受试者根据其反馈结果进行运动想象自我调整。
同时，在线训练系统每隔1s进行一次EEG数据(长度3s步长1s的滑动窗2截取)处理获得运动区(C3、C4周围)神经活跃度特征值并构建大脑特征值分布模型，通过对大脑模型区域颜色填充生成动态脑地形图。
受试者根据动态脑地形图提供的神经激活状况的在线反馈，进行运动想象主观意识下的自我调节与实时纠错循环，直到达到最佳运动神经激活状态。
当系统检测到受试者运动区神经活跃度值长时间小于指定阈值，表示受试者对当前训练场景产生疲劳，则控制刺激场景进行自适应切换，受试者继续进行在线运动想象训练。
MI-BCI系统将每次运动想象分类结果转化为外部设备控制指令输出。
采用本发明所提供的MI-BCI系统及及其控制方法能够达到以下技术效果：
(1)本发明针对受试者运动想象能力差异性，设计多模式目标导向型运动想象诱发场景使受试者感觉如同在进行日常肢体活动，全方位深度诱发受试者运动神经的激活，提高MI-BCI系统的准确性。
(2)本发明利用可视化脑地形图对大脑活动状态进行监测与神经反馈，进一步引导受试者对大脑进行主动性自我调节促进其产生更易于分类识别的脑电信号。
(3)本发明所提供的MI-BCI系统与传统BCI系统相比，可以满足用户的个性化需求、诱发场景更加丰富、交互性更强等优势，且可以提供视觉、听觉等多方面反馈以提高受试者体验度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于多场景诱发的MI-BCI系统，其特征在于，包括：多场景诱发想象模块、脑电EEG信号采集模块、EEG信号分析模块、可视化神经反馈模块以及虚拟场景交互控制模块；
所述多场景诱发想象模块提供虚拟场景，诱发受试者产生EEG信号，并将所述EEG信号传输至所述EEG信号采集模块；所述虚拟场景包括声音文字场景、图片视频场景、3D生活场景、虚拟游戏场景；
所述EEG信号采集模块将、采集到的所述EEG信号发送至所述EEG信号分析模块，由所述EEG信号分析模块进行分析处理，得到分析后的EEG信号；
所述可视化神经反馈模块接收所述分析后的EEG信号，并根据所述分析后的EEG信号形成动态脑地形图和受试者的意图指令；
所述虚拟场景交互控制模块获取所述动态脑地形图和所述受试者意图指令输入到所述虚拟场景中实时交互控制，形成一个闭环反馈训练系统；所述受试者基于所述闭环反馈训练系统，根据所述动态脑地形图对所述虚拟场景进行运动想象任务实时纠错调整，使得运动想象控制过程变得可视化；根据所述动态脑地形图提供的神经激活状况的在线反馈，进行运动想象主观意识下的自我调节与实时纠错循环，直到达到最佳运动神经激活状态；获取运动区神经活跃度值；判断所述运动区神经活跃度值是否小于指定阈值，得到第二判断结果；若所述第二判断结果表示为运动区神经活跃度值小于指定阈值，确定受试者对当前训练场景产生疲劳；若所述第二判断结果表示为运动区神经活跃度值不小于指定阈值，切换所述虚拟场景继续进行肢体运动想象在线控制训练。
2.根据权利要求1所述MI-BCI系统，其特征在于，所述多场景诱发想象模块用于为受试者提供静/动态场景、2D/3D场景或虚拟/真实场景的多形式诱发增强想象场景。
3.根据权利要求1所述MI-BCI系统，其特征在于，所述多场景诱发想象模块用于通过游戏开发平台Unity3D搭建包括声音文字、图片视频、3D生活场景、虚拟游戏场景四种目标导向型虚拟场景全方位诱导受试者进行运动想象。
4.根据权利要求1所述MI-BCI系统，其特征在于，所述EEG信号分析模块用于对所述EEG信号通过长度为4s、步长3s的滑动窗进行数据截取，并对截取的所述EEG信号进行预处理，得到分析后的EEG信号。
5.根据权利要求4所述MI-BCI系统，其特征在于，所述对截取的所述EEG信号进行预处理的预处理过程，具体包括：降采样过程、高通去基线过程、自适应陷波去工频过程、以及6层小波包分解进行特定频段提取过程。
6.根据权利要求1所述MI-BCI系统，其特征在于，所述可视化神经反馈模块用于将当前各通道EEG信号的μ/β频段能量值、平均功率谱密度值以及小波包熵值以图形图像形式绘制成动态脑地形图，为受试者提供反映大脑活跃程度的可视化神经反馈；并获取大脑运动皮层神经激活程度值，比较所述大脑运动皮层神经激活程度值与设定阈值，得到比较结果，根据所述比较结果控制诱发场景的自适应切换。
7.根据权利要求1所述MI-BCI系统，其特征在于，所述可视化神经反馈模块还包括：在线训练单元，所述在线训练单元用于对所述EEG信号通过长度3s、步长1s的滑动窗的滑动窗进行数据截取，获得运动区神经活跃度特征值并构建大脑特征值分布模型，对大脑特征值分布模型的区域颜色进行填充，并生成动态脑地形图。
8.一种基于多场景诱发的MI-BCI系统的控制方法，其特征在于，所述控制方法应用于一种基于多场景诱发的MI-BCI系统，所述MI-BCI系统包括：多场景诱发想象模块、脑电EEG信号采集模块、脑电信号EEG信号分析模块、可视化神经反馈模块以及虚拟场景交互控制模块；
所述控制方法包括：
受试者佩戴脑电帽，连接脑电放大器和电脑，同时登陆MI-BCI系统；
根据屏幕中移动箭头提示进行30次左/右手肢体想象，创建粒子群优化-支持向量机PSO-SVM分类模型；
判断所述PSO-SVM分类模型是否创建成功，得到第一判断结果；
若所述第一判断结果表示为所述PSO-SVM分类模型创建成功，确定受试者选择一种肢体运动想象虚拟场景，根据所述虚拟场景中的提示进行想象训练，进入运动想象在线控制训练；所述EEG信号分析模块每隔3s进行一次EEG数据处理，解析受试者的意图指令输出至所述虚拟场景中控制物体动作，受试者根据反馈结果进行运动想象的自我调整；同时，在线训练过程中每隔1s进行一次EEG数据处理，获得运动区神经活跃度特征值并构建大脑特征值分布模型，通过对大脑模型区域颜色填充生成动态脑地形图；
根据所述动态脑地形图提供的神经激活状况的在线反馈，进行运动想象主观意识下的自我调节与实时纠错循环，直到达到最佳运动神经激活状态；
获取运动区神经活跃度值；
判断所述运动区神经活跃度值是否小于指定阈值，得到第二判断结果；
若所述第二判断结果表示为运动区神经活跃度值小于指定阈值，确定受试者对当前训练场景产生疲劳；
若所述第二判断结果表示为运动区神经活跃度值不小于指定阈值，切换所述虚拟场景继续进行肢体运动想象在线控制训练。
CN201910280670.6A 2019-04-09 2019-04-09 一种基于多场景诱发的mi-bci系统及其控制方法 Active CN109992113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910280670.6A CN109992113B (zh) 2019-04-09 2019-04-09 一种基于多场景诱发的mi-bci系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910280670.6A CN109992113B (zh) 2019-04-09 2019-04-09 一种基于多场景诱发的mi-bci系统及其控制方法

Publications (2)

Publication Number Publication Date
CN109992113A CN109992113A (zh) 2019-07-09
CN109992113B true CN109992113B (zh) 2020-05-15

Family

ID=67131197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910280670.6A Active CN109992113B (zh) 2019-04-09 2019-04-09 一种基于多场景诱发的mi-bci系统及其控制方法

Country Status (1)

Country Link
CN (1) CN109992113B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106671084B (zh) * 2016-12-20 2019-11-15 华南理工大学 一种基于脑机接口的机械臂自主辅助方法
CN110428043B (zh) * 2019-07-11 2021-05-07 燕山大学 基于粒子群算法的神经元群模型参数自适应优化方法
CN110363242B (zh) * 2019-07-11 2021-07-23 中南大学 一种基于支持向量机的大脑意识多分类方法及系统
CN110531861B (zh) * 2019-09-06 2021-11-19 腾讯科技（深圳）有限公司 运动想象脑电信号的处理方法和装置及存储介质
CN110751060B (zh) * 2019-09-29 2021-02-19 西安交通大学 一种基于多源信号的便携式运动模式实时识别系统
CN111110982A (zh) * 2019-12-02 2020-05-08 燕山大学 基于运动想象的手部康复训练方法
CN111329497A (zh) * 2020-02-21 2020-06-26 华南理工大学 基于前额脑电信号的可穿戴式疲劳驾驶监测系统及方法
CN115335102A (zh) * 2021-02-08 2022-11-11 张鸿勋 在大脑中产生反馈的方法、系统及大脑键盘
CN113220120B (zh) * 2021-04-27 2022-08-30 武汉理工大学 一种融合主客观评估的自适应运动想象脑机接口训练方法
CN113499084B (zh) * 2021-07-09 2023-02-24 燕山大学 脑卒中运动功能评价模型建立方法、评价方法及系统
CN113398422B (zh) * 2021-07-19 2022-08-19 燕山大学 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法
CN114052736B (zh) * 2021-08-31 2024-04-05 北京未名脑脑科技有限公司 认知功能的评估系统和方法
CN114546105A (zh) * 2021-12-27 2022-05-27 宁波慈溪生物医学工程研究所 交互式运动想象脑控方法、脑控vr系统及计算机设备
CN114640699B (zh) * 2022-02-17 2023-06-20 华南理工大学 基于vr角色扮演游戏交互的情绪诱发监测系统
CN115412862B (zh) * 2022-08-04 2024-04-30 广州市明道文化产业发展有限公司 基于lbs的多角色去中心化情节互动方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102715903A (zh) * 2012-07-09 2012-10-10 天津市人民医院 基于定量脑电图的脑电特征提取方法
CN102866775A (zh) * 2012-09-04 2013-01-09 同济大学 基于多模式融合的脑机接口控制系统及方法
WO2014040175A1 (en) * 2012-09-14 2014-03-20 Interaxon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN104000586A (zh) * 2014-05-12 2014-08-27 燕山大学 基于脑肌电和虚拟场景的脑卒中患者康复训练系统及方法
CN106529421A (zh) * 2016-10-21 2017-03-22 燕山大学 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统
CN107390869A (zh) * 2017-07-17 2017-11-24 西安交通大学 基于运动视觉诱发电位的高效脑控中文输入方法
CN108446020A (zh) * 2018-02-28 2018-08-24 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN109011097A (zh) * 2018-07-26 2018-12-18 燕山大学 一种基于运动想象与增强现实的康复训练方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102715903A (zh) * 2012-07-09 2012-10-10 天津市人民医院 基于定量脑电图的脑电特征提取方法
CN102866775A (zh) * 2012-09-04 2013-01-09 同济大学 基于多模式融合的脑机接口控制系统及方法
WO2014040175A1 (en) * 2012-09-14 2014-03-20 Interaxon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN104000586A (zh) * 2014-05-12 2014-08-27 燕山大学 基于脑肌电和虚拟场景的脑卒中患者康复训练系统及方法
CN106529421A (zh) * 2016-10-21 2017-03-22 燕山大学 基于混合脑机接口技术的情绪及疲劳检测辅助驾驶系统
CN107390869A (zh) * 2017-07-17 2017-11-24 西安交通大学 基于运动视觉诱发电位的高效脑控中文输入方法
CN108446020A (zh) * 2018-02-28 2018-08-24 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN109011097A (zh) * 2018-07-26 2018-12-18 燕山大学 一种基于运动想象与增强现实的康复训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多模式刺激下运动想象脑电信号的特征调制研究;赵丽;《生物医学工程学杂志》;20180625;正文第348-349页，图1-5 *

Also Published As

Publication number Publication date
CN109992113A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109992113B (zh) 一种基于多场景诱发的mi-bci系统及其控制方法
CN113398422B (zh) 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法
CN109585021B (zh) 基于全息投影技术的精神状态评估方法
Ebrahimi et al. Brain-computer interface in multimedia communication
Li et al. An EEG-based BCI system for 2-D cursor control by combining Mu/Beta rhythm and P300 potential
Kamousi et al. Classification of motor imagery tasks for brain-computer interface applications by means of two equivalent dipoles analysis
Meng et al. Three-dimensional brain–computer interface control through simultaneous overt spatial attentional and motor imagery tasks
CN106933348A (zh) 一种基于虚拟现实的脑电神经反馈干预系统及方法
CN111110982A (zh) 基于运动想象的手部康复训练方法
CN109620257B (zh) 基于生物反馈的精神状态干预与调节系统及其工作方法
Yao et al. A stimulus-independent hybrid BCI based on motor imagery and somatosensory attentional orientation
CN109247917A (zh) 一种空间听觉诱发p300脑电信号识别方法及装置
CN112244774A (zh) 脑机接口康复训练系统及方法
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
CN106502405A (zh) 基于同步性复合肢体想象动作多模态脑机接口方法及系统
CN107483992A (zh) 一种基于ssvep和运动想象的智能电视遥控方法
CN106713787A (zh) 基于eeg对不同速度滚动字幕引起观看舒适度的评价方法
CN107184205B (zh) 基于脑的记忆刻度和诱导捕捉的自动知识记忆牵引方法
CN113713333B (zh) 一种下肢康复全训练过程的动态虚拟诱导方法及系统
Li et al. An adaptive P300 model for controlling a humanoid robot with mind
CN112987917B (zh) 运动想象增强方法、装置、电子设备和存储介质
CN113082448A (zh) 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统
Chai et al. Mental task classifications using prefrontal cortex electroencephalograph signals
Groenegress et al. The physiological mirror—a system for unconscious control of a virtual environment through physiological activity
CN109568891A (zh) 基于脑电的康复机器人主被动训练模式控制系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant