CN104360730B - 一种多模态非植入式脑机接口技术支撑下的人机交互方法 - Google Patents

一种多模态非植入式脑机接口技术支撑下的人机交互方法 Download PDF

Info

Publication number
CN104360730B
CN104360730B CN201410408877.4A CN201410408877A CN104360730B CN 104360730 B CN104360730 B CN 104360730B CN 201410408877 A CN201410408877 A CN 201410408877A CN 104360730 B CN104360730 B CN 104360730B
Authority
CN
China
Prior art keywords
user
signal
current
eog
eog signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410408877.4A
Other languages
English (en)
Other versions
CN104360730A (zh
Inventor
张进华
洪军
李婷
王宝增
蔚炯坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201410408877.4A priority Critical patent/CN104360730B/zh
Publication of CN104360730A publication Critical patent/CN104360730A/zh
Application granted granted Critical
Publication of CN104360730B publication Critical patent/CN104360730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种多模态非植入式脑机接口技术支撑下的人机交互方法，包括以下步骤：1)用户根据提示信号进行所有运动想象及所有眼睛运动，采集用户的EOG信号及EEG信号，再对EOG信号及EEG信号分别进行预处理，并根据EOG信号及EEG信号得脑电分类结果及眼电分类结果；控制外接设备时，用户根据提示信号进行相应运动想象及眼睛运动，采集用户当前的EOG信号及EEG信号，并对用户当前的EOG信号及用户当前的EEG信号分别进行预处理；然后根据预处理后的用户当前的EOG信号、用户当前的EEG信号、脑电分类结果及眼电分类结果进行电脑的控制。本发明可以实现非植入式脑机接口的复杂命令输出，并且对外接设备的控制能力强。

Description

一种多模态非植入式脑机接口技术支撑下的人机交互方法
技术领域
本发明属于多模态脑机接口技术领域，涉及一种多模态非植入式脑机接口技术支撑下的人机交互方法。
背景技术
脑机接口研究脑与外界的直接信息交流，在获悉人脑信息表达的基础上，建立新的革命性的信息与通讯手段，其最初和最主要的研究动机是为神经和运动疾病患者提供辅助康复和生活自理的手段。然而随着这种技术逐渐步入成熟阶段，以基本脑机接口系统为原型，拓展出多种针对更加特性化应用需求的新兴范式。同时，将人机交互理念更大程度的融入脑机接口系统设计，让这种独立于骨骼、肌肉等生理组织的脑信息使用方式超出可行性测试范畴，逐步证明了其在现实环境中的应用前景。
交互方式灵活、多样、简捷的人机系统，可以有效提高使用者的参与积极性和使用效率。脑机接口作为一种以辅助康复为初衷的人机系统，除帮助病患完善基本生活技能外，同样应在满足病患娱乐、文化等精神需求上做出努力，做到生理和心理的双重辅助。基于脑机接口技术的游戏系统是近年来兴起的一项实用类研究，主要面向健康人群。这样圈定消费群体，除了看中健康人群数量巨大所蕴含的商业潜质，更有可能是源于这类系统目前尚存在控制形式单一、固定化的问题，无法满足残疾人的需要。
目前按照动作-反应交互形式可以将游戏脑机接口系统分为三类。 “精神状态调整”类型，即在区分放松和集中注意力两种脑状态的基础上生成控制命令，出现在让玩家利用意念移动物体等游戏形式中。“诱发反应生成”类，利用稳态视觉诱发电位(SSVEP)的产生机理，完成虚拟目标运动方向控制，如强/弱SSVEP分别控制虚拟飞机向左/右飞行。据研究稳态视觉诱发刺激可以提高人的注意力，所以SSVEP同样适用于注意力提升类游戏的开发。“运动想象”类，使用者利用想象不同肢体部位运动，自发产生各种脑电状态，并转变为外部输出命令，用于目标导航或选择命令。为使用者制造一种直观感受就是被控目标以某种形式，即时响应其意识状态，形成较为真实的操控感。并且得益于运动想象模式的快速识别，形式上更适合于快速响应类游戏，如虚拟驾驶、轮椅移动控制。然而，由于游戏使用者完成运动想象自发电位生成的能力限制，使得系统输出的控制命令数量有限，无法体验更丰富的游戏内容。常用的弥补方式是引入其他的非脑控命令，如语音、手动按钮，这种方法不仅会给脑电信号带入大量的伪迹干扰，更不符合为本身就缺少运动能力的残疾人服务的理念。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供了一种多模态非植入式脑机接口技术支撑下的人机交互方法，该方法可以实现非植入式脑机接口的复杂命令输出，并且对外接设备的控制能力强。
为达到上述目的，本发明所述的多模态非植入式脑机接口技术支撑下的人机交互方法，其特征在于，包括以下步骤：
1)用户根据提示信号进行所有运动想象及所有眼睛运动，采集用户 的EOG信号及EEG信号，然后对所述EOG信号及EEG信号分别依次进行放大及数模转换；
2)存储步骤1)得到的EOG信号及EEG信号，并对EOG信号及EEG信号分别进行预处理；
3)根据步骤2)得到的EEG信号确定针对用户的特征导联和特征节律，再采用共空间模式算法从用户的特征导联和特征节律提取脑电空间特征，并训练共空间模式特征提取滤波器，然后采用小世界神经网络算法对提取的脑电空间特征进行运动想象分类，得分类结果，然后根据分类结果训练获得运动想象模式分类器；
4)对步骤2)得到的EOG信号中的水平EOG信号及垂直EOG信号进行中值滤波去噪，消除EOG信号中垂直EOG信号内的无意识眨眼信号，并对EOG信号中的垂直EOG信号进行有意识单眨眼分量及双眨眼分量的提取分离，得眨眼模式识别结果；
5)控制外接设备时，用户根据提示信号进行相应运动想象及眼睛运动，采集用户当前的EOG信号及EEG信号，并对用户当前的EOG信号及EEG信号分别依次进行放大及数模转换，再对用户当前的EOG信号及用户当前的EEG信号分别进行预处理；
6)通过用户的特征导联和特征节律筛选出用户当前EEG信号的频带分量，再通过共空间模式特征提取滤波器对用户当前EEG信号的频带分量进行空间特征提取，并根据所述空间特征通过小世界神经网络分类器进行模式判别，得到用户当前EEG信号的识别结果，然后根据用户当前EEG信号的识别结果对电脑进行控制；同时，对用户当前的EOG信号进 行峰值分析，得用户当前EOG信号的识别结果，然后根据用户当前EOG信号的识别结果对电脑进行控制。
步骤1)中所述所有运动想象包括左手运动想象、右手运动想象、双脚运动想象及舌部运动想象；
步骤1)中所述所有眼睛运动包括单次眨眼、双刺眨眼、眼睛纵向扫视及眼睛横向扫视；
步骤1)中通过25个电极采集EEG信号及4个眼电电极采集用户的EOG信号，所述25个电极及眼电电极均为银/氯化银(Ag/AgCl)合金电极，且所述25个电极及眼电电极的阻抗均小于5kΩ；
步骤1)中通过信号放大器对EOG信号及EEG信号分别依次进行放大，其中，所述信号放大器为NeuroScan，Inc.提供的NuAmps40导放大器，配套上位机系统为scan 4.5；
步骤1)中通过16位数模转换器对EOG信号及EEG信号进行数模转换。
步骤2)中对EOG信号进行预处理的具体操作为：先采用截止频率为25Hz的四阶Butterworth低通滤波器对EOG信号进行低通滤波，然后采用截止频率为0.1Hz的四阶Butterworth高通滤波器对EOG信号进行高通滤波；
步骤5)中对用户当前的EOG信号进行预处理的具体操作为：先采用截止频率为25Hz的四阶Butterworth低通滤波器对用户当前的EOG信号进行低通滤波，然后采用截止频率为0.1Hz的四阶Butterworth高通滤波器对用户当前的EOG信号进行高通滤波。
步骤2)中对EEG信号进行预处理的具体操作为：对EEG信号依次进行合并眼电、直流偏移校正、合并行为数据、去除基线漂移及去除眼电伪迹；
步骤5)中对用户当前的EEG信号进行预处理的具体操作为：对用户当前的EEG信号依次进行合并眼电、直流偏移校正、合并行为数据、去除基线漂移及去除眼电伪迹。
步骤6)中根据用户当前EOG信号的识别结果对电脑进行控制的具体过程为：先将用户当前EOG信号的识别结果进行格式化输出，使用户当前EOG信号的识别结果转化为电脑的控制命令，然后通过所述电脑的控制命令对电脑进行控制。
步骤6)中根据用户当前EEG信号的识别结果对电脑进行控制的具体过程为：先将用户当前EEG信号的识别结果进行格式化输出，使用户当前EEG信号的识别结果转化为电脑的控制命令，然后通过所述电脑的控制命令对电脑进行控制。
本发明具有以下有益效果：
本发明所述的多模态非植入式脑机接口技术支撑下的人机交互方法在对电脑进行控制的过程中，用户先根据提示信号进行所有运动想象及所有眼睛运动，采集用户的EOG信号及EEG信号，然后对EOG信号及EEG信号得到脑电分类结果及眼电分类结果，当需要对电脑进行控制的过程时，用户根据提示信号进行相应的运动想象及眼动，并获取用户当前的EOG信号及EEG信号，再从用户当前的EOG信号中筛选出频带分量，从而实现非植入式脑机接口的复杂命令输出，并且对外接设备的控制能力 强，同时适用于游戏、娱乐等领域。
附图说明
图1为本发明实施例一的工作原理图；
图2为本发明中电极的分布图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
参考图1及图2，本发明所述的多模态非植入式脑机接口技术支撑下的人机交互方法，其特征在于，包括以下步骤：
1)用户根据提示信号进行所有运动想象及所有眼睛运动，采集用户的EOG信号及EEG信号，然后对所述EOG信号及EEG信号分别依次进行放大及数模转换，其中，所述所有运动想象包括左手运动想象、右手运动想象、双脚运动想象及舌部运动想象；所述所有眼睛运动包括单次眨眼、双刺眨眼、眼睛纵向扫视及眼睛横向扫视。
需要说明的是，通过25个电极采集EEG信号及4个眼电电极采集用户的EOG信号，25个电极及眼电电极均为银/氯化银(Ag/AgCl)合金电极，其中，接地电极至于前额，参考电极设在左耳A1，所述25个电极及眼电电极的阻抗均小于5kΩ。另外，步骤1)中通过信号放大器对EOG信号及EEG信号分别依次进行放大，其中，所述信号放大器为NeuroScan，Inc.提供的NuAmps40导放大器，配套上位机系统为scan 4.5，采集频率为1000Hz，Scan 4.5提供TCP/IP网络接口，可以实现软件本身和自主开发程序之间的数据联通。步骤1)中通过16位数模转换器对EOG信号及EEG信号进行数模转换。
2)存储步骤1)得到的EOG信号及EEG信号，并对EOG信号及EEG信号分别进行预处理；
需要说明的是，对EOG信号进行预处理的具体操作为：先采用截止频率为25Hz的四阶Butterworth低通滤波器对EOG信号进行低通滤波，然后采用截止频率为0.1Hz的四阶Butterworth高通滤波器对EOG信号进行高通滤波；步骤2)中对EEG信号进行预处理的具体操作为：对EEG信号依次进行合并眼电、直流偏移校正、合并行为数据、去除基线漂移及去除眼电伪迹。
3)根据步骤2)得到的EEG信号确定针对用户的特征导联和特征节律，再采用共空间模式算法从用户的特征导联和特征节律提取脑电空间特征，并训练共空间模式特征提取滤波器，然后采用小世界神经网络算法对提取的脑电空间特征进行运动想象分类，得分类结果，然后根据分类结果训练获得运动想象模式分类器；
需要说明的是，EEG信号的特征节律与导联选择分析中，首先对所有EEG信号进行平均参考(Common Average Reference，CAR)空间滤波，然后以2Hz为带宽，将0.1-60Hz的频带等份划分，形成30个10阶切比雪夫I带通滤波器，在四中运动想象中两两取对，获得六项对比(右手Vs左手，双脚Vs舌，左手Vs双脚，左手Vs舌，右手Vs双脚，右手Vs舌)，并计算各对比条件下，以导联为行标度，以频带为列标度的确定系数R2矩阵，最终根据确定系数值分布，结合运动想象事件相关同步/去同步(event-related desynchronizaiton，ERD/event-related synchronization，ERS)先验知识，确定针对用户的特征导联和特征节 律。
采用共空间模式算法(One Versus the Rest CSP，OVR)从用户的特征导联和特征节律进行特征提取，并训练共空间模式特征提取滤波器。
以下对小世界神经网络算法进行介绍
运动想象分类采用小世界神经网络算法，其结构上是处于规则型和随机型神经网络之间的网络模型——多层前向小世界神经网络MFSWNN(Multi layer Forward Smal l-World Neural Network)，并以反向传播为学习规则。基于Watts-Strogatz网络模型的构造思想，对多层规则神经网络中的连接依重连概率p进行重连，构建一种多层前向小世界神经网络模型，有关该模型特征参数的分析表明，当0＜P＜1时，该网络模型是一种有别于Watts-Strogatz模型的小世界网络模型。将网络模型进行六元组建模，经验证一定量的重连有助于提高网络的搜索性能，且与规则连接的网络相比，具有更优的时间复杂性。
MFSWNN模型中各个神经元为图的节点，神经元之间的连接为图的边，一个多层前向小世界神经网络可用下式所示的六元组模型来描述：
MFSWNNAN＝<V，W，X，Y，Z，A>
其中，V为节点集合，W为连接矩阵，X为输入向量，Y为输出向量，A为实现算法。
实现算法A：输入向量前向传输，每个神经元的激活函数采用非线性Sigmoid函数，得到输出向量，然后根据误差对权值的偏导信息，调节神经元间的连接权重，实现输入到输出的映射：X→Y。反向传播(Back-Propagation)权值修正算法的学习的目是使误差能量函数值趋 近于0，从而实现复杂问题的网络表达，算法包括前向计算和反向传播两个过程。其中隐层神经元激活函数采用单极性Sigmoid函数f1(·)(0≤f1(·)≤1)，输出层神经元取双极性Sigmoid函数f2(·)(-1≤f2(·)≤1)，则该神经元的输出为
反向误差传播过程中权值的修改量为
为了避免BP算法收敛速度慢和易陷入局部极小值的情况，在权值更新时加入“动量项”，如下式所示：
其中i，j∈{1，2，…，ni}，α∈(0，1)为惯性系数，η∈(0，1)为权值的学习速率。
本发明用于仿真计算的小世界神经网络据有一个输入层，一个输出层，10个隐含层，每个隐含层包含8个神经元，输入层神经元个数等于共空间模式特征向量的位数，输出层包含4个神经元，输出层与最后一个隐含层之间的转移函数是‘hardlim’，文中提出的MFSWNN以4位格雷码的表示分类结果。
4)对步骤2)得到的EOG信号中的水平EOG信号及垂直EOG信号进行中值滤波去噪，消除EOG信号中垂直EOG信号内的无意识眨眼信号，并对EOG信号中的垂直EOG信号进行有意识单眨眼分量及双眨眼分量的提取分离，得眨眼模式识别结果；
需要说明的是，采用自开发的眨眼处理算法对垂直EOG信号进行处理可有效去除无意识及有意识眨眼信号，并对有意识单、双眨眼分量进 行提取分离。然后对水平EOG和去眨眼垂直EOG进行中值滤波去噪，中值滤波有较好的平滑去噪作用，可以有效提高对扫视眼动的辨识率。
5)控制外接设备时，用户根据提示信号进行相应运动想象及眼睛运动，采集用户当前的EOG信号及EEG信号，并对用户当前的EOG信号及EEG信号分别依次进行放大及数模转换，再对用户当前的EOG信号及用户当前的EEG信号分别进行预处理；
需要说明的是，对用户当前的EOG信号进行预处理的具体操作为：先采用截止频率为25Hz的四阶Butterworth低通滤波器对用户当前的EOG信号进行低通滤波，然后采用截止频率为0.1Hz的四阶Butterworth高通滤波器对用户当前的EOG信号进行高通滤波。另外，步骤5)中对用户当前的EEG信号进行预处理的具体操作为：对用户当前的EEG信号依次进行合并眼电、直流偏移校正、合并行为数据、去除基线漂移及去除眼电伪迹。
6)通过用户的特征导联和特征节律筛选出用户当前EEG信号的频带分量，再通过共空间模式特征提取滤波器对用户当前EEG信号的频带分量进行空间特征提取，并根据所述空间特征通过小世界神经网络分类器进行模式判别，得到用户当前EEG信号的识别结果，然后根据用户当前EEG信号的识别结果对电脑进行控制；同时，对用户当前的EOG信号进行峰值分析，得用户当前EOG信号的识别结果，然后根据用户当前EOG信号的识别结果对电脑进行控制。
需要说明的是，步骤6)中根据用户当前EOG信号的识别结果对电脑进行控制的具体过程为：先将用户当前EOG信号的识别结果进行格式 化输出，使用户当前EOG信号的识别结果转化为电脑的控制命令，然后通过所述电脑的控制命令对电脑进行控制。另外，步骤6)中根据用户当前EEG信号的识别结果对电脑进行控制的具体过程为：先将用户当前EEG信号的识别结果进行格式化输出，使用户当前EEG信号的识别结果转化为电脑的控制命令，然后通过所述电脑的控制命令对电脑进行控制。
实施例一
将本发明应用于3D俄罗斯方块游戏Tetris 3D，在步骤3)及步骤4)中设置左手运动想象转化为“方块组向红色墙移动”命令，游戏控制键为“W”；右手运动想象转化为“方块组向黄色墙移动”命令，游戏控制键为“S”；双脚运动想象转化为“方块组向兰色墙移动”命令，游戏控制键为“A”；舌部运动想象转化为“方块组向绿色墙移动”命令，游戏控制键为“D”；双次眨眼转化为“变换方块组变形的参照轴”命令，单次眨眼转化为“控制方块在选定参照轴上的变形”命令，原Tetris 3D游戏中是通过三个控制键“Z”、“X”、“C”来分别控制方块组在“X”轴、“Y”轴、“Z”轴上的变形。在本发明中依靠双次眨眼信号，来做方块组变形参照轴轮换，即系统接收到一次双次眨眼信号，方块组变形参照轴发生一次变换，顺序是“X”轴、“Y”轴、“Z”轴，并且依次轮换。在系统未接收到下一个双次眨眼信号是，接收到任何单次眨眼信号，都将在当前参照轴上执行方块组变形；纵向扫视转化为“退出游戏系统”命令，游戏控制键为“ESC”；横向扫视转化为“暂停/恢复游戏状态”命令，游戏控制键为“P”，从而实现在3D俄罗斯方块游戏Tetris 3D的应用。

Claims (5)

1.一种多模态非植入式脑机接口技术支撑下的人机交互方法，其特征在于，包括以下步骤：
1)用户根据提示信号进行所有运动想象及所有眼睛运动，采集用户的EOG信号及EEG信号，然后对所述EOG信号及EEG信号分别依次进行放大及数模转换；
2)存储步骤1)得到的EOG信号及EEG信号，并对EOG信号及EEG信号分别进行预处理；
3)根据步骤2)得到的EEG信号确定针对用户的特征导联和特征节律，再采用共空间模式算法从用户的特征导联和特征节律提取脑电空间特征，并训练共空间模式特征提取滤波器，然后采用小世界神经网络算法对提取的脑电空间特征进行运动想象分类，得分类结果，然后根据分类结果训练获得运动想象模式分类器；
4)对步骤2)得到的EOG信号中的水平EOG信号及垂直EOG信号进行中值滤波去噪，消除EOG信号中垂直EOG信号内的无意识眨眼信号，并对EOG信号中的垂直EOG信号进行有意识单眨眼分量及双眨眼分量的提取分离，得眨眼模式识别结果；
5)控制外接设备时，用户根据提示信号进行相应运动想象及眼睛运动，采集用户当前的EOG信号及EEG信号，并对用户当前的EOG信号及EEG信号分别依次进行放大及数模转换，再对用户当前的EOG信号及用户当前的EEG信号分别进行预处理；
6)通过用户的特征导联和特征节律筛选出用户当前EEG信号的频带分量，再通过共空间模式特征提取滤波器对用户当前EEG信号的频带分量进行空间特征提取，并根据所述空间特征通过小世界神经网络分类器进行模式判别，得到用户当前EEG信号的识别结果，然后根据用户当前EEG信号的识别结果对电脑进行控制；同时，对用户当前的EOG信号进行峰值分析，得用户当前EOG信号的识别结果，然后根据用户当前EOG信号的识别结果对电脑进行控制。
2.根据权利要求1所述的多模态非植入式脑机接口技术支撑下的人机交互方法，其特征在于，
步骤2)中对EOG信号进行预处理的具体操作为：先采用截止频率为25Hz的四阶Butterworth低通滤波器对EOG信号进行低通滤波，然后采用截止频率为0.1Hz的四阶Butterworth高通滤波器对EOG信号进行高通滤波；
步骤5)中对用户当前的EOG信号进行预处理的具体操作为：先采用截止频率为25Hz的四阶Butterworth低通滤波器对用户当前的EOG信号进行低通滤波，然后采用截止频率为0.1Hz的四阶Butterworth高通滤波器对用户当前的EOG信号进行高通滤波。
3.根据权利要求1所述的多模态非植入式脑机接口技术支撑下的人机交互方法，其特征在于，
步骤2)中对EEG信号进行预处理的具体操作为：对EEG信号依次进行合并眼电、直流偏移校正、合并行为数据、去除基线漂移及去除眼电伪迹；
步骤5)中对用户当前的EEG信号进行预处理的具体操作为：对用户当前的EEG信号依次进行合并眼电、直流偏移校正、合并行为数据、去除基线漂移及去除眼电伪迹。
4.根据权利要求1所述的多模态非植入式脑机接口技术支撑下的人机交互方法，其特征在于，步骤6)中根据用户当前EOG信号的识别结果对电脑进行控制的具体过程为：先将用户当前EOG信号的识别结果进行格式化输出，使用户当前EOG信号的识别结果转化为电脑的控制命令，然后通过所述电脑的控制命令对电脑进行控制。
5.根据权利要求1所述的多模态非植入式脑机接口技术支撑下的人机交互方法，其特征在于，步骤6)中根据用户当前EEG信号的识别结果对电脑进行控制的具体过程为：先将用户当前EEG信号的识别结果进行格式化输出，使用户当前EEG信号的识别结果转化为电脑的控制命令，然后通过所述电脑的控制命令对电脑进行控制。
CN201410408877.4A 2014-08-19 2014-08-19 一种多模态非植入式脑机接口技术支撑下的人机交互方法 Active CN104360730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410408877.4A CN104360730B (zh) 2014-08-19 2014-08-19 一种多模态非植入式脑机接口技术支撑下的人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410408877.4A CN104360730B (zh) 2014-08-19 2014-08-19 一种多模态非植入式脑机接口技术支撑下的人机交互方法

Publications (2)

Publication Number Publication Date
CN104360730A CN104360730A (zh) 2015-02-18
CN104360730B true CN104360730B (zh) 2017-04-26

Family

ID=52527998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410408877.4A Active CN104360730B (zh) 2014-08-19 2014-08-19 一种多模态非植入式脑机接口技术支撑下的人机交互方法

Country Status (1)

Country Link
CN (1) CN104360730B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105549738B (zh) * 2015-12-10 2018-07-24 浙江大学 一种基于多核处理器的脑信号实时并行处理方法
CN106095086B (zh) * 2016-06-06 2019-07-12 深圳先进技术研究院 一种基于无创电刺激的运动想象脑机接口控制方法
CN106264520A (zh) * 2016-07-27 2017-01-04 深圳先进技术研究院 一种神经反馈运动训练系统及方法
US10832031B2 (en) * 2016-08-15 2020-11-10 Apple Inc. Command processing using multimodal signal analysis
CN106708273B (zh) * 2017-02-21 2023-10-31 华南脑控(广东)智能科技有限公司 一种基于eog的开关装置及开关键实现方法
CN107037883A (zh) * 2017-04-13 2017-08-11 安徽大学 一种基于运动想象的混合脑机接口系统及方法
CN107981997B (zh) * 2017-11-23 2019-11-29 郑州布恩科技有限公司 一种基于人脑运动意图的智能轮椅控制方法及系统
CN109144238B (zh) * 2018-05-14 2021-09-28 孙佳楠 一种基于眼电编码的人机交互系统及其交互方法
CN109605385B (zh) * 2018-11-28 2020-12-11 东南大学 一种混合脑机接口驱动的康复辅助机器人
CN109464239A (zh) * 2019-01-09 2019-03-15 浙江强脑科技有限公司 基于脑波控制的智能轮椅
CN109805923A (zh) * 2019-01-29 2019-05-28 北京京东方光电科技有限公司 可穿戴设备、信号处理方法及装置
CN109993131B (zh) * 2019-04-04 2021-03-16 北京理工大学 一种基于多模态信号融合的设计意图判别系统及方法
CN111956933B (zh) * 2020-08-27 2022-05-03 北京理工大学 一种阿尔兹海默病神经反馈康复系统
CN112315744B (zh) * 2020-11-24 2023-07-21 中国医学科学院生物医学工程研究所 基于运动想象的多自由度协同运动上肢外骨骼指令方法
CN112842261B (zh) * 2020-12-30 2021-12-28 西安交通大学 一种基于复杂网络的婴儿三维自发运动智能化评估系统
CN113499524A (zh) * 2021-07-23 2021-10-15 华南理工大学 一种利用运动想象脑电图检测的辅助康复训练系统
CN114791768B (zh) * 2022-06-24 2022-11-15 清华大学 一种基于脑机接口的计算系统及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017124A (ko) * 2001-08-24 2003-03-03 림스테크널러지주식회사 뇌-기계 인터페이스 작동을 위한 무선 시스템 및 그의제어방법
CN102715911A (zh) * 2012-06-15 2012-10-10 天津大学 基于脑电特征的情绪状态识别方法
CN103473294A (zh) * 2013-09-03 2013-12-25 重庆邮电大学 基于msvm脑电信号特征分类的方法及智能轮椅系统
CN103699216A (zh) * 2013-11-18 2014-04-02 南昌大学 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017124A (ko) * 2001-08-24 2003-03-03 림스테크널러지주식회사 뇌-기계 인터페이스 작동을 위한 무선 시스템 및 그의제어방법
CN102715911A (zh) * 2012-06-15 2012-10-10 天津大学 基于脑电特征的情绪状态识别方法
CN103473294A (zh) * 2013-09-03 2013-12-25 重庆邮电大学 基于msvm脑电信号特征分类的方法及智能轮椅系统
CN103699216A (zh) * 2013-11-18 2014-04-02 南昌大学 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法

Also Published As

Publication number Publication date
CN104360730A (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
CN104360730B (zh) 一种多模态非植入式脑机接口技术支撑下的人机交互方法
CN108446020A (zh) 融合可视图与深度学习的运动想象意念控制方法及应用
CN113398422B (zh) 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法
Kus et al. Asynchronous BCI based on motor imagery with automated calibration and neurofeedback training
Ebrahimi et al. Brain-computer interface in multimedia communication
Neuper et al. Motor imagery and EEG-based control of spelling devices and neuroprostheses
CN110070944A (zh) 基于虚拟环境和虚拟角色的社会功能评估训练系统
CN109992113A (zh) 一种基于多场景诱发的mi-bci系统及其控制方法
CN111544855B (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN107802262A (zh) 一种脑电结合vr用于儿童多动注意缺陷干预治疗的装置
CN112244774A (zh) 脑机接口康复训练系统及方法
CN109247917A (zh) 一种空间听觉诱发p300脑电信号识别方法及装置
CN106095086A (zh) 一种基于无创电刺激的运动想象脑机接口控制方法
Korik et al. Decoding imagined 3D arm movement trajectories from EEG to control two virtual arms—a pilot study
CN107544675A (zh) 脑控式虚拟现实方法
MP Idendifying eye movements using neural networks for human computer interaction
Boonarchatong et al. Green EEG energy control robot for supporting bedfast patients
CN110464348A (zh) 基于肌电信号的下肢关节连续运动量识别方法及系统
Xie et al. Research on rehabilitation training strategies using multimodal virtual scene stimulation
Zhang Virtual reality games based on brain computer interface
CN115444717A (zh) 基于脑机接口的肢体功能康复训练方法及系统
CN207886596U (zh) 一种基于镜像神经元的vr康复系统
CN110321856A (zh) 一种时频多尺度散度csp的脑机接口方法及装置
CN207101480U (zh) 基于运动想象的上肢外骨骼控制系统
Bi et al. A brain-computer interface in the context of a head up display system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant