CN112990074B - 基于vr的多场景自主式控制的混合脑机接口在线系统 - Google Patents

基于vr的多场景自主式控制的混合脑机接口在线系统 Download PDF

Info

Publication number
CN112990074B
CN112990074B CN202110351375.2A CN202110351375A CN112990074B CN 112990074 B CN112990074 B CN 112990074B CN 202110351375 A CN202110351375 A CN 202110351375A CN 112990074 B CN112990074 B CN 112990074B
Authority
CN
China
Prior art keywords
module
data
signal
electroencephalogram
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110351375.2A
Other languages
English (en)
Other versions
CN112990074A (zh
Inventor
林艳飞
谭鹰
臧博宇
刘志文
雍颖琼
程奇峰
阳佳
张宏江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110351375.2A priority Critical patent/CN112990074B/zh
Publication of CN112990074A publication Critical patent/CN112990074A/zh
Application granted granted Critical
Publication of CN112990074B publication Critical patent/CN112990074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种基于VR的多场景自主式控制的混合脑机接口在线系统，包括视听觉刺激与应用场景呈现模块、双模态信号采集模块、自主式目标选择模块、单试次信号同步模块、数据预处理模块、信号特征提取与融合分类模块、控制指令发送模块、在线系统管理模块；该系统利用自主式目标选择实时采集用户在VR场景下的多模态数据，实时在线同步采集数据，分析数据，并将结果通过控制指令发送模块反馈到虚拟现实环境和其他智能设备上；本发明提高了脑机接口系统的鲁棒性和自主式控制的实际应用价值，为用户提供了多场景的训练和控制任务。

Description

基于VR的多场景自主式控制的混合脑机接口在线系统
技术领域
本发明属于人机交互、脑机接口的技术领域，具体涉及一种基于VR的多场景自主式控制的混合脑机接口在线系统。
背景技术
随着人工智能与脑机接口应用的快速发展，脑机接口技术被应用到各个领域，例如机器人控制、BCI打字、图像筛选、机械臂控制、智能居家、无人车驾驶、交互娱乐、康复训练、情绪分析等。而VR沉浸式的现实虚拟环境为这些多场景的应用训练提供了高效、安全、便利的实验环境和控制条件，简化了平台设备复杂性，有利于提高脑机接口使用人员的安全性、降低经济成本，同时为特殊人员，如航天员、残疾人等，提供了在特殊情景下执行任务的可能。
然而当前脑机接口的应用多为被动式应用。操作人员需要根据提前设计的提示信息进行目标选择，为了得到较好的脑机接口预测效果，通常刺激目标的选择时间也是预先设定的。这就需要操作者通过物理设备例如鼠标，与系统进行交互。此种方式使得人机交互产生不便，从而降低了脑机接口的应用价值。而眼动交互更加自然实用，可根据其特征信息灵活设计交互方式，操作人员可以随时选择目标，根据个人意图实现控制。因此，此种自主式且更加自然的交互方式是实现脑机接口在线系统应用的现实需求，可提高各类型脑机接口实际应用价值，拓宽应用场景。
发明内容
有鉴于此，本发明提供了一种基于VR的多场景自主式控制的混合脑机接口在线系统，能够同步采集脑电信号、眼动信号，进行同步标记截取、实时分类预测、指令发送，并反馈受试者的意图。
实现本发明的技术方案如下：
基于VR的多场景自主式控制的混合脑机接口在线系统，包括视听觉刺激与应用场景呈现模块、双模态信号采集模块、自主式目标选择模块、单试次信号同步模块、数据预处理模块、信号特征提取与融合分类模块、控制指令发送模块、和在线系统管理模块；
视听觉刺激与应用场景呈现模块用于提供脑电SSVEP刺激阵列、声音反馈和虚拟3D应用场景控制，该模块诱发受试者脑电波、跟踪眼动数据并结合应用场景实现实时反馈；
双模态信号采集模块用于同步采集受试者的脑电信号和眼动信号；
自主式目标选择模块根据用户意愿，用户自主地注视目标刺激阵列，并同时对双模态信号采集模块中的信号进行trigger(有效数据的起始位置)标记，而trigger标记依据用户与应用场景交互的眼动注视状态特征进行触发；
单试次信号同步模块用于检测自主式目标选择模块中脑电信号和眼动信号的起始标记，并实现双模态信号的同步和提取；
数据预处理模块用于所采集信号的噪声去除、伪迹去除、异常值去除和有效数据对齐；
信号特征提取与融合分类模块用于对同步截取信号进行特征提取并实现融合分类，从而预测受试者想要执行的指令；
控制指令发送模块将所预测的受试者指令通过通讯协议实现计算分析平台与VR虚拟环境平台之间、计算机与其他智能设备之间的信息传输；
在线系统管理模块用于给使用人员提供一个基于Matlab-GUI的在线系统信息管理、参数设置与数据可视化的交互界面。
进一步地，所述在线系统将无线脑电数据采集设备、VR眼动仪数据采集设备连接到同一台计算机上，基于Matlab科学计算分析平台和Unity3D虚拟场景渲染平台进行信号处理、指令发送和效果反馈。
进一步地，所述虚拟3D应用场景包括机械臂控制、智能居家、无人车驾驶、交互娱乐和功能性康复训练。
进一步地，所述双模态信号采集模块中，无线脑电信号经无线路由器由计算机采集软件独立线程程序采集，VR眼动仪通过连接计算机串口实现眼动信号采集。
进一步地，所述预处理模块采用巴特沃斯滤波器、非零检测去除异常值及有效数据对齐。
进一步地，所述信号特征提取与融合分类模块中，脑电信号利用CCA算法提取特征，眼动信号利用K均值和混合高斯算法提取特征，采用线性加权将脑电特征和眼动特征进行融合。
进一步地，所述控制指令发送模块，通过自定义的应用层通讯协议，将所述融合分类模块中的预测指令进行发送，实现在同一计算机Matlab计算软件平台与Unity软件平台之间的、计算机与其他智能设备之间交互；应用层通讯协议，包含数据头、数据体、数据尾。
进一步地，所述在线系统管理模块，基于Matlab-GUI界面设计，管理人员信息登记、使用时间、系统模式选择，在线保存脑电与眼动的原始数据，设置关键参数，包括单指令有效数据采集时间、特征融合系数；可视化数据输出包括系统运行状态、预测分类输出指令、眼动和脑电数据可视化。
有益效果：
(1)本发明的混合式脑机接口技术可以提供高准确率，低时延的指令输出，提高了脑机接口在线系统的实时性和鲁棒性。
(2)本发明的自主式控制模式直接拓展了脑机接口系统的应用场景，提高了脑机接口技术与现实生活和工业应用落地的可适性和实用价值，实用人员可以随时，自由自主地选择目标，且与计算机或外界设备交互无需其他物理设备的辅助操作。
(3)本发明的混合脑机接口在线系统提供并适用于多虚拟现实场景下的任务训练，降低现实设备成本，同时提高操作人员的安全性和任务执行环境的丰富性，同时通过在线通信应用协议支持现实中多个智能设备的接入和控制。
附图说明
图1为本发明基于VR的多场景自主式控制的混合脑接机口在线系统的结构图。
图2为本发明基于VR的多场景自主式控制的混合脑机接口在线系统的流程图。
图3基于自主式目标选择的脑眼信号同步采集流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于VR的多场景自主式控制的混合脑机接口在线系统，实时采集用户的眼动和脑电数据，利用本发明的自主式目标选择模式实现在VR虚拟现实多场景下的自由交互和训练任务，提高脑机接口的实际应用价值。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细地说明。
如图1所示，本发明提供了多场景自主式控制的混合脑接机口在线系统的结构图，在线系统包括无线脑电设备、VR眼动仪设备、视听觉刺激与应用场景呈现模块、双模态信号采集模块、自主式目标选择模块、单试次信号同步模块、数据预处理模块、信号特征提取与融合分类模块、控制指令发送模块、在线系统交互模块；
用户在视听觉刺激与应用场景呈现模块中选取特定任务场景，如机械臂控制场景，将包含SSVEP刺激阵列的虚拟场景界面呈现在用户佩戴的VR头盔上。通过双模态信号采集模块、利用眼动仪设备和无线脑电设备采集眼动和脑电信号并发送到计算机中，用户自由选择想要执行的指令。通过单试次信号同步模块依据自主式目标选择模块标记的信号起始位置，同步截取当前用户脑电信号和眼动信号的有效数据段。
利用数据预处理模块、信号特征提取与信号融合分类模块进行实时数据处理。
利用控制指令发送模块将在线系统实时分析出的用户意图转变为指令发送到3D虚拟场景中，实现视觉和听觉刺激反馈；若现实中计算机连接了其他智能设备，如机器人、机械臂，则可以将指令转发到智能终端设备中实现响应，用户根据VR虚拟视觉场景中的响应来执行自己想要的下一步动作。
如图2所示，提供了本发明的多场景自主式控制的混合脑机接口在线系统的流程图，结合流程进一步对相关模块做详细说明，其中操作步骤：
步骤1在线系统开始录入用户相关信息，选择机械臂控制场景；
步骤2用户佩戴VR头盔和无线脑电帽；
步骤3调用数据采集模块实时采集用户眼动数据，任务开始前计算2s眼动数据方差、期望特征，用于自主式目标选择模块；
步骤4将单试次信号同步的双模态数据进行预处理、特征提取、特征融合；
所述预处理，脑电信号进行5-50Hz带通范围的巴特沃斯滤波，对眼动信号进行非零检测、异常值去除和有效数据对齐；
脑电信号的特征提取采用CCA算法，首先利用先验信息生成SSVEP刺激频率的信号模板，利用单试次脑电数据与模板信号做相关处理，特征向量ρ表示了原始数据X和Y的最大相关程度，算法表达式如下：
Figure BDA0003002260810000061
上式的优化表达为：
Figure BDA0003002260810000062
眼动数据的特征提取采用K均值聚类或混合高斯聚类算法：
K均值聚类给定样本集X＝{x1,x2,...,xm}，针对样本划分类别c＝{C1,C2,...,Ck}，算法目标为求最小均方误差：
Figure BDA0003002260810000063
混合高斯聚类给定样本集X＝{x1,x2,...,xm}，随机变量zj∈{1,2,...,k}表示样本混合成分，k表示类别数，根据贝叶斯定理，zj的后验分布为
Figure BDA0003002260810000064
以上步骤把样本集划分为k个类c＝{C1,C2,...,Ck}，样本xj类标记λj由
Figure BDA0003002260810000065
确定。
对于特征融合部分，眼动仪数据为双眼瞳孔位置数据，脑电信号是多通道电压信号，为了将两种不同量纲下的特征结合起来，提出了一种混合数据融合的目标检测方法，融合决策模型定义为：
Rhybrid＝COREEG×NACCEEG+(1-DEYE)×NACCEYE
其中COREEG是经归一化后的SSVEP与模板信号的相关系数，DEYE表示眼动数据与校准模板中心经归一化后的距离。NACCEEG和NACCEYE是归一化后的权重系数，由训练实验阶段的眼动和脑电平均分类准确率确定：
Figure BDA0003002260810000071
融合模型分类为取Rhybrid中最大值所对应的预测目标类别。
经上述步骤后，用户在具体任务场景中实时自由选择命令，系统实时分析用户意图，将用户意图通过控制指令发送模块反馈到3D虚拟交互场景中，并支持同时转发到其他计算机设备或智能移动设备。3D虚拟交互场景根据当前接收的指令执行相应的反馈；所述控制指令发送模块中基于socket形式定义的应用层通讯协议形式如表1所示；
表1混合脑机接口的通用应用层通讯协议
Figure BDA0003002260810000072
通过在线系统管理模块，用户或助手可实现场景选择和在线系统的参数配置，包括在线数据可视化、系统参数配置、预测指令输出、系统运行状态、用户信息和原始数据保存；
如图3所示，提供了本发明基于自主式目标选择的脑眼信号同步采集流程图，结合流程图说明如下：
(1)脑电数据采集采用博睿康8导无线脑电设备，脑电数据通过路由器传输到PC端，经NeuroNexus软件实时采集脑电信号；
(2)VR眼动仪通过Runtime第三方SDK提供的数据采集API和通讯服务接口，基于Matlab实时采集眼动数据；
(3)选取VR机械臂控制虚拟任务场景，正式运行时，用户的视线集中于自己选择的目标指令块上并听到两次反馈音“哔～”，第一声表示单试次同步标记模块识别到用户当前意图，对有效数据的起始位置进行标记，系统同步发送脑电Trigger标记指令，通过TriggerBox实现脑电信号打标，此时用户仍保持视线，第二声表示进入数据分析阶段，用户可以自由选择转移视线到下一个目标，也可以闭眼休息或眨眼；
(4)步骤(3)数据分析阶段同步执行脑电数据缓存读取指令，读取脑电信号，并根据单试次的Trigger标记截取有效数据段，眼动数据直接寻找起止索引标记，截取当前试次的有效数据，实现眼动和脑电的信号同步。若程序没有检测到用户注视任何目标时，不会启动标记和数据分析程序；
每次用于分析的数据时长可调，默认2.5s；
通过本发明的一种基于VR的多场景自主式控制的混合脑机接口在线系统可以满足脑机接口用户在多场景下的训练学习和控制任务，提高用户的安全性，降低经济成本，同时本发明为当前脑机接口提供了一种自主式交互方法，用户无需预先设定执行指令的时间和顺序，可以仅靠视觉与系统环境自由地实现交互，在线系统实时同步采集数据和分析预测，拥有较高的准确性和实时性，增加了脑机接口在线系统的实际应用价值。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于VR的多场景自主式控制的混合脑机接口在线系统，其特征在于，包括视听觉刺激与应用场景呈现模块、双模态信号采集模块、自主式目标选择模块、单试次信号同步模块、数据预处理模块、信号特征提取与融合分类模块、控制指令发送模块、和在线系统管理模块；
所述在线系统将无线脑电数据采集设备、VR眼动仪数据采集设备连接到同一台计算机上，使用Matlab科学计算分析平台和Unity3D虚拟场景渲染平台进行信号处理、指令发送和效果反馈；
虚拟3D应用场景包括机械臂控制、智能家居、无人车驾驶、交互娱乐和功能性康复训练；
视听觉刺激与应用场景呈现模块用于提供脑电SSVEP刺激范式、声音反馈和虚拟3D应用场景控制，该模块诱发受试者脑电波、跟踪眼动数据并结合应用场景实现实时反馈；
双模态信号采集模块用于同步采集受试者的脑电信号和眼动信号；
自主式目标选择模块，用户自主地注视目标刺激时检测用户意愿，并同时对双模态信号采集模块中的信号进行trigger标记，而trigger标记依据用户与应用场景交互的眼动注视状态特征进行触发，具体为：
用户的视线集中于自己选择的目标指令块上并听到两次反馈音，第一次反馈音表示单试次同步标记模块识别到用户当前意图，对有效数据的起始位置进行标记，系统同步发送脑电Trigger标记指令，通过TriggerBox实现脑电信号与眼动信号的同步；此时用户仍保持视线，第二次反馈音表示进入数据分析阶段，用户自由选择转移视线到下一个目标、闭眼休息或眨眼；
单试次信号同步模块用于检测自主式目标选择模块中脑电信号和眼动信号的起始标记，并实现双模态信号的同步和提取；
数据预处理模块用于所采集信号的噪声去除、伪迹去除、异常值去除和有效数据对齐；所述数据预处理模块采用巴特沃斯滤波器、非零检测去除异常值及有效数据对齐；
信号特征提取与融合分类模块用于对同步截取信号进行特征提取并实现融合分类，从而预测受试者想要执行的指令；所述信号特征提取与融合分类模块中，脑电信号利用CCA算法提取特征，眼动信号利用K均值和混合高斯算法提取特征，采用线性加权将脑电特征和眼动特征进行融合；
控制指令发送模块将所预测的受试者指令通过通讯协议实现计算分析平台与VR虚拟环境平台之间、计算机与其他智能设备之间的信息传输；所述控制指令发送模块，通过自定义的应用层通讯协议，将所述融合分类模块中的预测指令进行发送，实现在同一计算机Matlab计算软件平台与Unity软件平台之间的、计算机与其他智能设备之间交互；应用层通讯协议，包含数据头、数据体、数据尾；
在线系统管理模块用于给使用人员提供一个基于Matlab-GUI的在线系统信息管理、参数设置与数据可视化的交互界面；所述在线系统管理模块，基于Matlab-GUI界面设计，管理人员信息登记、使用时间、系统模式选择，在线保存脑电与眼动的原始数据，设置关键参数，包括单指令有效数据采集时间、特征融合系数；可视化数据输出包括系统运行状态、预测分类输出指令、眼动和脑电数据可视化。
2.如权利要求1所述的基于VR的多场景自主式控制的混合脑机接口在线系统，其特征在于，所述双模态信号采集模块中，无线脑电信号经无线路由器由计算机采集软件独立线程程序采集，VR眼动仪通过连接计算机串口实现眼动信号采集。
CN202110351375.2A 2021-03-31 2021-03-31 基于vr的多场景自主式控制的混合脑机接口在线系统 Active CN112990074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110351375.2A CN112990074B (zh) 2021-03-31 2021-03-31 基于vr的多场景自主式控制的混合脑机接口在线系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110351375.2A CN112990074B (zh) 2021-03-31 2021-03-31 基于vr的多场景自主式控制的混合脑机接口在线系统

Publications (2)

Publication Number Publication Date
CN112990074A CN112990074A (zh) 2021-06-18
CN112990074B true CN112990074B (zh) 2023-04-07

Family

ID=76338767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110351375.2A Active CN112990074B (zh) 2021-03-31 2021-03-31 基于vr的多场景自主式控制的混合脑机接口在线系统

Country Status (1)

Country Link
CN (1) CN112990074B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625871A (zh) * 2021-07-29 2021-11-09 南京航空航天大学 Vr融合在线脑控飞行模拟驾驶系统
CN113918025A (zh) * 2021-11-17 2022-01-11 福州大学 一种训练非机动车驾驶员危险知觉能力的系统
CN114527867A (zh) * 2021-11-18 2022-05-24 中国航空工业集团公司沈阳飞机设计研究所 一种融合眼位信息的无人机脑机辅助控制方法及设备
CN114237387A (zh) * 2021-12-01 2022-03-25 辽宁科技大学 一种脑机接口多模式康复训练系统
CN114161414B (zh) * 2021-12-03 2023-09-19 中国科学院沈阳自动化研究所 一种基于脑电和视觉的水下机械手控制系统及方法
CN116360602B (zh) * 2023-05-16 2023-08-18 中国第一汽车股份有限公司 一种脑机接口功能改进、测试方法、装置、设备及介质
CN117171708B (zh) * 2023-11-01 2024-02-23 小舟科技有限公司 一种混合bci系统中的多模式融合方法、系统、设备及介质
CN117494061A (zh) * 2024-01-03 2024-02-02 中国科学院自动化研究所 用户兴趣挖掘方法、装置、电子设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916338B (zh) * 2010-09-08 2012-05-23 浙江大学 一种自适应的视点平滑滤波数据处理方法
EP3672478A4 (en) * 2017-08-23 2021-05-19 Neurable Inc. BRAIN COMPUTER INTERFACE WITH HIGH SPEED EYE TRACKING
CN108255293A (zh) * 2017-12-07 2018-07-06 中国航空工业集团公司西安航空计算技术研究所 眼动-脑电混合人机接口系统架构
CN109993131B (zh) * 2019-04-04 2021-03-16 北京理工大学 一种基于多模态信号融合的设计意图判别系统及方法
CN110442232A (zh) * 2019-06-18 2019-11-12 中国人民解放军军事科学院国防科技创新研究院 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统
CN112008725B (zh) * 2020-08-27 2022-05-31 北京理工大学 一种人机融合脑控机器人系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Labview的脑机接口实时系统;何庆华等;《北京生物医学工程》;20090415(第02期);全文 *
混合脑机接口及其研究进展;雍颖琼等;《计算机测量与控制》;20200925(第09期);全文 *

Also Published As

Publication number Publication date
CN112990074A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112990074B (zh) 基于vr的多场景自主式控制的混合脑机接口在线系统
US20200337653A1 (en) Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
CN111680620B (zh) 基于d-s证据理论的人机交互意图识别方法
KR20210060595A (ko) 사용자 인터랙션들의 고속 및 정확한 추적을 사용하는 인간-컴퓨터 인터페이스
CN108983636B (zh) 人机智能共生平台系统
CN106959753B (zh) 基于运动想象脑-机接口的无人机虚拟控制方法及系统
CN110824979B (zh) 一种无人设备控制系统和方法
KR101748731B1 (ko) 아이겐 페이스 개념을 이용한 뇌파 신호 분류 방법 및 이를 실행하는 장치
WO2017215177A1 (zh) 一种虚拟现实中内容交互的方法和装置
CN114327048B (zh) 一种基于脑电信号和眼电信号的机械臂控制方法及系统
CN108646915A (zh) 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统
Zhang et al. Asynchronous brain-computer interface shared control of robotic grasping
Wang et al. Brain-computer interface combining eye saccade two-electrode EEG signals and voice cues to improve the maneuverability of wheelchair
CN113208593A (zh) 基于相关性动态融合的多模态生理信号情绪分类方法
CN110443113A (zh) 一种虚拟现实书写方法、系统和存储介质
Pettersson et al. Human movement direction classification using virtual reality and eye tracking
Yasemin et al. Single trial detection of error-related potentials in brain–machine interfaces: a survey and comparison of methods
CN113082448A (zh) 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统
CN116301308A (zh) 基于融合特征的紧急状态运动意图脑-机接口系统
CN112936259B (zh) 一种适用于水下机器人的人机协作方法
Nandikolla et al. Hybrid bci controller for a semi-autonomous wheelchair
Rashid et al. Investigating the possibility of brain actuated mobile robot through single-channel EEG headset
CN113995411A (zh) 一种小型便携式多模态鉴赏评估系统及方法
Markopoulos et al. BCI-based approaches for real-time applications
Wolf et al. Brain-Computer Interface Based on Operator Blinks to Control the Drone

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant