CN113434040B - 基于增强现实诱发的脑机接口技术方法 - Google Patents

基于增强现实诱发的脑机接口技术方法 Download PDF

Info

Publication number
CN113434040B
CN113434040B CN202110630845.9A CN202110630845A CN113434040B CN 113434040 B CN113434040 B CN 113434040B CN 202110630845 A CN202110630845 A CN 202110630845A CN 113434040 B CN113434040 B CN 113434040B
Authority
CN
China
Prior art keywords
augmented reality
stimulus
brain
induction
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110630845.9A
Other languages
English (en)
Other versions
CN113434040A (zh
Inventor
谢松云
钱坤
徐召
郑大路
谢辛舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110630845.9A priority Critical patent/CN113434040B/zh
Publication of CN113434040A publication Critical patent/CN113434040A/zh
Application granted granted Critical
Publication of CN113434040B publication Critical patent/CN113434040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于增强现实诱发的脑机接口技术方法，涉及脑科学以及增强现实技术领域，通过增强现实技术将三维模型作为刺激源实时叠加在实际场景的图片上来诱发出脑电信号，并应用到多模态脑机接口系统中，解决实际应用时无法反馈实际情况以及传统视觉诱发范式较为单一并且容易造成视觉疲劳的问题。具体是通过游戏引擎作为实现平台搭建了全新的基于增强现实技术的视觉刺激诱发实验范式，包括使用虚拟三维物体作为闪烁刺激源叠加在现实场景图片之上的稳态视觉诱发电位刺激范式以及使用虚拟三维物体作为靶刺激，将刺激源与现实场景图片相结合的P300诱发范式,有效补偿了现有实际应用技术的不足。本发明主要应用于脑机接口系统中的视觉诱发中。

Description

基于增强现实诱发的脑机接口技术方法
技术领域
本发明属于脑科学、增强现实技术研究领域
背景技术
本发明是关于基于增强现实诱发的脑机接口技术方法，将增强现实技术应用到视觉刺激诱发中，利用增强现实将三维模型实时叠加在真实场景的图片之上来诱发出P300信号和SSVEP信号，并对多模态脑机接口进行特征脑电信号识别与分类。
近些年来，脑机接口技术得到了长足的发展，在助老助残、智能控制、模拟驾驶和休闲娱乐等领域都有着广泛的应用前景，其中脑机接口技术是通过对大脑意识活动所产生的脑电信号进行检测和处理，提取相应的大脑意识特征，并转换成一定的控制指令来实现对外部设备的控制。脑电信号的产生需要通过特定实验范式的诱发，比如SSVEP信号需要由视觉刺激范式进行诱发，目前常用的视觉刺激方式一般都是基于计算机显示器帧频率以及MATLAB工具箱实现刺激源闪烁，常用的视觉刺激方式存在着两个问题：
(1)刺激模块无法和现实的场景相结合，阻碍了实用化进程；
(2)诱发刺激方式较为单一，诱发范式为黑色背景与白色刺激源的组合，对人体眼部刺激强烈，长时间使用会产生眼部疲劳和不适。
因此，本发明提出将增强现实技术与视觉刺激诱发相结合的方法，解决传统常用视觉刺激方式存在的问题。将增强现实与视觉刺激诱发结合起来的关键技术是，如何在真实场景中叠加上刺激源，既可以起到视觉诱发的效果，也不会丢掉真实场景的信息，并将其应用到多模态脑机接口技术中。
发明内容
本发明的目的在于为多模态脑机接口技术提供一种诱发脑电信号的新方法，具体是通过将增强现实技术与视觉刺激诱发相结合的方式，在传统视觉诱发范式的基础上使用游戏引擎作为实现平台搭建了多种全新的基于增强现实技术的视觉刺激诱发实验范式，包括使用虚拟模块作为闪烁刺激源的稳态视觉诱发电位刺激范式；使用虚拟物体作为靶刺激，刺激源与现实场景相结合的P300诱发范式等。
具体发明内容如下：
(1)基于增强现实的稳态视觉诱发方法：通过计算机配备的摄像头拍摄真实图片并传输到增强现实的画面中，然后生成一些虚拟三维物体作为刺激源并进行一定的坐标转换后与画面叠加在一起，形成在实际场景画面基础上加入刺激源的效果。而虚拟三维物体设定为以不同的闪烁频率进行闪烁，以诱发出响应频率的稳态视觉诱发电位信号。
(2)基于增强现实的P300诱发方法：本发明在P300经典范式Oddball范式的基础上设计基于增强现实的P300诱发方法。基于增强现实的P300诱发方法在刺激呈现相隔的时间以及刺激出现的时间上与此Oddball范式保持一致，背景选取则选择摄像头获取到的现实场景，而靶刺激与非靶刺激斗使用三维虚拟目标进行代替。
(3)基于增强现实的多模态诱发脑机接口方法：本发明在上述基础上将基于增强现实的SSVEP诱发范式以及P300诱发范式结合到一个多模态系统中来诱发特征脑电信号SSVEP信号与P300信号，并分别对其进行分类判别转换成对应场景之中相应的指令。
本发明首次将增强现实技术运用在视觉刺激诱发中，与现有技术相比，本发明具有以下创新和优势：
(1)提出了一种新型的视觉刺激诱发方法，能够解决传统方法中存在的视觉疲劳以及不适问题。
(2)通过将增强现实技术加入到视觉刺激诱发中，可以在进行脑电信号诱发的同时进行实时场景的反馈，可以更好地应用在实际场景中。
附图说明
图1为视觉刺激示意图
图2为基于增强现实的多模态诱发脑机接口方法框图
图3为基于增强现实的SSVEP诱发范式示意图
图4为基于增强现实的P300诱发范式示意图
图5为基于增强现实的脑机接口游戏框架图
具体实施方式
具体实施方式中的视觉刺激方式如附图1所示，基于增强现实的多模态诱发脑机接口方法流程如附图2所示，详细说明如下：
本发明刺激源所在位置的选取与传统诱发方法的位置保持一致，如附图1所示，标号为1的位置为SSVEP刺激源所在位置，标号为2的位置为P300刺激源所在位置，与传统方法不同的在于标号3所在的位置会呈现出实际场景，即刺激源叠加在实际场景上以达到可以在实际场景中应用的目的，而传统诱发方法中一般为黑色背景无法在进行视觉诱发的同时得到实际场景中的信息。基于增强现实的多模态诱发脑机接口方法使用两种视觉诱发方式分别诱发特征脑电信号(SSVEP信号与P300信号)相关示意图分别如图3、图4所示。
实验者佩戴着脑电帽注视着基于增强现实的诱发范式，从而采集到EEG信号，EEG经过预处理后并分别对其进行分类判别转换成输出指令以实现脑机接口系统对外部设备的控制的功能，其中SSVEP信号通过典型相关分析算法(CCA)和支持向量机算法(SVM)进行分类识别，P300信号通过贝叶斯判别分析(BLDA)进行分类识别，从而实现了一种新型的脑机接口技术方法，能够在实时脑控的同时将实时情况反馈给实验者。
下面以一个基于增强现实的脑机接口游戏进一步说明具体实施方式,在游戏引擎中自主搭建了增强现实游戏场景并在其中结合了脑控模块，利用大脑信号来进行对口袋妖怪的捕获，增加了游戏的趣味性，游戏框架图如图5所示。具体实现为将口袋妖怪模型作为靶刺激目标，将小狗模型作为非靶刺激目标，当口袋妖怪模型出现时，检测玩家此时的P300信号，若检测到P300信号，则对出现的模型进行捕获，捕获过程中精灵球需要向模型的方向抛去，如果抛出的方向有偏差则无法捕获，在精灵球抛出的过程中，使用SSVEP信号来控制其方向的调整。
实验时注视着显示界面，显示界面初始状态只有一个精灵球在界面的下方，背景摄像头实时拍摄的真实世界场景。如P300诱发范式一样，在界面中出现提示符“+”后，会呈现目标刺激，靶刺激选择为多个口袋妖怪的三维模型，非靶刺激为一只普通小狗的模型。
如果出现口袋妖怪即目标刺激出现，对此时脑电信号进行P300分类，若成功检测到P300信号并分类为有P300信号，将抛出精灵球，同时则显示界面出现两个闪烁刺激用于诱发SSVEP信号以控制精灵球左右的移动。当注视左侧的小黄人时，精灵球将向左偏移，注视右侧的小黄人时，精灵球将向右侧偏移。

Claims (1)

1.一种基于增强现实诱发的脑机接口技术方法，将增强现实技术与脑科学中视觉诱发脑电范式相结合，以虚拟三维物体作为刺激源，以摄像头传输的实际场景的图片作为诱发范式的背景，将虚拟三维物体实时叠加到真实背景上进行脑电信号的诱发：
(1)基于增强现实的稳态视觉诱发方法：通过计算机配备的摄像头拍摄真实场景的图片并传输到增强现实的画面中，然后生成若干个虚拟三维物体作为刺激源并进行一定的坐标转换后与画面叠加在一起，形成在实际场景画面基础上加入刺激源的效果，而虚拟三维物体设定为以不同的闪烁频率进行闪烁，以诱发出响应频率的稳态视觉诱发电位信号；
(2)基于增强现实的P300诱发方法：在P300经典范式Oddball范式的基础上提出了基于增强现实的P300诱发方法，基于增强现实的P300诱发方法在刺激呈现相隔的时间以及刺激出现的时间上与此Oddball范式保持一致，但视觉刺激的背景不同，是选择摄像头获取到的现实场景，而靶刺激与非靶刺激都使用虚拟三维物体进行代替；
(3)基于增强现实的多模态诱发方法：在上述基础上将两种视觉诱发方式结合，在一个多模态脑机接口中通过增强现实技术先诱发P300特征脑电信号，再诱发SSVEP特征脑电信号并分别对其进行分类判别，转换成对应场景之中相应的指令以控制外设。
CN202110630845.9A 2021-06-07 2021-06-07 基于增强现实诱发的脑机接口技术方法 Active CN113434040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110630845.9A CN113434040B (zh) 2021-06-07 2021-06-07 基于增强现实诱发的脑机接口技术方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110630845.9A CN113434040B (zh) 2021-06-07 2021-06-07 基于增强现实诱发的脑机接口技术方法

Publications (2)

Publication Number Publication Date
CN113434040A CN113434040A (zh) 2021-09-24
CN113434040B true CN113434040B (zh) 2024-01-05

Family

ID=77803746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110630845.9A Active CN113434040B (zh) 2021-06-07 2021-06-07 基于增强现实诱发的脑机接口技术方法

Country Status (1)

Country Link
CN (1) CN113434040B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327061B (zh) * 2021-12-27 2023-09-29 福州大学 一种实现无校准p300脑机接口的方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102778949A (zh) * 2012-06-14 2012-11-14 天津大学 基于ssvep阻断和p300双特征的脑-机接口方法
CN103150023A (zh) * 2013-04-01 2013-06-12 北京理工大学 一种基于脑机接口的光标控制系统及方法
CN103399639A (zh) * 2013-08-14 2013-11-20 天津医科大学 基于ssvep和p300联合脑机接口方法及装置
CN105843377A (zh) * 2016-03-17 2016-08-10 天津大学 基于异步并行诱发策略的混合范式脑-机接口
CN106371451A (zh) * 2016-11-07 2017-02-01 东南大学 基于稳态视觉诱发电位的无人机操控方法及装置
CN206249101U (zh) * 2016-11-07 2017-06-13 东南大学 基于稳态视觉诱发电位的无人机操控装置
CN107346179A (zh) * 2017-09-11 2017-11-14 中国人民解放军国防科技大学 基于诱发式脑机接口的多移动目标选择方法
KR101788969B1 (ko) * 2016-04-20 2017-11-15 국방과학연구소 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강 현실 시스템의 타깃선택방법
CN107479696A (zh) * 2017-07-25 2017-12-15 天津大学 基于p300范式虚拟现实脑‑机接口系统和实现方法
WO2019073603A1 (ja) * 2017-10-13 2019-04-18 マクセル株式会社 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステム、プロジェクタシステムおよび視覚刺激信号の表示方法
KR20190045041A (ko) * 2017-10-23 2019-05-02 고려대학교 산학협력단 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치
CN112114662A (zh) * 2020-08-03 2020-12-22 西安交通大学 一种现实增强的自适应动态多场景诱发脑控方法
CN112859628A (zh) * 2021-01-19 2021-05-28 华南理工大学 基于多模态脑机接口与增强现实的智能家居控制方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102778949A (zh) * 2012-06-14 2012-11-14 天津大学 基于ssvep阻断和p300双特征的脑-机接口方法
CN103150023A (zh) * 2013-04-01 2013-06-12 北京理工大学 一种基于脑机接口的光标控制系统及方法
CN103399639A (zh) * 2013-08-14 2013-11-20 天津医科大学 基于ssvep和p300联合脑机接口方法及装置
CN105843377A (zh) * 2016-03-17 2016-08-10 天津大学 基于异步并行诱发策略的混合范式脑-机接口
KR101788969B1 (ko) * 2016-04-20 2017-11-15 국방과학연구소 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강 현실 시스템의 타깃선택방법
CN106371451A (zh) * 2016-11-07 2017-02-01 东南大学 基于稳态视觉诱发电位的无人机操控方法及装置
CN206249101U (zh) * 2016-11-07 2017-06-13 东南大学 基于稳态视觉诱发电位的无人机操控装置
CN107479696A (zh) * 2017-07-25 2017-12-15 天津大学 基于p300范式虚拟现实脑‑机接口系统和实现方法
CN107346179A (zh) * 2017-09-11 2017-11-14 中国人民解放军国防科技大学 基于诱发式脑机接口的多移动目标选择方法
WO2019073603A1 (ja) * 2017-10-13 2019-04-18 マクセル株式会社 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステム、プロジェクタシステムおよび視覚刺激信号の表示方法
KR20190045041A (ko) * 2017-10-23 2019-05-02 고려대학교 산학협력단 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치
CN112114662A (zh) * 2020-08-03 2020-12-22 西安交通大学 一种现实增强的自适应动态多场景诱发脑控方法
CN112859628A (zh) * 2021-01-19 2021-05-28 华南理工大学 基于多模态脑机接口与增强现实的智能家居控制方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Combination of Augmented Reality Based Brain- Computer Interface and Computer Vision for High-Level Control of a Robotic Arm;Xiaogang Chen;《IEEE Transactions on Neural Systems and Rehabilitation Engineering》;全文 *
SSVEP Stimulus Layout Effect on Accuracy of Brain-Computer Interfaces in Augmented Reality Glasses;Xincan Zhao;《IEEE Access》;全文 *
基于增强现实脑机接口和计算机视觉的机械臂控制系统;陈小刚;《生物医学工程学杂志》;全文 *
基于多模式EEG的脑-机接口虚拟键鼠系统设计;谢松云;《西北工业大学学报》;第34卷(第2期);全文 *
新颖的稳态视觉诱发电位脑机接口系统;乔敏;《计算机工程与应用》;全文 *
面向假肢的场景动画稳态视觉诱发脑控方法;李睿;张小栋;张黎明;陆竹风;;西安交通大学学报(第01期);全文 *

Also Published As

Publication number Publication date
CN113434040A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
Wang et al. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device
Kim et al. Quadcopter flight control using a low-cost hybrid interface with EEG-based classification and eye tracking
CN105301771B (zh) 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
Ma et al. Combining brain-computer interface and eye tracking for high-speed text entry in virtual reality
Edlinger et al. A hybrid brain-computer interface for smart home control
CN108478399B (zh) 一种弱视训练仪
Xiao et al. An electrooculogram-based interaction method and its music-on-demand application in a virtual reality environment
CN102866775A (zh) 基于多模式融合的脑机接口控制系统及方法
KR102029219B1 (ko) 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치
KR20180006573A (ko) 특정 장소내에 하이브리드형 bci 안경모듈·다방향디스플레이모듈을 통한 vr실감체험형성장치 및 방법
CN112465059A (zh) 基于跨脑融合决策的多人运动想象识别方法及脑机系统
CN113434040B (zh) 基于增强现实诱发的脑机接口技术方法
US20240168552A1 (en) Electroencephalograph-based user interface for virtual and augmented reality systems
Leeb et al. Self-paced exploration of the Austrian National Library through thought
Sakkalis et al. Augmented reality driven steady-state visual evoked potentials for wheelchair navigation
US9805612B2 (en) Interest-attention feedback method for separating cognitive awareness into different left and right sensor displays
CN108646915A (zh) 结合三维视线跟踪和脑机接口控制机械臂抓取物体的方法和系统
Beveridge et al. 3D graphics, virtual reality, and motion-onset visual evoked potentials in neurogaming
CN104238756B (zh) 一种信息处理方法及电子设备
CN109117819A (zh) 目标物识别方法、装置、存储介质及穿戴式设备
Rosenthal et al. Evoked neural responses to events in video
CN113101021A (zh) 基于mi-ssvep混合式脑机接口的机械臂控制方法
Gergondet et al. Steering a robot with a brain-computer interface: impact of video feedback on BCI performance
CN114115313B (zh) 基于脑机接口的无人机控制与广域目标检测系统及方法
CN109361727A (zh) 信息共享方法、装置、存储介质及穿戴式设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant