CN206162388U - 一种脑机交互穿戴系统 - Google Patents
一种脑机交互穿戴系统 Download PDFInfo
- Publication number
- CN206162388U CN206162388U CN201621016682.6U CN201621016682U CN206162388U CN 206162388 U CN206162388 U CN 206162388U CN 201621016682 U CN201621016682 U CN 201621016682U CN 206162388 U CN206162388 U CN 206162388U
- Authority
- CN
- China
- Prior art keywords
- brain
- user
- machine interaction
- target
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Processing Or Creating Images (AREA)
Abstract
本实用新型提供了一种脑机交互穿戴系统,包括脑电肌电采集装置,其能够采集使用者的脑电和肌电信号数据;界面显示应用装置,其能够向使用者输出增强现实的显示;和数据处理装置,其能够对所述脑电和肌电信号数据进行聚合,基于所述信号数据确定使用者的操作输入,并基于所述操作输入确定向使用者显示的内容;所述脑电肌电采集装置、所述界面显示应用装置分别与所述数据处理装置相连。所述界面显示应用装置可以是增强现实应用装置。
Description
技术领域
本实用新型涉及一种脑机接口穿戴系统,特别是用于增强现实的脑机接口穿戴系统。
背景技术
脑机接口(brain-computer/machine interface, BCI/BMI)是人脑和计算机或其他外部设备之间建立一条全新的非生物性的信息传输通道(不依赖于常规的脊髓/外周神经肌肉系统),并通过它对外进行信息交流或环境控制。它提供了一种有别于传统的视觉、听觉等通道的交互手段,大大扩展人们与外界交流信息、控制系统的能力。
BCI的研究在全球范围内已取得阶段性突破进展,若干类型的BCI实验的准确率已经相当高(如P300、SSVEP、Mu波等);设备方面各种可穿戴式的EEG设备已进入市场,如g.tec的g.Natilus、BrainProducts的LiveAmp和Emotive的EPOC+等。因此,BCI的实用化已经提上了日程。一些著名的研究机构如Wadsworth中心、Graz技术大学等正努力推进BCI在医疗康复、娱乐和教育等领域的应用。
增强现实(Augmented Reality,简称AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术最早于1990年提出。随着随身电子产品运算能力的提升,增强现实可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。
在视觉化的增强现实中,用户利用头盔显示器,把真实世界与电脑图形多重合成在一起,便可以看到真实的世界围绕着它。交互操作是增强现实的核心应用和终极目标。
现有的可用于增强现实的交互方法主要有以下几种。
(1)手势交互,例如微软公司的HoloLens。该方式的主要思想是用户通过手势来对虚拟项目进行交互操作。其优点在于手势是最直接、最本能的操作方法,是用户与目标进行互动的本能自然行为,可完成对目标的各种预期操作。缺点是当前设备存在可识别的手势有限、无法准确定位拟操作的目标等问题。同时,在一些特殊的应用场景中,如手功能缺失的残疾人、无法腾出手来的作战士兵等都难以自如地对兴趣目标进行操作。
(2)语音交互,例如索尼公司的公开号为CN103918284A、发明名称为“语音控制装置、语音控制方法和程序”的发明专利申请。该方式的主要思想是针对增强现实中的交互项目,通过用户的语音识别来进行选择和确认。其优点在于可解放双手,便捷交互;缺点是语音在嘈杂环境的识别率低下;公共场所人多而杂,使用语音交互可能涉及到个人隐私问题;语音命令识别率等。
(3)眼动交互,例如英特尔公司的公开号为CN104395857A、发明名称为“显示器的部分的基于眼球追踪的选择性强调”的发明专利申请。该方式的主要思想是利用眼球的转动、眨眼等动作,对目标进行选择和确认。其优点在于解放双手,具有隐秘性。缺点是难以区分实际操作指令与无目的性的眼动,频繁操作会对用户的用眼习惯造成影响。
发明内容
本实用新型的目的在于提供应用于增强现实的脑机接口穿戴系统,可通过视觉相关脑电和头皮肌电进行系统控制,解决增强现实中交互方式存在的问题,具有较好的控制准确性、隐秘性和便捷性。
本实用新型通过如下技术方案实现。
一种脑机交互穿戴系统,包括
脑电肌电采集装置,其能够采集使用者的脑电和肌电信号数据;
界面显示应用装置,其能够向使用者输出用户界面的显示;和
数据处理装置,其能够对所述脑电和肌电信号数据进行聚合,基于所述信号数据确定使用者的操作输入,并基于所述操作输入确定向使用者显示的内容;所述脑电肌电采集装置、所述界面显示应用装置分别与所述数据处理装置相连。
优选地,该系统为可穿戴式头箍眼镜式设计,所述脑电肌电采集装置包括分布于头箍上的电极和直流耦合式模拟前端。
优选地,所述的电极为体表电极或绝缘干电极;所述的直流耦合式模拟前端包括低增益直流放大模块和模数转换模块。
优选地,所述界面显示应用装置是增强现实应用装置,所述增强现实应用装置包括透视式镜片显示器、摄像头。
优选地,透视式镜片显示器和摄像头分别与所述数据处理装置连接。
优选地,所述数据处理装置包括脑电肌电信号处理模块、交互动态控制模块、增强信息知识库和视频融合模块。
优选地,所述基于所述信号数据确定使用者的操作输入包括关注目标的识别,以及目标菜单选项的选择。
优选地,所述的关注目标的识别通过SSVEP范式来完成,所述系统以不同频率和刺激方式呈现视野范围内的对象和元素,通过脑电信号识别出用户关注的目标。
优选地,所述SSVEP范式的刺激方式包括轮廓闪烁、标识闪烁和/或动态圆环标识;所述SSVEP范式的刺激方式均以不同的频率进行编码。
优选地,所述的目标菜单选项的选择通过舌动和咬齿产生的肌电来完成,系统根据不同模式的肌电信号将识别的菜单选择选择结果突出显示。
通过以上技术方案,本实用新型能够取得如下技术效果。
(1)利用成熟的视觉脑电信号进行关注目标的识别,头皮肌电信号进行菜单选项的选择操作,为增强现实提供了有效可靠的交互方式,具有准确性、隐秘性和便捷性。
(2)一体化穿戴式设计,系统佩戴方便,更易为用户所接受。
(3)上述交互方式的优点和穿戴式设计可使系统应用于多种特殊的应用场景,如残疾人用户、军事、工程、娱乐等领域,具有巨大的市场价值。
附图说明
图1 是本实用新型的结构示意图。
图2是本实用新型的系统框架图。
图3是交互动态控制模块的处理任务。
图4是用户对实物对象和虚拟元素的交互。
图5是SSVEP范式的建立和实现要点。
图6是视觉刺激方式。
图7是肌电信号编码模式。
图8是本实用新型脑机接口穿戴系统的交互流程图。
具体实施方式
如图1所示,本实用新型的脑机交互穿戴系统为可穿戴式头箍眼镜式设计,它包括脑电肌电采集模块、增强现实应用模块和数据处理芯片;其中,脑电肌电采集模块、增强现实应用模块分别与数据处理芯片相连。
如图2所示,系统各部分包含的模块和相应功能如下:
脑电肌电采集模块由电极和直流耦合式模拟前端组成。其中电极可选用常规的体表电极(需导电膏)或绝缘干电极,位置覆盖头皮视觉区域、前额及两侧区域。直流耦合式模拟前端包括低增益直流放大模块和模数转换模块。低增益直流放大模块能够对原始电信号进行直流放大,模数转换模块能够将放大的模拟信号转换为数字信号。
增强现实应用模块包括透视式镜片显示器、两个摄像头。其中,透视式镜片显示器用于显示虚拟场景和现实场景的融合信息,两个摄像头用于采集现实场景的视频信息,二者分别与数据处理芯片连接。
数据处理芯片包含脑电肌电信号处理模块、交互动态控制模块、增强信息知识库和视频融合模块。脑电肌电信号处理模块先对脑电肌电采集模块传输来的数字信号进行滤波等信号处理,再对处理后的脑电信号进行SSVEP分析处理,结果反馈至交互动态控制模块;交互动态控制模块进行三组处理任务:一是接收来自摄像头的视频信息,对视频数据进行识别,从增强信息知识库中查询并取出与视频数据对应的知识信息和菜单选项,将数据结果发送至视频融合模块;二是建立虚拟元素和现实对象的SSVEP范式场景刺激;三是接收来自脑电肌电信号处理模块的数据结果,进行用户对关注目标的识别和菜单选项的选择,输出的结果用于增强信息知识库的信息再调取和视频融合模块的再显示。交互动态控制模块的处理任务如图3所示。增强信息知识库包含与现实对象相关的在实物对象上添加的可以进行选择的有意义的增强信息单元,如电视机的控制界面、菜单(选择后可以进入下一级菜单)、按钮(选择后可以执行相应的命令)、字母和数字(选择后可以将其作为参数输入,实现文字输入功能)。视频融合模块用于将收到的增强信息融合到现实对象中,并在透视室镜片显示器上生成显示。
如图4所示,用户对实物对象和虚拟元素的交互包括两部分,分别为关注目标的识别和目标菜单选项的选择。关注目标的识别通过SSVEP范式来完成,即系统以不同频率呈现视野范围内的对象和元素,通过脑电信号识别出用户关注的目标;目标菜单选项的选择通过舌动和咬齿产生的肌电来完成,即系统根据不同模式的肌电信号将识别的菜单选项选择结果高亮显示。
如图5所示,用以实现关注目标识别的SSVEP范式的具体建立和实现要点如下:
1)进入目标识别状态——当系统无任务或进入新的场景,并完成目标建模时,即进入目标识别状态。交互动态控制模块确认进入目标识别状态后,则进行SSVEP范式的建立。
2)SSVEP范式的建立包含刺激方式和编码方式两个参数。
刺激方式——刺激方式如图6所示,可以通过以下几种方式进行刺激:
a)轮廓闪烁:视野场景中的对象的轮廓闪烁,对用户产生视觉刺激;
b)标识闪烁:在视野场景中的对象的右上角(或其他位置)设置方形的标识,以该标识代表对象和元素,通过其闪烁对用户产生视觉刺激;
c)动态圆环标识:在视野场景中的对象的右上角(或其他位置)设置动态圆环标识,以该标识代表对象和元素,通过圆环外扩的动态变化来对用户产生视觉刺激;
编码方式——上述刺激方式均以不同的频率进行编码;
3)退出目标识别状态——系统完成关注目标的识别后,停止目标对用户的视觉刺激,退出目标识别状态,进行目标菜单选项的选择交互。
如图7所示,不同模式的肌电信号编码分别为由以下动作参数的不同而产生:
1)咬齿涉及的动作参数:方向、次数、力量、时间。
其中,方向可分左、右;次数可为一次、连续二次等;力量可为轻、用力等;时间可为持续1秒、2秒等。
举例:肌电信号模式1可为左侧轻咬齿一次,持续0.5s;肌电信号模式2可为左侧用力咬齿一次,持续0.5s,等等。
2)舌动肌电主要产生于抵住的动作,所涉及的动作参数:方向、力量和时间。
其中,方向可分为上、下、左、右;力量可分为轻、用力等;时间可为持续1秒、2秒等。
举例:肌电信号模式1可为舌尖向上轻轻抵住口腔1秒;肌电信号模式2可为舌尖向下轻轻抵住口腔1秒,等等。
如图8所示,根据本实用新型的应用于增强现实的脑机接口穿戴系统的交互过程包括如下步骤:
步骤一、增强现实应用模块的摄像头采集视区数据,传输给数据处理芯片;
步骤二、数据处理芯片中的交互动态控制模块根据对视频数据进行识别,从增强信息知识库中查询并取出与视频数据对应的知识信息;
步骤三、数据处理芯片中的视频融合模块将视频数据与取出的知识信息融合映射在透视式镜片显示器中;
步骤四、交互动态控制模块建立虚拟元素和现实对象的SSVEP范式场景刺激,通过视频融合模块显示在透视式镜片显示器中;
步骤五、脑电肌电信号处理模块采集脑电肌电信号,传输至数据处理芯片;
步骤六、数据处理芯片中的脑电肌电信号处理模块对脑电肌电采集模块传输来到的数字信号进行滤波等信号处理,再对处理后的脑电信号进行SSVEP分析处理,结果反馈至交互动态控制模块;
步骤七、交互动态控制模块根据脑电信号识别出用户关注的虚拟元素或现实对象,根据识别结果调取增强信息知识库中的菜单选项,通过视频融合模块显示在透视式镜片显示器上;
步骤八、交互动态控制模块根据肌电信号识别出用户对目标的菜单选项进行的选择操作,根据选择显示相应的信息或进行下一步交互。
步骤九、重复上述步骤进行交互系统操作。
本实用新型结合脑机接口和增强现实的技术,利用脑机接口的技术手段来实现增强现实中的交互,设计并实现一套完整的BCI穿戴系统,来应用于增强现实环境。本实用新型系统的具体应用领域可涉及军事、医疗、建筑、教育、工程、影视、娱乐等。
Claims (10)
1.一种脑机交互穿戴系统,包括
脑电肌电采集装置,其能够采集使用者的脑电和肌电信号数据;
界面显示应用装置,其能够向使用者输出用户界面的显示;和
数据处理装置,其能够对所述脑电和肌电信号数据进行聚合,基于所述信号数据确定使用者的操作输入,并基于所述操作输入确定向使用者显示的内容;所述脑电肌电采集装置、所述界面显示应用装置分别与所述数据处理装置相连。
2.根据权利要求1所述的脑机交互穿戴系统,其特征在于,该系统为可穿戴式头箍眼镜式设计,所述脑电肌电采集装置包括分布于头箍上的电极和直流耦合式模拟前端。
3.根据权利要求2所述的脑机交互穿戴系统,其特征在于,所述的电极为体表电极或绝缘干电极;所述的直流耦合式模拟前端包括低增益直流放大模块和模数转换模块。
4.根据权利要求1所述的脑机交互穿戴系统,其特征在于,所述界面显示应用装置是增强现实应用装置,所述增强现实应用装置包括透视式镜片显示器、摄像头。
5.根据权利要求4所述的脑机交互穿戴系统,其特征在于,透视式镜片显示器和摄像头分别与所述数据处理装置连接。
6.根据权利要求1所述的脑机交互穿戴系统,其特征在于,所述数据处理装置包括脑电肌电信号处理模块、交互动态控制模块、增强信息知识库和视频融合模块。
7.根据权利要求1所述的脑机交互穿戴系统,其特征在于,所述基于所述信号数据确定使用者的操作输入包括关注目标的识别,以及目标菜单选项的选择。
8.根据权利要求7所述的脑机交互穿戴系统,其特征在于,所述的关注目标的识别通过SSVEP范式来完成,所述系统以不同频率和刺激方式呈现视野范围内的对象和元素,通过脑电信号识别出用户关注的目标。
9.根据权利要求8所述的脑机交互穿戴系统,其特征在于,所述SSVEP范式的刺激方式包括轮廓闪烁、标识闪烁和/或动态圆环标识;所述SSVEP范式的刺激方式均以不同的频率进行编码。
10.根据权利要求7所述的脑机交互穿戴系统,其特征在于,所述的目标菜单选项的选择通过舌动和咬齿产生的肌电来完成,系统根据不同模式的肌电信号将识别的菜单选择选择结果突出显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201621016682.6U CN206162388U (zh) | 2016-08-31 | 2016-08-31 | 一种脑机交互穿戴系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201621016682.6U CN206162388U (zh) | 2016-08-31 | 2016-08-31 | 一种脑机交互穿戴系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN206162388U true CN206162388U (zh) | 2017-05-10 |
Family
ID=58650022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201621016682.6U Active CN206162388U (zh) | 2016-08-31 | 2016-08-31 | 一种脑机交互穿戴系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN206162388U (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106227354A (zh) * | 2016-08-31 | 2016-12-14 | 博睿康科技(常州)股份有限公司 | 一种脑机交互穿戴系统 |
CN107340863A (zh) * | 2017-06-29 | 2017-11-10 | 华南理工大学 | 一种基于emg的交互方法 |
CN107519622A (zh) * | 2017-08-21 | 2017-12-29 | 南通大学 | 基于虚拟现实与眼动追踪的空间认知康复训练系统和方法 |
CN110638445A (zh) * | 2019-09-16 | 2020-01-03 | 昆明理工大学 | 一种基于ssvep的少通道脑电信号采集装置 |
US10838496B2 (en) | 2017-06-29 | 2020-11-17 | South China University Of Technology | Human-machine interaction method based on visual stimulation |
JPWO2019073603A1 (ja) * | 2017-10-13 | 2020-11-19 | マクセル株式会社 | 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステム、プロジェクタシステムおよび視覚刺激信号の表示方法 |
-
2016
- 2016-08-31 CN CN201621016682.6U patent/CN206162388U/zh active Active
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106227354A (zh) * | 2016-08-31 | 2016-12-14 | 博睿康科技(常州)股份有限公司 | 一种脑机交互穿戴系统 |
CN107340863A (zh) * | 2017-06-29 | 2017-11-10 | 华南理工大学 | 一种基于emg的交互方法 |
CN107340863B (zh) * | 2017-06-29 | 2019-12-03 | 华南理工大学 | 一种基于emg的交互方法 |
US10838496B2 (en) | 2017-06-29 | 2020-11-17 | South China University Of Technology | Human-machine interaction method based on visual stimulation |
CN107519622A (zh) * | 2017-08-21 | 2017-12-29 | 南通大学 | 基于虚拟现实与眼动追踪的空间认知康复训练系统和方法 |
JPWO2019073603A1 (ja) * | 2017-10-13 | 2020-11-19 | マクセル株式会社 | 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステム、プロジェクタシステムおよび視覚刺激信号の表示方法 |
JP7101696B2 (ja) | 2017-10-13 | 2022-07-15 | マクセル株式会社 | 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステムおよびプロジェクタシステム |
JP7367132B2 (ja) | 2017-10-13 | 2023-10-23 | マクセル株式会社 | 脳波インタフェース装置 |
CN110638445A (zh) * | 2019-09-16 | 2020-01-03 | 昆明理工大学 | 一种基于ssvep的少通道脑电信号采集装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN206162388U (zh) | 一种脑机交互穿戴系统 | |
CN106339091A (zh) | 一种基于脑机接口穿戴系统的增强现实交互方法 | |
CN106227354A (zh) | 一种脑机交互穿戴系统 | |
Li et al. | An EEG-based BCI system for 2-D cursor control by combining Mu/Beta rhythm and P300 potential | |
CN101201696B (zh) | 基于p300脑电电位的中文输入bci系统 | |
CN104799984B (zh) | 基于脑控移动眼的残疾人辅助系统及其控制方法 | |
CN110534180B (zh) | 深度学习人机互适应运动想象脑机接口系统和训练方法 | |
CN212112406U (zh) | 一种基于用户eog信号和头部姿态的驱动装置 | |
CN111110982A (zh) | 基于运动想象的手部康复训练方法 | |
CN110688910B (zh) | 一种可穿戴人体基本姿态识别的实现方法 | |
CN106264520A (zh) | 一种神经反馈运动训练系统及方法 | |
CN106491251B (zh) | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 | |
CN109276808A (zh) | 基于视频运动捕捉的多模态脑卒中上肢康复训练系统 | |
CN105962935A (zh) | 用于运动学习功能改善的脑电神经反馈训练系统及其方法 | |
Hu et al. | StereoPilot: A wearable target location system for blind and visually impaired using spatial audio rendering | |
CN108897418A (zh) | 一种穿戴式脑-机接口装置、人机交互系统及方法 | |
Achanccaray et al. | Visual-electrotactile stimulation feedback to improve immersive brain-computer interface based on hand motor imagery | |
Korik et al. | Decoding imagined 3D arm movement trajectories from EEG to control two virtual arms—a pilot study | |
Zhang et al. | Study on robot grasping system of SSVEP-BCI based on augmented reality stimulus | |
CN114003129B (zh) | 一种基于非侵入式脑机接口的意念控制虚实融合反馈方法 | |
Edlinger et al. | A hybrid brain-computer interface for improving the usability of a smart home control | |
CN104238756B (zh) | 一种信息处理方法及电子设备 | |
CN113359991A (zh) | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 | |
CN108319367A (zh) | 一种脑机接口方法 | |
CN206147520U (zh) | 一种用于基于运动想象和p300相结合的脑机接口控制虚拟现实的数据采集装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant |