CN101571748A - 一种基于增强现实的脑机交互系统 - Google Patents
一种基于增强现实的脑机交互系统 Download PDFInfo
- Publication number
- CN101571748A CN101571748A CNA200910099274XA CN200910099274A CN101571748A CN 101571748 A CN101571748 A CN 101571748A CN A200910099274X A CNA200910099274X A CN A200910099274XA CN 200910099274 A CN200910099274 A CN 200910099274A CN 101571748 A CN101571748 A CN 101571748A
- Authority
- CN
- China
- Prior art keywords
- bci
- brain
- module
- interactive system
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 42
- 210000004556 brain Anatomy 0.000 claims description 53
- 230000005611 electricity Effects 0.000 claims description 30
- 230000003190 augmentative effect Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 230000003750 conditioning effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 25
- 230000003993 interaction Effects 0.000 abstract description 25
- 238000000034 method Methods 0.000 abstract description 22
- 238000011160 research Methods 0.000 abstract description 20
- 230000008569 process Effects 0.000 abstract description 14
- 238000004891 communication Methods 0.000 abstract description 4
- 230000009471 action Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004378 air conditioning Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000000763 evoking effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于增强现实的脑机交互系统，将可穿戴式BCI用于增强现实环境，并通过人机交互技术优化性能和效率。结合无线通信技术，开发可穿戴式BCI系统；创建一个融合真实世界和虚拟现实的增强现实环境，将可穿戴式BCI用于该环境，设计各类BCI提供所需的诱发、刺激、提示功能和应用操作的虚拟界面，将虚拟环境融合到外界的真实环境中，实现BCI的精确控制；同时将各类EEG信号整合到一个BCI系统中，研究在执行任务过程中各类信号的切换与协作关系；进一步研究BCI在增强现实环境中人机交互技术，将BCI输出与人机界面范式结合，使交互得到优化，提高系统性能和效率。通过上述研究为BCI在真实环境中的应用奠定一部分基础。
Description
技术领域
本发明涉及计算机科学增强现实交互技术和生物医学工程脑机接口技术的交叉领域，尤其涉及一种基于增强现实的脑机交互方法。
技术背景
脑-机接口(brain-computer/machine interface，BCI/BMI)是人脑和计算机或其他外部设备之间建立一条全新的非生物性的信息传输通道(不依赖于常规的脊髓/外周神经肌肉系统)，并通过它对外进行信息交流或环境控制。该技术又称为脑-机交互(brain-computer/machine interaction)，兴起于上世纪九十年代，是一个多学科交叉、综合的研究方向，涉及生物、信息、生命科学、神经生物、计算机、材料、医学、心理学和微电子等众多科学分支，是当前国际上的前沿研究热点之一。脑-机接口的研究对带动诸多相关学科的发展有重要的促进作用，基于脑-机接口的系统在医疗康复方面有着广泛的应用前景。从人机交互的角度来看，脑-机接口是一种特殊的人机交互通道，它提供了一种有别于传统的视觉、听觉等通道的交互手段，大大扩展人们与外界交流信息、控制系统的能力，可能引发大脑与外界交互手段的技术性革命，打破传统的交互手段，为人们展现“让思想控制行动”的世界。
BCI系统可以分为非植入式采集和植入式采集(将电极埋入头皮以内的大脑区域采集信号)两大类。目前大多数的BCI系统使用非植入式的头皮脑电(EEG)信号作为输入。EEG信号又可以分为自发脑电和诱发脑电两种，自发脑电是用户(使用者)通过想象某些特定的任务(如想象左手运动、加法运算等)引起大脑产生特定模式的脑电信号用作BCI系统的输入；诱发脑电则是通过外界的刺激诱发大脑做出反应而产生具有特定模式的脑电信号，诱发脑电又以事件相关电位(Event Related Potentials，ERPs)，特别是P300电位的研究最多，P300电位是指在目标刺激事件出现后约300～800ms间的一个正波成分。(文中若无特别指明，所提的BCI均指基于EEG的BCI。)
目前，全球范围内BCI技术的研究仍处于起步阶段，正方兴未艾。奥地利Graz技术大学、美国纽约州立大学的Wadsworth中心等几个研究机构在基于EEG的非植入式BCI研究中成果突出。国内研究BCI技术的团队不多，清华大学、西安交通大学、天津大学、浙江大学以及中南民族大学等学校开展了基于EEG的BCI技术研究。清华大学高上凯教授的研究小组是国内最早开展这方面工作的团队，他们在EEG信号处理的算法研究成果得到国际学术界的公认，完成了基于ssVEP(稳态视觉诱发电位)的数字拨号以及基于动作想象的机器狗控制等系统。浙江大学郑筱祥教授领导的团队开展了基于P300电位的BCI系统研究，实现了虚拟中文键盘系统。山东科技大学的苏学成教授和浙江大学的郑筱祥教授还开展植入式BCI的研究，各自完成了遥控生物机器人系统，浙江大学还实现了的信号同步采集功能。
BCI的研究在现阶段取得了重要的突破性进展，若干类型的BCI实验的准确率已经相当高(如P300、ssVEP、Mu波等)，因此BCI的实用化已经提上了日程。一些著名的研究机构如Wadsworth中心、Graz技术大学等正努力推进BCI在医疗康复、娱乐和教育等领域的应用。
用BCI技术可以开发免提(hands-free)、直观(intuitive)、以人为中心(human-centric)的用户界面。但是，要使BCI在真实世界环境中真正推广应用，还有一些问题需要解决，如果BCI脱离实验室环境，在真实环境中还面临着错误率高、速率低、响应慢、便携性和可用性差等问题。总的来说，解决上述问题主要从BCI设备、BCI使用环境模式和交互技术等方面考虑。
在BCI设备方面，小型化、便携式、无线移动、可穿戴式是当前的发展趋势。现有的很多BCI系统大都需要计算机的支持，妨碍了BCI系统的可穿戴、便携性和实际应用。用具有实时信号处理功能的嵌入式系统取代计算机，可以实现BCI系统的便携化和移动性，更切合实际应用。例如，台湾交通大学开发了移动无线BCI设备；比利时鲁汶天主教大学开发了用体温供能的无线可穿戴式EEG设备；清华大学也开展了低功耗无线BCI的研究。
要将可穿戴式BCI用于真实世界，难点在于必须在日常活动中不断变化的环境中精确触发BCI。因为触发BCI时要经大脑模式表示和匹配，问题在于真实世界环境(移动性)与实验环境是有差别的。大多数实验是在实验室里面对着计算机屏幕完成的，所有实验变量都是可控的。当BCI暴露在真实世界的移动环境中(如户外没有计算机屏幕，可能由PDA取而代之)，实验室里那种情境就难以重现。
虚拟现实(Virtual Reality，VR)为提高BCI的准确率提供了一条有效的途径，VR提供了一类用户界面，能够产生三维立体图形的“真实的”人工(虚拟)环境。用户能够将自己沉浸在虚拟世界，从而与外部世界隔绝。这种沉浸感保证了实验对象专注训练，使精神集中于要求完成的心智任务上(mentaltask)。对于诱发脑电(如P300)的BCI来说，VR同样可以为BCI提供各种诱发条件，还可以借助VR设计实验，从而找到更有效且不容易疲劳的时间、空间诱发模式。此外，操作虚拟物体比操作实体更方便、安全，训练效果可能更好。近年来，国际上出现了将虚拟现实与BCI结合进行研究趋势，奥地利Graz技术大学实现了使用BCI在虚拟场景(虚拟街道、虚拟酒吧)中的漫游和交互等功能；美国的Rochester大学实现了基于P300的虚拟公寓(virtual apartment)、虚拟驾驶(virtual driving)等系统。
可以看出，使用虚拟现实可以明显提高模式匹配精度。如果BCI应用运行在虚拟现实环境(如游戏、虚拟世界等)中，该方法很有效。但把BCI应用于相似的真实生活场景中，错误率会急剧增加。因此，这种可穿戴式移动BCI不可能辅助我们的日常活动，因为虚拟现实世界是孤立于真实世界的。
增强现实(Augmented Reality，AR)技术提供了解决上述问题的手段，AR对真实世界和虚拟现实进行了融合，对于在真实世界中实现各种辅助应用提供了一个很好的操作平台。对于BCI技术来说，AR既可以提供各类BCI所需的诱发、刺激、提示功能和应用操作的虚拟界面，又能将这些虚拟的系统环境融合到外界的真实环境中去。这对于突破传统BCI技术研究所依赖的实验室环境，帮助BCI进入日常应用具有重要价值。实用BCI所遇到的日常环境对用户心理意识的影响问题、环境电磁对EEG信号的干扰问题、EEG信号的时间演变问题等都可以在AR中进行研究。而AR的使用同样克服了传统虚拟现实(VR)所使用的纯虚拟环境的限制。欧盟在2005年投入了一项名为Presencia的计划，目的是理解和探索在增强的现场感(enhancement of presence)和混合及虚拟现实的交互(interaction in mixed and virtual reality)这两个情况下大脑的机制；Navarro和Lawson等提出将可穿戴式无线(移动)BCI用于增强现实环境进行研究，将BCI与增强现实显示器结合起来作为用户的交互工具。这些工作对于BCI的实用化具有重要意义。
由于现实环境的复杂性和任务的多样性，有必要考虑不同EEG信号(如P300、ssVEP、Mu波、SCP等)的整合、切换与协作问题。根据EEG信号来源的不同，BCI可有多种类型，不同类型的BCI具有不同的操作特点、信息传输速率和思维指令检测正确率。目前绝大多数BCI系统都是基于某一种类型的EEG信号，如果能将不同类型的基于EEG的BCI应用整合到同一BCI系统中，则可以取长补短，拓展同一系统的应用领域。由于AR在用户感受环境的构造方面具有极大的便利，因而可以同时完成P300、动作想象和更多类型的BCI所需的刺激、诱发和反馈，并能够通过对用户所处真实环境的分析进行自动切换。例如用户可以通过alpha节律调控的方式控制轮椅运动，由AR提供辅助导航，而需要与人交流时则启动P300界面进行文字输入。
大多现有的BCI系统主要用于训练和演示，所以较少应用人机交互(HCI)技术。人机交互注重从用户使用的角度设计、评价和实现交互式系统，同时充分考虑周围现象和环境因素。人机交互更多关注人的因素或特性，如知识、技能、经验、教育、培训、生理特征和运动感觉能力等，通过将已知和经过验证的技术用于人机界面，有助于降低故障率。该技术能够弥补BCI系统的一些不可避免的内在不足。在当前BCI还不够成熟，稳定性和可靠性有待提高的情况下，更应强调人机交互技术的重要性，尤其是面向残疾人用户的人机交互技术。美国乔治亚州立大学在通过创新和改进人机交互方法，使BCI在真实世界中实现有效的控制等方面做了不少有益的尝试。
BCI技术的发展给我们带来了无限的遐想，也为神经康复带来了新的希望。世界已经步入了无处不在的计算即普适计算(ubiquitous/pervasivecomputing)时代，用BCI技术可以开发免提(hands-free)、直观(intuitive)、以人为中心(human-centric)的用户界面，正好迎合了这个时代的要求。近年来的研究使某些BCI实验(特别是在虚拟现实环境中)已达到相当高的精确度，BCI技术的实用化也提上了日程。但真实环境中BCI在准确率、响应速度、便携性和可用性差等问题还有待解决。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于增强现实的脑机交互系统。
本发明的目的是通过以下技术方案来实现的：一种脑机交互系统，它包括脑电采集和无线传输模块、增强现实环境模块、脑电信号处理模块；其中，脑电采集和无线传输模块、增强现实环境模块分别与脑电信号处理模块相连。
进一步地，所述脑电采集和无线传输模块由电极、EEG信号放大器、信号调理电路、AD转换器和无线传输模块依次连接组成。其中，所述电极可以选用常规的体表电极或绝缘干电极；所述EEG信号放大器包括前置放大器、隔离放大器和放大倍数可调的放大器；所述无线模块可采用蓝牙或Zigbee模块。
进一步地，所述增强现实系统模块包括透视式头盔显示器，两个摄像头，计算机，脑电交互动态生成模块，增强信息知识库和视频融合模块。其中，计算机可以采用便携式笔记本。透视式头盔显示器和两个摄像头分别与计算机相连，脑电交互动态生成模块，增强信息知识库和视频融合模块装在计算机内。
本发明的有益效果是，本发明将可穿戴式BCI用于增强现实环境，并通过人机交互技术优化性能和效率，为BCI在真实环境中的应用奠定基础。
附图说明
图1为本发明的系统框架图；
图2为脑电交互界面结构框图；
图3为P300诱发界面框图；
图4为ssVEP诱发界面框图；
图5为动作想象界面框图；
图6为动作想象二分法选择示意图；
图7为文字输入界面框图；
图8为增强现实系统框图；
图9为增强信息知识库框图；
图10为交互界面动态生成示意图。
具体实施方式
本发明将可穿戴式BCI用于增强现实环境，并通过人机交互技术优化性能和效率。结合无线通信技术，开发可穿戴式BCI系统；创建一个融合真实世界和虚拟现实的增强现实环境，将可穿戴式BCI用于该环境，设计各类BCI提供所需的诱发、刺激、提示功能和应用操作的虚拟界面，将虚拟环境融合到外界的真实环境中，实现BCI的精确控制；同时将各类EEG信号(如P300、ssVEP、Mu波等)整合到一个BCI系统中，研究在执行任务过程中各类信号的切换与协作关系；进一步研究BCI在增强现实环境中人机交互技术，将BCI输出与人机界面范式结合，使交互得到优化，提高系统性能和效率。通过上述研究为BCI在真实环境中的应用奠定一部分基础。
下面根据附图详细描述本发明，本发明的目的和效果将变得更加明显。
如图1所示，本发明的脑机交互系统包括脑电采集和无线传输模块、增强现实环境模块和脑电信号处理模块，其中，脑电采集和无线传输模块、增强现实环境模块分别与脑电信号处理模块相连。
脑电采集和无线传输模块由电极、EEG信号放大器、信号调理电路、AD转换器和无线传输模块依次连接组成。其中，电极可以选用常规的体表电极(需导电膏)或绝缘干电极。EEG信号放大器包括前置放大器(放大倍数100)、隔离放大器和放大倍数可调的放大器(放大倍数10-50)。信号调理电路主要是一个带通滤波器(频率范围1-100Hz)和一个50Hz陷波器，这里滤波器的频率范围也可以根据具体的EEG信号进行重新设定。AD转换器可以使用单片机系统进行控制，采样频率200Hz-400Hz，4-8通道，AD分辨率为8位以上。无线模块可采用蓝牙或Zigbee模块(可以与单片机系统的UART或USB接口相连)，这两种无线通信技术功耗相对较低且传输速率能够满足脑电采集的要求。在数据无线传输之前还可以进行数据的部分压缩，进一步降低无线传输功耗。
脑电交互的对象包括实物对象和虚拟元素。其中实物对象是指在视野中出现的实物，如空调，电视机，电脑等一切在物理世界中存在的物体；其中虚拟元素是指在实物对象上添加的可以进行选择的有意义的增强信息单元，如空调控制界面，菜单(选择后可以进入下一级菜单)，按钮(选择后可以执行相应的命令)，字母和数字(选择后可以将其作为参数输入，实现文字输入功能)。
交互的界面和方法是基于选择的。其中选择是指从实物对象或虚拟元素全集中获取或标识出特定的对象或元素。实物对象和虚拟元素都可以被选择。所有离散的分步控制都可以通过基于选择的方式进行。
脑电交互界面的触发采用异步控制方式。当用户试图进入交互界面时，先调制脑电中alpha波成分。系统检测到alpha波成分比正常情况下多时，触发脑电交互界面。如图2～5所示，脑电交互界面包括P300界面、ssVEP界面和动作想象界面三种类型
脑电选择界面是动态生成的，交互界面中的实物对象随着用户位置改变而发生变化，虚拟元素也发生变化，脑机交互方式也发生变化，同时所有交互操作可以采用基于选择的方式进行。脑电交互界面动态生成模块完成这一功能。
脑电交互界面动态生成模块实时检测用户视野中的标记，确定实物对象集合，用以绘制选择实物对象的脑电交互界面，选择实物对象。
实物选择后，脑电交互界面动态生成模块继续生成与实物相关的脑电交互界面。界面生成过程中，需要考虑用户疲劳度，界面的历史效率，任务特性，用户习惯。
如图3所示，P300选择界面中，系统检测当前视野中的所有对象，这些对象随机循环闪烁作为隐喻提示用户以该种方式进行交互。选择实物时，随机循环高亮实物上的标记(增强现实注册标记)，用户注视目标对象，当目标对象闪烁时进行心理暗示，以触发脑电P300成分，该过程重复，直至完成一次选择。选择增强信息元素时，视野中的增强信息元素随机循环闪烁，用户注视目标元素，当目标元素闪烁时进行心理暗示，以触发脑电P300成分，该过程重复，直至完成一次选择。
如图4所示，ssVEP选择界面中，系统检测当前视野中的所有实物对象，这些对象同时以不同频率闪烁作为隐喻提示用户以该种方式进行交互。增强信息元素以不同频率闪烁，用户注视目标元素，触发脑电ssVEP成分，直至脑电处理程序选择目标元素。
如图5所示，动作想象选择界面中，系统检测当前视野中的所有对象，并在处于视野中心的对象上显示虚拟手型鼠标，作为隐喻提示用户以该种方式进行交互。在后续的选择过程中，采用了二分法的思想和事件错误相关电位。用户想象左手动，则虚拟手型鼠标移动到处于视野左边中心(或增强信息界面左边中心)的对象上，用户想象右手动，则虚拟手型鼠标移动到处于视野右边中心(或增强信息界面左边中心)的对象上，如此以二分法的形式进入下一级选择，直至最后只剩下一个物体，则该物体被选中。动作想象过程中还将检测事件错误相关电位，当事件错误相关电位被检测到时，认为脑电分类错误，自动更正鼠标的位置，鼠标退回上一级选择并向相反的方向移动。当检测到想象双脚动时，鼠标退回上一级选择。最后当视野中的对象在空间上不可二分时，则该用其他脑电交互界面动态生成模块进行交互。
如图7所示，上述脑电选择界面中的P300界面还用于文字输入，并通过文字实现精确的交互，如输入空调预设温度。虚拟字符元素随机循环闪烁作为隐喻提示用户以该种方式进行交互。用户注视目标字符，当目标字符闪烁时进行心理暗示，以触发脑电P300成分，该过程重复，直至完成一次选择。
如图8所示，增强现实系统模块包括透视式头盔显示器，两个摄像头，计算机，脑电交互动态生成模块，增强信息知识库，视频融合模块。计算机可以采用便携式笔记本。透视式头盔显示器和两个摄像头分别与计算机相连，脑电交互动态生成模块，增强信息知识库，视频融合模块装在计算机内。增强现实系统模块使用两个摄像头实现视频采集，使用透视式头盔显示器进行观察，使用便携式笔记本存储增强信息知识库并实现视频融合的移动计算，使用有标记的方法进行注册定位。在脑电交互过程中，脑电交互界面是动态生成的，交互界面中的实物对象随着用户位置改变而发生变化，虚拟元素也发生变化，脑机交互方式(P300、ssVEP和动作想象)也发生变化。脑电交互界面动态生成模块完成这一功能，过程如图10所示：系统实时检测用户视野中的标记确定实物对象集合，用以绘制选择实物对象的脑电交互界面，实物选择后，与实物相关的交互界面相继触发。这些界面的生成需考虑以下参数：用户疲劳度(当前类型的交互界面等已使用多长时间)，该界面的历史效率，任务特性(减少交互的选择次数，选择类别较少时使用动作想象，较多时选择P300和ssVEP)，用户习惯。
如图9所示，系统的增强信息知识库包含增强现实有标记注册数据库，与实物对象对应的交互界面知识库，用户交互历史数据库。本发明采用有标记的发放进行注册定位，所以需事先在场景中实物对象上进行标记，并在有标记注册数据库中形成一一对应的关系。标记具有唯一性，能通过图像匹配技术检测到实物对象。不同的实物对象对应不同的交互界面。实物对象交互界面知识库存储与实物对象对应的交互界面信息。如对空调而言，交互界面信息包括开启电源、设置温度、关闭电源等。用户交互历史记录数据库记录用户增强现实系统交互的过程，包括交互的实物对象，与之对应的交互过程(包含用户与该实物对象交互的操作过程和操作习惯)，每一级交互界面的耗时，与交互过程对应的脑电信号数据。
Claims (6)
1、一种脑机交互系统，其特征在于，它包括脑电采集和无线传输模块、增强现实环境模块、脑电信号处理模块。其中，脑电采集和无线传输模块、增强现实环境模块分别与脑电信号处理模块相连。
2、根据权利要求1所述脑机交互系统，其特征在于，所述脑电采集和无线传输模块由电极、EEG信号放大器、信号调理电路、AD转换器和无线传输模块依次连接组成。
3、根据权利要求2所述脑机交互系统，其特征在于，所述电极可以选用常规的体表电极或绝缘干电极。
4、根据权利要求2所述脑机交互系统，其特征在于，所述EEG信号放大器包括前置放大器、隔离放大器和放大倍数可调的放大器。
5、根据权利要求2所述脑机交互系统，其特征在于，所述无线模块可采用蓝牙或Zigbee模块。
6、根据权利要求1所述脑机交互系统，其特征在于，所述增强现实系统模块包括透视式头盔显示器，两个摄像头，计算机，脑电交互动态生成模块，增强信息知识库和视频融合模块。其中，计算机可以采用便携式笔记本。透视式头盔显示器和两个摄像头分别与计算机相连，脑电交互动态生成模块，增强信息知识库和视频融合模块装在计算机内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA200910099274XA CN101571748A (zh) | 2009-06-04 | 2009-06-04 | 一种基于增强现实的脑机交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA200910099274XA CN101571748A (zh) | 2009-06-04 | 2009-06-04 | 一种基于增强现实的脑机交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101571748A true CN101571748A (zh) | 2009-11-04 |
Family
ID=41231112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA200910099274XA Pending CN101571748A (zh) | 2009-06-04 | 2009-06-04 | 一种基于增强现实的脑机交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101571748A (zh) |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609090A (zh) * | 2012-01-16 | 2012-07-25 | 中国人民解放军国防科学技术大学 | 采用脑电时频成分双重定位范式的快速字符输入方法 |
| CN102654793A (zh) * | 2012-01-16 | 2012-09-05 | 中国人民解放军国防科学技术大学 | 基于双模校验机制的脑电驱动高可靠操控系统 |
| CN102778949A (zh) * | 2012-06-14 | 2012-11-14 | 天津大学 | 基于ssvep阻断和p300双特征的脑-机接口方法 |
| CN102799267A (zh) * | 2012-06-29 | 2012-11-28 | 天津大学 | Ssvep及阻断和p300三特征多脑-机接口方法 |
| CN102945078A (zh) * | 2012-11-13 | 2013-02-27 | 深圳先进技术研究院 | 人机交互设备及人机交互方法 |
| CN103189827A (zh) * | 2010-11-08 | 2013-07-03 | 株式会社Ntt都科摩 | 对象显示装置以及对象显示方法 |
| CN103544346A (zh) * | 2013-10-16 | 2014-01-29 | 徐彦之 | 实现虚拟感知的方法及系统 |
| CN103752010A (zh) * | 2013-12-18 | 2014-04-30 | 微软公司 | 用于控制设备的增强现实覆盖 |
| CN104181819A (zh) * | 2014-08-05 | 2014-12-03 | 常州大学 | 模拟驾驶环境下人脑注意力评估系统及其车模驾驶环境 |
| CN104216520A (zh) * | 2014-09-09 | 2014-12-17 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN104461007A (zh) * | 2014-12-19 | 2015-03-25 | 北京理工大学 | 一种基于脑电信号的驾驶员辅助人车交互系统 |
| CN104554049A (zh) * | 2013-10-14 | 2015-04-29 | 现代自动车株式会社 | 可佩戴式计算机 |
| CN105051647A (zh) * | 2013-03-15 | 2015-11-11 | 英特尔公司 | 基于生物物理信号的搜集时间和空间模式的大脑计算机接口（bci）系统 |
| CN105066359A (zh) * | 2015-08-18 | 2015-11-18 | 西安理工大学 | 一种基于脑电控制的空调遥控方法 |
| CN105258284A (zh) * | 2015-10-14 | 2016-01-20 | 珠海格力电器股份有限公司 | 空调控制方法及空调控制系统 |
| US9329678B2 (en) | 2012-08-14 | 2016-05-03 | Microsoft Technology Licensing, Llc | Augmented reality overlay for control devices |
| CN106062692A (zh) * | 2014-02-21 | 2016-10-26 | 索尼公司 | 可穿戴装置和控制设备 |
| CN106128196A (zh) * | 2016-08-11 | 2016-11-16 | 四川华迪信息技术有限公司 | 基于增强现实和虚拟现实的网络在线教育系统及其实现方法 |
| CN106227354A (zh) * | 2016-08-31 | 2016-12-14 | 博睿康科技（常州）股份有限公司 | 一种脑机交互穿戴系统 |
| CN106339091A (zh) * | 2016-08-31 | 2017-01-18 | 博睿康科技（常州）股份有限公司 | 一种基于脑机接口穿戴系统的增强现实交互方法 |
| CN106354270A (zh) * | 2016-11-11 | 2017-01-25 | 北京理工大学 | 基于脑机接口的可移动头戴终端及系统 |
| CN106406510A (zh) * | 2016-05-13 | 2017-02-15 | 天津理工大学 | 一种实时监控视频诱导的运动想象bci系统 |
| CN106796417A (zh) * | 2014-09-29 | 2017-05-31 | 微软技术许可有限责任公司 | 经由可穿戴计算系统的环境控制 |
| CN106859645A (zh) * | 2017-03-06 | 2017-06-20 | 广东工业大学 | 基于vr技术和ssvep的可穿戴设备及脑电采集系统 |
| WO2017124785A1 (zh) * | 2016-01-20 | 2017-07-27 | 京东方科技集团股份有限公司 | 显示切换装置及其切换方法、穿戴显示装置及其显示方法 |
| CN107272912A (zh) * | 2017-08-21 | 2017-10-20 | 郑州大学 | 一种基于ern反馈的脑‑机接口系统 |
| CN107346179A (zh) * | 2017-09-11 | 2017-11-14 | 中国人民解放军国防科技大学 | 基于诱发式脑机接口的多移动目标选择方法 |
| CN107961120A (zh) * | 2017-12-08 | 2018-04-27 | 中国电子科技集团公司第二十七研究所 | 一种基于脑电控制的智能轮椅控制系统 |
| CN107967053A (zh) * | 2017-11-08 | 2018-04-27 | 江苏理工学院 | 一种基于脑电波信号的ar场景控制装置及其控制方法 |
| WO2018196311A1 (zh) * | 2017-04-28 | 2018-11-01 | 京东方科技集团股份有限公司 | 一种脑控穿戴显示装置及脑控显示方法 |
| CN108897418A (zh) * | 2018-05-15 | 2018-11-27 | 天津大学 | 一种穿戴式脑-机接口装置、人机交互系统及方法 |
| CN109034251A (zh) * | 2018-08-01 | 2018-12-18 | 福州大学 | 基于时序模式的ErrP识别方法 |
| CN109875583A (zh) * | 2019-02-19 | 2019-06-14 | 京东方科技集团股份有限公司 | 一种基于ar技术的疲劳驾驶检测系统及方法 |
| CN110096149A (zh) * | 2019-04-24 | 2019-08-06 | 西安交通大学 | 基于多频率时序编码的稳态听觉诱发电位脑-机接口方法 |
| CN110262657A (zh) * | 2019-06-06 | 2019-09-20 | 西安交通大学 | 一种基于“开关到目标”的异步视觉诱发脑-机接口方法 |
| CN111782055A (zh) * | 2020-08-12 | 2020-10-16 | 中国人民解放军国防科技大学 | 基于ar眼镜的脑控系统 |
| JPWO2019073603A1 (ja) * | 2017-10-13 | 2020-11-19 | マクセル株式会社 | 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステム、プロジェクタシステムおよび視覚刺激信号の表示方法 |
| CN113227944A (zh) * | 2018-10-29 | 2021-08-06 | 康尼克逊 | 用于增强现实的脑机接口 |
| CN114003129A (zh) * | 2021-11-01 | 2022-02-01 | 北京师范大学 | 一种基于非侵入式脑机接口的意念控制虚实融合反馈方法 |
| WO2024040360A1 (zh) * | 2022-08-26 | 2024-02-29 | 吕馨 | Brain reality |
-
2009
- 2009-06-04 CN CNA200910099274XA patent/CN101571748A/zh active Pending
Cited By (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103189827A (zh) * | 2010-11-08 | 2013-07-03 | 株式会社Ntt都科摩 | 对象显示装置以及对象显示方法 |
| CN103189827B (zh) * | 2010-11-08 | 2016-04-27 | 株式会社Ntt都科摩 | 对象显示装置以及对象显示方法 |
| CN102654793A (zh) * | 2012-01-16 | 2012-09-05 | 中国人民解放军国防科学技术大学 | 基于双模校验机制的脑电驱动高可靠操控系统 |
| CN102609090A (zh) * | 2012-01-16 | 2012-07-25 | 中国人民解放军国防科学技术大学 | 采用脑电时频成分双重定位范式的快速字符输入方法 |
| CN102609090B (zh) * | 2012-01-16 | 2014-06-04 | 中国人民解放军国防科学技术大学 | 采用脑电时频成分双重定位范式的快速字符输入方法 |
| CN102654793B (zh) * | 2012-01-16 | 2014-11-05 | 中国人民解放军国防科学技术大学 | 基于双模校验机制的脑电驱动高可靠操控系统 |
| CN102778949B (zh) * | 2012-06-14 | 2015-04-29 | 天津大学 | 基于ssvep阻断和p300双特征的脑-机接口方法 |
| CN102778949A (zh) * | 2012-06-14 | 2012-11-14 | 天津大学 | 基于ssvep阻断和p300双特征的脑-机接口方法 |
| CN102799267A (zh) * | 2012-06-29 | 2012-11-28 | 天津大学 | Ssvep及阻断和p300三特征多脑-机接口方法 |
| CN102799267B (zh) * | 2012-06-29 | 2015-06-17 | 天津大学 | Ssvep及阻断和p300三特征多脑-机接口方法 |
| US9329678B2 (en) | 2012-08-14 | 2016-05-03 | Microsoft Technology Licensing, Llc | Augmented reality overlay for control devices |
| CN102945078A (zh) * | 2012-11-13 | 2013-02-27 | 深圳先进技术研究院 | 人机交互设备及人机交互方法 |
| CN105051647A (zh) * | 2013-03-15 | 2015-11-11 | 英特尔公司 | 基于生物物理信号的搜集时间和空间模式的大脑计算机接口（bci）系统 |
| CN104554049A (zh) * | 2013-10-14 | 2015-04-29 | 现代自动车株式会社 | 可佩戴式计算机 |
| CN103544346A (zh) * | 2013-10-16 | 2014-01-29 | 徐彦之 | 实现虚拟感知的方法及系统 |
| CN103544346B (zh) * | 2013-10-16 | 2017-01-25 | 徐彦之 | 实现虚拟感知的方法及系统 |
| CN103752010B (zh) * | 2013-12-18 | 2017-07-11 | 微软技术许可有限责任公司 | 用于控制设备的增强现实覆盖 |
| CN103752010A (zh) * | 2013-12-18 | 2014-04-30 | 微软公司 | 用于控制设备的增强现实覆盖 |
| CN106062692A (zh) * | 2014-02-21 | 2016-10-26 | 索尼公司 | 可穿戴装置和控制设备 |
| CN106062692B (zh) * | 2014-02-21 | 2019-12-06 | 索尼公司 | 可穿戴装置和控制设备 |
| CN104181819A (zh) * | 2014-08-05 | 2014-12-03 | 常州大学 | 模拟驾驶环境下人脑注意力评估系统及其车模驾驶环境 |
| CN104216520B (zh) * | 2014-09-09 | 2018-07-06 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN104216520A (zh) * | 2014-09-09 | 2014-12-17 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| US10345768B2 (en) | 2014-09-29 | 2019-07-09 | Microsoft Technology Licensing, Llc | Environmental control via wearable computing system |
| CN106796417A (zh) * | 2014-09-29 | 2017-05-31 | 微软技术许可有限责任公司 | 经由可穿戴计算系统的环境控制 |
| CN104461007A (zh) * | 2014-12-19 | 2015-03-25 | 北京理工大学 | 一种基于脑电信号的驾驶员辅助人车交互系统 |
| CN104461007B (zh) * | 2014-12-19 | 2017-11-03 | 北京理工大学 | 一种基于脑电信号的驾驶员辅助人车交互系统 |
| CN105066359A (zh) * | 2015-08-18 | 2015-11-18 | 西安理工大学 | 一种基于脑电控制的空调遥控方法 |
| CN105066359B (zh) * | 2015-08-18 | 2018-04-27 | 西安理工大学 | 一种基于脑电控制的空调遥控方法 |
| CN105258284A (zh) * | 2015-10-14 | 2016-01-20 | 珠海格力电器股份有限公司 | 空调控制方法及空调控制系统 |
| US10606077B2 (en) | 2016-01-20 | 2020-03-31 | Boe Technology Group Co., Ltd. | Display switching device, switching method, wearable display device and displaying method |
| WO2017124785A1 (zh) * | 2016-01-20 | 2017-07-27 | 京东方科技集团股份有限公司 | 显示切换装置及其切换方法、穿戴显示装置及其显示方法 |
| CN106406510A (zh) * | 2016-05-13 | 2017-02-15 | 天津理工大学 | 一种实时监控视频诱导的运动想象bci系统 |
| CN106128196A (zh) * | 2016-08-11 | 2016-11-16 | 四川华迪信息技术有限公司 | 基于增强现实和虚拟现实的网络在线教育系统及其实现方法 |
| CN106227354A (zh) * | 2016-08-31 | 2016-12-14 | 博睿康科技（常州）股份有限公司 | 一种脑机交互穿戴系统 |
| CN106339091A (zh) * | 2016-08-31 | 2017-01-18 | 博睿康科技（常州）股份有限公司 | 一种基于脑机接口穿戴系统的增强现实交互方法 |
| CN106354270A (zh) * | 2016-11-11 | 2017-01-25 | 北京理工大学 | 基于脑机接口的可移动头戴终端及系统 |
| CN106859645A (zh) * | 2017-03-06 | 2017-06-20 | 广东工业大学 | 基于vr技术和ssvep的可穿戴设备及脑电采集系统 |
| WO2018196311A1 (zh) * | 2017-04-28 | 2018-11-01 | 京东方科技集团股份有限公司 | 一种脑控穿戴显示装置及脑控显示方法 |
| US11099646B2 (en) | 2017-04-28 | 2021-08-24 | Boe Technology Group Co., Ltd. | Brain-controlled wearable display device and brain-controlled display method |
| CN107272912A (zh) * | 2017-08-21 | 2017-10-20 | 郑州大学 | 一种基于ern反馈的脑‑机接口系统 |
| CN107346179A (zh) * | 2017-09-11 | 2017-11-14 | 中国人民解放军国防科技大学 | 基于诱发式脑机接口的多移动目标选择方法 |
| JPWO2019073603A1 (ja) * | 2017-10-13 | 2020-11-19 | マクセル株式会社 | 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステム、プロジェクタシステムおよび視覚刺激信号の表示方法 |
| JP7101696B2 (ja) | 2017-10-13 | 2022-07-15 | マクセル株式会社 | 表示装置、脳波インタフェース装置、ヘッドアップディスプレイシステムおよびプロジェクタシステム |
| CN107967053A (zh) * | 2017-11-08 | 2018-04-27 | 江苏理工学院 | 一种基于脑电波信号的ar场景控制装置及其控制方法 |
| CN107961120A (zh) * | 2017-12-08 | 2018-04-27 | 中国电子科技集团公司第二十七研究所 | 一种基于脑电控制的智能轮椅控制系统 |
| CN108897418A (zh) * | 2018-05-15 | 2018-11-27 | 天津大学 | 一种穿戴式脑-机接口装置、人机交互系统及方法 |
| CN109034251A (zh) * | 2018-08-01 | 2018-12-18 | 福州大学 | 基于时序模式的ErrP识别方法 |
| CN113227944A (zh) * | 2018-10-29 | 2021-08-06 | 康尼克逊 | 用于增强现实的脑机接口 |
| CN113227944B (zh) * | 2018-10-29 | 2022-08-12 | 康尼克逊 | 用于增强现实的脑机接口 |
| CN109875583A (zh) * | 2019-02-19 | 2019-06-14 | 京东方科技集团股份有限公司 | 一种基于ar技术的疲劳驾驶检测系统及方法 |
| CN110096149A (zh) * | 2019-04-24 | 2019-08-06 | 西安交通大学 | 基于多频率时序编码的稳态听觉诱发电位脑-机接口方法 |
| CN110262657B (zh) * | 2019-06-06 | 2020-05-15 | 西安交通大学 | 一种基于“开关到目标”的异步视觉诱发脑-机接口方法 |
| CN110262657A (zh) * | 2019-06-06 | 2019-09-20 | 西安交通大学 | 一种基于“开关到目标”的异步视觉诱发脑-机接口方法 |
| CN111782055A (zh) * | 2020-08-12 | 2020-10-16 | 中国人民解放军国防科技大学 | 基于ar眼镜的脑控系统 |
| CN111782055B (zh) * | 2020-08-12 | 2024-01-02 | 中国人民解放军国防科技大学 | 基于ar眼镜的脑控系统 |
| CN114003129A (zh) * | 2021-11-01 | 2022-02-01 | 北京师范大学 | 一种基于非侵入式脑机接口的意念控制虚实融合反馈方法 |
| CN114003129B (zh) * | 2021-11-01 | 2023-08-29 | 北京师范大学 | 一种基于非侵入式脑机接口的意念控制虚实融合反馈方法 |
| WO2024040360A1 (zh) * | 2022-08-26 | 2024-02-29 | 吕馨 | Brain reality |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101571748A (zh) | 一种基于增强现实的脑机交互系统 | |
| Duan et al. | Classification of multichannel surface-electromyography signals based on convolutional neural networks | |
| Feix et al. | The grasp taxonomy of human grasp types | |
| CN109953761B (zh) | 一种下肢康复机器人运动意图推理方法 | |
| Dipietro et al. | A survey of glove-based systems and their applications | |
| CN105868715A (zh) | 一种手势识别方法、装置及手势学习系统 | |
| CN103793042A (zh) | 一种人体运动信息交互及显示的系统和方法 | |
| CN109701224B (zh) | 一种增强现实ar腕关节康复评估和训练系统 | |
| Song et al. | Activities of daily living-based rehabilitation system for arm and hand motor function retraining after stroke | |
| CN203084647U (zh) | 一种人体运动信息交互及显示的系统 | |
| Guo et al. | ARMStrokes: a mobile app for everyday stroke rehabilitation | |
| Vo et al. | Belly gestures: Body centric gestures on the abdomen | |
| Allison | The I of BCIs: next generation interfaces for brain–computer interface systems that adapt to individual users | |
| Sharma et al. | iYogacare: real-time Yoga recognition and self-correction for smart healthcare | |
| Wang et al. | A Human‐Machine Interface Based on an EOG and a Gyroscope for Humanoid Robot Control and Its Application to Home Services | |
| Rojo et al. | Virtual reality application for real-time pedalling cadence estimation based on hip ROM tracking with inertial sensors: a pilot study | |
| Slater et al. | Understanding and realizing presence in the Presenccia project | |
| Zhang et al. | Human back movement analysis using bsn | |
| Amorim et al. | Recent trends in wearable computing research: A systematic review | |
| Kiemel et al. | Visual flow is interpreted relative to multisegment postural control | |
| Chen et al. | Analyzing human muscle state with flexible sensors | |
| Kolsanov et al. | Augmented Reality application for hand motor skills rehabilitation | |
| CN116189882A (zh) | 基于人机交互的阿尔兹海默症居家认知康复训练方法及系统 | |
| Huihui | Machine Vision Technology Based on Wireless Sensor Network Data Analysis for Monitoring Injury Prevention Data in Yoga Sports | |
| Tang et al. | Collaborative rehabilitation support system: a comprehensive solution for everyday rehab |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20091104 |