CN106339091A - 一种基于脑机接口穿戴系统的增强现实交互方法 - Google Patents

Abstract

本发明提供了一种基于脑机接口穿戴系统的增强现实交互方法，所述脑机交互穿戴系统，包括脑电肌电采集装置，增强现实应用装置，以及数据处理装置；三个发明的方法通过视觉相关脑电和肌电进行系统控制，解决增强现实中交互方式存在的问题，具有较好的控制准确性、隐秘性和便捷性。

Description

一种基于脑机接口穿戴系统的增强现实交互方法

技术领域

本发明涉及一种脑机接口穿戴系统，特别是用于增强现实的脑机接口穿戴系统。

背景技术

脑机接口（brain-computer/machine interface, BCI/BMI）是人脑和计算机或其他外部设备之间建立一条全新的非生物性的信息传输通道（不依赖于常规的脊髓/外周神经肌肉系统），并通过它对外进行信息交流或环境控制。它提供了一种有别于传统的视觉、听觉等通道的交互手段，大大扩展人们与外界交流信息、控制系统的能力。

BCI的研究在全球范围内已取得阶段性突破进展，若干类型的BCI实验的准确率已经相当高（如P300、SSVEP、Mu波等）；设备方面各种可穿戴式的EEG设备已进入市场，如g.tec的g.Natilus、BrainProducts的LiveAmp和Emotive的EPOC+等。因此，BCI的实用化已经提上了日程。一些著名的研究机构如Wadsworth中心、Graz技术大学等正努力推进BCI在医疗康复、娱乐和教育等领域的应用。

增强现实（Augmented Reality，简称AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。

在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。交互操作是增强现实的核心应用和终极目标。

现有的可用于增强现实的交互方法主要有以下几种。

（1）手势交互，例如微软公司的HoloLens。该方式的主要思想是用户通过手势来对虚拟项目进行交互操作。其优点在于手势是最直接、最本能的操作方法，是用户与目标进行互动的本能自然行为，可完成对目标的各种预期操作。缺点是当前设备存在可识别的手势有限、无法准确定位拟操作的目标等问题。同时，在一些特殊的应用场景中，如手功能缺失的残疾人、无法腾出手来的作战士兵等都难以自如地对兴趣目标进行操作。

（2）语音交互，例如索尼公司的公开号为CN103918284A、发明名称为“语音控制装置、语音控制方法和程序”的发明专利申请。该方式的主要思想是针对增强现实中的交互项目，通过用户的语音识别来进行选择和确认。其优点在于可解放双手，便捷交互；缺点是语音在嘈杂环境的识别率低下；公共场所人多而杂，使用语音交互可能涉及到个人隐私问题；语音命令识别率等。

（3）眼动交互，例如英特尔公司的公开号为CN104395857A、发明名称为“显示器的部分的基于眼球追踪的选择性强调”的发明专利申请。该方式的主要思想是利用眼球的转动、眨眼等动作，对目标进行选择和确认。其优点在于解放双手，具有隐秘性。缺点是难以区分实际操作指令与无目的性的眼动，频繁操作会对用户的用眼习惯造成影响。

发明内容

本发明的目的在于提供应用于增强现实的脑机接口穿戴系统，可通过视觉相关脑电和头皮肌电进行系统控制，解决增强现实中交互方式存在的问题，具有较好的控制准确性、隐秘性和便捷性。

本发明通过如下技术方案实现。

一种脑机交互穿戴系统，包括

脑电肌电采集装置，其能够采集使用者的脑电和肌电信号数据；

界面显示应用装置，其能够向使用者输出用户界面的显示；和

数据处理装置，其能够对所述脑电和肌电信号数据进行聚合，基于所述信号数据确定使用者的操作输入，并基于所述操作输入确定向使用者显示的内容；所述脑电肌电采集装置、所述界面显示应用装置分别与所述数据处理装置相连。

优选地，该系统为可穿戴式头箍眼镜式设计，所述脑电肌电采集装置包括分布于头箍上的电极和直流耦合式模拟前端。

优选地，所述的电极为体表电极或绝缘干电极；所述的直流耦合式模拟前端包括低增益直流放大模块和模数转换模块。

优选地，所述界面显示应用装置是增强现实应用装置，所述增强现实应用装置包括透视式镜片显示器、摄像头。

优选地，透视式镜片显示器和摄像头分别与所述数据处理装置连接。

优选地，所述数据处理装置包括脑电肌电信号处理模块、交互动态控制模块、增强信息知识库和视频融合模块。

优选地，所述基于所述信号数据确定使用者的操作输入包括关注目标的识别，以及目标菜单选项的选择。

优选地，所述的关注目标的识别通过SSVEP范式来完成，所述系统以不同频率和刺激方式呈现视野范围内的对象和元素，通过脑电信号识别出用户关注的目标。

优选地，所述SSVEP范式的刺激方式包括轮廓闪烁、标识闪烁和/或动态圆环标识；所述SSVEP范式的刺激方式均以不同的频率进行编码。

优选地，所述的目标菜单选项的选择通过舌动和咬齿产生的肌电来完成，系统根据不同模式的肌电信号将识别的菜单选择选择结果突出显示。

本发明还提供了一种基于脑机接口穿戴系统的增强现实交互方法，包括如下步骤：

步骤一、增强现实应用装置的摄像头采集视区数据，传输给数据处理装置；

步骤二、数据处理装置中的交互动态控制模块对视频数据进行识别，从增强信息知识库中查询并取出与视频数据对应的知识信息；

步骤三、数据处理装置中的视频融合模块将视频数据与取出的知识信息融合映射在透视式镜片显示器中；

步骤四、数据处理装置中的交互动态控制模块建立虚拟元素和现实对象的场景刺激，通过视频融合模块显示在透视式镜片显示器中；

步骤五、脑电肌电信号处理装置采集脑电肌电信号数据，传输至数据处理装置；

步骤六、数据处理装置对所述脑电和肌电信号数据进行聚合，基于所述信号数据确定使用者的操作输入，并基于所述操作输入确定向使用者显示的内容和/或进行下一步交互；

步骤七、返回步骤一，重复上述步骤进行交互系统操作。

优选地，所述步骤六中的基于所述信号数据确定使用者的操作输入包括关注目标的识别，以及目标菜单选项的选择。

优选地，所述数据处理装置的交互动态控制模块根据脑电信号识别出用户关注的虚拟元素或现实对象。

优选地，所述的用户关注的虚拟元素或现实对象的识别通过SSVEP范式来完成，所述步骤四中的场景刺激为SSVEP范式场景刺激，其以不同频率和刺激方式呈现视野范围内的对象和元素。

优选地，所述SSVEP范式的刺激方式包括轮廓闪烁、标识闪烁和/或动态圆环标识；所述SSVEP范式的刺激方式均以不同的频率进行编码。

优选地，所述数据处理装置的交互动态控制模块根据肌电信号识别出用户对目标的菜单选项进行的选择操作。

优选地，所述的目标菜单选项的选择通过舌动和咬齿产生的肌电来完成。

优选地，所述步骤六进一步包括如下步骤：

（一）数据处理装置中的脑电肌电信号处理模块对脑电肌电采集模块传输来到的数字信号进行滤波等信号处理，再对处理后的脑电信号进行SSVEP分析处理，结果反馈至交互动态控制模块；

（二）数据处理装置中的交互动态控制模块根据脑电信号识别出用户关注的虚拟元素或现实对象，根据识别结果调取增强信息知识库中的菜单选项，通过视频融合模块显示在透视式镜片显示器上；

（三）数据处理装置中的交互动态控制模块根据肌电信号识别出用户对目标的菜单选项进行的选择操作，根据选择显示相应的信息或进行下一步交互。

通过以上技术方案，本发明能够取得如下技术效果。

（1）利用成熟的视觉脑电信号进行关注目标的识别，头皮肌电信号进行菜单选项的选择操作，为增强现实提供了有效可靠的交互方式，具有准确性、隐秘性和便捷性。

（2）一体化穿戴式设计，系统佩戴方便，更易为用户所接受。

（3）上述交互方式的优点和穿戴式设计可使系统应用于多种特殊的应用场景，如残疾人用户、军事、工程、娱乐等领域，具有巨大的市场价值。

附图说明

图1 是本发明的结构示意图。

图2是本发明的系统框架图。

图3是交互动态控制模块的处理任务示意图。

图4是用户对实物对象和虚拟元素的交互示意图。

图5是SSVEP范式的建立和实现要点示意图。

图6是视觉刺激方式示意图。

图7是肌电信号编码模式示意图。

图8是本发明脑机接口穿戴系统的交互流程图。

具体实施方式

如图1所示，本发明的脑机交互穿戴系统为可穿戴式头箍眼镜式设计，它包括脑电肌电采集模块、增强现实应用模块和数据处理芯片；其中，脑电肌电采集模块、增强现实应用模块分别与数据处理芯片相连。

如图2所示，系统各部分包含的模块和相应功能如下：

脑电肌电采集模块由电极和直流耦合式模拟前端组成。其中电极可选用常规的体表电极（需导电膏）或绝缘干电极，位置覆盖头皮视觉区域、前额及两侧区域。直流耦合式模拟前端包括低增益直流放大模块和模数转换模块。低增益直流放大模块能够对原始电信号进行直流放大，模数转换模块能够将放大的模拟信号转换为数字信号。

增强现实应用模块包括透视式镜片显示器、两个摄像头。其中，透视式镜片显示器用于显示虚拟场景和现实场景的融合信息，两个摄像头用于采集现实场景的视频信息，二者分别与数据处理芯片连接。

数据处理芯片包含脑电肌电信号处理模块、交互动态控制模块、增强信息知识库和视频融合模块。脑电肌电信号处理模块先对脑电肌电采集模块传输来的数字信号进行滤波等信号处理，再对处理后的脑电信号进行SSVEP分析处理，结果反馈至交互动态控制模块；交互动态控制模块进行三组处理任务：一是接收来自摄像头的视频信息，对视频数据进行识别，从增强信息知识库中查询并取出与视频数据对应的知识信息和菜单选项，将数据结果发送至视频融合模块；二是建立虚拟元素和现实对象的SSVEP范式场景刺激；三是接收来自脑电肌电信号处理模块的数据结果，进行用户对关注目标的识别和菜单选项的选择，输出的结果用于增强信息知识库的信息再调取和视频融合模块的再显示。交互动态控制模块的处理任务如图3所示。增强信息知识库包含与现实对象相关的在实物对象上添加的可以进行选择的有意义的增强信息单元，如电视机的控制界面、菜单（选择后可以进入下一级菜单）、按钮（选择后可以执行相应的命令）、字母和数字（选择后可以将其作为参数输入，实现文字输入功能）。视频融合模块用于将收到的增强信息融合到现实对象中，并在透视室镜片显示器上生成显示。

如图4所示，用户对实物对象和虚拟元素的交互包括两部分，分别为关注目标的识别和目标菜单选项的选择。关注目标的识别通过SSVEP范式来完成，即系统以不同频率呈现视野范围内的对象和元素，通过脑电信号识别出用户关注的目标；目标菜单选项的选择通过舌动和咬齿产生的肌电来完成，即系统根据不同模式的肌电信号将识别的菜单选项选择结果高亮显示。

如图5所示，用以实现关注目标识别的SSVEP范式的具体建立和实现要点如下：

1）进入目标识别状态——当系统无任务或进入新的场景，并完成目标建模时，即进入目标识别状态。交互动态控制模块确认进入目标识别状态后，则进行SSVEP范式的建立。

2）SSVEP范式的建立包含刺激方式和编码方式两个参数。

刺激方式——刺激方式如图6所示，可以通过以下几种方式进行刺激：

a）轮廓闪烁：视野场景中的对象的轮廓闪烁，对用户产生视觉刺激；

b）标识闪烁：在视野场景中的对象的右上角（或其他位置）设置方形的标识，以该标识代表对象和元素，通过其闪烁对用户产生视觉刺激；

c）动态圆环标识：在视野场景中的对象的右上角（或其他位置）设置动态圆环标识，以该标识代表对象和元素，通过圆环外扩的动态变化来对用户产生视觉刺激；

编码方式——上述刺激方式均以不同的频率进行编码；

3）退出目标识别状态——系统完成关注目标的识别后，停止目标对用户的视觉刺激，退出目标识别状态，进行目标菜单选项的选择交互。

如图7所示，不同模式的肌电信号编码分别为由以下动作参数的不同而产生：

1）咬齿涉及的动作参数：方向、次数、力量、时间。

其中，方向可分左、右；次数可为一次、连续二次等；力量可为轻、用力等；时间可为持续1秒、2秒等。

举例：肌电信号模式1可为左侧轻咬齿一次，持续0.5s；肌电信号模式2可为左侧用力咬齿一次，持续0.5s，等等。

2）舌动肌电主要产生于抵住的动作，所涉及的动作参数：方向、力量和时间。

其中，方向可分为上、下、左、右；力量可分为轻、用力等；时间可为持续1秒、2秒等。

例如，肌电信号模式1可为舌尖向上轻轻抵住口腔1秒；肌电信号模式2可为舌尖向下轻轻抵住口腔1秒，等等。

如图8所示，根据本发明的应用于增强现实的脑机接口穿戴系统的交互过程包括如下步骤：

步骤一、增强现实应用模块的摄像头采集视区数据，传输给数据处理芯片；

步骤二、数据处理芯片中的交互动态控制模块根据对视频数据进行识别，从增强信息知识库中查询并取出与视频数据对应的知识信息；

步骤三、数据处理芯片中的视频融合模块将视频数据与取出的知识信息融合映射在透视式镜片显示器中；

步骤四、交互动态控制模块建立虚拟元素和现实对象的SSVEP范式场景刺激，通过视频融合模块显示在透视式镜片显示器中；

步骤五、脑电肌电信号处理模块采集脑电肌电信号，传输至数据处理芯片；

步骤六、数据处理装置对所述脑电和肌电信号数据进行聚合，基于所述信号数据确定使用者的操作输入，并基于所述操作输入确定向使用者显示的内容和/或进行下一步交互；

步骤七、返回步骤一，重复上述步骤进行交互系统操作。

其中优选地，步骤六进一步包括如下步骤：

（一）数据处理芯片中的脑电肌电信号处理模块对脑电肌电采集模块传输来到的数字信号进行滤波等信号处理，再对处理后的脑电信号进行SSVEP分析处理，结果反馈至交互动态控制模块；

（二）交互动态控制模块根据脑电信号识别出用户关注的虚拟元素或现实对象，根据识别结果调取增强信息知识库中的菜单选项，通过视频融合模块显示在透视式镜片显示器上；

（三）交互动态控制模块根据肌电信号识别出用户对目标的菜单选项进行的选择操作，根据选择显示相应的信息或进行下一步交互。

本发明结合脑机接口和增强现实的技术，利用脑机接口的技术手段来实现增强现实中的交互，设计并实现一套完整的BCI穿戴系统，来应用于增强现实环境。本发明系统的具体应用领域可涉及军事、医疗、建筑、教育、工程、影视、娱乐等。

Claims (8)

1.一种基于脑机接口穿戴系统的增强现实交互方法，所述脑机交互穿戴系统包括脑电肌电采集装置、增强现实应用装置，以及数据处理装置；所述方法包括如下步骤：

步骤一、增强现实应用装置的摄像头采集视区数据，传输给数据处理装置；

步骤二、数据处理装置中的交互动态控制模块对视频数据进行识别，从增强信息知识库中查询并取出与视频数据对应的知识信息；

步骤三、数据处理装置中的视频融合模块将视频数据与取出的知识信息融合映射在透视式镜片显示器中；

步骤四、数据处理装置中的交互动态控制模块建立虚拟元素和现实对象的场景刺激，通过所述视频融合模块显示在透视式镜片显示器中；

步骤五、脑电肌电信号采集装置采集脑电肌电信号数据，传输至数据处理装置；

步骤六、数据处理装置对所述脑电和肌电信号数据进行聚合，基于所述信号数据确定使用者的操作输入，并基于所述操作输入确定向使用者显示的内容和/或进行下一步交互；

步骤七、返回步骤一，重复上述步骤进行交互系统操作。

2.根据权利要求1所述的方法，其特征在于，所述步骤六中的基于所述信号数据确定使用者的操作输入包括关注目标的识别，以及目标菜单选项的选择。

3.根据权利要求2所述的方法，其特征在于，所述数据处理装置的交互动态控制模块根据脑电信号识别出用户关注的虚拟元素或现实对象。

4.根据权利要求3所述的方法，其特征在于，所述的用户关注的虚拟元素或现实对象的识别通过SSVEP范式来完成，所述步骤四中的场景刺激为SSVEP范式场景刺激，其以不同频率和刺激方式呈现视野范围内的对象和元素。

5.根据权利要求4所述的方法，其特征在于，所述SSVEP范式的刺激方式包括轮廓闪烁、标识闪烁和/或动态圆环标识；所述SSVEP范式的刺激方式均以不同的频率进行编码。

6.根据权利要求2所述的方法，其特征在于，所述数据处理装置的交互动态控制模块根据肌电信号识别出用户对目标的菜单选项进行的选择操作。

7.根据权利要求6所述的方法，其特征在于，所述的目标菜单选项的选择通过舌动和咬齿产生的肌电来完成。

8.根据权利要求1所述的方法，其特征在于，所述步骤六进一步包括如下步骤：

（一）数据处理装置中的脑电肌电信号处理模块对脑电肌电采集模块传输来到的数字信号进行信号处理，再对处理后的脑电信号进行SSVEP分析处理，结果反馈至交互动态控制模块；

（二）数据处理装置中的交互动态控制模块根据脑电信号识别出用户关注的虚拟元素或现实对象，根据识别结果调取增强信息知识库中的菜单选项，通过视频融合模块显示在透视式镜片显示器上；

（三）数据处理装置中的交互动态控制模块根据肌电信号识别出用户对目标的菜单选项进行的选择操作，根据选择显示相应的信息或进行下一步交互。