CN108897418A - 一种穿戴式脑-机接口装置、人机交互系统及方法 - Google Patents

Abstract

本发明提供了一种穿戴式脑‑机接口装置、人机交互系统及方法，根据用户周围环境信息识别用户意图。该便携式脑‑机接口主要包括：脑电采集模块、显示模块、传感器模块、处理器模块、通信模块。结合脑‑机接口、近眼显示和机器视觉的可移动穿戴式人机交互系统，实现在移动环境下基于脑控、不依赖四肢的外界设备控制。所述识别用户意图方法包括收集、识别用户周围环境信息并根据用户视野方向确定用户意图。本发明解决现有脑机接口不易携带、应用不方便的问题，具有较好的便捷性、便携性及较高的控制准确率和速度。

Description

一种穿戴式脑-机接口装置、人机交互系统及方法

技术领域

本发明涉及人机交互领域，尤其涉及一种穿戴式脑-机接口装置、人机交互系统及方法。

背景技术

脑-机接口(brain-computer interface，BCI)是在人脑和计算机或其他电子设备之间建立不依赖于常规大脑信息输出通路的全新对外信息交流和控制技术。由于脑电图(electroencephalography,EEG)时间分辨率高、易于获取、价格低廉等优势，被广泛应用于非侵入式BCI中。目前常用于BCI的脑电信号成分或种类主要包括：事件相关同步电位和去同步电位(event related synchronization/desynchronization,ERS/ERD)、稳态视觉诱发电位(steady-state visual evoked potentials,SSVEP)、慢皮层电位(slow corticalpotentials,SCP)、P300以及μ节律、β节律等。

其中，SSVEP-BCI向用户呈现多个具有不同频率、相位的周期性视觉刺激(repetitive visual stimulus,RVS)，当用户将注意力集中在某个RVS上时，其主视觉皮层中会诱发出具有特定特征的EEG信号，既SSVEP信号。其频率成分主要包括：相应视觉刺激频率及其各次谐波。能有效诱发出SSVEP的视觉刺激频率集中在1到100Hz范围内。通过识别脑电信号中的SSVEP成分即可实现用户意图识别，近年来SSVEP-BCI已能够达到非常高的识别准确率和信息传输速率。然而，尽管脑-机接口的性能正在不断提升，目前脑-机接口应用还主要集中在辅助、增强和修复人体的认知和运动感觉等神经功能方面，如何将该技术广泛应用于日常生活中还有待研究。

高性能BCI主要包括：SSVEP-BCI、P300-BCI以及混合范式BCI，这些BCI系统均需要借助显示设备提供视觉刺激或交互界面。目前用到的显示设备主要是计算机屏幕等。然而，在日常生活中计算机屏幕等显示设备难以随时携带，这限制了BCI的便携性和适用范围。

现有BCI系统需要用户根据自身意图手动启动特定系统控制不同物体，没有有效利用用户的视觉焦点和周围环境信息智能判别用户意图，这给用户使用带来了不便利。

发明内容

本发明提供了一种穿戴式脑-机接口装置、人机交互系统及方法，本发明解决了脑-机接口系统难以随身携带这一问题，使得用户能够在日常生活中随时随地使用脑-机接口，详见下文描述：

一种穿戴式脑-机接口装置，所述装置包括：

脑电采集模块用于采集并放大脑电信号，对放大后的脑电信号进行数模转换，脑电采集模块由处理器模块控制并将采集到的脑电信号发送给处理器模块；

显示模块用于近眼显示脑-机接口所需视觉刺激及用户界面；通信模块用于无线通信；

传感器模块用于获取用户及其周围环境信息；

处理器模块用于机器视觉、声音处理、视觉刺激界面控制、脑电信号处理、发送控制指令、控制用户界面；

电源模块包括：电池等，用于供电。通信模块包括：无线网卡、蓝牙模块等，用于无线通信。

具体实现时，所述传感器模块包括：一组摄像头、麦克风；

至少有一个摄像头保持与用户鼻尖方向一致，用于获取用户视野前方影像信息；整个摄像头组所能捕获到的影像应能够覆盖用户最大视野，用于探测用户视野范围内的可控制装置；麦克风采集的声音信息可供处理器模块进行语音识别等。

进一步地，所述机器视觉具体为：

当识别到可控制装置时，人机交互界面上将提示用户识别到可控制装置、并在可控制装置附近位置生成标识；

当可控制装置标识与用户视野中心重合并保持超过阈值的时间时，则认为用户想要控制该可控制装置，进入脑-机控制状态。

其中，所述视觉刺激界面控制具体为：

识别到用户控制某可控制装置的意图后，生成对应的脑-机控制菜单及视觉刺激并通过显示模块呈现给用户，视觉刺激信息与脑电数据同步；

可控制装置的控制菜单中每一个功能选项与一个视觉刺激单元相对应。

进一步地，所述脑电信号处理具体为：

脑电信号的滤波及脑电识别，滤波处理包括：低通滤波、高通滤波及工频陷波；

脑电识别通过模式识别从脑电信号中提取用户意图，在视觉刺激脑-机接口模式中，识别用户注意力集中在哪一视觉刺激单元上，各个视觉刺激单元与控制菜单中各个功能选项一一对应，可以确定用户的控制意图。

一种结合脑-机接口、近眼显示和机器视觉的可移动穿戴人机交互系统，包括：

脑-机控制单元，通过放置在头皮表面的电极采集脑电信号，解码脑电信号识别用户的控制意图；

近眼显示单元，显示交互界面以及脑-机接口所需的视觉刺激；

机器视觉单元，识别环境中的可控设备；

结合脑-机接口、近眼显示和机器视觉的可移动穿戴式人机交互系统，实现在移动环境下基于脑控、不依赖四肢的外界设备控制。

一种穿戴式脑-机接口方法，所述方法包括：

1)传感器模块实时采集用户周围影像等信息，并传输给处理器模块；

2)处理器模块通过机器视觉对用户周围环境影像信息进行分析，对用户视野中央影像信息进行分析，当处理器模块识别出用户视野中心有可控制装置，且该可控制装置在用户视野中心保持一定时间，则进入对该可控制装置的脑-机控制阶段；

3)处理器模块根据步骤2)所选定的可控制装置，调出针对该可控制装置的特定脑-机控制视觉刺激界面，并通过该接口装置中的近眼显示模块呈献给用户；

4)脑电采集模块进入开启状态，实时采集脑电信号传输至处理器模块，处理器模块实时分析脑电信号，并识别用户意图，产生相应控制指令；

5)处理器模块将上一步骤生成的控制指令通过通信模块发送给特定装置，如果此时，可控制装置仍保持在用户视野中央一定范围内，则重复步骤3)，否则重复步骤1)。

本发明提供的技术方案的有益效果是：

1、为解决目前BCI系统无法有效利用用户和周围环境信息，智能识别用户意图的问题，本发明设计的脑-机接口可以获取用户及周围环境信息，通过机器视觉处理这些信息并智能启动、生成特定控制指令集等，为用户使用脑-机接口带来便利。

2、本发明中的显示模块采用近眼显示方式代替传统脑-机接口使用的计算机屏幕等视觉刺激设备。整个装置可以戴在用户头部，在用户需要时随时启动，并完成产生视觉刺激、采集脑电、数据处理、模式识别、生成控制指令，并通过无线装置发送控制指令控制外部装置等功能。解决了以往脑-机接口不易携带、应用范围狭窄等问题，使用户随时随地方便的使用脑-机接口。

3、本发明可以通过机器视觉获取用户周围影像等环境信息，并根据这些信息识别用户意图，进入控制不同物体的脑-机控制状态。这种方法可以让用户更快、更便捷的选择需要控制的装置。

4、该穿戴式脑-机接口系统通过物联网与智能家居等可控制对象连接，可实现移动场景下不依赖双手的周围环境设备控制。

5、本发明可实现在移动场景下基于该穿戴式脑-机接口装置自动识别周围环境中的可控设备、自动调取相应人机交互菜单并通过增强现实等穿戴式近眼显示方式呈现、通过脑-机接口技术识别用户控制意图、通过物联网向被控制设备发送控制指令。

6、本发明采用近眼显示技术代替传统脑-机接口采用的计算机显示器等显示设备。由于近眼显示装置体积小、可嵌入便携装置中，该方法使便携式脑-机接口成为可能，扩宽了脑-机接口的应用范围。

7、本发明提供的人机交互方法通过机器视觉辅助用户选择可控制装置。机器视觉将智能识别用户所在场景中的可控制装置，并提供了简单快捷的可控制装置选择方式。这为用户使用脑-机接口控制带来了方便。

附图说明

图1为一种穿戴式脑-机接口装置的结构示意图；

图2为识别真实物体并产生识别标识的示意图；

图3为用户通过调整头部朝向选择控制物体的示意图；

图4为脑-机控制视觉刺激示意图；

图5为一种穿戴式脑-机接口方法的流程图；

图6为应用场景的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种基于透视型近眼显示技术呈现交互界面、采用机器视觉采集并分析环境信息的便携式脑-机接口装置及方法，可实现在移动场景下基于该穿戴式脑-机接口装置自动识别周围环境中的可控装置、自动调取相应人机交互菜单并通过增强现实等穿戴式近眼显示方式呈现、通过脑-机接口技术识别用户控制意图、通过物联网向被控制装置发送控制指令。

实施例1

一种便携式脑-机接口装置，参见图1，该装置硬件上包括：脑电采集模块、显示模块、传感器模块、处理器模块、电源模块(图中未示出)、通信模块等多个模块，各个模块均与处理器模块相连，由处理器模块控制。整个装置集成于一体，戴在用户头上。

其中，脑电采集模块包括：脑电电极和脑电放大器等，用于采集(即通过脑电电极进行采集)并放大脑电信号(即通过脑电放大器进行脑电信号的放大处理)，对放大后的脑电信号进行数模转换。脑电采集模块由处理器模块控制并将采集到的脑电信号发送给处理器模块。

进一步地，显示模块包括：微型投影仪、棱镜等，用于近眼显示脑-机接口所需视觉刺激及用户界面。

具体实现时，传感器模块包括：摄像头、麦克风等，用于获取用户及其周围环境信息。

其中，处理器模块包括：中央处理器(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processing，DSP)等。用于理解用户及环境信息、处理脑电数据、生成显示界面、发送控制指令等。

电源模块包括：电池等，用于供电。通信模块包括：无线网卡、蓝牙模块等，用于无线通信。

本发明实施例对上述器件的型号不做限制，只要能实现上述功能的器件均可，具体实现时，根据实际应用中的需要进行设定。

综上所述，本发明实施例设计的脑-机接口可以获取用户及周围环境信息，通过机器视觉处理这些信息并智能启动、生成特定控制指令集等，为用户使用脑-机接口带来便利。

实施例2

下面结合具体的器件对实施例1中的方案进行进一步地介绍，详见下文描述：

一、脑电采集模块：

该脑电采集模块包括：脑电电极和脑电放大器。脑电电极可选用干电极或湿电极，所覆盖的区域应包括：视觉皮层、前额、头顶等。

可供参考的导联配置为：POz、PO3、PO4、PO5、PO6、Oz、O1、O2，参考电极置于头顶位置，接地电极置于前额。

用户在使用过程中，各电极与参考电极之间阻抗应低于一定阈值，可供参考的阻抗阈值的取值范围为2万欧姆-5万欧姆。脑电放大器将微弱的脑电信号放大，并进行数模转换，将数字信号传输至处理器模块。

具体实现时，脑电放大器采样率不低于1000Hz较优。脑电采集模块的开启与关闭由处理器模块控制。

上述描述的POz、PO3、PO4、PO5、PO6、Oz、O1、O2导联，为本领域公知的技术，本发明实施例对此不做赘述。

二、显示模块：

该显示模块提供近眼显示(如：增强现实)的功能，用于呈现人机交互界面，可采用微型投影仪和折射棱镜实现。

具体实现时，用户可以同时看到真实世界信息和显示模块呈现的视觉影像。显示模块提供的显示刷新率不应低于60Hz，120Hz以上较优，且刷新率在用户进行脑机控制阶段应保持稳定。显示模块提供的的显示视角范围不低于32°较优。

三、传感器模块：

该传感器模块包括：一组摄像头、麦克风等，用于捕获用户周围环境信息。各个摄像头固定于装置上，至少有一个摄像头保持与用户鼻尖方向一致，用于获取用户视野前方影像信息。整个摄像头组所能捕获到的影像应能够覆盖用户最大视野，用于探测用户视野范围内的可控制装置。麦克风采集的声音信息可供处理器模块进行语音识别等。

四、处理器模块：

该处理器模块包括：cpu，dsp芯片等。其功能包括：机器视觉、声音处理、视觉刺激界面控制、脑电信号处理、发送控制指令、用户界面以及其他功能。

机器视觉功能通过实时分析摄像头捕捉的画面，识别用户视野范围内是否存在可控制装置(例如：图2和图3中的台灯)。当识别到可控制装置时，人机交互界面上将提示用户识别到可控制装置、并在可控制装置附近位置生成标识，可以为以用户视觉夹角2°为直径的空心圆圈，如图2所示。当可控制装置标识与用户视野中心重合并保持超过阈值的时间时，则认为用户想要控制该可控制装置，进入脑-机控制状态，如图3所示。可以选择1s时长作为选择可控制装置的阈值。

人机交互界面控制功能可以在识别到用户控制某可控制装置的意图后，生成对应的脑-机控制菜单及视觉刺激并通过显示模块呈现给用户如图4所示。视觉刺激信息与脑电数据同步。可控制装置的控制菜单中每一个功能选项与一个视觉刺激单元相对应。可以选用(不限于)SSVEP脑-机控制范式。各个视觉刺激单元的亮度按正弦变化，形成闪烁，各个刺激单元闪烁频率、初始相位均不同，可选频率范围为1-100Hz。

脑电信号处理功能包括：脑电信号的滤波及脑电识别算法。滤波处理包括低通滤波、高通滤波及工频陷波。脑电识别算法通过模式识别从脑电信号中提取用户意图。在视觉刺激脑-机接口模式中，可以识别用户注意力集中在哪一视觉刺激单元上，由于各个视觉刺激单元与控制菜单中各个功能选项一一对应，故可以确定用户的控制意图。

发送控制指令功能可以根据识别到的用户意图控制通信模块向特定装置发送控制指令。此外处理器模块的功能还包括用户界面控制以及存储脑电数据等其他功能。

综上所述，本发明实施例通过机器视觉获取用户周围影像等环境信息，并根据这些信息识别用户意图，进入控制不同物体的脑-机控制状态，使得用户更快、更便捷的选择需要控制的可控制装置。

实施例3

一种结合脑-机接口、近眼显示和机器视觉的可移动穿戴人机交互系统，包括：脑-机控制单元，通过放置在头皮表面的电极采集脑电信号，解码脑电信号识别用户的控制意图；

近眼显示单元，显示交互界面以及脑-机接口所需的视觉刺激；

机器视觉单元，识别环境中的可控设备；

结合脑-机接口、近眼显示和机器视觉的可移动穿戴式人机交互系统，实现在移动环境下基于脑控、不依赖四肢的外界设备控制。

其中，本系统是基于实施例1和2中的硬件模块，实施例1和2中的上述硬件在功能上组成了脑-机控制模块、近眼显示模块、机器视觉模块，即脑-机控制模块由脑电采集模块组成，近眼显示模块由显示模块组成，机器视觉模块由传感器模块和处理器模块组成。

综上所述，本发明实施例通过机器视觉获取用户周围影像等环境信息，并根据这些信息识别用户意图，进入控制不同物体的脑-机控制状态，使得用户更快、更便捷的选择需要控制的可控制装置。

实施例4

一种便携式脑-机接口方法，该方法与实施例1和2中的接口装置相对应，参见图5，该方法包括以下步骤：

步骤101：传感器模块实时采集用户周围影像等信息，并传输给处理器模块；

步骤102：处理器模块通过机器视觉对用户周围环境影像信息进行分析，特别是对用户视野中央影像信息进行分析，当处理器模块识别出用户视野中心有可控制装置，且该可控制装置在用户视野中心保持一定时间，则进入对该可控制装置的脑-机控制阶段；

步骤103：处理器模块根据步骤102所选定的可控制装置，调出针对该可控制装置的特定脑-机控制视觉刺激界面，并通过该接口装置中的近眼显示模块呈献给用户；

步骤104：脑电采集模块进入开启状态，实时采集脑电信号传输至处理器模块，处理器模块实时分析脑电信号，并识别用户意图，产生相应控制指令。

步骤105：处理器模块将上一步骤生成的控制指令通过通信模块发送给特定装置，如果此时，可控制装置仍保持在用户视野中央一定范围内，则重复步骤103，否则重复步骤101-102。

综上所述，本发明实施例通过上述步骤101-步骤105可以通过机器视觉获取用户周围影像等环境信息，并根据这些信息识别用户意图，进入控制不同物体的脑-机控制状态。这种方法可以让用户更快、更便捷的选择需要控制的装置。

实施例5

下面结合具体的例子、图5对实施例3中的方案进行进一步地介绍，详见下文描述：

步骤201：用户将该接口装置戴在头部，既可以直接看到真实世界影像，也可以同时通过视觉刺激模块看到虚拟影像；

其中，在这一阶段，用户可以在视野中央看到一个中心标识，该中心标识可以为以用户视觉夹角0.5°为直径的实心或空心圆，用来提示用户视野中心位置。

步骤202：接口装置中的摄像头组将捕捉用户周围环境信息，特别是用户视野内的物体，并将这些信息传输至处理器模块；

步骤203：处理器模块实时分析摄像头组捕捉到的影像数据，利用机器视觉判断用户视野内是否存在可控制装置；

其中，当识别到用户视野内存在可控制装置时，处理器模块将生成识别到该物体的标识，并通过显示模块呈献给用户。

如果某物体标识与用户视野中心标识重合超过一段时间，则认为用户想要控制该物体。此时处理器模块将生成对应物体的脑-机控制菜单及视觉刺激界面，并通过该接口装置上的显示模块呈献给用户。

具体实现时，控制前，应获取用户生活场景中的常用可控制装置的图像数据，并建立其三维模型存储在处理器模块中。根据对应装置的功能设计特定控制菜单及视觉刺激界面保存在处理器模块中。例如，获取台灯的图像数据，生成其三维模型，并生成打开、关闭、增加亮度、降低亮度的脑-机控制菜单及视觉刺激单元。再例如，获取电视的图像数据，生成其三维模型，并生成打开、关闭、上一频道、下一频道、音量增大、音量减小的脑-机控制菜单及视觉刺激单元。

步骤204：用户根据自身意图，将视觉注意力集中在欲控制功能对应的视觉刺激单元上，处理器模块实时处理脑电采集模块传入的脑电信号并通过脑电识别算法识别出用户注意力所在的视觉刺激单元，进而确定用户意图；

步骤205：处理器模块通过通信模块向相应装置(即可控制装置，例如：台灯或电视)发送代表用户意图的控制指令，处理器模块根据此时摄像头传来的影像信息判断可控制装置是否仍在用户视野范围中的某一区域内；

其中，该区域可以略大于整个视觉刺激单元组的显示范围。如果是，则返回步骤204，否则返回步骤201。

下面以可控制装置为台灯为例对上述的循环步骤进行举例说明，详见下文描述：

通过步骤203确定用户想要控制台灯，通过步骤204确定用户意图为增加台灯亮度，步骤205向台灯发送提高亮度指令，并确定用户是否仍然想要继续控制台灯。若是，返回步骤204，否则返回201。

综上所述，本发明实施例通过上述步骤201-步骤205可以通过机器视觉获取用户周围影像等环境信息，并根据这些信息识别用户意图，进入控制不同物体的脑-机控制状态。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种穿戴式脑-机接口装置，其特征在于，所述装置包括：

脑电采集模块用于采集并放大脑电信号，对放大后的脑电信号进行数模转换，脑电采集模块由处理器模块控制并将采集到的脑电信号发送给处理器模块；

显示模块用于近眼显示脑-机接口所需视觉刺激及用户界面；通信模块用于无线通信；

传感器模块用于获取用户及其周围环境信息；

处理器模块用于机器视觉、声音处理、视觉刺激界面控制、脑电信号处理、发送控制指令、控制用户界面；

电源模块包括：电池等，用于供电。通信模块包括：无线网卡、蓝牙模块等，用于无线通信。

2.根据权利要求1所述的一种穿戴式脑-机接口装置，其特征在于，所述传感器模块包括：一组摄像头、麦克风；

至少有一个摄像头保持与用户鼻尖方向一致，用于获取用户视野前方影像信息；整个摄像头组所能捕获到的影像应能够覆盖用户最大视野，用于探测用户视野范围内的可控制装置；麦克风采集的声音信息可供处理器模块进行语音识别等。

3.根据权利要求1所述的一种穿戴式脑-机接口装置，其特征在于，所述机器视觉具体为：

当识别到可控制装置时，人机交互界面上将提示用户识别到可控制装置、并在可控制装置附近位置生成标识；

当可控制装置标识与用户视野中心重合并保持超过阈值的时间时，则认为用户想要控制该可控制装置，进入脑-机控制状态。

4.根据权利要求1所述的一种穿戴式脑-机接口装置，其特征在于，所述视觉刺激界面控制具体为：

识别到用户控制某可控制装置的意图后，生成对应的脑-机控制菜单及视觉刺激并通过显示模块呈现给用户，视觉刺激信息与脑电数据同步；

可控制装置的控制菜单中每一个功能选项与一个视觉刺激单元相对应。

5.根据权利要求1所述的一种穿戴式脑-机接口装置，其特征在于，所述脑电信号处理具体为：

脑电信号的滤波及脑电识别，滤波处理包括：低通滤波、高通滤波及工频陷波；

脑电识别通过模式识别从脑电信号中提取用户意图，在视觉刺激脑-机接口模式中，识别用户注意力集中在哪一视觉刺激单元上，各个视觉刺激单元与控制菜单中各个功能选项一一对应，可以确定用户的控制意图。

6.一种结合脑-机接口、近眼显示和机器视觉的可移动穿戴人机交互系统，包括：

脑-机控制单元，通过放置在头皮表面的电极采集脑电信号，解码脑电信号识别用户的控制意图；

近眼显示单元，显示交互界面以及脑-机接口所需的视觉刺激；

机器视觉单元，识别环境中的可控设备；

结合脑-机接口、近眼显示和机器视觉的可移动穿戴式人机交互系统，实现在移动环境下基于脑控、不依赖四肢的外界设备控制。

7.一种穿戴式脑-机接口方法，其特征在于，所述方法包括：

1)传感器模块实时采集用户周围影像等信息，并传输给处理器模块；

2)处理器模块通过机器视觉对用户周围环境影像信息进行分析，对用户视野中央影像信息进行分析，当处理器模块识别出用户视野中心有可控制装置，且该可控制装置在用户视野中心保持一定时间，则进入对该可控制装置的脑-机控制阶段；

3)处理器模块根据步骤2)所选定的可控制装置，调出针对该可控制装置的特定脑-机控制视觉刺激界面，并通过该接口装置中的近眼显示模块呈献给用户；

4)脑电采集模块进入开启状态，实时采集脑电信号传输至处理器模块，处理器模块实时分析脑电信号，并识别用户意图，产生相应控制指令；

5)处理器模块将上一步骤生成的控制指令通过通信模块发送给特定装置，如果此时，可控制装置仍保持在用户视野中央一定范围内，则重复步骤3)，否则重复步骤1)。