CN206193690U - 基于脑机接口的可移动头戴终端及系统 - Google Patents

Abstract

本实用新型提供了一种基于脑机接口的可移动头戴终端及系统，涉及脑机接口技术领域，该可移动头戴终端包括头戴装置和多个电极；该头戴装置包括彼此连接的固定带和固定架；固定带用于将上述多个电极安放到用户头部的不同位置；固定架用于固定显示与语音播报终端；上述电极用于与显示与语音播报终端连接后，实时获取用户的脑电信号，将该脑电信号发送给显示与语音播报终端，以使显示与语音播报终端根据脑电信号播放用户欲表达的文字。本实用新型可以将用户欲表达的文字通过该显示与语音播报终端播报出来，从而帮助聋哑人表达，使用方便且成本低，便于推广应用。

Description

基于脑机接口的可移动头戴终端及系统

技术领域

本实用新型涉及脑机接口技术领域，具体而言，涉及一种基于脑机接口的可移动头戴终端及系统。

背景技术

聋哑人由于无法清楚地听到外界声音而不能顺畅获取信息，也无从表达自己的意愿，因此在与外界沟通交流的过程中存在诸多障碍。希望和正常人一样方便自由地和外界进行交互，是每一位聋哑人的愿望。

现有的辅助聋哑人的信息技术可以分为三个层次：首先是非干扰技术，例如“手语合成”与“手语识别”技术；其次是半干扰技术，采用佩戴辅助设备的方式，例如骨导助听器和骨导耳机；第三种是干扰性技术，需要对人体进行一定程度的侵入性操作，例如人工耳蜗。然而上述信息技术存在使用不便或者成本高昂的问题，无法满足聋哑人的要求。

针对上述辅助聋哑人的信息技术存在的使用不便或者成本高昂的问题，目前尚未提出有效的解决方案。

实用新型内容

有鉴于此，本实用新型的目的在于提供一种基于脑机接口的可移动头戴终端及系统，辅助聋哑人交流，使用方便且成本较低。

第一方面，本实用新型实施例提供了一种基于脑机接口的可移动头戴终端，包括：头戴装置和多个电极；该头戴装置包括彼此连接的固定带和固定架；固定带用于将上述多个电极安放到用户头部的不同位置；固定架用于固定显示与语音播报终端；上述电极用于与显示与语音播报终端连接后，实时获取用户的脑电信号，将该脑电信号发送给显示与语音播报终端，以使显示与语音播报终端根据脑电信号播放用户欲表达的文字。

结合第一方面，本实用新型实施例提供了第一方面的第一种可能的实施方式，其中，多个电极为12个，分别对应于用户头部的额中点、额顶中点、中央点、顶枕中点、顶点、枕点、左顶、左后枕、左枕、右枕、右顶和右后枕；或者，多个电极为8个，分别对应于用户头部的额中点、中央点、顶点、枕点、左顶、左枕、右枕和右顶。

结合第一方面或第一方面的第一种可能的实施方式，本实用新型实施例提供了第一方面的第二种可能的实施方式，其中，固定架包括面壳和基座；该基座呈弧形，且在佩戴时与用户的脸部接触；该面壳与基座可拆卸连接；至少面壳和基座之一设置有锁紧部件，该锁紧部件用于固定显示与语音播报终端。

结合第一方面或第一方面的第一种可能的实施方式，本实用新型实施例提供了第一方面的第三种可能的实施方式，其中，固定带包括环带和顶带，上述多个电极分别固定在环带和顶带的预定位置，以采集用户的P300脑电信号。

结合第一方面或第一方面的第一种可能的实施方式，本实用新型实施例提供了第一方面的第四种可能的实施方式，其中，头戴装置是VR眼镜。

第二方面，本实用新型实施例还提供一种基于脑机接口的系统，包括：显示与语音播报终端和第一方面及其各可能的实施方式提供的可移动头戴终端，该显示与语音播报终端固定在可移动头戴终端中。

结合第二方面，本实用新型实施例提供了第二方面的第一种可能的实施方式，其中，显示与语音播报终端包括显示屏、处理器、摄像头和扬声器；处理器用于接收脑电信号，并根据脑电信号确定用户欲表达的文字，控制扬声器播放文字；摄像头用于采集外界图像并由显示屏显示。

结合第二方面或第二方面的第一种可能的实施方式，本实用新型实施例提供了第二方面的第二种可能的实施方式，其中，显示屏还用于显示输入界面，并循环闪烁输入界面中的按键，在一个循环周期内按键不重复随机闪烁；处理器还用于根据用户的脑电信号是否大于阈值电位确定用户欲选择的按键，并按照该选择的按键进行对应操作。

结合第二方面，本实用新型实施例提供了第二方面的第三种可能的实施方式，其中，显示与语音播报终端还包括麦克风，该麦克风用于采集语音；显示屏还用于显示语音对应的文字。

结合第二方面，本实用新型实施例提供了第二方面的第四种可能的实施方式，其中，显示与语音播报终端是智能手机。

本实用新型实施例带来了以下有益效果：

通过头戴装置将多个电极固定到用户的头部的不同位置，采集该用户的脑电信号并发送给显示与语音播报终端，从而将该用户欲表达的文字通过该显示与语音播报终端播报出来，从而帮助聋哑人表达，使用方便且成本低，便于推广应用。

本实用新型的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本实用新型而了解。本实用新型的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本实用新型的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本实用新型具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本实用新型的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实用新型实施例提供的可移动头戴终端的结构示意图；

图2为本实用新型实施例提供的可移动头戴终端使用的电极的位置示意图；

图3为本实用新型实施例提供的用户佩戴可移动头戴终端的示意图；

图4为本实用新型实施例提供的基于脑机接口的系统的结构框图；

图5为本实用新型实施例提供的基于脑机接口的系统的标准输入界面示意图；

图6为本实用新型实施例提供的基于脑机接口的系统的快捷输入界面示意图；

图7为本实用新型实施例提供的基于脑机接口的系统的听音输入界面示意图。

图标：

100-可移动头戴终端；200-语音播报终端；110-头戴装置；120-电极；111-固定带；112-固定架；211-面壳；212-基座；310-智能手机；311-环带；312-顶带。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

目前辅助聋哑人的信息技术存在的使用不便或者成本高昂的问题，基于此，本实用新型实施例提供的一种基于脑机接口的可移动头戴终端及系统，用于帮助聋哑人交流，使用方便且成本较低。

为便于对本实施例进行理解，首先对本实用新型实施例所公开的一种基于脑机接口的可移动头戴终端进行详细介绍。

实施例一：

本实用新型实施例1提供了一种基于脑机接口的可移动头戴终端。脑机接口(brain-computer interface,BCI)是在人脑和计算机或其他电子设备之间建立的一种直接的信息交流和控制通道，不依赖于常规脑外周神经和肌肉系统，直接在人脑和计算机等电子设备之间进行信息交流和控制。BCI系统涉及两个主要的方面，一方面是对脑电信号的采集以及如何使大脑产生容易被区分和识别的控制信号；另一方面是计算机如何有效处理信号，提出脑电信号的特征并选择识别这些特征。本实施例提供了一种基于脑机接口的可移动头戴终端，具体如下：

如图1所示，可移动头戴终端包括头戴装置110和多个电极120，其中头戴装置110包括彼此连接的固定带111和固定架112。

具体地，固定带111用于将多个电极120安放到用户头部的不同位置.固定架112用于固定显示与语音播报终端(未图示)；上述电极120用于与显示与语音播报终端连接后，实时获取用户的脑电信号，并将该脑电信号发送给显示与语音播报终端，以使显示与语音播报终端根据脑电信号播放用户欲表达的文字。

在图1中还示出了固定架112的具体结构，具体包括面壳211和基座212。其中基座212优选为弧形，以方便在使用时与用户脸部贴合，避免外界的光线从基座212与脸部的缝隙进入，影响显示与语音播报终端的显示效果。

面壳211和基座212可拆卸连接，具体可以通过卡扣或者螺纹等方式连接。至少在面壳211和基座212中之一设置有锁紧部件，该锁紧部件用于固定显示与语音播报终端。

在图1中还示出了固定带111的具体结构，具体包括环带311和顶带312，上述多个电极120分别固定在环带311和顶带312的预定位置，以采集用户的P300脑电信号。其中P300是一种诱发电位，是神经系统接受特定模式下的视觉刺激所产生的特定电活动，发生于特定的时间，在特定的脑头皮区域信号能量分布比较明显，相对容易检测，适合于脑机接口应用。使用者无需特别训练就可以达到较好的效果。在图1中，顶带312与环带311和基座212均相连，可以理解顶带312可以与两者之一相连，仅起到固定电极的作用。

采集上述P300脑电信号的电极位置如图2所示，由于P300脑电信号是由视觉诱发的脑电洗好，而视觉的产生主要集中在枕叶区，故在该电极位置示意图中选择两矩形框中包括的电极。在使用12通道时(电极为12个)，电极位置包括：额中点(FZ)、额顶中点(FCz)、中央点(Cz)、顶枕中点(CPz)、顶点(Pz)、枕点(Oz)、左顶(P3)、左后枕(P7)、左枕(O1)、右枕(O2)、右顶(P4)和右后枕(P8)。在使用8通道时(电极为8个)，电极位置包括：额中点(FZ)、中央点(Cz)、顶点(Pz)、枕点(Oz)、左顶(P3)、左枕(O1)、右枕(O2)和右顶(P4)。

上述头戴装置110可以使用现有技术中的VR眼镜(或称为VR头盔)，一般VR眼镜包括的环带恰好覆盖上述后枕区，而顶带则恰好覆盖上述额顶区，因此可以将电极直接固定在上述环带及顶带上，美观简洁，适合实际使用。上述VR眼镜还可以包括与眼镜一体制造及出售的显示与语音播报终端，也可以根据需要放入其他显示与语音播报终端，例如智能手机等。如图3所示的用户佩戴可移动头戴终端的示意图，其中显示了智能手机310。

除上述方式外，还可以使用特意制作的头戴装置来固定电极，或者在VR眼镜上增加固定部件等，只要满足固定电极到需要的采集位置即可。

上述实施例1中的可移动头戴终端，穿戴在用户头部，可以实时采集用户的脑电信号，并发送给显示与语音播报终端，从而将该用户欲表达的文字通过该显示与语音播报终端播报出来，上述终端对帮助聋哑人进行沟通交流具有重要的意义，使用方便且成本低，便于推广应用。

实施例二：

本实用新型实施例2提供了一种基于脑机接口的系统，如图4所示，包括上述实施例中提供的可移动头戴终端100和显示与语音播报终端200，且该显示与语音播报终端200固定在可移动头戴终端100中。

具体地，显示与语音播报终端200包括显示屏、处理器、摄像头和扬声器；处理器用于接收脑电信号，并根据脑电信号确定用户欲表达的文字，控制扬声器播放上述文字；摄像头用于采集外界图像并由显示屏显示。因此用户可以在佩戴上述系统的情况下，可以通过摄像头及显示屏看到外界的景象，能够自由移动，使用方便灵活。

进一步，显示屏还用于显示输入界面，并循环闪烁输入界面中的按键，在一个循环周期内按键不重复随机闪烁；处理器还用于根据用户的脑电信号是否大于阈值电位确定用户欲选择的按键，并按照该选择的按键进行对应操作。此时输入界面与外界的景象叠加显示，用户可以在观察外界(例如谈话的对象)的同时进行上述输入。

考虑到聋哑人的听力存在问题，为了将其他人的语音转化为聋哑人能够识别的形式，显示与语音播报终端200还包括麦克风，该麦克风用于采集语音；显示屏还用于显示语音对应的文字。

上述头戴装置110可以使用现有技术中的VR眼镜(或称为VR头盔)，显示与语音播报终端200可以是与眼镜一体制造及出售的显示与语音播报装置，也可以是其他智能终端，例如智能手机等。在上述显示与语音播报终端或者智能终端中安装有相应的输入判断软件。

以下介绍脑机接口系统的使用流程：

首先介绍标准输入方法，以下为示例：

1、用户开启系统，此时默认进入观察模式，摄像头开启并在显示屏上上显示采集到的外界图像，用户看到的就是外界实时的景象。

2、当用户需要与其他人交流时，可以通过实体按钮等方式切换到输入模式。此时显示屏上显示输入界面，如图5所示，此时外界景象与输入界面叠加显示，为了表示清楚实时的外界景象未在图中示出。下文以九宫格拼音输入法为例进行介绍，可以理解也可以采取其他输入方式，例如QWERTY键盘、五笔输入法、按照英文字母顺序排列的键盘或者其他方式任意排列的键盘等。在图5中同时示出了九宫格的按键及功能键，功能键具体包括“确定”、“选词/快捷”和“撤销/切换”，同时还示出了输入框。

3、在进入输入界面后，提示倒计时3秒。倒计时结束后，按钮将进行闪烁。

在实际实施时，可以将一次按键的闪烁和停顿定为一个试验(下文使用trial表示)。例如，将每个trial设置为耗时150ms，该按键将显示一个设置好的图片75ms，并停止75ms等待下一个按键的闪烁。在本实施例中将如图5中所示的11个按键各经过一个trial定为一个循环(下文使用round表示)。在一个round中，11个按键将通过随机函数不重复地各经过trial。因此一个round就将耗时11*0.15s＝1.65s。

用户将至少经历前三个round，为保证识别率前三个round是必经程序，原因在于脑电信号作为一种复杂的非平稳随机信号，需要必要次数的叠加才能保证识别的准确率，次数越多准确率越高。为了兼顾准确率和输入花费的时间，此处采用三次循环的方式，可以理解的采用其他次数循环也能实现。

4、电极将上述round中用户的脑电信号采集并发送到显示与语音播报终端的处理器，通过贝叶斯分类器将判断是否检测到达到阈值的P300电位。如果判断检测到，将通过时间顺序判断用户输入，完成第一轮判断。第一轮耗时3*1.65s＝4.95s。其中贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。同时上述贝叶斯分类器已完成利用样本进行训练。

5、如果在第一轮判断系统没有检测出达到阈值的电位，则进行第二轮判断。处理器将筛选出在第一轮中前5个最有可能是用户输入的按键，并将它们通过随机函数不重复地经过trial。这5个trial构成新的一个round。每个round过后，系统将进行判断，如果结合第一轮数据有P300电位达到阈值，系统将进行输入。这样系统就直接省略了未进行的round，减少了输入需要的时间。第二轮最多4个round，如果在这4个round之后仍然没有达到阈值的P300电位，系统将输出最有可能的那个按键。最坏情况下，第二轮耗时0.15s*5*4＝3s。

例如，在输入“脑”时，首先输入“nao”中的“n”。在成功输入之前，用户需持续关注带有“MNO”的按钮，注意其闪烁的次数。(在此将这种输入方法定义为标准输入方法)如此输入“nao”之后，用户就需要在字词备选框中选择“脑”字。如果备选框中第一个字，即默认选择的字，就是“脑”，用户就可以依据标准输入方法选择“确定”键进行确定选词。如果需要选择下一个词，用户需要依据输入方法选择“选词/快捷”按键，接到此指令后选词框将移至下一个备选字。以此类推用户可以将选词框移至需要的字上，然后通过“确定”确定输入。

以此类推输入完“脑机接口”后，用户可以通过再次输入“确定”键确定朗读。系统接到此命令后将通过扬声器朗读已经输入的词句，并通过扩音器标志闪烁表示朗读状态。至此完成了将用户的脑电信号转换成语音输出的整个过程，使聋哑人具备了“说”的能力，实现了聋哑人表达自己意愿的目的。

其次介绍快捷输入方法，以下为示例：

1、在用户使用前，可以预先录入最多8个快捷输入词句。用户可以通过快捷输入提高输入效率。

2、在输入模式界面下用户通过标准输入方法输入“选词/快捷”将切换到快捷输入模式。在此模式下8个按钮将变为数字键，如图6所示，分别对应着8个用户预先设置好的句子或词语。如：1键代表着用户预先设置的“你好”。如果需要输入“你好”，用户此时可以通过记忆，用标准输入模式选择1键。接到指令，输入框中将出现“你好”词句。之后，用户可以选择输入“确定”直接朗读，或者通过快捷输入或者切换回一般输入模式进行其他的输入，与已输入内容一起构成词句进行朗读。

最后介绍听音方法，以下为示例：

用户在需要接收外界的声音时，可以输入撤销/切换键切换到听音模式。此时，系统将显示听音标志和显示框。切换后倒计时3秒后。系统将开启麦克风，将听到的语音转化为文本在显示框中显示，如图7所示的显示框中的内容为“脑机接口，是在人脑和计算机或其他电子设备之间建立的一种直接的信息交流和控制通道，不依赖于常规脑外周神经和肌肉系统，直接在人脑和计算机等电子设备之间进行信息交流和控制”。听音转化时，听音标志将进行闪烁。如用户需停止听音，可以输入“确定”。切换回输入模式需要输入“切换”。通过听音的方式，将外界的声音例如其他正常人的对话转换为文字并显示在显示屏上，使聋哑人具备了“听”的能力。具体的语音转化方式使用现有技术，在此不再赘述。

上述实施例2中的基于脑机接口的系统，可以实时采集用户的P300脑电信号，并发送给显示与语音播报终端，该显示与语音播报终端可以根据上述脑电信号确定用户欲表达的文字并控制扬声器播放上述文字，并且能够通过听音将外界的声音转换为文字并显示在显示屏上，使聋哑人具备“说”和“听”的能力，对帮助聋哑人进行沟通交流具有重要的意义，使用方便且成本低，便于推广应用。

另外，在本实用新型实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本实用新型中的具体含义。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实用新型的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本实用新型各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本实用新型的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本实用新型的具体实施方式，用以说明本实用新型的技术方案，而非对其限制，本实用新型的保护范围并不局限于此，尽管参照前述实施例对本实用新型进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本实用新型实施例技术方案的精神和范围，都应涵盖在本实用新型的保护范围之内。因此，本实用新型的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于脑机接口的可移动头戴终端，其特征在于，包括：

头戴装置和多个电极；所述头戴装置包括彼此连接的固定带和固定架；

所述固定带用于将所述多个电极安放到用户头部的不同位置；

所述固定架用于固定显示与语音播报终端；

所述电极用于与所述显示与语音播报终端连接后，实时获取所述用户的脑电信号，将所述脑电信号发送给所述显示与语音播报终端，以使所述显示与语音播报终端根据所述脑电信号播放所述用户欲表达的文字。

2.根据权利要求1所述的可移动头戴终端，其特征在于，所述多个电极为12个，分别对应于所述用户头部的额中点、额顶中点、中央点、顶枕中点、顶点、枕点、左顶、左后枕、左枕、右枕、右顶和右后枕；或者，

所述多个电极为8个，分别对应于所述用户头部的额中点、中央点、顶点、枕点、左顶、左枕、右枕和右顶。

3.根据权利要求1-2中任一项所述的可移动头戴终端，其特征在于，所述固定架包括面壳和基座；

所述基座呈弧形，且在佩戴时与所述用户的脸部接触；

所述面壳与所述基座可拆卸连接；

至少所述面壳和基座之一设置有锁紧部件，所述锁紧部件用于固定所述显示与语音播报终端。

4.根据权利要求1-2中任一项所述的可移动头戴终端，其特征在于，所述固定带包括环带和顶带，所述多个电极分别固定在所述环带和顶带的预定位置，以采集所述用户的P300脑电信号。

5.根据权利要求1-2中任一项所述的可移动头戴终端，其特征在于，所述头戴装置是VR眼镜。

6.一种基于脑机接口的系统，其特征在于，包括：显示与语音播报终端和权利要求1-5中任一项所述的可移动头戴终端，所述显示与语音播报终端固定在所述可移动头戴终端中。

7.根据权利要求6所述的脑机接口的系统，其特征在于，

所述显示与语音播报终端包括显示屏、处理器、摄像头和扬声器；

所述处理器用于接收所述脑电信号，并根据所述脑电信号确定所述用户欲表达的文字，控制所述扬声器播放所述文字；

所述摄像头用于采集外界图像并由所述显示屏显示。

8.根据权利要求7所述的脑机接口的系统，其特征在于，所述显示屏还用于显示输入界面，并循环闪烁所述输入界面中的按键，在一个循环周期内所述按键不重复随机闪烁；

所述处理器还用于根据所述用户的脑电信号是否大于阈值电位确定所述用户欲选择的按键，并按照所述选择的按键进行对应操作。

9.根据权利要求6所述的脑机接口的系统，其特征在于，所述显示与语音播报终端还包括麦克风，所述麦克风用于采集语音；所述显示屏还用于显示所述语音对应的文字。

10.根据权利要求6所述的脑机接口的系统，其特征在于，所述显示与语音播报终端是智能手机。