CN108181995A

CN108181995A - 交互系统、方法及装置

Info

Publication number: CN108181995A
Application number: CN201810096005.7A
Authority: CN
Inventors: 刘建涛
Original assignee: BOE Technology Group Co Ltd
Current assignee: BOE Technology Group Co Ltd
Priority date: 2018-01-31
Filing date: 2018-01-31
Publication date: 2018-06-19

Abstract

本发明提供了一种交互系统、方法及装置，该交互系统包括：电连接的脑电波采集装置、信息展示和输入装置、信号处理电路和存储器；至少一个程序，存储于存储器中，被配置为由信号处理电路执行，用于实现下述步骤：展示包含至少一个视觉刺激信息的人机交互界面，同时采集用户的脑电波信号；从脑电波信号中确定出当前响应脑电信号；确定出当前响应脑电信号对应的视觉刺激信息，作为当前视觉刺激信息；确定出与当前视觉刺激信息对应的操作命令，作为用户当前输入的操作命令。本发明中，建立当前响应脑电信号与用户所选择的当前视觉刺激信息之间的对应联系；进而确定出用户当前输入的操作命令，使得用户能够通过脑电信号更精准地表达意图。

Description

交互系统、方法及装置

技术领域

本发明涉及终端技术领域，具体而言，本发明涉及一种交互系统、方法及装置。

背景技术

脑电控制技术是指用脑电波控制计算机实现信息输入，通常所采用一种被形象称作“脑机接口”的人机交互技术。该技术通过采集大脑思维活动中产生的电信号，然后对这些信号进行分析，判别出用户的意图，并将其转换为命令来控制计算机等智能设备。目前，利用脑电控制技术己研发出一些应用系统或产品，主要分为两大类应用：一类是直接利用脑电波控制技术实现对轮椅、家用电器等智能设备的控制；另一类是利用脑电波控制技术实现对计算机光标和键盘的控制。

然而由于脑电信号的强度十分微弱，通常只有几十微伏，因此如何通过更加精确的分析脑电波，以达到提高系统对用户脑电波的识别的正确率，一直是本领域技术人员丞需解决的问题。

发明内容

本发明针对现有技术存在的脑电波分析精确度较低的缺陷，提供了一种交互系统、方法及装置。目的在于从众多微弱的脑电信号中识别出所需的响应信号，以及进一步提高识别响应信号的正确率，使得用户能够通过脑电信号更精准地表达意图。

本发明技术方案如下：

本发明实施例根据第一个方面，提供一种交互系统，包括：脑电波采集装置，配置为可覆盖于用户头部表面；

输入输出设备，包括信息展示和输入装置；

信号处理电路，分别与所述脑电波采集装置和输入输出设备电连接；

存储器，与所述信号处理电路电连接；

至少一个程序，存储于所述存储器中，被配置为由所述信号处理电路执行，用于实现下述步骤：

控制所述输入输出设备展示包含至少一个视觉刺激信息的人机交互界面，同时控制所述脑电波采集装置采集用户的脑电波信号；

从所述脑电波信号中确定出当前响应脑电信号；

确定出所述当前响应脑电信号对应的视觉刺激信息，作为当前视觉刺激信息；

确定出与所述当前视觉刺激信息对应的操作命令，作为用户当前输入的操作命令。

较佳地，所述信号处理电路，与所述脑电波采集装置无线连接，与所述输入输出设备有线连接和/或无线连接；

或者，所述信号处理电路，与所述脑电波采集装置无线连接，集成在所述输入输出设备中；

或者，所述信号处理电路，固定在所述脑电波采集装置上且有线连接，与所述输入输出设备无线连接。

本发明的实施例根据第二个方面，还提供了一种交互方法，包括：

展示包含至少一个视觉刺激信息的人机交互界面，同时采集用户的脑电波信号；

从所述脑电波信号中确定出当前响应脑电信号；

较佳地，所述展示包含至少一个视觉刺激信息的人机交互界面，包括：

显示所述人机交互界面，在所述人机交互界面中显示至少一个输入区域；

在每个所述输入区域中显示多个子输入区域，并在每个所述子输入区域中显示一个视觉刺激信息。

较佳地，所述视觉刺激信息包括下述至少一项：背景图案、颜色、亮度、灰度。

较佳地，所述从所述脑电波信号中确定出当前响应脑电信号，包括：

确定出训练得到的每个响应脑电信号与所述脑电波信息的相似度；

确定出超出预设的相似度阈值的至少一个相似度；

将所述至少一个相似度中最大相似度对应的响应脑电信号，作为所述当前响应脑电信号。

较佳地，所述确定出所述当前响应脑电信号对应的视觉刺激信息，作为当前视觉刺激信息，包括：

从训练得到的多个响应脑电信号与视觉刺激信息的对应关系中，确定出当前响应脑电信号所对应的视觉刺激信息，作为当前视觉刺激信息。

较佳地，所述确定出与所述当前视觉刺激信息对应的操作命令，作为用户当前输入的操作命令，包括：

确定出所述视觉刺激信息所属的子输入区域；

确定出该子输入区域对应的操作命令，作为用户当前输入的操作命令。

本发明的实施例根据第三个方面，还提供了一种交互装置，包括：

响应脑电信号确定模块，用于展示包含至少一个视觉刺激信息的人机交互界面，同时采集用户的脑电波信号，从脑电波信号中确定出当前响应脑电信号；

视觉刺激信息确定模块，用于确定出当前响应脑电信号对应的视觉刺激信息，作为当前视觉刺激信息；

操作命令确定模块，用于确定出与当前视觉刺激信息对应的操作命令，作为用户当前输入的操作命令。

较佳地，所述响应脑电信号确定模块具体用于显示所述人机交互界面，在所述人机交互界面中显示至少一个输入区域；在每个所述输入区域中显示多个子输入区域，并在每个所述子输入区域中显示一个视觉刺激信息。

本发明的实施例中，展示包含至少一个视觉刺激信息的人机交互界面，用户当前注视某一视觉刺激信息产生反应生成当前响应脑电信号；展示的同时采集用户的脑电波信号，并从采集的脑电波信号中确定出当前响应脑电信号；用户当前注视的视觉刺激信息往往是用户所选择的当前视觉刺激信息，从而建立当前响应脑电信号与用户所选择的当前视觉刺激信息之间的对应联系；进而确定出与当前视觉刺激信息对应的操作命令作为用户当前输入的操作命令，进一步提高了利用脑电控制技术识别响应信号的正确率，使得用户能够通过脑电信号更精准地表达意图。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的交互系统的一个实例的架构示意图。

图2为本发明实施例的交互方法的流程示意图。

图3为本发明实施例的交互系统中的信息展示和输入装置示意图。

图4为本发明实施例的九宫格输入法的视觉刺激信息示意图。

图5为本发明实施例的脑电波采集装置采集的未包含响应脑电信号的脑电波信号波形示意图。

图6为本发明实施例的脑电波采集装置采集的包含响应脑电信号的脑电波信号波形示意图。

图7为本发明实施例的交互装置的内部结构的框架示意图。

附图标记如下：1-脑电波采集装置，2-包含视觉刺激信息的输入区域，3-信息展示和输入装置，4-第一输入区域，5-第二输入区域。

具体实施方式

为了解决人们在接受视觉刺激时的脑电信号较微弱、且难于精确分析脑电波的技术问题，本发明提供一种交互系统，该系统包括：脑电波采集装置、输入输出设备和信号处理电路。其中，脑电波采集装置覆盖于用户头部表面，用于采集用户头部产生的脑电信号。输入输出设备包括信息展示和输入装置。信号处理电路，分别与脑电波采集装置和输入输出设备电连接；进一步地，信号处理电路一方面与脑电波采集装置的输出端电连接，另一方面还与输入输出设备的输入端电连接。

该交互系统还包括存储器和至少一个程序。存储器与信号处理电路电连接。存储器内存储至少一个程序，且该程序被配置为由信号处理电路执行，用于实现下述步骤：

控制所述输入输出设备展示包含至少一个视觉刺激信息的人机交互界面，同时控制脑电波采集装置采集用户的脑电波信号。

从该脑电波信号中确定出当前响应脑电信号。

确定出当前响应脑电信号对应的视觉刺激信息，作为当前视觉刺激信息。

确定出与当前视觉刺激信息对应的操作命令，作为用户当前输入的操作命令。

本发明的交互系统将当前视觉刺激信息与用户面对该信息时的以脑电信号形式的反应建立联系，且该交互系统成功地实现了从众多微弱的脑电信号中识别出所需的响应信号的技术效果，并进一步提高了利用脑电控制技术识别响应信号的正确率，使得用户能够通过脑电信号更精准地表达意图。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

图1为本发明实施例的交互系统的一个实例的架构示意图。图1示出了本发明实施例的交互系统的一种产品实物，如图1所示，该交互系统包括：覆盖在用户头部表面的脑电波采集装置1，该装置采用阵列基板结构，用于采集用户头部表面发出的脑电信号。

图1中的类似笔记本电脑形态的器件属于一种具有屏幕的输入装置，也称为信息展示和输入装置3(属于输入输出设备)，该信息展示和输入装置3显示有包含多个视觉刺激信息的输入区域2。交互系统中的信号处理电路未在图1中示出，与脑电波采集装置1无线连接，并与信息展示和输入装置3电连接。该信号处理电路可以设置在外部，独立于信息展示和输入设备3，也可以设置在信息展示和输入装置3的内部。图1中的交互系统还包括与信号处理电路电连接的存储器，以及存储于该存储器中的至少一个程序；该至少一个程序的具体功能将在后续方法中详细介绍，此处不再赘述。

事实上，本发明实施例中，脑电波采集装置、输入输出设备、与信号处理电路之间的电连接关系多种多样。

较佳地，信号处理电路，与脑电波采集装置无线连接，与输入输出设备有线连接和/或无线连接；或者，信号处理电路，与脑电波采集装置无线连接，集成在输入输出设备中；或者，信号处理电路，固定在脑电波采集装置上且有线连接，与输入输出设备无线连接。

较佳地，信息处理电路与待控制的智能设备电连接。待控制的智能设备包括下述至少一项：智能家电、智能轮椅、智能手机、平板电脑、笔记本电脑、带网络功能的台式电脑。进一步，输入输出设备可以具体为智能手机、平板电脑、笔记本电脑或带网络功能的台式电脑，此时输入输出设备与待控制的智能设备合二为一。

基于上述交互系统，本发明实施例提供了一种交互方法，该方法的流程示意图如图2所示，包括下述步骤：

S201：展示包含至少一个视觉刺激信息的人机交互界面，同时采集用户的脑电波信号。

较佳地，显示人机交互界面，在人机交互界面中显示至少一个输入区域。

例如，图3为本发明实施例交互系统中的信息展示和输入装置示意图。图3中示出的是信息展示和输入装置中显示两个不相邻的输入区域。图3中仅示出第一输入区域4和第二输入区域5两个输入区域，也可以根据需要设置更多的输入区域，以便于更好地增强区别度。

较佳地，在每个输入区域中显示多个子输入区域，并在每个子输入区域中显示一个视觉刺激信息。视觉刺激信息包括下述至少一项：背景图案、颜色、亮度、灰度。进一步，每个输入区域中的多个子输入区域可以相互邻接；或者，至少两个子输入区域不相邻。

例如，图4为本发明实施例的九宫格输入法的视觉刺激信息示意图。图4列举的是具体构成九宫格的9个相互邻接的子输入区域。每个子输入区域可以具有不同的背景填充图案、不同的颜色背景、不同的灰度和/或不同亮度，只要是能够使不同子输入区域明显区分并对脑电波信号采集产生影响的视觉刺激信息皆可。当用户看到位于子输入区域内不同的背景填充图案、不同的颜色背景、不同的灰度和/或不同亮度的视觉刺激信息时，会产生不相同的脑电波。脑电波采集装置根据每个子输入区域对于用户所产生出的脑电波的影响程度不同，解析为不同的用户反应意图，进而实现输入功能。

S202：从脑电波信号中确定出当前响应脑电信号。

较佳地，下面结合附图5和附图6，介绍用户尚未接收视觉刺激信息时的脑电波信号波形，以及当用户接收到视觉刺激信息后产生的响应脑电信号。

图5为本发明实施例的脑电波采集装置采集的未包含响应脑电信号的脑电波信号波形示意图。显然图5中示出的脑电波形表现比较均匀平稳，没有出现向上突起的峰形，即该脑电波形比较平稳。

图6为本发明实施例的脑电波采集装置采集的包含响应脑电信号的脑电波信号波形示意图。当人眼看到输入区域不同的视觉刺激信息时，例如颜色，人脑会对该信息产生反应，产生如图6所示的脑电波信号，图6中向上突起的峰形即为人脑针对某一视觉刺激信息对应产生响应脑电信号。各个输入区域由于刺激信号的强度和种类不同，所以在图6中所示的脑电波信号(和其中的响应脑电信号)也会不相同。脑电波采集装置通过识别该诸如突起峰形等有别于平稳峰形的特征峰形进一步提高识别的正确率。

可以预先收集大量的视觉刺激信息，按照图6的方式确定出每个视觉刺激信息对应的响应脑电信号，从而训练得到多个视觉刺激信息与响应脑电信号的对应关系，以及各种响应脑电信号的特征参数。

S202：从采集到的脑电波信号中确定出当前响应脑电信号。

较佳地，确定出训练得到的每个响应脑电信号与脑电波信息的相似度；确定出超出预设的相似度阈值的至少一个相似度；将至少一个相似度中最大相似度对应的响应脑电信号，作为当前响应脑电信号。

S203：确定出当前响应脑电信号对应的视觉刺激信息，作为当前视觉刺激信息。

较佳地，从训练得到的多个响应脑电信号与视觉刺激信息的对应关系中，确定出当前响应脑电信号所对应的视觉刺激信息，作为当前视觉刺激信息。

S204：确定出与当前视觉刺激信息对应的操作命令，作为用户当前输入的操作命令。

较佳地，确定出视觉刺激信息所属的子输入区域；

基于同一发明思路，本发明实施例还提供一种交互装置，该交互装置的内部结构的框架示意图，包括：响应脑电信号确定模块701、视觉刺激信息确定模块702和操作命令确定模块703。

响应脑电信号确定模块701用于展示包含至少一个视觉刺激信息的人机交互界面，同时采集用户的脑电波信号，从脑电波信号中确定出当前响应脑电信号。

视觉刺激信息确定模块702用于确定出当前响应脑电信号对应的视觉刺激信息，作为当前视觉刺激信息。

操作命令确定模块703用于确定出与当前视觉刺激信息对应的操作命令，作为用户当前输入的操作命令。

较佳地，响应脑电信号确定模块701具体用于显示人机交互界面，在人机交互界面中显示至少一个输入区域；在每个输入区域中显示多个子输入区域，并在每个子输入区域中显示一个视觉刺激信息。

进一步，视觉刺激信息包括下述至少一项：背景图案、颜色、亮度、灰度。

较佳地，响应脑电信号确定模块701具体用于确定出训练得到的每个响应脑电信号与脑电波信息的相似度；确定出超出预设的相似度阈值的至少一个相似度；将至少一个相似度中最大相似度对应的响应脑电信号，作为当前响应脑电信号。

较佳地，视觉刺激信息确定模块702具体用于从训练得到的多个响应脑电信号与视觉刺激信息的对应关系中，确定出当前响应脑电信号所对应的视觉刺激信息，作为当前视觉刺激信息。

较佳地，操作命令确定模块703具体用于确定出视觉刺激信息所属的子输入区域；确定出该子输入区域对应的操作命令，作为用户当前输入的操作命令。

本发明的交互装置将当前视觉刺激信息与用户面对该信息时的以脑电信号形式的反应建立联系，且该交互系统成功地实现了从众多微弱的脑电信号中识别出所需的响应信号的技术效果，并进一步提高了利用脑电控制技术识别响应信号的正确率，使得用户能够通过脑电信号更精准地表达意图。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加至少一个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种交互系统，其特征在于，包括：

脑电波采集装置，配置为可覆盖于用户头部表面；

输入输出设备，包括信息展示和输入装置；

存储器，与所述信号处理电路电连接；

从所述脑电波信号中确定出当前响应脑电信号；

2.根据权利要求1所述的系统，其特征在于，所述信号处理电路，与所述脑电波采集装置无线连接，与所述输入输出设备有线连接和/或无线连接；

3.一种交互方法，其特征在于，包括：

从所述脑电波信号中确定出当前响应脑电信号；

4.根据权利要求3所述的方法，其特征在于，所述展示包含至少一个视觉刺激信息的人机交互界面，包括：

5.根据权利要求4所述的方法，其特征在于，所述视觉刺激信息包括下述至少一项：背景图案、颜色、亮度、灰度。

6.根据权利要求3所述的方法，其特征在于，所述从所述脑电波信号中确定出当前响应脑电信号，包括：

确定出超出预设的相似度阈值的至少一个相似度；

7.根据权利要求4所述的方法，其特征在于，所述确定出所述当前响应脑电信号对应的视觉刺激信息，作为当前视觉刺激信息，包括：

8.根据权利要求7所述的方法，其特征在于，所述确定出与所述当前视觉刺激信息对应的操作命令，作为用户当前输入的操作命令，包括：

确定出所述视觉刺激信息所属的子输入区域；

9.一种交互装置，其特征在于，包括：

10.根据权利要求9所述的交互装置，其特征在于，

所述响应脑电信号确定模块具体用于显示所述人机交互界面，在所述人机交互界面中显示至少一个输入区域；在每个所述输入区域中显示多个子输入区域，并在每个所述子输入区域中显示一个视觉刺激信息。