CN103995583A - 实现针对p300成分的脑机接口界面的设备及其方法 - Google Patents

实现针对p300成分的脑机接口界面的设备及其方法 Download PDF

Info

Publication number
CN103995583A
CN103995583A CN201410175100.8A CN201410175100A CN103995583A CN 103995583 A CN103995583 A CN 103995583A CN 201410175100 A CN201410175100 A CN 201410175100A CN 103995583 A CN103995583 A CN 103995583A
Authority
CN
China
Prior art keywords
constraint term
subset
constraint
frequency
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410175100.8A
Other languages
English (en)
Other versions
CN103995583B (zh
Inventor
施锦河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Semiconductor China R&D Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Samsung Semiconductor China R&D Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Semiconductor China R&D Co Ltd, Samsung Electronics Co Ltd filed Critical Samsung Semiconductor China R&D Co Ltd
Priority to CN201410175100.8A priority Critical patent/CN103995583B/zh
Priority to CN201710362272.XA priority patent/CN107102740B/zh
Publication of CN103995583A publication Critical patent/CN103995583A/zh
Priority to KR1020140178712A priority patent/KR20150124368A/ko
Priority to US14/693,297 priority patent/US20150309572A1/en
Application granted granted Critical
Publication of CN103995583B publication Critical patent/CN103995583B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种实现针对P300成分的脑机接口界面的设备及其方法。所述设备包括：显示单元，向用户显示针对P300成分的脑机接口界面，其中，所述脑机接口界面包括多个待选项；待选项划分单元，按照各个待选项的使用频率，将所述多个待选项划分到N个子集，N为大于1的整数，其中，待选项的使用频率越高，其被划分到的子集的规模越小；闪烁单元，按照预定频率，每次促使脑机接口界面中的N个待选项来发光，使得用户感觉到各个待选项的闪烁，其中，从每个子集随机选取一个待选项以构成所述N个待选项。根据本发明，能够缩短识别时间，提高识别速度。

Description

实现针对P300成分的脑机接口界面的设备及其方法
技术领域
本发明涉及脑机接口技术，更具体地讲，涉及一种实现针对P300成分的脑机接口界面的设备及其方法、针对P300成分的脑机接口设备及其方法。
背景技术
脑机接口(brain computer interface,BCI)是将大脑的思维活动转化为外围设备的控制信号。典型的BCI系统由数据采集、信号处理、设备控制三个部分组成。数据采集部分直接与大脑相连接，负责大脑神经活动的信号采集。信号处理部分将采集到的信号进行分析处理，识别出大脑意图并转换成控制指令，是BCI系统的核心部分，信号处理的好坏直接影响到系统的性能。设备控制部分根据控制指令来执行对外围设备的操作，可以实现诸如计算机输入、轮椅控制、机械手臂等操作，这也是BCI系统最终所能实现的功能。
现有的基于头皮脑电(electroencephalogram,EEG)的BCI系统中，最常用的脑电信号有：视觉诱发电位、慢皮层电位、运动想象电位以及事件相关电位中的P300成分，其中，事件相关电位中的P300成分是一种内源性的与人注意力相关的诱发电位，一般出现在刺激发生后300ms左右，具有时域波形特性，具有产生稳定、受试者无需训练等优点，主要用于BCI的字符输入系统研究。
P300成分的产生需要满足Oddball条件，所谓Oddball条件就是对同一感觉通道施加两种刺激，一种刺激出现概率很大，称为标准刺激，另一种刺激出现概率很小，称为偏差刺激。两种刺激出现的顺序随机。对受试者来说，偏差刺激的出现具有偶然性。在实验时，要求受试者关注偏差刺激，此时，出现概率较小且具有偶然性的偏差刺激可以诱发出P300成分。偏差刺激概率越小，诱发的单次P300电位幅度越大。且经过多次叠加后P300成分波形更加明显。
Farwell等最早将P300成分用于字符输入实验，提出了行和列随机闪烁的刺激范式。该刺激范式将36个字符排列成一个6×6的虚拟键盘矩阵，并随机闪烁其中一行或一列字符。受试者注视一个待输入的目标字符，如果屏幕上闪的那一行(列)含有目标字符，那么在受试者的脑电信号中就会出现P300成分。通过检测脑电信号中是否存在P300成分，就可以知道受试者所注视的行(列)，然后根据行列位置来确定目标字符。但是，使用这种刺激范式时存在邻接干扰和双闪问题。
为了解决这两个缺点提出了多种刺激范式，例如，在传统的行列刺激范式的基础上，对虚拟键盘矩阵进行规则的划分，以得到更多数量的子矩阵。但是，在实际应用中，使用基于子矩阵的刺激范式的脑机接口设备依然存在识别时间较长、识别效率低的问题。
发明内容
本发明示例性实施例的目的在于提供一种实现针对P300成分的脑机接口界面的设备及其方法，其能够缩短识别时间，提高识别速度。
本发明示例性实施例的一方面提供一种实现针对P300成分的脑机接口界面的设备，包括：显示单元，向用户显示针对P300成分的脑机接口界面，其中，所述脑机接口界面包括多个待选项；待选项划分单元，按照各个待选项的使用频率，将所述多个待选项划分到N个子集，N为大于1的整数，其中，待选项的使用频率越高，其被划分到的子集的规模越小；闪烁单元，按照预定频率，每次促使脑机接口界面中的N个待选项来发光，使得用户感觉到各个待选项的闪烁，其中，从每个子集随机选取一个待选项以构成所述N个待选项。
可选地，所述待选项是字符、图标、缩略图中的至少一种。
可选地，待选项划分单元包括：频率表获取模块，获取所述多个待选项的使用频率表，其中，在所述使用频率表中，按照待选项的使用频率从大到小的顺序对所述多个待选项进行排序；划分模块，按照所述使用频率表中的排序依次将所述多个待选项划分到第一子集至第N子集中，其中，从第一子集到第N子集，各子集的规模越来越大。
可选地，所述待选项是字符，频率表获取模块获取与字符的输入环境相应的使用频率表。
可选地，所述字符的输入环境包括中文输入环境和/或英文输入环境。
可选地，闪烁单元包括：待选项选取模块，针对每次发光，从第一子集至第N子集中的每一个子集随机选取一个待选项来构成N个待选项，其中，第i子集包括Mi个待选项，Mi为大于1的整数，i＝1,…,N，且从第一次从第i子集选取待选项开始每Mi次选取中，每次所选取的待选项各不相同；发光模块，按照预定频率，每次促使脑机接口界面中由待选项选取模块选取的所述N个待选项来发光，使得用户感觉到各个待选项的闪烁。
本发明示例性实施例的另一方面提供一种实现针对P300成分的脑机接口界面的方法，包括：a)向用户显示针对P300成分的脑机接口界面，其中，所述脑机接口界面包括多个待选项，所述多个待选项根据其使用频率被划分到N个子集，N为大于1的整数，其中，待选项的使用频率越高，其被划分到的子集的规模越小；b)按照预定频率，每次促使脑机接口界面中的N个待选项来发光，使得用户感觉到各个待选项的闪烁，其中，从每个子集随机选取一个待选项以构成所述N个待选项。
可选地，所述待选项是字符、图标、缩略图中的至少一种。
可选地，所述多个待选项根据其使用频率按照以下方式被划分到N个子集包括：获取所述多个待选项的使用频率表，其中，在所述使用频率表中，按照待选项的使用频率从大到小的顺序对所述多个待选项进行排序；按照所述使用频率表中的排序依次将所述多个待选项划分到第一子集至第N子集中，其中，从第一子集到第N子集，各子集的规模越来越大。
可选地，所述待选项是字符，获取的使用频率表与字符的输入环境相应。
可选地，所述字符的输入环境包括中文输入环境和/或英文输入环境。
可选地，步骤b)包括：针对每次发光，从第一子集至第N子集中的每一个子集随机选取一个待选项来构成N个待选项，其中，第i子集包括Mi个待选项，Mi为大于1的整数，i＝1,…,N，且从第一次从第i子集选取待选项开始每Mi次选取中，每次所选取的待选项各不相同；按照预定频率，每次促使脑机接口界面中被选取的所述N个待选项来发光，使得用户感觉到各个待选项的闪烁。
本发明示例性实施例的另一方面提供一种针对P300成分的脑机接口设备，包括：上述实现针对P300成分的脑机接口界面的设备；获取单元，获取针对每次闪烁采集的用户的脑电信号；识别单元，根据获取的脑电信号中的P300成分识别用户期望选择的待选项；控制单元，根据识别出的待选项执行相应的控制操作。
可选地，识别单元包括：P300成分获取模块，获取针对每次闪烁采集的用户的脑电信号中的P300成分；叠加模块，将针对每次闪烁获取的P300成分叠加到该次发光的各个待选项对应的P300成分上；确定模块，将叠加出的P300成分最多的一待选项确定为用户期望选择的待选项。
可选地，所述设备还包括：更新单元，根据识别出的待选项来更新各个待选项的使用频率。
可选地，所述控制操作包括输入与识别出的待选项对应的内容、运行与识别出的待选项对应的应用、执行与识别出的待选项相应的处理中的至少一个。
本发明示例性实施例的另一方面提供一种针对P300成分的脑机接口方法，包括：向用户显示针对P300成分的脑机接口界面，其中，所述脑机接口界面包括多个待选项，所述多个待选项根据其使用频率被划分到N个子集，N为大于1的整数，其中，待选项的使用频率越高，其被划分到的子集的规模越小；按照预定频率，每次促使脑机接口界面中的N个待选项来发光，使得用户感觉到各个待选项的闪烁，其中，从每个子集随机选取一个待选项以构成所述N个待选项；获取针对每次闪烁采集的用户的脑电信号；根据获取的脑电信号中的P300成分识别用户期望选择的待选项；根据识别出的待选项执行相应的控制操作。
可选地，根据获取的脑电信号中的P300成分识别用户期望选择的待选项的步骤包括：获取针对每次闪烁采集的用户的脑电信号中的P300成分；将针对每次闪烁获取的P300成分叠加到该次发光的各个待选项对应的P300成分上；将叠加出的P300成分最多的一待选项确定为用户期望选择的待选项。
可选地，所述方法还包括：根据识别出的待选项来更新各个待选项的使用频率。
可选地，所述控制操作包括输入与识别出的待选项对应的内容、运行与识别出的待选项对应的功能、执行与识别出的待选项相应的处理中的至少一个。
根据本发明示例性实施例的实现针对P300成分的脑机接口界面的设备及其方法，能够缩短识别时间，提高识别速度。
将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。
附图说明
通过下面结合附图对实施例进行的描述，本发明的这些和/或其他方面和优点将会变得清楚和更易于理解，其中：
图1示出根据本发明的示例性实施例的用于实现针对P300成分的脑机接口界面的设备的框图。
图2示出根据本发明的示例性实施例的用于实现针对P300成分的脑机接口界面的方法的流程图。
图3示出根据本发明的示例性实施例的针对P300成分的脑机接口设备的框图。
图4示出根据本发明的示例性实施例的识别单元的框图。
图5示出根据本发明的示例性实施例的针对P300成分的脑机接口方法的流程图。
图6示出根据本发明的示例性实施例的根据获取的脑电信号中的P300成分识别用户期望选择的待选项的方法的流程图。
具体实施方式
现将详细参照本发明的示例性实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。
图1示出根据本发明的示例性实施例的用于实现针对P300成分的脑机接口界面的设备的框图。这里，作为示例，所述设备可以是各种显示器(例如，手机显示器、电脑显示器、电视显示器等)、投影仪等能够用于实现针对P300成分的脑机接口界面的设备。
如图1所示，根据本发明的用于实现针对P300成分的脑机接口界面的设备100包括：显示单元110、待选项划分单元120和闪烁单元130。
显示单元110用于向用户显示针对P300成分的脑机接口界面，其中，所述脑机接口界面包括多个待选项。
显示单元110可以通过屏幕等向用户显示针对P300成分的脑机接口界面。用户可以通过注视脑机接口界面上的一待选项来选择该待选项。待选项可以是字符、图标、缩略图等。例如，脑机接口界面可以是包括多个字符的虚拟键盘界面、包括多个应用图标的用户界面等。
待选项划分单元120按照各个待选项的使用频率，将所述多个待选项划分到N个子集。N为大于1的整数，N可以是预先设置的固定值，也可以是根据所述多个待选项的数目或所述多个待选项的使用频率分布等来确定的值。
具体地说，待选项的使用频率越高，其被划分到的子集的规模越小。换言之，使用频率较高的待选项被划分到规模较小的子集，使用频率较低的待选项被划分到规模较大的子集。每个子集相对独立，每次需从每个子集中都随机选取一个待选项进行闪烁，因此，使用频率较高的待选项能够以较高的频率进行闪烁，从而加快识别速度。
应该理解，待选项划分单元120根据各个待选项的使用频率将其划分到N个子集是对待选项在逻辑上进行分组，而不是对待选项在物理位置上进行分组，换言之，待选项在脑机接口界面中的位置与子集的划分无关。即，待选项在脑机接口界面中的位置不受限制，可以灵活变化，从而为用户提供了便利、扩大了脑机接口技术的应用范围。例如，在应用针对P300成分的脑机接口技术进行字符输入时，脑机接口界面可以按照用户熟悉的虚拟键盘的形式进行显示，以方便用户选择。针对P300成分的脑机接口技术也可应用于对电子终端的用户界面操作等。
作为示例，待选项划分单元120可包括：频率表获取模块(未示出)和划分模块(未示出)。
频率表获取模块用于获取所述多个待选项的使用频率表。在所述使用频率表中，按照待选项的使用频率从大到小的顺序对所述多个待选项进行排序。
使用频率表可以通过统计各个待选项被用户使用的次数得到，也可以获取现有的已统计的待选项的使用频率表。例如，如果待选项是英语字符，则使用频率表可以是现有的根据英语语言材料统计的字母使用频率表。
作为示例，在待选项是字符的情况下，频率表获取模块可获取与字符的输入环境相应的使用频率表。
字符的输入环境可以是中文输入环境、英文输入环境等。例如，如果字符的输入环境是英文输入环境，则可以获取针对英文输入的字母使用频率表。如果字符的输入环境是中文输入环境，则可以获取针对中文输入的拼音字母使用频率表。此外，还可以进一步细化使用情况来获得具体使用情况下的使用频率表，例如，如果字符的输入环境是输入英文单词的第一个字母，则可以获取关于英文单词首字母出现概率分布的字母使用频率表，如果字符的输入环境是在已经输入某一英文字母后继续进行输入，则可以获取关于该英文字母后跟着出现哪个英文字母的字母使用频率表。
划分模块按照所述使用频率表中的排序依次将所述多个待选项划分到第一子集至第N子集中，其中，从第一子集到第N子集，各子集的规模越来越大。
具体地说，第i子集包括Mi个待选项，Mi为大于1的整数，表示第i子集的规模，i＝1,…,N，从第一子集到第N子集，Mi越来越大，即规模越来越大。Mi可以是预先设置的固定值，也可以是根据所述多个待选项的数目、所述多个待选项的使用频率分布、N的大小等来确定的值。在确定好所有Mi的值之后，划分模块可将使用频率表中前M1个待选项划分到第一子集中，将使用频率表余下的待选项中的前M2个待选项划分到第二子集中，以此类推。
在使用频率表来对待选项进行划分时，可以使用各种相关的使用频率表，例如，基于大量统计样本的通用使用频率表或基于用户使用习惯的个性化使用频率表，相应地，通过基于使用频率表中的待选项的使用频率合理地划分子集，将有助于快速识别用户选择的待选项。
闪烁单元130按照预定频率，每次促使脑机接口界面中的N个待选项来发光，使得用户感觉到各个待选项的闪烁，其中，从每个子集随机选取一个待选项以构成所述N个待选项。
作为示例，闪烁单元130可包括：待选项选取模块(未示出)和发光模块(未示出)。
待选项选取模块针对每次发光，从第一子集至第N子集中的每一个子集随机选取一个待选项来构成N个待选项，且从第一次从第i子集选取待选项开始每Mi次选取中，每次所选取的待选项各不相同。
发光模块按照预定频率，每次促使脑机接口界面中由待选项选取模块选取的所述N个待选项来发光，使得用户感觉到各个待选项的闪烁。
图2示出根据本发明的示例性实施例的用于实现针对P300成分的脑机接口界面的方法的流程图。
如图2所示，在步骤201，向用户显示针对P300成分的脑机接口界面，其中，所述脑机接口界面包括多个待选项。
可以通过屏幕等向用户显示针对P300成分的脑机接口界面。用户可以通过注视脑机接口界面上的一待选项来选择该待选项。待选项可以是字符、图标、缩略图等。例如，脑机接口界面可以是包括多个字符的虚拟键盘界面、包括多个应用图标的用户界面等。
脑机接口界面包括的多个待选项根据其使用频率被划分到N个子集，N为大于1的整数，其中，待选项的使用频率越高，其被划分到的子集的规模越小。换言之，使用频率较高的待选项被划分到规模较小的子集，使用频率较低的待选项被划分到规模较大的子集。每个子集相对独立，每次需从每个子集中都随机选取一个待选项进行闪烁，因此，使用频率较高的待选项能够以较高的频率进行闪烁，从而加快识别速度。
应该理解，根据各个待选项的使用频率将其划分到N个子集只是对待选项在逻辑上进行分组，而不是对待选项在物理位置上进行分组，换言之，待选项在脑机接口界面中的位置与子集的划分无关。即，待选项在脑机接口界面中的位置不受限制，可以灵活变化，从而为用户提供了便利、扩大了脑机接口技术的应用范围。例如，在应用针对P300成分的脑机接口技术进行字符输入时，脑机接口界面可以按照用户熟悉的虚拟键盘的形式进行显示，以方便用户选择。针对P300成分的脑机接口技术也可应用于对电子终端的用户界面操作等。
作为示例，所述多个待选项可根据其使用频率按照以下方式被划分到N个子集。首先获取所述多个待选项的使用频率表，其中，在所述使用频率表中，按照待选项的使用频率从大到小的顺序对所述多个待选项进行排序。
使用频率表可以通过统计各个待选项被用户使用的次数得到，也可以获取现有的已统计的待选项的使用频率表。例如，如果待选项是英语字符，则使用频率表可以是现有的根据英语语言材料统计的字母使用频率表。
作为示例，在待选项是字符的情况下，获取的使用频率表可与字符的输入环境相应。字符的输入环境可以是中文输入环境、英文输入环境等。
例如，如果字符的输入环境是英文输入环境，则可以获取针对英文输入的字母使用频率表。如果字符的输入环境是中文输入环境，则可以获取针对中文输入的拼音字母使用频率表。此外，还可以进一步细化使用情况来获得具体使用情况下的使用频率表，例如，如果字符的输入环境是输入英文单词的第一个字母，则可以获取关于英文单词首字母出现概率分布的字母使用频率表，如果字符的输入环境是在已经输入某一英文字母后继续进行输入，则可以获取关于该英文字母后跟着出现哪个英文字母的字母使用频率表。
然后，按照所述使用频率表中的排序依次将所述多个待选项划分到第一子集至第N子集中，其中，从第一子集到第N子集，各子集的规模越来越大。
具体地说，第i子集包括Mi个待选项，Mi为大于1的整数，表示第i子集的规模，i＝1,…,N，从第一子集到第N子集，Mi越来越大，即规模越来越大。Mi可以是预先设置的固定值，也可以是根据所述多个待选项的数目、所述多个待选项的使用频率分布、N的大小等来确定的值。在确定好所有Mi的值之后，可将使用频率表中前M1个待选项划分到第一子集中，将使用频率表余下的待选项中的前M2个待选项划分到第二子集中，以此类推。
在使用频率表来对待选项进行划分时，可以使用各种相关的使用频率表，例如，基于大量统计样本的通用使用频率表或基于用户使用习惯的个性化使用频率表，相应地，通过基于使用频率表中的待选项的使用频率合理地划分子集，将有助于快速识别用户选择的待选项。
在步骤202，按照预定频率，每次促使脑机接口界面中的N个待选项来发光，使得用户感觉到各个待选项的闪烁，其中，从每个子集随机选取一个待选项以构成所述N个待选项。
作为示例，可首先针对每次发光，从第一子集至第N子集中的每一个子集随机选取一个待选项来构成N个待选项，且从第一次从第i子集选取待选项开始每Mi次选取中，每次所选取的待选项各不相同。
然后，按照预定频率，每次促使脑机接口界面中被选取的所述N个待选项来发光，使得用户感觉到各个待选项的闪烁。
图3示出根据本发明的示例性实施例的针对P300成分的脑机接口设备的框图。这里，作为示例，所述设备可以是移动通信终端、个人计算机、平板电脑、游戏机、电视等设备。
根据本发明的针对P300成分的脑机接口设备300包括：显示单元110、待选项划分单元120、闪烁单元130、获取单元310、识别单元320和控制单元330。这里，可按照与图1类似的方式来构建显示单元110、待选项划分单元120和闪烁单元130。
具体说来，显示单元110用于向用户显示针对P300成分的脑机接口界面，其中，所述脑机接口界面包括多个待选项。
待选项划分单元120按照各个待选项的使用频率，将所述多个待选项划分到N个子集，N为大于1的整数，其中，待选项的使用频率越高，其所属的子集的规模越小。
闪烁单元130按照预定频率，每次促使脑机接口界面中的N个待选项来发光，使得用户感觉到各个待选项的闪烁，其中，从每个子集随机选取一个待选项以构成所述N个待选项。
获取单元310获取针对每次闪烁采集的用户的脑电信号。
具体地说，获取单元310可从采集用户的脑电信号的设备(例如，脑电电极帽等)获取其采集到的用户的脑电信号。获取单元310可以每次闪烁后从采集用户的脑电信号的设备获取针对该次闪烁采集到的用户的脑电信号。也可以闪烁预定次数后，从采集用户的脑电信号的设备获取针对该预定次数的闪烁采集到的用户的脑电信号，再获取该预定次数的闪烁中每次闪烁对应的用户的脑电信号。
识别单元320根据获取的脑电信号中的P300成分识别用户期望选择的待选项。
具体地说，识别单元320根据针对每次闪烁的脑电信号中的P300成分识别用户期望选择的待选项，即，用户所注视的脑机接口界面上的待选项。识别单元320可使用各种技术根据获取的脑电信号中的P300成分识别用户期望选择的待选项。以下将参照图4来描述识别单元320的示例性结构。
控制单元330根据识别出的待选项执行相应的控制操作。
所述控制操作可以是输入与识别出的待选项对应的内容、运行与识别出的待选项对应的应用、执行与识别出的待选项相应的处理等。例如，如果待选项是字符，控制操作则可以是输入所识别出的字符。如果待选项是图标，控制操作则可以是运行与识别出的图标对应的应用或者执行与识别出的图标相应的处理。
在一个实施例中，针对P300成分的脑机接口设备300还可包括：更新单元(未示出)。
更新单元根据识别单元320识别出的待选项来更新各个待选项的使用频率。
具体地说，更新单元根据识别单元320识别出的待选项来更新识别出的待选项的使用次数，然后更新各个待选项的使用频率。
更新单元可以在每次识别单元320识别出用户期望选择的待选项后更新各个待选项的使用频率。也可以每隔预定时间根据识别单元320识别出的待选项来更新各个待选项的使用频率。通过上述方式，可及时地对待选项的使用频率进行调整，以使待选项的使用频率能够更符合用户的习惯，为划分待选项提供更准确的依据。
更新单元可以根据针对P300成分的脑机接口设备300的性能、用户设置等来确定使用哪种方式来更新各个待选项的使用频率。例如，当设备的性能较高时，可以在每次识别单元320识别出用户期望选择的待选项后更新各个待选项的使用频率。而每隔预定时间根据识别单元320识别出的待选项来更新各个待选项的使用频率对设备的性能要求低一些。
图4示出根据本发明的示例性实施例的识别单元的框图。
如图4所示，识别单元320包括：P300成分获取模块410、叠加模块420和确定模块430。
P300成分获取模块410获取针对每次闪烁采集的用户的脑电信号中的P300成分。
P300成分获取模块410可使用各种技术获取针对每次闪烁采集的用户的脑电信号中的P300成分。
叠加模块420将针对每次闪烁获取的P300成分叠加到该次发光的各个待选项对应的P300成分上。
具体地说，闪烁单元130每次促使脑机接口界面中的N个待选项来发光，使得用户感觉到各个待选项的闪烁，叠加模块420将针对每次闪烁获取的P300成分叠加到该次发光的N个待选项中的每个待选项对应的P300成分上。
确定模块430将叠加出的P300成分最多的一待选项确定为用户期望选择的待选项。
具体地说，当一待选项对应的P300成分明显最多时，即，当一待选项对应的P300成分最多且超过其它待选项对应的P300成分一定数量时，确定该待选项为用户期望选择的待选项。
图5示出根据本发明的示例性实施例的针对P300成分的脑机接口方法的流程图。这里，可按照与图2类似的方式来实现步骤201和步骤202。
具体说来，在步骤201，向用户显示针对P300成分的脑机接口界面。具体地说，所述脑机接口界面包括多个待选项，所述多个待选项根据其使用频率被划分到N个子集，N为大于1的整数，其中，待选项的使用频率越高，其被划分到的子集的规模越小。
在步骤202，按照预定频率，每次促使脑机接口界面中的N个待选项来发光，使得用户感觉到各个待选项的闪烁，其中，从每个子集随机选取一个待选项以构成所述N个待选项。
在步骤501，获取针对每次闪烁采集的用户的脑电信号。
具体地说，可从采集用户的脑电信号的设备(例如，脑电电极帽等)获取其采集到的用户的脑电信号。可以每次闪烁后从采集用户的脑电信号的设备获取针对该次闪烁采集到的用户的脑电信号。也可以闪烁预定次数后，从采集用户的脑电信号的设备获取针对该预定次数的闪烁采集到的用户的脑电信号，再获取该预定次数的闪烁中每次闪烁对应的用户的脑电信号。
在步骤502，根据获取的脑电信号中的P300成分识别用户期望选择的待选项。
具体地说，根据针对每次闪烁的脑电信号中的P300成分识别用户期望选择的待选项，即，用户所注视的脑机接口界面上的待选项。
可使用各种技术根据获取的脑电信号中的P300成分识别用户期望选择的待选项。作为优选方式，可执行图6所示的方法根据获取的脑电信号中的P300成分识别用户期望选择的待选项。
在步骤503，根据识别出的待选项执行相应的控制操作。所述控制操作可以是输入与识别出的待选项对应的内容、运行与识别出的待选项对应的功能、执行与识别出的待选项相应的处理等。例如，如果待选项是字符，控制操作则可以是输入所识别出的字符。如果待选项是图标，控制操作则可以是运行与识别出的图标对应的应用或者执行与识别出的图标相应的处理。
作为示例，针对P300成分的脑机接口方法还可包括：根据识别出的待选项来更新各个待选项的使用频率。
可以在每次识别出用户期望选择的待选项后更新各个待选项的使用频率。也可以每隔预定时间根据识别出的待选项来更新各个待选项的使用频率。通过上述方式，可及时地对待选项的使用频率进行调整，以使待选项的使用频率能够更符合用户的习惯，为划分待选项提供更准确的依据。
图6示出根据本发明的示例性实施例的根据获取的脑电信号中的P300成分识别用户期望选择的待选项的方法的流程图。可在执行步骤502时执行图6所示的方法。
如图6所示，在步骤601，获取针对每次闪烁采集的用户的脑电信号中的P300成分。可使用各种技术获取针对每次闪烁采集的用户的脑电信号中的P300成分。
在步骤602，将针对每次闪烁获取的P300成分叠加到该次发光的各个待选项对应的P300成分上。
在步骤603，将叠加出的P300成分最多的一待选项确定为用户期望选择的待选项。
具体地说，当一待选项对应的P300成分明显最多时，即，当一待选项对应的P300成分最多且超过其它待选项对应的P300成分一定数量时，确定该待选项为用户期望选择的待选项。
此外，根据本发明的示例性实施例的上述方法可以被实现为计算机程序，从而当运行该程序时，实现上述方法。根据本发明的示例性实施例的设备中的各个单元可被实现硬件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现各个单元。
根据本发明的实现针对P300成分的脑机接口界面的设备及其方法，能够缩短识别时间、提高识别速度、扩大脑机接口技术的应用范围。
虽然已示出和描述了本发明的一些示例性实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改。

Claims (10)

1.一种实现针对P300成分的脑机接口界面的设备，包括：
显示单元，向用户显示针对P300成分的脑机接口界面，其中，所述脑机接口界面包括多个待选项；
待选项划分单元，按照各个待选项的使用频率，将所述多个待选项划分到N个子集，N为大于1的整数，其中，待选项的使用频率越高，其被划分到的子集的规模越小；
闪烁单元，按照预定频率，每次促使脑机接口界面中的N个待选项来发光，使得用户感觉到各个待选项的闪烁，其中，从每个子集随机选取一个待选项以构成所述N个待选项。
2.根据权利要求1所述的设备，其中，所述待选项是字符、图标、缩略图中的至少一种。
3.根据权利要求1所述的设备，其中，待选项划分单元包括：
频率表获取模块，获取所述多个待选项的使用频率表，其中，在所述使用频率表中，按照待选项的使用频率从大到小的顺序对所述多个待选项进行排序；
划分模块，按照所述使用频率表中的排序依次将所述多个待选项划分到第一子集至第N子集中，其中，从第一子集到第N子集，各子集的规模越来越大。
4.根据权利要求3所述的设备，其中，所述待选项是字符，频率表获取模块获取与字符的输入环境相应的使用频率表。
5.根据权利要求1所述的设备，其中，闪烁单元包括：
待选项选取模块，针对每次发光，从第一子集至第N子集中的每一个子集随机选取一个待选项来构成N个待选项，其中，第i子集包括Mi个待选项，Mi为大于1的整数，i＝1,…,N，且从第一次从第i子集选取待选项开始每Mi次选取中，每次所选取的待选项各不相同；
发光模块，按照预定频率，每次促使脑机接口界面中由待选项选取模块选取的所述N个待选项来发光，使得用户感觉到各个待选项的闪烁。
6.一种实现针对P300成分的脑机接口界面的方法，包括：
a)向用户显示针对P300成分的脑机接口界面，其中，所述脑机接口界面包括多个待选项，所述多个待选项根据其使用频率被划分到N个子集，N为大于1的整数，其中，待选项的使用频率越高，其被划分到的子集的规模越小；
b)按照预定频率，每次促使脑机接口界面中的N个待选项来发光，使得用户感觉到各个待选项的闪烁，其中，从每个子集随机选取一个待选项以构成所述N个待选项。
7.一种针对P300成分的脑机接口设备，包括：
权利要求1-5中的任意一项所述的实现针对P300成分的脑机接口界面的设备；
获取单元，获取针对每次闪烁采集的用户的脑电信号；
识别单元，根据获取的脑电信号中的P300成分识别用户期望选择的待选项；
控制单元，根据识别出的待选项执行相应的控制操作。
8.根据权利要求7所述的设备，其中，识别单元包括：
P300成分获取模块，获取针对每次闪烁采集的用户的脑电信号中的P300成分；
叠加模块，将针对每次闪烁获取的P300成分叠加到该次发光的各个待选项对应的P300成分上；
确定模块，将叠加出的P300成分最多的一待选项确定为用户期望选择的待选项。
9.根据权利要求7所述的设备，还包括：
更新单元，根据识别出的待选项来更新各个待选项的使用频率。
10.一种针对P300成分的脑机接口方法，包括：
向用户显示针对P300成分的脑机接口界面，其中，所述脑机接口界面包括多个待选项，所述多个待选项根据其使用频率被划分到N个子集，N为大于1的整数，其中，待选项的使用频率越高，其被划分到的子集的规模越小；
按照预定频率，每次促使脑机接口界面中的N个待选项来发光，使得用户感觉到各个待选项的闪烁，其中，从每个子集随机选取一个待选项以构成所述N个待选项；
获取针对每次闪烁采集的用户的脑电信号；
根据获取的脑电信号中的P300成分识别用户期望选择的待选项；根据识别出的待选项执行相应的控制操作。
CN201410175100.8A 2014-04-28 2014-04-28 实现针对p300成分的脑机接口界面的设备及其方法 Expired - Fee Related CN103995583B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410175100.8A CN103995583B (zh) 2014-04-28 2014-04-28 实现针对p300成分的脑机接口界面的设备及其方法
CN201710362272.XA CN107102740B (zh) 2014-04-28 2014-04-28 实现针对p300成分的脑机接口界面的设备及其方法
KR1020140178712A KR20150124368A (ko) 2014-04-28 2014-12-11 P300 요소 기반 뇌-컴퓨터 인터페이스를 구현하기 위한 장치 및 방법
US14/693,297 US20150309572A1 (en) 2014-04-28 2015-04-22 Apparatus and method for implementing p300 component-based brain-computer interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410175100.8A CN103995583B (zh) 2014-04-28 2014-04-28 实现针对p300成分的脑机接口界面的设备及其方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710362272.XA Division CN107102740B (zh) 2014-04-28 2014-04-28 实现针对p300成分的脑机接口界面的设备及其方法

Publications (2)

Publication Number Publication Date
CN103995583A true CN103995583A (zh) 2014-08-20
CN103995583B CN103995583B (zh) 2017-06-16

Family

ID=51309771

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710362272.XA Active CN107102740B (zh) 2014-04-28 2014-04-28 实现针对p300成分的脑机接口界面的设备及其方法
CN201410175100.8A Expired - Fee Related CN103995583B (zh) 2014-04-28 2014-04-28 实现针对p300成分的脑机接口界面的设备及其方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710362272.XA Active CN107102740B (zh) 2014-04-28 2014-04-28 实现针对p300成分的脑机接口界面的设备及其方法

Country Status (2)

Country Link
KR (1) KR20150124368A (zh)
CN (2) CN107102740B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106681494A (zh) * 2016-12-07 2017-05-17 华南理工大学 一种基于脑机接口的环境控制方法
CN107229330A (zh) * 2017-04-25 2017-10-03 中国农业大学 一种基于稳态视觉诱发电位的文字输入方法及装置
CN107239137A (zh) * 2017-04-25 2017-10-10 中国农业大学 一种基于虚拟键盘的文字输入方法及装置
CN107272905A (zh) * 2017-06-29 2017-10-20 华南理工大学 一种基于eog和emg的交互方法
CN107272880A (zh) * 2017-04-25 2017-10-20 中国农业大学 一种光标定位、光标控制方法及装置
CN107291240A (zh) * 2017-06-29 2017-10-24 华南理工大学 一种基于脑机接口的虚拟现实多级菜单交互方法
CN107390869A (zh) * 2017-07-17 2017-11-24 西安交通大学 基于运动视觉诱发电位的高效脑控中文输入方法
CN107481359A (zh) * 2017-07-14 2017-12-15 昆明理工大学 基于p300和运动想象的智能门锁系统及其控制方法
US10838496B2 (en) 2017-06-29 2020-11-17 South China University Of Technology Human-machine interaction method based on visual stimulation
CN118131917A (zh) * 2024-05-08 2024-06-04 小舟科技有限公司 基于脑电信号的多用户实时互动方法以及计算机设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018743A (zh) * 2019-04-12 2019-07-16 福州大学 脑控中文拼音声调输入方法
CN114327061B (zh) * 2021-12-27 2023-09-29 福州大学 一种实现无校准p300脑机接口的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1412662A (zh) * 2002-12-13 2003-04-23 李治国 一种数字键盘及汉字拼音输入法
CN101201696A (zh) * 2007-11-29 2008-06-18 浙江大学 基于p300脑电电位的中文输入bci系统
CN101741945A (zh) * 2008-11-14 2010-06-16 朱冠军 一种手机数字键盘编排方法及对应的拼音汉字输入法
CN101968715A (zh) * 2010-10-15 2011-02-09 华南理工大学 一种基于脑机接口鼠标控制的因特网浏览方法
CN101976115A (zh) * 2010-10-15 2011-02-16 华南理工大学 一种基于运动想象与p300脑电电位的功能键选择方法
KR20130006172A (ko) * 2011-07-08 2013-01-16 연세대학교 산학협력단 디스플레이 시스템과 방법 및 디스플레이 단말과 통신하는 입력 단말
CN103150023A (zh) * 2013-04-01 2013-06-12 北京理工大学 一种基于脑机接口的光标控制系统及方法
CN103399639A (zh) * 2013-08-14 2013-11-20 天津医科大学 基于ssvep和p300联合脑机接口方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2111156A4 (en) * 2007-02-09 2010-05-05 Agency Science Tech & Res SYSTEM AND METHOD FOR PROCESSING BRAIN SIGNALS IN BCI SYSTEM
CN101515199B (zh) * 2009-03-24 2011-01-05 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
US8319669B2 (en) * 2009-04-22 2012-11-27 Jeffrey C Weller Text entry device with radial keypad layout
US9672335B2 (en) * 2009-12-17 2017-06-06 Laird H Shuart Cognitive-based logon process for computing device
KR20110072730A (ko) * 2009-12-23 2011-06-29 한국과학기술원 적응형 뇌-컴퓨터 인터페이스 장치
CN102184018B (zh) * 2011-05-13 2012-11-28 天津大学 一种脑机接口系统及其控制方法
CN102609090B (zh) * 2012-01-16 2014-06-04 中国人民解放军国防科学技术大学 采用脑电时频成分双重定位范式的快速字符输入方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1412662A (zh) * 2002-12-13 2003-04-23 李治国 一种数字键盘及汉字拼音输入法
CN101201696A (zh) * 2007-11-29 2008-06-18 浙江大学 基于p300脑电电位的中文输入bci系统
CN101741945A (zh) * 2008-11-14 2010-06-16 朱冠军 一种手机数字键盘编排方法及对应的拼音汉字输入法
CN101968715A (zh) * 2010-10-15 2011-02-09 华南理工大学 一种基于脑机接口鼠标控制的因特网浏览方法
CN101976115A (zh) * 2010-10-15 2011-02-16 华南理工大学 一种基于运动想象与p300脑电电位的功能键选择方法
KR20130006172A (ko) * 2011-07-08 2013-01-16 연세대학교 산학협력단 디스플레이 시스템과 방법 및 디스플레이 단말과 통신하는 입력 단말
CN103150023A (zh) * 2013-04-01 2013-06-12 北京理工大学 一种基于脑机接口的光标控制系统及方法
CN103399639A (zh) * 2013-08-14 2013-11-20 天津医科大学 基于ssvep和p300联合脑机接口方法及装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106681494A (zh) * 2016-12-07 2017-05-17 华南理工大学 一种基于脑机接口的环境控制方法
CN106681494B (zh) * 2016-12-07 2020-08-11 华南脑控(广东)智能科技有限公司 一种基于脑机接口的环境控制方法
CN107239137B (zh) * 2017-04-25 2019-11-15 中国农业大学 一种基于虚拟键盘的文字输入方法及装置
CN107229330A (zh) * 2017-04-25 2017-10-03 中国农业大学 一种基于稳态视觉诱发电位的文字输入方法及装置
CN107272880A (zh) * 2017-04-25 2017-10-20 中国农业大学 一种光标定位、光标控制方法及装置
CN107272880B (zh) * 2017-04-25 2019-11-15 中国农业大学 一种光标定位、光标控制方法及装置
CN107229330B (zh) * 2017-04-25 2019-11-15 中国农业大学 一种基于稳态视觉诱发电位的文字输入方法及装置
CN107239137A (zh) * 2017-04-25 2017-10-10 中国农业大学 一种基于虚拟键盘的文字输入方法及装置
CN107291240A (zh) * 2017-06-29 2017-10-24 华南理工大学 一种基于脑机接口的虚拟现实多级菜单交互方法
CN107272905A (zh) * 2017-06-29 2017-10-20 华南理工大学 一种基于eog和emg的交互方法
CN107272905B (zh) * 2017-06-29 2018-10-09 华南理工大学 一种基于eog和emg的交互方法
US10838496B2 (en) 2017-06-29 2020-11-17 South China University Of Technology Human-machine interaction method based on visual stimulation
CN107481359A (zh) * 2017-07-14 2017-12-15 昆明理工大学 基于p300和运动想象的智能门锁系统及其控制方法
CN107390869A (zh) * 2017-07-17 2017-11-24 西安交通大学 基于运动视觉诱发电位的高效脑控中文输入方法
CN107390869B (zh) * 2017-07-17 2019-07-02 西安交通大学 基于运动视觉诱发电位的高效脑控中文输入方法
CN118131917A (zh) * 2024-05-08 2024-06-04 小舟科技有限公司 基于脑电信号的多用户实时互动方法以及计算机设备
CN118131917B (zh) * 2024-05-08 2024-07-12 小舟科技有限公司 基于脑电信号的多用户实时互动方法以及计算机设备

Also Published As

Publication number Publication date
CN107102740A (zh) 2017-08-29
KR20150124368A (ko) 2015-11-05
CN107102740B (zh) 2020-02-11
CN103995583B (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
CN103995583A (zh) 实现针对p300成分的脑机接口界面的设备及其方法
Chen et al. A high-itr ssvep-based bci speller
CN101515199B (zh) 一种基于视线跟踪和p300脑电电位的字符输入装置
Akram et al. An efficient word typing P300-BCI system using a modified T9 interface and random forest classifier
Nácher et al. Coherent delta-band oscillations between cortical areas correlate with decision making
CN103699216B (zh) 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
D'albis et al. A predictive speller controlled by a brain-computer interface based on motor imagery
Z. Allison et al. A four-choice hybrid P300/SSVEP BCI for improved accuracy
EP3396495B1 (en) Neurocomputer system for selecting commands on the basis of recording brain activity
CN103995582B (zh) 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统
CN107390869B (zh) 基于运动视觉诱发电位的高效脑控中文输入方法
Minett et al. A Chinese text input brain–computer interface based on the P300 speller
Jin et al. P300 Chinese input system based on Bayesian LDA
Chennu et al. The cost of space independence in P300-BCI spellers
CN103543836A (zh) 基于脑机接口全自动控制网页浏览方法
Shi et al. A submatrix-based P300 brain-computer interface stimulus presentation paradigm
İşcan et al. A novel steady-state visually evoked potential-based brain–computer interface design: character plotter
Gavett et al. Reducing human error in P300 speller paradigm for brain-computer interface
Yu et al. Toward a hybrid BCI: self-paced operation of a P300-based speller by merging a motor imagery-based “brain switch” into a P300 Spelling Approach
CN102339128A (zh) 一种用脑电波输入汉字的虚拟键盘设计方案
Yu et al. A P300-based brain–computer interface for Chinese character input
Sadeghi et al. Character encoding based on occurrence probability enhances the performance of SSVEP-based BCI spellers
CN110688013A (zh) 一种基于ssvep的英文键盘拼写系统及拼写方法
Stawicki et al. A user-friendly dictionary-supported SSVEP-based BCI application
RU2018142364A (ru) Система для коммуникации пользователей без использования мышечных движений и речи

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170616

Termination date: 20180428

CF01 Termination of patent right due to non-payment of annual fee