CN101515199A - 一种基于视线跟踪和p300脑电电位的字符输入装置 - Google Patents

一种基于视线跟踪和p300脑电电位的字符输入装置 Download PDF

Info

Publication number
CN101515199A
CN101515199A CNA2009100808525A CN200910080852A CN101515199A CN 101515199 A CN101515199 A CN 101515199A CN A2009100808525 A CNA2009100808525 A CN A2009100808525A CN 200910080852 A CN200910080852 A CN 200910080852A CN 101515199 A CN101515199 A CN 101515199A
Authority
CN
China
Prior art keywords
user
character
module
eye tracking
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009100808525A
Other languages
English (en)
Other versions
CN101515199B (zh
Inventor
贾云得
滕鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN2009100808525A priority Critical patent/CN101515199B/zh
Publication of CN101515199A publication Critical patent/CN101515199A/zh
Application granted granted Critical
Publication of CN101515199B publication Critical patent/CN101515199B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于视线跟踪和P300脑电电位的字符输入装置，包括摄像机阵列、视线跟踪模块、键盘模块、脑电信号分析模块、系统控制模块。本装置将视线跟踪的高空间分辨率和P300脑电电位检测的高时间分辨率相结合，首先根据用户视线确定字符所在键盘的区域，然后控制此区域内的所有字符键随机闪烁，激发用户的P300脑电电位，根据电位产生时间与视线定位确认用户期望选择的字符键，实现字符输入操作。本发明提供了一种不需要人手参与、不受使用环境噪声影响的新型人机交互技术。

Description

一种基于视线跟踪和P300脑电电位的字符输入装置
技术领域
本发明涉及一种用于字符输入的计算机外部设备，具体是指一种将视线跟踪技术和脑电分析技术相结合的字符输入装置。
背景技术
人与计算机交互(Human-Computer Interaction，HCI)是研究人与计算机及其相互作用的技术，其研究目的在于利用所有可能的信息通道进行人-机交流，提高交互的自然性和高效性。传统的字符输入都是通过人手操作键盘、鼠标或手势等方式进行，为了解放双手，实现不依赖于人手的字符输入，人们发明了语音技术、视线跟踪技术和脑电电位检测技术等字符输入方法。语音技术的最大局限性是易受背景噪音的影响。本发明是一种将视线跟踪技术和脑电电位检测技术相结合的字符输入技术，不仅解放了双手，也不受背景噪声的影响。这种技术也特别适用于上肢残障人员方便使用计算机等电子设备。
1990年Robert J.K.Jacob(Human-Computer Interaction Lab，Naval Research Laboratory，Washington，D.C)实现了一组基于视线输入的交互技术，包括目标选择、目标移动、滚动文本及菜单选择等。1993年美国卡内基-梅隆大学的Shumeet Baluja和DeanPomerleau提出了一种由人眼的图像来推测用户眼睛在计算机屏幕上所注视的位置，根据注视时间长短作为是否“点击”的条件，实现基于视线的指令输入系统。
2002年，剑桥大学的David J.C.McKay等开发出一种能够用来取代计算机标准键盘布局的软件---Dasher，它只是单纯面向文字输入任务，通过对字典单词进行编码和压缩，“选择出”而不是“拼写出”用户期望的单词，所以Dasher更多的被看作是一种单词输入法，相对于通过“拼写”完成字符输入的拼写器(speller)来说，其输入结果的自由度较低。在基于视线跟踪的字符输入HCI系统中，操作者对视线的控制是一直都是存在的，即视线时时刻刻都在对系统构成输入，这一点和鼠标很不一样。因此，在用户操作的时候对其有意识和无意识的目标选择活动无法有效区分，这也在一定程度上限制了这类系统的推广和应用。
美国专利“Device and method for estimating a mentaldecision”(Patent Number：5,649,061)通过用户眼球注视(eyefixation)和单一事件诱发的脑皮层电位来估计用户在选择与任务相关兴趣(task related interest)的可视化提示时的心理决定(mentaldecision)。在该发明中，眼球跟踪模块(eye tracker)利用眼球注视过程的开始特征来触发对注视过程诱发的脑皮层电位的计算。注视过程结束后，将注视过程的各种属性(包括脑皮层电位的参数化表示)输入到人工神经网络中，得到用户心理决定的估计。
P300事件相关电位(P300-REP，以下简称P300)是从人的头皮上记录的脑电图(EEG)中观察到的一种对外界刺激产生的响应。P300响应已经被证实是一种能用于控制脑机接口(brain-computerinterface，BCI)的可靠信号。产生P300的两个前提是
(1)对象期望的事件必须是一个小概率事件；
(2)此事件具体发生的时间应该是随机的。
Emanuel Donchin等人(the Department of Psychology andBeckman Institute，University of Illinois at Urbana-Champaign)于2000年提出了一种基于P300的拼写器。他们使用可视虚拟键盘(含6行6列共36个字符)上随机产生的光信号诱发用户针对其所期望输入的字符所产生的P300，通过检测P300产生的时间拼写器即可判定用户期望输入的字符。2000年后，很多研究者都以这种虚拟拼写器范本，改良P300拼写器的性能。在美国专利“Communicationmethods based on brain computer interfaces”(Publication number：US 2005/0017870 A1)使用了含8行8列共64个字符的键盘。中国发明专利“一种基于P300脑电电位的中文输入BCI系统”(申请号200710164418.6)，使用的输入方法是以五种基本笔画作为基本选项，进行汉字的选择。基于视觉刺激诱发的P300的拼写器输入比特率不高，原因之一在于其诱发P300的机制。在键盘上进行字符的闪烁，要在保证用户期望字符小概率的(激发足够显著的P300波形)闪烁的同时，减少每个字符判定的时间，这本身就是一个矛盾。支持更多的可能字符必然会延长用户期望字符从被用户注意到拼写器完成判定这一过程的平均时间，造成单位时间内实际判定的字符数减少。再加之P300属于事件相关电位，在脑波的背景噪声中的检验与识别本身就是较困难的问题，所以在这类拼写器的研究中，比特率始终是研究人员主要关注的性能指标。
Jonathan R.Wolpaw(Wadsworth Center，New York StateDepartment of Health，USA)等人在2000年提出了衡量这类拼写器的输入速度比特率计算方法。他们将每一次判定可达到的比特数表示为
B = log 2 N + P log 2 P + ( 1 - P ) log 2 [ ( 1 - P ) ( N - 1 ) ]
其中N是所有可能字符的数量(每个字符被选中的可能性相等)，P是准确率。比特率R的单位是比特/每分钟(bits/minute)，由R＝BM确定，其中B是每个字符判定需要的比特数，M是平均每分钟能做出的字符判定的个数。
发明内容
本发明是一种基于视线跟踪和P300脑电电位的字符输入装置，能够让用户通过视线移动和心理活动实现字符输入操作。本发明的基本思想是在诱发用户视觉相关P300进行离散任务集中的目标选择时融合用户的视线信息，将视线跟踪的高空间分辨率和P300检测的高时间分辨率相结合，提高拼写器的输入比特率。
与P300拼写器相比，本发明融合了用户视线定位信息，能在空间上缩小用户期望字符所在的位置范围，即通过视线在键盘上的移动确定期望字符所在的小区域，形成空间上候选字符子集，然后在子集中再进行如P300拼写器的字符判定方法，得到时间上候选字符子集，融合判定用户期望字符。这样可以同时达到增加可选字符数量、缩短字符判定时间、提高判定准确度的目的。
本发明的目的是提供一种不需要人手参与、不受使用环境噪声影响的新型人机交互技术。这种技术也特别适用于上肢残障人员方便使用计算机等设备。
本发明包括摄像机阵列1、视线跟踪模块4、键盘模块5、脑电信号分析模块6和系统控制模块7；其中摄像机阵列1由多个摄像机组成，用于获取用户的视线信息；视线跟踪模块4用于分析摄像机阵列1获取的用户视线信息得到用户的视线方向；键盘模块5用于显示字符并根据视线跟踪结果通过字符闪烁诱发用户脑电信号中的P300；脑电信号分析模块6用于采集用户脑电信号并进行P300成分检测；系统控制模块7用于实现其他模块间的时间同步，并将脑电信号分析模块6的检测结果与用户视线跟踪结果进行融合识别用户对字符的选择，然后转化为字符输入。
(1)本发明中，摄像机阵列1由2-8个摄像机组成，摄像机分布在键盘框上并朝向用户，获取包含视线信息的面部图像。
(2)视线跟踪模块4融合多摄像机获取的面部图像，计算用户视线方向。
(3)键盘模块5通过软件实现，包含显示在显示器上的键盘界面2和后台的键盘控制器8。键盘界面2上排列有字符键，每个字符键上显示一个供用户选择的字符，每个字符键在键盘控制器8的控制下进行闪烁；键盘控制器8控制键盘界面2上的字符键闪烁并完成数据信息的计算和数据交换。根据用户视线方向求得用户视线与键盘界面2的交点，该交点称为视线点。以视线点为中心，确定一个小区域，该区域内的字符键组成了一个候选字符子集，其中包含用户所期望的字符键。根据视线点定位结果和精度，计算出候选字符子集中每个可能字符为用户所期望字符的概率，得到空间候选集，传输至系统控制模块7。同时，候选字符子集内的所有字符键进行等概率随机顺序闪烁，以诱发用户脑电中的P300电位。记录每次闪烁的字符键及其闪烁时间，得到字符键闪烁时间表，传输至系统控制模块7。
(4)脑电信号分析模块6监视用户脑电信号中P300的产生情况。一旦检测出P300成分，即将其产生的时间传输至系统控制模块7。
(5)系统控制模块7从脑电信号分析模块6得到用户脑电信号中P300的产生时间，对照从键盘模块5获取的字符键闪烁时间表找出可能作为此次P300响应的靶刺激的所有字符键闪烁事件，计算出各次闪烁为靶刺激的概率，得到时间候选集。再将空间候选集和时间候选集中的信息进行融合，计算出可能性最高的字符作为对用户意图的判定，输入到计算机。
附图说明
图1为本发明示意图；
图2为本发明各模块间的数据流图；
图3为完成一次字符输入的流程图；
图4为本发明的键盘界面；
图5为本装置在使用时的一种键盘界面与摄像机阵列的部署方案。
图6为键盘模块内部数据流图
附图中：1-摄像机阵列；2-键盘界面；3-显示器；4-视线跟踪模块；5-键盘模块；6-脑电信号分析模块；7-系统控制模块；8-键盘控制器；9-电极帽。
具体实施方式
本发明是一种基于视线跟踪和P300脑电电位的字符输入装置，包括：摄像机阵列1、视线跟踪模块4、键盘模块5、脑电信号分析模块6、系统控制模块7。图2是装置各模块间的数据流图。
本发明中，摄像机阵列1由2-8个摄像机组成，摄像机分布在键盘框上并朝向用户同步获取其面部图像。
视线跟踪模块4从每个摄像机获取的用户眼部图像中分割出虹膜部分，将其形状拟合成椭圆，由该椭圆参数计算得到瞳孔相对于眼角的偏移程度。再将多个摄像机获取的图像信息进行融合，计算出一定精度下的用户视线方向，并告知键盘模块5。
键盘控制器8根据视线定位在水平方向与垂直方向上的精度，以视线点为中心得到一个键盘界面2上的椭圆形区域，确保用户期望的字符键与该区域有交集。键盘界面2上所有与该区域有交集的字符键组成候选字符子集，计算出用户实际注视位置在各候选字符键区域内的概率，将候选字符键的内容与其对应的概率组成空间候选子集，传输至系统控制模块7。候选字符子集中的字符键按照等概率的随机顺序闪烁，闪烁间隔为200ms，以诱发用户脑电中的P300。记录字符键闪烁的时间得到字符键闪烁时间表传输至系统控制模块7。
脑电信号分析模块6使用异步检测技术实时监视用户脑电信号中P300的产生情况。一旦检测出P300成分，即将其产生时间传输至系统控制模块7。
系统控制模块7得到脑电信号分析模块6告知的P300响应发生的时间后，查看字符键闪烁时间表，找到响应时间之前所有可能诱发此次P300响应的所有闪烁事件(通常是该时间前200ms-500ms发生的闪烁事件)，计算各次闪烁事件为靶刺激的概率，将每次闪烁的字符键内容与对应的概率组成时间候选子集。将时间候选子集与从键盘模块5得到的空间候选子集进行融合：对于同时包含于两个候选集中的字符，将其在两个集合中的概率按同等权值联合，计算出可能性最高的字符作为对用户意图的判定，输入到计算机。
图3是一次字符输入的流程。当用户注视期望输入的字符键时，视线跟踪过程确定视线点，基于P300的字符选择过程在视线点附近区域内的字符之中进行对用户期望的估计工作。这个工作的基本步骤是各个候选字符键以随机顺序轮流闪烁以使每个候选字符键的闪烁事件都满足诱发P300的两个条件；候选的所有字符键都闪烁过且只闪烁过一次算做一轮闪烁；进行若干轮闪烁直到检测到用户脑电信息中的P300成分，算做一次输入；闪烁过程中要保证各候选键闪烁的概率相等。脑电信号分析模块6实时在线分析脑电信号，监测P300成分的产生情况。当检测到用户的P300响应时，计算此时刻之前的闪烁事件为该响应靶刺激的概率。再结合用户视线定位信息提供的判定条件，确定用户期望选择的字符，并输入到外部设备。
图5是键盘界面2的一种部署方案。其中，键盘界面2显示在显示器的下半部分，两个摄像机嵌入在显示器周边。这样用户可以在头部不转动的情况下监督装置输出结果，并及时对结果做出反应。
以字母“T”为例，实际输入过程如下：
1)用户在键盘界面2上找到T；
2)用户等待T闪烁，并准备在看到T闪烁后立即默念某一数字；
3)视线跟踪模块4为用户视线定位，得知视线与键盘界面2的交点位于“T”字符键中心，根据视线跟踪精度得到“T”键和与“T”键相邻的6个字符键为候选子集，并计算得到候选字符各自的概率(假设字符内容和对应的概率集合为{T：40％，5：10％，Y：10％，H：10％，G：10％，F：10％，R：10％})。同时，在此7个字符键的候选集合中每次以1/7的概率闪烁一个字符键，每次闪烁间隔200毫秒，直到用户视线移动；
4)T闪烁，用户立即默念了某一数字，此时用户脑电中会有P300产生；
5)脑电信号分析模块6检测出P300产生的时间，由键盘提供的闪烁事件时间表，找到该时间前500ms内的闪烁事件，计算出可能与此次P300响应相关的字符键闪烁事件及其为靶刺激的概率，得到时间候选子集(假设字符内容和对应的概率集合为{5：5％，Y：15％，F：30％，T：40％，R：10％})。结合3)中通过视线定位的信息得到的空间候选子集，计算得到“T”在两个候选子集中的平均概率最大(为40％)，则认为“T”为用户所期望的输入，将“T”输入计算机。

Claims (5)

1.一种基于视线跟踪和P300脑电电位的字符输入装置，其特征在于：包括摄像机阵列、视线跟踪模块、键盘模块、脑电信号分析模块和系统控制模块；其中摄像机阵列由多个摄像机组成，用于获取用户的视线信息；视线跟踪模块用于分析摄像机阵列获取的用户视线信息；键盘模块用于显示字符并根据视线跟踪模块的分析结果通过字符闪烁诱发用户脑电信号中的P300电位；脑电信号分析模块用于采集用户脑电信号并进行P300电位成分检测；系统控制模块用于实现其他模块间的时间同步，并将脑电信号分析模块的检测结果与用户视线跟踪结果进行融合识别用户对字符的选择，然后转化为字符输入。
2.如权利要求1所述的字符输入装置，其特征在于：所述摄像机阵列由2-8个摄像机组成，摄像机分布在键盘框上并朝向用户，获取包含视线信息的面部图像。
3.如权利要求1所述的字符输入装置，其特征在于：所述视线跟踪模块从每个摄像机获取的用户眼部图像中分割出虹膜部分，将其形状拟合成椭圆，由该椭圆参数计算得到瞳孔相对于眼角的偏移程度；再将多个摄像机获取的图像信息进行融合，计算出一定精度下的用户视线方向，并告知键盘模块。
4.如权利要求1所述的字符输入装置，其特征在于：所述键盘模块包括键盘界面和键盘控制器，键盘界面显示于计算机显示器上，键盘控制器控制键盘界面上任意一个区域内所有字符键产生随机顺序的闪烁。
5.如权利要求1所述的字符输入装置，其特征在于：所述系统控制模块从脑电信号分析模块得到用户脑电信号中P300的产生时间，对照从键盘模块获取的字符键闪烁时间表找出可能作为此次P300响应的靶刺激的所有字符键闪烁事件，计算出各次闪烁为靶刺激的概率，得到时间候选集；再将空间候选集和时间候选集中的信息进行融合，计算出可能性最高的字符作为对用户意图的判定，输入到计算机。
CN2009100808525A 2009-03-24 2009-03-24 一种基于视线跟踪和p300脑电电位的字符输入装置 Expired - Fee Related CN101515199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100808525A CN101515199B (zh) 2009-03-24 2009-03-24 一种基于视线跟踪和p300脑电电位的字符输入装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100808525A CN101515199B (zh) 2009-03-24 2009-03-24 一种基于视线跟踪和p300脑电电位的字符输入装置

Publications (2)

Publication Number Publication Date
CN101515199A true CN101515199A (zh) 2009-08-26
CN101515199B CN101515199B (zh) 2011-01-05

Family

ID=41039671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100808525A Expired - Fee Related CN101515199B (zh) 2009-03-24 2009-03-24 一种基于视线跟踪和p300脑电电位的字符输入装置

Country Status (1)

Country Link
CN (1) CN101515199B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968715A (zh) * 2010-10-15 2011-02-09 华南理工大学 一种基于脑机接口鼠标控制的因特网浏览方法
CN102129554A (zh) * 2011-03-18 2011-07-20 山东大学 一种基于视线跟踪的密码输入控制方法
CN102339127A (zh) * 2011-09-09 2012-02-01 中南民族大学 一种用脑电波控制的虚拟中英文通用键盘设计方案
CN102508545A (zh) * 2011-10-24 2012-06-20 天津大学 一种视觉P300-Speller脑-机接口方法
CN102609086A (zh) * 2011-12-26 2012-07-25 西北工业大学 适用于视线输入的汉字输入方法
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的系统和方法
CN103076876A (zh) * 2012-11-22 2013-05-01 西安电子科技大学 基于视线跟踪与语音识别的字符输入装置和方法
CN103164017A (zh) * 2011-12-12 2013-06-19 联想(北京)有限公司 一种眼控输入方法及电子设备
CN105302349A (zh) * 2014-07-25 2016-02-03 南京瀚宇彩欣科技有限责任公司 无挡触控的手持式电子装置及其触控外盖
CN105528072A (zh) * 2015-12-02 2016-04-27 天津大学 一种动态停止策略下的脑-机接口拼写系统
CN105677026A (zh) * 2015-12-31 2016-06-15 联想(北京)有限公司 信息处理方法及电子设备
CN105686835A (zh) * 2016-01-18 2016-06-22 张江杰 一种目光可视化的装置
CN106354386A (zh) * 2016-08-30 2017-01-25 杨永利 利用生理信号进行交互的电子设备及方法
CN106802723A (zh) * 2017-01-18 2017-06-06 西安电子科技大学 一种基于稳态视觉诱发电位的双拼中文输入系统
CN107102740A (zh) * 2014-04-28 2017-08-29 三星半导体(中国)研究开发有限公司 实现针对p300成分的脑机接口界面的设备及其方法
CN107174203A (zh) * 2017-05-10 2017-09-19 东华大学 一种脑电信号的识别方法
CN107209552A (zh) * 2014-09-02 2017-09-26 托比股份公司 基于凝视的文本输入系统和方法
CN107340863A (zh) * 2017-06-29 2017-11-10 华南理工大学 一种基于emg的交互方法
CN108304917A (zh) * 2018-01-17 2018-07-20 华南理工大学 一种基于lstm网络的p300信号检测方法
CN108919947A (zh) * 2018-06-20 2018-11-30 北京航空航天大学 一种通过视觉诱发电位来实现的脑机接口系统及方法
WO2019001360A1 (zh) * 2017-06-29 2019-01-03 华南理工大学 一种基于视觉刺激的人机交互方法
CN109715047A (zh) * 2016-09-07 2019-05-03 威尔乌集团 用于眼动追踪应用的传感器融合系统和方法
TWI670625B (zh) * 2015-10-19 2019-09-01 日商鷗利硏究所股份有限公司 視線輸入裝置、視線輸入方法、及程式
US10585586B2 (en) 2018-01-12 2020-03-10 Samsung Electronics Co., Ltd. Electronic apparatus, method for controlling thereof and the computer-readable recording medium
CN110959146A (zh) * 2017-07-26 2020-04-03 微软技术许可有限责任公司 使用眼睛注视检测的智能用户界面元素选择
EP3672478A1 (en) * 2017-08-23 2020-07-01 Neurable Inc. Brain-computer interface with high-speed eye tracking features
CN112698729A (zh) * 2021-01-19 2021-04-23 华南理工大学 一种基于脑信号与语音相结合的字符输入方法
US11366517B2 (en) 2018-09-21 2022-06-21 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
US12001602B2 (en) 2017-11-13 2024-06-04 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
US12053308B2 (en) 2018-01-18 2024-08-06 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488297B (zh) * 2013-09-30 2016-04-13 华南理工大学 一种基于脑机接口的在线半监督文字输入系统及方法

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968715B (zh) * 2010-10-15 2012-10-31 华南理工大学 一种基于脑机接口鼠标控制的因特网浏览方法
CN101968715A (zh) * 2010-10-15 2011-02-09 华南理工大学 一种基于脑机接口鼠标控制的因特网浏览方法
CN102129554A (zh) * 2011-03-18 2011-07-20 山东大学 一种基于视线跟踪的密码输入控制方法
CN102129554B (zh) * 2011-03-18 2013-01-16 山东大学 一种基于视线跟踪的密码输入控制方法
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的系统和方法
CN102339127A (zh) * 2011-09-09 2012-02-01 中南民族大学 一种用脑电波控制的虚拟中英文通用键盘设计方案
CN102508545A (zh) * 2011-10-24 2012-06-20 天津大学 一种视觉P300-Speller脑-机接口方法
CN102508545B (zh) * 2011-10-24 2014-04-30 天津大学 一种视觉P300-Speller脑-机接口方法
CN103164017B (zh) * 2011-12-12 2016-03-30 联想(北京)有限公司 一种眼控输入方法及电子设备
CN103164017A (zh) * 2011-12-12 2013-06-19 联想(北京)有限公司 一种眼控输入方法及电子设备
CN102609086A (zh) * 2011-12-26 2012-07-25 西北工业大学 适用于视线输入的汉字输入方法
CN102609086B (zh) * 2011-12-26 2014-09-10 西北工业大学 适用于视线输入的汉字输入方法
CN103076876A (zh) * 2012-11-22 2013-05-01 西安电子科技大学 基于视线跟踪与语音识别的字符输入装置和方法
CN103076876B (zh) * 2012-11-22 2016-02-10 西安电子科技大学 基于视线跟踪与语音识别的字符输入装置和方法
CN107102740A (zh) * 2014-04-28 2017-08-29 三星半导体(中国)研究开发有限公司 实现针对p300成分的脑机接口界面的设备及其方法
CN105302349A (zh) * 2014-07-25 2016-02-03 南京瀚宇彩欣科技有限责任公司 无挡触控的手持式电子装置及其触控外盖
CN107209552A (zh) * 2014-09-02 2017-09-26 托比股份公司 基于凝视的文本输入系统和方法
CN107209552B (zh) * 2014-09-02 2020-10-27 托比股份公司 基于凝视的文本输入系统和方法
US10678329B2 (en) 2015-10-19 2020-06-09 Orylab Inc. Line-of-sight input device, and method of line-of-sight input
TWI670625B (zh) * 2015-10-19 2019-09-01 日商鷗利硏究所股份有限公司 視線輸入裝置、視線輸入方法、及程式
CN105528072A (zh) * 2015-12-02 2016-04-27 天津大学 一种动态停止策略下的脑-机接口拼写系统
CN105677026A (zh) * 2015-12-31 2016-06-15 联想(北京)有限公司 信息处理方法及电子设备
CN105677026B (zh) * 2015-12-31 2020-01-31 联想(北京)有限公司 信息处理方法及电子设备
CN105686835A (zh) * 2016-01-18 2016-06-22 张江杰 一种目光可视化的装置
CN106354386B (zh) * 2016-08-30 2018-06-29 杨永利 利用生理信号进行交互的电子设备及方法
CN106354386A (zh) * 2016-08-30 2017-01-25 杨永利 利用生理信号进行交互的电子设备及方法
CN109715047A (zh) * 2016-09-07 2019-05-03 威尔乌集团 用于眼动追踪应用的传感器融合系统和方法
CN109715047B (zh) * 2016-09-07 2021-08-03 威尔乌集团 用于眼动追踪应用的传感器融合系统和方法
CN106802723A (zh) * 2017-01-18 2017-06-06 西安电子科技大学 一种基于稳态视觉诱发电位的双拼中文输入系统
CN107174203A (zh) * 2017-05-10 2017-09-19 东华大学 一种脑电信号的识别方法
WO2019001360A1 (zh) * 2017-06-29 2019-01-03 华南理工大学 一种基于视觉刺激的人机交互方法
CN107340863B (zh) * 2017-06-29 2019-12-03 华南理工大学 一种基于emg的交互方法
CN107340863A (zh) * 2017-06-29 2017-11-10 华南理工大学 一种基于emg的交互方法
US10838496B2 (en) 2017-06-29 2020-11-17 South China University Of Technology Human-machine interaction method based on visual stimulation
CN110959146B (zh) * 2017-07-26 2021-12-03 微软技术许可有限责任公司 使用眼睛注视检测的智能用户界面元素选择
US11907419B2 (en) 2017-07-26 2024-02-20 Microsoft Technology Licensing, Llc Intelligent user interface element selection using eye-gaze
CN110959146A (zh) * 2017-07-26 2020-04-03 微软技术许可有限责任公司 使用眼睛注视检测的智能用户界面元素选择
EP3672478A1 (en) * 2017-08-23 2020-07-01 Neurable Inc. Brain-computer interface with high-speed eye tracking features
CN111629653A (zh) * 2017-08-23 2020-09-04 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
US11972049B2 (en) 2017-08-23 2024-04-30 Neurable Inc. Brain-computer interface with high-speed eye tracking features
EP3672478A4 (en) * 2017-08-23 2021-05-19 Neurable Inc. BRAIN COMPUTER INTERFACE WITH HIGH SPEED EYE TRACKING
CN111629653B (zh) * 2017-08-23 2024-06-21 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
US11269414B2 (en) 2017-08-23 2022-03-08 Neurable Inc. Brain-computer interface with high-speed eye tracking features
US12001602B2 (en) 2017-11-13 2024-06-04 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
US10585586B2 (en) 2018-01-12 2020-03-10 Samsung Electronics Co., Ltd. Electronic apparatus, method for controlling thereof and the computer-readable recording medium
CN108304917A (zh) * 2018-01-17 2018-07-20 华南理工大学 一种基于lstm网络的p300信号检测方法
CN108304917B (zh) * 2018-01-17 2020-11-24 华南理工大学 一种基于lstm网络的p300信号检测方法
US12053308B2 (en) 2018-01-18 2024-08-06 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
CN108919947A (zh) * 2018-06-20 2018-11-30 北京航空航天大学 一种通过视觉诱发电位来实现的脑机接口系统及方法
US11366517B2 (en) 2018-09-21 2022-06-21 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
CN112698729B (zh) * 2021-01-19 2023-06-06 华南理工大学 一种基于脑信号与语音相结合的字符输入方法
CN112698729A (zh) * 2021-01-19 2021-04-23 华南理工大学 一种基于脑信号与语音相结合的字符输入方法

Also Published As

Publication number Publication date
CN101515199B (zh) 2011-01-05

Similar Documents

Publication Publication Date Title
CN101515199B (zh) 一种基于视线跟踪和p300脑电电位的字符输入装置
EP2698112B1 (en) Real-time stress determination of an individual
Z. Allison et al. A four-choice hybrid P300/SSVEP BCI for improved accuracy
CN103699216B (zh) 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
CN101464728B (zh) 视觉运动相关神经信号为载体的人机交互方法
CN103699226A (zh) 一种基于多信息融合的三模态串行脑-机接口方法
US20020039111A1 (en) Automated visual tracking for computer access
CN111930238B (zh) 基于动态ssvep范式的脑机接口系统实现方法及装置
CN112008725B (zh) 一种人机融合脑控机器人系统
EP3424408B1 (en) Fatigue state determination device and fatigue state determination method
CN103324287A (zh) 基于眼动和笔触数据的计算机辅助草图绘制的方法和系统
CN102799267A (zh) Ssvep及阻断和p300三特征多脑-机接口方法
CN108968989A (zh) 一种基于心理学的应激训练系统及其使用方法
CN113143273A (zh) 一种在线视频学习中学习者注意状态智能检测系统及方法
WO2023041940A1 (en) Gaze-based behavioural monitoring system
CN105700687A (zh) 基于folding HDCA算法的单试次脑电P300成分检测方法
KR101768106B1 (ko) 뇌-컴퓨터 인터페이스 기반 문자 입력 장치 및 방법
CN101339413B (zh) 基于脑电中人脸识别特异性波的开关控制方法
CN109308118A (zh) 基于eog的中文眼写信号识别系统及其识别方法
Huang et al. Virtual reality for training and fitness assessments for construction safety
Cecotti et al. Evaluation of an SSVEP based brain-computer interface on the command and application levels
CN112433617B (zh) 一种两人协同的p300-bci目标决策系统及方法
Hild et al. An ERP-based brain-computer interface for text entry using rapid serial visual presentation and language modeling
CN116048266A (zh) 一种融合基于摄像头式视线跟踪技术的脑机接口系统
CN106815264A (zh) 一种信息处理方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110105

Termination date: 20140324