CN107239137B - 一种基于虚拟键盘的文字输入方法及装置 - Google Patents

一种基于虚拟键盘的文字输入方法及装置 Download PDF

Info

Publication number
CN107239137B
CN107239137B CN201710277678.8A CN201710277678A CN107239137B CN 107239137 B CN107239137 B CN 107239137B CN 201710277678 A CN201710277678 A CN 201710277678A CN 107239137 B CN107239137 B CN 107239137B
Authority
CN
China
Prior art keywords
virtual key
eeg signals
subregion
destination virtual
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710277678.8A
Other languages
English (en)
Other versions
CN107239137A (zh
Inventor
李想
魏小红
冯雨思
黄帅琪
吴延凇
吴进
赵增辉
范鹏森
陈昕
卢韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201710277678.8A priority Critical patent/CN107239137B/zh
Publication of CN107239137A publication Critical patent/CN107239137A/zh
Application granted granted Critical
Publication of CN107239137B publication Critical patent/CN107239137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本发明提供了一种基于虚拟键盘的文字输入方法及装置。该方法包括：S1：自动识别虚拟键盘区域及键位，将所述虚拟键盘区域划分为预设数量的子区域，各个子区域以不同的频率进行闪烁；S2：接收脑电采集处理设备发送的第一脑电信号；S3：对第一脑电信号进行处理分析，根据处理分析结果从各个子区域中确定第一子区域为用户的注视区；S4：重复S1‑S3，将第一子区域进行分割，直到第一子区域对应的虚拟按键数量小于预设阈值时，将第一子区域确定为触发按键位置；S5：当第一子区域对应的虚拟按键的数量为1时，则将该虚拟按键确定为用户的目标虚拟按键；S6：执行点击目标虚拟按键的指令，输入与目标虚拟按键对应的字符。本发明操作方便，解放了用户的双手。

Description

一种基于虚拟键盘的文字输入方法及装置
技术领域
本发明涉及人机交互技术领域，具体涉及一种基于虚拟键盘的文字输入方法及装置。
背景技术
人机交互发展共有三个阶段，分别为命令行界面交互阶段、图形用户界面交互阶段和自然和谐的人机交互阶段。命令行界面交互阶段中，计算机的使用者被看做操作员，计算机对输入信息一般制作出被动的反应，操作员主要通过键盘输入数据和命令信息，显然，这种人机界面交互方式缺乏自然性。图形用户界面交互阶段，依赖菜单选择和交互构件，但重复性的菜单选择会给用户造成不方便。自然和谐的人机交互阶段是基于语言、手写体、姿势、视线、表情等输入手段的多通道交互，目的是使人能以声音、动作、表情等自然方式进行交互操作。
近年来随着脑科学、计算机科学、信号处理技术的飞速发展，通过脑机接口(BrainComputer Interface，BCI)的技术可实现人类利用脑电信号同计算机或其它装置进行通讯，有助于自然和谐的人机交互技术发展。在人机交互技术中，需要点击硬件键盘或者虚拟键盘完成文字的输入，但这种操作方式缺乏自然性，特别是手部残障人士难以依赖这种交互方式实现文字输入。
发明内容
本发明实施例提供一种基于虚拟键盘的文字输入方法及装置，用于解决现有的文字输入方法操作不方便的问题。
本发明实施例提供了一种基于虚拟键盘的文字输入方法，包括：
S1：针对虚拟键盘应用程序，自动识别显示器显示的虚拟键盘区域和键位，自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为预设数量的子区域，各个子区域以不同的频率进行闪烁；
S2：接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；
S3：对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；
S4：重复步骤S1-S3，将所述第一子区域进行分割，直到所述第一子区域对应的虚拟按键数量小于预设阈值时，将所述第一子区域确定为触发按键位置；
S5：获取所述第一子区域对应的虚拟按键的数量，当所述第一子区域对应的虚拟按键的数量为1时，则将该虚拟按键确定为用户的目标虚拟按键；
S6：执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符。
可选地，当所述第一子区域对应的虚拟按键的数量大于1时，所述方法还包括：
控制所述第一区域对应的各个虚拟按键以不同的频率进行闪烁；
接收所述脑电采集处理设备发送的第二脑电信号，所述第二脑电信号为所述脑电采集处理设备对用户注视所述第一子区域的脑电信号进行采集后获得的；
对所述第二脑电信号进行处理分析，根据处理分析结果从所述第一区域对应的各个虚拟按键中确定用户的目标虚拟按键。
可选地，在执行点击所述目标虚拟按键的指令之前，所述方法还包括：
获取所述目标虚拟按键对应的字符的数量；
当所述目标虚拟按键对应的字符的数量为1时，执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符；
当所述目标虚拟按键对应的字符的数量大于1时，控制所述目标虚拟按键对应的各个字符以不同的频率进行闪烁；接收所述脑电采集处理设备发送的第三脑电信号，所述第三脑电信号为所述脑电采集处理设备对用户注视所述目标虚拟按键的脑电信号进行采集后获得的；对所述第三脑电信号进行处理分析，根据处理分析结果从所述目标虚拟按键中确定用户注视的字符，输入所述用户注视的字符。
可选地，对脑电信号的处理分析采用脑电信号分析工具OpenViBE。
可选地，所述预设数量为4。
本发明实施例提供了一种基于虚拟键盘的文字输入装置，包括：
虚拟键盘识别单元，用于针对虚拟键盘应用程序，自动识别显示器显示的虚拟键盘区域和键位；
子区域划分单元，用于自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为预设数量的子区域，各个子区域以不同的频率进行闪烁；
第一脑电信号接收单元，用于接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；
第一子区域确定单元，用于对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；
触发按键位置确定单元，用于重复步骤S1-S3，将所述第一子区域进行分割，直到所述第一子区域对应的虚拟按键数量小于预设阈值时，将所述第一子区域确定为触发按键位置；
所述步骤S1-S3包括：
S1：针对虚拟键盘应用程序，自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为预设数量的子区域，各个子区域以不同的频率进行闪烁；
S2：接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；
S3：对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；
目标虚拟按键确定单元，用于获取所述第一子区域对应的虚拟按键的数量，当所述第一子区域对应的虚拟按键的数量为1时，则将该虚拟按键确定为用户的目标虚拟按键；
文字输入单元，用于执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符。
可选地，所述目标虚拟按键确定单元还用于：
当所述第一子区域对应的虚拟按键的数量大于1时，控制所述第一区域对应的各个虚拟按键以不同的频率进行闪烁；
接收所述脑电采集处理设备发送的第二脑电信号，所述第二脑电信号为所述脑电采集处理设备对用户注视所述第一子区域的脑电信号进行采集后获得的；
对所述第二脑电信号进行处理分析，根据处理分析结果从所述第一区域对应的各个虚拟按键中确定用户的目标虚拟按键。
可选地，所述文字输入单元进一步用于：
获取所述目标虚拟按键对应的字符的数量；
当所述目标虚拟按键对应的字符的数量为1时，执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符；
当所述目标虚拟按键对应的字符的数量大于1时，控制所述目标虚拟按键对应的各个字符以不同的频率进行闪烁；接收所述脑电采集处理设备发送的第三脑电信号，所述第三脑电信号为所述脑电采集处理设备对用户注视所述目标虚拟按键的脑电信号进行采集后获得的；对所述第三脑电信号进行处理分析，根据处理分析结果从所述目标虚拟按键中确定用户注视的字符，输入所述用户注视的字符。
可选地，对脑电信号的处理分析采用脑电信号分析工具OpenViBE。
可选地，所述预设数量为4。
本发明实施例提供的基于虚拟键盘的文字输入方法及装置，通过虚拟键盘的各个子区域以不同的频率闪烁，用户注视各个子区域产生脑电信号，不断分割细化闪烁区域，最终确定触发按键位置，只需要用户目光聚焦即可选择目标虚拟按键。利用脑电信号进行文字的输入，与传统的硬件键盘或虚拟键盘输入相比，操作方便，解放了用户的双手。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的基于虚拟键盘的文字输入方法的流程示意图；
图2是本发明一个实施例的基于虚拟键盘的文字输入方法的原理图；
图3是本发明一个实施例的基于虚拟键盘的文字输入装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明一个实施例的基于虚拟键盘的文字输入方法的流程示意图。如图1所示，该实施例的方法包括：
S1：针对虚拟键盘应用程序，自动识别显示器显示的虚拟键盘区域和键位，自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为预设数量的子区域，各个子区域以不同的频率进行闪烁；
需要说明的是，虚拟键盘是一个模拟实际键盘功能，界面和硬件键盘相近的应用程序。
本发明实施例可对显示器显示的虚拟键盘区域进行自动识别，获取各个虚拟按键所在的位置。
本发明实施例可基于稳态视觉诱发电位SSVEP原理采集用户的脑电信号，进而实现文字输入。
稳态视觉诱发电位SSVEP是当视觉神经受到一个固定频率的视觉刺激时，人的大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应。当显示器显示的虚拟键盘区域的各个子区域以不同的频率进行闪烁时，根据采集的用户注视虚拟键盘区域时的脑电信号可确定用户的注视区。
S2：接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；
需要说明的是，脑电信号极其微弱，容易受到周围电磁波干扰，所以需要采用精密的脑电信号采集处理设备采集到精确的脑电信号。用户将脑电采集处理设备(例如Emotivepoc、Emotiv epoc+、Emotiv insight等)戴在头上，用户注视虚拟键盘区域，脑电采集处理设备采集用户的脑电信号。
S3：对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；
在实际应用中，本发明实施例利用DirectX或OpenGL在显示器界面上绘制以指定频率闪烁的区域，根据SSVEP原理，对用户注视闪烁区域而产生的相应脑电信号进行分类(计算机学习并记录用户对于特定闪烁频率的脑电信号)，采用脑电信号分析工具OpenViBE对所述脑电信号进行处理，确定用户的注视区。
OpenViBE是实时脑电信号分析工具，最显著的特点是高模块化，由C++编写完成，可以轻松地集成和高效地设计脑机接口应用程序。
S4：重复步骤S1-S3，将所述第一子区域进行分割，直到所述第一子区域对应的虚拟按键数量小于预设阈值时，将所述第一子区域确定为触发按键位置；
需要说明的是，本发明实施例的触发按键指的是虚拟键盘应用程序运行时，跟随用户的选择进行移动的按键。在虚拟键盘应用程序的界面中，可以用代表触发按键。
S5：获取所述第一子区域对应的虚拟按键的数量，当所述第一子区域对应的虚拟按键的数量为1时，则将该虚拟按键确定为用户的目标虚拟按键；
需要说明的是，当通过对第一子区域的不断分割细化，使得第一子区域仅包含一个虚拟按键时，将该虚拟按键确定为用户的目标虚拟按键。
S6：执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符；
需要说明的是，本发明实施例在根据脑电信号确定用户的目标虚拟按键后，将触发按键移动至目标虚拟按键所在的位置，调用系统API执行点击所述目标虚拟按键的指令，输入与目标虚拟按键对应的字符。
本发明实施例提供的基于虚拟键盘的文字输入方法，通过虚拟键盘的各个子区域以不同的频率闪烁，用户注视各个子区域产生脑电信号，不断分割细化闪烁区域，最终确定触发按键位置，只需要用户目光聚焦即可选择目标虚拟按键。利用脑电信号进行文字的输入，与传统的硬件键盘或虚拟键盘输入相比，操作方便，解放了用户的双手。
在本发明实施例的一种可选的实施方式中，当所述第一子区域对应的虚拟按键的数量大于1时，所述方法还包括：
控制所述第一区域对应的各个虚拟按键以不同的频率进行闪烁；
接收所述脑电采集处理设备发送的第二脑电信号，所述第二脑电信号为所述脑电采集处理设备对用户注视所述第一子区域的脑电信号进行采集后获得的；
对所述第二脑电信号进行处理分析，根据处理分析结果从所述第一区域对应的各个虚拟按键中确定用户的目标虚拟按键。
可理解的是，当第一子区域对应的虚拟按键的数量大于1时，通过控制第一子区域对应的各个虚拟按键以不同的频率进行闪烁，分析用户此时的脑电信号，从多个虚拟按键中确定用户的虚拟按键。
进一步地，在执行点击所述目标虚拟按键的指令之前，所述方法还包括：
获取所述目标虚拟按键对应的字符的数量；
当所述目标虚拟按键对应的字符的数量为1时，执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符；
当所述目标虚拟按键对应的字符的数量大于1时，控制所述目标虚拟按键对应的各个字符以不同的频率进行闪烁；接收所述脑电采集处理设备发送的第三脑电信号，所述第三脑电信号为所述脑电采集处理设备对用户注视所述目标虚拟按键的脑电信号进行采集后获得的；对所述第三脑电信号进行处理分析，根据处理分析结果从所述目标虚拟按键中确定用户注视的字符，输入所述用户注视的字符。
需要说明的是，本发明实施例中虚拟键盘中目标虚拟按键对应的字符的数量可能不是唯一的。如图2所示，将虚拟键盘区域划分为A、B、C、D四个子区域，用户希望输入字符“Q”，四个子区域以不同的频率闪烁，分析用户的脑电信号，将子区域A确定为第一子区域；根据上述的方法对第一子区域再进一步划分为A1、A2、A3和A4，确定A3中的Q为用户的目标虚拟按键。该目标虚拟按键中包括“Q”和“q”，此时需要对目标虚拟按键进一步分割，以此确定用户注视的字符。
本发明通过多次试验对比，邀请志愿者参与测试，确定最科学有效的分割方式，保证基于虚拟键盘的文字输入方法的合理性及高效性，从人机交互的角度上提升用户体验。本发明实施例将虚拟键盘区域划分为4个子区域时文字输入的准确性及效率较高。
本发明实施例的文字输入方法，使得人机交互更加自然，不需要发出声音或者作出动作，可帮助特殊人群完成人机交互。普通用户也可应用本发明实施例提供的文字输入方法更方便地完成人机交互。
图3是本发明一个实施例的基于虚拟键盘的文字输入装置的结构示意图。如图3所示，该发明实施例的装置包括虚拟键盘识别单元31、子区域划分单元32、第一脑电信号接收单元33、第一子区域确定单元34、触发按键位置确定单元35、目标虚拟按键确定单元36和文字输入单元37，具体地：
虚拟键盘识别单元31，用于针对虚拟键盘应用程序，自动识别显示器显示的虚拟键盘区域和键位；
子区域划分单元32，用于自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为为预设数量的子区域，各个子区域以不同的频率进行闪烁；
第一脑电信号接收单元33，用于接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；
第一子区域确定单元34，用于对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；
触发按键位置确定单元35，用于重复步骤S1-S3，将所述第一子区域进行分割，直到所述第一子区域对应的虚拟按键数量小于预设阈值时，将所述第一子区域确定为触发按键位置；
所述步骤S1-S3包括：
S1：针对虚拟键盘应用程序，自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为为预设数量的子区域，各个子区域以不同的频率进行闪烁；
S2：接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；
S3：对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；
目标虚拟按键确定单元36，用于获取所述第一子区域对应的虚拟按键的数量，当所述第一子区域对应的虚拟按键的数量为1时，则将该虚拟按键确定为用户的目标虚拟按键；
文字输入单元37，用于执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符。
本发明实施例提供的基于虚拟键盘的文字输入装置，通过虚拟键盘的各个子区域以不同的频率闪烁，用户注视各个子区域产生脑电信号，不断分割细化闪烁区域，最终确定触发按键位置，只需要用户目光聚焦即可选择目标虚拟按键。利用脑电信号进行文字的输入，与传统的硬件键盘或虚拟键盘输入相比，操作方便，解放了用户的双手。
在本发明实施例的一个可选的实施方式中，目标虚拟按键确定单元36还用于：
当所述第一子区域对应的虚拟按键的数量大于1时，控制所述第一区域对应的各个虚拟按键以不同的频率进行闪烁；
接收所述脑电采集处理设备发送的第二脑电信号，所述第二脑电信号为所述脑电采集处理设备对用户注视所述第一子区域的脑电信号进行采集后获得的；
对所述第二脑电信号进行处理分析，根据处理分析结果从所述第一区域对应的各个虚拟按键中确定用户的目标虚拟按键。
文字输入单元37进一步用于：
获取所述目标虚拟按键对应的字符的数量；
当所述目标虚拟按键对应的字符的数量为1时，执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符；
当所述目标虚拟按键对应的字符的数量大于1时，控制所述目标虚拟按键对应的各个字符以不同的频率进行闪烁；接收所述脑电采集处理设备发送的第三脑电信号，所述第三脑电信号为所述脑电采集处理设备对用户注视所述目标虚拟按键的脑电信号进行采集后获得的；对所述第三脑电信号进行处理分析，根据处理分析结果从所述目标虚拟按键中确定用户注视的字符，输入所述用户注视的字符。
可选地，对脑电信号的处理分析采用脑电信号分析工具OpenViBE。
可选地，所述预设数量为4。
本发明实施例的装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
本发明实施例提供的基于虚拟键盘的文字输入方法及装置，通过虚拟键盘的各个子区域以不同的频率闪烁，用户注视各个子区域产生脑电信号，不断分割细化闪烁区域，最终确定触发按键位置，只需要用户目光聚焦即可选择目标虚拟按键。利用脑电信号进行文字的输入，与传统的硬件键盘或虚拟键盘输入相比，操作方便，解放了用户的双手。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于虚拟键盘的文字输入方法，其特征在于，包括：
S1：针对虚拟键盘应用程序，自动识别显示器显示的虚拟键盘区域及键位，自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为预设数量的子区域，各个子区域以不同的频率进行闪烁；
S2：接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；
S3：对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；
S4：重复步骤S1-S3，将所述第一子区域进行分割，直到所述第一子区域对应的虚拟按键数量小于预设阈值时，将所述第一子区域确定为触发按键位置；
S5：获取所述第一子区域对应的虚拟按键的数量，当所述第一子区域对应的虚拟按键的数量为1时，则将该虚拟按键确定为用户的目标虚拟按键；
S6：执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符。
2.根据权利要求1所述的方法，其特征在于，当所述第一子区域对应的虚拟按键的数量大于1时，所述方法还包括：
控制所述第一区域对应的各个虚拟按键以不同的频率进行闪烁；
接收所述脑电采集处理设备发送的第二脑电信号，所述第二脑电信号为所述脑电采集处理设备对用户注视所述第一子区域的脑电信号进行采集后获得的；
对所述第二脑电信号进行处理分析，根据处理分析结果从所述第一区域对应的各个虚拟按键中确定用户的目标虚拟按键。
3.根据权利要求1所述的方法，其特征在于，在执行点击所述目标虚拟按键的指令之前，所述方法还包括：
获取所述目标虚拟按键对应的字符的数量；
当所述目标虚拟按键对应的字符的数量为1时，执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符；
当所述目标虚拟按键对应的字符的数量大于1时，控制所述目标虚拟按键对应的各个字符以不同的频率进行闪烁；接收所述脑电采集处理设备发送的第三脑电信号，所述第三脑电信号为所述脑电采集处理设备对用户注视所述目标虚拟按键的脑电信号进行采集后获得的；对所述第三脑电信号进行处理分析，根据处理分析结果从所述目标虚拟按键中确定用户注视的字符，输入所述用户注视的字符。
4.根据权利要求1所述的方法，其特征在于，对脑电信号的处理分析采用脑电信号分析工具OpenViBE。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述预设数量为4。
6.一种基于虚拟键盘的文字输入装置，其特征在于，包括：
虚拟键盘识别单元，用于针对虚拟键盘应用程序，自动识别显示器显示的虚拟键盘区域和键位；
子区域划分单元，用于自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为预设数量的子区域，各个子区域以不同的频率进行闪烁；
第一脑电信号接收单元，用于接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；
第一子区域确定单元，用于对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；
触发按键位置确定单元，用于重复步骤S1-S3，将所述第一子区域进行分割，直到所述第一子区域对应的虚拟按键数量小于预设阈值时，将所述第一子区域确定为触发按键位置；
所述步骤S1-S3包括：
S1：针对虚拟键盘应用程序，自动根据键盘区域和键位情况将所述虚拟键盘区域划分为预设数量的子区域，各个子区域以不同的频率进行闪烁；
S2：接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；
S3：对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；
目标虚拟按键确定单元，用于获取所述第一子区域对应的虚拟按键的数量，当所述第一子区域对应的虚拟按键的数量为1时，则将该虚拟按键确定为用户的目标虚拟按键；
文字输入单元，用于执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符。
7.根据权利要求6所述的装置，其特征在于，所述目标虚拟按键确定单元还用于：
当所述第一子区域对应的虚拟按键的数量大于1时，控制所述第一区域对应的各个虚拟按键以不同的频率进行闪烁；
接收所述脑电采集处理设备发送的第二脑电信号，所述第二脑电信号为所述脑电采集处理设备对用户注视所述第一子区域的脑电信号进行采集后获得的；
对所述第二脑电信号进行处理分析，根据处理分析结果从所述第一区域对应的各个虚拟按键中确定用户的目标虚拟按键。
8.根据权利要求6所述的装置，其特征在于，所述文字输入单元进一步用于：
获取所述目标虚拟按键对应的字符的数量；
当所述目标虚拟按键对应的字符的数量为1时，执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符；
当所述目标虚拟按键对应的字符的数量大于1时，控制所述目标虚拟按键对应的各个字符以不同的频率进行闪烁；接收所述脑电采集处理设备发送的第三脑电信号，所述第三脑电信号为所述脑电采集处理设备对用户注视所述目标虚拟按键的脑电信号进行采集后获得的；对所述第三脑电信号进行处理分析，根据处理分析结果从所述目标虚拟按键中确定用户注视的字符，输入所述用户注视的字符。
9.根据权利要求6所述的装置，其特征在于，对脑电信号的处理分析采用脑电信号分析工具OpenViBE。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述预设数量为4。
CN201710277678.8A 2017-04-25 2017-04-25 一种基于虚拟键盘的文字输入方法及装置 Active CN107239137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710277678.8A CN107239137B (zh) 2017-04-25 2017-04-25 一种基于虚拟键盘的文字输入方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710277678.8A CN107239137B (zh) 2017-04-25 2017-04-25 一种基于虚拟键盘的文字输入方法及装置

Publications (2)

Publication Number Publication Date
CN107239137A CN107239137A (zh) 2017-10-10
CN107239137B true CN107239137B (zh) 2019-11-15

Family

ID=59984095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710277678.8A Active CN107239137B (zh) 2017-04-25 2017-04-25 一种基于虚拟键盘的文字输入方法及装置

Country Status (1)

Country Link
CN (1) CN107239137B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471530A (zh) * 2018-10-22 2019-03-15 吉林大学 基于稳态视觉诱发电位和运动想象的脑控输入法
CN109814720B (zh) * 2019-02-02 2021-01-26 京东方科技集团股份有限公司 一种设备的脑控方法及系统
CN110174938B (zh) * 2019-04-16 2022-03-18 中国科学院深圳先进技术研究院 一种数据输入的方法及系统
CN110688013A (zh) * 2019-10-11 2020-01-14 南京邮电大学 一种基于ssvep的英文键盘拼写系统及拼写方法
CN111586457A (zh) * 2020-04-26 2020-08-25 海信视像科技股份有限公司 一种重复执行输入指令对应操作的方法及显示设备
CN112084081B (zh) * 2020-08-28 2024-08-02 苏州富强科技有限公司 一种基于工业控制的键盘检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201696A (zh) * 2007-11-29 2008-06-18 浙江大学 基于p300脑电电位的中文输入bci系统
CN102339128A (zh) * 2011-09-09 2012-02-01 中南民族大学 一种用脑电波输入汉字的虚拟键盘设计方案
CN102339127A (zh) * 2011-09-09 2012-02-01 中南民族大学 一种用脑电波控制的虚拟中英文通用键盘设计方案
KR20130002590A (ko) * 2011-06-29 2013-01-08 한양대학교 산학협력단 안정상태 시각유발전위를 이용한 ｑｗｅｒｔｙ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법
CN103995583A (zh) * 2014-04-28 2014-08-20 三星半导体(中国)研究开发有限公司 实现针对p300成分的脑机接口界面的设备及其方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866164A (zh) * 2014-02-22 2015-08-26 王真 一种基于眨眼信号模式检测实现的人机交互系统与方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101201696A (zh) * 2007-11-29 2008-06-18 浙江大学 基于p300脑电电位的中文输入bci系统
KR20130002590A (ko) * 2011-06-29 2013-01-08 한양대학교 산학협력단 안정상태 시각유발전위를 이용한 ｑｗｅｒｔｙ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법
CN102339128A (zh) * 2011-09-09 2012-02-01 中南民族大学 一种用脑电波输入汉字的虚拟键盘设计方案
CN102339127A (zh) * 2011-09-09 2012-02-01 中南民族大学 一种用脑电波控制的虚拟中英文通用键盘设计方案
CN103995583A (zh) * 2014-04-28 2014-08-20 三星半导体(中国)研究开发有限公司 实现针对p300成分的脑机接口界面的设备及其方法

Also Published As

Publication number Publication date
CN107239137A (zh) 2017-10-10

Similar Documents

Publication Publication Date Title
CN107239137B (zh) 一种基于虚拟键盘的文字输入方法及装置
CN108829245B (zh) 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统
CN109074166A (zh) 使用神经数据改变应用状态
Bachynskyi et al. Informing the design of novel input methods with muscle coactivation clustering
Zhang et al. WatchOut: extending interactions on a smartwatch with inertial sensing
Tricomi et al. You can’t hide behind your headset: User profiling in augmented and virtual reality
Huang et al. Leveraging dual-observable input for fine-grained thumb interaction using forearm EMG
CN105446481A (zh) 基于手势的虚拟现实人机交互方法和系统
CN110826835A (zh) 一种基于手套的针灸训练方法、系统、平台及存储介质
Deng et al. Beyond Fitts’s law: a three-phase model predicts movement time to position an object in an immersive 3D virtual environment
CN107229330B (zh) 一种基于稳态视觉诱发电位的文字输入方法及装置
Hwang et al. VibPress: estimating pressure input using vibration absorption on mobile devices
CN107272880B (zh) 一种光标定位、光标控制方法及装置
Brancati et al. Touchless target selection techniques for wearable augmented reality systems
Kouroupetroglou et al. Using Wiimote for 2D and 3D pointing tasks: gesture performance evaluation
Riduwan et al. Finger-based gestural interaction for exploration of 3D heart visualization
Darbar et al. Exploring smartphone-enabled text selection in ar-hmd
Sumpeno et al. Immersive hand gesture for virtual museum using leap motion sensor based on k-nearest neighbor
CN106990835B (zh) 一种运动训练评估方法及装置
Bentabet et al. Synchronous P300 based BCI to control home appliances
Terenti et al. The Eclectic User Experience of Combined On-Screen and On-Wrist Vibrotactile Feedback in Touchscreen Input
Quezada et al. Assessing the target’size and drag distance in mobile applications for users with autism
Gepner et al. Gaze as a supplementary modality for interacting with ambient intelligence environments
Kabanda Review of Human Computer Interaction and Computer Vision
Arciuch et al. Quality study of user activity using mobile device. Tap, double tap, flick gestures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant