CN111831112A - 一种基于眼动以及手指微手势的文本输入系统及方法 - Google Patents

一种基于眼动以及手指微手势的文本输入系统及方法 Download PDF

Info

Publication number
CN111831112A
CN111831112A CN202010455791.2A CN202010455791A CN111831112A CN 111831112 A CN111831112 A CN 111831112A CN 202010455791 A CN202010455791 A CN 202010455791A CN 111831112 A CN111831112 A CN 111831112A
Authority
CN
China
Prior art keywords
micro
gesture
information
finger
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010455791.2A
Other languages
English (en)
Inventor
翁冬冬
江海燕
胡翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang New Century Conference And Exhibition Center Co ltd
Nanchang Virtual Reality Detection Technology Co ltd
Beijing Institute of Technology BIT
Original Assignee
Nanchang New Century Conference And Exhibition Center Co ltd
Nanchang Virtual Reality Detection Technology Co ltd
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang New Century Conference And Exhibition Center Co ltd, Nanchang Virtual Reality Detection Technology Co ltd, Beijing Institute of Technology BIT filed Critical Nanchang New Century Conference And Exhibition Center Co ltd
Priority to CN202010455791.2A priority Critical patent/CN111831112A/zh
Publication of CN111831112A publication Critical patent/CN111831112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于眼动以及手指微手势的文本输入系统及方法，是一种高效、准确、快速的适用于混合现实中移动场景输入的输入方式。注视点跟踪模块用于跟踪获取用户的眼睛注视点信息，送入信息处理模块。手部手势检测模块用于检测用户微手势，得到微手势输入信息，送入信息处理模块。信息处理模块预先将待输入字符进行分组，每组字符对应一个字符区域；信息处理模块接收到眼睛注视点信息之后，根据预先设定的眼睛注视点信息与字符区域的对应关系选取字符区域；信息处理模块在接收到微手势输入信息之后，根据预先设定的微手势输入信息与字符区域内字符的对应关系选取字符作为输入结果。显示模块，用于针对输入结果进行显示。

Description

一种基于眼动以及手指微手势的文本输入系统及方法
技术领域
本发明涉及输入方式技术领域，具体涉及一种基于眼动以及手指微手势的文本输入系统及方法。
背景技术
目前虚拟现实等头戴式显示器中多使用空中射线与虚拟字母的碰撞检测进行文本输入，需要依赖手柄控制、手部指向方向(例如oculus quest中的手指向输入)等等，输入效率较低，此外，手部指向方向预测易产生误差，影响输入效率，这些原因导致不能高效的进行文本输入。
眼睛注视点虽然已经被尝试用于物体(包括字符)的选择，但目前设备受标定、分辨率、跟踪空间大小、光照、人眼差异、眼镜等光学辅助设备，以及人眼本身的无意识眼动、中心凹等的影响，精度较低，选择较小的物体效率低、精度低；此外，目前常使用驻留时间阈值来确定选择会造成误选。通过使用注视点选择包含多个字母的区域，在相同的空间内多个字母组成的区域对应更大的空间，可以提高视点注视点的准确性，同时使用手指微手势作为确定选择避免了驻留造成的误选问题。
文章“Gaze-Assisted Typing for Smart Glasses”该输入技术使用两步输入法进行输入，对应的虚拟键盘包括几个区域，每个区域包含几个字母，通过使用用户注视点来确定所选择的区域，然后通过不同的滑动手势进行具体字符的选择。。
该方式需要使用触摸面板以识别手势，用户需要在眼镜位置进行手势操作，长时间容易造成手部疲劳，此外，滑动手势识别也具有一定误差。
因手部感知较高的准确性，手势以及微手势也被常用于输入，目前较多的是通过手势作为输入确定信号，但是手势具有个数限制，并且不是每个手势都具有较高的舒适度，适合于大量多次的输入确定，而文本输入中至少包含了26个字母以及空格、删除、回车等功能键，手势输入并不能很好的覆盖这些字符的输入；最常用的拇指和其他手指指尖的捏合手势具有较高的舒适度，但是其每只手只具有4个捏合手势；也可用拇指点击手指手掌面上不同区域来进行文本的输入，但是，输入区域也较为有限，很难精确的分为26及其以上个区域。但是，可以利用捏合手势来进行几个字符的准确快速选择。
文章“FingerT9:Leveraging Thumb-to-finger Interaction for Same-side-hand Text Entry on Smartwatches”公开了一种基于手指微手势的文本输入方式，该输入方式将手指出拇指以外的四指每个手指根据关节划分为三个区域，其中小指划分为两个区域，一共对应11个区域，对应到T9键盘，在这些区域分别放置传感器，用于检测拇指的点击动作，用于文本输入。
该方式需要将手指划分多个区域，拇指长时间点击某些区域会造成不舒适，并且该方式基于T9键盘输入法，每次点击字母具有歧义性，需要使用算法来预测输入单词才能进行输入，会降低输入效率，此外，对于单个字符的输入较为困难。
因此目前缺少一种高效、准确、快速的适用于一动场景输入的输入方式。
发明内容
有鉴于此，本发明提供了一种基于眼动以及手指微手势的文本输入系统及方法，是一种高效、准确、快速的适用于移动场景输入的输入方式。
为达到上述目的，本发明的技术方案为：一种基于眼动以及手指微手势的文本输入系统，包括注视点跟踪模块、手部微手势检测模块、信息处理模块以及显示模块。
注视点跟踪模块，用于跟踪获取用户的眼睛注视点信息，送入信息处理模块。
手部手势检测模块，用于检测用户微手势，得到微手势输入信息，送入信息处理模块；微手势包括手指的点击和滑动动作。
信息处理模块，预先将待输入字符进行分组，每组字符对应一个字符区域；信息处理模块接收到眼睛注视点信息之后，根据预先设定的眼睛注视点信息与字符区域的对应关系选取字符区域；信息处理模块在接收到微手势输入信息之后，根据预先设定的微手势输入信息与字符区域内字符的对应关系选取字符作为输入结果。
显示模块，用于针对输入结果进行显示。
进一步地，眼睛注视点信息为眼睛注视点信息为眼睛注视点的空间位置；眼睛注视点跟踪模块外置或者内嵌在头戴式显示器的眼动跟踪设备。
进一步地，手部手势检测模块，用于检测用户微手势，得到微手势输入信息，具体为：若检测到用户微手势为手指的点击动作，则获取不同的手指点击动作作为微手势输入信息；若检测到用户微手势为手指的滑动动作，则获取手指滑动动作向量，以不同的手指滑动动作向量作为微手势输入信息。
进一步地，预先设定的眼睛注视点信息与字符区域的对应关系为：眼睛注视点信息与字符区域设定的对应关系；或者是眼睛注视点与字符区域在空间位置上的对应关系，每个字符区域分布在用户视力所及的空间位置处。
预先设定的微手势输入信息与字符区域内字符的对应关系为：微手势输入信息与字符区域内字符的设定的对应关系；或者是微手势与字符的空间位置上的对应关系，其中字符分布在对应字符区域内。
进一步地，显示模块为头戴式显示器HMD或者其他混合现实设备。
本发明另外一个实施例还提供了一种基于眼动以及手指微手势的文本输入方法，包括如下步骤：
S1、进行用户眼睛注视点跟踪，得到用户的眼睛注视点信息。
S2、根据预先设定的眼睛注视点信息与字符区域的对应关系，选取字符区域。
S3、进行用户微手势检测，得到微手势输入信息。
S4、根据预先设定的微手势输入信息与字符区域内字符的对应关系，选取字符作为输入结果。
S5、将输入结果进行显示。
进一步地，眼睛注视点信息为眼睛注视点的空间位置。
进一步地，进行用户微手势检测，得到微手势输入信息，具体为：若检测到用户微手势为手指的点击动作，则获取不同的手指点击动作作为微手势输入信息；若检测到用户微手势为手指的滑动动作，则获取手指滑动动作向量，以不同的手指滑动动作向量作为微手势输入信息。
有益效果：
本发明提供了一种新型的文本输入方案，该方式基于用户眼睛注视点以及用户拇指和其余手指的触碰微手势实现所有字母、数字、符号(以下统称字符)的输入。该方案使用两步输入法进行输入，第一步通过眼睛注视点选择包含一定数量字符的区域，第二步通过手部微手势确定具体的输入字符。该种输入方式可用于人工现实中的文本输入，人工现实包括虚拟现实、增强现实以及其他任何相似的混合现实等等。通过结合眼动自然、多区域注视特点和手指微手势准确快速的特点，避免眼动小物体选择困难、驻留选择造成误差的缺点以及手部微手势个数受限的缺点，实现一种准确快速的文本输入方式。
附图说明
图1为本发明实施例提供的一种基于眼动以及手指微手势的文本输入系统结构组成图；
图2为本发明实施例中提供的一种可能的字符划分方式示意图；
图3为本发明实施例中提供的一种拇指和手指指尖的捏合微手势示意图；图3(a)为拇指与食指指尖捏合的微手势示意图；图3(b)为拇指与中指捏合的微手势示意图；
图4为本发明实施例中的提出的圆盘选择界面；图4(a)为视点用于选择特定的圆盘，而微手势用于选择每个圆盘中的区块；图4b中，视点用于选择一个物体集，微手势选择物体集中一个物体；
图5为本发明实施例中提供的一种基于眼动以及手指微手势的文本输入方法流程。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于眼动以及手指微手势的文本输入系统，如图1所示包括：注视点跟踪模块、手部微手势检测模块、信息处理模块以及显示模块。还可以依据实际情况增加信息传输模块。
注视点跟踪模块，用于跟踪获取用户的眼睛注视点信息，送入所述信息处理模块；眼睛注视点信息为所述眼睛注视点信息为眼睛注视点的空间位置；眼睛注视点跟踪模块为眼动跟踪设备，可以外置或合资内嵌在头戴式显示器中。
手部手势检测模块，用于检测用户微手势，得到微手势输入信息，送入信息处理模块；微手势包括手指的点击和滑动动作；具体地，若检测到用户微手势为手指的点击动作，则获取不同的手指点击动作为微手势输入信息；若检测到用户微手势为手指的滑动动作，则获取手指滑动动作向量，以不同的手指滑动动作向量作为微手势输入信息。
手势检测模块可以使用相机等拍摄用户手部随时间变化的序列，然后通过深度学习或者传统图像处理方式确定用户的手部动作，拍摄图像可以为彩色图像或者深度图像；可以使用其他可以检测手指手部手势的传感器，例如压力传感器，磁力传感器等等可以检测用户手部的传感器，传感器可以放置在用户手部也可以放置在空间中。用户手势检测到的型号可以是图像、压力值等等，该信号和检测所用设备和传感器有关。
本发明实施例中，还可以增加信息传输模块。信息传输模块将用户眼睛注视点信息以及手指模块检测到微手势输入信息传输给信息处理模块。信息传输模块可以是无线传输，也可以为有线传输。注视点模块和手指微手势检测模块信息可以单独传输，传输方式可为无线也可为有线。
信息处理模块，预先将待输入字符进行分组，每组字符对应一个字符区域；信息处理模块接收到眼睛注视点信息之后，根据预先设定的眼睛注视点信息与字符区域的对应关系选取字符区域；信息处理模块在接收到微手势输入信息之后，根据预先设定的微手势输入信息与字符区域内字符的对应关系选取字符作为输入结果。
预先设定的眼睛注视点信息与字符区域的对应关系为：每个字符区域分布在用户视力所及的空间位置处，眼睛注视点信息与字符区域的对应关系即为眼睛注视点与字符区域在空间位置上的对应关系。眼睛注视点信息与字符区域的设定的对应关系，例如采用注视点向右上晃动对应字符区域一，采用注视点向座上晃动对应字符区域二，以此类推；或者是眼睛注视点信息与字符区域在空间位置上的对应关系，其中每个字符区域分布在视力所及的虚拟空间的空间位置中。
预先设定的微手势输入信息与字符区域内字符的对应关系为：微手势输入信息与字符区域内字符的设定的对应关系，例如采用拇指捏合食指动作对应字符区域内第一个字母，采用拇指捏合中指动作对应字符区域内第二个字母，以此类推；或者是微手势与字符的空间位置上的对应关系，其中字符分布在对应字符区域内。
信息处理模块将处理用户眼睛注视点信息以及微手势输入信息，以及其交互信息，与显示模块相连。不同的注视点信息和手势信息对于不同的显示模块的显示内容将触发不同的动作。
显示模块用于将内容显示给用户，显示模块中的显示设备可以是虚拟现实头戴显示器，其能够呈现虚拟环境；可以是增强现实透射式头盔；也可以是桌面显示器等等，不限于此。注视点跟踪模块主要跟踪用户在显示屏幕上的注视点的位置。
显示模块，用于针对输入结果进行显示。本发明实施例中，显示模块为头戴式显示器HMD或者其他混合现实设备。其中，信息处理模块可以和显示模块位于同一设备，例如头戴式显示器一体机，也可位于不同设备，例如信息处理模块是计算机主机，显示设备为大屏幕。
文本输入方式：
用户注视点在显示屏幕上时，将触发该区域预定义好的变化。在该发明中，用户视点点在某字符区域中，将把该区域的字符作为候选的字符。图2显示了一种字符划分方式，虚线代表了其划分方式，实际显示中可以不显示虚线，字母“Q”“W”“E”为一个区域，“R”“T”“Y”为一个区域，以此类推。此外，当注视点在一个固定区域中时候，可以加入视觉提示，提示用户选择了该区域，例如，颜色变化、大小缩放等等。字符的放置方式可以更改。每个区域包含字符个数可变化。
当用户注视在某个区域时候，用户使用微手势进行具体字母的选择，这些字母包含在用户注视的区域中。一种微手势是使用用户拇指和其他指尖捏合手势，每只手具有四个不同的捏合手势，可以出发四种不同的选择，图3a展示了拇指和食指直接的捏合微手势。例如，当使用图2所示的输入界面时候，用户注视“F”“G”“H”区域时，用户可以捏合拇指和食指指尖选择字母“F”，捏合拇指和中指指尖选择字母“G”，捏合拇指和无名指指尖选择字母“H”。另一种微手势是拇指点击手指手掌面的不同区域，可以将手指分为多个区域，不用区域的点击将触发不同的选择，图3b展示了一种可能的触发方式。微手势不限于此，可以实现确认功能即可。
字母划分区域以及用户微手势的确定方式可以更改。
该输入方式通过视点选择区域，微手势选择该与区域中的具体字符或者物体，实现准确快速的输入。显示区域的划分可以为多种划分方式，手指微手势可以为多种可以检测到的不同手势。该输入方式除了可以进行文本字符的输入也可以进行其他物体的选择，例如一个使用注视点选择一个物体集，利用手指区域选择物体集中特定的物体。如图4a中，视点用于选择特定的圆盘，而微手势用于选择每个圆盘中的区块；图4b中，视点用于选择一个物体集，微手势选择物体集中一个物体。
具体选择流程图如图5所示，一种基于眼动以及手指微手势的文本输入方法，包括如下步骤：
S1、进行用户眼睛注视点跟踪，得到用户的眼睛注视点信息。眼睛注视点信息为眼睛注视点的空间位置。
S2、根据预先设定的眼睛注视点信息与字符区域的对应关系，选取字符区域。
S3、进行用户微手势检测，得到微手势输入信息。若检测到用户微手势为手指的点击动作，则获取手指点击的空间位置作为微手势输入信息；若检测到用户微手势为手指的滑动动作，则获取手指滑动动作向量，以手指滑动动作向量作为微手势输入信息。
S4、根据预先设定的微手势输入信息与字符区域内字符的对应关系，选取字符作为输入结果；
S5、将输入结果进行显示。
本发明提供的输入方案能够帮助人工现实中用户的进行快速准确的文本输入，利用试点的自然交互性，避免其对小物体选择的低精度，利用手指微手势的快速准确，二者结合，避免了视点选择中驻留易产生错误以及手势微手势的有限性，实现了快速高效的文本输入。该输入方式有助于解决目前人工现实中的输入困难，输入效率低，长时间输入容易造成不舒适等问题。该方式也可以用于物体的选择。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于眼动以及手指微手势的文本输入系统，其特征在于，包括：注视点跟踪模块、手部微手势检测模块、信息处理模块以及显示模块；
所述注视点跟踪模块，用于跟踪获取用户的眼睛注视点信息，送入所述信息处理模块；
所述手部手势检测模块，用于检测用户微手势，得到微手势输入信息，送入所述信息处理模块；所述微手势包括手指的点击和滑动动作；
所述信息处理模块，预先将待输入字符进行分组，每组字符对应一个字符区域；所述信息处理模块接收到所述眼睛注视点信息之后，根据预先设定的眼睛注视点信息与字符区域的对应关系选取字符区域；所述信息处理模块在接收到所述微手势输入信息之后，根据预先设定的微手势输入信息与字符区域内字符的对应关系选取字符作为输入结果；
所述显示模块，用于针对所述输入结果进行显示。
2.如权利要求1所述的系统，其特征在于，所述眼睛注视点信息为所述眼睛注视点信息为眼睛注视点的空间位置；所述眼睛注视点跟踪模块为外置或者内嵌在头戴式显示器的眼动跟踪设备。
3.如权利要求1或2所述的系统，其特征在于，所述手部手势检测模块，用于检测用户微手势，得到微手势输入信息，具体为：
若检测到用户微手势为手指的点击动作，则获取手指点击动作作为所述微手势输入信息；若检测到用户微手势为手指的滑动动作，则获取手指滑动动作向量，以手指滑动动作向量作为微手势输入信息。
4.如权利要求3所述的系统，其特征在于，所述预先设定的眼睛注视点信息与字符区域的对应关系为：眼睛注视点信息与字符区域设定的对应关系；或者是眼睛注视点与字符区域在空间位置上的对应关系，每个字符区域分布在用户视力所及的空间位置处；
所述预先设定的微手势输入信息与字符区域内字符的对应关系为：微手势输入信息与字符区域的设定的对应关系；或者是微手势与字符的空间位置上的对应关系，其中字符分布在对应字符区域内。
5.如权利要求1、2或4所述的系统，其特征在于，所述显示模块为头戴式显示器HMD或者其他混合现实设备。
6.一种基于眼动以及手指微手势的文本输入方法，其特征在于，包括如下步骤：
S1、进行用户眼睛注视点跟踪，得到用户的眼睛注视点信息；
S2、根据预先设定的眼睛注视点信息与字符区域的对应关系，选取字符区域；
S3、进行用户微手势检测，得到微手势输入信息；
S4、根据预先设定的微手势输入信息与字符区域内字符的对应关系，选取字符作为输入结果；
S5、将所述输入结果进行显示。
7.如权利要求6所述的方法，其特征在于，所述眼睛注视点信息为眼睛注视点的空间位置。
8.如权利要求7所述的方法，其特征在于，所述进行用户微手势检测，得到微手势输入信息，具体为：
若检测到用户微手势为手指的点击动作，则获取不同的手指点击动作作为所述微手势输入信息；若检测到用户微手势为手指的滑动动作，则获取手指滑动动作向量，以手指不同的滑动动作向量微手势输入信息。
CN202010455791.2A 2020-05-26 2020-05-26 一种基于眼动以及手指微手势的文本输入系统及方法 Pending CN111831112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010455791.2A CN111831112A (zh) 2020-05-26 2020-05-26 一种基于眼动以及手指微手势的文本输入系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010455791.2A CN111831112A (zh) 2020-05-26 2020-05-26 一种基于眼动以及手指微手势的文本输入系统及方法

Publications (1)

Publication Number Publication Date
CN111831112A true CN111831112A (zh) 2020-10-27

Family

ID=72913748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010455791.2A Pending CN111831112A (zh) 2020-05-26 2020-05-26 一种基于眼动以及手指微手势的文本输入系统及方法

Country Status (1)

Country Link
CN (1) CN111831112A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817441A (zh) * 2021-01-14 2021-05-18 深圳卡多希科技有限公司 一种按键与人眼识别结合的方法和装置
CN112987930A (zh) * 2021-03-17 2021-06-18 读书郎教育科技有限公司 一种实现和大尺寸电子产品便捷交互的方法
CN114047872A (zh) * 2021-10-11 2022-02-15 北京理工大学 一种文本输入方法和系统
WO2023191933A1 (en) * 2022-03-31 2023-10-05 Microsoft Technology Licensing, Llc Controlled invocation of a precision input mode

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040081479A1 (en) * 2002-05-20 2004-04-29 Nisca Corporation Image forming system and image forming apparatus
US20120105613A1 (en) * 2010-11-01 2012-05-03 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
CN106598259A (zh) * 2016-12-28 2017-04-26 歌尔科技有限公司 一种头戴式设备的输入方法、输入器和vr头戴设备
CN109613979A (zh) * 2018-11-29 2019-04-12 武汉中地地科传媒文化有限责任公司 一种字符输入方法、装置、ar设备和计算机存储介质
CN110785688A (zh) * 2017-04-19 2020-02-11 奇跃公司 可穿戴系统的多模式任务执行和文本编辑
CN110780732A (zh) * 2019-09-06 2020-02-11 北京理工大学 一种基于空间定位以及手指点击的输入系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040081479A1 (en) * 2002-05-20 2004-04-29 Nisca Corporation Image forming system and image forming apparatus
US20120105613A1 (en) * 2010-11-01 2012-05-03 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
CN106598259A (zh) * 2016-12-28 2017-04-26 歌尔科技有限公司 一种头戴式设备的输入方法、输入器和vr头戴设备
CN110785688A (zh) * 2017-04-19 2020-02-11 奇跃公司 可穿戴系统的多模式任务执行和文本编辑
CN109613979A (zh) * 2018-11-29 2019-04-12 武汉中地地科传媒文化有限责任公司 一种字符输入方法、装置、ar设备和计算机存储介质
CN110780732A (zh) * 2019-09-06 2020-02-11 北京理工大学 一种基于空间定位以及手指点击的输入系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817441A (zh) * 2021-01-14 2021-05-18 深圳卡多希科技有限公司 一种按键与人眼识别结合的方法和装置
CN112987930A (zh) * 2021-03-17 2021-06-18 读书郎教育科技有限公司 一种实现和大尺寸电子产品便捷交互的方法
CN114047872A (zh) * 2021-10-11 2022-02-15 北京理工大学 一种文本输入方法和系统
WO2023191933A1 (en) * 2022-03-31 2023-10-05 Microsoft Technology Licensing, Llc Controlled invocation of a precision input mode

Similar Documents

Publication Publication Date Title
CN111831112A (zh) 一种基于眼动以及手指微手势的文本输入系统及方法
Grubert et al. Text entry in immersive head-mounted display-based virtual reality using standard keyboards
Grubert et al. Effects of hand representations for typing in virtual reality
TWI343015B (en) Pointing method, apparatus and computer program product for selecting a target object from a plurality of objects
KR102191870B1 (ko) 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US9891822B2 (en) Input device and method for providing character input interface using a character selection gesture upon an arrangement of a central item and peripheral items
Jones et al. GesText: accelerometer-based gestural text-entry systems
KR101695174B1 (ko) 전자장치에 수신문자입력을 위한 인체공학적 움직임 감지
US20130275907A1 (en) Virtual keyboard
CN108700957B (zh) 用于虚拟环境中文本输入的电子系统和方法
US20090073136A1 (en) Inputting commands using relative coordinate-based touch input
US20090009482A1 (en) Touch sensor pad user input device
US20110201387A1 (en) Real-time typing assistance
US10621766B2 (en) Character input method and device using a background image portion as a control region
KR20080106265A (ko) 컴퓨팅 시스템에 데이터를 입력하는 시스템 및 방법
US9557825B2 (en) Finger position sensing and display
CN104714650A (zh) 一种信息输入方法和装置
CN110780732A (zh) 一种基于空间定位以及手指点击的输入系统
KR101559424B1 (ko) 손 인식에 기반한 가상 키보드 및 그 구현 방법
CN110134230B (zh) 一种虚拟现实场景中的基于手部指尖力反馈的输入系统
JP7199441B2 (ja) 入力装置
US20010035858A1 (en) Keyboard input device
US20230009807A1 (en) Text entry method and mobile device
KR102325684B1 (ko) 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법
CN116520974A (zh) 用于输入字母的方法、主机以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201027

RJ01 Rejection of invention patent application after publication