CN111782032A - 一种基于手指微手势的输入系统及方法 - Google Patents

一种基于手指微手势的输入系统及方法 Download PDF

Info

Publication number
CN111782032A
CN111782032A CN202010455795.0A CN202010455795A CN111782032A CN 111782032 A CN111782032 A CN 111782032A CN 202010455795 A CN202010455795 A CN 202010455795A CN 111782032 A CN111782032 A CN 111782032A
Authority
CN
China
Prior art keywords
micro
gesture
input information
finger
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010455795.0A
Other languages
English (en)
Inventor
翁冬冬
江海燕
胡翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang New Century Conference And Exhibition Center Co ltd
Nanchang Virtual Reality Detection Technology Co ltd
Beijing Institute of Technology BIT
Original Assignee
Nanchang New Century Conference And Exhibition Center Co ltd
Nanchang Virtual Reality Detection Technology Co ltd
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang New Century Conference And Exhibition Center Co ltd, Nanchang Virtual Reality Detection Technology Co ltd, Beijing Institute of Technology BIT filed Critical Nanchang New Century Conference And Exhibition Center Co ltd
Priority to CN202010455795.0A priority Critical patent/CN111782032A/zh
Publication of CN111782032A publication Critical patent/CN111782032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于手指微手势的输入系统及方法，属于输入方式技术领域，能够检测用户手指微手势，实现文本输入，该方案可实现高效、准确、快速的交互输入方式，更加适用于增强现实、虚拟现实等设备的输入，且特别适用于移动场景的文本输入。本发明分两次检测用户微手势，分别得到第一微手势输入信息和第二微手势输入信息。预先将待输入字符进行分组，每组字符对应一个字符区域；根据预先设定的第一微手势输入信息与字符区域的对应关系选取字符区域；根据预先设定的第二微手势输入信息与字符区域内字符的对应关系选取字符作为输入结果并进行显示。

Description

一种基于手指微手势的输入系统及方法
技术领域
本发明涉及输入方式技术领域，具体涉及一种基于手指微手势的输入系统及方法。
背景技术
目前有研究提出基于手势识别的输入方法及系统。例如申请号为201611052589.5的专利“基于手势识别的输入方法及输入系统”，该系统基于手部运动轨迹生成手势信息，根据手势信息生成手部模型，手部模型设置有手部碰撞体。同时，键盘模型的各按键分别设置有按键碰撞体。通过监测各按键碰撞体是否与手部碰撞体发生碰撞来进行字符输入。该系统所采用的手势识别方式，其手势信息获取具有误差，精确度较低，是用户不能快速准确的选取按键；同时生成手部模型，碰撞检测都会造成延迟，降低用户使用舒适度。
文章“Gaze-Assisted Typing for Smart Glasses”提出了一种使用智能眼镜上的触摸板以及眼动追踪，利用手指在触摸板上的滑动手势实现文本输入。该方式需要使用眼动进行字符块的选择，需要利用用户视觉，用户不能在观看其他物体时候使用，也不方便在移动状态中使用，视觉注意力集中在输入上容易造成危险。
因此目前要亟需一种能够适用于移动场景输入、且具备高效、准确、快速等优点的输入方式。
发明内容
有鉴于此，本发明提供了一种基于手指微手势的输入系统及方法，能够检测用户手指微手势，实现文本输入，该方案可实现高效、准确、快速的交互输入方式，更加适用于增强现实、虚拟现实等设备的输入，且特别适用于移动场景的文本输入。
为达到上述目的，本发明一个实施例提供了一种基于手指微手势的输入系统，包括手势检测模块、信息处理模块以及显示模块。
手势检测模块，用于分两次检测用户微手势，分别得到第一微手势输入信息和第二微手势输入信息，顺次送入信息处理模块；微手势包括手指的点击动作和滑动动作。
信息处理模块，预先将待输入字符进行分组，每组字符对应一个字符区域；信息处理模块接收到第一微手势输入信息之后，根据预先设定的第一微手势输入信息与字符区域的对应关系选取字符区域；在接收到第二微手势输入信息之后，根据预先设定的第二微手势输入信息与字符区域内字符的对应关系选取字符作为输入结果。
显示模块，用于针对输入结果进行显示。
进一步地，手势检测模块，用于分两次检测用户微手势，分别得到第一微手势输入信息和第二微手势输入信息，具体为：若检测到用户微手势为手指的点击动作，则获取手指点击动作为第一或第二微手势输入信息；若检测到用户微手势为手指的滑动动作，则获取手指滑动动作向量，以手指滑动动作向量为第一或第二微手势输入信息。
进一步地，预先设定的第一微手势输入信息与字符区域的对应关系为：第一微手势输入信息与字符区域的设定的对应关系；或者是，第一微手势与字符区域的空间位置的对应关系，每个字符区域分布在用户虚拟环境中。
预先设定的第二微手势输入信息与字符区域内字符的对应关系为：第二微手势输入信息与字符的设定对应关系；或者是第二微手势输入信息与字符区域内字符的空间位置的对应关系，字符分布在对应字符区域内。
进一步地，显示模块为头戴式显示器HMD或者混合现实显示设备。
本发明另外一个实施例提供了一种基于手指微手势的输入方法，包括如下步骤：
S1、进行第一次用户微手势检测，得到第一微手势输入信息；微手势包括手指的点击和滑动动作。
S2、根据预先设定的第一微手势输入信息与字符区域的对应关系，选取字符区域。
S3、进行第二次用户微手势检测，得到第二微手势输入信息。
S4、根据预先设定的第二微手势输入信息与字符区域内字符的对应关系，选取字符作为输入结果。
S5、将输入结果进行显示。
进一步地，进行第一次用户微手势检测，得到第一微手势输入信息，具体为：若第一次检测到用户微手势为手指的点击动作，则获取手指点击动作为第一微手势输入信息；若第一次检测到用户微手势为手指的滑动动作，则获取手指滑动动作向量，以手指滑动动作向量为第一微手势输入信息。
进行第二次用户微手势检测，得到第二微手势输入信息，具体为：若第二次检测到用户微手势为手指的点击动作，则获取手指点击动作为第二微手势输入信息；若第二次检测到用户微手势为手指的滑动动作向量，则获取手指滑动动作向量为第二微手势输入信息。
有益效果：
本发明提供的一种基于手指微手势的输入系统及方法，基于用户手指的点击以及滑动微手势实现所有字母、数字、符号(以下统称字符)的输入。该方案利用两步输入法进行输入，第一个微手势选择字符区域，第二个微手势在该字符区域中选择其中一个字符。用户可以使用单手进行输入。特殊的，该方式适用于移动场景的快速文字输入，可以用于虚拟现实头戴式显示器以及智能手表等移动设备的输入。例如，在虚拟现实中，用户在移动场景中不能使用键盘鼠标等设备，目前一般使用手柄通过射线以及按键选择虚拟环境中虚拟键盘来实现字符的选择，该方式输入效率较低，而且该方式需要用户在静止状态下使用，并不能在移动中使用。但是在虚拟现实和增强现实中，存在很多需要用户边移动边输入文字的场景，例如，边走路边给朋友发送消息。此外，对于智能手表中的文本输入，一般通过点击触摸屏上的软键盘进行文本输入，此时用户的视线必须停留在软键盘上，在行走时容易造成危险。该方式完全依靠用户手指微手势以及力触觉，不需要视觉的参与，提高用户输入体验；用户可以在将手部放置在任意位置进行输入，手部微手势减小用户输入运动，增强用户使用舒适度。
附图说明
图1为本发明实施例提供的一种基于手指微手势的输入系统组成结构示意图；
图2为本发明实施例提供的字符区域空间位置示意图；
图3为本发明实施例提供的字符区域中字符空间位置示意图；
图4为本发明提供的一种基于手指微手势的输入方法流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明一个实施例提供了一种基于手指微手势的输入系统，如图1所示，1、一种基于手指微手势的输入系统，包括手势检测模块、信息处理模块以及显示模块。
手势检测模块，用于分两次检测用户微手势，分别得到第一微手势输入信息和第二微手势输入信息，顺次送入信息处理模块。手势检测模块可以使用多种材料，达到滑动手势检测的目的，比如，可以使用压力传感器、导电材料等，但不限于此。可使用单片机直接对检测到的压力、电流等信号(根据触碰检测装置有所差异)进行处理，处理成数字信号数据；也可以直接将触碰检测装置检测到的各种信号传输到计算机进行处理。此外，也可以使用光学跟踪装置例如OptiTrack来检测拇指指尖和食指各关节的空间位置，通过检测各检测点空间位置的变化判断微手势的实现。
微手势包括手指的点击和滑动动作，如图2所示，将食指侧边区域分为8个部分，当拇指指尖点击食指的每个区域将生成一个点击动作信号，当拇指指尖从一个区域滑向另一个区域生成一个滑动动作信号。
信息处理模块，预先将待输入字符进行分组，每组字符对应一个字符区域，如图2所示将食指侧边区域分为8个部分即字符区域，每个字符区域对应一组字符，每个字符在字符区域中有其对应空间位置。
信息处理模块接收到第一微手势输入信息之后，根据预先设定的第一微手势输入信息与字符区域的对应关系选取字符区域；在接收到第二微手势输入信息之后，根据预先设定的第二微手势输入信息与字符区域内字符的对应关系选取字符作为输入结果。信息处理模块可以直接采用计算机实现。
预先设定的第一微手势输入信息与字符区域的对应关系可以随机设定的微手势和字符区域的对应关系，例如采用拇指捏合食指动作对应字符区域一，采用拇指捏合中指动作对应字符区域二，以此类推；对应关系也可以是空间位置的对应关系，例如每个字符区域分布在虚拟空间中，该虚拟空间可以是用户的头戴式显示器的虚拟空间，第一微手势输入信息与字符区域的对应关系即为第一微手势与字符区域的空间位置的对应关系。
预先设定的第二微手势输入信息与字符区域内字符的对应关系可以是：随机设定的微手势和字符区域的对应关系，例如采用拇指点击食指动作对应字符区域三、拇指点击无名指对应字符区域三等；对应关系也可以是空间位置的对应关系，字符分布在对应字符区域内，字符的空间位置不同，第二微手势输入信息与字符区域内字符的对应关系即为第二微手势与字符区域的空间位置的对应关系。
若采用上述空间位置的对应关系，则在检测获取微手势输入信息时，应当获取微手势对应的空间位置，即两次输入的检测具体为：若检测到用户微手势为手指的点击动作，则获取手指点击动作作为第一或第二微手势输入信息；若检测到用户微手势为手指的滑动动作，则获取手指滑动动作向量，以手指滑动动作作为第一或第二微手势输入信息。
除了上述空间位置对应关系，还可以采用一个手势对应一个字符区域或字符区域中一个字符的方式，当用户对手势对应的字符区域熟悉以后，可以在无视觉辅助的状态下进行输入。
显示模块，用于针对输入结果进行显示。本发明实施例中，显示模块为头戴式显示器HMD或者其他混合现实显示设备，包括增强现实、虚拟现实设备等等。
如图3显示了一种可能的字符输入方式，在该输入方式下，用户第一步用拇指点击食指的区域2，选择了区域2对应的字符块，然后第二步如果用户拇指从区域2滑向区域5则选择了字符“m”，如果从区域2画像了区域1则选择了字符“k”；如果第一步用户拇指从区域2滑向区域3，则选择了区域3对应的字符块，再从区域2滑向区域5，则选择了字符“c”；在该种排布模式下，将滑动动作定义以区域2为起始的上下左右滑动；特殊的，连续点击两下1区域用于输入字符“z”；拇指指尖从区域5滑向区域2用于删除输入的字符或者第一步字符区域的选择，连续点击两下5区域用于空格的输入，从区域5滑向区域7用于输入“回车”。字符的排布方式不限于此。
其中，在所有输入方式中用户可以将特定的微手势定义为切换功能，进行字母大写、字母与字符等的切换，用于输入当前不在字符块中的字符。
除了进行文本输入以外，用户还可以将此方法用于菜单选择等的控制。
本发明提供的另外一个实施例给出了一种基于手指微手势的输入方法，如图4所示，包括如下步骤：
S1、进行第一次用户微手势检测，得到第一微手势输入信息；微手势包括手指的点击和滑动动作。
S2、根据预先设定的第一微手势输入信息与字符区域的对应关系，选取字符区域。
S3、进行第二次用户微手势检测，得到第二微手势输入信息。
S4、根据预先设定的第二微手势输入信息与字符区域内字符的对应关系，选取字符作为输入结果。
S5、将输入结果进行显示。
重复上述步骤进行下一次输入。
本发明提供的一种基于手指微手势的输入方法，能够帮助用户在头戴式显示器等可携带设备中进行快速准确的文本输入，特别的，适用于移动场景中的文本输入。利用基于手指的微手势以及手部本身的力反馈，提高用户选择速度、准确率并增加舒适度。用户可以在不需要视觉的情况下载移动场景中进行文本输入，有助于增加用户在移动中输入的安全性。此外，用户可以使用单手进行输入。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于手指微手势的输入系统，其特征在于，包括手势检测模块、信息处理模块以及显示模块；
所述手势检测模块，用于分两次检测用户微手势，分别得到第一微手势输入信息和第二微手势输入信息，顺次送入所述信息处理模块；所述微手势包括手指的点击动作以及滑动动作；
所述信息处理模块，预先将待输入字符进行分组，每组字符对应一个字符区域；所述信息处理模块接收到所述第一微手势输入信息之后，根据预先设定的第一微手势输入信息与字符区域的对应关系选取字符区域；在接收到所述第二微手势输入信息之后，根据预先设定的第二微手势输入信息与字符区域内字符的对应关系选取字符作为输入结果；
所述显示模块，用于针对所述输入结果进行显示。
2.如权利要求1所述的系统，其特征在于，所述手势检测模块，用于分两次检测用户微手势，分别得到第一微手势输入信息和第二微手势输入信息，具体为：
若检测到用户微手势为手指的点击动作，则获取手指点击动作为第一或第二微手势输入信息；若检测到用户微手势为手指的滑动动作，则获取手指滑动动作向量，以手指滑动动作向量为第一或第二微手势输入信息。
3.如权利要求1或2所述的系统，其特征在于，所述预先设定的第一微手势输入信息与字符区域的对应关系为：第一微手势输入信息与字符区域的设定的对应关系；或者是，第一微手势与字符区域的空间位置的对应关系，每个字符区域分布在用户虚拟环境中；
所述预先设定的第二微手势输入信息与字符区域内字符的对应关系为：第二微手势输入信息与字符的设定对应关系；或者是第二微手势输入信息与字符区域内字符的空间位置的对应关系，字符分布在对应字符区域内。
4.如权利要求1或2所述的系统，其特征在于，所述显示模块为头戴式显示器HMD或者虚拟现实设备。
5.一种基于手指微手势的输入方法，其特征在于，包括如下步骤：
S1、进行第一次用户微手势检测，得到第一微手势输入信息；所述微手势包括手指的点击和滑动动作；
S2、根据预先设定的第一微手势输入信息与字符区域的对应关系，选取字符区域；
S3、进行第二次用户微手势检测，得到第二微手势输入信息；
S4、根据预先设定的第二微手势输入信息与字符区域内字符的对应关系，选取字符作为输入结果；
S5、将所述输入结果进行显示。
6.如权利要求5所述的方法，其特征在于，所述进行第一次用户微手势检测，得到第一微手势输入信息，具体为
若第一次检测到用户微手势为手指的点击动作，则获取手指点击动作为第一微手势输入信息；若第一次检测到用户微手势为手指的滑动动作，则获取手指滑动动作向量，以手指滑动动作向量为第一微手势输入信息；
所述进行第二次用户微手势检测，得到第二微手势输入信息，具体为
若第二次检测到用户微手势为手指的点击动作，则获取手指点击动作为第二微手势输入信息；若第二次检测到用户微手势为手指的滑动动作，则获取手指滑动动作向量，以手指滑动动作向量为第二微手势输入信息。
CN202010455795.0A 2020-05-26 2020-05-26 一种基于手指微手势的输入系统及方法 Pending CN111782032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010455795.0A CN111782032A (zh) 2020-05-26 2020-05-26 一种基于手指微手势的输入系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010455795.0A CN111782032A (zh) 2020-05-26 2020-05-26 一种基于手指微手势的输入系统及方法

Publications (1)

Publication Number Publication Date
CN111782032A true CN111782032A (zh) 2020-10-16

Family

ID=72753438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010455795.0A Pending CN111782032A (zh) 2020-05-26 2020-05-26 一种基于手指微手势的输入系统及方法

Country Status (1)

Country Link
CN (1) CN111782032A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235783A1 (en) * 2009-03-16 2010-09-16 Bas Ording Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display
WO2015004848A1 (ja) * 2013-07-11 2015-01-15 株式会社デンソー ジェスチャ入力装置
CN110209265A (zh) * 2019-04-04 2019-09-06 北京理工大学 一种基于手指触碰检测的输入系统
CN110780732A (zh) * 2019-09-06 2020-02-11 北京理工大学 一种基于空间定位以及手指点击的输入系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235783A1 (en) * 2009-03-16 2010-09-16 Bas Ording Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display
WO2015004848A1 (ja) * 2013-07-11 2015-01-15 株式会社デンソー ジェスチャ入力装置
CN110209265A (zh) * 2019-04-04 2019-09-06 北京理工大学 一种基于手指触碰检测的输入系统
CN110780732A (zh) * 2019-09-06 2020-02-11 北京理工大学 一种基于空间定位以及手指点击的输入系统

Similar Documents

Publication Publication Date Title
US8619048B2 (en) Method and device of stroke based user input
US10928929B2 (en) Method for displaying a virtual interaction on at least one screen and input device, system and method for a virtual application by means of a computing unit
US20090073136A1 (en) Inputting commands using relative coordinate-based touch input
US20060119588A1 (en) Apparatus and method of processing information input using a touchpad
US20190227688A1 (en) Head mounted display device and content input method thereof
KR20110022057A (ko) 차량 인터페이스를 위한 제스처 기반 제어 시스템
KR101846238B1 (ko) 한자 입력 장치 및 제어 방법
CN104656963A (zh) 一种基于指纹识别技术的信息输入方法
CN111831112A (zh) 一种基于眼动以及手指微手势的文本输入系统及方法
US20120249417A1 (en) Input apparatus
US10621766B2 (en) Character input method and device using a background image portion as a control region
CN105138136A (zh) 手势识别装置、手势识别方法及手势识别系统
CN110780732A (zh) 一种基于空间定位以及手指点击的输入系统
EP2605108A1 (en) Distant multipoint remote control device and system.
US12013987B2 (en) Non-standard keyboard input system
CN110134230B (zh) 一种虚拟现实场景中的基于手部指尖力反馈的输入系统
CN111782032A (zh) 一种基于手指微手势的输入系统及方法
US20010035858A1 (en) Keyboard input device
CN105242795A (zh) 一种利用方位手势输入英文字母的方法
CN104360818A (zh) 实现列表视图复选的方法、手势纠错的方法及系统
CN110209265A (zh) 一种基于手指触碰检测的输入系统
CN111782031A (zh) 一种基于头动以及手指微手势的文本输入系统及方法
CN104049772A (zh) 一种输入方法、装置和系统
CN104077062A (zh) 输入控制方法和装置
AU2021106326A4 (en) Intelligent gesture keyboard system & method for visually impaired user using machine learning & iot technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201016