CN108646910A - 一种基于深度图像的三维动态手指文本输入系统及方法 - Google Patents

一种基于深度图像的三维动态手指文本输入系统及方法 Download PDF

Info

Publication number
CN108646910A
CN108646910A CN201810231010.4A CN201810231010A CN108646910A CN 108646910 A CN108646910 A CN 108646910A CN 201810231010 A CN201810231010 A CN 201810231010A CN 108646910 A CN108646910 A CN 108646910A
Authority
CN
China
Prior art keywords
word
finger
gesture
hand
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810231010.4A
Other languages
English (en)
Inventor
李红波
孟萌
张轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201810231010.4A priority Critical patent/CN108646910A/zh
Publication of CN108646910A publication Critical patent/CN108646910A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明请求保护一种基于深度图像的三维动态手指文本输入系统及方法，所述方法包括以下步骤：首先得到手部轮廓信息、手部关节点的3D坐标信息；通过与特定静态手势相匹配，提取下降手指指尖振幅特征，判定敲击动作；通过敲击手指序列得到所有可能单词；利用敲击手指末端3D坐标、敲击手指信息以及基于单词频率的语言模型，通过使用贝叶斯模型，得出候选单词，求出含有最大概率单词词组相对于该单词的置信度，进而得到该单词的最大概率词组，最终输出候选单词以及可能词组。通过对特定手势的识别，对输出的候选单词以及词组进行选择操作，或者对于已选定单词进行删除操作。本发明提高了空中文本输入的速度和准确率。

Description

一种基于深度图像的三维动态手指文本输入系统及方法
技术领域
本发明属于数字图像处理和人机交互领域，具体是一种采用能够获得深度图像的实感摄像头为数据采集设备的三维动态手指姿态识别系统和方法。
背景技术
十指打字作为最有效的文本输入方式，已经普遍应用于物理键盘上。据报道，对于一般人来说在物理键盘上的打字速度可以实现每分钟输入60至100个单词。所以，为了更加灵活的使用这种最有效的文本输入方式，目前很多研究者尝试在触屏上甚至是在任何平面上实现十指打字。对于触摸屏来说，不管是手机还是平板电脑，其中的键盘设计，尤其是按键字母的布局都与物理键盘上的布局相差无几。尤其是稍大一些的平板电脑甚至是较大的可以触摸的显示屏，比如Microsoft Surface，完全可以使用标准打字法在这些屏幕上打字，实现十指打字，提高了文本输入的效率。
公开号为US 8959013B2的美国专利公开了一种基于深度图像的无接触三维文本输入方法。通过一个可以获得深度图像的摄像头采集人手的深度图像序列，并将人手通过一个光标显示在具有字母按键分布的显示屏上，通过人手的移动控制光标的移动。当光标停止移动，光标所接近的一个字母按键就会被选择并输出。该方法存在输出文本速率低的问题，不适用于一般文本输出速率的要求。
综上所述，可以通过使用能够获得深度图像的摄像头，准确实时地提供手部关节的位置信息，构造一种较简单有效的数据特征，使用应用在物理键盘中的标准打字方式，开发出识别更准确、单词输入速率更高的三维动态手指文本输入系统。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种提高了空中文本输入的速度和准确率的基于深度图像的三维动态手指文本输入系统及方法。本发明的技术方案如下：
一种基于深度图像的三维动态手指文本输入系统，其包括数据接口模块、静态注册手势识别模块、手指姿态识别模块、词组预测模块和特定手势识别模块，其中所述数据接口模块包含了手部轮廓信息接口组件、手部关节点相对位置信息接口组件和手部关节点绝对位置信息接口组件，所述手部轮廓信息接口组件用于从数据采集设备获取手部轮廓信息，所述手部关节点相对位置信息接口组件用于从数据采集设备获取手部关节点的相对3D坐标信息，所述手部关节点绝对位置信息接口组件用于从数据采集设备获取手部关节点绝对的3D坐标信息；所述静态注册手势识别模块用于从数据接口模块获取登手部关节点相对位置信息并进行特征匹配，根据匹配结果判定是否进入系统；所述手指姿态识别模块用于对敲击动作和概率最大候选单词进行识别；所述词组预测模块用于从手指姿态识别模块获取概率最大候选单词，通过系统记录的用户文本输入数据，计算最大概率单词在用户输入文本数据中的支持度，以及计算包含该单词的词组在用户输入文本数据中的支持度，得出包含该单词的词组相对于该单词的置信度；所述特定手势识别模块包含了单词挑选手势识别组件和单词删除手势识别组件，单词挑选手势识别组件用于根据特征匹配识别选择手势，选择系统识别出的候选单词；单词删除手势识别组件用于根据特征匹配识别删除手势，删除系统已经输出的单词。
进一步的，所述静态注册手势识别模块进行系统登录的方法是，当双手在空中做标准打字手势时，系统根据手势特征匹配方法，确定进入三维动态手指姿态识别系统。
进一步的，所述手指姿态识别模块要求使用者在空中输入单词时，按照在物理键盘上的标准打字法输入。
进一步的，所述手指姿态识别模块包含了敲击动作识别组件和单词级别文本识别组件；所述敲击动作识别组件用于当某一手指指尖下落振幅达到对应手指的阈值时，则判定发生了一个敲击动作；单词级别文本识别组件用于根据敲击手指序列得到所有可能的候选单词，根据敲击手指指尖的3D分布坐标信息、敲击手指信息以及基于单词使用频率的语言模型，利用贝叶斯模型，得出概率最高的候选单词。
进一步的，所述敲击动作识别组件进行敲击动作识别的方法是提取每一帧的手指指尖相对坐标的y值，与之前每隔10毫秒的前20帧对应指尖相对坐标y值做差，取差值中的最大值，若达到所给定的阈值，则表示这一帧的对应手指发生了敲击动作。
进一步的，所述敲击手指信息具体是当发生敲击时敲击手指指尖以及相关手指指尖关于相对坐标的y值。
进一步的，所述支持度为单词在用户输入文本数据中出现的频率；所述置信度为当某一单词出现后，其他单词紧接着出现的频率。
进一步的，所述单词挑选手势识别组件进行单词挑选手势识别的方法是当左手拇指上下挥动时，表示选择下一个单词；右手拇指上下挥动时，表示选定某一单词，系统提取手掌特征和手指特征，根据特征匹配方法，确定选择手势或者选定手势。
进一步的，所述单词删除手势识别组件进行单词挑选删除识别的方法是当左手或者右手左右挥动时，表示删除已经输出的单词。系统提取手掌特征和手指特征，根据特征匹配方法，确定单词删除手势。
一种基于深度图像的三维动态手指文本输入方法，其包括以下步骤：首先通过深度摄像头获取两只手22个关节点关于掌心的相对3D坐标信息，以及关于摄像头中心的绝对3D坐标信息；通过手势特征匹配，识别注册手势，进入系统；通过手势特征识别，判断是否有系统已经存在的手势存在；如果有，执行特定手势的操作；如果没有，执行手指姿态识别模块；通过当前帧的某一手指指尖的相对坐标的y值与之前20个帧的对应手指指尖的相对坐标的y值做差，将差值中的最大值与所对应手指的振幅阈值作比较，当达到或者超过阈值，则这一帧的对应手指发生了敲击动作；在使用基于单词使用频率的语言模型的情况下，在得到手指指尖3D绝对坐标信息和手指序列信息的情况下，利用贝叶斯模型，得到可能单词的概率，最终得到由概率从大到小排列的候选单词；通过系统记录的用户所输出的大量的文本数据，求出含有最大概率单词词组相对于该单词的置信度，进而得到该单词的最大概率词组，最终输出候选单词以及可能词组；通过识别特定手势动作，对候选单词进行选定，或者删除已输出单词。
本发明的优点及有益效果如下：
本发明针对当前基于深度图像的无接触三维文本输入方法在实现无接触文本输入时，文本输入速率低，提出了一种基于三维动态手指姿态变化的空中文本输入系统。具体涉及到在手势识别的基础上，
更进一步实现手指姿态的识别，通过增加手指姿态识别模块，充分利用十指打字的高效性，提高单词识别速率；同时，手指姿态识别模块，因为使用方法巧妙，可以大大减低算法的时间复杂度，有助于单词识别速率的提高；在词组预测模块，通过对已经输出的单词可能的词组组合做推测，可以实现词组的快速输入，这样大大提高了单词的输入速率。利用本发明的方法，可以充分继承物理键盘打字的高效性，
给目前新型的交互设备提供了一个文本输入速率高的方法。
附图说明
图1是本发明提供优选实施例基于深度图像的三维动态手指文本输入系统结构框图；
图2是利用本发明所提出的基于深度图像的三维动态手指文本输入系统流程图；
图3为本发明注册手势识别流程图；
图4为本发明手指姿态识别流程图；
图5为本发明词组预测流程图；
图6为本发明特定手势识别流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
如图1所示一种通过深度摄像头采集数据的三维动态手指文本输入系统和方法，该系统主要包括：A1～A9:A1是与数据采集设备相适应的数据接口模块、A5是静态注册手势识别模块、A7是手指姿态识别模块、A8是词组预测模块、A9是特定手势识别模块。其中，数据接口模块包含了手部轮廓信息接口组件A2、手部关节点绝对位置信息接口组件A3和手部关节点相对位置信息组件A4，静态注册手势识别模块包含了特征匹配组件A6。
如图2所示为本发明所提出的基于深度图像的三维动态手指文本输入系统流程图：B1～B10:B1是由深度摄像头，具体可为RealSense摄像头，输入的手部深度图像，B2是对注册手势的判断，B3是如果检测没有注册手势则系统登录失败，B4是如果检测成功则进入特定手势检测，B5如果检测到特定手势，则执行特定手势操作，即包括对候选单词的选择操作和已输出单词的删除操作，B6是如果没有检测到特定手势则进入手指姿态识别模块，先进入敲击动作识别组件，B7是单词级别文本识别，B8是进入预测词组模块，B9是输出候选单词以及可能词组，B10是输出所需单词或者词组。
如图3所示为本发明注册手势识别流程图：
C1～C6：C1是由深度摄像头输入的手部深度图像；C2是特征值提取，具体是提取手部轮廓信息；C3是输入预定义注册手势特征判断特征是否匹配；C4是判断特征是否匹配，C5是如果匹配失败，则注册失败，重新提取新一帧的特征值，C6是如果匹配成功则进入系统。
如图4所示为本发明手指姿态识别流程图：
D1～D10：D1是输入手部深度图像，D2是提取指尖相对坐标y值，D3是识别发生敲击动作的帧，当得到发生敲击动作的帧后，可得到敲击手指指尖绝对三维坐标D5，可得到敲击手指指尖振幅D6，可得到敲击手指序列D4，D7是通过敲击手指序列，得到所有可能单词，D9是单词使用频率语言模型，D8是利用贝叶斯模型判断单词，D10得出概率最高的单词。
如图5所示为本发明词组预测流程图：
E1～E6：E1是输入概率最高的候选单词，E2是输入系统记录的用户输入文本数据，E3是分析该单词在输出文本数据中的支持度，E4是分析含有该单词的词组在输出文本数据中的支持度，E5是得到词组相对于该单词得到置信度，E6是输出置信度最高的词组。
如图6所示为本发明特定手势识别流程图：
F1～F6：F1是输入每一帧手部深度图像，F2是对深度图像提取特征值，F3是对提取的特征值与预定义特定手势进行识别，F4是执行特定操作，F5是具体操作中的一种，选择候选单词，F6是具体操作中的另一种，删除已输出单词。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于深度图像的三维动态手指文本输入系统，其特征在于，包括数据接口模块、静态注册手势识别模块、手指姿态识别模块、词组预测模块和特定手势识别模块，其中所述数据接口模块包含了手部轮廓信息接口组件、手部关节点相对位置信息接口组件和手部关节点绝对位置信息接口组件，所述手部轮廓信息接口组件用于从数据采集设备获取手部轮廓信息，所述手部关节点相对位置信息接口组件用于从数据采集设备获取手部关节点的相对3D坐标信息，所述手部关节点绝对位置信息接口组件用于从数据采集设备获取手部关节点绝对的3D坐标信息；所述静态注册手势识别模块用于从数据接口模块获取登手部关节点相对位置信息并进行特征匹配，根据匹配结果判定是否进入系统；所述手指姿态识别模块用于对敲击动作和概率最大候选单词进行识别；所述词组预测模块用于从手指姿态识别模块获取概率最大候选单词，通过系统记录的用户文本输入数据，计算最大概率单词在用户输入文本数据中的支持度，以及计算包含该单词的词组在用户输入文本数据中的支持度，得出包含该单词的词组相对于该单词的置信度；所述特定手势识别模块包含了单词挑选手势识别组件和单词删除手势识别组件，单词挑选手势识别组件用于根据特征匹配识别选择手势，选择系统识别出的候选单词；单词删除手势识别组件用于根据特征匹配识别删除手势，删除系统已经输出的单词。
2.根据权利要求1所述的基于深度图像的三维动态手指文本输入系统，其特征在于，所述静态注册手势识别模块进行系统登录的方法是，当双手在空中做标准打字手势时，系统根据手势特征匹配方法，确定进入三维动态手指姿态识别系统。
3.根据权利要求1所述的基于深度图像的三维动态手指文本输入系统，其特征在于，所述手指姿态识别模块要求使用者在空中输入单词时，按照在物理键盘上的标准打字法输入。
4.根据权利要求1所述的基于深度图像的三维动态手指文本输入系统，其特征在于，所述手指姿态识别模块包含了敲击动作识别组件和单词级别文本识别组件；所述敲击动作识别组件用于当某一手指指尖下落振幅达到对应手指的阈值时，则判定发生了一个敲击动作；单词级别文本识别组件用于根据敲击手指序列得到所有可能的候选单词，根据敲击手指指尖的3D分布坐标信息、敲击手指信息以及基于单词使用频率的语言模型，利用贝叶斯模型，得出概率最高的候选单词。
5.根据权利要求4所述的基于深度图像的三维动态手指文本输入系统，其特征在于，所述敲击动作识别组件进行敲击动作识别的方法是提取每一帧的手指指尖相对坐标的y值，与之前每隔10毫秒的前20帧对应指尖相对坐标y值做差，取差值中的最大值，若达到所给定的阈值，则表示这一帧的对应手指发生了敲击动作。
6.根据权利要求4所述的基于深度图像的三维动态手指文本输入系统，其特征在于，所述敲击手指信息具体是当发生敲击时敲击手指指尖以及相关手指指尖关于相对坐标的y值。
7.根据权利要求1所述的基于深度图像的三维动态手指文本输入系统，其特征在于，所述支持度为单词在用户输入文本数据中出现的频率；所述置信度为当某一单词出现后，其他单词紧接着出现的频率。
8.根据权利要求1-7之一所述的基于深度图像的三维动态手指文本输入系统，其特征在于，所述单词挑选手势识别组件进行单词挑选手势识别的方法是当左手拇指上下挥动时，表示选择下一个单词；右手拇指上下挥动时，表示选定某一单词，系统提取手掌特征和手指特征，根据特征匹配方法，确定选择手势或者选定手势。
9.根据权利要求1-7之一所述的基于深度图像的三维动态手指文本输入系统，其特征在于，所述单词删除手势识别组件进行单词挑选删除识别的方法是当左手或者右手左右挥动时，表示删除已经输出的单词，系统提取手掌特征和手指特征，根据特征匹配方法，确定单词删除手势。
10.一种基于深度图像的三维动态手指文本输入方法，其特征在于，包括以下步骤：首先通过深度摄像头获取两只手22个关节点关于掌心的相对3D坐标信息，以及关于摄像头中心的绝对3D坐标信息；通过手势特征匹配，识别注册手势，进入系统；通过手势特征识别，判断是否有系统已经存在的特定手势存在；如果有，执行特定手势的操作；如果没有，执行手指姿态识别模块；通过当前帧的某一手指指尖的相对坐标的y值与之前20个帧的对应手指指尖的相对坐标的y值做差，将差值中的最大值与所对应手指的振幅阈值作比较，当达到或者超过阈值，则这一帧的对应手指发生了敲击动作；在使用基于单词使用频率的语言模型的情况下，在得到手指指尖3D绝对坐标信息和手指序列信息的情况下，利用贝叶斯模型，得到可能单词的概率，最终得到由概率从大到小排列的候选单词；通过系统记录的用户所输出的大量的文本数据，求出含有最大概率单词词组相对于该单词的置信度，进而得到该单词的最大概率词组，最终输出候选单词以及可能词组；通过识别特定手势动作，对候选单词进行选定，或者删除已输出单词。
CN201810231010.4A 2018-03-20 2018-03-20 一种基于深度图像的三维动态手指文本输入系统及方法 Pending CN108646910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810231010.4A CN108646910A (zh) 2018-03-20 2018-03-20 一种基于深度图像的三维动态手指文本输入系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810231010.4A CN108646910A (zh) 2018-03-20 2018-03-20 一种基于深度图像的三维动态手指文本输入系统及方法

Publications (1)

Publication Number Publication Date
CN108646910A true CN108646910A (zh) 2018-10-12

Family

ID=63744484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810231010.4A Pending CN108646910A (zh) 2018-03-20 2018-03-20 一种基于深度图像的三维动态手指文本输入系统及方法

Country Status (1)

Country Link
CN (1) CN108646910A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634415A (zh) * 2018-12-11 2019-04-16 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
CN109634439A (zh) * 2018-12-20 2019-04-16 中国科学技术大学 智能文本输入方法
CN111382598A (zh) * 2018-12-27 2020-07-07 北京搜狗科技发展有限公司 一种识别方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1439151A (zh) * 2000-02-11 2003-08-27 卡尼斯塔公司 利用虚拟输入装置输入数据的方法和设备
CN105224069A (zh) * 2014-07-03 2016-01-06 王登高 一种增强现实虚拟键盘输入方法及使用该方法的装置
CN105980965A (zh) * 2013-10-10 2016-09-28 视力移动科技公司 用于非接触式打字的系统、设备和方法
CN107633551A (zh) * 2017-08-18 2018-01-26 中山叶浪智能科技有限责任公司 一种虚拟键盘的展示方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1439151A (zh) * 2000-02-11 2003-08-27 卡尼斯塔公司 利用虚拟输入装置输入数据的方法和设备
CN105980965A (zh) * 2013-10-10 2016-09-28 视力移动科技公司 用于非接触式打字的系统、设备和方法
CN105224069A (zh) * 2014-07-03 2016-01-06 王登高 一种增强现实虚拟键盘输入方法及使用该方法的装置
CN107633551A (zh) * 2017-08-18 2018-01-26 中山叶浪智能科技有限责任公司 一种虚拟键盘的展示方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIN YI等: "ATK: Enabling Ten-Finger Freehand Typing in Air Based on 3D Hand Tracking Data", 《UIST2015》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634415A (zh) * 2018-12-11 2019-04-16 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
CN109634415B (zh) * 2018-12-11 2019-10-18 哈尔滨拓博科技有限公司 一种用于控制模拟量的手势识别控制方法
CN109634439A (zh) * 2018-12-20 2019-04-16 中国科学技术大学 智能文本输入方法
CN111382598A (zh) * 2018-12-27 2020-07-07 北京搜狗科技发展有限公司 一种识别方法、装置和电子设备
CN111382598B (zh) * 2018-12-27 2024-05-24 北京搜狗科技发展有限公司 一种识别方法、装置和电子设备

Similar Documents

Publication Publication Date Title
US8570294B2 (en) Techniques for recognizing temporal tapping patterns input to a touch panel interface
US10126826B2 (en) System and method for interaction with digital devices
US8749531B2 (en) Method for receiving input on an electronic device and outputting characters based on sound stroke patterns
US20190272831A1 (en) Training speaker recognition models for digital assistants
US8376854B2 (en) Around device interaction for controlling an electronic device, for controlling a computer game and for user verification
Schwarz et al. A framework for robust and flexible handling of inputs with uncertainty
CN105869235B (zh) 一种安全门禁方法及系统
CN108646910A (zh) 一种基于深度图像的三维动态手指文本输入系统及方法
WO2017114002A1 (zh) 一维手写文字输入设备和一维手写文字输入方法
US20120086638A1 (en) Multi-area handwriting input system and method thereof
Yin et al. Ubiquitous writer: Robust text input for small mobile devices via acoustic sensing
CN106293128B (zh) 盲式文字输入方法、盲式文字输入装置和计算装置
Singhal et al. Improving Finger Stroke Recognition Rate for Eyes-Free Mid-Air Typing in VR
Enkhbat et al. Handkey: An efficient hand typing recognition using cnn for virtual keyboard
JP6597397B2 (ja) ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム
CN105404449B (zh) 可层级展开的多饼型体感菜单及其语法制导识别方法
Kawahata et al. Design of a low-false-positive gesture for a wearable device
Choudhury et al. A novel approach for gesture spotting in an assamese gesture-based character recognition system using a unique geometrical feature set
TW201447733A (zh) 基於觸控軌跡之盲用點字輸入裝置與方法
Yoo et al. The study of a classification technique for numeric gaze-writing entry in hands-free interface
CN110134253A (zh) 一种基于多点触控的盲文输入方法及装置
CA2735871C (en) Method for receiving input on an electronic device and outputting characters based on sound stroke patterns
AU2020103527A4 (en) IPDN- Read Handwriting: Intelligent Process to Read Handwriting Using Deep Learning and Neural Networks
Favour et al. Hand gesture recognition is a more advanced task requiring separating the hand region from an image, which can be used in VR games and sign languages
CN112784238A (zh) 一种数据处理方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181012