CN107430431A - 手势识别装置及手势识别方法 - Google Patents

手势识别装置及手势识别方法 Download PDF

Info

Publication number
CN107430431A
CN107430431A CN201580077445.2A CN201580077445A CN107430431A CN 107430431 A CN107430431 A CN 107430431A CN 201580077445 A CN201580077445 A CN 201580077445A CN 107430431 A CN107430431 A CN 107430431A
Authority
CN
China
Prior art keywords
gesture
predetermined portions
determined
identifying device
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580077445.2A
Other languages
English (en)
Other versions
CN107430431B (zh
Inventor
约瑟芬·马利奥·詹努齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Razer Asia Pacific Pte Ltd
Original Assignee
Razer Asia Pacific Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Razer Asia Pacific Pte Ltd filed Critical Razer Asia Pacific Pte Ltd
Publication of CN107430431A publication Critical patent/CN107430431A/zh
Application granted granted Critical
Publication of CN107430431B publication Critical patent/CN107430431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据各种实施例，可提供一种手势识别装置。该手势识别装置可包括：传感器，被配置为确定手势识别装置的用户的信息(例如位置信息、前臂放置信息以及单个手指放置信息)；进展确定电路，被配置为基于该位置信息来确定是否已由该用户执行手势的至少预定部分；以及手势确定电路，被配置为基于该手势的该至少预定部分来确定手势。

Description

手势识别装置及手势识别方法
技术领域
各种实施例一般涉及手势识别装置及手势识别方法。
背景技术
各种形式的手势识别系统已存在一段时间，然而，直到最近，该手势识别系统的用途仍局限于简单手势。就此点而论，可存在对于更先进手势识别的需要。
发明内容
根据各种实施例，可提供一种手势识别装置。该手势识别装置可包括：传感器，被配置为确定手势识别装置的用户的位置信息；进展确定电路，被配置为基于位置信息来确定是否已由用户执行手势的至少预定部分；以及手势确定电路，被配置为解析手势并触发该手势引起的一次动作及二次动作。
根据各种实施例，可提供一种手势识别方法。该手势识别方法可包括：确定手势识别装置的用户的位置信息；基于位置信息来确定是否已由用户执行手势的至少预定部分；以及基于手势的至少预定部分来确定手势。
附图说明
在附图中，在全部不同视图中，相同参考符号一般指相同部件。附图未必按比例绘制，相反，重点通常是关注对本发明原理的例示。为了清楚起见，各种特征或组件的尺寸可任意地扩大或缩小。在以下描述中，本发明的各种实施例参考以下附图来描述，附图中：
图1A及图1B示出了根据各种实施例的手势识别装置。
图1C示出了例示根据各种实施例的手势识别方法的流程图。
图2示出了例示根据各种实施例的键控手势(keying gesture)方块图及过程流程的图。
具体实施方式
以下详细描述参照借助于例示来示出可实现本发明的特定细节及实施例的附图。足够详细地描述这些实施例以允许本领域技术人员实现本发明。可利用其他实施例，并且可在不脱离本发明的范围的情况下进行结构及逻辑改变。各种实施例未必互相排斥，如一些实施例可与一个或多个其他实施例组合以形成新的实施例。
在本文中，如此说明中所描述的手势识别装置可包括内存，该内存例如使用于在该手势识别装置中进行的过程。使用于实施例的内存可为易失性内存，例如DRAM(动态随机存取内存)或非易失性内存，例如PROM(可编程只读存储器)、EPROM(可擦除PROM)、EEPROM(电子可擦除PROM)，或闪存，例如浮栅内存、电荷捕获内存、MRAM(磁电阻随机存取内存)或PCRAM(相变随机存取内存)。
在实施例中，“电路”可理解为任何种类的逻辑实现实体，该逻辑实现实体可为执行储存于内存中的软件、固件或其任何组合的专用电路或处理器。因此，在实施例中，“电路”可为硬接线逻辑电路或可编程逻辑电路，诸如可编程处理器，例如微处理器(例如复杂指令集计算机(CISC)处理器或精简指令集计算机(RISC)处理器)。“电路”还可为执行软件的处理器，该软件例如任何种类的计算机程序，例如使用虚拟机代码(诸如例如Java)的计算机程序。将在以下更详细地描述的各别功能的任何其他种类的实现方案也可理解为根据替代实施例的“电路”。
在说明书中，应理解术语“包含”具有类似于术语“包括”的广义意义，且将理解术语“包含”意指已陈述的整体或步骤或整体或步骤的组群的集合，但不排斥任何其他整体或步骤或整体或步骤的组群。此定义还应用于术语“包含(comprising)”的变体，诸如“包含(comprise)”及“包含(comprises)”。
此说明书中提及的任何现有技术不视为且不应视为对所提及的现有技术形成在澳大利亚(或任何其他国家)的公知常识的部分的承认或任何形式的建议。
为使本发明可易于理解且获得实际效果，将以举例且非限制的方式并参考附图来描述特定实施例。
针对装置已提供各种实施例，且针对方法已提供各种实施例。将理解的是，装置的基本性质还适用于方法，且反之亦然。因此，为简洁起见，可省略这些性质的重复描述。
将理解的是，本文针对特定装置所描述的任何性质还可适用于本文所描述的任何装置。将理解的是，本文针对特定方法所描述的任何性质还可适用于本文所描述的任何方法。此外，将理解的是，对于本文所描述的任何装置或方法而言，所描述的所有部件或步骤未必必须纳入装置或方法中，而可仅仅纳入一些(但非所有)部件或步骤。
本文的术语“耦接”(或“连接”)可理解为电气耦接或理解为机械耦接，例如附接或固定或附接，或仅在无任何固定的情况下接触，且将理解的是，可提供直接耦接或间接耦接(换言之，在无直接接触的情况下耦接)。
根据各种实施例，可提供一种键控手势方法。根据各种实施例，可提供一种用于HMD(头戴显示器)及其他识别系统的方法。
手势识别系统的进步已引起HW(硬件)/SW(软件)的已应用于各种使用模型的解决方案激增，该使用模型例如增强或增大用于计算机及游戏系统的正常(键盘/鼠标)HID(人机接口装置)接口的独立手部及/或独立手指手势识别系统及整合识别系统。
根据各种实施例，可提供一种用于将全包式取径(overarching approach)整合至在部分程度上由“键控手势”来驱动的手势识别引擎/系统的方法。
各种形式的手势识别系统已存在一段时间，然而直到最近，其用途仍局限于例如包括手部及一些数目的手指的简单手势。这些系统有以下负担，在可对手势进行识别、解析及作用之前必须对大型的手势链接库进行分类。处理手势可经过大量处理循环(该循环可例如定义为“N”)。在手势列表非常大及/或在手势识别引擎无法解析形成不良的手势的情况下，处理时间可能是长的(例如可经过“N×Y”循环，其中“Y”可为大于1的因子)。当识别引擎无法解析手势时，可继续对该手势进行再检查，直至解析为止，且此举可导致高屏幕延迟以及不稳固及不可重复的过程。
即使改进处理器、加入本地处理及大大减小手势链接库的规模，所涉及的延迟也不允许先进应用程序及/或游戏使用模型。
尽管手势识别系统的进步持续发生，但对具有良好效能(例如具有低延迟)的稳固及可靠的手势识别系统的需要可为允许总体上更广泛采用并用于诸如头戴显示器(HeadMounted Display；HMD)的各种高层次应用程序中的关键。延迟必须经保持最小，尤其对桌上、视频、控制面板以及HMD游戏应用程序而言。当前，基于屏幕前部的实现方案的延迟可在许多情况下过高，可导致不理想或不可行的电玩经验。
根据各种实施例，可提供关于键控手势(换言之，键(key)手势)、快速手势、HMD手势、用于HMD的手势、短格式手势以及触发手势的装置及方法。
键控手势可定义为手部及/或手指的来源于“自然手部”位置的姿势，该位置如在用户访问他或她的计算机系统及触及键盘时发生，也即，用户在键盘上打字之前置于键盘或桌的掌托上时手部所在的位置。用户可随后形成由各种各样的人所普遍识别的特定手势(键控手势)。“拇指朝上”及“食指指向”可为两个示例。
根据各种实施例，可提供一种识别系统，该识别系统允许更快的手势识别(且因此允许更低的延迟)，因为该系统可在复杂手势(例如拇指朝上手部手势或涉及两只手外加手指的手势)部分形成(>50％)时解析该复杂手势。该系统可针对头戴显示器上的面朝下摄影机来设计，以便减少臂部疲劳且允许更多自然手势及臂部位置。
根据各种实施例，可提供一种手势识别装置。该手势识别装置可包括：传感器，被配置为确定手势识别装置的用户的位置信息；进展确定电路，被配置为基于位置信息来确定是否已由用户执行手势的至少预定部分；以及手势确定电路，被配置为解析手势并触发该手势引起的一次动作及二次动作。
根据各种实施例，可提供装置及方法，以甚至在由用户完全摆出/形成手势之前检测手势。
根据各种实施例，可提供一种手势识别装置。该手势识别装置可包括：传感器，被配置为确定手势识别装置的用户的信息(例如位置信息、前臂放置信息以及单个手指放置信息)；进展确定电路，被配置为基于位置信息来确定是否已由用户执行手势的至少预定部分；以及手势确定电路，被配置为基于手势的至少预定部分来确定手势。
图1A示出了根据各种实施例的手势识别装置100。手势识别装置100可包括传感器102，该传感器被配置为确定手势识别装置100的用户的位置信息。手势识别装置100可进一步包括进展确定电路104，该进展确定电路被配置为基于位置信息来确定是否已由用户执行手势的至少预定部分。手势识别装置100可进一步包括手势确定电路106，该手势确定电路被配置为基于手势的至少预定部分来确定手势。传感器102、进展确定电路104以及手势确定电路106可彼此耦接，如由线108所指示，该耦接例如电气耦接及/或机械耦接，该电气耦接例如使用线或电缆。
换言之，根据各种实施例的手势识别系统可在用户实际上完成执行该手势之前解析用户的键控手势(换言之，确定键控手势)。
图1B示出了根据各种实施例的手势识别装置110。类似于图1A的手势识别装置100，手势识别装置110可包括传感器102，该传感器被配置为确定手势识别装置110的用户的位置信息。类似于图1A的手势识别装置100，手势识别装置110可进一步包括进展确定电路104，该进展确定电路被配置为基于位置信息来确定是否已由用户执行手势的至少预定部分。类似于图1A的手势识别装置100，手势识别装置110可进一步包括手势确定电路106，该手势确定电路被配置为基于手势的至少预定部分来确定手势。手势识别装置110可进一步包括数据库112，如将在以下更详细地描述。手势识别装置110可进一步包括传送器114，如将在以下更详细地描述。传感器102、进展确定电路104、手势确定电路106、数据库112以及传送器114可彼此耦接，如由线116所指示，该耦接例如电气耦接及/或机械耦接，该电气耦接例如使用线或电缆。
根据各种实施例，数据库112可被配置为储存信息，该信息指示多个预定手势。根据各种实施例，手势确定电路106可进一步被配置为基于数据库112来确定手势。
根据各种实施例，手势确定电路106可进一步被配置为基于手势的至少预定部分与确定手势匹配的机率来确定该手势。
根据各种实施例，传送器114可被配置为传送信息，该信息指示基于手势的至少预定部分来确定的手势。
根据各种实施例，进展确定电路104可进一步被配置为确定用户是否已完成手势。
根据各种实施例，手势确定电路106可进一步被配置为确定基于手势的至少预定部分所确定的手势与完成手势是否匹配。
根据各种实施例，传送器114可进一步被配置为在手势确定电路106确定基于手势的至少预定部分所确定的手势与完成手势不匹配的情况下，传送废止指示，该废止指示指示基于手势的至少预定部分所确定的手势与完成手势不匹配。
根据各种实施例，传送器114可进一步被配置为在手势确定电路106确定基于手势的至少预定部分所确定的手势与完成手势匹配的情况下，传送确认指示，该确认指示指示基于手势的至少预定部分所确定的手势与完成手势匹配。
根据各种实施例，传感器102可包括或可为或可包括于以下中的至少一种：深度传感器、摄影机、三维扫描仪、三维摄影机或距离传感器。
根据各种实施例，手势识别装置110可提供于头戴显示器上及/或头戴显示器中。
根据各种实施例，手势确定电路106可进一步被配置为确定是否已执行键控手势。根据各种实施例，手势确定电路106进一步被配置为基于键控手势来确定用于后续手势确定的一组候选手势(换言之，泳道)。
根据各种实施例，键控手势可包括或可为或可包括于拇指朝上手势、握拳手势或和平标志手势。
图1C示出了例示根据各种实施例的手势识别方法的流程图118。在步骤120中，可确定手势识别装置的用户的位置信息。在步骤122中，可基于位置信息来确定是否已由用户执行手势的至少预定部分。在步骤124中，可基于手势的至少预定部分来确定手势。
根据各种实施例，手势识别方法可进一步包括在数据库中储存指示多个预定手势的信息，且基于该数据库确定手势。
根据各种实施例，手势识别方法可进一步包括基于手势的至少预定部分与确定手势匹配的机率来确定该手势。
根据各种实施例，手势识别方法可进一步包括传送信息，该信息指示基于手势的至少预定部分来确定的手势。
根据各种实施例，手势识别方法可进一步包括确定用户是否已完成手势。
根据各种实施例，手势识别方法可进一步包括确定基于手势的至少预定部分所确定的手势与完成手势是否匹配。
根据各种实施例，手势识别方法可进一步包括在确定基于手势的至少预定部分所确定的手势与完成手势不匹配的情况下，传送废止指示，该废止指示指示基于手势的至少预定部分所确定的手势与完成手势不匹配。
根据各种实施例，手势识别方法可进一步包括在确定基于手势的至少预定部分所确定的手势与完成手势匹配的情况下，传送确认指示，该确认指示指示基于手势的至少预定部分所确定的手势与完成手势匹配。
根据各种实施例，确定位置信息可包括基于以下中的至少一种来确定位置信息：深度传感器、摄影机、三维扫描仪、三维摄影机或距离传感器。
根据各种实施例，手势识别方法可使用安装于头戴显示器上或头戴显示器中的例如一组传感器的传感器中的至少一种(例如摄像机)来执行。
根据各种实施例，手势识别方法可进一步包括确定是否已执行键控手势；以及基于键控手势确定用于后续手势确定的一组候选手势。
根据各种实施例，键控手势可包括或可为或可包括于拇指朝上手势、握拳手势或和平标志手势。
图2示出了例示根据各种实施例的键控手势方块图及过程流程的图200。已示出键控手势的示例202、示例204。在206中，可检查键控手势。在208中，可确定手势姿势是否已完成50％以上(换言之“>“50％，换言之“至少50％”)。在210中，Windows 8 touchless(窗口操作系统8非触控)可访问对应的手势链接库(212)。在214中，定制游戏或应用程序可访问对应的手势链接库(216)。在218中，可访问常用的手势链接库。在图2中，206指代如由传感器所感知的所摆出手势的光学捕获。208指代识别引擎如何基于所形成手势的>50％来解析所摆出手势。210指代预定义Windows 8 touchless手势姿势及/或移动的组合。210还指代各种实施例中所提及的“泳道”中的一个。212指代Windows 8 touchless手势的特定链接库，特定而言，识别引擎将在内存中的哪一区域寻找，以发现比较手势及/或移动。214指代用户定义及储存将用于应用程序或游戏以触发游戏事件中的特定动作或反应的手势。214还指代各种实施例中所提及的两个“泳道”中的一个。216指代应用程序的特定链接库或游戏特定手势、以及内存中的特定区域，识别引擎将寻找该区域以发现比较手势及/或移动的组合。
根据各种实施例，识别引擎可检测及解析手势。根据各种实施例，“键控手势”可在部分程度上基于变化的自然手部位置及手指位置来形成，其中摄影机定位于上方且俯视用户手部，如将在HMD应用程序中所为。此途径还可解决当用户的臂部及手部太长时间处于不自然/抬高位置时存在的“金刚臂效应”或疲劳因素。根据各种实施例，改进方法可评估形成/摆出的手势，且之后键控手势形成50％以上(>50％)，识别引擎可随后基于针对当前可能待执行的手势组(还可称为当前所使用的“泳道”)的最可能的手势来解析该手势。例如，所有候选手势可分类为两组(换言之，两个种类，还可称为两个“泳道”)手势。最可能的手势可为含有于分派给两个“泳道”中的任一个的子手势组内的那些手势。(例如Windows 8touchless手势/或DT导航或应用程序/游戏特定手势，如将参照以下的图3所描述)。将理解，可提供用于已知应用程序以及一次动作组及二次动作组的小且集中的键控手势链接库。一次动作可定义为起因于将用户置于特定泳道中的键控手势的动作，该泳道如参照以下的图3更详细地描述。二次动作可定义为专用于应用程序或游戏，或Windows 8touchless手势中的一个及该手势引起的子动作的动作。键控手势可将识别引擎有意置放至若干特定路径中的一个中，以使得可更快速地识别及解析该手势，从而可减少延迟。诸如涉及两只手外加手指的那些手势的复杂手势可大大受益于此途径。假定用户处于Windows8 Touchless手势“泳道”中，一次动作可为由Windows所限定以允许打开活页夹的唯一手势中的任一个，该打开之后为二次动作，该二次动作可为具有目标活页夹的应用程序的启动。在假定用户已在应用程序泳道/游戏泳道中的情况下，一次动作可为应用程序或游戏的启动。二次动作可为对应用程序特定设定进行选择及设定或在游戏内执行武器切换或拼写框。
不存在已确立的除当下正使用的基于面向前途径的传统使用模型之外的针对手势使用的方法或管理标准。向前途径可定义为摄影机/传感器朝向用户而安装于膝上型计算机上(与摄影机/传感器安装于HMD上且朝向下方，聚焦于用户的前臂及手部相比较)。根据各种实施例，方法可提供各种应用程序中的容易的使用，诸如当将手势识别解决方案应用于HMD应用程序时。根据各种实施例的装置及方法可特定地修改以满足特定产品的设计目标，且确保未来发展及/或用户或第三方方案提供者，即游戏ISV(独立软件供货商)创造定制键控手势的能力。
图3示出了例示根据各种实施例的手势确定的图300。在302中，处理可进入桌上导航路线(304)。在306中，处理可进入应用程序导航路线/游戏导航路线(308)。当键控手势形成至允许识别引擎解析手势的百分比时，手势将被解析。识别引擎将用户置入两个“泳道”中的一个中，(换言之，置入最可能执行多个候选组中的一组的模式中)，且识别引擎随后将理解其将仅须搜寻更小及更特定的手势组(例如如由316和318指示)，当检测到该手势时，将触发一次动作及随后触发二次动作。用户可保持于指定泳道中，直至310中形成道切换手势之时为止(此时在312或314中将进行“泳道”改变)。该过程在其他泳道内重复，且直至检测到“泳道”手势时为止。
根据各种实施例，可提供小的键控手势组，其他手势可对泳道或使用模型是独有的，且可位于唯一所含有链接库内，如参照以上的图2所描述。根据各种实施例，在已知泳道或使用模型内，非键控手势可为多目的的。
根据各种实施例，可提供两个以上泳道。泳道可等于“使用模型”，在该使用模型中，可创造一组预定手势以允许泳道或使用模型内的更快速及更可预料的相互作用。
根据各种实施例，可于已知泳道/使用模型内提供明显不同的相互作用。优点可为，一旦用户处于泳道中，则识别引擎可仅须搜寻及解析确立用于该泳道/使用模型的手势。
根据各种实施例，可存在基本上一个预定键控手势，用于改变或切换泳道，例如“握拳”手势。再起始此手势可作为切换且将用户自一个泳道移动至另一个泳道。该手势可唯一地创造但可保持于适当位置直至创造该手势且如果创造该手势则可保持于适当位置，但一旦确立，可未必有道改变的再创造。
根据各种实施例，除非摆出键控手势，否则最初未必进入泳道或从泳道退出。例如，可设定拇指朝上以允许用户进入Windows 8 Touchless手势泳道，而最初食指指向手势可将用户置于应用程序/游戏特定泳道中。如以上所详述，退出泳道可由不同手势起始，且可考虑道改变。
根据各种实施例，键控手势可为特定的且可以以完全相同的方式由任意数目的人来形成/摆出。可不存在由用户引起中断的余地。其他键控手势可为握拳或和平标志。
以下示例是关于其他实施例。
示例1为一种手势识别装置，该手势识别装置包含：传感器，被配置为确定手势识别装置的用户的位置信息；进展确定电路，被配置为基于位置信息来确定是否已由用户执行手势的至少预定部分；以及手势确定电路，被配置为基于手势的至少预定部分来确定手势。
在示例2中，示例1的主题可以可选地包括数据库，该数据库被配置为储存信息，该信息指示多个预定手势；其中手势确定电路进一步被配置为基于数据库来确定手势。
在示例3中，示例2的主题可以可选地包括手势确定电路，该手势确定电路进一步被配置为基于手势的至少预定部分与确定手势匹配的机率来确定手势。
在示例4中，示例1至3中的任一个的主题可以可选地包括传送器，该传送器被配置为传送指示手势的信息，该手势基于该手势的至少预定部分来确定。
在示例5中，示例1至4中的任一个的主题可以可选地包括进展确定电路，该进展确定电路进一步被配置为确定用户是否已完成手势。
在示例6中，示例5的主题可以可选地包括手势确定电路，该手势确定电路被配置为确定基于手势的至少预定部分所确定的手势与完成手势是否匹配。
在示例7中，示例6的主题可以可选地包括传送器，该传送器被配置为传送指示手势的信息，该手势基于该手势的至少预定部分来确定；其中传送器进一步被配置为在手势确定电路确定基于手势的至少预定部分所确定的手势与完成手势不匹配的情况下，传送废止指示，该废止指示指示基于手势的至少预定部分所确定的手势与完成手势不匹配。
在示例8中，示例6至7中的任一个的主题可以可选地包括传送器，该传送器被配置为传送指示手势的信息，该手势基于该手势的至少预定部分来确定；其中传送器进一步被配置为在手势确定电路确定基于手势的至少预定部分所确定的手势与完成手势匹配的情况下，传送确认指示，该确认指示指示基于手势的至少预定部分所确定的手势与完成手势匹配。
在示例9中，示例1至8中的任一个的主题可以可选地包括传感器，该传感器包含以下中的至少一种：深度传感器、摄影机、三维扫描仪、三维摄影机或距离传感器。
在示例10中，示例1至9中的任一个的主题可以可选地包括手势识别装置，该手势识别装置提供于头戴显示器上或头戴显示器中。
在示例11中，示例1至10中的任一个的主题可以可选地包括手势确定电路，该手势确定电路进一步被配置为确定是否已执行键控手势；其中该手势确定电路进一步被配置为基于键控手势来确定用于后续手势确定的一组候选手势。
在示例12中，示例11的主题可以可选地包括键控手势，该键控手势包含选自以下中的至少一个手势：拇指朝上手势、握拳手势或和平标志手势。
示例13为一种手势识别方法，该手势识别方法包含：确定手势识别装置的用户的位置信息；基于位置信息来确定是否已由用户执行手势的至少预定部分；以及基于手势的至少预定部分来确定手势。
在示例14中，示例13的主题可以可选地包括：在数据库中储存指示多个预定手势的信息；以及基于数据库来确定手势。
在示例15中，示例14的主题可以可选地包括基于手势的至少预定部分与确定手势匹配的机率来确定手势。
在示例16中，示例13至15中的任一个的主题可以可选地包括传送指示手势的信息，该手势基于该手势的至少预定部分来确定。
在示例17中，示例13至16中的任一个的主题可以可选地包括确定用户是否已完成手势。
在示例18中，示例17的主题可以可选地包括：确定基于手势的至少预定部分所确定的手势与完成手势是否匹配。
在示例19中，示例18的主题可以可选地包括：传送指示手势的信息，该手势基于该手势的至少预定部分来确定；以及在已确定基于手势的至少预定部分所确定的手势与完成手势不匹配的情况下，传送废止指示，该废止指示指示基于手势的至少预定部分所确定的手势与完成手势不匹配。
在示例20中，示例18至19中的任一个的主题可以可选地包括：传送指示手势的信息，该手势基于该手势的至少预定部分来确定；以及在已确定基于手势的至少预定部分所确定的手势与完成手势匹配的情况下，传送确认指示，该确认指示指示基于手势的至少预定部分所确定的手势与完成手势匹配。
在示例21中，示例13至20中的任一个的主题可以可选地包括确定位置信息，其中确定位置信息包含基于以下中的至少一种来确定位置信息：深度传感器、摄影机、三维扫描仪、三维摄影机或距离传感器。
在示例22中，示例13至21中的任一个的主题可以可选地包括手势识别方法，该手势识别方法使用安装于头戴显示器上或头戴显示器中的传感器或摄影机中的至少一种来执行。
在示例23中，示例13至22中的任一个的主题可以可选地包括：确定是否已执行键控手势；以及基于键控手势确定用于后续手势确定的一组候选手势。
在示例24中，示例23的主题可以可选地包括键控手势，该键控手势包含选自以下中的至少一个手势：拇指朝上手势、握拳手势或和平标志手势。
虽然已参考特定实施例详细地示出及描述本发明，但本领域技术人员应理解的是，在不脱离由随附申请专利范围限定的本发明的精神及范围的情况下，可在形式及细节上做出各种改变。本发明的范围因此由随附申请专利范围来表示，且落入权利要求的同类者的含义及范围内的所有改变因此均欲被涵盖。

Claims (24)

1.一种手势识别装置，包含：
传感器，被配置为确定手势识别装置的用户的位置信息；
进展确定电路，被配置为基于所述位置信息来确定是否已由所述用户执行手势的至少预定部分；以及
手势确定电路，被配置为基于所述手势的所述至少预定部分来确定手势。
2.如权利要求1所述的手势识别装置，进一步包含：数据库，所述数据库被配置为储存信息，所述信息指示多个预定手势；
其中所述手势确定电路进一步被配置为基于所述数据库来确定所述手势。
3.如权利要求2所述的手势识别装置，其中所述手势确定电路进一步被配置为基于所述手势的所述至少预定部分与所确定的手势匹配的机率来确定所述手势。
4.如权利要求1所述的手势识别装置，进一步包含：传送器，所述传送器被配置为传送指示所述手势的信息，所述手势基于所述手势的所述至少预定部分来确定。
5.如权利要求1所述的手势识别装置，其中所述进展确定电路进一步被配置为确定所述用户是否已完成手势。
6.如权利要求5所述的手势识别装置，其中所述手势确定电路被配置为确定基于所述手势的所述至少预定部分所确定的所述手势与所完成的手势是否匹配。
7.如权利要求6所述的手势识别装置，进一步包含：传送器，所述传送器被配置为传送指示所述手势的信息，所述手势基于所述手势的所述至少预定部分来确定；
其中所述传送器进一步被配置为在所述手势确定电路确定基于所述手势的所述至少预定部分所确定的所述手势与所完成的手势不匹配的情况下，传送废止指示，所述废止指示指示基于所述手势的所述至少预定部分所确定的所述手势与所完成的手势不匹配。
8.如权利要求6所述的手势识别装置，进一步包含：传送器，所述传送器被配置为传送指示所述手势的信息，所述手势基于所述手势的所述至少预定部分来确定；
其中所述传送器进一步被配置为在所述手势确定电路确定基于所述手势的所述至少预定部分所确定的所述手势与所完成的手势匹配的情况下，传送确认指示，所述确认指示指示基于所述手势的所述至少预定部分所确定的所述手势与所完成的手势匹配。
9.如权利要求1所述的手势识别装置，其中所述传感器包含以下中的至少一种：深度传感器、摄影机、三维扫描仪、三维摄影机及距离传感器。
10.如权利要求1所述的手势识别装置，其中所述手势识别装置提供于头戴显示器上或头戴显示器中。
11.如权利要求1所述的手势识别装置，其中所述手势确定电路进一步被配置为确定是否已执行键控手势；并且
其中所述手势确定电路进一步被配置为基于所述键控手势来确定用于后续手势确定的一组候选手势。
12.如权利要求11所述的手势识别装置，其中所述键控手势包含选自以下中的至少一个手势：拇指朝上手势、握拳手势及和平标志手势。
13.一种手势识别方法，包含以下步骤：
确定手势识别装置的用户的位置信息；
基于所述位置信息来确定是否已由所述用户执行手势的至少预定部分；以及
基于所述手势的所述至少预定部分来确定手势。
14.如权利要求13所述的手势识别方法，进一步包含：在数据库中储存指示多个预定手势的信息；
基于所述数据库确定所述手势。
15.如权利要求14所述的手势识别方法，进一步包含：基于所述手势的所述至少预定部分与所确定的手势匹配的机率来确定所述手势。
16.如权利要求13所述的手势识别方法，进一步包含：传送指示所述手势的信息，所述手势基于所述手势的所述至少预定部分来确定。
17.如权利要求13所述的手势识别方法，进一步包含：确定所述用户是否已完成手势。
18.如权利要求17所述的手势识别方法，进一步包含：确定基于所述手势的所述至少预定部分所确定的所述手势与所完成的手势是否匹配。
19.如权利要求18所述的手势识别方法，进一步包含：
传送指示所述手势的信息，所述手势基于所述手势的所述至少预定部分来确定；以及
在已确定基于所述手势的所述至少预定部分所确定的所述手势与所完成的手势不匹配的情况下，传送废止指示，所述废止指示指示基于所述手势的所述至少预定部分所确定的所述手势与所完成的手势不匹配。
20.如权利要求18所述的手势识别方法，进一步包含：
传送指示所述手势的信息，所述手势基于所述手势的所述至少预定部分来确定；以及
在已确定基于所述手势的所述至少预定部分所确定的所述手势与所完成的手势匹配的情况下，传送确认指示，所述确认指示指示基于所述手势的所述至少预定部分所确定的所述手势与所完成的手势匹配。
21.如权利要求13所述的手势识别方法，其中确定所述位置信息包含基于以下中的至少一种来确定所述位置信息：深度传感器、摄影机、三维扫描仪、三维摄影机及距离传感器。
22.如权利要求13所述的手势识别方法，其中所述手势识别方法使用安装于头戴显示器上或头戴显示器中的传感器和摄影机中的至少一种来执行。
23.如权利要求13所述的手势识别方法，进一步包含：
确定是否已执行键控手势；以及
基于所述键控手势确定用于后续手势确定的一组候选手势。
24.如权利要求23所述的手势识别方法，其中所述键控手势包含选自以下中的至少一个手势：拇指朝上手势、握拳手势及和平标志手势。
CN201580077445.2A 2015-01-09 2015-01-09 手势识别装置及手势识别方法 Active CN107430431B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SG2015/000004 WO2016111641A1 (en) 2015-01-09 2015-01-09 Gesture recognition devices and gesture recognition methods

Publications (2)

Publication Number Publication Date
CN107430431A true CN107430431A (zh) 2017-12-01
CN107430431B CN107430431B (zh) 2021-06-04

Family

ID=56356225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077445.2A Active CN107430431B (zh) 2015-01-09 2015-01-09 手势识别装置及手势识别方法

Country Status (7)

Country Link
US (1) US20180267617A1 (zh)
EP (1) EP3243120A4 (zh)
CN (1) CN107430431B (zh)
AU (1) AU2015375530B2 (zh)
SG (1) SG11201705579QA (zh)
TW (1) TW201626168A (zh)
WO (1) WO2016111641A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113890B2 (en) 2019-11-04 2021-09-07 Cognizant Technology Solutions India Pvt. Ltd. Artificial intelligence enabled mixed reality system and method
US11418863B2 (en) 2020-06-25 2022-08-16 Damian A Lynch Combination shower rod and entertainment system
US11594089B2 (en) * 2021-04-16 2023-02-28 Essex Electronics, Inc Touchless motion sensor systems for performing directional detection and for providing access control

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141611A (zh) * 2006-09-06 2008-03-12 国际商业机器公司 向用户通知其视线外的他人作出的姿势的方法与系统
US20080192005A1 (en) * 2004-10-20 2008-08-14 Jocelyn Elgoyhen Automated Gesture Recognition
CN101661556A (zh) * 2009-09-25 2010-03-03 哈尔滨工业大学深圳研究生院 基于视觉的静态手势识别方法
US20100208038A1 (en) * 2009-02-17 2010-08-19 Omek Interactive, Ltd. Method and system for gesture recognition
US20110169726A1 (en) * 2010-01-08 2011-07-14 Microsoft Corporation Evolving universal gesture sets
CN102298442A (zh) * 2010-06-24 2011-12-28 索尼公司 手势识别设备、手势识别方法及程序
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
CN102799273A (zh) * 2012-07-11 2012-11-28 华南理工大学 交互控制系统及其交互控制方法
CN102981742A (zh) * 2012-11-28 2013-03-20 无锡市爱福瑞科技发展有限公司 基于计算机视觉的手势交互系统
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US20140161310A1 (en) * 2012-12-07 2014-06-12 Pixart Imaging Inc. Device and Method for Determining Gesture and Operation Method of Gesture Determining Device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8684839B2 (en) * 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
KR101373285B1 (ko) * 2009-12-08 2014-03-11 한국전자통신연구원 제스쳐 인식 기능을 갖는 휴대 단말기 및 이를 이용한 인터페이스 시스템
US9135503B2 (en) * 2010-11-09 2015-09-15 Qualcomm Incorporated Fingertip tracking for touchless user interface
US9619035B2 (en) * 2011-03-04 2017-04-11 Microsoft Technology Licensing, Llc Gesture detection and recognition
CN103105926A (zh) * 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
WO2013056431A1 (en) * 2011-10-18 2013-04-25 Nokia Corporation Methods and apparatuses for gesture recognition
US9019174B2 (en) * 2012-10-31 2015-04-28 Microsoft Technology Licensing, Llc Wearable emotion detection and feedback system
CA2896985A1 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9164588B1 (en) * 2013-02-05 2015-10-20 Google Inc. Wearable computing device with gesture recognition
US9436288B2 (en) * 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US9383894B2 (en) * 2014-01-08 2016-07-05 Microsoft Technology Licensing, Llc Visual feedback for level of gesture completion

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192005A1 (en) * 2004-10-20 2008-08-14 Jocelyn Elgoyhen Automated Gesture Recognition
CN101141611A (zh) * 2006-09-06 2008-03-12 国际商业机器公司 向用户通知其视线外的他人作出的姿势的方法与系统
US20100208038A1 (en) * 2009-02-17 2010-08-19 Omek Interactive, Ltd. Method and system for gesture recognition
CN101661556A (zh) * 2009-09-25 2010-03-03 哈尔滨工业大学深圳研究生院 基于视觉的静态手势识别方法
US20110169726A1 (en) * 2010-01-08 2011-07-14 Microsoft Corporation Evolving universal gesture sets
CN102298442A (zh) * 2010-06-24 2011-12-28 索尼公司 手势识别设备、手势识别方法及程序
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
CN102799273A (zh) * 2012-07-11 2012-11-28 华南理工大学 交互控制系统及其交互控制方法
CN102981742A (zh) * 2012-11-28 2013-03-20 无锡市爱福瑞科技发展有限公司 基于计算机视觉的手势交互系统
US20140161310A1 (en) * 2012-12-07 2014-06-12 Pixart Imaging Inc. Device and Method for Determining Gesture and Operation Method of Gesture Determining Device

Also Published As

Publication number Publication date
US20180267617A1 (en) 2018-09-20
EP3243120A1 (en) 2017-11-15
AU2015375530B2 (en) 2021-04-15
TW201626168A (zh) 2016-07-16
CN107430431B (zh) 2021-06-04
SG11201705579QA (en) 2017-08-30
WO2016111641A1 (en) 2016-07-14
AU2015375530A1 (en) 2017-07-27
EP3243120A4 (en) 2018-08-22

Similar Documents

Publication Publication Date Title
US11782511B2 (en) Tactile glove for human-computer interaction
US8448094B2 (en) Mapping a natural input device to a legacy system
US8958631B2 (en) System and method for automatically defining and identifying a gesture
Kin et al. Proton++ a customizable declarative multitouch framework
US8622742B2 (en) Teaching gestures with offset contact silhouettes
CN103562820B (zh) 目标歧义消除和校正
Wagner et al. Multi-finger chords for hand-held tablets: recognizable and memorable
CN108700957B (zh) 用于虚拟环境中文本输入的电子系统和方法
KR101411569B1 (ko) 가상 키보드를 이용한 정보 처리 장치 및 방법
US20150103000A1 (en) Eye-typing term recognition
US20100177051A1 (en) Touch display rubber-band gesture
Vogel et al. Hand occlusion on a multi-touch tabletop
CN105229574A (zh) 减少基于触摸的键盘的错误率
WO2013126905A2 (en) Gesture recognition devices and methods
JP2008146165A5 (zh)
CN103995610B (zh) 从手持式计算机化设备的替代触摸板进行用户输入的方法
JP6291722B2 (ja) 生体認証装置、生体認証プログラム、生体認証方法
CN112764525B (zh) 虚拟化身运动生成方法和头戴式显示器系统
KR20150021975A (ko) 전자 디바이스용 입력 방법 및 입력 디바이스, 이러한 방법을 수행하는 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체
CN107430431A (zh) 手势识别装置及手势识别方法
JPWO2018216803A1 (ja) デザインレビュー装置、デザインレビュー方法、およびプログラム
CN106502563A (zh) 一种游戏控制方法及装置
KR101548872B1 (ko) 영상처리를 이용한 손가락 인식 방법 및 시스템
JP5316017B2 (ja) 画像処理装置、生体認証装置、画像処理方法及びプログラム
US11914789B2 (en) Method for inputting letters, host, and computer readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant