CN107787497A - 用于在基于用户的空间坐标系中检测手势的方法和装置 - Google Patents

用于在基于用户的空间坐标系中检测手势的方法和装置 Download PDF

Info

Publication number
CN107787497A
CN107787497A CN201680034166.2A CN201680034166A CN107787497A CN 107787497 A CN107787497 A CN 107787497A CN 201680034166 A CN201680034166 A CN 201680034166A CN 107787497 A CN107787497 A CN 107787497A
Authority
CN
China
Prior art keywords
user
state
motion vector
coordinate points
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680034166.2A
Other languages
English (en)
Other versions
CN107787497B (zh
Inventor
金石中
金廷勋
李范浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vtouch Co Ltd
Original Assignee
Vtouch Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vtouch Co Ltd filed Critical Vtouch Co Ltd
Publication of CN107787497A publication Critical patent/CN107787497A/zh
Application granted granted Critical
Publication of CN107787497B publication Critical patent/CN107787497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

公开了用于使用基于用户的空间坐标系从用户的运动准确地检测手势的方法和装置。根据本发明的一个方面的用于在基于用户的空间坐标系中检测手势的方法包括以下步骤：使用与用户的第一身体部分对应的第一身体坐标作为起始点来设置基于用户的空间坐标系；分析基于用户的空间坐标系中与用户的第二身体部分对应的第二身体坐标的状态随时间的运动向量状态；以及基于运动向量状态的变化来检测用户的手势。

Description

用于在基于用户的空间坐标系中检测手势的方法和装置
技术领域
本发明涉及用于在基于用户的空间坐标系中检测手势的方法和装置，并且更具体地，涉及用于使用基于用户的空间坐标系从用户的运动准确地检测手势的方法和装置，而与用户相对于用户身体的三维坐标检测元件(例如，3D相机)(在下文中称为“三维坐标检测元件”)的几何布置(例如，位置和方向)无关。
背景技术
通过身体部分的运动的手势可以通过三维坐标检测元件来执行。例如，在三维坐标检测元件中，3D相机(例如，ToF、结构化光、立体声、双光圈等)、雷达、激光雷达等被配置为从外部检测用户的身体坐标点的位置。身体的三维坐标也可以从用户穿戴的传感器来检测，诸如GPS(全球定位系统)、IPS(室内定位系统)、RSSI(接收信号强度指示)、陀螺仪传感器、加速度传感器和磁场传感器。
但是，在常规的手势识别技术中，存在缺点，即，当用户在不正对三维坐标检测元件的方向上进行运动时，根据用户的位置或方向，用户的运动被错误识别或者不能被识别。特别地，存在以下缺点：当数个设备被单个三维坐标检测元件控制时，三维坐标检测元件和用户之间的几何布置(例如，位置和方向)在每当朝每个设备执行手势时被改变，使得用户的运动不能被识别为正确的手势。
图1是图示常规手势识别技术的问题的图。
图1图示了其中用户11将他/她的手指从初始位置101在倾斜方向上移动到其侧面103，而不正对三维坐标检测元件10的情况。在常规手势识别技术中，表示上述移动的空间向量105可能被错误地识别为是手指的向前或向后移动，而与用户的意图不同。另外，还存在以下问题，即，即使做出了按照用户意图的识别，但是识别率也可能非常低。
因此，需要一种用于从用户的运动准确地检测手势的技术，无论用户与三维坐标检测元件之间的几何布置如何。
发明内容
技术问题
本发明就是根据这样的需求而构思，并且本发明的一个目的是提供用于使用基于用户的空间坐标系从用户的运动准确地检测手势的方法和装置。
技术方案
根据本发明的一个方面，提供了一种用于在基于用户的空间坐标系中检测手势的方法，包括以下步骤：定义其原点位于与用户的第一身体部分对应的第一身体坐标点处的基于用户的空间坐标系；分析在基于用户的空间坐标系中与用户的第二身体部分对应的第二身体坐标点随时间的运动向量的状态；以及基于运动向量的状态的变化来检测用户的手势。
这里，基于用户的空间坐标系包括前/后轴、左/右轴和上/下轴，并且定义基于用户的空间坐标系的步骤可以包括创建穿过第一身体坐标点和第二身体坐标点的前/后轴的步骤。
另外，定义基于用户的空间坐标系的步骤还可以包括以下步骤：创建穿过第一身体坐标点、与前/后轴垂直相交并且平行于地表面的左/右轴；以及创建穿过第一身体坐标点并且与前/后轴和左/右轴两者垂直相交的上/下轴。
另外，定义基于用户的空间坐标系的步骤还可以包括以下步骤：创建穿过第一身体坐标点、在第一坐标点处与连接第一身体坐标点和对应于第三身体部分的第三身体坐标点的直线垂直相交、并且在第一坐标点处与前/后轴垂直相交的上/下轴；以及创建穿过第一身体坐标点并且与前/后轴和上/下轴两者垂直相交的左/右轴。
另外，分析运动向量的状态的步骤可以包括以下步骤：相对于第一时间点时第二身体部分的第二身体坐标点(x1，y1，z1)和第二时间点时的第二身体坐标点(x2，y2，z2)，创建具有球坐标的运动向量V，如下：
另外，分析运动向量的状态的步骤还可以包括以下步骤：基于运动向量的r、θ和将运动向量的状态指定为静止状态、向前移动状态、向后移动状态和表面移动状态中的任何一个。
另外，检测用户的手势的步骤可以包括当运动向量的状态从向前移动状态改变为静止状态时确定做出了触摸手势的步骤。
另外，检测用户的手势的步骤可以包括当运动向量的状态改变为向后移动状态时确定做出了释放手势的步骤。
另外，检测用户的手势的步骤可以包括以下步骤：当运动向量的状态从向前移动状态经过静止状态改变为向后移动状态，或者从向前移动状态改变为向后移动状态时，确定做出了点击手势。
另外，检测用户的手势的步骤可以包括当运动向量的状态保持在表面移动状态时，确定在虚拟球体的表面上做出了拖动手势的步骤。此外，检测用户的手势的步骤可以包括当运动向量的状态保持在静止状态时确定做出了保持手势的步骤。
此外，检测用户的手势的步骤可以包括当运动向量的状态以向前移动状态、静止状态、向前移动状态和静止状态的顺序改变时，确定做出了深触摸手势的步骤。
根据本发明的另一个方面，提供了用于在基于用户的空间坐标系中检测手势的装置，包括：三维身体坐标接收单元，被配置为从外部三维身体坐标检测元件接收与包括用户的第一身体部分和第二身体部分的多个身体部分对应的多个身体坐标点；基于用户的空间坐标系定义单元，被配置为基于所述多个身体坐标点创建其原点位于与第一身体部分对应的第一身体坐标点处的基于用户的空间坐标系；运动向量分析单元，被配置为生成第二身体坐标点随时间的运动向量，并且确定运动向量的状态；以及手势检测单元，被配置为基于运动向量的状态的变化来检测用户的手势。
这里，基于用户的空间坐标系定义单元可以包括前/后轴定义单元，其被配置为定义穿过第一身体坐标点和第二身体坐标点的基于用户的空间坐标系的前/后轴。
另外，基于用户的空间坐标系定义单元还可以包括：左/右轴定义单元，被配置为创建穿过第一身体坐标点、与前/后轴垂直相交并且平行于地表面的左/右轴；以及上/下轴定义单元，被配置为创建穿过第一身体坐标点并且与前/后轴和左/右轴两者垂直相交的上/下轴。
可替代地，基于用户的空间坐标系定义单元还可以包括：上/下轴定义单元，被配置为创建穿过第一身体坐标点、在第一坐标点处与连接第一身体坐标点和对应于第三身体部分的第三身体坐标点的直线垂直相交、并且在第一坐标点处与前/后轴垂直相交的上/下轴；以及左/右轴定义单元，被配置为创建穿过第一身体坐标点并且与前/后轴和上/下轴两者垂直相交的左/右轴。
另外，运动向量分析单元可以包括：运动向量创建单元，被配置为相对于第一时间点时的第二身体部分的第二身体坐标点(x1，y1，z1)和第二时间点时的第二身体坐标点(x2，y2，z2)，创建具有球坐标的运动向量V，如下：
另外，运动向量分析单元还可以包括运动向量状态确定单元，其被配置为基于运动向量的r、θ和将运动向量的状态指定为静止状态、向前移动状态、向后移动状态和表面移动状态中的任何一个。
另外，手势检测单元可以包括：运动向量监视单元，被配置为监视运动向量的状态的变化；手势存储单元，被配置为存储与每种类型的运动向量状态的变化对应的手势的类型；以及手势确定单元，被配置为基于手势存储单元确定与运动向量状态的变化对应的用户的手势的类型。
有益效果
根据本发明，可以实现用于使用基于用户的空间坐标系从用户的运动准确地检测手势的方法和装置，而与用户与三维坐标检测元件之间的几何布置(例如，位置和方向)无关。
附图说明
图1是图示常规手势识别技术的问题的图。
图2是示出基于用户的空间坐标系的示例的图。
图3是其中图2的基于用户的空间坐标系的三个轴对应于x轴、y轴和z轴的图。
图4是示出用于定义基于用户的空间坐标系的上/下轴和左/右轴的方法的示例的图。
图5是示出用于定义基于用户的空间坐标系的上/下轴和左/右轴的方法的另一个示例的图。
图6是示出用于定义基于用户的空间坐标系的上/下轴和左/右轴的方法的又一个示例的图。
图7是图示基于用户的空间坐标系中的运动向量的图。
图8是以球坐标表示图7的运动向量的图。
图9是示出与z轴形成的运动向量的θ分量的大小与运动向量的方向之间的关系的图。
图10是示出与x轴形成的运动向量的分量的大小与运动向量的方向之间的关系的图。
图11是示出运动向量的移动状态的状态图。
图12是图示用于检测虚拟球体上的用户的手势的方法的图。
图13是图示用于检测多个虚拟球体上的用户的手势的方法的图。
图14是示出用于在基于用户的空间坐标系中检测手势的装置的示例的框图。
图15是更详细地示出图14的手势检测装置的基于用户的空间坐标系定义单元的框图。
图16是更详细地示出图14的手势检测装置的运动向量分析单元的框图。
图17是更详细地示出图14的手势检测装置的手势检测单元的框图。
图18是示出用于在基于用户的空间坐标系中检测手势的方法的示例的流程图。
具体实施方式
在下文中，将参考附图更详细地描述本发明。
图2是示出基于用户的空间坐标系的示例的图。
如图2所示，本发明基于用户形成空间坐标系。通过基于用户形成空间坐标系，用户的运动可以被解释为用户所期望的，而与用户和相机之间的几何布置无关。
首先，在基于用户的空间坐标系中，将连接用户的第一身体部分的坐标点和第二身体部分的坐标点的直线定义为“前/后轴”。
在整个说明书中，第一身体部分的坐标点用作基于用户的空间坐标系的原点。例如，第一身体部分可以被选择为用户的两只眼睛的一个。但是，只要可以用作基于用户的空间坐标系的原点，任何身体部分都可以被指定为第一身体部分。另外，第二身体部分用作利用其进行运动的身体部分。从第二身体部分的运动检测到姿势。例如，第二身体部分可以被选择为用户的特定手指的指尖。但是，只要运动随时间进行，任何身体部分都可以被指定为第二身体部分。
接下来，在第一身体部分处与前/后轴垂直相交的平面上定义“左/右轴”和“上/下轴”。当首先定义左/右轴时，上/下轴被确定为与前/后轴和左/右轴两者垂直相交的轴。在一些情况下，可以首先定义上/下轴，并且左/右轴可以被确定为与前/后轴和上/下轴两者垂直相交的轴。
左/右轴是指用户识别为是水平的轴。用户的空间被左/右轴划分为左侧和右侧。
另外，上/下轴是指用户识别为是垂直的轴。用户的空间被上/下轴划分为上侧和下侧。
此外，前/后轴是指用户识别为前面和后面的轴。用户的空间被前/后轴划分为前侧和后侧。
此外，左/右轴、上/下轴和前/后轴可以分别对应于一般空间坐标系记法中的x轴、y轴和z轴。
图3是其中图2的基于用户的空间坐标系的三个轴对应于x轴、y轴和z轴的图。
如图3所示，图2中的左/右轴21可以对应于x轴31。例如，x轴31的正(+)方向对应于基于用户的空间坐标系中用户的“右侧”。
上/下轴22可以对应于y轴32。例如，y轴32的正(+)方向对应于基于用户的空间坐标系中用户的“上侧”。前/后轴20可以对应于z轴30。例如，z轴30的正(+)方向对应于基于用户的空间坐标系中用户的“后侧”。
图4是示出用于定义基于用户的空间坐标系的上/下轴和左/右轴的方法的示例的图。
图4中图示的基于用户的空间坐标系被定为使得左/右轴与前/后轴以及重力的方向垂直，并且上/下轴与前/后轴以及左/右轴垂直。当用户站在水平表面上时，左/右轴可以首先被定义为(i)穿过第一身体部分400，(ii)垂直于重力的方向，以及(iii)在第一身体部分400处与前/后轴垂直相交，使得由用户识别出的左右方向与左/右轴的方向一致。同样，左/右轴也可以被定义为(i)穿过第一身体部分400，(ii)平行于地表面，以及(iii)在第一身体部分400处与前/后轴垂直相交，使得由用户识别出的左右方向与左/右轴的方向一致。
上/下轴被确定为在原点400处与左/右轴和前/后轴两者垂直相交的直线。
图5是示出用于定义基于用户的空间坐标系的上/下轴和左/右轴的方法的另一个示例的图。
当用户站在倾斜表面上时，重力的方向与用户识别出的上/下轴的方向不一致。
因此，为了解决其中用户站在倾斜表面上的情况，左/右轴可以首先被定义为(i)穿过第一身体部分500，(ii)平行于地表面53，并且(iii)在第一身体部分500处与前/后轴垂直相交，使得由用户识别出的左右方向与左/右轴的方向一致。
在这种情况下，上/下轴被确定为在原点500处与左/右轴和前/后轴两者垂直相交的直线。
图6是示出用于定义基于用户的空间坐标系的上/下轴和左/右轴的方法的另一个示例的图。
当用户的头部倾斜时，由用户识别出的左右方向可能不平行于地表面。
上/下轴62可以被定义为(i)穿过第一身体部分600(例如，左眼)(第一身体部分可以是可以作为参考点的用户的两只眼睛中的任意一只眼睛，并且两只眼睛中占优势的一只可以被用作第一身体部分。在下文中，这在整个说明书中同样适用)，(ii)在第一身体部分600处与第一身体部分600(即，基于用户的空间坐标系的原点)和第三身体部分604(例如，右眼)的延伸线63垂直相交，以及(iii)在第一身体部分600处与前/后轴60垂直相交，使得由用户识别出的左/右轴和上/下轴即使在用户的头部倾斜时也不会改变。
左/右轴61被确定为在原点600处与前/后轴60和上/下轴62垂直相交的直线。
图7是图示基于用户的空间坐标系中的运动向量的图。
运动向量700是表示在第一时间点时用户的第二身体部分702与在第一时间点之后的第二时间点时的第二身体部分704之间的运动的向量。通过解释基于用户的空间坐标系中随时间变化的运动向量，可以识别用户手势的含义以更好地符合用户的意图。
这里，基于用户的空间坐标系的左/右轴、上/下轴和前/后轴分别由正交坐标系的x轴、y轴和z轴表示，如附图所示。(同时，z轴的正方向对应于用户的后侧)。
下面将参考图8和随后的附图更详细地描述通过解释运动向量来检测姿势的方法。
图8是以球坐标表示图7的运动向量的图。
本发明人已经发现，通过在基于用户的空间坐标系中以球坐标表示图7中所示的运动向量，可以基于运动向量非常容易地解释姿势的含义。
在图7中，第一时间点时用户的第二身体部分702的坐标和第二时间点时第二身体部分704的坐标分别由基于用户的空间坐标系中的(x1，y1，z1)和(x2，y2，z2)表示。
这里，表示从第一时间点到第二时间点的时间段内用户的第二身体部分的移动的运动向量可以被表示为V＝(r，θ，)。
r表示在从第一时间点到第二时间点的时间段内用户的第二身体部分的移动距离。θ表示与前/后轴的正方向形成的角度。表示在投影到x-y平面上的运动向量与左/右轴的正方向之间形成的角度(其中0°≤θ≤180°)。
另外，运动向量V可以表示为下面的等式1。
表1图示运动向量的方向与θ和的大小之间的关系。
图9是示出与z轴形成的运动向量的θ分量的大小与运动向量的方向之间的关系的图。
图10是示出与x轴形成的运动向量的分量的大小与运动向量的方向之间的关系的图。
在表1和图9和图10的示例中，运动向量的移动方向被定义为仅六个方向，即，向前方向、向后方向、向左方向、向右方向、向上方向和向下方向。即，为了简化描述，在表1中将省略其它移动方向。
表1
移动方向 Θ Φ
向前 135°-180° -
向后 0°-45° -
向左 45°-135° 135°-225°
向右 45°-135° 315°-45°
向上 45°-135° 45°-135°
向下 45°-135° 225°-315°
用户不能移动他/她的身体来绘制直线或完美的圆圈。即使用户的意图是将他/她的指尖移动到左侧，它实际上倾斜地移动，而不是精确地移动到左侧。因此，在解释用户的运动时有必要考虑一些误差。
考虑到这样的误差，其中θ的范围为0°≤θ≤45°的区间900被定义为后侧。在这个范围内，运动向量(即，用户的指尖)被解释为向后移动，而与的值无关。
同样，其中θ的范围为135°≤θ≤180°的区间920被定义为前侧。在这个范围内，运动向量(即，用户的指尖)被解释为向前移动，而与的值无关。
其中θ的范围为45°<θ<135°的区间910被定义为既不在前侧也不在后侧。因此，取决于的范围，当θ的范围是45°<θ<135°时，其中135°的区间1030被定义为左侧；其中的区间1020被定义为右侧；其中的区间1000被定义为上侧；并且其中的区间1010被定义为下侧。
即，当θ的范围对应于区间910时，的范围对应于区间1000、1010、1020或1030的运动向量被解释为向上、向下、向右或向左移动。
表2图示了运动向量的方向与θ和的大小之间的关系，其中运动向量的方向被进一步细分。
在表1中，运动向量的方向被定义为仅六个方向。但是，六个方向可能不足以定义指尖的移动。因此，运动向量的方向在表2中被定义为18个方向。
表2
如表2所示，可以根据时间段t2-t1内运动向量的θ和的大小之间的关系来确定运动向量的移动方向。
例如，当运动向量的θ和是130°和1°时，可以确定用户的指尖在时间段t2-t1内在向前-向右方向上移动。
图11是示出运动向量的移动状态的状态图。
如以上结合图7所述，运动向量被定义为特定时间点之间的位移。例如，运动向量被定义为每单位时间指尖的位移。
运动向量的移动状态可以被划分为如图11所示的四个状态。
在第一状态S0中，运动向量是静止的。例如，其中用户的指尖在单位时间内基本上静止的状态对应于状态S0。
在第二状态S1中，运动向量向前移动。例如，其中用户在单位时间内在远离第一身体部分(即，向前)(第一身体部分是用作基于用户的空间坐标系的原点的参考身体部分(例如，左眼))的方向上移动他/她的手指的运动对应于状态S1。
在第三状态S2中，运动向量向后移动。例如，其中用户在单位时间内在朝向第一身体部分(即，向后)(第一身体部分是用作基于用户的空间坐标系的原点的参考身体部分(例如，左眼))的方向上移动他/她的手指的运动对应于状态S2。
在第四状态S3中，运动向量在表面上移动。例如，其中用户在单位时间内将他/她的手指从第一身体部分(第一身体部分是用作基于用户的空间坐标系的原点的参考身体部分(例如，左眼))移动固定距离的运动对应于状态S3。
将更详细地描述这四个状态。
用于检测用户的手势的装置在具有预定时间间隔的每个时间点接收关于用户的第一身体部分(即，用作基于用户的空间坐标系的原点的身体部分)(例如，左眼)和第二身体部分(即，利用其在基于用户的空间坐标系中检测到手势的身体部分)(例如，特定手指的指尖)的三维坐标的信息，并且获得在每个时间点时第二身体部分的运动向量
例如，3D ToF相机将通过测量反射和返回光的时间而获取的3D图像以预定时间间隔一帧的方式进行存储，并且针对每个存储的图像帧检测第一身体部分和第二身体部分以生成第一身体部分和第二身体部分的三维坐标。
可替代地，立体声3D相机将通过使用从左和右图像传感器接收到的两个图像之间的差异获得的3D图像以预定时间间隔一帧的方式进行存储，并且针对每个存储的图像帧检测第一身体部分和第二身体部分以生成第一身体部分和第二身体部分的三维坐标。
可替代地，结构化光3D相机通过分析输入图案与通过在一个位置处投射结构化光并且然后在另一个位置处接收和投射光而获得的图案之间的差异获取3D信息，以将获取的3D图像以预定时间间隔一帧进行存储，并且针对每个存储的图像帧检测第一身体部分和第二身体部分以生成第一身体部分和第二身体部分的三维坐标。
可替代地，三维坐标提供元件可以是雷达，该雷达可以以预定时间间隔发射定向微波并且然后测量反射和返回的电磁波以找到三维坐标。雷达从每个周期检测到的信息检测第一身体部分和第二身体部分，并且生成第一身体部分和第二身体部分的三维坐标。可替代地，三维坐标提供元件可以是激光雷达，该激光雷达可以以预定时间间隔发射定向激光束同时旋转，并且然后测量反射和返回的光来识别三维坐标。激光雷达从每个旋转周期检测到的信息检测第一身体部分和第二身体部分，并且生成第一身体部分和第二身体部分的三维坐标。
可替代地，当第一身体部分和第二身体部分上穿戴GPS(全球定位系统)接收器时，针对每一帧测量从不同位置传送的无线电波的行进时间以计算其之间的距离。以每个传送点为参考点和以行进距离为半径生成球体，并且确定其中球体重叠的位置，以生成第一身体部分和第二身体部分的三维坐标。
可替代地，当第一身体部分和第二身体部分上穿戴IPS(室内定位系统)接收器时，针对每一帧测量从不同位置传送的无线电波和超声波的行进时间以计算其之间的距离，或者测量从不同位置传送的无线电波和超声波的RSSI(接收信号强度指示)以计算其之间的距离。以每个传送点为参考点并且以行进距离为半径生成球体，并且确定其中球体重叠的位置，以生成第一身体部分和第二身体部分的三维坐标。
可替代地，当第一身体部分和第二身体部分上同时穿戴9-轴传感器(即，陀螺仪传感器、加速度传感器和磁场传感器)和GPS(全球定位系统)接收器或IPS(室内定位系统)接收器时，利用通过9-轴传感器输入的姿势和运动信息校正通过GPS或IPS生成的三维坐标，以更准确地生成第一身体部分和第二身体部分的三维坐标。
为了进入第一状态S0，用户的第二身体部分不一定是完全静止的。“基本上”静止的状态被认为是第一状态S0。如上所述，这是为了考虑用户的意图和实际运动之间存在的一些误差。
即，为了进入第一状态S0，应该满足下面的等式2。
v(t)＝r<Th1 (等式2)
这里，v(t)是时间点t时运动向量的大小。即，根据运动向量的定义，v(t)表示在时间点t时第二身体部分的速度的大小。当v(t)小于第一阈值Th1时，可以定义运动向量基本上是静止的。第一阈值Th1需要是足够小的值。另外，只有运动向量的大小需要非常小，而对于运动向量的θ和没有条件。
为了进入第二状态S1，用户的第二身体部分应该具有预定大小(即，不小于第二阈值Th2的大小)的速度并且θ和满足向前移动的条件。
第二阈值Th2需要是比第一阈值Th1大得多的值。
例如，当如以上表1所示定义了六个移动方向(即，向上、向下、向左、向右、向前、向后)时，满足状态S1的条件被表示为下面的等式3。
v(t)＝r≥Th2且135°≤θ≤180° (等式3)
为了进入第三状态S2，用户的第二身体部分应该具有预定大小(即，不小于第三阈值Th3的大小)的速度并且θ和满足向后移动的条件。
例如，当如以上表1所示定义了六个移动方向(即，向上、向下、向左、向右、向前、向后)时，用于满足状态S2的条件被表示为下面的等式4。
v(t)＝r≥Th3且0°≤θ≤45° (等式4)
为了进入第四状态S3，用户的第二身体部分应该具有预定大小(即，不小于第四阈值Th4的大小)的速度并且θ和满足表面移动的条件。
例如，当如以上表1所示定义了六个移动方向(即，向上、向下、向左、向右、向前、向后)时，用于满足状态S3的条件被表示为下面的等式5至8。
(i)对于向上移动：v(t)＝r≥Th4,45°≤θ≤135°且(等式5)
(ii)对于向下移动：v(t)＝r≥Th4，45°≤θ≤135°且(等式6)
(iii)对于向左移动：v(t)＝r≥Th4，45°≤θ≤135°且(等式7)
(iv)对于向右移动：v(t)＝r≥Th4，45°≤θ≤135°且或(等式8)
基于多个状态(即，状态S0、S1、S2和S3)的组合来检测手势。
例如，可以基于状态S0随时间被组合两次或更多次的事实来检测其中用户的指尖不移动的“保持”手势。
可替代地，可以基于状态S1与后面的状态S0组合的事实来检测其中用户的指尖触摸某个点的“触摸”手势。
可替代地，可以基于状态S0与后面的状态S2组合的事实来检测其中用户的指尖移动离开某个点的“释放”手势。
可替代地，可以基于状态S1与后面的状态S2组合(其之间具有或不具有状态S0)的事实来检测其中用户的指尖“点击”某个点的手势。
可替代地，可以基于状态S3被组合两次或更多次的事实来检测其中用户的指尖在向上、向下、向左和向右方向中的任何一个方向上移动而不接近或移动离开第一身体坐标点的“拖动”手势。同时，在状态S3中，具体的移动方向可以通过以上等式5至8中示出的的范围来识别。
图12是图示用于检测虚拟球体上的用户的手势的方法的图。
当运动向量不向前或向后移动(即，仅向上、向下、向左或向右移动)时，运动向量的轨迹形成以第一身体部分1201为中心的虚拟球体1200。
图12图示了用户在虚拟球体1200上的一些手势。
当用户的运动向量1210的状态在时间点T0和时间点T1之间从状态S0改变为状态S1，并且然后在时间点T1改变回到状态S0时，可以确定做出了“触摸”手势。
当运动向量1220的状态在时间点T1和时间点T2之间从状态S1改变为状态S3(其之间具有或没有插入状态S0)时，可以确定在该时间段内在虚拟球体上做出了向上、向下、向左、向右等“拖动”手势。(具体的移动方向可以通过以上等式5至8中示出的的范围来识别)。
当运动向量1230的状态在时间点T2从状态S3改变为状态S2(其之间具有或没有插入状态S0)时，可以确定已在时间点T2做出了“释放”手势。
另外，当运动向量1210、1220和1230在时间点T0和时间点T3之间以这个顺序被组合时，有可能实现一系列操作，诸如选择某个对象(即，“触摸”手势)、拖动该对象到特定文件夹(即，“拖动”手势)、并且然后将它放到文件夹中(即，“释放”手势)。
图13是图示用于检测多个虚拟球体上的用户的手势的方法的图。
可能有多个具有共同中心的虚拟球体。另外，手势可以被组合以在多个虚拟球体之间移动。
通过利用以上特性，可以实现和检测“深触摸”手势。
将描述其中第(n-1)个虚拟球体1300、第n个虚拟球体1302和第(n+1)个虚拟球体1303具有共同中心1301(其中n≥2并且n是整数)的示例。
当基于时间点T0与时间点T1之间运动向量1310的状态变化检测到触摸手势时，用户的第二身体部分位于第(n-1)个虚拟球体1300的表面上。
此后，当基于时间点T1和时间点T2之间运动向量(未示出)的状态变化检测到保持手势时，用户的第二身体部分仍然保持在第(n-1)个虚拟球体1300的表面上。(由于静止状态下运动向量的大小基本上接近于零，因此运动向量在附图中未示出。)
当基于时间点T2和时间点T3之间运动向量1320的状态变化再次检测到触摸手势时，用户的第二身体部分从第(n-1)个虚拟球体1300移动到第n个虚拟球体1302的表面。
在这种情况下，当基于时间点T3和时间点T4之间运动向量1330的状态变化检测到拖动手势时，可以检测到用户的第二身体部分在第n个虚拟球体1302的表面上向上、向下、向左、向右等移动。(具体的移动方向可以通过以上等式5至8中示出的的范围来识别)。
此后，当基于时间点T4时运动向量1340的状态变化检测到释放手势时，第二身体部分可能移回到第(n-1)个虚拟球体1300的表面。
当基于时间点T5和时间点T6之间运动向量1350的状态变化再次检测到触摸手势时，第二身体部分可能移动到第n个虚拟球体1302的表面。
此后，当基于时间点T6和时间点T7之间运动向量(未示出)的状态变化检测到保持手势时，用户的第二身体部分仍然保持在第n个虚拟球体1302的表面上。
同样，当基于时间点T7和时间点T8之间运动向量1360的状态变化检测到触摸手势时，第二身体部分可能移动到第(n+1)个虚拟球体1303的表面。
此后，当基于时间T8和时间点T9之间运动向量(未示出)的状态变化检测到保持手势时，用户的第二身体部分仍然保持在第(n+1)个虚拟球体1303的表面上。
以这种方式，在多个虚拟球体上实现的手势是可行的。
图14是示出用于在基于用户的空间坐标系中检测手势的装置的示例的框图。
手势检测装置1400包括三维身体坐标接收单元1410、基于用户的空间坐标系定义单元1420、运动向量分析单元1430和手势检测单元1440。手势检测装置1400可以以机顶盒或控制盒的形式实现。但是，该装置不限于此，并且还可以以在网络上操作的服务器的形式来实现。可替代地，也可以将其实现为使得它被嵌入在各种家用电器中。
三维身体坐标接收单元1410从外部三维身体坐标检测元件接收与包括用户的第一身体部分(例如，一只眼睛)和第二身体部分(例如，用其进行运动的指尖)的多个身体部分对应的多个身体坐标点。
如上所述，三维身体坐标检测元件可以是各种设备，诸如3D相机、雷达和激光雷达。
三维身体坐标接收单元1410以能够经由无线或有线数据通信从三维身体坐标检测元件接收用户的身体坐标点的输入/输出(I/O)设备的形式实现。另外，该装置还可以包括用于临时存储随时间在每个帧接收到的多个身体坐标点的存储单元(诸如存储器设备)，但是它在附图中没有示出。
基于用户的空间坐标系定义单元1420基于由三维身体坐标接收单元1410接收到的多个身体坐标点创建其原点位于与用户的第一身体部分对应的第一身体坐标点处的基于用户的空间坐标系。
运动向量分析单元1430创建利用其检测到手势的第二身体坐标点的随时间的运动向量，并且确定运动向量的状态。
手势检测单元1440基于运动向量的状态改变检测用户的手势。
图15是更详细地示出图14的手势检测装置的基于用户的空间坐标系定义单元的框图。
基于用户的空间坐标系定义单元1420包括前/后轴定义单元1422、左/右轴定义单元1424和上/下轴定义单元1426。
如上所述，前/后轴定义单元1422在基于用户的空间坐标系中定义指示用户的前侧和后侧的前/后轴。
具体而言，前/后轴定义单元1422将穿过第一身体坐标点和第二身体坐标点两者的直线定义为基于用户的空间坐标系的前/后轴。
如上所述，前/后轴可以对应于基于用户的空间坐标系中的z轴，并且用户的后侧可以对应于z轴的正(+)方向。
图16是更详细地示出图14的手势检测装置的运动向量分析单元的框图。
运动向量分析单元1430包括运动向量创建单元1432和运动向量状态确定单元1434。
运动向量创建单元1432相对于在第一时间点(t＝t1)时的第二身体坐标点(x1，y1，z1)和在第二时间点(t＝t2)时的第二身体坐标点(x2，y2，z2)创建具有如等式1和图8中所示的具有球坐标的运动向量V。
如上所述，运动向量状态确定单元1434基于球坐标中表示的运动向量的r、θ和分量的值确定运动向量的状态。因此，运动向量的状态被指定为静止状态S0、向前移动状态S1、向后移动状态S2和表面移动状态S3中的任何一个。
图17是更详细地示出图14的手势检测装置的手势检测单元的框图。
手势检测单元1440包括运动向量监视单元1442、手势存储单元1444和手势确定单元1446。
运动向量监视单元1442监视在对应时间点是否存在运动向量的状态变化。
例如，当运动向量的状态在时间点(t＝t1)时是状态S0，而在先前的时间点它的状态是S1时，运动向量监视单元1442识别出运动向量的状态已从状态S1改变为状态S0。
手势存储单元1444存储与每种类型的运动向量的状态变化对应的手势的类型。
例如，先前示例中的从状态S1到状态S0变化的类型(或模式)对应于“触摸”手势。物理上，这意味着其中用户的指尖(即，第二身体部分)向前移动预定时间并且然后停止的状态。即，它对应于用户用指尖触摸虚拟球体的点的动作。
运动向量的各种状态的组合对应于各种手势，并且手势存储单元1444存储关于运动向量的状态的组合以及与对应手势的关系的信息。手势存储单元1444可以由各种存储设备来实现。
手势确定单元1446参考手势存储单元1444确定与由运动向量监视单元1442获得的运动向量的状态变化的类型(或模式)对应的手势类型。最后，手势确定单元1446将手势确定为用户在对应时间点执行的手势，并且完成手势检测过程。
图18是示出用于在基于用户的空间坐标系中检测手势的方法的示例的流程图。
在步骤S100中，接收对应于每个时间点的身体坐标点。当外部三维身体坐标检测元件是3D相机时，针对与每个时间点对应的每个图像帧接收用户的身体坐标点。
在步骤S110中，基于接收到的身体坐标点定义前/后轴、上/下轴和左/右轴，以便定义基于用户的空间坐标系。
在步骤S120中，在基于用户的空间坐标系中创建与用于运动和手势检测的第二身体坐标点相关的运动向量。
在步骤S130中，确定每个时间点处的运动向量的状态。
在步骤S140中，基于运动向量的状态的变化检测手势。
在手势检测装置继续操作的同时重复执行步骤S100至S140的流程。
因此，手势检测装置确定是否继续用户的手势检测(S150)。当手势检测装置继续执行手势检测时(S152)，过程返回到步骤S100。当将终止手势检测时(S154)，不再接收身体坐标点并且终止操作。
已经参考附图和各种实施例进行了本发明的详细描述。
但是，以上描述仅仅提供用于说明本发明的示例。即，本发明不限于附图和实施例，并且显而易见，落入所附权利要求内的实施例和其它修改后的实施例将落入本发明的范围内。

Claims (19)

1.一种用于在基于用户的空间坐标系中检测手势的方法，包括以下步骤：
定义其原点位于与用户的第一身体部分对应的第一身体坐标点处的基于用户的空间坐标系；
分析基于用户的空间坐标系中的与用户的第二身体部分对应的第二身体坐标点随时间的运动向量的状态；以及
基于运动向量的状态的变化来检测用户的手势。
2.如权利要求1所述的方法，其中基于用户的空间坐标系包括前/后轴、左/右轴和上/下轴，以及
其中定义基于用户的空间坐标系的步骤包括以下步骤：
创建穿过第一身体坐标点和第二身体坐标点的前/后轴。
3.如权利要求2所述的方法，其中定义基于用户的空间坐标系的步骤包括以下步骤：
创建穿过第一身体坐标点、与前/后轴垂直相交并且平行于地表面的左右轴；以及
创建穿过第一身体坐标点并且与前/后轴和左/右轴两者垂直相交的上/下轴。
4.如权利要求2所述的方法，其中定义基于用户的空间坐标系的步骤还包括以下步骤：
创建穿过第一身体坐标点、在第一坐标点处与连接第一身体坐标点和对应于第三身体部分的第三身体坐标点的直线垂直相交、并且在第一坐标点处与前/后轴垂直相交的上/下轴；以及
创建穿过第一身体坐标点并且与前/后轴和上/下轴两者垂直相交的左/右轴。
5.如权利要求1所述的方法，其中分析运动向量的状态的步骤包括以下步骤：
相对于第一时间点时第二身体部分的第二身体坐标点(x1，y1，z1)和第二时间点时的第二身体坐标点(x2，y2，z2)，创建具有球坐标的运动向量V，如下：
6.如权利要求5所述的方法，其中分析运动向量的状态的步骤还包括以下步骤：
基于运动向量的r、θ和将运动向量的状态指定为静止状态、向前移动状态、向后移动状态和表面移动状态中的任何一个。
7.如权利要求6所述的方法，其中检测用户的手势的步骤包括以下步骤：
当运动向量的状态从向前移动状态改变为静止状态时，确定做出了触摸手势。
8.如权利要求6所述的方法，其中检测用户的手势的步骤包括以下步骤：
当运动向量的状态改变为向后移动状态时，确定做出了释放手势。
9.如权利要求6所述的方法，其中检测用户的手势的步骤包括以下步骤：
当运动向量的状态从向前移动状态经过静止状态改变为向后移动状态，或者从向前移动状态改变为向后移动状态时，确定做出了点击手势。
10.如权利要求6所述的方法，其中检测用户的手势的步骤包括以下步骤：
当运动向量的状态改变为表面移动状态时，确定在虚拟球体的表面上做出了拖动手势。
11.如权利要求6所述的方法，其中检测用户的手势的步骤包括以下步骤：
当运动向量的状态保持在静止状态时，确定做出了保持手势。
12.如权利要求6所述的方法，其中检测用户的手势的步骤包括以下步骤：
当运动向量的状态以向前移动状态、静止状态、向前移动状态和静止状态的顺序改变时，确定做出了深触摸手势。
13.一种用于在基于用户的空间坐标系中检测手势的装置，包括：
三维身体坐标接收单元，被配置为从外部三维身体坐标检测元件接收与包括用户的第一身体部分和第二身体部分的多个身体部分对应的多个身体坐标点；
基于用户的空间坐标系定义单元，被配置为基于所述多个身体坐标点创建其原点位于与第一身体部分对应的第一身体坐标点处的基于用户的空间坐标系；
运动向量分析单元，被配置为生成第二身体坐标点随时间的运动向量，并且确定运动向量的状态；以及
手势检测单元，被配置为基于运动向量的状态的变化来检测用户的手势。
14.如权利要求13所述的装置，其中基于用户的空间坐标系定义单元包括：
前/后轴定义单元，被配置为定义穿过第一身体坐标点和第二身体坐标点的基于用户的空间坐标系的前/后轴。
15.如权利要求14所述的装置，其中基于用户的空间坐标系定义单元还包括：
左/右轴定义单元，被配置为创建穿过第一身体坐标点、与前/后轴垂直相交并且平行于地表面的左/右轴；以及
上/下轴定义单元，被配置为创建穿过第一身体坐标点并且与前/后轴和左/右轴两者垂直相交的上/下轴。
16.如权利要求14所述的装置，其中基于用户的空间坐标系定义单元还包括：
上下轴定义单元，被配置为创建穿过第一身体坐标点、在第一坐标点处与连接第一身体坐标点和对应于第三身体部分的第三身体坐标点的直线垂直相交、并且在第一坐标点处与前/后轴垂直相交的上/下轴；以及
左/右轴定义单元，被配置为创建穿过第一身体坐标点并且与前/后轴和上/下轴两者垂直相交的左/右轴。
17.如权利要求13所述的装置，其中所述运动向量分析单元包括：
运动向量创建单元，被配置为相对于第一时间点时的第二身体部分的第二身体坐标点(x1，y1，z1)和第二时间点时的第二身体坐标点(x2，y2，z2)，创建具有球坐标的运动向量V，如下：
18.如权利要求17所述的装置，其中所述运动向量分析单元还包括：
运动向量状态确定单元，被配置为基于运动向量的r、θ和将运动向量的状态指定为静止状态、向前移动状态、向后移动状态和表面移动状态中的任何一个。
19.如权利要求18所述的装置，其中所述手势检测单元包括：
运动向量监视单元，被配置为监视运动向量的状态的变化；
手势存储单元，被配置为存储与每种类型的运动向量状态的变化对应的手势的类型；以及
手势确定单元，被配置为基于手势存储单元确定与运动向量状态的变化对应的用户的手势的类型。
CN201680034166.2A 2015-06-10 2016-06-10 用于在基于用户的空间坐标系中检测手势的方法和装置 Active CN107787497B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562173417P 2015-06-10 2015-06-10
US62/173,417 2015-06-10
PCT/KR2016/006170 WO2016200197A1 (ko) 2015-06-10 2016-06-10 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
CN107787497A true CN107787497A (zh) 2018-03-09
CN107787497B CN107787497B (zh) 2021-06-22

Family

ID=57504614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680034166.2A Active CN107787497B (zh) 2015-06-10 2016-06-10 用于在基于用户的空间坐标系中检测手势的方法和装置

Country Status (6)

Country Link
US (1) US10846864B2 (zh)
EP (1) EP3309708A4 (zh)
JP (2) JP2018528551A (zh)
KR (1) KR101754126B1 (zh)
CN (1) CN107787497B (zh)
WO (1) WO2016200197A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920076A (zh) * 2018-06-27 2018-11-30 清远墨墨教育科技有限公司 一种用户手势操作识别方法及识别系统
CN114327047A (zh) * 2021-12-01 2022-04-12 北京小米移动软件有限公司 设备控制方法、设备控制装置及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9729695B2 (en) 2012-11-20 2017-08-08 Dropbox Inc. Messaging client application interface
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
US10832031B2 (en) * 2016-08-15 2020-11-10 Apple Inc. Command processing using multimodal signal analysis
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
KR102463712B1 (ko) 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
CN110377145B (zh) * 2018-04-13 2021-03-30 北京京东尚科信息技术有限公司 电子设备确定方法、系统、计算机系统和可读存储介质
US20200012350A1 (en) * 2018-07-08 2020-01-09 Youspace, Inc. Systems and methods for refined gesture recognition
KR102155378B1 (ko) * 2018-09-19 2020-09-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11907434B2 (en) * 2020-01-29 2024-02-20 Sony Group Corporation Information processing apparatus, information processing system, and information processing method
US20220050432A1 (en) * 2020-08-14 2022-02-17 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for supporting object control
US20240103636A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Methods for manipulating a virtual object

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100088055A1 (en) * 2008-10-08 2010-04-08 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. System and method for positioning a coordinate system in relation to a workpiece on a measurement machine
CN102226880A (zh) * 2011-06-03 2011-10-26 北京新岸线网络技术有限公司 一种基于虚拟现实的体感操作方法及系统
CN102981742A (zh) * 2012-11-28 2013-03-20 无锡市爱福瑞科技发展有限公司 基于计算机视觉的手势交互系统
CN103413137A (zh) * 2013-08-05 2013-11-27 浙江大学 基于多规则的交互手势运动轨迹分割方法
US20130321347A1 (en) * 2011-02-18 2013-12-05 VTouch Co., Ltd. Virtual touch device without pointer
CN104636725A (zh) * 2015-02-04 2015-05-20 华中科技大学 一种基于深度图像的手势识别方法与系统

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3114813B2 (ja) * 1991-02-27 2000-12-04 日本電信電話株式会社 情報入力方法
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JPH10228346A (ja) * 1997-02-17 1998-08-25 Nippon Telegr & Teleph Corp <Ntt> 三次元入力装置
JP3144400B2 (ja) * 1998-11-13 2001-03-12 日本電気株式会社 ジェスチャ認識装置及び方法
JP3363837B2 (ja) * 1999-06-11 2003-01-08 キヤノン株式会社 ユーザインタフェース装置および情報処理方法
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
WO2001056007A1 (en) * 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
JP4172307B2 (ja) * 2003-03-31 2008-10-29 富士ゼロックス株式会社 ３次元指示入力装置
JP2005346415A (ja) * 2004-06-03 2005-12-15 Hitachi Ltd 電子ペンを用いた編集システム、編集方法およびそのプログラム
JP4172793B2 (ja) * 2004-06-08 2008-10-29 株式会社東芝 ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
JP4660537B2 (ja) * 2005-02-17 2011-03-30 株式会社日立製作所 情報管理システム及び書類情報管理方法
EP1904915B1 (en) * 2005-07-11 2010-02-10 Philips Intellectual Property & Standards GmbH Method of controlling a control point position on a command area and method for control of a device
EP1804154A3 (en) * 2005-12-27 2012-08-08 Poston Timothy Computer input device enabling three degrees of freedom and related input and feedback methods
KR100814289B1 (ko) * 2006-11-14 2008-03-18 서경대학교 산학협력단 실시간 동작 인식 장치 및 그 방법
KR100913396B1 (ko) 2006-12-04 2009-08-21 한국전자통신연구원 모션벡터를 이용한 행위 인식 장치 및 그 방법
US8073198B2 (en) * 2007-10-26 2011-12-06 Samsung Electronics Co., Ltd. System and method for selection of an object of interest during physical browsing by finger framing
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
KR20090093220A (ko) * 2008-02-29 2009-09-02 채수현 적외선 카메라를 이용한 공간 터치 스크린
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
KR20100048090A (ko) * 2008-10-30 2010-05-11 삼성전자주식회사 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
US8922485B1 (en) * 2009-12-18 2014-12-30 Google Inc. Behavioral recognition on mobile devices
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
JP2011248606A (ja) * 2010-05-26 2011-12-08 Canon Inc 表示制御装置および表示制御方法
US8933886B2 (en) * 2010-06-17 2015-01-13 Panasonic Intellectual Property Corporation Of America Instruction input device, instruction input method, program, recording medium, and integrated circuit
US20130215069A1 (en) * 2010-10-26 2013-08-22 Tsu-Chang Lee Apparatus for network based modular electronic systems
JP5604279B2 (ja) * 2010-12-08 2014-10-08 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US8872762B2 (en) * 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
JP5653206B2 (ja) * 2010-12-27 2015-01-14 日立マクセル株式会社 映像処理装置
WO2012107892A2 (en) * 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101226668B1 (ko) * 2011-03-25 2013-01-25 주식회사 아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
US20120259638A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Apparatus and method for determining relevance of input speech
US8840466B2 (en) * 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
KR101364133B1 (ko) * 2011-06-15 2014-02-21 주식회사 브이터치 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
CN202211395U (zh) * 2011-07-28 2012-05-09 游汶璋 三合一平板电脑置放结构
JP5649535B2 (ja) * 2011-08-05 2015-01-07 株式会社東芝 コマンド発行装置、コマンド発行方法およびプログラム
US8971572B1 (en) * 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US8947351B1 (en) * 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
CN103164022B (zh) * 2011-12-16 2016-03-16 国际商业机器公司 多指触摸方法和装置、便携式终端设备
CN104040461A (zh) * 2011-12-27 2014-09-10 惠普发展公司，有限责任合伙企业 用户界面设备
KR101335394B1 (ko) * 2012-02-06 2013-12-03 크레신 주식회사 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치
KR101380997B1 (ko) 2012-02-28 2014-04-10 한국과학기술원 공간 인식을 통한 벡터 기반 제스처를 보정하는 방법 및 그 장치
CN108469899B (zh) * 2012-03-13 2021-08-10 视力移动技术有限公司 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
WO2013168171A1 (en) * 2012-05-10 2013-11-14 Umoove Services Ltd. Method for gesture-based operation control
JP2013250882A (ja) * 2012-06-01 2013-12-12 Sharp Corp 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
SE537553C2 (sv) * 2012-08-03 2015-06-09 Crunchfish Ab Förbättrad identifiering av en gest
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
WO2014080829A1 (ja) * 2012-11-22 2014-05-30 シャープ株式会社 データ入力装置
US8933882B2 (en) * 2012-12-31 2015-01-13 Intentive Inc. User centric interface for interaction with visual display that recognizes user intentions
JP6127564B2 (ja) * 2013-02-15 2017-05-17 コニカミノルタ株式会社 タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
KR102091028B1 (ko) * 2013-03-14 2020-04-14 삼성전자 주식회사 사용자 기기의 오브젝트 운용 방법 및 장치
US9245063B2 (en) * 2013-04-05 2016-01-26 The Boeing Company Creating ergonomic manikin postures and controlling computer-aided design environments using natural user interfaces
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
KR102517425B1 (ko) * 2013-06-27 2023-03-31 아이사이트 모빌 테크놀로지 엘티디 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
AU2013206685A1 (en) * 2013-07-04 2015-01-22 Canon Kabushiki Kaisha Projected user interface system for multiple users
US9529513B2 (en) * 2013-08-05 2016-12-27 Microsoft Technology Licensing, Llc Two-hand interaction with natural user interface
US20150185851A1 (en) * 2013-12-30 2015-07-02 Google Inc. Device Interaction with Self-Referential Gestures
CN106462725A (zh) * 2014-01-07 2017-02-22 Arb实验室公司 监测游戏场所的活动的系统和方法
US20150234468A1 (en) * 2014-02-19 2015-08-20 Microsoft Corporation Hover Interactions Across Interconnected Devices
US9753546B2 (en) * 2014-08-29 2017-09-05 General Electric Company System and method for selective gesture interaction
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
KR102339839B1 (ko) * 2014-12-26 2021-12-15 삼성전자주식회사 제스처 입력 처리 방법 및 장치
US10180734B2 (en) * 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10969872B2 (en) * 2015-04-16 2021-04-06 Rakuten, Inc. Gesture interface
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
DE102015115526A1 (de) * 2015-09-15 2017-03-16 Visteon Global Technologies, Inc. Verfahren zur Zielerfassung von Zielobjekten, insbesondere zur Zielerfassung von Bedienelementen in einem Fahrzeug
JP6597235B2 (ja) * 2015-11-30 2019-10-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6721713B2 (ja) * 2016-04-29 2020-07-15 ブイタッチ・カンパニー・リミテッド 動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置
WO2018083872A1 (ja) * 2016-11-04 2018-05-11 株式会社ワコム スタイラス、方法、及び処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100088055A1 (en) * 2008-10-08 2010-04-08 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. System and method for positioning a coordinate system in relation to a workpiece on a measurement machine
US20130321347A1 (en) * 2011-02-18 2013-12-05 VTouch Co., Ltd. Virtual touch device without pointer
CN102226880A (zh) * 2011-06-03 2011-10-26 北京新岸线网络技术有限公司 一种基于虚拟现实的体感操作方法及系统
CN102981742A (zh) * 2012-11-28 2013-03-20 无锡市爱福瑞科技发展有限公司 基于计算机视觉的手势交互系统
CN103413137A (zh) * 2013-08-05 2013-11-27 浙江大学 基于多规则的交互手势运动轨迹分割方法
CN104636725A (zh) * 2015-02-04 2015-05-20 华中科技大学 一种基于深度图像的手势识别方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAI NICKEL 等: "Visual recognition of pointing gestures for human-robot interaction", 《ELSEVIER》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920076A (zh) * 2018-06-27 2018-11-30 清远墨墨教育科技有限公司 一种用户手势操作识别方法及识别系统
CN108920076B (zh) * 2018-06-27 2021-03-02 清远墨墨教育科技有限公司 一种用户手势操作识别方法及识别系统
CN114327047A (zh) * 2021-12-01 2022-04-12 北京小米移动软件有限公司 设备控制方法、设备控制装置及存储介质
CN114327047B (zh) * 2021-12-01 2024-04-30 北京小米移动软件有限公司 设备控制方法、设备控制装置及存储介质

Also Published As

Publication number Publication date
CN107787497B (zh) 2021-06-22
WO2016200197A1 (ko) 2016-12-15
US10846864B2 (en) 2020-11-24
EP3309708A1 (en) 2018-04-18
JP6839778B2 (ja) 2021-03-10
JP2018528551A (ja) 2018-09-27
JP2020098614A (ja) 2020-06-25
US20180173318A1 (en) 2018-06-21
EP3309708A4 (en) 2019-03-06
KR101754126B1 (ko) 2017-07-19

Similar Documents

Publication Publication Date Title
CN107787497A (zh) 用于在基于用户的空间坐标系中检测手势的方法和装置
US20240202938A1 (en) Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness
US20210190497A1 (en) Simultaneous location and mapping (slam) using dual event cameras
US10514545B2 (en) Selective tracking of a head-mounted display
CN109298629B (zh) 在未绘制地图区域中引导移动平台的系统及方法
CN102609942B (zh) 使用深度图进行移动相机定位
CN112292711A (zh) 关联lidar数据和图像数据
CN105487555B (zh) 一种无人机的悬停定位方法及装置
CN103797446A (zh) 输入体的动作检测方法以及使用了该方法的输入设备
CN108700946A (zh) 用于并行测距和建图的故障检测和恢复的系统和方法
US20130106694A1 (en) Three-dimensional display device, three-dimensional image capturing device, and pointing determination method
CN109255749A (zh) 自主和非自主平台中的地图构建优化
CN109213202A (zh) 基于光学伺服的货物摆放方法、装置、设备和存储介质
JP2004265222A (ja) インタフェース方法、装置、およびプログラム
CN109902675A (zh) 物体的位姿获取方法、场景重构的方法和装置
CN110052020A (zh) 便携式装置或机器人系统中运行的设备、控制设备和方法
US20220321851A1 (en) Portable projection mapping device and projection mapping system
CN103472923A (zh) 一种三维虚拟手势选择场景物体的方法
CN108733211A (zh) 追踪系统、其操作方法、控制器、及电脑可读取记录媒体
CN108564626A (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
JP3712847B2 (ja) ３次元形状計測方法と３次元形状計測装置及び撮像手段の姿勢検出装置
CN108734721B (zh) 追踪系统以及追踪方法
Steinicke et al. Generating optimized marker-based rigid bodies for optical tracking systems.
CN115060229B (zh) 运动物体的测量方法和测量装置
KR20190051174A (ko) 네비게이션 제스처 인식 시스템 및 이의 제스처 인식 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant