CN102915112B - 用于近距离动作跟踪的系统和方法 - Google Patents

用于近距离动作跟踪的系统和方法 Download PDF

Info

Publication number
CN102915112B
CN102915112B CN201210214182.3A CN201210214182A CN102915112B CN 102915112 B CN102915112 B CN 102915112B CN 201210214182 A CN201210214182 A CN 201210214182A CN 102915112 B CN102915112 B CN 102915112B
Authority
CN
China
Prior art keywords
user
hand
screen
finger
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210214182.3A
Other languages
English (en)
Other versions
CN102915112A (zh
Inventor
革舜·库特李洛夫
柳井亚隆
艾米特·布莱维斯
夏哈尔·弗莱斯曼
约塔姆·李维尼
乔纳森·爱普斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN102915112A publication Critical patent/CN102915112A/zh
Application granted granted Critical
Publication of CN102915112B publication Critical patent/CN102915112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

描述了用于近距离目标跟踪的系统和方法。用深度传感器获得使用者的手和手指或者其它物件的近距离深度图像。用从该深度传感器获得的深度图像数据，识别和跟踪使用者的手和手指或者其它物件的动作，由此允许该使用者利用他的手和手指或者其它物件的位置和移动与显示在屏幕上的物件互动。

Description

用于近距离动作跟踪的系统和方法
对相关申请的交互引用
本申请要求2011年6月23日递交的名称为“用于识别和跟踪用户移动用于和电子设备互动的方法和系统”的美国临时专利申请号61/500,480的优先权，其全文以参考方式被合并于此。
技术领域
本公开涉及用于目标跟踪的方法和装置，特别涉及提供改进的手段用于跟踪用户的手和手指移动，并用该跟踪数据控制该用户和装置互动的方法和设备。
背景技术
在很大程度上，人与电子设备(如电脑，笔记本，和移动电话)互动需要物理操纵控制，揿按钮，或者接触屏幕。例如，用户通过输入设备(如键盘和鼠标)与电脑互动。尽管键盘和鼠标对于一些功能(如输入文本和滚动浏览文件)是有效的，它们对于用户可以与电子设备互动的许多其它的方式并不有效。用户握鼠标的手被限定只能沿着二维(2D)表面移动，用鼠标通过三维的虚拟空间引导是难操纵的并且非直觉的。同样地，触摸屏的平面界面不容许用户传达任何深度概念。这些设备将全范围的可能的手和手指的动作限制为和技术限制相应的二维动作的有限子集。
附图简述
附图中示意了用于提供用户互动体验，以及用于自动定义和识别动作的系统和方法的实施例。这些实施例和附图是说明性的而非限制性。
图1为示意图，其示范根据一些实施方式的近距离目标跟踪系统的实例组件。
图2为作业流程图，其示范根据一些实施方式的通过近距离目标跟踪系统的动作跟踪过程的例子。
图3A-3E显示了根据一些实施方式的可以被跟踪的手势的例子的图解说明。
图4为作业流程图，其示范根据一些实施方式的通过近距离目标跟踪系统的动作跟踪过程的例子。
图5为作业流程图，其示范根据一些实施方式的通过近距离目标跟踪系统的动作跟踪过程的另一个例子。
详细说明
描述了用于近距离目标跟踪的系统和方法。用深度传感器获得使用者的手和手指或者其它物件的近距离深度图像。用从该深度传感器获得的深度图像数据识别和跟踪使用者的手和手指或者其它物件的动作。该用户的手和手指或者其它物件可以被显示为屏幕上的显像，其中该显像被显示为执行和被识别的动作相当的姿势。该用户的手和手指或者其它物件的显像可以与该屏幕上显示的其它物件互动。
现将描述本发明的多种形态和实例。以下说明提供了特定的细节。以便彻底了解这些实例，使其能够实现。然而，本领域技术人员将了解，本发明可以不具有许多这些细节而被实行。此外，一些众所周知的结构或者功能可能不作详细的显示或者描述，以免不必要地遮蔽相关的说明。
以下介绍的用于本发明的术语应当以最宽的合理方式解释，即使其正被用于本技术某些特定实例的详细说明。某些词语可以被进一步强调于下；然而，欲以任何限制的方式解释的任何术语，将被公开地及特定地在此详细说明部分如此定义。
物件动作的跟踪，例如，当用户与电子系统或者设备通过姿势控制互动时，需要该系统识别该用户或者物件做的动作或者(多个)姿势。出于此公开的目的，术语“姿势识别”指用于识别用户进行的特定动作或者姿态结构的方法。例如，姿势识别可以指识别在鼠标垫上以特定方向和具有特定速度的击打，手指在触摸屏上跟踪描绘特定的形状，或者手的摆动。该系统通过分析描述该用户与特定硬件/界面的互动资料判断特定的姿势是否被进行。亦即，应当有检测或者跟踪该被用于进行或者执行该姿势的物件的一些办法。在触摸屏的情况下，其为用于检测该用户在该屏幕上的触摸的硬件和软件技术的组合。在基于深度传感器的系统情况下，其通常为识别和跟踪该用户的关节和躯体部分所需的硬件和软件的组合。
在上述通过姿势控制，或者总体上通过目标跟踪的系统互动的例子中，跟踪组件使动作能够被识别和跟踪。姿势识别可以被认为不同于跟踪的过程，因为它通常从该跟踪组件取得数据输出，并处理该数据以确定预定姿势是否被执行。一旦该姿势被识别，其即被用于触发行为，例如，在电子设备上的一个应用中，或者在一个游戏中。使用姿势识别的例子可以是，用户在房间中摆动手来关灯时。
对目标跟踪系统的输入可以是描述用户动作的数据，其来自许多不同的输入设备，如触摸屏(单点接触或多点接触)，以2D(即红，绿，蓝，或者“RGB”)摄像机获取的用户的动作，和用深度传感器获取的用户的动作。在其它应用中，该目标跟踪系统可以使用来自用于动作或者姿势识别的加速度计和重量计的数据。
2010年6月16日递交的名称为“用于由深度图给主体建模的方法和系统”的美国专利申请号12/817,102描述了用深度传感器跟踪游戏者并识别和跟踪用户躯体的关节。其在此被全文合并于本公开中。2012年4月6日递交的名称为“用于增强目标跟踪的系统和方法”的美国专利申请号13/441,271描述了用来自时间飞跃(time-of-flight，TOF)摄像机的深度数据和幅度数据的组合识别和跟踪用户的(多个)躯体部分的方法，其在此被全文合并于本公开中。
剧烈的动作或者姿势识别可能相当难以完成。特别是该系统应能够准确地判读该用户的意图，针对不同用户之间的动作差异调整，并确定该动作适用的范围。
与系统或者设备互动的变通的，自然的，以及直观的方式应是让该系统判读用户的手和手指在显示屏前的三维空间中的动作，由此允许支持全范围的人类手和手指的可能结构和动作。基本地，熟悉的二维触摸屏被扩展入更自由，更不受约束的，和更直观的三维互动空间，其支持的可能姿势和互动的范围更具表现力。
为了实现这种更自然和更直观的互动类型，该系统应能充分地识别用户的手和手指的结构和动作。常规的摄像机，如RGB摄像机，不足以实现此目的，因为这些摄像机产生的数据难以准确和良好地判读。特别是，在该图像中的物件难以和背景区分，数据对照明条件敏感，并且在该图像中的不同物件之间发生闭合。相反的，用深度传感器在近距离跟踪手和手指及其它物件可以产生支持对该用户的手和手指进行高精确的良好跟踪的数据，以实现这种新的，直观的以及有效的方式，以和系统或者设备互动。
深度传感器被定义为对被获取图像的每一个像素获得深度数据的传感器，其中深度指物件和传感器本身之间的距离。深度传感器采用几种不同的技术达到此目的。其中包括依赖于时间飞跃(包括扫描TOF或者阵列TOF)传感器，结构光，激光斑纹图案技术，立体摄像机，和活动立体摄像机的传感器。在各种情形下，这些摄像机均产生具有固定像素分辨率的图像，其中每一个像素与一值，通常为整数值相关，这些值和该物件从该传感器被投射在该图像区域上的距离相应。除深度数据之外，该传感器还可以产生颜色数据，方式和常规的彩色摄像机相同，并且此数据可以和该深度数据组合用于处理。
深度传感器产生的数据具有若干超过常规“2D”摄像机生成数据的优点。该深度传感器数据极大地简化了分割背景和前景的问题，通常在光照条件上变化良好，并能被有效地用于识别闭合。用深度传感器能够实时识别和跟踪用户的手和他的手指两者。对用户的手和手指的位置数据的认识可以随之被用于实现虚拟的“3D”触摸屏，其中与设备的互动是天然和直观的。该手和手指的动作可以加强用户与各种不同系统，设备，和/或电子设备的互动，例如电脑，笔记本，移动电话，手持式游戏控制台，和汽车的仪表板控制器。而且，此界面实现的这些应用和互动包括生产工具和游戏，以及娱乐系统控制器(如媒体中心)，增强现实，和许多其它形式的人和电子设备之间的通讯。
本公开的内容描述了深度传感器图像用于在近距离更准确地识别和跟踪物件并可靠地处理用户的动作和姿势的用途。在此应用时，术语“近距离”通常指基本上的个人空间或者区域，用户在其中与基本上的个人设备互动，例如，从物理接口与系统或者设备互动。因此，在一个实施方式中，近距离深度图像典型地，但不是必然地，在30厘米到50厘米范围内被获取。在一个实施方式中，近距离深度图像可以在0到3.0米范围内被获取。在一些实施方式中深度图像可以在大于3.0米的距离被获取，其取决于环境，屏幕尺寸，设备尺寸，深度传感器分辨率，深度传感器准确性等等。
现参照图1，其为根据一些实施方式的近距离目标跟踪系统100的部件，以及这些部件之间的工作流程示意图。该近距离目标跟踪系统100可以包括，例如，深度摄像机115，近距离图像跟踪模块135，姿势识别模块140，输出模块145，和软件应用150。另外的或者少数组件或者模块可以被归入该系统100和各示范组件中。例如，该深度摄像机115可以包括获取深度数据的深度图像传感器110，以及处理该深度数据以及产生深度图的深度数据处理器120。该深度处理器120执行的处理步骤依赖于该深度图像传感器110使用的特定技术，例如结构光和TOF技术。该深度摄像机115还可以包括其它组件(未示出)，如一个或多个透镜，光源，和电子控制器。
在此处，“模块”包括通用目的的，专用的或者共享的处理器，以及典型地由该处理器执行的程序包或者软件模块。根据特定执行或者其它考虑，该模块可以为一元化或者其功能分散。该模块可以包括通用或者专用目的的硬件，固件，或者概括在计算机可读(存储)介质中，由该处理器执行的软件。在此应用时，计算机可读介质或者计算机可读存储介质包括全部法规所允许的介质(例如，根据35 U.S.C.101的规定)，并在包括计算机可读(存储)介质的权利要求有效所需的排除程度上特别排除全部实质上非法规所允许的介质。已知的法规所允许计算机可读介质包括硬件(例如，记录器，随机存取存储器(RAM)，非易失性的(NV)存储，仅举几个例子)，但可以或不可限于硬件。
如图1可见，系统100可跟踪物件105，如用户的手，头，脚，臂，脸，或者其它物件，其中该物件典型地在图像传感器110的近距离内。系统100可以包括深度摄像机115，其在近距离检测物件。深度摄像机115支持图像跟踪模块135，其用该深度摄像机115产生的图像在近距离识别物件和检测物件动作，并且甚至检测细微的运动动作。例如，深度摄像机115可以用于提供充分的像素分辨率和精确的深度数据值，以检测细微的，微小差别的手指，嘴唇及其它面部器官，脚趾等等的动作。
系统100可进一步包括用于执行目标跟踪的近距离图像跟踪模块。在一些实施方式中，该跟踪模块135可以处理来自该深度摄像机115的深度数据，例如，通过对该深度图像数据应用适当的算法，以使系统100能够利用近距离深度数据。根据近距离光学设置和需要，可以使跟踪模块135能够处理深度图像数据。跟踪模块135可以针对一个或多个物件，并可能同时实现处理，计算，识别和/或确定物件的存在，动作，距离，速度等。近距离图像跟踪模块135可以，例如，执行软件代码或算法，用于近距离跟踪，例如，用于在近距离实现面部动作，脚部动作，头部动作，臂部动作，或者其它适宜的物件动作的探测和/或跟踪。在一个例子中，该跟踪模块135可以跟踪人的动作，并且跟踪模块135的输出可以是人骨架的显像。
同样地，如果只有用户的手和手指正在被跟踪，跟踪模块135的输出可以是该用户的手骨骼显像。该手骨骼显像可以包括该骨骼的关节的位置，并且还可以包括该关节相对于中心点的转动。其还可以包括这些点的子集。此外，该块135的输出可以包括其它特征，如被跟踪物件的质量中心，或者可以通过处理该深度摄像机115提供的数据获得的任何其它有用的数据。
此外，该近距离图像跟踪模块135在接收来自深度摄像机115的数据后，可以被设置为识别特定物件(如每只手上的不同的手指)的形状和/或功能以识别，例如，特定手指或者多个手指正被移动的每一个手指的动作，以及该个别手指动作相当的(多个)综合动作。
在一些实施方式中，该近距离图像跟踪模块135可以被设置为根据动作的速度，动作的跨度等等识别和确定物件的动作强度，从而使动作的力度方面能被检测和利用。
在一些实施方式中，该近距离图像跟踪模块135可以被设置为跟踪多个手指的动作，以使得用不同的手指或者手指的组合作出的姿势可以被识别。
在一些实施方式中，可以使用用于近距离跟踪的代码或算法，例如，来检测和/或跟踪面部动作，脚部动作，头部动作，臂部动作，或者其它适宜的物件动作。
系统100可以进一步包括动作或者姿势识别模块140，以分类被检测到的数据，从而帮助识别和确定物件动作。该姿势识别模型140可以，例如，产生一输出，该输出可被用于确定物件是否正在移动，发信号，作手势，等等，以及识别被执行的是哪一特定姿势。
系统100可以进一步包括输出模块145，其用于处理被处理的跟踪数据，如手势数据，以使用户命令或者动作良好地输出至外部平台，控制台，等等。
系统100可以进一步包括软件应用150，其接受来自该输出模块145的输出，并在软件应用的范围内使用该输出。软件应用150可以是游戏，或者控制该用户与设备互动的程序，或者其可以用另外方式利用该深度摄像机115检测到的被处理的动作数据。
在一个实施方式中，该系统100可以进一步包括距离显示器155。该显示器向该用户提供视觉反馈。该视觉反馈可以包括该用户的姿势的显像，其中与该显像有关的信息来源于该输出模块145。该视觉反馈还可以包括该用户的姿势的显像与一个或多个虚拟物件的互动，其中与该互动有关的信息来源于该软件应用150。
现参照图2，其描述了用跟踪模块135在深度摄像机115产生的数据上跟踪用户的(双)手和(多个)手指的过程的例子。如图2可见，在程序块205，该用户的手由从该深度摄像机115获得的深度图像数据被识别。通过用分割和/或分类算法清除噪声和不需要的背景数据，分割该手和该背景。
在程序块210，在该深度图像数据以及有关的幅度数据和/或有关的RGB图像中检测特征。这些特征可以是，例如，手指的梢端，手指基部接触手掌的点，以及可测的任何其它图像数据。在程序块215，在程序块210被识别的这些特征被用于识别该图像数据中的个别手指。在程序块220，该手指根据其在先前的架构中的位置被跟踪，以滤去检测到的可能的假阳性特征，并补入该深度图像数据可能缺失的数据，如闭合点。
在程序块225，从该深度图像数据获得被跟踪手指的三维空间位置，并用于构造该用户的手和手指的骨骼模型。在一些实施方式中，运动模型可被用于限制该主体的关节的相对位置。该运动模型还可以被用于计算由于关节闭合，或由于关节在该摄像机视野之外而摄像机不可见的关节的位置。
先参照图3A-3E，其显示了一系列手势，作为可以被检测，跟踪，识别和执行的细微运动动作的例子。附图3A，3C，和3D显示静态手势信号，其不具有动作成分，而图3B和3E显示动态手势。图3B和3E包括叠加的箭头，其显示具有意义和可识别的信号或者姿势的这些手指的动作。当然，其它来自用户躯体的其它部分或者来自其它物件的姿势或者信号也可以被检测和跟踪。在进一步的例子中，来自多个物件或者用户动作的姿势或者信号，例如，两个或两个以上手指的动作可以被同时检测，跟踪，识别和执行。
本公开内容的实施方式可以包括，但不限于以下互动形式：
在一个例子中，每个用户的手指都可以是显示屏上的光标。通过这种方式，用户可以同时与多个图标(多达十个，用双手)互动。术语“光标”在此应用时，可以指其它信号，乐谱(note)，指示物等等，如活动的，不时闪烁的标记，其在CRT(阴极射线管)或者其它类型显示器上指示键盘将输入下一个特征的位置，或者用户操作所需位置。
在另一个例子中，可以在屏幕前限定虚拟的热域。该用户可以通过在该热域中移动他/她的多个手指和/或(双)手选择显示屏上的物件，例如，模拟点击鼠标按纽的动作。该虚拟热域提供类似于二维触摸屏的功能，不过更宽泛，因为手指/手的三维空间位置也可以被使用。
现参照图4，其说明了基于近距离跟踪实现技术的用户界面(UI)框架的例子。该姿势识别组件可以包括名称为“用于姿势分类的方法和系统”的专利7,970,176，和名称为“用于姿势识别的方法和系统”的申请号12/707,340中所述的部件，这些专利以参考方式被全文合并于此。
在步骤400，从深度摄像机获得深度图像。在步骤410，跟踪模块135用该获得的深度图像执行图2所述功能。随后并行处理由该跟踪模块135产生的关节位置数据，如下所述。在步骤420，关节位置数据被用于将主体的手/手指动作映射或者投射为虚拟光标。任选地，可以通过一个或多个该主体的手指控制光标或者命令工具。可以在显示屏上提供信息，以向该主体提供反馈。该虚拟光标可以是简单的图形部件，如箭头，或者手的显像。其还可以简单地加亮或者识别UI部件(在该屏幕上无明确的图示)，如通过变换用户界面部件的颜色，或者在其后投射辉光。该主体的(双)手的不同的部分可被用于移动该虚拟光标。
在一些实施方式中，该虚拟光标可以被映射至该主体的(双)手或者一个或多个手指。例如，食指(尖端)的动作可以直接映射或者投射在该虚拟光标的动作上。在另一个实施方式中，该UI部件在深度上堆积，一个在另一个顶上。该虚拟光标可以被容许在三维中移动，以使得该虚拟光标可以在用户界面部件之间以多个深度层次移动。在另一个实施方式中，有多个虚拟光标，每个均相当于主体的一个指尖。
在步骤430，这些关节的位置数据被用于检测可以由该主体执行的姿势。有两类触发事件的姿势：选择姿势和操作姿势。选择姿势指示特定的UI部件应被选择。在一些实施方式中，选择姿势是用手抓取的动作，其中手指移向手掌的中心，如同该主体正在拾取该UI部件。在另一个实施方式中，通过在圆圈内移动手指或者手执行选择姿势，以使得该虚拟光标围绕该主体想要选择的该UI部件。当然，也可以使用其它姿势。在步骤450，该系统评价在步骤430是否检测到选择姿势，如果是，该系统在步骤470确定虚拟光标是否当前被映射至一个或多个UI部件。在虚拟光标已经被映射至(多个)UI部件的情形下，该(多个)UI部件可以在步骤490被选择。
在选择姿势之外，限定另一个类别的姿势，操作姿势。操作姿势可被用于以某些方式操作UI部件。在一些实施方式中，该主体通过旋转他/她的手执行操作姿势，其随之旋转已经被选定的该UI部件，以在该屏幕上显示附加信息。例如，如果该UI部件是文件目录，旋转该目录能够使主体看见所有包含于该目录中的文件。操作姿势的另外的例子可以包括转动颠倒该UI部件，以倒空其内容物，例如，在虚拟桌面上；晃动该UI部件，以重排其内容物，或者具有其它的效果；倾斜该UI部件，以使得该主体可以“向内看”；或者挤压该UI部件，其可以具有，例如，最小化该UI部件的效果。在另一个实施方式中，击打姿势可以将被选定的UI部件移至回收站。
在步骤440，该系统评价操作姿势是否已经被检测到。如果检测到操作姿势，随后在步骤460，该系统检查是否已经选定一UI部件。如果已经选定一UI部件，其即可以根据特定限定的被执行姿势的行为模式，以及该系统的范围在步骤480被操作。在一些实施方式中，可以设置一个或多个以各自的指尖被识别的分别的光标，以通过一个或多个手指实现屏幕图标，物件或者数据的引导，命令进入或者其它操作。
根据一些实施方式，可以旋转常规的二维图标，以显示另外的尺寸，来向该用户传达另外的相关信息。例如，视窗图标可以在目录中显示一列文件。当该用户旋转他/她的手时，该视窗图标被旋转，显示该目录中每一文件尺寸的第三维被显示。
在一些实施方式中，可以通过将手移动越过该物件，然后将手指合拢至手心，以“抓住”该物件来选择显示屏上的物件。这是选择姿势的一个例子。
在一些实施方式中，在被选择后，可以通过手的“击打”姿势，即将手迅速从一个位置移动至另一个位置的动作，将物件置于回收站。这是操作姿势的一个例子。
在一些实施方式中，离开该屏幕的距离可以和手指或者手在该屏幕上的位置的二维投影结合使用。例如，该用户可以在该显示屏上通过移动他的手指绕(多个)图标画圈指示图标或者图标组。然后，在该用户将他的手/手指移动离开该屏幕时，该圆圈的尺寸相应长大或缩小，变换屏幕上该圆圈内被选择的面积，并由此变换被选择的图标的数目。
在一些实施方式中，离开该屏幕的距离能被用作缩放因子。例如，给定物件的尺寸由该用户的大拇指和食指之间的距离定义。然而，离开该屏幕的距离也可以被用作倍增该大拇指和食指之间距离的缩放因子。
在一些实施方式中，图标可以被一个接一个堆积，且该用户的手至屏幕的距离可被用于选择图标。当该用户移动他的手靠近该显示屏时，在该堆积中靠后的物件被选中，当该用户的受移动远离该显示屏时，堆积中靠顶部的物件被选中。
在一些实施方式中，可以通过各指尖选择该屏幕上的多个物件，并可以根据这些手指的动作操作这些物件。在一些实施方式中，手或者手指离开该屏幕的距离可以影响该屏幕图象的尺寸。例如，通过向后移动被跟踪的手，屏幕可以被缩小，以使得该物件的更大的视图被处理。在一些实施方式中，屏幕物件可以被重叠，显示被操作物件的多个水平。在此情况下，根据(双)手，(多个)手指，或者(多个)物件离该屏幕的距离，手和/或手指或者其它物件的深度图像可被用于在不同的深度操作物件。
图5描述了根据一些实施方式的作为用户命令工具的虚拟区域的使用实例。如图5所见，在程序块500，一虚拟区域被限定在选择的接近深度摄像机处。该虚拟区域可以被定义为在特定的接近深度摄像机处的三维空间，其中可以跟踪近距离动作，例如，用一个或多个该用户的身体部分或者另一个物件来实现用户打字，点击，屏幕引导，等等。
在程序块505，用跟踪模块处理深度数据，例如描述于上述的图4中的内容。在程序块510，该系统确定该用户的手/手指/命令物件是否在该虚拟区域内。在程序块515，如果该用户的手/手指等在该虚拟区域内，该系统执行或者实施该用户指示的姿势或者行为。如果该用户的手/手指等不在该区域内，则该系统返回程序块505，以继续用该跟踪模块处理进一步的深度数据，直至该系统确定该用户的手/手指等在该虚拟区域范围之内。
根据进一步的实施方式，此处描述的近距离动作跟踪系统可以通过手指和/或其它物件的动作实现虚拟演奏乐器。在一些例子中，手的位置可以确定对于特定器具的选择。在一些实施方式中，可以用深度摄像机获得用户的手和手指的深度图像。可以处理该数据以实现从该深度图像识别该用户的手的位置，来确定器具的选择。该深度图像即可被用于实现由该深度图像跟踪该用户的手指的动作，其中该用户的手指的动作虚拟地操作该器具。进一步地，可以基于该跟踪动作模拟该虚拟器具的操作。在一些例子中，该器具操作的模拟包括提供与该用户的手指动作在该器具上演奏的记号相当的声响。在更进一步的例子中，该器具操作的模拟进一步包括，在该屏幕上提供该器具操作的直观显示。
在更进一步的例子中，可以通过该系统识别手势语姿势(例如，美国手势语或者其它基于姿势的语言)。在进一步的例子中，通过用深度摄像机探测用户的手和手指和/或其它躯体部分的深度图像，由基于姿势的语言的预定姿势识别该用户的手和手指和/或其它躯体部分所作的姿势，以及提供被预识别的姿势的翻译，可以识别基于语言的姿势。在一些例子中，该输出可以是文本和/或声音等。
在更进一步的例子中，用户还可以通过形成预定姿势和系统或者设备联系，如握起一个或多个手指，“抓住”(向手心移动手指)，摆动手，弹响指，等等。任何这些姿势均可被映射至该系统的特定功能。例如，弹响指可以使计算机系统处于“休眠”模式。名称为“用于姿势分类的方法和系统”的美国专利号7,970,176，和名称为“用于姿势识别的方法和系统”的美国申请号12/707,340所公开的内容提供了用于定义这类姿势的说明，它们以参考方式被全文合并于此。
在一些实施方式中，可以跟踪用户的头，以变化被显示在二维屏幕上的图标的透视图。亦即，当该用户移动至侧面时，其屏幕视图也相应地移动。
在一些例子中，可以限定导致相容的系统范围特性的姿势。例如，任何图标/文件夹均可以具有限定的特性/特征。以下是可以被限定为应用于全部文件夹图标的一组姿势或者信号。
对于“倒出”姿势，该用户选择一项目并轻轻旋转，使其内容物从顶部倒出。对于“向内看”姿势，该用户选择一项目并旋转，使得他可以观看该项目中的内容物。对于“晃动”姿势，该用户选择一物件，并进行摇晃动作，以及预定的行为结果，如依字母顺序重新排列该项目的内容物。对于“向后看”姿势，该用户选择一项目并旋转，以看见该项目的“背部”，从而可获得额外的信息。例如，当一包含图片文件的文件夹被旋转时，显示这些图片的文本说明。对于“挤压”姿势，该用户选择一项目并挤压它，以最小化该项目，或者使其从桌面消失。在进一步的例子中，可以确定多个物件的姿势或者动作，如多个手指，双臂，双眼等的动作，来指示额外的姿势或者信号。在更进一步的例子中，可以确定一个或多个物件用不同的风格，速度，强度等等作出的姿势或者动作，来指示额外的姿势或者信号。当然，还可以使用进一步的姿势或者信号或者姿势或者信号的组合。
在一些实施方式中，即使用户的手被一对一映射至虚拟显像，在该虚拟空间中(例如在桌面上)有不同的方式来显示该用户的手。在一个例子中，可以跟踪手的模型，其中该虚拟图标类似该用户的手。例如，其保持该用户手所采取的相同结构。在另一个例子中，可以使用该用户的手的媒体水平的抽象概念。例如在虚拟空间中显示的每个点可以相当于该用户的一个指尖。在另外的例子中可以使用更高水平的该用户的手的抽象概念，其中该手显现为鲜活的物件，并和其功能相同。
根据一些实施方式，可以跟踪和使用物理/力定向的互动。在这些例子中，姿势可以不直接与这些项目互动。相反，这些姿势可以产生与这些项目互动的力。例如，不定义“旋转”姿势-使物件开始旋转的特定姿势-可以决定任何可以产生这类自然力的姿势均可完成该任务。可以用若干种方式之一有效旋转物件，如迅速摆动手，以产生合理速度的移动，拍动一项目的角，或者将手轻移过该项目。当然，也可以使用进一步的姿势或者信号或者姿势或者信号的组合。
根据一些实施方式，不同的手指可以具有不同的功能。例如，可以通过用该用户的手抓取物件选择它，以使得：食指将其打开；中指将其擦除；无名指将其最大化等等。当然，也可以使用进一步的姿势或者信号或者姿势或者信号的组合。
除非上下文明确要求，在本说明书和权利要求全文中，词语“包括”或者类似用词应解释为包含的意义，和排他或穷尽的意义相反(即“包括而不限于”之意)。在此应用时，术语“连接”，“接合”，或者其任何变体表示两个或两个以上元件之间直接或者间接的连接或者接合。这些元件之间的这种接合或者连接可以是物理的，逻辑的，或者它们的组合。另外，词语“此处”，“以上”，“以下”，以及有类似含义的词语被用于本专利申请时，应指本申请的整体而不是此申请的任何特定部分。如果上下文容许，上述详细说明中使用单数或者复数的单词也可以分别包括复数或者单数。与两个或两个以上项目的列举有关的词语“或者”覆盖所有以下该词语的解释：任何该列举中的项目，全部该列举中的项目，以及任何该列举中的项目组合。
以上本发明实施例的详细说明不是为了穷尽本发明或者将其限定至以上公开的精确形式。相关技术人员将了解，虽然为了说明性目的而将本发明的特定实施例描述如上，本发明范围内的各种等价改进均是合理的。虽然进程或者程序在此申请中为给定次序，其它设备也可以实现不同次序的执行步骤的程序，或者采用具有不同次序程序的系统。一些进程或者程序可以被删除，移动，添加，再分，结合，和/或修改，以提供其它组合或者再组合。还有，虽然进程或者程序被数次显示为被串联执行，这些进程或者程序也可以替代以并联执行或者完成。此外此处记录的任何特定数字仅仅是实施例。应理解其它设备可以采用不同价值或者范围。
此处提供的各种说明和教导还可以被用于上述系统之外的系统。上述各种实施例的元件和行为可以被合并以提供进一步的本发明的设备。
上述任何专利和申请及其它参考文献，包括任何可能附带于随附的递交文件中所列出的内容，它们均以参考方式被合并于此。如有必要，可以修改本发明的各方面，以采用这类参考文献中所包括的系统，功能，和概念，从而提供本发明的进一步的实施方式。
这些及其它变化可以根据上述详细说明用于本发明。虽然上述说明描述了本发明的某些例子，并描述了预期的最佳方式，无论上述内容在文中显得如何详细，本教导都可以用许多方式实施。在实现细节上，系统的细节可以极大地变化，而仍然由此处公开的目标内容包括在内。如上所述，当描述本发明的某些特征或者方面时，所使用的特定术语不应被认为表示该术语在此处被再定义，以将其限定为该术语相关的任何本发明的特定特性，特征，方面。通常，以下权利要求中所采用的术语不应当被解释为将本发明限定至说明书中公开的特定例子，除非上述详细说明部分明确定义了此种术语。相应地，本发明的实际范围不仅包括所公开的例子，还包括权利要求之下实现或者实施本发明的全部等价方式。
虽然本发明的某些方面以确定的权利要求形式呈现于下，申请人预期本发明的不同方面有许多权利要求形式。例如，尽管只有本发明的一个方面被记载为35 U.S.C.§112第六段所规定的装置加功能权利要求，其它方面也同样可以被具体化为装置加功能权利要求，或者采取其它形式，如概括在计算机可读介质中(任何希望按照35 U.S.C.§112，||6被处理的权利要求均应以“用于......的装置”开头)。相应地，申请人保留在递交申请后增加权利要求，为本发明的其它方面的权利寻求此种追加权利要求形式的权利。

Claims (14)

1.一种用于操作用户界面的方法包括：
用深度传感器获取用户的手的近距离深度图像；
根据获取的深度图像构造所述用户的手的骨骼模型，所述骨骼模型包括一个或多个关节的选定区域；
从在所述用户的手的所述骨骼模型中的一个或多个关节的选定区域内的所述获取的深度图像动作中识别，所述动作包括在根据所述用户的手的构造的骨骼模型的一个或多个关节的选定区域内的所述用户手的手指的动作；
使用在所述用户手的骨骼模型中的一个或多个关节的选定区域中的与关节位置相当的三维关节数据跟踪在所述用户的手的在所述骨骼模型中的一个或多个关节的选定区域内的所述用户手的手指的动作；
映射与在所述构造的骨骼模型中的所述关节的所述位置相当的所述三维关节数据以投射所述用户的手在屏幕上作为第一物件以执行与所述用户的手的所述骨骼模型的所述关节的选定区域内的所述用户手的所述手指的运动相当的姿势；并且
其中在所述用户的手上的所述手指被表现为所述第一物件的个别虚拟光标组件，每个个别虚拟光标组件被设置为：
同时与所述屏幕上的一个或多个分离的物件互动，以及
具有用于与所述屏幕上所述的一个或多个分离的物件中的同一物件进行交互的不同功能，包括：
所述用户的手上的食指具有第一功能以打开所述同一物件，
所述用户的手上的中指具有第二功能以擦除所述同一物件，以及
所述用户的手上的无名指具有第三功能以最大化所述同一物件。
2.如权利要求1所述的方法，其中执行与在所述用户手的所述骨骼模型中的所述关节的选定区域内的所述用户的手的手指的动作相应的姿势产生与所述屏幕上的所述分离物件中的一个或多个互动的力。
3.如权利要求1所述的方法，其中在所述用户手的所述骨骼模型中的所述关节的选定区域内的所述用户的手的所述被识别的手指的动作与选择姿势相当，其中所述屏幕上的所述第一物件选择所述屏幕上的第二物件。
4.如权利要求1所述的方法，其中在所述用户手的所述骨骼模型中的所述关节的选定区域内的所述用户的手的所述被识别的手指的动作与操作姿势相当，其中在所述屏幕上的第二物件根据与所述操作姿势相关的预定义的行为被操作。
5.如权利要求1所述的方法，进一步包括：
确定所述用户的手与所述屏幕间的距离；
基于所述距离的变化缩放所述屏幕。
6.如权利要求5所述的方法，进一步包括：移动所述屏幕上的光标以从所述屏幕上一堆物件中指示选定物件，其中所述光标基于所述用户的手与所述屏幕间的距离移动，其中移动所述光标包括，在所述用户的手移动靠近所述屏幕时，向所述物件堆的底部移动所述光标，当所述用户的手移动远离所述屏幕时，向所述物件堆的顶部移动所述光标。
7.如权利要求1所述的方法，进一步包括，基于所述用户的手与所述屏幕间的距离标定所述第一物件的尺寸。
8.一种系统，包括：
深度传感器，以获取用户的手在近距离的深度图像；
处理器实现：
跟踪模块，基于所述获取的深度图像构造所述用户的手的骨骼模型，所述骨骼模型包括一个或多个关节的选定区域，从在所述用户的手的所述骨骼模型中的一个或多个关节的选定区域内的所述获取的深度图像动作中识别，所述动作包括在根据所述用户的手的所述构造的骨骼模型的一个或多个关节的选定区域内的所述用户手的手指的动作，和使用在所述用户手的骨骼模型中的一个或多个关节的选定区域中的与关节位置相当的三维关节数据跟踪在所述用户的手的所述骨骼模型中的一个或多个关节的选定区域内的所述用户手的手指动作；以及
输出模块，以映射与在所述构造的骨骼模型中的所述关节的所述位置相当的所述三维关节数据以投射所述用户的手在屏幕上作为第一物件以执行与所述用户的手的所述骨骼模型的所述关节的选定区域内的所述用户手的所述手指运动相当的姿势，其中在所述用户的手上的所述手指被表现为所述第一物件的个别虚拟光标组件，每个个别虚拟光标组件被设置为：
同时与所述屏幕上的一个或多个分离的物件互动，以及
具有用于与所述屏幕上一个或多个分离物件中的同一物件进行交互的不同功能，包括：
所述用户的手上的食指具有第一功能以打开所述同一物件，
所述用户的手上的中指具有第二功能以擦除所述同一物件，以及
所述用户的手上的无名指具有第三功能以最大化所述同一物件。
9.如权利要求8所述的系统，其中执行与在所述用户手的所述骨骼模型中的所述关节的选定区域内的所述用户的手的手指的动作相应的姿势产生与所述屏幕上的所述分离物件中的一个或多个互动的力。
10.如权利要求8所述的系统，其中在所述用户手的所述骨骼模型中的所述关节的选定区域内的所述用户的手的所述被识别的手指的动作与选择姿势相当，其中所述屏幕上的所述第一物件选择所述屏幕上的第二物件。
11.如权利要求8所述的系统，其中在所述用户手的所述骨骼模型中的所述关节的选定区域内的所述用户的手的所述被识别的手指的动作与操作姿势相当，其中在所述屏幕上的第二物件根据与所述操作姿势相关的预定义的行为被操作。
12.如权利要求8所述的系统，其中所述输出模块确定所述用户的手与所述屏幕间的距离并且基于所述距离的变化缩放所述屏幕。
13.如权利要求12所述的系统，其中所述输出模块移动所述屏幕上的光标以从所述屏幕上一堆物件中指示选定物件，其中所述光标基于所述用户的手与所述屏幕间的距离移动，其中移动所述光标包括，在所述用户的手移动靠近所述屏幕时，向所述物件堆的底部移动所述光标，当所述用户的手移动远离所述屏幕时，向所述物件堆的顶部移动所述光标。
14.如权利要求8所述的系统，其中所述输出模块基于所述用户的手与所述屏幕间的距离标定所述第一物件的尺寸。
CN201210214182.3A 2011-06-23 2012-06-25 用于近距离动作跟踪的系统和方法 Active CN102915112B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161500480P 2011-06-23 2011-06-23
US61/500,480 2011-06-23

Publications (2)

Publication Number Publication Date
CN102915112A CN102915112A (zh) 2013-02-06
CN102915112B true CN102915112B (zh) 2018-06-26

Family

ID=46980712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210214182.3A Active CN102915112B (zh) 2011-06-23 2012-06-25 用于近距离动作跟踪的系统和方法

Country Status (6)

Country Link
US (1) US9910498B2 (zh)
EP (1) EP2538305A3 (zh)
JP (1) JP6074170B2 (zh)
KR (1) KR101979317B1 (zh)
CN (1) CN102915112B (zh)
CA (1) CA2780367A1 (zh)

Families Citing this family (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012040827A2 (en) * 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US11048333B2 (en) * 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US10345911B2 (en) * 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
US9339691B2 (en) 2012-01-05 2016-05-17 Icon Health & Fitness, Inc. System and method for controlling an exercise device
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US20150220149A1 (en) * 2012-02-14 2015-08-06 Google Inc. Systems and methods for a virtual grasping user interface
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
CN105378593B (zh) 2012-07-13 2019-03-01 索尼深度传感解决方案股份有限公司 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
US9591339B1 (en) 2012-11-27 2017-03-07 Apple Inc. Agnostic media delivery system
US9774917B1 (en) 2012-12-10 2017-09-26 Apple Inc. Channel bar user interface
US10200761B1 (en) 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US9532111B1 (en) 2012-12-18 2016-12-27 Apple Inc. Devices and method for providing remote control hints on a display
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
CN103076976A (zh) 2013-01-07 2013-05-01 华为终端有限公司 添加应用图标的方法、移除应用图标的方法和装置
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
SE536989C2 (sv) * 2013-01-22 2014-11-25 Crunchfish Ab Förbättrad återkoppling i ett beröringsfritt användargränssnitt
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US8994652B2 (en) * 2013-02-15 2015-03-31 Intel Corporation Model-based multi-hypothesis target tracker
US9052746B2 (en) * 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
KR101872426B1 (ko) 2013-03-14 2018-06-28 인텔 코포레이션 깊이 기반 사용자 인터페이스 제스처 제어
EP2969058B1 (en) 2013-03-14 2020-05-13 Icon Health & Fitness, Inc. Strength training apparatus with flywheel and related methods
JP6042753B2 (ja) * 2013-03-18 2016-12-14 株式会社Ｎｔｔドコモ 端末装置及び操作ロック解除方法
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
WO2014178836A1 (en) * 2013-04-30 2014-11-06 Hewlett-Packard Development Company, L.P. Depth sensors
US10509533B2 (en) * 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9563955B1 (en) 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
US9144744B2 (en) 2013-06-10 2015-09-29 Microsoft Corporation Locating and orienting device in space
US9671868B2 (en) 2013-06-11 2017-06-06 Honeywell International Inc. System and method for volumetric computing
WO2014201347A1 (en) 2013-06-14 2014-12-18 Intercontinental Great Brands Llc Interactive video games
US9109921B1 (en) * 2013-06-19 2015-08-18 Amazon Technologies, Inc. Contextual based navigation element
CN103399629B (zh) * 2013-06-29 2017-09-19 华为技术有限公司 获取手势屏幕显示坐标的方法和装置
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
KR101350313B1 (ko) * 2013-08-12 2014-02-13 전자부품연구원 손동작 기반 문자 입력 장치 및 이를 이용한 문자 입력 방법
US10585478B2 (en) 2013-09-13 2020-03-10 Nod, Inc. Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices
US10139914B2 (en) * 2013-09-13 2018-11-27 Nod, Inc. Methods and apparatus for using the human body as an input device
CN103735268B (zh) * 2013-09-29 2015-11-25 沈阳东软医疗系统有限公司 一种体位检测方法及系统
US9400553B2 (en) * 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
US9317112B2 (en) * 2013-11-19 2016-04-19 Microsoft Technology Licensing, Llc Motion control of a virtual environment
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
JP6255954B2 (ja) * 2013-12-03 2018-01-10 富士通株式会社 動作入力装置、動作入力プログラム及び動作入力方法
US9403047B2 (en) 2013-12-26 2016-08-02 Icon Health & Fitness, Inc. Magnetic resistance mechanism in a cable machine
US20150187143A1 (en) * 2013-12-26 2015-07-02 Shadi Mere Rendering a virtual representation of a hand
TWI530909B (zh) 2013-12-31 2016-04-21 財團法人工業技術研究院 影像合成系統及方法
US9395821B2 (en) * 2014-01-03 2016-07-19 Intel Corporation Systems and techniques for user interface control
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9785243B2 (en) 2014-01-30 2017-10-10 Honeywell International Inc. System and method for providing an ergonomic three-dimensional, gesture based, multimodal interface for use in flight deck applications
US10433612B2 (en) 2014-03-10 2019-10-08 Icon Health & Fitness, Inc. Pressure sensor to quantify work
US9501138B2 (en) 2014-05-05 2016-11-22 Aquifi, Inc. Systems and methods for remapping three-dimensional gestures onto a finite-size two-dimensional surface
WO2015191445A1 (en) 2014-06-09 2015-12-17 Icon Health & Fitness, Inc. Cable system incorporated into a treadmill
US9330306B2 (en) 2014-06-11 2016-05-03 Panasonic Intellectual Property Management Co., Ltd. 3D gesture stabilization for robust input control in mobile environments
WO2015195965A1 (en) 2014-06-20 2015-12-23 Icon Health & Fitness, Inc. Post workout massage device
CN117331482A (zh) 2014-06-24 2024-01-02 苹果公司 输入设备和用户界面交互
CN118210424A (zh) 2014-06-24 2024-06-18 苹果公司 用于在用户界面中导航的列界面
US20160062473A1 (en) * 2014-08-29 2016-03-03 Hand Held Products, Inc. Gesture-controlled computer system
TW201610750A (zh) * 2014-09-03 2016-03-16 Liquid3D Solutions Ltd 可與３ｄ影像互動之手勢控制系統
WO2016042039A1 (en) * 2014-09-16 2016-03-24 Foundation For Research And Technology - Hellas (Forth) Gesture recognition apparatuses, methods and systems for human-machine interaction
KR101644739B1 (ko) * 2015-02-13 2016-08-10 계명대학교 산학협력단 3d 프린팅 펜을 이용하는 3d 프린팅 보조 장치 및 그 방법
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10391361B2 (en) 2015-02-27 2019-08-27 Icon Health & Fitness, Inc. Simulating real-world terrain on an exercise device
US10269136B2 (en) * 2015-04-29 2019-04-23 Hewlett-Packard Development Company, L.P. System and method for processing depth images which capture an interaction of an object relative to an interaction plane
US9911219B2 (en) 2015-05-13 2018-03-06 Intel Corporation Detection, tracking, and pose estimation of an articulated body
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
US10402554B2 (en) * 2015-06-27 2019-09-03 Intel Corporation Technologies for depth-based user authentication
KR102395515B1 (ko) * 2015-08-12 2022-05-10 삼성전자주식회사 가상 악기의 연주 방법 및 이를 지원 하는 장치
US9703387B2 (en) * 2015-08-31 2017-07-11 Konica Minolta Laboratory U.S.A., Inc. System and method of real-time interactive operation of user interface
KR101745406B1 (ko) 2015-09-03 2017-06-12 한국과학기술연구원 깊이 영상 기반의 손 제스처 인식 장치 및 방법
US10649536B2 (en) * 2015-11-24 2020-05-12 Intel Corporation Determination of hand dimensions for hand and gesture recognition with a computing interface
US10248839B2 (en) * 2015-11-30 2019-04-02 Intel Corporation Locating objects within depth images
US20170185156A1 (en) * 2015-12-29 2017-06-29 Microsoft Technology Licensing, Llc Hand tracking for user interface operation at-a-distance
US10386482B2 (en) 2016-01-25 2019-08-20 Board Of Regents, The University Of Texas System Device-free tracking system that accurately tracks hand movement
US10908694B2 (en) 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US10625137B2 (en) 2016-03-18 2020-04-21 Icon Health & Fitness, Inc. Coordinated displays in an exercise device
US10272317B2 (en) 2016-03-18 2019-04-30 Icon Health & Fitness, Inc. Lighted pace feature in a treadmill
US10493349B2 (en) 2016-03-18 2019-12-03 Icon Health & Fitness, Inc. Display on exercise device
JP6688990B2 (ja) * 2016-04-28 2020-04-28 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび記録媒体
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
EP3285107B2 (en) 2016-08-16 2024-02-28 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope with gesture control and method for a gesture control of a surgical microscope
US10095315B2 (en) 2016-08-19 2018-10-09 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
US20180052520A1 (en) * 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
JP6980990B2 (ja) * 2016-08-31 2021-12-15 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
DE102016216577A1 (de) * 2016-09-01 2018-03-01 Volkswagen Aktiengesellschaft Verfahren zur Interaktion mit Bildinhalten, die auf einer Anzeigevorrichtung in einem Fahrzeug dargestellt werden
JP6728004B2 (ja) * 2016-09-20 2020-07-22 ヤフー株式会社 仮想楽器演奏プログラム、仮想楽器演奏装置および仮想楽器演奏方法
US10671705B2 (en) 2016-09-28 2020-06-02 Icon Health & Fitness, Inc. Customizing recipe recommendations
US10606457B2 (en) 2016-10-11 2020-03-31 Google Llc Shake event detection system
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
WO2018106276A1 (en) * 2016-12-05 2018-06-14 Youspace, Inc. Systems and methods for gesture-based interaction
CN106601217B (zh) * 2016-12-06 2021-03-02 北京邮电大学 一种交互式乐器演奏方法及装置
JP2018092494A (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 画像センサ
US10620779B2 (en) * 2017-04-24 2020-04-14 Microsoft Technology Licensing, Llc Navigating a holographic image
US20180329877A1 (en) * 2017-05-09 2018-11-15 International Business Machines Corporation Multilingual content management
KR102160705B1 (ko) 2017-05-12 2020-09-28 주식회사 엘지화학 고분자 고체 전해질 조성물 및 이를 포함하는 고분자 막
KR102160706B1 (ko) 2017-05-12 2020-09-28 주식회사 엘지화학 고분자 고체 전해질 조성물 및 이를 포함하는 고분자 막
KR102328637B1 (ko) * 2017-08-28 2021-11-18 주식회사 케이티 디스플레이 장치
US20190066385A1 (en) * 2017-08-31 2019-02-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
EP3502835A1 (en) * 2017-12-20 2019-06-26 Nokia Technologies Oy Gesture control of a data processing apparatus
CN108255351B (zh) * 2017-12-22 2019-08-20 潍坊歌尔电子有限公司 用户手指位置信息的确定方法及装置、投影仪、投影系统
US10948993B2 (en) * 2018-06-07 2021-03-16 Facebook, Inc. Picture-taking within virtual reality
CN111640175A (zh) 2018-06-21 2020-09-08 华为技术有限公司 一种物体建模运动方法、装置与设备
CN109032354B (zh) * 2018-07-24 2021-05-07 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
WO2020036235A1 (ko) * 2018-08-13 2020-02-20 정규민 Rgb 센서를 이용한 객체 인식 및 데이터 처리 방법 및 장치
US11003766B2 (en) 2018-08-20 2021-05-11 Microsoft Technology Licensing, Llc Enhancing cybersecurity and operational monitoring with alert confidence assignments
US10732725B2 (en) * 2018-09-25 2020-08-04 XRSpace CO., LTD. Method and apparatus of interactive display based on gesture recognition
CN109446952A (zh) * 2018-10-16 2019-03-08 赵笑婷 一种钢琴监督方法、装置、计算机设备及存储介质
WO2020085524A1 (ko) * 2018-10-23 2020-04-30 엘지전자 주식회사 이동단말기 및 그 제어 방법
CN109582136B (zh) * 2018-11-13 2022-05-03 深圳市创凯智能股份有限公司 三维窗口手势导航方法、装置、移动终端及存储介质
US11030814B1 (en) * 2019-01-15 2021-06-08 Facebook, Inc. Data sterilization for post-capture editing of artificial reality effects
EP3928194A1 (en) 2019-03-24 2021-12-29 Apple Inc. User interfaces including selectable representations of content items
CN114297620A (zh) 2019-03-24 2022-04-08 苹果公司 用于媒体浏览应用程序的用户界面
EP3928526A1 (en) 2019-03-24 2021-12-29 Apple Inc. User interfaces for viewing and accessing content on an electronic device
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
KR102041279B1 (ko) * 2019-04-17 2019-11-27 주식회사 지티온 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체
WO2020243645A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for a podcast browsing and playback application
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
CN110322569B (zh) * 2019-07-03 2023-03-31 百度在线网络技术（北京）有限公司 多模态ar处理方法、装置、设备和可读存储介质
JP2021111021A (ja) * 2020-01-07 2021-08-02 コニカミノルタ株式会社 装置のテスト自動化のための方法およびプログラムならびに装置
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11340707B2 (en) * 2020-05-29 2022-05-24 Microsoft Technology Licensing, Llc Hand gesture-based emojis
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
KR102438736B1 (ko) * 2020-12-10 2022-08-30 최윤우 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법
KR102569857B1 (ko) * 2021-01-27 2023-08-23 주식회사 시온네트웍 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
KR20230034782A (ko) * 2021-09-03 2023-03-10 삼성전자주식회사 깊이 센서를 이용하여 깊이 맵을 생성하는 증강 현실 디바이스 및 방법
CN114217729B (zh) * 2021-11-30 2024-06-04 广州宏途数字科技有限公司 一种基于视觉识别的人机交互方法及系统
KR20230100472A (ko) * 2021-12-28 2023-07-05 삼성전자주식회사 손의 관절에 관한 위치 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
WO2024184232A1 (en) 2023-03-06 2024-09-12 Sony Semiconductor Solutions Corporation Device, method and computer program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002007839A2 (en) * 2000-07-24 2002-01-31 Jestertek, Inc. Video-based image control system
CN101408800A (zh) * 2008-11-14 2009-04-15 东南大学 利用摄像头进行三维模型显示控制的方法
CN101960409A (zh) * 2007-12-31 2011-01-26 微软国际控股私有有限公司 3d指点系统
CN102057347A (zh) * 2008-06-03 2011-05-11 岛根县 图像识别装置、操作判断方法及程序

Family Cites Families (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4900033A (en) 1988-09-12 1990-02-13 Samuel Campos Spelling game apparatus
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
DE69736622T2 (de) 1996-07-03 2007-09-13 Hitachi, Ltd. System zur Bewegungserkennung
US6104379A (en) 1996-12-11 2000-08-15 Virtual Technologies, Inc. Forearm-supported exoskeleton hand-tracking device
WO1998040126A1 (en) 1997-03-12 1998-09-17 Neurocom International, Inc. System and method for monitoring training programs
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6336891B1 (en) 1997-12-08 2002-01-08 Real Vision Corporation Interactive exercise pad system
US5994844A (en) 1997-12-12 1999-11-30 Frezzolini Electronics, Inc. Video lighthead with dimmer control and stabilized intensity
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6270414B2 (en) 1997-12-31 2001-08-07 U.S. Philips Corporation Exoskeletal platform for controlling multi-directional avatar kinetics in a virtual environment
JP2001034775A (ja) 1999-05-17 2001-02-09 Fuji Photo Film Co Ltd 履歴画像表示方法
US7628730B1 (en) 1999-07-08 2009-12-08 Icon Ip, Inc. Methods and systems for controlling an exercise apparatus using a USB compatible portable remote device
DE19953835C1 (de) 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
US8956228B2 (en) 1999-12-03 2015-02-17 Nike, Inc. Game pod
EP1130570B1 (en) 2000-01-11 2007-10-10 Yamaha Corporation Apparatus and method for detecting performer's motion to interactively control performance of music or the like
JP3496874B2 (ja) 2000-02-23 2004-02-16 コナミ株式会社 ゲーム装置、ゲーム装置の制御方法、情報記憶媒体、ゲーム配信装置及びゲーム配信方法
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
JP2002041038A (ja) * 2000-07-31 2002-02-08 Taito Corp 仮想楽器演奏装置
US7027083B2 (en) 2001-02-12 2006-04-11 Carnegie Mellon University System and method for servoing on a moving fixation point within a dynamic scene
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
JP2003126291A (ja) 2001-10-19 2003-05-07 Konami Co Ltd 運動支援制御方法及び運動支援装置
JP3694267B2 (ja) 2002-01-11 2005-09-14 コナミスポーツライフ株式会社 運動支援装置
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US20040001113A1 (en) 2002-06-28 2004-01-01 John Zipperer Method and apparatus for spline-based trajectory classification, gesture detection and localization
US7815507B2 (en) 2004-06-18 2010-10-19 Igt Game machine user interface using a non-contact eye motion recognition device
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7225414B1 (en) * 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
US20070155589A1 (en) 2002-12-04 2007-07-05 Philip Feldman Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System
JP2004271783A (ja) * 2003-03-07 2004-09-30 Kenzo Akazawa 電子楽器および演奏操作装置
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
KR100544677B1 (ko) 2003-12-26 2006-01-23 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
JP4522129B2 (ja) 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US20060018516A1 (en) 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
GB2419433A (en) 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101090755B (zh) 2004-12-28 2011-04-20 新世代株式会社 模拟体验装置
US20120277594A1 (en) 2009-01-23 2012-11-01 Pryor Timothy R Mental health and well-being
KR100687737B1 (ko) 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US9325890B2 (en) 2005-03-25 2016-04-26 Siemens Aktiengesellschaft Method and system to control a camera of a wireless device
DE102005017313A1 (de) 2005-04-14 2006-10-19 Volkswagen Ag Verfahren zur Darstellung von Informationen in einem Verkehrsmittel und Kombiinstrument für ein Kraftfahrzeug
DE602005019631D1 (de) 2005-04-26 2010-04-08 Alterface S A Interaktive multimedia-anwendungseinrichtung
JP5028751B2 (ja) 2005-06-09 2012-09-19 ソニー株式会社 行動認識装置
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
TWI348639B (en) 2005-12-16 2011-09-11 Ind Tech Res Inst Motion recognition system and method for controlling electronic device
WO2007089198A1 (en) 2006-02-01 2007-08-09 Tobii Technology Ab Generation of graphical feedback in a computer system
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9910497B2 (en) * 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
CN103778635B (zh) 2006-05-11 2016-09-28 苹果公司 用于处理数据的方法和装置
JP4711885B2 (ja) 2006-05-25 2011-06-29 三菱電機株式会社 遠隔操作装置及び方法
EP1862969A1 (en) 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US9317124B2 (en) 2006-09-28 2016-04-19 Nokia Technologies Oy Command input by hand gestures captured from camera
US8023726B2 (en) 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8144148B2 (en) 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
US7753861B1 (en) 2007-04-04 2010-07-13 Dp Technologies, Inc. Chest strap having human activity monitoring device
US9028430B2 (en) 2007-04-19 2015-05-12 Nike, Inc. Footwork training system and method
WO2008133921A1 (en) 2007-04-23 2008-11-06 Dp Technologies, Inc. Eyewear having human activity monitoring device
WO2008134313A1 (en) 2007-04-26 2008-11-06 Heather Raymond A method and system for developing or tracking a program for medical treatment
US8963828B2 (en) 2007-06-04 2015-02-24 Shimane Prefectural Government Information inputting device, information outputting device and method
US20090015681A1 (en) 2007-07-12 2009-01-15 Sony Ericsson Mobile Communications Ab Multipoint autofocus for adjusting depth of field
US8221290B2 (en) 2007-08-17 2012-07-17 Adidas International Marketing B.V. Sports electronic training system with electronic gaming features, and applications thereof
US20090055205A1 (en) 2007-08-23 2009-02-26 Igt Multimedia player tracking infrastructure
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US7970176B2 (en) 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
US7885145B2 (en) 2007-10-26 2011-02-08 Samsung Electronics Co. Ltd. System and method for selection of an object of interest during physical browsing by finger pointing and snapping
WO2009086088A1 (en) 2007-12-21 2009-07-09 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US20120204133A1 (en) 2009-01-13 2012-08-09 Primesense Ltd. Gesture-Based User Interface
US9094675B2 (en) 2008-02-29 2015-07-28 Disney Enterprises Inc. Processing image data from multiple cameras for motion pictures
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20090262986A1 (en) 2008-04-22 2009-10-22 International Business Machines Corporation Gesture recognition from co-ordinate data
US8904430B2 (en) 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
US8113991B2 (en) 2008-06-02 2012-02-14 Omek Interactive, Ltd. Method and system for interactive fitness training program
EP2327061A4 (en) 2008-08-15 2016-11-16 Univ Brown METHOD AND DEVICE FOR ESTIMATING BODY SHAPES
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US7869204B2 (en) 2008-09-15 2011-01-11 International Business Machines Corporation Compact size portable computer having a fully integrated virtual keyboard projector and a display projector
US8081797B2 (en) 2008-10-10 2011-12-20 Institut National D'optique Selective and adaptive illumination of a target
US8565476B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
WO2010096279A2 (en) 2009-02-17 2010-08-26 Omek Interactive , Ltd. Method and system for gesture recognition
US9538167B2 (en) 2009-03-06 2017-01-03 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8660303B2 (en) 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US8112719B2 (en) 2009-05-26 2012-02-07 Topseed Technology Corp. Method for controlling gesture-based remote control system
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
JP4701424B2 (ja) 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US20120194561A1 (en) 2009-09-22 2012-08-02 Nadav Grossinger Remote control of computer devices
KR101602461B1 (ko) 2009-09-22 2016-03-15 삼성전자주식회사 디스플레이 장치 및 휴대폰의 제어방법
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8593576B2 (en) 2009-10-15 2013-11-26 At&T Intellectual Property I, L.P. Gesture-based remote control
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US20110221666A1 (en) 2009-11-24 2011-09-15 Not Yet Assigned Methods and Apparatus For Gesture Recognition Mode Control
KR101688655B1 (ko) 2009-12-03 2016-12-21 엘지전자 주식회사 사용자의 프레전스 검출에 의한 제스쳐 인식 장치의 전력 제어 방법
KR101652110B1 (ko) 2009-12-03 2016-08-29 엘지전자 주식회사 사용자의 제스쳐로 제어가능한 장치의 전력 제어 방법
US8232990B2 (en) 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
FR2955409B1 (fr) 2010-01-18 2015-07-03 Fittingbox Procede d'integration d'un objet virtuel dans des photographies ou video en temps reel
TW201128444A (en) 2010-02-02 2011-08-16 Hon Hai Prec Ind Co Ltd Controlling system and method for camera, adjusting apparatus for camera including the same
KR101184460B1 (ko) 2010-02-05 2012-09-19 연세대학교 산학협력단 마우스 포인터 제어 장치 및 방법
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US20110234481A1 (en) 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
CN101853568A (zh) 2010-04-13 2010-10-06 鸿富锦精密工业（深圳）有限公司 手势遥控装置
US8351651B2 (en) 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
FR2959576A1 (fr) 2010-05-03 2011-11-04 Thomson Licensing Procede d’affichage d’un menu de reglage et dispositif correspondant
EP2393298A1 (en) 2010-06-03 2011-12-07 Zoltan Korcsok Method and apparatus for generating multiple image views for a multiview autostereoscopic display device
TWI540312B (zh) 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及／或能提高移動偵測效率的時差測距系統及其方法
US8654152B2 (en) 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
US9661232B2 (en) 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
KR101815020B1 (ko) 2010-08-26 2018-01-31 삼성전자주식회사 인터페이스 제어 장치 및 방법
US9141189B2 (en) 2010-08-26 2015-09-22 Samsung Electronics Co., Ltd. Apparatus and method for controlling interface
US20120050483A1 (en) 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information
KR101708696B1 (ko) 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9213890B2 (en) 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
JP5360166B2 (ja) 2010-09-22 2013-12-04 株式会社ニコン 画像表示装置
KR20120031805A (ko) 2010-09-27 2012-04-04 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
DE112010005893T5 (de) 2010-10-22 2013-07-25 Hewlett-Packard Development Company, L.P. Auswerten einer Eingabe relativ zu einer Anzeige
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
EP2689413A4 (en) 2011-03-25 2015-07-22 Oblong Ind Inc QUICK FINGER FINGER DETECTION TO INITIALIZE A VISION BASED HAND TRACER
US9307134B2 (en) 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
KR101591579B1 (ko) 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8686943B1 (en) 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
KR101227569B1 (ko) 2011-05-26 2013-01-29 한국과학기술연구원 골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법
US8823639B2 (en) 2011-05-27 2014-09-02 Disney Enterprises, Inc. Elastomeric input device
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US20120327218A1 (en) 2011-06-21 2012-12-27 Microsoft Corporation Resource conservation based on a region of interest
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US8228315B1 (en) 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
KR101262700B1 (ko) 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US8830302B2 (en) 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US9491441B2 (en) 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
JP5460679B2 (ja) 2011-11-28 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
US20130204408A1 (en) 2012-02-06 2013-08-08 Honeywell International Inc. System for controlling home automation system using body movements
US9558575B2 (en) 2012-02-28 2017-01-31 Blackberry Limited Methods and devices for selecting objects in images
US9734393B2 (en) 2012-03-20 2017-08-15 Facebook, Inc. Gesture-based control system
US9652043B2 (en) 2012-05-14 2017-05-16 Hewlett-Packard Development Company, L.P. Recognizing commands with a depth sensor
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
JP6135239B2 (ja) 2012-05-18 2017-05-31 株式会社リコー 画像処理装置、画像処理プログラム、画像処理方法
US8913809B2 (en) 2012-06-13 2014-12-16 Microsoft Corporation Monitoring physical body changes via image sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002007839A2 (en) * 2000-07-24 2002-01-31 Jestertek, Inc. Video-based image control system
CN101960409A (zh) * 2007-12-31 2011-01-26 微软国际控股私有有限公司 3d指点系统
CN102057347A (zh) * 2008-06-03 2011-05-11 岛根县 图像识别装置、操作判断方法及程序
CN101408800A (zh) * 2008-11-14 2009-04-15 东南大学 利用摄像头进行三维模型显示控制的方法

Also Published As

Publication number Publication date
EP2538305A3 (en) 2013-08-21
US20120327125A1 (en) 2012-12-27
KR101979317B1 (ko) 2019-05-16
KR20130001176A (ko) 2013-01-03
JP2013037675A (ja) 2013-02-21
CN102915112A (zh) 2013-02-06
CA2780367A1 (en) 2012-12-23
JP6074170B2 (ja) 2017-02-01
EP2538305A2 (en) 2012-12-26
US9910498B2 (en) 2018-03-06

Similar Documents

Publication Publication Date Title
CN102915112B (zh) 用于近距离动作跟踪的系统和方法
US20240168602A1 (en) Throwable interface for augmented reality and virtual reality environments
US12118134B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US11048333B2 (en) System and method for close-range movement tracking
US10901518B2 (en) User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
US10761612B2 (en) Gesture recognition techniques
US9292083B2 (en) Interacting with user interface via avatar
LaViola et al. 3D spatial interaction: applications for art, design, and science
JP2013037675A5 (zh)
Bai et al. Freeze view touch and finger gesture based interaction methods for handheld augmented reality interfaces
CN108431729A (zh) 用以增大显示区域的三维对象跟踪
Holman et al. SketchSpace: designing interactive behaviors with passive materials

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160623

Address after: American California

Applicant after: Intel Corporation

Address before: Beth Israel with Marcus Hart husband Xu gania A Industrial Park

Applicant before: Omek Interactive LTD

GR01 Patent grant
GR01 Patent grant