CN104969148A - 基于深度的用户界面手势控制 - Google Patents

基于深度的用户界面手势控制 Download PDF

Info

Publication number
CN104969148A
CN104969148A CN201380073033.2A CN201380073033A CN104969148A CN 104969148 A CN104969148 A CN 104969148A CN 201380073033 A CN201380073033 A CN 201380073033A CN 104969148 A CN104969148 A CN 104969148A
Authority
CN
China
Prior art keywords
depth
user
input gesture
computing equipment
given
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380073033.2A
Other languages
English (en)
Other versions
CN104969148B (zh
Inventor
G.J.安德森
D.雷夫
B.胡维茨
G.坎希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104969148A publication Critical patent/CN104969148A/zh
Application granted granted Critical
Publication of CN104969148B publication Critical patent/CN104969148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Multimedia (AREA)

Abstract

用于基于深度的手势控制的技术包括具有显示器和深度传感器的计算设备。该计算设备被配置成识别由用户执行的输入手势，基于来自深度传感器的数据确定输入手势的相对于显示器的深度，根据所述深度将深度平面赋予给所述输入手势，以及基于输入手势和所赋予的深度平面执行用户界面命令。用户界面命令可以控制由深度平面选择的虚拟对象，其包括游戏中的玩家角色。计算设备可以识别初级和次级虚拟触摸平面，以及在次级虚拟触摸平面上执行针对输入手势的次级用户界面命令，诸如基于输入手势放大或选择用户界面元素或使得能够实现附加功能。描述和声明要求保护其它实施例。

Description

基于深度的用户界面手势控制
背景技术
现代计算设备包括组合了改进的用于感测周围环境以及与周围环境交互的能力的不断增加的处理力。作为这样的改进能力的结果，许多计算设备正采用诸如触摸计算和基于手势的计算之类的新的输入模态。
用户界面手势可以包括基于触摸的输入手势，诸如轻敲、刷、以及以其它方式操纵计算设备的触摸表面。用户界面手势还可以包括在不物理接触计算设备的情况下做出的输入手势，包括移动用户的身体、肢体、手或手指来命令用户界面动作。基于这样的运动的输入手势有时称为知觉或空气手势。
附图说明
在附图中通过举例说明而不是限制的方式来图示本文所描述的概念。为了图解的简化和明晰，附图中所图示的元素未必按比例绘制。在适当考虑的情况下，在附图中重复使用了附图标记以用来指示对应或类似的元件。
图1是用于基于深度的手势控制的计算设备的至少一个实施例的简化框图；
图2是图1的计算设备的深度传感器系统的至少一个实施例的简化示意图；
图3是图1的计算设备的环境的至少一个实施例的简化框图；
图4是可以由图1和图3的计算设备执行的用于基于深度的手势控制的方法的至少一个实施例的简化流程图；
图5是可以被赋予给由图1和图3的计算设备识别的输入手势的多个深度平面的示意图；以及
图6是可以由图1和图3的计算设备执行的用于初级或次级用户界面命令执行的方法的至少一个实施例的简化流程图。
具体实施方式
虽然本公开的概念易受各种修改和替代形式的影响，但是其具体实施例通过举例说明在附图中已经示出并且在本文将进行详细描述。然而应当理解，不存在将本公开的概念局限于所公开的特定形式的意图，而是相反，意图是覆盖与本公开和所附权利要求书一致的所有修改、等同体和替代体。
在说明书中对“一个实施例”、“实施例”、“说明性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以或未必包括该特定特征、结构或特性。而且，这样的短语未必指的是同一个实施例。此外，当与实施例相联系地描述特定特性、结构或特性时，应当承认该特定特性、结构或特性处于本领域技术人员的知识范畴内以影响与无论是否明确描述的其它实施例相联系的这样的特征、结构或特性。
在一些情况下所公开的实施例可以采用硬件、固件、软件、或其任何组合来实现。所公开的实施例还可以被实施为由瞬时或非瞬时机器可读（例如计算机可读）储存媒体承载或在瞬时或非瞬时机器可读（例如计算机可读）储存媒体上存储的指令，所述指令可以由一个或多个处理器读取和执行。机器可读储存媒体可以被体现为任何储存设备、机制或用于存储或传送采用可由机器读取的形式的信息的其它物理结构（例如，易失性或非易失性的存储器、媒体盘、或其它媒体设备）。
在附图中，一些结构特征或方法特征可以采用具体布置和/或次序示出。然而，应当意识到，可能不需要这样的具体布置和/或次序。确切地，在一些实施例中，这样的特征可以采用与说明性附图中所示出的不同的方式和/或次序来布置。另外，在特定附图中包括的结构特征或方法特征不意味着暗示在所有的实施例中都需要这样的特征，而是在一些实施例中，可能不包括这样的特征，或者这样的特征可以与其它特征相组合。
现在参照图1，在说明性实施例中，计算设备100包括显示器112、触摸屏114、手势传感器120和深度传感器122。计算设备100的用户可以通过执行由手势传感器120检测的各种输入手势与计算设备100交互。如下面更详细地讨论的，输入手势可以由用户在显示器112前面某距离处执行。计算设备100被配置成使用深度传感器122确定至输入手势的距离—以及藉此至用户的距离，以及基于所确定的深度对输入手势作出响应。基于深度的手势控制允许自然和流畅的手势控制，特别允许涉及深度的用户界面隐喻。另外，基于深度的手势控制与诸如触摸控制之类的其它输入模态相组合允许与传统界面的丰富交互，以及可以允许用户容易地管理复杂的用户界面。特别是当与通过面部识别、骨骼追踪等的用户标识组合时，基于深度的手势控制还可以便利于与多个用户的交互。
计算设备100可以体现为能够执行本文所描述的功能的任何类型的设备。例如，计算设备100可以体现为，但不限于，计算机、智能电话、平板电脑、膝上型计算机、笔记本计算机、桌面型计算机、工作站、台式计算机、移动计算设备、蜂窝电话、手持电话、消息收发设备、车辆远程信息设备、网络器具、web器具、分布式计算系统、多处理器系统、基于处理器的系统、消费者电子设备、数字电话设备、和/或被配置成对基于深度的手势命令作出响应的任何其它计算设备。如图1中所示，说明性计算设备100包括处理器102、输入/输出子系统104、存储器106、以及数据储存设备108。当然，在其它实施例中，计算设备100可以包括其它或附加的部件，诸如通常在桌面型计算机中出现的那些（例如，各种输入/输出设备）。另外，在一些实施例中，说明性部件中的一个或多个可以结合在另一部件中，或者以其它方式形成另一部件的一部分。例如，在一些实施例中，存储器106或其各部分可以结合在处理器102中。
处理器102可以体现为能够执行本文所描述的功能的任何类型的处理器。例如，处理器102可以体现为（多个）单核或多核处理器、数字信号处理器、微控制器、或其它处理器或处理/控制电路。类似地，存储器106可以体现为能够执行本文所描述的功能的任何类型的易失性或非易失性存储器或数据储存器。在操作中，存储器106可以存储在计算设备100操作期间使用的各种数据和软件，诸如操作系统、应用、程序、库、以及驱动程序。存储器106通信联络地经由1/O子系统104耦合到处理器102，其中I/O子系统104可以被体现为用来使与处理器、存储器106、以及计算设备100的其它部件的输入/输出操作便利的电路系统和/或部件。例如，I/O子系统104可以为体现为，或者以其它方式包括，存储器控制器集线器、输入/输出控制集线器、固件设备、通信链路（即，点至点链路、总线链路、导线、电缆、光导、印刷电路板迹线等）和/或使输出/输出操作便利的其它部件和子系统。在一些实施例中，I/O子系统104可以形成芯片上系统（SoC）的一部分，以及连同处理器102、存储器106、以及计算设备100的其它部件一起结合在单个集成电路芯片上。
数据储存设备108可以体现为针对数据的短期或长期储存所配置的任何类型的一个或多个设备。例如，数据储存设备108可以体现为存储设备和电路、存储卡、硬盘驱动器、固态驱动器、或其它数据储存设备。
计算设备100的通信电路110可以体现为能够在计算设备100与其它远程设备之间实现通信的任何通信电路、通信设备或其集合。通信电路110可以被配置成使用使这样的通信生效的任何一个或多个通信技术（例如，无线或有线通信）以及相关联的协议（例如，以太网、蓝牙®、Wi-Fi®、WiMAX等）。在一些实施例中，通信电路110可以体现为包括无线网络适配器的网络适配器。
如上面所讨论的，计算设备100还包括显示器112。显示器112可以体现为能够显示数字信息的任何类型的显示器，诸如液晶显示器（LCD）、发光二极管（LED）显示器、等离子体显示器、阴极射线管（CRT）、或其它类型的显示设备。显示器112耦合到触摸屏114。触摸屏114可以体现为能够响应于被计算设备100的用户触摸来生成输入数据的任何类型的触摸屏。在一些实施例中，触摸屏114可以附连于显示器112或者在物理上结合在显示器112中。触摸屏114可以使用任何合适的触摸屏输入技术来检测用户对显示在显示器112上的信息的触觉选择，所述触摸屏输入技术包括但不限于电阻式触摸屏传感器、电容式触摸屏传感器、基于相机的触摸屏传感器、表面声波（SAW）触摸屏传感器、红外触摸屏传感器、光学成像触摸屏传感器、声学触摸屏传感器、和/或其它类型的触摸屏传感器。另外，触摸屏114可以对多个同时触摸点进行响应。
在一些实施例中，计算设备100可以包括相机116和/或音频传感器118。相机116可以体现为与计算设备100集成的数字相机或其它数字成像设备。相机116包括电子图像传感器，诸如有源像素传感器（APS），例如互补金属氧化物半导体（CMOS）传感器，或电荷耦合设备（CCD）。音频传感器118可以体现为能够捕获音频信号的任何传感器，诸如麦克风、线路输入插座、模数转换器（ADC）、或其它类型的音频传感器。
计算设备100还包括手势传感器120，其可以体现为能够检测和识别由用户执行的输入手势的任何类型的电子传感器。例如，手势传感器120可以体现为能够捕获用户的移动图像的数字视频相机。在说明性实施例中，不需要特定的分辨率；在一些实施例中，手势传感器120或许仅能够解析用户身体和四肢的大动作。在其它实施例中，手势传感器120或许能够解析用户的脸和/或手的精细细节。当然，在其它实施例中，诸如相机116和/或深度传感器122之类的其它部件可以体现、或以其它方式包括在手势传感器120中。
计算设备100还包括深度传感器122。深度传感器122可以体现为能够检测计算设备100（和/或显示器112）与由用户执行的输入手势之间的距离的任何类型的电子传感器。例如，深度传感器122可以体现为立体深度相机、结构光相机、或接近传感器。在一些实施例中，深度传感器122可以体现为或者以其它方式包括计算设备100的其它部件。例如，深度传感器122可以体现为、或以其它方式包括在触摸屏114中的电容式或电阻式传感器，其被配置成测量至用户手指的距离。另外或可替代地，深度传感器122可以体现为或者以其它方式包括通信电路110。在这样的实施例中，通信电路110可以被配置成确定至由用户相对于计算设备100操纵的传送器的距离。例如，计算设备100可以测量用于诸如Bluetooth®或近场通信之类的短程通信的信号强度，该短程通信可以用来确定至传送器的距离。对应的传送器可以嵌入在由用户操纵的设备中，诸如触笔或其它指向设备。另外或可替代地，深度传感器122可以包括计算设备100的相机116，其可以被配置成例如从投影仪类型的显示器112测量用户所投射的阴影的位置以及基于阴影的明显位置确定至用户的物理距离。
现在参考图2，示图200图示了深度传感器122的又一实施例。在说明性实施例中，计算设备100包括带有集成触摸屏114的显示器112。显示器112限定了从显示器112投影出去的表面法线202。深度传感器122包括两个可见光相机122a、122b。相机122a、122b中的每一个可以独立地被瞄准，如由视线向量204、206所表示的。为了执行深度感测，使相机122a、122b瞄准成使得视线向量204、206平行于显示器112、彼此垂直和垂直于表面法线202。采用这样的配置，相机122a、122b能够确定诸如用户手指之类的对象在显示器112附近的位置，包括确定显示器112至对象的距离。
现在参照图3，在该说明性实施例中，计算设备100在操作期间建立了环境300。该说明性实施例300包括应用302、用户界面命令模块306、手势识别模块308、以及深度识别模块310。另外，在一些实施例中，环境300可以包括用户标识模块312。环境300的各个模块可以体现为硬件、固件、软件、或其组合。
应用302被配置成向用户呈现用户界面并且对用户界面命令作出响应。这样的界面可以体现为在显示器112上显示的图形用户界面或其它用户界面。除了手势控制之外，应用302还可以对其它输入模态作出响应，诸如触摸屏114上的触摸输入或者来自附连于计算设备100的其它外围设备（例如键盘或鼠标）的输入。应用302可以包括应用编程接口304，其允许应用302受到计算设备100的其它模块的控制，或者以其它方式与计算设备100的其它模块相互配合。
用户界面命令模块306被配置成按用户的指令执行命令。这样的命令可以控制在计算设备100上执行的应用302的操作。在一些实施例中，用户界面命令模块306可以通过应用编程接口304控制应用302。另外或可替代地，在一些实施例中，用户界面命令模块306还可以控制计算设备100的操作系统（未示出）。
手势识别模块308被配置成识别由用户执行的输入手势。这样的输入手势可以包括知觉或空气手势，诸如身体和四肢运动、手和手指运动、以及面部表情。输入手势基于从手势传感器120接收的数据来识别。所识别的输入手势被提供给用户界面命令模块306以控制应用302。
深度识别模块310被配置成接收来自深度传感器122的数据以及确定由手势识别模块308所识别的输入手势的深度。深度识别模块310还将输入手势赋予给特定的深度平面，如下面详细描述的。如上所述，所得到的输入手势和深度信息被提供给用户界面命令模块306以控制应用302。
在一些实施例中，环境300包括用户标识模块312，其被配置成标识计算设备100的一个或多个用户以及将输入手势赋予给适当的用户。通过这样做，计算设备100可以由多个用户同时使用，或者由单个用户使用，而其它人不使用计算设备100。用户标识模块312可以基于面部识别、骨骼追踪、眼睛追踪、声音识别、和/或其它用户标识技术的任何组合来标识和区分用户。在一些实施例中，那些功能可以由子模块执行，例如由面部识别模块314、骨骼追踪模块316、眼睛追踪模块318、或声音识别模块320来执行。
现在参照图4，在使用中，计算设备100可以执行用于基于深度的手势控制的方法400。方法400开始于框402，在框402中计算设备100从手势传感器120接收输入传感器数据。如上所述，这样的传感器数据可以体现为用户的视频馈送。在其它实施例中，这样的传感器数据可以体现为来自触摸屏114或来自计算设备100的其它外围输入设备的输入数据。
在框404，计算设备100分析输入传感器数据以识别由用户作出的输入手势。所识别的输入手势的类型可以依赖于正分析的特定输入传感器数据、计算设备100的手势词汇、或依赖于应用302的特定输入要求。例如，在一些实施例中，所识别的输入手势可以是空气手势，例如用户在房间各处移动或挥舞手臂。在一些实施例中，输入手势可以是类似于触摸手势的手移动，诸如轻敲、刷、指向、捏、伸展、或以其它方式操纵手指，但是是在触摸屏114之上执行。不包括在手势词汇中的身体或手移动可能不被识别为输入手势。
在框406，计算设备100确定是否已经识别出输入手势。如果未识别出输入手势，则方法400循环回到框402继续接收输入传感器数据。如果识别出手势，则方法400前进至框408。
在框408，在一些实施例中计算设备100可以将输入手势赋予给计算设备100的所标识用户。例如，在一些实施例中，计算设备100可以由多个用户使用，并且每个所识别手势被赋予给特定所标识用户。在其它实施例中，计算设备100的单个用户所做出的手势可以与由计算设备100检测的但是不与计算设备100交互的其它人区别开。
如上所讨论的，计算设备100可以使用任何一个或多个标识技术来标识用户并且将所识别手势赋予给所标识用户。例如，在框410，计算设备100可以执行面部检测和分析以标识用户并且将输入手势赋予给所标识用户。计算设备100可以使用从相机116接收的输入数据来执行这样的面部检测。另外或可替代地，在框412，计算设备100可以执行骨骼追踪以标识用户并且将输入手势赋予给所标识用户。例如，计算设备100可以追踪所有的手、四肢、面部以及可由计算设备100检测的其它特征，并且将这样的特征赋予给针对特定用户的对应骨骼模型。关于骨骼模型的约束（例如，人类身体中关节角度的典型范围、人类身体中骨头的典型长度以及长度比率等等）允许计算设备100在多个用户的特征之间进行区分。这样的骨骼追踪可以由相机、手势传感器120、深度传感器122、或其任何组合来执行。另外或可替代地，在框414，计算设备100可以执行眼睛追踪技术以标识用户并且将手势赋予给所标识用户。例如，计算设备100可以使用相机116或使用专用眼睛追踪传感器（未示出）确定用户注视的角度或固定点。另外或可替代地，在框416，计算设备100可以执行声音识别以标识用户并且将手势赋予给所标识用户。这样的声音识别例如可以使用音频传感器118来加以执行。
在一些实施例中，计算设备100可以在显示器112上示出用户的肢体、手指、或其它身体部分的视觉表示。这样的视觉表示向用户提供关于如何解释他的或她的输入的反馈，在显示器112上的什么对象会受用户的输入的影响，以及可以将深度赋予给手势。在一些实施例中，这样的视觉表示可以采用用户的肢体的实际图像的形式，或者可以是与手势将做出的动作对应的光标或游戏元素。
在框418中，计算设备100基于从深度传感器122接收的数据确定输入手势的深度。如上面详细描述的，深度传感器122的各个实施例采用不同方式确定输入手势的深度。例如，立体相机允许通过比较来自两个相机传感器的图像数据来确定深度。结构光相机允许通过分析反射光图案来确定深度。一对正交的可见光相机允许通过比较来自该对相机中的每一个的图像数据来确定深度。对深度的这样的分析可以由计算设备100来执行，或者由硬件、固件、或包括在深度传感器122中的软件来执行。
在框420中，计算设备100基于所测量的深度将输入手势赋予给深度平面。例如，如图5中所示，示图500图示了计算设备100和多个深度平面502。图5的说明性计算设备100包括带有集成触摸屏114的显示器112。显示器112限定了由轴x、y和z表示的三维坐标系统。z轴远离显示器112地垂直延伸，因此被称为显示器112的表面法线。深度平面504、506、508和510均平行于显示器112的表面并且沿着z轴定位，藉此表示一系列深度平面502，每一个深度平面逐渐远离显示器112。因为用户通常在平视地或接近平视地观看显示器112时与计算设备100交互，所以深度平面502也逐渐地更接近用户。计算设备100基于所测量的手势深度将所识别的输入手势赋予给深度平面。例如，可以将输入手势512赋予给深度平面506以及可以将输入手势514赋予给深度平面510。可以通过使输入手势的所测量深度量化，也就是说，通过使它们的深度四舍五入至最接近的深度平面，将输入手势赋予给深度平面。在一些实施例中，处于比距任何深度平面的阈值距离大的深度的输入手势可以被一起丢掉。
将各深度平面502定位成在一起足够近以允许便利的手势交互；在一些实施例中，深度平面502可以相隔仅几厘米。尽管将深度平面502图示成相等地间隔开，但是在一些实施例中深度平面502中的每一个可以距相邻深度平面任何距离。另外，深度平面502的位置和布置可以由用户配置。此外，尽管在图5中图示为具有四个深度平面502，但是在其它实施例中可以使用更少数目或更多数目的深度平面502。例如，在一些实施例中，可以使用两个深度平面502。在这样的实施例中，可以将最接近显示器112的深度平面，例如深度平面504，指定为初级虚拟触摸平面。在这样的实施例中，可以将离显示器112最远且最接近用户的深度平面，例如深度平面506，指定为次级虚拟触摸平面。此外，尽管将深度平面504图示为与显示器112的表面一致，但是在一些实施例中深度平面504可以距显示器112的表面任何距离。
参照回图4，在框422中，计算设备100基于所识别的输入手势和相关联的深度平面执行用户界面命令。例如，在框424，计算设备100可以另外基于在框408中赋予给手势的用户来执行用户界面命令。例如，计算设备100可以允许每个用户控制运行在计算设备100上的特定应用302，显示器112的特定区域，或者特定的用户界面元素。在一些实施例中，每个用户可以被指定特定深度平面，以及由该用户做出的、所指定深度平面外部的输入手势可以被计算设备100拒绝。
另外，在框426中，在一些实施例中，计算设备100可以基于所赋予的深度平面控制特定用户界面元素。也就是说，在一些实施例中，每个深度平面可以控制特定用户界面元素和/或特定组或类型的用户界面元素。例如，再参照图5，深度平面504上的输入手势可以控制应用302的用户界面元素，而深度平面506上的输入手势可以控制“覆盖”用户界面元素，诸如透明对话、控制板小工具、操作系统控件等等。在一些实施例中，诸如在绘图应用中，应用302可以采用“层式”呈现的方式来渲染用户界面元素。如果给定这样的应用302，用户可以基于用户的输入手势的深度平面选择特定层来操纵。
在其它实施例中，用户界面元素的这样的基于深度的控制可以与被体现为游戏的应用302一起使用。例如，在一些实施例中，计算设备100可以控制由深度平面选择的虚拟对象。这样的虚拟对象可以利用显示器112上的用户界面元素来表示，以及可以利用物理特性来建模。例如，在这样的游戏应用302中，用户可以基于输入手势的深度平面选择游戏世界的环境对象来控制。在一些实施例中，玩家角色可以通过基于深度的输入手势来加以控制。在具体示例中，潜水艇狩猎游戏可以使用深度平面504、506和508。最高深度平面508中的输入手势可以控制深水炸弹，中间深度平面506中的输入手势可以控制潜水艇，以及最低深度平面504中的输入手势可以控制海底交通工具。在另一具体示例中，对于实时策略游戏，在最低深度平面504处的输入手势可以控制地面单元，诸如海军陆战队和医护人员，在中间深度平面506处的输入手势可以控制远程装甲单元，诸如坦克和步兵，以及在最高深度平面508处的输入手势可以控制基于空气和空间的单元，诸如太空巡洋舰。回过来参照图4，在执行用户界面命令之后，方法400循环回到框402以继续接收传感器输入数据。
在一些实施例中，响应于特定手势执行的用户界面命令可以依赖于执行输入手势所在的特定深度平面。也就是说，相同的输入手势（例如，刷或双击手势）可以根据执行输入手势所在的特定深度平面来生成不同的用户界面命令。照样地，在一些实施例中，计算设备100可以执行如图6中所示的基于被赋予给输入手势的深度平面执行初级或次级用户界面命令的方法600。方法600在框602开始，在框602中计算设备100确定是否已经接收到用户交互。这样的确定涉及来自手势传感器120的传感器输入，确定是否已经识别出输入手势，以及在一些实施例中涉及将所标识用户赋予所识别的输入手势。这样的功能在上面针对图4的框402、404、406和408被描述过。如果尚未接收到用户交互，则方法600向回循环以继续在框602中等待用户交互。如果已经接收到用户交互，则方法600前进至框604。
在框604中，计算设备100基于从深度传感器122接收的传感器数据确定针对所识别输入手势的所赋予手势平面。上面针对图4的框418和420描述了这样的赋予。然而，在所图示的方法600中，可以将输入手势赋予给两个深度平面之一：初级虚拟触摸平面或次级虚拟触摸平面。当然，在其它实施例中，可以实现附加的深度平面。
在框606中，计算设备100确定输入手势是否被赋予给初级虚拟触摸平面。如上所述，初级虚拟触摸平面是最接近显示器112的深度平面，例如图5的深度平面504。因而，在一些实施例中，如果被赋予给初级虚拟触摸平面，则输入手势可能已经在触摸屏114自身上被执行了（例如，由触摸屏114感测的用户做出的触觉选择）。如果输入手势被赋予给初级虚拟触摸平面，则方法600分支到框608，在框608中计算设备100执行初级用户界面命令。初级用户界面命令可以对应于计算设备100的初级输入模态，例如，轻敲触摸屏114或点击计算设备100的指向设备的初级按钮。这样的初级用户界面命令当执行时可以导致计算设备100执行应用320、打开文件、激活用户界面元素、或可以使用计算设备的典型输入模态激活的任何其它功能。在框608中执行初级用户界面命令之后，方法600循环回到框602以继续等待用户交互。
回过来参照框606，如果输入手势未被赋予给初级虚拟触摸平面，则方法600前进到框610。在框610中，计算设备100确定输入手势是否被赋予给次级虚拟触摸平面。如上所述，次级虚拟触摸平面是显示器112前面且比初级虚拟触摸平面更接近用户的深度平面，例如图5的深度平面506。如果输入手势未被赋予给次级虚拟触摸平面，则方法600在不执行任何用户界面命令的情况下循环回到框602以继续等待用户交互。在这样的实施例中，例如，可能已经离触摸屏114非常远地执行了输入手势。如果所述手势被赋予给次级虚拟触摸平面，则方法600前进到框612。
在框612中，计算设备100执行次级用户界面命令。次级用户界面命令可以对应于计算设备100的次级输入模态，例如，长按触摸屏114、使用计算设备100的指向设备指向光标，或者点击计算设备100的指向设备的次级按钮。次级用户界面命令不用于初级用户界面命令，以及在一些实施例中只能通过与次级虚拟触摸平面交互来加以激活。众多的这样的次级用户界面命令是可能的。另外，在包括附加深度平面的实施例中，三个、四个、五个等等，可以将界面命令赋予给在对应深度平面上执行的相同输入手势。
次级用户界面命令可以被体现为与初级界面命令不同的任何类型用户界面命令。例如，在框614中，计算设备100可以放大显示器112上的一个或多个用户界面元素。这样的用户界面元素包括图标、按钮、图像、标签以及图形用户界面典型的类似部件。例如，计算设备100可以放大显示器112在用户的手之下的区域以及在显示器112的不同部分上显示经放大的区域，以允许与否则会被用户的手阻挡的用户界面元素交互。
在一些实施例中，在框616中，计算设备100可以选择一个或多个用户界面元素。所选择的用户界面元素可以被高亮显示或以其他方式在显示器112上被可视地区分开。例如，用户可以通过在次级虚拟触摸平面上的图标处做手势而从一组菜单图标（例如，用于移动、拷贝或删除）中进行选择或在一组菜单图标（例如，用于移动、拷贝或删除）上“滚动”，以及经由初级平面和/或触摸屏114上的输入手势从菜单选择所希望的图标。另外，在一些实施例中，在框618中，计算设备100可以激活针对一个或多个用户界面元素的次级交互模式。次级交互模式可以提供命令并且允许与用户界面元素的普通交互模式不同的操纵。这样的命令可以通过次级虚拟触摸平面上或初级虚拟触摸平面上的另外的交互而被访问。例如通过将用户界面元素渲染为“抬起”，可以在显示器112上可视地区分开具有激活的次级交互模式的用户界面元素，或者以其他方式将具有激活的次级交互模式的用户界面元素定位在其它用户界面元素前面。例如，可经由初级平面上所执行的输入手势访问的初级交互模式可以允许图标在显示器112上的当前窗口内部移动、重新布置或者重定次序。在这样的示例中，可经由次级平面上所执行的输入手势访问的次级交互模式可以允许图标移动到显示器112上的不同窗口或者移动到另一设备（未图示）。
在一些实施例中，在框620中，计算设备100可以基于输入手势向用户呈现一个或多个上下文命令。例如，计算设备100可以在输入手势的位置附近的显示器112上显示上下文命令。例如，在绘图应用302（见图3）中，计算设备100可以在手势的位置附近显示工具箱，这允许用户在不长距离地移动用户的手的情况下改变绘图模式或选择选型。 在其它实施例中，计算设备100可以基于与输入手势相关联的用户界面元件呈现一组命令。例如，计算设备100可以基于用户的手之下的显示器112上的图标来呈现上下文菜单，类似于常规鼠标的次级点击操作。
在一些实施例中，在框622中，计算设备100可以基于所测量的输入手势的深度，把值赋予给用户界面命令。这样的所赋予的值可以改变用户界面命令的操作。返回绘图应用302的示例，所赋予的值可以对应于“压力”，其允许用户通过调节显示器112与输入手势之间的距离来控制所绘制的线条的重量。
另外，在一些实施例中，在框624中，计算设备100可以基于输入手势在空间中的表示，执行用户界面命令。这样的表示可以包括输入手势的三维位置和速度向量。在这样的实施例中，在触摸体积、也就是接受用户交互的三维空间区域中来识别手势。输入手势在空间中的表示可以对应于用于在显示器112上操纵虚拟对象的表示的用户界面命令。例如，用户界面可以对物理控件的反应进行建模，所述物理控件诸如杠杆、滑块、旋转刻度盘、指轮等。对用户界面命令的反应依赖于输入手势和用户界面元素的所建模的物理属性。
在执行框612之后，方法600循环回到框602以继续等待附加的用户交互。这样，计算设备100的用户可以与计算设备100交互以便使用在不同深度平面处执行的同一输入手势来执行不同的用户界面命令。
示例
示例1包括用于基于深度的手势控制的计算设备，该计算设备包括用来限定表面法线的显示器；深度传感器，其用来产生深度传感器数据，所述深度传感器数据指示由计算设备的用户在显示器前面所执行的输入手势相对于显示器的深度；手势识别模块，其用来识别所述输入手势；深度识别模块，其用来从深度传感器接收深度传感器数据；根据深度传感器数据确定输入手势的深度；以及根据输入手势的深度将深度平面赋予给输入手势，其中，每个深度平面定位成平行于显示器并且与表面法线相交；以及用户命令模块，其用来基于输入手势和所赋予的深度平面执行用户界面命令。
示例2包括示例1的主题，以及其中赋予深度平面还包括根据输入手势相对于显示器的深度赋予多个深度平面中的深度平面。
示例3包括示例1和示例2中任何一个的主题，以及其中深度传感器包括立体深度相机。
示例4包括示例1-3中任何一个的主题，以及其中深度传感器包括结构光相机。
示例5包括示例1-4中任何一个的主题，以及其中深度传感器包括多个相机，其中多个相机中的每一个相机被瞄准成垂直于显示器的表面法线并且垂直于多个相机中的另一相机。
示例6包括示例1-5中任何一个的主题，以及进一步地其中深度传感器包括相机；接收深度传感器数据包括从相机接收图像数据；以及确定输入手势的深度包括根据在所接收图像数据中捕获的、由用户投射的阴影的位置，确定输入手势的深度。
示例7包括示例1-6中任何一个的主题，以及其中深度传感器包括接近传感器。
示例8包括示例1-7中任何一个的主题，以及其中深度传感器包括无线电接收器；深度识别模块还用来，使用无线电接收器接收由用户操纵的传送器所传送的信号；以及接收深度传感器数据包括从无线电接收器接收与所接收信号相关联的信号强度数据。
示例9包括示例1-8中任何一个的主题，以及其中基于所赋予的深度平面执行用户界面命令包括根据所赋予的深度平面选择虚拟对象；以及基于输入手势控制虚拟对象。
示例10包括示例1-9中任何一个的主题，以及其中选择虚拟对象包括根据所赋予的深度平面选择玩家角色。
示例11包括示例1-10中任何一个的主题，以及其中用户命令模块进一步地在识别输入手势之前，基于输入手势和所赋予的深度平面配置要执行的用户界面命令。
示例12包括示例1-11中任何一个的主题，以及其中执行用户界面命令包括确定所赋予的深度平面是否包括计算设备的次级虚拟触摸平面；以及响应于确定所赋予的深度平面包括次级虚拟触摸平面，来执行次级用户界面命令。
示例13包括示例1-12中任何一个的主题，以及其中次级用户界面命令只能通过次级虚拟触摸平面来被访问。
示例14包括示例1-13中任何一个的主题，以及其中执行次级用户界面命令包括放大显示器上所显示的用户界面元素。
示例15包括示例1-14中任何一个的主题，以及其中执行次级用户界面命令包括选择显示器上所显示的用户界面元素。
示例16包括示例1-15中任何一个的主题，以及其中执行次级用户界面命令包括激活针对用户界面元素的次级交互模式，其中针对用户界面元素的初级交互模式可经由显示器的触摸屏而被访问。
示例17包括示例1-16中任何一个的主题，以及其中执行次级用户界面命令包括在显示器上显示上下文命令菜单。
示例18包括示例1-17中任何一个的主题，以及其中执行次级用户界面命令包括根据输入手势的深度把值赋予给次级用户界面命令。
示例19包括示例1-18中任何一个的主题，以及其中执行次级用户界面命令包括根据输入手势将三维位置和速度赋予给次级用户界面命令。
示例20包括示例1-19中任何一个的主题，以及还包括用户识别模块，其用来标识计算设备的用户；以及把输入手势赋予给所标识用户；其中执行用户界面命令还包括根据赋予给输入手势的用户执行用户界面命令。
示例21包括示例1-20中任何一个的主题，以及其中用户识别模块还包括面部识别模块，其用来通过面部识别来标识用户。
示例22包括示例1-21中任何一个的主题，以及其中用户识别模块还包括骨骼追踪模块，其用来追踪所标识用户的骨骼模型，所述骨骼模型具有肢体；以及把输入手势赋予给所标识用户包括把输入手势赋予给所标识用户的骨骼模型的肢体。
示例23包括示例1-22中任何一个的主题，以及其中用户识别模块还包括眼睛追踪模块，其用来通过眼睛追踪来标识用户。
示例24包括示例1-23中任何一个的主题，以及其中用户识别模块还包括声音识别模块，其用来通过声音识别来标识用户。
示例25包括示例1-24中任何一个的主题，以及其中用户识别模块还进一步地配置深度平面以便被赋予给已赋予给用户的输入手势。
示例26包括用于基于深度的手势控制的方法，该方法包括在计算设备上识别由计算设备的用户在计算设备的显示器前面执行的输入手势；在计算设备上接收来自计算设备的深度传感器的深度传感器数据，所述深度传感器数据指示输入手势相对于显示器的深度；在计算设备上根据深度传感器数据确定输入手势的深度；在计算设备上，根据输入手势的深度将深度平面赋予给输入手势，其中，每个深度平面平行于显示器并且与显示器的表面法线相交；以及在计算设备上，基于输入手势和所赋予的深度平面执行用户界面命令。
示例27包括示例26的主题，以及其中赋予深度平面还包括根据输入手势相对于显示器的深度赋予多个深度平面中的深度平面。
示例28包括示例26和27中任何一个的主题，以及其中接收深度传感器数据包括从计算设备的立体深度相机接收深度传感器数据。
示例29包括示例26-28中任何一个的主题，以及其中接收深度传感器数据包括从计算设备的结构光相机接收深度传感器数据。
示例30包括示例26-29中任何一个的主题，以及其中接收深度传感器数据包括从计算设备的多个相机接收深度传感器数据，其中多个相机中的每一个相机被瞄准成垂直于显示器的表面法线并且垂直于多个相机中的另一相机。
示例31包括示例26-30中任何一个的主题，以及其中接收深度传感器数据包括从计算设备的相机接收深度传感器数据；以及确定输入手势的深度包括根据在所接收图像数据中捕获的、由用户投射的阴影的位置，确定输入手势的深度。
示例32包括示例26-31中任何一个的主题，以及其中接收深度传感器数据包括从计算设备的接近传感器接收深度传感器数据。
示例33包括示例26-32中任何一个的主题，以及还包括，在计算设备上使用计算设备的无线电接收器接收由用户操纵的传送器所传送的信号；其中接收深度传感器数据包括从无线电接收器接收与所接收信号相关联的信号强度数据。
示例34包括示例26-33中任何一个的主题，以及其中基于所赋予的深度平面执行用户界面命令包括根据所赋予的深度平面选择虚拟对象；以及基于输入手势控制虚拟对象。
示例35包括示例26-34中任何一个的主题，以及其中选择虚拟对象包括根据所赋予的深度平面选择玩家角色。
示例36包括示例26-35中任何一个的主题，以及还包括，在计算设备上，在识别输入手势之前，基于输入手势和所赋予的深度平面配置要执行的用户界面命令。
示例37包括示例26-36中任何一个的主题，以及其中执行用户界面命令包括确定所赋予的深度平面是否包括计算设备的次级虚拟触摸平面；以及响应于确定所赋予的深度平面包括次级虚拟触摸平面，来执行次级用户界面命令。
示例38包括示例26-37中任何一个的主题，以及还包括允许仅通过次级虚拟触摸平面来访问次级用户界面命令。
示例39包括示例26-38中任何一个的主题，以及其中执行次级用户界面命令包括放大在计算设备的显示器上显示的用户界面元素。
示例40包括示例26-39中任何一个的主题，以及其中执行次级用户界面命令包括选择在计算设备的显示器上显示的用户界面元素。
示例41包括示例26-40中任何一个的主题，以及其中执行次级用户界面命令包括激活针对用户界面元素的次级交互模式，其中针对用户界面元素的初级交互模式可经由显示器的触摸屏而被访问。
示例42包括示例26-41中任何一个的主题，以及其中执行次级用户界面命令包括显示上下文命令菜单。
示例43包括示例26-42中任何一个的主题，以及其中执行次级用户界面命令包括根据输入手势的深度把值赋予给次级用户界面命令。
示例44包括示例26-43中任何一个的主题，以及其中执行次级用户界面命令包括根据输入手势将三维位置和速度赋予给次级用户界面命令。
示例45包括示例26-44中任何一个的主题，以及还包括在计算设备上标识计算设备的用户；以及在计算设备上，把输入手势赋予给所标识用户；其中执行用户界面命令还包括根据赋予给输入手势的用户执行用户界面命令。
示例46包括示例26-45中任何一个的主题，以及其中标识用户包括通过面部识别标识用户。
示例47包括示例26-46中任何一个的主题，以及其中把输入手势赋予给所标识用户包括追踪所标识用户的骨骼模型，所述骨骼模型具有肢体；以及把输入手势赋予给所标识用户包括把手势赋予给所标识用户的骨骼模型的肢体。
示例48包括示例26-47中任何一个的主题，以及其中标识用户包括通过眼睛追踪标识用户。
示例49包括示例26-48中任何一个的主题，以及其中标识用户包括通过声音识别标识用户。
示例50包括示例26-49中任何一个的主题，以及还包括，在计算设备上配置深度平面以便被赋予给已赋予给用户的输入手势。
示例51包括计算设备，所述计算设备包括处理器；以及具有所存储的多条指令的存储器，所述多条指令当由处理器执行时促使计算设备执行示例26-50中任何一个的方法。
示例52包括一个或多个机器可读储存媒体，机器可读储存媒体包括存储于其上的多条指令，所述多条指令响应于被执行而导致计算设备执行示例26-50中任何一个的方法。
示例53包括用于基于深度的手势控制的计算设备，该计算设备包括用于在计算设备上识别由计算设备的用户在计算设备地显示器前面执行的输入手势的装置；用于在计算设备上接收来自计算设备的深度传感器的深度传感器数据的装置，所述深度传感器数据指示输入手势相对于显示器的深度；用于在计算设备上根据深度传感器数据确定输入手势的深度的装置；用于在计算设备上根据输入手势的深度将深度平面赋予给输入手势的装置，其中，每个深度平面平行于显示器并且与显示器的表面法线相交；以及用于在计算设备上，基于输入手势和所赋予的深度平面执行用户界面命令的装置。
示例54包括示例53的主题，以及其中用于赋予深度平面的装置还包括用于根据输入手势相对于显示器的深度赋予多个深度平面中的深度平面的装置。
示例55包括示例53和54中任何一个的主题，以及其中用于接收深度传感器数据的装置包括用于从计算设备的立体深度相机接收深度传感器数据的装置。
示例56包括示例53-55中任何一个的主题，以及其中用于接收深度传感器数据的装置包括用于从计算设备的结构光相机接收深度传感器数据的装置。
示例57包括示例53-56中任何一个的主题，以及其中用于接收深度传感器数据的装置包括用于从计算设备的多个相机接收深度传感器数据的装置，其中多个相机中的每一个相机被瞄准成垂直于显示器的表面法线并且垂直于多个相机中的另一相机。
示例58包括示例53-57中任何一个的主题，以及其中接收深度传感器数据的装置包括用于从计算设备的相机接收图像数据的装置；以及用于确定输入手势的深度的装置包括用于根据在所接收图像数据中捕获的、由用户投射的阴影的位置，确定输入手势的深度的装置。
示例59包括示例53-58中任何一个的主题，以及其中用于接收深度传感器数据的装置包括用于从计算设备的接近传感器接收深度传感器数据的装置。
示例60包括示例53-59中任何一个的主题，以及还包括，用于在计算设备上使用计算设备的无线电接收器接收由用户操纵的传送器所传送的信号的装置；其中用于接收深度传感器数据的装置包括用于从无线电接收器接收与所接收信号相关联的信号强度数据的装置。
示例61包括示例53-60中任何一个的主题，以及其中用于基于所赋予的深度平面执行用户界面命令的装置包括根据所赋予的深度平面选择虚拟对象的装置；以及用于基于输入手势控制虚拟对象的装置。
示例62包括示例53-61中任何一个的主题，以及其中用于选择虚拟对象的装置包括用于根据所赋予的深度平面选择玩家角色的装置。
示例63包括示例53-62中任何一个的主题，以及还包括，用于在计算设备上，在识别输入手势之前，基于输入手势和所赋予的深度平面配置要执行的用户界面命令的装置。
示例64包括示例53-63中任何一个的主题，以及其中用于执行用户界面命令的装置包括用于确定所赋予的深度平面是否包括计算设备的次级虚拟触摸平面的装置；以及用于响应于确定所赋予的深度平面包括次级虚拟触摸平面而执行次级用户界面命令的装置。
示例65包括示例53-64中任何一个的主题，以及还包括用于允许仅通过次级虚拟触摸平面访问次级用户界面命令的装置。
示例66包括示例53-65中任何一个的主题，以及其中用于执行次级用户界面命令的装置包括用于放大在计算设备的显示器上显示的用户界面元素的装置。
示例67包括示例53-66中任何一个的主题，以及其中用于执行次级用户界面命令的装置包括用于选择在计算设备的显示器上显示的用户界面元素的装置。
示例68包括示例53-67中任何一个的主题，以及其中用于执行次级用户界面命令的装置包括用于激活针对户界面元素的次级交互模式的装置，其中针对用户界面元素的初级交互模式可经由显示器的触摸屏而被访问。
示例69包括示例53-68中任何一个的主题，以及其中用于执行次级用户界面命令的装置包括用于显示上下文命令菜单的装置。
示例70包括示例53-69中任何一个的主题，以及其中用于执行次级用户界面命令的装置包括用于根据输入手势的深度把值赋予给次级用户界面命令的装置。
示例71包括示例53-70中任何一个的主题，以及其中用于执行次级用户界面命令的装置包括用于根据输入手势将三维位置和速度赋予给次级用户界面命令的装置。
示例72包括示例53-71中任何一个的主题，以及还包括用于在计算设备上标识计算设备的用户的装置；以及用于在计算设备上，把输入手势赋予给所标识用户的装置；其中用于执行用户界面命令的装置还包括用于根据赋予给输入手势的用户执行用户界面命令的装置。
示例73包括示例53-72中任何一个的主题，以及其中用于标识用户的装置包括用于通过面部识别标识用户的装置。
示例74包括示例53-73中任何一个的主题，以及其中用于把输入手势赋予给所标识用户的装置包括用于追踪所标识用户的骨骼模型的装置，所述骨骼模型具有肢体；以及用于把输入手势赋予给所标识用户的装置包括用于把手势赋予给所标识用户的骨骼模型的肢体的装置。
示例75包括示例53-74中任何一个的主题，以及其中用于标识用户的装置包括用于通过眼睛追踪标识用户的装置。
示例76包括示例53-75中任何一个的主题，以及其中用于标识用户的装置包括用于通过声音识别标识用户的装置。
示例77包括示例53-76中任何一个的主题，以及还包括，用于在计算设备上配置深度平面以便被赋予给已赋予给用户的输入手势的装置。

Claims (25)

1.一种用于基于深度的手势控制的计算设备，所述计算设备包括：
显示器，其用来限定表面法线；
深度传感器，其用来产生深度传感器数据，所述深度传感器数据指示由计算设备的用户在所述显示器前面所执行的输入手势相对于所述显示器的深度；
手势识别模块，其用来识别所述输入手势；
深度识别模块，其用来：
接收来自所述深度传感器的深度传感器数据；
根据所述深度传感器数据确定所述输入手势的深度；以及
根据所述输入手势的深度将深度平面赋予给所述输入手势，其中，每个深度平面定位成平行于所述显示器并且与所述表面法线相交；以及
用户命令模块，其用来基于所述输入手势和所赋予的深度平面执行用户界面命令。
2.如权利要求1所述的计算设备，其中，赋予所述深度平面还包括根据所述输入手势相对于所述显示器的深度赋予多个深度平面中的深度平面。
3.如权利要求1所述的计算设备，其中，所述深度传感器包括下面内容之一：
立体深度相机；
结构光相机；
多个相机，其中所述多个相机中的每一个相机被瞄准成垂直于所述显示器的表面法线并且垂直于所述多个相机中的另一相机；或者
接近传感器。
4.如权利要求1所述的计算设备，其中：
所述深度传感器包括相机；
接收所述深度传感器数据包括从所述相机接收图像数据；以及
确定所述输入手势的深度包括根据在所接收图像数据中捕获的、由用户投射的阴影的位置，来确定所述输入手势的深度。
5.如权利要求1所述的计算设备，其中：
所述深度传感器包括无线电接收器；
所述深度识别模块还用来，使用所述无线电接收器接收由用户操纵的传送器所传送的信号；以及
接收所述深度传感器数据包括从所述无线电接收器接收与所接收信号相关联的信号强度数据。
6.如权利要求1-5中任一项所述的计算设备，其中，基于所赋予的深度平面执行所述用户界面命令包括：
根据所赋予的深度平面选择虚拟对象；以及
基于所述输入手势控制所述虚拟对象。
7.如权利要求1-5中任一项所述的计算设备，其中，所述用户命令模块进一步地在识别所述输入手势之前，基于所述输入手势和所赋予的深度平面配置要执行的用户界面命令。
8.如权利要求1-5中任一项所述的计算设备，其中，执行所述用户界面命令包括：
确定所赋予的深度平面是否包括所述计算设备的次级虚拟触摸平面；以及
响应于确定所赋予的深度平面包括所述次级虚拟触摸平面，来执行次级用户界面命令。
9.如权利要求8所述的计算设备，其中，所述次级用户界面命令只能通过所述次级虚拟触摸平面被访问。
10.如权利要求8所述的计算设备，其中，执行所述次级用户界面命令包括下列内容之一：
放大在所述显示器上显示的用户界面元素；
选择在所述显示器上显示的用户界面元素；
激活针对所述用户界面元素的次级交互模式，其中针对用户界面元素的初级交互模式能经由所述显示器的触摸屏被访问；
在所述显示器上显示上下文命令菜单；
根据所述输入手势的深度把值赋予给所述次级用户界面命令；或者
根据所述输入手势将三维位置和速度赋予给所述次级用户界面命令。
11.如权利要求1-5中任一项所述的计算设备，还包括：用户识别模块，其用来：
标识所述计算设备的用户；以及
把所述输入手势赋予给所标识用户；
其中执行用户界面命令还包括根据赋予给输入手势的用户执行用户界面命令。
12.如权利要求11所述的计算设备，其中，所述用户识别模块还包括下列之一：
面部识别模块，其用来通过面部识别标识用户；
骨骼追踪模块，其用来追踪所标识用户的骨骼模型，所述骨骼模型具有肢体，其中把所述输入手势赋予给所标识用户包括把所述输入手势赋予给所标识用户的骨骼模型的肢体；
眼睛追踪模型，其用来通过眼睛追踪来标识用户；或者
声音识别模块，其用来通过声音识别来标识用户。
13.如权利要求11所述的计算设备，其中，所述用户识别模块还进一步地配置所述深度平面以便被赋予给已赋予给用户的输入手势。
14.一种用于基于深度的手势控制的方法，所述方法包括：
在计算设备上识别由所述计算设备的用户在所述计算设备的显示器前面执行的输入手势；
在计算设备上接收来自计算设备的深度传感器的深度传感器数据，所述深度传感器数据指示所述输入手势相对于所述显示器的深度；
在所述计算设备上根据所述深度传感器数据确定所述输入手势的深度；
在所述计算设备上，根据所述输入手势的深度将深度平面赋予给所述输入手势，其中，每个深度平面平行于所述显示器并且与所述显示器的表面法线相交；以及
在所述计算设备上，基于所述输入手势和所赋予的深度平面执行用户界面命令。
15.如权利要求14所述的方法，其中，赋予所述深度平面还包括根据所述输入手势相对于所述显示器的深度赋予多个深度平面中的深度平面。
16.如权利要求14所述的方法，其中，接收所述深度传感器包括下面内容之一：
从所述计算设备的立体深度相机接收深度传感器数据；
从所述计算设备的结构光相机接收深度传感器数据；
从所述计算设备的多个相机接收深度传感器数据，其中所述多个相机中的每一个相机被瞄准成垂直于所述显示器的表面法线并且垂直于所述多个相机中的另一相机；或者
从所述计算设备的接近传感器接收深度传感器数据。
17.如权利要求14所述的方法，
还包括，在所述计算设备上使用所述计算设备的无线电接收器接收由用户操纵的传送器所传送的信号；
其中接收所述深度传感器数据包括从所述无线电接收器接收与所接收信号相关联的信号强度数据。
18.如权利要求14所述的方法，其中，基于所赋予的深度平面执行所述用户界面命令包括：
根据所赋予的深度平面选择虚拟对象；以及
基于所述输入手势控制所述虚拟对象。
19.如权利要求14所述的方法，其中，执行所述用户界面命令包括：
确定所赋予的深度平面是否包括所述计算设备的次级虚拟触摸平面；以及
响应于确定所赋予的深度平面包括所述次级虚拟触摸平面，来执行次级用户界面命令。
20.如权利要求19所述的方法，其中，执行所述次级用户界面命令包括下列内容之一：
放大所述计算设备的显示器上所显示的用户界面元素；
选择所述计算设备的显示器上所显示的用户界面元素；
激活针对所述用户界面元素的次级交互模式，其中针对用户界面元素的初级交互模式能经由所述显示器的触摸屏访问；
显示上下文命令菜单；
根据所述输入手势的深度把值赋予给所述次级用户界面命令；或者
根据所述输入手势将三维位置和速度赋予给所述次级用户界面命令。
21.如权利要求14的方法，还包括：
在所述计算设备上标识所述计算设备的用户；以及
在所述计算设备上，把所述输入手势赋予给所标识用户；其中执行所述用户界面命令还包括根据赋予给所述输入手势的用户执行所述用户界面命令。
22.如权利要求21所述的方法，其中，标识用户包括下面内容之一：
通过面部识别标识用户；
通过眼睛追踪标识用户；或者
通过声音识别标识用户。
23.如权利要求21所述的方法，其中，把所述输入手势赋予给所标识用户包括追踪所标识用户的骨骼模型，所述骨骼模型具有肢体；以及把所述输入手势赋予给所标识用户包括把手势赋予给所标识用户的骨骼模型的肢体。
24.一种计算设备，包括：
处理器；和
具有所存储的多条指令的存储器，所述多条指令当由所述处理器执行时促使所述计算设备执行权利要求14-23中任一项所述的方法。
25.一个或多个机器可读储存媒体，其包括存储于其上的多条指令，所述多条指令响应于被执行而导致所述计算设备执行权利要求14-23中任一项所述的方法。
CN201380073033.2A 2013-03-14 2013-03-14 基于深度的用户界面手势控制 Active CN104969148B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/031367 WO2014142879A1 (en) 2013-03-14 2013-03-14 Depth-based user interface gesture control

Publications (2)

Publication Number Publication Date
CN104969148A true CN104969148A (zh) 2015-10-07
CN104969148B CN104969148B (zh) 2018-05-29

Family

ID=51534555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380073033.2A Active CN104969148B (zh) 2013-03-14 2013-03-14 基于深度的用户界面手势控制

Country Status (5)

Country Link
US (1) US9389779B2 (zh)
EP (1) EP2972669B1 (zh)
KR (2) KR101872426B1 (zh)
CN (1) CN104969148B (zh)
WO (1) WO2014142879A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106249882A (zh) * 2016-07-26 2016-12-21 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
CN106951087A (zh) * 2017-03-27 2017-07-14 联想(北京)有限公司 一种基于虚拟交互平面的交互方法及装置
CN107045384A (zh) * 2015-10-26 2017-08-15 联想（新加坡）私人有限公司 使用深度数据的姿势控制
CN107300975A (zh) * 2017-07-13 2017-10-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN107329574A (zh) * 2017-06-30 2017-11-07 联想(北京)有限公司 用于电子设备的输入方法和系统
CN108268134A (zh) * 2017-12-30 2018-07-10 广州本元信息科技有限公司 拿放商品的手势识别装置及方法
CN108431729A (zh) * 2016-01-04 2018-08-21 微软技术许可有限责任公司 用以增大显示区域的三维对象跟踪
WO2018161564A1 (zh) * 2017-03-08 2018-09-13 京东方科技集团股份有限公司 手势识别系统、方法及显示设备
CN109614953A (zh) * 2018-12-27 2019-04-12 华勤通讯技术有限公司 一种基于图像识别的控制方法、车载设备及存储介质
CN110537053A (zh) * 2016-12-05 2019-12-03 优史佩斯公司 基于深度的输入的交互式系统
CN111630413A (zh) * 2018-06-05 2020-09-04 谷歌有限责任公司 基于置信度的应用特定的用户交互
CN112714900A (zh) * 2018-10-29 2021-04-27 深圳市欢太科技有限公司 显示屏操作方法、电子设备、可读存储介质
WO2021160024A1 (en) * 2020-02-14 2021-08-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system of identifying a user selection at a display of a user device
WO2024032517A1 (zh) * 2022-08-10 2024-02-15 北京字跳网络技术有限公司 用于处理手势事件的方法、装置、设备和存储介质

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US20140309876A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Universal vehicle voice command system
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
CN104969148B (zh) * 2013-03-14 2018-05-29 英特尔公司 基于深度的用户界面手势控制
JP5790692B2 (ja) * 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10281987B1 (en) * 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
KR102101741B1 (ko) * 2013-08-16 2020-05-29 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR101500130B1 (ko) * 2013-09-02 2015-03-06 현대자동차주식회사 스티어링 휠에 설치된 차량용 제어장치
US20150091841A1 (en) * 2013-09-30 2015-04-02 Kobo Incorporated Multi-part gesture for operating an electronic personal display
US9971490B2 (en) * 2014-02-26 2018-05-15 Microsoft Technology Licensing, Llc Device control
CN104856729B (zh) * 2015-05-25 2018-07-31 无锡海斯凯尔医学技术有限公司 弹性检测设备的操作控制方法和弹性检测设备
CN105204627B (zh) * 2015-09-01 2016-07-13 济南大学 一种基于手势的数字输入方法
KR20170052976A (ko) * 2015-11-05 2017-05-15 삼성전자주식회사 모션을 수행하는 전자 장치 및 그 제어 방법
US10692126B2 (en) 2015-11-17 2020-06-23 Nio Usa, Inc. Network-based system for selling and servicing cars
US10503968B2 (en) 2016-03-22 2019-12-10 Intel Corporation Identifying a local coordinate system for gesture recognition
US10089000B2 (en) 2016-06-03 2018-10-02 Microsoft Technology Licensing, Llc Auto targeting assistance for input devices
US20180012196A1 (en) 2016-07-07 2018-01-11 NextEv USA, Inc. Vehicle maintenance manager
US9928734B2 (en) 2016-08-02 2018-03-27 Nio Usa, Inc. Vehicle-to-pedestrian communication systems
DE102016216577A1 (de) * 2016-09-01 2018-03-01 Volkswagen Aktiengesellschaft Verfahren zur Interaktion mit Bildinhalten, die auf einer Anzeigevorrichtung in einem Fahrzeug dargestellt werden
US10297085B2 (en) 2016-09-28 2019-05-21 Intel Corporation Augmented reality creations with interactive behavior and modality assignments
US10751605B2 (en) 2016-09-29 2020-08-25 Intel Corporation Toys that respond to projections
US11024160B2 (en) 2016-11-07 2021-06-01 Nio Usa, Inc. Feedback performance control and tracking
US10708547B2 (en) 2016-11-11 2020-07-07 Nio Usa, Inc. Using vehicle sensor data to monitor environmental and geologic conditions
US10694357B2 (en) 2016-11-11 2020-06-23 Nio Usa, Inc. Using vehicle sensor data to monitor pedestrian health
US10410064B2 (en) 2016-11-11 2019-09-10 Nio Usa, Inc. System for tracking and identifying vehicles and pedestrians
US10515390B2 (en) 2016-11-21 2019-12-24 Nio Usa, Inc. Method and system for data optimization
WO2018106276A1 (en) * 2016-12-05 2018-06-14 Youspace, Inc. Systems and methods for gesture-based interaction
US10437342B2 (en) 2016-12-05 2019-10-08 Youspace, Inc. Calibration systems and methods for depth-based interfaces with disparate fields of view
US10303259B2 (en) 2017-04-03 2019-05-28 Youspace, Inc. Systems and methods for gesture-based interaction
US10303417B2 (en) 2017-04-03 2019-05-28 Youspace, Inc. Interactive systems for depth-based input
US10249104B2 (en) 2016-12-06 2019-04-02 Nio Usa, Inc. Lease observation and event recording
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10074223B2 (en) 2017-01-13 2018-09-11 Nio Usa, Inc. Secured vehicle for user use only
US9984572B1 (en) 2017-01-16 2018-05-29 Nio Usa, Inc. Method and system for sharing parking space availability among autonomous vehicles
US10031521B1 (en) 2017-01-16 2018-07-24 Nio Usa, Inc. Method and system for using weather information in operation of autonomous vehicles
US10471829B2 (en) 2017-01-16 2019-11-12 Nio Usa, Inc. Self-destruct zone and autonomous vehicle navigation
US10286915B2 (en) 2017-01-17 2019-05-14 Nio Usa, Inc. Machine learning for personalized driving
US10464530B2 (en) 2017-01-17 2019-11-05 Nio Usa, Inc. Voice biometric pre-purchase enrollment for autonomous vehicles
US10897469B2 (en) 2017-02-02 2021-01-19 Nio Usa, Inc. System and method for firewalls between vehicle networks
US10234302B2 (en) 2017-06-27 2019-03-19 Nio Usa, Inc. Adaptive route and motion planning based on learned external and internal vehicle environment
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10837790B2 (en) 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle
KR102328637B1 (ko) * 2017-08-28 2021-11-18 주식회사 케이티 디스플레이 장치
US10635109B2 (en) 2017-10-17 2020-04-28 Nio Usa, Inc. Vehicle path-planner monitor and controller
US10606274B2 (en) 2017-10-30 2020-03-31 Nio Usa, Inc. Visual place recognition based self-localization for autonomous vehicles
US10935978B2 (en) 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
US10717412B2 (en) 2017-11-13 2020-07-21 Nio Usa, Inc. System and method for controlling a vehicle using secondary access methods
EP3735652A1 (en) * 2018-01-03 2020-11-11 Sony Semiconductor Solutions Corporation Gesture recognition using a mobile device
US10369966B1 (en) 2018-05-23 2019-08-06 Nio Usa, Inc. Controlling access to a vehicle using wireless access devices
CN109191593A (zh) * 2018-08-27 2019-01-11 百度在线网络技术（北京）有限公司 虚拟三维模型的运动控制方法、装置及设备
US10672136B2 (en) * 2018-08-31 2020-06-02 Snap Inc. Active image depth prediction
CN109542218B (zh) * 2018-10-19 2022-05-24 奥比中光科技集团股份有限公司 一种移动终端、人机交互系统及方法
CN111514584B (zh) * 2019-02-01 2022-07-26 北京市商汤科技开发有限公司 游戏控制方法及装置、游戏终端及存储介质
US11310433B1 (en) 2020-11-24 2022-04-19 International Business Machines Corporation User-configurable, gestural zoom facility for an imaging device
US11296942B1 (en) 2021-03-11 2022-04-05 International Business Machines Corporation Relative device placement configuration

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
WO2012052612A1 (en) * 2010-10-21 2012-04-26 Nokia Corporation Apparatus and method for user input for controlling displayed information
CN102693063A (zh) * 2011-03-23 2012-09-26 联想(北京)有限公司 操作控制方法、装置及电子设备

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US9959463B2 (en) * 2002-02-15 2018-05-01 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US8669939B2 (en) * 2006-02-08 2014-03-11 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8904312B2 (en) * 2006-11-09 2014-12-02 Navisense Method and device for touchless signing and recognition
WO2010103482A2 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
KR101071843B1 (ko) * 2009-06-12 2011-10-11 엘지전자 주식회사 이동단말기 및 그 제어방법
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US9477324B2 (en) * 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
US8396252B2 (en) * 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US20110292036A1 (en) * 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US8803888B2 (en) * 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8462997B2 (en) * 2010-09-15 2013-06-11 Microsoft Corporation User-specific attribute customization
WO2012124837A1 (en) * 2011-03-14 2012-09-20 Lg Electronics Inc. An apparatus and a method for gesture recognition
CA2868276A1 (en) * 2011-03-23 2013-09-27 Mgestyk Technologies Inc. Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
US8717318B2 (en) 2011-03-29 2014-05-06 Intel Corporation Continued virtual links between gestures and user interface elements
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US9182838B2 (en) * 2011-04-19 2015-11-10 Microsoft Technology Licensing, Llc Depth camera-based relative gesture detection
US8657683B2 (en) * 2011-05-31 2014-02-25 Microsoft Corporation Action selection gesturing
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US20130159939A1 (en) * 2011-10-12 2013-06-20 Qualcomm Incorporated Authenticated gesture recognition
KR101760804B1 (ko) 2011-11-23 2017-07-24 인텔 코포레이션 복수의 뷰, 디스플레이 및 피직스를 가진 제스쳐 입력
US9478037B2 (en) 2011-12-08 2016-10-25 Intel Corporation Techniques for efficient stereo block matching for gesture recognition
JP5902346B2 (ja) 2012-03-29 2016-04-13 インテル コーポレイション ジェスチャーを用いた３次元グラフィックスの作成
US9536135B2 (en) * 2012-06-18 2017-01-03 Microsoft Technology Licensing, Llc Dynamic hand gesture recognition using depth data
US20140009378A1 (en) * 2012-07-03 2014-01-09 Yen Hsiang Chew User Profile Based Gesture Recognition
US20140123077A1 (en) * 2012-10-29 2014-05-01 Intel Corporation System and method for user interaction and control of electronic devices
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
CN104969148B (zh) * 2013-03-14 2018-05-29 英特尔公司 基于深度的用户界面手势控制

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
WO2012052612A1 (en) * 2010-10-21 2012-04-26 Nokia Corporation Apparatus and method for user input for controlling displayed information
CN102693063A (zh) * 2011-03-23 2012-09-26 联想(北京)有限公司 操作控制方法、装置及电子设备

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045384A (zh) * 2015-10-26 2017-08-15 联想（新加坡）私人有限公司 使用深度数据的姿势控制
CN108431729B (zh) * 2016-01-04 2022-07-01 微软技术许可有限责任公司 用以增大显示区域的三维对象跟踪
US11188143B2 (en) 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area
CN108431729A (zh) * 2016-01-04 2018-08-21 微软技术许可有限责任公司 用以增大显示区域的三维对象跟踪
US11507190B2 (en) 2016-07-26 2022-11-22 Huawei Technologies Co., Ltd. Gesture control method applied to VR device, and apparatus
CN106249882A (zh) * 2016-07-26 2016-12-21 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
CN110537053A (zh) * 2016-12-05 2019-12-03 优史佩斯公司 基于深度的输入的交互式系统
WO2018161564A1 (zh) * 2017-03-08 2018-09-13 京东方科技集团股份有限公司 手势识别系统、方法及显示设备
CN106951087B (zh) * 2017-03-27 2020-02-21 联想(北京)有限公司 一种基于虚拟交互平面的交互方法及装置
CN106951087A (zh) * 2017-03-27 2017-07-14 联想(北京)有限公司 一种基于虚拟交互平面的交互方法及装置
CN107329574A (zh) * 2017-06-30 2017-11-07 联想(北京)有限公司 用于电子设备的输入方法和系统
CN107300975A (zh) * 2017-07-13 2017-10-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN108268134A (zh) * 2017-12-30 2018-07-10 广州本元信息科技有限公司 拿放商品的手势识别装置及方法
CN108268134B (zh) * 2017-12-30 2021-06-15 广州正峰电子科技有限公司 拿放商品的手势识别装置及方法
CN111630413A (zh) * 2018-06-05 2020-09-04 谷歌有限责任公司 基于置信度的应用特定的用户交互
CN111630413B (zh) * 2018-06-05 2024-04-16 谷歌有限责任公司 基于置信度的应用特定的用户交互
CN112714900A (zh) * 2018-10-29 2021-04-27 深圳市欢太科技有限公司 显示屏操作方法、电子设备、可读存储介质
CN109614953A (zh) * 2018-12-27 2019-04-12 华勤通讯技术有限公司 一种基于图像识别的控制方法、车载设备及存储介质
WO2021160024A1 (en) * 2020-02-14 2021-08-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system of identifying a user selection at a display of a user device
WO2024032517A1 (zh) * 2022-08-10 2024-02-15 北京字跳网络技术有限公司 用于处理手势事件的方法、装置、设备和存储介质

Also Published As

Publication number Publication date
US9389779B2 (en) 2016-07-12
EP2972669A1 (en) 2016-01-20
KR20150103240A (ko) 2015-09-09
US20140282278A1 (en) 2014-09-18
KR101872426B1 (ko) 2018-06-28
KR20170109695A (ko) 2017-09-29
EP2972669B1 (en) 2019-07-24
EP2972669A4 (en) 2016-12-21
WO2014142879A1 (en) 2014-09-18
CN104969148B (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
CN104969148A (zh) 基于深度的用户界面手势控制
US11392212B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
CN110476142B (zh) 显示虚拟内容的计算设备、方法和头戴式显示器设备
US20200097071A1 (en) Interaction Engine for Creating a Realistic Experience in Virtual Reality/Augmented Reality Environments
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
US10444908B2 (en) Virtual touchpads for wearable and portable devices
US9658695B2 (en) Systems and methods for alternative control of touch-based devices
KR101890459B1 (ko) 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템
CN108027657A (zh) 增强和/或虚拟现实环境中的场境敏感用户界面激活
CN106605202A (zh) 根据触摸输入的偏手性检测
CN102934060A (zh) 虚拟触摸接口
US20130176202A1 (en) Menu selection using tangible interaction with mobile devices
JP2013037675A5 (zh)
CN107469354A (zh) 补偿声音信息的视觉方法及装置、存储介质、电子设备
WO2012032515A1 (en) Device and method for controlling the behavior of virtual objects on a display
US20140022171A1 (en) System and method for controlling an external system using a remote device with a depth sensor
CN107451439B (zh) 用于计算设备的多功能按钮
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
CN106598422B (zh) 混合操控方法及操控系统和电子设备
US20220019288A1 (en) Information processing apparatus, information processing method, and program
CN106569716A (zh) 单手操控方法及操控系统
CN103558913A (zh) 一种具有振动反馈的虚拟输入手套键盘
CN117130518A (zh) 控件显示方法、头显设备、电子设备及可读存储介质
US20140152628A1 (en) Computer input device for hand-held devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant