CN102929388B

CN102929388B - 全空间姿势输入

Info

Publication number: CN102929388B
Application number: CN201210367249.7A
Authority: CN
Inventors: E·霍维茨; K·P·欣克利; H·本克; D·S·谭
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2011-09-30
Filing date: 2012-09-28
Publication date: 2017-12-26
Anticipated expiration: 2032-09-28
Also published as: KR101981822B1; CN102929388A; US9423876B2; EP2761402A1; JP6046729B2; KR20140082760A; JP2014531688A; EP2761402A4; US20130082978A1; WO2013049753A1

Abstract

本发明涉及全空间姿势输入。本发明的各实施例涉及用于检测诸如手持式设备等设备的延伸交互空间中的用户输入的系统、方法以及计算机存储介质。该方法和系统允许利用该设备的第一传感器在该设备的正z轴空间中进行感测来检测第一输入，如用户的非设备接触姿势。该方法和系统还构想了利用该设备的第二传感器来对该设备的负z轴空间进行感测以检测第二输入。另外，该方法和系统构想了响应于第一传感器检测到正z轴空间中的第一输入以及第二传感器检测到负z轴空间中的第二输入，更新在显示器上呈现的用户界面。

Description

全空间姿势输入

技术领域

本发明涉及用户与设备的交互，尤其涉及用于检测在设备周围的空间中的用户姿势。

背景技术

传统上，用户在有限的空间体中（通常在该设备的显示表面上）与手持式设备进行交互。例如，具有触敏显示器的智能电话允许用户在紧靠显示屏的空间体中与该设备和用户界面进行交互。将用户交互限制在用户界面与用户之间的近乎平面的区域中限制了用户可用的交互的类型并且可引入使用性问题，如遮挡了用户界面。另外，将用户交互的区域限制到相对二维的范围阻止了用户以自然和直观的方式来操纵用户界面中呈现的对象。

发明内容

本发明的各实施例涉及用于检测在设备周围的空间中的用户姿势的系统、方法以及计算机存储介质。具体而言，各方面可包括使用第一传感器来检测在手持式设备前方的用户姿势，并还使用第二传感器来检测在该手持式设备后方的用户姿势。作为检测到姿势（可以是非设备接触姿势）的结果，可更新用户界面以反映基于这些姿势的输入。

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

以下将参考所附附图详细描述本发明的各说明性实施例，附图通过引用结合于此，并且其中：

图1描绘了适于实现本发明的各实施例的示例性计算系统；

图2描绘了根据本发明的各实施例的示例性设备，该设备能够感测相对于该设备的正z轴空间和负z轴空间两者中的输入；

图3描绘了根据本发明的各实施例的设备的前视图；

图4描绘了根据本发明的各实施例的参考图2讨论的设备的后视图；

图5描绘了根据本发明的各实施例的设备的侧面轮廓；

图6-10描绘了根据本发明的各实施例的设备的各种使用中定向；

图11示出了根据本发明的各实施例的描绘用于检测在设备的正z轴空间和负z轴空间两者中的用户输入的方法的框图；以及

图12示出了根据本发明的各实施例的描绘用于检测在设备的正z轴空间和负z轴空间两者中的用户输入的附加方法的框图。

具体实施方式

此处用细节来描述本发明的各实施例的主题以满足法定要求。然而，该描述本身并非旨在限制本专利的范围。相反，发明人设想所要求保护的主题还可结合其他当前或未来技术按照其他方式来具体化，以包括不同的步骤或类似于本文中所描述的步骤的步骤组合。

本发明的各实施例涉及用于检测在物理设备的以外的空间中的用户姿势的系统、方法以及计算机存储介质，该空间包括该设备周围的但不一定接触该设备的区域。例如，各方面可包括使用第一传感器来检测在手持式设备前方的用户姿势，并还使用第二传感器来检测在该手持式设备后方的用户姿势。作为检测到姿势（可以是非设备接触姿势）的结果，可更新用户界面以反映基于这些姿势的输入。

因此，在一个方面，本发明提供一种在利用处理器和存储器的计算环境中的用于检测设备的正z轴空间和负z轴空间两者中的用户输入的方法。该方法包括利用该设备的第一传感器来对该设备的正z轴空间进行感测以检测第一输入。该第一输入是非设备接触姿势。该方法还包括利用该设备的第二传感器来对该设备的负z轴空间进行感测以检测第二输入。此外，该方法包括响应于第一传感器检测到正z轴空间中的第一输入以及第二传感器检测到负z轴空间中的第二输入，更新在显示器上呈现的用户界面。

在另一方面，本发明提供一种设备，用于检测该设备的正z轴空间和负z轴空间两者中的用户输入。该设备包括具有正面和相对的背面的设备本体。正面朝正z轴空间定向，且背面朝负z轴空间定向。该设备还包括与设备本体相耦合的用于感测该设备的正z轴空间中的非设备接触用户姿势的第一传感器。耦合该传感器可包括将该传感器集成到该设备的一个或多个部分中（例如，显示器）。该设备还包括与设备本体相耦合的用于感测该设备的负z轴空间中的非设备接触用户姿势的第二传感器。另外，该设备包括与设备本体相耦合的用于处理来自感测该设备的正z轴空间中的非设备接触用户姿势的第一传感器的第一输入和来自感测该设备的负z轴空间中的非设备接触用户姿势的第二传感器的第二输入的处理器。该处理器可间接与本体相耦合，使得通过被集成到该设备的电路板或其他组件中，该处理器有效地与设备本体相耦合。

本发明的第三方面提供其上具有计算机可执行指令的计算机存储介质，该计算机可执行指令在由具有处理器和存储器的计算系统执行时，使得该计算系统执行一种方法。该方法包括利用第一基于光学的传感器来检测设备的正z轴空间中的非设备接触用户姿势。该方法还包括利用第二基于光学的传感器来检测设备的负z轴空间中的非设备接触用户姿势。该方法又包括使用处理器来确定使用第一传感器检测到的在正z轴空间中的非设备接触用户姿势和使用第二传感器检测到的在负z轴空间中的非设备接触用户姿势是第一输入。该方法还包括响应于确定正z轴空间和负z轴空间中的非设备接触姿势是第一输入来调整显示器上的用户界面。

从而，本发明的各方面构想了检测在设备周围的空间体中的用户交互（例如，非接触姿势）。例如，从设备向外延伸的球形区域可以定义用户可在其中与该设备进行交互（但还是在该设备之外进行交互）的空间。如将在下文讨论的，设备周围的空间可被至少部分地定义为从一个点（如设备之内/之上的点）开始在正和负两个方向上延伸。如此，本文提供的一些方面涉及对正空间和负空间（例如，正z轴空间和负z轴空间）中的交互进行感测，这涵盖了检测在设备周围的空间体中与该备的交互的概念。

在简要描述了本发明的各实施例的概览后，以下描述适于实现本发明的各实施例的示例性操作环境。

大体上参考附图，并且首先具体参考图1，示出了适用于实现本发明的各实施例的示例性操作环境，并将其概括指定为计算设备100。计算设备100只是合适的计算环境的一个示例，并且不旨在对本发明的使用范围或功能提出任何限制。也不应将计算设备100解释为对所示出的任一模块/组件或其组合有任何依赖性或要求。

各实施例可以在计算机代码或机器可使用指令的一般上下文中描述，包括由计算机或诸如个人数据助理或其他手持式设备等其他机器执行的诸如程序模块等的计算机可执行指令。一般而言，包括例程、程序、对象、模块、数据结构等的程序模块指的是执行特定任务或实现特定抽象数据类型的代码。各实施例可以在各种系统配置中实施，包括手持式设备、消费电子产品、通用计算机、专用计算设备等等。各实施例还能在其中任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实现。

继续参考图1，计算设备100包括直接或间接耦合以下设备的总线110：存储器112、一个或多个处理器114、一个或多个呈现模块116、输入/输出（I/O）端口118、I/O模块120、和说明性电源122。总线110可以是一条或多条总线（诸如地址总线、数据总线、或其组合）。尽管为了清楚起见图1的各框用线条示出，但是在实际上，各模块的轮廓并不是那样清楚，并且比喻性地来说，线条更精确地将是灰色的和模糊的。例如，可以将诸如显示设备等的呈现模块认为是I/O模块。而且，处理器具有存储器。发明人此点认识到，这是本领域的特性，并且重申，图1的图示只是例示可结合一个或多个实施例来使用的示例性计算设备。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别，它们全部都被认为是在图1的范围之内的并且被称为“计算机”或“计算设备”。

计算设备100通常包括各种计算机可读介质。作为示例而非限制，计算机可读介质可以包括随机存取存储器（RAM）；只读存储器（ROM）；电可擦除可编程只读存储器（EEPROM）；闪存或其他存储器技术；CDROM、数字多功能盘（DVD）或其他光或全息介质；磁带盒、磁带、磁盘存储或其他磁存储设备；或可用于对所需信息进行编码并且可由计算设备100访问的任何其他介质。

存储器112包括易失性和/或非易失性存储器形式的非暂态计算机存储介质。存储器可以是可移动的，不可移动的，或两者的组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等等。计算设备100包括从诸如存储器112或I/O模块120之类的各种实体读取数据的一个或多个处理器。呈现模块116向用户或其他设备呈现数据指示。示例性呈现模块包括显示设备、扬声器、打印模块、振动模块等等。I/O端口118可允许计算设备100在逻辑上耦合到包括I/O模块120在内的其他设备，其中一些可以是内置的。说明性模块包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、打印机、无线设备等等。

图2描绘了根据本发明的各实施例的设备200，该设备能够感测该设备的周围的在正z轴空间和负z轴空间两者中的输入。在一示例性实施例中，设备200是手持式设备，如移动电话、控制器、游戏设备、和/或其他电子设备。例如，构想了设备200是能够至少部分地利用无线通信网络（例如，Wi-Fi、CDMA、GSM、PCS以及UMTS）进行通信的移动通信设备。另外，构想了在一示例性实施例中，设备200是一个或多个附加计算设备（例如，视频游戏控制台、个人计算机、机顶盒、另一手持式设备）的输入设备。因此，设备200可以是能利用正z轴空间和负z轴空间两者中的可检测输入的任何计算设备（如以上参考图1讨论的设备）。

图2的设备200描绘了可用于定义相对于设备200的空间体的示例性笛卡尔轴。具体而言，x轴208、y轴210和z轴202是相对于设备200来描绘的。然而，如本文将讨论的，构想了轴（例如，z轴）可被定位在相对于设备的任何位置和任何定向上，以允许检测该设备周围的任何空间中的姿势。因此，构想了姿势输入可在任何（以及全部）平面的360度中进行检测，从而得到关于该设备的全空间姿势检测。设备200，如在图2中描绘的，具有垂直侧218，它基本上与y轴210平行。设备200，如在图2中描绘的，具有水平顶部216，它基本上与x轴208平行。设备200还包括正表面212和背表面214。在一示例性实施例中，正表面212是用于访问用户界面（“UI”）的表面，如显示器。另外，正表面212可包括一个或多个按钮（作为触摸激活的显示来与UI合并在一起和/或作为独立于显示的物理按钮）。此外，构想了正表面212可包括一个或多个音频输出组件（例如，扬声器）和/或一个或多个音频输入组件（例如，话筒）。

图2描绘了设备200具有正z轴204和负z轴206。正z轴在设备200的正表面212一侧上从原点201开始垂直于由x轴208和y轴210所限定的平面延伸。相反，负z轴在设备200的背表面214一侧上从原点201开始垂直于由x轴208和y轴210所限定的平面延伸。从由x轴208和y轴210所限定的平面在正z轴204方向上向外延伸的空间体在本文中被称为正z轴空间。类似地，从由x轴208和y轴210所限定的平面在负z轴206方向上向外延伸的空间体在本文中被称为负z轴空间。结果，空间体（如球形区域）可从该设备向外延伸，以限定用户可在其中与该设备进行交互（例如，使用非接触姿势和/或使用接触姿势）的区域。

一般而言，z轴可被定向在相对于设备200的任何定向和任何位置处。例如，与从正表面212延伸相对的，正z轴空间可改为从侧面218或顶部216延伸。为了便于下文的一致讨论，将维持在图2中描绘的各轴的通用定向。然而，应当理解，各轴的定向被构想在相对于设备（例如，设备200）的各个位置和定向上，并且因此适用于本发明的各实施例。结果，尽管本文使用了术语z轴，但应当理解，z轴可表示该设备的任何轴并且因此构想了检测该设备的第一侧上的和该设备的第二侧上的姿势以最终检测该设备的任何延伸交互空间中的姿势，这独立于相对于该设备的特定方向。

图3描绘了根据本发明的各实施例的设备300的前视图。设备300可类似于以上讨论的图2的设备200。设备300可包括顶边302、左侧304、右侧306、以及底边308。尽管设备300被描绘成基本上是矩形几何形状，应当理解，可以实现任何几何形状。例如，设备300可包括用于改进的人因素、感觉、可销售性等一个或多个有机几何形状。例如，与游戏计算机控制台通信的游戏控制器可具有与至少部分基于该设备的预期计划使用场景（例如，便携性、存储、用户的主要联系）的智能电话不同的几何形状。

设备300还包括显示器310。显示器310可以显示UI的一个或多个元素。例如，在智能电话示例中，UI可包括由智能电话的操作系统所生成的一个或多个图形元素。另外，构想了显示器310是触摸响应屏幕。例如，显示器310可包括用于记录用户的触摸（或诸如指示笔等其他输入设备）的一个或多个基于触摸的输入检测机制。各示例可包括利用电容触摸屏、电阻触摸屏等来检测用户在屏幕上提供的输入。在一附加示例性实施例中，显示器310可仅呈现一个或多个信息部分而没有附加功能责任。

在本发明的一示例性实施例中，构想了显示器310能用于至少部分地检测设备300的正z轴空间（或负z轴空间）中的一个或多个用户姿势。例如，显示器310可以利用各种技术来检测非接触用户姿势。示例性技术可包括将呈现给显示表面的图像（例如，用户的悬停在正z轴空间中的手）转移到显示器的一个或多个边的受控折射光学输入机制。在一示例性实施例中，这一概念可利用华盛顿州雷蒙德市的微软公司所部署的“The Wedge”来达到。然而，也构想了附加技术（例如，对非触摸姿势敏感的电容屏）。

设备300还包括一个或多个姿势传感器。姿势传感器是至少部分能够检测作为用户输入的姿势的感测组件。在图3的设备300的正表面上示出了四个姿势传感器。然而，应当理解，可以实现任何数量——包括一个也没有。例如，姿势传感器可被包括在现有组件中（例如，显示器310、音频输入设备、以及音频输出设备、设备300本体）。姿势传感器312、314、316以及318被示为位于设备300的外围边缘附近。然而，应当理解，姿势传感器可以位于设备300的任何位置处。在一示例性实施例中，单个姿势传感器可被包括在设备300中以检测在正z轴空间中的用户姿势。在该示例中，构想了姿势传感器是光学设备，如相机。例如，能够捕捉静止照片和视频的相机（这对移动通信设备而言是常规的）也可适用于捕捉用户姿势。

另外，构想了姿势传感器可捕捉深度信息的一个或多个部分。例如，深度相机（例如，结合可从华盛顿州雷蒙德市的微软公司获得的Kinect使用的相机）可被用来检测作为计划输入的用户姿势。此外，构想了姿势传感器可利用现有感测技术（例如，该设备内置的相机）。例如，构想了一个或多个波导可被置于该设备内，以便按捕捉所需空间（例如，从该设备在正轴和/或负轴方向上向外延伸的半球体）的模式来分发能够被相机捕捉的“各像素”。因为一个或多个技术可延伸在相机的计划范围之外捕捉的区域，构想了可以使用对像素的时分多路复用来提供所需分辨率。

因此，姿势传感器可以是基于光学的技术（例如，相机）、基于电容的技术、基于电阻的技术、基于热力的技术、基于超声的技术、基于压力的技术等等。这些技术（以及类似技术）的各种组合可被组合实现。例如，构想了邻近度感测技术（例如电容）可被用于z轴的第一方向上的姿势，而第二技术（例如光学）可被用于z轴的第二方向。此外，构想了各种感测技术可被用于共同的z轴空间（例如，正、负）来检测作为计划输入的姿势。

图4描绘了根据本发明的各实施例的设备300的后视图。负z轴空间可被示为图4的后视图的结果。在图4中示出了多个姿势传感器。例如，示出了姿势传感器402、404、406、408以及410。如先前参考图3讨论的，姿势传感器的数量、位置、以及定向在本质上仅仅是示例性地提供的并且不是限制性的。因此，构想了姿势传感器可以在适于感测设备300的负z轴空间中的姿势的任何位置处与设备300相耦合。例如，姿势传感器可远程地与设备300相耦合，如另一设备的独立传感器（例如，远程相机、远程传感器）。另外，如参考图3讨论的，构想了可以利用任何组合的任何类型的姿势传感器。此外，尽管图3和4的姿势传感器被示为相机类传感器，但构想了姿势传感器可以是任何大小、形状和外观，因此，姿势传感器甚至可以不是能在视觉上标识的分立组件，而是改为集成到设备的一个或多个组件（例如，现有组件、设备本体）中。

姿势传感器的位置可依赖于预测的用户模式。例如，如果预测用户要用右手在该设备的正和负z轴空间中执行大多数姿势，则姿势传感器可被定位在便于检测朝向该设备的靠近该姿势的一边的姿势活动的位置。然而，在确定姿势传感器在设备上的潜在位置时，也可考虑设备的定向（例如，纵向、横向）。

姿势传感器可包括能够检测非接触姿势、接触姿势的传感器以及能够检测该设备的内部姿态/定向的传感器。例如，非接触姿势传感器可包括利用适合的透镜的相机。在一示例性方面，适合的透镜可提供分布角观察点，如鱼眼透镜。

可以实现的附加感测技术至少部分包括邻近度红外传感器，它可例如沿该设备的边缘来定位，（邻近度IR感测技术在美国专利申请11/948,802中进一步讨论，其整体通过引用结合于此）。可以实现的附加感测技术至少部分包括光导或光楔，如下文更详细地讨论的。此外，构想了可以实现能够检测非接触姿势的电容传感器。另外，在各实施例中，构想了使用设备的一个或多个组件（例如，扬声器、话筒）来感测人耳听不到的声音也可提供邻近度感测。

图5描绘了根据本发明的各实施例的设备500的侧面轮廓。设备500包括顶部502、底部504、正面506、以及背面508。在使用中，用户通常与正面506进行交互以查看设备500的显示器。正面506可以定义与正面510一致并与其平行的正面平面510。说明性z轴与正面平面510相交的点提供基准原点，该点定义正z轴512和负z轴514彼此分开的位置。例如，在该示例中，正z轴空间在不穿过背面508的情况下延伸离开设备500。构想了原点并且因此正和负z轴彼此分开的点可以定位在沿z轴的任何点处。

在本发明的一示例性实施例中，设备500包括能感测正z轴空间中的姿势的第一姿势传感器。另外，在本发明的一示例性实施例中，设备500包括能感测负z轴空间中的姿势的第二姿势传感器。在一附加示例性实施例中，第一姿势传感器不能检测负z轴空间中的姿势。类似地，在一示例性实施例中，第二姿势传感器不能检测正z轴空间中的姿势。换言之，在该示例性实施例中，第一姿势传感器和第二姿势传感器必须结合使用来检测正z轴和负z轴空间两者中的姿势。

图6描绘了根据本发明的各实施例的处于使用中定向600的设备601。图6描绘了用户使用第一只手608（例如，右手）和第二只手610（例如，左手）操纵设备601。第一只手608被示为绕设备601的y轴604旋转。例如，旋转方向指示符624被描绘成示出由第一只手608执行的绕y轴604的旋转移动。还示出了水平地跨设备601的显示器606的、与y轴604垂直的x轴602。

第一只手608包括食指612和大拇指614。第二只手包括食指618和大拇指616。如在图6的示例性定向中所示，第二只手610使用食指618沿第一侧在第一点622处接触设备601，并且用大拇指616在第二点620处接触设备601。如将在下文讨论的，设备601可包括用于检测的接触位置以帮助确定计划姿势、设备601的定向、和/或预期姿势类型的一个或多个接触传感器（或任何类型的传感器）。第一只手608位于设备601上方，食指612和大拇指614彼此分开并可用于以扭动类姿势绕y轴604旋转。

第一只手608绕y轴604旋转使得手的各部分（例如，食指612、大拇指614）从正z轴空间转移到负z轴空间（且反之亦然）。例如，第一只手608可以执行类似于拧紧瓶盖使得“盖”的中心大约处于y轴的姿势。为完成这一姿势，食指612和大拇指614在正z轴空间和负z轴空间中“抓住”瓶盖，并开始旋转姿势以模拟食指/大拇指组合在抓住物理瓶盖的情况下将行进的路径。

或者，构想了第一只手608可以保持基本上静止，而第二只手610绕y轴604旋转设备601。尽管一个或多个姿势传感器不能识别出设备601移动还是第一只手608移动之间的差异，但其他感测技术可帮助进行区分。例如，设备601可包括能够检测是设备601移动还是第一只手608移动来生成旋转移动的出现的一个或多个加速度计。另外，姿势传感器本身（与处理器相结合）也可确定设备601还是第一只手608是移动的实体。例如，如果姿势传感器是光学传感器，则可做出以下推断：如果在检测到姿势时背景场景保持基本上一致，则它可指示第一只手608在移动。或者，如果背景场景在运动上显得基本与检测到的运动相类似，则它可指示设备601在被操纵。

构想了任一只手可被用来把持设备601，而另一只手可被用来提供一个或多个姿势。类似地，使用所示示例性配置构想了附加姿势。例如，食指612和大拇指614可以执行合并正和负z轴两者（例如，设备601的正面和背面两者）中的空间的捏住类姿势（例如，减少食指612与大拇指614之间的距离）。

如前所述，设备601可包括一个或多个附加传感器。例如，感测技术可被用来检测接触输入。接触姿势是造成与设备和输入机制（例如，指示笔、手指）的物理接触的姿势。非设备接触姿势是不与接收该输入/姿势的设备物理地接触的姿势。例如，非设备接触姿势可由用户例如在距设备表面1mm或更远的距离处执行。构想了其他距离（更大或更小）处于非设备接触姿势的定义内。可以使用的附加传感器可包括加速度计、磁力计、陀螺仪传感器、全球定位系统（例如，GPS）、电磁传感器等。

返回利用第三传感器来检测接触输入的示例性方面。第三传感器可以是上述任何类型的传感器。例如，电容触摸传感器可被集成到设备的一个或多个部分中以便可以确定接触位置。因此，在用户接触设备以把持该设备（或提供输入）时，该设备能够确定已经提供了接触姿势以及该姿势是在何处提供的。

例如，构想了一个或多个传感器可沿设备的周界（或各侧）（例如，近似图6的点622和620）与设备相耦合。接触传感器随后标识该设备在与一个或多个传感器对应的这些位置处被接触。因此，可作出用户相对于该设备如何定向的推断。例如，当在点622和620两者处记录了接触时，作出左手正抓住设备601的确定，因为相对于同一只手的另一手指在一侧接触该设备的位置而言，大拇指通常沿相对侧在更低点处接触设备601。另外，构想了可引入学习算法来学习特定用户随时间如何与设备的交互。此外，构想了还可单独地或组合利用一个或多个附加传感器（例如，加速度计、深度相机、相机），以标识用户把持/操纵设备的特定方式。

因此，在一示例性实施例中，在姿势传感器与一个或多个接触传感器（以及设备的一个或多个附加传感器，如内部姿态/定向传感器）相组合时，该设备能够推断检测到的非设备接触姿势何时是计划输入。例如，接触传感器可以是用于激活以下推断的模态选择机制：姿势传感器检测到的姿势是计划输入而不仅仅是检测到的噪声。类似地，在一示例性实施例中，该设备能用于基于该设备的姿势传感器（例如，能检测非设备接触姿势的传感器）和/或附加传感器所感知的信息来推断接触输入何时是计划输入。在实践中，该设备在作出关于输入/姿势的意图的判定时利用一个或多个处理器。

图7描绘了根据本发明的各实施例的处于使用中定向700的设备701。图7描绘了用户使用第一只手708（例如，右手）和第二只手710（例如，左手）操纵设备701。第一只手708被示为绕设备701的x轴702旋转。例如，旋转方向指示符724被描绘成示出由第一只手708执行的绕x轴702的旋转移动。还示出了垂直地跨设备701的显示器706的、与x轴702垂直的y轴704。

第一只手708包括正执行绕x轴702旋转的非设备接触姿势的大拇指714和手指712。第一只手708（及其大拇指714和手指712）的旋转跨过正z轴空间（例如，设备的正面）和负z轴空间（例如，设备的背面）两者。因此，可捕捉跨设备正面的传统交互空间以及该设备背后的空间两者的三维姿势，这向用户提供了以先前不可用的方式来与设备进行交互的能力。

在该示例中，第二只手710接触设备701，使得大拇指716在点720处接触设备701。另外，手指718在点722处接触设备701。在一示例性方面，设备701包括能检测点720处的接触的传感器和能检测点718处的接触的传感器。如上所述，对这些点处的接触的检测可被用于推断第二只手710正把持设备701并且第一只手708可用于提供一个或多个非设备接触姿势。因此，设备701可推断检测到的姿势（例如，一般由手708作出的姿势）是用于操纵设备701的一个或多个方面（例如，显示器706上呈现的UI）的计划输入。

构想了设备701、第一只手708、第二只手710和/或其他成员（例如，指示笔、指针）的附加定向。此外，构想了附加传感器、传感器的位置、感测技术、以及以上各项的组合处于本发明的范围内。

如上所述，本发明的一方面构想了以任何组合来利用非接触传感器（例如，深度相机、可见光相机、IR相机、电容、超声等）、接触传感器、和/或设备姿态/定向传感器（例如，加速度计、磁力计、陀螺仪、GPS、电磁传感器等）以标识设备和/或用户的定向、姿势、和/或意图。例如，接触传感器、非接触传感器、以及内部姿态/定向传感器可标识用户的哪一只手在把持该设备、设备是否在移动、用户是否在提供姿势等等。

图8描绘了根据本发明的各实施例的处于使用中定向800的设备801。图8描绘了用户使用第一只手810（例如，右手）和第二只手812（例如，左手）操纵设备801。此外，x轴被示为水平地跨设备801。z轴被示为垂直于x轴802垂直延伸。一般而言，图8中描绘的用户正在正z轴空间806和负z轴空间808两者中提供各种姿势。各姿势包括第一只手810和第二只手812的在正和负z轴空间内移动的一个或多个部分。然而，构想了一只手的在正z轴空间和负z轴空间中的每一个中的一个部分只执行一个非设备接触姿势。但是，本发明的各实施例构想了在相对于设备801的各个位置处发生的各种姿势。

第一只手810被定位成使得大拇指814位于正z轴空间中且手指816位于负z轴空间中。类似地，第二只手812的大拇指820位于正z轴空间806中且第二只手812的手指822位于设备801的负z轴空间808中。此外，在该示例中，第一手掌部分818在位置826处接触设备801。第二手掌部分824也接触设备801；然而，第二手掌部分824在设备801上的位置828处接触设备801。在该示例中，在设备801检测到大约在位置826和828处的接触时，大拇指814和820以及手指816和822的姿势被推断为计划输入。应当理解，位置826和828在本质上是示例性的，并且附加接触区域可被用来提供一个或多个非设备接触姿势是计划姿势的推断。

继续图8中描绘的示例性使用中定向，用户可在正z轴空间806和负z轴空间808中的一个或两者中以非设备接触姿势来操纵一只或多只手的一个或多个部分。例如，构想了大拇指814和手指816可在共同的时间在共同的方向上移动。相反，构想了大拇指814和手指816可在共同的时间在不同的方向上移动。例如，构想了大拇指814可朝设备801（即向下）移动而手指816同时在相对方向上（即向上）也朝设备801移动。另一示例可包括手指816在基本上与z轴804平行的方向上移动，而大拇指814在基本上与由设备801的显示表面803所限定的平面平行的平面中移动。又一示例包括捏住大拇指814和手指816之间的虚拟对象，意图将该虚拟对象在x、y和/或z轴方向上移动，使得虚拟对象的一部分感觉处于负z轴空间中而该虚拟对象的另一部分感觉处于正z轴空间中。构想了手的任何部分可在任何时间在任何方向上在正和/或负z轴空间中的任何部分中移动。

类似于第一只手810，第二只手812可在任何时间以任何组合来操纵正和/或负z轴空间的任何部分。此外，构想了第一只手810和第二只手812联合工作。例如，被用户感觉是负z轴空间和正z轴空间两者的一部分的虚拟对象可被第一只手810和/或第二只手812的各部分捏住、伸展、压缩、抓住、或以其他方式操纵。

在一示例性实施例中，构想了显示器803能提供可由用户感觉为三维UI的UI。例如，显示器可伴有被定位在显示器803和用户的眼睛之间的一个或多个透镜。如本领域已知的，显示器和透镜的组合可以提供三维观点。构想了用于提供三维视觉体验（例如，全息图、免眼镜三维显示器、具有适用视觉输出以供三维观看的The Wedge）的其他技术。

如上所述，附加传感器可结合在正z轴空间806中进行感测的至少第一姿势传感器和在负z轴空间808中进行感测的至少第二姿势传感器来使用。例如，一个或多个接触传感器与设备801相耦合以检测在一个或多个位置（例如，位置826、位置828、以及显示器803）处的接触。可被用来检测非设备接触姿势和/或帮助确定检测到的姿势的意图的附加传感器可包括视频相机、静止相机、加速度计等。

此外，尽管图8描绘了设备801以纵向定向被定位在第一只手810和第二只手812之间，构想了设备801可处于任何替换定向上（例如，横向）。

图9描绘了根据本发明的各实施例的处于使用中侧面轮廓定向900的设备901。图9描绘了用户使用第一只手910（例如，右手）和第二只手912（例如，左手）操纵设备901。图9还描绘了垂直于z轴904的x轴902。z轴904定义从x轴在所示定向中向上延伸离开设备901的正z轴空间906。类似地，z轴904能用来定义从x轴在所示定向中向下延伸离开设备901的负z轴空间908。

第二只手912被示为接触设备901，而第一只手910被示为在正z轴空间906和负z轴空间908两者中提供一个或多个非设备接触姿势。同样，如上所述，设备901可包括感测正z轴空间906中的非设备接触姿势的第一传感器、感测负z轴空间908中的非设备接触姿势的第二传感器、以及感测在位置920处接触设备901的手指922的第三传感器。至少基于感测到手指922在位置920处接触设备901（并且构想了结合附加位置），可作出关于用户如何操纵设备901（例如，交互、把持）的推断。基于关于设备901被如何操纵的判定，可生成关于第一传感器和/或第二传感器检测到的姿势是否是要被用作输入的计划姿势的推断。

构想了大拇指914和手指916的各种移动。例如，如上所述，它们可以彼此协同移动或不协同移动。类似地，构想了手的第一部分（例如，大拇指、手指）可基于特定姿势、位置、或缺少姿势来担当模态选择器，而该手的第二部分操纵UI的元素。

图10描绘了根据本发明的各实施例的处于使用中定向1000的设备1001。图10描绘了用户用第一只手1004（例如，右手）盖住显示器1002并用第二只手1006（例如，左手）定位在设备1001的背面来操纵设备1001。还示出了x轴1010和相垂直的y轴1008。正z轴空间从设备1001朝第一只手1004的手掌区域向外延伸。负z轴空间从设备1001朝第二只手1006的手掌区域向外延伸。

图10的定向是描绘第一只手1004在设备1001周围抓住但不接触设备1001的示例性情况。例如，感测正z轴空间中的非设备接触姿势的第一传感器可捕捉第一只手1004靠近第一只手1004与设备1001之间的一z轴距离。结果，设备1001可以预测第一只手1004的一个或多个部分将穿到负z轴空间。因此，来自能检测负z轴空间中的姿势的第二非设备接触传感器的输入可被推断为计划输入。此外，构想了相对于只利用正或负轴方向之一上的输入，利用在正z轴空间中检测到的输入和在负z轴空间中检测到的输入两者可被结合使用以提供低虚假率正输入和低虚假率负输入。

图11示出了根据本发明的各实施例的描绘用于检测在设备的正z轴空间和负z轴空间两者中的用户输入的方法1100的框图。在框1102，第一传感器被用来感测正z轴空间中的非设备接触姿势。例如，构想了能够检测设备的正z轴空间中的姿势的一个或多个传感器与该设备相耦合，如集成相机。第一传感器检测到姿势随后可被解释为对设备的输入。如上所述，非设备接触姿势可包括在设备外的空间体中完成的手势，使得手势不接触该实际设备就能提供输入。

在框1104，第二传感器被用来检测处于设备的负z轴空间中的第二输入。在一示例性实施例中，第二输入是非设备接触姿势。然而，构想了第二输入可以是可由设备用来推断第一输入是计划输入的接触姿势。此外，构想了第一输入和第二输入得自连续姿势，如手绕x轴或y轴（或造成正和负z轴空间两者中的输入的任何线）的旋转。产生第一输入和第二输入的统一姿势的另一示例包括以上参考图6-10所讨论的那些姿势。

在一示例性实施例中，第一传感器只用于感测正z轴空间中的输入。类似地，在一示例性实施例中，第二传感器只用于感测负z轴空间中的输入。例如，与设备相耦合以使其光圈处于基本上与设备的正表面相平行的平面中的相机在所描述的配置下可能不能检测该设备的背侧上的输入。因此，第二传感器可被用来捕捉发生在负z轴空间中的姿势。

在框1106，响应于第一传感器感测/检测到正z轴空间中的姿势/输入并响应于第二传感器感测/检测到负z轴空间中的姿势/输入来更新UI。例如，UI的更新可包括刷新UI所呈现的图像以反映一个或多个对象的基于第一输入和/或第二输入的变化。UI的更新需要待感测的来自正z轴空间的第一输入和来自负z轴空间的第二输入两者完成。

如上所述，构想了方法1100的附加步骤可包括检测第三输入。该第三输入可以用第三传感器来检测。第三传感器可用于感测触摸（例如，基于电容技术）。例如，第三传感器可以检测第二只手把持该设备，并且第一和第二传感器可以检测在该设备的正和负z轴空间中发生的非设备接触姿势。因此，在一示例性实施例中，处理器被用来基于第三传感器检测到第三输入来确定第一输入和第二输入是计划输入。另外，构想了第三传感器能够检测多个输入，如多触摸显示器。因此，第三传感器可以检测第四输入，如另一只手的接触。在该示例中，该设备可以检测第三输入和第四输入是接触输入，暗示着该设备被一只或多只手所把持，并且第一和第二输入随后被推断为来自三维姿势的计划输入。

构想了可结合方法1100执行附加步骤。另外，构想了一个或多个步骤（如图11中示出或未示出的框所示）可按任何次序和顺序执行。

图12示出了根据本发明的各实施例的描绘用于检测在设备的正z轴空间和负z轴空间两者中的用户输入的示例性方法1200的框图。框1202描绘了利用第一基于光学的传感器来检测设备的正z轴空间中的非设备接触用户姿势的步骤。例如，构想了诸如深度相机等相机能检测发生在设备的正面（如在显示器和用户之间）的用户的手势。

在框1204，描绘了用于使用第二基于光学的传感器来检测该设备的负z轴空间中的该同一非设备接触姿势的步骤。例如，在负和正z轴空间两者中执行的该同一姿势可包括以上参考图6-10讨论的那些姿势中的任一个（例如，捏住、旋转）。例如，由用户的单只手执行的姿势（如同该姿势正在操纵虚拟对象）是发生在正z轴空间和负z轴空间两者中的共同姿势的示例。

在框1206，描绘了用于确定用第一和第二基于光学的传感器检测到的非设备接触姿势是对设备的第一输入的步骤。例如，在正z轴空间中的移动连同在负z轴空间中的移动的组合可被解释为共同（但可能是复杂的）输入。该输入可能旨在操纵由该设备的显示器或甚至外部显示器（例如，电视机、监视器）所呈现的对象。此外，构想了执行第一姿势和第二姿势的组合具有高概率是计划输入的确定。这样的确定可以通过学习过程、添加第三输入等来作出。

框1208描绘了用于响应于确定正z轴空间和负z轴空间中的非设备接触姿势是第一输入来调整显示器上的UI的步骤。例如，该设备可以是由用户操纵来影响外部显示器所显示的一个或多个对象的视频游戏控制器。基于第一输入（例如，旋转、捏住、拉长姿势），可以用适当的变换来操纵UI的一对象（例如，旋转该对象、压缩该对象、伸展该对象）。在一附加示例性实施例中，构想了UI被呈现为设备本身的一部分，如移动通信设备（例如，移动电话）的一部分。因此，用三维非设备接触姿势对所呈现的对象的操纵可允许响应于该输入来调整该对象。

在不背离本发明的精神和范围的情况下，所描绘的各组件的许多不同安排以及未示出的组件都是可能的。已带着说明性而非限制性的意图描述了本发明的各实施例。不背离其范围的各替换实施例对本领域的技术人员将是显而易见的。技术人员可以开发实现上述改进的各替换手段而不背离本发明的范围。

可以理解，特定的特征和子组合是有用的，并且可以使用而无需参考其他特征和子组合并且被认为是在权利要求书的范围之内的。并非需要以所描述的特定次序来执行在各附图中所列出的所有步骤。

Claims

1.一种在利用处理器和存储器的计算环境中的用于检测设备的正z轴空间和负z轴空间两者中的用户输入的方法，所述方法包括：

利用(1102)所述设备的第一传感器来对该设备的正z轴空间进行感测以检测第一输入，其中所述第一输入是非设备接触姿势；

利用(1104)所述设备的第二传感器来对该设备的负z轴空间进行感测以检测第二输入；以及

响应于所述第一传感器检测到正z轴空间中的第一输入以及所述第二传感器检测到负z轴空间中的第二输入，更新(1106)在显示器上呈现的用户界面，所述用户界面的更新需要待感测的来自正z轴空间的第一输入和来自负z轴空间的第二输入两者完成，

其中所述第一输入和所述第二输入得自绕与所述设备的x轴和y轴之一平行的轴的旋转姿势。

2.一种设备，所述设备用于检测该设备的正z轴空间和负z轴空间两者中的用户输入，所述设备包括：

具有正面和相对背面的设备本体(300)，其中所述正面被定向成朝着所述正z轴空间且所述背面被定向成朝着所述负z轴空间；

与所述设备本体相耦合的用于感测所述设备的正z轴空间中的非设备接触用户姿势的第一传感器(312)；

与所述设备本体相耦合的用于感测所述设备的负z轴空间中的非设备接触用户姿势的第二传感器(404)；

与所述设备本体相耦合的用于处理来自所述第一传感器的第一输入和来自所述第二传感器的第二输入的处理器，所述第一传感器感测所述设备的正z轴空间中的非设备接触用户姿势，所述第二传感器感测所述设备的负z轴空间中的非设备接触用户姿势，以及

用于显示用户界面的显示器，其中所述用户界面能响应于所述第一传感器和所述第二传感器感测到所述非设备接触用户姿势来更新，所述用户界面的更新需要待感测的来自正z轴空间的第一输入和来自负z轴空间的第二输入两者完成，

3.如权利要求2所述的设备，其特征在于，所述第一传感器包括相机。

4.如权利要求2所述的设备，其特征在于，所述第一传感器包括邻近度传感器。

5.如权利要求2所述的设备，其特征在于，所述第一传感器和所述第二传感器利用类似的感测技术。

6.一种方法，所述方法包括：

利用第一基于光学的传感器来检测设备的正z轴空间中的非设备接触用户姿势(1202)；

利用第二基于光学的传感器来检测所述设备的负z轴空间中的非设备接触用户姿势(1204)；

使用处理器来确定使用所述第一传感器检测到的在正z轴空间中的非设备接触用户姿势和使用所述第二传感器检测到的在负z轴空间中的非设备接触用户姿势是第一输入(1206)；以及

响应于确定正z轴空间和负z轴空间中的非设备接触姿势是所述第一输入来调整显示器上的用户界面(1208)，

其中所述正z轴空间中的非设备接触用户姿势和所述负z轴空间中的非设备接触用户姿势得自绕与所述设备的x轴和y轴之一平行的轴的旋转姿势。