CN104969145A - 靶向和按压自然用户输入 - Google Patents

Abstract

基于模拟人受试者的虚拟骨架的关节的位置在用户界面中移动光标。如果光标位置接合在用户界面中的对象且在模式测试周期内的所有紧接在前的光标位置位于以该光标位置为中心的定时边界内，则在按压模式中的操作开始。如果在按压模式中时光标位置保持在约束形状内并超过阈值z距离，则对象被激活。

Description

靶向和按压自然用户输入

背景技术

经由自然用户输入在图形用户界面中选择和激活对象是困难的。用户自然倾向于通过执行按压手势来选择对象，但常常在非故意的方向上意外地按压。这可导致无意的脱离和/或错误的选择。

发明内容

这个发明内容被提供来以简化的形式介绍下文在详细描述中进一步描述的一系列概念。这个发明内容并不打算标识所主张的主题的关键特征或必要特征，它也不打算用于限制所主张的主题的范围。此外，所主张的主题并不限于解决在本公开的任何部分中提到的任何或所有缺点的实施方式。

提出了用于经由自然用户输入在图形用户界面中靶向并选择对象的实施例。在一个实施例中，虚拟骨架模拟由深度相机成像的人受试者。基于虚拟骨架的关节的位置来移动在用户界面中的光标。用户界面包括在按压模式中可按压但在靶向模式中不可按压的对象。如果光标位置接合对象，且在模式测试周期内的所有紧接在前的光标位置都位于以该光标位置为中心的定时边界内，则操作转变到按压模式。如果光标位置接合对象，但在模式测试周期内的一个或多个紧接在前的光标位置位于定时边界之外，则操作继续处于靶向模式。

附图说明

图1示意性示出控制环境的非限制性例子。

图2示意性示出深度分析系统的简化骨架跟踪流水线的例子。

图3示出用于接收按压手势并将按压手势解析为自然用户输入的方法。

图4示意性示出其中操作模式被确定的情形的例子。

图5示意性示出根据本公开的实施例的约束形状的例子。

图6示意性示出根据本公开的实施例的图5的约束形状的修改例子。

图7示意性示出根据本公开的实施例的图形用户界面的例子。

图8示意性示出根据本公开的用于接收并解析按压输入的计算系统的非限制性例子。

具体实施方式

本公开针对在自然用户界面中的对象的靶向和按压。如下面更详细描述的，自然用户输入手势可被分支为靶向和按压操作模式。用户按压对象的意图被评估为用户在开始按压手势之前短暂地犹豫。一旦这个意图被辨识出，操作模式就从靶向模式转变到按压模式，且采取措施以帮助用户完成按压而不从对象滑出。

图1示出控制环境100的非限制性例子。特别是，图1示出可用于玩各种不同的游戏、播放一个或多个不同的媒体类型和/或控制或操纵非游戏应用和/或操作系统的娱乐系统102。图1还示出显示设备104，例如电视机或计算机监视器，其可用于向用户呈现媒体内容、游戏画面等。作为一个例子，显示设备104可用于视觉地呈现由娱乐系统102接收的媒体内容。在图1中图示的例子中，显示设备104正显示从娱乐系统102接收的可按压用户界面105。在图示的例子中，可按压用户界面105呈现关于由娱乐系统102接收的媒体内容的可选择的信息。控制环境100可包括捕获设备，例如视觉地监控或跟踪在所观察的场景内的对象和用户的深度相机106。

显示设备104可经由娱乐系统的显示输出操作地连接到娱乐系统102。例如，娱乐系统102可包括HDMI或其它适当的有线或无线显示输出。显示设备104可从娱乐系统102接收视频内容，和/或它可包括配置成直接从内容提供者接收视频内容的单独接收机。

深度相机106可经由一个或多个接口操作地连接到娱乐系统102。作为非限制性的例子，娱乐系统102可包括深度相机106可连接到的通用串行总线。深度相机106可用于辨识、分析和/或跟踪在物理空间内的一个或多个人受试者和/或对象，例如用户108。深度相机106可包括红外灯以将红外光投影到物理空间和配置成接收红外光的深度相机上。

娱乐系统102可配置成与未在图1中示出的一个或多个远程计算设备通信。例如，娱乐系统102可直接从广播电台、第三方媒体分发服务或其它内容提供者接收视频内容。娱乐系统102也可经由互联网或另一网络与一个或多个远程服务通信，例如以便分析从深度相机106接收的图像信息。

虽然在图1中描绘的实施例将娱乐系统102、显示设备104和深度相机106示为单独的元件，在一些实施例中，该元件中的一个或多个可集成到公共设备中。

可经由无线或有线控制设备来控制娱乐系统102和/或显示设备104的一个或多个方面。例如，可基于从远程控制设备、计算设备（例如移动计算设备）、手持游戏控制器等接收的输入来选择由娱乐系统102输出到显示设备104的媒体内容。此外，在下面详细说明的实施例中，可基于自然用户输入，例如由用户执行并由娱乐系统102基于从深度相机106接收的图像信息解析的手势命令来控制娱乐系统102和/或显示设备104的一个或多个方面。

图1示出一种情形，其中深度相机106跟踪用户108，使得用户108的运动可被娱乐系统102解析。特别是，用户108的运动被解析为可用于控制显示在显示设备104上的作为可按压用户界面105的部分的光标110的控制。除了使用他的运动来控制光标运动以外，用户108还可例如通过激活对象112来选择呈现在可按压用户界面105中的信息。

图2用图形示出可用于跟踪并解析用户108的运动的深度分析系统的简化骨架跟踪流水线200。为了解释的简单，参考图1的娱乐系统102和深度相机106来描述骨架跟踪流水线200。然而，可在任何适当的计算系统上实施骨架跟踪流水线200，而不偏离本公开的范围。例如，可在图8的计算系统800上实施骨架跟踪流水线200。此外，可使用不同于骨架跟踪流水线200的骨架跟踪流水线，而不偏离本公开的范围。

在202，图2从跟踪设备的观点示出用户108。跟踪设备例如深度相机106可包括配置成观察人受试者（例如用户108）的一个或多个传感器。

在204，图2示出由跟踪设备（例如深度相机106）收集的观察数据的示意性表示206。所收集的观察数据的类型将根据包括在跟踪设备中的传感器的数量和类型来改变。在图示例子中，跟踪设备包括深度相机、可见光（例如彩色）相机和麦克风。

深度相机可针对深度相机的每个像素确定在所观察的场景中的表面相对于深度相机的深度。可针对深度相机的每个像素记录三维x/y/z坐标。图2示意性示出针对深度相机的DPixel[v,h]观察的三维x/y/z坐标208。可针对深度相机的每个像素记录类似的三维x/y/z坐标。所有像素的三维x/y/z坐标共同构成深度图。可以用任何适当的方式确定三维x/y/z坐标，而不偏离本公开的范围。参考图8更详细讨论示例的测深技术。

可见光相机可针对可见光相机的每个像素确定在一个或多个光通道（例如红、绿、蓝、灰度级等）的所观察的场景中的表面的相对光强度。图2示意性示出对可见光相机的V-LPixel[v,h]观察的红/绿/蓝色值210。可针对可见光相机的每个像素记录红/绿/蓝色值。所有像素的红/绿/蓝色值共同构成数字彩色图像。可以用任何适当的方式确定红/绿/蓝色值，而不偏离本公开的范围。参考图8更详细讨论示例的颜色成像技术。

深度相机和可见光相机可具有相同的分辨率，虽然这并不是要求的。不管相机是具有相同还是不同的分辨率，可见光相机的像素都可与深度相机的像素配准。以这种方式，可通过考虑来自可见光相机和深度相机的已配准像素（例如V-LPixel[v,h]和DPixel[v,h]）来针对所观察的场景的每个部分确定颜色和深度信息两者。

一个或多个麦克风可确定来自用户108和/或其它源的定向和/或非定向声音。图2示意性示出由麦克风记录的音频数据212。音频数据可由深度相机106的麦克风记录。可以用任何适当的方式确定这样的音频数据，而不偏离本公开的范围。参考图8更详细讨论示例的声音记录技术。

所收集的数据可采取实质上任何适当的数据结构的形式，包括但不限于包括由深度相机成像的每个像素的三维x/y/z坐标、由可见光相机成像的每个像素的红/绿/蓝色值和/或时间分辨的数字音频数据的一个或多个矩阵。用户108可被连续地观察和模拟（例如以每秒30帧）。相应地，可针对每个这样观察的帧收集数据。所收集的数据可经由一个或多个应用编程接口（API）变得可用和/或如下所述被进一步分析。

深度相机106、娱乐系统102和/或远程服务可分析深度图以在所观察的深度图中将待跟踪的人受试者和/或其它目标从非目标元素区分开。深度图的每个像素可被分配用户指数214，用户指数214将该像素识别为对特定的目标或非目标元素进行成像。作为例子，对应于第一用户的像素可被分配等于一的用户指数，对应于第二用户的像素可被分配等于二的用户指数，以及不对应于目标用户的像素可被分配等于零的用户指数。可以用任何适当的方式确定、分配和保存这样的用户指数，而不偏离本公开的范围。

深度相机106、娱乐系统102和/或远程服务可选地可以进一步分析用户108的深度图的像素，以便确定每个这样的像素可能对用户身体的什么部位进行成像。具有适当的用户指数的深度图的每个像素可被分配身体部位指数216。身体部位指数可包括分立标识符、置信值和/或指示该像素可能成像的一个或多个身体部位的身体部位概率分布。可以用任何适当的方式确定、分配和保存身体部位指数，而不偏离本公开的范围。

在218，图2示出用作用户108的机器可读表示的虚拟骨架220的示意性表示。虚拟骨架220包括二十个虚拟关节-｛头，肩部中心，脊柱，臀部中心，右肩，右肘，右手腕，右手，左肩，左肘，左手腕，左手，右臀、右膝，右踝，右脚，左臀、左膝，左踝和左脚｝。这二十关节虚拟骨架被提供为非限制性例子。根据本公开的虚拟骨架可具有实质上任何数量的关节。

各个骨架关节可对应于用户108的实际关节、用户的身体部位的形心、用户的手足的终端和/或不具有到用户的直接解剖链接的点。每个关节可具有至少三个自由度（例如世界空间x、y、z）。因此，虚拟骨架的每个关节被定义有三维位置。例如，左肩虚拟关节222被定义有x坐标位置224、y坐标位置225和z左边位置226。可相对于任何适当的原点来定义关节的位置。作为一个例子，深度相机可用作原点，且相对于深度相机定义所有关节位置。关节可以用任何适当的方式被定义有三维位置，而不偏离本公开的范围。

各种技术可用于确定每个关节的三维位置。骨架装配技术可使用深度信息、颜色信息、身体部位信息和/或在先训练的解剖和运动信息来推断紧密模拟人受试者的一个或多个骨架。作为一个非限制性的例子，上述身体部位指数可用于找到每个骨架关节的三维位置。

关节方位可用于进一步定义虚拟关节中的一个或多个。然而关节位置可描述关节和跨越在关节之间的虚拟骨头的位置，关节方位可描述在它们的相应位置处的这样的关节和虚拟骨头的方位。作为例子，手腕关节的方位可用于描述位于给定位置处的手是否面向上或下。

关节方位可例如在一个或多个标准化三维方位矢量中被编码。（多个）方位矢量可提供关节相对于深度相机或另一参考（例如另一关节）的方位。此外，可依据世界空间坐标系或另一适当的坐标系（例如另一关节的坐标系）来定义（多个）方位矢量。关节方位也可经由其它手段来编码。作为非限制性的例子，四元数和/或欧拉角可用于对关节方位进行编码。

图2示出非限制性的例子，其中左肩关节222被定义有正交方位矢量228、229和230。在其它实施例中，单个方位矢量可用于定义关节方位。可以用任何适当的方式计算（多个）方位矢量，而不偏离本公开的范围。

关节位置、方位和/或其它信息可以在任何适当的（多个）数据结构中被编码。此外，与任何特定关节相关的位置、方位和/或其它参数可经由一个或多个API而变得可用。

如在图12中看到的，虚拟骨架200可以可选地包括多个虚拟骨头（例如左前臂骨头232）。各种骨架骨头可从一个骨架关节延伸到另一骨架关节，并可对应于用户的实际骨头、四肢或骨头和/或四肢的部分。本文讨论的关节方位可应用于这些骨头。例如，肘方位可用于定义前臂方位。

虚拟骨架可用于辨识由用户108执行的一个或多个手势。作为非限制性的例子，由用户108执行的一个或多个手势可用于控制光标110的位置，且虚拟骨架可在一个或多个框架上被分析以确定一个或多个手势是否已被执行。例如，可确定虚拟骨架的手关节的位置，并可基于手关节的位置来移动光标110。然而应理解，虚拟骨架可用于额外的和/或替代的目的，而不偏离本公开的范围。

如前面解释的，可控制在可按压用户界面105内的光标110的位置，以便促进与呈现在可按压用户界面105中的一个或多个对象的交互。

图3示出用于接收按压手势并将按压手势解析为自然用户输入的方法300。方法300可例如由图1的娱乐系统102或图8的计算系统800执行。在302，接收虚拟骨架的关节的位置。如上面关于图2描述的，可接收虚拟骨架220的手关节240的位置。可使用左手和/或右手的位置，而不偏离本公开的范围。右手关节240用作例子，但决不是限制性的。在其它实施例中，可使用头关节、肘关节、膝关节、脚关节或其它关节的位置。在一些实施例中，来自两个或更多个不同关节的位置可用于移动光标。

在304，基于手关节的位置来移动在用户界面中的光标。如上面关于图1和2描述的，可基于手关节240的位置来移动在可按压用户界面105中的光标110。

在306，方法300在下面更详细描述的靶向模式中操作。方法300然后继续进行到308，其中确定光标位置是否接合在用户界面中的可按压对象。如在本文使用的“接合”对象指代光标位置对应于在可按压用户界面105中的可按压区（例如对象112）。如果光标位置仍未接合对象，则方法300返回到306。如果光标位置已接合对象，则方法300继续进行到310。

在310，确定在模式测试周期内的所有紧接在前的光标位置是否位于以该光标位置为中心的定时边界内。

图4图示其中响应于光标110的位置来确定操作模式的示例性情形400，并进一步图示以光标位置为中心的定时边界的形成和评价。

示例情形400图示在光标位置集402中的七个连续的光标位置的集合：｛t₀, t₁, t₂, t₃, t₄, t₅和t₆｝。t₀是在光标位置集402中确定的第一光标位置。此时，系统处于靶向模式中。靶向模式允许用户108在显示于可按压用户界面105中的对象当中移动，而不致力于对象的交互或激活。

当接收到光标位置t₀时，定时边界404形成并以光标位置t₀为中心。在这个例子中，在x-y平面中形成定时边界并且评价光标位置，该x-y平面可例如对应于由显示设备104形成的x-y平面。在其它实施方式中，可使用不同的平面。在再其它实施方式中，定时边界可以是三维形状。定时边界404不显示在可按压用户界面105中且因此对用户108是不可见的。在一些方法中，如果其相应的光标位置已接合对象，则定时边界形成。然而其它方法是可能的，而不偏离本公开的范围。

假定用户108已接合对象，则定时边界404被检查以确定在模式测试周期内的所有紧接在前的光标是否位于其边界内。这样的方法便于确定用户108是否已在对象上犹豫，该犹豫将光标位置限制到可按压用户界面105中的区。模式测试周期建立限制被评价的光标位置的数量的持续时间。作为一个非限制性的例子，模式测试周期是250毫秒，虽然这个值可被调谐到包括用户偏好的各种参数，并可改变以控制在做出到按压模式的转变之前的时间。

定时边界404的形状和尺寸都可基于包括对象尺寸和/或形状、显示屏尺寸和用户偏好的标准来调节。此外，这样的尺寸可根据跟踪设备（例如深度相机106）和/或显示设备（例如显示器104）的分辨率而改变。虽然定时边界404在所示例子中是圆形的，实质上可使用任何形状或几何结构。所示圆形形状可例如通过多个填充六边形来近似。调节定时边界404的尺寸可控制发起按压模式的进入时的容易性和/或速度。例如，增大定时边界404的尺寸可允许在连续光标位置之间的较大空间分离，其仍然触发按压模式的进入。

因为光标位置t₀是在光标位置集402中确定的第一光标位置，没有紧接在前的光标位置存在于其边界内。因此，系统继续在靶向模式中操作。光标位置t₁然后被接收且其定时边界被形成和评价，引起如同光标位置t₀一样的在靶向模式中的继续操作。光标位置t₂然后被接收且其定时边界被形成和评价，这包含前面的光标位置t₁。然而在这个例子中，设置模式测试周期，使得要求总共四个光标位置（例如当前+三个紧接在前的）在单个定时边界内被找到以触发在按压模式下的操作。当这个要求未被满足时，操作在靶向模式中继续。

当光标位置t₃、t₄和t₅被接收且其定时边界被形成和评价时，在靶向模式中的操作继续，因为在模式测试周期内的所有紧接在前的光标位置不位于其定时边界的任一个内。在t₆，开始在按压模式中的操作，因为它的定时边界包含在模式测试周期内的所有紧接在前的光标位置——即t₃、t₄和t₅。图4以表格形式示出每个光标位置、位于每个定时边界内的在前光标位置和因而产生的操作模式。

返回到图3，如果在310在模式测试周期内的所有紧接在前的光标位置不位于以该光标位置为中心的定时边界内，则方法300返回到306并在靶向模式中操作。如果另一方面在模式测试周期内的所有紧接在前的光标位置位于以该光标位置为中心的定时边界内，则方法300继续进行到312并在按压模式中操作。上述技术是评估用户犹豫的非限制性例子，用户犹豫可被推断出以在用户的头脑中用信号通知从靶向模式到按压模式的切换。然而应理解，用于评估犹豫的其它技术在本公开的范围内。

方法300然后继续进行到314，其中确定光标位置是否在约束形状内。

现在转到图5，示出了示例性约束形状500。约束形状500在进入按压模式中时形成并便于在可按压用户界面105中显示的对象的激活。如在本文使用的“激活”指代与设计成与用户交互的对象相关的指令或其它代码的执行。

当进入按压模式中时，约束形状500可选地在引起在按压模式中的操作的定时边界（例如对应于光标位置t6的定时边界）周围形成并从该定时边界延伸，该定时边界在下文中被称为“模式触发定时边界”。换句话说，约束形状500在点z0处起源的原点502对应于模式触发定时边界的中心。在其它实施例中，约束形状不是定时边界的延伸。

在图5所示的例子中，约束形状500包括具有根据在z方向504上的z距离而增大的半径的截锥。Z方向504可对应于实质上垂直于显示设备104和/或与深度相机106的光轴平行的方向。模式触发定时边界可选地可形成截锥的底，其中心是点z0。

返回到图3，在314，确定当光标位置响应于虚拟骨架的手关节的变化的位置而移动时光标位置是否保持在约束形状内。如果光标位置不保持在约束形状内，则方法300返回到306，恢复在靶向模式中的操作。如果光标位置保持在约束形状内，则方法300继续进行到316，其中确定光标位置是否超过阈值z距离。

转回到图5，约束形状500建立三维区和限制可被利用激活显示在可按压用户界面105中的对象的光标位置的边界。激活光标路径506代表多个光标位置，其一起形成在z方向504上向前延伸同时保持在约束形状500内部的实质上连续的路径。在501，都存在于约束形状500内的最终光标位置被接收并具有超过阈值z距离zt的z距离。因此，系统辨识完成的按压并激活被按压的对象。

图5还示出在超过阈值z距离zt之前在503离开约束形状500的脱离光标路径508。与上述内容不同，系统将这组光标位置解析为脱离模式触发定时边界和/或约束形状被布置于的对象的企图。因此，在按压模式中的操作停止，将操作返回到靶向模式。

以这种方式，用户108可接合并激活呈现在可按压用户界面105中的对象，同时维持在激活之前脱离的选择。因为约束形状500包括具有沿着z方向504增大的半径的圆锥体，提供容限，允许用户在按压输入被供应时在x和y方向上漂移。换句话说，对应于在按压模式中的连续操作的在x-y平面中的区被增大到在否则只由定时边界提供的区之外。

虽然约束形状500在图5中被示为包括截锥，将认识到，可使用任何适当的几何结构，包括矩形和截棱锥形状。此外，任何适当的线性或非线性函数可控制约束形状的一维或多维的形状。

图5图示可如何基于可取决于操作模式的若干不同函数来移动显示在可按压用户界面105中的光标（例如光标110）。例如，光标可当在靶向模式中时基于第一函数来移动且当在按压模式中时基于第二函数来移动。图5图示当在按压模式中时基于第二函数来移动光标的例子。特别是，一旦由激活光标路径506代表的光标位置的z距离超过阈值偏置距离zb，就将第二函数应用于光标110。在这个例子中，第二函数包括使光标110的位置向着已接合对象的中心偏置。这样的偏置可重复和连续地被应用，使得当按压输入沿着z方向504向前前进时用户108更容易朝着已接合对象的中心平滑地按压。然而将认识到，任何适当的函数可用于移动光标，而不偏离本公开的范围，其可以或可以不取决于操作模式。

在图5所示的例子中，阈值z距离zt是固定值。更具体地，这个距离相对于原点502是固定的，并且相对于模式触发定时边界是固定的（如果其对应于约束形状500的较小底部）。因此，每当对象的按压和激活被期望时，用户必须推动穿过这个固定距离。固定距离可基于人臂长的平均值来预先确定，且可以是六英寸，作为非限制性的例子。在其它实施例中，阈值z距离可以是可变的并被动态地确定。

图6示出沿着z方向504从原点502延伸的约束形状500。如图5所示，约束形状500包括阈值z距离zt和阈值偏置距离zb。然而在这个例子中，约束形状500还包括减小的阈值z距离zt’和减小的阈值偏置距离zb’。减小的光标路径602示出控制对象激活的阈值距离可如何改变。减小的光标路径602横穿减小的长度以到达减小的阈值z距离zt’并激活对象。类似地，光标110的偏置出现在减小的阈值偏置距离zb’处。阈值距离zt和zb都可动态地减小或加长，并可基于用户108来修改。

在一种方法中，当从靶向模式转变到按压模式时，可基于与用户108相关的虚拟骨架的手关节的位置来动态地设置阈值z距离zt。虚拟骨架220的手关节240例如可用于设置这个距离。可使用手关节240的绝对世界空间位置，或可评价它相对于另一对象的位置。在后一方法中，可相对于肩关节222的位置评价手关节240的位置。这样的协议可允许系统得到用户108的指向臂延伸的程度的估计。可作为响应来确定阈值z距离zt，例如如果用户108的指向臂是否已经实质上延伸，则zt可减小，要求用户108沿着z方向504移动更少的距离。以这种方式，系统可动态地适应用户身体的特性和配置，而不使对象激活变得麻烦。然而将认识到，在虚拟骨架220中的任何其它关节可用于动态地设置阈值距离。

系统可在按压模式中时着手进行额外的行动来增强用户体验。在一个实施例中，如果光标位置的z距离未能在按压测试周期内增大，则从按压模式到靶向模式的转变将出现。根据按压测试周期的持续时间，这样的方法可能要求由用户108提供沿着z方向504的实质上连续的向前前进。

替代地或附加地，如果当在按压模式中时光标位置的z距离沿着z方向504减小，则可重置阈值z距离zt。在一种方法中，阈值z距离zt可沿着z方向504与光标位置缩回的程度成比例地减小。以这种方式，激活对象所需的z距离可保持一致，而不迫使用户本身过分伸展到最初预期的距离之外。在一些实施例中，可在光标缩回时例如基于如上所述的手关节相对于肩关节的方位来动态地再确定阈值z距离zt。

返回到图3，如果在316光标位置不超过阈值z距离，则方法300返回到314。如果光标位置超过阈值z距离，则方法300继续进行到318，其中对象（例如对象112）被激活。

当确定什么构成对象的激活时，可应用替代的或附加的标准。在一些例子中，对象不被激活，直到保持在约束形状内的光标位置超过阈值z距离并随后缩回阈值距离为止。在这样的实施方式中，光标位置必须超过阈值z距离并接着在相反的方向上缩回至少第二阈值距离。这样的标准可增强用户体验，因为很多用户习惯于在施加正向按压到物理按钮之后缩回。

现在转到图7，图示促使从按压模式转变到靶向模式的额外情形。可按压用户界面106被示为具有包括对象112和第二对象702的多个对象。光标110已接合对象112，且已进入按压模式。如上所述，当在按压模式中操作时，指示器可显示在已接合对象上，该指示器在这个例子中包括包围对象112的醒目边框。可使用任何适当的指示器。在一些实施例中，如果光标110接合除了它当前接合的对象112之外的第二对象（例如第二对象702），则将执行从按压模式到靶向模式的转变。

替代地或附加地，从按压模式到靶向模式的转变可基于光标110相对于按压边界704的位置而出现。在这个实施例中，按压边界704在进入按压模式时形成，并以光标110所接合的对象为中心。按压边界704提供用于光标110的在x和y方向上的二维边界。如果当在按压模式中时光标110在超过阈值z距离（例如在约束形状500中的zt）之前离开按压边界704，则从按压模式到靶向模式的转变出现。按压边界704可针对下列实施例增强用户体验：约束形状的尺寸和几何结构使得用户可只执行大部分按压以完成在不同对象上的按压，因而激活那个对象。换句话说，约束形状可以很大，以使得重叠除了它所居中的对象以外的对象，受益于增强输入解析的按压边界。

在图示例子中，按压边界704是圆形的，具有对应于对象90的对角线的直径。在其它实施例中，按压边界可被提供有对应于它们所居中于的对象的形状。

在一些实施例中，本文描述的方法和过程可被束缚于一个或多个计算设备的计算系统。特别是，这样的方法和过程可实施为计算机应用程序或服务、应用编程接口（API）、库和/或其它计算机程序产品。

图8示意性示出可展现上面描述的方法和过程中的一个或多个的计算系统800的非限制性实施例。娱乐系统102可以是计算系统800的非限制性例子。以简化形式示出计算系统800。计算系统800可采取一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备（例如智能电话）和/或其它计算设备的形式。

计算系统800包括逻辑机802和存储机804。计算系统800可以可选地包括显示子系统806、输入子系统808、通信子系统810和/或在图8中没有示出的其它部件。

逻辑机802包括配置成执行指令的一个或多个物理设备。例如，逻辑机可配置成执行指令，该指令为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构思的部分。这样的指令可被实施来执行任务、实施数据类型、转换一个或多个组件的状态、实现技术效果或否则达到期望结果。

逻辑机可包括配置成执行软件指令的一个或多个处理器。附加地或替代地，逻辑机可包括配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核心或多核心的，且在其上执行的指令可配置用于顺序、并行和/或分布式处理。逻辑机的单独部件可选地可以分布在可被远程地定位和/或配置成用于协作处理的两个或更多个单独的设备当中。逻辑机的方面可由在云计算配置中的远程可访问的联网计算机设备虚拟化并执行。

存储机804包括配置成保存由逻辑机可执行来实施本文描述的方法和过程的指令的一个或多个物理设备。当这样的方法和过程被实施时，存储机804的状态可被转换，例如以保存不同的数据。

存储机804可包括可移动和/或内置设备。存储机804可包括光学存储器（例如CD、DVD、HD-DVD、蓝光盘等）、半导体存储器（例如RAM、EPROM、EERPOM等）和/或磁性、存储器（例如硬盘驱动器、软盘驱动器、带驱动器、MRAM等）等等。存储机804可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。

将认识到，存储机804包括一个或多个物理设备。然而，本文描述的指令的方面替代地可通过在有限的持续时间期间不由物理设备保存的通信介质（例如电磁信号、光信号等）来传播。

逻辑机802和存储机804的方面可一起集成到一个或多个硬件逻辑部件中。这样的硬件逻辑部件可包括例如现场可编程门阵列（FPGA）、程序特定集成电路和应用特定集成电路（PASIC/ASIC）、程序特定标准产品和应用特定标准产品（PSSP/ASSP）、片上系统（SOC）和复杂可编程逻辑器件（CPLD）。

术语“模块”、“程序”和“引擎”可用于描述被实施为执行特殊功能的计算系统800的方面。在一些情况下，可经由执行由存储机804保存的指令的逻辑机802来例示模块、程序或引擎。将理解，可从相同的应用、服务、代码块、对象、库、例程、API、函数等例示不同的模块、程序和/或引擎。同样，可通过不同的应用、服务、代码块、对象、例程、API、函数等例示相同的模块、程序和/或引擎。术语“模块”、“程序”和“引擎”可涵盖单独或数组可执行文件、数据文件、库、驱动、脚本、数据库记录等。

将认识到，如在本文使用的“服务”是在多个用户会话当中可执行的应用程序。服务可以是一个或多个系统部件、程序和/或其它服务可用的。在一些实施方式中，服务可在一个或多个服务器计算设备上运行。

当被包括时，显示子系统806可用于呈现由存储机804保存的数据的视觉表示。这个视觉表示可采取图形用户界面（GUI）的形式。随着本文描述的方法和过程改变由存储机保存的数据，并因而转换存储机的状态，显示子系统806的状态可同样被转换以视觉地表示在基本数据中的变化。显示子系统806可包括利用实质上任何类型的技术的一个或多个显示设备。这样的显示设备可在共享外壳中的与逻辑机802和/或存储机804组合，或这样的显示设备可以是外围显示设备。

当被包括时，输入子系统808可包括一个或多个用户输入设备或与一个或多个用户输入设备通过接口连接，一个或多个用户输入设备例如是键盘、鼠标、触摸屏或游戏控制器。在一些实施例中，输入子系统可包括选定的自然用户输入（NUI）部件或与选定的自然用户输入（NUI）部件通过接口连接。这样的部件可以是集成的或外围的，且输入行动的转换和/或处理可在板上或板外处置。示例NUI部件可包括用于言语和/或语音辨识的麦克风；用于机器视觉和/或手势辨识的红外、彩色、立体和/或深度相机；用于运动检测和/或意图辨识的头跟踪仪、眼跟踪仪、加速计和/或陀螺仪；以及用于评估脑活动的电场感测部件。

当被包括时，通信子系统810可配置成将计算系统800与一个或多个其它计算设备通信地耦合。通信子系统810可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性的例子，通信子系统可配置成经由无线电话网络或有线或无线局域或广域网进行通信。在一些实施例中，通信子系统可允许计算系统800经由网络（例如互联网）将消息发送到其它设备和/或从其它设备接收消息。

此外，计算系统800可包括配置成从深度相机820（下面描述）接收成像信息并识别和/或解析由用户执行的一个或多个姿势和手势的骨架模拟模块812。计算系统800还可包括语音辨识模块814以识别和/或解析由用户发出的经由麦克风（耦合到计算系统800或深度相机）检测到的一个或多个语音命令。虽然骨架模拟模块812和表示模块814被描绘为集成在计算系统800内，在一些实施例中，该模块中的一个或两个可相反被包括在深度相机820中。

计算系统800可操作性地耦合到深度相机820。深度相机820可包括配置成获取包括一个或多个人受试者的场景的视频的红外灯822和深度相机824（也被称为红外光相机）。视频可包括适合于本文陈述的目的的空间分辨率和帧率的图像的时间分辨序列。如上面关于图1和2描述的，深度相机和/或协作计算系统（例如计算系统800）可配置成处理所获取的视频以识别用户的一个或多个姿势和/或手势并将这样的姿势和/或手势解析为配置成控制计算系统800的各种方面的设备命令，例如可滚动用户界面的滚动。

深度相机820可包括配置成将深度相机820与一个或多个其它计算设备通信地耦合的通信模块826。通信模块826可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。在一个实施例中，通信模块826可包括成像接口828以将成像信息（例如所获取的视频）发送到计算系统800。附加地或替代地，通信模块826可包括控制接口830以从计算系统800接收指令。控制和成像接口可被设置为单独的接口，或它们可以是相同的接口。在一个例子中，控制接口830和成像接口828可包括通用串行总线。

相机的性质和数量可在与本公开的范围一致的各种深度相机中是不同。通常，一个或多个相机可配置成提供视频，经由下游处理从该视频得到三维深度图的时间分辨序列。如在本文使用的，术语‘深度图’指代与所成像的场景的对应区配准的像素的阵列，每个像素的深度值指示由该像素成像的表面的深度。‘深度’被定义为平行于深度相机的光轴的坐标，其随着离深度相机的距离的增大而增大。

在一些实施例中，深度相机820可包括右和左立体相机。来自这两个相机的时间分辨图像可与彼此配准并组合以产生深度分辨视频。

在一些实施例中，“结构化光”深度相机可配置成投射包括很多分立的特征（例如线或点）的结构红外化光照。相机可配置成对从场景反射的结构化光照进行成像。基于在所成像的场景的各种区中的相邻特征之间的间隔，可构造场景的深度图。

在一些实施例中，“飞行时间”深度相机可包括配置成将脉冲红外光照投射到场景上的光源。两个相机可配置成检测从场景反射的脉冲光照。相机可包括与脉冲光照同步的电子快门，但相机的积分时间可不同，使得从在两个相机的对应像素中接收到的光的相对量可辨别从光源到场景并接着到相机的脉冲光照的像素分辨的渡越时间。

深度相机820可包括可见光相机832（例如彩色）。来自彩色和深度相机的时间分辨图像可与彼此配准并组合以产生深度分辨的彩色视频。深度相机820和/或计算系统800还可包括一个或多个麦克风834。

虽然深度相机820和计算系统800在图8中被描绘为单独的设备，在一些实施例中深度相机820和计算系统800可包括在单个设备中。因此，深度相机820可以可选地包括计算系统800。

将理解，本文描述的配置和/或方法在本质上是示例性的，以及这些特定的实施例或例子并不在限制性的意义上被考虑，因为很多变化是可能的。本文描述的特定例程或方法可代表任何数量的处理策略中的一个或多个。因此，所图示和/或所述的各种行动可以按所图示和/或所述的顺序、以其它顺序、并行地执行或被省略。同样，上述过程的顺序可改变。

本公开的主题包括各种过程、系统和配置、本文公开的其它特征、功能、行动和/或属性以及其任何和所有等效形式的所有新颖和不显而易见的组合和子组合。

Claims (10)

1.一种接收用户输入的方法，所述方法包括：

基于虚拟骨架的关节的位置移动在用户界面中的光标，所述虚拟骨架模拟利用深度相机成像的人受试者，所述用户界面包括在按压模式中可按压但在靶向模式中不可按压的对象；

如果光标位置接合所述对象且在模式测试周期内的所有紧接在前的光标位置位于以该光标位置为中心的定时边界内，则在所述按压模式中操作；

如果当在所述按压模式中时光标位置保持在约束形状内并超过阈值z距离，则激活所述对象；以及

如果当在所述按压模式中时所述光标位置在超过所述阈值z距离之前离开所述约束形状，则在所述靶向模式中操作。

2.如权利要求1所述的方法，其中移动所述光标还包括：

当在所述靶向模式中时基于第一函数移动所述光标；以及

当在所述按压模式中时基于第二函数移动所述光标。

3.如权利要求2所述的方法，其中基于所述第二函数移动所述光标包括当所述光标位置的z距离增大而超过阈值偏置距离时将所述光标向着所述对象的中心偏置。

4.如权利要求1所述的方法，其中所述约束形状包括具有根据z距离增大的半径的截锥。

5.如权利要求4所述的方法，其中所述截锥从所述定时边界延伸。

6.如权利要求1所述的方法，其中所述关节是手关节，且其中当从所述靶向模式转变到所述按压模式时基于所述手关节的位置来动态地设置所述阈值z距离。

7.如权利要求1所述的方法，其中基于手关节相对于肩关节的位置来动态地设置所述阈值z距离。

8.如权利要求1所述的方法，其中所述阈值z距离是固定值。

9.如权利要求1所述的方法，还包括如果所述光标位置的z距离未能在按压测试周期内增大则从所述按压模式转变到所述靶向模式。

10.如权利要求1所述的方法，还包括：

如果当在所述按压模式中时所述光标位置的z距离减小，则重置所述阈值z距离。