CN103597515B - 用于识别张开的或闭合的手的系统 - Google Patents

Abstract

公开了涉及用于生成目标用户的计算机模型的流水线的系统和方法，该计算机模型包括用户的手的手模型，用户的手在NUI系统中由图像传感器捕捉。该计算机模型表示对用户的一个或多个手的位置的最佳估计，以及该一个或多个手是处于张开状态还是闭合状态。所生成的手模型可由游戏或其他应用使用来将其确定为用户姿势和控制动作。

Description

用于识别张开的或闭合的手的系统

背景

在过去，诸如计算机游戏和多媒体应用之类的计算应用使用控制器、遥控器、键盘、鼠标等来允许用户操纵应用的游戏角色或其他方面。近来，计算机游戏和多媒体应用已开始使用相机和软件姿势识别引擎来提供自然用户界面（“NUI”）。使用NUI，检测、解释原始关节数据和用户姿势并将其用于控制游戏人物或应用的其他方面。

NUI系统的挑战之一是在图像传感器的视场中区分人并正确地标识他或她的身体部位（包括手和手指）在视场中的位置。用于跟踪手臂、腿、头部和躯干的例程是已知的。然而，给定用户手部的细微细节和各种位置，常规系统不能够满意地识别并跟踪用户的身体（包括手指和手）位置。检测用户的手是张开的还是闭合的可被用在各种控制和/或应用度量中。使系统能够可靠地检测用户的一个或多个手是张开的还是闭合的状态会是有用的。

概述

本文公开了用于使用NUI系统来识别和跟踪用户的骨架关节（包括手和手指位置以及手是张开的还是闭合的）的各系统和方法。在各示例中，对手和手指位置的跟踪可被NUI系统用于触发诸如选择、参与、或抓取及拖曳屏幕上的对象之类的事件。各种其他姿势、控制动作和应用可被本技术启用以用于识别和跟踪手和手指位置及运动。通过确定用户手部的张开或闭合状态，用户与NUI或其他系统的交互可以增多，且可以向用户呈现更简单和更直观的界面。

在一个示例中，本公开涉及一种用于生成包括一个或多个手指的用户的手的模型的方法，包括：（a）接收表示与传感器交互的用户的位置的位置数据，该位置数据包括表示用户的手的深度和图像数据中的至少一者；以及（b）分析该位置数据以标识手是处于张开的还是闭合的状态，该步骤（b）包括以下步骤：（b）（1）从该步骤（a）中捕捉的位置数据中分析深度数据，以将该位置数据分割成手的数据，以及（b）（2）通过将一个或多个过滤器应用于该步骤（b）（1）中所标识的手的图像数据来提取一组特征描述符，该一个或多个过滤器相比于手边界外的图像数据来分析手的图像数据，以辨别包括手形状的手的特征。

在又一示例中，本公开涉及一种用于确定被检测的手是张开还是闭合的系统，该系统包括操作地耦合到计算设备的传感机制，该系统包括：骨架识别引擎，用于从包括图像和深度数据中的至少一者的收到数据中识别用户的骨架的至少一部分，图像分割引擎，用于将身体的一个或多个区域分割成表示用户的手的区域，以及描述符提取引擎，用于提取表示包括一个或多个手指的手以及手是张开还是闭合的数据，该描述符提取引擎应用多个过滤器来分析表示手的区域中的像素，多个过滤器中的每一过滤器确定手的位置以及张开或闭合状态，该描述符提取引擎组合每一过滤器的结果以得到手是张开还是闭合的最佳估计。

在另一示例中，本公开涉及一种不包括已调制数据信号的计算机可读存储介质，该计算机可读存储介质具有用于对处理器编程以执行用于针对自然用户界面生成包括一个或多个手指的用户的手部模型的方法的计算机可执行指令，该方法包括：（a）接收与自然用户界面进行交互的用户的图像数据，（b）分析该图像数据，以在该图像数据中标识手，以及（c）将所标识的手的图像数据针对预定义的手位置进行比较，以确定用户是否已执行以下预定义的手姿势或控制动作之一：（c）（1）抓取姿势；（c）（2）释放姿势；（c）（3）拉取姿势，其中手被确定为紧密围绕虚拟对象并致动该虚拟对象；（c）（4）通过标识张开的手来发起并保持动作；以及（c）（5）通过标识闭合的手来终止动作。

提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的选择的概念。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

附图说明

图1A示出了目标识别、分析和跟踪系统的示例实施例。

图1B示出了目标识别、分析和跟踪系统的另一示例实施例。

图1C示出了目标识别、分析和跟踪系统的又一示例实施例。

图2示出了可以在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。

图3示出了用于表示人类目标的示例性身体模型。

图4示出了用于表示人类目标的示例性骨架模型的基本上正面的视图。

图5示出了用于表示人类目标的示例性骨架模型的斜视图。

图6示出了根据本发明技术的一个实施例的用于跟踪目标的流水线的流程图。

图7例示根据本公开的一个实施例的确定用户手部状态的示例方法。

图8是根据本公开的一个实施例的图像分割引擎的操作的流程图。

图9是根据本公开的一个实施例的像素分类过滤器的操作的流程图。

图10是根据本公开的一个实施例的像素分类过滤器的操作的决策树。

图11A和11B例示根据本公开的一个实施例的使用像素分类过滤器进行的指尖标识。

图12例示根据本公开的一个实施例的使用像素分类过滤器进行的手指标识。

图13例示根据本公开的一个实施例的使用像素分类过滤器所标识的手的一部分。

图14例示根据本公开的一个实施例的使用像素分类过滤器进行的手和手指标识。

图15是根据本公开的一个实施例的曲率分析过滤器的操作的流程图。

图16例示根据本公开的一个实施例的使用曲率分析过滤器进行的手和手指标识。

图17例示根据本公开的一个实施例的使用深度直方图过滤器进行的张开和闭合的手的分析。

图18例示根据本公开的一个实施例的使用统计过滤器的张开和闭合的手的图像。

图19是根据本公开的一个实施例的自然抓取过滤器的操作的流程图。

图20是用于基于手过滤器对手位置进行分类的管理员过滤器的流程图。

图21A示出了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。

图21B示出了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的另一示例实施例。

具体实施方式

现在将参考附图1A－21B来描述本发明技术的各实施例，这些实施例一般涉及用于生成由NUI系统中的图像传感器所捕捉的目标用户的计算机模型（包括该用户的手和/或手指的手模型）的流水线。计算机模型可为所捕捉的图像数据的每一帧生成一次，并表示对在所捕捉的帧期间用户位置（包括姿态）的最佳估计。为每一帧生成的手模型可由游戏或其他应用使用来将其确定为用户姿势和控制动作。手模型还可被反馈回到流水线中以帮助将来的模型确定。

最初参考图1A-2，用于实现本发明技术的硬件包括目标识别、分析和跟踪系统10，该系统可用于识别、分析和/或跟踪诸如用户18等人类目标。目标识别、分析和跟踪系统10的各个实施例包括用于执行游戏或其他应用程序的计算环境12。计算环境12可包括硬件组件和/或软件组件，以使计算环境12可用于执行诸如游戏和非游戏应用程序之类的应用。在一个实施例中，计算环境12可包括诸如标准化处理器、专用处理器、微处理器之类的处理器，该处理器可执行存储在处理器可读的存储设备上的用于执行此处所描述的过程的指令。

系统10还包括捕捉设备20，捕捉设备20用于捕捉与捕捉设备所感测的一个或多个用户和/或对象有关的图像和音频数据。在各实施例中，捕捉设备20可用于捕捉与一个或多个用户的身体和手移动和/或姿势和话音相关的信息，该信息由计算环境接收并且用于呈现游戏或其他应用的各方面、与这些方面交互和/或控制这些方面。以下更详细地解释计算环境12和捕捉设备20的示例。

目标识别、分析和跟踪系统10的各个实施例可连接到具有显示器14的音频/视觉（A/V）设备16。设备16可以例如是可向用户提供游戏或应用视觉和/或音频的电视机、电话、用于计算机的监视器、高清电视机（HDTV）等。例如，计算环境12可包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，这些适配器可提供与游戏或其他应用程序相关联的音频/视觉信号。A/V设备16可从计算环境12接收音频/视觉信号，并且随后可向用户18输出与这些音频/视觉信号相关联的游戏或应用程序视觉和/或音频。根据一个实施例，音频/视觉设备16可经由例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆等连接到计算环境12。

在各个实施例中，计算环境12、A/V设备16和捕捉设备20可协作以在显示器14上呈现化身或屏上角色19。例如，图1A示出用户18正在玩足球游戏应用。跟踪并使用用户的移动来使化身19的移动动画化。在各个实施例中，化身19模仿用户18在现实世界空间中的移动，使得用户18可执行对化身19在显示器14上的移动和动作进行控制的移动和姿势。

如上面解释的，运动估计例程（诸如骨架映射系统）可能缺乏检测用户的细微姿势（诸如，用户手的移动）的能力。例如，如图1B所示，用户可能希望通过用他的手来滚动并控制用户界面21来与NUI系统10进行交互。或者，用户可诸如举例而言通过张开和/或闭合她的手（如图1C中23和25所示）来尝试执行各种姿势。

因此下面描述的系统和方法将涉及用户手部状态的确定。例如，闭合和张开手的动作可被这样的系统用于触发诸如选择、参与、或抓取和拖曳屏幕上的对象（例如，对象27（图1C））之类的事件。这些动作将以其他方式对应于在使用控制器时按下按钮。这些经过提炼的无控制器交互可用作基于手部挥舞或回旋的途径的替换，后者可能是非直观或麻烦的。各种其他姿势、控制动作和应用可被本发明技术启用以用于识别和跟踪手部运动，其中的某些将在下文中更详细地描述。通过如下所述地确定用户手部状态，用户与系统的交互可以增多，且可以向用户呈现更简单和更直观的界面。

图1A-1B包括静态的背景对象23，诸如地板、椅子和植物。这些对象是在捕捉设备20所捕捉的视场（FOV）内的对象，但是不逐帧改变。除了所示的地板、椅子和植物，静态对象可以是捕捉设备20中的图像相机拾取的任何对象。场景内的附加静态对象可包括任何墙、天花板、窗、门、墙面装饰等。

系统10及其组件的合适的示例在以下共同待审的专利申请中找到，这些专利申请全部特此通过引用结合于此：于2009年5月29日提交的名称为“Environment And/OrTarget Segmentation（环境和/或目标分割）”的美国专利申请S/N.12/475,094；于2009年7月29日提交的名称为“Auto Generating a Visual Representation（自动生成视觉表示）”的美国专利申请S/N.12/511,850；于2009年5月29日提交的名称为“Gesture Tool（姿势工具）”的美国专利申请S/N.12/474,655；于2009年10月21日提交的名称为“Pose TrackingPipeline（姿态跟踪流水线）”的美国专利申请S/N.12/603,437；于2009年5月29日提交的名称为“Device for Identifying and Tracking Multiple Humans Over Time（用于随时间标识和跟踪多个人的设备）”的美国专利申请S/N.12/475,308；于2009年10月7日提交的名称为“Human Tracking System（人类跟踪系统）”的美国专利申请S/N.12/575,388；于2009年4月13日提交的名称为“Gesture Recognizer System Architecture（姿势识别器系统架构）”的美国专利申请S/N.12/422,661；以及于2009年2月23日提交的名称为“StandardGestures（标准姿势）”的美国专利申请S/N.12/391,150。

图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的一个示例实施例。在一个示例实施例中，捕捉设备20可被配置成经由任何合适的技术来捕捉具有可包括深度值的深度图像的视频，这些技术包括例如飞行时间、结构化光、立体图像等。根据一个实施例，捕捉设备20可以将所计算的深度信息组织成“Z层”，即可与从深度相机沿其视线延伸的Z轴相垂直的层。X和Y轴可被定义为与Z轴垂直。Y轴可以是垂直的，而X轴可以是水平的。X、Y和Z轴一起定义捕捉设备20所捕捉的3-D真实世界空间。

如图2所示，捕捉设备20可包括图像相机组件22。根据一个示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可以包括所捕捉场景的二维（2-D）像素区域，其中2-D像素区域中的每个像素都可表示深度值，比如例如所捕捉场景中的对象距相机的以厘米、毫米等为单位的长度或距离。

如图2所示，根据一个示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维（3-D）相机26，以及RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可将红外光发射到场景上，并且随后可使用传感器（未示出）、用例如3-D相机26和/或RGB相机28来检测从场景中的一个或多个目标和物体的表面反向散射的光。

在一些实施例中，可以使用脉冲红外光，以使得可以测量出射光脉冲与相应入射光脉冲之间的时间，并且将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。另外，在其他示例实施例中，可以将出射光波的相位与入射光波的相位相比较来确定相移。该相移然后可以用于确定从捕获设备20到目标或物体上的特定位置的物理距离。

根据另一示例性实施例，飞行时间分析可被用来通过经由包括例如快门式光脉冲成像在内的各种技术分析反射光束随时间的强度间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。

在另一示例实施例中，捕捉设备20可以使用结构化光来捕捉深度信息。在这样的分析中，图案化光（即被显示成诸如网格图案或条纹图案的已知图案的光）可以经由例如IR光组件24被投射到场景上。在落到场景中的一个或多个目标或物体的表面上以后，作为响应，图案可以变为变形的。图案的这样的变形可以被例如3-D相机26和/或RGB相机28捕捉，并且随后可被分析以确定从捕捉设备20到目标或物体上的特定位置的物理距离。

根据另一实施例，捕捉设备20可包括可以从不同的角度观察场景的两个或更多个在物理上分开的相机，以获取可以被解析以生成深度信息的视觉立体数据。在另一示例实施例中，捕捉设备20可使用点云数据（point cloud data）和目标数字化技术来检测用户的特征。其他传感器系统可被用在又一些实施例中，诸如举例而言能够检测x、y和z轴的超声系统。

捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒30可用于减少目标识别、分析和跟踪系统10中的捕捉设备20与计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等之类的应用。

在一示例实施例中，捕捉设备20还可包括能与图像相机组件22通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。

捕捉设备20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、3-D相机或RGB相机捕捉到的图像或图像的帧、或任何其他合适的信息、图像等。根据一示例实施例，存储器组件34可包括随机存取存储器（RAM）、只读存储器（ROM）、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像相机组件22和处理器32通信的单独组件。根据另一个实施例，可将存储器组件34集成到处理器32和/或图像相机组件22中。

如图2所示，捕捉设备20可经由通信链路36与计算环境12通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一个实施例，计算环境12可以经由通信链路36向捕捉设备20提供时钟，该时钟可用于确定何时要捕捉例如场景。

另外，捕捉设备20可提供由例如3-D照相机26和/或RGB照相机28所捕捉的深度信息和图像。有了这些设备的帮助，可根据本发明技术开发部分骨架模型，其中所得数据经由通信链路36提供给计算环境12。

计算环境12还可包括用于如下所解释地识别姿势的姿势识别引擎190。根据本系统，计算环境12还可包括骨架识别引擎192、图像分割引擎194、描述符提取引擎196以及分类器引擎198。这些软件引擎的每一种都会在以下更详细地描述。

图3示出了由骨架识别引擎192所生成的示例身体模型70的非限制视觉表示。身体模型70是所建模的目标（例如，图1A和1B的用户18）的机器表示。身体模型可包括一个或多个数据结构，该一个或多个数据结构包括一组变量，该组变量一起以游戏或其他应用/操作系统的语言来定义被建模的目标。

目标的模型可在不背离本公开的范围的情况下不同地被配置。在一些示例中，模型可包括将目标表示为包括刚性和/或可变形形状、或身体部位的三维模型的一个或多个数据结构。每一身体部位可被表征为数学图元，其示例包括但不限于球体、各向异性地缩放的球体、圆直方柱体、各向异性圆直方柱体、平滑圆直方柱体、方框、斜面方框、棱直方柱等。

例如，图3的身体模型70包括身体部位bp1至bp14，其各自表示被建模的目标的不同部分。每一身体部位都是三维形状。例如，bp3是表示被建模的目标的左手的矩形棱直方柱，而bp5是表示被建模的目标的左上臂的八角棱直方柱。身体模型70是示例性的，因为身体模型可包含任意数量的身体部位，其各自可以是被建模的目标的相应部位的任何机器可理解的表示。

包括两个或更多身体部位的模型还可包括一个或多个关节。每一关节可允许一个或多个身体部位相对于一个或多个其他身体部位移动。例如，表示人类目标的模型可包括多个刚性和/或可变形身体部位，其中一些身体部位可表示人类目标的相应解剖学身体部位。此外，该模型的每一身体部位可包括一个或多个结构件（即，“骨骼”或骨架部位），且关节位于相邻骨骼的交叉点处。应当理解，一些骨骼可对应于人类目标中的解剖学骨骼，和/或一些骨骼在人类目标中可能不具有相应的解剖学骨骼。

骨骼和关节可共同构成骨架模型，它们可以是身体模型的构成元素。在一些实施例中，骨架模型可代替另一类型的模型（诸如，图3的模型70）来使用。骨架模型可包括每一身体部位的一个或多个骨架构件以及相邻骨架构件之间的关节。示例性骨架模型80和示例性骨架模型82分别在图4和5中示出。图4示出了从正面看的具有关节j1到j33的骨架模型80。图5示出如从斜视图查看的也具有关节j1至j33的骨架模型82。骨架模型可在不背离本发明的精神的情况下包括更多或更少的关节。在下文中所解释的本系统的其他实施例使用具有31个关节的骨架模型来操作。

上述身体部位模型和骨架模型是可用作被建模的目标的机器表示的非限制模型类型示例。其他模型也在本公开的范围之内。例如，一些模型可包括多边形网格、片、非均匀理性B样条、细分表面、或其他高阶表面。模型还可包括表面纹理和/或其他信息来更准确地表示被建模的目标的衣着、头发和/或其他方面。模型可任选地包括与当前姿态、一个或多个过去的姿态和/或模型物理学有关的信息。应当理解，可摆姿态的各种不同的模型与本文描述的目标识别、分析和跟踪是兼容的。

用于生成捕捉设备20视场内的一个或多个用户的骨架模型的软件流水线是已知的。一种这样的系统在例如2010年9月7日提交的题为“System For Fast,ProbabilisticSkeletal Tracking（用于快速、概率性骨架跟踪的系统）”的美国专利申请S/N.12/876,418中公开，该申请在此通过引用整体结合于此。在特定条件下，例如在用户足够接近捕捉设备20且用户的至少一只手可从其他背景噪声中区分开来的情况下，软件流水线还能够为这只手和/或FOV内一个或多个用户的手指生成手模型。

图6是用于识别和跟踪用户的手和/或手指的软件流水线的流程图。在步骤200，流水线从捕捉设备20接收深度图像。图7中的302例示用户的一部分的深度图像。深度图像中的每一像素包含深度信息，例如如通过灰度梯度在图7中例示的。例如，在302，如用户左手的深黑区域所指示的，左手更靠近捕捉设备20。捕捉设备或深度摄像机捕捉观察场景内的用户的图像。如下所述，用户的深度图像可被用来确定用户的各区域的距离信息、用户的尺度信息、曲率和用户的骨架信息。

在步骤204，如上所述，流水线的骨架识别引擎192估计用户的骨架模型，以便从步骤200所获取的深度图像中获取虚拟骨架。例如，在图7中，虚拟骨架304被示为从302所示的用户的深度图像估计。

在步骤208，流水线经由流水线的图像分割引擎194来分割用户的一只或多只手。在某些示例中，除手之外，图像分割引擎194可另外地分割身体的一个或多个区域。分割用户的手部包括标识深度图像中对应于手的区域，其中标识至少部分地基于步骤204中所获得的骨架信息。图7例示了基于所估计的骨架304将用户的深度图像分割成不同区域306（如不同阴影的区域所指示）的示例。图7示出所定位的与用户举起的右手对应的手部区域308。

可以用各种方式来分割或定位手或身体区域，并可基于上文描述的骨架估计中标识的所选关节。作为一个示例，深度图像中的手部检测和定位可以是基于所估计的骨架中估计的手腕和/或手端关节。例如，在某些实施例中，深度图像中的手部分割可使用对手部关节周围的深度图像的拓扑搜索来执行，从而将深度图像中的附近局部极值定位成指尖候选。图像分割引擎194随后通过考虑如从所估计的骨架中确定的身体大小比例因子以及边界标识的深度不连续性来分割手的其余部分。

作为另一示例，可采用泛洪填充法来标识深度图像中与用户手部对应的区域。在泛洪填充法中，可以从初始点和初始方向开始搜索深度图像，例如初始点可以是腕关节，初始方向可以是从肘部到腕关节的方向。可基于在初始方向上的投影来对深度图像中的邻近像素进行迭代计分，作为对背离肘部且朝向手端的点赋予偏好的方式，而深度一致性约束（诸如深度不连续性）可被用来标识深度图像中用户手部的边界或极值。在某些示例中，例如可使用阈值距离值，来基于固定值或按比例地基于所估计的用户的尺寸在初始方向的正向和反向两者上限制深度图搜索。

作为另一示例，可使用根据骨架关节（例如腕或手端关节）放置的边界圆或其他合适的边界形状来包含深度图像中的所有像素，直到深度不连续。例如，可使得窗口划过边界圆以标识深度不连续，这可用于在深度图像的手部区域中建立边界。

定界形状方法还可用于围绕手掌中心放置定界形状，手掌中心可被迭代地标识。这种迭代定界方法的一个示例被公开在：David Tuft的题为“Kinect Developer Summitat GDC2011:Kinect for XBOX360（2011年游戏开发者大会之Kinect开发者峰会：针对XBOX360的Kinect）”的演示，作为附件1附在此；以及由K.Abe,H.Saito,S.Ozawa在IEEE系统、人类、和控制论国际会议学报，2000年第2卷上发表的“3D drawing system via handmotion recognition from cameras（经由来自相机的手部运动识别的3D绘制系统）”，该出版物在此通过引用整体结合于此。

一般而言，这种方法涉及用于从模型中挑出像素的若干遍迭代。在每一遍中，该方法选出以手为中心的圆或其他形状外部的像素。接着，该方法选出（沿手臂向量）距手的端部太远的像素。随后该方法执行边缘检测步骤，以对手部边界进行边缘检测并且移除未连接的岛。根据这种方法的示例步骤在图8的流程图中示出。在步骤224，围绕手的中心生成定界形状，手的中心由来自骨架识别引擎192的手关节数据给出。定界形状大到足以涵盖整只手，并且是三维的。在步骤226，选出定界形状外部的像素。

在深度图像中可能会发生用户的手接近他或她的身体、或接近用户的第二只手，且来自那些其他身体部位的数据最初将被包括在所分割的图像中。可执行连接的组件标记来在所分割的图像中标记不同的质心。该质心（最有可能是手）基于其大小和手关节的位置来选择。未被选择的这些质心可被选出。在步骤230，还可选出沿自所附手臂的向量距手的端部太远的像素。

来自骨架识别引擎192的骨架数据可能是噪声，因此针对手的数据被进一步细化以标识手的中心。这可通过迭代该图像并且测量每一像素到手部轮廓边缘的距离来完成。图像分割引擎194随后可执行加权平均以计算出最大/最小距离。即，在步骤232，对于所分割的手部图像中的每一像素，标识沿x和y轴到手部轮廓边缘的最大距离，并且标识沿x和y轴到手部轮廓边缘的最小距离。取到该边缘的距离作为权重，且随后跨所有测量的像素取所确定的各最小距离的加权平均，以计算出图像内可能的手部位置的中心（步骤234）。使用新中心，该过程可被重复迭代，直到掌心从先前迭代的改变在某一容差内。

在一些方法中，当用户向外举起手、或将手举过躯干、或在躯干前举起手时可执行手部区域分割。这样，由于手部区域更容易和身体区分开，因此深度图像中的手部区域的标识会较不模糊。手部图像在用户的手掌位于面向捕捉设备20时特别清晰，此时手部特征可被检测作为轮廓。这些特征可以是噪声，但是有轮廓的手允许基于例如使用各种不同的方法检测手指之间的间隙以及看到手的总体形状并且对其映射，来作出关于手正在做什么的有见识的决定。检测那些间隙和其他特征允许识别特定手指，以及该手指正指向何处的一般方向。

应理解上述的示例性手部分割的例子是作为举例目的提出，并不旨在限制本发明的范围。通常，任何手部或身体部位分割方法都可单独使用，彼此结合使用，和/或与上述的一种示例性方法结合使用。

继续图7的流水线，步骤210涉及提取区域（例如，如在步骤208中所标识的深度图像中与手部对应的区域）的形状描述符。步骤210中的形状描述符由描述符提取引擎196提取，并且可以是被用于对手部区域进行分类的手部区域的任何适当的表示。在某些实施例中，形状描述符可以是用于编码或描述手部区域形状的向量或数字集合。

描述符提取引擎196可在步骤210使用各种过滤器中的任一个来提取形状描述符。一种过滤器可被称为像素分类器，现在将参考图9的流程图、图10的决策树以及图11-14的图示来描述。在步骤240，选择所分割的图像的前景中的像素。这些是至少在名义上被认为是用户手部的一部分的像素。围绕所选像素取预定义大小的框，其中所选像素位于中心。在各实施例中，框的大小可被选为标准化手指宽度的1.5倍。“标准化手指”是已基于骨架模型的大小以及检测到的用户距捕捉设备20的距离而被调整成标准化大小的用户手指。针对名义上被认为是手的一部分的每一像素相继运行以下步骤。

在步骤242，像素分类器过滤器确定框的多少边缘被相交。相交是图像从前景（手上）变换到背景（不在手上）的地方。例如，图11A示出手指276、手指上所选择的像素278、以及上面描述的半径为r围绕该像素的框280。框沿单个边缘在两点处被相交，即，点281a和281b。点281a和281b是图像从前景（手指）变换到背景的地方。出于定义如以下解释的手部质心的目的，所有与其相应框280的边缘具有两个相交点的像素278都被视为指尖（或如以下解释的指节或手臂的一部分）。

在步骤246，像素分类器过滤器确定相交是在同一边缘上还是在不同边缘上。如图11B中可见，手指可沿两个相邻边缘而不是沿着同一边缘与框280相交。这一信息可用于确定手指所指向的方向，如以下解释的。

出于定义如以下解释的手部质心的目的，与指尖相反，与像素的框280相交于四个点的该像素将被视为手指。例如，图12示出一个示例，其中所选择的像素278足够远离指尖，且存在与框280的四个相交点281a、281b、281c和281d。

在图9流程图中的步骤242以及图10决策树中的264，像素分类器过滤器检查框280有多少边缘相交。如果没有边缘相交，则在265所选择的像素被视为在用户手掌内。即，由于框280的大小被选择成使得如果像素位于手指或指尖中，则至少两个边缘将相交，因此如果像素位于手上且没有边缘相交，则像素被视为位于手掌中。如果两个边缘相交，则如以下解释的，过滤器前进到266以检查不相交边缘的角是实的（在手掌上）还是空的（背景）。如果在267四个边缘相交，则如以上解释的，它被视为是手指，。如果在268框280的边相交六次，则这被视为无效读数且被丢弃（步骤250）。

再次参考266，其中两个边缘相交，则它可能是指尖，但它也可能是两个相邻手指之间的空间。因此，像素分类器过滤器检查不相交的边缘的角（步骤248）。在不相交的边缘的角是实的情况下，这意味着框位于那些角处的手上，且相交点定义相邻手指之间的谷。相反，在不相交的边缘的角是空的（如与266相关联的图示中所示）情况下，这意味着框位于那些角处的背景像素上，且相交点定义手的一部分。

如果角是空的，则在269像素分类器过滤器检查相交点之间的距离（被称为弦长）是否小于手指的最大宽度（步骤252）。即，在存在两个相交点的情况下，它可能是如图11A所示的指尖。然而，像素还可能是手臂的一部分或手的一部分（诸如指节），如图13所示。如果这样，则弦长282可能大于手指的最大宽度。如果这样，在271（图10）像素278（针对像素278来检查框280）被认为位于手臂或指节上。

除了标识指尖或手指之外，两点或四点相交也可揭示指尖/手指正指向的方向。例如，在图11A中，存在小于手指最大宽度的两个相交，因此确定了像素278位于指尖中。然而，给定这样的相交，可以作出关于指尖正指向的方向的推断。这同样适用于图12中示出的手指。图11A示出手指276笔直向上指。但指尖276也可能在其他向上的方向上指着。来自指尖276中的点278附近的其他点的信息可用于进一步作出关于方向的推断。

图11B示出两点相交，该两点相交提供关于手指/指尖正指向的方向的附加推断。即，可从至共用角的距离之比来推断方向。换言之，点281a和281b之间的弦长定义了三角形的斜边，还包括点281a、281b和共用角之间的侧边。可以推断该手指正在与斜边垂直的方向上指着。

可能会发生举着手而两个手指并在一起、三个手指并在一起、或四个手指并在一起。因此，在使用针对手中每一像素的框208来运行以上步骤之后，该过程可使用稍微大于两个手指并在一起的最大宽度的框280来重复，并且随后使用稍微大于三个手指并在一起的最大宽度的框280来再次重复等。

一旦像素分类器过滤器数据被收集，在步骤258（图9）像素分类器过滤器接着尝试从该数据中构建手模型。如以下揭示的，根据这一信息，分类器引擎198能够确定手是张开的还是闭合的。存在所标识的小区域、或质心，诸如例如作为指尖的区域，以及作为手掌的区域，以及来自手部分割步骤的手掌中心的概念。分类器引擎198随后检查那些未被分类成指尖但由于它们相交于四个点而被分类成手指的手指质心。还针对手指和指尖区域标识方向定向。如果手指质心与指尖质心对齐，且它们彼此位于正确的相对位置，则算法连接那些质心作为属于同一手指。

接着，手指区域的定向用于基于骨架大小以及手指被认为有多大来投影手指的指节被认为是在哪里。手指之间的任何所标识的谷的大小、位置和定向也可用于确认所确定的手模型。接着，将所投影的指节位置连接到手掌。在完成后，像素分类器引擎确定骨架手模型284，其中的两个示例在图4中示出。该模型包括连接到手指质心、连接到指节质心、连接到手掌质心的指尖质心。与已知几何结构和手距已知手臂位置的可能位置有关的数据还可用于验证或怀疑所确定的指尖的位置、手指、指节和/或手掌质心位置，以及用于丢弃可被确定为无法形成手的一部分的质心数据。

即使手的一个或多个部分从手模型中丢失，以上仍将构建该模型。例如，手指可能已被遮挡，或者太接近用户的身体或要检测的另一个手。或者用户可能失去一手指。像素分类器过滤器将使用它检测到的手指和手部位置来构建手模型。

可作为像素分类过滤器的附加或替代而运行的另一种过滤器可被称为曲率分析过滤器。这种过滤器聚焦于沿所分割的手部轮廓的边界的曲率，以便在尝试区分手指时确定峰和谷。参考图15中的流程图，在步骤286，以第一像素开始，检查八个周围像素以确定手上的下一像素是哪个。由此，为了每一像素与下一像素之间的连接性，向该每一像素分配0到7之间的一个值。这些数字的链围绕手部轮廓被构建，这给出手部边界。在步骤288，这些值可被转换成围绕手部的角度和轮廓线，以提供手部轮廓线和各个峰的图，诸如图16所示。这些用于生成手部轮廓线和峰的步骤在例如由加拿大魁北克省蒙特利尔市麦吉尔大学计算机视觉和机器人实验室的F.Leymarie,M.D.Levine于1988年发表的题为“Curvaturemorphology（曲率形态学）”的文献中被描述，该文献通过引用整体结合于此。

围绕手部轮廓的各个峰在步骤289中被标识，并且各自针对该峰的各个特征来分析。峰可通过起始点、峰和结束点来定义。如以下解释的，这三个点可形成三角形。可被检查的峰的各个特征包括例如：

·峰的宽度；

·给定峰的最大高度；

·峰内曲率样本的平均高度；

·峰形比（最大高度/平均高度）；

·峰的面积；

·手到峰的距离；

·肘到手的方向（x、y和z）；

·峰的方向和手臂方向的叉积（手臂方向和峰的方向之间的角度有多小）；以及

·峰起始点与最大点之间的向量和最大点与结束点之间的向量的叉积。

在步骤290，这一信息可通过各种机器学习技术（诸如举例而言支持向量机）来运行，以区分手指和手。支持向量机是已知的，并且例如在C.Cortes和V.Vapnik于1995年9月在Machine Learning（机器学习），20(3):273-297上发表的题为“Support-VectorNetworks（支持向量网络）”以及Vladimir N.Vapnik于1995年在纽约Springer发表的题为“Nature of Statistical Learning（统计学习的本质）”中描述，这两者通过引用整体结合于此。其他机器学习技术可被使用并且包括例如回归、最近邻居、（无）监督群集等。在各实施例中，噪声数据可使用隐马尔可夫模型来平滑，以维护手的状态并且滤除噪声。曲率分析过滤器工作良好以标识面朝捕捉设备20的张开的手，但也可被用于标识闭合的手。

上述过滤器可被称为轮廓过滤器，因为它们检查与手部轮廓有关的数据。可使用的进一步的过滤器是直方图过滤器并且被称为深度过滤器，因为它使用深度数据来构建手模型。这一过滤器可作为上述过滤器的附加或替代使用，并且这一过滤器在用户已将他或她的手指向图像捕捉设备20时特别有用。

在直方图过滤器中，可以构建手部区域中的距离直方图。例如，这一直方图可包括15个直方柱，其中每个直方柱包括手部区域中在Z方向（深度）上距最接近相机的点的距离在特定距离范围内的点的数量，这一特定距离范围与这个直方柱关联。例如，这一直方图中的第一个直方柱可包括手部区域中到手质心的距离在0和0.40厘米之间的点的数量，第二个直方柱包括手部区域中到手质心的距离在0.40和0.80厘米之间的点的数量，以此类推。这样，可构建一个矢量来编码手部的形状。这些矢量例如还可根据估计的身体尺寸被标准化。

一般而言，通过分析这些直方柱上的分布，可以确定指向捕捉设备20的手是张开的还是闭合的。如果分布是前部重的（front heavy）（最前面几个直方柱相比于最后面几个直方柱具有大量像素），则可以推断手是闭合的如果分布是后部重的（back heavy）（最后面几个直方柱相比于最前面几个直方柱具有大量像素），则可以推断手是张开的且指向捕捉设备20。由此，张开或闭合状态可从如直方图所指示的质量分布推断。或者，直方图可被各种机器学习分类技术（如这里描述的）用作学习自动预测手的状态的特征。

在另一示例性方法中，可基于手部区域中的点到来自用户的估计骨架的关节、骨节或手掌平面（例如肘关节、腕关节）的距离和/或角度等来构建直方图。图17例示指示针对张开的手和闭合的手所确定的直方图的两个图。

又一过滤器是傅立叶描述符。傅里叶描述符的构建可包括对手部区域的轮廓线进行编码，例如通过将手部区域中从每一像素到手部区域的周界的距离映射到手部边界的椭圆拟合的半径，然后对该映射执行傅里叶变换。此外，例如可相对于所估计的身体尺寸来标准化这些描述符。这些描述符可以是相对于平移、缩放和旋转不变的。

再一过滤器包括确定手部区域的凸性，例如通过确定手部区域的轮廓线中一个区域与手部区域的凸包之比。

在上述过滤器提供信息不足的情况下可使用的又一过滤器被称为不连续性过滤器。这样的过滤器不提供识别或定位信息，但假定图像是手的图像并且标识手是张开的还是闭合的。不连续性过滤器基于以下事实：握紧的拳头相对平滑，并且相比于张开的手的轮廓线具有较少的轮廓线不连续性。因此，如果所测量的轮廓线不连续性小于某一预定阈值，则不连续性过滤器标识闭合的手。如果所测量的轮廓线不连续性大于该预定阈值，则不连续性过滤器标识张开的手。这样的图像数据的示例在图18中示出。

用于检测手的张开/闭合状态的又一过滤器被称为自然抓取过滤器。一般而言，自然抓取过滤器检测其中用户朝捕捉设备20伸出手并且张开及闭合他或她的手的移动。手掌可以面向和可以不面向捕捉设备20。自然抓取过滤器的进一步解释参考图19的流程图来解释。在步骤291，执行进一步分割。该进一步分割检查肘到手的向量，该肘到手的向量由骨架识别引擎192给出并且描述小臂。自然抓取过滤器随后迭代当前手部分割，并且对于每一像素，自然抓取过滤器计算出该像素距肘有多远。只有那些距肘最远的像素被维护，其中最远的被定义成基于用户的特定骨架尺寸的窗口。作为一个示例，对于成年人，它可能是四英寸的窗口，并且在距肘最远的点处开始。该窗口可针对儿童或较小的某个人而改变。

此时，可执行三个子过滤器中的一个或多个。第一个测量深度改变或跳跃。在步骤292，深度跳跃子过滤器在新分割的手部图像中迭代每一像素行和列。迭代可在所有行随后在所有列上执行，或反之亦然。这一子过滤器对深度跳跃数进行计数，其中深度跳跃被认为是图像中从一个像素到下一个像素的深度读数中的大跳跃。在迭代所有行和列后，子过滤器得到具有深度跳跃的行和列的百分比。

基于该百分比，深度跳跃子过滤器可形成关于手是否为张开或闭合的合理估计。闭合的手相比于张开的手将具有少得多的深度跳跃，因为给定手指之间的空间，张开的手将具有深度跳跃（深度跳跃还可由其他原因导致，诸如相机数据噪声导致例如张开的手指）。由于深图跳跃子过滤器的输出是一百分比，因此它对于手部尺寸是不变的。基于从测试中所确立的某一预定义的阈值百分比值，输出可以是二元的（张开/闭合）。另选地或附加地，输出可以是带有置信度值（百分比有多接近该阈值）的张开/闭合输出。

第二个子过滤器可被称为圆形子过滤器。在步骤293，圆形子过滤器检查新分割的手部图像的轮廓，以便确定该轮廓是否为大致圆形。如果是大致圆形，则这指示闭合的手。如果手以任何方式为张开的，其中所分割的图像包括手指或来自相机的额外噪声，则轮廓将较不圆。

作出该确定的方式用于计算新分割的手的质量中心，并且随后检查该图像的轮廓半径的标准偏差。握紧的拳头接近于圆形，并且从中心到轮廓边缘的不同半径的标准偏差将相对小。对于非圆形的某些东西而言标准偏差会较高，因为存在更多变化。由此，基于标准偏差值，圆形子过滤器输出关于手是张开的还是闭合的估计。该过滤器还得出手在轮廓上是垂直于来自捕捉设备的射线还是指向捕捉设备。基于从测试中所确立的某一预定义的阈值标准偏差值，圆形子过滤器的输出可以是二元的（张开/闭合）。另选地或替换地，输出可以是带有置信度值（标准偏差有多接近该阈值）的张开/闭合输出。

第三个子过滤器可被称为球拍（paddle）子过滤器。在步骤294，球拍子过滤器检查用户是否已伸展他们的手或他们的手指，因此张开的手（但他们的所有手指都并在一起）基本上形成一球拍。球拍子过滤器生成带有从指尖向后朝向肘的直方柱的直方图，并且检查这些直方柱中每一直方柱中的像素数量。球拍子过滤器随后分析这些直方柱是否表现为正在变大，或者这些直方柱是否正保持恒定且最终变小。

想法是当手举着如球拍那样而指尖并起来时，指尖处将存在较少像素且它们将朝手的中心生长。相反，如果手闭合握成拳头，拳头所在的顶部处将存在相对更多像素，并且将朝向手腕和手臂逐渐减少。因此，通过使用球拍子过滤器的直方图，并且使用当手成球拍（对照拳头）时的已知外形来分析所获得的直方柱，球拍子过滤器能够提供关于所分割的手是张开的还是闭合的估计。同样，基于从测试中所确立的某一预定义的阈值，球拍子过滤器的输出可以是二元的（张开/闭合）。另选地或附加地，输出可以是带有置信度值（该值有多接近阈值）的张开/闭合输出。

在步骤295，组合来自这些子过滤器的结果，以获取关于手是张开的还是闭合的最终输出或估计。步骤295的组合使用了决策树，决策树查看这些过滤器中每一者的张开和闭合以及置信度值，并且将它们组合在一起以得到最终张开/闭合输出。决策树可被定制，以使每一子过滤器的强势最大化而使弱势最小化。深度跳跃子过滤器可能最可靠。因此，当深度跳跃子过滤器的输出具有大于某一阈值的置信度时，这可被取作最终输出。

圆形子过滤器的结果可能是下一最可靠的。如果深度跳跃子过滤器的结果不具有大于该阈值的置信度，或深度跳跃子过滤器与圆形子过滤器的输出不一致，则圆形子过滤器的结果连同其置信度值可被考虑。如果是高置信度值，则圆形子过滤器的输出可被取作最终输出。

球拍子过滤器的结果可能是下一个最可靠的。如果深度跳跃子过滤器或圆形子过滤器都没有提供置信结果，则在球拍过滤器的结果具有大于某一阈值的置信度值的情况下，该结果可被视为并用作最终输出。

同一决策树类型的分析可用于考虑其他上述过滤器的结果。在一个实施例中，如果曲率分析过滤器提供具有置信度大于某一预定阈值的输出，则该结果可被取作最终输出。如果曲率分析过滤器的置信度不大于该阈值，则直方图过滤器的置信度可被检查。如果大于某一预定阈值，则该结果可被取作最终输出。如果直方图过滤器的置信度不大于该阈值，则自然抓取过滤器的置信度可被检查。如果大于某一预定阈值，则该结果可被取作最终输出。

上述这些过滤器可被标准化和/或对不同大小的手是不变的。这些不同的过滤器还可扩展到多个玩家，以及扩展到每一个这样的玩家的双手。

应理解，这些形状描述符的过滤器示例本质上是示例性的，并非旨在限制本发明的范围。通常，手部区域的任意合适形状描述符都可单独使用，或彼此结合使用，和/或与上述的一种示例性方法结合使用。例如，诸如上述的直方图或向量的形状描述符可被混合并匹配、组合、和/或连接到更大的向量中，等等。这可允许标识那些不能够通过孤立地查看它们来标识的新图案。这些过滤器可通过使用历史帧数据来增强，历史帧数据可指示例如所标识的手指是否与前一帧中所标识的手指偏离太多。

继续图6中示出的流水线，在步骤214，通过使用来自上述这些过滤器的信息，分类器引擎198（图2）能够对手进行分类。例如，可根据所存储的训练数据对在步骤210提取的形状描述符进行分类以估计手部的状态。举例来说，如图7的310处所例示，手部可被分类为张开的或闭合的。在某些示例中，训练数据可包括经过标注的各种手部状态的深度图像示例。训练数据可以是真实的或合成生成的，描绘不同身体尺寸和手臂方位的全部或上身3D模型以及不同的关节手部姿势，这些不同的关节手部姿势是基于运动捕捉或手工设计的手部姿势。可降低合成图像的质量以模拟有噪声的真实图像。

在某些示例中，在分类步骤214中使用的训练数据可以是基于预先确定的手部示例集合。可以基于其对照手部区域的形状描述符作比较的代表性手部状态，来分组或标注手部示例。

在某些示例中，可使用不同的元数据来划分训练数据。例如，训练数据可包括多个手部状态示例并例如根据以下的一个或多个进行划分：手的侧向（例如左或右），手的方位（例如小臂角度或小臂方位），深度，和/或用户的身体尺寸。将这些训练手部示例划分为单独的子集可降低每一部分中手部形状的变化性，这可使得手部状态的整体分类更准确。

另外在某些示例中，训练数据可以是特定于个别应用程序的。也就是说，训练数据可依赖于在给定应用中的期望动作，例如游戏中的期望活动等。此外，在某些示例中，训练数据可以是用户专用的。例如，应用或游戏可包括训练模块，其中用户执行一个或多个训练练习以校准训练数据。例如，用户可作出一系列张开或闭合手的姿势以建立训练数据集，该训练数据集用于在与系统的后续交互期间估计用户手部状态。

可以各种方式基于训练示例来执行用户手部分类。例如，可在分类中采用各种机器学习技术。非限制性示例包括：支持向量机训练、回归、最近邻居、（未）监督聚类等等。

图20示出用于组合上述各个过滤器的结果的管理员过滤器。例如，曲率分析过滤器、深度直方图过滤器、不连续性过滤器、图20中未示出的其他张开/闭合过滤器以及与手臂方向有关的数据可被提供给诸如支持向量机之类的机器。这些结果可使用隐马尔可夫模型来细化以提供对张开或闭合的手的指示。如上面提到的，通过知道从所分析的它们的骨架推导的用户距相机的距离以及手部尺寸，这里描述的各个过滤器中所使用的轮廓可被缩放成对手部尺寸和传感器距离是不变的。

如上所述，这些分类技术可使用各种手部状态的标注深度图像示例，用于预测所观察的手部处于多个状态之一的可能性。另外，可以在分类步骤期间或之后向分类添加置信度。例如，可以根据训练数据或通过将S函数或其他合适的误差函数拟合到分类步骤的输出，来将置信区间赋予所估计的手部状态。

作为分类手部状态的简单、非限制性示例，有两种可能的手部状态，张开或闭合，例如图7的310处所示。在这一示例中，训练数据可包括两种标注手部集合：表示张开或近似张开的手部状态的手部示例的第一集合和表示闭合或近似闭合的手部状态的手部示例的第二集合。这样，当给定所识别的手部区域的所提取的形状描述符时，可以将所识别的手部区域的所提取的形状描述符与第一（张开）和第二（闭合）手部集合的手部示例比较以确定所识别的手部区域落入每一集合的可能性。随后可根据更高的可能性估计出手部的状态。

除了张开或闭合的手部状态以外，本技术还可用于标识特定的手指取向，诸如举例而言用一个或多个手指指向特定方向。本技术还可用于标识各种手部位置，其中手指处于张开状态与闭合状态之间的某个位置并且在x、y、z笛卡尔空间内以各种角度来定向。

例如，如图7的310处所示，所标识的手部区域被确定为有更高的可能性是张开的，从而被如此分类。另外在某些示例中，被确定的所标识的手部为特定手部状态的可能性可以用来建立手部状态估计的置信区间。

在各实施例中，在步骤216（图6），可采用各种分类后过滤步骤来提高手部状态估计的准确性。例如，可对预测的连续深度图像帧之间的手部状态应用时间一致性过滤，如低通过滤步骤，以平滑预测并减少时间抖动，例如由虚假手部运动、传感器噪声、或偶然分类错误引起的时间抖动。也就是说，可执行根据来自捕捉设备或传感器的多个深度图像的用户手部的多个状态的估计，以及执行多个估计的时间过滤以估计手部状态。此外，在某些示例中，分类结果可以偏向一个状态或另一状态（例如偏向张开或闭合手），因为某些应用程序可能比其他应用程序对虚假正值（在一个方向或另一方向）更敏感。

在步骤220，图6的流水线可基于所估计的手部状态输出每一帧的响应。例如可将命令输出至计算系统的控制台，例如计算系统10的控制台12。作为另一示例，可将响应输出至显示设备，例如显示设备16。这样，所估计的用户运动，包括所估计的手部状态可被转换成给系统10的控制台12的命令，从而用户可以如上述般与系统交互。此外，可执行上述的方法或过程以确定用户身体任何部位的状态估计，例如嘴巴、眼睛等。例如，可以使用上述的方法估计用户身体部位的姿势。

本技术允许与NUI系统进行各种各样的交互，诸如图1A-1C所示的。存在各种各样的自然交互，这些自然交互基于手/手指移动、或将大的身体运动和精细粒度的手部控制进行组合，这些自然交互对于创建新识别的姿势、更身临其境的体验以及引人入胜的游戏是合乎需要的。这些使用和交互包括但不限于以下：

·抓取/释放机制——通过能够准确地对每一帧确定用户的手是张开的还是闭合的，NUI系统或应用能够精确地确定它何时执行抓取或释放运动。由此，例如，在其中用户正在投掷对象的游戏中，NUI系统或应用能够确定当用户打算释放所投掷的对象时的精确释放点（从闭合的手变换成张开的手）。其他示例包括但不限于攀爬、射弹弓、掷气球、以及拉取虚拟杆。

·拉取对象——使用张开和闭合手部检测来拉取虚拟对象——绳、杆等等。

·发起/终止动作——张开手以发起和保持一动作，闭合手以终止该动作。示例包括使用游戏中的消防水龙带——张开手打开它，手和手臂取向指向该水龙带，闭合手关闭它。

构想了其他手指和手的交互。

图21A示出了可以用于在目标识别、分析和跟踪系统中解释用户的一个或多个位置和运动的计算环境的示例实施例。上文参考图1A-2所描述的诸如计算环境12等计算环境可以是诸如游戏控制台等多媒体控制台600。如图21A所示，多媒体控制台600具有中央处理单元（CPU）601，所述CPU具有一级高速缓存602、二级高速缓存604，以及闪存ROM606。一级高速缓存602和二级高速缓存604临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU601可被提供为具有一个以上的核，并且由此具有附加的一级高速缓存602和二级高速缓存604。闪存ROM606可存储在多媒体控制台600通电时引导过程的初始阶段期间加载的可执行代码。

图形处理单元（GPU）608和视频编码器/视频编解码器（编码器/解码器）614形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从GPU608向视频编码器/视频编解码器614运送数据。视频处理流水线向A/V（音频/视频）端口640输出数据，用于传输至电视机或其他显示器。存储器控制器610连接到GPU608，以便于处理器对各种类型的存储器612（诸如，但不限于RAM）的访问。

多媒体控制台600包括优选地在模块618上实现的I/O控制器620、系统管理控制器622、音频处理单元623、网络接口控制器624、第一USB主控制器626、第二USB主控制器628以及前面板I/O子部件630。USB控制器626和628用作外围控制器642(1)-642(2)、无线适配器648、以及外置存储器设备646（例如，闪存、外置CD/DVD ROM驱动器、可移动介质等）的主机。网络接口624和/或无线适配器648提供对网络（例如，因特网、家庭网络等）的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。

提供系统存储器643来存储在引导过程期间加载的应用数据。提供媒体驱动器644，并且其可包括DVD/CD驱动器、硬盘驱动器，或其他可移动媒体驱动器等。媒体驱动器644可内置或外置于多媒体控制台600。应用数据可经由媒体驱动器644访问，以供多媒体控制台600执行、回放等。媒体驱动器644经由诸如串行ATA总线或其他高速连接（例如IEEE1394）等总线连接到I/O控制器620。

系统管理控制器622提供与确保多媒体控制台600的可用性相关的各种服务功能。音频处理单元623和音频编解码器632形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元623与音频编解码器632之间传输。音频处理流水线将数据输出到A/V端口640，以供外置音频播放器或具有音频能力的设备再现。

前面板I/O子部件630支持暴露在多媒体控制台600的外表面上的电源按钮650和弹出按钮652、以及任何LED（发光二极管）或其他指示器的功能。系统供电模块636向多媒体控制台600的组件供电。风扇638冷却多媒体控制台600内的电路。

多媒体控制台601内的CPU608、GPU610、存储器控制器600、以及各种其他组件经由一条或多条总线互连，该总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线体系结构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连（PCI）总线、PCI-Express总线等。

当多媒体控制台600通电时，应用数据可从系统存储器643加载到存储器612和/或高速缓存602、604中，并且可在CPU601上执行。应用可在导航到多媒体控制台600上可用的不同媒体类型时呈现提供一致的用户体验的图形用户界面。在操作中，媒体驱动器644中所包含的应用和/或其他媒体可从媒体驱动器644启动或播放，以将附加功能提供给多媒体控制台600。

多媒体控制台600可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台600允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口624或无线适配器648可用的宽带连接集成的情况下，多媒体控制台600还可作为更大网络社区中的参与者来操作。

当多媒体控制台600通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留量（例如，16MB）、CPU和GPU周期保留量（例如，5％）、网络带宽保留量（例如，8kbs）等。因为这些资源是在系统引导时保留的，所以所保留的资源从应用的角度而言是不存在的。

具体而言，存储器保留量优选地足够大，以包含启动内核、并发系统应用程序和驱动程序。CPU保留量优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留量，通过使用GPU中断来调度代码以将弹出窗口渲染为覆盖图，从而显示由系统应用生成的轻量消息（例如，弹出窗口）。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在完整的用户界面被并发系统应用使用的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率和引起TV重新同步。

在多媒体控制台600引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU601上运行，以便提供对应用而言一致的系统资源视图。调度是为了使在控制台上运行的游戏应用的高速缓存中断最小化。

当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器（如下所描述的）在系统应用活动时控制游戏应用的音频级别（例如，静音、衰减）。

输入设备（例如，控制器642(1)和642(2)）由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器优选控制输入流的切换，而无需知道游戏应用的知识，并且驱动器维护关于焦点切换的状态信息。相机26、28和捕捉设备20可为控制台600定义附加输入设备。

图21B示出了计算环境720的另一示例实施例，它可以是用来解释目标识别、分析和跟踪系统中的一个或多个位置和运动的图1A-2中示出的计算环境12。计算系统环境720只是合适的计算环境的一个示例，并且不旨在对当前公开的主题的使用范围或功能提出任何限制。也不应当将计算环境720解释为对示例性操作环境720中所示的任一组件或其组合有任何依赖性或要求。在一些实施例中，各个所示的计算元素可包括被配置成实例化本公开的特定方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例实施例中，术语电路可包括通过体现可操作以执行功能的逻辑的软件指令来配置的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。由此，对于硬件实现还是软件实现的选择是设计选择之一并留给实现者。

在图21B中，计算环境720包括通常包括各种计算机可读介质的计算机741。计算机可读介质可以是能由计算机741访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器722包括诸如ROM723和RAM760之类的易失性和/或非易失性存储器形式的计算机存储介质。包含诸如在启动期间帮助在计算机741内的元件之间传输信息的基本例程的基本输入/输出系统724（BIOS）通常存储在ROM723中。RAM760通常包含处理单元759可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图21B示出了操作系统725、应用程序726、其他程序模块727，以及程序数据728。图21B还包括具有用于高速和高分辨率的图形处理和存储的相关联的视频存储器730的图形处理器单元（GPU）729。GPU729可通过图形接口731连接到系统总线721。

计算机741也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。只作为示例，图21B示出了读写不可移动非易失性磁性介质的硬盘驱动器738、读写可移动非易失性磁盘754的磁盘驱动器739、以及读写诸如CDROM或其他光学介质之类的可移动的非易失性光盘753的光盘驱动器740。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器738通常通过诸如接口734之类的不可移动存储器接口连接到系统总线721，并且磁盘驱动器739和光盘驱动器740通常通过诸如接口735之类的可移动存储器接口连接到系统总线721。

上面所讨论的并且在图21B中所示出的驱动器以及它们的相关联的计算机存储介质，为计算机741提供了计算机可读的指令、数据结构、程序模块及其他数据的存储。例如，在图21B中，硬盘驱动器738被示为存储了操作系统758、应用程序757，其他程序模块756，以及程序数据755。注意，这些组件可与操作系统725、应用程序726、其他程序模块727和程序数据728相同，也可与它们不同。在此操作系统758、应用程序757、其他程序模块756以及程序数据755被给予了不同的编号，以说明至少它们是不同的副本。用户可通过诸如键盘751和定点设备752（通常称为鼠标、跟踪球或触摸垫）之类的输入设备将命令和信息输入计算机741。其他输入设备（未示出）可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他输入设备通常通过耦合到系统总线的用户输入接口736连接到处理单元759，但也可通过诸如并行端口、游戏端口或通用串行总线（USB）之类的其他接口和总线结构来连接。相机26、28和捕捉设备20可为控制台700定义附加输入设备。监视器742或其他类型的显示设备也经由诸如视频接口732之类的接口连接至系统总线721。除了监视器以外，计算机还可包括诸如扬声器744和打印机743之类的其他外围输出设备，它们可通过输出外围接口733来连接。

计算机741可使用到一个或多个远程计算机（诸如，远程计算机746）的逻辑连接而在联网环境中操作。远程计算机746可以是个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，通常包括上文参考计算机741所描述的许多或全部元件，但是图21B中只示出了存储器存储设备747。图21B中所描绘的逻辑连接包括局域网（LAN）745和广域网（WAN）749，但是也可以包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机741通过网络接口或适配器737连接到LAN745。当在WAN联网环境中使用时，计算机741通常包括调制解调器750或用于通过诸如因特网等WAN749建立通信的其他手段。调制解调器750可以是内置的或外置的，可经由用户输入接口736或其他适当的机制连接到系统总线721。在联网环境中，相对于计算机741所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图21B示出了驻留在存储器设备747上的远程应用程序748。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。

本发明系统的前述详细描述是出于说明和描述的目的而提供的。这并不旨在穷举本发明系统或将本发明系统限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择所述实施例以最好地解释本发明系统的原理及其实践应用，从而允许本领域技术人员能够在各种实施例中并采用各种适于所构想的特定用途的修改来最好地利用本发明系统。本发明系统的范围旨在由所附权利要求书来定义。

Claims (10)

1.一种用于生成包括一个或多个手指的用户的手的模型的方法，包括：

(a)接收表示与传感器交互的用户的位置的位置数据，所述位置数据包括表示用户的手的深度和图像数据中的至少一者；以及

(b)分析所述位置数据以标识手是处于张开的还是闭合的状态，所述步骤(b)包括以下步骤：

(b)(1)从所述步骤(a)中捕捉的位置数据分析深度数据，以将所述位置数据分割成手的图像数据，包括：从所述深度数据中识别用户的骨架的至少一部分以及将身体的一个或多个区域分割成表示用户的手的区域；以及

(b)(2)通过将一个或多个过滤器应用于所述步骤(b)(1)中所标识的手的图像数据来提取一组特征描述符，所述一个或多个过滤器分析表示手的区域中的像素以辨别包括手的形状的手的特征，其中所述一个或多个过滤器中的每一个过滤器的结果被组合以得到手是张开还是闭合的最佳估计；

其中所述一个或多个过滤器包括曲率分析过滤器，所述曲率分析过滤器聚焦于沿所分割的手部轮廓的边界的曲率，以便在尝试区分手指时确定峰和谷。

2.如权利要求1所述的方法，其特征在于，还包括以下步骤：运行经由所述传感器接收命令的应用，并且基于如所述步骤(b)中所标识的手是张开的还是闭合的来影响所述应用中的控制动作。

3.如权利要求1所述的方法，其特征在于，所述步骤(b)(1)包括以下步骤：分析从所述图像数据构建的质心以定位手的最佳候选。

4.如权利要求1所述的方法，其特征在于，所述步骤(b)(1)还包括以下步骤：分析手的最佳候选以确定手的中心的最佳候选。

5.如权利要求1所述的方法，其特征在于，所述步骤(b)(2)中的通过将一个或多个过滤器应用于所述步骤(b)(1)中所标识的手的图像数据来提取一组特征描述符包括应用像素分类器的步骤，应用像素分类器包括以下步骤：

在手的形状描述符的边界内选择像素，

围绕每一像素构建预定大小的框，每一框在所述形状描述符的平面中被构建，

确定与每一框的相交点，所述图像数据于所述相交点处在前景点和背景点之间变换，以及

根据为每一所检查的像素分析每一框的相交点，标识手是张开的还是闭合的。

6.如权利要求1所述的方法，其特征在于，所述步骤(b)(2)中的通过将一个或多个过滤器应用于所述步骤(b)(1)中所标识的手的图像数据来提取一组特征描述符包括应用所述曲率分析过滤器的步骤，应用所述曲率分析过滤器包括以下步骤：

沿着手的形状描述符的边界选择像素，

检查所选择的像素周边的多个像素，并且向所选择的像素分配值，所述值指示哪个周边像素也是沿着选择描述符的边界，

将所述值转换成手周围的角度和轮廓线，包括峰和谷，以及

确定哪些峰表示手的张开的手指或闭合的手指。

7.一种用于确定所检测的手是张开的还是闭合的系统，所述系统包括操作地耦合到计算设备的传感机制，所述系统包括：

骨架识别引擎，用于从包括图像和深度数据的至少一者的收到数据中识别用户的骨架的至少一部分；

图像分割引擎，用于将身体的一个或多个区域分割成表示用户的手的区域；以及

描述符提取引擎，用于提取表示包括一个或多个手指的手以及手是张开还是闭合的数据，所述描述符提取引擎应用多个过滤器来分析表示手的区域中的像素，所述多个过滤器中的每一过滤器确定手的位置以及张开或闭合状态，所述描述符提取引擎组合每一过滤器的结果以得到手是张开还是闭合的最佳估计；

其中所述多个过滤器包括曲率分析过滤器，所述曲率分析过滤器聚焦于沿所分割的手部轮廓的边界的曲率，以便在尝试区分手指时确定峰和谷。

8.如权利要求7所述的系统，其特征在于，所述描述符提取引擎的多个过滤器包括不连续性过滤器，所述不连续性过滤器测量被假定为手的形状周围的轮廓线不连续性，所述不连续性过滤器在所述轮廓线不连续性小于预定阈值时标识闭合的手。

9.如权利要求7所述的系统，其特征在于，所述描述符提取引擎包括自然抓取过滤器，所述自然抓取过滤器检测手朝向所述传感机制的移动以及手的手指是张开的还是闭合的。

10.一种用于针对自然用户界面生成包括一个或多个手指的用户的手的模型的方法，所述方法包括：

(a)接收与自然用户界面进行交互的用户的图像数据；

(b)分析所述图像数据，以在所述图像数据中标识手，包括：所述图像数据中识别用户的骨架的至少一部分以及将身体的一个或多个区域分割成表示用户的手的区域；以及

(c)通过将一个或多个过滤器应用于所标识的手的像素以将表示所标识的手的区域中的像素针对预定义的手位置进行比较，以确定用户是否已执行以下预定义的手姿势或控制动作之一，其中所述一个或多个过滤器中的每一个过滤器的结果被组合以得到手是张开还是闭合的最佳估计：

(c)(1)抓取姿势；

(c)(2)释放姿势；

(c)(3)拉取姿势，其中手被确定为紧密围绕虚拟对象并致动所述虚拟对象；以及

(c)(4)通过标识张开的手来发起并保持动作；以及

(c)(5)通过标识闭合的手来终止动作；

其中所述一个或多个过滤器包括曲率分析过滤器，所述曲率分析过滤器聚焦于沿所分割的手部轮廓的边界的曲率，以便在尝试区分手指时确定峰和谷。