CN102947777A

CN102947777A - 用户跟踪反馈

Info

Publication number: CN102947777A
Application number: CN2011800308820A
Authority: CN
Inventors: D·易; K·S·佩雷斯
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-06-22
Filing date: 2011-06-14
Publication date: 2013-02-27
Anticipated expiration: 2031-06-14
Also published as: JP2013539565A; EP2585896A2; US20100277411A1; CN102947777B; WO2011163011A3; ES2669869T3; EP2585896B1; US9898675B2; JP5943913B2; CA2800538A1; TW201203089A; EP2585896A4; WO2011163011A2

Abstract

呈现了用于向用户提供关于正在执行的应用跟踪用于控制计算机系统上的正在执行的应用的用户动作的能力的反馈的技术。捕捉系统检测捕捉区域内的用户。捕捉区域和用户动作中的各种因素可能对应用确定用户移动是否是作为对该应用的控制或指令的能力产生不利影响。这些因素的一个示例是用户在捕捉系统的视野外。某一其他因素示例包括捕捉区域内的光照条件和障碍物。响应于用户跟踪准则未被满足，向用户输出反馈。在一些实施例中，该反馈在正在执行的应用的上下文中提供。

Description

用户跟踪反馈

背景

在典型的计算环境中，用户具有诸如键盘、鼠标、游戏杆等输入设备，输入设备可以通过电缆、电线、无线连接或某些其他连接手段来连接到计算环境。如果对计算环境的控制将从连接的控制器转换到基于姿势的控制，特别是在自然用户界面（NUI）中时，则用户不再具有以极大的一致性将用于应用的控制指令告知计算环境的连接的设备。

例如，当计算环境具有诸如控制器或键盘这样的已设定输入时，用户可以确定他具有连至端口的控制器、他正在按压按键或按钮、以及系统正在响应。当对计算环境的控制被转换成用户的姿势时，检测姿势可能由于捕捉区域或用户的身体移动的视觉或音频特性不像用控制器那样而被抑制或者产生来自应用的非最优响应。无法适当地检测姿势可阻碍用户与正在执行的应用进行交互。例如，可阻碍他对正由应用执行的游戏的参与。

概述

呈现了用于向用户提供关于正在执行的应用跟踪用于控制计算机系统上的正在执行的应用的用户动作的能力的反馈的技术。捕捉系统检测捕捉区域内的用户。响应于用户跟踪准则未被满足，向用户输出反馈。在一些示例中，反馈可以是音频指示。在其他示例中，提供视觉指示符作为反馈以推荐供用户采取的动作以满足跟踪准则。在一些实施例中，该反馈在正在执行的应用的上下文中提供。在一个实施例中，呈现了一种用于帮助用户选择捕捉区域的技术。另外，在一些实施例中，对反馈响应的选择可根据准则来确定。

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图简述

图1A示出了用于提供用户反馈的各技术实施例可在其中操作的目标识别、分析和跟踪系统的示例实施例。

图1B示出了用于建议供用户采取的动作以满足跟踪准则的用户跟踪反馈响应的另一示例。

图1C示出了可见性因素的一些示例。

图1D示出了其中拿着一物体的用户与目标识别、分析和跟踪系统的实施例交互的另一实施例。

图1E示出了可告知用户他太近或在边界外的视觉指示符的示例。

图1F和1G示出了告知用户他们在捕捉设备的视野外的视觉指示符的附加示例。

图2是用于提供用户跟踪反馈的的系统的计算机实现的功能体系结构的说明性实施例。

图3A示出了可以在类似图1A-1E的游戏控制台中使用的计算环境的实施例的详细示例，用于提供用户跟踪反馈的一个或多个实施例可以在该计算环境中操作。

图3B示出了诸如个人计算机等计算环境的另一示例实施例。

图4示出了用于提供用户跟踪反馈的一个或多个实施例可在其中操作的联网计算环境的示例实施例。

图5描绘了可基于捕捉到的图像数据来创建并被用来跟踪用户移动的人类用户模型。

图6描绘了姿势的一些示例。

图7是用于向用户提供关于应用跟踪用户运动的能力的反馈的方法实施例的流程图。

图8是用于帮助用户选择捕捉区域的方法实施例的流程图。

详细描述

呈现了用于向用户提供关于正在执行的应用跟踪用于控制计算机系统上的正在执行的应用的用户动作的能力的反馈的技术。可影响跟踪用户的能力的可区别性的一个示例是控制显示对象的用户的身体部位至少部分地在图像捕捉系统的视野外的情况。其他因素包括诸如光照效果等环境因素、特定类型的障碍物以及诸如言语（例如，音节或单词）的响度和可区别性等音频因素。

在一些实施例中，该技术呈现作为给用户的显式建议的反馈响应。在其他实施例中，该反馈通过在正在执行的应用的上下文中提供而是细微或隐式的。例如，当用户太靠近捕捉系统的视野的边框时，诸如场景中的可怕怪兽等对象出现在该边框附近的显示侧。用户具有朝着视野的中心移动离开视野边框以避开怪兽的动机。

被用来确定对反馈响应的选择的因素的示例在下文中进一步讨论。

图1A示出了用于提供用户反馈的各技术实施例可在其中操作的目标识别、分析和跟踪系统的示例实施例，用户18正在玩游戏。在该示例中，目标识别、分析和跟踪系统10可以在没有特殊传感设备附连到主体的情况下在人类的自然环境中识别人类，并在三维空间中唯一地标识和跟踪人类。然而，该技术可适用于诸如其中用户穿戴传感器的基于传感器的系统等其他用户跟踪机制。

根据该示例实施例，目标可以是人类目标（例如，用户18）、人类目标与一物体、两个或更多人类目标等，这些目标可被扫描来生成诸如骨架模型、网格人类模型、或其任何其他合适的表示等模型。可跟踪该模型使得目标的物理移动或运动可用作调整和/或控制应用的参数的实时用户接口。此外，该模型可作为模型呈现给应用并实时地传递给它们。例如，所跟踪的用户的运动可用于移动电子角色扮演游戏中的屏幕上的人物或化身。

在其中模型是多点骨架模型的一个示例中，目标识别、分析、及跟踪系统10基于人类肌肉-骨架系统的自然力学和能力的模型来高效地跟踪人类及其自然移动。示例系统10还唯一地识别个人以允许多人经由其肢体的自然移动来与该系统交互。

用户的移动可被跟踪到可以是表示通常是人类的用户的计算机生成的图像的化身。化身可以描绘用户的如下图像：该图像高度地代表该用户的实际外貌或者其可以是与用户具有变化的相似度或完全没有相似度的人物（例如人类、幻想、动物、动画对象）。

具体而言，图1A示出其中用户18玩拳击游戏的目标识别、分析、及跟踪系统10的配置的示例实施例。在该示例中，在计算机系统12上执行的控制其他计算机系统（通信地耦合的相机系统20和视听显示单元16）上的软件或与其交互的软件基于捕捉到的图像来跟踪用户18的移动，并且在用户的运动直接实时控制他的相关联的化身的动作时分析这些移动以产生指令。因此，在该示例中，用户18可以移动他的身体来控制他在显示屏14上的化身24，以在拳击游戏中对抗他的对手化身22。

视听显示系统16可以是诸如高分辨率电视机（HDTV）等高级显示系统。在其它实施例中，显示器可以是较低分辨率显示器，其某些示例包括电视机、计算机监视器或移动设备显示器。视听系统16可以通过通信接口（例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆）从计算系统12接收视听信号，并且然后可向用户18输出与视听信号相关联的游戏或应用视频和/或音频。

姿势包括担当用于控制正在执行的应用的用户输入的运动或姿态。用户可通过移动他的身体创建姿势。例如，可在图像数据中捕捉用户。可以对用户的所标识的姿势分析意义来用作对要执行的应用或动作的控制。例如，用户18在图1A的拳击游戏中挥出一记刺拳。游戏应用在拳击比赛中表示它，确定它是否接触了化身22，并且如果接触则增加用户的分数。姿势可以是静态姿态，如在一个人的躯干前面交叉握住他的前臂，或者它可以是一个或多个移动。此外，姿势可包括一个以上身体部位，如双手鼓掌。

例如，目标识别、分析和跟踪系统10可用于识别捕捉区域30中的用户18的挥拳，以使得该挥拳可被解释为，在该实例中作为对供他的玩家化身24在游戏空间中执行的重击的游戏控制。用户18的其他姿势也可被解释为其他控制命令或动作，诸如上下快速摆动、闪避、滑步、格挡、刺拳或挥动各种不同力度的重拳等控制。通过跟踪用户18的挥拳和刺拳，拳击游戏软件应用确定他的化身24分数以及哪个化身（22或24）将赢得比赛。不同的应用将识别和跟踪不同的姿势。例如，用户在棒球游戏中的投掷（pitch）被跟踪以便确定其是好球（strike）还是坏球（ball）。

根据其他示例实施例，基于姿势的系统10还可用于将目标移动解释为游戏领域之外的操作系统和/或应用控制。例如，事实上操作系统和/或应用程序的任何可控方面都可由诸如用户18等目标的移动来控制。

相机系统20捕捉该相机系统20的视野内的捕捉区域30中的用户的图像数据。在该示例中，相机系统20的视野内的捕捉区域30是梯形30，从用户的角度看，该梯形具有作为捕捉区域的前部的短线30f、后线30b（例如，一堵墙可形成该线）以及左侧30l和右侧30r。该视野可具有不同的几何结构。例如，捕捉区域的边界和障碍物可影响其几何结构。例如，如果用户正在健身房中玩游戏，则后墙可以更后面得多，以使得视野比梯形更像锥形。在其他情况下，透镜类型的相机也可影响视野。

在图1A中，用户被示为在前面或前方位置18b，在那里他的身体部位在左边界301上的捕捉区域30之外。用户18的位置是在更靠近捕捉区域30和相机的视野的中心的当前位置。如将在下文中更详细地讨论的，提供应用的上下文中的反馈以建议用户或激励用户移至他的右侧。其他化身22的位置已移至屏幕右侧，以使得用户18需要移动以重击他。在另一示例中，所显示的视图的视角已经从对手化身22的左视角变为右视角。在右视角视图中，如果用户18保持在位置18b，则他的化身将阻挡他的对手化身22的视图。该动作鼓励用户18移至右侧以更好地看见他的对手化身22。

还可使用一个或多个屏幕外显示元素来提供用户跟踪反馈。在所示示例中，诸如发光二极管（LED）等显示灯32可以满足特定用户。例如，可使用不同的颜色来显示跟踪质量。黄色可以是警告；绿色可以是满意；红色可指示问题。在另一示例中，不同的光照模式可指示跟踪质量。例如，每一个灯都可以与视野上的边界相关联。如果灯元件变成特定颜色，则该颜色可包括用户太靠近该边界的反馈。

图1B示出了用于建议供用户采取的动作以满足跟踪准则的用户跟踪反馈响应的另一示例。改变化身的外观可用于告知用户跟踪问题。化身24在该示例中是突出显示的。此外，箭头22形式的显式反馈是视觉指示符的示例。在该示例中，反馈推荐与化身24相关联的用户向右移动。这些视觉指示符是应用无关用户跟踪反馈的示例，因为这些指示符未被绑定到应用的上下文。

应用的上下文包括作为该应用的目的的活动。例如，在菜单用户界面应用中，打开或关闭文件会在应用的上下文中。根据游戏动作来移动的化身和场景对象是在游戏的上下文中的。在游戏应用的上下文中的动作的一些示例是挥拳、作为障碍的新敌人或怪兽到达、扔出或接到一个球、在化身或用户的视图移动通过虚拟环境时的场景变化、或者游戏动作的用户视图的方向或视角的改变。

图1C示出了可见性因素的一些示例。透过窗户44的阳光45可使得环境光照变成相机系统20的可见性问题。图像捕捉系统20的光仪表可指示在图像数据中用户正被洗旧。或者，可能太暗。

咖啡桌15是可阻挡用户的身体部位的障碍物的示例。拳击游戏可能由于用户18的腿被咖啡桌部分地遮挡而难以检测拳击中的“滑步”姿势。

图1D示出了其中拿着一物体的用户与目标识别、分析和跟踪系统10的示例实施例交互的另一实施例。在这些实施例中，电子游戏的用户19可手持物体从而可以使用用户19和物体21的运动来调整和/或控制游戏的参数，诸如击打屏幕上的球68。在其他示例中，可以跟踪并利用用户手持球拍21的运动来控制电子运动游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用用户手持物体的运动来控制电子格斗游戏中的屏幕上武器。也可以包括任何其他物体，诸如一个或多个手套、球、球棒、球杆、吉它、话筒、杆、宠物、动物、鼓等等。

图1D示出了使用应用的上下文中的反馈来向用户提供移至相机系统20的视野内的更好位置的建议或激励的另一示例。在位置19b处的用户已经已经相对于相机移动到太左边以使其包括他的右臂的上半身和球拍21在视野的左边界30l之外。先前到来的球68b已被显示在屏幕的左上角。该游戏的正在执行的应用将接着到来的球68置于显示器的中间以激励用户19移至覆盖捕捉区域30的视野的中心，如他19在他的当前位置19所完成的那样。

应当理解，图1D呈现了其中对用户的描绘不被呈现在屏幕上的替换方案。在图1D中，用户可以按第一人称玩网球，看见呈现在屏幕上的球，并且在一个示例中，球拍的全部或一部分击打该球，但没有用户化身被呈现在该屏幕上或者只有该用户的身体部位中的一部分被呈现。

图1E示出了可告知用户他太近或在边界外的视觉指示符的示例。特别对于非常年轻的儿童用户，显示对象28l（用于左边界问题）和28r（用于右边界问题）可以是用于告知用户朝着视野中心向后移动的反馈。类似的视觉指示符也可用于前边界和后边界。任选地，声音可以在每一个视觉指示符出现时或者在特定数量的边界违反后与该视觉指示符相关联。

图1F示出了视觉指示符的另一示例，其中用户19u正在玩保龄球游戏并且该用户的手臂19-1移出视野外。在屏幕上描绘28b中，用户的手臂28A褪色以便向用户显示该手臂在相机的视野之外。用于改变用户或用户正在参与的元素的屏幕上外观的其他替换方案包括改变用户的屏幕上表示的全部或一部分的颜色、改变用户的描绘的焦点（例如，使屏幕上表示模糊或褪色）。

图1G示出的又一示例具有在显示器16的左上角的警告图形29。该图形描绘了用户34和视野35的较小表示，并且可以在用户移出视野外时持续或间歇闪烁。

提供用户跟踪反馈的软件可以在显示器上为用户提供训练，以帮助用户获得对捕捉区域的边界是什么以及不同的反馈响应意味着什么的感觉。特定声音可以在处于视野中心或具有良好可见性的情况下标识，而另一声音指示用户太靠近边界或者存在障碍物或使跟踪质量下降的其他影响或物品。

在一个示例中，跟踪质量或跟踪准则可基于在已经建立对于目标识别和跟踪系统的用户在场和参与时在给定时间段中有多少姿势无法被标识。跟踪质量或跟踪准则可基于检测到在场和参与，但无法在应用的图像数据中识别出关键身体部位，诸如棒球游戏中的手臂。除了影响跟踪准则或质量的可见性因素之外，可区别性因素还可应用音频因素，因为一些应用依靠诸如语音等身体特征，而不仅仅是作为身体部位的身体特征的移动。

图2是用于提供用户跟踪反馈的系统200的计算机实现的功能体系结构的说明性实施例。这样的体系结构系统可被实现成可由在一个或多个处理器和/或计算机硬件上执行的软件来操作的一个或多个模块、或者实现成硬件或固件。

本技术可具体化为其他具体形式而不背离其精神或本质特征。类似地，对于模块、例程、特征、属性、方法和其他方面的具体命名和划分并非是强制性的，实现本技术或其特征的机制可具有不同的名称、划分和/或格式。此外，如本领域技术人员将显而易见的，所公开的实施例的模块、例程、特征、属性、方法和其他方面可被实现为软件、硬件、固件或三者的任意组合。当然，在组件（其示例是模块）被实现为软件的情况下，该组件可被实现为独立的程序、更大程序的一部分、多个单独的程序、静态或动态链接库、内核可加载模块、设备驱动程序、和/或编程技术领域中的技术人员现在已知或将来知晓的每一个和任何其他方式。例如，在一个实施例中，以下讨论的跟踪反馈软件213可以在应用编程接口（API）中被部分地实现为处理应用无关反馈响应，并且在特定应用的软件中被部分地实现为处理上下文应用反馈。

显示器视图控制系统202包括运动模块204，该模块访问用于传入图像数据205和任选的音频数据217的数据缓冲器223。在所示示例实施例中，显示器视图控制系统202从视听数据捕捉系统20本地地接收运动跟踪数据205。另外，显示器视图控制系统202可以通过因特网203或其他网络远程地接收运动跟踪数据205i。对于用户，运动跟踪数据可包括图像数据本身或该数据的降采样版本。另外，深度数据和从图像和/或深度数据中导出的各种形式的数据可被包括在运动跟踪数据中，该数据的一些示例是针对用户的身体的模型、引用该模型的数学图元中的运动数据、或者从用户中导出的用于与该模型的之前状态相比较的位掩码图。显示器视图控制系统202分析该数据以识别用户运动并且将该运动跟踪到显示器上的对象，例如跟踪到用户的屏幕上化身。化身是一种类型的场景或显示对象。

运动模块204通信地耦合到化身显示控制模块209、对象控制模块211、跟踪反馈软件213、姿势识别软件和数据206、视听数据捕捉系统20和因特网203。运动模块204还可访问存储在存储器中的数据存储220，诸如用于以下各项中的至少一个的模型数据216：用户216u、化身216a和显示器上或用户拿着的对象216o。模型数据被用作供运动模块204对捕捉区域中的用户或场景或显示器视图中的化身或对象进行运动跟踪的基准。在用户的身体移动被映射到化身的移动（例如基于用户的图像捕捉或用户身上的传感器）的系统中，可能存在表示用户216u的模型数据以及表示化身216a的模型数据。当化身的体格大不相同时，运动模块204执行两个模型之间的映射。例如，男孩用户18较矮并且很可能不具有他的化身拳击者24的手臂范围。换言之，如果曾使用了骨架模型，则它们可以对用户和化身是不同的。然而，在一些实施例中，该应用将相同的模型数据216用于分析用户的身体移动以及引导相应化身的运动。在一个示例中，身体模型可被实现成表示身体部位及其相对于参考点的在各维度的位置和/或旋转角度的一个或多个数据结构。模型数据216可按照绝对位置来更新或使用位置和旋转的变化来更新。位置和旋转的变化可被表示成向量和角度。

运动模块204还可访问简档数据214。在该示例中，存在对应于用户214u、化身214a和对象214o的简档。运动模块204还可访问包括化身图像数据219和对象图像数据221的显示数据218。

化身显示控制模块209基于姿势识别软件206识别出的姿势以及由运动模块204标识的其他可适用运动来更新化身图像数据219。在一个示例中，表示运动或姿态的图像数据219可以是该化身的运动跟踪数据。在一个示例中，这样的运动跟踪数据可以存储在运动捕捉文件中，该运动捕捉文件由运动模块204随着时间在新运动跟踪数据205被接收到时更新。

对象控制模块211更新受到用户的识别出的姿势影响的对象的图像数据221。此外，化身控制模块209和对象控制模块211响应于来自动作控制模块210的指令来更新其相应的图像数据（219、221）。动作控制模块210监督正在执行的应用。例如，在游戏环境中，该模块保存分数，确定在化身移至新的游戏关卡时需要新背景，确定如何将其他非用户控制的化身或对象放置在场景中。在非游戏环境中，该模块标识用户正在请求什么动作。例如，如果用户姿势是打开文件的请求，则该模块可访问文件本身或者向对象控制模块211提供访问文件并在显示器16上显示该文件的指令。显示处理模块207组合显示数据218以更新显示器。

显示数据218提供场景或视图上下文并且定义该场景或视图中的其他对象。例如，显示数据218提供图1A和1B中的拳击比赛的上下文环境、以及包括拳击赛台的绳索在内的对象的位置、以及对手拳击者化身22的存在。该场景中的另一拳击者22的最新的移动、特征和身体部位也可以存储为化身简档数据存储214中的另一简档。对显示数据218的更新可由诸如化身显示控制模块209或运动模块204等一个或多个模块通过因特网203或其他网络从远程模块接收。

化身显示控制模块209和对象控制模块211周期性地或响应于来自运动模块204的消息来读取对其相应的简档214的更新，并处理表示化身或对象的运动或姿态的图像数据219、221。图像数据219、221可被本地地呈现在显示器16上，或者该数据可通过因特网203或另一网络来传送。

化身简档数据214a的示例可以是针对化身的特征的彩色图像数据，比如毛发、面部特征、肤色、着装、化身在场景中的位置以及与其相关联的任何道具。

用户的简档214u中所存储的信息的示例可以包括典型的使用或玩游戏模式、年龄、身高、体重信息、姓名、残疾、高分或任何其他与用户和系统使用相关联的信息。

影响对反馈响应的选择的因素的示例可包括用户简档信息。例如，用户的年龄或残疾（身体或精神）可使得一种反馈响应比另一种更合适。例如，5岁的人无法理解应用上下文中的太细微的反馈，屏幕上的显式文本可能更合适。玩家可能是聋的，因此音频响应是不合适的。

如上所述，一些运动和姿态、姿势在娱乐程序或其他应用的上下文中具有特殊含义，并且显示器视图控制系统202执行指令以标识出它们。具体而言，运动模块204可访问姿势识别软件206和数据以便基于模型和运动跟踪数据来识别或标识姿势。

姿势识别软件206可包括姿势过滤器。在一个示例中，运动模块204可以基于相关联的数据索引（如身体部位索引）来选择一个或多个姿势过滤器206。例如，在显示器视图控制系统202接收到运动跟踪数据集更新并且特定身体部位的运动变化被指示时，运动模块204对与这些特定身体部位相关联的姿势过滤器206进行索引。

姿势过滤器206基于参数数据来执行指令，这些参数数据定义用于基于运动跟踪数据205确定特定姿势是否已被执行的准则。在一个实施例中，每一姿势过滤器206与姿势库中的特定姿势的库模块相链接。与姿势相关联的每一库模块包括用于响应于姿势来执行处理的可执行指令。这一处理通常涉及更新化身的运动或图像来以某种形式反映该姿势。

例如，图1A中的十几岁的男孩用户18具有比他的化身24拳击者小得多的体格。利用化身玩游戏的一部分乐趣在于，化身常常比现实生活中的用户做事做得更好。图1A中的男孩18在他的起居室中的挥拳翻译成他的化身24在显示屏14上的更有力的挥拳。拳击游戏中的“挥拳”的库模块可以从用户由他的肘伸出的拳的速度的加速度中确定：这是该游戏中的该用户18的“挥拳”，并且他的化身24的挥拳由于库挥拳模块的指令而在显示上反映这一点。动作控制模块210也被通知该姿势并响应该姿势。例如，该模块更新用户18的分数。

一些系统可以提供针对某些身体部位或区域（例如手和臂）的可由化身执行的仅仅某个数目的运动或姿势的组合，同时允许直接跟踪其他身体部位或区域，例如腿。

对用户运动的跟踪以更新化身或其他显示器视图对象的显示是实时执行的，以使得用户可实时地与正在执行的应用交互。实时显示指的是响应于姿势的视觉表示的显示，其中该显示与姿势在物理空间中的执行同时或几乎同时显示。例如，系统可以提供对用户进行回应的显示画面的显示画面更新速率可以是20Hz的速率或更高，其中无关紧要的处理延迟造成最小的显示延迟或对用户而言根本不可见。由此，实时包括与被自动数据处理所需的时间延迟了的数据的及时性有关的任何无关紧要的延迟。

跟踪反馈软件213从运动模块204接收标识跟踪问题的消息。跟踪问题的示例是用户已经移出视野或视野中没有用户。跟踪问题的一些其他示例是无法确定身体部位的姿势或者未满足运动或姿态对应于任何特定姿势的阈值概率。跟踪问题的另一示例是音量不够以使得语音或歌声识别软件无法检测到用户的声音。在另一示例中，来自用户的声音具有不可区分的音节以使得无法检测到单词。例如，在音乐娱乐应用中，无法标识或检测用户唱歌可以显著地影响用户玩家感觉到的挫败。

运动模块204还可基于它从视听捕捉系统20接收到的数据或来自视听捕捉系统20的消息来提供关于多个可区别性因素的反馈。一种可区别性因素是例如不够的音量和特殊性的音频因素，如上所述。可区别性因素的另一示例是可见性因素。可见性因素的示例是用于控制应用的用户或身体部位至少部分地在视野之外。另一示例是光照问题将捕捉到的图像中的用户洗旧。另一示例是障碍物。可见性因素的另一示例是障碍物。障碍物的示例可以是甚至在视野本身内的家具，例如图1C中的咖啡桌15。视野的边框上或视野本身内的太多物品可创建可区别性或可见性因素。障碍物的另一示例是衣服或衣服与另一物品结合。斗篷可阻碍检测手臂移动。长裙可阻碍检测用于其中用户可做出走动或跑步姿势的游戏的腿部移动。黑色长椅上的黑色裤子可能由于缺少对比度而导致可见性问题；捕捉系统20无法在用户接近黑色长椅时区分腿部移动。衣服颜色可导致产生可区别性问题的对比度问题。另外，站得太靠近用户的人也可导致可区别性问题，因为他们的手臂和腿部可能重叠。深度数据可帮助区分用户，但基于图像捕捉系统20的深度分辨率，这可能是个问题。

跟踪反馈软件213可选择提供给用户的指示跟踪问题的一种反馈。在一些示例中，该反馈用于无关于应用活动的视觉或音频指示符来向用户提供提高跟踪质量的指令。例如，图1B中的显式屏幕箭头覆盖图33。还可附加文本或音频消息“向右移动”，同时指向视野30的中心。

其他反馈可以稍微隐式和细微的。可改变的显示器的视觉特性。例如，反馈可以是当用户在视野边界的距离内时显示器视图的锐度可以稍微降低。例如，该视图更模糊。当用户移向视野中心时，场景的锐度提升。用户甚至可能未有意识地察觉到该锐度变化。除了锐度之外，可改变以更改场景或视图的显示的另一视觉特性示例是颜色振动。另一示例是颜色本身。例如，当用户移出视野之外时，显示器上的颜色转为黑白。

在一些示例中，跟踪反馈软件213确定应用上下文中的合适反馈。这些示例中的某一些在上文中已经提到，诸如用户太靠近的边框上的怪兽或者在用户应移动的方向上出现的供用户“击打”的球。其他示例包括在移动方向上的要射击的敌人，或者另一化身玩家出现并且撞击用户向中心后退或者另一人物在要在视野中后退的方向上跑步。在另一示例中，声音可以在特定方向上定向以激励用户跑离该方向。如果用户离图像捕捉系统20太远，如系统20捕捉到的深度数据所示，则可使用闪烁对象或其他吸引注意力的显示对象来将用户吸引到视野。如果用户太靠近相机20，例如在视野前边界30f和相机之间，则可使得显示对象非常多地充满屏幕以使得用户后退。

对于该上下文应用反馈，跟踪反馈模块213向动作控制软件模块210发送对上下文反馈的请求。动作控制模块210或跟踪软件213可跟踪已经使用哪一种上下文反馈技术来尽可能地避免重复。上下文反馈请求可包括要解决的可区别性因素的类型。还可包括动作建议。例如，该请求还可包括显示器上的其中放置对象的目标区域以激励用户向后移动到视野中。在其他情况下，动作控制模块210可确定要采取的动作。

跟踪反馈软件213可基于准则来选择反馈响应。如上所述，这一准则的一个示例是用户年龄。对于3或4岁的用户，将物品放置在屏幕上的目标区域中以使得该用户移动对于该年龄的孩子而言可能并非太重复。对于7岁的用户，特定上下文反馈技术可能需要稍微多一点不同。

应用的竞争性等级可以是另一因素。在与另一用户的游戏中，将要射击的目标放在显示区域中以鼓励用户移动可能是不合适的。然而，将视野边框附近放置爆炸可以在不增加目标的可预测性的情况下使用户移动。

一些应用不想让任何东西遮挡正由该应用显示在显示器上的动作。在这些情况下，显示器16或控制台12可包括屏幕外显示设备。例如，控制台12或相机20上的发光二极管（LED）32可以与用户相关联，并且应用跟踪用户的能力可由调色板来指示。例如，绿色是良好。黄色是跟踪能力降低的警告，而红色指示跟踪能力已降至不可接受水平。可使用其他屏幕外显示设备或视图，诸如控制台20、显示器16或相机20上的指示跟踪能力的程度的条形图或其他灯光。

作为折衷，应用可允许小图标出现在太靠近边界或对其的跟踪不满足跟踪准则的用户的用户化身上。用户可以在需要时选择该图标。在另一示例中，可显示示出用户或他的化身的小框、画中画，以指示跟踪问题或甚至解决该问题的建议。在另一示例中，如果用户按暂停，则可显示具有跟踪问题消息的示出用户或他的化身的框。

在其他示例中，跟踪反馈模块213可以向化身显示控制模块209发送改变化身外观的请求。外观改变的示例可以是突出显示化身。其他示例包括改变视觉特性，诸如模糊化身外观，或使其全黑或全白或对比色黑白。在另一示例中，可使得化身看上去褪色。具体而言，如果在应用启动之前发生训练会话，则可指示用户他的化身的外观改变意味着他的姿势存在跟踪问题。对于视野问题，在不改变竞争动态太多的情况下，这可以是有效的。

反馈可以是音频或视听的。例如，在启动应用活动之前的训练会话中，可指示用户特定图标意味着特定可见性因素正在影响对用户姿势的识别。图标可伴随特定声音，以使得用户知道是他，例如，知道向界内移动。

因为无法正确地检测到用户姿势可显著地影响应用的执行，所以暂停动作（或许伴随着用户化身的外观变化）可以是也被选择的反馈响应。在另一示例中，声音可被停止。

在一些实施例中，跟踪反馈软件可以与特定应用分开。例如，跟踪反馈软件可提供应用可向其发送对反馈响应的请求的API。对于希望使用默认反馈响应的应用开发者而言，这可以是方便的接口。当然，可使用除了API之外的其他构造。应用软件可提供除了API所提供的反馈响应之外的其他类型的用户跟踪反馈响应，或者应用开发者优选使用以代替默认机制的反馈响应。在其他实施例中，反馈响应软件可以完全在应用内处理或者完全由应用无关软件处理。本文描述的技术不限于特定级实现。图像捕捉系统20识别捕捉区域中的人类和非人类目标（在具有或没有特殊感测设备附连到主体的情况下），在三维空间中唯一地标识这些目标并跟踪它们。

根据一示例实施例，图像捕捉系统20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度信息可包括深度值。如图2所示，根据一示例性实施例，图像相机组件70可以包括可用于捕捉捕捉区域的深度图像的IR光组件72、三维（3-D）相机74、和RGB相机76。例如，在飞行时间分析中，捕捉系统20的IR光组件72可以将红外光发射到捕捉区域上，然后可以使用传感器，用例如3-D相机74和/或RGB相机76来检测从捕捉区域中的一个或多个目标和物体的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉系统20到捕捉区域中的目标或物体上的特定位置的物理距离。另外，在其他示例实施例中，可以将出射光波的相位与入射光波的相位相比较来确定相移。然后可以使用该相移来确定从捕捉系统到目标或物体上的特定位置的物理距离。

根据另一示例性实施例，可以使用飞行时间分析来通过经由包括例如快门式光脉冲成像在内的各种技术分析反射光束随时间的强度来间接地确定从捕捉系统20到目标或物体上的特定位置的物理距离。

在另一示例性实施例中，捕捉系统20可以使用结构化光来捕捉深度信息。在该分析中，图案化光（即，被显示为诸如网格图案或条纹图案等已知图案的光）可经由例如IR光组件72被投影到捕捉区域上。在撞击到捕捉区域中的一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机74和/或RGB相机76来捕捉，然后可被分析来确定从捕捉系统到目标或物体上的特定位置的物理距离。

根据另一个实施例，捕捉设备20可包括可以从不同的角度观察捕捉区域的两个或更多在物理上分离的相机，以获取可以被解析以生成深度信息的视觉立体数据。

作为这些元件所提供的协作的示例，考虑IR光组件72和3-D相机74可提供捕捉区域的深度图像，但是在某些情形中，单独的深度图像可能不足以辨别人类目标的位置或移动。在这些情形中，RGB相机76可“接管”或补充来自3-D相机的信息以便能够对人类目标的移动或位置作出更完整的识别。例如，RGB相机可用于识别与一个或多个目标相关联的色彩等等。如果用户正穿着有图案的衬衫而深度相机不能检测该图案，则可使用RGB相机来跟踪该图案并提供关于用户正在作出的移动的信息。作为另一示例，如果用户扭曲，则可使用RGB照相机来补充来自一个或多个其他传感器的信息来确定用户的运动。作为又一个示例，如果用户在诸如墙或第二目标等另一对象旁边，则可使用RGB数据来在两个对象之间进行区分。RGB相机还能够确定用户的精细特征，如面部识别、发色等，这可用于提供附加信息。例如，如果用户向后转，则RGB相机可使用发色和/或面部特征的缺乏来确定用户没有面对捕捉系统。

捕捉设备20可以交互式速率来捕捉数据，从而提高了数据的保真度，并允许所公开的技术处理原始深度数据，数字化场景中的对象，提取对象的表面和纹理，以及实时地执行这些技术中的任一种，以使得显示画面（例如16）可以在其显示屏幕（例如54）上提供该场景的实时描绘。

在图2的系统实施例中，图像捕捉系统20通信地耦合到诸如图3A-3B中的计算机系统示例等计算环境，以发送运动跟踪数据205l和任选的音频数据217。通信耦合可以一种或多种有线或无线连接来实现，例如USB连接、火线连接、以太网电缆连接等，或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。

捕捉系统20还包括用于存储可由处理器80执行的指令以及可以帧格式被捕捉图像数据的存储器组件82。存储器组件82可包括随机存取存储器（RAM）、只读存储器（ROM）、高速缓存、闪存、硬盘、或任何其他合适的存储组件。在一个实施例中，如所示，存储器组件82可以是与图像捕捉组件70和处理器80进行通信90的单独的组件。根据另一实施例，存储器组件82可被集成到处理器80和/或图像捕捉组件70中。

捕捉系统20还包括通信上耦合90到图像相机组件70的处理器80，用以控制图像相机组件和用于存储图像数据的存储器82。处理器80可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于存储简档的指令、用于接收深度图像数据的指令、用于以指定的格式将数据存储在存储器82中的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或其他类型的模型的指令、或任何其他合适的指令。此外，该处理中的某一些可由一个或多个通信地耦合的计算环境中的其他处理器来执行。

图像捕捉系统20中包含处理能力使得用户的诸如多点骨架模型之类的模型能够被实时地递送。在一个实施例中，对捕捉系统的多个组件中的每一个可以有一单独的处理器，或者可以有单个中央处理器。作为另一示例，可以有中央处理器以及至少一个其他相关联的处理器。如果有高成本计算任务，则两个或更多处理器可按任何方式来共享处理任务。处理器可包括如上所述的存储器且存储器可存储一个或多个用户简档。这些简档可存储身体扫描、典型的使用或玩游戏模式、年龄、身高、体重信息、姓名、化身、高分或任何其他与用户和系统使用相关联的信息。

捕捉系统20还可包括接收由用户产生的音频信号的话筒78。从而，在该实施例中，图像捕捉系统20是视听数据捕捉系统。捕捉系统中的话筒可被用于提供关于目标的附加和补充信息以使系统能够更好地辨别目标的位置或移动的各方面。例如，话筒可包括方向性话筒或方向性话筒阵列，其可用于进一步辨别人类目标的位置或在两个目标之间进行区分。例如，如果两个用户是相似形状或大小并且在捕捉区域中，则可使用话筒来提供关于用户的信息，使得用户可以例如基于其单独语音的识别来彼此区分。作为另一示例，话筒可用于向用提供关于用户的简档，或在“语音－文本”型环境中，至少一个话筒可用于在计算系统中创建文本。

图像的具有深度值的像素数据被称为深度图像。根据一个实施例，深度图像可包括所捕捉的场景的二维（2-D）像素区域，其中该2-D像素区域中的每一像素可具有相关联的深度值，如按照以厘米、毫米等为单位的、所捕捉的场景中的物体距某一参考点（如相对于相机组件70的某一方面）的长度或距离。例如，像素的深度值可以在“Z层”中表示，这些层是与从深度相机70沿其视线延伸的Z轴正交的层。这些深度值可被统称为深度图。

可以将深度图像降采样到较低的处理分辨率，使得该深度图像可以更容易地用较少的计算开销来使用和/或更快地处理。例如，所观测到的深度图像的各个区域可以被分离成背景区域和目标的图像所占据的区域。背景区域可从图像中被移除或被标识以使其可在一个或多个后续处理步骤期间被忽略。另外，可以从深度图像移除和/或平滑掉一个或多个高变度和/或有噪声的深度值。可以填充和/或重构遗漏的和/或被移除的深度信息的某些部分。此类回填可通过对最近邻居求平均、过滤和/或任何其他合适的方法来实现。其他合适的处理可以被执行，使得可以将该深度信息用于生成诸如骨架模型之类的模型。

图3A示出了可用于类似于图1A-1E中的游戏控制台的计算环境的实施例的详细示例，其中用于提供用户跟踪反馈的一个或多个实施例可操作。如图3A所示，多媒体控制台100具有包括一级高速缓存102、二级高速缓存104和闪存ROM（只读存储器）106的中央处理单元（CPU）12。一级高速缓存102和二级高速缓存104临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU 101可被提供为具有一个以上的核，并且由此具有附加的一级高速缓存102和二级高速缓存104。闪存ROM 106可存储在多媒体控制台12通电时引导过程的初始阶段期间加载的可执行代码。

图形处理单元（GPU）108和视频编码器/视频编解码器（编码器/解码器）114形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V（音频/视频）端口140输出数据，用于传输至电视或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM（随机存取存储器）。

多媒体控制台12包括在模块110上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、以及外置存储器设备146（例如，闪存、外置CD/DVD ROM驱动器、可移动介质等）的主机。网络接口124和/或无线适配器148提供对网络（例如，因特网、家庭网络等）的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。

提供系统存储器143来存储在引导过程期间加载的应用数据。提供媒体驱动器144，且其可包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器144可以是对多媒体控制器100内置的或外置的。应用数据可经由媒体驱动器144访问，以供多媒体控制台12执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接（例如IEEE 1394）等总线连接到I/O控制器120。

在一个实施例中，用于显示器视图控制系统202的软件和数据的副本可存储在介质驱动器144上，并可在执行时被加载到系统存储器143中。

系统管理控制器122提供与确保多媒体控制台12的可用性相关的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140，以供外置音频播放器或具有音频能力的设备再现。

前面板I/O子部件130支持暴露在多媒体控制台12的外表面上的电源按钮150和弹出按钮152、以及任何LED（发光二极管）或其他指示器的功能。系统供电模块136向多媒体控制台12的组件供电。风扇138冷却多媒体控制台12内的电路。

多媒体控制台101内的CPU 100、GPU 108、存储器控制器110、以及各种其他组件经由一条或多条总线互连，该总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线体系结构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连（PCI）总线、PCI-Express总线等。

当多媒体控制台12通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中，并且可在CPU 101上执行。应用可在导航到多媒体控制台100上可用的不同媒体类型时呈现提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中所包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以将附加功能提供给多媒体控制台12。

多媒体控制台12可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台12允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口124或无线适配器148可用的宽带连接集成的情况下，多媒体控制台12还可作为更大网络社区中的参与者来操作。

当多媒体控制台12通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量（诸如，16MB）、CPU和GPU周期的保留量（诸如，5％）、网络带宽的保留量（诸如，8kbs），等等。因为这些资源是在系统引导时间保留的，所保留的资源从应用的视角而言是不存在的。

具体而言，存储器保留量足够大，以包含启动内核、并发系统应用程序和驱动程序。CPU保留量为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留量，通过使用GPU中断来调度代码以将弹出窗口渲染为覆盖图，从而显示由系统应用生成的轻量消息（例如，弹出窗口）。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率和引起TV重新同步。

在多媒体控制台12引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程而非游戏应用线程的线程。系统应用被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便提供对应用而言一致的系统资源视图。调度是为了使在控制台上运行的游戏应用的高速缓存中断最小化。

当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器（如下所描述的）在系统应用活动时控制游戏应用的音频级别（例如，静音、衰减）。

输入设备（例如，控制器142(1)和142(2)）由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。图像捕捉系统20可为控制台12（例如，为其相机系统）定义附加输入设备。

图3B示出了诸如个人计算机之类的计算环境的另一示例实施例。参考图3B，用于实现本技术的一个示例性系统包括计算机310形式的通用计算设备。计算机310的组件可包括，但不限于，处理单元320、系统存储器330、以及将包括系统存储器的各种系统组件耦合到处理单元320的系统总线321。系统总线321可以是若干类型的总线结构中的任一种，包括使用各种总线体系结构中的任一种的存储器总线或存储器控制器、外围总线、以及局部总线。作为示例而非限制，这样的架构包括工业标准架构（ISA）总线、微通道架构（MCA）总线、增强型ISA（EISA）总线、视频电子标准协会（VESA）局部总线、以及也称为夹层（Mezzanine）总线的外围组件互连（PCI）总线。

计算机310通常包括各种计算机可读介质。计算机可读介质可以是能由计算机310访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字多功能盘（DVD）或其他光盘存储设备，磁带盒、磁带、磁盘存储设备或其他磁存储设备，或者能用于存储所需信息且可以由计算机310访问的任何其他介质。通信介质通常以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并包括任意信息传送介质。术语“已调制数据信号”是指使得以在信号中编码信息的方式来设定或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外及其他无线介质之类的无线介质。上述中任一组合也应包括在计算机可读介质的范围之内。

系统存储器330包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器（ROM）331和随机存取存储器（RAM）332。包含诸如在启动期间帮助在计算机310内的元件之间传输信息的基本例程的基本输入/输出系统333（BIOS）通常存储在ROM 331中。RAM 332通常包含处理单元320可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图3B示出操作系统334、应用程序335、其它程序模块336和程序数据337。

计算机310也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图3B示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器340，对可移动、非易失性磁盘352进行读写的磁盘驱动器351，以及对诸如CD ROM或其它光学介质等可移动、非易失性光盘356进行读写的光盘驱动器355。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器341通常通过诸如接口340之类的不可移动存储器接口连接到系统总线321，并且磁盘驱动器351和光盘驱动器355通常通过诸如接口350之类的可移动存储器接口连接到系统总线321。

上面讨论并在图3B中示出的驱动器及其相关联的计算机存储介质为计算机310提供了对计算机可读指令、数据结构、程序模块和其它数据的存储。在图3B中，例如，硬盘驱动器341被示为存储操作系统344、应用程序345、其他程序模块346和程序数据347。注意，这些组件可与操作系统334、应用程序335、其他程序模块336和程序数据337相同，也可与它们不同。在此操作系统344、应用程序345、其他程序模块346以及程序数据347被给予了不同的编号，以说明至少它们是不同的副本。

在一个实施例中，用于显示器视图控制系统202的软件和数据的副本可存储在硬盘驱动器238上所存储的应用程序345和程序数据347中，或可远程地存储（如248）。副本也可在执行时作为应用程序226和程序数据228被加载到系统存储器222中。

用户可以通过输入设备，例如键盘362和定点设备361——通常是指鼠标、跟踪球或触摸垫——向计算机20输入命令和信息。其他输入设备（未示出）可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他输入设备通常通过耦合到系统总线的用户输入接口360连接到处理单元320，但也可通过诸如并行端口、游戏端口或通用串行总线（USB）之类的其他接口和总线结构来连接。监视器391或其他类型的显示设备也经由诸如视频接口390之类的接口连接至系统总线321。除了监视器以外，计算机还可包括诸如扬声器397和打印机396之类的其他外围输出设备，它们可通过输出外围接口390来连接。

计算机310可使用到一个或多个远程计算机（诸如，远程计算机380）的逻辑连接而在联网环境中操作。远程计算机380可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见网络节点，且通常包括上文相对于计算机310描述的许多或所有元件，但在图3中只示出存储器存储设备381。图3中所示的逻辑连接包括局域网（LAN）371和广域网（WAN）373，但也可以包括其它网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机310通过网络接口或适配器370连接到LAN 371。当在WAN联网环境中使用时，计算机310通常包括调制解调器372或用于通过诸如因特网等WAN 373建立通信的其他手段。调制解调器372可以是内置的或外置的，可经由用户输入接口360或其他适当的机制连接到系统总线321。在联网环境中，相对于计算机310所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非局限，图3B示出驻留在存储器设备381上的远程应用程序385。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。

图4示出了用于其中用于提供用户跟踪反馈的一个或多个实施例可操作的联网计算环境的示例实施例。如图4所示，如图3A和3B中所示的那些等多个控制台400A-400X或处理设备可耦合到网络402，并可经网络402与具有一个或多个服务器406的网络游戏服务404通信。服务器406可包括能够从控制台400A-X接收信息并将信息发送给控制台400A-X的通信组件，并且可提供运行在控制台400A-X上的应用可调用和利用的服务的集合。

控制台400A-X可调用用户登录服务408，该用户登录服务用于在控制台400A-X上认证和标识用户。在登录期间，登录服务408获得来自用户的游戏玩家标签（与该用户相关联的唯一标识符）和口令，以及唯一地标识用户正在使用的控制台的控制台标识符和到该控制台的网络路径。游戏玩家标签和口令通过将它们与全局用户简档数据库416相比较来被认证，该全局用户简档数据库可位于与用户登录服务408相同的服务器上，或可以分布在不同的服务器上或不同的服务器集合上。一旦被认证，用户登录服务408就将控制台标识符和网络路径存储在全局用户简档数据库416中，使得可将消息和信息发送给控制台。

在一实施例中，控制台400A-X可包括游戏服务410、共享服务412、用户共享数据428以及替代数据库418。游戏服务可允许用户玩在线交互式游戏，为在控制台之间的联合玩游戏创建和共享游戏环境，以及提供诸如在线市场、跨各种游戏的集中成就跟踪以及其他共享的体验功能之类的其他服务。共享服务412允许用户与其他用户共享玩游戏元素。例如，控制台400X上的用户可创建在游戏中使用的元素，并向其他用户共享或售卖它们。此外，用户可记录玩游戏体验的元素，例如竞赛的影片或游戏中的各种场景，并与其他用户共享它们。用户为了共享或售卖而提供的信息可被存储在用户共享数据428中。

全局用户简档数据库416可包括关于控制台400A-X上的全部用户的信息，如用户的账户信息以及唯一地标识每个用户正在使用的特定控制台的控制台标识符。全局用户简档数据库416还可包括与控制台400A-X上的所有用户相关联的用户偏好信息。全局用户简档数据库416还可包括关于诸如与用户相关联的游戏记录和朋友列表之类的信息。

跟踪反馈软件414可以在游戏服务404中提供。跟踪反馈软件可以响应被上传到服务器并存储在用户共享数据428中的游戏元素中的姿势和移动的跟踪问题。

根据如图4中提供的游戏系统，可提供任何数量的联网处理设备。如此，这里提出的技术可结合游戏服务404在一个或多个服务器406上操作，或可在联网环境中的诸如设备400A-400X之类的个体处理设备中提供。

图5描绘了人类用户500的模型，该模型可以用捕捉系统20和计算环境12来创建。可以已经从视听数据捕捉系统20所捕捉的运动跟踪数据205中生成了用户的示例性骨架映射500。该模型可由基于姿势的系统10的一个或多个方面用来确定姿势等。该模型可由关节和骨骼组成。对这些关节和骨骼进行跟踪可以使基于姿势的系统能确定用户正在作出什么姿势。这些姿势可用于控制基于姿势的系统。在该实施例中，标识出各个关节和骨骼：每个手腕502a、502b；每个前臂504a、504b；每个肘506a、506b；每个二头肌508a、508b；每个肩510a、510b；每个臀512a、512b；每个大腿514a、514b；每个膝盖516a、516b；每个前腿518a、518b；每个脚520a、520b；头522；躯干524；脊椎的顶部526和底部528；以及腰530。在跟踪更多点的情况下，可标识出附加的特征，比如面部的各个特征，如鼻和眼。然而，更多的数据改变被跟踪也可能减缓化身显示。

图6描绘了一系列姿势，诸如挥手或举手602、用手臂作出X 604、或者举起单手击掌606。尽管未以已经描述若干姿势的任何方式限制，这些姿势以及任何其他姿势可以是用于基于姿势的系统10的命令。在一个实施例中，姿势可以是通用的，意味着它们不会限于特定的软件或硬件应用。在另一实施例中，在计算环境12上操作的游戏或其他程序可以是程序专用的姿势。例如，将对游戏的控制移交至另一玩家的通用姿势可以是握手；然而，诸如摔跤游戏这样的游戏可能具有程序专用的姿势，在其中如果用户举起单手击掌524就进行控制的移交。

图7和8的方法实施例分别是仅仅处于说明性目的而不是对其进行限制的方式在图2的功能性计算机实现的体系结构实施例的上下文中予以讨论的。

图7是用于向用户提供关于应用跟踪用户运动的能力的反馈的方法实施例700的流程图。捕捉系统检测702捕捉区域内的用户。运动模块204接收运动跟踪数据205l以及任选的音频数据217，并基于捕捉系统生成的数据来跟踪704用户的至少一个身体特征。响应于对于正在执行的应用未满足用户跟踪准则，跟踪反馈软件213确定706反馈响应并使得将反馈输出708给用户。如上所述，反馈的输出可包括显示视觉指示符、提供音频指示或提供应用活动的上下文中的动作。

图8是用于帮助用户选择捕捉区域的方法实施例800的流程图。跟踪反馈软件213显示指示802用户将相机的视野定向到测试捕捉区域的指令，并且捕捉系统20捕捉804该测试捕捉区域的图像数据。在一个实施例中，跟踪反馈软件213可以在显示器上显示测试捕捉区域的图像数据以使得用户能够看见他自己。跟踪反馈软件213显示806指示用户使用至少一个身体部位来做出用于控制正在执行的应用的活动的至少一个姿势的指令。运动模块204跟踪808做出姿势的至少一个身体部位的移动。软件213确定811是否满足跟踪准则。响应于满足用户跟踪准则，跟踪反馈软件213确定812测试捕捉区域的跟踪质量分数。

运动模块204可以向跟踪反馈软件213提供表示关于测试捕捉区域的特定可见性因素的质量的分数或权重或某一值，以供跟踪反馈软件213基于这些可见性因素来与跟踪准则进行比较。在一个实施例中，然后可对这些因素应用加权算法以确定分数。因素的一些示例包括对应于捕捉系统的视野内的姿势的用户身体部位的位置、捕捉区域内的光照以及身体部位的遮挡。

对不同的捕捉区域进行评级或评分，并且推荐818最佳捕捉区域。在另一替换实施例中，图像捕捉系统20旋转一定范围的角度以捕捉房间中的不同视图，并建议提供最佳跟踪能力的视图作为捕捉区域。具有最佳跟踪能力的捕捉区域可经由显示处理模块207显示在显示器16上以便为用户标识该捕捉区域。

运动模块204可能无法将姿势与用户正做出的移动进行匹配，并且可以向跟踪反馈软件213发送指示该情况的消息。运动模块204还可指示导致用户跟踪准则未被满足的可见性因素。例如，可见性因素光照的代表性质量值可指示光照很差。

响应于用户跟踪准则未被满足，跟踪反馈软件213确定可如何改进这些可见性因素中的一个或多个以便进行跟踪，并且向用户输出820标识捕捉区域的至少一个改变的反馈以改进可见性因素。该反馈可经由视觉显示器输出或被输出为音频消息。

跟踪反馈软件213确定812测试捕捉区域的跟踪质量分数。运动模块204可以向跟踪反馈软件213提供表示关于测试捕捉区域的特定可见性因素的质量的分数或权重或某一值，跟踪反馈软件213可以对这些因素应用加权算法以确定分数。

跟踪反馈软件213确定814是否有另一测试捕捉区域要被测试。例如，跟踪反馈软件213经由显示器请求关于是否存在另一测试捕捉区域的用户输入。如果存在另一测试捕捉区域，则对该测试区域重复这些步骤。如果不存在另一测试捕捉区域，则跟踪反馈软件213显示对具有最佳可见性分数的测试捕捉区域的推荐。例如，具有最佳分数的测试捕捉区域被显示在显示器上。如果存在另一捕捉区域，则软件213显示802将相机的视野定向到下一捕捉区域并重复上述步骤的指令。

上述详细描述只是为了说明和描述的目的而提出的。并非旨在穷举所公开的技术或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择上述实施例来最好地解释本技术的原理及其实践应用，从而使本领域其他人能够在各种实施例中并用各种适于所构想的特定用途的修改一起最好地利用本技术。而且，应当注意，说明书中使用的语言原则上是出于可读性和指示性的目的而选择的。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims

1.一种在计算机实现的系统中的用于向用户提供关于所述系统跟踪用户动作的能力的反馈的方法，所述系统执行跟踪用户动作以控制所显示的对象的软件，所述方法包括：

用捕捉系统检测捕捉区域内的用户；

基于所述捕捉系统生成的数据来跟踪所述用户的至少一个身体特征；

响应于用户跟踪准则未被满足，确定反馈响应；以及

向所述用户输出反馈。

2.如权利要求1所述的方法，其特征在于，还包括其中所述反馈是改变显示器上的对象的至少一个动作的上下文反馈。

3.如权利要求2所述的方法，其特征在于，还包括：

其中所述捕捉系统是图像捕捉系统；

其中未被满足的所述用户跟踪准则是可控制所显示的对象的所述用户的身体部位至少部分地在所述图像捕捉系统的视野之外；以及

其中所述显示器上的对象的至少一个动作在正在执行的软件的上下文中提供使所述用户朝着所述视野移动所述身体部位的激励。

如权利要求1所述的方法，其特征在于，所述反馈响应是基于包括所述用户的年龄的所述用户的简档来确定的。

4.如权利要求1所述的方法，其特征在于，所显示的对象是化身并且向所述用户输出反馈响应包括改变表示所述用户的化身的所显示的外观。

5.如权利要求1所述的方法，其特征在于，向所述用户输出反馈响应包括向所述用户显示指示用户跟踪准则未被满足的视觉指示符。

6.如权利要求1所述的方法，其特征在于，向所述用户输出反馈响应包括向所述用户显示指示用户跟踪准则未被满足的音频指示。

7.如权利要求1所述的方法，其特征在于，向所述用户输出反馈响应还包括改变所述用户的所显示的视图的视觉特性。

8.如权利要求1所述的方法，其特征在于，还包括其中所述用户跟踪准则基于包括以下各项的组的可见性因素：

可控制所显示的对象的所述用户的身体部位在捕捉系统的视野内的位置；

光照；

对比度；以及

所述用户的身体部位的遮挡。

9.如权利要求1所述的方法，其特征在于，还包括其中所述用户跟踪准则基于包括以下各项中的一个的作为音频因素的可区别性因素：

音量；以及

语音的可区别性。

10.一种系统，所述系统用于向用户提供关于所述系统跟踪用户动作的能力的反馈，所述系统包括：

用于捕捉用户的图像数据的图像捕捉系统；

一个或多个处理器，所述一个或多个处理器通信地耦合到所述图像捕捉系统并且能够由存储所述图像数据和指令的存储器访问；

所述一个或多个处理器执行指令，包括

检测所述图像数据中的用户的至少一个身体部位，

跟踪所述至少一个身体部位的移动，

响应于用户跟踪准则未被满足，确定供显示给用户的反馈响应，

显示所述反馈；以及

显示器，所述显示器通信地耦合到所述一个或多个处理器以向所述用户显示所述反馈。

11.如权利要求11所述的系统，其特征在于，所述一个或多个处理器执行指令还包括执行用于通过以下动作来帮助所述用户选择捕捉区域的指令：

显示做出所述至少一个身体部位的至少一个移动的指令；

跟踪所述至少一个身体部位的移动；

响应于基于一个或多个可见性因素的用户跟踪准则未被满足，基于可见性因素来确定测试捕捉区域的跟踪质量分数；

响应基于一个或多个可见性因素的用户跟踪准则未被满足；

确定可如何改进所述图像数据的一个或多个可见性因素以满足所述用户跟踪准则；以及

向所述用户显示标识所述捕捉区域的至少一个改变的反馈以改进可见性因素。

12.如权利要求12所述的系统，其特征在于，所述一个或多个处理器执行指令还包括执行包括以下各项的指令：

基于可见性因素的跟踪准则来确定多个测试捕捉区域中的每一个的跟踪质量分数；

标识具有最佳分数的测试捕捉区域；以及

显示对所述具有最佳分数的测试捕捉区域的推荐。

13.如权利要求12所述的系统，其特征在于，所述一个或多个可见性因素包括以下各项中的一个或多个：

所述用户的至少一个身体部位在捕捉系统的视野内的位置；

光照；

对比度；以及

所述用户的至少一个身体部位的遮挡。

14.如权利要求11所述的系统，其特征在于，所述显示器是屏幕外显示设备。