CN102362293A

CN102362293A - 链接动画

Info

Publication number: CN102362293A
Application number: CN2010800138810A
Authority: CN
Inventors: K·盖斯那; R·马尔科维奇; S·G·拉塔; G·N·斯努克
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2009-03-20
Filing date: 2010-03-02
Publication date: 2012-02-22
Anticipated expiration: 2030-03-02
Also published as: WO2010107575A3; US9824480B2; RU2011138414A; EP2409277A2; US20150154782A1; WO2010107575A2; EP2409277A4; CN102362293B; JP5635069B2; KR20110139223A; US20100238182A1; US20170069125A1; US8988437B2; RU2530708C2; KR101643020B1; CA2752699C; JP2012521038A; BRPI1009547A2; CA2752699A1; EP2409277B1

Abstract

在显示用户的表示的应用中，可能希望插入预录制的动画而不是对用户的捕捉的运动动画化。例如，在网球摆动中，发球中抛球和回拍可以是预录制的动画，而实际的向前摆动的动画可从用户的姿势映射。用户的姿势的动画可与预录制的动画被一起连接成序列，其中动画混合技术可提供动画类型之间的更为平滑的转变。可包括确定预录制的动画和基于捕捉的运动的动画之间的边界和转变点的混合动画的技术可提供动画效率。包括关节位置、速度和加速度在内的姿势历史可被用于确定用户意图、后续动画的种子参数以及游戏控制，以及确定要发起的后续姿势。

Description

链接动画

背景

诸如计算机游戏、多媒体应用、办公应用等的许多计算应用使用控制来允许用户操纵游戏角色或应用的其他方面。通常使用，例如，控制器、遥控器、键盘、鼠标等等，来输入这样的控制。不幸的是，这些控制可能是难以学习的，由此造成了用户和这些游戏及应用之间的障碍。此外，这些控制可能与这些控制所用于的实际游戏动作或其他应用动作不同。例如，使得游戏角色挥动棒球拍的游戏控制可能不与挥动棒球拍的实际动作相对应。

概述

在某些系统中，监视器可显示映射到已由系统捕捉的用户运动的用户反馈。例如，用户反馈可被显示为屏幕上的化身，其中化身的运动可通过将化身的运动映射到用户的运动来得到控制。通常，用户可能做出对于执行应用来说不必要的运动。在某些情况中，适用于该特定应用的用户运动在用户之间是冗余的或非常类似的。

在某些情形中，插入预录制的人物动画而不是表示实际用户运动可能是有用的。例如，在网球摆动中，发球中抛球和回拍可以是预录制的动画，而向前摆动的动画可映射到用户运动。本文中公开了确定用于链接预录制的动画和表示物理空间中的运动的动画的边界和转变点的技术，以及用于混合两种类型的动画的技术。这些链接和动画混合技术对于动画效率目的来说可能是所希望的。

链接动画可包括对预录制的动画的选择以及在动画之间转变，例如从预录制的动画到捕捉的运动的动画，或从捕捉的运动的动画到预录制的动画。例如，用户的姿势的动画可与预录制的动画一起被顺序地链接在一起。动画混合技术可提供姿势的动画之间的更为平滑的转变。包括关节位置、速度和加速度在内的姿势历史可被用于确定用户意图、后续动画的种子参数以及游戏控制，以及确定要发起的后续姿势。

提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。

附图说明

参考附图来进一步描述根据本说明书的用于姿势识别器系统架构的系统、方法和计算机可读介质，在附图中：

图1A和1B示出了伴随用户玩游戏的目标识别、分析和跟踪系统的示例实施例。

图2示出了可在目标识别、分析和跟踪系统中使用且结合了链接和动画混合技术的捕捉设备的示例实施例。

图3示出了其中可实现本文描述的动画技术的计算环境的示例实施例。

图4示出了其中可实现本文描述的动画技术的计算环境的另一示例实施例。

图5示出了从深度图像生成的用户的骨架映射。

图6A-6F示出在各时间点捕捉用户的运动的示例帧，用于获得场景中的用户的深度图像以及解析该用户正做出的姿势。

图7A和7B示出一连串用户运动，以及链接和动画混合技术的实现的示例实施例。

图8示出用于使用预录制的动画以及将预录制的动画与捕捉的运动的动画混合的示例流程图。

说明性实施例的详细描述

计算系统可例如以化身的形式对用户的表示进行建模和显示。例如，相机控制的计算机系统可捕捉用户图像数据，并显示映射到用户的姿势的用户反馈。用户反馈可被显示为屏幕上的化身，其中化身的运动可通过将化身的移动直接映射到用户的姿势来得到控制。姿势可以是任何用户运动，如奔跑、移动手指或静态姿态。用户的被捕捉的运动或用户的姿势的动画可由捕捉设备输入来驱动。

在某些情形中可能希望使用预录制的动画来可视地表示所捕捉的运动，而不是映射到实际捕捉的运动。捕捉的运动可以是物理空间中由诸如相机之类的捕捉设备捕捉的任何运动。捕捉的运动可包括物理空间中诸如用户或物体之类的目标的运动。捕捉的运动可包括转换成操作系统或应用中的控制的姿势。运动可以是动态的，如奔跑运动，或者运动可以是静态的，例如以很少的移动摆姿态的用户。

预录制的动画可以是预先确定的人物动画或预先录制的姿势。在某些情形中，可能希望插入预录制的动画而不是表示实际目标或用户运动。例如，在网球挥拍中，可能希望通过插入预录制的动画来使用预先确定的运动来表示发球中的抛球和回拍的姿势。在发球之后，可能希望返回到对用户的捕捉的运动的使用，如返回到对实际向前挥拍的用户的运动的映射。

本文公开了用于链接动画类型的技术，包括确定不同驱动器驱动的动画(如预录制的动画和相机输入驱动的动画)之间的边界和转变点。动画类型可通过任何合适的方法来链接。用于链接的方法可依赖于所链接的动画之间所希望的平滑程度。例如，计算系统可按需将许多预录制的动画插入到链接的动画序列中，以使得用户的捕捉的运动和预录制的动画之间的转变不仅仅是无缝转变。在另一示例中，计算系统可分析转变点处用户的捕捉的运动的参数，并修改预录制的动画，以更接近地表示该点处用户的捕捉的运动。动画可在转变点处足够相似，使得可简单地通过顺序地显示动画来将动画链接在一起。在另一示例中，动画混合技术可被用来提供各种动画类型之间的非常平滑的转变。

如本文中以及权利要求中所使用的，对实时运动的动画和预录制的动画之间的混合和转变的引用包括从捕捉的姿势的动画到预录制的动画的链接或混合，以及反之亦然，即从预录制的动画到捕捉的姿势的动画的链接或混合。此外，可单独地或组合地采用链接技术的任何组合。例如，计算系统可在链接前修改预录制的动画，而动画混合技术也可被用于平滑捕捉的运动的动画和修改的预录制的动画之间的转变。

本文描述的链接的系统、方法和组件可在诸如游戏控制台之类的多媒体控制台中实施，或可在希望将用户输入与预录制数据混合的任何其他计算设备中实施，作为示例但非限制，这些其他计算设备包括卫星接收机、机顶盒、电子游戏机、个人计算机(PC)、便携式电话、个人数字助理(PDA)、以及其他手持式设备。

图1A和1B示出了可利用链接和动画混合技术的相机控制的目标识别、分析和跟踪系统10的配置的示例实施例。系统描绘了玩保龄球游戏的用户18。在一示例实施例中，系统10可识别、分析和/或跟踪诸如用户18之类的人类目标。目标识别、分析和跟踪系统10可收集与物理空间中用户的移动有关的信息。系统10可存储与预录制动画有关的信息。在用户18扔保龄球运动的整个过程的某些点处，可能希望插入预录制的动画来表示扔保龄球运动的各部分，而不是跟踪、分析以及映射到显示表示用户18的实际运动或姿势的动画。

如图1A所示，目标识别、分析和跟踪系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行诸如游戏应用、非游戏应用等的应用。

如图1A所示，目标识别、分析和跟踪系统10还可包括捕捉设备20。捕捉设备20可以是例如相机，该相机可用于在视觉上监视诸如用户18等一个或多个用户，以使得可以捕捉、分析并跟踪一个或多个用户所执行的姿势，以执行应用中的一个或多个控制或动作，如将在下面更详细地描述的。

根据一个实施例，目标识别、分析和跟踪系统10可连接到可向诸如用户18等的用户提供游戏或应用视觉和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号，然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。

如图1A和1B所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。例如，可使用捕捉设备20来跟踪用户18，以使得可将用户18的移动解释为可用于影响由计算机环境12执行的应用的控制。因而，根据一个实施例，用户18可移动他或她的身体来控制应用。

系统10可将对捕捉设备20的输入转换成动画，该输入表示用户的运动，使得动画由该输入驱动。从而，用户的运动可映射到一化身，使得物理空间中该用户的运动由该化身执行。用户的运动可以是可适用于应用中的控制的姿势。例如，图1A和1B各自描绘了执行在计算环境12上的可以是用户18可能正在玩的保龄球游戏的应用的示例实施例。计算环境12可使用视听设备16来向用户18提供保龄球馆和保龄球道的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身22的视觉表示。根据一示例实施例，目标识别、分析和跟踪系统10的计算机环境12和捕捉设备20可用于识别和分析用户18在其三维物理空间中做出的姿势，使得该用户的姿势可被解释为对游戏空间中的玩家化身24的控制。例如，如图1B所示，用户18可在物理空间中做出扔保龄球运动来使得玩家化身24在游戏空间中做出扔保龄球运动。用户18的其他移动也可被解释为控制或动作，例如对行走、选择球、将化身定位在保龄球道上、扔球等的控制。

系统10可插入预录制的动画，而不是使用用户18的实际运动或捕捉的姿势的动画。例如，游戏控制的某些部分可由预录制的动画表示。例如在上述的保龄球游戏示例中，拿起保龄球或走向球道可以是扔保龄球运动的由预录制的动画表示的部分。

用户的姿势或运动可被解释为可对应于除控制玩家化身24之外的动作的控制。例如，玩家可以使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。用户的姿势可以是可适用于操作系统、游戏的非游戏方面、或非游戏应用的控制。例如，用户的姿势可被解释为对象操纵，例如控制用户界面。例如，考虑具有从左向右垂直排列的叶片(blades)或选项卡式界面的用户界面，其中对每个叶片或选项卡的选择打开应用或系统内的各种控制的选项。系统可标识移动选项卡的用户的手姿势，其中物理空间中的用户的手虚拟地与应用空间中的选项卡对齐。包括暂停、抓取运动以及然后的手向左扫动在内的姿势可被解释为对选项卡的选择，然后将其移开以打开下一选项卡。

可能希望插入预录制的动画用于表示其他控制，例如对选项卡/叶片选择的用户运动。例如在上述的用户界面示例中，系统可将用户的姿势解释为选择或移动叶片或选项卡，以及插入预录制的动画用于显示的目的，而不是将用户的捕捉的姿势映射到动画。例如，为了在选项卡之间转变，可能希望插入具有用于移动选项卡的脚本化的转变速度的预录制的动画，而不是以映射到用户的实际手运动的速度来移动选项卡。从而，系统可捕捉用户的姿势并将用户的姿势解释为对选项卡的选择和移动，但一旦检测到指示出对切换选项卡的希望的用户的手的阈值速度，就转变到预录制的运动。在预录制的动画和表示实时运动的动画之间进行动画混合可提供更有效的动画。从而，系统可在将映射用户的实际运动或捕捉的姿势用于动画与相反显示并实现预录制的动画之间进行切换。

某些玩家移动可被解释并标识为具有指示转变点的参数。转变点可以是系统10在用户的捕捉的运动或姿势的动画与预录制的动画之间的转变的点。在一示例实施例中，转变点可以是用户的捕捉的姿势中的提示系统要转变到预录制的动画的标识点。在另一示例实施例中，转变点是预录制的动画中触发系统返回到对用户的捕捉的姿势的使用的标识点。

从而，对转变点的标识可触发系统在表示用户的运动和表示预录制的动画之间转变。例如，玩家18可做出抓住运动，系统10可将其解释为对保龄球的选择的控制。对抓住运动的解释可触发系统从对球选择的点处的用户的捕捉的姿势的显示转变到对球选择之后的运动的预录制的动画的显示，例如走上保龄球道。

可采用用于设置转变点的任何合适的方法。应用自己可基于应用的类型或用户的技能等级或经验来设置转变点。例如，可对游戏的初始玩家实现更多的预录制的动画，使得成功所需的更多困难姿势是预录制的。用户可设置转变点，使得预录制的动画被用于特定运动，或用户可请求在应用的执行期间使用更多或更少的预录制的动画。

在图1B所示的示例实施例中，物体是保龄球且用户在三维物理空间中移动，就好像实际握有保龄球。物理空间中用户的姿势可控制屏幕14上显示的保龄球。在示例实施例中，诸如用户18等人类目标可实际上持有一物体。在这些实施例中，电子游戏的用户可手持物体从而可以使用玩家和物体的运动来调整和/或控制游戏的参数。例如，可以跟踪并利用玩家手持球拍的运动来控制电子运动游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持物体的运动来控制电子格斗游戏中的屏幕上武器。

根据其他示例实施例，目标识别、分析和跟踪系统10可解释目标移动用于控制游戏领域之外的操作系统和/或应用的各方面。例如，事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动来控制。

图2示出了可用于目标识别、分析和跟踪的捕捉设备20的示例实施例，其中目标可以是用户或物体。根据一示例实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度信息可包括深度值。根据一实施例，捕捉设备20可将所计算的深度信息组织为“Z层”，或可与从深度相机沿其视线延伸的Z轴垂直的层。

如图2所示，捕捉设备20可包括图像相机组件22。根据一个示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象距相机的长度或距离。

如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可以将红外光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D相机26和/或RGB相机28，来检测从场景中的一个或多个目标和对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或对象上的特定位置的物理距离。另外，在其他示例实施例中，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。

根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或对象上的特定位置的物理距离。

在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为例如网格图案或条纹图案的已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中的一个或多个目标或物体的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。

根据另一实施例，捕捉设备20可包括两个或更多个物理上分开的相机，这些相机可从不同角度查看场景来获得可被解析以生成深度信息的视觉立体数据。

捕捉设备20还可包括话筒30或话筒阵列。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒30可以被用来减少目标识别、分析和跟踪系统10中的捕捉设备20和计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。

在一示例实施例中，捕捉设备20还可以包括可与图像相机组件22进行可操作的通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。

捕捉设备20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器32执行的指令，由3-D相机或RGB相机捕捉到的图像或图像的帧，或任何其他合适的信息、图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像捕捉组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。

如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等的无线连接。根据一个实施例，计算环境12可以向捕捉设备20提供时钟，可以使用该时钟来通过通信链路36确定何时捕捉，例如，场景。

另外，捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉到的图像，以及可以由捕捉设备20生成的骨架模型。计算环境12然后可使用该骨架模型、深度信息和捕捉的图像来例如控制例如游戏或文字处理程序之类的应用。例如，如图2所示，计算环境12可包括姿势库190。

姿势库190可包括姿势过滤器191的集合。每一过滤器191可包括定义姿势以及该姿势的参数或元数据的信息。例如，包括一只手从身体背后到身体前方的运动的投掷可被实现为包括表示用户的一只手从身体背后到身体前方的移动的信息的姿势过滤器，该移动将由深度相机来捕捉。然后可为该姿势设定参数。在姿势是投掷的情况下，参数可以是该手必须达到的阈值速度、该手必须行进的距离(绝对的，或相对于用户的整体大小)、以及识别器引擎对发生了该姿势的置信评级。用于姿势的这些参数可以随着时间在各应用之间、在单个应用的各上下文之间、或在一个应用的一个上下文内变化。

可以将由相机26、28和设备20以骨架模型及与之相关联的移动的形式捕捉的数据与姿势库190中的姿势过滤器191进行比较，以标识(如由骨架模型所表示的)用户何时执行了一个或多个姿势。由此，对诸如过滤器191等过滤器的输入可包括诸如关于用户的关节位置的关节数据，像在关节处相交的骨所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。如所提到的，可为姿势设置参数。来自过滤器191的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及姿势发生的时间等内容。

计算环境12可包括处理器196，处理器196可处理深度图像来确定场景中有什么目标，如房间中的用户18或物体。这可例如通过将深度图像中共享相似距离值的像素分组在一起来实现。该图像也可被解析来产生用户的骨架表示，其中标识诸如关节和关节之间的组织等特征。存在骨架映射技术，其使用深度相机来捕捉个人，并从中确定该用户骨架上的多个点，手、腕、肘、膝、鼻、踝、肩的关节，以及骨盆与脊椎相交之处。其他技术包括将图像转换为人的人体模型表示以及将图像转换为人的网格模型表示。

在一个实施例中，处理是在捕捉设备20本身上执行的，且深度和色彩(其中捕捉设备20包括3-D相机)值的原始图像数据经由链路36被发送到计算环境12。在另一实施例中，处理由耦合到相机402的处理器32来执行，然后经解析的图像数据被发送到计算环境12。在又一实施例中，原始图像数据和经解析的图像数据两者被发送到计算环境12。计算环境12可接收经解析的图像，但是它仍可接收原始数据来执行当前过程或应用。例如，如果场景的图像通过计算机网络发送到另一用户，则计算环境12可发送供另一计算环境处理的原始数据。

计算环境12可使用姿势库190来解释骨架模型的移动并基于该移动来控制应用。计算环境12可对用户的表示进行建模和显示，例如采用诸如显示设备193之类的显示器上的化身或指针的形式。显示设备193可包括计算机监视器、电视机屏幕、或任何合适的显示设备。例如，相机控制的计算机系统可捕捉用户图像数据，并在电视机屏幕上显示映射到用户的姿势的用户反馈。用户反馈可被显示为屏幕上的化身，如图1A和1B中所示。化身的运动可直接通过将化身的移动映射到用户的移动来控制。用户的姿势可控制应用的某些方面。

可能希望使用预录制的动画而不是显示用户的运动的表示。用户的姿势可能不总是可适用于应用。例如，在经计算环境访问应用的过程中，用户可能伸手拿饮料。在虚拟世界应用中，可能希望诸如伸手拿饮料或移入椅子之类的常见用户运动映射到所显示的运动。在其他应用中，如向电子表格输入信息，可能不希望显示诸如伸手拿饮料之类的用户的某些被捕捉的运动。在某些情况中，适用于该特定应用的用户运动在用户之间是冗余的或非常类似的。例如，扔保龄球运动的回摆可能是共同的，可能没有必要对用户的捕捉的回摆运动进行捕捉和建模。在其他情况中，某些用户运动更难以捕捉或没有经验的用户可能难以正确地做出运动。例如，正确的回摆可能对于年幼儿童来说是困难的运动，而对扔保龄球运动的该部分使用预录制的运动可能是所希望的。用户的运动，即使不被直接映射到动画，也可能仍然被解释用于在应用中进行控制。替代地，预录制的动画可在它被显示的时间段的全部或一部分期间提供控制。

姿势库190可包括预录制的动画库192，预录制的动画库包括预先确定的或预先记录的动画数据。计算环境可从预录制的动画库192实现预录制的数据以表示某些运动，如特定姿势。预录制的动画可被用于表示用户的运动，而不是显示直接映射到用户的捕捉的运动的视觉表示。预录制的动画库192可包括各种预录制的动画。动画可适用于某一应用、某一姿势、某一运动、某一技能级别等。

预录制的动画可在转变点被链接到捕捉的运动的动画，或捕捉的运动的动画可在转变点被链接到预录制的动画。在两种情形中，对要被链接到捕捉的运动的动画的预录制的动画的选择可取决于各种因素，如用户的参数、应用的类型的参数、预录制的动画的参数、用户技能等级、执行姿势的困难程度、姿势的冗余性等。

许多预录制的动画可表示相同的所希望的运动，计算环境可从多个动画中选择最合适的预录制的动画。例如，多个预录制的动画选项可用于表示网球发球的回摆。回摆运动的位置和速度参数对于表示该回摆的多个预录制的动画的每一个来说可不同。描述了基于不同因素的多个预录制的动画选项的若干示例。

在一示例实施例中，对要链接到捕捉的运动的动画的某一预录制的动画的选择可取决于预录制的动画参数的参数与捕捉的运动的动画的参数在转变点的比较。例如，可能有表示回摆运动的五个预录制的动画选项。一直到且位于转变点处，捕捉设备可接收用户的运动的图像数据。图像数据可被解析以标识到且位于该转变点处的用户的位置，且在该示例中，系统标识整个用户的网球运动中用户的手臂的非常慢的速度。从五个预录制的动画选项中对回摆运动的预录制动画的选择可基于具有最接近于用户的运动的位置和速度参数的位置和速度参数的动画。类似地，当从预录制的动画返回到捕捉的运动的动画时，捕捉设备所捕捉的图像数据可被解析以标识物理空间中的运动。

预录制的动画的参数可被修改以更为接近地与捕捉设备捕捉的运动有关。对图像数据的分析可促使到不同预录制的动画的转变，以修改正在执行的预录制的动画的动画或混合多个预录制的动画。例如，多个预录制的动画之一可被选择用于链接到捕捉的运动的动画。可修改参数以更为接近地对应于用户的物理特征或用户倾向于做出的运动。

在另一示例实施例中，对预录制的动画的选择实际上可以是对以某种方式组合的两个或更多个预录制的动画的选择。例如，两个或更多个预录制的动画可具有被希望用于链接到捕捉的运动的动画的参数。来自多个预录制的动画的参数可被组合以生成新的、更为合适的预录制的动画，以链接到捕捉的运动的动画。在一示例实施例中，计算环境可使用动画混合组件195以生成新的预录制的动画，其中输入是多个预录制的动画。该新的预录制的动画可以是在转变点处用户的捕捉的运动的更佳表示，且因此在动画被链接在一起时提供了动画之间的更为平滑的转变。从而，在上述的网球示例中，表示网球发球中的回摆的两个或更多个预录制的动画可以某种方式组合，例如混合，以提供适合于用户的位置和速度的新的预录制的动画。

在另一示例实施例中，对要链接到捕捉的运动的动画的某一预录制的动画的选择可基于用户的参数。例如，捕捉设备可接收玩游戏的用户的图像数据。图像数据可被解析以确定关于用户和用户的运动的各种参数。图像数据可指示用户的高度以及对于某一运动的用户的关节的运动。可表示在运动过程中用户的关节位置以及转变点处捕捉的用户的关节和肢体的运动。预录制的动画可被选择为对应于将表示用户的类似高度以及以与捕捉设备捕捉的用户的运动类似的方式移动的动画。

在另一示例实施例中，对要链接到捕捉的运动的动画的某一预录制的动画的选择可基于用户的技能等级。例如，如果没有经验的用户正在玩网球游戏，可能希望发球的回摆中被动画化的手臂挥动的运动更慢且基本。从而，对适合于无经验的用户的基本预录制的动画的选择可能是合适的。另一方面，更有经验的用户可能在球上加旋转，具有更好的球拍控制或瞄准，或具有更快速的回摆。可基于更高级的技能等级来提供预录制的动画的更多选项，使得球上的旋转和瞄准在回摆运动中可被考虑。

尽管提供了从多个预录制的动画中进行选择的具体示例，但是考虑到该选择可基于参数的任何组合。例如，从多个预录制的动画进行选择可基于用户的技能等级和捕捉设备捕捉的用户的高度两者。对预录制的动画的选择可在执行的中间改变，将正在执行的预录制的动画转变成新的动画、基于多个混合的预录制的动画的动画、修改的预录制的动画等。

预录制的动画也可在被链接到捕捉的运动的动画之前被修改。在某些情况中，预录制的动画可被修改成使得需要很少或不需要平滑来将预录制的动画和捕捉的运动的动画链接。例如，用户的捕捉的运动的参数可被分析，且可选择预录制的动画来链接。在链接之前，可修改预录制的动画以更接近地表示转变点处用户的捕捉的运动。例如，动画中手臂的位置可被修改以更接近地表示用户的捕捉的运动的手臂位置。

以这种方式修改预录制的动画的某些参数可有时消除对用于动画类型之间的无缝转变的任何平滑技术的需要。参数可在执行过程中被修改，在运动被捕捉时在运行时期间将预录制动画的参数适合于用户的运动。替代地，参数可基于用户的历史数据来被修改。例如，如果预录制的动画被插入用于网球发球中的用户回摆运动，则用户的位置的历史数据可指示预录制的动画和用户的捕捉的运动的动画之间的转变点处用户的肘的典型位置。因为用户通常会每次以类似的方式执行常规或普通的运动，即以用户特定的方式，预录制的动画的参数可基于用户的历史数据来被修改。类似地，用户可慢速地改进用于应用中的控制的姿势，且历史数据可跟踪用户的捕捉的运动中的变化并相应地修改预录制的动画参数。

计算环境12可包括转变点组件194和动画混合组件200。转变点组件198可确定使用预录制的动画何时是合适的，以及提供对应于用户的捕捉的运动的动画何时是合适的。取决于各种因素，如应用的类型、用户技能等级、执行姿势的困难程度、姿势的冗余性等，转变点模块198可标识或设置转变点，在转变点处，所表示的运动可在对应于用户的运动的动画和预录制的动画之间转变。

姿势库190、转变点组件194、以及动画混合组件200可以硬件、软件或其组合来实现。例如，姿势库190、转变点组件194以及动画混合组件200可被实现为在计算环境的诸如处理器196等处理器上(或在图3的处理单元101或图4的处理单元259上)执行的软件。

要强调的是，图2-4中描绘的框图是示例性的，且不旨在暗示一具体实现。由此，图1的处理器195或32、图3的处理单元101和图4的处理单元259可被实现为单个处理器或多个处理器。多个处理器可以分布式或集中式地定位。例如，姿势库190可被实现为在捕捉设备的处理器32上执行的软件，或者它可被实现为在计算环境中的处理器195上执行的软件。构想了适用于执行此处公开的技术的处理器的任意组合。多个处理器可无线地、经由硬线、或以其组合来通信。

姿势库和标识转变点的参数可由姿势工具为应用或应用的上下文来调节。上下文可以是文化上下文，并且可以是环境上下文。文化上下文指的是使用系统的用户的文化。不同的文化可使用相似的姿势来赋予显著不同的含义。例如，希望叫另一个用户“看”或“使用他的眼睛”的美国用户可将他的食指放在他头上靠近他的眼睛的远端处。然而，对意大利用户而言，该姿势可被解释为对黑手党的引用。

类似地，在单个应用的不同环境之中可能有不同的上下文。取涉及操作摩托车的第一人称射击游戏。当用户在走路时，将手指朝向地面握拳并向前且从身体向外伸出拳头可表示重拳姿势。当用户在驾驶上下文中时，相同的运动可表示“换挡”姿势。可能还有一个或多个菜单环境，其中用户可保存他的游戏、在他的人物装备之间选择或执行类似的不包括直接玩游戏的动作。在该环境中，该游戏姿势可具有第三个含义，如选择某样东西或前进到另一屏幕。

姿势、预录制的动画以及转变点可被一起分组到可能由该风格中的应用使用的互补姿势风格包中。互补姿势—或者如通常一起使用的那些姿势中那样是互补的，或者如一个姿势的参数改变将改变另一姿势的参数中那样是互补的—被一起分组到风格包中。这些包可被提供给应用，应用可选择至少其中一个。应用可调节或修改姿势的参数、预录制的动画或转变点来最佳地适合应用的独特方面。当调节该参数时，也调节该姿势或第二姿势的第二互补参数(在相互依赖的意义上)使得这些参数保持互补。用于视频游戏的风格包可包括诸如第一人称射击、动作、驾驶和体育等风格。

转变点组件198可确定使用预录制的动画何时是合适的，以及提供基于用户的捕捉的运动或姿势的动画何时是合适的。转变点组件194可分析用户的运动以确定是否有任何相关参数满足指示转变点的那些参数。例如，保龄球应用中保龄球运动的各种姿势可由计算环境12来解释。姿势过滤器191可基于匹配回摆姿势的参数来标识用户的回摆的开始。

保龄球运动中的转变点可被设置在用户的手穿过他的或她的髋平面的点。转变点的特性可以是用户的捕捉的运动包括回摆运动且以特定速度发生。从物理空间中用户的姿势测得的参数可匹配于转变点的参数。对转变点的标识可触发预录制的或预先确定的姿势的实现。预录制的动画库192可存储预录制的回摆动画。

动画混合组件195可平滑实时动画和预录制的动画之间的转变。例如，计算环境12可生成用户的移动的骨架映射，并平滑转变点处测得的用户的位置的转变到预录制的动画的初始位置的转变。以此方式链接用户的运动和预录制的动画可使得对用户的所显示的表示的任何中断最少，可能提供无缝转变。捕捉的运动将在用户之间不同，且可在用户每次执行某一姿势时不同。从而，各种用户和各种运动的混合，与预先确定的运动相链接，也可改变。为链接而选择的预录制的动画还可确定将需要的混合量。

当再次向前扔球用户的手穿过他的或她的髋部时，第二转变点可被设置。该第二转变点可触发返回使用对应于用户的捕捉的运动或姿势的动画。再次，动画混合组件195可平滑用户的运动的动画和预录制的动画之间的转变。

图3示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。上面参考图1A-2所描述的诸如计算环境12等的计算环境可以是诸如游戏控制台等的多媒体控制台100。如图3所示，多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的内核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在当多媒体控制台100通电时的引导过程的初始阶段期间加载的可执行代码。

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V(音频/视频)端口140输出数据，用于传输至电视或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。

多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。

提供系统存储器143来存储在引导过程期间加载的应用数据。提供了介质驱动器144，其可以包括DVD/CD驱动器、硬盘驱动器，或其他可移动介质驱动器等等。介质驱动器144可以是多媒体控制台100内部或外部的。应用数据可经由介质驱动器144访问，以由多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。

系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。

前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。

CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。

当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，介质驱动器144中包含的应用和/或其他媒体可从介质驱动器144启动或播放，以向多媒体控制台100提供附加功能。

多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。

当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源对于应用视角而言是不存在的。

具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留，通过使用GPU中断来显示由系统应用程序生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率并引起TV重新同步。

在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识了是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把对于控制台上运行的游戏应用的高速缓存分裂最小化。

当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。

输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。相机26、28和捕捉设备20可以为控制台100定义额外的输入设备。

图4示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境220的另一示例实施例，该计算环境可以是图1A-2所示的计算环境12。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本公开的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在其中电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。

在图4中，计算环境220包括计算机241，计算机241通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图4示出了操作系统225、应用程序226、其他程序模块227和程序数据228。

计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图4示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常由例如接口234等不可移动存储器接口连接至系统总线221，而磁盘驱动器239和光盘驱动器240通常由例如接口235等可移动存储器接口连接至系统总线221。

以上讨论并在图4中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图4中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸垫)之类的输入设备向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、游戏杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由诸如并行端口、游戏端口或通用串行总线(USB)等其他接口和总线结构来进行连接。相机26、28和捕捉设备20可以为控制台100定义额外的输入设备。监视器242或其他类型的显示设备也通过诸如视频接口232的接口连接至系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。

计算机241可使用至诸如远程计算机246之类的一个或多个远程计算机的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上关于计算机241所描述的元件，尽管在图4中仅示出了存储器存储设备247。图2中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但还可包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。

图5A描绘了可从捕捉设备20生成的用户的示例骨架映射。在该实施例中，标识出各个关节和骨骼：每一手502、每一前臂504、每一肘506、每一二头肌508、每一肩510、每一髋512、每一大腿514、每一膝516、每一小腿518、每一足520、头522、躯干524、脊椎的顶部526和底部528，以及腰530。在跟踪更多点的情况下，可标识出附加的特征，比如手指或脚趾的骨骼和关节，或脸部的各个特征，如鼻和眼。

用户可通过移动他的身体创建姿势。姿势包括用户的运动或姿态，其可被捕捉为图像数据并解析其意义。姿势可以是动态的，包括运动，如模仿扔球。姿势可以是静态姿态，如在一个人的躯干524前面交叉握住他的前臂504。姿势也可结合道具，如通过挥动仿制的剑。姿势可包括多于一个身体部位，如拍双手502，或是较微小的运动，如撅起一个人的嘴唇。

用户的姿势可用于一般计算上下文中的输入。例如，手502或其他身体部位的各种运动可对应于常见的系统级任务，如在分层列表中向上或向下导航、打开文件、关闭文件和保存文件。例如，用户能以手指向上指且掌心面向捕捉设备20来保持他的手。他然后可以将手指朝向手掌收拢来形成拳头，并且这可以是指示基于窗口的用户界面计算环境中的焦点窗口应被关闭的姿势。姿势也可在视频游戏专用上下文中取决于游戏来使用。例如，对于驾驶游戏，手502和脚520的各种运动可对应于在一方向上操控车辆、换挡、加速和刹车。由此，姿势可指示映射到所显示的用户表示的、在诸如视频游戏、文本编辑器、文字处理、数据管理等各种各样应用中的各种各样的运动。

用户可通过自己在原地行走或奔跑来生成对应于行走或奔跑的姿势。例如，用户可另选地提起并放下每一腿512-520来在不移动的情况下模拟行走。系统可通过分析每一髋512和每一大腿514来解析该姿势。当一个髋部-大腿角(如相对于垂直线测量的，其中站立的腿具有0°的髋部-大腿角，而向前水平伸展的腿具有90°的髋部-大腿角)超过相对于另一大腿的特定阈值时，可识别一步。行走或奔跑可在交替腿的某一数量的连续步之后被识别。两个最近的步之间的时间可被认为是一周期。在不满足阈值角度达某一数量的周期之后，系统可确定行走或奔跑姿势已停止。

给定“行走或奔跑”姿势，应用可为与该姿势相关联的参数设定值。这些参数可包括上述阈值角度、发起行走或奔跑姿势所需的步数、结束姿势的没有发生步的周期数、以及确定姿势是行走还是奔跑的阈值周期。快周期可对应于奔跑，因为用户将快速地移动他的腿，而较慢的周期可对应于行走。

姿势最初可以与一组默认参数相关联，应用可用其自己的参数来覆盖该组默认参数。在这一场景中，不迫使应用提供参数，但是应用可改为使用一组允许在没有应用定义的参数的情况下识别姿势的默认参数。与姿势有关的信息可被存储用于预录制的动画的目的。

有各种可以与姿势相关联的输出。可以有关于姿势是否正在发生的基线“是或否”。还可以有置信度水平，其对应于用户跟踪的移动对应于姿势的可能性。这可以是范围为0和1之间(包括端点)的浮点数的线性标度。在接收该姿势信息的应用不能接受假肯定作为输入的应用中，它可仅使用那些具有高置信度水平，如至少0.95的已识别的姿势。在应用必须识别姿势的每一实例的情况下，即使以假肯定为代价，它可使用至少具有低得多的置信度水平的姿势，如仅仅大于0.2的那些姿势。姿势可具有在两个最近步之间的时间的输出，并且在仅注册了第一步的情况下，这可被设为保留值，如-1(因为任何两步之间的时间必须为正)。姿势也可具有关于在最近一步期间达到的最高大腿角的输出。

另一示例性姿势是“脚跟提起跳”。在该姿势中，用户可通过将他的脚跟提离地面，但保持他的脚趾着地来创建该姿势。另选地，用户可跳向空中，其中他的脚520完全离开地面。该系统可通过分析肩510、髋512和膝516的角度关系来解析该姿势的骨架，以查看它们是否在等于直立的对齐位置。然后，可监视这些点和较高526和较低528脊椎点来发现任何向上加速。足够的加速组合可触发跳跃姿势。加速度与某一姿势的足够的组合可满足转变点的参数。

给定该“脚跟提起跳”姿势，应用可为与该姿势相关联的参数设定值。参数可包括上述加速阈值，其确定用户的肩510、髋512和膝516的某种组合必须向上移动多快来触发该姿势；以及肩510、髋512和膝516之间仍可触发跳跃的最大对齐角。输出可包括置信度水平，以及用户在跳跃时的身体角度。

基于将接收姿势的应用的细节来为姿势设定参数对于准确地标识姿势而言是重要的。正确地标识姿势以及用户的意图极大地有助于创建积极的用户体验。

应用可以为与各种转变点相关联的参数设置值来标识使用预录制的动画的点。转变点可由各种参数来定义，如某一姿势的标识、速度、目标或物体的角度、或其任何组合。如果转变点至少部分地由某一姿势的标识来定义，则正确地标识姿势有助于提高转变点的参数已被满足的置信水平。

对于姿势的另一参数可以是移动的距离。在用户的姿势控制虚拟环境中的化身的动作的情况下，该化身可以是手臂离球的长度。如果用户希望与该球交互并抓住它，则这可要求用户伸展他的手臂502-510到全长同时作出抓握姿势。在这一情形中，用户仅部分地伸展他的手臂502-510的类似的抓握姿势可能无法达到与球交互的结果。类似地，转变点的参数可以是对抓握姿势的标识，其中如果用户仅部分地伸展他的手臂502-510，从而没有实现与球交互的结果，则用户的姿势将不满足转变点的参数。

姿势或其一部分可将它必须在其中发生的空间体作为参数。在姿势包括身体移动的情况下，该空间体通常可相对于身体来表达。例如，对于惯用右手的用户的美式足球投掷姿势可仅在不低于右肩510a、且与投掷手臂502a-310a在头522的相同侧的空间体中识别。可能不必要定义空间体的所有边界，如对于该投掷姿势，其中从身体向外的边界留着不被定义，并且该空间体无限地向外延伸，或者延伸到正被监视的场景的边缘。

图6A-6F描绘了用户602在保龄球游戏中可做出的姿势的示例。图6A-6F中的每一个可对应于在不同时间点用户的运动的图像数据的快照或帧。图像数据的每一帧可被解析以产生用户的骨架映射，且姿势可如关于图6中所示的骨架映射所述地被标识。图6A-6F中所示的图像数据的帧或快照可由捕捉设备捕捉，并可由捕捉设备20或在计算环境12中处理，如图2所示。

捕捉设备20可比用户可覆盖的距离更快速地捕捉图像数据的连续帧。例如，扔保龄球姿势可在10秒的时间段上发生，且在深度相机以每秒40帧捕捉数据的情况下，可捕捉400帧图像数据。该系统在从用户的深度图像产生了骨架映射之后，现在可确定用户的身体如何随时间而移动，并且可从中解析姿势。在用户运动的不同点处，系统可实现预录制的动画供显示，而不是显示表示用户的运动的动画。

在图6A中，用户602以他的手臂604向下放于两侧开始。用户走向保龄球回球装置，如图6B中的用户运动的快照所示。用户然后选择球，如图6C中的用户运动的快照所示。用户可伸手拿由捕捉设备标识的且可关于游戏空间的化身而显示的用户的物理空间中的实际物理物体。替代地，某一应用中所使用的道具或物体可被显示在屏幕上，用户可通过将他自己正确地定位在物理空间中以对应于游戏空间中的位置来与物体交互。例如，如果游戏空间中显示了保龄球回球装置中的球集合，则用户可在物理空间中做出向前走运动和转身，以控制化身走向并转向游戏空间中显示的保龄球回球装置。通过观看所显示的用户的表示，如映射到用户的姿势的化身，用户可将他自己或她自己定位以做出球选择。

一旦选择了球，在图6C和图6D中所示的帧之间，用户走到位于保龄球道上的位置，并将他自己或她自己定位在所希望的位置中。再次，通过观察映射到显示画面的用户的运动，用户可在用户的物理空间中做出行走运动，以将化身移动到游戏空间中所显示的保龄球道上的正确位置。用户持球以准备回摆运动，如图6D中的用户运动的快照所示，并开始回摆运动，如图6E中的用户运动的快照所示。图6F描绘了将保龄球向下释放到保龄球道上时的用户。

尽管捕捉设备20捕捉了一系列静止图像，使得在任何一个图像处用户看似为静止的，但用户可在执行该姿势的过程中在移动(而非静止姿势)。该系统能够取每一静止图像中的该一系列姿态，并从中确定用户正在作出的移动姿势的置信度水平。

在执行姿势时，用户的运动可被映射到显示画面上的表示，如化身。插入预录制的动画而不是映射对应于用户的捕捉的运动的动画可能是合适的。如果用户的运动不是控制应用的某一方面的姿势，则仍然可能希望显示用户的运动或插入预录制的动画。例如，在图6C中的用户的球选择之后，图6C和图6D中所示的帧之间的涉及向上伸直背并移动成面对保龄球瓶的运动可更好地由预录制的动画来表示。和映射用户的捕捉的运动相比，使用预录制的动画对于动画目的来说可能更为有效。作为另一示例，图6D和6F中所描绘的图像之间发生的用户的回摆(其快照示于图6E)对于无经验的用户来说可能是复杂的，或者它可被设置为预录制动画，因为它是对于保龄球游戏如此普通的运动。

出于各种原因，可选择某一姿势或运动段来由预录制的动画表示。例如，运动可能对于游戏中用户的表现无关紧要，且使用预录制的动画可能比将动画映射到用户的运动更为有效。为了动画的目的而插入预录制的动画对于常见的运动或那些复杂而难以测量或标识的运动来说可能是希望的。可能希望在用户将不预期他的或她的运动要被映射到显示画面中的情况中使用预录制的动画。适合于该应用的某些运动太普通，使得用户不能将预录制动画的使用与基于用户的捕捉的运动或姿势的动画的显示相区分，并且显示一个或另一个可能更为有效。预录制的动画对于在游戏或应用中提供断点可能是所希望的。例如，如果用户意识到预录制的动画将会在球选择之后把用户的化身从保龄球回球装置移动到球道，则用户可在恢复游戏之前休息一会儿而不影响用户的运动。然而，用户可做出触发运动的姿势以触发将系统返回到显示用户的运动。

触发对预录制动画的使用的转变点以及所需要的混合的类型和量可由与姿势相关联的参数调谐，以最佳的服务于应用的细节。例如，在利用具有相关姿势信息的姿势库的保龄球应用中，图6A-6F中所示的用户的运动可被标识为保龄球姿势。与姿势有关或专用于该应用的参数可标识转变点，触发对转变点之后的动画段使用预录制的动画。

用于标识转变点的一组参数可能更为严格，例如要求用户在某一角度弯腰或做出特定运动。例如可由应用专用的运动来标识转变点，例如上述保龄球运动中在用户的化身被定位在所希望的保龄球上时要求用户通过伸展做出抓握运动的转变点。如果转变点由参数的组合来标识，则参数的该组合可增加对转变点的指示的置信度水平。例如，考虑图6C和6D之间的运动要由预录制的动画表示的保龄球应用。指示转变点的参数可要求应用的类型(如保龄球游戏)、特定用户运动(如弯下腰)、以及应用专用的运动(如用于球选择的抓取运动)的组合。

转变点可在应用之间变化。在一个应用中对参数的满足可指示转变点，但在另一应用中满足同样那些参数可能不指示转变点。游戏中该特定点中的抓取运动可标识转变点，其中预录制的动画将表示用户的运动直到下一转变点。在另一应用中，诸如非游戏电子表格应用，抓取运动可被用于将电子表格中的一个单元中的信息移动到另一单元。用于转变点的参数可要求用户在诸如1.5秒之类的指定时间段内移动通过特定位置，如果用户花费多于1.5秒来移动通过这些位置，则将不会被识别为特定的转变点，从而不触发预录制的动画。

系统可将物理空间中用户的姿势测量到化身向保龄球回球装置的移动、弯下腰以及然后做出对某一球的抓取运动。在转变点，系统可对球选择之后的运动实现预录制的动画(如向上伸直背并将化身正确地定位在保龄球道上面向保龄球瓶)。系统可采用用于动画混合的技术，使得从对应于用户的实时运动的动画到预录制的动画的转变，或反之亦然(从预录制的动画到对应于用户的运动的动画)，可以对显示画面最小扰断的方式被链接在一起。

图7A和7B描绘了图6A-6E中所描绘的用户运动的每一帧，进一步描绘了用户的姿势和预录制的动画的序列，以及系统如何通过动画混合技术将用户的姿势的动画和预录制的动画链接在一起。

转变点#1、#2、#3和#4可以是参数(例如对用户的运动特定的参数)满足转变点的参数的点。标识转变的参数可对应于除了用户的运动之外的东西，如指示应用中的特定点的参数。可采用用于设置转变点的任何合适的方法。应用自己可基于应用的类型和/或用户的技能等级或经验来设置转变点。例如，对于初始玩家可实现更多的预录制的运动。用户可设置转变点，使得预录制的运动被用于特定运动，或用户可请求在应用的使用过程中使用更多或更少的预录制的动画。

满足转变点的参数可触发从用户的运动的动画到预录制的动画的转变，或从预录制的动画返回到用户的运动的动画。如图7A中所示，区段A表示使用用户的运动的动画，描绘了控制保龄球游戏的各方面的各种姿势。当满足转变点的参数时，可触发预录制的动画的实现。转变点#1处的转变可由应用类型(如保龄球游戏)、特定用户运动(如弯下腰)、以及应用专用的运动(如用于球选择的抓取运动)的组合来触发。

如区段C所示，保龄球应用中的示例预录制的动画可以是涉及从保龄球回球装置中拿起球，返回直立位置，以及然后将用户的化身(或其他可视表示)定位在具有保龄球瓶的保龄球道的前面的运动。为了做出从捕捉的运动到预录制的动画的转变，可结合动画混合，如区段B所表示的且下文更完整地讨论的那样。

在另一示例实施例中，系统可在预录制的动画所提供的最后位置处暂停所显示的表示，例如区段C中所使用的预录制的动画的最后位置。预录制的动画所提供的该最后位置可由用户的表示(如化身)描绘在显示画面上。为了恢复用户做出的实时运动的表示，用户可能必须用某一实时姿势来触发转变。例如，为了恢复对用户做出的实时运动的系统测量和显示，用户可能必须在类似于预录制的动画所提供的最后位置的位置处准备好。从而，可蓄意地中断转变以提供断点或帮助玩家将他们自己设置到正确的位置。对用户的实时运动的捕捉以及对某一(些)运动的检测可触发系统返回到对用户的实时运动的使用。如上所述，用户的运动的动画与预录制的动画之间的转变对于观察显示画面上的玩家来说可能是无缝的。

第二转变点#2可由预录制的动画所表示的运动的完成来标识。在一示例实施例中，在转变点#2，系统可返回到对用户的运动动画化。为了做出从预录制的动画回到用户的运动的动画的转变，如区段D所表示的，区段C中所使用的预录制的动画可被修改以更为接近地表示区段E的开始处用户的位置。

示例保龄球运动的姿势序列和动画如图7B中所描绘的那样继续。如图7B中所示，区段E再次示出在转变点#2之后系统继续用户的姿势的动画。可能希望在球选择之后显示物理空间中用户的运动的动画，因为用户表示在游戏空间中的定位可能基于用户偏好。例如，用户可能希望接近球道，或站在偏离保龄球瓶中心的位置。

第三转变点(转变点#3)的参数可以是指示用户准备好开始保龄球运动的回摆运动的用户的实时运动或姿势。例如，转变点#3的参数可以是对包括在准备位置在用户的躯干前持球、暂停预定时间量作为已经到达保龄球道上的所希望的位置的指示、以及开始从躯干前的位置向用户的髋部进行球的回摆的用户的姿势的标识。系统可标识指示转换点#3的用户的运动，从而触发对区段G中所描绘的预录制的动画的使用。如区段G所示，保龄球应用中的示例预录制的动画可以是发生在用户的髋部平面后的回摆和向前摆动运动。该预录制的动画可从表示回摆和向前摆动运动的多个预录制的动画中选择。为了做出从捕捉的运动到预录制的动画的转变，可结合动画混合，如区段F所表示的。

第四转变点#4可由预录制的动画所表示的运动的完成来标识。在一示例实施例中，在转变点#4，系统可返回到对用户的捕捉的运动的使用用于表示用户的运动。为了做出从预录制的动画回到用户的捕捉的运动的转变，可结合动画混合，如区段H所表示的。

用户的运动的动画可或可以不对应于某一控制。类似地，预录制的动画可以或可以不对应于某一控制。例如，物理空间中用户的运动的动画可被映射到诸如化身之类的用户的动画或可视表示。在用户的运动不控制应用的某一方面的情况下，系统可仍然显示映射到用户的运动的动画。类似地，预录制的动画可被插入并显示以表示某一运动段，且该运动可以或可以不适用于应用中的某一控制。替代地，用户的运动可对应于适用于控制的姿势，如用于操作系统或应用中的控制。例如，保龄球游戏应用中的抓取运动可表示球选择姿势。类似地，预录制的动画可控制应用的某一方面(如预录制的动画的参数可被定义成在预录制的动画被执行时转换成对应用的控制)。

为了将用户的姿势或实时运动的动画与预录制的动画相链接，如在每个转变点#1、#2、#3和#4，系统可采用动画混合的方法。动画混合是从一个更多个源获取分层节点信息并将它们混合在一起以生成相似分层结构的节点的新的定向的过程。最典型的分层结构是松散地表示人类骨架的分层结构。在该分层结构中，每个节点表示骨架的关节，如膝、肩或脊椎。对于每个节点，包含位置、旋转和标度值的定向通常被存储。在该上下文中，动画混合是将这些个体骨架关节定向进行混合以从一个或更多个源产生新的骨架姿态的过程。

存在各种现有的方法来执行一组定向的混合。这些可包括离散定向分量的线性内插、在旋转上的球形线性内插、连续样条内插、或对定向分量的简单的加、减或调制。动画混合质量是非常上下文的，因此应用可组合或扩展任何先前的方法来实现所希望的结果。此外，数据的存储方法也是非常灵活的且可包括变换矩阵、离散位置偏移、均匀和非均匀标度值、以及采用极坐标、轴角对、四元组或离散欧拉角的形式的旋转。由于存储器使用通常是动画节点分层结构的大型集合的关注，可使用各种压缩技术来量化或进一步压缩所描述的数据。

动画混合还包括重定目标的过程。重定目标是将一个或更多个不相似的节点分层结构转换到共同空间中，以用于混合的目的。作为示例，想象包含从职业运动员捕捉的动画的动画骨架分层结构。作为第二个源，还可能有从青少年捕捉的运动。这些分层结构在每个骨架所包含的关节数量以及每个骨架可包含的个体骨骼长度上都不同。为了将它们混合在一起，这些源中的一个或更多个可需要被转换到共同空间中。重定目标的这种过程将把一个骨架分层结构的运动转换到另一个的空间或形状。在先前的示例中，儿童的关节可能被按比例增加以匹配运动员的比例，以便提供要混合的数据的同质集合。

除了直接混合动画节点分层结构之外，还存在间接地将一个或更多个动画混合在一起以产生结果的一组技术。这些可包括前向和反向运动学。运动学的应用允许从所希望的目标和周围节点定向中来推断节点定向。例如，给定肩的当前位置和手的所希望的位置，肘的可能位置可通过反向运动学来推断。假设上臂和下臂的骨骼长度是固定的，则一旦肩和手被定位，就存在肘的可能定向的有限集合。使用人类骨架知识和关于肘的时间信息，可选择合适的位置。使用该过程，可在节点不直接被表示在被混合的分层结构中的情况中推导出定向。

动画混合在图7A和7B中表示为出现在区段B和H中。如上所述，区段D表示如上所述修改预录制的修改的参数的示例，而同样如上所述，区段F表示从多个预录制的动画中选择预录制的动画的示例，其中大多数适合于用户的捕捉的运动。注意，这些选项中的任何一些可用于以任何顺序在捕捉的运动的动画和预录制的动画之间链接。图7A和7B示出的示例仅出于示例性目的。例如，如被示为在区段D中在从预录制的运动到用户的运动的转变中发生的对预录制动画的修改可发生在捕捉的运动的动画到预录制的动画之间的转变中。

动画混合可以是用于平滑用户的实时运动或姿势的动画和预录制的动画之间的转变的任何合适的方法。例如，动画混合技术可包括在位置之间内插或使用单轴或多轴连续混合。对动画混合技术的输入之一可以是基于三维空间中的用户运动的用户的姿势。对动画混合技术的另一输入可以是预录制的动画所提供的位置。

如果转变点处姿势是静止的或涉及微小的运动，则可需要较少的混合。例如在转变点#1，可被标识为保龄球游戏中的转变点的用户的捕捉的运动是用户的弯腰运动和做出对球的选择的抓取运动。因为指示转变点的姿势是具有微小运动的受控运动，从区段A中用户的捕捉的运动到区段C中预录制的动画的动画混合量可较小。这由区段A和区段C之间的运动图中的小差异来表示。区段B中的混合以将区段A中的运动转变成区段C中的预录制的动画因此要求较少量的动画混合。

在其他情况中，转变点处用户的运动是大的或该运动可在用户或应用之间改变如此之多，使得需要更多的混合来在实时运动和预录制的动画之间转变。如果转变点在用户做出大量运动的点处，则可需要额外的混合来用于无缝转变到预录制的动画。在转变点，物理空间中用户的运动的位置与预录制的动画的开始位置越不同，就要求越多的混合。

例如，如图7B所示，在转变点#4，系统对保龄球的预录制的回摆和向前摆动运动转变到穿过用户的髋部平面的用户摆动的实时运动。在该转变点，捕捉的运动的动画，即用户在整个回摆和向前摆动期间的运动可基于例如用户的手臂的速度、离开髋部的距离、用户的腕中的旋转类型等而不同于预录制的动画。从而，图7B中的运动图表示了区段H中动画混合的示例，该示例要求更多的动画混合以平滑地从区段G中的预录制的动画转变回到区段I中的姿势的动画。

所采用的混合量可以是失败或成功的因素。例如，链接捕捉的运动和预录制的动画所需的混合量可对应于应用中的成功级别。如果应用是保龄球游戏，用户的捕捉的回摆运动或用户在转变点的运动可以与预录制的动画的开始位置相当不同。用户的姿势和预录制的动画之间的这种差异量可被解释为失败。失败可确定用户最终将球扔到保龄球道上。例如，如果预录制的动画返回到捕捉的运动的动画的转变点是极大地不同于物理空间中用户的实际位置的位置，则球可能不被直接地扔到保龄球道上或球可能没有与保龄球瓶对准。或者例如，如果用户在释放保龄球时在物理空间中摔倒，或例如试图举手过肩扔球，则捕捉的运动和预录制的动画的参数之间的差异可以根据用户在游戏或应用中成功或失败而是明显的。

用户作出来传达姿势的运动或姿态可随着时间改变，并且这可创建上下文的改变。例如，用户可能变得疲劳并且不再跳得像他在其会话开始时那样高来传达跳跃姿势。并且，用户可通过实践来变得更擅长作出与姿势相关联的运动或姿态，因此对参数的可接受的变化可减小，以使两个不同姿势较不可能被一组运动或姿态识别。应用还可能希望在用户变得更熟练时给予用户更具挑战性的体验，以便不失去其注意力。在另一实施例中，应用可给予用户对姿势的更精细控制或给予用户更多姿势来使用。例如，网球视频游戏的初学者可能仅关注将球击过网，而不对其施加任何旋转。然而，随着网球应用检测到用户正在进步，它可介绍或识别除了标准击球之外的用于上旋或下旋的姿势。

类似地，与用于某一应用的转变点相关联的参数可随时间变化，可基于上下文变化，或可基于对用户意图的预测来选择。例如对于网球视频游戏的初学者，如果初学者仅仅关注于击球过网，则更多的预录制的动画可能是希望的。从而，可相应地设置转变点。随着网球应用检测到用户的运动正在提高，它可修改转变点使得更少的预录制的动画被插入。

包括关节位置、速度、加速度等在内的姿势历史可被用于确定用户意图。这些因素可作为后续动画、游戏控制和转变点的参数的种子，并确定要发起的预录制的动画。例如，在保龄球运动中，如果用户的回摆和向前摆动运动的历史位于某一速度范围内，则具有根据相似速度的运动的参数的预录制的动画可被选择用于该用户以与该用户的捕捉的运动混合。

第二用户可替代第一用户作为提供输入的人，并且第二用户可具有显著不同的传达姿势的方式。在一实施例中，可解析所接收的深度图像来确定第二用户在传达姿势的场景中。从而，与第二用户相关联的转变点可不同于与第一用户相关联的转变点。

通常，动画混合操作包括取两个或更多个输入并生成平滑输出。动画混合的各种技术可被用来以串行或并行配置来链接用户的运动的动画或一个或更多个创作的动画。这些技术包括添加和减去混合、线性内插、球形线性内插、相移、线性混合、溶解、双线性混合、组合混合、镜像混合、钳位混合、多轨道混合、分层等。例如，分层是在两个动画同时运行且结果是它们的组合时。动画混合可涉及在用户捕捉的运动或姿势的动画和预录制的动画之间创建帧。不同动画以不同方式创建这些中间帧。例如，可使用线性或样条内插来内插点位置。

基本动画混合操作可涉及线性内插。行走姿势动画和预录制的奔跑动画之间的转变可涉及将所测得的行走姿势动画参数的结尾混合到预录制的奔跑动画参数的开始。该操作可包括计算两个动画之间的位置中的差异，以及采用线性内插来表示两个位置之间将发生的移动。用户的捕捉的运动的动画和预录制的动画之间的内插的移动的显示可提供动画之间的无缝或几乎无缝的转变。转变的持续时间可以是从物理空间中的用户的捕捉的运动测量的加速度和速度变量的函数，这些变量用于平滑从行走姿势的动画到预录制的奔跑动画的转变。

仍然考虑行走到预录制的奔跑示例，如果行走姿势动画参数的结束与预录制的奔跑动画参数的开始之间的增量是小的，则用于动画混合的简单的溶解技术就可能足够了。如果转变相当快，则从行走姿势的最后位置溶解到预录制的奔跑姿势的开始就可能足够了。在其他情况中，可能希望在更长的持续时间上维持转变状态，创建预录制的行走和奔跑动画之间的慢跑运动的若干步，以便衔接它们各自的运动速度中的差距。传统的动画混合技术将被用于从一个或更多个预录制的行走和奔跑动画生成慢跑运动。

然而，通常捕捉的运动和预录制的动画之间的增量可能由于可变的用户运动而偏移。于是，行走和奔跑可能不相协调，因此混合将模拟将两个动画混合或链接在一起的运动。两个动画之间的偏移可被确定，包括位置、速度等中的偏移。可基于转变点处用户的姿势的参数来选择预录制的动画。同样，可调整预录制的动画的参数以便和用户的实时运动的参数同步。如果所希望的预录制的动画是快跑而所捕捉到的运动是慢走，则可插入更多帧的运动来表示从捕捉的运动到预录制的动画的转变。

在某些情况下，可能希望允许用户的观察到的动画指导一组预录制的动画之间的混合。以此方式，用户的物理动作变为指导混合技术的输入参数。例如，应用可包含各种专业创作的或运动捕捉的网球摆动动画。在摆动动画的该选取板中，每个动画可由任何数量的参数来分类，如摆动速度和腕通过空间的弧度。当观察到用户正在执行网球摆动姿势时，还可观察物理空间中关于他们的动作的相应一组参数。使用用户的观察到的参数作为指导，于是可选择并混合一个或更多个预录制的动画以产生最佳地模仿用户观察到的动作的看上去专业的网球摆动。这一混合可在用户执行他们自己的摆动时实时发生，连续地调整预录制的动画之间的混合参数。这种连续调整可被用来使得用户的物理空间运动和游戏空间中化身的相应动作之间的任何所察觉的延迟最小化。

使用不同的工具来描述转变点处以及遍及全部帧中的动画以供显示。某些方法可使用用户的3D骨架模型的点位置来定义用户的运动或姿势。其他方法使用矩阵或欧拉角来描述用户的运动/姿势和/或预录制的动画的位置。

辅助数据或控制参数也可作为输入来辅助平滑算法，包括专用于预录制的动画和/或用户的运动的动画的参数。例如，转变点指示出用于发起从一个动画到下一个动画的转变的基准点。混合的持续时间可指示出以帧为单位的混合的长度。混合类型可以是关于预录制的动画和/或用户的运动的动画之间的链接应如何平滑的指示。尽管不是包含一切的列表，其他参数可以是动画的运动的程度、各种参考点(如关节或肢体)的速度、用户的运动的动画和预录制的动画之间的增量等。使用与用户的运动的动画和预录制的动画有关的转变点和参数，动画混合可使得能够平滑地混合动画。

图8描绘了用于动画混合的示例方法500的流程图。示例方法500可使用例如参考图1A-B所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12来实现。根据一示例实施例，目标可以是人类目标、具有一物体的人类目标、两个或更多个人类目标等，目标可被扫描来生成诸如骨架模型、网格人类模型、或其任何其他合适的表示等模型。模型然后可被用于与可由以上关于图1A-1B描述的计算环境12执行的应用进行交互。根据一示例实施例，可在例如在计算环境12上启动或运行应用时，和/或在例如计算环境12上的应用的执行期间周期性地，扫描目标来生成模型。

例如，如上所述，目标可包括以上关于图1A-1B描述的用户18。可扫描目标来生成例如用户18的骨架模型，可跟踪用户18使得用户18的物理移动或运动可用作调整和/或控制诸如电子游戏等应用的参数的实时用户接口。例如，所跟踪的用户的运动可用于在电子角色扮演游戏中移动屏幕上的人物或化身、在电子赛车游戏中控制屏幕上的车辆、在虚拟环境中控制物体的建筑或组织、或执行应用的任何其他合适的控制。

根据一个实施例，在805，计算机控制的相机系统例如可测量与用户的姿势有关的深度信息。例如，目标识别、分析和跟踪系统可包括诸如参考图1A-2描述的捕捉设备20等的捕捉设备。捕捉设备可捕捉或观察可包括一个或多个目标的场景。在一示例实施例中，捕捉设备可以是深度相机，该深度相机被配置成使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得与场景中的一个或多个目标相关联的深度信息。此外，深度信息可被预处理为从深度数据和色彩数据生成的深度图像或甚至是经解析的深度图像数据，如具有图像中的任何用户的骨架映射。

根据一示例实施例，深度信息可包括深度图像。深度图像可以是多个观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象距捕捉设备的长度或距离。

在810，系统可标识转变点和参数，当参数被满足时指示出转变点。转变点可以是姿势中或姿势之间、系统在捕捉的运动或用户的姿势的动画与预录制的动画之间转变的标识点。在一示例实施例中，转变点可以是姿势中或姿势之间提供要切换到预录制的动画的指示的标识点。标识转变点可包括确定用户已经以满足转变点的任何要求(如手在头上)的方式移动了。在一实施例中，用户可使用话音来做出、扩大、区分或阐明运动。例如，用户能够通过张开和闭合他的嘴来作出唱歌姿势，但还可通过唱出音符来指定该唱歌姿势的特定音符。另外，用户能够通过在作出另外的“常规重拳”姿势的同时喊叫来作出与“常规重拳”姿势相对的“有力重拳”姿势。在另一示例实施例中，转变点是预录制的动画中触发返回到捕捉的运动的动画的标识点。

在815，基于捕捉的运动或预录制的动画的参数(取决于哪个是当前所用的)与为某一转变点定义的参数的比较，做出关于转变点参数是否被满足的确定。如果转变的参数没有被满足，则在805继续测量深度信息。

如果转变点的参数在815被满足，则操作820确定当前动画是基于捕捉的运动还是预录制的动画。如果预录制的动画当前正在执行，用户的捕捉的运动的动画就被链接到预录制的动画，例如通过动画混合技术。如果当前动画是基于捕捉的运动，则转变点指示出应选择预录制的动画。

在822，系统选择至少一个预录制的动画。许多预录制的动画可表示相同的所希望的运动，计算环境可从多个动画中选择最合适的预录制的动画。例如，多个预录制的动画选项可用于表示网球发球的回摆。回摆运动的位置和速度参数对于表示该回摆的多个预录制的动画的每一个来说可不同。系统可选择具有最类似于转变点处用户的捕捉的运动的参数的预录制的动画。

如果在822选择了一个以上预录制的动画，则可以某种方式组合该多个预录制的动画以生成对于链接到用户的捕捉的运动的动画而希望的新的预录制的动画。例如，在832，可混合多个预录制的动画用于在834链接到用户的捕捉的运动的动画。

在832，可修改至少一个所选的预录制的动画的参数。在某些情况中，预录制的动画可被修改成使得需要很少或不需要平滑来在834将预录制的动画和捕捉的运动的动画链接。例如，用户的捕捉的运动的参数可被分析，且可选择预录制的动画来链接。在链接之前，可修改预录制的动画以更接近地表示转变点处用户的捕捉的运动。例如，动画中手臂的位置可被修改以更接近地表示用户的捕捉的运动的手臂位置。

在822处选择至少一个预录制的动画之后，在825，链接用户的捕捉的运动的动画和预录制的动画。在830，提供用户的运动和预录制的动画的混合表示的显示。从而，系统可选择或修改要被链接到用户的捕捉的姿势的动画的预录制的动画，系统可选择预录制的动画然后诸如通过混合技术等来平滑动画之间的转变，或者系统可进行两者的组合。对预录制的动画的选择可通过单个选项，基于预录制的动画提供的运动来选择，或者预录制的动画可从多个预录制的动画中被选择，其中每个预录制的动画表示用于动画的所希望的运动。

应该理解，此处所述的配置和/或方法在本质上是示例性的，且这些具体实施例或示例不被认为是限制性的。此处所描述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行等等。同样，上文所描述的过程的顺序也可以改变。

此外，尽管已经结合某些方面按各附图所示描述了本发明，但要理解，可使用其它相似方面或者可对所述方面进行修改或添加来执行本发明的相同功能而不脱离本发明。本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作、和/或特性、以及其任何和全部等效物。因此，所公开的各实施例的方法和装置或其某些方面或部分可采用包含在诸如软盘、CD-ROM、硬盘驱动器或任何其他机器可读存储介质等有形介质中的程序代码(即，指令)的形式。当程序代码被加载到诸如计算机等机器并由其执行时，该机器变为被配置成实施所公开的各实施例的装置。

除了此处明确阐述的具体实现之外，考虑此处所公开的说明书，其它方面和实现将对本领域的技术人员是显而易见的。因此，本发明不应该仅限于任何单个方面，而是应该在根据所附权利要求书的广度和范围内解释。例如，本文描述的各种过程可用硬件或软件、或两者的组合来实现。

Claims

1.一种用于链接动画的方法800，所述方法包括：

从捕捉设备20接收表示所捕捉的运动的图像数据805；

选择预录制的动画822；

链接捕捉的运动的动画和预录制的动画825。

2.如权利要求1所述的方法800，其特征在于，链接捕捉的运动的动画和预录制的动画包括将捕捉的运动的动画混合到预录制的动画或将预录制的动画混合到捕捉的运动的动画830。

3.如权利要求2所述的方法800，其特征在于，链接捕捉的运动的动画和预录制的动画825、834包括将捕捉的运动的参数混合到预录制的动画的初始参数或预录制的动画的结束参数中的至少一个830。

4.如权利要求1所述的方法800，其特征在于，还包括标识指示转变点的至少一个参数810，其中对所述至少一个参数的满足815触发了捕捉的运动和预录制的动画的链接825、834。

5.如权利要求1所述的方法800，其特征在于，还包括选择预录制的动画和混合多个预录制的动画832，以生成新的预录制的动画，以及选择所述新的预录制的动画来与捕捉的运动的动画链接834。

6.如权利要求1所述的方法800，其特征在于，捕捉的运动是捕捉设备20捕捉的物理空间中目标18的实时运动。

7.一种用于链接动画800的方法800，所述方法包括：

从捕捉设备20接收表示用户的姿势的图像数据805；

选择预录制的动画822；

链接姿势的动画和预录制的动画825、834。

8.如权利要求7所述的方法800，其特征在于，还包括显示姿势动画和预录制的动画的链接的动画830。

9.如权利要求7所述的方法800，其特征在于，选择预录制的动画822包括从多个预录制的动画192选择预录制的动画。

10.如权利要求7所述的方法800，其特征在于，还包括选择预录制的动画和混合多个预录制的动画，以生成新的预录制的动画，以及选择所述新的预录制的动画来与捕捉的运动的动画链接825、834。

11.如权利要求7所述的方法800，其特征在于，链接姿势动画和预录制的动画825、834包括在转变点将姿势动画的参数链接到预录制的动画的初始参数或预录制的动画的结束参数中的至少一个。

12.如权利要求7所述的方法800，其特征在于，还包括用于标识指示转变点的至少一个参数810的指令，其中对所述至少一个参数的满足815触发了姿势动画和预录制的动画的链接825、834。

13.如权利要求7所述的方法800，其特征在于，转变点815的参数是基于应用类型、用户技能、姿势历史、姿势困难程度、姿势冗余性、环境上下文或文化上下文中的至少一个来设置的。

14.一种用于动画混合的设备，所述设备包括：

捕捉设备组件20，所述捕捉设备组件接收表示捕捉的运动的图像数据805；

处理器32、296，所述处理器32、196执行计算机可执行指令，所述计算机可执行指令包括用于以下操作的指令：

选择预录制的动画822；

在转变点815，混合实时运动的动画和预录制的动画830。

15.如权利要求23所述的设备，其特征在于，还包括用于显示链接的姿势和预录制的动画的混合动画803的显示设备193。