CN102470273A - 基于玩家表情的视觉表示表情 - Google Patents

Abstract

使用面部识别和姿势/身体姿态识别技术，系统能够自然地经由用户的视觉表示来传达用户的情绪和态度。这些技术包括：基于可检测特性来定制用户的视觉表示；从该可检测特性来推断用户的性情；以及将指示该性情的属性实时地应用到该视觉表示。这些技术还可包括处理该物理空间中的该用户的特性的变化以及实时地更新该视觉表示。例如，该系统可跟踪用户的面部表情和身体移动来标识性情，然后将指示该性情的属性应用到该视觉表示。因此，用户的诸如化身或幻想角色之类的视觉表示能够实时地反映该用户的表情和心情。

Description

基于玩家表情的视觉表示表情

背景技术

各种应用会显示用户通过特定动作来控制的与该用户相对应的视觉表示，特定动作诸如选择遥控器上的按钮或以特定方式来移动控制器。视觉表示可以是化身、幻想角色、卡通形象或动物、光标、手等形式。视觉表示是在诸如计算机游戏、视频游戏、聊天、论坛、社区、即时消息收发服务等各种应用中通常采取二维(2D)或三维(3D)模型的形式的与用户相对应的计算机表示。诸如计算机游戏、多媒体应用、办公室(office)应用等之类的许多计算应用提供对预定义动画角色的选择，所述预定义动画角色可被选择以供在应用中用作用户的化身。一些系统可能结合具有拍摄用户的照片并且从该数据帧标识特征的能力的相机。然而，这些系统需要捕捉用户特征、处理图像、然后应用到非真实时间环境中的角色，并且所应用的特征是低保真度的，通常是基于用户的单个快照的。

发明内容

可能期望基于所检测的用户的特性来定制用户的视觉表示，并且可能期望实时地将这些特性应用到该视觉表示。还可能期望系统处理物理空间中的用户特性的变化并且能够实时地更新该视觉表示。对于这些特征，可能期望该系统标识用户的性情(temperament)并将指示该性情的属性应用到用户的视觉表示。

此处公开了用于提供用户的能够实时地反映该用户的性情的视觉表示(诸如化身或幻想角色)的技术。使用面部识别和姿势/身体姿态识别技术，该系统能够推断用户的性情。该系统能够通过将用户性情的属性应用到用户的视觉表示来自然地传达用户的情绪和态度。还公开了用于随着时间跟踪物理空间中的用户并实时地将修改或更新应用到该视觉表示的技术。例如，该系统可跟踪用户的面部表情和身体移动来标识性情，然后将指示该性情的属性应用到该视觉表示。该系统可使用任何可检测特性来评估用户的性情以应用到该视觉表示。

提供本发明内容以便以简化形式介绍在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

附图说明

参考附图来进一步描述根据本说明书的用于修改视觉表示的系统、方法和计算机可读介质，在附图中：

图1示出目标识别、分析和跟踪系统的示例实施例，其中用户正在玩游戏。

图2示出了可在目标识别、分析和跟踪系统中使用且结合了链接和动画混合技术的捕捉设备的示例实施例。

图3示出了其中可实现本文描述的动画技术的计算环境的示例实施例。

图4示出了其中可实现本文描述的动画技术的计算环境的另一示例实施例。

图5A示出了从深度图像生成的用户的骨架映射。

图5B示出了图2所示的姿势识别器架构的进一步细节。

图6描绘了示例目标识别、分析和跟踪系统以及物理空间中的用户以及该用户的视觉表示的显示的示例实施例。

图7描绘了将指示用户的性情的属性应用到视觉表示的方法的示例流程图。

图8描绘了用于推断用户的性情的示例查找表。

图9描绘了另一示例目标识别、分析和跟踪系统以及物理空间中的用户的示例实施例以及用户的视觉表示的显示的示例实施例。

说明性实施例的详细描述

此处公开了用于提供用户的、能够反映该用户的性情的视觉表示(诸如化身)的技术。用户的视觉表示例如可以为角色、动画、化身、屏幕上的光标、手、或与物理空间中的用户相对应的任何其他虚拟表示的形式。使用面部识别和姿势/身体姿态识别技术，系统能够自然地经由用户的视觉表示来传达用户的情绪和态度。例如，捕捉设备可标识用户的特征并基于那些所标识的特征(诸如情绪、表情和心情)来定制用户的视觉表示。在示例实施例中，该系统基于由捕捉设备捕捉的图像数据来生成人的骨架或网格模型的各个方面并使用这些方面，并使用身体识别技术来确定用户的性情。

还公开了用于实时地显示视觉表示并且实时地将指示用户的性情的属性应用到该视觉表示的技术。系统可以随着时间跟踪物理空间中的用户，并实时地将修改或更新应用到该视觉表示。该系统可跟踪可检测特性，诸如用户的特性、姿势、应用状态等，以推断用户的性情。用户的特性(例如，如面部表情和身体移动)可被用于推断性情，然后该性情的属性可被应用到该视觉表示以使得该视觉表示反映该用户的性情。例如，捕捉设备可以标识用户的行为和特殊习惯、情绪、语言模式、历史数据等等以确定用户的性情，并且将这些应用到用户的视觉表示。该系统可使用任何可检测特征来评估用户的性情以应用到该视觉表示。

为了生成表示物理空间中的目标或物体的模型，捕捉设备可以捕捉该场景的深度图像并且扫描该场景中的目标或物体。目标可以是该物理空间中的人类目标，诸如用户。因此，如本文所用的，应当理解目标和用户可以被可互换地使用。在一个实施例中，捕捉设备可以确定场景中的一个或多个目标或物体是否对应于诸如用户等人类目标。为了确定场景中的目标或物体是否对应于人类目标，可对每个目标进行泛色填充并将其与人体模型的图案作比较。然后可扫描匹配人体模型的每个目标或物体来生成与其相关联的骨架模型。例如，可扫描被标识为人类的目标来生成与其相关联的骨架模型。然后可将该骨架模型提供给计算环境来跟踪该骨架模型并呈现与该骨架模型相关联的视觉表示。该计算环境可基于例如已被识别出并被映射到骨架模型的用户的姿势来确定在计算机环境上执行的应用中要执行哪些控制。因此，可显示用户反馈，诸如经由屏幕上的化身，并且该用户能够通过在物理空间中作出姿势来控制化身的运动。

可以通过将视觉表示的移动映射到用户在物理空间中的运动来控制视觉表示的运动。例如，该目标可以是正在物理空间中运动或作出姿势的人类用户。该目标的视觉表示可以是显示在屏幕上的化身，而该化身的运动可以与该用户的运动相对应。物理空间中的运动可以被转换成系统或应用空间(诸如虚拟空间和/或游戏空间)中的控制。例如，用户的运动可被跟踪、建模并显示，并且该用户的姿势可以控制操作系统或正在执行的应用的某些方面。用户的姿势可以被转换成系统或应用空间中的控制以将指示性情的属性应用到视觉表示。

所捕捉的运动可以是物理空间中由诸如相机之类的捕捉设备所捕捉的任何运动。所捕捉的运动可包括物理空间中诸如用户或物体之类的目标的运动。所捕捉的运动可包括转换成操作系统或应用中的控制的姿势。运动可以是动态的，如奔跑运动，或者运动可以是静态的，例如以很少的移动摆姿态的用户。

本文描述的用于传达用户的态度和情绪的面部和身体识别的系统、方法和组件可以体现在诸如游戏控制台之类的多媒体控制台中、或者期望显示目标的视觉表示的任何其他计算设备中，作为示例但非限制，这些其他计算设备包括卫星接收机、机顶盒、电子游戏机、个人计算机(PC)、便携式电话、个人数字助理(PDA)、以及其他手持式设备。

图1示出了目标识别、分析和跟踪系统10的配置的示例实施例，该目标识别、分析和跟踪系统10可以采用将用户的特性应用到视觉表示的技术。在该示例实施例中，用户18正在玩拳击游戏。在一示例实施例中，系统10可以识别、分析和/或跟踪诸如用户18之类的人类目标。系统10可以收集与物理空间中用户的运动、面部表情、身体语言、情绪等相关的信息。例如，系统可以标识并扫描人类目标18。系统10可以使用身体姿态识别技术来标识人类目标18的性情。例如，如果用户18很懒散，将其双手折叠在其胸上，并且通过没精打采地运动来使他的头向一侧运动，系统10可标识用户18的身体部位以及它们如何移动。系统10可将该运动与情绪、心情、态度、表情等的库相比较以解释该用户的性情。

如图1所示，目标识别、分析和跟踪系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行诸如游戏应用、非游戏应用等之类的应用。

如图1所示，目标识别、分析和跟踪系统10还可包括捕捉设备20。捕捉设备20例如可以是相机，该相机可用于在视觉上监视诸如用户18之类的一个或多个用户，使得可以捕捉、分析和跟踪所述一个或多个用户所执行的姿势以执行应用中的一个或多个控制或动作，这将在下面更详细地描述。

根据一个实施例，目标识别、分析和跟踪系统10可连接到可向诸如用户18之类的用户提供游戏或应用视觉和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号，并且然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。

如图1所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18之类的人类目标。例如，可使用捕捉设备20来跟踪用户18，使得可将用户18的移动解释为可用于影响由计算机环境12执行的应用的控制。因而，根据一个实施例，用户18可移动他或她的身体来控制应用。系统10可以跟踪用户的身体以及用户的身体所作的运动，包括控制诸如应用、操作系统等系统的各方面的姿势。该系统可以比较用户的身体姿态、面部表情、声音表达及语调、针对性的注视等以确定用户的性情或态度并将该性情或态度的特性应用到该化身。

系统10可以将到捕捉设备20的输入翻译成动画，该输入表示用户的运动，使得该动画由该输入来驱动。因此，用户的运动可以映射到视觉表示40，使得用户在物理空间中的运动由该化身40来执行。用户的运动可以是适用于应用中的控制的姿势。如图1所示，在示例实施例中，在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。

计算环境12可以使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身40的视觉表示。例如，用户18可在物理空间中挥拳猛击，这使得玩家化身40在游戏空间中挥拳猛击。玩家化身40可以具有由捕捉设备20所标识出的用户的特性，或者系统10可以针对映射到用户运动的视觉表示使用知名拳击运动员的特征或描绘专业拳击运动员的体格。系统10可以跟踪用户，并且可基于物理空间中用户可检测的特征来修改用户化身的特性。计算环境12还可以使用视听设备16来向用户18提供拳击对手38的视觉表示。根据一示例实施例，目标识别、分析和跟踪系统10的计算机环境12和捕捉设备20可用于识别和分析用户18在物理空间中的出拳，使得该出拳可被解释为对游戏空间中的玩家化身40的游戏控制。多个用户可以从远程位置彼此交互。例如，拳击对手38的视觉表示可以表示另一个用户，诸如用户18的物理空间中的第二用户或第二物理空间中的联网用户。

用户18的其他移动也可被解释为其他控制或动作，诸如上下快速摆动、闪避、滑步、格挡、直拳或挥出各种不同力度的拳等控制。此外，一些移动可被解释成可以与除控制玩家化身40之外的动作相对应的控制。例如，玩家可以使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。另外，用户18的全范围运动可以以任何合适的方式来获得、使用和分析以与应用进行交互。

在各示例实施例中，诸如用户18之类的人类目标可以具有物体。在这样的实施例中，电子游戏的用户可以手持物体，使得可以使用玩家和物体的运动来调整和/或控制游戏的参数。例如，可以跟踪并利用手持球拍的玩家的运动来控制电子运动游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用手持物体的玩家的运动来控制电子格斗游戏中的屏幕上武器。

用户的姿势或运动可以被解释成可以与除控制玩家化身40之外的动作相对应的控制。例如，玩家可以使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。玩家可使用移动来将指示性情的属性应用到用户的视觉表示。操作系统和/或应用的基本上任何可控方面都可以通过诸如用户18之类的目标的移动来控制。根据其他示例性实施例，目标识别、分析和跟踪系统10可以解释目标移动以用于控制游戏领域之外的操作系统和/或应用的各方面。

将用户的特征应用到视觉表示或对用户的某些情绪或态度的检测可以是能够由用户的姿势控制或从用户的姿势识别的操作系统和/或应用的一方面。例如，用户的手交叉折叠在他或她的胸前的姿势可以是被识别为沮丧的心情的姿势。系统对指示用户很沮丧的姿势以及用户的表情(诸如皱眉)的识别可以导致反映沮丧性情的视觉表示。

用户的姿势可以是适用于操作系统、游戏的非游戏方面、或非游戏应用的控制。用户的姿势可被解释成物体操纵，比如控制用户界面。例如，考虑具有从左向右垂直排列的叶片(blades)或选项卡式界面的用户界面，其中对每个叶片或选项卡的选中将打开应用或系统内的各种控制的选项。该系统可以标识出用户的移动选项卡的手姿势，其中物理空间中的用户的手虚拟地与应用空间中的选项卡对齐。包括暂停、抓取运动以及然后的手向左扫动在内的姿势可被解释成对选项卡的选中、以及然后将其移开以打开下一选项卡。

图2示出了可用于目标识别、分析和跟踪的捕捉设备20的示例性实施例，其中该目标可以是用户或物体。根据一示例实施例，捕捉设备20可以被配置成经由例如包括飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉可包括深度图像的具有深度信息的视频，该深度信息可包括深度值。根据一个实施例，捕捉设备20可以将所计算的深度信息组织成“Z层”，或与从深度相机沿其视线延伸的Z轴垂直的层。

如图2所示，捕捉设备20可包括图像相机组件22。根据一个示例性实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可以包括所捕捉场景的二维(2-D)像素区域，其中2-D像素区域中的每个像素都可表示深度值，比如例如以厘米、毫米等为单位的、所捕捉场景中的物体距相机的长度或距离。

如图2所示，根据一示例性实施例，图像相机组件22可以包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可将红外光发射到场景上，并且随后可使用传感器(未示出)、用例如3-D相机26和/或RGB相机28来检测从场景中的一个或多个目标和物体的表面反向散射的光。在一些实施例中，可使用脉冲红外光，从而可测量出射光脉冲和相应入射光脉冲之间的时间差，并且将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。另外，在其他示例实施例中，可将出射光波的相位与入射光波的相位作比较来确定相移。该相移随后可用于确定从捕获设备20到目标或物体上特定位置的物理距离。

根据另一示例实施例，飞行时间分析可用于通过经由包括例如快门式光脉冲成像在内的各种技术来随时间分析反射光束的强度来间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。

在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在这一分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在落到场景中的一个或多个目标或物体的表面时，作为响应，图案可变形。图案的此类变形可被例如3-D相机26和/或RGB相机28捕捉，并且随后可被分析以确定从捕捉设备20到目标或物体上的特定位置的物理距离。

根据另一实施例，捕捉设备20可包括两个或更多个物理上分开的相机，这些相机可从不同角度查看场景来获得可被解析以生成深度信息的视觉立体数据。

捕捉设备20还可包括话筒30或话筒阵列。话筒30可包括可接收声音并将其转换成电信号的变换器或传感器。根据一个实施例，话筒30可用于减少目标识别、分析和跟踪系统10中的捕捉设备20和计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。

在一示例实施例中，捕捉设备20还可包括可与图像相机组件22有效通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。

捕捉设备20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、3-D相机26或RGB相机28所捕捉的图像或图像的帧、或任何其他合适的信息、图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像捕捉组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。

如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等的无线连接。根据一个实施例，计算环境12可以经由通信链路36向捕捉设备20提供时钟，可以使用该时钟来确定何时捕捉例如场景。

另外，捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉到的图像，以及可以由捕捉设备20生成的骨架模型。计算环境12然后可使用该骨架模型、深度信息和捕捉的图像来例如控制例如游戏或文字处理程序之类的应用。例如，如图2所示，计算环境12可包括姿势库190。

如图所示，在图2中，计算环境12可包括姿势库190和姿势识别引擎192。姿势识别引擎192可包括姿势过滤器191的集合。过滤器可包括可识别姿势或以其他方式处理深度、RGB或骨架数据的代码和相关联的数据。每一过滤器191可包括定义姿势以及该姿势的参数或元数据的信息。例如，包括一只手从身体背后到身体前方的运动的投掷可被实现为包括表示用户的一只手从身体背后到身体前方的移动的信息的姿势过滤器191，该移动将由深度相机来捕捉。随后可为该姿势设定参数。在姿势是投掷的情况下，参数可以是该手必须达到的阈值速度、该手必须行进的距离(绝对的，或相对于用户的整体大小)、以及识别器引擎对发生了该姿势的置信评级。用于姿势的这些参数可随时间在各应用之间、在单个应用的各个上下文之间、或在一个应用的一个上下文内变化。

尽管构想了姿势识别引擎可包括姿势过滤器的集合，其中过滤器可包括表示用于处理深度、RGB或骨架数据的代码或以其他方式表示用于进行这样的处理的组件，但对过滤器的使用不旨在将分析限于过滤器。过滤器是分析系统所接收的场景的数据，并将该数据与表示姿势的基本信息进行比较的示例组件或代码部分的表示。作为分析的结果，系统可产生对应于输入数据是否对应于姿势的输出。表示姿势的基本信息可被调整为对应于代表用户的捕捉运动的数据历史中重复出现的特征。例如，基本信息可以是如上所述的姿势过滤器的一部分。但是，构想了任何合适的用于分析输入数据和姿势数据的方式。

姿势可被识别为性情身份(identity)姿势。在一示例实施例中，物理空间中的运动可以表示被识别为将特定性情的属性应用到目标的视觉表示的的请求的姿势。多个姿势各自可表示特定的性情身份姿势。因此，用户能够通过在物理空间中作出被识别为性情身份姿势的姿势来控制该视觉表示的形式。例如，如上所述，可以将用户的运动与姿势过滤器(诸如来自图2的姿势过滤器191)进行比较。该姿势过滤器191可以包括来自姿势库190中的各性情身份姿势196的性情身份姿势的信息。

多个性情身份姿势中各自可表示具有要被应用到屏幕上的视觉表示的属性的性情。例如，“激动的”身份姿势可以从用户的运动的身份识别，该用户运动包括用户双手举在空中的同时跳上跳下的运动。结果可以是将属性(被直接映射到用户的运动和/或除了用户的运动之外还有动画)应用到用户的视觉表示。

可以将由相机26、28和设备20以骨架模型及与之相关联的移动的形式捕捉的数据与姿势库190中的姿势过滤器191进行比较，以标识(如由骨架模型所表示的)用户何时执行了一个或多个姿势。由此，对诸如过滤器191等过滤器的输入可包括诸如关于用户的关节位置的关节数据，像在关节处相交的骨所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。如所提到的，可为姿势设置参数。来自过滤器191的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及姿势发生的时间等内容。

计算环境12可包括处理器195，处理器195可处理深度图像来确定场景中有什么目标，如房间中的用户18或物体。这可例如通过将深度图像中共享相似距离值的像素分组在一起来实现。该图像也可被解析以产生用户的骨架表示，其中标识例如关节和各关节之间的组织等特征。存在骨架映射技术，其使用深度相机来捕捉个人，并从中确定该用户骨架上的多个点，手、腕、肘、膝、鼻、踝、肩的关节，以及骨盆与脊椎相交之处。其他技术包括将图像转换为人的人体模型表示以及将图像转换为人的网格模型表示。

在一实施例中，处理是在捕捉设备20本身上执行的，且深度和色彩(其中捕捉设备20包括3D相机26)值的原始图像数据经由链路36被发送到计算环境12。在另一实施例中，处理由耦合到相机402的处理器32来执行，然后经解析的图像数据被发送到计算环境12。在又一实施例中，原始图像数据和经解析的图像数据两者均被发送到计算环境12。计算环境12可接收经解析的图像，但是它仍可接收原始数据来执行当前过程或应用。例如，如果场景的图像通过计算机网络发送到另一用户，则计算环境12可发送供另一计算环境处理的原始数据。

计算环境12可使用姿势库190来解释骨架模型的移动并基于该移动来控制应用。计算环境12可对用户的表示进行建模和显示，例如采用诸如显示设备193之类的显示器上的化身或指针的形式。显示设备193可包括计算机监视器、电视机屏幕、或任何合适的显示设备。例如，相机控制的计算机系统可捕捉用户图像数据，并在电视机屏幕上显示映射到用户的姿势的用户反馈。用户反馈可被显示为屏幕上的化身，如图1A和1B中所示。化身的运动可直接通过将化身的移动映射到用户的移动来控制。用户的姿势可以被解释来控制应用的某些方面。

如上所述，可能期望将性情的属性应用到目标的视觉表示。例如，用户可能希望使用户的视觉表示在屏幕上跳舞来指示用户的快乐。用户可以通过执行特定的性情身份姿势来发起这样的属性的应用。

根据一示例实施例，目标可以是诸如站着或坐着等处于任何姿态的人类目标、具有物体的人类目标、两个或更多人类目标、一个或多个人类目标的一个或多个附件等，目标可被扫描、跟踪、建模和/或评估来生成虚拟屏幕，将用户与一个或多个所存储的简档进行比较和/或在诸如计算环境12等计算环境中存储关于目标的简档信息198。简档信息198可以采用用户简档、个人简档、应用简档、系统简档的形式，或用于存储数据以供稍后访问的任何其他合适的方法。简档信息198可以经由应用来访问，或者可以是例如系统范围可用的。简档信息198可包括用于加载特定用户简档信息的查找表。虚拟屏幕可与可由以上关于图1A-1B描述的计算环境12执行的应用进行交互。

根据各示例实施例，查找表可包括用户专用简档信息。在一个实施例中，诸如计算环境12等计算环境可在查找表中包括关于一个或多个用户的所存储的简档数据198。所存储的简档数据198可包括目标的所扫描的或所估计的身体大小、骨架模型、身体模型、语音样本或口令、目标年龄、先前的姿势、目标限制、以及目标对系统的标准使用，诸如，例如坐、惯用左手或惯用右手的趋势，或站在非常靠近捕捉设备之处的趋势等。该信息可用于确定在捕捉场景中的目标与一个或多个用户简档198之间是否有匹配，在一个实施例中，该匹配可允许系统使虚拟屏幕适应于用户，或根据简档198来调整计算或游戏体验的其他元素。

一个或多个个人简档198可被存储在计算机环境12中，并在多个用户会话中使用，或者一个或多个个人简档可仅为单个会话而创建。用户可以有建立简档的选项，其中他们可向系统提供信息，诸如语音或身体扫描、年龄、个人偏好、惯用右手或左手、化身、姓名等。还可以为除步入捕捉空间以外不向系统提供任何信息的“访客”提供个人简档。可以为一个或多个访客建立临时的个人简档。在访客会话结束时，可以存储或删除访客个人简档。

姿势库190、姿势识别引擎192、以及简档198可以用硬件、软件或两者的组合来实现。例如，姿势库190和姿势识别引擎192可被实现为在计算环境12的诸如处理器195等处理器上(或在图3的处理单元101或图4的处理单元259上)执行的软件。

要强调的是，以下描述的图2和图3-4中描绘的框图是示例性的，且不旨在暗示一具体实现。由此，图1的处理器195或32、图3的处理单元101、和图4的处理单元259可被实现为单个处理器或多个处理器。多个处理器可以分布式或集中式地定位。例如，姿势库190可被实现为在捕捉设备的处理器32上执行的软件，或者它可被实现为在计算环境12中的处理器195上执行的软件。构想了适用于执行此处公开的技术的处理器的任意组合。多个处理器可无线地、经由硬连线、或以其组合来通信。

此外，如此处所使用的，计算环境12可以指的是单个计算设备或计算系统。计算环境可包括非计算组件。计算环境可包括显示设备，如图2所示的显示设备193。显示设备可以是与计算环境分开但与其耦合的实体，或者显示设备可以是例如进行处理和显示的计算设备。由此，计算系统、计算设备、计算环境、计算机、处理器或其他计算组件可被互换地使用。

姿势库和过滤器参数可由姿势工具为应用或应用的上下文来调节。上下文可以是文化上下文，并且可以是环境上下文。文化上下文指的是使用系统的用户的文化。不同的文化可使用相似的姿势来赋予显著不同的含义。例如，希望叫另一个用户“看”或“使用他的眼睛”的美国用户可将他的食指放在他头上靠近他的眼睛的远端处。然而，对意大利用户而言，该姿势可被解释为对黑手党的引用。

类似地，在单个应用的不同环境之中可能有不同的上下文。以涉及操作摩托车的第一用户射击游戏为例。当用户在走路时，将手指朝向地面握拳并向前且从身体向外伸出拳头可表示出拳姿势。当用户在驾驶上下文中时，相同的运动可表示“换挡”姿势。关于对视觉表示的修改，不同的姿势可依赖于环境而触发不同的修改。不同的修改触发姿势可用于进入相对于系统范围修改模式的应用专用修改模式。每个修改模式可以与对应于该修改模式的独立的姿势集包装在一起，作为修改触发姿势的结果而进入。例如，在保龄球游戏中，挥动手臂运动可以是被标识为挥动保龄球以便向下释放到虚拟保龄球道的姿势。然而，在另一个应用中，挥动手臂运动可以是被标识为请求延长屏幕上所显示的用户化身的手臂的姿势。可能还有一个或多个菜单环境，其中用户可保存他的游戏、在他的角色的装备之间选择或执行类似的不包括直接玩游戏的动作。在该环境中，该游戏姿势可具有第三个含义，如选择某样东西或前进到另一屏幕。

姿势可被一起分组到的互补姿势风格包中，风格包可能由该风格的应用使用。互补姿势-或者如通常一起使用的那些姿势中那样是互补的，或者如一个姿势的参数改变将改变另一姿势的参数中那样是互补的-被一起分组到风格包中。这些包可被提供给应用，应用可选择至少其中一个。应用可调节或修改姿势或姿势过滤器191的参数来最佳地适合应用的独特方面。当调节该参数时，也调节该姿势或第二姿势的第二互补参数(在相互依赖的意义上)使得这些参数保持互补。用于视频游戏的风格包可包括诸如第一用户射击、动作、驾驶和体育等风格。

图3示出了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。上面参考图1A-2所描述的诸如计算环境12等计算环境可以是诸如游戏控制台等多媒体控制台100。如图3所示，多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU 101可被设置成具有一个以上的内核，并且由此具有附加的一级和二级高速缓存102和104。闪存ROM 106可存储在多媒体控制台100通电时引导过程的初始阶段期间加载的可执行代码。

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线向A/V(音频/视频)端口140输出数据，以便传输到电视机或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。

多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、以及外置存储器设备146(例如，闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。

提供系统存储器143来存储在引导过程期间加载的应用数据。提供媒体驱动器144，并且其可包括DVD/CD驱动器、硬盘驱动器，或其他可移动媒体驱动器等。媒体驱动器144可内置或外置于多媒体控制台100。应用数据可经由媒体驱动器144访问，以供多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。

系统管理控制器122提供与确保多媒体控制台100的可用性相关的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140，以供外置音频播放器或具有音频能力的设备再现。

前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。

CPU 101、GPU 108、存储器控制器110、以及多媒体控制台100内的各种其他组件经由一条或多条总线互连，该总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线体系结构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。

当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中，并且可在CPU 101上执行。应用可呈现在导航到在多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中所包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以将附加功能提供给多媒体控制台100。

多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口124或无线适配器148可用的宽带连接集成的情况下，多媒体控制台100还可作为更大网络社区中的参与者来操作。

当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期保留(例如，5％)、网络带宽保留(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源从应用的角度而言是不存在的。

具体而言，存储器保留优选地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率和引起TV重新同步。

在多媒体控制台100引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识作为系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。调度是为了使在控制台上运行的游戏应用所引起的高速缓存分裂最小化。

当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所描述的)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。

输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。相机26、28和捕捉设备20可为控制台100定义附加输入设备。

图4示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境220的另一示例实施例，该计算环境可以是图1A-2所示的计算环境12。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对当前公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本发明的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。

在图4中，计算环境220包括计算机241，计算机241通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程的基本输入/输出系统224(BIOS)通常储存储在ROM 223中。RAM 260通常包含处理单元259可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图4示出了操作系统225、应用程序226、其他程序模块227和程序数据228。

计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图4示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常通过诸如接口234之类的不可移动存储器接口连接到系统总线221，并且磁盘驱动器239和光盘驱动器240通常通过诸如接口235之类的可移动存储器接口连接到系统总线221。

以上讨论并在图4中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图4中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可与它们不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252——通常是指鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他输入设备通常通过耦合到系统总线的用户输入接口236连接到处理单元259，但也可通过诸如并行端口、游戏端口或通用串行总线(USB)之类的其他接口和总线结构来连接。相机26、28和捕捉设备20可为控制台100定义附加输入设备。监视器242或其他类型的显示设备也通过诸如视频接口232之类的接口连接至系统总线221。除了监视器以外，计算机还可包括诸如扬声器244和打印机243之类的其他外围输出设备，它们可通过输出外围接口233来连接。

计算机241可使用到一个或多个远程计算机(诸如，远程计算机246)的逻辑连接而在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上关于计算机241所描述的元件，但在图4中仅示出了存储器存储设备247。图2中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但还可包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。

当用于LAN网络环境中时，计算机241通过网络接口或适配器245连接到LAN 237。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250可以是内置的或外置的，可经由用户输入接口236或其他适当的机制连接到系统总线221。在联网环境中，相对于计算机241所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。

计算机可读存储介质可以包括用于修改视觉表示的计算机可读指令。该指令可包括用于呈现视觉表示、接收场景的数据、以及基于用户的性情身份姿势来修改视觉表示的指令，其中该数据包括表示物理空间中用户的性情身份姿势的数据，该性情身份姿势是映射到用于将指示性情的属性应用到用户的视觉表示的控制的姿势。

图5A描绘了可从捕捉设备20所捕捉的图像数据生成的用户的示例骨架映射。在该实施例中，标识出各个关节和骨骼：每一手502、每一前臂504、每一肘506、每一二头肌508、每一肩510、每一髋512、每一大腿514、每一膝516、每一小腿518、每一足520、头522、躯干524、脊椎的顶部526和底部528，以及腰530。在跟踪更多点的情况下，可标识出附加的特征，比如手指或脚趾的骨骼和关节，或面部的各个特征，如鼻和眼。

用户可通过移动他的身体创建姿势。姿势包括用户的运动或姿态，其可被捕捉为图像数据并解析其意义。姿势可以是动态的，包括运动，如模仿投球。姿势可以是静态姿态，如在一个人的躯干524前面交叉握住他的前臂504。姿势也可结合道具，如通过挥动仿制的剑。姿势可包括多于一个身体部位，如拍双手502，或是较微小的运动，如撅起一个人的嘴唇。

用户的姿势可用作一般计算上下文中的输入。例如，手502或其他身体部位的各种运动可对应于常见的系统级任务，如在分层列表中向上或向下导航、打开文件、关闭文件和保存文件。例如，用户能以手指向上指且掌心面向捕捉设备20来使他的手保持不动。他然后可以将手指朝向手掌收拢来形成拳头，并且这可以是指示基于窗口的用户界面计算环境中的焦点窗口应被关闭的姿势。姿势也可在视频游戏专用上下文中取决于游戏来使用。例如，对于驾驶游戏，手502和脚520的各种运动可对应于在一方向上操控车辆、换挡、加速和刹车。由此，姿势可指示映射到所显示的用户表示的、在诸如视频游戏、文本编辑器、文字处理、数据管理等各种各样应用中的各种各样的运动。

用户可通过在物理空间中原地行走或奔跑来生成对应于行走或奔跑的姿势。例如，用户可另选地提起并放下每一腿512-520来在不移动的情况下模拟行走。系统可通过分析每一髋512和每一大腿514来解析该姿势。当一个髋部-大腿角(如相对于垂直线测量的，其中站立的腿具有0°的髋部-大腿角，而向前水平伸展的腿具有90°的髋部-大腿角)超过相对于另一大腿的特定阈值时，可识别一步。行走或奔跑可在交替腿的某一数量的连续步之后被识别。两个最近的步之间的时间可被认为是一周期。在不满足阈值角度达某一数量的周期之后，系统可确定行走或奔跑姿势已停止。

给定“行走或奔跑”姿势，应用可为与该姿势相关联的参数设定值。这些参数可包括上述阈值角度、发起行走或奔跑姿势所需的步数、结束姿势的没有发生步的周期数、以及确定姿势是行走还是奔跑的阈值周期。快周期可对应于奔跑，因为用户将快速地移动他的腿，而较慢的周期可对应于行走。

姿势最初可以与一组默认参数相关联，应用可用其自己的参数来覆盖该组默认参数。在这一场景中，不迫使应用提供参数，而是应用可改为使用一组允许在没有应用定义的参数的情况下识别姿势的默认参数。与姿势有关的信息可被存储用于预录制的动画的目的。

存在可以与姿势相关联的各种输出。可以有关于姿势是否正在发生的基线“是或否”。还可以有置信度水平，其对应于用户跟踪的移动对应于姿势的可能性。这可以是范围为0和1之间(包括端点)的浮点数的线性标度。在接收该姿势信息的应用不能接受假肯定作为输入时，它可仅使用那些具有高置信度水平，如至少0.95的已识别的姿势。在应用必须识别姿势的每一实例的情况下，即使以假肯定为代价，它可使用至少具有低得多的置信度水平的姿势，如仅仅大于0.2的。姿势可具有在两个最近步之间的时间的输出，并且在仅注册了第一步的情况下，这可被设为保留值，如-1(因为任何两步之间的时间必须为正)。姿势也可具有关于在最近一步期间达到的最高大腿角的输出。

另一示例性姿势是“脚跟提起跳”。在该姿势中，用户可通过将他的脚跟提离地面，但保持他的脚趾着地来创建该姿势。另选地，用户可跳向空中，其中他的脚520完全离开地面。该系统可通过分析肩510、髋512和膝516的角度关系来解析该姿势的骨架，以查看它们是否是等于直立的对齐位置。然后，可监视这些点和较高526和较低528脊椎点来发现任何向上加速。足够的加速组合可触发跳跃姿势。加速度与某一姿势的足够的组合可满足转变点的参数。

给定该“脚跟提起跳”姿势，应用可为与该姿势相关联的参数设定值。参数可包括上述加速阈值，其确定用户的肩510、髋512和膝516的某种组合必须向上移动多快来触发该姿势；以及肩510、髋512和膝516之间仍可触发跳跃的最大对齐角。输出可包括置信度水平，以及用户在跳跃时的身体角度。

基于将接收姿势的应用的细节来为姿势设定参数对于准确地标识姿势而言是重要的。正确地标识姿势以及用户的意图极大地有助于创建积极的用户体验。

应用可以为与各种转变点相关联的参数设置值来标识使用预录制的动画的点。转变点可由各种参数来定义，如某一姿势的标识、速度、目标或物体的角度、或其任何组合。如果转变点至少部分地由某一姿势的标识来定义，则正确地标识姿势有助于提高转变点的参数已被满足的置信水平。

对于姿势的另一参数可以是移动的距离。在用户的姿势控制虚拟环境中的视觉表示的动作的情况下，化身可以是手臂离球的长度。如果用户希望与该球交互并抓住它，则这可要求用户伸展他的手臂502-510到全长同时作出抓握姿势。在这一情形中，用户仅部分地伸展他的手臂502-510的类似的抓握姿势可能无法实现与球交互的结果。类似地，转变点的参数可以是对抓握姿势的标识，其中如果用户仅部分地伸展他的手臂502-510，从而没有实现与球交互的结果，则用户的姿势将不满足转变点的参数。

姿势或其一部分可将它必须在其中发生的空间体作为参数。在姿势包括身体移动的情况下，该空间体通常可相对于身体来表达。例如，对于惯用右手的用户的美式足球投掷姿势可仅在不低于右肩510a、且与投掷手臂502a-310a在头522的相同侧的空间体中识别。可能不必要定义空间体的所有边界，如对于该投掷姿势，其中从身体向外的边界留着不被定义，并且该空间体无限地向外延伸，或者延伸到正被监视的场景的边缘。

图5B提供了图2的姿势识别器引擎192的一个示例性实施例的进一步细节。如图所示，姿势识别器引擎190可包括用于确定一个或多个姿势的至少一个过滤器519。过滤器519包括定义姿势526(以下称为“姿势”)的信息，并可包括用于该姿势526的至少一个参数528或元数据。例如，包括一只手从身体背后越过身体前方的运动的投掷可被实现为包括表示用户的一只手从身体背后越过身体前方的移动的信息的姿势526，该移动将由深度相机来捕捉。然后可为该姿势526设定参数528。在姿势526是投掷的情况下，参数528可以是该手必须达到的阈值速度、该手必须行进的距离(绝对的，或相对于用户的整体大小)、以及识别器引擎192对发生姿势526的置信度评级。姿势526的这些参数528可以在各应用之间、在单个应用的各上下文之间、或在一个应用的一个上下文内随着时间而变化。

过滤器可以是模块化的或是可互换的。在一实施例中，过滤器具有多个输入和多个输出，这些输入中的每一个具有一类型，这些输出中的每一个具有一类型。在这一情形中，第一过滤器可用具有与第一过滤器相同数量和类型的输入和输出的第二过滤器来替换而不更改识别器引擎190体系结构的任何其他方面。例如，可能具有用于驾驶的第一过滤器，该第一过滤器将骨架数据作为输入并输出与该过滤器相关联的姿势526正在发生的置信度和转向角。在希望用第二驾驶过滤器来替换该第一驾驶过滤器的情况下(这可能是因为第二驾驶过滤器更高效且需要更少的处理资源)，可以通过简单地用第二过滤器替换第一过滤器来这样做，只要第二过滤器具有同样的输入和输出——骨架数据类型的一个输入、以及置信度类型和角度类型的两个输出。

过滤器不必具有参数528。例如，返回用户的高度的“用户高度”过滤器可能不允许可被调节的任何参数。备选的“用户高度”过滤器可具有可调节参数，比如在确定用户的高度时是否考虑用户的鞋、发型、头饰以及体态。

对过滤器的输入可包括诸如关于用户的关节位置的关节数据，像在关节处相交的骨所形成的角度、来自场景的RGB色彩数据、以及用户的某一方面的变化速率等内容。来自过滤器的输出可包括诸如正作出给定姿势的置信度、作出姿势运动的速度、以及作出姿势运动的时间等内容。

上下文可以是文化上下文，并且可以是环境上下文。文化上下文指的是使用系统的用户的文化。不同的文化可使用相似的姿势来赋予显著不同的含义。例如，希望叫另一个用户“看”或“使用他的眼睛”的美国用户可将他的食指放在他头上靠近他的眼睛的远端处。然而，对意大利用户而言，该姿势可被解释为对黑手党的引用。

类似地，在单个应用的不同环境之中可能有不同的上下文。以涉及操作摩托车的第一人称射击游戏为例。当用户在走路时，将手指朝向地面握拳并向前且从身体向外伸出拳头可表示出拳姿势。当用户在驾驶上下文中时，相同的运动可表示“换挡”姿势。可能还有一个或多个菜单环境，其中用户可保存他的游戏、在他的角色的装备之间选择或执行类似的不包括直接玩游戏的动作。在该环境中，该游戏姿势可具有第三个含义，如选择某样东西或前进到另一屏幕。

姿势识别器引擎190可具有向姿势过滤器519提供功能的基本识别器引擎517。在一实施例中，识别器引擎517实现的功能包括跟踪已识别的姿势和其他输入的随时间输入(input-over-time)存档、隐马尔可夫模型实现(其中模型化系统被假定为具有未知参数的马尔可夫过程-其中当前状态封装了确定将来状态所需的任何过去状态信息，因此不必为此目的而维护任何其它过去状态信息的过程，并且隐藏参数从可观察到的数据来确定)、以及求解姿势识别的特定实例所需的其他功能。

过滤器519在基本识别器引擎517之上加载并实现，并且可将引擎517提供的服务利用于所有过滤器519。在一实施例中，基本识别器引擎517处理所接收到的数据来确定它是否满足任何过滤器519的要求。由于这些诸如解析输入等所提供的服务是由基本识别器引擎517一次性提供而非由每一过滤器519提供的，因此这一服务在一段时间内只需被处理一次而不是在该时间段内对每一过滤器519处理一次，由此减少了确定姿势所需的处理。

应用可使用识别器引擎190所提供的过滤器519，或者它可提供其自己的过滤器519，该过滤器被插入到基本识别器引擎517中。在一实施例中，所有过滤器519具有启用该插入特性的通用接口。此外，所有过滤器519可利用参数528，因此可使用如下所述的单个姿势工具来调试并调节整个过滤器系统519。

这些参数528可由姿势工具521为应用或应用的上下文来调节。在一实施例中，姿势工具521包括多个滑块523以及身体524的图表示，每一滑块523对应于一参数528。当用相应的滑块523来调整参数528时，身体524可展示将用这些参数528被识别为姿势的动作以及使用这些参数528将不被识别为姿势的动作，如所标识的。姿势的参数528的这一可视化提供了调试并细化调节姿势的有效手段。

图6描绘了可包括捕捉设备608、计算设备610和显示设备612的系统600。例如，捕捉设备608、计算设备610和显示设备612各自可包括执行所需功能的任何合适的设备，诸如参考图1-5B所描述的设备。构想了单个设备可以执行系统600中的全部功能，或者合适的设备的任何组合可以执行所需的功能。例如，计算设备610可以提供参考图2所示的计算环境12或图3中的计算机所描述的功能。如图2所示，计算环境12可包括显示设备和处理器。计算设备610还可包括其自身的相机组件，或者可以耦合到具有相机组件的设备，诸如捕捉设备608。

在此示例中，深度相机608捕捉用户602存在于其中的物理空间601中的场景。深度相机608处理深度信息，和/或向诸如计算机610等计算机提供深度信息。深度信息可被解释以便显示用户602的视觉表示。例如，深度相机608或如所示的其耦合到的计算设备610可向显示器612输出。

物理空间601中的用户602的视觉表示可以采取任何形式，诸如动画、角色、化身等。例如，目标(诸如用户602)的视觉表示最初可以是用户601可将其雕刻为期望的形状和大小的数字泥塑块，或角色表示，如在显示设备612上示出的猴子604。视觉表示可以是用户602的特征与动画或库存模型的组合。视觉表示可以是与系统600或应用一起提供的库存模型。例如，用户602可以从游戏应用所提供的各种库存模型中选择。例如，在棒球游戏应用中，用于可视地表示用户602的选项可采取任何形式，从知名棒球运动员的表示、到一块太妃糖或者大象、到幻想角色或符号，诸如光标或手符号。库存模型可以用该系统检测到的用户的特征进行修改。视觉表示可以是对应用特定的，诸如与程序包装在一起，或者视觉表示可以是跨应用可用的或在系统范围内可用的。

图6中示出的示例视觉表示，如在现实设备612上所示，是猴子角色603。虽然可以捕捉并显示附加图像数据帧，但图6中描绘的帧是出于示例性的目的来选择的。所捕捉并显示的图像数据帧的速率可确定所显示的视觉表示的运动的连续性水平。还应注意，替代的或附加的视觉表示可以与物理空间601中的另一目标(诸如另一用户或非人类物体)相对应，或者视觉表示可以是部分虚拟或完全虚拟的物体。

系统600可捕捉有关物理空间601的信息，诸如深度信息、图像信息、RGB数据等。根据一个实施例，图像数据可包括深度图像或来自深度相机608和/或RGB相机的图像，或者任何其他检测器上的图像。例如，相机608可处理图像数据，并使用它来确定目标的形状、颜色和大小。可扫描与人类图案(pattern)相匹配的每个目标或物体以生成模型，诸如骨架模型、泛色模型、网格人类模型、或与其相关联的模型。例如，如上所述，可使用深度信息来生成用户的骨架模型(如图5A中所示的)，其中该系统标识用户的身体部位(如头和肢)。使用例如与人类目标相关联的多个观察到的像素中的深度值和人类目标的一个或多个方面的延伸范围，如身高、头宽、或肩宽等，可确定人类目标的大小。

系统600可以通过分析所捕捉的数据并将其转换为骨架模型来跟踪用户的肢的移动。然后系统600可跟踪该骨架模型并将每个身体部位的移动映射到该视觉表示的相应部分。例如，如果用户602挥舞他或她的手臂，则该系统可捕捉此运动并将其应用到虚拟猴子603的手臂以使所述虚拟猴子也挥舞它的手臂。此外，系统600还通过评估用户在单个捕捉数据帧中或在一系列帧中的位置来从用户的运动标识姿势，并将该姿势应用到该视觉表示。

系统可以使用诸如扫描数据、图像数据或深度信息等所捕捉的数据来检测特性。可检测的特性可包括系统600能够检测到的、与该用户或物理空间相关的任何特性。例如，可检测特性可包括目标特性(例如，用户的面部特征、发色、语音分析等)、姿势(即，由该用户执行并由系统600识别的姿势)、历史数据(诸如由该系统检测并可被存储的用户趋势数据之类的数据)、应用状态(例如，游戏应用中的失败/成功)、或该系统能够检测的可指示用户的性情或可用于推断用户的性情的任何其他特性。

该系统可分析一个或多个可检测特性以推断用户的性情。推断可以基于推论或假设，或者可以基于科学方法，诸如对性情和相关特性的研究的结果。因此，推断可以基于对指示特定性情的典型特性的简单分析、指示具体性情的姿势的身份、可检测特征与对心理学的深度分析的比较以及与各种性情相关的特性等等。

目标特性可包括可与特定用户602相关联的信息，诸如行为、语言模式、面部表情、骨架移动、说出的话语、历史数据、语音识别信息等等。目标特性可包括目标的任何特征，诸如：眼睛大小、类型和颜色；头发长度、类型和颜色；肤色；服装和服装颜色。例如，可以基于对应的RGB图像来标识颜色。关于人类目标的其他目标特性可包括，例如身高和/或臂长，并且可以基于例如身体扫描、骨架模型、用户602在像素区域上的延伸范围或任何其他合适的过程或数据来获得。计算系统610可使用身体识别技术来解释该图像数据并且可以根据用户602的附肢的大小、形状和深度来确定用户602的视觉表示的大小和形状。

如所述，系统600可从物理空间标识包括对用户的性情的指示的数据。例如，系统600可以收集与物理空间中用户的运动、面部表情、身体语言、情绪等相关的信息。系统10可以使用身体姿态识别技术来帮助识别人类目标18的情绪或性情。例如，系统600可以分析和跟踪用户的骨架模型以确定用户如何移动。系统600可以跟踪用户的身体以及用户的身体所作的运动，包括控制诸如应用、操作系统等系统的各方面的姿势。该系统可标识用户的身体姿态、面部表情、声音表达和语调、针对性的注视等等。用户的声音表达可提供对用户的性情的指示。例如，所使用的语言、语音的语调、音调、音量等等可传达用户的性情的感觉。例如，刺耳的语调可被解释为愤怒或挑衅。其他语调可以是紧张的、常态的、呼吸急促的、轻声的、叽叽喳喳的、冷静的、激动的、快乐的或任何其他语调。因此，用户的特性是用户的性情的良好指示。

该系统可将检测到的用户的目标特性(如由系统600所捕捉的)中的至少一个应用到该用户的视觉表示。例如，系统可以检测到用户佩戴眼镜以及穿一件红色衬衫，系统可以将眼镜和红色衬衫应用到在该示例中是用户的视觉表示的虚拟猴子603。该系统可标识用户的面部移动，诸如用户的眉毛的移动和/或皱眉或微笑表情。该系统可检测用户所说的话和用户的语音的语调，或用户的身体姿态等。例如，该系统可检测人的右臂并具有区分上臂、下臂、四指、拇指、手指中的关节等的保真度。该系统可以能够标识与用户的上臂和下臂相对应的用户的衬衫的颜色并将该颜色适当地应用到该视觉表示。该系统可以能够标识手指上的戒指或用户的手上的纹身，并且基于该系统所生成的用户的模型，将检测到的目标特性应用到该视觉表示来模拟物理空间中的用户的特征。该视觉表示可以看上去像用户、像用户一样移动、穿着类似用户的衣服的衣服等。

可以不将由该系统检测到并用来推断用户的性情的某些目标特性直接应用到该用户，而是为了显示的目的而进行修改。用户的特性可被修改为对应于视觉表示的形式、应用、应用的状态等。在该视觉表示是幻想角色的情况下，某些特性可以不直接映射到用户的视觉表示。例如，可以向用户的角色表示(如在显示设备612上示出的猴子603)赋予身体比例，例如，该身体比例类似于用户602，但是针对特定角色进行了修改。猴子表示603可被赋予类似于用户602的身高，但猴子的臂可能在比例上比用户的臂更长。猴子604的手臂的移动可以对应于用户手臂的移动，如系统所标识的，但是系统可以修改猴子手臂的动画以反映猴子手臂移动的方式。

在图6中示出的示例中，用户正坐着，同时头向侧面倾斜，右肘放在膝上，而头由用户的右手支撑。用户的面部表情、身体姿态、所说的话语、或任何其他可检测的特性可被应用到虚拟猴子603，并且如果合适的话可被修改。例如，用户正在物理空间中皱眉。该系统检测此面部表情并且将“皱眉”应用到猴子以使得虚拟的猴子也在皱眉。此外，猴子坐在与用户类似的位置，除非被修改以对应于该位置中的猴子的身体类型和大小。类似地，该系统可以使用用户的目标特性来推断用户的性情，但是随后将指示该性情但是可能或可能不直接映射到用户的特性的属性应用到用户的视觉表示

系统600可以将检测到的目标特性与可能性情的库进行比较并且确定应当将什么属性应用到用户的视觉表示。例如，如下面参考图7和8进一步描述地，计算机610可存储具有性情信息的编译的查找表。该查找表可包括特定的或一般的性情信息。可将所检测到的特性与查找表进行比较以推断该用户的性情。该分析可包括对检测到的身体姿态、面部表情、声音语调和话语、姿势、历史数据等等的比较。

图7示出推断用户的性情并选择指示该性情的属性以显示与该性情相对应的视觉表示的示例方法。例如，在702，该系统从包括用户的物理空间接收数据。如上所述，捕捉设备可捕捉场景的数据，诸如场景的深度图像，并扫描场景中的目标。捕捉设备可以确定场景中的一个或多个目标是否对应于诸如用户等人类目标。然后可扫描匹配人体模型的每个目标或物体来生成与其相关联的骨架模型。然后可将该骨架模型提供给计算环境来跟踪该骨架模型并呈现与该骨架模型相关联的视觉表示。

在704，该系统可呈现该用户的视觉表示。例如，该视觉表示可以基于该模型。物理空间601中的目标的视觉表示可以采取任何形式，诸如动画、角色、化身等。该视觉表示可以最初是用户602可将其雕刻为期望的形状和大小的数字泥塑块，或角色表示，如猴子604。该视觉表示可以基于捕捉设备检测到的用户的特征来直接建模，或者它可以是具有用户的选择特征的幻想角色。视觉表示可以是用户602的特征与动画或库存模型的组合。

在706，该系统可以跟踪该用户并检测该用户的、指示该用户的性情的特征。例如，该系统可跟踪用户的面部表情和身体移动来标识性情，然后应用该性情以使得该化身反映该用户的情绪。该系统可使用任何可检测特征来评估用户的性情以应用到该视觉表示。该系统可在708分析检测到的特征，并推断用户的性情。例如，该系统中的处理器可以存储具有性情信息的查找表或数据库。可以将检测到的用户的特征与数据库或查找表中、指示各种性情的特征进行比较。例如，该查找表可以定义指示“悲伤”性情的特征。这些特征可以是皱眉、哭泣、低沉的声音语调、以及双臂在胸前交叉。如果物理空间中的用户的这些特征中的任何一个特征或所有特征被检测到，则该处理器可推断用户正在呈现“悲伤”性情。

查找表或数据库例如可适用于应用或者可以是系统范围的。例如，游戏应用可以定义指示了适用于该游戏的各种性情的特征。所定义的性情可以包括特定的和一般的性情并可以通过将一个或多个输入(即，检测到的特征)与定义每个性情的特征进行比较来标识性情。还应注意，对查找表或数据库的引用是示例性的，并且构想了对与此处公开的技术相关的性情信息可以通过任何适合的方式来访问、存储、封装、提供、生成等。

作为替代或进行组合，在710，该系统可以从针对该用户所捕捉的数据中标识性情请求姿势。例如，用户可以执行请求将特定姿势应用到用户的视觉表示的姿势。

在712，该系统可选择要应用到用户的视觉表示的、反映从用户的姿势推断或标识的性情的属性。适用于特定性情的属性也可以位于查找表中或数据库中。所选择的属性可以是捕捉设备检测到的用户的特征和/或所选择的属性可以是反映该性情的动画。例如，如果该系统推断该用户呈现指示“悲伤”性情的特征，则该查找表可指示会反映这种性情的各种动画。该系统可选择这些属性中的任何属性并将它们应用到该用户的视觉表示。

在714将属性应用到视觉表示可以实时地进行。因此，针对用户的情绪或心情捕捉的数据，以及身体识别分析等，可以被实时地执行并实时地应用到用户的视觉表示。因此用户能够看到用户的情绪或性情的实时显示。

该系统可在716继续随着时间跟踪物理空间中的用户和任何运动，并在718将修改或更新应用到该视觉表示以反映性情的变化。例如，更新可以是基于所检测到的用户的特征的变化以及历史数据的。在任何时刻，捕捉设备可以标识用户的行为和特殊习惯、情绪、语言模式等等以确定用户的性情，并且将这些应用到用户的视觉表示。更新可被实时地应用到视觉表示。例如，可能期望系统捕捉用户的表情并经由视觉表示随着时间模仿来反映用户的性情。

图8描绘了可用于推断用户的性情的查找表800的示例。图8中示出的示例性情查找表800包括可检测特性的分类，诸如面部表情802、声音语调804、声音音量806、话语808、身体姿态810、姿势812、应用结果814、以及历史数据816。检测到的特征或特性可以包括该系统可经由捕捉设备捕捉其信息的物理空间中的任何特征，包括可检测目标特性、应用状态等。查找表800中的分类是示例性的，因为任何数量和类型的分类可以是用户的性情分析的一部分。例如，该分类还可包括检测到的与其他用户或物体的交互、对用户正在穿着的衣服的类型的分析、用户身体上的其他物品等。可以构想，可以在对用户的态度或性情的分析的一部分中使用的、可以由系统600以某种方式捕捉的用户的任何可检测的特征或特性都是可应用的。

图表800中针对三个用户示出了检测到的特性的三个示例，其中行A、B、C各表示检测到的特性。表的第一部分850表示在场景中捕捉的目标的可检测特性。表的第二部分860表示其他可检测特性，如用户正在执行的姿势的标识、应用的状态和应用的结果、和/或对该用户或该应用特定的历史数据。表的最后一部分870表示作为对可用的可检测特征的分析的结果，系统对用户的性情的推断。如所述，表800中的分类仅出于示例性的目的，而可以或多或少地包括更多的可检测特性。

行A表示由该系统检测到的特性的示例实施例。在行A中，该系统检测到第一用户具有包括皱眉的外部表情，该应用的结果是失败，该第一用户的历史数据显示该用户在失败的结果之后皱眉的趋势。系统对这些检测到的特征的分析可以指示该第一用户的性情是“大体消极的”。有可能的附加的可检测特征会提供更具体的性情，但是通过可用的数据，该系统推断出更加一般的、大体消极的性情。

关于第二用户，通过行B中列举的可检测特性，该系统检测到正在皱眉的面部表情、简洁的声音语调、音量很低、没有话语，但是用户的身体姿态包括向后倾斜的姿态、头部垂向一侧并且一只手支撑头部。该系统可以从这些特征中确定用户的性情是大体消极的或可能是无聊的、疲惫的、愤怒的、悲伤的等等。关于第二用户，该系统还可检测到轮到一不同用户来在游戏应用中玩了、该不同用户的轮次已经持续了很长时间，并且从对用户的历史数据的分析检测到此用户在这些情况下的性情趋势。通过该数据，该系统可以确定第二用户的性情不仅是大体消极的，而且具体是无聊的或不感兴趣的。例如，当第二用户不是游戏应用中的活动用户时，该系统可标识第二用户具有与“无聊的”性情相对应的面部表情、语调、身体姿态等的趋势。

可以构想，例如，皱眉的面部表情可以与许多性情相对应。这些示例性情和指示在表800中示出的各特定性情中的每一个的特征仅仅是示例性的。每个可检测特性可以用于将性情缩小到更具体的态度或心情，或者该系统可简单地标识一般的态度，诸如大体消极或积极的。

在行C中示出的第三用户的可检测特性包括微笑的面部表情、大而欢乐的语调、“耶”和“太棒了”的话语、以及包括手臂举起来并跳上跳下的身体姿态。跳上跳下运动还可以指示可以适用于带来第三用户的成功游戏结果的应用的姿势。这些可检测特性与用户的历史数据的比较还可以基于此信息来提供第三用户的可能性情的指示。在本示例中，该系统基于可检测特性来推断用户的性情是“激动”的性情。

该系统可以简单地将用户的实际特性映射到该视觉表示。在其中视觉表示直接映射到用户的检测到的特征的示例实施例中，用户的性情被该视觉表示固有地展示，因为该视觉表示反映用户的检测到的特征。然而，该视觉表示可以不总是用户的直接表示，因此该系统可以将该性情修改为与该视觉表示的形式相对应。在推断了用户的性情之后，系统可以确定要应用到该用户的视觉表示以反映该性情的适当的动画。

例如，图6描绘了将用户的面部表情、身体姿态等应用到该用户的视觉表示603，该视觉表示603被修改以表示猴子角色的相应特征。猴子在皱眉，但是猴子的嘴巴可以不是用户的嘴巴的直接映射，相反该系统可将检测到的皱眉以看上去像是猴子要皱眉的方式来应用到虚拟猴子的嘴巴。将用户的性情转换到用户的视觉表示可以采用许多形式并且可以包括任何数量的动画。例如，如果用户的视觉表示是“房屋”，则可能不能用面部特征使该房屋动画化。因此，该系统可以通过将用户的性情转换成新形式来将该性情映射到该房屋。例如，如果该系统检测到该用户具有“悲伤”的性情(基于用户的面部表情或身体姿态来检测的)，则该系统可以通过如下方式将该性情转换到该房屋：显示虚拟房屋的虚拟窗口下垂，并使该房屋动画化以使得它看上去肿起然后让气体从前门出去，从而赋予该房屋叹气了的外观。。

系统能够基于检测到的特性来推断性情，该性情可以是用户的心情或态度。性情可以包括表达用户的感情或思想的用户的情绪响应的任何表示。所标识的性情可以是大体积极或消极的，或者可以是双重的。所标识的态度可以更加具体，诸如快乐、愤怒、沮丧、无聊、悲伤等等。态度的具体程度可以依赖于态度/情绪/心情的库，而系统600可以标识用户的态度的范围，从一般到具体。例如，该系统可以从用户的直立的身体姿态和欢乐的声音语调的可检测特征来确定该用户大体具有积极的态度。替代地，更具体而言，该系统可以更具体地确定该用户是激动的，因为直立的身体姿态包括跳上跳下、举起的手臂，而该用户的历史数据指示这些可检测特性指示激动的性情。不同的应用可具有既有一般又有具体的心情和性情的更大的数据库，而其他应用可以推断一般的性情，诸如大体积极的或大体消极的。

更大数量的可检测特征可以增加系统对用户的态度的分析的保真性。用户的身体姿态的变化可以是用户性情的强烈指示。用户的姿态可以包括用户的身体的姿态、用户站、坐、保持胸部的方式，以及用户把他的臂、腿和脚放在何处。例如，如果用户正向后倾斜，同时他或她的头垂向一侧，其中头部由用户的手来支撑，则该系统可以将该用户的性情标识为无聊的或不感兴趣的。或者，例如，如果用户直立地坐着，同时头昂起并且双臂折叠交叉在胸前，同时伴随着噘嘴的表情，则该系统可以将用户的性情标识为不满、敌视或沮丧之一。一般而言，消极内涵可以反映在用户的化身中。该系统可以检测到用户身体姿态中因为用户使颈部或肩部的肌肉变紧而带来的变化。有时候用户的懒散仅仅是用户正在放松或具有不良姿态的指示。用户的头的位置可以是用户的性情的指示。该系统可以检测用户下巴的收紧或眉毛的皱起。

图9描绘了图6中示出的系统600，其中该系统跟踪用户的可检测特征并推断性情。通过将该用户的可检测特征映射到该视觉表示，该性情可以反映在用户的视觉表示中。该性情还可以通过将与特定性情相对应的动画应用到用户的视觉表示来反映。图9描绘了在物理空间601中的三个时间点处的用户602，其中901a、901b和901c表示在三个离散的时间点处的物理空间。在每个时间点处，用户602可具有移位了、改变了的面部表情，执行了不同的运动和/或移动了身体姿态。系统600可在每个点捕捉物理空间601中的目标(用户602)并在每个点捕捉该用户的可检测特征(在902a、902b和902c中示出)。在示例显示器912a和示例显示器912b上显示了所得到的用户602的视觉表示的显示的两个示例。

如上面讨论的，用户的视觉表示可以是任何动画、角色、化身等等。图9中示出的示例视觉表示是化身905(在显示设备912a上示出)或角色907(在显示设备912b上示出)。例如，化身905可以是物理空间中的用户的近似表示，其映射到用户的身体姿态、发色、衣服等。例如，角色907可以是角色表示，诸如所示出的猴子。角色907还可以具有如由系统600所捕捉的用户的特性。例如，面部表情、衣服等可以被映射到该角色表示。

系统600可从物理空间标识包括对用户的性情的指示的数据。系统600可通过将指示性情的属性应用到用户的视觉表示来将用户的性情应用到该视觉表示。此外，系统600还可通过评估用户在单个捕捉数据帧中或在一系列帧中的位置来从用户的运动中标识姿势。系统600可以使用来自每个数据帧的信息、来自在各数据帧间的且随着时间的捕捉的数据中的变化的信息、从所捕捉的数据标识的姿态、以及任何其他可用信息(诸如语音数据)的组合来标识用户的性情或情绪。

在一示例实施例中，可以向化身905赋予从对图像数据的分析确定的特性。用户602可以选择要被映射到用户602的特征的视觉表示，其中用户602的自己的特性(物理的或其他的)由该视觉表示来表示。用户602的视觉表示(也称为化身，诸如化身905)可以基于用户602的特征(诸如身体比例、面部特征等)来初始化。例如，该骨架模型可以是用于生成用户602的视觉表示的基本模型，是按照用户602的比例、长度、肢的重量等来建模的。然后，用户602的发色、皮肤、衣服和其他检测到的特性可以被映射到该视觉表示。

用户的运动的映射可以不是用户的移动的直接转换，因为可使视觉表示适应于该修改。例如，用户的视觉表示可以是没有面部特征的幻想角色。该系统可以用适用于该视觉表示的形式的其他方式来反映用户的性情。因此，用户的运动可以被转换以映射到该视觉表示，同时增加一些动画来反映该视觉表示的形式。例如，在图9中，显示设备912b上显示的用户的视觉表示是猴子角色907的视觉表示。因为用户602的视觉表示907不是用户自己的物理结构的表示，所以用户602的运动和/或性情可以被转换为与视觉表示907所采用的形式一致。例如，在本示例中，检测到的特征和/或性情可以被转换为与猴子907的特征一致。

也可以指示用户的性情的用户特性可以基于该系统对可检测特性的分析而被映射到该视觉表示，由此模拟物理空间中的用户的外观和/或移动。在本示例中，该系统在三个时间点901a、901b和901c处跟踪物理空间中的用户的可检测特性。该用户可以检测到，处于位置902a的用户坐着，其中头向一侧倾斜并由手支撑。用户902a可以正在皱眉并且可以发出声音或说出指示无聊或沮丧的性情的话语。因此，该系统可在全部时间分析该可检测的特性，并推断用户的性情。

在本示例中，该系统推断用户的“无聊”的性情。该系统可以在点901a处从该物理空间捕捉的数据中推断用户的性情。该系统可以在901b和901c处继续跟踪用户的可检测特征和物理空间，以实时地在不同点处表示用户的示例。该系统可应用指示基于所捕捉数据(诸如从物理空间901a中的场景所捕捉的数据)的单个帧或者随着时间作为所捕捉的数据(诸如从所有三个场景901a、901b、901c所捕捉的数据)的多个帧的结果的所推断的性情的属性。该系统可以应用指示基于单个帧和/或随时间的所推断的性情的属性。所推断的性情的置信度可以基于对用户的可检测特性的连续分析而增加。替代地，该系统可以基于该可检测特性中的变化来检测或推断不同的性情。

该系统可以实时地通过将所检测到的特性应用到用户的视觉表示来显示所检测到的特性。因此，如图6所示，视觉表示603描绘了多个用户的所检测的特性(例如，面部表情、身体姿态等)。类似地，该系统可以使用用户的目标特性来推断用户的性情，但是随后将指示该性情但是可能或可能不直接映射到用户的特性的属性应用到用户的视觉表示例如，该系统可以从所推断的特性推断该用户可能具有“激动而快乐”的性情。所检测到的指示此性情的特性可以是诸如跳上跳下运动、激动地叫喊、在游戏应用中的成功的活动、以及微笑等特性。该系统可以将这些特性与数据库进行比较来例如推断用户的性情，其中该数据库具有指示各种性情的特性。当目标的特性是指示该性情的属性的良好示例时，该系统可以将这些特性直接应用到该视觉表示。然而，该系统可以替代地或附加地应用指示该性情的属性，不管所应用的属性是否是该用户的特性的直接映射。例如，如果该系统从用户的可检测特征推断出“快乐而激动”的性情，则该系统可以使用户的视觉表示动画化以在屏幕上跳舞或使用户动画化以跳到空中并抓到星星。该系统可以应用指示该性情的其他属性，诸如显示设备上的闪烁的话语(例如，“我真高兴”或者一些幽默或可笑的东西)。

在图9中，化身905的示例动画(其具有该用户的多个可检测特性)是化身905站立，同时头靠着墙说“我好无聊啊”。用户602没有在执行这个动作，并且可能在系统所捕捉的任何点处没有说这些话，但是该系统可以将这些属性应用到该用户，因为它们指示了“无聊”的性情。类似地，显示设备912b示出了视觉表示的示例显示，其中猴子角色907被示出为耷拉着它的双臂并且非常慢地发出猴子的声音：“欧！欧！啊！啊！”。被应用到该猴子的属性指示了无聊的性情。这些属性可以由该系统基于例如查找表来标识，并且可以专用于该角色(诸如猴子)，或者这些属性可以一般地适用于许多类型的视觉表示。

化身905和猴子表示907是可以被显示的两个不同的示例视觉表示，并且被示出在示例显示设备912a和912b上。每个视觉表示905、907和对指示用户602的性情的属性的应用可以基于单个所捕捉的数据集，诸如在时间901a处针对该物理空间所捕捉的。替代地，每个视觉表示905、907的两个示例显示可以是该系统随着时间监视用户602的结果。该用户可以随着时间使用该捕捉数据来更新用户的性情、向该视觉表示添加更多的特征、应用指示更具体的性情的属性等等。

用户602可以执行导致将指示特定性情的属性应用到该用户的视觉表示的姿势。性情身份姿势可以是被解释为对将指示特定性情的属性应用到该用户的视觉表示的请求的姿势。例如，系统检测出用户在图9中的“无聊”的性情可以是系统识别出该物理空间中指示“无聊”的性情的用户的姿势的结果。该姿势可以包括例如用户在902c中的身体姿态，其中双臂在胸前交叉折叠。为了将这种运动与用户简单地就这么站着的运动相区分，姿势可包括将双臂大幅移动到位、或者慢慢地移动双臂以在胸前交叉折叠。姿势识别引擎(诸如参考图5B描述的姿势识别引擎192)可将用户的运动与和姿势库190中的各姿势相对应的姿势过滤器进行比较。用户602的所捕捉的运动可以与例如姿势库190中的性情身份姿势196相对应。因此，将这样的属性应用到视觉表示可以是可被用户的姿势控制或可从用户的姿势识别的操作系统和/或应用的一方面。

性情身份姿势可以包括或者可以不包括通常与特定性情相关联的特性。例如，针对“悲伤”的性情的姿势可以是手的移动，其中手的移动不是人在具有“悲伤”的性情的时候通常会作出的特性。然而，手的移动可以是用户为了指导系统将指示“悲伤”性情的属性应用到该视觉表示而可以执行的姿势。因此用户能够通过在物理空间中执行姿势来控制该用户的视觉表示的性情。用户可以有意或无意地执行与性情相对应的姿势。例如，用户的手在他或她的胸前交叉折叠的姿势可以是被识别为沮丧的性情的姿势，并且该用户可以仅仅是因为该用户正感到沮丧而进行与该姿势相对应的动作。

系统对指示用户很沮丧的姿势以及用户的表情(诸如皱眉)的识别可以导致反应沮丧性情的视觉表示。替代地，该用户可以有意地在物理空间中执行姿势以致使特定性情被应用到该用户的视觉表示。例如，该用户可能刚刚赢了一场比赛或者在应用中成功地做成了某件事。针对“快乐的”性情的姿势可以包括用户跳上跳下，同时有双臂举起的动作。该用户可以执行该“快乐”性情的姿势，以致使该系统将该目标特性和/或任何数量的“快乐”属性应用到该用户的视觉表示。例如，如上所述，该用户的视觉表示可以做侧手翻、或跳舞、或进行该系统可以将其与快乐的性情的表达相关联的任何其他活动。因此，尽管虚拟空间中的姿势可以充当对诸如电子游戏等应用的控制，然而它们也可以与用户对系统要在用户的视觉表示上反映特定性情的请求相对应。

系统600可以通过监视可检测特性来在用户的视觉表示中更新用户的性情。系统600可以使用来自每个数据帧的信息的组合，诸如从在点901a、901b、901c处的用户捕捉的数据、从在各数据帧之间并随着时间捕捉的数据中的变化、从所捕捉的数据所标识的姿势、目标特性和目标特性在时间上的变化、以及任何其他可用信息(诸如面部表情、身体姿态、声音数据等)，以标识并更新如由该用户的视觉表示所反映的性情。

与物理空间中的用户相关联的目标特性可以变成简档的一部分。简档可以例如专用于某一物理空间或用户。包括用户的特征在内的化身数据可以成为用户的简档的一部分。可以在用户进入捕捉场景时访问简档。如果基于口令、用户的选择、身体大小、语音识别等，简档匹配用户，则该简档可用于确定用户的视觉表示。

可监视用户的历史数据，从而将信息存储到用户的简档。例如，系统可以检测用户特有的特征，比如用户的行为、语言模式、情绪、声音等等。该系统可以在将性情应用到视觉表示时将这些特征应用到用户的视觉表示。例如，如果该系统标识出该用户的性情并且选择包括反映该性情的语言的属性，则可以从该用户的语言模式确定视觉表示的语音的模式，或者视觉表示的语音甚至可以是该用户自己的语音的录音。

用户专用信息还可以包括一个或多个用户在游戏模式下的倾向性。例如，如果用户倾向于以某一方式作出行为或反应，则该系统可以跟踪该用户的倾向性以更精确地推断该用户的性情。例如，如果该系统检测指示“愤怒”性情的用户的身体姿态，并且该用户倾向于该用户每次在该应用(诸如游戏)中失败时以类似方式行动，则该系统可以跟踪此信息。因此，该系统可以开始跟踪该用户的倾向性，并且使用该信息来更精确地评估该用户的性情。

应该理解，此处所述的配置和/或方法在本质上是示例性的，且这些具体实施例或示例不被认为是限制性的。本文中所述的具体例程或方法可表示任意数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行等等。同样，可改变上述过程的次序。

此外，尽管已经结合某些方面按各附图所示描述了本发明，但要理解，可使用其它相似方面或者可对所述方面进行修改或添加来执行本发明的相同功能而不脱离本发明。本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作、和/或特性、以及其任何和全部等效物。因此，所公开的各实施例的方法和装置或其某些方面或部分可采用包含在诸如软盘、CD-ROM、硬盘驱动器或任何其他机器可读存储介质等有形介质中的程序代码(即，指令)的形式。当程序代码被加载到诸如计算机等机器并由其执行时，该机器变为被配置成实施所公开的各实施例的装置。

除了此处明确阐述的具体实现之外，考虑此处所公开的说明书，其它方面和实现将对本领域的技术人员是显而易见的。因此，本发明不应该仅限于任何单个方面，而是应该在根据所附权利要求书的广度和范围内解释。例如，本文描述的各种过程可用硬件或软件、或两者的组合来实现。

Claims (15)

1.一种用于将指示用户的性情的属性应用到视觉表示的方法，所述方法包括：

呈现用户的所述视觉表示；

接收物理空间的数据，其中所述数据表示所述物理空间中的所述用户；

分析至少一个可检测特性以推断所述用户的性情；以及

将指示所述用户的性情的属性应用到所述视觉表示。

2.如权利要求1所述的方法，其特征在于，将指示所述用户的性情的属性应用到所述视觉表示是相对于接收所述物理空间的所述数据实时地执行的。

3.如权利要求1所述的方法，其特征在于，所述至少一个可检测特性包括用户的特性、用户的物理特征、用户的行为、用户的语言模式、用户的语音、姿势、历史数据或应用状态中的至少一个。

4.如权利要求1所述的方法，其特征在于，所述数据表示所述物理空间中的用户特性中的至少一个。

5.如权利要求1所述的方法，其特征在于，还包括将用户的特性中的至少一个应用到所述视觉表示。

6.如权利要求1所述的方法，其特征在于，分析可检测特性来推断所述用户的性情包括将所述可检测特性中的至少一个与将特性与特定性情相关的表进行比较。

7.如权利要求1所述的方法，其特征在于，所述用户的性情包括大体消极的、大体积极的、双重的、无聊的、快乐的、悲伤的、沮丧的、激动的、或愤怒的中的至少一种。

8.如权利要求1所述的方法，其特征在于，还包括：

跟踪所述至少一个可检测特性的变化以推断所述用户的性情的变化；以及

向指示所述用户的性情的所述属性应用更新以与所推断的所述用户的性情的变化相对应。

9.如权利要求1所述的方法，其特征在于，还包括从与所述用户的性情相对应的多个属性中选择指示所述用户的性情的属性。

10.一种用于将指示用户的性情的属性应用到视觉表示的系统，所述系统包括：

相机组件，其中所述相机组件接收场景的数据，其中所述数据表示物理空间中的用户；以及

处理器，其中所述处理器执行计算机可执行指令，且其中所述计算机可执行指令包括用于以下操作的指令：

呈现所述用户的所述视觉表示；

分析至少一个可检测特性以推断所述用户的性情；以及

将指示所述用户的性情的属性应用到所述视觉表示。

11.如权利要求10所述的系统，其特征在于，将指示所述用户的性情的属性应用到所述视觉表示是相对于接收所述物理空间的所述数据实时地执行的。

12.如权利要求10所述的系统，其特征在于，还包括存储提供与特定性情相关的特性的表的存储器。

13.一种用于将指示性情的属性应用到视觉表示的方法，所述方法包括：

呈现用户的所述视觉表示；

接收物理空间的数据，其中所述数据表示性情身份姿势；以及

将指示与所述性情身份姿势相关联的性情的属性应用到所述视觉表示；

14.如权利要求13所述的方法，其特征在于，还包括：

提供表示所述性情身份姿势的过滤器，所述过滤器包括有关所述性情身份姿势的基本信息；以及

将所述过滤器应用到所述数据并从有关所述性情身份姿势的所述基本信息确定输出。

15.如权利要求13所述的方法，其特征在于，还包括从与所述用户的性情相对应的多个属性中选择指示所述性情的属性。

Images