CN102542566B

CN102542566B - 对传感器的位置进行定向

Info

Publication number: CN102542566B
Application number: CN201110418076.2A
Authority: CN
Inventors: S·W·阿德曼; M·普拉格; C·佩普尔; S·斯塔尼亚克; D·C·克兰
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-12-08
Filing date: 2011-12-07
Publication date: 2014-08-20
Anticipated expiration: 2031-12-07
Also published as: US8553934B2; US20120146902A1; CN102542566A

Abstract

本发明涉及对传感器的位置进行定向。提供用于重新定向具有一个或多个传感器的深度相机的视野的技术。深度相机可以具有用于生成深度图像的一个或多个传感器，并且还可具有RGB相机。在某些实施例中，基于深度图像来重新定向视野。传感器的位置可以基于对深度图像中的对象的分析被更改以自动地改变视野。重新定向过程可被重复直到确定了传感器的所需定向。来自RGB相机的输入可用来确认深度相机的最终定向，但在确定视野的新的可能定向的过程期间并非必需。

Description

对传感器的位置进行定向

技术领域

本发明涉及传感器，尤其是对传感器的位置进行定向。

背景技术

实时深度相机能够确定与该相机的视野内的人类或其他物体相距的距离，并且基于该相机的帧速率基本上实时地更新该距离。这样的深度相机可以在运动捕捉系统中例如用于获取关于物理空间中的人体或其他主体的位置和移动的数据，并且可以将该数据用作到计算系统中的应用的输入。可以有许多应用，例如用于军事、娱乐、体育和医学目的。通常，深度相机包括照明视野的照明器、以及感测来自视野的光以形成图像的图像传感器。然而，存在挑战，诸如适当地对深度相机定向，使得目标对象适当地处于视野中。

发明内容

提供用于对可用于收集深度信息的一个或多个传感器进行定向的技术。传感器可以是具有其他传感器深度相机系统的一部分，诸如RGB相机。深度相机可具有调整传感器位置的电动机，使得可以更改传感器的视野。基于对深度图像中的对象的分析来自动地作出对传感器的视野的调整。重新定向过程可被重复直到确定了传感器的所需定向。

一个实施例包括对深度相机中的传感器进行定位的方法。该方法可包括从传感器中生成深度图像，并且基于该深度图像来确定一个或多个潜在目标。潜在目标之一可被选为用传感器跟踪的候选对象。可以作出是否对传感器的当前定向以及视野中候选对象的位置进行重新定向的确定。如果确定要这样做，则对传感器进行重新定向。前述可被重复直到其确定不对传感器进行重新定向。

一个实施例包括一种装置，该装置包括具有用于收集深度信息的一个或多个传感器的深度相机以及耦合到该深度相机的逻辑。该逻辑根据深度信息生成深度图像。该逻辑基于深度图像来确定一个或多个潜在目标。该逻辑选择潜在目标之一作为用传感器跟踪的候选对象。该逻辑基于一个或多个传感器的当前定向以及视野中候选对象的位置来确定是否对该一个或多个传感器进行重新定向。如果确定要这样做，则逻辑对一个或多个传感器进行重新定向。该逻辑重复以下操作直到确定当前的候选对象适当地处于视野内或者确定没有潜在的目标：生成深度信息、确定一个或多个潜在目标、选择、确定是否对一个或多个传感器进行重新定向、以及对该一个或多个传感器进行重新定向。

一个实施例包括对具有视野和一个或多个传感器的深度相机进行定向的方法。该方法包括：a)从深度相机中生成深度图像；b)基于该深度图像确定0个或多个潜在目标；c)如果确定有0个潜在目标，则确定是否对深度相机的视野进行重新定向；d)如果确定在确定有0个潜在目标时进行重新定向，则对深度相机的视野进行重新定向；e)选择潜在目标之一作为用一个或多个传感器跟踪的候选对象；f)基于传感器的当前定向及候选对象，确定是否对深度相机的视野进行重新定向；g)如果确定要这样做，则对深度相机的视野进行重新定向；并且重复a)至g)直到确定不应该对深度相机的视野进行重新定向。

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图说明

图1A描绘了运动捕捉系统的示例。

图1B描绘了根据侧视图的运动捕捉系统的示例。

图2A描绘了图1A或1B的运动捕捉系统的示例框图。

图2B描绘了对深度相机中的逻辑使用硬件实现的图1A或1B的运动捕捉系统的示例框图。

图3是深度相机系统的一个实施例的透视图。

图4A-4C描绘了沿线A-A′的图3的深度相机系统的侧截面图。

图5A-5C示出深度相机的主体可被放置的三个示例角度。

图6A是对传感器进行定向的过程的一个实施例的流程图。

图6B是在未发现潜在目标时对传感器进行定向的过程的一个实施例的流程图。

图7是生成深度信息的过程的一个实施例的流程图。

图8是确定要跟踪的潜在目标的过程的一个实施例的流程图。

图9是选择候选对象的过程的一个实施例的流程图。

图10是在传感器正被定向时指示用户移至新位置的过程的一个实施例的流程图。

图11是对传感器进行定向以更好地跟踪候选对象的过程的一个实施例的流程图。

图12是确定传感器的位置的过程的一个实施例的流程图。

图13描绘了可被用于深度相机的计算环境的示例框图。

图14描绘了可用于图1的运动捕捉系统的计算环境的另一示例框图。

具体实施方式

提供用于对具有一个或多个传感器的深度相机的视野进行重新定向的技术。深度相机可以具有用于生成深度图像的一个或多个传感器，并且还可具有RGB相机。在某些实施例中，基于深度图像来对视野进行重新定向。传感器的位置可以基于对深度图像中的对象的分析被更改以自动地改变视野。重新定向过程可被重复直到确定了传感器的所需定向。来自RGB相机的输入可用来确认深度相机的最终定向，但在确定视野的新的可能定向的过程期间并非必需。

某些实施例可在运动捕捉系统内来实践。因此，将描述示例运动捕捉系统。然而，可以理解，本文所描述的技术不限于运动捕捉系统。图1描绘了运动捕捉系统10的示例，其中房间(或其他环境)中的人与应用交互。房间中可存在其他对象，诸如桌子9、灯、沙发等。

运动捕捉系统10包括显示器196、深度相机系统20、以及计算环境或装置12。深度相机系统20可以包括图像相机组件22，该图像相机组件22具有光发射器24、光传感器25、以及红绿蓝(RGB)相机28。在一个实施例中，光发射器24发射准直光束。准直光束的示例可包括但不限于，红外(IR)和激光。在一个实施例中，光发射器24是LED。从视野6内的听者8、对象9、墙壁35等反射离开的光由光传感器25来检测。由光传感器25收集的光可用于生成深度图像。在某些实施例中，系统10使用深度图像来确定如何对深度相机20重新定向。

用户8站在深度相机系统20的视野6中。线2和4表示视野6的边界。可以定义笛卡儿世界坐标系，其包括：沿着深度相机系统20的焦距例如水平地延伸的z轴，垂直地延伸的y轴，以及侧向地且水平地延伸的x轴。注意，附图的透视被修改成简化表示，显示器196在y轴方向上垂直延伸，z轴垂直于y轴和x轴且与用户所站立的地面平行地从深度相机系统20延伸出来。

由于视野6可能是受限的，因此有可能对象中的某些要么仅部分地位于视野6中，要么完全位于视野6以外。例如，用户8可能部分地或完全位于视野6以外。在某些实施例中，可以调整视野6，使得深度相机20可以捕捉部分地或完全位于视野6以外的对象。在一个实施例中，深度相机20具有允许移动光发射器24、光传感器25和红绿蓝(RGB)相机28以改变视野6的电动机。

注意，深度相机20可以生成两种图像：深度图像和RGB图像。可以基于在光传感器25收集的光来生成深度图像。可以基于在RGB传感器28收集的光来生成RGB图像。由于根据在不同的传感器收集的光来生成每个图像，因此不要求每个图像的视野完全相同。与深度图像相关联的视野有可能比与RGB图像相关联的视野更宽或更窄。然而，在某些实施例中，深度图像与RGB图像的视野可能具有大量重叠，使得来自深度图像的数据可以被相关到来RGB图像的数据。在某些实施例中，改变一个图像视野的定向也导致其他图像视野的定向的改变。例如，如果深度相机要被向上倾斜，则RGB相机28和光传感器25可被移动类似的量。

一般而言，运动捕捉系统10用于识别、分析和/或跟踪对象。计算环境12可包括计算机、游戏系统或控制台等等，以及执行应用的硬件组件和/或软件组件。

运动捕捉系统10可以连接到诸如显示器196等可向用户提供视觉和音频输出的视听设备，如电视机、监视器、高清电视机(HDTV)等，或甚至是墙或其他表面上的投影。还可以经由单独的设备来提供音频输出。为驱动显示器，计算环境12可包括提供与应用相关联的视听信号的诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器。显示器196可以通过例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等等连接到计算环境12。

图1B描绘了在诸如房间的环境中示例运动捕捉系统10的侧视图。深度相机系统20的视野6由线3和5来定义。用户8部分地位于视野6内。深度相机系统20可被向上倾斜以捕捉视野6内的用户的头部。对于身材更小的用户(未在图1B中描绘)，深度相机系统20可被向下倾斜以在仍旧捕捉用户头部的同时捕捉更多的用户的下半身。深度相机系统20目前位于允许捕捉部分地板39的角度；然而，没有捕捉到天花板41。深度相机系统20可被向上或向下倾斜以捕捉更多的地板39或天花板41。在该示例中，显示器196位于支架197上。深度相机系统20具有基座50和主体40。在该示例中，基座50位于计算环境12中。然而，基座50可被放置在任何表面上。

图2A描绘了图1A或1B的运动捕捉系统10的示例框图。系统10包括深度相机系统20和计算环境12。计算环境12输入来自深度相机系统20的深度信息和RGB信息，并且可输出传感器信号。注意，硬件执行的实施方式、以及混合型软件/硬件实施方式也是可能的。

深度相机系统20可被配置成生成深度图像，该深度图像可以包括深度值。深度相机系统20可以将深度图像组织成“Z层”，或者可以与从深度相机系统20沿其视线延伸的Z轴垂直的层。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每个像素具有代表距离图像相机组件22的线性距离(径向距离)的或由像素观察的3D位置的Z分量(垂直距离)的相关联的深度值。

图像相机组件22可以包括光发射器24和一个或多个光传感器25来捕捉从视野内的物体反射离开的光的强度。例如，深度相机系统20可使用光发射器24将光发射到物理空间上并使用光传感器25来检测从物理空间内一个或多个对象的表面所反射的光。在一些实施例中，深度值基于光强来确定。例如，随着时间的过去，越来越多的光子达到给定的像素。在收集时间段以后，每个像素处的光强被采样。深度图像中的深度值可以基于每个像素处的光强来确定。在一些实施例中，光发射器24发射脉冲红外光。在一些实施例中，光被调制到所期望的频率。

红绿蓝(RGB)相机28可用于捕捉可见光图像。深度相机系统20还可以包括一个或多个话筒30，其包括例如接收声波并将其转换成电信号的换能器或传感器。另外，话筒30可用于接收也可由人提供的诸如声音之类的音频信号，以控制可由计算环境12运行的应用程序。音频信号可包括人的口声，如说的话、口哨声、喊声及其他发声，以及非口声，如掌声或跺脚。在一些实施例中，话筒30是话筒阵列，它可具有一起运行的任何数量的话筒。

深度相机系统20可包括与图像相机组件22耦合的逻辑31。在该实施例中，逻辑31包括与图像相机组件22进行通信的处理器32。处理器32可以包括可执行例如包括用于生成传感器信号的指令在内的指令的标准化处理器、专用处理器、微处理器等等。

深度相机系统20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、以及存储RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一个示例实施方式，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。

深度相机系统20可以通过通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一个实施方式，计算环境12可以经由通信链路36向深度相机系统20提供时钟信号，该时钟信号指出何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。

此外，深度相机系统20可通过通信链路36向计算环境12提供深度信息和由RGB相机28捕捉的图像。计算环境12然后可使用深度信息和所捕捉的图像来控制应用。例如，如图2A或2B所示，计算环境12可包括诸如姿势过滤器集合的姿势库190，每一姿势过滤器具有关于(在用户移动时)可作出的姿势的信息。例如，可以为各种手势(如手的划动或投掷)提供姿势过滤器。通过将检测到的运动与每一个过滤器进行比较，可以标识由人执行的指定的姿势或动作。还可以确定执行动作的程度。

计算环境还可包括处理器192，其用于执行存储在存储器194中的指令以向显示设备196提供音频-视频输出信号并实现其他功能。

图2B描绘了图1A或1B的运动捕捉系统10的示例框图。系统10包括深度相机系统20和计算环境12。在该实施例中，与图像捕捉组件22耦合的逻辑31包括电路35。电路35可被认为是硬件实现。电路35可以像图2A的实施例的处理器32执行类似的任务。注意，在某些实施例中，逻辑31是混合硬件/软件实现。

图3是深度相机系统20的一个实施例的透视图。在该实施例中，深度相机系统20具有通过臂52连接到基座50的主体40。基座50可包括能够移动臂52的位置从而移动主体40的定向的电动机307。因此，可以调整传感器(例如，光收集器25、RGB相机28)的定向。注意，光发射器24的定向也可以与传感器一致地调整。臂52的底部可以连接到电动机307，使得臂52可由电动机307来移动。臂52的顶部可被固定到主体40。

图4A-4C描绘了沿线A-A′的图3的深度相机系统20的侧截面图。图4A-4C示出可以相对于y-z轴倾斜主体40，使得可以调整传感器的视野。在图4A-4C中分别描绘了相对于y-z轴的若干角度θ1、θ2和θ3。

主体40可具有加速计42以允许确定主体40相对于y-z轴的位置。例如，加速计42可允许确定角度θ。在某些实施例中，一个或多个传感器用于确定地板的位置以辅助确定主体40的位置。如果由于主体40的定向，地板是不可见的，则可以基于加速计读数来确定主体40的定向。

图4A-4C示出如何相对于y-z轴向上和向下倾斜主体40(注意这可以是与图1A或1B中描绘的相同的y-z轴)。还可以相对于图1A的z-x轴来倾斜主体40。从房间中用户的角度来看，这可以允许将传感器25、28向左或右移动。图5A-5C示出图3的深度相机系统20的俯视图。图5A-5C示出主体40可被放置的三个示例角度，以便对传感器25、28定向以相对于z-x轴来移动视野。

在图5A-5C中，俯视图用实线示出实体40。虚线用于表示主体40中的光发射器24、光传感器25和红绿蓝(RGB)相机28。虚线还用于表示基座50和臂52。基座50中的电动机可用于旋转臂52以便相对于z-x轴来移动主体。在图5A-5C中分别描绘了相对于z-x轴的若干角度α1、α2和α3。

图6A是对一个或多个传感器进行定向以跟踪用户8的过程600的一个实施例的流程图。过程600可由运动捕捉系统10来实现，但可以使用另一个设备。深度相机20中的逻辑31可以执行过程600中的至少某些步骤。作为替换，过程600可由计算环境12来执行。过程600可用于移动深度相机系统20和/或图像相机组件22的位置，以便对传感器(例如，光传感器25、和RGB相机28)定向。也可在过程600期间对与光传感器25结合来工作的光发射器24进行定向。出于讨论的目的，此处将描述对传感器25和28进行定向的示例。然而，可以理解的是，在某些实施例中，仅对单个传感器(例如，诸如光传感器25的深度传感器)定向。

过程600可用于如图4A-4C所示的相对于y-z轴倾斜深度相机20的主体40以寻找用于跟踪用户的所需位置。过程600还可用于如图5A-5C所示的相对于z-x轴倾斜主体40以寻找用于跟踪用户的所需位置。过程600可用于相对于其他轴对传感器25、28定向。

在步骤602，从传感器中生成深度信息。例如，深度相机系统20用于基于光发射器24发射的光以及光传感器25收集的光来生成深度信息。深度信息可包括深度图像。以下关于图7更详细地描述步骤602的一个实施例。

过程600期间的一个选项是在过程600进行时指示用户8站在哪里。在步骤604，可要求潜在用户将其自身置于房间中的特定位置。在一个实施例中，用户8将要与之交互的应用向用户8建议位置。该应用可基于房间的模型作出该建议，该房间的模型是基于步骤602中收集的传感器数据来开发的。注意，用户8被要求移至房间中的某个位置不是必须的。如果用户8被指示移至新的位置，则过程600可返回步骤602以收集更多的传感器数据。步骤604的一个实施例的其他细节将在以下关于图10中描述。

在步骤606，基于深度图像确定0个或多个潜在目标。在一个实施例中，分析深度信息以确定房间中的可能对象。某些对象可能比其他对象更加令人感兴趣。例如，如果对象有可能是桌子或灯，则可能对其没有跟踪的兴趣。然而，如果对象至少有可能是用户8，则可能有跟踪的兴趣。注意，感兴趣的对象可能仅部分地位于视野内。还注意到，在一个实施例中，步骤606中进行的确定可以基于深度信息而不使用RGB信息而作出。步骤606的一个实施例将在以下关于图8中更详细地描述。

在步骤608，作出在步骤604中是否检测到任何有趣的对象的确定。如果步骤608未定位任何潜在目标，则可以执行图6B的过程650。

在发现一个或多个潜在目标的情形中，过程600继续至步骤610，其中潜在目标之一被选择作为要跟踪的候选目标。在一个实施例中，该选择基于来自用户8可能与之交互的应用的建议或提示。可用于选择候选目标的一个因素是分析感兴趣的对象的特性，诸如高度、宽度、深度、相对于地板的位置等。

在步骤612，作出是否应该对传感器25、28进行重新定向的确定。该确定可以基于目标候选是否正确地位于光传感器25的视野内来作出。由此，该确定可以基于光传感器25和/或RGB相机28的当前定向以及视野中候选目标的位置。在一个实施例中，该确定基于来自用户8基于传感器输入与之交互的应用的请求。作为一个示例，该应用可以是用户基于检测其动作的传感器进行控制的游戏。应用可能请求以将用户8置于视野中特定位置的方式来放置传感器25、28。如果确定是传感器25、28应该被重新定向，则执行步骤614。

注意，传感器25、28是否应被重新定向的确定还可以基于传感器25、28如何捕捉房间。例如，在某些情形中，用户8可能完全位于视野6内，但用户的周围没有充分地位于视野6内。在这种情形中，可以对传感器25、28重新定向以更好地捕捉用户的周围而不牺牲捕捉用户8。

在步骤614，对传感器25、28进行重新定向。可对光传感器25进行重新定向以尝试更好地跟踪候选对象。例如，如果候选对象没有完全位于视野内，则可以移动光传感器25以尝试将候选对象的更多部分置于视野内。在某些情形中，可能期望将候选对象的特定部分置于视野中。例如，可能期望将头部、手、或其他身体部分置于视野中。如上所述，在某些情形中，对传感器25、28重新定向以更好地捕捉用户的周围而不牺牲捕捉用户8。步骤614的其他细节将在以下关于图11中更详细地描述。在移动传感器25、28之后，过程600可返回步骤602以生成更多的深度信息。过程600可以重复确定潜在目标并选择候选目标的步骤。

最终，可在步骤612中作出传感器25、28被正确地定向的确定。在那种情形中，过程600可以终止。然而，如果需要，可以执行最终候选对象是用户8的可选确认。可选地，可以通过使用生物测定信息来确认传感器位置25、28。例如，RGB数据以及与可能的深度值一起可用于确定候选目标是否被识别为人类的确定。例如，面部识别可用作生物测定信息。

图6B是在深度图像中未发现有趣的对象时对传感器进行定向的过程650的一个实施例的流程图。如果过程600的步骤608作出这种确定，则可以执行过程650。过程650可由深度相机20中的逻辑31来执行。作为替换，过程650可由计算环境12来执行。在步骤652，作出是否对光传感器25重新定向以尝试在当前时间定位有趣的对象的确定。例如，有可能用户8在房间中，但是传感器的视野没有拾取到用户8。也可能是仅有用户8的一部分位于视野中，并且这没有提供足够的信息以确定深度图像中与用户的一部分相对应的对象是有趣的。由此，一个选项是在步骤654中对传感器25、28重新定向。光传感器25的视野可被更改以扫描有趣的对象。即，光传感器25的视野可被移动以捕捉尚未被捕捉的房间的一部分的数据。随后可以执行图6B的步骤602以根据新的传感器位置生成深度信息。

另一方面，还可能是光传感器25已经彻底地扫描了房间，并且没有检测到用户8。有可能是对于某些传感器位置，某些有趣对象被检测到，但在进一步的评估之后，那些有趣对象被确定为不再是有趣的。在该情形中，光传感器25可以按照尝试更好地捕捉稍后可能进入视野的用户8的方式来放置。由此，在步骤656，作出对适于在用户8稍后进入房间时检测该用户的传感器定向的确定。对合适的传感器定向的确定可以基于在过程600期间确定的房间的知识，诸如3D房间模型。例如，基于家具的位置和游戏系统，可以作出关于用户8站在哪里的确定。在步骤658，基于步骤656的确定，对传感器25、28进行重新定向。随后过程650结束。

图7是生成深度信息的过程700的一个实施例的流程图。过程700是过程600的步骤602的一个实施例。过程700可由深度相机20中的逻辑31来执行。作为替换，过程700可由计算环境12来执行。在步骤702，收集传感器数据。在一个实施例中，在步骤702中使用光发射器24和光传感器25。然而，在步骤702中不需要RGB相机28。例如，发射的光可用于发射脉冲IR束。光传感器25可用于检测从视野中的对象反射离开的IR光。光传感器25可包括CMOS或其他类型的传感器。光传感器25可产生从其可确定深度值的光强度值。例如，光传感器25可具有320x240像素阵列，每个像素由于检测到一段时间的IR束的反射而生成光强度值。注意，步骤702可包括进行多于一次的光强度读取。例如，可以发射第一脉冲IR束持续第一时间段以收集第一组光强度值。随后，可以发射第一脉冲IR束持续第一时间段以收集第一组光强度值。

在步骤704，根据在步骤702收集的传感器数据生成深度值。在一个实施例中，可以基于步骤702中提及的两个读取的每一个的光强度值，为传感器中的每个像素产生深度值。每个像素可表示视野中的某个2D区域。深度值可以定义从深度相机20到视野的对应的区域中的对象的距离。深度值可形成深度图像。例如，深度图像可包括所捕捉的场景的2-D像素区域，其中每一像素可具有与其相关联的X值、Y值和深度值(或Z值)。

在步骤706，基于深度值来确定体素。体素可被认为是3D像素。由此，体素可被定义是体积像素。换言之，每个体素可表示视野的某个3D区域。在一个实施例中，可以基于深度图像中的一个或多个像素的深度值来生成体素。可以基于深度图像中像素的深度值来确定3D空间中体素的位置。在一个实施例中，深度图像是经降采样的，使得体素表示深度图像的多于一个像素。在此情形中，体素的值(例如，其在3D空间中的位置)可以表示体素所表示的深度图像的部分的平均、最大、最小、和/或中值深度值。

在步骤708，体素被分组为目标对象。例如，可以分析每个体素以确定什么其他体素有可能构成相同的对象的一部分。例如，房间可以包括地板、墙、桌子、椅子、灯、和用户8。对于这些对象中的某些，可能仅有对象的一部分位于视野中。在步骤708中，可能构成地板的体素可被分组到一起；可能构成用户(或可见部分)的体素被分组到一起等。不需要在此处作出关于对象是什么的确定。

为了确定体素可能与哪个对象相关联，系统10可将每个体素的值与其邻居进行比较以查找具有类似的值的体素。注意，如果需要，则可以使用来自深度图像的深度值。例如，在一个实施例中，可以将与正被分析的特定体素相关联的平均深度值与同正被分析的特定体素相邻的每个体素的平均深度值进行比较。如果正被分析的特定体素的平均深度值与相邻体素的平均深度值的差可以小于阈值，则特定体素与相邻体素可被标识为属于相同的对象。如果正被分析的特定体素的平均深度值与相邻体素的平均深度值的差可以大于阈值，则特定体素与相邻体素可被标识为属于不同的对象。根据一个示例实施例，该阈值可以是预定值，该预定值可以基于该体素可能是相同的对象的一部分的可能性或概率。

在步骤710，确定一个或多个传感器25、28位置。可以按照离地板的距离以及深度相机20的一个或多个角度来指定传感器25、28的位置。在一个实施例中，通过首先确定地板的位置来确定传感器位置。然而，在某些情形中，可以倾斜传感器25、28，使得地板当前不位于视野中。在这种情形中，可以基于地板可见的之前的数据(或新获得的数据)以及来自加速计42的数据读数，确定传感器位置。结合图12讨论其他细节。

在步骤712，基于深度信息以及传感器位置的知识，构建房间的3D模型。注意在对传感器25、28进行重新定向时，深度地图中的给定像素将与房间的3D模型中的不同的位置相对应。对于体素是同样的。因此，可在步骤712进行转换以考虑传感器25、28的当前位置。

图8是确定要跟踪的潜在目标的过程800的一个实施例的流程图。过程800是过程600的步骤606的一个实施例。在一个实施例中，在过程800期间分析基于体素在过程700的步骤708中确定的每个对象，以确定哪个对象可能是要跟踪的有趣候选。过程800可由深度相机20中的逻辑31来执行。作为替换，过程800可由计算环境12来执行。

过程800通过在步骤802访问目标对象来开始。例如，访问来自步骤708的对象之一。在步骤804，作出该对象是否有趣得要跟踪的确定。如果对象被认为是有趣的，则在步骤806中它被置于有趣对象列表中。注意，稍后可从该有趣对象列表中选择要跟踪的候选对象。注意，该列表可包括稍后被证明不是非常有趣的对象。例如，最初一个对象可能被确定为可能是用户，并且由此被置于有趣对象列表上。然而，在对传感器进行重新定向并且收集附加的传感器数据之后，可能确定该对象不是用户。由此，注意该列表至少最初可能是过于包含性的。

如果该对象被认为不是有趣的，则在步骤808中，它可被置于不是有趣得要跟踪的对象列表上。不感兴趣的示例对象可包括被确定为是地板、墙、或一件家具的对象。

在一个实施例中，基于诸如对象的大小、形状和位置的因素来作出对象是否有趣的确定。例如，对象的宽度和/或高度可以表明它可能是用户。

如果存在要考虑的更多个对象(步骤810为是)，则过程800返回步骤802以访问下一个对象。在已经分析了全部对象之后，过程800可以结束而没有任何进一步的动作。

图9是选择有趣(或潜在)对象之一作为候选对象的过程900的一个实施例的流程图。过程900是过程900的步骤610的一个实施例。在一个实施例中，深度相机系统20中的逻辑31可以执行过程900中的某些步骤。过程900的其他步骤可由用户可能与之交互的应用来执行。应用可以在例如计算环境12中的处理器192上运行。在一个实施例中，过程900的全部步骤在计算环境12中运行。

在步骤902，将有趣对象列表发送到应用。例如，将在过程800中确定的有趣对象列表从深度相机20中的逻辑31发送到运行在计算环境12中处理器192上的应用。可以从运行在计算环境12中的应用发送该列表，来代替从逻辑31发送该列表。也可以向应用发送被确定为不有趣的对象列表。还可以向应用发送深度信息，诸如在过程700中确定的深度信息。这可包括房间的3D模型、体素和深度地图中的一个或多个。

在步骤904，应用处理该信息以确定对对象有可能是/不是用户8的候选的0个或多个建议。例如，应用可以确定哪些对象应被忽略以及哪些应被给予更大的考虑。注意，应用可以建议来自不有趣对象列表的对象可被认为是要跟踪的候选。

在步骤906，应用向深度相机20发送0个或多个建议。在步骤908，深度相机20选择对象之一作为候选对象。这可以基于来自应用的提示或建议，如果应用提供这种信息。在有趣对象列表基于来自应用的建议可能已被缩减的情况下，可能存在要从中选择作为候选的相对少的对象。如果存在一个以上的对象被留下以从中选择，则深度相机可以通过各种方式来选择候选对象。一种方式是基于用于生成最初有趣对象列表的类似的因素来确定每个剩余对象的分数。具有最高分数的对象可被选择作为候选。可以记住其他对象，使得它们稍后可被选择作为候选对象。例如，如果被证明这次所选择的候选不是用户，则下一次可以选择不同的对象。

在一个实施例中，在对传感器进行定向的过程期间，指示用户移至特定位置。甚至可在对传感器进行重新定向之前要求用户移动以更好地跟踪候选对象。例如，在过程600生成深度信息(步骤602)之后，可要求用户移至房间中的新的位置。在此情形中，过程600可返回步骤602以在用户移动之后收集更多的传感器数据，而不是对传感器进行重新定向。图10是在传感器正被定向时指示用户移至新位置的过程1000的一个实施例的流程图。过程1000是过程600的步骤604的一个实施例。过程1000可由运行在计算环境12中的处理器192上的应用来执行。在过程1000之前，传感器数据已被收集用于传感器25、28的当前物理位置。已经执行诸如过程700的过程以生成房间的3D模型。注意，可以基于对过程600的超过一次的迭代来构建房间的3D模型。在步骤1002，应用接收房间的3D模型以及深度信息。深度信息可包括包含深度值的深度图像。深度信息可包括体素。体素可被分组以便表示房间中的可能的对象。

在步骤1004，应用指示用户站在房间中的哪里。该位置可以是传感器能够跟踪该用户的更好的位置。例如，应用可以知晓用户应该位于距离深度相机特定距离范围的区域中。该区域也可具有特定的宽度。由于房间的3D模型被发送给应用，该应用可在显示器196上显示房间地图并突出显示该区域。

在步骤1006，应用向深度相机20发送消息以指示用户被指示移动。因此，深度相机20指示收集更多的深度信息而不对传感器25、28重新定向可能会更好，而不是此时尝试选择候选对象。例如，回头参考图6，可以再次执行步骤602，而不是继续执行步骤606。

图11是对传感器25、28定向的过程1100的一个实施例的流程图。这可以允许传感器25、28更好地跟踪候选对象。过程1100是过程600的步骤614的一个实施例。过程1100可由深度相机20中的逻辑31或诸如计算环境12中的软件的其他逻辑来执行。在步骤1102，作出关于传感器25、28应以哪种方式来移动的确定。传感器25、28可被移动以更好地使被相信可能是用户8的对象位于视野中。例如，如果候选对象看起来是用户8，但他们的头部不在视野中，则可以进行关于向上倾斜深度相机20多远以便捕捉用户的头部的计算。另一方面，候选对象可被怀疑是具有较低身高的用户，诸如小孩。在这种情况下，传感器25、28可以当前正在捕捉被怀疑是头部的对象，而不捕捉手或手臂。在此情形中，可以进行计算以向下倾斜深度相机20。

在步骤1104，基于步骤1102的确定来移动传感器25、28。在一个实施例中，向电动机307发送控制信号以便倾斜和/或旋转深度相机20的主体40。

图12是确定传感器的位置的过程1200的一个实施例的流程图。过程1200是过程700的步骤710的一个实施例。过程1200可由深度相机20中的逻辑31或诸如计算环境12中的软件的其他逻辑来执行。可在刚获得新的深度信息之后使用光传感器25来执行过程1200。

在步骤1202，进行确定“地板对象”的尝试。换言之，确定地板的位置。如上所述，在某些实施例中，可以基于体素(和/或深度图像中的深度值)来确定各种对象。例如，可以基于诸如3D空间中体素位置的属性来将体素分组到一起。可以基于地板相对于其他对象的预期位置和形状来确定地板对象。

在某些情形中，可以向上倾斜传感器25、28，使得单独基于当前的深度信息来定位地板对象是困难或者不可能的。步骤1204是对是否成功地确定地板对象的确定。若是，则在步骤1206，确定传感器25、28的位置。在步骤1206，可以确定深度相机系统20对于某基准平面的相对角度。例如参考图4A-4C，加速计42可存在于深度相机20的主体40中，该加速计42便于对角度θ的确定。在步骤1206，还可以确定传感器离地板的高度。可以基于角度θ以及深度图像中的信息来作出该确定。例如，基于深度图像(体素)中地板位于何处的知识以及角度θ，可以确定传感器离地板的高度。在一个实施例中，参考图5A-5C，可以确定角度α以便确定传感器的z-x定向。

如上所述，在某些情形中，视图中目前将不存在地板对象(步骤1204为否)。在此情形中，可以作出之前是否确定过地板对象的确定。例如，当传感器25、28之前处于另一个定向时，可能已经检测到地板。例如，可能已经为不同的传感器位置之前执行过步骤1206。如果是这种情况，则可在步骤1210中确定传感器位置。在步骤1210，可以基于地板位于之前的传感器位置哪里的知识以及从加速计42获得的数据来确定传感器位置。例如，之前主体20可能位于图4A中所描绘的位置。然而，现在主体20可能位于图4C中所描绘的位置。可以假定主体20离地板的高度与之前相同。如果该假设是不正确的，则稍后的验证可以纠正该假设。加速计数据可用于确定角度θ。

如所述的，在某些情形中，地板可能从来未被检测到(步骤1208为否)。在此情形中，传感器25、28可被重新定向以捕捉地板。例如，主体40可被移至图4A所描述的位置、或另一个角度。随后，可以操作光传感器25以收集深度信息，使得地板对象可被定位。根据该信息，可以确定传感器25、28离地板的高度。接下来，在步骤1214，传感器25、28可被移回至过程1200被启动时所处的位置。随后可以基于加速计数据来确定深度相机20的主体40的角度θ。

此处的技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。此处的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备在内的本地和远程计算机存储介质中。

此处所描述的技术可用各种其它通用或专用计算系统环境或配置来操作。适合与此处的技术一起使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持式或膝上型设备、移动电话或设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型机、大型计算机、包含上述系统或设备中的任一个的分布式计算机环境等。

图13是用于实现本技术的计算环境1300的示例框图。深度传感器20中的逻辑31可由计算环境1300来实现。在其最基本的配置中，计算机1300通常包括处理单元32和存储器34。取决于计算设备的确切配置和类型，存储器34可以是易失性(如RAM)、非易失性(如ROM、闪存等)或是两者的某种组合。另外，计算机1300还可包括大容量存储(可移动1312和/或不可移动1314)，如磁/光盘/带。类似地，计算机1300还可具有输入设备1318和/或输出设备1316。设备1300的其他方面可包括到其他设备、计算机、网络、服务器等的使用有线或无线介质的通信连接1320。例如，通信连接1320可用于连接计算环境1300与计算环境12。

在一个实施例中，为了实现此处描述的过程的实施例，在处理器上执行存储在计算机可读介质上的计算机可读指令。计算机1300可以包括各种计算机可读介质。计算机可读介质可以是能由计算机1300访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、以及可移动和不可移动介质。计算机存储介质包括但不局限于：随机存取存储器(RAM)、只读存储器(ROM)、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、盒式磁带、磁带、磁盘存储或其它磁性存储设备、或可用于存储所需信息并可由计算机1310访问的任何其它介质。通信介质通常具体化为计算机可读指令、数据结构、程序模块或其他传输机制，并包括任何信息递送介质。术语“已调制数据信号”是指具有以在信号中编码信息的方式被设定或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接线连接，以及无线介质，诸如射频和其它无线介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

图14描绘了可用于生成并处理传感器信号的计算环境的示例框图。该计算环境可以用于图1A或1B的运动捕捉系统中。图2A或2B中所描述的诸如计算环境12等的计算环境可包括诸如游戏控制台等的多媒体控制台100。

控制台100可从深度相机系统20接收输入。多媒体控制台100包括具有1级高速缓存102、2级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的内核，以及由此的附加的一级和二级高速缓存102和104。诸如闪存ROM之类的存储器106可存储当多媒体控制台100通电时在引导过程的初始阶段期间加载的可执行代码。

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V(音频/视频)端口140输出数据，用于传输至电视或其他显示器。存储器控制器110连接到GPU 108，以便于处理器对各种类型的存储器112，比如RAM(随机存取存储器)的处理器访问。A/V端口140可以连接到显示器196。

多媒体控制台100包括可在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口124、第一USB主机控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口(NW IF)124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。

提供系统存储器143来存储在引导过程期间加载的应用数据。提供了媒体驱动器144，其可以包括DVD/CD驱动器、硬盘驱动器、或其他可移动媒体驱动器。介质驱动器144可以内置或外置于多媒体控制台100。应用数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接的总线连接到I/O控制器120。

系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。

前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。

CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。

当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。

多媒体控制台100可通过将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。

当多媒体控制台100通电时，可以保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留量(例如，16MB)、CPU和GPU周期保留量(例如，5％)、网络带宽保留量(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源从应用的角度而言是不存在的。

具体地，存储器保留可以是足够大以包含启动内核、并发系统应用和驱动程序。CPU保留可以是恒定的，使得若所保留的CPU使用不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留，通过使用GPU中断来调度代码来将弹出窗口呈现为覆盖图以显示由系统应用程序生成的轻量消息(例如，弹出窗口)。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图可与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率并引起TV重新同步。

在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用可被调度为在预定时间并以预定时间间隔在CPU 101上运行，来为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存中断最小化。

当并发系统应用需要音频时，则由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用程序管理器(如下所述)在系统应用程序活动时控制游戏应用程序的音频水平(例如，静音、衰减)。

输入设备(例如，控制器142(1)和142(2))由游戏应用程序和系统应用程序共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器可控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维持有关焦点切换的状态信息。

前面的对本技术的详细描述只是为了说明和描述。它不是为了详尽的解释或将本技术限制在所公开的准确的形式。鉴于上述教导，许多修改和变型都是可能的。所描述的实施例只是为了最好地说明本技术的原理以及其实际应用，从而使精通本技术的其他人在各种实施例中最佳地利用本技术，适合于特定用途的各种修改也是可以的。本技术的范围由所附的权利要求进行定义。

Claims

1.一种对传感器进行定向的方法，包括：

从具有视野的传感器中生成深度图像；

基于所述深度图像来确定一个或多个潜在目标；

选择所述潜在目标之一作为用所述传感器跟踪的候选对象；

基于所述传感器的当前定向以及所述视野中所述候选对象的位置，确定是否对所述传感器进行重新定向；

如果确定要这样做，则对所述传感器进行重新定向；以及

重复以下操作直到确定不对所述传感器进行重新定向：所述生成深度图像、所述确定所述一个或多个潜在目标、所述选择、所述确定是否对所述传感器进行重新定向、以及所述对所述传感器进行重新定向。

2.如权利要求1所述的方法，其特征在于，所述深度图像被划分为具有深度值的多个区域，并且其中基于所述深度图像确定所述一个或多个潜在目标包括：

对具有深度值的所述深度图像的区域进行分组，所述深度值位于相邻区域的深度值的预定量以内。

3.如权利要求1所述的方法，其特征在于，对所述传感器进行重新定向包括移动所述传感器以将更多个所述候选对象包括在所述传感器的所述视野内。

4.如权利要求1所述的方法，其特征在于，对所述传感器进行重新定向包括根据来自用户通过来自所述传感器的输入能够与之交互的应用的指示，移动所述传感器以将所述候选对象置于所述传感器的所述视野中。

5.如权利要求1所述的方法，其特征在于，还包括：

向软件应用发送所述一个或多个潜在目标列表，所述软件应用对基于来自所述传感器的输入标识的用户动作进行反应，其中所述选择所述潜在目标之一作为用所述传感器跟踪的候选对象是基于来自所述应用的输入的。

6.如权利要求1所述的方法，其特征在于，还包括：

在从具有视野的所述传感器中生成深度图像之后指示用户移至不同的位置；以及

在指示所述用户移动之后，为至少一个附加的传感器定向重复所述生成深度图像、所述确定所述一个或多个潜在目标、所述选择以及所述确定是否对所述传感器进行重新定向，以便进行至少一次附加的传感器定向。

7.如权利要求1所述的方法，其特征在于，所述选择所述潜在目标之一作为候选对象基于所述潜在目标的高度、宽度或深度中的一个或多个。

8.如权利要求1所述的方法，其特征在于，还包括基于使用位于之前定向的所述传感器获得的深度图像以及与当前传感器位置相关联的加速计数据，确定所述传感器当前的物理位置。

9.一种对传感器进行定向的装置，包括：

具有一个或多个传感器的深度相机，所述一个或多个传感器中的至少一个能够收集深度信息并具有视野；以及

耦合到所述深度相机的逻辑组件，所述逻辑组件根据所述深度信息来生成深度图像；

所述逻辑组件基于所述深度图像来确定一个或多个潜在目标；

所述逻辑组件选择所述潜在目标之一作为用所述传感器跟踪的候选对象；

所述逻辑组件基于所述一个或多个传感器的当前定向以及所述视野中所述候选对象的位置来确定是否对所述一个或多个传感器进行重新定向；

如果确定要这样做，则所述逻辑组件对所述一个或多个传感器进行重新定向；以及

所述逻辑组件重复以下操作直到确定当前的候选对象适当地处于所述视野内，或者确定没有潜在的目标：所述生成深度图像、所述确定一个或多个潜在目标、所述选择、所述确定是否对所述一个或多个传感器进行重新定向、以及所述对所述一个或多个传感器进行重新定向。

10.如权利要求9所述的装置，其特征在于，所述深度图像被划分为具有深度值的多个区域，并且其中作为所述基于所述深度图像确定一个或多个潜在目标的一部分，所述逻辑组件对具有深度值的所述深度图像区域进行分组，所述深度值位于相邻区域的深度值的预定量以内。