CN105518748A - 3d对象跟踪 - Google Patents

Abstract

实施例涉及跟踪3D对象的姿态。在实施例中，由几何图形和接合点组成的、匹配3D真实世界对象的3D计算机模型可以被用于跟踪过程。可以使用从在3D模型中检测的互相贯穿的几何图形生成的碰撞约束和通过由描述模型的片/段/骨头之间的连接的接合点生成的角运动约束来完成对3D模型的处理。由深度照相机供应的其3D（点云）形式的深度数据可以被用来创建在3D模型的表面上的附加约束，因此限制其运动。可以满足使用线性方程处理组合在一起的所有约束来确定匹配在3D照相机前面的对象的真实世界姿态的3D模型的似乎合理的姿态。

Description

3D对象跟踪

相关申请

本申请要求题目为“3DOBJECTTRACKING”的在2013年10月11日提交的US申请14/052,118的优先权。

技术领域

本发明的实施例一般地涉及数据处理的技术领域，并更特别地涉及跟踪三维（3D）空间中的对象。

背景技术

本文中提供的背景描述是出于一般地呈现本公开的上下文的目的。到其在该背景部分中被描述的程度的目前指定的发明人的工作以及在提交的时候可能不另外有资格作为现有技术的描述的方面既不明确也不暗示地承认为针对本公开的现有技术。除非在本文中另外指示，在该部分中描述的方法不是本公开中的权利要求的现有技术并且不通过包括在该部分中而被承认是现有技术。

自然的人计算机交互激发对象跟踪，并具体是手跟踪研究。跟踪用户的手和手指的完全姿态是有挑战性的问题，并且可能具有用于用户机器交互的过多应用。现有的技术可能需要可穿戴的硬件、添加对用户姿态的限制或需要重大的计算资源。

附图说明

将通过以下详细描述连同附图来容易地理解实施例。为了促进该描述，相同的参考数字指定相同的结构元素。在附图中的图中，通过示例的方式并且不通过限制的方式示出实施例。

图1描绘了根据各种实施例的、用于从3D图像确定3D模型的姿态的示例系统。

图2是根据各种实施例的、使3D对象的3D模型适合于深度数据的示例。

图3描绘了根据各种实施例的、对象的3D模型的姿态的约束的各种示例。

图4描绘了根据各种实施例的、表面约束可以如何影响3D对象的3D模型。

图5示意性地描绘了根据各种实施例的、在其上可以实现公开的方法和计算机可读介质的示例计算设备。

图6描绘了根据各种实施例的、用于标识对象的姿态的示例过程。

具体实施方式

本文中的实施例可以描述一种通过使用增加的刚性体模拟来跟踪诸如用户的手或某些其他铰接式模型的3D对象的方法。在表示3D对象的3D模型上强制（enforce）的运动约束可能被称为具有良好定义的解的线性补充问题。即，一个或多个线性方程可以表示3D模型的可允许的运动。3D模型的骨头的姿态或具体朝向可以基于一个或多个线性方程的解。基于3D对象的深度传感器的样本，系统可以生成表面约束，所述表面约束连同诸如在前运动、碰撞/接触约束和关节力学之类的一个或多个其他因素或约束可以约束解。在某些实施例中，可以基于不同的启发和假设来生成具有不同的姿态的附加的或替代的3D模型，并且然后可以基于一个或多个误差度量选择来自不同的3D模型的3D模型。

在以下详细描述中，参考形成本文的一部分的附图，其中相同的数字始终指定相同的部分，并且其中经由图示示出了可以实行的实施例。应理解，可以利用其他实施例并且可以做出结构的或逻辑的改变而不脱离本公开的范围。因此，不在限制性的意义上理解以下详细描述，并且实施例的范围由所附权利要求书和其等同物限定。

可以以在理解要求保护的主题中最有帮助的方式将各种操作依次描述为多个分立的动作或操作。然而，描述的顺序不应该被解释为暗示这些操作必然是顺序依赖的。特别地，可以不以呈现的顺序执行这些操作。可以以与描述的实施例不同的顺序来执行描述的操作。在附加的实施例中可以执行各种附加的操作和/或可以省略描述的操作。

出于本公开的目的，短语“A和/或B”意味着（A）、（B）或（A和B）。出于本公开的目的，短语“A、B和/或C”意味着（A）、（B）、（C）、（A和B）、（A和C）、（B和C）或（A、B和C）。

本说明书可以使用短语“在一个实施例中”或“在实施例中”，其每个可以指相同或不同的实施例中的一个或多个。更进一步地，如关于本公开的实施例使用的术语“包括”、“包含”、“具有”等是同义的。

图1描绘了可以根据本文中的各种实施例使用的用于确定3D图像中的对象的姿态的示例系统100。具体地，3D照相机105可以被配置成捕获诸如用户的手之类的3D对象110的图像。在实施例中，3D照相机105可以是立体照相机、结构光照相机（structuredlightcamera）、飞行时间照相机、投影纹理立体照相机或某些其他类型的3D照相机105。3D对象110可以被定位在例如离3D照相机约30厘米与一米之间。

3D照相机105可以与3D模型逻辑136耦合。3D模型逻辑136可以具有映射器/分样器（subsampler）模块138，所述映射器/分样器模块138被配置成创建3D对象110的点云映射，如下文更详细描述的那样。3D模型逻辑136可以附加包括求解器（solver）模块140，所述求解器模块140被配置成找到表示3D对象110的3D模型的一个或多个线性方程的解，如下文更详细描述的那样。附加地，3D模型逻辑136可以包括误差分析模块142，所述误差分析模块142被配置成确定与由求解器模块140生成的解相关的误差度量。在某些实施例中，求解器模块140可能能够生成或访问可能约束由求解器模块140生成的解中的一个或多个的一个或多个表面约束115、一个或多个碰撞/接触约束120和/或一个或多个角约束125。

在某些实施例中，3D模型逻辑136中的某些或全部可以是3D照相机105的元件。在某些实施例中，3D模型逻辑136中的某些或全部可以是与3D照相机105耦合的计算系统的元件。3D模型逻辑136可以被实现为硬件、软件和/或固件。在某些实施例中，（一个或多个）表面约束115、（一个或多个）碰撞/接触约束120和/或（一个或多个）角约束125中的某些或全部可以是3D模型逻辑136的逻辑元素，或可以被存储在3D照相机105或与3D照相机105和/或3D模型逻辑136耦合的单独的计算系统和/或服务器上或者由3D照相机105或与3D照相机105和/或3D模型逻辑136耦合的单独的计算系统和/或服务器生成。

图2描绘了根据各种实施例的、例如使用图1的系统100使3D对象200的3D模型215的姿态适合于3D对象200的深度数据的示例。在实施例中，3D对象200可以与上文描述的3D模型110类似。最初，诸如手的3D对象200可以处于具体姿态。在图2中，手被示出具有伸展的食指和拇指。尽管手在本文中被用作示例，但在其他实施例中3D对象200可以是某些其他对象。3D对象200可以是可移动的，例如3D对象200可以被配置成被铰接、操纵、平移或旋转。在实施例中，3D对象200可以执行诸如抓握或挥动运动之类的运动，或3D对象200可以执行或遭受某些其他类型的运动。

可以例如由诸如上文描述的3D照相机105之类的3D照相机来拍摄对象的3D图像205。3D图像205可以被映射以生成3D对象200的一个或多个点云映射210。在实施例中，3D对象200的点云映射210可以由上文描述的映射器/分样器模块138执行。在某些实施例中，3D照相机可以被配置成在没有捕获3D图像205的中间步骤的情况下生成点云映射210。

在某些情况下，可以例如通过上文描述的映射器/分样器模块138对点云映射210分样（subsample），并且可以生成进一步分样的点云映射（未示出）。例如，点云样本可能初始是不均匀的。即，点云映射210的某些部分可能具有非常大数量的点，而点云映射110的其他部分可能仅具有低数量的点。

然而，点云映射可以被分样到3D体积元素（体素）网格上。具体地，点云映射210可以被分割成在网格类映射中的多个3D元素（体素）。针对每个体素，可以在体素内的点的质心处生成点云映射中的单个点。因此，体素分样可以利用跨3D对象的表面的均匀空间采样产生经分样的点云映射。随着体素大小增加，用来表示给定体积的体素的数量可以减少，并且数据集合可以变得稀疏，这可能导致跟踪（例如，可以以较高的帧速率执行跟踪）的总速度的增加。附加地，通过对点云映射分样，可以丢弃在点云映射中的错误的点。

最后，可以至少部分地基于点云映射210来构造3D对象200的3D模型215。3D模型215的姿态可以至少部分地基于由一个或多个表面约束约束的一个或多个线性方程的解，如下文更详细描述的那样。在实施例中，解可以由上文描述的求解器模块140确定。

3D模型215可以是预构造的模型，或者可以响应于从3D获得的数据来构造3D模型215。在实施例中，3D模型215可以包括多个段。在实施例中，段可以应用于表示包括凸网格、囊（capsule）或表示3D模型的其他方式的不同的3D模型的各种方式。在3D模型215中，人手的模型可以包括17段（即，骨头）。例如，模型可以包括每个手指的三个骨头、表示手掌的单个骨头以及手腕的单个骨头。骨头可以在关节处被连接并且在它们的角运动中被约束到物理上可能的配置，如下文描述的那样。在3D模型215中，手的模型可能具有大约20厘米的大小，虽然在其他实施例中3D模型215可以是可缩放的以适合任何手大小。附加地，手可以是可修改的以与具有例如错失的手指或双重关节灵活性的用户相符。在某些实施例中，手指的骨头可以大约是囊状的，并且包括可以占用与邻近的手指骨头相同的空间的圆帽（roundedcap）。附加地，可以禁用在3D模型215中的某些邻近形状之间的碰撞检测。这可以允许手指的骨头一般维持彼此附接。

可以基于刚性体物理学的方法随时间跟踪3D对象200的运动。特别地，跟踪问题可以被形成为线性方程的约束集合，并且使用诸如投影Gauss-Seidel迭代方法的方法由诸如求解器模块140之类的求解器模块来求解。线性方程的集合可以包括可以从真实的有关节的手的物理模型获得的一个或多个约束，并且包括一个或多个角约束、一个或多个碰撞约束以及一个或多个表面约束，如下文更详细描述的那样。具体地，（一个或多个）表面约束可以以类似磁体的方式表现，其可以是冲击封顶的（impulsecapped）使得映射恰足以在快速的运动期间移动完整的手但没有那么多不自然的模拟可能产生（例如，关节的分离或非物理关节角度）。跟踪模型可以假设对用户的手的正确的初始的符合，并且可以在随后的帧上依赖于在前模拟的手状态（即，时间相干性）以辅助跟踪准确性。由于测量误差、照相机遮挡（occlusion）和姿态模糊中的一个或多个的存在，时间相干性可能是必要的。

图3描绘了对象的3D模型的姿态的多个约束。具体地，约束当被表示为线性方程时可以提供针对可以匹配由3D照相机捕获的3D对象的3D模型的姿态的解。第一约束可以是一个或多个碰撞/接触约束300，其可以与上文描述的（一个或多个）碰撞/接触约束115类似。（一个或多个）碰撞/接触约束300可以指3D模型215应该如何处理不同的体之间的碰撞。例如，在大部分对象（例如，手指到手指、手指到比如墙的固体结构等）中，在接触点处的互相贯穿可能不发生。如在图3中示出的那样，通过确保相对于对象B上的相应点b的沿着对象A上的点a的冲击的法线的正的（即，分离的）速率可以避免该互相贯穿。因此，（一个或多个）碰撞/接触约束300可以被用来约束表示3D模型215的姿态的解，使得在3D模型215的给定姿态中诸如第一手指的3D模型215的一个或多个“固体”元素不互相贯穿或穿过诸如第二手指的3D模型215的一个或多个其他“固体”元素。

另一约束可以是一个或多个角约束305。（一个或多个）角约束305可以与3D对象200的不同的关节的限制相关。具体地，（一个或多个）角约束305可以约束表示3D模型215的姿态的解，使得不以将对于在给定姿态中的3D对象200而言不太可能或不可能的方式定位3D模型215的该一个或多个元素。例如，手中的关节可以仅具有某范围的移动，并且对于关节而言运动超出运动的该范围可能不是物理上可能的。因此，（一个或多个）角约束305可以防止关节在3D模型215中以不自然的方式移动。角约束305可以进一步用于锚定在不同的邻近骨头之间的连接点。

第三约束可以是如在310处和315处示出的一个或多个表面约束。（一个或多个）表面约束可以被用来约束表示3D模型215的姿态的解。在实施例中，（一个或多个）表面约束可以是基于将经测量的深度数据映射到3D模型215上的表面点的一个或多个约束。具体地，3D图像205或一个或多个点云映射210可以提供从3D照相机的视角来看的指示3D对象200的几何图形的经测量的点314的集合。这些经测量的点314中的每个可以被用作类似磁体的约束以将3D模型215的姿态移位以更准确地对应于3D对象200的姿态。特别地，3D模型215的面向照相机的表面可以被约束到这些经测量的点314。

在实施例中，可以至少部分地基于3D图像205或点云映射210知道3D对象200的姿态。然而，可能不知道在3D模型215上的经测量的点314中的每个的位置或甚至经测量的点314对应的诸如手指、手掌等的3D模型215的哪段。因此，继而可以包括一个或多个模型点312的诸如3D模型215的段的面的最接近的特征可以被用于附接。如上文记载的那样，表面约束可以以类似磁体的方式表现以移动3D模型215的一个或多个段或面或者3D模型215的一个或多个模型点312以符合经测量的点314。附接约束可以是一维的，如下文描述的那样。

作为示例并且如在310中示出的那样，3D模型215可能初始不符合3D图像205或点云映射210。例如，3D模型215可以在第一位置处具有一个或多个模型点312，而3D图像205和/或点云映射210可以指示在第二位置处的一个或多个经测量的点314。一个或多个经测量的点314可以充当对一个或多个模型点312的“磁体”。该磁效应可以导致3D模型215的一个或多个段或面的旋转，使得一个或多个表面点312更接近地符合一个或多个经测量的点314，如在315处示出的那样。因此，可以改变3D模型315的姿态使得3D模型315更接近地类似3D对象200。

在某些情况下，确保经测量的点314中的全部被映射到3D模型215上的正确的点（spot）可能不是可能的。因此，冲击（例如施加到3D模型215的力或扭矩）的量可以被封顶或限制。具体地，被施加以旋转、平移或否则移动3D模型215以符合3D图像205或点云映射210的冲击的量可能限于具有恰强到足以在3D对象200从事于诸如快速挥手或手指移动之类的非常快速的运动时拉3D模型215的最大值。相对低，碰撞/接触约束和/或角约束可能不是冲击封顶的，因为在正常的使用下可以假设3D对象200以及因此3D模型215将维持完整。

图4描绘了影响手的3D模型的姿态的表面约束的示例。可以对应于3D图像110或200的手的3D图像400被描绘具有在某个位置中的手指。可以对应于3D模型215的3D模型405意图表示被示出具有在某个不同的位置中的手指的3D图像400。例如，在3D图像400中，用户的拇指410被示出相对接近用户的食指。相对地，3D模型405的拇指415被示出相对进一步远离食指。表示表面约束的多个一维矢量417被示出，其可以动作以调整3D模型405中的拇指415以更接近地反映3D图像400中的拇指410。

类似地，在3D模型405中的用户的食指和中指425的位置在与3D图像400中的用户的食指和中指420的位置不同的位置处。表示表面约束的多个一维矢量被示出，其可以动作以调整3D模型405中的食指和中指425以更接近地反映3D图像400中的食指和中指420。可以看到类似的矢量来调整用户的手腕430和用户的小指435的位置。

图5描绘了根据实施例的过程501的示例，其可以由诸如系统100的系统或更具体地由3D模型逻辑136执行以确定诸如3D对象110或200之类的3D对象的姿态。

在实施例中，可以分别在500、505和510处标识一个或多个角约束、碰撞/接触约束以及表面约束。在500处标识的（一个或多个）角约束可以对应于上文关于例如（一个或多个）角约束125讨论的（一个或多个）角约束。在505处标识的（一个或多个）碰撞/接触约束可以对应于上文关于例如（一个或多个）碰撞/接触约束120讨论的（一个或多个）碰撞/接触约束。在510处标识的（一个或多个）表面约束可以对应于上文关于例如（一个或多个）表面约束115讨论的（一个或多个）表面约束。

在500、505和510处的（一个或多个）角约束、（一个或多个）碰撞/接触约束和（一个或多个）表面约束的标识中的一个或多个可以彼此并行或彼此顺序地发生。在实施例中，在500、505和510处的（一个或多个）角约束、（一个或多个）碰撞/接触约束和（一个或多个）表面约束的标识可以由诸如3D模型逻辑136的求解器模块140之类的求解器模块执行。

在515处，诸如求解器模块140的求解器模块然后可以针对诸如3D对象110或200之类的3D对象的诸如3D模型215的3D模型的姿态求解。如上文记载的那样，求解器模块可以是Gauss-Seidel迭代求解器，其被配置成确定一个或多个线性方程的约束集合的解。如上文描述的那样，（一个或多个）角约束、（一个或多个）碰撞/接触约束和（一个或多个）表面约束中的一个或多个可以被用来约束一个或多个线性方程的解。附加地，如记载的那样，（一个或多个）角约束和/或（一个或多个）碰撞/接触约束可以基于3D模型意图表示的3D对象的一个或多个已知的性质。（一个或多个）表面约束可以基于3D对象的3D图像和/或点云映射。

在某些实施例中，求解器模块可以被配置成提供多个解，每个解表示诸如3D模型215之类的3D模型的不同姿态。例如，求解器模块可以输出在520处的解1到在525处的解n。在某些实施例中，n可以等于五，意味着求解器模块可以被配置成提供对线性方程的约束集合的五个不同的解。

解中的一个或多个可以基于一个或多个开始假设或启发。例如，如果n等于五，则求解器模块可以接受在530处的假设/启发1到在535处的假设/启发n-1作为输入。换言之，求解器模块可以提供不基于开始假设/启发的诸如在520处的解1的至少一个解。在某些实施例中，n可以大于或小于五。附加地，求解器模块可以接受较大或较小数量的假设/启发，其可以或可以不与求解器模块输出的解的数量直接相关。解和假设/启发的数量在本文中被包括作为示例并且每个的数量不意图是限制性的。

可以由求解器模块使用的假设/启发的第一示例可以包括总运动偏置（bias）。具体地，手运动相对于手的比例可以是非常快的。在单个计算机帧中，用户的手指可以移动大于手指的宽度的距离。在某些情况下，当将帧的3D图像与先前帧的3D图像进行比较时，用户的手的手指中的全部可能被整体移位一个手指。因此，总运动偏置可以模拟运动，其中整个手可以被首先冻结成单个刚性体，由此不允许手的不同的骨头之间的相对运动。对对齐手掌和手腕的解的约束连同在边界上的碰撞平面的包络可以克服被映射到不正确的手指的点云中的点，并且由此导致更接近诸如3D对象100的3D对象的姿态地移动诸如3D模型215的3D模型的姿态。然后，手模型可以被解冻，点云被重新映射，并且规则的模拟可以发生以更新在3D对象中的任何局部运动（例如，手指的小运动）。

假设/启发的第二示例可以是抓握偏置。例如，用户经常可以一致地移动他们的手的手指中的全部，不管手指全部在拳头中蜷曲、展平，或被定位在那两个极端之间的某处。因此，第二假设/启发可以约束手指的运动，使得手指的骨头中的一个或多个被约束在手中的另一手指的骨头的平行的大约十度内。

假设/启发的第三示例可以是对附近的状态的偏置，其在补救其中求解器模块可能输出不正确的解的情况中可以是有用的。例如，用户可能正在利用食指来指点，但替代地求解器模块可能使拇指或中指适合于延伸的点云数据。在其他情况下，手指的错误数量升高，并且局部吸引（localattraction）可能不升高或降低额外的手指可以是可能的。因此，求解器模块或（未示出的）附加的求解器模块可以运行附加的模拟,其以根据先前帧的最适合的姿态开始（如下文更详细讨论的那样），并且然后添加约束以将一个或多个手指升高或降低到其中求解器模块（或替代的求解器模块）当前认为一个或多个手指处于的相反的姿态中。在某些情况中，可以附加地旋转相邻的手指。

假设/启发的第四示例可以是姿态分类器偏置。例如，求解器模块可以包括自然的五指检测器。求解器模块可以针对连续的段来检查3D对象110或200的扫描线，具体检查3D对象200的点云映射210。当五段在一起时，求解器模块可以假设五段中的每个的顶部附接到指尖，并且物理模拟可以由求解器模块或由与求解器模块通信地耦合的（未示出的）物理模拟器运行。求解器模块和/或物理模拟器可以标识手是打开的、一般地垂直的和手掌面向3D照相机。除上文描述的手掌面向姿态之外或者作为上文描述的手掌面向姿态的替代，可以使用其他常见的姿态。

参考手描述了假设/启发的上文的示例，但假设/启发的上文的示例可以被延伸到诸如用户的身体、两只手或某些其他类型的对象之类的其他3D对象。在某些实施例中，可以使用附加的/替代的假设/启发。在某些实施例中，一个或多个假设/启发可以与另一假设/启发组合。

如上文描述的那样，求解器模块可以输出表示3D模型215的姿态的线性方程组的解，诸如在520处的解1，并且该解可以基于诸如分别在500、505和510处标识的角约束、接触约束和/或表面约束之类的约束中的一个或多个。求解器模块还可以分别基于在530和535处标识的假设/启发1到假设/启发n-1来创建附加解，诸如（未示出的）解2到在525处的解n，如上文描述的那样。

诸如误差分析模块142的误差分析模块然后可以在540处计算针对每个解的误差度量。在实施例中，误差度量可以基于诸如3D模型215的3D模型的一个或多个段。在实施例中，误差度量可以基于3D模型215中的段将不得不被移置以匹配3D对象200的点云映射210的最小距离。该距离可以被定义为与它们到3D对象200的表面H上的任何点一样地接近当前段B_i的表面的点云点P_i的集合中的其他点p的距离。在实施例中，距离度量d可以被定义为，其中可以是点云中的点的集合（等式1）。使用等式1，针对在段B_i中的单独的点e_i的误差度量可以被定义为（等式2）。在实施例中，在等式2中描绘的误差度量可以被视为“局部”误差度量。

如上文描述的那样，“局部”误差度量可以被视为由在远离点云映射210的一个或多个点的距离的3D模型215的一个或多个点生成的误差度量。然而，除根据这些点生成误差度量之外，在某些实施例中，还可以基于3D模型215的一个或多个点在点云映射210指示3D对象200不在其中的空间中来附加地或替代地生成误差度量。在实施例中，第二误差度量e_r可以被视为光线投射（ray-cast）度量。具体地，如果段B_i的质心或几何中心遮挡点云映射210的背景部分，则针对段的光线投射误差可以等于某个常量值。否则，如果段B_i的质心不遮挡点云映射210的背景部分，则针对段的光线投射误差可以等于“0”。

针对段B_i的总误差可以被定义为。不像可能是计算密集的深度缓冲比较，误差度量可能不是对称的。然而，误差度量可能对点云映射210中的像素的数量较不敏感，并且误差度量可以进一步指示3D模型215在何处对应于或“适合”3D对象100。

在实施例中，求解器模块140或误差分析模块142然后可以在545处选择具有最小误差的解，例如最低误差度量。如上文描述的那样，在某些实施例中，可以仅是针对3D模型215的单个段的误差度量。在某些实施例中，求解器模块可以基于针对仅单个段的在545处选择最小误差解，而在其他实施例中，求解器模块可以对针对在3D模型215中的多个段的求和。在某些实施例中，可以仅基于针对一个或多个段的、针对一个或多个段的或不同的误差度量在545处选择最小误差解。

最后，可以在550处标识3D模型215的姿态。在实施例中，可以至少部分地基于具有最低误差度量的解在550处选择3D模型215的姿态。在某些实施例中，可以将选择的姿态反馈到求解器模块以帮助在下一帧中在515处针对3D对象110或200的姿态求解。例如，在帧处的3D模型205的姿态可以被用作在帧x+1处的针对模型的解的输入。

上文描述的过程501可以提供多个益处。例如，过程501可以不依赖于外部标记或硬件来标识3D对象或3D模型的姿态。附加地，过程501可以是相对地计算非密集的，由此虑及将在520和525处输出的多个解。多个解可以虑及将被标识的“最佳”解并且导致在550处标识的姿态中的相对高的置信度。最后，上文描述的点云映射110的分样可以导致减少的数据，甚至产生3D模型的姿态到3D对象的姿态的快速收敛。过程501可以产生附加的益处。

图6图示了根据各种实施例的示例计算设备600，其可以被用来捕获3D图像205、生成点云映射210和或生成3D模型215。在某些实施例中，计算设备600可以是如上文描述的诸如3D照相机105的3D照相机、与3D照相机耦合的一个或多个计算系统，或者计算设备600可以跨诸如一个或多个计算系统和3D照相机之类的多个不同的物理部件分布。

计算设备600可以包括多个部件、多个处理器603以及在某些情况下的一个或多个通信芯片606。在各种实施例中，处理器603可以是处理器核。在各种实施例中，通信芯片606还可以在物理上和/或电耦合到处理器603。在进一步的实现中，通信芯片606可以是处理器603的部分。在各种实施例中，计算设备600可以包括印刷电路板（“PCB”）602。针对这些实施例，处理器603和通信芯片606可以被布置在其上。在替代的实施例中，在不采用PCB602的情况下，各种部件可以被耦合。

取决于其应用，计算设备600可以包括可以或可以不在物理上和电耦合到PCB602的其他部件。这些其他部件包括但不限于易失性存储器（例如，还被称为“DRAM”的动态随机访问存储器408）、非易失性存储器（例如，还被称为“ROM”的只读存储器610）、闪存612、图形处理器614、输入/输出控制器616、（未示出的）数字信号处理器、（未示出的）密码（crypto）处理器、一个或多个天线618、（未示出的）显示器、触摸屏显示器620、触摸屏控制器622、电池624、（未示出的）音频编解码器、（未示出的）视频编解码器、全球定位系统（“GPS”）设备628、指南针630、（未示出的）加速度计、（未示出的）陀螺仪、扬声器632、照相机634以及（未示出的）大容量存储设备（诸如硬盘驱动器、固态驱动器、压缩盘（“CD”）、数字通用盘（“DVD”））等。在各种实施例中，可以在与其他部件相同的管芯上集成处理器603以形成片上系统（“SoC”）。

在实施例中，计算设备600可以进一步包括可以对应于图1的3D模型逻辑136的3D模型逻辑636。在某些实施例中，3D模型逻辑636可以包括可以对应于映射器/分样器模块138的映射器/分样器模块638。3D模型逻辑636可以进一步包括可以对应于上文描述的求解器模块140的求解器模块640。3D模型逻辑636可以进一步包括可以对应于上文描述的误差分析模块142的误差分析模块642。在某些实施例中，映射器/分样器模块638、求解器模块640以及误差分析模块642中的一个或多个可以被实现为硬件、软件或固件。在某些实施例中，例如求解器模块640和误差分析模块642的3D模型逻辑636的一个或多个元件可以彼此组合。在某些实施例中，例如映射器/分样器模块638的3D模型逻辑636的一个或多个元件可以与诸如图形CPU614的印刷电路板602的不同的元件耦合。

在各种实施例中，易失性存储器（例如，DRAM608）、非易失性存储器（例如，ROM610）、闪存612和大容量存储设备可以包括编程指令，所述编程指令被配置成使计算设备600响应于处理器603的执行而能够实行描绘的操作的全部或选择的方面，如上文在图5中描述的那样。例如，诸如易失性存储器（例如，DRAM608）、非易失性存储器（例如，ROM610）、闪存612和大容量存储设备之类的存储器部件中的一个或多个可以包括被实现为固件或软件的3D模型逻辑636的暂时和/或持久副本，和/或当由计算设备600执行时使得计算设备执行图5的过程501的计算机指令。在某些实施例中，易失性存储器（例如，DRAM608）、非易失性存储器（例如，ROM610）、闪存612和大容量存储设备可以包括一个或多个表面约束115、（一个或多个）碰撞/接触约束120和/或（一个或多个）角约束125。

通信芯片606可以使能用于去往和来自计算设备600的数据的传送的有线和/或无线通信。术语“无线”和其派生词可以被用来描述可以经由通过非固态介质的经调制的电磁辐射的使用来传送数据的电路、设备、系统、方法、技术、通信信道等。术语不暗示相关联的设备不包含任何导线，尽管在某些实施例中它们可能不包含。本文中描述的实施例中的大部分包括WiFi和LTERAT作为示例。然而，通信芯片406可以实现任何数量的无线标准或协议，包括但不限于IEEE802.20、通用分组无线电服务（“GPRS”）、优化的演进数据（“Ev-DO”）、演进的高速分组接入（“HSPA+”）、演进的高速下行链路分组接入（“HSDPA+”）、演进的高速上行链路分组接入（“HSUPA+”）、全球移动通信系统（“GSM”）、针对GSM演进的增强数据速率（“EDGE”）、码分多址（“CDMA”）、时分多址（“TDMA”）、数字增强无绳电信（“DECT”）、蓝牙、它们的衍生物以及被指定为3G、4G、5G和以上的任何其他无线协议。计算设备400可以包括多个通信芯片406。例如，第一通信芯片406可以专用于诸如Wi-Fi和蓝牙之类的较短距离无线通信，并且第二通信芯片406可以专用于诸如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO以及其他的较长距离无线通信。

在各种实现中，计算设备600可以是膝上型计算机、上网本、笔记本、超极本、智能电话、计算平板、个人数字助理（“PDA”）、超移动PC、移动电话、台式计算机、服务器、嵌入式计算设备、打印机、扫描仪、监视器、机顶盒、娱乐控制单元（例如，游戏控制台）、数字照相机、便携式音乐播放器或者数字视频记录器。在进一步实现中，计算设备600可以是处理数据的任何其他电子设备。

用于执行上文描述的技术的机器可读介质（包括非瞬时机器可读介质，诸如机器可读存储介质）、方法、系统和设备是本文中公开的实施例的说明性示例。附加地，在上文描述的交互中的其他设备可以被配置成执行各种公开的技术。

示例

示例1可以包括一个或多个计算机可读介质，其包括用以确定模型的姿态的指令，在指令由计算设备执行时指令被配置成使得计算设备：标识对象的模型的姿态的表面约束，表面约束至少部分地基于对象的三维（3D）图像；标识对象的模型的姿态的附加约束，其中附加约束是对象的角约束或对象的接触约束；计算遭受至少表面约束和附加约束的表示模型的姿态的线性方程的解；以及至少部分地基于该解来确定模型的姿态。

示例2可以包括示例1的一个或多个计算机可读介质，其中指令被进一步配置成使得计算设备：标识模型的先前姿态；以及至少部分地基于模型的先前姿态来计算数学解。

示例3可以包括示例1或2的一个或多个计算机可读介质，其中指令被进一步配置成使得计算设备：对对象的3D图像分样以获得对象的经分样的3D数据；以及使表面约束至少部分地基于对象的经分样的3D数据。

示例4可以包括示例1或2的一个或多个计算机可读介质，其中指令被进一步配置成使得计算设备至少部分地基于对象的运动假设来计算线性方程的解。

示例5可以包括示例4的一个或多个计算机可读介质，指令被进一步配置成使得计算设备：计算遭受表面约束和附加约束的线性方程的第一解和第二解，其中线性方程的第一解至少部分地基于对象的运动假设，并且线性方程的第二解不至少部分地基于对象的运动假设；以及至少部分地基于第一解和第二解来确定模型的姿态。

示例6可以包括示例5的一个或多个计算机可读介质，其中模型包括多个段，并且指令被进一步配置成使得计算设备：标识对应于多个段中的段的在3D数据中的3D段数据；标识对应于针对第一解的段的第一误差度量，并且标识对应于针对第二解的段的第二误差度量；以及至少部分地基于第一误差度量与第二误差度量的比较来确定模型的姿态。

示例7可以包括示例1或2的一个或多个计算机可读介质，其中模型是铰接式模型，对象是手，并且多个段包括手的多个骨段。

示例8可以包括示例1或2的一个或多个计算机可读介质，其中对象是手。

示例9可以包括一种用以确定模型的姿态的设备，设备包括：被配置成存储对象的模型的姿态的第一约束的存储器；以及与存储器耦合并被配置成计算遭受对象的模型的姿态的至少第一约束和表面约束的表示模型的姿态的线性方程的解的三维（3D）模型逻辑，表面约束至少部分地基于对象的3D图像。

示例10可以包括示例9的设备，其中3D模型逻辑被进一步配置成至少部分地基于对象的3D图像和解来计算解的误差度量。

示例11可以包括示例9的设备，其中计算逻辑被进一步配置成至少部分地基于模型的开始姿态来计算解。

示例12可以包括示例9-11中的任何示例的设备，其中设备是一种系统，所述系统包括：3D模型逻辑；以及与3D模型逻辑耦合并被配置成捕获对象的3D数据的3D照相机，其中3D照相机是结构光、飞行时间或立体3D照相机。

示例13可以包括示例9-11的设备，其中对象是手，并且模型包括手的多个骨段。

示例14可以包括一种确定模型的姿态的方法，方法包括：由计算设备标识对象的模型的姿态的表面约束，表面约束至少部分地基于对象的三维（3D）图像；由计算设备标识对象的模型的姿态的附加约束，其中附加约束是对象的角约束或对象的接触约束；由计算设备计算遭受至少表面约束和附加约束的表示模型的姿态的线性方程的解；以及由计算设备至少部分地基于解来确定模型的姿态。

示例15可以包括示例14的方法，进一步包括：由计算设备标识模型的先前姿态；以及由计算设备至少部分地基于模型的先前姿态来计算解。

示例16可以包括示例14或15的方法，进一步包括：由计算设备对对象的3D图像分样以获得对象的经分样的3D数据；以及由计算设备使表面约束至少部分地基于对象的经分样的3D数据。

示例17可以包括示例14或15的方法，进一步包括由计算设备至少部分地基于对象的运动假设来计算线性方程的解。

示例18可以包括示例17的方法，进一步包括：由计算设备计算遭受表面约束和附加约束的线性方程的第一解和第二解，其中线性方程的第一解至少部分地基于对象的运动假设，并且线性方程的第二解不至少部分地基于对象的运动假设；以及由计算设备至少部分地基于第一解和第二解来确定模型的姿态。

示例19可以包括示例18的方法，进一步包括：由计算设备确定针对第一解的第一误差度量和针对第二解的第二误差度量；以及由计算设备至少部分地基于第一误差度量与第二误差度量的比较来确定姿态。

示例20可以包括示例14或15的方法，其中对象是手，并且模型是包括手的多个骨段的铰接式模型。

示例21可以包括一种用以确定模型的姿态的设备，设备包括：标识对对象的模型的姿态的表面约束的装置，表面约束至少部分地基于对象的三维（3D）图像；标识对象的模型的姿态的附加约束的装置，其中附加约束是对象的角约束或对象的接触约束；计算遭受至少表面约束和附加约束的表示模型的姿态的线性方程的解的装置；以及至少部分地基于解来确定模型的姿态的装置。

示例22可以包括示例21的设备，进一步包括：标识模型的先前姿态的装置；以及至少部分地基于模型的先前姿态来计算解的装置。

示例23可以包括示例21或22的设备，进一步包括：对对象的3D图像分样以获得对象的经分样的3D数据的装置；以及使表面约束至少部分地基于对象的经分样的3D数据的装置。

示例24可以包括示例21或22的设备，进一步包括至少部分地基于对象的运动假设来计算线性方程的解的装置。

示例25可以包括示例24的设备，进一步包括：计算遭受表面约束和附加约束的线性方程的第一解和第二解的装置，其中线性方程的第一解至少部分地基于对象的运动假设，并且线性方程的第二解不至少部分地基于运对象的运动假设；以及至少部分地基于第一解和第二解来确定模型的姿态的装置。

示例26可以包括示例25的设备，进一步包括：确定针对第一解的第一误差度量和针对第二解的第二误差度量的装置；以及至少部分地基于第一误差度量与第二误差度量的比较来确定姿态的装置。

示例27可以包括示例21或22的设备，其中对象是手，并且模型是包括手的多个骨段的铰接式模型。

虽然出于描述的目的在本文中已经图示和描述了某些实施例，但本申请意图覆盖对本文中讨论的实施例的任何修改或变型。因此，显然地意图仅由权利要求书来限制本文中描述的实施例。

在本公开记载“一个”或“第一”元素或其等同物情况下，这样的公开包括一个或多个这样的元素，既不需要也不排除两个或更多这样的元素。进一步地，用于被标识的元素的序数指示符（例如，第一、第二或第三）被用来在元素之间进行区分，并且不指示或暗示这样的元素的需要的或被限制的数量，它们也不指示这样的元素的特定位置或顺序，除非另有具体地记载。

Claims (19)

1.一种用以确定模型的姿态的设备，所述设备包括：

用以标识对象的模型的姿态的表面约束的装置，表面约束至少部分地基于对象的三维（3D）图像；

用以标识对象的模型的姿态的附加约束的装置，其中附加约束是对象的角约束或对象的接触约束；

用以计算遭受至少表面约束和附加约束的表示模型的姿态的线性方程的解的装置；以及

用以至少部分地基于解来确定模型的姿态的装置。

2.根据权利要求1所述的设备，进一步包括：

用以标识模型的先前姿态的装置；以及

用以至少部分地基于模型的先前姿态来计算解的装置。

3.根据权利要求1或2所述的设备，进一步包括：

用以对对象的3D图像分样以获得对象的经分样的3D数据的装置；以及

用以使表面约束至少部分地基于对象的经分样的3D数据的装置。

4.根据权利要求1或2所述的设备，进一步包括用以至少部分地基于对象的运动假设来计算线性方程的解的装置。

5.根据权利要求4所述的设备，进一步包括：

用以计算遭受表面约束和附加约束的线性方程的第一解和第二解的装置，其中线性方程的第一解至少部分地基于对象的运动假设，并且线性方程的第二解不至少部分地基于对象的运动假设；以及

用以至少部分地基于第一解和第二解来确定模型的姿态的装置。

6.根据权利要求5所述的设备，进一步包括：

用以确定针对第一解的第一误差度量和针对第二解的第二误差度量的装置；以及

用以至少部分地基于第一误差度量与第二误差度量的比较来确定姿态的装置。

7.根据权利要求1或2所述的设备，其中对象是手，并且模型是包括手的多个骨段的铰接式模型。

8.一种用以确定模型的姿态的设备，所述设备包括：

存储器，被配置成存储对象的模型的姿态的第一约束；以及

三维（3D）模型逻辑，其与存储器耦合并被配置成计算遭受对象的模型的姿态的至少第一约束和表面约束的表示模型的姿态的线性方程的解，表面约束至少部分地基于对象的3D图像。

9.根据权利要求8所述的设备，其中3D模型逻辑被进一步配置成至少部分地基于对象的3D图像和解来计算解的误差度量。

10.根据权利要求8所述的设备，其中计算逻辑被进一步配置成至少部分地基于模型的开始姿态来计算解。

11.根据权利要求8-10中的任一项所述的设备，其中设备是一种系统，所述系统包括：

3D模型逻辑；以及

3D照相机，其与3D模型逻辑耦合并被配置成捕获对象的3D数据，其中3D照相机是结构光、飞行时间或立体3D照相机。

12.根据权利要求8-10所述的设备，其中对象是手，并且模型包括手的多个骨段。

13.一种确定模型的姿态的方法，所述方法包括：

由计算设备标识对象的模型的姿态的表面约束，表面约束至少部分地基于对象的三维（3D）图像；

由计算设备标识对象的模型的姿态的附加约束，其中附加约束是对象的角约束或对象的接触约束；

由计算设备计算遭受至少表面约束和附加约束的表示模型的姿态的线性方程的解；以及

由计算设备至少部分地基于解来确定模型的姿态。

14.根据权利要求13所述的方法，进一步包括：

由计算设备标识模型的先前姿态；以及

由计算设备至少部分地基于模型的先前姿态来计算解。

15.根据权利要求13或14所述的方法，进一步包括：

由计算设备对对象的3D图像分样以获得对象的经分样的3D数据；以及

由计算设备使表面约束至少部分地基于对象的经分样的3D数据。

16.根据权利要求13或14所述的方法，进一步包括由计算设备至少部分地基于对象的运动假设来计算线性方程的解。

17.根据权利要求16所述的方法，进一步包括：

由计算设备计算遭受表面约束和附加约束的线性方程的第一解和第二解，其中线性方程的第一解至少部分地基于对象的运动假设，并且线性方程的第二解不至少部分地基于对象的运动假设；以及

由计算设备至少部分地基于第一解和第二解来确定模型的姿态。

18.根据权利要求17所述的方法，进一步包括：

由计算设备确定针对第一解的第一误差度量和针对第二解的第二误差度量；以及

由计算设备至少部分地基于第一误差度量与第二误差度量的比较来确定姿态。

19.根据权利要求13或14所述的方法，其中对象是手，并且模型是包括手的多个骨段的铰接式模型。