CN106226730A

CN106226730A - 跟踪头部位置和朝向

Info

Publication number: CN106226730A
Application number: CN201610602788.2A
Authority: CN
Inventors: E.J.拉森
Original assignee: Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2010-10-07
Filing date: 2011-06-29
Publication date: 2016-12-14
Also published as: CN103262520A; CN103262520B; EP2609731A1; EP2609731B1; EP2609731A4; JP2014501908A; JP5879353B2; WO2012047340A1

Abstract

呈现了跟踪头部位置和朝向的方法、装置和系统，用于使用彩色相机和安装在对象上的特殊标记确定到对象距离，所述标记取决于它们被观察的角度而折射或反射不同色彩。使用双凸透镜或者其他技术可以折射或者反射不同色彩。由相机接收的色彩揭示了标记的朝向。将朝向信息与感知到的标记间角距离以及标记间的已知距离组合来确定到对象的实际距离。

Description

跟踪头部位置和朝向

本申请是申请日为2011年6月29日、申请号为201180047651.0、发明名称为“跟踪头部位置和朝向”的专利申请的分案申请。

相关申请的交叉引用

本专利合作条约(PCT)申请要求于2010年10月7日提交的美国专利申请No.12/900,403(代理人案卷编号No.90619-792723(先前编号026340-008300US))的优先权，该申请是2010年10月7日提交的、名称为“3-D Glasses With Illuminated Light Guide”的PCT申请No.PCT/US2010/51836(代理人案卷编号No.90619-792130(先前编号026340-008100PC))的继续申请。上述申请通过引用整体合并于此。

本申请与2010年10月7日提交的、名称为“3-D Glasses With Camera Based HeadTracking”的PCT申请PCT/US2010/51827(代理人案卷编号No.90619-792129(先前编号026340-007800PC))相关，其整体通过引用合并于此。

技术领域

本发明的实施例涉及基于相机跟踪诸如用户头部之类的对象，其中相机对标记进行跟踪，该标记取决于其对相机的朝向而改变色彩。由其色彩确定的标记朝向与标记之间的角距离一起用于解析对象距相机的距离。特别地，一些实施例涉及通过视频游戏控制台的相机跟踪安装在用户眼镜上的标记以便向视频游戏提供真实的3D效果和其他反馈。

背景技术

随着技术的发展视频游戏变得越来越逼真。视频游戏控制台通常利用最新的处理器、超快存储器和高端显卡来制造。输入控制器已经从简单的手柄、操纵杆和按钮控制器进化为用户可以在他或她的手部或佩戴物中挥舞的加速计使能的控制器。更进一步的输入技术包括相机，通常安装在电视顶部，跟踪用户的身体，包括跟踪他或她的头部、躯干、手臂和腿部。用户可以通过简单地移动其身体或身体的部分来控制这类视频游戏。例如，滑板游戏的玩家可以弯腰以使他或者她跳过一座虚拟的桥梁。

三维(3-D，或者3D)电视帮助用户沉浸在发生在其显示屏上的事件中。对于这类3-D电视，用户有时需要佩戴3-D眼镜。早期的3-D眼镜包括红蓝镜片以识别立体图像。快门式3-D眼镜具有快速且交替地在不透明和透明之间与快速示出左右图像的显示器同步地切换的镜片。存在其他类型的3-D显示技术。许多都是类似的，在于它们或同时地或非常快速地(例如，在60Hz)向观众的左眼呈现分离的二维图像并向观众的右眼呈现分离的二维图像以欺骗用户的大脑来解析出作为3-D环境的立体图像。

利用3-D显示技术的视频游戏可以通过在屏幕上3-D效果的使用而使玩家沉浸在游戏中。此外，具有身体跟踪的视频游戏控制台可以使用3-D效果来协调玩家在真实世界中的实际运动和他或她在显示的虚拟世界中的虚拟运动。头部跟踪对于基于用户头部在哪里进行重现的游戏是关键的。例如，随着用户走向他客厅中的电视，视频游戏控制台可以在电视上显示3-D虚拟柴堆(pyre)使得其表现为用户靠近它一样。

因此，跟踪观众的位置、朝向和运动或者其他用户的头部或身体部分对一些视频游戏可以是重要的，特别是使用头部跟踪来重现更靠近用户的3-D对象的那些视频游戏。现有技术中需要更鲁棒的、对于批量生产不太昂贵的头部跟踪。

发明内容

本公开的装置、系统和方法涉及佩戴有用于检测运动的标记(诸如安装在一副眼镜上的标记)的用户的基于相机的跟踪。所述标记在不同角度折射或反射不同色彩(例如10度时是红色，30度时是黄色)。从标记的表面色彩，可以确定标记的朝向。使用在标记之间的朝向及角距离可以计算到标记的距离。

在不同角度折射或反射不同色彩的装置包括双凸透镜(lenticular lens)、角同色异谱塑料和/或微型棱镜。它们可以对准以在一个预定朝向(例如，朝向摄像头，偏离0度)给出一种预定色彩(例如，红色)并在另一个预定朝向(例如，向左看90度)给出另一种预定色彩(例如，紫罗兰色)。随后可以使用彩色相机以不仅跟踪眼镜的位置还通过识别由双凸透镜折射或反射的色彩来确定佩带者的头部角度。在一些实施例中，相机观察到的色彩变化可以用来确定佩带者头部的角变化率(或者高阶导数)而不确定佩带者头部的绝对角度。

这里的方法、装置和系统的技术优势包括鲁棒的头部跟踪，其中可以通过向现有装置添加廉价的附件以精确地确定距相机的距离。具有塑料双凸透镜的眼镜可以廉价的批量生产。眼镜上的各种背光在低光照环境中使用户较少地分散注意力并减少功率要求。如果可以检测色彩的话，可以使用现有机顶主体跟踪相机。黑白相机可以廉价地升级到彩色相机。升级到彩色相机相可能比升级到具有用于跟踪的更高分辨率的相机更便宜。双凸透镜和/或棱镜也可以折射和反射近红外光，所述近红外光通常可以通过电荷耦合器件(CCD)相机抓取。

本发明的实施例涉及用于使能对象跟踪的标记装置，包括第一标记，所述标记具有用于在第一预定角度折射或反射第一预定色彩并在第二角度折射或反射第二预定色彩的第一部件，色彩对应于各个角度；第二标记，用于在距彼此的固定距离支撑标记的部件，以及用于将标记耦接到用户的部件。到用户的距离可以从标记之间的角距离和观察到的标记色彩来确定。

一个实施例涉及用于跟踪用户头部的系统，包括第一标记，所述标记具有用于在不同角度折射或反射不同预定色彩的第一部件，每种色彩对应于一个预定角度；第二标记，所述第二标记位于距第一标记的固定距离处，以及用于将标记耦接到用户的部件。所述系统进一步包括彩色相机和配置为使用所述彩色相机解析在标记之间的角距离并使用所述角距离和标记的表面色彩来确定到标记的距离的电路。

一个实施例涉及用于确定到对象的距离的方法，包括从相机接收标记的彩色图像，所述标记支撑在距彼此的固定距离上，解析在所述标记之间的角距离，使用至少一个标记的表面色彩确定所述标记的朝向，以及使用角距离和所确定的标记朝向来确定从相机到标记的距离。

附图说明

通过参考下面的附图，以进一步理解本发明的实质和优点。在图中，相似的部件或特征可以具有相同的附图标记。

图1A示出了根据实施例的角距离；

图1B示出了根据实施例的角距离；

图2示出了根据实施例的在不同角度折射或反射的不同色彩；

图3示出了根据实施例的使用角距离和色彩信息的距离确定；

图4示出了根据实施例的圆柱双凸透镜；

图5示出了根据实施例的半球双凸透镜；

图6示出了根据实施例的标记的粗略部分；

图7示出了根据实施例的标记的精细部分；

图8A示出了根据实施例的眼镜；

图8B示出了图8A的眼镜的标记；

图9A示出了根据实施例的方形标记；

图9B示出了根据实施例的三角形标记；

图9C示出了根据实施例的L型标记；

图10示出了根据实施例的镜框型标记；

图11A示出了根据实施例的3D眼镜；

图11B-E示出了图11A的3D眼镜的替代截面视图；

图12示出了根据实施例的3D眼镜；

图13示出了根据实施例的3D眼镜；

图14A示出了根据实施例的具有棱镜的3D眼镜；

图14B示出了转动后的图14A的3D眼镜；

图15示出了根据实施例的折射和反射光的棱镜；

图16示出了根据实施例的用于视频游戏控制台的头部跟踪；

图17是适用于本发明实施例的示例计算机系统。

现在将使用附图来示出根据本发明的不同实施例。附图是实施例的具体示例，并且不应当解释为限制性实施例，而仅是示例性形式和步骤。

具体实施方式

本发明涉及使用相机和取决于其观看它们的角度不同而示出出不同色彩的标记追踪诸如用户头部之类的对象。所述标记由在其底板具有不同色彩的双凸透镜制成。相机感知从标记折射或者反射的色彩并使用此色彩信息来确定眼镜相对于相机偏转的角度。一旦从色彩确定了眼镜的朝向，则可以从在标记之间的角距离计算从相机到眼镜的明确距离。

这里描述的其他实施例涉及使用相机和照明眼镜来跟踪用户的头部。眼镜可以是与电视及时同步的3-D眼镜。眼镜采用诸如LGP之类的光导(light guide)，所述光导穿过镜框传输和发散来自LED的光。眼镜也可以具有反光镜，其不仅将环境光反射到跟踪相机还具有将光反射回它附着其上的LGP的反射背板。LED可以取决于环境光变暗或者变亮。环境光的传感器可以是在眼镜上的或不在眼镜上的。相机本身可以作为离镜(off-board)传感器。

在不同角度折射或反射不同预定色彩可以通过双凸透镜、微型棱镜等来完成。微型棱镜可以附着到眼镜上以便在一个预定朝向上折射和反射预定色彩而在另一个预定朝向上折射和反射不同的预定色彩。具有角同色异谱(angular metamerism)的立体光栅印刷材料或塑料可用于取代微型透镜或与微型透镜一同使用。在另一个实施例中，可以通过色彩随时间的变化量确定用户头部的运动率。

图1A和图1B示出了角距离以及与之关联的模糊度。在两个图中，相机1120跟踪眼镜1102的标记1150。在图1A中，眼镜靠近相机，而在图1B中它们远离相机。然而，因为图1A中眼镜相对于相机旋转，所以其外边缘处的标记显得在相同的角距离θ。

像素表示1154示出从相机视点标记在哪。两个图中的标记表示1152是分开相同数量的像素。相机如果仅测量标记之间的角距离就不能获知眼镜有多远，因为眼镜的旋转未知的。如果知道了眼镜的朝向，则可以解决上述不确定。

图2示出了从一幅眼镜在不同角度上折射或反射的不同色彩。眼镜1102具有取决于观察它们的角度而改变色彩的两个标记。标记的一个对应于色彩索引1254，标记的另一个对应于色彩索引1256。在小角度，从大约0度到大约25度，标记1254显现红色，而在较大的角度，大约25度到50度，标记1254显现橙色。如所示更大的角度将产生不同的色彩。此第一标记可以用来大致确定眼镜偏转的角度。

第二标记具有比第一标记更精细的色彩分级。如图所示，第二标记1256的色彩在180度内重复了9次。这种色彩、背景等的重复可以使用双凸透镜而实现。在仅仅20度的过程中存在7种色彩。这些更精细的分级可以用来进一步细化观察眼镜的角度。

如图所示，对于观察眼镜的相机1120，相机获知或观察到标记1254为蓝色并且标记1256为橙色。根据表面看来“蓝色”和“橙色”的标记色彩、相机1120和/或其关联的电子器件可以确定眼镜的朝向。具体地，相机根据蓝色和橙色标记确定眼镜相对于摄像头偏离角度1258，大约偏离眼镜瞄准线123度。

虽然在图中示出的光谱(彩虹)色，但是可以使用色彩或图像的任意组合。例如，双凸透镜可以仅显示三种色彩：红绿蓝。CCD或其他数字相机可以最佳地抓取这三种色彩。

图3示出了使用诸如图1A-1B的角距离的角距离和诸如图2的色彩信息的色彩信息来确定距离。

像素表示1354示出了眼镜上标记的相机的视图。从像素之间的距离和视图的已知水平和竖直视场角(FOV)可以确定角距离AD。通过现有技术中已知的简单缩放因子和几何学可以将像素转换为物理世界中的工程单位。

相对于距离是不明确的角距离信息1360可以与从色彩信息1364推导出的朝向信息1364组合以产生距离信息1366。

图4和5示出了双凸透镜。图4示出了圆柱双凸透镜，而图5示出了半球形双凸透镜。圆柱双凸透镜包括圆柱脊1472和背板1474。在背板1474上可以印刷彩色图像。半球形双凸透镜1570包括球形隆起1572和背板1574。在背板1574上可以印刷彩色图像。

图6示出了根据实施例的标记的粗糙部分。在粗糙部分1600中，圆柱脊1672位于背板1674上，在所述背板1674上印刷有图像1676。图像1676包括色带1654。由于圆柱脊1672伸展的几何特性，粗糙部分表现出相对于角度的色彩逐渐分级。

图7示出了根据实施例的标记的精细部分。在精细部分1700中，圆柱脊1772位于背板1774上，在所述背板1774上印刷有图像1776。图像1776包括色带1754。由于圆柱脊1772相对窄的几何特性，精细部分通常表现出相比粗糙部分1600关于角度变化更多重复的色彩图案。

图8A-8B示出了根据实施例的眼镜和标记。眼镜1800包括在镜框1802的相对侧上的标记1850。眼镜可以是标准眼镜、专业眼镜、3-D眼镜等。

圆形标记1850包括四个部分，每个部分占据各标记的四分之一，水平和竖直部分彼此垂直朝向。水平精细部分1880和水平粗糙部分1882覆盖每个标记顶部的两个四分之一。竖直精细部分1884和竖直粗糙部分1886覆盖每个标记底部的两个四分之一。任何部分可以具有任意四分之一(例如，精细或粗糙、水平或竖直)，并且可以对标记设想不同布局。合并每个标记上的水平和竖直对准/偏振的部分对于在两个坐标轴中关联朝向(例如倾斜和偏离)是有帮助的。

背光1808可以用来透射或以其他方式从背部透过标记的透明/半透明材料照亮标记。例如，背光可以透射双凸透镜的背板1674(图6)。背光可以取决于环境光级别而调大或调小，从而它们在不同光照条件下都清晰可见。

图9A-C示出根据实施例的标记的一些替代形状。图9A示出了分成四等分的矩形/正方形标记。图9B示出了分成六个部分的三角形标记。在示出的三角形标记中，部分对准不彼此垂直并且因而可以用来增加系统的冗余。图9C示出了L型标记。示例性标记的右上方的空白反射区可以用来校准。例如，在低照度房间中，其他色彩可能对相机不显示它们的预定色彩。相机可以根据空白反射区确定光照等级并且随便将其自身校准以观察到从标记的粗糙和精细部分折射或反射出的其他色彩。

图10示出了填满一对眼镜的整个镜框的镜框型标记。眼镜10000包括水平粗糙部分10082、水平精细部分10080、竖直粗糙部分10086和竖直精细部分10084。由于镜框区域的最大部分被变色材料占据，因此色彩可以更好地被相机观察到。

虽然在示例性实施例中示出多个标记，但是对于一些实施例可能仅需要一个变色标记。一种标记的色彩可以向观察相机指示标记的朝向。例如，一个标记的宽度可以代替两个不同标记来确定角距离。也就是说，一个标记的两个宽幅可以视为“两个”标记以便判断到标记的距离。

在一些实施例中，标记的色彩仅随与另一标记对准的角度而变化。也就是说，当绕着标记转动时，色彩仅在旋转朝向或偏离另一个标记时变化。因为在观察平面上或观察平面外标记关于彼此的旋转是在确定距所观察的角距离的距离中不确定性的(参见图1)的直接原因，指示该旋转角的色彩信息通常是解决该不确定性全部所需要。

图11A示出了根据实施例的3-D眼镜。虽然当然可以使用3-D眼镜，但是这里的此描述仍然引用3-D眼镜。3-D眼镜100包括镜框102、右镜片104和左镜片106。右左镜片104/106可以与诸如3-D电视之类的3-D显示器同步地在透明和不透明状态之间开关。镜框102包括光导，这里是导光板(LGP)110，其由透明到半透明材料(或空心材料)构成，例如有机玻璃(PMMA)，其传输照射入LGP的、来自四个嵌入LED 108的光。

可以通过电路112控制LED 108，所述电路112转而连接到环境光传感器114。如果环境光传感器114感应到非常明亮的光，则电路112调亮LED 114从而LGP 110可以更好的被跟踪眼镜的相机辨识出。如果环境光传感器114感应到非常低的光照级别，则电路112减弱LED从而LGP 110的光不分散佩戴者的注意。

镜片可以与LED的工作周期同步。例如，当镜片104不透明时，可以打开眼镜右侧上的LED 108，而当镜片104透明时，可以关闭眼镜右侧上的LED 108。LED的开/闭工作周期不仅可以节省电池电量还可以降低对用户注意力的分散。

无线接收器116将3-D眼镜与3-D电视同步。接收器116也可以接收调高或调低眼镜中LED亮度的指示。以这种方式，诸如跟踪相机之类的离镜环境光传感器可以确定是否存在足够的环境光并通过无线连接将指示发送到发信号以增大或减小LED亮度的眼镜。在一些实施例中，离镜源可以确定特定光需要调亮，并且相应的光可以单独调亮。

可以制造LED 108为发射可以对许多电荷耦合器件(CCD)相机可见的近红外光。来自近红外LED的电磁辐射对人是不可见的并且较不可能分散佩戴者的注意。

LED 108可以在有限数量的亮度等级(例如，0到15)内调整亮度，或者在范围中具有无限数量的等级。在有限数量的亮度等级中(例如，16)，眼镜可以使用各种亮度等级通信回到相机和关联的电子器件。例如，眼镜可能具有低电量，而LED可以快速连续地通过在等级15(最高)、等级0(关闭)、等级8(中间)闪亮来指示。连接到相机的视频游戏控制台可以解译此码(code)并在屏幕上显示“低电量警告”。这可以避免具有眼镜镜载的低电量指示器。

图11B示出了图11A的A-A截面。LGP 110是一块整体半透明的材料，例如有机玻璃(PMMA)或者适于光导的其他塑料。可以使用除了矩形之外的其他横截面形状，例如，圆形、椭圆形、三角形、多角形等。

图11C示出了图11A的替代横截面A-A。在此情形中，半透明/透明材料152包围核心材料154，该核心材料可以是其他半透明/透明材料、泡沫、气体等。

图11D示出了图11A的替代横截面A-A。在此情形中，材料152可以是不透明的并且配置为一侧开口的C型通道。半透明/透明核心材料154驻留在该C型通道中。

图11E示出了图11A的替代横截面A-A。在此情形中，半透明/透明材料152具有可以进一步分散和反射射进镜框的光的脊158。所述脊可以是随后描述的棱镜。

图12和13示出了根据实施例的3-D眼镜。在图12中，嵌入镜框200的LED 208照亮LGP 210，该LGP部分被反光镜218覆盖。反光镜218固定在LGP 210的部分上的5毫米(mm)宽的带中。反光镜的表面将或者环境光或者来自照明光的光反射回相机，从而相机可以更好地跟踪眼镜。反光镜218底部上的反光背板帮助将从LGP 210泄出的光反射回LGP 210，从而导致LGP内更多的内部反射。更多的光停留在LGP中并进一步穿过镜框。取决于什么图案使得相机更易跟踪以及取决于LGP形状的灵活性，也可以使用其他各种变形的图案。在示例性实施例中，LGP在LED照明的方向上是相对直的，但是可以更加弯曲LGP并绕镜框传输光。

在图13中，嵌入镜框300的LED 308照亮LGP 310。LGP 310被反光镜318的小部分覆盖。反光镜的小部分具有金属箔背板以将光反射回LGP中。具有反光镜的更小部分的这种配置使得小反光镜更好地应用于用户更靠近相机的情形，并且摄像头因而可以从LGP上区分出反光镜。在其他情形中，第一玩家可以佩戴图12的眼镜，而第二玩家可以佩戴图13的眼镜。随后相机可以通过识别各用户眼镜上的反光镜的图案来区分第一和第二玩家。

在一些实施例中，可以打开或者关闭整个LGP的部分。例如，可以打开镜框的顶部水平条而关闭支撑镜片的U型部分。这些部分可以通过金属箔或者其他不透明材料而在光学上彼此隔离，从而各部分之间的泄漏最小。

图14A和14B示出根据实施例具有棱镜的3-D眼镜。

在图中，眼镜400具有在镜框402中的微型棱镜424。微型棱镜由白光422照亮，所述白光422可以是环境光或者与伴随摄像头420的光。摄像头420是静止的。

在图14A中，眼镜位于相机前方并且偏离相机0度。在这种配置中，来自白光源422的白光在预定波长426被折射和反射。在图14B中，眼镜仍然位于相机前方，但它们向摄像头偏移了θ度。由于微型棱镜在此角度不同地折射和反射，所以白光422以不同的预定波长428被折射和反射回摄像头。摄像头可以区分不同波长(即色彩)并且基于校准表或其他查询表，可以确定眼镜相对摄像头朝向的角度。

立体光栅印刷可以用于替代微型棱镜或与除微型棱镜之外也折射和反射光，从而在不同角度发射不同光。利用角同色异谱(angular metamerism)设计的塑料或其他材料也可以使用，从而不同角度产生不同色彩。使用微型棱镜、立体光栅印刷、角同色异谱或者其他具有类似特性的材料，从材料折射和反射的光的色彩可以用眼镜倾斜、偏离和旋转的预定角度校准。

图15示出了折射和反射光的单个微型棱镜。白光522从右上方进入棱镜524。一旦进入棱镜，白光就折射并分离成多种色彩，作为色散已知的现象。色彩分离的角度取决于制造棱镜的材料的波长依赖折射率(wavelength-dependent refractive index)。光束在反射部530被反射回来并穿过棱镜，直到其以自己的分量色彩532离开棱镜524。

例如红色在角度α1和橙色在角度α2的两种色彩之间的色散角是用作棱镜的材料的特性。该角度可以预定，根据折射率计算出来或者从棱镜以经验测量。例如，当棱镜成30-40度角时，红色将被折射并且从前方反射出来。因此，观察到红色的摄像头可以推断棱镜(以及棱镜所在的眼镜)处于正面30-40度角处。

角度之间的差，△α＝α1-α2，可以预定，从而可以确定变化率。例如，△α/△t≈ω(角速度)。例如，如果红色和橙色的角度之间的差是12度，则在1秒内先观察到红色然后观察到橙色的相机就可以确定棱镜(以及棱镜所在的眼镜)以12度/秒旋转。

图16示出了根据实施例的用于视频游戏控制台的头部跟踪。具有眼镜602的玩家头部634在时间t1处于一个位置和朝向，在时间t2处于另一个位置和朝向，在时间t3处于再一位置和朝向。在时间段t1到t3中期间头部634通过弯下并转向右侧而移动。玩家可以使用传统游戏控制器648进行视频游戏和/或仅使用他或她的身体移动来控制游戏。本实施例中设于显示器642顶部的相机620捕获用户的位置和移动，并将它们输入到游戏控制台644。跟踪算法可以集成到摄像头620中，或者可以是游戏控制台644中软件或硬件的一部分。在其他实施例中，跟踪逻辑也可以是独立的装置。

随着用户摆动头部并且享受游戏，相机620使用相机620跟踪玩家的头部，所述相机620跟踪发光的眼镜602。然而，在特定情况中，环境光可能对于相机620不够强以辨别出眼镜602。例如，玩家或其室友可能关上灯并拉上窗帘以使得游戏体验更具环绕性。一旦光照条件恶化，与游戏控制台644和相机620分离的光传感器646检测或者以其他方式测量到环境光不足并向游戏控制台644发送信号。游戏控制台644将测量的环境光与阈值进行比较。阈值在摄像头或控制台的工厂设置中预设，或者可以由用户调整。在其比较中，游戏控制台644确定环境光等级超过阈值。游戏控制台644然后向眼镜发送无线信号以调整嵌入眼镜的光。被跟踪的头部运动可以用作对游戏的输入以重现3-D图像等。

“超过阈值”包括远离阈值的值，无论小于或者大于阈值。例如，数值9没有超过阈值10，如果阈值建立了上限或最大值。然而，数值11在这种阈值上限情形中超过了阈值。相反地，数值11没有超过阈值10，如果10的阈值建立了下限或最小值。数值9在这种阈值下限情形中超过了阈值10。

图17图示适于实现根据各种实施例的装置的硬件系统的示例。此框图图示出计算机系统700，诸如个人计算机、视频游戏控制台及关联的显示器、移动装置、个人数字助理或者适于实现发明实施例的其他数字装置。计算机系统700包括运行软件应用的中心处理单元(CPU)705以及可选地包括操作系统。CPU 705可以由一个或多个同构或异构处理核组成。存储器710存储CPU 705使用的应用和数据。存储715提供非易失性存储并用于应用和数据的其他计算机可读媒介，并且存储715可以包括固定磁盘驱动器、可移除磁盘驱动器、闪存装置以及CD-ROM、DVD-ROM、蓝光、HD-DVD，或其他光学存储装置，以及信号传输和存储媒介。用户输入装置720将来自一个或多个用户的用户输入传输到计算机系统700，其示例包括键盘、鼠标、操纵杆、触摸板、触摸屏、静止或视频相机和/或麦克风。网络接口725允许计算机系统700经由电子通信网络与其他计算机系统通信，并且可以包括在局域网和在诸如因特网之类的广域网上的有线或无线通信。音频处理器730适配于根据CPU 705、存储器710和/或存储715提供的指令和/或数据生成模拟或数字音频输出。计算机系统700的组件，包括CPU 705、存储器710、数据存储715、用户输入装置720、网络接口725和音频处理器730经由一个或多个数据总线735连接。

图形子系统740进一步连接到数据总线735和计算机系统700的组件。图形子系统740包括图形处理单元(GPU)745和图形存储器750。图形存储器750包括用于存储输出图像的每个像素的像素数据的显示存储器(例如，帧缓存)。图形存储器750可以集成于与GPU745相同的装置、作为与GPU 745分离的装置连接，和/或在存储器710中实现。像素数据可以直接从CPU705向图形存储器750提供。替代地，CPU 705向GPU 745提供定义期望输出图像的数据和/或指令，GPU 745根据该数据和/或指令生成一个或多个输出图像的像素数据。定义期望输出图像的数据和/或指令可以存储在存储器710和/或图形存储器750中。在实施例中，GPU 745包括用于根据定义几何、光照、阴影、纹理、运动和/或场景的相机参数的指令和数据来生成用于输出图像的像素数据的3D重现能力。GPU 745可以进一步包括执行着色程序的一个或多个可编程执行单元。

图形子系统740周期性地输出用于来自图形存储器750的图像的像素数据以在显示装置755上显示。显示装置755可以是任何能够响应于来自计算机系统700的信号而显示视觉信息的装置，包括CRT、LCD、等离子和OLED显示器。计算机系统700向显示装置755提供模拟或数字信号。

根据各个实施例，CPU 705是具有一个或多个处理核心的一个或多个通用处理器。使用具有微处理器架构的一个或多个CPU可以实现进一步的实施例，该微处理器架构特别适配于诸如例如媒体和交互娱乐应用之类的、高度并行和大规模计算的应用。

系统的组件可以经由网络而连接，该网络在不同实施例中可以是以下的任意组合：因特网、IP网、内部网、广域网(“WAN”)、局域网(“LAN”)、虚拟个人网(“VPN”)、公共交换电话网络(“PSTN”)，或者在这里描述的装置之间支持数据传输的任何类型的网络。网络可以包括有线或无线连接，包括光学链路。许多其他例子是可能的并且在本发明的启示下对本领域技术人员是显而易见的。在这里的讨论中，网络可能或可能没有特别指出。

应当注意的是这里讨论的方法、系统和装置仅意图为示例。值得强调的是，如果恰当的话，则各种实施例可以省略、替代或添加各种步骤或组件。例如，应当注意，在替代实施例中，方法可以以不同于先前描述的顺序执行，并且可以添加、省略或组合各种步骤。同样，参考特定实施例描述的特征可以在各种其他实施例中被组合。实施例的不同方面和要素可以以类似方式组合。同样，应当强调的是，技术是发展的，并且因此许多要素是示例且不应解释限制发明的范围。

在描述中给出具体细节以提供对实施例的深入理解。然而，应当理解，对本领域技术人员来说实施例可以没有这些具体细节而实现。例如，对公知的电路、过程、算法、结构和技术未进行不必要的详细描述以避免混淆实施例。

同样，实施例可以描述为过程，其描述为流程图或框图。虽然每个图都将操作描述为顺序的过程，但是许多操作可以并行或同时进行。此外，操作的顺序也可以重新排列。过程也可以包括图中未包含的额外步骤。

此外，如这里描述的，术语“存储器”或“存储器单元”可以表示一个或多个存储数据的装置，包括只读存储器(ROM)、随机存取存储器(RAM)、磁性RAM、磁芯存储器、磁盘存储介质、光存储介质、闪存装置，或存储信息的其他计算机可读介质。术语“计算机可读介质”包括，但不限于，便携式或固定存储装置、光存储装置、无线信道、SIM卡、其他智能卡和能够存储、包含或承载指令或数据的各种其他介质。

此外，实施例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其组合来实现。当通过软件、固件、中间件、或微代码实现时，进行必要任务的程序代码或代码段存储在诸如存储介质之类的计算机可读介质中。处理器可以进行必要任务。

这里已经描述了数种实施例，本领域技术人员应当认识到可以使用各种变形、替代结构和等同而不背离本发明的精神。例如，上述要素可以仅是较大系统的一个组件，其中其他规则可能接管步骤或者以其他方式修改本发明的应用。同样，在考虑上述元素之前、时或之后着手于数个步骤。因此，上述描述不应当认为是限制发明的范围。

Claims

1.一种用于通过相机使能对象的跟踪的标记装置，包括

第一标记，所述标记具有在对应的第一预定角度折射或反射第一预定色彩并在对应的第二预定角度折射或反射第二预定色彩的第一部件；

第二标记；

在距彼此固定距离处支撑标记的部件；以及

将标记耦接到对象的部件，

借此，根据所述标记之间的角距离和观察到的所述标记的色彩可以确定到所述对象的距离。

2.如权利要求1所述的装置，其中，所述第一标记具有用于在不同角度折射或反射不同预定色彩的第二部件，所述第二部件具有比所述第一部件更精细的色彩分级范围。

3.如权利要求1所述的装置，其中，所述第一标记具有用于在不同角度折射或反射不同预定色彩的第二部件，所述第二部件的垂直地朝向所述第一部件。

4.如权利要求3所述的装置，其中，所述第一标记具有用于在不同角度折射或反射不同预定色彩的第三部件，所述第三部件具有比所述第一部件更精细的色彩分级范围。

5.如权利要求1所述的装置，进一步包括：

光，

其中所述光被配置为穿过所述第一标记照射。

6.如权利要求5所述的装置，其中所述光穿过双凸透镜的背板。

7.如权利要求1所述的装置，其中用于折射或反射的部件包括双凸透镜。

8.如权利要求1所述的装置，其中用于折射或反射的部件包括具有角同色异谱的材料。

9.如权利要求1所述的装置，其中第一和第二标记是相同标记的部分。

10.如权利要求1所述的装置，其中所述对象包括用户。

11.如权利要求10所述的装置，其中所述部件用于将所述标记耦接到包括镜框的所述对象。

12.如权利要求1所述的装置，其中第一和第二标记在相同角度折射或反射相同色彩。

13.一种用于通过相机跟踪对象的系统，包括

第二标记，所述第二标记在距所述第一标记的固定距离；

将所述标记耦接到对象的部件；

彩色摄像头；

电路，配置为使用所述摄像头解析所述标记之间的角距离并使用所述角距离和所述标记的表面色彩来确定到所述标记的距离。

14.如权利要求13所述的系统，其中用于将所述标记耦接到所述对象的部件包括镜框。

15.一种确定到对象的距离的方法，包括

从相机接收标记的彩色图像，所述标记通过对象支撑在距彼此的固定距离；

确定所述标记之间的角距离；

使用可操作地连接到存储器的处理器，使用至少一个所述标记的表面色彩确定所述标记的朝向；

使用所述角距离和确定的所述标记的朝向来确定从所述相机到所述标记的距离。

16.如权利要求15所述的方法，进一步包括：

观察所述标记的一个的粗糙部分的表面色彩；

观察所述标记的一个的精细部分的表面色彩；

基于各个标记的粗糙和精细部分确定所述标记的朝向。

17.如权利要求15所述的方法，其中以示出的顺序进行操作。

18.如权利要求15所述的方法，其中每个操作通过可操作地连接到所述存储器的处理器进行。

19.一种计算机可读介质，包含用于使得一个或多个机器进行权利要求15的操作的指令。

20.一种运行计算机程序中的指令的计算机系统，所述计算机指令包括用于进行权利要求15的操作的程序代码。