CN105264548A - 用于生成增强现实体验的难以察觉的标签 - Google Patents

Abstract

用于生成虚拟对象的系统和方法，该虚拟对象的数据至少部分地从标签(608)中检索。该标签包括透明物理表面以及构造在该透明物理表面中的视觉上不可察觉的结构。该标签将虚拟对象的数据编码在该视觉上不可察觉的结构中。当被适当配置的捕捉设备(614)检测到时，该视觉上不可察觉的结构产生在该标签的各区域(610，610a)之间的相移(616)中反射的深度图案。

Description

用于生成增强现实体验的难以察觉的标签

背景

增强现实是一种允许将虚拟图像与用户对真实世界的实际视野混合的技术。透视、近眼增强现实显示器可被用户佩戴来查看虚拟和真实对象的混合图像。显示器在用户的视野中呈现虚拟图像。透视、近眼增强现实显示器是一种类型的头戴式显示器(HMD)。

替换地，增强现实系统可包括固定系统，其包括捕捉关于用户和用户周围环境的信息(诸如视觉信息)的能力。增强现实系统接着可将这个信息表示回到用户，例如通过在显示设备上显示用户和周围环境的所捕捉的视觉数据。增强现实系统可用其他信息来覆盖所显示的信息，该其他信息由系统内部地生成或由系统从另一源外部地检索。

附图简述

图1显示了其中所公开的技术可被使用的示例场景。

图2是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。

图3A-3C描绘了被配置成执行所公开的技术的示例性头戴式显示器(HMD)的实施例。

图4A-B是显示示例性HMD的各组件以及这些组件的功能连接的框图。

图5描绘了被配置成执行所公开的技术的计算设备的一个实施例。

图6描绘了被配置成执行所公开的技术的移动设备的一个实施例的框图。

图7是显示标签如何对入射光进行响应的图。

图8显示标签上的经图案化的材料的一个示例。

图9显示标签的深度图的一个示例。

图10A-F显示所公开的技术的在使用中的示例。

图11是描绘了藉此系统检测标签并对其进行响应的过程的一个实施例的流程图。

图12A-B是描绘了藉此系统确定虚拟对象和/或信息的查看位置的过程的实施例的流程图。

详细描述

增强现实系统被配备有向用户表示虚拟对象旁边的真实世界的能力。在一些情况下，系统可基于系统从环境中接收到的信息(诸如可包括传感器、相机、话筒等的增强现实系统的信息捕捉装置的视野内的真实世界对象或图案)来决定什么虚拟对象要表示以及如何表示该虚拟对象。以下描述了一种技术，其中增强现实系统能够检测其视野中某种光学上难以察觉的对象(此后称为“标签”)并基于从该标签获得的信息来显示可视信息。

一般而言，被增强现实系统读取的标签会是光学上难以察觉的。为此，标签可具有诸如小的大小(即，类似邮票的大小)之类的属性和/或相对于可见光谱的透明度。在一个实施例中，增强现实系统可采用深度相机之类的技术来读取标签上的信息数据。标签可采取能被红外光扫描的贴纸形式，并且该贴纸进而可被放置在增强现实系统的用户能够使用增强现实系统来找到的各个位置中。标签可具有材料的图案，使得每个材料在反射入射红外(或另一不可见波长)光之际将特定的相移引入该红外光。替换地，标签的图案可由分隔到定义标签上的图案的各区域中的单个层构成。该单个层可由可被组装到反射结构中的各材料(诸如二氧化锆、钛以及金)构成。被各个区域引入到被反射的IR光的相移可取决于该区域的大小。通过将标签暴露给光源并感测被反射的光，增强现实系统可将由标签上的图案导致的变化的相变化检测为深度图案。该深度图案可以是两个或三个维度，使得维度之一是深度。标签上(由增强现实系统感测为被反射的深度测量中的相改变定义的图案)的图案可对能被增强现实系统读取并解释的数据进行编码。被标签编码的数据可以是针对增强现实系统的指令，以从能经由因特网或其他种类的网络连接访问的外部数据库中检索进一步的指令。

一旦数据已经从标签中以及从标签引用的任何附加源(诸如数据库或服务器)中收集，系统就会显示对应于该数据的一个或多个虚拟对象。这些虚拟对象将相对于物理环境的特征或对象来被显示。在一个实施例中，虚拟对象经由头戴式显示器(HMD)被叠加在物理环境的视图上，该头戴式显示器(HMD)在图2-4中被进一步描述。替换地，虚拟对象可被显示在也显示物理环境的图像和其对象和特征的显示器上。在一些设置中，诸如在视频游戏中，物理环境的图像可被轻度或重度修改(参考图10E)以匹配设置的上下文。

在增强现实应用中，标签可扮演各种角色，其中的一些将在以下被详细讨论。在这些示例中，假定标签和周围区域正通过适当的增强现实装备被查看或已经通过适当的增强现实装备被查看。例如，当被放置在相框上或在相框附近时，标签可确保相框用作电视屏幕。在空白的记事本表面上，标签可创建一屏幕，用户能与之进行交互，就好像用户和平板计算机交互那样。在名片上，标签可提供关于姓名在该名片中的人或公司的附加文本或可视信息，使得该信息被重叠在名片的图像附近的区域上或在该区域中。在建筑物内部或外部的墙壁上，标签可产生具有伴随声音的动画化广告，该伴随声音可通过耳机被增强现实系统用户听到。附加地，如果增强现实系统对附加的信息(诸如用户的社交网络简档)具有访问权，则被用户查看的广告的内容可针对个别用户来定制。

现在将参考本文档包括的附图来描述各实施例。

图1描绘了其中所公开的技术可被使用的通用场景。图1揭示了可被用户19和29根据本技术使用的各种类型的硬件。在一个情况下，该技术可包括游戏系统和相机以及显示器16。在另一实施例中，它可包括用户佩戴的HMD设备。应当理解，这些可单独使用或可与其他类型的混合现实设备结合使用。在起居室内，用户29和19通过使用游戏控制台12和电视机16来玩视频游戏。

在该示例中，用户19和29如娱乐系统10(在这个情况下，包括电视机16、游戏控制台12以及相机20A和20B)以及椅子14a和14b所指示的那样处于起居室内。每个用户佩戴着透视、增强现实显示设备系统，其在这个示例中包括作为一副眼镜的头戴式显示设备2以及腕上的处理单元4。显示器24显示用户19和29中的每一个当前正透过他的头戴式显示设备2看到什么中的一些，但是正在起居室内行走的不具有HMD的人可能没有看到关于这些显示视图的至少一些信息。用户29和19透过他们的显示设备看到与他们正在玩的游戏中的事件相对应的图像。在其中控制台执行游戏的全部或游戏的正在显示器24上渲染该游戏的视觉中的一些或全部的部分的一个实施例中，显示在显示器24上的内容可依赖于在游戏控制台12上运行的软件和被相机20A和20B捕捉的信息中的一个或两者，相机20A和20B可捕捉用户19和29的运动、姿势或面部表情以及相机20A和20B的视野内的其他特征。将在以下提供更多细节。

还呈现在起居室和游戏场景中的是相框28，它的一部分被标签18覆盖。如将在以下更加详细解释的，标签18在向用户19和29的游戏体验提供增强现实方面中扮演了重要的角色。对标签的形状、尺寸和位置的选择以及将相框选择作为该标签与其相关联的示例性对象，完全是出于说明的目的。

图2是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联网计算环境100包括通过一个或多个网络180互连的多个计算设备。所述一个或多个网络180允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动设备11、移动设备12、头戴式显示设备(它的一个实施例可合并图1的处理单元4)和服务器15。在一些实施例中，所述多个计算设备可以包括未示出的其他计算设备。在一些实施例中，所述多个计算设备可以包括比图2所示的计算设备的数目更多或更少的计算设备。所述一个或多个网络180可以包括诸如企业专用网络之类的安全网络、诸如无线开放式网络之类的不安全网络、局域网(LAN)、广域网(WAN)、以及因特网。所述一个或多个网络180中的每个网络可以包括集线器、网桥、路由器、交换机、以及有线传输介质，比如有线网络或直接线连接。

可包括补充信息服务器或应用服务器的服务器15可允许客户机从该服务器下载信息(例如，文本、音频、图像和视频文件)或者执行与存储在该服务器上的特定信息相关的搜索查询。一般而言，“服务器”可以包括在客户端-服务器关系中充当主机的硬件设备、或者与一个或多个客户机共享资源或为所述一个或多个客户机执行工作的软件过程。客户端-服务器关系下的计算设备之间的通信可以通过由客户端向服务器发送要求访问特定资源或执行特定工作的请求来发起。服务器随后可以执行所请求的动作并且将响应发送回客户端。

服务器15的一个实施例包括网络接口155、处理器156、存储器157和翻译器158，所有这些都彼此通信。网络接口155允许服务器15连接到一个或多个网络180。网络接口155可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器156允许服务器15执行存储在存储器157中的计算机可读指令以执行在此讨论的过程。翻译器158可包括用于将第一文件格式的第一文件翻译成第二文件格式的对应第二文件的映射逻辑(即，第二文件可以是经翻译的版本的第一文件)。可使用文件映射指令来配置翻译器158，该文件映射指令提供用于将第一文件格式的文件(或其部分)映射成第二文件格式的对应文件的指令。

头戴式显示设备2的一个实施例包括网络接口145、处理器146、存储器147、相机148、传感器149、以及显示器150，所有这些都彼此通信。网络接口145允许头戴式显示设备2连接到一个或多个网络180。网络接口145可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器146允许头戴式显示设备2执行存储在存储器147中的计算机可读指令以执行在此讨论的过程。相机148可以捕捉色彩图像和/或深度图像。传感器149可生成与头戴式显示设备2相关联的运动和/或定向信息。在一些情况下，传感器149可包括惯性测量单元(IMU)。显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。

在一些实施例中，包括网络接口145、处理器146、存储器147、相机148以及传感器149的头戴式显示设备2的各组件可被集成在单芯片基片上。在一示例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成成为片上系统(SOC)。在另一实施例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成在单个封装中。

在一些实施例中，通过采用相机148、传感器149，和运行在处理器146上的姿势识别软件，头戴式显示设备2可提供自然用户界面(NUI)。使用自然用户界面，人的身体部位和移动可被检测、解释、以及用于控制计算应用的各方面。在一个示例中，利用自然用户界面的计算设备可推断与计算设备交互的人的意图(例如，最终用户执行了特定姿势来控制该计算设备)。

联网计算环境100可以为一个或多个计算设备提供云计算环境。云计算指的是基于因特网的计算，其中共享的资源、软件和/或信息通过因特网(或其他全局网络)被按需提供给一个或多个计算设备。基于在计算机网络图中使用的云图来将因特网描绘成对其所表示的底层基础设施的抽象，术语“云”被用作对因特网的比喻。

在一个示例中，头戴式显示设备2包括向头戴式显示设备(HMD)的最终用户提供增强现实环境或混合现实环境的HMD。HMD可包括视频透视和/或光学透视系统。最终用户佩戴的光学透视HMD可允许(例如经由透明透镜)对真实世界环境的实际直接查看，并且同时可将虚拟对象的图像投影到最终用户的视野中，由此用虚拟对象来增强最终用户所感知的真实世界环境。

通过利用HMD，佩戴HMD的最终用户可在真实世界环境(例如，起居室)中四处移动，并感知覆盖有虚拟对象的图像的真实世界的视图。虚拟对象可以看起来保持与真实世界环境的相干空间关系(即，当最终用户在真实世界环境中转动他们的头或移动时，显示给该最终用户的图像将改变，使得虚拟对象看起来像被最终用户感知的那样存在于该真实世界环境内)。虚拟对象还可看起来相对于最终用户的视角是固定的(例如，无论最终用户如何在真实世界环境中转动他们的头或移动，总是出现在最终用户视角的右上角的虚拟菜单)。在一个实施例中，真实世界环境的环境映射可由服务器15(即，在服务器侧)来执行，而相机本地化可在头戴式显示设备2上(即，在客户机侧)执行。虚拟对象可包括与真实世界对象相关联的文本描述。

在一些实施例中，移动设备(诸如头戴式显示设备2)可与云中的服务器(诸如服务器15)通信，并可提供与移动设备相关联的服务器位置信息(例如，经由GPS坐标的移动设备的位置)和/或图像信息(例如，与在移动设备的视野内检测到的对象有关的信息)。作为响应，服务器可基于提供给该服务器的位置信息和/或图像信息向移动设备传送一个或多个虚拟对象。在一个实施例中，头戴式显示设备2可指定用于接收一个或多个虚拟对象的特定文件格式，并且服务器15可向头戴式显示设备2传送特定文件格式的文件内体现的一个或多个虚拟对象。

图3A描绘了与处理单元4通信的HDM设备2的一个实施例。HMD设备2可包括具有被配置成执行所公开的技术的附加电子装置的透视眼镜。如所描绘的，HMD设备2经由有线连接6与处理单元4进行通信。然而，HMD设备2还可经由无线连接与处理单元4进行通信。处理单元4可由HMD设备2用来卸载计算密集的处理任务(例如，渲染虚拟对象)，并将可被用来提供增强现实环境的虚拟对象信息和其他数据存储在HMD设备2上。

图3B显示一HMD系统111的一个实施例的进一步的细节。HMD系统111包括经由线6与处理单元4进行通信的HMD设备2在其他实施例中，HMD设备2经由无线通信与处理单元4进行通信。注意，处理单元4可被集成到HMD设备2中。在一个实施例中，处理单元4采用腕戴式计算机的形式，如图2中显示的。头戴式显示设备2(在一个实施例中是眼镜形的，包括具有透视透镜的镜架)被佩戴在一人的头上以使该人能透视显示器并由此看见包括不是由HMD设备生成的图像的现实世界场景。下面提供HMD设备2的更多细节。

在一个实施例中，处理单元4被佩戴在用户的腕上，并且包括许多用于操作HMD设备2的计算能力。处理单元4可以与一个或多个中枢计算系统12无线地(例如使用、蓝牙、红外(例如IrDA，即红外数据协会标准)、或其他无线通信手段)通信。

在一个实施例中，中枢计算系统12可以包括诸如标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理器可读存储设备上的指令以用于执行在此所述的过程。中枢计算系统可包括图1的游戏控制台12或参与图2的网络180中的系统中的一个或多个。

处理单元4和/或中枢计算设备12可被用于识别、分析和/或跟踪人类(以及其他类型的)目标。例如，佩戴HMD设备2的人的头部的位置可被跟踪来帮助确定如何在HMD2中呈现虚拟图像。

图3C描绘了HMD(诸如图1中的头戴式显示设备2)的一部分的一个实施例。仅示出了HMD2的右侧。HMD2包括右镜腿202、鼻梁204、镜片216、以及眼镜框214。右镜腿202包括与处理单元236通信的捕捉设备213(例如，前置相机和/或话筒)。捕捉设备213可包括用于记录数字图像和/或视频的一个或多个相机，并可将视觉记录传送到处理单元236。一个或多个相机可捕捉色彩信息、IR信息、和/或深度信息。捕捉设备213还可包括用于记录声音的一个或多个话筒，并可将音频记录传送到处理单元236。

右镜腿202还包括生物测定传感器220、眼睛跟踪系统221、耳机230、运动和定向传感器238、GPS接收器232、电源239、以及无线接口237，所有这些都与处理单元236通信。生物测定传感器220可包括用于确定与HMD2的最终用户的脉搏或心率相关联的一个或多个电极，以及用于确定与HMD2的最终用户相关联的体温的温度传感器。在一个实施例中，生物测定传感器220包括压着最终用户太阳穴的脉搏速率测量传感器。运动和定向传感器238可以包括三轴磁力计、三轴陀螺仪、和/或三轴加速度计。在一个实施例中，运动和定向传感器238可包括惯性测量单元(IMU)。GPS接收器可确定与HMD200相关联的GPS位置。处理单元236可以包括一个或多个处理器和用于存储将要在所述一个或多个处理器上执行的计算机可读指令。存储器还可存储要在一个或多个处理器上执行的其它类型的数据。

在一个实施例中，眼睛跟踪系统221可包括面向内的相机。在另一实施例中，眼睛跟踪系统221可包括眼睛跟踪照明源和相关联的眼睛跟踪IR传感器。在一个实施例中，眼睛跟踪照明源可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪传感器可包括用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。关于眼睛跟踪系统的更多信息可在2008年7月22日授权的标题为“HeadMountedEyeTrackingandDisplaySystem(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920，以及2011年9月26日提交的标题为“IntegratedEyeTrackingandDisplaySystem(集成眼睛跟踪和显示系统)”的美国专利申请13/245,700中找到，这两份申请均藉由援引纳入于此。

在一个实施例中，镜片216可包括透视显示器，处理单元236生成的图像由此可被投影和/或显示在透视显示器上。捕捉设备213可被校准，使得捕捉设备213所捕捉的视野对应于HMD200的最终用户所看到的视野。耳机230可用于输出与虚拟对象的投影图像相关联的声音。在一些实施例中，HMD2可包括两个或更多个前置相机(例如，每个镜腿上一个相机)，以便从与前置相机所捕捉的视野相关联的立体信息中获得深度。两个或更多个前置相机还可包括3D、IR、和/或RGB相机。也可从利用来自运动技术的深度的单个相机中获取深度信息。例如，可从单个相机获取两个图像，这两个图像与在不同的时间点的、两个不同的空间点相关联。然后，给定与两个不同空间点有关的位置信息的情况下，可执行视差计算。

在一些实施例中，HMD2可使用凝视检测元件和与一个或多个人类眼睛元素(诸如角膜中心、眼球旋转的中心、或瞳孔中心)有关的三维坐标系，来为最终用户眼睛中的每只眼睛执行凝视检测。凝视检测可被用来标识最终用户正在关注视野内的何处。凝视检测元件的示例可包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的传感器。在一些情况中，角膜中心可以基于两次闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心，这可被当作用于确定处于某种凝视或观看角度的最终用户的眼睛的光轴的固定位置。

图4A是描绘HMD设备2的一个实施例的各组件的框图。图4B是描述处理单元4的一个实施例的各组件的框图。注意，在一些实施例中，HMD设备2和处理单元4的各组件可被组合在单个电子设备中。附加地，图4A的HMD设备组件包括跟踪各个条件的多个传感器。头戴式显示设备可从处理单元4接收图像并将传感器信息提供回到处理单元4。其组件在图4A中被描绘的处理单元4可从HMD设备2、并且还从中枢计算设备12接收传感信息。

注意，图4A的组件中的一些(例如朝向房间的相机101、眼睛跟踪相机134B、微显示器120、不透光滤光器114、眼睛跟踪照明134A、耳机130和温度传感器138)是以阴影示出的，以指示这些设备中的每个都存在两个，其中一个用于HMD设备的左侧，并且一个用于HMD设备的右侧。关于朝向房间的相机101，在一种方法中一个相机用于使用可见光获得图像。在另一方法中，彼此间具有已知间隔的两个或更多相机被用作深度相机，以便还用来获得房间内的物体的深度数据，该深度数据指示从相机/HMD设备到该物体的距离。HMD设备的相机可基本上复制计算机中枢12提供的深度相机的功能。

图4A示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器244(例如DRAM)通信的存储器控制器212、相机接口216、相机缓冲器218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路200的所有组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。相机接口216提供到两个朝向房间的相机112的接口，并且将从朝向房间的相机所接收到的图像存储在相机缓冲器218中。显示驱动器220驱动微显示器120。显示格式化器222向控制不透光滤光器114的不透光度控制电路224提供关于微显示器120上所显示的图像的信息。定时生成器226被用于向该系统提供定时数据。显示输出接口228是用于将图像从朝向房间的相机112提供给处理单元4的缓冲器。230中的显示是用于接收要被显示在微显示器120上的图像的缓冲器。显示输出228和显示输入230与作为到处理单元4的接口的带接口232进行通信。

电力管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放大器238、话筒前置放大器音频ADC240、温度传感器接口242、以及时钟生成器245。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给HMD设备2的其他组件。眼睛跟踪照明驱动器236都如上面所述的那样为眼睛跟踪照明134A提供红外(IR)光源。音频DAC和放大器238接收来自耳机130的音频信息。话筒前置放大器和音频ADC240提供用于话筒110的接口。温度传感器接口242是用于温度传感器138的接口。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。

图4B是描述处理单元4的各组件的框图。控制电路304与电源管理电路306通信。控制电路304包括：中央处理单元(CPU)320；图形处理单元(GPU)322；高速缓存324；RAM326；与存储器330(例如D-RAM)进行通信的存储器控制器328；与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332；经由带接口302和带接口232与HMD设备2进行通信的显示输出缓冲器336；经由带接口302和带接口232与HMD设备2进行通信的显示输入缓冲器338；与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340；用于连接到无线通信设备346的PCIexpress接口344；以及USB端口348。

在一个实施例中，无线通信组件346可包括启用的通信设备、蓝牙通信设备、红外通信设备等.无线通信组件346是无线通信接口，在一种实现中该无线通信接口接收与视频显示屏所显示的内容同步的数据。

USB端口可以用于将处理单元4对接到中枢计算设备12，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU320和GPU322是用于确定在何处、何时以及如何在HMD中渲染虚拟图像的主负荷设备。

电源管理电路306包括时钟生成器360、模数转换器362、电池充电器364、稳压器366、HMD电源376、以及与温度传感器374进行通信的温度传感器接口372(其位于处理单元4的腕带(wristband)上)。模数转换器362连接到充电插座370以用于接收AC供电并为该系统产生DC供电。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电能时对电池368进行充电(通过电压调节器366)。HMD电源376向HMD设备2提供电力。

图5描绘了包括捕捉设备20和计算环境12的计算系统10的一个实施例。在一些实施例中，捕捉设备20和计算环境12可以集成在单个移动计算设备中。该单个集成移动计算设备可包括移动设备，诸如图2中的头戴式显示设备2。在一个示例中，捕捉设备20和计算环境12可被集成在HMD中。在其它实施例中，捕捉设备20可与第一移动设备(诸如图3A中的头戴式显示设备2)集成，而计算环境12可与和第一移动设备通信的第二设备(诸如图3A中的处理单元4)集成。在另一实施例中，捕捉设备不需要与头戴式显示设备2集成。

在一个实施例中，捕捉设备20可以包括用于捕捉图像和视频的一个或多个图像传感器。图像传感器可以包括CCD图像传感器或CMOS图像传感器。在一些实施例中，捕捉设备20可包括IRCMOS图像传感器。捕捉设备20还可以包括深度传感器(或深度感测相机)，该相机被配置成经由包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉带有包括深度图像的深度信息的视频，该深度图像可包括深度值。

捕捉设备20可包括图像相机组件32。在一个实施例中，图像相机组件32可以包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每个像素都可以表示深度值，诸如所捕捉的场景中的对象与图像相机组件32相距的距离，例如以厘米、毫米等为单位。

图像相机组件32可包括可用来对捕捉区域的深度图像进行捕捉的IR光组件34、三维(3D)相机36、以及RGB相机38。例如，在飞行时间分析中，捕捉设备20的IR光组件34可以将红外光发射到捕捉区域上，然后可以使用传感器，用例如3D相机36和/或RGB相机38来检测从捕捉区域中的一个或多个对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光，从而出射光脉冲和相应的入射光脉冲之间的时间可以被测量并被用于确定从捕捉设备20到捕捉区域中的一个或多个对象上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到与一个或多个对象相关联的特定位置的物理距离。

在另一示例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件34被投射到捕捉区域上。在撞击到捕捉区域中的一个或多个对象(或目标)的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机36和/或RGB相机38来捕捉并被分析以确定从捕捉设备到一个或多个对象上的特定位置的物理距离。捕捉设备20可包括用于产生准直光的光学器件。在一些实施例中，可使用激光投影仪来创建结构化光图案。光投影仪可包括激光器、激光二极管和/或LED。

在某些实施例中，可将两个或更多个不同的相机整合到一个集成捕捉设备中。例如，深度相机和视频相机(例如RGB视频相机)可以被整合到共同的捕捉设备中。在一些实施例中，可协同使用相同或不同类型的两个或更多个分开的捕捉设备。例如，可以使用深度相机和分开的摄像机，可以使用两个摄像机，可以使用两个深度相机，可以使用两个RGB相机，或者可以使用任何组合和数目的相机。在一个实施例中，捕捉设备20可包括可以从不同的角度观察捕捉区域的两个或更多个在物理上分开的相机，以获取可以被解析以生成深度信息的视觉立体数据。深度还可通过使用多个检测器(可以是单色、红外、RGB或任何其它类型的检测器)捕捉图像并执行视差计算来确定。也可使用其它类型的深度图像传感器来创建深度图像。

如图5所描绘的，捕捉设备20可以包括一个或多个话筒40。该一个或多个话筒40中的每一个都可以包括可以接收声音并将其转换成电信号的换能器或传感器。该一个或多个话筒可包括话筒阵列，其中一个或多个话筒可以按预定布局排列。

捕捉设备20可以包括可以与图像相机组件32可操作地通信的处理器42。处理器42可包括标准处理器、专用处理器、微处理器等。处理器42可以执行指令，指令可以包括用于存储过滤器或简档、接收和分析图像、确定是否已经发生特定情况的指令或任何其它合适的指令。应当理解，至少一些图像分析和/或目标分析和跟踪操作可以由一个或多个诸如捕捉设备20的捕捉设备内所包含的处理器来执行。

捕捉设备20可包括存储器44，该存储器可存储可由处理器42执行的指令、由3D相机或RGB相机捕捉的图像或图像帧、过滤器或简档、或任何其它合适的信息、图像等等。在一个示例中，存储器44可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其它合适的存储组件。如所描绘的，存储器44可以是与图像捕捉组件32和处理器42进行通信的分开的组件。在另一实施例中，存储器44可被集成到处理器42和/或图像捕捉组件32中。在其他实施例中，捕捉设备20的组件32、34、36、38、40、42和44中的部分或全部可被容纳在单个外壳中。

捕捉设备20可以经由通信链路46与计算环境12进行通信。通信链路46可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。计算环境12可以向捕捉设备20提供时钟，可以使用该时钟来通过通信链路46确定何时捕捉例如场景。在一个实施例中，捕捉设备20可将由例如3D相机36和/或RGB相机38捕捉的图像经由通信链路46提供给计算环境12。

如图5中所描绘的，计算环境12包括与应用196通信的图像和音频处理引擎194。应用196可包括操作系统应用或诸如游戏应用的其他计算应用。图像和音频处理引擎194包括虚拟数据引擎197、对象和姿势识别引擎190、结构数据198、处理单元191和存储器单元192，所有都彼此通信。图像和音频处理引擎194处理从捕捉设备20接收的视频、图像和音频数据。为了辅助对象的检测和/或跟踪，图像和音频处理引擎194可以利用结构数据198以及对象和姿势识别引擎190。虚拟数据引擎197处理虚拟对象，并记录与在存储器单元192中存储的真实世界环境的各种映射有关的虚拟对象的位置和定向。

处理单元191可以包括用于执行对象、面部和语音识别算法的一个或多个处理器。在一个实施例中，图像和音频处理引擎194可以将对象识别和面部识别技术应用于图像或视频数据。例如，对象识别可以用于检测特定对象(例如足球、汽车、人或陆标)，并且面部识别可以用于检测特定人的面部。图像和音频处理引擎194可以将音频和语音识别技术应用于音频数据。例如，音频识别可以用于检测特定声音。要检测的特定面部、语音、声音和对象可以存储在存储器单元192中所包含的一个或多个存储器中。处理单元191可执行存储在存储器单元192中的计算机可读指令以执行此处讨论的过程。

图像和音频处理引擎194可以在执行对象识别时利用结构数据198。结构数据198可以包括关于要跟踪的目标和/或对象的结构信息。例如，可以存储人类的骨架模型以帮助识别身体部位。在另一示例中，结构数据198可以包括关于一个或多个无生命对象的结构信息以便帮助识别所述一个或多个无生命对象。

图像和音频处理引擎194还可以在执行姿势识别时利用对象和姿势识别引擎190。在一个示例中，对象和姿势识别引擎190可以包括姿势过滤器的集合，每个姿势过滤器都包括关于骨架模型可执行的姿势的信息。对象和姿势识别引擎190可将由捕捉设备20所捕捉的数据(其形式为骨架模型以及与其相关联的移动)与姿势库中的姿势过滤器进行比较来标识用户(其由骨架模型来表示)何时执行了一个或多个姿势。在一个示例中，图像和音频处理引擎194可以使用对象和姿势识别引擎190来帮助解释骨架模型的移动以及检测特定姿势的执行。

在一些实施例中，可以用诸如IR回射标记之类的一个或多个标记来扩充所跟踪的一个或多个对象，以便改进对象检测和/或跟踪。也可以使用平面基准图像、已编码AR标记、QR码和/或条形码来改进对象检测和/或跟踪。一旦检测到一个或多个对象和/或姿势，图像和音频处理引擎194可以向应用196报告所检测的每个对象或姿势的标识以及相应的位置和/或定向(如果适用)。

关于检测和跟踪对象的更多信息可在2009年12月18日提交的题为“MotionDetectionUsingDepthImages(使用深度图像的运动检测)”的美国专利申请12/641,788，以及题为“DeviceforIdentifyingandTrackingMultipleHumansoverTime(用于随时间标识和跟踪多个人类的设备)”美国专利申请12/475,308中找到，这两个申请的全部内容通过引用结合于此。关于物体和姿势识别引擎190的更多信息可在2009年4月13日提交的美国专利申请12/422,661、“GestureRecognitionSystemArchitecture(姿势识别系统架构)”中找到，该申请的全部内容通过引用纳入于此。关于识别姿势的更多信息可在于2009年2月23日提交的题为“StandardGestures(标准姿势)”的美国专利申请12/391,150以及于2009年5月29日提交的题为“GestureTool(姿势工具)”的美国专利申请12/474,655中找到，这两个申请的全部内容都通过引用并入本申请。

图6描绘了被配置成执行所公开的技术的处理单元4的一个实施例的框图。尽管在图3B中，处理单元4被描绘为腕戴式设备，但是处理单元4的各实施例可包括袖珍计算机、移动电话、个人数字助理以及已经与无线接收机/发射机技术集成的手持式媒体设备。

处理单元4包括一个或多个处理器8312和存储器8310。存储器8310包括应用8330和非易失性存储8340。存储器8310可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。移动设备操作系统处理处理单元4的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用8330可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、闹钟应用、以及其它应用。存储器8310中的非易失性存储组件8340可以包含诸如音乐、照片、联系人数据、日程安排数据、以及其它文件之类的数据。

一个或多个处理器8312与透视显示器8309进行通信。透视显示器8309可显示与真实世界环境相关联的一个或多个虚拟对象。所述一个或多个处理器8312还与下列各项通信：RF发射机/接收机8306，其又耦合到天线8302；红外发射机/接收机8308；全球定位服务(GPS)接收器8365；以及移动/定向传感器8314，其可以包括加速度计和/或磁力计。RF发射机/接收机8308可以通过诸如或IEEE802.11标准之类的各种无线技术标准来实现无线通信。加速度计可能已经结合在移动设备中以实现诸如下列应用：智能用户界面应用，其让用户通过姿势输入命令；以及定向应用，其可以在移动设备被旋转时将显示自动地从竖向改变成横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件(微米尺寸)。可以感测加速度方向、以及定向、振动和震动。所述一个或多个处理器8312还与响铃器/振动器8316、用户界面小键盘/屏幕8318、扬声器8320、话筒8322、相机8324、光传感器8326和温度传感器8328进行通信。作为示例，相机8324或光传感器8326可被配置成检测物理环境中的标签。由此，在一些实施例中，处理单元4可被配置成执行所公开的技术，而无需头戴式显示设备2。用户界面小键盘/屏幕可以包括触敏屏幕显示器。

所述一个或多个处理器8312控制无线信号的发射和接收。在发射模式期间，所述一个或多个处理器8312向RF发射机/接收机8306提供来自话筒8322的语音信号，或其它数据信号。发射机/接收机8306通过天线8302来发射信号。响铃器/振动器8316被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其它通知等信号。在接收模式期间，RF发射机/接收机8306通过天线8302接收来自远程站的语音信号或数据信号。所接收到的语音信号被提供给扬声器8320，而接收到的其它数据信号被适当地处理。

另外，可以使用物理连接器8388来将处理单元4连接到诸如AC适配器或加电对接底座之类的外部电源，以便对电池8304进行再充电。物理连接器8388还可被用作到外部计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。

图7是描绘了标签的一个实施例的物理行为的图。图中的各个元素和距离仅仅是出于说明的目的来呈现，而非按比例绘制。元素602是信号的源。在一个实施例中，源602是如在图5中示出的IR光组件34，并且信号是光线606，其包括电磁频谱的红外区域的光。图604描绘了在光波离开源602时该光波的相位。光线606在标签608的区域610上入射。在一个实施例中，标签608中的区域610位于其上的表面面向源602。在另一实施例中，这个表面具有对源602的一角度。尽管标签608可由诸如塑料等材料来构成，但是区域610可由能被放置在标签608的材料上并能在反射之际将特定的相移引到入射红外光的一种或多种类型的材料构成。标签608上的区域(诸如区域610和610a)一般包括一起对存储在标签上的数据进行编码的类似区域的模式的各个单元。在一个实施例中，系统将被区域(诸如610)引入的特定相移解释为符号。在另一实施例中，系统将区域(诸如610)引入的特定相移解释为数字信息的一个或多个位的二进制代码值。

光线612是红外光光线606的反射。图616与图604的比较指示了被标签608的区域610引入的相移(相对于在源602处的光线606的相移)。该相移可以是任何量并且可针对标签608上除了区域610之外的区域来变化。仅作为示例，如果光的光线在标签608上的区域610a上入射，则标签608上的区域610a可对被反射的光线引入相对于被区域610对光线612引入的相移而言60度的相移。光线612被传感器614接收，该传感器614可以物理地连接到或可以不物理地连接到源602。假设接收到的光线612通过传感器614，如以上讨论的，则系统能够使用光线606和612之间的相位差来确定对应于区域610的深度。在一个实施例中，系统还(通过使用光速、信号的传输和接收之间的延迟以及标签608和源602之间的距离)计算标签608和元素602/614之间的距离。系统接着可使用该信息来在标签608是其一部分的环境的3D图内标识该标签608上的深度图案(由各区域，诸如610和610a，构成)。关于深度图案的性质的更多细节在以下提供。在一个实施例中，系统针对光线606和612之间幅度方面的衰减来调整其深度测量，该衰减是由于潜在的丢失机制(诸如区域610中的吸收或空气中的散射)而发生的。标签608仅仅是实现所公开的技术的标签的一个示例；标签可具有多个类似区域610的区域，并且不同的区域可对入射光引入不同的相移。

图8描绘了标签的一个示例。该示例性标签可以是如图7中描绘的标签608。该示例性标签的主体被矩形702定界，但是标签的主体可采用任何形状。如由该示例性标签的白色区域(标记为704)显示的，该示例性标签的大部分表面是“空白的”，即，不具有对数据进行编码的任何结构。然而，该示例性标签的黑色区域706和708(如具有图7的区域610)可由被配置成在反射入射IR光之际(如由图7的光线612显示的)对该入射IR光(如图7的光线606)引入特定相移的材料构成。尽管由该示例性标签的黑色区域706和708形成的图案分别采用了正方形和星形的形状，但是标签上的图案可以根本采用任何形状。由于被制造标签的方法限制以及由于被标签的应用要求，该标签上的图案可以比图8中描绘的更为复杂或更不复杂。例如，标签上的图案可以与条形码中的交替条纹那样简单，使得被系统检测的图案仅仅是二维的，第二维度为深度。在所公开的技术的一些实施例中，通过标签表面上的图案来将它们彼此标识或彼此不同地标识，使得具有相同图案的所有标签存储相同的数据，并且没有具有不同图案的标签存储相同的数据。在该示例性标签的左下角中的黑色正方形706的缺失是可出现在一些标签中的特征的一个示例，其中标签上的图案中的不对称被故意地引入以用于系统检测该标签来习得该标签的定向，其在对标签上的图案进行解码时可以是有用的。然而，可以存在习得标签的定向的其他方式。

图9描绘了从标签中检测的深度图案的一个示例。在图8中描绘的标签与图8中描绘的该示例性标签相同。然而，尽管图8仅仅显示了包括示例性标签上的图案的几何形状，但是图9显示了图案如何可被深度相机检测到。如之前的，该标签被矩形802定界。如在图7中描述的，标签上的图案的各个区域对它们反射的入射IR光引入某些相移，相移通过构成对应区域的材料来确定。仅作为示例，在深灰色星星808内部的区域向其反射的入射IR光引入45度的相移，白色方形806内部的区域向它们反射的入射IR光引入90度的相移，并且标签的其余部分(浅灰色，804)向其反射的入射IR光引入0度的相移(即，没有相移)。通过如刚刚描述的经由深度相机来区分标签上的图案的各个区域，该系统能够辨别出标签上的图案并由此对存储在标签上的图案中的数据进行解码。根据所公开的技术，标签上的对经反射的光引入相移的区域可以是非常小的，并且可引入相对于附近区域而言任何量的相移。

图10A描绘了其中所公开的技术可被使用的一示例场景。该场景显示用户19在房间内(这可场景还可发生在室外)，看着图片1002。邻近于图片1002并在图片1002下方的是标签1004。如以上解释的，标签1004是透明的，因此对用户19而言几乎不可见。附加地，在不具有头戴式显示设备2和处理单元4的情况系，用户19不能在他的视觉环境中感受到由标签1004扮演的任何角色。标签1004的角色将在图10B中解释。

图10B描绘了在使用中的所公开的技术的一个示例场景。图10B大致与图10A相同，除了用户19装备有头戴式显示设备2和处理单元4；头戴式显示设备2和处理单元4的功能在以上被描述。作为装备有头戴式显示设备2和处理单元4的结果，一旦头戴式显示设备2和处理单元4检测到标签1004，用户19就能够看到指示“FourthCoffee(第四咖啡)”咖啡店的位置的标记1006。在一些实施例中，眼镜2和处理单元4能够检测图片1002的存在和位置，并因此能够定位标记1006以避免妨碍用户19对图片1002的查看。附加地，如果头戴式显示设备2包括RGB相机(如捕捉设备20的一部分)，那么在一个实施例中，该系统能够使用关于标记1006将在其上被显示的表面所捕捉的颜色信息以调整标记1006的颜色方案，使得标记1006能对用户16清晰可见。由此，如果标记1006要被投射在红色的砖墙上，则标记1006的字母和箭头可用嫩黄来呈现给用户19以提供与周围环境的足够的对比度。

在图10B的场景中，除了“FourthCoffee”咖啡店之外的设施可在用户19的位置附近。在一个实施例中，在检测之际，标签1004可向具有类似于用户19所使用的头戴式显示设备2和处理单元4的每个人显示相同的标记1006(描绘具有箭头的“FourthCoffee”标记)。然而，在另一实施例中，该系统能够对显示给头戴式显示设备2和处理单元4的用户的标记1006的内容进行定制。例如，图2显示了能够执行所公开的技术的头戴式显示设备2的一个实施例。如图2显示的，头戴式显示设备2可被实现来访问大型网络(180)，诸如因特网。通过使用这个因特网访问，移动设备可以能够访问用户的社交网络简档。从社交网络简档，移动设备可以能够收集用户的兴趣，并且如果从标签中读取的指令允许，则基于关于从用户的社交网络简档中收集的用户兴趣的信息来决定标记1006的内容。由此，在用户19在标记1006中看到如何取得咖啡的同时，(其社交网络简档表达该用户的兴趣在于图书的)另一用户可能看到哪里找到最近的书店。

应当注意，在涉及标记的显示的应用中，标记不需要在系统检测到并解码了一个或多个标签后立即呈现。此外，一旦显示，图像不需要始终可见。例如，假设标签包括指令该系统显示“HappyNewYear(新年快乐)”横幅的链接。在一个实施例中，尽管系统已经检测到并解码了该标签，但是该系统不会显示该横幅直到12月31日的午夜，以及此后的仅仅数分钟。

图10C描绘了在使用中的所公开的技术的一个示例。元素1008是名片。元素1010是如以上描述的标签，打点的边界指示该标签用裸眼不容易看到。在没有来自图10B的用户19的头戴式显示设备2和处理单元4(或等同物)的情况下，只有名片1008在当前场景中可见。然而，如果查看者装备有头戴式显示设备2和处理单元4，则一旦头戴式显示设备2和处理单元4检测到了标签1010并处理了包括在其中的信息，则查看者还可在名片1008附近看到元素1012和1014(在这个示例中，分别为，其姓名在名片上的TomPerham的图像，以及关于“FourthCoffee”商店的简短描述)。由此，所公开的技术的一个实施例允许用户看到涉及名片的内容的附加信息。该技术可被扩展到其他类型的名片或文档。

图10D描绘了在使用中的所公开的技术的一个示例。如之前的，用户19装备有头戴式显示设备2和处理单元4。用户19正在他的起居室中看着作为娱乐系统10的一部分的电视机16。游戏控制台12可以是或可以不是活动的，并且眼镜2/处理单元可以不与游戏控制台12通信。在与用户19相同房间中的人可以能够在屏幕24上看到元素1018，球的2维表示。然而，在不具有头戴式显示设备2和处理单元4(或某个等同物)的情况下，此人不能够看到相同球的3D图像1020。用户19佩戴的头戴式显示设备2和处理单元4能够检测标签1016并将标签1016与电视机16相关联，由此确保用户19看到正被显示在屏幕上的内容的3D版本，这类似于在佩戴3D眼镜和观看启用3D的内容时所体验的。在进一步的实施例中，如果用户19的头戴式显示设备2包括RGB相机(作为捕捉设备20的一部分)，则通过观察屏幕上24的帧中的改变，这个系统能够监视TV(电视机)显示的刷新率并跟踪球1018在屏幕上的运动。该系统接着能持续地更新球1020的查看位置，使得它总是覆盖在屏幕24上的球10的位置上。

假设电视机16的屏幕被关闭。在一个实施例中，用户19的头戴式显示设备2和处理单元4能够检测到电视机16的屏幕被关闭，但是标签1016通过物理地在电视机16的附近被与电视机16相关联。由此，头戴式显示设备2可为用户19显示流化视频，使得视频看上去被覆盖在屏幕24的区域上。所公开的技术可由此能够为用户模仿观看电视的体验，即使视线内没有活动的电视机。例如，即使另一不具有头戴式显示设备2和处理单元4的观察者不能在屏幕24上看到任何东西，用户19依然可以能够在屏幕24上看到球1020或球1018。

图10E描绘了在使用中的所公开的技术的一个示例。在这个示例中，用户19正使用作为娱乐系统10的一部分的游戏控制台12和电视机16来玩视频游戏。相机20A和20B与游戏控制台12一起(构成一系统)能够捕捉用户19的运动并对它们进行定位以及将它们翻译成游戏内角色19b的运动和位置。在一个实施例中，该系统能够检测标签28b、椅子14b以及用户19正站在椅子14b上的事实。由于标签28物理地在椅子14b附近，所以该系统能够将标签28b与椅子14b相关联。该系统接着使用被编码在标签28b中的信息来将椅子14b映射到游戏中的对象山14c，使得当用户19站在椅子14b上时，屏幕24显示角色19b站在山14c上。

图10F示出了其中所公开的技术被使用的一示例场景。如在图1中，两个用户(称为用户19和29)正在玩交互式视频游戏。

在该示例中，用户19和29在如被系统10和椅子14a和14b指示的起居室中。每个用户佩戴着透视、增强现实显示设备系统，其在这个示例中包括作为一副眼镜的头戴式显示设备2以及腕上的处理单元4。显示24被示为显示用户19和20中的每一个当前正透过他相应的眼镜2来看着什么。在起居室内走动但不具有HMD的人可在这些显示视图上看不到至少一些信息。用户29和19透过他们的显示设备看到与他们正在玩的游戏中的事件相对应的图像。相机20A和20B作为捕捉设备以捕捉关于物理环境的信息，该物理环境包括用户19和29、房间的物理特征以及可被呈现在相机的视野内的任何标签。

附加地，用户19和29彼此处于一范围或距离34。如以下讨论的，用户之间的距离可以是一参数，该参数被用于确定与被增强现实系统创建或获得的虚拟对象相对应的所显示的图像的位置。在这个示例中，距离或范围的示例被虚线35显示。换言之，如果使用用于检测的无线收发机基于检测到的无线信号处于一距离内，则用户19和29的无线收发机(例如，无线通信组件346)之间的距离将在距离35内。

对用户19和29两者均可见的是怪兽22，其是他们正在玩的游戏中的虚拟对象。在这个示例中，怪兽22对于不具有被配置成查看对用户19和29可用的内容的HMD的其他人而言是不可见的。在这个示例中，怪兽22的位置被标签18确定，该标签18被放置在图片28上。当标签18被用户19和/或29佩戴的HMD检测到时，怪兽22可被生成。然而，在一些实施例中，仅在某些触发(诸如被用户19和/或29执行的游戏内事件或动作)之际，增强现实系统可生成怪兽22的图像/动画以及与怪兽22进行交互的相应能力。尽管在这个示例中，怪兽22被定位在标签18下方，但是在其他实施例中，怪兽22可被置于房间中的另一位置处，与标签18的位置有关或无关。如在之前的段落中提到的，用户19和29之间的距离34可被用于在确定图像(诸如怪兽22)的位置时的参数。

由此，出于绘制的目的，怪兽22被描绘为固定图像，在一些实施例中，怪兽22反而可以是经动画化的图像。在一些实施例中，如果娱乐系统10配备有环绕声，则该系统可发掘扬声器的方向性以播放对应于怪兽22的音频(例如，咆哮)，该音频对用户19和29而言看上去来自怪兽22。此外，用户19和29可以能够与怪兽22进行交互。例如，如果系统检测到用户19或29朝着怪兽22被显示的位置前行，则该系统可向用户19和29显示怪兽22逃跑的动画。

附加地，如果在系统的捕捉设备的范围内有其他标签，则在一个实施例中，该系统也能够显示与这些其他标签相关联的虚拟对象。例如，如果系统能检测到展示与标签28相同图案的多个标签，则该系统可在各个位置中显示与怪兽22相同的多个怪兽。在另一实施例中，在检测到多个标签之际，该系统可显示考虑到来自多个标签的某个子集中的经组合的数据的虚拟对象。参考图10F中描绘的场景，如果系统检测到展示与标签28相同图案的多个标签，则在一个实施例中，该系统扩大怪兽22的图像或增加怪兽的某个游戏内参数，诸如生命值。在还一个实施例中，这些增加可与展示与标签28相同图案的检测到的标签的数量成比例。由此，用户19和29可改变系统的视野内(具有与标签28相同图案的)标签的数量以改变他们的游戏体验。在另一示例中，假设如果系统仅检测到标签A，则系统将显示静态猫。进一步假设如果系统仅检测到标签B，则系统将显示静态狗。在一个实施例中，如果系统检测到标签A和B两者，则系统将显示狗追着猫，而非仅显示静态狗和静态猫。

图11是描述用于检测物理环境中的标签并对其进行响应(诸如在图7-9中描绘的)以生成虚拟对象的过程的一个实施例的流程图。图11的过程的实施例可适应于图10A-E中显示的各个使用情况。在一个实施例中，图11的过程由诸如图2中的头戴式显示设备2的移动设备来执行。

在步骤902，系统扫描一个或多个捕捉设备(诸如图5中的捕捉设备20)的视野内的空间。取决于捕捉设备的配置，从可视空间中扫描的信息可包括光学和深度数据。在步骤904，系统确定在捕捉设备的视野内是否有标签。在一个实施例中，一个或多个处理器解析在步骤902捕捉到的信息以检测一个或多个标签的深度图案特征。如果没有标签被找到，则系统返回到步骤902以继续扫描物理环境，直到标签被找到。如果找到一个或多个标签，则系统从这些标签获得数据。在一个实施例中，系统的处理器将在一个或多个标签上检测到的深度图案解码成合适的格式。在一些实施例中，被编码在标签上的数据包括对数据储存库中的数据的引用信息，该数据储存库包括关于一个或多个虚拟对象的附加数据。关于虚拟对象的附加数据可包括关于如何相对于物理环境的对象或特征来显示这些虚拟对象的指令。在步骤910，系统从储存库中检索该附加数据。在一个实施例中，系统使用一设备(诸如网络接口145)以从服务器15或某个替换的数据储存库中检索该数据。在一个实施例中，系统检查本地存储设备(诸如存储器147)来确定它是否已经具有关于被标签引用的虚拟对象的数据，这是因为系统可能已经本地地存储了这个数据或之前下载了这个数据，并且再次加载该数据可导致不必要的延迟。在步骤910中检索的数据可包括虚拟对象的一个或多个定义以及对应于虚拟对象的渲染位置。一旦系统获取了关于虚拟对象的数据，在步骤912，系统就确定任意虚拟对象的查看位置。虚拟对象可包括静态图像、视频和/或音频。不管虚拟对象的查看位置是否在头戴式显示设备(诸如2)或显示器(诸如24)中，该查看位置相对于物理环境的某个特征或对象来被确定，使得这个特征或对象也被表示在通过其虚拟对象被查看的显示设备中。在一个实施例中，系统用一个或多个处理器来执行步骤912。关于确定虚拟对象的查看位置的更多细节将在图12中被提供。一旦系统确定了虚拟对象的查看位置，系统就在步骤914中渲染这些虚拟对象。在一个实施例中，系统用一个或多个处理器来执行步骤914。在一个实施例中，步骤912和914的次序被反转。一旦(被标签引用的)虚拟对象的查看位置已经被确定并且这些虚拟对象已经被渲染，则在步骤916，系统在所确定的查看位置中为查看者显示虚拟对象。

图12A是描绘了其中系统确定虚拟对象的查看位置的方法的一个实施例的流程图。图12A提供关于图11的步骤912的更多细节。

在步骤918，系统获取捕捉设备的视野内的空间的3维图。在一个实施例中，系统能够确定深度相机(作为捕捉设备20的一部分)的视野中各个点的深度或相对距离。在一个实施例中，如果配备有RGB相机，则系统还能够将颜色值分配到其视野中的各点。在步骤920，系统使用各个图像检测、对象识别、边缘检测和技术领域中已知的相关技术来在步骤918中获取的3维图中标识物理环境的一个或多个对象或区域。在一个实施例中，在3维图中被如此标识的对象或区域对应于真实世界对象，诸如椅子、人、图片和电视屏幕，如在图10的各个示例中描述的。在一个实施例中，系统在图11的步骤902期间，在扫描物理环境的同时，执行步骤918和920。

在步骤922，系统将在图11的步骤904中找到的标签与在步骤920中获得的对象或区域相关联。在一个事实施例中，系统将标签与该标签物理上在其附近的对象(诸如图10A-10B中的图片1002)相关联。在另一实施例中，系统可遵从在图11的步骤910获得的指令以将虚拟对象与该标签不必在其附近的区域或对象相关联。例如，在圣帕特里克节，在酒吧间墙壁上的标签可指令系统将虚拟(即，仅对AR可见)“掐我”标记粘贴在没有穿绿色上衣的每个人的上衣上，而不管被如此指定的人是否在具有标签的墙壁附近或甚至在酒吧内。针对这个示例，在步骤922，系统将标签与捕捉设备的视野内没有穿绿色上衣的人相关联。

在步骤924，系统将与(被标签引用的)虚拟对象对应的虚拟对象与相对于在步骤922中与标签相关联的对象或区域的查看位置相关联。由此，在图10B中，系统确定了标记1006必须被显示为远离图片1002以避免遮挡用户19对图片1002的查看或对标记的可读性作出妥协。替换地，在图10D中，由于标签1016与电视机16相关联，则系统确定球1020的查看位置使得球1020看上去就像从屏幕24中浮现。

图12B是描绘了其中系统确定虚拟对象的查看位置的方法的一个实施例的流程图。图12B提供关于图11的步骤912的更多细节。

如在图12A的步骤918中，在步骤928，系统获取系统能用捕捉设备(诸如深度相机)来检测到的物理环境的3维图。在步骤930，系统标识在步骤928中获取的3维图内的标签的位置，而无需对该3维图的任何分区的任何引用。在步骤934，系统将虚拟对象与3维图中相对于该标签的位置的位置相关联。由此，在图10F中，系统确定了怪兽22应当被显示在标签18下方数英尺。

所公开的技术可用各种其它通用或专用计算系统环境或配置来操作。适合结合本技术中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。

所公开的技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言，如此处所述的软件和程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和其它类型的结构。硬件或硬件和软件的组合可以替代在此描述的软件模块。

所公开的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。

出于本文档的目的，与所公开的技术相关联的每个过程可以持续地并由一个或多个计算设备来执行。该过程中的每个步骤都可由与在其他步骤中所使用的那些计算设备相同或不同的计算设备来执行，且每个步骤不必由单个计算设备来执行。

出于本文的目的，说明书中引述的“一实施例”、“一个实施例”、“某些实施例”或“另一实施例”用于描述不同的实施例并且不必然指的是同一实施例。

出于本文的目的，连接可以是直接连接或间接连接(例如，经由另一方)。

出于本文的目的，术语对象的“集合”指的是一个或多个对象的“集合”。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于编码关于虚拟对象的信息的标签，所述标签包括：

透明物理表面；以及

构造在所述透明物理表面中的视觉上不可察觉的结构，所述视觉上不可察觉的结构将关于虚拟对象的信息编码在能由在可见光谱以外的电磁波长检测到的深度图案中。

2.如权利要求1所述的标签，其特征在于，所述视觉上不可察觉的结构包括在视觉上不可察觉的物理表面上的2维图案，其中至少一个维度是深度。

3.如权利要求1所述的标签，其特征在于，所述视觉上不可察觉的结构包括在视觉上不可察觉的表面上的3维图案，其中至少一个维度是深度。

4.如权利要求1所述的标签，其特征在于，所述视觉上不可察觉的结构一个或多个材料，所述材料被配置成将相移引入所述材料反射的电磁波。

5.如权利要求1所述的标签，其特征在于，所述视觉上不可察觉的结构的深度图案能通过检测被反射的红外辐射的相移图案来检测到。

6.一种用于在显示器上相对于真实世界环境来生成虚拟对象的方法，所述方法包括：

扫描物理环境；

检测所述物理环境中的一个或多个标签，每个标签包括在所述标签的各区域之间的相移中反射的深度图案；

从所述一个或多个标签中获得关于虚拟对象的数据；

检索虚拟对象定义；以及

在混合环境显示设备上渲染所述虚拟对象。

7.如权利要求6所述的方法，其特征在于，从所述一个或多个标签中获得数据包括对所述一个或多个标签上的所述深度图案进行解码。

8.如权利要求6所述的方法，其特征在于，确定渲染位置包括：

获取所述物理环境的3维图；

标识所获取的3维图中的一个或多个区域；

将所述一个或多个标签与所述一个或多个区域相关联；以及

将与所述一个或多个标签对应的虚拟对象与相对于与所述一个或多个标签相关联的所述一个或多个区域的渲染位置相关联。

9.如权利要求8所述的方法，其特征在于，所述渲染位置包括相对于所述标签的位置的位置。

10.如权利要求8所述的方法，其特征在于，所述渲染位置包括相对于所述物理环境的特征的位置。