CN105408837A - Hmd上的混合世界/身体锁定的hud - Google Patents

Abstract

公开了一种用于按最优且最舒适的方式将虚拟物体显示在混合现实环境中以供用户与虚拟物体进行交互的系统和方法。当用户没有关注虚拟物体(可以是平视显示器，即HUD)时，HUD可保持对用户身体锁定。如此，用户可对头戴式显示设备所呈现的混合现实环境进行探索和交互，而没有来自HUD的干扰。当用户希望查看HUD和/或与HUD交互时，用户可看向HUD。此时，HUD可从身体锁定的虚拟物体改变成世界锁定的虚拟物体。用户然后能够从HUD的不同的位置和视角来查看HUD并与之交互。

Description

HMD上的混合世界/身体锁定的HUD

背景

混合现实是一种允许将虚拟图像与现实世界物理环境相混合的技术。用户可佩戴透视、头戴式显示(HMD)设备来观看用户的视野中所显示的现实物体和虚拟物体的混合图像。用户可例如通过执行手、头、或语音姿势来进一步与虚拟物体进行交互，以移动物体、更改它们的外观或简单地查看它们。

可能希望在HMD上的虚拟平视显示器中显示常用信息，诸如举例来说时间、日期、无线信号强度、用户选择的图标等。如果平视显示(HUD)是头部锁定的，即它以与头部相同的速率移动，则用户看到所显示的虚拟物体的同一侧，且它们可能看上去是二维的。此外，使用视野中的空间来渲染HUM元素浪费了用于渲染其他虚拟内容的宝贵区域。相反，如果HUD是世界锁定的元件，则用户不得不记住他们将HUD留在了哪里。

概述

本技术的实施例涉及用于在头戴式显示设备上呈现混合世界/身体锁定的虚拟HUD的系统和方法。除了显示诸如HUD之类的虚拟物体之外，头戴式显示设备包括使得头戴式显示设备能够确定其在三维空间中的位置和视野以及虚拟物体的位置的处理单元和传感器。在一些实施例中，当用户在三维空间内到处移动时，HUD可保持对用户身体锁定。例如，HUD可保持在用户的头部前方的预定位置处且抬高超出水平线，使得当用户向前看或向下看时该HUD落在用户的视野之外且不可见。如此，用户可对头戴式显示设备所呈现的混合现实环境进行探索和交互，而没有来自HUD的干扰。如下文所阐述的，在另外的示例中，HUD可被放置在其他预定义位置。

当用户希望查看HUD和/或与HUD交互时，用户可向上看，使得HUD出现在用户的视野内达预定时间段。在那时，HUD可从身体锁定的虚拟物体改变成世界锁定的虚拟物体。用户然后能够从HUD的不同的位置和视角来查看HUD并与之交互。当用户向下看或转移目光使得HUD不再位于用户的视野内达预定时间段时，HUD可切换回身体锁定。

在一示例中，本技术涉及一种用于向一个或多个用户呈现混合现实体验的系统，所述系统包括：包括用于显示虚拟物体的显示单元的显示设备；以及操作上耦合于所述显示设备的计算系统，所述计算系统生成所述虚拟物体以供在所述显示设备上显示，当确定所述虚拟物体不在所述显示设备的视野内时，所述计算系统将所述虚拟物体安置成相对于所述显示设备是身体锁定的，而当确定所述虚拟物体在所述显示设备的视野内时，所述计算系统将所述虚拟物体安置成世界锁定的。

在另一示例中，本技术涉及一种用于呈现混合现实体验的系统，所述系统包括：显示设备，所述显示设备包括用于感测与所述显示设备的位置相关的数据的第一组传感器，以及用于将虚拟物体显示给所述显示设备的用户的显示单元；以及操作上耦合于所述显示设备的计算系统，所述计算系统包括用于感测与所述用户的位置相关的数据的第二组传感器，所述计算系统生成所述虚拟物体以供在所述显示设备上显示，当用户没有关注所述虚拟物体时，所述计算系统在所述显示设备的视野之外将所述虚拟物体保持在身体锁定位置，而当所述用户关注所述虚拟物体时，所述计算系统在所述显示设备的视野内将所述虚拟物体保持在世界锁定位置。

在又一示例中，本技术涉及一种用于向一个或多个用户呈现混合现实体验的方法，所述方法包括：(a)当用户没有关注虚拟物体时将所述虚拟物体的位置锁定在相对于所述用户的身体的一部分的固定位置；以及(b)当所述用户没有关注所述虚拟物体时，将所述虚拟物体的位置锁定在三维空间中的一固定位置。

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在被用来帮助确定所要求保护的主题的范围。

附图简述

图1是用于向一个或多个用户呈现混和现实环境的系统的一个实施例的示例组件的图示。

图2是头戴式显示单元的一个实施例的立体图。

图3是头戴式显示单元的一个实施例的一部分的侧视图。

图4是头戴式显示单元的组件的一个实施例的框图。

图5是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。

图6是结合头戴式显示单元使用的中枢计算系统的组件的一个实施例的框图。

图7是可被用于实现本文所述的中枢计算系统的计算系统的一个实施例的框图。

图8是在用户没有关注对用户身体锁定的虚拟物体时该虚拟物体的透视图图示。

图9是在用户没有关注对用户身体锁定的且随用户移动的虚拟物体时该虚拟物体的俯视图图示。

图10是在用户关注在三维空间中世界锁定的虚拟物体时该虚拟物体的透视图图示。

图11是在用户关注在三维空间中世界锁定的虚拟物体时用户在该虚拟物体周围移动的透视图图示。

图12是示出了本系统的中枢计算系统、一个或多个处理单元和一个或多个头戴式显示单元的操作和协作的流程图。

图13和14是图12的流程图中所示的各步骤的示例的更详细的流程图。

详细描述

现在将参考附图1-14描述本技术的实施例，各实施例一般涉及混合现实环境，其中HUD在不被查看时是身体锁定的且处于视野之外，而在被查看和/或交互时是世界锁定的。用于实现混合现实环境的系统可包括与中枢计算系统通信的移动显示设备。移动显示设备可包括耦合到头戴式显示设备(或其他合适的装置)的移动处理单元。

头戴式显示设备可包括显示元件。该显示元件在一定程度上透明，使得用户可透过该显示元件看到该用户的视野(FOV)内的现实世界物体。该显示元件还提供将虚拟图像投影到该用户的FOV中以使得所述虚拟图像也可出现在现实世界物体旁边的能力。该系统自动地跟踪用户所看之处，从而该系统可确定将虚拟图像插入到该用户的FOV中的何处。一旦该系统知晓要将该虚拟图像投影至何处，就使用该显示元件投影该图像。

在实施例中，中枢计算系统和一个或多个处理单元可以协作以构建包括房间或其他环境中的所有用户、现实世界物体和虚拟三维物体的x、y、z笛卡尔位置的环境的模型。由该环境中的用户佩戴的每个头戴式显示设备的位置可以被校准到该环境的所述模型并且被彼此校准。这允许该系统确定每个用户的视线以及该环境的FOV。从而，可向每个用户显示虚拟图像，但是该系统从每个用户的视角确定该虚拟图像的显示，从而针对来自或由于该环境中的其他物体的任何视差以及遮挡来调整该虚拟图像。该环境的所述模型(在本文中被称为场景图)以及对用户的FOV以及该环境中的物体的跟踪可由协力或独立工作的中枢和移动处理单元来生成。

用户可以选择与出现在用户的FOV内的HUD或其他虚拟物体进行交互。如本文所使用的，术语“交互”涵盖用户与虚拟物体的身体交互和语言交互两者。身体交互包括用户使用他的或她的手指、手、头和/或(一个或多个)其他身体部位执行由混合现实系统识别为对该系统执行预定义动作的用户请求的预定义姿势。这样的预定义姿势可包括但不限于指向、抓握、以及推动虚拟物体。

用户还可以用他的或她的眼睛来与虚拟物体进行身体上的交互。在一些实例中，眼睛注视数据标识用户正关注于FOV中的何处，并且因而可以标识用户正在看某一特定虚拟物体。持续的眼睛注视，或者一次眨眼或眨眼序列，因而可以是用户借助来选择一个或多个虚拟物体的身体交互。

如本文所使用的，用户简单地看虚拟物体(诸如查看HUD中的内容)是用户与虚拟物体的身体交互的进一步的示例。

用户可替代地或附加地使用语言姿势来与虚拟物体交互，所述语言姿势诸如举例来说被该混合现实系统识别为对该系统执行预定义动作的用户请求的说出的单词或短语。语言姿势可连同身体姿势一起被使用以与混合现实环境中的一个或多个虚拟物体交互。

当用户在混合现实环境内四处移动时，虚拟物体可保持为世界锁定的。一个示例是用户的视野中的HUD。世界锁定的虚拟物体可在混合现实环境中保持锚定并静止，使得用户可以在世界锁定的虚拟物体周围移动并从不同的视角和距离来看到它们。

根据本技术，当用户看向包括所述HUD的某一位置时，该HUD可变为是世界锁定的。另一方面，当用户不在看向所述HUD时，所述HUD可切换为对用户来说是身体锁定的。也就是说，所述HUD(或其他身体锁定的虚拟物体)的位置可被更改以便保持在相对于用户的身体的预定义位置中。

在一些实施例中，混合世界/身体锁定的HUD(在本文中也称为“混合HUD”)可包括各种各样的有用信息，包括例如时间、日期、和/或头戴式显示设备的信号强度。然而，混合HUD可包括各种各样的其他内容中的任何内容，包括例如诸如文本、图片以及照片之类的静态内容，或者诸如视频之类的动态内容。

图1例示出用于通过将虚拟图像21与用户的FOV内的现实内容相融合来提供混合现实体验的系统10。图1示出了佩戴头戴式显示设备2的单个用户18，但理解到，一个以上的用户可以存在于混合现实环境中并从他们自己的角度查看相同的虚拟物体。如在图2和3中看到的，头戴式显示设备2可包括集成处理单元4。在其他实施例中，处理单元4可以与头戴式显示设备2分开，且可经由有线或无线通信来与头戴式显示设备2通信。

在一个实施例中为眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户可以透过显示器进行查看，并且从而具有该用户前方的空间的实际直接视图。使用术语“实际直接视图”来指代直接用人眼看见现实世界物体的能力，而不是看见物体的被创建的图像表示。例如，通过眼镜看房间允许用户得到该房间的实际直接视图，而在电视机上观看房间的视频不是该房间的实际直接视图。下面提供头戴式显示设备2的更多细节。

处理单元4可包括用于操作头戴式显示设备2的计算能力中的许多能力。在一些实施例中，处理单元4与一个或多个中枢计算系统12无线地(例如，WiFi、蓝牙、红外、或其他无线通信手段)通信。如此后解释的，中枢计算系统12可以在处理单元4的远程提供，使得中枢计算系统12和处理单元4经由诸如LAN或WAN等无线网络来通信。在进一步的实施例中，中枢计算系统12可被省略以使用头戴式显示设备2和处理单元4来提供移动混合现实体验。

中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，中枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可被用于执行诸如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统12可包括诸如标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理器可读存储设备上的指令来执行本文所述的过程。

中枢计算系统12进一步包括捕捉设备20，该捕捉设备20用于从其FOV内的场景的一些部分中捕捉图像数据。如本文所使用的，场景是用户在其中到处移动的环境，这一环境在捕捉设备20的FOV内和/或每一头戴式显示设备2的FOV内被捕捉。图1示出了单个捕捉设备20，但是在进一步的实施例中可以存在多个捕捉设备，这些捕捉设备彼此协作以从所述多个捕捉设备20的合成FOV内的场景中集体地捕捉图像数据。捕捉设备20可包括一个或多个相机，相机在视觉上监视用户18和周围空间，使得可以捕捉、分析并跟踪该用户所执行的姿势和/或移动以及周围空间的结构，以在应用内执行一个或多个控制或动作和/或使化身或屏上人物动画化。

中枢计算系统12可被连接到诸如电视机、监视器、高清电视机(HDTV)等可提供游戏或应用视觉的视听设备16。在一个示例中，视听设备16包括内置扬声器。在其他实施例中，视听设备16和中枢计算系统12可被连接到外部扬声器22。

中枢计算系统12与头戴式显示设备2和处理单元4一起可以提供混合现实体验，其中一个或多个虚拟图像(如图1中的虚拟图像21)可与场景中的现实世界物体混合在一起。图1例示出作为出现在用户的FOV内的现实世界物体的植物23或用户的手23的示例。

图2和3示出了头戴式显示设备2的立体图和侧视图。图3示出了头戴式显示设备2的右侧，包括该设备的具有镜腿102和鼻梁104的一部分。在鼻梁104中置入了话筒110用于记录声音以及将音频数据传送给处理单元4，如下所述。在头戴式显示设备2的前方是朝向房间的视频相机112，该视频相机112可以捕捉视频和静止图像。那些图像被传送至处理单元4，如下所述。

头戴式显示设备2的镜架的一部分将围绕显示器(显示器包括一个或多个透镜)。为了示出头戴式显示设备2的组件，未描绘围绕显示器的镜架部分。该显示器包括光导光学元件115、不透明滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明滤光器114处于透视透镜116之后并与其对齐，光导光学元件115处于不透明滤光器114之后并与其对齐，而透视透镜118处于光导光学元件115之后并与其对齐。透视透镜116和118是眼镜中使用的标准透镜，并且可根据任何验光单(包括无验光单)来制作。光导光学元件115将人造光引导到眼睛。不透明滤光器114以及光导光学元件115的更多细节在2012年5月24日公开的题为“Head-MountedDisplayDeviceWhichProvidesSurroundVideo”(提供环绕视频的头戴式显示设备)的美国已公开专利申请号2012/0127284中被提供。

控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图4提供。处于镜腿102内部或安装到镜腿102的是耳机130、惯性测量单元132、以及温度传感器138。在图4中所示的一个实施例中，惯性测量单元132(或IMU132)包括惯性传感器，诸如三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C。惯性测量单元132感测头戴式显示设备2的位置、定向和突然加速度(俯仰、滚转和偏航)。除了磁力计132A、陀螺仪132B和加速度计132C之外或者取代磁力计132A、陀螺仪132B和加速度计132C，IMU132还可包括其他惯性传感器。

微显示器120通过透镜122来投影图像。存在着可被用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理(DLP)、硅上液晶(LCOS)、以及来自高通公司的显示技术都是高效的反射技术的示例(因为大多数能量从已调制结构反射离开)并且可被用在本系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoP^TM显示引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束(例如，激光)发射到眼睛。

光导光学元件115将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的眼睛140。光导光学元件115还允许如箭头142所描绘的那样将光从头戴式显示设备2的前方通过光导光学元件115传送到眼睛140，从而除了接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。从而，光导光学元件115的壁是透视的。光导光学元件115包括第一反射表面124(例如镜面或其他表面)。来自微显示器120的光穿过透镜122并入射在反射表面124上。反射表面124反射来自微显示器120的入射光，使得光通过内反射被陷在包括光导光学元件115的平面基底内。在基底的表面上进行若干次反射之后，被陷的光波到达选择性反射表面126的阵列。注意，五个表面中的一个表面被标记为126以防止附图太过拥挤。反射表面126将从基底出射并入射在这些反射表面上的光波耦合进用户的眼睛140。光导光学元件的更多细节可在于2008年11月20日公开的题为“Substrate-GuidedOpticalDevices”(基底导向的光学设备)的美国专利公开号2008/0285140中找到。

头戴式显示设备2还包括用于跟踪用户的眼睛的位置的系统。如下面将会解释的那样，该系统将跟踪用户的位置和定向，使得该系统可以确定用户的FOV。然而，人类将不会感知到他们前方的一切。而是，用户的眼睛将被导向该环境的一子集。因此，在一个实施例中，该系统将包括用于跟踪用户的眼睛的位置以便细化对该用户的FOV的测量的技术。例如，头戴式显示设备2包括眼睛跟踪组件134(图3)，该眼睛跟踪组件134具有眼睛跟踪照明设备134A和眼睛跟踪相机134B(图4)。在一个实施例中，眼睛跟踪照明设备134A包括一个或多个红外(IR)发射器，这些红外发射器向眼睛发射IR光。眼睛跟踪相机134B包括一个或多个感测反射的IR光的相机。通过检测角膜的反射的已知成像技术，可以标识出瞳孔的位置。例如，参见于2008年7月22日颁发的题为“HeadMountedEyeTrackingandDisplaySystem”(头戴式眼睛跟踪和显示系统)的美国专利号7,401,920。此类技术可以定位眼睛的中心相对于跟踪相机的位置。一般而言，眼睛跟踪涉及获得眼睛的图像并使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为双眼通常一致地移动。然而，单独地跟踪每只眼睛是可能的。

在一个实施例中，该系统将使用以矩形布置的4个IRLED和4个IR光电检测器，使得在头戴式显示设备2的透镜的每个角处存在一个IRLED和IR光电检测器。来自LED的光从眼睛反射离开。由在4个IR光电检测器中的每个处所检测到的红外光的量来确定瞳孔方向。也就是说，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼睛反射离开的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从这4个采样中，该系统可确定眼睛的方向。

另一替代方案是如上面所讨论的那样使用4个红外LED，但是在头戴式显示设备2的透镜的一侧上使用一个红外CCD。CCD将使用小镜子和/或透镜(鱼眼)，以使得CCD可对来自眼镜框的可见眼睛的多达75％成像。然后，该CCD将感测图像并且使用计算机视觉来找出该图像，就像上文所讨论的那样。因此，尽管图3示出了具有一个IR发射器的一个部件，但是图3的结构可以被调整为具有4个IR发射器和/或4个IR传感器。也可以使用多于或少于4个的IR发射器和/或多于或少于4个的IR传感器。

用于跟踪眼睛的方向的另一实施例基于电荷跟踪。此概念基于以下观察：视网膜携带可测量的正电荷而角膜具有负电荷。传感器被安装在用户的耳朵旁(靠近耳机130)以检测眼睛在转动时的电势并且高效地实时读出眼睛正在干什么。也可以使用用于跟踪眼睛的其他实施例。

图3示出了头戴式显示设备2的一半。完整的头戴式显示设备将包括另一组透视透镜、另一不透明滤光器、另一光导光学元件、另一微显示器120、另一透镜122、面向房间的相机、眼睛跟踪组件、微显示器、耳机、和温度传感器。

图4是描绘了头戴式显示设备2的各个组件的框图。图5是描述处理单元4的各个组件的框图。头戴式显示设备2(其组件在图4中被描绘)被用于通过将一个或多个虚拟图像与用户对现实世界的视图的无缝融合来向用户提供混合现实体验。另外，图4的头戴式显示设备组件包括跟踪各种状况的许多传感器。头戴式显示设备2将从处理单元4接收关于虚拟图像的指令，并且将把传感器信息提供回给处理单元4。处理单元4(其组件在图4中被描绘)将从头戴式显示设备2接收传感信息，并且将与中枢计算设备12(图1)交换信息和数据。基于该信息和数据的交换，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给图4的头戴式显示设备。

图4的组件中的一些(例如朝向房间的相机112、眼睛跟踪相机134B、微显示器120、不透明滤光器114、眼睛跟踪照明134A、耳机130和温度传感器138)是以阴影示出的，以指示这些设备中的每个都存在两个，其中一个用于头戴式显示设备2的左侧，而一个用于头戴式显示设备2的右侧。图4示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲器218、显示驱动器220、显示格式化器222、定时发生器226、显示输出接口228、以及显示输入接口230。

在一个实施例中，控制电路200的所有组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。相机接口216提供到两个朝向房间的相机112的接口，并且将从朝向房间的相机所接收到的图像存储在相机缓冲器218中。显示驱动器220将驱动微显示器120。显示格式化器222向控制不透明滤光器114的不透明度控制电路224提供关于微显示器120上所正显示的虚拟图像的信息。定时发生器226被用于向该系统提供定时数据。显示输出接口228是用于将图像从朝向房间的相机112提供给处理单元4的缓冲器。显示输入接口230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲器。显示输出接口228和显示输入接口230与作为到处理单元4的接口的带接口232通信。

电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放大器238、话筒前置放大器和音频ADC240、温度传感器接口242、以及时钟发生器244。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。每个眼睛跟踪照明驱动器236都如上面所述的那样为眼睛跟踪照明134A提供IR光源。音频DAC和放大器238向耳机130输出音频信息。话筒前置放大器和音频ADC240提供用于话筒110的接口。温度传感器接口242是用于温度传感器138的接口。电源管理电路202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。

图5是描述处理单元4的各种组件的框图。图5示出与电源管理电路306通信的控制电路304。控制电路304包括：中央处理单元(CPU)320、图形处理单元(GPU)322、高速缓存324、RAM326、与存储器330(例如D-RAM)进行通信的存储器控制器328、与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输出缓冲器336、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输入缓冲器338、与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340、用于连接到无线通信设备346的PCIexpress接口、以及(一个或多个)USB端口348。在一个实施例中，无线通信设备346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可被用于将处理单元4对接到中枢计算系统12，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU320和GPU322是用于确定在何处、何时以及如何向用户的视野内插入虚拟三维物体的主要力量。以下提供更多细节。

电源管理电路306包括时钟发生器360、模数转换器362、电池充电器364、电压调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口372(其可能位于处理单元4的腕带上)。模数转换器362被用于监视电池电压、温度传感器，以及控制电池充电功能。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电能之际(通过电压调节器366)对电池368进行充电。HMD电源376向头戴式显示设备2提供电力。

图6例示出具有捕捉设备20的中枢计算系统12的示例实施例。根据一示例实施例，捕捉设备20可被配置为通过包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一个实施例，捕捉设备20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。

如图6所示，捕捉设备20可包括相机组件423。根据一示例性实施例，相机组件423可以是或者可以包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每个像素都可以表示一深度值，比如所捕捉的场景中的一物体与相机相距的例如以厘米、毫米等为单位的距离。

相机组件423可包括可被用于捕捉场景的深度图像的红外(IR)光组件425、三维(3D)相机426、以及RGB(视觉图像)相机428。例如，在飞行时间分析中，捕捉设备20的IR光组件425可将红外光发射到场景上，并且然后可使用传感器(在一些实施例中包括未示出的传感器)、例如使用3-D相机426和/或RGB相机428来检测从场景中的一个或多个目标和物体的表面后向散射的光。

在一示例实施例中，捕捉设备20可进一步包括可与图像相机组件423进行通信的处理器432。处理器432可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式(例如，帧)以及将数据传送给中枢计算系统12的指令。

捕捉设备20可进一步包括存储器434，存储器434可存储由处理器432执行的指令、由3-D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器434可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图6中所示，在一个实施例中，存储器434可以是与图像相机组件423和处理器432通信的单独组件。根据另一实施例，存储器434可被集成到处理器432和/或图像捕捉组件423中。

捕捉设备20通过通信链路436与中枢计算系统12通信。通信链路436可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等的无线连接。根据一个实施例，中枢计算系统12可经由通信链路436向捕捉设备20提供可被用于确定何时捕捉例如场景的时钟。附加地，捕捉设备20经由通信链路436将由例如3-D相机426和/或RGB相机428捕捉的深度信息和视觉(例如RGB)图像提供给中枢计算系统12。在一个实施例中，深度图像和视觉图像以每秒30帧的速率被传送；但是可以使用其他帧速率。中枢计算系统12然后可以创建模型并使用模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等的应用和/或使化身或屏上人物动画化。

上述中枢计算系统12与头戴式显示设备2和处理单元4一起能够将虚拟三维物体插入到一个或多个用户的FOV中，使得该虚拟三维物体扩充和/或替换现实世界的视图。在一个实施例中，头戴式显示设备2、处理单元4以及中枢计算系统12一起工作，因为这些设备中的每一个都包括被用来获得用以确定何处、何时以及如何插入虚拟三维物体的数据的传感器子集。在一个实施例中，确定何处、何时以及如何插入虚拟三维物体的计算由彼此合作地工作的中枢计算系统12和处理单元4执行。然而，在又一些实施例中，所有计算都可由单独工作的中枢计算系统12或单独工作的(一个或多个)处理单元4执行。在其他实施例中，计算中的至少一些可由头戴式显示设备2执行。

在一个示例实施例中，中枢计算设备12和处理单元4一起工作以创建所述一个或多个用户所在的环境的场景图或模型，以及跟踪该环境中各种移动的物体。此外，中枢计算系统12和/或处理单元4通过跟踪用户18佩戴的头戴式显示设备2的位置和定向来跟踪头戴式显示设备2的FOV。头戴式显示设备2所获得的传感器信息被传送给处理单元4。在一个实施例中，该信息被传送给中枢计算系统12，该中枢计算系统12更新场景模型并且将其传送回处理单元。处理单元4随后使用它从头戴式显示设备2接收的附加传感器信息来细化用户的FOV并且向头戴式显示设备2提供关于在何处、何时以及如何插入虚拟三维物体的指令。基于来自捕捉设备20和(一个或多个)头戴式显示设备2中的相机的传感器信息，可在一闭环反馈系统中在中枢计算系统12和处理单元4之间周期性地更新场景模型和跟踪信息，如下面所解释的那样。

图7例示出可被用于实现中枢计算系统12的计算系统的示例实施例。如图7中所示，多媒体控制台500具有含有一级高速缓存502、二级高速缓存504和闪存ROM(只读存储器)506的中央处理单元(CPU)501。一级高速缓存502和二级高速缓存504临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU501可被配备为具有一个以上的内核，并且由此具有附加的一级和二级高速缓存502和504。闪存ROM506可存储在多媒体控制台500通电时在引导过程的初始化阶段加载的可执行代码。

图形处理单元(GPU)508和视频编码器/视频编解码器(编码器/解码器)514形成用于高速和高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元508输送到视频编码器/视频编解码器514。视频处理流水线向A/V(音频/视频)端口540输出数据，以供传输到电视机或其他显示器。存储器控制器510连接到GPU508以方便处理器访问各种类型的存储器512，诸如但不局限于RAM(随机存取存储器)。

多媒体控制台500包括优选地在模块518上实现的I/O控制器520、系统管理控制器522、音频处理单元523、网络接口524、第一USB主控制器526、第二USB控制器528以及前面板I/O子部件530。USB控制器526和528用作外围控制器542(1)-542(2)、无线适配器548、以及外置存储器设备546(例如，闪存、外置CD/DVDROM驱动器、可移动介质等)的主机。网络接口524和/或无线适配器548提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。

系统存储器543被提供来存储在引导过程期间加载的应用数据。介质驱动器544被提供且可包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其它可移动介质驱动器等。介质驱动器544可内置或外置于多媒体控制台500。应用数据可经由介质驱动器544访问，以供多媒体控制台500执行、回放等。介质驱动器544经由诸如串行ATA总线或其他高速连接(例如IEEE1394)等总线连接到I/O控制器520。

系统管理控制器522提供与确保多媒体控制台500的可用性相关的各种服务功能。音频处理单元523和音频编解码器532形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元523与音频编解码器532之间传输。音频处理流水线将数据输出到A/V端口540，以供外置音频用户或具有音频能力的设备再现。

前面板I/O子部件530支持暴露在多媒体控制台500的外表面上的电源按钮550和弹出按钮552、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块536向多媒体控制台500的组件供电。风扇538冷却多媒体控制台500内的电路。

多媒体控制台500内的CPU501、GPU508、存储器控制器510、以及各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。

当多媒体控制台500通电时，应用数据可从系统存储器543被加载到存储器512和/或高速缓存502、504中并在CPU501上执行。应用可在导航到多媒体控制台500上可用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，介质驱动器544中所包含的应用和/或其他媒体可从介质驱动器544启动或播放，以将附加功能提供给多媒体控制台500。

多媒体控制台500可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台500允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口524或无线适配器548可用的宽带连接集成的情况下，多媒体控制台500可进一步作为更大网络社区中的参与者来操作。另外，多媒体控制台500可以通过无线适配器548与处理单元4通信。

可选的输入设备(例如，控制器542(1)和542(2))由游戏应用和系统应用共享。输入设备不是保留的资源，而是要在系统应用和游戏应用之间被切换以使其各自将具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，而驱动程序维护有关焦点切换的状态信息。捕捉设备20可经由USB控制器526或其他接口来定义控制台500的附加输入设备。在其他实施例中，中枢计算系统12可以使用其他硬件架构来实现。没有一个硬件架构是必需的。

图1中所示的头戴式显示设备2和处理单元4(有时统称为移动显示设备)与一个中枢计算系统12(亦称中枢12)通信。在又一些实施例中，可以存在一个或两个或更多移动显示设备与中枢12通信。移动显示设备中的每一个可如上述那样使用无线通信与中枢通信。在这样的实施例中所构思的是，有用于移动显示设备的信息中的许多信息都将在中枢处被计算和存储并且被传送给每个移动显示设备。例如，中枢将生成环境的模型并且将该模型提供给与该中枢通信的所有移动显示设备。附加地，中枢可以跟踪移动显示设备以及房间中的移动物体的位置和定向，并且然后将该信息传输给每个移动显示设备。

在另一实施例中，系统可以包括多个中枢12，其中每个中枢都包括一个或多个移动显示设备。中枢可彼此直接通信或经由因特网(或其他网络)通信。这样的一种实施例在2010年10月15日提交的题为“FusingVirtualContentIntoRealContent”(将虚拟内容融合到现实内容中)的Flaks等人的美国专利申请号12/905,952中被公开。

此外，在另外的实施例中，中枢12可以被完全省略。这样的实施例的一个优点是，本系统的混合现实体验变为完全移动的，并且可以被用在室内和室外设定二者中。在这样的一实施例中，下面的描述中由中枢12执行的所有功能都可以可替代地由处理单元4之一、合作地工作的一些处理单元4、或者合作地工作的所有处理单元4来执行。在这样的一实施例中，相应的移动显示设备2执行系统10的所有功能，包括生成和更新状态数据、场景图、每个用户对场景图的视图、所有纹理和渲染信息、视频和音频数据、以及为了执行本文所述的操作的其他信息。下文参考图9的流程图描述的实施例包括中枢12。然而，在每一这样的实施例中，处理单元4中的一个或多个处理单元可替代地执行中枢12的所有所描述的功能。

可经头戴式显示设备2显示给用户的虚拟物体的一个示例是上述的混合HUD。诸如图10中所示的HUD460之类的混合HUD可以是虚拟显示板，该虚拟显示板包括任何种类的内容，诸如举例来说日期、时间、和/或头戴式显示设备2接收到的信号的信号强度。该混合HUD460可以是显示给用户的虚拟屏幕，在该虚拟屏幕上内容可被呈现给用户。(以上描述的)不透明滤光器114被用来遮盖混合HUD460后面(从用户的视点来看)的现实世界物体和光，使得混合HUD460显现为用于查看内容的虚拟屏幕。

显示在HUD460上的内容可以是各种各样的内容，包括诸如文本和图形之类的静态内容，或诸如视频之类的动态内容。HUD460可进一步担当计算机监视器，使得内容可以是电子邮件、网页、游戏或监视器上呈现的任何其他内容。中枢12上运行的软件应用可以生成HUD460以及确定要在HUD460上显示的内容。如下所阐述的，HUD460可被放置在相对于HUD460与之相关联的用户的预定位置处。在一些实施例中，HUD460的位置和大小以及显示在HUD460上的内容的类型可以是用户通过姿势等可配置的。尽管HUD460在上文已被描述为出现在虚拟显示板上的内容，但是可理解HUD460可以仅仅是显示在相对于用户的预定位置处的内容而没有背景虚拟板。

如背景部分中所述，存在与完全身体锁定的HUD或完全世界锁定的HUD相关联的缺点。根据本技术的各方面，混合HUD460在未被看向时可以是身体锁定的且随用户移动，但是可在被用户查看时切换到世界锁定的。现在参考图8-11，当未被查看时，混合HUD460可位于相对于用户的头部的预定位置处。如图8和9中所示，在一些实施例中，该预定位置可能在用户的正前方且抬高超出水平线。例如，HUD460可以是在用户前方2至5英尺且位于用户头部所处水平面之上20°至40°。这些值是示例，在另外的实施例中，用户前方的距离和/或超出水平线的角度可以落在这些范围之外。

如所述，当HUD460不被查看时，HUD460可保持身体锁定且对用户不可见(如图8和9中虚线所指示的那样)。从而，当用户在混合现实环境内到处移动，沿x、y和/或z轴平移时，HUD460可经历类似的平移。在该示例中，y轴是向下穿过用户的头部的轴，z轴是从用户的面部直接向外的垂直于y轴的轴，而x轴可平行于用户的面部以及头戴式显示设备2、垂直于x轴和y轴两者。

在一些实施例中，HUD460可以是对用户的头部身体锁定的，使得当用户转动他的或她的头部时，HUD460经历类似的水平旋转以保持在用户的前方且超出水平线。从而，在图9的示例中，用户已经沿着箭头A的方向绕y轴从向前看转向向右看。在该实例中，HUD460可沿箭头B的方向经历类似的旋转，保持离开用户相同的距离。

在一些实施例中，当用户绕图8和9中的y轴旋转他的或她的头部时，HUD460可通过随着用户的头部移动来保持身体锁定。在一些实施例中，即使HUD460可能对于用户头部关于x轴的移动不敏感，HUD460也可保持身体锁定(如该术语在本文中所使用的那样)。从而，在一些示例中，当用户向上或向下点他的或她的头时，HUD460在其超出水平线的位置中保持固定。这允许用户向上看并看到HUD460。

即使HUD460可能对于用户头部关于z轴的移动不敏感，HUD460也可保持身体锁定(如该术语在本文中所使用的那样)。从而，在一些示例中，当用户向左或向右倾斜他的或她的头时，HUD460在其超出水平线的位置中保持固定。在用户的头部倾斜的情况下，这允许用户查看HUD460，而无需HUD460从水平线旋转。

从而，当用户在混合现实环境内到处移动时，HUD460可保持对用户身体锁定，随着用户平移以及在用户向左或向右转动他的头部时随着用户旋转。如所述，HUD460可能对用户向上或向下点他的头部、或向左或向右倾斜他的头部不敏感。然而，在另外的实施例中，对于绕任何两个轴的旋转，HUD460可保持身体锁定，同时对于绕第三轴的旋转不敏感。

从而，例如在图8中，当用户向左或向右转动他的头部时，HUD460可绕y轴旋转，而当用户向左或向右倾斜他的头部时，HUD460可绕z轴旋转。对于绕x轴的头部旋转，HUD460可保持固定，使得用户可向上看并看到HUD460。

如所述，HUD460可被放置在除了超出水平线之外的位置处。在一个进一步的示例中，HUD460可被放置在水平线上，但在向前看时向用户的FOV的左边或右边偏离。在这样一种实施例中，当用户向上或向下点他的头部时，HUD460可绕x轴旋转，而当用户向左或向右倾斜他的头部时，HUD460可绕z轴旋转(或保持固定)。对于绕y轴的头部旋转，HUD460可保持固定，使得用户可向左或向右看并看到HUD460。HUD460可被放置在其他位置，以便在用户向前看时不可见。

在另外的实施例中，考虑了HUD460可以是身体锁定的，以便在用户绕全部三个x、y和z轴旋转他的头部时随着用户移动。在这样一种实施例中，HUD460在对于用户是身体锁定时可保持在头戴式显示设备2的FOV之外，而不管用户看向哪里。然而，在这样的实施例中，某一位置可被预定义为HUD460的访问位置。例如，该预定义位置可以是用户的前方且超出水平线，但是在另外的实施例中，它也可以位于其他预定义位置处。当用户看向预定义访问位置时，HUD460可能移至该预定义访问位置(或某一其他预定义位置)并从身体锁定改变成世界锁定。

现在参考图10和11，HUD460可如上所述那样保持身体锁定直到用户例如通过看向HUD460所位于的位置达预定时间段而关注HUD460为止。该预定时间段(例如可以是1至3秒)防止系统在用户在HUD460的方向中看但不打算访问HUD460时显示HUD460。然而，可理解在另外的实施例中该预定时间段可被忽略，使得无论何时用户在HUD460的方向中看时，HUD460都被显示。在预定时间段是内置的情况下，在另外的实施例中，该预定时间段可以是少于1秒或大于3秒。

一旦用户以预定的时间变化率(在一些实施例中具有预定的一段时间)在HUD460的方向中看，HUD460就可从身体锁定切换到世界锁定。一旦是世界锁定的，除了能够如图10所示那样查看HUD460的内容之外，用户可如图11中举例所示那样绕HUD460移动。用户可移动离开或接近HUD460和/或用户可绕HUD460移动来从不同的视角查看它。以此方式，促进了HUD460的真实性幻觉以及三维性质。

用户也可在HUD460处于用户的FOV中时与HUD460交互。例如用户可通过添加新内容、改变现有内容或移除现有内容来与HUD460的内容交互。用户还可通过调整HUD460的大小来交互。此外，用户可通过改变HUD460的世界锁定位置或通过改变HUD460的身体锁定位置(对于HUD460返回至其身体锁定位置时的情形)来交互。

如果用户把目光从HUD460移开达预定时间段，则HUD460可再次移回相对于用户的身体锁定位置。该预定时间段(例如可以是1至3秒)防止系统在用户把目光从HUD460移开但不打算移除HUD460时移除HUD460。然而，可理解在另外的实施例中该预定时间段可被忽略，使得无论何时用户把目光从HUD460移开时，HUD460被移除。在预定时间段是内置的情况下，在另外的实施例中，该预定时间段可以是少于1秒或大于3秒。

如下文所阐述的，头戴式显示设备2可显示出现在头戴式显示设备2的FOV内的所有虚拟物体。从而，在一些实施例中，无论HUD460何时处于该FOV内，HUD460都可保持世界锁定并被显示。如果用户移动他的头部使得HUD460位于FOV之外达少于所述预定时间段(在一些实施例中具有预定的一段时间)，则HUD460可保持世界锁定并可在HUD460再次进入FOV时再次被显示。

可能的是HUD460位于头戴式显示设备2的FOV内，但设备2能够确定用户并没有关注HUD460。设备2可确定HUD460位于FOV的外围，或者眼睛跟踪组件134可指示出用户正在看与HUD460不同的方向。因此，在另外的实施例中，即使HUD460处于该FOV内，如果用户没有关注HUD460达超过所述预定时间段(在一些实施例中具有预定的一段时间)，则HUD460可被取下且可从其世界锁定位置切换到其身体锁定位置。

使用本技术的实施例，当用户对HUD460不感兴趣时，用户能够自由地与混合现实环境交互而没有来自HUD460的干扰。然而，HUD460保持对用户可访问，且可通过用户看向预定位置来被访问，该预定位置相对于用户的身体位置保持相同。

图12是中枢计算系统12、处理单元4和头戴式显示设备2在离散时间段(诸如为了生成、渲染和向每个用户显示单帧图像数据所花费的时间)期间的操作和交互性的高级流程图。在一些实施例中，数据可以以60Hz的速率刷新，但是在另外的实施例中可以以更高或更低的频度刷新。

一般而言，该系统生成具有环境和该环境中的诸如用户、现实世界物体和虚拟物体之类的物体的x、y、z坐标的场景图。如上所述，诸如HUD460之类的虚拟物体可以例如由在中枢计算系统12上运行的应用或由用户18虚拟地置于环境中。该系统还跟踪每个用户的FOV。尽管所有用户或许可能在查看该场景的相同方面，然而他们正在从不同视角来查看它们。因此，该系统生成每个人对场景的FOV以针对虚拟或现实世界物体的视差和遮挡进行调整，这对于每个用户而言再一次可能是不同的。可能的是第一用户的HUD可能或可能不对其他用户可见(例如基于第一用户的隐私设置)。

对于给定的图像数据帧，用户的视图可以包括一个或多个现实和/或虚拟物体。当用户转动他或她的头部时(例如从左向右或上下)，该用户的FOV中的现实世界物体的相对位置固有地在该用户的FOV内移动。例如，图1中的植物23可最初出现在用户的FOV的右侧。但是如果随后用户向右转动他的/她的头部，则植物23可最终停在用户的FOV的左侧。

然而，随着用户移动其头部向用户显示虚拟物体是更困难的问题。在用户正在看向其FOV内的一虚拟物体的示例中，如果用户向左移动他的头部以向左移动FOV，则该虚拟物体的显示需要向右偏移该用户的FOV的偏移量，使得净效果是该虚拟物体在FOV内保持固定。用于正确地显示世界锁定的和身体锁定的虚拟物体的系统在下文参考图12-？？的流程图来阐述。

可以在步骤600配置用于将混合现实呈现给一个或多个用户18的系统。例如，用户18或系统的操作者可指定要被呈现的虚拟物体，包括例如HUD460。用户也可配置HUD460的内容，以及它要如何、何时以及在何处被呈现。尽管已描述了一些实施例包括单个HUD460，但是可理解具有不同内容的两个或更多个HUD可被生成并安置在场景中。每个这样的HUD460可以是如本文所述的混合HUD460。

在步骤604和630，中枢12和处理单元4从场景收集数据。对于中枢12，这可以是由捕捉设备20的深度相机426和RGB相机428感测到的图像和音频数据。对于处理单元4，这可以是由头戴式显示设备2在步骤656感测到的图像数据，且具体而言，是由相机112、眼睛跟踪组件134和IMU132感测到的图像数据。在步骤656，由头戴式显示设备2收集的数据被发送给处理单元4。处理单元4在步骤630中处理这一数据，以及将它发送给中枢12。

在步骤608，中枢12执行各种设置操作，这些设置操作允许中枢12协调其捕捉设备20和一个或多个处理单元4的图像数据。具体而言，即使捕捉设备20相对于场景的位置是已知的(情况可能不一定如此)，头戴式显示设备2上的相机也在场景中四处移动。因此，在一些实施例中，成像相机中的每一个的位置和时间捕捉需要被校准到该场景、彼此校准、以及校准到中枢12。步骤608的进一步细节在2012年5月3日公开的题为“Low-LatencyFusingofVirtualAndRealContent”(虚拟和现实内容的低等待时间融合)的美国专利公开号2012/0105473中被描述。

一旦在步骤608校准了该系统，则可以在步骤610发展场景图，该场景图标识出该场景的几何形状以及该场景内的物体的几何形状和位置。在一些实施例中，在给定帧中生成的场景图可包括该场景中所有用户、现实世界物体和虚拟物体的x、y和z位置。该信息可在图像数据收集步骤604、630和656期间获得，并且在步骤608被一起校准。

至少捕捉设备20包括用于确定场景的深度(直到可能以墙壁等等为界限的程度)以及场景内的物体的深度位置的深度相机。如下文所阐述的，场景图被用来将虚拟物体定位在场景内，以及显示带有正确遮挡的虚拟三维物体(虚拟三维物体可被现实世界物体或另一虚拟三维物体遮挡，或虚拟三维物体可遮挡现实世界物体或另一虚拟三维物体)。

系统10可包括多个深度图像相机以获得来自场景的所有深度图像，或包括单个深度图像相机，诸如举例来说捕捉设备20的深度图像相机426可能足以捕捉来自场景的所有深度图像。一种用于确定未知环境内的场景图的类似方法被称为同时定位和映射(SLAM)。SLAM的一个示例在2010年8月10日颁布的题为“SystemsandMethodsforLandmarkGenerationforVisualSimultaneousLocalizationandMapping”(用于可视同时定位和映射的地标生成的系统和方法)的美国专利号7,774,158中被揭示。

在步骤612，该系统可检测和跟踪诸如在房间中移动的人之类的移动物体，并且基于移动物体的位置来更新场景图。这包括使用场景内的用户的骨架模型，如上所述。

在步骤614，中枢确定头戴式显示设备2的x、y和z位置、定向以及FOV。现在参考附图13的流程图描述步骤614的进一步细节。下文参考单个用户描述图13的步骤。然而，图13的步骤可针对场景内的每一用户来执行。

在步骤700，在中枢处分析场景的经校准的图像数据以确定用户头部位置、以及从用户的面部向外直视的面部单位向量二者。头部位置在骨架模型中被标识。可通过根据骨架模型定义用户的面部的平面并取垂直于该平面的向量来确定面部单位向量。这一平面可通过确定用户的眼睛、鼻子、嘴、耳朵、或其他面部特征的位置来被标识。面部单位向量可被用来定义用户的头部定向，且在一些示例中可被认为是用户的FOV的中心。也可或替代地根据从头戴式显示设备2上的相机112返回的相机图像数据来标识面部单位向量。具体而言，基于头戴式显示设备2上的相机112所看到的，相关联的处理单元4和/或中枢12能够确定表示用户的头部定向的面部单位向量。

在步骤704，用户的头部的位置和定向还可或替代地通过如下方式来被确定：分析来自较早时间(要么在帧中较早，要么来自前一帧)的用户的头部的位置和定向，以及然后使用来自IMU132的惯性信息来更新用户的头部的位置和定向。来自IMU132的信息可以提供用户的头部的精确运动学数据，但是IMU典型地不提供关于用户的头部的绝对位置信息。也被称为“地面真值”的该绝对位置信息可以从获得自捕捉设备20、主体用户的头戴式显示设备2上的相机和/或其他用户的(一个或多个)头戴式显示设备2的图像数据来提供。

在一些实施例中，用户的头部的位置和定向可以通过联合作用的步骤700和704来确定。在又一些实施例中，步骤700和704中的一者或另一者可被用来确定用户的头部的头部位置和定向。

可能发生的是，用户未向前看。因此，除了标识出用户头部位置和定向以外，中枢可进一步考虑用户的眼睛在其头部中的位置。该信息可由上述眼睛跟踪组件134提供。眼睛跟踪组件能够标识出用户的眼睛的位置，该位置可以被表示成眼睛单位向量，该眼睛单位向量示出了与用户的眼睛聚焦所在且向前看的位置的向左、向右、向上和/或向下的偏离(即面部单位向量)。面部单位向量可以被调整为定义用户正在看向何处的眼睛单位向量。

在步骤710，接着可以确定用户的FOV。头戴式显示设备2的用户的视图范围可以基于假想用户的向上、向下、向左和向右的边界视力(peripheralvision)来预定义。为了确保针对给定用户计算得到的FOV包括特定用户或许能够在该FOV的范围内看到的物体，这一假想用户可不被当作具有最大可能边界视力的人。在一些实施例中，某一预定的额外FOV可被添加于此以确保对给定用户捕捉足够的数据。

然后，可以通过取得视图范围并且将其中心定在调整了眼睛单位向量的任何偏离的面部单位向量周围来计算该用户在给定时刻的FOV。除了定义用户在给定时刻正在看什么之外，用户的FOV的这一确定还有用于确定用户不能看到什么。如下文解释的，将对虚拟物体的处理限制到特定用户可看到的那些区域提高了处理速度并降低了延迟。

在上述实施例中，中枢12计算该场景中的一个或多个用户的FOV。在又一些实施例中，用于某一用户的处理单元4可在这一任务中共享。例如，一旦用户头部位置和眼睛定向被估计，该信息就可被发送给处理单元，处理单元可基于与头部位置(来自IMU132)和眼睛位置(来自眼睛跟踪组件134)有关的更新近的数据来更新位置、定向等。

现在返回图12，在步骤618，中枢12可确定用户移动以及包括HUD460的虚拟物体的位置。例如，中枢12可确定用户已看向某一方向多长时间(包括朝向或背离HUD460)，而中枢可相应地定位HUD460。在图14的流程图中阐述了步骤618的进一步细节。

在步骤714，中枢可确定用户是否看向HUD所位于的预定位置达预定时间段，该预定时间段在一些实施例中可以是1秒与5秒之间，例如是3秒，但是在另外的实施例中它也可以比此更短或更长。如果用户没有在HUD460的方向中看了该预定时间段，则HUD460可如上所述在步骤716保持身体锁定。

另一方面，如果用户在HUD460的方向中看了该预定时间段，则HUD460可在步骤720在其三维空间中的当前位置处切换为世界锁定的虚拟物体。如上所述，用户可此后到处移动并从不同视角查看HUD460。

在步骤724，中枢12确定用户是否将目光从HUD464移开达预定时间段。在一些实施例中，该预定时间段可以是1秒与5秒之间，例如是3秒，但是在另外的实施例中它也可以比此更短或更长。如果用户没有将目光从HUD460移开达该预定时间段，则HUD460可如上所述在步骤720保持世界锁定。

另一方面，如果用户将目光从HUD460移开达该预定时间段，则在步骤730HUD460可移回HUD460的默认身体锁定位置，例如在用户前方且超出水平线。此后，HUD460可在步骤716保持身体锁定直到系统再次在步骤714确定用户在HUD460的方向中看了预定时间段为止。

如上所述，用户可选择一个或多个虚拟物体来交互，诸如举例来说HUD460。对HUD460或其他虚拟物体的选择可通过若干姿势中的任何一种来指示，诸如举例来说用户指向了一个或多个虚拟物体。当用户选择了HUD460时，用户可与HUD460的内容交互，例如获得关于某一内容项的更详细的信息或者更改某一内容项。一旦被选择，该一个或多个虚拟物体可保持被选择，直至用户执行了指示解除对一个或多个虚拟物体的选择的另一姿势为止。解除选择姿势可以例如是身体手姿势或用户将目光从该一个或多个虚拟物体移开达预定时段。

用户也可抓住诸如HUD460之类的虚拟物体并将其从它们的默认位置移动到FOV中的新位置。这些新位置可被设置为新的默认位置，或者这些位置可在用户解除选择虚拟物体之后返回先前的默认位置。

一旦如图14所描述地设置了包括HUD460的虚拟物体的位置，中枢12就可在步骤626(图12)将所确定的信息传送给一个或多个处理单元4。在步骤626传送的信息包括将场景图传输给所有用户的处理单元4。所传送的信息可进一步包括将每一头戴式显示设备2的所确定的FOV传输给相应头戴式显示设备2的处理单元4。所传送的信息可进一步包括对虚拟物体特征的传输，包括所确定的位置、定向、形状以及外观。

上面以示例的方式描述了处理步骤600至626。理解到，这些步骤中的一个或多个步骤在另外的实施例中可被省略，这些步骤可以按不同次序来执行，或者可以添加附加步骤。处理步骤604到618可能在计算上是昂贵的，但强大的中枢12可在60赫兹帧中执行这些步骤若干次。在另外的实施例中，步骤604到618中的一个或多个步骤可替代地或附加地由处理单元4中的一个或多个来执行。此外，尽管图12示出了对各种参数的确定，以及然后在步骤626中对所有这些参数一次传送，但是理解到，所确定的参数可以一被确定就被异步地发送给(一个或多个)处理单元4。

现在将参考步骤630至658解释处理单元4和头戴式显示设备2的操作。以下描述关于单个处理单元4和头戴式显示设备2。然而，以下描述可适用于该系统中的每一处理单元4和显示设备2。

如上所述，在初始步骤656，头戴式显示设备2生成图像和IMU数据，所述图像和IMU数据在步骤630经处理单元4被发送给中枢12。在中枢12处理图像数据的同时，处理单元4也在处理图像数据，以及执行准备渲染图像的步骤。

在步骤634，处理单元4可精选渲染操作使得仅仅有可能在该头戴式显示设备2的最终FOV内出现的那些虚拟物体被渲染。其他虚拟物体(诸如身体锁定的HUD460)的位置仍可被跟踪，但是它们不被渲染。还可设想，在另外的实施例中，步骤634可以被完全跳过，而整个图像被渲染。

处理单元4接下来可执行渲染设置步骤638，在该步骤使用在步骤626中接收到的场景图和FOV来执行设置渲染操作。一旦接收到虚拟物体数据，处理单元就可以对要在该FOV中被渲染的虚拟物体执行步骤638中的渲染设置操作。步骤638中的设置渲染操作可包括与要在最终FOV中显示的虚拟物体相关联的常见渲染任务。这些渲染任务可包括例如阴影图生成、光照和动画。在一些实施例中，渲染设置步骤638可进一步包括对可能的绘制信息的编译，诸如要在预测的最终FOV中显示的虚拟物体的顶点缓冲区、纹理和状态。

再次参考图12，使用在步骤626从中枢12接收到的信息，处理单元4可接着在步骤644确定用户的FOV中的遮挡和阴影。具体而言，该场景图具有该场景中所有物体(包括移动的和非移动的物体和虚拟物体)的x、y和z位置。已知用户的位置以及他们对该FOV中的物体的视线的情况下，处理单元4随后可确定某一虚拟物体是否全部或部分地遮挡了该用户对一现实世界物体的查看。此外，处理单元4可确定某一现实世界物体是否部分或全部地遮挡了该用户对一虚拟物体的查看。遮挡是因用户而异的。一虚拟物体可能在第一用户的查看中阻挡或被阻挡，但是对于第二用户则不然。因此，遮挡确定可以在每个用户的处理单元4中执行。然而，理解到，遮挡确定可附加地或替代地由中枢12来执行。

在步骤646，处理单元4的GPU322可以接下来渲染要显示给该用户的图像。渲染操作的各部分可能已经在渲染设置步骤638中被执行并且被周期性地更新。步骤646的进一步细节在题为“Low-LatencyFusingofVirtualAndRealContent”(虚拟和现实内容的低等待时间融合)的美国专利公开号2012/0105473中被描述。

在步骤650，处理单元4检查：是否到了该将渲染出的图像发送给头戴式显示设备2的时间、或者是否还有时间使用来自中枢12和/或头戴式显示设备2的更新近的位置反馈数据来进一步细化图像。在使用60赫兹帧刷新率的系统中，单帧可以大约为16ms。

在步骤650如果到了显示帧的时间，则合成图像被发送给微显示器120。在此时，用于不透明滤光器的控制数据也从处理单元4被传送至头戴式显示设备2以控制不透明滤光器114。该头戴式显示器随后可在步骤658向该用户显示该图像。

另一方面，在步骤650还没到发送要被显示的图像数据帧的时间的情况下，处理单元可为了获得更多经更新数据而循环回以进一步细化最终FOV的预测以及FOV中的物体的最终位置的预测。具体而言，如果在步骤650中仍然有时间，则处理单元4可返回步骤608以从中枢12获得更新近的传感器数据，并且可返回步骤656以从头戴式显示设备2获得更新近的传感器数据。

上面以示例的方式描述了处理步骤630至652。理解到，这些步骤中的一个或多个步骤在另外的实施例中可被省略，这些步骤可以按不同次序来执行，或者可以添加附加步骤。

此外，图12中的处理单元步骤的流程图示出了来自中枢12和头戴式显示设备2的所有数据都在单个步骤634被循环地提供给处理单元4。然而，理解到，处理单元4可以在不同时刻异步地从中枢12和头戴式显示设备2的不同传感器接收数据更新。头戴式显示设备2提供来自相机112的图像数据和来自IMU132的惯性数据。来自这些传感器的数据的采样可按不同的速率发生且可在不同的时刻被发送给处理单元4。类似地，来自中枢12的经处理的数据可在某一时刻且以与来自相机112和IMU132两者的数据不同的周期性被发送给处理单元4。一般而言，处理单元4可在一帧期间异步地多次接收来自中枢12和头戴式显示设备2的经更新的数据。在处理单元循环通过其各步骤时，在外插FOV和物体位置的最终预测时，它使用它接收到的最新近数据。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。本发明的范围由所附的权利要求进行定义。

Claims (10)

1.一种用于向一个或多个用户呈现混合现实体验的系统，所述系统包括：

包括用于显示虚拟物体的显示单元的显示设备；以及

操作上耦合于所述显示设备的计算系统，所述计算系统生成所述虚拟物体以供在所述显示设备上显示，当确定所述虚拟物体不在所述显示设备的视野内时，所述计算系统将所述虚拟物体安置成相对于所述显示设备是身体锁定的，而当确定所述虚拟物体在所述显示设备的视野内时，所述计算系统将所述虚拟物体安置成世界锁定的。

2.如权利要求1所述的系统，其特征在于，所述计算系统包括以下至少之一：中枢计算系统或一个或多个处理单元。

3.如权利要求1所述的系统，其特征在于，当确定所述虚拟物体保持在所述显示设备的视野内达预定时间段时，所述计算系统将所述虚拟物体的位置从身体锁定位置切换到世界锁定位置。

4.如权利要求1所述的系统，其特征在于，当确定所述用户没有在所述虚拟物体的方向中看时，所述计算系统将所述虚拟物体的位置从世界锁定位置切换到身体锁定位置。

5.如权利要求1所述的系统，其特征在于，所述虚拟物体是包括内容的HUD。

6.如权利要求1所述的系统，其特征在于，当所述虚拟物体是世界锁定时，所述计算系统允许用户选择所述虚拟物体，以及使用一姿势将所述虚拟物体移至三维空间中的新位置。

7.一种用于呈现混合现实体验的系统，所述系统包括：

显示设备，所述显示设备包括用于感测与所述显示设备的位置相关的数据的第一组传感器，以及用于将虚拟物体显示给所述显示设备的用户的显示单元；以及

操作上耦合于所述显示设备的计算系统，所述计算系统包括用于感测与所述用户的位置相关的数据的第二组传感器，所述计算系统生成所述虚拟物体以供在所述显示设备上显示，当用户没有关注所述虚拟物体时，所述计算系统在所述显示设备的视野之外将所述虚拟物体保持在身体锁定位置，而当所述用户关注所述虚拟物体时，所述计算系统在所述显示设备的视野内将所述虚拟物体保持在世界锁定位置。

8.如权利要求7所述的系统，其特征在于，当所述虚拟物体是世界锁定时，用户可从不同视角和位置查看所述虚拟物体。

9.一种用于向一个或多个用户呈现混合现实体验的方法，所述方法包括：

(a)当用户没有关注虚拟物体时将所述虚拟物体的位置锁定在相对于所述用户的身体的一部分的固定位置；以及

(b)当所述用户没有关注所述虚拟物体时，将所述虚拟物体的位置锁定在三维空间中的一固定位置。

10.如权利要求9所述的方法，其特征在于，所述步骤(a)包括当用户没有关注所述虚拟物体时相对于所述用户的头部锁定所述虚拟物体的位置的步骤。