CN107533230A - 头戴式显示器用追踪系统 - Google Patents

Abstract

本发明公开了一种用于追踪头戴式显示器的位置并且生成附加虚拟现实场景数据的系统和方法，以便在用户与所述虚拟现实场景交互并且相对于所述虚拟现实场景移动时向所述用户提供无缝的虚拟现实体验。使用安装在所述HMD上或所述HMD中的相机或类似传感器来确定所述HMD的初始位置和姿态。当所述HMD移动到第二位置和姿态时，由所述相机或传感器捕获两个或更多个固定点的图像以便确定所述HMD的位置和姿态的差异。所述HMD的位置和姿态的所述差异用于预测所述虚拟现实场景中的对应移动，并且生成用于在所述HMD上呈现的对应附加虚拟现实场景数据。

Description

头戴式显示器用追踪系统

技术领域

本发明大体来说涉及虚拟环境，并且更具体来说，涉及用于在佩戴和使用头戴式显示器(HMD)的背景下与虚拟对象接合的方法和系统。

背景技术

人机交互领域中快速发展的技术之一是各种头戴式显示器(HMD)，其可佩戴在用户头部并且在用户的一只或两只眼睛前方配有一个或两个显示器。这种类型的显示器具有涉及虚拟现实模拟的多种商业应用，包括视频游戏、医学、体育训练、娱乐应用等。在游戏领域中，举例来说，这些显示器可用于呈现三维(3D)虚拟游戏世界。

尽管HMD领域已经有了很明显的改善，但技术仍然需要进一步改善以便实现物理现实与HMD中展示的虚拟环境中呈现的虚拟对象的真实用户交互。

以下实施方案正是在这样的背景下产生。

发明内容

广义上说，本发明通过提供在用户与虚拟环境交互时动态地将HMD定位在用户周围的真实环境中的系统和方法来满足这些需求。应当理解，本发明可能以多种方式来实现，包括作为过程、设备、系统、计算机可读介质、或装置。以下描述本发明的若干发明性实施方案。

一个实施方案提供了一种虚拟现实系统，其包括耦接到能够生成虚拟现实环境的计算装置的头戴式显示器，所述虚拟现实环境包括在HMD上呈现和显示的多个虚拟现实场景。计算装置可包括用于从用户输入装置或HMD接收输入的输入装置接口。输入装置接口处理用于选择供在HMD中显示的内容的指令。计算装置还可包括：虚拟现实空间生成模块，其用于以虚拟现实场景的形式在HMD中呈现选定的内容；以及HMD移动模块。HMD移动模块用于追踪HMD在真实空间中的移动并且用于识别HMD在真实空间中的第一位置和姿态，HMD移动模块向虚拟现实空间生成模块提供HMD位置和姿态变化数据，以用于呈现对应于HMD在真实空间中的第二位置和姿态的虚拟现实场景的附加内容。

虚拟现实系统还可包括耦接到计算装置的真实空间映射系统。真实空间映射系统包括：用于将多个光点投射在真实空间的至少一部分上的光源、以及用于捕获光点图像的相机。相机可与HMD集成、或者附接到用户或诸如控制器的用户输入装置。HMD移动模块可使用来自由相机捕获的图像的固定点来确定HMD的第二位置和姿态。HMD移动模块能够分析由相机捕获的图像，以便识别真实空间中的多个固定点。在一个实现方式中，固定点可包括至少一部分光点。在另一个实现方式中，固定点可包括安置在真实空间中存在的一个或多个固定对象上的多个识别点中的至少一部分。

提供HMD位置和姿态变化数据可包括：识别处于第一位置和姿态的HMD，选择至少两个固定点，确定选定的固定点与处于第一位置和姿态的HMD之间的第一相对距离，识别处于第二位置和姿态的HMD，确定选定的固定点与处于第二位置和姿态的HMD之间的第二相对距离，以及将第一相对距离与第二相对距离进行比较，以便确定HMD位置和姿态变化数据等于第一位置和姿态与第二位置和姿态之间的差异。

虚拟现实空间生成模块可在呈现虚拟现实场景时，取决于HMD的走向的至少一个位置和姿态而连续地生成用于HMD的附加内容。分析由相机捕获的图像或多个图像，以便用于检测HMD在真实空间中的位置，其中HMD在真实空间中的位置转换为HMD在虚拟现实场景中的位置，其中HMD用于识别用户输入装置与虚拟现实场景中的虚拟对象之间的交互。

光源可在真实空间中处于静止的固定位置；或者可替代地，光源可为可移动的，诸如附接到HMD或用户输入装置、或者在用户与HMD中显示的虚拟场景进行交互时可由用户以其他方式移动。光源可将光点投射在人类可见的光谱或非人类可见的光谱(诸如紫外线或红外线)中。

另一个实施方案提供了追踪用于呈现虚拟现实场景的头戴式显示器(HMD)的方法，HMD包括用于呈现虚拟现实场景的显示屏。方法包括使用集成在HMD外表面上的至少一个装置来捕获图像数据，所述图像数据捕获HMD所处的真实空间。处理图像数据以便识别投射在真实空间中的表面上的至少两个光点。继续捕获和处理以便识别所捕获的图像数据中的至少两个光点的位置变化。位置变化识别HMD在真实空间中的位置和姿态变化。位置和姿态变化被配置来自动控制对HMD的显示屏上呈现的虚拟现实场景的呈现调整，所述调整包括虚拟现实场景的视图透视的变化以及虚拟现实场景的附加内容的呈现中的一个或两个。以HMD的追踪继续发生的帧速率继续执行图像数据的捕获。

集成在HMD外表面上以用于捕获图像数据的至少一个装置可为红-绿-蓝(RGB)相机、红外(IR)相机、摄像机或位置感测装置(PSD)中的一个。至少一个装置可为相机，并且外表面可为HMD外壳或HMD带的一部分。也可在真实空间中的位置和姿态变化期间使用HMD中的惯性传感器的惯性数据，在HMD上生成的惯性数据用于提供在自动控制呈现调整时可使用的附加追踪变量。

另一个实施方案包括头戴式显示器(HMD)。HMD包括外壳，其包括用于显示与虚拟现实场景相关联的图像的屏幕。感测装置集成在外壳的外表面上。还包括用于控制由感测装置捕获的图像数据的捕获的处理器。图像数据捕获HMD所处的真实空间，连同被检测以供发射器投射到真实空间表面上的至少两个光点、或真实空间中的至少两个固定点。处理器被配置来在真实空间中的HMD位置追踪期间将图像数据连续地传输到计算装置。处理器被配置来基于图像数据中的至少两个光点或至少两个固定点的位置变化，识别HMD的位置和姿态变化。基于所识别的位置和姿态变化，处理器还可接收要在屏幕上呈现的虚拟现实场景的内容。位置和姿态变化导致对虚拟现实场景的视图透视以及虚拟现实场景的附加内容的呈现中的一个或两个的自动调整。

结合附图来阅读以下详细描述，本发明的其他方面和优点将变得显而易见，以下详细描述通过举例的方式来说明本发明的原理。

附图说明

通过以下详述并结合附图，可以容易地理解本发明。

图1示出根据所公开实施方案的用于视频游戏的交互式游戏玩演的系统。

图2示出根据所公开实施方案的HMD。

图3示出使用客户端系统的游戏玩演的一个实施例，所述客户端系统能够将视频游戏内容呈现到用户的HMD。

图4示出根据所公开实施方案的在使用期间佩戴HMD的用户。

图5示出根据所公开实施方案的在从内到外跟踪过程中的使用期间佩戴HMD的用户。

图6示出根据所公开实施方案的用户正在其中使用HMD的真实空间房间。

图7A示出根据所公开实施方案的用户正在其中使用HMD的真实空间房间。

图7B是根据所公开实施方案的处于两个不同位置的HMD、以及用于确定HMD位置的矢量的图。

图8是根据所公开实施方案的用于追踪HMD的移动以及位置和姿态的系统的简化示意图。

图9是根据所公开实施方案的内容源的简化示意图。

图10是示出根据所公开实施方案的在追踪HMD的移动时执行的方法操作的流程图。

图11是示出根据所公开实施方案的在追踪HMD的移动时执行的方法操作的更详细流程图。

图12是示出根据所公开实施方案的头戴式显示器的实施例部件的图。

图13示出信息服务提供商架构的实施方案。

具体实施方式

现在将描述用于在用户与虚拟环境交互时动态地将HMD定位在用户周围的真实环境中的若干示例性实施方案。本领域的技术人员将明白，在不具有本文提出的一些或全部特定细节的情况下也可实践本发明。

一种用于在用户与虚拟环境交互时将多个对象定位在用户周围的真实环境中的方法是将多个光斑投射在用户周围的各个对象上。多个光斑可与用户周围的真实环境的一个或多个相片和/或视频视图组合。计算机可将光斑与用户周围的真实环境的相片和/或视频视图组合使用，作为用于在真实环境中追踪移动对象和用户的参考点。可从一个或多个光源投射光斑。光源可位于头戴式显示器(HMD)上、计算机上、或耦接到计算机的另一个外围装置(诸如相机或专用光源)中。可手动或自动选择光斑以用于追踪真实环境中的对象。可手动或自动确定选定的光斑的数量。增加选定的光斑的数量可改善将对象在真实环境中的定位准确性。光源可包括一个或多个激光器。使用激光器的一个优点在于不再需要确定或以其他方式获得距投射表面的焦距。

图1示出根据所公开实施方案的用于视频游戏的交互式游戏玩演的系统。图中用户100正佩戴着头戴式显示器(HMD)102。HMD 102以类似于眼镜、护目镜或头盔的方式佩戴，并且被配置来向用户100显示视频游戏或其他内容。借助于提供紧靠用户眼睛的显示机构(例如，光学器件和显示屏)和输送到HMD的内容的格式，HMD 102被配置来向用户提供沉浸式体验。在一个实施例中，HMD 102可向用户的每一只眼睛提供显示区，所述显示区占据用户的大部分或甚至全部视野。HMD显示屏可具有约30帧/秒(Hz)至约500帧/秒(Hz)的刷新率。在一个实现方式中，HMD显示屏可具有约60Hz或约120Hz的可选刷新率。

在一个实施方案中，HMD 102可连接到计算机106。到计算机106的连接122可为有线或无线的。计算机106可为任何通用或专用计算机，包括但不限于：游戏控制台、个人计算机、膝上型计算机、台式计算机、移动装置、蜂窝电话、平板计算机、精简型客户端、机顶盒、媒体流式传输装置等。在一些实施方案中，HMD 102可直接连接到网络110(诸如互联网)，这样就可直接实现云游戏而不再需要单独的本地计算机。在一个实施方案中，计算机106可被配置来执行视频游戏(和其他数字内容)，并且输出来自视频游戏的视频和音频，以供HMD102呈现。计算机106在本文中还可称为客户端系统106，所述客户端系统106在一个实施例中是视频游戏控制台。

在一些实施方案中，计算机106可为本地或远程计算机，并且计算机可运行仿真软件。在云游戏实施方案中，计算机106是远程的，并且可由多种可在数据中心虚拟化的计算服务表示，其中游戏系统/逻辑可经虚拟化并通过网络110分配给用户。

用户100可操作控制器104来提供视频游戏的输入。在一个实施例中，相机108可被配置来捕获用户100所处的交互式环境的图像。可分析这些捕获到的图像，以便确定用户100、HMD 102和控制器104的位置和移动。在一个实施方案中，控制器104包括一个灯具(或多个灯具)，可追踪所述灯具以确定控制器的位置/定位和姿态。另外，如下文更详细地描述，HMD 102可包括一个或多个灯具200A-K，在游戏玩演期间可将所述灯具200A-K作为标记，以便大体上实时地追踪以确定HMD 102的位置和姿态。

相机108可包括用于从交互式环境捕获声音的一个或多个麦克风。可对麦克风阵列捕获到的声音进行处理，以便识别声源的位置。可选择性地利用或处理来自所识别位置的声音，以便排除不是来自所识别位置的其他声音。此外，相机108可界定成包括多个图像捕获装置(例如，立体相机对)、IR相机、深度相机及其组合。

在一些实施方案中，计算机106可在计算机106的处理硬件上以本地方式执行游戏。可获得呈任何形式的游戏或内容，如物理媒体形式(例如，数字光盘、磁带、插件、拇指驱动器、固态芯片或插件等)，或经由网络110从互联网下载。在另一个实施方案中，计算机106充当通过网络与云游戏提供商112通信的客户端。云游戏提供商112可维护并且执行用户100正玩演的视频游戏。计算机106将来自HMD 102、控制器104和相机108的输入传输给云游戏提供商112，所述云游戏提供商112处理所述输入以影响正执行的视频游戏的游戏状态。来自正执行的视频游戏的输出(如视频数据、音频数据和触觉反馈数据)传输到计算机106。计算机106可在传输之前进一步处理所述数据，或可将数据直接传输到相关装置。例如，将视频流和音频流提供到HMD 102，然而将振动反馈命令提供到控制器104或其他输入装置(例如，手套、衣服、HMD 102、或其中的两个或更多个的组合)。

在一个实施方案中，HMD 102、控制器104和相机108自身可为连接到网络110的联网装置，以便与云游戏提供商112通信。例如，计算机106可为并不另外执行视频游戏处理但促进网络流量的流通的本地网络装置(如路由器)。HMD 102、控制器104和相机108到网络的连接124可为有线或无线的。在一些实施方案中，可从任何内容源120获得HMD 102上执行的内容或显示器107上可显示的内容。内容源的实施例可包括例如，提供可下载内容和/或流式内容的互联网站点。在一些实施例中，内容可包括任何类型的多媒体内容，如电影、游戏、静态/动态内容、图片、社交媒体内容、社交媒体网站等。

如下文将更详细地描述，在此类内容是沉浸式3D交互式内容的情况下，用户100可在HMD 102上玩游戏。当玩家玩演游戏时，HMD 102上的内容可分享到显示器107。在一个实施方案中，分享到显示器107的内容可允许用户100身边或远程的其他用户观看用户玩演游戏。在其他实施方式中，在显示器107上观看用户100玩游戏的另一个用户可与玩家100交互地参与游戏。例如，在显示器107上观看游戏玩演的用户可控制游戏场景中的角色、提供反馈、提供社交交互，和/或提供评论(通过文本、通过语音、通过动作、通过手势等)，这使得未佩戴HMD 102的用户能够与用户100、游戏玩演、或HMD 102中呈现的内容进行社交交互。

图2示出根据所公开实施方案的HMD 102。如图所示，HMD 102包括多个灯具200A-K(例如，其中200K和200J朝向HMD头带210的后部或后侧定位)。这些灯具中的每一个可配置成具有特定形状和/或位置，并且可配置成具有相同或不同颜色。灯具200A、200B、200C和200D布置在HMD 102的前表面上。灯具200E和200F布置在HMD 102的侧表面上。此外，灯具200G和200H布置在HMD 102的隅角处，从而跨越HMD 102的前表面和侧表面。将了解，可在用户藉以使用HMD 102的交互式环境的所捕获图像中识别所述灯具。

基于对灯具的识别和追踪，可确定HMD 102在交互式环境中的位置和姿态。将进一步了解，取决于HMD 102相对于图像捕获装置的具体位置和姿态，灯具200A-K中的一些灯具可为可见或不可见的。另外，取决于HMD 102相对于图像捕获装置的位置和姿态，可暴露灯具(例如，灯具200G和200H)的不同部分以供图像捕获。在一些实施方案中，在HMD 102中安置惯性传感器，所述惯性传感器在不需要灯具200A-K情况下提供关于定向的反馈。在一些实施方案中，灯具和惯性传感器一起工作，以便能够混合并选择位置/运动数据。

在一个实施方案中，灯具可被配置来向附近的其他人指示HMD 102的当前状态。例如，灯具200A-K中的一些或全部可配置成具有某一颜色布置、强度布置，配置成闪烁，配置成具有某一开/关组态、或指示HMD 102的当前状态的其他布置。举例来说，灯具200A-K可被配置来显示视频游戏的活跃游戏玩演期间(通常是发生在活跃时间轴期间或游戏场景内的游戏玩演)对于视频游戏的其他不活跃游戏玩演方面的不同配置，如导航菜单界面或配置游戏设置时(此期间游戏时间轴或场景可为不活跃或暂停)。灯具200A-K还可被配置来指示游戏玩演的相对强度等级。例如，灯具200A-K的强度或闪烁速率可随游戏玩演的强度增加而增加。

另外，HMD 102可包括一个或多个麦克风。在所示出的实施方案中，HMD 102包括限定在HMD 102前表面上的麦克风204A和204B，以及限定在HMD 102侧表面上的麦克风204C。通过利用麦克风204A-C的阵列，可处理来自每一个麦克风的声音以确定声源的位置。可以各种方式利用此信息，所述方式包括排除不良声源、使声源与视觉识别相关联等。

HMD 102还可包括一个或多个图像捕获装置。在所示出的实施方案中，HMD 102示出为包括图像捕获装置202A和202B。通过利用立体图像捕获装置对，可从HMD 102的视角捕获环境的三维(3D)图像和视频。此类视频可展示给用户，以在用户佩戴HMD 102时向用户提供“视频透视”能力。也就是说，虽然从严格意义上来说，用户不能透视HMD 102，但是图像捕获装置202A和202B捕获到的视频可提供功能等效物，其能够如同看穿HMD 102一样看见HMD102外部的环境。

此类视频可利用虚拟元素来增强，以便提供增强的现实体验，或可与虚拟元素以其他方式组合或混合。虽然在所示出的实施方案中，在HMD 102前表面上示出两个相机，但是将了解，可存在任何数目的面向外部的相机，或单个相机可安装在HMD 102上，并且定向在任何方向上。例如，在另一个实施方案中，HMD 102侧面上可安装有相机，以便提供对环境的附加全景图像捕获。在一个实施方案中，可使用正面摄相机(RCG和/或深度相机)来追踪用户的手或手套的位置和姿态以及运动。如以下将描述，来自由正面相机捕获的图像数据的信息可用于在与虚拟对象接合时，向用户提供更精细的分辨率和以其他方式改善的触觉反馈。

图3示出使用客户端系统106的游戏玩演的一个实施例，所述客户端系统106能够将视频游戏内容呈现到用户100的HMD 102。在这个图示中，提供给HMD 102的游戏内容处于丰富的交互式3-D空间。如上所论述，游戏内容可下载到客户端系统106，或在一个实施方案中可由云处理系统执行。云游戏服务112可包括用户140的数据库，允许用户140访问特定游戏、与其他朋友分享经验、发布评论以及管理他们的帐号信息。

云游戏服务112还可存储特定用户的游戏数据150，所述游戏数据150在游戏玩演、未来游戏玩演、分享到社交媒体网络期间可用，或用于存储奖品、奖项、状态、排名等。社交数据160也可由云游戏服务112管理。社交数据160可由单独的社交媒体网络管理，所述社交媒体网络可通过互联网110与云游戏服务112接合。通过互联网110，可连接任何数目的客户端系统106，以便访问内容并且与其他用户交互。

继续参考图3的实施例，在HMD 102中观看到的三维交互式场景可包括游戏玩演，如以3-D视图中示出的人物角色。一个人物角色(例如P1)可由佩戴HMD 102的用户100控制。这个实施例展示两个玩家之间的篮球运动场景，其中HMD用户100在3-D视图中在另一个人物角色上方把球扣入球篮。其他人物角色可为游戏的AI(人工智能)人物角色，或可由另外一个用户或多个用户(Pn)控制。图中展示了佩戴HMD 102的用户100在使用空间中四处走动，其中HMD可基于用户的头部移动和身体位置来四处移动。图中还示出了相机108定位在房间中的显示屏上方，然而，对于HMD 102的使用来说，相机108可放置在可捕获到HMD 102的图像的任何位置。正因为如此，图中用户100相对于相机108和显示器107转过了约90度，因为HMD 102中呈现的内容可取决于从相机108的视角看到的HMD 102的定位方向。当然，在HMD 102的使用期间，用户100将四处移动、转动头部、在各个方向上观看，这也会需要利用HMD呈现的动态虚拟场景。

图4示出根据所公开实施方案的在使用期间佩戴HMD 102的用户。在这个实施例中，示出了使用从外到内追踪过程来追踪402HMD 102，其中相机108追踪HMD 102的位置。相机108使用从相机108捕获到的视频帧获得的图像数据来追踪HMD 102的位置。在其他实施方案中，追踪也可以或替代地使用来自HMD本身的惯性数据。在各种实施方案中，追踪用户头部/HMD可包括从图像追踪和惯性追踪获得的混合数据。另外，图中展示了也可使用相机108捕获到的视频帧获得的图像数据来追踪404控制器。图中还展示了HMD 102藉以经由电缆406连接到计算系统106的配置。在一个实施方案中，HMD 102从相同电缆获得电力或可连接到另一条电缆。在又一个实施方案中，HMD 102可具有可再充电的电池，以便避免额外的电源线。在又一些其他实施方案中，可使用或不使用手套来追踪用户的手。

图5示出根据所公开实施方案的在用于由内到外的跟踪过程期间佩戴HMD 102的用户。在从内向外追踪过程中，使用从通过HMD 102中的一个或多个相机202A、202B捕获到的视频帧获得的图像数据来追踪HMD 102的位置。

对HMD 102运动的准确追踪允许计算机106预测适当的附加虚拟环境并将其呈现给HMD，使得在用户与虚拟环境交互时，随着用户沿一个方向或另一个方向移动、转动或倾斜HMD，用户以基本上无缝的方式体验虚拟环境中的虚拟场景之间的转换。如果没有足够准确或快速地检测到HMD 102的运动，所呈现的虚拟环境可能表现出延迟、不清楚、不平稳或以其他方式与用户不一致。

在一个实施方案中，计算机106可沿围绕用户的所有方向呈现所有虚拟环境。然而，沿所有方向呈现整个虚拟环境需要很强的计算能力和大量的存储器资源。在一些实施方案中，预先呈现沿所有方向的360度完整空间。然而，沿所有方向的动态内容、或者进入或离开场景的附加内容可能需要实时计算。在一些实施方案中，提前呈现虚拟环境，使得用户可沿所有方向查看虚拟环境。然而，例如像在用户从一个地方移动到另一个地方或从一个房间移动到另一个房间时，可能需要动态地添加一些内容，诸如虚拟环境的其他移动字符、对象、移动图标、文本或扩展内容。在其他实施方案中，计算机106呈现尽可能少的虚拟环境可能更有效和更快捷，然而在用户转动并移动穿过虚拟环境时，必须呈现足够的虚拟环境以便向用户展示无缝体验。这种呈现将是基于用户正在查看的位置的实时呈现。对HMD 102移动的准确检测允许计算机106确定附加虚拟环境，呈现附加虚拟环境，并且展示附加虚拟环境，这样当用户移动或转动便能够在HMD中看到对应于用户头部移动的虚拟环境。

如上所述，计算机106可使用来自固定相机108的图像数据、来自HMD中的相机202A、202B和HMD中包括的一个或多个惯性传感器224的图像数据及其组合来追踪HMD 102的位置和运动。在对应于用户的移动和转动以查看虚拟环境的那些附加部分的按需基础上，HMD 102的运动、位置和姿态的精确确定允许计算机106准确地预测和呈现附加虚拟环境。在一些实施方案中，可在用户将沿预测方向转动头部的预测预期下呈现并缓冲附加内容。

图6示出根据所公开实施方案的用户正在其中使用HMD 102的真实空间房间。一个或多个固定发射器608可为光源，所述光源可将多个固定点投射在墙壁602、604、地板606、天花板(未示出)和家具504-510，以及真实空间房间的其他特征(诸如窗户512、514、门516、电视机502等)上。固定点可为投射网格609的选定的相交点。发射器可为能够发射可见和不可见(例如，红外线、紫外线)光谱激光的激光发射器。在一些实施方案中，发射器可具有过滤器以便避免伤害人眼。可替代地，固定点可为投射的点、形状、符号、代码(诸如条形码和快速反应码)。多个发射器可经同步以产生多个光输出。可对多个光输出中的每一个进行调制或以其他方式进行唯一地编码。举例来说，可在时域和频域中对多个光输出中的每一个进行调制，这可允许每个投射点被唯一地编码。在一个实施方案中，发射器可包括两个或更多个发射器，其位于真实空间中并且能够发射激光以覆盖HMD将在其内移动的真实空间。HMD和/或带中的传感器将捕获来自发射器的从真实空间房间中的一个或多个表面反射的光，并且使用被触发或检测以接收反射光的传感器来计算HMD在真实空间中的位置、姿态和移动。

相机108可以感知网格图案中的固定点，并且识别网格图案内的相交点或其他特定点。应当注意，光源608可将网格图案609投射在人类可见光谱或电磁光谱的其他人类不可见部分(诸如微波、紫外线、红外线、或电磁谱的其他部分)。

可在使用HMD 102期间连续地投射网格图案。可替代地，诸如在开始使用HMD 102时可发生的位置和姿态或校准过程期间，可暂时或周期性地投射网格图案609以供计算机106映射真实空间房间，和/或在使用HMD期间可间歇性地投射网格图案609。

在另一个实现方式中，(使用)多个、时序光投射，其中可在一个时间段内投射多个点中的每个点。举例来说，可在第一时间段内投射多个点中的第一点，然后可在第二时间段内投射多个点中的第二点等，其中针对对应的时间投射多个点中的后续点。类似地，可在第一时间段内投射多个点的第一子集，然后可在第二时间段内投射多个点的第二子集。子集可为分离的和离散的，或者可替代地可与一个或多个子集中的分享投射点重叠。在又一个实现方式中，可能以时分复用的开/关序列对多个点中的每个点的投射进行编码。取决于用于捕获从投射点反射的光的传感器的类型，开/关照明的变化可能以高频(KHz或更高)发生。

还应注意，网格图案609示为在每个网格线之间具有选定距离的矩形网格。矩形网格图案只是任何合适图案中的示例性图案，诸如三角形、或多边形、或梯形、或其他形状、或球形图案及其组合可用于网格609。真实空间房间上的投射点不需要以规则方式周期性地间隔开，并且可通过对于计算机106已知的或可由计算机106确定的不规则间隔来不规则地间隔开。

网格图案609允许计算机106分析来自固定相机108和相机202A、202B和/或其他传感器(诸如HMD 102中的PSD)的图像数据，以便在HMD移动时以及在HMD的位置和姿态变化时，通过比较从网格图案中的选定的固定点A-H反射的对应角度光来确定HMD的精确或近似位置和姿态或运动。

在一个实施方案中，计算机106可使用来自固定相机108和相机202A、202B以及其他传感器(诸如可安装在HMD 102和/或HMD的带210中的光电二极管和光传感器)的图像数据，以便确定真实空间房间中的物理对象上的选定的物理点A'-H'(诸如一个或多个窗户512、514的拐角A'-E'或一件家具504-510上的线交点)、或真实空间房间中固定对象502、516上的其他选定的物理点的相对位置。所计算的点A'-H'可用于确定HMD 102的精确位置和姿态或运动。

图7A示出根据所公开实施方案的用户正在其中使用HMD 102的真实空间房间。图7B是根据所公开实施方案的处于两个不同位置的HMD 102、以及用于确定HMD位置的矢量的图。安装在HMD 102中的相机202A、202B中的一个或多个可为立体相机，尽管类似技术可用于多个PSD传感器。立体相机202A、202B可包括中心视线矢量CV穿过的光学中心。可通过校准以及像素与角偏转之间的关系来确定中心视线矢量CV。

立体相机202A、202B可使用立体视觉来确定到选定的光斑(诸如点K)的距离(例如，长度AK)。相对于中心矢量CV的像素位置加上通过立体视觉测量的相机与选定的点之间的距离(诸如长度AK和AF)提供了相对于参照系的点位置。

在时间t1，HMD 102处于第一位置/定向A。至少两个标记的光点(诸如点K和F)位于立体相机202A、202B的视野中。在时间t1，可在相机的参照系中确定两个点K与F之间的中心视线矢量CVt1。

在时间t2，HMD 102移动到新的位置/定向B。从位置/定向B来看，相同的两个选定的光点K和F位于立体相机202A、202B的视野中。在时间t2，可在相机的参照系中确定光点K与F之间的中心视线矢量CVt2。

在时间t1，HMD 102处于位置/定向A，并且相机的中心视线矢量CVt1作为主轴。选定的点K的位置由像素角θ1的距离AK*sin/cos给出。

可将位置/定向A指定为原点，以便确定相对于位置/定向A的位置/定向B。

中心视线矢量CVt1和CVt2在点Q处相交。可确定在中心视线矢量CVt1与CVt2之间的HMD 102的角定向改变α。可使用点K和F的以下三角关系、使用相应角度θ1、θ2、ω1、ω2和α来确定角定向改变α。

Bx＝(AK sinθ1)/BK(sinα*cosω1+cosα*sinω1)

By＝(AK cosθ1)/BK(cosα*cosω1-sinα*sinω1)

其中AK是时间t1时处于位置/定向A的HMD 102与点K之间的长度。BK是时间t2时处于位置/定向B的HMD 102与点K之间的长度。Bx是时间t2时处于位置/定向B的HMD 102相对于时间t1时的位置/定向A的X坐标，并且By是时间t2时处于位置/定向B的HMD 102相对于时间t1时的位置/定向A的Y坐标。

上述计算也可应用于确定处于位置/定向A的HMD相对于位置/定向B的位置/定向。计算两者可提供HMD的更准确的位置/定向。

在另一个实现方式中，可选择多于两个点。举例来说，可根据位置/定向A和B中的每一个以及相应时间t1和t2来分析点K、F和L。还可选择多于三点。选定的点数仅受限于可供选择的点数和执行对应计算所需的处理时间。使用多于两个点也可改善确定HMD的位置/定向的准确性。HMD的位置/定向也可使用加速度计数据，以便进一步提高计算精度。

在一个实现方式中，可使用时间顺序编码来唯一地识别点。可以修改上述技术以虑及顺序选择点的时间差。在使用以上过程的情况下，随时间建立特征(诸如光点)的模型，然后针对传感器202A、B可检测到的每一帧，算法基于来自先前测量和计算的似然改变对该模型进行最大努力匹配。

图8是根据所公开实施方案的用于追踪HMD 102的移动、位置和姿态的系统850的简化示意图。系统850包括游戏控制台106，其耦接到云网络110和云游戏提供商112以及内容源120。游戏控制台106还耦接到头戴式显示器102、诸如用户输入装置812的其他外围装置(例如，手套、控制器、运动控制器、惯性传感器、灯具控制器、磁控制器等)。

游戏控制台106包括内容选择模块816、输入装置接口814、VR空间生成模块818和HMD移动模块820。内容选择模块816包括内容接口817和虚拟现实内容选择模块810。

在操作中，内容接口817从各种内容源120接收虚拟现实内容。根据通过输入装置接口814和HMD移动模块820从各种输入装置接收的输入，内容选择模块810从内容接口817选择虚拟现实内容的适当部分。举例来说，当用户沿向左方向转动HMD时，HMD移动模块820从HMD上的一个或多个传感器和/或来自HMD外部并朝向HMD定向的相机接收输入，所述相机检测到HMD的向左移动，并且将该左转数据提供给VR内容选择模块810。VR内容选择模块810在内容接口817中选择对应的VR内容。内容接口817将选定的VR内容输出到VR空间生成模块818。VR空间生成模块818生成在HMD 102中展示的虚拟环境或空间，如以上在图8A中所述。

图9是根据所公开实施方案的内容源120的简化示意图。内容源120包括若干模块，所述若干模块包括VR内容库920。VR内容库920内包括多个内容空间922A-n。VR内容926提供VR内容选择模块810所需的数据，以便限定在HMD 102上显示的虚拟空间。对象空间映射模块828限定在虚拟空间中显示的各种虚拟对象的位置。

对象3D空间配置模块930提供所显示对象的3D特征。这些3D特征可包括所显示对象的重量、形状、纹理和颜色。

对象声音简档932提供对应于所显示虚拟对象和虚拟空间的声音。例如，在HMD上显示的虚拟空间中存在风使树叶沙沙作响的声音、远方的雷声和动物声音。对象物理简档934提供在虚拟空间中显示的各种对象的物理运动和纹理特征。VR内容选择模块810和VR空间生成模块使用虚拟空间内所显示对象的运动、纹理、声音、位置和姿态以及定位中的每一个，以便在HMD 102上显示的VR空间中生成对象。

图10是示出根据所公开实施方案的在追踪HMD 102的移动时执行的方法操作1000的流程图。在操作1005中，通过HMD 102将虚拟空间展示给用户。也向用户展示存在于虚拟空间中存在的各种虚拟对象。在操作1010中，在真实空间中移动HMD。举例来说，用户可将HMD向左或向右转动。

在操作1015中，游戏控制台106提供对应于HMD的移动的附加虚拟环境。由于用户在虚拟环境中转动和移动时将虚拟环境展示给用户，这为用户提供了平滑的扫描感觉。在一个实施方案中，用户得到的感知就好像其周围的虚拟空间完全呈现了一样。

图11是示出根据所公开实施方案的在追踪HMD 102的移动时执行的方法操作1100的更详细流程图。在操作1105中，映射真实空间。真实空间是要在其中使用HMD 102的房间或其他空间。诸如图6A和图6B所描述，可通过识别真实空间表面上的多个固定点来映射真实空间。

在操作1110中，确定HMD的初始位置和姿态。相对于真实空间中的选定的固定点来确定HMD初始位置和姿态。在操作1115中，将HMD的初始位置和姿态提供给游戏控制台106。HMD的初始位置和姿态包括由相机或安装的惯性传感器或其他传感器(诸如安装在HMD上的光电检测器和光电二极管)捕获的一个或多个图像。

在操作1120中，向用户展示虚拟环境。可通过HMD 102展示虚拟环境。通过HMD 102展示的虚拟环境对应于HMD的初始位置和姿态。

在操作1125中，相对于真实空间移动HMD 102，诸如用户在真实空间中转动或踮脚或前后迈步。在操作1130中，检测HMD的移动。可通过包括从内向外过程的一个或多个过程来检测HMD的移动，所述从内向外过程包括在移动HMD时捕获一个或多个图像。图像可由集成到HMD的相机捕获。

在操作1135中，将检测到的HMD运动传输到HMD移动模块。HMD移动模块820确定当前捕获的图像与至少一个之前捕获的图像之间的差异，以便在操作1140中确定输出到VR空间生成模块818的HMD移动变化数据。

在操作1145中，VR空间生成模块识别要在HMD上呈现和展示的附加虚拟环境，并且将所识别的附加虚拟环境输出到内容选择模块816中的内容接口817。在操作1150中，内容选择模块816呈现附加虚拟环境，并且在操作1155中将所呈现的附加虚拟环境展示给HMD。举例来说，当转动或移动HMD时，在HMD显示器上展示附加虚拟环境，使得HMD在真实空间中的移动平滑地对应于HMD在虚拟环境中的移动。

如上所述，如果HMD的移动操作继续，那么继续操作1125到1155。当HMD不再在真实空间中运动时，方法操作可结束。

参考图12，图中示出了根据所公开实施方案的头戴式显示器102的实施例部件的图。应理解，取决于启用的配置和功能，HMD 102可包括或不包括或多或少的部件。头戴式显示器102可包括用于执行程序指令的处理器2000。提供存储器2002用于存储目的，并且存储器2002可包括易失性存储器和非易失性存储器。包括显示器2004，所述显示器提供用户可观察的视觉界面。

显示器2004可由单个显示器界定或可呈单眼单屏的形式。当提供两个显示屏时，有可能分别提供左眼和右眼视频内容。举例来说，将视频内容单独展示给每只眼睛可提供对三维(3D)内容更好的沉浸式控制。如上所述，在一个实施方案中，通过使用针对单眼的输出，第二屏幕107具备HMD 102的第二屏幕内容，随后格式化所述内容以供2D格式的显示。在一个实施方案中，单眼可为左眼视频馈送，而在其他实施方案中，可为右眼视频馈送。

电池2006可提供为头戴式显示器102的电源。在其他实施方案中，电源可包括插座连接式电源。在其他实施方案中，可提供插座连接式电源和电池2006。运动检测模块2008可包括各种运动敏感硬件中的任一种，如磁力计2010、加速计2012和陀螺仪2014。

加速计2012是用于测量反作用力引起的加速度和重力的装置。单轴和多轴(例如，六轴)模型能够检测不同方向上的加速度的量级和方向。加速度计用于感测倾斜度、振动和冲击。在一个实施方案中，使用三个加速计2012来提供重力方向，所述重力方向给出两个角度(自然空间纵摇和自然空间横摇)的绝对参考。

磁力计2010测量头戴式显示器附近的磁场的强度和方向。在一个实施方案中，在头戴式显示器内使用三个磁力计2010，从而确保自然空间偏航角的绝对参考。在一个实施方案中，磁力计被设计为跨越±80微特斯拉的地球磁场。磁力计受金属影响，并且提供与实际偏航存在单调变化关系的偏航测量。磁场可由于环境中的金属而扭曲，从而导致偏航测量的偏差。如果有必要，可使用来自其他传感器(如陀螺仪或相机)的信息来校准此偏差。在一个实施方案中，一起使用加速计2012与磁力计2010，以便获得头戴式显示器102的倾斜度和方位角。

陀螺仪2014是用于基于角动量的原理来测量或维持位置和姿态的装置。在一个实施方案中，三个陀螺仪2014基于惯性感测来提供关于移动越过相应轴线(x、y和z)的信息。陀螺仪帮助检测快速旋转。然而，陀螺仪在不存在绝对参考的情况下可能会随时间而漂移。这就需要定期重新设置陀螺仪，所述重新设置可使用其他可利用的信息来完成，所述信息如基于对对象、加速计、磁力计等的视觉追踪的位置和姿态确定。

提供相机2016来用于捕获真实环境的图像和图像流。HMD 102可包括一个以上相机(任选地)，其包括后置相机(当用户正在观看HMD 102的显示器时背离用户)和前置相机(当用户正在观看HMD 102的显示器时朝向用户)。另外，HMD 102可包括深度相机2018，以用于感测真实环境中的对象的深度信息。

HMD 102包括用于提供音频输出的扬声器2020。还可包括麦克风2022，以用于从真实环境捕获音频，所述音频包括来自周围环境的声音、用户的语音等。HMD 102包括用于向用户提供触觉反馈的触觉反馈模块2024。在一个实施方案中，触觉反馈模块2024能够引起HMD 102的移动和/或振动，以便向用户提供触觉反馈。

提供LED 2026作为头戴式显示器102的状态的视觉指示器。举例来说，LED可指示电池电量、通电等。提供读卡器2028来使头戴式显示器102从存储卡读取信息和将信息写入到存储卡。包括USB接口2030，作为用于实现连接手持式外围装置或连接其他装置(诸如其他便携式装置、计算机等)的接口的一个实施例。在HMD 102的各个实施方案中，可包括各种接口中的任一种来实现HMD 102的更强连接性。

可包括WiFi模块2032，以用于实现经由无线联网技术来连接到互联网。HMD 102还可包括用于实现无线连接到其他装置的蓝牙模块2034。还可包括通信链路2036，以用于连接到其他装置。在一个实施方案中，通信链路2036利用红外线传输来进行无线通信。在其他实施方案中，通信链路2036可利用用于与其他装置通信的各种无线或有线传输协议中的任一种。

包括输入按钮/传感器2038，以便为用户提供输入接口。可包括各种输入接口中的任一种，诸如按钮、手势、触摸板、操纵杆、轨迹球等。HMD 102可包括超声波通信模块2040，以用于促进经由超声波技术与其他装置的通信。

包括生物传感器2042，以便实现来自用户的生理数据的检测。在一个实施方案中，生物传感器2042包括一个或多个干式电极，其用于通过用户皮肤、语音检测、眼睛视网膜检测来检测用户的生物电信号以识别用户/简档等。

已将HMD 102的前述部件描述为仅仅是可包括在HMD 102中的示例性部件。在本发明的各个实施方案中，HMD 102可包括或可不包括前面提及的各种部件中的一些部件。HMD102的实施方案可另外包括目前未描述、但在本领域已知的其他部件，以用于促进如本文所述的本发明的方面的目的。

本领域技术人员将理解，在本发明的各个实施方案中，可结合显示器上所显示的交互应用程序来利用前面提及的手持式装置，以提供各种交互功能。本文所述的示例性实施方案仅作为实施例提供而不具限制性。

在一个实施方案中，如本文所提及的客户端和/或客户端装置可包括头戴式显示器(HMD)、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、电话亭、无线装置、数字垫、独立装置、手持式玩游戏装置和/或类似装置。通常，客户端被配置来接收经编码的视频流，对视频流进行解码，并且将所得的视频展示给用户(例如游戏玩家)。接收经编码的视频流和/或对视频流进行解码的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。可在与客户端成一体的显示器上或在监视器或电视机等单独装置上将视频流展示给用户。

可视情况对客户端进行配置，以使其支持一个以上游戏玩家。举例来说，游戏控制台可被配置来支持两个、三个、四个或更多个同时用户(例如，P1、P2……Pn)。这些用户中的每一个可接收或分享视频流，或单个视频流可包括特别针对每个玩家而生成(例如，基于每个玩家的视角而生成)的帧的区。任何数目的客户端可为本地的(例如，位于同一地点)或地理上分散的。游戏系统中所包括的客户端的数目可从一个或两个广泛变化到几千个、几万个或更多个。如本文所使用，术语“游戏玩家”或“用户”用于指玩游戏的人，并且术语“游戏玩演装置”用于指用于游戏玩演的装置。在一些实施方案中，游戏玩演装置可指协作来向用户传送游戏体验的多个计算装置。

举例来说，游戏控制台或HMD可与视频服务器系统合作来传送通过HMD观看的游戏。在一个实施方案中，游戏控制台从视频服务器系统接收视频流，并且游戏控制台将所述视频流或对所述视频流的更新转发给HMD和/或电视机以供呈现。

更进一步来说，HMD可用于观看所生成或所使用的任何类型的内容和/或与之交互，如视频游戏内容、电影内容、视频剪辑文件内容、网页内容、广告内容、比赛内容、博弈游戏内容、电话会议/会谈内容、社交媒体内容(例如，帖子、消息、流媒体、朋友的活动和/或游戏玩演)、视频部分和/或音频内容、以及经由浏览器和应用程序来自网络来源的制作以供消耗的内容，以及任何类型的流式内容。当然，前述列举的内容不具有限制性，因为任何类型的内容均可呈现，只要其可在HMD中观看或呈现到屏幕或HMD的屏幕即可。

客户端还可(但不要求)包括被配置来用于修改接收到的视频的系统。例如，客户端可被配置来：进一步执行呈现，以将一个视频图像叠加到另一个视频图像上，修剪视频图像，和/或类似操作。举例来说，客户端可被配置来接收各种类型的视频帧，如I帧、P帧和B帧，并且被配置来将这些帧处理成图像以向用户展示。在一些实施方案中，客户端的构件被配置来对视频流进一步执行呈现、阴影处理、转换成3-D、转换成2D、失真消除、设定尺寸或类似操作。客户端的构件任选地被配置来接收一个以上的音频或视频流。

客户端的输入装置可包括：例如，单手游戏控制器、双手游戏控制器、手势识别系统、目光识别系统、语音识别系统、键盘、操纵杆、指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、相机、还未开发出的输入装置，和/或类似装置。

视频源可包括呈现逻辑，例如存储在存储器等计算机可读媒体上的硬件、固件和/或软件。这个呈现逻辑被配置来基于游戏状态创建视频流的视频帧。呈现逻辑的全部或部分任选地安置在一个或多个图形处理单元(GPU)内。呈现逻辑通常包括被配置来用于确定对象之间的三维空间关系且/或用于基于游戏状态和视角来应用适当纹理等的处理级。呈现逻辑可生成已编码的原始视频。举例来说，可根据Adobe 标准、HTML-5、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.、Xvid.、FFmpeg、x264、VP6-8、realvideo、mp3等对原始视频进行编码。编码过程生成视频流，任选地将所述视频流打包以便传送到装置上的解码器。视频流是由帧大小和帧速率来表征。典型的帧大小包括800x600、1280x 720(例如720p)、1024x 768，1080p，但是可使用任何其他帧大小。帧速率是每秒的视频帧数目。视频流可包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用来刷新显示装置上的全部宏块/像素的信息，而P帧包括用来刷新所述宏块/像素的子集的信息。P帧的数据大小通常小于I帧。如本文中所使用，术语“帧大小”意在指帧内的像素数。术语“帧数据大小”用来指存储所述帧所需的字节数。

在一些实施方案中，客户端可为通用计算机、专用计算机、游戏控制台、个人计算机、膝上型计算机、平板计算机、移动计算装置、便携式游戏装置、蜂窝电话、机顶盒、流媒体接口/装置、智能电视机或联网显示器，或能够被配置来满足如本文所定义的客户端功能性的任何其他计算装置。在一个实施方案中，云游戏服务器被配置来检测用户正利用的客户端装置的类型，并且提供适合用户的客户端装置的云游戏体验。举例来说，可使图像设置、音频设置和其他类型的设置针对用户的客户端装置达到最佳化。

图13示出信息服务提供商架构的实施方案。信息服务提供商(ISP)2170向地理上分散并且经由网络2150连接的用户2182传送大量信息服务。ISP可能仅传送一种类型的服务(诸如股票价格更新)或各种服务(诸如广播媒体、新闻、体育、游戏等)。另外，每个ISP提供的服务都是动态的，即可能会在任何时间点添加或删除服务。因此，向特定个人提供特定类型服务的ISP可随时间而变化。举例来说，当用户在她的家乡时，用户可由接近用户的ISP提供服务，并且当用户到不同城市旅游时，用户可由不同ISP提供服务。家乡ISP将所需的信息和数据传输到新的ISP，使得用户信息“跟随”用户到新的城市，从而使数据更靠近用户并且容易访问。在另一个实施方案中，可在主ISP与服务器ISP之间建立主-服务器关系，所述主ISP管理用户的信息，而服务器ISP在主ISP的控制下与用户直接接合。在另一个实施方案中，当客户端在世界范围内移动时，数据从一个ISP传输到另一个ISP，以使处于适合向用户提供服务的较好位置的ISP成为传送这些服务的ISP。

ISP 2170包括应用服务提供商(ASP)2106，所述应用服务提供商通过网络向客户提供基于计算机的服务。使用ASP模型提供的软件有时也称为按需软件或软件即服务(SaaS)。提供对特定应用程序(如客户关系管理)的访问权的简单形式是通过使用标准协议，如HTTP。应用软件驻留在供应商的系统上，并且由用户通过使用HTML的网页浏览器、通过供应商提供的专用客户端软件或其他远程接口如精简型客户端来访问。

在广泛的地理区域范围内传送的服务常常使用云计算。云计算是一种计算方式，其中通过互联网提供可动态扩展和通常虚拟化的资源作为服务。用户无需是支持用户的“云”中的技术基础架构方面的专家。云计算可分为不同服务，如基础架构即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务常常提供从网络浏览器访问的在线共用商业应用程序，而软件和数据存储在服务器上。基于在计算机网络图中如何描绘互联网以及其隐藏的复杂基础架构的抽象概念，将术语“云”用作互联网(例如，使用服务器、存储和逻辑)的隐喻。

此外，ISP 2170包括游戏处理服务器(GPS)2108，所述游戏处理服务器供游戏客户端玩演单个玩家或多玩家视频游戏。通过互联网玩演的大多数视频游戏均经由连到游戏服务器的连接来操作。通常，游戏使用专用的服务器应用程序，所述服务器应用程序收集来自玩家的数据，并且将其分发给其他玩家。这比点对点布置更高效且更有效，但是其需要单独的服务器来托管服务器应用程序。在另一个实施方案中，GPS建立玩家与他们的相应玩演游戏装置之间的通信来交换信息而无需依赖集中化GPS。

专用GPS是独立于客户端运行的服务器。此类服务器通常在位于数据中心的专用硬件上运行，从而提供更大的带宽和专用的处理能力。专用服务器是托管大多数基于PC的多玩家游戏的游戏服务器的优选方法。大型多玩家在线游戏在通常由软件公司(所述软件公司拥有游戏版权)托管的专用服务器上运行，从而允许所述专用服务器控制并更新内容。

广播处理服务器(BPS)2110向观众分配音频或视频信号。对非常小范围的观众广播有时称为窄播。广播分配的最后一站是信号如何到达听众或观众，并且如同无线电电台或电视台，所述信号可从空中到达天线和接收器，或可通过有线电视或有线广播(或“无线电缆”)经由电台或直接通过网络到达。互联网还可给接收者带来无线电或电视，专门借助可实现信号和带宽分享的多播。过去，广播受地理区域限定，如国家广播或区域广播。然而，在快速互联网扩散的今天，广播不再受地理位置限定，因为内容可到达全世界几乎任何国家/地区。

存储服务提供商(SSP)2112提供计算机存储空间和相关管理服务。SSP还提供定期备份和归档。通过提供存储作为服务，用户可根据需要订购更多的存储空间。另一个主要优点在于，SSP包括备份服务，并且用户在其计算机的硬盘驱动器发生故障时，不会丢失全部数据。此外，多个SSP可具有用户数据的全部或部分拷贝，从而允许用户独立于用户所处的位置或正用于访问数据的装置以高效方式访问数据。举例来说，当用户移动时，用户可访问家用计算机中以及移动电话中的个人文件。

通信提供商2114提供到达用户的连接性。一种通信提供商是提供对互联网的访问权的互联网服务提供商(ISP)。ISP使用适于传送互联网协议数据报的数据传输技术连接其客户，所述数据传输技术如拨号上网、DSL、电缆调制解调器、光纤、无线或专用高速互连件。通信提供商还可提供消息收发服务，如电子邮件、即时消息收发和SMS短信收发。另一种类型的通信提供商是网络服务提供商(NSP)，所述网络服务提供商(NSP)通过提供到互联网的直接主干访问来销售带宽或网络接入。网络服务提供商可由电信公司、数据运营商、无线通信提供商、互联网服务提供商、提供高速互联网接入的有线电视经营商等组成。

数据交换2104使ISP 2170内部的若干模块互连，并且经由网络2150将这些模块连接到用户2182。数据交换2104可覆盖ISP 2170的全部模块均于其内紧邻的小型区域，或当不同模块在地理上分散时，可覆盖较大的地理区域。举例来说，数据交换2104可包括数据中心的机柜内的快速千兆位以太网(或更快)，或洲际虚拟局域网(VLAN)。

用户2182利用客户端装置2120来访问远程服务，所述客户端装置2120包括至少一个CPU、一个显示器和I/O。客户端装置可为PC、移动电话、上网本、平板计算机、游戏系统、PDA等。在一个实施方案中，ISP 2170识别客户端所使用的装置的类型并且调整所采用的通信方法。在其他状况下，客户端装置使用标准通信方法(如html)来访问ISP 2170。

本发明的实施方案可通过各种计算机系统配置来实践，包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。本发明也可在分布式计算环境下实践，其中由通过基于有线或无线的网络链接的远程处理装置来执行任务。

考虑到以上实施方案，应理解，本发明可采用涉及存储于计算机系统中的数据的各种计算机实施的操作。这些操作是需要对物理量进行物理操纵的操作。本文中描述的形成本发明的各种实施方案的部分的任何操作都是有用的机器操作。本发明的若干实施方案还涉及用于执行这些操作的装置或设备。所述设备可出于所要求的目的而专门构造，或所述设备可为由存储于计算机中的计算机程序选择性地启动或配置的通用计算机。具体来说，各种通用机器可与根据本文的教示所编写的计算机程序一起使用，或者可更方便地构造更专门的设备来执行所要求的操作。

本发明的各种实施方案也可体现为计算机可读介质上的计算机可读代码。所述计算机可读介质是可存储数据的任何数据存储装置，所述数据随后可由计算机系统读取。计算机可读介质的实施例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储装置。计算机可读介质可包括分布在网络耦合计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。

尽管以特定顺序描述了所述方法操作，但应理解，其他内务处理操作可在操作之间执行，或者可调整操作以使得它们在略微不同的时间发生，或者可分布在如下系统中，所述系统允许处理操作以与所述处理相关的各种时间间隔发生，只要重叠操作的处理以所需方式执行即可。

尽管为了理解的清晰性目的而略微详细地描述了前述发明，但很显然，可在所附权利要求的范围内实践某些变化和修改。因此，本发明的各种实施方案应被认为是说明性而非限制性的，并且本发明不限于本文所给出的细节，而是可在所描述的实施方案的范围和等效物内进行修改。

Claims (19)

1.一种用于处理头戴式显示器(HMD)的位置内容的系统，其包括：

计算装置，其与用户输入装置和所述HMD接合，所述计算装置包括：

输入装置接口，其用于从用户输入装置或所述HMD接收输入，所述输入装置接口处理用于选择供在所述HMD中显示的内容的指令；

虚拟现实空间生成模块，其用于以虚拟现实场景的形式在所述HMD中呈现选定的内容；以及

HMD移动模块，其用于追踪所述HMD在真实空间中的移动并且用于识别所述HMD在所述真实空间中的第一位置和姿态，所述HMD移动模块向所述虚拟现实空间生成模块提供HMD位置和姿态变化数据，以用于呈现对应于所述HMD在所述真实空间中的第二位置和姿态的所述虚拟现实场景的附加内容；以及

真实空间映射系统，其耦接到所述计算装置，所述真实空间映射系统包括：

光源，其用于将多个光点投射在所述真实空间的至少一部分上；以及

相机，其与所述HMD集成以用于捕获所述多个光点的图像；

其中通过所述HMD移动模块使用来自由所述相机捕获的所述图像的所述多个点来确定所述第二位置和姿态。

2.如权利要求1所述的系统，其中所述HMD移动模块能够分析由所述相机捕获的所述图像以便识别所述真实空间中的多个固定点。

3.如权利要求2所述的系统，其中提供HMD位置和姿态变化数据包括：

将所述HMD识别为所述第一位置和姿态；

选择所述多个固定点中的至少两个；

确定选定的固定点与处于所述第一位置和姿态的所述HMD之间的第一相对距离；

将所述HMD识别为所述第二位置和姿态；

确定所述选定的固定点与处于所述第二位置和姿态的所述HMD之间的第二相对距离；以及

将所述第一相对距离与所述第二相对距离进行比较，以便确定所述HMD位置和姿态变化数据等于所述第一位置和姿态与所述第二位置和姿态之间的差异。

4.如权利要求2所述的系统，其中所述虚拟现实空间生成模块被配置为在呈现所述虚拟现实场景时，取决于所述HMD的走向的至少一个位置和姿态而连续地生成用于所述HMD的附加内容。

5.如权利要求2所述的系统，其中对由所述相机捕获的所述图像或多个图像的分析用于检测所述HMD在真实空间中的位置，其中所述HMD在真实空间中的所述位置转换为所述HMD在所述虚拟现实场景中的位置，其中所述HMD用于识别所述用户输入装置与所述虚拟现实场景中的虚拟对象之间的交互。

6.如权利要求2所述的系统，其中所述多个固定点包括所述多个光点的至少一部分。

7.如权利要求2所述的系统，其中所述多个固定点包括安置在所述真实空间中存在的一个或多个固定对象上的多个识别点中的至少一部分。

8.如权利要求1所述的系统，其中从所述计算装置的本地存储装置或通过网络中的一个或两个来访问被选择以在所述HMD中显示的所述内容。

9.如权利要求1所述的系统，其中所述光源将所述多个光点投射在所述真实空间的至少所述部分上作为校准操作的部分，其中所述多个光点的至少一个图像被保存为参考图像。

10.如权利要求1所述的系统，其还包括，

安置在所述HMD中的至少一个惯性传感器，所述惯性传感器生成运动数据，所述运动数据可供所述计算装置使用以确定供用于观看所述虚拟现实场景的所述HMD的对应位置和姿态；

其中使用所述对应位置和姿态，以便使用所述真实空间映射系统来补充由HMD位置和姿态变化数据确定的位置和姿态。

11.一种用于追踪用于呈现虚拟现实场景的头戴式显示器(HMD)的方法，所述HMD包括用于呈现所述虚拟现实场景的显示屏，所述方法包括：

使用集成在所述HMD的外表面上的至少一个装置来捕获图像数据，所述图像数据捕获所述HMD所处的真实空间；

处理所述图像数据以便识别投射在所述真实空间中的表面上的至少两个光点；

继续所述捕获和所述处理以便识别所述所捕获的图像数据中的所述至少两个光点的位置变化，所述位置变化识别所述HMD在所述真实空间中的位置和姿态变化；

其中所述位置和姿态变化被配置来自动控制对所述HMD的所述显示屏上呈现的所述虚拟现实场景的呈现调整，所述调整包括所述虚拟现实场景的视图透视的变化以及所述虚拟现实场景的附加内容的呈现中的一个或两个。

12.如权利要求11所述的方法，其中投射在所述真实空间中的所述表面上的所述至少两个光点由光发射器投射。

13.如权利要求11所述的方法，其中以所述HMD的所述追踪继续发生的帧速率继续执行所述捕获。

14.如权利要求11所述的方法，其中所述位置和姿态变化由连接到所述HMD的计算装置确定，并且所述计算装置被配置来控制对所述HMD的所述显示屏上呈现的所述虚拟现实场景的调整的呈现。

15.如权利要求11所述的方法，其还包括：

在所述真实空间中的所述位置和姿态变化期间检查所述HMD的惯性数据，在所述HMD上生成的所述惯性数据用于提供在自动控制呈现调整时可使用的附加追踪变量。

16.一种头戴式显示器(HMD)，其包括：

外壳，其包括用于显示与虚拟现实场景相关联的图像的屏幕；

感测装置，其集成在所述外壳的外表面上；以及

处理器，其用于控制由所述感测装置对图像数据的捕获，所述图像数据捕获所述HMD所处的真实空间，连同被检测以供发射器投射到所述真实空间的表面上的至少两个光点，所述处理器被配置来在所述真实空间中的所述HMD的位置追踪期间将所述图像数据连续地传输到计算装置，所述处理器被配置来基于所述图像数据中的所述至少两个光点的位置变化来识别所述HMD的位置和姿态变化，所述处理器还被配置来基于所述所识别的位置和姿态变化来接收要在所述屏幕上呈现的所述虚拟现实场景的内容；

其中所述位置和姿态变化导致对所述虚拟现实场景的视图透视以及所述虚拟现实场景的附加内容的呈现中的一个或两个的自动调整。

17.如权利要求16所述的HMD，其还包括：

与所述外壳集成的惯性传感器，所述惯性传感器向所述处理器提供运动数据以用于确定位置、位置和姿态或加速度中的一个或多个。

18.如权利要求16所述的HMD，其中所述感测装置是以下各项中的一个：相机或红-绿-蓝(RGB)相机或红外(IR)相机或摄像机或深度相机或位置感测装置(PSD)。

19.如权利要求16所述的HMD，其中所述发射器是以下各项中的至少一个：光发射器或激光发射器或红外发射器或可见光谱能量发射器，并且其中所述发射器位于所述真实空间中与所述HMD分离的固定位置处并且指向所述表面。