CN111930223A - 用于观看计算机生成的环境并与其互动的可移动显示器 - Google Patents

Abstract

本文公开了一种用于观看增强虚拟混合及组合的现实环境的系统。该系统计算出可移动显示器在真实空间内的位置和方向，并将其转换为在考虑到观看者的头部位置的同时能在可移动显示器上适当地呈现内容。可以使用各种类型的追踪器来生成可移动显示设备和观看者头部的移动和位置数据。

Description

用于观看计算机生成的环境并与其互动的可移动显示器

技术领域

本公开内容涉及一种用于观看增强虚拟混合的和扩展现实环境的可移动显示器。

背景技术

虚拟现实和增强现实头戴式设备或头戴式显示器已周期性地流行起来，又从公众视线中淡出。最近，这些类型的显示器实现了从游戏到虚拟“访问”再到真实场所的各种类型的增强和虚拟现实体验。临场感在相对较大的范围内也变得越来越可行。

然而，使用头戴式显示器(HMD)的主要缺点之一是它们通常会完全覆盖佩戴者的眼睛。这使个人与他或她在使用头戴式显示器时可能进行的任何社交活动隔离开来。并且，如果没有一些外部显示器将该内容流式传输到该显示器，观看者或附近的其他人不会看到HMD的屏幕上正在发生什么。与传统的电视视频游戏不同，这种使用头戴式显示器来玩游戏的方式会降低所有参与者的愉快体验，因为这些体验通常会变的孤独。对于这些类型的体验，目前多人体验相对有限。

发明内容

本发明公开了一种用于观看计算机生成的内容的系统，其特征在于，包括：一可移动显示器，其含有显示屏；至少一个追踪器，用于追踪所述可移动显示器；一计算设备，配置成生成所述计算机生成的内容；所述可移动显示器配置成能通过使用所述至少一个追踪器检测所述可移动显示器相对于观看者头部的移动，通过所述计算设备改变对应于所述可移动显示器相对于观看者头部的移动的计算机生成内容的观看区域，通过：生成表示所述可移动显示器在真实空间中的位置和方向的矩阵；生成表示观看者头部的第二位置和第二方向的第二矩阵；将所述矩阵和所述第二矩阵合并成最终矩阵；以及基于所述最终矩阵在所述可移动显示器上显示所述计算机生成的内容。

其中，还包括用于检测观看者头部的所述第二位置和所述第二方向的头戴式追踪器。

其中，所述第二矩阵部分地使用所述第二位置和所述第二方向的一对偏移量来生成，所述的这对偏移量代表观看者头部的一双眼睛。

其中，所述计算机生成的内容包括所述计算机生成的内容的两个不同的视角，每个视角代表基于所述这对偏移量的一只眼睛。

其中，所述计算设备还用于：生成表示第二位观看者头部的第三位置和第三方向的第三矩阵；将所述第三矩阵合并到所述最终矩阵中；以及基于所述最终矩阵在一第二可移动显示器上显示所述计算机生成的内容。

其中，所述计算设备还用于：检测第二位观看者头部的存在；生成表示第二位观看者头部的第三位置和第三方向的第三矩阵；将所述第三矩阵合并到所述最终矩阵中；以及基于所述最终矩阵将所述计算机生成的内容呈现在所述可移动显示器上，其中所述计算机生成的内容从第二位观看者头部的第三位置和第三方向适当地呈现。

其中，所述计算设备还用于：在所述最终矩阵中计算出与所述计算机生成内容相关的音频内容和触觉内容中的其中一个选定内容的第三位置；以及基于相对于所述第三位置的所述的观看者头部的所述第二位置，在所述最终矩阵中变动所选的该音频内容的一个音量和该触觉内容的一个强度。

本发明还公开了一种观看计算机生成的内容的方法，其特征在于，包括：在可移动显示器的显示屏上显示所述计算机生成的内容；使用至少一个追踪器追踪所述可移动显示器的移动；以及将所述可移动显示器相对于观看者头部的移动转换为通过以下方式改变在所述可移动显示器上显示的所述计算机生成内容的观看区域，即，通过生成表示所述可移动显示器的位置和方向的矩阵；生成表示观看者头部的第二位置和第二方向的第二矩阵；将所述矩阵和所述第二矩阵合并成最终的软件矩阵；以及基于所述最终矩阵在所述可移动显示器上显示所述计算机生成的内容。

其中，还包括使用头戴式追踪器检测观看者头部的第二位置和第二方向。

其中，所述第二矩阵部分地使用所述第二位置和所述第二方向的一对偏移量来生成，所述的这对偏移量代表观看者头部的一双眼睛。

其中，所述计算机生成的内容包括所述计算机生成的内容的两个不同的视角，每个视角代表基于所述这对偏移量的一只眼睛。

其中，还包括：生成表示第二位观看者头部的第三位置和第三方向的第三矩阵；将所述第三矩阵合并到所述最终矩阵中；以及基于所述最终矩阵在一第二可移动显示器上显示所述计算机生成的内容。

其中，还包括：检测第二位观看者头部的存在；生成表示所述第二位观看者头部的第三位置和第三方向的第三矩阵；将所述第三矩阵合并到所述最终矩阵中；以及基于所述最终矩阵将所述计算机生成的内容呈现在所述可移动显示器上，其中所述计算机生成的内容从所述第二位观看者头部的第三位置和第三方向适当地呈现。

其中，还包括：在所述最终矩阵中计算出与所述计算机生成内容相关的音频内容和触觉内容中的其中一个选定内容的第三位置；以及基于相对于所述第三位置的所述的观看者头部的所述第二位置，在所述最终矩阵中变动所选的该音频内容的一个音量和该触觉内容的一个强度。

本发明更公开了一种包含软件的设备，其特征在于，当处理器执行该软件时，该软件将使该处理器生成计算机生成的内容，该软件用于指示所述处理器：在可移动显示器的显示屏上显示所述计算机生成的内容；使用至少一个追踪器追踪所述可移动显示器的移动；以及将可移动显示器相对于观看者头部的移动转化成通过以下方式改变在可移动显示器上显示的计算机生成内容的观看区域，即，通过生成表示所述可移动显示器的位置和方向的矩阵；生成表示所述观看者头部的第二位置和第二方向的第二矩阵；将该矩阵和所述第二矩阵合并成最终的软件矩阵；以及基于所述最终矩阵在所述可移动显示器上显示所述计算机生成的内容。

其中，所述第二矩阵部分地使用所述第二位置和所述第二方向的一对偏移量来生成，所述的这对偏移量代表观看者头部的一双眼睛。

其中，所述计算机生成的内容包括所述计算机生成的内容的两个不同的视角，每个视角代表基于所述这对偏移量的一只眼睛。

其中，所述指令还指示所述处理器：生成表示第二位观看者头部的第三位置和第三方向的第三矩阵；将所述第三矩阵合并到所述最终矩阵中；以及基于所述最终矩阵在第二可移动显示器上显示所述计算机生成的内容。

其中，所述指令还指示所述处理器：检测第二位观看者头部的存在；生成表示第二位观看者头部的第三位置和第三方向的第三矩阵；将所述第三矩阵合并到所述最终矩阵中；以及基于所述最终矩阵将所述计算机生成的内容呈现在所述可移动显示器上，其中所述计算机生成的内容从第二位观看者头部的第三位置和第三方向适当地呈现。

其中，所述指令还指示所述处理器：在所述最终矩阵中计算出与所述计算机生成内容相关的音频内容和触觉内容中的其中一个选定内容的第三位置；以及基于相对于所述第三位置的所述的观看者头部的所述第二位置，在所述最终矩阵中变动所选的该音频内容的一个音量和该触觉内容的一个强度。

附图说明

图1是用于观看三维计算机生成内容的系统的概述。

图2是示例性计算设备的框图。

图3是用于观看三维计算机生成内容的系统的功能性框图。

图4是用于生成和观看三维计算机生成内容的过程的流程图。

图5是计算用于生成三维计算机生成内容的位置矩阵的过程的流程图。

图6是可移动显示设备的正视图。

图7是可移动显示设备的后视图。

图8是含有可移动显示设备、用户和各种其他对象的示例性六自由度实际位置。

图9是可移动显示设备的移动和根据三维计算机生成环境作出相应改变的转化示例。

由图10A和10B是将检测到的头部移动转化成根据三维计算机生成环境作出相应改变的示例。

贯穿本说明书，附图中出现的元件被分配了三位数的参考指示符，其中最高有效位是数字编号，而两个最低有效位是区分元件的。未用数字编号描述的元件可认为与先前描述的有着相同最低有效位的参考指示符的元件具有相同的特征和功能。

具体实施方式

术语“增强现实”(或AR)是指由摄像机捕获的真实世界的实况或接近实况的图像，当在屏幕上显示实况或接近实况的图像和对象时，将计算机生成的一个或多个对象叠加到该实况或接近实况的图像中，以使其看起来像是真实世界的一部分。显示屏或其他控件可以使增强现实技术随着所捕获的真实世界的图像表明真实世界的视角更新的改变而调整。

术语“混合现实”(或MR)指的是虚拟对象和空间以及真实现实对象的结合。它与增强现实密切相关，但是还可以包括，例如，处于不同真实位置的人的实际图像的投影，使用摄像头捕捉该人的图像，然后使用增强现实将该人叠加在不同的真实环境中。

术语“扩展现实”(或XR)指的是在一个计算机生成的图像内的真实位置和增强现实对象与虚拟现实对象的结合。“扩展现实”还可以包括虚拟现实内容。

术语“虚拟现实”(或VR)指的是完全由计算机生成的、具有至少某种控制系统能力的三维环境，通过该控制系统，用户可以在该环境中航行或移动。该控件可以是手持控制器、一个或多个视觉或其他追踪器、语音控件或一些其他控件。术语“结合现实”或“交叉现实”指的是用户可以在其中移动和互动的真实世界和计算机生成的三维图像的结合。

本文使用的术语“计算机生成的内容”指的是“增强现实”、“虚拟现实”、“混合现实”或“扩展现实”内容中的至少一种。“计算机生成的内容”明确排除固定显示器(如监视器、电视或投影仪)上的仅二维内容或仅传统的计算机生成的二维和三维图像。

本文使用的术语“追踪器”是追踪真实对象在真实空间中的移动的设备或系统。追踪器包括所谓的“内向外”追踪器和所谓的“外向内”追踪器以及SLAM(同步定位与地图构建)追踪，以及基于颜色、灯光分组或其他基于摄像头、红外或激光雷达的追踪系统。其他追踪器，特别是那些在自由空间中操作的追踪器，可以完全或部分依赖于电磁或超声波音频传输和接收，并计算这些特性的功率和传输时间。在特定地方使用的特定类型的追踪器将被特别命名。

设备说明

现在参考图1，示出了用于观看三维计算机生成内容的系统100的概述。系统100包括用户115使用的可移动显示设备110、一个或多个追踪器120、手持控制器125、头戴式显示器(HMD)130和计算设备140，所有这些都通过网络150互联。

可移动显示设备110是并入显示器的独立计算设备。可移动显示设备110可以是仅用于或主要用于充当计算机生成内容的显示屏的非常基本的计算设备。或者，可移动显示设备110可以结合高速和高效便携式处理器，该高速和高效便携式处理器通常与诸如移动电话和平板计算机的移动设备相关联。在可移动显示设备110为非常基本的计算设备的情况下，可移动显示设备110可以依赖于诸如计算设备140的外部计算设备来生成显示的计算机生成的内容。在可移动显示设备110结合高速和高效便携式处理器的情况下，可移动显示设备实际上可以是能够计算其自身在真实世界中的位置的独立设备，并且用于响应显示计算机生成的内容。

可移动显示设备110可以是小型显示设备，例如个人平板计算机或移动电话。或者，可移动显示设备110可以较大，例如计算机监视器或典型的平板电视。在使用较大的可移动显示设备的情况下，可移动显示设备可以安装在可移动臂上。这种臂可以部分地利用一个或多个追踪器来保持可移动显示设备110在用户视角前方的位置。无论大小如何，可移动显示设备110可以并入或不并入触摸屏能力。

可移动显示设备110可包括控件、按钮或其他系统，由此手持可移动显示设备110的用户可以与设备110或关联显示器上所示出的计算机生成的内容互动。或者，可移动显示设备110可以连接到手持控制器或以其他方式与诸如手持控制器125协同操作。

可移动显示设备110可以结合前置摄像头或后置摄像头或追踪系统，由此可移动显示设备110可以检测个人的头部或头戴式追踪器，从而在可移动显示设备110上生成或显示计算机生成的内容时将头部位置考虑在内。

可移动显示设备110包括追踪器112。追踪器112可以是单个追踪器或者可以是一系列追踪器或追踪器组件。在发明人预备的原型中，追踪器是一组已知模式的红外光，其设计成易于被外部红外摄像头检测。这就是所谓的外向内追踪器系统。红外光的特定分组和排列使计算机视觉系统能够处理这些光的排列，并确定追踪器(并由此确定可移动显示器)的位置和方向。换言之，该系统可以利用这些红外追踪器来确定三维真实环境中的俯仰、侧滚和偏航，从而可以在该环境内对可移动显示器进行“追踪”，并且可以将其移动转换到虚拟环境中，如下面更全面地讨论的。

在其他情况下，追踪器112可以是由内向外的追踪系统，其依赖于三维真实空间中的固定追踪器位置和可移动显示器本身上的一个或多个摄像机来追踪那些追踪器相对于可移动显示器的位置。这些追踪器位置可以全部或部分是追踪器120(下面将更全面地讨论)。以这种方式，可以确定可移动显示器在三维真实空间中的位置。其他系统仅依赖摄像头以及计算机视觉算法，或者依赖于在真实空间内红外或激光雷达点云的投影，然后利用红外或激光雷达摄像头来追踪这些点云，从而确定可移动显示器的位置、方向和旋转。无论哪种情况，都可以使用追踪器112。

另一追踪器114可以相对于用户115佩戴或固定在(例如)用户115的头上。以此方式，该用户头部的位置和可移动显示器110之间的转换可以计算为更新可移动显示器110上的计算机生成的内容的一部分过程。追踪器114可以独立于任何头戴式显示器。追踪器114可以像头带或其他无源式追踪器一样简单。在一些情况下，追踪器114可以仅仅是面对用户155头部并在用户115头部移动和旋转时追踪用户115头部的摄像头或深度传感器(或两者)。

追踪器120是逆向的追踪器或除追踪器112和任何包含在由用户115佩戴的其他组件(如HMD或追踪器114)之外的追踪器。追踪器120可以追踪头戴式显示器130、可移动显示设备110和手持控制器125中的每一个。追踪器120可以例如位于追踪器的外部，当系统100中的各种组件在三维真实空间内移动时，可用追踪器120来追踪它们。

手持控制器125可以是结合了一系列按钮、控制杆、触发器和/或保险杠的传统游戏控制器。手持控制器125可以专用于一组特定的计算机生成的内容。因此，例如，手持控制器125可以被塑造成用于钓鱼相关体验的钓鱼杆的形状，或者可以被塑造成用于星球大

主题体验的光剑的形状。也可以是塑造成其他形式的手持控制器。如上所述，手持控制器125可以只是控制器，但是它也可以并入追踪器。然后，当握住手持控制器125时手持控制器125可以用于追踪个人的手的移动(并且可能将其呈现在计算机生成的内容中)，而用户能够用手持控制器125的其他控件来与计算机生成的内容互动。

头戴式显示器(HMD)是可选的，并且可以仅在某些情况下使用，但是如果将其并入其他的话，它可以是并入显示器的头戴设备，该显示器通常完全覆盖佩戴者的眼睛，用于显示计算机生成的内容。头戴式显示器130可以是专门为该系统100设计的，也可以是最近流行的类型，例如

或

头戴式显示器。头戴式显示器130通常还包括一个或多个追踪器。头戴式显示器130可以用来代替追踪器114或除追踪器114之外追踪用户115的头部。头戴式显示器130对于系统100的功能不是必需的，但是可以在某些情况下使用。

计算设备140是在某些情况下可用于计算可移动显示设备110、追踪器112、114和追踪器120、手持控制器125和头戴式显示器130的适当视角和位置的一种计算设备(图2)。此外，计算设备140可以使用计算视角为每一个元件生成用于在可移动显示设备110上显示的计算机生成的内容。

计算设备140可以在所有情况下都存在，也可以不在所有情况下存在。具体地说，计算设备140示出为单独或独立的，但是在一些或大多数情况下它可以并入可移动显示设备110中。然而，一些特别高质量的计算机生成的内容需要非常强大的计算设备，例如，含有专为三维呈现而设计的精密图形处理能力的计算设备。在这种情况下，计算设备140可以与可移动显示设备110分离。

计算设备140示出为单台计算机，但实际上可以是分布在多个位置的多台计算机。计算设备140可以是在较大的真实服务器中间操作的一个或多个虚拟服务器。

网络150是用于互联系统100的各种组件的通讯媒介。网络150可以是或包括互联网、无线或有线网络、局域网或广域网和/或电话网络。网络的主要目的是使系统100的各种组件之间的通讯能够共享，从而可以产生增强现实或虚拟现实体验或游戏。

转到图2，其示出了示例性计算设备200的框图。可移动显示设备110、追踪器112、114和120、手持控制器125及头戴式显示器130可以为或包括诸如图2所示出的计算设备。计算设备200包括处理器210、存储器220、通讯接口230以及存储空间240和输入/输出接口250。其中一些元件可能存在，也可能不存在，具体取决于实际操作。此外，尽管这些元件彼此单独示出，但是在某些情况下，每个元件可以集成到另一个元件中。

处理器210可以是或包括一个或多个微处理器、微控制器、数字信号处理器、专用集成电路(ASIC)或片上系统(SOC)。存储器220可以包括易失性和/或非易失性存储器的组合，所述易失性和/或非易失性存储器包括只读存储器(ROM)、静态随机存储器、动态随机存储器和/或磁阻随机存取存储器(分别为SRAM、DRM、MRAM)，以及诸如闪存的非易失性可写存储器。

存储器220可以存储由处理器执行的软件程序和例行程序。这些存储的软件程序可包括操作系统软件。操作系统可包括支持通讯接口230的功能，例如协议栈、编码/解码、压缩/解压和加密/解密。所存储的软件程序可包括使计算设备执行在此描述的过程和功能的部分的应用程序或“应用”。本文使用的“存储器”一词明确不包括传播波形和瞬时信号。

通讯接口230可包括一个或多个有线接口(例如，通用串行总线(USB)、高清晰度多媒体接口(HDMI))、用于诸如硬盘驱动器、闪存驱动器或专有存储解决方案的存储设备的一个或多个连接器。通讯接口230还可以包括蜂窝电话网络接口、无线局域网(LAN)接口和/或个人无线局域网(PAN)接口。蜂窝电话网络接口可以使用一个或多个蜂窝数据协议。无线局域网接口可以使用

无线通讯协议或其他无线局域网协议。无线PAN接口可以使用有限范围的无线通讯协议，例如

或一些其他公共或专有的无线个人局域网协议。蜂窝电话网络接口和/或无线LAN接口可以用于与计算设备200外部的设备通讯。

通讯接口230可以包括射频电路、模拟电路、数字电路、一个或多个天线以及与外部设备通讯所需的其他硬件、固件和软件。通讯接口230可包括一个或多个专用处理器，以根据需要执行诸如显示、压缩/解压和加密/解密之类的功能，以便使用所选择的通讯协议与外部设备通讯。通讯接口230可以依赖处理器210来完全或部分地执行这些功能中的一些或全部功能。

存储空间240可以是或包括非易失性存储器，例如硬盘驱动器、设计用于长期存储的闪存设备、可写介质和专用存储介质，例如设计用于长期存储数据的介质。本文使用的“存储”一词明确不包括传播波形和瞬时信号。

输入/输出接口250可包括显示器和一个或多个输入设备，例如触摸屏、按键、键盘、触笔或其他输入设备。

图3是用于观看三维计算机生成内容的系统300的功能性框图。这与图1的许多实际组件相同，但是集中在每个设备的不同组件上。系统300包括可移动显示设备310，包括追踪器312、头戴式追踪器314、追踪器320、手持控制器325、头戴式显示器330和计算设备340。这里将不再详细描述参照图1讨论的那些组件。如参考图2所述，可移动显示设备310、头戴式追踪器314、追踪器320、手持控制器325、头戴式显示器330和计算设备340中的每一个可以是计算设备或包括计算设备。

可移动显示设备310包括环境软件311、显示器313、IMU(惯性测量单元)315、用户界面/控制系统317和摄像头319。

环境软件311是用于在可移动显示设备310的显示器313上呈现三维计算机生成内容的软件。环境软件311可以是为呈现计算机生成的内容而设计和优化的所谓“游戏引擎”软件的修改版本。如本文所讨论的，所做的一些修改是针对环境软件的能力，其不是基于来自控制器或键盘的输入，而是基于诸如头戴式追踪器314的一个或多个追踪器在真实空间中的位置来选择内容的视角。以这种方式，环境软件311可以基于两个真实对象(例如，头戴式追踪器314和可移动显示设备310)之间的相对位置来改变显示器313上的计算机生成内容的外观，而不是仅仅使用可移动显示设备310作为进入已经存在的三维世界的“窗口”，其中该设备是唯一的参照点。

显示器313用于向用户或观众显示计算机生成的内容。该显示器可以是由CFL或LED照明支持的LCD，或者可以是集成的OLED显示器或其他类型的显示器。显示器313可以结合能够使用户与显示器313互动的电阻式或电容式或光学的触摸屏能力。显示器313能够无源或有源的三维或立体显示。在无源系统中，可以使用透镜技术或使用偏振或彩色眼镜来实现三维效果。在有源系统中，传统上使用快门显示器(一个视频帧用于左眼，下一帧用于右眼)，其中电池供电的眼镜或类似结构与快门同步，以确保仅向每只眼睛呈现出给该只眼睛的视频帧，以区分显示器313呈现的两个不同的视角。如下面将更全面地讨论的，为每个给定用户的眼睛呈现两个不同的视角可以为计算机生成的内容呈现更充分实现的三维环境。

IMU 315是专门设计用于追踪计算设备在真实空间内的移动的集成传感器组。IMU315可具有周期性地或在请求时输出IMU相对于基线时间的计算位置改变的接口。该信息可以单独用于生成移动数据(例如，旋转和速度)，或者与其他传感器(例如，摄像头319或追踪器320)结合使用，以生成可移动显示设备310的位置和方向。IMU 315可包括一个或多个加速计、磁罗盘、一个或多个重力计，并且可包括计时器。其他传感器也可能包括在内。

用户界面/控制系统317可以全部或部分是硬件和软件。在一些情况下，用户界面/控制系统317可以包括可移动显示设备310外部上的一个或多个按钮、开关、操纵杆、刻度盘或旋钮。在其他情况下，用户界面/控制系统317可以全部是软件，用户通过与显示器313(例如，触摸屏显示器)互通的基于软件进行互动或通过外部控制器(例如，手持控制器325)进行互动。用户界面/控制系统317使用户能够与可移动显示设备310互动。这些互动可以是选择菜单系统内的元件、启动或退出环境软件311、或与环境软件311互动(例如，开枪、开门、发起视频呼叫、或与另一玩家或计算机控制的角色交谈)。

摄像头319在所有情况下都可以存在，也可以不存在。摄像头319可以是前置(即，面向用户)或后置(即，背向用户)，并且可以是一个或多个摄像头(例如，摄像头阵列)。摄像头319可以用于追踪可移动显示设备310在真实空间中的定位、位置和方向，或者用于追踪用户(例如，面部追踪)，或者两者兼而有之。摄像头319可以是RGB视频摄像头。摄像头319可以是或包括红外阵列和红外摄像头，用于创建景深阵列并追踪它们，以帮助在真实空间中追踪可移动显示设备310。

追踪器312可以安装到可移动显示设备310的外部或并与其中。追踪器312可以是有源的或无源的，并且可以由附加的外部追踪器或摄像头辅助。追踪器312与可移动显示设备310的集成简化了用于在真实空间中追踪它们的软件。例如，如果一系列红外光被用作可移动显示设备312外部上的无源追踪器，并且它们被外部追踪器(例如，追踪器320)追踪，则基于这些红外光的预期配置的软件使得追踪它们成为比(例如在自由空间中)仅仅追踪人体更受约束。

上面讨论了头戴式追踪器314和追踪器320。该讨论在此不再重复。

手持控制器325包括追踪器323和控制输入329。它还可以包括IMU 327。追踪器323非常像可移动显示设备310上的追踪器312，用于追踪手持控制器在真实空间的三维空间中的真实位置。以此方式，例如，当用户握住可移动显示设备310和手持控制器325时，环境软件311可以将两者的真实位置集成以生成并入两者的计算机生成的内容(例如，将可移动显示器用作计算机生成内容中的“窗口”，并且同时将手持控制器325集成到该计算机生成的内容中)。因此，在计算机生成的内容中经由手持控制器325挥动虚拟网球拍可以被集成并反映在计算机生成的内容中相对于真实位置的相同虚拟位置中。

追踪可以完全基于追踪器323。然而，已示出了集成追踪器323和IMU 327的数据通常比单独工作更准确。IMU 327以与IMU 325大致相同的方式操作。

控制输入329可以是按钮、操纵杆、转盘、旋钮和其他控制输入，其使得用手持控制器325的用户能够与手持控制器325互动，从而与环境软件311互动。这种互动可以是从菜单中选择、发射武器、挥动网球拍或几乎任何其他互动。

头戴式显示器330包括环境软件331、显示器333、追踪器335和IMU 337。环境软件331基本上有着与环境软件311描述的相同的功能。显示器333的功能与显示器313的功能类似，而追踪器335有着与追踪器312类似的功能。最后，IMU 337用于头戴式显示器330的目的与IMU 315用于可移动显示设备310的目的类似。

然而，头戴式显示器330被设计为佩戴在用户的头上。在用户佩戴头戴式显示器330的情况下，头戴式追踪器314可以不是必需的，或者在某些情况下，可以由除了佩戴头戴式显示器的个人之外的其他人佩戴。例如，在单人体验中，用户可以佩戴头戴式显示器330(代替头戴式追踪器314)并使用手持控制器325与体验互动，同时第二位用户(或一组用户)使用可移动显示设备310从第三视角观看体验。在这样的示例中，一组用户中的一位用户可以改为佩戴(一个或多个)头戴追踪器314来计算该用户的适当视角，而不中断单个玩家的体验。在其他情况下，HMD 330可以结合增强现实能力，例如使用头戴式显示器330上的摄像头(未示出)的直通图像，并且在这种情况下，头戴式显示器330的追踪器335可以代替头戴式追踪器314。在更典型的示例中，用户可以在佩戴追踪器314来追踪该用户的视角的同时使用可移动显示设备310。另一位用户可以可选地佩戴HMD330来从不同的角度观看用户正在体验的相同的计算机生成的内容。

计算设备340包括环境软件341和追踪器融合343系统。这里的环境软件341更适于实际生成计算机生成的内容。计算设备340可以是并入一个或多个专用图形处理卡或组件的个人计算机。在这种情况下，环境软件341可以作为服务器来执行呈现计算机生成的内容，该计算机生成的内容仅转换为用于在可移动显示设备310和/或头戴式显示器330。在其他情况下，可以完全不需要使用单独的计算设备340，或者可以将单独的计算设备340集成在可移动显示设备310和/或头戴式显示器330内。

追踪器融合343从追踪器312、314、320和335中的每一个接收各种追踪器数据，并将该数据集成到适于环境软件341使用的形式中，以生成每个关联设备的计算机生成内容的相关视角。这可以包括从可移动显示设备310(考虑了由头戴式追踪器314检测到的用户头部位置)和可以由另一个人佩戴的头戴式显示器330的角度来呈现计算机生成的内容。手持控制器325可以在计算机生成的内容中相对于可移动显示设备310和头戴式显示器330两者的位置来表示。所有这些数据都由追踪器融合343集成，并提供给环境软件341呈现。与环境软件341一样，追踪器融合343可以在专用硬件上更有效地操作，但是追踪器融合软件可以集成到可移动显示设备310中和/或集成到头戴式显示器330中。

过程说明

图4是用于生成和观看三维计算机生成内容的过程的流程图。该过程在开始405之后启动并且延续到结束495。该过程可以延续，直到其被终止或者直到没有了可移动显示单元的移动的进一步更新。

首先，在开始405之后，系统可以校准到真实空间410。这可能并不是在所有情况下都存在，因为系统可能先前已被校准到真实空间。或者，该系统可以结合自校准能力(例如，在初始化时检测墙壁和地板的红外传感器，从而将起点设置为真实(x，y，z)坐标空间中的原点(0，0，0)。

当存在时，410处的校准被设计为给各种组件(例如，头戴式显示器、可移动显示设备、手持控制器和各种追踪器；见图1和图3)设置基线。屏幕提示可以指示用户如何放置或佩戴各种部件以执行校准。一个典型的例子将是佩戴(一个或多个)头戴式追踪器312并将可移动显示设备310保持在大约腰部高度，然后触摸可移动显示设备310的屏幕以设置用户相对高度的基线以及对用户来说最自然的位置和方向。各种追踪器可以使用该校准阶段为每个组件设置检测到的位置、方向和旋转(例如，俯仰、侧滚、偏航)。或者，红外或激光雷达光束的投影可以从可移动显示设备或其他追踪器弹出，并且可以用于检测各种组件在真实空间内的真实位置。

在校准之后，可以在420显示计算机生成的内容。这涉及可移动显示器或计算设备的操作以在显示器上生成计算机生成的内容。在该阶段，在可移动显示器上显示计算机生成的内容的初始状态。它还可以显示在正在使用的任何头戴式显示器上，并且如果外部显示器可用(例如，电视屏幕)，则可能显示在外部显示器上。计算用户头部相对于可移动显示设备的初始视角，并且使用这些初始视角来生成计算机生成的内容的图像，该图像对于该头部相对于可移动显示的关联视角而言是准确的。该初始计算机生成的内容可以是为初始化阶段设计的一组基线内容，并且可以跟随任何介绍视频或互动。

接下来，在425，追踪器312、314和320(图3)用于检测可移动显示设备的移动。使用追踪器312、314和320中的一个或多个和/或任何设备中的任何集成IMU来检测该移动。该操作可以采取多种形式，但最常见的是，由外向内追踪器320包括追踪可移动显示器上的那些摄像机可见的一个或多个红外光的移动的红外摄像机。在校准之后，该位置仅仅是该可移动显示器到另一位置的平移。那些追踪器320将平移输出为相对于原点(例如，(x，y，z)坐标空间中的(0，0，0))或真实空间中该可移动显示器的起始点的相对位置。IMU可以为可移动显示器提供附加的或者有时是唯一的旋转和向上、向下或向前和向后运动的指示，通常作为对移动或旋转速度以及总移动或旋转距离的估计。

如果存在可移动显示设备的移动(425处“是”)，则在430处生成新的六自由度矩阵。下面参照图5更全面地讨论这一点，但简而言之，每个被追踪设备(可移动显示设备310、头戴式显示器330、手持控制器325等)的相对位置信息可以由六自由度矩阵表示。然后，环境软件341可以在它们各自的位置并以它们各自的方向和旋转将那些矩阵合并到相关联的计算机生成的内容中。所有这些数据可以相对于(在(x，y，z)轴上)将真实世界中的运动与虚拟世界中的相应运动相结合的商定的(0，0，0)位置。类似地，围绕任何轴的旋转(通过四元数表示)也可以包括在这样的矩阵中。正在进行的运动可以表示为矢量。

接下来，可以在420使用在430生成的最新更新的六自由度矩阵来生成和显示计算机生成的内容。这可以反映可移动显示设备的新位置和方向。空间旋转可以包括相对方向(例如，相对于追踪器或固定初始方向)或绝对旋转(例如，相对于另一个对象或位置固定)。也就是说，可移动显示设备的真实移动可以被转化成计算机生成内容的虚拟环境。对于可移动显示设备，这至少意味着相关联的计算机生成内容的视角将改变。

例如，用户首先在虚拟环境中直视可移动显示器。然后，用户将可移动显示器向他或她的左侧移动90度，然后可以更新显示器上所示的计算机生成的内容以示出虚拟环境中的移动，因为用户相对于原点的视角，并且他或她的头部(使用(一个或多个)头戴式追踪器314)已经改变。可以合并平移系数，使得现实世界中的90度转弯可以是虚拟世界中的180度转弯(或45度)。同样，平移系数可能会导致真实世界中仅一英尺左右的运动，从而在真实世界中转换为数十英尺或数百英尺。

如果该可移动显示设备没有移动(425处“否”)，则该过程继续以在435确定是否有任何其他设备移动。这是头戴式追踪器314、头戴式显示器330或手持控制器325的移动。如果是(435处“是)，则在430计算更新的六自由度矩阵，并且在420更新和显示计算机生成的内容。

如果没有改变(435处“否”)，则在445处确定显示内容的过程是否应该通过用户动作或用户没有动作或者由于任何设备根本没有移动(例如，超时)而结束。如果不是(445处“否”)，则在420处继续不改变地显示计算机生成的内容。如果是(445处“是”)，则该过程结束。以此方式，该过程可以基于任何设备的移动来继续更新可移动显示设备和任何其他显示器，直到该过程应该在结束495处终止。

图5是计算用于生成三维计算机生成内容的位置矩阵的过程的流程图。该过程跟随505处的开始，并继续到结束595。

该过程从在510检测真实空间开始。可以用几种方式检测真实空间。一种是如以上参考图4所述的校准。此外，在该示例中，用户可以输入距离，或者追踪器320可以帮助用户检测和记录它们之间的距离。使用立体照相法和几何学，从两个追踪器320的距离可以用来导出从追踪器到诸如墙或可移动显示器的对象的距离。类似地，红外阵列可以创建点云，并使用由红外摄像头检测到的该点云的变形来检测真实位置的参数。还存在其他方法，例如使用激光雷达钻机。

该步骤将可移动显示器(和任何其他真实设备)定向到计算机生成的内容。在此阶段，每个组件的基线都已设置。在一些情况下，可以在该阶段为用户的眼睛(或眼睛)设置相对于头戴式追踪器314的偏移。该检测可能需要几个时钟周期来生成每个设备的真实位置的平均值。这有助于解决抖动和错误采样。所有设备都被检测到，并以变量的形式设置到相对于原点的位置(例如，(x，y，z)坐标中的(0，0，0))。在此阶段，系统可以通过屏幕上提示来指示用户如何定位可移动显示设备或其他设备。

在此阶段，可以设置作为真实设备的虚拟化版本的各个虚拟“追踪器”。这些是可以在计算机生成的内容中表示的有意的软件简化，但是仅通过设备在空间中的坐标以及任何方向或旋转数据来实现对设备的简化引用。为了易于转换到虚拟空间，这些软件构造可以具有空间中的单个“点”(例如，中心点)和由单个矢量表示的方向。这样，它们更容易在虚拟世界中表示，并且如果需要在各个组件之间进行通讯，关联的数据也相对较小。所有这些检测都可以依赖于真实空间内系统可用的各种追踪器。

在检测到真实空间之后，在520创建计算机生成的三维内容。这里，例如使用修改的视频游戏引擎来创建计算机生成的内容。纹理被应用于模型，并且按照相关软件的指示在显示器上表示三维对象。增强现实内容可以叠加在真实世界的实际图像上。

这可以只是在主要由现实的视频表示组成的增强现实环境中的真实空间中设置的单个三维对象。或者，在某些情况下，环境可以完全由计算机生成。这由用户例如通过启动用于计算机生成的内容的应用或特定环境软件来选择。

接下来，在530，用户或软件将真实空间中检测到的移动和大小的比例设置为计算机生成的内容。这可以是用户选择的比例(例如，对应于真实对象的1：1比例)，或者可以由计算机生成内容的设计者设置。或者，这可以基于在510中检测到的真实空间的大小来设置，使得内容与该真实空间相对应。当进行缩放时，计算机生成的内容的模型和纹理无源态调整大小以对应于所选的比例。在该阶段，例如，在增强现实内容的情况下，可以缩放内容以适当地适应给定的真实空间，或者可以缩放以使得用户能够从适当的角度体验完全的虚拟现实内容(例如，家是走过前门的合适大小，以适当的速率平移移动以不感觉异常迟缓或快速等)。

接下来，在540设置计算机生成内容的任何偏移。这可以由软件自动完成，或者由用户部分或全部完成。这些偏移量可以是用于诸如距头戴式追踪器的真实偏移量(其可以距可移动显示设备的观看者的实际眼睛几英寸)的组件与用户的眼睛的真实偏移量。类似地，显示位置应该在可移动显示设备中居中。用户可以将手持控制器放在他或她的腰部中央，但是特定的计算机生成的内容(例如，网球比赛)可以使用户期望控制器在用户的一只手中的虚拟“右边”。这些偏移量和其他偏移量为可移动显示设备、头戴式追踪器、手持控制器和头戴式显示器设置基线。在即将到来的计算机生成的内容中可以看到这些偏移。

包括真实空间、比例和任何偏移的所有基线数据以矩阵形式存储(四元数可用于计算)，然后在550用于显示计算机生成的内容。内容可以最初以初始化状态显示。即使在第一状态中，也至少通过考虑头戴式追踪器和可移动显示设备在真实空间中的位置来计算内容的视角矩阵。这使得在可移动显示设备上所示的视角对于持有显示器的用户是准确的。以此方式，可以向用户呈现对应于可移动显示器的移动和他或她的头部的移动的视角。

为此，可以使用用于用户头部和可移动显示器的结构。追踪器可以生成对应于位置和相关联的方向(例如，显示器和头部各自面向哪个方向)的数据。这两个分量可以合并以生成适当的视角矩阵。甚至可移动显示设备和(多个)头戴式追踪器之间的距离也可以在真实空间中检测并在虚拟空间中重新创建。其可以被直接转换(例如，真实世界中的1.5英尺在虚拟世界中是1.5英尺)，或者使用在530设置的比例因子来更大或更小的距离。类似地，可以考虑任何偏移(例如，对于用户的眼睛)。然后，可以使用相对于用户头部的可移动显示器的所有信息来生成视角矩阵。

眼睛偏移量可以是单个值，例如眼睛之间的“中心”比头戴式追踪器低3英寸。或者，可以独立地计算或设置眼睛偏移量。在这种情况下，可以为两个位置校准和使用每只眼睛的位置(例如，向下3英寸，向右和向左1.5英寸)。在立体显示器的情况下，两个偏移校准可能是最有帮助的。在那里，可以分别为每只眼睛计算独立的视角矩阵。然后，可以生成两个视角，并且(下面讨论)可以创建两个最终呈现视角，每只眼睛一个视角。然后，可以使用这两个独立的视角来为每只眼睛适当地呈现计算机生成的内容。根据需要，可以使用适当的显示器和观察器(例如，偏振眼镜)。

多只眼睛的偏移量可以是瞳孔间距离(以头戴式追踪器为中心)向下偏移一定距离(例如，3英寸)。或者，每一个都可以输入到软件中或由用户估计。或者，可以通过使用瞳孔追踪的外部摄像机或使用瞳孔追踪的立体摄像机来检测眼睛偏移。

由于显示器是可移动的，因此可以容易地将其从一个人手中递给另一个人。在使用瞳孔追踪或者其中将头戴式追踪器从一个用户的头部和戴上时按下的追踪器上的按钮移除(例如，通过按下追踪器上的按钮来检测)而戴在另一个用户的头上的情况下，偏移和相关联的视角可以自动更新以适当地计算了新用户。以此方式，如果检测到这样的移除和替换，或者如果检测到新的、更靠近或更分开的眼睛，则系统可以自动且快速地将其自身定向到手持显示器的新用户。

值得注意的是，在使用两个偏移(每只眼睛一个)的情况下，可以为该视角计算每只眼睛的位置和方向。人们可以想象这样一种情况，在这种情况下，眼睛总是被期望在y轴上的同一位置。这可以简化数学运算，但是在用户以一定角度倾斜他或她的头的情况下，这会导致体验的真实感大大降低。因此，如果相对于(一个或多个)头戴式追踪器的位置和方向不断地追踪和更新每只眼睛的全三维位置，则也可以独立地为每只眼睛适当地计算视角矩阵，即使这些眼睛处于不同的高度、深度或旋转。

接下来，可以计算摄像头矩阵。该矩阵是计算机生成的内容上的可移动显示器(或任何显示器，诸如头戴式显示器或一些其他视角图)的表示。随着可移动显示设备在真实空间中移动，其对计算机生成的世界的视角也会发生变化。这是为整个矩阵计算的第二个视角图。该矩阵是可移动显示设备的真实取向(由各种追踪器检测)到虚拟世界的平移。

为了计算摄像头矩阵，获得基于在540找到的(多个)偏移量计算的用户眼睛(或在立体摄影的情况下的眼睛)的位置，并且获得可移动显示器在空间中的位置。还使用追踪器320确定任一个的任何旋转。摄像头矩阵的设计使得用户的眼睛是摄像头的“中心”。在典型的视频游戏环境中，显示器(例如监视器)的中心是游戏世界内的摄像头位置。在这里，摄像头实际上是从显示器向后投影的，而可移动的显示器只是作为进入那个世界的“窗口”。因此，摄像机矩阵将位置和旋转定义为计算了眼睛位置的矩阵。

一旦视角矩阵(或多个视角矩阵)和摄像头矩阵都已知，就可以通过将这两个矩阵相乘以得到组合呈现矩阵来计算最终呈现视角。将针对可移动显示设备在真实空间(相对于虚拟空间)中的位置和使用头戴式追踪器检测到的用户头部两者适当地呈现该最终呈现矩阵(或用于立体摄影的矩阵)。

其他设备(例如，手持控制器或头戴式显示器)也可以在虚拟环境内在它们各自的位置上表示。在一些系统中，摄像机可以追踪个人或身体部位(例如，手)，并且还可以计算机生成的内容来表示个人或身体部位。在用于立体显示的最终呈现矩阵的情况下，一旦在虚拟空间中追踪了对象或其他设备，则在一个或两个最终呈现矩阵中自动适当地表示那些对象。具体地说，摄影机矩阵的矩阵保持不变，因此将从该视角可见的任何对象合并到该摄影机矩阵中时，也会自动包含这些对象的适当视角。因此，当创建最终呈现矩阵时，对象也同样被表示。

可以设置其他偏移量，例如，用户的耳朵或用户的左耳和右耳的偏移量，从而可以基于用户在空间中相对于虚拟空间的真实位置或基于可移动显示设备在虚拟空间内的位置，向戴耳机的用户呈现适当的空间声音，同时在空间中进行互动或在房间中收听扬声器。在典型情况下，估计直接位于用户耳朵之间的单个点。这可以基于眼睛偏移量或基于头戴式追踪器独立设置。

例如，使用这些偏移量，如果用户将可移动显示设备非常靠近枪声，但是在开枪时马上将可移动显示设备放置在紧靠该枪的左侧，则声音可以主要从右侧扬声器发出。如果用户面对可移动显示设备的方向正好相反，紧挨着相同的枪声，它可能会听起来像是从用户的左侧传来的。这可以以与计算用户的手或可移动显示设备本身的位置大致相同的方式来计算。

类似地，可以包括空间化触觉。例如，如果通过结合了触觉的控制器或追踪器来表示用户的手，则可以使用追踪(一个或多个)头戴式追踪器和可移动显示器的相同追踪器在自由空间中追踪该手或控制器的移动。随着用户的“手”(由该控制器或触觉设备(例如，触觉手套)表示)向虚拟扬声器或鸣枪移动得更近，触觉可以增加以为该手提供身临其境的感觉，如果该手是真实世界的表示，则该手将出现在相关联的声音或真实振动附近。触觉可以以如上所述的很大程度上空间化声音的方式被定位到虚拟空间内的位置。

在显示内容之后，然后在555确定是否已更新任何设备(例如，可移动显示设备、头戴式追踪器、手持控制器、头戴式显示器)的运动数据。这可以使用追踪器312、314或320和/或任何IMU。如果检测到任何设备的位置改变，即运动。如果根本没有移动(在555处为“否”)，则该过程可以在595处结束。

然而，如果检测到移动(555处“是”)，则在560处可以更新组成可移动显示设备和每个其它设备的位置信息的矩阵。任何设备的任何移动都应反映在计算机生成的内容中，但是可移动显示器的移动或头戴式追踪器的相对移动将导致需要对视角矩阵和/或摄像头矩阵进行更新，这将改变呈现矩阵。在560处重新计算关联矩阵。然后，在570，更新计算机生成的内容，使得计算机生成的内容中的虚拟对象对应于这些改变，并在550显示。

图6是从正面看到的可移动显示设备610，可移动显示设备610包括显示器613。还可以包括摄像头619。摄像头619可以是红外、RGB或摄像头阵列。可移动显示设备610是手持的，因此可以看到用户的手635通过手柄618握住可移动显示设备610。然而，不需要手柄618。在某些情况下，手柄618可能是不必要的，在其他情况下，手柄618可能是非常有帮助的。在另一些情况下，可移动显示设备610可以安装在可移动或机械臂上以沿计算设备的方向移动，例如以将可移动显示保持在相对于用户注视的特定位置。

图7是从背面看到的可移动显示设备710(与可移动显示设备610相同)。可以主要从其背面追踪可移动显示设备710(例如，使用外部追踪器)。虽然其他追踪器可以在可移动显示设备710的两侧，但是出于说明的目的，在背面示出了几个追踪器。这里，追踪器712包括追踪器712'、712”、712”'和其它(未标记)的追踪器的阵列。追踪器712是用肉眼可能看不见的红外光。但是，如上所述，其他追踪器系统也是可能的。追踪器712以可以用来执行追踪的外部红外摄像机相对容易识别的图案的示例的“T”图案示出。

可移动显示设备710还可以包括摄像头719和719'。这些被示为两个摄像头719和719'，以指示摄像头719和719'可以是摄像头阵列，并且它们一起操作。多个摄像头更适合执行视觉追踪。并且，这些摄像机719和719'可以单独使用或与追踪器712结合使用，以执行对可移动显示设备的追踪。

可移动显示设备710被示为具有使用手柄730握住它的手735。

图8是包括可移动显示设备810、用户815和各种其他对象的示例性六自由度真实位置。这里，可移动显示设备810结合了追踪器812，追踪器826和828可以在真实空间中追踪该追踪器812。这些追踪器826和828可以是追踪可移动显示器810背面的“T”形的红外摄像头。

同时，用户815佩戴头戴式追踪器820，该追踪器820也可以被追踪器826和828追踪。如参考图5所讨论的，可以使用该追踪信息来计算用户相对于可移动显示器的视角和可移动显示器相对于虚拟世界的视角。

在一些情况下，头戴式追踪器820可以追踪可移动显示器810表面上的红外标记，或者可移动显示器810可以并入前置摄像头(红外前置摄像头或其他前置摄像头)来追踪头戴式追踪器820。以此方式，可以使用可能比某些房间规模的追踪技术更精确的局部化的短距离追踪技术来追踪本文的一些或所有系统，而对应的例如头戴式追踪器820可以由单独的追踪器在开放空间中追踪。以此方式，该系统可以结合多种追踪技术来复制追踪能力或增强追踪能力，或者提供两个基础来确认一些或所有被追踪设备的位置和定向数据。

其他对象同样可以具有追踪器822和824。或者，在一些情况下，可以根本不使用追踪器，并且追踪器826和828中的可视摄像机或红外摄像机和照明阵列可以追踪三维真实空间中的对象(例如，用户的手或其他对象)。

还可以在可移动显示器810后面追踪这些对象。例如，追踪器829被固定到已经在可移动显示器810后面移动的对象。在这种情况下，可以在显示器810内(实际地或虚拟地)表示对象。这意味着，例如，如果用户的手经过可移动显示器810的后面，则可以在显示器内表示该手。或者，可以在显示器810上呈现增强现实或虚拟对象来代替用户的手(或其他对象，如手持控制器)。如上所述，因为对象是在三维空间中追踪的，并且因为视角矩阵和摄像头矩阵是独立计算然后合并的，所以追踪的对象(在显示器前面或后面)也适当地呈现在相对于显示器的任何位置。位置数据被转换到摄像头和视角矩阵内的适当位置。

增强现实对显示提出了特殊的挑战。为增强现实智能地捕捉真实空间的最佳且最具成本效益的方式通常依赖于宽视场摄像机(例如，180度视野摄像机)。它们相对便宜，并且收集关于可能在显示器上显示的真实空间的最多信息。而且，它们可以以较高的分辨率获得。然而，它们往往会产生一种“大眼珠”效应或“泡泡”效应，使世界在观察时看起来是“弯曲的”。因此，解决这一问题的最好方法是应用数字效果来改变原生图像，并使图像变得不弯曲。同时，可能优选的是如在可移动显示器上仅向观看者提供可用视角的一部分。这减少了弯曲效果，并允许系统更容易地融入任何增强现实对象，包括控制器或个人的手。并且，视觉追踪或运动追踪可以使显示器的观看区域在可用的180度视野内移动。

图9是可移动显示设备的移动和对三维计算机生成环境的相应改变的平移的示例。为简化说明，仅显示了沿单个轴(x轴)的移动，但对于任何方向的移动都会发生相同的过程。这里，可移动显示设备910以对象918直接在显示器913的中心可见的方式保持。

接下来，当用户沿x轴向左移动可移动显示设备910'时，对象918'开始在显示器913'上被遮挡。这是因为在这种情况下，当显示器移动时，用户的头部保持固定。结果，视角矩阵改变，并且可移动显示摄像头矩阵也改变，使得对象918'的较少部分可见。这类似于一个人在现实世界中在角落后面移动自己的头。当使用者的头移动到拐角后面时，拐角之外的走廊越来越少可见。以此方式，在追踪可移动显示设备的移动时，在最终呈现矩阵中适当地考虑了视角。

由图10A和10B是将检测到的头部移动转换成对三维计算机生成环境的相应改变的示例转换。然而，这里示出了类似的情况，当可移动显示设备1010、1010'保持固定时，用户的头部从图10A移动到图10B。在图10A中，通过直接观察对象1018来检测用户1015的头戴式追踪器1020。在图10B中，当可移动显示设备1010'保持固定时，用户1020'已向右移动。最终，对象1018'现在较少可见。与上面的拐角示例一样，在此，用户的头部已经部分地移动到虚拟拐角后面，从而使得用户1020'对该虚拟对象1018'整体的可见性较低。在这里，视角矩阵改变了，但是摄像头矩阵没有改变。尽管如此，所得到的呈现矩阵一起被充分地改变以改变可移动显示设备1010'上的计算机生成的内容。

结束语

贯穿本说明书，所示实施例和示例应该被认为是示例，而不是对所公开或要求保护的设备和程序的限制。尽管本文给出的许多示例涉及方法动作或系统元件的特定组合，但是应理解为，这些动作和那些元件可以以其他方式结合以实现相同的目标。关于流程图，可以采取附加的和简化的步骤，并且可以结合或进一步细化如图所示的步骤，以实现本文描述的方法。仅结合一个实施例所讨论的动作、元件和特征并不排除其他实施例中的类似角色。

如本文所使用的，“多个”指两个或更多个。如本文所使用的，“一组”项目可以包括一个或多个这样的项目。如本文使用的，无论在书面说明书或权利要求书中，术语“包含”、“包括”、“带有”、“具有”、“含有”、“涉及”等应理解为无限制的，即意味着包括但不限于。关于权利要求，只有过渡性短语“由…组成”和“基本上由…组成”分别是封闭或半封闭过渡性短语。在权利要求中使用诸如“第一”、“第二”、“第三”等序数词来修饰权利要求元件本身并不意味着一个权利要求元件相对于另一权利要求元件的任何优先级、优先权或顺序或执行方法动作的时间顺序，而只是用作将具有某一名称的一个权利要求元件与具有相同名称的另一个元件区分开的符号(但为了使用序数项)来区分所述权利要求书元件。如本文所使用的，“和/或”表示所列项目是备选，但是备选项目还包括所列项目的任何组合。

Claims (20)

1.一种用于观看计算机生成的内容的系统，其特征在于，包括：

一可移动显示器，其含有显示屏；

至少一个追踪器，用于追踪所述可移动显示器；

一计算设备，配置成生成所述计算机生成的内容；

所述可移动显示器配置成能通过使用所述至少一个追踪器检测所述可移动显示器相对于观看者头部的移动，通过所述计算设备改变对应于所述可移动显示器相对于观看者头部的移动的计算机生成内容的观看区域，通过：

生成表示所述可移动显示器在真实空间中的位置和方向的矩阵；

生成表示观看者头部的第二位置和第二方向的第二矩阵；

将所述矩阵和所述第二矩阵合并成最终矩阵；以及

基于所述最终矩阵在所述可移动显示器上显示所述计算机生成的内容。

2.根据权利要求1所述的系统，其特征在于，还包括用于检测观看者头部的所述第二位置和所述第二方向的头戴式追踪器。

3.根据权利要求1所述的系统，其特征在于，所述第二矩阵部分地使用所述第二位置和所述第二方向的一对偏移量来生成，所述的这对偏移量代表观看者头部的一双眼睛。

4.根据权利要求3所述的系统，其特征在于，所述计算机生成的内容包括所述计算机生成的内容的两个不同的视角，每个视角代表基于所述这对偏移量的一只眼睛。

5.根据权利要求1所述的系统，其特征在于，所述计算设备还用于：

生成表示第二位观看者头部的第三位置和第三方向的第三矩阵；

将所述第三矩阵合并到所述最终矩阵中；以及

基于所述最终矩阵在一第二可移动显示器上显示所述计算机生成的内容。

6.根据权利要求1所述的系统，其特征在于，所述计算设备还用于：

检测第二位观看者头部的存在；

生成表示第二位观看者头部的第三位置和第三方向的第三矩阵；

将所述第三矩阵合并到所述最终矩阵中；以及

基于所述最终矩阵将所述计算机生成的内容呈现在所述可移动显示器上，其中所述计算机生成的内容从第二位观看者头部的第三位置和第三方向适当地呈现。

7.根据权利要求1所述的系统，其特征在于，所述计算设备还用于：在所述最终矩阵中计算出与所述计算机生成内容相关的音频内容和触觉内容中的其中一个选定内容的第三位置；以及

基于相对于所述第三位置的所述的观看者头部的所述第二位置，在所述最终矩阵中变动所选的该音频内容的一个音量和该触觉内容的一个强度。

8.一种观看计算机生成的内容的方法，其特征在于，包括：

在可移动显示器的显示屏上显示所述计算机生成的内容；

使用至少一个追踪器追踪所述可移动显示器的移动；以及

将所述可移动显示器相对于观看者头部的移动转换为通过以下方式改变在所述可移动显示器上显示的所述计算机生成内容的观看区域，即，通过生成表示所述可移动显示器的位置和方向的矩阵；

生成表示观看者头部的第二位置和第二方向的第二矩阵；

将所述矩阵和所述第二矩阵合并成最终的软件矩阵；以及

基于所述最终矩阵在所述可移动显示器上显示所述计算机生成的内容。

9.根据权利要求8所述的方法，其特征在于，还包括使用头戴式追踪器检测观看者头部的第二位置和第二方向。

10.根据权利要求8所述的方法，其特征在于，所述第二矩阵部分地使用所述第二位置和所述第二方向的一对偏移量来生成，所述的这对偏移量代表观看者头部的一双眼睛。

11.根据权利要求10所述的方法，其特征在于，所述计算机生成的内容包括所述计算机生成的内容的两个不同的视角，每个视角代表基于所述这对偏移量的一只眼睛。

12.根据权利要求8所述的方法，其特征在于，还包括：

生成表示第二位观看者头部的第三位置和第三方向的第三矩阵；

将所述第三矩阵合并到所述最终矩阵中；以及

基于所述最终矩阵在一第二可移动显示器上显示所述计算机生成的内容。

13.根据权利要求8所述的方法，其特征在于，还包括：

检测第二位观看者头部的存在；

生成表示所述第二位观看者头部的第三位置和第三方向的第三矩阵；

将所述第三矩阵合并到所述最终矩阵中；以及

基于所述最终矩阵将所述计算机生成的内容呈现在所述可移动显示器上，其中所述计算机生成的内容从所述第二位观看者头部的第三位置和第三方向适当地呈现。

14.根据权利要求8所述的方法，其特征在于，还包括：

在所述最终矩阵中计算出与所述计算机生成内容相关的音频内容和触觉内容中的其中一个选定内容的第三位置；以及

基于相对于所述第三位置的所述的观看者头部的所述第二位置，在所述最终矩阵中变动所选的该音频内容的一个音量和该触觉内容的一个强度。

15.一种包含软件的设备，其特征在于，当处理器执行该软件时，该软件将使该处理器生成计算机生成的内容，该软件用于指示所述处理器：

在可移动显示器的显示屏上显示所述计算机生成的内容；

使用至少一个追踪器追踪所述可移动显示器的移动；以及

将可移动显示器相对于观看者头部的移动转化成通过以下方式改变在可移动显示器上显示的计算机生成内容的观看区域，即，通过

生成表示所述可移动显示器的位置和方向的矩阵；

生成表示所述观看者头部的第二位置和第二方向的第二矩阵；

将该矩阵和所述第二矩阵合并成最终的软件矩阵；以及

基于所述最终矩阵在所述可移动显示器上显示所述计算机生成的内容。

16.根据权利要求15所述的设备，其特征在于，所述第二矩阵部分地使用所述第二位置和所述第二方向的一对偏移量来生成，所述的这对偏移量代表观看者头部的一双眼睛。

17.根据权利要求16所述的设备，其特征在于，所述计算机生成的内容包括所述计算机生成的内容的两个不同的视角，每个视角代表基于所述这对偏移量的一只眼睛。

18.根据权利要求15所述的装置，其特征在于，所述指令还指示所述处理器：生成表示第二位观看者头部的第三位置和第三方向的第三矩阵；

将所述第三矩阵合并到所述最终矩阵中；以及

基于所述最终矩阵在第二可移动显示器上显示所述计算机生成的内容。

19.根据权利要求15所述的装置，其特征在于，所述指令还指示所述处理器：

检测第二位观看者头部的存在；

生成表示第二位观看者头部的第三位置和第三方向的第三矩阵；

将所述第三矩阵合并到所述最终矩阵中；以及

基于所述最终矩阵将所述计算机生成的内容呈现在所述可移动显示器上，其中所述计算机生成的内容从第二位观看者头部的第三位置和第三方向适当地呈现。

20.根据权利要求15所述的装置，其特征在于，所述指令还指示所述处理器：

在所述最终矩阵中计算出与所述计算机生成内容相关的音频内容和触觉内容中的其中一个选定内容的第三位置；以及

基于相对于所述第三位置的所述的观看者头部的所述第二位置，在所述最终矩阵中变动所选的该音频内容的一个音量和该触觉内容的一个强度。

Images