CN109069934B - 对虚拟现实环境(vr)中的vr用户的观众视图跟踪 - Google Patents

Abstract

提供一种用于为观众生成虚拟现实环境的视图的方法、系统、计算机可读介质和云系统。一种示例方法包括使得观众能够观看虚拟现实环境，并且控制所述观众希望看到所述环境内的哪些特定内容。可以跟踪由HMD玩家佩戴的HMD的运动，以便提供观看所述虚拟现实环境的传动的观众视图。所述观众视图的所述传动使得观众能够以不束缚于由所述HMD玩家佩戴的所述HMD的严格移动的更正常的方式观看所述虚拟现实内容。传动效应可以是可编程的，或可以基于由所述HMD玩家导航的所述内容或各个观众的偏好而设定。

Description

对虚拟现实环境(VR)中的VR用户的观众视图跟踪

技术领域

本公开涉及在头戴式显示器(HMD)中呈现的虚拟现实(VR)环境内容，以及用于集成由观看用户对VR环境的访问的方法和系统，以及用于使得用户能够观看由在VR环境中互动的HMD用户导航的动态地变化的环境的方法，还有相关联的设备和方法。

背景技术

视频游戏产业多年以来经历了很多改变。随着计算机能力的不断扩大，视频游戏的开发者同样也制作了充分利用计算能力的这些增强的游戏软件。为此目的，视频游戏开发者一直以来都在编码结合复杂操作和数学运算的游戏以产生非常逼真的游戏体验。

示例游戏平台包括

(PS2)、

(PS3)和

(PS4)，每个都以游戏机的形式出售。众所周知，游戏机被设计成连接到显示器(典型地是电视机)，并且使得能够利用手持式控制器进行用户互动。游戏机被设计成具有专门处理硬件和其它胶合硬件、固件和软件，所述专门处理硬件包括CPU、用于处理集中图形操作的图形合成器、用于执行几何变换的向量单元。游戏机还被设计成具有用于收纳游戏盘的光盘读取器，以经由游戏机在本地玩游戏。也可以是在线游戏，其中用户可以通过互联网与其他用户以互动方式比赛或一起进行游戏。由于游戏的复杂性不断激起玩家的兴趣，游戏和硬件制造商不断进行创新以启用额外的互动性和计算机程序。

计算机游戏行业的发展趋势是开发提高用户与游戏系统之间的互动性的游戏。实现更丰富的互动体验的一个方法是使用无线游戏控制器，游戏系统对所述控制器的移动进行跟踪以便跟踪玩家的移动并将这些移动用作游戏的输入。一般而言，手势输入表示使用诸如计算系统、视频游戏机、智能家电等电子装置对由玩家做出并被电子装置捕获的一些手势做出反应。

实现更为沉浸的互动式体验的另一种方法是使用头戴式显示器。头戴式显示器由用户穿戴，并且可以被配置来呈现各种图形，诸如虚拟空间的视图。呈现在头戴式显示器上的图形可以覆盖用户的大部分或甚至全部视野。因此，头戴式显示器可以为用户提供沉浸的体验。

本公开的实施方案在该上下文中出现。

发明内容

本公开的实现方式包括用于使得能够观看HMD用户正在遇到、观看和/或介接的虚拟现实环境和内容的方法和系统。在一些实施方案中，描述使得用户能够经由虚拟现实空间中的预创作的位点/位置在VR用户的VR环境中进行观看的方法和系统。在另一个实施方案中，观看模式使得用户能够使用VR用户的注视方向来聚焦或识别VR环境内的特定位置。举例来说，VR用户的注视方向可以标识在VR环境内观众可识别的一些位置。在另一个实施方案中，调整和/或修改音频控件以使得观众能够专注收听在VR用户的VR环境中的特定位置。例如，观看用户可以决定VR环境内的某个位置是感兴趣的，并且然后可以调整传达给观看用户的声音以向观看用户提供将会围绕观看用户的声音，就像观看用户实际上位于识别的VR环境位置那样。

在一个实施方案中，提供一种用于处理虚拟现实内容以供观众观看的方法。所述方法包括在计算机处处理与由头戴式显示器(HMD)玩家佩戴的HMD进行的互动相关联的虚拟现实流。所述HMD玩家被配置来导航虚拟现实环境，并且对所述虚拟现实环境的所述导航产生具有HMD玩家视图的所述虚拟现实流。所述方法包括在所述计算机处接收与观众的HMD相关联的对经由所述观众的HMD观看所述虚拟现实流的请求。所述方法包括由所述计算机向所述观众的所述HMD发送所述虚拟现实流的供稿。所述虚拟现实流的所述供稿提供观看正在由所述HMD玩家导航的所述虚拟现实环境的HMD观众视图。所述方法包括由所述计算机根据传动比来调整观看所述虚拟现实环境的所述HMD观众视图。所述传动比限定所述HMD玩家导航所述虚拟现实环境时所述HMD观众视图跟随所述HMD玩家视图的速率。

在一个实施方案中，提供用于以将对HMD玩家的视图方向的严格跟随解耦的方式将图像向虚拟现实环境中传达给观众的方法。举例来说，可以向观众提供虚拟现实环境的视图，其可以跟随HMD玩家的视图，但是可以通过传动效应而呈现给观众，这减少了HMD玩家的运动与为HMD观众呈现的图像的运动的紧密耦合。举例来说，可以提供虚拟相机作为观看虚拟现实环境的视图，并且该虚拟相机为观众提供视图。虚拟相机可以以束缚于为HMD玩家生成的视图的方式提供该视图，但是通过传动效应略微解耦。例如，如果HMD玩家在虚拟环境中快速地移动他或她的头部，那么提供给HMD观众的图像可以按传动比来减速，使得图像不会以迷失方向的方式为观众快速地移动。

在又一个实施方案中，提供一种用于处理虚拟现实内容以供观众观看的方法。所述方法包括在服务器处接收与由佩戴头戴式显示器(HMD)玩家进行的互动相关联的虚拟现实流。所述HMD玩家被配置来导航虚拟现实环境，并且对所述虚拟现实环境的所述导航产生具有HMD玩家视图的所述虚拟现实流。所述方法包括在所述服务器处接收经由观众的装置对经由所述观众的HMD观看所述虚拟现实流的请求。然后，由所述服务器向所述观众的所述装置发送所述虚拟现实流的供稿。所述虚拟现实流的所述供稿提供观看所述虚拟现实环境的HMD观众视图，所述HMD观众视图能够是相对于所述HMD玩家视图的相同视图和不同视图。所述方法还包括由所述服务器根据传动比来调整观看所述虚拟现实环境的所述HMD观众视图。所述传动比限定所述HMD观众视图跟随所述HMD玩家视图的速率。在一些实施方案中，所述速率可以是恒定的，如由所述传动设定的，或所述速率可以在所述移动期间改变，例如，通过随着移动发生而动态地改变所述传动。

在一些实施方案中，由所述服务器基于在所述虚拟现实环境中遇到的内容而动态地调整所述传动比。

在一些实施方案中，由所述服务器基于所述观众的偏好而动态地调整所述传动比。

在一些实施方案中，所述传动比提供所述HMD观众视图跟踪所述HMD玩家视图时的延迟。

在一些实施方案中，当所述HMD玩家视图移动得比由所述传动比引入的延迟更快时，所述传动比跳过或减小以跟随所述HMD玩家视图。

在一些实施方案中，可基于关联到所述HMD玩家视图与所述HMD观众视图之间的虚拟橡皮筋连接的物理度量而调整所述传动比。

提供一种用于为观众生成虚拟现实环境的视图的方法、系统、计算机可读介质和云系统。一种示例方法包括使得观众能够观看虚拟现实环境，并且控制所述观众希望看到所述环境内的哪些特定内容。通过允许所述观众移动得更靠近或更远离特定内容，所述观众移向或移离将导致由HMD玩家生成的、即与所述观众共享所述内容的所述虚拟现实内容内的内容的自动缩放。其它特征包括允许观众调整所述内容的视角。可以通过允许所述观众进入所述内容或控制内容场景并接着将所述内容定位在对于所述观众的位置来说最舒适的所述视角中来移动所述内容的所述视角。

在另一个实施方案中，提供一种用于处理虚拟现实内容以供观众观看的方法。所述方法包括在服务器处接收与由佩戴头戴式显示器(HMD)玩家进行的互动相关联的虚拟现实流。所述HMD玩家被配置来导航虚拟现实环境，并且对所述虚拟现实环境的所述导航产生具有HMD玩家视图的所述虚拟现实流。所述方法还在所述服务器处接收经由观众的装置对经由所述观众的HMD观看所述虚拟现实流的请求。所述服务器向所述观众的所述装置发送所述虚拟现实流的供稿，并且所述虚拟现实流的所述供稿提供观看所述虚拟现实环境的HMD观众视图，所述HMD观众视图能够是相对于所述HMD玩家视图的相同视图和不同视图。所述方法然后包括由所述服务器接收所述观众的所述HMD的位置信息。所述服务器然后在位置指示所述观众的所述HMD已经移动得更靠近所述虚拟现实环境中的内容时，处理对所述虚拟现实环境的一部分的放大。在所述位置指示所述观众的所述HMD已经移动得更远离所述虚拟现实环境中的内容时，处理对所述虚拟现实环境的所述部分的缩小。

在另一个实施方案中，提供一种用于处理虚拟现实内容以供观众观看的方法。所述方法包括在服务器处接收与由佩戴头戴式显示器(HMD)玩家进行的互动相关联的虚拟现实流。所述HMD玩家被配置来导航虚拟现实环境，并且对所述虚拟现实环境的所述导航产生具有HMD玩家视图的所述虚拟现实流。所述方法包括在所述服务器处接收经由观众的装置对经由所述观众的HMD观看所述虚拟现实流的请求。所述服务器向所述观众的所述装置发送所述虚拟现实流的供稿。所述虚拟现实流的所述供稿提供观看所述虚拟现实环境的HMD观众视图，所述HMD观众视图能够是相对于所述HMD玩家视图的相同视图和不同视图。所述服务器接收来自所述观众的对设定所述虚拟现实环境的自定义观看定向的指令，然后由所述服务器调整所述虚拟现实流的所述供稿，使得将所述虚拟现实环境的所述自定环境观看定向发送到所述观众的所述HMD。

在又一个实施方案中，提供一种用于为观众生成虚拟现实环境的视图的方法。所述方法包括生成虚拟现实环境以呈现给头戴式显示器(HMD)玩家的HMD。向所述HMD玩家提供HMD视图，所述HMD视图通过由所述HMD玩家对所述HMD的移动控制。然后，提供观看所述虚拟现实环境的观众视图。所述观众视图与指向所述虚拟现实环境中的视点相关联。将所述视点与所述HMD视图解耦。在一些实例中，预创作多个视点，并且在所述HMD玩家在所述虚拟现实环境中到处移动时，向所述观众提供所述视点中的不同视点。

在一些实施方案中，所述HMD的移动改变所述HMD视图，并且其中使所述观众视图的所述视点解耦产生所述视点的延迟移动以跟随所述HMD视图。在一些实施方案中，所述视点的所述延迟移动的功能是以比所述HMD的移动更慢的速率跟随所述HMD视图。

在一些实施方案中，所述视点是与所述虚拟现实环境相关联的多个视点中的一个。

在一些实施方案中，为所述观众视图选择所述视点中的选择的视点。

在一些实施方案中，基于在所述虚拟现实环境中被识别为感兴趣的特定内容而为所述观众选择所述视点中的选择的视点。

在一些实施方案中，所述观众视图是所述HMD视图的部分。

在一些实施方案中，所述观众视图大于所述HMD视图。

在一些实施方案中，使用所述HMD玩家的注视方向来向所述观众标识出所述HMD玩家正在观看的内容。

在一些实施方案中，所述方法还包括接收所述观众对所述虚拟现实环境中的收听区的选择，其中对所述收听区的选择从所述收听区的角度向所述观众提供音频。

在另一个实施方案中，提供一种用于为观众生成虚拟现实环境的视图的由服务器执行的方法。所述方法包括由所述服务器接收为头戴式显示器(HMD)玩家的HMD呈现的虚拟现实环境的供稿。向所述HMD玩家提供HMD视图，所述HMD视图通过所述HMD玩家对所述HMD的移动来控制。所述虚拟现实环境的所述供稿被共享到网站。所述方法还包括由所述服务器从所述观众接收从所述网站访问所述虚拟现实环境的请求然后，由所述服务器将观看所述虚拟现实环境的观众视图发送到所述观众的装置。所述观众视图与指向所述虚拟现实环境的视点相关联，并且将所述视点与所述HMD视图解耦。在所述HMD玩家在所述虚拟现实环境中到处移动时，所述观众视图被更新到指向所述虚拟现实环境的其它视点。

在一些实施方案中，所述视点是预创作视点，所述视点被选择来在所述HMD玩家在所述虚拟现实环境中四处走动时提供观看所述虚拟现实环境的感兴趣的视图。

在一些实施方案中，所述观众从所述预创作的视点中的一个跳到另一个。

在一些实施方案中，所述观众的简档标识对视图或内容的类型的偏好，并且使用所述偏好来选择向所述观众提供所述预创作的视点中的哪个视点。

在一些实施方案中，所述观众的所述装置是以下之一：由所述观众使用的HMD，或由所述观众使用的电视机屏幕，或由所述观众使用的计算机屏幕，或由所述观众使用的手持式装置屏幕。

在一些实施方案中，所述观众是能够观看所述HMD玩家的所述HMD视图的多个观众中的一个。

在一些实施方案中，所述网站提供其它HMD玩家的其它HMD视图的一些选项，使得所述观众可以选择所述HMD视图中的特定的HMD视图并且从一个或多个观众视图查看相应的所述虚拟现实环境。

从下面结合附图进行的、通过举例方式说明本公开的原理的详细描述中，本公开的其它方面和优点将变得明显。

附图说明

参考下面结合附图进行理解的描述可最好地理解本公开，在附图中：

图1示出了根据本公开的实施方案的用于视频游戏的互动式游戏玩法的系统。

图2A示出了根据本公开的实施方案的头戴式显示器(HMD)。

图2B示出了根据一个实施方案的HMD用户与客户端系统介接和客户端系统向第二屏幕显示器(其被称为第二屏幕)提供内容的一个实例。

图3概念性地示出了根据本公开的实施方案的HMD与执行的视频游戏结合的功能。

图4示出了HMD玩家导航虚拟现实环境和一个或多个观众观看虚拟现实内容的实例。

图5示出了HMD玩家导航虚拟现实环境和HMD观众在虚拟现实环境内被提供有不同视点的实例，视点可以基于在虚拟现实场景内的感兴趣的内容而选择或预创作。

图6是HMD玩家观看虚拟现实场景和用传动效应从生成耦合到HMD的视图的图像的虚拟相机向观众提供视图以使得向HMD观众提供对由HMD玩家导航的内容的平滑转变或观看的实例。

图7A至图7D示出了HDM玩家在不同方向上移动他的头部和使虚拟相机跟随HMD玩家的移动并传动到观众视图的实例。

图8示出了在一个实施方案中允许与观众VR共享的示例系统。

图9示出了根据本公开的实施方案的头戴式显示器的部件。

图10根据本公开的各种实施方案的游戏系统1400的框图。

具体实施方式

本公开的以下实现方式提供了用于向观众提供HMD玩家的定制视图以改善观众体验的方法、系统、计算机可读介质和云系统。在一个实施方案中，向观众提供选择特定虚拟现实(VR)环境来观看的能力，例如，诸如特定VR环境响应于HMD玩家而生成。

本文中提供了若干实施方案，这些实施方案限定用于以将对HMD玩家的视图方向的严格跟随解耦的方式将图像向虚拟现实环境中传达给观众的方式。举例来说，可以向观众提供虚拟现实环境的视图，其可以跟随HMD玩家的视图，但是可以通过传动效应而呈现给观众，这减少了HMD玩家的运动与为HMD观众呈现的图像的运动的紧密耦合。

举例来说，可以提供虚拟相机作为观看虚拟现实环境的视图，并且该虚拟相机为观众提供视图。虚拟相机可以以束缚于为HMD玩家生成的视图的方式提供该视图，但是通过传动效应略微解耦。例如，如果HMD玩家在虚拟环境中快速地移动他或她的头部，那么提供给HMD观众的图像可以按传动比来减速，使得图像不会以迷失方向的方式为观众快速地移动。

在一些实施方案中，在HMD玩家的HMD与提供观看虚拟现实场景的观众视图的虚拟相机之间提供虚拟橡皮筋连接。虚拟过带连接将限定指示虚拟相机将跨置得有多靠近HMD玩家的HMD的视图的物理参数，还可以限定HMD玩家的HMD的移动与虚拟相机所作出的反应之间提供的张力，并且还提供对传动比的动态设定以允许虚拟相机赶上或跟上由HMD玩家佩戴的HMD的运动。

在一个实施方案中，物理参数可以限定虚拟橡皮筋的长度、虚拟橡皮筋的弹性、虚拟橡皮筋的虚拟重量、虚拟橡皮筋的重力参数、虚拟橡皮筋的相对重力方向、或其组合。物理参数可以是传动设定的补充，或由提供观众视图的VR流式传输系统的一个服务器或多个服务器动态地调整的传动。

在一个实施方案中，可以向观众提供以下能力：观看虚拟现实环境，并且通过朝向或远离虚拟现实内容项移动来控制正在观看的内容的自动缩放。在一个实施方案中，观众正在观看的内容的自动缩放将不修改HMD玩家正在观看的内容，而是向观众提供额外的自由度来观看虚拟环境内的特定内容，不束缚于HMD玩家的视图。如本文所使用，束缚于HMD的视图联意味着向观众提供相同视图和观看该视图的相同角度，HMD玩家的运动同样也被强加到观众的视图上。

有利地，本文所述的实施方案为观众提供了与HMD玩家的视图解耦的视图，这丰富了观看在虚拟环境内观众可能感兴趣的特定特征的能力，从而提供以不同的速率移动和观察由HMD玩家导航的VR环境中的不同事物的自由度。

如下所述，缩放特征可以提供特定VR内容或观看特定VR内容的不同观察视图，这类似于就像观众是俯视特定内容的巨人一样。例如，如果观众看起来更靠近或将他或她的头部朝向虚拟现实环境中的特定项移动，那么虚拟环境内容将看起来更靠近并且观众将看起来或感觉就像观众是巨人一样。

在另外的实施方案中，提供处理以使得观众能够与虚拟现实环境互动，并且改变虚拟现实环境的视角。该特征允许例如观众进入内容，抓取或抓住内容并将该内容移动到另一个视角。视角可以为观众提供更好的观看位置，这与观众站直或坐直的情况不同。观众对视角的移动和调整不会对与一个或多个观众共享HMD体验的HMD玩家修改内容。以此方式，多个观众可以以对于个体观众来说可能最舒适的不同角度或位置或有利点处拥有或观看内容。

在一个实施方案中，向观众提供观看虚拟现实环境的新视图和角度，其可以是预创作的。虚拟现实环境内的虚拟现实视点的预创作可以促成观众在HMD玩家导航时观看或聚焦于虚拟现实场景内的感兴趣的内容。在一个实施方案中，可以在游戏、内容、多媒体或一般地由HMD玩家导航的内容的区域中的不同位置内预创作多于一个的视点。可以预选择这些视图，并且基于由HMD玩家进行的导航而将其分配给观众。

在一个实施方案中，这些视图可以以平滑呈现的格式提供，其不硬绑定或锁定到HMD玩家的精确观看方向。此外，提供给观众的视图也可以以防止内容快速地移动到观众的方式提供，就像由HMD玩家产生的相同的精确视图将被显示给观众的典型情况那样。因为观众不控制虚拟现实场景中的视图，因此如果观众的视图直接地绑定到HMD玩家，那么呈现给观众的内容将会具有快速移动时段，诸如当HMD玩家向上或向右或向不同的方向移动他或她的头部时。

在一种配置中，观众视图可以跟随HMD玩家的移动，但是具有包括传动比调整的更平滑的延迟，以便防止观众迷失方向。在其它实施方案中，观众视图可以固定到虚拟现实环境内的不同位置。这些固定位置可以是由内容开发者选择的预定义位点，因为观众可能会感兴趣。在替代实施方案中，位点可以移动，例如，跟随HMD玩家。

在一些实施方案中，可以基于观众偏好而为特定观众选择预定义位点。如果观众喜欢观看某些类型的内容，那么可以为该观众选择虚拟现实内容中的某些位点。因此，不同的观众可以具有从由HMD玩家导航的观看虚拟现实场景的不同的位点和视点中选择的不同的内容。此外，因为多个观众可以例如经由提供twitch式共享的网站来观看HMD玩家内容，所以不同的观众可以在虚拟现实内容内具有不同的视点。在替代实施方案中，所有观众可以从相同的视点观看相同的内容。

此外，如果观众使用提供twitch式共享的网站，那么可以提供许多HMD玩家内容供稿并且这些内容供稿可由各种观众进行选择。可以从HMD玩家的计算机到网站经由互联网共享供稿，然后，网站可以发布内容和/或使其可供观众选择观看。举例来说，如果HMD玩家决定共享HMD体验，那么观众可以选择该体验。然后，可以向观众提供用于选择视图类型的功能，或者向观众提供用于观看通过HMD玩家的导航生成的虚拟现实内容的特定预创作的位点。在一个实施方案中，向观众提供观看虚拟现实内容的解耦视点就避免了必须提供典型地从实际HMD玩家的角度提供的硬固定视图。

在一些实施方案中，提供给观众的视图也可以是从实际HMD玩家的角度，但是可以被提供被称为橡皮筋式链接或耦合的略微地解耦的连接。橡皮筋式链接提供与定位在HMD玩家的头部上方的虚拟相机类似的视点。提供该视图的虚拟相机可以移动并跟随HMD玩家的视图，在HMD玩家的移动后略有延迟。举例来说，如果HMD玩家快速地向左看，那么虚拟相机可以跟随HMD玩家观看方向缓慢地向左移动。如果HMD玩家快速地上下移动头部，那么虚拟相机的延迟可以避免任何向上或向下移动，因为HMD玩家的方向返回到面向前方。

在又一些实施方案中，可以向观众提供观看虚拟现实环境的不同的视点，这还可以包括观看HMD玩家或由HMD玩家控制的角色。在一个实施方案中，该配置可以限定在HMD玩家的角色在虚拟环境内四处走动时观看该角色的自动摄影师角度类型。因此，提供给观众的角度更有趣，并且随着HMD玩家在环境、游戏、内容或场景内四处走动到不同的位置，可以在不同的视点之间位移或弹出。

在一个实施方案中，方法、系统、图像采撷对象、传感器和相关联的接口对象(例如，手套、控制器、手等)被配置来处理被配置来在显示屏幕上实时地呈现的数据。显示器可以是头戴式显示器(HMD)的显示器、第二屏幕的显示器、便携装置的显示器、计算机显示器、显示面板、一个或多个远程地连接的用户(例如，可能正在观看内容或在互动式体验中进行共享的人)的显示器等。

然而，本领域的技术人员将清楚，本发明可以在没有这些特定细节中的一些或全部的情况下实践。在其它情况下，没有详细地描述所熟知的过程操作，以便避免不必要地使本公开模糊。

图1示出了根据本公开的实施方案的用于视频游戏的互动式游戏玩法的系统。示出了佩戴头戴式显示器(HMD)102的用户100。HMD102以与眼镜、护目镜或头盔类似的方式佩戴，并且被配置来向用户100显示视频游戏或其它内容。HMD 102凭借靠近用户眼睛提供显示机构来向用户提供沉浸的体验。因此，HMD 102可以向用户的每一只眼睛提供显示区域，所述显示区域占据用户的大部分或甚至全部视野。

在一个实施方案中，HMD 102可连接到计算机106。到计算机106的连接可以是有线或无线的。计算机106可以是本领域已知的任何通用或专用计算机，包括但不限于游戏机、个人计算机、膝上型计算机、平板计算机、移动装置、蜂窝电话、平板电脑、瘦客户端、机顶盒、媒体流式传输装置等。在一个实施方案中，计算机106可以被配置来执行视频游戏，并且从视频游戏输出视频和音频以供HMD102呈现。

用户100可以操作手套接口对象104a以为视频游戏提供输入。另外，相机108可以被配置来捕获用户100所在的互动式环境的图像。可以分析这些捕获的图像以确定用户100、HMD 102和手套接口对象104a的位置和移动。在一个实施方案中，手套接口对象104a包括可以被跟踪以确定其位置和定向的灯。

如下所述，用户与HMD 102中显示的虚拟现实场景介接的方式可以变化，并且除了手套接口对象104a之外，还可以使用其它接口装置。例如，也可以使用单手控制器，以及双手控制器。在一些实施方案中，可以通过跟踪与控制器相关联的灯，或跟踪与控制器相关联的形状、传感器和惯性数据来跟踪控制器。使用这些各种类型的控制器，或甚至简单地由一个或多个相机制作和捕获的手势，可以与HMD102上呈现的虚拟现实环境介接、控制、操纵、互动和参与。

另外，HMD 102可以包括一个或多个灯，一个或多个灯可以被跟踪以确定HMD 102的定位和定向。相机108可以包括一个或多个麦克风，以从互动性环境中捕获声音。可以处理由麦克风阵列捕获的声音，以识别声音源的位置。可以选择性地利用或处理来自识别的位置的声音，以排除并非来自所述识别的位置的其它声音。另外，相机108可以被限定成包括多个图像捕获装置(例如，一对立体相机)、IR相机、深度相机和其组合。

在另一个实施方案中，计算机106用作通过网络与云游戏提供商112通信的瘦客户端。云游戏提供商112维护并执行用户102正在玩的视频游戏。计算机106将来自HMD 102、手套接口对象104a和相机108的输入传输到云游戏提供商，云游戏提供商处理输入以影响正在执行的视频游戏的游戏状态。将来自正在执行的视频游戏的输出(诸如视频数据、音频数据和触觉反馈数据)传输到计算机106。计算机106还可在传输之前处理数据，或可将数据直接传输到相关装置。例如，视频流和音频流被提供到HMD 102，而振动反馈命令被提供到手套接口对象104a。

在一个实施方案中，HMD 102、手套接口对象104a和相机108本身可以是连接到网络110以与云游戏提供商112通信的联网装置。例如，计算机106可以是本地网络装置，诸如路由器，其不执行视频游戏处理，但是促成网络流量的通过。HMD 102、手套接口对象104a和相机108到网络的连接可以是有线的或无线的。

另外，虽然可以参考头戴式显示器来描述本公开的实施方案，但是将了解，在其它实施方案中，非头戴式显示器可以替代，包括但不限于电视机、投影仪、LCD显示屏幕、便携装置屏幕(例如，平板电脑、智能电话、膝上型计算机等)或根据本实施方案的可以被配置来呈现视频和/或提供互动式场景或虚拟环境的显示的任何其它类型的显示器。

图2A示出了根据本公开的实施方案的头戴式显示器(HMD)。如图所示，HMD 102包括多个灯200A-H。这些灯中的每一个可以被配置为具有特定形状，并且可以被配置为具有相同或不同的颜色。灯200A、200B、200C和200D布置在HMD 102的前表面上。灯200E和200F布置在HMD 102的侧表面上。并且，灯200G和200H布置在HMD 102的转角处，以便跨越HMD 102的前表面和侧表面。将了解，可以在用户使用HMD 102的互动环境的捕获的图像中识别所述灯。基于对灯的识别和跟踪，可以确定HMD 102在互动环境中的定位和定向。还将了解，根据HMD 102相对于图像捕获装置的特定定向，灯中的一些可以是可见的或不可见的。而且，根据HMD 102相对于图像捕获装置的定向，灯(例如，灯200G和200H)的不同部分可被暴露用于图像捕获。

在一个实施方案中，灯可以被配置来将HMD的当前状态指示给附近的其他人。例如，一些或所有的灯可以被配置为具有特定颜色布置、强度布置、被配置来闪烁、具有特定开/关配置，或指示HMD 102的当前状态的其它布置。举例来说，灯可以被配置来在相对于视频游戏的其它非活跃游戏过程方面的视频游戏的活跃游戏过程期间(大体上是在游戏的活跃时间线期间或场景内发生的游戏过程)显示不同的配置，诸如导航菜单界面或配置游戏设定(在此期间游戏时间线或场景可能不活跃或暂停)。灯还可以被配置来指示游戏过程的相对强度等级。例如，当游戏过程的强度提高时，灯的强度或闪烁速率也会提高。以此方式，用户之外的人可以看到在HMD 102上的灯并且理解用户活跃地参与激烈的游戏过程，并且可能不希望在那时刻被打扰。

HMD 102可以另外包括一个或多个麦克风。在说明的实施方案中，HMD 102包括限定在HMD 102的前表面上的麦克风204A和204B，以及限定在HMD 102的侧表面上的麦克风204C。通过利用麦克风阵列，可以处理来自麦克风中的每一个的声音，以确定声音的来源的位置。可以以各种方式来利用该信息，包括排除不需要的声音源、将声音源与视觉识别相关联等。

HMD 102还可以包括一个或多个图像捕获装置。在所示的实施方案中，HMD 102被示出为包括图像捕获装置202A和202B通过利用一对立体图像捕获装置，可以从HMD 102的角度捕获环境的三维(3D)图像和视频。可以在佩戴HMD 102时向用户呈现这个视频以向用户提供“视频透视”能力。也就是说，虽然在严格意义上，用户不能透视HMD 102，然而由图像捕获装置202A和202B(例如，或者设置在HMD 102的外部主体上的一个或多个前置的相机108'，如下面在图3中所示)捕获的视频可以提供就像透过HMD 102看到那样能够看到HMD102外部的环境的功能等同物。此类视频可以利用虚拟元素来增强，以提供增强的现实体验，或者可以与虚拟元素以其它方式组合或共混。虽然在所示的实施方案中，在HMD 102的前表面上示出两个相机，但是将了解，可以在HMD 102上安装定向在任何方向上的任何数目的相机。例如，在另一个实施方案中，可以有相机安装在HMD 102的侧面上，以提供对环境的额外全景图像捕获。

图2B示出了HMD 102用户与客户端系统106介接和向第二屏幕显示器(其被称为第二屏幕107)提供内容的客户端系统106的一个实例。如下所述，客户端系统106可以包括用于处理将内容从HMD 102共享到第二屏幕107的集成电子装置。其它实施方案可以包括单独装置、模块、连接器，其将在客户端系统与HMD 102和第二屏幕107中的每一个之间进行介接。在此一般实例中，用户100佩戴HMD 102并且使用控制器104来玩视频游戏。用户100的互动过程将产生视频游戏内容(VGC)，VGC以互动方式显示给HMD 102。

在一个实施方案中，在HMD 102中显示的内容被共享到第二屏幕107。在一个示例中，观看第二屏幕107的人可以由用户100在HMD 102中以互动方式观看正在播放的内容。在另一个实施方案中，另一个用户(例如，玩家2)可以与客户端系统106互动以产生第二屏幕内容(SSC)。通过玩家也与控制器104(或任何类型的用户接口、手势、语音或输入)互动产生的第二屏幕内容可以作为SSC产生到客户端系统106，其可以连同从HMD 102接收的VGC一起显示在第二屏幕107上。

因此，可与HMD用户同位或远离HMD用户的其它用户所进行的互动可以是社交的、互动的，并且对于HMD用户和可能正在观看HMD用户在第二屏幕107上播放的内容的用户两者来说是更沉浸的。如图所示，客户端系统106可以连接到互联网110。互联网还可以向客户端系统106提供对来自各种内容源120的内容的访问。内容源120可以包括可通过互联网访问的任何类型的内容。

此类内容(但不限于)可以包括视频内容、电影内容、流式内容、社交媒体内容、新闻内容、朋友内容、广告内容等。在一个实施方案中，客户端系统106可以用于同时处理HMD用户的内容，使得在游戏过程期间向HMD提供与互动性相关联的HMD。然后，客户端系统106还可以向第二屏幕提供可能与视频游戏内容无关的其它内容。在一个实施方案中，客户端系统106可以从内容源120中的一个或从本地用户或远程用户接收第二屏幕内容。

图3概念性地示出了根据本公开的实施方案的HMD 102与执行的视频游戏结合的功能。执行的视频游戏由游戏引擎320限定，游戏引擎320接收输入以更新视频游戏的游戏状态。视频游戏的游戏状态可以至少部分地由限定当前游戏玩法的各个方面的视频游戏的各种参数的值来限定，诸如对象的存在和位置、虚拟环境的状况、触发事件、用户简档、观看角度等。

在所示的实施方案中，举例来说，游戏引擎接收控制器输入314、音频输入316和动作输入318。控制器输入314可以根据与HMD 102分开的游戏控制器的操作来限定，游戏控制器诸如手持式游戏控制器(例如，索尼

4无线控制器、索尼

Move运动控制器)或手套接口对象104a。作为实例，控制器输入314可以包括方向输入、按钮按压、触发激活、移动、手势或从游戏控制器的操作处理的其它种类的输入。音频输入316可以从HMD 102的麦克风302处理，或从包括在图像捕获装置108中或本地环境中的其它地方的麦克风处理。运动输入318可以从包括在HMD 102中的运动传感器300处理，或从图像捕获装置108在其捕获HMD 102的图像时进行处理。游戏引擎320接收根据游戏引擎的配置处理的输入以更新视频游戏的游戏状态。游戏引擎320将游戏状态数据输出到各种呈现模块，呈现模块处理游戏状态数据以限定将呈现给用户的内容。

在所示的实施方案中，视频呈现模块322被限定为呈现要在HMD 102上呈现的视频流。视频流可以由显示器/投影仪机构310呈现，并且由用户的眼睛306通过光学器件308观看。音频呈现模块304被配置来呈现要由用户收听的音频流。在一个实施方案中，经由与HMD102相关联的扬声器304输出音频流。应了解，扬声器304可以采用露天扬声器、耳机或能够呈现音频的任何其它种类的扬声器的形式。

在一个实施方案中，在HMD 102中包括注视跟踪相机312以使得能够跟踪该用户的注视。注视跟踪相机捕获用户的眼睛的图像，这些图像被分析来确定用户的注视方向。在一个实施方案中，可以利用关于用户的注视方向的信息来影响视频呈现。例如，如果确定用户的眼睛正在看向特定方向，那么可以优先化或强调该方向的视频呈现，诸如通过在用户正在看的区域中提供更多的细节或更快的更新。应了解，相对于用户所处的真实环境和/或相对于在头戴式显示器上呈现的虚拟环境，可以相对于头戴式显示器来限定用户的注视方向。

广泛地讲，当单独地考虑时，对由注视跟踪相机312捕获的图像的分析提供用户相对于HMD 102的注视方向。然而，当结合HMD 102的跟踪的位置和定向进行考虑时，可以确定用户的真实世界注视方向，因为HMD 102的位置和定向与用户的头部的位置和定向是同义的。也就是说，可以通过跟踪用户的眼睛的位置移动并跟踪HMD 102的位置和定向来确定用户的真实世界注视方向。当在HMD 102上呈现虚拟环境的视图时，可以应用用户的真实世界注视方向以确定用户在虚拟环境中的虚拟世界注视方向。

另外，触觉反馈模块326被配置来向包括在HMD 102或由用户操作的另一个装置(诸如控制器104)中的触觉反馈硬件提供信号。触觉反馈可以采取各种触觉形式，诸如振动反馈、温度反馈、压力反馈等。

目前，用于共享游戏回放的流式服务非常普遍。

4无线控制器直接地在控制器上包括一个“共享按钮”，以实现这种共享。本公开的实现方式为希望使用HMD/VR头戴式耳机阅览回放的人改善共享回放。本公开的实现方式提供用于呈现具有非常宽的视野的游戏回放，以允许观众使用HMD自由地移动他的头部并且从新有利点观看回放。传统的流式方法将会将回放仅限于原始玩家观看的内容，因此观看方向将独立于观众的头部定位和定向，并且如果使用HMD的观众移动他的头部，那么将不会有任何改变。

本公开的实现方式提供用于在足够宽的视野中呈现视频以支持HMD中的新颖视点。在云服务器上运行的游戏引擎的自定义构建(例如，在控制台游戏硬件例如

4硬件上，在云中)接受从原始玩家的游戏引擎流式传输的游戏状态作为输入并使用其呈现游戏的极宽视野(例如，150度以上)视图，然后可以将其用于该游戏会话的实时流式传输和/或预录制的回放。将了解，极宽视野超过HMD的视野，以允许佩戴HMD的观众在回放中四处看看。实际游戏被配置来将其状态流式传输到引擎的联网版本。

如上所述，需要为用户提供观看、例如看佩戴HMD 102的用户正在体验的互动活动的能力。例如，一个HMD虚拟现实玩家可以沉浸在HMD中呈现的活动中，而其他人可以是与玩家同位。这些其他同位玩家可以在看HMD玩家正在体验的互动或正在观看的虚拟现实场景中找到乐趣。如本文所使用的，HMD玩家是正在观看在HMD上呈现的内容的玩家，或者可以是与在HMD上呈现的一些内容互动的玩家，或者可能正在玩在HMD上呈现的游戏。因此，仅参考佩戴HMD的用户来提到玩家，不管在HMD上呈现的内容的类型如何。

在其它实施方案中，不与HMD玩家同位的其他人可能希望观看在HMD玩家的HMD中呈现的内容、互动或媒体。例如，可以提供网站以向用户呈现从不同的HMD玩家中进行选择的能力，以便在HMD玩家执行他或她的活动时看和观看。该实例类似于标准Twitch式体验，其允许连接到互联网的用户访问网站并搜索远程玩家正在播放的不同类型的内容或媒体。在一些实施方案中，远程玩家可以使用HMD 102来玩游戏。

在其它实施方案中，远程玩家可以使用装置的显示屏幕或电视机显示屏幕来玩游戏或看内容。广泛地讲，希望看在远程的另一个玩家的活动(例如，通过网站)的用户然后可以选择特定玩家或游戏类型、或游戏的缩略图、或内容的缩略图，以观看由HMD玩家指引的活动。因此，可以提供网站，其使得用户能够观看和选择可由远程HMD玩家主动地播放的特定互动内容。希望观看由HMD玩家进行的活动的远程观看者可以仅点击该内容就开始看。

看到和观看HMD玩家的动作的人一般被称为观众。观众是能够进行访问以观看活动、互动、动作、移动等但不一定控制游戏动作的那些人。出于这个原因，这些观看者被称为观众。在HMD玩家的上下文中，在HMD显示器中呈现的内容是动态的并且通过HMD玩家的移动控制。例如，当HMD玩家移动他或她的头部时，向该玩家呈现可观看的不同内容，其类似于可发生真实世界观看人的周围环境的方式。

虽然HMD玩家的头部移动对于HMD玩家来说是自然的，但是在观看内容时被提供与HMD玩家相同的视图的观众可能因快速移动而变得恶心或头晕。这一情况的原因是观众不是他或她自己以与HMD玩家类似的方式移动他们头部，这导致了内容基于HMD玩家的观看方向而变化。在本文所述的各种实施方案中，提供使得观众能够以既不分散观众的注意力也不具有导致观众头晕或恶心的趋势的方式观看HMD玩家正在观看的内容的方法、系统、计算机可读介质和云配置。

举例来说，本文所述的一些实施方案教导的是在HMD玩家正在观看的虚拟现实环境内提供不同视点的方式。在一些实施方案中，视点就观众可观看的角度、方向和内容方面是固定的。因此，即使HMD玩家以这样或那样的方式移动他或她的头部，观众对虚拟现实环境的观看也会保持稳定。在一些实施方案中，在HMD玩家移动并通过不同虚拟现实环境场景、位置、区域、级别、章节等时，可以向观看用户提供不同视点，这些视点是针对观看观众定制的。例如，可以针对不同类型的内容预创作各种视点。

如果内容是视频游戏，那么可以将沿着可在视频游戏中拍摄的不同路径的视点预限定为预创作的位点以供观众观看。因此，当HMD玩家沿着特定路径移动时，可以向观众提供沿着该路径的视点，视点可以由游戏开发者、早期观众或HMD玩家预选择或预创作。以此方式，在HMD玩家在HMD VR环境内到处移动时，观众可以基于确定那些视点是优异的或更好的或提供更感兴趣的视图而从一个视点弹到下一个视点。在另外实施方案中，可以向观众提供HMD玩家正在观看的可观看的内容的子部分。在其它实施方案中，可以向观众提供HMD玩家尚不可观看的额外内容。

根据游戏、环境、内容类型、多媒体类型、或通过限定的规则或约束，可以向观众提供HMD玩家正在观看的更少或更多的可观看的内容。如上所述，观众可观看的内容可以是HMD玩家正在观看的相同内容，但是从参考视点来看，与HMD玩家是不同的。然而，在一些实施方案中，提供给观众的视图可以类似于HMD玩家的视图，但是角度或视角略微不同。此外，从虚拟相机在HMD虚拟玩家的头部上方进行写入的上下文中，可以向观众提供与提供给HMD玩家的那些类似的视图。在一个实施方案中，代替移动为HMD玩家正在观看的内容的观众提供的虚拟相机视图，在HMD玩家进行头部移动时，观众视图不会以与HMD玩家移动视图时相同的速率或速度移动。

在该实施方案中，提供给观众的虚拟相机视图可以以比HMD玩家的视图更慢的速率移动，该速率是基于用户的头部移动的实际速度而变化。此外，可以将虚拟相机视图的移动设定为跟随HMD玩家的头部的移动，具有一定延迟。延迟可以概念上类似于将虚拟相机视图链接到HMD的移动的橡皮筋。也就是说，如果用户的头部快速地向左移动，那么观众的虚拟相机视图将较慢地向左移动，其中延迟类似于在通过橡皮筋连接到对象前面的移动对象时该对象将会尾随的方式。在一些配置中，传动比将会应用于虚拟相机视图的移动，使得虚拟相机以尾随HMD玩家的实际视图的移动的速率移动。可以通过计算机、游戏和/或为观众执行观看虚拟现实场景的程序动态地修改传动比。例如，可以针对某些游戏、某些场景、某些情况、某些级别、某些用户等在一些情况下更快地或在其它情况下更慢地修改齿轮传动。通过使用动态齿轮传动，可以平滑虚拟相机视图的移动，以便即使在HMD快速或不稳地移动时也会针对观众视图提供更愉悦的观看体验。

在以下所述的另外实施方案中，可以向观众提供视觉提示以使得观众能够识别HMD玩家在虚拟现实环境内的位置。一种配置可以允许跟踪HMD玩家的注视，以确定HMD玩家在VR场景中正在看的精确内容。对于可能正在从虚拟相机视图的角度观看VR场景的观众(例如，浮动在HMD玩家的头部后方的虚拟相机)，确定哪一个是特定场景中的焦点将会是有用的。以此方式，观众还可以专注于虚拟现实玩家觉得在场景中重要的内容。

在一些实例中，并且在第一人称射击游戏中，观众可能想要知道HMD玩家正在看的位置，诸如标识敌人或障碍物。在一个实施方案中，通过跟踪HMD玩家的注视，就有可能通过突出显示内容、改变某些对象或位置的对比度、围绕内容、添加标记、在区域中变灰、添加闪烁信标、添加文本、添加浮动对象等来标识HMD玩家正在看的内容。以此方式，观众可以确定HMD玩家正在看的位置，因此观众自己也可以观看相同的区域并体验到具有更多乐趣的内容。

例如，HMD玩家可以在特定游戏中更有经验，或已经看了特定类型的内容，并且提供HMD玩家在虚拟现实场景中看的位置的该将提供引导、视觉线索指示器，并且帮助观众。在一些实施方案中，可以打开和关闭这些标识特征，以便免于注意力分散。标识符可以由HMD玩家激活，或者可以由观众激活。在一些实施方案中，在多个观众正在观看由HMD玩家提供的相同内容(例如，在Twitch呈现内容中)时，可以向每个观众提供不同控件，其向他们提供是否提供视觉指示器的能力。从HMD玩家的角度，HMD玩家的HMD中可能根本不显示指示器。然而，这些指示器对于可能正在观看HMD玩家正在与之互动的内容的一个观众或多个观众是有用的。

在一些实施方案中，可以向观众提供控件，其允许观众标识虚拟现实环境内的特定收听区。收听区允许观众选择他们希望从虚拟现实环境中的哪个位置收听。这意味着，观众基本上被提供从该特定位置收听模仿观众将会实际上存在于场景中的情况的音频和声。举例来说，如果观众正在观看包括街对面的建筑物的HMD内容，那么相对于观看位置，观众可以识别建筑物中的某个位置，例如，人站立的二层，并且选择在该位置收听。

该功能为观众提供收听远距传动，这允许观众收听音频内容和声，就像观众坐在或站在建筑物的二层中那样。在一个实例中，音频和声将基本上放大将会在建筑物的二层位置处出现的音频声音，并且降低远离该虚拟位置的声音。在一些实施方案中，观众可以不时地选择环境内的不同位置作为主要收听区。在其它实施方案中，还可以将收听区调整为HMD玩家的相同的收听区。可以为观众提供可切换的选择能力，以便标识观众希望收听虚拟环境中的哪个位置。

再次，注意的是，观众可以是HMD玩家本地的，并且可以在第二屏幕上观看HMD内容，如参考图2B所述的。或者，作为观众的本地观看者也可以佩戴HMD，其使观众观看HMD玩家内容。在又一个实施方案中，观众可以是远程的，并且如果正在将HMD玩家内容发布到允许观看的网站，那么可以从该网站进行观看。在一些实施方案中，充当观众的远程观众可以看HMD玩家直播或基本上直播的内容。在其它实施方案中，充当观众的远程观众可以看HMD玩家观看的内容的录制版本。再者，可以提供网站，网站允许多个或甚至更多观众看HMD玩家的相同内容(无论直播还是录制)。

图4示出了根据一个实施方案的HMD VR玩家100的实例，HMD VR玩家100可以经由计算装置106与虚拟环境450互动。因此，HMD VR玩家100驱使VR环境450内的互动性，这将移动HMD 102中呈现的场景，以及显示器107中示出的复制视图。因此，观众可以是正在观看显示器107的观众，诸如观众140。如上所述，观众140是社交屏幕观众，因为该观众能够在同位的空间中与HMD玩家100互动。在其它实施方案中，或除了同位的观众140之外，还可以提供HMD观众150对由HMD玩家100导航的内容的访问。HMD观众150可以是与HMD玩家100同位。在其它实施方案中，HMD观众150可以远离HMD玩家定位，并且可以从网站(诸如twitch式观看网站)观看内容。因此，图4中所示的实例仅是一个实例，并且有可能会使多个观众或甚至数千个观众从远程位置观看HMD玩家的内容。观众无论是观看显示器107还是经由HMD观看内容，都将被提供用于改善观看体验的功能。

图5示出了在虚拟现实环境450中到处移动并且在他在场景中四处移动时观看不同内容的HMD玩家100的实例。如图所示，HMD玩家100已经在场景中向前移动，这暴露了新的内容，诸如道路延伸、建筑物502、高尔夫球手504、湖泊506、狗508和其它多媒体内容。在VR环境450中呈现的这些类型的多媒体内容仅是实例，并且内容类型将根据正在观看、与之互动或进行显示的内容类型而变化。在一个实例中，VR环境450可以与预创作视点相关联，诸如位点1、位点2、位点3和位点4。这些位点中的每一个具有观看VR环境450的特定观看方向和视角。

位点1被提供有虚拟相机视图，虚拟相机视图可以浮动在HMD玩家100的头部后方，其提供了通过HMD玩家100的HMD 102的移动而产生的视图的近似的复制品。其它位点可以与HMD玩家100的视角解耦，并且可以基于内容创建者或可能知道感兴趣的内容可驻留在虚拟环境内的位置的其他用户的预创作而放置在VR环境450的各处。例如，如果内容创建者是游戏开发者，那么游戏开发者将知道感兴趣的位点在不同VR环境位置内的位置，使得在HMD玩家在一个或多个游戏会话或观看会话期间在虚拟现实环境450中四处走动时，可以向观众提供对动作、事物、移动、互动或场景的更好的观看。

在该特定实例中，观众是HMD观众150。可以在虚拟现实环境450的所示活动内的不同时间上向HMD观众150提供特定视点。例如，当HMD玩家100在虚拟现实环境450中四处走动或到处移动时，示出不同内容，并且基于正在显示的内容，选择不同位点供一个观众或多个观众进行观看。举例来说，HMD观众150被提供有一系列的位点，诸如在时间t＝0上的位点1，在时间t＝1上的位点3，在时间t＝2上的位点2，以此类推。

因此，根据HMD玩家100所走过的位置，可以为观众动态地选择不同位点，以便提供最感兴趣的内容视图。举例来说，如果HMD玩家已到达高尔夫球场的位置，那么高尔夫球手504将成为视点4的焦点。如果HMD玩家已经到达建筑物502的位置，那么视点2将提供给观众以允许观看建筑物502和狗508，其可以被预定为虚拟现实环境450内的感兴趣的位置或有利点或视点。

图6示出了根据一个实施方案的HMD玩家100与虚拟现实环境450介接的示例，其为一个或多个观众150提供观看环境的视图。如图所示，HMD玩家100可以以允许导航到场景的不同区域、位置、内容或互动特征的方式与虚拟现实环境450介接。因此，HMD玩家100促成虚拟现实环境450内的互动性。观众150可以佩戴HMD 102，HMD 102提供观看虚拟现实环境450的观众视图。在该实例中，HMD玩家100的HMD视图可以改变并且还可以基于HMD玩家100的HMD 102的方向、移动、运动、位置而移动。

在一些情况下，HMD玩家100可以非常快速地移动通过不同类型的内容，或也可以根据HMD玩家100的视角、角度或互动性的活动或期望来缓慢地移动或地和快速地位移。如前讨论，HMD玩家100对HMD 102的移动将提供观看虚拟现实环境450的不同的场景视图，这将对于HMD玩家100来说是看起来自然且易于理解的，因为HMD玩家100正在促成该移动。这类似于真实世界环境，其中一个人可以移动他或她的头部以看到不同内容而不会迷失方向。

然而，当向HMD观众150提供观看虚拟现实场景450的视图时，观看虚拟现实环境的视图可看起来令人迷失方向或混淆。这是因为HMD观众150将不会以与HMD玩家100完全相同的方式移动他的头部。为了防止观看者迷失方向或感到不适，公开了一个用于提供虚拟相机602的实施方案，虚拟相机602提供观看HMD玩家100的HMD视图但从略微不同的有利点来看的视图。在一种配置中，虚拟相机602仅是提供观看虚拟现实环境450的观众视图的位置。在一种配置中，通过虚拟橡皮筋连接，虚拟相机602束缚于HMD玩家100的HMD 102的移动。

虚拟橡皮筋连接或链接被示出为耦合HMD玩家100的HMD 102和虚拟相机602的位置。概念上，如果HMD玩家100快速地向左或向右转，那么束缚于虚拟橡皮筋的虚拟相机602将以不同的速率作出反应。可以通过传动轮廓设定不同的反应速率，传动轮廓可以根据正在观看的内容、观众或其它偏好来调整。举例来说，可以限定传动轮廓，使得虚拟相机602将比HMD玩家100的HMD 102的移动略微更慢地移动。例如，如果HMD玩家快速地向左看，那么虚拟相机602将以略微更慢的节奏或速率开始向左转，使得传达到HMD观众150的HMD 102的视角和运动将更平滑。

作为另一个实例，如果HMD玩家100快速地向上和向下看并然后返回到直视前方，那么虚拟相机602可以仅停留在相同位置，因为HMD玩家100快速地返回到相同向前位置。如果传动比增大或减小，那么可以调整虚拟相机602跟随HMD玩家100的HMD 102的移动的速率。

例如，一些观众可能希望快速地跟随HMD玩家100，并且因此关于HMD玩家100的HMD102相对于观众视图的相对运动，可以将传动比设定为1:1。在一些配置中，传动比可以被设定为1:0.5，由此虚拟相机602将以HMD玩家100的运动的速率的一半一样快的速率移动。在其它实施方案中，传动比可以被设定为1:0.75，由此虚拟相机602将以与HMD玩家100的运动的速率的约四分之三一样快的速率移动。

在其它配置中，可以由执行提供给HMD观众150的观众视图的一个服务器或多个服务器动态地设定传动比。例如，内容本身可以促成对传动比的选择，并且在其它实施方案中，内容和观众的简档设定的组合可以设定传动比。.此外，可以由服务器动态地设定传动比，使得其根据在虚拟现实环境450中看到的活动或根据HMD玩家100参与的互动性在来在场景间变化、不时地变化、或从一个传动比到另一个传动比平滑地变化。

虚拟相机602的位置动态地设定，以便为观众视图提供平滑且自然的视图，这种动态设定可以由不同观众不时地修改。例如，虽然HMD玩家100可以在会话期间与虚拟现实环境450互动，但是可以向任何数量的HMD观众150或没有HMD进行观看的观众提供限定HMD玩家100的HMD 102与传达到观众150的HMD 102的观众视图之间的虚拟橡皮筋连接的反应的不同的定制的传动比。

图7A示出了根据一个实施方案的HMD玩家与HMD 102一起到处移动以提供HMD移动708、同时向观众150提供视图的实例。如图所示，HMD玩家可以与虚拟现实环境互动，并且还利用控制器104。如上所述，控制器104是与虚拟现实场景互动的方式的一个实例。其它方式可以包括使用手套，手套可以被跟踪以与用于虚拟现实场景介接。在其它实施方案中，可以跟踪运动控制器、光传感器控制器、具有多个传感器的控制器、双手式控制器、物理对象、或甚至用户的裸手以与虚拟现实场景介接。

在该图中，HMD玩家被示出为已经移动他的头部，以便观看虚拟现实场景内的一些内容。因此，HMD玩家的移动已经向上将向HMD玩家的HMD传达视图720。然而，HMD观众150将被提供传动的观众视图702，其响应于虚拟相机602的传动的虚拟移动。提供虚拟橡皮筋704连接以示出在移动快速的情况下，例如，虚拟橡皮筋704可以伸展达到某个点，并且然后造成拉扯效应。因此，在一个实施方案中，虚拟橡皮筋704提供相对于虚拟橡皮筋704的虚拟松弛而赋予一种类型的拉扯和拖拽的物理分量。在图7A的图示中，传动的观众视图702因此随着虚拟相机602的移动进行而改变以在方向730上移动，直到其跟踪到HMD玩家的当前视图。

图7B示出了虚拟相机602已经完成其轨迹以跟踪到HMD玩家的当前视图740的实例。此时，提供给HMD观众150的视图与提供给HMD玩家100的视图大致相同。然而，由于提供给HMD玩家150的视图通过运动和物理的限定传动跟踪HMD玩家的视图，提供给HMD观众150的HMD的视图将更平滑，没有抖动、位移或迷失方向的动作。如上指出，根据HMD玩家正在观看的内容，可以动态地调整为观众视图提供的传动。也可以根据HMD观众150的舒适度来动态地调整传动。如果多个观众正在观看相同HMD玩家的相同内容(例如，从连接到服务的远程位置)，那么可以向每个观众提供根据他们的偏好或正在观看的内容的不同传动。

在一些实施方案中，提供给HMD观众150的视图可以是比提供给HMD玩家的视图更宽的视图或更宽的视角。举例来说，可以向HMD玩家提供约100°视图。可以向HMD观众150提供约150°视图，使得HMD观众可以略微地观看到在HMD玩家的当前视图的外部和周围。这可以提供额外的观看舒适度，并且可以减少如此快速地位移观众的虚拟相机602视图的需要，或可以仅减少移动提供给一个观众或多个观众的虚拟相机602视图的需要。

图7C示出了HMD玩家的HMD移动708向下产生急剧或快速地向下看的实例。HMD玩家的HMD的这种向下运动将允许HMD玩家看到可呈现在虚拟环境场景的较低区域中的内容。运动向HMD玩家提供视图720。然而，如果HMD移动708非常快速，那么这可能导致虚拟橡皮筋704伸展并快速地将虚拟相机602移动到允许观看HMD玩家所看到的当前情况的位置。这在图7D中示出，其中当前视图740被提供给HMD观众150。在这个配置中，可以动态地设定传动设定，使得当HMD玩家快速地向下看时，HMD观众150也可以快速地加入该特定的当前视图740。

虽然已经示出关于向上看和向下看的实例，但是应理解，可以由HMD玩家使用HMD102以任何角度、任何方向(例如，在任何方向上360°)观看。因此，通过提供向观众视图的传动，如虚拟相机602的视角所提供，可以断开提供给观众的与HMD玩家的那些即时相同的严格图像。在一种配置中，这种断开提供图像到观众的平滑过渡，这提高了观的乐趣并减少了迷失方向。如本文所使用，断开是HMD视图与观众视图之间的移动断开，使得观众视角的运动不需要与HMD玩家的运动相同。

然而，由于观众确实正在观看HMD玩家的内容，因此观众仍然可以用观众视图跟踪HMD视图，其中平滑过渡限定HMD玩家的HMD的运动与提供给观众150的HMD的图像之间的传动。如上所述，可以提供观看虚拟现实环境的其它视图，其不需要束缚于跨于HMD玩家的头部后方的虚拟相机602。

其它相机视点也可以被限定到虚拟环境中，并且可以基于预创作观看位置或由一个观众或多个观众选择的观看位置来动态地设定。在一些实施方案中，还可以针对未被写在HMD玩家的头部后方的位点来产生提供来观看虚拟现实环境的视图的传动效应。例如，也可以向可分布在不同的位点的视图提供传动效应，如参考图5所示。

图8示出了观众150与虚拟现实环境450介接的实例，虚拟现实环境450是响应于由HMD玩家100进行的互动式过程而生成的。如图所示，HMD玩家100可以利用控制器104，并且HMD内容可以是由游戏控制台704生成，其被提供到HMD 102。HMD观众150也可以与本地装置702通信，本地装置702可以提供互动内容以供经由HMD观众150的HMD 102观看。在该实施方案中，HMD观众150使用本地装置702来与网络710通信。还可以向游戏控制台704与网络710的连接。因此，可以将由游戏控制台704生成的互动内容共享到网络710，使得HMD观众150可以观看虚拟现实环境450，并且根据本文所述的各种观众实施方案来与内容互动或观看内容。

网络710被示出为连接到云游戏或虚拟现实服务700。该服务可以是云系统的一部分，云系统可以是由地理上分散的一个或多个数据中心实现。云游戏或虚拟现实服务700可以被配置有各种处理引擎和数据库。举例来说，服务700可以与社交数据716通信，社交数据716可以从服务700本地的网络710获得，或从外部社交站点获得。服务700还可以与用户账户720通信，用户账户720可以向服务700的用户提供附加服务和偏好管理。还可以保存游戏数据718，并且可以将其与特定的用户账户720关联地放置。

游戏数据可以识别用户已经访问、已经玩过、已经保存状况数据、已经保存状态数据、已经保存成就、已经保存奖品、已经保存偏好、或其它配置或特殊编程的各种游戏722。在一个实施方案中，云虚拟现实服务700可以实现对虚拟现实内容724的访问。虚拟现实内容724可以是除了支持虚拟现实的游戏之外的内容。例如，虚拟现实内容724可以是通过互联网从其它内容源714访问的内容。

源可以是例如出于特定目的产生虚拟现实内容724的媒体开发者。该目的可以是娱乐、信息、商业、会议、文档共享、虚拟和非虚拟视图共享、内容检查、协作、互动和/或其它用途。在一种配置中，云游戏或虚拟现实服务700还可以促进观众流媒体726。观众流媒体726可以包括一个或多个处理模块，其允许将由HMD玩家观看的内容共享并流式传输给远程或本地HMD观众150。如上所述，可以同时将由HMD玩家生成的虚拟现实环境450的供稿共享给多个观众。可以向每个观众提供观看虚拟现实场景的不同视点，如上所述。可以基于观众的偏好而定制视点，或可以将视点与虚拟现实场景内的预创作视点相关联。

在HMD玩家100在虚拟现实环境内到处移动时，可以向观众150提供各种位点，可以从这些位点观看虚拟现实空间中的多媒体内容。因此，可以向HMD观众150提供跟随HMD玩家100的路，其中不同视点被定制给HMD观众，或可以基于对HMD玩家阅览的内容的知识来预识别或创作。

如上所述，还可以具有观众共享网站728，其可以由服务700通过网络710提供。观众共享网站728可以起类似于Twitch站点的作用，其使得任何数量的观众都能够观看虚拟现实环境。在一个实施方案中，可以向用户提供搜索功能，以允许用户观看用户感兴趣的内容。可用于观看的虚拟现实内容可以是由HMD玩家100播放的实况互动内容，或可以是从先前HMD玩家会话录制的。如果内容被录制，那么仍然可以向观众提供以互动方式在来自先前HMD玩家的录制的会话中选择不同视点的能力。

因此，可以基于对新的可用虚拟现实环境、当前趋势环境、高级HMD玩家所走过的感兴趣的环境的排名的变化，或基于期望观看的用户的搜索而动态地呈现和更新观众网站728。还应理解，观众可以经由不是HMD的屏幕观看HMD玩家的实况虚拟现实内容。

屏幕可以是连接到本地装置备702的电视机，或可以是具有屏幕的便携装置。如果没有经由HMD 102观看内容，那么可以将内容从三维内容转换为二维内容，以便去除与在二维显示器上呈现VR内容相关联的任何异常。在一些实施方案中，三维内容也可以在支持三维的屏幕上呈现。在这种情况下，还可以使用观看眼镜，其是在三维屏幕上观看三维内容时常用的。

此外，观众可以仅从连接到网站(诸如twitch式站点)的显示屏幕查看内容。在一些实施方案中，个人计算机(PC)、游戏控制台、智能电话、平板电脑等可以用于观看HMD玩家100正在玩的虚拟现实环境450。在一些实施方案中，可以修改HMD玩家经由HMD 102观看的内容，使得其可以在二维屏幕上显示。例如，在将内容共享到twitch式服务之前，可以对内容执行3-D到2-D转换。在其它实施方案中，可以将完整的3-D内容共享到twitch式服务，并且连接到twitch式服务的观众可以经由HMD观看内容。应理解，观众可消费虚拟现实环境450的方式可以变化，并且提供给观众的功能也可以变化。广泛地说，可以向观众提供突出显示以查看HMD玩家100正在看的位置，并且还可以向观众提供动态可选设定以允许收听虚拟现实场景内的特定位置。

此外，可以向观众提供观看虚拟现实环境450中的不同视点。可以动态地控制或预创作这些视点，以向观众提供特定观看位置和角度。这些功能提供动态且增强的观看能力，这将增强观众观看HMD导航内容时的体验。如上所述，这些实施方案还促成观众以更正常的方式观看内容，该方式与HMD玩家的头部的快速移动无关，这可能会导致在观看HMD内容时的迷失方向或仅不适。

提供可根据HMD玩家的位置逐渐或缓慢地移动的观众视点提供查看HMD玩家正在享受的虚拟现实内容的容易方式。因此，观众可以容易地观看内容，并且被提供经由HMD装置改善观看乐趣或参与游戏过程或多媒体内容观看的方式。通过提供这些丰富功能，观众不再被绑定到HMD玩家的固定视角，并且不再被迫观看相同的精确视图，也不再会完全地遵循由HMD玩家驱使的动作。

参考图9，示出了示出根据本公开的实施方案的头戴式显示器102的部件的图。头戴式显示器102包括用于执行程序指令的处理器1300。存储器1302提供用于存储目的，并且可以包括易失性和非易失性存储器。包括显示器1304，其提供用户可观看的视觉界面。电池1306可以提供作为头戴式显示器102的电源。运动检测模块1308可以包括各种类型的运动灵敏硬件中的任一种，诸如磁力计1310、加速度计1312和陀螺仪1314。

加速度计是用于测量反作用力所引起的加速度和重力的装置。单轴模型和多轴模型可供用来检测在不同方向上的加速度的量级和方向。加速度计用于感测倾斜、振动和冲击。在一个实施方案中，三个加速度计1312用于提供重力方向，所述重力方向给出两个角(世界空间俯仰和世界空间横滚)的绝对参考。

磁力计测量在头戴式显示器附近的磁场的强度和方向。在一个实施方案中，三个磁力计1310在头戴式显示器内使用，以确保世界空间偏航角的绝对参考。在一个实施方案中，磁力计被设计为跨越±80微特斯拉的地球磁场。磁力计受金属的影响，并且提供与实际偏航单调的偏航测量结果。磁场可以因环境中的金属而扭曲，从而导致偏航测量的偏差。如果必要，那么可以使用来自其它传感器(诸如陀螺仪或相机)的信息来校准此偏差。在一个实施方案中，加速度计1312与磁力计1310一起使用来获得头戴式显示器102的倾斜度和方位角。

在一些实施方式中，头戴式显示器的磁力计被配置来在其它附近装置中的电磁铁不活动的时间期间被读取。

陀螺仪是用于基于角动量的原理来测量或维持定向的装置。在一个实施方案中，三个陀螺仪1314基于惯性感测来提供关于跨越相应的轴线(x、y和z)的移动的信息。陀螺仪有助于检测快速旋转。然而，陀螺仪可以随时间漂移而无需存在绝对参考。这要求周期性地重置陀螺仪，这种重置可以使用诸如基于对象的视觉跟踪、加速度计、磁力计等的定位/定向确定的其它可用信息来完成。

相机1316提供用于捕获真实环境的图像和图像流。在头戴式显示器102中可以包括多于一个的相机，其包括后置(在用户观看头戴式显示器102的显示器时背向用户)的相机，以及前置(在用户观看头戴式显示器102的显示器时朝向用户)的相机。另外，在头戴式显示器102中可以包括深度相机1318以用于感测真实环境中的对象的深度信息。

头戴式显示器102包括用于提供音频输出的扬声器1320。而且，可以包括麦克风1322以用于从真实环境捕获音频，其包括来自周围环境的声音、用户发出的语音等。头戴式显示器102包括用于将触觉反馈提供给用户的触觉反馈模块1324。在一个实施方案中，触觉反馈模块1324能够导致头戴式显示器102的移动和/或振动，以便将触觉反馈提供给用户。

LED 1326提供作为头戴式显示器102的状态的视觉指示器。例如，LED可以指示电池电量、通电状况等。读卡器1328提供用于使得头戴式显示器102能够从存储器卡读取信息和将信息写入到存储器卡。包括USB接口1330作为用于实现外围装置的连接或到其它装置的连接的接口的一个实例，其它装置诸如其它便携装置、计算机等。在头戴式显示器102的各种实施方案中，可以包括各种类型的接口中的任一种以实现头戴式显示器102的更大的连接性。

包括WiFi模块1332用于经由无线联网技术实现到互联网或局域网的连接。而且，头戴式显示器102可以包括用于实现到其它装置的无线连接的蓝牙模块1334。还可以包括通信链路1336用于连接到其它装置。在一个实施方案中，通信链路1336将红外传输用于无线通信。在其它实施方案中，通信链路1336可以利用各种无线或有线传输协议中的任何协议以用于与其它装置的通信。

包括输入按钮/传感器1338以向用户提供输入接口。可以包括各种类型的输入接口中的任一种，诸如按钮、触摸板、操纵杆、轨迹球等。在头戴式显示器102中可以包括超声通信模块1340以经由超声技术促成与其它装置的通信。

包括生物传感器1342以实现对来自用户的生理数据的检测。在一个实施方案中，生物传感器1342包括一个或多个干电极以用于经由用户的皮肤检测用户的生物电信号。

视频输入1344被配置来从主处理计算机(例如，主游戏控制台)接收视频信号以在HMD上呈现。在一些实现方式中，视频输入是HDMI输入。

已经将头戴式显示器102的前述部件描述成可包括在头戴式显示器102中的仅示例性部件。在本发明的各种实施方案中，头戴式显示器102可以或可以不包括各种前述部件中的一些。头戴式显示器102的实施方案可以另外包括当前未描述但本领域已知的其它部件，以用于促成如本文所述的本发明的方面的目的。

图10是根据本公开的各种实施方案的游戏系统1400的框图。游戏系统1400被配置来经由网络1415向一个或多个客户端1410提供视频流。游戏系统1400典型地包括视频服务器系统1420和任选的游戏服务器1425。视频服务器系统1420被配置来以最低服务质量向一个或多个客户端1410提供视频流。例如，视频服务器系统1420可以接收改变视频游戏内的视图状态或视角的游戏命令，并且向客户端1410提供反映具有最低迟滞时间的该状态变化的更新的视频流。视频服务器系统1420可以被配置来以各种替代视频格式提供视频流，包括尚未定义的格式。另外，视频流可以包括被配置来呈现给用户在各种帧速率的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒120帧。不过，在本公开的替代实施方案中包括更高或更低的帧速率。

客户端1410，本文单独地称为1410A、1410B等，可以包括头戴式显示器、终端、个人计算机、游戏控制台、平板型计算机、电话、机顶盒、信息亭、无线装置、数字板、独立装置、手持式游戏装置等。典型地，客户端1410被配置来接收编码的视频流、解码的视频流，并且将所得的视频呈现给用户，例如，游戏的玩家。接收编码的视频流和/或解码的视频流的过程典型地包括将单独的视频帧存储在客户端的接收缓冲器中。可以在与客户端1410集成的显示器上或在诸如监视器或电视机的单独装置上将视频流呈现给用户。客户端1410任选地被配置来支持多于一个的游戏玩家。例如，游戏控制台可被配置来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可以接收单独的视频串流，或单个视频串流可以包括特别针对每个玩家产生(例如，基于每个玩家的视角而产生)的帧的多个区域。客户端1410任选地是地理上分散的。游戏系统1400中包括的客户端的数目可以在从一个或两个到数千个、数万个或更多个，变化范围很大。如本文中所使用，术语“游戏玩家”用于指代玩游戏的人，并且术语“玩游戏的装置”用于指代用于玩游戏的装置。在一些实施方案中，玩游戏的装置可以指代协作以将游戏体验传递给用户的多个计算装置。例如，游戏控制台和HMD可以与视频服务器系统1420协作以经由HMD观看的游戏。在一个实施方案中，游戏控制台从视频服务器系统1420接收视频流，并且游戏控制台将视频流或视频流的更新转发到HMD以呈现。

客户端1410被配置来经由网络1415接收视频流。网络1415可以是任何类型的通信网络，包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络等。在典型的实施方案中，经由诸如TCP/IP或UDP/IP的标准协议来传达视频流。或者，经由专有标准来传达视频流。

客户端1410的典型实例是个人计算机，其包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可以包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在本领域中是熟知的，并且根据所使用的具体编码方案而变化。

客户端1410可以但不要求还包括被配置来用于修改接收到的视频的系统。例如，客户端可以被配置来执行进一步的渲染、将一个视频图像覆盖在另一个视频图像上、裁剪视频图像等。例如，客户端1410可以被配置来接收各种类型的视频帧，诸如I帧、P帧和B帧，并且将这些帧处理成图像以显示给用户。在一些实施方案中，客户端1410的成员被配置来对视频流执行进一步的渲染、着色、转换为3-D或类似的操作。客户端1410的成员任选地被配置来接收多于一个的音频流或视频流。客户端1410的输入装置可以包括例如单手游戏控制器、双手游戏控制器、手势识别系统、注视识别系统、语音识别系统、键盘、操纵杆、定点装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏幕、神经接口、相机、待开发的输入装置等。

由客户端1410接收的视频流(以及任选地音频流)由视频服务器系统1420生成和提供。如本文其它地方进一步描述的，这个视频流包括视频帧(并且音频流包括音频帧)。视频帧(例如，它们包括在适当的数据结构中的像素信息)被配置来有意义地构成向用户显示的图像。如本文所使用，术语“视频帧”用于指代主要包括被配置来构成(例如，实现)显示给用户的图像的信息的帧。本文关于“视频帧”的大部分的教义也可以适用于“音频帧”。

客户端1410典型地被配置来接收来自用户的输入。这些输入可以包括游戏命令，所述游戏命令被配置来改变视频游戏的状态或以其它方式影响游戏玩法。可以使用输入装置接收游戏命令和/或可以通过在客户端1410上执行的计算指令来自动地生成游戏命令。接收到的游戏命令经由网络1415从客户端1410传达到视频服务器系统1420和/或游戏服务器1425。例如，在一些实施方案中，游戏命令经由视频服务器系统1420而传达到游戏服务器1425。在一些实施方案中，游戏命令的单独副本从客户端1410传达到游戏服务器1425和视频服务器系统1420。游戏命令的传达任选地取决于命令的身份。任选地，从客户端1410A经由用于向客户端1410A提供音频流或视频流的不同路由或通信信道传达游戏命令。

游戏服务器1425任选地由与视频服务器系统1420不同的实体操作。例如，游戏服务器1425可以是由多人游戏的发布者操作。在该实例中，视频服务器系统1420任选地被游戏服务器1425视为是客户端，并且任选地被配置来从游戏服务器1425的视角来看是执行现有技术游戏引擎的现有技术客户端。视频服务器系统1420与游戏服务器1425之间的通信任选地经由网络1415进行。因此，游戏服务器1425可以是现有技术的多玩家游戏服务器，其将游戏状态信息发送到多个客户端，其中一个客户端是游戏服务器系统1420。视频服务器系统1420可以被配置来同时与游戏服务器1425的多个实例通信。例如，视频服务器系统1420可以被配置来向不同的用户提供多个不同的视频游戏。这些不同的视频游戏中的每一个可以由不同的游戏服务器1425支持和/或由不同实体发布。在一些实施方案中，视频服务器系统1420的若干地理上分布的实例被配置来向多个不同用户提供游戏视频。视频服务器系统1420的这些实例中的每一个可以与游戏服务器1425的相同实例通信。视频服务器系统1420与一个或多个游戏服务器1425之间的通信任选地经由专用通信信道进行。例如，视频服务器系统1420可以经由专用于这两个系统之间的通信的高带宽信道连接到游戏服务器1425。

视频服务器系统1420至少包括视频源1430、I/O装置1445、处理器1450和非暂时性存储器1455。视频服务器系统1420可以包括一个计算装置或分布在多个计算装置间。这些计算装置任选地经由诸如局域网的通信系统连接。

视频源1430被配置来提供视频流，例如流视频或形成移动图像的一系列视频帧。在一些实施方案中，视频源1430包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置来：从玩家接收游戏命令，并且基于接收到的命令而维持视频游戏的状态的副本。这个游戏状态包括在游戏环境中的对象的位置，以及典型地视角。游戏状态还可以包括对象的性质、图像、颜色和/或纹理。典型地基于游戏规则以及游戏命令(诸如移动、转动、攻击、设置焦点、互动、使用等)而维持游戏状态。游戏引擎的部分任选地设置在游戏服务器1425内。游戏服务器1425可以基于从使用地理上分散的客户端的多个玩家接收的游戏命令来维护游戏的状态的副本。在这些情况下，游戏状态由游戏服务器1425提供给视频源1430，其中存储游戏状态的副本并执行渲染。游戏服务器1425可以经由网络1415直接地从客户端1410接收游戏命令，和/或可以经由视频服务器系统1420接收游戏命令。

视频源1430典型地包括渲染逻辑，例如存储在诸如存储装置1455的计算机可读介质上的硬件、固件和/或软件。该渲染逻辑被配置来基于游戏状态而创建视频流的视频帧。渲染逻辑的全部或部分任选地安置在图形处理单元(GPU)内。渲染逻辑典型地包括处理阶段，所述处理阶段被配置来用于基于游戏状态和视点而确定对象之间的三维空间关系和/或被配置来用于应用适当的纹理等。渲染逻辑产生原始视频，然后通常在与客户端1410通信之前对其进行编码。例如，可以根据Adobe

标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.、Xvid.、FFmpeg、x264、VP6-8、realvideo、mp3或类似的标准对原始视频进行编码。编码过程产生视频流，任选地将所述视频流打包以传递到远程装置上的解码器。视频流是由帧大小和帧速率来表征。典型的帧大小包括800x600、1280x720(例如720p)、1024x768，但是可以使用任何其它帧大小。帧速率是每秒的视频帧数。视频流可以包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用以刷新显示装置上的所有宏块/像素的信息，而P帧包括用以刷新所述宏块/像素的子集的信息。P帧典型地在数据大小上小于I帧。如本文中所使用，术语“帧大小”意图指代帧内的像素的数目。术语“帧数据大小”用于指代存储所述帧所需的字节数。

在替代实施方案中，视频源1430包括视频录制装置，诸如相机。该相机可以用来产生可包括在计算机游戏的视频流中的延迟视频或实况视频。所得的视频流任选地包括所呈现的图像与使用静态相机或视频相机录制的图像两者。视频源1430还可以包括存储装置，所述存储装置被配置来存储先前录制的视频以包括在视频流中。视频源1430还可以包括运动或定位感测装置和逻辑，所述运动或定位感测装置被配置来检测对象(例如，人)的运动或位置，所述逻辑被配置来基于检测到的运动和/或位置而确定游戏状态或产生视频。

视频源1430任选地被配置来提供被配置为放置在其它视频上的叠加。例如，这些叠加可以包括命令界面、登录说明、发给游戏玩家的消息、其它游戏玩家的图像、其它游戏玩家的视频供稿(例如，网络摄像头视频)。在客户端1410A包括触摸屏幕界面或注视检测界面的实施方案中，叠加可以包括虚拟键盘、操纵杆、触摸板等。在叠加的一个实例中，将玩家的语音叠加在音频流上。视频源1430任选地还包括一个或多个音频源。

在其中视频服务器系统1420被配置来基于来自多于一个的玩家的输入而维持游戏状态的实施方案中，每个玩家可以具有包括观看位置和观看方向的不同视角。视频源1430任选地被配置来基于他们的视角而为每个玩家提供单独的视频流。另外，视频源1430可以被配置来向客户端1410中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1430任选地被配置来提供3-D视频。

I/O装置1445被配置来用于视频服务器系统1420发送和/或接收诸如视频、命令、信息请求、游戏状态、注视信息、装置运动、装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频等的信息。I/O装置1445典型地包括通信硬件，诸如网卡或调制解调器。I/O装置1445被配置来与游戏服务器1425、网络1415和/或客户端1410通信。

处理器1450被配置来执行逻辑，例如，软件，其被包括在这里讨论的视频服务器系统1420的各种部件内。例如，处理器1450可以用软件指令进行编程，以便执行视频源1430、游戏服务器1425和/或客户端限定符1460的功能。视频服务器系统1420任选地包括处理器1450的多于一个的实例。处理器1450还可以用软件指令进行编程，以便执行由视频服务器系统1420接收的命令，或协调本文讨论的游戏系统1400的各种元件的操作。处理器1450可以包括一个或多个硬件装置。处理器1450是电子处理器。

存储装置1455包括非暂时性模拟和/或数字存储装置。例如，存储装置1455可以包括被配置来存储视频帧的模拟存储装置。存储器1455可以包括计算机可读数字存储器，例如，硬盘驱动器、光盘驱动器或固态存储装置。存储器1415被配置(例如，通过适当的数据结构或文件系统)来存储视频帧、人工帧、包括视频帧和人工帧的视频流、音频帧、音频流等。存储器1455任选地分布在多个装置间。在一些实施方案中，存储装置1455被配置来存储本文其它地方讨论的视频源1430的软件部件。这些部件可以按需要时随时可以供应的格式来存储。

视频服务器系统1420任选地还包括客户端限定符1460。客户端限定符1460被配置来用于远程地确定客户端(诸如客户端1410A或1410B)的能力。这些能力可以包括客户端1410A本身的能力以及客户端1410A和视频服务器系统1420之间的一个或多个通信信道的能力。例如，客户端限定符1460可以被配置来经由网络1415测试通信信道。

客户端限定符1460可以手动地或自动地确定(例如，发现)客户端1410A的能力。手动地确定包括与客户端1410A的用户通信并要求用户提供能力。例如，在一些实施方案中，客户端限定符1460被配置来在客户端1410A的浏览器内显示图像、文本等。在一个实施方案中，客户端1410A是包括浏览器的HMD。在另一个实施方案中，客户端1410A是具有浏览器的游戏控制台，浏览器可以在HMD上显示。所显示的对象请求用户输入客户端1410A的诸如操作系统、处理器、视频解码器类型、网络连接类型、显示分辨率等的信息。用户输入的信息被传达回客户端限定符1460。

例如，可以通过在客户端1410A上执行代理程序和/或通过将测试视频发送到客户端1410A来进行自动确定。代理程序可以包括嵌入网页中或安装为加载项的计算指令，诸如java脚本。客户端限定符1460任选地提供代理程序。在各种实施方案中，代理程序可以找出客户端1410A的处理能力、客户端1410A的解码和显示能力、客户端1410A和视频服务器系统1420之间的通信信道的迟滞时间可靠性和带宽、客户端1410A的显示类型、存在于客户端1410A上的防火墙、客户端1410A的硬件、在客户端1410A上执行的软件、在客户端1410A内的注册表项等。

客户端限定符1460包括存储在计算机可读介质上的硬件、固件和/或软件。客户端限定符1460任选地设置在与视频服务器系统1420的一个或多个其它元件分开的计算装置上。例如，在一些实施方案中，客户端限定符1460被配置来确定客户端1410与视频服务器系统1420的多于一个的实例之间的通信信道的特性。在这些实施方案中，客户端限定符所发现的信息可以用于确定视频服务器系统1420的哪个实例最适合于将流视频传递到客户端1410中的一个。

本公开的实施方案可以借助各种计算机系统配置来实践，所述计算机系统配置包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。还可以在分布式计算环境中实践本公开，其中任务是由经由基于有线或无线的网络链接的远程处理装置执行。

鉴于以上实施方案，应理解，本公开可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量的物理操纵的那些操作。本文所述的形成本公开的部分的操作中的任一操作都是有用的机器操作。本公开还涉及一种用于执行这些操作的装置或设备。所述设备可以专门地构造用于所需目的，或者所述设备可以是通用计算机，所述通用计算机通过存储在计算机中的计算机程序来选择性激活或配置。具体地讲地，各种通用机器可以与根据本文中的教义编写的计算机程序一起使用，或者所述机器可以更方便于构造更专门的设备以执行所需操作。

本发明还可以被体现为计算机可读介质上的计算机可读代码。计算机可读介质是可存储之后可由计算机系统读取的数据的任何数据存储装置。计算机可读介质的实例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学和非光学数据存储装置。所述计算机可读介质可以包括分布在网络耦合的计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。

虽然以特定次序描述方法操作，但应理解，可以在操作之间执行其它内务处理操作，或者可以调整操作以使得所述操作在略不同的时间上出现，或者可以分布在系统中，所述系统允许处理操作在与处理相关联的各种间隔处出现，只要重叠操作的处理以所需方式执行即可。

虽然出于清楚理解目的而详细地描述了前述公开，但是将清楚，可以在随附权利要求范围内实践某些改变和修改。因此，本公开的实施方案被认为是说明性的而非限制性的，并且本公开不限于本文中给出的细节，而是可以在本公开的范围和等效物内进行修改。

Claims (20)

1.一种用于处理虚拟现实内容以供观众观看的方法，所述方法包括：

在服务器处接收与由头戴式显示器(HMD)玩家进行的互动相关联的虚拟现实流，所述HMD玩家被配置来导航虚拟现实环境，并且对所述虚拟现实环境的所述导航产生具有HMD玩家视图的所述虚拟现实流；

在所述服务器处接收经由观众的装置对经由所述观众的HMD观看所述虚拟现实流的请求；

由所述服务器向所述观众的所述装置针对所述观众的所述HMD发送所述虚拟现实流的供稿，所述虚拟现实流的所述供稿提供观看所述虚拟现实环境的HMD观众视图；以及

由所述服务器根据传动比来调整观看所述虚拟现实环境的所述HMD观众视图，所述传动比限定所述HMD玩家导航所述虚拟现实环境时所述HMD观众视图跟随所述HMD玩家视图的速率，

其中，在所述传动比被设置为1:M的情况下，所述HMD观众视图以所述玩家HMD视图速度M倍的速率跟随所述HMD玩家视图，M小于或等于1。

2.如权利要求1所述的方法，其中由所述服务器基于在所述虚拟现实环境中遇到的内容而动态地调整所述传动比。

3.如权利要求1所述的方法，其中由所述服务器基于所述观众的偏好而动态地调整所述传动比。

4.如权利要求1所述的方法，其中所述传动比提供所述HMD观众视图跟随所述HMD玩家视图时的延迟，所述延迟导致所述HMD观众视图的移动变化得比所述HMD玩家视图的移动更慢，所述HMD玩家视图以由所述HMD玩家控制的速率移动，因为在所述虚拟现实环境中导航或移动时，所述HMD玩家在真实世界空间中移动所述HMD玩家的所述HMD。

5.如权利要求1所述的方法，其中所述传动比提供所述HMD观众视图跟随所述HMD玩家视图时的可动态地调整的延迟，所述可动态地调整的延迟导致所述HMD观众视图的移动相对于所述HMD玩家视图的移动而改变速度，所述HMD玩家视图以由所述HMD玩家控制的速率移动，因为在所述虚拟现实环境中导航或移动时，所述HMD玩家在真实世界空间中移动所述HMD玩家的所述HMD。

6.如权利要求1所述的方法，其中所述传动比提供所述HMD观众视图跟随所述HMD玩家视图时的可动态地调整的延迟，所述可动态地调整的延迟由虚拟橡皮筋的物理模型近似，所述物理模型包括所述虚拟橡皮筋的弹性，使得所述HMD玩家视图的移动速度的加速导致对所述虚拟橡皮筋的初始急拉，所述虚拟橡皮筋然后作出反应以迫使所述HMD观众视图跟随所述HMD玩家视图。

7.如权利要求1所述的方法，其中所述传动比提供所述HMD观众视图跟随所述HMD玩家视图时的可动态地调整的延迟，所述可动态地调整的延迟由具有虚拟长度的虚拟橡皮筋的物理模型近似，所述物理模型包括所述虚拟橡皮筋的弹性，使得所述HMD玩家视图的移动速度的加速导致所述虚拟橡皮筋扩展和拉扯以迫使所述HMD观众视图跟随所述HMD玩家视图。

8.如权利要求1所述的方法，其中当所述HMD玩家视图移动得比由所述传动比引入的延迟更快时，所述传动比跳过或减小以跟随所述HMD玩家视图。

9.如权利要求1所述的方法，其中可基于关联到所述HMD玩家视图与所述HMD观众视图之间的虚拟橡皮筋连接的物理度量而调整所述传动比。

10.一种用于处理虚拟现实内容以供观众观看的方法，所述方法包括：

在计算机处处理与由头戴式显示器(HMD)玩家佩戴的HMD进行的互动相关联的虚拟现实流，所述HMD玩家被配置来导航虚拟现实环境，并且对所述虚拟现实环境的所述导航产生具有HMD玩家视图的所述虚拟现实流；

在所述计算机处接收与观众的HMD相关联的对经由所述观众的HMD观看所述虚拟现实流的请求；

由所述计算机向所述观众的所述HMD发送所述虚拟现实流的供稿，所述虚拟现实流的所述供稿提供观看正在由所述HMD玩家导航的所述虚拟现实环境的HMD观众视图；以及

由所述计算机根据传动比来调整观看所述虚拟现实环境的所述HMD观众视图，所述传动比限定所述HMD玩家导航所述虚拟现实环境时所述HMD观众视图跟随所述HMD玩家视图的速率，

其中，在所述传动比被设置为1:M的情况下，所述HMD观众视图以所述玩家HMD视图速度M倍的速率跟随所述HMD玩家视图，M小于或等于1。

11.如权利要求10所述的方法，其中由所述计算器基于在所述虚拟现实环境中遇到的内容而动态地调整所述传动比。

12.如权利要求10所述的方法，其中由所述计算器基于所述观众的偏好而动态地调整所述传动比。

13.如权利要求10所述的方法，其中所述传动比提供所述HMD观众视图跟随所述HMD玩家视图时的延迟，所述延迟导致所述HMD观众视图的移动变化或反应得比所述HMD玩家视图的移动更慢，所述HMD玩家视图以由所述HMD玩家控制的速率移动，因为在所述虚拟现实环境中导航或移动时，所述HMD玩家在真实世界空间中移动所述HMD玩家的所述HMD。

14.如权利要求10所述的方法，其中所述传动比提供所述HMD观众视图跟随所述HMD玩家视图时的可动态地调整的延迟，所述可动态地调整的延迟导致所述HMD观众视图的移动相对于所述HMD玩家视图的移动而改变速度，所述HMD玩家视图以由所述HMD玩家控制的速率移动，因为在所述虚拟现实环境中导航或移动时，所述HMD玩家在真实世界空间中移动所述HMD玩家的所述HMD。

15.如权利要求10所述的方法，其中所述传动比提供所述HMD观众视图跟随所述HMD玩家视图时的可动态地调整的延迟，所述可动态地调整的延迟由虚拟橡皮筋的物理模型近似，所述物理模型包括所述虚拟橡皮筋的弹性，使得所述HMD玩家视图的移动速度的加速导致对所述虚拟橡皮筋的初始急拉，所述虚拟橡皮筋然后作出反应以迫使所述HMD观众视图跟随所述HMD玩家视图。

16.如权利要求10所述的方法，其中所述传动比提供所述HMD观众视图跟随所述HMD玩家视图时的可动态地调整的延迟，所述可动态地调整的延迟由具有虚拟长度的虚拟橡皮筋的物理模型近似，所述物理模型包括所述虚拟橡皮筋的弹性，使得所述HMD玩家视图的移动速度的加速导致所述虚拟橡皮筋扩展和拉扯以迫使所述HMD观众视图跟随所述HMD玩家视图。

17.一种计算机可读介质，所述计算机可读介质具有用于处理虚拟现实内容以供观众观看的程序指令，所述计算机可读介质包括，

用于进行以下操作的指令：在计算机处处理与由头戴式显示器(HMD)玩家佩戴的HMD进行的互动相关联的虚拟现实流，所述HMD玩家被配置来导航虚拟现实环境，并且对所述虚拟现实环境的所述导航产生具有HMD玩家视图的所述虚拟现实流；

用于进行以下操作的指令：在所述计算机处接收与观众的HMD相关联的对经由所述观众的HMD观看所述虚拟现实流的请求；

用于进行以下操作的指令：由所述计算机向所述观众的所述HMD发送所述虚拟现实流的供稿，所述虚拟现实流的所述供稿提供观看正在由所述HMD玩家导航的所述虚拟现实环境的HMD观众视图；以及

用于进行以下操作的指令：由所述计算机根据传动比来调整观看所述虚拟现实环境的所述HMD观众视图，所述传动比限定所述HMD玩家导航所述虚拟现实环境时所述HMD观众视图跟随所述HMD玩家视图的速率，

其中，在所述传动比被设置为1:M的情况下，所述HMD观众视图以所述玩家HMD视图速度M倍的速率跟随所述HMD玩家视图，M小于或等于1。

18.如权利要求17所述的计算机可读介质，其中所述传动比提供所述HMD观众视图跟随所述HMD玩家视图时的延迟，所述延迟导致所述HMD观众视图的移动变化或反应得比所述HMD玩家视图的移动更慢，所述HMD玩家视图以由所述HMD玩家控制的速率移动，因为在所述虚拟现实环境中导航或移动时，所述HMD玩家在真实世界空间中移动所述HMD玩家的所述HMD。

19.如权利要求17所述的计算机可读介质，其中所述传动比提供所述HMD观众视图跟随所述HMD玩家视图时的可动态地调整的延迟，所述可动态地调整的延迟导致所述HMD观众视图的移动相对于所述HMD玩家视图的移动而改变速度，所述HMD玩家视图以由所述HMD玩家控制的速率移动，因为在所述虚拟现实环境中导航或移动时，所述HMD玩家在真实世界空间中移动所述HMD玩家的所述HMD。

20.如权利要求17所述的计算机可读介质，其中所述传动比提供所述HMD观众视图跟随所述HMD玩家视图时的可动态地调整的延迟，所述可动态地调整的延迟由虚拟橡皮筋的物理模型近似，所述物理模型包括所述虚拟橡皮筋的弹性，使得所述HMD玩家视图的移动速度的加速导致对所述虚拟橡皮筋的初始急拉，所述虚拟橡皮筋然后作出反应以迫使所述HMD观众视图跟随所述HMD玩家视图。

Images