CN110869096A - 在不安装应用的情况下对移动用户界面的即时流式传输 - Google Patents

Abstract

一种用于通信的方法。所述方法包括在显示器上显示进行游戏应用的第一用户的游戏进行。所述方法包括通过无线局域网从第一设备广播SSID。所述方法包括通过所述无线局域网将所述第一设备与跟第二用户相关联的第二设备配对。所述方法包括将包括与所述第一游戏进行有关的信息的用户界面从所述第一设备流式传输到所述第二设备。所述用户界面与所述第一用户的所述游戏进行同时进行流式传输，并且被配置成补充所述第一用户的游戏进行。

Description

在不安装应用的情况下对移动用户界面的即时流式传输

技术领域

本公开涉及视频游戏或游戏应用。除其他之外，本公开描述了用于通过无线网络将移动设备连接到游戏控制台以便在不要求安装应用的情况下将用户界面流式传输到移动设备的方法和系统。

背景技术

随着视频游戏技术的进步，视频游戏变得越来越流行。例如，高功率图形处理器在进行视频游戏时提供了令人难以置信的观看和交互体验。另外，基于云的系统可以为视频游戏的执行提供无限的处理能力，并且为进行游戏提供大量的传统和新视频游戏。这些基于云的系统使得能够将内容流式传输到远程客户端，其中大多数处理在服务器上完成，所述服务器可以是分布式的。因此，基于云的游戏越来越流行，因为用户发现在没有复杂的硬件限制的情况下更容易访问更多的视频游戏标题，并且游戏供应商发现从集中位置管理游戏代码更容易。

用户可能正在进行游戏应用，其中与游戏进行相关联的信息可以通过多个设备呈现给用户。用户可能要经历漫长的过程才能注册每个设备。一旦注册，用户就能够访问各个设备上的所有信息，以便推进游戏进行或在游戏进行期间增强用户体验。

此外，很多时候用户正在多人的环境中进行游戏应用，诸如用户的朋友们都聚集在房间中。朋友通常不参与用户的游戏进行，而是作为观众观看如在主显示器上呈现的游戏进行。这类似于体育赛事中的观众，他们对比赛中的动作做出反应，但并不参加比赛。

朋友们不仅可以观看，还可以通过查看涉及呈现与游戏进行相关联的信息的多个设备之一上的信息来参与游戏进行。因为用户拥有这些设备，所以用户可能不希望允许朋友访问多个设备中的任何一个以控制那些多个设备的访问。例如，用户可能不希望朋友查看存储在用户的设备上的私人信息(例如，文本消息、照片等)。一种典型的解决方案将是与呈现和游戏进行相关联的信息的其他设备相关联地注册属于朋友的设备。另外，将在设备上安装应用以接收和显示信息。然而，注册朋友拥有的设备可能涉及漫长而困难的过程，包括应用安装，从而导致用户在开始注册过程之前要再三考虑。在没有注册设备和/或安装应用的情况下，朋友仍然是用户的游戏进行的观众。

允许多人(例如，朋友们)参与用户的游戏进行将是有益的。

正是在这种背景下，出现了本公开的实施例。

发明内容

本公开的各实施例涉及通过无线网络将补充和/或支持进行游戏应用的第一用户的游戏进行的信息提供给第二用户的设备，其中将第二用户的设备与广播网络标识符的游戏控制台配对，以便在不要求安装应用的情况下将用户界面流式传输到第二用户的设备。可以使用用户界面直接从第二用户的设备与游戏控制台和/或游戏应用进行交互。例如，第二用户的移动设备连接到由游戏控制台本身生成的Wi-Fi服务集标识符(SSID)。所述连接在游戏控制台与第二设备之间建立局域网。然后，游戏控制台可以将丰富的用户界面流式传输到第二设备。第二用户与用户界面的交互使得能够直接控制游戏进行(例如，通过控制游戏应用的执行)或游戏控制台，而等待时间几乎为零。这样，任何用户的任何设备都可以立即成为用于游戏控制台、游戏进行或游戏应用的第二屏幕，而无需安装任何东西(例如，定制的应用)，或者甚至不需要第二设备上可用的任何存储空间。下文描述本公开的若干发明实施例。

在一个实施例中，公开了一种用于与进行游戏应用相关联的设备之间的通信的方法。所述方法包括在显示器上呈现进行游戏应用的第一用户的游戏进行。所述方法包括通过无线局域网从第一设备广播服务集标识符(SSID)。例如，第一设备可以是游戏控制台。所述方法包括通过无线局域网将第一设备与跟第二用户相关联的第二设备配对。所述方法包括将包括与第一游戏进行有关的信息的用户界面(例如，伴随界面)从第一设备流式传输到第二设备。所述用户界面与第一用户的游戏进行同时进行流式传输，并且所述用户界面被配置成补充和/或支持第一用户的游戏进行。以这种方式，第二用户能够参与第一用户的游戏进行。

在另一个实施例中，公开了一种非暂时性计算机可读介质，其存储用于在与进行游戏应用相关联的设备之间提供通信的计算机程序。所述计算机可读介质包括用于在显示器上呈现进行游戏应用的第一用户的游戏进行的程序指令。所述计算机可读介质包括用于通过无线局域网从第一设备广播服务集标识符(SSID)的程序指令。例如，第一设备可以是游戏控制台。所述计算机可读介质包括用于通过无线局域网将第一设备与跟第二用户相关联的第二设备配对的程序指令。所述计算机可读介质包括用于将包括与第一游戏进行有关的信息的用户界面(例如，伴随界面)从第一设备流式传输到第二设备的程序指令。所述用户界面与第一用户的游戏进行同时进行流式传输，并且所述用户界面被配置成补充和或支持第一用户的游戏进行。以这种方式，第二用户能够参与第一用户的游戏进行。

在又一个实施例中，公开了一种计算机系统。公开了所述计算机系统包括处理器和存储器，其中所述存储器耦接到处理器并且其中存储有指令，所述指令在由计算机系统执行的情况下，致使计算机系统执行用于与进行游戏应用相关联的设备之间的通信的方法。所述方法包括在显示器上呈现进行游戏应用的第一用户的游戏进行。所述方法包括通过无线局域网从第一设备广播服务集标识符(SSID)。例如，第一设备可以是游戏控制台。所述方法包括通过无线局域网将第一设备与跟第二用户相关联的第二设备配对。所述方法包括将包括与第一游戏进行有关的信息的用户界面(例如，伴随界面)从第一设备流式传输到第二设备。所述用户界面与第一用户的游戏进行同时进行流式传输，并且所述用户界面被配置成补充和/或支持第一用户的游戏进行。以这种方式，第二用户能够参与第一用户的游戏进行。

通过以下结合附图进行的通过示例的方式示出了本公开的原理的详细描述，本公开的其他方面将变得明显。

附图说明

通过参考以下结合附图进行的描述可以最好地理解本公开，在附图中：

图1A示出了根据本公开的一个实施例的系统，所述系统用于实现补充进行游戏应用的对应用户的游戏进行的基于位置的伴随界面，并且用于通过无线网络、经由在不要求安装应用的情况下流式传输到第二用户的设备的用户界面向第二用户的设备提供补充进行游戏应用的第一用户的游戏进行的信息。

图1B示出了根据本公开的一个实施例的系统，所述系统向进行在对应用户本地执行的一个或多个游戏应用的一个或多个用户提供游戏控制，其中补充进行游戏应用的第一用户的游戏进行的信息通过无线网络、经由在不要求安装应用的情况下流式传输到第二用户的设备的用户界面提供给第二用户的设备。

图1C示出了根据本公开的一个实施例的系统，所述系统向进行如通过云游戏网络执行的游戏应用的一个或多个用户提供游戏控制，并且其中后端服务器支持可以实现补充对应用户的游戏进行的基于位置的伴随界面，所述伴随界面位于对应用户的外围区中，并且其中补充进行游戏应用的第一用户的游戏进行的信息通过无线网络、经由在不要求安装应用的情况下流式传输到第二用户的设备的用户界面提供给第二用户的设备。

图2示出了根据本公开的一个实施例的系统图，所述系统图用于使得能够访问和进行游戏云系统(GCS)中的游戏应用并且实现补充对应用户的游戏进行的基于位置的伴随界面，其中补充进行游戏应用的第一用户的游戏进行的信息通过无线网络、经由在不要求安装应用的情况下流式传输到第二用户的设备的用户界面提供给第二用户的设备。

图3A示出了根据本公开的一个实施例的用例，所述用例示出了其他用户(例如，朋友们)通过使用在补充第一用户的游戏进行的用户界面中呈现的信息来参与第一用户的游戏进行，所述用户界面在不要求安装应用的情况下通过无线网络流式传输到第二用户的设备。

图3B示出了根据本公开的一个实施例的进行游戏应用的第一用户的游戏进行在显示器上的呈现以及补充所述游戏进行的伴随界面在第二用户的设备的同时呈现。

图3C是根据本公开的一个实施例的流式传输到第二用户的设备的示例性伴随界面的图，其中所述伴随界面补充了进行游戏应用的第一用户的游戏进行。

图3D是根据本公开的一个实施例的示出在用户所进行的游戏应用的游戏世界内用户和朋友的不同视点(POV)的图，其中朋友的POV被提供在用户界面(例如，伴随应用)内。

图4A是根据本公开的一个实施例的示出用于提供通过伴随界面呈现的信息的方法中的步骤的流程图，所述伴随界面补充了进行游戏应用的第一用户的游戏进行，其中所述伴随界面在不要求安装应用的情况下通过无线网络流式传输到第二用户的设备。

图4B是根据本公开的一个实施例的示出用于生成伴随应用的基于位置的伴随界面的方法中的步骤的流程图，所述伴随界面补充了第一用户的游戏进行，其中所述伴随界面在不要求安装应用的情况下通过无线网络流式传输到第二用户的设备。

图5是根据本公开的实施例的示出头戴式显示器的部件的图。

图6是根据本公开的各种实施例的游戏系统的框图。

具体实施方式

尽管出于说明的目的，以下详细描述包含许多具体细节，但是本领域的普通技术人员将理解，对以下细节的许多变化和更改都在本公开的范围内。因此，阐述了下文描述的本公开的各方面，而不失一般性，并且不对本说明书之后的权利要求施加限制。

一般而言，本公开的各种实施例描述了通过无线网络将补充进行游戏应用的第一用户的游戏进行的信息提供给第二用户的设备的系统和方法，其中第二用户的设备与广播网络标识符的游戏控制台配对，以便在不要求安装应用的情况下将用户界面流式传输到第二用户的设备。例如，第二用户的移动设备与由游戏控制台生成的Wi-Fi SSID(服务集标识符)连接和/或配对。一旦配对，就可以将丰富的移动用户界面(UI)流式传输到移动设备，而不要求在移动设备上安装应用。从移动设备，可以使用此UI与游戏控制台和/或在控制台或后端游戏服务器上执行的游戏应用进行交互。以这种方式，第二用户能够参与进行游戏应用的第一用户的游戏进行。例如，可以将UI中呈现并且对第二用户可用的信息递送给正在实时控制游戏进行的第一用户(例如，可听地)。在整个说明书中，术语伴随应用通常用于指代补充进行游戏应用的用户的游戏进行的“用户界面”或“界面”。也就是说，伴随应用可以被配置为任何类型的界面并且包括可以补充对应用户的游戏进行的任何类型的信息。

可以在基于位置的伴随界面内提供用户界面，所述伴随界面被配置成补充第一用户的游戏进行。因此，本公开的实施例通过基于位置的伴随界面提供游戏应用的附加使用。在一个实施例中，伴随界面包括基于第一用户的游戏进行中角色的位置生成的上下文相关信息(例如，消息传递、辅助信息等)。所述信息是基于在一个或多个用户的游戏进行期间定期收集的快照，其中快照包含关于对应用户的游戏进行的元数据和/或信息，并且可配置成在游戏应用中对应于所述快照的跳跃点处启用对应游戏应用的另一个实例。

基于位置的信息包括定义针对在对应用户(例如，第一用户)的游戏进行期间定期收集的快照生成的参数。具体地，快照包含关于第一用户的游戏进行的元数据和/或信息，并且可配置成在游戏应用中对应于所述快照的跳跃点处启用对应游戏应用的另一个实例。上下文相关信息还包括在进行同一游戏应用的其他用户的这种游戏进行期间收集的信息。以这种方式，伴随界面的观看者(例如，第一用户或第二用户)能够基于第一用户的当前进度(例如，游戏世界中的位置等)来接收上下文相关信息。例如，上下文相关信息可以在第一用户进行游戏时提供帮助，其中所述信息可以基于进行游戏的位置、过去的游戏进行和预期的游戏进行。在一个用例中，第二用户能够基于伴随界面中呈现的上下文相关信息来指导第一用户的游戏进行。

以上是对各种实施例的一般理解，现在将参考各种附图来描述实施例的示例细节。

在整个说明书中，对“视频游戏”或“游戏应用”的参考意味着表示通过执行输入命令来引导的任何类型的交互式应用。仅出于说明的目的，交互式应用包括用于游戏、文字处理、视频处理、视频游戏处理等的应用。此外，术语视频游戏和游戏应用是可互换的。

图1A示出了根据本公开的一个实施例的用于实现基于位置的伴随界面的系统10，所述伴随界面被配置成补充进行游戏应用的用户的游戏进行。例如，伴随界面可以用于提供信息和/或创建内容(例如，冒险和/或挑战等)，以供进行游戏应用的其他用户进行交互。根据本公开的一个实施例，游戏应用可以在本地计算设备上或通过云游戏网络执行。

另外，系统10可以被配置成通过无线网络将补充进行游戏应用的第一用户的游戏进行的信息提供给第二用户的设备(未示出)，其中所述信息可以在不要求安装应用的情况下流式传输到第二用户的设备的用户界面(例如，伴随界面)内提供。关于下文描述的图3A-图3C和图4A-图4B更全面地描述了用户界面到第二用户的设备的流式传输。

如图1A所示，游戏应用可以在用户5的客户端设备100处(例如，在游戏执行引擎111处)本地执行，或者可以在云游戏网络或游戏云系统的后端游戏服务器205处操作的后端游戏执行引擎211处执行。游戏执行引擎211可以在游戏服务器205的许多游戏处理器201中的一个内操作。在任一情况下，云游戏网络被配置成提供补充进行游戏应用的一个或多个用户的游戏进行的基于位置的伴随界面。此外，游戏应用可以以单玩家模式或多玩家模式执行，其中本发明的实施例为两种操作模式提供多玩家增强功能(例如，辅助、通信等)。另外，游戏应用的游戏进行可以在如通过HMD 102实现的VR观看环境内呈现。

在一些实施例中，云游戏网络可以包括在主机的管理程序上运行的多个虚拟机(VM)，其中一个或多个虚拟机被配置成利用硬件资源来执行游戏处理器模块201，所述硬件资源可用于支持单玩家或多玩家视频游戏的主机的管理程序。在其他实施例中，云游戏网络被配置成支持支持多个用户的多个本地计算设备，其中每个本地计算设备可以执行视频游戏的实例，诸如在单玩家或多玩家视频游戏中。例如，在多玩家模式中，当视频游戏是在本地执行时，云游戏网络同时从每个本地计算设备接收信息(例如，游戏状态数据)并且相应地在所述本地计算设备中的一个或多个中分配这些信息，使得每个用户都能够在多玩家视频游戏的游戏环境中与其他用户进行交互(例如，通过视频游戏中的对应角色)。以这种方式，云游戏网络在多玩家游戏环境中协调并组合每个用户的游戏进行。

如图所示，系统10包括执行游戏处理器模块201的游戏服务器205，所述游戏处理器模块提供对多个交互式游戏应用的访问。游戏服务器205可以是云中可用的任何类型的服务器计算设备，并且可以被配置为在一个或多个主机上执行的一个或多个虚拟机，如先前所描述的。例如，游戏服务器205可以管理支持游戏处理器201的虚拟机。游戏服务器205还被配置成向用户5提供附加服务和/或内容。例如，游戏服务器可配置成提供可显示给用户5的伴随界面，以便生成和/或接收上下文相关信息，如下文将进一步描述的。

客户端设备100被配置用于通过网络150(诸如互联网)请求对游戏应用的访问，并且用于渲染由游戏服务器205执行并递送到与用户5相关联的显示设备12的视频游戏或游戏应用的实例。例如，用户5可以通过客户端设备100与在游戏处理器201上执行的游戏应用的实例进行交互。客户端设备100还可以包括配置用于在本地执行游戏应用的游戏执行引擎111，如先前所描述的。客户端设备100可以从各种类型的输入设备诸如游戏控制器6、平板计算机11、键盘、以及由摄影机捕获的手势、鼠标、触摸板等接收输入。客户端设备100可以是至少具有存储器和处理器模块的任何类型的计算设备，其能够通过网络150连接到游戏服务器205。客户端设备100的一些示例包括个人计算机(PC)、游戏控制台、家庭影院设备、通用计算机、移动计算设备、平板电脑、电话或者可以与游戏服务器205进行交互以执行视频游戏的实例的任何其他类型的计算设备。

客户端设备100被配置用于接收渲染的图像，并且用于在显示器12和/或HMD 102上显示渲染的图像(例如，显示VR内容)。例如，通过基于云的服务，渲染的图像可以通过在与用户5相关联的游戏服务器205的游戏执行引擎211上执行的游戏应用的实例来递送。在另一个示例中，通过本地游戏处理，可以由本地游戏执行引擎111来递送渲染的图像。在任一情况下，客户端设备100被配置成诸如通过用于驱动游戏进行的输入命令，与跟用户5的游戏进行相关联的执行引擎211或111进行交互。在另一种实现方式中，可以直接从基于云的服务或经由客户端设备100(例如，

远程播放)将渲染的图像无线或有线地流式传输到智能电话或平板电脑。

此外，客户端设备100被配置成与游戏服务器205进行交互以便在进行游戏应用时捕获和存储用户5的游戏进行的快照，其中每个快照包括与游戏进行有关的信息(例如，游戏状态等)。例如，快照可以包括与用户5的游戏进行的游戏世界中的角色的位置相对应的基于位置的信息。此外，快照使得对应用户能够在游戏应用中对应于捕获快照的跳跃点处跳跃到保存的游戏进行中。这样，用户5可以在对应于所选快照的跳跃点处跳跃到他或她自己保存的游戏进行中，另一个用户可以跳跃到用户5的游戏进行中，或者用户5可以在与所选快照相对应的跳跃点处跳跃到另一个用户保存的游戏进行中。此外，客户端设备100被配置成与游戏服务器205进行交互以显示来自伴随界面生成器213的基于位置的伴随界面，其中所述伴随界面被配置成接收和/或生成上下文相关内容，诸如辅助信息、消息传递、交互式冒险和挑战等。在另一个实施例中，伴随界面生成器113对于用户5是本地的。具体地，包含在用户5的游戏进行期间捕获的快照中的信息诸如与游戏进行有关的基于位置的信息以及在其他用户的游戏进行期间捕获的信息用于生成上下文相关内容。

更具体地，游戏服务器205的游戏处理器201被配置成在用户5进行游戏应用时生成和/或接收所述用户的游戏进行的快照。例如，快照可以由客户端设备100上的本地游戏执行引擎111生成，通过网络150输出并递送到游戏处理器201。另外，快照可以由游戏处理器201内的游戏执行引擎211生成，诸如通过在引擎211上执行的游戏应用的实例。此外，与其他虚拟机相关联的游戏服务器205的其他游戏处理器被配置成执行与其他用户的游戏进行相关联的游戏应用的实例并且在这些游戏进行期间捕获快照，其中这些附加信息可以用于创建上下文相关信息。

快照生成器212被配置成捕获从用户5的游戏进行生成的多个快照。每个快照提供的信息使得能够从视频游戏中与对应快照相关联的点开始执行视频游戏的实例。在用户5的游戏应用的游戏进行期间自动地生成快照。在实施例中，每个快照的部分存储在独立配置或配置在数据存储装置140下的相关数据库中。在另一个实施例中，可以通过用户5的指令手动地生成快照。以这种方式，通过选择对应快照的任何用户可以在游戏应用中与对应快照相关联的点处跳跃到用户5的游戏进行中。另外，还可以捕获进行多个游戏应用的其他用户的游戏进行的快照。这样，游戏处理器201被配置成访问数据库140中的信息，以便能够基于对应的快照跳跃到任何用户保存的游戏进行中。也就是说，请求用户能够使用生成并保存快照的原始用户的游戏进行的游戏角色在与所选快照相对应的跳跃点处开始进行视频游戏。

关于快照的创建和使用的完整讨论在标题为“Method And System For Saving ASnapshot of Game Play And Used To Begin Later Execution Of The Game Play ByAny User As Executed On A Game Cloud System(用于保存游戏进行的快照并且用于由任何用户稍后开始执行如在游戏云系统上执行的游戏进行的方法和系统)”的美国申请序列号15/411,421中提供，所述申请先前通过引用整体并入本文。以下是创建和实现快照的简单描述。

具体地，每个快照包括元数据和/或信息，以使得能够在游戏应用中与快照相对应的点处开始执行游戏应用的实例。例如，在用户5的游戏进行中，可以在游戏应用的进展中的特定点处(诸如在等级中间)生成快照。相关快照信息存储在数据库140的一个或多个数据库中。指针可以用于关联与特定快照相对应的每个数据库中的信息。以这种方式，希望体验用户5的游戏进行的另一用户或希望重新体验他或她之前的游戏进行的同一用户5可以选择与游戏应用中感兴趣的点相对应的快照。

可以提供和/或分析每个快照中的元数据和信息以提供与用户的游戏进行有关的附加信息。例如，快照可以帮助确定用户(例如，用户的角色)已经在游戏应用内的位置、用户在游戏应用中的位置、用户已经做了什么、用户已经积累了什么资产和技能、以及用户将在游戏应用内进入的位置。这些附加信息可以用于生成基于用户的游戏进行的冒险和/或挑战，其中所述冒险和/或挑战不包含在游戏应用内。例如，用户可以定义资产和成就参数(例如，负数和正数)，所述参数创建模仿用户的游戏进行的冒险和/或挑战(例如，使用最少的武器击败首领)。用户可以用相同的约束(例如，最少的武器)来挑战其他用户以尝试并完成冒险(例如，击败首领)。

快照包括在这个点处渲染的场景的快照图像。快照图像存储在快照图像数据库146中。在一个实施例中，以时间线中的缩略图的形式呈现的快照图像在用户通过视频游戏的进展中的对应点处提供了对用户的游戏进行的观看。

更具体地，快照还包括定义这个点处的游戏状态的游戏状态数据。例如，游戏状态数据可以包括游戏角色、游戏对象、游戏对象属性、游戏属性、游戏对象状态、图形覆盖等。以这种方式，游戏状态数据允许生成视频游戏中的对应点处存在的游戏环境。游戏状态数据还可以包括用于渲染游戏进行的每个设备的状态，诸如CPU的状态、GPU的状态、存储器的状态、寄存器值、程序计数器值、可编程DMA状态、DMA的缓冲数据、音频芯片状态、CD-ROM状态等。游戏状态数据还可以识别需要加载可执行代码的哪些部分以便从这个点执行视频游戏。并不需要捕获和存储所有游戏状态数据，仅足以使可执行代码在与快照相对应的点处启动游戏的数据即可。游戏状态数据存储在游戏状态数据库145中。

快照还包括用户保存数据。一般来说，用户保存数据包括为对应用户个性化视频游戏的信息。这包括与用户的角色相关联的信息，使得视频游戏以对于这个用户可能是唯一的角色(例如，形状、外观、服装、武器等)渲染。以这种方式，用户保存数据使得能够生成用于对应用户的游戏进行的角色，其中所述角色具有对应于视频游戏中与快照相关联的点的状态。例如，用户保存数据可以包括用户5在进行游戏时选择的游戏难度、游戏等级、角色属性、角色位置、剩余生命数、可用的可能生命总数、护甲、战利品、时间计数器值以及其他资产信息等。例如，用户保存数据还可以包括识别用户5的用户简档数据。用户保存数据存储在数据库141中。

另外，快照还包括由人工智能(AI)模块215生成的随机种子数据。随机种子数据可以不是原始游戏代码的一部分，但是可以以覆盖方式添加以使游戏环境看起来更真实和/或对用户更有吸引力。也就是说，随机种子数据为存在于用户的游戏进行中的对应点处的游戏环境提供附加特征。例如，可以随机生成AI角色并且以覆盖方式提供。AI角色不与进行游戏的任何用户相关联，而是被放置在游戏环境中以增强用户的体验。作为说明，这些AI角色可以在城市场景中随机地在街道上行走。另外，可以生成其他对象并以覆盖方式呈现。例如，可以生成背景中的云和在空中飞行的鸟，并以覆盖方式呈现。随机种子数据存储在随机种子数据库143中。

以这种方式，希望体验用户5的游戏进行的另一用户可以选择与视频游戏中的感兴趣的点相对应的快照。例如，用户选择在节点图中的时间线或节点中呈现的快照图像使得游戏处理器201的跳跃执行引擎216能够访问对应的快照，基于快照实例化视频游戏的另一个实例，并且从视频游戏中与快照相对应的点处开始执行视频游戏。以这种方式，快照使得请求用户能够在与快照相对应的点处跳跃到用户5的游戏进行中。另外，用户5可以使用对应的快照访问其他用户的游戏进行，或者甚至访问他或她自己在相同或其他游戏应用中的先前游戏进行。具体地，用户5对快照的选择(例如，在时间线中或通过消息等)使得执行引擎216能够从各种数据库(例如，从数据库140)收集快照(例如，元数据和/或信息)，以便在对应游戏应用中捕获对应快照的点处开始执行对应的游戏应用。

在一个实施例中，游戏处理器201包括基于位置的伴随应用生成器213，所述伴随应用生成器被配置成在用户5进行游戏应用时生成补充所述用户的游戏进行的伴随界面。在另一个实施例中，类似地配置的伴随应用生成器113对于用户5是本地的。在任一情况下，生成器213或113可以用于创建基于用户5的游戏进行的要递送到用户5或从其接收的上下文相关信息(例如，辅助信息、消息等)，其中所述上下文相关信息是使用基于位置的信息(例如，快照)创建的。上下文相关信息还可以基于从进行游戏应用的其他用户的游戏进行中收集的信息。例如，在实施例中，基于位置的信息可以基于在众包环境中进行同一游戏应用的多个用户的当前和/或过去的游戏进行，使得可以通过观察和/或分析多个游戏进行来确定所述信息。以这种方式，可以在进行游戏期间发现众包的内容，其中所述内容可以有助于其他玩家进行同一游戏应用，或者为这些其他玩家提供增强的用户体验。可以从用户的朋友们生成上下文相关信息。用户可能正在单独进行游戏应用(例如，独自进行)，并且通过伴随界面接收有助于推进第一用户的游戏进行或用于提供增强的用户体验的信息。用户可能正在与所有同时进行游戏应用的一群朋友一起进行(例如，以单独或多玩家模式)，其中所述信息提供朋友之间的实时交互。

具体地，生成器213或113可配置成针对游戏进行的特定上下文(例如，角色的当前位置、游戏状态信息等)来确定用户5对特定游戏应用的游戏进行的进度(例如，基于快照)，并且确定可以递送到伴随界面的上下文相关信息，所述伴随界面可在与显示用户5的游戏进行的设备分开的设备11上显示。例如，上下文相关信息可以提供在通过游戏应用的进展中提供帮助的信息。上下文相关信息可以考虑由预测引擎214提供的信息，所述预测引擎被配置成预测用户5的游戏进行将去往的位置，包括角色将拜访哪些区域、推进游戏进行所要求的任务、为了推进游戏进行所需要的资产(例如，完成要求的任务所需要的资产)等。

在一个实施例中，伴随界面被递送到设备11(例如，平板电脑)以用于显示和交互，其中设备11可以是与客户端设备100分开的，所述客户端设备被配置成执行和/或支持执行游戏应用以供用户5进行交互。例如，可以在游戏服务器205与客户端设备100之间建立第一通信信道，并且可以在游戏服务器205与设备11之间建立单独的第二通信信道。在另一个实施例中，次要信息(例如，伴随界面)被递送到HMD 102以用于显示和交互。

在另一个实施例中，包括上下文相关内容的伴随界面可以通过无线网络流式传输到第二用户的设备，如在无线局域网(WLAN)通信引擎112的帮助下，其中第二用户的设备与广播网络标识符的游戏控制台(例如，客户端设备100)配对，以便在不要求安装应用的情况下将用户界面(例如，伴随界面)流式传输到第二用户的设备。以这种方式，第二用户能够参与进行游戏应用的用户5的游戏进行。

图1B示出了根据本公开的一个实施例的系统106B，所述系统向进行在对应用户本地执行的一个或多个游戏应用的一个或多个用户提供游戏控制，并且其中后端服务器支持(例如，可通过游戏服务器205访问)可以实现补充对应用户的游戏进行的基于位置的伴随界面。另外，系统106B可以被配置成通过无线网络将补充进行游戏应用的第一用户的游戏进行的信息提供给第二用户的设备(未示出)，其中所述信息可以在不要求安装应用的情况下流式传输到第二用户的设备的用户界面(例如，伴随界面)内提供。在一个实施例中，系统106B与图1A的系统10和图2的系统200一起工作，以实现补充对应用户的游戏进行的基于位置的伴随界面，并且其中为清楚起见，并未示出所有部件。现在参考附图，相似的参考数字指定相同或对应的部分。

如图1B所示，多个用户115(例如，用户5A、用户5B……用户5N)正在进行多个游戏应用，其中每个游戏应用在对应用户的对应客户端设备100(例如，游戏控制台)上本地执行。另外，多个用户115中的每一个都可以访问设备11，如先前介绍，其被配置成接收和/或生成用于显示的伴随界面，其中所述伴随界面为进行对应游戏应用的对应用户提供次要信息(例如，上下文相关信息)，如先前所描述的。此外，伴随界面可以在不要求安装应用的情况下流式传输到第二用户的设备，使得第二用户能够参与正在进行游戏应用的对应用户的游戏进行。

客户端设备100中的每一个可以类似地配置，因为执行对应游戏应用的本地执行。例如，用户5A可能正在对应的客户端设备100上进行第一游戏应用，其中第一游戏应用的实例由对应的游戏标题执行引擎111执行。实现第一游戏应用的游戏逻辑126A(例如，可执行代码)存储在对应的客户端设备100上，并且用于执行第一游戏应用。出于说明的目的，可以通过便携式介质(例如，闪存驱动器、光盘等)或通过网络(例如，通过互联网150从游戏提供商下载)将游戏逻辑递送到对应的客户端设备100。另外，用户5B正在对应的客户端设备100上进行第二游戏应用，其中第二游戏应用的实例由对应的游戏标题执行引擎111执行。第二游戏应用可以与针对用户5A执行的第一游戏应用相同，或者是不同的游戏应用。实现第二游戏应用的游戏逻辑126B(例如，可执行代码)如先前所描述的存储在对应的客户端设备100上，并且用于执行第二游戏应用。此外，用户115N正在对应的客户端设备100上进行第N游戏应用，其中第N游戏应用的实例由对应的游戏标题执行引擎111执行。第N游戏应用可以与第一游戏应用或第二游戏应用相同，或者可以是完全不同的游戏应用。实现第三游戏应用的游戏逻辑126N(例如，可执行代码)如先前所描述的存储在对应的客户端设备100上，并且用于执行第N游戏应用。

如先前所描述的，客户端设备100可以从各种类型的输入设备诸如游戏控制器、平板计算机、键盘、由摄影机捕获的手势、鼠标、触摸板等接收输入。客户端设备100可以是至少具有存储器和处理器模块的任何类型的计算设备，其能够通过网络150连接到游戏服务器205。此外，对应用户的客户端设备100被配置用于生成由本地或远程执行的游戏标题执行引擎111执行的渲染的图像，并且用于在显示器(例如，显示器11、HMD 102等)上显示所述渲染的图像。例如，渲染的图像可以与在用户5A的客户端设备100上执行的第一游戏应用的实例相关联。例如，对应的客户端设备100被配置成与如本地或远程执行的对应游戏应用的实例进行交互以实现对应用户的游戏进行，诸如通过用于驱动游戏进行的输入命令。

在一个实施例中，针对正在进行游戏应用的对应用户，客户端设备100以单玩家模式操作。根据本公开的一个实施例，经由游戏服务器205实现的后端服务器支持可以提供补充对应用户的游戏进行的基于位置的伴随界面服务，如下文将描述的。

在另一个实施例中，针对各自正在进行特定游戏应用的对应用户，多个客户端设备100以多玩家模式操作。在这种情况下，经由游戏服务器实现的后端服务器支持可以提供多玩家功能，诸如通过多玩家处理引擎119。具体地，多玩家处理引擎119被配置用于控制特定游戏应用的多玩家游戏会话。例如，多玩家处理引擎119与多玩家会话控制器116通信，所述多玩家会话控制器被配置成与参与多玩家游戏会话的每个用户和/或玩家建立并维持通信会话。以这种方式，会话中的用户可以在多玩家会话控制器116的控制下彼此通信。

此外，多玩家处理引擎119与多玩家逻辑118通信，以便在每个用户的对应游戏环境内实现用户之间的交互。具体地，状态共享模块117被配置成管理多玩家游戏会话中的每个用户的状态。例如，状态数据可以包括游戏状态数据，其定义在特定点处对应用户的(游戏应用的)游戏进行的状态。例如，游戏状态数据可以包括游戏角色、游戏对象、游戏对象属性、游戏属性、游戏对象状态、图形覆盖等。以这种方式，游戏状态数据允许生成游戏应用中的对应点处存在的游戏环境。游戏状态数据还可以包括用于渲染游戏进行的每个设备的状态，诸如CPU的状态、GPU的状态、存储器的状态、寄存器值、程序计数器值、可编程DMA状态、DMA的缓冲数据、音频芯片状态、CD-ROM状态等。游戏状态数据还可以识别需要加载可执行代码的哪些部分以便从这个点执行视频游戏。游戏状态数据可以存储在图1A和图2的数据库140中，并且可通过状态共享模块117访问。

此外，状态数据可以包括用户保存数据，所述用户保存数据包括为对应玩家个性化视频游戏的信息。这包括与用户进行的角色相关联的信息，使得视频游戏以对于这个用户可能是唯一的角色(例如，位置、形状、外观、服装、武器等)渲染。以这种方式，用户保存数据使得能够生成用于对应用户的游戏进行的角色，其中所述角色具有与游戏应用中对应用户当前体验的点相对应的状态。例如，用户保存数据可以包括对应用户115A在进行游戏时选择的游戏难度、游戏等级、角色属性、角色位置、剩余生命数、可用的可能生命总数、护甲、战利品、时间计数器值等。例如，用户保存数据还可以包括识别对应用户115A的用户简档数据。用户保存数据可以存储在数据库140中。

以这种方式，使用状态共享数据117和多玩家逻辑118的多玩家处理引擎119能够将对象和角色覆盖/插入到参与多玩家游戏会话的用户的每个游戏环境中。例如，第一用户的角色被覆盖/插入到第二用户的游戏环境中。这允许多玩家游戏会话中的用户之间的经由他们各自的游戏环境(例如，如在屏幕上显示的)中的每一个的交互。

另外，经由游戏服务器205实现的后端服务器支持可以提供基于位置的伴随应用服务，所述伴随应用服务通过由伴随应用生成器213生成的伴随界面提供。在另一个实施例中，伴随应用生成器113对于用户5是本地的，并且类似地进行配置。如先前所介绍的，生成器213和/或113被配置成创建要递送到用户5或从其接收的次要信息，包括上下文相关信息(例如，辅助信息、消息等)。所述信息可以基于用户5对特定应用的游戏进行(例如，基于快照中提供的信息)而生成。以这种方式，生成器213或113能够确定用户5的游戏进行的上下文，并且提供可递送到可在设备11(例如，与显示用户5的游戏进行的设备分开)或HMD 102(与显示用户5的游戏进行同时)上显示的伴随界面的上下文相关信息。如先前所介绍的，与第一用户的游戏进行相关联的在后端游戏服务器处本地或远程生成的伴随界面可以通过无线网络流式传输到第二用户的设备，如在对应的WLAN通信引擎112的帮助下，其中第二用户的设备与广播网络标识符的对应游戏控制台(例如，客户端设备100)配对，以便在不要求安装应用的情况下将用户界面(例如，伴随界面)流式传输到第二用户的设备。以这种方式，第二用户能够参与进行游戏应用的第一用户的游戏进行。

图1C示出了根据本公开的一个实施例的系统106C，所述系统向在如通过云游戏网络上执行的相应VR观看环境中进行游戏应用的一个或多个用户115(例如，用户5L、5M……5Z)提供游戏控制，并且其中后端服务器支持可以实现补充对应用户的游戏进行的基于位置的伴随界面，所述伴随界面位于对应用户的外围区中，并且其中当有新的信息或数据可供查看时，用户的注意力被引导到外围区。在一些实施例中，云游戏网络可以是游戏云系统210，其包括在主机的管理程序上运行的多个虚拟机(VM)，其中一个或多个虚拟机被配置成利用主机的管理程序可用的硬件资源来执行游戏处理器模块。另外，系统106C可以被配置成通过无线网络将补充进行游戏应用的第一用户的游戏进行的信息提供给第二用户的设备(未示出)，其中所述信息可以在不要求安装应用的情况下流式传输到第二用户的设备的用户界面(例如，伴随界面)内提供。在一个实施例中，系统106C与图1A的系统10和/或图2的系统200一起工作，以实现补充对应用户的游戏进行的基于位置的伴随界面。现在参考附图，相似的参考数字指定相同或对应的部分。

如图所示，游戏云系统210包括游戏服务器205，其提供对多个交互式视频游戏或游戏应用的访问。游戏服务器205可以是云中可用的任何类型的服务器计算设备，并且可以被配置为在一个或多个主机上执行的一个或多个虚拟机。例如，游戏服务器205可以管理支持游戏处理器的虚拟机，其为用户实例化游戏应用的实例。这样，游戏服务器205的与多个虚拟机相关联的多个游戏处理器被配置成执行与多个用户115的游戏进行相关联的游戏应用的多个实例。以这种方式，后端服务器支持提供向多个对应用户流式传输多个游戏应用的游戏进行的媒体(例如，视频、音频等)。

多个用户115经由网络150访问游戏云系统210，其中用户(例如，用户5L、5M……5Z)经由对应的客户端设备100'访问网络150，其中客户端设备100'可以与图1A-图1B的客户端设备100类似地配置(例如，包括游戏执行引擎111等)，或者可以被配置为瘦客户端，其提供与提供计算功能的后端服务器(例如，包括游戏执行引擎211)的接口。另外，多个用户115中的每一个都可以访问设备11，如先前介绍，其被配置成接收和/或生成用于显示的伴随界面，如先前所描述的，所述伴随界面提供进行对应游戏应用的对应用户的上下文相关信息。此外，与第一用户的游戏进行相关联的上下文相关信息可以通过无线网络流式传输到第二用户的设备，如在对应的WLAN通信引擎112的帮助下，其中第二用户的设备与第一用户的广播网络标识符的对应客户端设备(例如，游戏控制台)配对，以便在不要求安装应用的情况下将伴随界面流式传输到第二用户的设备。以这种方式，第二用户能够参与第一用户的游戏进行。

具体地，对应用户5L的客户端设备100'被配置用于通过网络150(诸如互联网)请求对游戏应用的访问，并且用于渲染由游戏服务器205执行并递送到与对应用户5L相关联的显示设备的游戏应用(例如，视频游戏)的实例。例如，用户5L可以通过客户端设备100'与在游戏服务器205的游戏处理器上执行的游戏应用的实例进行交互。更具体地，游戏应用的实例由游戏标题执行引擎211执行。实现游戏应用的游戏逻辑(例如，可执行代码)通过先前描述的数据存储装置140存储且可访问，并且用于执行游戏应用。如图所示，游戏标题处理引擎211能够使用多个游戏逻辑177支持多个游戏应用。

如先前所描述的，客户端设备100'可以从各种类型的输入设备诸如游戏控制器、平板计算机、键盘、由摄影机捕获的手势、鼠标、触摸板等接收输入。客户端设备100'可以是至少具有存储器和处理器模块的任何类型的计算设备，其能够通过网络150连接到游戏服务器205。此外，对应用户的客户端设备100'被配置用于生成由本地或远程执行的游戏标题执行引擎211执行的渲染的图像，并且用于在显示器上显示所述渲染的图像。例如，渲染的图像可以与在用户5L的客户端设备100'上执行的第一游戏应用的实例相关联。例如，对应的客户端设备100'被配置成与如本地或远程执行的对应游戏应用的实例进行交互，以便实现对应用户的游戏进行，诸如通过用于驱动游戏进行的输入命令。

在另一个实施例中，先前描述的多玩家处理引擎119提供用于控制游戏应用的多玩家游戏会话。具体地，当多玩家处理引擎119正在管理多玩家游戏会话时，多玩家会话控制器116被配置成与多玩家会话中的每个用户和/或玩家建立并维持通信会话。以这种方式，会话中的用户可以在多玩家会话控制器116的控制下彼此通信。

此外，多玩家处理引擎119与多玩家逻辑118通信，以便在每个用户的对应游戏环境内实现用户之间的交互。具体地，状态共享模块117被配置成管理多玩家游戏会话中的每个用户的状态。例如，状态数据可以包括游戏状态数据，其定义在特定点处对应用户115A的(游戏应用的)游戏进行的状态，如先前所描述的。此外，状态数据可以包括用户保存数据，所述用户保存数据包括为对应玩家个性化视频游戏的信息，如先前所描述的。例如，状态数据包括与用户的角色相关联的信息，使得视频游戏以对于这个用户可能是唯一的角色(例如，形状、外观、服装、武器等)渲染。以这种方式，使用状态共享数据117和多玩家逻辑118的多玩家处理引擎119能够将对象和角色覆盖/插入到参与多玩家游戏会话的用户的每个游戏环境中。这允许多玩家游戏会话中的用户之间的经由他们各自的游戏环境(例如，如在屏幕上显示的)中的每一个的交互。

另外，经由游戏服务器205实现的后端服务器支持可以提供基于位置的伴随应用服务，所述伴随应用服务通过由伴随应用生成器213生成的伴随界面提供。在另一个实施例中，伴随应用生成器113对于用户5是本地的，并且类似地进行配置。如先前所介绍的，生成器213和/或113被配置成创建要递送到对应用户(例如，用户5L)或从其接收的上下文相关信息(例如，辅助信息、消息等)。所述信息基于用户对特定应用的游戏进行(例如，基于快照中提供的信息)而生成。以这种方式，生成器213和/或113能够确定对应用户的游戏进行的上下文，并且提供可递送到可在设备11(例如，与显示用户5L的游戏进行的设备分开)和/或HMD 102(例如，与显示用户5的游戏进行同时)上显示的伴随界面的上下文相关信息。如先前所描述，与第一用户的游戏进行相关联的在后端游戏服务器上本地或远程生成的伴随界面可以通过无线网络流式传输到第二用户的设备，如在对应的WLAN通信引擎112的帮助下，以促进多用户参与进行游戏应用的第一用户的游戏进行。

图2示出了根据本公开的实施例的用于启用访问和进行存储在游戏云系统(GCS)210中的游戏应用的系统图200。一般而言，游戏云系统GCS 210可以是通过网络220操作以支持多个用户的云计算系统。另外，GCS 210被配置成保存在多个用户的游戏应用的游戏进行期间生成的快照，其中快照可以用于为请求用户启动游戏应用的实例，以便从游戏应用中与所述快照相对应的点处开始。例如，快照生成器212被配置用于生成和/或捕获进行游戏应用的一个或多个用户的游戏进行的快照。快照生成器212可以在游戏服务器205的外部或内部执行。另外，GCS 210通过使用快照而使得用户能够浏览游戏应用，并且预览游戏应用的过去和未来场景。此外，快照使得请求用户能够通过对应的快照跳跃到视频游戏中的所选点以体验另一用户的游戏进行。另外，GCS可以被配置成生成与第一用户(例如，用户U₀)的游戏进行相关联的在后端游戏服务器上本地或远程生成的伴随界面，其中所述伴随界面可以通过无线网络流式传输到第二用户的设备，如在对应的WLAN通信引擎的帮助下，以促进多用户参与进行游戏应用的第一用户的游戏进行。更具体地，系统200包括GCS 210、一个或多个社交媒体提供商240和用户设备230，所有这些都经由网络220(例如，互联网)连接。一个或多个用户设备可以连接到网络220以访问由GCS 210和社交媒体提供商240提供的服务。

在一个实施例中，游戏云系统210包括游戏服务器205、视频记录器271、标签处理器273以及包括用户简档管理器的帐户管理器274、游戏选择引擎275、游戏会话管理器285、用户访问逻辑280、网络接口290和社交媒体管理器295。GCS 210还可以包括通常可以存储在数据存储装置140中的多个游戏存储系统，诸如游戏状态存储装置、随机种子存储装置、用户保存数据存储装置、快照存储装置。其他游戏存储系统可以包括游戏代码存储装置261、记录游戏存储装置262、标签数据存储装置263、视频游戏数据存储装置264和游戏网络用户存储装置265。在一个实施例中，GCS 210是可以提供游戏应用、服务、游戏相关数字内容以及系统、应用、用户和社交网络之间的互连的系统。GCS 210可以经由网络接口290、通过社交媒体管理器295与用户设备230和社交媒体提供商240通信。社交媒体管理器295可以被配置成关联一个或多个朋友。在一个实施例中，每个社交媒体提供商240包括显示用户社交网络连接的至少一个社交图245。

用户U₀能够经由游戏会话管理器285访问由GCS 210提供的服务，其中用户U₀可以代表图1的用户5。例如，帐户管理器274启用用户U₀到GCS 210的认证和访问。帐户管理器274存储关于成员用户的信息。例如，账户管理器274可以管理每个成员用户的用户简档。以这种方式，帐户管理器274可以使用成员信息用于认证目的。例如，账户管理器2274可以用于更新和管理与成员用户相关的用户信息。另外，成员用户拥有的游戏标题可以由账户管理器274管理。以这种方式，存储在数据存储装置264中的游戏应用可供拥有这些游戏应用的任何成员用户使用。

在一个实施例中，用户、例如用户U₀可以通过经由网络220实现的连接，借助于用户设备230来访问由GCS 210和社交媒体提供商240提供的服务。用户设备230可以包括具有处理器和存储器的任何类型的设备，有线或无线的、便携式或不便携式的设备。在一个实施例中，用户设备230可以是智能电话、平板计算机或者以便携式形状因子的提供触摸屏功能的混合物的形式。一个示例性设备可以包括便携式电话设备，所述便携式电话设备运行操作系统并且具有对可以通过网络220获得并且在本地便携式设备(例如，智能电话、平板电脑、膝上型电脑、台式机等)上执行的各种应用(app)的访问。

用户设备230包括显示器232，所述显示器充当用户U₀发送输入命令236以及显示从GCS 210和社交媒体提供商240接收的数据和/或信息235的接口。显示器232可以被配置为触摸屏、或通常由平板显示器提供的显示器、阴极射线管(CRT)或能够渲染显示器的其他设备。可替代地，用户设备230可以使其显示器232与设备分开，类似于台式计算机或膝上型计算机。在又一替代实施例中，用户设备230可以具有提供显示能力的HMD，以便在VR观看环境的活动区中呈现主要内容，并且在活动区外部的外围区中呈现次要内容。用户U₀可以使用附加设备231(例如，图1A的设备11)以便实现基于位置的伴随界面。

在一个实施例中，用户设备130被配置成与GCS 210通信以使得用户U₀能够进行游戏应用。在一些实施例中，GCS 210可以包括在主机的管理程序上运行的多个虚拟机(VM)，其中一个或多个虚拟机被配置成利用主机的管理程序可用的硬件资源来执行游戏处理器模块。例如，用户U₀可以通过游戏选择引擎275来选择(例如，通过游戏标题等)在视频游戏数据存储装置264中可用的游戏应用。游戏应用可以在单玩家游戏环境或多玩家游戏环境中进行。以这种方式，启用并加载所选择的游戏应用以便由在GCS 210上的游戏服务器205执行。在一个实施例中，游戏进行主要在GCS 210中执行，使得用户设备230将从GCS 210接收一连串游戏视频帧235，并且用于驱动游戏进行的用户输入命令236被传输回GCS 210。来自流式游戏进行的接收视频帧235在用户设备230的显示器232中示出。在其他实施例中，GCS 210被配置成支持支持多个用户的多个本地计算设备，其中每个本地计算设备可以执行游戏应用的实例，诸如以单玩家游戏应用或多玩家游戏应用的形式。例如，在多玩家游戏环境中，当游戏应用在本地执行时，云游戏网络同时从每个本地计算设备接收信息(例如，游戏状态数据)并且相应地在所述本地计算设备中的一个或多个中分配这些信息，使得每个用户都能够在多玩家游戏应用的游戏环境中与其他用户进行交互(例如，通过视频游戏中的对应角色)。以这种方式，云游戏网络在多玩家游戏环境中协调并组合每个用户的游戏进行。

在一个实施例中，在用户U₀选择可用的游戏标题进行游戏之后，可以由用户U₀通过游戏会话管理器285发起针对所选游戏标题的游戏会话。游戏会话管理器285首先访问数据存储装置140中的游戏状态存储装置，以检索用户U₀所进行的最后一个会话的保存游戏状态(针对所选游戏)，如果有的话，那么用户U₀可以从先前的游戏进行停止点重新开始游戏进行。一旦识别出恢复点或起始点，游戏会话管理器285就可以通知游戏处理器201中的游戏执行引擎来执行来自游戏代码存储装置261的选择的游戏标题的游戏代码。在发起游戏会话之后，游戏会话管理器285可以经由网络接口290将游戏视频帧235(即，流式视频数据)传递到用户设备，例如用户设备230。

在进行游戏期间，游戏会话管理器285可以与游戏处理器201、记录引擎271和标签处理器273通信以生成或保存游戏进行或游戏进行会话的记录(例如，视频)。在一个实施例中，游戏进行的视频记录可以包括在进行游戏期间输入或提供的标签内容，以及其他游戏相关的元数据。标签内容也可以通过快照保存。游戏进行的视频记录以及对应于这种游戏进行的任何游戏度量可以保存在记录游戏存储装置262中。可以将任何标签内容保存在标签数据存储装置263中。

在进行游戏期间，游戏会话管理器285可以与游戏服务器205的游戏处理器201通信以便递送并获得用户输入命令236，所述用户输入命令用于影响游戏应用的对应游戏进行的结果。可以将由用户U₀输入的输入命令236从用户设备230传输到GCS 210的游戏会话管理器285。输入命令236(包括用于驱动游戏进行的输入命令)可以包括用户交互式输入，诸如包括标签内容(例如，文本、图像、视频记录剪辑等)。游戏输入命令以及任何用户游戏度量(用户进行游戏的时间等)可以存储在游戏网络用户存储装置中。选择与游戏应用的游戏进行相关的信息可以用于启用用户可用的多个特征。

因为游戏进行是由多个用户在GCS 210上执行的，所以从这些游戏进行中生成和存储的信息使得任何请求用户都能够体验其他用户的游戏进行，特别是当通过GCS 210执行游戏进行时。具体地，GCS 210的快照生成器212被配置成保存由进行通过GCS 210提供的游戏应用的用户的游戏进行生成的快照。在用户U₀的情况下，用户设备提供允许用户U₀在进行游戏期间与游戏应用互动的接口。生成用户U₀的游戏进行的快照并将其保存在GCS 210上。快照生成器212可以在游戏服务器205外部执行，如图2所示，或者可以在游戏服务器205内部执行，如图1A所示。

另外，从这些游戏进行中收集的信息可以用于生成在对应的伴随应用中提供给用户U₀的上下文相关信息。例如，如先前所介绍的，伴随应用生成器213被配置用于实现基于位置的伴随界面，所述伴随界面被配置成支持用户U₀的游戏进行，其中所述伴随界面包括基于用户U₀的游戏进行中的角色的位置生成的上下文相关信息(例如，消息传递、辅助信息、辅助提供等)。伴随应用生成器213可以在游戏服务器205外部执行，如图2所示，或者可以在游戏服务器205内部执行，如图1A所示。在这些实现方式中，可以通过网络220将上下文相关信息递送到用户设备231，以便显示包括上下文相关信息的伴随应用界面。在另一个实施例中，伴随应用生成器213对于用户可以是本地的(例如，在用户设备231内实现)并且被配置用于生成和显示上下文相关信息。在这个实现方式中，用户设备231可以通过本地网络(或通过外部网络220)直接与用户设备230通信以实现伴随应用界面，其中用户设备231可以向用户设备231递送基于位置的信息，并且其中设备230被配置用于生成和显示包括上下文相关信息的伴随应用界面。在又一个实施例中，包括上下文相关内容的伴随界面可以通过无线网络流式传输到第二用户的设备，其中第二用户的设备与广播网络标识符的客户端设备100(例如，与第一用户、即用户U₀相关联的游戏控制台)配对，以便在不要求安装应用的情况下将用户界面(例如，伴随界面)流式传输到第二用户的设备。以这种方式，第二用户能够参与进行游戏应用的用户U₀的游戏进行。此外，用户设备230被配置成提供界面，所述界面使得能够使用在用户U₀或另一用户的游戏进行中生成的快照而跳跃到游戏应用中的所选点。例如，跳跃游戏执行引擎216被配置用于访问对应的快照，基于快照实例化游戏应用的实例，并且在游戏应用中与快照相对应的点处开始执行游戏应用。以这种方式，快照使得请求用户能够在与快照相对应的点处跳跃到对应用户的游戏进行中。例如，用户U₀能够体验任何其他用户的游戏进行，或者返回并查看和/或重放他或她自己的游戏进行。也就是说，请求用户通过对应游戏进行的快照，使用在这个游戏进行中使用并且对应于这个游戏进行的角色来进行游戏应用。跳跃游戏执行引擎216可以在游戏服务器205外部执行，如图2所示，或者可以在游戏服务器205内部执行，如图1A所示。

图3-图6在进行游戏应用的用户的上下文中进行描述，其中补充进行游戏应用的第一用户的游戏进行的信息可以通过无线网络流式传输到第二用户的设备，其中第二用户的设备与广播网络标识符的游戏控制台配对，以便在不要求安装应用的情况下将用户界面(例如，伴随界面)流式传输到第二用户的设备。以这种方式，多个用户可以参与进行游戏应用的第一用户的游戏进行。一般来说，游戏应用可以是响应于用户输入的任何交互式游戏。

图3A-图3D组合示出了第一用户5在显示器12上的游戏进行和第二用户305的设备311上的界面的同时呈现，所述界面包括补充进行游戏应用的第一用户5的游戏进行的信息，其中所述界面在不要求安装应用的情况下流式传输到设备311。在图3A-图3D和整个说明书中，术语伴随应用通常用于指代补充进行游戏应用的用户的游戏进行的界面。也就是说，伴随应用可以被配置为任何类型的界面并且包括可以补充游戏进行的任何类型的信息。

具体地，图3A示出了根据本公开的一个实施例的示例性用例，所述用例示出了其他用户(例如，朋友们)通过使用在补充第一用户(例如，用户5)的游戏进行的用户界面中呈现的信息来参与第一用户的游戏进行，所述用户界面在不要求安装应用的情况下通过无线网络流式传输到第二用户305的设备311。具体地，系统300A可以被配置用于实现基于位置的伴随界面，所述伴随界面可以用于补充用户5的游戏进行，其中所述伴随界面可以流式传输到第二用户305的设备311。以这种方式，第二用户305和其他用户可以参与进行游戏应用的用户5的游戏进行。也就是说，代替仅仅坐着观看用户5的游戏进行，朋友们可以积极地与游戏应用、游戏进行和/或用户5互动。在一个实施例中，通过将这些其他用户的设备(例如，移动设备)与控制台(例如，游戏控制台)配对，可以允许用户5以外的其他用户参与，使得这些其他用户可以与控制台和/或游戏应用进行交互。

例如，用户5可以与一个或多个朋友一起位于地理区域330中，所有这些朋友形成一个群组。第二用户305可以是用户5的朋友之一。在典型的场景中，地理区域330是所述群组之一的娱乐区域(例如，客厅)。用户5可能正在进行游戏应用，并且可能正在通过一个或多个输入设备(例如，控制器6)提供输入。在一种实现方式中，如先前所描述的，游戏应用可以在游戏控制台100'处本地执行(例如，在游戏执行引擎111处)，这是先前介绍的客户端设备100的一种实现方式。在另一种实施方式中，游戏应用可以在后端游戏执行引擎211处执行，所述后端游戏执行引擎在后端游戏服务器205处操作，诸如通过云游戏网络或可通过网络150访问的游戏云系统，如先前所描述的。此外，游戏应用可以以单玩家模式或多玩家模式执行。

用户5的游戏进行的渲染的图像在一个或多个显示设备上同时呈现。例如，渲染的图像可以在显示器12上呈现，所述显示器可由所述群组(第一用户5、第二用户305等)观看。在另一个示例中，用户5可能正在观看HMD 102上的游戏进行，而朋友们(包括第二用户305)正在同时观看显示器12上的游戏进行。

另外，系统300A被配置成提供基于用户5的游戏进行的上下文相关信息(例如，辅助信息、消息等)。例如，可以使用在众包环境中进行游戏应用的用户5的游戏进行和/或其他用户的游戏进行期间捕获的基于游戏中位置的信息(例如，快照)来创建上下文相关信息。具体地，可以在游戏控制台100"处由伴随应用生成器113在用户5本地生成上下文相关信息，其中生成器113被配置成生成补充进行游戏应用的用户5的游戏进行的伴随界面，如先前所描述的。可以在游戏服务器205处通过伴随应用生成器213在用户5远程创建上下文相关信息，并将其递送给游戏控制台100",如先前所描述的。

此外，可以将由生成器113和/或213创建的包括上下文相关信息的伴随界面流式传输到第二用户305的设备311。具体地，使用无线连接345通过WLAN 340流式传输伴随界面。例如，WLAN通信引擎112从控制台100"广播网络标识符(例如，SSID)，其中第二用户305的设备311能够扫描区域330中的任何无线网络，并且在选择WLAN 340时，能够将设备311与游戏控制台100"配对并启动网络连接345，从而允许两个设备之间通过WLAN 340进行通信。在一种实现方式中，SSID与802.11标准及其衍生版本相关联，并且提供无线网络的标识并允许设备加入无线网络。

以这种方式，第二用户305能够参与用户5的游戏进行。例如，伴随界面被配置成示出与用户5的游戏进行有关的实时辅助和/或帮助内容(例如，逐步指示，诸如“在这里转弯”或“拿起这个”或“使用这个武器”等)。为了获得更多社交和参与性体验，第二用户305可以拿起在其上显示伴随界面的设备311。用户305可以查看伴随界面上的信息，并且通过大声喊出实时口头指示而开始指导用户5他或她的游戏进行(例如“向右转，越过那棵树！”或“拿起你左边的弹药！不，你的另一个左边！”或“使用你的等离子步枪！”)。

图3B示出了根据本公开的一个实施例的进行游戏应用的第一用户5的游戏进行在显示器12上的呈现以及补充所述游戏进行的伴随界面300C在第二用户305的设备311上的同时呈现。如先前在图3A中所描述的，用户5的游戏进行在显示器12上呈现，所述显示器可由第一用户5和第二用户305(以及显示器12视线范围内的任何人)观看。在其他实现方式中，在诸如HMD 102和显示器12的多个显示器上呈现用户5的游戏进行。具体地，将由控制台100"生成或(通过网络150从后端游戏服务器205)流式传输到控制台100"的渲染的图像从控制台100"递送到显示器12(例如，通过有线或无线连接)，其中所述渲染的图像示出了进行游戏应用的用户5的游戏进行。

另外，在第二用户305的设备311上呈现示例性伴随界面300C。也就是说，由生成器113和/或213创建的伴随界面包括与用户5的游戏进行相关联的上下文相关信息，并且与用户5的游戏进行同时地被流式传输到设备311。例如，上下文相关信息可以包括推进用户5的游戏进行的实时辅助或帮助内容，可以提供用于第二用户305积极参与(例如，影响或控制游戏进行)用户5的游戏进行，并且可以使第二用户305能够观看用户5的游戏进行(例如，观看如角色用户5所体验的游戏应用的游戏世界)，其中第二用户305能够能够控制所述观看(主动观看)，但不一定能控制游戏进行。

根据本公开的一个实施例，图3C中更完整地描述了示例性伴随界面300C，其中所述伴随界面补充第一用户5的游戏进行，其中伴随界面300C补充第一用户5的游戏进行。具体地，界面300C的线358左侧的部分359包括雷达映射310，其示出了与第一用户5的游戏进行相关联的角色相对于游戏应用的游戏世界中其他对象的位置的位置，其中所述对象是在游戏进行中生成的。如图所示，用户5所进行的角色位于雷达映射310的中心352，其部分地包括与角色和角色的游戏中位置(例如，中心352表示游戏世界中的位置)相关的一个或多个有趣特征的方向、相对定位和相对距离信息，诸如首领的位置353和指向与另一用户3的游戏进行相关联的角色的方向指针351。在一个实施例中，雷达映射310是通用的，并且提供了与用户5相关联的角色相对于如通过雷达映射提供的游戏世界中其他对象的位置的快速参考，但是不必直接参考游戏世界(例如，游戏世界的特征或地标)。也就是说，雷达映射2210A提供了位于中心352处的用户5的角色与一个或多个对象的位置之间的多个方向关系。雷达映射可以缩放到任何范围(例如，包括游戏世界的一小部分或较大部分)。另外，雷达映射310包括方向指针351，其指向游戏世界或环境内的另一个玩家(例如，用户3)的位置，或者指向用户应当继续前进的方向，或者可以找到有趣的游戏特征的方向。

另外，伴随应用界面300C可以在如何完成任务、诸如击败首领353方面提供帮助。例如，可以生成指令特征，并且所述指令特征包括可由用户5实施以实现击败首领353的目标的命令列表。也就是说，可以将完成在第一用户的游戏进行中要完成的任务所必需的一系列步骤从第一设备递送到第二设备，其中所述一系列步骤在伴随界面内提供。此外，可以基于第一用户的游戏进行的基于位置的信息来确定任务，其中所述基于位置的信息是参考与游戏应用相关联的游戏世界中的角色的位置而确定的，并且其中伴随界面中的信息包括针对角色的位置的上下文相关信息。如图3C所示，在界面300C的线58右侧的区段369中提供了一系列步骤、命令和/或指令365(例如，右按钮、左按钮、A按钮等)。因为伴随界面300C被呈现在第二用户305的设备311上，所以第二用户能够通过将伴随界面300C中的信息传达给用户5来参与用户5的游戏进行。例如，第二用户305可以通过宣布指令特征中提供的逐步指令来指导用户5他或她的游戏进行。

图3D是根据本公开的一个实施例的示出在用户5所进行的游戏应用的游戏世界内用户5和朋友305的不同视点(POV)的图，其中朋友305的POV被提供在用户界面(例如，伴随应用)内。如图所示，与用户5相关联的角色在交互性区380的中心392。为了说明，中心392可以对应于图3B的雷达映射310的中心352，使得交互性区380和雷达映射310彼此紧密地对应，并且都以角色的位置为中心。在这种情况下，交互性区380可以包含在雷达映射310的表示内，或者部分地包含在雷达映射310内。

交互性区380可以定义游戏世界内用户5可以与游戏应用的给定当前进度进行交互的可能区域，并且与跟用户5相关联的角色在游戏世界中的位置密切相关。尽管用户5的角色当前在给定的时间点上并未与区380的每个部分进行交互，但是所述角色能够与区380的每个部分进行交互。作为说明，角色可以围绕中心392旋转并且查看交互性区380的所有区域。此外，交互性区可以包括在位置392的任何POV中可能未示出但可以由角色进行交互的区域(例如，视线以外的区域、悬崖拐角或建筑物拐角附近的区域、地平线以外的区域等)。例如，在一个实施例中，交互性区可以定义角色所处的等级。在另一个实施例中，可以通过正在执行游戏应用的可用处理能力来定义交互性区。也就是说，功能较强的处理器能够在游戏进行中的任何时间点填充用户5的角色的较大交互性区380，但是功能较弱的处理器可能只能填充有限的(例如，较小的)交互性区380。在其他实施例中，交互性区可以由开发者定义。

如上文所介绍的，从交互性区380的中心392获取或查看与用户5正在进行的角色相对应的视点(POV)372，并且所述视点对应于游戏世界中的位置。另外，POV 372在游戏进行中的当前点具有游戏世界中的方向378(例如，从中心392向东北的方向)。例如，当交互性区380紧密对应于图3B的雷达映射310时，POV 372可以在首领353的方向上，并且甚至可以包括首领353的图像。另外，POV 372可以在交互性区380内旋转，如由用户5的角色浏览游戏世界的方向所控制的那样。

POV 373对应于用户305(例如，朋友)，并且是在交互性区380内从点371获取或查看的。点371可以类似地位于雷达映射310内(例如，中心352/392与点371之间的相同的方向和距离关系存在于雷达映射310和交互性区380中)。例如，POV 373可以在与用户305相关联的设备上的用户界面(例如，伴随应用)中呈现给用户305。POV 373在游戏世界中具有方向370，其中方向370可以不同于方向378(对应于POV 372)。如图所示，用户305具有游戏世界的视图(通过POV 373)，所述视图可能不同于与用户5的角色相关联的视图(例如，POV372)。此外，POV 373可以是交互性区380内的任何方向，并且可以由用户305控制。

最初，用户305的POV 373可能与用户5的POV 372相同，使得第二用户305的视图与第一用户5的视图相同，两者都从相同的位置提供了游戏世界的相同视图。在这种情况下，点371将与对应于跟用户5的游戏进行相关联的角色位置的中心392紧密对准。此外，在本发明的实施例中，POV 373可以不同于POV 372并且可以由用户305控制。例如，当点371位于中心392时，POV 373可以围绕中心392旋转，使得其不同于POV 372。POV 373包括区380内包含的信息，使得POV 373将不包括与区380之外的区域有关的信息，如用户5的角色在中心392处的位置所定义的。

另外，点371可以不同于中心392。仅出于说明的目的，系绳377将中心392(获取POV372的点)绑到点371(获取POV 373的点)。系绳377具有最大长度，这表示点371可以与中心392分开的最大距离。这样，只要没有超过系绳377的最大长度，用户305就可以将点371移动到交互性区380内的任何位置。此外，用户305可以围绕点371旋转以改变POV 373的方向。以这种方式，用户305能够侦查交互性区内用户5未知且通过POV 372无法看到的区域。例如，用户305能够在不影响用户5的游戏进行的情况下向前侦察以查看是否存在任何即将发生的危险(例如，向前侦察并发现小首领，而不会对位于中心392的用户5的角色造成任何损害)。以这种方式，用户305能够通过发现在交互性区380中呈现了哪些任务、对象、敌人等来向用户5提供帮助。例如，用户305具有游戏世界的更大视图，并且可以向用户5提供口头指令，诸如“在这里转弯。”；“向右转，越过那棵树。”；“在树的另一边，拿起这个。”；“使用等离子步枪击败前方的目标。”；“拿起你左边的弹药！不，另一个左边！”等。在一个实施例中，如所描述的，用户305是通过POV 373观看用户5的游戏进行的观众，如先前所描述的，所述POV可以从交互性区380中的各个点获取(例如，从中心392向外，在任何方向上达到系绳377的最大距离)。

在一个实施例中，当系绳377已经延伸到其最大长度时，POV 373自动复位回到POV372。在另一个实施例中，当系绳377达到其最大长度时，将点371约束成使得其不能进一步延伸，而是可以如系绳377所约束的呈弧形缩回或移动。

在另一个实施例中，用户305能够主动地控制和/或参与用户5的游戏进行。也就是说，用户305能够影响或控制游戏进行。例如，用户305能够在游戏进行中进行另一个角色。为了说明，用户305能够控制由游戏应用的执行在用户5的游戏进行中生成的人工智能(AI)角色。通常，AI角色由游戏应用控制，但是在实施例中，用户305能够通过界面来控制AI角色在用户5的游戏进行中的移动和动作。以这种方式，用户305可能能够帮助用户5更快地完成任务(例如，聚集一组定义的对象、消灭一群士兵、夺取旗帜或区域等)。在主动参与场景中，用户305可以选择(或被分配)AI角色来控制。在这种情况下，POV 373采用AI角色及其位置到游戏世界中的视点，并且将必然与用户5的POV 372不同，特别是因为它们是从游戏世界中的不同位置获取的。用户3055可以控制AI角色并且在整个交互性区380中移动，再次达到系绳377的最大长度。POV 373包含在区380内，使得POV 373将不包括与区380外部的区域有关的信息，如由用户5的角色的位置所定义的。

根据本公开的一个实施例，通过对游戏服务器的各个模块和客户端设备通过网络进行通信的详细描述，图4A的流程图400A公开了用于通过无线网络将补充进行游戏应用的第一用户的游戏进行的信息提供给第二用户的设备的方法，其中第二用户的设备与广播网络标识符的游戏控制台配对，以便在不要求安装应用的情况下将用户界面流式传输到第二用户的设备。在一些实施例中，在被配置成补充进行游戏应用的用户的游戏进行的伴随界面内提供补充信息，其中所述伴随界面由图1A-图1C和图2的伴随应用生成器213或113生成。流程图400A在先前描述的客户端设备内实现。在一种实现方式中，客户端设备是游戏控制台，(也称为游戏控制台。为了清楚和说明的目的，流程图400A部分地在使用游戏控制台的情况下进行描述，但是应当理解为通常可应用于任何类型的客户端设备。

在405处，所述方法包括在显示器上呈现进行游戏应用的第一用户的游戏进行。游戏应用可以在先前描述的游戏控制台(例如，客户端设备)处本地执行。在这种情况下，游戏控制台被配置成生成代表游戏进行的渲染的图像，并将所述渲染的图像递送到一个或多个显示器。在另一个实施例中，游戏应用可以在后端游戏服务器(例如，游戏服务器205的游戏执行引擎211)处在第一用户远程执行。在这种情况下，后端游戏服务器被配置成生成代表游戏进行的渲染的图像，并将所述渲染的图像流式传输/递送到与第一用户相关联的游戏控制台。然后，游戏控制台将渲染的图像递送到一个或多个显示器。

在一种实现方式中，渲染的图像在主显示器上呈现，所述主显示器可由第一用户和存在的其他用户(例如，第一用户的朋友们)观看。在另一种实现方式中，渲染的图像在存在的任何用户可观看的显示器上呈现，并且在第一用户可观看的HMD内呈现。在任一实现方式中，在本发明的各种实施例中，一个或多个用户都能够观看并参与游戏进行。

在410处，所述方法包括通过无线局域网(WLAN)从游戏控制台(例如，第一设备)广播网络标识符。例如，在一个实施例中，网络标识符是与电气和电子工程师协会(IEEE)802.11通信标准及其用于实现WLAN的衍生版本相关联的服务集标识符(SSID)。例如，WLAN可以实现Wi-Fi网络。更具体地，WLAN链接有限区域(例如，房间、多个房间、办公室等)内的两个或更多个设备，使得可以在所述设备之间建立通信。

在415处，所述方法包括通过WLAN将第一设备(例如，游戏控制台)与跟第二用户相关联的第二设备配对。例如，第二设备可以是与第二用户相关联和/或由第二用户拥有的移动设备(例如，电话、平板电脑等)。具体地，游戏控制台广播网络标识符，使得接收广播的任何设备(即，识别与WLAN相关联的SSID)可以通过WLAN启动新的网络连接。在这种情况下，与第二用户相关联的第二设备能够扫描可用网络，并且通过扫描来获得与游戏控制台相关联并由游戏控制台广播的网络标识符(例如，SSID)。在一个实施例中，WLAN是在任何数量的可用配置下操作的Wi-Fi网络(例如，使用接入点模式操作的网络、以自组织模式操作以用于设备之间的直接通信的网络等)。在其他实施例中可以使用任何可用的无线网络(例如，蓝牙等)。这样，在经由第二设备(例如，由第二用户)选择网络标识符时，至少在游戏控制台与第二设备之间启动网络连接。

在420处，所述方法包括将与第一游戏进行有关的信息(例如，包括所述信息的伴随界面)从第一设备流式传输到第二设备。例如，包括所述信息的伴随界面可以流式传输到第二设备，其中所述伴随界面被配置成补充第一用户的游戏进行。更具体地，所述信息与第一用户的游戏进行同时地进行流式传输。因此，通过经由控制台生成的特殊Wi-Fi SSID将游戏控制台与第二设备配对，第二设备可以立即并自动打开直接流式传输到第二设备的包含UI(例如，伴随界面或任何其他UI)的网络视图。也就是说，第二设备不需要安装专用和/或专有的应用来打开和查看伴随界面。替代地，因为使用超文本传输协议(HTTP)或任何其他浏览器支持的格式或协议来格式化伴随界面，所以第二设备可以使用浏览器打开伴随界面(例如，打开网络视图)。

这样，第二用户立即连接到游戏控制台，以便接收和/或显示丰富的本机感觉的伴随界面，而无需下载或安装任何东西(例如，应用)。仅在第二设备上选择网络标识符就可通过无线网络启动两个设备之间的连接。连接之后，立即显示示出伴随界面的网络视图。也就是说，连接到特定网络(即，由网络标识符标识)的行为是产生如在第二设备上显示的网络视图的行为，而无需第二用户或第二设备的任何附加交互或交互作用。例如，将包括伴随界面的网页加载到网络视图上。以这种方式，第二用户能够以这样的方式容易且无摩擦地将他或她自己的移动设备连接到游戏控制台：以便诸如以伴随界面的形式来接收信息，而不是使用属于第一用户和/或由第一用户控制的设备。

在游戏进行和伴随界面的生成和递送中支持各种配置。也就是说，可以实现本地游戏控制台和后端游戏服务器的任何组合和/或配置，以用于与游戏进行相关联的游戏应用的执行和伴随界面的生成，以及这种伴随界面到一个或多个显示器的递送。下文描述了几种实现方式或用例，但并不意味着是穷举性的。

在一种实现方式中，游戏控制台作为没有任何后端服务器支持的独立系统进行操作，其中游戏应用的实例在游戏控制台处被实例化并且与在游戏控制台处第一用户的游戏进行相关联地执行。另外，在游戏控制台处和/或由游戏控制台生成伴随界面，其中所述伴随界面中的信息是基于第一用户的游戏进行的基于位置的信息而生成的。例如，基于位置的信息是参考角色在与游戏应用相关联的游戏世界中的位置而确定的，并且其中所述信息包括针对角色的位置的上下文相关信息。

在另一种实现方式中，游戏控制台与后端服务器支持一起操作。例如，在一个用例中，游戏应用的实例在游戏控制台处被实例化，并且与在游戏控制台处第一用户的游戏进行相关联地执行。游戏控制台将与第一用户的游戏进行相关联的渲染的图像递送到一个或多个显示器。另外，由后端游戏服务器生成伴随界面，其中所述伴随界面中的信息是基于第一用户的游戏进行的基于位置的信息而生成的。例如，基于位置的信息是参考角色在与游戏应用相关联的游戏世界中的位置而确定的，并且其中所述信息包括针对角色的位置的上下文相关信息。伴随界面可以从游戏服务器递送到游戏控制台，其中游戏控制台经由WLAN将伴随界面流式传输/递送到第二用户的第二设备。

在又一种实现方式中，游戏控制台作为促进器与后端服务器支持进行操作。例如，在用例中，游戏应用的实例在后端游戏服务器处被实例化，并且与在游戏控制台处第一用户的游戏进行相关联地执行。如先前所描述的，游戏控制台充当瘦客户端，并且在第一用户与后端游戏服务器之间提供接口。这样，后端游戏服务器将与第一用户的游戏进行相关联的渲染的图像递送到客户端设备，并且客户端设备将渲染的图像递送到一个或多个显示器。也就是说，第一设备从在后端游戏服务器处与第一用户的游戏进行相关联地执行的游戏应用的实例接收代表第一用户的游戏进行的流式传输数据。另外，由后端游戏服务器生成伴随界面，其中所述伴随界面中的信息是基于第一用户的游戏进行的基于位置的信息而生成的。例如，基于位置的信息是参考角色在与游戏应用相关联的游戏世界中的位置而确定的，并且其中所述信息包括针对角色的位置的上下文相关信息。伴随界面可以从游戏服务器递送到游戏控制台，其中游戏控制台经由WLAN将伴随界面流式传输/递送到第二用户的第二设备。也就是说，第一设备从后端游戏服务器接收伴随界面，其中所述伴随界面中的信息是基于用户的游戏进行的基于位置的信息而生成的，其中所述基于位置的信息是参考角色在与游戏应用相关联的游戏世界中的位置而确定的，并且其中所述信息包括针对角色的位置的上下文相关信息。

在又一个实施例中，伴随界面经由通信网络(例如，互联网)直接流式传输到第二用户的第二设备。也就是说，伴随界面在后端游戏服务器处生成，其中所述伴随界面补充了进行游戏应用的第一用户的游戏进行。在这个用例中，游戏应用的执行可以在本地游戏执行引擎处(例如，位于游戏控制台上)，或者可以在后端游戏服务器处在第一用户远程。

在一个实施例中，当第二用户离开区域或断开通过WLAN(例如，Wi-Fi网络)实现的连接时，则包括伴随界面的网络视图自动关闭。这样，伴随界面从第二用户的第二设备消失。不需要卸载过程。另外，在一个实施例中，第二设备上没有残留数据。也就是说，分离是干净的。

在又一个实施例中，游戏控制台(即，第一设备)可能从先前描述的初始连接得知第二设备。也就是说，使用先前描述的网络标识符(例如，SSID)将第二设备连接到第一设备的行为可以立即将第二设备标识到游戏控制台，且反之亦然。这样，下一次第二设备感知到WLAN和游戏控制台(诸如通过扫描区域并发现SSID)时，可以自动在两个设备之间建立连接。例如，下一次第二用户返回到第一用户的房屋时，第二用户的第二设备将通过Wi-Fi网络自动连接到游戏控制台。流式传输UI(例如，作为网络视图的伴随界面)会自动打开。可能会在网络视图内呈现消息，说“欢迎回来，第二用户”。重新连接的过程将完全没有摩擦，并且不要求用户输入。也就是说，第二用户甚至不必触摸第二设备(例如，以提供输入)。另外，如果安装了指令、应用等，则将执行这个过程。

在另一个实施例中，流程图300A中概述的将设备连接到游戏控制台的过程可以应用于多个用户的多个设备。例如，所述过程还可以用于允许房间中的一群人使用他们各自的移动电话建立到第一设备(例如，游戏控制台)的连接，诸如登录到游戏控制台。在一群朋友(例如，进行游戏应用的第一用户、第二用户、第三用户等)的用例中，除第一用户之外的每个朋友都可以登录到游戏控制台以便接收补充第一用户的游戏进行的信息，使得每个人都能够参与所述游戏进行。例如，每个朋友(即，除第一用户之外)可以利用他们自己的各自的移动设备(例如，电话等)同时连接到该游戏控制台SSID。连接到SSID的任何人都可以被在他们的电话上呈现登录屏幕，并且他们可以使用他们自己电话的屏幕上键盘更私密、安全且方便地登录。信息和/或包括所述信息的伴随界面可以与递送给除第一用户之外的每个用户(例如，第二用户、第三用户等)的信息和/或伴随界面相同，或者可以具有不同的信息和/或包含递送给各个用户的不同信息的伴随界面。登录到游戏控制台的连接和过程无需安装应用即可无摩擦地执行，而不是典型的方法，即在每个人观看时当每个朋友辛苦地键入他们的登录信息以便在各个设备之间建立连接时，在房间里传递游戏控制器。

在另一个实施例中，在第二用户的第二设备与游戏控制台之间以及也在连接游戏控制台的每个设备之间建立安全连接。进一步预测这一点，在一群朋友聚集在家里的示例中，其中第一用户正在进行游戏进行中的游戏应用，而其余朋友正在通过相应移动设备上的相应伴随界面来参与游戏进行，所述移动设备通过广播的SSID同时连接到游戏控制台，这些各种连接中的每一个也可以是安全的。

在一种实现方式中，因为每个用户都在使用他们自己的设备建立连接，所以这提供用于地理安全性(即，仅区域内的设备可以连接)，并且用于防止或限制对第一用户的某些设备的访问。例如，连接到SSID的任何人都可以被在其对应的电话上呈现私人登录屏幕。

在另一种实现方式中，安全过程涉及与第二用户的一些交互以及第二用户完成的一些交互，使得第二用户知道他或她的设备之一连接到游戏控制台。使用第二用户称为Warren的示例，由于第二设备知道其所有者是谁(即Warren)，因此仅第二设备连接到SSID(即，选择游戏控制台所广播的SSID)的行为就可以告诉游戏控制台第二用户是谁，并且提供进一步的指令，诸如“Warren在这里。让他登录。”为了添加安全措施，游戏控制台上的指令可能会指示“Warren在这里。将登录按钮流式传输到他的设备。”然后，朋友(例如，Warren作为第二用户)获得具有登录按钮的流式传输UI，所述UI可能要求一些用户交互才能建立连接(例如，单击登录按钮)。以这种方式，添加这个额外的步骤确保在不知道和/或同意第二用户Warren的情况下，第二设备不会自动登录。

在另一个实施例中，另一个安全过程用于登录到游戏控制台。这个过程将与游戏控制台的连接限制为那些知道密码的用户(例如，通过音频、可见、数字或任何其他形式的通信)。以这种方式，在与WLAN相关联的广播SSID的扫描区域内(例如，沿着市区街道上的公寓楼步行)的其他人不能未经第一用户的许可而建立连接，诸如通过一些受控密码。所述过程包括生成任何格式(例如，音频、数字、文本等)的密码。密码被递送到显示器，所述显示器可由第二用户查看或在第二用户的听力范围内。因为显示器可能位于带有墙壁的房间内，墙壁会阻止房间外部的人查看显示器，所以这些其他人将不知道密码。同时，第二用户的设备可以具有作为网络视图的登录屏幕，以请求密码作为认证。密码可以如第二设备所递送的那样在游戏控制台处被接收，其中要求成功的递送以便在第二设备与游戏控制台(即，第一设备)之间成功配对。

图4B是示出根据本公开的一个实施例的用于生成伴随应用的基于位置的伴随界面(例如，生成伴随界面)的方法中的步骤的流程图400B，所述伴随界面补充了第一用户的游戏进行，其中所述伴随界面通过无线网络流式传输到第二用户的设备，如流程图400A中所概述的那样。例如，第二用户的设备与广播网络标识符的游戏控制台配对，以便在不要求安装应用的情况下将伴随界面流式传输到第二用户的设备。流程图400B包括用于执行游戏应用并生成进行游戏应用的用户的游戏进行的基于位置的信息的操作。此外，尽管从提供伴随界面作为补充内容的后端服务器的角度描述了流程图400B，但是其他实施例非常适合于通过对流程图400B的稍微修改提供对于用户本地的伴随界面，如先前所描述的。

具体地，在操作450处，所述方法包括实例化与第一用户的游戏进行相关联的游戏应用的第一实例。如先前所描述的，在一个实施例中，游戏应用的实例可以在第一用户的客户端设备处本地执行。在其他实施例中，游戏应用的实例可以在后端游戏服务器的后端游戏执行引擎处执行，其中所述服务器可以是云游戏网络或游戏云系统的一部分。在操作355处，所述方法包括通过第一通信信道将代表第一用户的游戏进行的数据递送到计算设备(例如，游戏控制台)以便与用户(例如，第一用户)进行交互。通信信道可以例如通过网络(诸如互联网)来实现。这样，渲染的图像可以被递送以便在与游戏控制台相关联的显示器处呈现，其中渲染的图像是由游戏应用的实例响应于与第一用户的游戏进行相关联地做出的输入命令而生成的。

在操作460A处，所述方法包括确定第一用户的游戏进行中的角色的基于位置的信息。具体地，基于位置的信息是参考第一用户的游戏进行中的角色在与游戏应用相关联的游戏世界中的位置而确定的。如先前所描述的，基于位置的信息可以包括在第一用户的游戏进行期间生成、捕获和/或存储的快照内。例如，每个快照包括参考角色的位置生成的元数据和/或信息。在一个实施例中，元数据和/或信息被配置成使得能够在游戏应用中与快照相对应的点处开始执行游戏应用的实例(例如，从与捕获快照时的游戏进行的状态相对应的跳跃点处开始，所述跳跃点反映角色在游戏进行中的位置)。在一个实施例中，快照可以用于实例化作为冒险/挑战的跳跃游戏。例如，快照包括游戏进行的基于位置的信息，以及定义对应点处游戏进行的状态的游戏状态数据(例如，游戏状态数据包括游戏角色、游戏对象、对象属性、图形覆盖、角色的资产、角色的技能组合、游戏应用中角色的任务完成的历史、游戏世界中角色的当前地理位置、用户的游戏进行中通过游戏应用的进展、角色的游戏进行的当前状态等)，使得游戏状态数据允许生成在游戏进行中的对应点处存在的游戏环境。快照可以包括用于为第一用户个性化游戏应用的用户保存数据，其中所述数据可以包括用于个性化游戏进行中的角色(例如，形状、外观、服装、武器、游戏难度、游戏等级、角色属性等)的信息。快照还可以包括与游戏状态相关的随机种子数据，如先前所描述的。

具体地，在操作460B处，所述方法包括捕获在第一用户的游戏进行期间从游戏应用生成的多个快照。快照内包含的信息可以用于生成补充第一用户的游戏进行的信息(例如，包含在伴随界面内)。这样，可以新生成与游戏应用有关的附加内容，并且在一些情况下所述附加内容依赖于游戏应用的执行。这增加了与游戏应用有关的内容量和内容范围供一个或多个用户交互。

在465处，所述方法包括生成提供支持第一用户的游戏进行的特征的伴随界面(例如，包括上下文相关信息)，并且使得第一用户或任何其他观看者(例如，第二用户、第三用户等)能够实时访问在第一用户进行游戏应用时通常对第一用户有帮助的信息。具体地，呈现伴随界面或者伴随界面提供补充第一用户的游戏进行的信息，且伴随界面实时生成并且与第一用户的游戏进行同时递送，使得通过所述界面提供的信息补充第一用户的游戏进行。具体地，包括所述信息(例如，上下文相关内容)的伴随界面可以通过无线网络流式传输到第二用户的设备，其中第二用户的设备与广播设备标识符的游戏控制台(即第一设备)配对，以便在不要求安装应用的情况下将伴随界面流式传输到第二用户的设备。以这种方式，第二用户能够参与进行游戏应用的第一用户的游戏进行。

虽然已经提供了特定的实施例以展示通过无线网络将补充进行游戏应用的第一用户的游戏进行的信息提供给第二用户的设备，其中所述信息可以在不要求安装应用的情况下流式传输到第二用户的设备的用户界面(例如，伴随界面)内提供，但这些是以示例而非限制的方式进行描述的。阅读了本公开的本领域技术人员将认识到落入本公开的精神和范围内的附加实施例。

应当注意，在广泛的地理区域上递送的访问服务(诸如提供对当前实施例的游戏的访问)通常使用云计算。云计算是一种计算风格，其中可动态扩展且通常为虚拟化的资源被提供作为互联网上的服务。用户无需成为支持它们的“云”中的技术基础设施方面的专家。云计算可以被划分成不同的服务，诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务通常提供从web浏览器访问的常见在线应用(诸如视频游戏)，而软件和数据存储在云中的服务器上。术语云被用作互联网的隐喻，基于如何在计算机网络图中描绘互联网，并且是对其隐藏的复杂基础设施的抽象。

游戏客户端使用游戏处理服务器(GPS)(或简称为“游戏服务器”)来进行单玩家和多玩家视频游戏。通过互联网进行的大多数视频游戏经由与游戏服务器的连接进行操作。通常，游戏使用从玩家收集数据并将所述数据分布到其他玩家的专用服务器应用。这比对等布置更有效且高效，但这需要单独的服务器来托管服务器应用。在另一个实施例中，GPS建立玩家与他们各自的游戏进行设备之间的通信，以便在不依赖于集中式GPS的情况下交换信息。

专用GPS是独立于客户端运行的服务器。此类服务器通常在位于数据中心的专用硬件上运行，从而提供更大的带宽和专用处理能力。专用服务器是托管用于大部分基于PC的多玩家游戏的游戏服务器的优选方法。大型多玩家在线游戏在专用服务器上运行，所述专用服务器通常由拥有游戏标题的软件公司托管，以允许他们控制和更新内容。

用户使用客户端设备访问远程服务，所述客户端设备至少包括CPU、显示器和I/O。客户端设备可以是PC、移动电话、上网本、PDA等。在一个实施例中，在游戏服务器上执行的网络识别由客户端使用的设备类型并且调整所采用的通信方法。在其他情况下，客户端设备使用标准通信方法(诸如html)，以便通过互联网访问游戏服务器上的应用。

本公开的实施例可以用各种计算机系统配置来实践，所述配置包括手持式设备、微处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机、大型计算机等。本公开还可以在分布式计算环境中实践，其中任务由通过有线或无线网络链接的远程处理设备执行。

应当理解，可以针对特定平台和特定相关联的控制器设备来开发给定的视频游戏。然而，当通过如本文呈现的游戏云系统来使这种游戏可用时，用户可能正在使用不同的控制器设备来访问所述视频游戏。例如，可能已经为游戏控制台及其关联的控制器开发了游戏，而用户可能正在利用键盘和鼠标从个人计算机访问基于云的游戏版本。在这种场景中，输入参数配置可以定义从用户可用的控制器设备(在这种情况下为键盘和鼠标)生成的输入到执行视频游戏可接受的输入的映射。

在另一个示例中，用户可以通过平板计算设备、触摸屏智能电话或其他触摸屏驱动的设备访问云游戏系统。在这种情况下，客户端设备和控制器设备一起集成在同一设备中，其中通过检测到的触摸屏输入/手势来提供输入。对于这种设备，输入参数配置可以定义与用于视频游戏的游戏输入相对应的特定触摸屏输入。例如，在视频游戏运行期间，可能会显示或覆盖按钮、方向盘或其他类型的输入元素，以指示用户可以触摸以生成游戏输入的触摸屏上的位置。诸如在特定方向上的划动或特定触摸运动的手势也可以被检测为游戏输入。在一个实施例中，例如在开始视频游戏的游戏进行之前，可以向用户提供指示如何通过触摸屏提供用于游戏进行的输入的教程，以使用户适应触摸屏上的控件的操作。

在一些实施例中，客户端设备用作控制器设备的连接点。也就是说，控制器设备经由无线或有线连接与客户端设备通信，以便将输入从控制器设备传输到客户端设备。客户端设备可以依次处理这些输入，然后经由网络(例如，经由诸如路由器的本地联网设备访问)将输入数据传输到云游戏服务器。然而，在其他实施例中，控制器本身可以是联网设备，具有直接经由网络将输入传达给云游戏服务器的能力，而不需要首先通过客户端设备传达此类输入。例如，控制器可以连接到本地联网设备(诸如上述路由器)以向云游戏服务器发送数据并从其接收数据。因此，虽然仍然可能要求客户端设备接收来自基于云的视频游戏的视频输出并将其渲染在本地显示器上，但是可以通过允许控制器绕过客户端设备直接通过网络将输入发送到云游戏服务器来减少输入等待时间。

在一个实施例中，联网的控制器和客户端设备可以被配置成将某些类型的输入直接从控制器发送到云游戏服务器，以及经由客户端设备发送其他类型的输入。例如，其检测不依赖于控制器本身以外的任何附加硬件或处理的输入可以绕过客户端设备通过网络直接从控制器发送到云游戏服务器。此类输入可以包括按钮输入、操纵杆输入、嵌入式运动检测输入(例如，加速度计、磁力计、陀螺仪)等。然而，利用附加硬件或需要客户端设备进行处理的输入可以由客户端设备发送到云游戏服务器。这些输入可以包括从游戏环境中捕获的视频或音频，在发送到云游戏服务器之前，客户端设备可以对所述输入进行处理。另外，来自控制器的运动检测硬件的输入可以由客户端设备结合捕获的视频进行处理，以检测控制器的位置和运动，随后客户端设备会将所述输入传达给云游戏服务器。应当理解，根据各种实施例的控制器设备还可以从客户端设备或直接从云游戏服务器接收数据(例如，反馈数据)。

应当理解，本文描述的实施例可以在任何类型的客户端设备上执行。在一些实施例中，客户端设备是头戴式显示器(HMD)。

示出了图5，即示出根据本公开的实施例的头戴式显示器102的部件的图。头戴式显示器102包括用于执行程序指令的处理器500。存储器502提供用于存储目的，并且可以包括易失性和非易失性存储器。包括显示器504，其提供用户可以观看的视觉界面。提供电池506作为头戴式显示器102的电源。运动检测模块508可以包括各种运动敏感硬件中的任何一种，诸如磁力计510A、加速度计512和陀螺仪514。

加速度计是用于测量加速度和重力引起的反作用力的设备。单轴和多轴模型可用于检测不同方向上的加速度的量值和方向。加速度计用于感测倾斜、振动和冲击。在一个实施例中，三个加速度计512用于提供重力方向，所述重力方向给出两个角度(世界空间俯仰和世界空间滚动)的绝对参考。

磁力计测量头戴式显示器附近的磁场的强度和方向。在一个实施例中，在头戴式显示器内使用三个磁力计510A，以确保世界空间偏航角的绝对参考。在一个实施例中，磁力计被设计成跨越地球磁场，具有±80微特斯拉。磁力计受金属影响，并且提供与实际偏航成单调的偏航测量。由于环境中的金属，磁场可能会扭曲，这会导致偏航测量中的扭曲。如有必要，可以使用来自其他传感器(诸如陀螺仪或相机)的信息校准这种扭曲。在一个实施例中，加速度计512与磁力计510A一起使用以获得头戴式显示器102的倾斜度和方位角。

陀螺仪是用于基于角动量原理测量或维持定向的设备。在一个实施例中，三个陀螺仪514基于惯性感测提供关于跨相应轴(x、y和z)的移动的信息。陀螺仪有助于检测快速旋转。然而，陀螺仪可以在没有绝对参考的情况下随时间漂移。这需要定期重置陀螺仪，所述重置可以使用其他可用信息来完成，诸如基于对象的视觉跟踪、加速度计、磁力计等的位置/定向确定。

提供相机516用于捕获现实环境的图像和图像流。头戴式显示器102中可以包括多于一个相机，包括后向相机(当用户正在观看头戴式显示器102的显示时指向远离用户)，以及正向相机(当用户正在观看头戴式显示器102的显示时指向用户)。另外，深度相机518可以包括在头戴式显示器102中，用于感测现实环境中的对象的深度信息。

在一个实施例中，集成在HMD的正面上的相机可以用于提供关于安全性的警告。例如，如果用户正在接近墙壁或对象，则可以警告用户。在一个实施例中，可以为使用提供房间中的物理对象的轮廓视图，以警告用户它们的存在。例如，轮廓可以是虚拟环境中的覆盖。在一些实施例中，可以向HMD用户提供参考标记的视图，所述参考标记覆盖在例如地板上。例如，标记可以向用户提供用户正在其中进行游戏的房间的中心的位置参考。例如，这可以向用户提供用户应当移动以避免撞到房间中的墙壁或其他对象的视觉信息。还可以向用户提供触觉警告和/或音频警告，以便在用户佩戴HMD以及使用HMD进行游戏或导航内容时提供更多的安全性。

头戴式显示器102包括用于提供音频输出的扬声器520。另外，可以包括传声器522，用于捕获来自现实环境的音频，包括来自周围环境的声音、用户的讲话等。头戴式显示器102包括用于向用户提供触觉反馈的触觉反馈模块524。在一个实施例中，触觉反馈模块524能够引起头戴式显示器102的移动和/或振动，以便向用户提供触觉反馈。

提供LED 526作为头戴式显示器102的状态的视觉指示器。例如，LED可以指示电池电量、电源通电等。提供读卡器528以使头戴式显示器102能够从存储卡读取信息和向存储卡写入信息。包括USB接口530作为用于实现外围设备的连接或到其他设备(诸如其他便携式设备、计算机等)的连接的接口的一个示例。在头戴式显示器102的各种实施例中，可以包括各种接口中的任何一种以实现头戴式显示器102的更大连接性。

包括WiFi模块532，用于经由无线联网技术实现到互联网的连接。另外，头戴式显示器102包括蓝牙模块534，用于实现到其他设备的无线连接。还可以包括通信链路536以便连接到其他设备。在一个实施例中，通信链路536利用红外传输进行无线通信。在其他实施例中，通信链路536可以利用各种无线或有线传输协议中的任何一种来与其他设备通信。

包括输入按钮/传感器538以便为用户提供输入接口。可以包括各种输入接口中的任何一种，诸如按钮、触摸板、操纵杆、轨迹球等。超声通信模块540可以包括在头戴式显示器102中，以促进经由超声技术与其他设备的通信。

包括生物传感器542以使得能够检测来自用户的生理数据。在一个实施例中，生物传感器542包括一个或多个干电极，用于通过用户的皮肤检测用户的生物电信号。

头戴式显示器102的前述部件已经被描述为可以包括在头戴式显示器102中的仅仅示例性部件。在本公开的各种实施例中，头戴式显示器102可以包括或可以不包括前述各种部件中的一些。出于便于本文所述的本公开的各方面的目的，头戴式显示器102的实施例可以另外包括目前未描述但在本领域中已知的其他部件。

本领域技术人员将理解，在本公开的各种实施例中，前述的手持式设备可以结合显示器上显示的交互式应用来利用，以提供各种交互功能。本文描述的示例性实施例仅以示例而非限制的方式提供。

图6是根据本公开的各种实施例的游戏系统600的框图。游戏系统600被配置成经由网络615向一个或多个客户端610提供视频流。游戏系统600通常包括视频服务器系统620和可选的游戏服务器625。视频服务器系统620被配置成以最低的服务质量向一个或多个客户端610提供视频流。例如，视频服务器系统620可以接收改变视频游戏的状态或视频游戏内视点的游戏命令，并且在最小滞后时间的情况下向客户端610提供反映这种状态改变的更新视频流。视频服务器系统620可以被配置成以各种替代视频格式提供视频流，包括尚未定义的格式。此外，视频流可以包括被配置用于以各种帧速率呈现给用户的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒820帧。但在本公开的替代实施例中包括更高或更低的帧速率。

在本文中被单独称为610A.、610B.等的客户端610可以包括头戴式显示器、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、信息亭、无线设备、数字垫、独立设备、手持式游戏设备等。通常，客户端610被配置成接收编码视频流(即压缩的)、解码视频流，并将得到的视频呈现给用户，例如游戏的玩家。接收编码视频流和/或对视频流进行解码的过程通常包括将各个视频帧存储在客户端的接收缓冲器中。视频流可以在与客户端610集成的显示器上或在诸如监视器或电视机的单独设备上呈现给用户。客户端610可选地被配置成支持多于一个游戏玩家。例如，游戏控制台可以被配置成支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可以接收单独的视频流，或者单个视频流可以包括专门为每个玩家生成的例如基于每个玩家的视点生成的帧的区域。客户端610可选地在地理上分散。游戏系统600中包括的客户端的数量可以从一个或两个到数千、数万或更多广泛变化。如本文中所使用的，术语“游戏玩家”用于指代进行游戏的人，并且术语“游戏进行设备”用于指代用于进行游戏的设备。在一些实施例中，游戏进行设备可以指代协作以向用户递送游戏体验的多个计算设备。例如，游戏控制台和HMD可以与视频服务器系统620协作以递送通过HMD观看的游戏。在一个实施例中，游戏控制台从视频服务器系统620接收视频流，并且游戏控制台将视频流或视频流的更新转发到HMD以进行渲染。

客户端610被配置成经由网络615接收视频流。网络615可以是任何类型的通信网络，包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络等。在典型的实施例中，视频流经由诸如TCP/IP或UDP/IP的标准协议进行传达。可替代地，视频流经由专有标准进行传达。

客户端610的典型示例是个人计算机，其包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入设备。解码逻辑可以包括存储在计算机可读介质上的硬件、固件和/或软件。用于对视频流进行解码(和编码)的系统在本领域中是熟知的，并且取决于所使用的特定编码方案而变化。

客户端610可以但不要求还包括被配置用于修改所接收的视频的系统。例如，客户端可以被配置成执行进一步的渲染，以便将一个视频图像覆盖在另一视频图像上，以裁剪视频图像等。例如，客户端610可以被配置成接收各种类型的视频帧，诸如I帧、P帧和B帧，并将这些帧处理成图像以便显示给用户。在一些实施例中，客户端610的构件被配置成对视频流执行进一步的渲染、着色、转换为3-D或类似操作。客户端610的构件可选地被配置成接收多于一个音频或视频流。客户端610的输入设备可以包括例如单手游戏控制器、双手游戏控制器、手势识别系统、凝视识别系统、语音识别系统、键盘、操纵杆、指向设备、力反馈设备、运动和/或位置感测设备、鼠标、触摸屏、神经接口、相机、尚待开发的输入设备等。

由客户端610接收的视频流(以及可选地音频流)由视频服务器系统620生成和提供。如本文其他地方进一步描述，这种视频流包括视频帧(并且音频流包括音频帧)。配置视频帧(例如，它们包括适当数据结构中的像素信息)以便对显示给用户的图像做出有意义的贡献。如本文中所使用的，术语“视频帧”用于指代主要包括被配置成有助于例如影响显示给用户的图像的信息的帧。本文关于“视频帧”的大多数教导也可以应用于“音频帧”。

客户端610通常被配置成从用户接收输入。这些输入可以包括配置成改变视频游戏的状态或以其他方式影响游戏进行的游戏命令。可以使用输入设备来接收游戏命令和/或可以通过在客户端610上执行的计算指令来自动生成游戏命令。所接收的游戏命令经由网络615从客户端610传送到视频服务器系统620和/或游戏服务器625。例如，在一些实施例中，游戏命令经由视频服务器系统620传达到游戏服务器625。在一些实施例中，游戏命令的单独副本从客户端610传达到游戏服务器625和视频服务器系统620。游戏命令的通信可选地取决于命令的身份。可选地，从客户端610A通过用于向客户端610A提供音频或视频流的不同路由或通信信道传达游戏命令。

游戏服务器625可选地由与视频服务器系统620不同的实体操作。例如，游戏服务器625可以由多玩家游戏的发布者操作。在这个示例中，视频服务器系统620可选地被游戏服务器625视为客户端，并且可选地被配置成从游戏服务器625的视点呈现为执行现有技术游戏引擎的现有技术客户端。视频服务器系统620与游戏服务器625之间的通信可选地通过网络615进行。这样，游戏服务器625可以是现有技术的多玩家游戏服务器，其将游戏状态信息发送到多个客户端，其中一个客户端是游戏服务器系统620。视频服务器系统620可以被配置成同时与游戏服务器625的多个实例通信。例如，视频服务器系统620可以被配置成向不同用户提供多个不同的视频游戏。这些不同视频游戏中的每一个可以由不同的游戏服务器625支持和/或由不同的实体发布。在一些实施例中，视频服务器系统620的若干地理上分布的实例被配置成向多个不同用户提供游戏视频。视频服务器系统620的这些实例中的每一个可以与游戏服务器625的相同实例通信。视频服务器系统620与一个或多个游戏服务器625之间的通信可选地经由专用通信信道进行。例如，视频服务器系统620可以经由专用于这两个系统之间的通信的高带宽信道连接到游戏服务器625。

视频服务器系统620至少包括视频源630、I/O设备645、处理器650和非暂时性存储装置655。视频服务器系统620可以包括一个计算设备或者分布在多个计算设备中。这些计算设备可选地经由诸如局域网的通信系统连接。

视频源630被配置成提供视频流，例如流式视频或形成移动图像的一系列视频帧。在一些实施例中，视频源630包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置成从玩家接收游戏命令并且基于所接收的命令维持视频游戏的状态的副本。这种游戏状态包括游戏环境中的对象的位置，并且通常包括视点。游戏状态还可以包括对象的属性、图像、颜色和/或纹理。

通常基于游戏规则以及诸如移动、转弯、攻击、设置焦点、交互、使用等游戏命令来维持游戏状态。游戏引擎的一部分可选地设置在游戏服务器625内。游戏服务器625可以基于从使用地理上分散的客户端的多个玩家接收的游戏命令来维持游戏状态的副本。在这些情况下，游戏状态由游戏服务器625提供给视频源630，其中存储游戏状态的副本并执行渲染。游戏服务器625可以经由网络615直接从客户端610接收游戏命令，和/或可以经由视频服务器系统620接收游戏命令。

视频源630通常包括渲染逻辑，例如，存储在诸如存储装置655的计算机可读介质上的硬件、固件和/或软件。这种渲染逻辑被配置成基于游戏状态创建视频流的视频帧。渲染逻辑中的全部或部分可选地设置在图形处理单元(GPU)内。渲染逻辑通常包括处理阶段，其被配置用于基于游戏状态和视点确定对象之间的三维空间关系和/或用于应用适当的纹理等。渲染逻辑产生原始视频，然后通常在与客户端610通信之前对其进行编码。例如，可以根据Adobe

标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3等对原始视频进行编码。编码过程产生视频流，所述视频流可选地被打包以递送到远程设备上的解码器。视频流的特征在于帧大小和帧速率。典型的帧大小包括800×600、1280×720(例如，720p)、1024×768，但是可以使用任何其他帧大小。帧速率是每秒视频帧的数量。视频流可以包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括刷新显示设备上的所有宏块/像素的信息，而P帧包括刷新其子集的信息。P帧的数据大小通常小于I帧。如本文中所使用的，术语“帧大小”意指帧内的像素数。术语“帧数据大小”用于指代存储帧所需的字节数。

在替代实施例中，视频源630包括视频记录设备，诸如相机。这种相机可以用于生成可以包括在计算机游戏的视频流中的延迟或直播视频。所得的视频流可选地包括渲染的图像和使用静止或视频相机记录的图像两者。视频源630还可以包括存储设备，所述存储设备被配置成存储先前记录的视频以包括在视频流中。视频源630还可以包括被配置成检测对象(例如，人)的运动或位置的运动或定位感测设备，以及被配置成基于检测到的运动和/或位置来确定游戏状态或产生视频的逻辑。

视频源630可选地被配置成提供被配置成放置在其他视频上的覆盖。例如，这些覆盖可以包括命令接口、登录指令、给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如，网络相机视频)。在包括触摸屏接口或凝视检测接口的客户端610A的实施例中，覆盖可以包括虚拟键盘、操纵杆、触摸板等。在覆盖的一个示例中，玩家的语音被覆盖在音频流上。视频源630可选地还包括一个或多个音频源。

在视频服务器系统620被配置成基于来自多于一个玩家的输入来维持游戏状态的实施例中，每个玩家可以具有包括视图的位置和方向的不同视点。视频源630可选地被配置成基于每个玩家的视点为他们提供单独的视频流。另外，视频源630可以被配置成向客户端610中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源630可选地被配置成提供3-D视频。

I/O设备645被配置用于视频服务器系统620以便发送和/或接收诸如视频、命令、信息请求、游戏状态、凝视信息、设备运动、设备位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频等的信息。I/O设备645通常包括通信硬件，诸如网卡或调制解调器。I/O设备645被配置成与游戏服务器625、网络615和/或客户端610通信。

处理器650被配置成执行例如软件的逻辑，所述逻辑包括在本文讨论的视频服务器系统620的各种部件中。例如，处理器650可以用软件指令编程，以便执行视频源630、游戏服务器625和/或客户端限定器660的功能。视频服务器系统620可选地包括处理器650的多于一个实例。处理器650还可以用软件指令编程，以便执行由视频服务器系统620接收的命令，或协调本文所讨论的游戏系统600的各种元件的操作。处理器650可以包括一个或多个硬件设备。处理器650是电子处理器。

存储装置655包括非暂时性模拟和/或数字存储设备。例如，存储装置655可以包括被配置成存储视频帧的模拟存储设备。存储装置655可以包括计算机可读数字存储装置，例如，硬盘驱动器、光学驱动器或固态存储装置。存储装置655被配置成(例如，通过适当的数据结构或文件系统)存储视频帧、人工帧、包括视频帧和人工帧两者的视频流、音频帧、音频流等。存储装置655可选地分布在多个设备中。在一些实施例中，存储装置655被配置成存储本文其他地方讨论的视频源630的软件部件。这些部件可以以在需要时准备好供应的格式存储。

视频服务器系统620可选地还包括客户端限定器660。客户端限定器660被配置用于远程确定诸如客户端610A或610B的客户端的能力。这些能力可以包括客户端610A本身的能力以及客户端610A与视频服务器系统620之间的一个或多个通信信道的能力两者。例如，客户端限定器660可以被配置成通过网络615测试通信信道。

客户端限定器660可以手动或自动地确定(例如，发现)客户端610A的能力。手动确定包括与客户端610A的用户通信并要求用户提供能力。例如，在一些实施例中，客户端限定器660被配置成在客户端610A的浏览器内显示图像、文本等。在一个实施例中，客户端610A是包括浏览器的HMD。在另一个实施例中，客户端610A是具有浏览器的游戏控制台，其可以显示在HMD上。所显示的对象请求用户输入客户端610A的诸如操作系统、处理器、视频解码器类型、网络连接类型、显示分辨率等的信息。由用户输入的信息被传达回客户端限定器660。

例如，可以通过在客户端610A上执行代理和/或通过将测试视频发送到客户端610A来进行自动确定。代理可以包括嵌入在网页中或作为附件安装的计算指令，诸如java脚本。代理可选地由客户端限定器660提供。在各种实施例中，代理可以找出客户端610A的处理能力、客户端610A的解码和显示能力、客户端610A与视频服务器系统620之间的通信信道的滞后时间可靠性和带宽、客户端610A的显示类型、存在于客户端610A上的防火墙、客户端610A的硬件、在客户端610A上执行的软件、客户端610A内的注册表条目等。

客户端限定器660包括存储在计算机可读介质上的硬件、固件和/或软件。客户端限定器660可选地设置在与视频服务器系统620的一个或多个其他元件分开的计算设备上。例如，在一些实施例中，客户端限定器660被配置成确定客户端610与视频服务器系统620的多于一个实例之间的通信信道的特性。在这些实施例中，由客户端限定器发现的信息可以用于确定视频服务器系统620的哪个实例最适合于将流式视频递送到客户端610中的一个。

应当理解，可以使用本文公开的各种特征来将本文定义的各种实施例组合或组装成特定的实现方式。因此，所提供的示例仅仅是一些可能的示例，而不限于通过组合各种元素以定义更多实现方式而可能的各种实现方式。在一些示例中，在不脱离所公开的或等效的实现方式的精神的情况下，一些实现方式可以包括更少的元素。

本公开的实施例可以用各种计算机系统配置来实践，所述配置包括手持式设备、微处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机、大型计算机等。本公开的实施例还可以在分布式计算环境中实践，其中任务由通过有线或无线网络链接的远程处理设备执行。

考虑到以上实施例，应当理解，本公开的实施例可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量进行物理操控的操作。形成本公开的实施例的一部分的本文描述的任何操作都是有用的机器操作。本发明的实施例还涉及用于执行这些操作的设备或装置。所述装置可以出于所需目的而专门构造，或者所述装置可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。具体地，各种通用机器可以与根据本文的教导写入的计算机程序一起使用，或者可以更方便地构造更专用的装置以执行所需的操作。

本公开还可以体现为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储设备，所述数据之后可以由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、附网存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储设备。计算机可读介质可以包括分布在网络耦接的计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。

尽管以特定次序描述了方法操作，但是应当理解，可以在操作之间执行其他内务处理操作，或可以调整操作使得所述操作在略微不同的时间处出现，或可以在系统中分布，所述系统允许处理操作以与处理相关联的各种间隔出现，条件是覆盖操作的处理以期望方式执行。

尽管为了清楚理解的目的已经在一些细节上描述了前述公开，但是明显的是，可以在所附权利要求的范围内实践某些改变和修改。因此，当前的实施例应当被认为是说明性的而非限制性的，并且本公开的实施例不限于本文中给出的细节，而是可以在所附权利要求的范围和等效范围内进行修改。

Claims (20)

1.一种用于通信的方法，其包括：

在显示器上呈现进行游戏应用的第一用户的游戏进行；

通过无线局域网从第一设备广播网络标识符；

通过所述无线局域网将所述第一设备与跟第二用户相关联的第二设备配对；以及

将包括与所述第一游戏进行有关的信息的用户界面从所述第一设备流式传输到所述第二设备，其中所述用户界面与所述第一用户的所述游戏进行同时进行流式传输，其中所述用户界面被配置成补充所述第一用户的游戏进行。

2.根据权利要求1所述的方法，其还包括：

实例化与在所述第一设备处所述第一用户的所述游戏进行相关联地执行的所述游戏应用的实例；以及

在所述第一设备处生成所述用户界面，其中基于所述用户的所述游戏进行的基于位置的信息来生成所述用户界面中的所述信息，其中所述基于位置的信息是参考角色在与所述游戏应用相关联的游戏世界中的位置而确定的，并且其中所述信息包括针对所述角色的所述位置的上下文相关信息。

3.根据权利要求1所述的方法，其还包括：

在所述第一设备处从在后端游戏服务器处与所述第一用户的所述游戏进行相关联地执行的所述游戏应用的实例接收代表所述第一用户的所述游戏进行的流式传输数据；以及

在所述第一设备处从所述后端游戏服务器接收所述用户界面，其中所述用户界面中的所述信息是基于所述用户的所述游戏进行的基于位置的信息而生成的，其中所述基于位置的信息是参考角色在与所述游戏应用相关联的游戏世界中的位置而确定的，并且其中所述信息包括针对所述角色的所述位置的上下文相关信息。

4.根据权利要求1所述的方法，其中将所述第一设备与所述第二设备配对还包括：

生成密码；

将所述密码发送到所述显示器；以及

从所述第二设备接收所述密码作为在所述第一设备与所述第二设备之间成功配对的要求。

5.根据权利要求1所述的方法，其还包括：

使用超文本传输协议(HTTP)格式化所述用户界面。

6.根据权利要求1所述的方法，其中所述无线局域网包括Wi-Fi网络。

7.根据权利要求1所述的方法，其中所述无线局域网包括蓝牙网络。

8.根据权利要求1所述的方法，其中所述网络标识符包括服务集标识符(SSID)。

9.根据权利要求1所述的方法，其还包括：

将完成在所述第一用户的所述游戏进行中要完成的任务所必需的一系列步骤从所述第一设备递送到所述第二设备，其中所述一系列步骤在所述用户界面内提供，

其中基于所述用户的所述游戏进行的基于位置的信息来确定所述任务，其中所述基于位置的信息是参考角色在与所述游戏应用相关联的游戏世界中的位置而确定的，并且其中所述用户界面中的所述信息包括针对所述角色的所述位置的上下文相关信息。

10.根据权利要求1所述的方法，其中所述用户界面中的所述信息是基于在所述第一用户的所述游戏进行期间捕获的多个快照。

11.一种存储用于通信的计算机程序的非暂时性计算机可读介质，所述计算机可读介质包括：

用于在显示器上呈现进行游戏应用的第一用户的游戏进行的程序指令；

用于通过无线局域网从第一设备广播网络标识符的程序指令；

用于通过所述无线局域网将所述第一设备与跟第二用户相关联的第二设备配对的程序指令；以及

用于将包括与所述第一游戏进行有关的信息的用户界面从所述第一设备流式传输到所述第二设备的程序指令，其中所述用户界面与所述第一用户的所述游戏进行同时进行流式传输，其中所述用户界面被配置成补充所述第一用户的游戏进行。

12.根据权利要求11所述的计算机可读介质，其还包括：

用于实例化与在所述第一设备处所述第一用户的所述游戏进行相关联地执行的所述游戏应用的实例的程序指令；以及

用于在所述第一设备处生成所述用户界面的程序指令，其中基于所述用户的所述游戏进行的基于位置的信息来生成所述用户界面中的所述信息，其中所述基于位置的信息是参考角色在与所述游戏应用相关联的游戏世界中的位置而确定的，并且其中所述信息包括针对所述角色的所述位置的上下文相关信息。

13.根据权利要求11所述的计算机可读介质，其还包括：

用于在所述第一设备处从在后端游戏服务器处与所述第一用户的所述游戏进行相关联地执行的所述游戏应用的实例接收代表所述第一用户的所述游戏进行的流式传输数据的程序指令；以及

用于在所述第一设备处从所述后端游戏服务器接收所述用户界面的程序指令，其中所述用户界面中的所述信息是基于所述用户的所述游戏进行的基于位置的信息而生成的，其中所述基于位置的信息是参考角色在与所述游戏应用相关联的游戏世界中的位置而确定的，并且其中所述信息包括针对所述角色的所述位置的上下文相关信息。

14.根据权利要求11所述的计算机可读介质，其中用于将所述第一设备与所述第二设备配对的程序指令还包括：

用于生成密码的程序指令；

用于将所述密码发送到所述显示器的程序指令；以及

用于从所述第二设备接收所述密码作为在所述第一设备与所述第二设备之间成功配对的要求的程序指令。

15.根据权利要求11所述的计算机可读介质，其还包括：

用于将完成在所述第一用户的所述游戏进行中要完成的任务所必需的一系列步骤从所述第一设备递送到所述第二设备的程序指令，其中所述一系列步骤在所述用户界面内提供，

用于其中基于所述用户的所述游戏进行的基于位置的信息来确定所述任务的程序指令，其中所述基于位置的信息是参考角色在与所述游戏应用相关联的游戏世界中的位置而确定的，并且其中所述用户界面中的所述信息包括针对所述角色的所述位置的上下文相关信息。

16.一种计算机系统，其包括：

处理器；以及

存储器，所述存储器耦接到所述处理器并且其中存储有指令，所述指令在由所述计算机系统执行的情况下，致使所述计算机系统执行用于通信的方法，所述方法包括：

在显示器上呈现进行游戏应用的第一用户的游戏进行；

通过无线局域网从第一设备广播网络标识符；

通过所述无线局域网将所述第一设备与跟第二用户相关联的第二设备配对；以及

将包括与所述第一游戏进行有关的信息的用户界面从所述第一设备流式传输到所述第二设备，其中所述用户界面与所述第一用户的所述游戏进行同时进行流式传输，其中所述用户界面被配置成补充所述第一用户的游戏进行。

17.根据权利要求16所述的计算机系统，其中所述方法还包括：

实例化与在所述第一设备处所述第一用户的所述游戏进行相关联地执行的所述游戏应用的实例；以及

在所述第一设备处生成所述用户界面，其中基于所述用户的所述游戏进行的基于位置的信息来生成所述用户界面中的所述信息，其中所述基于位置的信息是参考角色在与所述游戏应用相关联的游戏世界中的位置而确定的，并且其中所述信息包括针对所述角色的所述位置的上下文相关信息。

18.根据权利要求16所述的计算机系统，其中所述方法还包括：

在所述第一设备处从在后端游戏服务器处与所述第一用户的所述游戏进行相关联地执行的所述游戏应用的实例接收代表所述第一用户的所述游戏进行的流式传输数据；以及

在所述第一设备处从所述后端游戏服务器接收所述用户界面，其中所述用户界面中的所述信息是基于所述用户的所述游戏进行的基于位置的信息而生成的，其中所述基于位置的信息是参考角色在与所述游戏应用相关联的游戏世界中的位置而确定的，并且其中所述信息包括针对所述角色的所述位置的上下文相关信息。

19.根据权利要求16所述的计算机系统，其中在所述方法中将所述第一设备与所述第二设备配对还包括：

生成密码；

将所述密码发送到所述显示器；以及

从所述第二设备接收所述密码作为在所述第一设备与所述第二设备之间成功配对的要求。

20.根据权利要求16所述的计算机系统，其中所述方法还包括：

将完成在所述第一用户的所述游戏进行中要完成的任务所必需的一系列步骤从所述第一设备递送到所述第二设备，其中所述一系列步骤在所述用户界面内提供，

其中基于所述用户的所述游戏进行的基于位置的信息来确定所述任务，其中所述基于位置的信息是参考角色在与所述游戏应用相关联的游戏世界中的位置而确定的，并且其中所述用户界面中的所述信息包括针对所述角色的所述位置的上下文相关信息。

Images