CN104225915B

CN104225915B - 用于减少与头戴式系统相关联的跃点的系统和方法

Info

Publication number: CN104225915B
Application number: CN201410250174.3A
Authority: CN
Inventors: D.佩里
Original assignee: Sony Computer Entertainment America LLC
Current assignee: Sony Interactive Entertainment LLC
Priority date: 2013-06-07
Filing date: 2014-06-06
Publication date: 2021-01-15
Anticipated expiration: 2034-06-06
Also published as: US20140364208A1; EP3872618B1; EP4142254A1; EP3005073A1; EP4142254B1; JP2016533659A; US20210129012A1; BR112015030576B1; JP2018129054A; WO2014197229A1; RU2628665C2; EP3872618A1; EP3005073B1; KR20190121407A; BR112015030576A2; US10905943B2; CN112742022A; RU2015156224A; KR20180095741A; KR102158004B1

Abstract

本发明描述用于减少与头戴式显示器相关联的跃点的系统和方法。所述头戴式显示器包括用于通过网络接收并发射与游戏程序相关联的交互式媒体的通信电路。所述交互式媒体由游戏云端系统加以处理并直接串流传输到所述头戴式显示器的通信电路。所述头戴式显示器进一步包括用于从用户接收动作来产生输入的用户输入电路，所述输入包括由所述用户输入电路检测到的定位和运动。所述头戴式显示器包括用于对从所述网络接收到的所述交互式媒体进行解码的游戏处理电路。所述游戏处理电路驱动与所述游戏程序相关联的交互性的一部分。交互性的所述部分基于所述输入来产生。

Description

用于减少与头戴式系统相关联的跃点的系统和方法

技术领域

本公开涉及用于减少与头戴式系统相关联的跃点的系统和方法。

技术背景

通常使用视频游戏控制台(video game console)来玩游戏。例如，用户常常购买控制器和控制台来玩游戏。控制台可连接至互联网。用户开启控制台并操作控制器来通过控制台和互联网玩游戏。但是，为便于玩游戏而使游戏数据通过的许多跃点(例如，许多网络设备)可能会减缓玩游戏的速度。例如，用户可能必须等待从互联网下载图形到控制台，然后才能玩所述游戏的某些阶段。

本公开中描述的实施方案正是在这个背景下出现的。

发明概要

本公开中描述的实施方案提供用于减少与头戴式系统相关联的跃点数目的系统和方法。

概括来说，在各种实施方案中，所述系统和方法允许玩游戏，其中通过绕过头戴式显示器与网络之间的路由器来将媒体数据从网络串流传输到头戴式显示器。不使用路由器减少了头戴式显示器与游戏云端之间的跃点数目，所述游戏云端执行游戏程序来允许用户玩游戏。

在一些实施方案中，描述一种用于通过游戏云端系统玩游戏的头戴式显示器。所述头戴式显示器包括用于通过网络接收并发射与游戏程序相关联的交互式媒体的通信电路。所述交互式媒体由所述游戏云端系统加以处理并直接串流传输到所述头戴式显示器的通信电路。所述头戴式显示器进一步包括用于从用户接收动作来产生输入的用户输入电路，所述输入包括由所述用户输入电路检测到的定位和运动。所述头戴式显示器包括用于对从所述网络接收到的所述交互式媒体进行解码的游戏处理电路。所述游戏处理电路驱动与所述游戏程序相关联的交互性的一部分。交互性的所述部分是基于所述输入来产生。

在一些实施方案中，描述一种用于通过游戏云端系统玩游戏的方法。所述方法包括通过网络直接串流传输与游戏程序相关联的交互式媒体。所述交互式媒体由所述游戏云端系统加以处理。直接串流传输操作是由头戴式显示器来执行。所述方法进一步包括：接收输入，所述输入包括由所述头戴式显示器检测到的定位和运动；对从所述网络接收到的所述交互式媒体进行解码；以及驱动与所述游戏程序相关联的交互性的一部分。交互性的所述部分是基于所述输入来产生。

在各种实施方案中，描述一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有用于通过游戏云端系统玩游戏的计算机可执行指令。所述计算机可执行指令在由计算机的处理器执行时，通过网络直接串流传输与游戏程序相关联的交互式媒体。所述交互式媒体由所述游戏云端系统加以处理。此外，所述计算机可执行指令在由所述处理器执行时，从所述头戴式显示器接收输入。所述输入包括由所述头戴式显示器检测到的定位和运动。所述计算机可执行指令在由所述处理器执行时，对从所述网络接收到的所述交互式媒体进行解码并且驱动与所述游戏程序相关联的交互性的一部分。交互性的所述部分是基于所述输入来产生。

根据以下结合举例说明本公开中所描述实施方案的原理的附图进行的详述，所描述的其它方面将变得显而易见。

附图简述

通过参考以下结合附图进行的描述，可以最好地理解本公开中描述的各种实施方案，在附图中：

图1A是根据本公开中描述的一个实施方案的系统的图，所述系统用于减少游戏云端与头戴式显示器(HMD)或手持式控制器(HHC)之间的跃点数目。

图1B是根据本公开中描述的一个实施方案的系统的图，所述系统用于通过网络和路由器在HMD或HHC与游戏云端之间传送数据。

图1C是根据本公开中描述的一个实施方案的系统的图，所述系统用于使用控制台来传达媒体数据并且用于使用或不使用路由器来传达输入数据和/或媒体数据。

图2是根据本公开中描述的一个实施方案的系统的图，所述系统用于示出基于用户的头部动作和/或手部动作产生输入数据。

图3是根据本公开中描述的一个实施方案的HMD的图，所述HMD是图1A的HMD的实例。

图4A是根据本公开中描述的一个实施方案的图像的图，所述图像是显示在图3的HMD的显示屏上以便访问无线网络。

图4B是根据本公开中描述的一个实施方案的图像的图，所述图像是显示在计算机的显示屏上以便访问无线网络。

图5A是根据本公开中描述的一个实施方案的游戏图像的图，所述图像是显示在图3的HMD的显示屏上，其中HMD的显示屏的外围区域具有低分辨率且中心区域具有高分辨率。

图5B是根据本公开中描述的一个实施方案的游戏图像的图，所述图像是显示在图3的HMD的显示屏上，其中HMD的显示屏的顶部区域和底部区域具有低分辨率且在顶部区域与底部区域之间的区域具有高分辨率。

图5C是根据本公开中描述的一个实施方案的游戏图像的图，所述图像是显示在图3的HMD的显示屏上，其中HMD的显示屏的右侧区域和左侧区域具有低分辨率且介于右侧区域与左侧区域之间的区域具有高分辨率。

图6是示出根据本公开中描述的一个实施方案的各种类型HHC的图。

图7A是根据本公开中描述的一个实施方案的HMD的实施方案的图，所述HMD是图3的HMD的实例。

图7B是根据本公开中描述的一个实施方案的HMD的实施方案的等距视图，所述HMD是图3的HMD的实例。

图8是根据本公开中描述的一个实施方案的控制台的框图，所述控制台可兼容地与HHC和图3的HMD对接。

图9是根据本公开中描述的一个实施方案的游戏系统的实施方案的框图。

具体实施方式

本发明描述用于减少与头戴式系统相关联的跃点数目的系统和方法。举例来说，例如路由器、中继器、集线器、计算机、控制台等的网络设备向通过所述网络设备传送的数据添加跃点。一个或多个网络设备可能位于头戴式显示器(HMD)与网络之间和/或手持式控制器(HHC)与网络之间。跃点的添加可能是由于：网络设备从另一个设备接收数据；网络设备对数据的缓冲；分析数据；以及网络设备向另一个设备重新发送数据。所述系统和方法减少HMD与网络之间和/或HHC与网络之间的网络设备的数目。网络设备的数目的减少可以减少延迟，例如滞后时间、缓冲数据的时间、接收数据的时间、分析数据的时间、重新发送数据的时间等。当减少了延迟时，使用HMD和/或HMC以最小的延迟来显示通过网络从游戏云端接收到的高密度图形。应注意，本公开中描述的各种实施方案可以在没有这些具体细节中的一些或全部的情况下实践。在其它情况下，没有详细描述众所周知的处理操作，以避免不必要地混淆本公开中描述的各种实施方案。

在一些实施方案中，系统包括计算机、HHC和HMD。在各种实施方案中，计算机可以是执行呈现在显示器上的交互式游戏程序的一个或多个部分的专用计算机、游戏控制台、移动电话、平板计算机或其它这类设备。在这些实施方案中，在游戏云端系统(例如一个或多个虚拟机(VM))中执行交互式游戏程序的任何其余部分。在一些实施方案中，游戏云端系统包括许多服务器，所述服务器执行游戏程序来在游戏设备、HMD、电视、计算机屏幕等上产生游戏环境。例如，在物力资源(例如处理器、存储设备、服务器等)之上执行虚拟机监控程序(hypervisor)，以便执行许多操作系统和许多计算机软件应用程序来产生数据，所述数据进一步用来在HMD上产生游戏环境。游戏控制台的实例包括Sony ComputerEntertainment^TM公司和其它制造商所制造的游戏控制台。交互式游戏程序可以是由多个用户来玩的多用户游戏程序或由用户与计算机来玩的单用户游戏程序。

在一些实施方案中，在游戏云端系统上或在计算机上执行交互式游戏程序的全部部分。

在各种实施方案中，执行交互式游戏程序来在HMD内产生沉浸式环境。例如，由处理器创建沉浸式环境，用户使自己沉浸在这个环境中。沉浸式环境让用户感觉他/她就像是处理器所创建的虚拟世界的一部分。沉浸式环境使用户在精神上与现实世界分离并且将用户带入虚拟世界，来为用户提供游戏体验。在一些实施方案中，处理器产生沉浸式环境，在HMD内显示所述沉浸式环境来在用户身上建立如下感觉：沉浸式环境的虚拟世界是真实的。在一些实施方案中，如本文中所描述的媒体数据或其它媒体数据包括用来产生沉浸式环境的数据。

HMD是戴在用户头上或作为头盔的部分的设备，其具有位于用户的一只眼睛或每只眼睛前方的小型显示光学部件，例如透镜、玻璃等。在一些实施方案中，尽管对两只眼睛使用两个光学器件，但在HMD的显示屏上显示一个场景，例如虚拟场景、扩大的虚拟现实场景等。两只眼睛看见一个场景。

在一些实施方案中，HMD能够接收并呈现来自计算机的视频输出。在各种实施方案中，HHC和/或HMD与计算机无线通信，因为这种无线通信与有线连接相比而言提供了HHC和/或HMD的更大行动自由度。

HHC可包括用于向交互式游戏程序提供输入的各种特征中的任何一个，例如像按钮、操纵杆、方向板、触发器、手部示意动作、触摸板、触摸屏或其它类型的输入机构等。HHC的一个实例是SonyComputer Entertainment公司制造的Sony Dualshock4控制器。HHC的其它实例包括由其它实体制造且具有任何型号和任何版本号的控制器。

此外，HHC可以是运动控制器，其允许用户与交互式游戏程序对接并且通过使运动控制器移动来向交互式游戏程序提供输入。运动控制器的一个实例是Sony ComputerEntertainment^TM公司制造的PlayStation Move^TM控制器。

类似地，HMD可包括用户输入电路，其允许用户与交互式游戏程序对接并且通过使HMD移动来向交互式游戏程序提供输入。可使用各种技术来检测运动控制器和/或HMD的定位和移动。例如，运动控制器和/或用户输入电路可包括各种类型的惯性传感器电路，如加速计、陀螺仪和磁力计。在一些实施方案中，加速计是6轴低延迟加速计。在一些实施方案中，运动控制器和/或HMD可包括一个或多个固定的参考对象，例如发光二极管(LED)、有色点、反光体、标记、逆反射材料、预定义的形状、预定义的颜色、预定义的对象、条形码、标签、快速响应(QR)码等，且由一个或多个数码摄像机来捕获所述固定的参考对象的图像。在一些实施方案中，数码摄像机包括视频摄像机，所述视频摄像机进一步包括单个电荷耦合设备(CCD)、LED指示器和基于硬件的实时数据压缩与编码装置，以便可用适当格式(如基于图像内的运动图片专家组(MPEG)标准)传输压缩后的视频数据。于是，可通过分析由一个或多个数码摄像机捕获的图像来确定运动控制器和/或的定位和移动。

图1A是系统100的实施方案的图，所述系统用于减少游戏云端102与HMD104或HHC106之间的跃点数目。在一些实施方案中，游戏云端102在本文中被称为游戏云端系统。在各种实施方案中，用户108将HMD104放在他的头上以便HMD104的透镜位于他/她的眼睛前方，其方式与用户108戴上头盔的方式类似。在一些实施方案中，像眼镜(例如验光眼镜、护目镜等)一样戴上HMD104。在许多实施方案中，HMD104覆盖用户108的两只眼睛。用户106将HHC106握在他/她的手中。

在各种实施方案中，使用用户106的手而不是HHC106来向HMD104提供示意动作，例如手部示意动作、手指示意动作等。例如，HMD104内的数码摄像机捕获示意动作的图像，且HMD104内的处理器分析示意动作来确定HMD104所显示的游戏是否受所述示意动作的影响。

如本文中所使用，处理器可以是微处理器、可编程逻辑设备(PLD)、专用集成电路(ASIC)或其组合。

系统100包括网络110，其可以是局域网(LAN)、广域网(WAN)或其组合。网络110的实例包括互联网、内部网或其组合。在一些实施方案中，网络110使用传输控制协议(TCP)/互联网协议(IP)或用户数据报协议/IP(UDP/IP)在游戏云端102与HMD104或HHC106之间通过网络110传达媒体数据。在各种实施方案中，网络110使用以太网协议、TCP/IP协议或所述两个协议在游戏云端102与HMD104或HHC106之间通过网络110传达媒体数据。

游戏云端102包括编码器/解码器(编码解码器)112和串流缓冲器114。串流缓冲器114存储在执行游戏程序117时产生的媒体数据116的串流。媒体数据116包括虚拟环境数据、虚拟游戏对象数据、其组合等。在各种实施方案中，呈现虚拟环境数据来产生游戏的虚拟环境，且呈现虚拟游戏对象数据来产生一个或多个虚拟游戏对象，例如虚拟游戏人物、虚拟点、虚拟奖品、游戏界面等。在一些实施方案中，游戏的虚拟环境包括虚拟游戏对象。虚拟环境的实例包括虚拟地理区，例如虚拟城市、虚拟道路、虚拟湖泊、虚拟海洋等。游戏程序117是交互式游戏程序的实例并且是由游戏云端102的一个或多个服务器来执行。编码解码器112的实例包括压缩器/解压缩器。例如，编码解码器112对媒体数据116进行编码/解码。压缩的实例包括有损压缩、无损压缩等。在一些实施方案中，编码解码器112执行分包(packetization)和拆包(depacketization)，且执行编码和解码。在这些实施方案中，编码解码器112包括串流缓冲器114。

用户108使用HMD104来存取由HMD104的处理器执行的操作系统(OS)。例如，用户108通过按钮开启HMD104，并且HMD104的处理器执行OS。

在一些实施方案中，OS允许HMD104访问网络110。例如，当用户108选择由HMD104的处理器在OS之上执行的网络访问应用程序(例如网络访问图标、网络访问符号等)时，网络访问应用程序向HMD104的微控制器提供网络列表，以便显示给用户108。用户108使用用户输入电路在选择所述网络中的一个，用来访问网络110。例如，用户108执行一个或多个头部动作，例如头部倾斜、眨眼、注视、凝视、点头、摇头等，用户输入电路检测到所述头部动作来产生用于选择所述网络中的一个的输入。作为另一个实施例，用户108选择HHC106上的按钮来选择所述网络中的一个，且由HHC106的通信电路将这个选择从HHC106传达到HMD104。通信电路的实例包括收发器、发射/接收电路、网络接口控制器或其组合等。网络访问应用程序还向用户108请求密码(例如安全密钥、数字密码等)来访问网络110。在验证密码有效后，网络访问应用程序允许用户108访问网络110。

一旦访问网络110，OS就允许HMD104访问游戏程序117。例如，当用户108选择由HMD104的处理器在OS之上执行的游戏访问应用程序(例如游戏访问图标、游戏访问符号等)时，游戏访问应用程序请求通过网络110访问游戏程序117。例如，用户108执行一个或多个头部动作，用户输入电路检测到所述头部动作来产生用于选择游戏访问应用程序的输入。作为另一个实施例，用户108选择HHC106上的按钮来选择游戏访问应用程序，且由HHC106的通信电路将这个选择从HHC106传达到HMD104。

在通过网络110得以访问游戏程序117后，HMD104的微控制器在HMD104的显示屏上显示游戏。在一些实施方案中，HMD104的显示屏是高性能屏，以便在HMD104快速移动时减少模糊。用户108执行头部动作中的一个或多个且每个头部动作触发用户输入电路来产生输入，所述输入可用来玩游戏。在一些实施方案中，用户108使用他/她的手执行选择HHC106的一个或多个按钮，且每个手部动作(例如，按压手指、移动手指、旋转手指、向上移手指、向下移手指、向右移手指、向左移手指等)触发HHC106来产生输入，所述输入可用来玩游戏。

在一些实施方案中，游戏访问应用程序向用户108请求用户名和/或密码来访问游戏程序117。在从游戏云端102接收到对用户名和/或密码有效的验证后，游戏访问应用程序允许用户108访问游戏程序117。在一些实施方案中，用户108通过执行手部动作中的一个或多个和/或执行头部动作中的一个或多个来提供用户名和/或密码。

在各种实施方案中，代替访问所述游戏访问应用程序，用户108在访问网络110后请求访问网页，且网页允许用户108访问游戏程序117。例如，用户108通过执行手部动作中的一个或多个来通过用户输入电路选择web浏览器应用程序，或通过执行头部动作中的一个或多个来通过HHC106选择web浏览器应用程序，以便访问网页。在访问网页后，用户108玩所述网页上显示的游戏。当在游戏云端102上执行游戏程序117时，显示游戏。

在一些实施方案中，在访问网页来玩在游戏云端102上执行游戏程序117时所显示的游戏之前，验证用户108的用户名和/或密码。验证用户名和/或密码的方式与用户108通过游戏访问应用程序访问游戏时的上述方式类似。

当访问游戏程序117时，编码解码器112对媒体数据116的数字数据串流进行编码，例如压缩等，以便通过网络110将已编码媒体数据的数字数据串流发送到HMD104。在一些实施方案中，已编码媒体数据的数字数据串流是呈数据包的形式，以便通过网络110发送。

HMD104通过网络110从编码解码器112接收已编码媒体数据的数字数据串流，并且对数字数据串流进行处理(例如解码、拆包等)和呈现，以便在HMD104的显示屏上显示游戏。当在HMD104的显示屏上显示游戏时，从HMD104和/或HHC106接收一个或多个输入。例如，用户108在戴上HMD104后执行头部动作中的一个或多个。作为另一个实施例，用户108执行手部动作中的一个或多个，例如按压按钮、移动操纵杆、手部示意动作、手指示意动作、其组合等，且在执行一个或多个手部动作时，HHC106产生输入数据，HHC106的通信电路将输入数据转换成输入信号，以便发送到HMD104的通信电路。HMD104的通信电路将输入信号从模拟形式转换成数字形式来产生输入数据，且HMD104对输入数据进行分包和编码并且通过网络110发送到编码解码器112。

在一些实施方案中，游戏程序117映射基于一个或多个头部动作产生的输入数据与基于一个或多个手部动作产生的输入数据，以便确定是否要改变HMD104上显示的游戏的状态。例如，当通过网络110接收到指示头部倾斜的输入与指示按压HHC106上的按钮的输入时，游戏程序117确定要改变游戏的状态。否则，游戏程序117确定不改变游戏的状态。

基于一个或多个头部动作和/或一个或多个手部动作产生的输入的输入数据由HMD104进行分包和编码，并且作为已编码输入数据的串流通过网络110发送到编码解码器112。例如，当不通过路由器发送输入数据时，通过网络110将输入数据从HMD104直接发送到游戏云端102。路由器可放在HMD104与网络110之间，用来在HMD104与网络110之间将数据选路传输(例如，传递、发送等)到已定址的设备等。

编码解码器112对通过网络110从HMD104接收到的已编码输入数据的串流进行解码(例如解压缩等)，且在串流缓冲器114中对已解码输入数据进行缓冲以便拆包并发送到游戏程序117。游戏云端102的一个或多个服务器对已解码输入数据的串流进行拆包并且将输入数据发送到游戏程序117。在一些实施方案中，游戏云端102首先执行拆包，然后执行解码。

基于输入数据，游戏程序117产生其它媒体数据，游戏云端102的一个或多个服务器对其它媒体数据进行分包以便产生其它媒体数据的串流。其它媒体数据的串流被存储在串流缓冲器114中，由编码解码器112进行编码，且作为已编码其它媒体数据的串流通过网络110发送到HMD104。在一些实施方案中，在将其它媒体数据通过网络110发送到HMD104之前，首先对其它媒体数据进行编码，然后进行分包。HMD104接收已编码其它媒体数据的串流，对串流进行拆包，且对已编码其它媒体数据进行解码，以便向HMD104的微控制器提供其它媒体数据。

在一些实施方案中，游戏环境包括媒体数据116、其它媒体数据或其组合。

HMD104的微控制器基于其它媒体数据改变由游戏程序117执行的游戏的显示。例如，当用户108点头时，在通过执行游戏程序117所产生的游戏的虚拟世界中，用户108的虚拟形象也点头。作为另一个实施例，当用户108摇动他/她的头表示拒绝时，在通过执行游戏程序117所产生的游戏的虚拟世界中，用户108的虚拟形象也摇动它的头表示拒绝。作为另一个实施例，当用户108看着HMD104的显示屏上显示的虚拟游戏人物时，虚拟游戏人物回看着用户108。当用户108从虚拟游戏人物身上移开目光时，虚拟游戏人物从用户108身上移开目光。此外，在这个实施例中，HMD104的外部数码摄像机捕获用户108的眼睛或头部位置的图像。基于眼睛的或头部位置的注视，游戏程序117改变虚拟游戏人物的眼睛的位置。应注意，基于一个或多个头部动作和/或一个或多个手部动作产生的输入的输入数据改变游戏的状态。在一些实施方案中，游戏的显示在本文中被称为与游戏程序117相关联的交互性的一部分。

在各种实施方案中，代替将基于一个或多个手部动作产生的输入数据从HHC106传达到HMD104，将输入数据通过网络110从HHC106直接传达到编码解码器112。例如，当不通过HHC106与网络110之间的路由器(未示出)传达输入数据时，将输入数据通过网络110从HHC106直接传达到编码解码器112。HHC106传达来自HMD104的基于一个或多个手部动作产生的输入数据，其方式与HMD104传达输入数据的方式类似。例如，来自HMD104的基于一个或多个手部动作产生的输入数据由HHC106进行编码和分包，且作为已编码输入数据的串流通过网络110发送到编码解码器112。

应注意，HMD104与网络110之间没有路由器(未示出)减少了网络110与HMD104之间的跃点数目。在没有路由器的实施方案中，游戏云端102的编码解码器112将交互式媒体(例如，媒体数据116、其它媒体数据等)通过网络110直接串流传输到HMD104的无线访问卡(WAC)。此外，在这些实施方案中，WAC将交互式媒体(例如，输入数据等)通过网络110直接串流传输到游戏云端102的编码解码器112。

跃点数目的减少节省了与路由器相关联的时间。例如，路由器从另一个网络设备接收数据，对数据进行缓冲，分析数据，并且将数据重新发送到另一个网络设备。当通过绕过路由器来在HMD104与游戏云端102之间通过网络110传送数据时，节省了接收数据、对数据进行缓冲、分析数据并重新发送数据的时间。同样，当通过绕过路由器来在HHC106与游戏云端102之间通过网络110传送数据时，节省了接收数据、对数据进行缓冲、分析数据并重新发送数据的时间。

类似地，当在HMD104或HHC104与网络110之间不使用计算机(例如，控制台、移动设备等)，节省了与数据的接收、存储、分析和重新发送相关联的时间。

图1B是系统150的实施方案的图，所述系统用于通过网络110和路由器152在HMD104或HHC106与游戏云端102之间传送数据。系统150与系统100(图1A)类似，只是系统150包括在HMD104与网络110之间的路由器152。路由器152还位于HHC106与网络110之间。

HMD104通过无线连接(例如，蓝牙连接、Wi-Fi连接等)耦合到路由器152。此外，HHC106通过无线连接(例如，蓝牙连接、Wi-Fi连接等)耦合到路由器152。在一些实施方案中，路由器152通过有线连接耦合到网络110。

系统150操作的方式与系统100(图1A)的方式类似，只是已编码数据的串流是从HMD104或HHC106发送到路由器152。路由器152将已编码数据的串流选路传输(例如，传递等)到网络110中的路径，以便于将串流发送到编码解码器112。路由器152使用编码解码器112的IP地址和/或媒体访问层(MAC)地址将已编码数据的串流选路传输到编码解码器112。在一些实施方案中，路由器152基于一个或多个网络流量因素(例如，网络路径上的数据包流量、网络路径上的拥塞等)确定网络110的网络路径。

路由器152通过网络110从游戏云端102接收已编码数据的串流，且将已编码数据的串流选路传输到HMD104。例如，路由器152基于HMD104的IP地址和/或MAC地址将通过网络110从游戏云端102接收到的已编码数据的串流选路传输到HMD104。

图1C是系统170的实施方案的图，所述系统用于使用计算机172来传达媒体数据并且用于使用或不使用路由器152来传达输入数据和/或媒体数据。

在一些实施方案中，在耦合到计算机172或位于计算机172内的显示屏上而不是在HMD104上呈现无线网络的列表。例如，当计算机172是移动电话时，计算机172包括用于显示无线网络的列表的显示屏。作为另一个实施例，当计算机172耦合到电视显示屏时，在显示屏上显示无线网络的列表。在这些实施方案中，当计算机172的处理器176执行存储在计算机172的存储设备内的无线访问应用程序时，访问无线网络的列表。当用户108通过执行一个或多个头部动作和/或一个或多个手部动作时来通过HMD104或HHC106访问所述无线访问应用程序时，处理器176执行无线访问应用程序。从HMD104或HHC106的通信电路将基于一个或多个头部动作和/或一个或多个手部动作产生的输入数据发送到计算机172。当计算机172的处理器176接收到输入数据时，执行无线访问应用程序来产生无线网络的列表。

计算机172包括网络接口控制器(NIC)174，其向游戏云端102请求游戏程序117的一部分。NIC的实例包括网络接口卡和网络适配器。游戏程序117的所述部分由编码解码器112进行编码并且通过网络110串流传输到计算机172的NIC174。计算机172的处理器176执行游戏程序117的所述部分来产生媒体数据，将所述媒体数据从通信电路178(例如，收发器、发射/接收电路、网络接口控制器等)发送到HMD104以便在HMD104的显示屏上显示。HMD104的通信电路从计算机172接收媒体数据并且将媒体数据发送到HMD104的微控制器以便在HMD104的显示屏上显示。

此外，计算机172的通信电路178从HMD104和/或HHC106接收基于一个或多个头部动作和/或一个或多个手部动作产生的输入数据并且将输入数据发送到处理器176。对输入数据做出响应，处理器176执行存储在计算机172内的游戏程序117的所述部分来产生媒体数据，将所述媒体数据从通信电路178发送到HMD104的通信电路。将媒体数据发送到HMD104的通信电路来改变通过执行游戏程序117所显示的游戏的虚拟游戏对象和/或虚拟环境。当虚拟游戏对象和/或虚拟环境改变时，通过执行游戏程序117所显示的游戏的游戏状态改变。

在一些实施方案中，计算机172的NIC174将游戏状态通过路由器152和网络110发送到游戏云端102，以便将游戏状态告知游戏云端102的一个或多个服务器。

在各种实施方案中，将媒体数据(例如，媒体数据116、其它媒体数据等)通过网络110和路由器152从编码解码器112发送到HMD104，直到游戏程序117的一部分得以从游戏云端102下载到计算机172。例如，用户108最初使用游戏访问应用程序来访问游戏程序117。在对游戏程序117的所述部分的访问期间，将媒体数据116通过网络110和路由器152从编码解码器112发送到HMD104以便在HMD104的显示屏上显示。在对来自游戏云端102的媒体数据(例如，媒体数据116、其它媒体数据等)进行存取以便在HMD104上显示的时间期间，计算机172的NIC174通过网络110和路由器152从游戏云端102下载游戏程序117的一部分。

在一些实施方案中，当控制台172访问游戏程序117的一部分时，将媒体数据(例如，媒体数据116、其它媒体数据等)通过网络110从编码解码器112发送到HMD104以便在HMD104的显示屏上显示。在这些实施方案中，绕过路由器152以便减少跃点数目。在绕过路由器152之后，在对来自游戏云端102的媒体数据(例如，媒体数据116、其它媒体数据等)进行存取以便在HMD104上显示的时间期间，计算机172的NIC174通过网络110和路由器152从游戏云端102下载游戏程序117的一部分。

在许多实施方案中，将基于一个或多个头部动作和/或一个或多个手部动作产生的输入数据的一部分通过路由器152和网络110从HMD104发送到游戏云端102的编码解码器112，且将输入数据的其余部分从HMD104的通信电路发送到计算机172的通信电路178。

在各种实施方案中，将基于一个或多个手部动作产生的输入数据的一部分通过路由器152和网络110从HHC106的通信电路发送到游戏云端102的编码解码器112，且将输入数据的其余部分从HHC106的通信电路发送到计算机172的通信电路178。

在一些实施方案中，将基于一个或多个头部动作和/或一个或多个手部动作产生的输入数据的一部分通过网络110从HMD104发送到游戏云端102的编码解码器112，且将输入数据的其余部分从HMD104的通信电路发送到计算机172的通信电路178。在这些实施方案中，绕过路由器152。

在一些实施方案中，将基于一个或多个手部动作产生的输入数据的一部分通过网络110从HHC106的通信电路发送到游戏云端102的编码解码器112，且将输入数据的其余部分从HHC106的通信电路发送到计算机172的通信电路178。在这些实施方案中，绕过路由器152。

在各种实施方案中，将通过执行游戏程序117所产生的媒体数据(例如，媒体数据116、其它媒体数据等)通过网络110和路由器152从游戏云端102的编码解码112发送到HMD104，以便呈现媒体数据，从而在HMD104的显示屏上显示游戏，且将通过计算机172的处理器176执行游戏程序117的一部分所产生的媒体数据从计算机172的通信电路178发送到HMD104以便在显示屏上显示游戏。在这些实施方案中，游戏云端102和计算机172具有同步的游戏状态。例如，编码解码器112将通过执行游戏程序117所产生的游戏状态通过网络110和路由器152发送到计算机172的NIC174，以便将游戏状态告知计算机172。作为另一个实施例，计算机172的NIC174将通过在计算机172上执行游戏程序117的所述部分所产生的游戏状态通过路由器152和网络110发送到游戏云端102的编码解码112，以便将游戏状态告知一个或多个游戏云端服务器。

在一些实施方案中，将通过执行游戏程序117所产生的媒体数据(例如，媒体数据116、其它媒体数据等)通过网络110从游戏云端102的编码解码112发送到HMD104，以便呈现媒体数据，从而在HMD104的显示屏上显示游戏，且将通过计算机172的处理器176执行游戏程序117的一部分所产生的媒体数据从计算机172的通信电路178发送到HMD104以便在显示屏上显示游戏。在这些实施方案中，在将媒体数据从编码解码器112发送到HMD104时，绕过路由器152。在这些实施方案中，游戏云端102和计算机172如上所述具有同步的游戏状态。

在一些实施方案中，与通过计算机172的处理器176执行游戏程序117的一部分所产生的媒体数据相比，通过执行游戏程序117所产生并且通过网络110和路由器152从游戏云端102的编码解码器112发送到HMD104以便在HMD104的显示屏上呈现媒体数据的媒体数据(例如，媒体数据116、其它媒体数据等)具有更大数量的图形。

在一些实施方案中，与通过计算机172的处理器176执行游戏程序117的一部分所产生的媒体数据相比，通过执行游戏程序117所产生并且通过网络110从游戏云端102的编码解码器112发送到HMD104以便在HMD104的显示屏上呈现媒体数据的媒体数据(例如，媒体数据116、其它媒体数据等)具有更大数量的图形。在这些实施方案中，在将媒体数据通过网络110从游戏云端102的编码解码器112发送到HMD104时，绕过路由器152。

在各种实施方案中，使用HMD104(图1A至图1C)来显示二维图像或三维图像。

图2是系统200的实施方案的图，所述系统用于示出基于一个或多个头部动作和/或一个或多个手部动作产生输入数据。用户108戴着HMD202且握着HHC204。HMD202是HMD104(图1A至图1C)的实例且HHC204是HHC106(图1A至图1C)的实例。

HMD202包括一个或多个标记，例如标记M1、标记M2和标记M3等。类似地，HHC204包括一个或多个标记，例如标记M4、标记M5和标记M6等。每个标记可以是发光二极管、光源、颜色、反射材料等。

视频摄像机206捕获HMD202的图像。当用户108的头部倾斜或移动时，标记M1至M3的定位和位置在xyz坐标系统中改变。视频摄像机206捕获标记M1至M3的图像且将图像发送到计算机172。标记M1至M3的图像是输入数据的实例。HMD202在三维空间(X,Y,Z)中的定位可由计算机172的处理器176(图1C)基于图像中的标记M1至M3的定位来确定。此外，HMD202的惯性运动(例如，偏转(yaw)、倾斜和滚动等)是由计算机172的处理器176(图1C)基于标记M1至M3的移动来确定。

在各种实施方案中，视频摄像机206是可移动的。例如，视频摄像机206附接到机器人设备，例如多旋翼直升机(multicopter)、机器人手臂、机器人、机器人运载工具、机器人汽车、四旋翼直升机(quadcopter)等。例如，关于机器人设备(例如，在机器人设备的下方、上方、一侧等)附接视频摄像机206，以便捕获HMD202和/或HHC204的图像。HMD202随着用户108的头部移动而移动。在一些实施方案中，使用数码摄像机来代替视频摄像机206。

在一些实施方案中，视频摄像机206捕获HHC204的图像。当用户108的手移动时，标记M4至M6的定位和位置在坐标系统中改变。视频摄像机206捕获标记M4至M6的图像且将图像发送到计算机172。标记M4至M6的图像是输入数据的实例。HHC204在三维空间(X,Y,Z)中的定位可由计算机172的处理器176基于图像中的标记M4至M6的定位来确定。此外，HHC204的惯性运动(例如，偏转、倾斜和滚动等)是由计算机172的处理器176基于标记M4至M6的移动来确定。

在一些实施方案中，用户108的手而不是HHC204标有标记M4至M6。

图3是HMD250的实施方案的图，所述HMD是HMD104(图1A至图1C)的实例。HMD250包括视频音频分离器254、视频解码器255、WAC258、串流缓冲器259、一个或多个扬声器260、用户输入电路262、显示屏266、微控制器268、音频缓冲器272、外部数码摄像机274、音频编码解码器276、内部数码摄像机278、视频缓冲器280、视频音频同步器282、麦克风284和控制器/计算机通信电路287。外部数码摄像机274面向用户108的现实世界环境，且内部数码摄像机278面向用户108，例如用户108的眼睛、头等。

在许多实施方案中，扬声器260是音频电路。在各种实施方案中，音频编码解码器276、音频缓冲器272和/或扬声器260是音频电路。在一些实施方案中，视频解码器255与微控制器268的组合在本文中被称为游戏处理电路。在各种实施方案中，微控制器268是显示电路。显示屏的实例包括LED屏、液晶显示器(LCD)屏、硅基液晶屏(liquid crystal onsilicon screen)、有机LED(OLED)屏、等离子屏等。外部数码摄像机274的实例包括由SonyComputer Entertainment公司制造的

微控制器268存储呈现程序286和操作系统288。呈现程序286和操作系统288是存储在微控制器286的存储设备中，并且由微控制器268的微处理器来执行。微控制器268的实例包括低成本微控制器，其包括驱动程序，例如LCD驱动程序，所述驱动程序驱动(例如，产生信号来提供给，产生信号来激活等)显示屏266的元件(例如LCD)来在显示屏266上显示游戏。微控制器268的另一个实例包括图形处理单元(GPU)和存储设备。

在一些实施方案中，微控制器268的存储设备并不是闪存和随机存取存储器(RAM)。例如，微控制器的存储设备是缓冲器。在各种实施方案中，微控制器268的存储设备是闪存或RAM。用户输入电路262的实例包括陀螺仪、磁力计和加速计。WAC258的实例包括NIC。在一些实施方案中，WAC258在本文中被称为通信电路。

从网络110或路由器152(图1B至图1C、图2)将已编码媒体数据的串流接收到串流缓冲器259中。串流缓冲器259所接收的已编码媒体数据的实例包括已编码的媒体数据116(图1A至图1C、图2)和已编码的其它媒体数据等。应注意，当路由器152耦合到计算机172(图2)时，从计算机172接收到的媒体数据是存储在HMD250的缓冲器(未示出)中而不是存储在串流缓冲器259中。

WAC258从串流缓冲器259存取已编码媒体数据的串流并且对串流进行拆包。此外，WAC258还包括解码器，用来对已编码媒体数据进行解码。

在计算机172(图1C)通过路由器152(图1C)接收已编码媒体数据的串流的实施方案中，计算机172的NIC174(图1C)对已编码媒体数据的串流进行拆包和解码来产生已解码数据，所述已解码数据由路由器152发送到HMD250的缓冲器(未示出)以便进行存储。

视频音频分离器254从WAC258或HMD250的缓冲器(未示出)存取已解码数据。视频音频分离器254将已解码数据内的音频数据与视频数据分开。

视频音频分离器254将音频数据发送到音频缓冲器272且将视频数据发送到视频缓冲器280。视频音频同步器282使存储在视频缓冲器280内的视频数据与存储在音频缓冲器272内的音频数据同步。例如，视频音频同步器282使用视频数据和音频数据的播放时间来使视频数据和音频数据同步。

音频编码解码器276将同步的音频数据从数字格式转换成模拟格式以便产生音频信号，且扬声器260播放音频信号来产生声音。视频解码器255对同步的视频数据进行解码，例如从数字形式变为模拟形式等，以便产生视频信号。微控制器268基于由视频解码器255产生的模拟视频信号执行呈现程序286，以便在显示屏266上显示游戏。在一些实施方案中，在显示屏266上显示的游戏是与音频信号的播放同步显示的。

此外，用户108(图1A至图1C、图2)对着麦克风284说话，所述麦克风将声音(例如语音)信号转换成电信号(例如音频信号)。音频编码解码器276将音频信号从模拟格式转换成数字格式来产生音频数据，所述音频数据存储在音频缓冲器276中。存储在音频缓冲器276中的音频数据是基于用户108的声音产生的输入数据的实例。WAC258从音频缓冲器276存取音频数据，以便通过网络110(图1A至图1C、图2)发送到游戏云端102(图1A至图1C、图2)的编码解码器112(图1A至图1C)。例如，WAC258对从音频缓冲器276存取的音频数据进行分包和编码，以便通过网络110发送到编码解码器112。

在一些实施方案中，WAC258从音频缓冲器276存取音频数据，以便通过路由器152(图1B至图1C、图2)和网络110(图1A至图1C、图2)发送到游戏云端102的编码解码器112(图1A至图1C)。例如，WAC258对从音频缓冲器276存取的音频数据进行分包和编码，以便通过路由器152和网络110发送到编码解码器112。

内部数码摄像机278捕获用户108(图1A至图1C、图2)的一个或多个头部动作的一个或多个图像来产生图像数据，所述图像数据是基于一个或多个头部动作产生的输入数据的实例。类似地，外部数码摄像机278捕获用户108的手的一个或多个图像和/或位于HMD250上或位于用户108的手上的标记的一个或多个图像来产生图像数据。基于位于用户108的手上的标记或基于用户108的手的移动所产生的图像数据是基于一个或多个手部动作产生的输入数据的实例。将数码摄像机274和278所捕获的图像数据存储在视频缓冲器280中。

在一些实施方案中，将数码摄像机274和278所捕获的图像数据存储在HMD250的缓冲器中，且所述缓冲器并不是视频缓冲器280。在各种实施方案中，数码摄像机274和278所捕获的图像数据由视频解码器255进行解码并且被发送到微控制器268以便在显示屏266上显示图像。

WAC258从视频缓冲器280存取数码摄像机274和278所捕获的图像数据，以便通过网络110(图1A至图1C、图2)发送到游戏云端102(图1A至图1C、图2)的编码解码器112(图1A至图1C)。例如，WAC258对从视频缓冲器280存取的图像数据进行分包和编码，以便通过网络110发送到编码解码器112。

在一些实施方案中，WAC258从视频缓冲器280存取视频数据，以便通过路由器152(图1B至图1C、图2)和网络110(图1A至图1C、图2)发送到游戏云端102的编码解码器112(图1A至图1C)。例如，WAC258对从视频缓冲器280存取的视频数据进行分包和编码，以便通过路由器152和网络110发送到编码解码器112。

控制器/计算机通信电路287从计算机172接收媒体数据，以便存储在HMD250的缓冲器(未示出)中。此外，控制器/计算机通信电路287从HHC106(图1A至图1C、图2)接收输入信号，将输入信号从模拟形式转换成数字形式以便产生输入数据，WAC258存取所述输入数据以便通过网络110(图1A至图1C、图2)发送到游戏云端102(图1A至图1C、图2)的编码解码器112(图1A至图1C)。例如，WAC258对从控制器/计算机通信电路287存取的输入数据进行分包和编码，以便通过网络110发送到编码解码器112。

在一些实施方案中，WAC258从控制器/计算机通信电路287存取输入数据以便通过路由器152(图1B至图1C、图2)和网络110(图1A至图1C、图2)发送到游戏云端102的编码解码器112(图1A至图1C)。例如，WAC258对从控制器/计算机通信电路287存取的输入数据进行分包和编码，以便通过路由器152和网络110发送到编码解码器112。

应注意，可使用两个分开的通信电路来代替控制器/计算机通信电路287，一个用于与计算机172(图1B)传达(例如，接收、发送等)数据，且另一个用于与HHC106(图1A至图1C、图2)传达数据。

在许多实施方案中，WAC258的解码器位于WAC258外。在各种实施方案中，串流缓冲器259位于WAC258内。

在一些实施方案中，HMD250不包括外部数码摄像机274。在一些实施方案中，HMD250包括任何数量的微控制器、任何数量的缓冲器和/或任何数量的存储设备。

在各种实施方案中，HMD250包括一个或多个电池，其提供电力给部件，例如，视频音频分离器254、无线访问卡258、串流缓冲器259、一个或多个扬声器260、用户输入电路262、显示屏266、微控制器268、音频缓冲器272、外部数码摄像机274、音频编码解码器276、内部数码摄像机278、视频缓冲器280、视频音频同步器282、麦克风284和控制器/计算机通信电路287。用插入到交流电插座中的充电器(未示出)对一个或多个电池充电。

在许多实施方案中，输入数据和/或媒体数据在本文中被称为交互式媒体。

在一些实施方案中，HMD250包括通信电路(未示出)以便于通过配对在局部用户之间进行对等型多信道通信。例如，HMD250包括收发器，其对从麦克风284接收的声音信号进行调制并且将调制信号通过信道发送到另一个HMD(未示出)的收发器。另一个HMD的收发器对信号进行解调以便提供给另一个HMD的扬声器，以便于在用户之间进行通信。

在各种实施方案中，HMD250的收发器使用不同的信道来与不同的其它HMD通信。例如，将调制信号发送到第一个其它HMD所通过的信道不同于将调制信号发送到第二个其它HMD所通过的信道。

在一些实施方案中，WAC258、用户输入电路262、微控制器268和视频解码器255是集成在一个或多个单独的电路芯片中。例如，WAC258、视频解码器255和微控制器268是集成在一个电路芯片中，且用户输入电路262被集成到另一个电路芯片中。作为另一个实施例，WAC258、用户输入电路262、微控制器268和视频解码器255中的每一个被集成在一个单独的电路芯片中。

在一些实施方案中，使用视频摄像机来代替数码摄像机。例如，使用一个视频摄像机来代替外部数码摄像机274(图3)，且使用另一个视频摄像机来代替内部数码摄像机278(图3)。

在一些实施方案中，HMD250没有外部数码摄像机274且/或没有内部数码摄像机278。在这些实施方案中，HMD250的定位和运动是由游戏云端102的一个或多个服务器和/或由计算机172(图1C)的处理器176(图1C)基于输入数据来确定，所述输入数据是由用户输入电路262产生且通过网络110(图1A至图1C、图2)发送或通过路由器152(图1B至图1C、图2)和网络110发送或通过路由器152、计算机172和网络110发送。

在一些实施方案中，当内部数码摄像机278不能看到用户108的眼睛或头时和/或当视频摄像机206(图2)不能看到用户108的头时，用户输入电路262产生输入数据。在这些实施方案中，HMD250的定位和运动是由游戏云端102的一个或多个服务器和/或由计算机172(图1C)的处理器176(图1C)基于输入数据来确定，所述输入数据是通过网络110(图1A至图1C、图2)发送到游戏云端102或通过路由器152(图1B至图1C、图2)和网络110发送或通过路由器152、计算机172和网络110发送。

在一些实施方案中，HMD250(例如HMD250的WAC258)在两种或更多种模式之间切换。第一种模式包括在HMD250与游戏云端102(图1A至图1C、图2)之间通过网络110(图1A至图1C、图2)传达数据时使用路由器152(图1B至图1C、图2)和计算机172(图1C和图2)。第二种模式包括在HMD250与游戏云端102之间通过网络110传达数据时使用路由器152。在第二种模式中，在传达数据时绕过计算机172。第三种模式包括在HMD250与游戏云端102之间通过网络110传达数据时使用网络110。在第三种模式中，在传达数据时绕过路由器152和计算机172。

在一些实施方案中，用户108使用HMD104与HHC106，且在单个虚拟游戏场景中表示HMD104的定位和运动以及HHC106的定位和运动。例如，在通过执行游戏程序117所产生并且在HMD104中显示的游戏(例如沉浸式环境游戏等)内，将HHC106表示为剑。在这个实施例中，游戏具有虚拟游戏场景。当用户108将他/她的头向左转时，向用户108展示游戏场景的左边部分，且当用户108将他/她的头向右转时，向用户108展示游戏场景的右边部分。游戏场景的所述部分的显示是基于HMD104的定位和移动。此外，当用户108使HHC106向左移动且使HMD104向左移动时，向用户展示剑在游戏场景的左边部分中指向左。当用户108使HHC106向左移动且使HMD104向右移动时，向用户展示游戏场景的右边部分且在右边部分中不显示剑。此外，当用户108使HHC106向右移动且使HMD104向右移动时，向用户展示剑在游戏场景的右边部分中指向右。当用户108使HHC106向右移动且使HMD104向左移动时，向用户108展示游戏场景的右边部分且在游戏场景的右边部分中不显示剑。在游戏场景的一部分中显示或不显示剑是基于HHC106的定位和运动。

图4A是图像300的实施方案的图，所述图像是显示在HMD250(图3)的显示屏266上，用来访问无线网络。图像300是在微控制器268(图3)执行网络访问应用程序时由微控制器268(图3)产生的。图像300包括网络(例如，无线网络A、无线网络B、无线网络C等)的列表，HMD250可连接到所述网络以便从游戏云端102访问游戏程序117。用户108通过执行一个或多个头部动作和/或一个或多个手部动作来选择无线网络A、无线网络B、无线网络C中的一个，以便将HMD250连接到所述无线网络。

在许多实施方案中，图像300包括所列出的任何数量的无线网络。

图4B是图像310的实施方案的图，所述图像是显示在计算机172(图2)的显示屏312上，用来访问无线网络。图像310是在计算机172的处理器176(图2)执行网络访问应用程序时由计算机172的GPU产生的。图像310包括网络(例如，无线网络A、无线网络B、无线网络C等)的列表，HMD250可通过路由器152和计算机172连接到所述网络以便从游戏云端102访问游戏程序117。用户108通过执行一个或多个头部动作和/或一个或多个手部动作来选择无线网络A、无线网络B、无线网络C中的一个，以便将HMD250通过路由器152和计算机172连接到所述无线网络。

在许多实施方案中，图像310包括所列出的任何数量的无线网络。

图5A是显示在显示屏321上的游戏图像320的图，所述显示屏是显示屏266(图3)的实例。微控制器268(图3)用低分辨率显示图像320的外围区域322，且微控制器268用高分辨率显示中心区域324。高分辨率高于较低的比率。外围区域322与显示屏321的边缘E1至E4相邻。

在一些实施方案中，边缘E1垂直于边缘E2且垂直于边缘E4。边缘E3垂直于边缘E2和E4且平行于边缘E1。在各种实施方案中，边缘E1大致上(例如，以范围为87度至93度的角度等)垂直于边缘E2且垂直于边缘E4。边缘E3大致上垂直于边缘E2和E4且大致上平行于边缘E1。

应注意，在一些实施方案中，显示屏321为任何形状，例如，矩形、正方形、圆形、卵形、多边形、曲线形等。

基于内部数码摄像机278(图3)所捕获的注视的图像，微控制器268(图3)将显示屏321分成区域322和324。例如，在确定用户108(图1A至图1C、图2)注视着中心区域324时，微控制器268确定中心区域324具有高分辨率，确定外围区域322具有低分辨率，并且执行呈现程序286以便用高分辨率显示中心区域324且用低分辨率显示外围区域322。

图5B是显示在显示屏321上的图像330的实施方案的图。图像330具有顶部外围区域332和底部外围区域334。顶部外围区域332与边缘E1相邻，且底部外围区域334与边缘E3相邻。外围区域332和334具有低分辨率，且中间区域336具有高分辨率。中间区域336与边缘E2和E4相邻定位且位于区域332与334之间。

基于内部数码摄像机278(图3)所捕获的注视的图像，微控制器268(图3)将显示屏321分成区域332、334和336。例如，在确定用户108(图1A至图1C、图2)注视着中间区域336时，微控制器268确定中间区域336具有高分辨率，确定外围区域332和334具有低分辨率，并且执行呈现程序286以便用高分辨率显示中间区域336且用低分辨率显示外围区域332和334。

在一些实施方案中，外围区域332的分辨率不同于外围区域334的分辨率。例如，外围区域332具有介于低分辨率与高分辨率之间的中等分辨率，且外围区域334具有低分辨率。作为另一个实施例，外围区域334具有中等分辨率且外围区域332具有低分辨率。

图5C是显示在显示屏321上的图像340的实施方案的图。图像340具有右边外围区域342和左边外围区域344。右边外围区域342与边缘E2相邻，且左边外围区域344与边缘E4相邻。外围区域342和344具有低分辨率，且中间区域346具有高分辨率。中间区域346与边缘E1和E3相邻定位且位于区域342与344之间。

基于内部数码摄像机278(图3)所捕获的注视的图像，微控制器268(图3)将显示屏321分成区域342、344和346。例如，在确定用户108(图1A至图1C、图2)注视着中间区域346时，微控制器268确定中间区域346具有高分辨率，确定外围区域342和344具有低分辨率，并且执行呈现程序286以便用高分辨率显示中间区域346且用低分辨率显示外围区域342和344。

在一些实施方案中，外围区域342的分辨率不同于外围区域344的分辨率。例如，外围区域342具有介于低分辨率与高分辨率之间的中等分辨率，且外围区域344具有低分辨率。作为另一个实施例，外围区域344具有中等分辨率且外围区域342具有低分辨率。

在各种实施方案中，可使用任何其它头部动作(而不是注视)来确定显示屏321的一个或多个区域具有高分辨率并且确定显示屏321的一个或多个区域具有低分辨率或低分辨率与中等分辨率。

在一些实施方案中，显示屏的外围区域为任何形状，例如，曲线形、半圆形、多边形等，且显示屏的中心区域或中间区域为任何形状，例如，矩形、圆形、多边形、椭圆形、曲线形等。

图6是示出各种类型的HHC350、352、354、356、358和360的图。每个HHC350、352、354、356、358和360是HHC106(图1A至图1C、图2)的实例。如所示，HHC350具有回旋镖的形状，HHC352具有麦克风的形状，且HHC354具有方向盘的形状。此外，HHC356是用户108戴在他/她手上的手套，HHC358是用户108穿在他/她上半身上的夹克、上衣、衬衫等，且HHC360是用户108穿在他/她下半身上的裤子。

每个HHC350、352、354、356、358和360包括一个或多个反馈机构，例如，传感器、机械压缩器、机械增重器、机械减重器、机械解压缩器、振动机构、触觉反馈机构、加热器、冷却器、电震器(electrical shocker)等，其用于在玩通过执行游戏程序117(图1A至图1C、图2)所显示的游戏期间向用户108提供反馈。

在各种实施方案中，用户108除了戴着HMD104之外还将HHC356戴在他/她手上，并且在玩通过执行游戏程序117所显示的游戏期间抚摸虚拟的狗。触觉反馈机构向用户108提供触觉反馈，以便允许用户108感觉就好像用户108在抚摸真实的狗一样。当用户108举起虚拟的狗时，增重器用来允许用户108感觉就好像用户108在举起真实的狗一样。

在一些实施方案中，用户108除了戴着HMD104之外还穿着HHC358，并且在虚拟海洋中进行虚拟水肺潜水。机械增重器增加应用到用户108的重量，以便允许用户108感觉就好像用户108在真实的海洋中进行水肺潜水一样且感觉到用户108上方的水的重量。类似地，随着用户108接近海洋的表面，机械减重器减少应用在用户108身上的重量。

在一些实施方案中，每个HHC350、352、354、356、358和360包括一个或多个固定的参考对象(上文提供其实施例)，用来确定HHC的定位和运动。

在各种实施方案中，HHC106具有任何形状，例如，矩形、圆形、卵形、多边形、曲线形、螺旋形等。

图7A是HMD370的实施方案的图。HMD370是HMD250(图3)的实例。HMD370包括带子372和374，当用户108戴上HMD370时，所述带子在用户108(图1A至图1C、图2)的头后面。此外，HMD370包括耳机376A和376B(例如，扬声器等)，其发出与通过执行游戏程序117(图1A至图1C)来玩的游戏相关联的声音。HMD370包括透镜378A和378B，其允许用户108看到通过执行游戏程序117(图1A至图1C)来玩并且是显示在显示屏266(图3)上的游戏。凹槽380搁在用户108的鼻子上，以便将HMD370支撑在鼻子上。

在一些实施方案中，用户108戴上HMD370的方式与用户108戴上太阳镜、眼镜或阅读用眼镜的方式类似。

图7B是HMD400的实施方案的等距视图，HMD400是HMD250(图3)的实例。在一些实施方案中，HMD400是Sony Computer Entertainment America LLC研究与开发的产品。HMD400包括头部支撑架402。HMD400进一步包括标记，例如：LED404A和404B，红外光发射器406A、406B、406C、406D、406E、406F、406G和406H。红外光发射器的实例包括LED。HMD400包括开启/关闭开关408，其允许开启或关闭HMD400。

所述标记是用来确定HMD400的定位和运动。例如，随着用户108(图1A至图1C、图2)的头部的移动，外部数码摄像机274(图3)所捕获的LED404A和404B的图像的大小发生改变。基于所述大小，计算机172(图3)的处理器或游戏云端102(图1A至图1C、图2)的一个或多个服务器确定HMD400在坐标系统中的定位和运动。

图8是可兼容地与HHC106和HMD104(图1A至图1C、图2)对接的控制台500的实施方案的框图。控制台500可用来执行并呈现游戏程序117的一部分。控制台500可兼容地使HHC106和HMD104(图1A至图1C、图2)与游戏程序117对接。控制台500具备可连接到控制台500的各种外围设备。控制台500具有：单元处理器528、

动态随机存取存储器(XDRAM)单元526、具有专用视频随机存取存储器(VRAM)单元532的现实合成器图形单元530，以及输入/输出(I/O)桥534。控制台500还包括：用于从磁盘540a进行读取的

盘只读存储器(BD-ROM)光盘读取器540，以及可移除的吸入式硬盘驱动器(HDD)536，所述

盘只读存储器(BD-ROM)光盘读取器和可移除的吸入式硬盘驱动器(HDD)可通过I/O桥534存取。任选地，控制台500还包括用于读取压缩闪存卡、

存储卡等的存储卡读卡器538，所述存储卡读卡器类似地可以通过I/O桥534存取。

I/O桥534还连接到通用串行总线(USB)2.0端口524、千兆以太网端口522、IEEE802.11b/g无线网络(Wi-Fi)端口520以及能够支持蓝牙连接的

无线链接端口518。

在操作中，I/O桥534处理全部无线数据、通用串行总线(USB)数据和以太网数据，所述数据包括来自一个或多个游戏控制器502和503的数据和来自HMD505的数据，HMD505是HMD250(图3)的实例。例如，当用户108(图1A至图1C、图2)在玩通过执行游戏程序117(图1A)的一部分所产生的游戏时，I/O桥534通过蓝牙链接从游戏控制器502或503或从HMD505接收输入数据并且将输入数据传递到单元处理器528，所述单元处理器相应地更新游戏的当前状态。每个游戏控制器502和503是HHC106(图1A至图1C、图2)的实例。

无线端口、USB端口和以太网端口还提供用于除游戏控制器502和503以及HMD505之外的其它外围设备的连接性，其它外围设备例如像：遥控器504、键盘506、鼠标508、如

娱乐设备的便携式娱乐设备510、如

视频摄像机的视频摄像机512、麦克风头戴式耳机514，以及麦克风515。因此，这类外围设备原则上可以无线连接到控制台500，例如，便携式娱乐设备510可通过Wi-Fi专用连接来通信，而麦克风头戴式耳机514可通过蓝牙链接来通信。

提供这些接口意味着控制台500潜在地也与其它外围设备兼容，所述其它外围设备如：数字视频录像机(DVR)、机顶盒、数码摄像机、便携式媒体播放器、IP语音电话、移动电话、打印机以及扫描仪。

另外，旧版存储卡读卡器516可通过USB端口524连接到控制台500，从而允许读取控制台500所使用的种类的存储卡548。

游戏控制器502和503以及HMD505可操作来通过蓝牙链接与控制台500无线通信，或连接到USB端口，因此还提供电力，用来对游戏控制器502和503以及HMD505的电池充电。在一些实施方案中，游戏控制器502和503以及HMD505中的每一个还可包括：存储器；处理器；存储卡读卡器；如闪存的永久存储器；如照亮的球形部分、LED或红外灯的光发射器；用于超声波通信的麦克风和扬声器；声学腔；数码摄像机；内部时钟；面向游戏控制台的如球形部分的可辨认形状；使用例如像蓝牙、Wi-Fi等协议的无线通信。

游戏控制器502设计成由用户108的两只手来使用，且游戏控制器503是带有附件的单手控制器。HMD505设计成装配在用户108的头顶上和/或眼睛前方。除了一个或多个模拟操纵杆和常规控制按钮之外，每个游戏控制器502和503也可以接受数位位置确定。类似地，HMD505可以接受数位位置确定。因此，除了常规按钮或操纵杆命令之外或代替常规按钮或操纵杆命令，可将游戏控制器502和503以及HMD505的用户108的示意动作和移动转化为游戏的输入。任选地，如Playstation^TM便携式设备的其它带无线功能的外围设备可用作控制器。在Playstation^TM便携式设备的情况下，可在设备的显示屏上提供其它的游戏或控制信息(例如，控制指令或生命数)。还可以使用其它替代或补充控制设备，所述控制设备如：跳舞毯(未示出)；光枪(未示出)；以及方向盘与踏板(未示出)或定制的控制器，所述定制的控制器如用于快速响应问答比赛的单个或多个大型按钮(也未示出)。

遥控器504也可操作来通过蓝牙链接与控制台500无线通信。遥控器504包括适合于Blu Ray^TM光盘BD-ROM读取器540的操作并且适合于导览光盘内容的控制件。

除了常规预先录制的且可录制的CD和所谓的超音频CD之外，Blu Ray^TM光盘BD-ROM读取器540还可操作来读取与控制台500兼容的CD-ROM。除了常规预先录制的且可录制的DVD之外，读取器540还可操作来读取与控制台500兼容的数字视频光盘ROM(DVD-ROM)。读取器540进一步可操作来读取与控制台500兼容的BD-ROM以及常规预先录制的且可录制的Blu-Ray光盘。

控制台500可操作来通过音频连接器550和视频连接器552将通过现实合成器图形单元530所产生或解码的音频和视频供应给显示和声音输出设备542，如具有显示屏544和一个或多个扬声器546的监视器或电视机。音频连接器550可包括常规的模拟和数字输出，而视频连接器552可不同地包括分量视频、S视频、复合视频和一个或多个高清晰度多媒体接口(HDMI)输出。因此，视频输出可以是如PAL或NTSC的格式，或是520p、1080i或1080p的高清晰度。

音频处理(产生、解码等)是由单元处理器528执行。控制台500的操作系统支持

5.1环绕立体声、

剧场环绕(DTS)，以及对来自

光盘的7.1环绕立体声的解码。

在一些实施方案中，视频摄像机(例如视频摄像机512等)包括单个电荷耦合设备(CCD)、LED指示器以及基于硬件的实时数据压缩和编码装置，以便可用适当格式(如基于图像内的MPEG(运动图片专家组)标准)传输压缩后的视频数据，以便由控制台500解码。视频摄像机512的LED指示器被布置成响应来自控制台500的适当控制数据进行照明，以便例如表明不利的照明条件。视频摄像机512的实施方案可通过USB、蓝牙或Wi-Fi通信端口不同地连接到控制台500。视频摄像机的实施方案可包括一个或多个相关联的麦克风且还能够传输音频数据。在视频摄像机的实施方案中，CCD可具有适合于高清晰度视频捕获的分辨率。在使用中，视频摄像机所捕获的图像可例如并入游戏内或解释为游戏控制输入。在另一个实施方案中，视频摄像机是适合于检测红外光的红外摄像机。

在各种实施方案中，为了通过控制台500的通信端口中的一个与例如像视频摄像机或遥控器的外围设备进行成功的数据通信，提供一段软件，如设备驱动程序。

在一些实施方案中，上述系统设备(包括控制台设备、便携式HHC和便携式HMD)允许HHC和便携式HMD显示并捕获游戏程序117(图1A至图1C)的交互式会话的视频。控制台设备开始游戏程序117的交互式会话，所述交互式会话定义用户108与游戏程序117之间的交互性。系统设备确定用户108(图1A至图1C、图2)所操作的HHC和/或HMD的初始定位和定向。控制台设备基于用户108与游戏程序117之间的交互性来确定游戏程序117的当前状态。系统设备在用户108与游戏程序117的交互式会话期间追踪HHC和/或HMD的定位和定向。系统设备基于游戏程序117的当前状态以及HHC和/或HMD的所追踪定位和定向来产生交互式会话的分离器视频串流。在一些实施方案中，HHC在HHC的显示屏上呈现分离器视频串流。在各种实施方案中，HMD在HMD的显示屏上呈现分离器视频串流。

图9是根据本公开中描述的各种实施方案的游戏系统600的框图。在一些实施方案中，游戏系统600是云端游戏系统，其中在由虚拟机监控程序在资源与VM之间建立关系之后，使用一个或多个资源(例如，服务器、存储设备等)来执行VM(例如，操作系统、软件应用程序等)。游戏系统600用来通过网络615向一个或多个客户端610提供视频串流，网络615是网络110(图1A至图1C、图2)的实例。游戏系统600包括视频服务器系统620和任选的游戏服务器625。视频服务器系统620用来以一定的服务质量向一个或多个客户端610提供视频串流。例如，视频服务器系统620可接收改变视频游戏(例如，通过执行游戏程序116(图1A至图1C)来玩的游戏等)的状态或所述视频游戏内的视角的游戏命令，并且以最小的滞后时间给客户端610提供反映这种状态变化的更新后的视频串流。视频服务器系统620可用来以多种替代视频格式(包括还未定义的格式)提供视频串流。此外，视频串流可包括用于以多种帧速率呈现给用户108(图1A至图1C、图2)的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒620帧。但是本公开中描述的各种实施方案中包括更高或更低的帧速率。

客户端610(本文中各自被称为610A、610B等)可包括HMD104(图1A至图1C、图2)、HHC104(图1A至图1C、图2)终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、无线设备、数字板、独立设备和/或类似设备。客户端610用来接收已编码视频串流，对视频串流进行解码，并且将所得的视频呈现给用户108(例如游戏玩家)。接收已编码视频串流和/或对视频串流进行解码的过程包括将各个视频帧存储在客户端的接收缓冲器中。可以在与客户端610成一体的显示器上或在如监视器或电视的单独设备上将视频串流呈现给用户108。

客户端610任选地用来支持一个以上的游戏玩家。例如，游戏控制台可用来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可接收单独的视频串流，或单个视频串流可包括特别针对每个玩家所产生(例如，基于每个玩家的视角所产生)的帧的多个区。

客户端610任选地在地理上分散开。游戏系统600中所包括的客户端的数目可从一个或两个广泛变化到几千个、几万个或更多个。如本文中所使用，术语“游戏玩家”是用来指玩游戏的人，且术语“玩游戏的设备”是用来指用来玩游戏(例如，通过执行游戏程序116(图1A至图1C)来玩的游戏等)的设备。在一些实施方案中，玩游戏的设备可以指多个计算设备，其进行合作来向用户108传达游戏体验。例如，游戏控制台和HMD104(图1A至图1C、图2)可与视频服务器系统620合作来传达通过HMD104看到的游戏。在一个实施方案中，游戏控制台从视频服务器系统620接收视频串流，且游戏控制台将视频串流或对视频串流的更新转发给HMD104以便呈现。

客户端610用来通过网络615接收视频串流。网络615可以是任何类型的通信网络，其包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、私有网络和/或类似网络。在一些实施方案中，通过如TCP/IP或UDP/IP的标准协议来传达视频串流。在许多实施方案中，通过专有标准来传达视频串流。

客户端610中的一个的典型实例是个人计算机，所述个人计算机包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力以及一个或多个输入设备。解码逻辑可包括硬件、固件和/或存储在非暂时性计算机可读介质上的软件。

客户端610可以(但不需要)进一步包括用于修改接收到的视频的系统。例如，客户端可用来：执行进一步呈现，将一个视频图像叠加在另一个视频图像上，修剪视频图像，和/或类似者。作为另一个实施例，客户端610可用来接收各种类型的视频帧，如帧内编码图片(I帧)、预测帧(P帧)和双向预测图片帧(B帧)，并且将这些帧处理成图像以便向用户108显示游戏，例如，通过执行游戏程序116(图1A至图1C)来玩的游戏等。在一些实施方案中，客户端610的部件用来对视频串流执行进一步呈现、阴影处理、转换成3-D或类似操作。客户端610的部件任选地用来接收一个以上的音频或视频串流。

客户端610的输入设备可包括：例如，单手游戏控制器、双手游戏控制器、示意动作识别系统、注视识别系统、语音识别系统、键盘、操纵杆、指向设备、力反馈设备、运动和/或位置传感设备、鼠标、触摸屏、神经接口、摄像机、还未开发出的输入设备，和/或类似设备。

客户端610所接收的视频串流和任选的音频串流是由视频服务器系统620产生并提供的。这个视频串流包括视频帧，且音频串流包括音频帧。在适当数据结构中包括像素信息的视频帧在很大程度上构成向用户108显示的图像。如本文中所使用，术语“视频帧”是用来指主要包括如下信息的帧，这个信息是用来构成(例如，实现等)用户108所玩的游戏(例如，通过执行游戏程序116(图1A至图1C)来玩的游戏等)的图像。本文中关于“视频帧”的大部分教义也可以适用于“音频帧”。

在各种实施方案中，客户端610用来从用户108接收输入。这些输入可包括用来改变视频游戏(例如，通过执行游戏程序116(图1A至图1C)来玩的游戏等)的状态或以其它方式影响玩游戏的游戏命令。可使用输入设备(例如，用户输入电路262(图4)等)接收游戏命令，且/或可由在客户端610上执行的计算指令自动产生游戏命令。将接收到的游戏命令通过网络615从客户端610传达到视频服务器系统620和/或游戏服务器625。例如，将游戏命令通过视频服务器系统620传达到游戏服务器625。

在一些实施方案中，将游戏命令的单独拷贝从客户端610传达到游戏服务器625和视频服务器系统620。

游戏命令的传达任选地取决于命令的身份。通过用来向客户端610A提供音频或视频串流的不同路线或通信信道，从客户端610A任选地传达游戏命令。

游戏服务器625任选地由不同于视频服务器系统620的实体来操作。例如，游戏服务器625可由游戏发行商来操作。在这个实施例中，视频服务器系统620任选地被游戏服务器625视为客户端，且任选地用来(从游戏服务器625的角度看)表现为执行游戏引擎的客户端。视频服务器系统620与游戏服务器625之间的通信任选地通过网络615发生。因此，游戏服务器625可以是向多个客户端发送游戏状态信息的多玩家游戏服务器，所述客户端中的一个是视频服务器系统620。

视频服务器系统620可用来同时与游戏服务器625的多个实例通信。例如，视频服务器系统620可用来向不同用户提供多个不同视频游戏。这些不同视频游戏中的每一个可由不同游戏服务器625支持且/或由不同实体发行。

在一些实施方案中，视频服务器系统620的一些地理上分布式实例用来向多个不同用户提供游戏视频。视频服务器系统620的这些实例中的每一个可与游戏服务器625的相同实例通信。

视频服务器系统620与游戏服务器625之间的通信任选地通过专用通信信道发生。例如，视频服务器系统620可通过高带宽信道连接到游戏服务器625，所述高带宽信道专门用于这两个系统之间的通信。

视频服务器系统620至少包括：视频源630、I/O设备645、处理器650，以及存储体655。视频服务器系统620可包括一个计算设备或分布在多个计算设备当中。这些计算设备任选地通过如局域网的通信系统连接起来。

视频源630用来提供视频串流，例如，串流传输视频或形成运动图片的一系列视频帧。在一些实施方案中，视频源630包括视频游戏引擎和呈现逻辑。

视频游戏引擎用来：从玩家接收游戏命令，且基于接收到的命令维持视频游戏(例如，通过执行游戏程序116(图1A至图1C)来玩的游戏等)的状态的拷贝。这个游戏状态包括游戏环境中的对象的定位，以及视角。游戏状态还可以包括对象的性质、图像、颜色和/或纹理。基于游戏规则以及游戏命令(如，移动、转动、攻击、设置焦点、互动、使用和/或类似命令)来维持游戏状态。游戏引擎的部分任选地放置在游戏服务器625内。游戏服务器625可基于使用地理上分散开的客户端从多个玩家接收到的游戏命令来维持游戏状态的拷贝。在这些情况下，游戏服务器625将游戏状态提供给视频源630，在视频源630中存储游戏状态的拷贝并且执行呈现。游戏服务器625可通过网络615从客户端610接收游戏命令，且/或可通过视频服务器系统620接收游戏命令。

视频源630包括呈现逻辑，例如，硬件、固件和/或存储在非暂时性计算机可读介质(如存储体655)上的软件。这个呈现逻辑用来基于游戏状态创建视频串流的视频帧。呈现逻辑的全部或部分任选地放置在GPU内。呈现逻辑包括用于确定多个对象之间的三维空间关系且/或用于例如基于游戏状态和视角来应用适当的纹理等的处理阶段。呈现逻辑产生原始视频，然后常常对原始视频进行编码，然后传达给客户端610。例如，可根据

标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.、Xvid.、FFmpeg、x264、VP6-8、realvideo、mp3或类似标准对原始视频进行编码。编码过程产生视频串流，任选地将所述视频串流打包以便传达到远程设备上的解码器。

视频串流是由帧大小和帧速率来表征。典型的帧大小包括800x600、1280x720(例如720p)、1024x768，但是可使用任何其它帧大小。帧速率是每秒的视频帧数。视频串流可包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用来刷新显示设备上的全部宏块/像素的信息，而P帧包括用来刷新所述宏块/像素的子集的信息。P帧的数据大小小于I帧。如本文中所使用，术语“帧大小”打算指帧内的像素数。术语“帧数据大小”是用来指存储所述帧所需的字节数。

在一些实施方案中，视频源630包括如摄像机的视频录制设备。这个摄像机可用来产生可以包括在计算机游戏的视频串流中的延迟视频或实况视频。所得的视频串流任选地包括所呈现的图像与使用静态摄像机或视频摄像机录制的图像。视频源630还可以包括用来存储将要包括在视频串流中的先前录制视频的存储设备。视频源630还可以包括：用来检测HMD104、HHC106或用户108(图1A至图1C、图2)的运动或定位的运动或定位传感设备；以及用来基于所检测运动和/或定位来确定游戏状态或产生视频的逻辑。

视频源630任选地用来提供用来放在其它视频上的叠加。例如，这些叠加可包括命令界面、登入指令、发给游戏玩家的消息、其它游戏玩家的图像、其它游戏玩家的视频馈送(例如网络摄像头视频)。在客户端610A包括触摸屏界面或注视检测界面的一些实施方案中，所述叠加可包括虚拟的键盘、操纵杆、触摸板和/或类似物。在叠加的一个实施例中，将玩家的语音叠加在音频串流上。视频源630任选地进一步包括一个或多个音频源。

在使用视频服务器系统620基于来自一个以上的玩家的输入来维持游戏状态的实施方案中，每个玩家可以有不同视角，视角包括定位和观看方向。视频源630任选地用来基于玩家的视角给每个玩家提供单独的视频串流。此外，视频源630可用来向客户端610中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源630任选地用来提供3-D视频。

I/O设备645是用于视频服务器系统620，用来发送和/或接收信息，所述信息如：视频、命令、对信息的请求、游戏状态、注视信息、设备运动、设备位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频和/或类似信息。I/O设备645包括如网络接口卡或调制解调器的通信硬件。I/O设备645用来与游戏服务器625、网络615和/或客户端610通信。

处理器650用来执行本文中讨论的视频服务器系统620的各种部件内所包括的逻辑，例如软件。例如，处理器650可编程有软件指令，以便执行视频源630、游戏服务器625和/或客户端限定器660的功能。视频服务器系统620任选地包括处理器650的一个以上的实例。处理器650还可以编程有软件指令，以便执行视频服务器系统620所接收的命令或协调本文中讨论的游戏系统600的各种元件的操作。处理器650可包括一个或多个硬件设备。处理器650是电子处理器。

存储体655包括非暂时性模拟和/或数字存储设备。例如，存储体655可包括用来存储视频帧的模拟存储设备。存储体655可包括非暂时性计算机可读数字存储体，例如，硬盘驱动器、光盘驱动器或固态存储体。存储体615(例如由适当的数据结构或文件系统)用来存储视频帧、人工帧、包括视频帧与人工帧的视频串流、音频帧、音频串流和/或类似物。存储体655任选地分布在多个设备当中。在一些实施方案中，存储体655用来存储本文中其它地方所讨论的视频源630的软件部件。这些部件可以按需要时随时可以供应的格式来存储。

视频服务器系统620任选地进一步包括客户端限定器660。客户端限定器660用于远程确定如客户端610A或610B的客户端的能力。这些能力可包括客户端610A本身的能力与介于客户端610A与视频服务器系统620之间的一个或多个通信信道的能力。例如，客户端限定器660可用来测试通过网络615的通信信道。

客户端限定器660可手动或自动地确定(例如发现)客户端610A的能力。手动确定包括：与客户端610A的用户108通信，以及要求用户108提供能力。例如，在一些实施方案中，客户端限定器660用来在客户端610A的web浏览器上显示图像、文字和/或类似物。在一些实施方案中，客户端610A是包括web浏览器的HMD，例如HMD104等。在另一个实施方案中，客户端610A是具有web浏览器的游戏控制台，所述web浏览器可显示在HMD上。所显示的对象请求用户108输入客户端610A的信息，如操作系统、处理器、视频解码器类型、网络连接类型、显示器分辨率等。向客户端限定器660传达回用户108所输入的信息。

自动确定可例如通过在客户端610A上执行代理程序和/或通过向客户端610A发送测试视频来进行。代理程序可包括嵌入网页中或安装为加载项的计算指令，如java脚本。代理程序任选地由客户端限定器660提供。在各种实施方案中，代理程序可发现：客户端610A的处理能力、客户端610A的解码和显示能力、客户端610A与视频服务器系统620之间的通信信道的滞后时间可靠性和带宽、客户端610A的显示器类型、客户端610A的上存在的防火墙、客户端610A的硬件、在客户端610A的上执行软件、客户端610A内的注册表项和/或类似物。

客户端限定器660包括硬件、固件和/或存储在非暂时性计算机可读介质上的软件。客户端限定器660任选地放置在与视频服务器系统620的一个或多个其它元件分开的计算设备上。例如，在一些实施方案中，客户端限定器660用来确定客户端610与视频服务器系统620的一个以上的实例之间的通信信道的特性。在这些实施方案中，客户端限定器所发现的信息可用来确定视频服务器系统620的哪个实例最适合于向客户端610中的一个传达串流传输视频。

在一些实施方案中，媒体数据包括现实世界环境数据、虚拟世界环境数据或其组合。现实世界环境数据包括由现实世界环境的一个或多个图像产生的数据，现实世界环境例如：真实的汽车、真实的人、真实的地理位置、真实的结构、真实的房屋、真实的树、真实的对象、真实的生物、真实的非生物等。现实世界环境数据是在摄像机捕获现实世界环境的图像时由摄像机(例如，视频摄像机、音频摄像机等)产生的。虚拟世界环境数据是由计算机(例如，执行游戏程序117的处理器等)产生的数据。

在许多实施方案中，一个或多个用户(例如，用户108、另一个用户等)可与虚拟世界互动。如本文中所使用，术语虚拟世界意味着虚构(例如，虚拟的、计算机产生的等)环境的表示，所述环境具有由一个或多个处理器模拟的互动规则，真实的用户可通过一个或多个显示屏感知这个环境和/或可以通过一个或多个用户界面设备与这个环境互动。如本文中所使用，术语用户界面设备是指用户108可用来向虚拟世界发送输入或从虚拟世界接收输出的真实设备，例如，HMD104、HHC106(图1A至图1C、图2)等。虚拟世界可由一个或多个处理器模块(例如，游戏云端102(图1A至图1C、图2)的一个或多个服务器、微控制器268(图3)、处理器176(图1C)等)来模拟。一个或多个处理器模块可通过网络110(图1A至图1C、图2)链接在一起。用户108可通过用户界面设备与虚拟世界互动，所述用户界面设备可通过网络110与所述处理器模块和其它用户界面设备通信。虚拟世界的某些方面可在图形显示屏上以图形形式呈现给用户108，所述图形显示屏例如像：计算机监视器、电视监视器、显示屏266、HHC106的显示屏，或类似的显示器。虚拟世界的某些其它方面可在扬声器(例如，扬声器260(图3)等)上以可以听见的形式呈现给用户，所述扬声器可与图形显示器相关联。

在虚拟世界内，用户可由虚拟形象来表示。虚拟世界内的每个虚拟形象可以唯独与一个不同用户相关联。用户108的名字或假名可以显示在虚拟形象旁边，以便另一个用户可容易辨识用户108。用户108与虚拟世界的互动可由虚拟形象的一个或多个对应动作来表示。例如，当用户108执行头部动作时，虚拟形象执行相同的头部动作。作为另一个实施例，当用户108执行手部动作时，虚拟形象在虚拟世界中执行相同的手部动作。不同用户可以通过其虚拟形象在虚拟公共空间(例如，虚拟地理区等)中彼此互动。表示用户108的虚拟形象可以具有与人、动物或物体的外观类似的外观。呈人的形式的虚拟形象可以具有与用户108相同的性别或具有不同性别。虚拟形象可以展示在显示屏(例如，显示屏266(图3)、显示屏544(图8)、HHC106(图1A至图1C)的显示屏、计算机172(图1C)的显示屏等)上，以便用户108可以看见虚拟形象与虚拟世界中的其它对象。

在各种实施方案中，显示屏(例如，显示屏266(图3)、显示屏544(图8)、HHC106(图1A至图1C)的显示屏、计算机172(图1C)的显示屏等)可以从虚拟形象的视角来展示虚拟世界，而不展示虚拟形象。虚拟世界上的虚拟形象的视角可被认为是虚拟摄像机的视野。如本文中所使用，虚拟摄像机是指虚拟世界内的视角，其可以用来呈现虚拟世界内的三维场景的二维图像。用户可通过与每个大厅相关联的聊天信道来通过其虚拟形象彼此互动。用户可通过其用户界面输入文字，以便与其它用户聊天。所述文字随后可出现在用户的虚拟形象上面或旁边，例如，呈漫画书式对话泡(有时称为聊天泡)的形式。通过使用录音短语聊天系统(有时称为快速聊天)，可有助于这种聊天。在快速聊天的情况下，用户108可以从菜单选择一个或多个聊天短语。

在一些实施方案中，公共空间在如下意义上是公共的：公共空间不是唯独与任何特定的用户或用户群相关联，且没有用户或用户群可以将另一个用户从公共空间排除出去。相比之下，私有空间域多个用户中的特定用户相关联。私有空间在如下意义上是私有的：与私有空间相关联的特定用户可以限制其它用户进入所述私有空间。私有空间可呈现出常见的私有房地产的外观。在其它实施方案中，用户不需要控制在显示屏(例如，显示屏266(图3)、显示屏544(图8)、HHC106(图1A至图1C)的显示屏、计算机172(图1C)的显示屏等)上看见的虚拟形象。虚拟空间中所展示的虚拟形象可以是由机器(例如，处理器等)控制的机器人(bot)。虚拟形象机器人因此可以在虚拟空间中到处移动，其移动方式与由用户108控制的虚拟形象类似，但是现实世界用户并不实际上控制虚拟形象机器人。虚拟形象机器人可以许多方式在空间中漫游，完成动作，发布消息，对某些消息分配权限，与其他虚拟形象机器人或由现实世界用户控制的虚拟形象互动等。更进一步，机器人可以设置成以已定义的方式互动，修改环境，发布公告，发布消息，建立虚拟空间、虚拟建筑物，或构造虚拟对象、对象的图形表示，交换真实的或虚拟的钱币等。

本公开中描述的实施方案可以通过各种计算机系统配置来实践，所述计算机系统配置包括手持式设备、微处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机、大型计算机和类似物。本公开中描述的一些实施方案还可以在分布式计算环境下实践，其中由通过有线或无线网络加以链接的远程处理设备执行任务。

考虑到以上实施方案，应理解的是，本公开中描述的许多实施方案可采用各种计算机实行的操作，这些操作涉及存储在计算机系统中的数据。这些操作是需要对物理量进行物理操作的操作。本公开中描述的任何操作都是有用的机器操作，所述操作形成本公开中描述的各种实施方案的部分。本公开中描述的一些实施方案还涉及用于执行这些操作的设备或装置。所述装置可出于所需目的专门构造而成，或所述装置可以是由存储在计算机中的计算机程序选择性地激活或配置的计算机。具体来说，各种机器可与根据本文中的教义编写的计算机程序一起使用，或者可能更方便的是，构造更专用的装置来执行所需操作。

本公开中描述的各种实施方案还可以体现为非暂时性计算机可读介质上的计算机可读代码。非暂时性计算机可读介质是可以存储数据的任何数据存储设备，例如RAM、ROM、闪存、磁盘等，然后可由计算机系统对其进行读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储器(NAS)、ROM、RAM、ROM光盘(CD-ROM)、可录制CD(CD-R)、可重写CD(RW)、磁带以及其它光学和非光学数据存储设备。计算机可读介质可以包括分布在网络耦合式计算机系统上的计算机可读有形介质，以使得计算机可读代码是以分布式方式存储和执行。

虽然以特定顺序描述了方法操作，但应理解的是，可在操作之间执行其它内务操作，或可调整操作以使得它们在略微不同的时间发生，或操作可分布在系统中，所述系统允许以与处理相关联的各种时间间隔发生处理操作，或者可以不同顺序执行操作，只要叠加操作的处理以所需方式执行即可。

虽然为了清楚理解的目的而略微详细地描述了前述实施方案，但很显然，可以在所附权利要求的范围内做出某些变化和修改。因此，本发明的实施方案应被认为是说明性的而非限制性的，并且本公开中描述的各种实施方案不限于本文中给出的细节，而可以在所附权利要求的范围和等效范围内进行修改。

Claims

1.一种用于通过游戏云端系统玩游戏的头戴式显示器，所述头戴式显示器包括：

用户输入电路，其用于检测用户的动作来产生输入，所述输入包括由所述用户输入电路检测到的定位和运动；

第一通信电路，其用于通过网络接收与游戏程序相关联的交互式媒体的串流，所述游戏程序在所述游戏云端系统中执行，所述交互式媒体由使用所述输入的所述游戏云端系统加以处理，其中经由连接到所述网络的路由器，所述交互式媒体被串流传输到所述头戴式显示器的所述第一通信电路，其中通过绕过与所述头戴式显示器分离并且配置为经由路由器与所述网络通信的计算机，经由所述路由器所述交互式媒体被串流传输到所述第一通信电路；

解码器，其用于对经由所述路由器从所述网络接收到的所述交互式媒体进行解码，其中处理已解码交互式媒体以在所述头戴式显示器的显示屏上显示所述游戏的图像；以及

所述头戴式显示器的第二通信电路，其耦合到所述头戴式显示器的所述第一通信电路，其中所述头戴式显示器的所述第二通信电路配置为从手持式控制器的通信电路接收控制器输入，其中所述控制器输入由所述手持式控制器生成，其中所述头戴式显示器的所述第一通信电路配置为通过绕过所述计算机，从所述头戴式显示器的所述第二通信电路接收所述控制器输入，并且经由所述路由器和所述网络发送所述控制器输入到所述游戏云系统，

其中所述头戴式显示器配置为由所述用户的头部穿戴，并且所述手持式控制器配置为由所述用户的手部手持。

2.如权利要求1所述的头戴式显示器，还包括微控制器，用于从所述已解码交互式媒体呈现所述图像。

3.如权利要求1所述的头戴式显示器，其进一步包括用于基于所述已解码交互式媒体或基于所述输入产生声音的音频电路。

4.如权利要求1所述的头戴式显示器，其中所述用户输入电路包括用于确定所述定位和运动的惯性传感器电路。

5.如权利要求4所述的头戴式显示器，其中所述惯性传感器电路包括陀螺仪、磁力计、加速计或其组合。

6.如权利要求1所述的头戴式显示器，其进一步包括通信电路以便于通过配对在局部用户之间进行对等型多信道通信。

7.如权利要求1所述的头戴式显示器，其中所述第一通信电路用于通过所述网路在用户之间进行远程交互式多用户玩游戏。

8.如权利要求1所述的头戴式显示器，其中所述第一通信电路和所述用户输入电路集成在一个或多个单独的电路芯片中。

9.如权利要求1所述的头戴式显示器，还包括：

用于缓冲所述串流的缓冲器；以及

用于从所述已解码交互式媒体呈现所述图像的微处理器。

10.如权利要求1所述的头戴式显示器，其中所述输入从所述用户的语音产生。

11.如权利要求1所述的头戴式显示器，其中所述头戴式显示器与手持式控制器一起使用，所述手持式控制器直接与所述游戏云端系统通信。

12.如权利要求1所述的头戴式显示器，其中所述头戴式显示器与所述手持式控制器一起使用，其中在单个虚拟场景中表示所述头戴式显示器的所述定位和运动以及所述手持式控制器的定位和运动。

13.如权利要求1所述的头戴式显示器，其中所述手持式控制器配置为与游戏控制台通信。

14.如权利要求1所述的头戴式显示器，其中所述头戴式显示器与所述手持式控制器通信。

15.如权利要求1所述的头戴式显示器，其中所述第一通信电路将所述输入传达到所述游戏云端系统。

16.如权利要求1所述的头戴式显示器，还包括：

内部摄像机，其配置为捕获所述用户的注视来产生所述注视的图像；以及

微控制器，其配置为应用所述图像内的所述注视，将所述图像的显示分成所述显示屏上的高分辨率区域和所述显示屏上的低分辨率区域。

17.如权利要求16所述的头戴式显示器，其中所述高分辨率区域是所述图像内所述注视的方向，并且所述低分辨率区域是所述高分辨率区域外围。

18.一种用于通过游戏云端系统玩游戏的方法，所述方法包括：

接收包括由头戴式显示器检测到的定位和运动的输入；

通过绕过与所述头戴式显示器分离并且配置为经由路由器与所述网络通信的计算机，通过所述头戴式显示器的第一通信电路，经由所述路由器和所述网络接收与游戏程序相关联的交互式媒体的串流，所述交互式媒体由使用所述输入的所述游戏云端系统加以处理，其中所述接收所述串流由所述头戴式显示器来执行；

由所述解码器对通过所述路由器从所述网络接收到的所述交互式媒体进行解码；

从被解码的所述交互式媒体呈现游戏的图像，以在所述头戴式显示器的显示屏上显示图像；

通过所述头戴式显示器的第二通信电路，从手持式控制器的通信电路接收控制器输入，其中所述第二通信电路耦合到所述第一通信电路；

通过所述头戴式显示器的所述第一通信电路，从所述头戴式显示器的所述第二通信电路接收所述控制器输入；并且

通过所述头戴式显示器的所述第一通信电路，通过绕过所述计算机，经由所述路由器和所述网络发送所述控制器输入到所述游戏云系统，

其中所述头戴式显示器配置为由用户的头部穿戴，并且所述手持式控制器配置为由所述用户的手部手持。

19.如权利要求18所述的方法，还包括：

捕获所述用户的注视来产生所述注视的图像；

应用所述图像内的所述注视，将所述图像的显示分成所述显示屏上的高分辨率区域和所述显示屏上的低分辨率区域。

20.如权利要求19所述的方法，其中所述高分辨率区域是所述图像内所述注视的方向，并且所述低分辨率区域是所述高分辨率区域外围。

21.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上存储有用于通过游戏云端系统玩游戏的计算机可执行指令，所述计算机可执行指令在由计算机的处理器执行时，执行以下操作：

接收包括由头戴式显示器检测到的定位和运动的输入；

通过绕过与所述头戴式显示器分离并且配置为经由路由器与所述网络通信的计算机，通过所述头戴式显示器的所述第一通信电路，接收与游戏程序相关联的交互式媒体的串流，所述交互式媒体由使用所述输入的所述游戏云端系统加以处理，其中所述接收所述串流由所述头戴式显示器来执行；

通过所述第二通信电路，通过绕过所述计算机，经由所述路由器和所述网络发送所述控制器输入到所述游戏云系统，

22.如权利要求21所述的非暂时性计算机可读介质，所述计算机可执行指令在由计算机的处理器执行时，执行以下操作：

捕获所述用户的注视来产生所述注视的图像；

23.如权利要求22所述的非暂时性计算机可读介质，其中所述高分辨率区域是所述图像内所述注视的方向，并且所述低分辨率区域是所述高分辨率区域外围。