CN105359063A

CN105359063A - 利用追踪的头戴式显示器

Info

Publication number: CN105359063A
Application number: CN201480038692.7A
Authority: CN
Inventors: A.米克海洛夫; X.毛
Original assignee: Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2013-06-09
Filing date: 2014-06-04
Publication date: 2016-02-24
Anticipated expiration: 2034-06-04
Also published as: EP3008549B1; US10525335B2; TWI555561B; JP2017152010A; TW201511803A; US9630098B2; EP3008549A2; JP2016527601A; US10987574B2; WO2014200779A3; CN105359063B; US20210245041A1; JP6313432B2; US11504609B2; US20140361956A1; WO2014200779A2; US20140364215A1; US20200139227A1; US10173129B2; US20160129346A1

Abstract

提供一种头戴式显示器和一种用于使用所述头戴式显示器的方法。在一个实例中，所述头戴式显示器包括头部附接部分和耦合到所述头部附接部分的观察模块。所述观察模块包括内部部分和外部壳体，所述内部部分具有进入配置用于渲染图像内容的屏幕中的观察窗。还包括多个照明元件，所述多个照明元件与所述观察模块的所述外部壳体整合在一起。所述多个照明元件被限定用于所述头戴式显示器的图像追踪。提供照明逻辑用于在使用所述头戴式显示器期间将所述多个照明元件控制为活动的或不活动的。还提供用于在游戏中使用所述头戴式显示器、追踪所述头戴式显示器并且向所述头戴式显示器提供数据、以及使用所述头戴式显示器通过控制器或用户的手部或两者来与内容进行交互的方法。

Description

利用追踪的头戴式显示器

背景

1.发明领域

本发明涉及用于使用头戴式显示器(HMD)和控制器、以及HMD装置单元的游戏玩法的方法和系统。

2.相关技术的描述

视频游戏行业这些年已经发生了许多变化。随着计算能力的扩展，视频游戏的开发者同样已经创建了利用这些增加的计算能力的游戏软件。为此目的，视频游戏开发者一直在编码并入有复杂操作和数学运算的游戏，以产生非常逼真的游戏体验。然而，使用HMD设备的游戏仍然需要许多改进。

正是在这种情况下，本发明的实施方案应运而生。

概述

本发明的实施方案提供用于在头戴式显示器(HMD)上渲染游戏的方法和系统。在一些实施方案中，游戏玩法可与用户所使用的控制器相关或用所述控制器进行。所述方法限定追踪HMD和控制器以及提供沉浸式交互性的方式。所追踪的HMD和控制器能够在三维空间内实现相关的交互式玩法。应理解的是，本发明可以多种方式来实行，如程序、装置、系统、设备或计算机可读介质上的方法。以下描述本发明的若干发明性实施方案。

公开了一种头戴式显示器，其包括头部附接部分。还包括观察模块，所述观察模块联接到头部附接部分。所述观察模块包括内部部分和外部壳体，所述内部内部具有进入配置用于渲染图像内容的屏幕中的观察窗。还包括多个照明元件，所述多个照明元件与观察模块的外部壳体整合在一起。多个照明元件被限定用于头戴式显示器的图像追踪，并且照明逻辑用于将多个照明元件控制为活动的或不活动的。

在一些实施方案中，由通信模块交换的数据包括输入数据、图像数据、音频数据、和惯性数据。

在一些实施方案中，多个照明元件被限定为发光二极管(LED)或红外(IR)发射器。

在一些实施方案中，LED被限定来照明一种或多种颜色，所述一种或多种颜色的照明是由照明逻辑控制。

在一些实施方案中，多个照明元件以限定的图案布置在外部壳体上。

在一些实施方案中，外部壳体具有部分弯曲形状，并且多个照明元件以围绕所述部分弯曲形状的图案布置。

在一些实施方案中，外部壳体具有多个表面区域，并且多个照明元件以围绕所述多个表面区域的图案布置。

在一些实施方案中，其中多个照明元件包括两个或更多个形状或尺寸。

在一些实施方案中，其中多个照明元件中的额外照明元件连接到头部附接部分。

在另一个实施方案中，公开了一种头戴式显示器(HMD)。所述HMD包括用于放置在用户头部上的头部附接部分以及联接到所述头部附接部分并且被配置用于放置在用户的眼睛前方的观察模块。观察模块包括内侧和包围所述内侧的外部壳体，所述内侧具有进入配置用于渲染图像内容的屏幕中的观察窗。所述HMD还包括用于与计算机系统交换数据的通信模块。数据包括输入数据、图像数据、音频数据、和惯性数据(以及可能的其他数据)。所述HMD还包括用于处理图像数据以便在屏幕上渲染图像内容的图像处理模块以及与观察模块的外部壳体整合在一起的多个照明元件。多个照明元件被限定用于通过摄像机实现的头戴式显示器的图像追踪。所述HMD还包括照明逻辑，所述照明逻辑用于在特定时间或在使用期间将多个照明元件中的特定照明元件控制为活动的和/或不活动的。

在一些实施方案中，外部壳体具有面向前部部分、第一侧部分、和第二侧部分。

在一些实施方案中，多个照明元件中的第一个安置在面向前部部分的左侧上，并且多个照明元件中的第二个安置在面向前部部分的右侧上。

在一些实施方案中，多个照明元件中的第一个具有部分安置在面向前部部分和第一侧部分中的两部分形状，并且多个照明元件中的第二个具有部分安置在面向前部部分和第二侧部分中的两部分形状。

在一些实施方案中，通信模块是与计算机有线连接或无线连接的通信模块。

在一些实施方案中，惯性数据是由头戴式显示器响应于在被用户佩戴时检测到的移动生成。

在一些实施方案中，输入数据是由头戴式显示器响应于在被用户佩戴时的用户输入生成。

在一些实施方案中，音频数据和图像数据与待渲染在头戴式显示器处的交互式媒体内容相关联。

在一些实施方案中，交互式媒体内容包括游戏数据、视频数据、互联网导航数据、游戏数据和互联网数据的组合、社交媒体数据、或其组合。

在一些实施方案中，多个照明元件包括两个或更多个形状或尺寸。

在一些实施方案中，多个照明元件中的额外照明元件连接到头部附接部分。

在另一个实施方案中，公开了一种头戴式显示器。所述头戴式显示器包括主体，所述主体包括头部附接部分和观察模块。观察模块包括具有进入配置用于渲染图像内容的屏幕中的观察窗的内部部分，并且主体包括覆盖观察模块的外部壳体。所述头戴式显示器还包括与观察模块的外部壳体整合在一起的多个照明元件。多个照明元件被限定用于头戴式显示器的图像追踪。多个照明元件以适当的图案布置。还包括照明逻辑，所述照明逻辑用于将多个照明元件控制为活动的以便有助于图像追踪。

提供了一种用于执行展示在头戴式显示器(HMD)的屏幕上的游戏的方法。执行在屏幕上渲染游戏的交互式场景。所述方法包括接收由用户佩戴的HMD的数据，以便识别HMD空间位置。所述方法还包括接收由用户握持的控制器的数据，以便识别控制器空间位置。在玩游戏期间，所述方法包括在屏幕上渲染进入游戏的交互式场景中的视角，其中所述视角是在三维中渲染的空间体积。所述方法包括在检测到HMD空间位置改变时调整视角。控制器可以驱动游戏中的交互性，并且控制器位置的变化与HMD位置的变化是相关的以便提供沉浸式三维玩游戏体验。

在一些实施方案中，控制器提供驱动交互性的输入。

在一些实施方案中，控制器空间位置的变化提供额外的输入。

在一些实施方案中，额外的输入包括灯或惯性数据中的一个。

在一些实施方案中，当由摄像机观察时灯提供位置数据，并且灯的颜色提供额外的数据。

在一些实施方案中，颜色基于室内条件指示玩家编号或模式或设置。

在一些实施方案中，控制器在交互式场景中被表示为虚拟对象，所述虚拟对象在交互式场景中渲染在大致映射到控制器空间位置的虚拟空间位置，并且控制器空间位置的变化改变如所屏幕上示出的虚拟对象的虚拟空间位置。

提供了另一种用于执行展示在头戴式显示器(HMD)的屏幕上的游戏的方法。所述方法包括执行游戏，其中所述执行在屏幕上渲染游戏的交互式场景。所述方法包括：接收由用户佩戴的HMD的数据，以便识别HMD空间位置；接收由用户握持的控制器的数据，以便识别控制器空间位置；在屏幕上渲染进入游戏的交互式场景中的视角；以及在检测到HMD空间位置改变时调整所述视角，所述方法由处理器执行。

在一些实施方案中，控制器在交互式场景中被表示为虚拟对象，所述虚拟对象在交互式场景中渲染在映射到控制器空间位置的虚拟空间位置，并且控制器空间位置的变化改变虚拟对象的虚拟空间位置。

在一些实施方案中，交互式场景以三维格式渲染，从而使得在交互式场景中的对象出现在HMD的前方并且延伸一段距离进入交互式场景中。

在一些实施方案中，使用图像数据、惯性数据、无线数据、红外数据、或其组合中的一个或多个来追踪HMD空间位置和控制器空间位置。

在一些实施方案中，使用图像数据追踪包括使用提供深度数据的立体摄像机来检测HMD空间位置和控制器空间位置中的一个或两个。

在另一个实施方案中，提供了一种用于执行展示在头戴式显示器(HMD)的屏幕上的游戏的方法。所述方法包括执行游戏，其中所述执行在屏幕上渲染游戏的交互式场景。所述方法包括：接收由用户佩戴的HMD的图像，以便相对于指向用户的捕获位置识别HMD空间位置；接收由用户握持的控制器的图像，以便相对于捕获位置识别控制器空间位置，所述控制器提供输入以便至少部分地驱动与正执行的游戏的交互作用；在屏幕上渲染进入游戏的交互式场景中的视角；以及当在HMD的接收到的图像中检测到HMD空间位置改变时调整所述视角。

在一些实施方案中，在通信地连接到头戴式显示器的计算机上执行游戏。

在一些实施方案中，在游戏云上执行游戏，并且头戴式显示器通信地连接到所述游戏云。

在一些实施方案中，HMD空间位置和控制器空间位置中的每一个另外可通过惯性数据识别。

结合附图来阅读以下详细描述，本发明的其他方面将变得显而易见，以下详细描述通过举例的方式来说明本发明的原理。

附图简述

结合附图来参阅以下描述可以最好地理解本发明，在附图中：

图1示出根据本发明的实施方案的用于视频游戏的交互性游戏玩法的系统。

图2示出根据本发明的实施方案的头戴式显示器(HMD)。

图3概念性地示出根据本发明的实施方案的与正执行的视频游戏相结合的HMD的功能。

图4A-4B示出根据本发明的实施方案的可从HMD的3D中观察到的虚拟空间以及与控制器的交互作用和与控制器的协调的实例。

图5A-9B示出根据本发明的实施方案的用户佩戴HMD并且握持控制器以及改变进入针对视频游戏生成的交互式场景中的视角的额外的实例。

图10和图11示出用户在与视频游戏接口连接时佩戴HMD并且握持控制器。

图12示出根据本发明的实施方案的头戴式显示器的部件。

图13是根据本发明的各种实施方案的游戏系统的框图。

详述

图1示出根据本发明的实施方案的用于视频游戏的交互性游戏玩法的系统。尽管本文的实例参考视频游戏和游戏来提供，但是所述实施方案也可以在不同的环境和工具中使用。此类环境可包括商务工具环境、演示工具、电话会议系统、虚拟访问程序、虚拟项目合作、信息和社交互动共享、社交网络、社会数据挖掘、通信等。

在视频游戏实例中，示出用户100正佩戴着头戴式显示器(HMD)102。以类似于眼镜、护目镜或头盔的方式佩戴HMD102，并且所述HMD102被配置来向用户100显示视频游戏或其他内容。HMD102借助于其所提供的紧密靠近用户眼睛的显示机构来向用户提供良好的沉浸式体验。因此，HMD102可以向用户眼睛中的每一只提供显示区，所述显示区占据用户视场的大部分或甚至全部。

在一个实施方案中，HMD102可连接到计算机106。到计算机106的连接可以是有线或无线的。计算机106可以是本领域中已知的任何通用或专用的计算机，包括但不限于：游戏控制台、个人计算机、膝上型计算机、平板计算机、移动设备、移动电话、平板电脑、瘦客户端、机顶盒、流媒体设备等。在一个实施方案中，计算机106可以被配置来执行视频游戏，并且从视频游戏中输出视频和音频以便由HMD102渲染。

用户100可操作控制器104来提供视频游戏的输入。此外，摄像机108可被配置来捕获用户100位于其中的交互式环境的图像。可分析这些所捕获的图像来确定用户100、HMD102和控制器104的位置和移动。在一个实施方案中，控制器104包括一个灯，所述灯可被追踪来确定它的位置和定向。此外，如下文更详细地描述，HMD102可包括一个或多个灯，所述灯可以被追踪以便确定HMD102的位置和定向。灯被认为是照明对象。

在一个实施方案中，照明对象是当通过人眼观察和/或通过摄像机或图像检测设备、或检测器、或接收器观察时，可以发光或发热以便提供可见的区别的对象。在一个实施方案中，照明对象可以发出人类可见的或其他人类不可见的光。在一个实施方案中，照明对象可通过红外(IR)发射器发出IR光。在一个实例中，照明对象可以是一个或多个发光二极管(LED)。每个二极管可发出白光，或各种色调的有色光。在一些实施方案中，照明对象可放置在至少部分透明的表面下方。表面可以是盖罩，以使得所述盖罩可发热或显现一种或多种颜色。

在一些实施方案中，照明对象被整合到HMD的主体或壳体中，被放置在HMD上的灯或透明塑料下方，被暴露在HMD的表面上，被放置在以特定颜色照明的有色屏蔽体/材料下方，且/或被布置成特定形状以便提高可检测性，以便改进追踪(例如，以便识别倾斜、横摇、偏航和深度)。在各种实例中，HMD可包括处于各种位置的各种照明对象，以使得可以从前部、侧面和后部追踪HMD。在一个实施方案中，可将照明对象添加到HMD的束头带，此类照明对象可以被附接到处于各种位置的束头带的侧面，这可在用户移动、转弯、转圈等时增加追踪。

在一个实施方案中，可将照明逻辑整合到HMD中。HMD可包括用于激活照明对象的一个或多个电路。在简单的配置中，照明逻辑可由连接到照明对象的电线限定到电路、开关、触发器、芯片、控制器、CPU(中央处理单元)、DSP(数字信号处理器)、ASIC(专用集成电路)、和/或固件和/或软件。因此，照明对象可以控制照明对象中的一个和全部何时打开、保持、闪烁、通过代码打开/关闭、转变颜色、转变特定的颜色来区分游戏的多个HMD玩家等。在一些实施方案中，HMD的电路可包括用于接收和处理图像数据的逻辑。

HMD可以接收例如从计算机或游戏控制台接收到的图像数据并且对其进行处理。数据的处理可以包括将图像数据渲染到观察模块上。观察模块可包括屏幕，其通过HMD渲染图像以便进行观察。在一些实施方案中，HMD的屏幕可限定两个单独的屏幕，例如，一只眼睛一个。在另一个实施方案中，所述屏幕可以是单个屏幕，由此允许使用光学器件使每只眼睛聚焦在屏幕上。

摄像机108可包括用于捕获来自交互式环境的声音的一个或多个麦克风。可处理麦克风阵列所捕获的声音来识别声源的位置。可选择性地利用或处理来自所识别位置的声音，以便排除不是来自所识别位置的其他声音。此外，摄像机108可被定义成包括多个图像捕获设备(例如，立体摄像机对)、IR摄像机、深度摄像机及其组合。

在另一个实施方案中，计算机106充当通过网络与云游戏提供商112通信的瘦客户端。云游戏提供商112维护并且执行用户102正在玩的视频游戏。计算机106将来自HMD102、控制器104和摄像机108的输入传输给云游戏提供商，云游戏提供商处理所述输入以影响正执行的视频游戏的游戏状态。来自正执行的视频游戏的输出(如视频数据、音频数据和触觉反馈数据)被传输到计算机106。计算机106在传输之前可进一步处理所述数据，或可将数据直接传输到相关设备。例如，将视频流和音频流提供到HMD102，而将振动反馈命令提供到控制器104。

在一个实施方案中，HMD102、控制器104和摄像机108本身可以是连接到网络110的联网设备，以便与云游戏提供商112通信。例如，计算机106可以是不另外执行视频游戏处理但促进通路网络流量的本地网络设备(如路由器)。HMD102、控制器104和摄像机108到网络的连接可以是有线或无线的。

图2示出根据本发明的实施方案的头戴式显示器(HMD)。如图所示，HMD102包括多个灯200A-H。这些灯中的每一个可被配置来具有特定的形状，并且可以被配置来具有相同或不同的颜色。灯还可以特定的图案被定向和限定在HMD上以便改进追踪。灯200A、200B、200C和200D被布置在HMD102的前表面上。灯200E和200F被布置在HMD102的侧表面上。而且，灯200G和200H被布置在HMD102的隅角处，从而跨越HMD102的前表面和侧表面。将了解，可在用户使用HMD102的交互式环境的所捕获图像中识别所述灯。基于对灯的识别和追踪，可确定HMD102在交互式环境中的位置和定向。将进一步了解，所述灯中的一些灯可见或不可见，取决于HMD102相对于图像捕获设备的具体定向。并且，可暴露灯(例如，灯200G和200H)的不同部分以用于图像捕获，取决于HMD102相对于图像捕获设备的定向。

在一个实施方案中，灯可被配置来向附近其他人指示HMD的当前状态。例如，所述灯中的一些或全部可被配置成具有某一颜色布置、密度布置，所述灯被配置成闪烁、具有某一开/关配置、或指示HMD102的当前状态的其他布置。作为实例，所述灯可被配置来显示视频游戏的活跃游戏玩法(通常是发生在活跃时间轴期间或游戏场景内的游戏玩法)对于视频游戏的其他不活跃游戏玩法方面期间的不同配置，如导航菜单界面或配置游戏设置(在所述设置期间，游戏时间轴或场景可不活跃或暂停)。所述灯还可被配置来指示游戏玩法的相对强度等级。例如，灯的强度或闪烁速率在游戏玩法的强度增加时可增加。以这种方式，用户之外的人员可看到HMD102上的灯，并且理解用户正在积极参与激烈的游戏，并在那时可能不希望被打扰。

HMD102可另外包括一个或多个麦克风。在所示出的实施方案中，HMD102包括限定在HMD102的前表面上的麦克风204A和204B，以及限定在HMD102的侧表面上的麦克风204C。通过利用麦克风阵列，可处理来自麦克风中的每一个的声音以确定声源的位置。可以各种方式利用此信息，所述方式包括排除不想要的声源、使声源与视觉识别相关联等。

HMD102还可包括一个或多个图像捕获设备。在所示出的实施方案中，HMD102被示出为包括图像捕获设备202A和202B。通过利用立体图像捕获设备对，可从HMD102的视角捕获环境的三维(3D)图像和视频。可将此类视频展示给用户，以在佩戴HMD102时向用户提供“视频透视”能力。就是说，虽然严格意义上来说，用户不能透视HMD102，但是图像捕获设备202A和202B所捕获的视频可提供功能等效物，其能够如同看穿HMD102一样看见HMD102外部的环境。此类视频可利用虚拟元素来增强，以便提供增强的现实体验，或可与虚拟元素以其他方式组合或共混。虽然在所示出的实施方案中，在HMD102的前表面上示出两个摄像机，但是将了解，可存在任何数目的面向外部的摄像机安装在HMD102上、定向在任何方向上。例如，在另一个实施方案中，HMD102的侧面上可安装有摄像机，以便提供对环境的额外全景图像捕获。

图3概念性地示出根据本发明的实施方案的与正执行的视频游戏相结合的HMD102的功能。正执行的视频游戏由游戏引擎320限定，所述游戏引擎320接收输入以便更新视频游戏的游戏状态。视频游戏的游戏状态可至少部分地由视频游戏的各种参数的值限定，所述值限定当前游戏玩法的各种方面，如对象的存在和位置、虚拟环境的条件、事件的触发、用户档案、观察角度等。

在所示出的实施方案中，游戏引擎接收例如控制器输入314、音频输入316和运动输入318。控制器输入314可从与HMD102分开的游戏控制器(如控制器104)的操作中定义。作为实例，控制器输入314可包括方向输入、按钮按压、触发器激活、移动、或由游戏控制器的操作处理的其他类型的输入。音频输入316可以由HMD102的麦克风302处理得到，或由包括在图像捕获设备108中的麦克风处理。运动输入218可以由包括在HMD102中的运动传感器300处理，或在图像捕获设备108捕获HMD102的图像时由所述的图像捕获设备108处理。游戏引擎320接收根据游戏引擎的配置来处理的输入，以便更新视频游戏的游戏状态。游戏引擎320将游戏状态数据输出到各种渲染模块，所述渲染模块处理游戏状态数据以便限定将展示给用户的内容。

在所示出的实施方案中，视频渲染模块322被限定来渲染用于在HMD102上展示的视频流。视频流可通过显示器/投影仪机构310展示，并且通过用户的眼睛306透过光学器件308进行观察。音频渲染模块304被配置来渲染用于由用户收听的音频流。在一个实施方案中，音频流通过与HMD102相关联的扬声器304输出。应了解，扬声器304可采取露天扬声器、耳机、或能够展示音频的任何其他类型的扬声器的形式。

在一个实施方案中，HMD102中包括注视追踪摄像机312以便能够追踪用户的注视。注视追踪摄像机捕获用户眼睛的图像，对所述图像进行分析以便确定用户的注视方向。在一个实施方案中，可以利用关于用户的注视方向的信息来影响视频渲染。例如，如果确定用户的眼睛正在观看特定的方向，那么可优先或着重渲染针对那个方向的视频，如通过在用户正观看的区域中提供更多细节或更快的更新。

此外，触觉反馈模块326被配置向包括在HMD102或由用户操作的另一个设备(如控制器104)中的触觉反馈硬件提供信号。触觉反馈可采取各种类型的触感的形式，如振动反馈、温度反馈、压力反馈等。

图4A示出根据一个实施方案的进入交互式空间的三维视图，其示出用户玩视频游戏的场景。在这个实例中，用户佩戴着头戴式显示器(HMD)并且正握持控制器，如图4B所示。在一个实施方案中，如图4B所示，正通过指向用户的摄像机监视用户。摄像机可以是能够识别深度的单色摄像机或立体摄像机。摄像机可以在游戏期间识别控制器和头戴式显示器。识别控制器和头戴式显示器将识别每一个的空间位置。可以追踪每一个的空间位置来独立地识别控制器和头戴式显示器的移动。追踪可包括使用由摄像机捕获的图像来识别位置和位置变化率以及位置变化等。在另一个实施方案中，控制器和HMD各自包括电路，所述电路包括可以将数据传达回到基站计算机的惯性传感器。可以对包含惯性传感器数据(和其他数据)的数据进行处理以便识别位置、位置变化、位置变化率、和其他6轴线型数据元素。

因此，应理解，一些实施方案将包括摄像机而其他实施方案将不包括摄像机。在使用摄像机的实施方案中，检测用户在玩游戏时面向前方，如图4A所示。当用户握持控制器时，如图4B所示，用户的手部可能看起来似乎延伸到HMD的屏幕中所渲染的三维场景中。在一个实施方案中，进入由正执行的游戏生成的交互式内容的场景中的视角将改变。在一个实施方案中，所述改变是由用户在佩戴着头戴式显示器时的头部移动提供的位置或视图驱动。

为了示出进入交互式空间的视角，用户观察的区域在描画3D体积的虚线内示出。看不到(因为用户没有观察那个特定的区域或方向)的交互式场景数据在图中用虚线示出。在操作中，不渲染虚线中的内容直到用户观察那个特定的位置或方向。然而，为了清楚地提供用户观察头戴式显示器的屏幕中的交互式场景的特定部分的能力，已经提供虚线。

在一个实施方案中，可以检测并且可以示出用户手部在握持控制器时的位置以便好像用户正在将其手部延伸到交互式场景中那样进入HMD的屏幕。这在图4A中示出，其中用户正在描绘赛车场景的视频游戏中握持方向盘。应注意，HMD的附图仅仅是说明性的R&D型HMD，并且可以更符合人体工学和成品的方式生产商业实施方案。

HMD可向用户提供进入交互式场景的视图。用户握持控制器(如图4B所示)示出用户可能正在玩游戏，其中追踪运动、位置、按钮输入等并且所述运动、位置、按钮输入等与提供到在计算机系统上执行的游戏的输入相关。如下所述，计算机系统可以是游戏控制台、独立计算机、平板计算机、智能电话、基于网络的计算机、云服务器、或能够处理指令的任何其他系统。在又一个实施方案中，控制器和/或HMD可以直接与网络通信。网络随后与云系统通信以便执行指令。

图5A示出用户已将其头部转向左侧从而暴露进入交互式场景中的额外视角的实施方案。图5B示出现实世界用户将其头部转向左侧的位置，这触发了在用户前方不同三维场景的渲染，如从头戴式显示器的屏幕中看到的。此外，图5B示出用户正将控制器转向左侧。转向左侧可以是逐步的或突然的，并且可以使用控制器的惯性传感器来检测，其中此类数据被传递到计算设备以便进行处理。在另一个实施方案中，可通过检测不同空间位置的摄像机来监视控制器的移动。可通过识别如由摄像机观察到的控制器的位置或定向、或位置和定向来监视不同空间位置。

如图5A所示，图5B中表示的用户使控制器向左侧的移动将导致虚拟场景中用户将方向盘转向左侧。因此，可以在虚拟场景中表示用户针对控制器的动作，如从头戴式显示器的屏幕中所见。同时，如图5A所示的进入虚拟场景中的视角也将基于头戴式显示器的检测到的位置和定向而改变。检测头戴式显示器的位置可通过识别灯、标记物、红外照明或其组合。

在其他实施方案中，识别头戴式显示器的空间位置可通过追踪头戴式显示器中的惯性传感器。在其他实施方案中，摄像机可以在不检测传感器的情况下而通过仅使用三维深度映射检测头部的位置来追踪头部的位置。因此，可以追踪控制器的运动和头戴式显示器的运动，并且可以追踪独立的运动位置、位置变化、移动变化率、以及其他输入型移动并且它们可彼此相关。相关性可通过追踪控制器和头戴式显示器的运动的映射算法实现，并且在头戴式显示器屏幕中的所产生的视图可根据头戴式显示器的运动和移动以及由用户握持的控制器提供的交互式反馈而改变。

因此，用户头部的动作与控制器的动作之间的映射通过参考图5B中的实际现实世界用户的移动和进入图5A中所示的场景中的视角示出。如上所述，在一个实施方案中，用户能够如用户所感知的那样进入交互式场景中。就是说，向用户提供用户已实际进入场景中并且握持实际方向盘的观察感觉。对用户来说，当用户观察他或她的手部时，渲染握持方向盘的虚拟手部。他或她的手部的移动随后将大致被映射到场景中的虚拟手部的移动并且与虚拟手部的移动相关。在一个实施方案中，虚拟手部可以是增强现实或虚拟现实。一个增强现实视图可以是用户实际手部的图像在头戴式显示器屏幕所提供的视图中稍微增强的视图。

尽管手部被描述为能够进入场景中，但是可通过HMD观察到的任何身体部分也能够在场景中渲染，以便提供用户实际存在于3D场景中的外观。另外，用户可以握持其他控制器或穿戴能够追踪的服装，以便提供融入场景中的能力，从而模糊现实世界和虚拟世界的轮廓。在其他实施方案中，用户可以穿戴具有触觉反馈的衣服或手套，以便将虚拟场景中的动作转换到现实世界。如果用户进入虚拟场景中，那么用户可以与虚拟角色握手，并且可以使用到手套的触觉反馈来模拟手部的抓握。

图6A和图6B示出用户已将其头部转向右侧并也将控制器转向右侧的实例。在图6A中，用户的虚拟手部看似将赛车的方向盘转向右侧。三维空间中所见的图像，如头戴式显示器的屏幕中所提供的，示出由于用户将控制器转向右侧而产生的变化。同时，用户已经将其头部稍微转向右侧，这是在现实生活中将方向盘转向右侧时所做的典型的自然移动。这种现实世界移动因此将传送为头戴式显示器屏幕中所示出的虚拟环境中的相同移动。

图6A示出转向右侧的方向盘和进入转移到右侧的虚拟场景中的视角。如上所述，提供进入三维空间中的视角外部的虚线，以便简单地提供存在于用户当前正观察的位置之外的额外虚拟环境的图解。在一个实施方案中，在用户当前正观察的区域之外的延伸部分是当前虚拟视角的自然延伸部分。就是说，如果用户在赛车中正向前观察，那么用户将其头部转向左侧实际上可以看到赛车的左侧窗户外部。如果观众(或对象)在看台上正朝向赛车的左侧站着，那么当用户在赛车中驾驶经过时已将其头部转向左侧时，那个观众可进入视野中。

图7A和图7B示出另一个实施方案，其中控制器是不同类型的控制器。所示类型的控制器是MOVE^TM控制器，其由索尼电脑娱乐公司(SonyComputerEntertainmentInc.)制造。这种控制器具有手柄和发光以用于追踪的球形物体。控制器还包括用于将信息传达回到基站计算机(basecomputer)的惯性传感器和其他按钮。在一个实施方案中，摄像机可以在6轴线(例如，X、Y、Z；纵摇；横摇；偏航轴)中追踪控制器。摄像机还可以同时追踪头戴式显示器。在另一个实施方案中，可以使用其他追踪功能来追踪头戴式显示器。其他追踪功能可包括使用惯性传感器、红外摄像机照明、声音、通过按钮或运动输入的数据等。

在图7A和图7B所示的实施方案中，用户正在图7B中移动控制器，所述控制器在图7A中表示为剑。用户正与游戏中的角色或对象交互，其中控制器的移动被追踪至参与游戏的虚拟角色的移动。追踪控制器的位置和头戴式显示器的位置(和相关联的运动)以便提供进入虚拟场景中的视角。在这个实例中，对于使用头戴式显示器玩游戏的用户来说，握持控制器的用户将表现为虚拟游戏中的虚拟对象(例如，剑)。然而，如图所示，用户的手臂看似并且感觉好像用户正延伸到正好在用户前方的3D空间中。控制器的移动被映射到游戏中的虚拟对象的移动并且与其相关。

在图8A和图8B中，示出用户在将控制器维持在左侧时已将其头部移动到同一位置。用户头部的移动暴露了进入如由正执行的游戏产生的场景中的新视角。用户头部向左侧的移动将暴露示出游戏中的额外交互式场景元素元件的新视角，好像游戏元素是现实世界三维元素。

图9A和图9B同样示出用户将其头部转向右侧并且将控制器稍微转向右侧。这将暴露进入如头戴式显示器的屏幕中所示的交互式场景中的新视图。在一个实施方案中，用户的动作与控制器的映射有助于在使用头戴式显示器的位置信息协调进入场景中的视角时驱动游戏玩法的交互性。

图10示出现实世界玩家正握持控制器坐在他的沙发上并且佩戴头戴式显示器的实例。

图11示出用户站着玩游戏，其中追踪用户头部和控制器的移动并且向所述移动被传送为进入交互式三维环境的场景中的视角的变化。

在一个实施方案中，控制器可包括可由摄像机观察到的一个或多个灯。所述灯可以以使得摄像机能够检测并定向控制器的形状提供。灯可以是水平光条的形状，或作为多个灯。灯还可以提供有各种颜色，所述颜色可以由摄像机识别。颜色可提供关于玩家编号的信息，或可以在各种环境条件下识别控制器。

环境条件可包括例如用户正玩游戏的房间中的照明。在另一个实施方案中，所述条件可包括确定玩家正在玩的空间中的背景颜色。基于所述背景颜色，可以选择用于控制器灯的颜色的适当颜色。例如，如果背景颜色主要为红色，那么将选择除红色之外的颜色用于控制器以便提供用于改进追踪的更好的可检测性或识别。在又一个实施方案中，可以从预定义的颜色列表中选择颜色，其中所选择的颜色是当与背景相比较时超过区别性阈值的颜色。在又一个实施方案中，所选择的用于控制器的颜色可以是在背景场景中表示最少(或接近最少)的颜色。用于控制器的颜色选择可以时常、在校准期间、在玩游戏期间、在游戏中的特定场景期间、在游戏中的特定动作顺序期间、用于与多玩家游戏环境中的其他玩家通信、或在用户通过选择按钮的控制下、或在计算设备基于预定义的算法、状况、规则、或规则和状况的组合的控制下进行调整。

参考图12，根据本发明的实施方案展示示出头戴式显示器102的部件的图。头戴式显示器102包括用于执行程序指令的处理器1300。存储器1302被提供用于存储目的，并且可包括易失性存储器和非易失性存储器。包括显示器1304，所述显示器1304提供用户可观察的视觉界面。电池1306被提供为头戴式显示器102的电源。运动检测模块1308可包括各种运动敏感硬件中的任一种，如磁力仪1310、加速计1312和陀螺仪1314。

加速计是用于测量反作用力所引起的加速度和重力的设备。单轴和多轴模型可用来检测不同方向上的加速度的量级和方向。加速计用于感测倾斜度、振动和冲击。在一个实施方案中，使用三个加速计1312来提供重力方向，所述重力方向为两个角度(世界空间纵摇和世界空间横摇)给出绝对参考。

磁力仪测量头戴式显示器附近的磁场的强度和方向。在一个实施方案中，在头戴式显示器内使用三个磁力仪1310，从而确保世界空间偏航角的绝对参考。在一个实施方案中，磁力仪被设计来跨越地球磁场，地球磁场为±80微特斯拉。磁力仪受金属影响，并且提供与实际偏航无变化的偏航测量。磁场可由于环境中的金属而扭曲，从而导致偏航测量的偏差。如果必要的话，那么可使用来自其他传感器(如陀螺仪或摄像机)的信息来校准此偏差。在一个实施方案中，加速计1312与磁力仪1310一起使用，以便获得头戴式显示器102的倾斜度和方位角。

陀螺仪是用于基于角动量的原理来测量或维持定向的设备。在一个实施方案中，三个陀螺仪1314基于惯性感测提供关于越过相应轴线(x、y和z)的移动的信息。陀螺仪帮助检测快速旋转。然而，陀螺仪在不存在绝对参考的情况下可随时间而漂移。这需要定期重新设置陀螺仪，所述重新设置可使用其他可利用的信息来完成，所述信息如基于对物体、加速计、磁力仪等的视觉追踪的位置/定向确定。

提供摄像机1316来用于捕获真实环境的图像和图像流。头戴式显示器102可包括一个以上摄像机，其包括后置摄像机(当用户正在观察头戴式显示器102的显示时背离用户)和前置摄像机(当用户正在观察头戴式显示器102的显示时直接朝向用户)。另外，深度摄像机1318可被包括在头戴式显示器102内，以用于感测真实环境中的物体的深度信息。

头戴式显示器102包括用于提供音频输出的扬声器1320。并且，可包括麦克风1322，以用于从真实环境捕获音频，所述音频包括来自周围环境的声音、用户的语音等。头戴式显示器102包括用于向用户提供触觉反馈的触觉反馈模块1324。在一个实施方案中，触觉反馈模块1324能够引起头戴式显示器102的移动和/或振动，以便向用户提供触觉反馈。

LED1326被提供为头戴式显示器102的状态的视觉指示器。例如，LED可指示电池水平、通电等。提供读卡器1328来使头戴式显示器102从存储卡读取信息和将信息写入到存储卡。包括USB接口1330作为用于实现外围设备的连接或到其他设备(如其他便携式设备、计算机等)的连接的接口的一个实例。在头戴式显示器102的各种实施方案中，可包括各种接口中的任一种来实现头戴式显示器102的更大的连接性。

包括WiFi模块1332，以用于实现通过无线联网技术来连接到互联网。并且，头戴式显示器102包括用于实现无线连接到其他设备的蓝牙模块1334。还可包括通信链路1336，以用于连接到其他设备。在一个实施方案中，通信链路1336利用红外线传输来进行无线通信。在其他实施方案中，通信链路1336可利用用于与其他设备通信的各种无线或有线传输协议中的任一种。

包括输入按钮/传感器1338来提供用户的输入接口。可包括各种输入接口中的任一种，如按钮、触摸板、操纵杆、轨迹球等。超声波通信模块1340可包括在头戴式显示器102中，以用于促进通过超声波技术与其他设备的通信。

包括生物传感器1342来实现来自用户的生理数据的检测。在一个实施方案中，生物传感器1342包括一个或多个干电极，其用于通过用户皮肤来检测用户的生物电信号。

已将头戴式显示器102的前述部件描述为仅仅是可包括在头戴式显示器102中的示范性部件。在本发明的各个实施方案中，头戴式显示器102可或可不包括前面提及的各种部件中的一些部件。头戴式显示器102的实施方案可另外包括目前未描述、但在本领域已知的其他部件，以用于促进如本文所述的本发明的方面的目的。

本领域技术人员将了解，在本发明的各个实施方案中，可结合显示器上所显示的交互式应用来利用前面提及的手持式设备，以提供各种交互式功能。仅作为实例且不作为限制来提供本文所述的示范性实施方案。

图13是根据本发明的各种实施方案的游戏系统1400的框图。游戏系统1400被配置来通过网络1415将视频流提供到一个或多个客户端1410。游戏系统1400通常包括视频服务器系统1420和任选的游戏服务器1425。视频服务器系统1420被配置来以最低的服务质量向一个或多个客户端1410提供视频流。例如，视频服务器系统1420可接收改变视频游戏的状态或所述视频游戏内的视角的游戏命令，并且以最小的滞后时间给客户端1410提供反映这种状态变化的更新后的视频流。视频服务器系统1420可被配置来以多种替代视频格式(包括还未定义的格式)提供视频流。此外，视频流可包括配置用于以多种帧速率展示给用户的视频帧。典型的帧速率是每秒30帧、每秒60帧和每秒1420帧。但是本发明的替代实施方案中包括更高或更低的帧速率。

在本文中被单独提及为1410A、1410B等的客户端1410可包括头戴式显示器、终端、个人计算机、游戏控制台、平板计算机、电话、机顶盒、电话亭、无线设备、数字垫、独立设备、手持式玩游戏设备和/或类似设备。通常，客户端1410被配置来接收经编码的视频流，对视频流进行解码，并且将所得的视频展示给用户，例如游戏玩家。接收经编码的视频流和/或对视频流进行解码的过程通常包括将个别视频帧存储在客户端的接收缓冲器中。可以在与客户端1410成一体的显示器上或在如监视器或电视机等单独设备上将视频流展示给用户。客户端1410任选地被配置来支持一个以上游戏玩家。例如，游戏控制台可被配置来支持两个、三个、四个或更多个同时玩家。这些玩家中的每一个可接收单独的视频流，或单个视频流可包括特别针对每个玩家而产生(例如，基于每个玩家的视角而产生)的帧的区。客户端1410任选地在地理上分散。游戏系统1400中所包括的客户端的数目可从一个或两个广泛变化到几千个、几万个或更多个。如本文所使用，术语“游戏玩家”用于指玩游戏的人，并且术语“玩游戏设备”用于指用于玩游戏的设备。在一些实施方案中，玩游戏设备可以指多个计算设备，其进行合作来向用户传达游戏体验。例如，游戏控制台或HMD可与视频服务器系统1420合作来传达通过HMD观察的游戏。在一个实施方案中，游戏控制台从视频服务器系统1420接收视频流，并且游戏控制台将视频流或对视频流的更新转发给HMD以便进行渲染。

客户端1410被配置来通过网络1415接收视频流。网络1415可以是任何类型的通信网络，其包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、私有网络和/或类似网络。在典型的实施方案中，通过如TCP/IP或UDP/IP的标准协议来传达视频流。或者，通过专有标准来传达视频流。

客户端1410的典型实例是个人计算机，所述个人计算机包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力以及输入设备。解码逻辑可包括硬件、固件和/或存储在计算机可读介质上的软件。用于解码(和编码)视频流的系统在本领域中是熟知的，并且根据所使用的具体编码方案而变化。

客户端1410可(但不需要)还包括被配置来用于修改接收到的视频的系统。例如，客户端可被配置来：执行进一步渲染，将一个视频图像叠加在另一个视频图像上，修剪视频图像，和/或类似操作。例如，客户端1410可被配置来接收各种类型的视频帧，如I帧、P帧和B帧，并且被配置来将这些帧处理成图像以向用户显示。在一些实施方案中，客户端1410的构件被配置来对视频流执行进一步渲染、阴影处理、转换成3-D或类似操作。客户端1410的构件任选地被配置来接收一个以上的音频或视频流。客户端1410的输入设备可包括：例如，单手游戏控制器、双手游戏控制器、示意动作辨别系统、注视辨别系统、语音辨别系统、键盘、操纵杆、指点设备、力反馈设备、运动和/或位置感测设备、鼠标、触摸屏、神经接口、摄像机、还未开发出的输入设备，和/或类似设备。

客户端1410所接收的视频流(和任选的音频流)是由视频服务器系统1420产生并提供的。如在本文其他地方进一步描述的，这个视频流包括视频帧(并且音频流包括音频帧)。视频帧(例如，在适当数据结构中它们包括像素信息)被配置来有意义地构成向用户显示的图像。如本文所使用，术语“视频帧”用于指主要包括被配置来构成(例如实现)展示给用户的图像的信息的帧。本文中关于“视频帧”的大部分教示也可适用于“音频帧”。

客户端1410通常被配置来从用户接收输入。这些输入可包括游戏命令，所述游戏命令被配置来改变视频游戏的状态或以其他方式影响游戏玩法。可以使用输入设备接收游戏命令，且/或可由在客户端1410上执行的计算指令自动产生游戏命令。将接收到的游戏命令通过网络1415从客户端1410传达到视频服务器系统1420和/或游戏服务器1425。例如，在一些实施方案中，将游戏命令通过视频服务器系统1420传达到游戏服务器1425。在一些实施方案中，将游戏命令的单独拷贝从客户端1410传达到游戏服务器1425和视频服务器系统1420。游戏命令的传达任选地取决于命令的身份。通过用来向客户端1410A提供音频或视频流的不同路线或通信信道，从客户端1410A任选地传达游戏命令。

游戏服务器1425任选地由不同于视频服务器系统1420的实体来操作。例如，游戏服务器1425可由多玩家游戏发行商来操作。在这个实例中，视频服务器系统1420任选地被游戏服务器1425视为客户端，并且任选地被配置来(从游戏服务器1425的角度看)表现为执行现有技术游戏引擎的现有技术客户端。视频服务器系统1420与游戏服务器1425之间的通信任选地通过网络1415发生。因此，游戏服务器1425可以是向多个客户端发送游戏状态信息的现有技术多玩家游戏服务器，所述客户端中的一个是视频服务器系统1420。视频服务器系统1420可被配置来同时与游戏服务器1425的多个实例通信。例如，视频服务器系统1420可被配置来向不同用户提供多个不同视频游戏。这些不同视频游戏中的每一个可由不同游戏服务器1425支持且/或由不同实体发行。在一些实施方案中，视频服务器系统1420的一些地理上分布式实例被配置来向多个不同用户提供游戏视频。视频服务器系统1420的这些实例中的每一个可与游戏服务器1425的相同实例通信。视频服务器系统1420与一个或多个游戏服务器1425之间的通信任选地通过专用通信信道发生。例如，视频服务器系统1420可通过高带宽信道连接到游戏服务器1425，所述高带宽信道专门用于这两个系统之间的通信。

视频服务器系统1420至少包括：视频源1430、I/O设备1445、处理器1450，以及非暂态性存储器1455。视频服务器系统1420可包括一个计算设备或分布在多个计算设备当中。这些计算设备任选地通过如局域网的通信系统连接。

视频源1430被配置来提供视频流，例如，流式视频或形成运动图片的一系列视频帧。在一些实施方案中，视频源1430包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置来：从玩家接收游戏命令，并且基于接收到的命令维持视频游戏的状态的拷贝。这个游戏状态包括游戏环境中的对象的定位，以及典型地视角。游戏状态还可以包括对象的性质、图像、颜色和/或结构。

通常基于游戏规则以及游戏命令(如，移动、转动、攻击、设置焦点、互动、使用和/或类似命令)来维持游戏状态。游戏引擎的部分任选地安置在游戏服务器1425内。游戏服务器1425可基于使用地理上分散的客户端从多个玩家接收到的游戏命令来维持游戏状态的拷贝。在这些情况下，游戏服务器1425将游戏状态提供给视频源1430，其中存储游戏状态的拷贝并且执行渲染。游戏服务器1425可通过网络1415直接从客户端1410接收游戏命令，且/或可通过视频服务器系统1420接收游戏命令。

视频源1430通常包括渲染逻辑，例如被存储在计算机可读介质如存储器1455上的硬件、固件和/或软件。这个渲染逻辑被配置来基于游戏状态创建视频流的视频帧。所述渲染逻辑的全部或部分任选地安置在图形处理单元(GPU)内。渲染逻辑通常包括被配置来用于确定对象之间的三维空间关系且/或用于基于游戏状态和视角来应用适当的结构等的处理级。渲染逻辑产生原始视频，然后常常对原始视频进行编码，然后传达给客户端1410。例如，可根据Adobe标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.、Xvid.、FFmpeg、x264、VP6-8、realvideo、mp3或类似标准对原始视频进行编码。编码过程产生视频流，任选地将所述视频流打包以便传达到远程设备上的解码器。视频流是由帧大小和帧速率来表征。典型的帧大小包括800x600、1280x720(例如720p)、1024x768，但是可使用任何其他帧大小。帧速率是每秒的视频帧数。视频流可包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I帧包括用来刷新显示设备上的全部宏块/像素的信息，而P帧包括用来刷新所述宏块/像素的子集的信息。P帧的数据大小通常小于I帧。如本文中所使用，术语“帧大小”意在指帧内的像素数。术语“帧数据大小”用来指存储所述帧所需的字节数。

在替代实施方案中，视频源1430包括如摄像机的视频录制设备。这个摄像机可用来产生可以包括在计算机游戏的视频流中的延迟视频或实况视频。所得的视频流任选地包括所渲染的图像与使用静态摄像机或视频摄像机录制的图像。视频源1430还可以包括被配置来存储将要包括在视频流中的先前录制视频的存储设备。视频源1430还可以包括：被配置来检测对象(例如，人)的运动或定位的运动或定位传感设备；以及被配置来基于所检测运动和/或定位来确定游戏状态或产生视频的逻辑。

视频源1430任选地被配置来提供被配置来放在其他视频上的叠加。例如，这些叠加可包括命令界面、登入指令、发给游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如网络摄像机视频)。在客户端1410A包括触摸屏界面或注视检测界面的实施方案中，所述叠加可包括虚拟的键盘、操纵杆、触摸板和/或类似物。在叠加的一个实例中，将玩家的语音叠加在音频流上。视频源1430任选地还包括一个或多个音频源。

在视频服务器系统1420被配置来基于来自一个以上的玩家的输入来维持游戏状态的实施方案中，每个玩家可以有不同视角，视角包括观察的位置和方向。视频源1430任选地被配置来基于玩家的视角给每个玩家提供单独的视频流。此外，视频源1430可被配置来向客户端1410中的每一个提供不同的帧大小、帧数据大小和/或编码。视频源1430任选地被配置来提供3-D视频。

I/O设备1445被配置用于视频服务器系统1420，用来发送和/或接收信息，所述信息如：视频、命令、对信息的请求、游戏状态、注视信息、设备运动、设备位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频和/或类似信息。I/O设备1445通常包括如网卡或调制解调器的通信硬件。I/O设备1445被配置来与游戏服务器1425、网络1415和/或客户端1410通信。

处理器1450被配置来执行本文中讨论的视频服务器系统1420的各种部件内所包括的逻辑，例如软件。例如，处理器1450可编程有软件指令，以便执行视频源1430、游戏服务器1425和/或客户端限定器1460的功能。视频服务器系统1420任选地包括处理器1450的一个以上的实例。处理器1450还可以编程有软件指令，以便执行视频服务器系统1420所接收的命令或协调本文中讨论的游戏系统1400的各种元件的操作。处理器1450可包括一个或多个硬件设备。处理器1450是电子处理器。

存储器1455包括非暂态性模拟和/或数字存储设备。例如，存储器1455可包括被配置来存储视频帧的模拟存储设备。存储器1455可包括计算机可读数字存储器，例如，硬盘驱动器、光盘驱动器或固态存储器。存储器1415(例如由适当的数据结构或文件系统)被配置来存储视频帧、人工帧、包括视频帧与人工帧的视频流、音频帧、音频流和/或类似物。存储器1455任选地分布在多个设备当中。在一些实施方案中，存储器1455被配置来存储本文中其他地方所讨论的视频源1430的软件部件。这些部件可以按需要时随时可以供应的格式来存储。

视频服务器系统1420任选地还包括客户端限定器1460。客户端限定器1460被配置用于远程确定如客户端1410A或1410B的客户端的能力。这些能力可包括客户端1410A本身的能力与介于客户端1410A与视频服务器系统1420之间的一个或多个通信信道的能力。例如，客户端限定器1460可被配置来测试通过网络1415的通信信道。

客户端限定器1460可手动或自动地确定(例如，发现)客户端1410A的能力。手动确定包括：与客户端1410A的用户通信，以及要求用户提供能力。例如，在一些实施方案中，客户端限定器1460被配置来在客户端1410A的浏览器上显示图像、文字和/或类似物。在一个实施方案中，客户端1410A是包括浏览器的HMD。在另一个实施方案中，客户端1410A是具有浏览器的游戏控制台，所述浏览器可显示在HMD上。所显示的对象请求用户输入客户端1410A的信息，如操作系统、处理器、视频解码器类型、网络连接类型、显示器分辨率等。向客户端限定器1460传达回用户所输入的信息。

自动确定可例如通过在客户端1410A上执行代理程序和/或通过向客户端1410A发送测试视频来进行。代理程序可包括嵌入网页中或安装为加载项的计算指令，如java脚本。代理程序任选地由客户端限定器1460提供。在各种实施方案中，代理程序可发现：客户端1410A的处理能力、客户端1410A的解码和显示能力、客户端1410A与视频服务器系统1420之间的通信信道的滞后时间可靠性和带宽、客户端1410A的显示器类型、客户端1410A上存在的防火墙、客户端1410A的硬件、在客户端1410A上执行的软件、客户端1410A内的注册表项和/或类似物。

客户端限定器1460包括硬件、固件和/或存储在计算机可读介质上的软件。客户端限定器1460任选地放置在与视频服务器系统1420的一个或多个其他元件分开的计算设备上。例如，在一些实施方案中，客户端限定器1460被配置来确定客户端1410与视频服务器系统1420的一个以上的实例之间的通信信道的特性。在这些实施方案中，客户端限定器所发现的信息可以用来确定视频服务器系统1420的哪个实例最适合于向客户端1410中的一个传达流式视频。

应理解，本文所限定的各种实施方案可以结合或组装到使用本文所公开的各种特征的具体实现方式中。因此，所提供的实例只是一些可能的实例，并不限于通过结合各种元件以便限定更多的实现方式来进行的可能的各种实现方式。在一些实例中，在不脱离所公开的实现方式或等效实现方式的精神的情况下，一些实现方式可包括较少的元件。

本发明的实施方案可以通过各种计算机系统配置来实践，包括手持式设备、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。本发明也可以在分布式计算环境下实践，其中由通过基于有线或无线的网络链接的远程处理设备来执行任务。

考虑到以上实施方案，应理解，本发明可以采用涉及存储于计算机系统中的数据的各种计算机实施的操作。这些操作是需要对物理量进行物理操作的操作。本文所述的形成本发明的一部分的任何操作都是有用的机器操作。本发明还涉及用于执行这些操作的设备或装置。所述装置可出于所要求的目的而专门构造而成，或所述装置可为由存储于计算机中的计算机程序选择性地激活或配置的通用计算机。具体来说，各种通用机器可以与根据本文的教示所编写的计算机程序一起使用，或者可以更方便地构造更专门的装置来执行所要求的操作。

本发明也可以体现为计算机可读介质上的计算机可读代码。所述计算机可读介质是可以存储数据的任何数据存储设备，所述数据随后可由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储设备。所述计算机可读介质可以包括分布在网络耦合计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。

尽管以特定顺序描述了所述方法操作，但应理解，其他内务处理操作可以在操作之间执行，或者可以调整操作以使得它们在略微不同的时间发生，或者可以分布在系统中，所述系统允许处理操作以与所述处理相关的各种时间间隔发生，只要重叠操作的处理以所需方式执行即可。

尽管为了理解的清楚性目的而略微详细地描述了前述发明，但很显然，可以在所附权利要求的范围内做出某些变化和修改。因此，本发明的实施方案被认为是说明性的而非限制性的，并且本发明不限于本文给出的细节，而可以在所附权利要求的范围和等效范围内进行修改。

Claims

1.一种头戴式显示器，其包括，

头部附接部分；

观察模块，所述观察模块联接到所述头部附接部分，所述观察模块包括内侧和外部壳体，所述内侧具有进入配置用于渲染图像内容的屏幕中的观察窗；

通信模块，所述通信模块用于与计算机系统交换数据；

图像处理模块，所述图像处理模块用于处理所述图像数据，以便在所述屏幕上渲染所述图像内容；

多个照明元件，所述多个照明元件与所述观察模块的所述外部壳体整合在一起，所述多个照明元件被限定用于由摄像机实现的所述头戴式显示器的图像追踪；以及

照明逻辑，所述照明逻辑用于将所述多个照明元件控制为活动的或不活动的。

2.根据权利要求1所述的头戴式显示器，其中由所述通信模块交换的所述数据包括输入数据、图像数据、音频数据、和惯性数据。

3.根据权利要求1所述的头戴式显示器，其中所述多个照明元件被限定为发光二极管(LED)或红外(IR)发射器。

4.根据权利要求3所述的头戴式显示器，其中所述LED被限定来照明一种或多种颜色，所述一种或多种颜色的所述照明是由照明逻辑控制。

5.根据权利要求1所述的头戴式显示器，其中所述多个照明元件以限定的图案布置在所述外部壳体上。

6.根据权利要求1所述的头戴式显示器，其中所述外部壳体具有部分弯曲形状，并且所述多个照明元件以围绕所述部分弯曲形状的图案布置。

7.根据权利要求1所述的头戴式显示器，其中所述外部壳体具有多个表面区域，并且所述多个照明元件以围绕所述多个表面区域的图案布置。

8.根据权利要求1所述的头戴式显示器，其中所述多个照明元件包括两个或更多个形状或尺寸。

9.根据权利要求1所述的头戴式显示器，其中所述多个照明元件中的额外照明元件被连接到所述头部附接部分。

10.一种头戴式显示器，其包括，

头部附接部分，所述头部附接部分用于放置在用户的头部上；

观察模块，所述观察模块联接到所述头部附接部分并且被配置用于放置在用户眼睛的前方，所述观察模块包括，

内侧，所述内侧具有进入配置用于渲染图像内容的屏幕中的观察窗；

外部壳体，所述外部壳体包围所述内侧；

通信模块，所述通信模块用于与计算机系统交换数据，所述数据包括输入数据、图像数据、音频数据和惯性数据；

照明逻辑，所述照明逻辑用于将所述多个照明元件中的特定照明元件控制为活动的和不活动的。

11.根据权利要求10所述的头戴式显示器，其中所述外部壳体具有面向前部部分、第一侧部分和第二侧部分。

12.根据权利要求11所述的头戴式显示器，其中所述多个照明元件中的第一个安置在所述面向前部部分的左侧上，并且所述多个照明元件中的第二个安置在所述面向前部部分的右侧上。

13.根据权利要求12所述的头戴式显示器，其中所述多个照明元件中的所述第一个具有安置在所述面向前部部分和所述第一侧部分中的两部分形状，并且所述多个照明元件中的所述第二个具有安置在所述向面向前部部分和所述第二侧部分中的两部分形状。

14.根据权利要求10所述的头戴式显示器，其中所述多个照明元件被限定为发光二极管(LED)或红外(IR)发射器。

15.根据权利要求14所述的头戴式显示器，其中LED被限定来照明一种或多种颜色，所述一种或多种颜色的所述照明是由照明逻辑控制。

16.根据权利要求10所述的头戴式显示器，其中所述多个照明元件以限定的图案布置在所述外部壳体上。

17.根据权利要求10所述的头戴式显示器，其中所述通信模块是与所述计算机有线连接或无线连接的通信模块。

18.根据权利要求10所述的头戴式显示器，其中所述惯性数据是由所述头戴式显示器响应于在被所述用户佩戴时检测到的移动生成。

19.根据权利要求10所述的头戴式显示器，其中所述输入数据是由所述头戴式显示器响应于在被所述用户佩戴时的用户输入生成。

20.根据权利要求10所述的头戴式显示器，其中所述音频数据和所述图像数据与待渲染在所述头戴式显示器处的交互式媒体内容相关联。

21.根据权利要求10所述的头戴式显示器，其中所述交互式媒体内容包括游戏数据、视频数据、互联网导航数据、游戏数据和互联网数据的组合、社交媒体数据、或其组合。

22.根据权利要求10所述的头戴式显示器，其中所述外部壳体具有部分弯曲形状，并且所述多个照明元件以围绕所述部分弯曲形状的图案布置。

23.根据权利要求10所述的头戴式显示器，其中所述外部壳体具有多个表面区域，并且所述多个照明元件以围绕所述多个表面区域的图案布置。

24.根据权利要求10所述的头戴式显示器，其中所述多个照明元件包括两个或更多个形状或尺寸。

25.根据权利要求10所述的头戴式显示器，其中所述多个照明元件中的额外照明元件被连接到所述头部附接部分。

26.一种头戴式显示器，其包括，

头部附接部分；

观察模块，所述观察模块联接到所述头部附接部分，所述观察模块包括内部部分和外部壳体，所述内部部分具有进入配置用于渲染图像内容的屏幕中的观察窗；

多个照明元件，所述多个照明元件与所述观察模块的所述外部壳体整合在一起，所述多个照明元件被限定用于所述头戴式显示器的图像追踪；以及

27.一种根据权利要求26所述的头戴式显示器，其还包括，

通信模块，所述通信模块用于与计算机系统交换数据；以及

图像处理模块，所述图像处理模块用于处理所述图像数据，以便在所述屏幕上渲染所述图像内容。

28.根据权利要求26所述的头戴式显示器，其中所述多个照明元件被限定为发光二极管(LED)或红外(IR)发射器。

29.根据权利要求28所述的头戴式显示器，其中所述LED被限定来照明一种或多种颜色，所述一种或多种颜色的所述照明是由照明逻辑控制。

30.根据权利要求26所述的头戴式显示器，其中所述多个照明元件以限定的图案布置在所述外部壳体上。

31.根据权利要求26所述的头戴式显示器，其中所述外部壳体具有部分弯曲形状，并且所述多个照明元件以围绕所述部分弯曲形状的图案布置。

32.根据权利要求26所述的头戴式显示器，其中所述外部壳体具有多个表面区域，并且所述多个照明元件以围绕所述多个表面区域的图案布置。

33.根据权利要求26所述的头戴式显示器，其中所述多个照明元件包括两个或更多个形状或尺寸。

34.一种用于执行待展示在头戴式显示器(HMD)的屏幕上的游戏的方法，其包括，

执行游戏，所述执行在所述屏幕上渲染所述游戏的交互式场景；

接收由用户佩戴的所述HMD的数据，以便识别HMD空间位置；

接收由所述用户握持的控制器的数据，以便识别控制器空间位置；

将数据发送到所述HMD以便在所述HMD的所述屏幕上渲染进入所述游戏的所述交互式场景中的视角；以及

将数据发送到所述HMD，所述数据是用于在检测到所述HMD空间位置改变时调整所述视角，所述方法由处理器执行。

35.根据权利要求34所述的方法，其中所述控制器在所述交互式场景中被表示为虚拟对象，所述虚拟对象在交互式场景中渲染在映射到所述控制器空间位置的虚拟空间位置，并且所述控制器空间位置的变化改变所述虚拟对象的所述虚拟空间位置。

36.根据权利要求34所述的方法，其中所述交互式场景以三维格式渲染，从而使得在所述交互式场景中的对象出现在所述HMD的前方并且延伸一段距离进入所述交互式场景中。

37.根据权利要求34所述的方法，其中使用图像数据、惯性数据、无线数据、红外数据或其组合中的一个或多个来追踪所述HMD空间位置和所述控制器空间位置。

38.根据权利要求37所述的方法，其中使用图像数据追踪包括使用提供深度数据的立体摄像机来检测所述HMD空间位置和所述控制器空间位置中的一个或两个。

39.一种用于执行展示在头戴式显示器(HMD)的屏幕上的游戏的方法，其包括，

接收由用户佩戴的所述HMD的图像，以便相对于指向所述用户的捕获位置来识别HMD空间位置；

接收由所述用户握持的控制器的图像，以便相对于所述捕获位置来识别控制器空间位置，所述控制器提供输入以便至少部分地驱动与正执行的所述游戏的交互作用；以及

渲染进入所述游戏的所述交互式场景中的视角并且发送到所述HMD的所述屏幕；

当在所述HMD的所述接收到的图像中检测到所述HMD空间位置改变时调整所述视角，并且发送到所述HMD的所述屏幕。

40.根据权利要求39所述的方法，其中所述控制器在所述交互式场景中被表示为虚拟对象，所述虚拟对象在交互式场景中渲染在映射到所述控制器空间位置的虚拟空间位置，并且所述控制器空间位置的变化改变所述虚拟对象的所述虚拟空间位置。

41.根据权利要求39所述的方法，其中所述游戏是在通信地连接到所述头戴式显示器的计算机上执行。

42.根据权利要求41所述的方法，其中所述游戏是在游戏云上执行，并且所述头戴式显示器通信地连接到所述游戏云。

43.根据权利要求42所述的方法，其中所述HMD空间位置和所述控制器空间位置中的每一个另外可通过惯性数据识别。

44.一种用于执行展示在头戴式显示器(HMD)的屏幕上的游戏的方法，所述执行在所述屏幕上渲染所述游戏的交互式场景，所述方法包括，

接收由用户佩戴的所述HMD的数据，以便识别HMD空间位置；

将数据发送到所述HMD以便在所述屏幕上渲染进入所述游戏的所述交互式场景中的视角，所述视角是在三维中渲染的空间体积；以及

将数据发送到所述HMD以便在检测到所述HMD空间位置改变时调整所述视角，所述方法由处理器执行。

45.根据权利要求44所述的方法，其中所述控制器提供驱动交互性的输入。

46.根据权利要求44所述的方法，其中所述控制器空间位置的变化提供额外的输入。

47.根据权利要求46所述的方法，其中所述额外的输入包括灯或惯性数据中的一个。

48.根据权利要求47所述的方法，其中当由摄像机观察时所述灯提供位置数据，并且所述灯的颜色提供额外的数据。

49.根据权利要求48所述的方法，其中所述颜色基于室内条件指示玩家编号或模式或设置。

50.根据权利要求44所述的方法，其中所述控制器在所述交互式场景中被表示为虚拟对象，所述虚拟对象在交互式场景中渲染在大致映射到所述控制器空间位置的虚拟空间位置，并且所述控制器空间位置的变化改变如所述屏幕上示出的所述虚拟对象的所述虚拟空间位置。