CN110270088B - 异步虚拟现实交互 - Google Patents

异步虚拟现实交互 Download PDF

Info

Publication number
CN110270088B
CN110270088B CN201910107402.4A CN201910107402A CN110270088B CN 110270088 B CN110270088 B CN 110270088B CN 201910107402 A CN201910107402 A CN 201910107402A CN 110270088 B CN110270088 B CN 110270088B
Authority
CN
China
Prior art keywords
hmd
user
view
session
gameplay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910107402.4A
Other languages
English (en)
Other versions
CN110270088A (zh
Inventor
K.米亚基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment America LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Priority to CN202310385932.1A priority Critical patent/CN116492668A/zh
Publication of CN110270088A publication Critical patent/CN110270088A/zh
Application granted granted Critical
Publication of CN110270088B publication Critical patent/CN110270088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/497—Partially or entirely replaying previous game actions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供了一种方法，包括：记录从视频游戏的第一会话的执行生成的游戏情节元数据，所述第一会话的所述执行由第一用户使用第一抬头显示器(HMD)通过所述视频游戏的交互式游戏情节驱动，其中所述第一会话的所述执行渲染虚拟环境的第一视图，所述第一视图来自由所述交互式游戏情节确定的第一位置且基于所述第一HMD的跟踪移动；将所述游戏情节元数据传输至客户端装置；跟踪第二HMD的移动；通过所述客户端装置使用所述游戏情节元数据执行所述视频游戏的第二会话以重建游戏情节事件，其中所述第二会话的所述执行渲染所述虚拟环境的第二视图，所述第二视图来自基于所述第一位置确定的第二位置且基于所述第二HMD的跟踪移动。

Description

异步虚拟现实交互
技术领域
本公开涉及提供异步虚拟现实交互以及相关联的设备和方法。
背景技术
多年来，视频游戏行业已经发生了许多变化。随着计算能力的扩展，视频游戏的开发者同样创建了利用这些计算能力增长的游戏软件。为此，视频游戏开发者一直在编写包含复杂操作和数学运算的游戏，以产生非常细致且引人入胜的游戏体验。
示例游戏平台包括Sony
Figure GDA0003946564100000011
Sony
Figure GDA0003946564100000012
(PS2)、Sony
Figure GDA0003946564100000013
(PS3)和Sony
Figure GDA0003946564100000014
(PS4)，每个都以游戏控制台的形式出售。众所周知，游戏控制台被设计成连接至显示器(通常是电视机)并通过手持式控制器实现用户交互。游戏控制台设计有专门的处理硬件，包括CPU、用于处理密集图形操作的图形合成器、用于执行几何变换的矢量单元，以及其它胶合硬件、固件和软件。游戏控制台还可以设计有光盘读取器，用于通过游戏控制台接收用于本地游戏的游戏盘。在线游戏也是可能的，其中用户可以通过因特网交互地与其它用户对战或与其它用户同战。由于游戏复杂性不断引起玩家的兴趣，游戏和硬件制造商不断创新以实现附加的交互性和计算机程序。
计算机游戏行业的发展趋势是开发增加用户与游戏系统之间的交互的游戏。实现更丰富的交互式体验的一种方式是使用无线游戏控制器，游戏系统跟踪所述无线游戏控制器的移动，以便跟踪玩家的移动并使用这些移动作为游戏的输入。一般而言，手势输入是指使得例如计算系统、视频游戏控制台、智能设备等的电子装置对由玩家做出并由电子装置捕获的某些手势作出反应。
实现更加身临其境的交互式体验的另一种方式是使用抬头显示器(HMD)。HMD由用户佩戴并且可以被配置成呈现各种图形，例如虚拟空间/环境的视图。抬头显示器上呈现的图形可以覆盖用户视野的大部分或甚至全部。因此，HMD可以向用户提供视觉上身临其境的体验。以这种方式使用HMD来体验虚拟环境通常被称为虚拟现实(VR)，因此HMD也被称为VR耳机。
行业的另一个发展趋势涉及基于云的游戏系统的开发。这些系统可以包括远程处理服务器，所述远程处理服务器执行游戏应用程序并且与本地瘦客户端通信，本地瘦客户端可以被配置成从用户接收输入并在显示器上渲染视频。在一些实施方式中，远程处理服务器可以包括游戏控制台的物理硬件，或复制游戏控制台的物理硬件的此类硬件。在其它实施方式中，远程处理服务器可以定义模拟游戏控制台的硬件的虚拟机。
正是在此背景下，出现了本公开的实施方案。
发明内容
本公开的实施方式包括用于提供异步虚拟现实交互的方法和系统。
在一些实施方式中，提供一种方法，所述方法包括以下操作：记录从视频游戏的第一会话的执行生成的游戏情节元数据，所述第一会话的所述执行由第一用户使用第一抬头显示器(HMD)通过所述视频游戏的交互式游戏情节驱动，其中所述第一会话的所述执行渲染所述视频游戏的虚拟环境的第一视图以通过所述第一HMD呈现，所述第一视图来自由所述交互式游戏情节确定的所述虚拟环境中的第一位置，所述第一视图还基于所述第一HMD的跟踪移动；在完成所述第一会话之后，将所述游戏情节元数据传输至客户端装置；通过所述客户端装置跟踪第二HMD的移动；通过所述客户端装置使用所述游戏情节元数据执行所述视频游戏的第二会话，以在所述第二会话中重建来自所述第一会话的游戏情节事件，其中所述第二会话的所述执行渲染所述虚拟环境的第二视图以通过第二HMD呈现，所述第二视图来自所述虚拟环境中基于所述虚拟环境中的第一位置确定的第二位置，所述第二视图还基于所述第二HMD的跟踪移动。
在一些实施方式中，所述第一HMD的所述跟踪移动包括在其中安置所述第一HMD的第一本地环境中所述第一HMD的跟踪取向；其中所述虚拟环境中的所述第一视图的取向由所述第一HMD的所述跟踪取向确定。
在一些实施方式中，所述第二HMD的所述跟踪移动包括在其中安置所述第二HMD的第二本地环境中所述第二HMD的跟踪取向；其中所述虚拟环境中的所述第二视图的取向由所述第二HMD的所述跟踪取向确定。
在一些实施方式中，所述虚拟环境中的所述第一位置是安置在所述虚拟环境中的虚拟车辆中的预定义第一位置；其中所述虚拟环境中的所述第二位置是所述虚拟车辆中的预定义第二位置。
在一些实施方式中，所述虚拟车辆中的所述预定义第一位置是所述虚拟车辆中的驾驶员位置；其中所述虚拟车辆中的所述预定义第二位置是所述虚拟车辆中的乘客位置。
在一些实施方式中，所述游戏情节元数据包括由所述视频游戏的所述第一会话的所述执行生成的游戏状态值。
在一些实施方式中，所述第一会话的所述执行包括处理由所述第一用户从所述交互式游戏情节生成的输入数据；其中所述游戏情节元数据包括所述输入数据。
在一些实施方式中，经由所述第一用户所操作的输入装置生成所述输入数据。
在一些实施方式中，所述第一会话由远离所述客户端装置的计算装置执行，所述计算装置和所述客户端装置连接至网络，所述游戏情节元数据通过所述网络传输。
在一些实施方式中，提供了一种方法，所述方法包括以下操作：记录从视频游戏的第一会话的执行生成的游戏情节元数据，所述第一会话的所述执行由第一用户使用第一抬头显示器(HMD)通过所述视频游戏的交互式游戏情节驱动，其中所述第一会话的所述执行渲染所述视频游戏的虚拟环境的第一视图以通过所述第一HMD呈现，所述第一视图来自由所述交互式游戏情节确定的所述虚拟环境中的第一位置，所述第一视图还基于所述第一HMD的跟踪移动；在完成所述第一会话之后，将所述游戏情节元数据传输至客户端装置；通过所述客户端装置跟踪第二HMD的移动；通过所述客户端装置使用所述游戏情节元数据执行所述视频游戏的第二会话，以在所述第二会话中重建来自所述第一会话的游戏情节事件，其中所述第二会话的所述执行渲染所述虚拟环境的第二视图以通过第二HMD呈现，所述第二视图来自所述虚拟环境中基于所述第二HMD的所述跟踪移动确定的第二位置。
在一些实施方式中，使用由第二用户从与所述视频游戏的所述第二会话的交互性生成的输入数据来进一步确定所述第二位置。
在一些实施方式中，经由所述第二用户所操作的输入装置生成所述输入数据。
在一些实施方式中，所述第二HMD的所述跟踪移动包括在其中安置所述第二HMD的本地环境中所述第二HMD的跟踪取向；其中所述虚拟环境中的所述第二视图的取向由所述第二HMD的所述跟踪取向确定。
在一些实施方式中，所述第二视图的所述渲染被配置成具有基于所述第二视图相对于所述虚拟环境中的所述第一视图的所述第一位置的取向来调整的设置。
在一些实施方式中，所述设置的所述调整包括所述第二视图的所述渲染的细节水平的调整，使得当所述第二视图的所述取向朝向所述第一视图的所述第一位置时所述细节水平提高，且当所述第二视图的所述取向远离所述第一视图的所述第一位置时所述细节水平降低。
在一些实施方式中，所述细节水平由虚拟对象的量、颜色饱和度的量、纹理量、阴影量、分辨率水平、图形复杂度中的一个或多个定义。
通过以下结合附图的详细描述，本公开的其它方面和优点将变得显而易见，附图通过实例的方式示出了本公开的原理。
附图说明
通过参考结合附图的以下描述可以更好地理解本公开，在附图中：
图1示出根据本公开的实施方案的用于视频游戏的交互式游戏情节的系统。
图2示出根据本公开的实施方案的抬头显示器(HMD)。
图3概念性地示出根据本公开的实施方案的HMD与正在执行的视频游戏相结合的功能。
图4概念性地示出根据本公开的实施方式的抬头显示器的用户之间的异步交互。
图5概念性地示出根据本公开的实施方式的在游戏情节会话期间第一用户的视图取向的改变，以及当观看第一用户的游戏情节会话的回放时第二用户的视图取向的改变。
图6A示出根据本公开的实施方式的虚拟环境中的虚拟角色的概念性俯视图，其示出了虚拟环境中的视图位置和视图方向的关系。
图6B示出的曲线图展示了根据本公开的实施方式的虚拟角色408的水平角取向(参考604)以及虚拟角色426相对于虚拟角色408的角取向的角位置(参考606)。
图7概念性地示出根据本公开的实施方式的第二用户420能够在观看虚拟环境中的第一用户的游戏情节的回放时独立于所述第一用户进行导航和观看。
图8概念性地示出根据本公开的实施方式的在渲染调整的情况下回放第一用户400的游戏情节期间虚拟环境中的虚拟角色。
图9概念性地示出根据本公开的实施方式的在渲染调整的情况下回放第一用户400的游戏情节期间虚拟环境中的虚拟角色。
图10概念性地示出根据本公开的实施方式的第一用户400的虚拟角色穿过的路径，以及被维持在第一用户400的虚拟角色附近的第二用户420的虚拟角色穿过的路径。
图11概念性地示出根据本公开的实施方式的虚拟环境中的虚拟角色以及虚拟角色可以定位于其中的区域的变化。
图12示出根据本公开的实施方式的用于实现HMD用户之间的异步交互的系统。
图13示出根据本公开的实施方案的抬头显示器的组件。
图14是根据本公开的各种实施方案的游戏系统1400的框图。
具体实施方式
本公开的以下实施方式提供了用于提供异步虚拟现实(VR)交互的方法和系统。目前，虚拟现实市场正在扩大，但是与更广大的视频游戏市场相比并不是很大。因此，可能难以在线找到其它虚拟现实用户进行同步交互。因此，提供利用虚拟现实用户网络的异步交互是有益的。
然而，对于所属领域技术人员显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践本公开。在其它情况下，没有详细描述公知的过程操作，以免不必要地模糊本公开。
图1示出根据本公开的实施方案的用于视频游戏的交互式游戏情节的系统。用户100示出为佩戴抬头显示器(HMD)102，也称为虚拟现实(VR)耳机。HMD 102以类似于眼镜、护目镜或头盔的方式佩戴，并且被配置成向用户100显示视频游戏或其它内容。HMD 102凭借其紧邻用户的眼睛提供显示机构而向用户提供非常身临其境的体验。因此，HMD 102可以向用户的每只眼睛提供显示区域，所述显示区域占用用户的大部分或甚至整个视野。术语“虚拟现实”通常是指通过HMD观看虚拟空间/环境，使得HMD向用户显示的虚拟空间的视图实时响应HMD的跟踪移动，从而向用户提供物理存在于虚拟空间/环境中的感觉。例如，当用户在给定方向上移动其头部时，则更新通过HMD显示的视图以在虚拟空间中显示所述方向上的视图。
在一个实施方案中，HMD 102可以连接至计算机106。与计算机106的连接可以是有线的或无线的。计算机106可以是本领域中已知的任何通用或专用计算机，包括但不限于游戏控制台、个人计算机、膝上型计算机、平板计算机、移动装置、蜂窝电话、平板电脑、瘦客户端、机顶盒、媒体串流装置等。在一个实施方案中，计算机106可以被配置成执行视频游戏，并从视频游戏输出视频和音频以供HMD 102渲染。
用户100可以操作界面对象104(例如，控制器装置、手套控制器等)，从而为视频游戏提供输入。另外，相机108可以被配置成捕获用户100所位于的交互式环境的图像。可以分析这些捕获的图像以确定用户100、HMD 102和界面对象104的位置和移动。在一个实施方案中，界面对象104包括可以被跟踪以确定其位置和方向的灯。另外，HMD 102可以包括可以被跟踪以确定HMD 102的位置和取向的一个或多个灯。相机108可以包括一个或多个麦克风以捕获来自交互式环境的声音。可以处理由麦克风阵列捕获的声音以识别声源的位置。可以选择性地利用或处理来自所识别位置的声音，以排除不是来自所识别位置的其它声音。此外，相机108可以被定义为包括多个图像捕获装置(例如，立体相机对)、IR相机、深度相机及其组合。
在另一实施方案中，计算机106用作通过网络与云游戏提供商112通信的瘦客户端。云游戏提供商112维护并执行用户100正在玩的视频游戏。计算机106将来自HMD 102、界面对象104和相机108的输入传输至云游戏提供商，云游戏提供商处理所述输入以影响正在执行的视频游戏的游戏状态。来自正在执行的视频游戏的输出，例如视频数据、音频数据和触觉反馈数据被传输至计算机106。计算机106可以在传输之前进一步处理所述数据，或者可以直接将所述数据传输至相关装置。例如，将视频和音频流提供给HMD 102，而将振动反馈命令提供给界面对象104。
在一个实施方案中，HMD 102、界面对象104和相机108本身可以是连接至网络110以与云游戏提供商112通信的联网装置。例如，计算机106可以是例如路由器的本地网络装置，其不另外执行视频游戏处理，而是促进网络流量的通过。HMD 102、界面对象104和相机108至网络的连接可以是有线的或无线的。
另外，尽管可以参考抬头显示器描述本公开中的实施方案，但是应理解，在其它实施方案中，非抬头显示器可以被替代，包括但不限于电视机、投影仪、LCD显示屏、便携式装置屏幕(例如平板电脑、智能手机、膝上型计算机等)，或可以被配置成渲染视频和/或提供根据本发明实施方案的交互式场景或虚拟环境的显示的任何其它类型的显示器。
图2示出根据本公开的实施方案的抬头显示器(HMD)。如图所示，HMD 102包括多个灯200A-H。这些灯中的每一个可以被配置成具有特定形状，并且可以被配置成具有相同或不同的颜色。灯200A、200B、200C和200D布置在HMD 102的前表面上。灯200E和200F布置在HMD 102的侧表面上。并且灯200G和200H布置在HMD 102的角落处，以便跨越HMD 102的前表面和侧表面。应理解，可以在用户使用HMD 102的交互式环境的捕获图像中识别灯。基于对灯的识别和跟踪，可以确定HMD 102在交互式环境中的位置和取向。还应理解，取决于HMD102相对于图像捕获装置的特定取向，一些灯可以是或可以不是可见的。而且，取决于HMD102相对于图像捕获装置的取向，可以暴露不同部分的灯(例如，灯200G和200H)用于图像捕获。
在一个实施方案中，灯可以被配置成向附近的其它人指示HMD的当前状态。例如，一些或所有灯可以被配置成具有特定颜色布置、强度布置、被配置成闪烁、具有特定开/关配置，或指示HMD 102的当前状态的其它布置。例如，灯可以被配置成在视频游戏的活动游戏情节(通常在活动时间轴期间或在游戏场景内发生的游戏情节)对比视频游戏的其它非活动游戏情节方面，例如导航菜单界面或配置游戏设置(在此期间游戏时间轴或场景可能处于非活动状态或暂停状态)期间显示不同的配置。灯也可以被配置成指示游戏情节的相对强度水平。例如，当游戏情节的强度增加时，灯的强度或闪烁的速率可以增加。以这种方式，用户之外的人可以观看HMD 102上的灯并且了解用户积极地参与激烈的游戏情节，并且在那个时刻可能不希望被打扰。
HMD 102可以另外包括一个或多个麦克风。在所示实施方案中，HMD 102包括界定在HMD 102的前表面上的麦克风204A和204B，以及界定在HMD 102的侧表面上的麦克风204C。通过利用麦克风阵列，来自每个麦克风的声音可以被处理以确定声源的位置。可以各种方式使用此信息，包括排除不需要的声源、声源与视觉识别的关联性等。
HMD 102还可以包括一个或多个图像捕获装置。在所示实施方案中，HMD 102被示出为包括图像捕获装置202A和202B。通过利用立体图像捕获装置对，可以从HMD 102的视角捕获环境的三维(3D)图像和视频。可以向用户呈现这样的视频以在用户佩戴HMD 102时向用户提供“视频透视式”能力。也就是说，尽管严格来说用户不能透视HMD 102，但是由图像捕获装置202A和202B捕获的视频仍然可以提供能够好像看穿HMD 102一样看到HMD 102外部的环境的等效功能。这样的视频可以用虚拟元素来增强以提供增强现实体验，或者可以其它方式与虚拟元素组合或混合。尽管在所示实施方案中，在HMD 102的前表面上示出了两个相机，但是应理解，可以在任何方向上在HMD 102上安装任何数量的面向外部的相机。例如，在另一实施方案中，可以在HMD 102的侧面上安装相机以提供环境的附加全景图像捕获。
在一些实施方式中，使用面向外部的相机来跟踪HMD的位置和/或取向。在一些实施方式中，HMD使用即时定位与地图创建(SLAM)技术或其它方法来确定HMD在本地环境中的位置/取向。
在一些实施方式中，HMD包括一个或多个惯性传感器，以使得能够检测和跟踪HMD的移动。
在一些实施方式中，HMD包括磁传感器，其被配置成检测由位于本地环境中的一个或多个磁发射器生成的磁场/信号。通过感测磁场/信号，可以确定HMD的位置和/或取向。
图3概念性地示出根据本公开的实施方案的HMD 102与正在执行的视频游戏相结合的功能。正在执行的视频游戏由游戏引擎320定义，所述游戏引擎接收输入以更新视频游戏的游戏状态。视频游戏的游戏状态可以至少部分地由定义当前游戏情节的各个方面的视频游戏的各种参数值来定义，例如对象的存在和位置、虚拟环境的条件、事件触发、用户配置文件、观看视角等。
在所示实施方案中，游戏引擎通过实例的方式接收控制器输入314、音频输入316和运动输入318。控制器输入314可以根据与HMD 102分开的游戏控制器的操作来定义，游戏控制器例如，手持式游戏控制器(例如，Sony
Figure GDA0003946564100000111
4无线控制器、Sony
Figure GDA0003946564100000112
Move运动控制器)或手套界面对象104。举例来说，控制器输入314可以包括方向输入、按钮按压、触发激活、移动、手势，或从游戏控制器的操作处理的其它类型的输入。音频输入316可以从HMD 102的麦克风302处理，或者从包括在图像捕获装置108中或本地环境中的其它地方的麦克风处理。运动输入318可以从包括在HMD 102中的运动传感器300处理，或者在图像捕获装置108捕获HMD 102的图像时从所述图像捕获装置处理。游戏引擎320接收根据游戏引擎的配置处理的输入以更新视频游戏的游戏状态。游戏引擎320将游戏状态数据输出至各个渲染模块，所述渲染模块处理游戏状态数据以定义将呈现给用户的内容。
在所示实施方案中，视频渲染模块322被定义为渲染视频流以在HMD 102上呈现。视频流可以由显示器/投影仪机构310呈现，并且由用户的眼睛306通过光学器件308观看。音频渲染模块304被配置成渲染音频流以供用户收听。在一个实施方案中，音频流通过与HMD 102相关联的扬声器304输出。应理解，扬声器304可以采用露天扬声器、头戴耳机或能够呈现音频的任何其它种类的扬声器的形式。
在一个实施方案中，在HMD 102中包括注视跟踪相机312以使得能够跟踪用户的注视。注视跟踪相机捕获用户眼睛的图像，分析这些图像以确定用户的注视方向。在一个实施方案中，可以利用关于用户的注视方向的信息来影响视频渲染。例如，如果确定用户的眼睛正看向特定方向，则可以例如通过在用户正在看的区域中提供更多细节或更快更新来优先化或强调所述方向的视频渲染。应理解，可以相对于抬头显示器、相对于用户所处的真实环境和/或相对于在抬头显示器上渲染的虚拟环境来定义用户的注视方向。
一般而言，当单独考虑时，分析由注视跟踪相机312捕获的图像提供了用户相对于HMD 102的注视方向。然而，当结合HMD 102的跟踪位置和取向考虑时，可以确定用户的真实世界注视方向，因为HMD 102的位置和取向与用户头部的位置和取向同义。也就是说，可以通过跟踪用户眼睛的位置移动并跟踪HMD 102的位置和取向来确定用户的真实世界注视方向。当在HMD 102上渲染虚拟环境的视图时，可以应用用户的真实世界注视方向来确定虚拟环境中用户的虚拟世界注视方向。
另外，触觉反馈模块326被配置成向HMD 102或由用户操作的另一装置，例如控制器104中包括的触觉反馈硬件提供信号。触觉反馈可以采取各种触觉的形式，例如振动反馈、温度反馈、压力反馈等。
图4概念性地示出根据本公开的实施方式的在抬头显示器的用户之间的异步交互。在所示实施方式中，第一用户400玩视频游戏，其中第一用户400控制车辆。例如，视频游戏可以是赛车游戏，其中第一用户400沿着路线408比赛车辆406(例如，汽车、船、飞机、航天器等)速度。作为实例而非限制，在所示实施方式中，车辆406采取具有驾驶员座位和多个乘客座位的汽车的形式。
在附图标记407处示出了车辆406的概念性俯视图。第一用户400控制驱动汽车406的虚拟角色408。虚拟角色408坐在汽车406的驾驶员座位410中。因此，视图412来自驾驶员座位410中的虚拟角色408的视角，其定义视频游戏的虚拟环境中的第一视图位置。作为实例而非限制，当第一用户400向前看时，则第一用户400可以看到虚拟角色408的手操作汽车406的方向盘。
应理解，在游戏情节过程中第一用户的视图412可以被记录为视频。此记录的视频可以稍后被回放并由另一用户观看。然而，当后一个用户是另一HMD用户时，这种回放不能利用HMD的能力来提供更具吸引力的体验。并且此外，视图的强制移动可能引起后一用户的不适或不舒服。因此，根据本公开的实施方式，可以向HMD用户提供增强的异步体验，胜过回放第一用户400的游戏情节的记录视频。
例如，在所示实施方式中，第二用户420能够观看第一用户400的游戏情节，但是作为汽车406中的乘客。第二用户420使用HMD422观看第一用户400的游戏情节的重放。第二用户420还可以操作控制器装置424以在观看重放期间提供输入并提供命令。作为汽车406中的乘客，第二用户420可以由位于汽车406中的乘客座位428中的虚拟角色426表示并控制所述虚拟角色426。因此，从汽车406中的第二视图位置，即乘客座位428中的虚拟角色426的位置的视角定义虚拟环境的视图430。
应理解，提供给第二用户420的视图430是在第一用户400的初始游戏情节之前不存在并且不是在第一用户400的初始游戏情节期间生成的新颖视角。此外，视图430可以响应于HMD 422的跟踪移动，使得第二用户420能够在重放期间环顾四周并且在不同方向上看。在一些实施方式中，跟踪HMD 422的位置和/或取向并使用所述位置和/或取向来确定视图430的视图位置和/或取向。应理解，因为视图430是从汽车406中的乘客虚拟角色426的视角来看的，所以第二用户420的视图430的视图位置与视频游戏的虚拟环境中的汽车406的位置和移动相关联。在一些实施方式中，视图430的视图位置受汽车406的界限限制。例如，在汽车406内可能存在有限的空间，视图430的视图位置可以在所述有限空间内移动，从而例如，响应于第二用户420移动HMD 422，视图位置无法移动到汽车406外部。
在一些实施方式中，第二用户420可以在重放期间提供评论。此外，这些评论可以与进行评论时的重放期间的特定回放时间相关联，使得观看重放的其它用户(其可以包括第一用户400)可以在观看重放时作出评论的时间看到所述评论。
通过使第二用户420能够从不同的视角同一车辆中的乘客的视角)观看第一用户400的游戏情节，第二用户420能够在游戏情节中体验更大的参与感和交互感，尽管所述交互是异步的。因为作为由另一人驾驶的车辆中的乘客这是自然视角，而在实际上不是车辆驾驶员的情况下占用驾驶员的视角是不自然的。
在一些实施方式中，在汽车406中可以存在附加的乘客座位，例如乘客座位432a、432b和432c。这样的乘客座位可以由代表附加用户440的附加虚拟角色占用。应理解，此类附加用户440将能够从其在汽车406的座位中的相应虚拟角色所定义的视角来观看重放。在一些实施方式中，当多个用户同时占用汽车406时，他们可以例如通过谈话和/或文本聊天彼此交互。每个用户由其各自的虚拟角色或替身表示，每个用户可以根据自己的喜好自定义所述虚拟角色或替身。因此，在汽车406中同时作为乘客的用户将能够看到彼此的替身并且彼此交互，就好像他们是真实车辆中的乘客一样。以这种方式，可以提供与第一用户400进行的初始游戏情节异步的共享体验。例如通过使用控制器装置、用户运动跟踪等，用户可以通过各种控制机构进一步控制其对应的虚拟角色/替身的手势。
在一些实施方式中，当第二用户420(和/或如上所述的其它附加用户)查看作为汽车406中的乘客的第一用户400的游戏情节时，可以记录第二用户420的视图。根据本公开的实施方式，其它用户可获得这种记录的乘坐视频来观看。
在一些实施方式中，当第二用户420(和/或如上所述的其它附加用户)查看作为汽车406中的乘客的第一用户400的游戏情节时，可以记录第二用户420在观看期间的交互。例如，可以记录第二用户420的虚拟角色/替身426的移动、第二用户420说出的音频、第二用户420的评论等。使用此信息以及第一用户400的所记录游戏情节，然后另一个用户可以在第二用户420观看第一用户400的游戏情节期间异步地观看第一用户400的游戏情节以及第二用户420的交互。以这种方式，可以与第一用户的游戏情节对第二用户显现的方式类似的方式获得第二用户420的后续异步交互，例如，对于座位432a、432b和432c中的一个或多个另外的乘客(用户440)。由此，另外的乘客可以观看第一用户400和第二用户420的聚合回放。
作为实例而非限制，能够观看聚合的异步交互的此类特征对于提供其中玩家的游戏情节被另一玩家评论的游戏教程有用。例如，如上所述，在第一用户400横穿赛道时记录第一用户400的游戏情节，其中记录了元数据和游戏状态(例如，车辆位置、第一用户400的手势等)。然后，第二用户420在稍后的某点使用捕获的元数据作为汽车中的乘客，并且评论第一用户400的驾驶，(例如，指示第一用户400错过了最高点、或在通向高速正道的转弯出口处摆动幅度不够宽、在某一点需要加大油门、在特定位置应该急剧转弯等)，并且可以捕获此类音频和手势。然后，在稍后的时间点，正在观看第一用户400的驾驶以及第二用户420的交互的后座432a/b/c中的一个或多个乘客可以从驾驶和评论/指示中学习。例如，乘客可以看到第一和第二用户的对应替身的移动、手势和任何其它所记录的交互。
因此，可观看的聚合异步交互的一个应用是使用户能够评论彼此的游戏情节，以便其它用户可以从游戏情节和评论中学习。虽然已经参考驾驶模拟描述了前述实例，但是应理解，这些概念可以应用于可以记录异步游戏情节/交互并且可供以后观看的任何类型的游戏或交互式应用程序。
图5概念性地示出根据本公开的实施方式的在游戏情节会话期间第一用户的视图取向的改变，以及当观看第一用户的游戏情节会话的回放时第二用户的视图取向的改变。在所示实施方式中，示出了第一用户400通过虚拟环境的路径500。在各个时间点，第一用户400的视图方向由对应箭头示出。在时间t0，第一用户400(或表示第一用户400或由第一用户400控制的虚拟角色/替身)被示出在虚拟环境中具有位置P0，并且具有视图方向D0。在时间t1，第一用户400已经移动到位置P1，并且具有视图方向D1。在时间t2，第一用户400已经移动到位置P2，并且具有视图方向D2。在时间t3，第一用户400已经移动到位置P3，并且具有视图方向D3。
当使用HMD来观看另一用户的游戏情节的回放时，简单地观看用户的游戏情节的记录可能引起观看者的不适或不舒服，因为游戏情节的这种第一人称视角可能在视图的位置和取向上变化太快或太突然，以引起观看者不舒服。因此，在一些实施方式中，提供回放，其中视图的取向由观看者控制。
例如，在一些实施方式中，第二用户420在第一用户400游戏情节的回放期间的视图是来自在游戏情节期间的给定时间内的相同位置，但是第二用户420的视图方向(或视图取向)可以由第二用户420确定。因此，继续参考图5，当第二用户420正在观看第一用户400的游戏情节的回放时，第二用户420的视图位置遵循如图所示从位置P0至P3以及更远地通过虚拟环境的相同路径500。然而，在回放期间第二用户420的视图方向/取向不一定遵循与第一用户400相同的视图方向(即，从D0至D3以及更远)。
在一些实施方式中，第二用户420的视图方向完全与第一用户400的视图方向分离，使得回放期间的视图方向完全由第二用户420控制。应理解，可以响应于各种类型的输入来控制第二用户420的视图方向，所述输入例如，第二用户420的HMD装置的跟踪移动、来自第二用户420操作的控制器装置的输入等。
在一些实施方式中，第二用户420的视图方向部分地由第一用户400的视图方向控制并且部分地由第二用户420控制。例如，在一些实施方式中，第二用户420的视图方向由第一用户400的视图方向和来自第二用户420的输入的组合产生。在一些实施方式中，当第二用户420的HMD处于预定义的初始取向(例如，主页取向或当第二用户420正向前看时)时，第二用户420的视图方向与第一用户400的视图方向相同，但是基于第二用户420的HMD的取向改变而偏离第一用户400的观看方向。例如，当第二用户420通过将他们的头部转向右看而移动他们的HMD时，则在回放第一用户400的游戏情节期间的时间，第二用户420的视图方向相对于第一用户400的视图方向向右转。
在一些实施方案中，在回放期间第一用户400的视图方向的取向变化限于最大变化率。例如，在一些实施方式中，在第二用户420的回放观看期间允许不超过预定义最大变化率的第一用户400的视图方向变化，而将超过预定义最大变化率的变化减小至预定义最大变化率。在这些实施方式中，第二用户420的视图方向可以在特定时间期间滞后于第一用户400的视图方向，并且如果第一用户400的视图方向在这样的时间期间改变为新方向，则根据相同的预定义最大速率相应地调整第二用户420的视图方向以便朝向新方向移动。
在一些实施方式中，在回放期间第二用户420的视图方向可响应于第二用户420的用户输入而配置以在各种可选模式之间切换，包括作为实例而非限制：被锁定到第一用户400的视图方向、完全与第一用户400的视图方向分离且完全由第二用户420控制、和/或由第一用户400的视图方向部分地控制且由第二用户420部分地控制。在一些实施方式中，可以响应于来自第二用户420操作的控制器装置的按钮输入来切换第二用户420的视图方向。
在一些实施方式中，在回放游戏情节期间第二用户420的视图方向与第一用户400的视图方向相同，直到第二用户420移动其HMD(例如，超过远离初始取向的阈值量)，此时第二用户420的视图方向变为与第一用户400的视图方向取向分离(并且完全由第二用户420控制)。为了返回到第一用户400的视图方向，第二用户420可以提供预定义输入，作为实例而没有限制，例如按下按钮或执行预定义手势或说出口头命令。
继续参考图5，曲线图502示出第一用户400和第二用户420的视图方向的水平角度(以度为单位)随时间的变化，使得当第二用户420观看第一用户400的游戏情节的回放时，第二用户420的视图方向独立于第一用户400的视图方向。第一用户400的视图方向的角度由曲线504示出，并且第二用户420的视图方向的角度由曲线506示出。
在时间t0，第一用户400具有0度角的视图方向D0，并且第二用户420也具有0度角的相同视图方向。然而，随着时间从t0进展到t1，第一用户400的视图方向以大约90度的角度变为D1；而独立于第一用户400的视图方向的第二用户420的视图方向不会改变，而是保持在0度。在时间t2，第一用户400的视图方向D2已经移动到大约-60度，而第二用户420的视图方向已经移动到大约150度。在时间t3，第一用户400的视图方向D3已经移动到大约-15度，而第二用户420的视图方向已经移动到大约90度。
作为实例而非限制，在时间t0，第二用户420被示出具有视图508。如上所述，所述视图与第一用户400的视图相同。在一些实施方式中，提供指示器510以指示第一用户400的视图方向相对于第二用户420的视图方向的方向。在所示实施方式中，指示器510呈条的形式，从以指针指示度数，这示出第一用户400的视图方向在回放期间的时间处的方向。如图所示，指针在零处，因为第二用户420的视图方向与第一用户400的视图方向相同。
在时间t1，第二用户420被示出具有视图512。此时，如先前所讨论，第二用户420的视图方向为0度，而第一用户400的视图方向为90度。因此，第一用户400的视图方向现在相对于第二用户420的视图方向为+90度。在所示实施方式中，指示器510因此将指针显示为90度，从而示出第一用户400的视图方向相对于第二用户420的视图方向在时间t1的水平角度。另外，在一些实施方式中，可以用例如箭头514的视觉提示的形式提供另外的指示器，其指示第一用户400的视图方向相对于第二用户420的视图方向的方向。
尽管已经关于水平视图方向描述了实施方式，但是应理解，本公开的原理也可以应用于竖直视图方向。例如，指示器510还可以指示第一用户400的竖直视图方向。
图6A示出根据本公开的实施方式的虚拟环境中的虚拟角色的概念性俯视图，其示出了虚拟环境中的视图位置和视图方向的关系。在所示实施方式中，虚拟角色408表示第一用户400，并且还定义第一用户400视图的视图位置或视角和视图方向。在初始时间，第一用户400视图在虚拟环境中具有视图方向E1。
在一些实施方式中，观看第一用户400的游戏情节的第二用户420可以由虚拟角色426表示。所示的虚拟角色426定义第二用户420视图的视图位置或视角和视图方向。在所示实施方式中，在初始时间，第二用户420视图在虚拟环境中具有与视图方向E1基本相似的视图方向F1。
在一些实施方式中，第二用户420的视图被配置成与第一用户400的视图具有预定义的空间关系。所述预定义的空间关系可以由某些预定义参数定义，例如第二用户420的视图位置距第一用户400的视图位置的预定义距离，以及第二用户420的视图位置相对于第一用户400的视图位置的预定角位置。如在所示实施方式中，第一用户400和第二用户420的相应虚拟角色定义其视图位置，虚拟角色426可以与虚拟角色408具有预定义的空间关系。如图所示，虚拟角色408在虚拟环境中具有位置G1，并且虚拟角色426在位置G2处在虚拟环境中与虚拟角色408分开距离L。此外，虚拟角色426横向位于虚拟角色408的左侧。
定义第一用户400视图的虚拟角色408示出为面向方向E1。如果认为方向E1是零度，则在回放第一用户400的游戏情节的同时，定义第二用户420视图的虚拟角色426的位置相对于虚拟角色408具有大约-90度(即，从俯视视角考虑时，在逆时针方向上约为90度)的角位置。通过将虚拟角色426定位在预定义的相对位置处的虚拟角色408附近，相比如果第二用户420从虚拟角色408的特定视角观看回放，第二用户420可以按更自然的感觉参与方式体验回放。因此尽管互动是异步的也可以提供增强的体验。
然而，此类布置提出了如何在游戏情节过程中维持这种空间关系的问题。对于实时地牢固维持这种空间关系将意味着由虚拟角色426定义的第二用户420的视图位置可以由于虚拟角色408的快速移动(位置和/或取向的改变)而非常快速地移动，以便实时维持所述空间关系。这可能导致第二用户420因其视图位置的过多移动而感到不适。例如，如果第一用户400将虚拟角色408快速地顺时针旋转90度到视图方向E2(例如通过操作控制器装置或转动HMD)，并且实时维持虚拟角色426与虚拟角色408的空间关系，则虚拟角色426将同时从位置G2(和视图方向F1)移动至位置G3(和视图方向F2)，从而在所述过程中快速穿过路径600。在这种情况下，可以看出，即使虚拟角色408的取向的相当小的变化也可能导致虚拟角色426的明显移动。
因此，在一些实施方式中，允许第二用户420的视图位置和/或取向从其与第一用户400的视图位置和/或取向的预定义的空间关系漂移。例如，在一些实施方式中，虚拟角色426响应于虚拟角色408的移动而移动，以便维持预定义的空间关系，但是虚拟角色426的移动被限制为虚拟环境中的预定义的最大移动速度。在一些实施方式中，虚拟角色426的移动被限制为预定义的最大加速度(速度的变化)。应理解，速度/加速度可以涉及虚拟环境中的虚拟角色426的平移以及角移动。
当虚拟角色426与虚拟角色408的空间关系未被实时维持时(例如通过如上所述设置最大速度/加速度)，则虚拟角色426的位置/取向将基于预定义的空间关系滞后于其预期(或正确)位置/取向。例如，如所示实施方式中所指示，当虚拟角色408顺时针旋转90度时，则虚拟角色426的预期位置/取向位于位置G3和方向F2。然而，由于不能实时维持空间关系，则会出现虚拟角色408已顺时针旋转90度而虚拟角色426尚未到达位置G3和方向F2的情况。
鉴于此，虚拟角色426可以更快地穿过更直接的路径602而不是穿过路径600以便到达位置G3和方向F2。在一些实施方式中，对于每个帧(或预定数量的帧或预定量/单位的经过时间)，确定从虚拟角色426的当前位置/取向到预期位置/取向的最佳方向(例如，需要最少时间到达预期位置/取向的方向)，并使虚拟角色426在最佳方向(例如，受到例如最大速度/加速度的约束)上穿过虚拟环境。例如，可以沿着最佳方向线性地内插下一帧中的虚拟角色的位置/取向。应理解，当虚拟角色408可以继续移动时，虚拟角色426的最佳移动方向可以继续从一个帧改变到下一帧。以这种方式，虚拟角色426以有效的方式朝向其预期位置/取向移动以保持预定的空间关系。
图6B示出的曲线图展示了根据本公开的实施方式的虚拟角色408的水平角取向(参考604)以及虚拟角色426相对于虚拟角色408的角取向的角位置(参考606)。再次，如已经指出的，虚拟角色408和426的取向分别与第一用户400和第二用户420的视图方向同义。在初始时间t0，虚拟角色408展现零度的取向(方向E1)，并且虚拟角色426展现相对于虚拟角色408的位置-90度的角位置(其根据虚拟角色426与虚拟角色408的预定义的空间关系)。从时间t1至t2，虚拟角色408的角取向从零度变为90度(从E1旋转至E2)。在从t1到t2的这段时间内，虚拟角色426相对于虚拟角色408的角位置可能滞后于预期角位置(其根据预定义的空间关系将是-90度)，因此在负方向上增加至-165度，之后再趋向于回到-90度的预定义的空间关系。
图7概念性地示出根据本公开的实施方式的第二用户420能够在观看虚拟环境中的第一用户的游戏情节的回放时独立于所述第一用户进行导航和观看。在回放的初始时间，第一用户400具有来自虚拟环境中的位置P0的视图。如所指出，第一用户400视图可以由代表性虚拟角色408的位置和取向定义。在第一用户400的游戏情节的回放期间，在一些实施方式中，第二用户420能够独立于第一用户400的视图导航其视图。这可以包括独立于第一用户400视图导航所述视图的位置和取向。第二用户420视图可以由代表性虚拟角色426定义，所述代表性虚拟角色由第二用户420在虚拟环境中独立地导航。因为第二用户420可以例如通过移动虚拟角色426而独立地确定其视图，因此与先前描述的实施方式不同，第二用户420的虚拟角色426的位置和取向可以不跟踪第一用户400的虚拟角色408的位置和取向，在虚拟角色之间没有维持的空间关系。
因此，例如，当虚拟角色408从位置P0移动至位置P1时，虚拟角色426可能不跟随。并且虚拟环境的第二用户420视图可能变得更加脱离第一用户400视图，因为虚拟角色426的位置变得更远离虚拟角色408的位置。因此，在一些实施方式中，在虚拟环境中提供指示器以提示第二用户420朝向第一用户400的位置移动(例如，使虚拟角色426移向虚拟角色408的位置)。
在一些实施方式中，向第二用户420以图形方式显示通知，指示他们正在远离第一用户400的虚拟角色408所在位置的方向观看或移动，和/或提示第二用户420朝向虚拟角色408移动。在一些实施方式中，在虚拟环境中在第二用户420当前正在观看的位置或附近渲染这种图形通知700。在一些实施方式中，可以提供音频通知，提示第二用户420朝向第一用户400移动。
在一些实施方式中，当虚拟角色426与虚拟角色408之间的距离超过虚拟环境中的预定义阈值距离时，触发此类通知。例如，当虚拟角色408在位置P0并且虚拟角色426在位置P2时，虚拟角色d1之间的距离可以小于阈值距离，因此即使第二用户420可能没有在看与第一用户400相同的方向或朝向第一用户400的方向，由于虚拟角色426仍然接近虚拟角色408，因此不提供通知。然而，当虚拟角色408移动至位置P1时，虚拟角色426与虚拟角色408之间的距离增加到超过预定义阈值距离的d2，因此向第二用户420提供通知以提示或以其它方式鼓励第二用户420朝向第一用户400移动。
在一些实施方式中，可以提供第二用户420朝向第一用户400移动的其它形式的通知或提示。例如，可以调整虚拟环境的渲染以使第二用户420正在观看的区域702在视觉上不那么有趣，从而鼓励第二用户420看向别处并朝向第一用户400移动。可以调整各种渲染属性/参数以使场景在视觉上不那么有趣，例如降低色彩饱和度、降低对比度、降低光照水平、简化表面纹理、降低虚拟对象的数量/密度、降低图形复杂性等。在一些实施方式中，可以调整音频以降低听觉兴趣，例如通过降低来自区域702的声音的音量水平、调整音频设置(例如，调整频率，例如降低高音/高频以使声音更柔和)、减小音量或消除背景音轨音频(例如背景音乐)、减少产生的声音数量等。
在一些实施方式中，基于虚拟角色426的位置相对于虚拟角色408的位置来调整虚拟环境的渲染。例如，图形704在概念上表示虚拟环境，并且以虚拟角色426在虚拟环境中的位置为中心。在一些实施方式中，调整虚拟环境的渲染以减少超出特定边界706的视觉兴趣，所述边界与虚拟角色426的距离基于虚拟角色426与虚拟角色408的相对位置而变化。在一些实施方式中，当方向(从虚拟角色426至边界位置的径向方向)朝向虚拟角色408时边界706距虚拟角色426的距离更大，并且当方向远离虚拟角色408时所述距离减小。
在一些实施方式中，基于虚拟角色408的位置和/或取向来调整虚拟环境的渲染(例如，上文指出以降低视觉兴趣的水平)。例如，在一些实施方式中，以调整的方式渲染虚拟环境中超出距虚拟角色408的位置预定距离的区域，以降低这些区域中的视觉兴趣。在一些实施方式中，可以基于虚拟角色408的位置和/或取向来定义感兴趣区域708。感兴趣区域以正常设置渲染，而落在感兴趣区域708之外的区域以调整的设置渲染，从而降低这些区域的视觉兴趣。
在一些实施方式中，基于虚拟角色408的位置和取向来定义感兴趣区域。例如，距定义感兴趣区域边界的虚拟角色408的位置的距离朝向虚拟角色408的取向方向增大且朝向与虚拟角色408取向相反的方向减小。
图8概念性地示出根据本公开的实施方式的在渲染调整的情况下回放第一用户400的游戏情节期间虚拟环境中的虚拟角色。在所示实施方式中，调整渲染以减少视觉兴趣，并且调整量随着与虚拟角色426的距离增大而增加。此外，在所示实施方式中，若干同心曲线800、802、804、806和808是表示调整量的等距线。沿着给定的一条曲线，渲染调整量是相同的，其中外部曲线指示比内部曲线更大的调整水平(例如，沿着曲线808的渲染调整量大于沿着曲线806的渲染调整量，沿着曲线806的渲染调整量大于沿着曲线804的渲染调整量等)。在一些实施方式中，同心曲线可以指示用于减少听觉兴趣的音频调整量。
进一步如图所示，在从虚拟角色426朝向虚拟角色408的方向(参考812)上，等距曲线进一步间隔开，这意味着相比在远离虚拟角色408的方向(参考814)上，在朝向虚拟角色408的方向上渲染质量随距离的降低不那么快速。在一些实施方式中，对于给定的等距曲线，其与虚拟角色426的距离随着从虚拟角色426到等距曲线上的给定点定义的方向变得更加指向虚拟角色408而增加。
图9概念性地示出根据本公开的实施方式的在渲染调整的情况下回放第一用户400的游戏情节期间虚拟环境中的虚拟角色。在所示实施方式中，调整渲染以减少视觉兴趣，并且调整量随着与虚拟角色408的距离增大而增加。此外，在所示实施方式中，若干同心曲线900、902、904、906和908是表示调整量的等距线。沿着给定的一条曲线，渲染调整量是相同的，其中外部曲线指示比内部曲线更大的调整水平(例如，沿着曲线908的渲染调整量大于沿着曲线906的渲染调整量，沿着曲线906的渲染调整量大于沿着曲线904的渲染调整量等)。在一些实施方式中，同心曲线可以指示用于减少听觉兴趣的音频调整量。
图10概念性地示出根据本公开的实施方式的第一用户400的虚拟角色穿过的路径，以及被维持在第一用户400的虚拟角色附近的第二用户420的虚拟角色穿过的路径。如图所示，虚拟角色408表示虚拟环境中的第一用户400，并且虚拟角色408在游戏情节会话期间穿过虚拟环境的路径1000。
在一些实施方式中，当第二用户420观看第一用户400的游戏情节的回放时，则可以优先观看虚拟环境的接近虚拟角色408的区域1002。例如，可以用正常渲染设置渲染区域1002，而用调整的设置渲染区域1002外部的区域以减少视觉兴趣。
在穿过虚拟环境中的路径1000的过程期间，虚拟角色408可以从位置1004移动至位置1006、移动至位置1008，如所示实施方式中所示。在一些实施方式中，优先的虚拟环境的区域1002基本上由第一用户400会话期间第一用户400观看的(或虚拟角色408所朝向的)虚拟环境的区域来定义。
如已经指出，在一些实施方式中，在第一用户400会话期间，第二用户420的视图可以与第一用户400的视图相同。然而，在一些实施方式中，第二用户420可以将其视图改变为独立于第一用户400视图。例如，当虚拟角色408从位置1004移动至位置1006时，第二用户420可以将其视图位置移动至位置1016，从而偏离第一用户400的视图。这可以通过第二用户420的视图位置从虚拟角色408移动至位置1016来定义。这样做，第二用户420可以由虚拟环境中的虚拟角色426表示，且因此第二用户420的视图位置由虚拟角色426的位置定义，且第二用户420的视图方向由虚拟角色426的取向定义。
在一些实施方式中，当虚拟角色408沿着路径1000移动通过虚拟环境时，定义虚拟角色408周围的窗口或区域，第二用户420的虚拟角色426被限制于所述窗口或区域内。也就是说，当虚拟角色408移动时，虚拟角色426需要处于虚拟角色408的某个附近。作为实例而非限制，在所示实施方式中，当虚拟角色408在位置1004时，则虚拟角色426被限制于接近虚拟角色408的区域1010。然后，当虚拟角色408移动至位置1006时，区域移位至接近虚拟角色408的区域1012，虚拟角色426被限制于所述区域内。当虚拟角色408移动至位置1008，并且接近区域移位至区域1014时，可以迫使虚拟角色426从位置1016移动至位置1018，以便维持在虚拟角色408的邻近区域内。
图11概念性地示出根据本公开的实施方式的虚拟环境中的虚拟角色以及虚拟角色可以定位于其中的区域的变化。在所示实施方式中，虚拟角色408和虚拟角色426的位置分别定义第一用户400和第二用户420的视图位置。然后，虚拟角色408位于位置1100处，于是允许虚拟角色426在包括(并且可能接近)虚拟角色408的区域1108内移动。在一些实施方式中，区域1108的外边界由距虚拟角色408的位置的预定义距离定义。例如，虚拟角色426可以从虚拟环境内的位置1104移动至另一个位置1106，因为这两个位置都在区域1108内。然而，当虚拟角色408位于位置408时，不允许虚拟角色426移动超出区域1108的边界，且因此第二用户420的视图位置被限制于其中。
在随后的时间，虚拟角色408远离虚拟角色426从位置1100移动至位置1102，而虚拟角色426保持在位置1106。并非移位区域1108并强制虚拟角色426在移动时处于移位的区域内，而是将所述区域扩展到包含虚拟角色408以及虚拟角色426的区域1110，使得边界的范围到达虚拟角色426的位置但不再进一步扩展(远离虚拟角色408)。因此，虚拟角色426不会响应于虚拟角色408的移动而被迫移动。然而，不允许虚拟角色426移动超出扩展区域1110的边界，且因此不允许虚拟角色426再进一步远离虚拟角色408移动。
当虚拟角色426朝向虚拟角色408从位置1106移动至位置1107时，则移位区域的边界以定义允许虚拟角色426在其内移动的区域1112。也就是说，当虚拟角色426朝向虚拟角色408移动时，区域缩小。在一些实施方式中，当虚拟角色426朝向虚拟角色408移动时，缩小允许虚拟角色在其内移动的区域，直到虚拟角色426在虚拟角色408的预定距离内。换句话说，移位所允许区域的边界，使得其外部范围由虚拟角色426的位置定义，直到虚拟角色426在接近虚拟角色408的预定义区域内，此时边界由预定义区域的参数(例如，距虚拟角色408的预定义距离)定义。以这种方式，允许虚拟角色426在其内移动的区域具有“正常”设置(例如，距虚拟角色408的预定义距离或关于虚拟角色408取向的其它区域形状)，当虚拟角色426在所述区域内时，维持所述设置。然而，取决于是虚拟角色408还是虚拟角色426正在开始移动，可以根据需要扩展或缩小所述区域。如果虚拟角色408开始远离虚拟角色426移动，则可以扩展所述区域，并且如果虚拟角色426开始朝向虚拟角色408移动，则可以缩小所述区域。
图12示出根据本公开的实施方式的用于启用HMD用户之间的异步交互的系统。如图所示，客户端装置1200执行视频游戏的第一会话1202。记录从视频游戏的第一会话1202的执行生成的游戏情节元数据。游戏情节元数据可以包括由视频游戏的第一会话的执行生成的游戏状态值。
第一会话的执行由第一用户1208使用第一抬头显示器(HMD)1204通过视频游戏的交互式游戏情节来驱动。第一会话的执行渲染视频游戏的虚拟环境的第一视图以通过第一HMD 1204呈现。第一视图从由交互式游戏情节确定的虚拟环境中的第一位置定义，并且第一视图还基于第一HMD 1204的跟踪移动。第一HMD 1204的跟踪移动可以包括在其中安置第一HMD 1204的第一本地环境中第一HMD1204的跟踪取向，使得虚拟环境中的第一视图的取向由第一HMD1204的跟踪取向确定。
第一会话1202的执行可以包括处理由第一用户1208从交互式游戏情节生成的输入数据，并且游戏情节元数据可以包括此类输入数据。输入数据可以经由例如由第一用户1208操作的控制器1206的输入装置生成。
在完成视频游戏的第一会话1202之后，将游戏情节元数据传输至另一客户端装置1216。客户端装置1216使用游戏情节元数据执行视频游戏的第二会话1218，以在第二会话中重建来自第一会话的游戏情节事件。第二会话1218的执行渲染虚拟环境的第二视图以通过第二HMD 1220呈现。第二视图由虚拟环境中的第二位置定义，所述第二位置基于虚拟环境中的第一位置(来自第一会话)确定。第二视图还基于第二HMD 1220的跟踪移动定义。第二HMD的跟踪移动可以包括在其中安置第二HMD的第二本地环境中第二HMD的跟踪取向，使得虚拟环境中的第二视图的取向由第二HMD的跟踪取向确定。
如上所述，在一些实施方式中，虚拟环境中的第一位置是在虚拟环境中安置的虚拟车辆中的预定义第一位置，并且虚拟环境中的第二位置是虚拟车辆中的预定义第二位置。例如，虚拟车辆中的预定义第一位置可以是虚拟车辆中的驾驶员位置，并且虚拟车辆中的预定义第二位置可以是虚拟车辆中的乘客位置。
此外，第二会话1218的执行可以包括处理由第二用户1224从交互性生成的输入数据。这样的输入数据可以经由例如由第二用户1224操作的控制器1224的输入装置生成。
在所示实施方式中，第一会话1202由客户端装置1200执行，所述客户端装置远离执行第二会话1218的客户端装置1216。客户端装置1200和客户端装置1216都连接至网络1210。游戏情节元数据通过网络1210传输。在一些实施方式中，从第一会话1202生成的游戏情节元数据通过网络1210传送至游戏服务器1212，所述游戏服务器将游戏情节元数据存储至云存储装置1214。当客户端装置1216请求执行第二会话1218时，游戏服务器1212从云存储装置1214检索所述游戏情节元数据并将所述游戏情节元数据传输至客户端装置1216。
在一些实施方式中，游戏情节元数据通过网络1210直接从客户端装置1200传输至客户端装置1216。
在一些实施方式中，通过第二HMD 1220呈现的虚拟环境的第二视图不一定基于第一视图的位置；然而，第二视图是由虚拟环境中的第二位置定义的，所述第二位置基于第二HMD 1220的跟踪移动确定。还可以使用从第二用户1224与视频游戏的第二会话1218的交互性生成的输入数据来确定第二位置。例如，可以通过由第二用户1224操作的控制器/输入装置1222生成输入数据。
在一些实施方式中，第二视图的渲染被配置成具有基于第二视图相对于虚拟环境中的第一视图的第一位置的取向而调整的设置。例如，这可以包括调整第二视图的渲染的细节水平，使得当第二视图的取向朝向第一视图的第一位置时细节水平提高，并且当第二视图的取向远离第一视图的第一位置时细节水平降低。可以通过例如虚拟对象的量、颜色饱和度的量、纹理量、阴影量、分辨率水平和/或图形复杂度的方面来定义细节水平。
参考图13，示出根据本公开的实施方案的抬头显示器102的组件的图。抬头显示器102包括用于执行程序指令的处理器1300。存储器1302出于存储目的提供，并且可以包括易失性和非易失性存储器两者。包括显示器1304，所述显示器提供用户可以观看的视觉界面。提供电池1306作为抬头显示器102的电源。运动检测模块1308可以包括各种运动敏感硬件中的任何一个，例如磁力计1310、加速计1312和陀螺仪1314。
加速计是用于测量加速度和重力引发的反作用力的装置。单轴和多轴模型可用于检测不同方向上的加速度的量值和方向。加速计用于感应倾斜、振动和冲击。在一个实施方案中，使用三个加速计1312提供重力方向，所述重力方向给出两个角度的绝对参考(世界空间俯仰角和世界空间横滚角)。
磁力计测量在抬头显示器附近的磁场的强度和方向。在一个实施方案中，在抬头显示器中使用三个磁力计1310，从而确保世界空间偏航角的绝对参考。在一个实施方案中，磁力计被设计成跨越±80微特斯拉的地球磁场。磁力计受金属影响，并且通过实际偏航角提供单调的偏航角测量。磁场可能由于环境中的金属而扭曲，这会导致偏航角测量的扭曲。必要时，可以使用来自例如陀螺仪或相机的其它传感器的信息校准这种扭曲。在一个实施方案中，加速计1312与磁力计1310一起用于获得抬头显示器102的倾斜度和方位角。
在一些实施方式中，抬头显示器的磁力计被配置成在其它附近装置中的电磁体不起作用的时间期间被读取。
陀螺仪是用于基于角动量原理而测量或维持取向的装置。在一个实施方案中，三个陀螺仪1314基于惯性感测提供关于跨越相应轴线(x、y和z)的移动的信息。陀螺仪有助于检测快速旋转。然而，陀螺仪可以在没有绝对参考的情况下超时漂移。这需要定期重置陀螺仪，这可以使用其它可用信息来完成，例如基于对象的视觉跟踪、加速计、磁力计等的位置/取向确定。
提供相机1316用于捕获真实环境的图像和图像流。抬头显示器102中可以包括多于一个相机，包括后向的相机(当用户正观看抬头显示器102的显示器时远离用户指向)，以及前向的相机(当用户正观看抬头显示器102的显示器时指向用户)。另外，抬头显示器102中可以包括深度相机1318，用于感测真实环境中的对象的深度信息。
抬头显示器102包括用于提供音频输出的扬声器1320。而且，可以包括用于从真实环境捕获音频的麦克风1322，所述音频包括来自周围环境的声音、用户发出的语音等。抬头显示器102包括用于向用户提供触觉反馈的触觉反馈模块1324。在一个实施方案中，触觉反馈模块1324能够引起抬头显示器102的移动和/或振动，以便向用户提供触觉反馈。
提供LED 1326作为抬头显示器102的状态的视觉指示器。例如，LED可以指示电池电量、通电等。提供读卡器1328，以使抬头显示器102能够从存储卡读取信息以及向存储卡写入信息。包括USB接口1330作为用于实现外围装置的连接，或与例如其它便携式装置、计算机等其它装置的连接的接口的一个实例。在抬头显示器102的各种实施方案中，可以包括各种类型的接口中的任一个以实现抬头显示器102的更大连接性。
包括WiFi模块1332，用于实现经由无线联网技术与因特网或局域网的连接。而且，抬头显示器102包括蓝牙模块1334，用于实现与其它装置的无线连接。还可以包括通信链路1336，用于连接至其它装置。在一个实施方案中，通信链路1336利用红外传输进行无线通信。在其它实施方案中，通信链路1336可以利用各种无线或有线传输协议中的任一个与其它装置通信。
包括输入按钮/传感器1338，从而为用户提供输入接口。可以包括各种输入接口中的任一个，例如按钮、触摸板、操纵杆、轨迹球等。可以在抬头显示器102中包括超声波通信模块1340，用于通过超声技术促进与其它装置的通信。
包括生物传感器1342，以实现来自用户的生理数据的检测。在一个实施方案中，生物传感器1342包括一个或多个干电极，用于通过用户的皮肤检测用户的生物电信号。
视频输入1344被配置成从主处理计算机(例如，主游戏控制台)接收视频信号以在HMD上渲染。在一些实施方式中，视频输入是HDMI输入。
仅作为可包括在抬头显示器102中的示例性组件描述了抬头显示器102的前述组件。在本公开的各种实施方案中，抬头显示器102可以或可以不包括各种上述组件中的一些组件。出于便于本文所描述的本公开的方面的目的，抬头显示器102的实施方案可以另外包括当前未描述但在所属领域中已知的其它组件。
图14是根据本公开的各种实施方案的游戏系统1400的框图。游戏系统1400被配置成经由网络1415向一个或多个客户端1410提供视频流。游戏系统1400通常包括视频服务器系统1420和任选的游戏服务器1425。视频服务器系统1420被配置成以最低服务质量将视频流提供给一个或多个客户端1410。例如，视频服务器系统1420可以接收改变视频游戏内的状态或视点的游戏命令，并且以最小时滞向客户端1410提供反映此状态改变的更新视频流。视频服务器系统1420可以被配置成以各种替代视频格式，包括尚未定义的格式提供视频流。此外，视频流可以包括被配置成以各种帧速率呈现给用户的视频帧。典型的帧速率是每秒30帧、每秒60帧以及每秒120帧。但是在本公开的替代实施方案中包括更高或更低的帧速率。
本文中个别地称为1410A、1410B等的客户端1410可以包括抬头显示器、终端、个人计算机、游戏控制台、平板电脑、电话、机顶盒、信息亭、无线装置、数字垫、独立装置、手持式游戏装置等。通常，客户端1410被配置成接收编码的视频流、对视频流进行解码，以及将所得视频呈现给用户，例如游戏的玩家。接收编码的视频流和/或对视频流进行解码的过程通常包括将各个视频帧存储在客户端的接收缓冲器中。视频流可以在与客户端1410一体的显示器上或在例如监视器或电视的单独装置上呈现给用户。客户端1410任选地被配置成支持多于一个游戏玩家。例如，游戏控制台可以被配置成支持两个、三个、四个或更多个同时的玩家。这些玩家中的每一个可以接收单独的视频流，或单个视频流可以包括专门为每个玩家生成的帧的区域，例如，基于每个玩家的视点生成的帧的区域。客户端1410任选地在地理上分散。游戏系统1400中包括的客户端数目可以从一个或两个广泛地变化至数千、数万或更多。如本文中所使用，术语“游戏玩家”用于指玩游戏的人，并且术语“游戏装置”用于指用于玩游戏的装置。在一些实施方案中，游戏装置可以指协作以向用户传递游戏体验的多个计算装置。例如，游戏控制台和HMD可以与视频服务器系统1420协作以传递通过HMD观看的游戏。在一个实施方案中，游戏控制台从视频服务器系统1420接收视频流，并且游戏控制台将视频流或对视频流的更新转发到HMD以进行渲染。
客户端1410被配置成经由网络1415接收视频流。网络1415可以是任何类型的通信网络，包括电话网络、因特网、无线网络、电力线网络、局域网、广域网、专用网络等。在典型的实施方案中，视频流经由例如TCP/IP或UDP/IP的标准协议传送。替代地，视频流经由专有标准传送。
客户端1410的典型实例是个人计算机，包括处理器、非易失性存储器、显示器、解码逻辑、网络通信功能和输入装置。解码逻辑可以包括存储在计算机可读介质上的硬件、固件和/或软件。用于解码(以及编码)视频流的系统在所属领域中是公知的，并且取决于使用的特定编码方案而变化。
客户端1410可以但并非必须进一步包括被配置用于修改所接收视频的系统。例如，客户端可以被配置成执行进一步渲染，以将一个视频图像覆盖在另一视频图像上、裁剪视频图像等。例如，客户端1410可以被配置成接收各种类型的视频帧，例如I-帧、P-帧和B-帧，并将这些帧处理成图像以向用户显示。在一些实施方案中，客户端1410的构件被配置成对视频流执行进一步的渲染、着色、转换成3-D或类似操作。客户端1410的构件任选地被配置成接收多于一个音频或视频流。客户端1410的输入装置可以包括例如单手游戏控制器、双手游戏控制器、手势识别系统、注视识别系统、语音识别系统、键盘、操纵杆、指示装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、相机、尚待开发的输入装置等。
由视频服务器系统1420生成并提供由客户端1410接收的视频流(以及任选地音频流)。如本文其它地方进一步描述，此视频流包括视频帧(以及音频流包括音频帧)。视频帧(例如，所述视频帧包括呈适当数据结构的像素信息)被配置成有意义地促成显示给用户的图像。如本文所使用，术语“视频帧”用于指主要包括被配置成促成，例如，实现显示给用户的图像的信息的帧。本文关于“视频帧”的大部分教示也可以应用于“音频帧”。
客户端1410通常被配置成从用户接收输入。这些输入可以包括被配置成改变视频游戏的状态或另外影响游戏情节的游戏命令。可以使用输入装置接收游戏命令和/或可以通过在客户端1410上执行的计算指令自动地生成游戏命令。所接收的游戏命令经由网络1415从客户端1410传送到视频服务器系统1420和/或游戏服务器1425。例如。在一些实施方案中，游戏命令经由视频服务器系统1420传送到游戏服务器1425。在一些实施方案中，游戏命令的单独副本从客户端1410传送到游戏服务器1425和视频服务器系统1420。游戏命令的传送任选地取决于命令的标识。通过用于向客户端1410A提供音频或视频流的不同路线或通信信道，任选地从客户端1410A传送游戏命令。
游戏服务器1425任选地由与视频服务器系统1420不同的实体操作。例如，游戏服务器1425可以由多玩家游戏的发布者操作。在此实例中，视频服务器系统1420任选地被游戏服务器1425视为客户端，并且任选地被配置成从游戏服务器1425的视点显示为执行现有技术游戏引擎的现有技术客户端。视频服务器系统1420与游戏服务器1425之间的通信任选地经由网络1415发生。因此，游戏服务器1425可以是将游戏状态信息发送至多个客户端的现有技术多玩家游戏服务器，其中一个客户端是游戏服务器系统1420。视频服务器系统1420可以被配置成同时与游戏服务器1425的多个实例通信。例如，视频服务器系统1420可以被配置成向不同用户提供多个不同视频游戏。这些不同视频游戏中的每一个可以由不同游戏服务器1425支持和/或由不同实体发布。在一些实施方案中，视频服务器系统1420的若干地理上分布的实例被配置成向多个不同用户提供游戏视频。视频服务器系统1420的这些实例中的每一个可以与游戏服务器1425的同一实例通信。视频服务器系统1420与一个或多个游戏服务器1425之间的通信任选地经由专用通信信道发生。例如，视频服务器系统1420可以经由专用于这两个系统之间的通信的高带宽信道连接至游戏服务器1425。
视频服务器系统1420至少包括视频源1430、I/O装置1445、处理器1450和非暂时性存储器1455。视频服务器系统1420可以包括一个计算装置或分布在多个计算装置之间。这些计算装置任选地经由例如局域网的通信系统连接。
视频源1430被配置成提供视频流，例如，流式视频或形成运动图形的一系列视频帧。在一些实施方案中，视频源1430包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置成从玩家接收游戏命令并基于所接收命令维护视频游戏的状态的副本。此游戏状态包括游戏环境中的对象的位置以及通常的视点。游戏状态还可以包括对象的属性、图像、颜色和/或纹理。通常基于游戏规则以及例如移动、转弯、进攻、设置焦点、交互、使用等游戏命令而维持游戏状态。游戏引擎的一部分任选地安置于游戏服务器1425内。游戏服务器1425可以使用地理上分散的客户端基于从多个玩家接收的游戏命令而维护游戏状态的副本。在这些情况下，游戏状态由游戏服务器1425提供到视频源1430，其中存储游戏状态的副本并且执行渲染。游戏服务器1425可以经由网络1415直接从客户端1410接收游戏命令，和/或可以经由视频服务器系统1420接收游戏命令。
视频源1430通常包括存储在例如存储装置1455的计算机可读介质上的渲染逻辑，例如，硬件、固件和/或软件。此渲染逻辑被配置成基于游戏状态创建视频流的视频帧。所有或部分渲染逻辑任选地设置在图形处理单元(GPU)内。渲染逻辑通常包括处理阶段，所述处理级被配置用于基于游戏状态和视点而确定对象之间的三维空间关系和/或应用适当的纹理等。渲染逻辑产生原始视频，然后通常对所述原始视频进行编码，之后再传送给客户端1410。例如，可以根据Adobe
Figure GDA0003946564100000361
标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3等对原始视频进行编码。编码过程产生视频流，所述视频流任选地被打包以传递到远程装置上的解码器。视频流的特征在于帧大小和帧速率。典型的帧大小包括800×600、1280×720(例如，720p)、1024×768，但是可以使用任何其它帧大小。帧速率是每秒视频帧的数目。视频流可以包括不同类型的视频帧。例如，H.264标准包括“P”帧和“I”帧。I-帧包括用于刷新显示装置上的所有宏块/像素的信息，而P-帧包括用于刷新其子集的信息。P-帧的数据大小通常小于I-帧。如本文所使用，术语“帧大小”意指帧内的像素数目。术语“帧数据大小”用于指存储帧所需的字节数。
在替代实施方案中，视频源1430包括例如相机的视频记录装置。此相机可以用于生成可以包括在计算机游戏的视频流中的延迟或直播视频。所得视频流任选地包括渲染图像和使用静物照相机或摄像机记录的图像。视频源1430还可以包括存储装置，所述存储装置被配置成存储先前记录的视频以包括在视频流中。视频源1430还可以包括：运动或定位感测装置，所述运动或定位感测装置被配置成检测例如人的对象的运动或位置；以及逻辑，所述逻辑被配置成基于检测到的运动和/或位置而确定游戏状态或产生视频。
视频源1430任选地被配置成提供叠加，所述叠加被配置成放置于另一视频上。例如，这些叠加可以包括命令界面、登录指令、给游戏玩家的消息、其它游戏玩家的图像、其它游戏玩家的视频馈送(例如，网络摄像头视频)。在包括触摸屏界面或注视方向界面的客户端1410A的实施方案中，叠加可以包括虚拟键盘、操纵杆、触摸板等。在叠加的一个实例中，玩家的语音叠加在音频流上。视频源1430任选地还包括一个或多个音频源。
在视频服务器系统1420被配置成基于来自多于一个玩家的输入而维持游戏状态的实施方案中，每个玩家可以具有包括视图位置和方向的不同视点。视频源1430任选地被配置成基于玩家的视点为每个玩家提供单独的视频流。此外，视频源1430可以被配置成向每个客户端1410提供不同帧大小、帧数据大小和/或编码。视频源1430任选地被配置成提供3-D视频。
I/O装置1445被配置用于视频服务器系统1420，以发送和/或接收信息，例如视频、命令、对信息的请求、游戏状态、注视信息、装置运动、装置位置、用户运动、客户端表示、玩家身份、游戏命令、安全信息、音频等。I/O装置1445通常包括通信硬件，例如网卡或调制解调器。I/O装置1445被配置成与游戏服务器1425、网络1415和/或客户端1410通信。
处理器1450被配置成执行包括在本文中所讨论的视频服务器系统1420的各种组件中的逻辑，例如软件。例如，处理器1450可以通过软件指令编程，以便执行视频源1430、游戏服务器1425和/或客户端限定器1460的功能。视频服务器系统1420任选地包括处理器1450的多于一个实例。处理器1450也可以通过软件指令编程，以便执行由视频服务器系统1420接收的命令，或协调本文中所论述的游戏系统1400的各种元件的操作。处理器1450可以包括一个或多个硬件装置。处理器1450是电子处理器。
存储装置1455包括非暂时性模拟和/或数字存储装置。例如，存储装置1455可以包括被配置成存储视频帧的模拟存储装置。存储装置1455可以包括计算机可读数字存储装置，例如硬盘驱动器、光学驱动器或固态存储装置。存储器1415被配置成(例如，通过合适的数据结构或文件系统)存储视频帧、人工帧、包括视频帧和人工帧两者的视频流、音频帧、音频流等。存储装置1455任选地分布在多个装置之间。在一些实施方案中，存储装置1455被配置成存储在本文中其它地方论述的视频源1430的软件组件。这些组件可以在需要时以准备好供应的格式存储。
视频服务器系统1420任选地还包括客户端限定器1460。客户端限定器1460被配置成远程地确定例如客户端1410A或1410B的客户端的能力。这些能力可以包括客户端1410A本身的能力，以及客户端1410A与视频服务器系统1420之间的一个或多个通信信道的能力。例如，客户端限定器1460可以被配置成通过网络1415测试通信信道。
客户端限定器1460可以手动地或自动地确定(例如，发现)客户端1410A的能力。手动确定包括与客户端1410A的用户通信以及要求用户提供能力。例如，在一些实施方案中，客户端限定器1460被配置成在客户端1410A的浏览器内显示图像、文本等。在一个实施方案中，客户端1410A是包括浏览器的HMD。在另一实施方案中，客户端1410A是具有可以显示在HMD上的浏览器的游戏控制台。所显示对象请求用户输入信息，例如，客户端1410A的操作系统、处理器、视频解码器类型、网络连接类型、显示分辨率等。用户输入的信息被传送回客户端限定器1460。
例如，可以通过在客户端1410A上执行代理和/或通过将测试视频发送至客户端1410A来进行自动确定。代理可以包括嵌入在网页中或作为附件安装的计算指令，例如java脚本。代理任选地由客户端限定器1460提供。在各种实施方案中，代理可以发现客户端1410A的处理能力、客户端1410A的解码和显示能力、客户端1410A与视频服务器系统1420之间的通信信道的时滞可靠性和带宽、客户端1410A的显示类型、存在于客户端1410A上的防火墙、客户端1410A的硬件、在客户端1410A上执行的软件、客户端1410A内的注册表条目等。
客户端限定器1460包括存储在计算机可读介质上的硬件、固件和/或软件。客户端限定器1460任选地安置于与视频服务器系统1420的一个或多个其它元件分开的计算装置上。例如，在一些实施方案中，客户端限定器1460被配置成确定客户端1410与视频服务器系统1420的多于一个实例之间的通信信道的特性。在这些实施方案中，客户端限定器发现的信息可以用于确定视频服务器系统1420的哪个实例最适合于将流视频传递至一个客户端1410。
本公开的实施方案可以用各种计算机系统配置实践，包括手持式装置、微处理器系统、基于微处理器或可编程的消费者电子装置、小型计算机、大型计算机等。本公开还可以在分布式计算环境中实践，其中由通过基于有线或无线网络链接的远程处理装置执行任务。
考虑到上述实施方案，应理解，本公开可以采用涉及存储在计算机系统中的数据的各种计算机实施的操作。这些操作是需要对物理量进行物理操纵的操作。本文描述的构成本公开的一部分的任何操作是有用的机器操作。本公开还涉及用于执行这些操作的装置或设备。所述设备可以出于所需目的专门构造，或所述设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。具体而言，各种通用机器可以与根据本文中的教示写入的计算机程序一起使用，或可以更方便地构造更专用设备来执行所需的操作。
本公开还可以实施为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储装置，所述数据其后可以由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络连接存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其它光学和非光学数据存储装置。计算机可读介质可以包括计算机可读有形介质，所述计算机可读有形介质分布在网络耦合的计算机系统上的，使得计算机可读代码以分布式方式存储和执行。
尽管以特定顺序描述了方法操作，但是应理解，可以在操作之间执行其它内务操作，或者可以调整操作以使它们在稍微不同的时间发生，或者可以分布在允许以与处理相关联的各种间隔发送处理操作的系统中，只要以期望的方式执行叠加操作的处理。
尽管出于清楚理解的目的已经在一些细节上描述了前述公开内容，但是显而易见的是，可以在所附权利要求的范围内实践某些改变和修改。因此，本发明的实施方案被视为说明性的而不是限制性的，并且本公开不限于本文给出的细节，而是可以在本公开的范围和等效物内修改。

Claims (17)

1.一种异步虚拟现实交互方法，所述方法包括：
记录从视频游戏的第一会话的执行生成的游戏情节元数据，所述第一会话的所述执行由第一用户使用第一抬头显示器HMD通过所述视频游戏的交互式游戏情节驱动，其中所述第一会话的所述执行渲染所述视频游戏的虚拟环境的第一视图以通过所述第一HMD呈现，所述第一视图来自由所述交互式游戏情节确定的所述虚拟环境中的第一位置，所述第一视图还基于所述第一HMD的跟踪移动；
在完成所述第一会话之后，将所述游戏情节元数据传输至客户端装置；
通过所述客户端装置跟踪第二HMD的移动；
通过所述客户端装置使用所述游戏情节元数据执行所述视频游戏的第二会话，以在所述第二会话中重建来自所述第一会话的游戏情节事件，其中所述第二会话的所述执行渲染所述虚拟环境的第二视图以通过第二HMD呈现，所述第二视图来自所述虚拟环境中的第二位置，所述第二位置基于所述虚拟环境中的第一位置确定，所述第二视图还基于所述第二HMD的跟踪移动。
2.如权利要求1所述的方法，
其中所述第一HMD的所述跟踪移动包括在其中安置所述第一HMD的第一本地环境中所述第一HMD的跟踪取向；
其中所述虚拟环境中的所述第一视图的取向由所述第一HMD的所述跟踪取向确定。
3.如权利要求2所述的方法，
其中所述第二HMD的所述跟踪移动包括在其中安置所述第二HMD的第二本地环境中所述第二HMD的跟踪取向；
其中所述虚拟环境中的所述第二视图的取向由所述第二HMD的所述跟踪取向确定。
4.如权利要求1所述的方法，
其中所述虚拟环境中的所述第一位置是安置在所述虚拟环境中的虚拟车辆中的预定义第一位置；
其中所述虚拟环境中的所述第二位置是所述虚拟车辆中的预定义第二位置。
5.如权利要求4所述的方法，
其中所述虚拟车辆中的所述预定义第一位置是所述虚拟车辆中的驾驶员位置；
其中所述虚拟车辆中的所述预定义第二位置是所述虚拟车辆中的乘客位置。
6.如权利要求1所述的方法，其中所述游戏情节元数据包括由所述视频游戏的所述第一会话的所述执行生成的游戏状态值。
7.如权利要求1所述的方法，
其中所述第一会话的所述执行包括处理由所述第一用户从所述交互式游戏情节生成的输入数据；
其中所述游戏情节元数据包括所述输入数据。
8.如权利要求7所述的方法，其中经由所述第一用户所操作的输入装置生成所述输入数据。
9.如权利要求1所述的方法，其中所述第一会话由远离所述客户端装置的计算装置执行，所述计算装置和所述客户端装置连接至网络，所述游戏情节元数据通过所述网络传输。
10.一种异步虚拟现实交互方法，所述方法包括：
记录从视频游戏的第一会话的执行生成的游戏情节元数据，所述第一会话的所述执行由第一用户使用第一抬头显示器HMD通过所述视频游戏的交互式游戏情节驱动，其中所述第一会话的所述执行渲染所述视频游戏的虚拟环境的第一视图以通过所述第一HMD呈现，所述第一视图来自由所述交互式游戏情节确定的所述虚拟环境中的第一位置，所述第一视图还基于所述第一HMD的跟踪移动；
在完成所述第一会话之后，将所述游戏情节元数据传输至客户端装置；
通过所述客户端装置跟踪第二HMD的移动；
通过所述客户端装置使用所述游戏情节元数据执行所述视频游戏的第二会话，以在所述第二会话中重建来自所述第一会话的游戏情节事件，其中所述第二会话的所述执行渲染所述虚拟环境的第二视图以通过第二HMD呈现，所述第二视图来自所述虚拟环境中的第二位置，所述第二位置基于所述第二HMD的所述跟踪移动确定，
其中所述第二视图的所述渲染被配置成具有基于所述第二视图相对于所述虚拟环境中的所述第一视图的所述第一位置的取向来调整的设置。
11.如权利要求10所述的方法，其中使用由第二用户与所述视频游戏的所述第二会话的交互性生成的输入数据来进一步确定所述第二位置。
12.如权利要求11所述的方法，其中经由所述第二用户所操作的输入装置生成所述输入数据。
13.如权利要求10所述的方法，
其中所述第二HMD的所述跟踪移动包括在其中安置所述第二HMD的本地环境中所述第二HMD的跟踪取向；
其中所述虚拟环境中的所述第二视图的取向由所述第二HMD的所述跟踪取向确定。
14.如权利要求10所述的方法，其中所述设置的所述调整包括所述第二视图的所述渲染的细节水平的调整，使得当所述第二视图的所述取向朝向所述第一视图的所述第一位置时所述细节水平提高，且当所述第二视图的所述取向远离所述第一视图的所述第一位置时所述细节水平降低。
15.如权利要求14所述的方法，其中所述细节水平通过虚拟对象的量、颜色饱和度的量、纹理量、阴影量、分辨率水平、图形复杂度中的一个或多个定义。
16.一种异步虚拟现实交互方法，所述方法包括：
记录从视频游戏的第一会话的执行生成的第一元数据，所述第一会话的所述执行由第一用户使用第一抬头显示器HMD通过所述视频游戏的交互式游戏情节驱动，其中所述第一会话的所述执行渲染所述视频游戏的虚拟环境的第一视图以通过所述第一HMD呈现，所述第一视图来自由所述交互式游戏情节确定的所述虚拟环境中的第一位置，所述第一视图还基于所述第一HMD的跟踪移动；
在完成所述第一会话之后，将所述第一元数据传输至第一客户端装置；
通过所述客户端装置跟踪第二HMD的移动；
通过所述第一客户端装置使用所述第一元数据执行所述视频游戏的第二会话，以在所述第二会话中重建来自所述第一会话的游戏情节事件，其中所述第二会话的所述执行渲染所述虚拟环境的第二视图以通过第二HMD呈现，所述第二视图来自所述虚拟环境中的第二位置，所述第二视图还基于所述第二HMD的所述跟踪移动；
记录从所述第二会话的所述执行生成的第二元数据；
在完成所述第二会话之后，将所述第一元数据和所述第二元数据传输至第二客户端装置；
通过所述第二客户端装置跟踪第三HMD的移动；
通过所述第二客户端装置使用所述第一元数据执行所述视频游戏的第三会话，以在所述第三会话中重建来自所述第一会话的游戏情节事件，并使用所述第二元数据执行所述视频游戏的第三会话，以在所述第三会话中重建来自所述第二会话的附加交互式事件，其中所述第三会话的所述执行渲染所述虚拟环境的第三视图以通过所述第三HMD呈现，所述第三视图来自所述虚拟环境中的第三位置，所述第三视图还基于所述第三HMD的所述跟踪移动。
17.如权利要求16所述的方法，其中记录所述第二元数据包括记录由第二用户使用所述第二HMD从交互性生成的输入，所述第二HMD触发所述第二会话中的所述附加交互式事件。
CN201910107402.4A 2018-03-16 2019-02-02 异步虚拟现实交互 Active CN110270088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310385932.1A CN116492668A (zh) 2018-03-16 2019-02-02 异步虚拟现实交互

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/924,082 US10695665B2 (en) 2018-03-16 2018-03-16 Asynchronous virtual reality interactions
US15/924,082 2018-03-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310385932.1A Division CN116492668A (zh) 2018-03-16 2019-02-02 异步虚拟现实交互

Publications (2)

Publication Number Publication Date
CN110270088A CN110270088A (zh) 2019-09-24
CN110270088B true CN110270088B (zh) 2023-05-02

Family

ID=65516757

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910107402.4A Active CN110270088B (zh) 2018-03-16 2019-02-02 异步虚拟现实交互
CN202310385932.1A Pending CN116492668A (zh) 2018-03-16 2019-02-02 异步虚拟现实交互

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310385932.1A Pending CN116492668A (zh) 2018-03-16 2019-02-02 异步虚拟现实交互

Country Status (5)

Country Link
US (3) US10695665B2 (zh)
EP (1) EP3765167B1 (zh)
JP (1) JP7148626B2 (zh)
CN (2) CN110270088B (zh)
WO (1) WO2019177703A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10695665B2 (en) * 2018-03-16 2020-06-30 Sony Interactive Entertainment America Llc Asynchronous virtual reality interactions
US10419880B1 (en) * 2018-08-22 2019-09-17 Facebook, Inc. Robotics for indoor data curation
WO2020163801A1 (en) * 2019-02-08 2020-08-13 Warner Bros. Entertainment Inc. Intra-vehicle games
US11087489B2 (en) * 2019-06-03 2021-08-10 Disney Enterprises, Inc. Systems and methods to facilitate interaction by one or more participants with content presented across multiple distinct physical locations
CN112887801A (zh) * 2019-11-29 2021-06-01 阿里巴巴集团控股有限公司 多媒体播放方法、终端及存储介质
KR20220028901A (ko) 2020-08-31 2022-03-08 삼성전자주식회사 3차원 입력을 제공하는 방법 및 이를 지원하는 전자 장치
US11545024B1 (en) * 2020-09-24 2023-01-03 Amazon Technologies, Inc. Detection and alerting based on room occupancy
EP4120238A1 (en) * 2021-07-16 2023-01-18 Sony Interactive Entertainment Inc. Video processing and playback systems and methods
GB2609013A (en) * 2021-07-16 2023-01-25 Sony Interactive Entertainment Inc Video recording and playback systems and methods

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104035760A (zh) * 2014-03-04 2014-09-10 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
CN104915979A (zh) * 2014-03-10 2015-09-16 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
CN106127844A (zh) * 2016-06-22 2016-11-16 民政部零研究所 移动终端用户实时交互访问远程3d场景的渲染交互方法
JP2017099744A (ja) * 2015-12-03 2017-06-08 株式会社バンダイナムコエンターテインメント プログラム及び画像生成システム
WO2017161276A1 (en) * 2016-03-18 2017-09-21 Sony Interactive Entertainment Inc. Spectator view perspectives in vr environments
CN107533230A (zh) * 2015-03-06 2018-01-02 索尼互动娱乐股份有限公司 头戴式显示器用追踪系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450704B2 (ja) * 1997-09-01 2003-09-29 キヤノン株式会社 位置姿勢検出装置及び情報処理方法
US20120306850A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US9409083B2 (en) * 2014-06-27 2016-08-09 Amazon Technologies, Inc. Spawning new timelines during game session replay
US20160260246A1 (en) * 2015-03-02 2016-09-08 Advanced Micro Devices, Inc. Providing asynchronous display shader functionality on a shared shader core
WO2017143303A1 (en) * 2016-02-17 2017-08-24 Meta Company Apparatuses, methods and systems for sharing virtual elements
US9919218B1 (en) * 2016-02-19 2018-03-20 Aftershock Services, Inc. Systems and methods for providing virtual reality content in an online game
US10218793B2 (en) * 2016-06-13 2019-02-26 Disney Enterprises, Inc. System and method for rendering views of a virtual space
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US10179290B2 (en) * 2016-07-21 2019-01-15 Sony Interactive Entertainment America Llc Method and system for accessing previously stored game play via video recording as executed on a game cloud system
US10652284B2 (en) * 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
US20180126268A1 (en) * 2016-11-09 2018-05-10 Zynga Inc. Interactions between one or more mobile devices and a vr/ar headset
US10695665B2 (en) * 2018-03-16 2020-06-30 Sony Interactive Entertainment America Llc Asynchronous virtual reality interactions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104035760A (zh) * 2014-03-04 2014-09-10 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
CN104915979A (zh) * 2014-03-10 2015-09-16 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
CN107533230A (zh) * 2015-03-06 2018-01-02 索尼互动娱乐股份有限公司 头戴式显示器用追踪系统
JP2017099744A (ja) * 2015-12-03 2017-06-08 株式会社バンダイナムコエンターテインメント プログラム及び画像生成システム
WO2017161276A1 (en) * 2016-03-18 2017-09-21 Sony Interactive Entertainment Inc. Spectator view perspectives in vr environments
CN106127844A (zh) * 2016-06-22 2016-11-16 民政部零研究所 移动终端用户实时交互访问远程3d场景的渲染交互方法

Also Published As

Publication number Publication date
US10695665B2 (en) 2020-06-30
US20220241683A1 (en) 2022-08-04
US11806615B2 (en) 2023-11-07
US20190282892A1 (en) 2019-09-19
JP2021518778A (ja) 2021-08-05
CN116492668A (zh) 2023-07-28
JP7148626B2 (ja) 2022-10-05
EP3765167A1 (en) 2021-01-20
CN110270088A (zh) 2019-09-24
WO2019177703A1 (en) 2019-09-19
US20200330861A1 (en) 2020-10-22
EP3765167B1 (en) 2024-07-24
US11331568B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
US11662813B2 (en) Spectating virtual (VR) environments associated with VR user interactivity
JP7419460B2 (ja) Ｖｒ観戦のための拡大された視野再レンダリング
US10463962B2 (en) Spectator view perspectives in VR environments
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
CN110270088B (zh) 异步虚拟现实交互
JP7057756B2 (ja) 仮想現実（ｖｒ）環境におけるｖｒユーザの観客ビュー追跡
CN110536726B (zh) Vr环境的第二屏幕虚拟窗口
US10388071B2 (en) Virtual reality (VR) cadence profile adjustments for navigating VR users in VR environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant