CN118265560A - 用于渲染数据的预加载的输入预测 - Google Patents

用于渲染数据的预加载的输入预测 Download PDF

Info

Publication number
CN118265560A
CN118265560A CN202280076952.4A CN202280076952A CN118265560A CN 118265560 A CN118265560 A CN 118265560A CN 202280076952 A CN202280076952 A CN 202280076952A CN 118265560 A CN118265560 A CN 118265560A
Authority
CN
China
Prior art keywords
user
content item
scene
interaction
graphics data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280076952.4A
Other languages
English (en)
Inventor
B·H·罗特勒
S·特龙贝塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Publication of CN118265560A publication Critical patent/CN118265560A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/69—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于获取图形数据来渲染呈现在显示设备上的场景的方法和系统。所述方法包括在用户正在与所述场景交互时接收所述用户的眼睛的注视信息。所述方法包括在所述用户正在与所述场景交互时跟踪所述用户的姿势。所述方法包括将所述场景中的内容项识别为所述用户的潜在交互焦点。所述方法包括处理所述用户的所述注视信息和所述姿势以生成所述用户与所述内容项的交互预测。所述方法包括在预期所述用户与所述内容项交互的情况下处理预取操作以访问所述图形数据并将其加载到系统存储器中。这样，当基于所述用户的游戏动作(例如，眼睛注视、姿势等)来确定与所述场景中的内容项的交互预测时，可将与所述内容项相关联的图形数据加载到所述系统存储器中并可将其用于所述内容项的进一步渲染，这可有助于消除在所述用户与所述游戏场景中的所述内容项交互时的延迟。

Description

用于渲染数据的预加载的输入预测
1.技术领域
本公开总体涉及获取用于渲染游戏场景的图形数据，并且更具体地涉及用于基于用户的眼睛注视和姿势来获取图形数据并将其加载到系统存储器中的方法和系统。
背景技术
2.相关技术描述
多年来，视频游戏行业经历了许多改变。具体地，多年来，虚拟现实(VR)游戏行业取得了巨大的增长并预计将继续以复合年增长率增长。VR游戏可为玩家提供沉浸式体验，让玩家沉浸在三维(3D)人工环境中，同时与向玩家介绍的VR游戏场景交互。VR游戏行业的增长趋势是改进和开发将增强VR游戏的体验的独特方式。
例如，在玩家的游戏玩法期间并当玩家沉浸在VR环境中时，玩家可探索VR环境中的各种虚拟对象并与之交互。在某些情况下，在玩家浏览VR场景并与VR场景中的虚拟对象交互时，玩家可能会遇到对VR场景的渲染的延迟，这是因为图形非常详细，需要大量计算资源来渲染虚拟对象并确保在玩家与VR场景的交互中的平滑过渡。不幸地，一些玩家可能觉得对VR场景的渲染的延迟很烦人并造成VR体验不真实。因此，玩家可能无法得到完全沉浸式VR体验，这可能造成玩家不想继续他们的游戏玩法。
正是在此背景下，提出了本公开的实现方式。
发明内容
本公开的实现方式包括与获取图形数据来渲染呈现在显示器上的游戏场景有关的方法、系统和设备。在一些实施方案中，公开了实现基于玩(VR)视频游戏的用户的游戏动作和姿势来获取图形数据并将其加载到系统存储器中的方法。例如，玩VR视频游戏的用户可沉浸在VR游戏的VR环境中。在用户的游戏玩法期间，在用户在与VR场景交互时执行各种游戏动作时，用户的游戏动作可推断并有助于预测用户关注场景内的特定内容项并对与特定内容项交互感兴趣。在一个示例中，游戏动作，诸如用户的眼睛注视和用户的姿势(例如，头部移动、手部移动、身体移动、位置、身体语言信号等)，可指示用户对与游戏场景中的特定内容项交互感兴趣。
因此，在一个实施方案中，系统被配置为处理用户的眼睛注视和姿势以生成与内容项的交互预测。在所生成的交互预测的情况下，该系统可包括预取操作，该预取操作被配置为在预期用户与内容项交互的情况下预取与内容项相关联的图形数据并将该图形数据加载到系统存储器中。由于分析并跟踪用户的游戏动作以识别用户可能感兴趣的内容项，因此本文公开的方法概述了在预期用户与内容项交互的情况下获取与特定内容项相关联的图形数据并将图形数据加载到系统存储器中的方式。因此，通过使图形数据存储在系统存储器中，该图形数据可供系统快速地访问并用于渲染内容项或渲染关于内容项的附加细节以增强图像质量。这样，当系统渲染特定内容项时，可消除延迟。
在一个实施方案中，提供了一种用于获取图形数据来渲染呈现在显示设备上的场景的方法。该方法包括在用户正在与场景交互时接收用户的眼睛的注视信息。该方法包括在用户正在与场景交互时跟踪用户的姿势。该方法包括将场景中的内容项识别为用户的潜在交互焦点。该方法包括处理用户的注视信息和姿势以生成用户与内容项的交互预测。该方法包括在预期用户与内容项交互的情况下处理预取操作以访问图形数据并将其加载到系统存储器中。这样，当基于用户的游戏动作(例如，眼睛注视、姿势等)来确定与场景中的内容项的交互预测时，可将与内容项相关联的图形数据加载到系统存储器中并可将其用于内容项的进一步渲染，这可有助于消除在用户与游戏场景中的内容项交互时的延迟。
在另一个实施方案中，提供了一种用于获取图形数据以渲染呈现在显示器上的场景的系统。该系统包括由服务器在用户正在与场景交互时接收用户的眼睛的注视信息。该系统包括由服务器在用户正在与场景交互时跟踪用户的姿势。该系统包括由服务器将场景中的内容项识别为用户的潜在交互焦点。该系统包括由服务器处理用户的注视信息和姿势以生成用户与内容项的交互预测。该系统包括由服务器在预期用户与内容项交互的情况下处理预取操作以访问图形数据并将其加载到系统存储器中。
通过以下结合附图进行的以举例方式说明本公开原理的详细描述，本公开的其他方面和优点将变得显而易见。
附图说明
结合附图参考以下详细描述，可更好地理解本公开，其中：
图1A示出了根据本公开的实现方式的用于经由头戴式显示器(HMD)与虚拟环境交互的系统的实施方案。
图1B示出了根据本公开的实现方式的用于在用户在游戏玩法期间与游戏场景交互时跟踪用户100的注视信息和姿势的系统的实施方案。
图2A示出了根据本公开的实现方式的用户的虚拟环境的视图的实施方案，示出了用户在穿戴HMD时与虚拟现实场景交互。
图2B示出了根据本公开的实现方式的图2A所示的用户的虚拟环境的实施方案，示出了用户与虚拟现实场景交互，其中用户的虚拟手臂正在伸向内容项。
图3A至图3C示出了根据本公开的实现方式的用户的虚拟环境的视图的另一个实施方案，示出了用户在穿戴HMD时与虚拟现实场景交互。
图4示出了根据本公开的实现方式的用于获取与所识别的内容项相对应的图形数据来在游戏场景中进行渲染的系统的实施方案。
图5示出了根据本公开的实现方式的表的实施方案，示出了在用户的游戏玩法期间跟踪的用户的眼睛注视信息和姿势，以及所生成的用户与内容项的交互预测。
图6示出了可用于执行本公开的各种实施方案的各方面的示例设备的部件。
具体实施方式
本公开的以下实现方式提供了用于获取用来渲染在显示器上呈现的游戏场景的图形数据的方法、系统和设备。具体地，显示器可以是玩虚拟现实(VR)视频游戏的用户的头戴式显示器(HMD)或与用户的设备相关联的显示器。在一个实施方案中，图形数据与游戏场景中的一个或多个内容项相对应并可用于渲染与内容项有关的附加细节。在一些实施方案中，基于用户在与游戏场景交互时的游戏动作来识别内容项。例如，在用户的游戏玩法期间，在用户与游戏场景交互时实时跟踪用户的游戏动作，诸如眼睛注视和姿势(例如，身体移动)。在一个示例中，处理用户的眼神注视和用户的姿势以识别游戏场景中用户可能有兴趣与之交互的内容项。因此，在预期用户与内容项交互的情况下，预取与所识别的内容项相对应的图形数据并将其加载到系统存储器中。因此，通过使图形数据存储在系统存储器中，该图形数据可供系统快速地访问并用于渲染具体内容项或渲染与内容项有关的附加细节。这样，可消除与渲染游戏场景中的各种内容项相关联的延迟，这继而可通过向用户提供中断的VR游戏体验来增强用户的游戏体验。
举例来说，在一个实施方案中，公开了一种实现获取用于渲染呈现在显示器上的场景的图形数据的方法。该方法包括在用户正在与场景交互时接收用户的眼睛的注视信息。在一个实施方案中，该方法还可包括在用户正在与场景交互时跟踪用户的姿势。在另一个实施方案中，该方法可包括将场景中的内容项识别为用户的潜在交互焦点。在一些实施方案中，该方法包括处理用户的注视信息和姿势以生成用户与内容项的交互预测。在其他实施方案中，该方法包括在预期用户与内容项交互的情况下处理预取操作以访问图形数据并将其加载到系统存储器中。然而，对于本领域技术人员将显而易见的是，可在没有当前描述的一些或全部具体细节的情况下实践本公开。在其他情况下，为了不会不必要地使本发明模糊，没有详细描述众所周知的处理操作。
考虑到以上概述，下面提供几个示例图以促进对示例性实施方案的理解。
图1A示出了根据本公开的实现方式的用于经由头戴式显示器(HMD)与虚拟环境的交互的系统的实施方案。HMD也可被称为虚拟现实(VR)头戴式装置。如本文所用，术语“虚拟现实”(VR)通常是指与虚拟空间/环境的用户交互，该用户交互涉及通过HMD(或VR头戴式装置)以对HMD的移动(由用户控制)做出实时响应的方式观看虚拟空间以向用户提供在虚拟空间中的感觉。例如，用户可在面向给定方向时看到虚拟空间的三维(3D)视图，并且当用户转向一侧并由此使HMD同样地转动时，就会在HMD上渲染该侧在虚拟空间中的视图。
如图1A所示，用户100被示出为身处真实世界空间120中，穿戴HMD 102，并且操作接口对象104以提供用于视频游戏的输入。HMD 102以类似于眼镜、护目镜或头盔的方式穿戴，并且被配置为向用户100显示视频游戏或其他内容。HMD 102由于其紧邻用户的眼睛提供显示机制而向用户提供了极具沉浸感的体验。因此，HMD 102可向用户的每只眼睛提供占据用户的大部分或甚至整个视野的显示区域，并且还可提供具有三维深度和视角的观看。
在一些实施方案中，HMD 102可向用户提供进入VR场景的游戏玩法视点(POV)108。因此，当用户100转动他们的头部并看向VR环境内的不同区域时，VR场景被更新以包括可能在用户100的游戏玩法POV 108内的任何附加虚拟对象。在一个实施方案中，HMD 102可包括注视跟踪相机，该注视跟踪相机被配置为在用户与VR场景交互时捕获用户100的眼睛的图像。由注视跟踪相机捕获的注视信息可包括与用户100的注视方向以及用户100关注或有兴趣与之交互的VR场景中的特定虚拟对象和内容项有关的信息。因此，基于用户100的注视方向，系统可检测可能是用户的潜在焦点(其中用户有兴趣与之交互和参与其中)的特定虚拟对象和内容项，例如游戏角色、游戏对象、游戏道具等。
在一些实施方案中，HMD 102可包括面向外部的相机，该面向外部的相机被配置为捕获用户100的真实世界空间120的图像，诸如用户的身体移动和可位于真实世界空间中的任何真实世界对象。在一些实施方案中，可分析由面向外部的相机捕获的图像以确定真实世界对象相对于HMD 102的位置/取向。使用HMD 102的已知位置/取向、真实世界对象和来自HMD的惯性传感器数据，可在用户与VR场景的交互期间持续地监测和跟踪用户的姿势和移动。例如，在与游戏中的场景交互时，用户100可做出各种姿势，诸如指向和走向场景中的特定内容项。在一个实施方案中，可由系统跟踪并处理姿势以生成与游戏场景中的特定内容项的交互预测。在其他实施方案中，HMD 102可包括可被跟踪以确定HMD 102的位置和取向的一个或多个灯。
如上所述，用户100可操作接口对象104以提供用于视频游戏的输入。在各种实现方式中，接口对象104包括可被跟踪的灯和/或惯性传感器，以使得能够确定接口对象的位置和取向并跟踪移动。用户与在HMD 102中显示的虚拟现实场景进行交互的方式可变化，并且除接口对象104之外还可使用其他接口设备。例如，可使用各种单手以及双手控制器。在一些实现方式中，可通过跟踪控制器中所包括的灯或跟踪与控制器相关联的形状、传感器和惯性数据来跟踪控制器本身。使用这些各种类型的控器制或甚至仅使用做出的和由一个或多个相机捕获的姿势，可对接、控制、操纵HMD 102上呈现的虚拟现实环境、与该虚拟现实环境交互并参与该虚拟现实环境。
在所示实现方式中，HMD 102通过网络112无线地连接到云计算和游戏系统114。在一个实施方案中，云计算和游戏系统114维护并且执行用户100正在玩的视频游戏。在一些实施方案中，云计算和游戏系统114被配置为通过网络112从HMD 102和接口对象104接收输入。云计算和游戏系统114被配置为处理输入以影响正在执行的视频游戏的游戏状态。来自正在执行的视频游戏的输出(诸如视频数据、音频数据和触觉反馈数据)被传输到HMD 102和接口对象104。例如，视频和音频流被提供给HMD 102，而触觉/振动反馈命令被提供给接口对象104。在其他实现方式中，HMD 102可通过诸如蜂窝网络的替代机制或信道与云计算和游戏系统114无线地通信。
另外，尽管可参考头戴式显示器来描述本公开中的实现方式，但是应了解，在其他实现方式中，可替换为非头戴式显示器，包括但不限于便携式设备屏幕(例如，平板电脑、智能电话、膝上型电脑等)或可被配置为根据本实现方式渲染视频和/或提供交互式场景或虚拟环境的显示的任何其他类型的显示器。
图1B示出了用于在用户在游戏玩法期间与游戏场景交互时跟踪用户100的注视信息和姿势的系统的实施方案。如图所示，用户100被示出为站在显示器105前面玩游戏。用户100可使用向游戏提供输入的接口对象104来玩游戏。计算机110通过有线连接连接到显示器105。相机116定位在显示器105的顶部上并被配置为在用户沉浸在游戏玩法中时捕获玩游戏的用户。相机116包括捕获用户100和在其POV内的对象的相机视点(POV)118。根据所示实施方案，计算机110可通过网络112与云计算和游戏系统114通信。
相机116可包括注视跟踪以实现对用户100的注视的跟踪。相机116被配置为捕获用户的眼睛的图像，所述图像被分析以确定用户100的眼睛注视106。在一些实施方案中，相机116可被配置为在游戏玩法期间捕获并处理用户100的姿势和身体移动。例如，在用户100的游戏玩法期间，用户可能会遇到用户有兴趣与之交互的各种内容项(例如，游戏对象、游戏角色等)。当眼睛注视106在用户在朝向特定内容项的方向上移动时聚焦在该内容项上时，可处理所记录的动作(例如，眼睛注视、身体移动)，并且可将游戏场景中的特定内容项识别为用户的潜在交互焦点。因此，系统被配置为在游戏玩法期间跟踪用户100的眼睛注视、姿势和身体移动，这可用于生成与游戏场景中的特定内容项的交互预测。
在其他实施方案中，相机116可被配置为在游戏玩法期间跟踪并捕获用户100的面部表情，该面部表情经分析以确定与面部表情相关联的情绪。在一些实施方案中，相机116可安装在允许相机围绕任何轴线自由地旋转以使得能够捕获用户的各种角度的3轴万向架上。在一个实施方案中，相机116可以是平移-倾斜-变焦相机，其可被配置为在游戏玩法期间随着用户移动而自动放大并跟踪用户的面部和身体。
在一些实施方案中，接口对象104可包括一个或多个麦克风以捕获来自正在其中玩游戏的真实世界空间120的声音。可处理由麦克风捕获的声音以识别声源的位置。可选择性地利用或处理来自所识别的位置的声音以排除并非来自所识别的位置的其他声音。可以各种方式利用该信息，包括排除不想要的声源、将声源与视觉识别相关联等。在一些实现方式中，可通过跟踪接口对象104中包括的灯或跟踪与接口对象104相关联的形状、传感器和惯性数据来跟踪接口对象104。在各种实现方式中，接口对象104包括可被跟踪的灯和/或惯性传感器，以使得能够确定控制器的位置和取向并跟踪移动。
在计算机110在游戏玩法期间捕获与用户100相关联的数据(例如，眼睛注视数据、姿势信息、身体移动数据、面部表情数据、话音听取数据、惯性传感器数据、控制器输入数据)之后，该数据可通过网络112传输到云计算和游戏系统114。在一些实施方案中，云计算和游戏系统114可接收、处理和执行来自用户100的各种数据以生成用户与内容项的交互预测。在一些实施方案中，云计算和游戏系统114可在预期用户与内容项交互的情况下利用预取操作来访问与内容项相对应的图形数据并将其加载到系统存储器中。在一些实施方案中，图形数据与用户有兴趣与之交互的场景中的特定内容项相对应，并且图形数据可用于渲染特定内容项或进一步增强特定内容项的图像质量(例如，粗糙度、曲率、几何形状、顶点、深度、颜色、光照、阴影、纹理、运动等)。
图2A示出了用户100的虚拟环境的视图的实施方案，示出了用户100在穿戴HMD102时与虚拟现实场景202a交互。在用户100握住接口对象104或使用他们的手臂和手部与虚拟现实场景202交互时，系统被配置为跟踪用户100的姿势和用户的眼睛注视106。例如，在图2A所示的图示中，虚拟现实场景202a包括在场景中渲染的多个内容项204a至204c。如图所示，内容项204a表示自由女神像的雕塑，内容项204b表示相框，并且内容项204c表示衣柜。具体地，自由女神像的雕塑被示出为具有较低图像质量(例如，低分辨率)，其中在场景中渲染雕像的线框。在用户与虚拟现实场景202的交互期间，由于用户的眼睛注视106指向内容项204a(例如，自由女神像的雕塑)，因此系统可将内容项204a识别为用户100的潜在交互焦点。
在一些实施方案中，系统被配置为处理用户的姿势和注视信息(诸如眼睛注视106)以生成用户100与内容项204a(例如，自由女神像的雕塑)的交互预测。在一个实施方案中，用户的姿势可包括用户动作，诸如用户的头部移动、手部移动、身体移动、身体语言和位置。例如，在用户的眼睛注视106聚焦在雕塑上时，用户的姿势可指示用户100正在指向并走向雕塑。因此，使用注视信息和姿势信息，系统可生成与内容项的交互预测。在该示例中，交互预测可包括用户想要握住并感受雕塑。
图2B示出了图2A所示的用户100的虚拟环境的实施方案，示出了用户100与虚拟现实场景202a交互，其中用户的虚拟手臂100'正在伸向内容项204a(例如，自由女神像的雕塑)。如图2B所示，在用户正在与虚拟现实场景202a交互时，跟踪用户100的姿势204a至204b。当用户100的眼睛注视106聚焦在内容项204a处并指向该内容项时，姿势206a示出用户在真实世界空间120中伸出他们的手臂以尝试触摸内容项204a。如图中进一步所示，姿势206b示出用户100在与图2A所示的用户的身体位置相比更接近内容项204a的位置处的身体位置。因此，使用用户100的眼睛注视106和用户100的姿势204a至204b，系统可预测用户可能感兴趣的一种或多种交互类型，例如，触摸雕塑、抓住雕塑、更近距离观看雕塑以查看细节等。
在一些实施方案中，用户的一个或多个动作可用于预测与场景中的内容项的交互，例如，来自任何设备的用户输入可用于预渲染与预期的用户动作有关的内容。在其他实施方案中，用户100的姿势204和动作的序列可预测与内容项的交互，这可产生场景中的可预测结果以允许更有效地预渲染内容项。
在一些实施方案中，当将内容项204识别为潜在交互焦点并生成与内容项204的交互预测时，系统可利用预取操作来访问图形数据并将其加载到系统存储器中。在一个实施方案中，图形数据与系统识别为用户预期与之交互的潜在交互焦点的内容项204相对应。
在一个实施方案中，系统可包括中央处理单元(CPU)和图形处理单元(GPU)，该GPU被配置为从系统存储器访问图形数据来渲染与所识别的内容项204相对应的附加细节。在一个示例中，图形数据可包括定义内容项204的几何形状、顶点、深度、颜色、光照、阴影、纹理、运动等的数据。例如，同时参考图2A和图2B，用户的眼睛注视106聚焦在内容项204a(例如，自由女神像的雕塑)上。在用户100走向雕塑并使用他们的手部触碰雕塑(例如，姿势204a至204b)时，系统被配置为访问与雕塑相对应的图形数据并使用该图形数据来渲染关于雕塑的附加细节以提高雕塑的图像质量。
如图2B所示，用户位于接近内容项204a的距离处，在那里，用户可触摸内容项204a并与之交互。如进一步所示，与图2A所示的内容项204a相比，内容项204a包括更大量的细节和增强的图像质量(例如，深度、阴影、纹理等)。在一个实施方案中，用于渲染内容项的图形数据的量是基于用户相对于内容项的距离。例如，系统被配置为当用户开始朝向内容项204a移动时发起对内容项204a的细节的渲染，并且用于渲染内容项204a的图形数据的量随着用户越来越靠近内容项204a而增加。在其他实施方案中，系统被配置为在用户的眼睛注视106聚焦并维持在内容项204a上时发起对内容项204a的细节的渲染。在一个实施方案中，用于渲染内容项的细节的图形数据的量是基于用户的眼睛注视维持在内容项上的时间长度和用户的眼睛的强度。
图3A至图3C示出了用户100的虚拟环境的视图的另一个实施方案，示出了用户100在穿戴HMD 102时与虚拟现实场景202b交互。如图3A所示，用户100被示出为握住接口对象104，同时经由HMD 102观看虚拟现实场景202b。虚拟现实场景202b包括表示放置在地板上的宝箱的内容项204d。如上所述，当用户100与虚拟现实场景202b交互时，系统被配置为在用户与游戏场景的交互期间跟踪用户的眼睛注视和用户的姿势。
例如，参考图3B，用户的眼睛注视106聚焦在宝箱上。系统跟踪并处理用户的眼睛注视106数据和与眼睛相关联的任何其他信息(例如，瞳孔光反射、瞳孔大小、眼睛移动等)以识别可能成为用户的潜在交互焦点的内容项。如进一步所示，姿势206c示出用户100在与图3A所示的用户的身体位置相比更接近宝箱的位置处的身体位置。使用由用户执行的注视信息和姿势，系统被配置为生成与宝箱的交互预测，并且从数据存储装置中检索与宝箱相对应的图形数据并将其存储到系统存储器中。
如图3B中示出的示例所示，眼睛注视106或姿势206c可发起预取操作，该预取操作被配置为访问与宝箱相对应的图形数据并将其加载到系统存储器中。在用户100在将他们的眼睛注视106维持在宝箱上的同时走向宝箱时，在预期用户可能想要与宝箱交互的情况下，将与宝箱有关的图形数据(例如，内容项、几何形状、顶点、深度、颜色、光照、阴影、纹理、运动等)加载到系统存储器中。在图2B所示的示例中，在预期用户可能打开宝箱来发现并看看里面可能有什么(例如，金、银、珠宝等)的情况下，将与宝箱的内容有关的图形数据加载到系统存储器中。
在其他实施方案中，如果用户的眼睛注视不再指向宝箱或如果用户的姿势206表明用户不再对宝箱感兴趣，则系统被配置为暂停将图形数据加载到系统存储器中并可稍后在用户表现出与宝箱交互的兴趣时恢复图形数据的加载。在一些实施方案中，如果用户的眼睛注视不再指向所识别的宝箱或如果用户的姿势206表明用户不再对宝箱感兴趣，则从系统存储器中移除与内容项204d宝箱相对应的图形数据。
参考图3C，当用户的眼睛注视106聚焦在宝箱上时，姿势206d示出用户在朝向宝箱的方向上伸手去探索其内容物。如在虚拟现实场景202b中所示，示出用户的虚拟手臂100’打开宝箱的盖子。在一个实施方案中，当用户的手部触摸宝箱的盖子时，系统被配置为从系统存储器获取与宝箱的内容物相对应的图形数据来渲染宝箱的内容物，例如，金币。这样，由于金币的图形数据存储在系统存储器中，因此可快速地渲染金币的详细图形(例如，高清分辨率)，并且可防止与渲染宝箱的金币或内容物有关的延迟。因此，关于图3A至图3C描述的系统提供了一种跟踪用户的注视和姿势以识别场景中的内容项的方式，该内容项可被预取并加载到系统存储器中并用于在用户可能感兴趣的场景中渲染内容项。这样做可有助于消除在用户与虚拟现实场景202交互期间渲染游戏场景的延迟。
图4示出了用于获取与所识别的内容项相对应的图形数据来在游戏场景中进行渲染的系统的实施方案。该图示出了用于使用行为模型402并附加地使用输入数据406(诸如用户的注视信息、用户的姿势以及交互数据(例如，游戏玩法数据))作为输入来获取图形数据以加载到系统存储器412中的方法。在一个实施方案中，在用户100的游戏玩法期间，跟踪用户100的眼睛注视106和姿势206并通过网络112将其传输到云计算和游戏系统114。
该方法然后流向行为模型402，该行为模型被配置为接收输入数据406，诸如用户的注视信息、用户的姿势以及交互数据。在一些实施方案中，非直接输入的其他输入也可被视为行为模型402的输入。在用户的游戏玩法期间，行为模型402还可使用机器学习模型，该机器学习模型用于将场景中的内容项识别为用户的潜在交互焦点并生成用户与内容项的交互预测408。行为模型402还可用于识别用户的注视信息、用户的姿势以及交互数据之间的模式、相似性和关系。使用模式、相似性和关系，行为模型402可用于识别场景中可能是用户的潜在焦点的内容项和对用户的交互预测408。在一个实施方案中，交互预测408可包括用户可能在游戏中执行的各种各样的交互类型。此类预测的交互可包括用户伸手去拿所识别的内容项以查看关于该内容项的更多细节、触摸内容项来看看其感受如何、探索存储在内容项内部的内容物、打开门来探索位于另一侧的事物。随时间推移，行为模型402被训练来预测用户与游戏场景中的特定内容项交互的可能性，并且可基于预测来调整用于渲染内容项的图形数据的量。
在将场景中的内容项204识别为用户的潜在交互焦点并生成用户与内容项204的交互预测408之后，该方法流向云计算和游戏系统114，其中云计算和游戏系统114被配置为处理所识别的内容项204和交互预测408。在一些实施方案中，使用与内容项204的交互预测408，可利用预取操作404来从游戏渲染数据存储装置410访问与所识别的内容项204相对应的图形数据。在一个实施方案中，预取操作404被配置为基于对交互预测408的更新来进行调整以增加或减少要访问并加载到系统存储器412中的图形数据的量。例如，如果用户的眼睛注视聚焦在一系列不同内容项上，则预取操作404可增加用户的眼睛注视主要聚焦的内容项的图形数据的量，同时减少用户的眼睛注视不太聚焦的内容项的图形数据的量。
在一个实施方案中，图形数据可用于渲染特定内容项204或进一步增强特定内容项204的图像质量(例如，粗糙度、曲率、几何形状、顶点、深度、颜色、光照、阴影、纹理、运动等)。在访问图形数据之后，图形数据被加载并存储到系统存储器412中并可被CPU和GPU用来在场景中渲染内容项204，或者渲染更高分辨率，或者增强内容项204的图像质量。
例如，如图4所示，示出用户100打开宝箱(例如，内容项204d)的盖子，同时将他们的眼睛注视106对准宝箱。虚拟现实场景202中示出了表示用户的手臂的虚拟手臂100'打开宝箱的盖子以探索宝箱的内容物。使用用户的眼睛注视106、用户的姿势206以及交互数据，行为模型402可生成交互预测408，该交互预测包括用户100想要仔细搜寻宝箱的内容物以查看其内容物。使用交互预测408，云计算和游戏系统114可访问并加载与宝箱的内容物有关的图形数据，因为预测用户可能想要对所有内容物进行整理以看看宝箱中有什么。在将与宝箱的内容物有关的图形数据存储到系统存储器412中之后，图形数据可用于在用户100开始对宝箱的内容进行整理时渲染宝箱的内容物。这样，在用户探索内容物时，可以高分辨率无缝渲染宝箱的内容物的图像，而没有任何延迟或滞后时间。
图5示出了表502的实施方案，示出了在用户的游戏玩法期间跟踪的用户的眼睛注视信息504和姿势206，以及所生成的用户与内容项204的交互预测408。如图所示，表502包括在用户与游戏场景交互时跟踪的用户的注视信息504和姿势206。如在表中进一步所示，基于用户的对应的注视信息504和姿势206，将游戏场景中的内容项204标识为潜在交互焦点。在一个实施方案中，注视信息504可包括用户的眼睛注视106，以及在用户的游戏玩法期间捕获的与用户的眼睛相关联的其他信息，例如眼睛移动、瞳孔光反射、瞳孔大小等。在一些实施方案中，在游戏玩法期间跟踪用户的姿势206，所述姿势可包括被处理以有助于确定与场景中的内容项的交互预测408的各种身体移动和身体语言数据。
为了提供对图5中的表502的说明，在一个示例中，系统可确定基于游戏场景上下文506，用户处于涉及与敌人角色(例如，机械巨魔)进行战斗的场景中。在用户与场景的交互期间，系统可能确定用户的眼睛正在快速地眨眼，同时眼睛注视聚焦在出口门上。用户的姿势可能指示用户的手部正在挥舞，并且用户因为想到必须在没有适当武器的情况下与敌人角色战斗而感到害怕。所记录的信息可由行为模型402处理和接收，该行为模型可用于生成交互预测408，该交互预测包括用户跑向出口门以逃出或定位武器。使用交互预测，系统被配置为访问并加载与在用户打开门逃出时可能位于出口门的另一侧的内容有关的图形数据。因此，在图形数据被加载到系统存储器中的情况下，CPU和GPU可访问图形数据并渲染可能位于出口门后面的场景的内容的图像。
图6示出了可用于执行本公开的各种实施方案的各方面的示例设备600的部件。这个框图示出了设备600，该设备可结合或可以是适合于实践本公开的实施方案的个人计算机、视频游戏控制台、个人数字助理、服务器或其他数字设备。设备600包括用于运行软件应用程序以及任选地操作系统的中央处理单元(CPU)602。CPU 602可由一个或多个同构或异构处理核心构成。例如，CPU 602是具有一个或多个处理核心的一个或多个通用微处理器。可使用具有微处理器架构的一个或多个CPU来实施其他实施方案，该微处理器架构特别地适于高度并行且计算密集的应用程序，诸如处理解释查询、识别上下文相关资源以及立即在视频游戏中实施和渲染上下文相关资源的操作。设备600可在玩游戏片段的玩家的本地(例如，游戏控制台)，或者在玩家的远程(例如，后端服务器处理器)，或者是在游戏云系统中使用虚拟化来向客户端远程流式传输游戏玩法的许多服务器中的一者。
存储器604存储供CPU 602使用的应用程序和数据。存储装置606提供用于应用程序和数据的非易失性存储装置和其他计算机可读介质，并且可包括固定磁盘驱动器、可移除磁盘驱动器、闪存存储器设备以及CD-ROM、DVD-ROM、蓝光、HD-DVD或其他光学存储设备，以及信号传输和存储介质。用户输入设备608将来自一个或多个用户的用户输入传达到设备600，该设备的示例可包括键盘、鼠标、操纵杆、触摸板、触摸屏、静照或视频记录器/相机、用于辨识姿势的跟踪设备和/或麦克风。网络接口614允许设备600经由电子通信网络与其他计算机系统通信，并且可包括通过局域网和广域网(诸如互联网)进行的有线或无线通信。音频处理器612适于从由CPU 602、存储器604和/或存储装置606提供的指令和/或数据生成模拟或数字音频输出。设备600的部件(包括CPU 602、存储器604、数据存储装置606、用户输入设备608、网络接口610和音频处理器612)经由一根或多根数据总线622连接。
图形子系统620还与数据总线622和设备600的部件连接。图形子系统620包括图形处理单元(GPU)616和图形存储器618。图形存储器618包括用于存储输出图像的每个像素的像素数据的显示存储器(例如，帧缓冲器)。图形存储器618可集成在与GPU 608相同的设备中、作为单独设备与GPU 616连接和/或实施在存储器604内。像素数据可直接地从CPU 602提供到图形存储器618。替代地，CPU 602向GPU 616提供定义期望输出图像的数据和/或指令，GPU 616从该数据和/或指令生成一个或多个输出图像的像素数据。定义期望输出图像的数据和/或指令可存储在存储器604和/或图形存储器618中。在实施方案中，GPU 616包括从定义场景的几何形状、光照、暗影、纹理、运动和/或相机参数的指令和数据来生成输出图像的像素数据的3D渲染能力。GPU 616还可包括能够执行着色器程序的一个或多个可编程执行单元。
图形子系统614周期性地从图形存储器618输出图像的像素数据以显示在显示设备610上。显示设备610可以是能够响应于来自设备600的信号而显示视觉信息的任何设备，包括CRT、LCD、等离子体和OLED显示器。例如，设备600可向显示设备610提供模拟或数字信号。
应当注意，在广阔的地理区域上递送的访问服务(诸如提供对当前实施方案的游戏的访问)经常使用云计算。云计算是一种计算方式，其中动态可扩展和通常虚拟化的资源通过互联网作为服务提供。用户不需要成为支持他们的“云”中技术基础设施方面的专家。云计算可分为不同服务，诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务通常提供在线的从web浏览器访问的常用应用程序(诸如视频游戏)，而软件和数据则存储在云中的服务器上。基于在计算机网络图中描绘互联网的方式，术语云被用作互联网的隐喻，并且是对其隐藏的复杂基础设施的抽象。
在一些实施方案中，游戏服务器可用于执行视频游戏玩家的持续时间信息平台的操作。在互联网上玩的大多数视频游戏都是经由与游戏服务器的连接来操作的。通常，游戏使用从玩家收集数据并将其分发给其他玩家的专用服务器应用程序。在其他实施方案中，视频游戏可由分布式游戏引擎执行。在这些实施方案中，分布式游戏引擎可在多个处理实体(PE)上执行，使得每个PE执行视频游戏在其上运行的给定游戏引擎的功能片段。游戏引擎将每个处理实体仅仅视为计算节点。游戏引擎通常执行一系列功能多样的操作，以执行视频游戏应用程序以及用户体验的附加服务。例如，游戏引擎实施游戏逻辑，执行游戏计算、物理、几何变换、渲染、光照、着色、音频以及另外的游戏内或游戏相关服务。附加服务可包括例如消息传送、社交实用程序、音频通信、游戏玩法重播功能、帮助功能等。虽然游戏引擎有时可在由特定服务器的管理程序虚拟化的操作系统上执行，但是在其他实施方案中，游戏引擎本身分布在多个处理实体间，该处理实体中的每一者可驻留在数据中心的不同服务器单元上。
根据该实施方案，取决于每个游戏引擎片段的需要，用于执行操作的相应处理实体可以是服务器单元、虚拟机或容器。例如，如果游戏引擎片段负责相机变换，则可向此特定游戏引擎片段提供与图形处理单元(GPU)相关联的虚拟机，因为它将进行大量相对简单的数学运算(例如，矩阵变换)。可向需要更少但更复杂的操作的其他游戏引擎片段提供与一个或多个更高功率的中央处理单元(CPU)相关联的处理实体。
通过分发游戏引擎，游戏引擎具有不受物理服务器单元的能力约束的弹性计算性质。替代地，在需要时，向游戏引擎提供更多或更少的计算节点，以满足视频游戏的需求。从视频游戏和视频游戏玩家的角度来看，分布在多个计算节点上的游戏引擎与在单个处理实体上执行的非分布式游戏引擎没有区别，因为游戏引擎管理器或监督器分发工作负荷并无缝地整合结果以为最终用户提供视频游戏输出分量。
用户使用客户端设备访问远程服务，客户端设备至少包括CPU、显示器和I/O。客户端设备可以是PC、移动电话、笔记型计算机、PDA等。在一个实施方案中，在游戏服务器上执行的网络辨识客户端使用的设备类型并调整所采用的通信方法。在其他情况下，客户端设备使用标准的通信方法(诸如html)来通过互联网访问游戏服务器上的应用程序。
应理解，可针对特定平台和特定相关联的控制器设备开发给定的视频游戏或游戏应用程序。然而，当通过本文中呈现的游戏云系统使此类游戏可用时，用户可能正在使用不同的控制器设备来访问视频游戏。例如，可能已经为游戏控制台及其相关联的控制器开发了游戏，而用户可能正在使用键盘和鼠标从个人计算机访问基于云的游戏版本。在这种情况下，输入参数配置可定义从用户的可用控制器设备(在这种情况下为键盘和鼠标)生成的输入到执行视频游戏可接受的输入的映射。
在另一个示例中，用户可经由平板计算设备、触摸屏智能电话或其他触摸屏驱动设备来访问云游戏系统。在这种情况下，客户端设备和控制器设备一起集成在同一设备中，其中通过检测到的触摸屏输入/手势来提供输入。对于这种设备，输入参数配置可定义与视频游戏的游戏输入相对应的特定触摸屏输入。例如，可在视频游戏运行期间显示或覆盖按钮、方向键或其他类型的输入元素，以指示触摸屏上的用户可触摸以生成游戏输入的位置。手势(诸如在特定方向上的轻扫或具体触摸运动)也可被检测为游戏输入。在一个实施方案中，可向用户提供指导，指示如何经由触摸屏幕提供用于游戏玩法的输入，例如在开始视频游戏的游戏玩法之前提供指导，以便使用户适应触摸屏幕上的控件的操作。
在一些实施方案中，客户端设备用作控制器设备的连接点。也就是说，控制器设备经由无线或有线连接与客户端设备通信以将来自控制器设备的输入传输到客户端设备。客户端设备可继而处理这些输入，并且然后通过网络(例如，通过诸如路由器的本地联网设备访问的网络)将输入数据传输到云游戏服务器。然而，在其他实施方案中，控制器本身可以是联网设备，具有经由网络直接将输入传递到云游戏服务器的能力，而无需首先通过客户端设备来传输此类输入。例如，控制器可连接到本地联网设备(诸如上述路由器)以向云游戏服务器发送数据并从云游戏服务器接收数据。因此，尽管可能仍然需要客户端设备接收来自基于云的视频游戏的视频输出并将其渲染在本地显示器上，但是通过允许控制器通过网络直接将输入发送到云游戏服务器从而绕过客户端设备，可减少输入时延。
在一个实施方案中，联网控制器和客户端设备可被配置为将某些类型的输入从控制器直接发送到云游戏服务器，以及经由客户端设备发送其他类型的输入。例如，其检测不依赖于控制器本身以外的任何附加硬件或处理的输入可经由网络从控制器直接发送到云游戏服务器，从而绕过客户端设备。此类输入可包括按钮输入、操纵杆输入、嵌入式运动检测输入(例如，加速度计、磁力计、陀螺仪)等。然而，利用附加硬件或需要由客户端设备进行处理的输入可由客户端设备发送到云游戏服务器。这些输入可包括从游戏环境捕获的视频或音频，所述视频或音频可在发送到云游戏服务器之前由客户端设备进行处理。另外，来自控制器的运动检测硬件的输入可由客户端设备结合所捕获视频进行处理，以检测控制器的位置和运动，随后客户端设备会将该位置和运动传递到云游戏服务器。应了解，根据各种实施方案，控制器设备还可从客户端设备或直接从云游戏服务器接收数据(例如，反馈数据)。
应理解，可使用本文中所公开的各种特征将本文中所定义的各种实施方案组合或组装成具体实现方式。因此，所提供的示例只是一些可能的示例，而不限制通过组合各种元素来限定更多实现方式的可能的各种实现方式。在一些示例中，一些实现方式可包括更少的要素，而不背离所公开的或等同的实现方式的精神。
本公开的实施方案可用包括手持式设备、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等在内的各种计算机系统配置来实践。还可在分布式计算环境中实践本公开的实施方案，在所述分布式计算环境中，通过基于有线或无线网络链接的远程处理设备执行任务。
虽然以特定的顺序描述了方法操作，但是应当理解，可在操作之间执行其他内务操作，或者可调整操作，使得它们在稍微不同的时间发生，或者可将操作分布在系统中，只要以期望的方式执行用于生成经修改的游戏状态的遥测和游戏状态数据的处理，所述系统便允许以与处理相关联的各种间隔发生处理操作。
一个或多个实施方案也可被制造为计算机可读介质上的计算机可读代码。计算机可读介质是可存储数据的任何数据存储设备，该数据随后可由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储设备。计算机可读介质可包括分布在网络耦合的计算机系统上的计算机可读有形介质，使得以分布式方式来存储和执行计算机可读代码。
在一个实施方案中，视频游戏在游戏机、个人计算机上本地地执行或者在服务器上执行。在一些情形中，视频游戏由数据中心的一个或多个服务器执行。当执行视频游戏时，视频游戏的一些实例可以是视频游戏的模拟。例如，视频游戏可由生成视频游戏的模拟的环境或服务器执行。在一些实施方案中，模拟是视频游戏的实例。在其他实施方案中，模拟可由模拟器产生。在任一情形中，如果视频游戏被表示为模拟，那么能够执行该模拟以渲染可由用户输入交互地流式传输、执行和/或控制的交互内容。
尽管出于清楚理解的目的而略微详细地描述了前述实施方案，但将显而易见的是，可在所附权利要求书的范围内实践某些改变及修改。因此，本实施方案被认为是说明性的而非限制性的，并且所述实施方案不限于本文给出的细节，而是可在所附权利要求的范围和等效范围内进行修改。

Claims (20)

1.一种用于获取图形数据来渲染呈现在显示器上的场景的方法，所述方法包括：
在用户正在与所述场景交互时接收所述用户的眼睛的注视信息；
在所述用户正在与所述场景交互时跟踪所述用户的姿势；
将所述场景中的内容项识别为所述用户的潜在交互焦点；
处理所述用户的所述注视信息和所述姿势以生成所述用户与所述内容项的交互预测；以及
在预期所述用户与所述内容项交互的情况下处理预取操作以访问所述图形数据并将其加载到系统存储器中。
2.如权利要求1所述的方法，其中基于对所述预测的更新来调整所述预取操作以增加或减少要访问并加载到所述系统存储器中的所述图形数据的量。
3.如权利要求1所述的方法，其中部分地使用随时间推移训练的行为模型来处理所述交互预测以预测所述用户与所述内容项或另一个内容项交互的可能性。
4.如权利要求1所述的方法，其中所述图形数据用于渲染所述场景中的所述内容项以提高最初以较低图像质量呈现在所述场景中的所述内容项的图像质量。
5.如权利要求4所述的方法，其中用于所述内容项的所述渲染的所述图形数据的量是基于所述用户相对于所述内容项的距离。
6.如权利要求5所述的方法，其中用于所述内容项的所述渲染的所述图形数据的所述量是基于所述用户的眼睛注视维持在所述内容项上的时间长度。
7.如权利要求6所述的方法，其中基于获知所述用户先前已经与所述场景中的所述内容项交互来动态地调整用于所述渲染的所述图形数据的所述量。
8.如权利要求1所述的方法，其中所述图形数据用于在预期所述用户与所述场景中的另一个内容项交互的情况下渲染所述另一个内容项。
9.如权利要求1所述的方法，其中所述用户的所述姿势是头部移动、手部移动、身体移动、所述用户相对于所述内容项的位置、身体语言信号或它们中的两者或更多者的组合。
10.如权利要求1所述的方法，其中所述注视信息包括所述用户的眼睛注视、瞳孔大小、眼睛移动或它们中的两者或更多者的组合。
11.如权利要求1所述的方法，其中所述图形数据包括与所识别的内容项有关的信息，所述信息包括粗糙度、曲率、几何形状、顶点、深度、颜色、光照、阴影、纹理或它们中的两者或更多者的组合。
12.如权利要求1所述的方法，所述方法还包括：
使用所述图形数据来渲染与所述内容项有关的附加细节以提高所述内容项的图像质量。
13.如权利要求1所述的方法，所述方法还包括：
在预期所述用户与所述场景中的其他内容项交互的情况下使用所述图形数据来渲染所述其他内容项。
14.如权利要求1所述的方法，其中与所述内容项的所述交互预测是基于通过行为模型来处理所述注视信息、所述姿势和交互数据，所述行为模型被配置为识别所述注视信息、所述姿势和所述交互数据之间的关系以生成与所述内容项的所述交互预测。
15.一种用于获取图形数据来渲染呈现在显示器上的场景的系统，所述系统包括：
由服务器在用户正在与所述场景交互时接收所述用户的眼睛的注视信息；
由所述服务器在所述用户正在与所述场景交互时跟踪所述用户的姿势；
由所述服务器将所述场景中的内容项识别为所述用户的潜在交互焦点；
由所述服务器处理所述用户的所述注视信息和所述姿势以生成所述用户与所述内容项的交互预测；以及
由所述服务器在预期所述用户与所述内容项交互的情况下处理预取操作以访问所述图形数据并将其加载到系统存储器中。
16.如权利要求15所述的系统，其中基于对所述预测的更新来调整所述预取操作以增加或减少要访问并加载到所述系统存储器中的所述图形数据的量。
17.如权利要求15所述的系统，其中部分地使用随时间推移训练的行为模型来处理所述交互预测以预测所述用户与所述内容项或另一个内容项交互的可能性。
18.如权利要求15所述的系统，其中所述图形数据用于渲染所述场景中的所述内容项以提高最初以较低图像质量呈现在所述场景中的所述内容项的图像质量。
19.如权利要求15所述的系统，所述系统还包括：
由所述服务器使用所述图形数据来渲染与所述内容项有关的附加细节以提高所述内容项的图像质量。
20.如权利要求15所述的系统，其中与所述内容项的所述交互预测是基于通过行为模型来处理所述注视信息、所述姿势和交互数据，所述行为模型被配置为识别所述注视信息、所述姿势和所述交互数据之间的关系以生成与所述内容项的所述交互预测。
CN202280076952.4A 2021-11-29 2022-11-18 用于渲染数据的预加载的输入预测 Pending CN118265560A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/537,412 US20230168736A1 (en) 2021-11-29 2021-11-29 Input prediction for pre-loading of rendering data
US17/537,412 2021-11-29
PCT/US2022/050502 WO2023096840A1 (en) 2021-11-29 2022-11-18 Input prediction for pre-loading of rendering data

Publications (1)

Publication Number Publication Date
CN118265560A true CN118265560A (zh) 2024-06-28

Family

ID=84519915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280076952.4A Pending CN118265560A (zh) 2021-11-29 2022-11-18 用于渲染数据的预加载的输入预测

Country Status (3)

Country Link
US (1) US20230168736A1 (zh)
CN (1) CN118265560A (zh)
WO (1) WO2023096840A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2608186A (en) * 2021-06-25 2022-12-28 Thermoteknix Systems Ltd Augmented reality system
CN116909407B (zh) * 2023-09-12 2024-01-12 深圳康荣电子有限公司 基于虚拟现实的触控显示屏全景交互方法及控制系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886177B2 (en) * 2012-10-11 2018-02-06 Industry-Academic Cooperation Foundation, Yonsei University Method for increasing GUI response speed of user device through data preloading, and said user device
CN103809733B (zh) * 2012-11-07 2018-07-20 北京三星通信技术研究有限公司 人机交互系统和方法
US9898081B2 (en) * 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US9367117B2 (en) * 2013-08-29 2016-06-14 Sony Interactive Entertainment America Llc Attention-based rendering and fidelity
US9791917B2 (en) * 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
KR20180057668A (ko) * 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
EP3316075B1 (en) * 2016-10-26 2021-04-07 Harman Becker Automotive Systems GmbH Combined eye and gesture tracking
JP6858007B2 (ja) * 2016-11-28 2021-04-14 キヤノン株式会社 画像処理システム、画像処理方法
US10152822B2 (en) * 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US20180292896A1 (en) * 2017-04-06 2018-10-11 Intel Corporation Head-mounted display device
EP3635686A1 (en) * 2017-06-05 2020-04-15 Google LLC Smoothly varying foveated rendering
US11537264B2 (en) * 2018-02-09 2022-12-27 Sony Interactive Entertainment LLC Methods and systems for providing shortcuts for fast load when moving between scenes in virtual reality
JP7341166B2 (ja) * 2018-05-22 2023-09-08 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
US11570417B2 (en) * 2021-05-20 2023-01-31 Apple Inc. Immersive video streaming using view-adaptive prefetching and buffer control

Also Published As

Publication number Publication date
WO2023096840A1 (en) 2023-06-01
US20230168736A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
JP7164630B2 (ja) 予測サッカード着地点に基づく動的グラフィックスレンダリング
JP7181316B2 (ja) Ｈｍｄ環境での高速中心窩レンダリングのための予測及びｇｐｕに対する最新の更新を伴う視線追跡
US11833430B2 (en) Menu placement dictated by user ability and modes of feedback
US11294475B1 (en) Artificial reality multi-modal input switching model
CN118265560A (zh) 用于渲染数据的预加载的输入预测
US11579752B1 (en) Augmented reality placement for user feedback
WO2024026205A1 (en) Impaired player accessability with overlay logic providing haptic responses for in-game effects
CN117122890A (zh) 用于激活屏幕内容的选择性导航或放大的方法和系统
WO2024026206A1 (en) User sentiment detection to identify user impairment during game play providing for automatic generation or modification of in-game effects
US11417042B2 (en) Animating body language for avatars
US11986731B2 (en) Dynamic adjustment of in-game theme presentation based on context of game activity
US11914146B2 (en) Methods and systems for adding real-world sounds to virtual reality scenes
US20240091650A1 (en) Systems and methods for modifying user sentiment for playing a game
US20240066413A1 (en) Ai streamer with feedback to ai streamer based on spectators
US20230386452A1 (en) Methods for examining game context for determining a user's voice commands
US20230381643A1 (en) Method and system for processing gender voice compensation
US20230381649A1 (en) Method and system for automatically controlling user interruption during game play of a video game
US20240212302A1 (en) Artificial Reality Weight Simulation for a Virtual Object
US20230063681A1 (en) Dynamic augmentation of stimuli based on profile of user
CN118234550A (zh) 针对增强现实游戏玩法对物理环境进行特征相似度评分
WO2024091371A1 (en) Artificial reality input for two-dimensional virtual objects

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination