CN116171421A - 平视显示器基于注视跟踪的自动定位 - Google Patents

Abstract

提供了一种用于放置平视显示器(HUD)的方法，所述方法包括：渲染虚拟环境的视图以显示给用户；在用户参与与虚拟环境的视图的交互时，跟踪用户的注视，其中跟踪用户的注视生成注视数据，所述注视数据标识视图内用户的注视在交互期间指向的位置；使用注视数据来确定用于在视图中定位HUD的优选位置；在优选位置处将HUD定位在视图中。

Description

平视显示器基于注视跟踪的自动定位

技术领域

本公开涉及用于平视显示器基于用户的注视跟踪的自动定位的系统和方法。

背景技术

相关技术的描述

游戏行业持续发展的一个领域是多玩家游戏，它能够为地理上彼此相距遥远的玩家提供集体游戏体验。游戏行业的扩展领域是分享游戏进行视频和观看游戏进行。用户现在能够通过网站、社交媒体等录制和分享他们的游戏进行。此外，用户可以直播他们的游戏进行使得其他人可以基本上实时观看他们的游戏进行。

游戏行业中的另一当前趋势是向云游戏迈进。云游戏通过在可以保证视频游戏资源的数据中心实现远程执行视频游戏来为最终用户提供优势。由远程执行的视频游戏生成的视频被流式传输到用户设备，并且来自用户的输入被发送回数据中心。这使最终用户无需拥有特定硬件即可执行游戏本身。相反，最终用户只需要拥有足够的硬件来流式传输游戏进行，并且仍然可以享受高质量的游戏体验。此外，理论上，云游戏使得能够在有网络连接可用的任何位置进行游戏。

视频游戏行业中的持续趋势是图形的复杂性和计算资源的可用性的提高，以满足现代游戏引擎的需求。随着视频游戏的发展，它们的分辨率和帧速率不断提高，从而使得能够渲染非常逼真且详细的虚拟环境。另外，云游戏的人气持续增长，并且向云执行的视频游戏的转变使得人们能够更好地获得对高质量游戏体验的访问。

在这种背景下，提出了本公开的实施方案。

发明内容

本公开的实施方式提供用于平视显示器(HUD)基于注视跟踪的自动定位的系统和方法。

在一些实施方式中，提供了一种用于放置平视显示器(HUD)的方法，所述方法包括：渲染虚拟环境的视图以显示给用户；在用户参与与虚拟环境的视图的交互时，跟踪用户的注视，其中跟踪用户的注视生成注视数据，所述注视数据标识视图内用户的注视在交互期间指向的位置；使用注视数据来确定用于在视图中定位HUD的优选位置；在优选位置处将HUD定位在视图中。

在一些实施方式中，使用注视数据来确定优选位置包括分析注视数据以识别用户的主注视区域。

在一些实施方式中，识别用户的主注视区域包括识别视图的其中用户的注视的量超过预定义阈值的区。

在一些实施方式中，确定用于定位HUD的优选位置被配置为位于用户的主注视区域之外。

在一些实施方式中，使用注视数据来确定用于定位HUD的优选位置包括确定用户的被跟踪的注视的形心。

在一些实施方式中，确定用于定位HUD的优选位置包括选择用于定位HUD的多个预定义位置中的一者。

在一些实施方式中，在视图中定位HUD包括将HUD从现有位置移动到优选位置。

在一些实施方式中，交互式应用程序为视频游戏，并且其中虚拟环境被定义用于视频游戏的交互式游戏进行。

在一些实施方式中，HUD被配置为显示与视频游戏的交互式游戏进行相关的信息或统计数据。

在一些实施方式中，提供了一种用于放置平视显示器(HUD)的方法，所述方法包括：渲染虚拟环境的视图以显示给用户；在用户与虚拟环境的视图的交互期间，当用户参与交互时，跟踪交互的一个或多个特征，其中跟踪交互的一个或多个特征生成特征数据；使用特征数据来确定用于在视图中定位HUD的优选位置；在优选位置处将HUD定位在视图中。

在一些实施方式中，使用特征数据来确定优选位置包括分析特征数据以识别指示用于HUD的定位的优选位置的模式。

在一些实施方式中，分析特征数据由机器学习模型执行。

在一些实施方式中，确定用于定位HUD的优选位置包括选择用于定位HUD的多个预定义位置中的一者。

在一些实施方式中，交互的特征包括用户的注视、用户的手势、控制器输入、生物特征输入中的一者或多者。

在一些实施方式中，交互式应用程序为视频游戏，并且其中虚拟环境被定义用于视频游戏的交互式游戏进行。

在一些实施方式中，提供了一种用于布置平视显示器(HUD)的元素的方法，所述方法包括：渲染虚拟环境的视图以显示给用户；在用户参与与虚拟环境的视图的交互时，跟踪用户的注视，其中跟踪用户的注视生成注视数据，注视数据标识视图内用户的注视在交互期间所指向的位置；使用注视数据来确定视图中预定义位置的排名次序，预定义位置被配置用于HUD的元素在视图中的相应放置；根据排名次序分别将HUD的元素定位在预定义位置。

在一些实施方式中，HUD的元素的定位被配置为按重要性的次序并且根据预定义位置的排名次序来放置HUD的元素。

在一些实施方式中，使用注视数据来确定排名次序包括分析注视数据以识别用户的主注视区域。

在一些实施方式中，使用注视数据来确定排名次序包括确定用户的被跟踪的注视的形心。

在一些实施方式中，交互式应用程序为视频游戏，并且其中虚拟环境被定义用于视频游戏的交互式游戏进行。

结合附图从以下详细描述将明了本公开的其他方面和优点，附图以示例方式来说明本公开的原理。

附图说明

通过参考结合附图进行的以下描述可以最好地理解本公开及其另外的优点。

图1概念性地示出了根据本公开的实施方式的HUD基于所跟踪的玩家注视信息的优化放置。

图2A概念性地示出了根据本公开的实施方式的基于玩家的注视跟踪来确定HUD的最优位置。

图2B概念性地示出了根据本公开的实施方式的HUD附近的注视点的优先级降低，以实现HUD的最优放置。

图3A和图3B概念性地示出了根据本公开的实施方式的取决于HUD在玩家视野内的定位的HUD内的位置的优先级排序。

图4概念性地示出了根据本公开的实施方式的HUD元素基于玩家优选注视区域在不同位置处的放置。

图5概念性地示出了根据本公开的实施方式的用于预测玩家优选HUD位置的方法。

图6A和图6B概念性地示出了根据本公开的实施方式的响应于玩家注视活动对HUD的可见性的调节。

图7概念性地示出了根据本公开的实施方式的响应于玩家的被跟踪的注视对HUD的动态定位。

图8概念性地示出了根据本公开的实施方式的用于HUD基于用户的被跟踪的注视信息的最优放置的系统。

图9A示出了根据本公开的实施方式的用于加载可通过云游戏站点获得的游戏的游戏文件的示例性系统。

图9B是概念性地示出了根据本公开的实施方式的针对将云视频游戏流式传输到客户端装置执行的各种操作的流程图。

图10示出了根据本公开的实施方式的信息服务提供商架构的实施方案。

具体实施方式

在以下描述中，陈述众多具体细节以提供对本公开的彻底理解。然而，对于本领域技术人员将显而易见的是，可在没有这些具体细节中的一些或全部的情况下实践本公开。在其他情况下，没有详细描述公知的过程步骤以免使本公开不清楚。

随着现代视频游戏变得越来越复杂，呈现给玩家的信息量可能非常大。这继而导致玩家的平视显示器(HUD，例如包括游戏相关信息/统计数据)占据玩家视野的很大一部分。因此出现问题，因为HUD可能干扰玩家的游戏进行，诸如通过模糊玩家试图观看的游戏进行的部分，或者使玩家更难以观看游戏进行的给定部分。由于HUD，玩家可能需要重新定位/重定向他们的视野和/或角色/化身，以便更清楚地观看游戏进行的期望部分。

鉴于此问题，广义地讲，本公开的实施方式涉及用于通过注视追踪收集视频游戏/模拟的玩家的视野以及随后针对玩家的眼睛运动将HUD自动地定位在最优位置的方法和系统。在一些实施方式中，提供了用于对与HUD的定位和/或具体信息在HUD内的定位相关的个人偏好的附加微调的选项。

在一些实施方式中，可以根据个人偏好增大或减小视野，并且可以根据个人偏好移动视点的中心。应当理解，给定玩家的个人偏好可以从对玩家的跟踪(例如注视跟踪、玩家输入跟踪等)推断出来和/或由玩家明确地进行用户定义。在一些实施方式中，可以根据个人重要性改变具体游戏统计数据/信息在屏幕上的位置。例如，针对具体统计数据的默认值可以从屏幕的一个角落移动到另一个角落(例如，从右下角移动到左上角)。

虽然参考视频游戏的玩家描述了本公开的实施方式，但是应当理解，在其他实施方式中，本公开的原理适用于其中用户参与虚拟环境中的交互的任何其他类型的模拟或交互式应用程序。

本公开的实施方式涉及视频游戏或其他模拟或交互式应用程序中平视显示器(HUD或抬头显示器)的放置和调节。如本领域技术人员通常理解的，HUD通常为与视频游戏或模拟中发生的游戏进行或交互相关的信息的持续显示器。在一些实施方式中，可以存在多个HUD。在一些实施方式中，HUD可被表征为具有多个显示器、多种类型的信息或多个元素。HUD被渲染在用户/玩家的虚拟环境视图中(通常作为叠加层)，但HUD被理解为信息显示器，并且通常不是游戏进行交互发生的虚拟环境本身的一部分。(对此的一种例外是，用户与本身包括HUD的虚拟对象交互的情况，诸如驾驶飞机或可包括HUD的其他车辆。)HUD显示可以由用户/玩家在游戏进行或互动期间观看或查阅但通常本身不是此类游戏进行或互动的对象的信息。

HUD可以包括各种种类的信息，包括例如但不限于：值、数量、数字、描述符、图形指示或以下的任何其他指示：分数、生命、健康、能量、燃料、力量、弹药、盔甲、武器、工具、物品、技能、成就、地图、场景、等级、排名、速率、速度、地点(location)、位置、取向、方向、高度、目的、目标、当前时间、实耗时间、剩余时间、状态等。

图1概念性地示出了根据本公开的实施方式的HUD基于所跟踪的玩家注视信息的优化放置。在所示实施方式中，玩家100参与由计算机102执行的视频游戏的游戏进行。计算机102渲染视频游戏的游戏进行视频以供在显示器104上呈现。所呈现的游戏进行视频描绘其中发生游戏进行交互的视频游戏的虚拟环境的视图。举例来说但不进行限制，在各种实施方式中，计算机102可以为游戏控制台、个人计算机、服务器计算机、膝上型计算机、平板电脑、智能手机、便携式游戏装置等。在一些实施方式中，显示器104为与计算机102分离的设备，诸如电视、监视器、LCD显示器等。在一些实施方式中，显示器104与计算机102集成，诸如膝上型计算机、平板电脑、智能手机、便携式游戏装置等的显示器。在一些实施方式中，显示器104为头戴式显示器(HMD)，能够提供视频游戏的虚拟环境的沉浸式视图。在一些实施方式中，玩家100操作控制器106来生成针对视频游戏的输入。举例来说但不进行限制，在各种实施方式中，控制器106可以为游戏控制台控制器、键盘、鼠标、外围设备、运动控制器、相机、传声器、触摸屏等。控制器106可以与计算机102分离或与计算机102和/或显示器104(例如触摸屏显示器)集成。

在一些实施方式中，计算机102执行视频游戏。在一些实施方式中，视频游戏是经云执行的，其中计算机102充当瘦客户端，其通过网络(例如，包括互联网)从云游戏服务接收游戏进行视频以供在显示器104上呈现，并且将输入传回到执行视频游戏的云游戏机。

当玩家100参与视频游戏的游戏进行时，玩家的注视被跟踪。在一些实施方式中，玩家的注视跟踪是通过处理由面向玩家的相机108捕获的图像执行的，其中所捕获的图像包括玩家的眼睛。在各种实施方式中，此类面向玩家的相机108可以为独立装置，或者可以与计算机102或显示器104集成。例如，在HMD的情况下，相机108可以集成到HMD中并且定位在HMD内部以便捕获玩家的眼睛。尽管为了便于描述的目的，本文引用了单个相机，但是应当理解，在各种实施方式中，可以利用多于一个相机来进行注视跟踪。在一些实施方式中，使用分别跟踪玩家的左眼和右眼(例如在HMD中)的两个相机。在一些实施方式中，多个相机被定位为使得能够在玩家改变他们的头部位置或取向的情况下从不同角度捕获玩家。

玩家的注视被跟踪以使得能够确定和跟踪视频游戏的所描绘视图中玩家正在观看的位置。通过在游戏进行期间随时间跟踪玩家的注视，可以识别玩家的优选注视区域。在所示实施方式中，以举例而非进行限制的方式示出，在标号110处，视频游戏的虚拟环境的视图112在游戏进行期间被呈现给玩家100。玩家的注视在此类游戏进行期间被跟踪以识别视图112的主注视区域114，所述主注视区域为玩家要观看的视图112的优选区/区域，或者为玩家在游戏进行期间主要关注的视图的区。

应当理解，视图112为虚拟环境的所描绘部分，其通过显示器104呈现以供玩家100观看，并且因此，视图112随着玩家参与游戏进行而改变。例如，在一些实施方式中，视图112为从由玩家100控制的虚拟化身(例如，虚拟环境中的虚拟角色、车辆或其他代表性虚拟对象)的角度来看的虚拟环境的视图。在一些实施方式中，视图为第一人称视图、第三人称视图、越肩视图或与玩家的虚拟化身相关联的其他类型的角度视图。在显示器104为HMD的情况下，通常呈现第一人称视图。同样，视图112为通过HMD呈现给玩家的虚拟环境的一部分，并且在HMD的情况下，所述视图由佩戴HMD的玩家头部的运动控制并根据其而变化。

执行注视跟踪，其识别并跟踪视图112内玩家100的眼睛所聚焦的具体位置。在一些实施方式中，通过以下来识别玩家的主注视区域114：量化或测量玩家注视视图112的各个部分的程度；以及识别各个部分中玩家最注视哪个部分。举例来说但不进行限制，在一些实施方式中，玩家注视跟踪在游戏进行期间识别并记录视图112内玩家注视的位置。因此，经过一个或多个游戏进行时间段，玩家在游戏进行期间的注视位置或注视点被累积。随后，在一些实施方式中，应用阈值来确定玩家的主注视区域114。以举例而非进行限制的方式提供了阈值确定的各种示例。

在一些实施方式中，玩家的注视点被映射并且主注视区域114被识别为注视点密度超过预定义阈值的区域。即，主注视区域为每单位面积的注视点数量超过阈值的视图的区。

在一些实施方式中，主注视区域114被识别为其中玩家进行观看的部分时间量超过预定义阈值的最高密度区域。例如，主注视区域114可被识别为具有最高注视点密度的区域，在所述区域中玩家的注视在游戏进行期间的时间的N％(例如，65％、70％、75％、80％等)被引导。

在一些实施方式中，主注视区域114被识别为最高密度区域，其中玩家的注视落入所述区域内的概率超过预定义阈值。例如，主注视区域114可被识别为具有最高注视点密度的区域，使得玩家的注视在所述区域内的概率大于阈值概率。

基于玩家100的所识别的主注视区域114，随后如标号116概念性所示，HUD 118定位在视图112内以便在玩家的主注视区域114之外。这样，HUD 118不太可能干扰玩家在游戏进行期间所倾向于关注的视图部分。在一些实施方式中，HUD被定位以最大限度地减小HUD与主注视区域114的重叠。在一些实施方式中，HUD被定位为紧邻主注视区域或在其周边处。举例来说但不进行限制，在此类实施方式中，如果主注视区域较小并且集中在中心，则HUD可被定位为更靠近视图的中心；而如果主注视区域较大并且扩展为更远离中心，则HUD被定位为距离视图的中心更远。

在一些实施方式中，HUD 118定位在HUD的多个预定义位置中的一者。例如，在一些实施方式中，HUD定位在视图的左侧或右侧，其中选择具体的一侧以便对玩家的主注视区域114干扰最少。在一些实施方式中，HUD定位在视图的顶侧或底侧，其中选择具体的一侧以便对玩家的主注视区域114干扰最少。在一些实施方式中，HUD定位在视图的四个角落中的一个(左上角、右上角、左下角、右下角)中，其中选择具体的角落以便对玩家的主注视区域114干扰最少。

在一些实施方式中，HUD定位在默认位置，除非默认定位导致HUD与主注视区域114重叠，在这种情况下，HUD定位在不同位置(例如在较小程度上与主注视区域重叠的另一预定义位置)处。在一些实施方式中，存在HUD的预定义位置的优先级排序，使得HUD放置在不与主注视区域重叠或最大限度地减小这种重叠的最高优先级预定义位置处。

在一些实施方式中，可给予玩家增大或减小其主注视区域的大小的选项。例如，玩家可能发现HUD干扰他们的视野或放置得不令他们满意，并且因此可能希望增大他们的主注视区域，并且从而将HUD放置得离他们的中央视觉区更远。在某些实施方式中，可给予玩家移动其主视野区的中心，从而影响HUD的放置的选项。

在一些实施方式中，确定玩家的主注视区域114以及随后确定视图内的HUD位置的上述过程可以包括在针对视频游戏的校准或设定过程中。在一些实施方式中，视频游戏可以包括校准内容，玩家可以通过所述校准内容来实现如所描述的HUD的最优定位。在一些实施方式中，在第一次玩视频游戏时，视频游戏可以让玩家看完初始教程或学习练习来教授控制、锻炼玩视频游戏的技能等。作为这个过程的一部分，可以在技能练习或操练期间跟踪玩家的注视，并对其进行评估以确定实际游戏活动期间的HUD放置。在一些实施方式中，视频游戏的初始场景不包括HUD；然而，玩家的注视在初始场景期间被跟踪，并且在包括HUD的稍后场景中，随后基于如已经描绘的用户的注视跟踪数据来放置HUD。

在一些实施方式中，确定玩家注视点的近似中心，并将其用于确定HUD的位置。在一些实施方式中，通过确定注视点的形心或几何中心来确定近似中心。在一些实施方式中，如果形心朝向给定的一侧或角落偏离，则将HUD定位在与形心偏离的一侧或角落基本上相反的一侧或角落上。例如，如果形心偏向中心的左侧，则将HUD朝右侧定位；如果形心偏向顶部，则将HUD朝底部定位；如果形心偏离左下角，则将HUD朝右上角定位，等等。

图2A概念性地示出了根据本公开的实施方式的基于玩家的注视跟踪来确定HUD的最优位置。在一些实施方式中，在游戏进行期间对玩家的注视跟踪被应用来识别如已经描述的玩家的优选注视区域。然而，如果HUD在游戏进行期间也存在，则HUD的区域将是玩家视图的其中玩家也倾向于将其注视投向的区。为了识别玩家的优选注视区域以实现HUD的最优放置，期望过滤掉玩家在HUD的现有位置对其注视所产生的玩家注视点，因为这些并不指示玩家实施交互式游戏进行的优选注视位置，而是玩家寻求从现有HUD获取信息的产物。

因此，在一些实施方式中，出现在基本上或大约在现有HUD附近的区域中的注视点经优先级降低(例如至少部分地)、权重降低或丢弃或以其他方式减少它们对确定玩家的优选/主注视区域的影响。在图2A的所示实施方式中，例如，在标号200处，表示了虚拟环境的玩家视图202，其包括在所示实施方式中定位在视图202的底部处的HUD 204。基于注视跟踪数据，确定玩家的优选注视区域(例如，具有高注视点密度(诸如大于阈值)的区域)包括区域206和区域208。区域206大致靠近并围绕视图202的中心。然而，区域208基本上定位在HUD204附近。因此，区域208的注视点在一些实施方式中被降低权重，以便降低它们在确定玩家的优选注视区域中的重要性。

对HUD 104附近的注视点进行优先级降低的结果在标号210处概念性地示出，其中优选注视区(zone)206被识别，而在现有HUD 204位置处没有任何附加优选区。在所示实施方式中，确定HUD 204不干扰玩家的优选注视区域206，并且因此保持HUD 204的放置。

图2B概念性地示出了根据本公开的实施方式的HUD附近的注视点的优先级降低，以实现HUD的最优放置。如标号220处所示，在其中玩家观看虚拟环境的视图222的游戏进行期间跟踪玩家的注视。在视图222中，存在HUD 224，并且其沿着视图222的底部(沿着玩家所观看的屏幕/显示器的底部)定位。因为视图222包括HUD224，所以对玩家进行注视跟踪以确定第一优选注视区域226(其对注视点(包括HUD 224附近或区域中的注视点)同等取值)将倾向于包括HUD 224或与所述HUD重叠，因为玩家在游戏进行期间倾向于查看HUD 224。

然而，通过对HUD 224附近的注视点进行优先级降低，随后可以获得在不存在HUD的情况下对玩家的优选注视区域的更准确表示。如标号230处所示，当HUD 224附近的注视点已被降低优先级时，则获得第二优选注视区域232。在这种情况下，第二优选注视区域232仍然在某种程度上与HUD 224重叠。如此，确定HUD并非经最优放置，因为其干扰玩家的优选注视区域232，即使在忽略HUD附近的注视点时也是如此。因此，HUD被移动到新位置，例如不与优选注视区域232重叠的位置。

在一些实施方式中，HUD附近的注视点被降低优先级的程度可由预定义权重或因子定义。在一些实施方式中，分析注视点以确定玩家是否试图观看HUD或虚拟环境，并且如果确定玩家正在观看HUD，则丢弃此类注视点。在一些实施方式中，分析玩家注视的移动以确定玩家是否正在观看HUD或虚拟环境。例如，如果玩家的注视从视图的另一区域跳到HUD附近，则可以推断玩家正在观看HUD。而如果玩家的注视以更连续的方式漂移靠近并进入HUD附近，则可以推断用户未观看HUD，而是在观看虚拟环境。在一些实施方式中，此类原理可以结合到基于眼睛注视移动的加权中。例如，对于HUD附近的注视点，在此类注视点之前的注视移动量(例如注视空间移动、注视移动速率、注视加速/减速)越大，则此类注视的优先级被降低得越多(例如，通过减少所应用的权重/因子)。

在一些实施方式中，HUD的不同部分可以根据优先级排序方案来布置。例如，图3A和图3B概念性地示出了根据本公开的实施方式的取决于HUD在玩家视野内的定位的HUD内的位置的优先级排序。即，当HUD被移动到不同位置时，HUD内元素的布置也会发生变化。在图3A中，HUD 302被示为定位在虚拟环境的玩家视图300的左上角中。HUD 302包括若干元素，这些元素在一些实施方式中可以为几种统计数据或其他与游戏相关的信息。

应当理解，某些元素对于玩家来说可能比其他元素更重要，并且因此期望以使更重要的元素能够更容易地被玩家在视觉上接触的优先级排序来定位元素。因此，在一些实施方式中，当HUD 302如图所示定位在左上角中时，则各种HUD元素304、306、308和310如图所示定位在HUD内，其中元素304定位在HUD的右下角处，元素306定位在HUD的右上角处，元素308定位在HUD的左下角处，并且元素310定位在HUD的左上角处。这样，较高优先级的元素304和306被定位成比较低优先级的元素308和310在横向上更靠近中心(或更横向居中)。最高优先级的元素304也被定位成比元素306在竖向上更靠近中心(或更竖向居中)。

然而，在图3B处，已将HUD 302定位在右下角处，并且因此将元素304、306、308和310定位于不同位置。在这种情况下，较高优先级的元素304和306定位在HUD的左上角和左下角中，从而将所述元素定位成比分别定位在右上角和右下角中的较低优先级的元素308和310在横向上更靠近中心。同样，最高优先级的元素304被定位成比元素306在竖向上更靠近中心。

由此，HUD 302因此被配置为定义用于在HUD内定位元素的预定义位置的优先级排序，并且预定义位置的特定布置根据HUD与玩家视图的整体位置而改变。这些元素根据其优先级排序在各种预定义位置处定位在HUD内。这样，可以根据HUD的整体位置最优地布置HUD的各种元素。虽然已经描述了HUD 302的具体示例，但是应当理解，在其他实施方式中，HUD的具体布置以及HUD内预定义元素位置的经优先级排序次序的所得变化可以发生改变。在某些实施方式中，随着HUD被移动，HUD内的元素也被布置为将较高优先级的元素定位得更居中(例如在横向上更靠近中心和/或在竖向上更靠近中心)和/或更靠近玩家的优选/主注视区域。

图4概念性地示出了根据本公开的实施方式的HUD元素基于玩家优选注视区域在不同位置处的放置。在所示实施方式中，概念性地示出了虚拟环境的玩家视图400，并且已经确定玩家在视图400内具有优选注视区域402。各种预定义位置404、406、408和410被定义用于放置HUD元素/信息。在此类实施方式中，HUD可被描述为具有多个位置(在这种情况下位于四个角落中)，而非单个位置。

此外，基于玩家的所确定的优选注视区域402，可以对HUD元素的各种预定义位置进行优先级排序，以便实现根据预定义位置的优先级顺序按照重要性次序来放置HUD元素。例如，在所示实施方式中，玩家的优选注视区域402倾向于偏向视图的左下角，并且因此定位在左下角中的预定义位置408被排名为用于放置HUD元素的最高优先级位置，因为所述位置是最接近玩家的优选注视区域402的位置。在一些实施方式中，预定义位置按照与玩家注视点的形心或他们的优选注视区域的接近度的次序进行优先级排序。并且因此，最接近优选注视区域402的形心的预定义位置408被排名在第一位作为最高优先级位置。在所示实施方式中，HUD元素420被排名为最重要的，并且因此被放置在最高优先级位置处，所述最高优先级位置在所示实施方式中为预定义位置408。

由于HUD元素是按重要性排名的，因此它们根据预定义位置的优先级排序放置在预定义位置处。在所示实施方式中，预定义位置经优先级排序，其中位置408排名第一位，随后依次为位置404、410和406。HUD元素420、422、424和426是按照重要性次序排名的，其中HUD元素420排名第一位，随后依次为HUD元素422、424和426。因此，随后连同将HUD元素420放置在位置408处，HUD元素422放置在位置404处，HUD元素424放置在位置410处，并且HUD元素426放置在位置406处。这样，根据预定义位置的优先级排序，HUD元素按重要性次序放置，使得更重要的HUD元素更有可能在游戏进行期间的任何给定时刻更靠近玩家的注视。

图5概念性地示出了根据本公开的实施方式的用于预测玩家优选HUD位置的方法。广义地讲，在一些实施方式中，新玩家的优选HUD位置是通过以下来确定的：首先预先测试多个对象或玩家；以及评估测试结果以识别预测给定玩家的优选HUD位置的特征。因此，在所示实施方式中，在方法操作500处，通过让一组测试对象参与视频游戏的游戏进行来测试所述对象，其中HUD定位在不同位置。例如，对于给定的测试对象，在游戏进行期间，可将HUD周期性地移动到测试对象的视图内的不同位置(例如，HUD有25％的时间放置在四个角落中的每一个中)。或者，测试对象可以进行视频游戏的多个会话，其中HUD在不同会话中定位在不同位置处(例如，玩家进行四个会话，每个会话的HUD在四个角落中的不同一个中)。这样，测试对象在HUD定位在他们的视图中的各种位置处的情况下体验视频游戏的游戏进行。

在方法操作502处，在测试对象的游戏进行期间跟踪他们的注视。另外，还跟踪与测试对象的游戏进行相关的其他指示符或特征。此类附加特征的示例包括但不限于：测试对象移动和手势、面部表情、控制器输入、控制器移动、传声器输入、游戏进行期间的成功等级或成就或游戏进行结果、用户的生物特征数据(诸如皮肤电阻、心率、呼吸速率或任何其他活动)等。在方法操作504处，在测试对象所进行的游戏会话之后，就测试对象的HUD位置偏好对所述测试对象进行调查。例如，可要求测试对象通过以下方式通过调查指示他们对HUD位置的偏好：按照从最偏好到最不偏好的次序对HUD在他们的游戏进行会话期间所放置的各种位置进行排名。在将HUD放置在四个角落处的示例中，可以要求给定的测试对象：识别针对HUD放置他们最喜好哪个角落，或者按照偏好次序对各种角落进行排名。

在方法操作506处，识别实现对给定玩家的优选HUD位置的预测的特征。在一些实施方式中，执行特征提取过程，诸如通过机器学习或人工智能技术。应当理解，预测优选HUD位置的特征是根据对测试对象的注视以及在他们的游戏进行期间跟踪的其他指示符或特征的分析来确定的，因为所述特征与测试对象对HUD位置的所指示偏好有关。例如，可以确定玩家在游戏进行期间的眼睛注视移动模式、或手势、或控制器输入或任何其他特征单独地或组合地预测玩家的优选HUD位置。应当理解，可存在识别HUD何时经最优放置的模式以及识别HUD何时未经最优放置的模式，并且可以识别出这些模式。随后在方法操作508处，训练机器学习模型以基于如上所述已经被识别或提取的给定玩家的特定特征来预测或确定给定玩家的优选HUD位置。

在方法操作510处，在游戏进行期间跟踪新玩家。即，当新玩家参与视频游戏的游戏进行时，跟踪预测HUD位置偏好的所识别特征。然后在方法操作512处，将经训练的机器学习模型应用于被跟踪的特征以确定/预测新玩家的优选HUD位置。例如，机器学习模型可以基于新玩家的注视模式和/或其他特征来确定HUD应该放置在特定位置处。在一些实施方式中，HUD被自动放置或建议放置在已经针对新玩家确定的优选位置处。

在一些实施方式中，机器学习模型能够基于新玩家的被跟踪特征来识别HUD何时未经最优放置。在一些实施方式中，当识别出此类情形时，则系统被配置为建议或询问新玩家他们是否愿意将HUD移动到与其当前配置不同的位置。

在本公开的各种实施方式中，当针对给定玩家确定了或预测了HUD的优选位置时，在一些实施方式中，HUD被自动放置在所确定的位置处。然而，在其他实施方式中，当确定了或预测了优选HUD位置时，则向玩家呈现建议(诸如在屏幕上显示对话框)，其向玩家建议或推荐将HUD放置在所确定或预测的位置。在一些实施方式中，可给予玩家确认如建议的HUD的放置或重新定位(例如，通过按下控制器装置上的指定按钮)的选项，或者玩家可取消或拒绝所述建议和/或手动定位HUD或选择HUD的位置。

在一些实施方式中，当新玩家开始玩视频游戏时，他们从默认的HUD位置开始。然而，当他们玩游戏时，则跟踪玩家的注视和其他特征，并且随后在收集了足够的关于玩家的数据后，接着执行分析(例如由机器学习模型)以确定HUD是否经最优定位和/或HUD是否应移动到具体位置。这可以基于玩家的所检测到的注视模式和移动以及其他特征。在某些实施方式中，系统建议将HUD重新定位到玩家，可能重新定位到具体位置。如果获得批准，则重新定位HUD，并且系统可以继续监测玩家的注视和其他特征，如前所述。这样，不断优化HUD放置。类似的概念和原则可以应用于具体HUD元素的具体放置和排序。

在一些实施方式中，可以基于对来自视频游戏的玩家的注视数据进行分析来对HUD的默认放置进行众包。例如，对于视频游戏的给定场景(例如，时间位置、空间位置、关卡、章节、地方、挑战或游戏中的其他可识别游戏进行位置)，跨多个会话/游戏以及视频游戏的玩家来跟踪玩家注视。随后分析来自多个会话的组合注视数据以确定玩家的整体注视模式，诸如确定玩家注视在场景期间所主要聚焦的主注视区域。基于此，可以确定默认HUD位置，例如，以避免干扰主注视区域，并且所确定的默认HUD位置可以在视频游戏的未来会话中用于所述场景。应当理解，通过在逐场景的基础上众包HUD位置，则可以针对视频游戏的不同场景对默认HUD位置进行优化。

图6A和图6B概念性地示出了根据本公开的实施方式的响应于玩家注视活动对HUD的可见性的调节。在所示实施方式中，概念性地示出了虚拟环境的玩家视图600。在游戏进行期间跟踪玩家的注视，并且在所示实施方式中，确定玩家当前具有注视活动区域602。注视活动区域602为玩家的注视被确定为当前主要聚焦或集中的近似区域。在一些实施方式中，通过识别玩家的最近注视点中的至少一部分所位于的视图区域来确定注视活动区域602。例如，可以在预定义的最近时间段(例如，最近的0.5、0.8、1、1.5、2、3、4、5秒等)内跟踪玩家的注视点，并且具有较高注视点密度(例如密度大于预定义值)的区域可被识别为注视活动区域602。在一些实施方式中，环绕注视点的形心的区域被识别为注视活动区域602。环绕形心的区域在一些实施方式中可以具有预定义的形状和/或大小，或者在一些实施方式中可以具有预定义的半径。而在其他实施方式中，环绕形心的区域的形状和/或大小可以基于注视点的分布来确定。例如，在一些实施方式中，区域的形状和/或大小被确定为包括预定义部分的最近注视点。

继续参考所示实施方式，如图所示，当前注视活动区域602大约聚焦在视图600的中心附近。在一些实施方式中，当注视活动区域602如此定位并且不在HUD 604附近，也不朝HUD 604移动时，则可以推断玩家未试图观看HUD 604。并且因此在一些实施方式中，HUD604在大小上缩小或减小或者在外观上最小化。在一些实施方式中，使HUD 604消失并且因此所述HUD停止被显示。在一些实施方式中，HUD 604被可视化为缩小直到其消失。在某些实施方式中，HUD通过增加透明度逐渐消失，直到HUD不存在。

参考图6B，当检测到玩家注视朝HUD 604的位置的移动时，这表明玩家正试图观看HUD，则HUD 604在大小上被扩大和/或使所述HUD重新出现/显示。在一些实施方式中，确定注视矢量，其指示注视的移动方向和速度，诸如在标号606处指示的。在一些实施方式中，当注视矢量充分朝向HUD 604的位置时(例如，方向朝向HUD，并且速率大于预定义量)，则使HUD 604在其被隐藏的情况下重新出现，和/或在先前被缩小的情况下扩展大小。在一些实施方式中，当玩家注视到达靠近HUD的位置的位置时(例如在HUD的预定义距离内)，则扩展或显示HUD。由此，当检测到用户有意观看HUD时，显示HUD；并且当确定用户未试图观看HUD时，以其他方式最大限度减小HUD，以免干扰或分散玩家对虚拟环境的观看。

在某些实施方式中，可以动态地调节HUD的可读性。例如，当在观看游戏进行和观看HUD期间跟踪用户的注视时，可以确定用户在观看HUD时所花费的时间量(例如，用户注视点在HUD的区域中/附近的时间量(或平均时间量))。并且基于这个时间量，可以推断HUD的可读性。即，用户查看和理解HUD所花费的时间越长，HUD对用户的可读性就越差。相反，用户查看和理解HUD所花费的时间越少，HUD对用户的可读性就越高。

因此，可以基于用户阅读HUD所花费的时间量来自动或动态地调节HUD的各方面。例如，在一些实施方式中，HUD的大小随着观看HUD所花费的时间量增加或减少而分别增大或减小(例如，从预定义默认大小；在预定义大小范围内)。在一些实施方式中，HUD的具体元素的大小(诸如文本信息或具体图形元素(例如，仪表、图形、条形图、图表、地图等)的字体大小)随着观看HUD所花费的时间量增加或减少而分别增大或减小。

此外，在一些实施方式中，当检测到用户的注视方向指向HUD时，向用户读出或说出统计数据等HUD信息。在一些实施方式中，提供了一种用户定义的设定以启用或禁用HUD信息的读取。在一些实施方式中，如果确定用户花费超过预定量的时间观看HUD，则自动启动HUD信息的读取。应当理解，通过说出/读出HUD，此类特征可以更好地适应视力不佳或有阅读障碍的用户。

图7概念性地示出了根据本公开的实施方式的响应于玩家的被跟踪的注视对HUD的动态定位。在所示实施方式中，概念性地示出了虚拟环境的玩家视图700。在视图700中，渲染HUD 702。使得能够将HUD 702动态地定位在预定义的HUD区域704内。即，可以在预定义的HUD区域704的空间内移动HUD 702，如概念上所示。

例如，在一些实施方式中，当玩家注视朝HUD移动或漂移，但玩家并未试图观看HUD本身时，则HUD可以从玩家的注视移开，但是在预定义的HUD区域704内。例如，在所示实施方式中，玩家最初可以具有注视区域706，在该注视区域中，玩家的注视当前/最近是活跃的并且主要聚焦。稍后，玩家的注视可以移动以定义更靠近HUD 702的新的当前注视区域708，尽管这并不指示玩家试图观看HUD本身。应当理解，可以根据如上所述的本公开的实施方式来确定对玩家是否正试图查看HUD本身的确定。在一些实施方式中，响应于玩家的注视区域以这种方式移动得更靠近HUD 702(这并不指示意图观看HUD本身)，则HUD 702被配置为移动或放置得更远离注视区域708，但也在预定义的HUD区域704的边界内。因此，在所示实施方式中，可以响应于玩家注视区域的此类移动而朝HUD区域704的右上角移动HUD 702。

相反，当注视区域从HUD移开时，则HUD被配置为移动得更靠近玩家注视的当前位置，但同时停留在预定义的HUD区域704内。因此，继续参考所示实施方式，例如，如果玩家的注视区域从区域708移动到区域706，则可以朝HUD区域704的左下角移动HUD 702。这样，HUD被移动得更靠近玩家注视所聚焦的位置，但在预定义区域内并且不会干扰玩家对虚拟环境的观看。

因此，根据上文，HUD 702可以在预定义区域704内动态地移动。应当理解，在一些实施方式中，当确定玩家正试图观看HUD本身时，则不移动HUD 702，而是将其保持在其位置。在其他实施方式中，可以朝用户移动HUD 702，以便减少用户为了聚焦在HUD 702上而需要转移他们的注视的距离。

虽然已经描述了对玩家注视区域的跟踪，但在一些实施方式中，跟踪用户注视的形心(例如最近注视点/位置的形心)，并且可以响应于形心的移动而动态地移动HUD。

图8概念性地示出了根据本公开的实施方式的用于HUD基于用户的被跟踪的注视信息的最优放置的系统。广义地讲，所示实施方式的系统能够根据本公开的实施方式执行上述方法。

用户800以通过显示器802呈现的虚拟环境的视图参与与模拟(例如视频游戏的游戏进行)的交互。在所示实施方式中，视频游戏808由计算机806执行，并且视频游戏的虚拟环境的视图被渲染以供在显示器802上呈现给用户800。当用户800参与游戏进行时，相机804被配置为捕获用户800的图像以实现对用户800的注视跟踪。计算机806执行注视跟踪逻辑810，所述注视跟踪逻辑被配置为：处理来自相机804的经捕获图像以确定和跟踪用户随时间的注视方向，并且还将所得的用户注视信息存储到注视数据存储装置812。

注视分析器814分析用户注视信息以确定用户800在观看虚拟环境的视图时偏好看向哪里。基于用户的优选观看区域/位置，然后HUD放置816被配置为将用于视频游戏的HUD最优地放置在最大限度地减小对用户优选观看区域的干扰的位置处。在一些实施方式中，HUD被自动放置，而在其他实施方式中，在获得来自用户800的确认之后放置HUD。

在一些实施方式中，计算机806在用户800的本地，而在其他实施方式中，计算机806可通过网络818访问，诸如在云游戏设定中，其中在用户本地的瘦客户端通过网络从电脑806流式传输游戏进行。

虽然已经在所示实施方式中描述了单个用户、显示器、相机和计算机，但是应当理解可以存在任何数量的用户和对应的显示器、相机和计算机。

在一些实施方式中，服务器820实施使用训练数据822训练的机器学习模型824。在一些实施方式中，训练数据822包括注视跟踪信息和/或HUD放置信息。可以训练机器学习模型以确定或预测用户的优选HUD放置。

本公开的实施方式可以被包括作为游戏引擎的一部分。广义地讲，游戏引擎是提供实现视频游戏的有效开发的特征的软件开发框架。游戏引擎可以包括具有可重用模块的软件库以处理游戏功能性的各个方面，包括作为示例但不限于图形渲染(例如，包括顶点处理、多边形处理、着色、光照、纹理化等)、声音、物理(包括碰撞处理)、动画、脚本化、人工智能、联网、流媒体、存储器管理、线程化、本地化支持、场景图、电影制作等。

游戏引擎可以针对不同的硬件平台(诸如游戏控制台、移动装置、个人计算机等)进行优化。作为示例而非限制，游戏引擎可以根据平台优化存储器使用(例如，如何优先考虑图形流水线中的各种任务等)。在一些实施方式中，硬件可以是某一特定处理实体的带刀片版本，诸如游戏控制台。因此，可以将用户分配给特定的刀片，所述刀片提供与控制台游戏已针对其优化的相同硬件。

应当理解，还可以有游戏服务器逻辑来提供流媒体和/或其他服务(打包、编码、服务质量(QOS)监控、带宽测试、访问社交网络/好友等)。

在一些实施方式中，云基础设施可以运行管理程序，其对硬件进行抽象化并提供虚拟机框架，操作系统(OS)可以在所述虚拟机框架上加载。因此，堆栈可能包括应用/视频游戏，其在OS上运行，所述OS加载在由管理程序实例化的虚拟机(VM)上，所述管理程序加载在底层硬件上。通过这种方式，应用的执行不必耦合到特定硬件。

在一些实施方式中，应用/视频游戏可以在容器上执行，所述容器在应用层处抽象化，将代码和依赖项打包在一起，因此实现与OS或硬件平台无关的软件开发并促进跨平台的软件可移植性。

在一些实施方式中，采用分布式游戏引擎，其中游戏引擎的不同部分可以由不同的计算实体处理。例如，诸如物理引擎、渲染引擎(2D/3D图形)、声音、脚本化、动画、AI、联网、流媒体(编码)、存储器管理、线程化等游戏引擎的功能性可以被划分为不同的功能处理块和/或分布在许多不同计算实体之间的服务。应当理解，对于分布式游戏引擎，需要低延时通信以避免延时问题。为了维持期望的帧速率，计算和通信的总时间应满足某些约束。因此，取决于是否有可能在更短的时间内完成过程来划分某些任务可能有效或者可能无效。

使用分布式游戏引擎的优点是可以利用弹性计算，其中计算资源可以根据需要放大或缩小。例如，在传统上在单个硬件服务器上执行的大型多玩家游戏中，在例如约100名玩家之后，硬件资源变得有限，使得无法添加更多的玩家。游戏可能会让附加玩家排队，这意味着玩家必须等待才能加入游戏。然而，使用分布式游戏引擎，通过使用弹性云计算资源，可以添加更多的计算节点来满足需求，因此支持例如数千名玩家。游戏不再受特定硬件服务器的限制的约束。

因此，云游戏引擎可以将功能性分布到不同的处理实体。应当理解，不同的功能可以在不同的框架中执行。例如，一些功能(例如，社交)可能更容易在容器中运行，而图形可能使用连接到GPU上的VM更好地运行。

为了促进分发云游戏引擎的功能性，分布/同步层可以管理作业的分配，例如，发出作业、接收回数据、标识执行哪些任务以及何时处理排队(例如，如果作业完成得比需要的更快)。在一些实施方式中，如果需要，可以动态细分给定任务。例如，动画可以具有照明，且如果照明特别复杂，则照明可以被细分为三项照明作业，其被发出进行计算并在返回时重组。因此，如果游戏引擎功能需要更多工作，则可以对其进行细分。

云服务提供商以指定性能级别提供计算，例如以每秒输入/输出操作数(“IOPS”)提供计算。因此，游戏提供商可以从云服务提供商指定VM、专用处理能力、存储器量等，并使用云服务提供商的系统实例化分布式云游戏引擎。

在一些实施方式中，库模块和更新处理程序可以是游戏引擎的一个或多个部件或模块。在一些实施方式中，库模块和更新处理程序可以是单独的部件或被集成。在一些实施方式中，库模块和更新处理程序可以充当游戏引擎的补充。在一些实施方式中，游戏引擎可以是分布式游戏引擎，如上文指出。

如所指出，本公开的实施方式可以应用于云游戏系统。云游戏系统的一个示例是

Now云游戏系统。在这种系统中，客户端装置可以是游戏控制台，诸如

4或/>

5游戏控制台，或者可以是另一个装置，诸如个人计算机、膝上型计算机、平板电脑、蜂窝电话、移动装置等。

广义地讲，为了实现云游戏，当接收到针对游戏名称的用户请求时，由与云游戏站点相关联的数据中心内的一个或多个服务器执行若干操作。当云游戏站点接收到用户请求时，标识托管与所选择的游戏名称相关联的游戏的数据中心，并且将该请求发送到所标识的数据中心，以针对所选择的游戏名称实例化游戏。响应于该请求，数据中心处的服务器标识游戏代码，加载所标识的游戏代码并且初始化与游戏代码相关的文件，以准备将游戏内容呈现给用户。与游戏相关联的游戏数据可包括通用游戏数据和用户特定的游戏数据。因此，初始化文件可以包括标识、加载和初始化通用游戏数据和用户特定的游戏数据。初始化通用游戏数据可包括初始化图形引擎、安装图形数据、初始化声音文件、安装原图等。初始化用户特定数据可包括定位、传递和安装用户数据、用户历史、游戏历史等。

在加载和初始化通用游戏数据时，可以提供“启动”屏幕以在客户端装置处渲染。可以设计一种启动画面来提供正在加载的游戏的代表性图像，以允许用户预览正在加载的游戏的类型。一旦加载了通用游戏数据，就可以渲染某些初始内容，并且可呈现选择/导航屏幕以供用户选择和定制。在选择/导航屏幕处提供的用户选择输入可包括游戏等级选择、游戏图标选择、游戏模式选择、游戏奖励以及可能需要上传附加游戏内容的其他用户相关数据。在一些实施方案中，通过将游戏内容从游戏云系统流式传输到用户的计算装置来使游戏内容可用于查看和交互。在一些实施方式中，在加载用户特定数据之后，游戏内容可用于进行游戏。

图9A示出了用于加载可通过云游戏站点获得的游戏的游戏文件的示例性系统。所述系统包括通过网络902通信地连接到云游戏站点904的多个客户端装置900，所述网络可以包括LAN、有线、无线、蜂窝(例如，4G、5G等)或任何其他类型的数据网络，包括互联网。当从客户端装置900接收到访问云游戏站点904的请求时，云游戏站点904访问存储在用户数据存储区908中的用户帐户信息906，以标识与通过其发起请求的客户端装置相关联的用户。在一些实施方案中，云游戏站点还可以验证所标识的用户，以便确定用户被授权观看/玩的所有游戏。在用户账户标识/验证之后，云游戏站点访问游戏名称数据存储区910以针对发起请求的用户账户标识在游戏云站点处可用的游戏名称。游戏名称数据存储区910继而与游戏数据库912进行交互以获得针对云游戏站点可用的所有游戏的游戏名称。当推出新的游戏时，将用游戏代码更新游戏数据库912，并且将为游戏名称数据存储区910提供新推出的游戏的游戏名称信息。当发起请求时，从其发起请求的客户端装置可以向或可以不向云游戏站点注册。如果发起请求的客户端装置的用户不是注册用户，则云游戏站点可将该用户标识为新用户，并且选择适合新用户的游戏名称(例如，默认的一组游戏名称)。将所标识的游戏名称返回给客户端装置以呈现在显示屏900-a上，如图9A所示。

检测在客户端装置上渲染的游戏名称中的一个游戏名称处的用户交互，并且将信号发送到云游戏站点。该信号包括检测到用户交互的游戏名称信息以及在游戏名称处注册的用户交互。响应于从客户端装置接收的信号，云游戏站点主动确定托管游戏的数据中心，并且向所标识的数据中心发送信号以加载与检测到用户交互的游戏名称相关联的游戏。在一些实施方案中，可能有一个以上的数据中心正在托管游戏。在此类实施方案中，云游戏站点可以确定发起请求的客户端装置的地理位置，并且标识在地理上靠近客户端装置的数据中心，并且发信号通知该数据中心来预加载游戏。可以使用客户端装置内的全球定位系统(GPS)机制、客户端的IP地址、客户端的查验(ping)信息等来确定用户的地理位置。当然，检测用户的地理位置的前述方式可以是示例性的，并且可以使用其他类型的机制或工具来确定用户的地理位置。标识靠近客户端装置的数据中心可以使用户与游戏进行交互期间的延时最小化。在一些实施方案中，所标识的数据中心可能不具有托管游戏所需的带宽/容量或者可能被过度使用。在这些实施方案中，云游戏站点可以标识在地理上靠近客户端装置的第二数据中心。游戏的加载包括加载游戏代码并且执行游戏的实例。

响应于从云游戏站点接收到信号，所标识的数据中心可以选择数据中心处的服务器以实例化服务器上的游戏。基于可用的硬件/软件能力和游戏要求来选择服务器。服务器可以包括多个游戏控制台，并且服务器可以确定使用多个游戏控制台中的哪一个游戏控制台来加载游戏。游戏控制台可以类似于独立的游戏控制台，或者可以是机架式服务器或刀片服务器。刀片服务器继而可以包括多个服务器刀片，其中每个刀片具有用于实例化单个专用应用(诸如游戏)所需的电路。当然，上文所述的游戏控制台是示例性的，并且不应被视为是限制性的。其他类型的游戏控制台(包括游戏站等)以及其他形式的刀片服务器也可以用于托管所标识的游戏。

一旦标识出游戏控制台，游戏的通用游戏相关代码就被加载到游戏控制台上，并且经由网络通过云游戏站点向客户端装置返回信号，所述信号标识在其上实例化游戏的游戏控制台。因此，加载的游戏可供用户使用。

图9B是概念性地示出了根据本公开的实施方式的针对将云视频游戏流式传输到客户端装置执行的各种操作的流程图。游戏系统918执行视频游戏并且生成原始(未压缩的)视频920和音频922。视频920和音频922被捕获和编码以用于流式传输目的，如在所示的图中的附图标记924处所指示。编码可以提供视频和音频流的压缩以减少带宽使用并优化游戏体验。编码格式的示例包括H.265/MPEG-H、H.264/MPEG-4、H.263/MPEG-4、H.262/MPEG-2、WMV、VP6/7/8/9等。

经编码的音频926和经编码的视频928被进一步分包为网络数据包，如附图标记932处所指示，以用于通过网络(诸如互联网)进行传输的目的。网络数据包编码过程也可以采用数据加密过程，由此提供增强的数据安全性。在所示的实施方式中，生成音频数据包934和视频数据包936以用于通过网络进行传输，如附图标记940处所指示。

游戏系统918另外生成触觉反馈数据930，所述触觉反馈数据也被打包为网络数据包以用于网络传输。在所示实施方式中，生成触觉反馈数据包938以用于通过网络进行传输，如在附图标记940处进一步指示的。

在共同定义云游戏服务/系统的一个或多个服务器上执行生成原始视频和音频以及触觉反馈数据、对视频和音频进行编码并且对编码的音频/视频和触觉反馈数据进行打包以进行传输的前述操作。如附图标记940处所指示，音频、视频和触觉反馈数据包通过网络(诸如和/或包括互联网)进行传输。如附图标记942处所指示，音频数据包934、视频数据包936和触觉反馈数据包938由客户端装置解码/重组，以在客户端装置处定义经编码的音频946、经编码的视频948和触觉反馈数据950。如果数据已经被加密，则也将对网络数据包进行解密。然后，如附图标记944处所指示，由客户端装置对经编码的音频946和经编码的视频948进行解码，以生成客户端侧原始音频和视频数据以在显示装置952上渲染。可以处理/传送触觉反馈数据950以在控制器装置956或可以通过其渲染触觉效果的其他界面装置处产生触觉反馈效果。触觉效果的一个示例是控制器装置956的振动或隆隆声。

应当理解，视频游戏对用户输入进行响应，并且因此可以执行与上文针对用户输入的传输和处理描述的程序流程类似但是在从客户端装置到服务器的相反方向上的程序流程。如图所示，用户操作控制器装置956可生成输入数据958。该输入数据958在客户端装置处进行打包以通过网络传输到云游戏系统。输入数据包960被云游戏服务器拆包并且重组以在服务器侧定义输入数据962。输入数据962被馈送到游戏系统918，该游戏系统处理输入数据962以更新视频游戏的游戏状态。

在音频数据包934、视频数据包936和触觉反馈数据包938的传输(附图标记940)期间，可以监测通过网络的数据传输以确保云游戏流的服务质量。例如，可以如附图标记964所指示监测网络状况，包括上游和下游网络带宽两者，并且可以响应于可用带宽的变化而调整游戏流媒体。即，可以基于当前网络状况来控制网络数据包的编码和解码，如附图标记966所指示。

图10示出了信息服务提供商架构的实施方案。信息服务提供商(ISP)1070向地理上分散并经由网络1086连接的用户1082提供大量信息服务。ISP可以只提供一种类型的服务，诸如股票价格更新，或可以提供多种服务，诸如广播媒体、新闻、体育、游戏等。另外，由每个ISP提供的服务都是动态的，即，可以在任何时间点添加或移除服务。因此，向特定个人提供特定类型的服务的ISP可能会随时间变化。例如，当用户在她的家乡时，可以由靠近该用户的ISP为用户提供服务，并且当用户前往不同城市时，可以由不同的ISP为用户提供服务。家乡ISP将把所需的信息和数据传递到新的ISP，使得用户信息“跟随”用户到达新的城市，从而使数据更接近用户并且更易于访问。在另一实施方案中，可在为用户管理信息的主ISP和在主ISP的控制下与用户直接对接的服务器ISP之间建立主-服务器关系。在另一个实施方案中，当客户端在世界范围内移动时，数据从一个ISP传递到另一个ISP，以使处于更好位置为用户提供服务的ISP成为提供这些服务的ISP。

ISP 1070包括应用服务提供商(ASP)1072，其通过网络(例如，包括例如但不限于任何有线或无线网络、LAN、WAN、WiFi、宽带、电缆、光纤、卫星、蜂窝(例如，4G、5G等)、互联网等)向客户提供基于计算机的服务。使用ASP模型提供的软件有时还被称为按需软件或软件即服务(SaaS)。提供对特定应用程序(诸如客户关系管理)的访问的简单形式是使用标准协议(诸如HTTP)。应用程序软件驻留在供应商的系统上，并且由用户使用HTML通过web浏览器进行访问、由供应商提供的专用客户端软件进行访问、或由其他远程接口(诸如瘦客户端)进行访问。

在广阔地理区域上递送的服务常常使用云计算。云计算是一种计算方式，其中动态可扩展和通常虚拟化的资源通过互联网作为服务提供。用户不需要成为支持他们的“云”中技术基础设施方面的专家。云计算可以分为不同的服务，诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务常常在线提供从网络浏览器访问的共同业务应用程序，而软件和数据存储在服务器上。基于计算机网络图中互联网的描绘方式，术语云被用作互联网的隐喻(例如，使用服务器、存储装置和逻辑)，并且是它所隐藏的复杂基础设施的抽象概念。

此外，ISP 1070包括游戏处理服务器(GPS)1074，其被游戏客户端用来玩单玩家和多玩家视频游戏。互联网上进行的大多数视频游戏都是经由与游戏服务器的连接来操作的。通常，游戏使用专用的服务器应用程序，所述服务器应用程序从玩家收集数据并将其分发给其他玩家。这比对等布置更有效且高效，但它需要单独的服务器来托管服务器应用程序。在另一个实施方案中，GPS在玩家之间建立通信，并且玩家的相应的玩游戏装置在不依赖于集中式GPS的情况下交换信息。

专用GPS是独立于客户端运行的服务器。此类服务器通常在位于数据中心内的专用硬件上运行，从而提供更多的带宽和专用的处理能力。对于大多数基于PC的多玩家游戏，专用服务器是托管游戏服务器的优选方法。大型多玩家在线游戏在专用服务器上运行，所述服务器通常由拥有游戏名称的软件公司托管，从而允许他们控制和更新内容。

广播处理服务器(BPS)1076将音频或视频信号分发给受众。向很小范围内的受众进行广播有时称为窄播。广播分发的最后一站是信号如何到达听众或观察者，并且它可像广播电台或电视台一样从空中传播到天线和接收器，或者可通过有线电视或有线广播(或“无线电缆”)通过工作站或直接从网络传播。互联网还可以为接收者带来收音机或电视，特别是多播允许共享信号和带宽。历史上，广播已按地理区域来界定，诸如国家广播或区域广播。然而，随着快速互联网的普及，不按地理条件来定义广播，因为内容可以到达世界上的几乎任何国家。

存储服务提供商(SSP)1078提供计算机存储空间和相关的管理服务。SSP还提供周期性备份和存档。通过提供存储即服务，用户可根据需要订购更多存储。另一主要优点是SSP包括备份服务，并且在用户的计算机的硬盘驱动器发生故障的情况下，用户将不会丢失其所有数据。此外，多个SSP可具有用户数据的全部或部分副本，从而允许用户高效地访问数据，而与用户所在的位置或用于访问数据的装置无关。例如，用户可以在家用计算机以及移动电话中(当用户移动时)访问个人文件。

通信提供商1080提供到用户的连接。一种通信提供商是互联网服务提供商(ISP)，其提供对互联网的访问。ISP使用适合于递送互联网协议数据报的数据传输技术(诸如拨号、DSL、电缆调制解调器、光纤、无线或专用高速互连)来连接其客户。通信提供商还可以提供消息传递服务，诸如电子邮件、即时消息传递和SMS短信。另一种类型的通信提供商是网络服务提供商(NSP)，其通过提供对互联网的直接主干的访问来出售带宽或网络访问。网络服务提供商可以由电信公司、数据运营商、无线通信提供商、互联网服务提供商、提供高速互联网接入的有线电视运营商等组成。

数据交换1088将ISP 1070内部的若干模块互连，并经由网络1086将这些模块连接到用户1082。数据交换1088可以覆盖ISP 1070的所有模块都非常靠近的小区域，或者当不同的模块在地理上分散时可以覆盖大的地理区域。例如，数据交换1088可以包括数据中心的机柜内的快速千兆以太网(或更快的千兆以太网)，或洲际虚拟区域网络(VLAN)。

用户1082使用客户端装置1084访问远程服务，所述客户端装置至少包括CPU、存储器、显示器和I/O。客户端装置可以是PC、移动电话、笔记本计算机、平板电能、游戏系统、PDA等。在一个实施方案中，ISP 1070识别由客户端使用的装置类型并调整所采用的通信方法。在其他情况下，客户端装置使用标准通信方法(诸如html)来访问ISP 1070。

本公开的实施方案可以用包括手持式装置、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等的各种计算机系统配置来实践。本公开也可以在分布式计算环境中实践，其中由通过有线或无线网络链接的远程处理装置执行任务。

在一些实施方案中，可使用无线技术来促进通信。此类技术可包括例如5G无线通信技术。5G是第五代蜂窝网络技术。5G网络是数字蜂窝网络，其中提供商覆盖的服务区域被划分成被称为小区的小地理区域。表示声音和图像的模拟信号在电话中数字化、由模数转换器转换并作为位流传输。通过由收发器从其他小区中再用的频率池中分配的频率信道，小区中的所有5G无线装置通过无线电波与小区中的本地天线阵列和小功率自动收发器(发射器和接收器)通信。本地天线通过高带宽光纤或无线回程连接与电话网络和互联网连接。与在其他小区网络中一样，从一个小区跨到另一小区的移动装置自动转到新的小区。应当理解，5G网络只是通信网络的示例性类型，并且本公开的实施方案可利用更早一代的无线或有线通信，以及5G之后的更新一代的有线或无线技术。

考虑到上述实施方案，应理解，本公开可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量的物理操纵的那些操作。形成本公开的一部分的本文描述的任何操作都是有用的机器操作。本公开还涉及用于执行这些操作的装置或设备。可以针对所需目的专门构造所述设备，或者所述设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。具体地，各种通用机器可与根据本文的教导编写的计算机程序一起使用，或者构造更专门的设备来执行所需操作可更方便。

本公开还可以体现为计算机可读介质上的计算机可读代码。另选地，可以使用上述数据交换互连从服务器下载计算机可读代码。计算机可读介质是可以存储数据的任何数据存储装置，该数据随后可以由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储装置。所述计算机可读介质可包括分布在网络耦合的计算机系统上的计算机可读有形介质，使得以分布式方式存储和执行计算机可读代码。

尽管以具体的顺序描述了方法操作，但应理解，可在操作之间执行其他内务操作，或者可以调整操作，使得它们在略微不同的时间发生，或者可以分布在允许以与处理相关联的各种间隔发生处理操作的系统中，只要覆盖操作的处理以期望的方式执行即可。

虽然出于清楚理解的目的相当详细地描述了前述公开内容，但显而易见的是，可在所附权利要求的范围内实践某些改变和修改。因此，本实施方案将被认为是说明性的而非限制性的，并且本公开不限于本文给出的细节，而是可在所描述的实施方案的范围和等效范围内进行修改。

Claims (20)

1.一种用于放置平视显示器(HUD)的方法，其包括：

渲染虚拟环境的视图以显示给用户；

在所述用户参与与所述虚拟环境的所述视图的交互时跟踪所述用户的注视，其中跟踪所述用户的所述注视生成注视数据，所述注视数据标识在所述视图内所述用户的所述注视在所述交互期间指向的位置；

使用所述注视数据来确定用于在所述视图中定位HUD的优选位置；

在所述优选位置处将所述HUD定位在所述视图中。

2.根据权利要求1所述的方法，其中使用所述注视数据来确定所述优选位置包括分析所述注视数据以识别所述用户的主注视区域。

3.根据权利要求2所述的方法，其中识别所述用户的所述主注视区域包括识别所述视图的其中所述用户的所述注视的量超过预定义阈值的区。

4.根据权利要求2所述的方法，其中确定用于定位所述HUD的所述优选位置被配置为在所述用户的所述主注视区域之外。

5.根据权利要求1所述的方法，其中使用所述注视数据来确定用于定位所述HUD的优选位置包括确定所述用户的被跟踪的注视的形心。

6.根据权利要求1所述的方法，其中确定用于定位所述HUD的所述优选位置包括选择用于所述HUD的所述定位的多个预定义位置中的一者。

7.根据权利要求1所述的方法，其中将所述HUD定位在所述视图中包括将所述HUD从现有位置移动到所述优选位置。

8.根据权利要求1所述的方法，其中交互式应用程序为视频游戏，并且其中所述虚拟环境被定义用于所述视频游戏的交互式游戏进行。

9.根据权利要求8所述的方法，其中所述HUD被配置为显示与所述视频游戏的所述交互式游戏进行相关的信息或统计数据。

10.一种用于放置平视显示器(HUD)的方法，其包括：

渲染虚拟环境的视图以显示给用户；

在所述用户与所述虚拟环境的所述视图进行交互期间，当所述用户参与所述交互时跟踪所述交互的一个或多个特征，其中跟踪所述交互的所述一个或多个特征生成特征数据；

使用所述特征数据来确定用于在所述视图中定位HUD的优选位置；

在所述优选位置处将所述HUD定位在所述视图中。

11.根据权利要求10所述的方法，其中使用所述特征数据来确定所述优选位置包括分析所述特征数据以识别指示用于所述HUD的所述定位的所述优选位置的模式。

12.根据权利要求11所述的方法，其中分析所述特征数据由机器学习模型执行。

13.根据权利要求10所述的方法，其中确定用于定位所述HUD的所述优选位置包括选择用于所述HUD的所述定位的多个预定义位置中的一者。

14.根据权利要求10所述的方法，其中所述交互的所述特征包括所述用户的注视、所述用户的手势、控制器输入、生物特征输入中的一者或多者。

15.根据权利要求10所述的方法，其中交互式应用程序为视频游戏，并且其中所述虚拟环境被定义用于所述视频游戏的交互式游戏进行。

16.一种用于布置平视显示器(HUD)的元素的方法，其包括：

渲染虚拟环境的视图以显示给用户；

在所述用户参与与所述虚拟环境的所述视图的交互时跟踪所述用户的注视，其中跟踪所述用户的所述注视生成注视数据，所述注视数据标识在所述视图内所述用户的所述注视在所述交互期间指向的位置；

使用所述注视数据来确定所述视图中预定义位置的排名次序，所述预定义位置被配置用于HUD的元素在所述视图中的相应放置；

根据所述排名次序分别将所述HUD的所述元素定位在所述预定义位置。

17.根据权利要求16所述的方法，其中所述HUD的所述元素的所述定位被配置为按重要性的次序并且根据所述预定义位置的所述排名次序来放置所述HUD的所述元素。

18.根据权利要求16所述的方法，其中使用所述注视数据来确定所述排名次序包括分析所述注视数据以识别所述用户的主注视区域。

19.根据权利要求16所述的方法，其中使用所述注视数据来确定所述排名次序包括确定所述用户的被跟踪的注视的形心。

20.根据权利要求16所述的方法，其中交互式应用程序为视频游戏，并且其中所述虚拟环境被定义用于所述视频游戏的交互式游戏进行。

Images