CN116963809A - 游戏内动态相机角度调整 - Google Patents

Abstract

提供了一种用于在视频游戏中动态地调整相机角度的方法和系统。一种示例方法包括：接收多个视频序列的数据集，所述多个视频序列与元数据中的标记数据相关联，所述标记数据标识在所述多个视频序列中的每一者中发生的动作的特性。所述方法包括从所述数据集生成人工智能(AI)模型。所述方法包括在所述视频游戏的游戏玩法期间访问所述AI模型。所述访问包括提供在所述视频游戏的所述游戏玩法期间生成的视频序列快照。所述方法包括在所述游戏玩法期间动态地调整游戏相机角度。所述调整是响应于从所述AI模型导出的调整指令。

Description

游戏内动态相机角度调整

1.技术领域

本公开涉及用于基于对于在视频游戏中呈现给用户的交互场景来说最佳的学习的相机角度来动态地改变对视频游戏场景的相机角度的方法和系统。

背景技术

2.相关技术描述

视频游戏产业多年以来已发生了许多变化。随着计算能力的扩展，视频游戏的开发者同样地创建了利用这些提高的计算能力的游戏软件。为此，视频游戏开发者一直在对结合了复杂操作和数学运算的游戏进行编码以产生非常详细且吸引人的游戏体验。

示例游戏平台包括SonySony/>(PS 2)、Sony(PS3)、Sony/>(PS4)和Sony Pl/>(PS5)，它们各自以游戏控制台的形式出售。众所周知，游戏控制台被设计为连接到显示器(典型地是电视机)并通过手持式控制器实现用户交互。游戏控制台被设计有专用处理硬件，包括CPU、用于处理密集图形操作的图形合成器、用于执行几何变换的向量单元、以及其他胶合硬件、固件和软件。游戏控制台还可被设计有用于通过游戏控制台接收游戏光盘以在本地玩游戏的光盘读取器。还可进行在线游戏，其中用户可通过互联网与其他用户以交互方式进行游戏对抗或合作。随着游戏复杂性不断地激起玩家的兴趣，游戏和硬件制造商不断地创新以实现附加的交互性和计算机程序。

尽管游戏在图形、速度和真实感方面不断地取得巨大改进，但是游戏体验仍依赖于游戏开发者对特定游戏场景编程的相机视图。例如，根据交互性和游戏玩家在场景中的定位，大多数相机角度是预定的或者是基于在游戏编程期间的开发者编码集设置的。不幸地，当玩家尝试以更动态方式体验游戏场景时，相机角度在一些情况下可能滞后或无法进行最佳定位来获得在游戏中发生的交互性。

正是在这种背景下提出本公开的实现方式。

发明内容

本公开的实现方式包括涉及基于相机角度的人工智能选择来动态地选择和生成对在游戏交互期间生成的场景的相机角度的设备、方法和系统。

在一个实施方案中，提供了一种用于在视频游戏中动态地调整相机角度的方法。所述方法包括：接收多个视频序列的数据集，所述多个视频序列与元数据中的标记数据相关联，所述标记数据标识在所述多个视频序列中的每一者中发生的动作的特性。在一个示例中，所述元数据包括在所述多个视频序列中的每一者中使用的所述相机角度。在另一个示例中，基于对所述视频序列中的图像的分析来确定所述相机角度。所述方法包括从所述数据集生成人工智能(AI)模型。所述方法包括在所述视频游戏的游戏玩法期间访问所述AI模型。所述访问包括提供在所述视频游戏的所述游戏玩法期间生成的视频序列快照。所述方法包括在所述游戏玩法期间动态地调整游戏相机角度。所述调整是响应于从所述AI模型导出的调整指令。

在一个实现方式中，所述调整所述游戏相机角度致使所述游戏的开发者相机角度被修改或替换。

在一个实现方式中，生成所述AI模型包括：从所述多个视频序列中的每一者提取视频特征数据；以及提取与所述多个视频序列中的每一者相关联的元数据特征数据。实现方式包括对所述视频特征数据和所述元数据特征数据进行分类以供所述AI模型处理。所述AI模型被配置为处理所述视频特征数据和所述元数据特征数据以对在所述多个视频序列中的每一者中发生的动作的所述特性加标签。所述生成所述AI模型发生在训练过程期间。

在一个实现方式中，所述AI模型被配置为处理在所述游戏玩法期间生成的所述视频序列快照。所述处理所述视频序列快照包括：检查在所述游玩法期间产生的一个或多个视频序列的图像内容以产生视频特征数据；以及检查与所述检查的图像内容相关联的元数据以产生元数据特征数据。所述视频特征数据和所述元数据特征数据被分类并由所述AI模型用来标识用于调整在所述游戏玩法期间呈现所述视频游戏的场景的所述游戏相机角度的所述调整指令。

在一个实现方式中，在所述游戏玩法期间周期性地生成所述视频快照以触发对用于调整在所述游戏玩法期间呈现所述视频游戏的场景的所述游戏相机角度的所述调整指令的处理。

在一个实现方式中，响应于在所述游戏玩法期间产生的元数据而生成所述视频快照，指示正在发生的动作场景应当包括对所述游戏相机角度的调整。

在一个实现方式中，响应于在所述游戏玩法期间产生的元数据而生成所述视频快照，指示将要发生的动作场景应当包括对所述游戏相机角度的调整。

在一个实现方式中，从用户生成数据(UGD)的数据库获得所述标记数据，所述UGD包括帧序列，所述帧序列包括被标出为优选的所述相机角度，并且所述标出为优选用于选择所述多个视频序列以用作所述AI模型的训练数据。

在一个实现方式中，基于针对包括所述相机角度的帧序列检测的观看流行度来自动地生成所述标记数据，所述观看流行度用于选择所述多个视频序列以用作所述AI模型的训练数据。

在一个实现方式中，所述数据集中的所述多个视频序列来源于多部电影、多个视频游戏记录、现场体育赛事的记录、社交媒体视频或包括一个或多个动作场景的记录中的一者或多者，并且所述多个视频序列用于训练所述AI模型。所述AI模型在所述游戏玩法期间用来调整在所述游戏玩法期间所述视频游戏中的所述游戏相机角度。

在一个实现方式中，所述多个视频序列用于训练所述AI模型，并且所述AI模型在所述游戏玩法期间用来调整在所述游戏玩法期间所述视频游戏中的所述游戏相机角度。

在一个实现方式中，与由所述视频游戏的开发者编程的视场相比，所述游戏相机角度提供对所述视频游戏的场景的替代视场。

在一个实施方案中，提供了一种用于在视频游戏中动态地调整相机角度的系统。所述系统包括游戏服务器，所述游戏服务器用于执行一个或多个游戏来流式传输到客户端设备。所述系统包括人工智能(AI)相机角度处理器，所述AI相机角度处理器用于检查在所述视频游戏的游戏玩法期间产生的视频序列快照。所述检查所述快照使用AI模型来识别用于产生所述游戏玩法的场景的游戏相机角度。与由所述视频游戏的开发者编程的视场相比，用于产生所述游戏玩法的所述场景的所述游戏相机角度提供对所述场景的替代视场。所述系统包括流式传输服务器，所述流式传输服务器被配置为压缩所述产生的场景的视频帧，所述产生的场景包括具有所述替代视场的所述相机角度。所述流式传输服务器被配置为将所述压缩的视频帧传输到所述客户端以呈现于在所述游戏玩法期间可观看的显示器上。

在一个实现方式中，在所述游戏玩法进行时周期性地处理所述使用AI模型来检查所述快照以识别游戏相机角度。

在一个实现方式中，在游戏活动超过预定义阈值时的时间段期间处理所述使用AI模型来检查所述快照以识别游戏相机角度。

在一个实现方式中，在游戏活动未超过预定义阈值时的时间段期间不处理所述使用AI模型来检查所述快照以识别游戏相机角度。

在一个实现方式中，在游戏活动超过预定义阈值时的时间段期间产生所述快照。

在一个实现方式中，在游戏活动未超过预定义阈值时的时间段期间不产生所述快照。

在一个实现方式中，所述游戏相机角度在被选择从由所述开发者编程的游戏相机角度改变时由游戏引擎执行，使得产生对所述视频游戏的所述场景以用于渲染流式传输到所述客户端的所述视频帧。

为了提供所公开的方法和系统的示例，下文将描述各种实施方案。从结合附图进行的以示例方式示出本公开的原理的以下详细描述中，本公开的其他方面和优点将变得显而易见。

附图说明

通过参考结合附图进行的以下描述，可更好地理解本公开，在附图中：

图1示出了根据一个实施方案的由各种不同类型的视频组成的多个视频流的图形视图。

图2示出了根据一个实施方案的标识在不同类型的视频中被加标记的视频序列的数据集的示例。

图3示出了根据一个实施方案的AI模型训练引擎的示例，该AI模型训练引擎用来在训练相机角度AI模型时处理视频和元数据。

图4示出了根据一个实施方案的其中一个或多个数据中心用来执行一个或多个视频游戏并利用相机角度AI模型的实施方案。

图5A示出了根据一个实施方案的数据中心中的一者的示例。

图5B示出了根据一个实施方案的在不同的相机视图之间的切换的示例。

图6示出了根据一个实施方案的方法的一般实施方案，该方法用来基于对交互式游戏中呈现的场景的特定特性的最佳相机角度的学习在游戏玩法期间动态地选择相机角度。

图7是根据本公开的各种实现方式的游戏系统的框图。

具体实施方式

本公开的以下实现方式提供了涉及动态地调整对针对视频游戏生成的场景的相机角度视图和使用模型来选择最佳相机角度的设备、方法和系统。然而，对于本领域的技术人员将显而易见的是，可在没有当前描述的具体细节的一些或全部的情况下实践本公开。在其他情况下，没有详细地描述所熟知的过程操作，以免不必要地使本公开模糊。

图1示出了由各种不同类型的视频组成的多个视频流的图形视图。例如，视频1可能是动作电影，视频2可能是视频游戏记录，视频游戏N可能是记录的体育赛事的视频。这些不同类型的视频可被选择用于生成数据集的训练目的，该数据集包括突出其中以优化方式利用特定相机角度的场景的视频序列。举例来说，在视频1中，可从视频中识别出几个不同的视频序列104，其中正在发生不同类型的动作并且确定对应的相机角度被优化或相对于其他相机角度具有更好的定位。

例如，如果在视频1中，动作电影具有其中赛车正在越过终点线的场景，并且相机角度显示前保险杠越过终点线，则该相机角度将是优选的，而从后面显示赛车的相机角度(例如，浮动前置相机视图)不是优选的。具体地，显示赛车前保险杠越过终点线的相机角度将会更有趣并提供关于在特定时间的视频中发生的动作的上下文和动作的特性的更多相关信息。

继续这个示例，视频序列104(VS 1)可表示多个视频帧，这些视频帧被选择来显示动作电影中发生的动作，包括显示赛车越过终点线的视频帧，同时相机角度聚焦在赛车的侧视图上以显示保险杠越过终点线。类似地，在同一动作电影(即，视频1)中，可选择其他视频序列(例如，VS2、VS3、VSN)作为其中相机角度已被定位和选择以优化视频中发生的动作的交互视图的代表视频场景。应当理解，一些视频可能具有被识别为相关的或已经优化相机角度的更多或更少的视频序列。

类似地，如果视频N表示体育赛事的记录，则视频帧中的某些可表示其中相机角度被优化的视频中发生的动作。例如，如果视频是足球比赛的视频，并且视频中发生了角球，那么将针对相机角度进行优化以显示踢球者的视角。也就是说，如果相机角度被呈现为足球比赛的场景的视场，其中视图是从踢球的球员的角度，则该相机角度将被认为是最佳的。举例来说，如果相机角度是从上方拍摄的(例如，显示足球场的顶视图)，则相机角度将不允许显示足球如何在朝向球网的轨迹中行进。

可在各种处理操作中执行对各种视频中的视频序列中的每一者的选择。一个过程操作可包括接收来自视频的观看者的选择。该选择可在观看者正在观看视频并提供在相机角度最佳或被认为针对正在观看的内容/动作优化时为视频加标记的输入时发生。在一个实施方案中，标记可包括提供关于视频序列中正被观看的内容的信息。例如，观看者可将动作识别为足球比赛中的角球，这提供了场景标识符(ID)。在一个实施方案中，标记可在一时间段内适用。例如，标记可在正在观看的视频的时间片段(例如，时间1:20至时间1:23之间(表示3分钟))内适用。

在这3分钟内，以每秒60帧为约10,800个帧加标记。在一些情况下，加标记可花费更短时间或更长时间(表示对帧的更少或更多的标记)。在其他实施方案中，标记可与预定数量的帧相关联。例如，当观看者标记视频以识别具有针对特定动作场景的优化相机角度的视频序列时，加标记可将在标记前后的设定数量的帧相关联。帧的数量是可编程的，并且可取决于视频内容的类型而改变。例如，体育视频的视频序列可能要求捕获更多的帧(例如，400个帧)，而某些视频游戏场景可能要求更少的帧(例如，200个帧)。

在另外的其他实施方案中，标记可与更短数量的帧相关联，例如，在5至20个视频帧之间。在一些情况下，对标记视频帧序列的分析可能限于该序列的一个或多个帧。例如，如果对单个帧的分析识别出帧中发生的动作和相机角度，则不需要处理附加帧。在一些实施方案中，处理更多的帧，直到识别出被加标记的特定动作序列的相机角度。

在另一个实施方案中，视频序列选择过程可使用从具有用户生成数据(UGD)的数据库获得的数据自动地执行。举例来说，某些视频可在社交媒体站点上被很多人观看，并且这些视频可被观看者加标记。观看者的标记可包括点赞、评论、剪辑、表情符号等。可处理该UGD信息以推断视频中的特定时间帧很重要或已经表现出观看流行度。在一个实施方案中，来自UGD的信息处理可用于自动地为视频的部分加标记以用于视频序列的分析。

在一个实施方案中，然后可分析所得的视频序列以确定利用的相机角度和那些特定图像中显示的内容。类似于用户专门地为具有优化相机角度的视频加标记的实施方案，自动加标记过程也可检查不同数量的视频帧。取决于视频的类型，可分析或多或少的帧以确定利用的相机角度。

图2示出了根据一个实施方案的标识在不同类型的视频中被加标记的视频序列的数据集200的示例。如上文所指出，可利用手动用户加标记过程或使用UGD的自动加标记过程来为视频序列(VS)加标记。数据集200示出它可由各种视频类型122定义。例如，视频类型122可包括动作电影、赛车游戏、足球比赛、交互式游戏、博弈游戏、现场游戏事件等。加标记的视频序列可与场景标识符(ID)相关联。

场景标识符可以是由为视频加标记的人提供的描述性术语。在另一个实施方案中，场景标识符可以是由计算机基于从源视频捕获的元数据生成的描述性术语。在另一个实施方案中，可基于在视频帧中识别的活动使用机器学习来生成场景标识符。数据集200还包括识别的相机角度126。相机角度126在描述性字符串(例如，俯视、场地-左侧、踢球者视图或其他描述性字符串)中被标识出。在另一个实施方案中，相机角度126也可被描述为观看视频中提供的场景的三维坐标。三维坐标可标识位置(例如，X、Y、Z)和取向(例如，侧倾、俯仰、偏航)。这些三维坐标标识与标记的场景标识符相关联的相机角度。

在一个实施方案中，三维坐标由处理器生成，该处理器基于观看角度来近似三维坐标并感知针对视频场景提供的视图。在其他实施方案中，三维坐标可由正在为视频加标记的用户提供。在一些实施方案中，三维坐标可被提供为计算机生成和手动地输入的组合，以定义相机角度126。数据集200还可包括帧标识符(ID)128。对于特定视频，帧标识符将标识与每个视频序列相关联的一定数量的帧。例如，对于动作电影，视频序列104可被标识为VS1，即，视频1。视频序列VS1可标识视频中的特定时间帧，例如，时间1:20至1:23之间的帧，或者视频中特别地标识的数字帧。

在数据集200中，视频类型122、场景标识符124、相机角度126和帧ID 128可以是数据集200中的元数据204的一部分或定义该元数据。还示出了数据集200的一部分是来自视频206的视频序列129。这些视频序列可以是表示视频的被加标记的部分的单独文件。在另一个实施方案中，视频206可以是被保存在单独文件中的实际视频的索引。一旦数据集200已被构建，就可将其用作相机角度人工智能(AI)模型350的训练算法的一部分，该相机角度AI模型将用于提供在游戏玩法期间对相机角度的动态选择。

图3示出了根据一个实施方案的AI模型训练引擎220的示例，该AI模型训练引擎用来在训练相机角度AI模型350时处理视频206和元数据204。如图所示，处理输入视频102以识别视频序列，如参考图1和图2所讨论。视频序列选择过程302用来识别不同视频中的视频序列。如上文所提及，视频序列选择过程302可由正在为视频加标记的视频观看者手动地执行，或者由识别活动、动作、场景、用户反馈、流行度、兴趣或其他关键特征以用于自动地为输入视频102中的一个或多个视频帧加标记的计算机以编程方式执行。如上文所提及，为输入视频加标记将标识相关联的视频序列的视频帧，并且视频序列将与元数据204相关联。

元数据204被示出为包括视频类型122、场景标识符124、相机角度126和帧标识符128。在一些实施方案中，或多或少的这种类型的信息可被包括在元数据204中。例如，一些元数据可直接地从视频帧或嵌入在视频帧中的与视频相关联的元数据获得。例如，视频类型可以是与视频相关联的大元数据文件中的字段，并且此类数据可从中捕获。取决于提供的输入视频的类型，还可从源视频捕获其他数据。如图所示，视频206和元数据204与视频序列304a、304b、...304n相关联。然后，由AI模型训练引擎222处理这些捕获的视频序列，以提取可由相机角度AI模型350使用的特征数据。如图所示，由视频特征提取器305分析视频序列。

同样，选择输入视频102来包括不同类型的交互内容。交互内容可选自任何类型的视频，包括从视频游戏玩法、电影、短片、视频剪辑、多媒体视频、社交媒体视频等记录的视频。处理输入视频102以识别表示特定场景的交互内容和相关联的相机角度的视频序列104。如上文所提及，视频序列选择过程302可用于选择各种视频序列304a、304b、...304n。视频序列304a、304b、...304n通常由图1中的视频序列104表示，其表示从不同类型的视频206选择的一个或多个视频序列及其相关联的元数据204。

如上文所提及，元数据204可包括元数据204中所示的不同类型的元数据内容中的一者或多者。在一些实施方案中，元数据204可包括除元数据204中标识的那些之外的其他类型的元数据信息。一般而言，元数据204是描述或标识关于视频206的信息的数据。在一个实施方案中，AI模型训练引擎220接收视频206作为视频序列，该视频序列然后由视频特征提取器305处理。在一个实施方案中，视频特征提取器305检查特定视频帧或图像中的视频内容以识别对象的特性、颜色、角色、动作、移动变化、变化方向、对象的运动和其他识别特性。

这些提取的特征也可通过像素数据分析以及识别并表征像素数据以将像素数据与在和视频帧相关联的图像中找到的对象相关联的其他学习算法来检查。一旦视频特征提取器305提取了视频特征数据，该视频特征数据就由操作中的视频特征分类器或多个分类器306处理。对识别的特征的分类用于标识和跟踪特征及其在检查的视频帧中的相对变化之间的动作。分类的特征然后由相机角度AI模型350处理。

相机角度AI模型350处理分类的特征以确定或近似视频帧或视频帧组中的每一者使用的相机角度。类似地，元数据特征提取器308读取元数据204以识别元数据特征数据。元数据分类器310然后对那些识别的元数据特征进行分类以供相机角度AI模型350处理。在一些实施方案中，在元数据204中识别相机角度。在其他实施方案中，基于由相机角度AI模型350处理的分类的视频特征中提供的视图来确定相机角度。

在其他实施方案中，相机角度AI模型350近似视频帧中的一者或多者中利用的相机角度，并且将那些相机角度与视频帧中发生的动作的类型相关联。随时间推移，相机角度AI模型350不断地学习最能反映视频帧中发生的动作的相机角度的类型。随时间推移发生的训练越多，相机角度AI模型350将能够识别或预测最佳相机角度以用在特定视频序列中找到的特定动作场景中。

在图3所示的示例中，当选择玩视频游戏330时，将允许用户玩操作中的游戏340。举例来说，视频游戏可由视频流式传输服务托管，并且用户可访问视频流式传输服务以在流式传输模式下玩游戏。在视频流式传输服务中，可利用一个或多个服务器来处理视频游戏执行、流式传输和相关联的压缩。在一个实施方案中，流式传输服务中的一个或多个服务器也可处理AI模型训练引擎220或访问相机角度AI模型350。在一个实施方案中，如果模型350中的相机角度已被训练，则它可在游戏玩法340期间被访问。在游戏玩法340期间，一个或多个视频序列被传递到相机角度AI模型350。

在一个实施方案中，视频序列是由用户的交互式游戏玩法产生的视频帧。这些视频序列可表示在正在玩的视频游戏中发生特定动作时连续拍摄、周期性拍摄或以编程方式拍摄的快照。在玩视频游戏时，相机角度AI模型350可能够识别更适合游戏玩法340中发生的游戏活动的类型的特定相机角度。因此，动态相机角度调整360可处理来自相机角度AI模型350的输出。动态相机角度调整360然后将利用从相机角度和模型350接收的信息，以便向视频游戏330提供输入。

输入是用于调整在游戏玩法340中玩游戏时提供给用户的游戏相机角度的调整指令的形式。例如，如果在游戏玩法340期间，用户在首领怪战中攻击首领怪，则相机角度AI模型350可确定最佳相机角度或优选相机角度将是聚焦于战斗武器的侧视图。基于该确定，视频游戏将在一个或多个服务器执行视频游戏期间动态地改变使用的相机角度，使得在游戏玩法340期间提供给游戏玩家的帧将传达侧视图相机角度。该侧视图相机角度不同于在游戏玩法期间本该向用户显示的相机角度，即，不同于视频游戏开发者以编程方式设置的相机角度。因此，这样利用相机角度AI模型350对相机角度的动态调整允许玩家从被确定为游戏中发生的交互类型的最佳相机角度的相机角度来观看视频游戏的场景。

图4示出了根据一个实施方案的其中一个或多个数据中心400用来执行一个或多个视频游戏并利用相机角度AI模型350的实施方案。示出了AI相机角度处理器404，该AI相机角度处理器可由执行视频游戏330的游戏服务器4024访问。如图所示，可以是在特定数据中心中实现的一个或多个游戏服务器的游戏服务器402正在执行视频游戏330。出于说明目的，游戏引擎408用于执行视频游戏330，并且游戏引擎可与相机角度逻辑410集成。相机角度逻辑410可与游戏引擎408集成，或者可在由游戏服务器402执行时作为附加装置提供。

应当理解，相机角度逻辑410也可在本地客户端(诸如游戏控制台或个人计算机)上执行。在该实施方案中，快照提取器412结合游戏引擎408使用，并且可在视频游戏330的执行期间由游戏服务器402执行。在一个实施方案中，快照提取器412是将从当前执行的游戏选择视频序列的过程。从快照414产生的视频序列416可在游戏玩法期间周期性地生成。在另一个实施方案中，快照414可在游戏中的其中活动被指示为高的特定点期间或在特定游戏动作正在发生时生成。

例如，如果在游戏期间有缓慢活动场景，诸如角色在路上行走或角色驾驶汽车，或者角色站在一旁等待下一次动作冒险，或者用户决定下一步行动等，则将不那么频繁地生成快照414或推迟到动作场景正在发生再生成快照。在一些实施方案中，可基于从游戏引擎确定的处理逻辑或基于对特定场景中发生的动作的类型的学习(或识别)，就在动作场景即将发生之前生成快照414。一般来说，应当足够频繁地生成快照，以便相机角度AI模型350可检查那些视频序列以确定相机角度是否应当切换或改变为不同的相机角度。

如上文所提及，相机角度AI模型350确定对于视频游戏中发生的动作的特定类型的序列或特性应当使用不同的相机角度，然后动态相机角度调整360可生成调整指令。调整指令被发送到相机角度逻辑410，该相机角度逻辑由游戏引擎408使用来生成新的相机角度和对正在发生的视频游戏的生成的场景的视图。在所示的示例中，用户456正在利用控制器458以流式传输模式玩视频游戏330，并且视频场景显示在显示器454上。

在该实施方案中，基于由相机角度逻辑410的执行提供的游戏相机角度变化，显示器454中所示的视频场景可根据针对视频游戏场景利用的相机角度来更新。同样，基于游戏玩法452中正在发生的事情和对在由相机角度AI模型350处理时将更好的相机角度的预测，以动态方式执行游戏相机角度的变化。

图5A示出了根据一个实施方案的数据中心400中的一者的示例。在该示例中，数据中心可包括用于存储视频游戏330a至330n的一个或多个数据库。一个或多个用户可通过互联网450以流式传输格式访问这些游戏。应当理解，视频游戏330可以是完整视频游戏、迷你游戏、分享的游戏片段或交互程序。数据中心400还可包括一个或多个游戏服务器402a至402n，该一个或多个游戏服务器可根据负载要求而被分配执行一个或多个视频游戏的任务。

此外，数据中心还可包括流式传输服务器502，该流式传输服务器与游戏服务器402一起工作以便向用户456的各种客户端506提供流式传输服务。在一个实施方案中，流式传输服务器502可对视频流进行编码/压缩和打包，以便有效地呈现给客户端设备506。如图所示，数据中心还可执行一个或多个AI相机角度处理器404。AI角度处理器404可由一个或多个游戏服务器402使用，以便动态地调整提供给用户456的游戏相机视图。如图5A所示，用户456正在使用控制器458玩视频游戏。用户456正在观看显示器454上的游戏，同时在玩视频游戏的首领怪战场景。最初，AI相机角度处理器404确定战斗场景的侧视图在时间0将是最佳的。

在某个其他时间点t1，AI角度处理器404基于视频游戏中发生的当前动作和动作的特性来确定第1人称视图将提供场景中最有趣或最动态的视图。然后，在某个其他时间tn，AI相机角度处理器404将确定顶视图最适合展示在首领怪战期间用户与首领怪之间发生的活动。该图示出相机角度的动态变化将以无缝方式发生，并且用于按AI相机角度处理器404的推荐智能地将最佳场景提供到视频游戏中。对于用户456，视频游戏的观看将是无缝的，并且将不会明显地看到相机角度正在动态地改变远离游戏设计者最初编程的相机角度。然而，基于对在视频游戏玩法期间呈现或遇到的场景类型的学习的最佳视图，对视频游戏活动的视图将以更具交互性和上下文特定的方式提供。

图5B示出了在不同的相机视图之间的切换的示例。如图所示，在时间t0，从侧面选择游戏相机视图。在时间t1，从第1人称视图(即，如角色玩家所看到的那样)选择游戏相机视图，并且在时间tn，游戏相机视图切换到从上方看的游戏相机视图。对视频游戏的相机角度的这种动态切换以无缝方式发生，并且基于AI相机角度处理器404做出选择，该AI相机角度处理器在训练期间已经学习了对于视频游戏中出现的特定类型的场景的最佳类型的相机角度。

如上所述，最佳相机角度的选择不仅基于检查过去游戏视频，还可基于检查来自动作电影、现场体育赛事、视频剪辑、社交媒体剪辑、社交媒体帖子、用户发布的视频、带注释的视频、动画视频等的视频。因此，相机角度AI模型350的训练受益于不同类型的学习的相机角度，这些不同类型的学习的角度最适合视频游戏的用户在他们在交互内容中交互时将遇到的不同类型的内容。

在一个实施方案中，视频游戏在游戏机、个人计算机上本地执行，或在服务器上执行。在一些情况下，视频游戏由数据中心的一个或多个服务器执行。当执行视频游戏时，视频游戏的一些实例可以是视频游戏的模拟。例如，视频游戏可由生成视频游戏的模拟的环境或服务器执行。在一些实施方案中，模拟是视频游戏的实例。在其他实施方案中，模拟可由仿真器产生。在任一情况下，如果视频游戏被表示为模拟，则能够执行该模拟以渲染可通过用户输入交互式地流式传输、执行和/或控制的交互内容(即，视频帧)。

图6示出了根据一个实施方案的方法的一般实施方案，该方法用来基于对交互式游戏中呈现的场景的特定特性的最佳相机角度的学习在游戏玩法期间动态地选择相机角度。在操作602中，接收多个视频序列的数据集，该多个视频序列标识在视频游戏中发生的动作的特性。还可处理与那些视频序列相关联的元数据，并且元数据可包括多个视频序列的每一者中使用的相机角度。

在其他实施方案中，元数据不包括使用的相机角度，并且可在检查视频序列中发生的动作和针对场景提供的视图时使用机器学习来确定相机角度。在一个实施方案中，数据集包括从摄取到数据集中的许多类型的视频中选择的多个视频序列。发送的数据可包括来自视频游戏记录、电影、多媒体内容、社交媒体视频等的视频。作为数据集的一部分的视频序列表示示出最佳或被确定为观看特定类型的交互内容的最好或最流行相机角度的相机角度的序列。

如上所述，相机角度可由视频观看者手动地选择，视频观看者将基于他们的主观选择来将特定场景标记为包括最佳或最好的相机角度。在另一个实施方案中，可使用识别对于特定类型的场景或交互最流行的相机角度的程序来自动地选择相机角度。

在操作604中，基于训练过程，从数据集生成人工智能(AI)模型。训练过程将来自数据集的数据用作输入，该数据集包括被确定为对于内容的类型和该内容中的特性来说最佳的视频序列和相关联的相机角度。一旦AI模型经过训练，就可在游戏玩法期间动态地利用最终模型，以帮助自动地选择最适合游戏玩家体验的特定类型的内容的不同的相机角度。

在操作606中，AI模型可在视频游戏的游戏玩法期间被服务器或进程访问。AI模型将处理在视频游戏的游戏玩法期间生成的视频序列的快照以供分析。快照将包括一个或多个帧，该一个或多个帧将被分析以确定交互性、内容的特性、场景交互性、场景特征以及可被提取、识别、分类和用于识别交互内容特性的其他特征。在游戏玩法期间，在操作608中，可动态地调整游戏相机角度。动态调整可以是响应于从AI模型导出的调整指令。

在一个实施方案中，动态调整可在游戏玩法期间、在活动或交互性高的特定场景期间周期性地进行，或者基于视频游戏中将需要更准确的相机视图和相机角度选择的特定场景以编程方式进行。对于用户，除了接收对视频游戏玩法的场景的改进的相机角度外，对相机角度的调整将是无缝的并且不引人注意。对相机角度的调整表示视频游戏中采用的相机角度，这些相机角度不同于游戏开发者编程的相机角度且在它们之外。

图7示出了可用于执行本公开的各个实施方案的各方面的示例设备700的部件。这个框图示出了设备700，该设备可结合或可以是适合于实践本公开的实施方案的个人计算机、视频游戏控制台、个人数字助理、服务器或其他数字设备。设备700包括用于运行软件应用程序以及任选地操作系统的中央处理单元(CPU)702。CPU 702可由一个或多个同构或异构处理核心构成。

例如，CPU 702是具有一个或多个处理核心的一个或多个通用微处理器。可使用具有微处理器架构的一个或多个CPU来实施其他实施方案，该微处理器架构特别地适于高度并行且计算密集的应用程序，诸如处理解释查询、识别上下文相关资源以及立即在视频游戏中实施和渲染上下文相关资源的操作。设备700可以是在玩游戏片段的玩家本地的(例如，游戏控制台)，或者是在玩家远程的(例如，后端服务器处理器)，或者是在游戏云系统中使用虚拟化来向客户端远程流式传输游戏玩法的许多服务器中的一者。

存储器704存储供CPU 702使用的应用程序和数据。存储装置706提供用于应用程序和数据的非易失性存储装置和其他计算机可读介质，并且可包括固定磁盘驱动器、可移除磁盘驱动器、闪存存储器设备以及CD-ROM、DVD-ROM、蓝光、HD-DVD或其他光学存储设备，以及信号传输和存储介质。用户输入设备708将来自一个或多个用户的用户输入传达到设备700，该设备的示例可包括键盘、鼠标、操纵杆、触摸板、触摸屏、静照或视频记录器/相机、用于辨识手势的跟踪设备和/或麦克风。

网络接口714允许设备700经由电子通信网络与其他计算机系统通信，并且可包括通过局域网和广域网(诸如互联网)进行的有线或无线通信。音频处理器712适于从由CPU702、存储器704和/或存储装置706提供的指令和/或数据生成模拟或数字音频输出。设备700的部件(包括CPU 702、存储器704、数据存储装置706、用户输入设备708、网络接口710和音频处理器712)经由一根或多根数据总线722连接。

图形子系统720还与数据总线722和设备700的部件连接。图形子系统720包括图形处理单元(GPU)716和图形存储器718。图形存储器718包括用于存储输出图像的每个像素的像素数据的显示存储器(例如，帧缓冲器)。图形存储器718可集成在与GPU 708相同的设备中、作为单独设备与GPU 716连接和/或实施在存储器704内。像素数据可直接地从CPU 702提供到图形存储器718。替代地，CPU 702向GPU 716提供定义期望输出图像的数据和/或指令，GPU 716从该数据和/或指令生成一个或多个输出图像的像素数据。定义期望输出图像的数据和/或指令可存储在存储器704和/或图形存储器718中。在一个实施方案中，GPU 716包括从定义场景的几何形状、照明、暗影、纹理、运动和/或相机参数的指令和数据来生成输出图像的像素数据的3D渲染能力。GPU 716还可包括能够执行着色器程序的一个或多个可编程执行单元。

图形子系统714周期性地从图形存储器718输出要显示在显示设备710上的图像的像素数据。显示设备710可以是能够响应于来自设备700的信号而显示视觉信息的任何设备，包括CRT、LCD、等离子体和OLED显示器。例如，设备700可向显示设备710提供模拟或数字信号。

应当注意，在广阔的地理区域上递送的访问服务(诸如提供对当前实施方案的游戏的访问)经常使用云计算。云计算是一种计算方式，其中通过互联网将动态可扩展和通常虚拟化的资源作为服务提供。用户不需要成为在支持他们的“云”中的技术基础设施方面的专家。云计算可分为不同服务，诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务通常提供在线的从web浏览器访问的常用应用程序(诸如视频游戏)，而软件和数据存储在云中的服务器上。基于计算机网络图中描绘互联网的方式，术语云被用作互联网的隐喻，并且是其隐藏的复杂基础设施的抽象。

在一些实施方案中，游戏服务器可用于执行视频游戏玩家的持续时间信息平台的操作。通过互联网玩的大多数视频游戏都是经由与游戏服务器的连接操作的。典型地，游戏使用专用服务器应用程序，该专用服务器应用程序从玩家收集数据并将该数据分发给其他玩家。在其他实施方案中，视频游戏可由分布式游戏引擎执行。在这些实施方案中，分布式游戏引擎可在多个处理实体(PE)上执行，使得每个PE执行视频游戏在其上运行的给定游戏引擎的功能片段。游戏引擎将每个处理实体简单地视为计算节点。

游戏引擎通常执行一系列功能多样的操作以执行视频游戏应用程序以及用户体验的附加服务。例如，游戏引擎实施游戏逻辑，执行游戏计算、物理效果、几何变换、渲染、照明、暗影、音频、以及附加游戏内或游戏相关服务。附加服务可包括例如消息传送、社交实用程序、音频通信、游戏玩法重播功能、帮助功能等。虽然游戏引擎有时可在由特定服务器的管理程序虚拟化的操作系统上执行，但是在其他实施方案中，游戏引擎本身分布在多个处理实体间，该处理实体中的每一者可驻留在数据中心的不同服务器单元上。

根据这个实施方案，取决于每个游戏引擎片段的需要，用于执行的相应处理实体可以是服务器单元、虚拟机或容器。例如，如果游戏引擎片段负责相机变换，则可向该特定游戏引擎片段提供与图形处理单元(GPU)相关联的虚拟机，因为它将进行大量相对简单的数学运算(例如，矩阵变换)。可向要求更少但更复杂的操作的其他游戏引擎片段提供与一个或多个更高功率中央处理单元(CPU)相关联的处理实体。

通过分发游戏引擎，游戏引擎具备不受物理服务器单元的能力束缚的弹性计算性质。替代地，在需要时，向游戏引擎提供更多或更少的计算节点以满足视频游戏的需求。从视频游戏和视频游戏玩家的角度看，分布在多个计算节点上的游戏引擎与在单个处理实体上执行的非分布式游戏引擎没有区别，因为游戏引擎管理器或监督程序分发工作负荷并无缝地整合结果以便为最终用户提供视频游戏输出分量。

用户用客户端设备访问远程服务，该客户端设备至少包括CPU、显示器和I/O。客户端设备可以是PC、移动电话、上网本、PDA等。在一个实施方案中，在游戏服务器上执行的网络辨识客户端所使用的设备类型并调整所采用的通信方法。在其他情况下，客户端设备使用标准通信方法(诸如html)来通过互联网访问游戏服务器上的应用程序。

应当理解，可针对具体的平台和具体的相关联的控制器设备开发给定视频游戏或游戏应用程序。然而，当经由如本文所呈现的游戏云系统使这种游戏可用时，用户可能用不同的控制器设备来访问视频游戏。例如，可能已经针对游戏控制台及其相关联的控制器开发了游戏，而用户可能利用键盘和鼠标从个人计算机访问游戏的基于云的版本。在这种情景中，输入参数配置可定义从用户的可用控制器设备(在这种情况下，即键盘和鼠标)生成的输入到对于视频游戏的执行可接受的输入的映射。

在另一个示例中，用户可经由平板计算设备、触摸屏智能电话或其他触摸屏驱动的设备访问云游戏系统。在这种情况下，客户端设备和控制器设备一起集成在同一设备中，其中借助检测到的触摸屏输入/手势提供输入。对于这种设备，输入参数配置可定义与视频游戏的游戏输入相对应的特定触摸屏输入。例如，在视频游戏的运行期间，可能显示或叠覆按钮、方向键或其他类型的输入元件以指示触摸屏上用户可触摸以生成游戏输入的位置。手势(诸如在特定方向上的轻扫或具体的触摸运动)也可被检测为游戏输入。在一个实施方案中，例如在开始视频游戏的游戏玩法之前，可向用户提供指示如何经由触摸屏提供输入以用于游戏玩法的指南，以便使用户适应在触摸屏上操作控件。

在一些实施方案中，客户端设备用作控制器设备的连接点。也就是说，控制器设备经由无线或有线连接与客户端设备通信以从控制器设备向客户端设备传输输入。客户端设备可依次处理这些输入，并且然后经由网络向云游戏服务器传输输入数据(例如，经由本地联网设备(诸如路由器)访问)。然而，在其他实施方案中，控制器本身可以是联网设备，具有经由网络直接地将输入传达到游戏云服务器的能力，而无需首先通过客户端设备传达此类输入。例如，控制器可连接到本地联网设备(诸如上述路由器)以向云游戏服务器发送数据和从云游戏服务器接收数据。因此，虽然可能仍要求客户端设备接收来自基于云的视频游戏的视频输出并将其渲染在本地显示器上，但是通过允许控制器通过网络直接地向游戏云服务器发送输入从而绕过客户端设备，可减少输入延时。

在一个实施方案中，联网控制器和客户端设备可被配置为将某些类型的输入直接地从控制器发送到云游戏服务器，并且经由客户端设备发送其他类型的输入。例如，其检测不取决于控制器本身以外的任何附加硬件或处理的输入可经由网络直接地从控制器发送到游戏云服务器，从而绕过客户端设备。此类输入可包括按钮输入、操纵杆输入、嵌入式运动检测输入(例如，加速度计、磁力计、陀螺仪)等。然而，利用附加硬件或要求客户端设备处理的输入可由客户端设备发送到游戏云服务器。这些可能包括从游戏环境捕获的视频或音频，该视频或音频可在发送到云游戏服务器之前由客户端设备处理。另外，来自控制器的运动检测硬件的输入可由客户端设备结合所捕获的视频处理以检测控制器的位置和运动，该位置和运动随后由客户端设备传达到云游戏服务器。应当理解，根据各个实施方案的控制器设备还可从客户端设备或直接地从云游戏服务器接收数据(例如，反馈数据)。

应当理解，可使用本文公开的各种特征将本文定义的各个实施方案组合或组装成具体的实施方式。因此，提供的示例只是一些可能的示例，而不限于可通过组合各种要素来定义更多实施方式的各个实施方式。在一些示例中，在不背离所公开的或等效的实施方式的精神的情况下，一些实施方式可包括更少的要素。

本公开的实施方案可用包括手持式设备、微处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机、大型计算机等的各种计算机系统配置来实践。还可在分布式计算环境中实践本公开的实施方案，在该分布式计算环境中，由通过基于有线的网络或无线网络链接的远程处理设备执行任务。

尽管以具体的次序描述了方法操作，但是应当理解，可在操作之间执行其他内务操作，或者可调整操作，使得它们在稍微不同的时间发生，或者可分布在允许以与处理相关联的各种间隔发生处理操作的系统中，只要以期望方式执行遥测和游戏状态数据的处理来生成经修改的游戏状态即可。

一个或多个实施方案也可被制造作为计算机可读介质上的计算机可读代码。计算机可读介质是可存储数据的任何数据存储设备，该数据随后可由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储设备。计算机可读介质可包括分布在网络耦合的计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式进行存储和执行。

尽管为了清楚理解的目的而略微详细地描述了前述实施方案，但是将显而易见的是，可在所附权利要求书的范围内实践某些变化和修改。因此，本发明实施方案被认为是说明性的而非限制性的，并且该实施方案不限于本文给出的细节，而是可在所附权利要求书的范围和等效范围内进行修改。

Claims (20)

1.一种用于在视频游戏中动态地调整相机角度的方法，所述方法包括：

接收多个视频序列的数据集，所述多个视频序列与元数据中的标记数据相关联，所述标记数据标识在所述多个视频序列的每一者中发生的动作的特性，所述元数据包括所述多个视频序列的每一者中使用的所述相机角度；

从所述数据集生成人工智能(AI)模型；

在所述视频游戏的游戏玩法期间访问所述AI模型，所述访问包括提供在所述视频游戏的所述游戏玩法期间生成的视频序列快照；以及

在所述游戏玩法期间动态地调整游戏相机角度，所述调整是响应于从所述AI模型导出的调整指令。

2.如权利要求1所述的方法，其中所述调整所述游戏相机角度致使所述游戏的开发者相机角度被修改。

3.如权利要求1所述的方法，其中生成所述AI模型包括，

从所述多个视频序列中的每一者提取视频特征数据；

提取与所述多个视频序列中的每一者相关联的元数据特征数据；

对所述视频特征数据和所述元数据特征数据进行分类以供所述AI模型处理，所述AI模型被配置为处理所述视频特征数据和所述元数据特征数据以对在所述多个视频序列中的每一者中发生的动作的所述特性加标签；

其中生成所述AI模型发生在训练过程期间。

4.如权利要求1所述的方法，其中所述AI模型被配置为处理在所述游戏玩法期间生成的所述视频序列快照，所述处理所述视频序列快照包括，

检查在所述游玩法期间产生的一个或多个视频序列的图像内容以产生视频特征数据；以及

检查与所述检查的图像内容相关联的元数据以产生元数据特征数据；

其中所述视频特征数据和所述元数据特征数据被分类并由所述AI模型用来标识用于调整在所述游戏玩法期间呈现所述视频游戏的场景的所述游戏相机角度的所述调整指令。

5.如权利要求1所述的方法，其中在所述游戏玩法期间周期性地生成所述视频快照以触发对用于调整在所述游戏玩法期间呈现所述视频游戏的场景的所述游戏相机角度的所述调整指令的处理。

6.如权利要求1所述的方法，其中响应于在所述游戏玩法期间产生的元数据而生成所述视频快照，指示正在发生的动作场景应当包括对所述游戏相机角度的调整。

7.如权利要求1所述的方法，其中响应于在所述游戏玩法期间产生的元数据而生成所述视频快照，指示将要发生的动作场景应当包括对所述游戏相机角度的调整。

8.如权利要求1所述的方法，其中从用户生成数据(UGD)的数据库获得所述标记数据，所述UGD包括帧序列，所述帧序列包括被标出为优选的所述相机角度，并且所述标出为优选用于选择所述多个视频序列以用作所述AI模型的训练数据。

9.如权利要求1所述的方法，其中基于针对包括所述相机角度的帧序列检测的观看流行度来自动地生成所述标记数据，所述观看流行度用于选择所述多个视频序列以用作所述AI模型的训练数据。

10.如权利要求1所述的方法，其中所述数据集中的所述多个视频序列来源于多部电影、多个视频游戏记录、现场体育赛事的记录或包括一个或多个动作场景的记录中的一者或多者，并且所述多个视频序列用于训练所述AI模型；

其中所述AI模型在所述游戏玩法期间用来调整在所述游戏玩法期间所述视频游戏中的所述游戏相机角度。

11.如权利要求1所述的方法，

其中所述多个视频序列用于训练所述AI模型；

其中所述AI模型在所述游戏玩法期间用来调整在所述游戏玩法期间所述视频游戏中的所述游戏相机角度。

12.如权利要求11所述的方法，其中与由所述视频游戏的开发者编程的视场相比，所述游戏相机角度提供对所述视频游戏的场景的替代视场。

13.一种用于在视频游戏中动态地调整相机角度的系统，所述系统包括：

游戏服务器，所述游戏服务器用于执行一个或多个游戏来流式传输到客户端设备；

人工智能(AI)相机角度处理器，所述AI相机角度处理器用于检查在所述视频游戏的游戏玩法期间产生的视频序列快照，所述检查所述快照使用AI模型来识别用于产生所述游戏玩法的场景的游戏相机角度，其中与由所述视频游戏的开发者编程的视场相比，用于产生所述游戏玩法的所述场景的所述游戏相机角度提供对所述场景的替代视场；

流式传输服务器，所述流式传输服务器被配置为压缩所述产生的场景的视频帧，所述产生的场景包括具有所述替代视场的所述相机角度，所述流式传输服务器被配置为将所述压缩的视频帧传输到所述客户端以呈现于在所述游戏玩法期间可观看的显示器上。

14.如权利要求13所述的系统，其中在所述游戏玩法进行时周期性地处理所述使用AI模型来检查所述快照以识别游戏相机角度。

15.如权利要求13所述的系统，其中在游戏活动超过预定义阈值时的时间段期间处理所述使用AI模型来检查所述快照以识别游戏相机角度。

16.如权利要求13所述的系统，其中在游戏活动未超过预定义阈值时的时间段期间不处理所述使用AI模型来检查所述快照以识别游戏相机角度。

17.如权利要求13所述的系统，其中在游戏活动超过预定义阈值时的时间段期间产生所述快照。

18.如权利要求13所述的系统，其中在游戏活动未超过预定义阈值时的时间段期间不产生所述快照。

19.如权利要求13所述的系统，其中所述游戏相机角度在被选择从由所述开发者编程的游戏相机角度改变时由游戏引擎执行，使得产生对所述视频游戏的所述场景以用于渲染流式传输到所述客户端的所述视频帧。

20.一种用于在视频游戏中动态地调整相机角度的方法，所述方法包括：

接收多个视频序列的数据集，所述多个视频序列与元数据中的标记数据相关联，所述标记数据标识在所述多个视频序列中的每一者中发生的动作的特性；

从所述数据集生成人工智能(AI)模型；

在所述视频游戏的游戏玩法期间访问所述AI模型，所述访问包括提供在所述视频游戏的所述游戏玩法期间生成的视频序列快照；以及

在所述游戏玩法期间动态地调整游戏相机角度，所述调整是响应于从所述AI模型导出的调整指令。