CN113811372A

CN113811372A - 用于视频游戏指导和匹配的ai建模

Info

Publication number: CN113811372A
Application number: CN202080034580.XA
Authority: CN
Inventors: J.F.里科; M.泰勒; G.布莱克
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2019-03-15
Filing date: 2020-03-02
Publication date: 2021-12-17
Also published as: EP3938066A1; JP7216223B2; US20210339146A1; US11065549B2; US20200289943A1; WO2020190495A1; JP2022525413A

Abstract

提供了一种方法，所述方法包括以下操作：记录来自视频游戏的第一会话的游戏玩法数据，所述第一会话针对用户的交互式游戏玩法定义；使用所述游戏玩法数据来训练机器学习模型，其中所述训练致使所述机器学习模型模仿所述用户的所述交互式游戏玩法；在所述训练之后，通过将所述机器学习模型暴露于所述视频游戏的一个或多个场景并且评估所述机器学习模型响应于所述一个或多个场景的动作来确定所述机器学习模型的分类；使用所述机器学习模型的所述分类来将所述用户指派到所述视频游戏的第二会话。

Description

用于视频游戏指导和匹配的AI建模

技术领域

本公开涉及用于对视频游戏用户的AI建模以用于指导和匹配的系统和方法。

背景技术

相关技术的描述

当前迅速发展的技术领域是视频游戏领域，其现在涵盖大量的游戏和交互式应用平台，包括专用游戏控制台、个人计算机(PC)以及最近的云应用/游戏和移动装置。网络游戏服务/系统的一个示例是

网络，其包括支持基于控制台的游戏和基于云的游戏两者的各种游戏服务。

本公开的实施方案正是在该背景下产生的。

发明内容

本公开的实现方式提供了用于对视频游戏用户进行AI建模以用于指导和匹配的方法和系统。

在一些实现方式中，提供了一种方法，所述方法包括以下操作：记录来自视频游戏的第一会话的游戏玩法数据，所述第一会话针对用户的交互式游戏玩法定义；使用所述游戏玩法数据来训练机器学习模型，其中所述训练致使所述机器学习模型模仿所述用户的所述交互式游戏玩法；在所述训练之后，通过将所述机器学习模型暴露于所述视频游戏的一个或多个场景并且评估所述机器学习模型响应于所述一个或多个场景的动作来确定所述机器学习模型的分类；使用所述机器学习模型的所述分类来将所述用户指派到所述视频游戏的第二会话。

在一些实现方式中，所述游戏玩法数据包括所述第一会话的视频和在所述交互式游戏玩法期间的用户输入。

在一些实现方式中，训练所述机器学习模型使用所述视频和所述用户输入以致使所述机器学习模型通过生成与在所述第一会话期间响应于所述视频的给定部分而生成的所述用户输入类似的输入来对所述视频的所述给定部分作出响应。

在一些实现方式中，所述视频的所述给定部分由所述视频的一个或多个图像帧定义。

在一些实现方式中，从在所述第一会话期间由所述用户操作的控制器装置定义所述用户输入。

在一些实现方式中，所述机器学习模型是神经网络。

在一些实现方式中，所述视频游戏的所述一个或多个场景由所述视频游戏的未从所述第一会话定义的一个或多个图像帧定义。

在一些实现方式中，所述游戏玩法数据包括来自所述视频游戏的所述第一会话的游戏状态数据。

在一些实现方式中，所述分类标识所述用户的技能水平；并且其中使用所述分类来将所述用户指派到所述第二会话包括识别一个或多个其他用户的技能水平，以及将所述第二会话配置为包括具有与所述用户的所述技能水平类似的技能水平的所述其他用户中的一者或多者。

在一些实现方式中，所述分类标识所述用户的技能组；并且

其中使用所述分类来将所述用户指派到所述第二会话包括识别一个或多个其他用户的技能组，以及将所述第二会话配置为包括具有与所述用户的所述技能组互补的技能组的所述其他用户中的一者或多者。

在一些实现方式中，将所述用户指派到所述视频游戏的所述第二会话包括将AI机器人插入到所述第二会话中，所述AI机器人使用所述经训练的机器学习模型来在所述第二会话中执行游戏玩法。

在一些实现方式中，提供了一种方法，所述方法包括：记录来自视频游戏的用户会话的游戏玩法数据，所述用户会话针对用户对所述视频游戏的交互式游戏玩法定义；使用所述游戏玩法数据来训练机器学习模型，以模仿所述用户在所述交互式游戏玩法中的倾向；在训练之后，通过将所述经训练的机器学习模型暴露于所述视频游戏的预定义场景并且分析所述经训练的机器学习模型对所述预定义场景的响应来执行所述经训练的机器学习模型的评估；使用所述机器学习模型的所述评估来将所述用户指派到所述视频游戏的新会话。

在一些实现方式中，所述游戏玩法数据包括来自所述视频游戏的所述用户会话的视频和用户输入。

在一些实现方式中，所述用户在所述交互式游戏玩法中的所述倾向由所述用户在所述交互式游戏玩法中的活动和不活动定义。

在一些实现方式中，执行所述经训练的机器学习模型的所述评估被配置为确定所述用户的技能水平，并且其中将所述用户指派到所述新会话是基于所述用户的所述确定的技能水平。

在一些实现方式中，执行所述经训练的机器学习模型的所述评估被配置为确定所述用户的技能组，并且其中将所述用户指派到所述新会话是基于所述用户的所述确定的技能组。

在一些实现方式中，所述机器学习模型是神经网络。

从以下结合附图的详细描述中，本公开的其他方面和优点将变得显而易见，附图以示例的方式示出了本公开的原理。

附图说明

通过参考以下结合附图进行的描述，可最佳地理解本公开以及本公开的其他优点。

图1概念性地示出了根据本公开的实现方式的用于训练机器学习模型并将经训练的机器学习模型用于各种游戏相关交互的方法。

图2概念性地示出了根据本公开的实现方式的用于在各种视频游戏相关上下文中训练和使用机器学习模型的系统。

图3概念性地示出了根据本公开的实现方式的用于对模仿玩家的游戏玩法行为的经训练的机器学习模型进行评估或分类的过程。

图4示出了根据本公开的实现方式的用于基于经训练的机器学习模型来向用户提供推荐的系统。

图5概念性地示出了根据本公开的实现方式的用于使用经训练的机器学习模型来为视频游戏提供改进的匹配的系统。

图6概念性地示出了根据本公开的实现方式的为给定的用户提供多个机器训练模型的用户账户的库。

图7A示出了根据本公开的实现方式的用于加载通过云游戏站点可用的游戏的游戏文件的示例性系统。

图7B是概念性地示出根据本公开的实现方式的被执行来将云视频游戏流式传输到客户端装置的各种操作的流程图。

图8示出了根据本公开的实现方式的信息服务提供商架构的实施方案。

具体实施方式

在以下描述中，阐述了多个具体细节以便提供对本公开的透彻理解。然而，本领域技术人员将明白，可在没有这些具体细节中的一些或全部的情况下实践本公开。在其他情况下，没有详细地描述众所周知的过程步骤，以免使本公开模糊不清。

广义地讲，本公开的实现方式涉及用于使用机器学习模型来学习玩家如何玩视频游戏(包括他们的个人风格、表达、倾向、偏好等)的方法和系统。根据本公开的各种实现方式，一旦机器学习模型经过训练，它就可用于各种游戏交互，包括AI机器人插入、玩家指导以及玩家匹配。

图1概念性地示出了根据本公开的实现方式的用于训练机器学习模型并将经训练的机器学习模型用于各种游戏相关交互的方法。在所示的实施方案中，用户100通过执行视频游戏的计算装置104来玩渲染在显示装置106上的视频游戏。在用户100玩视频游戏时，用户100可操作控制器装置102，以便将用户输入108供应到计算装置104。在计算装置104处执行的视频游戏接收用户输入108，并且处理用户输入以便更新游戏状态。更新的游戏状态用来渲染视频110(包括图像帧和音频)以在显示装置106上呈现。

将了解，在各种实现方式中，用于视频游戏体验的硬件可不同。例如，计算装置可以是游戏控制台、个人计算机、膝上型电脑、平板电脑、手机，或者能够执行如本文所述的视频游戏的任何其他类型的计算装置。在一些实现方式中，视频游戏是云执行的视频游戏，这意味着视频游戏由云游戏服务器或云计算资源执行，在一些实现方式中，该云计算资源可以是虚拟化计算资源，并且游戏玩法通过网络(包括互联网)流式传输到显示装置106。在另一些实现方式中，计算装置104的功能可以集成到显示装置106中。此外，举例来说，在各种实现方式中，显示装置106可以是电视、LCD显示器、监视器、移动装置屏幕(诸如平板电脑屏幕或手机屏幕)、投影仪等。在一些实现方式中，显示装置106是头戴式显示器。另外地，在各种实现方式中，控制器装置102可以是游戏控制器、运动控制器、键盘、鼠标、轨迹球、触敏轨迹板、图像捕获装置、麦克风等。

根据本公开的实现方式，训练机器学习模型112(或人工智能模型)以模仿用户100的游戏玩法。也就是说，以一定方式训练机器学习模型112，使得如果被呈现给定的游戏场景，则机器学习模型112将被配置为响应于该游戏场景而执行基本上类似于将由用户100执行的那些的或根据用户的游戏玩法技术、技能、风格、倾向、决策、偏好、交流、移动等的游戏玩法动作。

将了解，为了实现这一点，可利用指示用户的体验内容(例如，用户在进行游戏期间看到、听到、感觉到或在其他方面作出的响应或反应)的数据以及指示用户游戏玩法动作(用户在进行游戏期间响应于他们的体验内容而做出的操作或决策)的数据来训练机器学习模型。在某种意义上，用户可被视作以他们在视频游戏期间的体验内容的形式接收输入且以响应于他们的体验内容的具体游戏玩法动作的形式提供输出的代理。因此，训练机器学习模型112的目标是配置机器学习模型112，使得其将提供用户在被呈现相同的输入时会提供的相同输出。

在一些实现方式中，使用来自视频游戏的会话的视频110和来自该会话的用户输入108来训练机器学习模型112。将了解，在一些实现方式中，首先记录视频110和用户输入108，并且稍后使用所记录的数据来训练机器学习模型112。在其他实现方式中，基本上与视频游戏的实时游戏玩法同时地或者基本上实时地使用视频和用户输入来训练机器学习模型。将了解，机器学习模型112的训练可由计算装置104或由诸如远程服务器或云游戏系统的另一个装置执行。就这一点而言，在一些实现方式中，视频和用户输入由计算装置104记录，并且然后上传到云系统，该云系统接收视频和用户输入并将其应用于训练机器学习模型。

在一些实现方式中，更具体地使用来自视频110的图像帧来训练机器学习模型。在一些实现方式中，用户输入108由来自控制器装置102的控制器输入(诸如按钮按压、操纵杆移动、控制器装置本身的所捕获的运动等)定义。广义地讲，训练的目标是使得机器学习模型112将逐决策地模仿用户100的动作。在如目前所述的使用图像帧的实现方式中，然后视频的每个帧可被认为是用户通过生成诸如按钮按压等控制器输入或通过什么都不做来作出反应的场景。因此，每个帧表示用户的决策点，并且机器学习模型被训练来逐帧地模仿用户的决策/动作(包括什么都不做)。理想地，经训练的机器学习模型被配置为就控制器输入或缺少控制器输入而言，生成与用户响应于给定的图像帧或图像帧序列而生成的相同的响应。

尽管参考控制器输入作为用户输入来描述前述内容，但是将了解，原理也适用于任何其他类型的用户输入，诸如用户运动或手势输入、所捕获的头戴式显示器移动、语音输入等。将了解，不论被捕获和应用的用户输入的种类如何，机器学习模型训练的目标都是配置机器学习模型，使得其响应于给定的图像帧或图像帧序列将再现相同或类似的输入。

此外，除了如上所述的图像帧，可将附加的信息用于向机器学习模型112提供训练数据的目的。例如，还可使用来自游戏玩法的音频(其可被包括作为视频110的一部分)，因为该音频是用户100在游戏会话期间体验的游戏玩法的另一方面。此外，在一些实现方式中，还可将触觉反馈信息用作训练数据的一部分。

上述的逐帧方法可用于使得机器学习模型112能够在诸如第一人称射击视频游戏的视频游戏中模仿用户100。对于第一人称射击视频游戏，用户有效地在每个帧作出决策，因为帧之间的变化指示视频游戏的变化状态并且可影响游戏的结果，并且用户可逐帧地作出反应。然而，在其他类型的视频游戏中，可能没有必要逐帧地训练机器学习模型，因为视频游戏可能不以对于确定视频游戏的结果重要的方式逐帧地变化。

例如，在回合制视频游戏中，玩家轮流发出命令。并且因此，不是逐帧地作出决策，而是在每个给定的玩家的每个回合作出决策。视频游戏的状态不会改变，直到玩家进行输入为止，并且因此出于训练机器学习模型112的目的，没有必要逐帧地训练。相反，可使用指示用户可获得的体验(例如，在用户有机会执行动作的每个回合)的数据来训练机器学习模型112。将了解，用户输入也以先前描述的相同方式用于训练目的。也就是说，训练机器学习模型112以在被呈现指示用户在进行游戏期间可获得的体验的给定的数据集时产生与用户输入相同或类似的输入。

在一些实现方式中，指示或标识用户在进行游戏期间的体验的数据实际上可以是从在视频游戏的会话期间发生的具体决策点捕获的一个或多个图像帧。然而，将了解，并未使用在进行游戏会话期间渲染的所有图像帧，而是使用足够充分地标识用户体验或者用户在进行游戏期间可获得的数据以及用户通过提供用户输入来作出响应的子集。

在一些实现方式中，指示或标识在进行游戏期间的用户体验的数据可包括游戏状态数据，包括例如但不限于虚拟环境中的对象或人物的位置、对象或人物的属性(例如，物品装备、生命值、技能等)，或者可影响游戏玩法的任何其他变量或实体的状态。此外，将了解，尽管总体上参考控制器输入具体地描述了用户输入，但是出于训练机器学习模型的目的，可使用其他种类的数据(包括某些类型的游戏状态数据)，以响应于用户在进行游戏期间的体验内容来定义用户的动作。

一旦经过训练，机器学习模型112就被配置为模仿用户100的游戏玩法风格和倾向。这可用于各种目的，诸如AI机器人插入(附图标记114)、指导(附图标记116)和匹配(附图标记118)，如下面进一步详细地讨论。

广义地讲，训练机器学习模型112的目标可被认为是监督式学习任务。在一些实现方式中，机器学习模型112具体地是人工神经网络(例如，多层感知机)。在其他实现方式中，机器学习模型112可使用根据本公开的实现方式的可被配置为模仿用户的游戏玩法的其他类型的人工智能或机器学习机器(例如，支持向量机、线性回归、逻辑回归、朴素贝叶斯、决策树、k最近邻等)。

图2概念性地示出了根据本公开的实现方式的用于在各种视频游戏相关上下文中训练和使用机器学习模型的系统。在所示的实现方式中，客户端装置212连接到网络210，并且通过网络210与联网游戏系统200通信。在一些实现方式中，客户端装置212是能够执行视频游戏214的计算装置，诸如游戏控制台或个人计算机。

如已经讨论，当用户222玩视频游戏214时，生成游戏玩法数据216，该游戏玩法数据可用来训练机器学习模型200以学习和模仿用户222的游戏玩法风格和倾向。在所示的实现方式中，客户端装置224和236与客户端装置212类似地配置。例如，客户端装置224可执行视频游戏226以供用户234进行游戏，并且得到的游戏玩法数据228用来训练机器学习模型230以模仿用户234的游戏玩法。类似地，客户端装置236可执行视频游戏240以供用户248进行游戏，并且生成的游戏玩法数据242可用来训练机器学习模型244以模仿用户248的游戏玩法。

在一些实现方式中，对应于各种用户的经训练的机器学习模型可用来使得能够由代表用户的AI机器人玩视频游戏。例如，在一些实现方式中，视频游戏支持使用联网游戏系统200的在线多玩家游戏。联网游戏系统200可执行视频游戏的共享会话202，并且客户端装置212、224和236中的每一者通过网络210连接到共享会话202。在常规的多玩家视频游戏中，每个用户的任务是在多玩家会话中控制其相应的人物或实体。然而，根据本公开的实现方式，代替给定的用户，可部署对应于该用户的AI机器人来代表用户玩游戏。

例如，在所示的实现方式中，对应于用户222的AI机器人220可使用经训练的机器学习模型218来参与视频游戏的共享会话202。AI机器人220是被配置为代表用户222执行视频游戏的游戏玩法的代理。将了解，AI机器人220将以类似于用户222将玩视频游戏的方式类似的方式执行视频游戏的游戏玩法，因为它正在使用已经学习了用户的玩法风格的经训练的机器学习模型218。类似地，AI机器人232可被配置为使用已经学习了用户234的游戏玩法倾向的机器学习模型230来参与视频游戏的共享会话202。而且，AI机器人246可使用经训练的机器学习模型244来代表用户248参与共享会话，以便模仿用户248的游戏玩法风格。

通过使得经训练的AI机器人能够代表用户来玩游戏，新型交互式体验变得可能。例如，在一些实现方式中，用户可与彼此的AI机器人对抗。以此方式，用户可能够知道与另一个用户对抗是什么样的，即使该用户无法获得或以其他方式不能参与视频游戏。在一些实现方式中，用户可使其AI机器人彼此对抗。在一些实现方式中，用户可观看其自己的AI机器人玩视频游戏。这可通过允许用户在实时环境中而不是从第三人称观察者角度有效地看到他们如何玩游戏而有娱乐性。这可进一步证明是有教育性的，因为用户可通过观看其AI机器人的游戏玩法而通过有效地观看其本身的玩法来进行学习。

例如，用户222和用户234可能希望与用户248一起玩视频游戏，例如，作为团队的一部分或彼此对抗。然而，用户248可能在用户222和用户234可用的同时不在线。通常，用户248的不可用性将阻止发生集体体验。然而，当用户248不可用时，用户248的AI机器人246是可用的并且可代替用户248来玩视频游戏。这样，就不会阻止用户222和234体验他们期望的群组玩法，并且来自AI机器人246的游戏玩法贡献将类似于在用户248在线并且可玩游戏的情况下将由用户248提供的贡献。因此，使用AI机器人允许在并非满员在场的情况下模拟多玩家游戏玩法。

在所示的实现方式中，联网游戏系统200还包括通信模块204，该通信模块被配置为促进在系统的用户之间的通信。举例来说，此类通信可包括消息传送、聊天、音频、视频、文本、电子邮件、评论、回复等。将了解，此类通信可促进将AI机器人插入视频游戏中，如目前所述。例如，一个用户可向另一个用户传送消息或向另一个用户发送邀请以加入多玩家视频游戏。作为响应，该系统可用指示另一个用户不可用但其AI机器人可用于进行游戏的消息作出响应，并且向发送用户提供与AI机器人一起玩或进行对抗的选项。

在其他实现方式中，视频游戏可被配置为提供特征，由此用户可使用另一个玩家的AI机器人来执行视频游戏的所选情景或部分的游戏玩法。这可用于帮助用户克服游戏的困难部分。例如，用户可能处于某一技能水平，但是可请求更高级玩家的AI机器人玩视频游戏的困难部分，使得他们可观看更高级玩家将如何玩并克服视频游戏的困难部分。以此方式，级别不太高的玩家可从更高级玩家的游戏玩法中学习，而实际上不需要更高级玩家参与演示性实时游戏玩法。将了解，这允许不太有经验的玩家观察更有经验的玩家处理他们感兴趣或难以克服的视频游戏的特定部分，而不必依靠其他更耗时的方法来学习特定部分，诸如在线搜索涵盖视频游戏的特定部分的游戏玩法视频。

另外地，将了解，视频游戏可被配置为使得当另一个玩家的AI机器人在玩视频游戏时，那么任何成就都不记入原始主机用户账户。因此，另一个玩家的AI机器人的游戏玩法可被主机用户查看或观看，但将不影响主机用户在视频游戏的故事线或目标的上下文中的位置或进展。在这个意义上，其他玩家的AI机器人的游戏玩法是在这种游戏玩法期间或完成时不记录保存点的游戏玩法。

然而，在其他实现方式中，用户可能够有意地借用另一个用户的AI机器人来为其玩游戏，其中在这种游戏玩法期间的成绩或成就被保存并归于原始用户的账户。在某种意义上，这类似于让好友为自己或代表某人进行游戏，而不要求好友实际上执行游戏玩法。在一些实现方式中，用户可付费来使用其他玩家的AI机器人，例如使用虚拟货币、数字资产、数字积分、实际货币等。因此，形成了用户能够通过视频游戏中的常规的游戏玩法和进展来训练并改进其AI机器人并然后将其经训练的AI机器人租给其他用户的市场。在一些实现方式中，AI机器人可按单位时间或量化AI机器人的使用的某一其他度量来进行租用，使得为租用AI机器人而支付的金额将取决于实际上使用AI机器人的量。在这种生态系统中，可发布并获得给定的AI机器人的使用统计，并且用户可在使用给定的AI机器人之后留下与该AI机器人相关的评论。

继续参考图2，联网游戏系统200还包括推荐逻辑206，该推荐逻辑被配置为基于用户的经训练的机器学习模型来向用户提供推荐，如下面进一步讨论。而且，联网游戏系统200另外包括匹配逻辑208，该匹配逻辑被配置为执行与视频游戏相关的匹配活动，如下面进一步讨论。

另外，应注意，在一些实现方式中，已经被描述为由客户端装置执行的功能中的任一者可由联网游戏系统200执行。例如，在云游戏设置中，视频游戏的执行可由联网游戏系统200进行，其中客户端装置被配置为通过网络210从联网游戏系统流式传输游戏玩法。此外，在一些实现方式中，游戏玩法数据的存储、机器学习模型的训练以及AI机器人的实现可由联网游戏系统200执行。

图3概念性地示出了根据本公开的实现方式的用于对模仿玩家的游戏玩法行为的经训练的机器学习模型进行评估或分类的过程。如已经讨论，机器学习模型可被训练用于模仿学习，其中机器学习模型学习模仿用户的游戏玩法，使得如果被呈现相同类型的场景，则它将进行与用户类似的移动。训练机器学习模型来模仿用户的游戏玩法行为的一个优点在于，为了评估用户的游戏玩法，不一定要观察实际用户或其实际游戏玩法。相反，可训练机器学习模型以模拟用户的倾向，并且然后为其呈现不同的场景，从而使得能够评估用户的游戏玩法行为。这种技术是用于对用户的游戏玩法行为进行分类的强大且精确的方法，因为它不依赖从先前的成绩或成就外推，而是使得能够执行对特定场景的直接表现评估，其中结果提供直接表现指示。因此，对给定的用户将在给定的场景中如何表现的问题的答案不是理论的或外推的，而是基于相对于实际场景对用户的AI机器人的直接测试。

在所示的实现方式中，将经训练的机器学习模型300应用于各种场景302、304、306和308。这些场景中的每一者可以是给定的游戏情形，并且包括用来训练机器学习模型300的指示用户所体验的游戏场景的类型的数据。例如，根据以上描述的实现方式，其中训练数据包括来自用户的游戏玩法的捕获的视频的图像帧，在一些实现方式中，每个场景可包括图像帧或图像帧序列，其中图像帧定义特定的视频游戏情景。在一些实现方式中，这种图像帧可以是来自视频游戏的屏幕截图。在其他实现方式中，每个场景可由在向用户呈现这个场景的情况下将定义用户的体验的其他种类的数据定义。

将机器学习模型302应用于场景302、304、306和308分别产生对应的结果310、312、314和316。在一些实现方式中，每个结果由机器学习模型300响应于该场景而产生的数据定义。例如，结果可包括由机器学习模型响应于该场景而产生的控制器输入。将了解，结果也可因机器学习模型响应于该场景的响应动作的缺少而定义。

在附图标记318处，基于结果来执行评估或分类操作。例如，在一些实现方式中，这可包括确定由机器学习模型响应于该场景而产生的控制器输入是否匹配一组预定义控制器输入，这还可包括此类控制器输入的顺序和定时的考虑。在一些实现方式中，评估可包括将技能水平指派到机器学习模型或机器学习模型300的对应用户。在各种实现方式中，评估可包括确定各种技能、体验、熟练度、人物类型、风格、倾向、缺陷或可基于暴露在各种场景下的结果而归因于用户或机器学习模型和可用于下游游戏相关活动(诸如提供推荐/指导、匹配等)的任何其他属性或分类。

因此，经训练的AI/机器学习模型可通过向其呈现不同的场景且然后基于其如何反应而对其进行分类来进行评估。在一些实现方式中，这可作为与在线训练过程分开的离线过程来执行。诸如上述联网游戏系统的系统可向经训练的机器学习模型呈现各种场景、记录其做了什么，然后对其进行分类以用于各种活动，诸如匹配、协作活动、指导等。

在一些实现方式中，场景可由例如加载到视频游戏的特定情景的视频游戏的执行部分定义。用户的机器学习模型(或用户的AI机器人)可被应用来玩视频游戏的该部分，并且游戏玩法的结果可用来对机器学习模型进行分类。将了解，各种视频游戏特定的结果可使得能够对用户的机器学习模型进行分类，诸如模型是否在场景中幸存、采取一个或多个动作、达到目标、获得成就、在给定的时间量内完成某事等。

图4示出了根据本公开的实现方式的用于基于经训练的机器学习模型来向用户提供推荐的系统。如图所示，经训练的机器学习模型400可由评估/分类模块402进行评估或分类，该评估/分类模块可被配置为根据上述原理来执行对机器学习模型400的评估，包括向机器学习模型呈现各种场景并且评估结果。推荐逻辑404被配置为基于机器学习模型的评估结果来向用户提供推荐。将了解，在如目前所述的此类实现方式中，评估被配置为提供对于向用户进行推荐来说有用的信息或分类，如下面进一步描述。

在一些实现方式中，系统被配置为基于机器学习模型的评估/分类来向玩家推荐特定指导，以便帮助玩家开发和提高其游戏玩法技能组。也就是说，评估可被配置为识别用户游戏玩法的要改进的领域，诸如某些技能或技术。在一些实现方式中，推荐逻辑404可提供游戏内指导406，该游戏内指导在视频游戏的游戏期间向玩家提供提示或暗示或者其他有帮助的信息。将了解，这些指导提示是用户特定的，因为它们是基于经训练的机器学习模型的特定用户评估来确定或选择的。在一些实现方式中，推荐逻辑404可向用户推荐教程或课程408，所述教程或课程一般在视频游戏的实际游戏玩法的上下文之外进行。通过示例而非限制，此类教程或课程可引起渲染其中用户能够接收指导并实践某些技能的实践环境。

在一些实现方式中，推荐逻辑404可提供玩家比较410，例如，将用户与各种职业玩家进行比较，并且提供哪个职业玩家在风格上类似的指示。因此，推荐逻辑404可向用户推荐职业玩家的风格，并且可能提议用于开发与特定职业玩家的类似风格的提示。就这一点而言，推荐逻辑404可推荐某些学习路径。

在一些实现方式中，推荐逻辑404可提供对手推荐412，从而提议用户进行对抗的对手，以便帮助用户改进其游戏玩法。在相关实现方式中，推荐逻辑404可为14提供对抗策略呈现，例如，该对抗策略呈现标识对用户有效的策略，并且鼓励用户适应这些策略，诸如通过向用户呈现在其模型中有效地采用此类策略的对手。

将了解，作为由推荐逻辑404提供的指导推荐的结果，可生成新的训练数据以训练机器学习模型400，如附图标记416所指示。因此，机器学习模型400将随时间而变化，因为用户接收指导并且实现通过指导提供的建议和策略。

应注意，根据上述实现方式，评估模块402和推荐逻辑404可结合在联网游戏系统或各种客户端装置中。

图5概念性地示出了根据本公开的实现方式的用于使用经训练的机器学习模型来为视频游戏提供改进的匹配的系统。在所示的实现方式中，通过向机器学习模型呈现一个或多个场景并且处理结果来评估对应于相应用户的各种经训练的机器学习模型500，如已经描述。这种评估的结果可由对应于机器学习模型500中的每一者的分类502组成。在本实现方式中，这些分类对于在视频游戏中执行匹配功能是有用的，如下面进一步描述。

在所示的实现方式中，匹配逻辑504被配置为执行用于视频游戏的匹配。广义地讲，匹配涵盖与多玩家视频游戏中的用户的指派或安排相关的功能。例如，可存在给定的多玩家视频游戏的许多会话，并且期望在游戏的给定会话中具有大致类似技能水平的玩家，使得游戏将有竞争性。因此，在一些实现方式中，机器学习模型的分类被配置为识别对应玩家的技能水平，并且匹配逻辑504被配置为针对水平相容性来执行匹配，如附图标记506所指示。也就是说，匹配逻辑504将大致类似技能水平的玩家指派到视频游戏的相同会话，并且避免将不同技能水平的玩家指派到相同会话。

在一些实现方式中，出于加入若干现有的游戏会话中的一个的目的，匹配逻辑504可识别希望加入的用户的技能水平，并且基于该用户与会话中的现有用户的水平相容性来将该用户指派到该会话。也就是说，匹配逻辑将找到会话中的现有玩家具有与新玩家的技能水平类似的技能水平的该会话，并且将新用户指派到该会话。在一些实现方式中，如果用户希望加入已经在进行或已经指派了若干其他用户的特定游戏会话，则匹配逻辑504可识别给定的会话中的玩家的技能水平以及希望加入的玩家的技能水平，并且可被配置为在其技能水平/相容性有显著差异的情况下通知用户。

将了解，由于经训练的机器学习模型可用于评估，因此可用高度特定性对给定用户的技能水平进行分类。例如，一些视频游戏可具有不同种类的领域、设置、环境等，并且给定玩家的技能水平在这些不同的环境中可不同。例如，与城市类型环境相比，玩家可更擅长在森林类型环境中的游戏玩法，并且因此其技能水平根据环境而不同。这可通过将玩家的经训练的模型暴露于森林类型环境和城市类型环境并且跟踪结果来评估。这种依赖环境的技能水平可被考虑到目前描述的水平相容性匹配中，因为可针对视频游戏的特定会话的特定环境来评估用户，并且基于特定于给定会话的特定环境的技能水平进行相应地指派。

在一些实现方式中，匹配逻辑504被配置为基于玩家的机器学习模型的评估/分类来将玩家分配到不同的团队中，如附图标记508所指示。例如，可如上所述确定玩家的技能水平，并且然后用来以提供实力相当的团队的方式将玩家分配到不同的团队中。

在一些实现方式中，匹配逻辑504可被配置为基于玩家在游戏玩法中的技能或倾向来执行玩家的匹配，如附图标记510所指示。例如，在一些实现方式中，表现出类似的风格或倾向的玩家可被一起匹配在同一团队。在其他实现方式中，可基于玩家的技能而将玩家指派到各种团队，使得团队形成有多种技能。也就是说，如果具有类似技能组的可能玩家被指派到不同的团队，则使得每个团队将具有多种玩家类型。在一些实现方式中，玩家基于其技能组或倾向互补而彼此匹配。例如，鉴于视频游戏中的一组可能的技能，玩家可以整体最大化团队的总技能的方式而彼此匹配作为团队的一部分。

考虑到对抗比赛，在一些实现方式中，将具有不同技能组或风格的玩家作为对手匹配在一起以提供更有趣的游戏玩法。相反，如果可能的话，可不将具有类似技能组的玩家彼此匹配。

在一些实现方式中，匹配逻辑504被配置为基于玩家的机器学习模型的评估来执行玩家角色填补，如附图标记512所指示。也就是说，在视频游戏中，可存在可指派给玩家的各种角色。在这个背景下，可依据在履行特定角色时表现如何来评估给定用户的机器学习模型。基于此，匹配逻辑504可确定用于填补例如团队上的各种角色的最佳玩家。

另外，在一些实现方式中，匹配逻辑可执行AI机器人的匹配，如附图标记514所指示。将了解，应用于用户的上述匹配功能中的任一者也可应用于可插入在视频游戏中的对应AI机器人，如已经描述。例如，可基于水平相容性、技能组、履行给定角色的能力等来评估和安排或指派AI机器人。

例如，玩家团队可能需要额外的玩家，并且系统可例如根据给定的一组可用AI机器人(诸如来自在社交图中连接到团队成员中的一者或多者的对应用户)来确定要加入团队的最佳的AI机器人。在一些实现方式中，匹配逻辑可例如通过确定谁是可用的以及谁有资格履行某一角色来执行玩家或AI机器人搜索。通过示例而非限制，可寻找防御玩家或AI机器人，并且因此系统将通过向可用的经训练的机器学习模型呈现防御场景并确定它们如何作出反应来评估其防御能力，并且然后基于结果来选择玩家或AI机器人。

在一些实现方式中，可不仅单独地而且组合地执行机器学习模型的评估/分类。可通过一起评估经训练的机器学习模型的组合来评估玩家的不同分组。例如，为了评估作为团队的一组玩家的表现，可向其机器学习模型或AI机器人呈现它们同时参与的一个或多个群组场景，并且可评估结果。在一些实现方式中，这可引起功能游戏引擎部件的执行，使得可模拟模型所采取的动作的影响，这进而可影响彼此的后续动作或决策。在相关的实现方式中，还可通过将玩家的经训练模型应用于相同的群组场景并且确定每一个玩家在群组场景内如何表现来评估一组玩家相对于彼此的表现。

将了解，用户的机器学习模型或AI机器人可随时间不断地更新，并且因此将随时间而变化。因此，在一些实现方式中，为了提供用于匹配的当前评估/分类，可在匹配请求时(例如，当用户请求玩多玩家视频游戏时)评估机器学习模型。以此方式，实现动态匹配过程，其中使用最新的分类。

图6概念性地示出了根据本公开的实现方式的为给定的用户提供多个机器训练模型的用户账户的库。如图所示，用户账户可具有游戏库600，该游戏库由用户拥有或用户可访问的各种游戏标题(诸如在所示的实现方式中，游戏标题A、游戏标题B和游戏标题C)组成。用户账户还包括AI库602，该AI库包括用于游戏库600中的每个游戏标题的各种机器学习模型。以附图标记604示出用于游戏标题A的一组机器学习模型，包括机器学习模型A₁、A₂和A₃。同样地，分别以附图标记606和608示出用于游戏标题B和C的各组机器学习模型，包括用于游戏标题B的机器学习模型B₁、B₂和B₃以及用于游戏标题C的机器学习模型C₁、C₂和C₃。

将了解，对于给定的游戏标题，用户可拥有已经被训练来模仿用户的游戏玩法的一个或多个机器学习模型。例如，在用户玩给定的视频游戏时，其机器学习模型将演进，并且可捕获并保存机器学习模型的各种状态。因此，多个机器学习模型可随时间而捕获玩家的不同版本，并且充当在不同时间用于该视频游戏的用户的能力的快照。一般地讲，预期在用户继续玩给定的视频游戏时，其技能水平将增加。在一些实现方式中，可能有用的是能够获得指示用户在先前时间而不是在当前时间的能力(以及较低技能水平)的先前机器学习模型。例如，处于较低技能水平的好友可能希望对抗目前处于较高技能水平的用户。因此，为了向好友提供竞争性游戏玩法体验，可代表用户来部署具有与好友类似的技能水平的用户的先前机器学习模型。

在其他实现方式中，用户可具有用于给定的视频游戏的对应于视频游戏的上下文内的各种目的(诸如玩不同的人物、玩不同的角色、追求不同的成就或发展路径等)的多个机器学习模型。

将了解，配置或选择分类场景以用于确定用户的机器学习模型的特性。为了确定视频游戏的哪些类型的场景或部分将用于分类目的，可能有用的是分析用户游戏玩法和游戏情景来确定游戏玩法的哪些方面是良好指标以实现稳健的分类。例如，可分析用户的游戏玩法以确定使玩家在统计上更可能获胜或失败的动作类型。然后，可创建突出此类动作的使用的场景，以用于分类目的。或者在另一个示例中，可分析视频游戏的各种情景的游戏玩法来确定哪些情景是用户技能或成功的良好指标，例如，通过某个情景或在特定情景采取某个动作的用户更可能获胜。

本公开的实施方案可被包括作为游戏引擎的部分。广义地讲，游戏引擎是提供使得能够有效地开发视频游戏的特征的软件开发框架。游戏引擎可包括软件库，该软件库具有可重复使用的模块以处理游戏功能的各种方面，包括例如但不限于图形渲染(例如包括顶点处理、多边形处理、着色、照明、纹理等)、声音、物理(包括碰撞处理)、动画、脚本、人工智能、联网、流式传输、内存管理、线程处理、本地化支持、场景图、电影艺术等。

游戏引擎可被优化用于不同的硬件平台，诸如游戏控制台、移动装置、个人计算机等。通过示例而非限制，游戏引擎可根据平台来优化内存(例如，如何优先处理图形流水线中的各种任务等)。在一些实现方式中，硬件可以是某一特定处理实体(诸如游戏控制台)的刀片式版本。因此，用户可被指派到特定的刀片，该刀片给出控制台游戏已经针对其优化的相同硬件。

将了解，还可存在游戏服务器逻辑以提供流式传输和/或其他服务(打包、编码、服务质量(QOS)监控、带宽测试、访问社交网络/好友等)。

在一些实现方式中，云基础设施可运行管理程序，该管理程序使硬件抽象化并且提供虚拟机框架，操作系统(OS)可加载在该虚拟机框架上。因此，堆叠可包括在OS上运行的应用程序/视频游戏，该OS加载在由管理程序实例化的虚拟机(VM)上，该管理程序加载在底层硬件上。以此方式，应用程序的执行不一定耦合到特定硬件。

在一些实现方式中，应用程序/视频游戏可通过在应用层处抽象化的容器来执行，从而将代码和依赖关系包装在一起，因此实现对OS或硬件平台不可知的软件开发，并且促进平台上的软件可移植性。

在一些实现方式中，采用分布式游戏引擎，其中游戏引擎的不同部分可由不同的计算实体处理。例如，诸如物理引擎、渲染引擎(2D/3D图形)、声音、脚本、动画、AI、联网、流式传输(编码)、内存管理、线程处理等游戏引擎的功能可被分成分布在许多不同的计算中的不同功能处理块和/或服务。将了解，对于分布式游戏引擎，需要低延迟通信以避免延迟问题。为了维持期望的帧速率，计算和通信的总时间应满足某些约束。因此，根据是否有可能在更短时间内完成该过程来划分某些任务可能有效也可能没有效。

使用分布式游戏引擎的优点在于，有可能利用弹性计算，其中计算资源可根据需要而按比例放大或缩小。例如，在传统地在单个硬件服务器上执行的大型多玩家游戏中，在例如约100个玩家之后，硬件资源变得有限，使得无法添加更多的玩家。游戏可使额外的玩家排队，这意味着玩家必须等待加入游戏。然而，利用分布式游戏引擎，通过使用弹性云计算资源，可添加更多的计算节点来满足需要，因此实现例如数千玩家。游戏不再被特定硬件服务器的极限约束。

因此，云游戏引擎可具有分布到不同的处理实体的功能。将了解，不同的功能可在不同的框架中执行。例如，一些功能(例如，社交)可能更容易在容器中运行，而图形可能最好使用连接到GPU的VM来运行。

为了促进云游戏引擎的功能的分布，分布/同步层可管理工作的分布，例如，将工作发出、接收回数据、识别执行了什么工作和何时执行工作、处理队列(例如，如果工作比所需的更快地完成)。在一些实现方式中，如果需要，给定的任务可动态地细分。例如，动画可具有照明，并且如果照明特别复杂，则照明可细分成三个照明工作，该三个照明工作被发出进行计算并且在返回时重组。因此，如果需要更多工作，则游戏引擎功能可细分。

云服务提供商在指定的性能水平，例如以每秒的输入/输出操作(“IOPS”)提供计算。因此，游戏提供商可指定来自云服务提供商的VM、专用处理能力、内存量等，并且使用云服务提供商的系统将分布式云游戏引擎实例化。

在一些实现方式中，库模块和更新处理程序可以是游戏引擎的一个或多个部件或模块。在一些实现方式中，库模块和更新处理程序可以是单独的部件或者被集成。在一些实现方式中，库模块和更新处理程序可作为游戏引擎的补充进行操作。在一些实现方式中，游戏引擎可以是分布式游戏引擎，如上所指出。

如所指出，本公开的实现方式可应用于云游戏系统。云游戏系统的一个示例是

Now云游戏系统。在这种系统中，客户端装置可以是游戏控制台，诸如

4游戏控制台，或者可以是另一个装置，诸如个人计算机、膝上型电脑、平板电脑、手机、移动装置等。

广义地讲，为了实现云游戏，当接收到对游戏标题的用户请求时，由一个或多个服务器在与云游戏站点相关联的数据中心内执行若干操作。当云游戏站点接收到用户请求时，识别托管与所选择的游戏标题相关联的游戏的数据中心，并且将该请求发送到识别的数据中心以针对所选择的游戏标题而将游戏实例化。响应于请求，数据中心处的服务器识别游戏代码、加载识别的游戏代码，并且将与游戏代码相关的文件实例化以准备将游戏内容呈现给用户。与游戏相关联的游戏数据可包括通用游戏数据和用户特定游戏数据。因此，将文件初始化可包括识别、加载和初始化通用游戏数据和用户特定游戏数据两者。将通用游戏数据初始化可包括将图形引擎初始化、安装图形数据、将声音文件初始化、安装艺术作品等。将用户特定数据初始化可包括定位、传送和安装用户数据、用户历史、游戏历史等。

当加载和初始化通用游戏数据时，可提供“启动”屏幕以在客户端装置处渲染。启动屏幕可被设计为提供正在加载的游戏的代表性图像，以允许用户预览正在加载的游戏的类型。一旦加载了通用游戏数据，就可渲染某些初始内容并且可呈现选择/导航屏幕以供用户选择和自定义。在选择/导航屏幕处提供的用户选择输入可包括游戏水平选择、游戏图标选择、游戏模式选择、游戏奖金以及可要求上传附加游戏内容的其他用户相关数据。在一些实施方案中，通过将游戏内容从游戏云系统流式传输到用户的计算装置以进行观看和交互来使游戏内容可用。在一些实现方式中，在加载了用户特定数据之后，游戏内容可用于进行游戏。

图7A示出了用于加载通过云游戏站点可用的游戏的游戏文件的示例性系统。该系统包括通过网络702通信地连接到云游戏站点704的多个客户端装置700，所述网络可包括LAN网络、有线网络、无线网络、蜂窝网络(例如，4G、5G等)或者任何其他类型的数据网络，包括互联网。当从客户端装置700接收到访问云游戏站点704的请求时，云游戏站点704访问存储在用户数据存储708中的用户账户信息706，以识别与通过其发起请求的客户端装置相关联的用户。在一些实施方案中，云游戏站点还可验证识别的用户以便确定用户被授权观看/玩的所有游戏。在用户账户识别/验证之后，云游戏站点访问游戏标题数据存储710，以识别对于发起请求的用户账户在游戏云站点处可用的游戏标题。游戏标题数据存储710进而与游戏数据库712交互，以获得可用于云游戏站点的所有游戏的游戏标题。在引入新的游戏时，游戏数据库712将用游戏代码进行更新，并且游戏标题数据存储710将被提供新引入的游戏的游戏标题信息。当发起请求时，从中发起请求的客户端装置可向或可不向云游戏站点注册。如果发起请求的客户端装置的用户不是注册用户，那么云游戏站点可将该用户识别为新用户并且选择适合于新用户的游戏标题(例如，一组默认的游戏标题)。将识别的游戏标题返回到客户端装置以便在显示屏700-a上呈现，如图7A所示。

检测在客户端装置上渲染的游戏标题中的一者处的用户交互，并且向云游戏站点发送信号。信号包括检测到用户交互的游戏标题信息和在游戏标题处注册的用户交互。响应于从客户端装置接收到的信号，云游戏站点主动地确定托管游戏的数据中心，并且向识别的数据中心发送信号以加载与检测到用户交互的游戏标题相关联的游戏。在一些实施方案中，多于一个数中心可托管游戏。在此类实施方案中，云游戏站点可确定发起请求的客户端装置的地理位置，并且识别在地理上接近客户端装置的数据中心并发信号通知该数据中心预先加载游戏。用户的地理位置可使用客户端装置内的全球定位系统(GPS)机制、客户端的IP地址、客户端的延迟(ping)信息(仅举几例)来确定。当然，前述用于检测用户的地理位置的方式可以是示例性的，并且可使用其他类型的机制或工具来确定用户的地理位置。识别接近客户端装置的数据中心可最小化在用户与游戏交互期间的延迟。在一些实施方案中，识别的数据中心可能没有所需的带宽/容量来托管游戏或者可能被过度使用。在这些实施方案中，云游戏站点可识别在地理上接近客户端装置的第二数据中心。游戏的加载包括加载游戏代码和执行游戏的实例。

响应于从云游戏站点接收到信号，识别的数据中心可选择数据中心处的服务器以在该服务器上将游戏实例化。基于可用的硬件/软件能力和游戏要求来选择服务器。服务器可包括多个游戏控制台，并且服务器可确定使用多个游戏控制台中的哪个来加载游戏。游戏控制台可类似于独立的游戏控制台，或者可以是安装在机架上的服务器或刀片式服务器。刀片式服务器进而可包括多个服务器刀片，其中每个刀片具有用于将单个专用应用程序(诸如游戏)实例化的所需电路。当然，上述游戏控制台是示例性的并且不应被认为是限制性的。其他类型的控制器(包括游戏站等)和其他形式的刀片式服务器也可用于托管识别的游戏。

一旦识别出游戏控制台，就将游戏的通用游戏相关代码加载到游戏控制台上，并且经由云游戏站点通过网络向客户端装置返回信号，从而识别在其上将游戏实例化的游戏控制台。因此，加载的游戏可供用户使用。

图7B是概念性地示出根据本公开的实现方式的被执行来将云视频游戏流式传输到客户端装置的各种操作的流程图。游戏系统718执行视频游戏并且生成原始(未压缩)视频720和音频722。视频720和音频722被捕获并编码以用于流式传输目的，如在所示图中的附图标记724所指示。编码可提供用于视频和音频流的压缩，以减少带宽使用并且优化游戏体验。编码格式的示例包括H.265/MPEG-H、H.264/MPEG-4、H.263/MPEG-4、H.262/MPEG-2、WMV、VP6/7/8/9等。

编码音频726和编码视频728进一步被打包为网络包，如附图标记732所指示，以用于通过网络(诸如互联网)进行传输。网络包编码过程也可采用数据加密过程，从而提供增强的数据安全性。在所示的实现方式中，生成音频包734和视频包736以通过网络进行传输，如附图标记740所指示。

游戏系统718另外地生成触觉反馈数据730，该触觉反馈数据也被打包为网络包以用于网络传输。在所示的实现方式中，生成触觉反馈包738以通过网络进行传输，如附图标记740进一步指示。

前述生成原始视频和音频以及触觉反馈数据、对视频和音频编码以及将编码的音频/视频和触觉反馈数据打包以用于传输的操作是在共同地定义云游戏服务/系统的一个或多个服务器上执行。如附图标记740所指示，音频、视频和触觉反馈包通过网络(诸如和/或包括互联网)进行传输。如附图标记742所指示，音频包734、视频包736和触觉反馈包738被客户端装置解码/重组，以在客户端装置处定义编码音频746、编码视频748和触觉反馈数据750。如果数据已经加密，那么还对网络包进行解密。然后，由客户端装置对编码音频746和编码视频748进行解码，如附图标记744所指示，以生成客户端侧原始音频和视频数据以在显示装置752上渲染。触觉反馈数据750可被处理/传达以在控制器装置756或可通过其渲染触觉效果的其他接口装置处产生触觉反馈效果。触觉效果的一个示例是控制器装置756的振动或隆隆声。

应理解，视频游戏对用户输入作出响应，并且因此可执行与上述用于用户输入的传输和处理的过程类似但是在从客户端装置到服务器的相反方向上的过程流程。如图所示，用户操作控制器装置756可生成输入数据758。该输入数据758在客户端装置处打包以通过网络传输到云游戏系统。输入数据包760被云游戏服务器拆包并重组以在服务器侧定义输入数据762。输入数据762被馈送到游戏系统718，该游戏系统处理输入数据762以更新视频游戏的游戏状态。

在音频包734、视频包736和触觉反馈包738的传输(附图标记740)期间，可监控通过网络的数据传输以确保云游戏流的服务质量。例如，可监控网络状况，如附图标记764所指示，所述网络状况包括上游和下游网络带宽两者，并且可响应于可用带宽的变化来调整游戏流式传输。也就是，可基于当前网络状况来控制网络包的编码和解码，如附图标记766所指示。

图8示出了信息服务提供商架构的实施方案。信息服务提供商(ISP)870向地理上分散且经由网络886连接的用户882提供大量信息服务。ISP可仅递送一种类型的服务，诸如股票价格更新，或者递送多种服务，诸如广播媒体、新闻、体育、游戏等。另外，每个ISP所提供的服务都是动态的，也就是，可在任何时间点添加或移除服务。因此，向特定个人提供特定类型的服务的ISP可随时间而变化。例如，当用户在其家乡时，用户可由靠近该用户的ISP服务，而当用户旅行到不同的城市时，用户可由不同的ISP服务。家乡ISP将所需的信息和数据传送到新ISP，使得用户信息“跟随”用户到新城市，从而使数据更接近用户并更易于访问。在另一个实施方案中，可在管理用户的信息的主ISP与在主ISP的控制下与用户直接介接的服务器ISP之间建立主服务器关系。在另一个实施方案中，在客户端移动到世界各地时，数据从一个ISP传送到另一个ISP，以使处在为用户提供服务的更好位置的ISP成为递送这些服务的ISP。

ISP 870包括通过网络(包括例如但不限于任何有线或无线网络、LAN、WAN、WiFi、宽带、电缆、光纤、卫星、蜂窝(例如，4G、5G等)、互联网等)向客户提供基于计算机的服务的应用服务提供商(ASP)872。使用ASP模型提供的软件有时也称为按需软件或软件即服务(SaaS)。提供对特定应用程序(诸如客户关系管理)的访问的简单形式是通过使用标准协议(诸如HTTP)进行的。应用软件驻留在供应商的系统上，并且由用户通过由供应商提供的专用客户端软件或其他远程接口(诸如瘦客户端)借助使用HTML的网络浏览器来访问。

在广泛的地理区域内递送的服务通常使用云计算。云计算是其中通过互联网将动态可扩展和通常虚拟化的资源提供作为服务的计算方式。用户不需要成为支持他们的“云”中的技术基础设施方面的专家。云计算可划分为不同的服务，诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务通常提供从网络浏览器访问的在线通用业务应用，而软件和数据被存储在服务器上。术语云基于在计算机网络图中如何描绘互联网而被用作互联网的隐喻(例如使用服务器、存储和逻辑)，并且是对它所隐藏的复杂基础设施的抽象概念。

此外，ISP 870包括被游戏客户端用来玩单玩家和多玩家视频游戏的游戏处理服务器(GPS)874。通过互联网来玩的大多数视频游戏都是经由连接到游戏服务器来操作的。通常，游戏使用专用服务器应用程序，该专用服务器应用程序从玩家收集数据并将其分发到其他用户。这比对等布置更有效且高效，但它需要单独的服务器来托管服务器应用程序。在另一个实施方案中，GPS在玩家之间建立通信，并且其相应的游戏装置在不依赖集中式GPS的情况下交换信息。

专用GPS是独立于客户端运行的服务器。这样的服务器通常在位于数据中心的专用硬件上运行，从而提供更多的带宽和专用的处理能力。对于大多数基于PC的多玩家游戏，专用服务器是托管游戏服务器的优选方法。大型多玩家在线游戏在通常由拥有游戏名称的软件公司托管的专用服务器上运行，从而允许它们控制和更新内容。

广播处理服务器(BPS)876向听众分发音频或视频信号。向很小范围的听众广播有时称为窄播。广播分发的最后一段是信号如何到达收听者或观看者，并且该最后一段可与无线电台或电视台一样在空中到达天线和接收器，或可通过有线电视或有线广播(或“无线电缆”)经由电台或直接从网络进行传播。互联网还可将无线电或电视带到接收方，尤其是通过允许共享信号和带宽的多播。历史上，广播是按地理区域划定界限的，诸如国家广播或区域广播。然而，随着高速互联网的普及，广播不再按地理限定，因为内容可到达世界上几乎任何国家。

存储服务提供商(SSP)878提供计算机存储空间和相关的管理服务。SSP还提供周期性备份和存档。通过提供存储即服务，用户可根据需要订购更多存储。另一个主要优点是SSP包括备份服务，并且用户在其计算机硬盘驱动器发生故障的情况下不会丢失所有数据。此外，多个SSP可具有用户数据的全部或部分副本，从而允许用户以独立于用户所在的地方或用来访问数据的装置的有效方式访问数据。例如，用户可访问家用计算机中并且当用户在移动时访问移动电话的个人文件。

通信提供商880提供到用户的连接。一种通信提供商是提供对互联网的访问的互联网服务提供商(ISP)。ISP使用适合于递送互联网协议数据报的数据传输技术来连接其客户，诸如拨号、DSL、电缆调制解调器、光纤、无线或专用高速互连。通信提供商还提供消息传递服务，诸如电子邮件、即时消息传递和SMS短信。另一种类型的通信提供商是通过提供对互联网的直接骨干访问来出售带宽或网络访问的网络服务提供商(NSP)。网络服务提供商可由电信公司、数据运营商、无线通信提供商、互联网服务提供商、提供高速互联网接入的有线电视运营商等组成。

数据交换888将ISP 870内的几个模块互连并且经由网络886将这些模块连接到用户882。数据交换888可覆盖ISP 870的所有模块都非常靠近的小区域，或者当不同的模块在地理上分散时可覆盖大的地理区域。例如，数据交换888可包括数据中心的机柜内的快速千兆以太网(或更快)，或洲际虚拟局域网络(VLAN)。

用户882用客户端装置884来访问远程服务，该客户端装置至少包括CPU、存储器、显示器和I/O。客户端装置可以是PC、移动电话、上网本、平板电脑、游戏系统、PDA等。在一个实施方案中，ISP 870识别客户端所使用的装置类型并且调整所采用的通信方法。在其他情况下，客户端装置使用标准通信方法(诸如html)来访问ISP 870。

本公开的实施方案可用包括手持式装置、微处理器系统、基于微处理器或可编程的消费型电子设备、小型计算机、大型计算机等的各种计算机系统配置来实践。还可在分布式计算环境中实践本公开，在该分布式计算环境中，由通过基于有线或无线网络链接的远程处理装置来执行任务。

考虑到以上实施方案，应理解，本公开可采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要物理地操纵物理量的那些操作。本文描述的形成本公开的一部分的操作中的任一者都是有用的机器操作。本公开还涉及用于执行这些操作的装置或设备。该设备可被专门构造用于所需目的，或者该设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。特别地，各种通用机器可与根据本文中的教导编写的计算机程序一起使用，或者构造更专门的设备来执行所需的操作可能更方便。

本公开还可体现为计算机可读介质上的计算机可读代码。可选地，可使用上述数据交换互连从服务器下载计算机可读代码。计算机可读介质是可存储数据的任何数据存储装置，该数据随后可由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附加存储(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储装置。计算机可读介质可包括分布在网络耦合的计算机系统上的计算机可读有形介质，使得以分布式方式存储和执行计算机可读代码。

虽然以特定的次序描述了方法操作，但是应当理解，可在操作之间执行其他内务操作，或者可调整操作，使得它们在稍微不同的时间发生，或者可将操作分布在允许以与处理相关联的各种间隔发生处理操作的系统中，只要以期望的方式执行叠加操作的处理即可。

虽然为了清楚理解的目的而略微详细地描述了前述公开内容，但是将显而易见，可在所附权利要求的范围内实践某些变化和修改。因此，本实施方案被认为是说明性的而非限制性的，并且本公开不限于本文给出的细节，而是可在所描述的实施方案的范围和等效范围内进行修改。

Claims

1.一种方法，所述方法包括：

记录来自视频游戏的第一会话的游戏玩法数据，所述第一会话针对用户的交互式游戏玩法定义；

使用所述游戏玩法数据来训练机器学习模型，其中所述训练致使所述机器学习模型模仿所述用户的所述交互式游戏玩法；

在所述训练之后，通过将所述机器学习模型暴露于所述视频游戏的一个或多个场景并且评估所述机器学习模型响应于所述一个或多个场景的动作来确定所述机器学习模型的分类；

使用所述机器学习模型的所述分类来将所述用户指派到所述视频游戏的第二会话。

2.如权利要求1所述的方法，其中所述游戏玩法数据包括所述第一会话的视频和在所述交互式游戏玩法期间的用户输入。

3.如权利要求2所述的方法，其中训练所述机器学习模型使用所述视频和所述用户输入以致使所述机器学习模型通过生成与在所述第一会话期间响应于所述视频的给定部分而生成的所述用户输入类似的输入来对所述视频的所述给定部分作出响应。

4.如权利要求3所述的方法，其中所述视频的所述给定部分由所述视频的一个或多个图像帧定义。

5.如权利要求2所述的方法，其中从在所述第一会话期间由所述用户操作的控制器装置定义所述用户输入。

6.如权利要求1所述的方法，其中所述机器学习模型是神经网络。

7.如权利要求1所述的方法，其中所述视频游戏的所述一个或多个场景由所述视频游戏的未从所述第一会话定义的一个或多个图像帧定义。

8.如权利要求1所述的方法，其中所述游戏玩法数据包括来自所述视频游戏的所述第一会话的游戏状态数据。

9.如权利要求1所述的方法，

其中所述分类标识所述用户的技能水平；并且

其中使用所述分类来将所述用户指派到所述第二会话包括识别一个或多个其他用户的技能水平，以及将所述第二会话配置为包括具有与所述用户的所述技能水平类似的技能水平的所述其他用户中的一者或多者。

10.如权利要求1所述的方法，

其中所述分类标识所述用户的技能组；并且

11.如权利要求1所述的方法，其中将所述用户指派到所述视频游戏的所述第二会话包括将AI机器人插入到所述第二会话中，所述AI机器人使用所述经训练的机器学习模型来在所述第二会话中执行游戏玩法。

12.一种方法，所述方法包括：

记录来自视频游戏的用户会话的游戏玩法数据，所述用户会话针对用户对所述视频游戏的交互式游戏玩法定义；

使用所述游戏玩法数据来训练机器学习模型，以模仿所述用户在所述交互式游戏玩法中的倾向；

在训练之后，通过将所述经训练的机器学习模型暴露于所述视频游戏的预定义场景并且分析所述经训练的机器学习模型对所述预定义场景的响应来执行所述经训练的机器学习模型的评估；

使用所述机器学习模型的所述评估来将所述用户指派到所述视频游戏的新会话。

13.如权利要求12所述的方法，其中所述游戏玩法数据包括来自所述视频游戏的所述用户会话的视频和用户输入。

14.如权利要求12所述的方法，其中所述用户在所述交互式游戏玩法中的所述倾向由所述用户在所述交互式游戏玩法中的活动和不活动定义。

15.如权利要求12所述的方法，其中执行所述经训练的机器学习模型的所述评估被配置为确定所述用户的技能水平，并且其中将所述用户指派到所述新会话是基于所述用户的所述确定的技能水平。

16.如权利要求12所述的方法，其中执行所述经训练的机器学习模型的所述评估被配置为确定所述用户的技能组，并且其中将所述用户指派到所述新会话是基于所述用户的所述确定的技能组。

17.如权利要求12所述的方法，其中所述机器学习模型是神经网络。