CN109499068A - 对象的控制方法和装置、存储介质、电子装置 - Google Patents
对象的控制方法和装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN109499068A CN109499068A CN201811354678.4A CN201811354678A CN109499068A CN 109499068 A CN109499068 A CN 109499068A CN 201811354678 A CN201811354678 A CN 201811354678A CN 109499068 A CN109499068 A CN 109499068A
- Authority
- CN
- China
- Prior art keywords
- training
- initial model
- image
- client
- training image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6027—Methods for processing data by generating or executing the game program using adaptive systems learning from user actions, e.g. for skill level adjustment
Abstract
本发明公开了一种对象的控制方法和装置、存储介质、电子装置。其中，该方法包括：获取第一客户端显示的场景图像，场景图像内显示有虚拟场景内的第一对象和第二对象；通过目标模型确定虚拟场景中第二对象的待执行动作，目标模型是使用标识有标识信息的训练图像进行训练得到的，训练图像为在第二客户端上控制虚拟场景中的目标对象时所显示的图像，标识信息用于在训练图像中标识出局部显示视角下目标对象的位置、全局显示视角下目标对象的位置以及目标对象的属性信息；在第一客户端中控制第二对象向第一对象执行待执行动作。本发明解决了相关技术中AI对象作出反馈动作的准确率较低的技术问题。
Description
技术领域
本发明涉及互联网领域，具体而言，涉及一种对象的控制方法和装置、存储介质、电子装置。
背景技术
随着多媒体技术的发展和无线网络的普及，人们的娱乐活动变得越来越丰富，如通过手持式媒体设备联网玩游戏、通过电脑玩单机或者联网游戏，游戏类型多种多样，如弹幕射击游戏、冒险游戏、模拟游戏、角色扮演游戏、休闲棋牌游戏、多人在线战术竞技游戏和其它游戏等。
大部分类型的游戏可以实现联网，多人同时在线玩。例如多人在线战术竞技游戏，为了提高玩家的游戏技能，往往会在游戏中提供与玩家对战的人工智能(ArtificialIntelligence，简称AI)对象，相关技术中的AI对象往往被设定为执行既定的动作程序，不具备对场景中玩家行为、非玩家控制角色变化的识别能力，故不会针对玩家的动作行为、非玩家控制角色变化等作出针对性的反馈。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种对象的控制方法和装置、存储介质、电子装置，以至少解决相关技术中AI对象作出反馈动作的准确率较低的技术问题。
根据本发明实施例的一个方面，提供了一种对象的控制方法，包括：获取第一客户端显示的场景图像，场景图像内显示有虚拟场景内的第一对象和第二对象；通过目标模型确定虚拟场景中第二对象的待执行动作，目标模型是使用标识有标识信息的训练图像进行训练得到的，训练图像为在第二客户端上控制虚拟场景中的目标对象时所显示的图像，标识信息用于在训练图像中标识出第二客户端的局部显示视角下目标对象的位置、第二客户端的全局显示视角下目标对象的位置以及目标对象的属性信息，第二客户端和第一客户端为目标应用的客户端，目标对象包括第二对象；在第一客户端中控制第二对象向第一对象执行待执行动作。
根据本发明实施例的另一方面，还提供了一种对象的控制装置，包括：第一获取单元，用于获取第一客户端显示的场景图像，场景图像内显示有虚拟场景内的第一对象和第二对象；预测单元，用于通过目标模型确定虚拟场景中第二对象的待执行动作，目标模型是使用标识有标识信息的训练图像进行训练得到的，训练图像为在第二客户端上控制虚拟场景中的目标对象时所显示的图像，标识信息用于在训练图像中标识出第二客户端的局部显示视角下目标对象的位置、第二客户端的全局显示视角下目标对象的位置以及目标对象的属性信息，第二客户端和第一客户端为目标应用的客户端，目标对象包括第二对象；控制单元，用于在第一客户端中控制第二对象向第一对象执行待执行动作。
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
在本发明实施例中，目标模型从当前采集到的场景图像中识别出第一对象的状态和第二对象自身的状态，进而采用与第一对象的状态和第二对象自身的状态相适配的待执行动作，由于所采用的动作是与第一对象的状态和第二对象自身的状态相适配的，故可以解决相关技术中AI对象作出反馈动作的准确率较低的技术问题，进而达到提高反馈动作的准确率的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的对象的控制方法的硬件环境的示意图；
图2是根据本发明实施例的一种可选的对象的控制方法的流程图；
图3是根据本发明实施例的一种可选的训练图像的示意图；
图4是根据本发明实施例的一种可选的目标模型的示意图；
图5是根据本发明实施例的一种可选的目标模型的示意图；
图6是根据本发明实施例的一种可选的局部对象特征的示意图；
图7是根据本发明实施例的一种可选的全局对象特征的示意图；
图8是根据本发明实施例的一种可选的目标模型的示意图；
图9是根据本发明实施例的一种可选的对象的控制装置的示意图；
以及
图10是根据本发明实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一方面，提供了一种对象的控制方法的方法实施例。
可选地，在本实施例中，上述对象的控制方法可以应用于如图1所示的由终端101所构成的硬件环境中，由终端来对游戏中的图像进行截图(即场景图像)，进而利用截图预测待执行动作，然后执行预测的待执行动作。可选地，该硬件环境还可包括服务器103。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等)，可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101并不限定于PC、手机、平板电脑等。
本发明实施例的对象的控制方法可以由终端101来执行，终端101执行本发明实施例的对象的控制方法也可以是由安装在其上的客户端来执行。本申请的技术方案所适用的场景包括但不局限于如下场景：
本申请的技术方案可以应用在采用增强现实AR、虚拟现实VR等技术的社交场景中，在采用增强现实AR、虚拟现实VR等的社交应用中，在用户登陆后，若在其社交场景内出现其他对象(如其他好友、非玩家控制对象、宠物等)，可以采用本申请的技术方案来控制这些对象与当前用户进行交互。
本申请的技术方案还可以应用在游戏场景中，如MOBA游戏，当玩家处于游戏的过程中，可能在其游戏场景内突然出现大量其它玩家角色、非玩家控制角色等对象，此时可以采用本申请的技术方案来控制这些对象，以与玩家进行对战、交互或者协同。
图2是根据本发明实施例的一种可选的对象的控制方法的流程图，如图2所示，该方法可以包括以下步骤：
步骤S202，终端获取第一客户端显示的场景图像，场景图像内显示有虚拟场景内的第一对象和第二对象。
上述第一客户端和下述第二客户端为目标应用安装在终端上形成的客户端，第一客户端为当前采用AI技术的AI对象(即第二对象)与玩家进行对战的客户端，第二客户端为之前采集训练图像的客户端，第二客户端可以包括第一客户端。
上述目标应用可为采用增强现实AR、虚拟现实VR等技术的社交应用，还可为游戏应用，例如多人在线战术竞技游戏(Multiplayer Online Battle Arena，简称为MOBA)中，或者射击游戏(Shooter game，简称为STG)，或者角色扮演游戏(Role-playering game，简称为RPG)游戏中等。上述游戏可以但不限于为三维游戏(使用空间立体计算技术实现操作的游戏)或者二维游戏(使用二维交互式动画实现的游戏)。
步骤S204，终端通过目标模型确定虚拟场景中第二对象的待执行动作，目标模型是使用标识有标识信息的训练图像进行训练得到的，训练图像为在第二客户端上控制虚拟场景中的目标对象时所显示的图像。
上述第二对象即虚拟场景中的AI对象，第一对象为该AI对象以外的其他对象，如MOBA中的英雄、野怪、防御塔、水晶、小兵或炮车等游戏元素，STG中的角色或人质或敌人等游戏元素，RPG中的游戏角色、小怪、BOSS或中立势力等游戏元素。
标识信息用于在训练图像中标识出第二客户端的局部显示视角下目标对象的位置、第二客户端的全局显示视角下目标对象的位置以及目标对象的属性信息，第二客户端和第一客户端为目标应用的客户端，其相当于，目标模型能够从训练图像中学习到训练图像中的局部对象特征、全局对象特征以及对象属性特征，局部对象特征用于指示第二客户端的局部显示视角下目标对象在训练图像中的位置，全局对象特征用于指示第二客户端的全局显示视角下目标对象在虚拟场景中的位置，对象属性特征用于指示目标对象的属性信息。
上述的目标对象包括第二对象，还可包括第一对象，也即，通过训练之后，目标模型能够识别出当前环境变化，如玩家对象，场景对象(如野怪、防御塔、水晶、小兵或炮车)等第一对象的情况，还能识别出第二对象自身的情况，进而采用与当前环境变化和自身情况相对应的动作来进行应付。
上述的待执行动作可以分为以下三种类型：为第二对象自身的动作(如躲闪、跳动、跑动)，第二对象使用道具的动作(如砍杀、射击等)，技能动作(如快闪技能、迟缓之箭、燎原箭雨、惩戒射击等)；待执行动作在数量上可以为一个动作，也可为一个动作序列(该动作序列可包括前述同一类型中的多个动作或者多个不同类型的动作)。
步骤S206，终端在第一客户端中控制第二对象向第一对象执行待执行动作。
本发明实施例的对象的控制方法还可以是由服务器103和终端101共同执行，例如服务器执行步骤S202和步骤S204，终端执行步骤S206。
通过上述步骤S202至步骤S206，目标模型从当前采集到的场景图像中识别出第一对象的状态和第二对象自身的状态，进而采用与第一对象的状态和第二对象自身的状态相适配的待执行动作，由于所采用的动作是与第一对象的状态和第二对象自身的状态相适配的，故可以解决相关技术中AI对象作出反馈动作的准确率较低的技术问题，进而达到提高反馈动作的准确率的技术效果。
近年来游戏AI成为了人工智能领域的重要方向，研究人员在这个方向上做了很多尝试，例如，多人在线战术竞技游戏MOBA游戏，如今拥有最多玩家的游戏种类，但在MOBA游戏中的AI技术还处于相对初级的阶段，因此MOBA游戏中的AI不但具有极高的技术价值，同时由于MOBA游戏玩家众多，MOBA游戏中的AI也具有巨大的商业价值。
若在MOBA类游戏的AI训练中，使用单一帧的游戏数据(如游戏图像)来训练神经网络模型，那么神经网络模型显然不可能学习到游戏数据的图像之间的时序管理，然而MOBA游戏的操作是一系列连招(combo)，玩家通过各种combo在游戏中打出高伤害，从而击杀对手并赢下最终比赛。在整个游戏的进程中，各个单位(英雄、防御塔、小兵、野怪等)的属性，位置信息会频繁发生变化，时序信息对MOBA游戏非常重要，因而引入时序特征并运用时序模型设计MOBA类游戏AI是十分必要的。下面结合图2所示的步骤进一步详述本申请的技术方案：
在步骤S202提供的技术方案中，第一对象和作为AI的第二对象参与游戏的过程中，第二对象为了更为智能地应对环境变化，终端可获取第一客户端显示的场景图像，场景图像内显示有虚拟场景内的第一对象和第二对象。
例如，在MOBA游戏中，第二对象可以为游戏中的“英雄”角色，第一对象可以为玩家角色或者游戏中的非玩家控制角色(如防御塔、小兵、野怪等)，第二对象可以通过自身的AI能力来提高玩家角色的游戏能力；再如，第二对象可以为游戏中的非玩家控制角色，如归属于当前玩家角色的宠物、兵勇等，第一对象可以为其他玩家角色或者游戏中的非玩家控制角色，第二对象的AI等级可以伴随着当前玩家角色能力的提升而提升，在游戏过程中，可以为当前玩家提供更为智能的援助。
在步骤S204提供的技术方案中，终端通过目标模型确定虚拟场景中第二对象的待执行动作，目标模型是使用标识有标识信息的训练图像进行训练得到的，训练图像为在第二客户端上控制虚拟场景中的目标对象时所显示的图像。
可选地，在通过目标模型确定虚拟场景中第二对象的待执行动作之前，可以按照下述步骤1-步骤2完成对目标模型的训练：
步骤1，获取标识有标识信息的多组训练图像，每组训练图像用于描述目标对象所执行的动作序列。
可选地，可以按照如下模式(步骤11-步骤12)预先获取多组训练图像：
步骤11，在玩家控制第二对象与其他角色进行游戏的过程中，采集第二对象进行游戏的游戏画面，将其中表示连续的动作序列(相当于一个combo)和该动作序列之前的至少一张图像作为一组训练图像。
步骤12，在这一组训练图像中的每张训练图像中进行标识，例如，对于MOBA游戏的游戏图像，可以将每张训练图像划分为两个部分，如图3所示的全局地图301(即全局画面)和局部地图303(即局部画面)，可在全局地图301中标识出各个目标对象(包括第二对象303-1、第一对象303-2等)，在局部地图303中标识出各个目标对象，并在局部地图303中标识出各个目标对象的属性信息，如对象的攻击值、防御值、血量等各项技能属性的状态，与此同时，在训练图像中存在动作序列中的动作的情况下，标识出所表示的动作(该动作可以是使用武器等道具的动作、也可是使用某项技能的动作)。
步骤2，以组为单位使用多组训练图像对初始模型中的参数进行训练，将参数训练完成后的初始模型作为目标模型。
可选地，以组为单位使用多组训练图像对初始模型中的参数进行训练，将参数训练完成后的初始模型作为目标模型可以通过下述步骤21-步骤22实现：
步骤21，每次训练时，通过将一组训练图像作为初始模型的输入、并将该组训练图像的标识信息所描述的动作序列作为预计输出，来对初始模型中的参数进行训练。
在步骤S21的实施例中，每组训练图像包括一个动作序列的训练图像和该动作序列之前的训练图像，通过将一组训练图像作为初始模型的输入、并将该组训练图像的标识信息所描述的动作序列作为预计输出，来对初始模型中的参数进行训练时，可以按照如下方式实现：
步骤211，将一组训练图像中的训练图像逐帧输入初始模型的特征抽取模块，通过特征抽取模块抽取出训练图像中的局部对象特征、全局对象特征以及对象属性特征，局部对象特征用于指示第二客户端的局部显示视角下目标对象在训练图像中的位置，全局对象特征用于指示第二客户端的全局显示视角下目标对象在虚拟场景中的位置，对象属性特征用于指示目标对象的属性信息。
训练图像包括用于表示第二客户端对虚拟场景的局部显示视角的局部画面和用于表示第二客户端的全局显示视角的虚拟场景的全局画面，其中，通过特征抽取模块抽取出训练图像中的局部对象特征、全局对象特征以及对象属性特征包括：
1)在局部画面中提取出目标对象在局部画面中的位置的局部对象特征，遍历局部画面中各个目标对象，获取目标对象所属的对象类型及对象标识；如在局部画面中定位出当前对象的位置特征、对象类型等特征(即局部对象特征)；
2)在全局画面中提取出目标对象在全局地图中的位置的全局对象特征，遍历全局画面中的各个目标对象，获取目标对象所属的对象类型及对象标识；如在全局画面中定位出当前对象的位置特征、对象类型等特征(即全局对象特征)；
3)根据训练图像中目标对象的当前属性状态提取出目标对象的对象属性特征，如目标对象属于的阵营、当前血量、攻击值、防御值、技能状态等。
步骤212，利用特征抽取模块输出的局部对象特征、全局对象特征以及对象属性特征对初始模型内卷积神经网络中的参数、深度神经网络中的参数以及时序模型中的参数进行训练，其中，卷积神经网络和深度神经网络用于从局部对象特征、全局对象特征以及对象属性特征中学习到每组训练图像所描述的动作序列和该动作序列的触发条件的图像特征，时序模型用于学习到该动作序列的触发条件与该动作序列之间的时序关系，该动作序列内部每个动作之间的时序关系。
例如，对于MOBA游戏中的英雄“后裔”(即第二对象)，通过上述学习，可以使得模型学习到使用技能“眩晕”和“射击”，触发条件为第一对象出现在其“射击范围”内，其相当于可以利用一组训练图像中使用技能“眩晕”和“射击”之前的图像学习到“射击范围”这一技能“眩晕”和“射击”的触发条件，通过一组训练图像中用于表示“眩晕”和“射击”的图像学习到技能“眩晕”和“射击”，且二者的顺序为先“眩晕”，后“射击”。
步骤22，由于模型存在过拟合或者欠拟合的状态，因此可以根据经验或者根据需要预估出一个训练此处的阈值(即训练阈值)，在对初始模型的训练次数达到训练阈值的情况下，对初始模型中的参数进行测试，在通过测试的情况下，将训练后的初始模型作为目标模型；在未通过测试的情况下，继续对初始模型进行训练，直至训练后的初始模型通过测试。
可选地，上述对初始模型中的参数进行测试的技术方案可以通过下述步骤221-步骤223实现：
步骤221，将测试图像作为初始模型的输入，并获取初始模型输出的动作序列，即模型预估的动作序列，而对于测试图像，实际标识有正确输出时的实际动作序列。
步骤222，在初始模型输出的动作序列与测试图像对应的实际动作序列相匹配的情况下，确定初始模型通过测试，并将训练后的初始模型作为目标模型。
上述的匹配可以是指一次测试中，初始模型输出的动作序列与测试图像对应的实际动作序列相同，也可以是指多次测试中，测试准确率达到某个阈值(如98％)，例如100次测试中，至少有98次初始模型输出的动作序列与测试图像对应的实际动作序列相同，那么可以认为测试通过。
步骤223，在初始模型输出的动作序列与测试图像对应的实际动作序列不匹配的情况下，确定初始模型未通过测试，继续对初始模型进行训练，直至训练后的初始模型通过测试。
与步骤222类似，此处的不匹配可以是指一次测试中，初始模型输出的动作序列与测试图像对应的实际动作序列不相同，也可以是指多次测试中，测试准确率未达到某个阈值(如98％)，例如100次测试中，至少有3次初始模型输出的动作序列与测试图像对应的实际动作序列不相同，那么可以认为测试未通过。
在初始模型完成训练后，目标模型即可利用当前时刻的场景图像预测虚拟场景中第二对象的待执行动作，该待执行动作可为一个动作序列。
采用本申请的上述技术方案，在多模态特征的基础上引入时序信息，从训练图像中学习到动作的触发条件，动作的先后关系和动作间组合(动作序列)，在游戏中增加了AI的预判能力，进而增加AI在游戏中的技能命中率和走位能力，从而达到提升AI整体能力的目的。
在步骤S206提供的技术方案中，终端在第一客户端中控制第二对象向第一对象执行待执行动作。
可选地，待执行动作可包括一个目标动作序列，在第一客户端控制第二对象向第一对象执行待执行动作包括：向第一客户端上目标应用的游戏引擎发送用于指示执行目标动作序列的控制指令。
需要说明的是，在目标动作序列中，包括多个顺序执行的动作，该控制指令用于指示游戏引擎按照该顺序触发对目标动作序列中动作的执行。
在本申请的技术方案中，提供了一种多模态时序模型(即目标模型中用于学习时序特征的模块)，作为提升游戏AI中预判能力的一项重要的手段，能有效提升AI释放技能的技能命中率和走位的合理性，增加AI对敌方英雄的输出，并提升AI的生存能力。
作为一种可选的实施例，下面以将本申请的技术方案应用于多人在线战术竞技游戏MOBA为例进一步详述本申请的技术方案。
在一种可选的实施方式是，可提供对一段时间的游戏数据使用的时序模型，例如，以单一帧游戏数据设计的游戏AI，用过去一段时间的图像作为特征，并用时序模型制作游戏的AI对象(即第二对象)，参见图4，在游戏中生成了以时序图像信息为特征的AI模型，将过去一段时间的游戏画面作为了时序特征，然后训练了时序模型，其网络结构如图4所示，该技术方案中，训练模型时使用的特征是游戏中的每一帧画面信息，将图像数据，如(128,128,3)表示的3通道的大小为128像素*128像素的图像，作为对应神经网络CNN层的输入，通过使用过去n帧的画面信息，来达到引入时序信息的目的，然后对每一个图像矩阵单独进行卷积编码，最后通过池化层对卷积编码特征进行降维池化concat在一起进行训练。
在又一个可选的技术方案中，针对MOBA等类型的游戏，提供了基于多模态时序特征的微操建模方法，通过引入历史的位置、血量、操作等时序特征，引入了更多属性信息，从信息表达的角度上看，信息表达更全面，避免仅使用图像类特征作为输入时的信息局限和信息缺失；另外，采用时序神经网络模型，避免仅使用卷积神经网络模型时对时序特征的学习能力较弱的问题，使用过去一段时间的label作为特征，使得模型能够认知到对于自己之前做出的行为，使得AI学到了预判能力、连招等高级操作，并可以提高技能的命中率，从而提高了AI能力的上限。
上述的多模态时序模型系统结构(即目标模型)的如图5所示，多模态时序模型主要由离线训练和在线预测两部分组成，各模块功能如下：
特征抽取模块：用于多模态时序模型的特征输入，将积累的一帧一帧的玩家游戏数据(即训练图像)作为输入，通过将局部视野和全局视野划分成若干格子组成的矩阵并向格子赋值的方式构建图像特征，向量特征则通过对游戏属性信息进行一定的抽象和归类来进行构建。
如图6所示，图6为局部视角得到的局部图像的局部对象特征，将局部视角所得到的画面进行分割，分割成多个小正方形。对敌方英雄、小兵塔怪野怪(即兵塔野)、我方英雄与技能设置不同的标识，在局部帧画面上进行标注。在标注后，则获取到当前视角下的对象的当前位置。将当前视角下的对象的当前位置作为局部对象特征。
再如，如图7所示，图7为根据全局视角得到的全局地图(即全局图像或全局画面)的全局对象特征，将全局视角所得到的全局地图进行分割，分割成多个小正方形，对敌方英雄、小兵塔怪野怪、我方英雄设置不同的标识，在画面上进行标注。在标注后，则获取到全局视角下的所有对象的当前位置。将全局视角下的对象的当前位置作为全局对象特征。
模型训练模块(或称多模态时序模型的训练模块)：该模块使用特征抽取模块抽取到的多模态时序特征作为输入(包括上述的全局对象特征、局部对象特征、对象属性特征等)，对由卷积网络、深度神经网络和时序模型进行组合并形成的复杂网络进行训练，并输出最终训练好的模型。
模型预测模块：该模块是AI对象在线与人类玩家对战时使用的模块，该模块使用实时的游戏数据(即AI在线执行的游戏数据)抽象成的特征和离线训练好的模型进行预测，最终发送出合理的指令。
该模块的功能是学习一个将多模态时序特征映射到最终输出的深度神经网络模型，首先将位置信息(包括局部对象信息和全局对象信息中的位置信息)和对象属性信息分别进行抽象并构造出多模态时序特征，然后以此作为输入输送给模型，为了让模型能更好地学到多模态时序特征中的信息，采用了将不同类型特征分别进行编码和训练的方法，参见图6和图7，而不是仅仅使用了图像特征或向量特征，然后通过对其进行编码，最后对其进行学习，训练的模型则同时使用了这两种类型的特征，并分别对其进行编码然后统一建模，这样做的好处是：
通过对图像特征和向量特征分别进行编码，可以从基础特征中抽象出更加高级的关联信息，例如相互关联的位置关系和相互关联的属性关系，以及位置和属性之间的关联信息；在特征编码中，图像类特征使用卷积神经网络进行编码效果最好，而向量特征则通常使用深度神经网络进行编码，同时使用了两种神经网络模型进行编码，以最好地效果抽象出两类特征隐含的高级信息。
在编码层后使用了时序模型，或称长短期记忆网络(Long Short-Term Memory,LSTM)，对编码结果再一次编码，由于使用了过去一段时间的label作为特征，这样做可以进一步学习到原始输入特征中的时序信息，让模型不但了解过去一段时间周围环境的变化，同时还了解过去一段时间自己的决策，从而提升模型对过去一段时间环境的感知能力。同样可以使用类似LSTM其他时序模型进行第二次编码，例如时延网络等，从而提升模型的预测能力。
将上面各个维度编码好的特征拼接在一起，然后再映射给输出层，这样做的好处是可以最大限度地保留特征中的时序信息。
上述使用了卷积神经网络和深度神经网络对特征进行了编码，然后使用了LSTM对其进行编码和预测。本申请不具体限定时序神经网络的模型类型和拓扑结构，可以替换为各种其它有效新型的模型结构，例如本发明中使用到的LSTM模型可以替换为递归神经网络(Recurrent Neural Network,RNN)或者门控循环单元神经网络(Gated Recurrent Unit,GRU)模型等。
在本申请的技术方案中，同时使用了卷积神经网络、深度神经网络和时序模型三类模型，其中卷积神经网络用以学习图像类特征，深度神经网络用以学习向量特征，时序模型用以学习时序特征，通过多种模型的融合，让一个模型能够同时学到更多信息，增加模型复杂度的同时，提升了模型能力的上限，从而让模型可以适用更加复杂的问题，提升了模型的泛化能力。
在线执行模块：该模块首先获取由模型预测出的参数结果，然后将其转化成游戏中的真实指令并发送给游戏内核(或称游戏引擎)，最终实现AI和人类玩家的对战。
根据上述方法，本申请采用了以多模态时序特征为输入，卷积网络CNN(处理时序局部对象特征和时序全局对象特征)、深度神经网络DNN(处理时序向量特征)和时序模型LSTM构成的编码层，最终通过池化层拼接(可通过concat函数实现)起各个编码结果的公共层映射给输出，结果如图8所示。
采用本申请的技术方案，在提出的多模态时序模型中，不仅使用了表达位置信息的图像特征，同时还使用了表达属性信息的向量特征，模型所能获取到的信息更加丰富，有利于模型能力的提升，提升了模型的预测能力。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种用于实施上述对象的控制方法的对象的控制装置。图9是根据本发明实施例的一种可选的对象的控制装置的示意图，如图9所示，该装置可以包括：第一获取单元901、预测单元903以及控制单元905。
第一获取单元901，用于获取第一客户端显示的场景图像，其中，场景图像内显示有虚拟场景内的第一对象和第二对象；
预测单元903，用于通过目标模型确定虚拟场景中第二对象的待执行动作，其中，目标模型是使用标识有标识信息的训练图像进行训练得到的，训练图像为在第二客户端上控制虚拟场景中的目标对象时所显示的图像，标识信息用于在训练图像中标识出第二客户端的局部显示视角下目标对象的位置、第二客户端的全局显示视角下目标对象的位置以及目标对象的属性信息，第二客户端和第一客户端为目标应用的客户端，目标对象包括第二对象；
控制单元905，用于在第一客户端中控制第二对象向第一对象执行待执行动作。
需要说明的是，该实施例中的第一获取单元901可以用于执行本申请实施例中的步骤S202，该实施例中的预测单元903可以用于执行本申请实施例中的步骤S204，该实施例中的控制单元905可以用于执行本申请实施例中的步骤S206。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
通过上述模块，目标模型从当前采集到的场景图像中识别出第一对象的状态和第二对象自身的状态，进而采用与第一对象的状态和第二对象自身的状态相适配的待执行动作，由于所采用的动作是与第一对象的状态和第二对象自身的状态相适配的，故可以解决相关技术中AI对象作出反馈动作的准确率较低的技术问题，进而达到提高反馈动作的准确率的技术效果。
可选地，本申请的装置还可包括：第二获取单元，用于在通过目标模型确定虚拟场景中第二对象的待执行动作之前，获取标识有标识信息的多组训练图像，其中，每组训练图像用于描述目标对象所执行的动作序列；训练单元，用于以组为单位使用多组训练图像对初始模型中的参数进行训练，将参数训练完成后的初始模型作为目标模型。
上述的标识信息还可用于标识每组训练图像所描述的动作序列，其中，训练单元包括：训练模块，用于每次训练时，通过将一组训练图像作为初始模型的输入、并将该组训练图像的标识信息所描述的动作序列作为预计输出，来对初始模型中的参数进行训练；测试模块，用于在对初始模型的训练次数达到训练阈值的情况下，对初始模型中的参数进行测试，在通过测试的情况下，将训练后的初始模型作为目标模型；在未通过测试的情况下，继续对初始模型进行训练，直至训练后的初始模型通过测试。
可选地，上述每组训练图像可包括一个动作序列的训练图像和该动作序列之前的训练图像，其中，训练模块包括：特征抽取子模块，用于将一组训练图像中的训练图像逐帧输入初始模型的特征抽取模块，通过特征抽取模块抽取出训练图像中的局部对象特征、全局对象特征以及对象属性特征，其中，局部对象特征用于指示第二客户端的局部显示视角下目标对象在训练图像中的位置，全局对象特征用于指示第二客户端的全局显示视角下目标对象在虚拟场景中的位置，对象属性特征用于指示目标对象的属性信息；训练子模块，用于利用特征抽取模块输出的局部对象特征、全局对象特征以及对象属性特征对初始模型内卷积神经网络中的参数、深度神经网络中的参数以及时序模型中的参数进行训练，其中，卷积神经网络和深度神经网络用于从局部对象特征、全局对象特征以及对象属性特征中学习到每组训练图像所描述的动作序列和该动作序列的触发条件的图像特征，时序模型用于学习到该动作序列的触发条件与该动作序列之间的时序关系，该动作序列内部每个动作之间的时序关系。
可选地，训练图像还可包括用于表示第二客户端对虚拟场景的局部显示视角的局部画面和用于表示第二客户端的全局显示视角的虚拟场景的全局画面，其中，特征抽取子模块还用于：在局部画面中提取出目标对象在局部画面中的位置的局部对象特征；在全局画面中提取出目标对象在全局地图中的位置的全局对象特征；根据训练图像中目标对象的当前属性状态提取出目标对象的对象属性特征。
可选地，测试模块在对初始模型中的参数进行测试，在通过测试的情况下，将训练后的初始模型作为目标模型时，还可用于：将测试图像作为初始模型的输入，并获取初始模型输出的动作序列；在初始模型输出的动作序列与测试图像对应的实际动作序列相匹配的情况下，确定初始模型通过测试，并将训练后的初始模型作为目标模型。
可选地，测试模块在未通过测试的情况下，继续对初始模型进行训练，直至训练后的初始模型通过测试时，还可用于：在将测试图像作为初始模型的输入，并获取初始模型输出的动作序列之后，在初始模型输出的动作序列与测试图像对应的实际动作序列不匹配的情况下，确定初始模型未通过测试，继续对初始模型进行训练，直至训练后的初始模型通过测试。
可选地，待执行动作包括目标动作序列，控制单元还可用于向第一客户端上目标应用的游戏引擎发送用于指示执行目标动作序列的控制指令。
在本申请的技术方案中，针对MOBA等类型的游戏，提供了基于多模态时序特征的微操建模方法，通过引入历史的位置、血量、操作等时序特征，引入了更多属性信息，从信息表达的角度上看，信息表达更全面，避免仅使用图像类特征作为输入时的信息局限和信息缺失；另外，采用时序神经网络模型，避免仅使用卷积神经网络模型时对时序特征的学习能力较弱的问题，使用过去一段时间的label作为特征，使得模型能够认知到对于自己之前做出的行为，使得AI学到了预判能力、连招等高级操作，并可以提高技能的命中率，从而提高了AI能力的上限。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本发明实施例的另一个方面，还提供了一种用于实施上述对象的控制方法的服务器或终端。
图10是根据本发明实施例的一种终端的结构框图，如图10所示，该终端可以包括：一个或多个(图10中仅示出一个)处理器1001、存储器1003(如存储图9中的软件模块)、以及传输装置1005，如图10所示，该终端还可以包括输入输出设备1007和显示器1009。
其中，存储器1003可用于存储软件程序以及模块，如本发明实施例中的对象的控制方法和装置对应的程序指令/模块，处理器1001通过运行存储在存储器1003内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的对象的控制方法。存储器1003可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1003可进一步包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1005用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1005包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1005为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器1003用于存储应用程序。
处理器1001可以通过传输装置1005调用存储器1003存储的应用程序，以执行下述步骤：
获取第一客户端显示的场景图像，其中，场景图像内显示有虚拟场景内的第一对象和第二对象；
通过目标模型确定虚拟场景中第二对象的待执行动作，其中，目标模型是使用标识有标识信息的训练图像进行训练得到的，训练图像为在第二客户端上控制虚拟场景中的目标对象时所显示的图像，标识信息用于在训练图像中标识出第二客户端的局部显示视角下目标对象的位置、第二客户端的全局显示视角下目标对象的位置以及目标对象的属性信息，第二客户端和第一客户端为目标应用的客户端，目标对象包括第二对象；
在第一客户端中控制第二对象向第一对象执行待执行动作。
处理器1001还用于执行下述步骤：
将一组训练图像中的训练图像逐帧输入初始模型的特征抽取模块，通过特征抽取模块抽取出训练图像中的局部对象特征、全局对象特征以及对象属性特征，其中，局部对象特征用于指示第二客户端的局部显示视角下目标对象在训练图像中的位置，全局对象特征用于指示第二客户端的全局显示视角下目标对象在虚拟场景中的位置，对象属性特征用于指示目标对象的属性信息；
利用特征抽取模块输出的局部对象特征、全局对象特征以及对象属性特征对初始模型内卷积神经网络中的参数、深度神经网络中的参数以及时序模型中的参数进行训练，其中，卷积神经网络和深度神经网络用于从局部对象特征、全局对象特征以及对象属性特征中学习到每组训练图像所描述的动作序列和该动作序列的触发条件的图像特征，时序模型用于学习到该动作序列的触发条件与该动作序列之间的时序关系，该动作序列内部每个动作之间的时序关系。
采用本发明实施例，目标模型从当前采集到的场景图像中识别出第一对象的状态和第二对象自身的状态，进而采用与第一对象的状态和第二对象自身的状态相适配的待执行动作，由于所采用的动作是与第一对象的状态和第二对象自身的状态相适配的，故可以解决相关技术中AI对象作出反馈动作的准确率较低的技术问题，进而达到提高反馈动作的准确率的技术效果。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图10所示的结构仅为示意，终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices，MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如，终端还可包括比图10中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图10所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行对象的控制方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
获取第一客户端显示的场景图像，其中，场景图像内显示有虚拟场景内的第一对象和第二对象；
通过目标模型确定虚拟场景中第二对象的待执行动作，其中，目标模型是使用标识有标识信息的训练图像进行训练得到的，训练图像为在第二客户端上控制虚拟场景中的目标对象时所显示的图像，标识信息用于在训练图像中标识出第二客户端的局部显示视角下目标对象的位置、第二客户端的全局显示视角下目标对象的位置以及目标对象的属性信息，第二客户端和第一客户端为目标应用的客户端，目标对象包括第二对象；
在第一客户端中控制第二对象向第一对象执行待执行动作。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
将一组训练图像中的训练图像逐帧输入初始模型的特征抽取模块，通过特征抽取模块抽取出训练图像中的局部对象特征、全局对象特征以及对象属性特征，其中，局部对象特征用于指示第二客户端的局部显示视角下目标对象在训练图像中的位置，全局对象特征用于指示第二客户端的全局显示视角下目标对象在虚拟场景中的位置，对象属性特征用于指示目标对象的属性信息；
利用特征抽取模块输出的局部对象特征、全局对象特征以及对象属性特征对初始模型内卷积神经网络中的参数、深度神经网络中的参数以及时序模型中的参数进行训练，其中，卷积神经网络和深度神经网络用于从局部对象特征、全局对象特征以及对象属性特征中学习到每组训练图像所描述的动作序列和该动作序列的触发条件的图像特征，时序模型用于学习到该动作序列的触发条件与该动作序列之间的时序关系，该动作序列内部每个动作之间的时序关系。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (15)
1.一种对象的控制方法，其特征在于，包括：
获取第一客户端显示的场景图像，其中，所述场景图像内显示有虚拟场景内的第一对象和第二对象；
通过目标模型确定所述虚拟场景中第二对象的待执行动作，其中，所述目标模型是使用标识有标识信息的训练图像进行训练得到的，所述训练图像为在第二客户端上控制所述虚拟场景中的目标对象时所显示的图像，所述标识信息用于在所述训练图像中标识出所述第二客户端的局部显示视角下所述目标对象的位置、所述第二客户端的全局显示视角下所述目标对象的位置以及所述目标对象的属性信息，所述第二客户端和所述第一客户端为目标应用的客户端，所述目标对象包括所述第二对象；
在所述第一客户端中控制所述第二对象向所述第一对象执行所述待执行动作。
2.根据权利要求1所述的方法，其特征在于，在通过目标模型确定所述虚拟场景中第二对象的待执行动作之前，所述方法还包括：
获取标识有所述标识信息的多组所述训练图像，其中，每组所述训练图像用于描述所述目标对象所执行的动作序列；
以组为单位使用多组所述训练图像对初始模型中的参数进行训练，将参数训练完成后的所述初始模型作为所述目标模型。
3.根据权利要求2所述的方法，其特征在于，所述标识信息还用于标识每组所述训练图像所描述的动作序列，其中，以组为单位使用多组所述训练图像对初始模型中的参数进行训练，将参数训练完成后的所述初始模型作为所述目标模型包括：
每次训练时，通过将一组所述训练图像作为所述初始模型的输入、并将该组所述训练图像的所述标识信息所描述的动作序列作为预计输出，来对所述初始模型中的参数进行训练；
在对所述初始模型的训练次数达到训练阈值的情况下，对所述初始模型中的参数进行测试，在通过测试的情况下，将训练后的所述初始模型作为所述目标模型；在未通过测试的情况下，继续对所述初始模型进行训练，直至训练后的所述初始模型通过测试。
4.根据权利要求3所述的方法，其特征在于，每组所述训练图像包括一个动作序列的训练图像和该动作序列之前的训练图像，其中，通过将一组所述训练图像作为所述初始模型的输入、并将该组所述训练图像的所述标识信息所描述的动作序列作为预计输出，来对所述初始模型中的参数进行训练包括：
将一组所述训练图像中的训练图像逐帧输入所述初始模型的特征抽取模块，通过所述特征抽取模块抽取出所述训练图像中的局部对象特征、全局对象特征以及对象属性特征，其中，所述局部对象特征用于指示所述第二客户端的局部显示视角下所述目标对象在所述训练图像中的位置，所述全局对象特征用于指示所述第二客户端的全局显示视角下所述目标对象在所述虚拟场景中的位置，所述对象属性特征用于指示所述目标对象的属性信息；
利用所述特征抽取模块输出的所述局部对象特征、所述全局对象特征以及所述对象属性特征对所述初始模型内卷积神经网络中的参数、深度神经网络中的参数以及时序模型中的参数进行训练，其中，所述卷积神经网络和所述深度神经网络用于从所述局部对象特征、所述全局对象特征以及所述对象属性特征中学习到每组所述训练图像所描述的动作序列和该动作序列的触发条件的图像特征，所述时序模型用于学习到该动作序列的触发条件与该动作序列之间的时序关系，该动作序列内部动作之间的时序关系。
5.根据权利要求4所述的方法，其特征在于，所述训练图像包括用于表示所述第二客户端对所述虚拟场景的局部显示视角的局部画面和用于表示所述第二客户端的全局显示视角的所述虚拟场景的全局画面，其中，通过所述特征抽取模块抽取出所述训练图像中的局部对象特征、全局对象特征以及对象属性特征包括：
在所述局部画面中提取出用于表示所述目标对象在所述局部画面中的位置的所述局部对象特征；
在所述全局画面中提取出用于表示所述目标对象在所述全局画面中的位置的所述全局对象特征；
根据所述训练图像中所述目标对象的当前属性状态提取出所述目标对象的所述对象属性特征。
6.根据权利要求3所述的方法，其特征在于，对所述初始模型中的参数进行测试，在通过测试的情况下，将训练后的所述初始模型作为所述目标模型包括：
将测试图像作为所述初始模型的输入，并获取所述初始模型输出的动作序列；
在所述初始模型输出的动作序列与所述测试图像对应的实际动作序列相匹配的情况下，确定所述初始模型通过测试，并将训练后的所述初始模型作为所述目标模型。
7.根据权利要求3所述的方法，其特征在于，在未通过测试的情况下，继续对所述初始模型进行训练，直至训练后的所述初始模型通过测试包括：
在将测试图像作为所述初始模型的输入，并获取所述初始模型输出的动作序列之后，在所述初始模型输出的动作序列与所述测试图像对应的实际动作序列不匹配的情况下，确定所述初始模型未通过测试，继续对所述初始模型进行训练，直至训练后的所述初始模型通过测试。
8.根据权利要求1至7中任意一项所述的方法，其特征在于，所述待执行动作包括目标动作序列，其中，在所述第一客户端控制所述第二对象向所述第一对象执行所述待执行动作包括：
向所述第一客户端上所述目标应用的游戏引擎发送用于指示执行所述目标动作序列的控制指令。
9.一种对象的控制装置，其特征在于，包括：
第一获取单元，用于获取第一客户端显示的场景图像，其中，所述场景图像内显示有虚拟场景内的第一对象和第二对象；
预测单元，用于通过目标模型确定所述虚拟场景中第二对象的待执行动作，其中，所述目标模型是使用标识有标识信息的训练图像进行训练得到的，所述训练图像为在第二客户端上控制所述虚拟场景中的目标对象时所显示的图像，所述标识信息用于在所述训练图像中标识出所述第二客户端的局部显示视角下所述目标对象的位置、所述第二客户端的全局显示视角下所述目标对象的位置以及所述目标对象的属性信息，所述第二客户端和所述第一客户端为目标应用的客户端，所述目标对象包括所述第二对象；
控制单元，用于在所述第一客户端中控制所述第二对象向所述第一对象执行所述待执行动作。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于在通过目标模型确定所述虚拟场景中第二对象的待执行动作之前，获取标识有所述标识信息的多组所述训练图像，其中，每组所述训练图像用于描述所述目标对象所执行的动作序列；
训练单元，用于以组为单位使用多组所述训练图像对初始模型中的参数进行训练，将参数训练完成后的所述初始模型作为所述目标模型。
11.根据权利要求10所述的装置，其特征在于，所述标识信息还用于标识每组所述训练图像所描述的动作序列，其中，所述训练单元包括：
训练模块，用于每次训练时，通过将一组所述训练图像作为所述初始模型的输入、并将该组所述训练图像的所述标识信息所描述的动作序列作为预计输出，来对所述初始模型中的参数进行训练；
测试模块，用于在对所述初始模型的训练次数达到训练阈值的情况下，对所述初始模型中的参数进行测试，在通过测试的情况下，将训练后的所述初始模型作为所述目标模型；在未通过测试的情况下，继续对所述初始模型进行训练，直至训练后的所述初始模型通过测试。
12.根据权利要求11所述的装置，其特征在于，每组所述训练图像包括一个动作序列的训练图像和该动作序列之前的训练图像，其中，所述训练模块包括：
特征抽取子模块，用于将一组所述训练图像中的训练图像逐帧输入所述初始模型的特征抽取模块，通过所述特征抽取模块抽取出所述训练图像中的局部对象特征、全局对象特征以及对象属性特征，其中，所述局部对象特征用于指示所述第二客户端的局部显示视角下所述目标对象在所述训练图像中的位置，所述全局对象特征用于指示所述第二客户端的全局显示视角下所述目标对象在所述虚拟场景中的位置，所述对象属性特征用于指示所述目标对象的属性信息；
训练子模块，用于利用所述特征抽取模块输出的所述局部对象特征、所述全局对象特征以及所述对象属性特征对所述初始模型内卷积神经网络中的参数、深度神经网络中的参数以及时序模型中的参数进行训练，其中，所述卷积神经网络和所述深度神经网络用于从所述局部对象特征、所述全局对象特征以及所述对象属性特征中学习到每组所述训练图像所描述的动作序列和该动作序列的触发条件的图像特征，所述时序模型用于学习到该动作序列的触发条件与该动作序列之间的时序关系，该动作序列内部每个动作之间的时序关系。
13.根据权利要求12所述的装置，其特征在于，所述训练图像包括用于表示所述第二客户端对所述虚拟场景的局部显示视角的局部画面和用于表示所述第二客户端的全局显示视角的所述虚拟场景的全局画面，其中，所述特征抽取子模块还用于：
在所述局部画面中提取出所述目标对象在所述局部画面中的位置的所述局部对象特征；
在所述全局画面中提取出所述目标对象在所述全局画面中的位置的所述全局对象特征；
根据所述训练图像中所述目标对象的当前属性状态提取出所述目标对象的所述对象属性特征。
14.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至8任一项中所述的方法。
15.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行上述权利要求1至8任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811354678.4A CN109499068B (zh) | 2018-11-14 | 2018-11-14 | 对象的控制方法和装置、存储介质、电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811354678.4A CN109499068B (zh) | 2018-11-14 | 2018-11-14 | 对象的控制方法和装置、存储介质、电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109499068A true CN109499068A (zh) | 2019-03-22 |
| CN109499068B CN109499068B (zh) | 2022-06-03 |
Family
ID=65748519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811354678.4A Active CN109499068B (zh) | 2018-11-14 | 2018-11-14 | 对象的控制方法和装置、存储介质、电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109499068B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110064205A (zh) * | 2019-04-24 | 2019-07-30 | 腾讯科技（深圳）有限公司 | 用于游戏的数据处理方法、设备和介质 |
| CN110170171A (zh) * | 2019-06-03 | 2019-08-27 | 深圳市腾讯网域计算机网络有限公司 | 一种目标对象的控制方法及装置 |
| CN110193192A (zh) * | 2019-06-03 | 2019-09-03 | 深圳市腾讯网域计算机网络有限公司 | 一种自动化游戏方法和装置 |
| CN110503609A (zh) * | 2019-07-15 | 2019-11-26 | 电子科技大学 | 一种基于混合感知模型的图像去雨方法 |
| CN111265871A (zh) * | 2020-01-22 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 虚拟对象的控制方法及装置、设备、存储介质 |
| CN111282281A (zh) * | 2020-01-22 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN111450534A (zh) * | 2020-03-31 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 一种标签预测模型的训练方法、标签预测的方法及装置 |
| CN111507268A (zh) * | 2020-04-17 | 2020-08-07 | 浙江大华技术股份有限公司 | 报警方法及装置、存储介质和电子装置 |
| CN111640183A (zh) * | 2020-06-04 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种ar数据展示控制方法及装置 |
| CN111914672A (zh) * | 2020-07-08 | 2020-11-10 | 浙江大华技术股份有限公司 | 图像标注方法和装置及存储介质 |
| WO2020233464A1 (zh) * | 2019-05-21 | 2020-11-26 | 腾讯科技（深圳）有限公司 | 模型训练方法、装置、存储介质及设备 |
| CN112560622A (zh) * | 2020-12-08 | 2021-03-26 | 中国联合网络通信集团有限公司 | 虚拟对象动作控制方法、装置及电子设备 |
| CN112738537A (zh) * | 2020-12-24 | 2021-04-30 | 珠海格力电器股份有限公司 | 一种虚拟宠物交互方法、装置、电子设备及存储介质 |
| CN113209622A (zh) * | 2021-05-28 | 2021-08-06 | 北京字节跳动网络技术有限公司 | 动作的确定方法、装置、可读介质和电子设备 |
| CN113379503A (zh) * | 2021-06-24 | 2021-09-10 | 北京沃东天骏信息技术有限公司 | 推荐信息展示方法、装置、电子设备和计算机可读介质 |
| CN113610010A (zh) * | 2021-08-10 | 2021-11-05 | 浙江大学 | 一种基于沉浸式的羽毛球战术可视分析系统 |
| CN113599802A (zh) * | 2021-07-23 | 2021-11-05 | 安徽三七极域网络科技有限公司 | 数据处理方法、装置和系统 |
| CN113713390A (zh) * | 2021-09-14 | 2021-11-30 | 北京字跳网络技术有限公司 | 一种交互方法、装置以及计算机存储介质 |
| CN115661942A (zh) * | 2022-12-15 | 2023-01-31 | 广州卓远虚拟现实科技有限公司 | 基于虚拟现实的动作数据处理方法、系统及云平台 |
| CN117398690A (zh) * | 2023-10-20 | 2024-01-16 | 北京畅游悦想互动软件技术有限公司 | 一种行程生成方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107890675A (zh) * | 2017-11-13 | 2018-04-10 | 杭州电魂网络科技股份有限公司 | Ai行为实现方法和装置 |
| CN107899244A (zh) * | 2017-11-29 | 2018-04-13 | 武汉秀宝软件有限公司 | 一种ai模型的构建方法及系统 |
| CN108434740A (zh) * | 2018-03-23 | 2018-08-24 | 腾讯科技（深圳）有限公司 | 一种策略信息确定的方法及装置 |
| CN108491930A (zh) * | 2018-03-23 | 2018-09-04 | 腾讯科技（深圳）有限公司 | 一种样本数据的处理方法以及数据处理装置 |
| EP3378542A1 (en) * | 2017-03-24 | 2018-09-26 | AO Kaspersky Lab | System and method of modeling the behavior of game elements during a remote game |
-
2018
- 2018-11-14 CN CN201811354678.4A patent/CN109499068B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3378542A1 (en) * | 2017-03-24 | 2018-09-26 | AO Kaspersky Lab | System and method of modeling the behavior of game elements during a remote game |
| CN107890675A (zh) * | 2017-11-13 | 2018-04-10 | 杭州电魂网络科技股份有限公司 | Ai行为实现方法和装置 |
| CN107899244A (zh) * | 2017-11-29 | 2018-04-13 | 武汉秀宝软件有限公司 | 一种ai模型的构建方法及系统 |
| CN108434740A (zh) * | 2018-03-23 | 2018-08-24 | 腾讯科技（深圳）有限公司 | 一种策略信息确定的方法及装置 |
| CN108491930A (zh) * | 2018-03-23 | 2018-09-04 | 腾讯科技（深圳）有限公司 | 一种样本数据的处理方法以及数据处理装置 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110064205A (zh) * | 2019-04-24 | 2019-07-30 | 腾讯科技（深圳）有限公司 | 用于游戏的数据处理方法、设备和介质 |
| CN110064205B (zh) * | 2019-04-24 | 2023-02-17 | 腾讯科技（深圳）有限公司 | 用于游戏的数据处理方法、设备和介质 |
| WO2020233464A1 (zh) * | 2019-05-21 | 2020-11-26 | 腾讯科技（深圳）有限公司 | 模型训练方法、装置、存储介质及设备 |
| CN110170171A (zh) * | 2019-06-03 | 2019-08-27 | 深圳市腾讯网域计算机网络有限公司 | 一种目标对象的控制方法及装置 |
| CN110193192A (zh) * | 2019-06-03 | 2019-09-03 | 深圳市腾讯网域计算机网络有限公司 | 一种自动化游戏方法和装置 |
| CN110503609A (zh) * | 2019-07-15 | 2019-11-26 | 电子科技大学 | 一种基于混合感知模型的图像去雨方法 |
| CN111282281B (zh) * | 2020-01-22 | 2021-07-13 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN111265871A (zh) * | 2020-01-22 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 虚拟对象的控制方法及装置、设备、存储介质 |
| CN111282281A (zh) * | 2020-01-22 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN111450534A (zh) * | 2020-03-31 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 一种标签预测模型的训练方法、标签预测的方法及装置 |
| CN111450534B (zh) * | 2020-03-31 | 2021-08-13 | 腾讯科技（深圳）有限公司 | 一种标签预测模型的训练方法、标签预测的方法及装置 |
| CN111507268A (zh) * | 2020-04-17 | 2020-08-07 | 浙江大华技术股份有限公司 | 报警方法及装置、存储介质和电子装置 |
| CN111507268B (zh) * | 2020-04-17 | 2024-02-20 | 浙江华感科技有限公司 | 报警方法及装置、存储介质和电子装置 |
| CN111640183A (zh) * | 2020-06-04 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种ar数据展示控制方法及装置 |
| CN111914672B (zh) * | 2020-07-08 | 2023-08-04 | 浙江大华技术股份有限公司 | 图像标注方法和装置及存储介质 |
| CN111914672A (zh) * | 2020-07-08 | 2020-11-10 | 浙江大华技术股份有限公司 | 图像标注方法和装置及存储介质 |
| CN112560622A (zh) * | 2020-12-08 | 2021-03-26 | 中国联合网络通信集团有限公司 | 虚拟对象动作控制方法、装置及电子设备 |
| CN112560622B (zh) * | 2020-12-08 | 2023-07-21 | 中国联合网络通信集团有限公司 | 虚拟对象动作控制方法、装置及电子设备 |
| CN112738537A (zh) * | 2020-12-24 | 2021-04-30 | 珠海格力电器股份有限公司 | 一种虚拟宠物交互方法、装置、电子设备及存储介质 |
| CN113209622A (zh) * | 2021-05-28 | 2021-08-06 | 北京字节跳动网络技术有限公司 | 动作的确定方法、装置、可读介质和电子设备 |
| CN113379503A (zh) * | 2021-06-24 | 2021-09-10 | 北京沃东天骏信息技术有限公司 | 推荐信息展示方法、装置、电子设备和计算机可读介质 |
| CN113599802A (zh) * | 2021-07-23 | 2021-11-05 | 安徽三七极域网络科技有限公司 | 数据处理方法、装置和系统 |
| CN113599802B (zh) * | 2021-07-23 | 2024-01-16 | 安徽三七极域网络科技有限公司 | 数据处理方法、装置和系统 |
| CN113610010B (zh) * | 2021-08-10 | 2023-08-08 | 浙江大学 | 一种基于沉浸式的羽毛球战术可视分析系统 |
| CN113610010A (zh) * | 2021-08-10 | 2021-11-05 | 浙江大学 | 一种基于沉浸式的羽毛球战术可视分析系统 |
| CN113713390A (zh) * | 2021-09-14 | 2021-11-30 | 北京字跳网络技术有限公司 | 一种交互方法、装置以及计算机存储介质 |
| CN115661942A (zh) * | 2022-12-15 | 2023-01-31 | 广州卓远虚拟现实科技有限公司 | 基于虚拟现实的动作数据处理方法、系统及云平台 |
| CN117398690A (zh) * | 2023-10-20 | 2024-01-16 | 北京畅游悦想互动软件技术有限公司 | 一种行程生成方法、装置、设备及介质 |
| CN117398690B (zh) * | 2023-10-20 | 2024-04-09 | 北京畅游悦想互动软件技术有限公司 | 一种行程生成方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109499068B (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109499068A (zh) | 对象的控制方法和装置、存储介质、电子装置 | |
| Bellemare et al. | The arcade learning environment: An evaluation platform for general agents | |
| CN108283809B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| Risi et al. | Neuroevolution in games: State of the art and open challenges | |
| CN111111220B (zh) | 多人对战游戏的自对弈模型训练方法、装置和计算机设备 | |
| WO2018054330A1 (zh) | 数据处理方法、装置和存储介质 | |
| JP7199517B2 (ja) | 情報予測方法、モデルトレーニング方法、サーバー及びコンピュータプログラム | |
| KR20210028728A (ko) | 가상 환경에서 가상 객체를 스케줄링하기 위한 방법, 장치 및 디바이스 | |
| CN109999496A (zh) | 虚拟对象的控制方法、装置和电子装置 | |
| CN108629180A (zh) | 异常操作的确定方法和装置、存储介质、电子装置 | |
| Synnaeve et al. | A dataset for StarCraft AI and an example of armies clustering | |
| CN111841018B (zh) | 模型训练方法、模型使用方法、计算机设备及存储介质 | |
| CN109718558B (zh) | 游戏信息的确定方法和装置、存储介质、电子装置 | |
| CN111450534B (zh) | 一种标签预测模型的训练方法、标签预测的方法及装置 | |
| Barriga et al. | Improving RTS game AI by supervised policy learning, tactical search, and deep reinforcement learning | |
| CN110119547A (zh) | 一种预测团战胜负的方法、装置及控制设备 | |
| Weitkamp et al. | Visual rationalizations in deep reinforcement learning for atari games | |
| CN109453524A (zh) | 一种对象匹配的方法、模型训练的方法及服务器 | |
| CN112742029B (zh) | 一种模拟操作的方法、游戏测试的方法以及相关装置 | |
| Gao et al. | Learning diverse policies in moba games via macro-goals | |
| Hou et al. | Creating human-like non-player game characters using a memetic multi-agent system | |
| CN110314379B (zh) | 动作输出深度训练模型的学习方法及相关设备 | |
| CN114404976A (zh) | 决策模型的训练方法、装置、计算机设备及存储介质 | |
| Núñez et al. | Exploring the application of soccer mathematical models to game generation on a simulated environment | |
| Toubman | Calculated Moves |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |