CN111265871A

CN111265871A - 虚拟对象的控制方法及装置、设备、存储介质

Info

Publication number: CN111265871A
Application number: CN202010075056.9A
Authority: CN
Inventors: 李旭冬; 周大军; 张力柯; 荆彦青; 田淼
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-01-22
Filing date: 2020-01-22
Publication date: 2020-06-12

Abstract

本申请揭示了一种虚拟对象的控制方法及装置，该方法包括：获取虚拟场景的场景信息，虚拟场景中的目标虚拟对象的第一竞技信息，以及目标虚拟对象的竞技对象的第二竞技信息；根据第一竞技信息和第二竞技信息，预测目标虚拟对象进行竞技的行为类型，行为类型用于指示目标虚拟对象移动或者发起攻击；如果行为类型指示目标虚拟对象移动，根据第一竞技信息、第二竞技信息和所述场景信息预测目标虚拟对象的移动位置，否则根据第一竞技信息和第二竞技信息预测目标虚拟对象的攻击位置，获得目标虚拟对象进行竞技的行为位置；根据行为类型和所述行为位置，控制目标虚拟对象与竞技对象进行竞技。本申请能够适用于对游戏操作的灵活性要求较高的游戏场景。

Description

虚拟对象的控制方法及装置、设备、存储介质

技术领域

本申请涉及游戏应用技术领域，具体涉及一种虚拟对象的控制方法、装置、设备和计算机可读存储介质。

背景技术

在游戏应用领域，“微操”通常是指需要控制游戏中的虚拟对象进行移动、发起攻击等动作。在游戏陪玩、自动挂机等智能场景中，需要由虚拟对象自动进行微操。

目前，为使得游戏中的虚拟对象自动进行微操，需要预先大量收集职业玩家的竞技经验，并通过编码的形式将职业玩家的竞技经验整理为大量竞技规则，在实际的游戏应用中，虚拟对象则在编码得到的竞技规则下进行微操。

然而，由于在竞技规则的编码过程中需要生成非常复杂的规则树或者行为树，导致虚拟对象实现微操的过程十分繁琐，并且在即时战略游戏、多人在线战术竞技游戏等对微操的灵活性要求较高的游戏场景中，虚拟对象在大量竞技规则下进行微操的方案无法达到预期的微操效果。

发明内容

为解决上述技术问题，本申请的实施例提供了一种虚拟对象的控制方法、装置、设备以及计算机可读存储介质，以使得虚拟对象无需在预先设定的竞技规则下进行微操，微操的实现过程更加简单，并且能够适用于对游戏操作的灵活性要求较高的游戏场景。

其中，本申请所采用的技术方案为：

一种虚拟对象的控制方法，包括：获取虚拟场景的场景信息，所述虚拟场景中的目标虚拟对象的第一竞技信息，以及所述目标虚拟对象的竞技对象的第二竞技信息；根据所述第一竞技信息和所述第二竞技信息，预测所述目标虚拟对象进行竞技的行为类型，所述行为类型用于指示所述目标虚拟对象移动或者发起攻击；如果所述行为类型指示所述目标虚拟对象移动，根据所述第一竞技信息、所述第二竞技信息和所述场景信息预测所述目标虚拟对象的移动位置，否则根据所述第一竞技信息和所述第二竞技信息预测所述目标虚拟对象的攻击位置，获得所述目标虚拟对象进行竞技的行为位置；根据所述行为类型和所述行为位置，控制所述目标虚拟对象与所述竞技对象进行竞技。。

一种虚拟对象的控制装置，包括：信息获取模块，用于获取虚拟场景的场景信息，所述虚拟场景中的目标虚拟对象的第一竞技信息，以及所述目标虚拟对象的竞技对象的第二竞技信息；行为类型预测模块，用于根据所述第一竞技信息和所述第二竞技信息，预测所述目标虚拟对象进行竞技的行为类型，所述行为类型用于指示所述目标虚拟对象移动或者发起攻击；行为位置预测模块，用于在所述行为类型指示所述目标虚拟对象移动时，根据所述第一竞技信息、所述第二竞技信息和所述场景信息预测所述目标虚拟对象的移动位置，否则根据所述第一竞技信息和所述第二竞技信息预测所述目标虚拟对象的攻击位置，获得所述目标虚拟对象进行竞技的行为位置；竞技控制模块，用于根据所述行为类型和所述行为位置，控制所述目标虚拟对象与所述竞技对象进行竞技。

一种虚拟对象的控制设备，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的虚拟对象的控制方法。

一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的虚拟对象的控制方法。

在上述技术方案中，通过虚拟场景中的目标虚拟对象的第一竞技信息、目标虚拟对象的竞技对象的第二竞技信息、以及虚拟场景对应的场景信息预测目标虚拟对象进行竞技的行为类型和行为位置，并根据预测的行为类型和行为位置控制目标虚拟对象与竞技对象进行竞技，从而实现目标虚拟对象自动进行与竞技对象进行对抗过程中的微操。

与现有技术相比，本申请所采用的技术方案无需预先收集大量职业玩家的竞技经验，也避免了针对竞技经验进行的复杂编码，控制目标虚拟对象进行微操的实现过程更加简单。并且，本申请的技术方案无需在大量的竞技规则下实施，目标虚拟对象与竞技对象进行对抗的行为类型和行为位置是根据目标虚拟对象的第一竞技信息、目标虚拟对象的竞技对象的第二竞技信息、以及虚拟场景对应的场景信息预测得到的，更加符合目标虚拟对象所处的游戏环境，能够适应于对游戏操作的灵活性要求较高的游戏场景。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请涉及的一种示例性的实施环境的示意图；

图2是根据一示例性实施例示出的一种虚拟对象的控制方法的流程图；

图3是图2所示实施例中步骤130在一个实施例的流程图；

图4是根据一示例性实施例示出的第一强化学习模型的结构示意图；

图5是图3所示实施例中步骤250在一个实施例的流程图；

图6是根据一示例性实施例示出的构建第一竞技特征图的示意图；

图7是图2所示实施例中步骤130在另一个实施例的流程图；

图8是图7所示实施例中步骤350在一个实施例的流程图；

图9是图2所示实施例中步骤150在另一个实施例的流程图；

图10是根据一示例性实施例示出的第二强化学习模型的结构示意图；

图11是图9所示实施例中步骤450在一个实施例的流程图；

图12是根据一示例性实施例示出的构建场景特征图的示意图；

图13是根据一示例性实施例示出的第三强化学习模型的结构示意图；

图14是根据另一示例性实施例示出的一种虚拟对象的控制方法的流程图；

图15是根据另一示例性实施例示出的一种虚拟对象的控制方法的流程图；

图16是根据一示例性实施例示出的一种虚拟对象的控制装置的框图；

图17是根据一示例性实施例示出的一种虚拟对象的控制设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

请参阅图1，图1是本申情涉及的一种示例性的实施环境的示意图，该实施环境为一游戏应用场景。

在图1所示游戏场景中，包括游戏客户端100和游戏服务端200，并且游戏客户端100与游戏服务端200之间预先建立有线或者无线网络连接，以根据该网络连接进行数据传输。

游戏客户端100提供一用户交互界面，该用户交互界面一方面用于展示虚拟场景(即游戏画面)，另一方面接收用户交互界面中触发的用户操作，例如控制虚拟对象在虚拟场景中移动或者发起攻击等。

图1中示意出了一种示例性的用户交互界面，其中展示了一种多人在线战术竞技(Multiplayer Online Battle Arena，MOBA)的虚拟场景，用户可以通过操控界面显示的操作按钮触发相应的用户操作，以控制虚拟对象进行微操。

需要说明的是，在本实施环境中，游戏客户端100可以智能手机、平板电脑、笔记本电脑、计算机等任意能够运行游戏应用的电子设备，本处并不进行限制。并且，游戏客户端100中运行的游戏应用可以是游戏应用程序，也可以是网页游戏或者其它形式，本处也不进行限制。

游戏服务端200则用于为游戏客户端100的运行提供数据服务。其中，游戏服务端200可以是一单独的服务器，也可以是由若干服务器构成的服务器集群，本处也不进行限制。

当游戏客户端100中触发了自动挂机模式时，虚拟场景中原本由用户操控的虚拟对象需要自动进行微操。如前所述，在现有微操实现方案中，需要预先收集大量职业玩家的竞技经验数据，并将这些竞技经验数据编码为大量的竞技规则，以使得虚拟对象在这些竞技规则下自动进行微操，这个微操实现过程十分复杂。

并且在一些对于微操的灵活性要求较高的游戏场景中，例如图1所示的多人在线战术竞技场景，用户对于虚拟对象进行操控的实时性更强，如果虚拟对象根据预先设置的竞技规则自动进行微操，所能够达到的微操效果与用户实际进行微操的效果往往相差较大，无法满足用户真实的挂机需求。

基于以上技术问题，本申请的实施例提出了一种虚拟对象的控制方法，还提出了一种虚拟对象的竞技行为控制装置，以及一种虚拟对象的竞技行为控制设备和一种计算机可读存储介质，用以使得虚拟对象的微操实现过程更加简单，并使得虚拟对象的微操方案能够适用于对游戏操作的灵活性要求较高的游戏场景。

请参阅图2，图2是根据一示例性实施例示出的一种虚拟对象的控制方法的流程图，该方法可以适用于图1所示实施环境中的游戏客户端100或者游戏服务端200，本实施例不作限制。

如图2所示，在一示例性实施例中，该虚拟对象的控制方法可以包括如下步骤：

步骤110，获取虚拟场景的场景信息，虚拟场景中的目标虚拟对象的第一竞技信息，以及目标虚拟对象的竞技对象的第二竞技信息。

首先需要说明的是，本实施例中的虚拟场景是指游戏场景，例如可以是多人在线战术竞技场景、即时战略游戏(Real-Time Strategy，RTS)场景、第一人称射击类游戏(First-Person Shooting，FPS)场景、大型多人在线游戏 (Multiplayer Online，MMO)场景等对于微操的灵活性要求较高的场景中的任意一种，也可以是普通游戏场景，本实施例并不对虚拟场景的具体类型作任何限制。

目标虚拟对象是虚拟场景中待进行微操控制的虚拟对象，在不同应用场景中，目标虚拟对象相应不同。例如在自动挂机场景中，目标虚拟对象为用户原本操控的虚拟对象；在游戏陪玩场景中，目标虚拟对象是虚拟场景中担任陪玩角色的虚拟对象；在人机对战模式中，目标虚拟对象是虚拟场景中由计算机操控的虚拟对象；在游戏测试场景中，目标虚拟对象是模拟真实用户进行操作的虚拟对象。

目标虚拟对象的竞技对象则是指虚拟场景中，待与目标虚拟对象进行竞技对抗的虚拟对象。示例性的，竞技对象可以是位于目标虚拟对象的视野范围内的一个或者多个虚拟对象，也可以是位于目标虚拟对象的攻击范围内的一个或者多个虚拟对象。其中，目标虚拟对象的视野范围与攻击范围可以相同，也可以不同，例如目标虚拟对象的视野范围可以大于目标虚拟对象的攻击范围，本实施例不进行限制。

在目标虚拟对象的第一竞技信息中，包含有目标虚拟对象位于虚拟场景中的位置和目标虚拟对象的竞技属性。示例性的，目标虚拟对象的位置可以是具体的位置坐标，目标虚拟对象的竞技属性可以含有目标虚拟对象的速度、生命值、能量值、所具备的竞技技能、攻击范围等。

竞技对象的第二竞技信息中包含有竞技对象位于虚拟场景中的位置，还包含有竞技对象的竞技属性。竞技对象的位置可以是具体的位置坐标，竞技对象的竞技属性可以含有竞技对象的速度、生命值、能量值、所具备的竞技技能、攻击范围等。其中，竞技对象的竞技属性可以与目标虚拟对象的竞技属性相同，也可以不同，本实施例不作限制。

虚拟场景对应的场景信息中含有虚拟场景中的各个位置，以及各个位置对应的场景属性。虚拟场景中的各个位置也可以是具体的位置坐标，各个位置对应的场景属性可以含有“位置高度”、“是否可达”、“是否可见”等，其中“位置高度”可以是指该位置在虚拟场景中对应的高度信息，“是否可达”表示目标虚拟对象是否能够移动至此位置，“是否可见”是指此位置是否位于目标虚拟对象的视野范围之内。但需要说明的是，虚拟场景中各个位置对应的场景属性可以根据实际的虚拟场景确定，本实施例并不对此进行限制。

还需要说明的是，在不同的虚拟场景中，目标虚拟对象的第一竞技信息、竞技对象的第二竞技信息以及虚拟场景对应的场景信息可以从相应游戏的数据接口中进行获取。从游戏的数据接口中获取的第一竞技信息、第二竞技信息和场景信息通常以特征向量的形式表示，例如目标虚拟对象的第一竞技信息可以表示为(1，4，3，2)。

步骤130，根据第一竞技信息和第二竞技信息，预测目标虚拟对象进行竞技的行为类型，行为类型用于指示目标虚拟对象移动或者发起攻击。

其中，目标虚拟对象进行竞技是指目标虚拟对象与竞技对象之间进行的竞技对抗，例如目标虚拟对象在遭遇竞技对象时，可以通过移动来躲避竞技对象，也可以向竞技对象发起攻击。

目标虚拟对象进行竞技的行为类型可以包括移动、发起攻击或者其它由目标虚拟对象执行的虚拟行为。

由于第一竞技信息中包含有目标虚拟对象位于虚拟场景中的位置和目标虚拟对象的竞技属性，第二竞技信息中包含有竞技对象位于虚拟场景中的位置和竞技对象的竞技属性，因此根据第一竞技信息和第二竞技信息，不仅可以确定目标虚拟对象与竞技对象之间的位置对应关系，还可以确定目标虚拟对象与竞技对象之间的各项竞技属性的对比关系，因此基于这些信息，即可以确定目标虚拟对象在遭遇竞技对象时，是选择通过移动方案躲避竞技对象或者直接向竞技对象发起攻击。示例性的，根据目标虚拟对象和竞技对象之间的竞技属性对比结果，可以综合判断以目标虚拟对象当前的竞技属性能够成功击败竞技对象的可能性，如果可能性较高，则可以选择直接向竞技对象发起攻击，否则选择通过移动方案躲避竞技对象即将可能发起的攻击，这也更加符合用户所进行微操的思维。

步骤150，如果行为类型指示目标虚拟对象移动，根据第一竞技信息、第二竞技信息和场景信息预测目标虚拟对象的移动位置，否则根据第一竞技信息和第二竞技信息预测目标虚拟对象的攻击位置，获得目标虚拟对象进行竞技的行为位置。

其中，目标虚拟对象进行竞技的行为位置则可以相应包括目标虚拟对象在虚拟场景中的移动位置或者攻击位置等。

由于场景信息包含有虚拟场景中的各个位置以及各个位置对应的场景属性，当步骤130中预测的行为类型指示目标虚拟对象移动时，则可以进一步根据虚拟场景的场景信息确定目标虚拟对象在虚拟场景中的可移动性等信息，从而预测得到目标虚拟对象的移动位置。

当步骤130中预测的行为类型指示目标虚拟对象发起攻击时，则可以根据目标虚拟对象的第一竞技信息和竞技对象的第二竞技信息，进一步确定目标虚拟对象向竞技对象发起攻击的攻击位置。

步骤170，控制目标虚拟对象根据预测的行为类型和行为位置与竞技对象进行竞技。

其中，控制目标虚拟对象根据步骤130中预测的行为类型和步骤150中预测的行为位置与竞技对象进行竞技，即为控制目标虚拟对象与竞技对象进行对战的过程，无需实际的用户操作即可以自动实现目标虚拟对象的微操方案。

与现有的微操实现方案相比，本实施例所提供的方法无需预先收集大量职业玩家的竞技经验，也避免了针对竞技经验进行的复杂编码，控制目标虚拟对象进行微操的实现过程更加简单，维护成本也更低。

并且在本实施例中，目标虚拟对象与竞技对象进行对抗的行为类型和行为位置是根据目标虚拟对象的第一竞技信息、目标虚拟对象的竞技对象的第二竞技信息、以及虚拟场景对应的场景信息实时预测得到的，因此预测的行为类型和行为位置更加符合目标虚拟对象所处的游戏环境，目标虚拟对象也无需在大量的竞技规则下进行微操，因此能够适应于对游戏操作的灵活性要求较高的游戏场景。

仍以前述的自动挂机场景为示例进行说明，原本由用户操作的目标虚拟对象将根据本实施例的方法自动进行微操。目标虚拟对象在与竞技对象进行的每一次竞技对抗中，都将根据当前目标虚拟对象的第一竞技信息、当前竞技对象的第二竞技信息以及虚拟场景对应的场景信息预测目标虚拟对象与竞技对象进行竞技对抗的行为类型和行为位置，并且按照所预测的行为类型和行为位置控制目标虚拟对象与竞技对象进行对抗。由于目标虚拟对象的行为类型和行为位置的预测参考了虚拟场景中的实时信息，因此目标虚拟对象每次进行竞技对抗能够模块用户实际进行的操作，所能够达到的微操效果与用户实际进行微操的效果更加接近，能够满足用户真实的挂机需求。

本实施例提供的方法在其它游戏场景中的应用与上述自动挂机场景中的应用相类似，本处不再进行赘述。

在另一示例性的实施例中，需根据第一竞技信息和第二竞技信息构建目标虚拟对象的第一竞技特征图和竞技对象的第二竞技特征图，以根据第一竞技特征图和第二竞技特征图预测目标虚拟对象进行竞技的行为类型。

其中，根据第一竞技信息和第二竞技信息构建目标虚拟对象的第一竞技特征图和竞技对象的第二竞技特征图的过程，实质是对第一竞技信息和第二竞技信息中包含的信息进行特征提取的过程。

因此，在目标虚拟对象的第一竞技特征图和竞技对象的第二特征图中，包含有表征目标虚拟对象的位置的特征信息和竞技属性的特征信息，以及包含有表征竞技对象的位置和竞技属性的特征信息。

如图3所示，在一个实施例中，根据第一竞技信息和第二竞技信息构建目标虚拟对象的第一竞技特征图，可以包括以下步骤：

步骤210，根据目标虚拟对象在虚拟场景中的视野范围确定第一竞技特征图的大小，并确定第一竞技信息含有的竞技属性类型的数量。

其中，目标虚拟对象在虚拟场景中的视野范围是指虚拟场景中虚拟对象视野范围内的场景区域，目标虚拟对象位于此场景区域内，该场景区域内的任意位置均作为目标虚拟对象在虚拟场景中的可视位置。目标虚拟对象可以位于场景区域的中心位置，也可以位于场景区域中的任意位置，本实施例不进行限制。

根据目标虚拟对象的视野范围所对应场景区域的大小，即可以确定第一竞技特征图的大小。如果目标虚拟对象的视野范围所对应的场景区域为正方形区域，并且大小为N*N，第一竞技特征图的大小则相应为N*N，其中“N” 表示场景区域的一条边界中含有单位位置的数量。示例性的，单位位置可以是场景区域中的一个像素，或者是由多个相邻像素形成的单位像素区域。

一般来说，针对特定的虚拟场景，第一竞技信息中含有的竞技属性类型、第二竞技信息中含有的竞技属性类型、以及场景信息中含有的场景属性类型均为虚拟场景开发时所预设的，因此第一竞技信息含有的竞技属性类型的数量可以根据第一竞技信息直接确定。

步骤230，根据第一竞技特征图的大小，生成与第一竞技信息含有的竞技属性类型的数量相同的第一竞技特征图，每张第一竞技特征图对应于不同类型的竞技属性。

在本实施例中，所生成的第一竞技特征图的大小为步骤210中确定的第一竞技特征图的大小，并且第一竞技特征图的数量与第一竞技信息中含有的竞技属性类型的数量是相同的，因此每张第一竞技特征图分别对应于不同类型的竞技属性，以便于确定目标虚拟对象和竞技对象对应于不同竞技属性类型的竞技属性，进而便于后续进行目标虚拟对象的行为类型的预测。

步骤250，根据第一竞技信息中包含的目标虚拟对象的位置，以及第二竞技信息中包含的竞技对象的位置，将目标虚拟对象的各项竞技属性和竞技对象的各项竞技属性分别置于第一竞技特征图中的对应位置。

如前所述，第一竞技特征图的大小对应于目标虚拟对象在虚拟场景中的视野范围大小，并且目标虚拟对象可以是在其视野范围所对应场景区域中的任意位置，因此可以根据第一竞技信息中包含的目标虚拟对象的位置，可以确定第一竞技特征图中与目标虚拟对象相对应的位置，从而将目标虚拟对象的各项竞技属性分别置于第一竞技特征图中与目标虚拟对象相对应的位置。

竞技对象也位于目标虚拟对象的视野范围内，因此根据第二竞技信息中包含的竞技对象的位置，可以确定第二竞技特征图中与竞技对象相对应的位置，从而将竞技对象的各项竞技属性置于第一竞技特征图中与竞技对象相对应的位置。

还需要说明的是，由于每张第一竞技特征图分别对应于不同类型的竞技属性，因此目标虚拟对象和竞技对象针对同一类型的竞技属性包含在同一张第一竞技特征图中。

由此，通过本实施例提供的方法，可以获得若干张第一竞技特征图，每张第一竞技特征图中含有目标虚拟对象和竞技对象在同一类型的竞技属性，并且目标虚拟对象和竞技对象的竞技属性在第一竞技特征图中的位置，对应于目标虚拟对象和竞技对象在虚拟场景中的位置，因此第一竞技特征图不仅能够反映目标虚拟对象和竞技对象的竞技属性，同时能够反映目标虚拟对象和竞技对象在虚拟场景中的位置，为所进行的目标虚拟对象的行为类型和行为位置预测提供了重要的数据基础，保证了对目标虚拟对象的行为类型和行为位置进行预测的合理性。

在一个实施例中，对于目标虚拟对象与竞技对象对抗的行为类型的确定，可以通过预先设定的第一强化学习模型根据第一竞技特征图和第二竞技特征图实现。

图4是根据一示例性实施例示出的第一强化学习模型的结构示意图。如图4所示，分别将目标虚拟对象的第一竞技特征图和竞技对象的第二竞技特征图输入至第一强化学习模型中，第一竞技特征图和第二竞技特征图分别经由卷积处理后，将第一竞技特征图转换为第一嵌入特征图，将第二竞技特征图转换为第二嵌入特征图。示例性的，第一竞技特征图和第二竞技特征图的大小均为N*N，数量为4张，分别经由7个3*3卷积核进行卷积处理后，相应得到7张第一嵌入特征图和7张第二嵌入特征图。

然后，将第一嵌入竞技特征图和第二嵌入竞技特征图进行最大值池化或者平均值池化，得到7张N/2*N/2大小的第一嵌入竞技特征图和7张 N/2*N/2大小的第二竞技嵌入特征图，再将所得到的第一嵌入竞技特征图和第二嵌入竞技特征图进行合并，得到14张N/2*N/2大小的嵌入竞技特征图。

接下来，再通过对合并得到的14张N/2*N/2大小的嵌入竞技特征图进行全连接，将合并得到的嵌入竞技特征图转化为目标虚拟对象的行为类型的概率分布，并通过对此概率分布进行采样，即可得到目标虚拟对象与竞技对象对抗的行为类型。例如，假设第一强化学习模型属输出的信息为(0.8， 0.2)，相应表示目标虚拟对象进行移动的概率为80％，进行攻击的概率为 20％，因此采样确定目标虚拟对象与竞技对象对抗的行为类型为移动。

在一个实施例中，第一强化学习模型中含有两个全连接层，以对行为类型的概率分布转换过程中的数据量充分降维。示例性的，第一个全连接层中可以含有128个神经元，第二个全连接层中可以含有2个神经元。

图5是图3所示实施例中步骤250在一个示例性的实施例中的流程图。如图5所示，在一示例性实施例中，步骤250可以包括如下步骤：

步骤251，将目标虚拟对象的各项竞技属性分别置于每张第一竞技特征图的中心位置。

首先需要说明的是，本实施例是以目标虚拟对象的位置作为目标虚拟对象的视野范围的中心位置，因此将目标虚拟对象的各项竞技属性分别置于每张第一竞技特征图的中心位置。

图6是根据一示例性实施例示出的构建第一竞技特征图的示意图。假设目标虚拟对象和竞技对象的位置均以位置坐标表示，目标虚拟对象和竞技对象均含有生命值、攻击力、防御力、攻击范围4种类型的竞技属性，因此需针对这4种类型的竞技属性生成4张第一竞技特征图。如图6所示，对于第一竞技信息中包含的目标虚拟对象的攻击范围对应的属性值“2”，需将该属性值置于攻击范围所对应的第一竞技特征图的中心。

需要说明的是，对每张第一竞技特征图来说，其中心位置所含有竞技属性的类型即为每张第一竞技特征图所对应的竞技属性的类型。如果预先针对每个特征图设定对应的竞技属性类型，则需将目标虚拟对象的各项竞技属性分别置于相应类型的第一竞技特征图的中心位置。

在实际的游戏场景中，竞技对象可以是从目标虚拟对象周围的任意方向发起攻击，因此目标虚拟对象按照本实施例所确定的视野范围可以及时确定进行竞技对抗的竞技对象。

步骤253，根据第一竞技信息中包含的目标虚拟对象的位置，以及第二竞技信息中包含的竞技对象的位置，确定竞技对象与目标虚拟对象之间的位置对应关系。

其中，竞技对象与目标虚拟对象之间的位置对应关系可以包括竞技对象相对目标虚拟对象的距离大小以及方位角度，或者包括其它用于表示位置对应关系的信息，以根据所确定的位置对应关系，能够基于目标虚拟对象的位置相应确定竞技对象的位置。

步骤255，根据所确定的位置对应关系，将竞技对象的各项竞技属性置于同类型竞技属性的第一竞技特征图中的对应位置。

如前所述，根据竞技对象与目标虚拟对象之间的位置对应关系，能够基于目标虚拟对象的位置相应确定竞技对象的位置。因此在本实施例中，由于目标虚拟对象的位置对应于第一竞技特征图中的中心位置，可以根据所确定的位置对应关系，将竞技对象的各项竞技属性置于同类型竞技属性的第一竞技特征图中的对应位置。

仍以图6作为示例，针对位于目标虚拟对象的视野范围内的竞技对象1 和竞技对象2，竞技对象1的攻击范围对应的属性值为“1”，竞技对象2的攻击范围对应的属性值为“5”，则根据各个竞技对象分别与目标虚拟对象的位置对应关系，将各个竞技的攻击范围对应的属性值分别置于攻击范围对应的第一竞技特征图中的对应位置。

由此，本实施例将目标虚拟对象的各项竞技属性分别置于第一竞技特征图的中心位置，并根据竞技对象与目标虚拟对象之间的位置对应关系，将竞技对象的各项竞技属性置于同类型竞技属性的第一竞技特征图中的对应位置，最终所得到的若干张第一竞技特征图中，可以明确地反映虚拟场景中以目标虚拟对象为中心的竞技对象的位置分布以及竞技属性分布，进一步保证了对于目标虚拟对象的行为类型和行为位置进行预测的合理性。

在另一示例性的实施例中，如图7所示，根据第一竞技信息和第二竞技信息，构建竞技对象的第二竞技特征图，可以包括以下步骤：

步骤310，根据目标虚拟对象在虚拟场景中的视野范围确定第二竞技特征图的大小，并确定第二竞技信息含有的竞技属性类型的数量。

首先需要说明的是，本实施例中根据目标虚拟对象在虚拟场景中的视野范围所确定的第二竞技特征图的大小，与图3所示实施例中步骤210确定的第一竞技特征图的大小保持一致，由此便于进行目标虚拟对象的行为类型和行为位置的预测。并且，第二竞技信息含有的竞技属性类型的数量也可以根据第二竞技信息直接确定。

步骤330，根据第二竞技特征图的大小，生成与第二竞技信息含有的竞技属性类型的数量相同的第二竞技特征图，每张第二竞技特征图对应于不同类型的竞技属性。

在同一虚拟场景中，为保证不同虚拟对象之间进行竞技对抗的公平性，在游戏开发中通常设定每个虚拟对象具有相同类型的竞技属性。在此情况下，所生成第二竞技特征图的大小和数量均与第一竞技特征图相同。

与第一竞技特征图相同，每张第二竞技特征图也分别对应于不同类型的竞技属性。

步骤350，根据第一竞技信息中包含的目标虚拟对象的位置，以及第二竞技信息中包含的竞技对象的位置，将第二竞技信息中包含的竞技对象的竞技属性置于第二竞技特征图中的对应位置。

其中，由于第二竞技特征图是用于预测目标虚拟对象与竞技对象进行对抗的行为类型和行为位置，因此第二竞技特征图中应当能够体现目标虚拟对象的视野范围，从而可以确定视野范围内的竞技对象，并且由于第二竞技特征图是针对竞技对象的相关信息进行的特征提取，因此需要根据目标虚拟对象的位置以及竞技对象的位置，将第二竞技信息中包含的竞技对象的竞技属性置于第二竞技特征图中的对应位置。

在通常情况下，位于目标虚拟对象的视野范围内的竞技对象往往是多个，因此需要将每个竞技对象的各项竞技属性置于对应于相同类型的竞技属性的第二竞技特征图中。

由此，通过本实施例提供的方法，可以获得若干张第二竞技特征图，每张第二竞技特征图中含有竞技对象在同一类型的竞技属性，并且能够体现目标虚拟对象和竞技对象在虚拟场景中的位置，因此第二竞技特征图不仅能够反映竞技对象的竞技属性，同时能够反映目标虚拟对象和竞技对象在虚拟场景中的位置，从而保证了对目标虚拟对象的行为类型和行为位置进行预测的合理性。

图8是是图7所示实施例中步骤350在一个示例性的实施例中的流程图。如图8所示，在一示例性实施例中，步骤350可以包括如下步骤：

步骤351，根据第一竞技信息中包含的目标虚拟对象的位置，以及第二竞技信息中包含的竞技对象的位置，确定竞技对象与目标虚拟对象之间的位置对应关系。

如前所述，竞技对象与目标虚拟对象之间的位置对应关系可以包括竞技对象相对目标虚拟对象的距离大小以及方位角度，或者包括其它用于表示位置对应关系的信息，以根据所确定的位置对应关系，能够基于目标虚拟对象的位置相应确定竞技对象的位置。

步骤353，以目标虚拟对象的位置为第二竞技特征图的中心位置，根据所确定的位置对应关系，将竞技对象的各项竞技属性分别置于每张第二竞技特征图中的对应位置。

在本实施例中，仍是以目标虚拟对象的位置作为目标虚拟对象的视野范围的中心位置，因此需要将目标虚拟对象的位置确定为第二竞技特征图的中心位置。

由此，在确定第二竞技特征图的中心位置对应于目标虚拟对象的位置之后，即可根据竞技对象与目标虚拟对象的位置对应关系，将竞技对象的各项竞技属性分别置于每张第一竞技特征图中的对应位置。相应过程可以参见图 6所示的构建第一竞技特征图的过程，本实施例不再赘述。

由此，本实施例仍以目标虚拟对象的位置作为第一竞技特征图的中心位置，根据竞技对象与目标虚拟对象之间的位置对应关系，将竞技对象的各项竞技属性置于同类型竞技属性的第二竞技特征图中的对应位置，最终所得到的若干张第二竞技特征图中，仍然可以明确地反映虚拟场景中以目标虚拟对象为中心的竞技对象的位置分布以及竞技属性分布，进一步保证了对于目标虚拟对象的行为类型和行为位置进行预测的合理性。

在另一示例性的实施例中，还需根据场景信息构建虚拟场景的场景特征图，以基于上述实施例确定的目标虚拟对象的第一竞技特征图和竞技对象的第二竞技特征图，以及场景特征图，确定所述目标虚拟对象的移动位置。

如图9所示，在一示例性实施例中，根据虚拟场景对应的场景信息，构建虚拟场景的场景特征图，可以包括如下步骤：

步骤410，根据目标虚拟对象在虚拟场景中的视野范围确定场景特征图的大小，并根据场景信息确定虚拟场景中的各个位置，以及各个位置对应的场景属性。

为便于进行目标虚拟对象的行为类型和行为位置的预测，本实施例中根据目标虚拟对象在虚拟场景中的视野范围所确定的第二竞技特征图的大小，也与图3所示实施例中步骤210确定的第一竞技特征图的大小保持一致。

虚拟场景中的各个位置，以及各个位置对应的场景属性，也可以根据虚拟场景对应的场景信息直接确定。

步骤430，根据场景特征图的大小，以及虚拟场景中各个位置对应的场景属性类型的数量，生成与场景属性类型的数量相同的场景特征图，每张场景竞技特征图对应于不同类型的场景属性。

步骤450，根据目标虚拟对象在虚拟场景中的位置，将场景信息中包含的各个位置对应的场景属性分别置于每张场景特征图中的对应位置。

与第二竞技特征图的构建过程类似，由于场景特征图也是用于预测目标虚拟对象与竞技对象进行对抗的行为类型和行为位置，因此场景特征图中也应当能够体现目标虚拟对象的视野范围，从而确定视野范围内的竞技对象。因此，本实施例需要根据目标虚拟对象在虚拟场景中的位置，将场景信息中包含的各个位置对应的场景属性分别置于每张场景特征图中的对应位置。

由此，通过本实施例提供的方法，可以获得若干张场景特征图，并且每张场景特征图都能够反映目标虚拟对象的视野范围内的场景信息，进而保证了所预测的目标虚拟对象的行为类型和行为位置均在目标虚拟对象的视野范围之内，从而确保了预测的合理性。

在一个实施例中，对于目标虚拟对象的移动位置的确定，可以通过预先设定的第二强化学习模型根据第一竞技特征图、第二竞技特征图和场景特征图实现。

图10是根据一示例性实施例示出的第二强化学习模型的结构示意图。如图10所示，分别将第一竞技特征图、第二竞技特征图和虚拟场景的场景特征图输入至第二强化学习模型中，第一竞技特征图和第二竞技特征图分别经由7个3*3卷积核进行卷积处理以及特征图合并处理之后，可以得到14张嵌入竞技特征图，场景特征图经由7个3*3卷积核进行卷积处理，得到5张嵌入场景特征图。

合并得到的嵌入竞技特征图、以及嵌入场景特征图通过卷积层转换为目标虚拟对象的移动位置的概率分布，例如第二强化学习模型输出一个N*N 大小的平面数据，平面数据中的每个数值表示目标虚拟对象移动到此位置的概率。通过对平面数据的概率进行采样，例如采样概率最大的位置，即可得到目标虚拟对象的移动位置。

或者，第二强化学习模型也可以直接输出一个具体的位置坐标，以指示目标虚拟对象根据该位置坐标进行移动。

在一个实施例中，第二强化学习模型设有两个卷积层，以针对合并得到的嵌入竞技特征图以及嵌入场景特征图进行卷积处理。示例性的，第一个卷积层中可以含有16个3*3大小的卷积核，第二个卷积层中可以含有1个3*3大小的卷积核。

图11是图9所示实施例中步骤450在一个示例性的实施例中的流程图。如图11所示，在一示例性实施例中，步骤450可以包括如下步骤：

步骤451，根据目标虚拟对象在虚拟场景中的位置，确定虚拟场景中位于目标虚拟对象的视野范围内的目标位置。

首先需要说明的是，在本实施例中，目标虚拟对象在虚拟场景中的位置可以根据目标虚拟对象的第一竞技信息相应获得，并且确定目标虚拟对象的位置为目标虚拟对象的视野范围内的中心位置。

由此，根据目标虚拟对象在虚拟场景中的位置，即可以确定虚拟场景中位于目标虚拟对象的视野范围内的各个目标位置。

步骤453，以目标虚拟对象的位置为场景特征图的中心位置，根据目标位置与目标虚拟对象之间的位置对应关系，将目标位置的各项场景属性值置于每张场景特征图中的对应位置。

其中，由于本实施例将目标虚拟对象的位置确定为目标虚拟对象的视野范围内的中心位置，因此需要将目标虚拟对象的位置作为场景特征图的中心位置。

根据目标位置与目标虚拟对象之间的位置对应关系，将目标位置的各项场景属性值置于每张场景特征图中的对应位置的过程可以如图12所示。

示例性的，在图12所示的场景特征图构建过程中，虚拟场景中各个位置对应的场景属性包括“是否可见”和“是否可达”2种类型，从而生成2 张场景特征图，每张场景特征图分别对应不同类型的场景属性。针对虚拟场景中位于目标虚拟对象的视野范围内的各个目标位置，根据各个目标位置位于视野范围内的位置排序，依次将各个位置对应于“是否可见”的场景属性置于场景特征图中的相应位置。如图12所示，目标位置1对应于视野范围内的左上角的第一个位置，因此将目标位置1对应于“是否可见”的场景属性值“0”置于场景特征图的左上角的第一个位置。

由此，本实施例以目标虚拟对象的位置为场景特征图的中心位置，根据目标位置与目标虚拟对象之间的位置对应关系，将目标位置的各项场景属性值置于每张场景特征图中的对应位置，使得场景特征图中明确地反映虚拟场景中以目标虚拟对象为中心的虚拟场景的场景属性分布，从而可以据此对目标虚拟对象的行为类型和行为位置进行合理预测。

在另一示例性的实施例中，对于目标虚拟对象的攻击位置的确定，可以通过预先设定的第三强化学习模型，根据第一竞技特征图和第二竞技特征图实现。

图13是根据一示例性实施例示出的第三强化学习模型的结构示意图。如图13所示，分别将第一竞技特征图和第二竞技特征图输入至第三强化学习模型中，第一竞技特征图和第二竞技特征图分别经由7个3*3卷积核进行卷积处理以及特征图合并处理之后，可以得到14张嵌入竞技特征图。

然后，将合并得到的嵌入竞技特征图通过卷积层转换为目标虚拟对象的攻击位置的概率分布，例如第二强化学习模型输出一个N*N大小的平面数据，平面数据中的每个数值表示目标虚拟对象向此位置发起攻击的概率，并将概率最大的位置确定为目标虚拟对象的攻击位置。

或者，第三强化学习模型也可以直接输出一个具体的位置坐标，以指示目标虚拟对象根据该位置坐标发起攻击。

在一个实施例中，第三强化学习模型也设有两个卷积层针对合并得到的嵌入竞技特征图进行卷积处理。示例性的，第一个卷积层中可以含有12个3*3大小的卷积核，第二个卷积层中可以含有1个3*3大小的卷积核。

由此，本实施例先根据第一竞技特征图和第二竞技特征图，确定目标虚拟对象与竞技对象对抗的行为类型，然后根据所确定的行为类型，分别采用不同的预测方案确定目标虚拟对象的移动位置或者攻击位置，简化了预测逻辑，使得目标虚拟对象的行为类型和行为位置的预测过程更加简单。

并且，本实施例具体使用三个不同的强化学习模型共同完成目标虚拟对象的行为类型和行为位置的预测，能够使得目标虚拟对象的对抗能力得到明显提升。

如图14所示，在另一示例性的实施例中，在步骤170之后，虚拟对象的控制方法还可以包括如下步骤：

步骤510，获取目标虚拟对象与竞技对象进行对抗的结果信息，以及获取对抗结束后目标虚拟对象和竞技对象的竞技属性变化信息。

其中，目标虚拟对象与竞技对象进行对抗的结果信息是指目标虚拟对象对抗胜利或者对抗失败，对抗结束后目标虚拟对象和竞技对象的竞技属性变化信息可以包括目标虚拟对象和竞技对象的剩余生命值、目标虚拟对象损失的生命值和竞技对象损失的生命值的比值、目标虚拟对象击杀竞技对象的数量等信息。

在目标虚拟对象根据预测的行为类型和行为位置与竞技对象进行对抗之后，通过获取目标虚拟对象与竞技对象进行对抗的结果信息，以及获取对抗结束后目标虚拟对象和竞技对象的竞技属性变化信息，可以确定本次执行行为类型和行为位置预测的效果。

步骤530，根据结果信息和竞技属性变化信息，确定目标虚拟对象与竞技对象进行对抗的奖励值，奖励值用于表征行为类型和行为位置的预测效果。

其中，奖励值用于表征行为类型和行为位置的预测效果，因此可以根据步骤510中预测的结果信息和竞技属性变化信息，确定目标虚拟对象与竞技对象进行对抗的奖励值。

示例性的，首先根据结果信息确定基础奖励值，如果目标虚拟对象对战胜利，则确定基础奖励值为1，否则确定基础奖励值为0。然后基于竞技属性变化信息在基础奖励值上调整奖励值的大小，以最终确定目标虚拟对象与竞技对象进行对抗的奖励值。例如，如果目标虚拟对象的剩余生命值高于竞技对象的剩余生命值，则在基础奖励值的基础上累加一个较大的设定数值；如果目标虚拟对象的剩余生命值低于竞技对象的剩余生命值，在基础奖励值的基础上累加一个较小的设定数值。

其中，根据目标虚拟对象损失的生命值和竞技对象损失的生命值的比值、目标虚拟对象击杀竞技对象的数量等竞技属性变化信息在基础奖励值上调整奖励值的大小的过程同理，本处不再进行赘述。

可以看出，如果结果信息和竞技属性变化信息表征行为类型和行为位置的预测效果越好，目标虚拟对象与竞技对象进行对抗的奖励值也越高。

步骤550，根据奖励值，调整用于预测行为类型和所述行为位置的预测参数。

其中，基于所确定的奖励值，调整用于预测行为类型和所述行为位置的预测参数的过程，也即是针对当前的预测结果对预测参数进行的反馈。

由此，本实施例所提供的方法针对于单一虚拟场景中预测参数的调整，通过本实施例所提供的方法可以将预测参数调整至更优的状态，使得目标虚拟对象在后续与竞技对象进行的竞技对抗中，根据调整后的预测参数预测目标虚拟对象的行为类型和行为位置，并根据预测的行为类型和行为位置与竞技对象进行对抗，将会取得更好的对抗效果，例如目标虚拟对象针对竞技对象的对抗能力得到了较大提升。

如图15所示，在一示例性的实施例中，在步骤550之前，虚拟对象的控制方法还可以包括如下步骤：

步骤610，获取不同虚拟场景下的目标虚拟对象与竞技对象进行对抗的奖励值。

在本实施例中，不同虚拟场景下的目标虚拟对象按照前述实施例中描述的方法分别与竞技对象进行对抗，可以相应获得进行对抗的奖励值。

其中，不同虚拟场景下的目标虚拟对象在与竞技对象进行的对抗中，用于预测目标虚拟对象的行为类型和行为位置的预测参数可以相同，也可以不同，本处不进行限制。

在一个示例性的应用场景中，预测参数为第一强化学习模型、第二强化学习模型和第三强化学习模型中的网络参数。可以在设定的第一数值区间 (例如[-0.01，0.01])之间随机初始化第一强化学习模型、第二强化学习模型和第三强化学习模型中的网络参数，包括各个卷积层和全连接层的权重，然后随机扰动三个强化学习模型的网络参数，例如在各个卷积层和全连接层的权重基础上加上或者减去设定的第二数值区间(例如[-0.005，0.005])内的随机值，由此形成多组网络参数相近但不同的三个强化学习模型。

在不同虚拟场景中，分别将不同组的网络参数带入三个强化学习模型中，预测不同虚拟场景中目标虚拟对象与竞技对象进行对抗的行为类型和行为位置，并相应计算目标虚拟对象与竞技对象进行对抗的奖励值。

步骤630，根据获取到的最大奖励值和最小奖励值进行奖励值的归一化计算，得到归一化奖励值，归一化奖励值用于对预测参数进行调整。

根据获取到的最大奖励值和最小奖励值进行奖励值的归一化，可以将奖励值归一化在特定的数值区间内，例如根据如下的计算公式将奖励值归一化在[-0.5，0.5]之间：

归一化奖励值＝(奖励值-最小奖励值)/(最大奖励值-最小奖励值)-0.5

得到不同虚拟场景下目标虚拟对象进行竞技对抗的归一化奖励值之后，则将归一化奖励值作为权重，计算相应虚拟场景下的预测参数与对应权重的乘积，

然后计算此乘积与不同虚拟场景的数量之间的商，根据商对当前虚拟场景中的预测参数进行更新。

由此，本实施例通过多个虚拟场景中进行的目标虚拟对象与竞技对抗的奖励值计算相应的归一化奖励值，并结合多个归一化奖励值更新当前虚拟场景中的预测参数，有助于预测参数的快速和准确调整，以在尽可能短的时间内使得虚拟场景具有最合适的预测参数。

请参阅图16，图16是根据一示例性实施例示出的一种虚拟对象的控制装置的框图，该装置包括信息获取模块710、行为类型预测模块730、行为位置预测模块750和竞技控制模块770。

信息获取模块710用于获取虚拟场景的场景信息，虚拟场景中的目标虚拟对象的第一竞技信息，以及目标虚拟对象的竞技对象的第二竞技信息。

行为类型预测模块730用于根据第一竞技信息和第二竞技信息，预测目标虚拟对象进行竞技的行为类型，行为类型用于指示目标虚拟对象移动或者发起攻击。

行为位置预测模块750用于在行为类型指示目标虚拟对象移动时，根据第一竞技信息、第二竞技信息和场景信息预测目标虚拟对象的移动位置，否则根据第一竞技信息和第二竞技信息预测目标虚拟对象的攻击位置，获得目标虚拟对象进行竞技的行为位置。

竞技控制模块770用于根据行为类型和行为位置，控制目标虚拟对象与竞技对象进行竞技。

在另一示例性实施例中，行为类型预测模块730包括竞技特征图构建单元和竞技特征图预测单元。

竞技特征图构建单元用于根据第一竞技信息和第二竞技信息，构建目标虚拟对象的第一竞技特征图和竞技对象的第二竞技特征图。

竞技特征图预测单元用于根据第一竞技特征图和第二竞技特征图，基于第一强化学习模型预测目标虚拟对象进行竞技的行为类型。

在另一示例性实施例中，竞技特征图构建单元包括第一信息确定子单元、第一特征图生成子单元和第一特征图子构建单元。

第一信息确定子单元用于根据目标虚拟对象在虚拟场景中的视野范围确定第一竞技特征图的大小，并确定第一竞技信息含有的竞技属性类型的数量。

第一特征图生成子单元用于根据第一竞技特征图的大小，生成与第一竞技信息含有的竞技属性类型的数量相同的第一竞技特征图，每张第一竞技特征图对应于不同类型的竞技属性。

第一特征图构建子单元用于根据第一竞技信息中包含的目标虚拟对象的位置，以及第二竞技信息中包含的竞技对象的位置，将目标虚拟对象的各项竞技属性和竞技对象的各项竞技属性分别置于第一竞技特征图中的对应位置，获得目标虚拟对象的第一竞技特征图。

在另一示例性实施例中，第一特征图构建子单元包括目标属性提取子单元、第一位置对应关系确定子单元和第一竞技属性提取子单元。

目标属性提取子单元用于将目标虚拟对象的各项竞技属性分别置于每张第一竞技特征图的中心位置。

第一位置对应关系确定子单元用于根据第一竞技信息中包含的目标虚拟对象的位置，以及第二竞技信息中包含的竞技对象的位置，确定竞技对象与目标虚拟对象之间的位置对应关系。

第一竞技属性提取子单元用于根据所确定的位置对应关系，将竞技对象的各项竞技属性置于同类型竞技属性的第一竞技特征图中的对应位置。

在另一示例性实施例中，行为位置预测模块750包括场景特征图构建单元和移动位置预测单元。

场景特征图构建单元用于根据第一竞技信息和第二竞技信息，确定目标虚拟对象的第一竞技特征图和竞技对象的第二竞技特征图，并根据场景信息构建所述虚拟场景的场景特征图。

移动位置预测单元用于根据第一竞技特征图、第二竞技特征图和场景特征图，基于第二强化学习模型确定目标虚拟对象的移动位置。

在另一示例性实施例中，移动位置预测单元包括第二信息确定子单元、第二特征图生成子单元和第二特征图构建子单元。

第二信息确定子单元用于根据目标虚拟对象在虚拟场景中的视野范围确定场景特征图的大小，并根据场景信息确定虚拟场景中的各个位置，以及各个位置对应的场景属性。

第二特征图生成子单元用于根据场景特征图的大小，以及虚拟场景中各个位置对应的场景属性类型的数量，生成与场景属性类型的数量相同的场景特征图，每张场景竞技特征图对应于不同类型的场景属性。

第二特征图构建子单元用于根据目标虚拟对象在虚拟场景中的位置，将场景信息中包含的各个位置对应的场景属性分别置于每张场景特征图中的对应位置，获得虚拟场景的场景特征图。

在另一示例性实施例中，第二特征图构建子单元包括目标位置确定子单元和场景属性提取子单元。

目标位置确定子单元用于根据目标虚拟对象在虚拟场景中的位置，确定虚拟场景中位于目标虚拟对象的视野范围内的目标位置。

场景属性提取子单元用于以目标虚拟对象的位置为场景特征图的中心位置，根据目标位置与目标虚拟对象之间的位置对应关系，将目标位置的各项场景属性值置于每张场景特征图中的对应位置。

在另一示例性实施例中，攻击位置预测模块750包括竞技特征图确定单元和攻击位置预测单元。

竞技特征图确定单元用于根据第一竞技信息和第二竞技信息，确定目标虚拟对象的第一竞技特征图和竞技对象的第二竞技特征图。

攻击位置预测单元用于根据第一竞技特征图和第二竞技特征图，基于第三强化学习模型确定目标虚拟对象的攻击位置。

在另一示例性实施例中，虚拟对象的控制装置还包括对抗信息获取模块、第一奖励值获取模块和预测参数调节模块。

对抗信息获取模块用于获取目标虚拟对象与竞技对象进行对抗的结果信息，以及获取对抗结束后目标虚拟对象和竞技对象的竞技属性变化信息。

第一奖励值获取模块用于根据结果信息和竞技属性变化信息，确定目标虚拟对象与竞技对象进行对抗的奖励值，奖励值用于表征行为类型和行为位置的预测效果。

预测参数调节模块用于根据奖励值，调整用于预测行为类型和行为位置的预测参数。

在另一示例性实施例中，虚拟对象的控制装置还包括第二奖励值获取模块和归一化计算模块。

第二奖励值获取模块用于获取不同虚拟场景下的目标虚拟对象与竞技对象进行对抗的奖励值。

归一化计算模块用于根据获取到的最大奖励值和最小奖励值进行奖励值的归一化计算，得到归一化奖励值，归一化奖励值用于对预测参数进行调整。

在另一示例性实施例中，预测参数调节模块包括权重计算单元和预测参数更新单元。

权重计算单元用于将归一化奖励值作为权重，计算预测参数与权重的乘积。

预测参数更新单元用于计算该乘积与虚拟场景的数量之间的商，根据该商对预测参数进行更新。

需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

本申请的另一方面还提供了一种虚拟对象的控制设备，包括处理器和存储器，其中，存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时实现如前所述的虚拟对象的控制方法。

图17是根据一示例性实施例示出的一种虚拟对象的控制设备的结构示意图。

需要说明的是，该虚拟对象的控制设备只是一个适配于本申请的示例，不能认为是提供了对本申请的使用范围的任何限制。该虚拟对象的控制设备也不能解释为需要依赖于或者必须具有图17中示出的示例性的虚拟对象的控制设备中的一个或者多个组件。

如图17所示，在一示例性实施例中，虚拟对象的控制设备包括处理组件801、存储器802、电源组件803、多媒体组件804、音频组件805、传感器组件807和通信组件808。其中，上述组件并不全是必须的，虚拟对象的控制设备可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。

处理组件801通常控制虚拟对象的控制设备的整体操作，诸如与显示、数据通信以及日志数据处理相关联的操作等。处理组件801可以包括一个或多个处理器809来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件801可以包括一个或多个模块，便于处理组件801和其他组件之间的交互。例如，处理组件801可以包括多媒体模块，以方便多媒体组件804和处理组件801之间的交互。

存储器802被配置为存储各种类型的数据以支持在虚拟对象的控制设备的操作，这些数据的示例包括用于在虚拟对象的控制设备上操作的任何应用程序或方法的指令。存储器802中存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器809执行，以完成上述实施例中所描述的虚拟对象的控制方法中的全部或者部分步骤。

电源组件803为虚拟对象的控制设备的各种组件提供电力。电源组件 803可以包括电源管理系统，一个或多个电源，及其他与为虚拟对象的控制设备生成、管理和分配电力相关联的组件。

多媒体组件804包括在虚拟对象的控制设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括TP(Touch Panel，触摸面板) 和LCD(Liquid CrystalDisplay，液晶显示器)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件805被配置为输出和/或输入音频信号。例如，音频组件805包括一个麦克风，当虚拟对象的控制设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。在一些实施例中，音频组件805还包括一个扬声器，用于输出音频信号。

传感器组件807包括一个或多个传感器，用于为虚拟对象的控制设备提供各个方面的状态评估。例如，传感器组件807可以检测到虚拟对象的控制设备的打开/关闭状态，还可以检测虚拟对象的控制设备的温度变化。

通信组件808被配置为便于虚拟对象的控制设备和其他设备之间有线或无线方式的通信。虚拟对象的控制设备可以接入基于通信标准的无线网络，例如Wi-Fi(Wireless-Fidelity，无线网络)。

可以理解，图17所示的结构仅为示意，虚拟对象的控制设备该可以包括比图17中所示更多或更少的组件，或者具有与图17所示不同的组件。图17 中所示的各组件均可以采用硬件、软件或者其组合来实现。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的虚拟对象的控制方法。该计算机可读存储介质可以是上述实施例中描述的虚拟对象的控制设备中所包含的，也可以是单独存在，而未装配入该虚拟对象的控制设备中。

上述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围为准。

Claims

1.一种虚拟对象的控制方法，其特征在于，包括：

获取虚拟场景的场景信息，所述虚拟场景中的目标虚拟对象的第一竞技信息，以及所述目标虚拟对象的竞技对象的第二竞技信息；

根据所述第一竞技信息和所述第二竞技信息，预测所述目标虚拟对象进行竞技的行为类型，所述行为类型用于指示所述目标虚拟对象移动或者发起攻击；

如果所述行为类型指示所述目标虚拟对象移动，根据所述第一竞技信息、所述第二竞技信息和所述场景信息预测所述目标虚拟对象的移动位置，否则根据所述第一竞技信息和所述第二竞技信息预测所述目标虚拟对象的攻击位置，获得所述目标虚拟对象进行竞技的行为位置；

根据所述行为类型和所述行为位置，控制所述目标虚拟对象与所述竞技对象进行竞技。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一竞技信息和所述第二竞技信息，预测所述目标虚拟对象进行竞技的行为类型，包括：

根据所述第一竞技信息和所述第二竞技信息，构建所述目标虚拟对象的第一竞技特征图和所述竞技对象的第二竞技特征图；

根据所述第一竞技特征图和所述第二竞技特征图，基于第一强化学习模型预测所述目标虚拟对象进行竞技的行为类型。

3.根据权利要求2所述的方法，其特征在于，所述第一竞技信息包含有所述目标虚拟对象的位置和竞技属性，所述第二竞技信息包含有所述竞技对象的位置和竞技属性；所述根据所述第一竞技信息和所述第二竞技信息，构建所述目标虚拟对象的第一竞技特征图，包括：

根据所述目标虚拟对象在所述虚拟场景中的视野范围确定所述第一竞技特征图的大小，并确定所述第一竞技信息中所述目标虚拟对象含有的竞技属性类型的数量；

根据所述第一竞技特征图的大小，生成与所述第一竞技信息含有的竞技属性类型的数量相同的所述第一竞技特征图；

根据所述第一竞技信息中包含的所述目标虚拟对象的位置，以及所述第二竞技信息中包含的所述竞技对象的位置，将所述目标虚拟对象的各项竞技属性和所述竞技对象的各项竞技属性分别置于所述第一竞技特征图中的对应位置，获得所述目标虚拟对象的第一竞技特征图。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一竞技信息中包含的所述目标虚拟对象的位置，以及所述第二竞技信息中包含的所述竞技对象的位置，将所述目标虚拟对象的各项竞技属性和所述竞技对象的各项竞技属性分别置于所述第一竞技特征图中的对应位置，包括：

将所述目标虚拟对象的各项竞技属性分别置于每张所述第一竞技特征图的中心位置；

根据所述第一竞技信息中包含的所述目标虚拟对象的位置，以及所述第二竞技信息中包含的所述竞技对象的位置，确定所述竞技对象与所述目标虚拟对象之间的位置对应关系；

根据所述位置对应关系，将所述竞技对象的各项竞技属性置于同类型竞技属性的所述第一竞技特征图中的对应位置。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一竞技信息、所述第二竞技信息和所述场景信息预测所述目标虚拟对象的移动位置，包括：

根据所述第一竞技信息和所述第二竞技信息，确定所述目标虚拟对象的第一竞技特征图和所述竞技对象的第二竞技特征图，并根据所述场景信息构建所述虚拟场景的场景特征图；

根据所述第一竞技特征图、所述第二竞技特征图和所述场景特征图，基于第二强化学习模型确定所述目标虚拟对象的移动位置。

6.根据权利要求5所述的方法，其特征在于，所述根据所述场景信息构建所述虚拟场景的场景特征图，包括：

根据所述目标虚拟对象在所述虚拟场景中的视野范围确定所述场景特征图的大小，并根据所述场景信息确定所述虚拟场景中各个位置对应的场景属性；

根据所述场景特征图的大小，以及所述虚拟场景中各个位置对应的场景属性类型的数量，生成与所述场景属性类型的数量相同的所述场景特征图；

根据所述目标虚拟对象在所述虚拟场景中的位置，将所述场景信息中包含的各个位置对应的场景属性分别置于每张所述场景特征图中的对应位置，获得所述虚拟场景的场景特征图。

7.根据权利要求6所述的方法，其特征在于，所述根据所述目标虚拟对象在所述虚拟场景中的位置，将所述场景信息中包含的各个位置对应的场景属性分别置于每张所述场景特征图中的对应位置，包括：

根据所述目标虚拟对象在所述虚拟场景中的位置，确定所述虚拟场景中位于所述目标虚拟对象的视野范围内的目标位置；

以所述目标虚拟对象的位置为所述场景特征图的中心位置，根据所述目标位置与所述目标虚拟对象之间的位置对应关系，将所述目标位置的各项场景属性值置于每张所述场景特征图中的对应位置。

8.根据权利要求1所述的方法，其特征在于，所述根据所述第一竞技信息和所述第二竞技信息预测所述目标虚拟对象的攻击位置，包括：

根据所述第一竞技信息和所述第二竞技信息，确定所述目标虚拟对象的第一竞技特征图和所述竞技对象的第二竞技特征图；

根据所述第一竞技特征图和所述第二竞技特征图，基于第三强化学习模型确定所述目标虚拟对象的攻击位置。

9.根据权利要求1所述的方法，其特征在于，在根据所述行为类型和所述行为位置，控制所述目标虚拟对象与所述竞技对象进行竞技之后，所述方法还包括：

获取所述目标虚拟对象进行竞技的结果信息，以及获取竞技结束后所述目标虚拟对象和所述竞技对象的竞技属性变化信息；

根据所述结果信息和所述竞技属性变化信息，确定所述目标虚拟对象进行竞技的奖励值，所述奖励值用于表征所述行为类型和所述行为位置的预测效果；

根据所述奖励值，调整用于预测所述行为类型和所述行为位置的预测参数。

10.根据权利要求9所述的方法，其特征在于，在根据所述奖励值，调整用于预测所述行为类型和所述行为位置的预测参数之前，所述方法还包括：

获取不同虚拟场景下的目标虚拟对象进行竞技的奖励值；

根据获取到的最大奖励值和最小奖励值进行奖励值的归一化计算，得到归一化奖励值，所述归一化奖励值用于对所述预测参数进行调整。

11.根据权利要求10所述的方法，其特征在于，所述根据所述奖励值，调整用于预测所述行为类型和所述行为位置的预测参数，包括：

将所述归一化奖励值作为权重，计算所述预测参数与所述权重的乘积；

计算所述乘积与不同虚拟场景的数量之间的商，根据所述商对所述预测参数进行更新。

12.一种虚拟对象的控制装置，其特征在于，包括：

信息获取模块，用于获取虚拟场景的场景信息，所述虚拟场景中的目标虚拟对象的第一竞技信息，以及所述目标虚拟对象的竞技对象的第二竞技信息；

行为类型预测模块，用于根据所述第一竞技信息和所述第二竞技信息，预测所述目标虚拟对象进行竞技的行为类型，所述行为类型用于指示所述目标虚拟对象移动或者发起攻击；

行为位置预测模块，用于在所述行为类型指示所述目标虚拟对象移动时，根据所述第一竞技信息、所述第二竞技信息和所述场景信息预测所述目标虚拟对象的移动位置，否则根据所述第一竞技信息和所述第二竞技信息预测所述目标虚拟对象的攻击位置，获得所述目标虚拟对象进行竞技的行为位置；

竞技控制模块，用于根据所述行为类型和所述行为位置，控制所述目标虚拟对象与所述竞技对象进行竞技。

13.一种虚拟对象的控制设备，其特征在于，包括：

存储器，存储有计算机可读指令；

处理器，读取存储器存储的计算机可读指令，以执行权利要求1-11中的任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1-11中的任一项所述的方法。