CN109529338A - 对象控制方法、装置、电子设计及计算机可读介质 - Google Patents

Abstract

本公开涉及一种虚拟场景中的对象控制方法、装置、电子设计及计算机可读介质。该方法包括：获取当前虚拟场景中的场景数据；通过所述场景数据生成特征组数据；将所述特征组输入联合预测模型，确定局部标签和全局标签；以及根据所述局部标签和所述全局标签控制所述对象执行后续操作。本公开涉及的虚拟场景中的对象控制方法、装置、电子设计及计算机可读介质，能够减少数据预处理流程的复杂性，提高任务的并行度，增加游戏中人工智能系统整体的稳定性和鲁棒性。

Description

对象控制方法、装置、电子设计及计算机可读介质

技术领域

本公开涉及计算机信息处理领域，具体而言，涉及一种虚拟场景中的对象控制方法、装置、电子设计及计算机可读介质。

背景技术

在很多涉及计算机系统的虚拟场景中，常常会存在全局和局部(或宏观和微观)的两方面的任务处理。在现有的技术中，通常使用宏观和微观两个独立的模型在虚拟场景中辅助实现A I的操作。宏观和微观两个任务模型输入特征信息相互割裂，两个任务模型的预测增加了AI整体系统的耗时。而实际的应用场景中，很可能情况变化迅速而多样，很难用预定规则合适地区分宏观模型和微观模型的执行顺序和控制范围。

因此，需要一种新的虚拟场景中的对象控制方法、装置、电子设计及计算机可读介质。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种虚拟场景中的对象控制方法、装置、电子设计及计算机可读介质，能够减少数据预处理流程的复杂性，提高任务的并行度，增加游戏中人工智能系统整体的稳定性和鲁棒性。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提出一种虚拟场景中的对象控制方法，该方法包括：获取虚拟场景中的场景数据；通过所述场景数据生成特征组数据；将所述特征组数据输入联合预测模型，确定所述虚拟场景中的对象的局部处理操作和全局处理操作；以及根据所述局部处理操作和所述全局处理操作控制所述对象执行后续操作。

根据本公开的一方面，提出一种虚拟场景中的对象控制方法，该装置包括：信息模块，用于获取当前虚拟场景中的场景数据；数据模块，用于通过所述场景数据生成特征组数据；标签模块，用于将所述特征组数据输入联合预测模型，确定所述当前虚拟场景中的对象的局部处理操作和全局处理操作；以及操作模块，用于根据所述局部处理操作和所述全局处理操作控制所述对象执行后续操作。

根据本公开的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。

根据本公开的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。

根据本公开的虚拟场景中的对象控制方法、装置、电子设计及计算机可读介质，能够减少数据预处理流程的复杂性，提高任务的并行度，增加游戏中人工智能系统整体的稳定性和鲁棒性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术中虚拟场景中的对象控制方法的示意图。

图2是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的系统框图。

图3是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的应用场景示意图。

图4是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的应用场景示意图。

图5是根据另一示例性实施例示出的一种虚拟场景中的对象控制方法的流程图。

图6是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的示意图。

图7是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的示意图。

图8是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的示意图。

图9是根据另一示例性实施例示出的一种虚拟场景中的对象控制方法的流程图。

图10是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的示意图。

图11是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的示意图。

图12是根据一示例性实施例示出的一种虚拟场景中的对象控制装置的框图。

图13是根据另一示例性实施例示出的一种虚拟场景中的对象控制装置的框图。

图14是根据一示例性实施例示出的一种电子设备的框图。

图15是根据一示例性实施例示出一种计算机可读存储介质示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。

可例如，在在多人在线战术竞技游戏(Multiplayer Online Battle Arena，MOBA)类游戏中，其玩法是将玩家分成两个敌对阵营，通过分散在地图中互相竞争，以摧毁预定目标为最终目的。玩家在游戏中主要进行两个层面上的思考和操作，一个是宏观，即策略战术层面的调度；一个是微观，即具体场景下对虚拟场景中的对象单位的操作。对于MOBA类游戏的人工智能(Artificial Intelligence，AI)操作来说，通常使用宏观和微观两个独立的模型实现AI的操作。本申请的发明人发现，现有技术中，对于MOBA类游戏AI来说，通常使用宏观和微观两个独立的模型实现AI的操作。其中，在本公开中宏观主要是对虚拟场景中的对象进行大范围的转移调度，以期更好地获取资源，或在局部战斗中获得人数优势。宏观在玩家具体执行中以移动操作为主。其中，在本公开中微观主要是虚拟场景中的对象在具体场景下的细节操作，如精确的移动走位，攻击目标的选择，技能的选择和精确施放。

相关技术中的游戏AI模型主要是针对游戏中一个独立具体的任务进行建模。与本发明最相近的相关技术是基于深度学习方法建立模型，通过模型的判断，AI控制虚拟场景中的对象完成具体的单一任务，如移动、建造建筑等。考虑到MOBA类游戏的操作特性，传统游戏AI主要通过分层设计，转化为宏观和微观两个模型进行实现。宏观模型负责控制目标在不同场景间的转移调度，微观模型负责目标在固定场景下的操作。

相关技术方案的具体工作流程可如图1所示，相关技术中对宏观和微观两个任务，采用两个独立的模型实现。对于每一个执行时间周期主要有3个步骤：

1)模型训练。利用训练数据提取宏观所需的特征和目标标签，得到宏观任务模型。微观模型的训练过程相似。

2)执行过程中，对实时数据分别提取对应任务的特征，串行执行模型预测。

3)解析模型预测结果，并通过专家规则决定执行宏观调度或微观攻击。

相关技术中的MOBA类游戏AI通过分层式的两个独立任务模型进行实现，主要存在三个缺点：1，两个任务模型输入特征信息相互割裂，宏观模型仅考虑了全局信息，如各虚拟场景中的对象在地图上的位置分布。而微观模型仅考虑了玩家当前画面内的局部信息。2，两个任务模型的预测增加了游戏AI整体系统的耗时。3，两个任务模型的结果在执行上存在衔接问题。宏观模型的结果主要负责虚拟场景中的对象的大范围转移，主要是移动操作。微观模型的结果主要负责虚拟场景中的对象在局部战斗的攻击和技能施放。而实现对战过程中，战场的变化迅速而多样，难以用预定规则合适地区分宏观模型和微观模型的执行顺序和控制范围。如在大范围转移过程中的遭遇战，难以判定应该继续执行调度移动，还是执行微观攻击。

有鉴于相关技术中存在的困境，本发明提出的虚拟场景中的对象控制方法及装置技术，能够实现MOBA类游戏AI宏观和微观的联合建模。联合模型通过提取涵盖游戏全面信息的各种特征,对宏观和微观各自标签进行统一的训练建模。进而能够同时输出宏观以及微观相关操作信息，有效地解决在现有技术中存在的上述缺点，提高了模型的训练效率，减少了系统耗时。同时，利用多任务间的协同效应，提高了任务的预测效果。

当然，本公开的虚拟场景中的对象控制方法不仅限于虚拟游戏领域的应用，还可应用于远程交通控制领域，例如，通过目标汽车的周围环境图(局部信息)与场景地图(全局信息)共同确定目标汽车的行驶路线等。

下面将结合具体的实施例对本公开的内容进行详细的描述：

图2是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的系统框图。

如图2所示，系统架构200可以包括终端设备201、202、203，网络204和服务器205。网络204用以在终端设备201、202、203和服务器205之间提供通信链路的介质。网络204可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备201、202、203通过网络204与服务器205交互，以接收或发送消息等。终端设备201、202、203上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、游戏类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备201、202、203可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器205可以是提供各种服务的服务器，例如对用户利用终端设备201、202、203所浏览的游戏类网站提供支持的后台管理服务器。用户利用终端设备201、202、203对操控游戏中的虚拟游戏对象进行操作，该游戏可例如为MOBA类游戏。

在一个实施例中，在用户暂时无法处理终端设备201、202、203上虚拟游戏对象的游戏操作时，可向服务器205发出请求，服务器205接收来自终端设备201、202、203的请求，服务器205根据请求接管用户在终端设备201、202、203上的虚拟游戏对象，并继续对该虚拟游戏对象进行操控，以利于整体MOBA类游戏的进行。

在终端设备201、202、203的发出请求后，服务器205可例如获取当前虚拟场景中的场景数据；服务器205可例如通过场景数据生成特征组数据；服务器205可例如将特征组输入联合预测模型，确定当前虚拟场景中的对象的局部处理操作和全局处理操作；服务器205可例如根据局部处理操作和全局处理操作控制对象执行后续操作。

服务器205还可例如通过历史场景数据与多任务机器学习方法训练该联合预测模型。

服务器205可以是一个实体的服务器，还可例如为多个服务器组成，服务器205中的一部分可例如用于用于获取当前虚拟场景中的场景数据，场景数据包括对象状态信息、对象环境信息、局部画面信息，以及全局画面信息；通过场景数据生成特征组数据；将特征组输入联合预测模型，确定当前虚拟场景中的对象的局部处理操作和全局处理操作；以及根据局部处理操作和全局处理操作控制对象执行后续操作；以及服务器205中的一部分还可例如，用于通过历史场景数据训练多任务机器学习方法以确定联合预测模型。

在一个实施例中，在用户暂时无法处理终端设备201、202、203上虚拟游戏对象的游戏操作时，可通过该网络游戏事先储存在用户终端设备201、202、203中的程序接管用户在终端设备201、202、203上的虚拟游戏对象，并继续对该虚拟游戏对象进行操控，以利于整体MOBA类游戏的进行。

终端设备201、202、203可例如获取当前虚拟场景中的场景数据；终端设备201、202、203可例如通过场景数据生成特征组数据；终端设备201、202、203可例如将特征组输入联合预测模型，确定当前虚拟场景中的对象的局部处理操作和全局处理操作；终端设备201、202、203根据局部处理操作和全局处理操作控制对象执行后续操作。

终端设备201、202、203还可例如通过历史场景数据与多任务机器学习方法以确定联合预测模型。

需要说明的是，本公开实施例所提供的虚拟场景中的对象控制方法可以由服务器205或终端设备201、202、203中执行，相应地，虚拟场景中的对象控制装置可以设置于服务器205或终端设备201、202、203中中。而提供给用户进行游戏操作的网页端与向服务器205提出请求的请求端一般位于终端设备201、202、203中。

根据本公开的虚拟场景中的对象控制方法及装置，通过统一宏观任务与微观任务的输入特征，同时提取宏观任务标签和微观任务标签，基于多任务学习思想进行宏观和微观联合建模，在联合预测模型中宏观的预测结果作为微观模型部分的输入的方式，能够减少数据预处理流程的复杂性，提高任务的并行度，增加游戏中人工智能系统整体的稳定性和鲁棒性。

图3是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的应用场景示意图。在如图3的应用场景中，用户通过远程的服务器操作移动终端中的虚拟对象。

在一个实施例中，用户在终端中操控游戏画面中的虚拟对象，用户可向服务器端发起远程操控请求，并传送当前游戏帧信息；远程服务获取用户终端处的当前游戏数据(可例如为本申请中的虚拟场景数据)，服务器利用当前游戏数据提取联合模型所需的特征组数据；通过联合模型进行预测，服务器可以同时得到宏观事件标签和微观操作标签以及其对应的操作参数；服务器将联合模型预测结果返回英雄客户端，并根据预测结果执行宏观层面的移动调度或微观层面的攻击操作。

图4是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的应用场景示意图。在如图4的应用场景中，用户通过本地应用程序操作移动终端中的虚拟对象。

在一个实施例中，用户在终端中操控游戏画面中的虚拟对象，在有需要时，可通过该网络游戏事先储存在用户终端设备中的程序接管用户游戏中的虚拟游戏对象，用户发起操控请求，并传送当前游戏帧信息；本地服务获取用户终端处的当前游戏数据(可例如为本申请中的虚拟场景数据)，本地服务利用当前游戏数据提取联合模型所需的特征组数据；通过联合模型进行预测，本地服务可以同时得到宏观事件标签和微观操作标签以及其对应的操作参数，本地服务根据预测结果执行宏观层面的移动调度或微观层面的攻击操作。

图5是根据另一示例性实施例示出的一种虚拟场景中的对象控制方法的流程图。虚拟场景中的对象控制方法50至少包括步骤S502至S508。

如图5所示，在S502中，获取虚拟场景中的场景数据。其中，场景数据包括对象状态信息、对象环境信息、局部画面信息，以及全局画面信息。

其中，对象状态信息可包括对象的等级、攻击数、防御数、击杀数等等；对象的环境信息可包括对象周围的虚拟环境信息，可例如为对象所处的虚拟外界条件、虚拟气候等，对象的环境信息还可包括除待控制的对象A之外，其他的对象B、对象C、以及对象D。其中，对象B可例如为其他游戏玩家操控的虚拟游戏对象，对象C可为其他人工智能操控的虚拟游戏对象，对象D可为游戏本申预设的可活动对象，具体可包括虚拟怪兽，虚拟引导人物等等，本申请不以此为限。

图6是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的示意图。如图6所示，局部画面信息可为游戏画面中的地图类画面信息，地图类画面信息用于展示虚拟对象在整个游戏中全局相关的信息，可例如展示虚拟游戏对象所处的位置等；全局画面信息可为游戏画面中虚拟对象当前视野中的局部场景中的信息，可例如展示虚拟游戏对象具体的攻击动作，移动方向等。

在S504中，通过场景数据生成特征组数据。特征组数据包括局部特征组数据、全局特征组数据、以及对象特征组数据。

在一个实施例中，通过场景数据生成特征组数据包括：通过对象的局部画面信息生成局部特征组数据；通过对象的全局画面信息生成全局特征组数据；以及通过对象状态信息和对象环境信息生成对象特征组数据。

在传统的独立建模方式中，宏观模型的输入特征主要是全局信息相关的图片类特征数据和其对应的矢量特征，微观模型的输入特征则主要是局部信息相关的图片类特征数据和其对应的矢量特征。但在实际游戏场景中，状态形势常常变化迅速，全局信息和局部信息往往相互联系和影响，玩家根据两者信息才能做出最佳的决策。参考真实玩家在游戏过程中考虑的主要信息，在本申请中对虚拟对象当前状态使用三个方面的信息进行描述，一是全局小地图相关的图片类特征数据(在本实施例中可例如为局部特征组数据)，二是当前视野相关的图片类特征数据(在本实施例中可例如为全局特征组数据)，三是表征游戏各单位状态属性信息的矢量特征(在本实施例中可例如为对象特征组数据)。

在一个实施例中，局部特征组数据和全局特征组数据为多通道二维图像特征数据。图像特征数据是通过图像特征提取获得的对象的特点或特性，或是这些特点和特性的集合。图像特征数据是通过测量或处理能够抽取的数据，对于图像而言，每一幅图像中的对象都具有能够区别于其他图像的自身特征，有些是可以直观地感受到的特征，如亮度、边缘、纹理和色彩等；有些则是需要通过变换或处理才能得到的，如矩、直方图以及主成份等。

在一个实施例中，可例如获取虚拟对象的局部画面信息，将其转换为多个通道的二维特征。如虚拟对象的位置可以表示为32*32大小的二维矩阵。不同的通道表示不同类的信息，如位置、可攻击范围、障碍物等。

在一个实施例中，可例如获取虚拟对象的全局画面信息，将其转换为多个通道的二维特征。如虚拟对象的地图可以表示为64*64大小的二维矩阵。不同的通道表示不同类的信息，如目标地址、地图上其他对象位置、障碍物等。

在一个实施例中，可将某一类对象的多个或多种特性组合在一起，形成一个特征向量来代表该类对象，如果只有单个数值特征，则特征向量为一个一维向量，如果是n个特性的组合，则为一个n维特征向量。在本申请实施例中，所用到的图像特征数据可为二维图像特征数据。当然，也可通过三维或者多维图像特征数据进行本申请中的后续步骤，本申请不以此为限。

在一个实施例中，通过对象的局部画面信息生成局部特征组数据包括：将对象的局部画面信息输入第一多层卷积神经网络模型，获取局部特征组数据；通过对象的全局画面信息生成全局特征组数据包括：将对象的全局画面信息输入第二多层卷积神经网络模型，获取全局特征组数据。

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理，在本公开一个实施例中的卷积神经网络包括卷积层和池化层。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三维卷积神经网络主要应用于医学图像以及视频类数据识别。本申请中的第一与第二多层卷积神经网络均可为三维卷积申请网络。

在S506中，将特征组数据输入联合预测模型，确定虚拟场景中对象的局部处理操作和全局处理操作。

图7是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的示意图，如图7所示，在宏观层面，全局处理操作对应的标签即为全局标签，全局标签展示了宏观事件以及事件的详细参数。全局标签可例如为：团战事件、打野事件、推塔事件、以及清兵事件等。对应不不同的全局标签，全局标签的详细参数可例如为：团战事件中的虚拟对象数以及各个虚拟对象的技能参数；打野事件中的野兽数量以及对应的野兽等级；推塔事件中的塔数，以及具体位置等等。

图8是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的示意图，如图8所示，在微观层面，局部处理操作对应的标签即为局部标签，局部标签展示了虚拟对象具体的原子微观，具体可为虚拟对象的左右手操作。局部标签可例如为：移动、普攻、技能1，技能2、技能3，对应不不同的局部标签，局部标签的详细参数可例如为：移动的方向、技能1的方向等等。

在一个实施例中，通过历史场景数据训练多任务机器学习方法以确定联合预测模型。具体可例如通过视频数据提取历史场景数据；通过历史场景数据生成历史特征组数据；通过数据历史场景数据获取历史局部标签与历史全局标签；以及通过历史特征组数据与历史局部标签、历史全局标签训练多任务机器学习方法以确定联合预测模型联合预测模型的模型训练生成过程将在如图9的实施例中进行具体描述。

在一个实施例中，在建立联合预测模型后，首先获取当前虚拟场景中的场景数据；通过场景数据生成局部特征组数据、全局特征组数据、以及对象特征组数据，将局部特征组数据、全局特征组数据、以及对象特征组数据输入联合预测模型，确定当前虚拟场景中的对象的局部标签和全局标签。

在S508中，根据局部处理操作和全局处理操作控制对象执行后续操作。包括：根据局部标签和全局标签控制对象执行全局操作；和/或根据局部标签和全局标签控制对象执行局部操作。

在一个实施例中，根据局部标签和全局标签控制对象执行全局操作包括，控制对象进行大范围的移动调度；根据局部标签和全局标签控制对象执行局部操作包括：控制对象在局部战斗的进行攻击和技能施放。

根据本公开的虚拟场景中的对象控制方法，通过包括局部特征组数据、全局特征组数据、以及对象特征组数据的特征组数据统一了输入特征，使得宏观和微观获取信息一致，保证任务决策的一致性，在远程请求建立的初步阶段，减少了由于远程系统识别错误导致的虚拟对象无效的徘徊和拉扯问题。也为后续联合建模共享网络中的隐层参数提供了实现基础。

根据本公开的虚拟场景中的对象控制方法，通过将宏观和微观训练标签同步，体现了宏观事件和微观操作的关联性。利用不同任务间的协同效应，扩大了类间距离、缩小类内距离，有效地提高任务预测效果。同时宏观的预测结果作为微观模型部分的输入。

根据本公开的虚拟场景中的对象控制方法，宏观和微观使用同一套数据处理流程进行游戏数据特征和标签的提取，减少了数据预处理流程的复杂性，提高了任务的并行度。在联合预测模型的预测执行过程中，省去了宏观和微观双模型切换选择的问题，减少了执行结果拉扯冲突的现象。同时减少了模型预测耗时，提高了游戏AI系统整体的稳定性和鲁棒性。

应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施例。

图9是根据另一示例性实施例示出的一种虚拟场景中的对象控制方法的流程图。图9所示的流程90是对图5所示的流程中S506“将特征组输入联合预测模型，确定当前虚拟场景中的对象的局部标签和全局标签”中联合预测模型的训练过程的详细描述。

在S902中，通过视频数据提取历史场景数据。视频数据可例如为虚拟游戏中玩家对局的录像数据。

在一个实施例中，通过视频数据提取历史场景数据包括：按帧提取视频数据，生成多个帧数据；以及根据事件切分方法剔除多个帧数据中的无效数据以生成历史场景数据。对大量的历史玩家对战录像进行数据量化，得到以游戏帧为单位的游戏信息数据。对每一帧游戏数据，判断是否符合已定义的事件，如团战、打野等。通过以上已定义的事件的切分过滤游戏中的无效数据。

在一个实施例中，在生成多个帧数据之后还包括：将多个帧数据进行打散处理。对不同一局的游戏帧数据进行打散处理，即A局游戏中的所有帧数据与其他局游戏中的所有帧数据进行随机交换。帧数据经过打散处理后可以减少训练数据中帧与帧之间的耦合性，避免模型过拟合的情况。

在S904中，通过历史场景数据生成历史特征组数据。在一个实施例中，通过历史场景数据生成特征组数据包括：通过对象的历史局部画面信息生成局部特征组数据；通过对象的历史全局画面信息生成全局特征组数据；以及通过对象历史状态信息和对象历史环境信息生成对象特征组数据。

在S906中，通过数据历史场景数据获取历史局部标签与历史全局标签。历史全局标签可例如为：团战事件、打野事件、推塔事件、以及清兵事件等。历史局部标签可例如为：移动、普攻、技能1，技能2、技能3等。

在S908中，通过历史特征组数据与历史局部标签、历史全局标签与多任务机器学习方法获取联合预测模型。可包括：将局部特征组数据、全局特征组数据、对象特征组数据、历史局部标签、历史全局标签训练多任务机器学习方法以确定联合预测模型。

在一个实施例中，联合预测模型为多任务学习模型(Multi-task learning)，多任务学习模型可以学习到多个任务的共享表示，具有较强的抽象能力，能够适应多个不同但相关的目标任务，使得训练任务具有更好的泛化能力。多任务学习模型通过对输入特征的统一，在学习网络中可以连接若干共享隐层，这些隐层可以被多个任务共享利用，促使多个任务共同学习，提高协同效应。在本申请中的宏观和微观可以充分利用协同任务训练信号中的特定领域信息，在测试集上产生更好的表现能力和泛化能力。

其中，联合预测模型可为神经网络模型结构。本发明不具体限定尝试神经网络的模型类型和拓扑结构，联合预测模型可为各种其它有效的新型模型结构，如深度神经网络模型(Deep Neural Networks，DNN)、长短期记忆网络模型(Long Short-Term Memory，LSTM)、或其他神经网络结构。实际应用中可以根据资源使用需要、准确率要求、计算时间要求等对网络结构或网络层数进行拓展或优化

图10是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的示意图。图10示例性的描述了通过局部特征组数据、全局特征组数据、对象特征组数据、历史局部标签、历史全局标签训练多任务机器学习方法以确定联合预测模型。

如图10所示，在一个实施例中，可利用多层的卷积神经网络对图像特征数据进行处理，实现对二维图像特征数据的调试抽象化。具体可例如，将对象的局部画面信息输入第一多层卷积神经网络模型，获取局部特征组数据；将对象的全局画面信息输入第二多层卷积神经网络模型，获取全局特征组数据。

在一个实施例中，将局部特征组数据、全局特征组数据、对象特征组数据输入多任务学习模型中，作为训练数据；将历史局部标签、历史全局标签输入多任务学习模型中，作为标签数据，通过训练数据与标签数据进行多任务学习模型的训练。

在一个实施例中，设置预定的损失函数指标，在多任务模型训练过程中，通过多任务模型不断地迭代降低多任务学习模型的损失函数输出，直至满足一定的迭代轮数或损失误差达到一定的值时，确定训练好的多任务模型为联合预测模型。

根据本公开的虚拟场景中的对象控制方法，联合预测模型通过共享网络隐层参数的形式，允许任一任务中的部分网络结构参数可以被其他任务使用。多个任务并行训练并共享不同任务已学习到的特征表示，提高模型的泛化准确率、学习速度和模型的可解析性。

图11是根据一示例性实施例示出的一种虚拟场景中的对象控制方法的示意图。图11示意性的说明了多任务联合训练模型的训练过程以及实际应用场景中的使用过程。

首先通过训练数据(历史场景数据)多任务学习模型建立联合预测模型，具体例如，首先提取训练数据中特征组数据(可包括局部特征组数据、第二特征在数据、以及对象特征组数据)与标签数据(局部标签与全局标签)；并通过多次迭代训练神经网络模型。

在实际应用场景中，客户端发起请求，并传送当前游戏帧信息；利用当前游戏帧数据提取联合模型所需的所有特征；利用已训练好的联合模型进行预测，可以同时得到宏观事件标签和微观操作标签以及其对应的操作参数；游戏AI可以直接根据预测结果对虚拟对象进行移动调度或微观操作。

根据本公开的虚拟场景中的对象控制方法，提出了一种MOBA游戏AI的宏观和微观联合建模的方法，其统一了模型的输入特征，并且同时预测宏观和微观两个任务，减少了模型的复杂度，通过共享信息加强了宏观和微观任务的协同性，提高了模型的学习能力和泛化能力，为MOBA游戏AI提高了简洁、完整、高效的实现框架。

本公开的虚拟场景中的对象控制方法，已经作为某虚拟游AI中重要的一种建模方式，减少了模型在实际运用中的耗时和资源占用，提高了模型的表现能力，使游戏AI的能力得到了很大的提升。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本公开提供的上述方法所限定的上述功能。的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图12是根据一示例性实施例示出的一种虚拟场景中的对象控制装置的框图。虚拟场景中的对象控制装置1200包括：信息模块1202，数据模块1204，标签模块1206，以及操作模块1208。

信息模块1202用于获取当前虚拟场景中的场景数据，所述场景数据包括对象状态信息、对象环境信息、局部画面信息，以及全局画面信息；其中，所述场景数据包括对象状态信息、对象环境信息、局部画面信息，以及全局画面信息。

数据模块1204用于通过所述场景数据生成特征组数据；所述特征组数据包括局部特征组数据、全局特征组数据、以及对象特征组数据，所述场景数据包括对象状态信息、对象环境信息、局部画面信息，以及全局画面信息；

在一个实施例中，通过所述场景数据生成特征组数据包括：通过所述对象的局部画面信息生成局部特征组数据；通过所述对象的全局画面信息生成全局特征组数据；以及通过所述对象状态信息和所述对象环境信息生成对象特征组数据。

标签模块1206用于将所述特征组输入联合预测模型，确定所述当前虚拟场景中的对象的局部标签和全局标签；

全局标签可例如为：团战事件、打野事件、推塔事件、以及清兵事件等。对应不不同的全局标签，全局标签的详细参数可例如为：团战事件中的虚拟对象数以及各个虚拟对象的技能参数；打野事件中的野兽数量以及对应的野兽等级；推塔事件中的塔数，以及具体位置等等。

局部标签展示了虚拟对象具体的原子微观，具体可为虚拟对象的左右手操作。局部标签可例如为：移动、普攻、技能1，技能2、技能3，对应不不同的局部标签，局部标签的详细参数可例如为：移动的方向、技能1的方向等等。

操作模块1208用于根据所述局部标签和所述全局标签控制所述对象执行后续操作。包括：根据所述局部标签和所述全局标签控制所述对象执行全局操作；和/或根据所述局部标签和所述全局标签控制所述对象执行局部操作。

根据本公开的虚拟场景中的对象控制装置，通过包括局部特征组数据、全局特征组数据、以及对象特征组数据的特征组数据统一了输入特征，使得宏观和微观获取信息一致，保证任务决策的一致性，在远程请求建立的初步阶段，减少了由于远程系统识别错误导致的虚拟对象无效的徘徊和拉扯问题。也为后续联合建模共享网络中的隐层参数提供了实现基础。

图13是根据另一示例性实施例示出的一种虚拟场景中的对象控制装置的框图。虚拟场景中的对象控制装置1300在虚拟场景中的对象控制装置1200的基础上还包括：训练模块1302。

训练模块1302用于通过历史场景数据训练多任务机器学习方法以确定所述联合预测模型。包括：通过视频数据提取历史场景数据；通过所述历史场景数据生成历史特征组数据；通过数据历史场景数据获取历史局部标签与历史全局标签；以及通过所述历史特征组数据与历史局部标签、历史全局标签训练多任务机器学习方法以确定所述联合预测模型。

根据本公开的虚拟场景中的对象控制方法，联合预测模型通过共享网络隐层参数的形式，允许任一任务中的部分网络结构参数可以被其他任务使用。多个任务并行训练并共享不同任务已学习到的特征表示，提高模型的泛化准确率、学习速度和模型的可解析性。

图14是根据一示例性实施例示出的一种电子设备的框图。

下面参照图14来描述根据本公开的这种实施方式的电子设备1400。图14显示的电子设备1400仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图14所示，电子设备1400以通用计算设备的形式表现。电子设备1400的组件可以包括但不限于：至少一个处理单元1410、至少一个存储单元1420、连接不同系统组件(包括存储单元1420和处理单元1410)的总线1430、显示单元1440等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1410执行，使得所述处理单元1410执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元1410可以执行如图5，图10中所示的步骤。

所述存储单元1420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)14201和/或高速缓存存储单元14202，还可以进一步包括只读存储单元(ROM)14203。

所述存储单元1420还可以包括具有一组(至少一个)程序模块14205的程序/实用工具14204，这样的程序模块14205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1400也可以与一个或多个外部设备1400’(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1400交互的设备通信，和/或与使得该电子设备1400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1450进行。并且，电子设备1400还可以通过网络适配器1460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器1460可以通过总线1430与电子设备1400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。

图15示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。

参考图15所示，描述了根据本公开的实施方式的用于实现上述方法的程序产品1500，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：获取当前虚拟场景中的场景数据；通过所述场景数据生成特征组数据；将所述特征组输入联合预测模型，确定局部标签和全局标签；以及根据所述局部标签和所述全局标签控制所述对象执行后续操作。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。

以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (14)

1.一种虚拟场景中的对象控制方法，其特征在于，包括：

获取虚拟场景中的场景数据；

通过所述场景数据生成特征组数据；

将所述特征组数据输入联合预测模型，确定所述虚拟场景中对象的局部处理操作和全局处理操作；以及

根据所述局部处理操作和所述全局处理操作控制所述对象执行后续操作。

2.如权利要求1所述的方法，其特征在于，所述特征组数据包括局部特征组数据、全局特征组数据、以及对象特征组数据，所述场景数据包括对象状态信息、对象环境信息、局部画面信息，以及全局画面信息；

通过所述场景数据生成特征组数据包括：

通过所述对象的局部画面信息生成局部特征组数据；

通过所述对象的全局画面信息生成全局特征组数据；以及

通过所述对象状态信息和所述对象环境信息生成对象特征组数据。

3.如权利要求2所述的方法，其特征在于，通过所述对象的局部画面信息生成局部特征组数据包括：

将所述对象的局部画面信息输入第一多层卷积神经网络模型，获取所述局部特征组数据。

4.如权利要求2所述的方法，其特征在于，通过所述对象的全局画面信息生成全局特征组数据包括：

将所述对象的全局画面信息输入第二多层卷积神经网络模型，获取所述全局特征组数据。

5.如权利要求3或4所述的方法，其特征在于，所述局部特征组数据和所述全局特征组数据均为多通道二维图像特征数据。

6.如权利要求1所述的方法，其特征在于，还包括：

通过历史场景数据与多任务机器学习方法获取所述联合预测模型。

7.如权利要求6所述的方法，其特征在于，通过历史场景数据与多任务机器学习方法确定所述联合预测模型包括：

通过视频数据提取历史场景数据；

通过所述历史场景数据生成历史特征组数据；

通过数据历史场景数据获取历史局部标签与历史全局标签；以及

通过所述历史特征组数据与历史局部标签、历史全局标签与多任务机器学习方法获取所述联合预测模型。

8.如权利要求7所述的方法，其特征在于，通过视频数据提取历史场景数据包括：

按帧提取所述视频数据，生成多个帧数据；以及

根据事件切分方法剔除所述多个帧数据中的无效数据以生成历史场景数据。

9.如权利要求8所述的方法，其特征在于，在生成多个帧数据之后还包括：

将所述多个帧数据进行打散处理。

10.如权利要求2或7所述的方法，其特征在于，通过所述历史特征组数据与历史局部标签、历史全局标签与多任务机器学习方法获取所述联合预测模型包括：

通过所述历史特征组数据生成局部特征组数据、全局特征组数据、对象特征组数据；

通过所述局部特征组数据、全局特征组数据、对象特征组数据、历史局部标签、历史全局标签训练所述多任务机器学习方法中的初始模型；以及

将训练完毕的初始模型作为所述联合预测模型。

11.一种虚拟场景中的对象控制装置，其特征在于，包括：

信息模块，用于获取虚拟场景中的场景数据，所述场景数据包括对象状态信息、对象环境信息、局部画面信息，以及全局画面信息；

数据模块，用于通过所述场景数据生成特征组数据；

标签模块，用于将所述特征组数据输入联合预测模型，确定所述虚拟场景中的对象的局部处理操作和全局处理操作；以及

操作模块，用于根据所述局部处理操作和所述全局处理操作控制所述对象执行后续操作。

12.如权利要求11所述的装置，其特征在于，还包括：

训练模块，用于通过历史场景数据与多任务机器学习方法获取所述联合预测模型。

13.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。