CN111282281B - 图像处理方法及装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本公开实施例提供了一种图像处理方法及装置、电子设备和计算机可读存储介质，属于计算机技术领域。该方法包括：获取目标游戏的游戏图像，游戏图像中包括第一方对象和第二方对象；获得游戏图像中第一方对象的第一方目标和第二方对象的第二方目标，以及分别获得第一方目标和第二方目标的目标类别和目标位置；根据游戏图像中的第一方目标和第二方目标的目标类别和目标位置，构建游戏图像的第一方特征和第二方特征；通过深度网络模型分别对第一方特征和第二方特征进行处理，确定在游戏图像中第二方对象针对第一方对象的处理方式。通过本公开实施例提供的方案，能够根据游戏图像自动确定游戏中采取的处理方式。

Description

图像处理方法及装置、电子设备和计算机可读存储介质

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种图像处理方法及装置、电子设备和计算机可读存储介质。

背景技术

目前，随着人工智能技术的发展，游戏平台推出一些游戏，让用户可以和利用人工智能实现的计算机系统进行对战，而不一定需要对战的双方都是真实的“人”。由于计算机系统不是真实的“人”，其在与用户进行对战时，就需要获取当前敌我双方的游戏状态数据，从而决定采取攻击策略还是撤退策略。

相关技术中，采用基于游戏内部接口的强化学习方案，首先，人工定义游戏战斗的奖励函数，将战斗的输赢作为强化学习的奖励函数，通过多次与环境交互，训练游戏平台的基于人工智能的计算机系统，以使其能够学习到一定的游戏战斗策略，其中包含了敌我双方的战力计算。

由于上述方案需要大量的游戏环境交互次数，需要通过游戏内部接口提取当前的游戏状态和目标的属性状态。但是，由于大部分游戏没有提供游戏的内部接口，无法直接提供当前的游戏状态数据，也无法对战斗过程进行加速，在这种情况下，采用上述方案会耗费大量的时间。另外，在定义游戏奖励函数时，需要手工设计不同因素的影响权重，包括战斗损失的血量、战斗的耗时等，设计一个效果好的奖励需要较高的门槛。

因此，需要一种新的图像处理方法及装置、电子设备和计算机可读存储介质。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。

发明内容

本公开实施例提供一种图像处理方法及装置、电子设备和计算机可读存储介质，能够。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

本公开实施例提供一种图像处理方法，所述方法包括：获取目标游戏的游戏图像，游戏图像中包括第一方对象和第二方对象；获得游戏图像中第一方对象的第一方目标和第二方对象的第二方目标，以及分别获得第一方目标和第二方目标的目标类别和目标位置；根据游戏图像中的第一方目标和第二方目标的目标类别和目标位置，构建游戏图像的第一方特征和第二方特征；通过深度网络模型分别对第一方特征和第二方特征进行处理，确定在游戏图像中第二方对象针对第一方对象的处理方式。

本公开实施例提供一种图像处理装置，所述装置包括：目标游戏图像获取单元，用于获取目标游戏的游戏图像，游戏图像中包括第一方对象和第二方对象；目标类别位置获得单元，用于获得游戏图像中第一方对象的第一方目标和第二方对象的第二方目标，以及分别获得第一方目标和第二方目标的目标类别和目标位置；双方图像特征构建单元，用于根据游戏图像中的第一方目标和第二方目标的目标类别和目标位置，构建游戏图像的第一方特征和第二方特征；处理方式自动确定单元，用于通过深度网络模型分别对第一方特征和第二方特征进行处理，确定在游戏图像中第二方对象针对第一方对象的处理方式。

本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的图像处理方法。

本公开实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像处理方法。

在本公开的一些实施例所提供的技术方案中，一方面，基于对目标游戏中的游戏图像的处理，即可自动确定计算机系统应该采取何种对战处理方式，不需要借助游戏内部接口，因此，即使没有游戏内部接口，计算机系统也能较快的获知双方的游戏状态数据，且耗费的计算资源较少，运行速度较快；另一方面，通过对游戏图像进行处理，提取出游戏图像中的双方的关键目标(例如第一方目标和第二方目标)的目标类别和目标位置，从而能够去除游戏图像中的背景干扰，提高后续深度网络模型的预测准确率和效率。同时，还可以根据提取的双方关键目标的目标类别和目标位置，构建双方的特征，深度网络模型能够利用不同特征之间的关系，配合网络结构，较快地进行双方战力(例如第一方对象指标和第二方对象指标)的分析，从而能够实时地、准确地确定对战决策(例如处理方式)。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；

图3示意性示出了根据本公开的一实施例的图像处理方法的流程图；

图4示意性示出了根据本公开的一实施例的MOBA游戏图像的示意图；

图5示意性示出了根据本公开的一实施例的图像处理方法的流程图；

图6示意性示出了根据本公开的一实施例的MOBA游戏中的目标的示意图；

图7示意性示出了根据本公开的一实施例的技能匹配的示意图；

图8示意性示出了根据本公开的一实施例的图像处理方法的流程图；

图9示意性示出了根据本公开的一实施例的我方特征的示意图；

图10示意性示出了根据本公开的一实施例的深度网络模型的架构示意图；

图11示出了图3中所示的步骤S320在一实施例中的处理过程示意图；

图12示出了图3中所示的步骤S330在一实施例中的处理过程示意图；

图13示意性示出了根据本公开的一实施例的图像处理方法的流程图；

图14示意性示出了根据本公开的一实施例的图像处理方法的流程图；

图15示出了图3中所示的步骤S340在一实施例中的处理过程示意图；

图16示出了图15中所示的步骤S341在一实施例中的处理过程示意图；

图17示出了图15中所示的步骤S342在一实施例中的处理过程示意图；

图18示意性示出了根据本公开的一实施例的图像处理方法的流程图；

图19示意性示出了根据本公开的一实施例的图像处理装置的框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构100的示意图。

如图1所示，系统架构100可以包括终端设备101、102，网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102通过网络103与服务器104交互，以接收或发送消息等。其中，终端设备101、102可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。

服务器104可以是提供各种服务的服务器，例如对用户利用终端设备101、102所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。

服务器104可例如获取目标游戏的游戏图像，游戏图像中包括第一方对象和第二方对象；服务器104可例如获得游戏图像中第一方对象的第一方目标和第二方对象的第二方目标，以及分别获得第一方目标和第二方目标的目标类别和目标位置；服务器104可例如根据游戏图像中的第一方目标和第二方目标的目标类别和目标位置，构建游戏图像的第一方特征和第二方特征；服务器104可例如通过深度网络模型分别对第一方特征和第二方特征进行处理，确定在游戏图像中第二方对象针对第一方对象的处理方式。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，服务器104可以是一个实体的服务器，还可以为多个服务器组成的服务器集群，还可以是云端服务器，根据实际需要，可以具有任意数目的终端设备、网络和服务器。

图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统200包括中央处理单元(CPU，Central Processing Unit)201，其可以根据存储在只读存储器(ROM，Read-Only Memory)202中的程序或者从储存部分208加载到随机访问存储器(RAM，Random Access Memory)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU 201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(input/output，I/O)接口205也连接至总线204。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分207；包括硬盘等的储存部分208；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入储存部分208。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和/或装置中限定的各种功能。

需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF(RadioFrequency，射频)等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3或图5或图8或图11或图12或图13或图14或图15或图16或图17或图18所示的各个步骤。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本公开实施例提供的技术方案涉及人工智能技术的机器学习技术等方面，下面通过具体的实施例进行举例说明。

图3示意性示出了根据本公开的一实施例的图像处理方法的流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行，例如如图1中的终端设备101、102和/或服务器104。

如图3所示，本公开实施例提供的图像处理方法可以包括以下步骤。

在步骤S310中，获取目标游戏的游戏图像，游戏图像中包括第一方对象和第二方对象。

本公开实施例中，目标游戏可以是任意的涉及多方(例如我方和敌方两方，或者我方、敌方和友方三方等，本公开对多方的数量不做限定)参与的游戏，例如可以是卡牌游戏、MOBA(Multiplayer Online Battle Arena，多人在线战术竞技游戏)游戏等。在下面的实施例中均以MOBA游戏为例进行举例说明，但本公开并不限定于此。

MOBA游戏的玩法是：游戏玩家通常被分为两队，两队在游戏地图中互相竞争，每个游戏玩家都通过一个游戏界面控制所选的游戏角色。在MOBA游戏当中有AI模式，其中AI模式是指游戏的至少一方参与者是非真实的玩家用户，玩家们可以控制一个英雄与计算机系统控制的团队(以下称之为MOBA游戏AI)进行作战。在下面的举例说明中，均以第一方对象为游戏玩家控制的游戏角色、第二方对象为计算机系统控制的游戏角色为例进行举例说明，将第一方对象称之为敌方英雄，将第二方对象称之为我方英雄。可以理解的是，这里的第一方对象和第二方对象均是游戏当中的目标对象，第一方对象和第二方对象都分别包括至少一个目标对象，本公开不对第一方对象和第二方对象的数量作出限制，例如这里的敌方英雄和我方英雄均可以分别包括3-5个游戏角色。这里的“英雄”通常是指游戏中的角色，可以是游戏人物角色，也可以是游戏中的非人物角色。

MOBA游戏AI是游戏自动化测试的重要组成部分，在战斗过程中，MOBA游戏AI可以自动截取同时包括敌方英雄和我方英雄在内的游戏图像进行敌我双方的战力分析，以此为MOBA游戏AI提供对战的重要参考信息，判断当前时刻应该攻击还是撤退。

图4示意性示出了根据本公开的一实施例的MOBA游戏图像的示意图。从图4可以看出，MOBA游戏场景较为复杂，有丰富的特效和多变的背景干扰，例如图4中有草地、围墙、山等多种背景，此外每个英雄具有多种技能，当英雄使用这些技能时，在英雄的周围可以出现相应的特效(例如出现光晕，图中未示出)，此外，英雄、小兵等还可以移动，从而会导致英雄、小兵等的背景可能会实时的发生变化，因此，会导致图像检测难度较大。

在步骤S320中，获得游戏图像中第一方对象的第一方目标和第二方对象的第二方目标，以及分别获得第一方目标和第二方目标的目标类别和目标位置。

本公开实施例中，这里的“目标”可以是从游戏图像中抽取的一些与各方的目标对象的战力值计算相关的关键目标。在这里，第一方目标可以是指在游戏中用于辅助第一方对象进攻第二方对象的目标，例如下述的第一方辅助对象；和/或，在游戏中用于辅助第一方对象防御第二方对象的进攻的目标，例如下述的第一方防御工具；和/或，在游戏中用于表征第一方对象本身的生命时长的目标，例如下方的第一方血条等等。类似的，第二方目标可以是指在游戏中用于辅助第二方对象进攻第一方对象的目标，例如下述的第二方辅助对象；和/或，在游戏中用于辅助第二方对象防御第一方对象的进攻的目标，例如下述的第二方防御工具；和/或，在游戏中用于表征第二方对象本身的生命时长的目标，例如下方的第二方血条等等。根据第一方目标可以构建第一方对象的第一方特征，根据第二方目标可以构建第二方对象的第二方特征。

本公开实施例中，可以采用任意的目标检测网络模型来获得第一方目标和第二方目标的目标类别和目标位置，只要能够实现目标检测功能即可，例如RCNN(Regions withConvolutional Neural Networks，基于区域的卷积神经网络)、fast-RCNN(快速地基于区域的卷积神经网络)、faster-RCNN(更快速地基于区域的卷积神经网络)、YOLOv1、YOLOv2、YOLOv3等中的任意一种或者多种，其中YOLO是You only look once的简写，是一种目标检测框架，其利用整张图作为网络的输入，直接在输出层获得bounding box(边界框)的位置(x,y,w,h)及其所属的类别C，其中坐标x,y是边界框的某个角例如左上角坐标，w,h是边界框的width(宽度)和height(高度)相对输入图像的width(宽度)和height(高度)的比值。在下面的实施例中，均以目标检测网络模型为YOLOv3为例进行举例说明，但本公开并不限定于此。

YOLOv3在实现相同准确度下要显著地比其它检测方法快。YOLO v3可以通过改变模型结构的大小来权衡速度与精度。YOLOv3采用的基础分类网络是Darknet53，Darknet53是包含53层卷积层的深度网络，Darknet53与ResNet-101或ResNet-152准确率接近，但速度更快。

本公开实施例中，利用预先训练好的YOLOv3模型对游戏图像进行处理，可以预测输出游戏图像中的第一方目标和第二方目标的目标类别和目标位置。游戏图像中的第一方目标和第二方目标可以根据目标游戏的不同，而设置相应的待检测的目标的类别、名称、功能、数量、形象等。还是以MOBA游戏为例，第一方目标例如可以包括第一方对象的第一方辅助对象(例如游戏中的敌方小兵)、第一方防御工具(例如游戏中的敌方塔)和第一方血条(例如游戏中的敌方血条)，第二方目标例如可以包括第二方对象的第二方辅助对象(例如游戏中的我方小兵)、第二方防御工具(例如游戏中的我方塔)和第二方血条(例如游戏中的我方血条)，其中，这里的“小兵”、“塔”和“血条”均是游戏中的称呼，小兵通常指用于辅助英雄完成任务的游戏人物角色，塔通常指用来帮助英雄防御的物品，血条通常用来指示游戏中英雄还剩余多少生命，例如，初始时，一般设置我方血条是满格的，当我方英雄在遭到攻击时，可能受伤，此时会相应地减少我方英雄的我方血条的长度，当我方血条长度减为0时，代表我方英雄在游戏中的寿命结束了。

在步骤S330中，根据游戏图像中的第一方目标和第二方目标的目标类别和目标位置，构建游戏图像的第一方特征和第二方特征。

本公开实施例中，第一方特征可以是指第一方对象的特征，其可以根据第一方对象的第一方目标的目标类别和目标位置来构建。第二方特征可以是指第二方对象的特征，其可以根据第二方对象的第二方目标的目标类别和目标位置来构建。例如，在MOBA游戏中，第一方特征可以是敌方特征，第二方特征可以是我方特征。具体如何构建敌方特征和我方特征可以参照下述图9实施例。

在步骤S340中，通过深度网络模型分别对第一方特征和第二方特征进行处理，确定在游戏图像中第二方对象针对第一方对象的处理方式。

本公开实施例中，若用户在移动终端(例如智能手机或者平板电脑等)上玩目标游戏，深度网络模型可以采用轻量级深度网络。轻量级深度网络是指参数量小，适用于CPU和嵌入式设备的小型深度网络。在下面的举例说明中，以轻量级深度网络为例进行举例说明，但本公开并不限定于此。

具体如何确定第二方对象针对第一方对象的处理方式可以参照下述图15-17实施例。

本公开实施方式提供的图像处理方法，一方面，基于对目标游戏中的游戏图像的处理，即可自动确定计算机系统应该采取何种对战处理方式，不需要借助游戏内部接口，因此，即使没有游戏内部接口，计算机系统也能较快的获知双方的游戏状态数据，且耗费的计算资源较少，运行速度较快；另一方面，通过对游戏图像进行处理，提取出游戏图像中的双方的关键目标(例如第一方目标和第二方目标)的目标类别和目标位置，从而能够去除游戏图像中的背景干扰，提高后续深度网络模型的预测准确率和效率。同时，还可以根据提取的双方关键目标的目标类别和目标位置，构建双方的特征，深度网络模型能够利用不同特征之间的关系，配合网络结构，较快地进行双方战力(例如第一方对象指标和第二方对象指标)的分析，从而能够实时地、准确地确定对战决策(例如处理方式)。

下面结合MOBA游戏为例，对上述实施例提供的图像处理方法进行举例说明。整个图像处理方法分为两个大的阶段，第一个阶段是模型的训练阶段，包括目标检测网络模型(可以用于获得第一方目标和第二方目标的目标类别和目标位置)的训练和深度网络模型的训练；第二个阶段是模型的在线预测阶段，即利用第一个阶段训练好的目标检测网络模型和深度网络模型对当前在线玩的游戏进行实时分析，预测在当前时刻的游戏图像中，游戏AI应该采取何种对战决策。下面分别对其进行描述。

图5示意性示出了根据本公开的另一实施例的图像处理方法的流程图。如图5所示，首先训练目标检测网络模型，与上述实施例的不同之处在于，本公开实施例提供的方法还可以包括以下步骤。

在步骤S510中，获取目标游戏中同时包括第一方对象和第二方对象的训练图像。

例如，为了游戏AI能够根据敌我双方的战力值进行是进攻还是撤退的决策，可以收集MOBA游戏中同时出现敌方英雄和我方英雄的游戏图像作为这里的训练图像，以便于分别计算敌方英雄和我方英雄的战力值(可以分别对应下面实施例中的第一方对象指标和第二方对象指标)，训练图像可以通过手工玩游戏收集，或者从网上的游戏视频中收集。这里可以设置训练图像的采样频率是预设数值，例如采样频率为1秒1帧(但本公开并不限定于此，可以根据实际需要进行设置)，即每隔1秒从游戏视频中截取一帧图像作为训练图像，采用这个采样频率可以达到去除冗余且不会导致训练好的模型过拟合的技术效果。可以预先设置所需采集的用作训练图像的图像数量，例如这里可以采集5000张或者以上的图像作为训练图像，理论上来说，训练图像的数量越多，所训练获得的模型的预测准确度越高，但由此带来的计算量也较大，而采用5000张训练图像训练模型，可以在计算量和模型的预测准确度之间取得一个较好的平衡。

为了防止训练样本过于相似而导致训练的目标检测网络模型过拟合，可以计算收集的训练图像之间的图像相似度，设定一个图像相似度阈值，若某两张训练图像之间的图像相似度超过该图像相似度阈值，则去除这两张训练图像中的其中一个。本公开实施例中，两张训练图像之间的图像相似度的计算可以通过计算两张训练图像之间的欧式距离获得，但本公开对此不做限定，图像相似度阈值的大小可以根据具体应用场景进行设置。

在步骤S520中，获取训练图像中的第一方目标和第二方目标的标注类别和标注位置。

上述收集的多个训练图像形成一个图像数据集，在获得图像数据集后，对其中的关键目标(如图4所示，图像中会包括很多各种各样的目标，在这里可以选择与战力值紧密相关的目标作为关键目标)进行类别和位置的标注。

例如，在MOBA游戏中，如图6所示，在这里假设除了敌方英雄和我方英雄以外，还包括友方英雄(也可以称之为第三方对象)，其中友方英雄是指与我方英雄处于同一联盟的游戏角色，友方英雄可以辅助我方英雄一起对抗敌方英雄，友方英雄的数量也可以是一个或者多个，类似的，友方英雄也可以包括友方目标(也可以称之为第三方目标，例如可以包括友方血条等)，图6实施例中一共定义了7个类别，包括我方血条、友方血条(友方血条可以用来确定友方英雄的位置)、敌方血条、我方小兵、敌方小兵、我方塔和敌方塔。其中，这里的“友方英雄”是指帮助或者辅助“我方英雄”的游戏玩家选择的游戏角色，其和我方英雄是站在统一战线，共同对抗敌方英雄的。

需要说明的是，虽然图6中标注了7个类别，其包含了友方英雄的友方血条，但在其他实施例中，也可以定义6个类别，即我方血条、敌方血条、我方小兵、敌方小兵、我方塔和敌方塔。

本公开实施例中，若标注过程中发现不同类别的样本个数差异较大，可以通过重新采样样本，增加样本较少的类别在一轮迭代中出现的次数，确保每类目标至少有例如50个样本(具体数值可以根据实际情况进行设置，本公开并不限定于此)。这里的一轮迭代是指将所有训练图像均分别用于一次模型的训练。

例如，假设数据库中敌方塔的数量只有10个，则将包含敌方塔的训练图像复制4份，相当于一轮迭代的敌方塔数量变成了50个。

在步骤S530中，通过目标检测网络模型对训练图像进行处理，获得训练图像中的第一方目标和第二方目标的第一预测类别和第一预测位置。

例如，在完成样本标注后，训练YOLOv3模型，由于在上述过程中，标注了MOBA游戏中的7个类别，其中我方塔和敌方塔的尺寸较大，我方小兵和敌方小兵的尺寸居中，我方血条、友方血条和敌方血条的尺寸较小，因此，这里的YOLOv3模型可以采用三种尺度的卷积特征谱预测各个目标的第一预测类别和第一预测位置。

例如，当输入的训练图像为416*416像素时，YOLOv3模型可以将训练图像划分为第一尺度的第一网格(例如，13*13)，第二尺度的第二网格(例如，26*26)和第三尺度的第三网格(例如，52*52)，分别用于检测大、中、小的目标，在MOBA游戏的目标检测中，大目标对应的是塔(包括我方塔和敌方塔)，中等大小的目标对应的是小兵(包括我方小兵和敌方小兵)，小的目标对应的是血条(包括我方血条、友方血条和敌方血条)。这里尺度越小的网格检测尺寸越大的目标，例如，13*13网格中每个网格包含的图像面积较大，对应要检测大点的目标。

可以理解的是，当输入的训练图像的尺寸、训练图像中标注的目标的不同类别的尺寸之间的差异等因素发生变化时，可以设定相应尺度的网格，并不限于上述举例说明。

在步骤S540中，根据第一预测类别及其标注类别获得类别损失。

例如，类别损失可以采用类别交叉熵，类别损失L₁的计算公式如下：

上述公式(1)中，_c1表示第_c1个标注类别，_c1为大于或者等于1且小于等于M的正整数；M表示标注类别的数量，M为大于或者等于1的正整数，例如在上面的举例说明中，一共标注了7个类别，则M＝7；y_c1表示变量0或1，其中若第一预测类别与其标注类别的类别相同则为1，否则为0；p_c1表示训练图像中的目标属于第_c1个标注类别的预测概率。

在步骤S550中，根据第一预测位置及其标注位置获得位置损失。

例如，位置损失也可以采用位置交叉熵，位置损失L₂的计算公式如下：

上述公式(2)中，_c2表示第_c2个标注位置，_c2为大于或者等于1且小于等于N的正整数；N表示标注位置的数量，N为大于或者等于1的正整数；y_c2表示变量0或1，其中若第一预测位置与其标注位置的位置相同则为1，否则为0；p_c2表示训练图像中的目标属于第_c2个标注位置的预测概率。

需要说明的是，计算类别损失和位置损失的方式并不限于上述例举的方式，例如还可以根据均方误差损失等方式进行计算。或者，还可以在上述类别损失和/或位置损失的公式中添加一个额外项，例如L1范数或者L2范数。

在步骤S560中，根据类别损失和位置损失构建目标检测网络模型的损失函数，以用于训练目标检测网络模型。

本公开实施例中，可以根据以下公式计算获得目标检测网络模型的损失函数L：

L＝αL₁+βL₂ (3)

上述公式(3)中，α为类别损失的权重，β为位置损失的权重，α和β均为大于0的实数。在一些实施例中，可以设置α＝β＝1，即将类别损失和位置损失累加求和作为目标检测网络模型的损失函数，则此时训练获得的目标检测网络模型，类别检测和位置检测是相同的重要程度。在一些实施例中，可以设置α>β，例如假设α＝2，β＝0.5，则此时训练获得的目标检测网络模型，类别检测比位置检测更为重要。在一些实施例中，可以设置β>α，例如假设β＝2，α＝0.5，则此时训练获得的目标检测网络模型，位置检测比类别检测更为重要。

本公开实施例中，在训练目标检测网络模型时，融合类别损失和位置损失。例如，若训练图像中间是我方塔，13*13网格中间预测我方塔的概率如果很高，则根据我方塔的标注类别和我方塔的第一预测位置，可以计算出对应的类别交叉熵损失较小，如果预测的我方塔的位置(即我方塔的第一预测位置)和我方塔的真实位置(即我方塔的标注位置)差异较小，即对应的位置L1损失较小，将类别损失和位置损失融合，通过最小化融合后的损失函数来优化目标检测网络模型的模型参数，使得训练后的目标检测网络模型能够同时实现目标的类别和位置的预测。可以采用梯度后向传递的算法更新目标检测网络模型的模型参数，例如利用上述的公式(3)可以计算获得目标检测网络模型的损失值，再将损失值一层一层递进地反馈到目标检测网络模型的各层网络，用梯度下降法来调节每层网络的参数。

本公开实施方式提供的图像处理方法，首先，收集MOBA游戏中同时出现敌方英雄和我方英雄的图像作为训练图像；然后，去除相似性过高的两张训练图像中的一张，得到最终的图像数据集。得到图像数据集后，标注血条、塔、小兵等目标的类别和位置，采用这些训练样本和标注信息训练YOLOv3模型，从而可以防止YOLOv3模型过拟合，同时，提高了目标检测的准确率、效率和速度。

在MOBA游戏中，敌方英雄和我方英雄还会具有各自的技能，技能也能用于计算敌我双方的战力值，因此，还可以识别出游戏图像中的敌方英雄和我方英雄各自所处的技能状态来计算敌我双方的战力值。这里假设敌方英雄和我方英雄各自均具有6种技能，例如超负荷(可以使用该技能释放能量冲击给敌方造成伤害)、符文禁锢(可以使用该技能可以将敌方禁锢在符文监牢内，使其无法攻击和移动，并在禁锢期间造成伤害)、法术涌动(可以使用该技能施放强力魔法能量攻击敌方)、绝望之力(使用该技能可以引导严禁的不可控制的神秘力量，赋予额外的法术强度)、奥术专精(当施放一个法术技能时，所有的其他技能冷却时间减少1秒)和弹射之刃(投掷匕首时，在敌方中间弹射造成魔法伤害)，但本公开并不限定于此，敌我双方所具有的技能的数量、种类以及每种技能的具体含义，均可以根据目标游戏的不同以及游戏角色的不同而不同。

这里的“技能”可以根据游戏类型、游戏角色的职业特性、游戏风格、角色动作等各个因素来设计，技能可以帮助游戏角色实现相应的功能，可以包括主动技能、被动技能等，其中主动技能是指通过游戏玩家操作释放一个指令实现的技能，例如某款游戏中的角色孙悟空的主动技能包括隐身技能。被动技能是指不需要游戏玩家操作触发，获得这个技能效果后一直携带，例如孙悟空的被动技能是释放技能强化普攻。被动技能大致分为两类，一类是永久性增加角色某种属性的，如生命提升10％等，另一类是赋予角色因某种条件触发效果的功能，例如“被攻击时30％的几率反击对方”这种技能。

在MOBA游戏中，单张游戏图像中只有我方英雄的我方技能区域(即第二方技能区域)，在我方技能区域中显示了我方英雄所拥有的各种技能，并用不同颜色来区别各种技能所处的状态，例如，显示为灰色的技能处于冷却状态(即不可用技能)，显示为彩色的技能处于可用状态(即可用技能)。

本公开实施例中，技能状态可以通过模板匹配的方式来判断各个技能是否处于冷却状态。具体地，预先存储每个技能的灰色图像和彩色图像作为技能模板图像，然后分别计算训练图像中的我方技能区域中的各个技能与技能模板图像中的灰色图像与彩色图像的相似度，若我方技能区域中的某个技能与其对应的技能模板图像中的灰色图像的相似度大于预先设定的相似度阈值(其数值可以根据实际需要进行设置，本公开对此不做限定)，则该技能为不可用技能；若该技能与其对应的技能模板图像中的彩色图像的相似度大于相似度阈值，则该技能为可用技能。

图7示意性示出了根据本公开的一实施例的技能匹配的示意图，分别给出了可用技能和不可用技能的举例说明。在确定我方英雄的我方技能状态(即第二方技能状态)后，就可以根据我方技能状态确定我方英雄的我方技能特征(即第二方技能特征)。这里的我方技能状态是指我方英雄当前所拥有的各种技能各自所处的状态，例如处于可用状态的技能称之为可用技能，处于不可用状态的技能称之为不可用技能。我方技能特征是指将根据我方技能状态提取出的特征。例如，以MOBA游戏中我方英雄具有6种技能为例，若设置可用技能对应的位置为“1”，不可用技能对应的位置为“0”，假设训练图像中第一至第四种技能均为不可用技能，第五至第六种技能均为可用技能，则我方技能特征为000011。采用二值化形式来表征我方技能特征，一方面，表达形式非常简单，能够简化模型的复杂度；另一方面，又可以充分的表达出各个技能当前是处于可用状态还是不可用状态。但本公开并不限定于此。

需要说明的是，获得第二方技能特征的方式并不限定于上述的模板匹配方式，在其他实施例中，也可以利用目标检测网络模型来预测第二方技能特征。具体地，可以在训练图像的标注过程中，将第二方技能区域的类别、所处状态和位置标注出来，然后根据训练图像及其标注信息训练目标检测网络模型，以使得训练后的目标检测网络模型具有能够输出第二方技能特征的功能。

由于友方英雄和敌方英雄的技能状态难以从单张训练图像中推断出来，因为训练图像中通常只包括了我方英雄的技能区域，在一些实施例中，可以将友方英雄和敌方英雄的友方技能特征和敌方技能特征设置为默认均为可用技能，例如均为“111111”。在另一些实施例中，也可以获取目标游戏的连续多帧图像(例如可以是训练图像之前的任意多帧连续图像)，通过时间循环神经网络(例如LSTM(Long Short-Term Memory，长短期记忆网络))来对这连续多帧图像进行处理，由于LSTM是有记忆性地，且在各帧图像中，若友方英雄和敌方英雄使用过某种技能，由于技能会有特效，因此LSTM可以通过多帧图像推理学习到友方英雄和敌方英雄的技能状态，即LSTM能够记录MOBA游戏的时序特征，能够记录友方英雄和敌方英雄使用过的技能，由此可以获得敌方技能特征(也可以称之为第一方技能特征)和友方技能特征(也可以称之为第三方技能特征)。

图8示意性示出了根据本公开的又一实施例的图像处理方法的流程图。本公开实施例中，训练深度网络模型。如图8所示，与上述实施例的不同之处在于，本公开实施例提供的方法还可以包括以下步骤。

在步骤S810中，利用训练的目标检测网络模型对训练图像进行处理，获得训练图像中的第一方目标和第二方目标的第二预测类别和第二预测位置。

为了保持深度网络模型的训练和在线预测过程是一致的，这里，可以再次利用上述训练好的目标检测网络模型对训练图像进行处理，获得训练图像中的敌方小兵、敌方血条、敌方塔以及我方小兵、我方血条(还可以包括友方血条)、我方塔等目标的第二预测类别和第二预测位置。

在步骤S820中，根据训练图像中的第一方目标和第二方目标的第二预测类别和第二预测位置，构建训练图像的第一方特征和第二方特征。

以MOBA游戏为例，在识别到训练图像中的血条之后，可以根据我方血条的第二预测位置，确定我方英雄的位置信息，例如可以将我方血条下方的预定形状(例如矩形，但本公开并不限定于此)的区域作为我方英雄的区域(该区域的大小可以根据我方英雄的尺寸而定)。类似地，可以将友方血条下方的矩形作为友方英雄的区域，敌方血条下方的矩形作为敌方英雄的区域。这是因为目标检测网络模型无法通过英雄外表来区分我方英雄、友方英雄和敌方英雄，因此可以根据各方血条的位置来区分各方英雄。但本公开并不限定于此，若通过目标检测网络模型可以直接区分各方英雄，则不需要借助各方血条的位置来估测各方英雄所在位置。

图9以如何构建我方特征为例进行举例说明。这里假设我方特征包括我方通道特征(即第一方通道特征)和我方属性特征(即第一方属性特征)，我方属性特征可以进一步包括我方技能特征(这里假设我方技能状态为000011)和我方血量特征(即第一方血条特征)。

如图9所示，将训练图像输入至训练好的目标检测网络之后，可以检测出训练图像中各个目标的第二预测类别和第二预测位置。根据我方血条的第二预测位置，可以确定出我方英雄的区域，当确定我方英雄的区域后，可以截取包含我方英雄、我方塔和我方小兵且以我方英雄为中心的矩形(本公开对形状不做限定，例如还可以是其他任意合适的形状)区域作为我方英雄二值图参考范围，这里假设预先设定该矩形区域的大小为600*600像素(可以根据实际情况进行调整)。在该矩形区域内，若某个位置出现了我方小兵，则该对应位置的我方小兵的二值图(即第一方辅助对象的二值图)取值假设为“1”，若该位置未出现我方小兵，则该对应位置的我方小兵的二值图取值假设为“0”，则可以生成我方小兵的二值图。在该矩形区域内，若某个位置出现了我方塔，则该对应位置的我方塔的二值图(即第一方防御工具的二值图)取值假设为“1”，若该位置未出现我方塔，则该对应位置的我方塔的二值图取值假设为“0”，则可以生成我方塔的二值图。根据我方塔的二值图和我方小兵的二值图，可以生成我方通道特征，例如将我方塔的二值图作为我方通道特征中的第一通道，我方小兵的二值图作为我方通道特征中的第二通道，生成包括二通道的特征。

敌方特征中的敌方通道特征(也可以称之为第一方通道特征)的生成方式与我方特征中的我方通道特征的生成方式类似，可以参照上述过程。

继续参考图9，还包括属性提取区域，属性提取区域进一步包括我方血量区域和我方技能区域，这里假设我方血条是满格时的我方剩余血量为1.0，则对应的此时的我方血条特征为1。

具体的，在检测到训练图像中的血条位置后，通过设置血条的颜色范围，例如可以根据血条的RGB阈值检测英雄当前的血量。例如，检测我方剩余血量时，设置绿色(假设为第一颜色)的颜色范围即检测绿色的血条宽度，将我方血条的绿色的宽度除以我方血条的总宽度，得到我方当前的剩余血量，可以将血量范围归一化为0到1之间的一个值。

我方特征的示意图如图9所示，这里我方英雄的属性的特征维度为7，包含1维的我方血量特征和6维的我方技能特征。在计算我方英雄战力值(第二方对象指标)时，提取我方小兵的二值图、我方塔的二值图以及我方血条对应的我方血量特征和我方技能特征。在计算敌方英雄战力值(第一方对象指标)时，提取敌方小兵的二值图、敌方塔的二值图以及敌方血条对应的敌方血量特征和敌方技能特征。

进一步地，还可以计算友方英雄战力值(第三方对象指标)，提取友方小兵(第三方辅助对象)的二值图、友方塔(第三方防御工具)的二值图以及友方血条(第三方血条)对应的友方血量特征(第三方血条特征)和友方技能特征(第三方技能特征)。

在步骤S830中，获取训练图像的标注处理方式。

为了训练预测敌我战力值的深度网络模型，需要战斗决策的标签，即在特定的游戏状态下，标注其处理方式是攻击还是撤退。为了训练预测敌我方战力值的深度网络模型，需要为训练图像标明是攻击还是撤退，该标签可以称为决策标签。

在步骤S840中，通过深度网络模型对训练图像的第一方特征和第二方特征进行处理，获得训练图像的第一方对象指标和第二方对象指标。

这里以轻量级深度学习网络为例，使得网络小型化，同时计算量得到优化，能够方便地移植到手机等移动终端，并以计算我方英雄战力值为例，参考图10所示，为了减少数据运算量，可以将上述获得的我方通道特征中的每个二值图均缩放至50*50像素，由于我方通道特征中具有两个通道，因此轻量级深度学习网络的第一卷积层的输入数据大小为50*50*2，这里第一卷积层的卷积核大小为3，步长为1，输出通道数为16；然后，将第一卷积层的输出信息输入至第二卷积层，第二卷积层的卷积核大小为3，步长为1，输出通道数为32；然后，将第二卷积层的输出信息输入至第一最大池化层，第一最大池化层的池化大小为2；然后，将第一最大池化层的输出信息输入至第三卷积层，第三卷积层的卷积核大小为3，步长为1，输出通道数为32；然后，将第三卷积层的输出信息输入至第四卷积层，第四卷积层的卷积核大小为3，步长为1，输出通道数为32；然后，将第四卷积层的输出信息输入至第二最大池化层，第二最大池化层的池化大小为2；再将第二最大池化层的输出信息输入至第一全连接层，第一全连接层的输出通道数为50，第一全连接层输出我方通道特征的第一全连接层特征。之后，将我方通道特征的第一全连接层特征与7维的我方属性特征进行向量求和，获得第一方融合特征(也可以称之为我方融合特征)；将我方融合特征依次经过第二全连接层、第三全连接层和激活函数层处理后，输出我方英雄战力值。其中，第二全连接层的输出通道数为50；第三全连接层的输出通道数为1。这里的激活函数层采用了Sigmoid函数，以将我方英雄对应的战力值转换至0到1的范围内。

敌方英雄战力值的获得可以参照上述我方英雄战力值的获得过程。

需要说明的是，若训练图像中出现多个我方英雄或者多个敌方英雄，则分别计算每个我方英雄或者每个敌方英雄的战力值，并将我方英雄的战力值累计为我方战力值(即第二方对象指标)，将所有的敌方英雄的战力值累加计算为敌方战力值(即第一方对象指标)。

在另一些实施例中，若训练图像中还包括友方英雄，参照上述实施例，可以类似的计算友方英雄的战力值，可以将我方英雄的战力值和友方英雄的战力值进行加权求和(例如，可以设置我方英雄的战力值的权重大于友方英雄的战力值的权重，但本公开并不限定于此)，作为第二方对象指标。

在步骤S850中，根据训练图像的第一方对象指标和第二方对象指标以及标注处理方式，构建深度网络模型的目标函数，以用于训练深度网络模型。

根据训练图像的第一方对象指标和第二方对象指标，可以获得预测处理方式，根据预测处理方式与标注处理方式的比较，可以构建深度网络模型的目标函数l，例如，可以用以下公式表示：

上述公式中，f(x^e)表示敌方英雄战力值，f(x^a)表示我方英雄战力值，即当敌方英雄战力值大于我方英雄战力值时，我方英雄的预测处理方式是撤退；当我方英雄战力值大于敌方英雄战力值时，我方英雄的预测处理方式是攻击敌方英雄。在训练深度网络模型的过程中，分别通过深度网络模型计算我方英雄战力值和敌方英雄战力值，当决策标签为攻击时，预测的我方英雄战力值应该大于敌方英雄战力值，当决策标签为撤退时，预测的我方英雄战力值应该小于敌方英雄战力值。深度网络模型的优化目标是最大化目标函数，通过梯度后向传递的方式优化深度网络模型的模型参数。

本公开实施方式提供的图像处理方式，由于训练图像中有较多的干扰，因此首先训练目标检测网络模型，以用于识别训练图像中的小兵、血条、塔等关键目标，去除训练图像中背景和特效等带来的干扰。通过少量收集的训练图像，通过训练图像和关键目标的标注信息训练目标检测网络模型，提取训练图像的重要特征，降低了模型训练的难度。该目标检测网络模型的模型参数较为简单，模型不容易过拟合，提升了模型的鲁棒性。然后，将通过目标检测网络模型提取的关键目标的位置特征(例如小兵和塔的二值图均是基于小兵和塔的位置生成的)与状态特征(例如属性特征中的技能特征和血量特征)相结合，能充分利用不同特征之间的关系，并配合轻量级深度网络的网络结构，能在短时间内完成用于战力分析的模型的训练。

在上述训练完目标检测网络模型和深度网络模型的基础上，开始描述在线预测的过程。

图11示出了图3中所示的步骤S320在一实施例中的处理过程示意图。本公开实施例中，第一方目标可以包括第一方辅助对象、第一方防御工具和第一方血条，第二方目标可以包括第二方辅助对象、第二方防御工具和第二方血条。

如图11所示，本公开实施例中，上述步骤S320可以进一步包括以下步骤。

在步骤S321中，将游戏图像输入至目标检测网络模型。

在步骤S322中，利用目标检测网络模型将游戏图像划分为第一尺度的第一网格、第二尺度的第二网格和第三尺度的第三网格，其中第一尺度小于第二尺度，第二尺度小于第三尺度。

在步骤S323中，通过第一网格预测第一方防御工具和第二方防御工具的目标类别和目标位置。

在步骤S324中，通过第二网格预测第一方辅助对象和第二方辅助对象的目标类别和目标位置。

在步骤S325中，通过第三网格预测第一方血条和第二方血条的目标类别和目标位置。

在线预测过程和训练过程是类似的，具体实现可以参照上述实施例的描述。

图12示出了图3中所示的步骤S330在一实施例中的处理过程示意图。本公开实施例中，第一方特征可以包括第一方通道特征。如图12所示，本公开实施例中，上述步骤S330可以进一步包括以下步骤。

在步骤S331中，根据第一方血条的目标位置，确定第一方对象的位置信息。

在步骤S332中，根据第一方对象的位置信息，在游戏图像中确定包括第一方对象、第一方辅助对象和第一方防御工具在内的目标区域。

在步骤S333中，根据第一方辅助对象在目标区域中的位置，生成第一方辅助对象的二值图。

在步骤S334中，根据第一方防御工具在目标区域中的位置，生成第一方防御工具的二值图。

在步骤S335中，根据第一方辅助对象的二值图和第一方防御工具的二值图，生成第一方通道特征。

在示例性实施例中，第二方特征可以包括第二方通道特征。其中，根据游戏图像中的第一方目标和第二方目标的目标类别和目标位置，构建第一方特征和第二方特征，可以包括：根据第二方血条的目标位置，确定第二方对象的位置信息；根据第二方对象的位置信息，在游戏图像中确定包括第二方对象、第二方辅助对象和第二方防御工具在内的目标区域；根据第二方辅助对象在目标区域中的位置，生成第二方辅助对象的二值图；根据第二方防御工具在目标区域中的位置，生成第二方防御工具的二值图；根据第二方辅助对象的二值图和第二方防御工具的二值图，生成第二方通道特征。

在线预测过程和训练过程是类似的，具体实现可以参照上述实施例的描述。

图13示意性示出了根据本公开的再一实施例的图像处理方法的流程图。本公开实施例中，第一方特征还可以包括第一方属性特征，第一方属性特征可以包括第一方技能特征。如图13所示，与上述实施例的不同之处在于，本公开实施例提供的方法还可以包括以下步骤。

在步骤S1310中，获取目标游戏的连续多帧图像。

在步骤S1320中，通过时间循环神经网络对连续多帧图像进行处理，获得第一方对象的第一方技能状态。

在步骤S1330中，根据第一方技能状态获得第一方技能特征。

在线预测过程和训练过程是类似的，具体实现可以参照上述实施例的描述。

图14示意性示出了根据本公开的再一实施例的图像处理方法的流程图。本公开实施例中，第一方属性特征还可以包括第一方血条特征，第一方血条可以具有第一颜色。如图14所示，与上述实施例的不同之处在于，本公开实施例提供的方法还可以包括以下步骤。

在步骤S1410中，检测第一方血条中第一颜色的宽度。

在步骤S1420中，根据第一颜色的宽度和第一方血条的总宽度，获得第一方血条特征。

在示例性实施例中，第二方特征包括第二方属性特征，第二方属性特征包括第二方血条特征和第二方技能特征。假设第二方血条具有第二颜色(例如红色)，则方法还可以包括：检测第二方血条中第二颜色的宽度；根据第二颜色的宽度和第二方血条的总宽度，获得第二方血条特征。

在线预测过程和训练过程是类似的，具体实现可以参照上述实施例的描述。

图15示出了图3中所示的步骤S340在一实施例中的处理过程示意图。如图15所示，本公开实施例中，上述步骤S340可以进一步包括以下步骤。

在步骤S341中，通过深度网络模型分别对第一方特征和第二方特征进行处理，获得游戏图像的第一方对象指标和第二方对象指标。

本公开实施例中，第一方对象指标可以是指在游戏中，第一方对象具备的可以用于进攻第二方对象的战力值(例如下方的敌方战力值)。第二方对象指标可以是指在游戏中，第二方对象具备的可以用于进攻第一方对象的战力值(例如下方的我方战力值)。

可以理解的是，当第一方对象包括多个目标对象时，第一方对象指标可以根据第一方对象的多个目标对象的指标来确定，例如敌方英雄包括多个角色时，敌方战力值可以根据这多个敌方英雄的战力值计算获得，可以将这多个敌方英雄的战力值直接累加求和获得，也可以对这多个敌方英雄的战力值进行加权求和获得，本公开对此不做限定。类似的，当第二方对象包括多个目标对象时，第二方对象指标也可以根据第二方对象的多个目标对象的指标来确定，例如我方战力值可以根据多个我方英雄的战力值累加求和或者加权求和获得。

需要说明的是，本公开采用的深度网络模型并不限于上述实施例中例举的轻量级深度网络，例如，即使用户在移动终端上玩目标游戏，随着网络传输速度的快速更新，移动终端可以调用云端服务器上的深度网络模型来完成第一方对象指标和第二方对象指标的获得，此时不管用户在移动终端上还是在类似PC端等较为固定的终端设备上玩目标游戏，均可以采用任意的深度网络模型来获得游戏图像的第一方对象指标和第二方对象指标。

还是以MOBA游戏为例，将敌方特征和我方特征输入至轻量级深度网络中，轻量级深度网络可以预测输出游戏图像的第一方对象指标(以下称之为敌方战力值)和第二方对象指标(以下称之为我方战力值)。这里的“战力”是游戏中的特色玩法，游戏系统会根据游戏玩家的装备(例如塔和小兵)、生命时长等多种内容计算出一个战力值，从而判断游戏玩家在游戏中的综合实力。

在步骤S342中，根据第一方对象指标和第二方对象指标，确定在游戏图像中第二方对象针对第一方对象的处理方式。

以MOBA游戏为例，游戏AI可以根据上述轻量级深度网络预测输出的敌方战力值和我方战力值，来决定我方英雄对敌方英雄采取何种处理方式，例如是攻击还是撤退。

图16示出了图15中所示的步骤S341在另一实施例中的处理过程示意图。如图16所示，本公开实施例中，上述步骤S341可以进一步包括以下步骤。

在步骤S3411中，将第一方通道特征依次经过深度网络模型的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层和第一全连接层处理，获得第一方通道特征的第一全连接层特征。

在步骤S3412中，根据第一方通道特征的第一全连接层特征与第一方属性特征，获得第一方融合特征。

在步骤S3413中，将第一方融合特征依次经过深度网络模型的第二全连接层、第三全连接层和激活函数层处理，获得第一方对象指标。

在示例性实施例中，通过深度网络模型分别对第一方特征和第二方特征进行处理，获得游戏图像的第一方对象指标和第二方对象指标，还可以包括：将第二方通道特征依次经过深度网络模型的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层和第一全连接层处理，获得第二方通道特征的第一全连接层特征；根据第二方通道特征的第一全连接层特征与第二方属性特征，获得第二方融合特征；将第二方融合特征依次经过深度网络模型的第二全连接层、第三全连接层和激活函数层处理，获得第二方对象指标。

在线预测过程和训练过程是类似的，具体实现可以参照上述实施例的描述。

图17示出了图15中所示的步骤S342在一实施例中的处理过程示意图。本公开实施例中，处理方式可以包括撤退和攻击。如图17所示，本公开实施例中，上述步骤S342可以进一步包括以下步骤。

在步骤S3421中，若第一方对象指标大于第二方对象指标，则确定在游戏图像中第二方对象针对第一方对象的处理方式为撤退。

在步骤S3422中，若第一方对象指标小于第二方对象指标，则确定在游戏图像中第二方对象针对第一方对象的处理方式为攻击。

例如，还是以MOBA游戏为例，当两个模型训练完之后，在线预测过程如下：游戏玩家(敌方)选择游戏中的一个角色，作为敌方英雄，我方是AI系统，选择游戏中的另一个角色，作为我方英雄。在游戏过程中，AI系统会自动截取每一张同时包括敌方英雄和我方英雄的游戏图像，然后将该游戏图像输入至训练好的YOLOv3模型，YOLOv3模型预测输出该游戏图像中各个关键目标包括敌我双方的血条、小兵、塔等的类别和所在位置。然后，基于预测输出的各个关键目标的类别和位置，参考图9构建我方特征和敌方特征，获得我方小兵的二值图、我方塔的二值图、我方剩余血量和我方技能状态以及敌方小兵的二值图、敌方塔的二值图、敌方剩余血量和敌方技能状态。再然后，将我方小兵的二值图、我方塔的二值图、我方剩余血量和我方技能状态输入至训练好的轻量级深度网络，预测输出我方英雄战力值；将敌方小兵的二值图、敌方塔的二值图、敌方剩余血量和敌方技能状态输入至训练好的轻量级深度网络，预测输出敌方英雄战力值。最后，根据我方英雄战力值和敌方英雄战力值，确定我方英雄即AI系统在当前的游戏图像中应该采取什么样的决策，若我方英雄战力值大于敌方英雄战力值，则攻击；若我方英雄战力值小于敌方英雄战力值，则撤退。

图18示意性示出了根据本公开的一实施例的图像处理方法的流程图。本公开实施例中，游戏图像中还可以包括第二方技能区域，第二方特征包括第二方属性特征，第二方属性特征包括第二方技能特征。如图18所示，与上述实施例的不同之处在于，本公开实施例提供的方法还可以包括以下步骤。

在步骤S1810中，获取技能模板图像。

在步骤S1820中，将游戏图像与技能模板图像进行匹配，获得第二方技能区域与技能模板图像的相似度。

在步骤S1830中，根据相似度确定第二方对象的第二方技能状态。

在步骤S1840中，根据第二方技能状态获得第二方技能特征。

在线预测过程和训练过程是类似的，具体实现可以参照上述实施例的描述。

本公开实施方式提供的图像处理方式，是基于图像的MOBA战力分析方案，主要解决的问题是如何在不借助游戏内部接口的情况下，根据当前的游戏图像，计算敌我双方的战力值，为AI执行动作提供参考依据。战力与游戏的决策高度相关，如果能准确评估敌我双方的战力值，当我方英雄战力值高于敌方英雄战力值时，选择攻击，当我方英雄战力值低于敌方英雄战力值时撤退，采用这种方式能有效提升游戏AI的效果。

图19示意性示出了根据本公开的一实施例的图像处理装置的框图。

如图19所示，本公开实施方式提供的图像处理装置1900可以包括：目标游戏图像获取单元1910、目标类别位置获得单元1920、双方图像特征构建单元1930以及处理方式自动确定单元1940。

其中，目标游戏图像获取单元1910可以用于获取目标游戏的游戏图像，游戏图像中包括第一方对象和第二方对象。目标类别位置获得单元1920可以用于获得游戏图像中第一方对象的第一方目标和第二方对象的第二方目标，以及分别获得第一方目标和第二方目标的目标类别和目标位置。双方图像特征构建单元1930可以用于根据游戏图像中的第一方目标和第二方目标的目标类别和目标位置，构建游戏图像的第一方特征和第二方特征。处理方式自动确定单元1940可以用于通过深度网络模型分别对第一方特征和第二方特征进行处理，确定在游戏图像中第二方对象针对第一方对象的处理方式。

在示例性实施例中，第一方目标可以包括第一方辅助对象、第一方防御工具和第一方血条，第二方目标可以包括第二方辅助对象、第二方防御工具和第二方血条。其中，目标类别位置获得单元1920可以包括：图像输入单元，可以用于将游戏图像输入至目标检测网络模型；网格划分单元，可以用于利用目标检测网络模型将游戏图像划分为第一尺度的第一网格、第二尺度的第二网格和第三尺度的第三网格，其中第一尺度小于第二尺度，第二尺度小于第三尺度；防御工具目标类别位置预测单元，可以用于通过第一网格预测第一方防御工具和第二方防御工具的目标类别和目标位置；辅助对象目标类别位置预测单元，可以用于通过第二网格预测第一方辅助对象和第二方辅助对象的目标类别和目标位置；血条目标类别位置预测单元，可以用于通过第三网格预测第一方血条和第二方血条的目标类别和目标位置。

在示例性实施例中，第一方特征可以包括第一方通道特征。其中，双方图像特征构建单元1930可以包括：第一方对象位置确定单元，可以用于根据第一方血条的目标位置，确定第一方对象的位置信息；第一方对象目标区域确定单元，可以用于根据第一方对象的位置信息，在游戏图像中确定包括第一方对象、第一方辅助对象和第一方防御工具在内的目标区域；第一方辅助对象二值图生成单元，可以用于根据第一方辅助对象在目标区域中的位置，生成第一方辅助对象的二值图；第一方防御工具二值图生成单元，可以用于根据第一方防御工具在目标区域中的位置，生成第一方防御工具的二值图；第一方通道特征生成单元，可以用于根据第一方辅助对象的二值图和第一方防御工具的二值图，生成第一方通道特征。

在示例性实施例中，第一方特征还可以包括第一方属性特征，第一方属性特征可以包括第一方技能特征。其中，图像处理装置1900还可以包括：连续多帧图像获取单元，可以用于获取目标游戏的连续多帧图像；第一方技能状态获得单元，可以用于通过时间循环神经网络对连续多帧图像进行处理，获得第一方对象的第一方技能状态；第一方技能特征获得单元，可以用于根据第一方技能状态获得第一方技能特征。

在示例性实施例中，第一方属性特征还可以包括第一方血条特征，第一方血条具有第一颜色。其中，图像处理装置1900还可以包括：第一颜色宽度检测单元，可以用于检测第一方血条中第一颜色的宽度；第一方血条特征获得单元，可以用于根据第一颜色的宽度和第一方血条的总宽度，获得第一方血条特征。

在示例性实施例中，处理方式自动确定单元1940可以包括：双方图像指标获得单元，可以用于通过深度网络模型分别对第一方特征和第二方特征进行处理，获得游戏图像的第一方对象指标和第二方对象指标；自动决策单元，可以用于根据第一方对象指标和第二方对象指标，确定在游戏图像中第二方对象针对第一方对象的处理方式。

在示例性实施例中，双方图像指标获得单元可以包括：第一全连接层特征获得单元，可以用于将第一方通道特征依次经过深度网络模型的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层和第一全连接层处理，获得第一方通道特征的第一全连接层特征；第一方融合特征获得单元，可以用于根据第一方通道特征的第一全连接层特征与第一方属性特征，获得第一方融合特征；第一方对象指标获得单元，可以用于将第一方融合特征依次经过深度网络模型的第二全连接层、第三全连接层和激活函数层处理，获得第一方对象指标。

在示例性实施例中，处理方式可以包括撤退和攻击。其中，自动决策单元可以包括：撤退单元，可以用于若第一方对象指标大于第二方对象指标，则确定在游戏图像中第二方对象针对第一方对象的处理方式为撤退；攻击单元，可以用于若第一方对象指标小于第二方对象指标，则确定在游戏图像中第二方对象针对第一方对象的处理方式为攻击。

在示例性实施例中，游戏图像中还可以包括第二方技能区域，第二方特征可以包括第二方属性特征，第二方属性特征可以包括第二方技能特征。其中，图像处理装置1900还可以包括：技能模板图像获取单元，可以用于获取技能模板图像；相似度获得单元，可以用于将游戏图像与技能模板图像进行匹配，获得第二方技能区域与技能模板图像的相似度；第二方技能状态确定单元，可以用于根据相似度确定第二方对象的第二方技能状态；第二方技能特征获得单元，可以用于根据第二方技能状态获得第二方技能特征。

在示例性实施例中，图像处理装置1900还可以包括：训练图像获取单元，可以用于获取目标游戏中同时包括第一方对象和第二方对象的训练图像；目标类别位置标注单元，可以用于获取训练图像中的第一方目标和第二方目标的标注类别和标注位置；第一类别位置预测单元，可以用于通过目标检测网络模型对训练图像进行处理，获得训练图像中的第一方目标和第二方目标的第一预测类别和第一预测位置；类别损失获得单元，可以用于根据第一预测类别及其标注类别获得类别损失；位置损失获得单元，可以用于根据第一预测位置及其标注位置获得位置损失；损失函数构建单元，可以用于根据类别损失和位置损失构建目标检测网络模型的损失函数，以用于训练目标检测网络模型。

在示例性实施例中，图像处理装置1900还可以包括：第二类别位置预测单元，可以用于利用训练的目标检测网络模型对训练图像进行处理，获得训练图像中的第一方目标和第二方目标的第二预测类别和第二预测位置；第一二方特征构建单元，可以用于根据训练图像中的第一方目标和第二方目标的第二预测类别和第二预测位置，构建训练图像的第一方特征和第二方特征；处理方式标注单元，可以用于获取训练图像的标注处理方式；第一二方指标获得单元，可以用于通过深度网络模型对训练图像的第一方特征和第二方特征进行处理，获得训练图像的第一方对象指标和第二方对象指标；目标函数构建单元，可以用于根据训练图像的第一方对象指标和第二方对象指标以及标注处理方式，构建深度网络模型的目标函数，以用于训练深度网络模型。

本公开实施例提供的图像处理装置中的各个单元的具体实现可以参照上述图像处理方法中的内容，在此不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (20)

1.一种图像处理方法，其特征在于，包括：

获取目标游戏的游戏图像，所述游戏图像中包括第一方对象和第二方对象；

获得所述游戏图像中所述第一方对象的第一方目标和所述第二方对象的第二方目标，以及分别获得所述第一方目标和所述第二方目标的目标类别和目标位置；

根据所述游戏图像中的第一方目标和第二方目标的目标类别和目标位置，构建所述游戏图像的第一方特征和第二方特征；

通过深度网络模型分别对所述第一方特征和所述第二方特征进行处理，确定在所述游戏图像中所述第二方对象针对所述第一方对象的处理方式；

其中，通过深度网络模型分别对所述第一方特征和所述第二方特征进行处理，确定在所述游戏图像中所述第二方对象针对所述第一方对象的处理方式，包括：

通过所述深度网络模型分别对所述第一方特征和所述第二方特征进行处理，获得所述游戏图像的第一方对象指标和第二方对象指标；

根据所述第一方对象指标和所述第二方对象指标，确定在所述游戏图像中所述第二方对象针对所述第一方对象的处理方式；

所述第一方特征包括第一方通道特征和第一方属性特征，所述第二方特征包括第二方通道特征和第二方属性特征；其中，通过所述深度网络模型分别对所述第一方特征和所述第二方特征进行处理，获得所述游戏图像的第一方对象指标和第二方对象指标，包括：

将所述第一方通道特征依次经过所述深度网络模型的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层和第一全连接层处理，获得所述第一方通道特征的第一全连接层特征；

根据所述第一方通道特征的第一全连接层特征与所述第一方属性特征，获得第一方融合特征；

将所述第一方融合特征依次经过所述深度网络模型的第二全连接层、第三全连接层和激活函数层处理，获得所述第一方对象指标；

将所述第二方通道特征依次经过所述深度网络模型的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层和第一全连接层处理，获得所述第二方通道特征的第一全连接层特征；

根据所述第二方通道特征的第一全连接层特征与所述第二方属性特征，获得第二方融合特征；

将所述第二方融合特征依次经过所述深度网络模型的第二全连接层、第三全连接层和激活函数层处理，获得所述第二方对象指标。

2.根据权利要求1所述的图像处理方法，其特征在于，所述第一方目标包括第一方辅助对象、第一方防御工具和第一方血条，所述第二方目标包括第二方辅助对象、第二方防御工具和第二方血条；其中，分别获得所述第一方目标和所述第二方目标的目标类别和目标位置，包括：

将所述游戏图像输入至目标检测网络模型；

利用所述目标检测网络模型将所述游戏图像划分为第一尺度的第一网格、第二尺度的第二网格和第三尺度的第三网格，其中所述第一尺度小于所述第二尺度，所述第二尺度小于所述第三尺度；

通过所述第一网格预测所述第一方防御工具和所述第二方防御工具的目标类别和目标位置；

通过所述第二网格预测所述第一方辅助对象和所述第二方辅助对象的目标类别和目标位置；

通过所述第三网格预测所述第一方血条和所述第二方血条的目标类别和目标位置。

3.根据权利要求2所述的图像处理方法，其特征在于，其中，根据所述游戏图像中的第一方目标和第二方目标的目标类别和目标位置，构建所述游戏图像的第一方特征和第二方特征，包括：

根据所述第一方血条的目标位置，确定所述第一方对象的位置信息；

根据所述第一方对象的位置信息，在所述游戏图像中确定包括所述第一方对象、所述第一方辅助对象和所述第一方防御工具在内的目标区域；

根据所述第一方辅助对象在所述目标区域中的位置，生成所述第一方辅助对象的二值图；

根据所述第一方防御工具在所述目标区域中的位置，生成所述第一方防御工具的二值图；

根据所述第一方辅助对象的二值图和所述第一方防御工具的二值图，生成所述第一方通道特征。

4.根据权利要求3所述的图像处理方法，其特征在于，所述第一方属性特征包括第一方技能特征；其中，所述方法还包括：

获取所述目标游戏的连续多帧图像；

通过时间循环神经网络对所述连续多帧图像进行处理，获得所述第一方对象的第一方技能状态；

根据所述第一方技能状态获得所述第一方技能特征。

5.根据权利要求4所述的图像处理方法，其特征在于，所述第一方属性特征还包括第一方血条特征，所述第一方血条具有第一颜色；其中，所述方法还包括：

检测所述第一方血条中所述第一颜色的宽度；

根据所述第一颜色的宽度和所述第一方血条的总宽度，获得所述第一方血条特征。

6.根据权利要求1所述的图像处理方法，其特征在于，所述处理方式包括撤退和攻击；其中，根据所述第一方对象指标和所述第二方对象指标，确定在所述游戏图像中所述第二方对象针对所述第一方对象的处理方式，包括：

若所述第一方对象指标大于所述第二方对象指标，则确定在所述游戏图像中所述第二方对象针对所述第一方对象的处理方式为撤退；

若所述第一方对象指标小于所述第二方对象指标，则确定在所述游戏图像中所述第二方对象针对所述第一方对象的处理方式为攻击。

7.根据权利要求1所述的图像处理方法，其特征在于，所述游戏图像中还包括第二方技能区域，所述第二方特征包括第二方属性特征，所述第二方属性特征包括第二方技能特征；其中，所述方法还包括：

获取技能模板图像；

将所述游戏图像与所述技能模板图像进行匹配，获得所述第二方技能区域与所述技能模板图像的相似度；

根据所述相似度确定所述第二方对象的第二方技能状态；

根据所述第二方技能状态获得所述第二方技能特征。

8.根据权利要求1所述的图像处理方法，其特征在于，还包括：

获取所述目标游戏中同时包括所述第一方对象和所述第二方对象的训练图像；

获取所述训练图像中的第一方目标和第二方目标的标注类别和标注位置；

通过目标检测网络模型对所述训练图像进行处理，获得所述训练图像中的第一方目标和第二方目标的第一预测类别和第一预测位置；

根据所述第一预测类别及其标注类别获得类别损失；

根据所述第一预测位置及其标注位置获得位置损失；

根据所述类别损失和所述位置损失构建所述目标检测网络模型的损失函数，以用于训练所述目标检测网络模型。

9.根据权利要求8所述的图像处理方法，其特征在于，还包括：

利用训练的所述目标检测网络模型对所述训练图像进行处理，获得所述训练图像中的第一方目标和第二方目标的第二预测类别和第二预测位置；

根据所述训练图像中的第一方目标和第二方目标的第二预测类别和第二预测位置，构建所述训练图像的第一方特征和第二方特征；

获取所述训练图像的标注处理方式；

通过所述深度网络模型对所述训练图像的第一方特征和第二方特征进行处理，获得所述训练图像的第一方对象指标和第二方对象指标；

根据所述训练图像的第一方对象指标和第二方对象指标以及所述标注处理方式，构建所述深度网络模型的目标函数，以用于训练所述深度网络模型。

10.一种图像处理装置，其特征在于，包括：

目标游戏图像获取单元，用于获取目标游戏的游戏图像，所述游戏图像中包括第一方对象和第二方对象；

目标类别位置获得单元，用于获得所述游戏图像中所述第一方对象的第一方目标和所述第二方对象的第二方目标，以及分别获得所述第一方目标和所述第二方目标的目标类别和目标位置；

双方图像特征构建单元，用于根据所述游戏图像中的第一方目标和第二方目标的目标类别和目标位置，构建所述游戏图像的第一方特征和第二方特征；

处理方式自动确定单元，用于通过深度网络模型分别对所述第一方特征和所述第二方特征进行处理，确定在所述游戏图像中所述第二方对象针对所述第一方对象的处理方式；

其中，所述处理方式自动确定单元包括：

双方图像指标获得单元，用于通过所述深度网络模型分别对所述第一方特征和所述第二方特征进行处理，获得所述游戏图像的第一方对象指标和第二方对象指标；

自动决策单元，用于根据所述第一方对象指标和所述第二方对象指标，确定在所述游戏图像中所述第二方对象针对所述第一方对象的处理方式；

所述第一方特征包括第一方通道特征和第一方属性特征，所述第二方特征包括第二方通道特征和第二方属性特征；其中，所述双方图像指标获得单元包括：

第一全连接层特征获得单元，用于将所述第一方通道特征依次经过所述深度网络模型的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层和第一全连接层处理，获得所述第一方通道特征的第一全连接层特征；

第一方融合特征获得单元，用于根据所述第一方通道特征的第一全连接层特征与所述第一方属性特征，获得第一方融合特征；

第一方对象指标获得单元，用于将所述第一方融合特征依次经过所述深度网络模型的第二全连接层、第三全连接层和激活函数层处理，获得所述第一方对象指标；

所述双方图像指标获得单元还用于将所述第二方通道特征依次经过所述深度网络模型的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层和第一全连接层处理，获得所述第二方通道特征的第一全连接层特征；根据所述第二方通道特征的第一全连接层特征与所述第二方属性特征，获得第二方融合特征；将所述第二方融合特征依次经过所述深度网络模型的第二全连接层、第三全连接层和激活函数层处理，获得所述第二方对象指标。

11.根据权利要求10所述的图像处理装置，其特征在于，所述第一方目标包括第一方辅助对象、第一方防御工具和第一方血条，所述第二方目标包括第二方辅助对象、第二方防御工具和第二方血条；其中，所述目标类别位置获得单元包括：

图像输入单元，用于将所述游戏图像输入至目标检测网络模型；

网格划分单元，用于利用所述目标检测网络模型将所述游戏图像划分为第一尺度的第一网格、第二尺度的第二网格和第三尺度的第三网格，其中所述第一尺度小于所述第二尺度，所述第二尺度小于所述第三尺度；

防御工具目标类别位置预测单元，用于通过所述第一网格预测所述第一方防御工具和所述第二方防御工具的目标类别和目标位置；

辅助对象目标类别位置预测单元，用于通过所述第二网格预测所述第一方辅助对象和所述第二方辅助对象的目标类别和目标位置；

血条目标类别位置预测单元，用于通过所述第三网格预测所述第一方血条和所述第二方血条的目标类别和目标位置。

12.根据权利要求11所述的图像处理装置，其特征在于，其中，所述双方图像特征构建单元包括：

第一方对象位置确定单元，用于根据所述第一方血条的目标位置，确定所述第一方对象的位置信息；

第一方对象目标区域确定单元，用于根据所述第一方对象的位置信息，在所述游戏图像中确定包括所述第一方对象、所述第一方辅助对象和所述第一方防御工具在内的目标区域；

第一方辅助对象二值图生成单元，用于根据所述第一方辅助对象在所述目标区域中的位置，生成所述第一方辅助对象的二值图；

第一方防御工具二值图生成单元，用于根据所述第一方防御工具在所述目标区域中的位置，生成所述第一方防御工具的二值图；

第一方通道特征生成单元，用于根据所述第一方辅助对象的二值图和所述第一方防御工具的二值图，生成所述第一方通道特征。

13.根据权利要求12所述的图像处理装置，其特征在于，所述第一方属性特征包括第一方技能特征；其中，所述装置还包括：

连续多帧图像获取单元，用于获取所述目标游戏的连续多帧图像；

第一方技能状态获得单元，用于通过时间循环神经网络对所述连续多帧图像进行处理，获得所述第一方对象的第一方技能状态；

第一方技能特征获得单元，用于根据所述第一方技能状态获得所述第一方技能特征。

14.根据权利要求13所述的图像处理装置，其特征在于，所述第一方属性特征还包括第一方血条特征，所述第一方血条具有第一颜色；其中，所述装置还包括：

第一颜色宽度检测单元，用于检测所述第一方血条中所述第一颜色的宽度；

第一方血条特征获得单元，用于根据所述第一颜色的宽度和所述第一方血条的总宽度，获得所述第一方血条特征。

15.根据权利要求10所述的图像处理装置，其特征在于，所述处理方式包括撤退和攻击；其中，所述自动决策单元包括：

撤退单元，用于若所述第一方对象指标大于所述第二方对象指标，则确定在所述游戏图像中所述第二方对象针对所述第一方对象的处理方式为撤退；

攻击单元，用于若所述第一方对象指标小于所述第二方对象指标，则确定在所述游戏图像中所述第二方对象针对所述第一方对象的处理方式为攻击。

16.根据权利要求10所述的图像处理装置，其特征在于，所述游戏图像中还包括第二方技能区域，所述第二方特征包括第二方属性特征，所述第二方属性特征包括第二方技能特征；其中，所述装置还包括：

技能模板图像获取单元，用于获取技能模板图像；

相似度获得单元，用于将所述游戏图像与所述技能模板图像进行匹配，获得所述第二方技能区域与所述技能模板图像的相似度；

第二方技能状态确定单元，用于根据所述相似度确定所述第二方对象的第二方技能状态；

第二方技能特征获得单元，用于根据所述第二方技能状态获得所述第二方技能特征。

17.根据权利要求10所述的图像处理装置，其特征在于，还包括：

训练图像获取单元，用于获取所述目标游戏中同时包括所述第一方对象和所述第二方对象的训练图像；

目标类别位置标注单元，用于获取所述训练图像中的第一方目标和第二方目标的标注类别和标注位置；

第一类别位置预测单元，用于通过目标检测网络模型对所述训练图像进行处理，获得所述训练图像中的第一方目标和第二方目标的第一预测类别和第一预测位置；

类别损失获得单元，用于根据所述第一预测类别及其标注类别获得类别损失；

位置损失获得单元，用于根据所述第一预测位置及其标注位置获得位置损失；

损失函数构建单元，用于根据所述类别损失和所述位置损失构建所述目标检测网络模型的损失函数，以用于训练所述目标检测网络模型。

18.根据权利要求17所述的图像处理装置，其特征在于，还包括：

第二类别位置预测单元，用于利用训练的所述目标检测网络模型对所述训练图像进行处理，获得所述训练图像中的第一方目标和第二方目标的第二预测类别和第二预测位置；

第一二方特征构建单元，用于根据所述训练图像中的第一方目标和第二方目标的第二预测类别和第二预测位置，构建所述训练图像的第一方特征和第二方特征；

处理方式标注单元，用于获取所述训练图像的标注处理方式；

第一二方指标获得单元，用于通过所述深度网络模型对所述训练图像的第一方特征和第二方特征进行处理，获得所述训练图像的第一方对象指标和第二方对象指标；

目标函数构建单元，用于根据所述训练图像的第一方对象指标和第二方对象指标以及所述标注处理方式，构建所述深度网络模型的目标函数，以用于训练所述深度网络模型。

19.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9中任一项所述的图像处理方法。

20.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的图像处理方法。

Images