CN108236785B - 一种获取对象信息的方法及装置 - Google Patents

Abstract

一种获取游戏信息的方法、装置及存储介质，可以直接从应用界面获取应用信息，不需要应用开发者的配合，可以应用至更多的应用场景。所述方法包括：获取目标应用在运行时的界面图像；通过对象识别模型对所述界面图像进行识别，以得到识别结果，所述对象识别模型与目标对象的图像样本集相关联，所述识别结果用于指示所述界面图像中的所述目标对象的类别信息；根据所述类别信息确定所述目标应用的数据信息。

Description

一种获取对象信息的方法及装置

技术领域

本发明涉及软件技术领域，尤其涉及一种获取对象信息的方法及装置。

背景技术

人工智能(Artificial Intelligence，AI)，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。目标AI已经得到了广泛的应用。在游戏中，可以使用AI使用深度增强学习(Deep Q-Learning Network，DQN)来训练游戏AI自动玩游戏。

传统做法是由游戏的开发方提供游戏接口来实时获取游戏信息。然而这种方法需要游戏开发者配合，极大的限制了DQN能够应用的场景。

发明内容

本发明实施例提供了一种获取对象信息的方法、装置及存储介质，可以直接从应用界面获取应用信息，不需要应用开发者的配合，可以应用至更多的应用场景。

本发明实施例第一方面提供一种获取对象信息的方法，所述方法包括：

获取目标应用在运行时的界面图像；

通过对象识别模型对所述界面图像进行识别，以得到识别结果，所述对象识别模型与目标对象的图像样本集相关联，所述识别结果用于指示所述界面图像中的所述目标对象的类别信息；

根据所述类别信息确定所述目标应用的数据信息。

本发明实施例第二方面提供一种用于获取对象信息装置，具有实现对应于上述第一方面提供的获取游戏信息方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。一种可能的设计中，所述用于获取游戏信息的装置，所述装置包括：

第一获取单元，用于获取目标应用在运行时的界面图像；

识别单元，用于通过对象识别模型对所述界面图像进行识别，以得到识别结果，所述对象识别模型是根据目标对象的图像样本集进行学习训练得到的，所述识别结果用于指示所述界面图像中的所述目标对象的类别信息；

第一确定单元，用于根据所述类别信息确定所述目标应用的数据信息。

本发明实施例第三方面提供了一种计算机装置，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行上述各方面所述的操作。

本发明实施例第四方面提供了一种计算机存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述各方面所述的操作。

本发明实施例第五方面提供一种通信装置，该通信装置可以包括终端设备或者芯片等实体，所述通信装置包括：处理器、存储器；所述存储器用于存储指令；所述处理器用于执行所述存储器中的所述指令，使得所述通信装置执行如前述各方面中任一项所述的方法。

综上所述，本发明提供的方案中，获取目标应用在运行时的界面图像；通过对象识别模型对所述界面图像进行识别，以得到识别结果；根据所述识别结果确定所述界面图像中的所述目标对象的类别信息。由此可以看出，本发明中，可以直接从应用界面获取目标对象的应用信息，而不需要应用开发者的配合，因此可以应用到更多的应用场景。

附图说明

图1为本发明实施例提供的获取对象信息的方法的一个实施例示意图；

图2为本发明实施例提供的获取对象信息的方法的另一实施例示意图；

图3为本发明实施例提供的第一图像样本集中采集到的图像示意图；

图4-A为本发明实施例提供的第二图像样本集中采集到的一个图像示意图；

图4-B为本发明实施例提供的第二图像样本集中采集到的另一个图像示意图；

图4-C为本发明实施例提供的第二图像样本集中采集到的另一个图像示意图；

图4-D为本发明实施例中提供的第二图像样本集中采集到的另一图像示意图；

图5为本发明实施例提供的基于候选区域进行识别的示意图；

图6为本发明实施例提供的获取对象信息的方法的场景示意图；

图7为本发明实施例提供的场景示意图中目标区域的示意图；

图8为本发明实施例提供的获取对象信息装置的一个实施例示意图；

图9为本发明实施例提供的获取对象信息装置的另一个实施例示意图；

图10为本发明实施例提供的一种终端的结构示意图。

具体实施方式

本发明提供了一种获取对象信息的方法、装置及存储介质，可以直接从应用界面获取应用信息，不需要应用开发者的配合，可以应用至更多的应用场景。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本发明中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本发明中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本发明方案的目的。

可以理解的是，本发明可以应用至游戏场景中。本发明实施例中，使用DQN来训练游戏AI自动玩游戏时，DQN输入除了游戏画面，还可以融合更多的游戏数据信息的作为DQN输入。

需要说明的是，本发明提供了一种获取对象信息的方法，可以对游戏界面中的某些可变元素进行学习训练生成识别模型，基于识别模型对可变元素图像进行分类得到游戏信息，并作为DQN的输入。由于游戏信息可直接融合到DQN的输入，由此可以加快了DQN的特征提取和收敛过程。

需要说明的是，该获取对象信息的方法可以应用于游戏类应用，例如，该游戏类应用可以为王者荣耀等一些战略类塔防游戏，本发明实施例中，可以以王者荣耀为例进行说明，当然也可以是其他游戏，具体不作限定。

该方法应用于终端设备，该终端设备可以为包括手机、平板电脑、PDA(PersonalDigital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，本申请实施例中，以终端设备为手机为例进行说明。

请参阅图1，图1为本发明实施例提供的获取对象信息的方法一个实施例示意图，具体包括：

101、获取目标应用在运行时的界面图像。

本实施例中，当目标应用(即王者荣耀)在手机上运行时，可以获取王者荣耀在运行时的界面图像。具体的，例如可以通过手机上的图像采集程序实时采集王者荣耀的运行界面图像，图像采集程序可以使用截屏的方式来获取当前手机上的实时运行的王者荣耀的界面图像。当然也可以采用其他的方式来获取界面图像，此处仅以图像采集程序进行截屏为例进行说明，具体不作限定。

102、通过对象识别模型对界面图像进行识别，以得到识别结果。

本实施例中，当获取到了王者荣耀在手机上运行时的界面图像时，可以通过对象识别模型对界面图像进行识别，以得到识别结果，该对象识别模型与目标对象的图像样本集相关联(例如可以通过对目标对象的图像样本集进行学习训练得到对象识别模型)，该目标对象的图像样本集中可以包括多种类别的图像样本集合和可变特征对应的图像样本集合，该识别结果用于指示界面图像中的目标对象的类别信息，该识别结果例如可以是王者荣耀游戏中，王者荣耀中塔是否存在的信息、王者荣耀中敌我双方的英雄阵容等游戏信息。具体的，例如可以通过逻辑斯蒂回归模型(Logistic regression，LR)对界面图像进行识别，得到识别结果。

下面以LR模型，获取王者荣耀中塔是否存在的游戏信息为例进行说明：

假设x为输入的图像特征，该图像特征为王者荣耀中运行界面图像的像素值，Y表示图像输出的类别，Y的取值集合是{1，2，...K}，1，2，K位数字化的类别信息(如在塔的分类中，1表示红色塔类别，2表示蓝色塔类别，3表示背景类别，这里K＝3)，其中，蓝色塔类别以及红色塔类别用来表示敌我双方的塔的类别，那么LR模型是：

其中，x∈Rⁿ⁺¹,w_k∈Rⁿ⁺¹，采用梯度下降法估计模型的参数w，exp为指数函数。

此处，该LR模型输入的王者荣耀游戏运行界面图像，输出当前界面图像上的红色塔类别信息，蓝色塔类别信息，以及背景。

需要说明的是，上述以识别模型对界面图像进行识别为例进行说明，当然也还可以用其他方法进行识别，例如通过采用卷积神经网络(Convolutional Neural Networks，CNN)的方法，提取界面图像中目标对象的特征(例如是屏幕截图的像素值，该屏幕截图中包含有目标对象)，之后使用对象识别模型进行分类，最终确定识别结果。

103、根据类别信息确定目标应用的数据信息。

本实施例中，当终端通过对象识别模型对界面图像进行识别得到识别结果之后，可以根据该类别信息确定目标应用的数据信息。例如王者荣耀游戏中，根据识别到的类别信息“塔的类别、英雄类别或英雄种类信息”转换成王者荣耀的数据信息。

综上所述，本发明提供的方案中，获取目标应用在运行时的界面图像；通过对象识别模型对所述界面图像进行识别，以得到识别结果；根据所述识别结果确定所述界面图像中的所述目标对象的类别信息。由此可以看出，本发明中，可以直接从应用界面获取目标对象的应用信息，而不需要应用开发者的配合，因此可以应用到更多的应用场景。

需要说明的是，在本发明中，对象识别模型，可以为一个，也可以根据待识别的对象属性不同将对象识别模型分为两个。以王者荣耀游戏为例进行说明，该对象识别模型可以为一个总的识别模型，即可以识别英雄类别、英雄种类，同时也可以识别塔的类别以及随着塔的血量减少，或塔受到英雄技能，光照，背景场景的影响时，塔的图像是逐渐变化的图像样本集合，只需要在学习训练对象识别模型时获取到所有的图像样本集合即可。该对象识别模型可以为两个识别模型，第一对象识别模型以及第二对象识别模型，其中，第一对象识别模型对应的是英雄类别的识别模型，第二对象识别模型对应的是塔类别的识别模型。下面结合图2以两个对象识别模型为例进行说明。

请参阅图2，图2为本发明实施例提供的获取对象信息的方法的另一实施例示意图，具体包括：

201、获取第一图像样本集，第一图像样本集中包含多种类别的目标对象的图像样本。

本实施例中，使用DQN来训练游戏AI自动玩游戏时，DQN输入除了游戏画面，还可以融合更多的游戏数据信息的作为DQN输入，本实施例中，需要预先训练对象识别模型，用来识别DQN需要输入的游戏数据信息，该对象识别模型是根据目标对象的图像样本集进行学习训练得到的，该目标对象的图像样本集包括第一图像样本集。

具体的，本实施例中，可以首先获取第一图像样本集，该第一图像样本集中包含多种类别的目标图像样本，例如王者荣耀游戏中，可以包括敌我英雄类别、背景类别以及英雄种类。下面进行举例说明，王者荣耀，英雄分为敌方英雄和我方英雄，而敌方和我方英雄的种类可以相同，也可以不相同，(例如都可以选择英雄“安琪拉”)那么就需要对敌方英雄以及我方英雄进行区分，并且还需要对敌我双方的英雄种类进行区分。

参阅图3，图3为本实施例提供的采集第一图像样本集中的图像示意图，该第一图像样本集中可以包括多中类别的包含多种类别的目标对象的图像样本，例如王者荣耀游戏中，我方英雄类别，敌方英雄类别，英雄的种类等。图3中仅以4个英雄种类为例进行说明英雄“公孙离”、英雄“明世隐”、英雄“女娲”以及英雄“梦奇”，本实施例中，可以将王者荣耀中的所有英雄对应的图像作为图像样本集，同时，还可以将敌方英雄设置为红色类别(即游戏中在显示敌方英雄为红色标识)，我方英雄设置为蓝色类别(即游戏中显示我方英雄为蓝色标识)，反之也是如此。

202、对第一图像样本集进行学习训练，以得到第一对象识别模型。

本实施例中，当得到了第一图像样本(例如王者荣耀游戏中所有英雄的图像集合以及敌我英雄的色彩标识图像集合)后，可以对第一图像样本集进行学习训练，以得到对象识别模型。此处的训练指的就是利用收集的王者荣耀中的英雄种类的样本数据、英雄类别的样本数据以及背景的样本数据让计算机学习如何对识别英雄的种类、英雄的类别以及背景，以生成第一对象识别模型。

203、获取第二图像样本集，第二图像样本集中包含目标对象的可变属性特征在不同状态下对应的图像样本。

本实施例中，使用DQN来训练游戏AI自动玩游戏时，DQN输入除了游戏画面，还可以融合更多的游戏数据信息的作为DQN输入，本实施例中，需要预先训练对象识别模型，用来识别DQN需要输入的游戏数据信息，该对象识别模型是根据目标对象的图像样本集进行学习训练得到的，该目标对象的图像样本集包括第二图像样本集，该目标对象包括可变属性特征。

具体的，可以首先获取第二图像样本集，该第二图像样本集中包含目标对象的可变属性特征在不同状态下对应的渐变图像样本。例如王者荣耀中，随着塔的血量减少，或塔受到英雄技能，光照，背景场景的影响时，塔的图像是逐渐变化的，本示例中，第二图像样本集以塔的样本集为例，可以采集到这些塔在不同状态下的图像样本的集合。

请参阅图4-A至图4-D，图4-A为本发明实施例提供的第二图像样本集中采集到的一个图像示意图，A位置的塔未受到任何攻击，塔的血量为满血；图4-B为本发明实施例提供的第二图像样本集中的另一图像示意图，A位置的塔的血量因为受到对方英雄或者小兵的攻击，血量降至一半；图4-C为本发明实施例提供的第二图像样本集中的另一图像示意图，A位置的塔受到对方英雄或者小兵的攻击，只剩五分之一的血量；图4-D为本发明实施例提供的第二图像样本集中的另一图像示意图，A位置的塔已经被对方英雄或者小兵打爆。为了描写简便，上面仅以4个示意图为例来说明，王者荣耀中塔的血量的变化，并不代表第二图像样本集中只包括这4个样本图片，第二图像样本集中，可以包括塔血量受到的每一次攻击的变化的样本图片，此处仅以A位置的塔为例进行说明，第二图像样本集中包括王者荣耀各个地图中各个位置塔的血量变化的图像样本。

另外，塔在受到英雄技能攻击的时候，塔位置的图像(例如塔血量的变化)也会发生变化，同样的，第二图像样本集中也还可以包括塔每次受到英雄技能攻击时，塔发生变化的图像，及塔在受到光照，背景场景发生变化时塔的样本图像。

204、对第二图像数据集进行学习训练，以得到第二对象识别模型。

本实施例中，当得到了第二图像样本集(例如王者荣耀游戏中塔的血量渐变图像集合)后，可以对第二图像样本集进行学习训练，以得到对象识别模型。此处的训练指的就是利用收集的王者荣耀中的塔的血量渐变图像的样本数据让计算机学习如何对塔血量的变化进行识别，以生成第二对象识别模型。

需要说明的是，通过步骤201至步骤202可以基于第一图像样本集经过训练生成第一对象识别模型，通过步骤203至步骤204可以基于第二图像样本集经过训练生成第二对象识别模型，然而这两个步骤之间并执行顺序的限制，可以先执行步骤201至步骤202，也可以先执行步骤203至步骤204，或者同时执行，具体不做限定。

205、获取目标应用在运行时的界面图像。

本实施例中，当目标应用(即王者荣耀)在手机上运行时，可以获取王者荣耀在运行时的界面图像。具体的，例如可以通过手机上的图像采集程序实时采集王者荣耀的运行界面图像，图像采集程序可以使用截屏的方式来获取当前手机上的实时运行的王者荣耀的界面图像。当然也可以采用其他的方式来获取界面图像，此处仅以图像采集程序进行截屏为例进行说明，具体不作限定。

206、确定界面图像中的目标区域。

本实施例中，可以确定界面图像中的目标区域，该目标区域包含目标对象的图像。例如，王者荣耀游戏中，该界面图像可以为整个屏幕的界面图像，而目标对象存在于小地图区域，为了提高识别效率，可以先将王者荣耀中的小地图区域提取出来，得到目标区域(即小地图区域)。

207、通过第一对象识别模型以及第二对象识别模型对界面图像进行识别，以得到识别结果。

本实施例中，经过步骤206已经确定了界面图像中包含目标对象的图像的目标区域，可以通过第一对象识别模型以及第二对象识别模型对目标区域进行识别，以得到识别结果，识别结果用于指示界面图像中的目标对象的类别信息。

需要说明的是，在通过对象识别模型对界面图像进行识别时，还可以首先确定界面图像中的候选区域，候选区域为目标对象的展示范围(例如王者荣耀游戏中，塔的位置是固定的，而英雄可以在地图内部除了障碍物以外的区域移动，塔的候选区域即为固定有塔的位置，而英雄的候选区域，则为地图中除障碍物以外的任意区域)，通过对象识别模型对候选区域进行识别，以得到识别结果，其中，候选区域可以为界面图像中的任意区域。

需要说明的是，此处对候选区域的大小以及形状不做具体限定，可以依据目标对象做适应性的更改，形状可以是圆形、方形、菱形等等。

需要说明的是，在确定界面图像中的候选区域时，还可以确定候选区域的位置信息，其中，位置信息可以坐标的形式进行表示，例如将界面图像划分成坐标，在确定候选区域时，即可以读取候选区域的坐标，同理，也可以确定出候选区域中的塔或英雄的位置信息，也可以经纬度进行划分，例如将界面图像划分经纬度，在确定候选区域时，可以读取候选区域的经纬度，即可以确定候选区域的经纬度，同时，也可以确定出候选区域中塔或英雄的位置信息。

下面结合图5对界面图像的识别进行说明，请参阅图5，图5为本发明实施例提供的基于候选区域进行识别的示意图：

如图5中的B区域，该B区域为上述所说的候选区域，通过第一对象识别模型以及第二对象识别模型对B区域进行识别时，可以识别出塔的类别(例如红塔)、英雄类别(红色英雄标识)、英雄种类(例如是哪个英雄或者英雄的ID)以及背景；由于在B区域，同时存在有塔以及英雄，也就可以同时识别出是塔的类别：我方的塔还是敌方的塔，英雄的类别：是我方的英雄还是敌方的英雄，英雄的种类：例如是英雄“女娲”，还是英雄“梦奇”，同时还能识别塔的血量目前是多少；同理，当在C区域的时候，通过第一对象识别模型以及第二对象识别模型对C区域进行识别时，输出的只有背景；D区域，通过第一对象识别模型以及第二对象识别模型进行识别时，识别到的是英雄类别、英雄种类以及背景；E区域，通过第一对象识别模型以及第二对象识别模型进行识别时，识别到的是塔的类别以及背景。

需要说明的是，上述仅以B、C、D、E，4个区域为例进行说明，不代表只能识别出4个区域，可以识别出目标区域内的所有区域。

208、根据类别信息确定目标应用的数据信息。

本实施例中，当终端通过对象识别模型对界面图像进行识别得到识别结果之后，可以根据该类别信息确定目标应用的数据信息。例如王者荣耀游戏中，根据识别到的类别信息“塔的类别、英雄类别或英雄种类信息”转换成王者荣耀的数据信息。

209、将数据信息输入DQN。

本实施例中，在将类别信息转换为目标应用的数据信息之后，可以将该数据信息输入DQN，加快了DQN的特征提取和收敛过程。

综上所述，本发明提供的方案中，获取目标应用在运行时的界面图像；通过对象识别模型对所述界面图像进行识别，以得到识别结果；根据所述识别结果确定所述界面图像中的所述目标对象的类别信息。由此可以看出，本发明中，可以直接从应用界面获取目标对象的应用信息，而不需要应用开发者的配合，因此可以应用到更多的应用场景。同时，还可以将识别得到的类别信息输入DQN，加快DQN的特征提取以及收敛过程。

为了便于理解，具体应用场景进行说明。

以目标应用为王者荣耀游戏为例进行说明，请参阅图6，图6为本发明实施例提供的获取对象信息的方法的场景示意图，图6中所示的地图为王者荣耀游戏中的5V5对战地图“王者峡谷”，有三路兵线，每条兵线上每方各有三座防御塔，而每方的基地塔只有一个。游戏开始，通过屏幕截图程序进行截图，得到图6所示的一个场景示意图，由于截图是整个手机屏幕的截图，为了加快识别进度，可以首先将目标区域，即图6种所示的F区域(王者荣耀运行时的小地图区域)提取，得到图7所示的示意图。

图7为本发明实施例提供的目标区域的示意图，当确定了F区域的图像之后，可以确定目标区域中的候选区域，候选区域可以为地图上的任意区域，本申请中候选区域以虚线框来表示，如图7中的F1区域，为候选区域，通过对象识别模型(该对象识别模型可以为一个总的对象识别模型，也可以分为两个对象识别模型，第一对象识别模型识别英雄类别，第二对象识别模型识别塔的类别)对F1区域进行对象识别，得到识别结果，该识别结果为：包括两个英雄，其中英雄类别“蓝色，表示我方英雄”，英雄类别“红色，表示对方英雄”，英雄种类“我方英雄“扁鹊”，对方英雄“安琪拉””，塔类别“蓝色，表示我方塔”，塔未受到的英雄技能或者小兵的攻击，显示满血塔。同时，还可以识别到F2区域中的对象，得到识别结果，该识别结果为：英雄类别“蓝色，表示我方英雄”，英雄种类“老夫子”，塔类别“蓝色，表示我方塔”以及背景。以此类推，可以识别到F区域内部的所有游戏元素对象，由此可以看出，本发明中，在需要获取游戏信息时，并不需要游戏开发商的配合，只需要对游戏界面进行截图，并通过对象识别模型，即可以识别到所有的游戏元素，因此可以应用到更多的应用场景。

上面从获取对象信息的方法的角度对本发明实施例进行描述，下面从获取对象信息装置的角度对本发明实施例进行描述。

请参阅图8，图8为本发明实施例提供的获取对象信息装置的一个实施例示意图，具体包括：

第一获取单元801，用于获取目标应用在运行时的界面图像；

识别单元802，用于通过对象识别模型对所述界面图像进行识别，以得到识别结果，所述对象识别模型与目标对象的图像样本集相关联，所述识别结果用于指示所述界面图像中的所述目标对象的类别信息；

第一确定单元803，用于根据所述类别信息确定所述目标应用的数据信息。

为了便于理解，下面结合图9进行详细说明。

请参阅图9，图9为本发明实施例提供的获取对象信息装置的另一实施例示意图，具体包括：

第一获取单元901，用于获取目标应用在运行时的界面图像；

识别单元902，用于通过对象识别模型对所述界面图像进行识别，以得到识别结果，所述对象识别模型与目标对象的图像样本集相关联，所述识别结果用于指示所述界面图像中的所述目标对象的类别信息；

第一确定单元903，用于根据所述类别信息确定所述目标应用的数据信息。

可选地，所述获取对象信息装置还包括：

第二获取单元904，用于当所述目标图像的图像样本集包括第一图像样本集时，获取所述第一图像样本集，所述第一图像样本集中包含多种类别的目标对象的图像样本；

第一学习训练单元905，用于对所述第一图像样本集进行学习训练，以得到所述对象识别模型。

可选地，所述获取对象信息装置还包括

第三获取单元906，用于在所述目标对象的图像样本集包括第二图像样本集，所述目标对象包括可变属性特征时，获取第二图像样本集，所述第二图像样本集中包含所述目标对象的所述可变属性特征在不同状态下对应的图像样本；

第二学习训练单元907，用于对所述第二图像数据集进行学习训练，以得到所述对象识别模型。

可选地，所述获取对象信息装置还包括：

第二确定单元908，确定所述界面图像中的目标区域，所述目标区域包含所述目标对象的图像；

所述识别单元902具体用于：

通过所述对象识别模型对所述目标区域进行识别，以得到所述识别结果。

可选地，所述获取对象信息装置还包括：

第三确定单元909，用于确定所述候选区域的位置信息。

其中，所述识别单元902还具体用于：

确定所述界面图像中的候选区域，所述候选区域为所述目标对象的展示范围；

通过所述对象识别模型对所述候选区域进行识别，以得到识别结果。

综上所述，本实施例中，通过第一获取单元901可以获取目标应用的界面图像，通过第二获取单元904、第一学习训练单元905、第三获取单元906以及第二学习训练单元907可以确定对象识别模型，并通过识别单元902对界面图像进行识别，以得到识别结果，该识别结果指示界面图像中的目标图像的类别信息。由此可以看出，本发明中，可以直接从应用界面获取目标对象的应用信息，而不需要应用开发者的配合，因此可以应用到更多的应用场景。

上面从模块化功能实体的角度对本发明实施例中的网络认证服务器和终端设备进行了描述，下面从硬件处理的角度分别对本发明实施例中的服务器进行描述。

本发明实施例还提供了一种终端，如图10所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point ofSales，销售终端)、车载电脑等任意终端设备，以终端为手机为例：

图10示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图10，手机包括：射频(Radio Frequency，RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图10中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图10对手机的各个构成部件进行具体的介绍：

RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图8中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。

手机还包括给各个部件供电的电源1090(比如电池)，优选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本发明实施例中，该终端所包括的处理器1080还具有执行上述任一项所述获取对象信息的方法的功能。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述获取对象信息的方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述获取对象信息的方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述所述获取对象信息的方法的步骤。

本文中的设备可以是PC、PAD、手机等。

本发明还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行上述所述获取对象信息的方法的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种获取对象信息的方法，其特征在于，包括：

获取第一图像样本集，所述第一图像样本集中包含敌我英雄类别的图像样本、英雄种类的图像样本以及背景的图像样本；

对所述第一图像样本集进行学习训练，以得到第一对象识别模型；

获取第二图像样本集，所述第二图像样本集包括目标对象的可变属性特征在不同状态下对应的渐变图像样本，所述第二图像样本集中包含由于塔受到英雄技能攻击的影响，导致塔在不同状态下的血量变化的图像样本，以及塔受到光照以及背景场景变化的影响，导致塔的图像发生变化的图像样本；

对所述第二图像样本集进行学习训练，以得到第二对象识别模型，所述训练指的是利用塔的血量渐变图像的样本数据，通过深度增强学习来学习如何对塔血量的变化进行识别，以生成第二对象识别模型；

采用截屏的方式实时获取目标游戏应用在运行时的游戏界面图像；

从所述游戏界面图像中提取小地图区域，将所述小地图区域作为所述游戏界面图像中的目标区域，所述目标区域包含目标对象的图像；

通过所述第一对象识别模型对所述目标区域中除障碍物以外的任意区域的英雄对象进行识别，以至少得到与游戏相关的敌我英雄类别、英雄种类以及背景种类识别结果；

通过所述第二对象识别模型对所述目标区域中固定有塔的位置的塔对象进行识别，以至少得到与游戏相关的塔的类别以及塔血量变化识别结果；

根据所述识别结果所指示的所述游戏界面图像中的所述英雄对象以及塔对象的类别信息，确定所述目标游戏应用的游戏数据信息；

其中，所述第二对象识别模型为LR模型，所述LR模型为

其中，x为输入的图像特征，所述图像特征为运行界面图像的像素值，Y表示图像输出的类别，K的取值范围为{1,2,3}，1表示红色塔类别，2表示蓝色塔类别，3表示背景类别，蓝色塔类别以及红色塔类别用来表示敌我双方的塔的类别，

，采用梯度下降法估计模型的参数w，exp为指数函数。

2.根据权利要求1所述的方法，其特征在于，所述通过第一对象识别模型对所述目标区域中除障碍物以外的任意区域的英雄对象进行识别，以至少得到与游戏相关的敌我英雄类别、英雄种类以及背景种类识别结果包括：

确定所述游戏界面图像中的候选区域，所述候选区域为所述目标对象的展示范围；

通过第一对象识别模型对所述候选区域中的英雄对象进行识别，以至少得到与游戏相关的敌我英雄类别、英雄种类以及背景种类识别结果。

3.根据权利要求1所述的方法，其特征在于，所述通过第二对象识别模型对所述目标区域中固定有塔的位置的塔对象进行识别，以至少得到与游戏相关的塔的类别以及塔血量变化识别结果包括：

确定所述游戏界面图像中的候选区域，所述候选区域为所述目标对象的展示范围；

通过第二对象识别模型对所述候选区域中的塔对象进行识别，以至少得到与游戏相关的塔的类别以及塔血量变化识别结果。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

确定所述候选区域的位置信息。

5.一种获取对象信息装置，其特征在于，包括：

第二获取单元，用于获取第一图像样本集，所述第一图像样本集中包含敌我英雄类别的图像样本、英雄种类的图像样本以及背景的图像样本；

第一学习训练单元，用于对所述第一图像样本集进行学习训练，以得到第一对象识别模型；

第三获取单元，用于获取第二图像样本集，所述第二图像样本集包括目标对象的可变属性特征在不同状态下对应的渐变图像样本，所述第二图像样本集中包含由于塔受到英雄技能攻击的影响，导致塔在不同状态下的血量变化的图像样本，以及塔受到光照以及背景场景变化的影响，导致塔的图像发生变化的图像样本；

第二学习训练单元，用于对所述第二图像样本集进行学习训练，以得到第二对象识别模型，所述训练指的是利用塔的血量渐变图像的样本数据，通过深度增强学习来学习如何对塔血量的变化进行识别，以生成第二对象识别模型；

第一获取单元，用于采用截屏的方式实时获取目标游戏应用在运行时的游戏界面图像；

第二确定单元，从所述游戏界面图像中提取小地图区域，将所述小地图区域作为所述游戏界面图像中的目标区域，所述目标区域包含目标对象的图像；

识别单元，用于通过所述第一对象识别模型对所述目标区域中除障碍物以外的任意区域的英雄对象进行识别，以至少得到与游戏相关的敌我英雄类别、英雄种类以及背景种类识别结果；

通过所述第二对象识别模型对所述目标区域中固定有塔的位置的塔对象进行识别，以至少得到与游戏相关的塔的类别以及塔血量变化识别结果；

第一确定单元，用于根据所述识别结果所指示的所述游戏界面图像中的所述英雄对象以及塔对象的类别信息确定所述目标游戏应用的游戏数据信息；

其中，所述第二对象识别模型为LR模型，所述LR模型为

其中，x为输入的图像特征，所述图像特征为运行界面图像的像素值，Y表示图像输出的类别，K的取值范围为{1,2,3}，1表示红色塔类别，2表示蓝色塔类别，3表示背景类别，蓝色塔类别以及红色塔类别用来表示敌我双方的塔的类别，

，采用梯度下降法估计模型的参数w，exp为指数函数。

6.根据权利要求5所述的装置，其特征在于，所述识别单元还具体用于：

确定所述游戏界面图像中的候选区域，所述候选区域为所述目标对象的展示范围；

通过第一对象识别模型对所述候选区域中的英雄对象进行识别，以至少得到与游戏相关的敌我英雄类别、英雄种类以及背景种类识别结果。

7.根据权利要求5所述的装置，其特征在于，所述识别单元还具体用于：

确定所述游戏界面图像中的候选区域，所述候选区域为所述目标对象的展示范围；

通过第二对象识别模型对所述候选区域中的塔对象进行识别，以至少得到与游戏相关的塔的类别以及塔血量变化识别结果。

8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：

第三确定单元，用于确定所述候选区域的位置信息。

9.一种终端，其特征在于，所述终端包括：

至少一个处理器、存储器和收发器；

其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中存储的程序代码来执行如权利要求1-4任一项所述的方法。

10.一种计算机存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-4任一所述的方法。

Images