CN110314379A - 动作输出深度训练模型的学习方法及相关设备 - Google Patents

Abstract

本发明实施例提供了一种对象控制的方法、装置及存储介质，可以直接从应用界面获取目标对象的动作信息，不需要应用开发者的配合，可以应用至更多的应用场景。所述方法包括：获取目标应用在运行时的运行界面图像，所述运行界面图像包括目标对象；通过动作输出深度训练模型对所述运行界面图像进行处理，以输出所述目标对象的目标动作信息；根据所述目标动作信息对所述目标对象进行控制。

Description

动作输出深度训练模型的学习方法及相关设备

技术领域

本发明涉及软件技术领域，尤其涉及动作输出深度训练模型的学习方法、对象控制的方法及相关设备。

背景技术

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

目前，深度学习在游戏领域也得到了长足发展，例如，通过深度学习来自动玩游戏。传统的做法是利用游戏开发者设计的内部接口获取游戏数据，并利用内部接口控制游戏中的操作。

然而，传统的做法需要与具体游戏的开发者进行深度合作和定制，才能满足深度学习所需要的数据和输出，缺点在于每一款游戏都需要去寻求开发者的合作才能接入训练，限制了深度学习训练的应用场景。

发明内容

本发明实施例提供了一种动作输出深度训练模型的学习方法、一种对象控制的方法及动作输出深度训练模型的学习装置、对象控制装置及存储介质，可以直接从应用界面获取动作信息，不需要应用开发者的配合，可以应用至更多的应用场景。

本发明实施例第一方面提供一种对象控制的方法，所述方法包括：

获取目标应用在运行时的运行界面图像，所述运行界面图像包括目标对象；

通过动作输出深度训练模型对所述运行界面图像进行处理，以输出所述目标对象的目标动作信息；

根据所述目标动作信息对所述目标对象进行控制。

本发明实施例第二方面提供了一种动作输出深度训练模型的学习方法，所述方法包括：

获取目标应用在各个终端设备运行时的运行界面图像集合，所述运行界面图像集合中的每一运行界面图像均包括目标对象；

分别对所述运行界面图像集合中的每一运行界面图像进行图像识别，以确定识别结果集合，所述识别结果集合中的每一识别结果与所述每一运行界面图像相对应，所述每一识别结果用于指示所述每一运行界面图像中所有对象的特征信息；

对所述运行界面图像集合以及所述识别结果集合通过深度学习算法进行学习训练，以得到所述目标对象对应的动作输出深度训练模型。

本发明实施例第三方面提供一种用于对象控制的装置，具有实现对应于上述第一方面提供的对象控制的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。一种可能的设计中，所述用于获取游戏信息的装置，所述装置包括：

第一获取单元，用于获取目标应用在运行时的运行界面图像，所述运行界面图像包括目标对象；

处理单元，用于通过动作输出深度训练模型对所述运行界面图像进行处理，以输出所述目标对象的目标动作信息；

控制单元，用于根据所述目标动作信息对所述目标对象进行控制。

本发明实施例第四方面提供一种用于动作输出深度训练模型的学习装置，具有实现对应于上述第一方面提供的深度训练的学习方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。一种可能的设计中，所述用于获取游戏信息的装置，所述装置包括：

获取单元，用于获取目标应用在各个终端设备运行时的运行界面图像集合，所述运行界面图像集合中的每一运行界面图像均包括目标对象，且所述运行界面图像集合不包括所述目标应用的用户界面图像；

图像识别单元，用于分别对所述运行界面图像集合中的每一运行界面图像进行图像识别，以确定识别结果集合，所述识别结果集合中的每一识别结果与所述每一运行界面图像相对应，所述每一识别结果用于指示所述每一运行界面图像中所有对象的特征信息；

训练单元，用于通过深度学习算法对所述运行界面图像集合以及所述识别结果集合进行学习训练，以得到所述目标对象对应的动作输出深度训练模型。

本发明实施例第五方面提供了一种计算机装置，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行上述各方面所述的操作。

本发明实施例第六方面提供了一种计算机存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述各方面所述的操作。

综上所述，本发明提供的方案中，获取目标应用在运行时的运行界面图像，通过动作输出深度训练模型对所述运行界面图像进行处理，以输出所述目标对象的目标动作信息，根据目标动作信息对目标对象进行控制。由此可以看出，本发明中，可以直接从应用界面获取目标对象的动作信息，并通过动作信息对目标对象进行操作，而不需要应用开发者的配合，因此可以应用到更多的应用场景。

附图说明

图1为本发明实施例提供的一种动作输出深度训练模型的学习方法的结构图；

图2为本发明实施例提供的动作输出深度训练模型的学习方法一个实施例示意图；

图3为本发明实施例提供的王者荣耀游戏中运行界面图像的识别结果的示意图；

图4为本发明实施例提供了DQN神经网络结构示意图；

图5为本申请实施例提供的DQN神经网络对运行界面进行处理的示意图；

图6为本申请实施例提供的对象控制的方法的一个实施例示意图；

图7A为本发明实施例提供的目标应用的UI图像的一个示意图；

图7B为本发明实施例提供的目标应用的UI图像的另一示意图；

图7C为本发明实施例提供的目标应用的UI图像的另一示意图；

图8为本发明实施例提供的对象控制的装置的一个实施例示意图；

图9为本发明实施例提供的对象控制的装置的另一实施例示意图；

图10为本发明实施例提供的动作输出深度训练模型的学习装置的实施例示意图；

图11为本发明实施例提供的一种服务器的结构示意图。

具体实施方式

本发明提供了一种动作输出深度训练模型的学习方法、一种对象控制的方法及动作输出深度训练模型的学习装置、对象控制的装置及存储介质，可以直接从应用界面获取动作信息，不需要应用开发者的配合，可以应用至更多的应用场景。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本发明中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本发明中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本发明方案的目的。

可以理解的是，该动作输出深度训练模型的学习方法可以应用于游戏类应用，例如该游戏类应用可以为王者荣耀等一些战略类塔防游戏，本发明实施例中，以王者荣耀为例进行说明，当然也可以是其他游戏，具体不作限定。

本发明实施例中，提供了一种在终端游戏上进行端到端的动作输出深度训练模型的学习方法，其中，端到端是指：和游戏的真人玩家一样，所有输入不依赖于游戏内部接口，或者类似外挂的方式，系统接收的输入只有游戏画面；系统的输出(即对游戏的操作)同样不依赖于游戏内部接口，而是通过模拟触屏作用到游戏屏幕上，也和真人玩家一样。通过将输入的游戏画面经过图像识别分析出满足深度学习需求的有效数据，这些有效数据(同时也包括画面图像本身)可以给到深度学习算法进行决策，深度学习算法的决策输出再通过模拟触屏作用到终端游戏上，从而完成整个训练过程。

参阅图1，图1为本发明实施例提供的一种动作输出深度训练模型的学习方法的架构图，服务器200中的自动化模块201完成的功能包括获取终端100运行的游戏图像，进入游戏前的UI图像(User Interface，用户界面)识别和自动化点击以及其他一些管理功能，例如账号登录等管理功能。

其中，终端100的游戏图像通过终端100的实时截图模块完成，自动化模块201会向终端100推送一个实时截图程序(也可以不推送实时截图程序，由终端100自行下载一个实时截图程序进行实时截图，具体不做限定)，该实时截图程序启动后能将终端100的屏幕画面实时保存为图片，并将这些图片流序列传输给自动化模块201，自动化模块201对这些图片流序列中的图片进行识别，根据识别出的画面对应的点击配置作用户界面点击(例如王者荣耀游戏中的英雄选择、地图选择等等)，并判断通过图片识别判断是否进入游戏(例如王者荣耀游戏中的对战开始等)，当确定进入游戏之后，可以将图片流序列发送至图像识别模块202。

图像识别模块202以游戏内的画面为输入，根据所需识别的目标(例如王者荣耀游戏中敌我双方英雄的血量、塔的位置、敌我双方的小兵等)不同，可以设计N个识别子模块，最终得到N个识别结果，所有的识别结果传输至深度训练学习模块203使用。

深度训练模块203通过以游戏画面和图像识别模块202识别的信息结果作为输入，经过深度学习算法决策输出操作游戏动作，最终生成动作输出深度训练学习模型。

下面将从动作输出深度训练模型的学习装置的角度，对本发明中动作输出深度训练模型的学习方法进行详细说明，所述动作输出深度训练模型的学习装置可以为服务器200，也可以为该服务器200中的功能单元。

请参阅图2，图2为本发明实施例提供的动作输出深度训练模型的学习方法一个实施例示意图，具体包括：

201、获取目标应用在各个终端设备运行时的运行界面图像集合。

本实施例中，当目标应用(如王者荣耀)在手机上运行时，动作输出深度训练模型的学习装置可以获取王者荣耀在各个终端设备运行时的运行界面图像集合，其中，运行界面图像集合中的每一运行界面图像均包括目标对象(例如王者荣耀中的待操作的英雄)，且运行界面图像集合不包括目标应用的UI图像，该运行界面图像集合为目标应用的实时运行界面图像的集合，其中，该目标应用的UI图像，例如王者荣耀游戏中选择英雄的界面或选择游戏对战的界面“5V5、3V3”等界面，该运行界面图像，例如为王者荣耀游戏中的游戏对战界面。具体的，例如可以通过手机上的实时截图程序实时采集王者荣耀的运行界面图像，该实时截图程序可以使用截屏的方式来获取当前手机上的实时运行的王者荣耀的运行界面图像，该实时截图程序可以是自行下载的，也可以是服务器推送的，具体不限定。当然也可以采用其他的方式来获取界面图像，此处仅以实时采集程序对屏幕进行截屏为例进行说明，具体不作限定。

需要说明的是，上述所说的各个终端包括手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备。

需要说明的是，由于在游戏运行开始即进行截图，因此动作输出深度训练模型获得的为一些列的游戏截图，该游戏截图中包括UI图像(即游戏中不进入对战的截图)以及界面运行图像(即游戏中进入对战的截图)，具体的判断方式，以王者荣耀为例进行说明，将王者荣耀游戏中对战开始的截图作为基准截图，将当前界面图像与基准截图进行对比，若相同，则确定从该当前界面图像之后的图像均为运行界面图像，若不相同，则确定当前界面图像为UI图像。

202、分别对运行界面图像集合中的每一运行界面图像进行图像识别，以确定识别结果集合。

本实施例中，当获取到了王者荣耀在手机上运行时的运行界面图像集合时，动作输出深度训练模型的学习装置可以分别对运行界面图像集合中的每一运行界面图像进行图像识别，以确定识别结果集合，该识别结果集合中的每一识别结果与每一运行界面相对应，即一个运行界面图像对应一个识别结果，该每一识别结果用于指示每一运行界面图像中所有对象的特征信息，例如王者荣耀游戏中，运行界面图像中的敌我双方小兵的位置、敌我双发英雄的位置、敌我双发的塔的位置以及血量信息以及英雄的技能CD(冷却时间，CoolDown Time)等信息。请参阅图3，图3为本发明实施例提供的王者荣耀游戏中运行界面图像的识别结果的示意图，具体的，如图3中的A1至A7区域，通过图像识别可以识别出，A1区域中的英雄的种类(即哪个英雄，例如英雄“安琪拉”)、A1区域中英雄的位置(可以以坐标来进行显示，即将整个地图区域划分为坐标系，确定该英雄的位置坐标即可，同样也可以以经纬度来进行显示，具体不限定)、A1区域中的英雄的血量信息、技能CD信息等信息，以此类推，可以识别出游戏截图中的所有游戏元素，A2区域中的小兵的种类、类型以及位置、血量等信息，A3区域中的小兵的种类、类型以及位置、血量等信息，A4区域中的塔的类别、血量信息，A5区域中的小兵的种类、类型以及位置、血量等信息，A6以及A7位置中英雄的种类、类型、血量、位置等信息。

需要说明的是，上述对运行界面图像进行图像识别时，可以通过模板匹配的方式对运行界面图像进行识别，也可以通过训练图像识别模型对运行界面图像进行识别，具体不做限定，只要识别出运行界面图像中所有对象的特征信息即可。

203、对运行界面图像集合以及识别结果集合通过深度学习算法进行学习训练，以得到目标对象对应的动作输出深度训练模型。

本实施例中，当对运行界面图像集合进行识别得到识别结果集合之后，动作输出深度训练模型的学习装置可以将该识别结果集合与运行界面图像集合同时输入深度学习算法，例如DQN(深度增强学习，Deep Reinforcement Learning)进行学习训练，以得到目标对象的动作输出深度训练模型。

具体的，参阅图4，图4为本发明实施例提供了DQN神经网络结构示意图，将图像信息输入即将运行界面图像集合中的运行界面图像输入，数据信息输入即将识别结果集合中的识别结果输入，通过对运行界面图像以及识别结果进行学习训练，最终输出操作动作信息，该操作动作信息用于对目标信息进行控制。

参阅图5，图5为本申请实施例提供的DQN神经网络对运行界面进行处理的示意图，下面结合图5，以王者荣耀游戏为例，DQN神经网络算法对运行界面图像集合以及识别结果集合处理进行说明：

DQN神经网络在运行之初，会预先设置很多权重值，最初的DQN神经网络输出的动作是没意思，当DQN神经网络接入王者荣耀，对整个DQN神经网络中的各个对象的权重值进行不断的调整，最终得到动作输出深度训练模型，如图5中，S区域的英雄“安琪拉”，DQN神经网络在对S区域的英雄“安琪拉”进行控制时(即输出动作信息对其进行控制)，在当前运行界面图像的情况下，确定了当前运行界面图像中所有对象的特征信息(上述已进行说明，此处不再赘述)，此时，DQN神经网络会对S区域的英雄“安琪拉”的后续动作进行预判，假如输出的动作是控制S区域的英雄“安琪拉”移动至A位置，掉血10％，控制S区域的英雄“安琪拉”移动至B位置，掉血为5％或者不掉血，此时，DQN神经网络可以确定，在当前的情况下，控制S区域的英雄“安琪拉”移动至B位置是正确的，后续在遇到相同的情况时，会控制S区域的英雄“安琪拉”移动至B位置，同样的，如图5中英雄“安琪拉”的技能区域J1-J6区域显示的英雄技能情况，在当前时刻，DQN神经网络会根据当前的情况对英雄“安琪拉”的技能是否需要释放进行预判(其中需要考虑到技能CD时间)，假如此时输出的动作是英雄“安琪拉”释放J4技能，没有杀死任何一个小兵(判断有没有杀死小兵，可以通过查看激励是否增加为基准，例如杀死一个小兵，记为0.1个正激励，或者通过图像识别确定动作输出前的界面和动作输出后的界面中是否还存在该小兵)，或者敌方英雄的血量没有下降，或者血量下降未达到阈值(例如5％)，或者未杀死英雄(此处可以通过图像识别该动作输出前的界面与该动作输出后的界面中是否还存在该英雄或者该英雄的血量下降情况)，但是，在相同的情况下，控制英雄“安琪拉”释放J5技能，杀死对方小兵、杀死敌方英雄或者对方英雄的血量下降达到阈值，在这个情况下，DQN神经网络即可以确定释放J5技能是正确的，在后续遇到相同的情况下，DQN申请网络输出的动作即为释放J5技能，以此类推，DQN神经网络不断的进行迭代计算，对所有可能出现的情况进行学习训练，以得到动作输出深度训练模型。

需要说明的是，上述仅以DQN算法为例进行说明，当然也可以是其他的算法，只要能以画面或图像识别结果作为输入，模拟触屏作为输出操作游戏的算法即可，具体不做限定。

综上所述，本发明提供的方案中，获取目标应用在运行时的运行界面图像集合，分别对运行界面图像集合中的每一运行界面图像进行图像识别，以确定识别结果集合；通过深度学习算法对运行界面图像集合以及所述识别结果集合进行学习训练，以得到动作输出深度训练模型。由此可以看出，本发明中，可以无需游戏开发者的配合，只要是能在终端上运行的游戏都可直接接入训练，通过实施获取获取游戏的运行界面图像，并对运行界面图像进行识别得到识别结果，通过深度学习算法对运行界面图像以及识别结果进行处理，得到动作输出深度训练模型，因此可以应用至更多的应用场景。

可选地，在上述图2对应的实施例的基础上，本发明实施例提供的动作输出深度训练模型的学习方法的可选实施例中，对运行界面图像集合以及识别结果集合通过深度学习算法进行学习训练，以得到目标对象对应的动作输出深度训练模型包括：

通过深度学习算法对运行界面图像集合以及识别结果集合进行学习训练，以确定目标对象的动作信息集合；

对动作信息集合中的每一动作信息进行激励计算；

当目标对象的动作集合中的所有动作信息的激励达到预设条件时，确定目标对象对应的动作输出深度训练模型。

具体的，本实施例中，可以首先通过深度学习算法对运行界面图像集合以及识别结果进行学习训练时，确定出目标对象的动作信息集合，该动作信息集合用于对目标对象进行控制，例如王者荣耀游戏中，控制英雄的行走、攻击以及释放技能等，或者是天天跑酷游戏中，控制游戏人物进行左右转、捡取行进路上的金币等，当确定了动作信息集合后，可以对动作信息集合中的每一动作信息进行激励计算，即判断每一动作信息是正激励、0激励或者是负激励，例如在王者荣耀游戏中，通过动作信息集合对英雄进行控制时，可以对英雄的血量进行判断，判断血量的变化，以来计算激励，当血量瞬间变化超过一个值(例如血量下降达到50％)，则记为0.5负激励，或者，当英雄“死”一次，则记为1负激励，同理，还可以对英雄击杀小兵的数量，或者助攻的次数、击杀对方英雄的次数等等来计算激励，例如击杀对方英雄一次，记为一个正激励，例如在控制英雄行进的过程中，即没有击杀小兵，又没有击杀对方英雄，血量也没有变化，此时，可以记为0激励；同理，例如天天跑酷游戏中，游戏人物获取分数的多少来计算激励，当长时间没有获取到分数，则计1负激励，以此类推，直至目标对象的对象集合中的所有动作信息的激励达到预设条件时(例如正激励达到预设值，正激励的数量达到100时)，确定完成该动作输出深度训练模型。

本实施例中，在动作输出深度训练模型的学习训练过程中加入了激励计算，同时在正激励达到预设值时，才生成动作输出深度训练模型，由于是在正激励达到预设值时，生成动作输出深度训练模型，因此可以使得生成的动作输出深度训练模型更加完善。

可选地，在上述图2对应的实施例的基础上，本发明实施例提供的动作输出深度训练模型的学习方法的可选实施例中，分别对运行界面图像集合中的每一运行界面图像进行图像识别，以确定识别结果集合包括：

识别每一运行界面图像中的目标对象的特征信息集合；

识别每一运行界面图像中除目标对象之外的其他对象的特征信息集合；

基于目标对象的特征信息集合以及其他对象的特征信息集合确定识别结果集合。

本实施例中，可以设计N个图像识别子模块，可以根据所需识别的目标不同，每个子模块识别的类型不同，以王者荣耀为例进行说明，例如第一图像识别子模型识别目标对象的特征信息(如血量、位置以及技能CD等信息)，第二图像识别子模块识别除目标对象之外的其他对象的特征信息(该特征信息中包括己方英雄的特征信息、敌方英雄的特征信息、敌我双方塔的特征信息、敌我双方小兵的特征信息以及野怪的特征信息)，例如第一图像识别子模块对每一运行界面图像中的所有游戏元素的血量(例如识别我方英雄、敌方英雄、我方小兵、敌方小兵、我发塔、敌方塔、野怪以及基地的血量)进行识别，第二图像子模块对每一运行界面图像中所有游戏元素的位置(例如识别我方英雄、敌方英雄、我方小兵、敌方小兵、我发塔、敌方塔、野怪以及基地的位置)进行识别，第三图像识别子模块对控制的英雄(即上述的目标对象)的技能CD进行识别，(此处，以N＝3个为例进行说明，当然也还可以为其他数值，只要识别出截图中游戏元素的特征信息即可)。

在对运行界面图像进行识别后，每一个图像识别子模型输出一个识别结果，第一识别结果为所有游戏元素的血量信息(例如100％血量、75％血量，当然还可以有其他的表达方式，具体不限定)，第二识别结果为所有游戏元素的位置信息(此处的位置信息，可以是以坐标的形式，即将整个游戏地图以坐标系的方式进行划分，识别出当前运行界面图像中所有游戏元素的坐标，也可以是以经纬度的形式，即将整个游戏地图以经纬度的方式进行划分，识别出当前运行界面图像中所有游戏元素的经纬度，具体不限定)，第三识别结果为英雄的技能CD，得到的所有识别结果，构成识别结果集合。

需要说明的是，还可以按照区域进行划分，通过多个识别子模块来对运行界面图像进行识别，例如将游戏地图划分为多个区域，每个区域对应一个图像识别子模型，该区域对应的图像识别子模型识别该区域中所有游戏元素的血量、位置、种类、类别等信息，每个图像识别子模型输出一个识别结果，最终形成识别结果集合。

需要说明的是，还可以按照识别游戏元素的种类进行划分，通过多个识别子模块对运行界面图像进行识别，例如识别塔的图像识别子模块、识别英雄的图像识别子模块、小兵的图像识别子模块以及野怪的图像识别模块等等，塔的图像识别子模块识别塔的血量、类型(我方塔还是地方塔)、位置等信息，英雄的图像识别子模块识别英雄的血量、种类(例如是哪个英雄)、英雄的类型(敌方英雄还是我方英雄)、英雄的技能CD、英雄的位置等信息，依次类推，识别出运行界面图像中的所有游戏元素的种类的特征信息。

需要说明的是，上述对图像识别子模块的划分仅为举例说明，当然也还可以是其他的方式，具体不做限定。

本实施例中，通过多个图像识别子模块对运行界面图像进行识别，由于每个图像识别子模块所需识别的种类较少(仅识别一个类型或区域等)，所以可以提高图像识别的效率。

本发明实施例还提供了一种对象控制的方法，通过图2对应的实施例中的动作输出深度训练模型对界面图像进行识别，输出动作信息，以对目标对象进行控制。

可以理解的是，该对象控制的方法可以应用于游戏类应用，该游戏类应用可以为王者荣耀等一些战略类塔防游戏，本发明实施例中，以王者荣耀为例进行说明，当然也可以是其他游戏，具体不作限定。

下面将从对象控制的装置的角度，对本发明中对象控制的方法进行详细说明，所述对象控制的装置可以为服务器200，也可以为该服务器200中的功能单元。

请参阅图6，图6为本申请实施例提供的对象控制的方法的实施例示意图，包括：

601、获取目标应用在运行时的运行界面图像。

本实施例中，当目标应用(如王者荣耀游戏)在运行时，对象控制的装置可以获取到王者荣耀游戏的运行界面图像，该运行界面图像，为终端通过实时截图程序对运行界面进行截图，并发送至对象控制装置。

需要说明的是，该实时截图程序可以由终端自己获取，也可以由对象控制装置发送给终端，具体不做限定。

602、通过动作输出深度训练模型对运行界面图像进行处理，以输出目标对象的目标动作信息。

本实施例中，在获取到目标应用在运行时的运行界面图像之后，对象控制的装置可以通过动作输出深度训练模型对运行界面图像信息进行处理，以输出目标对应的目标动作信息。例如王者荣耀中，通过动作输出深度训练模型对王者荣耀中游戏截图进行处理，输出英雄的动作信息(如英雄的走位或者释放技能等信息)。

603、根据目标动作信息对目标对象进行控制。

本实施例中，在得到目标对象的动作信息之后，对象控制的装置可以基于该动作信息对目标对象进行控制。例如王者荣耀游戏中，控制英雄的走位或者释放技能，又例如天天酷跑中，控制游戏人物，左转或右转等等。

综上所述，可看出，本发明实施例提供的技术方案中，获取目标应用在运行时的运行界面图像，通过动作输出深度训练模型对所述运行界面图像进行处理，以输出目标对象的目标动作信息，根据目标动作信息对目标对象进行控制。由此可以看出，本发明中是可以直接从应用界面获取目标对象的动作信息，并通过动作信息对目标对象进行控制，而不需要应用开发者的配合，因此可以应用到更多的应用场景。

需要说明的是，上述所述的动作输出深度训练模型为对目标对象的运行界面图像集合以及识别结果集合进行学习训练得到，识别结果集合为对所述运行界面图像集合中的每一运行界面图像进行图像识别得到。该目标对象的运行图像集合为目标应用运行时包括目标对象的图像界面的集合，该识别结果集合为对每一运行界面图像进行识别达到，即对一个运行界面图像集合进行图像识别得到一个识别结果。

可选地，在上述图6对应的实施例的基础上，本发明实施例提供的对象控制的方法的可选实施例中，通过动作输出深度训练模型对运行界面图像进行处理，以输出目标对象的目标动作信息包括：

对运行界面图像进行识别，以得到目标识别结果，目标识别结果用于指示运行界面图像中所有对象的特征信息；

将运行界面图像以及目标识别结果输入动作输出深度训练模型，以输出目标对象的目标动作信息。

本实施例中，对象控制的装置可以对运行界面图像进行识别，得到目标识别结果，具体的，例如可以通过模板匹配的方式对运行界面图像进行识别，得到运行界面图像中所有对象的特征信息(该特征信息例如王者荣耀游戏中，运行界面图像中的敌我双方小兵的位置、敌我双发英雄的位置、敌我双发的塔的位置以及血量信息以及英雄的技能CD等信息)，当然也可以通过其他的方式对运行界面图像进行识别，例如训练图像识别模型对运行界面图像进行识别，具体不做限定，只要识别出运行界面图像中所有对象的特征信息即可。

对象控制的装置在得到目标识别结果之后，可以将运行界面图像以及目标识别结果输入动作输出深度训练模型，输出目标对象的目标动作信息，由于动作输出深度训练模型为提前训练好的模型，此时可以将运行界面图像以及目标识别结果输入动作输出深度训练模型，以输出目标动作信息，进而对目标对象进行控制。

可选地，在上述图6对应的实施例的基础上，本发明实施例提供的对象控制的方法的可选实施例中，对运行界面图像进行识别，以得到目标识别结果包括：

识别运行界面图像中目标对象的特征信息；

识别运行界面图像中除目标对象之外的其他对象的特征信息；

基于目标对象的特征信息以及除所述目标对象之外的其他对象的特征信息得到目标识别结果。

本实施例中，对象控制的装置，可以设计N个图像识别子模块，可以根据所需识别的目标不同，每个子模块识别的类型不同，以王者荣耀为例进行说明，例如第一图像识别子模型识别目标对象的特征信息(如血量、位置以及技能CD等信息)，第二图像识别子模块识别除目标对象之外的其他对象的特征信息(该特征信息中包括己方英雄的特征信息、敌方英雄的特征信息、敌我双方塔的特征信息、敌我双方小兵的特征信息以及野怪的特征信息)，也可以是第一图像识别子模块对目标运行界面图像中的所有游戏元素的血量(例如识别我方英雄、敌方英雄、我方小兵、敌方小兵、我发塔、敌方塔、野怪以及基地的血量)进行识别，第二图像子模块对目标运行界面图像中所有游戏元素的位置(例如识别我方英雄、敌方英雄、我方小兵、敌方小兵、我发塔、敌方塔、野怪以及基地的位置)进行识别，第三图像识别子模块对控制的英雄(即上述的目标对象)的技能CD进行识别，(此处，以N＝3个为例进行说明，当然也还可以为其他数值，只要识别出截图中游戏元素的特征信息即可)。

需要说明的是，还可以按照区域进行划分，通过多个识别子模块来对目标运行界面图像进行识别，例如将游戏地图划分为多个区域，每个区域对应一个图像识别子模型，该区域对应的图像识别子模型识别该区域中所有游戏元素的血量、位置、种类、类别等信息，每个图像识别子模型输出一个识别结果，最终形成识别结果集合。

需要说明的是，还可以按照识别游戏元素的种类进行划分，通过多个识别子模块对运行界面图像进行识别，例如识别塔的图像识别子模块、识别英雄的图像识别子模块、小兵的图像识别子模块以及野怪的图像识别模块等等，塔的图像识别子模块识别塔的血量、类型(我方塔还是地方塔)、位置等信息，英雄的图像识别子模块识别英雄的血量、种类(例如是哪个英雄)、英雄的类型(敌方英雄还是我方英雄)、英雄的技能CD、英雄的位置等信息，依次类推，识别出运行界面图像中的所有游戏元素的种类的特征信息。

可选地，在上述图6对应的实施例的基础上，本发明实施例提供的对象控制的方法的可选实施例中，获取目标应用在运行时的运行界面图像包括：

获取目标应用在运行时的所有界面图像，所有界面图像包括目标应用的用户界面UI图像以及目标应用的运行界面图像；

从目标应用的所有界面图像中进行查找，以得到目标应用的运行界面图像。

本实施例中，可以获取目标应用在运行时的所有界面图像，该界面图像包括目标应用UI图像，以及目标应用的运行界面图像，之后，可以从目标应用的所有界面图像中进行查找，以得到目标应用的运行界面图像。请参阅图7A至图7C，图7A为本发明实施例提供的目标应用的UI图像的一个示意图，图7B为本发明实施例提供的目标应用的UI图像的另一示意图，图7C为本发明实施例提供的目标应用的UI图像的另一示意图，如王者荣耀游戏中，在进入游戏之后，会登录游戏，该登录游戏界面即为UI界面，同样的，选择游戏区例如“微信133区心有猛虎”，另外还包括游戏模式，例如“对战模式、排位赛、微赛事以及冒险模式等”，为了描述简便，以上述几个UI图像为例进行说明，当知道了所有的UI图像之后，可以将所有界面图像中的所有的非UI图像确定运行界面图像，即开始对战或者排位后的游戏界面。

本实施例中，可以从目标应用的所有界面图像中查找得出目标应用的运行界面图像，增加了可实现方式，同时，也不需要游戏开发者的配合，只需要能获取实时游戏界面即可。

可选地，在上述图6对应的实施例的基础上，本发明实施例提供的对象控制的方法的可选实施例中，获取目标应用在运行时的运行界面图像之前，该方法还包括：

获取目标应用的UI图像；

对UI图像进行操作配置；

若目标应用的当前界面图像为UI图像时，基于操作配置对当前界面图像进行操作。

本实施例中，在获取目标应用在运行时的运行界面图像之前，还可以对目标应用的UI图像进行操作配置，并在目标应用的实时截图画面进行识别，当前界面图像为UI图像时，基于操作配置对当前界面图像进行操作，例如对王者荣耀游戏中的英雄选择界面、游戏模式选择界面的操作。

下面结合参阅图7A至图7C，以王者荣耀游戏为例进行说明，参阅图7A，图7A为本发明实施例提供的目标应用(例如王者荣耀)的一个UI图像，可以选择登录方式，U1区域中的“与微信好友玩”或者U2区域中的“与QQ好友玩”，在确定该UI图像之后，可以对该UI图像进行操作配置，例如选择U1区域“与微信好友玩”，此时的操作配置，即为点击U1区域。

继续参阅图7B，U3区域至U7区域，该UI图像对应的是王者荣耀游戏中选择游戏模式的UI，U3区域对应的是“返回”、U4区域对应的时“实战对抗”，U5区域对应的是“娱乐模式”，U6对应的“五军对决”、U7对应的是“开房间”，可以对该UI图像进行操作配置，即可以选择对U3至U7区域进行点击操作。

继续参阅图7C，图7C中的U8区域、U9区域以及U10区域，其中U8区域对应的时“英雄”选择区域，U9区域对应的是“英雄”的“皮肤”，U10区域对应的是“确定”，可以对该UI图像进行操作配置，例如U8区域，选择“英雄安其拉”，U9区域选择皮肤(选择皮肤的为另一个UI图像，图7C中未进行显示)，当选择完毕之后，可以点击U10区域的“确定”开始游戏(王者荣耀游戏对应的是点击操作，当然不限定为点击操作，也还可以是其他的操作，只要能对UI图像进行操作配置即可)。

需要说明的是，为了描述简便，上述仅以3个UI界面，以王者荣耀游戏为例进行说明如何对UI图像的操作配置，可以对王者荣耀游戏(或其他的终端游戏)所有的UI界面进行操作配置。

本实施例中，限定了目标应用的UI图像的操作配置，并基于操作配置对UI界面进行操作。

可选地，在上述图6对应的实施例的基础上，本发明实施例提供的对象控制的方法的可选实施例中，获取目标应用在运行时的运行界面图像之前，该方法还包括：

确定目标应用的可操作的动作按钮的位置坐标以及操作方式；

对位置坐标和操作方式进行配置，以确定动作接口；

根据目标对象的动作信息对目标对象进行控制包括：

将目标动作信息输入动作接口，以控制目标对象运行。

本实施例中，可以预先确定出目标应用可操作性的动作按钮(例如王者荣耀游戏的方向键、技能释放键等)的位置坐标以及操作方式(例如王者荣耀有中的方向键为按压移动操作、技能释放键为点击操作)，对位置坐标和操作方式进行配置，确定动作接口，以王者荣耀游戏为例进行说明，例如方向键，先确定出方向键的位置坐标，假设方向键中心的位置坐标为(0，0)，方向键的可移动范围为一个半径为5的圆，方向键的操作方式为按压移动，此时可以以及方向键中心的位置坐标，可移动范围的圆以及按压移动封装成游戏动作接口，即需要按压移动至哪个位置。在确定出动作接口之后，可以将该动作信息输入动作接口，对目标对象进行控制，例如王者荣耀游戏中，英雄的移动方向即将移动方向输入动作接口，控制英雄的移动方向，同样的，英雄释放技能，将释放技能的动作信息输入动作接口，控制英雄释放技能。

需要说明的是，上述的控制方式只是直接作用到手机屏幕上的模拟控制的一种方式，当然也还可以有其他的方式，以为王者荣耀游戏为例进行说明，例如在接入王者荣耀游戏后，直接通过动作信息对目标对象进行控制，具体不做限定，只要能通过动作信息控制目标对象即可。

本实施例中，通过对目标应用内可操作的动作按钮的触屏位置坐标和方式进行配置，封装成动作接口，对目标对象进行控制，增加了可实现方式。

上面从动作输出深度训练模型的学习方法以及对象控制的方法的角度对本发明实施例进行描述，下面从动作输出深度训练模型的学习装置以及对象控制的装置的角度对本发明实施例进行描述。

请参阅图8，图8为本发明实施例提供的对象控制的装置800的一个实施例示意图，对象控制的装置800包括：

第一获取单元801，用于获取目标应用在运行时的运行界面图像，所述运行界面图像包括目标对象；

处理单元802，用于通过动作输出深度训练模型对所述运行界面图像进行处理，以输出所述目标对象的目标动作信息；

控制单元803，用于根据所述目标动作信息对所述目标对象进行控制。

为了便于理解，下面结合图9进行说明。

请参阅图9，图9为本发明实施例提供的对象控制的装置的另一实施例示意图，对象控制的装置900包括：

第一获取单元901，用于获取目标应用在运行时的运行界面图像，所述运行界面图像包括目标对象；

处理单元902，用于通过动作输出深度训练模型对所述运行界面图像进行处理，以输出所述目标对象的目标动作信息9；

控制单元903，用于根据所述目标动作信息对所述目标对象进行控制；

第二获取单元904，用于获取所述目标应用的用户界面图像；

第一配置单元905，用于对所述用户界面图像进行操作配置；

操作单元906，用于当所述目标应用的当前界面图像为所述用户界面图像时，基于所述操作配置对所述当前界面图像进行操作。

可选地，所述处理单元902具体用于：

对所述运行界面图像进行识别，以得到目标识别结果，所述目标识别结果用于指示所述运行界面图像中所有对象的特征信息；

将所述运行界面图像以及所述目标识别结果输入所述动作输出深度训练模型，以输出所述目标对象的目标动作信息。

所述处理单元902还具体用于：

识别所述运行界面图像中所述目标对象的特征信息；

识别所述运行界面图像中除所述目标对象之外的其他对象的特征信息；

基于所述目标对象的特征信息以及所述除所述目标对象之外的其他对象的特征信息得到所述目标识别结果。

可选地，所述动作输出深度训练模型为对所述目标对象的运行界面图像集合以及识别结果集合进行学习训练得到，所述识别结果集合为对所述运行界面图像集合中的每一运行界面图像进行图像识别得到。

综上所述，本发明实施例提供的对象控制的装置，通过第一获取单元901获取目标应用在运行时的运行界面图像，处理单元902通过动作输出深度训练模型对运行界面图像进行处理，以输出目标对象的目标动作信息，通过控制单元903根据目标动作信息对目标对象进行控制。由此可以看出，本发明中，可以直接从应用界面获取目标对象的动作信息，并通过动作信息对目标对象进行操作，而不需要应用开发者的配合，因此可以应用到更多的应用场景。

请参阅图10，图10为本发明实施例提供的动作输出深度训练模型的学习装置的一个实施例示意图，动作输出深度训练模型的学习装置900包括：

获取单元1001，用于获取目标应用在各个终端设备运行时的运行界面图像集合，所述运行界面图像集合中的每一运行界面图像均包括目标对象，且所述运行界面图像集合不包括所述目标应用的用户界面图像；

图像识别单元1002，用于分别对所述运行界面图像集合中的每一运行界面图像进行图像识别，以确定识别结果集合，所述识别结果集合中的每一识别结果与所述每一运行界面图像相对应，所述每一识别结果用于指示所述每一运行界面图像中所有对象的特征信息；

训练单元1003，用于通过深度学习算法对所述运行界面图像集合以及所述识别结果集合进行学习训练，以得到所述目标对象对应的动作输出深度训练模型。

可选地，所述训练单元1003具体用于：

对通过深度学习算法所述运行界面图像集合以及所述识别结果集合进行，以确定所述目标对象的动作信息集合；

对所述动作信息集合中的每一动作信息进行激励计算；

当所述目标对象的动作集合中的所有动作信息的激励达到预设条件时，确定所述动作输出深度训练模型。

可选地，所述图像识别单元1002具体用于：

识别所述每一运行界面图像中的所述目标对象的特征信息集合；

识别所述每一运行界面图像中除所述目标对象之外的其他对象的特征信息集合；

基于所述目标对象的特征信息集合以及所述其他对象的特征信息集合确定所述识别结果集合。

综上所述，本实施例中，通过获取单元1001获取目标应用在运行时的运行界面图像集合，通过图像识别单元1002分别对所述运行界面图像集合中的每一运行界面图像进行图像识别，以确定识别结果集合，通过训练单元1003，对运行界面图像集合以及识别结果集合以深度学习算法进行学习训练，以得到动作输出深度训练模型。由此可以看出，本发明中，可以直接从应用界面获取实施运行界面图像集合，而不需要应用开发者的配合，因此可以应用到更多的应用场景。

上面从模块化功能实体的角度对本发明实施例中的对象控制的装置以及动作输出深度训练模型的学习装置进行了描述，下面从硬件处理的角度分别对本发明实施例中的服务器进行描述。

图11是本发明实施例提供的一种服务器结构示意图，该服务器11可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(英文全称：centralprocessing units，英文简称：CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1022可以设置为与存储介质1130通信，在服务器11上执行存储介质1130中的一系列指令操作。

服务器11还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等。

上述实施例中由服务器所执行的步骤可以基于该图11所示的服务器结构。

例如，所述中央处理器1122可以调用存储介质1130中存储的指令执行如下操作：

获取目标应用在运行时的运行界面图像，所述运行界面图像包括目标对象；

通过动作输出深度训练模型对所述运行界面图像进行处理，以输出所述目标对象的目标动作信息；

根据所述目标动作信息对所述目标对象进行控制。

所述中央处理器1122可以调用存储介质1130中存储的指令执行如下操作：

获取目标应用在各个终端设备运行时的运行界面图像集合，所述运行界面图像集合中的每一运行界面图像均包括目标对象；

分别对所述运行界面图像集合中的每一运行界面图像进行图像识别，以确定识别结果集合，所述识别结果集合中的每一识别结果与所述每一运行界面图像相对应，所述每一识别结果用于指示所述每一运行界面图像中所有对象的特征信息；

对所述运行界面图像集合以及所述识别结果集合通过深度学习算法进行学习训练，以得到所述目标对象对应的动作输出深度训练模型。

本发明实施例还提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述对象控制的方法以及所述动作输出深度训练模型的学习方法。

本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述对象控制的方法以及所述动作输出深度训练模型的学习方法。

本发明实施例还提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述所述对象控制的方法以及所述动作输出深度训练模型的学习方法的步骤。

本发明还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行上述所述对象控制的方法以及所述动作输出深度训练模型的学习方法的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (15)

1.一种对象控制的方法，其特征在于，包括：

获取目标应用在运行时的运行界面图像，所述运行界面图像包括目标对象；

通过动作输出深度训练模型对所述运行界面图像进行处理，以输出所述目标对象的目标动作信息；

根据所述目标动作信息对所述目标对象进行控制。

2.根据权利要求1所述的方法，其特征在于，所述通过动作输出深度训练模型对所述运行界面图像进行处理，以输出所述目标对象的目标动作信息包括：

对所述运行界面图像进行识别，以得到目标识别结果，所述目标识别结果用于指示所述运行界面图像中所有对象的特征信息；

将所述运行界面图像以及所述目标识别结果输入所述动作输出深度训练模型，以输出所述目标对象的目标动作信息。

3.根据权利要求2所述的方法，其特征在于，所述对所述运行界面图像进行识别，以得到目标识别结果包括：

识别所述运行界面图像中所述目标对象的特征信息；

识别所述运行界面图像中除所述目标对象之外的其他对象的特征信息；

基于所述目标对象的特征信息以及所述除所述目标对象之外的其他对象的特征信息得到所述目标识别结果。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述获取目标应用在运行时的运行界面图像之前，所述方法还包括：

获取所述目标应用的用户界面图像；

对所述用户界面图像进行操作配置；

若所述目标应用的当前界面图像为所述用户界面图像时，基于所述操作配置对所述当前界面图像进行操作。

5.根据权利要求1-3中任一项所述的方法，其特征在于，所述动作输出深度训练模型为对所述目标对象的运行界面图像集合以及识别结果集合进行学习训练得到，所述识别结果集合为对所述运行界面图像集合中的每一运行界面图像进行图像识别得到。

6.一种动作输出深度训练模型的学习方法，其特征在于，包括：

获取目标应用在各个终端设备运行时的运行界面图像集合，所述运行界面图像集合中的每一运行界面图像均包括目标对象；

分别对所述运行界面图像集合中的每一运行界面图像进行图像识别，以确定识别结果集合，所述识别结果集合中的每一识别结果与所述每一运行界面图像相对应，所述每一识别结果用于指示所述每一运行界面图像中所有对象的特征信息；

对所述运行界面图像集合以及所述识别结果集合通过深度学习算法进行学习训练，以得到所述目标对象对应的动作输出深度训练模型。

7.根据权利要求6所述的方法，其特征在于，所述对所述运行界面图像集合以及所述识别结果集合通过深度学习算法进行学习训练，以得到所述目标对象对应的动作输出深度训练模型包括：

通过深度学习算法对所述运行界面图像集合以及所述识别结果集合进行学习训练，以确定所述目标对象的动作信息集合；

对所述动作信息集合中的每一动作信息进行激励计算；

当所述目标对象的动作集合中的所有动作信息的激励达到预设条件时，得到所述目标对象对应的动作输出深度训练模型。

8.根据权利要求6所述的方法，其特征在于，所述分别对所述运行界面图像集合中的每一运行界面图像进行图像识别，以确定识别结果集合包括：

识别所述每一运行界面图像中的所述目标对象的特征信息集合；

识别所述每一运行界面图像中除所述目标对象之外的其他对象的特征信息集合；

基于所述目标对象的特征信息集合以及所述其他对象的特征信息集合确定所述识别结果集合。

9.一种对象控制的装置，其特征在于，包括：

第一获取单元，用于获取目标应用在运行时的运行界面图像，所述运行界面图像包括目标对象；

处理单元，用于通过动作输出深度训练模型对所述运行界面图像进行处理，以输出所述目标对象的目标动作信息；

控制单元，用于根据所述目标动作信息对所述目标对象进行控制。

10.根据权利要求9所述的装置，其特征在于，所述处理单元具体用于：

对所述运行界面图像进行识别，以得到目标识别结果，所述目标识别结果用于指示所述运行界面图像中所有对象的特征信息；

将所述运行界面图像以及所述目标识别结果输入所述动作输出深度训练模型，以输出所述目标对象的目标动作信息。

11.根据权利要求9或10中任一项所述的装置，其特征在于，所述动作输出深度训练模型为对所述目标对象的运行界面图像集合以及识别结果集合进行学习训练得到，所述识别结果集合为对所述运行界面图像集合中的每一运行界面图像进行图像识别得到。

12.一种动作输出深度训练模型的学习装置，其特征在于，包括：

获取单元，用于获取目标应用在各个终端设备运行时的运行界面图像集合，所述运行界面图像集合中的每一运行界面图像均包括目标对象，且所述运行界面图像集合不包括所述目标应用的用户界面图像；

图像识别单元，用于分别对所述运行界面图像集合中的每一运行界面图像进行图像识别，以确定识别结果集合，所述识别结果集合中的每一识别结果与所述每一运行界面图像相对应，所述每一识别结果用于指示所述每一运行界面图像中所有对象的特征信息；

训练单元，用于通过深度学习算法对所述运行界面图像集合以及所述识别结果集合进行学习训练，以得到所述目标对象对应的动作输出深度训练模型。

13.根据权利要求12所述的装置，其特征在于，所述训练单元具体用于：

通过深度学习算法对所述运行界面图像集合以及所述识别结果集合进行学习训练，以确定所述目标对象的动作信息集合；

对所述动作信息集合中的每一动作信息进行激励计算；

当所述目标对象的动作集合中的所有动作信息的激励达到预设条件时，得到所述目标对象对应的动作输出深度训练模型。

14.一种服务器，其特征在于，所述装置包括：

至少一个处理器、存储器和收发器；

其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中存储的程序代码来执行如权利要求1-8任一项所述的方法。

15.一种计算机存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-8任一所述的方法。