CN108211363B - 一种信息处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种信息处理方法及装置，用于直接从游戏界面获取游戏信息，不需要游戏开发者的配合，提高了深度强化学习DQN的应用范围。本发明实施例方法包括：确定目标应用中的多个参考对象；获取所述多个参考对象中每个参考对象的模板图像和所述目标应用在运行过程中的界面图像，所述界面图像包括目标对象的图像，所述多个参考对象包括所述目标对象；将所述模板图像和所述界面图像进行匹配得到匹配结果，所述匹配结果用于指示所述目标对象的状态信息；将所述状态信息转换为所述目标应用的数据信息。

Description

一种信息处理方法及装置

技术领域

本发明涉及通信领域，尤其涉及一种信息处理方法及装置。

背景技术

随着人工智能(artificial intelligence，AI)技术的快速发展，越来越多的领域都开始使用AI技术。在游戏领域，为了提高用户体验，在一些场景下需要让AI自动玩游戏，一般情况下使用深度强化学习(deep Q-Learning network，DQN)来训练游戏AI自动玩游戏。DQN网络输入除了游戏画面图像，还需要融合更多的游戏数据信息的做为输入，因为游戏数据信息中的数值类数据信息很难通过卷积神经网络(Convolutional NeuralNetwork，CNN)从游戏画面图像上识别出来，所以一般直接将这些经过归一化后的数值类数据信息和通过CNN提取的特征融合在一起，形成特征层。

为了满足需要AI模拟人类玩游戏的场景，现有方案，通过游戏的开发方提供游戏接口来实时获取游戏画面图像上的数值类数据信息。

该方案需要游戏的开发者配合，当游戏的开发者不能提供数据或提供的数据不完整时，DQN不能获取到可以使用的数值类数据信息，导致不能通过DQN实现AI自动玩游戏的目的，限制了DQN能应用的场景。

发明内容

本发明实施例提供了一种信息处理方法及装置，用于直接从游戏界面获取游戏信息，不需要游戏开发者的配合，提高了深度强化学习DQN的应用范围。

本发明第一方面提供了一种信息处理方法，包括：

确定目标应用中的多个参考对象；

获取所述多个参考对象中每个参考对象的模板图像和所述目标应用在运行过程中的界面图像，所述界面图像包括目标对象的图像，所述多个参考对象包括所述目标对象；

将所述模板图像和所述界面图像进行匹配得到匹配结果，所述匹配结果用于指示所述目标对象的状态信息；

将所述状态信息转换为所述目标应用的数据信息。

本申请第二方面提供信息处理装置，其特征在于，包括：

第一确定模块，用于确定目标应用中的多个对象；

获取模块，用于获取所述多个对象中每个对象的模板图像和所述目标应用在运行过程中的界面图像，所述界面图像包括目标对象的图像，所述多个对象包括所述目标对象；

匹配模块，用于将所述模板图像和所述界面图像进行匹配得到匹配结果，所述匹配结果用于指示所述目标对象的状态信息；

处理模块，用于将所述状态信息转换为所述目标应用的数据信息。

本申请第三方面提供了一种信息处理装置，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

确定目标应用中的多个参考对象；

获取所述多个参考对象中每个参考对象的模板图像和所述目标应用在运行过程中的界面图像，所述界面图像包括目标对象的图像，所述多个参考对象包括所述目标对象；

将所述模板图像和所述界面图像进行匹配得到匹配结果，所述匹配结果用于指示所述目标对象的状态信息；

将所述状态信息转换为所述目标应用的数据信息；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

本申请第四方面提供了一种计算机存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述各方面所述的操作。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例中，提供了一种信息处理方法，包括：确定目标应用中的多个参考对象；获取多个参考对象中每个参考对象的模板图像和目标应用在运行过程中的界面图像，界面图像包括目标对象的图像，多个参考对象包括目标对象；将模板图像和界面图像进行匹配得到匹配结果，匹配结果用于指示目标对象的状态信息；将状态信息转换为目标应用的数据信息。本发明实施例中，直接从游戏界面获取游戏信息，不需要游戏开发者的配合，可以直接从游戏的界面图像获取游戏信息，该游戏信息可直接融合到深度强化学习DQN的输入，加快了DQN的特征提取和收敛过程，提高了DQN的应用范围。

附图说明

图1为本发明实施例提供的信息处理方法的一个流程示意图；

图2A为本发明实施例中涉及的模板图像的一个示意图；

图2B为本发明实施例中涉及的模板图像的另一个示意图；

图3为本发明实施例中涉及的界面图像的一个示意图；

图4A为本发明实施例中确定界面图像区域的一个示意图；

图4B为本发明实施例中确定界面图像区域的另一个示意图；

图5为本发明实施例中涉及界面图像划分的一个应用场景的示意图；

图6A为本发明实施例涉及的匹配过程中的一个示意图；

图6B为本发明实施例涉及的匹配过程中的另一个示意图；

图7为本发明实施例提供的信息处理方法的另一个流程示意图；

图8为本发明实施例确定标识区域和非标识区域的一个示意图；

图9A为本发明实施例涉及的匹配过程中的另一个示意图；

图9B为本发明实施例涉及的匹配过程中的另一个示意图；

图10为本发明实施例涉及的信息处理装置的一个结构示意图；

图11为本发明实施例涉及的信息处理装置的另一个结构示意图；

图12为本发明实施例涉及的信息处理装置的另一个结构示意图。

具体实施方式

本发明实施例提供了一种信息处理方法及装置，用于直接从游戏界面获取游戏信息，不需要游戏开发者的配合，提高了深度强化学习DQN的应用范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解的是，本发明实施例可以应用在游戏场景中，通过获取游戏中的数据信息，并将获取到的数据信息输入到深度强化学习(deep Q-Learning network，DQN)的输入接口，与通过卷积神经网络(convolutional neural network，CNN)方式获取到的数据信息结合，达到人工智能(artificial intelligence，AI)自动玩游戏的目的。

为便于说明，下面对本发明实施例的具体流程进行描述，请参阅图1，当目标应用为游戏，本发明提供的信息处理方法应用在游戏场景中时，本申请实施例中信息处理方法的一个实施例包括：

101、接收深度强化学习输入指令。

接收深度强化学习DQN输入指令，该DQN输入指令用于指示获取目标应用的数据信息。

当接收到DQN指令后，根据该DQN指令携带的指示信息获取DQN实际需要的数据信息。

102、确定目标应用中的多个参考对象。

确定目标应用中的多个参考对象，该多个参考对象为该目标应用中可能出现的所有备选对象，例如，备选对象可以是游戏中的英雄、防御塔、野怪、主宰和小兵等。

需要说明的是，在确定多个参考对象之前，先获取目标应用中的全部备选对象，例如，对于目标游戏而言，将该目标游戏中涉及的全部英雄、怪物、建筑等都作为备选对象。在进行选择时，可以选择全部备选对象或部分备选对象作为参考对象。本发明实施例基于模板匹配的灵活性高的特点，可根据每一局游戏对战的不同内容，选择不同的模板图像，减少无效的运算。

具体的，例如在王者荣耀游戏中，根据用户选择的游戏模式进行游戏对战，针对不同的游戏模式，每一局游戏对战中的涉及到的参考对象也不同。例如，当用户选择实战对抗模式时，首先对游戏对战的人数和地图进行选择，可以选择5V5王者峡谷模式、5V5深渊大乱斗模式、3V3长平攻防战模式或1V1墨家机关道模式，不同的游戏模式涉及到的备选对象不完全相同，例如，在5V5王者峡谷模式中的对象与5V5深渊大乱斗模式中的备选对象不完全相同，5V5王者峡谷模式中的备选对象可以包括怪物、英雄和防御塔等，而5V5深渊大乱斗模式中的备选对象不包括怪物；相同的游戏模式涉及到的备选对象也可能不完全相同，例如，5V5王者峡谷模式中的备选对象可以包括怪物、英雄和防御塔等，在每一局游戏对战过程中，对战的十个用户根据需求选择的英雄不同，只需要根据将用户选择的英雄作为备选对象，用户没有选择的英雄被排除。可以将每一局游戏对战涉及的备选对象作为参考对象，也可以将该游戏的全部备选对象都作为参考对象。

可以理解的是，还可以对其他游戏或应用中确定多个参考对象，具体此处不做限定。

本发明实施例及后续实施例中，都以选择目标应用的全部备选对象作为参考对象进行说明，即确定目标应用中的多个参考对象的数量多于每一局游戏对战中涉及的参考对象的数量。

103、获取多个参考对象中每个参考对象的模板图像。

获取多个参考对象中每个参考对象的模板图像，每一个参考对象都对应有模板图像。具体的，如图2A所示，在王者荣耀游戏中，每一个英雄人物对应的头像图标都不同，用以区分英雄，英雄“亚瑟”与英雄“后羿”、英雄“周瑜”、英雄“张良”的头像图像不同，因此可以将英雄“亚瑟”的头像图标作为参考对象“亚瑟”的模板图像，英雄对应的模板图像是唯一的。将野怪都对应一种模板图像，将主宰、防御塔等对象对应一种模板图像，如图2B所示，主宰对应的模板图像只可能出现一次，而防御塔对应的模板图像可能出现一次或多次。

举例说明，在一局5V5王者峡谷模式的游戏对战中，根据用户选择的英雄，在王者荣耀游戏中的所有英雄对应的模板图像中确定本局游戏中会出现的模板图像，例如，王者荣耀游戏包括几十个不同的英雄，选择在本局游戏对战中可能出现的“狄仁杰”、“亚瑟”等十个英雄对应的模板图像。

104、获取目标应用在运行过程中的界面图像。

获取目标应用在运行过程中的界面图像，界面图像包括目标对象的图像，多个参考对象包括目标对象。

具体的，可以通过截屏的方式获取正在运行的目标应用的界面图像，例如，可以通过预置的软件截取目标应用的界面图像，还可以通过目标应用内置的截图功能截取目标应用的界面图像。

举例说明，在一局5V5王者峡谷模式的游戏对战中，涉及的参考对象有多个，例如，英雄、野怪、防御塔、主宰等，通过截屏的方式获取到游戏界面图像中，如图3所示，界面图像中包括了一个主宰、十座防御塔，此时，主宰和防御塔可以作为目标对象。

可以理解的是，当用户设备的大小不同时，获取到的界面图像的大小不同，例如在手机上运行和在平板电脑上运行时，截屏获取的界面图像大小不同。根据运行目标应用的用户设备的配置，显示的目标对象的大小也相应变化，用户设备的屏幕增大，显示的目标对象也增大，获取到的界面图像中的目标对象也增大，具体此处不做限定。

需要说明的是，步骤104和步骤103可以同时执行，也可以先执行步骤103，在执行步骤104；还可以先执行步骤104，再执行步骤103，本发明实施例以先执行步骤103，再执行步骤104为例进行说明。

105、确定界面图像中的第一区域和第二区域。

根据实际情况确定界面图像中的第一区域和第二区域，该第一区域用于展示目标对象的标识的图像，第二区域用于展示目标对象的图像。

举例说明，在王者荣耀游戏中，可以将界面图像分为两个区域，小地图区域和非小地图区域，其中，小地图区域用于展示目标对象的标识的图像，例如，目标对象的标识可以包括英雄的标识、主宰的标识、暴君的标识，防御塔的标识等；非小地图区域用于展示目标对象的图像，目标对象的图像可以包括技能图标、英雄等级图标等。

需要说明的是，第一区域和第二区域的范围不是固定不变的，第一区域和第二区域的显示范围大小根据实际情况进行确定，例如，在王者荣耀游戏中，当小地图正常显示时，小地图区域显示在界面截图的左上角，显示范围为第一预置范围，如图4A所示；当小地图放大显示时，小地图区域显示在界面截图的左侧，显示范围为第二预置范围，第二预置范围大于第一预置范围，如图4B所示。

106、对模板图像进行划分，模板图像包括标识模板和对象模板。

对模板图像进行划分，该模板图像包括标识模板和对象模板，该标识模板用于对第一区域进行匹配，该对象模板用于对第二区域进行匹配。

举例说明，在王者荣耀游戏中，在一局游戏对战中，将获取到的参考对象的目标图像进行划分，例如划分为标识模板和对象模板，其中，标识模板用于对图5所示的小地图区域，对象模板用于对图5所示的非小地图区域，比如，图5中小地图区域上显示有防御塔的标识，那么，可以将防御塔的标识模板图像与小地图中的防御塔的标识的图像进行匹配；图5中非小地图区域上显示有技能图标，则可以将技能图标的模板图像与非小地图区域中的技能图标的图像进行匹配。

本发明实施例中，通过对匹配模板进行分类，对游戏的界面图像进行分类，固定区域的模板只需要用某类模板图像进行匹配，加快了图像匹配的速度，提高运算速度。

107、将模板图像和界面图像进行匹配得到匹配结果。

将模板图像和界面图像进行匹配得到匹配结果，匹配结果用于指示目标对象的状态信息。具体的，将标识模板与第一区域进行匹配，和/或，将对象模板与第二区域进行匹配；获取所述匹配结果。

举例说明，在王者荣耀游戏中，将标识模板与小地图区域进行匹配，例如英雄头像、主宰的标识、防御塔的标识等，这类标识模板只会显示在小地图区域，若在小地图区域匹配失败，也不需要再对第二区域进行匹配。还可以将对象模板与非小地图区域进行匹配，例如，技能图标、英雄等级等对象标识对应的模板图像在非小地图区域进行匹配。可以理解的是，可以根据实际需要，单独对小地图区域或非小地图区域进行匹配，又或者是，同时对小地图区域和非小地图区域进行匹配，具体此处不做限定。

需要说明的是，可以通过多种方式将模板图像和界面图像进行匹配。例如，根据预置的滑动路径将标识模板在第一区域上进行滑动，其中，预置的滑动路径可以根据从左至右，从上至下的方式，每次滑动一个像素单位得到滑动路径；根据预置的匹配算法计算标识模板与标识模板的当前滑动区域的匹配值；根据配值得到匹配结果。

在一个实际应用场景中，例如在王者荣耀游戏中，获取到一个界面图像，像素大小为1920×1080，当小地图区域的图像为300×300的图像，表示小地图区域的图像的行和列都是300；若选择的目标对象为主宰，则将主宰的模板图像在上述小地图区域上滑动，主宰的模板图像大小为15×15，按照预置的时间间隔按照从左至右，从上至下的顺序进行滑动，每次滑动的1个像素单位，如图6A所示，具体的，在第一时刻，主宰的模板图像从小地图区域的左上角开始，向右进行滑动，其中，在小地图区域的坐标系中，主宰的模板图像的左上角的坐标在为(0，0)，主宰的模板图像的右上角的坐标为(0，15)，主宰的模板图像的左下角的坐标为(15，0)，主宰的模板图像的右下角的坐标为(15，15)；如图6B所示，在第二时刻，主宰的模板图像向右滑动一个像素单位，主宰的模板图像的左上角的坐标为(0，1)，主宰的模板图像的右上角的坐标为(0，16)，主宰的模板图像的左下角的坐标为(15，1)，主宰的模板图像的右下角的坐标为(15，16)，第二时刻与第一时刻相差一个预置的时间间隔；当主宰的模板图像的左上角的坐标为(0，285)(即右上角的坐标为(0，300))时，下一时刻主宰的模板图像的左上角坐标为(1，0)，后续滑动过程类似，此处不再赘述，直至主宰的模板图像滑动覆盖过小地图区域的全部图像，停止匹配过程。需要说明的是，当主宰的模板图像的左上角的坐标为(0，285)(即右上角的坐标为(0，300))时，下一时刻主宰的模板图像的左上角坐标可以为(1，285)，预置的滑动路径可以根据实际情况进行设置，具体此处不做限定。

在滑动过程中的每一个时刻，都要通过预置的匹配算法计算主宰的模板图像与该模板图像当前滑动区域的匹配值，预置的匹配算法可以是平方差匹配算法、标准平方方差匹配算法、相关匹配算法和标准相关匹配算法中的任意一种，还可以是其他匹配算法，此处不做限定，本发明实施例以平方差匹配算法为例进行说明。例如，在第一时刻，计算主宰的模板图像与主宰的模板图像在第一时刻所在的当前滑动区域的匹配值，采用主宰的模板图像和当前滑动区域的每个像素的平方差之和来衡量匹配结果的好坏，匹配度越差，则匹配值越大，最好的匹配度(即匹配值)为0。

平方差匹配算法(method＝CV_TM_SQDIFF)的具体公式如下：

其中，当前滑动区域的图像记为I(x，y)，模板图像记为T(x，y)，匹配结果记为R(x，y)。该公式通过将模板图像上所有像素与当前滑动区域上的像素取差值再取平方运算，最后将所有平方值求和，即得到了平方差匹配的匹配值。通过平方差匹配算法公式进行匹配，最好的匹配值为0，匹配值越大，匹配度越差，匹配值越大。例如，R(0，0)表示在(0，0)处的计算值，即匹配值。

还可以通过标准平方差匹配算法进行匹配，标准平方差匹配算法(method＝CV_TM_SQDIFF_NORMED)的具体公式如下：

其中，当前滑动区域的图像记为I(x，y)，模板图像记为T(x，y)，匹配结果记为R(x，y)。该公式在上述平方差匹配算法公式的基础上，对模板图像和当前滑动区域图像之间的像素值的平方之和的乘积开方后再求商操作，即得到了标准平方差匹配的匹配值。通过标准平方差匹配算法公式进行匹配，最好的匹配值为0，匹配值越大，匹配度越差，匹配值越大。例如，R(0，0)表示在(0，0)处的计算值，即匹配值。标准平方差匹配算法与平方差匹配算法类似，但是缩小了匹配值的对比范围。

还可以通过相关匹配算法进行匹配，相关匹配算法(method＝CV_TM_CCORR)的具体公式如下：

其中，当前滑动区域的图像记为I(x，y)，模板图像记为T(x，y)，匹配结果记为R(x，y)。该公式对模板图像和当前滑动区域图像之间的像素值进行乘法操作，再求所有乘积之和即为匹配结果，即得到了相关匹配的匹配值。通过相关匹配算法公式进行匹配，匹配值越大表示匹配程度越高，匹配值越小表示匹配程度越低，0表示最坏的匹配结果，最小的匹配值为0。

还可以通过标准相关匹配算法进行匹配，标准相关匹配算法(method＝CV_TM_CCORR_NORMED)的具体公式如下：

其中，当前滑动区域的图像记为I(x，y)，模板图像记为T(x，y)，匹配结果记为R(x，y)。该公式在上述相关匹配算法公式的基础上，对模板图像和当前滑动区域图像之间的像素值的平方之和的乘积开方后再求商操作，即得到了标准相关匹配算法的匹配值。通过标准相关匹配算法公式进行匹配，匹配值越大表示匹配程度越高，匹配值越小表示匹配程度越低，0表示最坏的匹配结果，最小的匹配值为0。标准相关匹配算法与相关匹配算法类似，但是缩小了匹配值的对比范围。

需要说明的是，还可以有其他预置的匹配算法，例如，相关系数匹配算法或标准相关系数匹配算法等，具体此处不做限定。

108、将状态信息转换为目标应用的数据信息。

将匹配结果中指示的状态信息转换为目标应用的数据信息。

具体的，将得到的匹配值进行分析，得到匹配结果，匹配结果指示了目标对象是否匹配成功，即界面图像上是否匹配到目标对象。

举例说明，在王者荣耀游戏中，在一局游戏对战中，采用平方差匹配算法，若计算主宰的模板图像和界面图像上的当前滑动区域图像之间的匹配值为0，则确定匹配成功，即在界面图像上匹配到主宰，因为主宰的坐标是固定的，可以将主宰的坐标作为匹配结果。

例如，当模板图像为小兵的模板图像时，可能在界面图像上计算到10个匹配值为0的滑动区域，则表示该界面图像上有10个小兵，将10个小兵的坐标都作为匹配结果。又例如，当游戏中的英雄“亚瑟”的等级为“4”，若在界面图像上成功匹配到该等级图标“4”，则将英雄“亚瑟”的等级为4级作为匹配结果。又例如，当在界面图像上成功匹配到技能图标时，则表明该技能图标对应的技能可用，将该技能可用作为匹配结果。

本发明实施例中，直接从游戏界面获取游戏信息，不需要游戏开发者的配合，可以直接从游戏的界面图像获取游戏信息，该游戏信息可直接融合到深度强化学习DQN的输入，加快了DQN的特征提取和收敛过程，提高了DQN的应用范围。

请参阅图7，本申请实施例中信息处理方法的另一个实施例包括：

701、接收深度强化学习输入指令。

接收深度强化学习DQN输入指令，该DQN输入指令用于指示获取目标应用的数据信息。

当接收到DQN指令后，根据该DQN指令携带的指示信息获取DQN实际需要的数据信息。

702、确定目标应用中的多个参考对象。

确定目标应用中的多个参考对象，该多个参考对象为该目标应用中可能出现的所有备选对象，例如，备选对象可以是游戏中的英雄、防御塔、野怪、主宰和小兵等。

需要说明的是，在确定多个参考对象之前，先获取目标应用中的全部备选对象，例如，对于目标游戏而言，将该目标游戏中涉及的全部英雄、怪物、建筑等都作为备选对象。在进行选择时，可以选择全部备选对象或部分备选对象作为参考对象。本发明实施例基于模板匹配的灵活性高的特点，可根据每一局游戏对战的不同内容，选择不同的模板图像，减少无效的运算。

703、获取多个参考对象中每个参考对象的模板图像。

获取多个参考对象中每个参考对象的模板图像，每一个参考对象都对应有模板图像。具体的，如图2A所示，在王者荣耀游戏中，每一个英雄人物对应的头像图标都不同，用以区分英雄，英雄“亚瑟”与英雄“后羿”、英雄“周瑜”、英雄“张良”的头像图像不同，因此可以将英雄“亚瑟”的头像图标作为参考对象“亚瑟”的模板图像，英雄对应的模板图像是唯一的。将野怪都对应一种模板图像，将主宰、防御塔等对象对应一种模板图像，如图2B所示，主宰对应的模板图像只可能出现一次，而防御塔对应的模板图像可能出现一次或多次。

举例说明，在一局3V3长平攻防战模式的游戏对战中，根据用户选择的英雄，在王者荣耀游戏中的所有英雄对应的模板图像中确定本局游戏中会出现的模板图像，例如，王者荣耀游戏包括几十个不同的英雄，选择在本局游戏对战中可能出现的“后羿”、“亚瑟”“周瑜”等六个英雄对应的模板图像，因为对战双方有可能选择相同的英雄进行游戏，因此每局对战中出现的英雄个数可能少于实际对战人数，例如，若出现双方都选择了英雄“后羿”，其他英雄不同，则在该局游戏对战中出现了5个英雄，小于该游戏对战的实际人数6人。

704、获取目标应用在运行过程中的界面图像。

获取目标应用在运行过程中的界面图像，界面图像包括目标对象的图像，多个参考对象包括目标对象。

具体的，可以通过截屏的方式获取正在运行的目标应用的界面图像，例如，可以通过预置的软件截取目标应用的界面图像，还可以通过目标应用内置的截图功能截取目标应用的界面图像。

需要说明的是，步骤704和步骤703可以同时执行，也可以先执行步骤703，在执行步骤704；还可以先执行步骤704，再执行步骤703，本发明实施例以先执行步骤703，再执行步骤704为例进行说明。

705、确定界面图像中的第一区域和第二区域。

根据实际情况确定界面图像中的第一区域和第二区域，该第一区域用于展示目标对象的标识的图像，第二区域用于展示目标对象的图像。

举例说明，在王者荣耀游戏中，可以将界面图像分为两个区域，小地图区域和非小地图区域，其中，小地图区域用于展示目标对象的标识的图像，例如，目标对象的标识可以包括英雄的标识、主宰的标识、暴君的标识，防御塔的标识等；非小地图区域用于展示目标对象的图像，目标对象的图像可以包括技能图标、英雄等级图标等。

706、对模板图像进行划分，模板图像包括标识模板和对象模板。

对模板图像进行划分，该模板图像包括标识模板和对象模板，该标识模板用于对第一区域进行匹配，该对象模板用于对第二区域进行匹配。

本发明实施例中，通过对匹配模板进行分类，对游戏的界面图像进行分类，固定区域的模板只需要用某类模板图像进行匹配，加快了图像匹配的速度，提高运算速度。

707、将第一区域划分为标识区域和非标识区域。

根据标识模板将第一区域划分为标识区域和非标识区域，其中，标识区域为目标对象的标识的图像可能出现的区域，非标识区域为目标对象的标识的图像不可能出现的区域，为无效区域。

708、将模板图像和界面图像进行匹配得到匹配结果。

将模板图像和界面图像进行匹配得到匹配结果，匹配结果用于指示目标对象的状态信息。具体的，将标识模板与第一区域进行匹配，和/或，将对象模板与第二区域进行匹配；获取所述匹配结果。

在王者荣耀游戏中，将标识模板与小地图区域进行匹配，例如英雄头像、主宰的标识、防御塔的标识等，这类标识模板只会显示在小地图区域，若在小地图区域匹配失败，也不需要再对第二区域进行匹配。还可以将对象模板与非小地图区域进行匹配，例如，技能图标、英雄等级等对象标识对应的模板图像在非小地图区域进行匹配。可以理解的是，可以根据实际需要，单独对小地图区域或非小地图区域进行匹配，又或者是，同时对小地图区域和非小地图区域进行匹配，具体此处不做限定。

在王者荣耀游戏中，如图8所示，根据标识模板将第一区域划分为标识区域和非标识区域，标识区域为目标对象的标识的图像可能出现的区域；根据预置的滑动路径将标识模板在标识区域上进行滑动，其中，预置的滑动路径可以根据从左至右，从上至下的方式进行布置；根据预置的匹配算法计算标识模板与标识模板的当前滑动区域的匹配值；根据配值得到匹配结果。第二种方式相对于第一种方式的改进之处在于，对匹配的第一区域进行第二次划分，将第一区域中模板图像不可能出现的区域划分为非标识区域，模板图像可能出现的区域划分为标识区域，非标识区域则不需要进行匹配，减少了无效的匹配过程，加快了匹配速度。

在一个实际应用场景中，例如在王者荣耀游戏中，获取到一个界面图像，像素大小为1920×1080，当小地图区域的图像为300×300的图像，表示小地图区域的图像的行和列都是300；若选择的目标对象为英雄“亚瑟”，则将英雄“亚瑟”的模板图像在小地图区域上可能出现的区域确定为标识区域，将英雄“亚瑟”的模板图像在小地图区域上不可能出现的区域确定为非标识区域，将英雄“亚瑟”的模板图像在上述标识区域上滑动，英雄“亚瑟”的模板图像大小为15×15，按照预置的时间间隔按照从左至右，从上至下的顺序进行滑动，每次滑动的1个像素单位，如图9A所示，具体的，在第一时刻，英雄“亚瑟”的模板图像从标识区域的左上角开始，向右进行滑动，其中，在小地图区域的坐标系中，英雄“亚瑟”的模板图像的左上角的坐标在为(0，0)，英雄“亚瑟”的模板图像的右上角的坐标为(0，15)，英雄“亚瑟”的模板图像的左下角的坐标为(15，0)，英雄“亚瑟”的模板图像的右下角的坐标为(15，15)；如图9B所示，在第二时刻，主宰的模板图像向右滑动一个像素单位，英雄“亚瑟”的模板图像的左上角的坐标为(0，1)，英雄“亚瑟”的模板图像的右上角的坐标为(0，16)，英雄“亚瑟”的模板图像的左下角的坐标为(15，1)，英雄“亚瑟”的模板图像的右下角的坐标为(15，16)，第二时刻与第一时刻相差一个预置的时间间隔；后续滑动过程类似，此处不再赘述，直至英雄“亚瑟”的模板图像滑动覆盖过标识区域的全部图像，停止匹配过程。

在滑动过程中的每一个时刻，都要通过预置的匹配算法计算主宰的模板图像与该模板图像当前滑动区域的匹配值，预置的匹配算法可以是平方差匹配算法、标准平方方差匹配算法、相关匹配算法和标准相关匹配算法中的任意一种，还可以是其他匹配算法，此处不做限定，本发明实施例以平方差匹配算法为例进行说明。例如，在第一时刻，计算主宰的模板图像与主宰的模板图像在第一时刻所在的当前滑动区域的匹配值，采用主宰的模板图像和当前滑动区域的每个像素的平方差之和来衡量匹配结果的好坏，匹配度越差，则匹配值越大，最好的匹配度(即匹配值)为0。

平方差匹配算法(method＝CV_TM_SQDIFF)的具体公式如下：

其中，当前滑动区域的图像记为I(x，y)，模板图像记为T(x，y)，匹配结果记为R(x，y)。该公式通过将模板图像上所有像素与当前滑动区域上的像素取差值再取平方运算，最后将所有平方值求和，即得到了平方差匹配的匹配值。通过平方差匹配算法公式进行匹配，最好的匹配值为0，匹配值越大，匹配度越差，匹配值越大。例如，R(0，0)表示在(0，0)处的计算值，即匹配值。

还可以通过标准平方差匹配算法进行匹配，标准平方差匹配算法(method＝CV_TM_SQDIFF_NORMED)的具体公式如下：

其中，当前滑动区域的图像记为I(x，y)，模板图像记为T(x，y)，匹配结果记为R(x，y)。该公式在上述平方差匹配算法公式的基础上，对模板图像和当前滑动区域图像之间的像素值的平方之和的乘积开方后再求商操作，即得到了标准平方差匹配的匹配值。通过标准平方差匹配算法公式进行匹配，最好的匹配值为0，匹配值越大，匹配度越差，匹配值越大。例如，R(0，0)表示在(0，0)处的计算值，即匹配值。标准平方差匹配算法与平方差匹配算法类似，但是缩小了匹配值的对比范围。

还可以通过相关匹配算法进行匹配，相关匹配算法(method＝CV_TM_CCORR)的具体公式如下：

其中，当前滑动区域的图像记为I(x，y)，模板图像记为T(x，y)，匹配结果记为R(x，y)。该公式对模板图像和当前滑动区域图像之间的像素值进行乘法操作，再求所有乘积之和即为匹配结果，即得到了相关匹配的匹配值。通过相关匹配算法公式进行匹配，匹配值越大表示匹配程度越高，匹配值越小表示匹配程度越低，0表示最坏的匹配结果，最小的匹配值为0。

还可以通过标准相关匹配算法进行匹配，标准相关匹配算法(method＝CV_TM_CCORR_NORMED)的具体公式如下：

其中，当前滑动区域的图像记为I(x，y)，模板图像记为T(x，y)，匹配结果记为R(x，y)。该公式在上述相关匹配算法公式的基础上，对模板图像和当前滑动区域图像之间的像素值的平方之和的乘积开方后再求商操作，即得到了标准相关匹配算法的匹配值。通过标准相关匹配算法公式进行匹配，匹配值越大表示匹配程度越高，匹配值越小表示匹配程度越低，0表示最坏的匹配结果，最小的匹配值为0。标准相关匹配算法与相关匹配算法类似，但是缩小了匹配值的对比范围。

需要说明的是，还可以有其他预置的匹配算法，例如，相关系数匹配算法或标准相关系数匹配算法等，具体此处不做限定。

709、将状态信息转换为目标应用的数据信息。

将匹配结果中指示的状态信息转换为目标应用的数据信息。

具体的，将得到的匹配值进行分析，得到匹配结果，匹配结果指示了目标对象是否匹配成功，即界面图像上是否匹配到目标对象。

举例说明，在王者荣耀游戏中，在一局游戏对战中，采用平方差匹配算法，若计算主宰的模板图像和界面图像上的当前滑动区域图像之间的匹配值为0，则确定匹配成功，即在界面图像上匹配到主宰，因为主宰的坐标是固定的，可以将主宰的坐标作为匹配结果。

例如，当模板图像为小兵的模板图像时，可能在界面图像上计算到10个匹配值为0的滑动区域，则表示该界面图像上有10个小兵，将10个小兵的坐标都作为匹配结果。又例如，当游戏中的英雄“亚瑟”的等级为“4”，若在界面图像上成功匹配到该等级图标“4”，则将英雄“亚瑟”的等级为4级作为匹配结果。又例如，当在界面图像上成功匹配到技能图标时，则表明该技能图标对应的技能可用，将该技能可用作为匹配结果。

本发明实施例中，直接从游戏界面获取游戏信息，不需要游戏开发者的配合，可以直接从游戏的界面图像获取游戏信息，该游戏信息可直接融合到深度强化学习DQN的输入，加快了DQN的特征提取和收敛过程，提高了DQN的应用范围。

以上对本申请中一种信息处理方法进行说明，以下对执行上述信息处理方法的信息处理装置进行说明。

请参阅图10，本申请实施例中信息处理装置的一个实施例包括：

第一确定模块1001，用于确定目标应用中的多个参考对象；

获取模块1002，用于获取所述多个参考对象中每个参考对象的模板图像和所述目标应用在运行过程中的界面图像，所述界面图像包括目标对象的图像，所述多个参考对象包括所述目标对象；

匹配模块1003，用于将所述模板图像和所述界面图像进行匹配得到匹配结果，所述匹配结果用于指示所述目标对象的状态信息；

处理模块1004，用于将所述状态信息转换为所述目标应用的数据信息。

请参阅图11，本申请实施例中信息处理装置的另一个实施例包括：

第一确定模块1101，用于确定目标应用中的多个参考对象；

获取模块1102，用于获取所述多个参考对象中每个参考对象的模板图像和所述目标应用在运行过程中的界面图像，所述界面图像包括目标对象的图像，所述多个参考对象包括所述目标对象；

匹配模块1103，用于将所述模板图像和所述界面图像进行匹配得到匹配结果，所述匹配结果用于指示所述目标对象的状态信息；

处理模块1104，用于将所述状态信息转换为所述目标应用的数据信息。

可选的，所述信息处理装置还包括：

第二确定模块1105，用于确定所述界面图像中的第一区域和第二区域，所述第一区域用于展示所述目标对象的标识的图像，所述第二区域用于展示所述目标对象的图像；

划分模块1106，用于对所述模板图像进行划分，所述模板图像包括标识模板和对象模板，所述标识模板用于对所述第一区域进行匹配，所述对象模板用于对所述第二区域进行匹配。

可选的，匹配模块1103具体用于：

将所述标识模板与所述第一区域进行匹配，和/或，

将所述对象模板与所述第二区域进行匹配；

获取所述匹配结果。

可选的，匹配模块1103具体还用于：

根据预置的滑动路径将所述标识模板在所述第一区域上进行滑动；

根据预置的匹配算法计算所述标识模板与所述标识模板的当前滑动区域的匹配值；

根据所述匹配值得到所述匹配结果。

上面从模块化功能实体的角度对本申请实施例中的信息处理装置进行了描述，下面从硬件处理的角度对本申请实施例中的信息处理装置进行描述。需要说明的是，在本申请图12所示的实施例中的收发模块对应的实体设备可以为收发器，处理模块对应的实体设备可以为处理器。图12所示的信息处理装置可以具有如图12所示的结构。图12中的存储器存储处理器执行上述信息处理方法时需要调用的程序代码。

图12是本发明实施例提供的一种信息处理装置的结构示意图，该信息处理装置1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(英文全称：central processing units，英文简称：CPU)1201(例如，一个或一个以上处理器)和存储器1202，一个或一个以上存储应用程序1204或数据1205的存储介质1203(例如一个或一个以上海量存储设备)。其中，存储器1202和存储介质1203可以是短暂存储或持久存储。存储在存储介质1203的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地，中央处理器1201可以设置为与存储介质1203通信，在信息处理装置1200上执行存储介质1203中的一系列指令操作。

信息处理装置1200还可以包括一个或一个以上电源1206，一个或一个以上有线或无线网络接口1207，一个或一个以上输入输出接口1208，和/或，一个或一个以上操作系统1209，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等。

上述实施例中由信息处理装置所执行的步骤可以基于该图12所示的用户终端的结构。

例如，所述中央处理器1201可以调用存储介质1203中存储的指令执行如下操作：

确定目标应用中的多个参考对象；

通过输入输出接口1208获取所述多个参考对象中每个参考对象的模板图像；

通过输入输出接口1208获取所述目标应用在运行过程中的界面图像，所述界面图像包括目标对象的图像，所述多个参考对象包括所述目标对象；

将所述模板图像和所述界面图像进行匹配得到匹配结果，所述匹配结果用于指示所述目标对象的状态信息；

将所述状态信息转换为所述目标应用的数据信息。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上对本申请所提供的技术方案进行了详细介绍，本申请中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种信息处理方法，其特征在于，包括：

确定目标应用中的多个参考对象；

获取所述多个参考对象中每个参考对象的模板图像和所述目标应用在运行过程中的界面图像，所述界面图像包括目标对象的图像，所述多个参考对象包括所述目标对象；

确定所述界面图像中的第一区域和第二区域，所述第一区域用于展示所述目标对象的标识的图像，所述第二区域用于展示所述目标对象的图像；

对所述模板图像进行划分，所述模板图像包括标识模板和对象模板，所述标识模板用于对所述第一区域进行匹配，所述对象模板用于对所述第二区域进行匹配；

将所述模板图像和所述界面图像进行匹配得到匹配结果，所述匹配结果用于指示所述目标对象的状态信息；所述目标对象的状态信息至少包括：所述目标对象的可用状态与等级中的至少一项；

将所述状态信息转换为所述目标应用的数据信息。

2.根据权利要求1所述的方法，其特征在于，所述将所述模板图像和所述界面图像进行匹配得到匹配结果包括：

将所述标识模板与所述第一区域进行匹配，和/或，

将所述对象模板与所述第二区域进行匹配；

获取所述匹配结果。

3.根据权利要求2所述的方法，其特征在于，所述将所述标识模板与所述第一区域进行匹配包括：

根据预置的滑动路径将所述标识模板在所述第一区域上进行滑动；

根据预置的匹配算法计算所述标识模板与所述标识模板的当前滑动区域的匹配值；

所述获取所述匹配结果包括：

根据所述匹配值得到所述匹配结果。

4.根据权利要求2所述的方法，其特征在于，所述将所述标识模板与所述第一区域进行匹配包括：

根据所述标识模板将所述第一区域划分为标识区域和非标识区域，所述标识区域为所述目标对象的标识的图像待出现的区域；

根据预置的匹配算法计算所述标识模板与所述标识区域的匹配值；

所述获取所述匹配结果包括：

根据所述匹配值得到所述匹配结果。

5.根据权利要求4所述的方法，其特征在于，所述根据预置的匹配算法计算所述标识模板与所述标识区域的匹配值包括：

根据预置的滑动路径将所述标识模板在所述标识区域上进行滑动；

根据预置的匹配算法计算所述标识模板与所述标识模板的当前滑动区域的匹配值。

6.根据权利要求2所述的方法，其特征在于，所述将所述对象模板与所述第二区域进行匹配包括：

根据预置的路径将所述对象模板在所述第二区域上进行滑动；

根据预置的匹配算法计算所述对象模板与所述对象模板的当前滑动区域的匹配值；

所述获取所述匹配结果包括：

根据所述匹配值得到所述匹配结果。

7.根据权利要求1至6中任一项所述的方法，其特征在于，在所述确定目标应用中的多个参考对象之前，所述方法还包括：

接收深度强化学习DQN输入指令，所述DQN输入指令用于指示获取所述目标应用的数据信息。

8.根据权利要求3至6中任一项所述的方法，其特征在于，所述预置匹配算法包括平方差匹配算法、标准平方方差匹配算法、相关匹配算法和标准相关匹配算法。

9.一种信息处理装置，其特征在于，包括：

第一确定模块，用于确定目标应用中的多个参考对象；

获取模块，用于获取所述多个参考对象中每个参考对象的模板图像 和所述目标应用在运行过程中的界面图像，所述界面图像包括目标对象的图像，所述多个参考对象包括所述目标对象；

第二确定模块，用于确定所述界面图像中的第一区域和第二区域，所述第一区域用于展示所述目标对象的标识的图像，所述第二区域用于展示所述目标对象的图像；

划分模块，用于对所述模板图像进行划分，所述模板图像包括标识模板和对象模板，所述标识模板用于对所述第一区域进行匹配，所述对象模板用于对所述第二区域进行匹配；

匹配模块，用于将所述模板图像和所述界面图像进行匹配得到匹配结果，所述匹配结果用于指示所述目标对象的状态信息；所述目标对象的状态信息至少包括：所述目标对象的可用状态与等级中的至少一项；

处理模块，用于将所述状态信息转换为所述目标应用的数据信息。

10.根据权利要求9所述的信息处理装置，其特征在于，所述匹配模块具体用于：

将所述标识模板与所述第一区域进行匹配，和/或，

将所述对象模板与所述第二区域进行匹配；

获取所述匹配结果。

11.根据权利要求10所述的信息处理装置，其特征在于，所述匹配模块具体还用于：

根据预置的滑动路径将所述标识模板在所述第一区域上进行滑动；

根据预置的匹配算法计算所述标识模板与所述标识模板的当前滑动区域的匹配值；

根据所述匹配值得到所述匹配结果。

12.一种信息处理装置，其特征在于，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

确定目标应用中的多个参考对象；

获取所述多个参考对象中每个参考对象的模板图像和所述目标应用在运行过程中的界面图像，所述界面图像包括目标对象的图像，所述多个参考对象包括所述目标对象；

确定所述界面图像中的第一区域和第二区域，所述第一区域用于展示所述目标对象的标识的图像，所述第二区域用于展示所述目标对象的图像；

对所述模板图像进行划分，所述模板图像包括标识模板和对象模板，所述标识模板用于对所述第一区域进行匹配，所述对象模板用于对所述第二区域进行匹配；

将所述模板图像和所述界面图像进行匹配得到匹配结果，所述匹配结果用于指示所述目标对象的状态信息；

所述目标对象的状态信息至少包括：所述目标对象的可用状态与等级中的至少一项；

将所述状态信息转换为所述目标应用的数据信息；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

13.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至8中任一项所述的方法。

Images