CN112835807B

CN112835807B - 界面识别方法、装置、电子设备和存储介质

Info

Publication number: CN112835807B
Application number: CN202110253056.8A
Authority: CN
Inventors: 汪承佳; 姜慈航
Original assignee: Netease Hangzhou Network Co Ltd
Current assignee: Netease Hangzhou Network Co Ltd
Priority date: 2021-03-02
Filing date: 2021-03-02
Publication date: 2022-05-31
Anticipated expiration: 2041-03-02
Also published as: CN112835807A

Abstract

本发明实施例提供了一种界面识别方法、装置、电子设备和存储介质，所述方法包括：将待处理的界面输入预先训练的网络模型中，得到界面特征；采用所述界面特征与预先记录的图元模板特征计算响应图，所述图元模板特征具有对应的界面类型；依据所述响应图得到所述图元模板特征的匹配分数；依据所述匹配分数，从所述图元模板特征中确定目标图元模板特征；将所述界面的界面类型识别为所述目标图元模板特征对应的界面类型。本发明实施例的图元模板特征可以定义一个界面类型，因此通过将界面的界面特征与图元模板特征进行匹配可以确定目标图元模板特征，即可确定该界面的界面类型，提高了界面识别的准确性。

Description

界面识别方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及界面处理技术领域，特别是涉及一种界面识别方法、一种界面识别装置、电子设备和存储介质。

背景技术

对于开发的界面(User Interface，用户界面)，需要编写和调试测试脚本，对界面进行自动化测试。其中，在对界面进行测试的过程中，需要对界面进行识别，例如识别界面是否是在一次测试过程中已经测试过的某一类型的界面，有助于在界面测试中准确地描述和记录测试流程。

具体地，目前的界面识别的技术方案有多种，例如：1)基于支持向量机等传统机器学习方法来训练图像分类器；2)通过大量人力标注数据来训练基于神经网络的图像分类器；3)基于当前游戏界面的UI树来进行界面识别。其中，界面是软件界面，也可以是软件界面中用户可操作的UI组件，UI树是由界面上每个可操作的UI组件及其从属层级关系组成的一个抽象树结构，例如，假设有UI组件A和UI组件B，若A从属于B，且A仅比B低一层级，则在UI树中A为B的子节点，以此类推。

上述的界面识别的技术方案中，1)和2)是机器学习相关的方案，而3)则是树结构比对的方案。具体地，1)和2)可以仅仅基于图像来开展，但是前提是需要大量人力标注数据进行训练，3)则需要提供UI树获取接口才能正常进行，虽然无需大量人力标注数据，但是可操作性差。可见，目前已有的界面识别技术方案，在识别界面时，要么需要耗费大量人力去标注训练数据，要么界面识别的准确率不高，要么在实际游戏测试工作中的可操作性不高。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种界面识别方法和相应的一种界面识别装置、电子设备、存储介质。

为了解决上述问题，本发明实施例公开了一种界面识别方法，所述方法包括：

将待处理的界面输入预先训练的网络模型中，得到界面特征；

采用所述界面特征与预先记录的图元模板特征计算响应图，所述图元模板特征具有对应的界面类型；

依据所述响应图得到所述图元模板特征的匹配分数；

依据所述匹配分数，从所述图元模板特征中确定目标图元模板特征；

将所述界面的界面类型识别为所述目标图元模板特征对应的界面类型。

可选地，在所述将待处理的界面输入预先训练的网络模型中，得到界面特征之前，所述方法还包括：

从指定界面中截取的特征图元；

确定所述特征图元在所述指定界面中的图元位置和尺寸信息；

将所述特征图元输入预先训练的网络模型中，得到图元模板特征。

可选地，所述将待处理的界面输入预先训练的网络模型中，得到界面特征，包括：

获取所述图元模板特征的尺寸信息；

按照所述尺寸信息调整待处理的界面的尺寸；

将调整尺寸后的所述界面输入预先训练的网络模型中，得到界面特征。

可选地，所述依据所述响应图得到所述图元模板特征的匹配分数，包括：

获取所述响应图的峰值在所述待处理的界面中的匹配位置；

采用所述峰值、所述匹配位置、所述图元位置和所述尺寸信息，计算所述图元模板特征的匹配分数。

可选地，所述依据所述匹配分数，从所述图元模板特征中确定目标图元模板特征，包括：

将所述匹配分数大于预设阈值且所述匹配分数最高的图元模板特征，作为目标图元模板特征。

可选地，在将所述界面的界面类型识别为所述目标图元模板特征对应的界面类型之后，所述方法还包括：

确定所述界面的界面类型与界面类型集合中的界面类型是否相同；

当所述界面的界面类型与所述界面类型集合中的界面类型不相同时，将所述界面的界面类型存入所述界面类型集合中。

当所述界面的界面类型与所述界面类型集合中的界面类型相同时，获取与所述界面类型集合中的界面类型相同的在先界面对应的测试信息，对所述界面进行测试；所述测试信息包括所述在先界面的测试结果或者所述在先界面的中界面元素的测试结果。

本发明实施例还公开了一种界面识别装置，所述装置包括：

界面特征得到模块，用于将待处理的界面输入预先训练的网络模型中，得到界面特征；

响应图计算模块，用于采用所述界面特征与预先记录的图元模板特征计算响应图，所述图元模板特征具有对应的界面类型；

匹配分数得到模块，用于依据所述响应图得到所述图元模板特征的匹配分数；

目标图元模板特征确定模块，用于依据所述匹配分数，从所述图元模板特征中确定目标图元模板特征；

界面类型确定模块，用于将所述界面的界面类型识别为所述目标图元模板特征对应的界面类型。

可选地，所述装置还包括：

图元模板特征生成模块，用于从指定界面中截取的特征图元；确定所述特征图元在所述指定界面中的图元位置和尺寸信息；将所述特征图元输入预先训练的网络模型中，得到图元模板特征。

可选地，所述界面特征得到模块，用于获取所述图元模板特征的尺寸信息；按照所述尺寸信息调整待处理的界面的尺寸；将调整尺寸后的所述界面输入预先训练的网络模型中，得到界面特征。

可选地，所述匹配分数得到模块，用于获取所述响应图的峰值在所述待处理的界面中的匹配位置；采用所述峰值、所述匹配位置、所述图元位置和所述尺寸信息，计算所述图元模板特征的匹配分数。

可选地，所述界面类型确定模块，用于将所述匹配分数大于预设阈值且所述匹配分数最高的图元模板特征，作为目标图元模板特征。

可选地，所述装置还包括：相同界面识别模块，用于确定所述界面的界面类型与界面类型集合中的界面类型是否相同；当所述界面的界面类型与所述界面类型集合中的界面类型不相同时，将所述界面的界面类型存入所述界面类型集合中。

可选地，所述相同界面识别模块，还用于当所述界面的界面类型与所述界面类型集合中的界面类型相同时，获取与所述界面类型集合中的界面类型相同的在先界面对应的测试信息，对所述界面进行测试；所述测试信息包括所述在先界面的测试结果或者所述在先界面的中界面元素的测试结果。

本发明实施例公开了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的界面识别方法的步骤。

本发明实施例公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的界面识别方法的步骤。

本发明实施例包括以下优点：

在本发明实施例中，将待处理的界面输入预先训练的网络模型中，得到界面特征，采用界面特征与预先记录的图元模板特征计算响应图，依据响应图得到图元模板特征的匹配分数，然后依据匹配分数，从图元模板特征中确定目标图元模板特征，再将界面的界面类型识别为目标图元模板特征对应的界面类型。本发明实施例的图元模板特征可以定义一个界面类型，因此通过将界面的界面特征与图元模板特征进行匹配可以确定目标图元模板特征，即可确定该界面的界面类型，提高了界面识别的准确性。

附图说明

图1是本发明的一种界面识别方法实施例的步骤流程图；

图2a是本发明的一种生成图元模板特征的流程示意图；

图2b是本发明的一种游戏操作序列还原的流程示意图；

图3是本发明的一种界面识别装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例中的界面识别方法可以运行于终端设备或者是服务器。其中，终端设备可以为本地终端设备。当界面识别方法运行于为服务器时，可以为云游戏。

在一可选的实施方式中，云游戏是指以云计算为基础的游戏方式。在云游戏的运行模式下，游戏程序的运行主体和游戏画面呈现主体是分离的，界面识别方法的储存与运行是在云游戏服务器上完成的，云游戏客户端的作用用于数据的接收、发送以及游戏画面的呈现，举例而言，云游戏客户端可以是靠近用户侧的具有数据传输功能的显示设备，如，移动终端、电视机、计算机、掌上电脑等；但是进行游戏数据处理的终端设备为云端的云游戏服务器。在进行游戏时，玩家操作云游戏客户端向云游戏服务器发送操作指令，云游戏服务器根据操作指令运行游戏，将游戏画面等数据进行编码压缩，通过网络返回云游戏客户端，最后，通过云游戏客户端进行解码并输出游戏画面。

在一可选的实施方式中，终端设备可以为本地终端设备。本地终端设备存储有游戏程序并用于呈现游戏画面。本地终端设备用于通过图形用户界面与玩家进行交互，即，常规的通过电子设备下载安装游戏程序并运行。该本地终端设备将图形用户界面提供给玩家的方式可以包括多种，例如，可以渲染显示在终端的显示屏上，或者，通过全息投影提供给玩家。举例而言，本地终端设备可以包括显示屏和处理器，该显示屏用于呈现图形用户界面，该图形用户界面包括游戏画面，该处理器用于运行该游戏、生成图形用户界面以及控制图形用户界面在显示屏上的显示。

在目前的界面识别的技术方案，分别具有如下缺陷：

1)基于支持向量机等传统机器学习方法来训练的图像分类器，可以拥有对于图像的分类能力，但是分类器的效果非常依赖于训练过程中对于参数的选取，且训练效果也依赖于训练集的选取，训练集需要大量人力标注数据。因此，训练出来的分类器的准确率不高，不适用于针对变化莫测的游戏界面进行分类。

2)基于神经网络的图像分类器，虽然分类效果较好，但是需要依赖大量人力标注数据，这样需要对于同类游戏甚至每个游戏单独进行数据标注，在实际的游戏测试过程中完全不具备可操作性。

3)基于游戏界面的UI树信息，对于游戏界面进行非常清晰的描述，但是难以处理属性中仅仅索引值有差别的UI组件，也没有办法对于游戏界面的相似度进行准确的判定。同时，大多数游戏只有在白盒测试环境下才能获取UI树信息，这样的限制也使得这种技术方案难以在实际工作中应用起来。

针对上述问题，本发明实施例的核心构思在于，充分利用了游戏界面识别这样一个应用场景所具备的先验知识，设计了一套基于预训练卷积神经网络的识别方案。该方案采用已经被预训练好的开源神经网络，利用开发的配套工具，通过截取特征图元并计算图元特征来对不同类型的界面进行定义，之后，就可以用来对于游戏界面进行识别，在识别游戏界面时，通过计算最匹配图元来得到界面识别结果，界面识别的成功率非常高。

参照图1，示出了本发明的一种界面识别方法实施例的步骤流程图，本发明实施例具体可以包括如下步骤：

步骤101，将待处理的界面输入预先训练的网络模型中，得到界面特征。

其中，待处理的界面可以是游戏界面。

作为本发明的一种示例，使用卷积神经网络的网络模型提取图元特征，其中，卷积神经网络可以是VGG19网络。具体地，网络模型可以视为一种函数，该函数的输入是图片(多维数组)，输出是特征(多维数组)，即将一种不易分析的数据集合转化为一种易于分析的数据集合。具体地，将界面输入预先训练的网络模型中，网络模型则可以得输出界面的界面特征。

步骤102，采用所述界面特征与预先记录的图元模板特征计算响应图，所述图元模板特征具有对应的界面类型。

其中，图元模板特征为基于特定界面中提取的特征图元，输入预先训练的网络模型中所得的图元特征。具体地，特定界面是指的从测试者角度来看，值得关注的界面，比如游戏的登录界面，游戏的结算界面以及游戏的活动界面等等；特征图元是指的特定界面中最具有代表性的部分截图，比如游戏的登录界面中的登录按钮的截图。

在本发明实施例中，采用界面特征与预先记录的图元模板特征计算响应图，其中，响应图是将图元模板特征与界面特征经过指定算法计算后得到的一个计算结果，这个计算结果通常是矩阵形式，可以展示为灰度图像，因此称为响应图。作为一个具体示例，响应图可以利用图元模板特征和界面特征，通过QATM(quality-aware template matching，质量感知模板匹配算法)计算得到。

步骤103，依据所述响应图得到所述图元模板特征的匹配分数。

步骤104，依据所述匹配分数，从所述图元模板特征中确定目标图元模板特征。

步骤105，将所述界面的界面类型识别为所述目标图元模板特征对应的界面类型。

其中，匹配分数代表了图元模板特征与界面特征之间的接近程度，匹配分数越高，则图元模板特征与界面特征之间的接近程度越高，反之，匹配分数越低，则图元模板特征与界面特征之间的接近程度越低。

在本发明实施例中，根据响应图计算得到每个图元模板特征的匹配分数，然后可以依据匹配分数，从图元模板特征中确定目标图元模板特征。例如，可以将匹配分数最高的图元模板特征，作为目标图元模板特征。

其中，每个图元模板特征具有对应的界面类型，例如对于登录界面类型、结算界面类型或者活动界面类型等等。在确定目标图元模板特征后，将界面的界面类型识别为目标图元模板特征对应的界面类型。

在上述界面识别方法中，将待处理的界面输入预先训练的网络模型中，得到界面特征，采用界面特征与预先记录的图元模板特征计算响应图，依据响应图得到图元模板特征的匹配分数，然后依据匹配分数，从图元模板特征中确定目标图元模板特征，再将界面的界面类型识别为目标图元模板特征对应的界面类型。本发明实施例的图元模板特征可以定义一个界面类型，因此通过将界面的界面特征与图元模板特征进行匹配可以确定目标图元模板特征，即可确定该界面的界面类型，提高了界面识别的准确性。

在本发明的一种优选实施例中，在所述步骤101，将待处理的界面输入预先训练的网络模型中，得到界面特征之前，所述方法还可以包括：

从指定界面中截取的特征图元；

其中，指定界面是指的特定界面，即游戏的登录界面，游戏的结算界面以及游戏的活动界面等等。

在本发明实施例中，从不同界面类型的指定界面截取一块特征图元，用于代表该界面类型的界面，然后将特征图元输入预先训练的网络模型中，得到图元特征，然后将图元特征保存为该界面类型的图元模板特征。其中，图元模板特征可以保存为图像格式的文件。

同时，本发明实施例还会保存图元模板特征对应的特征图元在原始界面中的图元位置，以及原始界面中的尺寸信息。其中，尺寸信息是指的分辨率。

在上述实施例中，通过预先训练的网络模型生成的界面特征和图元模板特征来进行界面识别，尽可能保证了卷积神经网络的能力，提升了界面识别的准确率。

在本发明的一种优选实施例中，所述步骤101，将待处理的界面输入预先训练的网络模型中，得到界面特征，可以包括：

获取所述图元模板特征的尺寸信息；

按照所述尺寸信息调整待处理的界面的尺寸；

在具体实现中，每个指定界面的尺寸信息可能并不相同，因此从指定界面中截取的特征图元有些分辨率较高，有些分辨率则较低，因此如果要满足对不同分辨率的待处理的界面的识别需求，则需要对相同界面类型但不同分辨率的指定界面分别进行图元截取以及输入预先训练的网络模型等过程，来生成相同界面类型单不同分辨率的指定界面对应的图元模板特征。此外，在界面识别过程中，如果没有预先生成待处理的界面的分辨率对应的图元模板特征，则不能够获取待处理的界面的分辨率对应的图元模板特征，将导致界面的识别结果准确率不高。

针对上述问题，本发明实施例在将待处理的界面输入预先训练的的网络模型前，获取图元模板特征的尺寸信息，然后基于图元模板特征的尺寸信息，从而将待处理的界面的重新调整(resize)至与图元模板特征的相同尺寸。举例来说，假设待处理的界面的分辨率为100*100，图元模板特征的分辨率为200*200，则按照图元模板特征的尺寸信息调整待处理的界面的尺寸，那么待处理的界面的尺寸将更新为200*200。

在上述实施例中，在生成图元模板特征时同时保留图元模板特征的尺寸信息，在将待处理的界面输入预先训练的的网络模型前，依据图元模板特征的尺寸信息对待处理的界面调整的尺寸进行调整，然后再输入到预先训练的的网络模型得到界面特征，用于与图元模板特征来识别待处理的界面的界面类型，可以适应各种尺寸的待处理的界面的识别，适用范围非常广泛。

在本发明的一种优选实施例中，所述步骤105，依据所述匹配分数，从所述图元模板特征中确定目标图元模板特征，可以包括：

其中，匹配分数越高代表了图元模板特征与待处理界面之间的接近程度，因此在本发明实施例中，可以将匹配分数大于预设阈值，并且匹配分数最高的图元模板特征，作为待处理界面的目标图元模板特征。例如，假设预设阈值为50，待处理的界面的三个图元模板特征的匹配分数分别是60、50、90，其中，由于匹配分数90最高，并且大于预设阈值50，因此可以将匹配分数90为图元模板特征，作为目标图元模板特征。

在上述实施例中，作为目标图元模板特征的图元模板特征，除了需要匹配分数最高之外，同时还需要匹配分数大于预设阈值，避免匹配分数较低的图元模板特征作为为目标图元模板特征，保证了界面识别的准确率。

在本发明的一种优选实施例中，所述步骤103，依据所述响应图得到所述图元模板特征的匹配分数，可以包括：

获取所述响应图的峰值在所述待处理的界面中的匹配位置；

在本发明实施例中，图元模板特征可以有多个，这些图元模板特征可以保存到图元模板特征集合中，在对待处理的界面进行识别时，从图元模板特征集合中提取每一个图元模板特征，与待处理的界面的界面特征计算响应图，确定响应图的峰值在待处理的界面中的匹配位置，根据匹配位置、特征图元在指定界面中的图元位置和尺寸信息，来计算图元模板特征的匹配分数。

在上述实施例，依据响应图的峰值在待处理的界面中的匹配位置，以及特征图元在指定界面中的图元位置，以及尺寸信息，来确定图元模板特征的匹配分数，提高了图元模板特征的匹配的准确率。

作为本发明的一个具体示例，将图元模板特征集合T里面的每一个图元模板特征TF_i与界面的界面特征PF进行匹配，使用QATM算法得到每一个图元模板特征TF_i对应的响应图M_i，确定响应图M_i的峰值S_i，以及峰值S_i在待处理的界面中对应的匹配位置(X_i,Y_i)，对每个图元模板特征使用如下公式进行归一化处理，得到位置分数ND_i：

利用归一化位置分数ND_i更新峰值得到匹配分数NS_i，更新方法如下：

其中，(W，H)为指定界面的尺寸信息，(XR，YR)为图元模板特征TF_i的特征图元在指定界面中的图元位置，N为图元模板特征的数量。获取NS_i∈N里面最大值NS_max＞t，当NS_max＞t时，t为预设阈值，NS_max所对应的图元模板特征为最匹配的图元模板特征，即目标图元模板特征。其中，如果没有图元模板特征匹配的待处理的界面，则将待处理界面识别为未定义界面类型的界面。

在本发明的一种优选实施例中，在步骤105、将所述界面的界面类型识别为所述目标图元模板特征对应的界面类型之后，所述方法还可以包括：

在本发明实施例中，在记录测试流程的过程中，从第一个待处理的界面开始，每个界面的界面类型，然后按照如下规则存放到一个界面类型集合中，具体地：如果待处理的界面的匹配结果如果能在界面类型集合中找到，是一个旧界面，则表示待处理的界面已经出现过，无需将待处理的界面的界面类型放入界面类型集合，如果待处理的界面的匹配结果如果不能在界面类型集合中找到，则表示待处理的界面还没出现过，是一个新界面，则需要将待处理的界面的界面类型放入界面类型集合。

举例来说，假设当前界面的界面类型为A1，界面类型集合中包括了A1和A2，由于当前界面的界面类型为A1能够在界面类型集合找到，故而当前界面判定为是一个旧界面。

需要说明的是，新界面和旧界面是针对某一次测试过程而言的，具体来说，旧界面指的是本次测试的当前时间点之前处理过的界面，新界面则是本次测试的当前时间点之前还未处理过的界面。

在本发明实施例中，在项目运行的过程中，判断当前待处理的界面是新界面还是旧界面，这样的判定过程有助于在游戏测试中准确地描述和记录测试流程，并可以在一定情况下复用之前碰到相同界面时的逻辑判断逻辑，从而可以加快测试效率。具体地，如果当前的界面是新界面后，则需要对该界面进行测试，如果当前的界面是旧界面后，那么界面可以是完全相同或者部分相同，即界面元素是完全相同部分相同，因此可以跳过很多界面元素检测流程，利用该在先界面中部分界面元素的测试结果，甚至直接利用该在先界面的测试结果，达到加快整体测试的效率的目的。

本发明实施例为了提升实际过程中的可操作性，针对上述界面识别方法设计有一个标记工具，基于标记工具可以将某个项目(例如游戏程序)一系列界面的截图进行标记和归类，例如可以对指定界面的特征图元进行截图、标记界面类型以及归类存储等等，提高处理效率。这样，每个游戏程序虽然都需要一定的标记量，但是通过标记工具一次标记过程非常短，且标记结果可以保存起来后续一直使用，实际过程中具备很高的可操作性。

具体来说，区域截图、存储、标记图元与界面的关系都融合在一个标记工具中，能够通过简单操作标记工具即可生成截图，并归类存储在对应文件夹中，同时生成JSON(JavaScript ObjectNotation，轻量级的数据交换格式)的文件表明图元特征与对应界面关系，此外，生成文件夹的操作也无需在操作系统中操作，直接在标记工具内部完成。可见，通过本发明实施例的标记工具，极大程度上简化标记流程，提升了标记效率。

为了使本领域技术人员更好地理解本发明实施例，下面采用具体示例说明游戏操作序列还原的过程。参照图2a，所示为本发明的一种生成图元模板特征的流程示意图，包括如下步骤：

步骤201a、获取指定界面；

步骤202a、从所述指定界面中截取特征图元；

步骤203a、将特征图元输入预先训练的网络模型中，得到图元模板特征；并记录指定界面的尺寸信息和特征图元在指定界面的图元位置。

参照图2b，所示为本发明的一种游戏操作序列还原的流程示意图，包括如下步骤：

步骤201b、调整待处理的界面的分辨率；

步骤202b、将调整后的界面输入网络模型，输出界面特征；

步骤203b、使用QATM算法结合各个图元模板特征，得到响应图；

步骤204b、查找响应图中每个的峰值，并记录每个峰值在待处理界面的匹配位置；

步骤205b、对峰值、匹配位置、图元位置，以及尺寸信息归一化处理，得到匹配分数；

步骤206b、从匹配分数中获取到最大的匹配分数；

步骤207b、判定最大的匹配分数是否大于预设阈值；如果最大的匹配分数大于预设阈值，则执行步骤208b，若否，则执行步骤209b；

步骤208b、将最大的匹配分数对应的图元模板特征的界面类型，作为界面的界面类型；

步骤209b、将待处理界面识别为未定义的界面类型；

步骤210b、判断在测试过程中，待处理界面的界面类型是否已出现；若是，则执行步骤211b，若否，则执行步骤212b；

步骤211b、将待处理的界面识别为旧界面；

步骤212b、将待处理的界面识别为新界面，将界面类型记录为已出现。

在本实施例中，在界面识别中利用特定界面截取的特征图元，结合神经网络来生成图元模板特征，用于对待处理的界面进行界面识别，提升了界面识别的准确率。并且，对于已经出现过的旧界面，可以直接利用之前处理该界面时的测试结果，达到加快整体测试的效率的目的。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图3，示出了本发明的一种界面识别装置实施例的结构框图，本发明实施例具体可以包括如下模块：

界面特征得到模块301，用于将待处理的界面输入预先训练的网络模型中，得到界面特征；

响应图计算模块302，用于采用所述界面特征与预先记录的图元模板特征计算响应图，所述图元模板特征具有对应的界面类型；

匹配分数得到模块303，用于依据所述响应图得到所述图元模板特征的匹配分数；

目标图元模板特征确定模块304，用于依据所述匹配分数，从所述图元模板特征中确定目标图元模板特征；

界面类型确定模块305，用于将所述界面的界面类型识别为所述目标图元模板特征对应的界面类型。

在本发明的一种优选实施例中，所述装置还包括：

在本发明的一种优选实施例中，所述界面特征得到模块301，用于获取所述图元模板特征的尺寸信息；按照所述尺寸信息调整待处理的界面的尺寸；将调整尺寸后的所述界面输入预先训练的网络模型中，得到界面特征。

在本发明的一种优选实施例中，所述匹配分数得到模块303，用于获取所述响应图的峰值在所述待处理的界面中的匹配位置；采用所述峰值、所述匹配位置、所述图元位置和所述尺寸信息，计算所述图元模板特征的匹配分数。

在本发明的一种优选实施例中，所述界面类型确定模块305，用于将所述匹配分数大于预设阈值且所述匹配分数最高的图元模板特征，作为目标图元模板特征。

在本发明的一种优选实施例中，所述装置还包括：相同界面识别模块，用于确定所述界面的界面类型与界面类型集合中的界面类型是否相同；当所述界面的界面类型与所述界面类型集合中的界面类型不相同时，将所述界面的界面类型存入所述界面类型集合中。

在本发明的一种优选实施例中，所述相同界面识别模块，还用于当所述界面的界面类型与所述界面类型集合中的界面类型相同时，获取与所述界面类型集合中的界面类型相同的在先界面对应的测试信息，对所述界面进行测试；所述测试信息包括所述在先界面的测试结果或者所述在先界面的中界面元素的测试结果。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例公开了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上界面识别方法实施例所述的步骤。

本发明实施例公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上界面识别方法实施例所述的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种界面识别方法、一种界面识别装置、电子设备和存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种界面识别方法，其特征在于，所述方法包括：

依据所述响应图得到所述图元模板特征的匹配分数；

2.根据权利要求1所述的方法，其特征在于，在所述将待处理的界面输入预先训练的网络模型中，得到界面特征之前，所述方法还包括：

从指定界面中截取的特征图元；

3.根据权利要求2所述的方法，其特征在于，所述将待处理的界面输入预先训练的网络模型中，得到界面特征，包括：

获取所述图元模板特征的尺寸信息；

按照所述尺寸信息调整待处理的界面的尺寸；

4.根据权利要求2所述的方法，其特征在于，所述依据所述响应图得到所述图元模板特征的匹配分数，包括：

获取所述响应图的峰值在所述待处理的界面中的匹配位置；

5.根据权利要求1所述的方法，其特征在于，所述依据所述匹配分数，从所述图元模板特征中确定目标图元模板特征，包括：

6.根据权利要求1所述的方法，其特征在于，在将所述界面的界面类型识别为所述目标图元模板特征对应的界面类型之后，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，在将所述界面的界面类型识别为所述目标图元模板特征对应的界面类型之后，所述方法还包括：

8.一种界面识别装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的界面识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的界面识别方法的步骤。