CN110457214A - 应用测试方法及装置、电子设备 - Google Patents

Abstract

本发明实施例公开了一种应用测试方法及装置、电子设备；本发明实施例在获取待测试应用的应用界面之后，基于计算机视觉技术对其进行识别得到应用界面对应的关键文本，然后根据关键文本查找应用界面对应的配置文件，并根据配置文件生成应用界面对应的操作指令，最后根据操作指令在应用界面对应的操作位置执行操作内容，完成应用的自动化测试；本发明通过获取待测试应用的应用界面，根据应用界面确定对应的操作指令，然后在应用界面对应的操作位置执行操作内容，例如自动点击开始游戏、自动输入应用账户等，实现了应用的自动化测试，解决了当前需要人工测试应用的问题，降低了应用测试成本，加快了应用测试速度。

Description

应用测试方法及装置、电子设备

技术领域

本发明涉及应用测试领域，具体涉及一种应用测试方法及装置、电子设备。

背景技术

目前市场上终端(例如PC机、智能终端)的机型种类非常之多，由于不同机型使用的硬件和软件都不一样，所以游戏等应用在开发过程中以及上市之前都需要在主流机型上进行兼容性测试，以验证其能否正常运行。

传统测试方法是测试人员人工在不同的终端上操作游戏，这种测试方式耗费人力和时间。

发明内容

本发明实施例提供一种应用测试方法及装置、电子设备，以实现应用的自动化测试。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例提供一种应用测试方法，其包括：

获取待测试应用的应用界面；

对所述应用界面进行识别处理，得到所述应用界面对应的关键文本；

根据所述关键文本，查找所述应用界面对应的配置文件；

根据所述配置文件，生成所述应用界面对应的操作指令，所述操作指令包括操作位置以及操作内容；

根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容。

在本发明一种实施例中，所述获取待测试应用的应用界面的步骤包括：

接收测试终端发送的操作请求；

解析所述操作请求，得到所述应用界面。

在本发明一种实施例中，所述根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容的步骤，包括：

向所述测试终端发送的操作响应，所述操作响应携带所述操作指令，用于指示所述测试终端在所述应用界面对应的操作位置执行所述操作内容。

在本发明一种实施例中，还包括：

提取所述操作请求携带的界面标识；

构建所述操作响应，所述操作响应包括所述界面标识以及所述操作指令。

在本发明一种实施例中，还包括：

获取所述应用界面对应的测试状态；

在所述测试状态表征所述待测试应用处于界面测试时，执行对所述应用界面进行识别处理，得到所述应用界面对应的关键文本的步骤。

在本发明一种实施例中，还包括：

根据所述配置文件，确定所述应用界面的界面状态；所述界面状态用于表征所述应用界面是否为界面测试的结束界面；

在所述应用界面不为界面测试的结束界面时，继续执行获取待测试应用的应用界面的步骤。

本发明实施例提供一种应用测试装置，其包括：

应用界面获取模块，用于获取待测试应用的应用界面；

关键文本提取模块，用于对所述应用界面进行识别处理，得到所述应用界面对应的关键文本；

配置文件查找模块，用于根据所述关键文本，查找所述应用界面对应的配置文件；

操作指令生成模块，用于根据所述配置文件，生成所述应用界面对应的操作指令，所述操作指令包括操作位置以及操作内容；

应用界面操作模块，用于根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容。

在本发明一种实施例中，所述配置文件查找模块包括：

获取子模块，用于获取至少一个配置文件，所述配置文件包括对象文本、操作位置以及操作内容；

匹配子模块，用于将所述关键文本与对象文本匹配，得到相似度满足阈值的目标对象文本；

查找子模块，用于将包含所述目标对象文本的配置文件，作为所述应用界面对应的配置文件。

在本发明一种实施例中，所述匹配子模块用于：获取所述关键文本与各对象文本的文本相似度；将文本相似度大于阈值的对象文本，作为所述目标对象文本。

在本发明一种实施例中，所述匹配子模块用于：获取所述关键文本的语义特征向量；将所述关键文本的语义特征向量，与各对象文本的语义特征向量进行匹配，得到所述关键文本与各对象文本的语义相似度；将语义相似度大于阈值的对象文本，作为所述目标对象文本。

在本发明一种实施例中，所述应用测试装置还包括：

匹配模板获取模块，用于若没有得到所述目标对象文本，则调用至少一个匹配模板，所述匹配模板包括对象图片、操作位置以及操作内容；

匹配模板匹配模块，用于将所述应用界面与对象图片匹配，得到相似度满足阈值的目标对象图片；将包含所述目标对象图片的匹配模板，作为所述应用界面对应的匹配模板；

所述操作指令生成模块还用于根据所述应用界面对应的匹配模板，生成所述应用界面对应的操作指令。

在本发明一种实施例中，所述关键文本提取模块用于执行：对所述应用界面内的文本内容进行文本识别，得到文本内容识别结果；对所述文本内容识别结果进行关键词提取，得到所述应用界面对应的关键文本。

在本发明一种实施例中，所述关键文本提取模块用于执行：对所述应用界面的图片信息进行理解识别，得到图片信息识别结果；对所述图片信息识别结果进行关键词提取，得到所述应用界面对应的关键文本。

在本发明一种实施例中，所述应用界面获取模块用于执行：接收测试终端发送的操作请求；解析所述操作请求，得到所述应用界面。

在本发明一种实施例中，所述应用界面操作模块用于执行：向所述测试终端发送的操作响应，所述操作响应携带所述操作指令，用于指示所述测试终端在所述应用界面对应的操作位置执行所述操作内容。

在本发明一种实施例中，所述应用界面操作模块用于执行：提取所述操作请求携带的界面标识；构建所述操作响应，所述操作响应包括所述界面标识以及所述操作指令。

在本发明一种实施例中，所述应用界面获取模块用于执行：获取所述应用界面对应的测试状态；在所述测试状态表征所述待测试应用处于界面测试时，触发所述关键文本提取模块。

在本发明一种实施例中，所述应用界面操作模块用于执行：根据所述配置文件，确定所述应用界面的界面状态；所述界面状态用于表征所述应用界面是否为界面测试的结束界面；在所述应用界面不为界面测试的结束界面时，触发所述应用界面获取模块。

在本发明一种实施例中，所述操作指令生成模块用于执行：对所述应用界面内的图片内容进行识别；根据所述图片限制参数、以及图片内容识别结果，生成所述应用界面对应的操作指令。

本发明实施例提供一种电子设备，其包括处理器和存储器，所述存储器存储有多条指令，所述指令适于处理器进行加载，以执行上述应用测试方法中的步骤。

本发明实施例提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行上述应用测试方法中的步骤。

本发明实施例提供了一种新的应用测试方法、装置及电子设备，该方法在获取待测试应用的应用界面之后，基于计算机视觉技术对其进行识别得到应用界面对应的关键文本，然后根据关键文本查找应用界面对应的配置文件，并根据配置文件生成应用界面对应的操作指令，最后根据操作指令在应用界面对应的操作位置执行操作内容，完成应用的自动化测试；本发明通过获取待测试应用的应用界面，根据应用界面确定对应的操作指令，然后在应用界面对应的操作位置执行操作内容，例如自动点击开始游戏、自动输入应用账户等，实现了应用的自动化测试，解决了当前需要人工测试应用的问题，降低了应用测试成本，加快了应用测试速度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的应用测试系统的组网示意图；

图2是本发明实施例提供的应用测试方法的第一种流程示意图；

图3是本发明实施例提供的应用测试方法的第二种流程示意图；

图4是本发明实施例提供的应用测试方法的第三种流程示意图；

图5是本发明实施例提供的应用测试系统的网络层示意图；

图6是本发明实施例提供的应用测试方法的第四种流程示意图；

图7是本发明实施例提供的应用测试装置的结构示意图；

图8是本发明实施例提供的终端的结构示意图；

图9是本发明实施例提供的服务器的结构示意图；

图10至图25是本发明实施例提供的界面或设置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于下文描述，现将本发明涉及到的术语进行说明。

在本发明实施例中，待测试应用是指需要测试的应用，可以是通讯应用、支付应用、游戏应用等各种应用；应用终端是指安装有待测试应用的实体或者虚拟终端设备，而测试终端是指具备应用测试方法的全部或者部分功能的终端，应用测试方法的全部或者部分功能可以通过测试应用的方式实现。

兼容性测试:由于市场上终端的种类非常之多，以安装有安卓操作系统的智能手机为例，其机型多达上千款，由于不同机型使用的硬件和软件都不一样，所以应用在开发过程中以及上市之前都需要在主流机型上进行兼容性测试，以验证其能否正常运行，这便是兼容性测试。

待测试应用在使用时，其应用状态包括进入应用的界面阶段、以及使用应用的功能阶段；界面阶段由多个顺序执行的界面组成，例如注册界面、协议界面、游戏区选择界面、队友选择界面、对手选择界面、开始应用界面等等；功能阶段是指实现支付功能、游戏功能、通讯功能等应用功能的阶段。

在本发明实施例中，针对应用的自动化测试，将测试状态分为界面测试和功能测试两个状态，界面测试与界面阶段对应，功能测试与功能阶段对应。

在本发明实施例中，界面测试通过UI(User Interface，使用者界面，即本发明中的应用界面)测试功能实现，主要确定UI对应的操作位置(如某个图片、某个文本框等)和对应的操作内容(包括点击一次、输入某个账户等)，并基于操作位置，在UI对应位置，执行对应的操作内容，该UI测试功能将在下文进行详细描述；功能测试基于AI(ArtificialIntelligence，人工智能)实现，用于模拟用户的应用操作，例如使用支付功能进行支付、使用游戏功能进行娱乐等。

在本发明实施例中，配置文件是指基于关键文本匹配操作指令的文件，针对不同的关键文本可以配置不同的配置文件，配置文件至少包括对象文本、操作位置以及操作内容。针对一些简单的UI，例如需要文本输入的UI，仅根据一些关键文本(如手机号、邮箱、账号等)就可以确定该UI需要输入文本，此时，为这些关键文本配置的配置文件可以仅包括对象文本(如手机号、邮箱、账号等)、操作位置(如文本框输入位置等)和操作内容(将“123456”字段输入)等；针对一些复杂的UI，例如需要选择好友或者对手的UI，这些UI同时包括了选择好友图标、选择对手图标、开始游戏图标等，此类UI需要先完成好友和对手的选择，然后才能点击开始游戏图标，若直接点击开始游戏图标会出现无反应等现象，此时，为这些关键文本配置的配置文件可以包括对象文本(如开始游戏等)、图片限制参数(是否包括选择好友图标、选择对手图标等)、操作位置(如选择好友图标、选择对手图标、开始游戏图标等)和操作内容(单次点击)等。

在本发明实施例中，提供了匹配模板来处理一些利用配置文件无法处理的UI，匹配模板可以包括对象图片、操作位置以及操作内容，这样针对一些无法利用关键文本匹配的UI，可以利用匹配模板确定对应的操作指令。

通过配置文件来计算UI对应的操作指令的方式会存在两个情况无法处理：

情况1：在游戏UI中，可能会有一些弹框，这些弹框是不定时出现的，事先并不清楚弹框包含的代表性的文本，所以通过配置文件的方式就无法起作用了；此时，当使用配置文件确定UI的点击位置失效后，可以直接将UI与对象图片进行匹配，进而确定操作位置为页面关闭图标，操作内容为单次点击，这样就可以跳过该UI；

情况2：当将UI部分的操作和游戏AI结合使用，就可能出现游戏AI的操作导致游戏的画面跳到了在规则文件中不包含的画面，这种情况采用配置文件的方式也无法起作用；此时，当使用配置文件确定UI的点击位置失效后，就可以通过与匹配模板的对象图片进行匹配，确定操作位置为返回大厅图标，操作内容为单次点击，这样就可返回到大厅，之后也就可以回到使用配置文件所能处理的UI了。

请参阅图1，图1为本发明实施例所提供的应用测试系统的场景示意图，该系统可以包括用户侧设备以及服务侧设备，用户侧设备与服务侧设备通过各种网关组成的互联网等方式连接，不再赘述，其中，用户侧设备包括多个终端11，服务侧设备包括多个服务器12；其中：

终端11包括但不局限于手机、平板等设置有即时通讯应用的便携终端，电脑、查询机、广告机等固定终端，以及用于测试应用的虚拟终端等，例如，终端11包括安装有聊天应用、游戏应用等待测试应用的手机等应用终端，安装有测试应用的手机等测试终端，以及开发者所使用的开发者终端；测试应用具备本发明提供的应用测试方法的全部或者部分功能，应用终端和测试终端可以为同一终端；开发者终端向运维人员等开发者提供各种配置窗口，可以与应用终端和测试终端为同一终端；

服务器12包括本地服务器和/或远程服务器等，为应用测试提供各种数据支持服务、界面解析服务等功能，具备本发明提供的应用测试方法的全部或者部分功能；当服务器12为本地服务器、且具备本发明提供的应用测试方法的全部功能时，就是前文中的测试终端；当服务器12为远程服务器、且具备本发明提供的应用测试方法的全部功能时，就是下文描述中的测试服务器，此时终端11侧包括测试终端。

在本发明实施例中，应用终端下载并安装需要测试的待测试应用，然后自动运行待测试应用，使得待测试应用进入界面阶段，显示应用界面；测试终端或者服务器在获取待测试应用的应用界面之后，对其进行识别得到应用界面对应的关键文本，然后根据关键文本查找应用界面对应的配置文件，并根据配置文件生成应用界面对应的操作指令，最后根据操作指令在应用界面对应的操作位置执行操作内容，完成应用的自动化测试。

由于本发明通过获取待测试应用的应用界面，并基于计算机视觉技术根据应用界面确定对应的操作指令，然后在应用界面对应的操作位置执行操作内容，例如自动点击开始游戏、自动输入应用账户等，实现了应用的自动化测试，解决了当前需要人工测试应用的问题，降低了应用测试成本，加快了应用测试速度。

同时，由于本发明是基于计算机视觉技术对应用界面进行识别处理进而实现应用自动化测试的，不需要调用应用界面对应的界面图标，而也不需要获取界面图标在应用界面所对应的节点树内的节点标识等，这样就不需要测试功能使用专用的数据接口，无需软件应用本身提供任何额外接口，提高了应用自动化测试的应用范围。

计算机视觉技术(Computer Vision,CV)，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

需要说明的是，图1所示的系统场景示意图仅仅是一个示例，本发明实施例描述的服务器以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

以下针对本发明提供的应用测试方法进行详细说明。

图2是本发明实施例提供的应用测试方法的第一种流程示意图，请参阅图2，该应用测试方法包括以下步骤：

S201：获取待测试应用的应用界面。

在一种实施例中，当本步骤的执行主体为终端侧的终端设备时，本步骤包括：应用终端通过minicap技术等技术，从应用终端获取待测试应用当前显示的应用界面；或者测试终端通过摄像头捕捉应用终端所显示的待测试应用显示的应用界面。

在一种实施例中，当本步骤的执行主体为服务器侧的测试服务器时，本步骤包括：接收测试终端发送的操作请求；解析所述操作请求，得到所述应用界面。

S202：对所述应用界面进行识别处理，得到所述应用界面对应的关键文本。

在一种实施例中，本步骤包括：在获取到应用界面之后，对应用界面进行初步识别，判断该应用界面是否包含文本；

当应用界面内包含文本时，使用OCR(Optical Character Recognition，光学字符识别)等文本识别技术，对所述应用界面内的文本内容进行文本识别，得到文本内容识别结果；对所述文本内容识别结果进行关键词提取，得到所述应用界面对应的关键文本；

或者，当应用界面内不包含文本、或者无法提取到关键文本时，使用基于视觉的技术，对所述应用界面的图片信息进行理解识别，得到图片信息识别结果；对所述图片信息识别结果进行关键词提取，得到所述应用界面对应的关键文本；

或者，当应用界面内包含文本时，使用OCR等文本识别技术，对所述应用界面内的文本内容进行文本识别，得到文本内容识别结果，使用基于视觉的技术，对所述应用界面的图片信息进行理解识别，得到图片信息识别结果；对所述文本内容识别结果和图片信息识别结果进行关键词提取，得到所述应用界面对应的关键文本。

在一种实施例中，初步识别可以基于OCR技术实现；关键词提取是基于开发者设置的关键文本，例如手机号、邮箱、账号、开始游戏等关键文本，判断UI对应的文本内容识别结果或者图片信息识别结果是否存在这些关键文本，若存在，则将其作为关键文本。

S203：根据所述关键文本，查找所述应用界面对应的配置文件。

在一种实施例中，本步骤包括：获取至少一个配置文件，所述配置文件包括对象文本、操作位置以及操作内容；将所述关键文本与对象文本匹配，得到相似度满足阈值的目标对象文本；若得到所述目标对象文本，将包含所述目标对象文本的配置文件，作为所述应用界面对应的配置文件，若没有得到所述目标对象文本，则执行步骤S205。

在一种实施例中，阈值可以为相似度大于80％等数值范围。

在一种实施例中，将所述关键文本与对象文本匹配，得到相似度满足阈值的目标对象文本的方式可以是多种多样的；例如，该步骤包括：获取所述关键文本与各对象文本的文本相似度；将文本相似度大于阈值的对象文本，作为所述目标对象文本；又如，该步骤包括：获取所述关键文本的语义特征向量；将所述关键文本的语义特征向量，与各对象文本的语义特征向量进行匹配，得到所述关键文本与各对象文本的语义相似度；将语义相似度大于阈值的对象文本，作为所述目标对象文本。

文本相似度是指两个文本(例如短文本)存在相同单词(包括单词内容和单词位置)的占比，例如关键文本为“开始游戏吧”，而对象文本为“开始游戏”，那么关键文本包含对象文本，此时文本相似度为100％，又如关键文本为“退出游戏”，而对象文本为“开始游戏”，那么关键文本与对象文本仅包含相同的单词“游戏”，此时文本相似度为50％。

语义特征向量可以通过训练后的机器学习模型得到，获得并根据关键文本与各对象文本的语义相似度，确定目标对象文本可以使得判断结果更准确。

S204：根据所述配置文件，生成所述应用界面对应的操作指令。

在一种实施例中，所述操作指令包括操作位置以及操作内容。

在一种实施例中，针对一些简单的UI，例如需要文本输入的UI，或者仅存在点击开始应用图标的UI，本步骤包括：将所述配置文件的操作位置，作为所述操作指令的操作位置，将所述配置文件的操作内容，作为所述操作指令的操作内容。

在一种实施例中，针对一些复杂的UI，例如需要选择好友或者对手的UI，本步骤包括：对所述应用界面内的图片内容进行识别；根据所述图片限制参数、以及图片内容识别结果，生成所述应用界面对应的操作指令；本实施例将在下文进行详细描述。

S205：查找所述应用界面对应的匹配模板，并生成所述应用界面对应的操作指令。

在一种实施例中，本步骤包括：调用至少一个匹配模板，所述匹配模板包括对象图片、操作位置以及操作内容。将所述应用界面与对象图片匹配，得到相似度满足阈值的目标对象图片。将包含所述目标对象图片的匹配模板，作为所述应用界面对应的匹配模板。根据所述应用界面对应的匹配模板，生成所述应用界面对应的操作指令。

应用界面是图片的一种，与对象图片进行相似度计算时，可以包括以下步骤：

提取应用界面和对象图片的全局信息，以及应用界面和对象图片的重点信息；

将应用界面和对象图片的全局信息进行比对确定第一相似度；

若第一相似度大于第一阈值，如80％，则应用界面和对象图片的重点信息进行比对确定第二相似度；

若第二相似度大于第二阈值，如80％，则应用界面和对象图片的相似度满足阈值。

图片的全局信息例如为图片颜色、尺寸大小等整体粗略信息。重点信息例如为局部文字字体、文字大小等细节信息。

S206：根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容。

在一种实施例中，当本步骤的执行主体为终端侧的终端设备时，本步骤包括：应用终端通过adb以及minitouch技术等技术，根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容，例如模拟生成UI内某个图标(操作位置对应的图片)被点击时所产生的电信号，然后发送到处理器；或者测试终端通过机械手点击UI内对应的图标，以模拟该图标被用户点击。

在一种实施例中，当本步骤的执行主体为服务器侧的测试服务器时，本步骤包括：向所述测试终端发送的操作响应，所述操作响应携带所述操作指令，用于指示所述测试终端在所述应用界面对应的操作位置执行所述操作内容。

在一种实施例中，若UI对应的关键文本为多个，例如包括“手机号”和“开始游戏”两个关键文本，且均能匹配到对应的配置文件，则需要根据各关键文本对应的执行顺序，生成操作命令，例如生成的操作命令为：先在文本输入框输入123456，然后单次点击开始游戏图标。

本实施例提供了一种应用测试方法，该方法通过获取待测试应用的应用界面，根据应用界面确定对应的操作指令，然后在应用界面对应的操作位置执行操作内容，例如自动点击开始游戏、自动输入应用账户等，实现了应用的自动化测试。

图3是本发明实施例提供的应用测试方法的第二种流程示意图，本实施例针对如何基于UI得到对应的操作指令进行详细描述；请参阅图3，该应用测试方法包括以下步骤：

S301：生成配置文件。

本步骤需要用简单的文字描述来制定UI流程，具体描述方式可灵活实现，可以包括：需匹配的文字(即上文中的对象文本等)、文本匹配资源限制、图片匹配资源限制(即上文中的图片限制参数)、操作位置配置(即上文中的操作位置)、需要实施的操作(即上文中的操作内容)及游戏状态的配置等。

以互动式手机游戏为例，对本发明提供的配置文件进行描述，其他固定电脑上的游戏或者其他应用与此类似。

如图13所示，当UI部分需要自动输入账号或密码等文本时，对应的配置文件配置的方式可如图10所示，包括：

{对象文本：“手机号/邮箱”；

动作action：文本输入input_text；

匹配模式matchType：部分匹配part；

数值data：123456。}

图10所示的配置文件表示需要输入文本的UI的配置，在UI中采用部分匹配的方式来识别当前UI中是否包含“手机号”、“邮箱”文字，如果包含则将data字段的值作为账号，生成操作指令(操作位置为文本输入框，操作内容为输入123456)。其他带有文本输入的UI对应的配置文件都可以采取这种方式进行配置。

如图14所示，当某关键文本仅在一个UI内出现，即关键文本对应一个UI时，对应的配置文件配置的方式可如图11所示，包括：

{对象文本：“退出游戏/结束游戏”；

动作action：单次点击single_tap；

匹配模式matchType：全部匹配full；

操作位置usePosition：退出游戏/结束游戏。}

图11所示的配置文件表示需要退出游戏或者结束游戏的UI的配置，在UI中采用全部匹配的方式，使采用OCR等技术识别UI中的文字，然后采取文本相似度的方式来计算UI中的文字是否包含““退出游戏”、“结束游戏”等关键字文字，如果包含则生成操作指令(操作位置为退出游戏/结束游戏对应的位置，操作内容为单次点击)。其他关键文本对应一个UI对应的配置文件都可以采取这种方式进行配置。

如图15至图18所示，当某关键文本仅在至少两个UI内出现，即关键文本对应至少两个UI时，从图15至图18所示的四张图片可以看出，图片中的关键词都是“开始游戏”，但是点击的位置并不是一样“开始游戏”的中心位置，图15所示的UI在识别到“开始游戏”后，只需要点击该位置即可，图16所示的UI在识别到“开始游戏”后，应该点击右侧添加好友(电脑)的图标以添加好友，图17所示UI的“开始游戏”虽然背景变亮(不同填充背景表示不同的亮度)，但是还是需要继续添加对手(电脑)，也就是点击右侧添加对手的图标，图18所示UI直接点击“开始游戏”位置即可；针对此类UI，对应的配置文件配置的方式可如图12所示，包括：

[对象文本：“开始游戏”；

{动作action：单次点击single_tap；

匹配模式matchType：全部匹配full；

必要图标withImage：Select 01.jpg|Select 02.jpg；

不能出现图标withoutImage：；

操作位置usePosition：Select 01.jpg|Select 02.jpg；}

{动作action：单次点击single_tap；

匹配模式matchType：全部匹配full；

必要图标withImage：StarGame 01.jpg；

不能出现图标withoutImage：Select 01.jpg|Select 02.jpg；

操作位置usePosition：StarGame 01.jpg；}

{动作action：单次点击single_tap；

匹配模式matchType：全部匹配full；

必要图标withImage：；

不能出现图标withoutImage：StarGame 02.jpg；

必要文本withText：；

不能出现文本withoutText：；

操作位置usePosition：；

界面状态state：0}]

在图12所示的配置文件中，相邻{}之间的内容为一个子规则，图12所示的配置文件按照先后顺序依次包括第一个子规则、第二个子规则以及第三个子规则；其中，Select01.jpg是UI中添加电脑好友的图标，Select 02.jpg是UI中添加电脑对方的图标，StarGame01.jpg和StarGame 02.jpg是UI中两者不同的“开始游戏”图标，withImage表示当前UI中需要出现相应的图标资源，支持多个资源的判断；withoutImage表示UI不能出现的图标资源；withText表示UI中需要相应的关键文本，支持多个资源的判断；withoutText表示UI中不能出现相应的关键文本；usePosition表示需要点击的位置，点击位置可以是文本，也可以是图标资源，但最好只能有一个，若该项不为空，则使用该项资源所在的位置作为点击的位置，若该项为空，则使用最开始识别到的关键文本位置，比如使用文本“开始游戏”的所在的中心位置。state标识用来表示游戏的状态，默认值为0，表示当前UI为UI状态中的非最后一个UI，当值为1时，表示当前UI为UI状态中的最后一个UI，说明即将进入到玩游戏状态，state标识可以有效的在UI和AI状态进行切换。

S302：生成匹配模板。

本步骤需要使用简单的图片，为一些配置文件不能匹配的UI生成匹配模板，匹配模板包括对象图片、操作位置以及操作内容。例如为广告界面生成如图19所示的广告匹配模板，为返回游戏大厅界面生成如图20所示的大厅匹配模板等。

S303：获取UI。

终端或者服务器通过对应的方式获取待测试应用的UI。

S304：识别UI得到对应的关键文本。

本步骤通过OCR等技术对UI进行文本识别，得到UI对应的关键文本。

S305：使用关键文本在配置文件内进行匹配。

基于文本相似度等算法，判断是否存在与关键文本的相似度大于阈值的对象文本。

S306：判断是否成功匹配到配置文件。

若存在与关键文本的相似度大于阈值的对象文本，则匹配成功，执行步骤S307，若匹配失败，执行步骤S310。

S307：使用配置文件对UI进行分析。

使用配置文件对UI内的图标、文本进行分析判断。

S308：判断UI是否满足配置文件。

判断UI内的图标、文本是否满足配置文件，若满足则执行步骤S309，若不满足，执行步骤S310。

S309：获取操作位置以及操作内容。

根据UI内的图标、文本所满足的配置文件，确定操作位置以及操作内容。

S310：进行匹配模板的匹配。

将UI与匹配模板内的对象图片进行匹配。

S311：判断是否UI成功匹配到匹配模板。

若存在与UI的相似度大于阈值的对象图片，则匹配成功，执行步骤S312，若匹配失败，则结束。

S312：获取操作位置以及操作内容。

根据匹配到的匹配模板，确定操作位置以及操作内容。

S313：生成操作指令。

根据操作位置以及操作内容，生成操作指令。

例如，针对图13所示的UI，通过OCR识别得到关键文本为“邮箱”，匹配到的配置文件如图10所示，此时，根据配置文件生成的操作指令为：在文本输入框内输入“123456”。

例如，针对图14所示的UI，通过OCR识别得到关键文本为“退出游戏”，匹配到的配置文件如图11所示，此时，根据配置文件生成的操作指令为：单次点击退出游戏图标。

例如，针对图15所示的UI，通过OCR识别得到关键文本为“开始游戏”，匹配到的配置文件如图12所示，此时，该配置文件包括图片限制参数(是否包括Select 01.jpg、Select02.jpg、StarGame 01.jpg以及StarGame 02.jpg等)，对UI和某待确定图标(Select01.jpg、Select 02.jpg、StarGame 01.jpg以及StarGame 02.jpg等)进行处理使得UI和该待确定图标的分辨率相同，然后以该待确定图标为模板，在UI中进行逐区域匹配，确定相似度最大的区域，然后判断该区域与该待确定图标的相似度是否大于阈值(例如80％)，若大于阈值，则该UI中包含该待确定图标，否则该UI中没有包含该待确定图标；此时，针对图15所示的UI，图片内容识别结果为UI没有包含Select 01.jpg、Select 02.jpg、StarGame01.jpg以及StarGame 02.jpg这4个图标，那么根据图片限制参数以及图片内容识别结果，满足第三个子规则，生成的操作指令为：单次点击开始游戏图标。

例如，针对图16所示的UI，通过OCR识别得到关键文本为“开始游戏”，匹配到的配置文件如图12所示，此时，该配置文件包括图片限制参数，针对图16所示的UI，图片内容识别结果为UI包含Select 01.jpg、Select 02.jpg这2个图标，那么根据图片限制参数以及图片内容识别结果，满足第一个子规则，生成的操作指令为：单次点击选择队友图标(即Select 01.jpg)。

例如，针对图17所示的UI，通过OCR识别得到关键文本为“开始游戏”，匹配到的配置文件如图12所示，此时，该配置文件包括图片限制参数，针对图17所示的UI，图片内容识别结果为UI包含Select 01.jpg、Select 02.jpg这2个图标，那么根据图片限制参数以及图片内容识别结果，满足第一个子规则，生成的操作指令为：单次点击选择对方图标(即Select 02.jpg)。

例如，针对图18所示的UI，通过OCR识别得到的关键文本为“开始游戏”，匹配到的配置文件如图12所示，此时，该配置文件包括图片限制参数，针对图18所示的UI，图片内容识别结果为UI不包含Select 01.jpg、Select 02.jpg这2个图标、包括StarGame 01.jpg这个图标，那么根据图片限制参数以及图片内容识别结果，满足第二个子规则，生成的操作指令为：单次点击开始游戏图标(即StarGame 01.jpg)。

例如，针对图21所示的UI，通过OCR识别得到关键文本为“充值优惠”，没有匹配到对应的配置文件，需要进行模板匹配，此时，将该UI与各匹配模板进行处理使得UI和各匹配模板的分辨率相同，然后以某匹配模板为模板，在UI中进行逐区域匹配，确定相似度最大的区域，然后判断该区域与该匹配模板的相似度是否大于阈值(例如80％，一般匹配的是UI的大小与匹配模板的大小、边框图案等)，若大于阈值，则该UI与该匹配模板满足条件，否则该UI与该匹配模板不满足条件；在本实施例中，针对图21所示的UI，匹配到如图19所示的匹配模板，生成的操作指令为：单次点击关闭图标；这样就可以关闭充值推广界面。

例如，针对图22所示的UI，通过OCR识别得到的关键文本为“开始游戏”，匹配到的配置文件如图12所示，此时，该配置文件包括图片限制参数，针对图22所示的UI，图片内容识别结果为UI包含StarGame 02.jpg，不满足配置文件内的所有的子规则，进而需要进行模板匹配，匹配到如图19所示的匹配模板，生成的操作指令为：单次点击关闭图标；这样就可以关闭游戏推广界面。

例如，针对图23所示的UI，通过OCR识别得到关键文本为“邮件”，没有匹配到对应的配置文件，然后进行模板匹配，匹配到如图20所示的匹配模板，生成的操作指令为：单次点击返回图标；这样就可以返回游戏大厅界面。

本实施例直接通过游戏画面来识别UI的状态，无需软件应用本身提供任何额外接口；通过匹配模板的设置，解决了突发弹窗的问题；同时针对复杂的UI，引入多个判断条件，例如根据UI状态中其他细节，确定了操作指令，使得自动化测试更准确。

图4是本发明实施例提供的应用测试方法的第三种流程示意图，本实施例的方法由测试终端实现；请参阅图4，该应用测试方法包括以下步骤：

S401：应用终端下载安装并运行待测试应用。

例如，应用终端下载安装并运行游戏应用。

S402：测试终端采集待测试应用的UI。

例如，测试终端使用摄像头周期性的采集游戏应用的UI，UI如图13所示。

S403：测试终端对所述应用界面进行识别处理，得到所述应用界面对应的关键文本。

例如，测试终端使用OCR等技术对所述应用界面内的文本内容进行文本识别，得到文本内容识别结果，对所述文本内容识别结果进行关键词提取，得到所述应用界面对应的关键文本“邮箱”。

S404：测试终端根据所述关键文本，查找所述应用界面对应的配置文件。

例如，测试终端获取所述关键文本与各对象文本的文本相似度；将文本相似度大于阈值的对象文本，作为所述目标对象文本“手机号/邮箱”，将包含所述目标对象文本的、如图10所示的配置文件，作为所述应用界面对应的配置文件。

S405：测试终端根据所述配置文件，生成所述应用界面对应的操作指令。

例如，测试终端根据如图10所示的配置文件，生成的操作指令为：在文本输入框输入123456。

S406：测试终端根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容。

例如，测试终端控制机械手，在应用终端UI的文本输入框内输入123456，完成操作指令。

S407：应用终端验证邮箱并显示下一UI。

图5是本发明实施例提供的应用测试系统的网络层示意图，以游戏测试为例，请参阅图5，该应用测试系统包括：

游戏交互层，测试终端从终端获取游戏的UI，并且将服务器层基于UI自动化算法处理得到的操作作用到手机端。测试终端的主要功能是与实体设备或模拟器等外设进行交互，对Android设备而言，采用adb与Android设备建立连接，然后利用minicap技术从手机端获取游戏的画面，当需要将测试服务器处理得到的操作(包括输入账号密码和点击等操作)作用到手机上时，可采用minitouch工具实现；针对IOS设备，可以采用Xcode工具来获取UI并对其进行操作。

网络通讯层，是终端与服务器的连接桥梁，网络通讯层的引入，大大的提高了UI服务的通用性、减少了维护成本、提升了用户体验。利用网络通讯将UI算法层与游戏交互层分开，一方面可以方便UI算法优化人员，优化人员自己维护UI自动化算法，优化过程对手机端的使用用户是透明的，这样可以有效的减少与手机端使用用户的沟通成本，一方面手机端使用用户也不需要频繁在本地更新UI自动化算法，这大大提高了用户的体验。由于TCP能保证数据传输的可靠性并且其传输速度要好于http方式，所以本发明采用了tcp的方式来进行通讯。传输的内容如图24所示，其中，标识Img_id是UI的编号，这样方便追踪每个UI对应的操作，数据img_data是传输的UI数据，具体的传输方式由图片传输方式send_type决定，图片传输方式send_type支持两种：原始图片对象传输和图片二进制流传输，采用二进制流传输可以大大减少传输的数据量，提高传输速率，游戏状态game_status是当前游戏的状态，方便在测试服务器在游戏UI测试状态及AI测试状态之间切换。

UI算法层，测试服务器接收终端通过网络传输过来的UI，并对UI采用OCR、模板匹配等技术进行处理，得到当前UI需要进行的操作，并通过网络通讯将操作返回给终端，同时为了能够与游戏的正式游戏状态进行完美切换，测试服务器会识别并追踪游戏的状态，并将游戏状态返回给手机端，这样就可以自动开始下一局游戏。

在一种实施例中，本发明采用OCR技术来识别UI中的文本文字。在匹配文本文字时采用短文本相似度算法，如基于Jaro-Winkler、基于Levenshtein的相似度算法，还可以用NLP自然语言处理或其它分词等技术来完成文字的理解匹配。

图6是本发明实施例提供的应用测试方法的第四种流程示意图，本实施例的方法由测试终端和测试服务器配合实现；请参阅图6，该应用测试方法包括以下步骤：

S601-S602：开发者终端生成配置文件，并上传到测试服务器。

开发者终端11a根据开发者的操作，生成如图10至图12所示的配置文件，并上传到测试服务器12。

S603-S604：开发者终端生成匹配模板，并上传到测试服务器。

开发者终端11a根据开发者的操作，生成如图19至图20所示的匹配模板，并上传到测试服务器12。

步骤S601-S604的实现方式可以参考图2所示实施例的实现方式。

S605：应用终端11b下载安装并运行待测试应用。

例如，应用终端11b下载安装并运行游戏应用。

S606：测试终端11c采集待测试应用的UI。

例如，测试终端11c使用摄像头周期性的采集游戏应用的UI，UI如图13所示。

或者测试终端11c在检测到当前UI与前一次采集的UI相比，发生变化时，采集当前UI。

S607-S608：测试终端11c上传UI数据到测试服务器12。

测试终端11c采用如图24所示的数据格式，构建操作请求，并通过操作请求将UI数据上传到测试服务器12。

S609：测试服务器12获取UI。

测试服务器12接收到测试终端11c发送的操作请求后，解析所述操作请求，得到所述应用界面UI。

测试服务器12还解析所述操作请求，获取所述应用界面对应的测试状态；在所述测试状态表征所述待测试应用处于界面测试时，执行步骤S610；在所述测试状态表征所述待测试应用处于功能测试时，执行AI测试步骤。

S610：测试服务器12对所述应用界面进行识别处理，得到所述应用界面对应的关键文本。

例如，测试服务器12使用OCR等技术对所述应用界面内的文本内容进行文本识别，得到文本内容识别结果，对所述文本内容识别结果进行关键词提取，得到所述应用界面对应的关键文本“邮箱”。

S611：测试服务器12根据所述关键文本，查找所述应用界面对应的配置文件。

例如，测试服务器12获取所述关键文本与各对象文本的文本相似度；将文本相似度大于阈值的对象文本，作为所述目标对象文本“手机号/邮箱”，将包含所述目标对象文本的、如图10所示的配置文件，作为所述应用界面对应的配置文件。

S612-S613：测试服务器12根据所述配置文件，生成所述应用界面对应的操作指令，并发送至测试终端11c。

例如，测试服务器12根据如图10所示的配置文件，生成的操作指令为：在文本输入框输入123456。然后提取所述操作请求携带的界面标识，构建如图25所示的操作响应，所述操作响应包括所述界面标识以及所述操作指令。最后向所述测试终端发送的操作响应，所述操作响应携带所述操作指令，用于指示所述测试终端在所述应用界面对应的操作位置执行所述操作内容。

测试服务器12根据所述配置文件，确定所述应用界面的界面状态；所述界面状态用于表征所述应用界面是否为界面测试的结束界面；在所述应用界面不为界面测试的结束界面时，执行获取待测试应用的应用界面的步骤；在所述应用界面为界面测试的结束界面时，执行AI测试步骤。

S614：测试终端11c根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容。

例如，测试终端控制机械手，在应用终端UI的文本输入框内输入123456，完成操作指令。

S615：应用终端11b验证邮箱并显示下一UI。

本实施例可以对移动游戏实现UI自动识别操作，并获得比纯图像匹配方式更好的稳定性，这大幅度降低了人工介入成本。

在一种实施例中，测试终端11c可以根据发送操作请求的时间与接收到操作响应的时间差确定采样周期，例如发送操作请求的时间与接收到操作响应的时间差为2秒，结合应用终端的响应时间3秒，将采样周期设置为5秒等。

相应的，图7是本发明实施例提供的应用测试装置的结构示意图，请参阅图7，该应用测试装置包括以下模块：

应用界面获取模块71，用于获取待测试应用的应用界面；

关键文本提取模块72，用于对所述应用界面进行识别处理，得到所述应用界面对应的关键文本；

配置文件查找模块73，用于根据所述关键文本，查找所述应用界面对应的配置文件；

操作指令生成模块74，用于根据所述配置文件，生成所述应用界面对应的操作指令，所述操作指令包括操作位置以及操作内容；

应用界面操作模块75，用于根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容。

在一种实施例中，配置文件查找模块73可以包括：

获取子模块，用于获取至少一个配置文件，所述配置文件包括对象文本、操作位置以及操作内容；

匹配子模块，用于将所述关键文本与对象文本匹配，得到相似度满足阈值的目标对象文本；

查找子模块，用于将包含所述目标对象文本的配置文件，作为所述应用界面对应的配置文件。

在一种实施例中，所述匹配子模块可以用于：获取所述关键文本与各对象文本的文本相似度；将文本相似度大于阈值的对象文本，作为所述目标对象文本。

在一种实施例中，所述匹配子模块可以用于：获取所述关键文本的语义特征向量；将所述关键文本的语义特征向量，与各对象文本的语义特征向量进行匹配，得到所述关键文本与各对象文本的语义相似度；将语义相似度大于阈值的对象文本，作为所述目标对象文本。

在一种实施例中，如图7所示，本发明提供的应用测试装置包括以下模块：

匹配模板获取模块76，用于若没有得到所述目标对象文本，则调用至少一个匹配模板，所述匹配模板包括对象图片、操作位置以及操作内容；

匹配模板匹配模块77，用于将所述应用界面与对象图片匹配，得到相似度满足阈值的目标对象图片；将包含所述目标对象图片的匹配模板，作为所述应用界面对应的匹配模板；

此时，所述操作指令生成模块74，还用于根据所述应用界面对应的匹配模板，生成所述应用界面对应的操作指令。

在一种实施例中，关键文本提取模块72可以用于执行：对所述应用界面内的文本内容进行文本识别，得到文本内容识别结果；对所述文本内容识别结果进行关键词提取，得到所述应用界面对应的关键文本。

在一种实施例中，关键文本提取模块72可以用于执行：对所述应用界面的图片信息进行理解识别，得到图片信息识别结果；对所述图片信息识别结果进行关键词提取，得到所述应用界面对应的关键文本。

在一种实施例中，应用界面获取模块71可以用于执行：接收测试终端发送的操作请求；解析所述操作请求，得到所述应用界面。

在一种实施例中，应用界面操作模块75可以用于执行：向所述测试终端发送的操作响应，所述操作响应携带所述操作指令，用于指示所述测试终端在所述应用界面对应的操作位置执行所述操作内容。

在一种实施例中，应用界面操作模块75可以用于执行：提取所述操作请求携带的界面标识；构建所述操作响应，所述操作响应包括所述界面标识以及所述操作指令。

在一种实施例中，应用界面获取模块71可以用于执行：获取所述应用界面对应的测试状态；在所述测试状态表征所述待测试应用处于界面测试时，触发所述关键文本提取模块72。

在一种实施例中，应用界面操作模块75可以用于执行：根据所述配置文件，确定所述应用界面的界面状态；所述界面状态用于表征所述应用界面是否为界面测试的结束界面；在所述应用界面不为界面测试的结束界面时，触发所述应用界面获取模块71。

在一种实施例中，操作指令生成模块74可以用于执行：对所述应用界面内的图片内容进行识别；根据所述图片限制参数、以及图片内容识别结果，生成所述应用界面对应的操作指令。

同时，本发明提供一种电子设备，该电子设备包括处理器和存储器，所述存储器存储有多条指令，所述指令适于处理器进行加载，以执行上述应用测试方法中的步骤。

相应的，本发明实施例还提供一种终端，如图8所示，该终端可以包括射频(RF，Radio Frequency)电路801、包括有一个或一个以上计算机可读存储介质的存储器802、输入单元803、显示单元804、传感器805、音频电路806、无线保真(WiFi，Wireless Fidelity)模块807、包括有一个或者一个以上处理核心的处理器808、以及电源809等部件。本领域技术人员可以理解，图8中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

RF电路801可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器808处理；另外，将涉及上行的数据发送给基站。通常，RF电路801包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路801还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。

存储器802可用于存储软件程序以及模块，处理器808通过运行存储在存储器802的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器802还可以包括存储器控制器，以提供处理器808和输入单元803对存储器802的访问。

输入单元803可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元803可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。在一实施例中，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器808，并能接收处理器808发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元803还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元804可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元804可包括显示面板，在一实施例中，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器808以确定触摸事件的类型，随后处理器808根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图8中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

终端还可包括至少一种传感器805，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路806、扬声器，传声器可提供用户与终端之间的音频接口。音频电路806可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路806接收后转换为音频数据，再将音频数据输出处理器808处理后，经RF电路801以发送给比如另一终端，或者将音频数据输出至存储器802以便进一步处理。音频电路806还可能包括耳塞插孔，以提供外设耳机与终端的通信。

WiFi属于短距离无线传输技术，终端通过WiFi模块807可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块807，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器808是终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器802内的软件程序和/或模块，以及调用存储在存储器802内的数据，执行终端的各种功能和处理数据，从而对手机进行整体监控。在一实施例中，处理器808可包括一个或多个处理核心；优选的，处理器808可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器808中。

终端还包括给各个部件供电的电源809(比如电池)，优选的，电源可以通过电源管理系统与处理器808逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源809还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器808会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中，并由处理器808来运行存储在存储器802中的应用程序，从而实现各种功能：

获取待测试应用的应用界面；

对所述应用界面进行识别处理，得到所述应用界面对应的关键文本；

根据所述关键文本，查找所述应用界面对应的配置文件；

根据所述配置文件，生成所述应用界面对应的操作指令，所述操作指令包括操作位置以及操作内容；

根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容。

在一种实施例中，实现以下功能：

获取至少一个配置文件，所述配置文件包括对象文本、操作位置以及操作内容；

将所述关键文本与对象文本匹配，得到相似度满足阈值的目标对象文本；

将包含所述目标对象文本的配置文件，作为所述应用界面对应的配置文件。

在一种实施例中，实现以下功能：

获取所述关键文本与各对象文本的文本相似度；

将文本相似度大于阈值的对象文本，作为所述目标对象文本。

在一种实施例中，实现以下功能：

获取所述关键文本的语义特征向量；

将所述关键文本的语义特征向量，与各对象文本的语义特征向量进行匹配，得到所述关键文本与各对象文本的语义相似度；

将语义相似度大于阈值的对象文本，作为所述目标对象文本。

在一种实施例中，实现以下功能：

若没有得到所述目标对象文本，则调用至少一个匹配模板，所述匹配模板包括对象图片、操作位置以及操作内容；

将所述应用界面与对象图片匹配，得到相似度满足阈值的目标对象图片；

将包含所述目标对象图片的匹配模板，作为所述应用界面对应的匹配模板；

根据所述应用界面对应的匹配模板，生成所述应用界面对应的操作指令。

在一种实施例中，实现以下功能：

对所述应用界面内的文本内容进行文本识别，得到文本内容识别结果；

对所述文本内容识别结果进行关键词提取，得到所述应用界面对应的关键文本。

在一种实施例中，实现以下功能：

对所述应用界面的图片信息进行理解识别，得到图片信息识别结果；

对所述图片信息识别结果进行关键词提取，得到所述应用界面对应的关键文本。

在一种实施例中，实现以下功能：

对所述应用界面内的图片内容进行识别；

根据所述图片限制参数、以及图片内容识别结果，生成所述应用界面对应的操作指令。

相应的，本发明实施例还提供一种服务器，如图9所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：

该服务器可以包括一个或者一个以上处理核心的处理器901、一个或一个以上计算机可读存储介质的存储器902、电源903和输入单元904等部件。本领域技术人员可以理解，图9中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器901是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器902内的软件程序和/或模块，以及调用存储在存储器902内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器901可包括一个或多个处理核心；优选的，处理器901可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器901中。

存储器902可用于存储软件程序以及模块，处理器901通过运行存储在存储器902的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器902可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器902还可以包括存储器控制器，以提供处理器901对存储器902的访问。

服务器还包括给各个部件供电的电源903，优选的，电源903可以通过电源管理系统与处理器901逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源903还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入单元904，该输入单元904可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器901会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器902中，并由处理器901来运行存储在存储器902中的应用程序，从而实现各种功能，如下：

获取待测试应用的应用界面；

对所述应用界面进行识别处理，得到所述应用界面对应的关键文本；

根据所述关键文本，查找所述应用界面对应的配置文件；

根据所述配置文件，生成所述应用界面对应的操作指令，所述操作指令包括操作位置以及操作内容；

根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容。

在一种实施例中，实现功能：

获取至少一个配置文件，所述配置文件包括对象文本、操作位置以及操作内容；

将所述关键文本与对象文本匹配，得到相似度满足阈值的目标对象文本；

将包含所述目标对象文本的配置文件，作为所述应用界面对应的配置文件。

在一种实施例中，实现功能：

获取所述关键文本与各对象文本的文本相似度；

将文本相似度大于阈值的对象文本，作为所述目标对象文本。

在一种实施例中，实现功能：

获取所述关键文本的语义特征向量；

将所述关键文本的语义特征向量，与各对象文本的语义特征向量进行匹配，得到所述关键文本与各对象文本的语义相似度；

将语义相似度大于阈值的对象文本，作为所述目标对象文本。

在一种实施例中，实现功能：

若没有得到所述目标对象文本，则调用至少一个匹配模板，所述匹配模板包括对象图片、操作位置以及操作内容；

将所述应用界面与对象图片匹配，得到相似度满足阈值的目标对象图片；

将包含所述目标对象图片的匹配模板，作为所述应用界面对应的匹配模板；

根据所述应用界面对应的匹配模板，生成所述应用界面对应的操作指令。

在一种实施例中，实现功能：

对所述应用界面内的文本内容进行文本识别，得到文本内容识别结果；

对所述文本内容识别结果进行关键词提取，得到所述应用界面对应的关键文本。

在一种实施例中，实现功能：

对所述应用界面的图片信息进行理解识别，得到图片信息识别结果；

对所述图片信息识别结果进行关键词提取，得到所述应用界面对应的关键文本。

在一种实施例中，实现功能：

接收测试终端发送的操作请求；

解析所述操作请求，得到所述应用界面。

在一种实施例中，实现功能：

向所述测试终端发送的操作响应，所述操作响应携带所述操作指令，用于指示所述测试终端在所述应用界面对应的操作位置执行所述操作内容。

在一种实施例中，实现功能：

提取所述操作请求携带的界面标识；

构建所述操作响应，所述操作响应包括所述界面标识以及所述操作指令。

在一种实施例中，实现功能：

获取所述应用界面对应的测试状态；

在所述测试状态表征所述待测试应用处于界面测试时，执行对所述应用界面进行识别处理，得到所述应用界面对应的关键文本的步骤。

在一种实施例中，实现功能：

根据所述配置文件，确定所述应用界面的界面状态；所述界面状态用于表征所述应用界面是否为界面测试的结束界面；

在所述应用界面不为界面测试的结束界面时，执行获取待测试应用的应用界面的步骤。

在一种实施例中，实现功能：

对所述应用界面内的图片内容进行识别；

根据所述图片限制参数、以及图片内容识别结果，生成所述应用界面对应的操作指令。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对资源管理方法的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种方法中的步骤。例如，该指令可以执行如下步骤：

获取待测试应用的应用界面；

对所述应用界面进行识别处理，得到所述应用界面对应的关键文本；

根据所述关键文本，查找所述应用界面对应的配置文件；

根据所述配置文件，生成所述应用界面对应的操作指令，所述操作指令包括操作位置以及操作内容；

根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容。

在一种实施例中，实现功能：

获取至少一个配置文件，所述配置文件包括对象文本、操作位置以及操作内容；

将所述关键文本与对象文本匹配，得到相似度满足阈值的目标对象文本；

将包含所述目标对象文本的配置文件，作为所述应用界面对应的配置文件。

在一种实施例中，实现功能：

获取所述关键文本与各对象文本的文本相似度；

将文本相似度大于阈值的对象文本，作为所述目标对象文本。

在一种实施例中，实现功能：

获取所述关键文本的语义特征向量；

将所述关键文本的语义特征向量，与各对象文本的语义特征向量进行匹配，得到所述关键文本与各对象文本的语义相似度；

将语义相似度大于阈值的对象文本，作为所述目标对象文本。

在一种实施例中，实现功能：

若没有得到所述目标对象文本，则调用至少一个匹配模板，所述匹配模板包括对象图片、操作位置以及操作内容；

将所述应用界面与对象图片匹配，得到相似度满足阈值的目标对象图片；

将包含所述目标对象图片的匹配模板，作为所述应用界面对应的匹配模板；

根据所述应用界面对应的匹配模板，生成所述应用界面对应的操作指令。

在一种实施例中，实现功能：

对所述应用界面内的文本内容进行文本识别，得到文本内容识别结果；

对所述文本内容识别结果进行关键词提取，得到所述应用界面对应的关键文本。

在一种实施例中，实现功能：

对所述应用界面的图片信息进行理解识别，得到图片信息识别结果；

对所述图片信息识别结果进行关键词提取，得到所述应用界面对应的关键文本。

在一种实施例中，实现功能：

接收测试终端发送的操作请求；

解析所述操作请求，得到所述应用界面。

在一种实施例中，实现功能：

向所述测试终端发送的操作响应，所述操作响应携带所述操作指令，用于指示所述测试终端在所述应用界面对应的操作位置执行所述操作内容。

在一种实施例中，实现功能：

提取所述操作请求携带的界面标识；

构建所述操作响应，所述操作响应包括所述界面标识以及所述操作指令。

在一种实施例中，实现功能：

获取所述应用界面对应的测试状态；

在所述测试状态表征所述待测试应用处于界面测试时，执行对所述应用界面进行识别处理，得到所述应用界面对应的关键文本的步骤。

在一种实施例中，实现功能：

根据所述配置文件，确定所述应用界面的界面状态；所述界面状态用于表征所述应用界面是否为界面测试的结束界面；

在所述应用界面不为界面测试的结束界面时，执行获取待测试应用的应用界面的步骤。

在一种实施例中，实现功能：

对所述应用界面内的图片内容进行识别；

根据所述图片限制参数、以及图片内容识别结果，生成所述应用界面对应的操作指令。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种方法中的步骤，因此，可以实现本发明实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种应用测试方法及装置、终端、服务器及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种应用测试方法，其特征在于，包括：

获取待测试应用的应用界面；

对所述应用界面进行识别处理，得到所述应用界面对应的关键文本；

根据所述关键文本，查找所述应用界面对应的配置文件；

根据所述配置文件，生成所述应用界面对应的操作指令，所述操作指令包括操作位置以及操作内容；

根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容。

2.根据权利要求1所述的应用测试方法，其特征在于，所述根据所述关键文本，查找所述应用界面对应的配置文件的步骤，包括：

获取至少一个配置文件，所述配置文件包括对象文本、操作位置以及操作内容；

将所述关键文本与对象文本匹配，得到相似度满足阈值的目标对象文本；

将包含所述目标对象文本的配置文件，作为所述应用界面对应的配置文件。

3.根据权利要求2所述的应用测试方法，其特征在于，所述将所述关键文本与对象文本匹配，得到相似度满足阈值的目标对象文本的步骤，包括：

获取所述关键文本与各对象文本的文本相似度；

将文本相似度大于阈值的对象文本，作为所述目标对象文本。

4.根据权利要求2所述的应用测试方法，其特征在于，所述将所述关键文本与对象文本匹配，得到相似度满足阈值的目标对象文本的步骤，包括：

获取所述关键文本的语义特征向量；

将所述关键文本的语义特征向量，与各对象文本的语义特征向量进行匹配，得到所述关键文本与各对象文本的语义相似度；

将语义相似度大于阈值的对象文本，作为所述目标对象文本。

5.根据权利要求2所述的应用测试方法，其特征在于，还包括：

若没有得到所述目标对象文本，则调用至少一个匹配模板，所述匹配模板包括对象图片、操作位置以及操作内容；

将所述应用界面与对象图片匹配，得到相似度满足阈值的目标对象图片；

将包含所述目标对象图片的匹配模板，作为所述应用界面对应的匹配模板；

根据所述应用界面对应的匹配模板，生成所述应用界面对应的操作指令。

6.根据权利要求1所述的应用测试方法，其特征在于，所述对所述应用界面进行识别处理，得到所述应用界面对应的关键文本的步骤，包括：

对所述应用界面内的文本内容进行文本识别，得到文本内容识别结果；

对所述文本内容识别结果进行关键词提取，得到所述应用界面对应的关键文本。

7.根据权利要求1所述的应用测试方法，其特征在于，所述对所述应用界面进行识别处理，得到所述应用界面对应的关键文本的步骤，包括：

对所述应用界面的图片信息进行理解识别，得到图片信息识别结果；

对所述图片信息识别结果进行关键词提取，得到所述应用界面对应的关键文本。

8.根据权利要求1至7任一项所述的应用测试方法，其特征在于，所述配置文件还包括图片限制参数；所述根据所述配置文件，生成所述应用界面对应的操作指令的步骤，包括：

对所述应用界面内的图片内容进行识别；

根据所述图片限制参数、以及图片内容识别结果，生成所述应用界面对应的操作指令。

9.一种应用测试装置，其特征在于，包括：

应用界面获取模块，用于获取待测试应用的应用界面；

关键文本提取模块，用于对所述应用界面进行识别处理，得到所述应用界面对应的关键文本；

配置文件查找模块，用于根据所述关键文本，查找所述应用界面对应的配置文件；

操作指令生成模块，用于根据所述配置文件，生成所述应用界面对应的操作指令，所述操作指令包括操作位置以及操作内容；

应用界面操作模块，用于根据所述操作指令，在所述应用界面对应的操作位置执行所述操作内容。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的应用测试方法中的步骤。