CN112506778A - Web用户界面自动化测试方法、装置、设备和存储介质 - Google Patents

Abstract

本申请实施例提供了一种WEB用户界面自动化测试方法、装置、设备和存储介质，其中方法包括：根据预设的规则对终端设备的浏览器上显示的WEB的当前页面的测试指令进行解析处理，得到测试的目标对象和对目标对象进行的测试操作；其中，测试指令是根据预设的自然语言语法编写；获取终端设备的浏览器上显示的WEB的当前页面的截图，对WEB的当前页面的截图进行识别处理，得到WEB的当前页面中目标对象的位置信息；根据目标对象的位置信息对目标对象进行测试操作，得到用户界面自动化测试的结果。本申请实施例可以降低WEB用户界面自动化测试程序编写的门槛，降低WEB用户界面自动化测试程序维护的成本。

Description

WEB用户界面自动化测试方法、装置、设备和存储介质

技术领域

本申请涉及测试技术领域，尤其涉及一种全球广域网(World Wide Web， 简称WEB)用户界面(User Interface，简称UI)自动化测试方法、WEB用户 界面自动化测试装置、电子设备和计算机可读存储介质。

背景技术

目前WEB用户界面自动化测试大多是基于Selenium来构建，自动化测 试程序主要是基于JAVA\PYTHON等高级语言来编写，页面元素的定位都是 采用控件的ID\XPATH等属性来完成。想要编写稳定的WEB用户界面自动 化测试程序，就需要测试人员具有较强的编程功底，首次编写WEB用户界面 自动化测试程序需要投入相当大的人力成本，随着WEB用户界面的更新迭代， 又需要投入比较大的人力成本来维护现有的测试程序。由于WEB用户界面自 动化测试程序的编写门槛较高，以及WEB用户界面自动化测试程序的维护成 本较高等问题，大大降低了WEB用户界面自动化测试的价值。

发明内容

本申请实施例提供一种WEB用户界面自动化测试方法、WEB用户界面 自动化测试装置、电子设备和计算机可读存储介质，可以降低WEB用户界面 自动化测试程序编写的门槛，降低WEB用户界面自动化测试程序维护的成本， 提高WEB用户界面自动化测试的价值。

为了解决上述技术问题，本申请实施例是这样实现的：

第一个方面，提供了一种WEB用户界面自动化测试方法，包括：

根据预设的规则对终端设备的浏览器上显示的WEB的当前页面的测试指 令进行解析处理，得到测试的目标对象和对所述目标对象进行的测试操作； 其中，所述测试指令是根据预设的自然语言语法编写；

获取所述终端设备的浏览器上显示的所述WEB的当前页面的截图，对所 述WEB的当前页面的截图进行识别处理，得到所述WEB的当前页面中所述 目标对象的位置信息；

根据所述目标对象的位置信息对所述目标对象进行所述测试操作，得到 用户界面自动化测试的结果。

第二个方面，提供了一种WEB用户界面自动化测试装置，包括：

解析模块，用于根据预设的规则对终端设备的浏览器上显示的WEB的当 前页面的测试指令进行解析处理，得到测试的目标对象和对所述目标对象进 行的测试操作；其中，所述测试指令是根据预设的自然语言语法编写；

识别模块，用于获取所述终端设备的浏览器上显示的所述WEB的当前页 面的截图，对所述WEB的当前页面的截图进行识别处理，得到所述WEB的 当前页面中所述目标对象的位置信息；

处理模块，用于根据所述目标对象的位置信息对所述目标对象进行所述 测试操作，得到用户界面自动化测试的结果。

第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、 存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过 总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器， 用于执行所述存储器上所存放的程序，实现如第一方面所述的WEB用户界面 自动化测试方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机 可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如 第一方面所述的WEB用户界面自动化测试方法。

本申请实施例提供的WEB用户界面自动化测试方法、WEB用户界面自 动化测试装置、电子设备和计算机可读存储介质，通过根据预设的规则对终 端设备的浏览器上显示的WEB的当前页面的测试指令进行解析处理，得到测 试的目标对象和对目标对象进行的测试操作；其中，测试指令是根据预设的 自然语言语法编写；获取终端设备的浏览器上显示的WEB的当前页面的截图， 对WEB的当前页面的截图进行识别处理，得到WEB的当前页面中目标对象 的位置信息；根据目标对象的位置信息对目标对象进行测试操作，得到用户 界面自动化测试的结果；利用AI技术中的机器学习技术和自然语言处理技术， 通过对终端设备的浏览器上显示的WEB的页面的截图进行识别，可以在页面 中准确确定测试的目标对象的位置，实现对目标对象的精确操作，通过预设 的自然语言语法编写测试指令，可以简化WEB用户界面自动化测试的程序设 计，降低WEB用户界面自动化测试程序编写的门槛，使普通测试人员可以很 快掌握WEB用户界面自动化测试程序的编写，同时可以降低WEB用户界面自动化测试程序维护的成本，提高WEB用户界面自动化测试的价值。

附图说明

为了更清楚地说明本申请一个或多个实施例或现有技术中的技术方案， 下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易 见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普 通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获 得其他的附图。

图1为本申请实施例的WEB用户界面自动化测试方法的一种实现方式的 流程示意图；

图2为本申请实施例对WEB的页面的截图进行识别处理的一种实现方式 的流程示意图；

图3为本申请实施例的WEB用户界面自动化测试方法的另一种实现方式 的流程示意图；

图4为本申请实施例的WEB用户界面自动化测试方法的一种测试程序可 视化编写方法的示意图；

图5为本申请实施例的WEB用户界面自动化测试装置的一种组成结构示 意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请一个或多个实施例中的技术 方案，下面将结合本申请一个或多个实施例中的附图，对本申请一个或多个 实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是 本申请的一部分实施例，而不是全部的实施例。基于本申请一个或多个实施 例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实 施例，都应当属于本文件的保护范围。

图1为本申请实施例的WEB用户界面自动化测试方法的一种实现方式的 流程示意图，图1所示的方法可以由WEB用户界面自动化测试装置作为执行 主体执行，该WEB用户界面自动化测试装置可以安装于通用终端设备，例如， 台式计算机、笔记本式计算机、平板电脑等，也可以安装于专用测试设备， 本申请实施例对此不作限定，如图1所示，该WEB用户界面自动化测试方法 至少包括：

S102，根据预设的规则对终端设备的浏览器上显示的WEB的当前页面的 测试指令进行解析处理，得到测试的目标对象和对目标对象进行的测试操作； 其中，测试指令是根据预设的自然语言语法编写。

在本申请实施例中，用户界面自动化测试的对象可以为通过终端设备上 安装的浏览器访问的WEB应用程序，例如，终端设备可以为台式计算机、笔 记本式计算机、平板电脑等，终端设备上安装的浏览器可以为Firefox浏览器、 IE浏览器、Chrome浏览器等，本申请实施例对终端设备的类型以及终端设备 上安装的浏览器的类型不作限定。在对WEB应用程序进行用户界面自动化测 试时，首先通过终端设备上安装的浏览器打开WEB应用程序，然后根据测试 指令对终端设备的浏览器上显示的WEB的页面进行测试。其中，测试指令可以根据预设的自然语言语法编写，预设的自然语言语法可以是根据自然语言 语法预先设置的支持WEB用户界面自动化测试的全部语法，例如，可以通过 创建自然语言语法库，利用自然语言语法库编写测试指令，本申请实施例对 根据预设的自然语言语法编写测试时令的实现方式不作限定。

在本申请实施例中，在根据测试指令对终端设备的浏览器上显示的WEB 的页面进行测试时，可以根据预设的规则对终端设备的浏览器上显示的WEB 的当前页面的测试指令进行解析处理，得到测试的目标对象和对目标对象进 行的测试操作。其中，预设的规则可以是根据自然语言语法预先设置的对测 试指令进行拆分等处理的规则；测试的目标对象可以是WEB应用软件的页面 中可以进行操作的文字、图像或者图标等页面元素；对目标对象进行的测试 操作可以包括以下中的一种：点击操作、滑动操作、输入操作、鼠标悬停操作、检查操作、判断操作和赋值操作等。可以根据目标对象的类型确定对目 标对象进行的测试操作的类型。本申请实施例对测试的目标对象的类型和对 目标对象进行的测试操作的类型不作限定。

S104，获取终端设备的浏览器上显示的WEB的当前页面的截图，对 WEB的当前页面的截图进行识别处理，得到WEB的当前页面中目标对象的 位置信息。

在本申请实施例中，在通过终端设备上安装的浏览器打开WEB应用程序 后，可以由浏览器截取WEB的当前页面的截图，发送给WEB用户界面自动 化测试装置，获取终端设备的浏览器上显示的WEB的当前页面的截图；或者， 可以在WEB用户界面自动化测试装置上显示终端设备的用户界面，在通过终 端设备上安装的浏览器打开WEB应用程序后，由WEB用户界面自动化测试 装置截取WEB的当前页面的截图，获取终端设备的浏览器上显示的WEB的当前页面的截图；本申请实施例对获取终端设备的浏览器上显示的WEB的当 前页面的截图的实现方式不作限定。

在本申请实施例中，在获取终端设备的浏览器上显示的WEB的当前页面 的截图后，可以对WEB的当前页面的截图中的页面元素进行识别处理，并根 据对页面元素进行识别处理的结果，获得WEB的当前页面中目标对象的位置 信息。可选地，可以通过机器学习对WEB的当前页面的截图进行识别处理， 例如，机器学习可以为深度学习的模型，本申请实施例对WEB的当前页面的 截图进行识别处理的实现方式不作限定。

S106，根据目标对象的位置信息对目标对象进行测试操作，得到用户界 面自动化测试的结果。

在本申请实施例中，在获得WEB的当前页面中目标对象的位置信息后， 可以根据目标对象在当前页面中的位置信息对目标对象进行相应的测试操作， 从而得到用户界面自动化测试的结果。可选地，若在WEB的当前页面中仅包 含一个目标对象，则该目标对象即为测试的目标对象，此时可以直接根据目 标对象在当前页面中的位置信息对目标对象进行相应的测试操作；若在WEB 的当前页面中包含不止一个目标对象，则需要先在WEB的当前页面中确定测 试的目标对象，再根据所确定的目标对象在当前页面中的位置信息对目标对 象进行相应的测试操作，例如，通过对测试指令进行解析处理得到的测试的 目标对象可以包括目标对象在WEB的当前页面中的序数，可以根据目标对象 在WEB的当前页面中的序数，在WEB的当前页面中确定测试的目标对象。 本申请实施例对根据目标对象的位置信息对目标对象进行测试操作的实现方 式不作限定。

本申请实施例的WEB用户界面自动化测试方法，通过根据预设的规则对 终端设备的浏览器上显示的WEB的当前页面的测试指令进行解析处理，得到 测试的目标对象和对目标对象进行的测试操作；其中，测试指令是根据预设 的自然语言语法编写；获取终端设备的浏览器上显示的WEB的当前页面的截 图，对WEB的当前页面的截图进行识别处理，得到WEB的当前页面中目标 对象的位置信息；根据目标对象的位置信息对目标对象进行测试操作，得到 用户界面自动化测试的结果；利用AI技术中的机器学习技术和自然语言处理 技术，通过对终端设备的浏览器上显示的WEB的页面的截图进行识别，可以 在页面中准确确定测试的目标对象的位置，实现对目标对象的精确操作，通 过预设的自然语言语法编写测试指令，可以简化WEB用户界面自动化测试的 程序设计，降低WEB用户界面自动化测试程序编写的门槛，使普通测试人员 可以很快掌握WEB用户界面自动化测试程序的编写，同时可以降低WEB用 户界面自动化测试程序维护的成本，提高WEB用户界面自动化测试的价值。

下面将结合图2至图5的实施例对本申请的WEB用户界面自动化测试方 法进行详细描述。

图2为本申请实施例对WEB的页面的截图进行识别处理的一种实现方式 的流程示意图，如图2所示，获取终端设备的浏览器上显示的WEB的当前页 面的截图，对WEB的当前页面的截图进行识别处理，得到WEB的当前页面 中目标对象的位置信息，至少包括：

S202，截取终端设备的浏览器上显示的WEB的当前页面的截图。

在本实施例中，终端设备的浏览器上显示的WEB的当前页面的截图，是 在WEB用户界面自动化测试装置上显示终端设备的用户界面，在通过终端设 备上安装的浏览器打开WEB应用程序后，由WEB用户界面自动化测试装置 截取WEB的当前页面的截图。

S204，对WEB的当前页面的截图进行文字识别处理和/或图像识别处理。

在本实施例中，可以对WEB的当前页面的截图中的文字进行文字识别处 理，例如，可以通过光学字符识别(Optical Character Recognition，简称OCR) 进行文字识别处理；可以对WEB的当前页面的截图中的图像进行图像识别处 理，例如，可以通过自定义图像匹配进行图像识别处理。在一些可选的例子 中，可以通过两个深度学习的模型分别对WEB的当前页面的截图进行文字识 别处理和图像识别处理；在另一些可选的例子中，可以先通过深度学习的模 型对WEB的当前页面的截图进行文字检测和图像检测处理，并在WEB的当 前页面的截图中标定出文字区域和图像区域，再通过两个深度学习的模型分 别对WEB的当前页面的截图中所标定出的文字区域和图像区域进行文字识别 处理和图像识别处理；本申请实施例对WEB的当前页面的截图进行文字识别 处理和图像识别处理的实现方式不作限定。

S206，根据文字识别处理的结果和/或图像识别处理的结果，确定WEB 的当前页面中目标对象的位置信息。

在本实施例中，可以根据对WEB的当前页面的截图进行文字识别处理和 /或图像识别处理的结果，确定目标对象在WEB的当前页面中的位置信息。 WEB的当前页面中可以包括一个目标对象，也可以包括多个目标对象；当 WEB的当前页面中包括一个目标对象时，根据文字识别处理的结果和/或图像 识别处理的结果，所确定的目标对象在WEB的当前页面中的位置信息，即为 测试的目标对象在WEB的当前页面中的位置信息；当WEB的当前页面中包 括多个目标对象时，根据文字识别处理的结果和/或图像识别处理的结果，所 确定的目标对象在WEB的当前页面中的位置信息为多个，需要从中确定测试 的目标对象在WEB的当前页面中的位置信息。

本实施例通过先对WEB的当前页面的截图进行文字识别处理和/或图像 识别处理，再根据文字识别处理和/或图像识别处理的结果，确定WEB的当 前页面中目标对象的位置信息，可以通过同一文字识别处理和/或图像识别处 理模型，对不同终端设备和不同浏览器的不同WEB应用程序的页面截图进行 文字识别处理和/或图像识别处理，可以保证WEB用户界面自动化测试方法 的通用性。

图3为本申请实施例的WEB用户界面自动化测试方法的另一种实现方式 的流程示意图，如图3所示，该WEB用户界面自动化测试方法至少包括：

S301，向终端设备上的浏览器发送页面请求，使浏览器根据页面请求携 带的统一资源定位符打开对应的WEB的页面。

在本实施例中，在对WEB应用程序进行用户界面自动化测试时，终端设 备上安装的浏览器打开WEB应用程序，可以通过向终端设备上安装的浏览器 发送携带统一资源定位符(uniform resource locator，简称URL)的页面请求， 使浏览器根据页面请求携带的统一资源定位符打开对应的WEB的页面来实现。 例如，可以根据WebDriver协议生成携带WEB应用程序的统一资源定位符的 页面请求，并向终端设备上安装的浏览器发送页面请求。

S302，根据预设的规则对终端设备的浏览器上显示的WEB的当前页面的 测试指令进行解析处理，得到测试的目标对象和对目标对象进行的测试操作； 其中，测试指令是根据预设的自然语言语法编写。

在本申请实施例中，关于S302的说明可以参见图1中关于S102的说明， 故此处不再复述。

S303，获取终端设备的浏览器上显示的WEB的当前页面的截图，对 WEB的当前页面的截图进行识别处理，得到WEB的当前页面中目标对象的 位置信息。

在本申请实施例中，关于S303的说明可以参见图1中关于S104的说明， 故此处不再复述。

S304，根据目标对象的位置信息和对目标对象进行的测试操作，生成对 目标对象的测试请求。

S305，向终端设备上的浏览器发送测试请求，使浏览器根据测试请求对 目标对象进行测试操作，得到用户界面自动化测试的结果。

在本实施例中，在根据测试指令对终端设备的浏览器上显示的WEB的页 面进行测试时，可以根据通过S303对WEB的页面的截图进行识别处理得到 的测试的目标对象在WEB的页面中的位置信息，和通过S302对测试指令进 行解析处理得到的对目标对象进行的测试操作，生成对目标对象的测试请求， 并向终端设备上安装的浏览器发送该测试请求，使浏览器根据该测试请求对 目标对象进行该测试操作，从而得到用户界面自动化测试的结果。例如，可 以根据WebDriver协议生成对目标对象的测试请求，并向终端设备上安装的浏览器发送对目标对象的测试请求。

可选地，如图3所示，在根据目标对象的位置信息对目标对象进行测试 操作，得到用户界面自动化测试的结果之后，还可以包括：S306，向终端设 备上的浏览器发送截图请求，使浏览器根据截图请求截取用户界面自动化测 试的结果的截图并返回。例如，可以根据WebDriver协议生成截图请求，并 向终端设备上安装的浏览器发送截图请求。在对WEB应用程序进行用户界面 自动化测试时，通过对用户界面自动化测试的结果进行截图，可以生成包含 用户界面自动化测试的结果的截图的测试报告，通过用户界面自动化测试的 结果的截图来清楚、直观的反映WEB用户界面自动化测试的结果。

本实施例在对WEB应用程序的用户界面进行自动化测试时，通过向终端 设备上的浏览器发送页面请求、测试请求等操作请求，由浏览器根据接收到 的页面请求进行页面打开操作，并对打开的页面根据接收到的测试请求进行 点击、滑动、输入等测试操作，实现了利用浏览器原生的API对浏览器页面 元素以及浏览器本身的操作，可以大大提高测试的效率，保证测试的稳定性。

图4为本申请实施例的WEB用户界面自动化测试方法的一种测试程序可 视化编写方法的示意图，如图4所示，实现本申请实施例的WEB用户界面自 动化测试方法的测试程序，可以通过WEB用户界面录制工具采用可视化的方 式进行编写和调试，其中01至11是根据预设的自然语言语法编写的测试程 序语句，其中既包括对浏览器的操作又包括对WEB页面元素的操作。

对应上述图1至图4所述的WEB用户界面自动化测试方法，基于相同的 技术构思，本申请实施例还提供了一种WEB用户界面自动化测试装置，该 WEB用户界面自动化测试装置可以安装于通用终端设备，例如，台式计算机、 笔记本式计算机、平板电脑等，也可以安装于专用测试设备，本申请实施例 对此不作限定，图5为本申请实施例的WEB用户界面自动化测试装置的一种 组成结构示意图，该WEB用户界面自动化测试装置用于执行图1至图4描述 的WEB用户界面自动化测试方法，如图5所示，该WEB用户界面自动化测 试装置至少包括：解析模块510、识别模块520和处理模块530，解析模块 510、识别模块520和处理模块530依次连接。其中，

解析模块510，用于根据预设的规则对终端设备的浏览器上显示的WEB 的当前页面的测试指令进行解析处理，得到测试的目标对象和对目标对象进 行的测试操作；其中，测试指令是根据预设的自然语言语法编写。

在本申请实施例中，关于解析模块510的说明可以参见图1中关于S102 的说明，故此处不再复述。

识别模块520，用于获取终端设备的浏览器上显示的WEB的当前页面的 截图，对WEB的当前页面的截图进行识别处理，得到WEB的当前页面中目 标对象的位置信息。

在本申请实施例中，关于识别模块520的说明可以参见图1中关于S104 的说明，故此处不再复述。

处理模块530，用于根据目标对象的位置信息对目标对象进行测试操作， 得到用户界面自动化测试的结果。

在本申请实施例中，关于处理模块530的说明可以参见图1中关于S106 的说明，故此处不再复述。

本申请实施例的WEB用户界面自动化测试装置，通过根据预设的规则对 终端设备的浏览器上显示的WEB的当前页面的测试指令进行解析处理，得到 测试的目标对象和对目标对象进行的测试操作；其中，测试指令是根据预设 的自然语言语法编写；获取终端设备的浏览器上显示的WEB的当前页面的截 图，对WEB的当前页面的截图进行识别处理，得到WEB的当前页面中目标 对象的位置信息；根据目标对象的位置信息对目标对象进行测试操作，得到 用户界面自动化测试的结果；利用AI技术中的机器学习技术和自然语言处理 技术，通过对终端设备的浏览器上显示的WEB的页面的截图进行识别，可以 在页面中准确确定测试的目标对象的位置，实现对目标对象的精确操作，通 过预设的自然语言语法编写测试指令，可以简化WEB用户界面自动化测试的 程序设计，降低WEB用户界面自动化测试程序编写的门槛，使普通测试人员 可以很快掌握WEB用户界面自动化测试程序的编写，同时可以降低WEB用 户界面自动化测试程序维护的成本，提高WEB用户界面自动化测试的价值。

可选地，识别模块520，用于截取终端设备的浏览器上显示的WEB的当 前页面的截图；对WEB的当前页面的截图进行文字识别处理和/或图像识别 处理；根据文字识别处理的结果和/或图像识别处理的结果，确定WEB的当 前页面中目标对象的位置信息。

可选地，识别模块520，用于对WEB的当前页面的截图中的文字进行光 学字符识别处理；和/或，对WEB的当前页面的截图中的图像进行自定义图 像匹配处理。

可选地，处理模块530，还用于向终端设备上的浏览器发送页面请求，使 浏览器根据页面请求携带的统一资源定位符打开对应的WEB的页面。

可选地，处理模块530，用于根据目标对象的位置信息和对目标对象进行 的测试操作，生成对目标对象的测试请求；向终端设备上的浏览器发送测试 请求，使浏览器根据测试请求对目标对象进行测试操作，得到用户界面自动 化测试的结果。

可选地，处理模块530，还用于向终端设备上的浏览器发送截图请求，使 浏览器根据截图请求截取用户界面自动化测试的结果的截图并返回。

可选地，对目标对象进行的测试操作包括以下中的一种：点击操作、滑 动操作、输入操作、鼠标悬停操作、检查操作、判断操作和赋值操作。

对应上述图1至图4描述的WEB用户界面自动化测试方法，基于相同的 技术构思，本申请实施例还提供了一种电子设备，该电子设备包括：处理器、 通信接口、存储器和通信总线；其中，处理器、通信接口以及存储器通过总 线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存 储器上所存放的程序，实现以下方法：

根据预设的规则对终端设备的浏览器上显示的WEB的当前页面的测试指 令进行解析处理，得到测试的目标对象和对目标对象进行的测试操作；其中， 测试指令是根据预设的自然语言语法编写；

获取终端设备的浏览器上显示的WEB的当前页面的截图，对WEB的当 前页面的截图进行识别处理，得到WEB的当前页面中目标对象的位置信息；

根据目标对象的位置信息对目标对象进行测试操作，得到用户界面自动 化测试的结果。

本申请实施例的电子设备，通过根据预设的规则对终端设备的浏览器上 显示的WEB的当前页面的测试指令进行解析处理，得到测试的目标对象和对 目标对象进行的测试操作；其中，测试指令是根据预设的自然语言语法编写； 获取终端设备的浏览器上显示的WEB的当前页面的截图，对WEB的当前页 面的截图进行识别处理，得到WEB的当前页面中目标对象的位置信息；根据 目标对象的位置信息对目标对象进行测试操作，得到用户界面自动化测试的 结果；利用AI技术中的机器学习技术和自然语言处理技术，通过对终端设备的浏览器上显示的WEB的页面的截图进行识别，可以在页面中准确确定测试 的目标对象的位置，实现对目标对象的精确操作，通过预设的自然语言语法 编写测试指令，可以简化WEB用户界面自动化测试的程序设计，降低WEB 用户界面自动化测试程序编写的门槛，使普通测试人员可以很快掌握WEB用 户界面自动化测试程序的编写，同时可以降低WEB用户界面自动化测试程序 维护的成本，提高WEB用户界面自动化测试的价值。

对应上述图1至图4描述的WEB用户界面自动化测试方法，基于相同的 技术构思，本申请实施例还提供了一种计算机可读存储介质，该计算机可读 存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下流 程：

根据预设的规则对终端设备的浏览器上显示的WEB的当前页面的测试指 令进行解析处理，得到测试的目标对象和对目标对象进行的测试操作；其中， 测试指令是根据预设的自然语言语法编写；

获取终端设备的浏览器上显示的WEB的当前页面的截图，对WEB的当 前页面的截图进行识别处理，得到WEB的当前页面中目标对象的位置信息；

根据目标对象的位置信息对目标对象进行测试操作，得到用户界面自动 化测试的结果。

本申请实施例的计算机可读存储介质，通过根据预设的规则对终端设备 的浏览器上显示的WEB的当前页面的测试指令进行解析处理，得到测试的目 标对象和对目标对象进行的测试操作；其中，测试指令是根据预设的自然语 言语法编写；获取终端设备的浏览器上显示的WEB的当前页面的截图，对 WEB的当前页面的截图进行识别处理，得到WEB的当前页面中目标对象的 位置信息；根据目标对象的位置信息对目标对象进行测试操作，得到用户界 面自动化测试的结果；利用AI技术中的机器学习技术和自然语言处理技术， 通过对终端设备的浏览器上显示的WEB的页面的截图进行识别，可以在页面 中准确确定测试的目标对象的位置，实现对目标对象的精确操作，通过预设 的自然语言语法编写测试指令，可以简化WEB用户界面自动化测试的程序设 计，降低WEB用户界面自动化测试程序编写的门槛，使普通测试人员可以很 快掌握WEB用户界面自动化测试程序的编写，同时可以降低WEB用户界面 自动化测试程序维护的成本，提高WEB用户界面自动化测试的价值。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排 他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包 括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过 程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句 “包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品 或者设备中还存在另外的相同要素。

本申请一个或多个实施例可以在由计算机执行的计算机可执行指令的一 般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实 现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在 分布式计算环境中实践本申请的一个或多个实施例，在这些分布式计算环境 中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环 境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相 似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之 处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述 的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域 技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之 内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围 之内。

Claims (10)

1.一种WEB用户界面自动化测试方法，其特征在于，包括：

根据预设的规则对终端设备的浏览器上显示的WEB的当前页面的测试指令进行解析处理，得到测试的目标对象和对所述目标对象进行的测试操作；其中，所述测试指令是根据预设的自然语言语法编写；

获取所述终端设备的浏览器上显示的所述WEB的当前页面的截图，对所述WEB的当前页面的截图进行识别处理，得到所述WEB的当前页面中所述目标对象的位置信息；

根据所述目标对象的位置信息对所述目标对象进行所述测试操作，得到用户界面自动化测试的结果。

2.根据权利要求1所述的自动化测试方法，其特征在于，所述获取所述终端设备的浏览器上显示的所述WEB的当前页面的截图，对所述WEB的当前页面的截图进行识别处理，得到所述WEB的当前页面中所述目标对象的位置信息，包括：

截取所述终端设备的浏览器上显示的所述WEB的当前页面的截图；

对所述WEB的当前页面的截图进行文字识别处理和/或图像识别处理；

根据所述文字识别处理的结果和/或所述图像识别处理的结果，确定所述WEB的当前页面中所述目标对象的位置信息。

3.根据权利要求2所述的自动化测试方法，其特征在于，所述对所述WEB的当前页面的截图进行文字识别处理和/或图像识别处理，包括：

对所述WEB的当前页面的截图中的文字进行光学字符识别处理；和/或，对所述WEB的当前页面的截图中的图像进行自定义图像匹配处理。

4.根据权利要求1至3中任一项所述的自动化测试方法，其特征在于，所述根据预设的规则对终端设备的浏览器上显示的WEB的当前页面的测试指令进行解析处理，得到测试的目标对象和对所述目标对象进行的测试操作之前，还包括：

向所述终端设备上的所述浏览器发送页面请求，使所述浏览器根据所述页面请求携带的统一资源定位符打开对应的WEB的页面。

5.根据权利要求4所述的自动化测试方法，其特征在于，所述根据所述目标对象的位置信息对所述目标对象进行所述测试操作，得到用户界面自动化测试的结果，包括：

根据所述目标对象的位置信息和对所述目标对象进行的所述测试操作，生成对所述目标对象的测试请求；

向所述终端设备上的所述浏览器发送所述测试请求，使所述浏览器根据所述测试请求对所述目标对象进行所述测试操作，得到用户界面自动化测试的结果。

6.根据权利要求5所述的自动化测试方法，其特征在于，所述根据所述目标对象的位置信息对所述目标对象进行所述测试操作，得到用户界面自动化测试的结果之后，还包括：

向所述终端设备上的所述浏览器发送截图请求，使所述浏览器根据所述截图请求截取所述用户界面自动化测试的结果的截图并返回。

7.根据权利要求6所述的自动化测试方法，其特征在于，对所述目标对象进行的所述测试操作包括以下中的一种：点击操作、滑动操作、输入操作、鼠标悬停操作、检查操作、判断操作和赋值操作。

8.一种WEB用户界面自动化测试装置，其特征在于，包括：

解析模块，用于根据预设的规则对终端设备的浏览器上显示的WEB的当前页面的测试指令进行解析处理，得到测试的目标对象和对所述目标对象进行的测试操作；其中，所述测试指令是根据预设的自然语言语法编写；

识别模块，用于获取所述终端设备的浏览器上显示的所述WEB的当前页面的截图，对所述WEB的当前页面的截图进行识别处理，得到所述WEB的当前页面中所述目标对象的位置信息；

处理模块，用于根据所述目标对象的位置信息对所述目标对象进行所述测试操作，得到用户界面自动化测试的结果。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如权利要求1至7中任一项所述的WEB用户界面自动化测试方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的WEB用户界面自动化测试方法。

Images