CN109800161A - 一种用户界面的控件测试方法、电子设备和可存储介质 - Google Patents

Abstract

本发明实施例涉及自动化测试领域，公开了一种用户界面的控件测试方法、电子设备和可存储介质。本发明中，用户界面的控件测试方法包括：获取目标控件的可视化特征；根据可视化特征确定搜索规则；以搜索规则从目标控件所在的界面的源代码中搜索，以定位目标控件；在目标控件上执行预设动作，使得提升用户界面的测试效率，降低维护成本。

Description

一种用户界面的控件测试方法、电子设备和可存储介质

技术领域

本发明实施例涉及自动化测试领域，特别涉及用户界面的控件测试方法、电子设备和可存储介质。

背景技术

UI(User Interface，用户界面)测试是一种通过对UI上的各个控件元素进行自动化操作，来达到对被测软件的某一业务功能进行测试的技术。比如，点击用户界面上的某一个或多个UI控件元素，最终检测被测试的软件业务功能的结果是否符合预期测试结果。

现有技术中的一种测试方法为：测试工程师学习对自动化测试工具的使用，测试工程师为被测试的应用程序构建测试用例，根据测试用例和自动化测试工具编写测试脚本，然后在终端上运行该测试脚本和被测试程序来得到测试结果。比如，测试用例工程师编写二个测试用例为“点击被测试程序中第二个用户界面上的按钮A”，预期测试结果是“出现第二用户界面”，自动化测试工程师根据该测试用例和自动化测试工具编写相应的测试脚本，然后在终端上运行该测试脚本和被测试程序，并对得到的测试结果是否为“出现第二用户界面”进行判断。

现有常用测试工具中，Selenium是当前WEB应用程序UI自动化测试的主流框架，Selenium通过定位界面上的控件(例如，按钮、输入框、下拉选择框等)，并模拟人手操作这些控件，进而对界面上的业务逻辑进行自动化测试。这些控件的外观是Web界面上的不同图标，但体现在html文本上，就是不同的html标签。

本申请的发明人发现：Selenium通过读取当前界面的html文本，定位html文本中的特定标签，来确定要操作的控件。作为自动化的关键第一步，Selenium提供了包括html标签属性id、属性name、Dom、XPath、CSS等定位方式，这几类定位方式从相对简单的id、name定位方式，到需要复杂语法支撑的XPath、CSS定位方式，为使用者提供了多种定位手段进行界面的自动化测试，但也是自动化测试实施过程中的最主要问题来源，直接关系自动化脚本的前期编写、后期运行维护。

如，XPath、CSS有较为复杂的语法，对测试人员来说，掌握不易。而且，一般WEB应用程序的界面功能迭代、更新变化快，对更新后的UI来说，原来对目标控件编写的路径等可能失效，造成自动化测试脚本运行不稳定，所以自动化测试脚本往往需要跟随UI的更新而更新，期间会产生较大的工作量，使得后期脚本的维护压力增大、自动化测试成本高等问题。

又如，简单的id、name定位方式，虽然原理简单，但在标签属性中，必须加入大量不重复的id和name，定义阶段有较大工作量，且可能带来代码侵入等潜在问题，影响UI运行时的安全和稳定。

发明内容

本发明实施方式的目的在于提供一种用户界面的控件测试方法、电子设备和可存储介质，使得提升用户界面的测试效率，降低维护成本。

为解决上述技术问题，本发明的实施方式提供了一种用户界面的控件测试方法，包括：获取目标控件的可视化特征；根据所述可视化特征确定搜索规则；以所述搜索规则从所述目标控件所在的界面的源代码中搜索，以定位所述目标控件；在所述目标控件上执行预设动作。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的用户界面的控件测试方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述的用户界面的控件测试方法。

本发明实施方式相对于现有技术而言，主要区别及其效果在于：利用目标控件的可视化特征对目标控件定位，由于可视化特征在用户界面上可以直接获得，所以在确定搜索规则时，可以尽量避免查阅该用户界面的源代码，利用所见即所得的方式确定搜索规则，加快自动化脚本或代码的编写速度，减轻测试人员的工作量，便于测试人员理解并上手。另外，当用户界面进行调整修改等处理时，可视化特征的更改概率较小，在测试代码的维护中，尽量减少搜索规则的变动，也就能减少测试脚本的改动，从而大大减轻测试人员后期对测试脚本或代码的维护工作量，提升用户界面的控件测试效率。另外，可以应用于现有的前端界面开发框架，适用性好，易于推广。

作为进一步改进，所述可视化特征包括：控件的类型、控件关联的文字信息、控件的方位特征、和相邻控件的关系、颜色、形状或排序。

作为进一步改进，所述可视化特征有多个；所述根据所述可视化特征确定搜索规则，包括：选取出N个所述可视化特征，根据所述N个所述可视化特征确定出对应的搜索规则；其中，所述N为大于1的自然数。在可视化特征有多个时，选取其中N个，制定出搜索规则，简化搜索规则中的内容。

作为进一步改进，至少一个所述可视化特征预设有优先级；所述选取出N个所述可视化特征中，包括：优先选取优先级高的可视化特征。在选取时优先选择优先级更高的，便于实现自动化的特征选取，进一步简化搜索规则的确定。

作为进一步改进，所述选取出的N个可视化特征包括：控件关联的文字信息和控件的方位特征。本实施例的可视化特征中必须包含文字信息和方位特征，文字信息便于确定控件的大概位置，方位特征便于确定其位置，所以两者结合为较佳的通用组合。

作为进一步改进，所述搜索规则预设有模板；所述根据可视化特征确定搜索规则，具体为：调用所述模板，根据所述可视化特征确定所述搜索规则。搜索规则预设一定的模板后，测试人员可以直接调用，进一步简化测试过程。

作为进一步改进，利用以下方式获取所述目标控件的可视化特征：从用户输入的信息中获取。

作为进一步改进，所述搜索规则以以下结构数据来表达：JSON(JavaScriptObject Notation，JS对象简谱)、XML(eXtensible Markup Language，指可扩展标记语言)、SDL(Specification and Description Language，规范与描述语言)或纲要描述语言YAML(schema descriptor language，纲要描述语言)。明确搜索规则的表达形式多种多样，非常灵活。

作为进一步改进，所述预设动作至少包括以下之一：点击、键盘输入、光标悬停、鼠标拖曳、勾选、下拉选择。明确测试时使用的多种动作，使得控件的测试准确有效。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施方式中的用户界面的控件测试方法流程图；

图2是根据本发明第一实施方式中的用户界面的控件测试方法中的用户界面；

图3是根据本发明第四实施方式中的用户界面的控件测试方法中的用户界面；

图4是根据本发明第五实施方式中的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明提供的用户界面的控件测试方法实施方式可以由智能终端来实现，该智能终端可以是诸如智能手机、智能电视、平板电脑之类的电子设备。本实施方式中的用户界面可以是通过WEB端登陆的用户界面，待测的目标控件可以是WEB应用程序中的用户接口(Graphical User Interface，简称GUI)，是指采用图形方式显示的计算机操作用户界面，是与用户直接进行交互的入口。

本申请的发明人在对UI的控件测试过程研究后发现，现有对目标控件的定位一般基于源码，而本申请发明人又发现，UI上的各个控件具有一定的独特的可视化特征，而这种可视化较易被测试人员获取，如果根据这些可视化特征对UI上的控件进行定位，就可以降低测试人员阅读源码等工作量，也可以简化定位所需的语法，降低测试人员的能力门槛。下面通过具体实施方式说明如何应用控件特有的可视化特征进行控件定位，从而提升测试效率，降低维护成本。

本发明的第一实施方式涉及一种用户界面的控件测试方法。其流程如图1所示，具体如下：

步骤101，获取目标控件的可视化特征。

具体的说，可视化特征可以包括：控件的类型、控件关联的文字信息、控件的方位特征、和相邻控件的关系、颜色、形状或排序。也就是说，这些特征可以由测试人员直接从UI显示界面上看到后输入测试终端，其中输入可以利用测试终端的输入设备进行输入。

以图2所示的用户界面为例，如果第一行右侧的登录按钮为目标控件，那么该目标控件的可视化特征中，控件的类型可以是“点击(click)”控件，控件关联的文字信息可以是“登录”，控件的方位特征可以是“右侧”或者“与‘登录’文字重合”，形状为“方形”等等。

需要继续说明的是，获取的可视化特征可以是一个，可以是多个。

步骤102，根据可视化特征确定搜索规则。

具体的说，根据步骤101中获取到的可视化特征确定出搜索规则。本实施方式中，测试人员可以依据经验确定，如针对可视化特征中控件类型为“点击(click)”控件，确定的搜索规则可以包括：查找html标签为“button”(按钮)、“input”(输入框)或“select”(下拉选择框)等标签类型的控件(查找的标签类型由需要而定)。也可以根据预定的规则确定，如针对可视化特征中文字信息为“登录”，搜索规则可以包括：查找“登录”文字所处的位置；如针对可视化特征中控件的方位特征为“与‘登录’文字重合”，搜索规则还可以包括：待确定的目标控件和“登录”文字的位置重合。

需要继续说明的是，当可视化特征有多个时，选取出N个可视化特征，并根据N个可视化特征确定出对应的搜索规则；其中，N为大于1的自然数。也就是说，当获取到的可视化特征较多时，为简化搜索规则的确定，可以限定选取其中的若干个，如三个，具体可以包括控件关联的文字信息和控件的方位特征。由于文字信息便于确定控件的大概位置，方位特征便于确定其位置，所以两者结合为较佳的通用组合。

实际应用中，在选取时可以根据可视化特征的优先级选取，优先级预先设置，选取时优先选取优先级高的可视化特征。如控件关联的文字信息和控件的方位特征设为最高优先级，那么选取可视化特征时，就优先选取这两个特征。

另外，多个可视化特征可以相互组合，确定出搜索规则，也可以分别确定出搜索规则，在此不再赘述。

步骤103，以搜索规则从目标控件所在界面的源代码中搜索。

具体的说，根据步骤102中确定出的搜索规则从UI界面上搜索，也是从该UI界面对应的源代码中搜索，从而可以定位目标控件。

以搜索规则中包括：文字描述信息的定位方式、关联搜索方式和目标控件定位方式，目标控件为图2中“用户名”右侧的输入框来举例，具体展示这一过程：

图2中UI对应的html示例片断如下：

首先，利用搜索规则中“文字描述信息的定位方式”查找“用户名：”，具体查找到“用户名：”所在的<td>标签，再根据输入框的标签“<input>”从“用户名：”所在的<td>标签附近搜索，上述html示例片段中，<tr>标签下可以搜索得到id为username的输入框(同时可以得到控件的X，Y坐标)。根据搜索规则中的关联搜索方式(此示例中，为向正右方搜索)，比较文字描述信息“用户名：”的<td>标签与其在页面上的位置关系(前文描述中，已经得到文字描述信息的坐标)，判断<input>标签是否在“用户名：”的正右侧。如果是，可认为这次搜索得到的input输入框就是符合搜索规则的目标控件。

其中，在<td>标签附近搜索时，可以先往上回溯到父标签<tr>，此时再往向下搜索<tr>的所有子标签，搜索是否有目标控件“<input>”标签，如果没有搜索到目标控件，可再往上回溯<tr>的父标签，以此类推。进一步说，可设置一最大的向上递归的深度，减少搜索时间。

步骤104，在目标控件上执行预设动作。

具体的说，预设动作可以包括以下之一或其任意组合：点击、键盘输入、光标悬停、鼠标拖曳、勾选、下拉选择。实际应用中，可以根据需求选择需要测试目标控件的动作。

可见，本实施方式的测试方法中，创新地利用了WEB UI上可见的特征，进行目标控件的搜索定位，也是由于发明人发现：WEB GUI的除了按钮、输入框、单/复选框等基本控件外，必定还存在大量的菜单名、标签、说明等这类文字描述信息来引导用户完成界面提供的一系列功能操作，尤其是界面复杂，控件多的情况下，因为单纯的按钮控件、输入框控件本身并无法向用户表明自己所承担的功能。这些提示性的描述信息，有些是文字，例如完成确认/取消操作的带有“OK/Cancel”按钮、直接进入某一功能界面的菜单导航栏等，有些是图形，如表示开关的“O/I”按钮等，总之一般都简单明了，既不会挤占太多的界面空间，同时又能快速指引用户完成操作。基于上述特征，本发明实施方式的测试方法可以提升用户界面的测试效率，降低维护成本。

综上，本实施方式利用目标控件的可视化特征对目标控件定位，由于可视化特征在用户界面上可以直接获得，所以在确定搜索规则时，可以尽量避免查阅该用户界面的源代码，利用所见即所得的方式确定搜索规则，加快自动化测试脚本或代码的编写速度，减轻测试人员的工作量，便于测试人员理解并上手。另外，当用户界面进行调整修改等处理时，可视化特征的更改概率较小，在测试代码的维护中，尽量减少搜索规则的变动，也就能减少测试脚本的改动，从而大大减轻测试人员后期对测试脚本或代码的维护工作量，提升用户界面的控件测试效率。另外，可以应用于现有的前端界面开发框架，适用性好，易于推广。

本发明的第二实施方式涉及一种用户界面的控件测试方法。第二实施方式在第一实施方式的基础上做了进一步改进，主要改进之处在于：在本发明第二实施方式中预设有可视化特征和搜索规则对应的模板，在确定搜索规则时，可以调用模板进行确定，进一步简化确定方式，减小测试人员的能力门槛。

本实施方式中的用户界面的控件测试方法流程图如图1所示，具体如下：

当根据可视化特征确定搜索规则时，具体调用模板，根据可视化特征确定搜索规则。

实际应用中，搜索规则中常用的搜索内容可以以模板形式调用，模板可以通过以下语言的结构数据来表达：JS对象简谱JSON、可扩展标记语言XML、规范与描述语言SDL或纲要描述语言YAML。

以JSON为例，对应的模板可以表达如下：

其中，文字描述信息的定位方式可以是通过上述的文字进行位置查找，关联搜索方式可以是目标控件相对于文字信息的方位，目标控件定位方式可以是目标控件可能的标签类型及其它属性信息。

实际应用中，模板除了可以采用JSON，还可以采用XML、SDL或YAML来表达，在此不再一一赘述。

可见，本实施方式中搜索规则预设一定的模板后，测试人员可以直接调用，根据实际情况改写其中的“内容”就可以应用，简化测试过程，方便快捷，进一步降低测试人员的能力门槛。

本发明的第三实施方式涉及一种用户界面的控件测试方法。本实施方式和第一实施方式大致相同，主要的区别在于：第一实施方式中应用于文字描述信息与目标控件视觉上距离很近，实际的html源代码也相近；而本实施方式应用于文字描述信息与目标控件视觉上距离很近，实际的html源代码却很远的情况，体现本发明中的用户界面的控件测试方法可以应用于各类场合，适应范围较广。

本实施方式中，首先仍然按照“文字描述信息”在html源码中搜索，找到目标控件可能的位置，再按“目标控件定位方式”，在当前页面中全局搜索。此时，“目标控件定位方式”中的标签必须带有很强的限定，为了尽可能减少候选目标控件的数据。在当前页面中搜索得到的所有候选控件中，通过搜索规则中的“关联搜索方式”来判断，与已搜索到的“文字描述信息”比对，得到最符合关联关系的目标控件，作为当前搜索规则得到的目标操作控件。

由于一些动态生成的目标控件，通常由用户的动作触发并在当前页面部会渲染更新，所以虽然视觉上距离很近，但html源码较远，这种情况下，本实施方式中根据可视化特征确定出的搜索规则，同样可以定位出目标控件，说明了本实施方式具有较为广泛的应用场景，利于推广。

本发明的第四实施方式涉及一种用户界面的控件测试方法。本实施方式明确了在搜索出多个候选控件，无法确定目标控件时，通过丰富搜索规则的内容实现筛选，最终确定出目标控件。

在以搜索规则从目标控件所在界面的源代码中搜索，以定位目标控件中，包括：

确定搜索结果中是否仅一个控件；若搜索结果中包括多个控件，则改变搜索规则，再次执行以搜索规则从目标控件所在界面的源代码中搜索的步骤；若搜索结果中仅一个控件，则该控件为目标控件。

改变搜索规则时，可以进一步丰富搜索规则中的内容，下面列举两种方式：

一、将“起始方位+序号”增加入搜索规则。如图3所示的界面，最终搜索得到的三个“文字描述信息”为“用户：”的输入框控件，分布在当前页面的不同方位，由于三个输入框控件所处的位置不同，则可以用“左2：3”来标示目标控件是候选控件中从左边起的第二个，或者可以用“上2：3”来标示目标控件是候选控件中从上往下数的第二个。

二、将“文字嵌套信息”增加入搜索规则。同样如图3所示的界面，当前页面中存在三个文字描述信息为“用户：”的控件，我们可以用“客户账号管理|用户：”诸如此类的嵌套“文字描述信息”，来限制目标操作控件是距离“客户账号管理”这个“文字描述信息”更近的输入框控件。嵌套“文字描述信息”这间以符号“|”分隔。

可见，虽然本实施方式中举了例子进行说明，但可知的是，实际应用中，可以根据目标控件的实际特征丰富搜索规则，在此不再一一列举。本实施方式明确了在搜索出多个候选控件，无法确定目标控件时，通过丰富搜索规则的内容实现筛选，最终确定出目标控件。也说明搜索规则可以根据实际需求自由组合，从而确定出合适的目标控件。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第五实施方式涉及一种电子设备，如图4所示，包括：

至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一实施方式至第四实施方式中任意一个用户界面的控件测试方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本发明第六实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (12)

1.一种用户界面的控件测试方法，其特征在于，包括：

获取目标控件的可视化特征；

根据所述可视化特征确定搜索规则；

以所述搜索规则从所述目标控件所在界面的源代码中搜索，以定位所述目标控件；

在所述目标控件上执行预设动作。

2.根据权利要求1所述的用户界面的控件测试方法，其特征在于，所述可视化特征有多个；

所述根据所述可视化特征确定搜索规则，包括：

选取出N个所述可视化特征，根据所述N个所述可视化特征确定出对应的搜索规则；

其中，所述N为大于1的自然数。

3.根据权利要求2所述的用户界面的控件测试方法，其特征在于，至少一个所述可视化特征预设有优先级；

所述选取出N个所述可视化特征中，包括：

优先选取优先级高的可视化特征。

4.根据权利要求2所述的用户界面的控件测试方法，其特征在于，所述选取出的N个可视化特征包括：控件关联的文字信息和控件的方位特征。

5.根据权利要求1所述的用户界面的控件测试方法，其特征在于，所述可视化特征包括：

控件的类型、控件关联的文字信息、控件的方位特征、和相邻控件的关系、颜色、形状或排序。

6.根据权利要求1所述的用户界面的控件测试方法，其特征在于，所述搜索规则预设有模板；

所述根据可视化特征确定搜索规则，具体为：

调用所述模板，根据所述可视化特征确定所述搜索规则。

7.根据权利要求1所述的用户界面的控件测试方法，其特征在于，在以所述搜索规则从所述目标控件所在界面的源代码中搜索，以定位所述目标控件中，包括：

确定搜索结果中是否仅一个控件；

若所述搜索结果中包括多个控件，则改变搜索规则，再次执行所述以所述搜索规则从所述目标控件所在界面的源代码中搜索的步骤；

若所述搜索结果中仅一个控件，则该控件为所述目标控件。

8.根据权利要求1所述的用户界面的控件测试方法，其特征在于，利用以下方式获取所述目标控件的可视化特征：

从用户输入的信息中获取。

9.根据权利要求1所述的用户界面的控件测试方法，其特征在于，所述搜索规则以以下结构数据来表达：

JS对象简谱JSON、可扩展标记语言XML、规范与描述语言SDL或纲要描述语言YAML。

10.根据权利要求1至8中任意一项所述的用户界面的控件测试方法，其特征在于，所述预设动作至少包括以下之一：

点击、键盘输入、光标悬停、鼠标拖曳、勾选、下拉选择。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至10中任一项所述的用户界面的控件测试方法。

12.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的用户界面的控件测试方法。