CN111309618A - 页面元素定位方法、页面测试方法及相关装置 - Google Patents

Abstract

本发明实施例公开了一种页面元素定位方法、页面测试方法及相关装置，包括：获取指定机型显示的待测试页面中目标页面元素的第一模板图像；对第一模板图像缩放得到在测试机型上用于对待测试页面中的目标页面元素进行定位的第二模板图像；获取测试机型显示的待测试页面的第一页面图像；对第一页面图像进行缩放得到多个不同尺寸的第二页面图像；基于第二模板图像对第二页面图像中的目标页面元素进行定位，得到目标页面元素在第一页面图像中的定位信息。本发明实施例中指定机型上获得的模板图像可以用于其他测试机型，模板图像可以和多个第二页面图像匹配，实现跨机型定位页面元素，解决了模板匹配算法不可抗缩放的缺陷，提高了模板匹配算法的鲁棒性。

Description

页面元素定位方法、页面测试方法及相关装置

技术领域

本发明实施例涉及页面测试技术领域，尤其涉及一种页面元素定位方法、页面元素定位装置、页面测试方法、页面测试装置、设备和存储介质。

背景技术

在开发应用程序的过程中，需要对应用程序UI界面上的各个页面元素(控件)进行测试，而在测试过程中，UI界面上的页面元素定位为测试的基础，在定位了页面元素后才能对页面元素进行相关的测试操作以对UI界面进行测试。

在移动终端上对应用程序UI界面上的页面元素进行测试时，现有技术中，UI界面上页面元素的识别和定位主要包括以下三种方式：

(1)基于页面xml结构识别和定位页面元素，主要是通过页面的层级路径来索引UI页面元素，即xpath定位。然而，当页面复杂时，xpath定位的索引路径长，搜索效率下降；再者，页面层级容易受到页面技术优化的影响导致xml结构发生变化，从而使得原有的xpath路径失效，需要重新修改测试脚本以保证测试能够正常运转。

(2)基于模板匹配算法识别和定位页面元素，即通过在页面中截取页面元素的图像作为模板图像，通过模板匹配算法从测试页面中识别出与模板图像匹配的区域来识别和定位页面元素，但是模板匹配算法具有不抗缩放的缺陷，无法将某个机型截取的模板图像应用于其他机型显示的待测试页面中，如果每个机型单独生成一个专有的模板图像又增加了复杂性和维护成本。

(3)基于神经网络的识别和定位页面元素，该方法需要大量的训练样本进行模型训练，因此需要进行大量的样本标注标签，在页面元素众多的情况下，需要耗费大量的标注成本。

综上所述，现有页面测试中页面元素定位存在定位效率低、无法跨机型定位以及需要进行大量样本标注的问题。

发明内容

本发明实施例提供一种页面元素定位方法、页面测试方法、页面元素定位装置、页面测试装置、设备和存储介质，以解决现有技术中页面测试中页面元素定位存在定位效率低、无法跨机型定位以及需要进行大量样本标注的问题。

第一方面，本发明实施例提供了一种页面元素定位方法，包括：

获取指定机型显示的待测试页面中目标页面元素的第一模板图像；

对所述第一模板图像进行图像缩放得到在测试机型上用于对所述待测试页面中的所述目标页面元素进行定位的第二模板图像；

获取所述测试机型显示的所述待测试页面的第一页面图像；

对所述第一页面图像进行图像缩放得到多个不同尺寸的第二页面图像；

基于所述第二模板图像对多个所述第二页面图像中的所述目标页面元素进行定位，以得到所述目标页面元素在所述第一页面图像中的定位信息。

第二方面，本发明实施例提供了一种页面测试方法，包括：

在测试机型上显示应用程序的待测试页面；

确定所述待测试页面上待测试操作的目标页面元素；

获取所述目标页面元素在所述待测试页面上的定位信息；

基于所述定位信息对所述目标页面元素进行测试操作以对所述待测试页面进行测试；

其中，所述目标页面元素在所述待测试页面上的定位信息通过本发明任一实施例所述的页面元素定位方法所获取。

第三方面，本发明实施例提供了一种页面元素定位装置，包括：

模板图像获取模块，用于获取指定机型显示的待测试页面中目标页面元素的第一模板图像；

模板图像缩放模块，对所述第一模板图像进行图像缩放得到在测试机型上用于对所述待测试页面中的所述目标页面元素进行定位的第二模板图像

第一页面图像获取模块，用于获取所述测试机型显示的所述待测试页面的第一页面图像；

第二页面图像获取模块，用于对所述第一页面图像进行图像缩放得到多个不同尺寸的第二页面图像；

定位模块，用于基于所述第二模板图像对多个所述第二页面图像中的所述目标页面元素进行定位，以得到所述目标页面元素在所述第一页面图像中的定位信息。

第四方面，本发明实施例提供了一种页面测试装置，包括：

待测试页面显示模块，用于在测试机型上显示应用程序的待测试页面；

目标页面元素确定模块，用于确定所述待测试页面上待测试操作的目标页面元素；

定位信息获取模块，用于获取所述目标页面元素在所述待测试页面上的定位信息；

测试操作模块，用于基于所述定位信息对所述目标页面元素进行测试操作以对所述待测试页面进行测试；

其中，所述目标页面元素在所述待测试页面上的定位信息通过本发明任一实施例所述的页面元素定位方法所获取。

第五方面，本发明实施例提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的页面元素定位方法和/或页面测试方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的页面元素定位方法和/或页面测试方法。

本发明实施例对指定机型上获得的目标页面元素的第一模板图像进行缩放，以获得在测试机型上用于对待测试页面中的目标页面元素进行定位的第二模板图像，以及对测试机型显示的待测试页面的第一页面图像进行多种比例的缩放得到多个第二页面图像，然后采用第二模板图像和多个第二页面图像进行模板匹配，使得指定机型上获得的模板图像可以用于其他测试机型上对待测试页面进行测试，模板图像和多个不同尺寸的第二页面图像匹配，解决了模板匹配算法不可抗缩放的缺陷，简化了模板数据和降低了模板维护成本，实现了跨机型识别定位页面元素，提高了模板匹配算法的鲁棒性。

进一步地，无需训练模型来识别和定位页面元素，避免了对大量样本进行标注，节省了人工标注成本。

更进一步地，采用模板匹配算法识别和定位页面元素，无需通过页面的XML结构识别定位页面元素，解决了采用XML结构识别和定位页面元素时存在效率低和xpath路径失效需要修改测试脚本的问题，提高了页面元素定位和页面测试的效率。

附图说明

图1是本发明实施例一提供的一种页面元素定位方法的步骤流程图；

图2A是本发明实施例二提供的一种页面元素定位方法的步骤流程图；

图2B是本发明实施例中应用程序的待测试页面的示意图；

图3是本发明实施例三提供的一种页面测试方法的步骤流程图；

图4是本发明实施例四提供的一种页面元素定位装置的结构框图；

图5是本发明实施例五提供的一种页面测试装置的结构框图；

图6是本发明实施例六提供的一种设备的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种页面元素定位方法的步骤流程图，本发明实施例可适用于对页面上的元素进行定位的情况，该方法可以由本发明实施的页面元素定位装置来执行，该页面元素定位装置可以由硬件或软件来实现，并集成在本发明实施例所提供的设备中，具体地，如图1所示，本发明实施例的页面元素定位方法可以包括如下步骤：

S101、获取指定机型显示的待测试页面中目标页面元素的第一模板图像。

本发明实施例可以先在任意一种指定机型显示应用程序的待测试页面，其中，机型是指终端的型号，例如可以是手机、平板电脑、个人电子数字助理等移动终端的型号，各种移动终端因为屏幕不同具有不同的分辨率。待测试页面可以是应用程序的UI界面，该UI界面上包括多个页面元素，页面元素可以是UI界面上的各种控件，待测试页面在不同型号机型上显示的尺寸有所不同。

在指定机型显示待测试页面时，可以通过指定机型上系统自带的截屏函数或者其他截屏插件截取指定机型显示的待测试页面的页面图像，然后对该页面图像进行图像识别，获得目标页面元素的显示区域，将该显示区域的显示内容进行截取获得目标页面元素的图像作为第一模板图像，其中，目标页面元素可以为对待测试页面进行测试时需要进行测试操作的页面元素，例如，应用程序为短视频应用程序，目标页面元素可以是通知消息控件、好友列表控件、返回主页面控件等。

S102、对所述第一模板图像进行图像缩放得到在测试机型上用于对待测试页面中的所述目标页面元素进行定位的第二模板图像。

本发明实施例中，第一模板图像为待测试页面在指定机型显示时截取目标页面元素获得的图像，可以根据指定机型和所有测试机型的显示参数对第一模板图像进行图像缩放得到第二模板图像，该第二模板图像用于在测试机型测试待测试页面时用于模板匹配。

具体地，显示参数可以是指定机型上显示待测试页面的宽度和所有测试机型的最小分辨率，则可以根据宽度和最小分辨率计算第一模板图像的缩放比例，以该缩放比例对第一模板图像进行缩放，得到用于对第二页面图像中的目标页面元素进行定位的第二模板图像。

又或者对于每款测试机型，获得该测试机型的分辨率，计算该测试机型的分辨率与指定机型的分辨率的比值作为对第一模板图像进行缩放的缩放比例，以该缩放比例对第一模板图像进行缩放得到第二模板图像，当然，在实际应用中本领域技术人员还可以通过其他方式对第一模板图像进行缩放得到第二模板图像，使得该第二模板图像适用于各种测试机型。

S103、获取测试机型显示的所述待测试页面的第一页面图像。

在实际应用中，应用程序需要在多个测试机型上进行测试，当在测试机型上显示应用程序的待测试页面时，可以对测试机型当前显示的页面进行截图操作，获得的图像即为待测试页面的第一页面图像，其中，测试机型和指定机型可以为型号不相同的机型。

S104、对所述第一页面图像进行图像缩放得到多个不同尺寸的第二页面图像。

具体地，可以确定缩放比例范围，然后以缩放比例范围中的最小缩放比例为初始缩放比例，按照预设步长计算每次缩放的缩放比例，直到缩放比例为缩放比例范围中的最大缩放比例，从而可以将第一页面图像缩放为多种缩放比例的、不同尺寸大小的第二页面图像，其中，缩放比例范围和步长可以根据实际情况设定，优选地，缩放可以为等比缩放，即第一页面图像的宽和高呈等比例缩放。

S105、基于所述第二模板图像对多个所述第二页面图像中的所述目标页面元素进行定位，以得到所述目标页面元素在所述第一页面图像中的定位信息。

具体地，可以采用模板匹配算法，以第二模板图像为模板对多个第二页面图像进行模板匹配，得到每个第二页面图像中与第二模板图像匹配度最佳的页面元素并截取该最佳的页面元素的图像，然后再将每个第二页面图像的最佳的页面元素的图像和第二模板图像输入到相似度预测模型中，将相似度最高的最佳的页面元素作为目标页面元素，然后根据该目标页面元素所在的第二页面图像的缩放比例计算该目标页面元素在第一页面图像中的坐标、宽度以及高度作为目标页面元素在第一页面图像中的定位信息。

本发明实施例通过对指定机型上获得的目标页面元素的第一模板图像进行缩放，以获得在测试机型上用于对待测试页面中的目标页面元素进行定位的第二模板图像，以及对测试机型显示的待测试页面的第一页面图像进行多种比例的缩放得到多个第二页面图像，然后采用第二模板图像和多个第二页面图像进行模板匹配，使得指定机型上获得的模板图像可以用于其他测试机型上对待测试页面进行测试，模板图像和多个不同尺寸的第二页面图像匹配，解决了模板匹配算法不可抗缩放的缺陷，简化了模板数据和降低了模板维护成本，实现了跨机型识别定位页面元素，提高了模板匹配算法的鲁棒性。

进一步地，采用模板匹配算法识别定位页面元素，无需通过页面的XML结构识别定位页面元素，也无需训练模型来识别定位页面元素，既解决了采用XML结构识别定位页面元素时存在效率低和xpath路径失效需要修改测试脚本的问题，提高了页面元素定位和页面测试的效率，又避免训练模型来定位页面元素需要对大量样本进行标注，节省了人工标注成本。

实施例二

图2A为本发明实施例二提供的一种页面元素定位方法的步骤流程图，本发明实施例在前述实施例一的基础上进行优化，具体地，如图2A所示，本发明实施例的页面元素定位方法可以包括如下步骤：

S201、获取指定机型显示的待测试页面中目标页面元素的第一模板图像。

具体地，可以在指定机型显示待测试页面时识别出待测试页面中的目标页面元素，从待测试页面截取包含目标页面元素的显示区域得到第一模板图像。

在本发明实施例中，指定机型可以是具有任一显示分辨率的终端设备，在指定机型显示应用程序的待测试页面时，可以截取该待测试页面的图像，然后采用图像识别技术识别出待测试页面的图像中包含的目标页面元素。如图2B所示，图2B为指定机型显示的待测试页面，在截取该待测试页面的到图像A，通过图像识别技术从图像A中识别出目标页面元素B(通知消息控件)。当然，除了图像识别技术外，还可以基于用户的选择操作从图像A中确定出目标页面元素B，例如，基于用户的框选操作、点击操作、触摸操作等确定出需要进行测试的目标页面元素B，本发明实施例对从待测试页面识别出目标页面元素的方式不加以限制。

可选地，可以采用截图技术从待测试页面中截取目标页面元素的显示区域得到第一模板图像，如图2B所示，可以先采用截图技术截取待测试页面的得到图像A，在图像A中识别出目标页面元素B后，采用截图技术从图像A中截取目标页面元素B的显示区域得到的图像即为第一模板图像。当然，当基于用户操作在待测试页面直接确定目标页面元素B后，可以直接从显示的待测试页面上截取目标页面元素B的显示区域得到第一模板图像。

S202、获取所有测试机型的最小分辨率以及获取所述待测试页面在所述指定机型显示的宽度。

在实际应用中，不同的测试机型具有不同的分辨率，例如，各种测试机型的分辨率可以为480P、720P、1080P等等，则可以从所有的测试机型中确定出测试机型的最小分辨率，并获取待测试页面在指定机型中的显示的宽度，宽度可以是指待测试页面在指定机型全屏显示时，待测试页面在宽度方向上的像素数量。

S203、采用所述最小分辨率和所述宽度计算缩放比例。

优选地，可以计算最小分辨率和宽度的比值作为第一模板图像的缩放比例，例如，对于手机、平板电脑等移动终端，待测试页面显示的最小分辨率为480P，则可以将缩放比例可以为480/宽度，使得第二模板图像足够小，当然，最小分辨率还可以是360P或者是其他分辨率。

可选地，可以获取测试机型的分辨率，计算测试机型的分辨率与指定机型分辨率的比值作为缩放比例来对第一模板图像进行缩放。

S204、采用所述缩放比例对所述第一模板图像进行图像缩放得到第二模板图像。

优选地，本发明实施例可以对第一模板图像进行等比缩放，即得到缩放比例后，以该缩放比例对第一模板图像进行等比缩放获得第二模板图像，使得该第二模板图像适用于测试机型对待测试页面进行模板匹配。

S205、获取测试机型显示的所述待测试页面的第一页面图像。

在实际应用中，应用程序需要在多个测试机型上进行测试，当在测试机型上显示应用程序的待测试页面时，可以对测试机型当前显示的页面进行截图操作，获得的图像即为待测试页面的第一页面图像，其中，测试机型和指定机型可以为型号不相同的机型。

S206、采用预设的初始缩放比例和预设步长计算每次缩放的缩放比例得到多个缩放比例。

具体地，可以设置缩放比例范围[a，b]，a和b均大于0小于1，且a小于b，可以以a为初始缩放比例，以步长c计算缩放比例Dn＝a+n×c，n为自然数，直到Dn等于b，例如，缩放比例范围为[0.2，0.9]，步长c＝0.01，则Dn＝0.2+0.01n，即缩放比例依次为0.21、0.22、0.23……0.9。当然在实际应用中，本领域技术人员可以任意设置缩放比例范围和步长，或者还可以根据用户指定缩放比例、随机数生成函数生成缩放比例等其他方式获得多个缩放比例，本发明实施例对获得多个缩放比例的方式不加以限制。

S207、依次采用多个缩放比例对所述第一页面图像进行图像缩放得到多个不同尺寸的第二页面图像。

在本发明实施例中，可以采用等比缩放的方式对第一页面图像进行缩放得到第二页面图像，例如，对于第一页面图像B，采用每个缩放比例对第一页面图像B进行等比缩放得到多个不同尺寸大小的第二页面图像集合C＝{C1、C2…..Cn}。

由于对指定机型上获得的目标页面元素的第一模板图像进行缩放，以获得到在测试机型上用于对待测试页面中的目标页面元素进行定位的第二模板图像，同时对测试机型显示的待测试页面的第一页面图像进行多种比例的缩放得到多个第二页面图像，使得指定机型上获得的模板图像可以用于其他测试机型上对待测试页面的多个缩放后的第二页面图像进行匹配，仅需要保存指定机型上获得的模板图像，既简化了模板数据和降低了模板维护成本，实现了跨机型识别定位页面元素，又解决了模板匹配算法不可抗缩放的缺陷，使得模板图像和多个不同尺寸的第二页面图像匹配，提高了模板匹配算法的鲁棒性。

S208、针对每个第二页面图像，基于所述第二模板图像对所述第二页面图像进行模板匹配，获得所述第二页面图像中与所述第二模板图像匹配度最高的页面元素的元素图像以及元素信息。

具体地，可以对第二模板图像进行边缘提取处理得到边缘处理后的第二模板图像，对第二页面图像进行边缘提取处理得到边缘处理后的第二页面图像，然后以边缘处理后的第二模板图像为模板，采用预设模板匹配算法对边缘处理后的第二页面图像进行模板匹配，获得第二页面图像中与第二模板图像匹配度最高的页面元素的元素图像以及元素信息。

示例性地，对第二页面图像集合C＝{C1、C2…..Cn}中的每个第二页面图像Cn进行边缘信息提取，得到边缘处理后的第二页面图像Cn′，同时对第二模板图像进行边缘信息提取得到边缘处理后的第二模板图像A′，采样模板匹配算法对边缘处理后的第二模板图像A′和边缘处理后的第二页面图像Cn′进行模板匹配，得到匹配度最高的区域，从第二页面图像Cn中提取该匹配度最高的区域即得到匹配度最高的页面元素的元素图像Cnbest。

其中，边缘检测算法可以是Sobel、Laplacian、canny等边缘检测算法，模板匹配算法opencv中自带的模板匹配算法，OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。模板匹配是在一幅图像中寻找一个特定目标，即遍历图像中的每一个可能的位置，比较各个位置与模板是否“相似”，当相似度足够高时，确定该位置与模板匹配，OpenCV提供了平方差匹配法、归一化平方差匹配法、相关匹配法、归一化相关匹配法、相关系数匹配法、归一化相关系数匹配法等匹配算法。

对于每张第二页面图像Cn，通过匹配算法后可以获得每张第二页面图像Cn中的匹配度最高的页面元素的元素图像Cnbest，并记录该页面元素的匹配度、在第二页面图像Cn中的坐标、元素图像Cnbest的宽度和高度等作为元素信息。

S209、将所述元素图像和所述第二模板图像输入相似度预测模型中获得所述元素图像与所述第二模板图像的相似度。

在本发明的优选实施例中，可以确定匹配度大于预设阈值的页面元素，将匹配度大于预设阈值的页面元素的元素图像和第二模板图像输入相似度预测模型中获得元素图像与第二模板图像的相似度。

具体地，相似度预测模型可以为预先训练的模型，该相似度预测模型可以预测输入的两张图像的相似度，具体到本发明实施例中，在模板匹配时可以获得匹配度，可以将匹配度大于预设阈值的页面元素的元素图像输入相似度预测模型，又或者按照匹配度对页面元素进行降序排序，将TOP K页面元素的元素图像输入相似度预测模型中。其中，相似度预测模型可以为各种神经网络，本发明实施例对相似度预测模型属于何种神经网络不加以限制。

本发明实施例筛选出匹配度大于预设阈值的页面元素的元素图像输入相似度预测模块，可以减少计算量，提高目标页面元素的定位效率。

S210、将相似度最高的元素图像对应的页面元素作为目标页面元素。

在本发明实施例通过相似度预测模型预测相似度之后，可以确定相似度最高的元素图像，在相似度最高的元素图像对应的页面元素的匹配度大于预设值时，确定该页面元素为目标页面元素，即对于相似度最高的页面元素，如果在模板匹配时其匹配度也高于预设值(如0.8)，则确定该页面元素为目标页面元素。

本发明实施例预先使用边缘检测算法提取边缘信息后进行模板匹配，获取匹配大于预设阈值的页面元素输入相似度预测模型中进行相似度度量得到目标页面元素，既可以采用边缘检测算法和模板匹配算法快速地确定匹配度大于预设阈值的页面元素输入相似度预测模型中，避免使用相似度预测模型在整个待测试页面中搜索目标页面元素，提高了目标页面元素的定位效率，又能够采用相似度预测模型确定最终的目标页面元素，解决了边缘检测算法和模板匹配算法定位准确度和鲁棒性较差的问题，能够使用相似度预测模型来确定最终目标页面元素，提高了定位的准确度和鲁棒性。

S211、基于所述目标页面元素的元素信息和所述目标页面元素所在的第二页面图像的缩放比例计算所述目标页面元素的位置作为所述目标页面元素在所述第一页面图像中的定位信息。

在本发明实施例中，元素信息可以包括元素在页面中的坐标以及元素图像的宽度和高度，则可以采用目标页面元素在第二页面图像中的坐标和缩放比例计算目标页面元素在第一页面图像中的坐标，采用目标页面元素的元素图像的宽和高以及缩放比例计算目标页面元素在第一页面图像中的宽和高。

具体地，第二页面图像由第一页面图像缩放得到，元素图像由第二页面图像中截取获得，为了获得第一页面图像中目标页面元素的定位信息，可以采用目标页面元素在第二页面图像中的元素信息和第二页面图像的缩放比例进行计算，示例性地，在第二页面图像的缩放比例为0.5，目标页面元素的元素图像在第二页面图像中的坐标为x＝5，y＝5，宽width＝10，高height＝10，则目标页面元素在第一页面图像中的定位信息为：x＝10，y＝10，width＝20，height＝20。

S212、基于所述目标页面元素在所述第一页面图像中的定位信息获取所述目标页面元素的元素图像。

具体地，可以根据目标页面元素在第一页面图像中的坐标、宽度和高度，从第一页面图像中截取坐标、宽度和高度所指示的区域作为目标页面元素在第一页面图像中的元素图像。

S213、存储所述元素图像作为所述目标页面元素在所述测试机型显示的所述待测试页面中目标页面元素的模板图像以及存储所述定位信息。

对于测试机型显示待测试页面，可缓存从第一页面图像截取的元素图像作为待测试页面在测试机型显示时的模板图像，缓存定位信息作为待测试页面在测试机型显示时目标页面元素的定位信息，以便后续在该测试机型对待测试页面进行测试时直接获得定位信息和模板图像，节省了前述S201-S212的步骤，提高测试效率。

本发明实施例对指定机型上获得的目标页面元素的第一模板图像进行缩放，以获得到在测试机型上用于对待测试页面中的目标页面元素进行定位的第二模板图像，同时对测试机型显示的待测试页面的第一页面图像进行多种比例的缩放得到多个第二页面图像，使得指定机型上获得的模板图像可以用于其他测试机型上对待测试页面的多个缩放后的第二页面图像进行匹配，仅需要保存指定机型上获得的模板图像，既简化了模板数据和降低了模板维护成本，实现了跨机型识别定位页面元素，又解决了模板匹配算法不可抗缩放的缺陷，使得模板图像和多个不同尺寸的第二页面图像匹配，提高了模板匹配算法的鲁棒性。

进一步地，先使用边缘检测算法提取边缘信息后进行模板匹配，获取匹配大于预设阈值的页面元素输入相似度预测模型中进行相似度度量得到目标页面元素，既可以采用边缘检测算法和模板匹配算法快速地确定匹配度大于预设阈值的页面元素输入相似度预测模型中，避免使用相似度预测模型在整个待测试页面中搜索目标页面元素，提高了目标页面元素的定位效率，又能够采用相似度预测模型确定最终的目标页面元素，解决了边缘检测算法和模板匹配算法定位准确度和鲁棒性较差的问题，能够使用相似度预测模型来确定最终目标页面元素，提高了定位的准确度和鲁棒性。

更进一步地，采用模板匹配算法识别定位页面元素，无需通过页面的XML结构识别定位页面元素，也无需训练模型来识别定位页面元素，既解决了采用XML结构识别定位页面元素时存在效率低和xpath路径失效需要修改测试脚本的问题，提高了页面元素定位和页面测试的效率，又避免训练模型来定位页面元素需要对大量样本进行标注，节省了人工标注成本。

实施例三

图3为本发明实施例三提供的一种页面测试方法的步骤流程图，本发明实施例可适用于对页面进行测试的情况，该方法可以由本发明实施的页面测试装置来执行，该页面测试装置可以由硬件或软件来实现，并集成在本发明实施例所提供的设备中，具体地，如图3所示，本发明实施例的页面测试方法可以包括如下步骤：

S301、在测试机型上显示应用程序的待测试页面。

本发明实施例中机型是指终端的型号，例如可以是手机、平板电脑、个人电子数字助理等移动终端，各种移动终端因为屏幕不同具有不同的分辨率。待测试页面可以是应用程序的UI界面，该UI界面上包括多个页面元素，页面元素可以是UI界面上的各种控件。由于应用程序需要在不同机型上进行测试以确定其兼容性，可以在测试机型上显示应用程序的待测试页面。如图2B所示为在测试机型上显示的待测试页面。

S302、确定所述待测试页面上待测试操作的目标页面元素。

在本发明实施例中，待测试页面包括多个页面元素，可以从中确定出需要进行测试操作的页面元素，可选地，可以基于用户预先编辑的测试脚本确定待测试页面上进行测试操作的目标页面元素，如图2B所示，目标页面元素可以为元素B。

S303、获取所述目标页面元素在所述待测试页面上的定位信息。

在本发明实施例中，可以获取指定机型显示的待测试页面中目标页面元素的第一模板图像；对第一模板图像进行图像缩放处理得到在测试机型上用于对待测试页面中的目标页面元素进行定位的第二模板图像；获取测试机型显示的待测试页面的第一页面图像；对第一页面图像进行缩放得到多个不同尺寸的第二页面图像；基于第二模板图像对多个第二页面图像中的目标页面元素进行定位得到所述目标页面元素在第一页面图像中的定位信息。

具体获取目标页面元素在待测试页面上的定位信息可参考实施例一或者实施例二所提供的页面元素定位方法，在此不再详述。

S304、基于所述定位信息对所述目标页面元素进行测试操作以对所述待测试页面进行测试。

在实际应用中，待测试页面上的每个页面元素可以为一个控件，确定目标页面元素的定位信息后，可以根据定位信息对待测试页面的、定位信息指示的区域进行测试操作，例如，可以将定位信息传输至模拟测试的接口，以通过测试脚本对定位信息指示的区域进行模拟点击、触摸等测试操作，从而实现自动化对待测试页面进行测试。

本发明实施测试过程中通过本发明实施例的页面元素定位方法获得待测试页面上目标页面元素的定位信息，并基于定位信息对目标页面元素进行测试操作以对待测试页面进行测试，在获取定位信息时，通过对指定机型上获得的目标页面元素的第一模板图像进行缩放，以获得在测试机型上用于对待测试页面中的目标页面元素进行定位的第二模板图像，以及对测试机型显示的待测试页面的第一页面图像进行多种比例的缩放得到多个第二页面图像，然后采用第二模板图像和多个第二页面图像进行模板匹配，使得指定机型上获得的模板图像可以用于其他测试机型上对待测试页面进行测试，既简化了模板数据和降低了模板维护成本，实现了跨机型识别定位页面元素，又解决了模板匹配算法不可抗缩放的缺陷，使得模板图像和多个不同尺寸的第二页面图像匹配，提高了模板匹配算法的鲁棒性。

进一步地，无需训练模型来识别定位页面元素，避免了对大量样本进行标注，节省了人工标注成本。

更进一步地，采用模板匹配算法识别定位页面元素，无需通过页面的XML结构识别定位页面元素，解决了采用XML结构识别定位页面元素时存在效率低和xpath路径失效需要修改测试脚本的问题，提高了页面元素定位和页面测试的效率。

实施例四

图4是本发明实施例四提供的一种页面元素定位装置的结构框图，如图4所示，本发明实施例的页面元素定位装置具体可以包括如下模块：

模板图像获取模块401，用于获取指定机型显示的待测试页面中目标页面元素的第一模板图像；

模板图像缩放模块402，对所述第一模板图像进行图像缩放得到在测试机型上用于对所述待测试页面中的所述目标页面元素进行定位的第二模板图像

第一页面图像获取模块403，用于获取所述测试机型显示的所述待测试页面的第一页面图像；

第二页面图像获取模块404，用于对所述第一页面图像进行缩放得到多个不同尺寸的第二页面图像；

定位模块405，用于基于所述第二模板图像对多个所述第二页面图像中的所述目标页面元素进行定位，以得到所述目标页面元素在所述第一页面图像中的定位信息。

可选地，模板图像获取模块401包括：

目标页面元素识别子模块，用于在指定机型显示待测试页面时，识别出所述待测试页面中的目标页面元素；

第一模板图像识别子模块，用于从所述待测试页面截取包含所述目标页面元素的显示区域得到第一模板图像。

可选地，所述模板图像缩放模块402包括：

分辨率和宽度获取子模，用于获取所有测试机型的最小分辨率以及获取所述待测试页面在所述指定机型显示的宽度；

模板图像缩放比例计算子模块，用于采用所述最小分辨率和所述宽度计算缩放比例；

模板图像缩放子模块，用于采用所述缩放比例对所述第一模板图像进行图像缩放得到第二模板图像。

可选地，所述第二页面图像获取模块404包括：

页面图像缩放比例计算子模块，用于采用预设的初始缩放比例和预设步长计算每次缩放的缩放比例，得到多个缩放比例；

页面图像缩放子模块，用于依次采用多个缩放比例对所述第一页面图像进行缩放得到多个不同尺寸的第二页面图像。

可选地，所述定位模块405包括：

模板匹配子模块，用于针对每个第二页面图像，基于所述第二模板图像对所述第二页面图像进行模板匹配，获得所述第二页面图像中与所述第二模板图像匹配度最高的页面元素的元素图像以及元素信息；

相似度预测子模块，用于将所述元素图像和所述第二模板图像输入相似度预测模型中获得所述元素图像与所述第二模板图像的相似度；

目标页面元素确定子模块，用于将相似度最高的元素图像对应的页面元素作为目标页面元素；

比例换算子模块，用于基于所述目标页面元素的元素信息和所述目标页面元素所在的第二页面图像的缩放比例计算所述目标页面元素的位置作为所述目标页面元素在所述第一页面图像中的定位信息。

可选地，所述模板匹配子模块包括：

第一边缘信息提取单元，用于对所述第二模板图像进行边缘提取处理得到边缘处理后的第二模板图像；

第二边缘信息提取单元，用于对所述第二页面图像进行边缘提取处理得到边缘处理后的第二页面图像；

模板匹配单元，用于以所述边缘处理后的第二模板图像为模板，采用预设模板匹配算法对边缘处理后的第二页面图像进行模板匹配，获得所述第二页面图像中与所述第二模板图像匹配度最高的页面元素的元素图像以及元素信息。

可选地，所述相似度预测子模块包括：

匹配度确定单元，用于确定匹配度大于预设阈值的页面元素；

相似度预测单元，用于将匹配度大于预设阈值的页面元素的元素图像和所述第二模板图像输入相似度预测模型中获得所述元素图像与所述第二模板图像的相似度。

可选地，所述目标页面元素确定子模块包括：

最高相似度确定单元，用于确定相似度最高的元素图像；

目标页面元素确定单元，用于在所述相似度最高的元素图像对应的页面元素的匹配度大于预设值时，确定所述页面元素为目标页面元素。

可选地，所述元素信息包括所述页面元素在所述第二页面图像中的坐标，所述页面元素的元素图像的宽和高，所述比例换算子模块包括：

坐标计算单元，用于采用所述目标页面元素在所述第二页面图像中的坐标和所述缩放比例计算所述目标页面元素在第一页面图像中的坐标；

图像尺寸计算单元，用于采用所述目标页面元素的元素图像的宽和高以及所述缩放比例计算所述目标页面元素在所述第一页面图像中的宽和高。

可选地，还包括：

元素图像获取模块，用于基于所述目标页面元素在所述第一页面图像中的定位信息获取所述目标页面元素的元素图像；

模板图像和定位信息存储模块，用于存储所述元素图像作为所述目标页面元素在所述测试机型显示的所述待测试页面中目标页面元素的模板图像以及存储所述定位信息。

本发明实施例所提供的页面元素定位装置可执行本发明实施例一、实施例二所提供的页面元素定位方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5是本发明实施例五提供的一种页面测试装置的结构框图，如图5所示，本发明实施例的页面测试装置具体可以包括如下模块：

待测试页面显示模块501，用于在测试机型上显示应用程序的待测试页面；

目标页面元素确定模块502，用于确定所述待测试页面上待测试操作的目标页面元素；

定位信息获取模块503，用于获取所述目标页面元素在所述待测试页面上的定位信息；

测试操作模块504，用于基于所述定位信息对所述目标页面元素进行测试操作以对所述待测试页面进行测试；

其中，所述目标页面元素在所述待测试页面上的定位信息通过本发明任一实施例所述的页面元素定位方法所获取。

本发明实施例所提供的页面测试装置可执行本发明实施例三所提供的页面测试方法，具备执行方法相应的功能模块和有益效果。

实施例五

参照图6，示出了本发明一个示例中的一种设备的结构示意图。如图6所示，该设备具体可以包括：处理器60、存储器61、具有触摸功能的显示屏62、输入装置63、输出装置64以及通信装置65。该设备中处理器60的数量可以是一个或者多个，图6中以一个处理器60为例。该设备的处理器60、存储器61、显示屏62、输入装置63、输出装置64以及通信装置65可以通过总线或者其他方式连接，图6中以通过总线连接为例。

本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由设备的处理器执行时，使得设备能够执行如上述方法实施例所述的页面元素定位方法和/或页面测试方法。

需要说明的是，对于装置、设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种页面元素定位方法，其特征在于，包括：

获取指定机型显示的待测试页面中目标页面元素的第一模板图像；

对所述第一模板图像进行图像缩放得到在测试机型上用于对所述待测试页面中的所述目标页面元素进行定位的第二模板图像；

获取所述测试机型显示的所述待测试页面的第一页面图像；

对所述第一页面图像进行图像缩放得到多个不同尺寸的第二页面图像；

基于所述第二模板图像对多个所述第二页面图像中的所述目标页面元素进行定位，以得到所述目标页面元素在所述第一页面图像中的定位信息。

2.根据权利要求1所述的方法，其特征在于，所述获取指定机型显示的待测试页面中目标页面元素的第一模板图像，包括：

在指定机型显示待测试页面时，识别出所述待测试页面中的目标页面元素；

从所述待测试页面中截取包含所述目标页面元素的显示区域得到第一模板图像。

3.根据权利要求1所述的方法，其特征在于，所述对所述第一模板图像进行图像缩放得到在测试机型上用于对所述待测试页面中的所述目标页面元素进行定位的第二模板图像，包括：

获取所有测试机型的最小分辨率以及获取所述待测试页面在所述指定机型显示的宽度；

采用所述最小分辨率和所述宽度计算缩放比例；

采用所述缩放比例对所述第一模板图像进行图像缩放得到第二模板图像。

4.根据权利要求1所述的方法，其特征在于，所述对所述第一页面图像进行图像缩放得到多个不同尺寸的第二页面图像，包括：

采用预设的初始缩放比例和预设步长计算每次图像缩放的缩放比例得到多个缩放比例；

依次采用多个缩放比例对所述第一页面图像进行图像缩放得到多个不同尺寸的第二页面图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述第二模板图像对多个所述第二页面图像中的所述目标页面元素进行定位，以得到所述目标页面元素在所述第一页面图像中的定位信息，包括：

针对每个第二页面图像，基于所述第二模板图像对所述第二页面图像进行模板匹配，获得所述第二页面图像中与所述第二模板图像匹配度最高的页面元素的元素图像以及元素信息；

将所述元素图像和所述第二模板图像输入相似度预测模型中获得所述元素图像与所述第二模板图像的相似度；

将相似度最高的元素图像对应的页面元素作为目标页面元素；

基于所述目标页面元素的元素信息和所述目标页面元素所在的第二页面图像的缩放比例计算所述目标页面元素的位置，以作为所述目标页面元素在所述第一页面图像中的定位信息。

6.根据权利要求5所述的方法，其特征在于，所述针对每个第二页面图像，基于所述第二模板图像对所述第二页面图像进行模板匹配，获得所述第二页面图像中与所述第二模板图像匹配度最高的页面元素的元素图像以及元素信息，包括：

对所述第二模板图像进行边缘提取处理得到边缘处理后的第二模板图像；

对所述第二页面图像进行边缘提取处理得到边缘处理后的第二页面图像；

以所述边缘处理后的第二模板图像为模板，采用预设模板匹配算法对边缘处理后的第二页面图像进行模板匹配，获得所述第二页面图像中与所述第二模板图像匹配度最高的页面元素的元素图像以及元素信息。

7.根据权利要求5所述的方法，其特征在于，所述元素信息包括所述页面元素的匹配度，所述将所述元素图像和所述第二模板图像输入相似度预测模型中获得所述元素图像与所述第二模板图像的相似度，包括：

确定匹配度大于预设阈值的页面元素；

将匹配度大于预设阈值的页面元素的元素图像和所述第二模板图像输入相似度预测模型中获得所述元素图像与所述第二模板图像的相似度。

8.根据权利要求5所述的方法，其特征在于，所述将相似度最高的元素图像对应的页面元素作为目标页面元素，包括：

确定相似度最高的元素图像；

在所述相似度最高的元素图像对应的页面元素的匹配度大于预设值时，确定所述页面元素为目标页面元素。

9.根据权利要求5所述的方法，其特征在于，所述元素信息包括所述页面元素在所述第二页面图像中的坐标，所述页面元素的元素图像的宽和高，所述基于所述目标页面元素的元素信息和所述目标页面元素所在的第二页面图像的缩放比例计算所述目标页面元素的位置，以作为所述目标页面元素在所述第一页面图像中的定位信息，包括：

采用所述目标页面元素在所述第二页面图像中的坐标和所述缩放比例计算所述目标页面元素在第一页面图像中的坐标；

采用所述目标页面元素的元素图像的宽和高以及所述缩放比例计算所述目标页面元素在所述第一页面图像中的宽和高。

10.根据权利要求1所述的方法，其特征在于，还包括：

基于所述目标页面元素在所述第一页面图像中的定位信息获取所述目标页面元素的元素图像；

存储所述元素图像作为所述目标页面元素在所述测试机型显示的所述待测试页面中目标页面元素的模板图像以及存储所述定位信息。

11.一种页面测试方法，其特征在于，包括：

在测试机型上显示应用程序的待测试页面；

确定所述待测试页面上待测试操作的目标页面元素；

获取所述目标页面元素在所述待测试页面上的定位信息；

基于所述定位信息对所述目标页面元素进行测试操作以对所述待测试页面进行测试；

其中，所述目标页面元素在所述待测试页面上的定位信息通过权利要求1-10任一项所述的页面元素定位方法所获取。

12.一种页面元素定位装置，其特征在于，包括：

模板图像获取模块，用于获取指定机型显示的待测试页面中目标页面元素的第一模板图像；

模板图像缩放模块，对所述第一模板图像进行图像缩放得到在测试机型上用于对所述待测试页面中的所述目标页面元素进行定位的第二模板图像

第一页面图像获取模块，用于获取所述测试机型显示的所述待测试页面的第一页面图像；

第二页面图像获取模块，用于对所述第一页面图像进行图像缩放得到多个不同尺寸的第二页面图像；

定位模块，用于基于所述第二模板图像对多个所述第二页面图像中的所述目标页面元素进行定位，以得到所述目标页面元素在所述第一页面图像中的定位信息。

13.一种页面测试装置，其特征在于，包括：

待测试页面显示模块，用于在测试机型上显示应用程序的待测试页面；

目标页面元素确定模块，用于确定所述待测试页面上待测试操作的目标页面元素；

定位信息获取模块，用于获取所述目标页面元素在所述待测试页面上的定位信息；

测试操作模块，用于基于所述定位信息对所述目标页面元素进行测试操作以对所述待测试页面进行测试；

其中，所述目标页面元素在所述待测试页面上的定位信息通过权利要求1-10任一项所述的页面元素定位方法所获取。

14.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一项所述的页面元素定位方法和/或权利要求11所述的页面测试方法。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一项所述的页面元素定位方法和/或权利要求11所述的页面测试方法。

Images