CN110287101A - 用户界面自动化测试方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了用户界面自动化测试方法、装置、计算机设备及存储介质,该方法包括：获取待测试用户界面，所述待测试用户界面包括至少一个功能图标，每一功能图标对应一图标位置；基于每一所述功能图标，获取与所述功能图标相对应的目标图标，并确定所述目标图标对应的目标图标地址；基于所述目标图标地址查询测试用例库，获取与所述目标图标地址相对应的原始测试用例；采用所述图标位置更新所述原始测试用例中的位置参数，获取目标测试用例；执行所述目标测试用例，对所述待测试用户界面中所述图标位置对应的功能图标进行测试，获取功能测试结果。该方法用于对待测试用户界面进行自动化测试，提高了软件的自动化测试覆盖率。

Description

用户界面自动化测试方法、装置、计算机设备及存储介质

技术领域

本发明涉及自动化测试领域，尤其涉及一种用户界面自动化测试方法、装置、计算机设备及存储介质。

背景技术

在Android系统集成测试的过程中，有些用户界面(即User Interface，简称UI)无法通过Android框架中的ID、Content和Context等属性进行测试，从而导致部分功能无法实现自动化的测试，而需要人工完成测试。例如，相机界面、音乐播放界面和通话界面等用户界面往往需求手动操作并查看对用户界面进行手动操作后是否正常显示对应的功能或者界面，即无法对部分用户界面进行自动化验证，测试流程繁琐且测试时间较长，使得软件产品自动化覆盖率低。

发明内容

本发明实施例提供一种用户界面自动化测试方法、装置、计算机设备及存储介质，以解决软件测试时，存在用户界面中部分功能无法实现自动化测试的问题。

一种用户界面自动化测试方法，包括：

获取待测试用户界面，所述待测试用户界面包括至少一个功能图标，每一功能图标对应一图标位置；

基于每一所述功能图标，获取与所述功能图标相对应的目标图标，并确定所述目标图标对应的目标图标地址；

基于所述目标图标地址查询测试用例库，获取与所述目标图标地址相对应的原始测试用例；

采用所述图标位置更新所述原始测试用例中的位置参数，获取目标测试用例；

执行所述目标测试用例，对所述待测试用户界面中所述图标位置对应的功能图标进行测试，获取功能测试结果。

一种用户界面自动化测试装置，包括：

待测试用户界面获取模块，用于获取待测试用户界面，所述待测试用户界面包括至少一个功能图标，每一功能图标对应一图标位置；

目标图标地址确定模块，用于基于每一所述功能图标，获取与所述功能图标相对应的目标图标，并确定所述目标图标对应的目标图标地址；

原始测试用例获取模块，用于基于所述目标图标地址查询测试用例库，获取与所述目标图标地址相对应的原始测试用例；

目标测试用例获取模块，用于采用所述图标位置更新所述原始测试用例中的位置参数，获取目标测试用例；

功能测试结果获取模块，用于执行所述目标测试用例，对所述待测试用户界面中所述图标位置对应的功能图标进行测试，获取功能测试结果。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述用户界面自动化测试方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述用户界面自动化测试方法的步骤。

上述用户界面自动化测试方法、装置、计算机设备及存储介质，根据待测试用户界面中的每一功能图标，确定与每一功能图标相对应的目标图标和对应的目标图标地址，从而查找到相应的原始测试用例，以实现根据功能图标快速确定其对应的原始测试用例，提高原始测试用例的获取效率。再采用每一功能图标对应的图标位置更新原始测试用例中的位置参数，获取目标测试用例，以使该目标测试用例可适用于对该待测试用户界面中相应的功能图标进行自动化测试，保障自动化测试的顺利进行，以提高自动化测试效率。然后，执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试，获取相应的功能测试结果，从而实现待测试用户界面中每一功能图标自动化测试，完善待测试用户界面的自动化测试过程，提高自动化测试的覆盖率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中用户界面自动化测试方法的一应用环境示意图；

图2是本发明一实施例中用户界面自动化测试方法的一流程图；

图3是本发明一实施例中用户界面自动化测试方法的另一流程图；

图4是本发明一实施例中用户界面自动化测试方法的另一流程图；

图5是本发明一实施例中用户界面自动化测试方法的另一流程图；

图6是本发明一实施例中用户界面自动化测试方法的另一流程图；

图7是本发明一实施例中用户界面自动化测试方法的另一流程图；

图8是本发明一实施例中用户界面自动化测试方法的另一流程图；

图9是本发明一实施例中用户界面自动化测试装置的一示意图；

图10是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的用户界面自动化测试方法，该用户界面自动化测试方法可应用如图1所示的应用环境中。具体地，该用户界面自动化测试方法应用在软件测试系统中，该软件测试系统包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于实现对应用程序(Application，以下简称为APP)中的待测试用户界面进行自动化测试，以简化测试流程，缩短测试时间，并提高软件产品的自动化测试覆盖率。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种用户界面自动化测试方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：

S201：获取待测试用户界面，待测试用户界面包括至少一个功能图标，每一功能图标对应一图标位置。

其中，待测试用户界面是指需要进行功能测试的待测试用户界面(即UserInterface，简称UI)。功能图标是指待测试用户界面上配置的用于实现特定功能的图标。一般来说，每一功能图标对应APP中的一可实现特定功能的功能模块。例如，在一待测试用户界面上设置有拍照功能模块对应的拍照功能图标、视频播放模块对应的播放功能图标。图标位置是指该功能图标在待测试用户界面中的位置。具体地，在以待测试用户界面中一顶点(如左上角)为原点创建的空间坐标系中，根据该功能图标在该空间坐标系中的坐标位置确定其图标位置。该待测试用户界面至少包含一个功能图标，通过测试功能图标的功能是否正常，以实现对该待测试用户界面的自动化测试。

例如，在金融机构开发的一理财产品APP或者通信企业开发的即时通讯APP中，某一待测试用户界面上设置有一拍摄功能图标，以方便用户点击该拍摄功能图标以实现触发APP进入拍摄功能模块对应的拍摄界面，完成拍摄功能，从而达到资料采集的目的。在该理财产品APP或者通信企业开发的即时通讯APP的自动化测试过程中，需对该待测试用户界面中的这一拍摄功能图标进行自动化测试，以模拟用户手动操作点击该拍摄功能图标的行为，以使该待测试用户界面进入到该拍摄功能图标对应的拍摄界面，以便确定该待测试用户界面中的这一拍摄功能图标对应的拍摄功能是否可以正常使用，以实现对该待测试用户界面的自动化测试。

S202：基于每一功能图标，获取与功能图标相对应的目标图标，并确定目标图标对应的目标图标地址。

其中，目标图标地址是指目标图标存储在图标数据库中的地址。具体地，服务器获取包含至少一个功能图标的待测试用户界面，运行Sikuli脚本识别待测试用户界面中的每一功能图标，即利用Sikuli脚本的API(Application Programming Interface的简称，应用程序编程接口)快速查找到与功能图标相对应的目标图标，将该目标图标对应的目标图标标识代入预先设置的地址查询语句中，生成地址查询指令，执行该地址查询指令查询图标数据库，以确定该目标图标对应的目标图标地址，使得获取目标图标地址的过程简单快速。Sikuli是一种新颖的图形脚本语言，是基于Jython的脚本语言以及集成开发环境，使用者可利用屏幕截图直接引用GUI元素进行编程，完成交互操作，即采用截图替代代码以达到简化代码的编写流程的技术。其中，地址查询指令是用于查询目标图标地址的指令。

本实施例中，基于每一功能图标，获取与功能图标相对应的目标图标，具体是通过调用Sikuli脚本的API对功能图标与图标数据库中的原始图标进行图像匹配处理，若匹配成功，则将匹配成功的原始图标确定为该功能图标对应的目标图标，此处的匹配成功是指功能图标与原始图标的相似度达到预设相似阈值，认为两者比较相似。其中，原始图标是预先存储在图标数据库中的功能图标，该原始图标与一原始测试用例通过原始图标地址关联。图标数据库是用于存储所有原始图标的数据库，该原始图标地址是原始图标存储在图标数据库中的地址。

S203：基于目标图标地址查询测试用例库，获取与目标图标地址相对应的原始测试用例。

其中，测试用例库是指用于存储所有原始图标对应的原始测试用例的数据库。原始测试用例是预先设置的用于对原始图标进行测试的用例。即每一原始图标对应一原始测试用例，而目标图标是与功能图标相匹配的原始图标，因此，该目标图标也对应一原始测试用例，即为与目标图标地址相对应的原始测试用例，可以理解为用于对目标图标进行功能测试的原始测试用例。

本实施例中，原始测试用例是预先编辑的用于模拟手动操作过程，以实现对相应的原始图标进行自动化测试的用例，测试用例库上存储至少一个原始测试用例，用于实现对至少一个原始测试用例进行统一管理。具体地，服务器在获取目标图标地址之后，可以基于该目标图标地址查询图标用例信息表，以确定与该目标图标地址相对应的测试用例标识，基于该测试用例标识查询测试用例库，以获取与目标图标地址相对应的原始测试用例，从而实现对原始测试用例的统一管理和快速查找。该图标用例信息表是用于存储原始图标与原始测试用例的关联关系的信息表，该图标用例信息表中的每一条信息可包括用于唯一识别每一原始图标的图标标识、原始图标地址、用于唯一识别每一原始测试用例的测试用例标识和原始测试用例地址，该原始测试用例地址是指原始测试用例在测试用例库中的地址。由于每一原始图标对应一个原始测试用例，而目标图标是与功能图标相对应的一个原始图标，因此可实现该目标图标对应的原始测试用例对功能图标的自动化测试，最大化的减少人工操作，提高测试效率。本实施例中，根据目标图标对应的目标图标地址查询确定原始测试用例的过程，以避免Android框架创建的APP中的ID、Content和Context等属性存在无法被自动化脚本获取到的情况下，无法确定对应的原始测试用例的现象发生。

S204：采用图标位置更新原始测试用例中的位置参数，获取目标测试用例。

位置参数是指原始测试用例中用于确定需要进行自动化测试的图标对应的位置参数，以便查找到需要进行测试的图标。目标测试用例是指更新位置参数之后的用于测试功能图标是否能够正常使用的用例。本实施例中，原始测试用例中设有一位置参数，该位置参数为形式参数，用于限定对该形式参数对应的坐标进行自动化测试。例如，功能图标是播放功能图标，该播放功能图标是待测试用户界面中第1行第1列的图标，服务器采用第1行第1列的图标的图标位置(如4个顶点的位置坐标)更新原始测试用例中的位置参数，以形成目标测试用例，以使该目标测试用例执行时，可模拟用户点击该播放功能图标，以测试能否正常播放视频或者音频等。

具体地，在获取原始测试用例后，采用图标位置替换原始测试用例中的位置参数，获取目标测试用例，以实现对原始测试用例更新，以获取更新位置参数的目标测试用例，有助于提高自动化测试效率。可以理解地，在Android框架中的ID、Content和Context等属性存在无法被自动化脚本获取到的情况下，使得其测试过程需要人工手动操作，而采用图标位置更新原始测试用例中的位置参数，获取目标测试用例，以使目标测试用例可适用于该待测试用户界面的自动化测试，使其测试过程可模拟用户在待测试用户界面中对该图标位置进行相应的点击操作，从而达到自动化测试目的，提高自动化测试覆盖率。可以理解地，采用图标位置更新原始测试用例中的位置参数，无需提取APP中的ID、Content和Context等属性更新相应的位置参数，以保障所获取的目标测试用例的可执行性。

S205：执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试，获取功能测试结果。

其中，功能测试结果是指执行目标测试用例对功能图标进行自动化测试后，获取到的关于该功能图标能否正常进行工作的结果。

具体地，服务器获取该目标测试用例后，执行目标测试用例对功能图标进行自动化测试，以测试该功能图标的功能是否正常，提高了自动化测试效率。获取对应的功能测试结果，以便开发人员了解该功能图标能否正常工作等情况。可以理解地，在对同一待测试用户界面的至少一个功能图标进行自动化测试的过程中，每一功能图标的测试依次进行测试，功能测试结果互不关联，以确保对每一功能图标进行自动化测试，获取最终的功能测试结果。

本实施例所提供的用户界面自动化测试方法中，根据待测试用户界面中的每一功能图标，确定与每一功能图标相对应的目标图标和对应的目标图标地址，从而查找到相应的原始测试用例，以实现根据功能图标快速确定其对应的原始测试用例，提高原始测试用例的获取效率。再采用每一功能图标对应的图标位置更新原始测试用例中的位置参数，获取目标测试用例，以使该目标测试用例可适用于对该待测试用户界面中相应的功能图标进行自动化测试，保障自动化测试的顺利进行，以提高自动化测试效率。然后，执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试，获取相应的功能测试结果，从而实现待测试用户界面中每一功能图标自动化测试，完善待测试用户界面的自动化测试过程，提高自动化测试的覆盖率。

在一实施例中，如图3所示，步骤S202，即基于每一功能图标，获取与功能图标相对应的目标图标，并确定目标图标对应的目标图标地址，具体包括如下步骤：

S301：基于每一功能图标查询图标数据库，判断是否存在与功能图标相对应的目标图标。

其中，图标数据库是指用于存储原始图标的数据库。该目标图标是图标数据库中与该功能图标相匹配的一个原始图标，此处的匹配成功是指功能图标与原始图标的相似度达到预设相似阈值，认为两者比较相似。通常情况下，测试用例库中存储有预先编写好的与原始图标相对应的用于实现自动化测试的原始测试用例，在确定与功能图标相匹配的目标图标之后，可快速获取对应的原始测试用例。可以理解地，若一APP对应的待测试用户界面，该待测试用例界面中包括功能图标A和功能图标B，服务器需将该功能图标A和功能图标B与图标数据库中的每一原始图标进行匹配处理，若功能图标A与一原始图标001匹配成功，而功能图标B与所有原始图标均匹配不成功，则此时，图标数据库中存在与功能图标A相对应的目标图标001，而不存在与功能图标B相对应的目标图标。在本实施例中，通过Sikuli脚本的API对功能图标与原始图标进行匹配，若功能图标与原始图标的相似度达到预设相似阈值，则匹配成功，从而可快速获取与功能图标对应的原始图标。该预设相似阈值是预先设置的用于评估相似度是否达到认定两者为同一图标的阈值。

S302：若存在与功能图标相对应的目标图标，则根据目标图标对应的目标图标标识生成地址查询指令，执行地址查询指令查询图标数据库，确定目标图标在图标数据库中的目标图标地址。

具体地，调用Sikuli脚本的API快速查找到与每一功能图标相对应的目标图标后，由于该目标图标带有目标图标标识，根据该目标图标标识生成地址查询指令，执行地址查询指令查询图标数据库，以使目标图标地址显示在命令行工具中，从而快速获取该目标图标对应的目标图标地址。其中，目标图标标识是用于表示目标图标的标识，例如可以是根据目标图标功能或者根据预定进行命名的标识。命令行工具中设置有搜索栏和显示栏，搜索栏用于快速获取需要的项目，显示栏用于显示对应的项目的信息，包括项目的地址、属性和大小等。

S303：若不存在与功能图标相对应的目标图标，则将功能图标作为目标图标存储在图标数据库中，将目标图标在图标数据库中的存储地址确定为目标图标地址，将与功能图标对应的原始测试用例导入测试用例库，将原始测试用例与目标图标地址关联存储在关联数据表中。

具体地，图标数据库中不存在与功能图标相对应的目标图标时，截取该功能图标并将该功能图标作为新增的目标图标保存在图标数据库中，确定该新增的目标图标在图标数据库中的目标图标地址，然后获取开发人员编写的与该新增目标图标相对应的原始测试用例，将原始测试用例与目标图标地址关联存储在关联数据表中。该关联数据表用于关联存储原始测试用例和目标图标地址，以使原始测试用例和目标图标地址建立关联，以快速获取目标图标地址。例如，该关联数据表可以类似于Excel表，包括至少两列，分别存储原始测试用例和目标图标地址，以便后续根据该新增的目标图标对应的原始测试用例，快速获取对应的目标图标地址，采用该目标图标地址更新原始测试用例，确保可实现自动化测试，提高后续自动化测试的效率。

本实施例所提供的用户界面自动化测试方法中，服务器基于每一功能图标判断图标数据库中是否存在与功能图标相对应的目标图标。若存在对应的目标图标，则可直接获取目标图标地址，以保障目标图标地址的获取效率。若不存在对应的目标图标，则截取功能图标作为新增的目标图标并储存到图标数据库中，并将对应的原始测试用例导入到测试用例库中，并将原始测试用例与目标图标地址关联存储在关联数据表中，以实现对图标数据库中的原始图标扩充和测试用例库中的原始测试用例的扩充，以提高后续自动化测试的效率，并确保待测试用户界面中的所有功能图标均对应一目标图标和原始测试用例，以实现对功能图标进行自动化测试。

在一实施例中，如图4所示，步骤S202，即基于每一功能图标，获取与功能图标相对应的目标图标，并确定目标图标对应的目标图标地址，具体包括如下步骤：

S401：对功能图标进行预处理，获取预处理图片。

其中，预处理具体是指采用图像采集、图像增强、图像复原、图像编码与压缩和图像分割技术对功能图标进行处理，以去除功能图标的干扰和噪声，使预处理后的功能图标适合计算机处理。预处理图片是指对功能图标进行预处理后获取的图片。

具体地，采用图像采集技术对功能图标进行处理获取采样数字化的图像，以便将功能图标转化成数字图像，对数字图像进行图像增强处理，以便修复在采集过程对图像造成的损坏，从而提高图像的清晰度，然后采用滤波方法对图像进行复原处理，以便去除图像中存在的干扰和噪声，获取预处理图片，便于对比识别，保证图像匹配的精准性。进一步，采用图像分割技术将功能图标分成一些互不重叠而又具有各自特征的子区域，从而将图像划分为物理上有意义的连通区域的集合，从而对功能图标进行预处理，确保得到的预处理图片适合计算识别、分析，以便后续实现图像精准匹配。

S402：基于预处理图片，获取预处理图片对应的特征数据。

其中，特征数据是指用于识别目标图标的数据，例如可以是功能图标中的像素比、功能图标的色彩分布和对比度等。在本实施例中，服务器获取到预处理图片后，对预处理图片进行特征提取，获取预处理图片对应的特征数据，该特征数据是图像识别的前提，以便将高维的图像数据进行简化，从而提取出图像中的关键信息。具体地，经过预处理后的获得的每一预处理图片对应的特征数据存储在特征信息表中，以便服务器快速获取到全面的特征数据。

S403：基于预处理图片对应的特征数据与图标数据库中预先存储的每一原始图标对应的特征数据进行匹配，将匹配成功的原始图标确定为目标图标。

具体地，计算机获取功能图标的特征数据后，可以通过模板匹配法查找每一原始图标，在原始图标与功能图标的相似度大于预设相似阈值时，将原始图标确定为目标图标，从而快速获取目标图标，提高测试效率。其中，模板匹配法是指把已知物体的模板与图像中所有未知物体进行比较,如果某一未知物体与该模板匹配,则该物体被检测出来,并被认为是与模板相同的物体。使用模板匹配方法将功能图标作为模板，采用功能图标与计算机中的原始图标进行比较，在原始图标与功能图标的相似度大于预设相似阈值时，将原始图标确定为目标图标。模板匹配方法的操作简单方便，可以快速地寻找到目标图标。

本实施例所提供的用户界面自动化测试方法中，对功能图标的图像信息进行预处理，以便去除干扰和噪声，使预处理后的功能图标适合计算机处理。基于预处理图片，获取预处理图片对应的特征数据，以便根据预处理图片识别目标图标，确保识别结果的精准性。然后，根据特征数据采用模板匹配法快速匹配到与功能图标相对应的目标图标，在命令行工具中获取对应的目标图标地址，从而实现通过图像匹配的方法，快速获取到目标图标。

在一实施例中，如图5所示，步骤S202，即基于每一功能图标，获取与功能图标相对应的目标图标，具体包括如下步骤：

S501：获取待测试用户界面对应的当前屏幕尺寸，基于当前屏幕尺寸和测试屏幕尺寸，确定与功能图标对应的像素比例。

其中，当前屏幕尺寸是用于显示待测试用户界面的测试设备的屏幕的像素尺寸。测试设备是指安装有配置待测试用户界面的APP的设备，以对待测试用户界面进行测试，包括但不限于手机等设备。测试屏幕尺寸是预先设置的用于显示原始图标的标准终端的屏幕的像素尺寸。功能图标对应的像素比例具体为待测试用户界面对应的当前屏幕尺寸和测试屏幕尺寸之间的比例。由于各种手机的屏幕大小不一样，展现同一的图片的像素也不一样，即由于屏幕不一样，测试中的截取的功能图标与存储在图标数据库中的目标图标的像素也是不一样的。在本实施例中，通过获取待测试用户界面所有的当前屏幕尺寸，并基于当前屏幕尺寸跟测试屏幕尺寸的比值，从而确定像素比例，方便更准确地确定目标图标。其中，当前屏幕尺寸是指测试设备的屏幕尺寸。预设的测试屏幕尺寸是指测试代码所设定的屏幕尺寸。

S502：依据像素比例对功能图标进行缩放处理，获取缩放后的功能图标，调用预设查询接口查询图标数据库，确定缩放后的功能图标与图标数据库中预先存储的每一原始图标的相似度。

具体地，在功能图标查找目标图标时，根据功能图标的像素比例对功能图标进行缩放处理，以确保精确查找到目标图标，调用预设查询接口查询图标数据库，确定缩放后的功能图标与图标数据库中预先存储的每一原始图标的相似度。例如，调用预设查询接口查找目标图标时，像素比例为50％，此时对功能图标进行50％的缩放处理，根据处理后的功能图标去查找图标数据库，确定缩放处理后的功能图标与原始图标的相似度，以准确地查找到与功能图标对应的目标图标。其中，预设查询接口是指自动化脚本中具有的，调用预设查询接口从而根据像素比例快速查找与目标图标相似的图标。

S503：若相似度大于预设相似阈值，则将原始图标确定为与功能图标相对应的目标图标。

具体地，调用预设查询接口查找到与功能图标相似的原始图标，采用句法识别法分别对功能图标和相似的原始图标进行分解处理，分别分解我单层或多层的相对简单的子图像，以便计算机可根据各自子图像的特征确定功能图标与相似的原始图标的相似度，将相似度大于预设相似阈值的原始图标确定为目标图标，确保查找目标图标的准确性。其中，句法识别法是指采用分层描述的方法,把复杂图像分解为单层或多层的相对简单的子图像的图像识别法。

本实施例所提供的用户界面自动化测试方法中，根据当前屏幕尺寸和测试屏幕尺寸，确定与功能图标对应的像素比例，根据像素比例对功能图标进行处理，调用预设查询接口获取与功能图标相似的原始图标，在相似度大于预设相似阈值时，将原始图标确定为目标图标，确保查找目标图标的准确性。

在一实施例中，如图6所示，步骤S205，即执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试，获取功能测试结果，具体还包括：

S601：执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试，获取功能图标对应的测试界面，截取测试界面中的测试图标。

具体地，执行目标测试用例对功能图标进行测试，即采用目标测试用例对功能图标模拟人工点击操作，从而实现自动化测试功能图标，解决在Android系统集成测试的过程中，有些界面无法通过Android框架中的ID,Content,Context属性进行判断及验证的测试的情况，提高了自动化测试覆盖率，进入与功能图标相对应的测试界面，调用自动化脚本中的接口截取测试界面中的测试图标，以便实现快速验证功能图标对应的测试界面是否正常。该测试界面是指执行目标测试用例对待测试用户界面进行点击操作之后的界面。测试图标是指测试界面中显示的图标。

S602：基于测试图标查询校验数据库，查找测试图标对应的校验图标。

其中，校验数据库是指用于存储校验图标的数据库。校验图标是指与测试界面中应当包含的图标，是用于校验测试界面是否正常的图标，即该校验图标是测试界面正常时应当包含的图标。在本实施例中，在进入测试界面后，需要验证测试界面是否与开发人员预设的界面一致，此时需要截取测试界面中所有的测试图标，然后根据测试图标采用自动化脚本的接口(例如Sikuli脚本的API)查找校验数据库中是否存在与测试图标相对应的校验图标，从而进行快速判断测试界面是否正常，以确保待测试用户界面的准确性。

S603：若查找到与测试图标一致的校验图标，则返回测试成功的功能测试结果。

具体地，若查找到与测试图标一致的校验图标，则说明测试界面上包含其正常显示时应当有的校验图标，即测试界面验证成功，返回测试成功的功能测试结果，以便开发人员确定该测试界面已经验证过且测试成功。

S604：若没有查找到与测试图标一致的校验图标，则返回测试失败的功能测试结果。

具体地，若没有查找到与测试图标一致的校验图标，则说明测试界面上没有包含其正常显示时应当有的校验图标，即测试界面验证失败，返回测试失败的功能测试结果，并保存测试现场证据，以便开发人员快速找到对应的出错代码并进行修正代码。

本实施例中，目标测试用例可以是基于Sikuli语言编辑的自动化测试用例，将测试用例中的特定对象对应的代码用图形表示，该目标测试用例中，依据执行find(校验图标)---click(校验图标)这些步骤，即先截取测试界面中的测试图标，依据这些测试图标执行执行find(校验图标)的操作，判断是否存在与测试图标相对应的校验图标，若存在，则上一界面测试成功，执行click(校验图标)，以进入下一测试界面，依此类推，直至获取最终返回的测试成功的功能测试结果；若不存在，则返回测试失败的功能测试结果。

本实施例所提供的用户界面自动化测试方法中，执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试，从而实现自动化测试功能图标。截取测试界面中的测试图标，基于测试图标查询校验数据库，获取测试图标对应的校验图标，以便实现快速验证功能图标对应的测试界面是否正常，即根据测试界面的测试图标是否存在一致的校验图标的判断结果，确定是否测试成功，提高功能测试结果的获取效率。

在一实施例中，如图7所示，步骤S205，即执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试，获取功能测试结果，具体还包括：

S701：执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试时，调用视频录制接口对执行过程进行屏幕录制，获取原始测试视频。

其中，视频录制接口是指服务器控制测试设备对功能图标进行自动化测试的同时，控制测试设备对测试过程进行屏幕录制的接口。原始测试视频是指录制每一功能图标测试过程的视频。

具体地，采用自动化测试脚本执行目标测试用例，以对待测试用户界面进行自动化测试的过程中，为了更好地了解测试过程以及保存测试数据，调用视频录制接口采用Adbscreenrecord命令对测试设备的屏幕进行录像，录制待测试用户界面的功能图标对应的测试过程，以获取原始测试视频，以便在测试出现错误时，可以精确定位到测试错误位置。

S702：若功能测试结果为测试失败，获取功能图标对应的测试时间段。

其中，测试时间段是指每一功能图标测试过程的起始时间和结束时间之间的时间段。本实施例中，待测试用户界面中包括需要进行测试的至少一个功能图标，可以依据每一功能图标在待测试用户界面中的图标位置，依序执行相应的目标测试用例(如从左到右，从上而下)，则该目标测试用例执行的开始时间和结束时间之间的时间段即为该功能图标对应的测试时间段。在某一功能图标对应的目标测试用例测试过程中，若其功能测试结果为测试失败，则说明该功能图标对应的功能模块无法实现相应的功能，存在异常，此时，需获取该功能图标测试在原始测试视频中的测试时间段，以保留测试异常的现场证据。由于测试是依次对每一功能图标进行测试的，因此确定测试失败的功能图标对应的测试时间段，以便定位测试失败的位置，加快开发人员排错速度。

S703：基于测试时间段对原始测试视频进行视频截取，获取与功能图标相对应的目标测试视频。

其中，目标测试视频是指用于测试失败的功能图标在测试过程中进行屏幕录制的视频，可有助于开发人员定位测试失败的功能图标对应的异常位置。具体地，服务器获取到功能测试结果为测试失败时，采用视频截取软件，例如视频剪切混合器、视频截取工具和视频剪辑等软件，从原始测试视频中截取与测试时间段相对应的视频片段作为目标测试视频，即作为该功能模块自动化测试的现场证据，以便开发人员观看，从而快速定位测试失败的位置。

S704：基于测试时间段查询日志数据库，获取与测试时间段相对应的目标测试日志。

其中，日志数据库是指测试过程中，用于存储所有测试日志的数据库。目标测试日志是指与测试失败的功能图标在测试过程中形成的日志。由于测试设备在测试过程中获取并存储在日志数据库中的日志信息过多，在功能图标测试过程出现错误时，为快速确定测试错误的位置，服务器基于测试时间段查询日志数据库，以获取测试时间段内的日志作为目标测试日志，以便基于该目标测试日志快速找出错误的原因，有利于开发人员对出现错误的功能模块进行快速改正，加快APP的查错修改效率。

S705：将目标测试视频和目标测试日志与功能图标关联存储到测试结果数据库中。

其中，测试结果数据库是指用于保存测试失败的功能图标对应的目标测试视频和目标测试日志的数据库。目标测试视频和目标测试日志与功能图标关联，以便开发人员依据该功能图标快速获取到目标测试视频和目标测试日志。在对功能图标对应的功能模块进行异常定位问题时，只需要查看测试时间段内的目标测试视频和目标测试日志，以提高对测试失败的功能模块进行异常定位问题的效率。

本实施例所提供的用户界面自动化测试方法中，执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试时，调用视频录制接口对执行过程进行屏幕录制，以保留该待测试用户界面中所有功能图标进行测试时的现场记录，为后续进行异常定位提供技术支持。若功能测试结果为测试失败，则获取功能图标对应的测试时间段，作为异常定位的时间段，以便后续缩小异常定位的视频和日志提供保障。即先基于测试时间段对原始测试视频进行视频截取，获取与功能图标相对应的目标测试视频，以缩小可快速定位测试失败的位置的视频范围，有助于提高异常定位的效率。基于测试时间段查询日志数据库，获取与测试时间段相对应的目标测试日志，获取目标测试日志，以缩小可快速定位测试失败的位置的日志范围，有助于提高异常定位的效率，以便对出现错误的功能模块进行快速改正。将目标测试视频和目标测试日志与功能图标关联存储到测试结果数据库中，在进行异常定位问题时，只需要查看测试时间段内的目标测试视频和目标测试日志，以提高对测试失败的功能模块进行异常定位问题的效率。

在一实施例中，如图8所示，在步骤S205之后，即在获取功能测试结果之后，用户界面自动化测试方法还包括：

S801：将待测试用户界面中所有功能测试结果为测试失败的目标测试日志作为待分析日志。

其中，待分析日志是指所有测试失败的功能图标对应的目标测试日志。可以理解地，为了更好地对每一个待测试用户界面中的测试问题进行汇总分析，在对测试失败的功能模块进行定位后，还需要研究和分析出错原因。具体地，服务器获取待测试用户界面中所有功能测试结果为测试失败的目标测试日志，将目标测试日志作为待分析日志，从而实现仅对待测试分析日志进行分析，极大减少了开发人员的工作量，提高工作效率。

S802：对待分析日志进行自动化分析，获取测试失败分析报告。

其中，测试失败分析报告是指对待分析日志的测试失败原因进行自动化分析的报告。例如，服务器中预先设置不同种类的测试失败原因和表现形式的失败信息对照表，每一种表现形式对应一可匹配这种表现形式的正则表达式。服务器可逐一采用该失败信息对照表中预先配置的正则表达式对所有待分析日志进行正则匹配，若匹配成功，则将表现形式对应的测试失败原因确定为该待分析日志对应的测试失败原因，以实现测试失败的功能模块进行自动化分析，有助于提高对测试失败的功能模块的代码改正效率。可以理解地，服务器在对待分析日志进行自动化分析，以确定测试失败分析报告之后，将测试失败分析报告发送给客户端，以便开发人员基于测试失败分析报告改正错误代码。

本实施例所提供的用户界面自动化测试方法中，将待测试用户界面中所有功能测试结果为测试失败的目标测试日志作为待分析日志，以减少开发人员的工作量，提高工作效率。对待分析日志进行自动化分析，获取测试失败分析报告，以汇总该待测试用户界面中测试失败的功能图标对应的功能模块存在的测试失败原因，以便开发人员基于该测试失败分析报告对相应的功能模块进行代码改正，提高代码改正效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种用户界面自动化测试装置，该用户界面自动化测试装置与上述实施例中用户界面自动化测试方法一一对应。如图9所示，该用户界面自动化测试装置包括待测试用户界面获取模块901、目标图标地址确定模块902、原始测试用例获取模块903、目标测试用例获取模块904和功能测试结果获取模块905。各功能模块详细说明如下：

待测试用户界面获取模块901，用于获取待测试用户界面，待测试用户界面包括至少一个功能图标，每一功能图标对应一图标位置。

目标图标地址确定模块902，用于基于每一功能图标，获取与功能图标相对应的目标图标，并确定目标图标对应的目标图标地址。

原始测试用例获取模块903，用于基于目标图标地址查询测试用例库，获取与目标图标地址相对应的原始测试用例。

目标测试用例获取模块904，用于采用图标位置更新原始测试用例中的位置参数，获取目标测试用例。

功能测试结果获取模块905，用于执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试，获取功能测试结果。

优选地，目标图标地址确定模块902，即基于每一功能图标，获取与功能图标相对应的目标图标，并确定目标图标对应的目标图标地址，包括：查询单元、第一判断单元和第二判断单元。

查询单元，用于基于每一功能图标查询图标数据库，判断是否存在与功能图标相对应的目标图标。

第一判断单元，用于若存在与功能图标相对应的目标图标，则根据目标图标对应的目标图标标识生成地址查询指令，执行地址查询指令查询图标数据库，确定目标图标在图标数据库中的目标图标地址。

第二判断单元，用于若不存在与功能图标相对应的目标图标，则将功能图标作为目标图标存储在图标数据库中，将目标图标在图标数据库中的存储地址确定为目标图标地址，将与功能图标对应的原始测试用例导入测试用例库，将原始测试用例与目标图标地址关联存储在关联数据表中。

优选地，目标图标地址确定模块902，即基于每一功能图标，获取与功能图标相对应的目标图标，并确定目标图标对应的目标图标地址，包括：预处理图片获取单元、特征数据获取单元和匹配单元。

预处理图片获取单元，用于对功能图标进行预处理，获取预处理图片。

特征数据获取单元，用于基于预处理图片，获取预处理图片对应的特征数据。

匹配单元，用于基于预处理图片对应的特征数据与图标数据库中预先存储的每一原始图标对应的特征数据进行匹配，将匹配成功的原始图标确定为目标图标。

优选地，目标图标地址确定模块902，即基于每一功能图标，获取与功能图标相对应的目标图标，并确定目标图标对应的目标图标地址，包括：像素比例确定单元、接口调用单元和相似度判断单元。

像素比例确定单元，用于获取待测试用户界面对应的当前屏幕尺寸，基于当前屏幕尺寸和测试屏幕尺寸，确定与功能图标对应的像素比例。

接口调用单元，用于依据像素比例对功能图标进行缩放处理，获取缩放后的功能图标，调用预设查询接口查询图标数据库，确定缩放后的功能图标与图标数据库中预先存储的每一原始图标的相似度。

相似度判断单元，用于若相似度大于预设相似阈值，则将原始图标确定为与功能图标相对应的目标图标。

优选地，功能测试结果获取模块905，即执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试，获取功能测试结果，包括：测试图标截取单元、校验图标查找单元、测试成功单元和测试失败单元。

测试图标截取单元，用于执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试，获取功能图标对应的测试界面，截取测试界面中的测试图标。

校验图标查找单元，用于基于测试图标查询校验数据库，查找测试图标对应的校验图标。

测试成功单元，用于若查找到与测试图标一致的校验图标，则返回测试成功的功能测试结果。

测试失败单元，用于若没有查找到与测试图标一致的校验图标，则返回测试失败的功能测试结果。

优选地，在功能测试结果获取模块905之后，即在执行目标测试用例，对待测试用户界面中图标位置对应的功能图标进行测试，获取功能测试结果之后，用户界面自动化测试装置还包括：原始测试视频获取模块、测试时间段获取模块、目标测试视频模块、目标测试日志获取模块和数据存储模块。

原始测试视频获取模块，用于执行目标测试用例时，对待测试用户界面中图标位置对应的功能图标进行测试时，调用视频录制接口对执行过程进行屏幕录制，获取原始测试视频。

测试时间段获取模块，用于若功能测试结果为测试失败，则获取功能图标对应的测试时间段。

目标测试视频模块，用于基于测试时间段对原始测试视频进行视频截取，获取与功能图标相对应的目标测试视频。

目标测试日志获取模块，用于基于测试时间段查询日志数据库，获取与测试时间段相对应的目标测试日志。

数据存储模块，用于将目标测试视频和目标测试日志与功能图标关联存储到测试结果数据库中。

优选地，在功能测试结果获取模块905之后，即在获取功能测试结果之后，用户界面自动化测试装置还包括：待分析日志获取模块和自动化分析模块。

待分析日志获取模块，用于将待测试用户界面中所有功能测试结果为测试失败的目标测试日志作为待分析日志。

自动化分析模块，用于对待分析日志进行自动化分析，获取测试失败分析报告。

关于用户界面自动化测试装置的具体限定可以参见上文中对于用户界面自动化测试方法的限定，在此不再赘述。上述用户界面自动化测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于执行上述用户界面自动化测试方法过程中采用或者生成的数据，如待分析日志。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用户界面自动化测试方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中用户界面自动化测试方法的步骤，例如图2所示的步骤S201-S205，或者图3至图8中所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现用户界面自动化测试装置这一实施例中的各模块/单元的功能，例如图9所示的待测试用户界面获取模块901、目标图标地址确定模块902、原始测试用例获取模块903、目标测试用例获取模块904和功能测试结果获取模块905的功能，为避免重复，这里不再赘述。

在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中用户界面自动化测试方法的步骤，例如图2所示的步骤S201-S205，或者图3至图8中所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现用户界面自动化测试装置这一实施例中的各模块/单元的功能，例如图9所示的待测试用户界面获取模块901、目标图标地址确定模块902、原始测试用例获取模块903、目标测试用例获取模块904和功能测试结果获取模块905的功能，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用户界面自动化测试方法，其特征在于，包括：

获取待测试用户界面，所述待测试用户界面包括至少一个功能图标，每一功能图标对应一图标位置；

基于每一所述功能图标，获取与所述功能图标相对应的目标图标，并确定所述目标图标对应的目标图标地址；

基于所述目标图标地址查询测试用例库，获取与所述目标图标地址相对应的原始测试用例；

采用所述图标位置更新所述原始测试用例中的位置参数，获取目标测试用例；

执行所述目标测试用例，对所述待测试用户界面中所述图标位置对应的功能图标进行测试，获取功能测试结果。

2.如权利要求1所述的用户界面自动化测试方法，其特征在于，所述基于每一所述功能图标，获取与所述功能图标相对应的目标图标，并确定所述目标图标对应的目标图标地址，包括：

基于每一所述功能图标查询图标数据库，判断是否存在与所述功能图标相对应的目标图标；

若存在与所述功能图标相对应的目标图标，则根据所述目标图标对应的目标图标标识生成地址查询指令，执行所述地址查询指令查询图标数据库，确定所述目标图标在所述图标数据库中的目标图标地址；

若不存在与所述功能图标相对应的目标图标，则将所述功能图标作为所述目标图标存储在所述图标数据库中，将所述目标图标在所述图标数据库中的存储地址确定为目标图标地址，将与所述功能图标对应的原始测试用例导入所述测试用例库，将所述原始测试用例与所述目标图标地址关联存储在关联数据表中。

3.如权利要求1所述的用户界面自动化测试方法，其特征在于，所述基于每一所述功能图标，获取与所述功能图标相对应的目标图标，包括：

对所述功能图标进行预处理，获取预处理图片；

基于预处理图片，获取所述预处理图片对应的特征数据；

基于所述预处理图片对应的特征数据与图标数据库中预先存储的每一原始图标对应的特征数据进行匹配，将匹配成功的原始图标确定为目标图标。

4.如权利要求1所述的用户界面自动化测试方法，其特征在于，所述基于每一所述功能图标，获取与所述功能图标相对应的目标图标，包括：

获取所述待测试用户界面对应的当前屏幕尺寸，基于当前屏幕尺寸和测试屏幕尺寸，确定与所述功能图标对应的像素比例；

依据所述像素比例对所述功能图标进行缩放处理，获取缩放后的功能图标，调用预设查询接口查询图标数据库，确定缩放后的功能图标与所述图标数据库中预先存储的每一原始图标的相似度；

若相似度大于预设相似阈值，则将所述原始图标确定为与所述功能图标相对应的目标图标。

5.如权利要求1所述的用户界面自动化测试方法，其特征在于，执行所述目标测试用例，对所述待测试用户界面中所述图标位置对应的功能图标进行测试，获取功能测试结果，包括：

执行所述目标测试用例，对所述待测试用户界面中所述图标位置对应的功能图标进行测试，获取所述功能图标对应的测试界面，截取所述测试界面中的测试图标；

基于所述测试图标查询校验数据库，查找所述测试图标对应的校验图标；

若查找到与所述测试图标一致的所述校验图标，则返回测试成功的功能测试结果；

若没有查找到与所述测试图标一致的所述校验图标，则返回测试失败的功能测试结果。

6.如权利要求1所述的用户界面自动化测试方法，其特征在于，在所述执行所述目标测试用例，对所述待测试用户界面中所述图标位置对应的功能图标进行测试，获取功能测试结果之后，所述用户界面自动化测试方法还包括：

执行所述目标测试用例，对所述待测试用户界面中所述图标位置对应的功能图标进行测试时，调用视频录制接口对执行过程进行屏幕录制，获取原始测试视频；

若所述功能测试结果为测试失败，则获取所述功能图标对应的测试时间段；

基于所述测试时间段对所述原始测试视频进行视频截取，获取与所述功能图标相对应的目标测试视频；

基于所述测试时间段查询日志数据库，获取与所述测试时间段相对应的目标测试日志；

将所述目标测试视频和所述目标测试日志与所述功能图标关联存储到测试结果数据库中。

7.如权利要求6所述的用户界面自动化测试方法，其特征在于，在所述获取功能测试结果之后，所述用户界面自动化测试方法还包括：

将所述待测试用户界面中所有所述功能测试结果为测试失败的目标测试日志作为待分析日志；

对所述待分析日志进行自动化分析，获取测试失败分析报告。

8.一种用户界面自动化测试装置，其特征在于，包括：

待测试用户界面获取模块，用于获取待测试用户界面，所述待测试用户界面包括至少一个功能图标，每一功能图标对应一图标位置；

目标图标地址确定模块，用于基于每一所述功能图标，获取与所述功能图标相对应的目标图标，并确定所述目标图标对应的目标图标地址；

原始测试用例获取模块，用于基于所述目标图标地址查询测试用例库，获取与所述目标图标地址相对应的原始测试用例；

目标测试用例获取模块，用于采用所述图标位置更新所述原始测试用例中的位置参数，获取目标测试用例；

功能测试结果获取模块，用于执行所述目标测试用例，对所述待测试用户界面中所述图标位置对应的功能图标进行测试，获取功能测试结果。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述用户界面自动化测试方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述用户界面自动化测试方法的步骤。