CN111400173A - 一种vts测试方法、装置及设备 - Google Patents

Abstract

本申请实施例公开了一种供应商测试套件VTS测试方法、装置及设备，该方法包括：在客户端从VTS工具获取到测试计划列表、测试模块列表及测试用例列表后，客户端将测试计划列表、测试模块列表及测试用例列表显示在客户端的可视化界面上，以便客户端在接收到用户在可视化界面上选择的测试对象时，获取测试对象的名称，将测试对象的名称作为测试执行命令的参数，将测试执行命令发送给VTS工具，在VTS工具执行测试对象对应的测试可执行程序的过程中，或在VTS工具执行测试对象对应的测试可执行程序后，客户端读取VTS工具产生的测试日志文件，解析该测试日志文件得到测试结果，在可视化界面上对测试结果进行显示，如此能够提高VTS测试效率。

Description

一种VTS测试方法、装置及设备

技术领域

本申请涉及计算机领域，具体涉及一种VTS(Vendor Test Suite，供应商测试套件)测试方法、装置及设备。

背景技术

目前供应商测试套件VTS提供了大量的用于进行安卓测试的功能，如此能够促进由测试驱动的开发流程。其中，编译生成的VTS工具可以运行在不同的操作系统(例如，Linux及Windows等操作系统)上，而且VTS工具可以通过安卓调试桥(Android DebugBridge，ADB)对安卓系统运行编译生成的测试用例，实现对安卓系统中的硬件抽象层规范(Hardware Abstraction Layer，HAL)模块、Linux内核(Linux Kernel)等功能进行不同方面(例如，正确性、兼容性、健壮性等方面)的测试。

然而，因VTS工具只能通过在控制台终端输入控制命令的方式进行操作和交互，使得当用户需要获取当前时刻下测试结果时，用户需要先输入大量的控制命令来获取测试反馈信息，再凭借丰富的测试经验对这些测试反馈信息进行分析确定当前时刻下测试结果，如此导致用户需要消耗较长的时长以及精力来获取当前时刻下测试结果。

发明内容

有鉴于此，本申请实施例提供一种供应商测试套件VTS测试方法、装置及设备，能够有效地减少用户获取当前时刻下测试结果所消耗的时长及精力。

为解决上述问题，本申请实施例提供的技术方案如下：

一种供应商测试套件VTS测试方法，所述方法应用于包括可视化界面的客户端，所述方法包括：

从VTS工具获取测试计划列表、测试模块列表以及测试用例列表；

在可视化界面上对所述测试计划列表、所述测试模块列表以及所述测试用例列表进行显示；

响应于用户在所述可视化界面上对测试对象的选择，获取所述测试对象的名称，所述测试对象为测试计划、测试模块或者测试用例，所述测试计划包括至少一个测试模块，所述测试模块包括至少一个测试用例；

将所述测试对象的名称作为测试执行命令的参数，并将所述测试执行命令发送给VTS工具，以使所述VTS工具执行所述测试对象对应的测试可执行程序；

在所述VTS工具执行所述测试对象对应的测试可执行程序的过程中，或者在所述VTS工具执行所述测试对象对应的测试可执行程序之后，读取所述VTS工具产生的测试日志文件；

解析所述测试日志文件得到测试结果，在所述可视化界面上对所述测试结果进行显示。

在一种可能的实现方式中，所述从VTS工具获取测试计划列表包括：

向VTS工具发送获取测试计划列表命令，获取所述VTS工具反馈的测试计划列表。

在一种可能的实现方式中，所述从VTS工具获取测试模块列表包括：

向VTS工具发送获取测试模块列表命令，获取所述VTS工具反馈的测试模块列表；

或者，

在VTS工具对应的文件路径下，查找指定文件类型的配置文件，从所述指定文件类型的配置文件中读取测试模块名称，根据从各个所述指定文件类型的配置文件中读取的测试模块名称生成测试模块列表。

在一种可能的实现方式中，所述从VTS工具获取测试用例列表包括：

从VTS工具对应的文件路径下，查找指定文件类型的配置文件，从所述指定文件类型的配置文件中读取测试用例文件的文件名，根据所述测试用例文件的文件名查找所述测试用例文件；

从所述测试用例文件中读取测试用例函数名称，根据从各个所述测试用例文件中读取的测试用例函数名称生成测试用例列表。

在一种可能的实现方式中，所述解析所述测试日志文件得到测试结果，在所述可视化界面上对所述显示结果进行显示，包括：

在所述测试日志文件中查找测试关键词，获取每一所述测试关键词对应的测试用例的执行状态和/或执行结果；

在所述可视化界面上对各个所述测试用例的执行状态和/或执行结果进行显示。

在一种可能的实现方式中，所述方法还包括：

根据所述各个测试用例的执行状态和/或执行结果，确定已执行测试用例数量；

根据所述已执行测试用例数量以及所述测试对象对应的测试用例总数量，计算测试执行进度，在所述可视化界面上对所述测试执行进度进行显示。

在一种可能的实现方式中，所述方法还包括：

根据在执行所述测试对象对应的测试可执行程序时使用的VTS测试命令的执行时间、所述VTS测试命令的数量、所述测试对象对应的测试用例的执行时间以及所述测试对象对应的测试用例的总数量，计算测试预计总时长；

根据当前测试时长以及所述测试预计总时长，计算测试剩余时长；

在所述可视化界面上对所述当前测试时长和/或所述测试剩余时长进行显示。

在一种可能的实现方式中，所述方法还包括：

在所述VTS工具执行所述测试对象对应的测试可执行程序之后，在所述VTS工具对应的测试报告文件路径下，查找最新的测试报告文件夹，并触发打开所述最新的测试报告文件夹。

一种供应商测试套件VTS测试装置，所述装置应用于包括可视化界面的客户端，所述装置包括：

列表获取单元，用于从VTS工具获取测试计划列表、测试模块列表以及测试用例列表；

列表显示单元，用于在可视化界面上对所述测试计划列表、所述测试模块列表以及所述测试用例列表进行显示；

对象选择单元，用于响应于用户在所述可视化界面上对测试对象的选择，获取所述测试对象的名称，所述测试对象为测试计划、测试模块或者测试用例，所述测试计划包括至少一个测试模块，所述测试模块包括至少一个测试用例；

命令发送单元，用于将所述测试对象的名称作为测试执行命令的参数，并将所述测试执行命令发送给VTS工具，以使所述VTS工具执行所述测试对象对应的测试可执行程序；

日志读取单元，用于在所述VTS工具执行所述测试对象对应的测试可执行程序的过程中，或者在所述VTS工具执行所述测试对象对应的测试可执行程序之后，读取所述VTS工具产生的测试日志文件；

结果显示单元，用于解析所述测试日志文件得到测试结果，在所述可视化界面上对所述测试结果进行显示。

一种供应商测试套件VTS测试设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现所述的供应商测试套件VTS测试方法。

一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行所述的供应商测试套件VTS测试方法。

由此可见，本申请实施例具有如下有益效果：

本申请实施例提供的VTS测试方法中，在客户端从VTS工具获取到测试计划列表、测试模块列表以及测试用例列表之后，客户端将测试计划列表、测试模块列表以及测试用例列表显示在客户端的可视化界面上，以便客户端在接收到用户在可视化界面上选择的测试对象时，先获取测试对象的名称，并将测试对象的名称作为测试执行命令的参数，再将测试执行命令发送给VTS工具，以便在VTS工具执行测试对象对应的测试可执行程序的过程中，或者在VTS工具执行测试对象对应的测试可执行程序之后，客户端读取VTS工具产生的测试日志文件，解析该测试日志文件得到测试结果，并在可视化界面上对测试结果进行显示。

其中，因客户端可以实时地对读取的测试日志文件进行解析显示，使得客户端的可视化界面能够实时地显示当前时刻下测试结果，从而使得用户可以直接从可视化界面上获知当前时刻下测试结果，无需触发任何控制命令，也无需任何测试经验，如此能够有效地减少用户获取当前时刻下测试结果所消耗的时长及精力。另外，因客户端的可视化界面上显示了测试计划列表、测试模块列表以及测试用例列表，使得用户只需在可视化界面上选择测试对象即可实现测试过程，无需触发大量的控制命令，如此能够有效地降低用户的工作量，从而能够提高测试效率。

附图说明

图1为本申请实施例提供的VTS测试方法的应用场景示意图；

图2为本申请实施例提供的一种VTS测试方法的流程图；

图3为本申请实施例提供的与VTS测试相关的可视化界面的功能示意图；

图4为本申请实施例提供的供应商测试套件VTS测试装置的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。

发明人在对传统的VTS测试过程研究中发现，在传统的VTS测试过程中，VTS工具只能通过在控制台终端输入控制命令的方式进行操作和交互。例如，当用户需要获取当前时刻下测试结果时，用户需要先在控制台终端输入大量的控制命令来获取测试反馈信息，再由用户凭借丰富的测试经验对这些测试反馈信息进行分析确定当前时刻下测试结果。可见，该过程获取过程存在以下缺点：①因用户需要消耗较长的时长以及精力来获取当前时刻下测试结果，降低了测试效率。②因用户需要凭借丰富的测试经验确定当前时刻下测试结果，使得VTS测试过程需要由经验丰富的用户实施，如此导致对实施VTS测试过程的用户的经验要求较高，如此不利于VTS测试过程的普及。

基于此，本申请实施例提供了一种VTS测试方法，该方法包括：在客户端从VTS工具获取到测试计划列表、测试模块列表以及测试用例列表之后，客户端将测试计划列表、测试模块列表以及测试用例列表显示在客户端的可视化界面上，以便客户端在接收到用户在可视化界面上选择的测试对象时，先获取测试对象的名称，并将测试对象的名称作为测试执行命令的参数，再将测试执行命令发送给VTS工具，以便在VTS工具执行测试对象对应的测试可执行程序的过程中，或者在VTS工具执行测试对象对应的测试可执行程序之后，客户端读取VTS工具产生的测试日志文件，解析该测试日志文件得到测试结果，并在可视化界面上对测试结果进行显示。其中，因客户端可以实时地对读取的测试日志文件进行解析显示，使得客户端的可视化界面能够实时地显示当前时刻下测试结果，从而使得用户可以直接从可视化界面上获知当前时刻下测试结果，无需触发任何控制命令，也无需任何测试经验，如此能够有效地减少用户获取当前时刻下测试结果所消耗的时长及精力，也能够有效地降低对实施VTS测试过程的用户的经验要求，如此有利于提高VTS测试的普及。

为了便于理解本申请实施例提供的VTS测试方法，下面结合图1所示的应用场景示例进行具体说明。

参见图1，该图为本申请实施例提供的VTS测试方法的应用场景示意图，其中，VTS工具与客户端101均可以运行在Linux或Windows等操作系统上，而且，VTS工具能够通过ADB在图1所示的使用安卓系统的手机102运行测试用例对应的测试可执行程序。

如图1所示，在客户端101从VTS工具获取到测试计划列表、测试模块列表以及测试用例列表之后，客户端101将测试计划列表、测试模块列表以及测试用例列表显示在客户端101的可视化界面上，以便在客户端101接收到用户103在可视化界面上选择的测试对象时，客户端101先获取测试对象的名称，并将测试对象的名称作为测试执行命令的参数，客户端101再将测试执行命令发送给VTS工具，以使VTS工具在手机102上执行测试对象对应的测试可执行程序。其中，在VTS工具执行测试对象对应的测试可执行程序的过程中，或者在VTS工具执行测试对象对应的测试可执行程序之后，客户端101读取VTS工具产生的测试日志文件，解析该测试日志文件得到测试结果，并在可视化界面上对测试结果进行显示，使得用户103能够在可视化界面上查看该测试结果。可见，用户103能够直接从可视化界面上查看当前时刻下的测试结果即可，如此能够有效地提高用户103获知当前时刻下的测试结果的效率。

为便于理解本申请，下面将结合附图对本申请实施例提供的一种VTS测试方法进行说明。

参见图2，该图为本申请实施例提供的一种VTS测试方法的流程图，如图2所示，该方法应用于包括可视化界面的客户端，而且该方法包括S201-S207：

S201：客户端从VTS工具获取测试计划列表、测试模块列表以及测试用例列表。

测试计划列表包括至少一项测试计划，而且每项测试计划可以包括至少一个测试模块。

测试模块列表包括至少一个测试模块，而且每个测试模块包括至少一个测试用例。

测试用例列表包括至少一个测试用例，而且测试用例(Test Case)是指对一项特定的软件产品进行测试任务的描述。

另外，本申请实施例不限定客户端获取测试计划列表、测试模块列表以及测试用例列表执行时间，下面结合两个示例进行说明。

示例一：客户端可以在启动可视化界面时，从VTS工具获取测试计划列表、测试模块列表以及测试用例列表。

示例二：当用户在可视化界面上触发列表显示指令时，客户端响应于该列表显示指令，从VTS工具获取测试计划列表、测试模块列表以及测试用例列表。其中，本申请实施例不限定列表显示指令的触发方式，例如，用户可以通过点击预设按钮的方式触发列表显示指令。

基于上述内容可知，本申请实施例中，客户端可以直接从VTS工具中获取测试计划列表、测试模块列表以及测试用例列表，以便后续能够将测试计划列表、测试模块列表以及测试用例列表显示于可视化界面上。

另外，本申请实施例还提供了客户端获取测试计划列表、客户端获取测试模块列表、以及客户端获取测试用例列表的实施方式，请参见下文具体实施方式。

S202：客户端在可视化界面上对测试计划列表、测试模块列表以及测试用例列表进行显示。

本申请实施例中，客户端在获取到测试计划列表、测试模块列表以及测试用例列表之后，可以直接将获取到的测试计划列表、测试模块列表以及测试用例列表显示在该客户端的可视化界面上，以便使得用户能够从可视化界面上查看并选择这些测试计划、测试模块以及测试用例。

S203：客户端响应于用户在可视化界面上对测试对象的选择，获取测试对象的名称，该测试对象为测试计划、测试模块或者测试用例。

本申请实施例中，在用户看到可视化界面上显示的测试计划列表、测试模块列表以及测试用例列表之后，用户可以根据测试需求从测试计划列表、测试模块列表或测试用例列表中选择测试对象，使得客户端可以根据用户选择的测试对象，确定测试对象的名称。例如，当用户在客户端选择了第1个测试用例至第3个测试用例时，则客户端可以获取到第1个测试用例的名称、第2个测试用例的名称和第3个测试用例的名称。

S204：客户端将测试对象的名称作为测试执行命令的参数，并将测试执行命令发送给VTS工具，以使VTS工具执行该测试对象对应的测试可执行程序。

本申请实施例中，在客户端获取到测试对象的名称之后，客户端可以先将测试对象的名称作为测试执行命令的参数，再将该测试执行命令发送给VTS工具，以便VTS工具能够根据测试执行命令中携带的测试对象的名称，在移动终端(例如，手机)上执行该测试对象对应的测试可执行程序。例如，当客户端在获取到第1个测试用例的名称之后，客户端可以先将第1个测试用例的名称作为测试执行命令的参数，再将该测试执行命令发送给VTS工具，以便VTS工具可以在图1所示的手机上执行该第1个测试用例对应的测试可执行程序。

S205：客户端在VTS工具执行测试对象对应的测试可执行程序的过程中，或者在VTS工具执行测试对象对应的测试可执行程序之后，读取VTS工具产生的测试日志文件。

本申请实施例不限定客户端获取测试日志文件的执行时间，下面结合两个示例进行说明。

示例一：客户端可以实时地获取VTS工具产生的测试日志文件，其具体为：在VTS工具执行测试对象对应的测试可执行程序的过程中，客户端实时地读取VTS工具产生的测试日志文件。

示例二：客户端也可以在VTS测试过程完成之后获取测试日志文件，其具体为：在VTS工具执行测试对象对应的测试可执行程序之后，客户端也可以读取VTS工具产生的测试日志文件。

S206：客户端解析测试日志文件得到测试结果，在可视化界面上对测试结果进行显示。

本申请实施例中，客户端在获取到测试日志文件之后，客户端可以先从测试日志文件中解析得到测试结果，再将解析得到的测试结果显示在该客户端的可视化界面上，以供用户查看。其中，因客户端能够自动地获取及解析测试日志文件，使得用户能够在可视化界面上直接查看测试结果即可，无需触发任何控制命令，也无需利用任何测试经验，如此能够有效地减少用户获取测试结果所消耗的时长及精力，也能够有效地降低对实施VTS测试过程的用户的经验要求，如此有利于提高VTS测试的普及。

另外，本申请实施例还提供了一种解析测试日志文件的实施方式，请参见下文具体实施方式。

基于上述S201至S206的相关内容可知，本申请实施例中，在客户端从VTS工具获取到测试计划列表、测试模块列表以及测试用例列表之后，客户端将测试计划列表、测试模块列表以及测试用例列表显示在客户端的可视化界面上，以便客户端在接收到用户在可视化界面上选择的测试对象时，先获取测试对象的名称，并将测试对象的名称作为测试执行命令的参数，再将测试执行命令发送给VTS工具，以便在VTS工具执行测试对象对应的测试可执行程序的过程中，或者在VTS工具执行测试对象对应的测试可执行程序之后，客户端读取VTS工具产生的测试日志文件，解析该测试日志文件得到测试结果，并在可视化界面上对测试结果进行显示。

其中，因客户端可以实时地对读取的测试日志文件进行解析显示，使得客户端的可视化界面能够实时地显示当前时刻下测试结果，从而使得用户可以直接从可视化界面上获知当前时刻下测试结果，无需触发任何控制命令，也无需任何测试经验，如此能够有效地减少用户获取当前时刻下测试结果所消耗的时长及精力，也能够有效地降低对实施VTS测试过程的用户的经验要求，如此有利于提高VTS测试的普及。另外，因客户端的可视化界面上显示了测试计划列表、测试模块列表以及测试用例列表，使得用户只需在可视化界面上选择测试对象即可实现测试过程，无需触发大量的控制命令，如此能够有效地降低用户的工作量，从而能够提高测试效率。

在本申请实施例中，测试计划列表可以由VTS工具利用其自身的list plans(测试计划列表)命令获取，基于此，本申请实施例提供了一种客户端获取测试计划列表的实施方式，其具体可以为：客户端向VTS工具发送获取测试计划列表命令，并获取VTS工具反馈的测试计划列表。

在该实施方式中，客户端可以先向VTS工具发送获取测试计划列表命令，使得VTS工具可以通过执行list plans命令获取测试计划列表，再将获取到的测试计划列表反馈至客户端，使得客户端能够将该测试计划列表显示于可视化界面上。

在一种可能的实施方式，本申请实施例还提供了客户端获取测试模块列表的两种实施方式，下面分别进行介绍。

测试模块列表可以由VTS工具利用其自身的list modules(测试模块列表)命令获取，基于此，本申请实施例提供了客户端获取测试模块列表的第一种实施方式，其具体可以为：客户端向VTS工具发送获取测试模块列表命令，并获取VTS工具反馈的测试模块列表。

在该实施方式中，客户端可以先向VTS工具发送获取测试模块列表命令，使得VTS工具可以通过执行list modules命令获取测试模块列表，再将获取到的测试模块列表反馈至客户端，使得客户端能够将该测试模块列表显示于可视化界面上。

另外，因VTS工具对应的配置文件(例如，以.config为后缀的XML配置文件)中记录有测试模块的名称，使得客户端可以在VTS工具对应的配置文件中提取测试模块信息，基于此，本申请实施例还提供了客户端获取测试模块列表的第二种实施方式，其具体可以为：客户端在VTS工具对应的文件路径下，查找指定文件类型的配置文件，从指定文件类型的配置文件中读取测试模块名称，根据从各个指定文件类型的配置文件中读取的测试模块名称生成测试模块列表。

指定文件类型的配置文件可以根据应用场景确定，例如，指定文件类型的配置文件可以是以.config为后缀的XML配置文件，且以.config为后缀的XML配置文件中记录有测试模块的名称。

基于上述内容可知，本申请实施例中，客户端可以先在VTS工具对应的文件路径下，查找指定文件类型的配置文件(例如，以.config为后缀的XML配置文件)，再遍历找到的指定文件类型的配置文件，获取所有指定文件类型的配置文件中记录的测试模块名称，以便客户端可以利用这些获取到的测试模块名称生成测试模块列表，以使后续客户端能够将该测试模块列表显示于可视化界面上。

另外，因VTS工具对应的配置文件(例如，以.config为后缀的XML配置文件)中存在用于记录测试用例的测试用例文件的文件名，使得客户端可以在VTS工具对应的配置文件中提取测试用例信息，基于此，本申请实施例还提供了一种客户端获取测试用例列表的实施方式，其具体包括以下两步：

第一步：客户端从VTS工具对应的文件路径下，查找指定文件类型的配置文件，从指定文件类型的配置文件中读取测试用例文件的文件名，根据测试用例文件的文件名查找测试用例文件。

指定文件类型的配置文件的相关内容，请参见上文。

测试用例文件中记录有至少一个测试用例函数，而且在测试用例文件中每个测试用例函数都是使用相同前缀(例如，以“test”)。其中，一个测试用例函数代表一个测试用例。

基于上述内容可知，本申请实施例中，本申请实施例中，客户端可以先在VTS工具对应的文件路径下，查找指定文件类型的配置文件(例如，以.config为后缀的XML配置文件)，再遍历找到的指定文件类型的配置文件，获取所有指定文件类型的配置文件中记录的测试用例文件的文件名，并根据测试用例文件的文件名查找测试用例文件，以便后续客户端能够从测试用例文件中提取出测试用例信息。

第二步：客户端从测试用例文件中读取测试用例函数名称，根据从各个测试用例文件中读取的测试用例函数名称生成测试用例列表。

本申请实施例中，客户端在获取到测试用例文件之后，客户端可以先从测试用例文件中读取测试用例函数名称，再根据从各个测试用例文件中读取的测试用例函数名称生成测试用例列表，以便后续客户端能够将生成的测试用例列表显示在可视化界面上。

在本申请实施例中，由于VTS生成的测试日志文件中记录有每个测试用例的执行状态以及执行结果，而且在测试日志文件中每条记录有测试用例的执行状态以及执行结果的信息均对应于同一个关键词(例如，Test Case)，因而，客户端可以基于测试日志文件中的该关键词获取测试用例的执行状态以及执行结果。基于此，本申请实施例还提供了一种客户端解析并显示测试结果(也就是S206)的实施方式，其具体可以为：客户端在测试日志文件中查找测试关键词，获取每一测试关键词对应的测试用例的执行状态和/或执行结果，并在可视化界面上对各个测试用例的执行状态和/或执行结果进行显示。

测试关键词是指在测试日志文件中记录的测试用例对应的关键词，而且，本申请实施例不限定测试关键词，例如，测试关键词为Test Case。

执行状态用于表征测试用例的状态信息，而且执行状态可以包括已执行状态和未执行状态。

执行结果用于表征执行测试用例的结果信息，而且执行结果可以包括执行成功和执行失败。

基于上述内容可知，本申请实施例中，客户端在获取到测试日志文件之后，客户端可以在测试日志文件中查找测试关键词，以便获取每一测试关键词对应的测试用例的执行状态和/或执行结果，并将各个测试用例的执行状态和/或执行结果显示在可视化界面上，以供用户查看。

另外，客户端还可以将VTS测试的测试执行进度显示在可视化界面上。基于此，本申请实施例还提供了VTS测试方法的另一种实施方式，在该实施方式中，VTS测试方法除了包括上述步骤以外，可以还包括以下两步：

第一步：客户端根据各个测试用例的执行状态和/或执行结果，确定已执行测试用例数量。

本申请实施例中，客户端在从测试日志文件中获取到各个测试用例的执行状态和/或执行结果之后，可以根据各个测试用例的执行状态和/或执行结果，确定已执行测试用例数量，以便后续能够基于该已执行测试用例数量确定测试执行进度。

第二步：客户端根据已执行测试用例数量以及测试对象对应的测试用例总数量，计算测试执行进度，在可视化界面上对测试执行进度进行显示。

测试执行进度用于表征VTS测试过程的执行进度，而且测试执行进度可以根据已执行测试用例数量以及测试对象对应的测试用例总数量确定，具体为：测试执行进度为已执行测试用例数量与测试对象对应的测试用例总数量的比值。

本申请实施例中，客户端在统计得到执行测试用例数量之后，客户端可以根据已执行测试用例数量与测试对象对应的测试用例总数量的比值，确定测试执行进度，以便客户端能够将该测试执行进度显示于可视化界面上，如此用户能够通过可视化界面上显示的测试执行进度获知该VTS测试过程的执行进度。

基于上述实施例，客户端还可以显示当前测试过程的剩余执行时长。基于此，本申请实施例还提供了VTS测试方法的另一种实施方式，在该实施方式中，VTS测试方法除了包括上述部分或全部步骤以外，可以还包括以下三步：

第一步：客户端根据在执行测试对象对应的测试可执行程序时使用的VTS测试命令的执行时间、VTS测试命令的数量、测试对象对应的测试用例的执行时间以及测试对象对应的测试用例的总数量，计算测试预计总时长。

本申请实施例不限定VTS测试命令的执行时间的获取方式，例如，VTS测试命令的执行时间可以基于历史VTS测试命令的平均执行时长确定。

本申请实施例不限定测试对象对应的测试用例的执行时间的获取方式，例如，测试对象对应的测试用例的执行时间可以基于历史测试用例的执行时长确定。

测试预计总时长用于表征测试对象对应的测试可执行程序的预测时长；而且，本申请实施例不限定测试预计总时长的计算方法，例如，测试预计总时长＝(VTS测试命令的执行时间×VTS测试命令的数量)+(测试对象对应的测试用例的执行时间×测试对象对应的测试用例的总数量)。

第二步：客户端根据当前测试时长以及测试预计总时长，计算测试剩余时长。

当前测试时长用于表征测试对象对应的测试可执行程序实际已执行时长。

测试剩余时长用于表征测试对象对应的测试可执行程序的预测剩余执行时长；而且，本申请实施例不限定测试剩余时长的计算方法，例如，测试剩余时长＝测试预计总时长-当前测试时长。

第三步：客户端在可视化界面上对当前测试时长和/或测试剩余时长进行显示。

基于上述内容可知，本申请实施例中，客户端可以先根据在执行测试对象对应的测试可执行程序时使用的VTS测试命令的执行时间、VTS测试命令的数量、测试对象对应的测试用例的执行时间以及测试对象对应的测试用例的总数量，计算测试预计总时长，再根据当前测试时长与测试预计总时长，计算测试剩余时长，并将当前测试时长和/或测试剩余时长显示在可视化界面上，使得用户能够通过可视化界面上显示的当前测试时长获知VTS测试过程已执行的时长，也能够通过可视化界面上显示的测试剩余时长获知VTS测试过程预测剩余执行时长。

在一些可能的实现方式中，由于VTS工具生成的测试报告所位于的测试报告文件夹的名称是有规律可循的(例如，测试报告文件夹可以以日期+时间命名)，因而，客户端可以基于测试报告文件夹的命名规则确定并打开包括最新测试包括的测试报告文件夹。基于此，本申请实施例还提供了VTS测试方法的另一种实施方式，在该实施方式中，VTS测试方法除了包括上述部分或全部步骤以外，可以还包括以下步骤：在VTS工具执行测试对象对应的测试可执行程序之后，客户端在VTS工具对应的测试报告文件路径下，查找最新的测试报告文件夹，并触发打开最新的测试报告文件夹。

本申请实施例不限定客户端查找最新的测试报告文件夹的执行时间，下面结合示例进行说明。

作为示例，在VTS工具执行测试对象对应的测试可执行程序之后，客户端响应于用户查看最新的测试报告的需求，在VTS工具对应的测试报告文件路径下，查找最新的测试报告文件夹，并触发打开最新的测试报告文件夹。

基于上述内容可知，本申请实施例中，在VTS工具执行测试对象对应的测试可执行程序之后，客户端可以在VTS工具对应的测试报告文件路径下，查找最新的测试报告文件夹，并触发打开最新的测试报告文件夹，使得用户能够在被打开的最新的测试报告文件夹中查看最新的测试报告。如此用户能够直接从最新的测试报告中获知本次VTS测试的测试结果。

为了便于理解本申请实施例提供的VTS测试方法，下面结合图3对与VTS测试相关的可视化界面的显示功能进行说明。

参见图3，该图为本申请实施例提供的与VTS测试相关的可视化界面的功能示意图，如图3所示，与VTS测试相关的可视化界面功能具体包括：

(1)可视化界面上显示测试计划列表、测试模块列表以及测试用例列表。

(2)用户在可视化界面上选择期望VTS工具执行的测试计划、测试模块或者测试用例，并由用户在可视化界面上按下开始执行测试的按钮。

(3)在VTS工具执行所述测试对象对应的测试可执行程序的过程中，可视化界面上显示已执行测试用例数量、测试对象对应的测试用例总数量、和测试执行进度条。

(4)在VTS工具执行所述测试对象对应的测试可执行程序的过程中，可视化界面上显示当前测试时长和测试剩余时长。

(5)在VTS工具执行所述测试对象对应的测试可执行程序的过程中，可视化界面上显示测试日志文件中的所有内容。

(6)在测试结束之后，可视化界面上显示执行成功的测试用例总数和执行失败的测试用例总数。

(7)在测试结束之后，用户可以点击可视化界面上的打开包括最新测试报告的测试报告文件的选项。

(8)分析最新的测试报告，并控制VTS工具重新执行本次执行失败的测试用例对应的测试可执行程序。

基于上述供应商测试套件VTS测试方法的相关内容，本申请实施例还提供了一种供应商测试套件VTS测试装置，下面结合附图进行说明。

参见图4，该图为本申请实施例提供的供应商测试套件VTS测试装置的结构示意图，如图4所示，该装置包括：

列表获取单元401，用于从VTS工具获取测试计划列表、测试模块列表以及测试用例列表；

列表显示单元402，用于在可视化界面上对所述测试计划列表、所述测试模块列表以及所述测试用例列表进行显示；

对象选择单元403，用于响应于用户在所述可视化界面上对测试对象的选择，获取所述测试对象的名称，所述测试对象为测试计划、测试模块或者测试用例，所述测试计划包括至少一个测试模块，所述测试模块包括至少一个测试用例；

命令发送单元404，用于将所述测试对象的名称作为测试执行命令的参数，并将所述测试执行命令发送给VTS工具，以使所述VTS工具执行所述测试对象对应的测试可执行程序；

日志读取单元405，用于在所述VTS工具执行所述测试对象对应的测试可执行程序的过程中，或者在所述VTS工具执行所述测试对象对应的测试可执行程序之后，读取所述VTS工具产生的测试日志文件；

结果显示单元406，用于解析所述测试日志文件得到测试结果，在所述可视化界面上对所述测试结果进行显示。

在一种可能的实施方式中，所述列表获取单元401，包括：

计划列表获取子单元，用于向VTS工具发送获取测试计划列表命令，获取所述VTS工具反馈的测试计划列表。

在一种可能的实施方式中，所述列表获取单元401，包括：

模块列表获取子单元，用于向VTS工具发送获取测试模块列表命令，获取所述VTS工具反馈的测试模块列表；

或者，

模块列表生成子单元，用于在VTS工具对应的文件路径下，查找指定文件类型的配置文件，从所述指定文件类型的配置文件中读取测试模块名称，根据从各个所述指定文件类型的配置文件中读取的测试模块名称生成测试模块列表。

在一种可能的实施方式中，所述列表获取单元401，包括：

用例文件查找子单元，用于从VTS工具对应的文件路径下，查找指定文件类型的配置文件，从所述指定文件类型的配置文件中读取测试用例文件的文件名，根据所述测试用例文件的文件名查找所述测试用例文件；

用例列表生成子单元，用于从所述测试用例文件中读取测试用例函数名称，根据从各个所述测试用例文件中读取的测试用例函数名称生成测试用例列表。

在一种可能的实施方式中，所述结果显示单元406，包括：

执行信息获取子单元，用于在所述测试日志文件中查找测试关键词，获取每一所述测试关键词对应的测试用例的执行状态和/或执行结果；

执行信息显示子单元，用于在所述可视化界面上对各个所述测试用例的执行状态和/或执行结果进行显示。

在一种可能的实施方式中，所述装置还包括：

数量确定单元，用于根据所述各个测试用例的执行状态和/或执行结果，确定已执行测试用例数量；

进度显示单元，用于根据所述已执行测试用例数量以及所述测试对象对应的测试用例总数量，计算测试执行进度，在所述可视化界面上对所述测试执行进度进行显示。

在一种可能的实施方式中，所述装置还包括：

总时计算单元，用于根据在执行所述测试对象对应的测试可执行程序时使用的VTS测试命令的执行时间、所述VTS测试命令的数量、所述测试对象对应的测试用例的执行时间以及所述测试对象对应的测试用例的总数量，计算测试预计总时长；

剩时计算单元，用于根据当前测试时长以及所述测试预计总时长，计算测试剩余时长；

时长显示单元，用于在所述可视化界面上对所述当前测试时长和/或所述测试剩余时长进行显示。

在一种可能的实施方式中，所述装置还包括：

报告打开单元，用于在所述VTS工具执行所述测试对象对应的测试可执行程序之后，在所述VTS工具对应的测试报告文件路径下，查找最新的测试报告文件夹，并触发打开所述最新的测试报告文件夹。

另外，本申请实施例还提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述供应商测试套件VTS测试方法。

另外，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上述供应商测试套件VTS测试方法。

本申请实施例提供的VTS测试方法中，在客户端从VTS工具获取到测试计划列表、测试模块列表以及测试用例列表之后，客户端将测试计划列表、测试模块列表以及测试用例列表显示在客户端的可视化界面上，以便客户端在接收到用户在可视化界面上选择的测试对象时，先获取测试对象的名称，并将测试对象的名称作为测试执行命令的参数，再将测试执行命令发送给VTS工具，以便在VTS工具执行测试对象对应的测试可执行程序的过程中，或者在VTS工具执行测试对象对应的测试可执行程序之后，客户端读取VTS工具产生的测试日志文件，解析该测试日志文件得到测试结果，并在可视化界面上对测试结果进行显示。

其中，因客户端可以实时地对读取的测试日志文件进行解析显示，使得客户端的可视化界面能够实时地显示当前时刻下测试结果，从而使得用户可以直接从可视化界面上获知当前时刻下测试结果，无需触发任何控制命令，也无需任何测试经验，如此能够有效地减少用户获取当前时刻下测试结果所消耗的时长及精力。另外，因客户端的可视化界面上显示了测试计划列表、测试模块列表以及测试用例列表，使得用户只需在可视化界面上选择测试对象即可实现测试过程，无需触发大量的控制命令，如此能够有效地降低用户的工作量，从而能够提高测试效率。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种供应商测试套件VTS测试方法，其特征在于，所述方法应用于包括可视化界面的客户端，所述方法包括：

从VTS工具获取测试计划列表、测试模块列表以及测试用例列表；

在可视化界面上对所述测试计划列表、所述测试模块列表以及所述测试用例列表进行显示；

响应于用户在所述可视化界面上对测试对象的选择，获取所述测试对象的名称，所述测试对象为测试计划、测试模块或者测试用例，所述测试计划包括至少一个测试模块，所述测试模块包括至少一个测试用例；

将所述测试对象的名称作为测试执行命令的参数，并将所述测试执行命令发送给VTS工具，以使所述VTS工具执行所述测试对象对应的测试可执行程序；

在所述VTS工具执行所述测试对象对应的测试可执行程序的过程中，或者在所述VTS工具执行所述测试对象对应的测试可执行程序之后，读取所述VTS工具产生的测试日志文件；

解析所述测试日志文件得到测试结果，在所述可视化界面上对所述测试结果进行显示。

2.根据权利要求1所述的方法，其特征在于，所述从VTS工具获取测试计划列表包括：

向VTS工具发送获取测试计划列表命令，获取所述VTS工具反馈的测试计划列表。

3.根据权利要求1所述的方法，其特征在于，所述从VTS工具获取测试模块列表包括：

向VTS工具发送获取测试模块列表命令，获取所述VTS工具反馈的测试模块列表；

或者，

在VTS工具对应的文件路径下，查找指定文件类型的配置文件，从所述指定文件类型的配置文件中读取测试模块名称，根据从各个所述指定文件类型的配置文件中读取的测试模块名称生成测试模块列表。

4.根据权利要求1所述的方法，其特征在于，所述从VTS工具获取测试用例列表包括：

从VTS工具对应的文件路径下，查找指定文件类型的配置文件，从所述指定文件类型的配置文件中读取测试用例文件的文件名，根据所述测试用例文件的文件名查找所述测试用例文件；

从所述测试用例文件中读取测试用例函数名称，根据从各个所述测试用例文件中读取的测试用例函数名称生成测试用例列表。

5.根据权利要求1所述的方法，其特征在于，所述解析所述测试日志文件得到测试结果，在所述可视化界面上对所述显示结果进行显示，包括：

在所述测试日志文件中查找测试关键词，获取每一所述测试关键词对应的测试用例的执行状态和/或执行结果；

在所述可视化界面上对各个所述测试用例的执行状态和/或执行结果进行显示。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述各个测试用例的执行状态和/或执行结果，确定已执行测试用例数量；

根据所述已执行测试用例数量以及所述测试对象对应的测试用例总数量，计算测试执行进度，在所述可视化界面上对所述测试执行进度进行显示。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据在执行所述测试对象对应的测试可执行程序时使用的VTS测试命令的执行时间、所述VTS测试命令的数量、所述测试对象对应的测试用例的执行时间以及所述测试对象对应的测试用例的总数量，计算测试预计总时长；

根据当前测试时长以及所述测试预计总时长，计算测试剩余时长；

在所述可视化界面上对所述当前测试时长和/或所述测试剩余时长进行显示。

8.一种供应商测试套件VTS测试装置，其特征在于，所述装置应用于包括可视化界面的客户端，所述装置包括：

列表获取单元，用于从VTS工具获取测试计划列表、测试模块列表以及测试用例列表；

列表显示单元，用于在可视化界面上对所述测试计划列表、所述测试模块列表以及所述测试用例列表进行显示；

对象选择单元，用于响应于用户在所述可视化界面上对测试对象的选择，获取所述测试对象的名称，所述测试对象为测试计划、测试模块或者测试用例，所述测试计划包括至少一个测试模块，所述测试模块包括至少一个测试用例；

命令发送单元，用于将所述测试对象的名称作为测试执行命令的参数，并将所述测试执行命令发送给VTS工具，以使所述VTS工具执行所述测试对象对应的测试可执行程序；

日志读取单元，用于在所述VTS工具执行所述测试对象对应的测试可执行程序的过程中，或者在所述VTS工具执行所述测试对象对应的测试可执行程序之后，读取所述VTS工具产生的测试日志文件；

结果显示单元，用于解析所述测试日志文件得到测试结果，在所述可视化界面上对所述测试结果进行显示。

9.一种供应商测试套件VTS测试设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7任一项所述的供应商测试套件VTS测试方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1-7任一项所述的供应商测试套件VTS测试方法。

Images