CN108038054B - 一种自动化测试方法及装置、计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种自动化测试方法，包括如下步骤：根据测试需求，创建N套测试参数组和M个测试用例集，所述测试参数组包括至少一个测试参数，所述测试用例集包括至少一个测试用例，并将所述N套测试参数组和M个测试用例集进行绑定，其中，N、M均为大于1的自然数；利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，并保存所述测试用例的一个或一个以上的测试结果。本申请还公开了一种自动化测试装置及计算机可读存储介质，通过实施上述方案，使得自动化测试工具每次自动执行测试用例时能使用多套测试参数，进而提高了测试工作的效率。

Description

一种自动化测试方法及装置、计算机可读存储介质

技术领域

本发明涉及但不限于自动化测试技术领域，尤其涉及一种自动化测试方法及装置、计算机可读存储介质。

背景技术

测试是项目研发过程中的一个重要阶段，是确保产品质量的关键，而测试工作的核心任务是测试用例的开发、管理和运行。为了便于管理和查阅，测试管理员通常会将大量测试用例按照某种规则进行分类和汇总，形成一棵测试用例树，再利用自动化测试工具将这棵测试用例树展现给测试人员。测试人员在运行测试用例之前，应先按照测试要求配置相应的测试参数(或称为配置参数，包括OS环境变量、测试工具环境变量、测试预置数据等)，自动化测试工具根据所配置的测试参数自动完成指定测试用例的执行，并将测试结果呈现到测试用例树上。

目前常用的自动化测试工具，如Java卡TCK(Technology Compatibility Kit)测试工具、Global Platform测试套件等，都采用了这种测试模式。但是，现有的自动化测试工具每次自动执行测试用例时只能使用预先指定的一套测试参数，若要使用另一套测试参数，必须人工重新配置；并且每次测试用例执行完毕后，每个测试用例只能保留一个测试结果(包括执行状态和执行结果等信息)，再次执行时，前一次的测试结果会被清除。

在实际的项目开发过程中，测试人员经常需要针对指定的一个、一组或全部测试用例使用多套不同的测试参数来反复执行，并收集全部测试结果进行汇总和比对。如果使用现有的自动化测试工具，由于测试用例上一次执行后的测试结果会被下一次执行后的测试结果覆盖掉，因此不便于测试人员对多次的测试结果进行比对。此外，由于每次自动执行测试用例时只能使用一套测试参数，测试人员需要长期值守在测试机前观察工作进度，配置、执行、记录的操作来回切换也比较繁琐，大量测试时难以保证人工操作不出任何差错。这对于项目工作来说是一个风险：一旦出错，测试工作就是不可靠的，随之产生的测试评估和分析结果也是不可信的，从宏观来说，对于整个项目及产品质量的保证和提升是一个很大的障碍。

发明内容

为了解决上述技术问题，本发明提供了一种自动化测试方法及装置、计算机可读存储介质，能够同时运行多套不同的测试参数，提高测试效率。

为了达到本发明目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种自动化测试方法，包括：

根据测试需求，创建N套测试参数组和M个测试用例集，所述测试参数组包括至少一个测试参数，所述测试用例集包括至少一个测试用例，并将所述N套测试参数组和M个测试用例集进行绑定，其中，N、M均为大于1的自然数；

根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，并保存所述测试用例的一个或一个以上的测试结果。

进一步地，在创建所述测试参数组时，所述方法还包括：

为所述测试参数组分配一个测试参数组标识和/或测试参数组名称。

进一步地，在创建所述测试用例集时，所述方法还包括：

为所述测试用例集分配一个测试用例集标识和/或测试用例集名称。

进一步地，所述根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试的步骤之前，所述方法还包括：

创建测试任务，所述测试任务包括至少一套所述测试参数组和至少一个所述测试用例集；

为所述测试任务分配一个测试任务标识和/或测试任务名称。

进一步地，在创建所述测试用例集时，所述方法还包括：设置所述测试用例集中的测试用例的执行顺序；

所述根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，具体包括：

根据测试任务中的所述测试参数组和测试用例集的绑定关系，利用测试任务中的测试用例集对应的测试参数组，并按照测试用例集中的测试用例的执行顺序，运行测试任务中的所述测试用例集中的测试用例。

进一步地，所述方法之后还包括：

在测试用例树上显示全部测试用例；

在测试用例树上显示所述测试用例的与测试参数组对应的一个或一个以上的测试结果。

需要说明的是，所述测试结果包括但不仅限于执行状态、执行结果等信息。其中，执行状态包括是否执行完毕和/或执行时是否出现程序运行错误等信息，例如：已屏蔽、未执行、正在执行、运行错误；执行结果包括测试是否通过和/或是否存在告警提示等信息，例如：测试通过、测试失败、测试警告。其中，程序运行错误指的是由于测试系统本身(包括相关的配置参数和辅助工具等)出错导致测试用例不能顺利执行，这与执行结果中的测试失败不同，测试失败指的是该测试用例已执行完毕且没有通过测试，即测试对象(包括对应的软件或产品)出错。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如以上任一项所述的自动化测试方法的步骤。

本发明实施例还提供了一种自动化测试装置，包括设置单元和执行单元，其中：

设置单元，用于根据测试需求创建N套测试参数组和M个测试用例集，所述测试参数组包括至少一个测试参数，所述测试用例集包括至少一个测试用例，并设置测试参数组和测试用例集的绑定关系，其中，N、M均为大于1的自然数，将创建的测试参数组、测试用例集以及二者之间的绑定关系输出至执行单元；

执行单元，用于根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，并保存所述测试用例的一个或一个以上的测试结果。

进一步地，所述设置单元还用于：

创建测试任务，所述测试任务包括至少一套所述测试参数组和至少一个所述测试用例集；

为所述测试任务分配一个测试任务标识和/或测试任务名称。

进一步地，在创建所述测试用例集时，所述设置单元还用于：

设置所述测试用例集中的测试用例的执行顺序。

进一步地，所述自动化测试装置还包括显示单元，其中：

所述显示单元用于：在测试用例树上显示全部测试用例，并在测试用例树上显示所述测试用例的与测试参数组对应的一个或一个以上的测试结果。

本发明的技术方案，具有如下有益效果：

本发明提供的自动化测试方法及装置、计算机可读存储介质，通过将测试参数和测试用例分别进行独立管理，再根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组，按照测试用例集指定的顺序运行测试用例集内的测试用例，使得自动化测试工具每次自动执行测试时能使用多套测试参数和不同测试用例组合，进而提高了测试工作的效率；

进一步地，通过在测试用例树上显示测试用例的与测试参数组对应的一个或一个以上的测试结果，便于测试人员查看多套测试参数下测试用例的测试结果，以及对多个测试结果进行比对分析。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例的一种自动化测试方法的流程示意图；

图2为本发明第一实施例的一种自动化测试装置的结构示意图；

图3为本发明第二实施例的一种自动化测试装置的结构示意图；

图4为本发明实施例的一种执行单元的输入输出示意图；

图5为本发明优选实施例的一种测试用例树的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

如图1所示，根据本发明的一种自动化测试方法，包括如下步骤：

步骤101：根据测试需求，创建N套测试参数组和M个测试用例集，所述测试参数组包括至少一个测试参数，所述测试用例集包括至少一个测试用例，并将所述N套测试参数组和M个测试用例集进行绑定，其中，N、M均为大于1的自然数；

需要说明的是，本发明所述的测试参数组指的是针对测试对象配置的包含一个或一个以上的测试参数的一组测试参数，当测试参数组和某个测试用例集绑定时，测试参数组中的测试参数适用于该测试用例集内的所有测试用例。测试用例可能是一个执行程序，也可以是一个执行脚本，或者是一个测试流程描述文件。

在本发明第一实施例中，在创建测试参数组时，所述方法还包括：为每套测试参数组分配一个测试参数组标识。

在本发明第二实施例中，在创建测试参数组时，所述方法还包括：为每套测试参数组分配一个测试参数组名称。

具体地，为测试参数组分配一个测试参数组标识和/或测试参数组名称，便于测试人员设置不同的测试参数组和指定的测试用例集的绑定关系，也便于测试人员查看不同的测试参数组各自所对应的测试结果。

如表1所示，测试参数组有自己的标识(ID)和/或名称。测试系统内可创建一个或多个测试参数组。测试参数包括但不仅限于：OS(操作系统)环境变量、测试工具环境变量、测试预置数据等。

表1

在本发明第一实施例中，在创建测试用例集时，所述方法还包括：为每套测试用例集分配一个测试用例集标识。

在本发明第二实施例中，在创建测试用例集时，所述方法还包括：为每套测试用例集分配一个测试用例集名称。

如表2所示，测试用例集有自己的标识(ID)和/或名称。测试系统内可创建一个或多个测试用例集。

表2

步骤102：根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，并保存所述测试用例的一个或一个以上的测试结果。

在本发明一实施例中，所述步骤102之前，所述自动化测试方法还包括：

创建测试任务，所述测试任务包括至少一套测试参数组和至少一个测试用例树上的至少一个测试用例；

为所述测试任务分配一个测试任务标识和/或测试任务名称。

需要说明的是，所创建的测试任务中可以包括多套测试参数组、多套测试用例集，以及所述多套测试参数组和所述多套测试用例集的绑定关系。通过创建测试任务，可以灵活地根据不同的测试需要来指定不同的测试参数和不同的测试用例，适应在特定参数条件下应屏蔽/运行某些特定用例的情况。

如表3所示，测试任务有自己的标识(ID)和名称。系统内可创建一个或多个测试任务。

表3

进一步地，在创建所述测试用例集时，所述方法还包括：

设置所述测试用例集中的测试用例的执行顺序。

进一步地，所述方法之后还包括：

在测试用例树上显示全部测试用例；

在测试用例树上显示测试用例的与测试参数组对应的一个或一个以上的测试结果。

需要说明的是，所述测试结果包括但不仅限于执行状态、执行结果等信息。其中，执行状态包括是否执行完毕和/或执行时是否出现程序运行错误等信息，例如：已屏蔽、未执行、正在执行、运行错误；执行结果包括测试是否通过和/或是否存在告警提示等信息，例如：测试通过、测试失败、测试警告。其中，程序运行错误指的是由于测试系统本身(包括相关的配置参数和辅助工具等)出错导致测试用例不能顺利执行，这与执行结果中的测试失败不同，测试失败指的是该测试用例已执行完毕且没有通过测试，即测试对象(包括对应的软件或产品)出错。测试用例的一个或一个以上的测试结果，在测试任务执行过程中或测试任务执行结束后均可以显示在测试用例树上，即，测试人员在测试的任意阶段随时可以选择查询这些测试结果。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如以上任一项所述的自动化测试方法的步骤。

如图2所示，本发明实施例还提供了一种自动化测试装置，包括设置单元201和执行单元202，其中：

设置单元201，用于根据测试需求创建N套测试参数组和M个测试用例集，所述测试参数组包括至少一个测试参数，所述测试用例集包括至少一个测试用例，并设置测试参数组和测试用例集的绑定关系，其中，N、M均为大于1的自然数，将创建的测试参数组、测试用例集以及二者之间的绑定关系输出至执行单元202；

执行单元202，用于根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，并保存所述测试用例的一个或一个以上的测试结果。

需要说明的是，本发明所述的测试参数组指的是针对测试对象配置的包含一个或一个以上的测试参数的一组测试参数，当测试参数组和某个测试用例集绑定时，测试参数组中的测试参数适用于该测试用例集内的所有测试用例。测试用例可能是一个执行程序，也可以是一个执行脚本，或者是一个测试流程描述文件。

在本发明第一实施例中，所述设置单元201还用于：

在创建测试参数组时，为每套测试参数组分配一个测试参数组标识。

在本发明第二实施例中，所述设置单元201还用于：

在创建测试参数组时，为每套测试参数组分配一个测试参数组名称。

具体地，为测试参数组分配一个测试参数组标识和/或测试参数组名称，便于测试人员设置不同的测试参数组和指定的测试用例集的绑定关系，也便于测试人员查看不同的测试参数组各自所对应的测试结果。

进一步地，所述设置单元201还用于：

创建测试任务，所述测试任务包括至少一套测试参数组和至少一个所述测试用例集；

为所述测试任务分配一个测试任务标识和/或测试任务名称。

需要说明的是，所创建的测试任务中可以包括多套测试参数组、多套测试用例集，以及所述多套测试参数组和所述多套测试用例集的绑定关系。通过创建测试任务，可以灵活地根据不同的测试需要指定不同的测试参数和不同的测试用例。

进一步地，在创建所述测试用例集时，所述设置单元201还用于：

设置所述测试用例集中的测试用例的执行顺序。

进一步地，所述执行单元202的根据测试参数组和测试用例集的绑定关系，利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，包括：

根据测试任务中的所述测试参数组和测试用例集的绑定关系，利用测试任务中的测试用例集对应的测试参数组，并按照测试用例集中的测试用例的执行顺序，运行所述测试用例集中的测试用例。

如图4所示，所述执行单元202包括以下输入、操作和输出：

输入：测试任务(同时包括了测试参数组和测试用例集)，而非现有自动化软件的测试参数组。

操作：解析测试任务中的测试参数组和测试用例集以及二者的绑定关系，最终具化为多条“一套测试参数+一个测试用例”的实例数据，并进行测试。

输出：每个测试用例都可根据不同测试参数组保存其对应的测试结果。

进一步地，如图3所示，所述自动化测试装置还包括显示单元203，其中：

显示单元203，用于在测试用例树上显示全部测试用例，并在所述测试用例树上显示所述测试用例的与测试参数组对应的一个或一个以上的测试结果。

需要说明的是，所述测试结果包括但不仅限于执行状态、执行结果等信息。其中，执行状态包括是否执行完毕和/或执行时是否出现程序运行错误等信息，例如：已屏蔽、未执行、正在执行、运行错误；执行结果包括测试是否通过和/或是否存在告警提示等信息，例如：测试通过、测试失败、测试警告。其中，程序运行错误指的是由于测试系统本身(包括相关的配置参数和辅助工具等)出错导致测试用例不能顺利执行，这与执行结果中的测试失败不同，测试失败指的是该测试用例已执行完毕且没有通过测试，即测试对象(包括对应的软件或产品)出错。测试用例的一个或一个以上的测试结果，在测试任务执行过程中或测试任务执行结束后均可以显示在测试用例树上，即，测试人员在测试的任意阶段随时可以选择查询这些测试结果。

本发明实施例还提供了一个优选的实施例对本发明进行进一步解释，但是值得注意的是，该优选实施例只是为了更好的描述本发明，并不构成对本发明不当的限定。

由于传统的测试用例树只能针对一种参数配置提供一个测试状态，本发明将提供一种多状态测试用例树，简单地说，就是一棵测试用例树上能同时保存多个测试状态(即多个测试结果)，每个测试状态对应一套测试参数配置。测试人员可以预先配置好若干套测试参数(视为一个测试参数组)和若干套测试用例(视为一个测试用例集)，然后选择一套或多套测试参数，再选择需要执行的一套或多套测试用例，并指定测试参数组和测试用例集之间的绑定关系，从而生成测试任务。在这样一个自动化测试任务中，测试工具将按照测试人员的设置，依次使用每套测试参数对指定的测试用例按照指定的测试顺序进行测试，并自动记录每个测试用例针对每套测试参数的测试结果，最后将测试结果直接反映到测试用例树上。整个过程无需人工干预。测试任务执行过程中或结束后，测试人员随时可以选择查询这些测试结果。

测试人员配置测试参数时，可为每套测试参数指定一个唯一的名称，即测试参数组名称；同时系统将为每套测试参数分配一个唯一标识符，即测试参数组标识(ID)。测试人员选择测试用例时，可为每套测试用例指定一个唯一的名称，即测试用例集名称；同时系统将为每套测试用例分配一个唯一标识符，即测试用例集标识(ID)。测试人员选取若干测试参数组和若干测试用例集，并使二者绑定形成测试任务，测试任务也有唯一的名称和唯一的标识(ID)。

自动化测试工具依次取出每个测试任务，并从测试任务中取出每个测试参数组ID，根据测试任务中的配置找到其对应的测试用例集ID。再利用测试参数组ID找到其中的具体参数配置，再利用测试用例集ID找到其中包含的具体测试用例及预先指定的执行顺序，然后对这些测试用例按照前述参数配置和指定顺序进行测试。每个测试用例每次测试执行结束后产生的测试结果都和一个测试参数组ID绑定并进行保存，多次测试后就存在多个测试结果。

测试人员可以查看测试系统内所有的测试参数组，随时选择某个测试参数组并查看对应的测试结果；测试人员也可以查看所有的测试用例集，随时选择某个测试用例集并查看其对应的测试结果；测试人员还可以查看所有的测试用例，随时选择某个测试用例并查看其对应的测试结果。测试用例树则直接展示了这些信息：测试用例树上显示了全部的测试用例及层级结构，每个测试用例下保存有多个测试参数组及其对应的测试结果。

现有的测试方法和工具存在较多限制。首先，现有的测试用例树没有考虑测试结果多状态的情况，每次测试需要先配置一套测试参数，按此测试，产生一个测试结果。如果需要对同一测试用例使用不同的测试参数配置进行反复测试，就必须人工干预。第二，现有的测试方法中，测试用例的选定和测试参数组的配置是各自无关的，执行单元的输入仅仅是测试参数组，所以在测试过程中无法改变测试用例，要想根据不同平台、不同设备等需求进行测试时，测完一遍之后，不但要修改测试参数，还要重新调整测试用例的范围甚至测试用例的先后顺序。第三，每个测试用例往往只能保留一个测试结果，再次执行时，前一次的测试结果往往会被清除，因此多次执行后只能看到最后一次的测试结果。上述这些限制使得测试人员在工作时必须先配置一套测试参数，选择一批测试用例，然后执行，等待这次测试完成，记录测试结果，然后再配置另外一套测试参数，选择另外一批测试用例，再次执行、等待、记录……如此顺序重复进行测试。这种方式不能做到完全的自动化测试。而且测试人员需要长期在测试机前观察工作进度，持续进行配置、执行、记录操作，大量测试时难以保证人工操作不出任何差错。

本发明将测试用例树上的单一状态修改为多状态；对测试参数配置进行分组管理；对测试用例进行分集管理；对测试用例的顺序预先指定；测试参数组和测试用例集可以灵活绑定形成测试任务；系统只需将测试任务交给执行单元就可以了，执行单元获取测试任务中的执行参数和执行用例，完成执行任务；每个测试参数组和一个测试结果绑定；所有测试用例、测试参数组和测试结果互相关联，形成多状态的测试用例树。这样一来，对于不同环境和/或需求的测试，都可以一次指定、连续执行，无需中途再干预。这种可以任意配置测试参数和测试用例的功能，大大增强了测试工作的适应性，测试人员可以据此实现自动化测试，并随时查看测试情况。整个测试系统可以看作五个部分：测试参数组的管理、测试用例集的管理、测试任务的管理、测试执行单元的管理、测试用例树的管理。

1)测试参数组的管理：

分配测试参数组的ID、名称，选择并设置相关测试参数。

允许建立一个或多个测试参数组。测试参数包括但不仅限于：OS(操作系统)环境变量、测试工具环境变量、测试预置数据等。

2)测试用例集的管理：

分配测试用例集的ID、名称，选择相关测试用例，并指定测试用例在测试用例集内的排列顺序。

允许建立一个或多个测试用例集。

3)测试任务的管理：

分配任务的ID、名称，选择一个或者多个测试参数组，选择一个或多个测试用例集，并将二者进行绑定。

允许建立一个或多个测试任务。

4)测试执行单元的管理：

将每个测试任务作为一个整体输入交给执行单元去处理，执行时由测试任务来控制其中各个测试用例的测试参数和测试顺序。

执行单元负责取出测试任务，解析测试任务中的测试参数组和测试用例集以及二者的绑定关系，最终具化为多条“一个测试参数组+一个测试用例”的测试实例，并进行测试。

测试完毕后，每个测试用例都可根据不同测试参数组保存其对应的测试结果，因此一个测试用例针对多组参数就可以同时存有多组测试结果。

5)测试用例树的管理：

所有测试用例按照一定的原则进行分类排列，形成一颗自上而下的测试用例树，包括根节点、父节点、子节点。如图5所示，进入本系统后，第一步操作就是组建这棵测试用例树，这是系统内必有且仅有的一棵树。

测试用例树的根节点为Root，必有且仅有一个，代表全部用例。根节点下可放子节点。然后，通过搜索(Search)功能来搜寻并解析各个测试用例描述文件(包括但不仅限于xml文件、properties文件、excel文件、txt文件等)中描述的测试用例及测试用例的层级结构，依次组装测试用例树的各个节点。一个叶子节点代表一个测试用例。父、子节点是相对的，一个子节点可能是另外一个节点的父节点。父、子节点可以有多个。搜索完成后，此测试用例树即完成建立。

因此，测试用例树可以展示本系统所涉及的全部测试用例。

测试用例树可以展示每个测试用例的测试结果，而且可以根据不同测试参数组展示多个不同测试结果。

本发明使用了多状态测试用例树，把预先配置好的测试参数组和测试用例集进行标识，并将二者进行关联绑定，这样就可以实现不同环境和/或需求下的自动化测试，再将每个测试参数组对应的测试结果也绑定到测试用例树上，实现了多状态保存。这种方式可以满足测试人员让测试工作完全自动化的愿望。例如，利用本发明进行Java卡平台TCK测试时，测试人员可先配置多套测试参数，再选择不同TCK测试用例并指定执行顺序形成不同的测试用例集，然后根据TCK测试要求将这些测试参数组和测试用例集进行匹配关联，形成多个TCK测试任务，之后利用测试工具自动执行即可，不必在测试机旁边等待。在测试过程中，测试人员随时可以查看测试结果。等整个任务执行完毕，测试人员可以一次性汇总整理多种配置下的多个测试用例的全部执行结果，极大的保障了测试数据的完整性和准确率，提高了测试工作的有效性。另一方面，当测试任务执行时，测试人员完全可以开展其他测试工作，几项工作同时并发进行，进一步提高了测试工作的效率。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种自动化测试方法，其特征在于，包括：

根据测试需求，创建N套测试参数组和M个测试用例集，所述测试参数组包括至少一个测试参数，所述测试用例集包括至少一个测试用例，并将所述N套测试参数组和M个测试用例集进行绑定，其中，N、M均为大于1的自然数，其中，每个测试参数组中的测试参数均是测试对象的参数，且，当测试参数组和某个测试用例集绑定时，测试参数组中的测试参数适用于该测试用例集内的所有测试用例；

利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，并保存所述测试用例的一个或一个以上的测试结果；

其中，依次使用每套测试参数对指定的测试用例按照指定的测试顺序进行测试，并自动记录每个测试用例针对每套测试参数的测试结果，最后将测试结果直接反映到测试用例树上，其中，一棵测试用例树上能同时保存多个测试结果，其中每个测试结果对应一套测试参数。

2.根据权利要求1所述的自动化测试方法，其特征在于，所述方法之后还包括：

在测试用例树上显示全部测试用例；

并在测试用例树上显示所述测试用例的与测试参数组对应的一个或一个以上的测试结果。

3.根据权利要求1所述的自动化测试方法，其特征在于，在创建所述测试参数组时，所述方法还包括：

为所述测试参数组分配一个测试参数组标识和/或测试参数组名称。

4.根据权利要求1所述的自动化测试方法，其特征在于，在创建所述测试用例集时，所述方法还包括：

为所述测试用例集分配一个测试用例集标识和/或测试用例集名称。

5.根据权利要求1所述的自动化测试方法，其特征在于，所述利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试的步骤之前，所述方法还包括：

创建测试任务，所述测试任务包括至少一套所述测试参数组和至少一个所述测试用例集；

为所述测试任务分配一个测试任务标识和/或测试任务名称。

6.根据权利要求1所述的自动化测试方法，其特征在于，在创建所述测试用例集时，所述方法还包括：设置所述测试用例集中的测试用例的执行顺序；

所述利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，具体包括：

根据测试任务中的所述测试参数组和测试用例集的绑定关系，利用测试任务中的测试用例集对应的测试参数组，并按照测试用例集中的测试用例的执行顺序，运行所述测试用例集内的测试用例。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的自动化测试方法的步骤。

8.一种自动化测试装置，其特征在于，包括设置单元和执行单元，其中：

设置单元，用于根据测试需求创建N套测试参数组和M个测试用例集，所述测试参数组包括至少一个测试参数，所述测试用例集包括至少一个测试用例，并设置测试参数组和测试用例集的绑定关系，其中，N、M均为大于1的自然数，将创建的测试参数组、测试用例集以及二者之间的绑定关系输出至执行单元，其中，每个测试参数组中的测试参数均是测试对象的参数，且，当测试参数组和某个测试用例集绑定时，测试参数组中的测试参数适用于该测试用例集内的所有测试用例；

执行单元，用于利用测试用例集对应的测试参数组对测试用例集内的测试用例进行测试，并保存所述测试用例的一个或一个以上的测试结果；

其中，依次使用每套测试参数对指定的测试用例按照指定的测试顺序进行测试，并自动记录每个测试用例针对每套测试参数的测试结果，最后将测试结果直接反映到测试用例树上，其中，一棵测试用例树上能同时保存多个测试结果，其中每个测试结果对应一套测试参数。

9.根据权利要求8所述的自动化测试装置，其特征在于，所述设置单元还用于：

创建测试任务，所述测试任务包括至少一套所述测试参数组和至少一个所述测试用例集；

为所述测试任务分配一个测试任务标识和/或测试任务名称。

10.根据权利要求8所述的自动化测试装置，其特征在于，还包括显示单元，其中：

所述显示单元用于：在测试用例树上显示全部测试用例，并在测试用例树上显示所述测试用例的与测试参数组对应的一个或一个以上的测试结果。

Images