CN114462339B - 用于回归测试的参数调优、文件建立方法及其装置 - Google Patents

Abstract

本公开提供一种用于回归测试的参数调优、文件建立的方法及其装置，通过获取测试计划中的多个测试点、多个测试用例与回归测试的控制参数之间的关联关系，经由该关联关系将测试计划与回归测试的控制参数关联形成整体，避免测试计划与回归测试之间的独立维护和同步，进一步基于该关联关系，对多个测试用例对应的控制参数进行调整，获得调整后的控制参数，实现了芯片测试计划与回归测试之间的关联维护和回归测试的控制参数的整体优化，降低了人工工作量，提高了回归测试效率和准确率。

Description

用于回归测试的参数调优、文件建立方法及其装置

技术领域

本公开涉及测试领域，尤其涉用于回归测试的参数调优、文件建立方法及其装置。

背景技术

芯片验证是采用相应的验证语言、验证工具、验证方法，在芯片生产之前验证芯片的设计是否符合芯片定义的需求规格，对于芯片设计质量的保证起着至关重要的作用。芯片验证需要验证工程师根据测试计划，运行回归测试，以完成对芯片所有功能点的验证。

在当前的验证流程中，由于测试计划描述的映射关系与回归测试的各项控制条件是独立维护的，这种独立维护的方式，在整个项目周期的验证过程中，需要人为不断地维护测试计划与回归测试控制之间的同步，额外增加了验证工程师的工作量，降低了依据测试计划来运行回归测试的效率。

发明内容

本公开的目的是提供用于回归测试的参数调优、文件建立方法及其装置，实现了芯片测试计划与回归测试之间的关联维护和回归测试控制参数的整体优化，降低了人工工作量，提高了回归测试效率和准确率。

根据本公开的第一方面，提供一种用于回归测试的参数调优方法，包括：

获取测试计划中的多个测试点、多个测试用例与回归测试的控制参数之间的关联关系；

基于所述关联关系，对多个测试用例对应的控制参数进行调整，获得调整后的控制参数。

可选的，所述调整后的控制参数包括：

独立仿真名称，表征相同验证环境中同一测试用例对应的不同仿真用例。

可选的，所述调整后的控制参数包括：

使能控制选项，用于控制测试点对应的测试用例是否需要转换成仿真用例，以滤除重复的回归测试。

可选的，所述回归测试的控制参数包括：回归测试的验证环境、仿真选项以及回归分组。

可选的，基于所述关联关系，对多个测试用例对应的控制参数进行调整，获得调整后的控制参数，包括：

根据所述关联关系，获取验证环境相同且仿真选项不同的同一测试用例作为第一测试用例，为不同测试点对应的所述第一测试用例配置不同的独立仿真名称；

将所述独立仿真名称写入所述控制参数，获得调整后的控制参数。

可选的，基于所述关联关系，对多个测试用例对应的控制参数进行调整，获得调整后的控制参数，包括：

根据所述关联关系，获取验证环境相同、仿真选项相同的同一测试用例作为第二测试用例，所述第二测试用例对应多个测试点，为所有测试点对应的所述第二测试用例配置使能控制选项且只有一个测试点对应的所述第二测试用例的使能控制选项配置为使能；

将所述使能控制选项写入所述控制参数，获得调整后的控制参数。

可选的，获取测试计划中的多个测试点、多个测试用例与回归测试的控制参数之间的关联关系，包括：

建立测试计划中的多个测试点与多个测试用例之间的第一关联关系；

针对每个测试用例，根据测试用例对应的各测试点确定测试用例与所述回归测试的控制参数中的验证环境和仿真选项之间的第二关联关系。

可选的，所述方法还包括：

基于调整后的控制参数，通过仿真控制脚本解析出仿真工具命令需要的输入参数，并调用仿真工具运行回归测试。

可选的，所述方法还包括：

基于所述测试计划、调整后的控制参数及所述关联关系，建立用于回归测试的文件；

通过仿真控制脚本从所述文件中解析出仿真工具命令需要的输入参数，并调用仿真工具运行回归测试。

本公开的第二方面，提供一种用于回归测试的文件建立方法，包括：

建立测试计划中的多个测试点与多个测试用例之间的第一关联关系；

针对每个测试用例，根据测试用例对应的各测试点确定测试用例与回归测试的控制参数之间的第二关联关系，所述控制参数包括回归测试的验证环境和仿真选项；

根据所述测试计划、所述控制参数、所述第一关联关系以及所述第二关联关系，建立用于回归测试的文件。

可选的，所述控制参数还包括：

独立仿真名称，表征相同验证环境中同一测试用例对应的不同仿真用例；和/或，

使能控制选项，用于控制测试点对应的测试用例是否需要转换成仿真用例。

可选的，所述方法还包括：

根据所述第一关联关系和所述第二关联关系，获取验证环境相同且仿真选项不同的同一测试用例作为第一测试用例，将不同测试点对应的所述第一测试用例与不同的所述独立仿真名称关联；和/或，

根据所述第一关联关系和所述第二关联关系，获取验证环境相同、仿真选项相同的同一测试用例作为第二测试用例，所述第二测试用例对应多个测试点，将一个测试点对应的所述第二测试用例与所述使能控制选项中的使能关联。

本公开的第三方面，提供一种用于回归测试的参数调优装置，包括：

关联单元，用于获取测试计划中的多个测试点、多个测试用例与回归测试的控制参数之间的关联关系；

调优单元，用于基于所述关联关系，对多个测试用例对应的控制参数进行调整，获得调整后的控制参数。

本公开的第四方面，提供一种用于回归测试的文件建立装置，包括：

第一关联单元，用于建立测试计划中的多个测试点与多个测试用例之间的第一关联关系；

第二关联单元，用于针对每个测试用例，根据测试用例对应的各测试点确定测试用例与回归测试的控制参数之间的第二关联关系，所述控制参数包括回归测试的验证环境和仿真选项；

生成单元，用于根据所述测试计划、所述控制参数、所述第一关联关系以及所述第二关联关系，建立用于回归测试的文件。

本公开的第五方面，提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面和第二方面中任一项实施方法。

本公开的第六方面，提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序运行时控制所述存储介质所在电子设备执行第一方面和第二方面中任一项实施方法。

附图说明

图1-1为本公开实施例的芯片设计功能点到测试用例之间的多对多映射关系的示意图；

图1-2为本公开实施例的测试用例运行于不同验证环境的示意图；

图1-3为本公开实施例的测试用例的不同仿真选项控制的示意图；

图1-4为本公开实施例的测试用例的回归测试分组的示意图；

图2为本公开实施例的一种用于回归测试的参数调优方法的流程示意图；

图3为本公开实施例的测试计划与回归测试控制一体化拓扑结构的示意图；

图4为本公开实施例的芯片设计功能点到各测试用例之间的第一关联关系；

图5为本公开实施例的测试用例与回归测试的控制参数之间映射关系示意图；

图6为本公开实施例的回归测试控制参数调整后的示意图；

图7为本公开实施例的一种用于回归测试的文件建立方法的流程示意图；

图8-1为本公开实施例的测试计划与回归测试控制的一体化描述项的示意图；

图8-2为本公开实施例的测试计划基于表格的描述方式的示意图；

图8-3为本公开实施例的测试用例的回归测试控制参数描述的示意图；

图9为本公开实施例的用于回归测试的参数调整装置的示意图；

图10为本公开实施例的用于回归测试的文件建立装置的示意图。

具体实施方式

在介绍本公开实施例之前，应当说明的是：

本公开部分实施例被描述为处理流程，虽然流程的各个操作步骤可能被冠以顺序的步骤编号，但是其中的操作步骤可以被并行地、并发地或者同时实施。

本公开实施例中可能使用了术语“第一”、“第二”等等来描述各个特征，但是这些特征不应当受这些术语限制。使用这些术语仅仅是为了将一个特征与另一个特征进行区分。

本公开实施例中可能使用了术语“和/或”，“和/或”包括其中一个或更多所列出的相关联特征的任意和所有组合。

应当理解的是，当描述两个部件的连接关系或通信关系时，除非明确指明两个部件之间直接连接或直接通信，否则，两个部件的连接或通信可以理解为直接连接或通信，也可以理解为通过中间部件间接连接或通信。

为了使本公开实施例中的技术方案及优点更加清楚明白，以下结合附图对本公开的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本公开的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

本公开围绕测试计划和回归测试展开，首先对这两个基本概念进行说明：

测试计划，包含从芯片设计的功能点到测试点，测试点到测试用例之间的映射关系，如图1-1所示。

回归测试，需要体现每条测试用例与回归测试的控制参数之间的关系，如测试用例可以运行的验证环境，区分各验证环境中对于相同测试用例的不同仿真选项，以及每次回归测试对于测试用例的选取如测试用例对应的回归分组等众多回归条件的控制，如图1-2至图1-4所示。

由于一个测试计划中往往包含多个测试点，测试点与测试用例之间又是多对多的映射关系，而测试用列与回归测试的控制参数之间又是一对多的映射关系，如此复杂的映射关系由人工进行独立维护并同步，不仅需要耗费巨大的工作量还存在同步不准确的问题。针对该问题，本公开采用关联维护的方式即将测试计划与回归测试的控制参数进行关联，避免独立维护并同步导致的工作量大、同步不准确的问题。进一步的，本公开还在关联维护的基础上，基于测试用例整体对回归控制参数进行参数调整，使得调整后的控制参数对于测试计划整体更优，进而提高回归测试的效率和准确率。

下面通过具体的实施例，对本公开的各技术方案进行详细说明。

实施例一

请参考图2，本实施例提供一种用于回归测试的参数调优方法，包括：

S21、获取测试计划中的多个测试点、多个测试用例与回归测试的控制参数之间的关联关系；

S22、基于所述关联关系，对多个测试用例对应的控制参数进行调整，获得调整后的控制参数。

S21在获取上述关联关系时，可以将测试用例作为测试计划与回归测试控制之间的桥梁，将测试计划中的测试点到测试用例的映射依据回归测试的各项控制要求进行关联，建立测试点与各验证环境之间的映射关系，各回归测试分组即回归分组与仿真选项之间的映射关系。该方法将测试用例在多验证环境中的复用性，不同仿真场景下的复用性，以及不同回归测试分组的复用性与测试计划本身联动起来，作为一个整体进行描述与控制，构建从芯片设计的功能点到具体运行的每个仿真测试之间的脉络，形成了测试计划与回归测试控制一体化的拓扑结构，如图3所示。

在具体执行过程中，S21可以包括如下子步骤：

S211、建立测试计划中的多个测试点与多个测试用例之间的第一关联关系；

S212、针对每个测试用例，根据测试用例对应的各测试点确定测试用例与回归测试的控制参数之间的第二关联关系。

具体实时过程中，对于某个芯片设计功能点的验证，需要一个或多个测试点与之对应。而对于某个测试点的覆盖，需要一个或多个测试用例进行仿真测试。并且，同一个测试用例也可以通过随机约束或者不同的仿真选项覆盖到不同的测试点，由此S211建立的第一关联关系如图4所示。

请参考图4，功能点N表示从芯片设计说明书中提取的第N个功能点。测试点N.M表示与功能点N所对应的第M个测试点。测试用例A1，C1和C2为覆盖测试点N.M所需要的测试用例。并且，测试用例A1同时覆盖了测试点N.M和测试点1.1；测试用例C1同时覆盖了测试点N.M和测试点2.1；测试用例C2同时覆盖了测试点N.M和测试点N.2。

基于S211构建完第一关联关系之后，进一步执行S212根据测试用例对应的各测试点确定每个测试用例与回归测试的控制参数之间的第二关联关系。其中，回归测试的控制参数包括如下一个或多个参数：验证环境、仿真选项、直接测试用例的seed值、随机测试用例的迭代次数、回归测试的分组即回归分组以及项目新增用例标识。以测试用例X为例，对应的回归测试的控制参数如图5所示。

图5中，验证环境体现了测试用例X针对不同验证平台的复用性。例如，验证环境从芯片验证的层级区分可以分为IP验证，子系统验证与SoC验证，不同的层级可能编译了不同的设计代码和验证代码。此外，也可以从其他维度来定义不同的验证环境，例如是否包含一些加速仿真的编译选项，又或者运行的设计代码中是否存在某些部分被某种参考模型所替代等等。运行回归测试时，需要通过验证环境来区分不同的验证平台，测试用例基于所支持验证平台的编译环境来运行仿真。

图5中，仿真选项用于在执行测试用例的仿真命令时，向测试用例传递某种控制参数以实现相同的测试用例产生不同测试场景的需求。对于任何测试用例X而言，可以存在一个或多个仿真控制参数，也可以不存在任何仿真控制参数，故而此处用虚线框表示。当测试用例不存在仿真控制参数时，表示无需通过仿真命令行来控制测试用例的测试场景，具体的测试场景控制完全由测试用例的代码本身实现，比如基于约束的随机机制。

图5中，测试用例X的测试类型分为两类，分别为直接测试和随机测试。对于直接测试而言，测试用例X针对一组回归测试参数只会运行一次仿真，回归测试参数中指定了仿真对应的seed值，用以后续debug时的测试场景复现。对于随机测试而言，测试用例X针对一组回归测试参数会运行多次仿真，回归测试参数中指定了需要运行仿真的次数，由迭代次数表示。通常而言，随机测试用例在运行多次仿真时的seed值可以由仿真工具动态分配，无需在回归测试参数中指定。

图5中，回归分组给回归测试选取不同的测试用例提供了方法。任何测试用例X可以基于上述提到的验证环境进行分组，如标识{1}至标识{M}所示，也可以根据其对应测试点所属的芯片功能特性进行分组，如标识<1>至标识<L>所示，或者基于其他任何类型进行分组。所有的这些标识之间不可重名，每一个标识代表了一个独立的回归分组。在运行回归测试时，可以通过指定一个或多个回归分组标识名，将匹配该标识名的所有测试用例纳入到本次回归测试中运行仿真。例如，运行回归测试时指定了回归分组标识<J>，那么测试用例的回归分组中只要具有标识<J>，就会被选入到本次回归测试中运行仿真。又例如，运行回归测试时指定了回归分组标识<J>和回归分组标识<K>，那么测试用例的回归分组中只要具有标识<J>或者标识<K>，就会被选入到本次回归测试中运行仿真。同时，运行回归测试时还支持一种全局回归模式，比如通过指定某种特殊的回归标识来体现这种全局回归模式，此时所有的测试用例将不再受到各自回归分组中标识的约束，将被全部纳入回归测试中运行仿真。

图5中，项目新增标识体现了对应的测试用例是本项目所新增的，还是继承自此前的项目，用于项目迭代中对于新项目设计功能点的验证情况进行分类追踪。由此，在运行回归测试时，可以通过项目新增标识提供另一个维度的回归分组。例如在回归测试时，排除掉那些标识为继承类型的测试用例，仅选取标识为新增类型的测试用例来运行回归测试。同样，也可以在基于任何分组下的回归测试运行完成之后，通过项目新增标识来检索该回归分组中，继承自此前项目的测试用例和新增于当前项目的测试用例各自的通过率情况。

上述第一关联关系和第二关联关系共同构成测试计划与回归测试的控制参数之间的关联关系，通过该关联关系的建立将测试计划与回归测试由独立维护转换为联合维护，避免了验证工程师在回归测试过程中对测试计划与回归测试进行同步，大大减少了回归测试的工作量。并且，基于本案提出的方法，第一关联关系和第二关联关系形成的这种拓扑结构，可以由单一入口进行描述，节省了原本需要不断同步测试计划和回归测试控制参数所造成的验证人力资源消耗，可以加速验证工程师运行回归测试的效率。

同时，这种将测试计划与回归控制一体化的关联方法，使得每一个测试点对应于哪些测试用例，每个测试用例可以复用于哪些验证环境，每个测试用例在某个验证环境中有哪些不同的仿真选项，以及每个测试用例隶属于哪些回归测试分组中都被直接地关联起来。这样保证了每个测试点对应的测试用例都会根据回归测试的控制要求进行独立仿真和回归测试。并且，对于任何设计功能调整所引起的测试点改动，可以直接更新对应的测试用例以及相应的回归测试的控制参数，降低了测试用例的仿真场景与测试点要求不一致而造成的虚假验证风险。

基于上述方法，S21完成了测试计划的多个测试点、多个测试用例与回归测试的控制参数之间的关联关系的获取，整体上反映了测试计划与回归测试之间的控制关系。基于上述关联关系，本实施例进一步执行S22。

S22在对多个测试用例对应的控制参数进行调整时，包括基于上述关联关系为测试用例新增控制参数独立仿真名称和/或使能控制选项。独立仿真名称表征相同验证环境中同一测试用例对应的不同仿真用例。对于相同测试用例而言，独立仿真名称是与仿真选项对应的，每组仿真选项对应于一个独立仿真名称。使能控制选项用于控制测试点对应的测试用例是否需要转换成仿真用例。通常情况下，使能控制选项是每个测试用例都需要的控制参数，通过配置改参数为使能或者不使能来决定测试用例是否需要进行回归，如果需要再根据其他控制参数（比如是否在指定的回归分组内）决定最终是否需要回归。具体实施过程中也可以采用另一种方式，对需要使能的测试用例添加使能控制选项为使能，对于其他测试用例不做调整，默认其他测试用例不需要进行回归；或者，对不需要使能的测试用例添加使能控制选项为不使能，对其他测试用例不做调整，默认其他测试用例需要进行回归。

需要特别说明的是，仿真用例是传递给仿真工具的测试用例描述，包含测试用例和仿真选项信息。仿真工具接收到仿真用例之后，需要进一步确定其中所有变量的值（每一次确定对应于一次迭代）然后开始执行仿真。针对本案情况对测试用例和仿真用例之间关系进行如下说明：1） 测试用例中某些变量是通过仿真选项参数传递进来给仿真工具的，因此不同的仿真选项参数需要先对应于不同的仿真用例，给到仿真工具。2）测试用例中某些变量是随机变量，这些变量是在仿真工具运行仿真时由仿真工具决定其变量值的，因此提供给仿真工具时不需要区分为多个仿真用例，由仿真工具内部根据迭代次数自动生成一个个仿真用例。3）上述两种情况的结合，对于通过仿真选项参数传递的变量，有多少个不同的仿真选项就要传给仿真工具多少个不同的仿真用例，然后对于每一个传递给仿真工具的仿真用例，仿真工具再随机内部的随机变量值，如果迭代次数大于1，仿真工具会将传入的仿真用例再根据迭代次数细分。

具体实施过程中，基于测试计划与回归测试之间的关联关系发现，同一个测试用例在某个验证环境中运行时，由于不同的仿真选项需生成不同的仿真用例，但这些仿真用例在提交给仿真工具运行时由于验证环境和测试用例相同导致默认的仿真用例名称相同，无法被区分，容易导致回归测试出错。为了解决该问题，本实施例根据上述关联关系，获取验证环境相同且仿真选项不同的同一测试用例作为第一测试用例，为不同测试点对应的第一测试用例配置不同的独立仿真名称；将独立仿真名称写入控制参数，获得调整后的控制参数。

例如：对于某个运行在验证环境<env>的测试用例<testx>来说,其仿真用例的名称将由<env>、<testx>、测试类型以及独立仿真名称共同决定。比如当测试类型为直接测试，独立仿真名称为<sim_opt>的情况下，其中一种命名参考方式可以为<env>_<testx>_<sim_opt>_<direct>。如果某个测试用例运行仿真时不存在此类问题，那么可以选择不增加独立仿真名称的回归测试控制参数。在这种情况下，最终的仿真用例名称将由<env>、<testx>和测试类型共同决定，其中一种命名参考方式可以为<env>_<testx>_<direct>。由于新增独立仿真名称，基于相同验证环境不同仿真选项生成的仿真用例的名称不同，这些仿真用例在提交给仿真工具运行时保证了仿真用例名称的唯一性，避免因仿真用例名称相同导致仿真出错的问题。

基于上述关联关系，还发现由于存在某个验证环境下一个测试用例可以覆盖多个测试点的情况，如果针对这些测试点的测试场景不是通过引入仿真选项来控制，那么就造成了具有相同的回归控制参数的测试用例生成了相同的仿真用例，并被重复提交给仿真工具运行的情况。实际应用中，这样的情况经常发生在能够覆盖多个测试场景的随机测试用例中。这些测试用例常常不依赖于仿真选项的控制，而是通过基于约束的随机机制来随机出不同的测试场景。一旦出现这种情况，如何处理这种重复提交的问题将完全由仿真工具来决定，如果此时重复提交相同的仿真用例给仿真工具，往往会造成如后者覆盖前者等不可预知的仿真结果。

为了解决上述问题，本实施例根据上述关联关系，获取验证环境相同、仿真选项相同的同一测试用例作为第二测试用例，第二测试用例对应多个测试点，为所有测试点对应的所述第二测试用例配置使能控制选项且只有一个测试点对应的所述第二测试用例的使能控制选项配置为使能；将使能控制选项写入控制参数，获得调整后的控制参数。

本实施例通过增加回归测试的使能控制选项，只有该选项定义为使能，对应的测试用例连同其回归测试参数才会被转换成仿真用例提交给仿真工具。不然，该测试用例仅作为测试点与测试用例之间映射关系的描述，在任何情况下都不会纳入到回归测试中运行仿真。由此，对于覆盖多个测试点的重复仿真用例（相同验证环境下相同仿真选项生成的仿真用例），本实施例只选取其中一个将使能控制选项定义为使能。并且在这种情况下，对于测试类型为随机测试的测试用例，考虑增加其迭代次数，比如将迭代次数增加至包括本身在内的所有重复仿真用例的迭代次数之和。

在解决上述两个问题后，S22调整后的控制参数如图6所示。

图6中，测试用例A1和测试用例C2体现了相同的测试用例通过不同仿真控制参数来覆盖不同测试点的情况，因此对于这两个测试用例需要定义独立仿真名称。此处，测试用例A1通过独立仿真名称A1_1和A1_2分别覆盖了对应的测试点1.1和N.M。并且，由于仿真控制参数的不同，测试点1.1和N.M对应的测试用例A1的回归使能控制都需要标识为Y，表示两个仿真用例都可以纳入回归测试中运行仿真。测试用例C2的情况与A1相同，此处不再赘述。

图6中，测试用例B1，测试用例B2和测试用例C1存在仿真用例重复的情况。为避免相同仿真用例的重复提交，需要通过回归使能控制选项进行控制。以测试用例B1为例，其用以同时覆盖测试点1.1，2.1和N.2。其中，仅有测试点1.1对应的测试用例B1的回归使能控制被标识为Y，表示对应的仿真用例可以纳入回归测试中运行仿真。测试点2.1和N.2对应的测试用例B1的回归使能控制被标识为N，表示这两个仿真用例不会纳入到回归测试中运行仿真，以此来避免相同仿真用例的重复提交问题。测试用例B2和C1的情况与B1基本相同，区别在于测试用例B1的测试类型是直接测试，而测试用例B2和C1的测试类型是随机测试。因此，对于纳入回归测试运行仿真的测试用例B2和C1而言，还需要增加随机仿真的迭代次数。

需要说明的是，图6仅体现出了每个测试用例对于步骤S22实施形成的方案，其余的回归测试参数已在上文图5中进行了描述，此处不再赘述。

经由上述步骤S21和S22，便完成了以测试用例为桥梁，将测试计划与回归测试的控制参数进行调整而形成的调整后的控制参数。进一步的，本实施例还可以基于调整后的控制参数，通过仿真控制脚本解析出仿真工具命令需要的输入参数，并调用仿真工具运行回归测试。或者，基于测试计划、调整后的控制参数及上述关联关系，建立用于回归测试的文件，以便于维护和重复使用；通过仿真控制脚本从该文件中解析出仿真工具命令需要的输入参数，并调用仿真工具运行回归测试。

基于回归测试的控制参数进行回归测试的运行流程包括：回归测试的控制参数将通过仿真控制的处理转换为仿真工具的运行命令，传递给仿真工具，例如，对于使能控制选项为使能的测试用例，将测试用例名、独立仿真名称、仿真选项、迭代次数、项目新增标识等参数作为仿真控制的输入参数，以及选择与验证环境对应的编译环境作为仿真控制的输入参数，基于这些输入参数进行仿真控制转换获得仿真工具的运行命令，以驱动仿真工具运行仿真。仿真控制的处理转换一般可以通过脚本结合具体使用的仿真工具来实现。仿真工具针对每一个仿真用例运行仿真，并将所有仿真用例的仿真结果进行统计，提供本轮回归测试运行后的数据结果。至于仿真工具如何运行仿真，仿真后的回归测试数据结果如何统计，不涉及本案的申请内容，此处不予赘述。

通过实施例提供的用于回归测试的参数调优方法，将测试计划的与对应的回归测试的控制参数关联，实现回归测试控制的目的，无需再进行人为的同步和校对工作，节省了验证工程师分别维护两套系统的时间，提升了回归测试的开发效率。同时，在项目的整个验证周期中，任何对于测试计划的调整都直观地反映在测试点到其回归测试控制参数的一连串映射关系中，避免了此前同步过程中发生的测试用例遗漏或测试用例与测试点之间失配的情况，从而避免了测试用例的仿真场景与测试点要求不一致而造成的虚假验证风险。进一步的，还通过独立仿真名称确保提交到仿真工具的仿真用例的唯一性，通过使能控制选项避免相同仿真用例的重复提交，避免了仿真出错的技术问题。

实施例二

请参考图7，本实施例提供一种用于回归测试的文件建立方法，包括：

S71、建立测试计划中的多个测试点与多个测试用例之间的第一关联关系；

S72、针对每个测试用例，根据测试用例对应的各测试点确定测试用例与回归测试的控制参数之间的第二关联关系，所述控制参数包括回归测试的验证环境和仿真选项；

S73、根据测试计划、控制参数、第一关联关系以及第二关联关系，建立用于回归测试的文件。

上述第一关联关系和第二关联关系的建立已在上述S211-S212中进行了详细说明，在此不再赘述。回归测试的控制参数还包括直接测试用例的seed值、随机测试用例的迭代次数、回归测试的分组即回归分组以及项目新增用例标识中的一个或多个参数。

同样的，为了使回归测试的控制高效、准确，也可以在控制参数中新增参数：独立仿真名称和/或使能控制选项。独立仿真名称表征相同验证环境中同一测试用例对应的不同仿真用例。使能控制选项用于控制测试点对应的测试用例是否需要转换成仿真用例，只有在使能控制选项为使能时，对应的测试用例才会转换为仿真用例并提交给仿真工具，反之则不对测试用例进行仿真用例转换。

针对独立仿真名称的新增，可以根据第一关联关系和第二关联关系，获取验证环境相同且仿真选项不同的同一测试用例作为第一测试用例，将不同测试点对应的第一测试用例与不同的独立仿真名称关联。具体实例请参考S22，在此不再赘述。

针对使能控制选项的新增，可以根据第一关联关系和第二关联关系，获取验证环境相同、仿真选项相同的同一测试用例作为第二测试用例，第二测试用例对应多个测试点，将一个测试点对应的第二测试用例与使能控制选项中的使能关联，将其余测试点对应的第二测试用例与使能控制选项中的不使能关系。

S73在建立用于回归测试的文件时，可以基于表格、配置文件、文本文件等形式来实现。相较之下，由于测试计划本身需要进行检视，基于表格的描述方式可读性更好，并且对于回归测试控制参数的配置也更为直观。因此，此处以表格的实现形式具体说明构建过程。

请参考图8-1所示，表格第一行为建立用于回归测试的文件所需要的所有描述项。该描述项包括；测试计划中的功能点、测试点和测试用例，在具体实现中，还可以额外增加测试点说明描述项，用于提供对于测试点的进一步解释和说明，便于进行测试计划的检视。该描述项还包括：独立仿真名称即仿真名后缀、验证环境、仿真选项、测试类型、SEED值、迭代次数、新增用例标识、回归分组和回归使能这些回归测试的控制参数，这些参数将通过脚本处理后转换提交给仿真工具运行回归测试。

首先，在基于表格的描述中，一个功能点可以对应于一个或多个测试点，每个测试点通过单独的行来体现。每个测试点可以根据需要在同一行填写对应的测试点说明，如无需要，对应的测试点说明字段可以留空。每个测试点可以对应于一个或多个测试用例，每个测试用例通过单独的行来体现。依照这些描述规范，整个测试计划基于表格的描述方式如图8-2所示。

其次，基于测试计划中描述的测试用例A1、A2、A3、B1、B2、C1和C2，进一步描述其运行回归测试时需要的控制参数，如图8-3所示。

其中，测试用例A1需要同时覆盖测试点1.1和N.M，二者通过仿真选项A1_args1和A1_args2来区分不同的测试场景控制，并通过仿真后缀名suffix_A1_1和suffix_A1_2来唯一化仿真用例名称。测试用例A1支持的验证环境为env1，测试类型为direct表示其为直接测试用例，因此需要给定SEED值，并将迭代次数设置为1。其中SEED值的具体数据可由用户指定，此处配置为88888888。此外，测试用例A1是从之前的项目继承而来，通过新增用例标识为N来表示其不是当前项目的新增测试用例。测试用例A1支持的回归分组为验证环境分组env1以及featureA分组。由于测试用例A的回归测试描述中不存在生成重复仿真用例的情况，因此所有对应的回归使能描述项都为Y，表示使能回归测试。

测试用例A2和A3各自只覆盖一个测试点，无需对仿真选项和仿真后缀名进行描述，其他部分的描述和测试用例A1的情况一致，在次不予赘述。

测试用例B1覆盖了测试点1.1，2.1和N.2，三者完全通过测试用例B1的内部直接测试场景覆盖到，无需通过描述仿真选项和仿真后缀名进行区分。同时，测试用例B1可以复用于验证环境env1和env2，env2验证环境对应的回归测试参数需要另起一行进行描述。在回归分组描述项中，测试用例B1针对验证环境env1的回归分组为env1以及featureB，而针对验证环境env2的回归分组为env2以及featureB。由于B1的测试类型也为直接测试，因此对于测试类型，SEED值和迭代次数描述项的配置要求与A1相同，此处不予赘述。而与测试用例A1不同的是， 测试用例B1是本项目所新增的，通过将新增用例标识描述项配置为Y来表示。最后，由于三个测试点1.1，2.1和N.2对应的测试用例B1的回归测试参数相同，出现了重复仿真用例的情况，因此仅使能测试点1.1对应的测试用例B1的回归使能，将对应描述项配置为Y，其余配置为N表示不会进行回归测试的运行，由表格中阴影部分表示。

测试用例B2覆盖了测试点1.2和N.2，二者完全通过测试用例B2的随机测试场景覆盖到，无需通过描述仿真选项和仿真后缀名进行区分。与测试用例B1不同的是，测试用例B2是随机测试用例，因此其测试类型描述为random，SEED值描述项无需配置，由仿真工具依据迭代次数将测试用例展开为仿真用例后指定。这里，由于测试用例B2也会出现重复仿真用例的情况，因此仅使能测试点1.2对应的测试用例B2的回归使能，将对应描述项配置为Y，其余配置为N表示不会运行回归测试，由表格中阴影部分表示。此处需要说明的是，一旦测试用例的回归使能描述项配置为N时，由于其不再被纳入到回归测试中运行，故而其余的回归参数无需再进行配置。同时，在配置B2测试用例的迭代次数时，需要同时考虑覆盖所有测试点需要的迭代次数。例如测试点1.2和N.2各自需要测试用例B2运行100次仿真，那么此处的迭代次数描述项可以配置为二者之和200。

测试用例C1覆盖了测试点2.1和N.M，二者完全通过测试用例C1的随机测试场景覆盖到，无需通过描述仿真选项和仿真后缀名进行区分。与测试用例B2的不同之处在于测试用例C1只能运行在验证环境env2中，因此验证环境描述相中仅包含env2，并且回归分组描述项中除了featureC的分组之外仅有验证环境env2的分组。测试用例C1的其他回归测试参数配置方式与B2相同，再次不予赘述。

测试用例C2覆盖了测试点N.2和N.M，二者通过仿真选项C2_args1和C2_args2来区分不同的测试场景控制，并通过仿真后缀名suffix_ C2_1和suffix_ C2_2来唯一化仿真用例名称。与测试用例A1的不同之处在于测试用例C2的测试类型为随机测试，因此对于测试点N.2和N.M需要分别配置迭代次数。此处对于测试点N.2和N.M的迭代次数分别配置为200和80。

由此，基于表格的形式完成了对于测试用例A1、A2、A3、B1、B2、C1和C2回归控制参数的描述。

后续的仿真控制脚本会从表格中解析出仿真工具命令需要的参数，并调用仿真工具运行回归测试。首先，表格中的回归使能和回归分组描述项将决定对应的测试用例是否需要转换为仿真用例提交到仿真工具进行仿真。验证环境描述项指定了该验证环境的编译文件列表。测试用例名称、仿真选项、SEED值与迭代次数描述项可以直接传递给仿真工具。其中的仿真用例名称将结合测试用例名称，验证环境，仿真名后缀以及测试类型描述项所决定，并传递给仿真工具。以测试点1.1对应的测试用例B1为例，其仿真用例名称为env1_B1_direct。以测试点N.M对应的测试用例C2为例，其仿真用例名称为env2_C2_suffix_C2_2_random。

仿真运行结束后，最后通过表格中的新增测试用例描述项对仿真用例进行归类统计，并注册到数据库中供验证工程师进一步分析。

通过建立的用于回归测试的文件，回归测试时可以直接使用仿真控制脚本进行解析以运行回归测试，无需验证工程师进行测试计划与回归测试之间的同步，大大提高了回归测试的效率和准确性。

实施例三

基于实施例一的相同发明构思，本实施例对应提供一种用于回归测试的参数调优装置，请参考图9，该装置包括：

关联单元91，用于获取测试计划中的多个测试点、多个测试用例与回归测试的控制参数之间的关联关系；

调优单元92，用于基于所述关联关系，对多个测试用例对应的控制参数进行调整，获得调整后的控制参数。

作为一种可选的实施方式，调整后的控制参数包括：

独立仿真名称，表征相同验证环境中同一测试用例对应的不同仿真用例；和/或，使能控制选项，用于控制测试点对应的测试用例是否需要转换成仿真用例。调整前/后的控制参数还包括：回归测试的验证环境、仿真选项以及回归分组。

作为一种可选的实施方式，调优单元92还用于：

根据所述关联关系，获取验证环境相同且仿真选项不同的同一测试用例作为第一测试用例，为不同测试点对应的所述第一测试用例配置不同的独立仿真名称；

将所述独立仿真名称写入所述控制参数，获得调整后的控制参数。

作为一种可选的实施方式，调优单元92还用于：

根据所述关联关系，获取验证环境相同、仿真选项相同的同一测试用例作为第二测试用例，所述第二测试用例对应多个测试点，为所有测试点对应的所述第二测试用例配置使能控制选项且只有一个测试点对应的所述第二测试用例的使能控制选项配置为使能；

将所述使能控制选项写入所述控制参数，获得调整后的控制参数。

作为一种可选的实施方式，关联单元91还用于：

建立测试计划中的多个测试点与多个测试用例之间的第一关联关系；

针对每个测试用例，根据测试用例对应的各测试点确定测试用例与所述控制参数中的验证环境和仿真选项之间的第二关联关系。

作为一种可选的实施方式，上述参数调优装置还包括：

测试单元93，用于基于调整后的控制参数，通过仿真控制脚本解析出仿真工具命令需要的输入参数，并调用仿真工具运行回归测试。

作为一种可选的实施方式，测试单元93还用于：

基于所述测试计划、调整后的控制参数及所述关联关系，建立用于回归测试的文件；

通过仿真控制脚本从所述文件中解析出仿真工具命令需要的输入参数，并调用仿真工具运行回归测试。

上述实施例提供的各个单元的具体实施方式，与对应的实施方法相同，在此不再赘述。

实施例四

基于实施例二的相同发明构思，本实施例对应提供一种用于回归测试的文件建立装置，请参考图10，该装置包括：

第一关联单元101，用于建立测试计划中的多个测试点与多个测试用例之间的第一关联关系；

第二关联单元102，用于针对每个测试用例，根据测试用例对应的各测试点确定测试用例与回归测试的控制参数之间的第二关联关系，所述控制参数包括回归测试的验证环境和仿真选项；

生成单元104，用于根据所述测试计划、所述控制参数、所述第一关联关系以及所述第二关联关系，建立用于回归测试的文件。

作为一种可选的实施方式，控制参数还包括：独立仿真名称，表征相同验证环境中同一测试用例对应的不同仿真用例；和/或，使能控制选项，用于控制测试点对应的测试用例是否需要转换成仿真用例。

作为一种可选的实施方式，上述装置还包括第三关联单元103，用于在生成单元104建立用于回归测试的文件之前，根据所述第一关联关系和所述第二关联关系，获取验证环境相同且仿真选项不同的同一测试用例作为第一测试用例，将不同测试点对应的所述第一测试用例与不同的所述独立仿真名称关联；和/或，根据所述第一关联关系和所述第二关联关系，获取验证环境相同、仿真选项相同的同一测试用例作为第二测试用例，所述第二测试用例对应多个测试点，将一个测试点对应的所述第二测试用例与所述使能控制选项中的使能关联，以滤除重复的回归测试。

上述实施例提供的各个单元的具体实施方式，与对应的实施方法相同，在此不再赘述。

此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

本公开实施例所提供的数据采集方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行上述方法的步骤，具体可参见上述方法实施例，在此不再赘述。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。

显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (9)

1.一种用于回归测试的参数调优方法，包括：

获取测试计划中的多个测试点、多个测试用例与回归测试的控制参数之间的关联关系，所述控制参数包括回归测试的验证环境、仿真选项以及回归分组；

根据所述关联关系，获取验证环境相同且仿真选项不同的同一测试用例作为第一测试用例，为不同测试点对应的所述第一测试用例配置不同的独立仿真名称；将所述独立仿真名称写入所述控制参数，获得调整后的控制参数；所述调整后的控制参数包括：独立仿真名称，表征相同验证环境中同一测试用例对应的不同仿真用例；

根据所述关联关系，获取验证环境相同、仿真选项相同的同一测试用例作为第二测试用例，所述第二测试用例对应多个测试点，为所有测试点对应的所述第二测试用例配置使能控制选项且只有一个测试点对应的所述第二测试用例的使能控制选项配置为使能；将所述使能控制选项写入所述控制参数，获得调整后的控制参数；所述调整后的控制参数包括：使能控制选项，用于控制测试点对应的测试用例是否需要转换成仿真用例。

2.如权利要求1所述的方法，获取测试计划中的多个测试点、多个测试用例与回归测试的控制参数之间的关联关系，包括：

建立测试计划中的多个测试点与多个测试用例之间的第一关联关系；

针对每个测试用例，根据测试用例对应的各测试点确定测试用例与所述回归测试的控制参数中的验证环境和仿真选项之间的第二关联关系。

3.如权利要求2所述的方法，所述方法还包括：

基于调整后的控制参数，通过仿真控制脚本解析出仿真工具命令需要的输入参数，并调用仿真工具运行回归测试。

4.如权利要求2所述的方法，所述方法还包括：

基于所述测试计划、调整后的控制参数及所述关联关系，建立用于回归测试的文件；

通过仿真控制脚本从所述文件中解析出仿真工具命令需要的输入参数，并调用仿真工具运行回归测试。

5.一种用于回归测试的文件建立方法，包括：

建立测试计划中的多个测试点与多个测试用例之间的第一关联关系；

针对每个测试用例，根据测试用例对应的各测试点确定测试用例与回归测试的控制参数中的回归测试的验证环境和仿真选项之间的第二关联关系，所述控制参数包括回归测试的验证环境和仿真选项；

根据所述第一关联关系和所述第二关联关系，获取验证环境相同且仿真选项不同的同一测试用例作为第一测试用例，将不同测试点对应的所述第一测试用例与不同的独立仿真名称关联，所述控制参数包括所述独立仿真名称，表征相同验证环境中同一测试用例对应的不同仿真用例；和

根据所述第一关联关系和所述第二关联关系，获取验证环境相同、仿真选项相同的同一测试用例作为第二测试用例，所述第二测试用例对应多个测试点，将一个测试点对应的所述第二测试用例与使能控制选项中的使能关联，所述控制参数包括所述使能控制选项，用于控制测试点对应的测试用例是否需要转换成仿真用例，以滤除重复的回归测试；

根据所述测试计划、所述控制参数、所述第一关联关系以及所述第二关联关系，建立用于回归测试的文件。

6.一种用于回归测试的参数调优装置，包括：

关联单元，用于获取测试计划中的多个测试点、多个测试用例与回归测试的控制参数之间的关联关系，所述控制参数包括回归测试的验证环境、仿真选项以及回归分组；

调优单元，用于根据所述关联关系，获取验证环境相同且仿真选项不同的同一测试用例作为第一测试用例，为不同测试点对应的所述第一测试用例配置不同的独立仿真名称；将所述独立仿真名称写入所述控制参数，获得调整后的控制参数；根据所述关联关系，获取验证环境相同、仿真选项相同的同一测试用例作为第二测试用例，所述第二测试用例对应多个测试点，为所有测试点对应的所述第二测试用例配置使能控制选项且只有一个测试点对应的所述第二测试用例的使能控制选项配置为使能；将所述使能控制选项写入所述控制参数，获得调整后的控制参数；所述调整后的控制参数包括：独立仿真名称，表征相同验证环境中同一测试用例对应的不同仿真用例；所述调整后的控制参数包括：使能控制选项，用于控制测试点对应的测试用例是否需要转换成仿真用例。

7.一种用于回归测试的文件建立装置，包括：

第一关联单元，用于建立测试计划中的多个测试点与多个测试用例之间的第一关联关系；

第二关联单元，用于针对每个测试用例，根据测试用例对应的各测试点确定测试用例与回归测试的控制参数中的回归测试的验证环境和仿真选项之间的第二关联关系，所述控制参数包括回归测试的验证环境和仿真选项；

第三关联单元，用于根据所述第一关联关系和所述第二关联关系，获取验证环境相同且仿真选项不同的同一测试用例作为第一测试用例，将不同测试点对应的所述第一测试用例与不同的独立仿真名称关联，所述控制参数包括所述独立仿真名称，表征相同验证环境中同一测试用例对应的不同仿真用例；和，根据所述第一关联关系和所述第二关联关系，获取验证环境相同、仿真选项相同的同一测试用例作为第二测试用例，所述第二测试用例对应多个测试点，将一个测试点对应的所述第二测试用例与使能控制选项中的使能关联，所述控制参数包括所述使能控制选项，用于控制测试点对应的测试用例是否需要转换成仿真用例，以滤除重复的回归测试；

生成单元，用于根据所述测试计划、所述控制参数、所述第一关联关系以及所述第二关联关系，建立用于回归测试的文件。

8.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的方法。

9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序运行时控制所述存储介质所在电子设备执行权利要求1至5任一项所述的方法。

Images