CN110908903A

CN110908903A - 一种基于可编辑yaml文件的测试方法

Info

Publication number: CN110908903A
Application number: CN201911113970.1A
Authority: CN
Inventors: 孟祥坤
Original assignee: Suzhou Wave Intelligent Technology Co Ltd
Current assignee: Suzhou Wave Intelligent Technology Co Ltd
Priority date: 2019-11-14
Filing date: 2019-11-14
Publication date: 2020-03-24
Anticipated expiration: 2039-11-14
Also published as: CN110908903B

Abstract

本申请公开了一种基于可编辑YAML文件的测试方法、装置、设备及可读存储介质，方案包括：获取预先根据测试集生成的第一YAML文件；根据第一YAML文件和当前测试机的测试机型，确定当前测试机的目标测试项；从第一YAML文件获取目标测试项的执行参数，并从测试集中获取目标测试项的测试用例；创建用于执行目标测试项的测试用例的测试线程，并根据目标测试项的执行参数，利用测试线程对当前测试机进行测试，得到测试结果。可见，该方案通过YAML文件描述各种测试机型的测试项以及各个测试项的执行参数，后续根据YAML配置文件即可自动化实现测试过程，避免人工手动执行测试过程费时费力的问题，且能够高效快速的覆盖测试项。

Description

一种基于可编辑YAML文件的测试方法

技术领域

本申请涉及软件测试技术领域，特别涉及一种基于可编辑YAML文件的测试方法、装置、设备及可读存储介质。

背景技术

软件测试针对软件需求功能设计测试用例，在用例的指导下对程序进行操作，以发现程序错误，衡量软件质量，并对其是否能满足设计要求进行评估。

目前很多服务器项目采取敏捷开发模型，开发迭代周期短，测试周期也随之缩短。随着迭代版本不断增加，测试功能不断丰富完善，需要测试的功能点也随之增加，另外，这些功能测试还涉及到众多的测试工具，如specpu、memtest、fio等，随着转测功能点不断增大，如何高效快速的覆盖各个测试项，缩短测试时间，是亟待本领域技术人员解决的问题。

发明内容

本申请的目的是提供一种基于可编辑YAML文件的测试方法、装置、设备及可读存储介质，用以实现高效快速的的覆盖各个测试项，缩短测试时间的目的。其具体方案如下：

第一方面，本申请提供了一种基于可编辑YAML文件的测试方法，包括：

获取预先根据测试集生成的第一YAML文件，其中所述测试集包括多个测试项的测试用例，所述第一YAML文件用于描述不同测试机型的测试项以及各个所述测试项的执行参数；

根据所述第一YAML文件和当前测试机的测试机型，确定所述当前测试机的目标测试项；从所述第一YAML文件获取所述目标测试项的执行参数，并从所述测试集中获取所述目标测试项的测试用例；

创建用于执行所述目标测试项的测试用例的测试线程，并根据所述目标测试项的执行参数，利用所述测试线程对所述当前测试机进行测试，得到测试结果。

优选的，所述创建用于执行所述目标测试项的测试用例的测试线程，包括：

创建用于执行所述目标测试项的测试用例的测试线程，并创建监测线程；

利用所述监测线程对测试过程中的所述当前测试机进行系统状态监测。

优选的，所述利用所述监测线程对测试过程中的所述当前测试机进行系统状态监测，包括：

根据第二YAML文件中记录的监测项，利用所述监测线程对测试过程中的所述当前测试机进行系统状态监测，并生成各个所述监测项的日志文件。

优选的，在所述生成各个所述监测项的日志文件之后，还包括：

通过对比所述日志文件和预先生成的模板日志，生成测试报告，以作为测试结果。

优选的，所述测试项包括以下任意一项或任意组合：CPU、内存、GPU、磁盘、电源。

优选的，当所述目标测试项为磁盘时，所述从所述测试集中获取所述目标测试项的目标测试用例，包括：

从所述测试集中获取所述目标测试项的目标测试用例列表，所述目标测试用例列表包括顺序读测试用例、顺序写测试用例、随机读测试用例、随机写测试用例。

优选的，所述执行参数包括以下任意一项或任意组合：容忍度、测试时长、第一运行方式、第二运行方式；其中，所述容忍度用于描述当前的测试用例执行失败是否影响整体测试结果，所述测试时长用于描述测试过程的时间设置，所述第一运行方式用于描述当前的测试用例是否可以并行执行，所述第二运行方式用于描述当前的测试用例执行失败是否继续测试过程。

第二方面，本申请提供了一种基于可编辑YAML文件的测试装置，包括：

文件获取模块：用于获取预先根据测试集生成的第一YAML文件，其中所述测试集包括多个测试项的测试用例，所述第一YAML文件用于描述不同测试机型的测试项以及各个所述测试项的执行参数；

测试用例获取模块：用于根据所述第一YAML文件和当前测试机的测试机型，确定所述当前测试机的目标测试项；从所述第一YAML文件获取所述目标测试项的执行参数，并从所述测试集中获取所述目标测试项的测试用例；

测试执行模块：用于创建用于执行所述目标测试项的测试用例的测试线程，并根据所述目标测试项的执行参数，利用所述测试线程对所述当前测试机进行测试，得到测试结果。

第三方面，本申请提供了一种基于可编辑YAML文件的测试设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如上所述的一种基于可编辑YAML文件的测试方法的步骤。

第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种基于可编辑YAML文件的测试方法的步骤。

本申请所提供的一种基于可编辑YAML文件的测试方法、装置、设备及可读存储介质，方案包括：获取预先根据测试集生成的第一YAML文件，其中测试集包括多个测试项的测试用例，第一YAML文件用于描述不同测试机型的测试项以及各个测试项的执行参数；根据第一YAML文件和当前测试机的测试机型，确定当前测试机的目标测试项；从第一YAML文件获取目标测试项的执行参数，并从测试集中获取目标测试项的测试用例；创建用于执行目标测试项的测试用例的测试线程，并根据目标测试项的执行参数，利用测试线程对当前测试机进行测试，得到测试结果。

可见，该方案通过YAML文件描述各种测试机型的测试项以及各个测试项的执行参数，后续根据YAML配置文件即可自动化实现测试过程，避免人工手动执行测试过程费时费力的问题，且能够高效快速的覆盖测试项。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种基于可编辑YAML文件的测试方法实施例一的实现流程图；

图2为本申请所提供的一种基于可编辑YAML文件的测试方法实施例二的实现流程图；

图3为本申请所提供的一种基于可编辑YAML文件的测试方法实施例二的过程示意图；

图4为本申请所提供的一种基于可编辑YAML文件的测试方法实施例二中第一YAML文件与用例集示意图；

图5为本申请所提供的一种基于可编辑YAML文件的测试方法实施例二中用例获取和执行参数解析示意图；

图6为本申请所提供的一种基于可编辑YAML文件的测试方法实施例二中测试线程和监测线程创建示意图；

图7为本申请所提供的一种基于可编辑YAML文件的测试方法实施例二中日志记录示意图；

图8为本申请所提供的一种基于可编辑YAML文件的测试装置实施例的功能框图；

图9为本申请所提供的一种基于可编辑YAML文件的测试设备实施例的结构示意图。

具体实施方式

本申请的核心是提供一种基于可编辑YAML文件的测试方法、装置、设备及可读存储介质，能够根据YAML配置文件自动化实现测试过程，且能够高效快速的覆盖测试项。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面对本申请提供的一种基于可编辑YAML文件的测试方法实施例一进行介绍，参见图1，实施例一包括：

S101、获取预先根据测试集生成的第一YAML文件；

其中所述测试集包括多个测试项的测试用例，所述第一YAML文件用于描述不同测试机型的测试项以及各个所述测试项的执行参数。

S102、根据所述第一YAML文件和当前测试机的测试机型，确定所述当前测试机的目标测试项；从所述第一YAML文件获取所述目标测试项的执行参数，并从所述测试集中获取所述目标测试项的测试用例；

S103、创建用于执行所述目标测试项的测试用例的测试线程，并根据所述目标测试项的执行参数，利用所述测试线程对所述当前测试机进行测试，得到测试结果。

本实施例中用例集是测试之前预先确定的，在实际应用过程中，用例集包括一个或多个测试项的测试用例，比如，对于服务器测试，用例集包含CPU、内存、网卡、硬盘等测试项的测试用例。

YAML是一种直观的能够被电脑识别的数据序列化格式，是一个可读性高并且容易被人类阅读，容易和脚本语言交互，用来表达资料序列的编程语言。本实施例利用第一YAML文件描述不同测试机型的测试项，以及各个测试项的执行参数。比如，对于服务器来说，有5456、5458、5455等机型，每种机型的测试项可能不同，因此可以在第一YAML文件中分别定义每种机型的测试项。而执行参数主要用于描述测试用例的执行规则，比如当某个测试用例执行失败时是否要继续测试，某个测试用例的执行结果是否影响整体测试结果，测试用例是否可以并行执行，测试用例的执行时长等。

如上所述，本实施例的第一YAML文件用于描述不同测试机型的测试项，因此，在实际测试过程中，在确定当前测试机的测试机型之后，可以通过查询第一YAML文件来确定当前测试机的目标测试项。进一步的，即可从测试集中获取该目标测试项的测试用例，具体的，获取各个目标测试项的用例列表，以便实现后续测试过程。比如，当目标测试项为磁盘时，目标测试项的用例列表包括顺序读测试用例、顺序写测试用例、随机读测试用例、随机写测试用例。此外，还需要根据第一YAML文件中目标测试项的执行参数，进行执行参数的解析，以确定后续执行动作。比如，在目标测试项为多个时，那么它们是否可以并行执行还是必须串行，其中一项失败是否会影响后续执行等，都需要通过执行参数解析来确定。

除此之外，在获取目标测试项的测试用例的同时，还可以进一步获取当前测试机的日志记录，用于判断此时测试机是否存在异常，如判定不存在异常，则可以继续后续测试步骤；如判定存在异常需要先排查问题才能进行后续测试。

本实施例所提供一种基于可编辑YAML文件的测试方法，获取预先根据测试集生成的第一YAML文件，其中测试集包括多个测试项的测试用例，第一YAML文件用于描述不同测试机型的测试项以及各个测试项的执行参数；根据第一YAML文件和当前测试机的测试机型，确定当前测试机的目标测试项；从第一YAML文件获取目标测试项的执行参数，并从测试集中获取目标测试项的测试用例；创建用于执行目标测试项的测试用例的测试线程，并根据目标测试项的执行参数，利用测试线程对当前测试机进行测试，得到测试结果。可见，该方案通过YAML文件描述各种测试机型的测试项以及各个测试项的执行参数，后续根据YAML配置文件即可自动化实现测试过程，避免人工手动执行测试过程费时费力的问题，且能够高效快速的覆盖测试项。

下面开始详细介绍本申请提供的一种基于可编辑YAML文件的测试方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。

图2为实施例二的实现流程图，图3为实施例二的实现过程示意图。参见图2和图3，实施例二具体包括以下步骤：

S201、获取预先根据测试集生成的第一YAML文件；

如图4所示，所述测试集包括多个测试项的测试用例，所述第一YAML文件用于描述不同测试机型的测试项以及各个所述测试项的执行参数；所述测试项包括以下任意一项或任意组合：CPU、内存、GPU、磁盘、电源。

所述执行参数包括以下任意一项或任意组合：容忍度、测试时长、第一运行方式、第二运行方式；其中，所述容忍度用于描述当前的测试用例执行失败是否影响整体测试结果，所述测试时长用于描述测试过程的时间设置，所述第一运行方式用于描述当前的测试用例是否可以并行执行，所述第二运行方式用于描述当前的测试用例执行失败是否继续测试过程。

S202、根据第一YAML文件进行用例获取和执行参数的解析，最终输出用例列表，执行参数及日志记录；

如图3所示，上述S202可以基于控制模块实现。具体的，如图5所示，首先根据所述第一YAML文件和当前测试机的测试机型，确定所述当前测试机的目标测试项；然后，从所述第一YAML文件获取所述目标测试项的执行参数，并从所述测试集中获取所述目标测试项的测试用例以实现执行参数解析。作为一种具体的实施方式，控制模块可以通过调用子流程get_testcase_list和judge_and_report实现上述用例获取操作和执行参数的解析操作。

S203、创建用于执行所述目标测试项的测试用例的测试线程，并创建监测线程；

如图3所示，上述S203可以基于执行模块实现。具体的，如图6所示，执行模块调用线程模块根据解析的用例列表进行线程创建，并依次加入到线程队列，每个测试线程根据具体测试内容调用工具库中的测试工具进行测试。

值得一提的是，由于有些测试项可能需要测试几天甚至一两个星期，如果测试过程中不进行健康监测，最后测试完毕才输出报告，会浪费很多时间。因此，本实施例中，在测试线程执行的同时，会自动产生监测线程，用于循坏对测试机执行系统健康检测。从而实现在测试过程中实时监测测试情况，如果失败可及时停止，便于后续排查问题更好的进行后续测试。

S204、根据所述目标测试项的执行参数，利用所述测试线程对所述当前测试机进行测试，并根据第二YAML文件中记录的监测项，利用所述监测线程对测试过程中的所述当前测试机进行系统状态监测，并生成各个所述监测项的日志文件；

具体的，监测线程根据事先配置好的第二YAML文件调用日志模块对各个监测项进行状态监测和日志记录，最终生成各个监测项的日志文件。通过将该日志文件与预先生成的日志模板作对比，生成测试报告。其中，具体的监测项可以包括以下任意一项或多项：Dmesg、Mcelog、message、Nvme、Pcie、sellog，第二YAML文件可灵活控制测试前后需要检查的日志和配置等，如message日志可以控制检测各种关键字。

S205、通过对比所述日志文件和预先生成的模板日志，生成测试报告，以作为测试结果。

可见，本实施例提供的一种基于可编辑YAML文件的测试方法，基于可编辑的第一YAML文件加载需要测试的用例集，通过控制模块进行第一YAML文件解析，获取用例列表，然后进行参数判断，执行模块调用线程模块根据解析的用例列表进行线程创建，并依次加入到线程队列，每个测试线程根据具体测试内容调用工具库中的测试工具进行测试，测试线程执行的同时，会自动产生系统健康监测线程，循坏对测试机进行健康检测，系统健康检测线程根据事先配置好的第二YAML文件调用日志模块进行日志记录，最终生成测试报告，记录每个测试项的执行结果。

基于上述基于可编辑YAML文件的测试方法实施例，下面以具体实施场景为例，对基于可编辑YAML文件的测试过程进行介绍。

首先，用例集中包含所要测试的CPU、Mem、GPU、Storage、Power等测试项，第一YAML文件包括Sequence和Map两种基本数据格式，Map嵌套Sequence，Map对应测试机型，可根据实际情况增加不同测试机型，如机型A、机型B、机型C等，Sequence对应每个测试项的执行参数，如Fail_Continue、Tolerant、Parallel、TestLimit等。当执行测试机型为A时，则执行此A Map下的Sequence，当不指定测试机型时，则默认Default。上述执行参数说明如下：

Fail_Continue：该测例FAIL是否继续，1为继续，0为不继续；

Tolerant：该测例FAIL是否影响整体测试结果，1为不影响，0为影响；

Parallel：该测例是否可以并行执行，1为可以，0为不可以；

TestLimit:测试的时间配置，一般最短为半小时；

其次，控制模块根据第一YAML文件调用子流程get_testcase_list和judge_and_report进行用例获取和执行参数的解析，最终输出用例列表，执行参数及日志记录。

再次，执行模块调用线程模块进行线程创建，此时会根据上一步骤控制模块解析的用例列表进行线程创建，第一YAML文件中每个Sequence会创建一个线程，如CPUtestthread、Mem testthread、Storage testthread等，并通过线程队列子流程进行入队操作，每个线程根据实际从工具库中获取测试工具，同时线程创建子流程会产生系统健康检测线程，循坏检测系统在测试过程中的健康状态并记录日志。

最后，系统健康检测模块会根据第二YAML文件进行日志筛选，测试开始时调用日志模块生成模板日志库beforetest，执行过程中会根据第二YAML文件中的监测项记录各个测试用例的记录，如dmesg、message、mcelog、smartlog、sdrlog等，最终通过和模板日志库中的模板日志进行比对，生成测试报告，比对通过代表此测试项PASS。

第二YAML文件与第一YAML文件类似，包含Map：dmesg、message、Mcelog等，每个Map又包含所要筛选的关键字，可根据实际情况进行定制。

测试报告包含第一YAML文件中的每个Sequence项，通过即PASS，所有Sequence通过，即FinalResult最终结果通过，如有其中一个或多个Sequence不通过，则FinalResut会报Fail，并记录失败项的错误日志ErrorMessage。

下面对本申请实施例提供的一种基于可编辑YAML文件的测试装置进行介绍，下文描述的一种基于可编辑YAML文件的测试装置与上文描述的一种基于可编辑YAML文件的测试方法可相互对应参照。

如图8所示，该测试装置包括：

文件获取模块801：用于获取预先根据测试集生成的第一YAML文件，其中所述测试集包括多个测试项的测试用例，所述第一YAML文件用于描述不同测试机型的测试项以及各个所述测试项的执行参数；

测试用例获取模块802：用于根据所述第一YAML文件和当前测试机的测试机型，确定所述当前测试机的目标测试项；从所述第一YAML文件获取所述目标测试项的执行参数，并从所述测试集中获取所述目标测试项的测试用例；

测试执行模块803：用于创建用于执行所述目标测试项的测试用例的测试线程，并根据所述目标测试项的执行参数，利用所述测试线程对所述当前测试机进行测试，得到测试结果。

本实施例的基于可编辑YAML文件的测试装置用于实现前述的基于可编辑YAML文件的测试方法，因此该装置中的具体实施方式可见前文中的基于可编辑YAML文件的测试方法的实施例部分，例如，文件获取模块801、测试用例获取模块802、测试执行模块803，分别用于实现上述基于可编辑YAML文件的测试方法中步骤S101，S102，S103。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的基于可编辑YAML文件的测试装置用于实现前述的基于可编辑YAML文件的测试方法，因此其作用与上述方法的作用相对应，这里不再赘述。

此外，本申请还提供了一种基于可编辑YAML文件的测试设备，如图9所示，包括：

存储器100：用于存储计算机程序；

处理器200：用于执行所述计算机程序，以实现如上文所述的一种基于可编辑YAML文件的测试方法的步骤。

最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上文所述的一种基于可编辑YAML文件的测试方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种基于可编辑YAML文件的测试方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述创建用于执行所述目标测试项的测试用例的测试线程，包括：

3.如权利要求2所述的方法，其特征在于，所述利用所述监测线程对测试过程中的所述当前测试机进行系统状态监测，包括：

4.如权利要求3所述的方法，其特征在于，在所述生成各个所述监测项的日志文件之后，还包括：

5.如权利要求1所述的方法，其特征在于，所述测试项包括以下任意一项或任意组合：CPU、内存、GPU、磁盘、电源。

6.如权利要求5所述的方法，其特征在于，当所述目标测试项为磁盘时，所述从所述测试集中获取所述目标测试项的目标测试用例，包括：

7.如权利要求1-6任意一项所述的方法，其特征在于，所述执行参数包括以下任意一项或任意组合：容忍度、测试时长、第一运行方式、第二运行方式；其中，所述容忍度用于描述当前的测试用例执行失败是否影响整体测试结果，所述测试时长用于描述测试过程的时间设置，所述第一运行方式用于描述当前的测试用例是否可以并行执行，所述第二运行方式用于描述当前的测试用例执行失败是否继续测试过程。

8.一种基于可编辑YAML文件的测试装置，其特征在于，包括：

9.一种基于可编辑YAML文件的测试设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如权利要求1-7任意一项所述的一种基于可编辑YAML文件的测试方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-7任意一项所述的一种基于可编辑YAML文件的测试方法的步骤。