CN116680170A - 测试方法和计算设备 - Google Patents

Abstract

本申请提供了一种测试方法和计算设备。在实施例中，方法包括：执行测试用例；在所述测试用例执行失败时，获取所述测试用例的执行信息；其中，所述执行信息指示了在执行所述测试用例过程产生的信息；基于所述测试用例的信息以及所述测试用例的执行信息，确定所述测试用例对应的测试结果信息。由此，通过本申请实施例提供的技术方案，可自动提取测试结果信息，提高问题相关信息的采集效率。

Description

测试方法和计算设备

技术领域

本申请涉及计算设备技术领域，尤其涉及一种测试方法和计算设备。

背景技术

服务器的整个测试周期中，会迭代几十或者上百个软件版本，为了确保软件版本的质量，需要对软件版本进行全量自动化测试，涉及到几万到十几万的测试用例，这些测试用例需要自动化执行。在自动化执行测试过程中，会出现程序错误；当开发能力不足，代码质量低下时，在自动化执行测试过程中，需要提交大量的程度错误的问题单，对于每个问题单，需要进行手动截图、手动搜集测试日志、填写程序错误的标题、程序错误的描述和选择程序错误的类型等操作，极大的降低了问题相关信息的采集效率。目前亟需一种能够提高问题相关信息的采集效率的测试方法。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本申请实施例提供了一种测试方法和计算设备，在所述测试用例执行失败时，可自动提取测试结果信息，提高问题相关信息的采集效率。

第一方面，本申请实施例提供了一种测试方法，包括：执行测试用例；在所述测试用例执行失败时，获取所述测试用例的执行信息；其中，所述执行信息指示了在执行所述测试用例过程产生的信息；基于所述测试用例的信息以及所述测试用例的执行信息，确定所述测试用例对应的测试结果信息。

本方案中，在所述测试用例执行失败时，可自动提取测试结果信息，提高问题相关信息的采集效率。

在一种可能的实现方式中，所述在所述测试用例执行失败时，获取所述测试用例的执行信息之前，包括:当执行所述测试用例的结果与所述测试用例的预期结果不一致时，确定所述测试用例执行失败；其中所述预期结果为预先设置的所述测试用例执行后理论上出现的结果。

在一种可能的实现方式中，所述测试结果信息包括用例重要程度，所述用例重要程度根据所述测试用例执行过程出现错误导致的结果以及所述测试用例执行过程出现错误导致的故障是否可以自动恢复确定。

在该实现方式的一个例子中，所述测试结果信息还包括：问题单的问题级别，所述问题单级别基于所述用例重要程度确定。

本方案中，在确定问题级别后，后续便于对问题单的查询管理以及问题分析。

在一种可能的实现方式中，所述测试结果信息还包括：问题单号，从而便于测试结果信息的查询。

示例性地，所述测试用例有多个，多个测试用例顺序执行，所述方法还包括：根据所述测试用例的执行时间、执行失败的所述测试用例的顺序编号，确定所述问题单号。

在一种可能的实现方式中，所述测试结果信息还包括日志，所述日志包括基板管理控制器在所述测试用例执行时采集的信息，所述基板管理控制器位于执行所述测试用例的测试机中。

在该实现方式的一个例子中，所述测试结果还包括问题错误类型，所述问题错误类型根据所述日志确定。

本方案中，在确定问题错误类型后，后续便于对测试结果信息的查询管理以及问题分析。

在一种可能的实现方式中，所述测试结果信息还包括执行所述测试用例过程中的告警信息。

本方案中，基于基板管理控制器采集的告警信息，后续便于问题分析。

在一种可能的实现方式中，所述执行测试用例之前，所述方法还包括：获取执行计划；其中，所述执行计划包括待测软件；基于执行计划，从测试用例库中获取所述待测软件下的测试用例。

第二方面，本发明实施例提供了一种测试装置，测试装置包括若干个模块，各个模块用于执行本发明实施例第一方面提供的方法中的各个步骤，关于模块的划分在此不做限制。该测试装置各个模块所执行的具体功能及达到的有益效果请参考本发明实施例第一方面提供的方法的各个步骤的功能，在此不再赘述。

示例地，测试装置用于执行本发明实施例提供的测试方法。本申请实施例提供的测试装置，包括：

执行模块，用于执行测试用例；

获取模块，用于在所述测试用例执行失败时，获取所述测试用例的执行信息；其中，所述执行信息指示了在执行所述测试用例过程产生的信息；

信息确定模块，用于基于所述测试用例的信息以及所述测试用例的执行信息，确定所述测试用例对应的测试结果信息。

在一种可能的实现方式中，获取模块，用于当执行所述测试用例的结果与所述测试用例的预期结果不一致时，确定所述测试用例执行失败；其中所述预期结果为预先设置的所述测试用例执行后理论上出现的结果。

在一种可能的实现方式中，所述测试结果信息包括用例重要程度，所述用例重要程度根据所述测试用例执行过程出现错误导致的结果以及所述测试用例执行过程出现错误导致的故障是否可以自动恢复确定。

在该实现方式的一个例子中，所述测试结果信息还包括：问题单的问题级别，所述问题单级别基于所述用例重要程度确定。

在一种可能的实现方式中，所述测试结果信息还包括：问题单号，从而便于问题单的查询。

示例性地，所述测试用例有多个，多个测试用例顺序执行，所述装置还包括：

单号获取模块，用于根据所述测试用例的执行时间、执行失败的所述测试用例的顺序编号，确定所述问题单号。

在该实现方式的一个例子中，所述测试结果信息还包括日志，所述日志包括基板管理控制器在所述测试用例执行时采集的信息，所述基板管理控制器位于执行所述测试用例的测试机中。

在该实现方式的一个例子中，所述测试结果还包括所述问题单的错误类型，所述错误类型基于所述日志确定。

在一种可能的实现方式中，所述测试结果信息还包括执行所述测试用例过程中的告警信息。

在一种可能的实现方式中，所述执行模块，用于获取执行计划；其中，所述执行计划包括待测软件；基于执行计划，从测试用例库中获取所述待测软件下的测试用例。

第三方面，本申请实施例提供了一种测试装置，包括：至少一个存储器，用于存储程序；至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面中提供的方法。

第四方面，本申请实施例提供了一种测试装置，其特征在于，装置运行计算机程序指令，以执行第一方面中提供的方法。示例性的，该装置可以为芯片，或处理器。

在一个例子中，该装置可以包括处理器，该处理器可以与存储器耦合，读取存储器中的指令并根据该指令执行第一方面中所提供的方法。其中，该存储器可以集成在芯片或处理器中，也可以独立于芯片或处理器之外。

第五方面，本申请实施例提供了一种计算机存储介质，计算机存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行执行第一方面中提供的方法。

第六方面，本申请实施例提供了一种包含指令的计算机程序产品，当指令在计算机上运行时，使得计算机执行执行第一方面中提供的方法。

附图说明

图1是本申请实施例提供的一种测试系统的系统架构图；

图2是图1提供的测试系统的应用场景的示意图；

图3是本申请实施例提供的测试方法的流程示意图；

图4是本申请实施例提供的一种测试装置的结构示意图；

图5是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本申请实施例中的技术方案进行描述。

在本申请实施例的描述中，“示例性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个终端是指两个或两个以上的终端。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

在服务器的整个测试周期中，会迭代几十或者上百个软件版本，为了确保软件版本的质量，需要对软件进行测试。在软件测试过程中，为了提升测试效率，自动化应用越来越多。通过执行测试用例来实现自动化测试成为了研究的热点。

为测试一个软件，通常需要根据测试需求设计很多测试用例，形成测试用例库。其中，测试需求一般是指需要测试的内容，例如，测试某个功能是否在软件中有所体现等。测试用例(testcase)是指为了进行测试而向被测试系统(即软件)提供的一组数据，一般包括输入数据、执行条件以及预期结果(是想象的一个可能达到的结果，可以理解为预先设置的测试用例执行后理论上出现的结果)。在测试时，如果一个测试用例执行失败，可能意味着缺陷的发现。其中，缺陷，一般是指存在于软件代码中的错误，有时也会被称为“错误”、“BUG”等。通过执行测试用例，可以发现一个软件中的部分或者全部缺陷。能否尽可能多地发现缺陷，能否在有限的时间能尽可能多地发现缺陷，以及，能否在有限的时间内尽可能多地发现相对严重的缺陷，这很大程度上取决于测试用例的设计和筛选。

另外，在软件开发的生命周期中，测试用例库中的测试用例可能会被不断更新，以便应对经过修改之后的软件的回归测试。其中，回归测试(regressiontest)是在修改了软件的原有代码之后，重新对软件进行测试的一种测试流程。通过回归测试可以确认软件的原有功能是否被破坏，即确认修改了原有代码之后是否引入新的错误，或者导致其他原有代码产生错误等问题，即判断修改后的软件中是否存在缺陷。如果存在缺陷，那么开发人员就需要对软件再进行修改。在软件开发生命周期(SystemDevelopment Life Cycle，SDLC)中，软件的各个版本都需要经过多次充分的测试才能够发布。因此，回归测试是一项需要持续进行的任务。

因此，在对服务器的软件进行测试的过程中可能涉及到几万到十几万的测试用例，这些测试用例需要执行。而且在执行测试过程中，会出现程序错误，也即出现缺陷；当开发能力不足，代码质量低下时，在自动化执行测试过程中，需要提交大量的程度错误的问题单，对于每个问题单，需要进行手动截图、手动搜集测试日志、填写程序错误的标题、程序错误的描述和选择错误类型等操作，极大的增加了测试人员的工作量。

综上，在现有技术中，问题单的提单流程完全依赖于测试人员，测试人员又负责测试又需要提单，提单流程繁琐大大制约了测试人员的测试效率，因此针对自动化执行的测试用例，及时需要一种自动化提单方法支撑。

基于此，本发明实施例提出了测试方法。

该方法获取测试用例；然后，执行测试用例；在测试用例执行失败时，获取测试用例的执行信息；其中，执行信息指示了执行测试用例过程产生的信息；基于测试用例的信息以及测试用例的执行信息，确定测试用例对应的测试结果信息，测试结果信息包括用于分析测试用例执行失败的相关信息，该信息可以通过问题单和问题单的附件的形式表现。综上，通过在自动化执行测试用例的过程中，自动采集出现错误的相关数据，解决了问题相关信息采集效率低的问题,提高问题相关信息的采集效率。这里仅仅是对方法的简述，关于该方法的详细内容参见下文描述。

接下来对本发明实施例提供的测试方法可能应用的测试系统进行介绍。图1示出了本发明实施例提供的一种测试系统的架构示例图。本发明实施例提供了测试方法可以应用于如图1所示的系统架构图。如图1所示，测试系统包括终端设备110和计算设备120。

其中，终端设备110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。本方案中涉及的终端设备的示例性实施例包括但不限于搭载iOS、android、Windows、鸿蒙系统(Harmony OS)或者其他操作系统的电子设备。本发明实施例对电子设备的类型不做具体限定。

其中，计算设备120可以为单一服务器，也可以是多个服务器构成的服务器群组。在一个例子中，本方案中涉及的服务器可以用于提供云服务，其可以为一种可以与其他的设备建立通信连接、且能为其他的设备提供运算功能和/或存储功能的服务器或者是超级终端。其中，本方案中涉及的服务器可以为机架服务器，高密服务器或者整机柜服务器。

其中，终端设备110通过网络与计算设备120通过网络进行通信。通信可以是远距离通信(是指在远程相距的地点之间将数据化信息进行传输)。网络可以为有线网络或无线网络。示例地，有线网络可以为电缆网络、光纤网络、数字数据网(Digital Data Network，DDN)等，无线网络可以为电信网络、内部网络、互联网、局域网络(Local Area Network,LAN)、广域网络(Wide Area Network,WAN)、无线局域网络(Wireless Local AreaNetwork,WLAN)、城域网(Metropolitan Area Network,MAN)、公共交换电话网络(PublicService Telephone Network,PSTN)、蓝牙网络、紫蜂网络(ZigBee)、移动电话(GlobalSystem for Mobile Communications，GSM)、CDMA(Code Division Multiple Access)网络、CPRS(GeneralPacketRadioService)网络等或其任意组合。可以理解的是，网络可使用任何已知的网络通信协议来实现不同客户端层和网关之间的通信，上述网络通信协议可以是各种有线或无线通信协议，诸如以太网、通用串行总线(universal serial bus，USB)、火线(firewire)、全球移动通讯系统(global system for mobile communications，GSM)、通用分组无线服务(general packet radio service，GPRS)、码分多址接入(code divisionmultiple access，CDMA)、宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)、长期演进(long term evolution，LTE)、新空口(new radio，NR)等通信协议。

本申请实施例中，计算设备120获取待测软件的测试用例；然后，执行测试用例；在执行测试用例失败时，获取测试用例的执行信息，接着基于测试用例的信息和执行信息，确定测试用例对应的测试结果信息，测试结果信息包括用于分析测试用例执行失败的相关信息，该信息可以通过问题单和问题单的附件的形式表现。

示例性地，在具体实现时，如图2所示，计算设备120可以部署测试用例基线库121(存储软件的最新版本的多个测试用例)、自动化测试系统122、自动提单系统123。其中，测试用例基线库121、自动化测试系统122、自动提单系统123可以是软件，也可以为软件和软件所在的计算设备形成的系统。其中，测试用例基线库121可以部署在一个服务器上，也可以部署在多个服务器上，自动化测试系统122、自动提单系统123类同，另外，测试用例基线库121、自动化测试系统122、自动提单系统123可以部署在相同的服务器上，也可以部署在不同的服务器上，可以部署在部分相同的服务器上。

对应的，在对需要测试的软件测试时，用户可以通过终端设备110访问自动化测试系统122，显示用户交互界面111，通过用户交互界面111设置测试计划生成测试指令，并将测试指令下发到自动化测试系统122，这样自动化测试系统122接收到测试指令时，测试模块112按照测试计划进行测试用例的测试，具体的测试过程可以为：从测试用例基线库121中读取待测软件的测试用例，通过测试机执行测试用例；在执行测试用例失败时，获取测试用例的执行信息，并将测试用例的信息和执行信息发送到自动化提单系统123，自动化提单系统123基于测试用例的信息和执行信息，确定测试用例对应的测试结果信息，测试结果信息包括用于分析测试用例执行失败的相关信息，该信息可以通过问题单和问题单的附件的形式表现。综上，本申请实施例能够自动生成问题单，确保问题单的采集效率。

进一步的，计算设备120还部署问题单管理系统124，问题单管理系统124用于存储管理测试结果信息，从而便于用户查看用于分析测试用例执行失败的相关信息，从而实现错误分析，挖掘软件漏洞。在具体应用中，用户可以通过终端设备110访问问题单管理系统124，从而查看问题单和问题单的附件，实现问题分析。

接下来，结合上述提供的测试系统，对本发明实施例提供的一种测试方法进行详细介绍。本申请将以终端设备110、自动化测试系统122、自动提单系统123为例，对本申请的方案进行阐述。终端设备110、自动化测试系统122、自动提单系统123仅仅作为示例并不构成具体限定。

图3是本申请实施例提供的测试方法的流程示意图。本实施例可应用在电子设备上，具体可以应用在服务器或一般计算机上。如图3所示，本申请实施例提供的测试方法至少包括如下步骤：

步骤301、终端设备110向自动化测试系统122发送待测软件对应的测试指令。

其中，待测软件可以为设备器件(比如服务器中的器件)中的固件，也可以为业务应用(用于实现业务的应用程序)。其中，设备器件可以为BMC(Baseboard ManagementController，基板管理控制器)、BIOS(Basic Input Output System，基本输入输出系统)、CPLD(Complex Programmable Logic Device，逻辑元件，是一种用户根据各自需要而自行构造逻辑功能的数字集成电路)。当然，本发明实施例只是以固件作为软件的示例，但并不代表本发明实施例仅局限于此。应当理解的是，设备器件可以应用在各种不同类型的业务设备中，比如，GPU(graphics processing unit，图形处理器)类的业务设备，计算类的业务设备，存储类的业务设备。其中，GPU类的业务设备主要用于提供人工智能方面的业务；计算类的业务设备主要用于提供数据计算方面的业务。存储类的业务设备主要用于提供数据存储方面的业务。当然，本发明实施例只是以这三种类型为例进行说明，但并不代表本发明实施例仅局限于此，比如，网络类的业务设备。

其中，测试指令可以为终端设备下发的指令。比如可以为终端设备在软件更新版本后触发的测试指令；也可以是测试人员通过终端设备手动触发的测试指令。

在此，本发明实施例只是以上述测试指令为例进行说明，但并不代表本发明实施例仅局限于此。在一些可能的实现方式中，测试指令可以为服务器下发的指令。比如，服务器定时触发的测试指令。在比如，测试指令可以为服务器在需要对软件的版本更新时自动触发的指令。

其中，测试指令包括测试计划和待测软件的软件标识。这里，测试计划用于说明测试时间，测试次数，测试周期等。进一步地，还可以包括测试用例的数目。另外，若自动化测试系统还没有部署最新版本的待测软件，对应的，测试指令还可以包括待测软件的最新版本的下载地址。

步骤302、自动化测试系统122从测试用例基线库中读取待测软件的测试用例。

其中，测试用例基线库中具有若干个软件的最新版本的若干个测试用例；在一些可能的情况，测试用例基线库也可以直接称为测试用例库。在具体测试时，自动化测试系统122可以并行执行多个测试用例，从而提高测试效率。这里，每个软件的测试用例的个数可以为一个，也可以为多个，具体可以根据实际需要进行设置，本发明实施例不做进一步地限制。当需要对多个软件测试时，若测试机的个数足够，多个软件的测试用例可以并行运行。另外，测试用例可以为人为编写的测试用例，也可以为自动生成后人为修正后的测试用例。

其中，测试用例是指对一项特定的软件产品进行测试任务的描述，体现测试方案、方法、技术和策略，是为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，用于核实是否满足某个特定软件需求，目的是能够将软件测试的行为转化成可管理的模式，同时测试用例也是将测试具体量化的方法之一，不同类别的软件，测试用例是不同的，影响软件测试的因素很多，例如软件本身的复杂程度、开发人员(包括分析、设计、编程和测试的人员)的素质、测试方法和技术的运用等。

示例性地，测试用例可以包括如下的一种或多种的参数：测试用例的预期结果、测试用例的用例重要程度、测试用例的用例标识、测试用例的场景类型、测试用例所属软件的软件标识、测试用例的测试机类型。

其中，测试用例的预期结果为人为预先配置的，是想象的一个可能达到的结果，具体来说，预期结果为预先设置的测试用例执行后理论上出现的结果。需要说明的是，本申请实施例中，测试用例是为了测试设备中软件的功能。预期结果可以有如下2种：

ER1.测试用例测试过程得到的结果都是正常。

ER2.测试用例执行过程出现错误，得到错误提示信息(用于提示出现错误)，一般会产生告警。

其中，测试用例的用例重要程度可以反映出执行测试用例所带来的风险，风险越高，测试用例越重要。其中，测试用例的风险，指的是测试用例执行过程出现错误时导致的后果的严重程度。一个测试用例的风险高，指的是该测试用例执行过程出现错误时导致的后果较为严重，具有这样特点的测试用例也可被称为高风险用例；相应地，一个测试用例的风险低，指的是该测试用例执行过程出现错误时导致的后果较轻。上述阈值的取值可以是任意的，本申请实施例对于阈值的具体数值不作限定。

需要说明的是，测试用例的用例重要程度可以根据测试用例执行过程出现错误导致的结果(不一定真实发生，可以是人为分析假定)以及测试用例执行过程出现错误导致的故障是否可以自动恢复确定。本申请实施例中，测试用例是为了测试设备中的软件的功能，并确定测试用例运行过程中对业务功能的影响。对应地，测试机具有业务功能，业务功能可以理解为用户可以使用的服务；可选地，测试用例执行过程出现错误导致的结果可以包括是否影响业务功能，出现故障的业务功能的数目多少等度量，测试机是否死机等方面。示例性地，用例重要程序可以分成如下四类：

A:致命程度：影响业务功能，测试机正常运行，执行测试用例失败(也即测试用例执行过程出现错误)后测试机出现死机，并且测试机死机这一故障不可自动恢复的用例。这样的测试用例可以认为是高风险用例。

B:严重程度：影响至少部分的业务功能，测试机正常运行，执行测试用例失败(也即测试用例执行过程出现错误)后测试机出现部分功能故障，并且故障不可自动恢复的用例。这样的测试用例可以认为是中等风险用例。

C:一般程度：不影响产品功能，执行测试用例失败(也即测试用例执行过程出现错误)后，测试机复位，故障可自动恢复的用例。这样的测试用例可以认为是一般风险用例。

D:提示程度：不影响产品功能，执行测试用例失败(也即测试用例执行过程出现错误)后，测试机无需复位，故障可自动恢复的用例。这样的测试用例可以认为是较风险用例。

其中，测试用例所属软件的软件标识为预先配置好的。比如，软件标识可以为BMC、BIOS、CPLD。

其中，测试用例的用例标识用于区别不同的测试用例，每个用例标识都是唯一的。本申请实施例中，测试用例的用例标识可以是人为预先设置的，也可以是自动化测试系统分配的。示例性地，测试用例的用例标识可以为软件标识和用例编号，比如，可以为BMC.100.200.001。

其中，测试用例的场景类型可以有三种，分别为GPU场景，计算场景，存储场景。其中，GPU场景主要用于人工智能业务方面的测试；计算场景主要用于数据计算业务方面的测试。存储场景用于数据存储业务方面的测试。当然，本发明实施例只是以这三种场景为例进行说明，但并不代表本发明实施例仅局限于此。需要说明的是，本申请实施例是为了测试设备器件中的软件运行过程中对业务功能的影响，因此，一个测试用例可以适用多种场景类型。

其中，测试用例的测试机类型用于说明不同场景类型的测试机。需要说明的是，测试机具有业务功能，因此，测试机类型需要说明不同业务功能。比如，测试机类型可以有3种，分别为GPU(graphics processing unit，图形处理器)型，计算型，存储型。其中，GPU型的测试机主要用于提供人工智能方面的服务；计算型的测试机的算力强，主要用于提供数据计算方面的服务。存储型的测试机的存储能力强，主要用于提供数据存储方面的服务。当然，本发明实施例只是以这三种类型的测试机为例进行说明，但并不代表本发明实施例仅局限于此。

示例性地，测试机类型可以为测试机的型号。举例来说，测试机为物理服务器，测试机类型为物理服务器的机型，比如5288V7。

本申请实施例中，测试用例的测试机类型可以是人为预先配置的，也可以是自动化测试系统为测试用例分配的。

在测试机类型为人为预先设置的场景下，用户可以考虑执行测试用例的场景类型，从而为测试用例配置测试机类型，从而得到测试机类型。

在自动化测试系统为测试用例分配的场景下，示例性地，自动化测试系统可以获取测试用例的场景类型；具体地，在为测试用例分配测试机时，可以根据测试用例的场景类型，确定场景类型下的多种测试机的型号，从而实现为测试用例分配测试机，比如，随机选择一个型号的测试机。需要说明的是，每个场景类型下可以有一种测试机，也可以有多种测试机。需要说明的是，测试机上可能运行1个测试用例，也可能运行多个测试用例。

需要说明的是，上述参数仅仅作为示例，并不构成具体限定，示例性地，测试用例还可以包括如下参数：用例名称：可以理解为用例标题；测试数据：测试的参数数据；测试步骤：也就是测试的一个过程；备注：强调特殊情况内容；前置条件：测试的前提条件，比如你要测一个登陆界面，你要有一个已注册的账号密码，这才能测。

示例性地，测试用例可以包括：用例编号、测试名称、测试背景：就是测试环境背景，说明什么项目，测什么，在什么情况背景下去测，可以包括待测软件的标识，测试机类型；测试数据、测试步骤、预期结果。

步骤303、自动化测试系统122执行测试用例。

需要说明的是，在实际应用中，通过测试机执行测试用例，若测试机没有部署最新版本的待测软件，首先需要基于测试指令中的待测软件的最新版本的下载地址部署最新版本的待测软件。

需要说明的是，测试机为模拟设备，用于模拟真实业务设备所能实现的功能。

示例的，以至少一个测试用例的个数为4个为例，该4个测试用例分别为测试用例A、测试用例B、测试用例C及测试用例D，可用的测试机分别为测试机A、测试机B及测试机C；假设测试用例A的场景类型为GPU类型，说明该测试用例A只能在特定的GPU类型的测试机中运行，且测试机A为GPU类型的测试机，则可以确定测试用例A对应的测试机为测试机A，并将该测试用例A分配给测试机A，以通过测试机A运行该测试用例A；假设测试用例B的场景类型为计算类型，说明该测试用例B只能在特定的计算类型的测试机上，测试机B和测试机C为计算类型的测试机，则可以确定测试用例A对应的测试机为测试机B或测试机C，并将该测试用例A分配给测试机B和/或测试机C，以通过测试机B和/或测试机C运行该测试用例B；假设测试用例C的场景类型为存储类型，说明该测试用例C只能在特定的存储类型的测试机中运行，且测试机D为存储类型的测试机，则可以确定测试用例C对应的测试机为测试机D，并将该测试用例C分配给测试机D，以通过测试机D运行该测试用例C。

步骤304、自动提单系统122在测试用例的执行失败时，获取测试用例的执行信息，执行信息指示了在执行测试用例过程产生的信息。

本申请实施例中，在一个例子中，当执行测试用例的结果与测试用例的预期结果不一致时，确定测试用例执行失败。在另一个例子中，当测试用例的执行过程出现错误时，可以认为测试用例执行失败。

应当理解的是，测试机在执行测试用例的过程中，会得到执行的结果，一个测试用例可能被执行一次或者多次，一个测试用例每被执行一次，就会生成一条对应的执行的结果。其中，执行的结果记载了与之对应的测试用例某一次被执行的情况。这里，执行的结果可以承载在测试日志中，也可以承载于报文中，此处不作具体限定。

示例性地，执行的结果可以包括测试用例的用例标识、测试机类型、执行时间、执行时长、执行过程是否出现错误，出现错误时的错误提示信息等信息。

在具体实现时，若测试用例的执行的结果和预期结果不同时，比如，执行的结果表示测试用例在执行过程没有出现错误，但是预期结果表示测试用例在执行过程出现错误产生错误提示信息；示例性地，执行的结果表示在执行过程出现错误产生错误提示信息，但是预期结果表示测试用例在执行过程没有出现错误。

示例性地，执行信息可以包括执行失败的测试用例的编号，该编号指示了从测试开始到当前执行失败的测试用例的数目。

进一步地，还可以包括日志，日志包括基板管理控制器(Baseboard ManagementController，BMC)在测试用例执行时采集的信息，基板管理控制器位于执行测试用例的测试机中的。示例性地，日志包括测试机的操作系统的运行信息和测试机中的工作模块的运行情况，其中，工作模块可以为中央处理器(Central Processing Unit，简称CPU)、内存、磁盘、网卡。具体地，测试机在执行测试用例的过程中，测试机中的BMC会实时采集操作系统的运行信息和测试机中工作模块的运行信息，采集到的信息一般承载在日志中。

进一步地，在测试用例的执行过程出现错误时，执行信息还可以包括告警信息，告警信息用于提示测试用例的执行过程出现的错误。示例性地，告警信息由基板管理控制器产生。在实际应用中，测试机可以发送告警信息到终端设备120，终端设备120显示告警信息，可以对终端设备进行截图，将截图作为执行信息中的告警信息。

步骤305、自动测试系统123向自动提单系统123发送测试用例的信息和执行信息。

需要说明的是，测试用例的信息可以理解为测试用例中的信息，比如，可以包括测试用例的用例重要程序，测试用例的标题，测试用例的编号，测试机类型。

步骤306、自动提单系统123基于测试用例的信息和执行信息，确定测试结果信息。

本申请实施例中，测试结果信息通过问题单和问题单的附件表示。

在具体实现时，自动提单系统获取问题单模板，将测试用例的信息填入问题单模板中，得到表示问题单的信息。其中，问题单模板中的要素可以包括【问题单号】+【简要描述】；对应的，测试结果信息中包括问题单号和简要描述。需要说明的是，问题单模板为人为提前设计好部署在自动提单系统中的。示例性地，所有的待测软件可以共用相同的问题单模板。

示例性地，问题单号一般由自动提单系统名称、时间和编号组成。比如，问题单号可以为DTS2022101300066；其中，DTS表示自动提单系统名称，20221013表示时间，00066表示编号。需要说明的是，测试用例的执行信息可以包括测试用例的编号；对应的，自动提单系统123可以基于测试用例的执行信息中的测试用例的编号，当前的时间和系统名称，确定问题单号。

示例性地，简要描述可以包括：【用例重要程度】【测试机类型】【软件标识】【用例标识】【用例标题】【测试错误】。比如，简要描述可以为【C】【5288V7】【BMC】【BMC.100.200.001】BMC传感器I2C部件信息压力读取功能测试测试错误。其中，C表示测试用例的重要程度，5288V7表示测试机类型，BMC表示软件标识，BMC.100.200.001表示用例标识，BMC传感器I2C部件信息压力读取功能测试表示用例标题。

示例性地：测试结果信息可以包括：【DTS2022101300066】【C/Y】【5288V7】【BMC】【BMC.100.200.001】BMC传感器I2C部件信息压力读取功能测试测试错误。

示例性地，本申请实施例中，测试结果信息还包括问题单的问题单的问题级别，问题单级别基于用例重要程度确定。其中，问题单的问题级别越高代表测试用例执行过程出现错误导致的结果越严重，越能发现软件漏洞，对应的，问题单具有较高的参考价值。

示例性地，当测试用例的重要程度为致命程度时，问题单的级别为致命级别，也即最高级别。

示例性地，当测试用例的重要程度为严重程度时，问题单的级别为严重级别。

示例性地，当测试用例的重要程度为一般程度或提示程度时，问题单的级别为一般级别。

进一步地，自动提单系统123还可以将问题单的问题级别发送给问题单管理系统124，测试人员通过问题单管理系统124可以查看相同问题级别下的问题单，使得测试人员分析问题更加简单方便，提高了问题分析效率。

示例性地，本申请实施例中，测试用例的执行信息还包括日志，日志包括执行测试用例的测试机中的BMC在测试用例执行时采集的信息。示例性地，日志包括测试机的操作系统的运行信息和测试机中的工作模块的运行情况，其中，工作模块可以为中央处理器(Central Processing Unit，简称CPU)、内存、磁盘、网卡。对应地，测试结果信息包括日志。本申请实施例中，为了分析待测软件的问题，可以获取BMC在测试用例开始执行到结束的时段的日志，将该日志作为问题单的附件，从而便于后续的问题分析。

在该基础上，可选地，测试结果信息还包括问题错误类型。

在具体实现时，步骤306还包括如下内容：

自动提单系统123获取执行测试用例的测试机中的BMC在执行测试用例的过程中采集的日志；基于日志和执行测试用例的结果，确定问题错误类型。

进一步地，本申请实施例中，可以基于测试机执行测试用例得到的结果和日志，确定问题错误类型。其中，问题错误类型可以为如下的一种或多种。

1、业务问题。比如，主要的业务流程走不通或出现错误，比如新增保存不成功。在比如，功能操作出现问题，例如一些功能按钮无法进行操作，点击按钮没反应。再比如，交互逻辑出现问题，交互分为界面交互和功能交互；界面交互指的是页面的跳转；功能交互指的是通过和程序交谈(输入数据等操作)来控制程序，让程序得到你要的成果，常用的交互功能有启用聊天功能、网站上添加留言功能、消息通知功能和自主服务功能等。又比如，数据问题，例如，数据不正确、数据未同步等。还比如，条件限制问题。例如，1)输入框字符个数、长度和类型限制。2)图片尺寸大小、文件大小、格式类型、分辨率，图片名称字符长度及类型。

2、性能问题，比如，1)页面加载慢，延迟超过3秒；2)占用CPU、内存的大小，内存泄漏。

需要说明的是，通过日志中的操作系统的运行信息可以知道业务逻辑是否发生错误。通过日志中的工作模块的运行信息可以知道性能是否发生问题。

进一步地，自动提单系统123还可以将问题单的错误类型发送给问题单管理系统124，测试人员通过问题单管理系统124可以查看相同错误类型下的问题单，使得测试人员分析问题更加简单方便，提高了问题分析效率。

在一些可能的情况中，测试用例的执行信息包括执行测试用例的过程中的告警信息；对应的，测试结果信息还包括执行测试用例的过程中的告警信息。

综上，本申请实施例中，在测试用例执行失败时，可自动提取问题相关信息，提高获取问题相关信息的效率。

需要说明的是，上述图3所示的方法仅仅作为示例，在实际应用中，可以将图3中的自动测试系统122和自动提单系统123替换为计算设备120，若计算设备120为计算设备集群，可选地，可以将图3中的自动测试系统122替换为计算设备(为了便于描述和区别，称为第一计算设备)和自动提单系统123替换为计算设备(为了便于描述和区别，称为第二计算设备)。在一些可能的情况，图3所示的方法可以由终端设备110执行。

基于与本发明方法实施例相同的构思，本发明实施例还提供了一种测试装置。测试装置包括若干个模块，各个模块用于执行本发明实施例提供的测试方法中的各个步骤，关于模块的划分在此不做限制。所属领域的技术人员可以清楚地了解到，实际应用中，可以根据需要而将本发明实施例提供的测试方法中的各个步骤分配由不同的模块完成，即将装置的内部结构划分成不同的模块，以完成以上描述的全部或者部分功能。实施例中的各模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上模块集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述装置中模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

示例地，测试装置用于执行本发明实施例提供的测试方法，图4是本申请实施例提供的测试装置的结构示意图。如图4所示，本申请实施例提供的测试装置，包括：

执行模块401，用于执行测试用例；

获取模块402，用于在所述测试用例执行失败时，获取所述测试用例的执行信息；其中，所述执行信息指示了在执行所述测试用例过程产生的信息；

生成模块403，用于基于所述测试用例的信息以及所述测试用例的执行信息，确定所述测试用例对应的测试结果信息。

基于与本发明方法实施例相同的构思，本发明实施例还提供了一种电子设备。该电子设备可以为计算设备120或终端设备110。图5是本申请实施例提供的一种电子设备的结构示意图。

如图5所示，电子设备500包括处理器501、存储器502、网卡503、BMC504。

处理器501可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。

示例地，存储器502上可以存储计算机程序，处理器501执行计算机程序时实现上述XXX方法实施例中的步骤，例如图3所示的步骤301至306。或者，所述处理器501执行计算机程序时实现上述装置实施例中各模块的功能。示例性的，计算机程序可以被分割成一个或多个模块/单元，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述一个或者多个模块/单元被存储在所述存储器502中，并由所述处理器501执行，以完成本发明。例如，计算机程序可以被分割成用例获取模块401、执行模块402、生成模块403，各模块具体功能参见上文描述。

网卡503用于收发数据，例如，将处理器501处理后的数据发送至其他的电子设备，或者，接收其他的电子设备发送的数据等。

BMC504用于对电子设备500中的器件比如处理器501、存储器502和网卡503的运行情况进行监控。

当然，为了简化，图5中仅示出了该电子设备500中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备500还可以包括任何其他适当的组件。本领域技术人员可以理解，图5仅仅是电子设备500的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

除了上述方法、装置和电子设备以外，本申请实施例还可以提供了一种计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时,使得所述处理器执行本说明书上述“方法”部分中描述的本申请各种实施例的测试方法中的步骤。其中，所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。其中，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请实施例还可以提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“方法”部分中描述的根据本公开各种实施例的测试方法中的步骤。所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。

Claims (10)

1.一种测试方法，其特征在于，包括：

执行测试用例；

在所述测试用例执行失败时，获取所述测试用例的执行信息；其中，所述执行信息指示了在执行所述测试用例过程产生的信息；

基于所述测试用例的信息以及所述测试用例的执行信息，确定所述测试用例对应的测试结果信息。

2.根据权利要求1所述的方法，其特征在于，所述在所述测试用例执行失败时，获取所述测试用例的执行信息之前，包括:

当执行所述测试用例的结果与所述测试用例的预期结果不一致时，确定所述测试用例执行失败；其中所述预期结果为预先设置的所述测试用例执行后理论上出现的结果。

3.根据权利要求1所述的方法，其特征在于，所述测试结果信息包括用例重要程度，所述用例重要程度根据所述测试用例执行过程出现错误导致的结果以及所述测试用例执行过程出现错误导致的故障是否可以自动恢复确定。

4.根据权利要求3所述的方法，其特征在于，所述测试结果信息还包括：问题单的问题级别，所述问题单级别基于所述用例重要程度确定。

5.根据权利要求1所述的方法，其特征在于，所述测试结果还包括问题单号，所述测试用例有多个，多个测试用例顺序执行，所述方法还包括：

根据所述测试用例的执行时间、执行失败的所述测试用例的顺序编号，确定问题单号。

6.根据权利要求1至5任一所述的方法，其特征在于，所述测试结果信息还包括日志，所述日志包括基板管理控制器在所述测试用例执行时采集的信息，所述基板管理控制器位于执行所述测试用例的测试机中。

7.根据权利要求6所述的方法，其特征在于，所述测试结果还包括问题错误类型，所述问题错误类型根据所述日志确定。

8.根据权利要求1至7任一所述的方法，其特征在于，所述测试结果信息还包括执行所述测试用例过程中产生的告警信息。

9.根据权利要求1至8任意一项所述的方法，其特征在于，所述执行测试用例之前，所述方法还包括：

获取执行计划；其中，所述执行计划包括待测软件；

基于执行计划，从测试用例库中获取所述待测软件下的测试用例。

10.一种计算设备，其特征在于，包括至少一个处理器和至少一个存储器；其中，

所述至少一个存储器用于存储程序；

所示至少一个处理器用于执行所述至少一个存储器存储的程序，当所述至少一个存储器存储的程序被执行时，执行权利要求1至9任一所述的方法。