CN112579426B - 一种对待测试对象的测试方法及装置 - Google Patents

Abstract

本发明实施例公开一种对待测试对象的测试方法及装置，该方法包括：获得待测试对象及其对应的测试逻辑相关信息打包生成的套件包，测试逻辑相关信息包括：对待测试对象进行测试的测试指标维度及每一测试指标维度对应的测试逻辑及测试参考数据；基于待测试对象对应的测试指标维度，从测试数据中，确定待测试对象对应的测试指标维度对应的备用测试数据；通过测试执行器，利用测试指标维度对应的测试逻辑和备用测试数据，对待测试对象进行测试，获得每一测试指标维度对应的中间结果；基于每一测试指标维度对应的中间结果及每一测试指标维度对应的测试参考数据，确定待测试对象的测试结果，以实现对待测试对象的自动测试，降低人力耗费且提高效率。

Description

一种对待测试对象的测试方法及装置

技术领域

本发明涉及自动化测试技术领域，具体而言，涉及一种对待测试对象的测试方法及装置。

背景技术

目前，开发者在开发相对复杂的系统时，如无人驾驶系统以及数据云存储系统等，一般开发者首先将待开发系统进行模块级别解耦，进而，对待开发系统中的不同模块对应的算法程序进行独立开发，得到模块对应的算法程序的SDK(Software Development Kit，软件开发工具包)。后续的，还需要将各种独立的SDK部署在其所在系统中。

为了保证各SDK的质量，将各独立的SDK部署在其所在系统中之前，都需要对各SDK进行性能、压力、稳定性等方面的测试。在对各SDK进行性能、压力、稳定性等方面的测试时，需要测试人员根据所需测试的不同的SDK，手动筛选SDK测试所需的测试数据以及测试结果验证方式等，并进行手动测试，耗费人力且效率不高。

发明内容

本发明提供了一种对待测试对象的测试方法及装置，以实现对待测试对象的自动测试，降低人力耗费且提高效率。具体的技术方案如下：

第一方面，本发明实施例提供了一种对待测试对象的测试方法，包括：

获得待测试套件包，其中，所述待测试套件包为：待测试对象以及所述待测试对象对应的测试逻辑相关信息打包生成的套件包，所述测试逻辑相关信息包括：对所对应待测试对象进行测试的测试指标维度以及每一测试指标维度对应的测试逻辑及其测试参考数据；

基于所述待测试对象对应的测试指标维度，从预先存储的测试数据中，确定所述待测试对象对应的测试指标维度对应的备用测试数据；

通过测试执行器，利用每一测试指标维度对应的测试逻辑和备用测试数据，对所述待测试对象进行测试，获得每一测试指标维度对应的中间结果，其中，所述测试执行器包含所述待测试对象测试所需的测试环境；

基于每一测试指标维度对应的中间结果以及每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果。

可选的，所述待测试对象包括无人驾驶算法代码及其所需的神经网络模型。

可选的，在所述获得待测试套件包的步骤之前，所述方法还包括：

获得待测试数据，其中，所述待测试数据包括多个版本的待测试数据，每一版本的待测试数据包含多个平台的代码；

从多个版本的待测试数据中，确定出最新版本的待测试数据；

并从所述最新版本的待测试数据中，确定出指定平台对应的目标代码，作为待测试对象；

按照预设的目录结构，将所述待测试对象以及所述待测试对象对应的测试逻辑相关信息打包，生成包含所述待测试对象以及所述待测试对象对应的测试逻辑相关信息的所述待测试对象对应的待测试套件包。

可选的，在所述按照预设的目录结构，将所述待测试对象以及所述待测试对象对应的测试逻辑相关信息打包，生成包含所述待测试对象以及所述待测试对象对应的测试逻辑相关信息的所述待测试对象对应的待测试套件包的步骤之后，所述方法还包括：

将所述待测试套件包存储于预设存储空间；

所述获得待测试套件包的步骤，包括：

在所述预设存储空间中读取所述待测试套件包。

可选的，每一预先存储的测试数据对应有数据标签；每一测试指标维度对应指定标签；

所述基于所述待测试对象对应的测试指标维度，从预先存储的测试数据中，确定所述待测试对象对应的测试指标维度对应的备用测试数据的步骤，包括：

基于所述待测试对象对应的测试指标维度对应的指定标签，以及每一测试数据对应的数据标签，从所述测试数据中，筛选出所对应数据标签与测试指标维度对应的指定标签匹配的测试数据，确定为所述待测试对象对应的测试指标维度对应的备用测试数据。

可选的，在所述基于每一测试指标维度对应的中间结果以及每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果的步骤之后，所述方法还包括：

显示所述测试结果中表征所述待测试对象存在问题的测试指标维度对应的测试结果以及测试过程的中间结果。

第二方面，本发明实施例提供了一种对待测试对象的测试装置，包括：

第一获得模块，被配置为获得待测试套件包，其中，所述待测试套件包为：待测试对象以及所述待测试对象对应的测试逻辑相关信息打包生成的套件包，所述测试逻辑相关信息包括：对所对应待测试对象进行测试的测试指标维度以及每一测试指标维度对应的测试逻辑及其测试参考数据；

第一确定模块，被配置为基于所述待测试对象对应的测试指标维度，从预先存储的测试数据中，确定所述待测试对象对应的测试指标维度对应的备用测试数据；

第二获得模块，被配置为通过测试执行器，利用每一测试指标维度对应的测试逻辑和备用测试数据，对所述待测试对象进行测试，获得每一测试指标维度对应的中间结果，其中，所述测试执行器包含所述待测试对象测试所需的测试环境；

第二确定模块，被配置为基于每一测试指标维度对应的中间结果以及每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果。

可选的，所述待测试对象包括无人驾驶算法代码及其所需的神经网络模型。

可选的，所述装置还包括：

第三获得模块，被配置为在所述获得待测试套件包之前，获得待测试数据，其中，所述待测试数据包括多个版本的待测试数据，每一版本的待测试数据包含多个平台的代码；

第三确定模块，被配置为从多个版本的待测试数据中，确定出最新版本的待测试数据；

第四确定模块，被配置为从所述最新版本的待测试数据中，确定出指定平台对应的目标代码，作为待测试对象；

打包生成模块，被配置为按照预设的目录结构，将所述待测试对象以及所述待测试对象对应的测试逻辑相关信息打包，生成包含所述待测试对象以及所述待测试对象对应的测试逻辑相关信息的所述待测试对象对应的待测试套件包。

可选的，所述装置还包括：

存储模块，被配置为在所述按照预设的目录结构，将所述待测试对象以及所述待测试对象对应的测试逻辑相关信息打包，生成包含所述待测试对象以及所述待测试对象对应的测试逻辑相关信息的所述待测试对象对应的待测试套件包之后，将所述待测试套件包存储于预设存储空间；

所述第一获得模块，被具体配置为在所述预设存储空间中读取所述待测试套件包。

可选的，每一预先存储的测试数据对应有数据标签；每一测试指标维度对应指定标签；

所述第一确定模块，被具体配置为基于所述待测试对象对应的测试指标维度对应的指定标签，以及每一测试数据对应的数据标签，从所述测试数据中，筛选出所对应数据标签与测试指标维度对应的指定标签匹配的测试数据，确定为所述待测试对象对应的测试指标维度对应的备用测试数据。

可选的，所述装置还包括：

显示模块，被配置为在所述基于每一测试指标维度对应的中间结果以及每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果之后，显示所述测试结果中表征所述待测试对象存在问题的测试指标维度对应的测试结果以及测试过程的中间结果。

由上述内容可知，本发明实施例提供的一种对待测试对象的测试方法及装置，可以获得待测试套件包，其中，待测试套件包为：待测试对象以及待测试对象对应的测试逻辑相关信息打包生成的套件包，测试逻辑相关信息包括：对所对应待测试对象进行测试的测试指标维度以及每一测试指标维度对应的测试逻辑及其测试参考数据；基于待测试对象对应的测试指标维度，从预先存储的测试数据中，确定待测试对象对应的测试指标维度对应的备用测试数据；通过测试执行器，利用每一测试指标维度对应的测试逻辑和备用测试数据，对待测试对象进行测试，获得每一测试指标维度对应的中间结果，其中，测试执行器包含待测试对象测试所需的测试环境；基于每一测试指标维度对应的中间结果以及每一测试指标维度对应的测试参考数据，确定待测试对象的测试结果。

应用本发明实施例，可以实现自动化地确定待测试对象测试所需的备用测试数据，并自动通过测试执行器，利用每一测试指标维度对应的测试逻辑和备用测试数据，对待测试对象进行测试，得到中间结果，进而，基于中间结果和每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果，实现对待测试对象的自动测试，降低人力耗费且提高效率。并且，该测试执行器中包含待测试对象测试所需的测试环境，可以保证不同的待测试对象在进行测试时，其所处环境均相同，保证对不同待测试对象进行测试时所处环境的一致性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、可以实现自动化地确定待测试对象测试所需的备用测试数据，并自动通过测试执行器，利用每一测试指标维度对应的测试逻辑和备用测试数据，对待测试对象进行测试，得到中间结果，进而，基于中间结果和每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果，实现对待测试对象的自动测试，降低人力耗费且提高效率。并且，该测试执行器中包含待测试对象测试所需的测试环境，可以保证不同的待测试对象在进行测试时，其所处环境均相同，保证对不同待测试对象进行测试时所处环境的一致性。

2、在生成待测试套件包时，确定出待测试对象中最新版本的待测试对象，且确定出最新版本的待测试对象中的指定平台对应的目标代码，以在一定程度上清除代码仓库管理系统的冗余历史版本的待测试对象、以及测试时并不需要的配置文件，以缩小待测试套件包的存储占用空间，以便节省存储资源。并且待测试套件包占用空间的缩小可以降低测试整体耗时。

3、通过每一测试数据对应的数据标签，以及测试指标维度对应的指定标签，确定出待测试对象对应的测试指标维度对应的备用测试数据，实现对待测试对象的备用测试数据的自动选择。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的对待测试对象的测试方法的一种流程示意图；

图2为本发明实施例提供的对待测试对象的测试方法的另一种流程示意图；

图3为本发明实施例提供的不同级别的数据标签的一种示意图；

图4为本发明实施例提供的对待测试对象的测试装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明提供了一种对待测试对象的测试方法及装置，以实现对待测试对象的自动测试，降低人力耗费且提高效率。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的对待测试对象的测试方法的一种流程示意图。该方法可以包括以下步骤：

S101：获得待测试套件包。

其中，待测试套件包为：待测试对象以及待测试对象对应的测试逻辑相关信息打包生成的套件包，测试逻辑相关信息包括：对所对应待测试对象进行测试的测试指标维度以及每一测试指标维度对应的测试逻辑及其测试参考数据。

本发明实施例中，该对待测试对象的测试方法可以应用于任一类型的具有计算能力的电子设备中，该电子设备可以为服务器或者终端设备。

电子设备在确定需要对待测试对象进行测试时，可以获得待测试套件包，该待测试套件包为：待测试对象以及待测试对象对应的测试逻辑相关信息打包生成的套件包。并且，对待测试对象进行测试时，需要预先设置完成对待测试对象进行测试所需的测试逻辑相关信息，该测试逻辑相关信息包括从哪些角度对待测试对象进行测试、如何对待测试对象进行测试的信息以及确定待测试对象在某一角度测试过程中没有问题的依据。相应的，该测试逻辑相关信息包括对所对应待测试对象进行测试的测试指标维度以及每一测试指标维度对应的测试逻辑及其测试参考数据。

在一种情况中，开发者在开发相对复杂的系统时，如无人驾驶系统以及数据云存储系统等，开发者首先将待开发系统进行模块级别解耦，进而，对待开发系统中的不同模块对应的算法程序进行独立开发，得到模块对应的算法程序的SDK(Software DevelopmentKit，软件开发工具包)。后续的，将各种独立的SDK部署在其所在系统中。相应的，本发明实施例中，该待测试套件包中的待测试对象为：被进行模块级别解耦后的系统中的任一模块对应的算法程序。在一种实现方式中，该待测试对象可以包括无人驾驶算法代码及其所需的神经网络模型。

针对不同的待测试对象，其对应的测试指标维度可以存在不同，且其对应的测试指标维度对应的测试逻辑以及测试参考数据可以存在不同。举例而言，待测试对象为无人驾驶算法代码及其所需的神经网络模型的情况下，该测试指标维度可以包括但不限于：十字路口处算法的质量、高速路中算法的质量、晴天算法的质量、雨天算法的质量以及盘环路算法的质量等。待测试对象进行测试的测试指标维度、以及每一测试指标维度对应的测试逻辑及其测试参考数据可以由测试人员根据算法以及实际需求进行设置，本发明实施例并不进行限定。

S102：基于待测试对象对应的测试指标维度，从预先存储的测试数据中，确定待测试对象对应的测试指标维度对应的备用测试数据。

本步骤中，电子设备的本地或所连接的存储设备可以预先存储有测试数据，该测试数据为测试待测试对象所需的测试数据。一种情况中，该电子设备的本地或所连接的存储设备可以存储有不同测试指标维度与各测试数据之间的关联关系，基于该关联关系以及待测试对象对应的测试指标维度，电子设备可以从预先存储的测试数据中，确定待测试对象对应的测试指标维度对应的测试数据，作为待测试对象对应的测试指标维度对应的备用测试数据。

S103：通过测试执行器，利用每一测试指标维度对应的测试逻辑和备用测试数据，对待测试对象进行测试，获得每一测试指标维度对应的中间结果。

其中，测试执行器包含待测试对象测试所需的测试环境。

该测试执行器为用于对待测试对象进行测试的执行器。一种情况中，该测试执行器可以为测试人员针对待测试对象及与该待测试对象属于同一系统的对象，预先构建的测试执行器，该测试执行器内搭建有测试该待测试对象所需的测试环境。

电子设备在确定出待测试对象所对应测试指标维度对应的备用测试数据之后，可以将待测试套件包以及待测试套件包包含的待测试对象所对应测试指标维度对应的备用测试数据，发送至测试执行器，并向测试执行器发送一测试任务。测试执行器接收到待测试套件包以及待测试套件包包含的待测试对象所对应测试指标维度对应的备用测试数据之后，响应于该测试任务，基于docker环境，通过docker镜像，利用每一测试指标维度对应的测试逻辑和备用测试数据，对待测试对象进行测试，并获得每一测试指标维度对应的中间结果，实现通过测试执行器，利用每一测试指标维度对应的测试逻辑和备用测试数据，对所述待测试对象进行测试，获得每一测试指标维度对应的中间结果。

利用测试执行器，使得测试执行器可以基于docker环境，通过docker镜像，实现对待测试套件包及与该待测试对象属于同一系统的对象进行测试时，可以保障系统环境的一致性，保证待测试套件及与该待测试对象属于同一系统的对象的测试结果的有效性。

S104：基于每一测试指标维度对应的中间结果以及每一测试指标维度对应的测试参考数据，确定待测试对象的测试结果。

本步骤中，电子设备获得每一测试指标维度对应的中间结果之后，可以针对每一测试指标维度，将该测试指标维度对应的中间结果与该测试指标维度对应的测试参考数据进行比较，获得比较结果，进而基于该比较结果，确定出该待测试对象在该测试指标维度是否存在问题，即确定出待测试对象的测试结果。

后续的，为了使得测试人员可以观测查看该待测试对应的测试结果，电子设备可以针对该待测试对象，存储每一测试指标维度对应的中间结果以及测试结果。

应用本发明实施例，可以实现自动化地确定待测试对象测试所需的备用测试数据，并自动通过测试执行器，利用每一测试指标维度对应的测试逻辑和备用测试数据，对待测试对象进行测试，得到中间结果，进而，基于中间结果和每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果，实现对待测试对象的自动测试，降低人力耗费且提高效率。并且，该测试执行器中包含待测试对象测试所需的测试环境，可以保证不同的待测试对象在进行测试时，其所处环境均相同，保证对不同待测试对象进行测试时所处环境的一致性。

并且，本发明实施例可以对进行模块级别解耦的系统中的各模块对应的程序代码进行测试，在一定程度上节省了对进行模块级别解耦的系统中的各模块对应的程序代码测试所需的软硬件设施的投入，在一定程度上节省了测试成本，以及系统开发升级的成本。

在本发明的另一实施例中，在所述S101之前，所述方法还可以包括：

生成待测试套件包的过程，如图2所示，该过程可以包括如下步骤：

S201：获得待测试数据。

其中，待测试数据包括多个版本的待测试数据，每一版本的待测试数据包含多个平台的代码。

S202：从多个版本的待测试数据中，确定出最新版本的待测试数据。

S203：从最新版本的待测试数据中，确定出指定平台对应的目标代码，作为待测试对象。

S204：按照预设的目录结构，将待测试对象以及待测试对象对应的测试逻辑相关信息打包，生成包含待测试对象以及待测试对象对应的测试逻辑相关信息的待测试对象对应的待测试套件包。

本实现方式中，电子设备可以实现对待测试套件包的打包流程。电子设备首先获得待测试数据，该待测试数据包括多个版本的待测试数据，每一版本的待测试数据可以包含多个平台的代码。可以理解的是，为了在一定程度上降低测试过程的时间消耗和资源占用情况，在对程序代码进行测试时，可以仅测试最新版本的程序代码。本实施例中，电子设备可以首先基于每一版本的待测试数据对应的版本号，从多个版本的待测试数据中，确定出最新版本的待测试数据。考虑到在测试时可能只用到指定平台的代码即可，最新版本的待测试数据中可能包含测试不需要用到的配置文件，鉴于此，电子设备可以从最新版本的待测试数据中，确定出指定平台对应的目标代码，作为待测试对象，以在一定程度上当前的待测试数据中的无用数据，仅对最新版本的待测试数据中的指定平台对应的目标代码，进行测试。

其中，电子设备可以利用CI(Continuous Integration)工具，按照预设的目录结构，将待测试对象以及待测试对象对应的测试逻辑相关信息打包，生成包含待测试对象以及待测试对象对应的测试逻辑相关信息的待测试对象对应的待测试套件包。按照预设的目录结构，便于电子设备通过测试执行器对待测试对象进行测试的过程中，对待测试对象以及待测试对象对应的测试逻辑相关信息的读取，避免出现测试过程混乱的现象。

本实施例中，可以在一定程度上清除代码仓库管理系统的冗余历史版本的待测试对象、以及测试时并不需要的配置文件，以缩小待测试套件包的存储占用空间，以便节省存储资源。并且待测试套件包占用空间的缩小可以降低测试整体耗时

在本发明的另一实施例中，在所述S204的步骤之后，所述方法还可以包括：

将待测试套件包存储于预设存储空间；

所述S101，可以包括：

在预设存储空间中读取待测试套件包。

本实现方式中，在生成待测试套件包之后，可以将待测试套件包存储于预设存储空间，以便在存在对待测试套件包存在测试需要时，电子设备可以在该预设存储空间中读取到待测试套件包。该预设存储空间可以是任一类型的可以存储数据的空间，本发明实施例并不对该预设存储空间的具体类型进行限定。

在一种实现方式中，上述预先存储的测试数据也可以存储于该预设存储空间，这也是可以的。

在另一种实现方式中，可以是在电子设备打包好待测试套件包之后，即可以基于待测试套件包包含的待测试对象对应的测试指标维度，从预先存储的测试数据中，确定待测试对象对应的测试指标维度对应的备用测试数据，进而，将待测试对象对应的测试指标维度对应的备用测试数据存储于该预设存储空间，在存在对待测试套件包存在测试需要时，电子设备可以在该预设存储空间中读取到待测试套件包，并从预设存储空间中读取到待测试套件包包含的待测试对象对应的测试指标维度对应的备用测试数据。

在本发明的另一实施例中，在一种实现方式中，每一预先存储的测试数据对应有数据标签；每一测试指标维度对应指定标签；所述S102，可以包括：

基于待测试对象对应的测试指标维度对应的指定标签，以及每一测试数据对应的数据标签，从测试数据中，筛选出所对应数据标签与测试指标维度对应的指定标签匹配的测试数据，确定为待测试对象对应的测试指标维度对应的备用测试数据。

本实现方式中，每一测试数据可以对应有一个或多个数据标签，待测试对象对应的测试逻辑相关信息中可以包括该待测试对象对应的测试指标维度对应的指定标签，基于该指定标签，可以从测试数据中，确定出该测试指标维度对应的备用测试数据，即从该测试指标维度测试待测试对象所需的备用测试数据，以实现对待测试对象进行测试所需的测试数据的自动选择。

其中，为了方便适配不同的应用场景，即方便适配针对不同的待测试对象确定出其测试所需的测试数据，数据标签可按照多个维度进行标记，其中，数据标签可以包含但不限于：包级别标签、段级别标签、帧级别标签以及框级别标签等多种维度的标签。其中，包级别标签可以指该标签对应一个数据包的数据；段级别标签可以指该标签对应一个数据包中的一段数据段；帧级别标签可以指该标签对应一个数据包中的一帧数据帧；框级别标签可以指该标签对应一个数据包中的一帧数据中包含的指定框对应的数据，其中，该指定框中可以存在目标。以待测试对象对应的测试指标维度对应的指定标签为包级别标签为例进行说明，若待测试对象对应的测试指标维度对应的指定标签为包级别标签，需要从预先存储的测试数据中，确定出所对应数据标签与该指定标签匹配的整个数据包中的测试数据。如图3所示，为不同维度的数据标签的一种示意图。

在本发明的另一实施例中，在所述S104之后，所述方法还可以包括：

显示测试结果中表征待测试对象存在问题的测试指标维度对应的测试结果以及测试过程的中间结果。

本实现方式中，电子设备在确定出待测试对象对应的测试结果之后，在确定测试结果中存在表征待测试对象存在问题的测试指标维度对应的测试结果的情况下，可以显示该测试结果中表征待测试对象存在问题的测试指标维度对应的测试结果，即将表征待测试对象存在问题的测试指标维度对应的测试结果可视化；并且电子设备还可以获得存在问题的测试指标维度对应的测试过程中各个测试步骤生成的结果以及上述中间结果，并进行显示，以使得测试人员可以及时确定待测试对象存在的问题，并基于显示的内容，分析出现问题的原因，以便更及时且精度的确定出待测试对象的问题所在。

本发明实施例中，不仅实现对待测试对象的自动化的测试，降低了某一系统进行模块级别解耦之后的各模块对应的算法程序，如无人驾驶系统各模块对应的算法程序，在升级迭代时，测试时人力和软硬件设施等的投入；并可反馈待测试对象在某种场景，即测试指标维度下所产生的问题。

相应于上述方法实施例，本发明实施例提供了一种对待测试对象的测试装置，如图4所示，可以包括：

第一获得模块410，被配置为获得待测试套件包，其中，所述待测试套件包为：待测试对象以及所述待测试对象对应的测试逻辑相关信息打包生成的套件包，所述测试逻辑相关信息包括：对所对应待测试对象进行测试的测试指标维度以及每一测试指标维度对应的测试逻辑及其测试参考数据；

第一确定模块420，被配置为基于所述待测试对象对应的测试指标维度，从预先存储的测试数据中，确定所述待测试对象对应的测试指标维度对应的备用测试数据；

第二获得模块430，被配置为通过测试执行器，利用每一测试指标维度对应的测试逻辑和备用测试数据，对所述待测试对象进行测试，获得每一测试指标维度对应的中间结果，其中，所述测试执行器包含所述待测试对象测试所需的测试环境；

第二确定模块440，被配置为基于每一测试指标维度对应的中间结果以及每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果。

应用本发明实施例，可以实现自动化地确定待测试对象测试所需的备用测试数据，并自动通过测试执行器，利用每一测试指标维度对应的测试逻辑和备用测试数据，对待测试对象进行测试，得到中间结果，进而，基于中间结果和每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果，实现对待测试对象的自动测试，降低人力耗费且提高效率。并且，该测试执行器中包含待测试对象测试所需的测试环境，可以保证不同的待测试对象在进行测试时，其所处环境均相同，保证对不同待测试对象进行测试时所处环境的一致性。

并且，本发明实施例可以对进行模块级别解耦的系统中的各模块对应的程序代码进行测试，在一定程度上节省了对进行模块级别解耦的系统中的各模块对应的程序代码测试所需的软硬件设施的投入，在一定程度上节省了测试成本，以及系统开发升级的成本。

在本发明的另一实施例中，所述待测试对象包括无人驾驶算法代码及其所需的神经网络模型。

在本发明的另一实施例中，所述装置还包括：

第三获得模块(图中未示出)，被配置为在所述获得待测试套件包之前，获得待测试数据，其中，所述待测试数据包括多个版本的待测试数据，每一版本的待测试数据包含多个平台的代码；

第三确定模块(图中未示出)，被配置为从多个版本的待测试数据中，确定出最新版本的待测试数据；

第四确定模块(图中未示出)，被配置为从所述最新版本的待测试数据中，确定出指定平台对应的目标代码，作为待测试对象；

打包生成模块(图中未示出)，被配置为按照预设的目录结构，将所述待测试对象以及所述待测试对象对应的测试逻辑相关信息打包，生成包含所述待测试对象以及所述待测试对象对应的测试逻辑相关信息的所述待测试对象对应的待测试套件包。

在本发明的另一实施例中，所述装置还包括：

存储模块(图中未示出)，被配置为在所述按照预设的目录结构，将所述待测试对象以及所述待测试对象对应的测试逻辑相关信息打包，生成包含所述待测试对象以及所述待测试对象对应的测试逻辑相关信息的所述待测试对象对应的待测试套件包之后，将所述待测试套件包存储于预设存储空间；

所述第一获得模块410，被具体配置为在所述预设存储空间中读取所述待测试套件包。

在本发明的另一实施例中，每一预先存储的测试数据对应有数据标签；每一测试指标维度对应指定标签；

所述第一确定模块420，被具体配置为基于所述待测试对象对应的测试指标维度对应的指定标签，以及每一测试数据对应的数据标签，从所述测试数据中，筛选出所对应数据标签与测试指标维度对应的指定标签匹配的测试数据，确定为所述待测试对象对应的测试指标维度对应的备用测试数据。

在本发明的另一实施例中，所述装置还包括：

显示模块(图中未示出)，被配置为在所述基于每一测试指标维度对应的中间结果以及每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果之后，显示所述测试结果中表征所述待测试对象存在问题的测试指标维度对应的测试结果以及测试过程的中间结果。

上述装置、系统实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (9)

1.一种对待测试对象的测试方法，其特征在于，包括：

获得待测试套件包，其中，所述待测试套件包为：待测试对象以及所述待测试对象对应的测试逻辑相关信息打包生成的套件包，所述测试逻辑相关信息包括：对所对应待测试对象进行测试的测试指标维度以及每一测试指标维度对应的测试逻辑及其测试参考数据；

基于所述待测试对象对应的测试指标维度，从预先存储的测试数据中，确定所述待测试对象对应的测试指标维度对应的备用测试数据；

通过测试执行器，利用每一测试指标维度对应的测试逻辑和备用测试数据，对所述待测试对象进行测试，获得每一测试指标维度对应的中间结果，其中，所述测试执行器包含所述待测试对象测试所需的测试环境；

基于每一测试指标维度对应的中间结果以及每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果；

每一预先存储的测试数据对应有数据标签；每一测试指标维度对应指定标签；

所述基于所述待测试对象对应的测试指标维度，从预先存储的测试数据中，确定所述待测试对象对应的测试指标维度对应的备用测试数据的步骤，包括：

基于所述待测试对象对应的测试指标维度对应的指定标签，以及每一测试数据对应的数据标签，从所述测试数据中，筛选出所对应数据标签与测试指标维度对应的指定标签匹配的测试数据，确定为所述待测试对象对应的测试指标维度对应的备用测试数据。

2.如权利要求1所述的方法，其特征在于，所述待测试对象包括无人驾驶算法代码及其所需的神经网络模型。

3.如权利要求1所述的方法，其特征在于，在所述获得待测试套件包的步骤之前，所述方法还包括：

获得待测试数据，其中，所述待测试数据包括多个版本的待测试数据，每一版本的待测试数据包含多个平台的代码；

从多个版本的待测试数据中，确定出最新版本的待测试数据；

并从所述最新版本的待测试数据中，确定出指定平台对应的目标代码，作为待测试对象；

按照预设的目录结构，将所述待测试对象以及所述待测试对象对应的测试逻辑相关信息打包，生成包含所述待测试对象以及所述待测试对象对应的测试逻辑相关信息的所述待测试对象对应的待测试套件包。

4.如权利要求3所述的方法，其特征在于，在所述按照预设的目录结构，将所述待测试对象以及所述待测试对象对应的测试逻辑相关信息打包，生成包含所述待测试对象以及所述待测试对象对应的测试逻辑相关信息的所述待测试对象对应的待测试套件包的步骤之后，所述方法还包括：

将所述待测试套件包存储于预设存储空间；

所述获得待测试套件包的步骤，包括：

在所述预设存储空间中读取所述待测试套件包。

5.如权利要求1-4任一项所述的方法，其特征在于，在所述基于每一测试指标维度对应的中间结果以及每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果的步骤之后，所述方法还包括：

显示所述测试结果中表征所述待测试对象存在问题的测试指标维度对应的测试结果以及测试过程的中间结果。

6.一种对待测试对象的测试装置，其特征在于，包括：

第一获得模块，被配置为获得待测试套件包，其中，所述待测试套件包为：待测试对象以及所述待测试对象对应的测试逻辑相关信息打包生成的套件包，所述测试逻辑相关信息包括：对所对应待测试对象进行测试的测试指标维度以及每一测试指标维度对应的测试逻辑及其测试参考数据；

第一确定模块，被配置为基于所述待测试对象对应的测试指标维度，从预先存储的测试数据中，确定所述待测试对象对应的测试指标维度对应的备用测试数据；

第二获得模块，被配置为通过测试执行器，利用每一测试指标维度对应的测试逻辑和备用测试数据，对所述待测试对象进行测试，获得每一测试指标维度对应的中间结果，其中，所述测试执行器包含所述待测试对象测试所需的测试环境；

第二确定模块，被配置为基于每一测试指标维度对应的中间结果以及每一测试指标维度对应的测试参考数据，确定所述待测试对象的测试结果；

每一预先存储的测试数据对应有数据标签；每一测试指标维度对应指定标签；

所述第一确定模块，被具体配置为基于所述待测试对象对应的测试指标维度对应的指定标签，以及每一测试数据对应的数据标签，从所述测试数据中，筛选出所对应数据标签与测试指标维度对应的指定标签匹配的测试数据，确定为所述待测试对象对应的测试指标维度对应的备用测试数据。

7.如权利要求6所述的装置，其特征在于，所述待测试对象包括无人驾驶算法代码及其所需的神经网络模型。

8.如权利要求6所述的装置，其特征在于，所述装置还包括：

第三获得模块，被配置为在所述获得待测试套件包之前，获得待测试数据，其中，所述待测试数据包括多个版本的待测试数据，每一版本的待测试数据包含多个平台的代码；

第三确定模块，被配置为从多个版本的待测试数据中，确定出最新版本的待测试数据；

第四确定模块，被配置为从所述最新版本的待测试数据中，确定出指定平台对应的目标代码，作为待测试对象；

打包生成模块，被配置为按照预设的目录结构，将所述待测试对象以及所述待测试对象对应的测试逻辑相关信息打包，生成包含所述待测试对象以及所述待测试对象对应的测试逻辑相关信息的所述待测试对象对应的待测试套件包。

9.如权利要求8所述的装置，其特征在于，所述装置还包括：

存储模块，被配置为在所述按照预设的目录结构，将所述待测试对象以及所述待测试对象对应的测试逻辑相关信息打包，生成包含所述待测试对象以及所述待测试对象对应的测试逻辑相关信息的所述待测试对象对应的待测试套件包之后，将所述待测试套件包存储于预设存储空间；

所述第一获得模块，被具体配置为在所述预设存储空间中读取所述待测试套件包。

Images