CN117194243A - 一种测试效率评估方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种测试效率评估方法、装置、电子设备及存储介质，可应用于人工智能领域或金融领域。采集待评估人工智能系统在测试过程中的关键指标数据，关键指标数据至少包括：测试用例的执行时间、错误检测率、代码覆盖率；从关键指标数据中提取目标特征；将目标特征输入测试效率评估模型进行评估以得到待评估人工智能系统的测试效率，测试效率评估模型由训练机器学习模型得到。本方案中，预先训练机器学习模型以得到测试效率评估模型。从待评估人工智能系统在测试过程中的关键指标数据中提取目标特征，并将目标特征输入测试效率评估模型评估得到测试效率，通过评估得到的测试效率辅助调整测试策略和资源分配，从而提高测试效率和测试可靠性。

Description

一种测试效率评估方法、装置、电子设备及存储介质

技术领域

本发明涉及人工智能技术领域，具体涉及一种测试效率评估方法、装置、电子设备及存储介质。

背景技术

人工智能系统目前广泛应用于测试场景，人工智能系统在测试过程中，为及时调整测试策略和资源分配，需要对人工智能系统的测试效率进行监测，因此目前亟需一种能够评估人工智能系统的测试效率的方法。

发明内容

有鉴于此，本发明实施例提供一种测试效率评估方法、装置、电子设备及存储介质，以评估人工智能系统的测试效率。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开一种测试效率评估方法，所述方法包括：

采集待评估人工智能系统在测试过程中的关键指标数据，所述关键指标数据至少包括：测试用例的执行时间、错误检测率、代码覆盖率；

从所述关键指标数据中提取目标特征；

将所述目标特征输入预设的测试效率评估模型进行处理，以评估得到所述待评估人工智能系统的测试效率，所述测试效率评估模型基于样本数据训练机器学习模型得到。

优选的，所述从所述关键指标数据中提取目标特征，包括：

通过特征工程，从所述关键指标数据中提取目标特征，所述特征工程至少包括特征选择处理、特征降维处理、特征组合处理。

优选的，基于样本数据训练机器学习模型得到测试效率评估模型的过程，包括：

对样本数据进行预处理；

通过特征工程，从预处理后的所述样本数据中提取样本目标特征以得到特征集；

将所述特征集划分为训练集和测试集；

基于所述训练集和所述测试集，训练机器学习模型以得到测试效率评估模型，所述机器学习模型基于决策树算法、支持向量机算法、随机森林算法或神经网络算法构建得到。

优选的，将所述目标特征输入预设的测试效率评估模型进行处理，以评估得到所述待评估人工智能系统的测试效率之后，所述方法还包括：

输出展示所述待评估人工智能系统的测试效率。

优选的，所述从所述关键指标数据中提取目标特征之前，还包括：

对所述关键指标数据进行预处理。

本发明实施例第二方面公开一种测试效率评估装置，所述装置包括：

采集单元，用于采集待评估人工智能系统在测试过程中的关键指标数据，所述关键指标数据至少包括：测试用例的执行时间、错误检测率、代码覆盖率；

提取单元，用于从所述关键指标数据中提取目标特征；

评估单元，用于将所述目标特征输入预设的测试效率评估模型进行处理，以评估得到所述待评估人工智能系统的测试效率，所述测试效率评估模型基于样本数据训练机器学习模型得到。

优选的，所述提取单元具体用于：通过特征工程，从所述关键指标数据中提取目标特征，所述特征工程至少包括特征选择处理、特征降维处理、特征组合处理。

优选的，所述评估单元包括：

预处理模块，用于对样本数据进行预处理；

提取模块，用于通过特征工程，从预处理后的所述样本数据中提取样本目标特征以得到特征集；

划分模块，用于将所述特征集划分为训练集和测试集；

训练模块，用于基于所述训练集和所述测试集，训练机器学习模型以得到测试效率评估模型，所述机器学习模型基于决策树算法、支持向量机算法、随机森林算法或神经网络算法构建得到。

本发明实施例第三方面公开一种电子设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现本发明实施例第一方面公开的测试效率评估方法。

本发明实施例第四方面公开一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行本发明实施例第一方面公开的测试效率评估方法。

基于上述本发明实施例提供的一种测试效率评估方法、装置、电子设备及存储介质，采集待评估人工智能系统在测试过程中的关键指标数据，关键指标数据至少包括：测试用例的执行时间、错误检测率、代码覆盖率；从关键指标数据中提取目标特征；将目标特征输入测试效率评估模型进行处理，以评估得到待评估人工智能系统的测试效率，测试效率评估模型基于样本数据训练机器学习模型得到。本方案中，预先训练机器学习模型以得到测试效率评估模型。从待评估人工智能系统在测试过程中的关键指标数据中提取目标特征，并将目标特征输入测试效率评估模型评估得到测试效率，通过评估得到的测试效率辅助调整测试策略和资源分配，从而提高测试效率和测试可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种测试效率评估方法的流程图；

图2为本发明实施例提供的训练得到测试效率评估模型的流程图；

图3为本发明实施例提供的一种测试效率评估装置的结构框图；

图4为本发明实施例提供的一种测试效率评估装置的另一结构框图；

图5为本发明实施例提供的一种测试效率评估装置的又一结构框图；

图6为本发明实施例提供的一种测试效率评估装置的又一结构框图；

图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

需要说明的是，本发明提供的一种测试效率评估方法、装置、电子设备及存储介质可用于人工智能领域或金融领域。上述仅为示例，并不对本发明提供的一种测试效率评估方法、装置、电子设备及存储介质的应用领域进行限定。

由背景技术可知，人工智能系统在测试过程中，为及时调整测试策略和资源分配，需要对人工智能系统的测试效率进行监测，目前亟需一种能够评估人工智能系统的测试效率的方法。

因此本发明实施例提供一种测试效率评估方法、装置、电子设备及存储介质，预先训练机器学习模型以得到测试效率评估模型。对待评估人工智能系统在测试过程中的关键指标数据进行监控和分析，以从关键指标数据中提取目标特征，并将目标特征输入测试效率评估模型评估得到测试效率，通过评估得到的测试效率辅助调整测试策略和资源分配，从而提高测试效率和测试可靠性。

参见图1，示出了本发明实施例提供的一种测试效率评估方法的流程图，该测试效率评估方法包括：

步骤S101：采集待评估人工智能系统在测试过程中的关键指标数据。

在具体实现步骤S101的过程中，采集待评估人工智能系统在测试过程中的关键指标数据，所采集的关键指标数据至少包括：测试用例的执行时间、错误检测率、代码覆盖率等。

一些具体实施例中，在采集得到待评估人工智能系统在测试过程中的关键指标数据之后，可以对该关键指标数据进行预处理；例如：对该关键指标数据进行数据清洗、特征选择、数据转换等预处理。在对该关键指标数据进行预处理之后，将预处理后的关键指标数据应用于后续相关步骤。

步骤S102：从关键指标数据中提取目标特征。

在具体实现步骤S102的过程中，解析关键指标数据以提取出更具代表性和区分性的目标特征，从而减少关键指标数据的维度并保留有效信息。

具体来说，通过特征工程，从关键指标数据中提取目标特征，特征工程至少包括特征选择处理、特征降维处理、特征组合处理。

也就是说，可以采用特征选择处理、特征降维处理、特征组合处理等特征工程来解析关键指标数据，从而提取得到目标特征。

步骤S103：将目标特征输入预设的测试效率评估模型进行处理，以评估得到待评估人工智能系统的测试效率。

需要说明的是，测试效率评估模型基于样本数据训练机器学习模型得到。

在具体实现步骤S103的过程中，从待评估人工智能系统在测试过程中的关键指标数据中提取得到目标特征之后，将所提取的目标特征输入测试效率评估模型进行处理，使测试效率评估模型输出待评估人工智能系统的测试效率。

一些实施例中，输出展示待评估人工智能系统的测试效率，辅助测试人员及时调整测试策略和资源分配，

在本发明实施例中，预先训练机器学习模型以得到测试效率评估模型。从待评估人工智能系统在测试过程中的关键指标数据中提取目标特征，并将目标特征输入测试效率评估模型评估得到测试效率，通过评估得到的测试效率辅助调整测试策略和资源分配，从而提高测试效率和测试可靠性。

对于上述本发明实施例图1步骤S103中涉及的训练机器学习模型得到测试效率评估模型，参见图2，示出了本发明实施例提供的训练得到测试效率评估模型的流程图，图2包括以下步骤：

步骤S201：对样本数据进行预处理。

在具体实现步骤S201的过程中，收集各人工智能系统(如人工智能图像分类系统)在测试过程中的指标数据；解析所收集的指标数据以确定指标之间的关联性和趋势；通过统计学方法和数据可视化技术，确定对测试效率具有重要影响的关键指标(例如测试用例的执行时间)，从而获取得到各人工智能系统在测试过程中的关键指标数据以将其作为样本数据。

对样本数据进行数据清洗、特征选择、数据转换等预处理。

步骤S202：通过特征工程，从预处理后的样本数据中提取样本目标特征以得到特征集。

在具体实现步骤S202的过程中，通过特征工程，从预处理后的样本数据中提取样本目标特征，从而得到特征集。

步骤S203：将特征集划分为训练集和测试集。

在具体实现步骤S203的过程中，从样本数据中得到特征集之后，将该特征集划分为训练集和测试集。

步骤S204：基于训练集和测试集，训练机器学习模型以得到测试效率评估模型。

需要说明的是，根据实际需求和任务构建机器学习模型，具体来说，利用机器学习算法建立机器学习模型，机器学习算法包括但不仅限于决策树算法、支持向量机算法、随机森林算法、神经网络算法等。

也就是说，机器学习模型基于决策树算法、支持向量机算法、随机森林算法或神经网络算法构建得到。

在具体实现步骤S204的过程中，基于训练集和测试集进行机器学习模型的训练和参数调优，并使用交叉验证方法来评估模型的性能，从而训练得到测试效率评估模型。

在实际使用交叉验证方法来评估模型的性能的过程中，将特征集分成若干个子集，每次使用若干个子集中的一部分作为测试集，其它部分作为训练集；多次重复前述过程，最终得到平均值作为模型的性能指标。

在训练机器学习模型的过程中，根据具体任务和应用场景，选择诸如准确率、召回率、F1值等作为测试指标，其中F1值为用来衡量模型精确度的指标。并且可以比对不同的机器学习算法来选择最优的机器学习算法所构建的机器学习模型；选择最优的机器学习算法后，进一步对该最优的机器学习算法所构建的机器学习模型进行调参以得到更好的性能。

训练得到测试效率评估模型，可以利用该测试效率评估模型对人工智能系统的测试效率进行评估。

通过以上各个实施例的内容可见，本方案具有以下优点：

高效性：通过对测试过程中的关键指标数据进行监测和分析，能够实时评估测试效率，帮助测试团队及时调整测试策略和资源分配，从而提高测试效率。

精确性：通过机器学习算法建立模型，能够更准确评估测试效率。模型利用大量的样本数据进行训练，学习数据之间的关联性和趋势，从而提高评估的精确性。

可扩展性：本方案所构建的模型可以适用于各种类型的人工智能系统和测试场景。通过合理选择和处理关键指标，可以针对不同的系统和测试目标进行定制化，具有较强的适应性和可扩展性。

实时性：本方案所构建的模型可以在测试过程中实时监测和评估测试效率，提供及时反馈和指导。测试团队可以根据评估结果进行动态调整，提高测试效率和整体项目的进展速度。

可靠性：本方案的模型是建立在机器学习算法的基础上，具有较高的可靠性和稳定性。通过合理的预处理和模型评估，可以减少模型的误差和不确定性，提高评估结果的可靠性。

与上述本发明实施例提供的一种测试效率评估方法相对应，参见图3，本发明实施例还提供了一种测试效率评估装置的结构框图，该测试效率评估装置包括：采集单元301、提取单元302、评估单元303；

采集单元301，用于采集待评估人工智能系统在测试过程中的关键指标数据，关键指标数据至少包括：测试用例的执行时间、错误检测率、代码覆盖率。

提取单元302，用于从关键指标数据中提取目标特征。

在具体实现中，提取单元302具体用于：通过特征工程，从关键指标数据中提取目标特征，特征工程至少包括特征选择处理、特征降维处理、特征组合处理。

评估单元303，用于将目标特征输入预设的测试效率评估模型进行处理，以评估得到待评估人工智能系统的测试效率，测试效率评估模型基于样本数据训练机器学习模型得到。

在本发明实施例中，预先训练机器学习模型以得到测试效率评估模型。从待评估人工智能系统在测试过程中的关键指标数据中提取目标特征，并将目标特征输入测试效率评估模型评估得到测试效率，通过评估得到的测试效率辅助调整测试策略和资源分配，从而提高测试效率和测试可靠性。

优选的，结合图3，参见图4，示出了本发明实施例提供的一种测试效率评估装置的另一结构框图，评估单元303包括：预处理模块3031、提取模块3032、划分模块3033、训练模块3034；

预处理模块3031，用于对样本数据进行预处理。

提取模块3032，用于通过特征工程，从预处理后的样本数据中提取样本目标特征以得到特征集。

划分模块3033，用于将特征集划分为训练集和测试集。

训练模块3034，用于基于训练集和测试集，训练机器学习模型以得到测试效率评估模型，机器学习模型基于决策树算法、支持向量机算法、随机森林算法或神经网络算法构建得到。

优选的，结合图3，参见图5，示出了本发明实施例提供的一种测试效率评估装置的又一结构框图，该测试效率评估装置还包括：

输出单元304，用于输出展示待评估人工智能系统的测试效率。

优选的，结合图3，参见图6，示出了本发明实施例提供的一种测试效率评估装置的又一结构框图，该测试效率评估装置还包括：

预处理单元305，用于对关键指标数据进行预处理。

本发明实施例还提供一种电子设备，该电子设备包括：处理器以及存储器，处理器以及存储器通过通信总线相连；其中，处理器，用于调用并执行存储器中存储的程序；存储器，用于存储程序，该程序用于实现测试效率评估方法。

下面参考图7，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备操作所需的各种程序和数据。处理装置701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。

更进一步的，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机可执行指令，计算机可执行指令用于执行测试效率评估方法。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：采集待评估人工智能系统在测试过程中的关键指标数据，关键指标数据至少包括：测试用例的执行时间、错误检测率、代码覆盖率；从关键指标数据中提取目标特征；将目标特征输入测试效率评估模型进行处理，以评估得到待评估人工智能系统的测试效率，测试效率评估模型基于样本数据训练机器学习模型得到。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种测试效率评估方法，其特征在于，所述方法包括：

采集待评估人工智能系统在测试过程中的关键指标数据，所述关键指标数据至少包括：测试用例的执行时间、错误检测率、代码覆盖率；

从所述关键指标数据中提取目标特征；

将所述目标特征输入预设的测试效率评估模型进行处理，以评估得到所述待评估人工智能系统的测试效率，所述测试效率评估模型基于样本数据训练机器学习模型得到。

2.根据权利要求1所述的方法，其特征在于，所述从所述关键指标数据中提取目标特征，包括：

通过特征工程，从所述关键指标数据中提取目标特征，所述特征工程至少包括特征选择处理、特征降维处理、特征组合处理。

3.根据权利要求1或2所述的方法，其特征在于，基于样本数据训练机器学习模型得到测试效率评估模型的过程，包括：

对样本数据进行预处理；

通过特征工程，从预处理后的所述样本数据中提取样本目标特征以得到特征集；

将所述特征集划分为训练集和测试集；

基于所述训练集和所述测试集，训练机器学习模型以得到测试效率评估模型，所述机器学习模型基于决策树算法、支持向量机算法、随机森林算法或神经网络算法构建得到。

4.根据权利要求1所述的方法，其特征在于，将所述目标特征输入预设的测试效率评估模型进行处理，以评估得到所述待评估人工智能系统的测试效率之后，所述方法还包括：

输出展示所述待评估人工智能系统的测试效率。

5.根据权利要求1所述的方法，其特征在于，所述从所述关键指标数据中提取目标特征之前，还包括：

对所述关键指标数据进行预处理。

6.一种测试效率评估装置，其特征在于，所述装置包括：

采集单元，用于采集待评估人工智能系统在测试过程中的关键指标数据，所述关键指标数据至少包括：测试用例的执行时间、错误检测率、代码覆盖率；

提取单元，用于从所述关键指标数据中提取目标特征；

评估单元，用于将所述目标特征输入预设的测试效率评估模型进行处理，以评估得到所述待评估人工智能系统的测试效率，所述测试效率评估模型基于样本数据训练机器学习模型得到。

7.根据权利要求6所述的装置，其特征在于，所述提取单元具体用于：通过特征工程，从所述关键指标数据中提取目标特征，所述特征工程至少包括特征选择处理、特征降维处理、特征组合处理。

8.根据权利要求6或7所述的装置，其特征在于，所述评估单元包括：

预处理模块，用于对样本数据进行预处理；

提取模块，用于通过特征工程，从预处理后的所述样本数据中提取样本目标特征以得到特征集；

划分模块，用于将所述特征集划分为训练集和测试集；

训练模块，用于基于所述训练集和所述测试集，训练机器学习模型以得到测试效率评估模型，所述机器学习模型基于决策树算法、支持向量机算法、随机森林算法或神经网络算法构建得到。

9.一种电子设备，其特征在于，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如权利要求1-5中任一所述的测试效率评估方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-5中任一所述的测试效率评估方法。