CN117076335B - 一种模型测试方法、系统、介质及电子设备 - Google Patents
一种模型测试方法、系统、介质及电子设备 Download PDFInfo
- Publication number
- CN117076335B CN117076335B CN202311343167.3A CN202311343167A CN117076335B CN 117076335 B CN117076335 B CN 117076335B CN 202311343167 A CN202311343167 A CN 202311343167A CN 117076335 B CN117076335 B CN 117076335B
- Authority
- CN
- China
- Prior art keywords
- model
- test
- data
- tested
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010998 test method Methods 0.000 title abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 313
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000013507 mapping Methods 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000013506 data mapping Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 12
- 238000013515 script Methods 0.000 claims description 11
- 238000013139 quantization Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005477 standard model Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种模型测试方法、系统、介质及电子设备，方法包括：获取待测试模型的模型名称以及数据信息；根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集；根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件；根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果，并反馈至客户端进行展示。由于本申请通过预先建立的数据管理器和服务管理器分别对不同模型的测试数据集和测试服务组件进行统一管理，因此实际应用中在确定模型的模型名称以及数据信息的情况下，可自动化执行模型测试流程，从而简化了模型测试复杂度，提高了模型测试的复用性和灵活性，提升了模型测试效率。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种模型测试方法、系统、介质及电子设备。
背景技术
模型是人工智能应用算法的核心模块，人工智能的核心算法以及算法参数都被封装在模型中，模型的能力主要体现在对应硬件的运行性能上以及针对任务的准确性上。
随着人工智能的发展以及深度学习框架的不断增加，使得模型种类越来越多，同一个模型在不同深度学习框架中也有不同的实现。而且随着智能硬件的增多，同一种模型在不用的硬件上也有响应的实现方式。因此，模型测试对于硬件的使用来说是一个至关重要的评价手段，通过模型测试能清楚了解某一模型在指定的硬件上的执行能力。
相关技术中，在实际的模型测试中，对于每一种模型都需要编写一套模型测试的可执行脚本，同时需要提供相应的测试数据，这对于不同的硬件来说，在模型测试就需要开发不同硬件的代码编写规范和对应的模型接口函数，降低了模型测试的复用性和灵活性；同时这对于模型测试者来说是一个很大的负担，从而降低了模型测试效率。
发明内容
本申请实施例提供了一种模型测试方法、系统、介质及电子设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种模型测试方法，方法包括：
获取待测试模型的模型名称以及数据信息；
根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集；
根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件；
根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果，并反馈至客户端进行展示。
可选的，获取待测试模型的模型名称以及数据信息之前，还包括：
获取每个模型的模型名称以及服务信息；
根据每个模型的服务信息，加载每个模型的可执行测试脚本文件；
将可执行测试脚本文件进行服务注册部署，得到每个模型的测试服务组件；
存储每个模型的模型名称与每个模型的测试服务组件的服务组件名称之间的服务映射关系，得到预先建立的服务管理器。
可选的，根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件，包括：
在服务映射关系中，获取待测试模型对应的目标服务映射关系；
在目标服务映射关系中，查询待测试模型的模型名称对应的目标服务组件名称；
将目标服务组件名称对应的测试服务组件作为待测试模型对应的目标测试服务组件。
可选的，获取待测试模型的模型名称以及数据信息之前，还包括：
获取每个模型的数据信息，数据信息包括数据名称和数据地址；
存储数据名称和数据地址之间的数据映射关系；
根据数据映射关系，构建每个模型的数据操作接口，得到预先建立的数据管理器；其中，
数据操作接口包括注册数据接口、查询数据接口以及编辑数据接口。
可选的，待测试模型的数据信息包括目标数据名称；
根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集，包括：
在数据映射关系中，确定目标数据名称对应的目标数据地址；
根据目标数据地址和查询数据接口，下载待测试模型所需的测试数据集。
可选的，目标测试服务组件包括设备硬件测试层、模型预测正确率测试层以及模型冗余参数测试层；
根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果，包括：
通过设备硬件测试层在测试数据集中筛选出设备硬件参数；根据设备硬件参数以及待测试模型的模型参数，计算待测试模型部署于预设硬件设备上的模型运行性能分值；
通过模型预测正确率测试层在测试数据集中筛选出模型测试样本；将模型测试样本输入待测试模型中，输出模型测试样本对应的测试标签；基于测试标签与模型测试样本的真实标签，计算预测正确率；根据预测正确率，确定模型预测分值；
通过模型冗余参数测试层在测试数据集中筛选出模型参数，根据模型参数进行冗余参数分析，以确定出模型参数中存在的冗余参数；计算冗余参数的数量与模型参数的总数量之间的比值，得到模型冗余分值；
将模型运行性能分值、模型预测分值以及模型冗余分值集成到预设结果模版中，得到待测试模型的测试结果。
可选的，设备硬件参数包括中央处理器参数、主板参数、硬盘参数以及内存参数；模型参数包括神经网络权重、支持向量机中的支持向量以及线性回归或逻辑回归中的回归系数；
根据设备硬件参数以及待测试模型的模型参数，计算待测试模型部署于预设硬件设备上的模型运行性能分值，包括：
将中央处理器参数、主板参数、硬盘参数以及内存参数传入预先构建的硬件神经网络层模块构造器中进行量化表示，得到量化结果；
将量化结果分别作为神经网络权重、支持向量以及回归系数的仿真因子进行关联，得到多组仿真数据；
基于多组仿真数据，模拟待测试模型部署于预设硬件设备上的运行过程，并将运行过程中输出的值进行加权求和，得到模型运行性能分值。
第二方面，本申请实施例提供了一种模型测试系统，系统包括：
数据获取模块，用于获取待测试模型的模型名称以及数据信息；
测试数据集确定模块，用于根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集；
测试服务组件确定模块，用于根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件；
测试结果反馈模块，用于根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果，并反馈至客户端进行展示。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，模型测试系统首先获取待测试模型的模型名称以及数据信息；然后根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集；其次根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件；最后根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果，并反馈至客户端进行展示。由于本申请通过预先建立的数据管理器和服务管理器分别对不同模型的测试数据集和测试服务组件进行统一管理，因此实际应用中在确定模型的模型名称以及数据信息的情况下，可自动化执行模型测试流程，从而简化了模型测试复杂度，提高了模型测试的复用性和灵活性，提升了模型测试效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请实施例提供的一种模型测试方法的流程示意图；
图2是本申请实施例提供的一种模型测试系统的结构示意图；
图3是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述和附图充分地示出本申请的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的系统和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供了一种模型测试方法、系统、介质及电子设备，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请通过预先建立的数据管理器和服务管理器分别对不同模型的测试数据集和测试服务组件进行统一管理，因此实际应用中在确定模型的模型名称以及数据信息的情况下，可自动化执行模型测试流程，从而简化了模型测试复杂度，提高了模型测试的复用性和灵活性，提升了模型测试效率，下面采用示例性的实施例进行详细说明。
下面将结合附图1，对本申请实施例提供的模型测试方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的模型测试系统上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种模型测试方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，获取待测试模型的模型名称以及数据信息；
其中，待测试模型是需要进行性能测试的神经网络模型，模型名称包括标准模型名称以及自定义模型名称；标准模型名称例如前馈神经网络模型、卷积神经网络模型、递归神经网络模型、循环神经网络模型或者自定义的模型名称，自定义模型名称例如预先训练的图像识别模型。数据信息是用于表征模型测试时所需要的测试数据集的多个参数，数据信息例如包括数据名称、数据版本、数据描述、外网地址、存储位置、文件数以及数据大小。
具体的，在获取待测试模型的模型名称以及数据信息之前，需要生成预先建立的数据管理器和预先建立的服务管理器。
在本申请实施例中，在生成预先建立的服务管理器时，首先获取每个模型的模型名称以及服务信息；再根据每个模型的服务信息，加载每个模型的可执行测试脚本文件；然后将可执行测试脚本文件进行服务注册部署，得到每个模型的测试服务组件；最后存储每个模型的模型名称与每个模型的测试服务组件的服务组件名称之间的服务映射关系，得到预先建立的服务管理器。
在本申请实施例中，在生成预先建立的数据管理器时，首先获取每个模型的数据信息，数据信息包括数据名称和数据地址；然后存储数据名称和数据地址之间的数据映射关系；最后根据数据映射关系，构建每个模型的数据操作接口，得到预先建立的数据管理器；其中，数据操作接口包括注册数据接口、查询数据接口以及编辑数据接口。
在一种可能的实现方式中，在接收到模型测试指令时，可提取模型测试指令包含的模型名称以及数据信息，得到待测试模型的模型名称以及数据信息。
S102，根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集；
其中，待测试模型的数据信息包括目标数据名称。
在本申请实施例中，在根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集时，首先在数据映射关系中，确定目标数据名称对应的目标数据地址；然后根据目标数据地址和查询数据接口，下载待测试模型所需的测试数据集。
S103，根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件；
在本申请实施例中，在根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件时，首先在服务映射关系中，获取待测试模型对应的目标服务映射关系；然后在目标服务映射关系中，查询待测试模型的模型名称对应的目标服务组件名称；最后将目标服务组件名称对应的测试服务组件作为待测试模型对应的目标测试服务组件。
进一步地，在得到目标测试服务组件后，可将目标测试服务组件放入测试队列中等待执行。
S104，根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果，并反馈至客户端进行展示。
其中，目标测试服务组件包括设备硬件测试层、模型预测正确率测试层以及模型冗余参数测试层。
在本申请实施例中，在根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果时，通过设备硬件测试层在测试数据集中筛选出设备硬件参数；根据设备硬件参数以及待测试模型的模型参数，计算待测试模型部署于预设硬件设备上的模型运行性能分值；通过模型预测正确率测试层在测试数据集中筛选出模型测试样本；将模型测试样本输入待测试模型中，输出模型测试样本对应的测试标签；基于测试标签与模型测试样本的真实标签，计算预测正确率；根据预测正确率，确定模型预测分值；通过模型冗余参数测试层在测试数据集中筛选出模型参数，根据模型参数进行冗余参数分析，以确定出模型参数中存在的冗余参数；计算冗余参数的数量与模型参数的总数量之间的比值，得到模型冗余分值；将模型运行性能分值、模型预测分值以及模型冗余分值集成到预设结果模版中，得到待测试模型的测试结果。
具体的，设备硬件参数包括中央处理器参数、主板参数、硬盘参数以及内存参数；模型参数包括神经网络权重、支持向量机中的支持向量以及线性回归或逻辑回归中的回归系数。
在本申请实施例中，在根据设备硬件参数以及待测试模型的模型参数，计算待测试模型部署于预设硬件设备上的模型运行性能分值时，首先将中央处理器参数、主板参数、硬盘参数以及内存参数传入预先构建的硬件神经网络层模块构造器中进行量化表示，得到量化结果；然后将量化结果分别作为神经网络权重、支持向量以及回归系数的仿真因子进行关联，得到多组仿真数据；最后基于多组仿真数据，模拟待测试模型部署于预设硬件设备上的运行过程，并将运行过程中输出的值进行加权求和，得到模型运行性能分值。
需要说明的是，预先构建的硬件神经网络层模块构造器可以优先采用Chisel硬件描述语言进行编写，也可以采用其它编程语言进行编写，此处不做限定。
进一步地，如果当前执行的模型测试数据集未保存在数据管理器中，可以将该数据集注册进去，使得下次使用可以不再下载；由于本申请的模型测试提出了一种基于服务的测试方式，因此也支持直接通过数据地址进行下载测试数据集或者使用数据管理器中已经管理的一些测试数据集。这样可以方便其他需要使用相同数据进行模型评测的用户。
因此，本申请测试用户只需要提供测试的模型名称和数据信息就可以进行模型测试，同时基于服务的模型测试方式可以方便的对不同类型的硬件下的模型进行测试。将用户测试和硬件之间进行隔离，增强了模型测试的通用型和灵活性。本申请也不同于传统的服务应用方式，对于模型测试使用的数据集可以进行复用，不需要每次都让评测用户进行提供。
在本申请实施例中，模型测试系统首先获取待测试模型的模型名称以及数据信息；然后根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集；其次根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件；最后根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果，并反馈至客户端进行展示。由于本申请通过预先建立的数据管理器和服务管理器分别对不同模型的测试数据集和测试服务组件进行统一管理，因此实际应用中在确定模型的模型名称以及数据信息的情况下，可自动化执行模型测试流程，从而简化了模型测试复杂度，提高了模型测试的复用性和灵活性，提升了模型测试效率。
下述为本申请系统实施例，可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节，请参照本申请方法实施例。
请参见图2，其示出了本申请一个示例性实施例提供的模型测试系统的结构示意图。该模型测试系统可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分。该系统1包括数据获取模块10、测试数据集确定模块20、测试服务组件确定模块30、测试结果反馈模块40。
数据获取模块10，用于获取待测试模型的模型名称以及数据信息；
测试数据集确定模块20，用于根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集；
测试服务组件确定模块30，用于根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件；
测试结果反馈模块40，用于根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果，并反馈至客户端进行展示。
需要说明的是，上述实施例提供的模型测试系统在执行模型测试方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的模型测试系统与模型测试方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，模型测试系统首先获取待测试模型的模型名称以及数据信息；然后根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集；其次根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件；最后根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果，并反馈至客户端进行展示。由于本申请通过预先建立的数据管理器和服务管理器分别对不同模型的测试数据集和测试服务组件进行统一管理，因此实际应用中在确定模型的模型名称以及数据信息的情况下，可自动化执行模型测试流程，从而简化了模型测试复杂度，提高了模型测试的复用性和灵活性，提升了模型测试效率。
本申请还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的模型测试方法。
本申请还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的模型测试方法。
请参见图3，为本申请实施例提供了一种电子设备的结构示意图。如图3所示，电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏（Display）、摄像头（Camera），可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器1001可集成中央处理器（Central Processing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器1005包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储系统。如图3所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及模型测试应用程序。
在图3所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的模型测试应用程序，并具体执行以下操作：
获取待测试模型的模型名称以及数据信息；
根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集；
根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件；
根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果，并反馈至客户端进行展示。
在一个实施例中，处理器1001在执行获取待测试模型的模型名称以及数据信息之前时，还执行以下操作：
获取每个模型的模型名称以及服务信息；
根据每个模型的服务信息，加载每个模型的可执行测试脚本文件；
将可执行测试脚本文件进行服务注册部署，得到每个模型的测试服务组件；
存储每个模型的模型名称与每个模型的测试服务组件的服务组件名称之间的服务映射关系，得到预先建立的服务管理器。
在一个实施例中，处理器1001在执行根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件时，具体执行以下操作：
在服务映射关系中，获取待测试模型对应的目标服务映射关系；
在目标服务映射关系中，查询待测试模型的模型名称对应的目标服务组件名称；
将目标服务组件名称对应的测试服务组件作为待测试模型对应的目标测试服务组件。
在一个实施例中，处理器1001在执行获取待测试模型的模型名称以及数据信息之前时，还执行以下操作：
获取每个模型的数据信息，数据信息包括数据名称和数据地址；
存储数据名称和数据地址之间的数据映射关系；
根据数据映射关系，构建每个模型的数据操作接口，得到预先建立的数据管理器；其中，
数据操作接口包括注册数据接口、查询数据接口以及编辑数据接口。
在一个实施例中，处理器1001在执行根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集时，具体执行以下操作：
在数据映射关系中，确定目标数据名称对应的目标数据地址；
根据目标数据地址和查询数据接口，下载待测试模型所需的测试数据集。
在一个实施例中，处理器1001在执行根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果时，具体执行以下操作：
通过设备硬件测试层在测试数据集中筛选出设备硬件参数；根据设备硬件参数以及待测试模型的模型参数，计算待测试模型部署于预设硬件设备上的模型运行性能分值；
通过模型预测正确率测试层在测试数据集中筛选出模型测试样本；将模型测试样本输入待测试模型中，输出模型测试样本对应的测试标签；基于测试标签与模型测试样本的真实标签，计算预测正确率；根据预测正确率，确定模型预测分值；
通过模型冗余参数测试层在测试数据集中筛选出模型参数，根据模型参数进行冗余参数分析，以确定出模型参数中存在的冗余参数；计算冗余参数的数量与模型参数的总数量之间的比值，得到模型冗余分值；
将模型运行性能分值、模型预测分值以及模型冗余分值集成到预设结果模版中，得到待测试模型的测试结果。
在一个实施例中，处理器1001在执行根据设备硬件参数以及待测试模型的模型参数，计算待测试模型部署于预设硬件设备上的模型运行性能分值时，具体执行以下操作：
将中央处理器参数、主板参数、硬盘参数以及内存参数传入预先构建的硬件神经网络层模块构造器中进行量化表示，得到量化结果；
将量化结果分别作为神经网络权重、支持向量以及回归系数的仿真因子进行关联，得到多组仿真数据；
基于多组仿真数据，模拟待测试模型部署于预设硬件设备上的运行过程，并将运行过程中输出的值进行加权求和，得到模型运行性能分值。
在本申请实施例中，模型测试系统首先获取待测试模型的模型名称以及数据信息；然后根据数据信息和预先建立的数据管理器，确定待测试模型所需的测试数据集；其次根据模型名称和预先建立的服务管理器，确定待测试模型对应的目标测试服务组件；最后根据测试数据集以及目标测试服务组件进行测试，生成待测试模型的测试结果，并反馈至客户端进行展示。由于本申请通过预先建立的数据管理器和服务管理器分别对不同模型的测试数据集和测试服务组件进行统一管理，因此实际应用中在确定模型的模型名称以及数据信息的情况下，可自动化执行模型测试流程，从而简化了模型测试复杂度，提高了模型测试的复用性和灵活性，提升了模型测试效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，模型测试的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，模型测试的程序的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (8)
1.一种模型测试方法，其特征在于，所述方法包括：
获取待测试模型的模型名称以及数据信息；
所述获取待测试模型的模型名称以及数据信息之前，还包括：
获取每个模型的模型名称以及服务信息；
根据每个模型的服务信息，加载每个模型的可执行测试脚本文件；
将所述可执行测试脚本文件进行服务注册部署，得到每个模型的测试服务组件；
存储每个模型的模型名称与每个模型的测试服务组件的服务组件名称之间的服务映射关系，得到预先建立的服务管理器；
根据所述数据信息和预先建立的数据管理器，确定所述待测试模型所需的测试数据集；
根据所述模型名称和预先建立的服务管理器，确定所述待测试模型对应的目标测试服务组件；
根据所述测试数据集以及所述目标测试服务组件进行测试，生成所述待测试模型的测试结果，并反馈至客户端进行展示；其中，所述目标测试服务组件包括设备硬件测试层、模型预测正确率测试层以及模型冗余参数测试层；
所述根据所述测试数据集以及所述目标测试服务组件进行测试，生成所述待测试模型的测试结果，包括：
通过设备硬件测试层在所述测试数据集中筛选出设备硬件参数；根据所述设备硬件参数以及待测试模型的模型参数，计算所述待测试模型部署于预设硬件设备上的模型运行性能分值；
通过模型预测正确率测试层在所述测试数据集中筛选出模型测试样本；将所述模型测试样本输入所述待测试模型中，输出所述模型测试样本对应的测试标签；基于所述测试标签与所述模型测试样本的真实标签，计算预测正确率；根据所述预测正确率，确定模型预测分值；
通过模型冗余参数测试层在所述测试数据集中筛选出模型参数，根据所述模型参数进行冗余参数分析，以确定出所述模型参数中存在的冗余参数；计算所述冗余参数的数量与所述模型参数的总数量之间的比值，得到模型冗余分值；
将所述模型运行性能分值、模型预测分值以及所述模型冗余分值集成到预设结果模版中，得到所述待测试模型的测试结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述模型名称和预先建立的服务管理器，确定所述待测试模型对应的目标测试服务组件，包括：
在所述服务映射关系中，获取所述待测试模型对应的目标服务映射关系；
在所述目标服务映射关系中，查询所述待测试模型的模型名称对应的目标服务组件名称；
将所述目标服务组件名称对应的测试服务组件作为所述待测试模型对应的目标测试服务组件。
3.根据权利要求1所述的方法，其特征在于，所述获取待测试模型的模型名称以及数据信息之前，还包括：
获取每个模型的数据信息，所述数据信息包括数据名称和数据地址；
存储所述数据名称和数据地址之间的数据映射关系；
根据所述数据映射关系，构建每个模型的数据操作接口，得到预先建立的数据管理器；其中，
所述数据操作接口包括注册数据接口、查询数据接口以及编辑数据接口。
4.根据权利要求3所述的方法，其特征在于，所述待测试模型的数据信息包括目标数据名称；
所述根据所述数据信息和预先建立的数据管理器，确定所述待测试模型所需的测试数据集，包括：
在所述数据映射关系中，确定所述目标数据名称对应的目标数据地址；
根据所述目标数据地址和所述查询数据接口，下载所述待测试模型所需的测试数据集。
5.根据权利要求1所述的方法，其特征在于，所述设备硬件参数包括中央处理器参数、主板参数、硬盘参数以及内存参数；模型参数包括神经网络权重、支持向量机中的支持向量以及线性回归或逻辑回归中的回归系数；
所述根据所述设备硬件参数以及待测试模型的模型参数，计算所述待测试模型部署于预设硬件设备上的模型运行性能分值，包括：
将所述中央处理器参数、主板参数、硬盘参数以及内存参数传入预先构建的硬件神经网络层模块构造器中进行量化表示，得到量化结果；
将所述量化结果分别作为所述神经网络权重、支持向量以及回归系数的仿真因子进行关联，得到多组仿真数据；
基于所述多组仿真数据，模拟所述待测试模型部署于预设硬件设备上的运行过程，并将运行过程中输出的值进行加权求和，得到模型运行性能分值。
6.一种模型测试系统，其特征在于，所述系统包括：
数据获取模块，用于获取待测试模型的模型名称以及数据信息；
所述系统还具体用于：
获取每个模型的模型名称以及服务信息；
根据每个模型的服务信息，加载每个模型的可执行测试脚本文件；
将所述可执行测试脚本文件进行服务注册部署，得到每个模型的测试服务组件；
存储每个模型的模型名称与每个模型的测试服务组件的服务组件名称之间的服务映射关系，得到预先建立的服务管理器；
测试数据集确定模块，用于根据所述数据信息和预先建立的数据管理器，确定所述待测试模型所需的测试数据集；
测试服务组件确定模块，用于根据所述模型名称和预先建立的服务管理器，确定所述待测试模型对应的目标测试服务组件；
测试结果反馈模块，用于根据所述测试数据集以及所述目标测试服务组件进行测试，生成所述待测试模型的测试结果，并反馈至客户端进行展示；其中，所述目标测试服务组件包括设备硬件测试层、模型预测正确率测试层以及模型冗余参数测试层；
所述根据所述测试数据集以及所述目标测试服务组件进行测试，生成所述待测试模型的测试结果，包括：
通过设备硬件测试层在所述测试数据集中筛选出设备硬件参数；根据所述设备硬件参数以及待测试模型的模型参数，计算所述待测试模型部署于预设硬件设备上的模型运行性能分值；
通过模型预测正确率测试层在所述测试数据集中筛选出模型测试样本；将所述模型测试样本输入所述待测试模型中，输出所述模型测试样本对应的测试标签；基于所述测试标签与所述模型测试样本的真实标签，计算预测正确率；根据所述预测正确率，确定模型预测分值；
通过模型冗余参数测试层在所述测试数据集中筛选出模型参数，根据所述模型参数进行冗余参数分析，以确定出所述模型参数中存在的冗余参数；计算所述冗余参数的数量与所述模型参数的总数量之间的比值，得到模型冗余分值；
将所述模型运行性能分值、模型预测分值以及所述模型冗余分值集成到预设结果模版中，得到所述待测试模型的测试结果。
7.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-5任意一项所述的方法。
8.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-5任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311343167.3A CN117076335B (zh) | 2023-10-17 | 2023-10-17 | 一种模型测试方法、系统、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311343167.3A CN117076335B (zh) | 2023-10-17 | 2023-10-17 | 一种模型测试方法、系统、介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117076335A CN117076335A (zh) | 2023-11-17 |
| CN117076335B true CN117076335B (zh) | 2024-04-02 |
Family
ID=88712032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311343167.3A Active CN117076335B (zh) | 2023-10-17 | 2023-10-17 | 一种模型测试方法、系统、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117076335B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113254331A (zh) * | 2021-05-12 | 2021-08-13 | 深圳前海微众银行股份有限公司 | 模型测试方法、设备、存储介质及程序产品 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2516986B (en) * | 2013-08-06 | 2017-03-22 | Barclays Bank Plc | Automated application test system |
| US11775878B2 (en) * | 2020-12-22 | 2023-10-03 | Sas Institute Inc. | Automated machine learning test system |
-
2023
- 2023-10-17 CN CN202311343167.3A patent/CN117076335B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113254331A (zh) * | 2021-05-12 | 2021-08-13 | 深圳前海微众银行股份有限公司 | 模型测试方法、设备、存储介质及程序产品 |
Non-Patent Citations (2)
| Title |
|---|
| The Web Services Composition Testing Based on Extended Finite State Machine and UML Model;Ching-Seh Wu et al.;《IEEE Xplore》;全文 * |
| 一种基于GMF的测试系统可视化建模方法;马琳 等;科技创新导报(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117076335A (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9465724B2 (en) | Method, program, and system for generating test cases | |
| CN108459964B (zh) | 测试用例选择方法、装置、设备以及计算机可读存储介质 | |
| CN106502889B (zh) | 预测云软件性能的方法和装置 | |
| US20180357201A1 (en) | Ability-providing-data generation apparatus | |
| CN110598855B (zh) | 深度学习模型生成方法、装置、设备及存储介质 | |
| CN109408375A (zh) | 接口文档的生成方法和装置 | |
| CN116127899B (zh) | 芯片设计系统、方法、电子设备和存储介质 | |
| CN109614325B (zh) | 一种确定控件属性的方法及装置、电子设备和存储介质 | |
| CN111459621B (zh) | 云仿真集成与调度方法、装置、计算机设备和存储介质 | |
| CN114564374A (zh) | 算子性能评估方法、装置、电子设备及存储介质 | |
| CN111782266A (zh) | 软件性能基准确定方法及装置 | |
| CN116266117A (zh) | 模型转换方法、计算机程序产品、存储介质及电子设备 | |
| CN110780978B (zh) | 一种数据处理方法、系统、设备和介质 | |
| CN117076335B (zh) | 一种模型测试方法、系统、介质及电子设备 | |
| CN117235527A (zh) | 端到端容器化的大数据模型构建方法、装置、设备及介质 | |
| US11681511B2 (en) | Systems and methods for building and deploying machine learning applications | |
| KR102533019B1 (ko) | Ai 연산 프로세서 가속 성능 평가 인터페이스 시스템 및 그 방법 | |
| US20210272023A1 (en) | Information processing system and information processing method | |
| CN113326113A (zh) | 任务处理方法及装置、电子设备和存储介质 | |
| CN114186043B (zh) | 预训练方法、装置、设备和存储介质 | |
| CN115762515B (zh) | 用于语音识别的神经网络的处理和应用方法、装置及设备 | |
| CN111813396B (zh) | 一种脚本的编辑方法、装置、计算机设备及可读存储介质 | |
| CN114201246A (zh) | 数据预测方法及相关设备 | |
| CN114003206A (zh) | 功能模块开发方法、装置、电子设备以及计算机存储介质 | |
| CN115454793A (zh) | 确定机器的硬件需求的方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |