CN110471857B - 人工智能模型性能容量的自动测试方法及装置 - Google Patents

Abstract

本发明提供了一种人工智能模型性能容量的自动测试方法及装置。所述方法包括：根据人工智能模型的类型，从对应的数据源平台获取测试数据；根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；根据所述测试数据及所述发压脚本创建测试案例；根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。本发明实现了快速、自动、可追溯、可分析的模型性能测试，极大提高了测试的效率，可以准确、高效地对模型性能容量进行快速评估，以确定存在性能风险的模型，有助于模型性能持续提升。

Description

人工智能模型性能容量的自动测试方法及装置

技术领域

本发明涉及人工智能模型性能容量测试技术领域，尤指一种人工智能模型性能容量的自动测试方法及装置。

背景技术

随着“机器代人”的普及，人工智能模型在市场营销、风险监控、运营管理方面的使用场景越来越多，AI新增模型和迭代模型大量涌现，需要对增量模型的性能进行快速评估，确保模型上线后能够平稳运行。

大量人工智能场景的落地引入了AI模型，通过自学习等方式可实现模型的快速迭代，对于模型预测服务这类访问密集型业务，如何确保其性能容量成为了目前刻不容缓的课题。传统的测试方法需要针对不同的模型准备大量的压测数据，编写发压脚本，创建发压场景并执行，最终反馈测试结果，其中，发压表示发起压力，即为“压力测试”，简称“压测”。上述测试方法，依赖于测试人员的测试经验，需对AI模型有一定了解以便造数，手工编写发压脚本，有一定的技术门槛，同时模型数量较多且测试周期较长，难以快速对模型性能容量进行评估。

发明内容

为了解决上述问题，本发明实施例提供一种人工智能模型性能容量的自动测试方法，所述方法包括：

根据人工智能模型的类型，从对应的数据源平台获取测试数据；

根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；

根据所述测试数据及所述发压脚本创建测试案例；

根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。

可选的，在本发明一实施例中，所述人工智能模型的类型包括：智能决策模型、图像识别模型及自然语言处理模型。

可选的，在本发明一实施例中，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：当所述人工智能模型的类型为智能决策模型时，从第一数据源平台获取结构化请求数据；解析所述结构化请求数据后，根据对应的脚本模板生成发压脚本。

可选的，在本发明一实施例中，所述第一数据源平台为分布式文件存储平台。

可选的，在本发明一实施例中，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：当所述人工智能模型的类型为图像识别模型时，从第二数据源平台获取图像请求数据；解析所述图像请求数据后，根据对应的脚本模板生成发压脚本。

可选的，在本发明一实施例中，所述第二数据源平台为对象存储平台。

可选的，在本发明一实施例中，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：当所述人工智能模型的类型为自然语言处理模型时，从第三数据源平台获取话术请求数据；解析所述话术请求数据后，根据对应的脚本模板生成发压脚本。

可选的，在本发明一实施例中，所述第三数据源平台为Mysql数据库。

可选的，在本发明一实施例中，所述根据所述测试案例执行发压过程，动态调整发压过程的并发数包括：根据预设的基准并发数及所述测试案例执行发压过程；在发压过程中，逐渐增加并发数，并记录对应的吞吐量。

可选的，在本发明一实施例中，所述直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果包括：当所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，将当前吞吐量作为极限吞吐量；将所述极限吞吐量与预设阈值相比较，若所述极限吞吐量高于所述预设阈值，则测试结果为验证通过，若所述极限吞吐量低于所述预设阈值，则测试结果为存在风险。

可选的，在本发明一实施例中，所述方法还包括：根据所述测试结果生成测试报告，将所述测试报告发送至指定邮箱。

本发明实施例还提供一种人工智能模型性能容量的自动测试装置，所述装置包括：

数据抽取模块，用于根据人工智能模型的类型，从对应的数据源平台获取测试数据；

脚本生成模块，用于根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；

案例创建模块，用于根据所述测试数据及所述发压脚本创建测试案例；

发压平台模块，用于根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。

可选的，在本发明一实施例中，所述人工智能模型的类型包括：智能决策模型、图像识别模型及自然语言处理模型。

可选的，在本发明一实施例中，所述脚本生成模块包括：第一数据获取单元，用于当所述人工智能模型的类型为智能决策模型时，从第一数据源平台获取结构化请求数据；第一脚本生成单元，用于解析所述结构化请求数据后，根据对应的脚本模板生成发压脚本。

可选的，在本发明一实施例中，所述第一数据源平台为分布式存储平台。

可选的，在本发明一实施例中，所述脚本生成模块包括：第二数据获取单元，用于当所述人工智能模型的类型为图像识别模型时，从第二数据源平台获取图像请求数据；第二脚本生成单元，用于解析所述图像请求数据后，根据对应的脚本模板生成发压脚本。

可选的，在本发明一实施例中，所述第二数据源平台为对象存储平台。

可选的，在本发明一实施例中，所述脚本生成模块包括：第三数据获取单元，用于当所述人工智能模型的类型为自然语言处理模型时，从第三数据源平台获取话术请求数据；第三脚本生成单元，用于解析所述话术请求数据后，根据对应的脚本模板生成发压脚本。

可选的，在本发明一实施例中，所述第三数据源平台为Mysql数据库。

可选的，在本发明一实施例中，所述发压平台模块包括：发压执行单元，用于根据预设的基准并发数及所述测试案例执行发压过程；动态调整单元，用于在发压过程中，逐渐增加并发数，并记录对应的吞吐量。

可选的，在本发明一实施例中，所述发压平台模块还包括：极限性能单元，用于当所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，将当前吞吐量作为极限吞吐量；测试结果单元，用于将所述极限吞吐量与预设阈值相比较，若所述极限吞吐量高于所述预设阈值，则测试结果为验证通过，若所述极限吞吐量低于所述预设阈值，则测试结果为存在风险。

可选的，在本发明一实施例中，所述装置还包括：测试报告模块，用于根据所述测试结果生成测试报告，将所述测试报告发送至指定邮箱。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

根据人工智能模型的类型，从对应的数据源平台获取测试数据；

根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；

根据所述测试数据及所述发压脚本创建测试案例；

根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

根据人工智能模型的类型，从对应的数据源平台获取测试数据；

根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；

根据所述测试数据及所述发压脚本创建测试案例；

根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。

本发明实现了快速、自动、可追溯、可分析的模型性能测试，极大提高了测试的效率，可以准确、高效地对模型性能容量进行快速评估，以确定存在性能风险的模型，有助于模型性能持续提升。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种人工智能模型性能容量的自动测试方法的流程图；

图2为本发明实施例一种人工智能模型性能容量的自动测试装置的结构示意图；

图3为本发明实施例中自动测试装置的整体框架示意图；

图4为本发明实施例中自动测试装置中异构资源调度模块示意图；

图5为本发明实施例中自动测试装置中发压平台示意图；

图6为本发明一具体实施例中自动测试装置执行自动测试的流程图。

具体实施方式

本发明实施例提供一种人工智能模型性能容量的自动测试方法及装置。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明实施例一种人工智能模型性能容量的自动测试方法的流程图，图中所示方法包括：

步骤S1，根据人工智能模型的类型，从对应的数据源平台获取测试数据；不同的人工智能模型类型对应的数据源平台并不相同，需要根据其类型从相应的数据源平台中获取测试数据。

步骤S2，根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；其中，首先获取http请求，再从对应的数据源平台中获取请求数据，利用人工智能模型不同类型对应的脚本模板，生成发压脚本。

步骤S3，根据所述测试数据及所述发压脚本创建测试案例；其中，测试案例可上传至执行发压过程的平台上，在创建测试案例的同时，还可以在执行发压过程的平台预约测试任务。

步骤S4，根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。利用测试案例及预设的基准并发数，对选择的测试数据及发压脚本执行发压过程。在发压过程中，不断增加并发数，以对模型进行压测。当模型的吞吐量不再随并发数的增加而增加时，表面性能出现瓶颈，此时得出测试结果。

作为本发明的一个实施例，人工智能模型的类型包括：智能决策模型、图像识别模型及自然语言处理模型。

在本实施例中，根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：当所述人工智能模型的类型为智能决策模型时，从第一数据源平台获取结构化请求数据；解析所述结构化请求数据后，根据对应的脚本模板生成发压脚本。

其中，第一数据源平台为分布式文件存储平台，即HDFS。

在本实施例中，根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：当所述人工智能模型的类型为图像识别模型时，从第二数据源平台获取图像请求数据；解析所述图像请求数据后，根据对应的脚本模板生成发压脚本。

其中，第二数据源平台为对象存储平台，即OAAS(对象存储服务平台Object as aService)。

在本实施例中，根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：当所述人工智能模型的类型为自然语言处理模型时，从第三数据源平台获取话术请求数据；解析所述话术请求数据后，根据对应的脚本模板生成发压脚本。

其中，第三数据源平台为Mysql数据库。

作为本发明的一个实施例，根据所述测试案例执行发压过程，动态调整发压过程的并发数包括：根据预设的基准并发数及所述测试案例执行发压过程；在发压过程中，逐渐增加并发数，并记录对应的吞吐量。

在本实施例中，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果包括：当所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，将当前吞吐量作为极限吞吐量；将所述极限吞吐量与预设阈值相比较，若所述极限吞吐量高于所述预设阈值，则测试结果为验证通过，若所述极限吞吐量低于所述预设阈值，则测试结果为存在风险。其中，当测试结果为存在风险时，可根据不同的极限吞吐量大小，确定当前风险等级。

其中，根据所述测试结果生成测试报告，将所述测试报告发送至指定邮箱。测试报告中包括模型是否验证通过、存在的风险等级，还可以包括指标监控及日志分析等内容。测试报告便于工作人员或用户快速定位模型的性能瓶颈，以便对生产设备进行扩容部署。

本发明实现了快速、自动、可追溯、可分析的模型性能测试，极大提高了测试的效率，可以准确、高效地对模型性能容量进行快速评估，以确定存在性能风险的模型，有助于模型性能持续提升。

如图2所示为本发明实施例一种人工智能模型性能容量的自动测试装置的结构示意图，图中所示装置包括：

数据抽取模块10，用于根据人工智能模型的类型，从对应的数据源平台获取测试数据；

脚本生成模块20，用于根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；

案例创建模块30，用于根据所述测试数据及所述发压脚本创建测试案例；

发压平台模块40，用于根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。

作为本发明的一个实施例，人工智能模型的类型包括：智能决策模型、图像识别模型及自然语言处理模型。

在本实施例中，脚本生成模块包括：第一数据获取单元，用于当所述人工智能模型的类型为智能决策模型时，从第一数据源平台获取结构化请求数据；第一脚本生成单元，用于解析所述结构化请求数据后，根据对应的脚本模板生成发压脚本。

其中，第一数据源平台为分布式存储平台。

在本实施例中，脚本生成模块包括：第二数据获取单元，用于当所述人工智能模型的类型为图像识别模型时，从第二数据源平台获取图像请求数据；第二脚本生成单元，用于解析所述图像请求数据后，根据对应的脚本模板生成发压脚本。

其中，第二数据源平台为对象存储平台。

在本实施例中，脚本生成模块包括：第三数据获取单元，用于当所述人工智能模型的类型为自然语言处理模型时，从第三数据源平台获取话术请求数据；第三脚本生成单元，用于解析所述话术请求数据后，根据对应的脚本模板生成发压脚本。

其中，第三数据源平台为Mysql数据库。

作为本发明的一个实施例，发压平台模块包括：发压执行单元，用于根据预设的基准并发数及所述测试案例执行发压过程；动态调整单元，用于在发压过程中，逐渐增加并发数，并记录对应的吞吐量。

在本实施例中，发压平台模块还包括：极限性能单元，用于当所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，将当前吞吐量作为极限吞吐量；测试结果单元，用于将所述极限吞吐量与预设阈值相比较，若所述极限吞吐量高于所述预设阈值，则测试结果为验证通过，若所述极限吞吐量低于所述预设阈值，则测试结果为存在风险。

其中，装置还包括：测试报告模块，用于根据所述测试结果生成测试报告，将所述测试报告发送至指定邮箱。

在本发明一具体实施例中，本发明中自动测试装置的实施可参照包括发压平台、异构资源调度模块及自动化调度模块在内的自动测试系统的实施。具体的，数据抽取模块及脚本生成模块的实施对应于异构资源调度模块，案例创建模块的实施对应于自动化调度模块，发压平台模块的实施对应于发压平台。自动测试系统具体可参见如图3所示的整体结构图，图中所示的整体框架分为业务层、技术框架层、资源层三部分。本发明提出的性能容量测试系统包括发压平台、异构资源调度模块及自动化调度模块，处于业务层和技术框架层。

其中，资源层为底层存储资源和计算资源，如图像、话术数据(语言文本)等不同的数据类型分别存储在不同的数据源平台中。技术框架层分为异构资源调度、自动化调度和联机服务引擎三个模块。联机服务引擎基于服务发现架构，以自注册的方式来提供服务。异构资源调度负责从不同的数据源平台抽取数据，同时，根据模型类型解析请求字段后生成发压脚本。自动化调度负责将数据和脚本加载到发压平台上并自动创建自动化性能测试案例。业务层为发压平台。该平台能够根据技术框架层自动化调度模块创建的性能测试案例，预约执行任务，通过调整并发验证出模型服务的极限吞吐量，在此期间自动进行指标监控以及日志分析，最终生成测试报告并提供报告订阅服务。

测试数据、发压脚本、发压平台，这三者构成了性能容量测试的基本要素。本发明从测试数据准备、发压脚本生成，到联动发压平台执行测试案例、反馈测试结果，构成了一套端到端的自动化性能测试链路。

异构资源调度模块负责测试数据和发压脚本的自动化获取。将模型分为三类，分别是智能决策模型、图像识别模型和自然语言处理模型。根据不同类型的模型，调度不同的数据源平台接口获取测试数据；使用网络抓包工具抓取服务请求并进行解析后根据不同的脚本模板自动生成发压脚本，如图4所示。

自动化调度模块负责将异构资源调度和发压平台进行联动。编写自动化脚本模拟用户上传脚本和数据，预约测试任务并创建测试案例。

发压平台基于B/S架构搭建，根据自动化调度模块创建的测试案例进行发压，压测过程中动态调整发压并发数，直到性能指标出现瓶颈为止，即吞吐量TPS不再随着并发增加而增加，以此验证出模型服务的极限处理能力。测试结果入库后可通过浏览器进行可视化查询，包含性能指标和系统资源，对测试结果进行风险判断，若性能指标小于预设阀值，则邮件用户进行风险预警，方便项目组快速定位性能瓶颈，如图5所示。

本发明自动测试的流程全自动化，无需人为干预，减少人力成本，整体流程图如图6所示。具体包括：

1、扫描模型注册中心：识别当天发布的增量模型；

2、获取测试数据：根据模型类型，从不同的数据源平台获取测试数据

3、生成发压脚本：参照不同模型类型的脚本模板，抓取请求数据后自动生成发压脚本

4、自动化调度：执行自动化脚本，遍历所有增量模型，将第2步和第3步生成的资源文件依次上传至发压平台，预约测试任务并自动创建测试案例。

5、发压平台接收测试任务后，配置基准并发数，选择相应的测试数据和脚本，执行发压：

1)记录基准并发数下的性能指标，增加一份并发压力，进行下一轮测试；

2)若性能指标较上一轮有超过30％的提升，则再增加一份并发压力，进行下一轮测试；

3)若性能指标较上一轮没有超过30％的提升，则表明资源出现瓶颈，终止测试；

4)将最终测得的极限性能指标与预设阀值进行比较，若极限性能指标更高，则验证通过，反之，则将测试结果邮件推送相关人员，生产设备需根据测试结果进行扩容部署。

本发明高度自动化，无需依赖测试人员，无人值守下实现模型性能的快速评估，有效提升测试效率，快速响应测试需求。表1为传统手工测试与使用本框架进行测试的几方面比较。

表1

随着人工智能的广泛兴起，各种落地场景越来越多，模型迭代越来越快，本发明高效、自动化特点将会越来越突出，运用也会越来越广。充分提取出各类模型预估服务的特性，并结合发压平台实现快速、自动、可追溯、可分析的模型性能评估方法，极大提高了测试的效率。运用本框架进行容量测试，可以准确、高效地：识别增量模型并对其性能容量进行快速评估，提取存在性能风险的模型并进行预警；测出极限处理能力，为系统投产前的设备规划提供参考；可自动出具性能测试报告，帮助项目组分析性能瓶颈；可横向比较同一模型迭代前后的性能差异，有助于模型性能持续提升。

本发明实现了快速、自动、可追溯、可分析的模型性能测试，极大提高了测试的效率，可以准确、高效地对模型性能容量进行快速评估，以确定存在性能风险的模型，有助于模型性能持续提升。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

根据人工智能模型的类型，从对应的数据源平台获取测试数据；

根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；

根据所述测试数据及所述发压脚本创建测试案例；

根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

根据人工智能模型的类型，从对应的数据源平台获取测试数据；

根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；

根据所述测试数据及所述发压脚本创建测试案例；

根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。

基于与上述一种人工智能模型性能容量的自动测试方法相同的申请构思，本发明还提供了上述一种计算机设备及一种计算机可读存储介质。由于该一种计算机设备及一种计算机可读存储介质解决问题的原理与一种人工智能模型性能容量的自动测试方法相似，因此该一种计算机设备及一种计算机可读存储介质的实施可以参见一种人工智能模型性能容量的自动测试方法的实施，重复之处不再赘述。

本发明实现了快速、自动、可追溯、可分析的模型性能测试，极大提高了测试的效率，可以准确、高效地对模型性能容量进行快速评估，以确定存在性能风险的模型，有助于模型性能持续提升。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种人工智能模型性能容量的自动测试方法，其特征在于，所述方法包括：

根据人工智能模型的类型，从对应的数据源平台获取测试数据；

根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；

根据所述测试数据及所述发压脚本创建测试案例；

根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果；

其中，所述人工智能模型的类型包括：智能决策模型、图像识别模型及自然语言处理模型；

其中，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：

当所述人工智能模型的类型为智能决策模型时，从第一数据源平台获取结构化请求数据；

解析所述结构化请求数据后，根据对应的脚本模板生成发压脚本；

其中，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本还包括：

当所述人工智能模型的类型为图像识别模型时，从第二数据源平台获取图像请求数据；

解析所述图像请求数据后，根据对应的脚本模板生成发压脚本。

2.根据权利要求1所述的方法，其特征在于，所述第一数据源平台为分布式文件存储平台。

3.根据权利要求1所述的方法，其特征在于，所述第二数据源平台为对象存储平台。

4.根据权利要求1所述的方法，其特征在于，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：

当所述人工智能模型的类型为自然语言处理模型时，从第三数据源平台获取话术请求数据；

解析所述话术请求数据后，根据对应的脚本模板生成发压脚本。

5.根据权利要求4所述的方法，其特征在于，所述第三数据源平台为Mysql数据库。

6.根据权利要求1所述的方法，其特征在于，所述根据所述测试案例执行发压过程，动态调整发压过程的并发数包括：

根据预设的基准并发数及所述测试案例执行发压过程；

在发压过程中，逐渐增加并发数，并记录对应的吞吐量。

7.根据权利要求6所述的方法，其特征在于，所述直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果包括：

当所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，将当前吞吐量作为极限吞吐量；

将所述极限吞吐量与预设阈值相比较，若所述极限吞吐量高于所述预设阈值，则测试结果为验证通过，若所述极限吞吐量低于所述预设阈值，则测试结果为存在风险。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：根据所述测试结果生成测试报告，将所述测试报告发送至指定邮箱。

9.一种人工智能模型性能容量的自动测试装置，其特征在于，所述装置包括：

数据抽取模块，用于根据人工智能模型的类型，从对应的数据源平台获取测试数据；

脚本生成模块，用于根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；

案例创建模块，用于根据所述测试数据及所述发压脚本创建测试案例；

发压平台模块，用于根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果；

其中，所述人工智能模型的类型包括：智能决策模型、图像识别模型及自然语言处理模型；

其中，所述脚本生成模块包括：

第一数据获取单元，用于当所述人工智能模型的类型为智能决策模型时，从第一数据源平台获取结构化请求数据；

第一脚本生成单元，用于解析所述结构化请求数据后，根据对应的脚本模板生成发压脚本；

其中，所述脚本生成模块还包括：

第二数据获取单元，用于当所述人工智能模型的类型为图像识别模型时，从第二数据源平台获取图像请求数据；

第二脚本生成单元，用于解析所述图像请求数据后，根据对应的脚本模板生成发压脚本。

10.根据权利要求9所述的装置，其特征在于，所述第一数据源平台为分布式存储平台。

11.根据权利要求9所述的装置，其特征在于，所述第二数据源平台为对象存储平台。

12.根据权利要求9所述的装置，其特征在于，所述脚本生成模块包括：

第三数据获取单元，用于当所述人工智能模型的类型为自然语言处理模型时，从第三数据源平台获取话术请求数据；

第三脚本生成单元，用于解析所述话术请求数据后，根据对应的脚本模板生成发压脚本。

13.根据权利要求12所述的装置，其特征在于，所述第三数据源平台为Mysql数据库。

14.根据权利要求9所述的装置，其特征在于，所述发压平台模块包括：

发压执行单元，用于根据预设的基准并发数及所述测试案例执行发压过程；

动态调整单元，用于在发压过程中，逐渐增加并发数，并记录对应的吞吐量。

15.根据权利要求14所述的装置，其特征在于，所述发压平台模块还包括：

极限性能单元，用于当所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，将当前吞吐量作为极限吞吐量；

测试结果单元，用于将所述极限吞吐量与预设阈值相比较，若所述极限吞吐量高于所述预设阈值，则测试结果为验证通过，若所述极限吞吐量低于所述预设阈值，则测试结果为存在风险。

16.根据权利要求15所述的装置，其特征在于，所述装置还包括：测试报告模块，用于根据所述测试结果生成测试报告，将所述测试报告发送至指定邮箱。

17.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

根据人工智能模型的类型，从对应的数据源平台获取测试数据；

根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；

根据所述测试数据及所述发压脚本创建测试案例；

根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果；

其中，所述人工智能模型的类型包括：智能决策模型、图像识别模型及自然语言处理模型；

其中，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：

当所述人工智能模型的类型为智能决策模型时，从第一数据源平台获取结构化请求数据；

解析所述结构化请求数据后，根据对应的脚本模板生成发压脚本；

其中，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本还包括：

当所述人工智能模型的类型为图像识别模型时，从第二数据源平台获取图像请求数据；

解析所述图像请求数据后，根据对应的脚本模板生成发压脚本。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：

根据人工智能模型的类型，从对应的数据源平台获取测试数据；

根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；

根据所述测试数据及所述发压脚本创建测试案例；

根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果；

其中，所述人工智能模型的类型包括：智能决策模型、图像识别模型及自然语言处理模型；

其中，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：

当所述人工智能模型的类型为智能决策模型时，从第一数据源平台获取结构化请求数据；

解析所述结构化请求数据后，根据对应的脚本模板生成发压脚本；

其中，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本还包括：

当所述人工智能模型的类型为图像识别模型时，从第二数据源平台获取图像请求数据；

解析所述图像请求数据后，根据对应的脚本模板生成发压脚本。