CN117331815A - 基于测试床的智能系统智能化能力测试装置 - Google Patents

Abstract

本发明公开了一种基于测试床的智能化能力测试装置，包括：测试支撑服务器，用于提供智能系统模型运行和应用运行的计算资源和存储资源，提供所需的基础运行环境；待测试应用容器云模块，用于对服务器资源统一管理调度，可分配资源给模型和应用运行使用；同时提供模型和应用的运行沙箱，提供测试模型和应用时的资源隔离；测试集成框架模块，用于功能组件在测试框架上集成，负责完成功能组件与平台功能组件之间的接口对接、数据的输入和输出，包括模型推理结果数据、应用运行结果数据的输入和评估结果的输出。本发明通过智能化能力评估资源集成框架设计，实现智能化能力量化评估规范化。

Description

基于测试床的智能系统智能化能力测试装置

技术领域

本发明涉及舰船系统测试技术，尤其涉及一种基于测试床的智能化能力测试装置。

背景技术

在机器学习、深度学习等技术大量应用于舰船系统感知、决策等功能实现的背景下，传统基于功能的测试装置和测试手段已难以有效覆盖智能系统与技术的新特征，系统智能应用模块的测试难的问题逐渐凸显。新的智能系统实际使用效能与原有智能系统的使用效果相比是否有提升有待评估验证。目前针对人工智能的测试方法大多是采用人工运行模型或应用，对模型或应用的结果进行分析和指标计算，从而评估智能模型或应用的智能化能力。这样会导致测试环境条件不一致，且测试效率低，存在人工干扰问题，使得测试结果缺乏统一性和可信性。因此针对人工智能的测试目前缺少一个统一的测试环境，缺乏有效的测试装置或者测试平台，缺少自动化测试方法。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于测试床的智能化能力测试装置。

本发明解决其技术问题所采用的技术方案是：一种基于测试床的智能化能力测试装置，包括：

测试支撑服务器，用于提供智能系统模型运行和应用运行的计算资源和存储资源，提供所需的基础运行环境；

待测试应用容器云模块，用于对服务器资源统一管理调度，可分配资源给模型和应用运行使用；

所述待测试应用容器云模块采用微服务架构，采用Docker容器虚拟化与Kubernetes容器管理相结合的技术，为容器化的测试应用提供部署运行、服务发现和动态伸缩在内的完整功能，提高了大规模容器集群管理的便捷性，具备完善的集群管理能力，多扩多层次的安全防护和准入机制、多租户应用支撑能力、透明的服务注册和发现机制、内建智能负载均衡器、强大的故障发现和自我修复能力、服务滚动升级和在线扩容能力、可扩展的资源自动调度机制以及多粒度的资源配额管理能力；同时提供模型和应用的运行“沙箱”(与外部应用隔离单独的运行工具)，用于模型和应用时的资源隔离；

测试集成框架模块，用于功能组件在框架上集成，负责完成功能组件与平台功能组件之间的接口对接、数据的输入和输出，包括推理结果数据、应用运行结果数据的输入和评估结果的输出；

所述功能组件包括测试数据管理模块、应用管理模块、应用测试管理模块、仿真管理模块、模型管理模块、模型包仓库和模型测试管理模块；平台功能组件包括：评估服务模块、测试任务管理模块、测试结果管理模块和测试可视化服务模块；

所述功能组件包括测试数据管理模块、应用管理模块、应用测试管理模块、仿真管理模块、模型管理模块、模型包仓库和模型测试管理模块；

其中，测试数据管理模块，用于对模型测试包中的测试数据集和真值数据进行管理，提供测试数据集详情、对抗测试数据生成和测试数据标注；

测试数据管理模块对模型测试包中的测试数据集和真值数据进行管理，提供测试数据集详情查看、对抗测试数据生成和测试数据标注等功能。测试数据集信息包括数据集名称、数据集导入时间、数据集描述、数据集版本等内容。测试数据管理提供对抗攻击测试数据生成，可用于模型安全性测试，评估模型的可靠性。测试数据标注对生成的对抗攻击测试数据进行在线标注，形成对应的真值数据。

应用管理模块，用于智能化应用信息的登记、修改、删除，提供应用信息接口以实现应用信息导入，智能化应用信息主要包括应用名称、版本、描述信息、DDS主题；

应用测试管理模块，在智能应用全周期自动化测试时，与基础设施平台进行接口连接实现应用虚拟机和应用启动，与应用进行DDS主题订阅，实现应用运行结果收集；

仿真管理模块，用于通过DDS接口驱动仿真器服务发送仿真测试数据给智能化应用，给智能化应用提供图像、视频、声频、射频、态势等不同类别的测试数据，促使应用全周期自动化测试验证的开展，并提供仿真管理可视化界面；

模型管理模块，用于提供模型测试包格式规范，实现模型测试包导入；

模型包仓库，用于提供模型包导入、模型包生成、模型管理、测试数据管理；

模型测试管理模块，用于在智能模型评估测试时，启动模型容器，与模型容器内的测试代码服务连接，实现对模型推理结果收集；

评估服务模块，用于通过数据采集将模型推理结果、应用运行结果和方案结果存储，然后会依据评估指标体系和评估方法，完成评估指标计算服务，利用评估指标计算服务对上述结果数据进行分析、量化，得出指标数据，形成任务总结报告，支撑复盘和检视模型/应用任务执行的效果；

依据评估体系和评估方法，评估计算服务采用微服务的组织形式，支持每一个评估指标的计算。在算法方面，支持深度学习模型的算法能力评估，重点对参评应用所使用的算法模型的性能指标(准确率、精确率、召回率等)进行计算评估；在应用方面，支持智能化应用的效能评估，如视频图像、态势推演等。结合具体使用领域和个性化特点，评估服务支持集成智能化应用的考核指标计算服务。

测试任务管理模块，用于实现全周期验证测试任务创建，支持任务状态查询，支持任务停止、终止等操作，提供任务仓库以支持对任务的管理，包括任务详情查询、删除等操作，支持任务报告生成、任务报告下载和任务报告在线预览。

任务仓库中的任务以列表形式展现，提供对已创建的任务进行管理。可对已完成或已停止任务进行删除、查看结果等功能。任务的详细信息可包括为任务名称、任务描述、任务状态、创建时间、可用的操作，如删除，查看结果、报告下载等。

任务创建通过模板仓库选择合适的模板进行验证任务创建，并支持对任务进行控制，可支持任务终止、任务删除等操作。任务状态查询支持实时查看任务运行状态以及运行所处阶段，还支持各阶段的输出日志查看。任务状态控制提供对运行中的任务控制，支持停止、终止等操作。任务停止将对任务进行暂停操作；任务终止将对任务进行终止运行操作。

测试结果管理模块，用于为智能化性能测试提供统一的模型/应用运行结果数据存储、查询；

测试结果管理模块为智能化性能测试提供统一的模型/应用运行结果数据存储、查询等功能，支持模型推理结果数据存储，支持运行结果数据存储，提供推理结果、运行结果、方案数据下载能力。支持模型评估结果、应用评估结果、推演评估结果等数据存储，并提供各种评估结果下载能力。通过可视化技术，测试结果模块实现算法层、应用层、链路层评估流程中推理结果、运行结果、方案数据、模型评估结果、应用评估结果、方案并行推演评估结果等的数据进行统一管理和展示。

测试可视化服务模块，用于提供智能模型/应用智能化能力评估过程和评估结果可视化呈现功能；

测试可视化服务模块提供智能系统测试可视化能力，特别是智能模型/应用智能化能力评估过程和评估结果可视化呈现功能。根据评估输出数据形式和模型/应用特征的差异性，呈现不同的评估指标数据可视化形式。评估过程可视化包括对评估流程当前运行阶段、已运行阶段的结果、已运行阶段的日志信息的可视化展示，提供用户实时关注评估流程运行状态的能力。评估结果可视化包括对模型/应用评估结果分析可视化和结果对比可视化，可视化设计将分别对不同的类别设计适当的可视化方式。

本发明产生的有益效果是：

1)本发明针对智能化测试的特点，提出智能化测试装置，该装置具备智能模型、智能应用运行的环境要求，具备“测试床”的开放、集成能力，比现有的测试装置更适用于人工智能测试；

2)本发明通过智能化能力评估资源集成框架设计，明确“算法-应用-链路”三层评估指标量化评估流程，实现智能化能力量化评估规范化。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于测试床的智能化能力测试装置，包括：

测试支撑服务器，用于提供智能系统模型运行和应用运行的计算资源和存储资源，提供所需的基础运行环境；

待测试应用容器云模块，用于对服务器资源统一管理调度，可分配资源给模型和应用运行使用；

所述待测试应用容器云模块采用微服务架构，采用Docker容器虚拟化与Kubernetes容器管理相结合的技术，为容器化的测试应用提供部署运行、服务发现和动态伸缩在内的完整功能，提高了大规模容器集群管理的便捷性，具备完善的集群管理能力，多扩多层次的安全防护和准入机制、多租户应用支撑能力、透明的服务注册和发现机制、内建智能负载均衡器、强大的故障发现和自我修复能力、服务滚动升级和在线扩容能力、可扩展的资源自动调度机制以及多粒度的资源配额管理能力；同时提供模型和应用的运行“沙箱”(与外部应用隔离单独的运行工具)，用于模型和应用时的资源隔离；

测试集成框架模块，用于功能组件在框架上集成，负责完成功能组件与平台功能组件之间的接口对接、数据的输入和输出，包括推理结果数据、应用运行结果数据的输入和评估结果的输出；

所述功能组件包括测试数据管理模块、应用管理模块、应用测试管理模块、仿真管理模块、模型管理模块、模型包仓库和模型测试管理模块；平台功能组件包括：评估服务模块、测试任务管理模块、测试结果管理模块和测试可视化服务模块；

所述功能组件包括测试数据管理模块、应用管理模块、应用测试管理模块、仿真管理模块、模型管理模块、模型包仓库和模型测试管理模块；

其中，测试数据管理模块，用于对模型测试包中的测试数据集和真值数据进行管理，提供测试数据集详情、对抗测试数据生成和测试数据标注；

测试数据管理模块对模型测试包中的测试数据集和真值数据进行管理，提供测试数据集详情查看、对抗测试数据生成和测试数据标注等功能。测试数据集信息包括数据集名称、数据集导入时间、数据集描述、数据集版本等内容。测试数据管理提供对抗攻击测试数据生成，可用于模型安全性测试，提供模型的可靠性。测试数据标注对生成的对抗攻击测试数据进行在线标注，形成对应的真值数据。

应用管理模块，用于智能化应用信息的登记、修改、删除，提供应用信息接口以实现应用信息导入，智能化应用信息主要包括应用名称、版本、描述信息、DDS主题；

应用测试管理模块，在智能应用全周期自动化测试时，与基础设施平台进行接口连接实现应用虚拟机和应用启动，与应用进行DDS主题订阅，实现应用运行结果收集；

仿真管理模块，用于通过DDS接口驱动仿真器服务发送仿真测试数据给智能化应用，给智能化应用提供图像、视频、声频、射频、态势等不同类别的测试数据，促使应用全周期自动化测试验证的开展，并提供仿真管理可视化界面；

模型管理模块，用于提供模型测试包格式规范，实现模型测试包导入；

模型包仓库，用于提供模型包导入、模型包生成、模型管理、测试数据管理；

模型测试管理模块，用于在智能模型评估测试时，启动模型容器，与模型容器内的测试代码服务连接，实现对模型推理结果收集；

评估服务模块，用于通过数据采集将模型推理结果、应用运行结果和方案结果存储，然后会依据评估指标体系和评估方法，完成评估指标计算服务，利用评估指标计算服务对上述结果数据进行分析、量化，得出指标数据，形成任务总结报告，支撑复盘和检视模型/应用任务执行的效果；

依据评估体系和评估方法，评估计算服务采用微服务的组织形式，支持每一个评估指标的计算。在算法方面，支持深度学习模型的算法能力评估，重点对参评应用所使用的算法模型的性能指标(准确率、精确率、召回率等)进行计算评估；在应用方面，支持智能化应用的效能评估，如视频图像、态势推演等。结合具体使用领域和个性化特点，评估服务支持集成智能化应用的考核指标计算服务。

测试任务管理模块，用于实现全周期验证测试任务创建，支持任务状态查询，支持任务停止、终止等操作，提供任务仓库以支持对任务的管理，包括任务详情查询、删除等操作，支持任务报告生成、任务报告下载和任务报告在线预览。

任务仓库中的任务以列表形式展现，提供对已创建的任务进行管理。可对已完成或已停止任务进行删除、查看结果等功能。任务的详细信息可包括为任务名称、任务描述、任务状态、创建时间、可用的操作，如删除，查看结果、报告下载等。

任务创建通过模板仓库选择合适的模板进行验证任务创建，并支持对任务进行控制，可支持任务终止、任务删除等操作。任务状态查询支持实时查看任务运行状态以及运行所处阶段，还支持各阶段的输出日志查看。任务状态控制提供对运行中的任务控制，支持停止、终止等操作。任务停止将对任务进行暂停操作；任务终止将对任务进行终止运行操作。

测试结果管理模块，用于为智能化性能测试提供统一的模型/应用运行结果数据存储、查询；

测试结果数据管理模块为智能化性能测试提供统一的模型/应用运行结果数据存储、查询等功能，支持模型推理结果数据存储，支持运行结果数据存储，提供推理结果、运行结果、方案数据下载能力。支持模型评估结果、应用评估结果、推演评估结果等数据存储，并提供各种评估结果下载能力。通过可视化技术，数据管理模块实现算法层、应用层、链路层评估流程中推理结果、运行结果、方案数据、模型评估结果、应用评估结果、方案并行推演评估结果等的数据进行统一管理和展示。

测试可视化服务模块，用于提供智能模型/应用智能化能力评估过程和评估结果可视化呈现功能；

测试可视化服务模块提供智能系统测试可视化能力，特别是智能模型/应用智能化能力评估过程和评估结果可视化呈现功能。根据评估输出数据形式和模型/应用特征的差异性，呈现不同的评估指标数据可视化形式。评估过程可视化包括对评估流程当前运行阶段、已运行阶段的结果、已运行阶段的日志信息的可视化展示，提供用户实时关注评估流程运行状态的能力。评估结果可视化包括对模型/应用评估结果分析可视化和结果对比可视化，可视化设计将分别对不同的类别设计适当的可视化方式。

基于上述装置，可进行智能模型自动化测试，方法包含测试样本生成、模型推理任务执行、推理结果数据采集、评估指标计算和评估结果展示五个步骤。

还可用于智能应用软件的自动化测试，方法包含应用启动、仿真器触发、应用结果采集、评估指标计算和评估结果展示五个步骤。

(1)应用启动：在测试装置内完成应用的启动，通过接口完成对应用运行结果的订阅；

(2)仿真器触发：完成对测试仿真器的触发工作，使得仿真器可以给应用推理提供仿真测试数据，促使应用开始执行任务；

(3)保存结果：通过接口接受来自应用的运行结果数据并保存；

(4)评估指标计算：完成对智能应用的评估指标计算；

(5)评估结果展示：完成应用评估结果的可视化展示。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种基于测试床的智能化能力测试装置，其特征在于，包括：

测试支撑服务器，用于提供智能系统模型运行和应用运行的计算资源和存储资源，提供所需的基础运行环境；

待测试应用容器云模块，用于对服务器资源统一管理调度，可分配资源给模型和应用运行使用；

同时提供模型和应用的运行沙箱，提供测试模型和应用时的资源隔离；

测试集成框架模块，用于功能组件在测试框架上集成，负责完成功能组件与平台功能组件之间的接口对接、数据的输入和输出，包括模型推理结果数据、应用运行结果数据的输入和评估结果的输出；

所述功能组件包括测试数据管理模块、应用管理模块、应用测试管理模块、仿真管理模块、模型管理模块、模型包仓库和模型测试管理模块；平台功能组件包括：评估服务模块、测试任务管理模块、测试结果管理模块和测试可视化服务模块；

所述功能组件包括测试数据管理模块、应用管理模块、应用测试管理模块、仿真管理模块、模型管理模块、模型包仓库和模型测试管理模块；

其中，测试数据管理模块，用于对模型测试包中的测试数据集和真值数据进行管理，提供测试数据集详情、对抗测试数据生成和测试数据标注；

测试数据管理模块对模型测试包中的测试数据集和真值数据进行管理，提供测试数据集详情查看、对抗测试数据生成和测试数据标注功能；测试数据集信息包括数据集名称、数据集导入时间、数据集描述、数据集版本；测试数据管理提供对抗攻击测试数据生成，可用于模型安全性测试和可靠性评估；测试数据标注对生成的对抗攻击测试数据进行在线标注，形成对应的真值数据；

应用管理模块，用于智能化应用信息的登记、修改、删除，提供应用信息接口以实现应用信息导入，智能化应用信息主要包括应用名称、版本、描述信息、DDS主题；

应用测试管理模块，在智能应用全周期自动化测试时，与基础设施平台进行接口连接实现应用虚拟机和应用启动，与应用进行DDS主题订阅，实现应用运行结果收集；

仿真管理模块，用于通过DDS接口驱动仿真器服务发送仿真测试数据给智能化应用，给智能化应用提供图像、视频、声频、射频、态势在内的不同类别的测试数据，促使应用全周期自动化测试验证的开展，并提供仿真管理可视化界面；

模型管理模块，用于提供模型测试包格式规范，实现模型测试包导入；

模型包仓库，用于提供模型包导入、模型包生成、模型管理、测试数据管理；

模型测试管理模块，用于在智能模型评估测试时，启动模型容器，与模型容器内的测试代码服务连接，实现对模型推理结果收集；

评估服务模块，用于通过数据采集将模型推理结果、应用运行结果和方案结果存储，然后会依据评估指标体系和评估方法，完成评估指标计算服务，利用评估指标计算服务对上述结果数据进行分析、量化，得出指标数据；

测试任务管理模块，用于实现全周期验证测试任务创建，支持任务状态查询、任务停止、终止操作；

测试结果管理模块，用于为智能化性能测试提供统一的模型或应用运行结果数据存储、查询；

测试结果数据管理模块为智能化性能测试提供统一的模型或应用运行结果数据存储、查询功能，支持模型推理结果数据存储，支持运行结果数据存储，提供推理结果、运行结果、方案数据下载能力；支持模型评估结果、应用评估结果、推演评估结果数据存储，并提供各种评估结果下载能力；

测试可视化服务模块，用于提供智能模型/应用智能化能力评估过程和评估结果可视化呈现功能。

2.根据权利要求1所述的基于测试床的智能化能力测试装置，其特征在于，所述评估服务模块采用微服务的组织形式，依据评估体系和评估方法支持每一个评估指标的计算；评估服务模块支持深度学习模型的算法能力评估，对参评应用所使用的算法模型的性能指标进行计算评估；还支持智能化应用的效能评估，包括视频图像、态势推演，并结合具体使用领域和个性化特点，评估服务模块支持集成智能化应用的考核指标计算服务。