CN112162920A - 一种基于Kubernetes的自动化模型测试方法及系统 - Google Patents
一种基于Kubernetes的自动化模型测试方法及系统 Download PDFInfo
- Publication number
- CN112162920A CN112162920A CN202010967696.0A CN202010967696A CN112162920A CN 112162920 A CN112162920 A CN 112162920A CN 202010967696 A CN202010967696 A CN 202010967696A CN 112162920 A CN112162920 A CN 112162920A
- Authority
- CN
- China
- Prior art keywords
- test
- kubernetes
- module
- model testing
- container
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 claims description 9
- 230000001419 dependent effect Effects 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 5
- 238000012856 packing Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提出的一种基于Kubernetes的自动化模型测试方法及系统，Kubernetes提供了生命周期管理的API，用户基于API即可一键式完成模型任务的测试，可以大幅提升用户体验和效率，用户将测试数据和测试代码进行打包整理，Kubernetes集群可自动筛选物理机或虚拟机节点进行部署测试，只需要满足该节点的数据要求，无需人工反复的SSH操作。
Description
技术领域
本发明实施例涉及机器学习技术领域，具体涉及一种基于Kubernetes的自动化模型测试方法及系统。
背景技术
随着机器学习和人工智能的迅猛发展，业界出现了许多开源的机器学习平台。目前，大多数场景仍旧是多人共享一台或多台机器，每次进模型测试前，用户手动登录远程服务器，下载代码并依据requirements文件(项目依赖关系清单)配置环境和代码包，这其中极易出现安装包版本的冲突并且过程繁琐，耗时较长，例如：有些依赖CUDA9，而有的却需要CUDA10；还有就是对深度学习框架不同版本的依赖，如pytorch0.X版、pytorch1.X版、tensorflow1.8版……。深度学习网络模型的测试是指对使用制定好的测试用例去测试模型，并评估模型的性能。对于多维度的模型测试，如果采用传统的人工部署的方式，即：针对不同维度进行环境的搭建并完成代码包的下载，在模型能力测试层面，需要人工SSH(专为远程登录会话和其他网络服务提供安全性的协议)的各种操作。
发明内容
为此，本发明实施例提供一种基于Kubernetes的自动化模型测试方法及系统，以解决现有的深度学习网络模型测试需要人工冗余和反复的操作，模型测试效率低的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
根据本发明实施例的第一方面，提出了一种基于Kubernetes的自动化模型测试方法，所述方法包括：
打包整理测试数据集和测试脚本；
创建虚拟化容器；
安装并执行依赖的环境；
将所述测试数据集和测试脚本进行拷贝；
在所述虚拟化容器中自动化执行拷贝的测试脚本代码；
存储测试结果。
进一步地，在测试完成之后，所述方法还包括：
将所述虚拟化容器进行销毁。
进一步地，所述方法还包括：
生成历史日志以便在测试完成后进行查询。
根据本发明实施例的第二方面，提出了一种基于Kubernetes的自动化模型测试系统，所述系统包括：
测试数据和脚本整理模块，用于打包整理测试数据集和测试脚本；
容器创建模块，用于创建虚拟化容器；
环境安装模块，应用安装并执行依赖的环境；
拷贝模块，用于将所述测试数据集和测试脚本进行拷贝；
测试模块，用于在所述虚拟化容器中自动化执行拷贝的测试脚本代码；
存储模块，用于存储测试结果。
进一步地，所述系统还包括：
容器销毁模块，用于将所述虚拟化容器进行销毁。
进一步地，所述系统还包括：
历史日志模块，用于生成历史日志以便在测试完成后进行查询。
根据本发明实施例的第三方面，提出了一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于Kubernetes的自动化模型测试系统执行如上任一项所述的基于Kubernetes的自动化模型测试方法。
本发明实施例具有如下优点：
本发明实施例提出的一种基于Kubernetes的自动化模型测试方法及系统，Kubernetes提供了生命周期管理的API，用户基于API即可一键式完成模型任务的测试，可以大幅提升用户体验和效率，用户将测试数据和测试代码进行打包整理，Kubernetes集群可自动筛选物理机或虚拟机节点进行部署测试，只需要满足该节点的数据要求，无需人工反复的SSH操作。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例1提供的一种基于Kubernetes的自动化模型测试方法的流程示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例1提出了一种基于Kubernetes的自动化模型测试方法，如图1所示，该方法包括：
S110、打包整理测试数据集和测试脚本。
S120、创建虚拟化容器。根据配置文件进行容器创建，并结合测试数据完成创建。
S130、安装并执行依赖的环境。配置容器运行适合的环境，包括安装包版本、深度学习框架版本、系统架构等等。
S140、将测试数据集和测试脚本进行拷贝。
S150、在虚拟化容器中自动化执行拷贝的测试脚本代码。
S160、存储测试结果。
进一步地，在测试完成之后，该方法还包括：将虚拟化容器进行销毁。
进一步地，该方法还包括：生成历史日志以便在测试完成后进行查询。
本发明实施例提出的一种基于Kubernetes的自动化模型测试方法，Kubernetes提供了生命周期管理的API，用户基于API即可一键式完成模型任务的测试，可以大幅提升用户体验和效率，用户将测试数据和测试代码进行打包整理，Kubernetes集群可自动筛选物理机或虚拟机节点进行部署测试，只需要满足该节点的数据要求，无需人工反复的SSH操作。
与上述实施例1相对应的，本发明实施例2提出了一种基于Kubernetes的自动化模型测试系统，该系统包括：
测试数据和脚本整理模块，用于打包整理测试数据集和测试脚本；
容器创建模块，用于创建虚拟化容器；
环境安装模块，应用安装并执行依赖的环境；
拷贝模块，用于将所述测试数据集和测试脚本进行拷贝；
测试模块，用于在所述虚拟化容器中自动化执行拷贝的测试脚本代码；
存储模块，用于存储测试结果。
进一步地，该系统还包括：容器销毁模块，用于将所述虚拟化容器进行销毁。
进一步地，该系统还包括：历史日志模块，用于生成历史日志以便在测试完成后进行查询。
本发明实施例提供的一种基于Kubernetes的自动化模型测试系统中各模块所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。
本发明实施例3提出了一种计算机存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种基于Kubernetes的自动化模型测试系统执行如实施例1所述的一种基于Kubernetes的自动化模型测试。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (7)
1.一种基于Kubernetes的自动化模型测试方法，其特征在于，所述方法包括：
打包整理测试数据集和测试脚本；
创建虚拟化容器；
安装并执行依赖的环境；
将所述测试数据集和测试脚本进行拷贝；
在所述虚拟化容器中自动化执行拷贝的测试脚本代码；
存储测试结果。
2.根据权利要求1所述的一种基于Kubernetes的自动化模型测试方法，其特征在于，在测试完成之后，所述方法还包括：
将所述虚拟化容器进行销毁。
3.根据权利要求1所述的一种基于Kubernetes的自动化模型测试方法，其特征在于，所述方法还包括：
生成历史日志以便在测试完成后进行查询。
4.一种基于Kubernetes的自动化模型测试系统，其特征在于，所述系统包括：
测试数据和脚本整理模块，用于打包整理测试数据集和测试脚本；
容器创建模块，用于创建虚拟化容器；
环境安装模块，应用安装并执行依赖的环境；
拷贝模块，用于将所述测试数据集和测试脚本进行拷贝；
测试模块，用于在所述虚拟化容器中自动化执行拷贝的测试脚本代码；
存储模块，用于存储测试结果。
5.根据权利要求4所述的一种基于Kubernetes的自动化模型测试系统，其特征在于，所述系统还包括：
容器销毁模块，用于将所述虚拟化容器进行销毁。
6.根据权利要求4所述的一种基于Kubernetes的自动化模型测试系统，其特征在于，所述系统还包括：
历史日志模块，用于生成历史日志以便在测试完成后进行查询。
7.一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于Kubernetes的自动化模型测试系统执行如权利要求1-3任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010967696.0A CN112162920A (zh) | 2020-09-15 | 2020-09-15 | 一种基于Kubernetes的自动化模型测试方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010967696.0A CN112162920A (zh) | 2020-09-15 | 2020-09-15 | 一种基于Kubernetes的自动化模型测试方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112162920A true CN112162920A (zh) | 2021-01-01 |
Family
ID=73858791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010967696.0A Pending CN112162920A (zh) | 2020-09-15 | 2020-09-15 | 一种基于Kubernetes的自动化模型测试方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112162920A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114116481A (zh) * | 2021-11-26 | 2022-03-01 | 上海道客网络科技有限公司 | 基于Kubernetes系统的人工智能算法模型的测试方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150178182A1 (en) * | 2011-10-07 | 2015-06-25 | Syntel, Inc. | Software testing platform and method |
| CN108334437A (zh) * | 2018-03-02 | 2018-07-27 | 江苏电力信息技术有限公司 | 一种基于持续集成及自动化测试的软件持续交付验收方法 |
| CN109491674A (zh) * | 2018-11-07 | 2019-03-19 | 李斌 | 一种在Kubernetes集群中自动部署服务的方法与系统 |
| CN110378463A (zh) * | 2019-07-15 | 2019-10-25 | 北京智能工场科技有限公司 | 一种人工智能模型标准化训练平台及自动化系统 |
| CN110795356A (zh) * | 2019-11-01 | 2020-02-14 | 普元信息技术股份有限公司 | 基于Ansible实现软件一键式部署与自动化测试的系统及其方法 |
-
2020
- 2020-09-15 CN CN202010967696.0A patent/CN112162920A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150178182A1 (en) * | 2011-10-07 | 2015-06-25 | Syntel, Inc. | Software testing platform and method |
| CN108334437A (zh) * | 2018-03-02 | 2018-07-27 | 江苏电力信息技术有限公司 | 一种基于持续集成及自动化测试的软件持续交付验收方法 |
| CN109491674A (zh) * | 2018-11-07 | 2019-03-19 | 李斌 | 一种在Kubernetes集群中自动部署服务的方法与系统 |
| CN110378463A (zh) * | 2019-07-15 | 2019-10-25 | 北京智能工场科技有限公司 | 一种人工智能模型标准化训练平台及自动化系统 |
| CN110795356A (zh) * | 2019-11-01 | 2020-02-14 | 普元信息技术股份有限公司 | 基于Ansible实现软件一键式部署与自动化测试的系统及其方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114116481A (zh) * | 2021-11-26 | 2022-03-01 | 上海道客网络科技有限公司 | 基于Kubernetes系统的人工智能算法模型的测试方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10860339B2 (en) | Autonomous creation of new microservices and modification of existing microservices | |
| CN106528224B (zh) | 一种Docker容器的内容更新方法、服务器及系统 | |
| CN107766050B (zh) | 一种异构应用的部署方法以及装置 | |
| US7398514B2 (en) | Test automation stack layering | |
| CN112835560A (zh) | Web多终端低代码智能软件开发平台 | |
| US9996336B2 (en) | Apparatus and method for validating application deployment topology in cloud computing environment | |
| CN105512029A (zh) | 一种测试智能终端的方法、服务器及系统 | |
| CN110109681B (zh) | 不同平台间代码的转换方法及系统 | |
| CN103092751B (zh) | 一种云环境下基于用户行为模型的web应用性能测试系统 | |
| CN106326088B (zh) | 实现构建测试对象的方法、装置及业务配置测试的装置 | |
| CN109460268B (zh) | 应用参数配置方法、装置和系统 | |
| CN103067501A (zh) | PaaS平台的大数据处理方法 | |
| CN117170803A (zh) | 生成信创操作系统流水线的方法、电子设备及存储介质 | |
| US10579342B1 (en) | Encapsulated application templates for containerized application software development | |
| CN112162920A (zh) | 一种基于Kubernetes的自动化模型测试方法及系统 | |
| CN114416547A (zh) | 基于测试用例的测试方法 | |
| CN110795105A (zh) | 一种配电自动化主站系统自动编译部署方法与系统 | |
| CN113268252B (zh) | 基于虚拟化工控设备的镜像制作方法、系统及存储介质 | |
| CN117632904A (zh) | 一种基于模型驱动的数据同步方法及系统 | |
| CN112732265B (zh) | 一种数据处理方法和相关装置 | |
| CN107357605A (zh) | 运行安装文件的方法和装置 | |
| CN111638939A (zh) | 一种Kubernetes容器平台应用生命周期的管理系统和方法 | |
| CN107015787B (zh) | 一种交互式应用框架设计的方法及装置 | |
| CN112596750B (zh) | 应用测试方法、装置、电子设备及计算机可读存储介质 | |
| CN111832260B (zh) | 一种syslog日志到电力系统通用告警日志的转换方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210101 |