CN112241256A - 一种人工智能模型部署系统 - Google Patents
一种人工智能模型部署系统 Download PDFInfo
- Publication number
- CN112241256A CN112241256A CN202011229229.4A CN202011229229A CN112241256A CN 112241256 A CN112241256 A CN 112241256A CN 202011229229 A CN202011229229 A CN 202011229229A CN 112241256 A CN112241256 A CN 112241256A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- submodule
- development
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 97
- 238000011161 development Methods 0.000 claims abstract description 55
- 238000013523 data management Methods 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000007726 management method Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 23
- 238000012795 verification Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 238000013515 script Methods 0.000 claims description 13
- 238000004140 cleaning Methods 0.000 claims description 11
- 238000013500 data storage Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 7
- 238000004590 computer program Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Stored Programmes (AREA)
Abstract
本发明属于软件开发管理技术领域，具体涉及一种人工智能模型部署系统，包括数据管理模块、算法和软件开发模块、工程部署计算机硬件模块，所述算法和软件开发模块分别通过通信连接有数据管理模块、工程部署计算机硬件模块，所述算法和软件开发模块内设置有算法开发子模块、软件开发子模块，所述算法开发子模块与软件开发子模块连接。本发明完整的提供了人工智能算法开发和部署框架，实现了从开发到工程落地的完整流程。在算法开发阶段，需要使用到的工具流程和开发过程，从而帮助开发人员快速验证算法和思路。在算法落地阶段，开发人员可以快速高效的将算法移植到对应的平台上。本发明用于人工智能模型的部署。
Description
技术领域
本发明属于软件开发管理技术领域，具体涉及一种人工智能模型部署系统。
背景技术
随着人工智能技术的发展,各种各样的人工智能技术层出不穷,极大提升了算法的效果,带来了更多的商业落地场景和智能产品,为生活带来了更多的便利。在开发一个商业化的人工智能产品时，AI算法只是其中的一部分，数据的采集，处理和标注；模型的训练，验证和部署也是很重要的一部分。除此之外，针对不同的算力平台，还需要对模型进行加速和优化。当前，为提升整体算法的效果和更新迭代速度，对人工智能开发系统模块化，自动化，流程化的要求越来越高。对于在不同平台上落地的AI算法，可以进行针对性的优化和差异化的部署，充分调动硬件的算力，保证算法效果的稳定性，增强产品的效果，提升算法开发人员的开发效率。
现有技术存在的问题或者缺陷：现有的算法开发框架，更关注模型训练和验证阶段，对其他环节的支持有限，并不能满足算法落地时对数据管理，模型训练和部署差异化的具体要求。
发明内容
针对上述现有的算法开发框架不能满足算法落地时对数据管理、模型训练和部署差异化的技术问题，本发明提供了一种效率高、使用方便、误差小的人工智能模型部署系统。
为了解决上述技术问题，本发明采用的技术方案为：
一种人工智能模型部署系统，包括数据管理模块、算法和软件开发模块、工程部署计算机硬件模块，所述算法和软件开发模块分别通过通信连接有数据管理模块、工程部署计算机硬件模块，所述数据管理模块用于对算法开发和算法落地的全部阶段进行数据处理以及权限管制，所述工程部署计算机硬件模块通过模型转换工具将算法和软件开发模块完成的架构和算法模型匹配到目标运算平台，所述算法和软件开发模块内设置有算法开发子模块、软件开发子模块，所述算法开发子模块与软件开发子模块连接。
所述数据管理模块包括数据获取子模块、数据清洗子模块、数据处理子模块、数据存储子模块，所述数据获取子模块通过通信连接有数据清洗子模块，所述数据获取子模块获取原始数据源，所述数据清洗子模块通过通信连接有数据处理子模块，所述数据处理子模块通过通信连接有数据存储子模块。
所述数据存储子模块设置一种或多种相互独立的储存单元。
所述数据管理模块内设置有数据权限管理子模块。
所述算法开发子模块包括基准模型单元、模型训练单元、验证测试单元、输出单元，所述基准模型单元与模型训练单元连接，所述模型训练单元与验证测试单元连接，所述验证测试单元与输出单元连接，所述基准模型单元内设置有至少两种预训练基准算法模型，所述模型训练单元设置有可视化监督工具，所述验证测试单元根据模型效果进行反复迭代同时更新算法。
所述软件开发子模块包括软件构架搭建单元、开发算法接口、测试和脚本单元，所述软件构架搭建单元与开发算法接口连接，所述开发算法接口与测试和脚本单元连接，所述软件构架搭建单元根据产品的业务和使用逻辑完成软件整体层面的架构，所述开发算法接口与算法开发子模块的输出单元连接，所述开发算法接口适配算法开发子模块的定型算法，所述测试和脚本单元用于软件和算法的测试和脚本保存。
本发明与现有技术相比，具有的有益效果是：
本发明完整的提供了人工智能算法开发和部署框架，实现了从开发到工程落地的完整流程。在算法开发阶段，需要使用到的工具流程和开发过程，从而帮助开发人员快速验证算法和思路。在算法落地阶段，开发人员可以快速高效的将算法移植到对应的平台上，而不用担心适配问题，提升算法和软件开发人员的整体效率。
附图说明
图1为本发明的整体结构示意图；
图2为本发明数据管理模块的工作流程图；
图3为本发明算法和软件开发模块的工作流程图；
图4为本发明工程部署计算机硬件模块的工作流程图。
其中：1为数据管理模块，2为算法和软件开发模块，3为工程部署计算机硬件模块，201为算法开发子模块，202为软件开发子模块，101为数据获取子模块，102为数据清洗子模块，103为数据处理子模块，104为数据存储子模块，105为数据权限管理子模块，2011为基准模型单元，2012为模型训练单元，2013为验证测试单元，2014为输出单元，2021为软件构架搭建单元，2022为开发算法接口，2023为测试和脚本单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种人工智能模型部署系统，如图1所示，包括数据管理模块1、算法和软件开发模块2、工程部署计算机硬件模块3，算法和软件开发模块2分别通过通信连接有数据管理模块1、工程部署计算机硬件模块3，数据管理模块1用于对算法开发和算法落地的全部阶段进行数据处理以及权限管制，工程部署计算机硬件模块3通过模型转换工具将算法和软件开发模块2完成的架构和算法模型匹配到目标运算平台，算法和软件开发模块2内设置有算法开发子模块201、软件开发子模块202，算法开发子模块201与软件开发子模块202连接。工程部署计算机硬件模块3针对不同的算力平台，使用对应的模型转换工具，将模型转换为平台支持的运行格式，再根据不同平台的算力支持情况，对模型进行模型剪枝，量化和蒸馏的优化和加速。
进一步，数据管理模块1包括数据获取子模块101、数据清洗子模块102、数据处理子模块103、数据存储子模块104，数据获取子模块101通过通信连接有数据清洗子模块102，数据获取子模块101获取原始数据源，数据清洗子模块101通过通信连接有数据处理子模块103，数据处理子模块103通过通信连接有数据存储子模块104。如图2所示，当确定具体的需求时，根据不同的业务场景，通过数据获取子模块101收集对应的数据。首先收集开源的数据，接着采集业务场景中的数据。数据采集完成之后，通过数据清洗子模块102对数据进行清理。然后通过数据处理子模块103对数据进行标注，并将数据分为开发集，验证集和测试集。最后通过数据存储子模块104将标注信息和原始数据存储在对应的数据库中，并针对不同级别的开发人员和不同的开发周期，对数据赋予不同的权限。
进一步，优选的，数据存储子模块104设置一种或多种相互独立的储存单元。
进一步，数据管理模块1内设置有数据权限管理子模块105。数据权限管理子模块105根据开发人员级别和开发周期长短，对开发者赋予不同层级的数据使用的权限。
进一步，算法开发子模块201包括基准模型单元2011、模型训练单元2012、验证测试单元2013、输出单元2014，基准模型单元2011与模型训练单元2012连接，模型训练单元2012与验证测试单元2013连接，验证测试单元2013与输出单元2014连接，基准模型单元2011内设置有至少两种预训练基准算法模型，模型训练单元2012设置有可视化监督工具，验证测试单元2013根据模型效果进行反复迭代同时更新算法。
进一步，软件开发子模块202包括软件构架搭建单元2021、开发算法接口2022、测试和脚本单元2023，软件构架搭建单元2021与开发算法接口2022连接，开发算法接口2022与测试和脚本单元2023连接，软件构架搭建单元2021根据产品的业务和使用逻辑完成软件整体层面的架构，开发算法接口2022与算法开发子模块201的输出单元2014连接，开发算法接口2022适配算法开发子模块201的定型算法，测试和脚本单元2023用于软件和算法的测试和脚本保存。如图3所示，开发人员在获得数据之后，从系统提供的预训练算法库中，选择一个基准算法，然后在训练集中进行训练，在验证集中评估模型的效果，根据具体的问题，迭代循环去完善模型指标。在开发过程中，系统提供了可视化评估平台，可以随时对模型指标和效果进行评估，提供充足的决策信息，帮助算法开发人员得到更好的算法模型。
该系统作为一个完整的开发和部署系统，其对应的硬件平台主要包括CPU处理器，存储硬件，GPU计算平台和各种端上平台。CPU处理器是该系统进行资源调度的核心。存储硬件用来管理数据。GPU计算平台主要用来模型的训练和验证。各种端上平台用来进行模型的部署。
本发明中的模块、单元或组件的划分仅仅是一种逻辑功能的划分，在实际实现时可以有其他的划分方式，例如多个模块和/或单元可以结合或集成于另一个系统中。作为分离部件说明的模块、单元、组件在物理上可以是分开的，也可以是不分开的。作为单元显示的部件可以是物理单元，也可以不是物理单元，即可以位于一个具体地方，也可以分布到网格单元中。因此可以根据实际需要选择其中的部分或全部的单元来实现实施例的方案。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质，包括但不限于磁盘存储器、CD-ROM、光学存储器等，上实施的计算机程序产品的形式。
上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。
Claims (6)
1.一种人工智能模型部署系统，其特征在于：包括数据管理模块(1)、算法和软件开发模块(2)、工程部署计算机硬件模块(3)，所述算法和软件开发模块(2)分别通过通信连接有数据管理模块(1)、工程部署计算机硬件模块(3)，所述数据管理模块(1)用于对算法开发和算法落地的全部阶段进行数据处理以及权限管制，所述工程部署计算机硬件模块(3)通过模型转换工具将算法和软件开发模块(2)完成的架构和算法模型匹配到目标运算平台，所述算法和软件开发模块(2)内设置有算法开发子模块(201)、软件开发子模块(202)，所述算法开发子模块(201)与软件开发子模块(202)连接。
2.根据权利要求1所述的一种人工智能模型部署系统，其特征在于：所述数据管理模块(1)包括数据获取子模块(101)、数据清洗子模块(102)、数据处理子模块(103)、数据存储子模块(104)，所述数据获取子模块(101)通过通信连接有数据清洗子模块(102)，所述数据获取子模块(101)获取原始数据源，所述数据清洗子模块(101)通过通信连接有数据处理子模块(103)，所述数据处理子模块(103)通过通信连接有数据存储子模块(104)。
3.根据权利要求2所述的一种人工智能模型部署系统，其特征在于：所述数据存储子模块(104)设置一种或多种相互独立的储存单元。
4.根据权利要求2所述的一种人工智能模型部署系统，其特征在于：所述数据管理模块(1)内设置有数据权限管理子模块(105)。
5.根据权利要求1所述的一种人工智能模型部署系统，其特征在于：所述算法开发子模块(201)包括基准模型单元(2011)、模型训练单元(2012)、验证测试单元(2013)、输出单元(2014)，所述基准模型单元(2011)与模型训练单元(2012)连接，所述模型训练单元(2012)与验证测试单元(2013)连接，所述验证测试单元(2013)与输出单元(2014)连接，所述基准模型单元(2011)内设置有至少两种预训练基准算法模型，所述模型训练单元(2012)设置有可视化监督工具，所述验证测试单元(2013)根据模型效果进行反复迭代同时更新算法。
6.根据权利要求1所述的一种人工智能模型部署系统，其特征在于：所述软件开发子模块(202)包括软件构架搭建单元(2021)、开发算法接口(2022)、测试和脚本单元(2023)，所述软件构架搭建单元(2021)与开发算法接口(2022)连接，所述开发算法接口(2022)与测试和脚本单元(2023)连接，所述软件构架搭建单元(2021)根据产品的业务和使用逻辑完成软件整体层面的架构，所述开发算法接口(2022)与算法开发子模块(201)的输出单元(2014)连接，所述开发算法接口(2022)适配算法开发子模块(201)的定型算法，所述测试和脚本单元(2023)用于软件和算法的测试和脚本保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011229229.4A CN112241256A (zh) | 2020-11-06 | 2020-11-06 | 一种人工智能模型部署系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011229229.4A CN112241256A (zh) | 2020-11-06 | 2020-11-06 | 一种人工智能模型部署系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112241256A true CN112241256A (zh) | 2021-01-19 |
Family
ID=74170018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011229229.4A Pending CN112241256A (zh) | 2020-11-06 | 2020-11-06 | 一种人工智能模型部署系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112241256A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150106791A1 (en) * | 2013-10-14 | 2015-04-16 | Cognizant Technology Solutions India Pvt. Ltd. | System and method for automating build deployment and testing processes |
| CN109582294A (zh) * | 2018-12-28 | 2019-04-05 | 中国科学院电子学研究所苏州研究院 | 一种内嵌式机器学习系统的软件体系结构设计方法 |
| CN110378463A (zh) * | 2019-07-15 | 2019-10-25 | 北京智能工场科技有限公司 | 一种人工智能模型标准化训练平台及自动化系统 |
| CN111399861A (zh) * | 2020-03-11 | 2020-07-10 | 中国建设银行股份有限公司 | 一种软件自动化部署方法及系统 |
| CN111612132A (zh) * | 2020-05-20 | 2020-09-01 | 广东电网有限责任公司 | 一种人工智能算法开发系统、训练方法、设备及介质 |
-
2020
- 2020-11-06 CN CN202011229229.4A patent/CN112241256A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150106791A1 (en) * | 2013-10-14 | 2015-04-16 | Cognizant Technology Solutions India Pvt. Ltd. | System and method for automating build deployment and testing processes |
| CN109582294A (zh) * | 2018-12-28 | 2019-04-05 | 中国科学院电子学研究所苏州研究院 | 一种内嵌式机器学习系统的软件体系结构设计方法 |
| CN110378463A (zh) * | 2019-07-15 | 2019-10-25 | 北京智能工场科技有限公司 | 一种人工智能模型标准化训练平台及自动化系统 |
| CN111399861A (zh) * | 2020-03-11 | 2020-07-10 | 中国建设银行股份有限公司 | 一种软件自动化部署方法及系统 |
| CN111612132A (zh) * | 2020-05-20 | 2020-09-01 | 广东电网有限责任公司 | 一种人工智能算法开发系统、训练方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Vidal | Applied simulated annealing | |
| CN109376869A (zh) | 一种基于异步贝叶斯优化的机器学习超参优化系统及方法 | |
| CN113010393A (zh) | 基于混沌工程的故障演练方法及装置 | |
| CN111967656A (zh) | 多灾点应急救援指挥控制组织资源调度方法及系统 | |
| CN111241778B (zh) | 一种基于机器学习的fpga自动调参优化方法及系统 | |
| CN114139475A (zh) | 芯片验证方法、系统、设备及存储介质 | |
| CN113867295A (zh) | 一种基于数字孪生的制造车间agv动态调度方法、系统、设备及存储介质 | |
| CN116432570A (zh) | 一种芯片的测试用例生成方法、装置及存储介质 | |
| Curzel et al. | Automated generation of integrated digital and spiking neuromorphic machine learning accelerators | |
| CN115543626A (zh) | 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法 | |
| CN116127899A (zh) | 芯片设计系统、方法、电子设备和存储介质 | |
| CN103020382A (zh) | 基于bom的多实例聚合仿真建模方法 | |
| CN113010296B (zh) | 基于形式化模型的任务解析与资源分配方法及系统 | |
| CN109255148B (zh) | 力学产品设计方法及其系统 | |
| CN112241256A (zh) | 一种人工智能模型部署系统 | |
| Qian et al. | Elasticai-creator: Optimizing neural networks for time-series-analysis for on-device machine learning in iot systems | |
| CN117149410A (zh) | 一种基于ai智能模型训练调度指挥监控系统 | |
| CN109214043B (zh) | 数字飞行器动力学环境信息传输源代码人工智能书写方法 | |
| CN112000708A (zh) | 一种基于调控配用数据融合的异常数据处理方法及系统 | |
| CN115545793A (zh) | 新型电力系统电网基础模型构建方法、系统、设备及介质 | |
| CN110048886A (zh) | 一种大数据分析任务的高效云配置选择算法 | |
| CN115587480A (zh) | 数字化仿真方法以及数字化仿真装置 | |
| CN103049301A (zh) | 基于bom的多实例聚合仿真建模系统 | |
| CN109145503A (zh) | 一种光伏电站集群的高精度动态建模方法 | |
| CN111523685B (zh) | 基于主动学习的降低性能建模开销的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |