CN113608880A - 算法模型部署系统 - Google Patents

算法模型部署系统 Download PDF

Info

Publication number
CN113608880A
CN113608880A CN202111153607.XA CN202111153607A CN113608880A CN 113608880 A CN113608880 A CN 113608880A CN 202111153607 A CN202111153607 A CN 202111153607A CN 113608880 A CN113608880 A CN 113608880A
Authority
CN
China
Prior art keywords
model
module
algorithm
algorithm model
issuing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111153607.XA
Other languages
English (en)
Inventor
杜冬冬
成建洪
罗启铭
吴育校
陈功
覃江威
熊皓
刘小双
叶佩玉
冯建设
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Original Assignee
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinrun Fulian Digital Technology Co Ltd filed Critical Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority to CN202111153607.XA priority Critical patent/CN113608880A/zh
Publication of CN113608880A publication Critical patent/CN113608880A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种算法模型部署系统。系统包括模型管理模块,用于将算法模型转换为预设格式的模型文件,并将模型文件下发至模型发布模块;模型发布模块,与模型管理模块连接,用于接收模型文件、确定模型文件的参数数据,将参数数据和模型文件处理成镜像包,并将镜像包下发至服务器节点以生成算法模型;数据采集模块,与模型发布模块连接,用于获取参数数据中的负载均衡策略,并基于负载均衡策略实现算法模型的灰度发布。采用本发明提供的方案通过将算法工程师训练出来的算法模型转换为统一格式的模型文件,可实现算法模型的统一部署,实现标准化管理;另外,通过灰度发布可实现平滑进行模型部署时的模型切换。

Description

算法模型部署系统
技术领域
本发明涉及系统配置技术领域,尤其涉及一种算法模型部署系统。
背景技术
算法部署是一件比较费时费力的工作。在企业的智能化应用中,我们经常会碰到一个问题:用了复杂的机器学习算法或者改进算法可以大大提升模型效果,但是在模型上线时却无法满足工程要求。这里因为:算法工程师和业务开发工程师掌握的技术集和工具是不同的,算法工程师一般使用python,R等计算机编程语言,而业务开发工程师则一般使用java等计算机编程语言。算法工程师负责算法模型的训练和导出算法模型,业务开发工程师负责导入算法模型和基于算法模型进行预测。因此,当算法工程师和业务开发工程师运用的语言不同时,会使算法工程师辛苦作出的算法模型,业务开发工程师无法使用,影响业务落地和业务进度。
发明内容
为解决算法工程师和业务开发工程师对于算法模型的使用不统一的技术问题,本发明实施例提供一种算法模型部署系统。
本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种算法模型部署系统,系统包括:
模型管理模块,用于将算法模型转换为预设格式的模型文件,并将所述模型文件下发至模型发布模块;
模型发布模块,与所述模型管理模块连接,用于接收所述模型文件、确定所述模型文件的参数数据,将所述参数数据和所述模型文件处理成镜像包,并将所述镜像包下发至服务器节点以生成算法模型;
数据采集模块,与所述模型发布模块连接,用于获取所述参数数据中的负载均衡策略,并基于所述负载均衡策略实现所述算法模型的灰度发布。
上述方案中,所述系统还包括:
服务运维模块,与所述模型发布模块连接,用于获取所述服务器节点的配置信息,根据所述服务器节点的配置信息对所述算法模型的负载进行配置。
上述方案中,所述服务运维模块,还用于当所述算法模型的负载大于第一预设阈值时,增加所述算法模型所对应的服务节点的数量;当所述算法模型的负载小于第二预设阈值时,减少所述算法模型所对应的服务节点的数量。
上述方案中,所述数据采集模块还用于对新生成的算法模型分配第一负载比例的流量,对原有的算法模型分配第二负载比例的流量,监测分配后的算法模型的稳定情况,当所述算法模型的稳定情况达到预设要求时,将全部的负载流量分配给所述新生成的算法模型。
上述方案中,所述数据采集模块,还用于采集设备的数据信息和所述算法模型的特征信息。
上述方案中,所述系统还包括:
实时数据仓库模块,与所述模型发布模块和所述数据采集模块连接,用于接收所述算法模型的特征信息和所述设备的数据信息,并将所述特征信息和所述数据信息提供给外部系统。
上述方案中,所述数据采集模块,还用于通过所述算法模型生成的接口获取所述算法模型的特征信息。
上述方案中,所述模型管理模块,还用于对所述模型文件进行统一管理。
上述方案中,所述模型发布模块,还用于调用所述服务器节点上的其他模型。
上述方案中,所述模型管理模块,还用于调用预设库将所述算法模型转换为预设格式的模型文件。
本发明实施例提供的算法模型部署系统,系统包括模型管理模块,用于将算法模型转换为预设格式的模型文件,并将所述模型文件下发至模型发布模块;模型发布模块,与所述模型管理模块连接,用于接收所述模型文件、确定所述模型文件的参数数据,将所述参数数据和所述模型文件处理成镜像包,并将所述镜像包下发至服务器节点以生成算法模型;数据采集模块,与所述模型发布模块连接,用于获取所述参数数据中的负载均衡策略,并基于所述负载均衡策略实现所述算法模型的灰度发布。采用本发明提供的方案通过将算法工程师训练出来的算法模型转换为统一格式的模型文件,可实现算法模型的统一部署,实现标准化管理;另外,通过灰度发布可实现平滑进行模型部署时的模型切换。
附图说明
图1为本发明实施例算法模型部署系统的结构示意图;
图2为本发明应用实施例系统架构示意图;
图3为本发明实施例计算机设备的内部结构图。
具体实施方式
下面将结合附图及实施例对本发明作进一步详细的描述。
本发明实施例提供了一种算法模型部署系统,如图1所示,该系统包括:
模型管理模块101,用于将算法模型转换为预设格式的模型文件,并将所述模型文件下发至模型发布模块;
模型发布模块102,与所述模型管理模块连接,用于接收所述模型文件、确定所述模型文件的参数数据,将所述参数数据和所述模型文件处理成镜像包,并将所述镜像包下发至服务器节点以生成算法模型;
数据采集模块103,与所述模型发布模块连接,用于获取所述参数数据中的负载均衡策略,并基于所述负载均衡策略实现所述算法模型的灰度发布。
具体地,预设格式可以为预言模型标记语言(PMML,Predictive Model MarkupLanguage)格式。
预言模型标记语言(Predictive Model Markup Language,PMML)是一种利用XML描述和存储数据挖掘模型的标准语言,它依托XML本身特有的数据分层思想和应用模式,实现了数据挖掘中模型的可移植性。
对于复杂的数据挖掘任务,往往需要运用多种数据挖掘技术,应用不同的数据挖掘工具,然后这些工具之间必须要能够互相交换结果,才能保证整个任务的顺利完成。PMML可提供一个开放的数据格式支持,使得算法模型在部署时,不用考虑算法模型具体是由哪一编程语言和编程工具产生的,具体统一性。另外,选择PMML格式进行算法模型的部署,可实现算法模型在网络上部署的易实施性,和易于将算法模型结果导入到其他支持这种标准的工具和系统中。此外,PMML可以支持算法模型在不同的系统和平台上运行,不受系统和平台的限制,实现算法模型在不同系统和平台上的交互。
实际应用时,可通过库函数实现算法模型的格式转换,具体地,该库函数可以为sklearn2pmml。
sklearn2pmml是一种用于转换成PMML的Python库。使用sklearn2pmml 可以在python中,训练完模型之后,直接将模型导出为PMML文件。
具体地,模型文件的参数数据可包括模型文件的入参、特征参数、调用链和负载均衡策略。实际应用时,通过镜像包会在服务器节点生成一个容器,模型文件会复制到该容器中并运行。
实际应用时,将模型文件和参数数据封装成镜像包之后,还可通过Java调用这个镜像包来实现算法模型的使用。具体地,在通过Java调用这个镜像包之前,可先进行环境搭建,即可基于应用容器引擎的方式搭建一个用于机器学习模型的高性能开源库。该高性能开源库可以为TensorFlow Serving。该高性能开源库可以将训练好的机器学习模型部署到线上,使用远程过程调用(Remote Procedure Call,RPC)作为接口接受外部调用。在搭建了高性能开源库之后,可拉取镜像包,利用该镜像包创建镜像,新建服务实例,完成环境搭建。
进一步地,由于版本问题,基于转换后的模型文件生成的算法模型时,可能存在不兼容问题。基于此,需要在安装时进行相应处理。例如,对算法模型进行一致性测试,分别在不同的编程语言环境中加载相同的算法模型,并输入10住不同的数据,来比对输出结果,具体地,该不同的编程语言环境可以为 Python和Tensorflow Serving。具体地,在对比时,可采用单线程和多线程请求的双重请求方式进行比对,提高一致性测试精度。
具体地,在一实施例中,所述系统还包括:
服务运维模块,与所述模型发布模块连接,用于获取所述服务器节点的配置信息,根据所述服务器节点的配置信息对所述算法模型的负载进行配置。
进一步地,在一实施例中,所述服务运维模块,还用于当所述算法模型的负载大于第一预设阈值时,增加所述算法模型所对应的服务节点的数量;当所述算法模型的负载小于第二预设阈值时,减少所述算法模型所对应的服务节点的数量。
实际应用时,由于无法保证部署好的新的模型的效果一定比原有的模型的效果好,因此,可采用一种平滑过度的方式即灰度发布,可以保证整体系统的稳定。
具体地,在一实施例中,所述数据采集模块还用于对新生成的算法模型分配第一负载比例的流量,对原有的算法模型分配第二负载比例的流量,监测分配后的算法模型的稳定情况,当所述算法模型的稳定情况达到预设要求时,将全部的负载流量分配给所述新生成的算法模型。
实际应用时,第一负载比例和第二负载比例可以根据情况进行设置。例如,第一负载比例可以为80%的流量负载,第二负载比例可以为20%的流量负载。通过将新的算法模型部分发布的方式,可以保证在初始灰度的时候(可理解为新的模型刚部分上线的时候,即对新的算法模型负载一定比例的流量,而非负载全部流量)就可以发现、调整问题,以保证其影响度,当验证新的模型效果更好,则可以迅速将所有流量切换到新的模型上,以实现模型切换的平稳过渡。
实际操作过程中,可通过多种方式监测算法模型的稳定情况。例如,获取新算法模型的模型输出结果准确率,当所述结果准确率高于一定数值,或高于目前已有的算法模型的结果准确率时,认定该算法模型稳定情况大于预设要求。例外,还可以根据算法模型的处理速度判断新算法模型的稳定情况。例如,当新算法模型的处理速度高于一定数值,或高于目前已有的算法模型的处理速度时,认定该算法模型稳定情况大于预设要求。
进一步地,在一实施例中,所述数据采集模块,还用于采集设备的数据信息和所述算法模型的特征信息。
具体地,在生成算法模型时,会对应生成相应的接口,通过该接口可以实现获取算法模型中的计算数据即特征信息。
实际应用时,数据采集模块还会连接外部设备,并获取设备的数据信息。例如,设备温度、设备湿度、设备震动频率。
进一步地,在一实施例中,所述系统还包括:
实时数据仓库模块,与所述模型发布模块和所述数据采集模块连接,用于接收所述算法模型的特征信息和所述设备的数据信息,并将所述特征信息和所述数据信息提供给外部系统。
具体地,模型发布模块和数据采集模块可以通过消息中间件向实时数据仓库模型传输信息。具体地,该实时数据仓库模块可以为数据库。该消息中间件可以为Kafka。
进一步地,在一实施例中,所述模型管理模块,还用于对所述模型文件进行统一管理。
具体地,统一管理包括模型文件的存储,版本编号的设置,版本的更新等。
进一步地,在一实施例中,所述模型发布模块,还用于调用所述服务器节点上的其他模型。
实际应用时,该其他模型可包括寿命预测模型、健康值模型等。
本发明实施例提供的算法模型部署系统,系统包括模型管理模块,用于将算法模型转换为预设格式的模型文件,并将所述模型文件下发至模型发布模块;模型发布模块,与所述模型管理模块连接,用于接收所述模型文件、确定所述模型文件的参数数据,将所述参数数据和所述模型文件处理成镜像包,并将所述镜像包下发至服务器节点以生成算法模型;数据采集模块,与所述模型发布模块连接,用于获取所述参数数据中的负载均衡策略,并基于所述负载均衡策略实现所述算法模型的灰度发布。采用本发明提供的方案通过将算法工程师训练出来的算法模型转换为统一格式的模型文件,可实现系统算法模型的统一部署,实现标准化管理;另外,通过灰度发布可实现平滑进行模型部署时的模型切换。
下面结合应用实施例对本发明再作进一步详细的描述。
本应用实施例提供一种工业场景下算法模型发布系统。用于在工业场景下配置化部署统一标准化模型,配置模型调用链及灰度发布,实现模型服务监控,模型服务统计和预警。即本实施例通过提供一套可配置化部署模型的系统,集中管理模型文件,可以动态分配流量实现模型的灰度发布,监控模型使用资源和模型运行状态。
具体地,本实施例通过java、Python等计算机编程语言,实现将离线训练得到的模型转化为PMML模型文件,并将模型文件载入在线预测环境,进行预测,并通过nginx等反向代理服务器实现模型的灰度发布,实现跨平台的机器学习模型部署。
进一步地,该系统的架构可参见图2。在该系统中,包括如下模块:模型管理模块(也称为模型集中管理模块)、服务运维模块、模型发布模块、数据采集模块(也称为数采)和实时数据仓库模块(也称为实时数仓)。
进一步地,下面将结合图2说明该部署过程,部署过程可包括:
(1)模型的集中管理
1.1将算法工程师开发的算法模型转化为统一标准的PMML文件。
具体的转换过程简单介绍为以下内容:
第一部分:使用语言Python3.7,使用第三方包sklearn,sklearn2pmml。
第二部分:执行任务,读取数据,训练模型,输出PMML文件。
第三部分:具体的代码示例可以为:
from sklearn import tree
from sklearn.datasets import load_iris
from sklearn2pmml.pipeline import PMMLPipeline
from sklearn2pmml import sklearn2pmml
if __name__ == '__main__':
# 经典数据集
iris = load_iris()
# print(iris.keys())
# 样本特征
x = iris.data
# print(x)
# 分类目标
y = iris.target
# print(y)
# 用决策树分类
pipeline = PMMLPipeline([("classifier",tree.DecisionTreeClassifier())])
# 训练
result = pipeline.fit(x, y)
print(result)
# 输出PMML文件
sklearn2pmml(pipeline, "D:\iris.pmml", with_repr=True)
1.2上传PMML文件到模型库,并提供模型版本管理服务。
1.3提供下载模型文件的接口。
(2)服务运维
2.1服务运维模块维护各个服务器节点信息,包括CPU、GPU、内存、连接信息等。
2.2监控各个节点信息,模型服务负载,当模型负载过大时动态扩容,负载减小时减少模型服务节点。
(3)模型发布
3.1配置PMML模型文件的入参、特征参数、调用链、和负载均衡策略。
3.2将模型文件和3.1配置的参数打包成Docker镜像包,根据2.1配置的服务器连接信息,下发到指定的边缘服务器。
3.3边缘服务器启动容器,提供Rest Api接口。
(4)数采服务
4.1数采服务采集设备温度、湿度、震动等信息。
4.2数采服务调用特征提取模型(模型A v1、模型A v2)的Rest Api接口,根据3.1配置的负载均衡策略实现流量分发,具体配置如下:
第一部分:编辑nginx配置文件 $ vim $NGINX_HOME/conf/nginx.conf。
第二部分:模型A v1的访问端口为8881,模型A v2的访问端口为8882,权重负载均衡需要使用weight指令定义,8881 weight=8,8882 weight=2 分别负载80%,20%的流量。
http {
upstream cluster {
server 127.0.0.1:8881 weight=8;
server 127.0.0.1:8882 weight=2;
}
server {
listen 80;
location / {
proxy_pass http://cluster;
}
}
}
第三部分: 使配置文件生效 $ nginx -s reload。
第四部分:当算法稳定时,可将二者比重调整,直至新的模型流量为100%,则模型完全发布成功。
4.3特征提取模型提取出特征值,根据3.1配置的调用链调用其它模型(模型B v1,例如:寿命预测模型、健康值模型等)。
4.4特征值结果、寿命预测结果、健康值预测结果通过Kafka上抛到实时数仓。
4.5数采服务通过Kafka上抛到实时数仓。
4.6其它模型抽取实时数仓数据进行下一步的模型计算。
本实施例能够集中管理统一标准化的模型,采用配置化方式快速上线模型服务,并提供模型服务监控和动态扩容功能,降低AI落地成本。即本实施例实现统一标准化模型文件,实现模型文件集中管理;动态的配置模型部署,实现可链式调用模型服务;通过模型的灰度发布,实现平滑切换模型;通过模型服务监控,实现弹性扩容。
基于上述程序模块的硬件实现,且为了实现本发明实施例,本发明实施例还提供了一种计算机设备,该计算机设备可以实现上述系统的所有操作。具体地,在一个实施例中,该计算机设备可以是终端,其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器101、网络接口102、显示屏104、输入装置105和存储器(图中未示出)。其中,该计算机设备的处理器101用于提供计算和控制能力。该计算机设备的存储器包括内存储器103和非易失性存储介质106。该非易失性存储介质106存储有操作系统201和计算机程序202。该内存储器103为非易失性存储介质106中的操作系统201和计算机程序202的运行提供环境。该计算机设备的网络接口102用于与外部的终端通过网络连接通信。该计算机程序被处理器101执行时以实现上述任意一项实施例的方法。该计算机设备的显示屏104可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置105可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本发明实施例提供的设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现上述任意一项实施例的方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序物体。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序物体的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序物体的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
可以理解,本发明实施例的存储器可以是易失性存储器或者非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,ReadOnly Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,RandomAccess Memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种算法模型部署系统,其特征在于,所述系统包括:
模型管理模块,用于将算法模型转换为预设格式的模型文件,并将所述模型文件下发至模型发布模块;
模型发布模块,与所述模型管理模块连接,用于接收所述模型文件、确定所述模型文件的参数数据,将所述参数数据和所述模型文件处理成镜像包,并将所述镜像包下发至服务器节点以生成算法模型;
数据采集模块,与所述模型发布模块连接,用于获取所述参数数据中的负载均衡策略,并基于所述负载均衡策略实现所述算法模型的灰度发布。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括:
服务运维模块,与所述模型发布模块连接,用于获取所述服务器节点的配置信息,根据所述服务器节点的配置信息对所述算法模型的负载进行配置。
3.根据权利要求2所述的系统,其特征在于,所述服务运维模块,还用于当所述算法模型的负载大于第一预设阈值时,增加所述算法模型所对应的服务节点的数量;当所述算法模型的负载小于第二预设阈值时,减少所述算法模型所对应的服务节点的数量。
4.根据权利要求1所述的系统,其特征在于,所述数据采集模块还用于对新生成的算法模型分配第一负载比例的流量,对原有的算法模型分配第二负载比例的流量,监测分配后的算法模型的稳定情况,当所述算法模型的稳定情况达到预设要求时,将全部的负载流量分配给所述新生成的算法模型。
5.根据权利要求1所述的系统,其特征在于,所述数据采集模块,还用于采集设备的数据信息和所述算法模型的特征信息。
6.根据权利要求5所述的系统,其特征在于,所述系统还包括:
实时数据仓库模块,与所述模型发布模块和所述数据采集模块连接,用于接收所述算法模型的特征信息和所述设备的数据信息,并将所述特征信息和所述数据信息提供给外部系统。
7.根据权利要求5所述的系统,其特征在于,所述数据采集模块,还用于通过所述算法模型生成的接口获取所述算法模型的特征信息。
8.根据权利要求1所述的系统,其特征在于,所述模型管理模块,还用于对所述模型文件进行统一管理。
9.根据权利要求1所述的系统,其特征在于,所述模型发布模块,还用于调用所述服务器节点上的其他模型。
10.根据权利要求1所述的系统,其特征在于,所述模型管理模块,还用于调用预设库将所述算法模型转换为预设格式的模型文件。
CN202111153607.XA 2021-09-29 2021-09-29 算法模型部署系统 Pending CN113608880A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111153607.XA CN113608880A (zh) 2021-09-29 2021-09-29 算法模型部署系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111153607.XA CN113608880A (zh) 2021-09-29 2021-09-29 算法模型部署系统

Publications (1)

Publication Number Publication Date
CN113608880A true CN113608880A (zh) 2021-11-05

Family

ID=78343254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111153607.XA Pending CN113608880A (zh) 2021-09-29 2021-09-29 算法模型部署系统

Country Status (1)

Country Link
CN (1) CN113608880A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546425A (zh) * 2022-01-25 2022-05-27 深圳无域科技技术有限公司 模型部署方法、装置、电子设备及存储介质
CN116880928A (zh) * 2023-09-06 2023-10-13 菲特(天津)检测技术有限公司 模型部署方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978062A (zh) * 2019-03-28 2019-07-05 北京九章云极科技有限公司 一种模型在线监控方法及系统
CN111580926A (zh) * 2020-03-25 2020-08-25 中国平安财产保险股份有限公司 模型发布方法、模型部署方法、装置、设备及存储介质
CN112764825A (zh) * 2020-12-30 2021-05-07 望海康信(北京)科技股份公司 服务集成系统及相应设备和存储介质
CN112783655A (zh) * 2021-01-29 2021-05-11 北京明略昭辉科技有限公司 基于机器学习的模型部署方法、系统、服务器和存储介质
CN112822272A (zh) * 2021-01-08 2021-05-18 上海理想信息产业(集团)有限公司 微服务灰度发布方法及装置、计算机设备及存储介质
CN113344218A (zh) * 2021-07-02 2021-09-03 百融云创科技股份有限公司 机器学习模型的部署方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978062A (zh) * 2019-03-28 2019-07-05 北京九章云极科技有限公司 一种模型在线监控方法及系统
CN111580926A (zh) * 2020-03-25 2020-08-25 中国平安财产保险股份有限公司 模型发布方法、模型部署方法、装置、设备及存储介质
CN112764825A (zh) * 2020-12-30 2021-05-07 望海康信(北京)科技股份公司 服务集成系统及相应设备和存储介质
CN112822272A (zh) * 2021-01-08 2021-05-18 上海理想信息产业(集团)有限公司 微服务灰度发布方法及装置、计算机设备及存储介质
CN112783655A (zh) * 2021-01-29 2021-05-11 北京明略昭辉科技有限公司 基于机器学习的模型部署方法、系统、服务器和存储介质
CN113344218A (zh) * 2021-07-02 2021-09-03 百融云创科技股份有限公司 机器学习模型的部署方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546425A (zh) * 2022-01-25 2022-05-27 深圳无域科技技术有限公司 模型部署方法、装置、电子设备及存储介质
CN116880928A (zh) * 2023-09-06 2023-10-13 菲特(天津)检测技术有限公司 模型部署方法、装置、设备及存储介质
CN116880928B (zh) * 2023-09-06 2023-11-21 菲特(天津)检测技术有限公司 模型部署方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Xie et al. Real-time prediction of docker container resource load based on a hybrid model of ARIMA and triple exponential smoothing
US11948014B2 (en) Multi-tenant control plane management on computing platform
CN113608880A (zh) 算法模型部署系统
US11579933B2 (en) Method for establishing system resource prediction and resource management model through multi-layer correlations
US20210227048A1 (en) Resiliency Control Engine for Network Service Mesh Systems
US20120084407A1 (en) Real-load tuning of database applications
CN113918276A (zh) 一种基于容器的sdn控制器部署方法、设备及介质
CN112882792A (zh) 信息加载方法、计算机设备及存储介质
Alyas et al. Resource Based Automatic Calibration System (RBACS) Using Kubernetes Framework.
Furtado et al. A middleware for reflective web service choreographies on the cloud
Carrusca et al. Microservices management on cloud/edge environments
CN110958138B (zh) 一种容器扩容方法及装置
CN108804210B (zh) 一种云平台的资源配置方法及装置
Kyryk et al. Infrastructure as Code and Microservices for Intent-Based Cloud Networking
CN115658287A (zh) 一种用于调度运行单元的方法、设备、介质及程序产品
US20230169168A1 (en) Detect anomalous container deployment at a container orchestration service
US20230059072A1 (en) Configuring unused scm memory space to support namespaces based on io patterns
Herlicq et al. Nextgenemo: an efficient provisioning of edge-native applications
CN113742646A (zh) 将单语言复合函数编译为单个实体
US20200202265A1 (en) Automated parenting of work items in a resource management structure
CN113296825A (zh) 一种应用的灰度发布方法、装置和应用发布系统
Wang et al. Nbuflow: A dataflow based universal task orchestration and offloading platform for low-cost development of IoT systems with cloud-edge-device collaborative computing
CN116991674B (zh) 用于不动产登记信息的高并发服务架构及其数据处理方法
Florio Design and management of distributed self-adaptive systems
CN110971642A (zh) 云计算平台数据处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211105

RJ01 Rejection of invention patent application after publication