CN110175677A - 自动更新方法、装置、计算机设备及存储介质 - Google Patents

自动更新方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110175677A
CN110175677A CN201910301894.0A CN201910301894A CN110175677A CN 110175677 A CN110175677 A CN 110175677A CN 201910301894 A CN201910301894 A CN 201910301894A CN 110175677 A CN110175677 A CN 110175677A
Authority
CN
China
Prior art keywords
model
machine learning
training
learning model
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910301894.0A
Other languages
English (en)
Inventor
黄晓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN201910301894.0A priority Critical patent/CN110175677A/zh
Publication of CN110175677A publication Critical patent/CN110175677A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Abstract

本发明提供一种机器训练模型的自动更新方法、装置、计算机设备及存储介质，其中所述方法包括：监听配置文件中的模型训练周期，在到达所述模型训练周期时触发更新任务；根据所述更新任务进行第一机器学习模型的训练；监听到训练完成时，将训练好的第一机器学习模型下载到本地目录；将原机器学习模型更新为所述第一机器学习模型。通过本发明的方案，能够将模型训练端生成的机器训练模型自动提供给客户端调用。本发明通过指令和配置方式设定模型加载的任务信息,通过文件服务器+消息队列方式连接模型训练端,系统内部实现监听,接收到新模型后加工封装再热部署,这样就可以实现机器训练模型的自动化部署。

Description

自动更新方法、装置、计算机设备及存储介质
技术领域
本发明涉及机器学习技术领域，尤其涉及一种具有时间管理功能的自动更新方法、系统、计算机设备及存储介质。
背景技术
目前机器学习模型在训练阶段和应用阶段是相互分离的状态，即在训练阶段用大量数据运算训练出需要的模型，在应用阶段则将模型手动建立成可执行的程序，并封装方法和接口进行调用。上述方式需要耗费大量的人力资源进行监控和部署，并且在更新机器学习模型时需要重新启动系统，无法自动化地实现更新模型的持续化部署。
发明内容
本发明的目的是提供一种具备时间管理功能的自动更新方法、系统、计算机设备及存储介质，用于解决现有技术存在的问题。
为实现上述目的，本发明提供一种机器训练模型的自动更新方法，包括以下步骤：
监听配置文件中的模型训练周期，在到达所述模型训练周期时触发更新任务；
根据所述更新任务进行第一机器学习模型的训练；
监听到训练完成时，将训练好的第一机器学习模型下载到本地目录；
将原机器学习模型更新为所述第一机器学习模型。
进一步地，所述将原机器学习模型更新为所述第一机器学习模型的步骤包括：
对所述第一机器学习模型进行编译；
将经过编译的所述第一机器学习模型通过类加载模式加载到运行的服务端虚拟机；
将完成加载的所述经过编译的第一机器学习模型保存至调用模型库以供客户端进行调用。
进一步地，根据所述更新任务进行机器学习模型的训练的步骤包括：
以MQ消息队列的方式向模型训练系统发送训练任务触发消息；
接收所述模型训练系统以MQ消息队列的方式发送的训练任务完成消息。
进一步地，所述将训练好的第一机器学习模型下载到本地目录的步骤包括：
从FTP服务器中下载所述第一机器学习模型。
进一步地，所述监听配置文件中的模型训练周期，在到达所述模型训练周期时触发更新任务，还包括：将当前任务状态设置为开始；
所述根据所述更新任务进行第一机器学习模型的训练，还包括：将当前任务状态设置为模型训练中；
所述监听到训练完成时，将训练好的第一机器学习模型下载到本地目录，还包括：将当前任务状态设置为模型装载中；
所述将经过编译的所述第一机器学习模型通过类加载模式加载到运行的服务端虚拟机，还包括：将当前任务状态设置为模型装载完毕；
所述将完成加载的所述经过编译的第一机器学习模型保存至调用模型库以供客户端进行调用，还包括：将当前任务状态设置为模型可调用，同时将原机器学习模型的状态设置为已过期。
进一步地，还包括在当前的机器学习模型不可用时，将所述当前的机器学习模型更换为已过期的机器学习模型的步骤。
为实现上述目的，本发明提供一种机器训练模型的自动更新装置，包括：
任务触发模块，适用于监听配置文件中的模型训练周期，在到达所述模型训练周期时触发更新任务；
模型训练模块，适用于根据所述更新任务进行第一机器学习模型的训练；
模型下载模块，适用于监听到训练完成时，将训练好的第一机器学习模型下载到本地目录；
自动更新模块，适用于将原机器学习模型更新为所述第一机器学习模型。
进一步地，所述自动更新模块包括：
编译模块，适用于对所述第一机器学习模型进行编译；
加载模块，适用于将经过编译的所述第一机器学习模型通过类加载模式加载到运行的服务端虚拟机；
调用模块，适用于将完成加载的所述经过编译的第一机器学习模型保存至调用模型库以供客户端进行调用。
为实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
为实现上述目的，本发明还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明提供的自动更新方法、装置、计算机设备及存储介质，适用于机器学习技术领域，为机器学习模型的更新提供一种无需人工干预的自动化管理方案。本发明连接客户端和模型训练端两大系统，其中客户端是机器训练模型的使用方，模型训练端是机器训练模型的生成方，通过本发明的方案，能够将模型训练端生成的机器训练模型自动提供给客户端调用。本发明通过指令和配置方式设定模型加载的任务信息,通过文件服务器+消息队列方式连接模型训练端,系统内部实现监听,接收到新模型后加工封装再热部署,这样就可以实现机器训练模型的自动化部署。
附图说明
图1为本发明自动更新方法实施例一的流程图；
图2为本发明自动更新装置实施例一的程序模块示意图；
图3为本发明自动更新装置实施例一的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的自动更新方法、装置、计算机设备及存储介质，适用于机器学习技术领域，为机器学习模型的更新提供一种无需人工干预的自动化管理方案。本发明连接客户端和模型训练端两大系统，其中客户端是机器训练模型的使用方，模型训练端是机器训练模型的生成方，通过本发明的方案，能够将模型训练端生成的机器训练模型自动提供给客户端调用。本发明通过指令和配置方式设定模型加载的任务信息,通过文件服务器+消息队列方式连接模型训练端,系统内部实现监听,接收到新模型后加工封装再热部署,这样就可以实现机器训练模型的自动化部署。
实施例一
请参阅图1，本实施例的一种机器训练模型的自动更新方法中，包括以下步骤：
S1：监听配置文件中的模型训练周期，在到达所述模型训练周期时触发更新任务。
本发明将机器模型训练过程中涉及的各类参数保存在配置文件中，具体的配置文件由多张配置表组成，例如记录各类服务器地址、路径等基础配置信息的基础配置表、记录机器训练模型的名称、地址、训练周期等核心配置参数的核心配置表，以及记录机器学习模型训练的任务完成状态等参数的任务记录表。本发明中的自动更新任务是根据配置文件中的设置参数进行触发的。配置文件中保存关于自动更新任务的核心数据。例如，基础配置表中(表一)包含了主要配置属性，具体包括FTP服务器地址、FTP文件路径、FTP登录密码、MQ服务器地址、MQ模型任务触发名称、MQ模型任务完成名称等。其中FTP服务器用于存放由模型训练系统训练完成的第一机器训练模型，MQ服务器用于存放客户端与模型训练端之间相互通信的消息。
FTP服务器 ml.xxxftp.pingan.com.cn
FTP路径 /opt/aimr/models/ml
FTP登陆验证(用户名密码) ********/********
MQ服务器地址 101.***.***.125:10000
MQ模型任务触发名称 AI_GE_TRIGGER
MQ模型任务完成名称 AI_GE_COMPLETE
表一程序基础配置表
任务核心配置表(表二)用于存放一条模型更新任务涉及到的主要参数，具体包括任务编号、任务名称、模型名称、模型使用接口、模型本地备份存放路径、模型训练周期、是否激活任务等。其中的模型训练周期规定了自动进行机器模型训练的频率，本发明的实施例中把模型训练周期作为自动更新任务的触发信号。例如若规定模型训练周期为每日，则本发明会在每日的相关时段(例如每天零点到六点之间)触发模型自动更新任务，用于开启模型训练端的模型训练过程。又例如规定模型训练周期为每周，则本发明会在每周的相关时段(例如每周六的零点零分)触发模型自动更新任务，用于开启模型训练端的模型训练过程。具体的触发过程可以预先设置时间节点，例如设置每天凌晨12点进行模型训练，则通过时间触发器来监听时间事件，每当时间达到凌晨12点时触发模型自动更新任务。
任务编号 01
任务名称 风控模型训练
模型名称 RiskControl
模型使用接口 /ml/model/invoke/RiskControl
模型本地备份存放路径 /opt/mlapply/models/RiskControl
模型训练周期 每月/每周/每日
是否激活任务 是
表二任务核心配置表
任务记录表(表三)中记录模型自动更新任务的状态，具体包括开始/模型训练中/模型装载中/模型装载完毕/模型可调用/模型过期等状态。通过记录训练模型在不同时期的不同状态，可以清楚呈现机器训练模型所处的训练阶段。例如，在每日的相关时段(例如空闲时段，或者最后一小时)触发模型自动更新任务时，会将当前任务状态设置为开始。关于自动更新任务的上述其它状态，本发明会在后续内容中进一步介绍。
表三任务记录表
S2：根据所述更新任务进行第一机器学习模型的训练。
本步骤用于和模型训练端交互，对模型训练端的机器模型训练过程进行管理。在模型更新任务已被触发的基础上，本发明首先发送一条模型训练任务触发消息至MQ消息队列，模型训练端从MQ消息队列中取得模型训练任务触发消息后，根据大数据中心的数据进行机器学习模型的训练。此时，本发明会在任务记录表中将自动更新任务的状态记录为模型训练中。通过MQ消息队列的方式，可以提高不同客户端调用机器训练模型的效率，并且能够在高峰期同时效应多个用户的请求。可选的MQ消息队列包括ActiveMQ，RabbitMQ，RocketMQ，Kafka等，实际使用过程中可以根据具体的集群模式、高可用性、单机吞吐量等参数进行选择，本文不在对此进行追书。另外，本发明适用的具体模型训练方法可以采用目前已经成熟的技术，例如人工神经网络、卷积神经网络等，在此不做限定。
完成训练后，模型训练端会将训练好的第一机器学习模型输出保存至FTP服务器，同时发送一条模型训练任务完成消息至MQ消息队列。本发明从MQ消息队列中获取到模型训练任务完成消息后，便会进行下一步的操作。
S3：监听到训练完成时，将训练好的第一机器学习模型下载到本地目录。
当接收到模型训练端发送的模型任务训练完成消息后，即相当于监听到训练完成信号，此时本发明会从FTP服务器中下载训练好的第一机器学习模型，将其保存到本地目录，同时在任务记录表中将自动更新任务的状态记录为模型装载中。本发明中的FTP服务器是用于存储机器学习模型的服务器，用于供用户通过客户端上传或下载文件。
S4：监听到自动更新任务的状态为模型装载中时，将原机器学习模型更新为所述第一机器学习模型。
本步骤用于对已下载到本地目录的第一机器学习模型进行加载和更新。具体包括如下步骤：
S41:对所述第一机器学习模型进行编译。
操作方法表现在，在java类文件中增加模型版本号(见任务记录表中的字段)后编译成可识别的字节码文件。例如对于文件RiskControl_181017103050.java，编译后成为RiskControl_181017103050.class。具体实施时，本步骤需要在运行环境下安装JDK,用javac命令编译即可实现。
S42:将经过编译的所述第一机器学习模型通过类加载模式加载到运行的服务端虚拟机。
本步骤将编译好的第一机器学习模型的文件加载到运行服务器的虚拟机中，具体可以采用java中的classload类加载器来完成。加载完成后，本发明会将自动更新任务的状态记录为模型装载完毕。
S43:将完成加载的所述经过编译的第一机器学习模型保存至调用模型库以供客户端进行调用。
本发明的调用模型库中存储的是当前可调用的机器学习模型，因此在将完成加载的第一机器学习模型存储到调用模型库之后，需要将任务记录表中将自动更新任务的状态记录为模型可调用。在有了更新版本的机器学习模型之后，原来的机器学习模型已经不再适用，因此需要同时将原机器学习模型的状态修改为过期。
由于机器学习模型不断处于迭代更新的过程中，因此会产生多个过期的机器学习模型。本发明会将所有已过期的机器学习模型按照版本号存储在历史模型数据库中，同时支持回滚功能。所谓回滚功能指的就是可以恢复为以前任意版本的机器学习模型。这样做可以有效应对新模型出现故障的情况，也可以根据不同的运行环境安装最合适的版本模型。例如，更新后的新模型版本号为181017103050，一段时间后发现该模型运行异常，可以从历史模型数据库中调出版本号为181017103049的上一个模型，以保证整体应用的顺利进行。
下面介绍本发明与客户端之间的交互过程。客户端主要是通过接口来调用本发明中的机器学习模型的，涉及到的接口包括模型信息查询接口、模型调用接口和模型操作接口，通过模型信息查询接口，用户可以查询目前是否有可调用的更新模型；通过模型调用接口，用户可以直接调用已完成更新的机器学习模型；通过模型操作接口，用户可以实现对模型更新任务进行插入、更新、删除等具体操作。以下分别对三种接口进行介绍。
模型信息查询接口用于供客户端查询是否有可调用的更新模型，其主要参数例如可以是模型名称。当输入某具体的接口名称例如“modelName”时可以返回更新模型信息。接口样式可以为：
{
“modelName”:””
}。
模型调用接口用于供客户端调用更新好的机器学习模型，其主要参数例如可以是模型名称和模型参数。接口样式可以为：
模型操作接口用于供客户端对模型更新任务进行插入、更新、删除等操作，接口样式可以为：
通过上述三种接口，用户便可以通过客户端对机器学习模型执行相关操作，使用起来非常简便快捷。
请继续参阅图2，示出了一种具备时间管理功能的自动更新装置，在本实施例中，自动更新装置10可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述自动更新方法。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述自动更新装置10在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
任务触发模块11，适用于监听配置文件中的模型训练周期，在到达所述模型训练周期时触发更新任务；
模型训练模块12，适用于根据所述更新任务进行第一机器学习模型的训练；
模型下载模块13，适用于监听到训练完成时，将训练好的第一机器学习模型下载到本地目录；
自动更新模块14，适用于将原机器学习模型更新为所述第一机器学习模型。
其中：
本发明中的任务触发模块11根据配置文件中的设置参数来触发自动更新任务。配置文件中保存关于自动更新任务的核心数据，例如，基础配置表中包含了主要配置属性，具体包括FTP服务器地址、FTP文件路径、FTP登录密码、MQ服务器地址、MQ模型任务触发名称、MQ模型任务完成名称等。其中FTP服务器用于存放由模型训练系统训练完成的第一机器训练模型，MQ服务器用于存放客户端与模型训练端之间相互通信的消息。例如，任务核心配置表用于存放一条模型更新任务涉及到的主要参数，具体包括任务编号、任务名称、模型名称、模型使用接口、模型本地备份存放路径、模型训练周期、是否激活任务等。其中的模型训练周期规定了自动进行机器模型训练的频率，本发明的实施例中把模型训练周期作为自动更新任务的触发信号。例如，任务记录表(表三)中记录模型自动更新任务的状态，具体包括开始/模型训练中/模型装载中/模型装载完毕/模型可调用/模型过期等状态。通过记录训练模型在不同时期的不同状态，可以清楚呈现机器训练模型所处的训练阶段。
本发明中的模型训练模块12用于对第一机器模型训练过程进行管理。在模型更新任务已被触发的基础上，模型训练模块12首先发送一条模型训练任务触发消息至MQ消息队列，模型训练端从MQ消息队列中取得模型训练任务触发消息后，根据大数据中心的数据进行机器学习模型的训练。完成训练后，模型训练模块12会将训练好的第一机器学习模型输出保存至FTP服务器，同时发送一条模型训练任务完成消息至MQ消息队列。模型训练模块12从MQ消息队列中获取到模型训练任务完成消息后，便会进行下一步的操作。
当本发明中的模型下载模块13接收到模型训练端发送的模型任务训练完成消息后，会从FTP服务器中下载训练好的第一机器学习模型，将其保存到本地目录。本发明中的FTP服务器是用于存储机器学习模型的服务器，用于供用户通过客户端上传或下载文件。
自动更新模块14用于对已下载到本地目录的第一机器学习模型进行加载和更新。进一步地，所述自动更新模块14包括：
编译模块141，适用于对所述第一机器学习模型进行编译。具体的，例如在java类文件中增加模型版本号后编译成可识别的字节码文件。
加载模块142，适用于将经过编译的所述第一机器学习模型通过类加载模式加载到运行的服务端虚拟机。加载模块142将编译好的第一机器学习模型的文件加载到运行服务器的虚拟机中，具体可以采用java中的classload类加载器来完成。
调用模块143，适用于将完成加载的所述第一机器学习模型保存至调用模型库以供客户端进行调用。
进一步地，本发明的自动更新装置还包括回滚模块15，用于在当前的机器学习模型不可用时，将所述当前的机器学习模型更换为历史机器学习模型。由于机器学习模型不断处于迭代更新的过程中，因此会产生多个过期的机器学习模型，所有这些已过期的机器学习模型按照版本号被存储在历史模型数据库中。本发明的回滚模块15用于对机器学习模型的加载实现回滚功能，所谓回滚功能指的就是可以恢复为以前任意版本的机器学习模型。这样做可以有效应对新模型出现故障的情况，也可以根据不同的运行环境安装最合适的版本模型。例如，更新后的新模型版本号为181017103050，一段时间后发现该模型运行异常，可以从历史模型数据库中调出版本号为181017103049的上一个模型，以保证整体应用的顺利进行。
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图3所示。需要指出的是，图3仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如实施例一的自动更新装置10的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行自动更新装置10，以实现实施例一的自动更新方法。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储自动更新装置10，被处理器执行时实现实施例一的自动更新方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
流程图中或在此以其它方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
本技术领域的普通技术人员可以理解，实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种机器训练模型的自动更新方法，其特征在于，包括以下步骤：
监听配置文件中的模型训练周期，在到达所述模型训练周期时触发更新任务；
根据所述更新任务进行第一机器学习模型的训练；
监听到训练完成时，将训练好的第一机器学习模型下载到本地目录；
将原机器学习模型更新为所述第一机器学习模型。
2.根据权利要求1所述的自动更新方法，其特征在于，所述将原机器学习模型更新为所述第一机器学习模型的步骤包括：
对所述第一机器学习模型进行编译；
将经过编译的所述第一机器学习模型通过类加载模式加载到运行的服务端虚拟机；
将完成加载的所述经过编译的第一机器学习模型保存至调用模型库以供客户端进行调用。
3.根据权利要求1或2所述的自动更新方法，其特征在于，根据所述更新任务进行第一机器学习模型的训练的步骤包括：
以MQ消息队列的方式向模型训练系统发送训练任务触发消息；
接收所述模型训练系统以MQ消息队列的方式发送的训练任务完成消息。
4.根据权利要求3所述的自动更新方法，其特征在于，所述将训练好的第一机器学习模型下载到本地目录的步骤包括：
从FTP服务器中下载所述第一机器学习模型。
5.根据权利要求2所述的自动更新方法，其特征在于：
所述监听配置文件中的模型训练周期，在到达所述模型训练周期时触发更新任务，还包括：将当前任务状态设置为开始；
所述根据所述更新任务进行机器学习模型的训练，还包括：将当前任务状态设置为模型训练中；
所述监听到训练完成时，将训练好的第一机器学习模型下载到本地目录，还包括：将当前任务状态设置为模型装载中；
所述将经过编译的所述第一机器学习模型通过类加载模式加载到运行的服务端虚拟机，还包括：将当前任务状态设置为模型装载完毕；
所述将完成加载的所述经过编译的第一机器学习模型保存至调用模型库以供客户端进行调用，还包括：将当前任务状态设置为模型可调用，同时将原机器学习模型的状态设置为已过期。
6.根据权利要求5所述的自动更新方法，其特征在于，还包括在当前的机器学习模型不可用时，将所述当前的机器学习模型更换为已过期的机器学习模型的步骤。
7.一种机器训练模型的自动更新装置，其特征在于，包括：
任务触发模块，适用于监听配置文件中的模型训练周期，在到达所述模型训练周期时触发更新任务；
模型训练模块，适用于根据所述更新任务进行第一机器学习模型的训练；
模型下载模块，适用于监听到训练完成时，将训练好的第一机器学习模型下载到本地目录；
自动更新模块，适用于将原机器学习模型更新为所述第一机器学习模型。
8.根据权利要求7所述的自动更新装置，其特征在于，所述自动更新模块包括：
编译模块，适用于对所述第一机器学习模型进行编译；
加载模块，适用于将经过编译的所述第一机器学习模型通过类加载模式加载到运行的服务端虚拟机；
调用模块，适用于将完成加载的所述经过编译的第一机器学习模型保存至调用模型库以供客户端进行调用。
9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
CN201910301894.0A 2019-04-16 2019-04-16 自动更新方法、装置、计算机设备及存储介质 Pending CN110175677A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910301894.0A CN110175677A (zh) 2019-04-16 2019-04-16 自动更新方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910301894.0A CN110175677A (zh) 2019-04-16 2019-04-16 自动更新方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN110175677A true CN110175677A (zh) 2019-08-27

Family

ID=67689474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910301894.0A Pending CN110175677A (zh) 2019-04-16 2019-04-16 自动更新方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110175677A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866328A (zh) * 2019-10-12 2020-03-06 中国平安财产保险股份有限公司 数据模型的替换方法、装置、计算机设备及存储介质
CN110955470A (zh) * 2019-12-06 2020-04-03 深圳前海环融联易信息科技服务有限公司 算法模型接口化方法、装置、计算机设备及存储介质
CN111309378A (zh) * 2020-02-25 2020-06-19 电子科技大学 一种机器学习模型生命周期管理系统及方法
CN111612158A (zh) * 2020-05-22 2020-09-01 云知声智能科技股份有限公司 模型部署方法、装置、设备和存储介质
CN111625291A (zh) * 2020-05-13 2020-09-04 北京字节跳动网络技术有限公司 数据处理模型自动迭代方法、装置及电子设备
CN111752703A (zh) * 2020-04-09 2020-10-09 杭州海康威视数字技术股份有限公司 用于神经网络训练和智能分析的处理资源配置方法和装置
CN111767316A (zh) * 2019-11-18 2020-10-13 第四范式（北京）技术有限公司 目标任务处理方法、装置及电子设备
CN111858085A (zh) * 2020-06-12 2020-10-30 贝壳技术有限公司 模型文件的导出方法及装置
CN112527344A (zh) * 2020-11-11 2021-03-19 联想(北京)有限公司 一种分布式ai模型和程序的协同更新方法及装置
CN112698848A (zh) * 2020-12-31 2021-04-23 Oppo广东移动通信有限公司 机器学习模型的下载方法、装置、终端及存储介质
CN113011828A (zh) * 2019-12-20 2021-06-22 尤帕斯公司 更新或重新训练并更新动态人工智能/机器学习模型
CN113591040A (zh) * 2021-06-23 2021-11-02 北京百度网讯科技有限公司 加密方法及其装置、解密方法及其装置、电子设备和介质
US11394774B2 (en) * 2020-02-10 2022-07-19 Subash Sundaresan System and method of certification for incremental training of machine learning models at edge devices in a peer to peer network
CN117876823A (zh) * 2024-03-11 2024-04-12 浙江甲骨文超级码科技股份有限公司 一种茶园图像检测方法及其模型训练方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473287A (zh) * 2013-08-30 2013-12-25 中国科学院信息工程研究所 一种自动分发、运行和更新可执行程序的方法及系统
CN107632995A (zh) * 2017-03-13 2018-01-26 平安科技（深圳）有限公司 随机森林模型训练的方法及模型训练控制系统
CN108027889A (zh) * 2016-01-25 2018-05-11 华为技术有限公司 一种用于增量式学习云系统的训练、调度方法及相关设备
CN108734293A (zh) * 2017-04-13 2018-11-02 北京京东尚科信息技术有限公司 任务管理系统、方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473287A (zh) * 2013-08-30 2013-12-25 中国科学院信息工程研究所 一种自动分发、运行和更新可执行程序的方法及系统
CN108027889A (zh) * 2016-01-25 2018-05-11 华为技术有限公司 一种用于增量式学习云系统的训练、调度方法及相关设备
CN107632995A (zh) * 2017-03-13 2018-01-26 平安科技（深圳）有限公司 随机森林模型训练的方法及模型训练控制系统
CN108734293A (zh) * 2017-04-13 2018-11-02 北京京东尚科信息技术有限公司 任务管理系统、方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏冉;: "基于Spark的机器学习Web服务引擎设计", 指挥控制与仿真, no. 01, pages 118 - 122 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866328A (zh) * 2019-10-12 2020-03-06 中国平安财产保险股份有限公司 数据模型的替换方法、装置、计算机设备及存储介质
CN111767316A (zh) * 2019-11-18 2020-10-13 第四范式（北京）技术有限公司 目标任务处理方法、装置及电子设备
CN110955470A (zh) * 2019-12-06 2020-04-03 深圳前海环融联易信息科技服务有限公司 算法模型接口化方法、装置、计算机设备及存储介质
CN110955470B (zh) * 2019-12-06 2024-01-19 深圳前海环融联易信息科技服务有限公司 算法模型接口化方法、装置、计算机设备及存储介质
CN113011828A (zh) * 2019-12-20 2021-06-22 尤帕斯公司 更新或重新训练并更新动态人工智能/机器学习模型
CN113011828B (zh) * 2019-12-20 2023-12-29 尤帕斯公司 更新或重新训练并更新动态人工智能/机器学习模型
US11394774B2 (en) * 2020-02-10 2022-07-19 Subash Sundaresan System and method of certification for incremental training of machine learning models at edge devices in a peer to peer network
CN111309378A (zh) * 2020-02-25 2020-06-19 电子科技大学 一种机器学习模型生命周期管理系统及方法
CN111752703A (zh) * 2020-04-09 2020-10-09 杭州海康威视数字技术股份有限公司 用于神经网络训练和智能分析的处理资源配置方法和装置
WO2021204227A1 (zh) * 2020-04-09 2021-10-14 杭州海康威视数字技术股份有限公司 用于神经网络训练和智能分析的处理资源配置方法和装置
CN111752703B (zh) * 2020-04-09 2024-03-19 杭州海康威视数字技术股份有限公司 用于神经网络训练和智能分析的处理资源配置方法和装置
CN111625291A (zh) * 2020-05-13 2020-09-04 北京字节跳动网络技术有限公司 数据处理模型自动迭代方法、装置及电子设备
CN111612158A (zh) * 2020-05-22 2020-09-01 云知声智能科技股份有限公司 模型部署方法、装置、设备和存储介质
CN111612158B (zh) * 2020-05-22 2024-03-01 云知声智能科技股份有限公司 模型部署方法、装置、设备和存储介质
CN111858085A (zh) * 2020-06-12 2020-10-30 贝壳技术有限公司 模型文件的导出方法及装置
CN112527344A (zh) * 2020-11-11 2021-03-19 联想(北京)有限公司 一种分布式ai模型和程序的协同更新方法及装置
CN112527344B (zh) * 2020-11-11 2022-09-23 联想(北京)有限公司 一种分布式ai模型和程序的协同更新方法及装置
CN112698848A (zh) * 2020-12-31 2021-04-23 Oppo广东移动通信有限公司 机器学习模型的下载方法、装置、终端及存储介质
CN113591040A (zh) * 2021-06-23 2021-11-02 北京百度网讯科技有限公司 加密方法及其装置、解密方法及其装置、电子设备和介质
CN113591040B (zh) * 2021-06-23 2023-10-24 北京百度网讯科技有限公司 加密方法及其装置、解密方法及其装置、电子设备和介质
CN117876823A (zh) * 2024-03-11 2024-04-12 浙江甲骨文超级码科技股份有限公司 一种茶园图像检测方法及其模型训练方法和系统

Similar Documents

Publication Publication Date Title
CN110175677A (zh) 自动更新方法、装置、计算机设备及存储介质
CN105190555B (zh) 集中式任务调度
CN102681836B (zh) 针对大量并发用户进行扩展的系统和方法
CN105094922A (zh) 应用程序免安装运行控制方法及其装置
CN110221901A (zh) 容器资源创建方法、装置、设备及计算机可读存储介质
CN110427258B (zh) 基于云平台的资源调度控制方法及装置
CN101515238A (zh) 一种用于计算机自动安装或卸载应用软件的方法及装置
JP2007531147A (ja) プログラムの実行システムおよび実行方法
CN104699537A (zh) 程序控制方法与活动组件调度方法及其相应的装置
CN109672553A (zh) 网关动态配置方法、系统、计算机设备及存储介质
CN106357791A (zh) 业务处理方法、装置及系统
CN111596928A (zh) 一种应用控制方法、装置及电子设备
CN110532279A (zh) 大数据平台权限控制方法、装置、计算机设备及存储介质
CN110225087A (zh) 基于全局负载均衡的云存取方法、装置及存储介质
CN113094028A (zh) 一种Windows桌面程序开发框架、方法及相关组件
CN109684028A (zh) 一种操作系统与用户数据分离的方法、装置及设备
KR20090065416A (ko) 통합 소프트웨어 관리 시스템 및 방법
CN113296891A (zh) 基于平台的多场景知识图谱处理方法及装置
CN111026945B (zh) 多平台爬虫调度方法、装置和存储介质
CN106293790A (zh) 基于Firefox操作系统的应用程序升级方法和装置
CN117076096A (zh) 任务流程的执行方法、装置、计算机可读介质及电子设备
WO2017206302A1 (zh) 一种应用程序的运行方法和运行装置
CN113836121B (zh) 一种数据库控制方法及目标服务器
CN116382713A (zh) 构建应用镜像的方法、系统、设备和存储介质
CN114692585A (zh) 表服务处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination