CN110083334A - 模型上线的方法及装置 - Google Patents
模型上线的方法及装置 Download PDFInfo
- Publication number
- CN110083334A CN110083334A CN201810072063.6A CN201810072063A CN110083334A CN 110083334 A CN110083334 A CN 110083334A CN 201810072063 A CN201810072063 A CN 201810072063A CN 110083334 A CN110083334 A CN 110083334A
- Authority
- CN
- China
- Prior art keywords
- model
- machine learning
- data
- file
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/10—Requirements analysis; Specification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Stored Programmes (AREA)
Abstract
本申请提供一种模型上线的方法及装置,涉及通信领域,能够提升模型上线的效率。该方法包括:接收用户输入的数据建模指令,数据建模指令用于请求创建机器学习模型;根据数据建模指令创建机器学习模型,并生成机器学习模型的序列化模型文件和模型描述文件,序列化模型文件为机器学习模型的序列化格式的文件,模型描述文件为表征机器学习模型的属性的文件;接收用户输入的模型部署指令;根据通用的服务脚本模板和模型描述文件,生成新的服务脚本;根据新的服务脚本和序列化模型文件生成模型的镜像;根据模型的镜像生成模型服务POD,以使得机器学习模型部署上线。
Description
技术领域
本申请涉及通信领域,尤其涉及一种模型上线的方法及装置。
背景技术
机器学习作为人工智能的一个分支,是当今大数据时代的重要业务支撑手段,机器学习可以被应用于各种应用场景,并能够显著提升企业的业绩指标。例如,机器学习技术可被应用于预测广告点击、商品推荐、图片识别、异常检测等场景,并产生了显著的有益效果。
通常,一个机器学习模型的开发流程包括数据探索、特征提取、模型创建、模型上线等环节。通常,模型开发各个环节的操作由不同开发人员完成,例如,由开发人员甲负责模型创建,再由开发人员乙负责模型上线。
然而,在模型上线过程中,由于每个模型的创建方式不同,所以,负责模型部署上线的开发人员不仅要熟悉机器学习领域的专业知识,还需要提前了解待部署模型的特性,例如,需了解待部署模型的算法和待部署模型的数据来源等,并根据待部署模型的特性将模型部署上线,耗费了开发人员的时间与精力,模型上线的效率较低。因此,急需一种减少开发人员时间与精力投入的模型上线方式。
发明内容
本申请提供一种模型上线的方法及装置,能够提升模型上线的效率。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请提供一种模型上线的方法,该方法可以包括:
接收用户输入的数据建模指令,所述数据建模指令用于请求创建机器学习模型;根据所述数据建模指令创建机器学习模型,并生成所述机器学习模型的序列化模型文件和模型描述文件,所述序列化模型文件为所述机器学习模型的序列化格式的文件,所述模型描述文件为表征所述机器学习模型的属性的文件;接收用户输入的模型部署指令;根据通用的服务脚本模板和所述模型描述文件,生成新的服务脚本;根据所述新的服务脚本和所述序列化模型文件生成模型的镜像;根据所述模型的镜像生成POD,以使得所述机器学习模型部署上线。
第二方面,本申请提供一种模型上线的装置,该装置包括:接收模块、创建模块、生成模块。其中,接收模块,用于接收用户输入的数据建模指令,所述数据建模指令用于请求创建机器学习模型;创建模块,用于根据所述数据建模指令创建机器学习模型;生成模块,用于生成所述机器学习模型的序列化模型文件和模型描述文件,所述序列化模型文件为所述机器学习模型的序列化格式的文件,所述模型描述文件为表征所述机器学习模型的属性的文件;所述接收模块,还用于接收用户输入的模型部署指令;所述生成模块,还用于根据通用的服务脚本模板和所述模型描述文件,生成新的服务脚本;根据所述新的服务脚本和所述序列化模型文件生成模型的镜像;根据所述模型的镜像生成模型服务POD,以使得所述机器学习模型部署上线。
第三方面,本申请提供一种模型上线的装置,该装置包括:处理器、收发器和存储器。其中,存储器用于存储一个或多个程序。该一个或多个程序包括计算机执行指令,当装置运行时,处理器执行该存储器存储的该计算机执行指令,以使装置执行第一方面及其各种可选的实现方式中任意之一所述的模型上线方法。
第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当上述装置执行该指令时,该装置执行上述第一方面及其各种可选的实现方式中任意之一所述的模型上线方法。
与现有技术中,开发人员需提前了解待部署模型的算法,耗费开发人员的时间与精力,导致模型上线的效率较低相比,本申请提供的模型上线的方法及装置,接收用户输入的数据建模指令,根据数据建模指令创建机器学习模型,并生成机器学习模型的序列化模型文件和模型描述文件,从而在用户请求将模型部署上线时,使用通用的服务脚本模板和模型描述文件生成机器学习模型对应的服务脚本,并根据机器学习模型的服务脚本和序列化模型文件生成模型镜像,再由模型镜像生成POD,进而将模型部署上线,并由POD为外界提供预测服务。可见,本申请实施例提供的模型上线方法,由于在创建机器学习模型时,还生成序列化模型文件和模型描述文件,所以,在后续模型上线流程中,开发人员仅需输入模型部署指令,由服务端响应该指令,并由服务端根据序列化模型文件和模型描述文件完成模型上线过程,无需开发人员提前了解模型的算法等内容,减少开发人员投入的时间和精力,使得模型上线的效率有所提升。
附图说明
图1为本申请实施例提供的管理平台的示例性示意图;
图2为本申请实施例提供模型上线的方法流程示意图;
图3为本申请实施例提供模型上线的方法流程示意图;
图4为本申请实施例提供模型上线的方法流程示意图;
图5为本申请实施例提供的模型上线装置的结构示意图一;
图6为本申请实施例提供的模型上线装置的结构示意图二。
具体实施方式
下面结合附图对本申请实施例提供的模型上线的方法及装置进行详细地描述。
此外,本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的描述中,除非另有说明,“多个”的含义是指两个或两个以上。
本申请实施例提供一种模型上线的方法及装置,可以应用于机器学习机器学习模型开发的流程中。
为了便于理解,首先对机器学习模型的开发流程进行说明,机器学习模型开发的流程通常包括特征提取、模型创建、模型上线等环节。其中,服务端采集了大量的与用户行为相关的数据,以下以购物网站的服务端实施本申请实施例的方法为例,来说明模型上线的方法。与用户行为相关的数据包括用户搜索商品、用户点击商品、收藏商品、对商品进行下单、对商品进行支付等过程中输入的数据。特征提取即选取其中与预测服务相关的数据作为特征数据,假定本次预测服务的预测目标是预测特定商品在预设时间段内的销量。根据历史经验,用户搜索商品之后,虽然点击商品进行浏览,但是,用户很可能对浏览的商品并不感兴趣,反之,对于用户而言,收藏的商品和已下单的商品往往是用户比较感兴趣的,用户很可能会购买这两种商品,即这两种指标对于预测商品的销量而言是比较重要的指标。因此,在机器学习模型中,用户具体收藏了哪些商品、用户对哪些商品进行过下单的相关数据可以作为特征数据。
之后,开发人员使用提取的特征数据创建机器学习模型,后续再由另一开发人员将机器学习模型部署上线,从而对外提供预测服务。
从软件实现而言,本申请实施例的服务端可以部署有如图1所示的管理平台,管理平台包括通用数据模块201、通用模型管理模块202、通用模型部署模块203、数据收集模块204、模型服务205和收集器206。
具体地,用户通过本申请实施例中管理平台登录模型管理界面,首先,用户在管理界面中选择或点击新建模型按钮,管理平台进入建模页面,用户在数据源选择处输入数据源地址,例如,输入数据源的统一资源定位符(Uniform Resource Locator,URL),管理平台打开数据源对应的模块,然后,用户在数据源页面中进行特征提取,即从数据源中选取特征数据。其中,通用数据模块201用于存储数据源、数据源的元信息和选取的特征数据。
之后,用户在管理界面中输入数据建模指令,响应于该数据建模指令,通用模型管理模块202对通用数据模块201中的特征数据进行训练,生成机器学习模型,进一步生成模型描述文件和序列化模型文件,且可以存储模型描述文件和序列化模型文件。
之后,用户通过管理界面触发模型部署上线流程,通用模型部署模块203用于接收用户输入的模型部署上线请求,并使用通用的服务脚本模板和通用模型管理模块202存储的模型描述文件生成新的服务脚本,然后根据新的服务脚本和通用模型管理模块202存储的序列化模型文件生成模型镜像,进一步生成模型镜像的POD,将POD部署在管理平台上。其中,POD包含模型服务205和收集器206,模型服务205用于为外界提供预测服务,其中,预测服务为机器学习模型部署上线后为外界提供的服务。POD中的收集器206用于收集模型评估的相关数据。例如,收集服务端反馈的关于模型预测准确度的数据。之后,收集器将收集的模型评估的相关数据传输至管理平台中的数据收集模块204。用户通过管理界面查看模型评估的相关数据,从而了解模型的预测准确率。
本申请实施例提供一种模型上线的方法,如图2所示,该方法可以包括S201-S212:
S201、接收用户输入的数据源地址。
可选地,本申请实施例中,服务端中部署有管理平台。可选地,管理平台可以部署在Kubernetes中。用户在管理界面输入数据源地址、数据表名称等,例如,用户可以输入数据源的URL。
202、根据数据源地址获取数据源。
服务端根据用户输入的数据源地址获取用于创建机器学习模型的数据源。可以理解的是,当用户输入数据源地址之后,服务端将管理界面跳转至数据源对应的页面。例如,服务端跳转至URL为
http://www.aaa.com/s?ie=utf-8&f=8&rsv_bp=1的页面,该页面包含有服务端收集的与用户行为相关的信息,包括每个用户搜索的商品信息、点击的商品信息、收藏的商品信息、下单的商品信息、支付的商品信息。
S203、服务端存储数据源以及数据源的元信息。
可选地,服务端将获取的数据源,即上述列举的诸如用户搜索的商品信息等存储至分布式文件系统中,示例性的,将源数据存储至Hadoop分布式文件系统(HadoopDistributed File System,HDFS)中,将数据源对应的元信息存储至数据库中。其中,数据源的元信息包括字段名、字段类型。可以理解的是,在存储数据源和数据源的元信息之后,若机器学习模型进行调整,则可以获取存储的信息,并根据存储的数据源和元信息对模型加以调整。
S204、服务端接收用户输入的特征提取操作,特征提取操作为从数据源中选取特征数据的操作。
可以理解的是,在服务端跳转至数据源页面之后,用户可以通过该页面与服务端进行交互,选取创建预测模型使用的特征数据。例如,用户可以基于历史经验,选取用户收藏的商品信息、下单的商品信息作为特征数据。其中,用户选取特征数据的方式可以根据具体应用场景确定,本申请实施例并不对此进行特殊限制。
其中,在提取特征数据之前,需对数据源进行数据清理操作。例如,由于在购物网站中,存在刷单等虚假的交易数据,这部分数据会影响预测结果,所以,需预先剔除这部分数据。
在提取特征数据之后,用户还可以对特征数据进行数据归一化、数据正则化操作。其中,数据归一化和数据正则化操作的具体方式可参见现有技术,本申请实施例不再对此进行赘述。
S205、存储特征数据。
可选地,服务端可存储用户选取的特征数据、数据变换方法、以及数据变换后的数据,以便于后续模型调整时能够有迹可循。数据变换方法是指对选取的特征数据,进行的填空操作、数学计算操作、归一化等操作选择参数。
S206、接收用户输入的数据建模指令,数据建模指令用于请求创建机器学习模型。
可以理解的是,当特征提取完成后,用户可以触发管理界面跳转至建模界面,其具体实现方式可以为用户在当前管理界面中点击建模界面对应的超链接。切换至建模界面的具体方式可以根据实际实施场景确定。
用户在建模界面选择机器学习算法,以输入数据建模指令,其中,学习算法包括决策树算法、随机森林算法、逻辑回归算法、支持向量机
(Support Vector Machine,SVM)算法等。例如,用户点击建模界面中决策树算法对应的交互按钮(buton)“点击选择决策树算法进行建模”,从而输入数据建模指令。
S207、服务端根据数据建模指令创建机器学习模型。
具体地,服务端根据用户选择的机器学习算法创建机器学习模型。
S208、服务端根据创建的机器学习模型生成机器学习模型的序列化模型文件和模型描述文件。
其中,序列化模型文件为机器学习模型的序列化(即二进制)格式的文件,模型描述文件为表征机器学习模型的模型属性的文件。
值得说明的是,在本申请实施例中,服务端创建机器学习模型之后,将机器学习模型转化为序列化格式,即二进制格式的计算机可读格式的模型文件,并且需生成表征机器学习模型属性的文件。其中,模型描述文件可用于描述机器学习模型的调用方法,如,该模型需要提供用户过去一小时的访问次数,上一次用户访问的访问时间,其中,访问时间的格式可以为:YYYY-MM-DD HH:mm:ss,例如,用户于2017年2月2日下午6点0分2秒访问,则访问时间为2017-02-02 18:00:02。
其中,将模型转化为计算机可读格式的文件以及生成模型属性文件的相关方式,可参见现有技术,本申请实施例不再对此进行赘述。
可选地,服务端存储生成的机器学习模型对应的序列化模型文件和模型描述文件,以便于后续使用存储的文件部署机器学习模型,实现机器学习模型的快速上线。
S209、服务端接收用户输入的模型部署指令。
可选地,服务端中的管理平台为用户提供多个界面,用户可以在建模界面中输入模型部署指令,也可以在模型部署界面中输入模型部署指令,本申请实施例并不对此进行特殊限制。
其中,用户输入的模型部署指令为较为简单的指令。例如,用户通过点击模型部署界面中的“点击部署模型”按钮(button)来输入模型部署指令。
S210、服务端根据通用的服务脚本模板和模型描述文件,生成新的服务脚本。
其中,通用的服务脚本模板为全部机器学习模型适用的服务脚本模板。本申请实施例中,服务端在通用的服务脚本模板中加载待部署模型对应的模型描述文件,得到适用于该模型描述文件对应的机器学习模型的服务脚本模板。其中,使用模板加载文件的方式可参见现有技术,本申请实施例对此不再进行赘述。
S211、服务端根据新的服务脚本和序列化模型文件生成模型的镜像。
进一步的,本申请实施例中,在得到S210中新的服务脚本之后,还可以将新的服务脚本和计算机可读的序列化模型文件进行压缩,形成模型镜像。或者,服务端采取文件挂载的方式,根据新的服务脚本和序列化模型文件生成模型镜像。
可选地,在生成模型镜像之后,服务端存储该模型镜像。由于模型镜像便于获取,因此,若其他终端也有部署机器学习模型的需求,可以向本申请实施例中提及的服务端发起请求,该服务端向有部署模型需求的终端发送存储的模型镜像,终端接收模型镜像、解压缩并加载模型镜像,以便于后续生成POD,对外提供预测服务。
S212、服务端根据模型镜像生成POD,以使得机器学习模型部署上线。
可选地,服务端将模型镜像解压缩,加载模型镜像,生成用于向外界提供预测服务的POD,至此,本申请实施例中的机器学习模型已完成部署上线,服务端通过POD为外界提供预测服务。可选地,POD通过表述性状态传递(Representational State Transfer,RESTful)接口对外提供预测服务。
与现有技术中,模型开发人员和服务开发人员通常不是同一人,服务开发人员在收到模型开发人员提供的模型时,需提前了解待部署模型的输入数据,特征提取及算法输出以编写可对外提供服务的程序,耗费开发人员的时间与精力,导致模型上线的效率较低相比,本申请提供的模型上线的方法,通过记录建模过程中的关键指令,如输入数据源,元数据,特征选择,数据变化,模型选择等建模指令,根据数据建模指令创建机器学习模型,并生成机器学习模型的序列化模型文件和模型描述文件,从而在模型开发用户请求将模型部署上线时,使用通用的服务脚本模板和模型描述文件生成机器学习模型对应的服务脚本,并根据机器学习模型的服务脚本和序列化模型文件生成模型镜像,再由模型镜像生成POD,进而将模型部署上线,并由POD为外界提供预测服务。可见,本申请实施例提供的模型上线方法,由于在创建机器学习模型时,还生成序列化模型文件和模型描述文件,所以,在后续模型上线流程中,开发人员仅需输入模型部署指令,由服务端响应该指令,并由服务端根据序列化模型文件和模型描述文件完成模型上线过程,无需服务开发人员提前了解模型的算法等内容,减少开发人员投入的时间和精力,使得模型上线的效率有所提升。
值得注意的是,在创建机器学习模型的过程中,服务端采取机器学习算法对特征数据进行训练,得到机器学习模型。其中,服务端进行的训练操作可能包含多个运算步骤,即由特征数据得到机器学习模型的过程中,特征数据需要经过一系列的运算、变换,得到最终的机器学习模型。为了便于后续的数据查询,需对这些运算、变换进行记录,基于此,在本申请实施例提供的另一种实现方式中,如图3所示,在S207、根据数据建模指令创建机器学习模型之后,还可以执行S301。
S301、存储机器学习模型创建过程中对应的至少一个中间数据,中间数据为对所选取的特征数据进行至少一种操作后生成的数据。
结合上述举例,假定用户选取的机器学习算法为决策树算法,在决策树算法中,需对特征数据进行一系列的运算、变换操作,以计算决策树的根节点和叶子节点。在本申请实施例中,可选地,在计算根节点和叶子节点过程中,存储每一数据运算或数据变换操作的中间计算结果。从而,若后续机器学习模型的预测性能下降时,则可以通过查询存储的中间计算结果,追溯导致模型性能下降的原因。或者,在后续调整机器学习模型时,也可以参考存储的中间计算结果。中间计算结果的使用场景可以根据具体实施确定,本申请实施例不对此进行特殊限制。
在本申请实施例的另一种实现方式中,对模型评估的方法进行了说明,如图4所示,在S212、将机器学习模型部署上线之后,还可以执行S401至S403。
S401、该服务端获取模型评估数据,模型评估数据反映机器学习模型的预测准确度。
其中,服务端中部署有用于提供预测服务的POD,服务端中还存储有模型镜像。其他终端从该服务端中获取模型镜像,并加载模型镜像,生成POD,即,终端也可以使用POD对外提供预测服务。需要说明的是,本申请实施例中,服务端和终端的功能近似,其区别仅仅在于,服务端中有原始的模型镜像,终端从服务端获取模型镜像。服务端和终端均可以通过POD对外提供预测服务。
例如,服务端使用POD预测各个商品的销量,并按照销量由高到低的顺序,向用户推荐商品。用户通过显示界面查看商品推荐信息,并可以点击购买商品。之后,服务端收集用户点击购买商品的信息,并将点击购买的商品与推荐的商品次序进行比较,得出模型评估数据。其中,模型评估数据用于描述模型的预测准确度;若推荐商品与用户购买商品的情况较为契合,说明模型的预测结果较为准确。例如,服务端预测出对用户A商品的推荐次序为商品4、商品2、商品1、商品3,在预设时间段内,用户A购买推荐商品中的任意商品则记为该次推荐命中,说明模型的预测较为准确。
可选地,服务端根据商品推荐次序和用户购买商品的情况计算并获取模型的预测准确率,对应地,服务端使用模型评估数据作为新的特征数据。
可选地,在通用的服务脚本模板中预先配置有获取模型评估数据的URL,即若需获取URL1中的模型评估数据,则在通用服务脚本模板中预先配置有URL1,若需获取URL2中的模型评估数据,则在通用服务脚本模板中预先配置有URL2。
在本申请实施例的另一种实现方式中,服务端还可以获取各个终端的模型评估数据,从而掌握更加全面的模型评估数据。
S402、服务端根据模型评估数据调整机器学习模型。
结合S401,服务端将模型评估数据作为新的特征数据,并使用新的特征数据调整已得到的机器学习模型。具体地,对新的特征数据进行训练,得到优化的机器学习模型。
S403、将调整后的机器学习模型部署上线。
其中,将优化后的机器学习模型部署上线,来为外界提供预测服务。
现有技术中,模型创建之后,负责模型上线的开发人员需耗费时间去了解模型的创建方式等内容,然后才能够基于创建模型的方式部署该模型,即由模型到模型上线为具体服务的流程中,需要后一环节(例如模型上线环节)的开发人员了解前一环节(例如模型创建环节)的模型实现细节(例如模型创建方式)。而本申请实施例中,通过提出一种通用的管理平台的技术架构,能够在一个管理平台中创建模型,在创建模型之后,用户仅仅需输入简单的模型部署指令,就可以触发服务端生成用于提供预测服务的POD,从而将模型部署上线。无需后一环节的开发人员耗费时间去了解前一环节的具体实现方式,节约了开发人员的时间,提升了模型的上线效率。
同时,本申请实施例提供的方法,由于存储有模型创建、上线过程中的提取的特征数据、中间计算结果、模型描述文件、序列化模型文件等,所以,在后续查询数据时,能够有效的追溯模型相关的数据,为后续调整模型提供了数据基础。
此外,通过本申请实施例提供的管理平台,还能够实现模型从开发到上线再到评估的全周期管理,进一步提升了机器学习领域的开发效率。
本申请实施例可以根据上述方法示例对上述装置进行功能模块或者功能单元的划分,例如,可以对应各个功能划分各个功能模块或者功能单元,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块或者功能单元的形式实现。其中,本申请实施例中对模块或者单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图5示出了上述实施例中所涉及的装置的一种可能的结构示意图。该装置50包括接收模块501、创建模块502、生成模块503、存储模块504、获取模块505、调整模块506和部署模块507。
其中,接收模块501,用于接收用户输入的数据建模指令,数据建模指令用于请求创建机器学习模型;
创建模块502,用于根据接收模块501接收的数据建模指令创建机器学习模型;
生成模块503,用于生成上述创建模块502创建的机器学习模型的序列化模型文件和模型描述文件,序列化模型文件为机器学习模型的序列化格式的文件,模型描述文件为表征机器学习模型的属性的文件;
接收模块501,还用于接收用户输入的模型部署指令;
生成模块503,还用于根据通用的服务脚本模板和模型描述文件,生成新的服务脚本;根据新的服务脚本和序列化模型文件生成模型的镜像;根据模型的镜像生成模型服务POD,以使得机器学习模型部署上线。
在本申请实施例的另一种实现方式中,接收模块501,还用于接收用户输入的数据源地址;获取模块505,用于根据接收模块501接收的数据源地址获取数据源;存储模块504,用于存储上述获取模块505获取的数据源以及数据源的元信息。
在本申请实施例的另一种实现方式中,接收模块501,还用于接收用户输入的特征提取操作,特征提取操作为从数据源中选取特征数据的操作;存储模块504,还用于存储特征数据。
在本申请实施例的另一种实现方式中,存储模块504,还用于存储机器学习模型创建过程中对应的至少一个中间数据,中间数据为对所选取的特征数据进行至少一种操作后生成的数据。
在本申请实施例的另一种实现方式中,获取模块505,还用于获取目标服务端反馈的模型评估数据,模型评估数据反映机器学习模型的预测准确度;调整模块506,用于根据获取模块505获取的模型评估数据调整机器学习模型;部署模块507,用于将调整模块506调整后的机器学习模型部署上线。
与现有技术中,开发人员需提前了解待部署模型的算法,耗费开发人员的时间与精力,导致模型上线的效率较低相比,本申请提供的模型上线的装置,接收用户输入的数据建模指令,根据数据建模指令创建机器学习模型,并生成机器学习模型的序列化模型文件和模型描述文件,从而在用户请求将模型部署上线时,使用通用的服务脚本模板和模型描述文件生成机器学习模型对应的服务脚本,并根据机器学习模型的服务脚本和序列化模型文件生成模型镜像,再由模型镜像生成POD,进而将模型部署上线,并由POD为外界提供预测服务。可见,本申请实施例提供的模型上线方法,由于在创建机器学习模型时,还生成序列化模型文件和模型描述文件,所以,在后续模型上线流程中,开发人员仅需输入模型部署指令,由服务端响应该指令,并由服务端根据序列化模型文件和模型描述文件完成模型上线过程,无需开发人员提前了解模型的算法等内容,减少开发人员投入的时间和精力,使得模型上线的效率有所提升。
图6示出了上述实施例中所涉及的装置的又一种可能的结构示意图。该装置60包括:处理单元602和通信单元603。处理单元602用于对装置的动作进行控制管理,例如,执行上述创建模块502、生成模块503、获取模块505、存储模块504、调整模块506和部署模块507执行的步骤,和/或用于执行本文所描述的技术的其它过程。通信单元603用于支持装置60与其他网络实体的通信,例如,执行上述接收模块501执行的步骤。装置60还可以包括存储单元601和总线604,存储单元601用于存储装置60的程序代码和数据。
其中,上述处理单元602可以是装置60中的处理器或控制器,该处理器或控制器可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。该处理器或控制器可以是中央处理器,通用处理器,数字信号处理器(Digital SignalProcessing,DSP),专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
通信单元603可以是装置60中的收发器、收发电路或通信接口等。
存储单元601可以是装置60中的存储器等,该存储器可以包括易失性存储器,例如随机存取存储器;该存储器也可以包括非易失性存储器,例如只读存储器,快闪存储器,硬盘或固态硬盘;该存储器还可以包括上述种类的存储器的组合。
总线604可以是扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。总线604可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当上述装置执行该指令时,该装置执行上述方法实施例所示的方法流程中装置执行的各个步骤。
其中,计算机可读存储介质,例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit,ASIC)中。在本申请实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种模型上线方法,其特征在于,所述方法包括:
接收用户输入的数据建模指令,所述数据建模指令用于请求创建机器学习模型;
根据所述数据建模指令创建机器学习模型,并生成所述机器学习模型的序列化模型文件和模型描述文件,所述序列化模型文件为所述机器学习模型的序列化格式的文件,所述模型描述文件为表征所述机器学习模型的属性的文件;
接收用户输入的模型部署指令;
根据通用的服务脚本模板和所述模型描述文件,生成新的服务脚本;
根据所述新的服务脚本和所述序列化模型文件生成模型的镜像;
根据所述模型的镜像生成POD,以使得所述机器学习模型部署上线。
2.根据权利要求1所述的方法,其特征在于,在所述接收用户输入的数据建模指令之前,所述方法还包括:
接收用户输入的数据源地址;
根据所述数据源地址获取数据源;
存储所述数据源以及所述数据源的元信息。
3.根据权利要求2所述的方法,其特征在于,在所述接收用户输入的数据建模指令之前,所述方法还包括:
接收用户输入的特征提取操作,所述特征提取操作为从所述数据源中选取特征数据的操作;
存储所述特征数据。
4.根据权利要求3所述的方法,其特征在于,在根据所述数据建模指令创建机器学习模型之后,所述方法还包括:
存储所述机器学习模型创建过程中对应的至少一个中间数据,所述中间数据为对所选取的特征数据进行至少一种操作后生成的数据。
5.根据权利要求1至4中任一项所述的方法,其特征在于,在将所述机器学习模型部署上线之后,所述方法还包括:
获取模型评估数据,所述模型评估数据反映所述机器学习模型的预测准确度;
根据所述模型评估数据调整所述机器学习模型;
将调整后的机器学习模型部署上线。
6.一种模型上线装置,其特征在于,所述装置包括:
接收模块,用于接收用户输入的数据建模指令,所述数据建模指令用于请求创建机器学习模型;
创建模块,用于根据所述数据建模指令创建机器学习模型;
生成模块,用于生成所述机器学习模型的序列化模型文件和模型描述文件,所述序列化模型文件为所述机器学习模型的序列化格式的文件,所述模型描述文件为表征所述机器学习模型的属性的文件;
所述接收模块,还用于接收用户输入的模型部署指令;
所述生成模块,还用于根据通用的服务脚本模板和所述模型描述文件,生成新的服务脚本;根据所述新的服务脚本和所述序列化模型文件生成模型的镜像;根据所述模型的镜像生成模型服务POD,以使得所述机器学习模型部署上线。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括获取模块和存储模块;
所述接收模块,还用于接收用户输入的数据源地址;
所述获取模块,用于根据所述数据源地址获取数据源;
所述存储模块,用于存储所述数据源以及所述数据源的元信息。
8.根据权利要求7所述的装置,其特征在于,
所述接收模块,还用于接收用户输入的特征提取操作,所述特征提取操作为从所述数据源中选取特征数据的操作;
所述存储模块,还用于存储所述特征数据。
9.根据权利要求8所述的装置,其特征在于,
所述存储模块,还用于存储所述机器学习模型创建过程中对应的至少一个中间数据,所述中间数据为对所选取的特征数据进行至少一种操作后生成的数据。
10.根据权利要求6至9中任一项所述的装置,其特征在于,所述装置还包括调整模块和部署模块;
所述获取模块,还用于获取目标服务端反馈的模型评估数据,所述模型评估数据反映所述机器学习模型的预测准确度;
所述调整模块,用于根据所述模型评估数据调整所述机器学习模型;
所述部署模块,用于将调整后的机器学习模型部署上线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810072063.6A CN110083334B (zh) | 2018-01-25 | 2018-01-25 | 模型上线的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810072063.6A CN110083334B (zh) | 2018-01-25 | 2018-01-25 | 模型上线的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110083334A true CN110083334A (zh) | 2019-08-02 |
CN110083334B CN110083334B (zh) | 2023-06-20 |
Family
ID=67411936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810072063.6A Active CN110083334B (zh) | 2018-01-25 | 2018-01-25 | 模型上线的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110083334B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110837896A (zh) * | 2019-11-22 | 2020-02-25 | 中国联合网络通信集团有限公司 | 机器学习模型的存储和调用方法、装置 |
CN111273901A (zh) * | 2020-01-20 | 2020-06-12 | 浙江邦盛科技有限公司 | 一种可快捷上线部署的机器学习模型的文件格式及部署方法 |
CN111338693A (zh) * | 2020-02-22 | 2020-06-26 | 深圳市魔数智擎人工智能有限公司 | 基于模型构建的目标文件生成方法、服务器及存储介质 |
CN111399853A (zh) * | 2020-02-20 | 2020-07-10 | 四川新网银行股份有限公司 | 机器学习模型与自定义算子的模板化部署方法 |
CN111767948A (zh) * | 2020-06-22 | 2020-10-13 | 北京百度网讯科技有限公司 | 一种模型拦截方法、装置、电子设备及存储介质 |
CN112579149A (zh) * | 2020-12-24 | 2021-03-30 | 第四范式(北京)技术有限公司 | 模型训练程序镜像的生成方法、装置、设备及存储介质 |
WO2021151334A1 (zh) * | 2020-09-09 | 2021-08-05 | 平安科技(深圳)有限公司 | 模型部署方法、装置、设备及存储介质 |
WO2021208774A1 (zh) * | 2020-04-17 | 2021-10-21 | 第四范式(北京)技术有限公司 | 辅助机器学习模型上线的方法及装置 |
CN113553067A (zh) * | 2021-07-28 | 2021-10-26 | 厦门南讯股份有限公司 | 一种基于rest的多框架机器学习模型部署预测方法 |
CN113608762A (zh) * | 2021-07-30 | 2021-11-05 | 烽火通信科技股份有限公司 | 一种深度学习多模型统一部署方法与装置 |
CN113673707A (zh) * | 2020-05-15 | 2021-11-19 | 第四范式(北京)技术有限公司 | 一种应用机器学习的方法、装置、电子设备及存储介质 |
WO2024041035A1 (zh) * | 2022-08-23 | 2024-02-29 | 网络通信与安全紫金山实验室 | 机器学习模型的管理方法、装置、管理平台和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732306A (zh) * | 2013-12-19 | 2015-06-24 | 北京索为高科系统技术有限公司 | 一种业务应用系统的快速开发系统及方法 |
HK1207710A1 (zh) * | 2014-01-13 | 2016-02-05 | Alibaba Group Holding Ltd | 種數據搜索處理方法及裝置 |
US20160267396A1 (en) * | 2015-03-09 | 2016-09-15 | Skytree, Inc. | System and Method for Using Machine Learning to Generate a Model from Audited Data |
CN106022483A (zh) * | 2016-05-11 | 2016-10-12 | 星环信息科技(上海)有限公司 | 机器学习模型之间进行转换的方法与设备 |
CN106503787A (zh) * | 2016-10-26 | 2017-03-15 | 腾讯科技(深圳)有限公司 | 一种获取游戏数据的方法及电子设备 |
CN107169575A (zh) * | 2017-06-27 | 2017-09-15 | 北京天机数测数据科技有限公司 | 一种可视化机器学习训练模型的建模系统和方法 |
-
2018
- 2018-01-25 CN CN201810072063.6A patent/CN110083334B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732306A (zh) * | 2013-12-19 | 2015-06-24 | 北京索为高科系统技术有限公司 | 一种业务应用系统的快速开发系统及方法 |
HK1207710A1 (zh) * | 2014-01-13 | 2016-02-05 | Alibaba Group Holding Ltd | 種數據搜索處理方法及裝置 |
US20160267396A1 (en) * | 2015-03-09 | 2016-09-15 | Skytree, Inc. | System and Method for Using Machine Learning to Generate a Model from Audited Data |
CN106022483A (zh) * | 2016-05-11 | 2016-10-12 | 星环信息科技(上海)有限公司 | 机器学习模型之间进行转换的方法与设备 |
CN106503787A (zh) * | 2016-10-26 | 2017-03-15 | 腾讯科技(深圳)有限公司 | 一种获取游戏数据的方法及电子设备 |
CN107169575A (zh) * | 2017-06-27 | 2017-09-15 | 北京天机数测数据科技有限公司 | 一种可视化机器学习训练模型的建模系统和方法 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110837896A (zh) * | 2019-11-22 | 2020-02-25 | 中国联合网络通信集团有限公司 | 机器学习模型的存储和调用方法、装置 |
CN111273901A (zh) * | 2020-01-20 | 2020-06-12 | 浙江邦盛科技有限公司 | 一种可快捷上线部署的机器学习模型的文件格式及部署方法 |
CN111273901B (zh) * | 2020-01-20 | 2022-09-09 | 浙江邦盛科技股份有限公司 | 一种可快捷上线部署的机器学习模型的文件格式及部署方法 |
CN111399853A (zh) * | 2020-02-20 | 2020-07-10 | 四川新网银行股份有限公司 | 机器学习模型与自定义算子的模板化部署方法 |
CN111399853B (zh) * | 2020-02-20 | 2023-06-06 | 四川新网银行股份有限公司 | 机器学习模型与自定义算子的模板化部署方法 |
CN111338693A (zh) * | 2020-02-22 | 2020-06-26 | 深圳市魔数智擎人工智能有限公司 | 基于模型构建的目标文件生成方法、服务器及存储介质 |
CN111338693B (zh) * | 2020-02-22 | 2023-07-14 | 深圳市魔数智擎人工智能有限公司 | 基于模型构建的目标文件生成方法、服务器及存储介质 |
WO2021208774A1 (zh) * | 2020-04-17 | 2021-10-21 | 第四范式(北京)技术有限公司 | 辅助机器学习模型上线的方法及装置 |
CN113673707A (zh) * | 2020-05-15 | 2021-11-19 | 第四范式(北京)技术有限公司 | 一种应用机器学习的方法、装置、电子设备及存储介质 |
CN111767948A (zh) * | 2020-06-22 | 2020-10-13 | 北京百度网讯科技有限公司 | 一种模型拦截方法、装置、电子设备及存储介质 |
CN111767948B (zh) * | 2020-06-22 | 2023-08-08 | 北京百度网讯科技有限公司 | 一种模型拦截方法、装置、电子设备及存储介质 |
WO2021151334A1 (zh) * | 2020-09-09 | 2021-08-05 | 平安科技(深圳)有限公司 | 模型部署方法、装置、设备及存储介质 |
WO2022135592A1 (zh) * | 2020-12-24 | 2022-06-30 | 第四范式(北京)技术有限公司 | 模型训练程序镜像的生成方法、装置、设备及存储介质 |
CN112579149A (zh) * | 2020-12-24 | 2021-03-30 | 第四范式(北京)技术有限公司 | 模型训练程序镜像的生成方法、装置、设备及存储介质 |
CN112579149B (zh) * | 2020-12-24 | 2024-01-30 | 第四范式(北京)技术有限公司 | 模型训练程序镜像的生成方法、装置、设备及存储介质 |
CN113553067A (zh) * | 2021-07-28 | 2021-10-26 | 厦门南讯股份有限公司 | 一种基于rest的多框架机器学习模型部署预测方法 |
CN113608762A (zh) * | 2021-07-30 | 2021-11-05 | 烽火通信科技股份有限公司 | 一种深度学习多模型统一部署方法与装置 |
CN113608762B (zh) * | 2021-07-30 | 2024-05-17 | 烽火通信科技股份有限公司 | 一种深度学习多模型统一部署方法与装置 |
WO2024041035A1 (zh) * | 2022-08-23 | 2024-02-29 | 网络通信与安全紫金山实验室 | 机器学习模型的管理方法、装置、管理平台和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110083334B (zh) | 2023-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110083334A (zh) | 模型上线的方法及装置 | |
US11048530B1 (en) | Predictive action modeling to streamline user interface | |
US8909568B1 (en) | Predictive analytic modeling platform | |
CN108228873A (zh) | 对象推荐、发布内容推送方法、装置、存储介质和设备 | |
CN108416649A (zh) | 搜索结果排序方法、装置、电子设备及存储介质 | |
CN110008973B (zh) | 一种模型训练方法、基于模型确定目标用户的方法及装置 | |
CN112036577B (zh) | 基于数据形式的应用机器学习的方法、装置和电子设备 | |
CN110008397B (zh) | 一种推荐模型训练方法及装置 | |
EP4242955A1 (en) | User profile-based object recommendation method and device | |
JP6990163B2 (ja) | 予測装置、予測方法、及び予測プログラム | |
CN109614318A (zh) | 自动化测试方法、装置、电子设备及计算机可读介质 | |
US8639560B2 (en) | Brand analysis using interactions with search result items | |
CN108932625B (zh) | 用户行为数据的分析方法、装置、介质和电子设备 | |
CN105335875A (zh) | 购买力预测方法和装置 | |
CN109087138A (zh) | 数据处理方法及系统、计算机系统和可读存储介质 | |
CN111754278A (zh) | 物品推荐方法、装置、计算机存储介质和电子设备 | |
CN111782937A (zh) | 信息排序方法、装置、电子设备和计算机可读介质 | |
CN106600360B (zh) | 推荐对象的排序方法及装置 | |
CN115237732A (zh) | 一种操作预测方法及相关装置 | |
CN114417174A (zh) | 内容推荐方法、装置、设备及计算机存储介质 | |
CN111680213A (zh) | 信息推荐方法、数据处理方法及装置 | |
CN109710832A (zh) | 一种用于搜索寄宿程序的方法与设备 | |
US11962662B2 (en) | Method and apparatus for pushing information | |
CN115358807A (zh) | 物品的推荐方法和装置、存储介质及电子设备 | |
CN117057855A (zh) | 一种数据处理方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230523 Address after: Floor 1-3, Block A, Global Creative Plaza, No. 10, Furong Street, Chaoyang District, Beijing 100020 Applicant after: Bairong Zhixin (Beijing) Technology Co.,Ltd. Address before: Room 116-26, 1st Floor, 101, Building 2, No. 8 Beichen West Road, Chaoyang District, Beijing, 100029 Applicant before: Beijing Shun Zhixin Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |