CN111488170A - 业务处理模型的更新方法、装置及设备 - Google Patents

业务处理模型的更新方法、装置及设备 Download PDF

Info

Publication number
CN111488170A
CN111488170A CN202010266343.8A CN202010266343A CN111488170A CN 111488170 A CN111488170 A CN 111488170A CN 202010266343 A CN202010266343 A CN 202010266343A CN 111488170 A CN111488170 A CN 111488170A
Authority
CN
China
Prior art keywords
model
updated
instances
instance
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010266343.8A
Other languages
English (en)
Inventor
乔彦辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010266343.8A priority Critical patent/CN111488170A/zh
Publication of CN111488170A publication Critical patent/CN111488170A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • G06F8/658Incremental updates; Differential updates

Abstract

本说明书一个或多个实施例提供了一种业务处理模型的更新方法、装置及设备,其中,在业务处理模型的更新方法中,先将模型的更新文件发送至多个模型实例中的至少一个模型实例,使该模型实例先基于更新文件对其上运行的更新之前的模型进行更新,在其基于更新后的模型对从多个模型实例中获取的业务请求进行处理得到第一业务处理结果后,基于该第一业务处理结果对更新后的模型进行评估,待确定更新后的模型满足预期后,再将模型的更新文件发送至其余模型实例,以使其余模型实例基于模型的更新文件对其上运行的更新之前的模型进行更新,从而实现了分阶段地对模型进行更新,降低了模型更新的成本。

Description

业务处理模型的更新方法、装置及设备
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及一种业务处理模型的更新方法、装置及设备。
背景技术
目前,基于深度学习算法和海量浏览数据,深度挖掘用户行为及历史访问数据,推送更具针对性的内容的个性化推荐场景,以及基于大数据和机器学习,通过分析用户画像和个性行为识别该用户是否是欺诈行为,主要用于资金交易等场景的安全识别场景,例如文本识别、图像识别以及风险识别等场景,常常由于新的数据不断的引进,导致模型的识别效果不断下降。由于模型是基于历史数据建模训练得出,它的效果或者泛化能力只是针对于具备历史数据特征的数据有效,数据的不断引进和变化必然会存在一部分数据是过去无法覆盖的,进而模型的识别效果就一直下降。基于此,需要定时的不断地通过模型的训练来进行模型的更新。
发明内容
有鉴于此,本说明书一个或多个实施例的目的在于提出一种业务处理模型的更新方法、装置及设备。
本说明书一个或多个实施例提供了一种业务处理模型的更新方法,包括:在检测到模型的更新文件时,将所述更新文件发送至部署有所述模型的多个模型实例中的至少一个目标模型实例,以使所述目标模型实例根据所述更新文件将正在使用的所述模型替换为更新后的模型;截获发往所述多个模型实例的待通过所述模型进行处理的第一业务请求;将所述第一业务请求中除所述目标模型实例之外的其余模型实例的第二业务请求发送至所述目标模型实例,以使所述目标模型实例基于更新后的模型对所述第二业务请求进行处理,得到第一业务处理结果;根据所述第一业务处理结果评估所述目标模型实例中更新后的模型是否满足预期,若更新后的模型满足预期,则将所述更新文件发布至所述其余模型实例,以使所述其余模型实例根据所述更新文件将正在使用的所述模型替换为更新之后的模型。
可选的,所述方法还包括:若所述目标模型实例中更新后的模型不满足预期,则通知所述目标模型实例将更新后的模型替换为更新之前的模型。
可选的,所述方法还包括:在所述其余模型实例加载所述更新文件,根据所述更新文件将正在使用的所述模型替换为更新之后的模型之后,将所述更新文件的版本信息记录为最新的模型文件的版信息。
可选的,将更新后的模型替换为更新之前的模型,包括:根据更新之前的模型的版本信息获取更新之前的模型的模型文件;将更新之前的模型的模型文件发送至所述目标模型实例,以使所述目标模型实例重新加载更新之前的模型文件,根据更新之前的模型文件将更新后的模型替换为更新之前的模型。
可选的,截获发往所述多个模型实例的待通过所述模型进行处理的第一业务请求,包括:通过流量截取工具对线上生产流量进行截取,得到发往所述多个模型实例的待通过所述模型进行处理的第一业务请求。
可选的,根据所述第一业务处理结果评估所述目标模型实例中更新后的模型是否满足预期,包括:获取所述其余模型实例对所述第二业务请求的第二业务处理结果;将所述第一业务处理结果与所述第二业务处理结果进行对比,得到对比结果,根据所述对比结果确定所述目标模型实例中更新后的模型是否满足预期。
可选的,将所述更新文件发送至部署有所述模型的多个模型实例中的至少一个目标模型实例,包括:将所述更新文件随机发送至所述多个模型实例中的至少一个模型实例。
本说明书的一个或多个实施例还提供了一种业务处理模型的更新装置,包括:第一发送模块,用于在检测到模型的更新文件时,将所述更新文件发送至部署有所述模型的多个模型实例中的至少一个目标模型实例,以使所述目标模型实例根据所述更新文件将正在使用的所述模型替换为更新后的模型;获取模块,用于截获发往所述多个模型实例的待通过所述模型进行处理的第一业务请求;第二发送模块,用于将所述第一业务请求中除所述目标模型实例之外的其余模型实例的第二业务请求发送至所述目标模型实例,以使所述目标模型实例基于更新后的模型对所述第二业务请求进行处理,得到第一业务处理结果;评估模块,用于根据所述第一业务处理结果评估所述目标模型实例中更新后的模型是否满足预期,若更新后的模型满足预期,则将所述更新文件发布至所述其余模型实例,以使所述其余模型实例根据所述更新文件将正在使用的所述模型替换为更新之后的模型。
可选的,所述装置还包括:通知模块,用于若所述目标模型实例中更新后的模型不满足预期,则通知所述目标模型实例将更新后的模型替换为更新之前的模型。
可选的,所述装置还包括:记录模块,用于在所述其余模型实例加载所述更新文件,根据所述更新文件将正在使用的所述模型替换为更新之后的模型之后,将所述更新文件的版本信息记录为最新的模型文件的版信息。
可选的,所述替换模块包括:第一获取单元,用于根据更新之前的模型的版本信息获取更新之前的模型的模型文件;发送单元,用于将更新之前的模型的模型文件发送至所述目标模型实例,以使所述目标模型实例重新加载更新之前的模型文件,根据更新之前的模型文件将更新后的模型替换为更新之前的模型。
可选的,所述获取模块用于:通过流量截取工具对线上生产流量进行截取,得到发往所述多个模型实例的待通过所述模型进行处理的第一业务请求。
可选的,所述评估模块,包括:第二获取单元,用于获取所述其余模型实例对所述第二业务请求的第二业务处理结果;确定单元,用于将所述第一业务处理结果与所述第二业务处理结果进行对比,得到对比结果,根据所述对比结果确定所述目标模型实例中更新后的模型是否满足预期。
可选的,所述第一发送模块用于:将所述更新文件随机发送至所述多个模型实例中的至少一个模型实例。
本说明书的一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现上述任意一种业务处理模型的更新方法。
从上面所述可以看出,本说明书一个或多个实施例的业务处理模型的更新方法,先将模型的更新文件发送至多个模型实例中的至少一个模型实例,使该模型实例先基于更新文件对其上运行的更新之前的模型进行更新,在其基于更新后的模型对从其他模型实例中获取的业务请求进行处理得到第一业务处理结果后,基于该第一业务处理结果对更新后的模型进行评估,待确定更新后的模型满足预期后,再将模型的更新文件发送至其余模型实例,以使其余模型实例基于模型的更新文件对其上运行的更新之前的模型进行更新,从而实现了分阶段地对模型进行更新,降低了模型更新的成本,此外,在该过程中并未增设专用于测试更新模型的模型实例,可提高模型更新的效率。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本说明书一个或多个实施例示出的业务处理模型的更新系统的示意图;
图2是根据本说明书一个或多个实施例示出的业务处理模型的更新方法的流程图;
图3是根据本说明书一个或多个实施例示出的业务处理模型的更新方法的示意图;
图4是根据本说明书一个或多个实施例示出的一种业务处理模型的更新装置的框图;
图5是根据本说明书一个或多个实施例示出的一种电子设备的框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
本说明书的一个或多个实施例提供了一种业务处理模型的更新方法,其中,模型更新表示:在线动态替换模型文件完成模型加载,其中,模型文件主要是建模之后,产出的模型以及具体算法逻辑。
在对本说明书的一个或多个业务处理模型的更新方法进行说明之前,首先对模型更新过程中,一般会出现的问题进行说明。
第一类问题:在建模链路引入了新的数据或者新的特征导致模型更新失败的问题,以打分模型为例,假设原始模型使用了特征a以及特征b,但是新的模型文件引入了特征c,如果将该新的模型文件部署到线上必然存在推理引擎无法加载或者因为加载之后无法获取到特征c,进而导致加载之后打分报错,影响到现有模型打分的结果,导致模型更新失败。
第二类问题:建模过程中使用的机器学习引擎版本等外部软硬件无法向下兼容,导致模型更新加载失败导致模型更新失败。例如在使用TensorFlow等建模时,使用的1.3版本具备能力,部署时线上的模型也是1.3版本的TensorFlow框架,但是新的模型是通过2.0版本进行建模的,导出的模型文件往往无法在线上加载,导致模型更新失败。
第三类问题:仍以打分模型为例,新的模型特征和框架都具备向下兼容,但是因为建模使用的是离线数据,但实时打分使用的是在线数据,这里数据有可能存在差异性,导致实时更新的模型效果无法达标或者模型的打分分布不符合预期,则也可以认为模型更新异常,不符合期望。
对于上述问题现有的模型更新能力很难覆盖,所以需要一种高可用的模型更新方案来保证在线推理场景模型更新的稳定性和可用性。
在本说明书的一个或多个实施例中,提供了一种业务处理模型的更新方法,该方法可基于如图1所示的模型更新系统实现,如图1所示,该系统包括:
远程服务器11、后台管理服务器12以及生产环境服务器1至生产环境服务器N。在本说明书一个或多个实施例提供的业务处理模型的更新方法中,后台管理服务器12在检测到模型的模型更新文件时,将模型更新文件发送至生产环境服务器1,以使生产环境服务器1加载模型更新文件,得到更新后的模型;截取生产环境服务器2至生产环境服务器N的业务请求;将截取到的业务请求发送至生产环境服务器1,以使生产环境服务器1基于更新后的模型对业务请求进行处理,得到第一业务处理结果;根据第一业务处理结果对更新后的模型进行评估,若经过评估确定更新后的模型满足预期,则将模型更新文件发布到生产环境服务器2至生产环境服务器N,以生产环境服务器2至生产环境服务器N加载模型更新文件,根据模型更新文件对其上运行的模型进行更新,得到更新后的模型。
图2是根据本说明书一个或多个实施例示出的一种业务处理模型的更新方法的流程图,如图2所示,该方法包括:
步骤202:在检测到模型的更新文件时,将所述更新文件发送至部署有所述模型的多个模型实例中的至少一个目标模型实例,以使所述目标模型实例根据所述更新文件将正在使用的所述模型替换为更新后的模型;
可选的,模型实例例如可以是其上部署有所述模型的生产环境服务器。
例如,可定时检测模型的更新文件,在检测到模型更新文件时,确定需进行模型更新。
在一个例子中,在线推理服务包括多个模型实例,上述目标模型实例例如可以是该多个模型实例中的任意一个模型实例。
步骤204:截获发往所述多个模型实例的待通过所述模型进行处理的第一业务请求;
例如,可通过流量截取工具例如Gor或TCPCopy截取一段时间内的线上生产流量,从该生产流量中获得基于所述模型的第一业务请求。其中,Gor是一款基于go语言实现的HTTP流量复制工具,它可使生产环境HTTP真实流量在开发环境和语言预演环境重现。TCPCopy是一种请求复制工具,可以把在线流量导入到测试系统中去。
以所述多个模型实例中的一个模型实例为例进行说明,假设该模型实例上部署了欺诈行为识别模型以及广告推荐模型,其中,欺诈行为识别模型用于基于用户行为特征识别出属于欺诈的用户行为,广告推荐模型用于根据广告的特征以及用户的特征为广告打分,假设在上述步骤202中检测到的更新文件是欺诈行为识别模型对应的模型更新文件,则在步骤204中,需获取向部署有欺诈行为识别模型的模型实例发出的基于欺诈行为模型的业务请求。
步骤206:将所述第一业务请求中除所述目标模型实例之外的其余模型实例的第二业务请求发送至所述目标模型实例,以使所述目标模型实例基于更新后的模型对所述第二业务请求进行处理,得到第一业务处理结果;
步骤208:根据所述第一业务处理结果评估所述目标模型实例中更新后的模型是否满足预期,若更新后的模型满足预期,则将所述更新文件发布至所述多个模型实例中的其余模型实例,以使所述其余模型实例根据所述更新文件将正在使用的所述模型替换为更新之后的模型。
例如,可通过将第一业务处理结果与所述多个模型实例中的其他模型实例对第二业务请求进行处理得到的第二业务处理结果进行对比,来评估更新后的模型是否满足预期,此处,以打分模型为例,评估指标可以包括打分的准确性以及打分的分布是否满足预设指标,当打分准确性以及打分的分布均满足预先设置的指标时,确定更新后的模型满足预期。
本说明书一个或多个实施例的业务处理模型的更新方法,先将模型的更新文件发送至多个模型实例中的至少一个模型实例,使该模型实例先基于更新文件对其上运行的更新之前的模型进行更新,在其基于更新后的模型对从多个模型实例中获取的业务请求进行处理得到第一业务处理结果后,基于该第一业务处理结果对更新后的模型进行评估,待确定更新后的模型满足预期后,再将模型的更新文件发送至其余模型实例,以使其余模型实例基于模型的更新文件对其上运行的更新之前的模型进行更新,从而实现了分阶段地对模型进行更新,降低了模型更新的成本,此外,在该过程中并未增设专用于测试更新模型的模型实例,可提高模型更新的效率。
在本说明书的一个或多个实例中,上述业务处理模型的更新方法还可包括:
若所述目标模型实例中更新后的模型不满足预期,则通知所述目标模型实例将更新后的模型替换为更新之前的模型,例如,仍以打分模型为例,若更新后的模型打分的准确率低于预设准确率,和/或,更新后的模型打分的分布不满足预设分布,则可以确定更新后的模型不满足预期,在该种情况下,可通知目标模型实例将更新后的模型替换为更新之前的模型。举个例子,假设目标模型实例在更新模型之前,线上运行的模型为模型A,该模型A对应的模型文件为a,在目标模型实例根据更新文件b更新模型后,得到的更新后的模型B作为线上运行的模型,则目标模型实例在获取到将更新后的模型替换为更新之前的模型的通知之后,可获取模型文件a,通过重新加载该模型文件a得到模型A,将模型A作为线上运行的模型。
在本说明书的一个或多个实例中,上述业务处理模型的更新方法还可包括:在所述其余模型实例加载所述更新文件,根据所述更新文件将正在使用的所述模型替换为更新之后的模型之后,将所述更新文件的版本信息记录为最新的模型文件的版信息。举个例子,假设其余模型实例中包括模型实例2,此处以模型实例2为例进行说明,在模型实例2加载更新文件b之前,该模型实例上部署的模型为模型A,模型A的版本为1.0,在模型实例加载了更新文件b之后,得到更新后的模型作为线上运行的模型,该模型的版本为2.0,则可在后台管理服务器将2.0版本的模型记录为当前线上运行的最新的模型的版本。
在本说明书的一个或多个实例中,将更新后的模型替换为更新之前的模型,可包括:
根据更新之前的模型的版本信息获取更新之前的模型的模型文件;沿用上述例子,假设在模型由1.0版本更新为2.0版本之后,又由2.0版本更新至3.0版本,但通过对3.0版本的模型进行测试,确定该模型不满足预期,需将模型版本由3.0版本回滚至2.0版本,这时,由于之前在后台管理服务器曾记录过2.0版本的模型,则可根据版本号2.0获取2.0版本的模型对应的模型文件。将更新之前的模型的模型文件发送至所述目标模型实例,以使所述目标模型实例重新加载更新之前的模型文件,根据更新之前的模型文件将更新后的模型替换为更新之前的模型。
在本说明书的一个或多个实例中,截获发往所述多个模型实例的待通过所述模型进行处理的第一业务请求,可包括:
通过流量截取工具对线上生产流量进行截取,得到发往所述多个模型实例的待通过所述模型进行处理的第一业务请求。举个例子,多个生产环境服务器上部署有用于根据用户账户的登录请求(为上述第一业务请求的一个示例)对预设的几种身份认证方式进行打分的打分模型,则可通过上文提到的流量截取工具Gor或TCPCopy对线上生产流量进行截取,从而截取到发往该多个生产环境服务器的需通过打分模型进行业务处理的用户账户登录请求。
在本说明书的一个或多个实例中,根据所述第一业务处理结果评估所述目标模型实例中更新后的模型是否满足预期,可包括:
获取所述多个模型实例中的其余模型实例对所述第二业务请求的第二业务处理结果;仍延用上述例子,假设部署有更新后的打分模型的生产环境服务器为S1,部署有更新前的打分模型的生产环境服务器为S2-SN,则可通过流量截取工具截取生产环境服务器S1-SN的线上生产流量,从中获取生产环境服务器S2-SN对身份认证请求的打分结果。
将所述第一业务处理结果与所述第二业务处理结果进行对比,得到对比结果,根据所述对比结果确定所述目标模型实例中更新后的模型是否满足预期。仍以打分模型为例,将生产环境服务器S1对第二业务请求的第一处理结果与生产环境服务器S2-SN对第二业务请求的第二处理结果进行对比,确定出更新后的模型的打分的准确性以及打分的分布是否满足预先设置的响应的指标,当确定出更新后的模型打分的准确性以及打分的分布均满足预先设置的相应指标的情况下,确定更新后的模型满足预期。
在本说明书的一个或多个实例中,将所述更新文件发送至部署有所述模型的多个模型实例中的至少一个目标模型实例,可包括:
将所述更新文件随机发送至所述多个模型实例中的至少一个模型实例。在一个例子中,可将所述更新文件随机发送至部署有所述模型的任意一个生产环境服务中。
图3是本说明书一个或多个实施例的业务处理模型的更新方法的示意图,如图3所示,该业务处理模型的更新方法涉及建模、模型更新以及模型验证三个过程,建模过程主要包括数据加工、特征工程、建模以及模型评估,建模后得到模型文件,将该模型文件存储于HDFS(Hadoop Distributed File System,分布式文件系统)的OSS(Object StorageService,对象存储服务)中,模型更新的过程主要包括如下处理:
步骤1:后台管理服务器定时检测模型文件判断是否需要进行模型更新,可定时检测OSS中是否存在模型的更新文件,例如,在检测到模型1的更新文件时,确定模型1需要更新;
步骤2:使用更新的模型文件进行单实例的部署,将更新的模型文件随机发送至线上推理服务的一个模型实例中进行重新加载,如图3所示,将更新的模型文件发送至模型实例1中进行重新加载,如果更新的模型文件重新加载成功,则认为单实例部署成功;
其中,在线推理服务是建模完成后将产出的模型结果部署成一个服务,这个服务主要用于推理或者预测,用于运行在线推理服务的运行引擎为在线推理引擎,例如开源的tensor serving(张量服务)以及各种模型serving tool(服务工具)等。
步骤3:对一段时间内(例如,半个月或一个月)的线上生产流量的进行截取,得到该段时间内对模型1的业务请求,如图3所示,从线上推理服务的服务网关截取线上生产流量,获取一段时间内对模型1的业务请求;
步骤4:将步骤3中得到的业务请求保存在后台管理服务器的本地,得到业务请求文件;
步骤5:将步骤4中得到的业务请求文件进行加载调用至模型实例1中,模型实例1基于更新后的模型对业务请求进行处理,得到第一业务处理结果,为了便于将该第一业务处理结果与模型实例2至模型实例N对业务请求进行处理得到的第二业务处理结果进行对比,可将该第一业务处理结果保存至一个预先指定的文件地址;
步骤6:查看第一业务处理结果文件中是否存在异常的结果,以及将第二业务处理结果与第一业务处理结果进行对比,判断打分分数的正确性和打分分数的波动是否符合预期,以判断更新后的模型是否符合预期;
步骤7.1:若更新后的模型不符合预期,使用更新之前的模型替换更新之后的模型;
步骤7.2:若更新后的模型符合预期,将更新的模型文件分发到模型实例2至模型实例N,以实现更新模型的全量发布,完成一次模型更新;
步骤8:待模型更新结束之后,将更新后的模型的模型文件记录为当前线上最新的模型文件。
图4是根据本说明书一个或多个实施例的一种业务处理模型的更新装置的框图,如图4所示,该装置40包括:
第一发送模块42,用于在检测到模型的更新文件时,将所述更新文件发送至部署有所述模型的多个模型实例中的至少一个目标模型实例,以使所述目标模型实例根据所述更新文件将正在使用的所述模型替换为更新后的模型;
获取模块44,用于截获发往所述多个模型实例的待通过所述模型进行处理的第一业务请求;
第二发送模块46,用于将所述第一业务请求中除所述目标模型实例之外的其余模型实例的第二业务请求发送至所述目标模型实例,以使所述目标模型实例基于更新后的模型对所述第二业务请求进行处理,得到第一业务处理结果;
评估模块48,用于根据所述第一业务处理结果评估所述目标模型实例中更新后的模型是否满足预期,若更新后的模型满足预期,则将所述更新文件发布至所述其余模型实例,以使所述其余模型实例根据所述更新文件将正在使用的所述模型替换为更新之后的模型。
在本说明书的一个或多个实施例中,上述业务处理模型的更新装置还可包括:通知模块,用于若所述目标模型实例中更新后的模型不满足预期,则通知所述目标模型实例将更新后的模型替换为更新之前的模型。
在本说明书的一个或多个实施例中,上述业务处理模型的更新装置还可包括:用于在所述其余模型实例加载所述更新文件,根据所述更新文件将正在使用的所述模型替换为更新之后的模型之后,将所述更新文件的版本信息记录为最新的模型文件的版信息。
在本说明书的一个或多个实施例中,上述替换模块可包括:
第一获取单元,用于根据更新之前的模型的版本信息获取更新之前的模型的模型文件;
发送单元,用于将更新之前的模型的模型文件发送至所述目标模型实例,以使所述目标模型实例重新加载更新之前的模型文件,根据更新之前的模型文件将更新后的模型替换为更新之前的模型。
在本说明书的一个或多个实施例中,所述获取模块可用于:通过流量截取工具对线上生产流量进行截取,得到发往所述多个模型实例的待通过所述模型进行处理的第一业务请求。
在本说明书的一个或多个实施例中,所述评估模块可包括:
第二获取单元,用于获取所述其余模型实例对所述第二业务请求的第二业务处理结果;
确定单元,用于将所述第一业务处理结果与所述第二业务处理结果进行对比,得到对比结果,根据所述对比结果确定所述目标模型实例中更新后的模型是否满足预期。
在本说明书的一个或多个实施例中,所述第一发送模块可用于:
将所述更新文件随机发送至所述多个模型实例中的至少一个模型实例。
本说明书的一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本说明书一个或多个实施例提供的任意一种业务处理模型的更新方法。
需要说明的是,本说明书一个或多个实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本说明书一个或多个实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本说明书一个或多个实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (15)

1.一种业务处理模型的更新方法,包括:
在检测到模型的更新文件时,将所述更新文件发送至部署有所述模型的多个模型实例中的至少一个目标模型实例,以使所述目标模型实例根据所述更新文件将正在使用的所述模型替换为更新后的模型;
截获发往所述多个模型实例的待通过所述模型进行处理的第一业务请求;
将所述第一业务请求中除所述目标模型实例之外的其余模型实例的第二业务请求发送至所述目标模型实例,以使所述目标模型实例基于更新后的模型对所述第二业务请求进行处理,得到第一业务处理结果;
根据所述第一业务处理结果评估所述目标模型实例中更新后的模型是否满足预期,若更新后的模型满足预期,则将所述更新文件发布至所述其余模型实例,以使所述其余模型实例根据所述更新文件将正在使用的所述模型替换为更新之后的模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述目标模型实例中更新后的模型不满足预期,则通知所述目标模型实例将更新后的模型替换为更新之前的模型。
3.根据权利要求2所述的方法,其中,所述方法还包括:
在所述其余模型实例加载所述更新文件,根据所述更新文件将正在使用的所述模型替换为更新之后的模型之后,将所述更新文件的版本信息记录为最新的模型文件的版信息。
4.根据权利要求3所述的方法,其中,将更新后的模型替换为更新之前的模型,包括:
根据更新之前的模型的版本信息获取更新之前的模型的模型文件;
将更新之前的模型的模型文件发送至所述目标模型实例,以使所述目标模型实例重新加载更新之前的模型文件,根据更新之前的模型文件将更新后的模型替换为更新之前的模型。
5.根据权利要求1所述的方法,其中,截获发往所述多个模型实例的待通过所述模型进行处理的第一业务请求,包括:
通过流量截取工具对线上生产流量进行截取,得到发往所述多个模型实例的待通过所述模型进行处理的第一业务请求。
6.根据权利要求5所述的方法,其中,根据所述第一业务处理结果评估所述目标模型实例中更新后的模型是否满足预期,包括:
获取所述其余模型实例对所述第二业务请求的第二业务处理结果;
将所述第一业务处理结果与所述第二业务处理结果进行对比,得到对比结果,根据所述对比结果确定所述目标模型实例中更新后的模型是否满足预期。
7.根据权利要求1至6任一项所述的方法,其中,将所述更新文件发送至部署有所述模型的多个模型实例中的至少一个目标模型实例,包括:
将所述更新文件随机发送至所述多个模型实例中的至少一个模型实例。
8.一种业务处理模型的更新装置,包括:
第一发送模块,用于在检测到模型的更新文件时,将所述更新文件发送至部署有所述模型的多个模型实例中的至少一个目标模型实例,以使所述目标模型实例根据所述更新文件将正在使用的所述模型替换为更新后的模型;
获取模块,用于截获发往所述多个模型实例的待通过所述模型进行处理的第一业务请求;
第二发送模块,用于将所述第一业务请求中除所述目标模型实例之外的其余模型实例的第二业务请求发送至所述目标模型实例,以使所述目标模型实例基于更新后的模型对所述第二业务请求进行处理,得到第一业务处理结果;
评估模块,用于根据所述第一业务处理结果评估所述目标模型实例中更新后的模型是否满足预期,若更新后的模型满足预期,则将所述更新文件发布至所述其余模型实例,以使所述其余模型实例根据所述更新文件将正在使用的所述模型替换为更新之后的模型。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
通知模块,用于若所述目标模型实例中更新后的模型不满足预期,则通知所述目标模型实例将更新后的模型替换为更新之前的模型。
10.根据权利要求9所述的装置,其中,所述装置还包括:
记录模块,用于在所述其余模型实例加载所述更新文件,根据所述更新文件将正在使用的所述模型替换为更新之后的模型之后,将所述更新文件的版本信息记录为最新的模型文件的版信息。
11.根据权利要求10所述的装置,其中,所述替换模块包括:
第一获取单元,用于根据更新之前的模型的版本信息获取更新之前的模型的模型文件;
发送单元,用于将更新之前的模型的模型文件发送至所述目标模型实例,以使所述目标模型实例重新加载更新之前的模型文件,根据更新之前的模型文件将更新后的模型替换为更新之前的模型。
12.根据权利要求8所述的装置,其中,所述获取模块用于:
通过流量截取工具对线上生产流量进行截取,得到发往所述多个模型实例的待通过所述模型进行处理的第一业务请求。
13.根据权利要求12所述的装置,其中,所述评估模块,包括:
第二获取单元,用于获取所述其余模型实例对所述第二业务请求的第二业务处理结果;
确定单元,用于将所述第一业务处理结果与所述第二业务处理结果进行对比,得到对比结果,根据所述对比结果确定所述目标模型实例中更新后的模型是否满足预期。
14.根据权利要求8至13任一项所述的装置,其中,所述第一发送模块用于:
将所述更新文件随机发送至所述多个模型实例中的至少一个模型实例。
15.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1至7任一项所述的业务处理模型的更新方法。
CN202010266343.8A 2020-04-07 2020-04-07 业务处理模型的更新方法、装置及设备 Pending CN111488170A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010266343.8A CN111488170A (zh) 2020-04-07 2020-04-07 业务处理模型的更新方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010266343.8A CN111488170A (zh) 2020-04-07 2020-04-07 业务处理模型的更新方法、装置及设备

Publications (1)

Publication Number Publication Date
CN111488170A true CN111488170A (zh) 2020-08-04

Family

ID=71791755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010266343.8A Pending CN111488170A (zh) 2020-04-07 2020-04-07 业务处理模型的更新方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111488170A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966382A (zh) * 2020-08-28 2020-11-20 上海寻梦信息技术有限公司 机器学习模型的在线部署方法、装置及相关设备
CN112418986A (zh) * 2020-11-19 2021-02-26 定智衣(上海)服装科技有限公司 一种高稳定智能量体的算法升级解决方案
CN116578423A (zh) * 2023-07-07 2023-08-11 阿里巴巴(中国)有限公司 任务处理方法、自动问答方法以及图像生成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106610854A (zh) * 2015-10-26 2017-05-03 阿里巴巴集团控股有限公司 一种模型更新方法及装置
CN108876133A (zh) * 2018-06-07 2018-11-23 中国平安人寿保险股份有限公司 基于业务信息的风险评估处理方法、装置、服务器和介质
CN109242135A (zh) * 2018-07-16 2019-01-18 阿里巴巴集团控股有限公司 一种模型运营方法、装置、及业务服务器
CN109391655A (zh) * 2017-08-09 2019-02-26 腾讯科技(深圳)有限公司 服务灰度发布方法、装置、系统及存储介质
CN109582330A (zh) * 2018-09-29 2019-04-05 阿里巴巴集团控股有限公司 数据模型升级方法、装置、设备及可读存储介质
CN110009359A (zh) * 2019-01-22 2019-07-12 阿里巴巴集团控股有限公司 无监督风险防控模型的训练方法、更新方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106610854A (zh) * 2015-10-26 2017-05-03 阿里巴巴集团控股有限公司 一种模型更新方法及装置
CN109391655A (zh) * 2017-08-09 2019-02-26 腾讯科技(深圳)有限公司 服务灰度发布方法、装置、系统及存储介质
CN108876133A (zh) * 2018-06-07 2018-11-23 中国平安人寿保险股份有限公司 基于业务信息的风险评估处理方法、装置、服务器和介质
CN109242135A (zh) * 2018-07-16 2019-01-18 阿里巴巴集团控股有限公司 一种模型运营方法、装置、及业务服务器
CN109582330A (zh) * 2018-09-29 2019-04-05 阿里巴巴集团控股有限公司 数据模型升级方法、装置、设备及可读存储介质
CN110009359A (zh) * 2019-01-22 2019-07-12 阿里巴巴集团控股有限公司 无监督风险防控模型的训练方法、更新方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966382A (zh) * 2020-08-28 2020-11-20 上海寻梦信息技术有限公司 机器学习模型的在线部署方法、装置及相关设备
CN112418986A (zh) * 2020-11-19 2021-02-26 定智衣(上海)服装科技有限公司 一种高稳定智能量体的算法升级解决方案
CN116578423A (zh) * 2023-07-07 2023-08-11 阿里巴巴(中国)有限公司 任务处理方法、自动问答方法以及图像生成方法
CN116578423B (zh) * 2023-07-07 2023-11-28 阿里巴巴(中国)有限公司 任务处理方法、自动问答方法以及图像生成方法

Similar Documents

Publication Publication Date Title
AU2016304571B2 (en) Model integration tool
CN111488170A (zh) 业务处理模型的更新方法、装置及设备
US10667151B2 (en) Coverage solution recommendation tool
US9645914B1 (en) Apps store with integrated test support
US9183072B1 (en) Error troubleshooting using a correlated knowledge base
CN109474578A (zh) 报文消息校验方法、装置、计算机设备和存储介质
CN110007921B (zh) 一种代码发布方法及装置
US10521325B2 (en) Managing configuration drift
CN108876188B (zh) 一种间连服务商风险评估方法及装置
US20170177316A1 (en) Mobile application deployment for distributed computing environments
US20170255244A1 (en) Systems and methods for operating a virtual power environment
CN112486946A (zh) 一种版本确认方法、系统、电子设备及存储介质
CN113315828A (zh) 一种流量录制方法、装置及流量录制设备、存储介质
CN111722995B (zh) 一种数据处理方法及装置
US9811447B2 (en) Generating a fingerprint representing a response of an application to a simulation of a fault of an external service
US20120209584A1 (en) Advanced Metering Infrastructure Simulation
CN114609995A (zh) 故障控制方法、装置、系统、设备、介质及产品
CN114237754A (zh) 一种数据加载方法、装置、电子设备以及存储介质
WO2021243342A1 (en) Action recommendation for application failure
CN111222181B (zh) Ai模型的监管方法、系统、服务器及存储介质
CN110727575A (zh) 一种信息处理方法、系统、装置、以及存储介质
CN109345249B (zh) 一种支付失败处理方法及装置
CN116225958A (zh) 故障预测方法、装置、存储介质及电子设备
CN112200711A (zh) 一种水印分类模型的训练方法及系统
CN112085443A (zh) 一种配送资源检测、任务执行方法、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200804