CN111399873A - 一种模型更新方法及装置 - Google Patents

一种模型更新方法及装置 Download PDF

Info

Publication number
CN111399873A
CN111399873A CN202010136705.1A CN202010136705A CN111399873A CN 111399873 A CN111399873 A CN 111399873A CN 202010136705 A CN202010136705 A CN 202010136705A CN 111399873 A CN111399873 A CN 111399873A
Authority
CN
China
Prior art keywords
model
updating
file
server
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010136705.1A
Other languages
English (en)
Other versions
CN111399873B (zh
Inventor
尹攀
张华�
沈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010136705.1A priority Critical patent/CN111399873B/zh
Publication of CN111399873A publication Critical patent/CN111399873A/zh
Application granted granted Critical
Publication of CN111399873B publication Critical patent/CN111399873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本申请涉及无线通信技术领域,尤其涉及一种模型更新方法及装置,用以解决人为进行模型更新的方式,会耗费大量人力成本,及模型更新效率低的问题。本申请实施例提供的模型更新方法包括:后台管理服务器从远程服务器中获取模型更新文件,根据所述模型更新文件以及所述模型更新文件对应的共享数据库中更新前的模型,确定所述模型更新文件对应的更新后的模型,并将所述更新后的模型存储在共享数据库中;指示测试环境服务器从所述共享数据库中获取所述更新后的模型,并对所述更新后的模型进行测试,在所述测试环境服务器对所述更新后的模型测试成功后,指示生产环境服务器将正在使用的所述更新前的模型替换为所述更新后的模型。

Description

一种模型更新方法及装置
技术领域
本申请涉及无线通信技术领域,尤其涉及一种模型更新方法及装置。
背景技术
随着互联网信息技术的发展,互联网技术所应用的业务场景也逐渐增多。互联网应用在给用户带来便利的同时,也带来了一定的风险。为了降低业务处理风险,提高互联网应用的安全可控性,服务器在实际的业务处理中,通常需要基于预设的模型对当前的业务处理进行风险识别。
由于互联网应用具有场景变化快、更新周期短等特点,在进行模型更新时,不仅要求更新的模型的覆盖率和准确率较高,还要求模型更新效率较高。为了保证模型的覆盖率和准确率,就需要在模型上线前对模型进行测试,只有在模型测试通过后,才会将模型上线。为了保证模型更新效率,就需要提高模型测试的效率。
目前,在进行模型测试时,一般是人为控制的,也即,模型训练人员在训练好模型后,通知模型测试人员进行测试,模型测试人员在对模型测试成功后,将模型在生产环境服务器中上线。在这种方式下,模型测试人员不仅要考虑生产环境服务器对模型上线的时间要求,比如不能在业务繁忙时进行上线,还要考虑自身工作时间安排,很容易导致模型不能及时被更新。
可见,在人为控制进行模型更新的方式下,不仅会耗费大量人力成本,而且很容易导致模型不能及时被更新。
发明内容
本申请实施例提供一种模型更新方法及装置,用以解决在人为控制进行模型更新的方式下,不仅会耗费大量人力成本,而且很容易导致模型不能及时被更新的问题。
本申请实施例提供的一种模型更新方法,包括:
后台管理服务器从远程服务器中获取模型更新文件;
所述后台管理服务器根据所述模型更新文件以及所述模型更新文件对应的共享数据库中更新前的模型,确定所述模型更新文件对应的更新后的模型,并将所述更新后的模型存储在共享数据库中;
所述后台管理服务器向测试环境服务器发送测试指示信息,用于指示测试环境服务器从所述共享数据库中获取所述更新后的模型,并对所述更新后的模型进行测试;
所述后台管理服务器在所述测试环境服务器对所述更新后的模型测试成功后,向执行业务处理的生产环境服务器发送模型更新指示信息,用于指示所述生产环境服务器将正在使用的所述更新前的模型替换为所述更新后的模型。
可选地,所述后台管理服务器将所述更新后的模型存储在共享数据库中之后,还包括:
所述后台管理服务器向所述生产环境服务器发送流量调用指示信息,用于指示所述生产环境服务器将产生的业务数据发送给测试环境服务器,以使所述测试环境服务器基于所述生产环境服务器发送的业务数据对获取的所述更新后的模型进行测试。
可选地,所述后台管理服务器从远程服务器中获取模型更新文件,包括:
所述后台管理服务器在监测到当前到达预设的模型更新时间时,从远程服务器中获取所述模型更新文件。
可选地,所述后台管理服务器将所述更新后的模型存储在共享数据库中,包括:
所述后台管理服务器将更新后的模型存储在共享数据库中,并将共享数据库中所述更新后的模型的执行状态置为测试执行中状态,用于向所述测试环境服务器指示所述更新后的模型为需要执行测试的模型。
可选地,所述方法还包括:
所述后台管理服务器在所述测试环境服务器对所述更新后的模型测试失败后,删除所述共享数据库中的所述更新后的模型,并指示所述远程服务器删除所述模型更新文件。
可选地,所述后台管理服务器在所述测试环境服务器对所述更新后的模型测试成功后,向执行业务处理的生产环境服务器发送模型更新指示信息之前,还包括:
所述后台管理服务器将所述共享数据库中所述更新后的模型的执行状态置为正式运行状态,用于向所述生产环境服务器指示所述更新后的模型为测试成功后的模型。
本申请另一实施例提供的一种模型更新方法,包括:
生产环境服务器接收所述后台管理服务器发送的模型更新指示信息;
所述生产环境服务器从共享数据库中获取测试成功的更新后的模型,并将所述更新后的模型对应的当前正在使用的更新前的模型替换为所述更新后的模型。
本申请又一实施例提供的一种模型更新方法,包括:
测试环境服务器在接收到后台管理服务器发送的测试指示信息后,从共享数据库中获取待测试的更新后的模型;
所述测试环境服务器对所述更新后的模型进行测试,并将测试结果指示给所述后台管理服务器,以使所述后台管理服务器在所述测试环境服务器对所述更新后的模型测试成功后,向所述生产环境服务器发送模型更新指示信息,用于指示所述生产环境服务器将所述更新后的模型对应的当前正在使用的更新前的模型替换为所述更新后的模型。
本申请实施例提供的一种模型更新系统包括:
后台管理服务器,用于从远程服务器中获取模型更新文件,根据所述模型更新文件以及所述模型更新文件对应的共享数据库中更新前的模型,确定所述模型更新文件对应的更新后的模型,并将所述更新后的模型存储在共享数据库中;向测试环境服务器发送测试指示信息,在测试环境服务器对所述更新后的模型模型测试成功后,向执行业务处理的生产环境服务器发送模型更新指示信息;
远程服务器,用于存储用户上传的模型更新文件;
测试环境服务器,用于在接收到后台管理服务器发送的测试指示信息后,从共享数据库中获取待测试的更新后的模型,对所述更新后的模型进行测试,并将测试结果指示给所述后台管理服务器;
生产环境服务器,用于在接收到后台管理服务器发送的模型更新指示信息后,从共享数据库中获取测试成功的更新后的模型,并将所述更新后的模型对应的当前正在使用的更新前的模型替换为所述更新后的模型。
本申请实施例提供的一种模型更新装置,包括:
获取模块,用于从远程服务器中获取模型更新文件;
确定模块,用于根据所述模型更新文件以及所述模型更新文件对应的共享数据库中更新前的模型,确定所述模型更新文件对应的更新后的模型,并将所述更新后的模型存储在共享数据库中;
第一发送模块,用于向测试环境服务器发送测试指示信息,用于指示测试环境服务器从所述共享数据库中获取所述更新后的模型,并对所述更新后的模型进行测试;
第二发送模块,用于在所述测试环境服务器对所述更新后的模型测试成功后,向执行业务处理的生产环境服务器发送模型更新指示信息,用于指示所述生产环境服务器将正在使用的所述更新前的模型替换为所述更新后的模型。
本申请另一实施例提供一种模型更新装置,包括:
接收模块,用于接收所述后台管理服务器发送的模型更新指示信息;
获取模块,用于在所述接收模块接收到所述模型更新指示信息后,从共享数据库中获取测试成功的更新后的模型;
替换模块,用于将所述获取模块获取的所述更新后的模型对应的当前正在使用的更新前的模型替换为所述更新后的模型。
本申请又一实施例提供一种模型更新装置,包括:
获取模块,用于在接收到后台管理服务器发送的测试指示信息后,从共享数据库中获取待测试的更新后的模型;
测试模块,用于对所述更新后的模型进行测试,并将测试结果指示给所述后台管理服务器,以使所述后台管理服务器在所述测试环境服务器对所述更新后的模型测试成功后,向所述生产环境服务器发送模型更新指示信息,用于指示所述生产环境服务器将所述更新后的模型对应的当前正在使用的更新前的模型替换为所述更新后的模型。
采用上述方案,后台管理服务器根据从远程服务器获取的模型更新文件以及所述模型更新文件对应的共享数据库中更新前的模型,确定更新后的模型,并将所述更新后的模型存储在共享数据库中;测试环境服务器基于后台管理服务器的指示,从共享数据库中获取所述更新后的模型,并对更新后的模型进行测试;生产环境服务器根据后台管理服务器的指示,将正在使用的所述更新前的模型替换为测试成功后的所述更新后的模型,从而可以实现模型的自动测试更新。
附图说明
图1为本申请实施例提供的模型更新系统结构示意图;
图2为本申请实施例一提供的模型更新方法流程图;
图3为本申请实施例二提供的模型更新方法流程图;
图4为本申请实施例三提供的模型更新装置结构示意图;
图5为本申请实施例四提供的模型更新装置结构示意图;
图6为本申请实施例五提供的模型更新装置结构示意图。
具体实施方式
如图1所示,为本申请实施例提供的模型更新系统10结构示意图,包括:
后台管理服务器11,用于从远程服务器12中获取模型更新文件,根据所述模型更新文件以及所述模型更新文件对应的共享数据库中更新前的模型,确定所述模型更新文件对应的更新后的模型,并将所述更新后的模型存储在共享数据库中;向测试环境服务器13发送测试指示信息,在测试环境服务器13对所述更新后的模型模型测试成功后,向执行业务处理的生产环境服务器14发送模型更新指示信息;
远程服务器12,用于存储用户上传的模型更新文件;
测试环境服务器13,用于在接收到后台管理服务器11发送的测试指示信息后,从共享数据库中获取待测试的更新后的模型,对所述更新后的模型进行测试,并将测试结果指示给所述后台管理服务器11;
生产环境服务器14,用于在接收到后台管理服务器11发送的模型更新指示信息后,从共享数据库中获取测试成功的更新后的模型,并将所述更新后的模型对应的当前正在使用的更新前的模型替换为所述更新后的模型。
可见,本申请实施例可以实现模型的自动测试更新,下面结合说明书附图对本申请实施例作进一步详细描述。
在以下实施例中,所述模型是指模型训练人员通过一些数据挖掘手段,对各类用户行为数据(比如支付方式、媒体接入控制(Media Access Control,MAC)地址、互联网协议(Internet Protocol,IP)地址等)进行特征数据抽取后,基于抽取的特征数据,通过数据挖掘算法(比如决策树、神经分类、逻辑回归等)进行评分训练后得到的评分算法表述模型。所述生产环境是指真实业务运行的环境。在将模型上线到生产环境正式运行之前,需要先将其放入测试环境(Beta环境)中进行测试,测试环境和生产环境隔离。本申请实施例中的共享数据库(Database,DB)具体可以是MySQL数据库。
实施例一
如图2所示,为本申请实施例一提供的模型更新方法流程图,包括以下步骤:
S201:后台管理服务器从远程服务器中获取模型更新文件。
在具体实施过程中,模型训练人员在训练好更新后的模型后,将更新后的模型的模型更新文件(模型更新文件中包含相比更新前的模型,增加或更新的数据)压缩后(比如压缩为zip格式文件)存储在远程服务器中指定目录下。后台管理服务器可以根据预设的模型更新时间,在监测到当前到达预设的模型更新时间时,从远程服务器中获取所述模型更新文件。比如,为了不影响生产环境服务器中业务的正常执行,将模型更新时间设置为每天凌晨开始;后台管理服务器根据当前日期,自动读取前一天的模型更新文件即可。每一个模型包括基本配置文件和模型算法文件两部分,模型算法如随机森林、决策树C5算法等,模型训练人员将基本配置信息文件和模型算法文件以不同的文件格式区分开,压缩为zip文件包后上传到远程服务器指定目录下;后台管理服务器读取指定目录的压缩文件列表后解压zip文件包。在实际实施中,后台管理服务器可以从远程服务器中获取一个或多个模型的模型更新文件,可以对一个或多个模型进行同步更新。
S202:后台管理服务器根据所述模型更新文件以及所述模型更新文件对应的共享数据库中更新前的模型,确定所述模型更新文件对应的更新后的模型,并将所述更新后的模型存储在共享数据库中。
在具体实施过程中,后台管理服务器可以首先对所述模型更新文件进行合法性校验,包括模型更新文件的有效性及完整性校验,比如校验当前是否有对应该模型更新文件的正式运行的模型(也即正式运行的更新前的模型,这里,模型是在生产环境服务器中被正式运行的)存在、模型更新文件的算法类型是否与正式运行的模型一致等。
在对模型更新文件进行合法性验证通过后,后台管理服务器可以通过模型名称和执行状态(正式运行状态)等查找到该模型更新文件对应的正式运行的更新前的模型,基于查找到的更新前的模型及所述模型更新文件,确定更新后的模型,并将更新后的模型存储在共享数据库中,具体过程为:
在共享数据库(Database,DB)中新增一条执行状态为新建状态的模型信息记录,在该记录中,将正式运行的更新前的模型复制一个副本,并将其中需要更新的模型信息采用模型更新文件中的模型信息替换掉,将该模型的执行状态置为测试执行中状态。可见,本申请实施例为了保证生产环境的正常运行,并没有直接将DB中更新前的模型删除,而是进行了保留。
S203:后台管理服务器向测试环境服务器发送测试指示信息。
这里,后台管理服务器在将模型提交为测试执行中状态后,向测试环境(如Beta环境)服务器推送测试指示信息,用于指示测试环境服务器对该更新后的模型进行测试。
S204:测试环境服务器在接收到后台管理服务器发送的测试指示信息后,从共享数据库中获取待测试的更新后的模型,对所述更新后的模型进行测试,并将测试结果指示给所述后台管理服务器。
在具体实施过程中,测试环境服务器可以在接收到后台管理服务器发送的测试指示信息后,从共享数据库中获取处于测试执行中状态的模型,对处于测试执行中状态的模型进行测试后,将测试结果存入共享的分布式缓存中。
S205:后台管理服务器在所述测试环境服务器对所述更新后的模型测试成功后,向执行业务处理的生产环境服务器发送模型更新指示信息。
该步骤中,后台管理服务器在向测试环境服务器发送测试指示信息后,可以在等待设定的时间长度后,读取分布式缓存中的测试结果,针对某个更新后的模型,基于该更新后的模型的测试结果及预设的判断标准(比如模型执行过程是否正确、打分区间是否正常等),判断该更新后的模型是否通过测试,在确认通过测试后,可以将DB中对应该更新后的模型的执行状态修改为正式运行状态,如果测试不通过则可以将该更新后的模型的执行状态修改为新建状态,并删除DB中对应的数据。在测试完成后,后台管理服务器删除分布式缓存中的测试结果。
在具体实施中,后台管理服务器可以在所有待测试的模型都测试完成后,统计是否存在测试通过的模型,如果存在,则向生产环境服务器推送模型更新指示信息。
S206:生产环境服务器在接收到所述后台管理服务器发送的模型更新指示信息后,从共享数据库中获取测试成功的更新后的模型,并将所述更新后的模型对应的当前正在使用的更新前的模型替换为所述更新后的模型。
在具体实施过程中,生产环境服务器在接收到所述后台管理服务器发送的模型更新指示信息后,从共享数据库中获取自最近一次更新模型的时间到当前为止的、处于正式运行状态的模型,将获取的模型加载到内存中,替换对应的需要更新的模型。
在实际实施中,测试环境服务器需要基于已有的业务数据对模型进行测试,这些业务数据可以是预先存入测试环境服务器的,但为了提高测试准确率,最好能模拟真实生产环境进行测试,因此,在本申请优选的实施方式中,采用了生产环境服务器向测试环境服务器实时传输业务数据的方式。
实施例二
如图3所示,为本申请实施例二提供的模型更新方法流程图,包括以下步骤:
S301:后台管理服务器在监测到当前到达预设的模型更新时间时,从远程服务器中获取模型更新文件。
在该步骤中,后台管理服务器获取到模型训练人员预先存入远程服务器指定目录下的模型更新文件后,对模型更新文件进行合法性校验,在合法性校验通过后,执行S302。
S302:后台管理服务器根据所述模型更新文件以及所述模型更新文件对应的共享数据库中更新前的模型,确定所述模型更新文件对应的更新后的模型,将更新后的模型存储在共享数据库中,将共享数据库中所述更新后的模型的执行状态置为测试执行中状态。
该步骤中,后台管理服务器在DB中新增一条执行状态为新建状态的模型信息记录,在该记录中,将正式运行的模型复制一个副本,并将其中需要更新的模型信息采用模型更新文件中的模型信息替换掉,将该模型的执行状态置为测试执行中状态。
S303:后台管理服务器向生产环境服务器发送流量调用指示信息,向测试环境服务器发送测试指示信息。
S304:生产环境服务器在接收到所述流量调用指示信息后,将产生的业务数据发送给测试环境服务器,测试环境服务器基于所述生产环境服务器发送的业务数据对所述更新后的模型进行测试,并将测试结果指示给所述后台管理服务器。
该步骤中,生产环境服务器开启复制生产环境流量测试开关,之后,生产环境服务器产生的真实业务数据被传输至测试环境服务器用以进行模型测试。测试环境服务器从共享数据库中获取处于测试执行中状态的模型,基于生产环境服务器产生的真实业务数据,对处于测试执行中状态的模型进行测试后,将测试结果存入共享的分布式缓存中。
S305:后台管理服务器在所述测试环境服务器对所述更新后的模型测试成功后,将所述共享数据库中所述更新后的模型的执行状态置为正式运行状态,并向执行业务处理的生产环境服务器发送模型更新指示信息,转而执行S307。
该步骤中,后台管理服务器在向测试环境服务器发送测试指示信息后,可以在等待设定的时间长度后,读取分布式缓存中的测试结果,将DB中对应测试通过的模型的执行状态修改为正式运行状态,并将DB中该测试通过的模型所对应的更新前的模型的执行状态修改为非正式运行状态。这里,为了防止后期模型正式运行中出现问题,可以在DB中保存最近三个版本的模型。
S306:后台管理服务器在所述测试环境服务器对所述更新后的模型测试失败后,删除所述共享数据库中的所述更新后的模型,并指示所述远程服务器删除所述模型更新文件,不再执行下述S307。
该步骤中,后台管理服务器在确定对某个模型测试失败后,将DB中该模型的执行状态修改为新建状态,删除DB中该模型对应的数据,并删除远程服务器中对应的模型更新文件。
在测试完成后,后台管理服务器删除分布式缓存中的测试结果。
S307:生产环境服务器在接收到所述后台管理服务器发送的模型更新指示信息后,根据最近一次进行模型更新的时间,从共享数据库中获取更新时间在所述最近一次进行模型更新的时间之后的、执行状态为正式运行状态的所述更新后的模型;从共享数据库中获取测试成功的所述更新后的模型,并将所述更新后的模型对应的待更新的模型替换为所述更新后的模型。
该步骤中,生产环境服务器从DB中获取自最近一次更新模型的时间到当前为止的、处于正式运行状态的模型,将获取的模型加载到内存中,替换对应的需要更新的模型。
可选地,所述方法还包括:
所述生产环境服务器在所述更新后的模型出现问题时,从所述共享数据库中获取所述更新后的模型对应的更新前的模型,并将正在使用的所述更新后的模型替换为所述更新前的模型。
为了保证生产环境的稳定性,在生产环境服务器运行更新后的模型出现问题后,可以采取“一键回滚”的方式,切换到更新前的模型。具体地,生产环境服务器向后台管理服务器发送模型错误信息,后台管理服务器将DB中对应出现问题的模型的前一个版本的模型重新置为正式运行状态,并通知生产环境服务器,生产环境服务器从DB中重新读取前一个版本的模型,加载到内存中,替换当前出现问题的模型。
基于同一发明构思,本申请实施例中还提供了一种与模型更新方法对应的模型更新装置,由于该装置解决问题的原理与本申请实施例模型更新方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
实施例三
如图4所示,为本申请实施例三提供的模型更新装置结构示意图,该装置可以部署在所述后台管理服务器中,也可以为所述后台管理服务器所控制的独立装置,包括:
获取模块41,用于从远程服务器中获取模型更新文件;
确定模块42,用于根据所述模型更新文件以及所述模型更新文件对应的共享数据库中更新前的模型,确定所述模型更新文件对应的更新后的模型,并将所述更新后的模型存储在共享数据库中;
第一发送模块43,用于向测试环境服务器发送测试指示信息,用于指示测试环境服务器从所述共享数据库中获取所述更新后的模型,并对所述更新后的模型进行测试;
第二发送模块44,用于在所述测试环境服务器对所述更新后的模型测试成功后,向执行业务处理的生产环境服务器发送模型更新指示信息,用于指示所述生产环境服务器将正在使用的所述更新前的模型替换为所述更新后的模型。
可选地,所述装置还包括:
第三发送模块45,用于在所述确定模块42将所述更新后的模型存储在共享数据库中之后,向所述生产环境服务器发送流量调用指示信息,用于指示所述生产环境服务器将产生的业务数据发送给测试环境服务器,以使所述测试环境服务器基于所述生产环境服务器发送的业务数据对获取的所述更新后的模型进行测试。
可选地,所述获取模块41具体用于:
在监测到当前到达预设的模型更新时间时,从远程服务器中获取所述模型更新文件。
可选地,所述确定模块42具体用于:
将更新后的模型存储在共享数据库中,并将共享数据库中所述更新后的模型的执行状态置为测试执行中状态,用于向所述测试环境服务器指示所述更新后的模型为需要执行测试的模型。
可选地,所述装置还包括:
删除模块46,用于在所述测试环境服务器对所述更新后的模型测试失败后,删除所述共享数据库中的所述更新后的模型,并指示所述远程服务器删除所述模型更新文件。
可选地,所述确定模块42还用于:
在所述测试环境服务器对所述更新后的模型测试成功后,在所述第二发送模块向执行业务处理的生产环境服务器发送模型更新指示信息之前,将所述共享数据库中所述更新后的模型的执行状态置为正式运行状态,用于向所述生产环境服务器指示所述更新后的模型为测试成功后的模型。
实施例四
如图5所示,为本申请实施例四提供的模型更新装置结构示意图,该装置可以部署在所述生产环境服务器中,也可以为所述生产环境服务器所控制的独立装置,包括:
接收模块51,用于接收所述后台管理服务器发送的模型更新指示信息;
获取模块52,用于在所述接收模块51接收到所述模型更新指示信息后,从共享数据库中获取测试成功的更新后的模型;
替换模块53,用于将所述获取模块52获取的所述更新后的模型对应的当前正在使用的更新前的模型替换为所述更新后的模型。
可选地,所述接收模块51还用于:
在接收所述后台管理服务器发送的模型更新指示信息之前,接收后台管理服务器发送的流量调用指示信息;
所述装置还包括:
发送模块54,用于将产生的业务数据发送给测试环境服务器,用于所述测试环境服务器基于所述业务数据对获取的所述更新后的模型进行测试。
可选地,所述获取模块52具体用于:
根据最近一次进行模型更新的时间,从共享数据库中获取更新时间在所述最近一次进行模型更新的时间之后的、执行状态为正式运行状态的所述更新后的模型。
可选地,所述获取模块52还用于:
在所述更新后的模型出现问题时,从所述共享数据库中获取所述更新后的模型对应的更新前的模型,并将正在使用的所述更新后的模型替换为所述更新前的模型。
实施例五
如图6所示,为本申请实施例五提供的模型更新装置结构示意图,该装置可以部署在所述测试环境服务器中,也可以为所述测试环境服务器所控制的独立装置,包括:
获取模块61,用于在接收到后台管理服务器发送的测试指示信息后,从共享数据库中获取待测试的更新后的模型;
测试模块62,用于对所述更新后的模型进行测试,并将测试结果指示给所述后台管理服务器,以使所述后台管理服务器在所述测试环境服务器对所述更新后的模型测试成功后,向所述生产环境服务器发送模型更新指示信息,用于指示所述生产环境服务器将所述更新后的模型对应的当前正在使用的更新前的模型替换为所述更新后的模型。
可选地,所述测试模块62具体用于:
基于所述生产环境服务器发送的业务数据对所述更新后的模型进行测试。
可选地,所述获取模块61具体用于:
从所述共享数据库中获取执行状态为测试执行中状态的所述更新后的模型。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (17)

1.一种模型更新方法,该方法应用在模型更新系统,所述模型更新系统包括后台管理服务器、远程服务器,该方法包括:
后台管理服务器从远程服务器中获取模型更新文件;其中,所述模型更新文件包括基本配置文件和模型算法文件;
所述后台管理服务器判断所述模型更新文件中模型算法文件的算法类型是否与更新前模型一致;
所述后台管理服务器在所述模型更新文件中模型算法文件的算法类型与更新前模型一致时,根据所述模型更新文件以及所述模型更新文件对应的更新前的模型,确定所述模型更新文件对应的更新后的模型。
2.如权利要求1所述的方法,所述模型更新系统还包括测试环境服务器和生产环境服务器,所述确定所述模型更新文件对应的更新后的模型之后,还包括:
所述后台管理服务器向所述生产环境服务器发送流量调用指示信息,用于指示所述生产环境服务器将产生的业务数据发送给测试环境服务器,以使所述测试环境服务器基于所述生产环境服务器发送的业务数据对获取的所述更新后的模型进行测试。
3.如权利要求1所述的方法,所述后台管理服务器从远程服务器中获取模型更新文件,包括:
所述后台管理服务器在监测到当前到达预设的模型更新时间时,从远程服务器中获取所述模型更新文件。
4.如权利要求1所述的方法,所述模型更新系统还包括测试环境服务器,所述确定所述模型更新文件对应的更新后的模型之后,还包括:
所述后台管理服务器将所述更新后的模型的执行状态置为测试执行中状态,用于向所述测试环境服务器指示所述更新后的模型为需要执行测试的模型。
5.如权利要求1所述的方法,所述模型更新系统还包括测试环境服务器,所述方法还包括:
所述后台管理服务器向测试环境服务器发送测试指示信息,用于指示测试环境服务器对所述更新后的模型进行测试;
所述后台管理服务器在所述测试环境服务器对所述更新后的模型测试失败后,删除所述更新后的模型,并指示所述远程服务器删除所述模型更新文件。
6.如权利要求1所述的方法,所述模型更新系统还包括测试环境服务器和所述生产环境服务器,所述方法还包括;
所述后台管理服务器向测试环境服务器发送测试指示信息,用于指示测试环境服务器对所述更新后的模型进行测试;
所述后台管理服务器在所述测试环境服务器对所述更新后的模型测试成功后,将所述更新后的模型的执行状态置为正式运行状态,用于向所述生产环境服务器指示所述更新后的模型为测试成功后的模型。
7.一种模型更新方法,该方法应用在模型更新系统,所述模型更新系统包括后台管理服务器、远程服务器、生产环境服务器,所述远程服务器用于存储模型更新文件,所述模型更新文件包括基本配置文件和模型算法文件;该方法包括:
生产环境服务器接收所述后台管理服务器发送的模型更新指示信息;其中,所述模型更新指示信息是在所述后台管理服务器判定从远程服务器中获取的模型更新文件中模型算法文件的算法类型与更新前模型一致后,根据所述模型更新文件以及所述模型更新文件对应的更新前的模型,确定所述模型更新文件对应的更新后的模型后发送的;
所述生产环境服务器获取更新后的模型,并将所述更新后的模型对应的当前正在使用的更新前的模型替换为所述更新后的模型。
8.如权利要求7所述的方法,所述模型更新系统还包括测试环境服务器,所述生产环境服务器接收所述后台管理服务器发送的模型更新指示信息之前,还包括:
所述生产环境服务器接收后台管理服务器发送的流量调用指示信息;
所述生产环境服务器将产生的业务数据发送给测试环境服务器,用于所述测试环境服务器基于所述业务数据对获取的所述更新后的模型进行测试。
9.如权利要求7所述的方法,所述生产环境服务器获取更新后的模型,包括:
所述生产环境服务器根据最近一次进行模型更新的时间,获取更新时间在所述最近一次进行模型更新的时间之后的、执行状态为正式运行状态的所述更新后的模型。
10.如权利要求7-9任一所述的方法,所述方法还包括:
所述生产环境服务器在所述更新后的模型出现问题时,获取所述更新后的模型对应的更新前的模型,并将正在使用的所述更新后的模型替换为所述更新前的模型。
11.一种模型更新方法,该方法应用在模型更新系统,所述模型更新系统包括后台管理服务器、远程服务器、测试环境服务器,所述远程服务器用于存储模型更新文件,所述模型更新文件包括基本配置文件和模型算法文件;该方法包括:
测试环境服务器在接收到后台管理服务器发送的测试指示信息后,获取待测试的更新后的模型;其中,所述更新后的模型是由所述后台管理服务器判定从远程服务器中获取的模型更新文件中模型算法文件的算法类型与更新前模型一致后,根据所述模型更新文件以及所述模型更新文件对应的更新前的模型,确定所述模型更新文件对应的更新后的模型;
所述测试环境服务器对所述更新后的模型进行测试。
12.如权利要求11所述的方法,所述模型更新系统还包括生产服务器,所述测试环境服务器对所述更新后的模型进行测试,包括:
所述测试环境服务器基于所述生产环境服务器发送的业务数据对所述更新后的模型进行测试。
13.如权利要求11或12所述的方法,所述测试环境服务器获取待测试的更新后的模型,包括:
所述测试环境服务器获取执行状态为测试执行中状态的所述更新后的模型。
14.一种模型更新系统,该系统包括:
后台管理服务器,用于从远程服务器中获取模型更新文件,判断所述模型更新文件中模型算法文件的算法类型是否与更新前模型一致,在所述模型更新文件中模型算法文件的算法类型与更新前模型一致时根据所述模型更新文件以及所述模型更新文件对应的更新前的模型,确定所述模型更新文件对应的更新后的模型;远程服务器,用于存储模型更新文件,所述模型更新文件包括基本配置文件和模型算法文件。
15.一种模型更新装置,该装置应用在模型更新系统中的后台管理服务器,所述模型更新系统还包括远程服务器,该装置包括:
获取模块,用于从远程服务器中获取模型更新文件;其中,所述模型更新文件包括基本配置文件和模型算法文件;
确定模块,用于判断所述模型更新文件中模型算法文件的算法类型是否与更新前模型一致,在所述模型更新文件中模型算法文件的算法类型与更新前模型一致时根据所述模型更新文件以及所述模型更新文件对应的更新前的模型,确定所述模型更新文件对应的更新后的模型。
16.一种模型更新装置,该装置应用在模型更新系统中的生产环境服务器,所述模型更新系统还包括后台管理服务器、远程服务器,该装置包括:
接收模块,用于接收所述后台管理服务器发送的模型更新指示信息;其中,所述模型更新指示信息是在所述后台管理服务器判定从远程服务器中获取的模型更新文件中模型算法文件的算法类型与更新前模型一致后,根据所述模型更新文件以及所述模型更新文件对应的更新前的模型,确定所述模型更新文件对应的更新后的模型;
获取模块,用于在所述接收模块接收到所述模型更新指示信息后获取更新后的模型;
替换模块,用于将所述获取模块获取的所述更新后的模型对应的当前正在使用的更新前的模型替换为所述更新后的模型。
17.一种模型更新装置,该装置应用在模型更新系统中的测试环境服务器,所述模型更新系统还包括后台管理服务器、远程服务器,该装置包括:
获取模块,用于在接收到后台管理服务器发送的测试指示信息后,获取待测试的更新后的模型;其中,所述更新后的模型是由所述后台管理服务器判定从远程服务器中获取的模型更新文件中模型算法文件的算法类型与更新前模型一致后,根据所述模型更新文件以及所述模型更新文件对应的更新前的模型,确定所述模型更新文件对应的更新后的模型;
测试模块,用于对所述更新后的模型进行测试。
CN202010136705.1A 2015-10-26 2015-10-26 一种模型更新方法及装置 Active CN111399873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010136705.1A CN111399873B (zh) 2015-10-26 2015-10-26 一种模型更新方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010136705.1A CN111399873B (zh) 2015-10-26 2015-10-26 一种模型更新方法及装置
CN201510702604.5A CN106610854B (zh) 2015-10-26 2015-10-26 一种模型更新方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510702604.5A Division CN106610854B (zh) 2015-10-26 2015-10-26 一种模型更新方法及装置

Publications (2)

Publication Number Publication Date
CN111399873A true CN111399873A (zh) 2020-07-10
CN111399873B CN111399873B (zh) 2023-09-22

Family

ID=58613881

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510702604.5A Active CN106610854B (zh) 2015-10-26 2015-10-26 一种模型更新方法及装置
CN202010136705.1A Active CN111399873B (zh) 2015-10-26 2015-10-26 一种模型更新方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510702604.5A Active CN106610854B (zh) 2015-10-26 2015-10-26 一种模型更新方法及装置

Country Status (1)

Country Link
CN (2) CN106610854B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597178A (zh) * 2021-01-05 2021-04-02 上海闻泰信息技术有限公司 测试序列文件管理方法、装置和系统
CN113076122A (zh) * 2021-04-16 2021-07-06 上海米哈游璃月科技有限公司 一种资源文件管理方法、装置、设备及存储介质
CN114978899A (zh) * 2022-05-11 2022-08-30 业成科技(成都)有限公司 AIoT设备更新方法和装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247592B (zh) * 2017-06-09 2021-11-05 携程旅游网络技术(上海)有限公司 应对多业务场景下的模型管理系统及方法
CN109976779B (zh) * 2017-12-27 2022-04-15 深圳市优必选科技有限公司 机器人软件在线升级发布方法、装置、设备及存储介质
CN112836792A (zh) 2017-12-29 2021-05-25 华为技术有限公司 一种神经网络模型的训练方法及装置
CN110110032B (zh) * 2018-01-11 2024-04-16 北京京东尚科信息技术有限公司 用于更新索引文件的方法和装置
CN108573355B (zh) * 2018-05-08 2021-07-13 创新先进技术有限公司 模型更新后替换运行的方法、装置、及业务服务器
CN109242109B (zh) * 2018-07-06 2022-05-10 网宿科技股份有限公司 深度模型的管理方法及服务器
CN109460826A (zh) * 2018-10-31 2019-03-12 北京字节跳动网络技术有限公司 用于分发数据的方法、装置和模型更新系统
CN109885486A (zh) * 2019-01-23 2019-06-14 鑫涌算力信息科技(上海)有限公司 系统调试装置及方法
US11216268B2 (en) 2019-09-20 2022-01-04 International Business Machines Corporation Systems and methods for updating detection models and maintaining data privacy
DE112020003693T5 (de) * 2019-09-20 2022-04-21 International Business Machines Corporation Aktualisieren von erfassungsmodellen und einhalten von datenschutz
US11080352B2 (en) 2019-09-20 2021-08-03 International Business Machines Corporation Systems and methods for maintaining data privacy in a shared detection model system
US11188320B2 (en) 2019-09-20 2021-11-30 International Business Machines Corporation Systems and methods for updating detection models and maintaining data privacy
US11157776B2 (en) 2019-09-20 2021-10-26 International Business Machines Corporation Systems and methods for maintaining data privacy in a shared detection model system
CN111078659B (zh) * 2019-12-20 2023-04-21 腾讯科技(深圳)有限公司 模型更新方法、装置、计算机可读存储介质和计算机设备
CN111488170A (zh) * 2020-04-07 2020-08-04 支付宝(杭州)信息技术有限公司 业务处理模型的更新方法、装置及设备
CN113742197B (zh) * 2020-05-27 2023-04-14 抖音视界有限公司 模型管理装置、方法、数据管理装置、方法及系统
CN111522570B (zh) * 2020-06-19 2023-09-05 杭州海康威视数字技术股份有限公司 目标库更新方法、装置、电子设备及机器可读存储介质
CN111767222A (zh) * 2020-06-28 2020-10-13 杭州数梦工场科技有限公司 数据模型的验证方法、装置、电子设备、存储介质
CN112416393B (zh) * 2020-11-18 2022-07-05 国网福建省电力有限公司 一种基于容器技术的人工智能模型远程升级方法及系统
CN113409908B (zh) * 2021-06-28 2023-05-12 浙江太美医疗科技股份有限公司 临床医疗数据的迁移方法、装置及计算机可读介质
CN117914720A (zh) * 2022-10-12 2024-04-19 维沃移动通信有限公司 模型监督处理方法、装置、网络侧设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2416411A1 (en) * 2000-07-28 2002-02-07 Wireless Valley Communications, Inc. System, method, and apparatus for portable design, deployment, test, and optimizaton of a communication network
CN101604358A (zh) * 2009-07-13 2009-12-16 优万科技(北京)有限公司 一种资源更新方法、装置和系统
CN101727340A (zh) * 2008-10-17 2010-06-09 普驰信息技术有限公司 打印机升级机制
WO2014018256A1 (en) * 2012-07-26 2014-01-30 Utc Fire And Security Americas Corporation, Inc. Wireless firmware upgrades to an alarm security panel
CN104702446A (zh) * 2015-03-31 2015-06-10 北京奇虎科技有限公司 数据发布方法及装置
CN104993589A (zh) * 2015-06-30 2015-10-21 国网上海市电力公司 一种配电主站与终端之间模型共享的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477467A (zh) * 2008-12-08 2009-07-08 山东浪潮齐鲁软件产业股份有限公司 一种项目代码发布的方法
CN101635640B (zh) * 2009-09-04 2011-09-21 江苏天智互联科技有限公司 Web网站系统服务器终端程序的版本自动发布方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2416411A1 (en) * 2000-07-28 2002-02-07 Wireless Valley Communications, Inc. System, method, and apparatus for portable design, deployment, test, and optimizaton of a communication network
AU2001280824A1 (en) * 2000-07-28 2002-02-13 Wireless Valley Communications, Inc. System, method, and apparatus for portable design, deployment, test, and optimizaton of a communication network
CN101727340A (zh) * 2008-10-17 2010-06-09 普驰信息技术有限公司 打印机升级机制
CN101604358A (zh) * 2009-07-13 2009-12-16 优万科技(北京)有限公司 一种资源更新方法、装置和系统
WO2014018256A1 (en) * 2012-07-26 2014-01-30 Utc Fire And Security Americas Corporation, Inc. Wireless firmware upgrades to an alarm security panel
CN104702446A (zh) * 2015-03-31 2015-06-10 北京奇虎科技有限公司 数据发布方法及装置
CN104993589A (zh) * 2015-06-30 2015-10-21 国网上海市电力公司 一种配电主站与终端之间模型共享的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SIVAKUMAR HARINATH等: "Testing microsoft SQL server analysis services" *
岳国华: "分布式环境下C/S模式客户端软件自动在线升级的设计与实现" *
杨允: "管理信息系统中应用软件版本的更新和控制" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597178A (zh) * 2021-01-05 2021-04-02 上海闻泰信息技术有限公司 测试序列文件管理方法、装置和系统
CN113076122A (zh) * 2021-04-16 2021-07-06 上海米哈游璃月科技有限公司 一种资源文件管理方法、装置、设备及存储介质
CN114978899A (zh) * 2022-05-11 2022-08-30 业成科技(成都)有限公司 AIoT设备更新方法和装置
CN114978899B (zh) * 2022-05-11 2024-04-16 业成光电(深圳)有限公司 AIoT设备更新方法和装置

Also Published As

Publication number Publication date
CN106610854A (zh) 2017-05-03
CN111399873B (zh) 2023-09-22
CN106610854B (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN106610854B (zh) 一种模型更新方法及装置
KR101802921B1 (ko) 가상 머신의 미러 이미지 파일을 인출하는 방법 및 장치
CN109271326B (zh) 云数据库的测试方法及其装置、设备和存储介质
CN108959059B (zh) 一种测试方法以及测试平台
CN104978258B (zh) 软件自动化测试方法及系统
CN105453050A (zh) 开发辅助系统
CN104461693B (zh) 一种桌面云计算环境下的虚拟机更新方法和系统
CN110851308A (zh) 一种测试方法、装置、电子设备及存储介质
CN111190962B (zh) 一种文件同步方法、装置及本地终端
CN110659202A (zh) 客户端自动化测试方法及装置
CN111651352B (zh) 一种仓库代码的合并方法及装置
CN107621963B (zh) 一种软件部署方法、软件部署系统及电子设备
EP3131041A1 (en) Testing of enterprise resource planning systems
CN112069073A (zh) 测试用例的管理方法、终端和存储介质
CN106529281A (zh) 一种可执行文件处理方法及装置
CN110807000B (zh) 一种文件修复方法、装置、电子设备和存储介质
CN110244968B (zh) 充电站管理系统及方法
CN106484312B (zh) 一种虚拟机磁盘数据迁移方法及装置
CN111385613B (zh) 一种电视系统修复方法、存储介质及应用服务器
CN113050926B (zh) 一种代码同步变更的确认方法、装置和设备
CN111416842B (zh) 一种资源集群自动分发及热更新系统及方法
CN114356781A (zh) 软件功能测试方法和装置
CN110474869B (zh) 内外网隔离环境下的应用系统升级方法及装置
CN110213055B (zh) 情报更新方法、装置、计算机设备及计算机可读存储介质
CN113656318A (zh) 软件版本测试方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200927

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200927

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40032974

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant