CN117540827B - 模型热更新方法、装置、设备及计算机可读存储介质 - Google Patents
模型热更新方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117540827B CN117540827B CN202410022471.6A CN202410022471A CN117540827B CN 117540827 B CN117540827 B CN 117540827B CN 202410022471 A CN202410022471 A CN 202410022471A CN 117540827 B CN117540827 B CN 117540827B
- Authority
- CN
- China
- Prior art keywords
- model
- algorithm
- prediction
- updated
- iterative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 292
- 238000012549 training Methods 0.000 claims abstract description 88
- 238000012360 testing method Methods 0.000 claims description 17
- 238000002790 cross-validation Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000001419 dependent effect Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 description 14
- 238000007726 management method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种模型热更新方法、装置、设备及计算机可读存储介质，涉及计算机技术领域。所述模型热更新方法包括以下步骤：获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率；将所述预测准确率低于预设准确率阈值的算法模型作为待更新模型，从所述当前业务数据中抽选出误判业务数据，基于所述误判业务数据训练得到迭代模型；基于所述迭代模型对所述目标算法预测服务中的待更新模型进行热更新，并执行步骤：获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率。本申请解决了现有模型热更新方法难以保障待更新模型在未更新时间内的预测准确率的技术问题。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种模型热更新方法、装置、设备及计算机可读存储介质。
背景技术
近年来，深度学习的快速发展为人们带来更多的便利，人工智能逐渐贴近人们的生活，基于深度学习的落地应用也越发地广泛。
在这些深度学习应用中，深度学习模型作为数据交互的核心文件在不断增加的标记过的数据加持下持续更新，新加入的训练样本使模型具备更高的检测能力，训练后的模型可处理更多的实际问题。因此，不停机状态下的模型更新技术（即模型热更新技术）成为当前深度学习应用中重要的研究对象。
但是现有模型热更新技术中新模型上线时间通常以人工指定或者定时方式确定，较少考虑待更新模型在未更新时间内模型预测准确率的变化，导致待更新模型在未更新时间内的预测准确率难以保障。
发明内容
本申请的主要目的在于提供一种模型热更新方法，旨在解决现有模型热更新方法难以保障待更新模型在未更新时间内的预测准确率的技术问题。
为实现上述目的，第一方面，本申请提供一种模型热更新方法，应用于模型热更新设备，所述模型热更新方法包括：
获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率；
将所述预测准确率低于预设准确率阈值的算法模型作为待更新模型，从所述当前业务数据中抽选出误判业务数据，基于所述误判业务数据训练得到迭代模型；
基于所述迭代模型对所述目标算法预测服务中的待更新模型进行热更新，并执行步骤：获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率。
根据第一方面，将所述误判业务数据进行标注，获得误判数据集；
获取所述待更新模型的原始数据集和依赖算法框架，并将所述原始数据集和所述误判数据集整合为新数据集，并将所述新数据集发送至所述依赖算法框架对应的训练容器中；
在所述训练容器中将所述新数据集划分为训练集、交叉验证集和测试集，并根据所述训练集、所述测试集和所述交叉验证集，构建对应的迭代模型。
根据第一方面，或者以上第一方面的任意一种实现方式，所述基于所述迭代模型对所述目标算法预测服务中的待更新模型进行热更新的步骤，包括：
获取所述迭代模型的第一标识信息，其中所述第一标识信息至少包括迭代模型的第一模型名称与对应的第一算法框架；
根据所述第一算法框架，将所述迭代模型上传至所述目标算法预测服务对应的算法框架容器中，并根据所述第一模型名称对所述目标算法预测服务中的待更新模型进行热更新。
根据第一方面，或者以上第一方面的任意一种实现方式，所述根据所述第一模型名称对所述目标算法预测服务中的待更新模型进行热更新的步骤，包括：
遍历所述目标算法预测服务中第一算法框架对应的算法框架容器中的待更新模型，得到与所述第一模型名称匹配的目标算法模型；
将所述目标算法模型替换为所述迭代模型。
根据第一方面，或者以上第一方面的任意一种实现方式，在所述获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率的步骤之前，包括：
加载所述目标算法预测服务中所述当前业务数据对应的算法模型；
将所述当前业务数据输入所述算法模型，得到所述算法模型的预测结果；
获取所述当前业务数据的真实结果，并将所述预测结果与所述真实结果进行比对，获得各算法模型针对当前业务数据的预测准确率。
根据第一方面，或者以上第一方面的任意一种实现方式，所述模型热更新方法还包括：
获取新增模型的第二标识信息；
根据所述第二标识信息中的第二算法框架，将所述新增模型上传至所述目标算法预测服务对应的算法框架容器中；
基于所述第二标识信息对所述目标算法预测服务的配置文件进行热更新，并加载所述新增模型。
根据第一方面，或者以上第一方面的任意一种实现方式，所述基于所述第二标识信息对所述目标算法预测服务的配置文件进行热更新的步骤，包括：
从所述第二标识信息中提取所述新增模型的第二模型名称、模型路径和模型版本号；
将所述第二模型名称、所述模型路径和所述模型版本号添加至所述配置文件中，并将所述第二模型名称与所述新增模型进行绑定。
第二方面，本申请提供一种模型热更新装置，应用于模型热更新设备，所述模型热更新装置包括：
获取模块，用于获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率；
训练模块，用于将所述预测准确率低于预设准确率阈值的算法模型作为待更新模型，从所述当前业务数据中抽选出误判业务数据，基于所述误判业务数据训练得到迭代模型；
更新模块，用于基于所述迭代模型对所述目标算法预测服务中的待更新模型进行热更新，并执行步骤：获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率。
根据第二方面，训练模块，还用于：
将所述误判业务数据进行标注，获得误判数据集；
获取所述待更新模型的原始数据集和依赖算法框架，并将所述原始数据集和所述误判数据集整合为新数据集，并将所述新数据集发送至所述依赖算法框架对应的训练容器中；
在所述训练容器中将所述新数据集划分为训练集、交叉验证集和测试集，并根据所述训练集、所述测试集和所述交叉验证集，构建对应的迭代模型。
根据第二方面，或者以上第二方面的任意一种实现方式，更新模块，还用于：
获取所述迭代模型的第一标识信息，其中所述第一标识信息至少包括迭代模型的第一模型名称与对应的第一算法框架；
根据所述第一算法框架，将所述迭代模型上传至所述目标算法预测服务对应的算法框架容器中，并根据所述第一模型名称对所述目标算法预测服务中的待更新模型进行热更新。
根据第二方面，或者以上第二方面的任意一种实现方式，更新模块，还用于：
遍历所述目标算法预测服务中第一算法框架对应的算法框架容器中的待更新模型，得到与所述第一模型名称匹配的目标算法模型；
将所述目标算法模型替换为所述迭代模型。
根据第二方面，或者以上第二方面的任意一种实现方式，所述模型热更新装置还包括准确率检测模块，用于：
加载所述目标算法预测服务中所述当前业务数据对应的算法模型；
将所述当前业务数据输入所述算法模型，得到所述算法模型的预测结果；
获取所述当前业务数据的真实结果，并将所述预测结果与所述真实结果进行比对，获得各算法模型针对当前业务数据的预测准确率。
根据第二方面，或者以上第二方面的任意一种实现方式，更新模块，还用于：
获取新增模型的第二标识信息；
根据所述第二标识信息中的第二算法框架，将所述新增模型上传至所述目标算法预测服务对应的算法框架容器中；
基于所述第二标识信息对所述目标算法预测服务的配置文件进行热更新，并加载所述新增模型。
根据第二方面，或者以上第二方面的任意一种实现方式，更新模块，还用于：
从所述第二标识信息中提取所述新增模型的第二模型名称、模型路径和模型版本号；
将所述第二模型名称、所述模型路径和所述模型版本号添加至所述配置文件中，并将所述第二模型名称与所述新增模型进行绑定。
第三方面，本申请提供了一种模型热更新设备，所述模型热更新设备包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上所述的模型热更新方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行如上述第一方面或第一方面的可能的实现方式中任一项所述的模型热更新方法。
第五方面，本申请实施例提供了一种计算机程序，该计算机程序包括用于执行第一方面以及第一方面的任意可能的实现方式中的模型热更新方法的指令。
本申请提出了一种模型热更新方法、装置、设备及计算机可读存储介质，通过获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率；将所述预测准确率低于预设准确率阈值的算法模型作为待更新模型，从所述当前业务数据中抽选出误判业务数据，基于所述误判业务数据训练得到迭代模型；基于所述迭代模型对所述目标算法预测服务中的待更新模型进行热更新，并执行步骤：获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率。本申请通过以模型预测准确率为导向，在模型预测结果的准确率低于预设准确率阈值后驱动模型热更新流程，完成新模型的构建并立刻上线，同时监听新模型预测状态，以确定是否需要更新模型。由此本申请有效保障了待更新模型在未更新时间内的预测准确率，并且采用误判业务数据训练得到的迭代模型相较于原算法模型对于当前业务数据的预测准确性也更高。
附图说明
图1为本申请模型热更新方法第一实施例的流程示意图；
图2为本申请模型热更新方法第二实施例的流程示意图；
图3为本申请实施例方案涉及的模型热更新系统的结构示意图；
图4为本申请模型热更新装置的结构示意图；
图5为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参照图1，图1为本申请模型热更新方法第一实施例的流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请第一实施例提供一种模型热更新方法，所述模型热更新方法包括以下步骤：
步骤S100，获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率；
本实施例中，需要说明的是，所述目标算法推力服务为用户期望进行热更新的算法模型服务，用于通过所述目标算法预测服务中各算法模型对当前业务数据进行预测得到对应的预测结果。所述目标算法预测服务包括至少一个算法模型，所述算法模型存储在所述目标算法预测服务中与所述算法模型的算法框架对应的算法框架容器中。所述当前业务数据为当前输入所述目标算法预测服务进行预测的业务数据。
本实施例可以通过将所述当前业务数据输入所述目标算法预测服务中各算法模型，得到各算法模型的预测结果。然后将预测结果与真实结果进行比对，获得各算法模型针对当前业务数据的预测准确率。
其中，在步骤S100中所述获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率的步骤之前，包括：
步骤S110，加载所述目标算法预测服务中所述当前业务数据对应的算法模型；
步骤S120，将所述当前业务数据输入所述算法模型，得到所述算法模型的预测结果；
步骤S130，获取所述当前业务数据的真实结果，并将所述预测结果与所述真实结果进行比对，获得各算法模型针对当前业务数据的预测准确率。
本实施例中，需要所述目标算法预测服务于外部数据提供超文本传输协议（Hyper-Text Transfer Protocol，HTTP）接口用于数据传入。然后根据所述当前业务数据的目标预测项目，从所述目标算法预测服务的配置文件中选取所述目标预测项目对应算法模型的模型相对路径（即该算法模型在所述目标算法预测服务的算法框架容器中的路径）。并根据所述模型相对路径将对应的算法模型加载至内存空间，将所述当前业务数据通过超文本传输协议接口输入所述算法模型，得到所述算法模型的预测结果。进而可以获取所述当前业务数据的真实结果，并将所述预测结果与所述真实结果进行比对，获得所述算法模型的预测正确数量和预测错误数量。示例性地，可以实时比较预测结果与真实结果是否一致。当预测结果与真实结果一致，则记录预测结果为1；当预测结果与真实结果不一致，则记录预测结果为0。分别统计预测正确数量和预测错误数量，计算所述算法模型的预测准确率。所述预测准确率的计算公式如下：
P=T/(T+F)；
其中，P为预测准确率，T为预测正确数量，F为预测错误数量。
由此，本实施例可以获得所述目标算法预测服务中各算法模型针对当前业务数据的预测准确率。
步骤S200，将所述预测准确率低于预设准确率阈值的算法模型作为待更新模型，从所述当前业务数据中抽选出误判业务数据，基于所述误判业务数据训练得到迭代模型；
本实施例中，需要说明的是，所述预设准确率阈值为预先设置满足用户对于所述目标算法预测服务中各算法模型的准确率需求的阈值，如95%、98%等。
本实施例通过判断所述预测准确率是否低于预设准确率阈值，若所述预测准确率低于预设准确率阈值，说明所述预测准确率低于所述预设准确率阈值的算法模型无法满足用户需求，则可以将所述预测准确率低于预设准确率阈值的算法模型作为待更新模型，并从所述当前业务数据中抽选出误判业务数据，基于所述误判业务数据训练得到迭代模型。可以理解的是，所述误判业务数据为从所述当前业务数据中被所述待更新模型误判（即预测结果与真实结果不一致）的业务数据。作为一种示例，本实施例可以下载所述待更新模型作为镜像模型，基于所述误判业务数据对所述镜像模型进行训练，得到所述迭代模型。作为另一种示例，也可以获取所述算法模型的原始数据集并将所述原始数据集和所述误判数据集整合为新数据集，基于所述新数据集对所述待更新模型对应的初始化模型进行训练，得到所述迭代模型。
其中，步骤S200中所述基于所述误判业务数据训练得到迭代模型的步骤，包括：
步骤S210，将所述误判业务数据进行标注，获得误判数据集；
步骤S220，获取所述待更新模型的原始数据集和依赖算法框架，并将所述原始数据集和所述误判数据集整合为新数据集，并将所述新数据集发送至所述依赖算法框架对应的训练容器中；
步骤S230，在所述训练容器中将所述新数据集划分为训练集、交叉验证集和测试集，并根据所述训练集、所述测试集和所述交叉验证集，构建对应的迭代模型。
本实施例中，需要说明的是，所述依赖算法框架为所述待更新模型所采用的机器学习框架，如TensorFlow、PyTorch等。所述原始数据集为用于构建所述待更新模型的数据集。
本实施例可以通过以所述待更新模型的模型名称为名建立标注数据库，将所述误判业务数据下载至所述标注数据库中，使用数据标注软件对标注数据库中误判业务数据进行标注，同时合并训练所述待更新模型的原始数据集，将二者整合为新数据集，同时还标注所述新数据集的数据集版本避免误选数据集。然后则可以通过容器集群管理工具（如Docker Swarm、Kubernetes等）将所述新数据集发送至所述依赖算法框架对应的训练容器中，以使得训练得到的迭代模型与待更新模型的算法框架保持一致。在所述训练容器中将所述新数据集按照预设比例（如8：1：1、7：2：1等）划分为训练集、交叉验证集和测试集，并根据所述训练集、所述测试集和所述交叉验证集，构建对应的迭代模型。即采用所述训练集对所述待更新模型对应的初始化模型进行训练；采用所述测试集，对经过训练的所述初始化模型进行评估；采用所述验证集对通过评估的所述初始化模型进行验证，并将通过验证的初始化模型作为迭代模型。
步骤S300，基于所述迭代模型对所述目标算法预测服务中的待更新模型进行热更新，并执行步骤：获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率。
本实施例中，可以将所述迭代模型上传至所述目标算法预测服务，并将所述待更新模型替换为所述迭代模型，以使得所述迭代模型替代所述待更新模型进行预测，同时也无需停机更新，实现了模型的热更新。在热更新完成后，则可以在预设清理时长后删除所述目标算法预测服务中的待更新模型，当然也可以将所述待更新模型存储至预设模型存储空间，以便于用户查看所述待更新模型。
步骤S300中所述基于所述迭代模型对所述目标算法预测服务中的待更新模型进行热更新的步骤，包括：
步骤S310，获取所述迭代模型的第一标识信息，其中所述第一标识信息至少包括迭代模型的第一模型名称与对应的第一算法框架；
步骤S320，根据所述第一算法框架，将所述迭代模型上传至所述目标算法预测服务对应的算法框架容器中，并根据所述第一模型名称对所述目标算法预测服务中的待更新模型进行热更新。
本实施例中，需要说明的是，所述第一标识信息可以包括所述迭代模型的第一模型名称、所述迭代模型对应的第一算法框架、模型描述、模型版本、训练采用的数据集，训练迭代次数，训练的Batch（批次）大小等信息。
本实施例可以通过获取所述迭代模型的第一标识信息，其中所述第一标识信息至少包括迭代模型的第一模型名称与对应的第一算法框架。所述第一标识信息可以是以独立文件的形式存在，也可以是以文件名的形式存在。示例性地，可以将所述迭代模型的文件名按照模型训练所依赖的算法框架（即第一算法框架）-第一模型名称-模型描述-模型版本的形式进行修改。由此本实施例可以通过解析所述迭代模型的文件名得到所述第一标识信息。根据所述第一算法框架，通过容器集群管理工具将所述迭代模型上传至所述目标算法预测服务对应的算法框架容器中，并根据所述第一模型名称对所述目标算法预测服务中与所述第一模型名称一致的待更新模型进行热更新。本实施例对于不同算法框架下的算法模型，以容器化形式隔离不同算法框架，根据所述迭代模型所依赖的第一算法框架不同，将其主动部署于与所述第一算法框架对应的容器中，实现不同算法框架的模型之间的隔离，不仅可在单块图形处理单元（GPU，Graphics Processing Unit）上提供多套算法框架的算法预测服务，还可有效降低多套算法框架下模型更新的复杂度与成本。
其中，步骤S320中所述根据所述第一模型名称对所述目标算法预测服务中的待更新模型进行热更新的步骤，包括：
步骤S321，遍历所述目标算法预测服务中第一算法框架对应的算法框架容器中的待更新模型，得到与所述第一模型名称匹配的目标算法模型；
步骤S322，将所述目标算法模型替换为所述迭代模型。
在存在多个待更新模型的情况下，则可以遍历所述目标算法预测服务中第一算法框架对应的算法框架容器中的待更新模型，将与所述第一模型名称匹配的待更新模型作为目标算法模型。然后将所述目标算法模型的替换为所述迭代模型，以使得所述迭代模型替代所述待更新模型进行预测，同时也无需停机更新，实现了模型的热更新。
在本申请第一实施例中，通过获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率；将所述预测准确率低于预设准确率阈值的算法模型作为待更新模型，从所述当前业务数据中抽选出误判业务数据，基于所述误判业务数据训练得到迭代模型；基于所述迭代模型对所述目标算法预测服务中的待更新模型进行热更新，并执行步骤：获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率。本申请通过以模型预测准确率为导向，在模型预测结果的准确率低于预设准确率阈值后驱动模型热更新流程，完成新模型的构建并立刻上线，同时监听新模型预测状态，以确定是否需要更新模型。由此本申请有效保障了待更新模型在未更新时间内的预测准确率，并且采用误判业务数据训练得到的迭代模型相较于原算法模型对于当前业务数据的预测准确性也更高。
参照图2，图2为本申请模型热更新方法的第二实施例的流程示意图。
在本申请另一实施例中，与上述实施例相同或相似的内容，可以参考上文介绍，后续不再赘述。本申请第二实施例提供一种模型热更新方法，所述模型热更新方法还包括：
步骤A10，获取新增模型的第二标识信息；
步骤A20，根据所述第二标识信息中的第二算法框架，将所述新增模型上传至所述目标算法预测服务对应的算法框架容器中；
步骤A30，基于所述第二标识信息对所述目标算法预测服务的配置文件进行热更新，并加载所述新增模型。
本实施例中，需要说明的是，所述第二标识信息可以包括所述新增模型的第二模型名称、所述新增模型对应的第二算法框架、模型描述、模型版本、训练采用的数据集，训练迭代次数，训练的Batch（批次）大小等信息。
本实施例可以通过对模型文件对应的模型名称进行识别，若所述目标算法预测服务中不存在与所述模型名称一致的算法模型，则说明是新增模型。本实施例通过获取新增模型的第二标识信息，进而可以根据所述第二标识信息中的第二算法框架，通过容器集群管理工具将所述新增模型上传至所述目标算法预测服务对应的算法框架容器中。然后基于所述第二标识信息对所述目标算法预测服务的配置文件进行热更新，并加载所述新增模型。
其中，步骤A30所述基于所述第二标识信息对所述目标算法预测服务的配置文件进行热更新的步骤，包括：
步骤B10，从所述第二标识信息中提取所述新增模型的第二模型名称、模型路径和模型版本号；
步骤B20，将所述第二模型名称、所述模型路径和所述模型版本号添加至所述配置文件中，并将所述第二模型名称与所述新增模型进行绑定。
本实施例通过从所述第二标识信息中提取所述新增模型的第二模型名称、模型路径和模型版本号；将所述第二模型名称、所述模型路径和所述模型版本号添加至所述目标算法预测服务的配置文件中，并将所述第二模型名称与所述新增模型进行绑定。由此将所述新增模型添加至了所述目标算法预测服务中可用于预测工作，实现了对于所述目标算法预测服务的新增算法的更新。
本申请第二实施例中，通过获取新增模型的第二标识信息；根据所述第二标识信息中的第二算法框架，将所述新增模型上传至所述目标算法预测服务对应的算法框架容器中；基于所述第二标识信息对所述目标算法预测服务的配置文件进行热更新，并加载所述新增模型。本实施例以容器化形式隔离不同算法框架，对于新加入的新增模型，通过将所述新增模型上传至所述目标算法预测服务对应的算法框架容器中，进而基于所述第二标识信息对所述目标算法预测服务的配置文件进行热更新，并加载所述新增模型。从而实现新增模型的添加与后续的迭代，保证了目标算法预测服务的可扩展性与可维护性，以及多算法框架下的模型新增、迭代。
参照图3，图3为本申请实施例方案涉及的模型热更新系统的结构示意图。
在本申请另一实施例中，与上述实施例相同或相似的内容，可以参考上文介绍，后续不再赘述。本申请实施例方案提供一种模型热更新系统，由模型预测系统、识别结果关系型数据存储系统、原始数据对象存储系统、识别结果校验系统、原始数据标注系统、标注数据集存储系统、容器集群管理工具，模型训练系统组成。
所述模型预测系统，由容器环境下可用于数据预测的各算法模型构成，根据所述算法模型所依赖的算法框架初始化多个算法框架容器。
所述识别结果关系型数据存储系统，用于存储经过由所述模型预测系统中各算法模型预测得到预测结果与真实结果，以及识别时间，调用模型，原始数据URL等信息。
所述原始数据对象存储系统，用于存储输入所述模型预测系统中各算法模型的原始数据。
所述识别结果校验系统，用于对比各算法模型的预测结果与真实结果是否一致。
所述原始数据标注系统，用于误判业务数据的标注。
所述标注数据集存储系统，用于标注数据集存储与数据标注事件通知。
所述容器集群管理工具，用于训练容器与算法框架容器的容器管理。
所述模型训练系统，用于模型训练。
本实施例可以理解的是，模型热更新方法可以由多个系统共同完成。如图3所示，在当前业务数据输入本系统后，模型预测系统中已经初始化对应数据预测的算法模型，当业务数据调用对应算法模型的应用程序接口（Application Programming Interface，API），应用程序接口解析当前业务数据，根据当前业务数据中所调用的模型名称调用对应算法模型的预测函数，完成当前业务数据的预测。然后将预测结果与所述当前业务数据中传入的真实结果、检测事件、模型名称等信息共同写入识别结果关系型数据存储系统，而当前业务数据中用于模型预测的数据（即误判业务数据）存储至原始数据对象存储系统。识别结果校验系统查询识别结果关系型数据存储系统中所述算法模型的预测结果与真实结果是否一致，统计预测正确数量与预测错误数量，计算所述算法模型在当前时间的预测准确率，当预测准确率小于预设准确率阈值时，识别结果校验系统将所述算法模型在原始数据对象存储系统中的URL和对应的真实结果，模型预测结果与调用的模型名称传入原始数据标注系统。在原始数据标注系统中，解析识别结果校验系统传入的模型名称，并按照所述模型名称将传入原始数据对象（即误判业务数据）保存至对应存储库中，并在文件元数据描述中加入原始数据对象的真实结果与算法模型的预测结果，并应用相应标注工具完成对原始数据对象的标注，标注内容为原始数据对象的真实结果，标注结束后，将待更新模型训练依赖的已标注的数据（即原始数据集）与新增的标注后的误判业务数据整合打包为新数据集，并将其上传至标注数据集存储系统。标注数据存储系统接收原始数据标注系统上传的新数据集，解析新数据集的数据数量与对应所需训练模型名称，将新数据集按照8：1：1比例划分数据集，分别为训练集，交叉验证集，测试集，按照模型训练所需要的数据集格式修改完训练集与交叉验证集数据，按照模型测试所需数据集格式修改完成测试集数据；根据对应所需训练模型名称将三个数据集，模型名称，模型名称对应框架传至容器集群管理工具（如Docker Swarm、Kubernetes等）。容器集群管理工具指定训练设备，训练模型所依赖的镜像文件，训练容器名称，训练数据集，训练迭代次数，训练的Batch大小，训练后的模型描述，模型版本信息，并传输至模型训练系统。在模型训练系统中，根据容器集群管理工具传入消息，启动对应设备中的训练镜像为训练容器，按照传入训练容器名称修改训练容器的容器名，用于实时查看训练日志；在训练容器中获取对应数据集，根据设置的训练迭代次数与每个Batch（批次）大小指定训练数据加载方式与训练次数，通过训练集与交叉验证集完成模型训练与模型训练效果评估，当模型训练至指定迭代次数后，训练停止，根据训练过程中保存的最佳模型作为迭代模型，最后保存迭代模型。迭代模型在测试集上的预测准确率用于发布至模型预测服务系统中，并将该迭代模型按照模型训练所依赖的算法框架-模型名称-模型描述格式-模型版本修改文件名，上传至模型预测系统。模型预测系统解析传入模型名称，判断当前模型所依赖的算法框架，模型名称，模型描述信息，模型版本信息完成模型的迭代或者模型更新。当算法模型的预测准确率小于预设准确率阈值时，再次启动上述流程，完成模型迭代与算法服务的热更新。
参见图4，图4为本申请模型热更新装置的结构示意图。
如图4所示，本申请提供一种模型热更新装置，应用于模型热更新设备，所述模型热更新装置包括：
获取模块10，用于获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率；
训练模块20，用于将所述预测准确率低于预设准确率阈值的算法模型作为待更新模型，从所述当前业务数据中抽选出误判业务数据，基于所述误判业务数据训练得到迭代模型；
更新模块30，用于基于所述迭代模型对所述目标算法预测服务中的待更新模型进行热更新，并执行步骤：获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率。
可选地，训练模块20，还用于：
将所述误判业务数据进行标注，获得误判数据集；
获取所述待更新模型的原始数据集和依赖算法框架，并将所述原始数据集和所述误判数据集整合为新数据集，并将所述新数据集发送至所述依赖算法框架对应的训练容器中；
在所述训练容器中将所述新数据集划分为训练集、交叉验证集和测试集，并根据所述训练集、所述测试集和所述交叉验证集，构建对应的迭代模型。
可选地，更新模块30，还用于：
获取所述迭代模型的第一标识信息，其中所述第一标识信息至少包括迭代模型的第一模型名称与对应的第一算法框架；
根据所述第一算法框架，将所述迭代模型上传至所述目标算法预测服务对应的算法框架容器中，并根据所述第一模型名称对所述目标算法预测服务中的待更新模型进行热更新。
可选地，更新模块30，还用于：
遍历所述目标算法预测服务中第一算法框架对应的算法框架容器中的待更新模型，得到与所述第一模型名称匹配的目标算法模型；
将所述目标算法模型替换为所述迭代模型。
可选地，所述模型热更新装置还包括准确率检测模块，用于：
加载所述目标算法预测服务中所述当前业务数据对应的算法模型；
将所述当前业务数据输入所述算法模型，得到所述算法模型的预测结果；
获取所述当前业务数据的真实结果，并将所述预测结果与所述真实结果进行比对，获得各算法模型针对当前业务数据的预测准确率。
可选地，更新模块30，还用于：
获取新增模型的第二标识信息；
根据所述第二标识信息中的第二算法框架，将所述新增模型上传至所述目标算法预测服务对应的算法框架容器中；
基于所述第二标识信息对所述目标算法预测服务的配置文件进行热更新，并加载所述新增模型。
可选地，更新模块30，还用于：
从所述第二标识信息中提取所述新增模型的第二模型名称、模型路径和模型版本号；
将所述第二模型名称、所述模型路径和所述模型版本号添加至所述配置文件中，并将所述第二模型名称与所述新增模型进行绑定。
本申请提供的模型热更新装置，采用上述各实施例中的模型热更新方法，解决了现有模型热更新方法难以保障待更新模型在未更新时间内的预测准确率的技术问题。与现有技术相比，本申请实施例提供的模型热更新装置的有益效果与上述实施例提供的模型热更新方法的有益效果相同，且该模型热更新装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
如图5所示，图5为本申请实施例方案涉及的硬件运行环境的设备结构示意图。
具体地，所述模型热更新设备可以是PC（Personal Computer，个人计算机）、平板电脑、便携式计算机或者服务器等设备。
如图5所示，所述模型热更新设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），用户接口1003还可以包括标准的有线接口、无线接口。可选地，网络接口1004可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图5中示出的设备结构并不构成对所述模型热更新设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序。
在图5所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的计算机程序，实现上述实施例提供的模型热更新方法中的操作。
此外，本申请实施例还提出一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例提供的模型热更新方法中的操作，具体步骤此处不再过多赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序；术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，电视机，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (8)
1.一种模型热更新方法，其特征在于，所述模型热更新方法包括以下步骤：
获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率；
将所述预测准确率低于预设准确率阈值的算法模型作为待更新模型，从所述当前业务数据中抽选出误判业务数据，基于所述误判业务数据训练得到迭代模型；
基于所述迭代模型对所述目标算法预测服务中的待更新模型进行热更新，并执行步骤：获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率；
所述基于所述迭代模型对所述目标算法预测服务中的待更新模型进行热更新的步骤，包括：
获取所述迭代模型的第一标识信息，其中所述第一标识信息至少包括迭代模型的第一模型名称与对应的第一算法框架，所述第一算法框架为所述迭代模型进行模型训练所依赖的算法框架；
根据所述第一算法框架，将所述迭代模型上传至所述目标算法预测服务对应的算法框架容器中，并根据所述第一模型名称对所述目标算法预测服务中的待更新模型进行热更新；
所述根据所述第一模型名称对所述目标算法预测服务中的待更新模型进行热更新的步骤，包括：
遍历所述目标算法预测服务中第一算法框架对应的算法框架容器中的待更新模型，得到与所述第一模型名称匹配的目标算法模型；
将所述目标算法模型替换为所述迭代模型。
2.如权利要求1所述的模型热更新方法，其特征在于，所述基于所述误判业务数据训练得到迭代模型的步骤，包括：
将所述误判业务数据进行标注，获得误判数据集；
获取所述待更新模型的原始数据集和依赖算法框架，并将所述原始数据集和所述误判数据集整合为新数据集，并将所述新数据集发送至所述依赖算法框架对应的训练容器中；
在所述训练容器中将所述新数据集划分为训练集、交叉验证集和测试集，并根据所述训练集、所述测试集和所述交叉验证集，构建对应的迭代模型。
3.如权利要求1所述的模型热更新方法，其特征在于，在所述获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率的步骤之前，包括：
加载所述目标算法预测服务中所述当前业务数据对应的算法模型；
将所述当前业务数据输入所述算法模型，得到所述算法模型的预测结果；
获取所述当前业务数据的真实结果，并将所述预测结果与所述真实结果进行比对，获得各算法模型针对当前业务数据的预测准确率。
4.如权利要求1至3中任一项所述的模型热更新方法，其特征在于，所述模型热更新方法还包括：
获取新增模型的第二标识信息；
根据所述第二标识信息中的第二算法框架，将所述新增模型上传至所述目标算法预测服务对应的算法框架容器中；
基于所述第二标识信息对所述目标算法预测服务的配置文件进行热更新，并加载所述新增模型。
5.如权利要求4所述的模型热更新方法，其特征在于，所述基于所述第二标识信息对所述目标算法预测服务的配置文件进行热更新的步骤，包括：
从所述第二标识信息中提取所述新增模型的第二模型名称、模型路径和模型版本号；
将所述第二模型名称、所述模型路径和所述模型版本号添加至所述配置文件中，并将所述第二模型名称与所述新增模型进行绑定。
6.一种模型热更新装置，其特征在于，所述模型热更新装置包括：
获取模块，用于获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率；
训练模块，用于将所述预测准确率低于预设准确率阈值的算法模型作为待更新模型，从所述当前业务数据中抽选出误判业务数据，基于所述误判业务数据训练得到迭代模型；
更新模块，用于基于所述迭代模型对所述目标算法预测服务中的待更新模型进行热更新，并执行步骤：获取目标算法预测服务中各算法模型针对当前业务数据的预测准确率；
更新模块，还用于：
获取所述迭代模型的第一标识信息，其中所述第一标识信息至少包括迭代模型的第一模型名称与对应的第一算法框架，所述第一算法框架为所述迭代模型进行模型训练所依赖的算法框架；
根据所述第一算法框架，将所述迭代模型上传至所述目标算法预测服务对应的算法框架容器中，并根据所述第一模型名称对所述目标算法预测服务中的待更新模型进行热更新；
更新模块，还用于：
遍历所述目标算法预测服务中第一算法框架对应的算法框架容器中的待更新模型，得到与所述第一模型名称匹配的目标算法模型；
将所述目标算法模型替换为所述迭代模型。
7.一种模型热更新设备，其特征在于，所述模型热更新设备包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的模型热更新方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的模型热更新方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410022471.6A CN117540827B (zh) | 2024-01-08 | 2024-01-08 | 模型热更新方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410022471.6A CN117540827B (zh) | 2024-01-08 | 2024-01-08 | 模型热更新方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117540827A CN117540827A (zh) | 2024-02-09 |
| CN117540827B true CN117540827B (zh) | 2024-04-09 |
Family
ID=89796210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410022471.6A Active CN117540827B (zh) | 2024-01-08 | 2024-01-08 | 模型热更新方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117540827B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992888A (zh) * | 2017-11-29 | 2018-05-04 | 深圳市智物联网络有限公司 | 工业设备运行状态的识别方法及服务器 |
| CN111078659A (zh) * | 2019-12-20 | 2020-04-28 | 腾讯科技（深圳）有限公司 | 模型更新方法、装置、计算机可读存储介质和计算机设备 |
| CN112395299A (zh) * | 2020-11-26 | 2021-02-23 | 平安普惠企业管理有限公司 | 数据更新方法、装置、终端设备及存储介质 |
| CN112486552A (zh) * | 2020-12-16 | 2021-03-12 | 深圳中清龙图网络技术有限公司 | 服务器热更新方法、装置、设备和存储介质 |
| CN112947960A (zh) * | 2021-02-05 | 2021-06-11 | 中国建设银行股份有限公司 | 一种基于机器学习的风险模型部署方法及系统 |
| CN113220756A (zh) * | 2021-03-25 | 2021-08-06 | 上海东普信息科技有限公司 | 物流数据实时处理方法、装置、设备及存储介质 |
| CN113344596A (zh) * | 2021-06-25 | 2021-09-03 | 深圳前海微众银行股份有限公司 | 客服业务处理方法、装置、设备及计算机可读存储介质 |
| CN113420902A (zh) * | 2020-12-09 | 2021-09-21 | 上海东普信息科技有限公司 | 件量预测模型训练方法、件量预测方法及相关设备 |
| WO2021189926A1 (zh) * | 2020-03-27 | 2021-09-30 | 支付宝(杭州)信息技术有限公司 | 业务模型训练方法、装置、系统及电子设备 |
| CN113885920A (zh) * | 2021-10-26 | 2022-01-04 | 北京奇艺世纪科技有限公司 | 机器学习模型的热更新方法、装置、电子设备及存储介质 |
| CN114186013A (zh) * | 2021-12-15 | 2022-03-15 | 广州华多网络科技有限公司 | 实体识别模型热更新方法及其装置、设备、介质、产品 |
| CN115098290A (zh) * | 2022-06-29 | 2022-09-23 | 中国工商银行股份有限公司 | 基于自动更新的nlp模型的智能人工服务方法和装置 |
| CN115718603A (zh) * | 2022-11-17 | 2023-02-28 | 浙江浙里信征信有限公司 | 一种Python模型分布式在线部署方法及系统 |
| CN116436964A (zh) * | 2023-03-20 | 2023-07-14 | 阿里巴巴（中国）有限公司 | 一种数据处理方法及装置 |
| CN116775687A (zh) * | 2023-07-07 | 2023-09-19 | 哈尔滨工程大学 | 一种基于数模共生的时间序列预测闭环框架 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108415719B (zh) * | 2018-03-29 | 2019-03-19 | 网易（杭州）网络有限公司 | 代码热更新方法和装置、存储介质、处理器及终端 |
-
2024
- 2024-01-08 CN CN202410022471.6A patent/CN117540827B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992888A (zh) * | 2017-11-29 | 2018-05-04 | 深圳市智物联网络有限公司 | 工业设备运行状态的识别方法及服务器 |
| CN111078659A (zh) * | 2019-12-20 | 2020-04-28 | 腾讯科技（深圳）有限公司 | 模型更新方法、装置、计算机可读存储介质和计算机设备 |
| WO2021189926A1 (zh) * | 2020-03-27 | 2021-09-30 | 支付宝(杭州)信息技术有限公司 | 业务模型训练方法、装置、系统及电子设备 |
| CN112395299A (zh) * | 2020-11-26 | 2021-02-23 | 平安普惠企业管理有限公司 | 数据更新方法、装置、终端设备及存储介质 |
| CN113420902A (zh) * | 2020-12-09 | 2021-09-21 | 上海东普信息科技有限公司 | 件量预测模型训练方法、件量预测方法及相关设备 |
| CN112486552A (zh) * | 2020-12-16 | 2021-03-12 | 深圳中清龙图网络技术有限公司 | 服务器热更新方法、装置、设备和存储介质 |
| CN112947960A (zh) * | 2021-02-05 | 2021-06-11 | 中国建设银行股份有限公司 | 一种基于机器学习的风险模型部署方法及系统 |
| CN113220756A (zh) * | 2021-03-25 | 2021-08-06 | 上海东普信息科技有限公司 | 物流数据实时处理方法、装置、设备及存储介质 |
| CN113344596A (zh) * | 2021-06-25 | 2021-09-03 | 深圳前海微众银行股份有限公司 | 客服业务处理方法、装置、设备及计算机可读存储介质 |
| CN113885920A (zh) * | 2021-10-26 | 2022-01-04 | 北京奇艺世纪科技有限公司 | 机器学习模型的热更新方法、装置、电子设备及存储介质 |
| CN114186013A (zh) * | 2021-12-15 | 2022-03-15 | 广州华多网络科技有限公司 | 实体识别模型热更新方法及其装置、设备、介质、产品 |
| CN115098290A (zh) * | 2022-06-29 | 2022-09-23 | 中国工商银行股份有限公司 | 基于自动更新的nlp模型的智能人工服务方法和装置 |
| CN115718603A (zh) * | 2022-11-17 | 2023-02-28 | 浙江浙里信征信有限公司 | 一种Python模型分布式在线部署方法及系统 |
| CN116436964A (zh) * | 2023-03-20 | 2023-07-14 | 阿里巴巴（中国）有限公司 | 一种数据处理方法及装置 |
| CN116775687A (zh) * | 2023-07-07 | 2023-09-19 | 哈尔滨工程大学 | 一种基于数模共生的时间序列预测闭环框架 |
Non-Patent Citations (2)
| Title |
|---|
| Binjie Zhang 等.HOT-REFRESH MODEL UPGRADES WITH REGRESSION-ALLEVIATING COMPATIBLE TRAINING IN IMAGE RETRIEVAL.arXiv:2201.09724v1.2022,1-20. * |
| 张鹏 等.基于SOC的列车以太网异常数据检测系统设计.制造业自动化.2023,第45卷(第12期),34-36,49. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117540827A (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10958748B2 (en) | Resource push method and apparatus | |
| US11455234B2 (en) | Robotics application development architecture | |
| WO2017186106A1 (zh) | 获取用户画像的方法及装置 | |
| US20200156243A1 (en) | Robotics application simulation management | |
| CN108304201A (zh) | 对象更新方法、装置及设备 | |
| US20230066853A1 (en) | Method and apparatus for training information prediction models, method and apparatus for predicting information, and storage medium and device thereof | |
| KR102384860B1 (ko) | 템플릿이 제공되어 상품 업로드 편의성이 향상된 오픈마켓 플랫폼의 운영방법 | |
| CN110598120A (zh) | 基于行为数据的理财推荐方法及装置、设备 | |
| US20230004486A1 (en) | Software testing using machine learning | |
| US20190005030A1 (en) | System and method for providing an intelligent language learning platform | |
| CN109032634A (zh) | 用于更新应用的方法、装置、设备和计算机可读存储介质 | |
| CN113034168A (zh) | 内容项投放方法、装置、计算机设备及存储介质 | |
| WO2021258968A1 (zh) | 小程序分类方法、装置、设备及计算机可读存储介质 | |
| CN113836390B (zh) | 资源推荐方法、装置、计算机设备及存储介质 | |
| CN116628349B (zh) | 信息推荐方法、装置、设备、存储介质及程序产品 | |
| US11475387B2 (en) | Method and system for determining productivity rate of user in computer-implemented crowd-sourced environment | |
| CN117540827B (zh) | 模型热更新方法、装置、设备及计算机可读存储介质 | |
| WO2020106907A1 (en) | Method and system for robotics application development | |
| US11935154B2 (en) | Image transformation infrastructure | |
| US20230012316A1 (en) | Automation of leave request process | |
| CN111444170B (zh) | 基于预测业务场景的自动机器学习方法和设备 | |
| CN110020120A (zh) | 内容投放系统中的特征词处理方法、装置及存储介质 | |
| US11983554B2 (en) | Automating semantically-related computing tasks across contexts | |
| US20230393871A1 (en) | Method and system of intelligently generating help documentation | |
| US11599455B2 (en) | Natural language processing (NLP)-based cross format pre-compiler for test automation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |