CN115630708A

CN115630708A - 一种模型更新方法、装置、电子设备、存储介质及产品

Info

Publication number: CN115630708A
Application number: CN202211351446.XA
Authority: CN
Inventors: 郑晓华; 陈青山; 许国良; 黄正; 陈江枫; 李冠萍
Original assignee: China Construction Bank Corp; CCB Finetech Co Ltd
Current assignee: China Construction Bank Corp; CCB Finetech Co Ltd
Priority date: 2022-10-31
Filing date: 2022-10-31
Publication date: 2023-01-20

Abstract

本发明公开了一种模型更新方法、装置、电子设备、存储介质及产品。该方法通过获取当前模型在应用过程中的预测数据和验证数据，并基于预测数据和验证数据，确定当前模型在应用过程的指标序列；基于指标序列对当前模型进行衰退检测；在当前模型满足衰退条件的情况下，获取预设配置文件，基于预设配置文件对当前模型进行更新处理，得到更新后的目标模型。实现人工干预少，在提高模型迭代更新效率的同时减少了人工成本，使用衰退检测自动触发迭代更新操作，进一步减少模型迭代更新不及时带来的收益损失，基于预设配置文件对当前模型进行更新处理，实现较少客观因素带来的衡量误差，保证迭代出的模型有更好的性能表现。

Description

一种模型更新方法、装置、电子设备、存储介质及产品

技术领域

本发明涉及人工智能技术领域，尤其涉及一种模型更新方法、装置、电子设备、存储介质及产品。

背景技术

近年来，随着人工智能的快速发展，机器学习类模型在数据分析、信贷审批、决策推断、客户管理等多领域的都有较为广泛的应用，各类人工智能模型也层出不穷。

随着模型的增多，如何使用更简单、更快捷、成本更低的模型监控措施来监控模型的运行效果，并对效果下降的模型及时进行迭代更新成为一个亟需解决的问题。

发明内容

本发明提供了一种模型更新方法、装置、电子设备、存储介质及产品，实现模型的自动迭代更新。

根据本发明的一方面，提供了一种模型更新方法，包括：

获取当前模型在应用过程中的预测数据和验证数据，并基于所述预测数据和所述验证数据，确定所述当前模型在应用过程的指标序列；

基于所述指标序列对所述当前模型进行衰退检测；

在所述当前模型满足衰退条件的情况下，获取预设配置文件，基于所述预设配置文件对所述当前模型进行更新处理，得到更新后的目标模型。

可选的，基于所述预测数据和所述验证数据，确定所述当前模型在应用过程的指标序列，包括：

基于相对应的所述预测数据和验证数据确定对应的指标数据，其中，所述指标数据的时间戳与所述预测数据的时间戳相同；

基于所述指标数据的时间戳，以及序列长度，对各所述指标数据进行筛选，基于筛选得到指标数据生成指标序列。

可选的，所述基于所述指标序列对所述当前模型进行衰退检测，包括：

将所述指标序列输入至预先训练的衰退检测模型中，得到所述指标序列对应的衰退参数；

若所述衰退参数大于预设衰退阈值，则确定所述当前模型满足衰退条件。

可选的，所述预设配置文件包括如下的一项或多项：特征范围、样本选择范围、迭代结束条件。

可选的，所述基于所述预设配置文件对所述当前模型进行更新处理，得到更新后的目标模型，包括：

基于所述特征范围筛选目标特征；

基于所述样本选择范围，确定训练样本；

基于所述训练样本和所述目标特征，对所述当前模型进行更新处理，在更新处理过程中，若满足迭代结束条件，则停止迭代，并得到更新后的目标模型。

可选的，所述基于所述特征范围筛选目标特征，包括：

在所述特征范围内确定候选特征，对各所述候选特征进行评估，得到各所述候选特征的评估参数；

基于各所述候选特征的评估参数筛选所述目标特征。

可选的，所述基于各所述候选特征的评估参数筛选所述目标特征，包括：

基于各所述候选特征的评估参数，对所述候选特征进行排序；

根据特征数据量参数，从所述候选特征的排序中确定目标特征组，所述目标特征组中包括所述特征数据量参数对应的目标特征。

可选的，所述特征数据量参数为多个，以及，得到的目标特征组为多个；

相应的，基于所述训练样本和所述目标特征，对所述当前模型进行更新处理，在更新处理过程中，若满足迭代结束条件，则停止迭代，并得到更新后的目标模型，包括：

基于所述训练样本和每一目标特征组，对所述当前模型进行更新处理，分别得到一个候选模型；

若各所述候选模型中的至少一项满足迭代结束条件，则停止迭代，并基于所述满足迭代结束条件的候选模型确定目标模型。

可选的，所述迭代结束条件包括更新后目标模型的模型指标优于更新前所述当前模型的模型指标。

可选的，基于所述满足迭代结束条件的候选模型确定目标模型，包括：

确定各所述候选模型的预设类型的模型指标，以及基于所述模型指标确定综合指标；

基于多个评估模型对所述模型指标和所述综合指标进行评估处理，得到各所述评估模型对所述候选模型的评估数据；

基于各所述评估模型对所述候选模型的评估数据确定所述候选模型的目标评估结果，并基于各所述候选模型的目标评估结果确定目标模型。

可选的，所述基于所述模型指标确定综合指标，包括：

获取所述预设类型的模型指标的至少部分模型指标，对所述至少部分模型指标进行预设处理，得到所述综合指标。

根据本发明的一方面，提供了一种模型更新装置，包括：

指标序列确定模块，用于获取当前模型在应用过程中的预测数据和验证数据，并基于所述预测数据和所述验证数据，确定所述当前模型在应用过程的指标序列；

衰退检测模块，用于基于所述指标序列对所述当前模型进行衰退检测；

目标模型更新模块，用于在所述当前模型满足衰退条件的情况下，获取预设配置文件，基于所述预设配置文件对所述当前模型进行更新处理，得到更新后的目标模型。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的模型更新方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的模型更新方法。

根据本发明的另一方面，提供了一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现本发明任一实施例所述的模型更新方法。

本发明实施例的技术方案，通过获取当前模型在应用过程中的预测数据和验证数据，并基于预测数据和验证数据，确定当前模型在应用过程的指标序列；基于指标序列对当前模型进行衰退检测；在当前模型满足衰退条件的情况下，获取预设配置文件，基于预设配置文件对当前模型进行更新处理，得到更新后的目标模型。实现人工干预少，在提高模型迭代更新效率的同时减少了人工成本，使用衰退检测自动触发迭代更新操作，进一步减少模型迭代更新不及时带来的收益损失，基于预设配置文件对当前模型进行更新处理，实现较少客观因素带来的衡量误差，保证迭代出的模型有更好的性能表现。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种模型更新方法的流程图；

图2是本发明实施例一提供的一种模型的ROC评估结果图；

图3是本发明实施例一提供的一种模型更新方法的流程图；

图4是本发明实施例二提供的一种模型更新装置的结构示意图；

图5是本发明实施例三提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一特征数据”、“第二特征数据”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请所涉及技术方案中对数据的获取、存储和/或处理，符合国家法律法规的相关规定。

实施例一

图1是本发明实施例一提供的一种模型更新方法的流程图，本实施例可适用于模型的自动迭代更新的情况，该方法可以由模型更新装置来执行，该模型更新装置可以采用硬件和/或软件的形式实现，该模型更新装置可配置于本发明实施例提供的电子设备中。如图1所示，该方法包括：

S110、获取当前模型在应用过程中的预测数据和验证数据，并基于预测数据和验证数据，确定当前模型在应用过程的指标序列。

其中，当前模型可以是已经通过预设方法完成训练并投入使用的人工智能模型，此处的当前模型可以是任意类型的机器学习模型，例如包括但不限于逻辑回归模型、神经网络模型等。应用过程可以是通过预设方法完成训练的人工智能模型的实际使用过程，例如获取输入信息，将输入信息输入至当前模型，得到当前模型的预测数据。同时，不限定当前模型的处理对象，以及预测数据的类型。可选的，当前模型的处理对象可以是图像、视频、音频、文本等，相应的当前模型可以是但不限于图像分类模型、图像分割模型、图像特征提取模型、图像压缩模型、图像增强模型、图像降噪模型、图像标签生成模型、文本分类模型、文本翻译模型、文本摘要提取模型、文本预测模型、关键词转换模型、文本语义分析模型、语音识别模型、音频降噪模型、音频合成模型、音频均衡器转换模型、天气预测模型、产品推荐模型、文章推荐网路、动作识别模型、人脸识别模型、面部表情识别模型等机器学习模型。相应的，上述任意的当前模型通过对应的样本数据训练得到。

预测数据可以是通过当前模型对输入数据进行预测处理得到的输出结果，验证数据可以是被预测对象的真实数据，以当前模型为产品推荐模型为例，预测数据可以是基于产品推荐模型向用户推荐的产品数据，验证数据可以是用户选择或者进行交易的产品数据；以当前模型为销量预测模块为例，预测数据可以是销量预测模型对未来时间段进行预测得到的预测销量数据，验证数据可以是未来时间段内的实际销量数据。

本实施例中，可通过当前模型在应用过程中，相匹配的预测数据和验证数据得到多个可表征当前模型使用质量的指标，通过不同时间戳对应的预测数据和验证数据得到相应时间戳的指标数据，对于任一指标，将该指标在各时间戳对应的指标数据进行整合，得到随时间排序的指标序列，该指标序列可以时间序列数据集。

可选的，基于相对应的预测数据和验证数据确定对应的指标数据，基于指标数据的时间戳，以及序列长度，对各指标数据进行筛选，基于筛选得到指标数据生成指标序列。

其中，指标数据可以包括但不限于AUC、KS、GINI、AR、PSI、精确率、准确率、召回率、F1值、误伤率等。时间戳可以是一份能够表示一份数据在一个特定时间点已经存在的完整的可验证的数据，时间戳可以为用户提供一份电子证据，以证明用户的某些数据的产生时间。相应的，指标数据的时间戳与预测数据的时间戳相同。序列长度可以是表征该序列时间跨度长短的数据，例如，一周、一个月等。

可选的，可以基于序列长度更新指标序列，其中，序列长度可以是时间长度，还可以是序列中指标数据的数据量(例如序列长度可以是300个指标数据的长度)。示例性的，序列长度为一周，当前模型在应用过程中的预测数据和验证数据为第8天的数据，则删除第1天的数据，并将第8天的数据置于该指标序列的末尾，从而更新指标序列。将各指标数据基于对应的时间戳进行排序，筛选时间戳与当前时刻最近的，满足序列长度的指标数据，形成指标序列。

对于每一指标项，可分别生成一个指标序列，相应的，此处的指标序列可以是多个。通过筛选指标数据建立指标序列，便于通过指标序列对模型进行后续检测。

S120、基于指标序列对当前模型进行衰退检测。

其中，衰退检测可以是基于预设算法训练得到的模型进行检测的过程。

可选的，衰退检测的过程可以是：将指标序列输入至预先训练的衰退检测模型中，得到指标序列对应的衰退参数，若衰退参数大于预设衰退阈值，则确定当前模型满足衰退条件。

其中，衰退检测模型可以是通过预设深度学习算法训练得到的具有衰退检测功能的模型，例如，LSTM(Long Short-Term Memory，长短期记忆网络)模型等。衰退参数可以是大小为0到1的值，用来表征模型的衰退程度，其可以通过衰退检测模型评估获得。具体参见图2，图2可以是模型的ROC评估结果图，其中，横坐标为伪正类率(False positive rate，FPR)，即对应的衰退参数小于预设衰退阈值的比例，纵坐标为真正类率(True positiverate，TPR)，即对应的衰退参数大于预设衰退阈值的比例。

需要说明的是，假设衰退阈值为0.6，概率大于等于0.6的为正类，小于0.6的为负类，对应的就可以算出一组(FPR,TPR)，在平面中得到对应坐标点。理想情况下，TPR应该接近1，FPR应该接近0。

示例性的，首先基于预测数据以及验证数据构建指标序列。针对不同类型的指标数据，由于不同指标数据的数据范围不一致，可使用StandardScaler进行缩放。构建LSTM模型并设置n_past参数值为30(n_past表示预测下一个目标值将在过去查看的步骤数)。训练LSTM神经模型，使用gridsearchCV对衰退参数进行调整，获取衰退检测模型。根据训练时的模型表现，对衰退检测模型的衰退参数进行优化。使用最优衰退参数的衰退检测模型对当前模型的衰退情况进行检测。此处，可通过衰退检测模型对不同的指标序列分别进行衰退检测，得到多个衰退检测结果，相应的，可通过多个衰退检测结果综合确定当前模型的衰退程度。示例性的，在任一指标对应的衰退检测结果满足衰退条件的情况下，可确定当前模型满足衰退条件；示例性的，可通过多个指标对应的权重，对多个衰退检测结果进行加权处理，得到综合衰退数据，并确定综合衰退数据是否满足衰退条件。

通过预先训练的衰退检测模型预测模型衰退风险，为是否进行下一步模型迭代提供触发依据，实现衰退风险的客观预测，具有一定的前瞻性，使评估更准确，触发迭代更及时。

S130、在当前模型满足衰退条件的情况下，获取预设配置文件，基于预设配置文件对当前模型进行更新处理，得到更新后的目标模型。

其中，预先对当前模型进行一次初始化参数配置，得到预设配置文件，配置模型选取的特征范围、样本选择范围、迭代结束条件等，此处不做具体限定。存储预设配置文件，在当前模型满足衰退条件的情况下，调用预设配置文件。其中，预设配置文件的设置过程可以是，通过显示界面显示配置页面，基于用户在配置页面的配置操作，接收配置信息，形成预设配置文件。通过进行简单初始化参数配置即自动进行模型的自迭代，操作简单，易用性高，对使用人员的建模能力要求低。

预设配置文件可以包括特征范围、样本选择范围、迭代结束条件等一项或多项。可选的，特征范围可以是可选择的特征集合，例如可以是特征宽表名的形式。样本选择范围可以是包括样本数据的选择时间范围，和/或，样本数据的数据集范围。

对当前模型的更新处理可以是基于预设规则进行迭代，以得到更加优化的目标模型。目标模型可以是满足迭代结束条件的迭代模型。可选的，对当前模型的更新处理过程可以是：基于特征范围筛选目标特征，基于样本选择范围，确定训练样本，基于训练样本和目标特征，对当前模型进行更新处理，在更新处理过程中，若满足迭代结束条件，则停止迭代，并得到更新后的目标模型。

其中，目标特征可以是使用随机算法随机获得，例如，随机在特征范围选择若干特征作为目标特征。特征筛选可以是通过预设方式将坏特征剔除的过程，相应的，目标特征可以是特征范围内的好特征。此处的好特征和坏特征可以是通过预设方式评估确定的。

样本选择范围可以是预设的时间跨度。训练样本可以是从当前模型的历史数据中确定的，相应的，预设样本可以是包括预设的时间跨度内的历史数据，例如，基于样本选择范围选取从当前时刻往前的时长N内的历史数据作为样本数据，并且将各历史数据的时间信息由近到远从总样本数据中划分出30％的样本数据形成验证集，剩下的70％的样本数据再划分出30％形成测试集，剩下的样本数据形成训练集。对当前模型的更新处理可以为在确定当前模型满足衰退条件后，基于确定的训练集、测试集和验证集中的训练样本，提取上述训练样本中的目标特征，对当前模型自动进行迭代训练的过程，迭代结束条件可以包括更新后目标模型的模型指标优于更新前当前模型的模型指标。

通过预设配置文件对模型进行迭代更新，保证当前模型在应用过程中指标的优秀性，减少对人为操作的依赖，同时根据设置的迭代结束条件，更新后的目标模型性能优化。

可选的，在特征范围内确定候选特征，对各候选特征进行评估，得到各候选特征的评估参数，基于各候选特征的评估参数筛选目标特征。

其中，候选特征可以是使用随机算法进行特征初筛后的数据，例如，使用随机算法随机选择特征范围中50％的特征作为候选特征。评估参数可以是候选特征的IV值。

通过对特征范围内的数据进行预处理形成候选特征并对候选特征进行评估获得其评估参数，基于评估参数筛选目标特征，进一步提高目标特征的精确度及优秀性。

可选的，基于各候选特征的评估参数，对候选特征进行排序，根据特征数据量参数，从候选特征的排序中确定目标特征组，目标特征组中包括特征数据量参数对应的目标特征。

其中，排序可以是基于评估参数对各候选特征进行优先级排序，例如，基于各候选特征的IV值将各候选特征从大到小排列等。特征数据量参数可以是表征特征数据量的大小或占比的参数。目标特征组可以是从候选特征中筛选的目标特征的集合。

示例性的，将评估参数即IV值前50％的候选特征目标特征，形成目标特征组，即特征数据量参数为50％。在一些实施例中，特征数据量参数可以为60％、70％、80％、90％或100％，此处不做具体限定。可选的，特征数据量参数为多个，以及，得到的目标特征组为多个。

通过对候选特征进行排序分组，基于特征数据量参数获得目标特征，以筛选对模型优化有作用的目标特征。进一步，对在候选特征中筛选出不同数量的目标特征，形成多个目标特征组，可同时基于不同数量目标特征对当前模型进行更新处理，以得到不同的更新模型，已筛选最优的目标特征，在一轮更新中，训练多个更新模型，简化更新过程，缩短更新时长。

本实施例中，特征数据量参数及目标特征组的数量可以根据实际需求进行设置，此处不做具体限定。特征数据量参数及目标特征组的数量相同。

在对候选特征进行评估的过程可以是：，对候选特征进行分箱处理，得到多组候选特征，例如候选特征为N组，参见表1，表1可以是候选特征的分箱即评估结果，

表1

其中，good表示模型中好样本的数量，bad表示模型中坏样本的数量，计算每个分组中好样本占比和坏样本占比，每个分组的WOE值的计算公式如下：

其中，G_i表示为第i组即Group i的好样本数量，B_i表示为第i组即Group i的坏样本数量，G表示为好样本的样本总数量，B表示为坏样本的样本总数量。

基于WOE值，可以计算每个候选特征的分组IV值：

特征的IV值则为每个分组的IV值之和：

根据如下标准，舍弃特征IV值小于等于0.02的特征。参见表2，表2是候选特征的IV值与其变量区分度的对应关系。

表2

IV值	变量区分度
		<＝0.02	变量无预测能力，不可用
0.02-0.1	弱预测性
		0.1-0.2	有一定的预测性
>0.2	高预测性
		过高IV	可能有潜在的风险

此处，通过计算各候选特征的评估参数，即IV值，以对候选特征进行排序和筛选，得到至少一个用于进行模型更新的目标特征组。相应的，基于训练样本和每一目标特征组，对当前模型进行更新处理，分别得到一个候选模型，若各候选模型中的至少一项满足迭代结束条件，则停止迭代，并基于满足迭代结束条件的候选模型确定目标模型。

其中，候选模型可以是基于不同的特征数据量参数进行模型训练产生的结果。例如，分别将IV值前50％、前60％、前70％、前80％、前90％和全部特征作为模型训练的输入，输出第一、第二、第三、第四、第五、第六个子模型，六个子模型即为候选模型。对上述候选模型进行评估，确定目标模型。

在一些实施例中，对候选模型进行评估，可以是对候选模型的性能进行评分，将评分最高的候选模型确定为目标模型。具体的，可以是得出上述6个候选模型的综合得分Score1、Score2、Score3、Score4、Score5、Score6。目标模型可以是本轮更新迭代得分最高的候选模型。

通过设置多个特征数据量参数并获得多个目标特征组，基于训练样本和每一目标特征组对当前模型进行更新迭代生成多个候选模型并对其进行综合评分，将该轮迭代得分最高的候选模型作为目标模型输出，减少了客观因素带来的衡量误差，保证了迭代更新后的模型有更好的性能表现。

可选的，确定各候选模型的预设类型的模型指标，以及基于模型指标确定综合指标，基于多个评估模型对模型指标和综合指标进行评估处理，得到各评估模型对候选模型的评估数据，基于各评估模型对候选模型的评估数据确定候选模型的目标评估结果，并基于各候选模型的目标评估结果确定目标模型。

其中，模型指标可以是指标数据中的一种或多种。综合指标可以是获取预设类型的模型指标的至少部分模型指标，例如，表现较好的AUC、KS、PSI等，对至少部分模型指标进行预设处理得到的，例如，将AUC、KS、PSI三个指标加权获得。评估模型可以是训练逻辑回归、xgboot和lightGBM模型等，此处不做具体限定。相应的，评估模型可以是一个或多个，每个评估模型均可输出一个目标评估结果。

示例性的，使用表现较好的AUC、KS、PSI三个指标的利用如下综合函数做衍生出评价指标S，作为综合指标。

S＝αA+βB+γC

其中，A表示模型AUC值，B表示模型KS值，C表示模型PSI稳定性。设置为α0.3，β为0.3，γ为0.4。

将AUC、KS、GINI、AR、PSI、精确率、准确率、召回率、F1值、误伤率、S这11个指标数据作为输入的特征数据，利用评估模型即训练逻辑回归、xgboot和lightGBM模型进行加权求平均，来评估迭代出的模型性能得分作为目标评估结果。基于模型性能得分进行排序并选取得分最高的模型作为目标模型输出。

通过得分从多个维度进行模型性能衡量，实现更高效、更准确地筛选出最优迭代模型。

需要说明的是，对筛选出的目标模型判断是否满足迭代结束条件，若否，则重新执行基于特征范围筛选目标特征，基于样本选择范围，确定训练样本，基于训练样本和目标特征，对当前模型进行更新处理的过程，直到得到的目标模型满足迭代结束条件。

在一个可选的实施例中，具体参见图3，先对当前模型进行一次初始化参数配置，得到预设配置文件。基于预测数据和验证数据确定当前模型在应用过程的指标序列，利用深度学习的LSTM算法，建立评估模型(衰退检测模型)。基于衰退检测模型预测模型衰退风险结果，对满足衰退条件的模型及时进行模型的自动化迭代。触发迭代时首先使用随机算法选择50％的特征作为第一轮迭代的特征范围即特征初筛。然后自动进行训练集和测试集以及验证集划分。对数据进行预处理。根据特征预处理结果进一步进行特征筛选，使用向前迭代的理论方法，分别训练出6个子模型即候选模型，每个子模型都自动使用贝叶斯优化算法进行超参数调优，使用11种指标数据评估子模型性能，将指标数据作为新的特征输入逻辑回归模型、xgboost模型、lightGBM模型组成综合评价模型即评估模型中，将三个模型输出的三个分值进行加权求平均后作为每个子模型的综合得分值，选出综合得分最高的子模型作为目标模型输出，并对比输出的目标模型是否达到迭代退出条件，符合条件的目标模型则作为新的模型版本输出，否则进行第二轮迭代，直到符合迭代退出条件。

本实施例的技术方案，通过获取当前模型在应用过程中的预测数据和验证数据，并基于预测数据和验证数据，确定当前模型在应用过程的指标序列；基于指标序列对当前模型进行衰退检测；在当前模型满足衰退条件的情况下，获取预设配置文件，基于预设配置文件对当前模型进行更新处理，得到更新后的目标模型。实现人工干预少，在提高模型迭代更新效率的同时减少了人工成本，使用衰退检测自动触发迭代更新操作，进一步减少模型迭代更新不及时带来的收益损失，基于预设配置文件对当前模型进行更新处理，实现较少客观因素带来的衡量误差，保证迭代出的模型有更好的性能表现。

实施例二

图4是本发明实施例二提供的一种模型更新装置的结构示意图。如图4所示，该装置包括：

指标序列确定模块410，用于获取当前模型在应用过程中的预测数据和验证数据，并基于所述预测数据和所述验证数据，确定所述当前模型在应用过程的指标序列；

衰退检测模块420，用于基于所述指标序列对所述当前模型进行衰退检测；

目标模型更新模块430，用于在所述当前模型满足衰退条件的情况下，获取预设配置文件，基于所述预设配置文件对所述当前模型进行更新处理，得到更新后的目标模型。

可选的，指标序列确定模块410，包括：

指标数据确定模块，用于基于相对应的所述预测数据和验证数据确定对应的指标数据，其中，所述指标数据的时间戳与所述预测数据的时间戳相同；

指标序列生成模块，用于基于所述指标数据的时间戳，以及序列长度，对各所述指标数据进行筛选，基于筛选得到指标数据生成指标序列。

可选的，所述衰退检测模块420，包括：

衰退参数获取模块，用于将所述指标序列输入至预先训练的衰退检测模型中，得到所述指标序列对应的衰退参数；

衰退条件满足模块，用于若所述衰退参数大于预设衰退阈值，则确定所述当前模型满足衰退条件。

可选的，所述目标模型更新模块430，包括：

目标特征筛选模块，用于基于所述特征范围筛选目标特征；

训练样本确定模块，用于基于所述样本选择范围，确定训练样本；

第一更新模块，用于基于所述训练样本和所述目标特征，对所述当前模型进行更新处理，在更新处理过程中，若满足迭代结束条件，则停止迭代，并得到更新后的目标模型。

可选的，所述目标特征筛选模块，包括：

评估参数获取模块，用于在所述特征范围内确定候选特征，对各所述候选特征进行评估，得到各所述候选特征的评估参数；

第一筛选模块，用于目标特征基于各所述候选特征的评估参数筛选所述目标特征。

可选的，所述第一筛选模块，包括：

排序模块，用于基于各所述候选特征的评估参数，对所述候选特征进行排序；

目标特征组确定模块，用于根据特征数据量参数，从所述候选特征的排序中确定目标特征组，所述目标特征组中包括所述特征数据量参数对应的目标特征。

相应的，第一更新模块，包括：

候选模型获取模块，用于基于所述训练样本和每一目标特征组，对所述当前模型进行更新处理，分别得到一个候选模型；

目标模型确定模块，用于若各所述候选模型中的至少一项满足迭代结束条件，则停止迭代，并基于所述满足迭代结束条件的候选模型确定目标模型。

可选的，目标模型确定模块，包括：

综合指标确定模块，用于确定各所述候选模型的预设类型的模型指标，以及基于所述模型指标确定综合指标；

评估数据获取模块，用于基于多个评估模型对所述模型指标和所述综合指标进行评估处理，得到各所述评估模型对所述候选模型的评估数据；

第一目标模型确定模块，用于基于各所述评估模型对所述候选模型的评估数据确定所述候选模型的目标评估结果，并基于各所述候选模型的目标评估结果确定目标模型。

可选的，所述综合指标确定模块，具体用于：

本发明实施例所提供的模型更新装置可执行本发明任意实施例所提供的模型更新方法，具备执行方法相应的功能模块和有益效果。

实施例三

图5是本发明实施例三提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如模型更新方法。

在一些实施例中，模型更新方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的模型更新方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型更新方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

实施例四

本发明实施例四还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行模型更新方法，该方法包括：

基于所述指标序列对所述当前模型进行衰退检测；

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

实施例五

本发明实施例五还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本发明任一实施例所述的模型更新方法。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种模型更新方法，其特征在于，包括：

基于所述指标序列对所述当前模型进行衰退检测；

2.根据权利要求1所述的方法，其特征在于，基于所述预测数据和所述验证数据，确定所述当前模型在应用过程的指标序列，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述指标序列对所述当前模型进行衰退检测，包括：

4.根据权利要求1所述的方法，其特征在于，所述预设配置文件包括如下的一项或多项：特征范围、样本选择范围、迭代结束条件。

5.根据权利要求4所述的方法，其特征在于，所述基于所述预设配置文件对所述当前模型进行更新处理，得到更新后的目标模型，包括：

基于所述特征范围筛选目标特征；

基于所述样本选择范围，确定训练样本；

6.根据权利要求5所述的方法，其特征在于，所述基于所述特征范围筛选目标特征，包括：

基于各所述候选特征的评估参数筛选所述目标特征。

7.根据权利要求6所述的方法，其特征在于，所述基于各所述候选特征的评估参数筛选所述目标特征，包括：

8.根据权利要求7所述的方法，其特征在于，所述特征数据量参数为多个，以及，得到的目标特征组为多个；

9.根据权利要求4或8所述方法，其特征在于，所述迭代结束条件包括更新后目标模型的模型指标优于更新前所述当前模型的模型指标。

10.根据权利要求8所述的方法，其特征在于，基于所述满足迭代结束条件的候选模型确定目标模型，包括：

11.根据权利要求10所述的方法，其特征在于，所述基于所述模型指标确定综合指标，包括：

12.一种模型更新装置，其特征在于，包括：

13.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的模型更新方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-11中任一项所述的模型更新方法。

15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的模型更新方法。