CN109242135A - 一种模型运营方法、装置、及业务服务器 - Google Patents

Abstract

公开了一种模型运营方法、装置、及业务服务器该方法包括：在任一预设的模型运营周期内，执行以下步骤：获得当前运行模型针对预设的测试事件集输出的预测结果，并对所述预测结果进行统计，得到至少一个性能指标值；获得所述当前运行模型的模型自变量的至少一个量化指标值；根据所述至少一个性能指标值与所述至少一个量化指标值确定所述当前运行模型是否出现异常；当确定所述当前运行模型出现异常时，根据预设的优化训练事件集对所述当前运行模型进行更新；将更新后的模型与所述当前运行模型的性能进行比较，若比较得出所述更新后的模型的性能优于所述当前运行模型，则将所述更新后的模型部署为线上运行的模型。

Description

一种模型运营方法、装置、及业务服务器

技术领域

本说明书实施例涉及数据处理技术领域，尤其涉及一种模型运营方法、装置、及业务服务器。

背景技术

智能化或自动化处理的本质，是由计算机根据给定的输入信息，经计算后得到对应输出信息的过程，模型则是用于描述上述输入-输出关系的一种信息，简单的模型可以是根据人工规则建立，在数据时代，基于大数据及机器学习技术进行数据建模则成为主流。目前在多种应用领域，例如风控领域，都已经广泛使用大数据建模来实现各种智能化处理功能，传统的模型运营过程如下：定期(例如每周)对当前运行模型的性能进行评估，若出现性能指标下跌或异常波动，则由专业人员从各个维度分析原因，并基于分析结果控制模型进行refit或retrain更新，模型更新后，还需要对新模型进行试运行，以根据试运行结果决策是否进行新旧模型的替换，若进行新旧模型的替换，还需要针对新部署的模型重新部署模型策略。

由此可见，传统的模型运营过程中需要较多的人工介入，且模型运营过程耗时较长。

发明内容

针对上述技术问题，本说明书实施例提供一种模型运营方法、装置、及业务服务器，技术方案如下：

根据本说明书实施例的第一方面，提供一种模型运营方法，所述方法包括：在任一预设的模型运营周期内，执行以下步骤：获得当前运行模型针对预设的测试事件集输出的预测结果，并对所述预测结果进行统计，得到至少一个性能指标值；获得所述当前运行模型的模型自变量的至少一个量化指标值；根据所述至少一个性能指标值与所述至少一个量化指标值确定所述当前运行模型是否出现异常；当确定所述当前运行模型出现异常时，根据预设的优化训练事件集对所述当前运行模型进行更新；将更新后的模型与所述当前运行模型的性能进行比较，若比较得出所述更新后的模型的性能优于所述当前运行模型，则将所述更新后的模型部署为线上运行的模型。

根据本说明书实施例的第二方面，提供一种模型运营装置，所述装置包括：第一获得模块，用于获得当前运行模型针对预设的测试事件集输出的预测结果，并对所述预测结果进行统计，得到至少一个性能指标值；第二获得模块，用于获得所述当前运行模型的模型自变量的至少一个量化指标值；异常检测模块，用于根据所述至少一个性能指标值与所述至少一个量化指标值确定所述当前运行模型是否出现异常；模型更新模块，用于当确定所述当前运行模型出现异常时，根据预设的优化训练事件集对所述当前运行模型进行更新；模型部署模块，用于将更新后的模型与所述当前运行模型的性能进行比较，若比较得出所述更新后的模型的性能优于所述当前运行模型，则将所述更新后的模型部署为线上运行的模型。

根据本说明书实施例的第三方面，提供一种业务服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现本说明书实施例提供的模型运营方法。

本说明书实施例所提供的技术方案，通过获得当前运行模型针对预设的测试事件集输出的预测结果，并对预测结果进行统计，得到至少一个性能指标值，以及获得当前运行模型的模型自变量的至少一个量化指标值，根据该至少一个性能指标值与该至少一个量化指标值确定当前运行模型是否出现异常，当确定当前运行模型出现异常时，根据预设的优化训练事件集对当前运行模型进行更新，将更新后的模型与当前运行模型的性能进行比较，若比较得出更新后的模型的性能优于当前运行模型，则将更新后的模型部署为线上运行的模型，以实现模型的自动化运营，提高模型运营效率，降低模型运营过程中的人力投入。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。

此外，本说明书实施例中的任一实施例并不需要达到上述的全部效果。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本说明书一示例性实施例提供的一种模型运营方法的实施例流程图；

图2为本说明书一示例性实施例提供的一种模型运营装置的实施例框图；

图3示出了本说明书实施例所提供的一种更为具体的业务服务器硬件结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。

以风控系统为例，以模型驱动的风控策略已被广泛应用，风控系统需要考虑多种风险类型，针对不同的风险类型，可以构建不同的独立模型，例如反欺诈模型、反盗用模型、反作弊模型等，进一步，还可以采用不同的整合方式将至少2个独立模型整合为一个整合模型，得到多个整合模型，在该多个整合模型中选取出一个性能最优的整合模型进行正式运行。

以反欺诈模型为例，传统的模型运营过程如下：

定期(例如每月)获取当前运行模型针对预设的样本事件集输出的预测结果，将该预测结果与样本事件集中的负样本进行关联匹配，得到当前运行模型在本周的性能指标值，例如打扰率、覆盖率、准确率等，将当前运行模型在本周的性能指标值与上周的性能指标值进行比较，若比较得出性能下降或者指标值异常波动，则由专业人员从各个维度，例如模型自变量维度、模型因变量维度分析引起模型性能下降或者指标值异常波动的原因，据先见经验而言，这一步骤一般耗时一天，之后，由专业人员基于分析结果控制模型进行refit或retrain更新，据先见经验而言，这一步骤一般耗时2至4周，模型更新后，还需要对新模型进行试运行，以根据试运行结果决策是否进行新旧模型的替换，若进行新旧模型的替换，还需要针对新部署的模型重新部署模型策略，据先见经验而言，这一步骤一般耗时2天。

由此可见，传统的模型运营过程中需要较多的人工接入，且耗时较长，其对于专业人员而言，是一项重要，但流程繁琐固化，工作量高度重复的工作。

针对上述问题，本说明书实施例提供一种模型运营方法，应用该方法，可以实现模型自动化运营，以提高模型运营效率，降低模型运营过程中的人力投入。

请参见图1，为本说明书一示例性实施例提供的一种模型运营方法的实施例流程图，该方法包括以下步骤：

步骤102：获得当前运行模型针对预设的测试事件集输出的预测结果，并对该预测结果进行统计，得到至少一个性能指标值。

首先说明，在本说明书实施例中，可以定义一个模型运营周期，例如一周，在任一模型运营周期内，可以执行本说明书实施例提供的模型运营方法。

在本说明书实施例中，预设的测试事件集可以取自某个时间窗口(例如最近一周、最近一个月等等)，且该测试事件集中的每一测试事件均具有已知的风险标签。

在本说明书实施例中，可以利用当前运行的模型，对预设的测试事件集进行预测，将输出的预测结果与测试事件的风险标签进行对比，根据对比结果统计得到当前运行模型的至少一个性能指标值。

本领域技术人员可以理解的是，用于评价模型性能的性能指标值一般包括：覆盖率、命中率、打扰率、准确率等，而这些性能指标值是否表现足够好，则是决定是否要对模型进行优化的重要依据。

步骤104：获取当前运行模型的模型自变量的至少一个量化指标值。

本领域技术人员可以理解的是，对于模型而言，其可以具有多个模型自变量(也即特征变量)，不同的模型自变量对于模型性能的影响程度不同，且随着时间的推移，在外界因素和自身因素的影响下，同一模型自变量对于模型性能的影响程度也会发生变化。

衡量模型自变量对于模型性能的影响程度，需要考虑的因素有很多，例如模型自变量的预测能力、模型自变量之间的相关性、模型自变量的简单性、模型自变量的强壮性、模型自变量在业务上的可解释性等等，其中最主要和最重要的衡量标准是模型自变量的预测能力，而对于模型自变量的预测能力，可以通过一些量化指标值来衡量，该量化指标值一般包括IV(Information Value，信息价值)、信息增益、基尼系数等等。

在本说明书实施例中，可以获取当前运行模型的各个模型自变量的至少一个量化指标值，至于获取该至少一个量化指标值的具体过程，本领域技术人员可以参见现有技术中的相关描述，本说明书实施例对此不再详述。

步骤106：根据至少一个性能指标值与至少一个量化指标值确定当前运行模型是否出现异常。

在本说明书实施例中，可以从两个方面确定当前运行模型是否出现异常，一方面，根据上述步骤102中得到的至少一个性能指标值确定当前运行模型是否出现异常；另一方面，根据上述步骤104中获取到的至少一个量化指标值确定当前运行模型是否出现异常。

其中，根据上述步骤102中得到的至少一个性能指标值确定当前运行模型是否出现异常可以包括：将步骤102中得到的至少一个性能指标值与当前运行模型在前一个模型运营周期，例如前一周的至少一个性能指标值进行比较，根据比较结果，确定当前运行模型在当前模型运营周期，例如本周的性能是否劣于其在前一个模型运营周期的性能，若是，则确定当前运行模型出现异常，具体为性能下降。

需要说明的是，上述针对性能指标值进行比较，可以是指将单个性能指标值分别进行比较，例如，比较当前运行模型在当前模型运营周期的准确率和其在前一个模型运营周期的准确率；还可以是指将多个性能指标值进行综合比较，例如可以利用多个性能指标值得到一个综合性能指标值，比较当前运行模型在当前模型运营周期的综合性能指标值与其在前一个模型运营周期的综合性能指标值。

根据上述步骤104中获取到的至少一个量化指标值确定当前运行模型是否出现异常则可以包括：根据上述步骤104中获取到的至少一个量化指标值确定各个模型自变量的分布是否出现波动，例如，按照各个模型自变量的IV对各个模型自变量进行排序，当前模型运营周期的排序结果与前一个模型运营周期的排序结果相差较大；或者是针对任一模型自变量，将当前模型运营周期内获取到的量化指标值与其在前一个模型运营周期的量化指标值进行比较，根据比较结果，确定当前运行模型的模型自变量是否出现异常波动，若是，则确定当前运行模型出现异常，具体则为模型自变量出现异常波动。

此外，在本发明实施例中，还可以输出当前运行模型出现异常的原因，通过上述描述可知，该原因可以包括下述至少一项：当前运行模型在当前模型运营周期的性能劣于其在前一个模型运营周期的性能、当前运行模型的模型自变量出现异常波动。通过该种处理，可以便于专业人员快速定位模型出现异常的原因，基于该原因提出模型优化建议，后续，则可以将专业人员提出的模型优化建议作为“专家经验”进行数据沉淀，以用于后期的模型优化过程。

步骤108：当确定当前运行模型出现异常时，根据预设的优化训练事件集对当前运行模型进行更新。

在本说明书实施例中，为了使得更新后的模型更适用于当前的欺诈风险形式，预设的优化训练事件集可以取自某个最近的时间窗口，例如最近一周，该优化训练事件集中的每一优化训练事件均具有已知的风险标签。

本领域技术人员可以理解的是，从“优化手段”维度进行划分，可以将模型优化策略分为两类：

i)refit更新：不改变模型的输入特征(即模型自变量)、仅对特征参数进行调整；

ii)retrain更新：增加或减少模型的输入特征，重新训练得到新的模型(retrain)。

在本说明书实施例中，则可以根据预设的优化训练事件集对当前运行模型进行refit更新或retrain更新。

其中，以retrain更新为例，随着欺诈风险形式的不断变化，对于新出现的风险，专业人员需要挖掘出新的特征，构造新的特征池，进一步，本说明书实施例中，可以利用预设的特征选择算法对特征池进行筛选，得到入模特征变量，本领域技术人员可以理解的是，在对特征池进行筛选，得到入模特征变量的过程中，涉及到推荐变量的简单统计分析、根据变量重要性排序、去相关性分析、变量效果对比，以及推荐变量业务逻辑等步骤。后续，利用新得出的入模特征变量与预设的优化训练事件集对当前运行模型进行retrain更新。

此外，基于上述描述可知，在对当前运行模型进行retrain更新之前，涉及到构造新的特征池，而构造新的特征池的前提则是专业人员对当前欺诈风险形式下的事件进行分析，基于分析结果选取特征变量，构造新的特征池，本领域技术人员可以理解的是，在构造该新的特征池的过程中还可以用到上述步骤106中所沉淀的“专家经验”。

基于此，在说明书实施例中还提出，通过事件的收益方介质关联、投诉描述相似性、行为序列相似性等维度，对预设的优化训练事件集进行聚类分析，得到至少一个聚类簇，每一聚类簇中可包括至少一个优化训练事件，通过该种处理，可以使得同类别，或者是具有高度重复性的事件被聚类到同一聚类簇中，之后，则可以针对任一聚类簇，在其包括的至少一个优化训练事件中选取其中一个优化训练事件，例如随机选取其中一个优化训练事件，后续，输出所选取的各个优化训练事件，以供专业人员进行事件分析，基于分析结果，再结合上述沉淀的“专家经验”，构造出一个新的特征池。

由此可见，通过该种处理，由于对优化训练事件集进行了“去重复性”处理，从而可以大大减少专业人员进行事件分析的工作量，提升专业人员的工作效率。

步骤110：将更新后的模型与当前运行模型的性能进行比较，若比较得出更新后的模型的性能优于当前运行模型，则将更新后的模型部署为线上运行的模型。

在本说明书实施例中，可以对更新后的模型进行试运行，例如，采用A/B test测试机制，利用更新后的模型与当前运行模型同步对线上事件进行预测，从而，针对同一线上事件，可以分别得到更新后的模型与当前运行模型各自针对该线上事件输出的预测结果，后续，则可以基于该两个预测结果进行统计，得到更新后的模型与当前运行模型各自的性能指标值，基于该性能指标值对更新后的模型与当前运行模型的性能进行比较，同时，还可以将各自的性能指标值进行对比输出，以供专业人员对比分析。

若比较得出更新后的模型的性能优于当前运行模型，则可以将更新后的模型正式部署为线上运行的模型。

此外，在本发明实施例中，考虑到不同的模型具有不同的评分标准，从而，针对同一线上事件而言，更新后的模型与当前运行模型所输出的预测分值也很可能不同，后续，若基于同一模型策略对分别对该两个预测分值进行分类，所得到的预测结果也很可能不同，举例来说，假设模型策略为：若模型针对线上事件输出的预测分值大于0.6，则将该线上事件稽核为风险事件，同时，假设针对同一线上事件，当前运行模型输出的预测分值为0.7，更新后的模型输出的预测分值为0.5，那么利用该模型策略，则可以分别得到该线上事件为风险事件，与该线上事件为安全事件的预测结果，由此可见，在模型策略稳定不变的前提下，若更换线上运行的模型，则很可能出现错误的预测结果，而变更模型策略又需要专业人员进行调研分析，耗费时间精力，效率较低。

基于此，本说明书实施例中提出，针对同一模型策略，制定一套标准化处理规则，在将更新后的模型部署为线上运行的模型之后，按照该标准化处理规则，将更新后的模型针对线上事件输出的预测分值进行标准化处理，得到标准分值，然后利用同一模型策略根据标准分值对该线上事件进行预测，得到预测结果。

举例来说，如下述表1所示，为标准化处理规则的一种示例，该标准化处理规则定义了预测分值与标准分值之间的对应关系：

表1

预测分值范围	标准分值
		0.6～1	0.2
0.3～0.6	0.4
		0.2～0.3	0.6
0.08～0.2	0.8
		0～0.08	1

得到上述表1的具体过程简述如下：

假设预设的事件集中包括10个事件，模型对该10个事件进行预测，输出的预测分值分别为0.3，0.1，0.3，0.7，0.01，0.005，0.5，0.6，0.08，0.2，按照从高到低的顺序，对该10个预测分值进行排序，排序得到的预测分值序列为0.7，0.6，0.5，0.3，0.3，0.2，0.1，0.08，0.01，0.005，后续，将该预测分值序列分割为L个分段，例如5个分段，分别为(0.7，0.6)，(0.5，0.3)，(0.3，0.2)，(0.1，0.08)，(0.01，0.005)，该5个分段对应有4个分割点，分别为0.6，0.3，0.2，0.08，基于该4个分割点，可以将预测分值的值域(0,1)划分为5个子区间，分别为0.6～1，0.3～0.6，0.2～0.3，0.08～0.2，0～0.08。

针对任一子区间，将其下界在预测分值序列中的分位数确定为其对应的标准化分值，例如，对于0.6～1这一预测分值范围而言，其下界0.6在上述预测分值序列中排名第二位，则其对应的分位数则为0.2(2/10)，又例如，对于0.3～0.6这一预测分值范围而言，其下界0.3在上述预测分值序列中排名第四位，则其对应的分位数则为0.4(4/10)，需要说明的是，对于0～0.08这一预测分值范围而言，其下界为0，将该预测分值范围对应的分位数确定为1。

本说明书实施例所提供的技术方案，通过获得当前运行模型针对预设的测试事件集输出的预测结果，并对预测结果进行统计，得到至少一个性能指标值，以及获得当前运行模型的模型自变量的至少一个量化指标值，根据该至少一个性能指标值与该至少一个量化指标值确定当前运行模型是否出现异常，当确定当前运行模型出现异常时，根据预设的优化训练事件集对当前运行模型进行更新，将更新后的模型与当前运行模型的性能进行比较，若比较得出更新后的模型的性能优于当前运行模型，则将更新后的模型部署为线上运行的模型，以实现模型的自动化运营，提高模型运营效率，降低模型运营过程中的人力投入。

相应于上述方法实施例，本说明书实施例还提供一种模型运营装置，参见图2，为本说明书一示例性实施例提供的一种模型运营装置的实施例框图，该装置可以包括：第一获得模块210、第二获得模块220、异常检测模块230、模型更新模块240，以及模型部署模块250。

其中，第一获得模块210，用于获得当前运行模型针对预设的测试事件集输出的预测结果，并对所述预测结果进行统计，得到至少一个性能指标值；

第二获得模块220，用于获得所述当前运行模型的模型自变量的至少一个量化指标值；

异常检测模块230，用于根据所述至少一个性能指标值与所述至少一个量化指标值确定所述当前运行模型是否出现异常；

模型更新模块240，用于当确定所述当前运行模型出现异常时，根据预设的优化训练事件集对所述当前运行模型进行更新；

模型部署模块250，用于将更新后的模型与所述当前运行模型的性能进行比较，若比较得出所述更新后的模型的性能优于所述当前运行模型，则将所述更新后的模型部署为线上运行的模型。

在一实施例中，所述异常检测模块230可以包括(图2中未示出)：

第一检测子模块，用于根据所述至少一个性能指标值确定所述当前运行模型在当前模型运营周期的性能是否劣于其在前一个模型运营周期的性能；

第二检测子模块，用于根据所述至少一个量化指标值确定所述当前运行模型的模型自变量是否出现异常波动；

异常确定子模块，用于当确定所述当前运行模型在当前模型运营周期的性能劣于其在前一个模型运营周期的性能时，和/或确定所述当前运行模型的模型自变量出现异常波动时，确定所述当前运行模型出现异常。

在一实施例中，所述装置还包括(图2中未示出)：

第一输出模块，用于输出所述当前运行模型出现异常的原因，所述原因包括下述至少一项：

所述当前运行模型在当前模型运营周期的性能劣于其在前一个模型运营周期的性能、所述当前运行模型的模型自变量出现异常波动。

在一实施例中，所述模型更新模块240具体用于：

根据预设的优化训练事件集对所述当前运行模型进行refit更新或retrain更新。

在一实施例中，所述装置还可以包括(图2中未示出)：

聚类模块，用于对预设的优化训练事件集进行聚类分析，得到至少一个聚类簇，所述聚类簇中包括至少一个优化训练事件；

选取模块，针对任一所述聚类簇，在其包括的至少一个优化训练事件中选取一个优化训练事件；

第二输出模块，用于输出所选取的各个优化训练事件。

在一实施例中，所述装置还可以包括(图2中未示出)：

接收模块，用于接收用户根据所输出的各个优化训练事件构造的特征池，所述特征池中包括多个特征变量；

所述模型更新模块具体用于：

利用所述入模特征变量与所述预设的优化训练事件集对所述当前运行模型进行retrain更新。

在一实施例中，所述装置还可以包括(图2中未示出)：

标准化处理模块，用于按照预设的标准化处理规则，将所述更新后的模型针对线上事件输出的预测分值进行标准化处理，得到所述线上事件的标准分值；

决策模块，用于利用所述标准分值与预设的模型策略得到所述更新后的模型针对所述线上事件输出的预测结果。

可以理解的是，上述第一获得模块210、第二获得模块220、异常检测模块230、模型更新模块240，以及模型部署模块250作为五种功能独立的模块，既可以如图2所示同时配置在装置中，也可以分别单独配置在装置中，因此图2所示的结构不应理解为对本说明书实施例方案的限定。

此外，上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述的模型运营方法。该方法至少包括：在任一预设的模型运营周期内，执行以下步骤：获得当前运行模型针对预设的测试事件集输出的预测结果，并对所述预测结果进行统计，得到至少一个性能指标值；获得所述当前运行模型的模型自变量的至少一个量化指标值；根据所述至少一个性能指标值与所述至少一个量化指标值确定所述当前运行模型是否出现异常；当确定所述当前运行模型出现异常时，根据预设的优化训练事件集对所述当前运行模型进行更新；将更新后的模型与所述当前运行模型的性能进行比较，若比较得出所述更新后的模型的性能优于所述当前运行模型，则将所述更新后的模型部署为线上运行的模型。

图3示出了本说明书实施例所提供的一种更为具体的业务服务器硬件结构示意图，该业务服务器可以包括：处理器310、存储器320、输入/输出接口330、通信接口340和总线350。其中处理器310、存储器320、输入/输出接口330和通信接口340通过总线350实现彼此之间在设备内部的通信连接。

处理器310可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器320可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器320可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器320中，并由处理器310来调用执行。

输入/输出接口330用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图3中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口340用于连接通信模块(图3中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线350包括一通路，在设备的各个组件(例如处理器310、存储器320、输入/输出接口330和通信接口340)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器310、存储器320、输入/输出接口330、通信接口340以及总线350，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的模型运营方法，该方法至少包括：在任一预设的模型运营周期内，执行以下步骤：获得当前运行模型针对预设的测试事件集输出的预测结果，并对所述预测结果进行统计，得到至少一个性能指标值；获得所述当前运行模型的模型自变量的至少一个量化指标值；根据所述至少一个性能指标值与所述至少一个量化指标值确定所述当前运行模型是否出现异常；当确定所述当前运行模型出现异常时，根据预设的优化训练事件集对所述当前运行模型进行更新；将更新后的模型与所述当前运行模型的性能进行比较，若比较得出所述更新后的模型的性能优于所述当前运行模型，则将所述更新后的模型部署为线上运行的模型。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (15)

1.一种模型运营方法，所述方法包括：

在任一预设的模型运营周期内，执行以下步骤：

获得当前运行模型针对预设的测试事件集输出的预测结果，并对所述预测结果进行统计，得到至少一个性能指标值；

获得所述当前运行模型的模型自变量的至少一个量化指标值；

根据所述至少一个性能指标值与所述至少一个量化指标值确定所述当前运行模型是否出现异常；

当确定所述当前运行模型出现异常时，根据预设的优化训练事件集对所述当前运行模型进行更新；

将更新后的模型与所述当前运行模型的性能进行比较，若比较得出所述更新后的模型的性能优于所述当前运行模型，则将所述更新后的模型部署为线上运行的模型。

2.根据权利要求1所述的方法，所述根据所述至少一个性能指标值与所述至少一个量化指标值确定所述当前运行模型是否出现异常，包括：

根据所述至少一个性能指标值确定所述当前运行模型在当前模型运营周期的性能是否劣于其在前一个模型运营周期的性能；

根据所述至少一个量化指标值确定所述当前运行模型的模型自变量是否出现异常波动；

当确定所述当前运行模型在当前模型运营周期的性能劣于其在前一个模型运营周期的性能时，和/或确定所述当前运行模型的模型自变量出现异常波动时，确定所述当前运行模型出现异常。

3.根据权利要求2所述的方法，所述方法还包括：

输出所述当前运行模型出现异常的原因，所述原因包括下述至少一项：

所述当前运行模型在当前模型运营周期的性能劣于其在前一个模型运营周期的性能、所述当前运行模型的模型自变量出现异常波动。

4.根据权利要求1所述的方法，所述根据预设的优化训练事件集对所述当前运行模型进行更新，包括：

根据预设的优化训练事件集对所述当前运行模型进行refit更新或retrain更新。

5.根据权利要求1所述的方法，所述方法还包括：

对预设的优化训练事件集进行聚类分析，得到至少一个聚类簇，所述聚类簇中包括至少一个优化训练事件；

针对任一所述聚类簇，在其包括的至少一个优化训练事件中选取一个优化训练事件；

输出所选取的各个优化训练事件。

6.根据权利要求5所述的方法，所述方法还包括：

接收用户根据所输出的各个优化训练事件构造的特征池，所述特征池中包括多个特征变量；

利用预设的特征选择算法对所述特征池进行筛选，得到入模特征变量；

所述根据预设的优化训练事件集对所述当前运行模型进行更新，包括：

利用所述入模特征变量与所述预设的优化训练事件集对所述当前运行模型进行retrain更新。

7.根据权利要求1所述的方法，在所述将所述更新后的模型部署为线上运行的模型之后，所述方法还包括：

按照预设的标准化处理规则，将所述更新后的模型针对线上事件输出的预测分值进行标准化处理，得到所述线上事件的标准分值；

利用所述标准分值与预设的模型策略得到所述更新后的模型针对所述线上事件输出的预测结果。

8.一种模型运营装置，所述装置包括：

第一获得模块，用于获得当前运行模型针对预设的测试事件集输出的预测结果，并对所述预测结果进行统计，得到至少一个性能指标值；

第二获得模块，用于获得所述当前运行模型的模型自变量的至少一个量化指标值；

异常检测模块，用于根据所述至少一个性能指标值与所述至少一个量化指标值确定所述当前运行模型是否出现异常；

模型更新模块，用于当确定所述当前运行模型出现异常时，根据预设的优化训练事件集对所述当前运行模型进行更新；

模型部署模块，用于将更新后的模型与所述当前运行模型的性能进行比较，若比较得出所述更新后的模型的性能优于所述当前运行模型，则将所述更新后的模型部署为线上运行的模型。

9.根据权利要求8所述的装置，所述异常检测模块包括：

第一检测子模块，用于根据所述至少一个性能指标值确定所述当前运行模型在当前模型运营周期的性能是否劣于其在前一个模型运营周期的性能；

第二检测子模块，用于根据所述至少一个量化指标值确定所述当前运行模型的模型自变量是否出现异常波动；

异常确定子模块，用于当确定所述当前运行模型在当前模型运营周期的性能劣于其在前一个模型运营周期的性能时，和/或确定所述当前运行模型的模型自变量出现异常波动时，确定所述当前运行模型出现异常。

10.根据权利要求9所述的装置，所述装置还包括：

第一输出模块，用于输出所述当前运行模型出现异常的原因，所述原因包括下述至少一项：

所述当前运行模型在当前模型运营周期的性能劣于其在前一个模型运营周期的性能、所述当前运行模型的模型自变量出现异常波动。

11.根据权利要求8所述的装置，所述模型更新模块具体用于：

根据预设的优化训练事件集对所述当前运行模型进行refit更新或retrain更新。

12.根据权利要求8所述的装置，所述装置还包括：

聚类模块，用于对预设的优化训练事件集进行聚类分析，得到至少一个聚类簇，所述聚类簇中包括至少一个优化训练事件；

选取模块，针对任一所述聚类簇，在其包括的至少一个优化训练事件中选取一个优化训练事件；

第二输出模块，用于输出所选取的各个优化训练事件。

13.根据权利要求12所述的装置，所述装置还包括：

接收模块，用于接收用户根据所输出的各个优化训练事件构造的特征池，所述特征池中包括多个特征变量；

所述模型更新模块具体用于：

利用所述入模特征变量与所述预设的优化训练事件集对所述当前运行模型进行retrain更新。

14.根据权利要求8所述的装置，所述装置还包括：

标准化处理模块，用于按照预设的标准化处理规则，将所述更新后的模型针对线上事件输出的预测分值进行标准化处理，得到所述线上事件的标准分值；

决策模块，用于利用所述标准分值与预设的模型策略得到所述更新后的模型针对所述线上事件输出的预测结果。

15.一种业务服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至7任一项所述的方法。