CN108573355A - 模型更新后替换运行的方法、装置、及业务服务器 - Google Patents

Abstract

公开了一种模型更新后替换运行的方法、装置及业务服务器，所述方法包括：对各个更新后的模型的综合性能进行比较；将综合性能最优的更新后的模型确定为候选模型；对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，所述候选模型或所述当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果确定，所述指定风险阈值由预设的模型策略确定；若比较得出所述候选模型的性能优于所述当前线上运行的模型，则将所述候选模型部署为线上运行的模型。

Description

模型更新后替换运行的方法、装置、及业务服务器

技术领域

本说明书实施例涉及数据处理技术领域，尤其涉及模型更新后替换运行的方法、装置、及业务服务器。

背景技术

智能化或自动化处理的本质，是由计算机根据给定的输入信息，经计算后得到对应输出信息的过程，模型则是用于描述上述输入-输出关系的一种信息，简单的模型可以是根据人工规则建立，在数据时代，基于大数据及机器学习技术进行数据建模则成为主流。目前在多种应用领域中，都已经广泛使用大数据建模来实现各种智能化处理功能，同时，为了避免随着时间的推移导致模型的适用性下降，需要适时对模型进行更新，而随着模型的自动更新与新旧模型的替换运行，也相应产生了每进行一次模型替换运行，都需要针对新部署的模型重新部署一次模型策略，从而导致模型替换运行过程需要较多的人工介入，模型替换运行周期较长，更新后的模型无法及时发挥作用等问题。

以风控系统为例，目前以模型驱动的风控策略已被广泛应用，特别是针对一些综合的业务平台，可以基于不同场景分别构建出多个独立模型，进一步，还可以采用不同的整合方式将至少2个独立模型整合为一个整合模型，得到多个整合模型，后续，则可以在多个整合模型中选取出一个性能最优的整合模型进行正式运行。然而，由于独立模型是基于一定的历史数据样本训练得到，而随着时间的推移，可能会有多种因素导致独立模型的适用性下降，因此需要适时对独立模型进行更新，相应的，对于整合模型而言也同样需要适时更新，例如，每周对各个整合模型(其中包括当前正式运行的整合模型)进行一次refit更新，而各个整合模型更新之后，需要重新选取出一个性能最优的整合模型替换当前正式运行的整合模型，并同时重新部署一次模型策略，而目前在模型的评估选择以及模型替换运行阶段的模型策略部署仍需较多的人工介入，从而导致模型替换运行周期耗时较长，也就导致更新后的整合模型无法及时发挥作用。

发明内容

针对上述技术问题，本说明书实施例提供模型更新后替换运行的方法、装置、及业务服务器，技术方案如下：

一种模型更新后替换运行的方法，所述方法包括：

对各个更新后的模型的综合性能进行比较，其中，任一更新后的模型是根据预设的优化训练事件集对初始模型进行更新得到，任一更新后的模型的综合性能根据该更新后的模型在多个不同稽核率下的指标值确定，所述多个不同稽核率由预设的综合性能评估规则确定；

将综合性能最优的更新后的模型确定为候选模型；

对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，所述候选模型或所述当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果确定，所述指定风险阈值由预设的模型策略确定；

若比较得出所述候选模型的性能优于所述当前线上运行的模型，则将所述候选模型部署为线上运行的模型。

2、根据权利要求1所述的方法，所述更新后的模型在多个不同稽核率下的指标值，根据该更新后的模型针对预设测试事件集输出的测试分值，与在多个不同稽核率下，根据所述测试分值对所述预设测试事件集的预测结果确定；

在所述将综合性能最优的更新后的模型确定为候选模型之后，所述方法还包括：

按照预设的标准化规则，对所述候选模型针对所述预设测试事件集输出的测试分值进行标准化处理，得到所述候选模型的分值范围与标准分值的对应关系。

3、根据权利要求2所述的方法，所述按照预设的标准化规则，对所述候选模型针对所述预设测试事件集输出的测试分值进行标准化处理，得到所述候选模型的分值范围与标准分值的对应关系，包括：

按照从高到低的顺序，对所述候选模型针对所述预设测试事件集输出的测试分值进行排序；

将排序得到的测试分值序列分割为L个分段，所述L为大于1的预设数值；

根据所述L个分段的各个分割点，将所述测试分值的值域划分为L个分值范围；

针对任一分值范围，将所述分值范围的下界在所述测试分值序列中的分位数，确定为该分值范围对应的标准分值。

4、根据权利要求2所述的方法，所述对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，包括：

根据所述候选模型针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与所述指定风险阈值对所述指定线上事件集的稽核结果，确定所述候选模型在所述指定风险阈值下的准确率；

根据所述线上运行的模型针对所述指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果，确定所述线上运行的模型在所述指定风险阈值下的准确率；

对所述候选模型在所述指定风险阈值下的准确率，与当前线上运行的模型在所述指定风险阈值下的准确率进行比较。

5、根据权利要求4所述的方法，所述根据所述候选模型针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与所述指定风险阈值对所述指定线上事件集的稽核结果，确定所述候选模型在所述指定风险阈值下的准确率，包括：

针对指定线上事件集中任一线上事件，执行下述过程得到所述候选模型在所述指定风险阈值下对该线上事件的稽核结果：

根据所述候选模型对该线上事件输出的分值查找所述候选模型的分值范围与标准分值的对应关系，确定该分值所属的目标分值范围对应的目标标准分值；

对所述目标标准分值与所述指定风险阈值进行比较；

若比较得出所述目标标准分值不大于所述指定风险阈值，则将该线上事件稽核为风险事件，否则，将该线上事件稽核为安全事件；

根据所述候选模型在所述指定风险阈值下对指定线上事件集中任一线上事件的稽核结果，与所述任一线上事件的风险标签，统计得到候选模型在所述指定风险阈值下的准确率。

6、一种模型更新后替换运行的装置，所述装置包括：

第一比较模块，用于对各个更新后的模型的综合性能进行比较，其中，任一更新后的模型是根据预设的优化训练事件集对初始模型进行更新得到，任一更新后的模型的综合性能根据该更新后的模型在多个不同稽核率下的指标值确定，所述多个不同稽核率由预设的综合性能评估规则确定；

候选模型确定模块，用于将综合性能最优的更新后的模型确定为候选模型；

第二比较模块，用于对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，所述候选模型或所述当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果确定，所述指定风险阈值由预设的模型策略确定；

模型部署模块，用于若比较得出所述候选模型的性能优于所述当前线上运行的模型，则将所述候选模型部署为线上运行的模型。

7、根据权利要求6所述的装置，所述更新后的模型在多个不同稽核率下的指标值，根据该更新后的模型针对预设测试事件集输出的测试分值，与在多个不同稽核率下，根据所述测试分值对所述预设测试事件集的预测结果确定；

所述装置还包括：

标准化模块，用于按照预设的标准化规则，对所述候选模型针对所述预设测试事件集输出的测试分值进行标准化处理，得到所述候选模型的分值范围与标准分值的对应关系。

8、根据权利要求7所述的装置，所述标准化模块包括：

排序子模块，用于按照从高到低的顺序，对所述候选模型针对所述预设测试事件集输出的测试分值进行排序；

第一划分子模块，用于将排序得到的测试分值序列分割为L个分段，所述L为大于1的预设数值；

第二划分子模块，用于根据所述L个分段的各个分割点，将所述测试分值的值域划分为L个分值范围；

第一确定子模块，用于针对任一分值范围，将所述分值范围的下界在所述测试分值序列中的分位数，确定为该分值范围对应的标准分值。

9、根据权利要求7所述的装置，所述第二比较模块包括：

第二确定子模块，用于根据所述候选模型针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果，确定所述候选模型在所述指定风险阈值下的准确率；

第三确定子模块，用于根据所述线上运行的模型针对所述指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果，确定所述线上运行的模型在所述指定风险阈值下的准确率；

第一比较子模块，用于对所述候选模型在所述指定风险阈值下的准确率，与当前线上运行的模型在所述指定风险阈值下的准确率进行比较。

10、根据权利要求9所述的装置，所述第二确定子模块包括：

处理子模块，用于针对指定线上事件集中任一线上事件，执行下述过程得到所述候选模型在所述指定风险阈值下对该线上事件的稽核结果；

查找子模块，用于根据所述候选模型对该线上事件输出的分值查找所述候选模型的分值范围与标准分值的对应关系，确定该分值所属的目标分值范围对应的目标标准分值；

第二比较子模块，用于对所述目标标准分值与所述指定风险阈值进行比较；

稽核子模块，用于若比较得出所述目标标准分值不大于所述指定风险阈值，则将该线上事件稽核为风险事件，否则，将该线上事件稽核为安全事件；

统计子模块，用于根据所述候选模型在所述指定风险阈值下对指定线上事件中任一线上事件的稽核结果，与所述任一线上事件的风险标签，统计得到候选模型在所述指定风险阈值下的准确率。

11、一种业务服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至5任一项所述的方法。一种模型更新后替换运行的装置，所述装置包括：

第一比较模块，用于对各个更新后的模型的综合性能进行比较，其中，任一更新后的模型是根据预设的优化训练事件集对初始模型进行更新得到，任一更新后的模型的综合性能根据该更新后的模型在多个不同稽核率下的指标值确定，所述多个不同稽核率由预设的综合性能评估规则确定；

候选模型确定模块，用于将综合性能最优的更新后的模型确定为候选模型；

第二比较模块，用于对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，所述候选模型或所述当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果确定，所述指定风险阈值由预设的模型策略确定；

模型部署模块，用于若比较得出所述候选模型的性能优于所述当前线上运行的模型，则将所述候选模型部署为线上运行的模型。

一种业务服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现本说明书实施例提供的任一模型更新后替换运行的方法。

本说明书实施例所提供的技术方案，通过对各个更新后的模型的综合性能进行比较，将综合性能最优的更新后的模型确定为候选模型，之后，针对候选模型与当前线上运行的模型，对候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，若比较得出候选模型的性能优于当前线上运行的模型，则将候选模型部署为线上运行的模型，其中，候选模型或当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对指定线上事件集的稽核结果确定，由于是根据输出分值对应的标准分值得到指定线上事件集的稽核结果的，从而使得同一指定风险阈值，也即同一模型策略可以适用于不同的模型，那么，当线上运行的模型发生替换时，则无需重新部署模型策略，也就实现了在模型策略稳定不变的前提下，可以进行模型的快速替换运行，使得更新后的模型可以及时发挥作用。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。

此外，本说明书实施例中的任一实施例并不需要达到上述的全部效果。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本说明书一示例性实施例提供的一种模型更新后替换运行的方法的实施例流程图；

图2为本说明书一示例性实施例示出的标准化处理过程的实施例流程图；

图3为本说明书一示例性实施例示出的一种模型更新后替换运行的装置的实施例框图；

图4示出了本说明书实施例所提供的一种更为具体的业务服务器硬件结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。

以风控系统为例，以模型驱动的风控策略已被广泛应用，风控系统需要考虑多种风险类型，针对不同的风险类型，可以构建不同的独立模型，例如反欺诈模型、反盗用模型、反作弊模型等，进一步，还可以采用不同的整合方式将至少2个独立模型整合为一个整合模型，得到多个整合模型，在该多个整合模型中选取出一个性能最优的整合模型进行正式运行。

由于独立模型是基于一定的历史数据样本训练得到，而随着时间的推移，可能会有多种因素导致独立模型的适用性下降，因此需要适时对独立模型进行更新，相应的，对于整合模型而言也同样需要适时更新，例如，每周对各个整合模型进行一次refit更新，各个整合模型更新后，则需要重新选取出一个性能最优的整合模型替换当前正式运行的整合模型。

目前，每进行一次新旧模型的替换运行，就需要部署新的模型策略，而在部署新的模型策略阶段需要较多的人工介入，同时一定时间累积后会造成模型策略冗余且成本增加不可控，针对上述问题，本说明书实施例提供一种模型更新后替换运行的方法，以实现在各个模型更新后，自动选取出性能最优的模型，并在模型策略稳定的前提下，实现新旧模型的快速替换运行，以提高更新后的模型的应用效率，使得更新后的模型及时发挥作用，需要说明的是，在采用整合模型的应用场景下，这里所说的模型是指整合模型，而在未采用整合模型的应用场景下，这里所说的模型是指独立模型。

请参见图1，为本说明书一示例性实施例提供的一种模型更新后替换运行的方法的实施例流程图，该方法可以包括以下步骤：

步骤102：对各个更新后的模型的综合性能进行比较，其中，任一更新后的模型是根据预设的优化训练事件集对初始模型进行更新得到，任一更新后的模型的综合性能根据该更新后的模型在多个不同稽核率下的指标值确定，该多个不同稽核率由预设的综合性能评估规则确定。

首先说明，在本说明书实施例中，为了描述方便，将更新前的模型称为初始模型，根据预设的优化训练事件集对初始模型进行更新，即可得到更新后的模型，至于根据预设的优化训练事件集对初始模型进行更新，得到更新后的模型的具体过程，本说明书实施例不再详述。

本领域技术人员可以理解的是，用于评价模型性能的指标值一般包括覆盖率、准确率、AUC、KS、F1score等，同时，针对任一模型而言，基于不同的稽核率所得到的该模型的指标值不一定完全相同，例如，针对某一模型而言，在20％这一稽核率下，所得到的该模型的准确率为50％，而在40％这一稽核率下，所得到的该模型的准确率为30％。

基于此，本说明书实施例提出根据更新后的模型在多个不同稽核率下的指标值确定该更新后的模型的综合性能，其中，多个不同稽核率可以由预设的综合性能评估规则确定，同时，考虑到不同稽核率下的指标值对于评价模型的综合性能的重要程度不同，在本说明书实施例中，还可以为不同稽核率分别设置一个权重，例如，如下述表1所示，为某一模型在多个不同稽核率下的指标值的一种示例：

表1

结合上述表1，在一实施例中，模型的综合性能可以通过如下式(一)所示例的综合性能评估规则确定：

在上述式(一)中，p即表示模型的综合性能，n表示由预设的综合性能评估规则所确定的稽核率的数量，例如，基于上述表1，n为8。

需要说明的是，上述式(一)所示例的综合性能评估规则仅仅作为举例，在实际应用中，综合性能评估规则还可以为其他形式，本说明书实施例对此并不做限制。

此外，在本说明书实施例中，以某一稽核率为例，更新后的模型在该稽核率下的指标值，可以根据该更新后的模型针对预设测试事件集输出的分值，与在该稽核率下，根据该分值对预设测试事件集的预测结果确定，其中，为了描述方便，将此处的分值称为测试分值，该预设测试事件集可以取自某个时间窗口(例如最近一周、最近一个月等等)，且该预设测试事件集中的每一测试事件均具有已知的风险标签。

具体的，以准确率这一指标值举例来说，假设设定的稽核率为20％，那么，在获得模型针对预设测试事件集输出的测试分值之后，可以按照测试分值由高到低的顺序，对预设测试事件集中的测试事件进行排序，根据排序结果，将排在前20％的测试事件预测为风险事件，而将另外80％的测试事件预测为安全事件；又假设设定的稽核率为30％，则根据前述排序结果，将排在前30％的测试事件预测为风险事件，而将另外70％的测试事件预测的安全事件，后续，针对被预测为风险事件的任一测试事件，将对其的预测结果与其风险标签进行比对，以确定该测试事件是否被正确预测为风险事件，由此可见，通过该种处理，则可以获取被正确预测为风险事件的测试事件的数量，最后，则可以基于被正确预测为风险事件的测试事件的数量，与被预测为风险事件的测试事件的数量之间的比值，得到模型在某一稽核率下的准确率。

步骤104：将综合性能最优的更新后的模型确定为候选模型。

在本说明书实施例中，通过上述步骤102可以计算出任一更新后的模型的综合性能，在本步骤中，则可以在各个更新后的模型中确定出综合性能最优，也即计算得出的p值最高的更新后的模型，将该综合性能最优的更新后的模型确定为候选模型。

步骤106：对候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，候选模型或当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值对应的标准分值，以及根据该标准分值与指定风险阈值对指定线上事件集的稽核结果确定，指定风险阈值由预设的模型策略确定。

步骤108：若比较得出候选模型的性能优于当前线上运行的模型，则将候选模型部署为线上运行的模型。

如下，对步骤106与步骤108进行说明：

在本说明书实施例中，考虑到不同的模型具有不同的评分标准，那么，不同的模型针对同一事件输出的分值有可能不同，从而，在模型策略稳定不变的前提下，若直接利用模型针对线上事件输出的分值对线上事件进行稽核，有可能出现错误的稽核结果，例如，假设模型策略为：若模型针对线上事件输出的分值大于0.6，则将该线上事件稽核为风险事件，同时，假设针对同一线上事件，当前在线上运行的模型A输出的分值为0.7，利用该模型策略，则可以得到该线上事件为风险事件的稽核结果，并假设该稽核结果正确，后续，线上运行的模型替换为模型B后，假设模型B针对该线上事件输出的分值为0.5，那么，利用该模型策略，则可以得到该线上事件为安全事件的稽核结果，由此可见，该稽核结果错误，基于此，为了实现在模型策略稳定不变的前提下，进行模型的快速替换运行，提出对不同模型针对线上事件输出的分值分别进行标准化处理，得到标准分值，然后利用同一模型策略根据标准分值对该线上事件进行稽核，通过该种处理，可以实现在模型替换运行后，可以得到与模型替换前相同的稽核结果。

基于上述描述，在本说明书实施例中，提出采用A/B测试机制，根据候选模型的标准分值试运行候选模型，即利用候选模型与当前线上运行的模型同步对当前的线上事件进行预测，从而针对同一线上事件，可以分别得到候选模型与当前线上运行的模型各自针对该线上事件输出的分值，后续，针对该两个分值分别进行标准化处理，得到各自对应的标准分值，然后利用同一模型策略分别根据该两个标准分值进行决策，也可以理解为，利用同一指定风险阈值分别根据该两个标准分值进行决策，例如，在上述举例描述的模型策略中，指定风险阈值为0.6，本领域技术人员可以理解的是，最终输出生效的是针对当前线上运行的模型输出的分值所作出的决策结果，而针对候选模型输出的分值所作出的决策结果可以做记录处理，那么，在试运行候选模型一段时间后，则可以获取候选模型与当前线上运行的模型在同一模型策略下，也即同一指定风险阈值下的性能，后续，对候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，若比较得出候选模型的性能优于当前线上运行的模型，则将候选模型部署为线上运行的模型。

在一实施例中，可以采用准确率这一指标值评价模型的性能，也即获取候选模型在指定风险阈值下的准确率，以及当前线上运行的模型在指定风险阈值下的准确率，对该两者进行比较，若比较得出候选模型在指定风险阈值下的准确率高于当前线上运行的模型在指定风险阈值下的准确率，即可认为候选模型在指定风险阈值下的性能优于当前线上运行的模型在指定风险阈值下的性能，进而，则可以将候选模型部署为当前线上运行的模型。

其中，候选模型在指定风险阈值下的准确率是根据候选模型针对指定线上事件集输出的分值对应的标准分值，以及根据该标准分值与指定风险阈值对指定线上事件集的稽核结果确定；相应的，线上运行的模型在指定风险阈值下的准确率是根据线上运行的模型针对指定线上事件集输出的分值对应的标准分值，以及根据该标准分值与指定风险阈值对指定线上事件集的稽核结果确定。

以候选模型举例来说，针对指定线上事件集中的任一线上事件，可以执行以下过程得到候选模型在指定风险阈值下对该线上事件的稽核结果，该过程可以包括：

根据候选模型对该线上事件输出的分值查找候选模型的分值范围与标准分值的对应关系，例如，如下表2所示，为候选模型的分值范围与标准分值的对应关系的一种示例：

表2

分值范围	标准分值
		0.6～1	0.2
0.3～0.6	0.4
		0.2～0.3	0.6
0.08～0.2	0.8
		0～0.08	1

关于得到上述表2所示例的候选模型的分值范围与标准化分值的对应关系的具体过程，还请参见下述图2所示实施例中的描述，在此先不作说明。

通过查找表2，可以确定候选模型针对该线上事件输出的分值所属的分值范围，为了描述方便，将该分值范围称为目标分值范围，例如为0.6～1，进而可以确定该目标分值范围对应的标准分值，为了描述方便，将该标准分值称为目标标准分值，例如为0.2。

后续，对目标标准分值与指定风险阈值进行比较，若比较得出目标标准分值不大于指定的风险阈值，则将该线上事件稽核为风险事件，反之，若目标标准分值大于指定的风险阈值，则可以将该线上事件稽核为安全事件，至于如此设置稽核规则的缘由，还请参见下述图2所示实施例中的相关描述，在此先不作详述。

后续，根据候选模型在指定风险阈值下对指定线上事件集中任一线上事件的稽核结果，与任一线上事件的风险标签，即可统计得到候选模型在指定风险阈值下的准确率。

至于得到当前线上运行的模型在指定风险阈值下的准确率的具体过程，本领域技术人员可以根据前述统计得到候选模型在指定风险阈值下的准确率的相关描述推理得出，本说明书实施例对此不再详述，但需要说明的一点是，不同模型的分值范围与标准分值的对应关系可能有所不同。

本说明书实施例所提供的技术方案，通过对各个更新后的模型的综合性能进行比较，将综合性能最优的更新后的模型确定为候选模型，之后，针对候选模型与当前线上运行的模型，对候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，若比较得出候选模型的性能优于当前线上运行的模型，则将候选模型部署为线上运行的模型，其中，候选模型或当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对指定线上事件集的稽核结果确定，由于是根据输出分值对应的标准分值得到指定线上事件集的稽核结果的，从而使得同一指定风险阈值，也即同一模型策略可以适用于不同的模型，那么，当线上运行的模型发生替换时，则无需重新部署模型策略，也就实现了在模型策略稳定不变的前提下，可以进行模型的快速替换运行，使得更新后的模型可以及时发挥作用。

请参见图2，为本说明书一示例性实施例示出的标准化处理过程的实施例流程图，包括以下步骤：

步骤202：按照从高到低的顺序，对候选模型针对预设测试事件集输出的测试分值进行排序。

步骤204：将排序得到的测试分值序列分割为L个分段，L为大于1的预设数值。

步骤206：根据L个分段的各个分割点，将测试分值的值域划分为L个分值范围。

步骤208：针对任一分值范围，将该分值范围的下界在测试分值序列中的分位数，确定为该分值范围对应的标准分值。

通过如下举例，对步骤202至步骤208进行说明：

假设预设测试事件集中包括10个测试事件，候选模型对该10个测试事件进行预测，输出的测试分值分别为0.3，0.1，0.3，0.7，0.01，0.005，0.5，0.6，0.08，0.2，按照从高到低的顺序，对该10个测试分值进行排序，排序得到的测试分值序列为0.7，0.6，0.5，0.3，0.3，0.2，0.1，0.08，0.01，0.005，后续，将该测试分值序列分割为L个分段，例如5个分段，分别为(0.7，0.6)，(0.5，0.3)，(0.3，0.2)，(0.1，0.08)，(0.01，0.005)，该5个分段对应有4个分割点，分别为0.6，0.3，0.2，0.08，基于该4个分割点，可以将测试分值的值域(0,1)划分为5个子区间，分别为0.6～1，0.3～0.6，0.2～0.3，0.08～0.2，0～0.08。

针对任一子区间，将其下界在测试分值序列中的分位数确定为其对应的标准化分值，例如，对于0.6～1这一分值范围而言，其下界0.6在上述测试分值序列中排名第二位，则其对应的分位数则为0.2(2/10)，又例如，对于0.3～0.6这一分值范围而言，其下界0.3在上述测试分值序列中排名第四位，则其对应的分位数则为0.4(4/10)，需要说明的是，对于0～0.08这一分值范围而言，其下界为0，将该分值范围对应的分位数确定为1。

通过步骤202至步骤208，则可以得出上述表2所示例的分值范围与标准分值的对应关系。

此外，需要说明的是，在前述图1所示实施例的相关描述中说明，若某一线上事件的标准分值不大于指定风险阈值，则可以将该线上事件稽核为风险事件，反之，若该线上事件的标准分值大于指定风险阈值，则可以将该线上事件稽核为安全事件，如此设置稽核原则的缘由在于：结合图2所示例的标准化过程来看，假设指定风险阈值为0.4，那么，若标准分值不大于0.4，也就相当于输出分值不小于0.6，而输出分值越大，表示线上事件为风险事件的概率越大，从而，则可以将该线上事件稽核为风险事件；若标准分值大于0.4，也就相当于输出分值小于0.3，而输出分值越小，表示线上事件为风险事件的概率越小，从而，则可以将该线上事件稽核为安全事件。

此外，还需要说明的是，结合图2所示例的标准化处理过程以及上述图1所示实施例中步骤102中所描述的确定某一稽核率下的准确度的过程可以得知，确定候选模型或当前线上运行的模型在指定风险阈值下的准确率，即近似于确定候选模型或当前线上运行的模型在指定稽核率下的准确率，其中，该指定稽核率的值等于该指定风险阈值，举例来说，假设指定风险阈值为0.2，那么，按照上述描述，可以将标准分值不大于0.2的线上事件稽核为风险事件，结合上述表2，也就相当于将输出分值处于0.6～1这一分值范围内的线上事件稽核为风险事件，而通过标准化处理过程可知，输出分值在0.6～1这一分值范围的测试事件占比为0.2，基于大数据的分布稳定性则可以得知，在线上事件集中，输出分值在0.6～1这一分值范围内的线上事件占比也近似为0.2，也即将线上事件集中，大约20％的线上事件稽核为风险事件，也即稽核率大约为20％。

据此可知，对候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，也就可以近似看作对候选模型与当前线上运行的模型在同一稽核率下的性能进行比较，由于是在同一稽核率下，对候选模型与当前线上运行的模型的性能进行比较，从而所得出的比较结果可以较为准确地反映出候选模型与当前线上运行的模型孰优孰劣。

本说明书实施例所提供的技术方案，通过按照从高到低的顺序，对候选模型针对预设测试事件集输出的测试分值进行排序，将排序得到的测试分值序列分割为L个分段，根据L个分段的各个分割点，将测试分值的值域划分为L个分值范围，针对任一分值范围，将该分值范围的下界在测试分值序列中的分位数确定为该分值范围对应的标准分值，即可得到分值范围与标准分值的对应关系，应用该对应关系，则可实现将模型针对线上事件输出的分值标准化。

相应于上述方法实施例，本说明书实施例还提供一种模型更新后替换运行的装置，请参见图3，为本说明书一示例性实施例示出的一种模型更新后替换运行的装置的实施例框图，该装置可以包括：第一比较模块31、候选模型确定模块32、第二比较模块33，以及模型部署模块34。

其中，第一比较模块31，可以用于对各个更新后的模型的综合性能进行比较，其中，任一更新后的模型是根据预设的优化训练事件集对初始模型进行更新得到，任一更新后的模型的综合性能根据该更新后的模型在多个不同稽核率下的指标值确定，所述多个不同稽核率由预设的综合性能评估规则确定；

候选模型确定模块32，可以用于将综合性能最优的更新后的模型确定为候选模型；

第二比较模块33，可以用于对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，所述候选模型或所述当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果确定，所述指定风险阈值由预设的模型策略确定；

模型部署模块34，可以用于若比较得出所述候选模型的性能优于所述当前线上运行的模型，则将所述候选模型部署为线上运行的模型。

在一实施例中，所述更新后的模型在多个不同稽核率下的指标值，根据该更新后的模型针对预设测试事件集输出的测试分值，与在多个不同稽核率下，根据所述测试分值对所述预设测试事件集的预测结果确定；

所述装置还可以包括(图3中未示出)：

标准化模块，用于按照预设的标准化规则，对所述候选模型针对所述预设测试事件集输出的测试分值进行标准化处理，得到所述候选模型的分值范围与标准分值的对应关系。

在一实施例中，所述标准化模块可以包括：

排序子模块，用于按照从高到低的顺序，对所述候选模型针对所述预设测试事件集输出的测试分值进行排序；

第一划分子模块，用于将排序得到的测试分值序列分割为L个分段，所述L为大于1的预设数值；

第二划分子模块，用于根据所述L个分段的各个分割点，将所述测试分值的值域划分为L个分值范围；

第一确定子模块，用于针对任一分值范围，将所述分值范围的下界在所述测试分值序列中的分位数，确定为该分值范围对应的标准分值。

在一实施例中，所述第二比较模块33可以包括(图3中未示出)：

第二确定子模块，用于根据所述候选模型针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果，确定所述候选模型在所述指定风险阈值下的准确率；

第三确定子模块，用于根据所述线上运行的模型针对所述指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果，确定所述线上运行的模型在所述指定风险阈值下的准确率；

第一比较子模块，用于对所述候选模型在所述指定风险阈值下的准确率，与当前线上运行的模型在所述指定风险阈值下的准确率进行比较。

在一实施例中，所述第二确定子模块可以包括(图3中未示出)：

处理子模块，用于针对指定线上事件集中任一线上事件，执行下述过程得到所述候选模型在所述指定风险阈值下对该线上事件的稽核结果；

查找子模块，用于根据所述候选模型对该线上事件输出的分值查找所述候选模型的分值范围与标准分值的对应关系，确定该分值所属的目标分值范围对应的目标标准分值；

第二比较子模块，用于对所述目标标准分值与所述指定风险阈值进行比较；

稽核子模块，用于若比较得出所述目标标准分值不大于所述指定风险阈值，则将该线上事件稽核为风险事件，否则，将该线上事件稽核为安全事件；

统计子模块，用于根据所述候选模型在所述指定风险阈值下对指定线上事件中任一线上事件的稽核结果，与所述任一线上事件的风险标签，统计得到候选模型在所述指定风险阈值下的准确率。

可以理解的是，第一比较模块31、候选模型确定模块32、第二比较模块33，以及模型部署模块34作为四种功能独立的模块，既可以如图3所示同时配置在装置中，也可以分别单独配置在装置中，因此图3所示的结构不应理解为对本说明书实施例方案的限定。

本说明书实施例还提供一种业务服务器，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述的模型更新后替换运行的方法。该方法至少包括：对各个更新后的模型的综合性能进行比较，其中，任一更新后的模型是根据预设的优化训练事件集对初始模型进行更新得到，任一更新后的模型的综合性能根据该更新后的模型在多个不同稽核率下的指标值确定，所述多个不同稽核率由预设的综合性能评估规则确定；将综合性能最优的更新后的模型确定为候选模型；对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，所述候选模型或所述当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果确定，所述指定风险阈值由预设的模型策略确定；若比较得出所述候选模型的性能优于所述当前线上运行的模型，则将所述候选模型部署为线上运行的模型。

在一实施例中，所述更新后的模型在多个不同稽核率下的指标值，根据该更新后的模型针对预设测试事件集输出的测试分值，与在多个不同稽核率下，根据所述测试分值对所述预设测试事件集的预测结果确定；

在所述将综合性能最优的更新后的模型确定为候选模型之后，所述方法还包括：

按照预设的标准化规则，对所述候选模型针对所述预设测试事件集输出的测试分值进行标准化处理，得到所述候选模型的分值范围与标准分值的对应关系。

在一实施例中，所述按照预设的标准化规则，对所述候选模型针对所述预设测试事件集输出的测试分值进行标准化处理，得到所述候选模型的分值范围与标准分值的对应关系，包括：

按照从高到低的顺序，对所述候选模型针对所述预设测试事件集输出的测试分值进行排序；

将排序得到的测试分值序列分割为L个分段，所述L为大于1的预设数值；

根据所述L个分段的各个分割点，将所述测试分值的值域划分为L个分值范围；

针对任一分值范围，将所述分值范围的下界在所述测试分值序列中的分位数，确定为该分值范围对应的标准分值。

在一实施例中，所述对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，包括：

根据所述候选模型针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与所述指定风险阈值对所述指定线上事件集的稽核结果，确定所述候选模型在所述指定风险阈值下的准确率；

根据所述线上运行的模型针对所述指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果，确定所述线上运行的模型在所述指定风险阈值下的准确率；

对所述候选模型在所述指定风险阈值下的准确率，与当前线上运行的模型在所述指定风险阈值下的准确率进行比较。

在一实施例中，所述根据所述候选模型针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与所述指定风险阈值对所述指定线上事件集的稽核结果，确定所述候选模型在所述指定风险阈值下的准确率，包括：

针对指定线上事件集中任一线上事件，执行下述过程得到所述候选模型在所述指定风险阈值下对该线上事件的稽核结果：

根据所述候选模型对该线上事件输出的分值查找所述候选模型的分值范围与标准分值的对应关系，确定该分值所属的目标分值范围对应的目标标准分值；

对所述目标标准分值与所述指定风险阈值进行比较；

若比较得出所述目标标准分值不大于所述指定风险阈值，则将该线上事件稽核为风险事件，否则，将该线上事件稽核为安全事件；

根据所述候选模型在所述指定风险阈值下对指定线上事件集中任一线上事件的稽核结果，与所述任一线上事件的风险标签，统计得到候选模型在所述指定风险阈值下的准确率。

图4示出了本说明书实施例所提供的一种更为具体的业务服务器硬件结构示意图，该业务服务器可以包括：处理器410、存储器420、输入/输出接口430、通信接口440和总线450。其中处理器410、存储器420、输入/输出接口430和通信接口440通过总线450实现彼此之间在设备内部的通信连接。

处理器410可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器420可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器420可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器420中，并由处理器410来调用执行。

输入/输出接口430用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图4中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口440用于连接通信模块(图4中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线450包括一通路，在设备的各个组件(例如处理器410、存储器420、输入/输出接口430和通信接口440)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器410、存储器420、输入/输出接口430、通信接口440以及总线450，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的模型更新后替换运行的方法。该方法至少包括：对各个更新后的模型的综合性能进行比较，其中，任一更新后的模型是根据预设的优化训练事件集对初始模型进行更新得到，任一更新后的模型的综合性能根据该更新后的模型在多个不同稽核率下的指标值确定，所述多个不同稽核率由预设的综合性能评估规则确定；将综合性能最优的更新后的模型确定为候选模型；对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，所述候选模型或所述当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果确定，所述指定风险阈值由预设的模型策略确定；若比较得出所述候选模型的性能优于所述当前线上运行的模型，则将所述候选模型部署为线上运行的模型。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (11)

1.一种模型更新后替换运行的方法，所述方法包括：

对各个更新后的模型的综合性能进行比较，其中，任一更新后的模型是根据预设的优化训练事件集对初始模型进行更新得到，任一更新后的模型的综合性能根据该更新后的模型在多个不同稽核率下的指标值确定，所述多个不同稽核率由预设的综合性能评估规则确定；

将综合性能最优的更新后的模型确定为候选模型；

对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，所述候选模型或所述当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果确定，所述指定风险阈值由预设的模型策略确定；

若比较得出所述候选模型的性能优于所述当前线上运行的模型，则将所述候选模型部署为线上运行的模型。

2.根据权利要求1所述的方法，所述更新后的模型在多个不同稽核率下的指标值，根据该更新后的模型针对预设测试事件集输出的测试分值，与在多个不同稽核率下，根据所述测试分值对所述预设测试事件集的预测结果确定；

在所述将综合性能最优的更新后的模型确定为候选模型之后，所述方法还包括：

按照预设的标准化规则，对所述候选模型针对所述预设测试事件集输出的测试分值进行标准化处理，得到所述候选模型的分值范围与标准分值的对应关系。

3.根据权利要求2所述的方法，所述按照预设的标准化规则，对所述候选模型针对所述预设测试事件集输出的测试分值进行标准化处理，得到所述候选模型的分值范围与标准分值的对应关系，包括：

按照从高到低的顺序，对所述候选模型针对所述预设测试事件集输出的测试分值进行排序；

将排序得到的测试分值序列分割为L个分段，所述L为大于1的预设数值；

根据所述L个分段的各个分割点，将所述测试分值的值域划分为L个分值范围；

针对任一分值范围，将所述分值范围的下界在所述测试分值序列中的分位数，确定为该分值范围对应的标准分值。

4.根据权利要求2所述的方法，所述对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，包括：

根据所述候选模型针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与所述指定风险阈值对所述指定线上事件集的稽核结果，确定所述候选模型在所述指定风险阈值下的准确率；

根据所述线上运行的模型针对所述指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果，确定所述线上运行的模型在所述指定风险阈值下的准确率；

对所述候选模型在所述指定风险阈值下的准确率，与当前线上运行的模型在所述指定风险阈值下的准确率进行比较。

5.根据权利要求4所述的方法，所述根据所述候选模型针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与所述指定风险阈值对所述指定线上事件集的稽核结果，确定所述候选模型在所述指定风险阈值下的准确率，包括：

针对指定线上事件集中任一线上事件，执行下述过程得到所述候选模型在所述指定风险阈值下对该线上事件的稽核结果：

根据所述候选模型对该线上事件输出的分值查找所述候选模型的分值范围与标准分值的对应关系，确定该分值所属的目标分值范围对应的目标标准分值；

对所述目标标准分值与所述指定风险阈值进行比较；

若比较得出所述目标标准分值不大于所述指定风险阈值，则将该线上事件稽核为风险事件，否则，将该线上事件稽核为安全事件；

根据所述候选模型在所述指定风险阈值下对指定线上事件集中任一线上事件的稽核结果，与所述任一线上事件的风险标签，统计得到候选模型在所述指定风险阈值下的准确率。

6.一种模型更新后替换运行的装置，所述装置包括：

第一比较模块，用于对各个更新后的模型的综合性能进行比较，其中，任一更新后的模型是根据预设的优化训练事件集对初始模型进行更新得到，任一更新后的模型的综合性能根据该更新后的模型在多个不同稽核率下的指标值确定，所述多个不同稽核率由预设的综合性能评估规则确定；

候选模型确定模块，用于将综合性能最优的更新后的模型确定为候选模型；

第二比较模块，用于对所述候选模型与当前线上运行的模型在指定风险阈值下的性能进行比较，其中，所述候选模型或所述当前线上运行的模型在指定风险阈值下的性能根据其针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果确定，所述指定风险阈值由预设的模型策略确定；

模型部署模块，用于若比较得出所述候选模型的性能优于所述当前线上运行的模型，则将所述候选模型部署为线上运行的模型。

7.根据权利要求6所述的装置，所述更新后的模型在多个不同稽核率下的指标值，根据该更新后的模型针对预设测试事件集输出的测试分值，与在多个不同稽核率下，根据所述测试分值对所述预设测试事件集的预测结果确定；

所述装置还包括：

标准化模块，用于按照预设的标准化规则，对所述候选模型针对所述预设测试事件集输出的测试分值进行标准化处理，得到所述候选模型的分值范围与标准分值的对应关系。

8.根据权利要求7所述的装置，所述标准化模块包括：

排序子模块，用于按照从高到低的顺序，对所述候选模型针对所述预设测试事件集输出的测试分值进行排序；

第一划分子模块，用于将排序得到的测试分值序列分割为L个分段，所述L为大于1的预设数值；

第二划分子模块，用于根据所述L个分段的各个分割点，将所述测试分值的值域划分为L个分值范围；

第一确定子模块，用于针对任一分值范围，将所述分值范围的下界在所述测试分值序列中的分位数，确定为该分值范围对应的标准分值。

9.根据权利要求7所述的装置，所述第二比较模块包括：

第二确定子模块，用于根据所述候选模型针对指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果，确定所述候选模型在所述指定风险阈值下的准确率；

第三确定子模块，用于根据所述线上运行的模型针对所述指定线上事件集输出的分值所对应的标准分值，以及根据该标准分值与指定风险阈值对所述指定线上事件集的稽核结果，确定所述线上运行的模型在所述指定风险阈值下的准确率；

第一比较子模块，用于对所述候选模型在所述指定风险阈值下的准确率，与当前线上运行的模型在所述指定风险阈值下的准确率进行比较。

10.根据权利要求9所述的装置，所述第二确定子模块包括：

处理子模块，用于针对指定线上事件集中任一线上事件，执行下述过程得到所述候选模型在所述指定风险阈值下对该线上事件的稽核结果；

查找子模块，用于根据所述候选模型对该线上事件输出的分值查找所述候选模型的分值范围与标准分值的对应关系，确定该分值所属的目标分值范围对应的目标标准分值；

第二比较子模块，用于对所述目标标准分值与所述指定风险阈值进行比较；

稽核子模块，用于若比较得出所述目标标准分值不大于所述指定风险阈值，则将该线上事件稽核为风险事件，否则，将该线上事件稽核为安全事件；

统计子模块，用于根据所述候选模型在所述指定风险阈值下对指定线上事件中任一线上事件的稽核结果，与所述任一线上事件的风险标签，统计得到候选模型在所述指定风险阈值下的准确率。

11.一种业务服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至5任一项所述的方法。