CN110489314B - 模型异常检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种模型异常检测方法、装置、计算机设备和存储介质，该方法包括：获取针对待测模型指标设置的包括异常检测关联参数的配置文件；调用与所述待测模型指标对应设置的通用代码，从所述异常检测关联参数中提取对应于当前模型的样本选取时间；通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；通过所述通用代码和所述样本数据，确定所述待测模型指标的值；当根据所述待测模型指标的值确定当前模型的所述待测模型指标异常时，触发报警逻辑代码生成异常提醒邮件；发送所述异常提醒邮件至终端。采用本方法能够提高模型异常检测效率。

Description

模型异常检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种模型异常检测方法、装置、计算机设备和存储介质。

背景技术

随着科学技术的飞速发展，各种机器学习模型应运而生。机器学习模型在数据处理和识别方面能够带来非常大的便利性。为了保证数据处理的准确性，稳定的机器学习模型至关重要。

传统方法在对模型稳定性进行监控时，需要通过开发人员写监控代码，通过运行监控代码，来监控模型的稳定性。但是，对模型的监控涉及到非常多的方面，就需要写大量的代码。这样一来，就会耗费很大的时间成本，导致效率非常低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高效率的模型异常检测方法、装置、计算机设备和存储介质。

一种模型异常检测方法，所述方法包括：

获取针对待测模型指标设置的包括异常检测关联参数的配置文件；

调用与所述待测模型指标对应设置的通用代码，从所述异常检测关联参数中提取对应于当前模型的样本选取时间；

通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；

通过所述通用代码和所述样本数据，确定所述待测模型指标的值；

当根据所述待测模型指标的值确定当前模型的所述待测模型指标异常时，触发报警逻辑代码生成异常提醒邮件；

发送所述异常提醒邮件至终端。

在其中一个实施例中，所述样本选取时间为包括多个月份的样本选取时间段；所述通过所述通用代码和所述样本数据，确定所述待测模型指标的值包括：

当所述待测模型指标为群体稳定性指标时，则

通过所述通用代码从所述样本选取时间段内的首位月份起循环逐月地选取当前月份，获取所述样本数据中对应于所述当前月份的第一子样本数据和对应于所述当前月份的下一月份的第二子样本数据；

确定分别将第一子样本数据和第二子样本数据输入当前模型进行预测输出得到的第一预测结果和第二预测结果；

通过所述通用代码对所述第一预测结果和第二预测结果进行分析，得到所述当前月份所对应的群体稳定性指标的值。

在其中一个实施例中，所述方法还包括：

将得到的与所述样本选取时间段内各个月份对应的群体稳定性指标的值分别与预设的异常阈值进行比对；

确定大于所述异常阈值的群体稳定性指标的值所对应的异常月份；

当所述异常月份的数量大于预设数量阈值时，则判定当前模型的群体稳定性指标异常。

在其中一个实施例中，所述通过所述通用代码和所述样本数据，确定所述待测模型指标的值包括：

当所述待测模型指标为信息量指标时，则通过所述通用代码提取所述配置文件中包括的当前模型的自变量字段；

针对每个自变量字段所表示的自变量，根据所述样本数据确定所述自变量在当前模型中对应的当前信息量指标数值；

所述方法还包括：

获取所述自变量在各历史模型中分别对应的历史信息量指标数值；

根据对应于所述自变量的历史信息量指标数值和当前信息量指标数值，确定所述自变量的信息量指标的变异系数；

当变异系数大于或等于变异阈值时，判定所述自变量的信息量指标异常。

在其中一个实施例中，所述触发报警逻辑代码生成异常提醒邮件包括：

触发报警逻辑代码获取判定异常的模型指标所属类型的类型标识；

根据预先设置的类型标识和异常原因集合之间的对应关系，查找与获取的所述类型标识对应的异常原因集合；

根据包括所述异常原因集合的邮件内容，生成异常提醒邮件。

在其中一个实施例中，所述方法还包括：

确定从位于所述异常提醒邮件的异常原因集合中选中的目标异常原因；

发送与所述目标异常原因对应的修复页面至所述终端；

接收所述终端发送的基于所述修复页面获取的针对所述目标异常原因的修复操作数据；

根据所述修复操作数据进行相应修复处理。

在其中一个实施例中，所述方法还包括：

在修复处理完毕后，重新通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；

根据重新获取的样本数据迭代地调整所述当前模型的各自变量的权重，直至达到训练停止条件，得到正常模型。

一种模型异常检测装置，所述装置包括：

获取模块，用于获取针对待测模型指标设置的包括异常检测关联参数的配置文件；

异常检测模块，用于调用与所述待测模型指标对应设置的通用代码，从所述异常检测关联参数中提取对应于当前模型的样本选取时间；通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；通过所述通用代码和所述样本数据，确定所述待测模型指标的值；当根据所述待测模型指标的值确定当前模型的所述待测模型指标异常时，触发报警逻辑代码生成异常提醒邮件；

异常提醒模块，用于发送所述异常提醒邮件至终端。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

获取针对待测模型指标设置的包括异常检测关联参数的配置文件；

调用与所述待测模型指标对应设置的通用代码，从所述异常检测关联参数中提取对应于当前模型的样本选取时间；

通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；

通过所述通用代码和所述样本数据，确定所述待测模型指标的值；

当根据所述待测模型指标的值确定当前模型的所述待测模型指标异常时，触发报警逻辑代码生成异常提醒邮件；

发送所述异常提醒邮件至终端。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取针对待测模型指标设置的包括异常检测关联参数的配置文件；

调用与所述待测模型指标对应设置的通用代码，从所述异常检测关联参数中提取对应于当前模型的样本选取时间；

通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；

通过所述通用代码和所述样本数据，确定所述待测模型指标的值；

当根据所述待测模型指标的值确定当前模型的所述待测模型指标异常时，触发报警逻辑代码生成异常提醒邮件；

发送所述异常提醒邮件至终端。

上述模型异常检测方法、装置、计算机设备和存储介质，对待测模型指标设置包括异常检测关联参数的配置文件，并针对待测模型指标预设通用代码，通过调用通用代码可以从所述异常检测关联参数中提取对应于当前模型的样本选取时间；通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；通过所述通用代码和所述样本数据，确定所述待测模型指标的值；从而能够通用代码和配置文件实现对当前模型的待测模型指标进行异常检测，而不需要全部的代码，就能够实现模型的异常检测，提高了异常处理效率。此外，当根据所述待测模型指标的值确定当前模型的所述待测模型指标异常时，触发报警逻辑代码生成异常提醒邮件；发送所述异常提醒邮件至终端。在检测到异常时直接触发生成异常提醒邮件，从而更加高效地将异常情况进行通知，同样能够提高异常处理效率。

附图说明

图1为一个实施例中模型异常检测方法的应用场景图；

图2为一个实施例中模型异常检测方法的流程示意图；

图3为一个实施例中异常修复步骤的流程示意图；

图4为一个实施例中模型异常检测装置的结构框图；

图5为另一个实施例中模型异常检测装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的模型异常检测方法，可以应用于如图1所示的应用环境中。其中，终端110与服务器120通过网络进行通信。终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器120，皆可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

服务器120可以获取针对待测模型指标设置的包括异常检测关联参数的配置文件；调用与所述待测模型指标对应设置的通用代码，执行所述通用代码从所述异常检测关联参数中提取样本选取时间；通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；通过所述通用代码分析所述样本数据，得到所述待测模型指标的值；当所述待测模型指标的值表征所述待测模型指标异常时，触发报警逻辑代码生成异常提醒邮件。服务器120可以发送所述异常提醒邮件至终端110。终端110可以显示该异常提醒邮件，技术人员就可以根据该异常提醒邮件获知当前模型存在异常。

在一个实施例中，如图2所示，提供了一种模型异常检测方法，以该方法应用于计算机设备为例进行说明，计算机设备可以为图1中的服务器120为例进行说明，包括以下步骤：

S202，获取针对待测模型指标设置的包括异常检测关联参数的配置文件。

其中，异常检测关联参数，是用于对模型指标进行异常检测的相关参数。可以理解，可以根据异常检测关联参数来检测模型指标是否存在异常。

待测模型指标，是待检测是否存在异常的模型指标。可以理解，待测模型指标为至少一个。在一个实施例中，待测模型指标，可以包括自变量的群体稳定性指标和信息量指标中的至少一个。

群体稳定性指标(PSI，population stability index)，用于衡量测试样本及模型开发样本评分的的分布差异，为模型稳定度评估指针。实际上，群体稳定性指标表示的就是按分数分档后，针对不同样本，或者不同时间的样本，群体分布是否有变化，就是看各个分数区间内的数量占总数的占比是否有显著变化。可以理解，群体稳定性指标一定程度上可以反映模型的稳定性。

信息量指标(IV，information value)，用于衡量模型中自变量的预测能力的大小。

具体地，服务器中预先存储了针对各个待测模型指标设置的配置文件。其中，配置文件中包括异常检测关联参数。该配置文件中的异常检测关联参数能够用来检测该配置文件所对应的待测模型指标是否存在异常。

需要说明的是，可以针对不同的待测模型指标对应设置不同的配置文件，也可以针对不同的待测模型指标设置一个配置文件，并在配置文件中通过模型指标的标识将不同待测模型指标所对应的异常检测关联参数区分表示。

在一个实施例中，异常检测关联参数包括样本选取时间。其中，样本选取时间，用于表示选取哪些时间范围内产生的数据作为样本数据。在一个实施例中，样本选取时间可以是单一的时间，比如2018年1月1日。样本选取时间也可以是一个时间段，即样本选取时间段。在一个实施例中，样本选取时间段可以包括开始时间和结束时间(比如，2018年1月1日至2018年10月31日)。

进一步地，异常检测关联参数还可以包括当前模型的自变量字段和因变量字段等至少一种。其中，当前模型的自变量字段，是表示所指定的需要进行信息量指标异常检测的自变量的字段。比如，表示“性别”、“年龄”等的字段就可以称为自变量字段。配置文件中可以指定多个自变量字段。

需要说明的是，不同的模型指标所对应设置的异常检测关联参数可以不同，具体根据所想要计算的模型指标来决定。

在一个实施例中，在步骤S202之前，该方法还包括：获取检测请求，解析检测请求中的检测对象字段，提取对应于检测对象字段的待测模型指标的标识。步骤S202包括：根据预设的模型指标的标识和配置文件存储地址之间的映射关系，获取与待测模型指标的标识相映射的配置文件存储地址，按照配置文件存储地址获取包括异常检测关联参数的配置文件。

S204，调用与待测模型指标对应设置的通用代码，从异常检测关联参数中提取对应于当前模型的样本选取时间。

其中，通用代码，即通用的计算机代码，用于计算模型指标的数值。

在一个实施例中，通用代码可以是JAR(Java ARchive)包。其中，JAR包是一种软件包格式的Java(Java是一门面向对象编程语言)归档文件。JAR包相当于打包了一段通用的计算代码模板。

可以理解，通用代码被调用时，可以从配置文件中获取异常检测关联参数，进而根据异常检测关联参数获取相应的样本数据，从而计算出模型指标的数值。

其中，当前模型，当前训练得到的机器学习模型。当前模型是预先通过样本数据训练得到的，在模型异常检测方法中可以不考虑当前模型的训练过程。对应于当前模型的样本选取时间，是指配置文件中的样本选取时间与用于训练当前模型的样本数据的生成时间相符合。即，预先训练当前模型所使用的样本数据与符合于配置文件中的样本选取时间的样本数据一致。

可以理解，开发机器学习模型需要历经一个很长的阶段，需要通过不同时期所采集的样本数据来反复训练机器学习模型，从而在确保机器学习模型稳定后，才会正式地推出。因此，也就需要对采用各个时期所采集的样本数据训练得到的机器学习模型进行异常检测。

S206，通过通用代码，从数据库中获取符合样本选取时间的样本数据。

具体地，计算机设备可以通过执行通用代码，从数据库中选取产生于所述样本选取时间的数据，作为样本数据。

比如，样本选取时间为2018年1月1日～10月31日，那么通用代码就可以从数据库中选取2018年1月1日～10月31日之间产生的数据，作为样本数据。

S208，通过通用代码和样本数据，确定待测模型指标的值。

具体地，通用代码中设置有针对待测模型指标的计算方法，计算机设备可以通过通用代码中设置的计算方法结合样本数据，计算得到待测模型指标的值。

可以理解，调用的通用代码与待测模型指标对应设置，不同的待测模型指标所对应的通用代码可以不同。因此，针对不同的待测模型指标，通用代码所执行的用于计算待测模型指标的值的计算方法可以不同。

需要说明的是，针对有些待测模型指标而言，计算机设备可以仅通过通用代码和样本数据来直接计算出待测模型指标的值。比如，当计算自变量的信息量指标时，就可以直接通过通用代码和样本数据来计算出自变量的信息量指标。然而，针对有些待测模型指标而言，计算机设备除了通过代码和样本数据以外，还可以结合当前模型来确定出待测模型指标的值。比如，当计算群体稳定性指标时，就需要结合当前模型，根据通用代码、当前模型以及样本数据，确定待测模型指标的值。

S210，当根据待测模型指标的值确定当前模型的待测模型指标异常时，触发报警逻辑代码生成异常提醒邮件。

具体地，计算机设备可以根据待测模型指标的值来判定当前模型的待测模型指标是否异常。当判定待测模型指标异常时，计算机设备则可以触发报警逻辑代码生成异常提醒邮件。

可以理解，异常提醒邮件中可以仅包括异常模型指标的描述信息。异常模型指标的描述信息，即描述判定为异常的模型指标的信息，用于告知哪个指标模型发生异常。在其他实施例中，异常提醒邮件中还可以包括异常原因描述信息。异常原因描述信息，用于描述发生异常的原因。

计算机设备可以针对至少一个待测模型指标进行检测。当检测到多个待测模型指标都发生异常时，计算机设备可以针对检测出的多个异常模型指标生成统一的异常提醒邮件。即，将多个异常模型指标的描述信息集成汇总，统一生成异常提醒邮件。

需要说明的是，计算机设备可以仅根据待测模型指标的值本身来判定待测模型指标是否异常。比如，当待测模型指标为群体稳定性指标时，计算机设备则可以直接将该群体稳定性指标的值与预设异常阈值比对，当大于或等于预设异常阈值时，则可以判定群体稳定性指标异常。

S212，发送异常提醒邮件至终端。

具体地，计算机设备可以将异常提醒邮件发送至终端。终端110可以显示该异常提醒邮件，技术人员就可以根据该异常提醒邮件知晓当前模型的模型指标存在异常。

在一个实施例中，技术人员可以分析导致异常的异常原因，并基于终端针对异常原因进行修复操作，终端获取修复非操作数据，并将修复操作数据提交至计算机设备。计算机设备可以根据修复操作数据进行相应修复处理。

在一个实施例中，异常原因包括样本数据不正确。样本数据不准确包括样本数据量不准确和样本数据的数据内容不准确。导致样本数据不正确的异常原因可以包括样本数据来源改变以及业务信息改变。终端可以获取技术人员针对不同的异常原因进行不同修复操作所产生的修复操作数据，从而计算机设备可以修复操作数据进行相应修复处理。业务信息改变包括业务内容改变以及业务流程改变。业务内容是指业务实质性的内容。

比如，原本在表格A中存储提供样本数据的数据，后来又增加了一个表格B，将数据分开存储在表格A和表格B这两个表格中。这样一来，样本数据来源就由一个表格变成了两个表格，但是，在修复前，仍然只从表格A中获取样本数据，那么，所获取的样本数据的数据量就大幅度减少，那么，就会对当前模型产生影响。可以理解，样本数据的数据量大幅度减少，会造成因为数据量不够导致对当前模型的训练不够准确。

因此，当根据异常提醒邮件确定样本数据来源发生改变时，技术人员则可以基于终端对样本数据的获取路径进行修复操作，终端可以将修复的路径信息发送至计算机设备。计算机设备可以根据修复的路径信息进行相应的修复处理，以在修复完毕后，能够根据修复后的路径信息获取正确的样本数据，从而保证当前模型的准确性。在一个实施例中，计算机设备可以在包括异常检测关联参数的配置文件中，更新修复的路径信息，以完成修复处理。

又比如，以前一个业务人员绑定10个普通用户，从2018年3月后变成绑定5个优质用户，这就可以属于业务内容改变。当然，业务内容改变并不限定于该举例。可以理解，由于业务内容改变，可能会涉及数据的改变，业务内容改变前和业务内容改变后的数据可能存在差异，在修复前，仍然会获取业务内容改变前的样本数据，那么，所获取的样本数据就可能与改变后的业务不符合。因此，当根据异常提醒邮件确定业务流程改变或业务内容改变时，技术人员则可以基于终端对配置文件中的样本选取时间做修复操作，以将样本选取时间修改为业务内容改变后的时间，计算机设备可以将修改后的样本选取时间更新至配置文件中，从而可以根据配置文件中修改后的样本选取时间选取发生在业务内容改变后的数据作为样本数据，从而提高当前模型的准确性。结合上述举例，则可以从2018年3月以后的数据中提取样本数据。

在一个实施例中，该方法还包括：在修复处理完毕后，重新通过通用代码，从数据库中获取符合样本选取时间的样本数据；根据重新获取的样本数据迭代地调整当前模型的各自变量的权重，直至达到训练停止条件，得到正常模型。

可以理解，修复后重新获取的样本数据比较准确，因此基于比较准确的样本数据迭代地调整当前模型的各自变量的权重，直至达到训练停止条件，能够得到相对准确地正常模型。

上述模型异常检测方法、装置、计算机设备和存储介质，对待测模型指标设置包括异常检测关联参数的配置文件，并针对待测模型指标预设通用代码，通过调用通用代码可以从所述异常检测关联参数中提取对应于当前模型的样本选取时间；通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；通过所述通用代码和所述样本数据，确定所述待测模型指标的值；从而能够通用代码和配置文件实现对当前模型的待测模型指标进行异常检测，而不需要全部的代码，就能够实现模型的异常检测，提供了异常处理效率。而且，通用代码具有通用性，不需要对每次检测都编写代码，提高了适用性。

此外，当根据所述待测模型指标的值确定当前模型的所述待测模型指标异常时，触发报警逻辑代码生成异常提醒邮件；发送所述异常提醒邮件至终端。在检测到异常时直接触发生成异常提醒邮件，从而更加高效地将异常情况进行通知，同样能够提高异常处理效率。

另外，针对不会撰写复杂代码的人员(比如，新员工，或者技术稍微欠缺的员工)来说，能够更加简单、便捷地完成异常检测工作，降低了异常检测的难度，以及提高了异常检测效率。

在一个实施例中，所述样本选取时间为包括多个月份的样本选取时间段；步骤S208包括：当待测模型指标为群体稳定性指标时，则通过通用代码从样本选取时间段内的首位月份起循环逐月地选取当前月份，获取样本数据中对应于当前月份的第一子样本数据和对应于当前月份的下一月份的第二子样本数据；确定分别将第一子样本数据和第二子样本数据输入当前模型进行预测输出得到的第一预测结果和第二预测结果；通过通用代码对第一预测结果和第二预测结果进行分析，得到当前月份所对应的群体稳定性指标的值。

具体地，样本选取时间段中包括多个月份。计算机设备可以将首位月份作为当前月份，从样本数据中提取对应于首位月份的第一子样本数据以及对应于第二个月份的第二子样本数据，然后通过通用代码分别将第一子样本数据和第二子样本数据输入当前模型进行预测，得到第一预测结果和第二预测结果。计算机设备可以通过通用代码对第一预测结果和第二预测结果进行分析，得到作为当前月份的首位月份所对应的群体稳定性指标的值。然后，计算机设备可以继续将第二个月份作为当前月份，在当前迭代中，第二个月份的样本数据，即可以称为第一子样本数据，然后从样本数据中提取对应于第三个月份(即第二个月份的下一月份)的第二子样本数据。由于在上个迭代中已经计算出第二个月份的样本数据所对应的预测结果，在当前迭代中可以称为第一预测结果，所以可以无需再次对其预测。计算机设备可以通过通用代码将第二子样本数据输入当前模型进行预测，得到当前迭代的第二预测结果，进而通过通用代码对第一预测结果和第二预测结果进行分析，得到第二个月份所对应的群体稳定性指标的值。计算机设备可以继续选取第三个月份作为当前月份，继续处理得到第三个月份所对应的群体稳定性指标的值。依次类推，直至确定出样本选取时间段中所包括的全部月份所对应的群体稳定性指标的值。

在一个实施例中，预测结果，可以是预测的各样本数据的类概率。类概率即类别概率，用于表示样本数据属于某一类别的概念。第一预测结果，则可以是预测的各第一子样本数据的第一类概率。第二预测结果，则可以是预测的各第二子样本数据的第二类概率。

计算机设备可以将各第一子样本数据对应的第一类概率从小到大排序后，将第一子样本数据所形成的第一子样本数据集按照预设组数进行等分(每组第一子样本数据的数量一致，即为等宽分组)，确定每等分组的最大最小预测的第一类概率。根据对第一子样本数据集等分后每等分的上下界(即上下界的第一类概率)，结合各第二子样本数据的第二类概率，将各第二子样本数据进行分组，同样得到符合上述预设组数的等分组。计算机设备则可以按照以下公式得到当前月份所对应的群体稳定性指标：PSI＝sum((实际占比-预期占比)*ln(实际占比/预期占比))。其中，实际占比就是第二子样本数据通过第二类概率落在第一类概率划分出来的每等分界限内的占比，预期占比就是第一子样本数据集上各等分第一子样本数据的占比。

可以理解，计算机设备可以根据计算出的各个月份对应的群体稳定性指标的值来判断当前模型的群体稳定性指标是否异常。如果异常则执行步骤S210。

在一个实施例中，该方法还包括：将得到的与所述样本选取时间段内各个月份对应的群体稳定性指标的值分别与预设的异常阈值进行比对；确定大于所述异常阈值的群体稳定性指标的值所对应的异常月份；当所述异常月份的数量大于预设数量阈值时，则判定当前模型的群体稳定性指标异常。

其中，预设的异常阈值是预先设置的经验值。在一个实施例中，异常阈值可以为0.25。

具体地，计算机设备可以将与所述样本选取时间段内各个月份对应的群体稳定性指标的值分别与预设的异常阈值进行比对，当群体稳定性指标的值大于或等于预设的异常阈值时，则判定该群体稳定性指标的值所对应的月份为异常月份。计算机设备可以对异常月份进行计数，并将异常月份的数量与预设数量阈值进行比对，当异常月份的数量大于或等于预设数量阈值时，则判定当前模型的群体稳定性指标异常。当异常月份的数量小于预设数量阈值时，则判定当前模型的群体稳定性指标正常。

需要说明的是，在其他实施例中，计算机设备也可以在确定群体稳定性指标的值大于或等于预设的异常阈值时，则直接判定当前模型的群体稳定性指标异常。

可以理解，当判定当前模型的群体稳定性指标正常时，则说明说数据分布稳定，即表明自变量分布稳定，则可以将当前模型的自变量和权重，作为下一次检测的模型的自变量和权重。

上述实施例中，通过在配置文件中配置多个月份的样本选取时间段，以及通用代码中设置的通用算法，实现了对各个月份所对应的群体稳定性指标的值，能够快速、便捷地计算出群体稳定性指标的值，从而提高了异常检测效率。

在一个实施例中，步骤S208包括：当待测模型指标为信息量指标时，则通过通用代码提取配置文件中包括的当前模型的自变量字段；针对每个自变量字段所表示的自变量，根据样本数据确定自变量在当前模型中对应的当前信息量指标数值。本实施例中，该方法还包括：获取自变量在各历史模型中分别对应的历史信息量指标数值；根据对应于自变量的历史信息量指标数值和当前信息量指标数值，确定自变量的信息量指标的变异系数；当变异系数大于或等于变异阈值时，判定自变量的信息量指标异常。

其中，变异系数(Coefficient of Variation)，是指数据标准差与数据平均值的比。

具体地，计算机设备可以对这个自变量进行分组，得到的每个自变量分组分别对应一定量的样本数据，各自变量分组所对应的样本数据汇总即为获取的符合样本选取时间的样本数据。针对每个自变量分组，根据对应于该自变量分组的子样本数据，确定该自变量分组所对应的证据权重，根据每个自变量分组的证据权重，确定该自变量分组所对应的子信息量指标数值，将各自变量分组所对应的子信息量指标数值相加，得到该自变量在当前模型中对应的当前信息量指标数值。

计算机设备可以直接获取已经记录的自变量在各历史模型中分别对应的历史信息量指标数值。计算机设备也可以根据用于训练各历史模型的历史样本数据确定自变量在各历史模型中对应的历史信息量指标数值。可以理解，计算机设备根据历史样本数据确定自变量在各历史模型中对应的历史信息量指标数值的方法与上述当前信息量指标数值的获取方法原理相同，这里不再赘述。

计算机设备可以将同一自变量的各个历史信息量指标数值和当前信息量指标数值作为一组数据集合，对该数据集合求标准差，并对该组数据集合求平均值，通过标准差除以平均值，得到自变量的信息量指标的变异系数。计算机设备可以将变异系数与预设的变异阈值进行比对，当变异系数大于或等于变异阈值时，判定自变量的信息量指标异常。反之，当变异系数小于变异阈值时，则可以判定自变量的信息量指标正常，则说明该自变量的预测性比较稳定，因此，可以将该自变量筛选出来，作为下次检测的模型的自变量。

在一个实施例中，所述触发报警逻辑代码生成异常提醒邮件包括：触发报警逻辑代码获取判定异常的模型指标所属类型的类型标识；根据预先设置的类型标识和异常原因集合之间的对应关系，查找与获取的所述类型标识对应的异常原因集合；根据包括所述异常原因集合的邮件内容，生成异常提醒邮件。

具体地，当确定当前模型的所述待测模型指标异常时，通用代码可以触发报警逻辑代码。报警逻辑代码可以直接获取判定为异常的模型指标所携带的类型标识。报警逻辑代码也可以根据预先设置的模型指标的标识和类型标识之间的对应关系，查找该模型指标的标识所对应的类型标识。

进一步地，计算机设备可以根据预先设置的类型标识和异常原因集合之间的对应关系，查找与获取的类型标识对应的异常原因集合。计算机设备可以将异常原因集合作为邮件内容，生成异常提醒邮件。需要说明的是，异常原因集合可以仅是邮件内容的全部或一部分，对此不作限定。

在其他实施例中，计算机设备可以获取记录的历史异常原因，对历史异常原因进行分析，根据每种历史异常原因的出现频率，确定出高频的异常原因，根据高频的异常原因生成异常提醒描述信息，在异常提醒邮件中显示该异常提醒描述信息，以提示异常原因。

上述实施例中，通过在配置文件中配置样本选取时间和当前模型的自变量字段，以及通用代码中设置的通用算法，自动判定出自变量的信息量指标是否异常，提高了异常检测效率。此外，通过变异系数来判定自变量的信息量指标异常与否，大大提高了异常判定结果的准确性，从而提高了异常检测的准确性。

如图3所示，在一个实施例中，该方法还包括异常修复步骤，具体包括以下步骤：

S302，确定从位于异常提醒邮件的异常原因集合中选中的目标异常原因。

其中，目标异常原因，是判断出的最终的异常原因。

具体地，技术人员在接收到异常提醒邮件后，可以基于异常提醒邮件中提醒的异常原因集合分析出最终的目标异常原因。技术人员可以直接从异常提醒邮件呈现的异常原因集合中选中目标异常原因。终端可以将选中的目标异常原因上报至计算机设备。

S304，发送与目标异常原因对应的修复页面至终端。

具体地，计算机设备预先针对异常原因集合中的每个异常原因设置了相应的修复页面。计算机设备可以获取与目标异常原因对应设置的修复页面，并将修复页面返回至终端。

S306，接收终端发送的基于修复页面获取的针对目标异常原因的修复操作数据。

具体地，终端可以呈现该修复页面。技术人员可以基于该修复页面针对目标异常原因进行修复操作，终端可以获取相应的修复操作数据，并将修复操作数据上报至计算机设备。

S308，根据修复操作数据进行相应修复处理。

在一个实施例中，修复操作数据包括修复后的路径信息。计算机设备可以根据修复的路径信息进行相应的修复处理，以在修复完毕后，能够根据修复后的路径信息获取正确的样本数据，从而保证当前模型的准确性。在一个实施例中，计算机设备可以在包括异常检测关联参数的配置文件中，更新修复的路径信息，以完成修复处理。

在一个实施例中，，修复操作数据包括修改后的样本选取时间。计算机设备可以将修改后的样本选取时间更新至配置文件中，从而可以根据配置文件中修改后的样本选取时间选取发生在业务内容改变后的数据作为样本数据，从而提高当前模型的准确性。

在一个实施例中，该方法还包括：在修复处理完毕后，重新通过通用代码，从数据库中获取符合样本选取时间的样本数据；根据重新获取的样本数据迭代地调整当前模型的各自变量的权重，直至达到训练停止条件，得到正常模型。

上述实施例中，技术人员可以直接基于异常提醒邮件触发进入修复页面进行修复操作，能够非常快捷地进行异常修复，提高了修复效率。

需要说明的是，本申请各实施例中的第一、第二仅用于区别，并不用做大小、从属或先后等方面的限定。

如图4所示，提供一种模型异常检测装置400，该装置400包括：获取模块402、异常检测模块404以及异常提醒模块406，其中：

获取模块402，用于获取针对待测模型指标设置的包括异常检测关联参数的配置文件。

异常检测模块404，用于调用与所述待测模型指标对应设置的通用代码，从所述异常检测关联参数中提取对应于当前模型的样本选取时间；通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；通过所述通用代码和所述样本数据，确定所述待测模型指标的值；当根据所述待测模型指标的值确定当前模型的所述待测模型指标异常时，触发报警逻辑代码生成异常提醒邮件。

异常提醒模块406，用于发送所述异常提醒邮件至终端。

在一个实施例中，样本选取时间为包括多个月份的样本选取时间段；异常检测模块404还用于当待测模型指标为群体稳定性指标时，则通过通用代码从样本选取时间段内的首位月份起循环逐月地选取当前月份，获取样本数据中对应于当前月份的第一子样本数据和对应于当前月份的下一月份的第二子样本数据；确定分别将第一子样本数据和第二子样本数据输入当前模型进行预测输出得到的第一预测结果和第二预测结果；通过通用代码对第一预测结果和第二预测结果进行分析，得到当前月份所对应的群体稳定性指标的值。

在一个实施例中，异常检测模块404还用于将得到的与样本选取时间段内各个月份对应的群体稳定性指标的值分别与预设的异常阈值进行比对；确定大于异常阈值的群体稳定性指标的值所对应的异常月份；当异常月份的数量大于预设数量阈值时，则判定当前模型的群体稳定性指标异常。

在一个实施例中，异常检测模块404还用于当待测模型指标为信息量指标时，则通过通用代码提取配置文件中包括的当前模型的自变量字段；针对每个自变量字段所表示的自变量，根据样本数据确定自变量在当前模型中对应的当前信息量指标数值；获取自变量在各历史模型中分别对应的历史信息量指标数值；根据对应于自变量的历史信息量指标数值和当前信息量指标数值，确定自变量的信息量指标的变异系数；当变异系数大于或等于变异阈值时，判定自变量的信息量指标异常。

在一个实施例中，异常提醒模块406还用于触发报警逻辑代码获取判定异常的模型指标所属类型的类型标识；根据预先设置的类型标识和异常原因集合之间的对应关系，查找与获取的类型标识对应的异常原因集合；根据包括异常原因集合的邮件内容，生成异常提醒邮件。

在一个实施例中，该装置400还包括：

异常修复模块408，用于确定从位于异常提醒邮件的异常原因集合中选中的目标异常原因；发送与目标异常原因对应的修复页面至终端；接收终端发送的基于修复页面获取的针对目标异常原因的修复操作数据；根据修复操作数据进行相应修复处理。

如图5所示，在一个实施例中，该装置400还包括异常修复模块408以及模型调整模块410，其中：

模型调整模块410，用于在修复处理完毕后，重新通过通用代码，从数据库中获取符合样本选取时间的样本数据；根据重新获取的样本数据迭代地调整当前模型的各自变量的权重，直至达到训练停止条件，得到正常模型。

关于模型异常检测装置的具体限定可以参见上文中对于模型异常检测方法的限定，在此不再赘述。上述模型异常检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是图1中的服务器120，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型异常检测方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述模型异常检测方法的步骤。此处模型异常检测方法的步骤可以是上述各个实施例的模型异常检测方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述模型异常检测方法的步骤。此处模型异常检测方法的步骤可以是上述各个实施例的模型异常检测方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种模型异常检测方法，所述方法包括：

获取针对待测模型指标设置的包括异常检测关联参数的配置文件；

调用与所述待测模型指标对应设置的通用代码，从所述异常检测关联参数中提取对应于当前模型的样本选取时间；所述通用代码是设置有针对待测模型指标的计算方法的通用的计算机代码；所述样本选取时间为包括多个月份的样本选取时间段；

通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；

通过所述通用代码和所述样本数据，确定所述待测模型指标的值包括：当所述待测模型指标为群体稳定性指标时，则通过所述通用代码从所述样本选取时间段内的首位月份起循环逐月地选取当前月份，获取所述样本数据中对应于所述当前月份的第一子样本数据和对应于所述当前月份的下一月份的第二子样本数据；确定分别将第一子样本数据和第二子样本数据输入当前模型进行预测输出得到的第一预测结果和第二预测结果；通过所述通用代码对所述第一预测结果和第二预测结果进行分析，得到所述当前月份所对应的群体稳定性指标的值；

当根据所述待测模型指标的值确定当前模型的所述待测模型指标异常时，触发报警逻辑代码生成异常提醒邮件；

发送所述异常提醒邮件至终端。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将得到的与所述样本选取时间段内各个月份对应的群体稳定性指标的值分别与预设的异常阈值进行比对；

确定大于所述异常阈值的群体稳定性指标的值所对应的异常月份；

当所述异常月份的数量大于预设数量阈值时，则判定当前模型的群体稳定性指标异常。

3.根据权利要求1所述的方法，其特征在于，所述异常检测关联参数是用于对模型指标进行异常检测的相关参数。

4.根据权利要求1所述的方法，其特征在于，所述通过所述通用代码和所述样本数据，确定所述待测模型指标的值还包括：

当所述待测模型指标为信息量指标时，则通过所述通用代码提取所述配置文件中包括的当前模型的自变量字段；

针对每个自变量字段所表示的自变量，根据所述样本数据确定所述自变量在当前模型中对应的当前信息量指标数值；

所述方法还包括：

获取所述自变量在各历史模型中分别对应的历史信息量指标数值；

根据对应于所述自变量的历史信息量指标数值和当前信息量指标数值，确定所述自变量的信息量指标的变异系数；

当变异系数大于或等于变异阈值时，判定所述自变量的信息量指标异常。

5.根据权利要求1所述的方法，其特征在于，所述触发报警逻辑代码生成异常提醒邮件包括：

触发报警逻辑代码获取判定异常的模型指标所属类型的类型标识；

根据预先设置的类型标识和异常原因集合之间的对应关系，查找与获取的所述类型标识对应的异常原因集合；

根据包括所述异常原因集合的邮件内容，生成异常提醒邮件。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

确定从位于所述异常提醒邮件的异常原因集合中选中的目标异常原因；

发送与所述目标异常原因对应的修复页面至所述终端；

接收所述终端发送的基于所述修复页面获取的针对所述目标异常原因的修复操作数据；

根据所述修复操作数据进行相应修复处理。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在修复处理完毕后，重新通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；

根据重新获取的样本数据迭代地调整所述当前模型的各自变量的权重，直至达到训练停止条件，得到正常模型。

8.一种模型异常检测装置，其特征在于，所述装置包括：

获取模块，用于获取针对待测模型指标设置的包括异常检测关联参数的配置文件；

异常检测模块，用于调用与所述待测模型指标对应设置的通用代码，从所述异常检测关联参数中提取对应于当前模型的样本选取时间；所述通用代码是设置有针对待测模型指标的计算方法的通用的计算机代码；所述样本选取时间为包括多个月份的样本选取时间段；通过所述通用代码，从数据库中获取符合所述样本选取时间的样本数据；通过所述通用代码和所述样本数据，确定所述待测模型指标的值，包括：当所述待测模型指标为群体稳定性指标时，则通过所述通用代码从所述样本选取时间段内的首位月份起循环逐月地选取当前月份，获取所述样本数据中对应于所述当前月份的第一子样本数据和对应于所述当前月份的下一月份的第二子样本数据；确定分别将第一子样本数据和第二子样本数据输入当前模型进行预测输出得到的第一预测结果和第二预测结果；通过所述通用代码对所述第一预测结果和第二预测结果进行分析，得到所述当前月份所对应的群体稳定性指标的值；

所述异常检测模块还用于当根据所述待测模型指标的值确定当前模型的所述待测模型指标异常时，触发报警逻辑代码生成异常提醒邮件；

异常提醒模块，用于发送所述异常提醒邮件至终端。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images