CN108090678A - 一种数据模型监控方法、系统、设备及计算机存储介质 - Google Patents

Abstract

本发明公开了一种数据模型监控方法、系统、设备及计算机存储介质，其中该方法包括：获取目标数据模型在预设数量的时间段内的运行数据；获取运行数据对应的性能指标；基于性能指标和运行数据对目标数据模型进行性能评价，得到评价结果。本发明公开的一种数据模型监控方法借助数据模型的运行数据、运行数据的性能指标实现了对数据模型的性能评价，与现有技术中监控人员凭经验判断数据模型的性能相比，准确性更高。综上所述，本发明公开的一种数据模型监控方法在一定程度上解决了如何提高现有的一种数据模型监控方法的准确性的技术问题。本发明公开的一种数据模型监控系统、设备及计算机存储介质也解决了相应的技术问题。

Description

一种数据模型监控方法、系统、设备及计算机存储介质

技术领域

本发明涉及大数据技术领域，更具体地说，涉及一种数据模型监控方法、系统、设备及计算机存储介质。

背景技术

随着大数据技术的进步，在业务中使用数据模型越来越普及，这里所说的数据模型指的是能够输出运行结果的模型。然而，数据模型具有衰减性，也即数据模型运行结果数据的能力会随着输入数据的更新而降低，因此，需要对数据模型的性能进行监控。

现有的一种数据模型监控方法是：监控人员凭经验判断数据模型的性能是否下降。

然而，现有的一种数据模型监控方法的准确性依赖于监控人员的经验，准确性低。

综上所述，如何提高现有的一种数据模型监控方法的准确性是目前本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种数据模型监控方法，其能在一定程度上解决如何提高现有的一种数据模型监控方法的准确性的技术问题。本发明还提供了一种数据模型监控系统、设备及计算机存储介质。

为了实现上述目的，本发明提供如下技术方案：

一种数据模型监控方法，包括：

获取目标数据模型在预设数量的时间段内的运行数据；

获取所述运行数据对应的性能指标；

基于所述性能指标和所述运行数据对所述目标数据模型进行性能评价，得到评价结果。

优选的，所述获取目标数据模型在预设数量的时间段内的运行数据，包括：

获取目标数据模型在预设数量的时间段内的运行数据，所述时间段的单位为周。

优选的，所述获取所述运行数据对应的性能指标，包括：

获取所述运行数据对应的性能指标，所述性能指标包括数据分布指标、数据稳定性指标。

优选的，所述获取所述运行数据对应的性能指标，包括：

获取所述运行数据对应的性能指标，所述性能指标包括KS指标、AUC指标。

优选的，所述基于所述性能指标和所述运行数据对所述目标数据模型进行性能评价，包括：

对任意相邻两时间段内的运行数据的性能指标进行对比，得到对比结果；

基于所述对比结果对所述目标数据模型进行性能评价。

优选的，所述得到评价结果之后，还包括：

显示所述评价结果。

优选的，所述显示所述评价结果，包括：

以图的形式显示所述评价结果。

一种数据模型监控系统，包括：

运行数据模块，用于获取目标数据模型在预设数量的时间段内的运行数据；

性能指标模块，用于获取所述运行数据对应的性能指标；

性能评价模块，用于基于所述性能指标和所述运行数据对所述目标数据模型进行性能评价，得到评价结果。

一种数据模型监控设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一所述一种数据模型监控方法的步骤。

一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述一种数据模型监控方法的步骤。

本发明提供的一种数据模型监控方法，先获取目标数据模型在预设数量的时间段内的运行数据；接着获取运行数据对应的性能指标；最后基于性能指标和运行数据对目标数据模型进行性能评价，得到评价结果。本发明提供的一种数据模型监控方法借助数据模型的运行数据、运行数据的性能指标实现了对数据模型的性能评价，与现有技术中监控人员凭经验判断数据模型的性能相比，准确性更高。综上所述，本发明提供的一种数据模型监控方法在一定程度上解决了如何提高现有的一种数据模型监控方法的准确性的技术问题。本发明提供的一种数据模型监控系统、设备及计算机存储介质也解决了相应的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据模型监控方法的流程图；

图2为应用本发明实施例提供的一种数据模型监控方法对用户信用风险决策模型进行性能评价的流程图；

图3为本发明实施例提供的一种数据模型监控系统的结构示意图；

图4为本发明实施例提供的一种数据模型监控设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的一种数据模型监控方法中各个步骤的动作执行主体可以为本发明实施例提供的一种数据模型监控系统，而该系统可以内置于计算机、服务器等，所以本发明实施例提供的一种数据监控方法中各个步骤的动作执行主体可以为内置该系统的计算机、服务器等。为了描述方便，这里将本发明实施例提供的一种数据模型监控方法中各个步骤的动作执行主体设为本发明实施例提供的一种数据模型监控系统，简称为监控系统。

请参阅图1，图1为本发明实施例提供的一种数据模型监控方法的流程图。

本发明实施例提供的一种数据模型监控方法，可以包括以下步骤：

步骤S101：获取目标数据模型在预设数量的时间段内的运行数据。

实际应用中，监控系统可以先获取目标数据模型在预设数量的时间段内的运行数据。这里所说的数据模型指的是能够输出运行结果的模型；目标数据模型指的是当前被监控的数据模型；运行数据指的是目标数据模型的输入数据和/或输出数据。监控系统获取的运行数据可以是监控系统实时接收外界输入得到的，也可以是监控系统自身采集各个时间段内的运行数据得到的等。这里所说的时间段的单位可以为小时、日、月、年等，比如当前周、上周、上上周等，时间段可以根据实际需要设定。

步骤S102：获取运行数据对应的性能指标。

监控系统在得到运行数据后，便可以获取运行数据对应的性能指标。这里所说的性能指标指的是与运行数据对应的、能够反映目标数据模型的性能的指标，性能指标可以根据实际需要确定。实际应用中，可以根据运行数据的类型来获取相应的性能指标，这时，监控系统中可以预先存储有每类运行数据及该类运行数据对应的性能指标间的对应关系，监控系统在得到运行数据后，便可以在自身保存的对应关系中获取与该运行数据对应的性能指标；当然，还可以根据运行数据的内容来获取相应的性能指标等，本发明在这里不做具体限定。实际应用中，监控系统获取的性能指标还可以是外界实时输入给监控系统的，本发明在这里不做具体限定。

步骤S103：基于性能指标和运行数据对目标数据模型进行性能评价，得到评价结果。

监控系统在得到运行数据和性能指标后，便可以根据获得的运行数据和性能指标对目标数据模型进行性能评价，得到相应的评价结果。

本发明提供的一种数据模型监控方法，先获取目标数据模型在预设数量的时间段内的运行数据；接着获取运行数据对应的性能指标；最后基于性能指标和运行数据对目标数据模型进行性能评价，得到评价结果。本发明提供的一种数据模型监控方法借助数据模型的运行数据、运行数据的性能指标实现了对数据模型的性能评价，与现有技术中监控人员凭经验判断数据模型的性能相比，准确性更高。综上所述，本发明提供的一种数据模型监控方法在一定程度上解决了如何提高现有的一种数据模型监控方法的准确性的技术问题。

本发明实施例提供的一种数据模型监控方法中，步骤S101获取目标数据模型在预设数量的时间段内的运行数据，具体可以为：

获取目标数据模型在预设数量的时间段内的运行数据，时间段的单位为周。

为了获的较好的监控效果，同时在一定程度上降低监控系统的服务压力，实际应用中，监控系统可以以周为单位获取运行数据；与以日为单位获取运行数据相比，降低了获取运行数据的频率，在一定程度上降低了监控系统的服务压力；与以月、年等为单位获取运行数据相比，监控系统监控目标数据模型的频率较高，可以在一定程度上提高监控效果。

本发明实施例提供的一种数据模型监控方法中，步骤S102获取运行数据对应的性能指标，具体可以为：

获取运行数据对应的性能指标，性能指标包括数据分布指标、数据稳定性指标。

实际应用中，当目标数据模型的性能重点体现在对运行数据的分布管理时，可以借助数据分布指标、数据稳定性指标等来评价目标数据模型的性能。

本发明实施例提供的一种数据模型监控方法中，步骤S102获取运行数据对应的性能指标，具体可以为：

获取运行数据对应的性能指标，性能指标包括KS(Kolmogorov-Smirnov，柯尔莫哥洛夫-斯米尔诺夫检验)指标、AUC(Area under curve，ROC曲线下方面积)指标。

实际应用中，当目标数据模型的性能重点体现在对运行数据的分类、排序上时，可以借助KS指标、AUC指标等来评价目标数据模型的性能。这里所说的KS指标主要验证目标数据模型对对象的区分能力，比如在对样本进行信用评分的数据模型中，数据模型在预测全体样本的信用评分后，会将全体样本按违约与非违约分为两部分，然后用KS值验证这两组样本信用评分的分布是否有显著差异，KS值越大表明数据模型对正负样本的区分能力越强。AUC指标主要验证目标数据模型对对象的排序能力，比如对输出用户是好用户的数据模型中，可以先借助ROC(receiver operating characteristic curve，受试者工作特征)曲线来描述在累积一定量好用户比例下累积坏用户的比例，AUC指标表示ROC曲线下方的面积，AUC指标越高，数据模型的风险能力越强。

本发明实施例提供的一种数据模型监控方法中，步骤S103中基于性能指标和运行数据对目标数据模型进行性能评价，具体可以为：

对任意相邻两时间段内的运行数据的性能指标进行对比，得到对比结果；

基于对比结果对目标数据模型进行性能评价。

由于监控系统主要是监控数据模型运行结果数据的能力是否随着输入数据的更新而降低，所以实际应用中，监控系统可以对任意相邻两时间段内的运行数据的性能指标进行对比，得到对比结果，然后根据对比结果对目标数据模型进行性能评价，得到评价结果。具体应用场景中，监控系统可以先根据性能指标，计算各个时间段内运行数据的性能分数，然后计算任意相邻两时间段内运行数据的性能分数的对比结果，根据对比结果分析目标数据模型的性能随时间的变化；监控系统还可以根据性能指标，计算各个时间段内运行数据的性能分数，然后将当前时间段内运行数据的性能分数与其他任一个时间段内运行数据的性能分数进行对比，得到比较结果，然后根据对比结果分析目标数据模型的性能随时间的变化；监控系统还可以先根据性能指标，计算各个时间段内运行数据的性能分数，求取所有时间段对应的性能分数的平均分，然后判断该平均分是否大于等于预设的阈值，若是，则目标数据模型衰减能力差，目标数据模型的性能较好，若否，则目标数据模型衰减能力强，目标数据模型的性能较差。

本发明实施例提供的一种数据模型监控方法中，步骤S103得到评价结果之后，还可以包括：

显示评价结果。

为了方便外界查看监控系统对目标数据模型的评价结果，实际应用中，监控系统在得到评价结果之后，还可以显示评价结果，以便外界根据评价结果进行相应操作。具体应用场景中，监控系统还可以将评价结果以邮件等的形式发送给测试人员的终端，如手机、电脑等，以便测试人员随时随地的查看评价结果。

本发明实施例提供的一种数据模型监控方法中，显示评价结果，具体可以为：

以图的形式显示评价结果。

实际应用中，为了让外界直观的查看评价结果，监控系统可以以图的形式显示评价结果。当然，具体应用场景中，监控系统还可以以表格、曲线等形式显示评价结果，本发明在这里不做具体限定。

请参阅图2，图2为应用本发明实施例提供的一种数据模型监控方法对用户信用风险决策模型进行性能评价的流程图。

应用本发明实施例提供的一种数据模型监控方法对用户信用风险决策模型进行性能评价的过程可以包括如下步骤：

步骤S201：获取用户信用风险决策模型上线后每天输出的信用风险分数；

步骤S202：确定每天的信用风险分数对应的上四分位、中位数、下四分位等分布指标；

步骤S203：将当前的信用风险分数与两周前和两个月前的信用风险分数进行对比，得到相对于两周前的稳定性指标，得到相对于两个月前的稳定性指标；

步骤S204：以表格的形式展示每天的上四分位、中位数、下四分位等分布指标，展示相对于两周前的稳定性指标及相对于两个月前的稳定性指标。

本发明还提供了一种数据模型监控系统，其具有本发明实施例提供的一种数据模型监控方法具有的对应效果。请参阅图3，图3为本发明实施例提供的一种数据模型监控系统的结构示意图。

本发明实施例提供的一种数据模型监控系统，可以包括：

运行数据模块101，用于获取目标数据模型在预设数量的时间段内的运行数据；

性能指标模块102，用于获取运行数据对应的性能指标；

性能评价模块103，用于基于性能指标和运行数据对目标数据模型进行性能评价，得到评价结果。

本发明实施例提供的一种数据模型监控系统中，运行数据模块可以包括：

运行数据单元，用于获取目标数据模型在预设数量的时间段内的运行数据，时间段的单位为周。

本发明实施例提供的一种数据模型监控系统中，性能指标模块可以包括：

第一性能指标单元，用于获取运行数据对应的性能指标，性能指标包括数据分布指标、数据稳定性指标。

本发明实施例提供的一种数据模型监控系统中，性能指标模块可以包括：

第二性能指标单元，用于获取运行数据对应的性能指标，性能指标包括KS指标、AUC指标。

本发明实施例提供的一种数据模型监控系统中，性能评价模块可以包括：

对比单元，用于对不同时间段内的运行数据的性能指标进行对比，得到对比结果；

性能评价单元，用于基于对比结果对目标数据模型进行性能评价。

本发明实施例提供的一种数据模型监控系统中，还可以包括：

显示模块，用于在性能评价模块得到评价结果之后，显示评价结果。

本发明实施例提供的一种数据模型监控系统中，显示模块可以包括：

显示单元，用于以图的形式显示评价结果。

本发明还提供了一种数据模型监控设备及计算机存储介质，其均具有本发明实施例所提供的一种数据模型监控方法具有的对应效果。请参阅图4，图4为本发明实施例提供的一种数据模型监控设备的结构示意图。

本发明实施例提供的一种数据模型监控设备，可以包括：

存储器201，用于存储计算机程序；

处理器202，用于执行计算机程序时实现如上任一实施例所描述的一种数据模型监控方法的步骤。

本发明实施例提供的一种计算机存储介质，计算机存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任一实施例所描述的一种数据模型监控方法的步骤。

本发明实施例提供的一种数据模型监控系统、设备及计算机存储介质中相关部分的说明请参见本发明实施例提供的一种数据模型监控方法中对应部分的详细说明，在此不再赘述。另外，本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据模型监控方法，其特征在于，包括：

获取目标数据模型在预设数量的时间段内的运行数据；

获取所述运行数据对应的性能指标；

基于所述性能指标和所述运行数据对所述目标数据模型进行性能评价，得到评价结果。

2.根据权利要求1所述的方法，其特征在于，所述获取目标数据模型在预设数量的时间段内的运行数据，包括：

获取目标数据模型在预设数量的时间段内的运行数据，所述时间段的单位为周。

3.根据权利要求1所述的方法，其特征在于，所述获取所述运行数据对应的性能指标，包括：

获取所述运行数据对应的性能指标，所述性能指标包括数据分布指标、数据稳定性指标。

4.根据权利要求1所述的方法，其特征在于，所述获取所述运行数据对应的性能指标，包括：

获取所述运行数据对应的性能指标，所述性能指标包括KS指标、AUC指标。

5.根据权利要求1所述的方法，其特征在于，所述基于所述性能指标和所述运行数据对所述目标数据模型进行性能评价，包括：

对任意相邻两时间段内的运行数据的性能指标进行对比，得到对比结果；

基于所述对比结果对所述目标数据模型进行性能评价。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述得到评价结果之后，还包括：

显示所述评价结果。

7.根据权利要求6所述的方法，其特征在于，所述显示所述评价结果，包括：

以图的形式显示所述评价结果。

8.一种数据模型监控系统，其特征在于，包括：

运行数据模块，用于获取目标数据模型在预设数量的时间段内的运行数据；

性能指标模块，用于获取所述运行数据对应的性能指标；

性能评价模块，用于基于所述性能指标和所述运行数据对所述目标数据模型进行性能评价，得到评价结果。

9.一种数据模型监控设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述一种数据模型监控方法的步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种数据模型监控方法的步骤。