CN113157516B - 一种准实时计算的模型监测系统及方法 - Google Patents

一种准实时计算的模型监测系统及方法 Download PDF

Info

Publication number
CN113157516B
CN113157516B CN202011467438.2A CN202011467438A CN113157516B CN 113157516 B CN113157516 B CN 113157516B CN 202011467438 A CN202011467438 A CN 202011467438A CN 113157516 B CN113157516 B CN 113157516B
Authority
CN
China
Prior art keywords
model
monitoring
alarm
layer
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011467438.2A
Other languages
English (en)
Other versions
CN113157516A (zh
Inventor
王萍
贾坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN202011467438.2A priority Critical patent/CN113157516B/zh
Publication of CN113157516A publication Critical patent/CN113157516A/zh
Application granted granted Critical
Publication of CN113157516B publication Critical patent/CN113157516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/125—Finance or payroll
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Finance (AREA)
  • Educational Administration (AREA)
  • Accounting & Taxation (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Technology Law (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了一种准实时计算的模型监控系统及方法，属于人工智能监控领域，解决了现有技术中无法保证模型监控的时效性、对模型的监控需要一定人力成本和时间成本的问题，其包括模型数据层，模型数据层上接模型系统，下接模型信息加工层，模型信息加工层连接有数据集市，模型信息加工层连接模型监控指标计算层，模型信息加工层连接模型监控公式计算层，模型监控公式计算层连接模型分级预警系统，模型分级预警系统将告警信息通过邮件或短信等方式发送给模型开发人员，模型开发人员根据模型预警系统的信息对模型进行优化或下线，实现了对模型的智能化实时监控，减少了人力成本和时间成本。

Description

一种准实时计算的模型监测系统及方法
技术领域
本发明属于人工智能监测领域，具体属于一种准实时计算的模型监测系统。
背景技术
所谓财务模型就是将企业的各种信息按照价值创造的主线进行分类、整理和链接，以完成对企业财务绩效的分析、预测和评估等功能，在实际操作中，财务模型既可以通过Excel办公软件也可以借助专业的财务模型软件来协助完成。
传统方法通过线下代码实现，新增迭代模型时都需要修改相应的代码，并且需要人为管理运营，需要一定的人力成本和时间成本，同时，无法保证模型监测的时效性。基于此，本文提出了一种准实时计算的模型监测的方案，通过系统配置实现对模型的实时监测，并实时预警模型开发人员进行模型的迭代升级或下线。监测内容包括：模型稳定性、模型有效性、模型参数稳定性等。
发明内容
针对现有技术中无法保证模型监测的时效性、对模型的监测需要一定人力成本和时间成本的问题，本发明提供一种准实时计算的模型监测系统，其目的在于：通过系统配置实现对模型的实时监测，并实时预警模型开发人员进行模型的迭代升级或下线。
本发明采用的技术方案如下：
一种准实时计算的模型监测的系统，包括：
模型数据层：接收模型数据，并加工为模型数据集；
模型信息加工层：接收从模型数据层实时转入的模型数据集与数据集市导出的数据集市数据集，并集成为模型信息数据集；
模型监测指标计算层：接收从模型信息加工层实时转入的模型信息数据集，并基于模型信息数据集进行监测指标计算，得到监测指标计算结果；
模型监测公式计算层：根据监测指标计算结果，进行模型监测公式计算，并根据模型监测公式计算结果生成告警内容；
模型分级预警层：根据告警内容和设置的预警主题进行分层预警。
采用上述方案，模型数据层接收到模型数据后，将模型数据加工为模型数据集，并将模型数据集转入模型信息加工层，模型信息加工层同时接收来自模型数据层与数据集市的数据集，其中模型数据层的数据集包括信用模型、欺诈模型、非正常交易模型，数据集市的数据集包括案件性数据集、非正常交易数据集、信贷逾期数据集、黑灰名单数据集，模型信息加工层将这两种数据集集成为模型信息数据集，并转入模型监测指标计算层，模型监测指标计算层基于模型信息数据集进行监测指标计算，包括KS指标、PSI指标、AUC指标，得到上述指标计算结果后将指标计算结果转入模型监测公式计算层，模型监测公式计算层将指标计算结果写入监测公式，判断模型的稳定性、区分性能，如果模型发生指标异常，则生成告警内容，并将告警内容转入模型分级预警层，模型分级预警层通过设置的告警组配置发出告警信息。
优选的，所述模型监测公式计算层下接模型分析系统，模型分析系统下接模型系统；采用上述优选方案，当模型监测公式计算层生成告警内容，并通过模型分级预警层向模型分析系统发出告警信息时，模型分析系统能够根据告警信息内容对模型进行模型优化、模型下线、特征下线操作，能够及时地对出现缺陷的模型做出优化或下线，提高了模型监测的时效性。
优选的，所述模型数据层上接模型系统；采用上述优选方案，模型数据层能够实时接收模型系统的模型数，保证了模型系统、模型监测系统之间的联动性，并确保模型监测计算的实时性。
一种准实时计算的模型监测的方法，包括以下步骤：
步骤A：将模型系统、模型监测系统进行实时对接；
步骤B：收集模型数据与数据集市数据，并将模型数据与数据集市数据处理为数据集；
步骤C：基于数据集进行模型指标计算，得出指标计算结果；
步骤D：根据指标计算结果进行监测公式计算，得出监测公式计算结果；
步骤E：根据监测公式计算结果生成告警内容并发送至模型分析系统；
步骤F：模型分析系统根据告警内容对模型进行模型下线、特征下线或模型优化。
采用上述方案，通过对模型系统中的模型实时监测，对模型监测的时效性有了明显的增强，解决了传统技术中，模型监测系统只能对模型进行事后跑批、对模型的稳定性和模型有效性的监测具有一定时间滞后性的缺点，当模型出现稳定性不足和失效缺陷时，技术人员能够及时对模型进行调整，极大改善了模型监测的实效性。
优选的，所述步骤C的具体步骤为：
步骤C1、通过模型监测指标计算层计算PSI指标，PSI计算公式：
Figure GDA0003091336920000021
Figure GDA0003091336920000022
将模型结果划分为n个区间，其中Ai表示第i段区间的实际占比，等于第i段的实际样本数量除实际总样本数量；Ei表示第i段区间的预期占比，等于第i段的预期样本数量除预期总样本数量。
步骤C2、通过模型监测指标计算层计算KS指标，KS计算公式：KS＝max(TPR-FPR)，其中TPR＝TP/(TP+FN)，FPR＝FP/(FP+TN)，其中TPR为真正类率、FPR为负正类率、TP为正确的肯定数目、FP为误报，没有匹配的不正确数目、TN为正确拒绝的非匹配数目、FN为漏报，没有找到正确匹配的数目；
步骤C3、通过模型监测指标计算层计算AUC指标，通过梯形法和ROC AUCH法进行逼近法求近似值。
优选的，所述步骤D的具体步骤为：
步骤D1、通过模型监测公式计算层监测PSI指标异常，PSI在[0，0.1)时，模型特征稳定性好，表示模型不需要监测后续变化；PSI在[0.1，0.25)时，模型不稳定，表示模型有变化，需要继续监测后续变化；PSI>0.25时，需要对模型进行特征项分析；
步骤D2、通过模型监测公式计算层监测KS指标异常，KS取值为[0，1]，KS取值<0.2时，表示模型无区分能力；KS取值为[0.2-0.75)，模型具有区分能力，且KS越趋近0.75时，模型的区分能力越好；KS>0.75，模型异常；
步骤D3、通过模型监测公式计算层监测AUC指标异常，AUC取值为[0.5，1]，AUC取值为[0.5-0.6)时，表示模型无区分能力；AUC取值为[0.6-1)时，模型具有区分能力，且AUC指标越趋近1，模型的区分能力越好；
步骤D4、通过模型监测公式计算层通过告警界面配置指定告警级别、告警对象、告警周期、告警公式以及告警内容，其中告警级别根据风险程度分为一级告警、二级告警、三级告警、四级告警、五级告警；告警对象组为该模型的开发组；告警周期包括每小时、每天2个维度，即表示1小时预警1次和1天预警一次。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.与现有技术相比，实现了对模型的实时监测，通过将模型监测系统上接模型系统，实现对模型系统的KS指标、AUC指标、PSI指标的计算和判断，并根据计算结果向技术人员实时告警，技术人员再对模型进行模型优化、模型下线、特征下线操作，保证了模型稳定性和区分能力的实时监测。
2.本模型监测系统进行模型监测指标计算时，模型监测指标数组化和公式化，将模型监测指标抽象为模型指标数组和模型监测公式，通过先加工指标，在计算公式的设计实现思路，使得模型监测逻辑更加清晰，在保证计算逻辑准确性的情况下，大大降低了模型指标的计算复杂度。
3.本模型监测系统能够对模型开发人员进行告警，模型监测公式通过截面配置制定告警级别、告警周期、告警公式一级告警内容，根据风险程度，向开发人员发出1-5级的告警，通过模型监测系统，当模型出现稳定性不足，或区分能力不能达到使用指标时，工作人员能够及时进行调整和下线。
4.模型监测系统模板界面化。本方案通过抽象模型参数模板、模型监测指标模板、模型监测公式模板等，将复杂的模型监测指标通过界面方式配置实现，大大的节省了模型开发人员的时间成本，工具化程度高；
5.多种告警方式自主选择，支持短信、邮箱等多种方式告警。
6.具有较高的可扩展性，可扩展到特征监测。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的流程示意图；
图2是本发明实施例中模型特征参数组配置界面；
图3是本发明实施例中PSI指标监测配置界面；
图4是本发明实施例中KS指标监测配置界面；
图5是本发明实施例中AUC指标监测配置界面；
图6是本发明实施例中模型监测公式配置界面；
图7是本发明实施例中模型告警配置界面；
图8是本发明实施例中模型告警组用户信息配置界面。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1、图2对本发明作详细说明。
一种准实时计算的模型监测的系统，包括：
模型数据层：接收模型数据，并加工为模型数据集；
模型信息加工层：接收从模型数据层实时转入的模型数据集与数据集市导出的数据集市数据集，并集成为模型信息数据集；
模型监测指标计算层：接收从模型信息加工层实时转入的模型信息数据集，并基于模型信息数据集进行监测指标计算，得到监测指标计算结果；
模型监测公式计算层：根据监测指标计算结果，进行模型监测公式计算，并根据模型监测公式计算结果生成告警内容；
模型分级预警层：根据告警内容和设置的预警主题进行分层预警。
所述模型监测公式计算层下接模型分析系统，模型分析系统下接模型系统。
所述模型数据层上接模型系统。
一种准实时计算的模型监测的方法，包括以下步骤：
步骤A：将模型系统、模型监测系统进行实时对接；
步骤B：收集模型数据与数据集市数据，并将模型数据与数据集市数据处理为数据集；
步骤C：基于数据集进行模型指标计算，得出指标计算结果；
步骤D：根据指标计算结果进行监测公式计算，得出监测公式计算结果；
步骤E：根据监测公式计算结果生成告警内容并发送至模型分析系统；
步骤F：模型分析系统根据告警内容对模型进行模型下线、特征下线或模型优化。
所述步骤C的具体步骤为：
步骤C1、通过模型监测指标计算层通过模型监测指标计算层计算PSI指标，PSI计算公式：
Figure GDA0003091336920000051
将模型结果划分为n个区间，其中Ai表示第i段区间的实际占比，等于第i段的实际样本数量除实际总样本数量；Ei表示第i段区间的预期占比，等于第i段的预期样本数量除预期总样本数量。
步骤C2、通过模型监测指标计算层计算KS指标，KS计算公式：KS＝max(TPR-FPR)，其中TPR＝TP/(TP+FN)，FPR＝FP/(FP+TN)，其中TPR为真正类率、FPR为负正类率、TP为正确的肯定数目、FP为误报，没有匹配的不正确数目、TN为正确拒绝的非匹配数目、FN为漏报，没有找到正确匹配的数目；
步骤C3、通过模型监测指标计算层计算AUC指标，通过梯形法和ROC AUCH法进行逼近法求近似值。
所述步骤D的具体步骤为：
步骤D1、通过模型监测公式计算层监测PSI指标异常，PSI在[0，0.1)时，模型特征稳定性好，表示模型不需要监测后续变化；PSI在[0.1，0.25)时，模型不稳定，表示模型有变化，需要继续监测后续变化；PSI>0.25时，需要对模型进行特征项分析；
步骤D2、通过模型监测公式计算层监测KS指标异常，KS取值为[0，1]，KS取值<0.2时，表示模型无区分能力；KS取值为[0.2-0.75)，模型具有区分能力，且KS越趋近0.75时，模型的区分能力越好；KS>0.75，模型异常；
步骤D3、通过模型监测公式计算层监测AUC指标异常，AUC取值为[0.5，1]，AUC取值为[0.5-0.6)时，表示模型无区分能力；AUC取值为[0.6-1)时，模型具有区分能力，且AUC指标越趋近1，模型的区分能力越好；
步骤D4、通过模型监测公式计算层通过告警界面配置指定告警级别、告警对象、告警周期、告警公式以及告警内容，其中告警级别根据风险程度分为一级告警、二级告警、三级告警、四级告警、五级告警；告警对象组为该模型的开发组；告警周期包括每小时、每天2个维度，即表示1小时预警1次和1天预警一次。
在上述实施例一中，模型监测系统、模型系统、数据集市之间通过FTP文件传输方式和MQ队列方式对接，其中模型系统下接模型数据层，模型数据层接收到模型数据后，将模型数据加工为模型数据集，并将模型数据集转入模型信息加工层，模型信息加工层同时接收来自模型数据层与数据集市的数据集，其中模型数据层的数据集包括信用模型、欺诈模型、非正常交易模型，数据集市的数据集包括案件性数据集、非正常交易数据集、信贷逾期数据集、黑灰名单数据集，模型信息加工层将这两种数据集集成为模型信息数据集，并转入模型监测指标计算层，模型监测指标计算层基于模型信息数据集进行监测指标计算，包括KS指标、PSI指标、AUC指标，其中KS指标能够表现模型的区分能力，PSI指标能够表现模型在各分数端的分布与建模样本分布的稳定性，AUC指标能够表现模型的学习能力，得到上述指标计算结果后将指标计算结果转入模型监测公式计算层，模型监测公式计算层将指标计算结果写入监测公式，判断模型的稳定性、区分性能，如果模型发生指标异常，则生成告警内容，并将告警内容转入模型分级预警层，模型分级预警层通过设置的告警组配置发出告警信息，当模型监测公式计算层生成告警内容，并通过模型分级预警层向模型分析系统发出告警信息时，模型分析系统能够根据告警信息内容对模型进行模型优化、模型下线、特征下线操作。
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (5)

1.一种准实时计算的模型监控的系统，其特征在于，包
括：模型数据层：接收模型数据，并加工为模型数据集；
模型信息加工层：接收从模型数据层实时转入的模型数据集与数据集市导出的数据集市数据集，并集成为模型信息数据集；
模型监控指标计算层：接收从模型信息加工层实时转入的模型信息数据集，并基于模型信息数据集进行监控指标计算，得到监控指标计算结果；
模型监控公式计算层：根据监控指标计算结果，进行模型监控公式计算，并根据模型监控公式计算结果生成告警内容；具体计算过程如下：
步骤D1、通过模型监控公式计算层监控PSI指标异常，PSI在[0，0.1)时，模型特征稳定性好，表示模型不需要监控后续变化；PSI在[0.1，0.25)时，模型不稳定，表示模型有变化，需要继续监控后续变化；PSI>0.25时，需要对模型进行特征项分析；
步骤D2、通过模型监控公式计算层监控KS指标异常，KS取值为[0，1]，KS取值<0.2时，表示模型无区分能力；KS取值为[0.2-0.75)，模型具有区分能力，且KS越趋近0.75时，模型的区分能力越好；KS>0.75，模型异常；
步骤D3、通过模型监控公式计算层监控AUC指标异常，AUC取值为[0.5，1]，AUC取值为[0.5-0.6)时，表示模型无区分能力；AUC取值为[0.6-1)时，模型具有区分能力，且AUC指标越趋近1，模型的区分能力越好；
步骤D4、通过模型监控公式计算层通过告警界面配置指定告警级别、告警对象、告警周期、告警公式以及告警内容，其中告警级别根据风险程度分为一级告警、二级告警、三级告警、四级告警、五级告警；告警对象组为该模型的开发组；告警周期包括每小时、每天2个维度，即表示1小时预警1次和1天预警一次；
模型分级预警层：根据告警内容和设置的预警主题进行分层预警。
2.根据权利要求1所述的一种准实时计算的模型监控的系统，其特征在于，所述模型监控公式计算层下接模型分析系统，模型分析系统下接模型系统。
3.根据权利要求1所述的一种准实时计算的模型监控的系统，其特征在于，所述模型数据层上接模型系统。
4.一种准实时计算的模型监控系统的监控方法，其特征在于，包括以下步骤：步骤A：将模型系统、模型监控系统进行实时对接；
步骤B：收集模型数据与数据集市数据，并将模型数据与数据集市数据处理为数据集；
步骤C：基于数据集进行模型指标计算，得出指标计算结果；
步骤D：根据指标计算结果进行监控公式计算，得出监控公式计算结果；
步骤D1、通过模型监控公式计算层监控PSI指标异常，PSI在[0，0.1)时，模型特征稳定性好，表示模型不需要监控后续变化；PSI在[0.1，0.25)时，模型不稳定，表示模型有变化，需要继续监控后续变化；PSI>0.25时，需要对模型进行特征项分析；
步骤D2、通过模型监控公式计算层监控KS指标异常，KS取值为[0，1]，KS取值<0.2时，表示模型无区分能力；KS取值为[0.2-0.75)，模型具有区分能力，且KS越趋近0.75时，模型的区分能力越好；KS>0.75，模型异常；
步骤D3、通过模型监控公式计算层监控AUC指标异常，AUC取值为[0.5，1]，AUC取值为[0.5-0.6)时，表示模型无区分能力；AUC取值为[0.6-1)时，模型具有区分能力，且AUC指标越趋近1，模型的区分能力越好；
步骤D4、通过模型监控公式计算层通过告警界面配置指定告警级别、告警对象、告警周期、告警公式以及告警内容，其中告警级别根据风险程度分为一级告警、二级告警、三级告警、四级告警、五级告警；告警对象组为该模型的开发组；告警周期包括每小时、每天2个维度，即表示1小时预警1次和1天预警一次；
步骤E：根据监控公式计算结果生成告警内容并发送至模型分析系统；
步骤F：模型分析系统根据告警内容对模型进行模型下线、特征下线或模型优化。
5.根据权利要求4所述的一种准实时计算的模型监控系统的监控方法，其特征在于，所述步骤C的具体步骤为：
步骤C1、通过模型监控指标计算层计算PSI指标，计算公式：
Figure FDA0004223757770000021
Figure FDA0004223757770000022
，将模型结果划分为个区间，其中表示第段区间的实际占比，等于第段的实际样本数量除实际总样本数量；表示第段区间的预期占比，等于第段的预期样本数量除预期总样本数量；
步骤C2、通过模型监控指标计算层计算KS指标，KS计算公式：KS＝max(TPR-FPR)，其中TPR＝TP/(TP+FN)，FPR＝FP/(FP+TN)，其中TPR为真正类率、FPR为负正类率、TP为正确的肯定数目、FP为误报，没有匹配的不正确数目、TN为正确拒绝的非匹配数目、FN为漏报，没有找到正确的数目；
步骤C3、通过模型监控指标计算层计算AUC指标，通过梯形法和ROC AUCH法进行逼近法求近似值。
CN202011467438.2A 2020-12-11 2020-12-11 一种准实时计算的模型监测系统及方法 Active CN113157516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011467438.2A CN113157516B (zh) 2020-12-11 2020-12-11 一种准实时计算的模型监测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011467438.2A CN113157516B (zh) 2020-12-11 2020-12-11 一种准实时计算的模型监测系统及方法

Publications (2)

Publication Number Publication Date
CN113157516A CN113157516A (zh) 2021-07-23
CN113157516B true CN113157516B (zh) 2023-06-23

Family

ID=76882567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011467438.2A Active CN113157516B (zh) 2020-12-11 2020-12-11 一种准实时计算的模型监测系统及方法

Country Status (1)

Country Link
CN (1) CN113157516B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109660407A (zh) * 2019-01-18 2019-04-19 鑫涌算力信息科技（上海）有限公司 分布式系统监控系统及方法
CN109710890A (zh) * 2018-12-20 2019-05-03 四川新网银行股份有限公司 基于构建的行为画像模型实时识别虚假材料的方法和系统
CN111104731A (zh) * 2019-11-19 2020-05-05 北京集奥聚合科技有限公司 一种用于联邦学习的图形化模型全生命周期建模方法
CN111932359A (zh) * 2020-07-16 2020-11-13 吉林亿联银行股份有限公司 一种风险监测方法、系统及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002822B2 (en) * 2012-06-21 2015-04-07 Sap Se Cost monitoring and cost-driven optimization of complex event processing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710890A (zh) * 2018-12-20 2019-05-03 四川新网银行股份有限公司 基于构建的行为画像模型实时识别虚假材料的方法和系统
CN109660407A (zh) * 2019-01-18 2019-04-19 鑫涌算力信息科技（上海）有限公司 分布式系统监控系统及方法
CN111104731A (zh) * 2019-11-19 2020-05-05 北京集奥聚合科技有限公司 一种用于联邦学习的图形化模型全生命周期建模方法
CN111932359A (zh) * 2020-07-16 2020-11-13 吉林亿联银行股份有限公司 一种风险监测方法、系统及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
供港食品有害物质全程溯源与实时监控模型研究;包先雨;陈枝楠;李军;仲建忠;;合肥工业大学学报(自然科学版)(第05期);55-61 *
数字金融时代 机器学习模型在实时反欺诈中的应用与实践;曹汉平;张晓晶;祝睿杰;黄潇拉;;智能科学与技术学报(第04期);27-36 *

Also Published As

Publication number Publication date
CN113157516A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN101989087B (zh) 工业化加工渣油的在线实时故障监测与诊断的系统装置
US8868985B2 (en) Supervised fault learning using rule-generated samples for machine condition monitoring
CN111459700B (zh) 设备故障的诊断方法、诊断装置、诊断设备及存储介质
CN107273924B (zh) 基于模糊聚类分析的多数据融合的电厂故障诊断方法
CN112817280A (zh) 一种用于火电厂智慧监盘报警系统实现方法
CN110348752B (zh) 一种考虑环境干扰的大型工业系统结构安全性评估方法
CN117196066A (zh) 智慧运维信息分析模型
CN117234785B (zh) 基于人工智能自查询的集控平台错误分析系统
CN116932523B (zh) 一种整合和监管第三方环境检测机构的平台
CN115358155A (zh) 一种电力大数据异常预警方法、装置、设备及可读存储介质
CN111639850A (zh) 多源异构数据的质量评估方法与系统
CN113327037A (zh) 基于模型的风险识别方法、装置、计算机设备和存储介质
Lyu et al. A data-driven approach for identifying possible manufacturing processes and production parameters that cause product defects: A thin-film filter company case study
CN114548494B (zh) 一种可视化造价数据预测智能分析系统
CN117743909A (zh) 一种基于人工智能的供热系统故障分析方法及装置
CN117560300B (zh) 一种智能物联网流量预测与优化系统
JP7442001B1 (ja) 水力発電ユニットの故障総合診断方法
CN113157516B (zh) 一种准实时计算的模型监测系统及方法
Zaliskyi et al. Analysis of Learning Efficiency of Expert System for Decision-Making Support in Aviation
CN117371607A (zh) 基于物联网技术的锅炉汽水流程再造监测系统
CN109683565A (zh) 一种基于多方法融合的仪器仪表故障检测方法
CN115081514A (zh) 一种数据不平衡情况下的工业设备故障识别方法
CN115598459A (zh) 一种配电网10kV馈线故障停电预测方法
CN112580260A (zh) 管网水流量的预测方法、装置以及计算机可读存储介质
CN117689256B (zh) 一种铝合金熔铸产品质量溯源方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant