CN110262939B - 算法模型运行监控方法、装置、计算机设备和存储介质 - Google Patents
算法模型运行监控方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110262939B CN110262939B CN201910398114.9A CN201910398114A CN110262939B CN 110262939 B CN110262939 B CN 110262939B CN 201910398114 A CN201910398114 A CN 201910398114A CN 110262939 B CN110262939 B CN 110262939B
- Authority
- CN
- China
- Prior art keywords
- algorithm model
- current
- statistical period
- performance index
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 266
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 76
- 238000012806 monitoring device Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims description 76
- 238000004590 computer program Methods 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 20
- 230000000737 periodic effect Effects 0.000 claims description 9
- 238000012423 maintenance Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 201000004569 Blindness Diseases 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000013145 classification model Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种算法模型运行监控方法、装置、计算机设备和存储介质。所述方法包括：获取算法模型在当前统计周期内的特征标签和回归结果；根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。采用本方法能够及时发现算法模型的运行异常情况，且能够避免算法模型更新的盲目性，有助于保证算法模型性能。
Description
技术领域
本申请涉及互联网技术领域，特别是涉及一种算法模型运行监控方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术在互联网领域的应用和发展，尤其是机器学习的应用和发展，将机器学习得到的算法模型应用于大数据风控，为互联网金融等领域提供了强有力的安全保障。然而如何高效、直观地度量算法模型的性能，监控算法的执行异常，指导算法模型的灵活迭代和及时地运行维护成为急需研究的问题。
目前采用的方案，主要是在上线前对算法模型进行性能度量，上线后对算法模型进行定期更新，来保证算法模型较低的泛化误差。
但是这种方式存在以下问题，其一，如果定期更新的时间较长，无法保证算法模型拥有一个较低的泛化误差，可能对业务造成影响。其二，如果定期更新的时间较短，频繁迭代会造成资源的浪费。最后，算法模型运行异常等情况无法及时发现。
发明内容
基于此，有必要针对上述技术问题，提供一种能够及时发现算法模型的运行异常情况，且能够避免更新的盲目性的算法模型运行监控方法、装置、计算机设备和存储介质。
一种算法模型运行监控方法，该方法包括：
获取算法模型在当前统计周期内的特征标签和回归结果；
根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；
在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。
在其中一个实施例中，上述的方法还包括：
获取当前执行结果异常数量，当前执行结果异常数量为算法模型在当前统计周期内的执行结果异常数量；
在当前执行结果异常数量超过算法模型的预设的数量阈值时，输出第二告警提示信息。
在其中一个实施例中，上述的方法还包括：
保存算法模型在各个统计周期内的性能指标值和执行结果异常数量；
接收终端发送的数据查看请求，数据查看请求携带有待查看周期信息；
根据待查看周期信息向终端返回与待查看周期信息对应的统计周期内的性能指标值或者/和执行结果异常数量。
在其中一个实施例中，上述的根据特征标签和回归结果确定当前性能指标，包括：
根据特征标签和回归结果，确定算法模型在当前统计周期内的真正例数目、假正例数目、真反例数目和假反例数目；
根据真正例数目、假正例数目、真反例数目和假反例数，确定算法模型在当前统计周期内的查准率、查全率、ROC曲线和K-S曲线；
根据查准率和查全率，确定算法模型在当前统计周期内的第一度量参数值；
根据ROC曲线计算ROC曲线所覆盖的区域面积值，将区域面积值作为算法模型在当前统计周期内的第二度量参数值；
将K-S曲线的最大值，确定为算法模型在当前统计周期内的第三度量参数值；
当前性能指标值包括第一度量参数值、第二度量参数值和第三度量参数值中一个或者多个。
在其中一个实施例中，上述的在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息，包括：
在第一度量参数值小于预设的算法模型的第一参数阈值时，或者在第二度量参数值小于预设的算法模型的第二参数阈值时，或者在第三度量参数值小于预设的算法模型的第三参数阈值时，输出第一告警提示信息。
在其中一个实施例中，上述的第一告警提示信息包括第一告警内容和数据查看链接，或者第二告警提示信息包括第二告警内容和数据查看链接，数据查看链接被触发时，链接到预设的度量分析界面。
在其中一个实施例中，上述的获取算法模型在当前统计周期内的特征标签和回归结果，包括：
在当前统计周期内，分批次获取算法模型的原始数据集；
分别筛选各批次的原始数据集中的带真实标记和预测结果的数据，将各批次筛选出的数据的集合作为算法模型在当前统计周期内的特征标签和回归结果。
一种算法模型运行监控装置，该装置包括：
获取模块，用于获取算法模型在当前统计周期内的特征标签和回归结果；
处理模块，用于根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；
告警模块，用于在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取算法模型在当前统计周期内的特征标签和回归结果；
根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；
在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取算法模型在当前统计周期内的特征标签和回归结果；
根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；
在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。
上述算法模型运行监控方法、装置、计算机设备和存储介质，是获取算法模型在当前统计周期内的特征标签和回归结果，根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值，在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。本发明实施例方案，便于用户能够及时发现算法模型的执行异常情况，可以在输出第一告警提示信息确定是否对算法模型进行更新维护，可以提升避免算法模型更新的盲目性，以保证算法模型的性能，从而确保业务不会因为算法模型的低性能而受到影响。
附图说明
图1为一个实施例中算法模型运行监控方法的应用环境图；
图2为一个实施例中算法模型运行监控方法的流程示意图；
图3为另一个实施例中算法模型运行监控方法的流程示意图；
图4为再一个实施例中算法模型运行监控方法的流程示意图；
图5为一个实施例中当前性能指标确定步骤的流程示意图；
图6为一个系统中的算法模型运行监控系统的系统架构图；
图7为又一个实施例中算法模型运行监控方法的流程示意图；
图8为一个实施例中算法模型运行监控装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的算法模型运行监控方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种算法模型运行监控方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取算法模型在当前统计周期内的特征标签和回归结果；
这里，算法模型一般是指分类模型，例如，可以是网络风险分析算法模型或者交易风险分析算法模型，也可以是图像分析算法模型(例如，图像分类模型)或者语音分析算法模型(例如，语音分类模型)。
这里，特征标签指样本分类的真实值,例如，算法模型的功能是预测某个样本是否为黄牛，样本分类的真实值即为1(该样本实际为黄牛)或0(该样本实际不为黄牛)。
这里，回归结果指通过回归算法预测样本为某一分类类别的概率值，例如，算法模型的功能是预测某个样本是否为黄牛，该概率值越大，表明该样本为黄牛的概率越大。
其中，统计周期的长短可以根据实际需要选定，例如，可以一天作为一个统计周期。
具体地，服务器可以根据预设的定时任务获取算法模型在当前统计周期内的特征标签和回归结果。该定时任务的执行时段可以根据实际情况选取。
步骤204，根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；
这里，性能指标可以包括混淆矩阵、ROC值、KS值PR值等中的一个或者多个指标。其中，ROC值指ROC曲线(receiver operating characteristic curve，受试者工作特征曲线)下的面积值。KS值指K-S曲线的最高点(最大值)，K-S曲线是正样本洛伦兹曲线与负样本洛伦兹曲线的差值曲线，PR值指查全率与查准率。
具体地，服务器可以根据特征标签和回归结果确定算法模型在当前统计周期内的性能指标值，即当前性能指标。
步骤206，在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。
这里，告警条件可以根据实际情况设定，例如，该告警条件可以是当前性能指标值小于预设阈值。输出第一告警提示信息的方式可以根据实际需要设定，例如，邮件、短信或者电话。
这里，第一告警提示信息可以包括第一告警内容，第一告警内容可以包括但不限于包括算法模型的标识信息、告警原因以及告警时段等信息。
具体地，服务器可以在当前性能指标值满足算法模型的预设的告警条件时，获取算法模型的标识信息、告警原因以及告警时段等信息，将获取到的算法模型的标识信息、告警原因以及告警时段等信息插入预设的第一告警提示信息模板中，得到第一告警提示信息，向终端发送该第一告警提示信息。
上述算法模型运行监控方法中，是获取算法模型在当前统计周期内的特征标签和回归结果，根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值，在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。采用本实施例的方案，可以实时、自动度量算法模型的性能及监控算法模型的执行异常，可以将算法工程师从繁琐的模型维护、异常监控等工作中解放出来，专注于算法模型开发，可以节省人力资源(将算法工程师的工作内容由模型开发、模型性能度量、模型更新维护和异常监控简化为了模型开发)。同时，可以尽量避免因盲目地定期更新导致的在某些时间节点，算法性能已经下降到不能满足业务的需求的情况的发生，保证了算法模型的性能，从而确保业务不会因为算法模型的低性能而受到影响。
在其中一个实施例中，如图3所示，提供了一种算法模型运行监控方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤302，获取算法模型在当前统计周期内的特征标签和回归结果；
步骤304，获取当前执行结果异常数量，当前执行结果异常数量为算法模型在当前统计周期内的执行结果异常数量；
其中，执行结果异常是指算法模型运行时的输出结果为空或者负数，或者其他的表征算法模型的输出结果存在异常的情况，例如，算法模型运行时的正常输出结果为1或者0，则输出结果为非1且非0时，则为执行结果异常。执行结果异常数量是指算法模型运行时的输出结果存在异常的数目(或者称为次数)。
步骤306，根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；
步骤308，在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息；
步骤310，在当前执行结果异常数量超过算法模型的预设的数量阈值时，输出第二告警提示信息。
其中，第二告警提示信息可以包括第二告警内容，第二告警内容可以包括但不限于包括算法模型的标识信息、告警原因以及告警时段等信息。同时，第二告警内容可以与第一告警内容相同，也可以不同，且第二告警提示信息的输出方式，可以与第一告警提示信息的输出方式相同，也可以不同。
具体地，服务器可以在当前执行结果异常数量超过算法模型的预设的数量阈值时，向终端发送第二告警提示信息。
需要说明的是，本实施例中的步骤302、步骤306和步骤308的描述可以对应参照上述的步骤202、步骤204和步骤206，同时，步骤302和步骤304也可以不采用上述先后顺序执行，也可以同时执行，同理，步骤308和步骤310，也可以不采用上述先后顺序执行，也可以同时执行。
本实施例方案中，不但通过算法模型的性能指标对算法模型运行情况进行监控，还通过算法模型的执行结果异常数量对算法模型运行情况进行监控，可以便于用户(例如管理员)能够及时发现算法模型的运行异常情况，且能够避免算法模型更新的盲目性。
考虑到，在性能指标值不满足要求时往往是由于算法模型的性能不满足要求所导致的，在执行结果异常数量不满足要求时往往是由于系统性能不满足要求所导致的。因此，在其中一个实施例中，第一告警提示信息可以是用于提示用户进行算法模型的重新训练部署，第二告警信息可以是用于提示用户进行系统调试维护，如此，可以进一步避免算法模型更新的盲目性。
在其中一个实施例中，如图4所示，提供了一种算法模型运行监控方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤402，获取算法模型在当前统计周期内的特征标签和回归结果；
步骤404，获取当前执行结果异常数量，当前执行结果异常数量为算法模型在当前统计周期内的执行结果异常数量；
步骤406，根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；
步骤408，保存当前性能指标和当前执行结果异常数量；
其中，在每个统计周期内执行保存当前性能指标和当前执行结果异常数量的步骤，相当于保存了算法模型在各个统计周期内的性能指标值和执行结果异常数量。
步骤410，在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息；
步骤412，在当前执行结果异常数量超过算法模型的预设的数量阈值时，输出第二告警提示信息；
步骤414，接收终端发送的数据查看请求，数据查看请求携带有待查看周期信息；
这里，待查看周期信息表征需要查看的性能指标值或者/和执行结果异常数量的周期。例如，近三天或者近五天。
具体地，用户可以在预设的度量分析界面设定待查看周期信息，触发度量分析界面上的数据查看控件，终端发送数据查看请求，该数据查看请求携带有待查看周期信息，服务器接收该数据查看请求。
步骤416，根据待查看周期信息向终端返回与待查看周期信息对应的统计周期内的性能指标值或者/和执行结果异常数量。
用户可以查看返回的性能指标值或者/和执行结果异常数量，决定是否采用算法模型重新训练部署、系统调试维护等等措施。
需要说明的是，本实施例中的步骤402、步骤404、步骤406、步骤410和步骤412的描述可以对应参照上述的步骤302、步骤304、步骤306、步骤308和步骤310，同时，步骤402和步骤404也可以不采用上述先后顺序执行，也可以同时执行，同理，步骤410和步骤412，也可以不采用上述先后顺序执行，也可以同时执行。
采用本实施例的方案，由于保存了算法模型在各个统计周期内的性能指标值和执行结果异常数量，如此，用户不但可以查看算法模型在当前统计周期内的性能指标值和执行结果异常数量，还可以查看其他统计周期内的性能指标值和执行结果异常数量，有利于用户结合近几个周期的性能指标值和执行结果异常数量进行综合分析。
此外，也可以设定保存性能指标值和执行结果异常数量的周期数目，例如，保存7个周期的性能指标值和执行结果异常数量，则距离当前周期超过7个周期的性能指标值和执行结果异常数量，可以定期删除，以节约存储空间。
在其中一个实施例中，如图5所示，上述的根据特征标签和回归结果确定当前性能指标的步骤，可以包括如下步骤：
步骤502，根据特征标签和回归结果，确定算法模型在当前统计周期内的真正例数目、假正例数目、真反例数目和假反例数目；
其中，对于二分类问题，可以将样例根据其真实类别(特征标签确定的类别)与算法模型的预测类别(回归结果确定的类别)的组合划分为真正例(true positive)、假正例(false positive)、真反例(true negative)、假反例(false negative)四种情形，令TP、FP、TN、FN分别表示其对应的样例数，则显然有TP+FP+TN+FN＝样例总数，分类结果的“混淆矩阵”如表1所示
表1分类结果混淆矩阵
这里，真正例数目是指真实类别为正且预测类别也为正的样例数，假正例数目是指真实类别为反且预测类别为正的样例数，真反例数目是指真实类别为反且预测类别也为反的样例数，假反例数目是指真实类别为正且预测类别为反的样例数。
步骤504，根据真正例数目、假正例数目、真反例数目和假反例数，确定算法模型在当前统计周期内的查准率、查全率、ROC曲线和K-S曲线；
具体地，可以根据如下的公式(1)计算查准率，根据如下的公式(2)计算查全率，
式中，TP、FP、TN和FN分别表示真正例数目、假正例数目、真反例数目和假反例数目，P和R分别表示查准率和查全率。
具体地，可以根据算法模型的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出两个重要量的值，这两个重要量是指真正例率和假正例率，分别以它们为横、纵坐标作图，就得到了“ROC曲线”。ROC曲线的纵轴是“真正例率”(TruePositive Rate，简称TPR)，横轴是“假正例率”(False Positive Rate，简称FPR),可以根据如下的公式(3)计算查准率，根据如下的公式(4)计算假正例率，
式中，TPR和FPR分别表示真正例率和假正例率。
其中，K-S曲线是正样本洛伦兹曲线与负样本洛伦兹曲线的差值曲线。K-S曲线的最高点(最大值)定义为KS值，KS值越大，模型的区分度越好。
步骤506，根据查准率和查全率，确定算法模型在当前统计周期内的第一度量参数值；
具体地，可以根据如下的公式(5)计算第一度量参数值，
式中，F1表示第一度量参数值。
步骤508，根据ROC曲线计算ROC曲线所覆盖的区域面积值，将区域面积值作为算法模型在当前统计周期内的第二度量参数值；
这里，第二度量参数值指AUC(Area Under roc Curve)值，即ROC曲线与x轴(坐标轴的命名不受限定)围成的区域的面积值。AUC值是一种用来度量分类模型好坏的一个标准，AUC越大值,分类模型分类效果越好。
步骤510，将K-S曲线的最大值，确定为算法模型在当前统计周期内的第三度量参数值，其中，当前性能指标值包括第一度量参数值、第二度量参数值和第三度量参数值中一个或者多个。
这里，第三度量参数值一般是指KS值，即两条曲线间的最大间隔距离。
在其中一个实施例中，上述的在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息，包括：在第一度量参数值小于预设的算法模型的第一参数阈值时，或者在第二度量参数值小于预设的算法模型的第二参数阈值时，或者在第三度量参数值小于预设的算法模型的第三参数阈值时，输出第一告警提示信息。
其中，第一参数阈值、第二参数阈值和第三参数阈值的大小可以根据实际情况设定。不同的算法模型的第一参数阈值、第二参数阈值和第三参数阈值也可以是分别相同的，但为了提升针对性，不同的算法模型的第一参数阈值、第二参数阈值和第三参数阈值也可以是分别不同的。
本实施例中，在第一度量参数值小于预设的算法模型的第一参数阈值、第二度量参数值小于预设的算法模型的第二参数阈值、以及第三度量参数值小于预设的算法模型的第三参数阈值这三个参量中的任意一个满足要求时，都会输出第一告警提示信息，可以提升告警提示的及时性。
在其中一个实施例中，上述的第一告警提示信息包括第一告警内容和数据查看链接，或者第二告警提示信息包括第二告警内容和数据查看链接，数据查看链接被触发时，链接到预设的度量分析界面。
这里，数据查看链接可以是URL((Uniform Resource Locator，统一资源定位符)，也可以是二维码。
其中，度量分析界面为人机交互界面，通过该度量分析界面用户可以选择查看算法模型的若干个统计周期内的性能指标值或者/和执行结果异常数量。
采用本实施例的方案，用户可以通过该数据查看链接直接进入度量分析界面，方便快捷。
在其中一个实施例中，上述的获取算法模型在当前统计周期内的特征标签和回归结果的步骤，可以包括步骤：在当前统计周期内，分批次获取算法模型的原始数据集；分别筛选各批次的原始数据集中的带真实标记和预测结果的数据，将各批次筛选出的数据的集合作为算法模型在当前统计周期内的特征标签和回归结果。
这里，原始数据中包括带预测结果但不带真实标记的数据和带真实标记和预测结果的数据。这里，真实标记指样本分类的真实值。其中，不同批次的数据获取与筛选，可以采用不同的进程。
本实施例中，分批次的获取原始数据集并筛选原始数据集中的带真实标记和预测结果的数据，可以避免因一次性获取或者筛选大量数据导致获取失败或者筛选失败的情况。
为了便于理解本发明的方案，以下通过一个具体实施例进行说明。如图6所示，本实施例中的服务器是以包括后台管理系统、度量结果数据库、度量系统、预警系统和源数据库为例，但服务器的组成不限于此。其中，后台管理系统、度量结果数据库、度量系统、预警系统和源数据库可以分别用独立的服务器或者是多个服务器组成的服务器集群来实现。此外，本具体实施例中是以终端和服务器的各组成之间的交互过程为例进行说明，这并不能构成对本发明方案的限定。
其中，后台管理系统是指用来管理算法的系统，可以包括算法模型管理、特征指标管理等，该系统可用于通过前台页面(例如，上述的度量分析界面)查询显示度量系统的计算结果，设置告警系统的被通知人，设置算法模型度量指标(例如，上述的第一度量参数值、第二度量参数值和第三度量参数值)的告警阈值等。
源数据库是指存储有算法模型预测结果及真实标记的数据集的数据库，为度量系统提供性能分析的数据源。
度量结果数据库是指存储度量系统分析结果的数据库，包括各算法模型的性能指标及度量分析的异常结果统计等。
预警系统是指可以根据请求，为特定用户提供告警服务的系统。可设置被通知人、通知方式(短信或邮件等方式)、通知内容等。
度量系统是指可以对算法模型进行性能度量和异常监控，并能够根据用户所设置的阈值调用告警系统的服务进行告警的系统。
如图7所示，提供一种算法模型运行监控方法，包括以下步骤：
步骤702，终端登陆后台管理系统，检测用户在前台页面对配置信息的编辑，其中，用户在前台页面对配置信息的编辑包括添加/删除需要性能度量及异常监控的算法模型、设置各算法模型度量指标的告警阈值以及调用预警系统的相关服务。
其中，调用预警系统的相关服务用于添加/删除被通知人、修改被通知人信息、选择通知方式等。
步骤704，度量系统执行定时任务，从源数据库读取数据集，进行性能度量及异常统计，输出结果到度量结果数据库。
其中，任务执行的频率可根据需求设置，默认以天为单位。
其中，度量结果可以包括上述的第一度量参数值、第二度量参数值、第三度量参数值以及上述的执行结果异常数量。
步骤706，度量系统执行定时任务，从度量结果数据库中读取度量结果，并与用户设置的告警阈值进行比较，若度量结果满足告警条件，则调用预警系统的告警服务，通知用户设置的被通知人。
其中，度量结果满足告警条件包括第一度量参数值小于预设的算法模型的第一参数阈值、第二度量参数值小于预设的算法模型的第二参数阈值、第三度量参数值小于预设的算法模型的第三参数阈值或者执行结果异常数量大于预设的数量阈值。
这里，通知用户设置的被通知人指发送告警信息给被通知人的终端。
步骤708，终端登陆后台管理系统，接收到度量分析前台页面的显示触发指令，显示度量分析前台页面，向度量系统发送数据查看请求，度量系统向终端返回相关性能指标的具体数值及相关度量曲线，执行结果异常数量。
这里，相关性能指标可以包括上述的第一度量参数值、第二度量参数值和第三度量参数值。
具体地，被通知人收到预警，通过终端设备登陆后台管理系统，点击度量分析前台页面，调用度量系统服务，查询度量指标的具体数值及相关度量曲线，运行结果异常的数量等。被通知人分析所查询到的算法模型的详细度量及监控结果，决定是否采取算法模型重新训练部署、系统调试维护等措施。
其中，可以在第一度量参数值小于预设的算法模型的第一参数阈值、第二度量参数值小于预设的算法模型的第二参数阈值以及第三度量参数值小于预设的算法模型的第三参数阈值这三个条件中的一个或者多个满足时，进行算法模型的重新训练部署，在执行结果异常数量大于预设的数量阈值时，进行系统的调试维护。
应该理解的是，虽然图2-5和图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5和图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种算法模型运行监控装置，包括：获取模块802、处理模块804和告警模块806，其中：
获取模块802，用于获取算法模型在当前统计周期内的特征标签和回归结果；
处理模块804，用于根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；
告警模块806，用于在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。
在其中一个实施例中，获取模块802还用于获取当前执行结果异常数量，当前执行结果异常数量为算法模型在当前统计周期内的执行结果异常数量；告警模块806还用于在当前执行结果异常数量超过算法模型的预设的数量阈值时，输出第二告警提示信息。
在其中一个实施例中，上述的装置还包括存储模块和交互模块，存储模块用于保存算法模型在各个统计周期内的性能指标值和执行结果异常数量，交互模块用于接收终端发送的数据查看请求，数据查看请求携带有待查看周期信息，根据待查看周期信息向终端返回与待查看周期信息对应的统计周期内的性能指标值或者/和执行结果异常数量。
在其中一个实施例中，处理模块804根据特征标签和回归结果，确定算法模型在当前统计周期内的真正例数目、假正例数目、真反例数目和假反例数目，根据真正例数目、假正例数目、真反例数目和假反例数，确定算法模型在当前统计周期内的查准率、查全率、ROC曲线和K-S曲线，根据查准率和查全率，确定算法模型在当前统计周期内的第一度量参数值，根据ROC曲线计算ROC曲线所覆盖的区域面积值，将区域面积值作为算法模型在当前统计周期内的第二度量参数值，将K-S曲线的最大值，确定为算法模型在当前统计周期内的第三度量参数值，当前性能指标值包括第一度量参数值、第二度量参数值和第三度量参数值中一个或者多个。
在其中一个实施例中，告警模块806可以在第一度量参数值小于预设的算法模型的第一参数阈值时，或者在第二度量参数值小于预设的算法模型的第二参数阈值时，或者在第三度量参数值小于预设的算法模型的第三参数阈值时，输出第一告警提示信息。
在其中一个实施例中，上述的第一告警提示信息包括第一告警内容和数据查看链接，或者第二告警提示信息包括第二告警内容和数据查看链接，数据查看链接被触发时，链接到预设的度量分析界面。
在其中一个实施例中，获取模块802可以在当前统计周期内，分批次获取算法模型的原始数据集，分别筛选各批次的原始数据集中的带真实标记和预测结果的数据，将各批次筛选出的数据的集合作为算法模型在当前统计周期内的特征标签和回归结果。
关于算法模型运行监控装置的具体限定可以参见上文中对于算法模型运行监控方法的限定，在此不再赘述。上述算法模型运行监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储度量结果数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种算法模型运行监控方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取算法模型在当前统计周期内的特征标签和回归结果；
根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；
在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取当前执行结果异常数量，当前执行结果异常数量为算法模型在当前统计周期内的执行结果异常数量；
在当前执行结果异常数量超过算法模型的预设的数量阈值时，输出第二告警提示信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
保存算法模型在各个统计周期内的性能指标值和执行结果异常数量；
接收终端发送的数据查看请求，数据查看请求携带有待查看周期信息；
根据待查看周期信息向终端返回与待查看周期信息对应的统计周期内的性能指标值或者/和执行结果异常数量。
在其中一个实施例中，处理器执行计算机程序实现上述的根据特征标签和回归结果确定当前性能指标的步骤时，具体实现以下步骤：
根据特征标签和回归结果，确定算法模型在当前统计周期内的真正例数目、假正例数目、真反例数目和假反例数目；
根据真正例数目、假正例数目、真反例数目和假反例数，确定算法模型在当前统计周期内的查准率、查全率、ROC曲线和K-S曲线；
根据查准率和查全率，确定算法模型在当前统计周期内的第一度量参数值；
根据ROC曲线计算ROC曲线所覆盖的区域面积值，将区域面积值作为算法模型在当前统计周期内的第二度量参数值；
将K-S曲线的最大值，确定为算法模型在当前统计周期内的第三度量参数值；
当前性能指标值包括第一度量参数值、第二度量参数值和第三度量参数值中一个或者多个。
在其中一个实施例中，处理器执行计算机程序实现上述的在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息的步骤时，具体实现以下步骤：
在第一度量参数值小于预设的算法模型的第一参数阈值时，或者在第二度量参数值小于预设的算法模型的第二参数阈值时，或者在第三度量参数值小于预设的算法模型的第三参数阈值时，输出第一告警提示信息。
在其中一个实施例中，上述的第一告警提示信息包括第一告警内容和数据查看链接，或者第二告警提示信息包括第二告警内容和数据查看链接，数据查看链接被触发时，链接到预设的度量分析界面。
在其中一个实施例中，处理器执行计算机程序实现上述的获取算法模型在当前统计周期内的特征标签和回归结果的步骤时，具体实现以下步骤：
在当前统计周期内，分批次获取算法模型的原始数据集；
分别筛选各批次的原始数据集中的带真实标记和预测结果的数据，将各批次筛选出的数据的集合作为算法模型在当前统计周期内的特征标签和回归结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取算法模型在当前统计周期内的特征标签和回归结果；
根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；
在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取当前执行结果异常数量，当前执行结果异常数量为算法模型在当前统计周期内的执行结果异常数量；
在当前执行结果异常数量超过算法模型的预设的数量阈值时，输出第二告警提示信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
保存算法模型在各个统计周期内的性能指标值和执行结果异常数量；
接收终端发送的数据查看请求，数据查看请求携带有待查看周期信息；
根据待查看周期信息向终端返回与待查看周期信息对应的统计周期内的性能指标值或者/和执行结果异常数量。
在其中一个实施例中，计算机程序被处理器执行实现上述的根据特征标签和回归结果确定当前性能指标的步骤时，具体实现以下步骤：
根据特征标签和回归结果，确定算法模型在当前统计周期内的真正例数目、假正例数目、真反例数目和假反例数目；
根据真正例数目、假正例数目、真反例数目和假反例数，确定算法模型在当前统计周期内的查准率、查全率、ROC曲线和K-S曲线；
根据查准率和查全率，确定算法模型在当前统计周期内的第一度量参数值；
根据ROC曲线计算ROC曲线所覆盖的区域面积值，将区域面积值作为算法模型在当前统计周期内的第二度量参数值；
将K-S曲线的最大值，确定为算法模型在当前统计周期内的第三度量参数值；
当前性能指标值包括第一度量参数值、第二度量参数值和第三度量参数值中一个或者多个。
在其中一个实施例中，计算机程序被处理器执行实现上述的在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息的步骤时，具体实现以下步骤：
在第一度量参数值小于预设的算法模型的第一参数阈值时，或者在第二度量参数值小于预设的算法模型的第二参数阈值时，或者在第三度量参数值小于预设的算法模型的第三参数阈值时，输出第一告警提示信息。
在其中一个实施例中，上述的第一告警提示信息包括第一告警内容和数据查看链接，或者第二告警提示信息包括第二告警内容和数据查看链接，数据查看链接被触发时，链接到预设的度量分析界面。
在其中一个实施例中，计算机程序被处理器执行实现上述的获取算法模型在当前统计周期内的特征标签和回归结果的步骤时，具体实现以下步骤：
在当前统计周期内，分批次获取算法模型的原始数据集；
分别筛选各批次的原始数据集中的带真实标记和预测结果的数据，将各批次筛选出的数据的集合作为算法模型在当前统计周期内的特征标签和回归结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种算法模型运行监控方法，所述方法包括：
获取算法模型在当前统计周期内的特征标签和回归结果；
根据所述特征标签和所述回归结果确定当前性能指标，所述当前性能指标为所述算法模型在所述当前统计周期内的性能指标值；
在所述当前性能指标值满足所述算法模型的预设的告警条件时，输出第一告警提示信息；
获取当前执行结果异常数量，所述当前执行结果异常数量为所述算法模型在所述当前统计周期内的执行结果异常数量，其中，执行结果异常包括所述算法模型运行时的输出结果为空或者负数的情况；
在所述当前执行结果异常数量超过所述算法模型的预设的数量阈值时，输出第二告警提示信息；
其中，所述第一告警提示信息用于提示用户进行算法模型的重新训练部署，所述第二告警信息可以是用于提示用户进行系统调试维护；
所述获取算法模型在当前统计周期内的特征标签和回归结果，包括：在所述当前统计周期内，分批次获取所述算法模型的原始数据集；分别筛选各批次的原始数据集中的带真实标记和预测结果的数据，将各批次筛选出的数据的集合作为所述算法模型在当前统计周期内的特征标签和回归结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
保存所述算法模型在各个统计周期内的性能指标值和执行结果异常数量；
接收终端发送的数据查看请求，所述数据查看请求携带有待查看周期信息；
根据所述待查看周期信息向所述终端返回与所述待查看周期信息对应的统计周期内的性能指标值或者/和执行结果异常数量。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述特征标签和所述回归结果确定当前性能指标，包括：
根据所述特征标签和所述回归结果，确定所述算法模型在所述当前统计周期内的真正例数目、假正例数目、真反例数目和假反例数目；
根据所述真正例数目、所述假正例数目、所述真反例数目和所述假反例数，确定所述算法模型在所述当前统计周期内的查准率、查全率、ROC曲线和K-S曲线；
根据所述查准率和所述查全率，确定所述算法模型在所述当前统计周期内的第一度量参数值；
根据所述ROC曲线计算所述ROC曲线所覆盖的区域面积值，将所述区域面积值作为所述算法模型在所述当前统计周期内的第二度量参数值；
将所述K-S曲线的最大值，确定为所述算法模型在所述当前统计周期内的第三度量参数值；
其中，所述当前性能指标值包括所述第一度量参数值、所述第二度量参数值和所述第三度量参数值中一个或者多个。
4.根据权利要求3所述的方法，其特征在于，所述在所述当前性能指标值满足所述算法模型的预设的告警条件时，输出第一告警提示信息，包括：
在所述第一度量参数值小于所述算法模型的预设的第一参数阈值时，或者在所述第二度量参数值小于所述算法模型的预设的第二参数阈值时，或者在所述第三度量参数值小于所述算法模型的预设的第三参数阈值时，输出第一告警提示信息。
5.根据权利要求1所述的方法，其特征在于，所述第一告警提示信息包括第一告警内容和数据查看链接，或者所述第二告警提示信息包括第二告警内容和数据查看链接，所述数据查看链接被触发时，链接到预设的度量分析界面。
6.一种算法模型运行监控装置，其特征在于，所述装置包括：
获取模块，用于包括在当前统计周期内，分批次获取算法模型的原始数据集，分别筛选各批次的原始数据集中的带真实标记和预测结果的数据，将各批次筛选出的数据的集合作为所述算法模型在当前统计周期内的特征标签和回归结果；
处理模块，用于根据所述特征标签和所述回归结果确定当前性能指标，所述当前性能指标为所述算法模型在所述当前统计周期内的性能指标值；
告警模块，用于在所述当前性能指标值满足所述算法模型的预设的告警条件时，输出第一告警提示信息；
所述获取模块还用于获取当前执行结果异常数量，所述当前执行结果异常数量为所述算法模型在所述当前统计周期内的执行结果异常数量，其中，执行结果异常包括所述算法模型运行时的输出结果为空或者负数的情况；
所述告警模块还用于在所述当前执行结果异常数量超过所述算法模型的预设的数量阈值时，输出第二告警提示信息；
其中，所述第一告警提示信息用于提示用户进行算法模型的重新训练部署，所述第二告警信息可以是用于提示用户进行系统调试维护。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
存储模块，用于保存所述算法模型在各个统计周期内的性能指标值和执行结果异常数量；
交互模块，用于接收终端发送的数据查看请求，所述数据查看请求携带有待查看周期信息，根据所述待查看周期信息向所述终端返回与所述待查看周期信息对应的统计周期内的性能指标值或者/和执行结果异常数量。
8.根据权利要求6或7所述的装置，其特征在于，所述处理模块根据所述特征标签和所述回归结果，确定所述算法模型在所述当前统计周期内的真正例数目、假正例数目、真反例数目和假反例数目，根据所述真正例数目、所述假正例数目、所述真反例数目和所述假反例数，确定所述算法模型在所述当前统计周期内的查准率、查全率、ROC曲线和K-S曲线，根据所述查准率和所述查全率，确定所述算法模型在所述当前统计周期内的第一度量参数值，根据所述ROC曲线计算所述ROC曲线所覆盖的区域面积值，将所述区域面积值作为所述算法模型在所述当前统计周期内的第二度量参数值，将所述K-S曲线的最大值，确定为所述算法模型在所述当前统计周期内的第三度量参数值；
其中，所述当前性能指标值包括所述第一度量参数值、所述第二度量参数值和所述第三度量参数值中一个或者多个。
9.根据权利要求8所述的装置，其特征在于，所述告警模块在所述第一度量参数值小于所述算法模型的预设的第一参数阈值时，或者在所述第二度量参数值小于所述算法模型的预设的第二参数阈值时，或者在所述第三度量参数值小于所述算法模型的预设的第三参数阈值时，输出第一告警提示信息。
10.根据权利要求6所述的装置，其特征在于，所述第一告警提示信息包括第一告警内容和数据查看链接，或者所述第二告警提示信息包括第二告警内容和数据查看链接，所述数据查看链接被触发时，链接到预设的度量分析界面。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910398114.9A CN110262939B (zh) | 2019-05-14 | 2019-05-14 | 算法模型运行监控方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910398114.9A CN110262939B (zh) | 2019-05-14 | 2019-05-14 | 算法模型运行监控方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110262939A CN110262939A (zh) | 2019-09-20 |
| CN110262939B true CN110262939B (zh) | 2023-07-21 |
Family
ID=67914679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910398114.9A Active CN110262939B (zh) | 2019-05-14 | 2019-05-14 | 算法模型运行监控方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110262939B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866328A (zh) * | 2019-10-12 | 2020-03-06 | 中国平安财产保险股份有限公司 | 数据模型的替换方法、装置、计算机设备及存储介质 |
| CN110852602A (zh) * | 2019-11-07 | 2020-02-28 | 北京集奥聚合科技有限公司 | 基于机器学习的数据监控方法及装置 |
| CN110928859A (zh) * | 2019-11-26 | 2020-03-27 | 太平金融科技服务（上海）有限公司 | 模型监控方法、装置、计算机设备和存储介质 |
| CN111144738A (zh) * | 2019-12-24 | 2020-05-12 | 太平金融科技服务（上海）有限公司 | 信息处理方法、装置、计算机设备和存储介质 |
| CN111367640B (zh) * | 2020-03-06 | 2023-08-15 | 咪咕文化科技有限公司 | 数据统计周期确定方法、装置、电子设备及存储介质 |
| CN111581045B (zh) * | 2020-03-18 | 2024-05-28 | 平安科技（深圳）有限公司 | 数据库异常监测方法、装置、计算机装置及存储介质 |
| CN111652379B (zh) * | 2020-05-29 | 2024-04-16 | 京东城市(北京)数字科技有限公司 | 模型管理方法、装置、电子设备及存储介质 |
| CN112306808B (zh) * | 2020-11-03 | 2022-08-16 | 平安科技（深圳）有限公司 | 性能监测评价方法、装置、计算机设备及可读存储介质 |
| CN114911492B (zh) * | 2022-05-17 | 2024-03-08 | 北京百度网讯科技有限公司 | 推理服务部署方法、装置、设备以及存储介质 |
| CN118193003A (zh) * | 2022-12-13 | 2024-06-14 | 展讯通信（上海）有限公司 | 模型更新方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104902265A (zh) * | 2015-05-22 | 2015-09-09 | 深圳市赛为智能股份有限公司 | 一种基于背景边缘模型的摄像机异常检测方法及系统 |
| WO2015196821A1 (zh) * | 2014-06-27 | 2015-12-30 | 中兴通讯股份有限公司 | WebSocket服务器监控方法及装置 |
| WO2016033897A1 (zh) * | 2014-09-02 | 2016-03-10 | 百度在线网络技术（北京）有限公司 | 一种网络链路监控方法和设备以及网络系统和存储介质 |
| JP2017120467A (ja) * | 2015-12-28 | 2017-07-06 | ルネサスエレクトロニクス株式会社 | 情報処理装置 |
| CN109032829A (zh) * | 2018-07-23 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 数据异常检测方法、装置、计算机设备及存储介质 |
| CN109086683A (zh) * | 2018-07-11 | 2018-12-25 | 清华大学 | 一种基于点云语义增强的人手姿态回归方法和系统 |
| CN109213667A (zh) * | 2018-09-17 | 2019-01-15 | 广东小天才科技有限公司 | 一种Android系统的异常处理方法及电子设备 |
| CN109242135A (zh) * | 2018-07-16 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 一种模型运营方法、装置、及业务服务器 |
| CN109660502A (zh) * | 2018-09-28 | 2019-04-19 | 平安科技（深圳）有限公司 | 异常行为的检测方法、装置、设备及存储介质 |
| CN109840178A (zh) * | 2017-11-28 | 2019-06-04 | 合肥杰发科技有限公司 | 一种监测日志信息的方法、移动终端以及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102148701B (zh) * | 2011-01-14 | 2014-04-30 | 广东商学院 | 用于监控系统中监控指标的趋势分析方法及装置 |
| FR3043463B1 (fr) * | 2015-11-05 | 2017-12-22 | Snecma | Systeme et procede de surveillance d'une turbomachine avec fusion d'indicateurs pour la synthese d'une confirmation d'alarme |
| CN107203467A (zh) * | 2016-03-18 | 2017-09-26 | 阿里巴巴集团控股有限公司 | 一种分布式环境下监督学习算法的基准测试方法和装置 |
| US10340734B2 (en) * | 2016-08-22 | 2019-07-02 | Nec Corporation | Power generation systems with monitoring for anomaly detection via nonlinear relationship modeling |
| US10587635B2 (en) * | 2017-03-31 | 2020-03-10 | The Boeing Company | On-board networked anomaly detection (ONAD) modules |
| CN107944708A (zh) * | 2017-11-28 | 2018-04-20 | 深圳市牛鼎丰科技有限公司 | 借贷风险控制的模型筛选方法、装置和存储介质 |
| CN108090678B (zh) * | 2017-12-19 | 2022-08-02 | 马上消费金融股份有限公司 | 一种数据模型监控方法、系统、设备及计算机存储介质 |
| CN109446017A (zh) * | 2018-09-03 | 2019-03-08 | 平安科技（深圳）有限公司 | 一种告警算法生成方法、监控系统及终端设备 |
-
2019
- 2019-05-14 CN CN201910398114.9A patent/CN110262939B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015196821A1 (zh) * | 2014-06-27 | 2015-12-30 | 中兴通讯股份有限公司 | WebSocket服务器监控方法及装置 |
| WO2016033897A1 (zh) * | 2014-09-02 | 2016-03-10 | 百度在线网络技术（北京）有限公司 | 一种网络链路监控方法和设备以及网络系统和存储介质 |
| CN104902265A (zh) * | 2015-05-22 | 2015-09-09 | 深圳市赛为智能股份有限公司 | 一种基于背景边缘模型的摄像机异常检测方法及系统 |
| JP2017120467A (ja) * | 2015-12-28 | 2017-07-06 | ルネサスエレクトロニクス株式会社 | 情報処理装置 |
| CN109840178A (zh) * | 2017-11-28 | 2019-06-04 | 合肥杰发科技有限公司 | 一种监测日志信息的方法、移动终端以及装置 |
| CN109086683A (zh) * | 2018-07-11 | 2018-12-25 | 清华大学 | 一种基于点云语义增强的人手姿态回归方法和系统 |
| CN109242135A (zh) * | 2018-07-16 | 2019-01-18 | 阿里巴巴集团控股有限公司 | 一种模型运营方法、装置、及业务服务器 |
| CN109032829A (zh) * | 2018-07-23 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 数据异常检测方法、装置、计算机设备及存储介质 |
| CN109213667A (zh) * | 2018-09-17 | 2019-01-15 | 广东小天才科技有限公司 | 一种Android系统的异常处理方法及电子设备 |
| CN109660502A (zh) * | 2018-09-28 | 2019-04-19 | 平安科技（深圳）有限公司 | 异常行为的检测方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于DOCSIS预均衡技术主动式故障维护系统的试点和验证;李利;王建勋;许勇科;李明科;;有线电视技术(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110262939A (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110262939B (zh) | 算法模型运行监控方法、装置、计算机设备和存储介质 | |
| CN109639450B (zh) | 基于神经网络的故障告警方法、系统、计算机设备及介质 | |
| CN107766299B (zh) | 数据指标异常的监控方法及其系统、存储介质、电子设备 | |
| CN108768728B (zh) | 运维任务处理方法、装置、计算机设备和存储介质 | |
| US9921937B2 (en) | Behavior clustering analysis and alerting system for computer applications | |
| Jiang et al. | Efficient fault detection and diagnosis in complex software systems with information-theoretic monitoring | |
| CN111611137A (zh) | 告警监控方法、装置、计算机设备及存储介质 | |
| CN113518011B (zh) | 异常检测方法和装置、电子设备及计算机可读存储介质 | |
| US9870294B2 (en) | Visualization of behavior clustering of computer applications | |
| CN112231181A (zh) | 数据异常更新检测方法、装置、计算机设备及存储介质 | |
| CN112015647A (zh) | 配置项监控方法、装置、计算机设备和存储介质 | |
| CN112650656B (zh) | 性能监控方法、装置、设备、服务器及存储介质 | |
| JP2020064515A (ja) | 機器故障診断支援システムおよび機器故障診断支援方法 | |
| CN111143147A (zh) | 仪器自动调试方法、装置、计算机设备及可读存储介质 | |
| CN115237710A (zh) | 服务器温度预测方法、装置、计算机设备和存储介质 | |
| CN113419950A (zh) | Ui自动化脚本的生成方法、装置、计算机设备及存储介质 | |
| CN112231039A (zh) | 工单信息统计方法、装置、计算机设备和存储介质 | |
| CN113722177B (zh) | 时序指标异常检测方法、装置、系统、设备及存储介质 | |
| CN113254153B (zh) | 流程任务处理方法、装置、计算机设备和存储介质 | |
| CN110134680B (zh) | 空间监控方法、装置、计算机设备及存储介质 | |
| CN115225470B (zh) | 一种业务异常监测方法、装置、电子设备及存储介质 | |
| CN113824590B (zh) | 微服务网络的问题预测方法、计算机设备和存储介质 | |
| CN116010897A (zh) | 数据异常检测的方法、装置、电子设备及存储介质 | |
| CN110334905B (zh) | 项目故障显示方法、装置、计算机设备和存储介质 | |
| CN113672507A (zh) | 软件源代码检测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 200050 West, 2nd to 3rd Floor, 1st Floor, 999 Changning Road, Changning District, Shanghai Patentee after: Shanghai Star Map Financial Services Group Co.,Ltd. Address before: 200050 West, 2nd to 3rd Floor, 1st Floor, 999 Changning Road, Changning District, Shanghai Patentee before: Suning Financial Services (Shanghai) Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240621 Address after: The 7th, 8th, 9th, 27th, 28th, and 29th floors of Building 4, No. 248 Lushan Road, Jianye District, Nanjing City, Jiangsu Province, 210000, and the 1st and 2nd floors of the podium of Building 4 Patentee after: Jiangsu Sushang Bank Co.,Ltd. Country or region after: China Address before: 200050 West, 2nd to 3rd Floor, 1st Floor, 999 Changning Road, Changning District, Shanghai Patentee before: Shanghai Star Map Financial Services Group Co.,Ltd. Country or region before: China |