CN114356737A - 模型监测方法、设备、存储介质及计算机程序产品 - Google Patents
模型监测方法、设备、存储介质及计算机程序产品 Download PDFInfo
- Publication number
- CN114356737A CN114356737A CN202111677154.0A CN202111677154A CN114356737A CN 114356737 A CN114356737 A CN 114356737A CN 202111677154 A CN202111677154 A CN 202111677154A CN 114356737 A CN114356737 A CN 114356737A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- model
- service
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 294
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000004590 computer program Methods 0.000 title claims abstract description 12
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 230000002159 abnormal effect Effects 0.000 claims abstract description 106
- 238000011161 development Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012423 maintenance Methods 0.000 claims description 27
- 238000003062 neural network model Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000012384 transportation and delivery Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000013439 planning Methods 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 16
- 238000007726 management method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Abstract
本申请实施例提供一种模型监测方法、设备、存储介质及计算机程序产品，其中，监测方法包括：获得开发端提供的多个模型，并对模型数据进行监测，得到模型数据监测结果，所述模型数据包括：模型运行过程中的数据；获得服务端提供的所述多个模型所实现的多个服务场景，并服务数据进行监测，得到服务数据监测结果，所述服务数据包括：服务场景实现中的数据；对所述模型数据监测结果和所述服务数据监测结果分别进行评估，获得模型异常数据和服务异常数据；将所述模型异常数据发送至所述开发端，将所述服务异常数据发送至所述服务端，以使所述开发端和所述服务端分别根据所述模型异常数据和所述服务异常数据进行对应的处理。
Description
技术领域
本申请实施例涉及电子信息技术领域，尤其涉及一种模型监测方法、设备、存储介质及计算机程序产品。
背景技术
通常采用模型实现服务场景，为用户提供对应的服务。例如模型用于根据对现有的司乘取消率数据进行分析，从而对于新的司乘订单给出取消率的预估，从而用于实现网约车平台中的司乘分配，以提升订单的成交率。
但是模型在使用过程中随着时间推移，会产生模型退化、异常波动等问题。如果不对模型进行处理，其输出的效果会比较差。但是由于现有的对模型进行监测的方式效率低下且成本高昂，造成对模型异常等问题发现较为滞后，不能及时发现模型问题，影响模型输出效果。
发明内容
有鉴于此，本申请实施例提供一种模型监测方法、设备、存储介质及计算机程序产品，以至少部分解决上述问题。
根据本申请实施例的第一方面，提供了一种模型监测方法，应用于监测平台，所述方法包括：获得开发端提供的多个模型，并对模型数据进行监测，得到模型数据监测结果，所述模型数据包括：模型运行过程中的数据；获得服务端提供的所述多个模型所实现的多个服务场景，并服务数据进行监测，得到服务数据监测结果，所述服务数据包括：服务场景实现中的数据；对所述模型数据监测结果和所述服务数据监测结果分别进行评估，获得模型异常数据和服务异常数据；将所述模型异常数据发送至所述开发端，将所述服务异常数据发送至所述服务端，以使所述开发端和所述服务端分别根据所述模型异常数据和所述服务异常数据进行对应的处理。
根据本申请实施例的第二方面，提供了一种模型监测方法，应用于开发端，所述方法包括：提供多个模型；获得监测平台发送的所述多个模型的模型数据监测结果中的异常数据，所述模型数据监测结果为所述监测平台对所述多个模型的模型数据进行监测所得，所述模型数据包括：模型运行过程中的数据。
根据本申请实施例的第三方面，提供了一种模型监测方法，应用于服务端，所述方法包括：提供多个模型所实现的多个服务场景；获得监测平台发送的所述多个模型所实现的多个服务场景的服务数据监测结果中的异常数据，所述服务数据监测结果为所述监测平台对服务数据进行监测所得，所述服务数据包括：服务场景实现中的数据。
根据本申请实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行如第一方面的模型监测方法对应的操作。
根据本申请实施例的第五方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如第一方面的模型监测方法。
根据本申请实施例的第六方面，提供了一种计算机程序产品，该计算机程序产品被处理器执行时，实现如第一方面的模型监测方法。
本申请实施例提供的模型的监测方案，对模型数据进行监测，得到模型数据监测结果，模型数据包括：模型运行过程中的数据；对服务数据进行监测，得到服务数据监测结果，服务数据包括：服务场景实现中的数据；获得模型数据监测结果和服务数据监测结果，获得模型异常数据和服务异常数据；并分别将模型异常数据和服务异常数据发送至开发端和服务端进行对应的处理。本申请实施例通过对模型数据的监测可以关注到模型本身的质量，通过对服务数据进行监测，可以关注到模型所生成服务场景的效果，能够更加全面地对模型的运行状况进行监测，能够更加准确地判定模型是否异常，以便进行后续维护。本申请实施例能够实现对多个模型以及多个模型实现的多个服务场景进行监测，应用范围广且便于了解不同模型的运行效果。本申请实施例中开发端和服务端可以及时获得模型监控中模型异常数据和服务异常数据，能够及时对模型异常数据和服务异常数据进行处理。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种模型监测平台的系统示意图；
图2为本申请实施例提供的一种模型监测方法的流程图；
图3为本申请实施例提供的一种模型监测平台的示意图；
图4为本申请实施例提供的另一种模型监测平台的示意图；
图5为本申请实施例提供的再一种模型监测平台的示意图；
图6为本申请实施例提供的再一种模型监测平台的示意图；
图7为本申请实施例提供的一种电子设备的结构图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
本申请实施例提供一种模型监测方法，应用于电子设备，为了便于理解，对本申请实施例一所提供的模型监测方法的应用场景进行说明，参照图1所示，图1为本申请实施例一提供的一种模型监测方法的场景示意图，该模型监测方法应用于模型监测平台11，监测平台11对开发端12提供的多个模型进行监测，监测平台11对服务端利用多个模型实现的多个服务场景进行监测。图1所示的监测平台运行于电子设备101，电子设备101可以是执行本申请实施例一提供的模型监测方法的设备。
电子设备101可以是智能手机、平板电脑、笔记本电脑、车载终端等终端设备，电子设备101也可以是服务器等网络设备，当然，此处只是示例性说明，并不代表本申请局限于此。
电子设备101可以接入网络，通过网络与云端连接，并进行数据交互，或者，电子设备101可以是云端的设备。本申请中，网络包括局域网(英文：Local Area Network，LAN)、广域网(英文：Wide Area Network，WAN)、移动通信网络；如万维网(英文：World Wide Web，WWW)、长期演进(英文：Long Term Evolution，LTE)网络、2G网络(英文：2th GenerationMobile Network)、3G网络(英文：3th Generation Mobile Network)，5G网络(英文：5thGeneration Mobile Network)等。云端可以包括通过网络连接的各种设备，例如，服务器、中继设备、端到端(英文：Device-to-Device，D2D)设备等。当然，此处只是示例性说明，并不代表本申请局限于此。
结合图1所示的系统，详细说明本申请实施例一提供的模型的监测方法，需要说明的是，图1只是本申请实施例一提供的模型的监测方法的一种应用场景，并不代表该模型的监测方法必须应用于图1所示的应用场景。
参照图2及图3所示，图2为本申请实施例一提供的一种模型监测方法的流程图；图3为本申请实施例一提供的一种模型监测平台结构示意图。
步骤201、获得开发端提供的多个模型，并对模型数据进行监测，得到模型数据监测结果，所述模型数据包括：模型运行过程中的数据。
具体地，参见图3，开发端12提供多个模型，本申请实施例监测平台11通过模型中心111收集模型数据，模型数据包括对模型进行下述操作中至少其一所产生的数据：模型初始化、模型分类查询、模型效果监测、异常监测单元、模型管理所产生的数据。
其中，模型初始化用于对模型进行初始化，模型分类查询用于查询模型数据，模型效果监测用于对模型效果进行监测，异常监测用于对异常情况进行监测，模型管理用于对模型进行各类管理。
模型是神经网络模型为例，模型数据可以包括：在模型应用过程中输入的数据，也可以包括模型在训练过程中输入的训练样本，还可以包括模型在运行过程中产生的用于表示模型运行情况的数据等。
模型数据监测结果可以包括计算得到的监测参数等。
在本申请实施例另一些具体实现中，模型数据的监测包括：元数据监测、运维数据监测、指标数据监测，通过对模型数据进行多种维度的监测，可以更加全面的对模型进行监测，能够更及时地发现模型的异常。
步骤202、获得服务端提供的所述多个模型所实现的多个服务场景，并服务数据进行监测，得到服务数据监测结果。
服务数据包括：服务场景实现中的数据。
具体地，服务场景由服务端13提供，多个模型构建多个不同的服务场景。
本申请实施例通过场景中心112收集服务数据，服务数据包括模型实现服务场景过程中产生的数据，可包括：场景初始化、场景分类查询、场景效果监测、场景测试、异常监测、场景管理等。
其中，场景初始化用于对交易撮合业务场景进行初始化，场景分类查询用于查询场景数据，场景效果监测用于对场景效果进行监测，异常监测单元用于对异常情况进行监测，场景管理用于对场景进行各类管理。
服务数据监测结果可以包括计算得到的监测参数等。
本申请实施例通过对上述服务数据进行监测，从而全面获得模型在提供场景服务过程中是否存在异常，能够更加准确地实现模型的监测。
步骤203、对所述模型数据监测结果和所述服务数据监测结果分别进行评估，获得模型异常数据和服务异常数据。
本申请实施例模型中心111收集的模型数据以及服务中心112收集的服务数据发送至平台管理中心113进行管理。平台管理中心113基于模型数据监测结果和服务数据监测结果对模型进行评估，获得模型异常数据和服务异常数据。
具体地，确定模型数据的监测结果和服务数据的监测结果是否存在异常数据，异常数据包括：异常拐点、异常峰值、异常周期波动、异常点中的至少一项。
若模型数据的监测结果和服务数据的监测结果存在异常数据，则评估模型存在异常。
本申请实施例通过对模型数据的监测结果和服务数据的监测结果是否存在上述异常数据判断模型是否存在异常，能够更加全面准确地评价模型的异常情况。
步骤204、将所述模型异常数据发送至所述开发端，将所述服务异常数据发送至所述服务端，以使所述开发端和所述服务端分别根据所述模型异常数据和所述服务异常数据进行对应的处理。
参见图3，本申请实施例的开发端12和服务端13可以在监控平台11上实现对模型数据和服务数据的监控，本申请实施例联通了开发端12和服务端13，平台管理中心113将模型数据和服务数据融合匹配，分别将模型数据和服务数据中的异常数据通过接口中心114发送至开发端12和服务端13。
本申请实施例通过对模型数据的监测可以关注到模型本身的质量，通过对服务数据进行监测，可以关注到模型所生成服务场景的效果，能够更加全面地对模型的运行状况进行监测，能够更加准确地判定模型是否异常，以便进行后续维护。
本申请实施例能够实现对多个模型以及多个模型实现的多个服务场景进行监测，应用范围广且便于了解不同模型的运行效果。
本申请实施例中开发端和服务端可以及时获得模型监控中模型异常数据和服务异常数据，能够及时对模型异常数据和服务异常数据进行处理。
此处，参见图4，列举具体示例对神经网络模型，以及其实现的场景为广告投放，对其模型数据和服务数据监测进行说明。
对神经网络模型的元数据监测、运维数据监测以及指标数据进行监测。
可选地，对于神经网络模型进行的元数据监测可包括：训练集监测、缺失率监测、归一化监测、不平度监测、稳定性监测中的至少一项监测。
其中，训练集监测指的是模型是神经网络模型时，对神经网络模型训练过程中的训练样本进行监测得到训练集参数的过程，训练集参数表示训练集数据量大小；缺失率监测指的是对输入模型的数据中缺失的数据量进行监测得到缺失率参数的过程，缺失率参数表示缺失了多少数据，归一化监测指的是对输入模型的数据的归一化过程进行监测得到归一化参数的过程，归一化参数表示归一化效果；不平度监测指的是对输入模型的数据之间的差异性进行监测得到不平度参数的过程，不平度参数表示输入模型的数据之间差异性大小；稳定性监测指的是对模型是否能够稳定处理输入的数据进行监测得到稳定性参数的过程，稳定性参数用于表示模型处理输入的数据的稳定情况。
对于神经网络模型进行的运维数据监测，可包括：对输出数量集、模型运行时间、模型产出时间、输出结果的分布中的至少一项监测。
运维数据监测可以包括表示模型运行状态的监测参数，以及如何计算这些监测参数的算法。需要说明的是，表示模型运行状态的监测参数可以包括模型的输出数量级、模型运行时间、模型产出时间以及输出结果的分布中的至少一项。
对于神经网络模型进行的指标数据监测，为根据模型数据的种类，选择对应的指标进行指标数据监测并得到指标数据监测结果，模型包括：分类模型、数值预测模型和无监督模型。具体地，模型如果是分类模型，监测指标可以包括曲线下面积(Area Under Curve，AUC)、接受者操作特性(Receiver Operating Characteristic Curve，ROC)曲线、F测量、召回率、精度中的至少一项；模型如果是数值预测模型，监测指标可以包括均方根差(RootMean Square Error，RMSE)、决定系数(R-square，R2)、校正决定系数(Adjuseted R-square)、误差率、特征权重分布中的至少一项；模型如果是无监督模型，监测指标可以包括兰德指数(Rand Rndex，RI)、戴维森堡丁指数(Davies-Bouldin Index，DBI)、可信度、支持度中的至少一项。
广告投放服务场景下的服务数据的监测包括：计算转化率监测、单坑产值监测、单独立访客贡献监测中的至少一项。
示例性地，计算多个广告投放场景的转化率、单坑产值、单独立访客贡献中的至少一项，从而可以获知广告投放服务场景下的服务的情况。转化率表征广告投放的效果，单坑产值表征广告投放带来的成交量，单独立访客贡献表征广告投放带来的每单的独立IP访客贡献。
本申请实施例的实现，通过对训练集、缺失率、归一化、不平度监、稳定性中的至少一项的监测，能够获得神经网络模型的元数据中是否存在异常，通过对输出数量集、模型运行时间、模型产出时间、输出结果的分布中的至少一项的监测，能够获得神经网络模型的运维数据中是否存在异常，通过根据不同神经网络模型的指标进行监控，获得神经网络模型的指标数据中是否存在异常。本申请实施例能够针对神经网络模型进行多维度，全方面地模型数据监测。
本申请实施例采用计算转化率监测、单坑产值监测、单独立访客贡献监测中的至少一项对于神经网络模型实现的广告投放服务场景进行监测，可以获得广告投放服务场景下的服务数据的异常数据。
本申请实施例不仅可以实现对神经网络模型的模型数据的全面监测，也可以实现对神经网络模型实现的多个广告投放场景的全面监测，从而能够准确获知神经网络模型实现的广告投放效果，开发端和服务端均可以通过监测平台分别获得神经网络模型的模型数据中的异常数据和服务数据中的异常数据，能够及时对神经网络模型出现的问题进行处理，避免模型劣化所造成的影响。
此处，参见图5，列举具体示例对司乘取消率预估模型以及其实现场景为交易撮合服务场景的模型数据监测和服务数据监测进行说明。
对所述司乘取消率预估模型中的元数据进行监测，所述元数据包括：训练集、分组特征的大小、空值率、特征产出时间中至少其一。
对所述司乘取消率预估模型中的运维数据进行监测，所述运维数据包括：模型服务中的质量性能监控组件(QPM)、CPU性能、平均响应时间中至少其一。
根据所述司乘取消率预估模型确定对应的指标数据进行监测，所述指标数据包括：模型服务中的模型评估指标(auc)、模型风险区分能力(k)的趋势实时变化中至少其一。
交易撮合服务场景下的服务数据的监测包括：分别通过服务稳定性、发展趋势、当前服务问题的正面指标和负面指标，双向评价多个交易撮合服务场景中的服务稳定性、发展趋势和当前服务问题，所述正面指标包括：导航页面浏览量、规划页面浏览量、优良率、准确率、应答率、发单率、完单率、命中率中至少其一，所述负面指标包括：取消率、恶劣率、偏航率、路线覆盖率中至少其一。
本申请实施例的实现，通过对训练集、分组特征的大小、空值率、特征产出时间中至少其一的监测，能够获得司乘取消率预估模型的元数据中是否存在异常，通过对模型服务中的质量性能监控组件(QPM)、CPU性能、平均响应时间中至少其一的监测，能够获得司乘取消率预估模型的运维数据中是否存在异常，通过根据不同司乘取消率预估模型的指标进行监控，获得司乘取消率预估模型的指标数据中是否存在异常。本申请实施例能够针对司乘取消率预估模型进行多维度，全方面地模型数据监测。
本申请实施例采用分别通过服务稳定性、发展趋势、当前服务问题的正面指标和负面指标，双向评价多个交易撮合服务场景中的服务稳定性、发展趋势和当前服务问题对于司乘取消率预估模型实现的交易撮合服务场景进行监测，可以获得交易撮合服务场景下的服务数据的异常数据。本申请实施例实时发现服务问题，及时报警，提醒相关人员治理，规避舆情风险和给用户带来的不良体验。
本申请实施例不仅可以实现对司乘取消率预估模型数据的全面监测，也可以实现对司乘取消率预估模型实现的多个交易撮合服务场景的全面监测，从而能够准确获知司乘取消率预估模型实现的交易撮合效果，开发端和服务端均可以通过监测平台分别获得司乘取消率预估模型数据中的异常数据和服务数据中的异常数据，能够及时对司乘取消率预估模型出现的问题进行处理，避免模型劣化所造成的影响。
本申请实施例监测方法能够实现对多个不同的模型(示例中的神经网络模型和司乘取消率预估模型)产生的模型数据进行监测，也能够实现对多个不同的模型实现的多个不同服务场景(实例中的广告投放服务场景和交易撮合服务场景)产生的服务数据进行监测，开发端和服务端可以分别获得模型数据监测结果中的异常数据和服务数据监测结果中的异常数据，因此本申请监测方法可以应用于多个模型和多个服务场景的监测，应用范围广，且便于了解不同模型的运行效果。
在本申请实施例再一些具体实现中，由于本申请实施例包括服务数据监测以及模型数据监测，且模型数据的监测包括：元数据监测、运维数据监测、指标数据监测。因此，设置服务接口输出服务数据的监测结果，设置不同的模型监测接口输出不同的模型数据的监测结果。
参见图3，接口中心114包括：服务监测接口、元数据监测接口、运维数据监测接口、指标数据监测接口，各个接口用于向外输出对应的数据，输出的数据可以发送至其他设备。
模型数据监测结果和服务数据监测结果可以包含模型数据的监测参数以及服务数据的监测参数，可以通过图表表示不同时间监测参数的大小，可以表示出监测参数中的异常数据。
如果确定模型数据异常，可以向开发者反馈；如果确定服务数据异常，可以向服务分析师反馈。
本申请实施例再一些具体实现中，接口中心114还可以包括：异常监测接口。
步骤203，还包括：
根据预先设定的阈值，获得超出所述阈值的模型异常数据和服务异常数据。
步骤204，还包括：
将超出所述阈值的模型异常数据和服务异常数据通过异常监测接口发送至所述开发端或者服务端进行对应的处理。
本申请实施例可以利用异常监控接口输出异常数据，异常数据用于表示模型存在异常情况。
平台管理中心的评估包括：权限管理、日志管理和异常提醒调度。
权限管理用于对用户权限进行管理。日志管理用于管理监控平台产生的日志。
异常提醒调度用于对异常提醒进行调度，将不同异常提醒通过异常监测接口反馈给对应的处理方。
为了进一步说明本申请实施例的实现，参见图6，模型利用数据挖掘技术从数据库中获得模型数据和服务数据，对其进行元数据监测、运维数据监测、指标数据监测、服务监测，分别获得元数据监测结果、运维数据监测结果、指标数据监测结果和服务数据监测结果。将异常监测结果根据监测策略通过调度服务反馈给不同的处理方。如果元数据监测结果异常，则可以向产品设计师或数据仓库技术管理员反馈，以便相关人员进行元数据核查。如果运维数据监测结果异常，可以向开发者反馈，以便开发者进行模型分析。如果指标数据监测结果异常可以向挖掘工程师反馈，以便挖掘工程师进行模型分析。如果服务数据的监测结果异常，可以向服务方或分析师反馈，以便服务方或分析师进行服务问题分析。
基于上述实施例所描述的方法，本申请实施例提供一种模型监测方法，应用于开发端，所述方法包括：
提供多个模型；
获得监测平台发送的所述多个模型的模型数据监测结果中的异常数据，所述模型数据监测结果为所述监测平台对所述多个模型的模型数据进行监测所得，所述模型数据包括：模型运行过程中的数据。
基于上述实施例所描述的方法，本申请实施例提供一种模型监测方法，应用于服务端，所述方法包括：
提供多个模型所实现的多个服务场景；
获得监测平台发送的所述多个模型所实现的多个服务场景的服务数据监测结果中的异常数据，所述服务数据监测结果为所述监测平台对服务数据进行监测所得，所述服务数据包括：服务场景实现中的数据。
基于上述实施例所描述的方法，本申请实施例提供一种电子设备，用于执行上述实施例所描述的方法，参照图7，示出了根据本申请实施例的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。
如图7所示，该电子设备70可以包括：处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中：
处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。
通信接口704，用于与其它电子设备或服务器进行通信。
处理器702，用于执行程序710，具体可以执行上述模型监测方法实施例中的相关步骤。
具体地，程序710可以包括程序代码，该程序代码包括计算机操作指令。
处理器702可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器706，用于存放程序710。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序710具体可以用于使得处理器702执行以实现实施例一中所描述的模型监测方法。程序710中各步骤的具体实现可以参见上述模型监测方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
基于上述实施例所描述的方法，本申请实施例提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所描述的方法。
基于上述实施例所描述的方法，本申请实施例提供一种计算机程序产品，该计算机程序产品被处理器执行时实现如实施例一所描述的方法。
需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的导航方法。此外，当通用计算机访问用于实现在此示出的导航方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的导航方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。
Claims (13)
1.一种模型监测方法，应用于监测平台，所述方法包括：
获得开发端提供的多个模型，并对模型数据进行监测，得到模型数据监测结果，所述模型数据包括：模型运行过程中的数据；
获得服务端提供的所述多个模型所实现的多个服务场景，并服务数据进行监测，得到服务数据监测结果，所述服务数据包括：服务场景实现中的数据；
对所述模型数据监测结果和所述服务数据监测结果分别进行评估，获得模型异常数据和服务异常数据；
将所述模型异常数据发送至所述开发端，将所述服务异常数据发送至所述服务端，以使所述开发端和所述服务端分别根据所述模型异常数据和所述服务异常数据进行对应的处理。
2.根据权利要求1所述的方法，其中，所述模型数据的监测包括：元数据监测、运维数据监测、指标数据监测；
所述获得开发端提供的多个模型，并对模型数据进行监测，得到模型数据监测结果，包括：
对所述开发端提供的多个模型的模型数据进行元数据监测、运维数据监测，以及根据模型种类确定的指标数据监测。
3.根据权利要求2所述的方法，其中，
所述元数据监测的异常数据通过元数据监测接口发送至所述开发端；
所述运维数据监测的异常数据通过运维数据监测接口发送至所述开发端；
所述指标数据监测的异常数据通过指标数据监测接口发送至所述开发端；
所述服务数据监测的异常数据通过服务接口发送至所述服务端。
4.根据权利要求3所述的方法，其中，所述对所述模型数据监测结果和所述服务数据监测结果分别进行评估，获得模型异常数据和服务异常数据，还包括：
根据预先设定的阈值，获得超出所述阈值的模型异常数据和服务异常数据；
所述将所述模型异常数据发送至所述开发端，将所述服务异常数据发送至所述服务端，以使所述开发端和所述服务端分别根据所述模型异常数据和所述服务异常数据进行对应的处理，还包括：
将超出所述阈值的模型异常数据和服务异常数据通过异常监测接口发送至所述开发端或者服务端进行对应的处理。
5.根据权利要求2所述的方法，其中，所述模型为神经网络模型，
所述对所述开发端提供的多个模型的模型数据进行元数据监测、运维数据监测，以及根据模型种类确定的指标数据监测，包括：
对所述模型数据进行元数据监测并得到元数据监测结果，所述元数据监测包括：训练集监测、缺失率监测、归一化监测、不平度监测、稳定性监测中的至少一项监测；
对所述模型数据进行运维监测并得到运维监测结果，所述运维监测包括：对输出数量集、模型运行时间、模型产出时间、输出结果的分布中的至少一项监测；
根据所述模型数据的种类，选择对应的指标进行指标监测并得到指标监测结果，所述目标模型包括：分类模型、数值预测模型和无监督模型。
6.根据权利要求5所述的方法，其中，所述神经网络模型用于实现广告投放服务场景，
所述获得服务端提供的所述多个模型所实现的多个服务场景，并服务数据进行监测，得到服务数据监测结果，包括：
对多个广告投放服务场景下获得的所述服务数据进行监测并得到服务监测结果，所述服务数据监测包括：计算转化率监测、单坑产值监测、单独立访客贡献监测中的至少一项。
7.根据权利要求2所述的方法，其中，所述模型为司乘取消率预估模型，
所述对所述开发端提供的多个模型的模型数据进行元数据监测、运维数据监测，以及根据模型种类确定的指标数据监测，包括：
对所述司乘取消率预估模型中的元数据进行监测，所述元数据包括：训练集、分组特征的大小、空值率、特征产出时间中至少其一；
对所述司乘取消率预估模型中的运维数据进行监测，所述运维数据包括：模型服务中的质量性能监控组件、CPU性能、平均响应时间中至少其一；
根据所述司乘取消率预估模型确定对应的指标数据进行监测，所述指标数据包括：模型服务中的模型评估指标、模型风险区分能力的趋势实时变化中至少其一。
8.根据权利要求7所述的方法，其中，所述司乘取消率预估模型用于实现交易撮合服务场景，
所述获得服务端提供的所述多个模型所实现的多个服务场景，并服务数据进行监测，得到服务数据监测结果，包括：
分别通过正面指标和负面指标，双向评价多个交易撮合服务场景中的服务稳定性、发展趋势和当前服务问题，所述正面指标包括：导航页面浏览量、规划页面浏览量、优良率、准确率、应答率、发单率、完单率、命中率中至少其一，所述负面指标包括：取消率、恶劣率、偏航率、路线覆盖率中至少其一。
9.一种模型监测方法，应用于开发端，所述方法包括：
提供多个模型；
获得监测平台发送的所述多个模型的模型数据监测结果中的异常数据，所述模型数据监测结果为所述监测平台对所述多个模型的模型数据进行监测所得，所述模型数据包括：模型运行过程中的数据。
10.一种模型监测方法，应用于服务端，所述方法包括：
提供多个模型所实现的多个服务场景；
获得监测平台发送的所述多个模型所实现的多个服务场景的服务数据监测结果中的异常数据，所述服务数据监测结果为所述监测平台对服务数据进行监测所得，所述服务数据包括：服务场景实现中的数据。
11.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-10中任一项所述的司乘取消率预估模型监测方法对应的操作。
12.一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求求1-10中任一项所述的司乘取消率预估模型监测方法。
13.一种计算机程序产品，所述计算机程序产品被处理器执行时，实现如权利要求求1-10中任一项所述的司乘取消率预估模型监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111677154.0A CN114356737A (zh) | 2021-12-31 | 2021-12-31 | 模型监测方法、设备、存储介质及计算机程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111677154.0A CN114356737A (zh) | 2021-12-31 | 2021-12-31 | 模型监测方法、设备、存储介质及计算机程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114356737A true CN114356737A (zh) | 2022-04-15 |
Family
ID=81104675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111677154.0A Pending CN114356737A (zh) | 2021-12-31 | 2021-12-31 | 模型监测方法、设备、存储介质及计算机程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114356737A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023240546A1 (zh) * | 2022-06-16 | 2023-12-21 | 北京小米移动软件有限公司 | 模型监测方法、装置、设备及介质 |
-
2021
- 2021-12-31 CN CN202111677154.0A patent/CN114356737A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023240546A1 (zh) * | 2022-06-16 | 2023-12-21 | 北京小米移动软件有限公司 | 模型监测方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652496B (zh) | 基于网络安全态势感知系统的运行风险评估方法及装置 | |
| US10318366B2 (en) | System and method for relationship based root cause recommendation | |
| CN106294219B (zh) | 一种设备识别、数据处理方法、装置及系统 | |
| CN111444072B (zh) | 客户端的异常识别方法、装置、计算机设备和存储介质 | |
| CN113837596B (zh) | 一种故障确定方法、装置、电子设备及存储介质 | |
| CN114358106A (zh) | 系统异常检测方法、装置、计算机程序产品及电子设备 | |
| CN111581258B (zh) | 一种安全数据分析方法、装置、系统、设备及存储介质 | |
| CN114356737A (zh) | 模型监测方法、设备、存储介质及计算机程序产品 | |
| CN109376981B (zh) | 数据处理方式的确定方法、装置、服务器和数据处理方法 | |
| WO2019095569A1 (zh) | 基于微博财经事件的金融分析方法、应用服务器及计算机可读存储介质 | |
| US20140215053A1 (en) | Managing an entity using a state machine abstract | |
| US9830568B2 (en) | Controlling and managing identity access risk | |
| WO2020258509A1 (zh) | 终端设备异常访问的隔离方法和装置 | |
| CN115238815A (zh) | 异常交易数据获取方法、装置、设备、介质和程序产品 | |
| CN110417744B (zh) | 网络访问的安全判定方法和装置 | |
| CN110311909B (zh) | 终端设备网络访问的异常判定方法和装置 | |
| CN113254781A (zh) | 推荐系统中的模型确定方法、装置、电子设备和存储介质 | |
| CN113610225A (zh) | 质量评估模型训练方法、装置、电子设备及存储介质 | |
| CN113064812A (zh) | 一种项目开发过程质量缺陷预测方法、装置及介质 | |
| CN111722977A (zh) | 系统巡检方法、装置及电子设备 | |
| CN112734352A (zh) | 一种基于数据维度的单据审核方法和装置 | |
| CN116149971B (zh) | 设备故障预测方法、装置、电子设备及存储介质 | |
| CN115330559B (zh) | 一种信息数据时空协同的配电网弹性评估方法和装置 | |
| CN114978878B (zh) | 定位方法、装置、电子设备及计算机可读存储介质 | |
| CN114553726B (zh) | 一种基于功能、资源层面的网络安全运维方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240306 Address after: # 03-06, Lai Zan Da Building 1, 51 Belarusian Road, Singapore Applicant after: Alibaba Innovation Co. Country or region after: Singapore Address before: Room 01, 45th Floor, AXA Building, 8 Shanton Road, Singapore Applicant before: Alibaba Singapore Holdings Ltd. Country or region before: Singapore |
|
| TA01 | Transfer of patent application right |