CN110633893A - 一种策略效能监控方法、装置以及计算机设备 - Google Patents

Abstract

本说明书实施例提供一种策略效能监控方法、装置以及计算机设备。根据目标策略自动匹配统计指标，并基于统计指标在所述目标策略的当前运营阶段的前一阶段的指标值确定所述统计指标在所述当前运营阶段的异常阈值，然后根据异常阈值判断当前运营阶段的统计指标的指标值是否异常，如果异常，则发出告警信息。通过自动匹配与目标策略适应的统计指标，并根据前一阶段的统计指标的指标值动态地调整当前阶段的统计指标的异常阈值，无需手动去配置统计指标以及告警规则，且统计指标的异常阈值可以根据实际业务情况动态地调整，使得告警结果更加准确。

Description

一种策略效能监控方法、装置以及计算机设备

技术领域

本说明书涉及数据处理技术领域，尤其涉及一种策略效能监控方法、装置以及计算机设备。

背景技术

随着互联网的迅速发展，越来越多的业务都通过网络完成，尤其是涉及到金融、支付等一类的业务，保证业务的安全显得异常重要。目前，为了保证业务的安全，通常会设置风险控制策略对业务风险进行控制，以便可以准确的识别和判定风险，并采取有效的措施去规避风险，而这些都要通过风险控制策略去实现，因而这些策略的有效性，即策略效能是十分关键的。所以必须对策略的效能进行有效的监控，以便动态的调整策略，使其发挥更好的效果。

发明内容

基于此，本说明书提供了一种策略效能监控方法、装置以及计算机设备。

根据本说明书实施例的第一方面，提供一种策略效能监控方法，所述方法包括：

确定待监控的目标策略的统计指标，所述统计指标用于表征所述目标策略的策略效能；

基于所述统计指标在所述目标策略的当前运营阶段的前一阶段的指标值确定所述统计指标在所述当前运营阶段的异常阈值，其中，所述前一阶段的指标值通过模拟所述目标策略对历史业务数据进行处理得到或通过运行所述目标策略生成的运行数据得到；

根据所述异常阈值判断所述统计指标在当前运营阶段的指标值是否异常；

如果异常，则发出告警信息。

根据本说明书实施例的第二方面，提供一种策略效能监控装置，所述装置包括：

统计指标确定模块，用于确定待监控的目标策略的统计指标，所述统计指标用于表征所述目标策略的策略效能；

计算模块，用于基于所述统计指标在所述目标策略的当前运营阶段的前一阶段的指标值确定所述统计指标在所述当前运营阶段的异常阈值，其中，所述前一阶段的指标值通过模拟所述目标策略对历史业务数据进行处理得到或通过运行所述目标策略生成的运行数据得到；

判断模块，用于根据所述异常阈值判断所述统计指标在当前运营阶段的指标值是否异常；

告警模块，用于如果当前运营阶段的指标值异常，则发出告警信息。

根据本说明书实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。

根据本说明书实施例的第四方面，提供一种系统架构，所述系统架构包括监控系统以及离线评估系统，所述监控系统包括数据获取模块、计算模块和运营模块，

所述数据获取模块用于确定待监控的目标策略的统计指标，所述统计指标用于表征所述目标策略的策略效能；以及从所述离线评估系统中获取所述统计指标在目标策略的当前运营阶段的前一阶段的指标值；所述前一阶段的指标值通过模拟目标策略对历史业务数据进行处理得到的；

所述计算模块用于根据所述前一阶段运行所述目标策略生成的运行数据计算前一阶段的指标值；以及基于所述前一阶段的指标值确定所述统计指标在所述当前运营阶段的异常阈值；以及根据所述异常阈值判断所述统计指标在当前运营阶段的指标值是否异常；

所述运营模块用于如果当前运营阶段的指标值异常，则发出告警信息。

应用本说明书实施例方案，可以根据目标策略自动匹配统计指标，并基于统计指标在所述目标策略的当前运营阶段的前一阶段的指标值确定所述统计指标在所述当前运营阶段的异常阈值，然后根据异常阈值判断当前运营阶段的统计指标的指标值是否异常，如果异常，则发出告警信息。通过自动匹配与目标策略适应的统计指标，并根据前一阶段的统计指标的指标值动态地调整当前阶段的统计指标的异常阈值，无需手动去配置统计指标以及告警规则，且统计指标的异常阈值可以根据实际业务情况动态地调整，使得告警结果更加准确。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本说明书一个实施例的一种策略效能监控方法流程图。

图2A是本说明书一个实施例的一种策略运营流程示意图。

图2B是本说明书一个实施例的一种策略效能监控方法示意图。

图3是本说明书一个实施例的一种策略效能监控装置的逻辑结构示意图。

图4是本说明书一个实施例的用于实施本说明书方法的计算机设备的结构示意图。

图5是本说明书一个实施例的一种系统架构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

越来越多的业务通过互联网进行，为了保证业务的安全，通常会设置风险管控策略对业务风险进行管控，以便可以准确的识别和判定风险，并采取有效的措施规避风险。例如，支付宝有上千万的用户，为了保证支付的安全，必须要有专门的风控引擎去对交易风险进行控制，而风控引擎中设置了很多风险管控的策略，一旦交易满足一定的条件，则会采取相应的应对措施。举个例子，当用户的支付宝账号突然在陌生的设备登陆，可能存在一定风险，因而必须加强风险管控，这时可以设置一条策略，当支付宝账号在陌生设备登陆时，除了输入密码校验，还必须进行指纹识别校验。通过这个策略来提升账号的安全性。由于风险管控的有效性很大程度取决于策略的策略效能，即策略在运行过程中表现的好坏，因此，有必要对策略的效能进一步的监控，以便根据策略效能的好坏调整策略。传统的监控策略效能的方法都是通过人工去配置一些预警规则，一旦策略效能符合预设的告警规则，即发出告警提示，以便工作人员对策略进行调整。然而，由于业务都是动态发展的，根据人工经验去配置一层不变的策略效能告警规则可能准确度比较低，不能适应动态变化的业务需求，此外，由于策略比较多，针对每一条策略都要手动的去配置相应的告警规则，比较耗费人力，效率较低。

基于此，本说明书实施例提供一种策略效能监控方法，可以根据待监控的目标策略自动地匹配用于表征该目标策略的策略效能的统计指标，然后基于该统计指标在目标策略的当前运营阶段的前一个阶段的指标值来确定统计指标在当前运营阶段的异常阈值，然后根据异常阈值来确定统计指标当前运营阶段的指标值是否异常，如果异常，则发出告警信息，以便工作人员对目标策略进行调整。通过自动匹配目标策略的统计指标，并根据统计指标在目标策略的前一个运营阶段的指标值来确定当前运营阶段的异常阈值，可以动态地调整统计指标的异常阈值，使其更加适应业务发展的需求，同时无需手动配置异常告警规则，提高了运营效率。

具体的，所述方法如图1所示，可包括以下步骤：

S102、确定待监控的目标策略的统计指标，所述统计指标用于表征所述目标策略的策略效能；

S104、基于所述统计指标在所述目标策略的当前运营阶段的前一阶段的指标值确定所述统计指标在所述当前运营阶段的异常阈值，其中，所述前一阶段的指标值通过模拟所述目标策略对历史业务数据进行处理得到或通过运行所述目标策略生成的运行数据得到；

S106、根据所述异常阈值判断所述统计指标在当前运营阶段的指标值是否异常；

S108、如果异常，则发出告警信息。

所述策略效能监控方法可以用于对策略效能进行监控的监控系统。所述策略可以是用于对业务交易进行管控的各种策略，比如说业务风险管控策略。通常，一个策略从产生到正式上线运行会经历一个运营流程，该运营流程中可以划分为若干个运营阶段，比如可以把策略的运营流程划分为策略产生阶段、离线评估阶段、试运行阶段以及正式运行阶段，当然，上述运营阶段中的某些运营阶段又可以划分为不同的运营小阶段，以正式运行阶段为例，又可以根据时间间隔将其划分为不同的小阶段。需要指出的是，本说明书实施例中的当前运营阶段可以是试运行阶段、正式运行阶段等运营流程中的运营阶段，也可以是将上述运营阶段划分成若干个小阶段之后的运营阶段，比如可以是正式运行阶段中的划分出来的小阶段，具体根据实际需求去设置，本申请不做限制。

当用户在策略运营系统中新增一条策略或者对一条策略进行修改后，可以将该策略作为待监控的目标策略，对其进行监控。通常，可以采用一些统计指标去衡量和表征策略的策略效能。在某些实施例中，可以采用稽核量、失败量、限权量、校验量、准确率或者覆盖率等统计指标中的一种或几种去评估一条策略的策略效能。

其中，稽核量是指单位时间内，被所述策略命中的事件量。举个例子，假设策略是“当用户转账金额大于500，则需要进行密码支付加指纹支付”，则1分钟内，如果有1000笔转账业务，其中800笔业务转账金额大于500，则稽核量为500。

失败量是指单位时间内，被所述策略命中并且对应策略执行动作为失败的事件量。如：一分钟，共产生1000笔事件，其中有10笔命中置为失败的策略，则失败量为10。

限权量是指一段时间内，被所述策略命中并且对应策略执行动作为限权(例如对用户账户进行限权操作，如账户冻结)的事件量。如：一分钟，共产生1000笔事件，其中有10笔命中设置为限权的策略，则限权量为10。

校验量是指一段时间内，命中策略并且对应策略执行动作为校验(例如需要用户进行校验，如短信验证、人脸验证)的事件量。如：一分钟，共产生1000笔事件，其中有10笔命中置为校验的策略，则校验量为10。

准确率是指一段时间内，被所述策略命中且执行结果正确的事件量与被所述策略命中的所有事件量的比值。举个例子，假设策略为“如果连续三次输入的支付密码错误，则判定为账户盗用事假，并冻结账户”，其中，1分钟内，有100笔连续三次输入的支付密码错误的时间，其中只有3笔是账户盗用事件，则准确率为3％。

覆盖率是指一段时间内，被所述策略命中且拦截的事件量与预期希望被拦截下来的所有事件量的比值。比如，假设1分钟内有一共产生了1000笔事件，其中50笔是希望被拦截下来的，而策略实际命中并拦截的只有5件，则覆盖率为10％。

容易理解的是，以上统计指标只是列举的部分例子，针对不同类型的策略，其统计指标往往也不一样，需要根据实际情况去设置。

在确定待监控的目标策略后，可以自动匹配目标策略的统计指标。其中，在某些实施例中，可以预先针对不同类型的策略确定其对应的统计指标，得到一个策略类型与统计指标的对应关系表，然后可以通过查表确定目标策略对应的统计指标有哪些。当然，在某些实施例中，也可以采用机器学习算法模型来确定目标策略的统计指标，可以预先采用大量的策略和对应的统计指标输入到机器学习算法模型对模型进行训练，然后用训练后的模型给目标策略自动分配统计指标。通过自动给目标策略匹配统计指标，可以无需人工手动去针对每一条策略设置告警的规则，提高了策略的运营效率。

由于要评估目标策略的效能是否异常，即评估目标策略的统计指标的指标值是否在合理的范围内。比如，目标策略为“当用户转账金额大于50，则需要进行密码支付加指纹支付”，假设1分钟内发生1000笔业务交易，稽核量达到了900笔，说明该目标策略基本命中了绝大多数业务交易。这时，需要考虑目标策略设置的转账金额是否过低，导致其效能不是很好。因此，可以通过统计指标的指标值来评估目标策略的效能。以往技术中，都是直接通过人工去设定一个统计指标值，比如稽核量达到800，则报警。这种方式统计指标值是固定的，无法根据业务发展动态的变化，以满足业务需求。

本说明书在确定目标策略的统计指标后，可以确定这些统计指标在目标策略的当前运营阶段前一个阶段的指标值，然后根据前一个阶段的指标值确定统计指标在目标策略的当前运营阶段的异常阈值。并根据该异常阈值去判定当前的统计指标的指标值是否异常，如果异常，则报警。本申请中的统计指标是否异常的判定标准是根据前一阶段的业务情况来动态设置的，可以根据业务情况实时变化。其中，前一阶段的指标值可以通过模拟目标策略对历史业务数据进行处理来确定或者运行目标策略生成的运行数据确定。举个例子，假设今天新增了一条目标策略，该目标策略之前没有试运行过，也没有在线上运行过，因而在试运行阶段之前的可以设置一个离线评估阶段，在离线评估阶段，可以模拟该目标策略对昨天的业务数据进行处理得到的各统计指标的指标结果，比如把昨天所有的业务交易与该目标策略匹配以便得出稽核量。这样，就可以用这个离线评估阶段的稽核量作为基准，去确定下一个阶段即试运行阶段该统计指标异常阈值是多少。当然，由于历史业务数据量比较大，如果直接采用在线的监控系统去实时处理，其计算过大，或者导致系统出现异常，因此，可以将目标策略和确定的统计指标发送给离线数据处理平台，以便离线数据处理平台去模拟目标策略对历史业务数据进行处理得到统计指标的模拟结果，然后将结果发送给监控系统。当然，如果现在目标策略已经到了正式运行的阶段，则可以采用目标策略在试运行阶段或正式运行阶段运行生成的运行数据计算得到统计指标值作为基准，确定正式运行阶段的统计指标异常阈值。在试运行阶段和运行阶段，会直接运行所述目标策略，即发生每一笔业务交易都会检测是否命中该策略，得出统计指标的指标值，只不过试运行阶段不会根据目标策略直接对业务进行干预，而运行阶段会根据目标策略对业务进行干预。

当然，在某些实施例中，如果目标策略已经处于正式运行的阶段，正式运行后，目标策略的运行时间会比较久，如果一直采用试运行阶段的指标值作为基准计算的异常阈值可能不够准确。因而可以将正式运行阶段按时间划分，比如每周划分为一个阶段，然后下一周的统计指标异常阈值可以根据上一周目标策略运行的结果去确定。这样便可以在确定当前阶段的统计指标的异常阈值时，参考最近一段时间的统计指标的历史数据，得到比较符合业务发展需求的异常阈值。其中，在确定当前运营阶段前一个阶段的指标值后，可以通过预设的算法按逻辑计算得到异常阈值，比如可以将前一个阶段的指标值加减一定值后作为异常阈值，当然，以上只是列举其中一种最简单的方式，具体算法逻辑可以根据实际需求设定。

在计算得到异常阈值后，可以根据当前阶段目标策略运行生成的数据计算统计指标在当前阶段的指标值。其中，指标值可以是统计运营阶段内的一段时间的平均值。然后将当前阶段的指标值与异常阈值相比，如果超出异常阈值，则认为目标策略的效能统计指标出现异常，然后发出告警信息，以便工作人员看到告警信息后对异常进行分析，调整目标策略。

当然，在某些实施例中，在发出告警信息后，还可以基于当前阶段的指标值自动对目标策略进行降级处理，比如降低目标策略的重要程度或者紧急程度。当然，在某些实施例中，可以比较当前阶段的指标值与异常阈值的差值，如果差值大于预设值，则说明统计指标出现较严重的异常，因而，这时可以直接将目标策略设置成无效状态，即不会在运行目标策略。通过这种方式，可以智能的根据目标策略的指标值做出相应的异常解决对策。

为了进一步解释本说明书提供的策略效能监控方法，以下结合图2A和图2B再以一个具体的实施例加以解释。

一般业务风险管控都需要预先设置管控策略，为了知道这些策略在风险管控过程中表现的好坏，需要对策略的效能进行监控。在对策略效能进行监控时，可以采用稽核量、准确率、覆盖率等统计指标来表征策略的策略效能。如图2A所示，可以将策略运营的流程划分为以下阶段：策略产生阶段21，离线评估阶段22、试运行阶段23以及正式运行阶段24。具体的流程如图2B所示，当新增或修改一条策略后，可以对该策略进行监控，因而可以根据预先确定的策略类型与统计指标的对应关系确定该策略的统计指标，比如稽核量(S201)。由于要对该策略的效能进行监控，因而可以确定表征策略效能的统计指标的异常阈值，以便在统计指标异常时发出告警信息。

由于该策略是新增的策略，没有历史的运行数据，因而在确定试运行阶段的异常阈值时，可以先采用离线数据处理平台模拟该策略对历史业务数据进行处理，计算得到在离线评估阶段的统计指标的指标值(S202)，并将离线评估阶段的指标值作为基准，确定试运行阶段的异常阈值(S203)，以便在试运行阶段时，根据该异常阈值来判定试运行阶段的统计指标是否异常。在试运行阶段，可以根据离线评估阶段计算得到的异常阈值判断该阶段的统计指标值是否异常，如果异常，则发出告警信息(S204)。在确定运行阶段的统计指标的异常阈值时，则可以采用试运行阶段的指标值作为基准，然后确定运行阶段的统计指标的异常阈值(S205)，然后基于该异常阈值对运行阶段的统计指标进行监控，如果发生异常，则发出告警信息(S206)。另外，在发出告警信息后，还可以比较当前阶段的统计指标的指标值与异常阈值的差值是否超出预设值，如果超出，则将该策略设置无无效的状态。当然，在策略进入到运行阶段后，也将运行阶段按时间划分，比如每周为一个阶段，然后基于上一个阶段的统计指标值作为基准，确定下一阶段的统计指标异常阈值，以便根据最近的数据来动态调整异常阈值，使得异常阈值的设定更加准确。

通过这种方法，可以根据策略自动匹配统计指标，并根据目标策略在运营流程中上一阶段的统计指标的指标值动态地调整下一阶段的统计指标值，且可以智能的对异常进行处理。无需工作人员手动配置策略的告警规则，提升了策略的运行效率以及异常阈值设定的准确度。

以上实施例中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。

如图3所示，是本说明书的策略效能监控方法相对应的策略效能监控监控装置，所述装置30可包括：

统计指标确定模块31，用于确定待监控的目标策略的统计指标，所述统计指标用于表征所述目标策略的策略效能；

计算模块32，用于基于所述统计指标在所述目标策略的当前运营阶段的前一阶段的指标值确定所述统计指标在所述当前运营阶段的异常阈值，其中，所述前一阶段的指标值通过模拟所述目标策略对历史业务数据进行处理得到或通过运行所述目标策略生成的运行数据得到；

判断模块33，用于根据所述异常阈值判断所述统计指标在当前运营阶段的指标值是否异常；

告警模块34，用于如果当前运营阶段的指标值异常，则发出告警信息。

在一个实施例中，所述统计指标包括稽核量、失败量、限权量、校验量、准确率和/或覆盖率。

在一个实施例中，确定待监控的目标策略的统计指标包括：

基于预先确定的策略类型与统计指标的对应关系确定；或

基于机器学习算法模型确定。

在一个实施例中，发出告警信息之后还包括：

基于所述当前运营阶段的指标值对所述目标策略进行降级处理。

在一个实施例中，基于所述当前运营阶段的指标值对所述目标策略进行降级处理包括：

判断所述当前运营阶段的指标值与所述异常阈值之间的差值是否超出预设值；

如果是，则将所述目标策略设置为失效状态。

在一个实施例中，所述模拟所述目标策略对历史业务数据进行处理得到所述前一阶段的指标值通过离线数据处理平台实现。

在一个实施例中，所述运行数据包括在所述目标策略的试运行阶段或运行阶段生成的数据。

上述装置中各个模块的功能和作用的实现过程具体详情见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本说明书装置的实施例可以应用在计算机设备上，例如服务器或智能终端。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在文件处理的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本说明书装置所在计算机设备的一种硬件结构图，除了图4所示的处理器402、内存404、网络接口406、以及非易失性存储器408之外，实施例中装置所在的服务器或电子设备，通常根据该计算机设备的实际功能，还可以包括其他硬件，对此不再赘述。其中，所述非易失性存储器408上存储有可在处理器402上运行的计算机程序，所述处理器402执行所述程序时实现上述任一实施例中的方法。

相应地，本说明书实施例还提供一种计算机存储介质，所述存储介质中存储有程序，所述程序被处理器执行时实现上述任一实施例中的方法。

本申请可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

此外，本说明书实施例还提供了一种系统架构，如图5所示，所述系统架构包括监控系统51以及离线评估系统52，所述监控系统51包括数据获取模块511、计算模块512和运营模块513。

其中，所述数据获取模块511用于确定待监控的目标策略的统计指标，所述统计指标用于表征所述目标策略的策略效能；以及从所述离线评估系统52中获取模拟所述统计指标在目标策略的当前运营阶段的前一阶段的指标值；所述前一阶段的指标值通过模拟目标策略对历史业务数据进行处理得到的。

所述计算模块512用于根据所述前一阶段运行所述目标策略生成的运行数据计算前一阶段的指标值；以及基于所述前一阶段的指标值确定所述统计指标在所述当前运营阶段的异常阈值；以及根据所述异常阈值判断所述统计指标在当前运营阶段的指标值是否异常。

所述运营模块513用于如果当前运营阶段的指标值异常，则发出告警信息。

本领域技术人员在考虑说明书及实践这里公开的说明书后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (10)

1.一种策略效能监控方法，所述方法包括：

确定待监控的目标策略的统计指标，所述统计指标用于表征所述目标策略的策略效能；

基于所述统计指标在所述目标策略的当前运营阶段的前一阶段的指标值确定所述统计指标在所述当前运营阶段的异常阈值，其中，所述前一阶段的指标值通过模拟所述目标策略对历史业务数据进行处理得到或通过运行所述目标策略生成的运行数据得到；

根据所述异常阈值判断所述统计指标在当前运营阶段的指标值是否异常；

如果异常，则发出告警信息。

2.根据权利要求1所述的策略效能监控方法，所述统计指标包括稽核量、失败量、限权量、校验量、准确率和/或覆盖率。

3.根据权利要求1所述的策略效能监控方法，确定待监控的目标策略的统计指标包括：

基于预先确定的策略类型与统计指标的对应关系确定；或

基于机器学习算法模型确定。

4.根据权利要求1所述的策略效能监控方法，发出告警信息之后还包括：

基于所述当前运营阶段的指标值对所述目标策略进行降级处理。

5.根据权利要求4所述的策略效能监控方法，基于所述当前运营阶段的指标值对所述目标策略进行降级处理包括：

判断所述当前运营阶段的指标值与所述异常阈值之间的差值是否超出预设值；

如果是，则将所述目标策略设置为失效状态。

6.根据权利要求1所述的策略效能监控方法，所述模拟所述目标策略对历史业务数据进行处理得到所述前一阶段的指标值通过离线数据处理平台实现。

7.根据权利要求1所述的策略效能监控方法，所述运行数据包括在所述目标策略的试运行阶段或运行阶段生成的数据。

8.一种策略效能监控装置，所述装置包括：

统计指标确定模块，用于确定待监控的目标策略的统计指标，所述统计指标用于表征所述目标策略的策略效能；

计算模块，用于基于所述统计指标在所述目标策略的当前运营阶段的前一阶段的指标值确定所述统计指标在所述当前运营阶段的异常阈值，其中，所述前一阶段的指标值通过模拟所述目标策略对历史业务数据进行处理得到或通过运行所述目标策略生成的运行数据得到；

判断模块，用于根据所述异常阈值判断所述统计指标在当前运营阶段的指标值是否异常；

告警模块，用于如果当前运营阶段的指标值异常，则发出告警信息。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至7任意一项所述的方法。

10.一种系统架构，所述系统架构包括监控系统以及离线评估系统，所述监控系统包括数据获取模块、计算模块和运营模块，

所述数据获取模块用于确定待监控的目标策略的统计指标，所述统计指标用于表征所述目标策略的策略效能；以及从所述离线评估系统中获取所述统计指标在目标策略的当前运营阶段的前一阶段的指标值；所述前一阶段的指标值通过模拟目标策略对历史业务数据进行处理得到的；

所述计算模块用于根据所述前一阶段运行所述目标策略生成的运行数据计算前一阶段的指标值；以及基于所述前一阶段的指标值确定所述统计指标在所述当前运营阶段的异常阈值；以及根据所述异常阈值判断所述统计指标在当前运营阶段的指标值是否异常；

所述运营模块用于如果当前运营阶段的指标值异常，则发出告警信息。

Images