CN117541378A - 指标计算的监测方法及装置 - Google Patents
指标计算的监测方法及装置 Download PDFInfo
- Publication number
- CN117541378A CN117541378A CN202311586503.7A CN202311586503A CN117541378A CN 117541378 A CN117541378 A CN 117541378A CN 202311586503 A CN202311586503 A CN 202311586503A CN 117541378 A CN117541378 A CN 117541378A
- Authority
- CN
- China
- Prior art keywords
- index
- calculation
- result
- information
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 692
- 238000012544 monitoring process Methods 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 128
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000012795 verification Methods 0.000 claims description 169
- 238000013507 mapping Methods 0.000 claims description 92
- 230000002159 abnormal effect Effects 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 47
- 230000005856 abnormality Effects 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 description 6
- 238000012954 risk control Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Abstract
本申请提供一种指标计算的监测方法及装置,所述方法包括:获取待计算指标的数据;对所述待计算指标的数据进行计算,得到指标计算结果以及与所述指标计算结果相应的计算快照信息;将指标计算结果和计算快照信息发送到数据仓库,进行处理,得到待校验列表,根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果,其中,校验包括准确性校验、时效性校验、稳定性校验中的至少一种校验操作。本技术方案通过对指标计算结果和相应快照信息按照目标校验策略进行校验,能够对指标计算的准确性、时效性和稳定性进行监测,提高风控的可靠性,从而提高业务场景的安全性。
Description
技术领域
本申请属于计算机技术领域,具体涉及一种指标计算的监测方法及装置。
背景技术
风控指标数据在风控环节是非常重要的数据,当风控指标的正确性、时效性出现问题之后将直接影响风控决策引擎对商户、交易、信贷等的风险评估以及决策,从而引发生产问题。
目前对于风控指标数据计算进行检测的维度体系存在较多缺陷,在计算完成之后没有进行数据正确性的监控,可能导致无法及时发现潜在风险,在时效性方面缺乏及时监测,无法及时发现延时从而发出预警,并且往往需要占用实时指标计算的计算资源,影响实时指标的计算性能,因此,亟需一种更为完善的指标计算监测方法。
发明内容
为了解决上述技术问题,本申请提供一种指标计算的监测方法、装置、设备及存储介质,无需占用实时指标计算的计算资源,且监测维度更为完善。
一方面,本发明提出了一种指标计算的监测方法,所述方法包括:获取待计算指标的数据;对所述待计算指标的数据进行计算,得到指标计算结果以及与所述指标计算结果相应的计算快照信息;将所述指标计算结果和所述计算快照信息发送到数据仓库,并对所述数据仓库中的指标计算结果和计算快照信息进行处理,得到待校验列表;从所述数据仓库中获取所述待校验列表,根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果;其中,所述校验包括准确性校验、时效性校验、稳定性校验中的至少一种校验操作,所述准确性校验为得到所述指标计算结果的指标计算是否准确的校验,所述时效性校验为得到所述指标计算结果的指标计算是否及时的校验,所述稳定性校验为得到所述指标计算结果的指标计算是否稳定的校验。
在本发明的一个实施例中,所述获取待计算指标的数据包括:获取待计算指标的指标名称;在目标事件发生的情况下,提取所述目标事件的事件信息,所述目标事件为触发指标计算的事件;根据所述指标名称,在所述事件信息中确定与所述指标名称具有相同名称的指标;将所述指标的指标数据作为所述待计算指标的数据。
在本发明的一个实施例中,所述对所述待计算指标的数据进行计算,得到指标计算结果以及与所述指标计算结果相应的计算快照信息包括:获取第一预设映射信息,所述第一预设映射信息表征指标名称和计算策略之间的映射关系;基于所述映射关系,确定与所述待计算指标的指标名称对应的目标计算策略;根据所述目标计算策略对所述待计算指标的数据进行计算,生成指标计算结果;获取对所述待计算指标的数据进行计算生成所述指标计算结果的计算快照信息;其中,所述计算快照信息用于表征对所述待计算指标的数据进行计算生成所述指标计算结果的计算过程的状态。
在本发明的一个实施例中,其特征在于,所述指标计算结果为多个,所述将所述指标计算结果和所述计算快照信息发送到数据仓库,并对所述数据仓库中的指标计算结果和计算快照信息进行处理,得到待校验列表包括:将每个所述指标计算结果和相应的所述计算快照信息合成一条目标消息发送到数据仓库,所述目标消息包括标识信息;根据所述标识信息,将所述目标消息进行排列,得到待校验列表。
在本发明的一个实施例中,所述根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果包括:获取第二预设映射信息;所述第二预设映射信息表征指标名称与校验策略之间的映射关系;从所述指标计算结果中提取所述待计算指标的指标名称;根据所述第二预设映射信息的映射关系,确定与所述待计算指标的指标名称对应的目标校验策略;根据所述目标校验策略对所述指标计算结果进行校验,获得指标计算监测结果。
在本发明的一个实施例中,在所述目标事件为交易事件的情况下,所述从所述指标计算结果中提取所述待计算指标的指标名称包括:从所述指标计算结果中提取交易数量指标的指标名称;相应地,所述根据所述第二预设映射信息的映射关系,确定与所述待计算指标的指标名称对应的目标校验策略,包括:根据所述第二预设映射信息,确定与所述交易数量指标的指标名称对应的目标校验策略;所述与所述交易数量指标的指标名称对应的目标校验策略为比较当前指标数据和预设指标数据的大小的策略;相应地,所述根据所述目标校验策略对所述指标计算结果进行校验,获得指标计算监测结果,包括:在所述待校验表中,查找并获取所述交易数量指标的数据,作为所述当前指标数据;比较所述当前指标数据和预设指标数据的大小,得到比较结果;在所述比较结果指示所述当前指标数据小于或大于所述预设指标数据的情况下,确定指标计算监测结果为准确性存在异常的监测结果,在所述比较结果指示所述当前指标数据等于所述预设指标数据的情况下,确定所述指标计算监测结果为准确性非异常的监测结果。
在本发明的一个实施例中,所述根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果包括:获取第三预设映射信息,所述第三预设映射信息表征计算快照信息的信息名称和校验策略之间的映射关系,所述计算快照信息包括计算耗时信息;从所述计算快照信息中获取所述计算耗时信息的信息名称,根据第三预设映射信息的所述映射关系,确定与所述计算耗时信息的信息名称对应的目标校验策略;所述目标校验策略为比较计算耗时信息所指示的计算耗时和预设计算耗时的大小的策略;在所述待校验表中,查找所述计算耗时信息指示的计算耗时,比较所述计算耗时和预设计算耗时的大小,得到比较结果;在所述比较结果指示所述计算耗时大于所述预设计算耗时的情况下,确定指标计算监测结果为时效性存在异常的监测结果;在所述比较结果指示所述计算耗时小于或等于所述预设计算耗时的情况下,确定所述指标计算监测结果为时效性非异常的监测结果。
在本发明的一个实施例中,所述根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果包括:从所述计算快照信息中获取计算耗时信息;在一个预设周期内,对所述计算耗时信息指示的计算耗时进行平均值统计,得到当前的计算耗时平均值;将当前的所述计算耗时平均值和预设计算耗时平均值进行比较,得到比较结果;在相邻预设数量个所述预设周期的计算耗时平均值均满足预设条件的情况下,确定所述指标计算监测结果为稳定性存在异常的监测结果;在相邻预设数量个所述预设周期中的至少一个所述预设周期的计算耗时平均值不满足预设条件的情况下,确定所述指标计算监测结果为稳定性非异常的监测结果。
在本发明的一个实施例中,所述根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果之后,所述方法还包括:在所述指标监测结果指示准确性、时效性或者稳定性中的至少一种存在异常的情况下,将所述待校验列表中存在异常的指标计算结果和相对应的计算快照信息保存到反馈列表中;向指标管理端发送所述反馈列表。
另一方面,本发明还提供了一种指标计算的监测装置,其特征在于,所述装置包括:数据获取模块;用于获取待计算指标的数据;数据计算模块;对所述待计算指标的数据进行计算,得到指标计算结果以及与所述指标计算结果相应的计算快照信息;列表构建模块;将所述指标计算结果和所述计算快照信息发送到数据仓库,并对所述数据仓库中的指标计算结果和计算快照信息进行处理,得到待校验列表;校验模块;从所述数据仓库中获取所述待校验列表,根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果;其中,所述校验包括准确性校验、时效性校验、稳定性校验中的至少一种校验操作,所述准确性校验为得到所述指标计算结果的指标计算是否准确的校验,所述时效性校验为得到所述指标计算结果的指标计算是否及时的校验,所述稳定性校验为得到所述指标计算结果的指标计算是否稳定的校验。
本申请实施例提出的指标计算的监测方法、装置、电子设备及存储介质,通过将所述指标计算结果和所述计算快照信息发送到数据仓库,通过设定多种预设监测策略,对数据仓库中的各项指标进行计算,实现了指标计算和监测两个过程的异步,避免占用指标实时计算的资源,提高了指标实时计算的效率,提高了风控系统对指标计算监测的灵活性,通过对不同的指标计算结果和计算快照信息设定多种预设监测策略,能够对指标计算结果的准确性、计算过程的时效性和计算过程的稳定性进行全面监测,进而提升了风控环节的做出决策的准确性和可靠性,提高系统对风险应对的能力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图一
图2是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图二。
图3是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图三。
图4是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图四。
图5是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图五。
图6是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图六。
图7是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图七。
图8是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图八。
图9是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图九。
图10是根据一示例性实施例示出的一种指标计算的监测装置图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了使本申请实施例公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请实施例进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请实施例,并不用于限定本申请实施例。
以下,为了便于理解本申请实施例上述的技术方案及其产生的技术效果,本申请实施例首先对于相关专业名词进行解释:
图1是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图一,图2是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图二,图3是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图三,图4是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图四,图5是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图五,图6是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图六,图7是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图七,图8是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图八,图9是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图九,图10是根据一示例性实施例示出的一种指标计算的监测装置图。
本说明书提供了如实施例或流程图上述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。图1是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图一,如图1所示,本申请提出了一种方法,该方法可以包括:
S103:获取待计算指标的数据;
其中,待计算指标是指预先配置的需要根据业务数据进行计算以得到指标数据的指标,例如,交易金额、交易数量、交易卡号等等,待计算指标的数据是指基于各种业务场景产生的业务数据,是对待计算指标进行计算的基础。
S105:对所述待计算指标的数据进行计算,得到指标计算结果以及与所述指标计算结果相应的计算快照信息;
可选的,业务数据包含至少一项信息,例如在一条交易数据中,至少包含交易卡号、交易金额、交易时间等信息,对不同信息进行计算可以得到不同的指标计算结果,在获取业务数据后,根据计算出待计算指标需要的业务数据进行计算得到与待计算指标对应的指标计算结果,以及对计算出所述指标计算结果的计算过程的计算快照信息,计算快照信息是指对某一个计算过程的实际状态进行记录的信息,包括计算开始时间、计算结束时间、计算耗时等等。
以交易指标计算为例,当发生交易时会触发指标计算,待计算指标的指标名称包括user_trans_cnt:交易笔数;user_trans_amt:交易金额;user_trans_card:交易卡号。当发生一笔交易时,就根据交易信息对上述指标进行计算,得到关于该笔交易的交易笔数、交易金额和交易卡号的指标计算结果,对于每个指标计算结果都得到相应的计算快照信息,示例性的,对于交易笔数指标,得到交易笔数指标user_trans_cnt=1,计算开始时间为1686052403000,计算结束时间为1686052403010,计算耗时为10ms,同样的,对于交易金额指标、交易卡号指标也会生成对应的指标计算结果和与指标计算结果对应的计算快照信息。
S107:将所述指标计算结果和所述计算快照信息发送到数据仓库,并对所述数据仓库中的指标计算结果和计算快照信息进行处理,得到待校验列表;
为保证风控环节的时效性,一般采用流处理的方式,也可以在提高采集数据频率的情况下采用批处理的方式进行处理,本申请不限制将所述指标结果和所述计算快照信息发送到数据仓库的具体方式,为便于对本发明技术方案的理解,在本说明书中以流处理方式为实施例进行说明,示例性的,可以采用kafka消息系统发送到数据仓库,数据仓库是指用于存放结构化数据的存储平台,例如hive平台是基于Hadoop的一个数据仓库工具,能够将前述发送到数据仓库后的指标计算结果和计算快照信息映射为一张表,并提供类SQL的查询功能,示例性的,可以利用hive平台中的HDFS存储数据,便于后续使用SQL。
S109:从所述数据仓库中获取所述待校验列表,根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果;
其中,所述校验包括准确性校验、时效性校验、稳定性校验中的至少一种校验操作,所述准确性校验为得到所述指标计算结果的指标计算是否准确的校验,所述时效性校验为得到所述指标计算结果的指标计算是否及时的校验,所述稳定性校验为得到所述指标计算结果的指标计算是否稳定的校验。
风控环节需要根据指标计算结果进行决策,因此对指标计算结果有较高的要求,具体表现在指标计算结果的准确性、得出指标计算结果的时效性和指标计算结果的稳定性等方面,因此需要采取一定策略对指标计算结果和计算状态进行监测,确保风控环节做出决策所参照的指标计算结果的可靠性。
对于准确性校验,主要是对指标计算结果指示的指标数据的内容正确性进行校验,具体可以包括对字符串的校验、对数值的校验、对列表的校验、对日期范围的校验、对枚举值范围的校验,其中,对字符串校验可以包括空值校验、长度范围校验、格式校验、加解密校验和其他类型的校验,对数值的校验可以包括非负校验和大小范围校验,对列表的校验可以包括空值校验、列表长度范围校验和列表内容格式校验;对于时效性校验,包括对数据同步、指标计算和指标查询等过程所需时间的校验,对于稳定性校验,包括对指标计算的波动程度进行校验等。
本申请实施例提出的指标计算的监测方法、装置、电子设备及存储介质,通过将所述指标计算结果和所述计算快照信息发送到数据仓库,通过设定多种预设监测策略,对数据仓库中的各项指标进行计算,实现了指标计算和监测两个过程的异步,避免占用指标实时计算的资源,提高了指标实时计算的效率,提高了风控系统对指标计算监测的灵活性,通过对不同的指标计算结果和计算快照信息设定多种预设监测策略,能够对指标计算结果的准确性、计算过程的时效性和计算过程的稳定性进行全面监测,进而提升了风控环节的做出决策的准确性和可靠性,提高系统对风险应对的能力。
图2是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图二,如图2所示,在本发明的一个实施例中,S103包括:
S1033:获取待计算指标的指标名称;
如前所述,待计算指标是指预先配置的需要根据业务数据进行计算以得到指标数据的指标,风控环节中基于对指标计算结果的分析对业务请求做出决策,指标计算结果是基于对业务数据进行大量计算后而得出,用于针对指标查询请求做出进一步计算和分析,以支持风控环节基于分析结果做出决策,示例性的,指标名称包括交易金额、交易数量、交易卡号等等,为保证分析结果尽量准确,可以通过多个维度对多个指标进行分析,因此要根据不同指标提前对待计算指标进行配置,获取待计算指标的指标名称,可选的,在需要对某一卡号进行查询以评价交易是否存在异常的场景下,其中一种分析方式是通过查看近一个月交易金额判断交易情况是否符合交易习惯,从而判断是否存在异常并做出风控决策,例如,选择对交易放行还是阻断,在此场景下,则需要查找指标名称“交易金额”,并且对近一个月内的“交易金额”指标的数据进行求和计算,因此,在该场景下,待计算指标的指标名称至少包括“交易金额”。
S1035:在目标事件发生的情况下,提取所述目标事件的事件信息;
其中,所述目标事件为触发指标计算的事件,在确定了待计算指标的指标名称后,进而确定计算出计算所需要的数据,而计算需要的数据则要从目标事件的事件信息中获取,目标事件的事件信息是对待计算指标进行指标计算的基础。
S1037:根据所述指标名称,在所述事件信息中确定与所述指标名称具有相同名称的指标;
其中,事件信息是指与目标事件相关的信息,示例性的,当目标事件为交易事件的情况下,事件信息包括交易信息,具体可以包括交易数量、交易金额、交易卡号等。当待计算指标的指标名称为交易金额的情况下,在交易时间的交易信息中查找指标名称为“交易金额”的指标。
S1039:将所述指标的指标数据作为所述待计算指标的数据。
以交易信息为例,将在交易信息中查找到的“交易金额”相对应的指标数据,并将其作为待计算指标的数据,例如交易信息中显示交易金额的数据为1000,则确定“交易金额”这一待计算指标的数据为1000。
本发明提供的实施例能够通过对实时发生的目标事件做出反应,将新发生的目标事件的相关信息作为计算依据,能够及时更新对指标计算的评价依据,提高对指标计算评价结果的可靠性和时效性。
图3是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图三,如图3所示,在本发明的一个实施例中,S105包括:
S1053:获取第一预设映射信息,所述第一预设映射信息表征指标名称和计算策略之间的映射关系;
例如,在交易业务场景下,发生一笔新交易,系统接收到的交易信息包括交易ID、交易卡号、交易金额,示例性的,需要计算的指标名称包括交易金额、交易卡号。
S1055:基于所述映射关系,确定与所述待计算指标的指标名称对应的目标计算策略;
示例性的,确定待计算指标的名称为“交易卡号”,根据确定的指标名称“交易卡号”,确定与“交易卡号”存在映射关系的计算策略,例如,计算策略的内容为将交易卡号转换为64位的密文。
S1057:根据所述目标计算策略对所述待计算指标的数据进行计算,生成指标计算结果;
示例性的,在对新交易的交易信息中,对指标名称为“交易卡号”的待计算指标的数据进行计算,生成对应的指标计算结果为64位的密文,例如,“交易卡号”指标计算结果为RESULT=8aeb6176a0b514e5473682e38713c705088a6ba1b08d42688b57e49ca7f293d2。
S1059:获取对所述待计算指标的数据进行计算生成所述指标计算结果的计算快照信息;
其中,所述计算快照信息用于表征对所述待计算指标的数据进行计算生成所述指标计算结果的计算过程的状态。在本实施例中,获取与所述“交易卡号”的指标的指标计算结果相对应的计算过程的计算快照信息,例如,生成64位密文的计算过程的计算耗时为COST=21,计算开始时间和计算结束时间分别为ST ART_TIME=1686052403000、END_TIME=1686052403021。
本发明提供的实施例通过设置第一预设信息,确定指标名称和计算策略之间的映射关系,从而对于各类待计算指标能够及时确定相应的指标计算策略,提高了指标计算的时效性和准确性。
图4是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图四,在本发明的一个实施例中,所述指标计算结果为多个,S107包括:
S1073:将每个所述指标计算结果和相应的所述计算快照信息合成一条目标消息发送到数据仓库,所述目标消息包括标识信息;
如前所述,本申请不对数据仓库的设置作具体限制,数据仓库应当能够将目标消息进行结构化存储并且支持使用SQL指令进行查询等操作,示例性的,数据仓库可以包括hive等具有SQL功能的平台。
目标消息包括指标计算结果和相应的计算快照信息以及标识信息,其中,所述标识信息具有唯一性,用于关联指标计算结果和相应的目标事件,示例性的,当产生新的两笔交易,交易事件1的标识信息为123,交易事件2的标识信息为124,在目标事件为交易事件的场景下,每个新交易事件都会触发指标计算,对应于交易事件1进行的指标计算,可以生成几项指标计算结果,例如交易金额、交易数量,以交易数量、交易金额为待计算指标的指标名称,会生成两条目标消息,例如:对于交易事件1,会生成目标消息a:ID=123、INDEX_CODE=user_trans_cnt、IDNEX_TYPE=Number、RESULT=1、START_TIME=1686052403000、END_TIME=1686052403015、COST=15;
以及目标消息b:ID=123、INDEX_CODE=user_trans_amt、IDNEX_TYPE=Number、RESULT=100、START_TIME=1686052403000、END_TIME=1686052403008、COST=8;
其中,ID为目标消息的标识信息,INDEX_CODE为指标编码即指标名称,I DNEX_TYPE为指标数据类型,RESULT为指标计算结果,START_TIME为计算开始时间,END_TIME为计算结束时间,COST为计算耗时,user_trans_cnt表示交易数量,user_trans_amt表示交易金额,在查找交易金额,定位到目标消息b的情况下,根据ID为123,就可获知所述交易金额所对应的目标事件为交易事件1。
S1075:根据所述标识信息,将所述目标消息进行排列,得到待校验列表。
本申请不限制对目标消息进行排列的具体形式,为便于理解,以下举例说明,示例性的,可以不区分指标类型,按照标识信息的先后顺序将目标消息进行排列,例如:
经过指标计算得到的,同属于ID为123的同笔交易的目标消息包括
目标消息1:ID=123、INDEX_CODE=user_trans_cnt、IDNEX_TYPE=Numb er、RESULT=1、计算开始时间1、计算结束时间1、计算耗时1;
目标消息2:ID=123、INDEX_CODE=user_trans_amt、IDNEX_TYPE=Numb er、RESULT=100、计算开始时间1、计算结束时间2、计算耗时2;
目标消息3:ID=123、INDEX_CODE=user_trans_card、IDNEX_TYPE=Strin g、RESULT=卡号1、计算开始时间1、计算结束时间3、计算耗时3。
也可以按照指标类型进行排列,将指标类型相同的目标消息按照标识信息的先后顺序进行排列,例如,将待计算指标的指标名称为“交易数量user_trans_c nt”的目标消息按照标识信息的顺序123、124、125进行排列:
目标消息1:ID=123、INDEX_CODE=user_trans_cnt、IDNEX_TYPE=Numb er、RESULT=1、START_TIME=1686052403000、END_TIME=1686052403028、COST=28;
目标消息2:ID=124、INDEX_CODE=user_trans_cnt、IDNEX_TYPE=Numb er、RESULT=2、START_TIME=1686052403030、END_TIME=1686052403038、COST=8;
目标消息3:ID=125、INDEX_CODE=user_trans_cnt、IDNEX_TYPE=Numb er、RESULT=1、START_TIME=1686052403050、END_TIME=1686052403068、COST=18。
本领域技术人员可以理解,以上指标数量只是为便于对技术方案的理解而举例,并不对本申请技术方案构成限制,本申请的技术方案可适用于多个指标的计算,且可以根据实际需要增加、删除、修改指标数量和相应的校验策略。
本发明提供的实施例通过将指标计算结果和相应的计算快照信息合成目标消息发送到数据仓库中,将非标准化的数据转为具有结构化特征的列表,便于对列表中的数据进行查找、增加、删除和修改等操作,提高了对指标计算结果进行处理和监测的便利性,从而提高了对指标计算监测的效率和时效性。
图5是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图五,如图5所示,在本发明的一个实施例中,S109包括:
S1093:获取第二预设映射信息;所述第二预设映射信息表征指标名称与校验策略之间的映射关系;
根据第二预设映射信息所确定的校验策略主要是用于校验指标计算结果的准确性,由于指标计算结果包括多种类型,例如数字、字符串,对应于不同的待计算指标的指标名称设置有不同的目标校验策略,因此,第二预设映射信息与指标名称有关,本申请不对指标名称或目标校验策略做具体限制,指标名称是各种业务场景下的待计算指标的名称,目标校验策略是预设的对与各种指标名称所对应的指标计算进行校验的策略。
S1095:从所述指标计算结果中提取所述待计算指标的指标名称;
如前所述,对指标计算结果进行校验,需要确定与待计算指标的指标名称对应的目标校验策略,因此先从指标计算结果中提取待计算指标的指标名称,可选的,从指标计算结果中提取的指标名称为“交易卡号指标(user_trans_card)”。
S1097:根据所述第二预设映射信息的映射关系,确定与所述待计算指标的指标名称对应的目标校验策略;
如前所述,将交易卡号指标(user_trans_card)的名称对应到第二预设映射信息中,找到与交易卡号指标(user_trans_card)对应的目标校验策略,如前所述,对应的目标校验策略为:判断交易卡号指标user_trans_card的密文值长度是否正确。
S1099:根据所述目标校验策略对所述指标计算结果进行校验,获得指标计算监测结果。
本发明提供的实施例通过获取第二预设映射信息,确定待计算指标名称,确定与指标名称对应的目标校验策略,从而对与指标名称对应的指标计算结果进行校验,获得指标计算监测结果,提高了指标计算监测系统的全面性和灵活性,从而提高了指标计算监测的可靠性。
图6是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图六,在本发明的一个实施例中,在所述目标事件为交易事件的情况下,所述从所述指标计算结果中提取所述待计算指标的指标名称包括:
S203:从所述指标计算结果中提取交易数量指标的指标名称;
如前所述,所述第二预设映射信息表征指标名称与目标校验策略之间的映射关系,具体在目标事件为交易事件的情况下,则业务场景为交易业务场景,相关的指标为交易类指标,示例性的,指标名称可以为交易卡号、交易额、交易数量等等;例如,与交易卡号指标(user_trans_card)相对应的目标校验策略可以为:判断交易卡号指标user_trans_card的密文值长度是否正确,在长度不等于64的目标消息条数是否大于0的情况下,进行告警。对指标计算结果进行校验,需要确定与待计算指标名称对应的目标校验策略,因此先从指标计算结果中提取待计算指标名称,例如,待计算指标名称为“交易数量”,则提取“交易数量”。
相应地,所述根据所述第二预设映射信息的映射关系,确定与所述待计算指标的指标名称对应的目标校验策略,包括:
S205:根据所述第二预设映射信息,确定与所述交易数量指标的指标名称对应的目标校验策略;
将前述提取的“交易数量”与第二预设映射信息进行对应,根据“交易数量”的名称确定相对应的目标校验策略。
相应地,所述根据所述目标校验策略对所述指标计算结果进行校验,获得指标计算监测结果,包括:
S207:在所述待校验表中,查找并获取所述交易数量指标的数据,作为所述当前指标数据;
用SQL指令查询指标名称为“交易数量user_trans_cnt”所对应的指标计算结果,将指标计算结果作为当前指标数据,例如,根据“交易数量user_trans_cnt”查找到RESULT=1,将1作为当前指标数据。
S209:比较所述当前指标数据和预设指标数据的大小,得到比较结果;
其中,预设指标数据为当指标计算不存在异常的情况下的指标数据值,用于与实际的指标数据值进行比较。
示例性的,当待计算指标为交易数量指标的情况下,每一笔交易所得到的交易数量指标数据都应该为1,则预设指标数据为1。
S2111:在所述比较结果指示所述当前指标数据小于或大于所述预设指标数据的情况下,确定指标计算监测结果为准确性存在异常的监测结果;
如前所述,由于目标事件为交易事件时,每一笔交易触发一次计算,则对于每一笔交易而言,交易数量指标的数据都应该为1,在当前指标数据为交易数量指标数据的情况下,当前指标数据小于1或者大于1都不符合交易实际,此时可以得出指标计算检测结果为准确性存在异常,表示对于产生这一交易数量指标数据的指标计算的准确性存在异常。
示例性的,根据“交易数量”名称确定的目标校验策略的内容为:判断“交易数量指标(user_trans_cnt)的计算数”是否为0,在预设时间内交易数量指标(us er_trans_cnt)停止计算的情况下进行告警。本申请不对预设时间作具体限制,可选的,预设时间可以为0,即只要对“交易数量”指标的指标计算结果进行校验,且校验发现指标计算结果为0时,得出指标计算监测结果为异常的监测结果,并进行告警;或者预设时间可以为预设校验周期T,在周期T内,发现指标计算结果为0时,得出指标计算监测结果为异常的监测结果,并进行告警。
S2112:在所述比较结果指示所述当前指标数据等于所述预设指标数据的情况下,确定所述指标计算监测结果为准确性非异常的监测结果。
如前所述,在交易数量指标数据等于1的情况下,符合交易实际,此时可以得出指标计算检测结果为准确性非异常,表示对于产生这一交易数量指标数据的指标计算的准确性非异常。
本发明提供的实施例通过设置第二预设映射信息,在确定指标名称的情况下,能够根据第二预设映射信息确定相应的目标校验策略,从而对该指标名称下的指标数据按照目标校验策略进行校验,从而得出指标计算的准确性是否存在异常的监测结果,能够提高指标计算结果监测的效率和灵活性,通过对不同指标名称设置对应的目标校验策略,提高了监测维度的多样性,从而提高了指标计算监测结果的可靠性;通过在离线数据平台上提前配置第二预设映射信息对指标计算结果进行校验,可以灵活调整对指标计算进行评价的维度,即可以根据评价的需要增加、修改或减少配置,而不影响实时指标计算,通过实现指标计算和指标计算结果校验的异步,提高了指标计算结果校验的灵活性和独立性,避免占用指标计算的资源,提高指标计算的效率。
图7是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图七,如图7所示,在本发明的一个实施例中,S109包括:
S1095:获取第三预设映射信息,所述第三预设映射信息表征计算快照信息的信息名称和校验策略之间的映射关系,所述计算快照信息包括计算耗时信息;
计算快照信息表示对计算出指标计算结果的相应指标计算过程的相关状态,本申请不限制计算快照信息的信息名称,本申请的技术方案中所获得的的计算快照信息至少包括一种信息,可选的,计算快照信息可以包括计算耗时、计算开始时间、计算结束时间等,计算快照信息可以反映出计算过程是否存在异常,从而帮助监测该次指标计算。
S303:从所述计算快照信息中获取所述计算耗时信息的信息名称;
如前所述,第三预设映射信息中对于每一种计算快照信息设置了相应的目标校验策略,因此要先从计算快照信息中获取信息名称,示例性的,从计算快照信息中获取的其中一项计算快照信息的信息名称为计算耗时信息。
S305:根据第三预设映射信息的所述映射关系,确定与所述计算耗时信息的信息名称对应的目标校验策略;
其中,所述目标校验策略为比较计算耗时信息所指示的计算耗时和预设计算耗时的大小的策略;示例性的,在信息名称为计算耗时信息的情况下,根据第三预设映射信息中的预设关系,确定与计算耗时信息相应的目标校验策略,本申请不限制与各类计算快照信息对应的目标校验策略的具体内容,为便于理解,示例性的,所述目标校验策略的内容可以为比较计算耗时信息所指示的计算耗时和预设计算耗时的大小,其中,预设计算耗时是在正常的指标计算过程中,完成一次指标计算的耗时,在指标计算得到的具体的计算耗时超过预设计算耗时的情况下,则认为计算过程存在异常,指标计算的时效性存在问题。
S307:在所述待校验表中,查找所述计算耗时信息指示的计算耗时;
利用SQL指令,在待校验表中查找计算耗时信息,即名称为“COST”的信息,例如:COST=10、COST=18、COST=11,则计算耗时为10ms、18ms、11ms。
S309:比较所述计算耗时和预设计算耗时的大小,得到比较结果;
预设计算耗时是指在正常的指标计算过程中,完成一次指标计算需要消耗的时间,示例性的,预设计算耗时为15ms,与查找到的计算耗时进行比较。
S3111:在所述比较结果指示所述计算耗时大于所述预设计算耗时的情况下,确定指标计算监测结果为时效性存在异常的监测结果;
示例性的,在计算耗时为18ms的情况下,计算耗时大于预设计算耗时,则计算过程存在过慢的情况,表示指标计算时效性存在异常。
S3112:在所述比较结果指示所述计算耗时小于或等于所述预设计算耗时的情况下,确定所述指标计算监测结果为时效性非异常的监测结果。
可选的,在计算耗时为11ms的情况下,计算耗时小于预设计算耗时,则计算耗时处于正常范围内,确定指标计算监测结果为时效性非异常的监测结果。
本发明提供的实施例通过设置第三预设映射信息,对指标计算的计算快照信息进行监测,并且对不同的计算快照信息设置了不同的校验策略,增加了监测的维度,完善了指标计算监测体系,提高了指标计算监测结果的可靠性,及时发现指标计算耗时过长的问题,能够及时调整指标计算系统的配置,从而提升计算的时效性,保证指标计算的效率,从而保证对风险控制的时效性,降低对风险预知的滞后性;通过在离线数据平台上提前配置第三预设映射信息对计算快照信息进行校验,可以灵活调整对计算快照信息进行评价的维度,通过实现指标计算和指标计算过程校验的异步,提高了对指标计算过程校验的灵活性和独立性,避免占用指标计算的资源,提高指标计算的效率。
图8是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图八,如图8所示,在本发明的一个实施例中,S109包括:
S401:从所述计算快照信息中获取计算耗时信息。
如前所述,计算快照信息可以包括计算耗时信息、计算开始时间信息、计算结束时间信息等,计算耗时信息指示得到指标计算结果所对应的计算过程所消耗的时间,计算开始时间信息指示得到指标计算结果所对应的计算过程的开始时间,计算结束时间信息指示得到指标计算结果所对应的计算过程的结束时间,示例性的,计算快照信息中至少包括计算耗时信息,则从计算快照信息中获得计算耗时信息。
S403:在一个预设周期内,对所述计算耗时信息指示的计算耗时进行平均值统计,得到当前的计算耗时平均值;
本申请不对预设周期作具体限制,为帮助理解,示例性的,预设周期可以为10分钟、15分钟、20分钟等,例如,预设周期为10分钟,每10分钟对某一指标名称对应的指标计算过程的计算耗时进行求和,再计算出平均值,得到当前预设周期内的计算耗时平均值。
S405:将当前的所述计算耗时平均值和预设计算耗时平均值进行比较,得到比较结果;
其中,预设计算耗时平均值为在指标计算过程不存在异常的情况下,一个预设周期内的指标计算的计算耗时的平均值。
S4071:在相邻预设数量个所述预设周期的计算耗时平均值均满足预设条件的情况下,确定所述指标计算监测结果为稳定性存在异常的监测结果;
本申请不对预设数量作具体限制,预设数量可以根据实际需要确定,例如2个、3个、4个;预设条件是指相邻判定指标计算过程存在异常的条件,满足预设条件的情况下,则认为指标计算过程存在异常,对于指标计算的稳定性,可以设定不同的条件进行监测。本申请不对预设条件的具体内容做限制,为便于理解,示例性的,每10分钟对计算耗时进行计算得到当前预设周期内的计算耗时平均值,预设条件为当前的计算耗时平均值均为预设计算耗时平均值的3倍,则当相邻两个10分钟内的计算耗时平均值均为预设计算耗时平均值的3倍时,满足预设条件。
S4072:在相邻预设数量个所述预设周期中的至少一个所述预设周期的计算耗时平均值不满足预设条件的情况下,确定所述指标计算监测结果为稳定性非异常的监测结果。
可选的,在至少一个预设周期的计算耗时平均值不满足预设条件的情况下,则认为指标计算过程非异常,例如,当在相邻预设数量个预设周期中的计算耗时平均值中,至少有一个计算耗时平均值不符合预设条件,即有一个当前的计算耗时平均值达不到预设计算耗时平均值的3倍,则认为指标计算过程非异常。
本发明提供的实施例通过对相邻两个预设周期内的计算耗时平均值和预设计算耗时平均值进行比较,能够评价计算耗时的稳定性,从而判断指标计算过程是否稳定,当指标计算过程的稳定性存在异常的情况下,能够对指标计算的配置进行调整,以提高指标计算过程的稳定性,从而保证风险控制所依据的指标计算结果的可靠性,优化风险控制效果。
图九是根据一示例性实施例示出的一种指标计算的监测方法的流程示意图九。如图9所示,在本发明的一个实施例中,S109之后,所述方法还包括:
S503:在所述指标监测结果指示准确性、时效性或者稳定性中的至少一种存在异常的情况下,将所述待校验列表中存在异常的指标计算结果和相对应的计算快照信息保存到反馈列表中;
其中,本申请不对反馈列表的格式做具体限制,但由于待校验列表是由一条条的目标消息组成,每一条目标消息均包括指标计算结果和相应的计算快照信息,相应的,为了方便指标管理端对反馈列表中的目标消息进行管理,反馈列表中应当至少包括目标消息中的数据唯一标识、指标名称、指标数据以及相应的计算快照信息。
S505:向指标管理端发送所述反馈列表。
可选的,在数据开发平台batchworks上创建python任务,将定义好的校验策略在任务中定时执行,若有数据存在异常,则将反馈列表,通过飞书、邮件等方式发送给相应的指标管理端。
本发明提供的实施例通过在指标检测结果指示指标计算的准确性、时效性或者稳定性存在异常的情况下,将存在异常的情况计入反馈列表,并反馈给相应的指标管理端,能够精确帮助指标管理端对存在异常的指标计算进行调整,重新进行计算,以保证指标计算结果的准确性、稳定性、时效性,从而保证风控决策的可靠性。
在本发明的一个实施例中,在所述获得指标计算监测结果之后,所述方法还包括:经过预设周期后,清空所述数据仓库中的所述待检验列表。
可选的,在预设周期后,对数据仓库进行清空处理,本申请不限制具体的预设周期,示例性的,预设周期可以为1个月、2个月、3个月、6个月等。
本发明提供的实施例通过在经过预设周期后,将数据仓库中的待检验列表清空,提高了数据仓库的内存的可用性,提高了指标计算监测的效率。
图10是根据一示例性实施例示出的一种指标计算的监测装置图,如图10所示,本发明还提供了一种指标计算的监测装置,其特征在于,所述装置包括:
603:数据获取模块;用于获取待计算指标的数据;
605:数据计算模块;对所述待计算指标的数据进行计算,得到指标计算结果以及与所述指标计算结果相应的计算快照信息;
607:列表构建模块;将所述指标计算结果和所述计算快照信息发送到数据仓库,并对所述数据仓库中的指标计算结果和计算快照信息进行处理,得到待校验列表;
609:校验模块;从所述数据仓库中获取所述待校验列表,根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果;其中,所述校验包括准确性校验、时效性校验、稳定性校验中的至少一种校验操作,所述准确性校验为得到所述指标计算结果的指标计算是否准确的校验,所述时效性校验为得到所述指标计算结果的指标计算是否及时的校验,所述稳定性校验为得到所述指标计算结果的指标计算是否稳定的校验。
在一种可选的实施例中,所述数据获取模块包括:
指标名称获取模块;用于获取待计算指标的指标名称;
事件信息提取模块;用于在目标事件发生的情况下,提取所述目标事件的事件信息,所述目标事件为触发指标计算的事件;
指标确定模块;用于根据所述指标名称,在所述事件信息中确定与所述指标名称具有相同名称的指标;
指标数据确定模块;用于将所述指标的指标数据作为所述待计算指标的数据。
在一种可选的实施例中,所述数据计算模块包括:
第一预设映射信息获取模块;用于获取第一预设映射信息,所述第一预设映射信息表征指标名称和计算策略之间的映射关系;
目标计算策略确定模块;用于基于所述映射关系,确定与所述待计算指标的指标名称对应的目标计算策略;
指标计算模块;用于根据所述目标计算策略对所述待计算指标的数据进行计算,生成指标计算结果;
计算快照信息获取模块;用于获取对所述待计算指标的数据进行计算生成所述指标计算结果的计算快照信息;
其中,所述计算快照信息用于表征对所述待计算指标的数据进行计算生成所述指标计算结果的计算过程的状态。
在一种可选的实施例中,所述列表构建模块包括:
目标消息发送模块;用于将每个所述指标计算结果和相应的所述计算快照信息合成一条目标消息发送到数据仓库,所述目标消息包括标识信息;
待校验列表生成模块;用于根据所述标识信息,将所述目标消息进行排列,得到待校验列表。
在一种可选的实施例中,所述校验模块包括:
第二预设映射信息获取模块;用于所述第二预设映射信息表征指标名称与校验策略之间的映射关系;
指标名称提取模块;用于从所述指标计算结果中提取所述待计算指标的指标名称;
目标校验策略映射模块;用于根据所述第二预设映射信息的映射关系,确定与所述待计算指标的指标名称对应的目标校验策略;
监测结果生成模块;用于根据所述目标校验策略对所述指标计算结果进行校验,获得指标计算监测结果。
在一种可选的实施例中,所述指标名称提取模块包括:
交易数量指标名称提取模块;用于从所述指标计算结果中提取交易数量指标的指标名称;
交易数量指标的目标校验策略确定模块;用于根据所述第二预设映射信息,确定与所述交易数量指标的指标名称对应的目标校验策略;所述与所述交易数量指标的指标名称对应的目标校验策略为比较当前指标数据和预设指标数据的大小的策略;
当前指标数据获得模块;用于在所述待校验表中,查找并获取所述交易数量指标的数据,作为所述当前指标数据;
指标数据大小比较模块;用于比较所述当前指标数据和预设指标数据的大小,得到比较结果;
监测结果生成模块;用于在所述比较结果指示所述当前指标数据小于或大于所述预设指标数据的情况下,确定指标计算监测结果为准确性存在异常的监测结果,在所述比较结果指示所述当前指标数据等于所述预设指标数据的情况下,确定所述指标计算监测结果为准确性非异常的监测结果。
在一种可选的实施例中,所述校验模块包括:
第三预设映射信息获取模块;用于获取第三预设映射信息,所述第三预设映射信息表征计算快照信息的信息名称和校验策略之间的映射关系,所述计算快照信息包括计算耗时信息;
目标校验策略确定模块;用于从所述计算快照信息中获取所述计算耗时信息的信息名称,根据第三预设映射信息的所述映射关系,确定与所述计算耗时信息的信息名称对应的目标校验策略;所述目标校验策略为比较计算耗时信息所指示的计算耗时和预设计算耗时的大小的策略;
计算耗时大小比较模块;用于在所述待校验表中,查找所述计算耗时信息指示的计算耗时,比较所述计算耗时和预设计算耗时的大小,得到比较结果;
监测结果生成模块;用于在所述比较结果指示所述计算耗时大于所述预设计算耗时的情况下,确定指标计算监测结果为时效性存在异常的监测结果;在所述比较结果指示所述计算耗时小于或等于所述预设计算耗时的情况下,确定所述指标计算监测结果为时效性非异常的监测结果。
在一种可选的实施例中,所述校验模块包括:
计算耗时信息获取模块;用于从所述计算快照信息中获取计算耗时信息;
计算耗时平均值计算模块;用于在一个预设周期内,对所述计算耗时信息指示的计算耗时进行平均值统计,得到当前的计算耗时平均值;
计算耗时平均值大小比较模块;用于将当前的所述计算耗时平均值和预设计算耗时平均值进行比较,得到比较结果;
监测结果生成模块;用于在相邻预设数量个所述预设周期的计算耗时平均值均满足预设条件的情况下,确定所述指标计算监测结果为稳定性存在异常的监测结果;在相邻预设数量个所述预设周期中的至少一个所述预设周期的计算耗时平均值不满足预设条件的情况下,确定所述指标计算监测结果为稳定性非异常的监测结果。
在一种可选的实施例中,所述校验模块包括:
反馈列表生成模块;用于在所述指标监测结果指示准确性、时效性或者稳定性中的至少一种存在异常的情况下,将所述待校验列表中存在异常的指标计算结果和相对应的计算快照信息保存到反馈列表中;
反馈列表发送模块;用于向指标管理端发送所述反馈列表。
实施本发明的技术方案,能够得到以下有益效果:
1.本发明提出的指标计算的监测方法、装置、电子设备及存储介质,通过将所述指标计算结果和所述计算快照信息发送到数据仓库,通过设定多种预设监测策略,对数据仓库中的各项指标进行计算,实现了指标计算和监测两个过程的异步,避免占用指标实时计算的资源,提高了指标实时计算的效率,提高了风控系统对指标计算监测的灵活性,通过对不同的指标计算结果和计算快照信息设定多种预设监测策略,能够对指标计算结果的准确性、计算过程的时效性和计算过程的稳定性进行全面监测,进而提升了风控环节的做出决策的准确性和可靠性,提高系统对风险应对的能力。
2.本发明提供的实施例能够通过对实时发生的目标事件做出反应,将新发生的目标事件的相关信息作为计算依据,能够及时更新对指标计算的评价依据,提高对指标计算评价结果的可靠性和时效性。
3.本发明提供的实施例通过设置第一预设信息,确定指标名称和计算策略之间的映射关系,从而对于各类待计算指标能够及时确定相应的指标计算策略,提高了指标计算的时效性和准确性。
4.本发明提供的实施例通过将指标计算结果和相应的计算快照信息合成目标消息发送到数据仓库中,将非标准化的数据转为具有结构化特征的列表,便于对列表中的数据进行查找、增加、删除和修改等操作,提高了对指标计算结果进行处理和监测的便利性,从而提高了对指标计算监测的效率和时效性。
5.本发明提供的实施例通过获取第二预设映射信息,确定待计算指标名称,确定与指标名称对应的目标校验策略,从而对与指标名称对应的指标计算结果进行校验,获得指标计算监测结果,提高了指标计算监测系统的全面性和灵活性,从而提高了指标计算监测的可靠性。
6.本发明提供的实施例通过设置第二预设映射信息,在确定指标名称的情况下,能够根据第二预设映射信息确定相应的目标校验策略,从而对该指标名称下的指标数据按照目标校验策略进行校验,从而得出指标计算的准确性是否存在异常的监测结果,能够提高指标计算结果监测的效率和灵活性,通过对不同指标名称设置对应的校验策略,提高了监测维度的多样性,从而提高了指标计算监测结果的可靠性;通过在离线数据平台上提前配置第二预设映射信息对指标计算结果进行校验,可以灵活调整对指标计算进行评价的维度,即可以根据评价的需要增加、修改或减少配置,而不影响实时指标计算,通过实现指标计算和指标计算结果校验的异步,提高了指标计算结果校验的灵活性和独立性,避免占用指标计算的资源,提高指标计算的效率。
7.本发明提供的实施例通过设置第三预设映射信息,对指标计算的计算快照信息进行监测,并且对不同的计算快照信息设置了不同的校验策略,增加了监测的维度,完善了指标计算监测体系,提高了指标计算监测结果的可靠性,及时发现指标计算耗时过长的问题,能够及时调整指标计算系统的配置,从而提升计算的时效性,保证指标计算的效率,从而保证对风险控制的时效性,降低对风险预知的滞后性;通过在离线数据平台上提前配置第三预设映射信息对计算快照信息进行校验,可以灵活调整对计算快照信息进行评价的维度,通过实现指标计算和指标计算过程校验的异步,提高了对指标计算过程校验的灵活性和独立性,避免占用指标计算的资源,提高指标计算的效率。
8.本发明提供的实施例通过对相邻两个预设周期内的计算耗时平均值和预设计算耗时平均值进行比较,能够评价计算耗时的稳定性,从而判断指标计算过程是否稳定,当指标计算过程的稳定性存在异常的情况下,能够对指标计算的配置进行调整,以提高指标计算过程的稳定性,从而保证风险控制所依据的指标计算结果的可靠性,优化风险控制效果。
9.本发明提供的实施例通过在指标检测结果指示指标计算的准确性、时效性或者稳定性存在异常的情况下,将存在异常的情况计入反馈列表,并反馈给相应的指标管理端,能够精确帮助指标管理端对存在异常的指标计算进行调整,重新进行计算,以保证指标计算结果的准确性、稳定性、时效性,从而保证风控决策的可靠性。
10.本发明提供的实施例通过在经过预设周期后,将数据仓库中的待检验列表清空,提高了数据仓库的内存的可用性,提高了指标计算监测的效率。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种指标计算的监测方法及装置,其特征在于,所述方法包括:
获取待计算指标的数据;
对所述待计算指标的数据进行计算,得到指标计算结果以及与所述指标计算结果相应的计算快照信息;
将所述指标计算结果和所述计算快照信息发送到数据仓库,并对所述数据仓库中的指标计算结果和计算快照信息进行处理,得到待校验列表;
从所述数据仓库中获取所述待校验列表,根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果;
其中,所述校验包括准确性校验、时效性校验、稳定性校验中的至少一种校验操作,所述准确性校验为得到所述指标计算结果的指标计算是否准确的校验,所述时效性校验为得到所述指标计算结果的指标计算是否及时的校验,所述稳定性校验为得到所述指标计算结果的指标计算是否稳定的校验。
2.根据权利要求1所述的方法,其特征在于,所述获取待计算指标的数据包括:
获取待计算指标的指标名称;
在目标事件发生的情况下,提取所述目标事件的事件信息,所述目标事件为触发指标计算的事件;
根据所述指标名称,在所述事件信息中确定与所述指标名称具有相同名称的指标;
将所述指标的指标数据作为所述待计算指标的数据。
3.根据权利要求2所述的方法,其特征在于,所述对所述待计算指标的数据进行计算,得到指标计算结果以及与所述指标计算结果相应的计算快照信息包括:
获取第一预设映射信息,所述第一预设映射信息表征指标名称和计算策略之间的映射关系;
基于所述映射关系,确定与所述待计算指标的指标名称对应的目标计算策略;
根据所述目标计算策略对所述待计算指标的数据进行计算,生成指标计算结果;
获取对所述待计算指标的数据进行计算生成所述指标计算结果的计算快照信息;
其中,所述计算快照信息用于表征对所述待计算指标的数据进行计算生成所述指标计算结果的计算过程的状态。
4.根据权利要求1所述的方法,其特征在于,所述指标计算结果为多个,所述将所述指标计算结果和所述计算快照信息发送到数据仓库,并对所述数据仓库中的指标计算结果和计算快照信息进行处理,得到待校验列表包括:
将每个所述指标计算结果和相应的所述计算快照信息合成一条目标消息发送到数据仓库,所述目标消息包括标识信息;
根据所述标识信息,将所述目标消息进行排列,得到待校验列表。
5.根据权利要求2所述的方法,其特征在于,所述根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果包括:
获取第二预设映射信息;所述第二预设映射信息表征指标名称与校验策略之间的映射关系;
从所述指标计算结果中提取所述待计算指标的指标名称;
根据所述第二预设映射信息的映射关系,确定与所述待计算指标的指标名称对应的目标校验策略;
根据所述目标校验策略对所述指标计算结果进行校验,获得指标计算监测结果。
6.根据权利要求5所述的方法,其特征在于,在所述目标事件为交易事件的情况下,所述从所述指标计算结果中提取所述待计算指标的指标名称包括:
从所述指标计算结果中提取交易数量指标的指标名称;
相应地,所述根据所述第二预设映射信息的映射关系,确定与所述待计算指标的指标名称对应的目标校验策略,包括:
根据所述第二预设映射信息,确定与所述交易数量指标的指标名称对应的目标校验策略;所述与所述交易数量指标的指标名称对应的目标校验策略为比较当前指标数据和预设指标数据的大小的策略;
相应地,所述根据所述目标校验策略对所述指标计算结果进行校验,获得指标计算监测结果,包括:
在所述待校验表中,查找并获取所述交易数量指标的数据,作为所述当前指标数据;
比较所述当前指标数据和预设指标数据的大小,得到比较结果;
在所述比较结果指示所述当前指标数据小于或大于所述预设指标数据的情况下,确定指标计算监测结果为准确性存在异常的监测结果,在所述比较结果指示所述当前指标数据等于所述预设指标数据的情况下,确定所述指标计算监测结果为准确性非异常的监测结果。
7.根据权利要求1所述的方法,其特征在于,所述根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果包括:
获取第三预设映射信息,所述第三预设映射信息表征计算快照信息的信息名称和校验策略之间的映射关系,所述计算快照信息包括计算耗时信息;
从所述计算快照信息中获取所述计算耗时信息的信息名称,根据第三预设映射信息的所述映射关系,确定与所述计算耗时信息的信息名称对应的目标校验策略;所述目标校验策略为比较计算耗时信息所指示的计算耗时和预设计算耗时的大小的策略;
在所述待校验表中,查找所述计算耗时信息指示的计算耗时,比较所述计算耗时和预设计算耗时的大小,得到比较结果;
在所述比较结果指示所述计算耗时大于所述预设计算耗时的情况下,确定指标计算监测结果为时效性存在异常的监测结果;
在所述比较结果指示所述计算耗时小于或等于所述预设计算耗时的情况下,确定所述指标计算监测结果为时效性非异常的监测结果。
8.根据权利要求1所述的方法,其特征在于,所述根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果包括:
从所述计算快照信息中获取计算耗时信息;
在一个预设周期内,对所述计算耗时信息指示的计算耗时进行平均值统计,得到当前的计算耗时平均值;
将当前的所述计算耗时平均值和预设计算耗时平均值进行比较,得到比较结果;
在相邻预设数量个所述预设周期的计算耗时平均值均满足预设条件的情况下,确定所述指标计算监测结果为稳定性存在异常的监测结果;
在相邻预设数量个所述预设周期中的至少一个所述预设周期的计算耗时平均值不满足预设条件的情况下,确定所述指标计算监测结果为稳定性非异常的监测结果。
9.根据权利要求1所述的方法,其特征在于,所述根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果之后,所述方法还包括:
在所述指标监测结果指示准确性、时效性或者稳定性中的至少一种存在异常的情况下,将所述待校验列表中存在异常的指标计算结果和相对应的计算快照信息保存到反馈列表中;
向指标管理端发送所述反馈列表。
10.一种指标计算的监测装置,其特征在于,所述装置包括:
数据获取模块;用于获取待计算指标的数据;
数据计算模块;对所述待计算指标的数据进行计算,得到指标计算结果以及与所述指标计算结果相应的计算快照信息;
列表构建模块;将所述指标计算结果和所述计算快照信息发送到数据仓库,并对所述数据仓库中的指标计算结果和计算快照信息进行处理,得到待校验列表;
校验模块;从所述数据仓库中获取所述待校验列表,根据目标校验策略,对所述待校验列表中的指标计算结果、计算快照信息中的至少一种进行校验,得到指标计算监测结果;其中,所述校验包括准确性校验、时效性校验、稳定性校验中的至少一种校验操作,所述准确性校验为得到所述指标计算结果的指标计算是否准确的校验,所述时效性校验为得到所述指标计算结果的指标计算是否及时的校验,所述稳定性校验为得到所述指标计算结果的指标计算是否稳定的校验。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311586503.7A CN117541378A (zh) | 2023-11-24 | 2023-11-24 | 指标计算的监测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311586503.7A CN117541378A (zh) | 2023-11-24 | 2023-11-24 | 指标计算的监测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117541378A true CN117541378A (zh) | 2024-02-09 |
Family
ID=89789673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311586503.7A Pending CN117541378A (zh) | 2023-11-24 | 2023-11-24 | 指标计算的监测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117541378A (zh) |
-
2023
- 2023-11-24 CN CN202311586503.7A patent/CN117541378A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6707564B2 (ja) | データ品質分析 | |
US10831648B2 (en) | Intermittent failure metrics in technological processes | |
CN107729376B (zh) | 保险数据审核方法、装置、计算机设备及存储介质 | |
WO2010042386A2 (en) | Detection of confidential information | |
CN108647357B (zh) | 数据查询的方法及装置 | |
WO2022252512A1 (zh) | 根因分析方法、装置、电子设备、介质和程序 | |
CN113505044B (zh) | 数据库告警方法、装置、设备和存储介质 | |
CN109871368A (zh) | 数据库检测方法、装置、计算机装置及存储介质 | |
CN111061802B (zh) | 一种电力数据管理处理方法、装置及存储介质 | |
CN112100219A (zh) | 基于数据库查询处理的报表生成方法、装置、设备和介质 | |
CN112631889A (zh) | 针对应用系统的画像方法、装置、设备及可读存储介质 | |
US11308130B1 (en) | Constructing ground truth when classifying data | |
CN112486841A (zh) | 埋点采集数据校验的方法及装置 | |
CN117541378A (zh) | 指标计算的监测方法及装置 | |
JP4928480B2 (ja) | ジョブ処理システムおよびジョブ管理方法 | |
CN112667149B (zh) | 一种数据热度感知方法、装置、设备及介质 | |
CN113626387A (zh) | 一种任务数据的导出方法、装置、电子设备及存储介质 | |
JP2009181494A (ja) | ジョブ処理システムおよびジョブ情報取得方法 | |
CN111639057A (zh) | 日志消息处理方法、装置、计算机设备及存储介质 | |
CN111581220A (zh) | 用于时间序列数据的存储及检索方法、装置、设备及存储介质 | |
CN113609407B (zh) | 地区一致性校验方法和装置 | |
CN113986898A (zh) | 一种数据质量检测方法、装置、设备及可读存储介质 | |
CN112614005B (zh) | 企业复工状态的处理方法和装置 | |
KR102011694B1 (ko) | 공적기관 소득재산 연계자료 검증시스템 및 그 기록매체 | |
CN117032560A (zh) | 动态压缩存储及分位数据分析方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |