CN111061615A - 数据仓库的数据监控方法、装置、服务器和存储介质 - Google Patents
数据仓库的数据监控方法、装置、服务器和存储介质 Download PDFInfo
- Publication number
- CN111061615A CN111061615A CN201911355827.3A CN201911355827A CN111061615A CN 111061615 A CN111061615 A CN 111061615A CN 201911355827 A CN201911355827 A CN 201911355827A CN 111061615 A CN111061615 A CN 111061615A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- index
- data
- task
- index range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 486
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012795 verification Methods 0.000 claims abstract description 31
- 230000004044 response Effects 0.000 claims description 47
- 239000008280 blood Substances 0.000 claims description 16
- 210000004369 blood Anatomy 0.000 claims description 16
- 230000004048 modification Effects 0.000 claims description 16
- 238000012986 modification Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 abstract description 6
- 238000012806 monitoring device Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 51
- 230000007613 environmental effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003064 k means clustering Methods 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Abstract
本申请公开了一种数据仓库的数据监控方法、装置、服务器和存储介质,互联网技术领域。方法包括:从第一业务数据库中获取数据仓库的目标监控任务在当前监控周期内的第一业务数据流;根据第一业务数据流,统计目标监控任务的监控指标的实际值;根据实际值,确定监控指标的第一指标范围;获取目标监控任务在当前监控周期内的影响因子;根据影响因子,对目标监控任务的第一指标范围进行合理性验证;在对第一指标范围的合理性验证通过时,通过第一指标范围,对目标监控任务的监控指标进行数据监控。本申请能够保证第一指标范围能跟随公司业务的发展而自动波动,提高了确定出的第一指标范围的准确性。并且,还可以确保了第一指标范围的合理性。
Description
技术领域
本申请涉及互联网技术领域,特别涉及一种数据仓库的数据监控方法、装置、服务器和存储介质。
背景技术
随着互联网技术的发展,涌现了越来越多用于销售生鲜产品的生鲜电商。用户可以通过第一终端上安装的客户端在该生鲜电商中购买生鲜产品。而生鲜商品的订单数据、生鲜产品的货物数据等相关数据会周期性从生鲜电商同步到数据仓库中。为了及时发现异常,需要周期性对数据仓库中的数据进行监控。
相关技术中主要是对数据仓库中当前周期新增的数据量进行监控,并且,工作人员预先设置一个预设阈值。响应于新增的数据量不为零,且新增的数据量与上一周期新增的数据量的差值超过该预设阈值,则确定数据仓库中的数据是异常的。
相关技术中的预设阈值一般是工作人员配置的,不仅会增加工作人员的工作量;而且该预设阈值可能与当前周期的业务信息不匹配,进而导致数据监控的准确性差。
发明内容
本申请实施例提供了数据仓库的数据监控方法、装置、服务器和存储介质,能够提高监控准确性。所述技术方案如下:
一方面,提供了一种数据仓库的数据监控方法,所述方法包括:
从第一业务数据库中获取数据仓库的目标监控任务在当前监控周期内的第一业务数据流;
根据所述第一业务数据流,统计所述目标监控任务的监控指标的实际值;
根据所述实际值,确定所述监控指标的第一指标范围;
获取所述目标监控任务在当前监控周期内的影响因子;
根据所述影响因子,对所述目标监控任务的第一指标范围进行合理性验证;
在对所述第一指标范围的合理性验证通过时,通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控。
在一种可能的实现方式中,所述根据所述影响因子,对所述目标监控任务的第一指标范围进行合理性验证,包括:
获取所述目标监控任务在上一监控周期内的第二指标范围和所述影响因子对指标范围的影响值;在所述第二指标范围上调整所述影响值,得到所述第一指标范围的参考范围;响应于所述第一指标范围在所述参考范围内,确定对所述第一指标范围的合理性验证通过;或者,
根据所述影响因子,获取所述目标监控任务在历史监控周期内的第三指标范围,所述目标监控任务在所述历史监控周期内的影响因子与在所述当前监控周期内的影响因子相同,确定所述第三指标范围和所述第一指标范围之间的欧式距离,基于所述欧式距离,对所述第一指标范围进行合理性验证。
在另一种可能的实现方式中,所述获取所述目标监控任务在当前监控周期内的影响因子,包括:
获取所述当前监控周期对应的日期性质,响应于所述日期性质为节假日,确定所述影响因子为节假日;或者,
获取所述当前监控周期内的环境信息;响应于所述环境信息表示所述当前监控周期内的天气为阴雨天,确定所述影响因子为天气;或者,
获取所述当前监控周期内的销售信息;响应于所述销售信息表示在所述当前监控周期内进行了促销,确定所述影响因子为促销。
在另一种可能的实现方式中,所述方法还包括:
从所述第一业务数据库中获取多个数据表的表参数,所述多个数据表为所述目标监控任务对应的数据表;
根据所述多个数据表的表参数,解析出每个数据表的血缘关系;
响应于感知到的在所述第一业务数据库中对目标数据表的修改操作;
根据所述修改操作和所述每个数据表的血缘关系,修改所述目标监控任务的任务参数。
在另一种可能的实现方式中,所述通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控之前,所述方法还包括:
响应于所述目标监控任务为出售商品的第一订单信息的监控任务,获取所述第一订单信息中的订单标识、用户的联系方式、收货地址和订单金额中的至少一项;
响应于所述订单标识是唯一的,所述联系方式不为空,所述收货地址不包含特殊字符,所述订单金额在所述第一订单信息对应的金额范围内中的至少一项,则执行所述通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控的步骤。
在另一种可能的实现方式中,所述通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控,包括:
通过第一调度器,依据所述第一指标范围,对所述目标监控任务的监控指标进行数据监控;
响应于所述第一调度器出现故障,通过第二调度器,依据所述第一指标范围,对所述目标监控任务的监控指标进行数据监控,所述第二调度器和所述第一调度器组成分布式调度系统。
在另一种可能的实现方式中,所述根据所述第一业务数据流,统计所述目标监控任务的监控指标的实际值之前,所述方法还包括:
从第二业务数据库中获取数据仓库中的目标监控任务在当前监控周期内的第二业务数据流,所述第一业务数据库中的第一业务数据流为从所述第二业务数据库中获取的;
响应于所述第二业务数据流和所述第一业务数据流匹配,执行所述根据所述第一业务数据流,统计所述目标监控任务的监控指标的实际值的步骤。
在另一种可能的实现方式中,所述通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控之后,所述方法还包括:
响应于对所述目标监控任务进行报警,从多种报警方式中确定所述目标监控任务对应的第一报警方式;
确定所述目标监控任务对应的第一报警次数和第一报警间隔;
根据所述第一报警方式、所述第一报警次数和所述第一报警间隔,向所述目标监控任务对应的第一负责人输出第一报警信号;
响应于所述第一负责人未在首次输出所述第一报警信号后的第一预设时长内处理所述第一报警信号,向所述目标监控任务对应的第二负责人输出第二报警信号。
另一方面,提供了一种数据仓库的数据监控装置,所述装置包括:
获取模块,用于从第一业务数据库中获取数据仓库的目标监控任务在当前监控周期内的第一业务数据流;
统计模块,用于根据所述第一业务数据流,统计所述目标监控任务的监控指标的实际值;
确定模块,用于根据所述实际值,确定所述监控指标的第一指标范围;
所述获取模块,还用于获取所述目标监控任务在当前监控周期内的影响因子;
验证模块,用于根据所述影响因子,对所述目标监控任务的第一指标范围进行合理性验证;
监控模块,用于在对所述第一指标范围的合理性验证通过时,通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控。
在一种可能的实现方式中,所述验证模块,还用于获取所述目标监控任务在上一监控周期内的第二指标范围和所述影响因子对指标范围的影响值;在所述第二指标范围上调整所述影响值,得到所述第一指标范围的参考范围;响应于所述第一指标范围在所述参考范围内,确定对所述第一指标范围的合理性验证通过;或者,
所述验证模块,还用于根据所述影响因子,获取所述目标监控任务在历史监控周期内的第三指标范围,所述目标监控任务在所述历史监控周期内的影响因子与在所述当前监控周期内的影响因子相同,确定所述第三指标范围和所述第一指标范围之间的欧式距离,基于所述欧式距离,对所述第一指标范围进行合理性验证。
在另一种可能的实现方式中,所述获取模块,还用于获取所述当前监控周期对应的日期性质,响应于所述日期性质为节假日,确定所述影响因子为节假日;或者,
所述获取模块,还用于获取所述当前监控周期内的环境信息;响应于所述环境信息表示所述当前监控周期内的天气为阴雨天,确定所述影响因子为天气;或者,
所述获取模块,还用于获取所述当前监控周期内的销售信息;响应于所述销售信息表示在所述当前监控周期内进行了促销,确定所述影响因子为促销。
在另一种可能的实现方式中,所述装置还包括:
所述获取模块,还用于从所述第一业务数据库中获取多个数据表的表参数,所述多个数据表为所述目标监控任务对应的数据表;
解析模块,用于根据所述多个数据表的表参数,解析出每个数据表的血缘关系;
响应模块,用于响应于感知到的在所述第一业务数据库中对目标数据表的修改操作;
修改模块,用于根据所述修改操作和所述每个数据表的血缘关系,修改所述目标监控任务的任务参数。
在另一种可能的实现方式中,所述装置还包括:
所述获取模块,还用于响应于所述目标监控任务为出售商品的第一订单信息的监控任务,获取所述第一订单信息中的订单标识、用户的联系方式、收货地址和订单金额中的至少一项;
所述监控模块,还用于响应于所述订单标识是唯一的,所述联系方式不为空,所述收货地址不包含特殊字符,所述订单金额在所述第一订单信息对应的金额范围内中的至少一项,通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控。
在另一种可能的实现方式中,所述监控模块,还用于通过第一调度器,依据所述第一指标范围,对所述目标监控任务的监控指标进行数据监控;响应于所述第一调度器出现故障,通过第二调度器,依据所述第一指标范围,对所述目标监控任务的监控指标进行数据监控,所述第二调度器和所述第一调度器组成分布式调度系统。
在另一种可能的实现方式中,所述获取模块,还用于从第二业务数据库中获取数据仓库中的目标监控任务在当前监控周期内的第二业务数据流,所述第一业务数据库中的第一业务数据流为从所述第二业务数据库中获取的;
所述统计模块,还用于响应于所述第二业务数据流和所述第一业务数据流匹配,根据所述第一业务数据流,统计所述目标监控任务的监控指标的实际值。
在另一种可能的实现方式中,所述装置还包括:
选择模块,用于响应于对所述目标监控任务进行报警,从多种报警方式中确定所述目标监控任务对应的第一报警方式;
所述确定模块,还用于确定所述目标监控任务对应的第一报警次数和第一报警间隔;
输出模块,用于根据所述第一报警方式、所述第一报警次数和所述第一报警间隔,向所述目标监控任务对应的第一负责人输出第一报警信号;
所述输出模块,还用于响应于所述第一负责人未在首次输出所述第一报警信号后的第一预设时长内处理所述第一报警信号,向所述目标监控任务对应的第二负责人输出第二报警信号。
另一方面,提供了一种服务器,所述服务器包括:处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如上述任一可能实现方式所述的数据仓库的数据监控方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如上述任一可能实现方式所述的数据仓库的数据监控方法。
本申请实施例提供的技术方案带来的有益效果是:在本申请实施例中,从第一业务数据库中获取数据仓库的目标监控任务在当前监控周期内的第一业务数据流;根据第一业务数据流,统计目标监控任务的监控指标的实际值;根据实际值,确定监控指标的第一指标范围;获取目标监控任务在当前监控周期内的影响因子;根据影响因子,对目标监控任务的第一指标范围进行合理性验证;在对第一指标范围的合理性验证通过时,通过第一指标范围,对目标监控任务的监控指标进行数据监控。在本申请实施例中,通过根据第一业务数据流,计算监控指标的第一指标范围,能够保证第一指标范围能跟随公司业务的发展而自动波动,提高了确定出的第一指标范围的准确性。并且,还通过当前监控周期内的影响因子,对第一指标范围进行合理性验证,确保了第一指标范围的合理性,进一步提高了第一指标范围的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种数据仓库的数据监控方法的流程图;
图3是本申请实施例提供的一种数据仓库的数据监控方法的示意图;
图4是本申请实施例提供的一种数据仓库的数据监控方法的流程图;
图5是本申请实施例提供的一种数据仓库的数据监控装置的结构示意图;
图6是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的技术方案和优点更加清楚,下面对本申请实施方式作进一步地详细描述。
本申请实施例提供了一种数据仓库的数据监控方法的实施环境,参见图1,该实施环境中包括第一服务器101和第二服务器102。其中,第一服务器101和第二服务器102之间通过有线或者无线网络连接。
第一服务器101为存储数据仓库的服务器,且用于对数据仓库的目标监控任务进行监控。第二服务器102为包括第一业务数据库的服务器。第二服务器102用于周期性将第一业务数据库中的第一业务数据流同步到数据仓库中,由数据仓库对该目标数据监控任务进行监控。
在本申请实施例中,第二服务器102周期性将第一业务数据库中的第一业务数据流同步到数据仓库中,第一服务器101周期性根据第一业务数据流,对目标监控任务的监控指标进行数据监控。其中,第二服务器102将第一业务数据库中的第一业务数据流同步到数据仓库中的周期和第一服务器101根据第一业务数据流对目标监控任务的监控指标进行数据监控的周期可以相同,也可以不同;在本申请实施例中,以两者相同为例进行说明,均称为监控周期。
在一种可能的实现方式中,第二服务器102在当前监控周期(T)将第一业务数据库中的第一业务数据流同步到数据仓库中时,第一服务器101就可以在当前监控周期(T)根据第一业务数据流对目标监控任务的监控指标进行数据监控。
在另一种可能的实现方式中,第二服务器102在当前监控周期(T)将第一业务数据库中的第一业务数据流同步到数据仓库中时,第一服务器101就可以在下一监控周期(T+1)根据第一业务数据流对目标监控任务的监控指标进行数据监控。
第二服务器102可以为任一应用程序的后台服务器。例如,第二服务器102可以为购物应用APP的后台服务器;或者第二服务器102可以为生鲜电商平台。
第一服务器101或者第二服务器102可以是一个独立的服务器,也可以是由多个服务器组成的服务器集群,本申请实施例对此不作具体限定。
在一种可能的实现方式中,该实施环境中还可以包括第一终端;第一终端上安装该应用程序;第一终端可以通过该应用程序从第二服务器102中购买某些商品;此时服务器生成该商品的订单信息,将该订单信息存储到第一业务数据库中,后续将当前监控周期内的订单信息同步到第一服务器101中,由第一服务器101对订单信息进行监控。
第一终端可以为智能手机、平板电脑、笔记本电脑、电子阅读器或者台式电脑等。在本申请实施例中,对此也不作具体限定。
本申请实施例提供了一种数据仓库的数据监控方法,参见图2,该方法包括:
步骤201:从第一业务数据库中获取数据仓库的目标监控任务在当前监控周期内的第一业务数据流。
第一业务数据流可以包括出售商品的第一订单信息和购进商品的第二订单信息中的一个或者多个。相应的,目标监控任务包括出售商品的第一订单信息的监控任务和购进商品的第二订单信息的监控任务中的一个或者两个。出售商品的第一订单信息可以包括订单时间、订单金额和订单所出自的前置仓标识中的一个或者多个。相应的,目标监控任务可以包括出售商品的订单数量的监控任务、出售商品的订单金额的监控任务、目标前置仓出售商品的订单数量的监控任务、目标前置仓出售商品的订单金额的监控任务中的一个或者多个。购进商品的第二订单信息也可以包括订单时间和订单金额中的一个或者两个。相应的,目标监控任务可以为购进商品的订单数据的监控任务或者购进商品的订单金额的监控任务中的一个或者两个。第一业务数据流可以包括出售商品的第一订单信息和购进商品的第二订单信息中的一个或者两个。
在本申请实施例中,当第二服务器生成业务数据流时,先将该业务数据流存储在第二服务器中的第一业务数据库中。第二服务器周期性将第一业务数据库在当前监控周期内(T)新增的第一业务数据流同步到第一服务器的数据仓库中。并且,第二服务器将第一业务数据库中新增的第一业务数据流同步到第一服务器的数据仓库后,第一服务器在当前监控周期或者下一个监控周期(T+1)对数据仓库中的数据监控任务进行数据监控。
监控周期可以根据需要进行设置并更改,在本申请实施例中,对监控周期不作具体限定;例如,监控周期可以为6小时、1天或者2天。并且,不同的第一业务数据流可以对应不同的监控周期;例如,当第一业务数据流为出售商品的第一订单信息,则监控周期可以为1天;当第一业务数据流为购进商品的第二订单信息,则监控周期可以为2天。
需要说明的一点是,第一服务器获取到第一业务数据流之后,可以直接执行步骤202;也可以对不同数据源之间业务流数据进行对比,确定第一业务数据流是合理的之后,才执行步骤202。
其中,第一服务器对不同数据源之间业务流数据进行对比的过程可以为:从第二业务数据库中获取数据仓库中的目标监控任务在当前监控周期内的第二业务数据流,第二业务数据库中的第一业务数据流为从第二业务数据库中获取的;响应于第二业务数据流和第一业务数据流匹配,确定第一业务数据流是合理的,执行步骤202。响应于第二业务数据流和第一业务数据流不匹配,确定第一业务数据流是不合理的。
其中,第一业务数据流和第一业务数据流匹配是指第一业务数据流和第二业务数据流相同,或者第一业务数据流和第二业务数据流之间的匹配度大于预设匹配度;或者,第一业务数据流包括的数据量和第二业务数据流包括的数据量相差小于预设阈值。
第一业务数据库可以为Hbase(一种分布式的面向列的开源数据库),第二业务数据库可以为mysql(关系型数据库);或者,第一业务数据库为mysql,第二业务数据库为Hbase。第一业务数据库还可以为数据仓库,第二业务数据库为Hbase。
在本申请实施例中,先对第一业务数据库中的第一业务数据流进行合理性验证,在验证第一业务数据流合理时,也即确定第一业务数据流是正确的,才基于第一业务数据流,确定目标监控任务的监控指标的实际值,这样提高了确定出的监控指标的实际值的准确性。
需要说明的另一点是,第一业务数据流可以来自同一个第二服务器的第一业务数据库,也可以来自不同第二服务器的第一业务数据库。响应于第一业务数据流来自不同第二服务器的第一业务数据库,则第一服务器支持不同集群的数据监控,提高了应用广泛性。
步骤202:根据第一业务数据流,统计目标监控任务的监控指标的实际值。
监控指标可以为第一业务数据流中的任一指标;例如,第一业务数据流为出售商品的第一订单信息;则监控指标可以为出售商品的订单数量或者订单金额。再如,第一业务数据流为购进商品的第二订单信息,则监控指标可以为购进商品的订单数量或者订单金额。
例如,参见图3第一服务器可以通过实时计算平台,例如kafka(开源流处理平台),确定该实际值。
步骤203:根据该实际值,确定该监控指标的第一指标范围。
本步骤可以通过以下步骤(1)至(3)实现,包括:
(1)确定第一阈值,将该实际值减少第一阈值,得到第一最小阈值。
第一服务器确定第一阈值可以通过以下三种方式中的任一方式实现:
第一种实现方式,第一服务器事先预设一个第一阈值;相应的,在本步骤中,第一服务器直接获取预设的第一阈值。
在本申请实施例中,第一服务器中事先预设一个第一阈值;第一服务器直接获取预设的第一阈值,操作简单,能够提高效率。
第二种实现方式,不同的监控指标对应不同的第一阈值。例如,监控指标为出售商品的订单数量,则出售商品的订单数量对应的第一阈值为2000。再如,监控指标为购进商品的订单数量,则购进商品的订单数量对应的第二阈值为100。相应的,在本步骤中,第一服务器根据监控指标,获取该监控指标对应的第一阈值。
在本申请实施例中,不同的监控指标对应不同的第一阈值,这样能够提高确定出的第一阈值的准确性。
第三种实现方式,不同的实际值对应不同的第一阈值。例如,可以设置一个第一比例。相应的,在本步骤中:第一服务器将该实际值与该第一比例的乘积确定为第一阈值。其中,第一比例可以根据需要进行设置并更改;在本申请实施例中,对第一比例不作具体限定;例如,第一比例可以为10%或者20%等。
在本申请实施例中,将该实际值与第一比例的乘积确定为第一阈值,这样第一阈值能够跟实际值匹配,提高了确定出的第一阈值的准确性。
(2)确定第二阈值,将该实际值增加第二阈值,得到第一最大阈值。
第一服务器确定第二阈值可以通过以下三种方式中的任一方式实现:
第一种实现方式,第一服务器事先设置一个第二阈值;相应的,在本步骤中,第一服务器直接获取预设的第二阈值。
在本申请实施例中,第一服务器中事先预设一个第二阈值;第一服务器直接获取预设的第二阈值,操作简单,能够提高效率。
第二种实现方式,不同的监控指标对应不同的第二阈值。相应的,在本步骤中,第一服务器根据监控指标,获取该监控指标对应的第二阈值。
在本申请实施例中,不同的监控指标对应不同的第二阈值,这样能够提高确定出的第二阈值的准确性。
第三种实现方式,不同的实际值对应不同的第二阈值。例如,可以设置一个第二比例。相应的,在本步骤中,第一服务器将该实际值与该第二比例的乘积确定为第二阈值。其中,第二比例可以根据需要进行设置并更改;在本申请实施例中,对第二比例不作具体限定;例如,第二比例可以为10%或者20%等。
在本申请实施例中,将该实际值与第二比例的乘积确定为第二阈值,这样第二阈值能够跟实际值匹配,提高了确定出的第二阈值的准确性。
(3)根据第一最小阈值和第一最大阈值生成第一指标范围。
在本申请实施例中,通过实时计算平台,实时得到监控指标的第一指标范围,能够保证第一指标范围能跟随公司业务的发展而自动波动,提高了确定出的第一指标范围的准确性。
例如,继续参见图3,第一服务器通过flink(开源流处理架构)实时计算第一指标范围。
步骤204:获取目标监控任务在当前监控周期内的影响因子。
其中,该影响因子可以包括节假日、天气和促销中的一个或者多个。相应的,本步骤可以通过以下至少一个实现方式实现:
对于第一种实现方式,本步骤可以为:获取当前监控周期对应的日期性质;响应于日期性质为节假日,确定该影响因子为节假日。
其中,响应于该当前监控周期在一天内,则该天的日期性质即为该当前监控周期对应的日期性质。响应于该当前监控周期不在同一天内,也即该当前监控周期对应多天,则第一服务器可以将多天的日期性质确定为该当前监控周期对应的日期性质,第一服务器还可以将多天中任一天的日期性质确定为该当前监控周期对应的日期性质,第一服务器还可以将多天的日期性质中节假日对应的日期性质确定为该当前监控周期对应的日期性质。
在本申请实施例中,可以根据当前监控周期对应的日期性质,确定该影响因子,从而能够将影响监控指标的阈值的节假日考虑到其中,提高了后续确定出的第一指标范围的准确性。
对于第二种实现方式,获取当前监控周期内的环境信息;响应于环境信息表示当前监控周期内的天气为阴雨天,确定影响因子为天气。
在本申请实施例中,可以根据当前监控周期内的环境信息,确定该影响因子,从而能够将影响监控指标的阈值的天气考虑到其中,提高了后续确定出的第一指标范围的准确性。
对于第三种实现方式,获取当前监控周期内的销售信息;响应于销售信息表示在当前监控周期内进行了促销,确定影响因子为促销。
在本申请实施例中,可以根据当前监控周期内的销售信息,确定该影响因子,从而能够将影响监控指标的阈值的促销考虑到其中,提高了后续确定出的第一指标范围的准确性。
步骤205:根据该影响因子,对目标监控任务的第一指标范围进行合理性验证。
在本步骤中,第一服务器可以通过K均值聚类算法确定第一指标范围的合理性;也即以下第一种实现方式;第一服务器也可以通过上一个监控周期内的第二指标范围,对第一指标范围的合理性进行验证,也即以下第二种实现方式。
对于第一种实现方式,本步骤可以通过步骤(A)至(C)实现,包括:
(A)根据该影响因子,获取目标监控任务在历史监控周期内的第三指标范围。
目标监控任务在该历史监控周期内的影响因子与在当前监控周期内的影响因子相同。第一服务器是周期性对目标监控任务进行数据监控的,并且在每个监控周期内对目标监控任务进行数据监控时,都会确定目标监控任务在该监控周期内影响因子和指标范围,并且存储目标监控任务在每个监控周期内的影响因子和指标范围。在本步骤中,第一服务器根据每个历史监控周期内的影响因子和指标范围,获取影响因子与目标监控任务在当前监控周期内的影响因子相同的历史监控周期内的第三指标范围。
需要说明的一点是,第一服务器可以获取一个历史监控周期内的第三指标范围,也可以获取多个历史监控周期内的第三指标范围,也即获取多个第三指标范围。响应于第一服务器获取多个历史监控周期内的第三指标范围,第一服务器可以获取离当前时间最近的第一预设时长内的多个历史监控周期的第三指标范围。例如,第一服务器可以获取最近半年以内的多个历史监控周期的第三指标范围,或者第一服务器获取最近一个月以内的多个历史监控周期的第三指标范围。
(B)确定第三指标范围和第一指标范围之间的欧式距离。
第一服务器可以通过任一聚类算法,确定第三指标范围和第一指标范围之间的欧式距离。例如,第一服务器可以通过K均值聚类算法,确定第三指标范围和第一指标范围之间的欧氏距离。
响应于在步骤(A)中获取到多个第三指标范围,在本步骤中,第一服务器通过K均值聚类算法确定第一指标范围与每个第三指标范围之间的欧式距离。
(C)基于该欧式距离,对第一指标范围进行合理性验证。
响应于在步骤(A)中获取到一个第三指标范围,在本步骤中,第一服务器确定该欧式距离是否小于预设距离;响应于该欧式距离小于预设距离,确定对第一指标范围的合理性验证通过;响应于该欧式距离不小于预设距离,确定对第一指标范围的合理性验证不通过。
响应于在步骤(A)中获取到多个第三指标范围,在本步骤中,第一服务器确定多个欧式距离中小于预设距离的欧式距离的数量,响应于该数量小于预设数量,确定对第一指标范围的合理性验证通过;响应于该数量不小于预设数量,确定对第一指标范围的合理性验证不通过。
需要说明的一点是,第一服务器还可以将多个第三指标范围和第一指标范围划分为K组,K为小于n的正整数,n为指标范围的数量,n为大于1的整数。第一服务器通过K组指标范围,对第一指标范围重新进行计算和迭代,确保第一指标范围的合理性。
在本申请实施例中,通过实时计算平台,实时得到第一指标范围,并且结合K值均值聚类算法基于两两指标范围之间的欧式距离,确定第一指标范围的合理性,能够保证第一指标范围能跟随公司业务的发展而自动波动,提高了确定出的第一指标范围的准确性。
对于第二种实现方式,本步骤可以通过以下步骤(1)至(3)实现,
(1)获取目标监控任务在上一监控周期内的第二指标范围和该影响因子对指标范围的影响值。
第一服务器中存储了不同的影响因子对指标范围的影响值;相应的,获取该影响因子对应的指标范围的影响值的步骤可以为:第一服务器根据该影响因子,从影响因子和影响值的对应关系中获取该影响因子对指标范围的影响值。其中,影响因子对应的影响值可以为第一服务器根据历史监控周期的第四指标范围确定的。
在本申请实施例中,第一服务器中存储了不同的影响因子对指标范围的影响值,在获取该影响因子对指标范围的影响值时,直接从影响因子和影响值的对应关系中获取即可,计算量比较小,提高了获取该影响因子对指标范围的影响值的效率。
(2)在第二指标范围上调整影响值,得到第一指标范围的参考范围;
第二指标范围的最大阈值为第二最大阈值,第二指标范围的最小阈值为第二最小阈值;相应的,在本步骤中,第一服务器将第二最大阈值增加该影响值,得到第三最大阈值,将第二最小阈值减少该影响值,得到第三最小阈值,根据第三最小阈值和第三最大阈值,确定该参考范围。
(3)响应于第一指标范围在该参考范围内,确定对第一指标范围的合理性验证通过。
需要说明的一点是,响应于第一指标范围不在该参考范围内,确定对第一指标范围的合理性验证不通过。在对第一指标范围的合理性验证通过时,执行步骤206。在对第一指标范围的合理性验证不通过时,进行报警,由工作人员进行故障排查。
需要说明的另一点是,第一服务器确定出第一指标范围,可以在当前监控周期内使用第一指标范围,对目标监控任务进行数据监控,也可以在下一监控周期内使用第一指标范围,对目标监控任务进行数据监控。响应于在下一监控周期内使用第一指标范围,对目标监控任务进行数据监控,则第一服务器将下一监控周期的指标范围修改为第一指标范围。例如,继续参见图3,第一服务器验证第一指标范围的合理性;响应于第一指标范围合理,将下一监控周期的指标范围修改为第一指标范围响应于第一指标范围不合理时,进行报警。
需要说明的另一点是,第一服务器还可以提供重要字段唯一性、非空性、特殊字符及合法性等监控,从一个或者多个维度评估数据仓库中数据的质量。相应的,在对第一指标范围的合理性验证通过时,可以先从一个或者多个维度评估数据仓库中数据的质量,质量评估通过时,才通过第一指标范围,对目标监控任务的监控指标进行数据监控。
其中,第一服务器从多个维度评估数据仓库中数据的质量的步骤可以为:响应于目标监控任务为出售商品的第一订单信息的监控任务,获取第一订单信息中的订单标识、用户的联系方式、收货地址和订单金额中的至少一项;响应于该订单标识是唯一的,该联系方式不为空,该收货地址不包含特殊字符,且该订单金额在该第一订单信息对应的金额范围内中的至少一项,则确定数据仓库中国数据的质量是合格的,然后执行步骤206中的通过第一指标范围,对目标监控任务的监控指标进行数据监控的步骤。
步骤206:在对第一指标范围的合理性验证通过时,通过第一指标范围,对目标监控任务的监控指标进行数据监控。
响应于目标监控任务的监控指标在第一指标范围内,第一服务器确定目标监控任务没有出现故障;响应于目标监控任务的监控指标不在第一指标范围内,第一服务器确定监控任务出现故障,对目标监控任务进行报警。
需要说明的一点是,在本步骤中,通过第一调度器,依据第一指标范围,对目标监控任务的监控指标进行数据监控;响应于第一调度器出现故障,通过第二调度器,依据第一指标范围,对目标监控任务的监控指标进行数据监控,第二调度器和第一调度器组成分布式调度系统。
在本步骤中,第一服务器还可以同时调用多个调用器,通过多个调度器同时通过第一指标范围,对目标监控任务的监控指标进行数据监控,从而提高可靠性。例如,继续参见图3,第以服务器调度n个调度器(分别为调度器-1,调度器-2……调度器-n)同时通过第一指标范围,对目标监控任务的监控指标进行数据监控,n为大于1的整数。
在本申请实施例中,第二调度器和第一调度器组成分布式调度系统,这样本申请能够支持分布式管理监控任务,防止由于第一服务器宕机,导致目标监控任务无法正常运行,提高了可靠性。
需要说明的另一点是,目标监控任务可以由用户触发执行,也可以由第一服务器自动执行;并且,响应于目标监控任务由第一服务器自动执行,第一服务器可以在到达目标监控任务的执行时间时,执行目标监控任务。第一服务器还可以自动检测数仓任务,响应于数仓任务完成时,即可执行目标监控任务,这样能够使得监控任务自动提前执行,把风险提前保留给相关人员,为修复数据争取了大量时间,减少对下游使用方的影响,提高了及时性。
步骤207:响应于对目标监控任务进行报警,输出报警信号。
本步骤可以通过以下步骤(1)至(4)实现,包括:
(1)响应于对目标监控任务进行报警,从多种报警方式中确定目标监控任务对应的第一报警方式。
多种报警方式可以包括报表方式、邮件方式、短信方式、企业微信、飞书和电话方式等中的一种或者多种报警方式。
在第一种实现方式中,第一服务器从多种报警方式中随机选择一种报警方式,将选择的报警方式作为第一报警方式。
在第二种实现方式中,不同的报警方式对应不同的报警等级;例如,报表方式、邮件方式、短信方式、企业微信、飞书和电话方式的报警等级依次增加;第一服务器可以根据该目标监控任务,从多个报警方式中选择与该目标监控任务的任务等级对应的第一报警方式。例如,该目标监控任务的任务等级与第一报警方式的报警等级匹配,且正相关;也即,当目标监控任务的任务等级较高时,选择较高的报警等级对应的报警方式。
在本申请实施例中,根据目标监控任务的任务等级与每个报警方式的报警等级,从多个报警方式中选择第一报警方式,选择出的报警方式与目标监控任务相匹配,提高了确定出的第一报警方式的准确性,进而能够及时通知到相关负责人,提高了监控的效率。
(2)确定目标监控任务对应的第一报警次数和第一报警间隔。
第一报警次数和第一报警间隔可以为第一服务器默认配置的,也可以为用户配置的。响应于第一报警次数和第一报警间隔为用户配置的,在步骤之前,在第一服务器中配置目标监控任务对应的第一报警次数和第一报警间隔,该配置过程为:
第二终端显示配置界面,该配置界面中包括目标监控任务对应的配置界面,该配置界面中包括第一输入框和第二输入框,第一输入框用于配置第一报警次数,第二输入框用于配置第一报警间隔。第二终端获取被输入的第一报警次数和第一报警间隔,向第一服务器发送配置请求,该配置请求携带目标监控任务的任务标识、第一报警次数和第一报警间隔。第一服务器接收该配置请求,关联存储目标监控任务的任务标识、第一报警次数和第一报警间隔。其中,第二终端为工作人员使用的终端。
在本步骤中,第一服务器根据该目标监控任务的任务标识,从任务标识、第一报警次数和第一报警间隔的对应关系中获取该目标监控任务对应的第一报警次数和第一报警间隔。
在本申请实施例中,第一服务器支持自定义第一报警次数和第一报警间隔,这样用户可以根据自己的意愿自定义第一报警次数和第一报警间隔,更加人性化和合理。
(3)根据第一报警方式、第一报警次数和第一报警间隔,向目标监控任务对应的第一负责人输出第一报警信号。
第一服务器中存储了每个监控任务对应的负责人的用户信息;并且,每个监控任务可以对应一个负责人,也可以对应多个负责人;响应于每个监控任务对应多个负责人。在进行报警时,第一服务器可以选择该目标监控任务的第一负责人,根据第一负责人的用户信息,通过第一报警方式,向第一负责人输出第一报警信号。其中,第一服务器向第一负责人输出第一报警信号的间隔为第一报警间隔,且第一服务器向第一负责人输出第一报警信号的次数为第一报警次数。
(4)响应于第一负责人未在首次输出第一报警信号后的第一预设时长内处理第一报警信号,向目标监控任务对应的第二负责人输出第二报警信号。
响应于第一负责人未在首次输出第一报警信号后的第一预设时长内处理第一报警信号,第一服务器确定目标监控任务对应的第二负责人,向第二负责人输出第二报警信号。
其中,向第二负责人输出第二报警信号的第二报警方式和第一报警方式可以相同,也可以不同;例如,第一服务器可以从多个报警方式中选择第二报警方式,第二报警方式的报警等级高于第一报警方式的报警等级,通过第二报警方式向第二负责人输出第二报警信号,这样能够提高第二负责人处理第二报警信号的概率。
向第二负责人输出第二报警信号的第二报警次数和第一报警次数可以相同,也可以不同;例如,第二报警次数大于第一报警次数,这样进一步提高了第二负责人处理第二报警信号的概率。
向第二负责人输出第二报警信号的第二报警间隔和第一报警间隔可以相同,也可以不同;例如,第二报警间隔小于第一报警间隔,这样增加了报警频率,进一步提高了第二负责人处理第二报警信号的概率。
需要说明的一点是,响应于第二负责人未在首次输出第二报警信号后的第二预设时长内处理第二报警信号,向目标监控任务对应的第三负责人输出第三报警信号,直到有负责人处理这个报警为止。
例如,继续参见图3,第一服务器通过电话、短信、飞书、邮件报警向第一负责人输出第一报警信号;并且确定第一报警信号是否被处理;如果第一报警信号没有被处理,报警升级,向第二负责人输出第二报警信号;如果第二负责人没有处理第二报警信号,则继续升级,向第三负责人输出第三报警信号,直到有负责人处理这个报警才结束。
在本申请实施例中,第一服务器支持如果第一负责人没有处理第一报警信号,报警会自动升级到第二负责人,第二负责人没有处理第二报警信号,报警会自动升级到第三负责人,直到有负责人处理这个报警为止,能够确保这个报警能够及时被处理,从而保证数仓数据的准确性
需要说明的另一点是,第一服务器还可以调度任务监控;在一种可能的实现方式中,第一服务器监控到该目标监控任务失败时,也要输出报警信号。在另一种可能的实现方式中,第一服务器监测到该目标监控任务被杀时,也要输出报警信号。在另一种可能的实现方式中,第一服务器监测到目标监控任务超时时,也要输出报警信号。
其中,上述三种实现方式中输出报警信号的方式与响应于对目标监控任务进行报警输出报警信号的方式相同,在此不再赘述。
本申请实施例提供了一种数据仓库的数据监控方法,并且该方法支持自动修改目标监控任务的任务参数,参见图4,该过程包括:
步骤401:从第一业务数据库中获取多个数据表的表参数。
多个数据表为目标监控任务对应的数据表。其中,任一数据表的表参数包括该数据表的父数据表的表名和子数据表的表名。例如,第一服务器获取到3个数据表,分别为数据表1、数据表2和数据表3;其中,数据表1为父节点,数据表2和数据表3分别为数据表1的子节点。则数据表1的表参数包括数据表1的父节点为空,子节点为数据表2和数据表3;数据表2的表参数包括数据表2的父节点为数据表1,子节点为空;数据表3的表参数包括数据表3的父节点为数据表1,子节点为空。
步骤402:根据多个数据表的表参数,解析出每个数据表的血缘关系。
由于任一数据表的表参数包括该数据表的父数据表的表名和/或子数据表的表名;因此,第一服务器根据每个数据表的表参数,能够解析出每个数据表的血缘关系。
例如,根据以上数据表1的表参数、数据表2的表参数和数据表3的表参数,确定出数据表1-数据表3的血缘关系为:数据表1为父节点,数据表2和数据表3均为数据表1的子节点。
步骤403:响应于感知到的在第一业务数据库中对目标数据表的修改操作。
该修改操作可以包括修改目标数据表的表名、在目标数据表中增加字段、在目标数据表中减少字段,在目标数据表中修改已有的字段中的一个或者多个。例如,该修改操作为对数据表1的表名。
步骤404:根据该修改操作和每个数据表的血缘关系,修改该目标监控任务的任务参数。
在一种可能的实现方式中,该目标监控任务的任务参数中包括目标数据表的表名;响应于该修改操作为修改目标数据表的表名,则根据每个数据表的血缘关系,将该任务参数中包含该目标数据表的表名均进行修改。
在另一种可能的实现方式中,该目标监控任务的任务参数中包括每个数据表的字段名称;响应于该修改操作为在目标数据表中增加字段,则根据每个数据表的血缘关系,在该任务参数中增加该目标数据表中的该字段。
在另一种可能的实现方式中,该目标监控任务的任务参数中包括每个数据表的字段名称;响应于该修改操作为在目标数据表中减少字段,则根据每个数据表的血缘关系,在该任务参数中减少该目标数据表中的该字段。
在另一种可能的实现方式中,该目标监控任务的任务参数中包括每个数据表的字段名称;响应于该修改操作为在目标数据表中修改字段,则根据每个数据表的血缘关系,将该任务参数中包括该目标数据表中的该字段均进行修改。
在本申请实施例中,第一服务器能够解析出每个数据表的血缘关系,这样能够得到每个数据表的上下游依赖关系,通过系统自动感知上游数据源(第一业务数据库)的变动,自动对数据仓库中的目标监控任务的任务参数进行修改,这样即使上游数据数据源发生变化,目标监控任务也能够顺序进行,提高了可靠性。
本申请实施例提供了一种数据仓库的数据监控装置,参见图5,装置包括:
获取模块501,用于从第一业务数据库中获取数据仓库的目标监控任务在当前监控周期内的第一业务数据流;
统计模块502,用于根据第一业务数据流,统计目标监控任务的监控指标的实际值;
确定模块503,用于根据实际值,确定监控指标的第一指标范围;
获取模块501,还用于获取目标监控任务在当前监控周期内的影响因子;
验证模块504,用于根据影响因子,对目标监控任务的第一指标范围进行合理性验证;
监控模块505,用于在对第一指标范围的合理性验证通过时,通过第一指标范围,对目标监控任务的监控指标进行数据监控。
在一种可能的实现方式中,验证模块504,还用于获取目标监控任务在上一监控周期内的第二指标范围和影响因子对指标范围的影响值;在第二指标范围上调整影响值,得到第一指标范围的参考范围;响应于第一指标范围在参考范围内,确定对第一指标范围的合理性验证通过;或者,
验证模块504,还用于根据影响因子,获取目标监控任务在历史监控周期内的第三指标范围,目标监控任务在历史监控周期内的影响因子与在当前监控周期内的影响因子相同,确定第三指标范围和第一指标范围之间的欧式距离,基于欧式距离,对第一指标范围进行合理性验证。
在另一种可能的实现方式中,获取模块501,还用于获取当前监控周期对应的日期性质,响应于日期性质为节假日,确定影响因子为节假日;或者,
获取模块501,还用于获取当前监控周期内的环境信息;响应于环境信息表示当前监控周期内的天气为阴雨天,确定影响因子为天气;或者,
获取模块501,还用于获取当前监控周期内的销售信息;响应于销售信息表示在当前监控周期内进行了促销,确定影响因子为促销。
在另一种可能的实现方式中,装置还包括:
获取模块501,还用于从第一业务数据库中获取多个数据表的表参数,多个数据表为目标监控任务对应的数据表;
解析模块,用于根据多个数据表的表参数,解析出每个数据表的血缘关系;
响应模块,用于响应于感知到的在第一业务数据库中对目标数据表的修改操作;
修改模块,用于根据修改操作和每个数据表的血缘关系,修改目标监控任务的任务参数。
在另一种可能的实现方式中,装置还包括:
获取模块501,还用于响应于目标监控任务为出售商品的第一订单信息的监控任务,获取第一订单信息中的订单标识、用户的联系方式、收货地址和订单金额中的至少一项;
监控模块505,还用于响应于订单标识是唯一的,联系方式不为空,收货地址不包含特殊字符,订单金额在第一订单信息对应的金额范围内中的至少一项,通过第一指标范围,对目标监控任务的监控指标进行数据监控。
在另一种可能的实现方式中,监控模块505,还用于通过第一调度器,依据第一指标范围,对目标监控任务的监控指标进行数据监控;响应于第一调度器出现故障,通过第二调度器,依据第一指标范围,对目标监控任务的监控指标进行数据监控,第二调度器和第一调度器组成分布式调度系统。
在另一种可能的实现方式中,获取模块501,还用于从第二业务数据库中获取数据仓库中的目标监控任务在当前监控周期内的第二业务数据流,第一业务数据库中的第一业务数据流为从第二业务数据库中获取的;
统计模块502,还用于响应于第二业务数据流和第一业务数据流匹配,根据第一业务数据流,统计目标监控任务的监控指标的实际值。
在另一种可能的实现方式中,装置还包括:
选择模块,用于响应于对目标监控任务进行报警,从多种报警方式中确定目标监控任务对应的第一报警方式;
确定模块503,还用于确定目标监控任务对应的第一报警次数和第一报警间隔;
输出模块,用于根据第一报警方式、第一报警次数和第一报警间隔,向目标监控任务对应的第一负责人输出第一报警信号;
输出模块,还用于响应于第一负责人未在首次输出第一报警信号后的第一预设时长内处理第一报警信号,向目标监控任务对应的第二负责人输出第二报警信号。
在本申请实施例中,从第一业务数据库中获取数据仓库的目标监控任务在当前监控周期内的第一业务数据流;根据第一业务数据流,统计目标监控任务的监控指标的实际值;根据实际值,确定监控指标的第一指标范围;获取目标监控任务在当前监控周期内的影响因子;根据影响因子,对目标监控任务的第一指标范围进行合理性验证;在对第一指标范围的合理性验证通过时,通过第一指标范围,对目标监控任务的监控指标进行数据监控。在本申请实施例中,通过根据第一业务数据流,计算监控指标的第一指标范围,能够保证第一指标范围能跟随公司业务的发展而自动波动,提高了确定出的第一指标范围的准确性。并且,还通过当前监控周期内的影响因子,对第一指标范围进行合理性验证,确保了第一指标范围的合理性,进一步提高了第一指标范围的准确性。
需要说明的是:上述实施例提供的数据仓库的数据监控装置在数据仓库的数据监控时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将服务器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据仓库的数据监控装置与数据仓库的数据监控方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6是本申请实施例提供的一种服务器的结构示意图,该服务器600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processingunits,CPU)601和一个或一个以上的存储器602,其中,存储器602中存储有至少一条指令,至少一条指令由处理器601加载并执行以实现上述各个方法实施例提供的云客服的分配方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,该至少一条指令由处理器加载并具有以实现上述实施例的云客服的分配方法中所具有的操作。
以上所述仅是为了便于本领域的技术人员理解本申请的技术方案,并不用以限制本申请。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据仓库的数据监控方法,其特征在于,所述方法包括:
从第一业务数据库中获取数据仓库的目标监控任务在当前监控周期内的第一业务数据流;
根据所述第一业务数据流,统计所述目标监控任务的监控指标的实际值;
根据所述实际值,确定所述监控指标的第一指标范围;
获取所述目标监控任务在当前监控周期内的影响因子;
根据所述影响因子,对所述目标监控任务的第一指标范围进行合理性验证;
在对所述第一指标范围的合理性验证通过时,通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控。
2.根据权利要求1所述的方法,其特征在于,所述根据所述影响因子,对所述目标监控任务的第一指标范围进行合理性验证,包括:
获取所述目标监控任务在上一监控周期内的第二指标范围和所述影响因子对指标范围的影响值;在所述第二指标范围上调整所述影响值,得到所述第一指标范围的参考范围;响应于所述第一指标范围在所述参考范围内,确定对所述第一指标范围的合理性验证通过;或者,
根据所述影响因子,获取所述目标监控任务在历史监控周期内的第三指标范围,所述目标监控任务在所述历史监控周期内的影响因子与在所述当前监控周期内的影响因子相同,确定所述第三指标范围和所述第一指标范围之间的欧式距离,基于所述欧式距离,对所述第一指标范围进行合理性验证。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从所述第一业务数据库中获取多个数据表的表参数,所述多个数据表为所述目标监控任务对应的数据表;
根据所述多个数据表的表参数,解析出每个数据表的血缘关系;
响应于感知到的在所述第一业务数据库中对目标数据表的修改操作;
根据所述修改操作和所述每个数据表的血缘关系,修改所述目标监控任务的任务参数。
4.根据权利要求1所述的方法,其特征在于,所述通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控之前,所述方法还包括:
响应于所述目标监控任务为出售商品的第一订单信息的监控任务,获取所述第一订单信息中的订单标识、用户的联系方式、收货地址和订单金额中的至少一项;
响应于所述订单标识是唯一的,所述联系方式不为空,所述收货地址不包含特殊字符,所述订单金额在所述第一订单信息对应的金额范围内中的至少一项,则执行所述通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控的步骤。
5.根据权利要求1所述的方法,其特征在于,所述通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控,包括:
通过第一调度器,依据所述第一指标范围,对所述目标监控任务的监控指标进行数据监控;
响应于所述第一调度器出现故障,通过第二调度器,依据所述第一指标范围,对所述目标监控任务的监控指标进行数据监控,所述第二调度器和所述第一调度器组成分布式调度系统。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一业务数据流,统计所述目标监控任务的监控指标的实际值之前,所述方法还包括:
从第二业务数据库中获取数据仓库中的目标监控任务在当前监控周期内的第二业务数据流,所述第一业务数据库中的第一业务数据流为从所述第二业务数据库中获取的;
响应于所述第二业务数据流和所述第一业务数据流匹配,执行所述根据所述第一业务数据流,统计所述目标监控任务的监控指标的实际值的步骤。
7.根据权利要求1所述的方法,其特征在于,所述通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控之后,所述方法还包括:
响应于对所述目标监控任务进行报警,从多种报警方式中确定所述目标监控任务对应的第一报警方式;
确定所述目标监控任务对应的第一报警次数和第一报警间隔;
根据所述第一报警方式、所述第一报警次数和所述第一报警间隔,向所述目标监控任务对应的第一负责人输出第一报警信号;
响应于所述第一负责人未在首次输出所述第一报警信号后的第一预设时长内处理所述第一报警信号,向所述目标监控任务对应的第二负责人输出第二报警信号。
8.一种数据仓库的数据监控装置,其特征在于,所述装置包括:
获取模块,用于从第一业务数据库中获取数据仓库的目标监控任务在当前监控周期内的第一业务数据流;
统计模块,用于根据所述第一业务数据流,统计所述目标监控任务的监控指标的实际值;
确定模块,用于根据所述实际值,确定所述监控指标的第一指标范围;
所述获取模块,还用于获取所述目标监控任务在当前监控周期内的影响因子;
验证模块,用于根据所述影响因子,对所述目标监控任务的第一指标范围进行合理性验证;
监控模块,用于在对所述第一指标范围的合理性验证通过时,通过所述第一指标范围,对所述目标监控任务的监控指标进行数据监控。
9.一种服务器,其特征在于,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如权利要求1至7任一所述的数据仓库的数据监控方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如权利要求1至7任一所述的数据仓库的数据监控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911355827.3A CN111061615A (zh) | 2019-12-25 | 2019-12-25 | 数据仓库的数据监控方法、装置、服务器和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911355827.3A CN111061615A (zh) | 2019-12-25 | 2019-12-25 | 数据仓库的数据监控方法、装置、服务器和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111061615A true CN111061615A (zh) | 2020-04-24 |
Family
ID=70303418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911355827.3A Pending CN111061615A (zh) | 2019-12-25 | 2019-12-25 | 数据仓库的数据监控方法、装置、服务器和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111061615A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111597255A (zh) * | 2020-04-29 | 2020-08-28 | 北京金山云网络技术有限公司 | 数据灾备处理方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102339288A (zh) * | 2010-07-21 | 2012-02-01 | 中国移动通信集团辽宁有限公司 | 数据仓库异常数据的检测方法及装置 |
CN104572391A (zh) * | 2013-10-16 | 2015-04-29 | 深圳市腾讯计算机系统有限公司 | 监控告警策略配置方法及装置、监控告警方法及装置 |
CN106557401A (zh) * | 2016-10-13 | 2017-04-05 | 中国铁道科学研究院电子计算技术研究所 | 一种it设备监控指标的动态阈值设定方法及系统 |
CN109146381A (zh) * | 2018-08-23 | 2019-01-04 | 北京顺丰同城科技有限公司 | 物流数据监控方法、装置、电子设备及计算机存储介质 |
WO2019056681A1 (zh) * | 2017-09-22 | 2019-03-28 | 平安科技(深圳)有限公司 | 数据实时监控方法、装置、终端设备及存储介质 |
CN110362454A (zh) * | 2019-06-29 | 2019-10-22 | 北京淇瑀信息科技有限公司 | 一种支持可配置的决策引擎的报警方法、装置和电子设备 |
-
2019
- 2019-12-25 CN CN201911355827.3A patent/CN111061615A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102339288A (zh) * | 2010-07-21 | 2012-02-01 | 中国移动通信集团辽宁有限公司 | 数据仓库异常数据的检测方法及装置 |
CN104572391A (zh) * | 2013-10-16 | 2015-04-29 | 深圳市腾讯计算机系统有限公司 | 监控告警策略配置方法及装置、监控告警方法及装置 |
CN106557401A (zh) * | 2016-10-13 | 2017-04-05 | 中国铁道科学研究院电子计算技术研究所 | 一种it设备监控指标的动态阈值设定方法及系统 |
WO2019056681A1 (zh) * | 2017-09-22 | 2019-03-28 | 平安科技(深圳)有限公司 | 数据实时监控方法、装置、终端设备及存储介质 |
CN109146381A (zh) * | 2018-08-23 | 2019-01-04 | 北京顺丰同城科技有限公司 | 物流数据监控方法、装置、电子设备及计算机存储介质 |
CN110362454A (zh) * | 2019-06-29 | 2019-10-22 | 北京淇瑀信息科技有限公司 | 一种支持可配置的决策引擎的报警方法、装置和电子设备 |
Non-Patent Citations (3)
Title |
---|
ARUN SEN 等: "Data Warehousing Process Maturity: An Exploratory Study of Factors Influencing User Perceptions", 《IEEE TRANSACTIONS ON ENGINEERING MANAGEMENT》 * |
熊鹏程 等: "基于系统动力学的业务性能预测和优化模型", 《机械工程学报》 * |
程乔 等: "重点业务感知监测分析机器人在网优智能化中的应用研究", 《邮电设计技术》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111597255A (zh) * | 2020-04-29 | 2020-08-28 | 北京金山云网络技术有限公司 | 数据灾备处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10353799B2 (en) | Testing and improving performance of mobile application portfolios | |
US20170371757A1 (en) | System monitoring method and apparatus | |
JP2023029983A (ja) | 電力不正使用検出のための新しい非パラメトリック統計的挙動識別エコシステム | |
CN110471821B (zh) | 异常变更检测方法、服务器及计算机可读存储介质 | |
CN105095056A (zh) | 一种数据仓库数据监控的方法 | |
CN108492150B (zh) | 实体热度的确定方法及系统 | |
CN106445938B (zh) | 一种数据检测方法及装置 | |
CN111881221A (zh) | 物流服务里客户画像的方法、装置和设备 | |
CN107705175B (zh) | 确定用户与商户之间相似度的方法、装置及电子设备 | |
CN110866698A (zh) | 用于评定服务提供方的服务分值的装置 | |
CN111612085A (zh) | 一种对等组中异常点的检测方法及装置 | |
CN108629467B (zh) | 一种样品信息处理方法及系统 | |
CN108694609B (zh) | 一种广告网盟平台 | |
CN111061615A (zh) | 数据仓库的数据监控方法、装置、服务器和存储介质 | |
CN113342625A (zh) | 一种数据监控方法及系统 | |
CN112287208B (zh) | 用户画像生成方法、装置、电子设备及存储介质 | |
CN109189810B (zh) | 查询方法、装置、电子设备及计算机可读存储介质 | |
CN109697203B (zh) | 指标异动分析方法及设备、计算机存储介质、计算机设备 | |
CN113034076B (zh) | 物流承运对象推荐方法、装置、电子设备和存储介质 | |
CN110990401B (zh) | 一种酒店搜索方法及系统 | |
CN110503477B (zh) | 订单的毛利异常原因的分析方法、系统、设备和存储介质 | |
CN113094241A (zh) | 一种实时程序准确性的确定方法、装置、设备及存储介质 | |
US10558647B1 (en) | High performance data aggregations | |
CN111835566A (zh) | 一种系统故障管理方法、装置及系统 | |
CN112148491B (zh) | 数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211130 Address after: Room 084, No. 1-309, 3rd floor, commercial building, No. 9 Wangjing street, Chaoyang District, Beijing 100102 Applicant after: Beijing Daily Youxian Technology Co.,Ltd. Address before: 100102 room 801, 08 / F, building 7, yard 34, Chuangyuan Road, Chaoyang District, Beijing Applicant before: BEIJING MISSFRESH E-COMMERCE Co.,Ltd. |
|
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200424 |