CN111274255A - 业务数据监控方法及系统、监控架构、设备、存储介质 - Google Patents
业务数据监控方法及系统、监控架构、设备、存储介质 Download PDFInfo
- Publication number
- CN111274255A CN111274255A CN202010065513.6A CN202010065513A CN111274255A CN 111274255 A CN111274255 A CN 111274255A CN 202010065513 A CN202010065513 A CN 202010065513A CN 111274255 A CN111274255 A CN 111274255A
- Authority
- CN
- China
- Prior art keywords
- service
- data
- subsystem
- service data
- checking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 219
- 230000001172 regenerating effect Effects 0.000 claims description 9
- 238000009825 accumulation Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 230000002159 abnormal effect Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000011144 upstream manufacturing Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Debugging And Monitoring (AREA)
Abstract
业务数据监控方法及系统、监控架构、设备、存储介质,所述方法包括:实时监听业务消息,根据监听到的业务消息获取业务数据,包括:实时获取与第一业务子系统发送的业务执行请求数据所对应的第一业务数据;从关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据;实时获取关联业务子系统完成业务处理操作对应的第二业务数据;对获取到的业务数据进行实时核对,得到核对结果,包括:对第一业务数据与第三业务数据进行实时核对,确定是否一致;对第二业务数据与第一业务数据进行实时核对,确定是否一致;基于核对结果生成相应的监控信息并输出。采用上述方案可以提高业务数据一致性核对的实时性,减少错误数据的积累。
Description
技术领域
本说明书实施例涉及数据处理技术领域,尤其涉及一种业务数据监控方法及系统、监控架构、设备、存储介质。
背景技术
目前,在O2O(Online To Offline,线上到线下)行业,业务处理系统通常包括多个业务子系统,普遍存在着多个业务子系统处理各自对应的业务逻辑,各业务子系统会处理并存储各自的业务数据。业务子系统之间、业务子系统与数据库之间都会存在着通信异常以及业务逻辑异常的情况,会导致业务子系统间的数据不一致。数据不一致会给业务造成一定的影响或损失。在业务高峰期或者交易量巨大的系统中,数据不一致造成的影响尤其严重,有时还会导致严重的资金损失。因此,建立一套业务数据监控系统非常有必要。
目前对于同步请求方式的业务数据监控,可以很好地运行,但是对于异步请求涉及的业务数据的监控,目前所采用的业务数据的一致性核对的方式,通常需要经过一段时间,才能发现业务数据不一致的问题,这给积累错误数据留下了发生时间。此外,对于交易数据,也给资损风险留下了发生时间。
发明内容
有鉴于此,本说明书实施例提供一种业务数据监控方法及系统、监控架构、设备、存储介质,能够提高业务数据一致性核对的实时性,减少错误数据的积累。
本说明书实施例提供了一种业务数据监控方法,适于对业务数据处理系统的业务数据进行监控,所述业务数据处理系统包括多个业务子系统,所述多个业务子系统中包括:作为第一业务子系统的任一业务子系统,以及与所述第一业务子系统关联的关联业务子系统;其中,所述第一业务子系统向所述关联业务子系统发送对应的业务执行请求数据,使得所述关联业务子系统记录对应的业务执行请求数据,并按照记录的业务执行请求数据执行业务处理操作;所述业务数据监控方法包括:
实时监听业务消息,根据监听到的业务消息获取业务数据,包括:实时获取与所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据;从所述关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据;实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据;
对获取到的业务数据进行实时核对,得到核对结果,包括:对所述第一业务数据与所述第三业务数据进行实时核对,确定是否一致;对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致;
基于核对结果生成相应的监控信息并输出。
可选地,所述实时获取所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据,包括以下至少一种:
实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务数据;
实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务摘要数据,基于所述第一业务摘要数据从所述第一业务子系统获取对应的第一业务详细数据作为所述第一业务数据。
可选地,所述实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据,包括以下至少一种:
实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志记录,生成相应的业务处理结果消息;从所述业务处理结果消息中获取所述第二业务数据;
实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志记录,生成业务处理结果消息;从所述业务处理结果消息中获取第二业务摘要数据,基于所述第二业务摘要数据从所述关联业务子系统中获取对应的第二业务详细数据作为所述第二业务数据。
可选地,所述对获取到的业务数据进行实时核对,得到核对结果,还包括:基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对。
可选地,所述基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对,包括以下至少一种:
根据业务特征,获取与所述第一业务子系统中与所述业务处理请求消息中的第一业务数据关联的业务数据作为第四业务数据;将所述业务处理请求消息对应的第一业务数据与所述第四业务数据进行核对;基于所述第一业务数据与所述第四业务数据是否一致,来确定所述第一业务数据是否合理;
基于预设的业务状态执行逻辑,重新计算所述第一业务数据对应的业务生命周期阶段信息作为第四业务数据;将所述第一业务数据包含的业务生命周期阶段信息与所述第四业务数据进行核对;基于所述第一业务数据包含的业务生命周期阶段信息与所述第四业务数据是否一致,来确定所述第一业务数据对应的业务生命周期阶段信息是否合理。
可选地,所述业务数据监控方法还包括:定时从所述业务子系统的数据库日志中抽取日志记录,生成离线数据集;对所述离线数据集中的业务数据进行核对,确定相应的业务数据的合理性和一致性。
可选地,所述对所述离线数据集中的业务数据进行核对,确定相应的业务数据的合理性和一致性,包括以下至少一种:
按照所述离线数据集中业务数据所对应的业务子系统存在的业务定义重新计算业务数据,并与所述离线数据集中的业务数据进行比对,以进行业务数据合理性核对;
对多个离线数据集中关联的业务数据进行比对,确定关联的业务数据是否一致。
可选地,所述第一业务子系统为交易子系统,与所述第一业务子系统关联的业务子系统包括以下至少其中一种:支付子系统、权益分配子系统。
本说明书实施例还提供了一种业务数据监控系统,适于对业务数据处理系统的业务数据进行监控,所述业务数据处理系统包括多个业务子系统,所述多个业务子系统中包括:作为第一业务子系统的任一业务子系统,以及与所述第一业务子系统关联的关联业务子系统;其中,第一业务子系统适于向关联的各关联业务子系统分别发送对应的业务执行请求数据;所述关联业务子系统记录对应的业务执行请求数据,并按照记录的业务执行请求数据执行业务处理操作;所述业务数据监控系统包括:
业务数据获取单元,适于实时监听业务消息,根据监听到的业务消息获取业务数据,包括:获取与所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据;从所述关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据;实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据;
第一业务数据核对单元,适于对监听到的业务消息进行实时核对,得到核对结果,所述第一业务数据核对单元包括:第一核对子单元,适于对所述第一业务数据与所述第三业务数据进行实时核对,确定是否一致;对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致;
监控信息生成单元,适于基于核对结果生成相应的监控信息并输出。
可选地,所述业务数据获取单元包括以下至少一种:
第一获取子单元,适于实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务数据;
第二获取子单元,适于实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务摘要数据,基于所述业务摘要数据从所述第一业务子系统获取对应的第一业务详细数据作为所述第一业务数据;
第三获取子单元,适于实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志记录,生成相应的业务处理结果消息;从所述业务处理结果消息中获取所述第二业务数据;
第四获取子单元,适于实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志记录,生成业务处理结果消息;从所述业务处理结果消息中获取第二业务摘要数据,基于所述第二业务摘要数据从所述关联业务子系统中获取对应的第二业务详细数据作为所述第二业务数据。
可选地,所述第一业务数据核对单元,还包括:第二核对子单元,适于基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对。
可选地,所述业务数据监控系统还包括:
离线数据生成单元,适于定时从所述业务子系统的数据库日志中抽取日志记录,生成离线数据集;
第二业务数据核对单元,适于对所述离线数据集中的业务数据进行核对,确定相应的业务数据的合理性和一致性。
本说明书实施例还提供了一种业务数据监控架构,适于对业务数据处理系统的业务数据进行监控,所述业务数据处理系统包括多个业务子系统,所述多个业务子系统中包括:作为第一业务子系统的任一业务子系统,以及与所述第一业务子系统关联的关联业务子系统;其中,所述第一业务子系统向所述关联业务子系统发送对应的业务执行请求数据;所述关联业务子系统记录对应的业务执行请求数据,并按照记录的业务执行请求数据执行业务处理操作;
所述业务数据监控架构包括第一核对平台,所述第一核对平台包括:
第一数据接入模块,所述第一数据接入模块包括:消息队列,适于缓存业务消息;
消息获取模块,适于监听消息队列,根据监听到的业务消息获取业务数据,包括:获取与所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据;从所述关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据;实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据;
第一核对模块,适于对获取到的业务数据进行实时核对,得到核对结果,基于核对结果生成相应的监控信息并输出,包括:对所述第一业务数据与所述第三业务数据进行实时核对,确定是否一致;对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致。
可选地,所述消息获取模块,适于从监听到的业务消息中获取业务摘要数据;
所述第一数据接入模块,还包括:数据调用子模块,适于基于所述消息获取模块获取到的业务摘要数据从所述第一业务子系统中获取业务详细数据作为所述第一业务数据。
可选地,所述第一核对模块,还适于基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,并将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对。
可选地,所述业务数据监控架构还包括:第二核对平台,适于对业务数据进行离线核对,所述第二核对平台包括:
第二数据接入模块,适于定时从业务子系统的数据库日志中抽取日志记录,生成离线数据集并存储;
第二核对模块,适于对所述第二数据接入模块生成的所述离线数据集中的业务数据,进行定时核对,确定相应的业务数据的合理性和一致性。
本说明书实施例还提供了一种数据处理设备,包括存储器和处理器;其中,所述存储器用于存储一条或多条计算机指令,所述一条或多条计算机指令被所述处理器执行前述任一实施例所述方法的步骤。
本说明书实施例还提供了一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令运行时执行前述任一实施例所述方法的步骤。
采用本发明实施例中的业务数据监控方案,对业务处理系统的业务数据进行监控,第一业务子系统和关联业务子系统之间存在异步请求,也即关联业务子系统会延迟返回业务处理结果,对于不同业务子系统(例如上下游业务子系统)之间的这一业务数据监控过程,可以实时地将多个业务子系统的第一业务子系统发送的业务执行请求数据所对应的第一业务数据,分别与第三业务数据(也即:获取到的关联业务子系统记录的业务执行请求数据)以及完成业务处理操作对应的第二业务数据分别核对,使得关联业务子系统的从接收到所述业务执行请求数据,以及每一个异步处理操作完成后所生成的第二业务数据,均可以与第一业务子系统的异步请求数据(业务执行请求数据)进行实时核对,从而可以及时发现错误数据,避免错误数据的积累及由此带来的损失。
进一步地,通过实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务摘要数据,基于所述第一业务摘要数据从所述第一业务子系统获取对应的第一业务详细数据作为所述第一业务数据;或者,实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志,生成业务处理结果消息,从所述业务处理结果消息中获取第二业务摘要数据,基于所述第二业务摘要数据从所述关联业务子系统中获取对应的第二业务详细数据作为第二业务数据,可以将所述第一业务子系统与关联业务子系统中的业务详细数据进行全面的核对,因而可以避免核对遗漏,提高业务数据核对的完整性。
进一步地,基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,并将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性比对,采用上述方案,对于作为第一业务子系统的任一业务子系统,均可以基于业务定义实时地对所述业务子系统产生的业务数据进行实时核对,因此可以第一时间发现问题数据,输出监控信息,减少错误数据的积累以及由此带来的损失。
进一步地,可以根据业务特征,或者基于预设的业务状态执行逻辑,基于业务生命周期对业务数据进行业务数据合理性核对,可以尽可能全面而及时地发现问题数据,减少错误数据的积累以及由此带来的损失。
进一步地,通过定时从业务子系统的数据库日志中抽取日志记录,生成离线数据集,并对所述离线数据集中的业务数据进行核对,通过这一对离线生成的业务数据的核对操作,对于实时核对无法覆盖的时效性弱的异常场景,也可以进行业务数据的合理性和一致性的核对,从而可以有效地避免问题数据的遗漏,及时发现问题数据,及时止损。
进一步地,对于业务处理系统中涉及到资金安全的交易子系统、支付子系统、权益分配子系统等,通过采用本说明书实施例中的方案进行业务数据核对,可以及时发现业务数据不一致的情形,通过输出监控信息,可以及时止损,减少资损风险。
附图说明
为了更清楚地说明本说明书实施例的技术方案,下面将对本说明书实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书实施例中一种业务数据监控方法的执行流程图;
图2是一种用户退单操作对应的业务处理系统的业务数据处理执行时序示意图;
图3是本说明书实施例中一种业务数据监控执行时序示意图;
图4是本说明书实施例中一种不同业务子系统之间数据一致性核对的时序执行示意图;
图5是本说明书实施例中一种对业务处理系统的业务数据监控处理时序执行示意图;
图6是本说明书实施例中一种业务子系统内的业务数据合理性核对的时序执行示意图;
图7是本说明书实施例中一种业务数据离线核对时序执行示意图;
图8是本说明书实施例中一种业务数据监控系统的结构示意图;
图9是本说明书实施例中一种业务数据监控架构的结构示意图。
具体实施方式
目前很多业务处理系统中,多个业务子系统之间进行业务数据交互,有大量的异步请求的业务数据。对于异步请求的业务数据监控,应用目前的业务数据一致性核对方式,通常需要经过一段时间,才能发现业务数据不一致的问题,这给积累错误数据留下了发生时间。此外,对于某些业务场景,比如线上交易场景,也给资损(即:资金损失)风险留下了发生时间。例如,在交易子系统中经常会发生资金的变动,比如用户支付、清结算等操作,这些资金变动发生的正确与否,对各个关联业务子系统及交易关联方都有影响。在业务高峰期或者交易量巨大的系统中,资损(指交易子系统中发生的资金损失)问题造成的损失会非常严重。
目前,对于异步请求的业务数据的监控,有两种核对方式:延迟核对和异步(准实时)核对。
其中,延迟核对的核对时间点强依赖于业务子系统,发生问题和发现问题的时间差依赖于业务子系统对于异步请求的执行完成的时间,无法做到及时发现问题。而如果人工设置核对延迟时间,若核对延迟时间设置过短,会造成非常多的错误告警,浪费大量人力资源;若核对延迟时间设置过长,需要承受核对延迟时间内的错误数据风险及由此产生的资金损失。
而异步(准实时)核对是将上下游的业务数据先后存储在中间介质中,然后剔除正确匹配的数据,并定时任务轮询,查出问题数据。但是,定时任务在处理下游数据无法及时到达的情况下,无法明确判断该业务数据是否存在问题,必须经过一段时间,才能给出告警,这就给积累错误数据以及可能存在的资损风险留下了发生时间。
针对上述问题,对于异步请求涉及的业务数据,通过对异步请求数据和异步处理结果分别实时核对一致性,可以及时发现错误数据,避免错误数据的积累及由此带来的损失。
目前的业务处理系统通常包括多个业务子系统,其中,部分或全部业务子系统之间可能存在关联及数据交互。例如,一业务处理系统包括第一业务子系统和与所述第一业务子系统关联的关联业务子系统,第一业务子系统可以向各关联的业务子系统分别发送对应的业务执行请求数据,使得各关联业务子系统分别记录对应的业务执行请求数据,各关联业务子系统可以分别按照记录的业务执行请求数据执行业务处理操作。
为描述方便,本说明书实施例中将任一业务子系统称为第一业务子系统,与所述第一业务子系统关联的业务子系统称为关联业务子系统。其中,所述第一业务子系统可以向所述关联业务子系统发送对应的业务执行请求数据,所述关联业务子系统可以记录对应的业务执行请求数据,并按照记录的业务执行请求数据执行业务处理操作。也就是说,第一业务子系统和关联业务子系统之间存在异步请求,也即关联业务子系统会延迟返回业务处理结果。
本说明书实施例中,可以对上述业务处理系统进行业务数据监控,通过实时监听业务消息,根据监听到的业务消息获取业务数据,进而对获取的业务数据进行实时核对,可以得到核对结果,具体而言,可以根据监听到的业务消息,获取与所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据,从所述关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据,实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据。之后,可以对所述第一业务数据与所述第三业务数据进行实时核对,确定是否一致;对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致;基于核对结果生成相应的监控信息并输出。
采用本说明书实施例方案,可以实时地将多个业务子系统的第一业务子系统发送的业务执行请求数据所对应的第一业务数据,分别与第三业务数据(也即:获取到的关联业务子系统记录的业务执行请求数据)以及完成业务处理操作对应的第二业务数据分别核对,使得关联业务子系统的从接收到所述业务执行请求数据,以及每一个异步处理操作完成后所生成的第二业务数据,均可以与第一业务子系统的异步请求数据(业务执行请求数据)进行实时核对,从而可以及时发现错误数据,避免错误数据的积累及由此带来的损失。
参照图1所示的业务数据监控方法的执行流程示意图,其中,对于业务数据处理系统10,包括第一业务子系统11和与所述第一业务子系统11关联的关联业务子系统12,业务数据监控系统20对所述业务数据处理系统10的业务数据进行监控。可以理解的是,在具体实施中,任一业务子系统均可以作为第一业务子系统11,与所述第一业务子系统11关联的关联业务子系统12可以为多个,图1中仅以一个关联业务子系统12进行示例说明。为使本领域技术人员更好地理解和实施,由于业务数据监控过程以业务的执行为基础,以产生的业务数据为对象,以下结合业务数据处理系统的处理流程及业务数据监控系统的监控过程进行说明。
S11,第一业务子系统11向关联业务子系统12发送业务执行请求数据。
S12,业务数据监控系统20实时获取与所述第一业务子系统11发送的业务执行请求数据所对应的第一业务数据。
在具体实施中,可以通过多种方式获取所述第一业务数据。
在本说明书一些实施例中,可以通过实时获取数据库日志来获得所述第一业务数据。具体而言,可以通过数据库日志采集装置实时采集所述第一业务子系统11的数据库日志。本领域技术人员可以理解,在第一业务子系统11有处理操作时,即可基于相应的处理操作生成相应的日志记录,因此,当所述第一业务子系统11向关联业务子系统12发送业务执行请求数据时,在数据库日志中即生成相应的日志记录,进而可以基于数据库日志中实时生成的日志记录,获得所述第一业务数据。
例如,可以实时获取所述第一业务子系统11的数据库日志,基于与所述第一业务子系统11发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务数据。作为一种可选方案,业务数据监控系统20可以设置消息队列来接收业务消息,并监听消息队列,对于接收到的业务处理请求消息,可以从中获取第一业务数据。
又如,可以实时获取所述第一业务子系统11的数据库日志,基于与所述第一业务子系统11发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务摘要数据,基于所述第一业务摘要数据从所述第一业务子系统11获取对应的第一业务详细数据作为所述第一业务数据。
S13,关联业务子系统12在接收到所述第一业务子系统11发送的执行请求数据时,记录对应的业务执行请求数据。
S13-1,关联业务子系统12在记录对应的业务执行请求数据后,可以向第一业务子系统11反馈应答消息,确认收到所述业务执行请求数据。
S14,业务数据监控系统20从所述关联业务子系统12实时获取记录的对应的业务执行请求数据作为第三业务数据。
在具体实施中,关联业务子系统12一旦接收到所述第一业务子系统11发送的执行请求数据,即可记录对应的业务执行请求数据,业务数据监控系统20可以将关联业务子系统12记录的对应的业务执行请求数据作为第三业务数据。
在具体实施中,关联业务子系统12基于记录对应的业务执行请求数据的操作,所述关联业务子系统12的数据库日志也可以生成相应的日志记录,因此业务数据监控系统20可以实时获取所述关联业务子系统12的数据库日志,基于与记录业务执行请求数据的日志记录生成相应的业务记录消息。作为一种可选方案,业务记录消息可以存储在相应的消息队列中,业务数据监控系统20可以从所述消息队列中获取相应的业务记录消息,并从所述业务记录消息中获取所述记录的业务请求执行数据作为第三业务数据。
S15,业务数据监控系统20对所述第一业务数据和所述第三业务数据进行实时核对,确定是否一致。
在具体实施中,业务数据监控系统20一旦获取到所述第一业务数据和所述第三业务数据,即可进行核对,比较二者是否一致。
S16,关联业务子系统12按照记录的业务执行请求数据执行业务处理操作。
关联业务子系统12在接收到业务执行请求数据后,可以按照自身的业务定义及执行逻辑,执行业务处理操作。
S17,业务数据监控系统20实时获取所述关联业务子系统12完成业务处理操作对应的第二业务数据。
在具体实施中,可以通过多种方式获取所述第二业务数据。
与步骤S12类似,在本说明书一些实施例中,同样可以通过实时获取数据库日志来获得所述第二业务数据。具体而言,可以通过数据库日志采集装置实时采集所述关联业务子系统12的数据库日志。本领域技术人员可以理解,在关联业务子系统12有处理操作时,即可基于相应的处理操作生成相应的日志记录,因此,当所述关联业务子系统12完成业务处理操作时,在数据库日志中即生成相应的日志记录,进而可以基于数据库日志中实时生成的日志记录,获得与完成业务处理操作对应的第二业务数据。
例如,可以实时获取所述关联业务子系统12的数据库日志,基于与所述关联业务子系统12完成业务处理操作对应的日志记录,生成相应的业务处理结果消息,从所述业务处理结果消息中获取所述第二业务数据。作为一种可选方案,业务数据监控系统20可以设置消息队列来接收业务消息,并监听消息队列,对于接收到的业务处理结果消息,可以从中获取第二业务数据。
又如,可以实时获取所述关联业务子系统12的数据库日志,基于与所述关联业务子系统12完成业务处理操作对应的日志记录,生成业务处理结果消息,从所述业务处理结果消息中获取第二业务摘要数据,基于所述第二业务摘要数据从所述关联业务子系统12获取对应的第二业务详细数据作为所述第二业务数据。
S18,业务数据监控系统20对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致。
在具体实施中,业务数据监控系统20一旦获取到所述第一业务数据和所述第二业务数据,即可进行核对,比较二者是否一致。
S19,业务数据监控系统20基于核对结果生成相应的监控信息并输出。
需要说明的是,在系统实际执行过程中,各步骤并非如图中所示有较长的时间间隔,例如步骤S12与步骤S13在步骤S11之后通常时间延迟很短即可发生,步骤S14在步骤S13之后时间延迟也很短,从而步骤S15可以对所述第一业务数据和第三业务数据进行实时核对,确定是否一致。而根据关联业务子系统12自身的业务定义,步骤S16可能是异步执行的,具体可能需要经过一段时间才能完成,或者需要多个步骤才能完成,而步骤S17~S19则是在业务数据监控系统20在步骤S16完成后需要延迟很短即可完成,从而可以实现第一业务子系统11与关联业务子系统12之间的业务数据的实时核对,减小业务数据监控系统发现错误数据的时延,进而可以避免错误数据的积累和由此带来的损失。
为使本领域技术人员更好地理解和实现本说明书实施例,以下通过具体的应用场景的进行详细说明。
参照图2所示的用户退单操作对应的业务处理系统的业务数据处理时序执行示意图,业务处理系统可以包括交易子系统、支付子系统和营销子系统等。在具体实施中,营销子系统可以作为权益分配子系统,配置对应的券(优惠券、抵用券等)、积分、会员资格、优惠等级等。在O2O业务中,通过线上交易,可能存在订单对应的商品与用户预期不一致的情形。为满足用户需求,通常交易子系统中会配置相应的退单分系统(图中未示出)对用户的退单操作进行相应的业务处理操作。
例如,针对一个用户的退单操作,参照图2,业务处理系统中各业务子系统可以按照图2所示时序执行相应的业务处理操作,具体执行流程如下:
步骤S201,用户通过用户终端向交易子系统发起退单请求,请求退单。
步骤S202,交易子系统计算应向用户回退的用户资产(比如资金、券(优惠券、抵用券等)、优惠资格等权益),创建退单和资产列表。
步骤S203,交易子系统向用户反馈处于退款中的状态信息。
步骤S204,交易子系统创建异步请求任务:退款。
步骤S205,交易子系统向支付子系统发送退款请求数据,请求退款。
步骤S206,支付子系统记录所述退款请求数据,并向交易子系统反馈收到退款请求数据的响应消息。
步骤S207,支付子系统执行退款操作,将资金回退至用户账户。
步骤S208,交易子系统创建异步请求任务:退营销资产。
步骤S209,交易子系统向营销子系统发送退营销资产请求数据,请求营销子系统将券回退给用户。
步骤S210,营销子系统将券回退给用户,并向交易子系统返回退券处理结果。
其中,交易子系统在接收到用户的退单请求后,先通过步骤S203向用户返回处理退款状态中的信息,之后,交易子系统才分别向支付子系统和营销子系统发送相应的业务执行请求数据,分别请求退款及请求退券,而支付子系统在接收到请求退款的业务执行请求后,也是先向交易子系统反馈收到退款请求数据的响应消息,之后,再去执行退款操作;营销子系统则在接收到请求退券的业务执行请求数据时,直接执行退券处理操作,并在退券处理执行完毕后向交易子系统返回退券结果信息。
由上述业务处理系统的业务流程可知,退单过程中业务数据的处理涉及多个业务子系统,其中退单过程中会涉及到退款及权益的回退,权益的回退也涉及到很多的子系统,在交易子系统中,经常采用异步请求和补偿任务的方式去完成这些权益的回退。
但是,这些异步请求对应的处理任务什么时候执行完毕,通常是不确定的,取决于执行策略和系统压力等。比如定时执行,在交易子系统压力比较小的情况下,异步请求对应的处理任务可以很快执行完成,但在交易子系统压力比较大或者发生补偿任务的情况下,异步请求对应的处理操作需要使用更长时间。因此,在延迟处理时间内,若退单对应的业务数据不一致,例如退单对应的退单金额出现问题而不能及时发现,可能发生资金损失,若这一问题在业务高峰期或者在交易量巨大的业务处理系统内发生,则造成的损失会非常严重。
针对上述问题,本发明实施例提供了相应的数据业务监控方案,仍以对包括交易子系统及与其关联的关联业务子系统的业务处理系统的业务数据监控进行示例说明。交易子系统的数据库可以基于交易系统的操作,生成相应的数据库日志。对于图1所示的业务处理系统中的不同业务子系统之间的业务数据核对,可以通过相应的业务数据监控系统进行监控处理,在本说明书一实施例中,如图2所示,业务数据监控系统可以包括数据库日志采集装置、消息队列和核对子系统。参照图3,具体可以采用如下的业务数据监控处理流程。
S301,交易子系统在执行业务处理操作时,可以生成相应的交易数据,并记录在数据库中。
交易子系统可以产生订单和退单等数据。
继续以退单场景为例,交易子系统在接收到用户的退单请求时,可以计算应向用户回退的用户资产,创建退单和资产列表,并向关联业务子系统分别发送业务执行请求数据,具体而言,可以向支付子系统发送退款执行请求数据,向营销子系统发送权益回退执行请求数据。在交易子系统执行业务处理过程中,基于交易子系统的处理操作可以生成相应的数据库日志。例如,对于订单、退单等数据,通过写入MySQL(一种关系型数据库管理系统)数据库时,可以相应地生成数据库日志。
S302,数据库日志采集装置可以从所述数据库中采集日志数据,抽取数据记录,生成相应的业务消息。
在具体实施中,可以采用数据库日志采集装置,可以从数据库中抽取数据记录,生成相应的业务消息。例如,对于MySQL数据库,可以根据MySQL BINLOG协议抽取MySQL数据库中的增量BINLOG日志,解析和还原成具体的数据库表记录数据,其中,具体的数据类型可以包括插入(INSERT)、更新(UPDATE)和删除(DELETE)三种类型,其中UPDATE类型的记录数据可以包括旧值和更新后的值。
其中,数据库日志采集装置可以分别从交易子系统的数据库和交易子系统关联的关联业务子系统的数据库中分别采集日志数据,抽取日志记录,生成相应的业务消息。例如,对于基于交易子系统向关联业务子系统发送业务执行请求数据的操作,可以生成相应的业务处理请求消息;对于关联业务子系统基于所述业务执行请求数据对应的业务处理操作所生成的业务处理结果消息。
S303,数据库日志采集装置可以向消息队列发送业务消息。
在具体实施中,数据库日志采集装置可以为各业务子系统的业务消息创建相应的消息队列。仍以退单操作涉及到的业务处理系统为例,可以为交易子系统创建相应的消息队列,也为各关联业务子系统分别创建相应的消息队列,这样,数据库日志采集装置可以将相应业务子系统所生成的业务消息发送至对应的消息队列。
S304,核对子系统获取业务消息,从业务消息中获取业务数据。
核对子系统可以实时监听消息队列,从监听到的业务消息中消费业务数据。其中,消息可以由消息头和消息体等组成,消息头中包含消息类型、消息格式等信息,消息体中可以包含具体的业务数据,其中业务数据可以为业务摘要数据,例如,核对子系统监听到创建退单的消息,可以从消息体中获取到完整的退单摘要数据。
S305,核对子系统从交易子系统请求交易数据。
步骤S305作为一可选步骤,对于基于交易子系统交易操作所生成的交易数据,通过步骤S301~S304,可以发送至消息队列,业务数据监控系统中的核对子系统通过所述业务消息,获取业务数据,若所述业务数据为摘要数据,核对子系统可以基于所述摘要数据,进一步从所述交易子系统获取详细的交易数据作为本发明实施例中所述的第一业务数据。
在具体实施中,核对子系统可以基于获取到的交易摘要数据,例如退单数据,从交易子系统请求交易详细数据。在本说明书一实施例中,核对子系统可以通过预设的远程过程调用(Remote Procedure Call,RPC)函数或其他的调用方法从交易子系统请求所述交易详细数据。
仍以退单场景为例,对于退单业务处理,在通过消息队列获取到退单摘要数据(例如退单号)后,可以从交易子系统获取到退单详细数据,例如可以包括创建的退单及资产数据,例如退单表和对应的权益表,权益表可以包括资金数据、各种券数据等。
S306,核对子系统向交易子系统的关联业务子系统请求资产数据。
在交易操作发生时,与交易子系统关联的关联业务子系统可能会产生相应的数据操作,业务数据可能相应会发生变化,例如,关联业务子系统中的资产数据可能发生变化。
与步骤S305中类似,核对子系统可以通过RPC等调用方式从关联业务子系统获取业务详细数据。这里资产数据即对应本说明书前述实施例所述的第二业务数据。
继续以前述退单场景为例,核对子系统可以从关联业务子系统获取到需要向用户回退的资产数据,例如可以包括各种券、权益资格等。
S307,核对子系统核对获取的交易数据和资产数据,确定二者是否一致,并基于核对结果生成相应的监控信息并输出。
通过步骤S307,可以确定退单业务涉及的业务处理系统中涉及到的上下游业务子系统的业务数据的一致性。如退单场景涉及到的,业务数据可以涉及退款、退资产数据等与资金或权益相关的数据,因此,通过上下游业务子系统数据的实时核对,可以避免不同业务子系统之间错误数据的积累,进而可以避免资金损失。
采用上述方案,基于实时监听到的业务消息,可以触发核对子系统对各关联业务子系统之间业务数据的实时核对。
其中,可以核对不同业务子系统之间的业务详细数据,从而可以实现不同业务子系统之间业务数据的全面核对,从而可以避免核对遗漏,提高业务数据核对的完整性。
以下以对业务处理系统在退单发生时的业务数据监控方法流程进行详细介绍,参照图4所示的一种不同业务子系统之间数据一致性核对的时序执行示意图,具体可以包括如下步骤:
S401,核对子系统在消息队列中监听到请求支付子系统退款消息,从所述请求支付子系统退款消息中获取到退单摘要数据。
如前所述,交易子系统在接收到退单请求消息时,可以创建退单详细数据,例如可以包括完整的退单和资产列表数据,并记录在数据库中。可以采用数据库日志采集装置实时采集数据库中的增量数据,生成相应的请求支付子系统退款消息并发送到消息队列,关于消息队列中业务消息如何生成的过程可以参见前述实施例的描述。
在具体实施中,在监听到请求支付子系统退款消息时,可以从请求支付退款消息中获取到退单号。
S402,核对子系统向交易子系统请求退单详细数据。
例如,核对子系统基于在步骤S401中获取到的来自交易子系统的完整的退单摘要数据(如退单号),可以向交易子系统请求获取到退单详细数据,可以包括详细的退单和资产数据,例如退单号、退单时间、金额、券等退单对应的详细信息,退单详细数据可以以退单表和资产表等形式表示。
在具体实施中,可以通过预设的RPC方式从交易子系统获取退单详细数据。
在本实施例中,交易子系统作为第一业务子系统,通过上述步骤S401~S402,可以将从交易子系统获取到的退单详细数据作为所述交易子系统的第一业务数据。
S403,核对子系统从支付子系统获取支付执行请求数据。
如前所述,支付子系统作为所述交易子系统的关联子系统。交易子系统在创建退单和资产数据后,可以分别向退单业务关联的业务子系统发送对应的业务执行请求数据,其中包括向支付子系统发送的请求退款执行数据。
支付子系统在接收到交易子系统发送的支付执行请求数据后,可以记录所述支付执行请求数据作为请求支付凭证。
在具体实施中,核对子系统可以采用预设的调用方式如RPC方式,从支付子系统可以获取所述请求支付凭证,也即所述支付子系统在接收到交易子系统发送的支付执行请求数据时所记录的支付请求执行数据,作为第二业务数据。
S404,核对子系统对从交易子系统获取的退单详细数据以及从支付子系统获取的支付执行请求数据进行比较,核对二者是否一致。
核对子系统核对所述退单详细数据和所述支付执行请求数据,若二者一致,则说明生成的业务数据正常;若二者不一致,说明交易子系统创建的退单详细数据(包括退单和资产数据)与支付子系统预执行的支付数据不一致,例如可能金额不一致,此时可以生成告警信息并输出。
在具体实施中,可以将告警信息输出至可以进行业务数据监控的监控终端或负责监控管理的监控账户,监控人员可以通过所述监控终端或监控账户及时发现业务数据不一致之处,及时排查问题数据。若涉及到资金问题,可以在退款还未发生的情况下将相应业务进程及时暂停,避免资金损失。
S405,核对子系统在消息队列中监听到支付子系统退款成功消息,从所述支付子系统退款成功消息中获取到退款摘要数据。
例如,当监听到支付子系统退款成功消息,可以从所述支付子系统退款成功消息中获取到退单号。
S406,核对子系统向支付子系统请求支付数据。
在具体实施中,核对子系统可以基于所述退款成功消息中获取到的退单号从所述支付子系统请求对应的支付数据,例如支付金额数据,此外,支付数据还可以包括支付时间、支付地点、支付方式等详细支付数据。
在步骤S406中从所述支付子系统获取到的详细支付数据,这里支付子系统可以作为第一业务子系统,与所述支付子系统关联的交易子系统可以作为关联业务子系统,所述详细支付数据即可作为所述支付子系统作为第一业务子系统时的第一业务数据。
S407,核对子系统从交易子系统请求退单详细数据。
如前所述,交易子系统在接收到来自用户的退单请求时,可以创建退单详细数据,退单详细信息可以包括退单数据和涉及到的资产数据。核对子系统可以通过RPC等方式从交易子系统请求到详细的退单和资产数据。
由步骤S406中具体介绍可知,在交易子系统作为关联业务子系统时,通过步骤S407可以获取到所述交易子系统的请求退单详细数据作为第二业务数据。
S408,核对子系统将从支付子系统获取的退款数据与从交易子系统请求的退单和资产数据进行比较,核对二者是否一致。
同样地,核对子系统对所述退款数据和所述退单和资产数据进行核对,若二者一致,则说明生成的业务数据正常;若二者不一致,说明交易子系统创建的退单和资产数据与支付子系统实际执行的支付数据不一致,例如可能金额不一致,此时可以生成告警信息并输出,以避免资损问题发生。
在具体实施中,根据业务消息中包含的业务数据的完整程度以及核对子系统的需求,核对子系统可以选择对不同的业务数据进行比较。如前实施例所述,核对子系统可以选择基于业务消息中包含的业务摘要数据,进一步获取到对应的业务详细数据,进而对业务详细数据进行核对;或者核对子系统也可以仅对从业务消息中获取到的业务数据与关联业务子系统的详细业务数据进行比较。可以理解的是,业务消息中也可以直接包含业务详细数据,从而使得核对子系统无需重新获取相应业务子系统中的业务数据。
由上述实施例可知,核对子系统针对实时监听到的每一条业务消息,均可以从中提取业务数据,进而确定产生所述业务数据的业务子系统及与所述业务数据有关的关联业务子系统之间的业务数据的一致性,实现不同业务子系统之间业务数据一致性的实时核对。
关联业务子系统之间的业务数据一致性核对,也可以称为域间业务数据核对。随着业务处理系统内业务子系统之间的联系越来越复杂,对于业务处理高峰期或者业务处理量巨大的业务处理系统,通过域间业务数据的实时监控及一致性核对,能够实时确定不同业务子系统(包括上下游业务子系统)之间的数据一致性,可以避免大量错误数据的积累。此外对于涉及交易金额的业务数据,可以及时发现问题数据,避免资损问题的发生。
在本说明书实施例中,除了可以核对不同业务子系统之间的业务数据的一致性,为了能够更加全面及时的发现问题数据,还可以对业务子系统内的业务数据进行实时监控,并对业务子系统内业务数据的合理性进行实时的核对。
例如,对于作为第一业务子系统的任一业务子系统,可以基于第一业务子系统的业务定义重新生成相应的业务数据,为描述方便,可以将基于所述第一业务子系统的业务定义重新生成的业务数据称为第四业务数据。通过将所述第四业务数据与所述第一业务数据进行比对,即可进行业务数据合理性核对。
在具体实施中,进行业务数据合理性核对,可以有多种方式。可以根据业务数据特点,选择相应的方式。
例如,可以根据业务特征,获取与所述第一业务子系统中与所述业务处理请求消息中的第一业务数据关联的业务数据作为第四业务数据。将所述业务处理请求消息对应的第一业务数据与所述第四业务数据进行核对。可以基于所述第一业务数据与所述第四业务数据是否一致,来确定所述第一业务数据是否合理。
又如,可以基于预设的业务状态执行逻辑,重新计算所述第一业务数据对应的业务生命周期阶段信息作为第四业务数据。将所述第一业务数据包含的业务生命周期阶段信息与所述第四业务数据进行核对。基于所述第一业务数据包含的业务生命周期阶段信息与所述第四业务数据是否一致,可以确定所述第一业务数据对应的业务生命周期阶段信息是否合理。
在具体应用过程中,为避免遗漏,可以选择多种方式结合使用。
为使本领域技术人员更好地理解和实现,以下参照附图,并通过具体应用场景示例说明。
参照图5所示的对业务处理系统的业务数据监控处理时序执行示意图,仍以退单场景为例,在具体实施中,可以按照如下步骤进行处理。
S501,交易子系统在执行业务处理操作时,可以生成相应的交易数据,并记录在数据库中。
S502,数据库日志采集装置可以从所述数据库中采集日志数据,抽取数据记录,生成相应的业务消息。
S503,数据库日志采集装置可以向消息队列发送业务消息。
通过步骤S501~S503,业务数据监控系统可以实时地获取到各业务子系统生成的业务数据。例如,交易子系统及与交易子系统关联的支付子系统、营销子系统等均可以将自身产生的业务数据通过数据库日志实时记录下来,并通过数据库日志采集装置实时采集并生成相应的业务消息,之后可以将所述业务消息实时传输至各业务子系统相应的消息队列。
步骤S501~S503的具体实现可以参见前述步骤S301~S303的具体示例。
S504,核对子系统获取业务消息,从业务消息中获取业务数据。
核对子系统可以实时监听消息队列,从监听到的业务消息中消费业务数据。其中,消息可以由消息头和消息体等组成,消息头中包含消息类型、消息格式等信息,消息体中可以包含具体的业务数据,例如,核对子系统监听到创建退单的消息,可以从消息体中获取到退单数据,例如退单号等。
S505,核对子系统从交易子系统请求交易数据。
对于交易子系统,业务数据即为交易数据。仍以退单场景为例,对于退单业务处理,在通过消息队列获取到退单数据后,可以从交易子系统获取创建的退单及资产数据。在具体实施中,根据交易环节的不同,交易子系统还可以分为多个分系统,例如可以包括订单分系统及退单分系统,其中,订单分系统可以对订单业务进行独立处理;退单分系统可以对退单业务流程进行独立处理。
例如,核对系统可以基于从步骤S504获取到的退单号从交易子系统请求获取完整的退单及资产数据,可以包括具体的退单信息及退单涉及的资产数据,例如资金、券和其他权益数据。
S506,核对子系统核对域内业务数据。
在具体实施中,核对子系统在接收到某个业务数据时,可以先进行域内业务数据核对。所谓域内业务数据核对,也即业务子系统内业务数据核对。
具体而言,核对子系统可以根据业务消息获取业务数据作为第一业务数据,基于业务定义重新计算业务数据作为第四业务数据,并将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对。例如,对于交易子系统对应的创建退单的消息,可以基于退单业务定义重新计算所述创建退单的消息中的退单和资产数据,然后与所述创建退单的消息中获取的退单和资产数据进行比对,以确定二者是否一致,从而可以进行业务数据合理性核对。
可以理解的是,在具体实施中,也可以不执行步骤S505,核对子系统从业务消息中获取业务数据后,可以直接按照业务定义重新计算,并与获取到的业务数据进行比对,以进行业务数据合理性核对。
在具体实施中,可以从多个维度进行业务数据合理性核对。在本说明书一实施例中,可以从业务消息中获取业务数据,根据业务特征,与所述第一业务子系统中和所述业务消息中的业务数据关联的业务数据进行核对,确定与关联主体的业务数据是否一致。在本说明书另一实施例中,可以从业务消息中获取业务数据,基于预设的业务状态执行逻辑,重新计算所述业务数据对应的业务生命周期阶段信息,核对与所述业务数据包含的业务生命周期阶段信息是否一致。
可以理解的是,在具体实施中,可以同时从多个维度进行业务数据合理性核对。可以根据业务数据的不同特点,采用对应的业务逻辑进行合理性核对。
例如,对于有损退款场景,若某买家用户达成交易后,该买家用户请求退单,在退款时,按照业务定义,所述买家用户可能损失一定比例的资金,损失的资金可以补偿给交易相关方,例如可以补偿给卖家及交易平台,则可以按照上述业务定义核对所述退单对应的业务数据是否与业务定义一致。例如,买家用户达成交易的金额为100元,按照业务定义,有损退单的买家用户损失10元,10元中按照预设比例分摊给交易平台和卖家用户,例如其中1元分摊给交易平台,9元分摊给卖家用户,则可以按照上述业务定义逐步逐项地进行重新计算,核对与预先业务定义是否一致,完成对业务数据的合理性核对。
又如,对于实时监听到的业务消息,若是获取到所述业务消息中的业务数据确定其处于整个业务生命周期的第二阶段,按照预设定义,对所述业务数据的生命周期进行重新计算,若计算得到的业务数据显示其处于业务生命周期的第三阶段,则可以确定监听到的业务消息所对应的业务数据不合理,从而可以及时发现业务执行的程序漏洞。
S507,核对子系统获取业务消息,从业务消息中获取业务数据。
如前所述,核对子系统可以实时监听消息队列,从监听到的业务消息中获取业务数据。例如,核对子系统监听到创建退单的消息,可以从消息体中获取到完整的退单和资产数据。
S508,核对子系统从交易子系统请求交易数据。
仍以退单场景为例,对于退单业务处理,在通过消息队列获取到退单数据后,可以从交易子系统获取创建的退单及资产数据。
S509,核对子系统向交易子系统的关联业务子系统请求资产数据。
继续以前述退单场景为例,核对子系统可以从关联业务子系统获取到回退资产数据。
S510,核对子系统核对获取的交易数据和资产数据,确定二者是否一致,并基于核对结果生成相应的监控信息并输出。
通过步骤S507~S510,可以进行域间业务数据的一致性核对,具体实施可以参见前述实施例中步骤S305~S307,此处不再展开描述。
可以理解的是,在具体实施中,核对子系统可以根据具体的业务数据的特点选择对其进行域内数据的合理性的核对,或者对其进行域间数据一致性的核对,或者先对其进行域内数据合理性的核对,再对其进行域间数据一致性的核对。
参照图6所示的业务子系统内的业务数据合理性核对的时序执行示意图,本实施例中业务子系统包括交易子系统,对交易子系统内的业务数据合理性核对,具体可以包括如下步骤:
S601,核对子系统从消息队列中监听到请求退单消息,从所述请求退单消息中获取到退单摘要数据。
在具体实施中,交易子系统在接收到来自用户的退单请求时,可以创建相应的退单和资产数据,并且记录在数据库中,通过数据库采集装置可以实时采集数据库日志并获取到相应的数据记录,根据所述记录生成请求退单消息,可以从所述请求退单消息中解析得到完整的退单摘要数据,如退单号。
S602,核对子系统向交易子系统请求退单详细数据。
在具体实施中,核对子系统可以基于步骤S601中获取到的退单摘要数据(如退单号)从交易子系统中获取到退单详细数据,例如退单详细数据可以包括退单信息和详细的资产信息。
S603,核对子系统核对业务数据。
在具体实施中,核对子系统可以将从交易子系统获取的退单详细数据,以及按照所述交易子系统对所述退单的业务定义重新得到的退单详细数据进行比较。例如,将从所述请求退单消息中获取的资产数据与重新计算的资产数据进行比较,核对二者是否一致,进行交易子系统内业务数据合理性核对,并在发现不一致时,可以生成相应的告警信息,例如,输出告警提醒应退给买方的金额错误,或者应退给卖方的金额错误,并输出应退给买方和卖方核对后准确的应退金额。
在具体实施中,除了对业务数据进行实时核对外,为避免遗漏问题数据,还可以对本说明书前述实施例方案作进一步的扩展。
例如,可以定时从业务子系统的数据库日志中抽取数据记录,生成离线数据集,在生成离线数据集后,对所述离线数据集中的业务数据进行核对,确定相应的业务数据的合理性和一致性。
参照图7所示的业务数据离线核对时序执行示意图,业务数据处理系统中,对于任一业务数据子系统,业务数据离线核对具体可以包括如下步骤:
S701,数据库实时记录业务子系统生成的业务数据,生成数据库日志。
在具体实施中,如前实施例所述,各业务子系统在业务处理过程中,可以实时生成日志数据,并记录于数据库中。例如交易子系统可以将执行交易处理操作对应的交易数据存储于对应的数据库中,支付子系统可以将支付操作对应的支付数据实时存储于对应的数据库中。
S702~S703,数据库日志采集装置定时从数据库抽取数据。
在具体实施中,数据库日志采集装置可以设置定时采集的定时器,例如可以按天采集,或者按小时采集。可以理解的是,根据不同需要,可以设置多个不同的定时器,在设定的时间或者按照设定的频率采集日志数据。在定时器被触发时,可以调用预设的指令、程序或函数,从所述数据库中抽取数据记录,形成业务数据。
S704,数据库日志采集装置将定时抽取的业务数据写入离线数据表。
在具体实施中,为便于数据处理,可以将每个业务子系统抽取到的业务数据分别写入相应离线数据表。
S705~S706,核对子系统定时执行数据库核对脚本,对离线数据表中的业务数据进行核对。
通过对离线数据表中的业务数据进行比对,可以核对相应业务数据的合理性和一致性。
类似地,核对子系统可以设置定时核对定时器,例如可以按天核对,或者按小时核对。可以理解的是,根据不同需要,可以设置多个不同的定时器,在设定的时间或者按照设定的频率核对离线数据表中的业务数据。在预设的核对定时器被触发时,可以执行预设的数据库核对脚本,对离线数据表中的业务数据进行核对。
在具体实施中,可以按照所述离线数据集中业务数据所对应的业务子系统存在的业务定义重新计算业务数据,并与所述离线数据集中的业务数据进行比对,以进行业务数据合理性核对。
对于多个业务子系统,还可以对相应的多个离线数据集中关联的业务数据进行比对,确定关联的业务数据是否一致。
在本说明书一实施例中,采用一定时核对脚本,每天1点钟定时执行,抽取超过N天(例如10天)还未完结的退单,即超过N天还未将资产归还用户的退单,并且及时告警。理论上不应该存在任何异常退单,但经过执行上述定时核对脚本,发现了m笔异常退单,例如某次发现了48笔异常退单。则可以输出相应的告警信息,以便监控人员及时排查异常退单,提高用户体验。
例如,在订单超时7天仍未完结时,可以确定所述业务数据的合理性存在问题,而如果上下游关联的业务子系统的离线数据表的业务数据不一致,则可以确定相应业务数据的一致性有问题。当检测到相应业务数据的合理性或一致性存在问题时,可以输出相应的告警信息。
本说明书实施例还提供了与上述业务数据监控方法对应的监控系统及监控架构,以下参照附图进行对应介绍。
参照图8所示的业务数据监控系统的结构示意图,在本说明书实施例中,如图8所示,业务数据监控系统80可以对业务数据处理系统81的业务数据进行监控,所述业务数据处理系统81可以包括多个业务子系统,所述多个业务子系统包括:作为第一业务子系统811的任一业务子系统,以及与所述第一业务子系统关联的关联业务子系统812;其中,第一业务子系统811适于向关联的各关联业务子系统812分别发送对应的业务执行请求数据;所述关联业务子系统812记录对应的业务执行请求数据,并按照记录的业务执行请求数据执行业务处理操作。
在本说明书实施例中,所述业务数据监控系统80可以包括:
业务数据获取单元801,适于实时监听业务消息,根据监听到的业务消息获取业务数据,包括:获取与所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据;从所述关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据;实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据;
第一业务数据核对单元802,适于对监听到的业务消息进行实时核对,得到核对结果,所述第一业务数据核对单元可以包括:第一核对子单元8021,适于对所述第一业务数据与所述第三业务数据进行实时核对,确定是否一致;对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致;
监控信息生成单元803,适于基于核对结果生成相应的监控信息并输出。
对于监听到的任一业务子系统的业务消息,第一核对子单元8021根据业务消息中携带的业务数据的内容,可以直接将从监听到的业务消息中获取的业务数据,与和所述任一业务子系统关联的关联业务子系统的业务数据进行核对,确定是否一致;也可以在从业务消息中获取到业务摘要数据时,进一步从相应的业务子系统及其关联业务子系统中获取业务详细数据,进而核对获取到的业务详细信息是否一致。
在具体实施中,所述业务数据获取单元801可以包括以下至少一种:
第一获取子单元(图中未示出),适于实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务数据;
第二获取子单元(图中未示出),适于实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务摘要数据,基于所述业务摘要数据从所述第一业务子系统获取对应的第一业务详细数据作为所述第一业务数据;
第三获取子单元(图中未示出),适于实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志记录,生成相应的业务处理结果消息;从所述业务处理结果消息中获取所述第二业务数据;
第四获取子单元(图中未示出),适于实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志记录,生成业务处理结果消息;从所述业务处理结果消息中获取第二业务摘要数据,基于所述第二业务摘要数据从所述关联业务子系统中获取对应的第二业务详细数据作为所述第二业务数据。
在具体实施中,所述第一业务数据核对单元802,还可以包括:第二核对子单元8022,适于基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对。
在具体实施中,继续参照图8,业务数据监控系统80还可以包括:离线数据生成单元804,适于定时从所述业务子系统的数据库日志中抽取日志记录,生成离线数据集;
第二业务数据核对单元805,适于对所述离线数据集中的业务数据进行核对,确定相应的业务数据的合理性和一致性。
在本说明书实施例中,所述第一业务数据核对单元802和第二业务数据核对单元805均可以作为独立的核对子系统对相应的业务数据进行核对,也可以集成为一个核对子系统对业务数据进行核对。
本说明书实施例还提供了相应的业务数据监控架构,业务数据监控架构可以对业务数据处理系统的业务数据进行监控,所述业务数据处理系统可以包括:多个业务子系统,所述多个业务子系统中包括:作为第一业务子系统的任一业务子系统,以及与所述第一业务子系统关联的关联业务子系统;其中,所述第一业务子系统可以向所述关联业务子系统发送对应的业务执行请求数据;所述关联业务子系统可以记录对应的业务执行请求数据,并按照记录的业务执行请求数据执行业务处理操作。
参照图9,业务数据监控架构90可以包括第一核对平台91,所述第一核对平台91可以包括:
第一数据接入模块911,所述第一数据接入模块911包括:消息队列9111,适于缓存业务消息;
消息获取模块912,适于监听消息队列,根据监听到的业务消息获取业务数据,包括:获取与所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据;从所述关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据;实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据;
第一核对模块913,适于对获取到的业务数据进行实时核对,得到核对结果,基于核对结果生成相应的监控信息并输出,包括:对所述第一业务数据与所述第三业务数据进行实时核对,确定是否一致;对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致。
在具体实施中,所述消息获取模块912,适于从监听到的业务消息中获取业务摘要数据;
所述第一数据接入模块911,还可以包括:数据调用子模块9112,适于基于所述消息获取模块912获取到的业务摘要数据从所述第一业务子系统中获取业务详细数据作为所述第一业务数据。
在具体实施中,所述第一业务子系统可以根据存在的业务定义产生业务数据,并生成相应的数据库日志,所述数据库日志采集装置根据所述数据库日志抽取数据记录,生成业务处理请求消息;
所述第一核对模块913,还适于基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,并将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对。
在具体实施中,第一核对平台91可以通过消息获取模块912从消息队列获取业务消息,进而提取业务数据,之后,由所述第一核对模块913对业务数据实时进行核对。
在具体实施中,可以在第一核对平台91设置相应的管理后台914,根据业务特点,通过管理后台914,例如,可以通过数据源设置模块9141对业务数据的数据源进行选择设置,通过第一告警设置模块9142可以对告警策略、告警方式等进行灵活设置。
在具体实施中,继续参照图9,业务数据监控架构90还可以包括:第二核对平台92,适于对业务数据进行离线核对,所述第二核对平台92可以包括:
第二数据接入模块921,适于定时从业务子系统的数据库日志中抽取日志记录,生成离线数据集并存储;
第二核对模块922,适于对所述第二数据接入模块921生成的所述离线数据集中的业务数据,进行定时核对,确定相应的业务数据的合理性和一致性。
在具体实施中,可以在第二核对模块922中设置第二告警设置模块9221、执行策略设置模块9222及SQL核对脚本设置模块9223等其中任意一个或多个设置模块。其中,通过第二告警设置模块9221,可以设置所述第二核对模块的告警策略、告警方式等;通过SQL核对脚本设置模块9223可以基于业务需要对SQL核对脚本进行灵活修改;通过执行策略设置模块9222则可以设置第二核对模块922具体的核对策略。
在具体实施中,业务数据监控系统架构可以包括告警装置93,通过所述告警装置93输出告警信息。所述告警装置93可以为专门的告警设备,也可以为安装有告警组件或告警软件、告警应用的通用电子设备,或者通用通信软件,如可以为通用的即时通信软件。
本说明书实施例还提供了相应的数据处理设备,所述数据处理设备可以包括存储器和处理器;其中,所述存储器用于存储一条或多条计算机指令,所述一条或多条计算机指令被所述处理器执行前述任一实施例所述业务数据监控方法的步骤,此处不再赘述。
其中,所述数据处理设备可以为数据处理终端如个人计算机设备,平板电子设备,或者为服务器等。
本说明书实施例还提供了一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令运行时可以执行本说明书上述任一实施例方法的步骤,具体步骤可以参见前述任一实施例中的业务数据监控方法的步骤,此处不再赘述。
其中,所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等各种适当的可读存储介质。所述计算机可读存储介质上存储的指令执行的识别异常字符串的方法,具体可参照上述各识别异常字符串的方法的实施例,不再赘述。
本说明书实施例公开了A1实施例,一种业务数据监控方法,适于对业务数据处理系统的业务数据进行监控,所述业务数据处理系统包括多个业务子系统,所述多个业务子系统中包括:作为第一业务子系统的任一业务子系统,以及与所述第一业务子系统关联的关联业务子系统;其中,所述第一业务子系统向所述关联业务子系统发送对应的业务执行请求数据,使得所述关联业务子系统记录对应的业务执行请求数据,并按照记录的业务执行请求数据执行业务处理操作;所述业务数据监控方法包括:
实时监听业务消息,根据监听到的业务消息获取业务数据,包括:实时获取与所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据;从所述关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据;实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据;
对获取到的业务数据进行实时核对,得到核对结果,包括:对所述第一业务数据与所述第三业务数据进行实时核对,确定是否一致;对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致;
基于核对结果生成相应的监控信息并输出。
本说明书公开了A2实施例,如A1实施例所述的业务数据监控方法,所述实时获取所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据,包括以下至少一种:
实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务数据;
实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务摘要数据,基于所述第一业务摘要数据从所述第一业务子系统获取对应的第一业务详细数据作为所述第一业务数据。
本说明书实施例公开了A3实施例,如A1实施例所述的业务数据监控方法,所述实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据,包括以下至少一种:
实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志记录,生成相应的业务处理结果消息;从所述业务处理结果消息中获取所述第二业务数据;
实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志记录,生成业务处理结果消息;从所述业务处理结果消息中获取第二业务摘要数据,基于所述第二业务摘要数据从所述关联业务子系统中获取对应的第二业务详细数据作为所述第二业务数据。
本说明书公开了A4实施例,如A1实施例所述的业务数据监控方法,所述对获取到的业务数据进行实时核对,得到核对结果,还包括:
基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对。
本说明书公开了A5实施例,如A4实施例所述的业务数据监控方法,所述基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对,包括以下至少一种:
根据业务特征,获取与所述第一业务子系统中与所述业务处理请求消息中的第一业务数据关联的业务数据作为第四业务数据;将所述业务处理请求消息对应的第一业务数据与所述第四业务数据进行核对;基于所述第一业务数据与所述第四业务数据是否一致,来确定所述第一业务数据是否合理;
基于预设的业务状态执行逻辑,重新计算所述第一业务数据对应的业务生命周期阶段信息作为第四业务数据;将所述第一业务数据包含的业务生命周期阶段信息与所述第四业务数据进行核对;基于所述第一业务数据包含的业务生命周期阶段信息与所述第四业务数据是否一致,来确定所述第一业务数据对应的业务生命周期阶段信息是否合理。
本说明书公开了A6实施例,如A1至A5任一实施例所述的业务数据监控方法,还包括:
定时从所述业务子系统的数据库日志中抽取日志记录,生成离线数据集;
对所述离线数据集中的业务数据进行核对,确定相应的业务数据的合理性和一致性。
本说明书公开了A7实施例,如A6实施例所述的业务数据监控方法,所述对所述离线数据集中的业务数据进行核对,确定相应的业务数据的合理性和一致性,包括以下至少一种:
按照所述离线数据集中业务数据所对应的业务子系统存在的业务定义重新计算业务数据,并与所述离线数据集中的业务数据进行比对,以进行业务数据合理性核对;
对多个离线数据集中关联的业务数据进行比对,确定关联的业务数据是否一致。
本说明书公开了A8实施例,如A1至A5任一实施例所述的业务数据监控方法,所述第一业务子系统为交易子系统,与所述第一业务子系统关联的业务子系统包括以下至少其中一种:支付子系统、权益分配子系统。
本说明书公开了B1实施例,一种业务数据监控系统,适于对业务数据处理系统的业务数据进行监控,所述业务数据处理系统包括多个业务子系统,所述多个业务子系统中包括:作为第一业务子系统的任一业务子系统,以及与所述第一业务子系统关联的关联业务子系统;其中,第一业务子系统适于向关联的各关联业务子系统分别发送对应的业务执行请求数据;所述关联业务子系统记录对应的业务执行请求数据,并按照记录的业务执行请求数据执行业务处理操作;所述业务数据监控系统包括:
业务数据获取单元,适于实时监听业务消息,根据监听到的业务消息获取业务数据,包括:获取与所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据;从所述关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据;实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据;
第一业务数据核对单元,适于对监听到的业务消息进行实时核对,得到核对结果,所述第一业务数据核对单元包括:第一核对子单元,适于对所述第一业务数据与所述第三业务数据进行实时核对,确定是否一致;对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致;
监控信息生成单元,适于基于核对结果生成相应的监控信息并输出。
本说明书公开了B2实施例,如B1实施例所述的业务数据监控系统,所述业务数据获取单元包括以下至少一种:
第一获取子单元,适于实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务数据;
第二获取子单元,适于实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务摘要数据,基于所述业务摘要数据从所述第一业务子系统获取对应的第一业务详细数据作为所述第一业务数据;
第三获取子单元,适于实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志记录,生成相应的业务处理结果消息;从所述业务处理结果消息中获取所述第二业务数据;
第四获取子单元,适于实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志记录,生成业务处理结果消息;从所述业务处理结果消息中获取第二业务摘要数据,基于所述第二业务摘要数据从所述关联业务子系统中获取对应的第二业务详细数据作为所述第二业务数据。
本说明书公开了B3实施例,如B1实施例所述的业务数据监控系统,所述第一业务数据核对单元,还包括:第二核对子单元,适于基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对。
本说明书公开了B4实施例,如B1至B3任一实施例所述的业务数据监控系统,还包括:
离线数据生成单元,适于定时从所述业务子系统的数据库日志中抽取日志记录,生成离线数据集;
第二业务数据核对单元,适于对所述离线数据集中的业务数据进行核对,确定相应的业务数据的合理性和一致性。
本说明书公开了C1实施例,一种业务数据监控架构,适于对业务数据处理系统的业务数据进行监控,所述业务数据处理系统包括多个业务子系统,所述多个业务子系统中包括:作为第一业务子系统的任一业务子系统,以及与所述第一业务子系统关联的关联业务子系统;其中,所述第一业务子系统向所述关联业务子系统发送对应的业务执行请求数据;所述关联业务子系统记录对应的业务执行请求数据,并按照记录的业务执行请求数据执行业务处理操作;
所述业务数据监控架构包括第一核对平台,所述第一核对平台包括:
第一数据接入模块,所述第一数据接入模块包括:消息队列,适于缓存业务消息;
消息获取模块,适于监听消息队列,根据监听到的业务消息获取业务数据,包括:获取与所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据;从所述关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据;实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据;
第一核对模块,适于对获取到的业务数据进行实时核对,得到核对结果,基于核对结果生成相应的监控信息并输出,包括:对所述第一业务数据与所述第三业务数据进行实时核对,确定是否一致;对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致。
本说明书公开了C2实施例,如C1实施例所述的业务数据监控架构,所述消息获取模块,适于从监听到的业务消息中获取业务摘要数据;
所述第一数据接入模块,还包括:数据调用子模块,适于基于所述消息获取模块获取到的业务摘要数据从所述第一业务子系统中获取业务详细数据作为所述第一业务数据。
本说明书公开了C3实施例,如C1实施例所述的业务数据监控架构,所述第一核对模块,还适于基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,并将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对。
本说明书公开了C4实施例,如C1至C3任一实施例所述的业务数据监控架构,还包括:第二核对平台,适于对业务数据进行离线核对,所述第二核对平台包括:
第二数据接入模块,适于定时从业务子系统的数据库日志中抽取日志记录,生成离线数据集并存储;
第二核对模块,适于对所述第二数据接入模块生成的所述离线数据集中的业务数据,进行定时核对,确定相应的业务数据的合理性和一致性。
本说明书公开了D1实施例,一种数据处理设备,包括存储器和处理器;其中,所述存储器用于存储一条或多条计算机指令,所述一条或多条计算机指令被所述处理器执行前述任一实施例所述方法的步骤。
本说明书公开了E1实施例,一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令运行时执行前述任一实施例所述方法的步骤。
虽然本说明书披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (10)
1.一种业务数据监控方法,其特征在于,适于对业务数据处理系统的业务数据进行监控,所述业务数据处理系统包括多个业务子系统,所述多个业务子系统中包括:作为第一业务子系统的任一业务子系统,以及与所述第一业务子系统关联的关联业务子系统;其中,所述第一业务子系统向所述关联业务子系统发送对应的业务执行请求数据,使得所述关联业务子系统记录对应的业务执行请求数据,并按照记录的业务执行请求数据执行业务处理操作;所述业务数据监控方法包括:
实时监听业务消息,根据监听到的业务消息获取业务数据,包括:实时获取与所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据;从所述关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据;实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据;
对获取到的业务数据进行实时核对,得到核对结果,包括:对所述第一业务数据与所述第三业务数据进行实时核对,确定是否一致;对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致;
基于核对结果生成相应的监控信息并输出。
2.根据权利要求1所述的业务数据监控方法,其特征在于,所述实时获取所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据,包括以下至少一种:
实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务数据;
实时获取所述第一业务子系统的数据库日志,基于与所述第一业务子系统发送业务执行请求数据对应的日志记录,生成相应的业务处理请求消息,从所述业务处理请求消息中获取第一业务摘要数据,基于所述第一业务摘要数据从所述第一业务子系统获取对应的第一业务详细数据作为所述第一业务数据。
3.根据权利要求1所述的业务数据监控方法,其特征在于,所述实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据,包括以下至少一种:
实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志记录,生成相应的业务处理结果消息;从所述业务处理结果消息中获取所述第二业务数据;
实时获取所述关联业务子系统的数据库日志,基于与所述关联业务子系统完成业务处理操作对应的日志记录,生成业务处理结果消息;从所述业务处理结果消息中获取第二业务摘要数据,基于所述第二业务摘要数据从所述关联业务子系统中获取对应的第二业务详细数据作为所述第二业务数据。
4.根据权利要求1所述的业务数据监控方法,其特征在于,所述对获取到的业务数据进行实时核对,得到核对结果,还包括:
基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对。
5.根据权利要求4所述的业务数据监控方法,其特征在于,所述基于所述第一业务子系统的业务定义重新生成相应的业务数据,作为第四业务数据,将所述第四业务数据与所述第一业务数据进行比对,以进行业务数据合理性核对,包括以下至少一种:
根据业务特征,获取与所述第一业务子系统中与所述业务处理请求消息中的第一业务数据关联的业务数据作为第四业务数据;将所述业务处理请求消息对应的第一业务数据与所述第四业务数据进行核对;基于所述第一业务数据与所述第四业务数据是否一致,来确定所述第一业务数据是否合理;
基于预设的业务状态执行逻辑,重新计算所述第一业务数据对应的业务生命周期阶段信息作为第四业务数据;将所述第一业务数据包含的业务生命周期阶段信息与所述第四业务数据进行核对;基于所述第一业务数据包含的业务生命周期阶段信息与所述第四业务数据是否一致,来确定所述第一业务数据对应的业务生命周期阶段信息是否合理。
6.根据权利要求1至5任一项所述的业务数据监控方法,其特征在于,还包括:
定时从所述业务子系统的数据库日志中抽取日志记录,生成离线数据集;
对所述离线数据集中的业务数据进行核对,确定相应的业务数据的合理性和一致性。
7.一种业务数据监控系统,其特征在于,适于对业务数据处理系统的业务数据进行监控,所述业务数据处理系统包括多个业务子系统,所述多个业务子系统中包括:作为第一业务子系统的任一业务子系统,以及与所述第一业务子系统关联的关联业务子系统;其中,第一业务子系统适于向关联的各关联业务子系统分别发送对应的业务执行请求数据;所述关联业务子系统记录对应的业务执行请求数据,并按照记录的业务执行请求数据执行业务处理操作;所述业务数据监控系统包括:
业务数据获取单元,适于实时监听业务消息,根据监听到的业务消息获取业务数据,包括:获取与所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据;从所述关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据;实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据;
第一业务数据核对单元,适于对监听到的业务消息进行实时核对,得到核对结果,所述第一业务数据核对单元包括:第一核对子单元,适于对所述第一业务数据与所述第三业务数据进行实时核对,确定是否一致;对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致;
监控信息生成单元,适于基于核对结果生成相应的监控信息并输出。
8.一种业务数据监控架构,其特征在于,适于对业务数据处理系统的业务数据进行监控,所述业务数据处理系统包括多个业务子系统,所述多个业务子系统中包括:作为第一业务子系统的任一业务子系统,以及与所述第一业务子系统关联的关联业务子系统;其中,所述第一业务子系统向所述关联业务子系统发送对应的业务执行请求数据;所述关联业务子系统记录对应的业务执行请求数据,并按照记录的业务执行请求数据执行业务处理操作;
所述业务数据监控架构包括第一核对平台,所述第一核对平台包括:
第一数据接入模块,所述第一数据接入模块包括:消息队列,适于缓存业务消息;
消息获取模块,适于监听消息队列,根据监听到的业务消息获取业务数据,包括:获取与所述第一业务子系统发送的业务执行请求数据所对应的第一业务数据;从所述关联业务子系统实时获取记录的对应的业务执行请求数据作为第三业务数据;实时获取所述关联业务子系统完成业务处理操作对应的第二业务数据;
第一核对模块,适于对获取到的业务数据进行实时核对,得到核对结果,基于核对结果生成相应的监控信息并输出,包括:对所述第一业务数据与所述第三业务数据进行实时核对,确定是否一致;对所述第二业务数据与所述第一业务数据进行实时核对,确定是否一致。
9.一种数据处理设备,其特征在于,包括存储器和处理器;其中,所述存储器用于存储一条或多条计算机指令,所述一条或多条计算机指令被所述处理器执行权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述计算机指令运行时执行权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010065513.6A CN111274255B (zh) | 2020-01-20 | 2020-01-20 | 业务数据监控方法及系统、监控架构、设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010065513.6A CN111274255B (zh) | 2020-01-20 | 2020-01-20 | 业务数据监控方法及系统、监控架构、设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111274255A true CN111274255A (zh) | 2020-06-12 |
CN111274255B CN111274255B (zh) | 2021-06-18 |
Family
ID=70999024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010065513.6A Active CN111274255B (zh) | 2020-01-20 | 2020-01-20 | 业务数据监控方法及系统、监控架构、设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111274255B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112650889A (zh) * | 2020-12-28 | 2021-04-13 | 中国兵器装备集团自动化研究所 | 一种企业安全环保及安防监控数据的数仓建设方法和系统 |
CN113934595A (zh) * | 2021-10-14 | 2022-01-14 | 泰康保险集团股份有限公司 | 数据分析方法及系统、存储介质及电子终端 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030140249A1 (en) * | 2002-01-18 | 2003-07-24 | Yoshihito Taninaka | Security level information offering method and system |
CN101136101A (zh) * | 2007-04-02 | 2008-03-05 | 四川亚元防伪科技有限公司 | “核量控票、核票控税”“数据大跟踪”税控方法、系统构建和操作方法 |
CN101267341A (zh) * | 2008-03-28 | 2008-09-17 | 华为技术有限公司 | 一种分布式网络管理系统、网管服务器和方法 |
CN101276348A (zh) * | 2007-03-30 | 2008-10-01 | 上海众恒信息产业有限公司 | 基于数据属性的数据处理系统和方法 |
CN101408969A (zh) * | 2008-11-13 | 2009-04-15 | 中国工商银行股份有限公司 | 一种银行风险数据监控服务器及系统 |
CN101625686A (zh) * | 2008-07-08 | 2010-01-13 | 阿里巴巴集团控股有限公司 | 一种监控多数据库之间数据一致性的方法及系统 |
CN102033876A (zh) * | 2009-09-25 | 2011-04-27 | 叶高 | 一种信息管理系统方法 |
CN103123712A (zh) * | 2011-11-17 | 2013-05-29 | 阿里巴巴集团控股有限公司 | 一种网络行为数据的监控方法和系统 |
CN103413216A (zh) * | 2013-05-16 | 2013-11-27 | 深圳市淘淘谷信息技术有限公司 | 一种多账户管理支付方法 |
US9294194B2 (en) * | 2013-08-19 | 2016-03-22 | Virtual Instruments Corporation | Network monitoring using thin film splitters and avalanche photodiode detectors in multimode application |
CN105447046A (zh) * | 2014-09-02 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 一种分布式系统数据一致性处理方法、装置和系统 |
CN107798529A (zh) * | 2017-03-28 | 2018-03-13 | 平安壹钱包电子商务有限公司 | 交易数据监控方法及装置 |
CN109634950A (zh) * | 2018-10-16 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 业务数据管理方法、装置、设备及计算机可读存储介质 |
CN110222042A (zh) * | 2019-05-30 | 2019-09-10 | 口碑(上海)信息技术有限公司 | 用于确定已核对业务数据的方法、装置、设备及系统架构 |
CN110427387A (zh) * | 2019-08-12 | 2019-11-08 | 中国工商银行股份有限公司 | 一种数据一致性检测方法及装置 |
-
2020
- 2020-01-20 CN CN202010065513.6A patent/CN111274255B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030140249A1 (en) * | 2002-01-18 | 2003-07-24 | Yoshihito Taninaka | Security level information offering method and system |
CN101276348A (zh) * | 2007-03-30 | 2008-10-01 | 上海众恒信息产业有限公司 | 基于数据属性的数据处理系统和方法 |
CN101136101A (zh) * | 2007-04-02 | 2008-03-05 | 四川亚元防伪科技有限公司 | “核量控票、核票控税”“数据大跟踪”税控方法、系统构建和操作方法 |
CN101267341A (zh) * | 2008-03-28 | 2008-09-17 | 华为技术有限公司 | 一种分布式网络管理系统、网管服务器和方法 |
CN101625686A (zh) * | 2008-07-08 | 2010-01-13 | 阿里巴巴集团控股有限公司 | 一种监控多数据库之间数据一致性的方法及系统 |
CN101408969A (zh) * | 2008-11-13 | 2009-04-15 | 中国工商银行股份有限公司 | 一种银行风险数据监控服务器及系统 |
CN102033876A (zh) * | 2009-09-25 | 2011-04-27 | 叶高 | 一种信息管理系统方法 |
CN103123712A (zh) * | 2011-11-17 | 2013-05-29 | 阿里巴巴集团控股有限公司 | 一种网络行为数据的监控方法和系统 |
CN103413216A (zh) * | 2013-05-16 | 2013-11-27 | 深圳市淘淘谷信息技术有限公司 | 一种多账户管理支付方法 |
US9294194B2 (en) * | 2013-08-19 | 2016-03-22 | Virtual Instruments Corporation | Network monitoring using thin film splitters and avalanche photodiode detectors in multimode application |
CN105447046A (zh) * | 2014-09-02 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 一种分布式系统数据一致性处理方法、装置和系统 |
CN107798529A (zh) * | 2017-03-28 | 2018-03-13 | 平安壹钱包电子商务有限公司 | 交易数据监控方法及装置 |
CN109634950A (zh) * | 2018-10-16 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 业务数据管理方法、装置、设备及计算机可读存储介质 |
CN110222042A (zh) * | 2019-05-30 | 2019-09-10 | 口碑(上海)信息技术有限公司 | 用于确定已核对业务数据的方法、装置、设备及系统架构 |
CN110427387A (zh) * | 2019-08-12 | 2019-11-08 | 中国工商银行股份有限公司 | 一种数据一致性检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
张伟伟: "高速公路监控系统高分可视化技术应用", 《中国交通信息化》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112650889A (zh) * | 2020-12-28 | 2021-04-13 | 中国兵器装备集团自动化研究所 | 一种企业安全环保及安防监控数据的数仓建设方法和系统 |
CN113934595A (zh) * | 2021-10-14 | 2022-01-14 | 泰康保险集团股份有限公司 | 数据分析方法及系统、存储介质及电子终端 |
Also Published As
Publication number | Publication date |
---|---|
CN111274255B (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180225750A1 (en) | Switching between data aggregator servers | |
CN112668303A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN111274255B (zh) | 业务数据监控方法及系统、监控架构、设备、存储介质 | |
CN111062799A (zh) | 家庭客户的管理方法、装置、电子设备及存储介质 | |
CN113205402A (zh) | 对账方法、装置、电子设备及计算机可读介质 | |
US20150081483A1 (en) | Intraday cash flow optimization | |
CN111027984A (zh) | 业务订单的处理方法、系统、电子设备及计算机存储介质 | |
WO2019033741A1 (zh) | 投资产品的资源处理方法、装置、存储介质和计算机设备 | |
CN112381645A (zh) | 用于票据交易的信息处理方法及装置 | |
CN117194242A (zh) | 交易系统的日志回放方法及其装置、电子设备、存储介质 | |
CN109871263B (zh) | 线下区块链系统的运行方法、装置、设备及存储介质 | |
CN115271694A (zh) | 订单支付方法及系统 | |
CN107093053B (zh) | 一种提示日期的生成方法及装置 | |
CN109002370B (zh) | 在线清结算系统的备份方法及装置、存储介质 | |
CN110610290A (zh) | 间联商户风险管控方法及其系统 | |
CN112465645B (zh) | 一种模拟深交所股票交易撮合系统 | |
US10956369B1 (en) | Data aggregations in a distributed environment | |
CN110046172A (zh) | 在线计算数据处理方法及系统 | |
CN113469801A (zh) | 审核结果的确定方法和装置 | |
CN113592571A (zh) | 一种票据开具预警方法、装置、设备及计算机可读介质 | |
CN107180047B (zh) | 文件的生成方法和装置 | |
KR101851256B1 (ko) | 계약 테스트 방법, 이를 수행하는 계약 테스트 서버 및 이를 저장하는 기록매체 | |
CN107924535B (zh) | 信贷管理系统、方法、以及存储介质 | |
US12045262B2 (en) | Reconciliation systems and methods for unbounded streams | |
US12045833B2 (en) | Transaction exchange platform with a messenger microservice to update transactions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |