CN114969077A - 一种业务数据处理方法及装置 - Google Patents
一种业务数据处理方法及装置 Download PDFInfo
- Publication number
- CN114969077A CN114969077A CN202210652485.7A CN202210652485A CN114969077A CN 114969077 A CN114969077 A CN 114969077A CN 202210652485 A CN202210652485 A CN 202210652485A CN 114969077 A CN114969077 A CN 114969077A
- Authority
- CN
- China
- Prior art keywords
- middleware
- results
- target table
- database
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 115
- 238000004458 analytical method Methods 0.000 claims abstract description 96
- 230000008859 change Effects 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 31
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims description 7
- 229910052709 silver Inorganic materials 0.000 claims description 7
- 239000004332 silver Substances 0.000 claims description 7
- 241001233242 Lontra Species 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
Abstract
本说明书实施例提供一种业务数据处理方法及装置。所述方法包括：离线计算平台首先从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的；其次，对所述多条解析结果进行离线批处理，得到计算结果第一集合；以及获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果属于第二中间件对所述数据库的业务数据变更日志进行解析所产生的解析结果；然后，对比所述第一集合和所述目标表；当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。
Description
本申请为2019年10月28日提交的申请号为201911031520.8，名为“一种业务数据处理方法及装置”的发明专利申请的分案申请。
技术领域
本说明书一个或多个实施例涉及计算机信息处理领域，尤其涉及一种业务数据处理方法及装置。
背景技术
业务资源的全球流动性管理是大型跨国公司管理的主要环节。例如，业务资源可以为资金。为了降低跨国公司全球范围内的流动性风险，提高资金的利用效率以及降低资金成本，需要对资金进行全球流动性管理。其中，对银存数据的加工处理影响对全球各地的实际账户中资金量的感知，从而影响了资金调拨方案等方案的制定。资金调拨方案等方案的制定需要银存数据高时效和高质量的处理结果。
因此，亟需一种业务数据处理方法，以得到业务数据高时效和高质量的处理结果。
发明内容
本说明书一个或多个实施例描述了一种业务数据处理方法，可以在保证业务数据处理时效性情况下，保证处理结果的准确性。
根据第一方面，提供了一种业务数据处理方法，所述方法包括：
离线计算平台从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的；
对所述多条解析结果进行离线批处理，得到计算结果第一集合；
获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果属于第二中间件对所述数据库的业务数据变更日志进行解析所产生的解析结果；
对比所述第一集合和所述目标表；
当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。
在一些实施例中，其中，业务数据为银存数据。
在一些实施例中，其中，所述第一中间件为canal、databus、kettle、otter中的任一种；
所述第二中间件为drc；
所述离线计算平台和所述第一中间件之间的链路，与所述实时计算平台和所述第二中间件之间的链路不同。
在一些实施例中，其中，所述多条解析结果为所述第一中间件对所述数据库在预设周期内的变更日志进行解析的结果；
所述至少一条解析结果属于第二中间件对所述数据库在所述预设周期内的变更日志进行解析所产生的解析结果。
在一些实施例中，其中，所述多条解析结果为所述第一中间件对所述数据库所有的变更日志进行解析的结果；
所述至少一条解析结果属于第二中间件对所述数据库在所述实时计算平台上线之后产生的变更日志进行解析所产生的解析结果。
在一些实施例中，其中，所述当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表，包括：
当所述第一集合比所述目标表多出至少一条计算结果时，将所述至少一条计算结果写入所述目标表，以更新所述目标表。
在一些实施例中，其中，所述第一集合包括对应于第一变更日志的第一计算结果，所述目标表包括对应于所述第一变更日志的第二计算结果；所述当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表，包括：
所述第一计算结果和所述第二计算结果不一致时，基于所述第一计算结果修正所述第二计算结果，以更新所述目标表。
在一些实施例中，其中，所述方法还包括：所述当所述第一集合和所述目标表不一致时，发起警报。
根据第二方面提供了一种业务数据处理装置，所述装置包括：
第一获取单元，配置为离线计算平台从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的；
批处理单元，配置为对所述多条解析结果进行离线批处理，得到计算结果第一集合；
第二获取单元，配置为获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果属于第二中间件对所述数据库的业务数据变更日志进行解析所产生的解析结果；
对比单元，配置为对比所述第一集合和所述目标表；
更新单元，配置为当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
根据第四方面，提供了一种计算终端，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
本说明书实施例提供的方法及装置可将离线计算和可以将离线计算平台实时计算结果进行比对，从而可以对实时计算结果进行纠错，从而在保证了业务数据处理时效性的情况下，进一步保证了业务数据处理结果的准确性；并且通过离线计算结果和实时计算结果的对比，便于发现异常数据，进而便于找到导致数据异常的故障，有助于进一步提升数据质量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出根据一个实施例的应用场景示意图；
图2示出根据一个实施例的业务数据处理方法的流程图；
图3示出根据一个实施例的业务数据处理装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
在许多技术场景下，业务资源通过分布式存储，分布在全球不同地方的不同数据库中，这为业务方对业务资源的统一管理带来了难题。以业务资源为资金为例。为了制定高效准确的资金调拨方案，需要感知不同地区不同业务分支的银行账户中的资金量，这需要对各业务分支的银存数据进行处理。
银存数据，是银行存款数据的简称。银行存款是存储在银行的款项。在一个例子中，业务方的各个业务分支的银存数据可以是跨国公司的各分公司存储在各自对应的银行账户的资金。
跨国公司的各分公司可以在其与银行协商的可互通协议范围内，通过其与该银行协议开放规范接口获取其在该银行的银存数据。具体地，对跨国公司任一分公司而言，其对应的银行系统可以将其账户变化情况发送给其业务系统(例如irecon、ireserve、reservement等)，以使其业务系统得到银存数据并存储到其业务系统的数据库中。须知，在下文中，为了方便描述，将此处的业务系统的数据库简称为数据库，因此如无特殊说明，下文中的数据库均指此处的业务系统的数据库。
根据一种方案，离线计算平台对应的中间件可以解析数据库的日志文件中的变更日志，并按照特定的周期(例如周期的时长可以为24小时)将解析结果输入到离线计算平台进行离线计算，得到离线计算结果。
该方案是按照特定周期，批次生成离线计算结果，难以满足实时账单高频次高实时性要求。另外，跨国公司各个分公司对应的银行分布在不同时区，导致各个分公司的日终文件的发送时间有较大差异，且各个分公司的银存数据在同一批次进行离线计算，也无法保证不同时区的日终账单及时生成。
根据另外一种方案，实时计算平台对应的中间件在当日志文件中产生了变更日志时，对该变更日志进行解析，并将解析结果输入到实时计算平台，进行实时计算，得到实时计算结果。
实时计算平台对应的中间件和实时计算平台之间的链路不稳定，容易发生数据丢失，导致实时计算出现数据遗漏，进而使得实时计算结果不全。
本说明书实施例提供了一种业务数据处理方法，其应用架构可以如图1所示。数据库产生的变更日志在经过第一中间件解析后，可以由离线计算平台进行离线批处理；在经过第二中间件解析后，可以由实时计算平台进行在线处理。
本说明书实施例提供的业务数据处理方法利用实时计算平台对变更日志进行在线计算，使得相关人员可以及时感知业务变化，保证了变更日志处理结果的时效性。
该方法可将离线计算和可以将离线计算平台实时计算结果进行比对，从而可以对实时计算结果进行纠错，保证了业务数据处理结果的准确性；并且通过离线计算结果和实时计算结果的对比，便于发现异常数据，进而便于找到导致数据异常的故障，有助于进一步提升数据质量。
接下来，参考图2，对本说明书实施例提供的业务数据处理方法进行具体介绍。所述方法可以由任何具有计算、处理能力的装置、设备、平台、设备集群执行。如图2所示，所述方法包括如下步骤：步骤200、离线计算平台从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的；步骤202、对所述多条解析结果进行离线批处理，得到计算结果第一集合；步骤204、获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果为第二中间件对所述数据库的业务数据变更日志进行解析所产生的；步骤206、对比所述第一集合和所述目标表；步骤208、当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。
接下来，结合具体例子对上述各步骤进行具体介绍。
首先，在步骤200中，离线计算平台从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的。
数据库可以为mysql、oracle、oceanbase等。数据库记录的业务数据发生变化时，例如新增业务数据、删除业务数据、修改业务数据，会生成相应的变更日志。变更日志记录在日志文件(例如binlog)中。对于任意数据库，其对应的第一中间件可以解析变更日志，得到解析结果。
在一些实施例中，业务数据为银存数据。
为表述方便，除非特殊说明，下文中将业务数据变更日志简称为变更日志，当业务数据为银存数据时，变更日志是指银存数据变更日志。
在一些实施例中，第一中间件可以为canal、databus、kettle、otter等中间件中的任一种。
在预设周期(例如每24小时为一周期)的起始时刻(例如每日的0点0分0秒)，多个第一间件的解析结果可以同时导入到离线计算平台(例如OPDS)。
在一些实施例中，所述多条解析结果为所述第一中间件对所述数据库所有的变更日志进行解析的结果，即可以将第一中间件所有解析结果导入到离线计算平台，换言之，将数据库所有经第一中间件解析的变更日志的解析结果导入到离线计算平台。从而使得后续的离线批处理得到的计算结果的准确性更高。
在一些实施例中，所述多条解析结果为所述第一中间件对所述数据库在预设周期内的变更日志进行解析的结果，即可以将第一中间件解析数据库在预设周期内的变更日志的解析结果导入到离线计算平台。从而可以在后续的离线批处理中节省计算资源。
接着，在步骤202中，对所述多条解析结果进行离线批处理，得到计算结果第一集合。
离线计算平台可以对解析结果进行离线批处理，各个解析结果对应的计算结果，构成了计算结果的第一集合。
在一些实施例中，各个解析结果可以各自对应一个计算结果。
在一些实施例中，离线计算平台可以对多个解析结果对应的多个计算结果进行聚类，并将聚类得到的类簇作为第一集合的构成元素。
在一些实施例中，离线计算平台可以对多个解析结果进行聚类，然后对聚类得到的类簇进行离线批处理，并将得到的计算结果作为第一集合的构成元素。
以及，在步骤204中，获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果为第二中间件对所述数据库的业务数据变更日志进行解析所产生的。
实时计算平台可以为开普勒(kepler)实时计算平台。
在一些实施例中，第二中间件为drc(Data Replication Center)，其可以为实时计算平台提供实时增量变更日志的解析结果。drc可支持同构或异构数据库实时同步、实时数据记录变更订阅服务等。
在步骤204中，每当数据库发生了业务数据变更，生成了变更日志，该数据库对应的第二中间件可以对该变更日志进行解析；解析结果立即导入到实时计算平台进行在线计算，得到实时计算结果，并将实时计算结果写入到目标表中。
离线计算平台在预设周期(例如每24小时为一周期)的起始时刻(例如每日的0点0分0秒)从实时计算平台获取目标表。
需要说明的是，由于实时计算平台的在线计算的特性，其要求中间件能够及时地向其传递数据。而离线计算平台进行的是离线批处理，其对中间件要求较低。第二中间件为专门设置的，用于及时向实时计算平台传递数据、满足实时计算平台在线计算特性的中间件，而第一中间件可以为已普遍设置的、成熟稳定的中间件。
一般而言，第二中间件较第一中间件不稳定，容易丢失数据。并且实时计算平台和第二中间件之间的链路，比离线计算平台和第一中间件之间的链路复杂，容易丢失数据。另外，实时计算平台只从第二中间件获取数据库在该实时计算平台上线以来产生的变更日志的解析结果进行在线计算，而不处理上线之前的变更日志的解析结果。
鉴于上述原因，第二中间件解析后的每个解析结果，并非都能导入到实时计算平台。因此，所述至少一条解析结果是指成功导入到实时计算平台的第二中间件的解析结果，其属于第二中间件对变更日志的解析结果，在多数情况下，其并不等于第二中间件对变更日志的解析结果。
在一些实施例中，当所述多条解析结果为所述第一中间件对所述数据库所有的变更日志进行解析的结果时，所述至少一条解析结果属于第二中间件对所述数据库在所述实时计算平台上线之后产生的变更日志进行解析所产生的解析结果。
在一些实施例中，当所述多条解析结果为所述第一中间件对所述数据库在预设周期内的变更日志进行解析的结果时，所述至少一条解析结果属于第二中间件对所述数据库在所述预设周期内的变更日志进行解析所产生的解析结果。
其次，在步骤206中，对比所述第一集合和所述目标表。
如上所述，第一集合中的元素为离线计算平台进行离线批处理得到的计算结果，可以简称为离线计算结果。目标表中的计算结果为实时计算平台进行在线处理得到的计算结果，可以简称为实时计算结果。
在一些实施例中，在步骤206中，可以进行第一集合中离线计算结果和目标表中实时计算结果的一一对比，以将目标表中的实时计算结果对比到第一集合中的离线计算结果上。容易理解，对于任一变更日志，其具有主关键字(primary key)。相应的，该变更日志的离线计算结果和实时计算结果都具有该主关键字。因此，可以通过主关键字将变更日志、离线计算结果、实时计算结果对应起来。
在一些实施例中，在步骤206中，可以对比对应于同一变更日志的离线计算结果和实时计算结果是否一致。
然后，在步骤208中，当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。
在一些实施例中，在进行第一集合中离线计算结果和目标表中实时计算结果的一一对比后，如果有些离线结果没有对应到实时计算结果，说明该离线结果对应的变更日志没有被第二中间件解析或解析结果丢失，可以将该离线结果写入到目标表中，以更新目标表。
在这些实施例中，通过比对第一集合中离线计算结果和目标表中实时计算结果，可以发现是否导致了数据遗漏，进而可以采取针对数据遗漏这一现象的措施，以提升实时计算平台后续的数据质量。
在一些实施例中，对比对应于同一变更日志的离线计算结果和实时计算结果不一致，则基于该离线计算结果修正实时计算结果，以更新目标表。
如上所述，相较第一中间件，第二中间件不稳定，可能会导致解析结果不准确，进而导致实时计算结果不准确。因此，在离线计算结果和实时计算结果不一致时，使用离线计算结果修正实时计算结果。
在这些实施例中，通过对比离线计算结果和实时计算结果是否一致，可以确定实时计算结果是否准确，进而可以采取针对实时计算平台计算结果不准确这一现象的措施，以改善实时计算平台计算结果的准确性。
在一些实施例中，其中，所述方法还包括：所述当所述第一集合和所述目标表不一致时，发起警报。
在这些实施例中，在离线计算平台的计算结果和实时计算平台的计算结果不一致时，发起警报，以提醒相关人员采取核查数据、修改已根据实时计算平台的计算结果生成的业务报表等措施。
本说明书实施例提供的业务数据处理方法可将离线计算和可以将离线计算平台实时计算结果进行比对，从而可以对实时计算结果进行纠错，从而在保证了业务数据处理时效性的情况下，进一步保证了业务数据处理结果的准确性；并且通过离线计算结果和实时计算结果的对比，便于发现异常数据，进而便于找到导致数据异常的故障，有助于进一步提升数据质量。
第二方面，本说明书实施例提供了一种业务数据处理装置300。参考图3，所述装置300包括：
第一获取单元310，配置为离线计算平台从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的；
批处理单元320，配置为对所述多条解析结果进行离线批处理，得到计算结果第一集合；
第二获取单元330，配置为获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果属于第二中间件对所述数据库的业务数据变更日志进行解析所产生的解析结果；
对比单元340，配置为对比所述第一集合和所述目标表；
更新单元350，配置为当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。
在一些实施例中，业务数据为银存数据。
在一些实施例中，所述第一中间件为canal、databus、kettle、otter中的任一种；
所述第二中间件为drc；
所述离线计算平台和所述第一中间件之间的链路，与所述实时计算平台和所述第二中间件之间的链路不同。
在一些实施例中，所述多条解析结果为所述第一中间件对所述数据库在预设周期内的变更日志进行解析的结果；
所述至少一条解析结果属于第二中间件对所述数据库在所述预设周期内的变更日志进行解析所产生的解析结果。
在一些实施例中，所述多条解析结果为所述第一中间件对所述数据库所有的变更日志进行解析的结果；
所述至少一条解析结果属于第二中间件对所述数据库在所述实时计算平台上线之后产生的变更日志进行解析所产生的解析结果。
在一些实施例中，所述更新单元350配置为当所述第一集合比所述目标表多出至少一条计算结果时，将所述至少一条计算结果写入所述目标表，以更新所述目标表。
在一些实施例中，所述第一集合包括对应于第一变更日志的第一计算结果，所述目标表包括对应于所述第一变更日志的第二计算结果；所述更新单元350配置为所述第一计算结果和所述第二计算结果不一致时，基于所述第一计算结果修正所述第二计算结果，以更新所述目标表。
在一些实施例中，所述装置还包括警报单元(未示出)，配置为所述当所述第一集合和所述目标表不一致时，发起警报。
另一方面，本说明书的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行图2所示的方法。
另一方面，本说明书的实施例提供了一种计算终端，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现图2所示的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (18)
1.一种业务数据处理方法，所述方法包括：
离线计算平台从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的；
对所述多条解析结果进行离线批处理，得到计算结果第一集合；
获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果属于第二中间件对所述数据库的业务数据变更日志进行解析所产生的解析结果；
对比所述第一集合和所述目标表；
当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。
2.根据权利要求1所述的方法，其中，业务数据为银存数据。
3.根据权利要求1所述的方法，其中，所述第一中间件为canal、databus、kettle、otter中的任一种；
所述第二中间件为drc；
所述离线计算平台和所述第一中间件之间的链路，与所述实时计算平台和所述第二中间件之间的链路不同。
4.根据权利要求1所述的方法，其中，所述多条解析结果为所述第一中间件对所述数据库在预设周期内的变更日志进行解析的结果；
所述至少一条解析结果属于第二中间件对所述数据库在所述预设周期内的变更日志进行解析所产生的解析结果。
5.根据权利要求1所述的方法，其中，所述多条解析结果为所述第一中间件对所述数据库所有的变更日志进行解析的结果；
所述至少一条解析结果属于第二中间件对所述数据库在所述实时计算平台上线之后产生的变更日志进行解析所产生的解析结果。
6.根据权利要求1所述的方法，其中，所述当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表，包括：
当所述第一集合比所述目标表多出至少一条计算结果时，将所述至少一条计算结果写入所述目标表，以更新所述目标表。
7.根据权利要求1所述的方法，其中，所述第一集合包括对应于第一变更日志的第一计算结果，所述目标表包括对应于所述第一变更日志的第二计算结果；所述当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表，包括：
所述第一计算结果和所述第二计算结果不一致时，基于所述第一计算结果修正所述第二计算结果，以更新所述目标表。
8.根据权利要求1所述的方法，其中，所述方法还包括：所述当所述第一集合和所述目标表不一致时，发起警报。
9.一种业务数据处理装置，所述装置包括：
第一获取单元，配置为离线计算平台从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的；
批处理单元，配置为对所述多条解析结果进行离线批处理，得到计算结果第一集合；
第二获取单元，配置为获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果属于第二中间件对所述数据库的业务数据变更日志进行解析所产生的解析结果；
对比单元，配置为对比所述第一集合和所述目标表；
更新单元，配置为当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。
10.根据权利要求9所述的装置，其中，业务数据为银存数据。
11.根据权利要求9所述的装置，其中，所述第一中间件为canal、databus、kettle、otter中的任一种；
所述第二中间件为drc；
所述离线计算平台和所述第一中间件之间的链路，与所述实时计算平台和所述第二中间件之间的链路不同。
12.根据权利要求9所述的装置，其中，所述多条解析结果为所述第一中间件对所述数据库在预设周期内的变更日志进行解析的结果；
所述至少一条解析结果属于第二中间件对所述数据库在所述预设周期内的变更日志进行解析所产生的解析结果。
13.根据权利要求9所述的装置，其中，所述多条解析结果为所述第一中间件对所述数据库所有的变更日志进行解析的结果；
所述至少一条解析结果属于第二中间件对所述数据库在所述实时计算平台上线之后产生的变更日志进行解析所产生的解析结果。
14.根据权利要求9所述的装置，其中，所述更新单元配置为当所述第一集合比所述目标表多出至少一条计算结果时，将所述至少一条计算结果写入所述目标表，以更新所述目标表。
15.根据权利要求9所述的装置，其中，所述第一集合包括对应于第一变更日志的第一计算结果，所述目标表包括对应于所述第一变更日志的第二计算结果；所述更新单元配置为所述第一计算结果和所述第二计算结果不一致时，基于所述第一计算结果修正所述第二计算结果，以更新所述目标表。
16.根据权利要求9所述的装置，其中，所述装置还包括警报单元，配置为所述当所述第一集合和所述目标表不一致时，发起警报。
17.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8中任一项所述的方法。
18.一种计算终端，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210652485.7A CN114969077A (zh) | 2019-10-28 | 2019-10-28 | 一种业务数据处理方法及装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911031520.8A CN110765148B (zh) | 2019-10-28 | 2019-10-28 | 一种业务数据处理方法及装置 |
| CN202210652485.7A CN114969077A (zh) | 2019-10-28 | 2019-10-28 | 一种业务数据处理方法及装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911031520.8A Division CN110765148B (zh) | 2019-10-28 | 2019-10-28 | 一种业务数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114969077A true CN114969077A (zh) | 2022-08-30 |
Family
ID=69333077
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911031520.8A Active CN110765148B (zh) | 2019-10-28 | 2019-10-28 | 一种业务数据处理方法及装置 |
| CN202210652485.7A Pending CN114969077A (zh) | 2019-10-28 | 2019-10-28 | 一种业务数据处理方法及装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911031520.8A Active CN110765148B (zh) | 2019-10-28 | 2019-10-28 | 一种业务数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN110765148B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113742192A (zh) * | 2021-09-13 | 2021-12-03 | 杭州安恒信息技术股份有限公司 | 日志规则质量分析方法、系统、电子装置和存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107979477A (zh) * | 2016-10-21 | 2018-05-01 | 苏宁云商集团股份有限公司 | 一种业务监控的方法及系统 |
| US20190005086A1 (en) * | 2017-07-02 | 2019-01-03 | Equalum Ltd. | System and method for system for determining database relations based on data monitoring |
| CN107784098A (zh) * | 2017-10-24 | 2018-03-09 | 百味云科技股份有限公司 | 实时数据仓库平台 |
| CN109408347B (zh) * | 2018-09-28 | 2019-10-25 | 北京九章云极科技有限公司 | 一种指标实时分析系统及指标实时计算方法 |
-
2019
- 2019-10-28 CN CN201911031520.8A patent/CN110765148B/zh active Active
- 2019-10-28 CN CN202210652485.7A patent/CN114969077A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN110765148A (zh) | 2020-02-07 |
| CN110765148B (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111277639B (zh) | 一种保持数据一致性的方法和装置 | |
| WO2020000720A1 (zh) | 服务器、报文处理方法、程序和计算机可读存储介质 | |
| CN113157710B (zh) | 区块链数据并行写入方法、装置、计算机设备及存储介质 | |
| US11816163B2 (en) | Systems and methods for improved transactional mainframes | |
| CN111125106A (zh) | 一种跑批任务执行方法、装置、服务器和存储介质 | |
| CN110765148B (zh) | 一种业务数据处理方法及装置 | |
| CN114219596A (zh) | 一种基于决策树模型的数据处理方法及相关设备 | |
| CN112950191A (zh) | 基于退费业务的业务数据处理方法、装置及计算机设备 | |
| CN112148762A (zh) | 一种实时数据流的统计方法和装置 | |
| CN110675247A (zh) | 未明交易处理方法及系统、外围系统及核心银行系统 | |
| US20220052853A1 (en) | Universal blockchain data model | |
| CN111741080B (zh) | 网络文件分发方法及装置 | |
| CN112270537B (zh) | 一种多渠道账单的入库方法、系统及存储介质 | |
| CN110795259A (zh) | 一种分析应用崩溃的方法和装置 | |
| CN115134320B (zh) | 一种基于消息分发确定时序的交易系统 | |
| CN111708802B (zh) | 网络请求防重处理方法及装置 | |
| CN113076297A (zh) | 一种数据处理方法、装置及存储介质 | |
| CN107566478B (zh) | 数据推送方法、系统及计算机可读存储介质 | |
| CN114490678A (zh) | 异常账务数据的处理方法、装置、设备及介质 | |
| CN115760328A (zh) | 基于错误码返回更新数据记录的方法及装置 | |
| CN117785900A (zh) | 数据更新方法、装置、计算机设备和存储介质 | |
| CN114372111A (zh) | 业务数据上传方法、装置、计算机设备及存储介质 | |
| CN113486061A (zh) | 数据处理方法、装置、终端设备及存储介质 | |
| CN115731044A (zh) | 业务数据处理方法及装置 | |
| CN112102089A (zh) | 批量文件处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240220 Address after: Room 1408, No. 447 Nanquan North Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai, 200120 Applicant after: Shanghai Ant Chuangjiang Information Technology Co.,Ltd. Country or region after: China Address before: 310000 801-11 section B, 8th floor, 556 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province Applicant before: Alipay (Hangzhou) Information Technology Co.,Ltd. Country or region before: China |