CN104462568A - 一种数据对账方法、装置和系统 - Google Patents
一种数据对账方法、装置和系统 Download PDFInfo
- Publication number
- CN104462568A CN104462568A CN201410834649.3A CN201410834649A CN104462568A CN 104462568 A CN104462568 A CN 104462568A CN 201410834649 A CN201410834649 A CN 201410834649A CN 104462568 A CN104462568 A CN 104462568A
- Authority
- CN
- China
- Prior art keywords
- data
- snapshot table
- source
- reconciliation
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种数据对账方法、装置和系统,其中,方法包括:确定当前基准时间、当前对账时间和需对账的数据表;获取在当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表,和写入目的数据库所述数据表内的目的快照表;判断所述目的快照表与所述源快照表是否一致,若一致,则将当前对账时间作为下一基准时间;若不一致,根据缺失数据向目的端重传数据,目的端将重传数据写入目的数据库中,直至数据重传后获取的目的快照表和源快照表一致,将当前对账时间作为下一基准时间。每次对账时仅仅将源端的增量数据和目的端的增量数据进行比对,减少了每次对账需处理的业务数据,减少了对账的消耗时间,提高了对账效率。
Description
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据对账方法、装置和系统。
背景技术
数据交换中间件SIB是构建可管理的数据交换系统的骨干软件设施,它能够快速搭建分布式应用系统间的数据交换总线通道,可以实现分布的、异构数据源之间的数据同步。SIB产品在源数据库中具有创建触发器和临时表的权限,触发器捕获变动的数据到源快照表中,在执行抽取时,程序自动从源快照表中读取数据,然后将数据装载到目的数据库中,从而实现SIB产品数据的传输。
然而,在数据实时同步的场景下,尤其是跨网络数据传输过程中,由于交换网络不稳定、硬件服务器异常、消息积压等异常情况,容易造成SIB交换数据丢失,从而导致源端和目的端数据不一致,因此,需要对SIB进行数据对账,但是,现有技术中,通常针对业务表全表对比来进行数据对账,针对业务表全表对比来进行数据对账,业务数据量非常大,对账耗时长,且对账效率较低。
发明内容
有鉴于此,本发明实施例提供一种数据对账方法、装置和系统,以解决现有技术中针对业务表全表对比来进行数据对账,业务数据量非常大,对账耗时长,且对账效率较低的问题。
为实现上述目的,本发明实施例提供如下技术方案:
一种数据对账方法,包括:
确定当前基准时间、当前对账时间和需对账的数据表;
获取在当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表,和在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表;
判断所述目的快照表与所述源快照表是否一致,
若一致,则将当前对账时间作为下一基准时间;
若不一致,则说明所述目的快照表内数据缺失,确定目的快照表内缺失数据,根据所述缺失数据向目的端重传数据,控制目的端将重传数据写入目的数据库中,直至数据重传后获取的目的快照表和源快照表一致,将当前对账时间作为下一基准时间。
其中,获取在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表包括:
向目的端发送需对账数据表的数据表名称;
目的端接收所述数据表名称,确定当前基准时间和当前对账时间后,将在所述当前基准时间和当前对账时间之间写入目的数据库所述数据表名称对应的数据表内的目的快照表发送给源端;
获取目的端根据所述数据表发送来的目的快照表,得到在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表。
其中,所述判断所述目的快照表与所述源快照表是否一致包括:
判断目的快照表的数量是否与源快照表的数量一致;
判断每个目的快照表内业务数据是否与其相对的源快照表内业务数据均一致;
若均是,则判定所述目的快照表与所述源快照表一致,反之,则判定所述目的快照表与所述源快照表不一致。
其中,所述源快照表具有源端标识,每个源快照表源端标识的数值根据其写入源数据库的时间而依次递增;
其中,所述目的快照表具有目的端标识,每个目的快照表目的端标识的数值根据其写入目的数据库的时间而依次递增。
其中,所述确定目的快照表内缺失数据,根据所述缺失数据向目的数据库重传数据包括:
若目的快照表的数量与源快照表的不一致,则说明有目的快照表缺失,确定缺失的目的快照表的目的端标识;
若不是每个目的快照表内业务数据与其相对的源快照表内业务数据均一致,则说明存在业务数据缺失的目的快照表,确定业务数据缺失的目的快照表的目的端标识;
选出所有确定的目的端标识中数值最小的最小目的端标识,根据源快照表与目的快照表间预设的对应关系,重传所有目的端标识不小于所述最小目的端标识的目的快照表内业务数据。
其中,通过将目的快照表与其相对于的源快照表相比对来判断目的快照表与源快照表是否一致,
判断所述目的快照表与所述源快照表是否一致后还包括:将目的快照表与其相对于的源快照表的比对结果存入对账日志表中。
其中,所述确定当前基准时间、当前对账时间和需对账的数据表前还包括:设置对账时间。
其中,所述将当前对账时间作为下一基准时间后还包括:删除获取的源快照表和目的快照表。
一种数据对账装置,包括:确定模块、获取模块、判断模块和重传模块;其中,
所述确定模块,用于确定当前基准时间、当前对账时间和需对账的数据表;
所述获取模块,用于获取在当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表,和在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表;
所述判断模块,用于判断所述目的快照表与所述源快照表是否一致,若一致,则将当前对账时间作为下一基准时间;
所述重传模块,用于当所述目的快照表与所述源快照表不一致时,确定目的快照表内缺失数据,根据所述缺失数据向目的数据库重传数据,直至数据重传后获取的目的端数据表和源快照表一致,将当前对账时间作为下一基准时间。
一种数据对账系统,包括:源端和目的端;其中,
所述源端,用于确定当前基准时间、当前对账时间和需对账的数据表;获取在当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表;向目的端发送需对账数据表的数据表名称,获取目的端发送来的目的快照表;判断所述目的快照表与所述源快照表是否一致,若一致,则将当前对账时间作为下一基准时间;若不一致,则说明所述目的快照表内数据缺失,确定目的快照表内缺失数据,根据所述缺失数据向目的端重传数据,控制目的端将重传数据写入目的数据库中,直至数据重传后获取的目的端数据表和源快照表一致,将当前对账时间作为下一基准时间;
所述目的端,用于确定当前基准时间和当前对账时间,接收源端发送来的数据表名称后,将在所述当前基准时间和当前对账时间之间写入目的数据库所述数据表名称对应的数据表内的目的快照表发送给源端;接收源端重传数据,并将重传数据写入目的数据库中。
基于上述技术方案,本发明实施例提供的数据对账方法、装置和系统,确定当前基准时间、当前对账时间和需对账的数据表后,获取在当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表,即获取源端的增量数据,和在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表,即获取目的端的增量数据,然后判断所述目的快照表与所述源快照表是否一致,即判断源端的增量数据与目的端的增量数据是否相同,若所述目的快照表与所述源快照表是否一致,即源端的增量数据与目的端的增量数据相同,直接将当前对账时间作为下一基准时间,若所述目的快照表与所述源快照表不一致,即源端的增量数据与目的端的增量数据不相同,则说明所述目的快照表内数据缺失,需要确定目的快照表内缺失数据,然后根据所述缺失数据向目的端重传数据,控制目的端将重传数据写入目的数据库中,直至数据重传后获取的目的端数据表和源快照表一致,即直至源端的增量数据与目的端的增量数据相同,之后再将当前对账时间作为下一基准时间,每次对账时仅仅将源端的增量数据和目的端的增量数据进行比对,保证每次获取的源端的增量数据和目的端的增量数据始终一致,则可以保证源端的所有业务数据和目的端的所有业务数据始终一致,减少了每次对账需处理的业务数据,减少了对账的消耗时间,提高了对账效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的数据对账方法的流程图;
图2为本发明实施例提供的数据对账方法中获取在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表的方法流程图;
图3为本发明实施例提供的数据对账方法中判断目的快照表与源快照表是否一致的方法流程图;
图4为本发明实施例提供的数据对账方法中确定目的快照表内缺失数据,根据缺失数据向目的数据库重传数据的方法流程图;
图5为本发明实施例提供的数据对账装置的系统框图;
图6为本发明实施例提供的数据对账系统的系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的数据对账方法的流程图,每次对账时仅仅将源端的增量数据和目的端的增量数据进行比对,保证每次获取的源端的增量数据和目的端的增量数据始终一致,则可以保证源端的所有业务数据和目的端的所有业务数据始终一致,减少了每次对账需处理的业务数据,减少了对账的消耗时间,提高了对账效率;参照图1,该数据对账方法可以包括:
步骤S100:确定当前基准时间、当前对账时间和需对账的数据表;
可选的,对账时间可以为每次对账前即设置好是固定时间,例如,可以设置每天的8点、12点和16点为对账时间,那么当每天时间到达8点、12点和16点时,都将会开始进行一次数据对账。
当前对账时间是指当前正在进行的数据对账的开始时间,上一对账时间是指上一次已经完成的数据对账的开始时间,下一对账时间是指,在当前正在进行的数据对账完成后将会进行的数据对账的开始时间,例如,若设置每天的8点、12点和16点为对账时间,现在正在进行的数据对账的开始时间为12点,那么,当前对账时间便为12点,上一对账时间便为8点,下一对账时间变为16点。
其中,当前基准时间为上一对账时。可选的,若当前数据对账为第一次数据对账,即当前数据对账之前没有进行过数据对账,那么,将可以不确定当前基准时间,只需要确定当前对账时间和需对账的数据表,直接获取当前对账时间之前写入源数据库所述数据表内的源快照表,和当前对账时间之前写入目的数据库所述数据表内的目的快照表。
因为数据库中拥有多种数据表,因此,需要确定需要进行数据对账的数据表,可选的,确定的数据表可以为一张、两张或更多张。
步骤S110:获取在当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表,和在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表;
快照表是一个在SIB数据交换中间件软件产品中使用,用于存放业务数据的数据表格。
当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表,即源端的增量数据,当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表,即目的端的增量数据。
而源端的增量数据,是指源端上次对账后和本次对账时输入源数据库内的业务数据,同样的,目的端的增量数据是指目的端上次对账后和本次对账时输入目的数据库内的业务数据。
其中,源数据库在指位源端的数据库,目的数据库是指位于目的端端的数据库。源快照表是指位于源端,存放源端物业数据的快照表,目的快照表是指位于目的端,存放目的端物业数据的快照表。
可选的,可以通过向目的端发送需对账数据表的数据表名称,使目的端在确定了当前基准时间和当前对账时间,且接收所述数据表名称后,将在所述当前基准时间和当前对账时间之间写入目的数据库所述数据表名称对应的数据表内的目的快照表发送给源端,然后源端获取目的端发送来的目的快照表,来得到在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表。
可选的,可以在所有源快照表内设置源端标识,每个源快照表源端标识的数值根据其写入源数据库的时间而依次递增,即,若在8点、9点和10点分别在源数据库内写入一张源快照表,8点写入源数据库的源快照表的源端标识为1,那么9点写入源数据库的源快照表的源端标识便可以为2,10点写入源数据库的源快照表的源端标识可以为3。
可选的,还可以在所有目的快照表内设置目的端标识,每个目的快照表目的端标识的数值也根据其写入目的数据库的时间而依次递增。
步骤S120:判断所述目的快照表与所述源快照表是否一致;
可选的,判断所述目的快照表与所述源快照表是否一致可以是判断目的快照表的数量是否与源快照表的数量一致,还可以是判断每个目的快照表内业务数据是否与其相对的源快照表内业务数据均一致,若目的快照表的数量与源快照表的数量一致,且每个目的快照表内业务数据与其相对的源快照表内业务数据均一致,则判定获取的目的快照表与获取的源快照表一致,否则,则判定获取的目的快照表与获取的源快照表不一致。
步骤S130:若一致,则将当前对账时间作为下一基准时间;
若判定获取的目的快照表与获取的源快照表一致,则说明在该次数据对账中,进行对账的源端增量数据和目的端增量数据一致,无需对目的数据库内数据进行更改,直接将当前对账时间作为下一基准时间。
例如,若设置每天的8点、12点和16点为对账时间,现在正在进行的数据对账的当前对账时间为12点,那么,在进行下一次数据对账时,下一基准时间为12点,下一对账时间为16点,获取的源数据表为12点到16点间写入源数据库内的数据表,即下一次进行数据对账时的源端增量数据为12点到16点间写入源数据库的业务数据,获取的目的数据表为12点到16点间写入目的数据库内的数据表,即下一次进行数据对账时的目的端增量数据为12点到16点间写入目的数据库的业务数据。
可选的,可以通过将目的快照表与其相对于的源快照表相比对来判断目的快照表与源快照表是否一致,在判断目的快照表与其相对于的源快照表是否一致后还可以将目的快照表与其相对于的源快照表的比对结果存入对账日志表中,以便于,统计分析每日或每时间段内的业务量和对账情况等。
步骤S140:若不一致,则说明所述目的快照表内数据缺失,确定目的快照表内缺失数据,根据所述缺失数据向目的端重传数据,控制目的端将重传数据写入目的数据库中,直至数据重传后获取的目的快照表和源快照表一致,将当前对账时间作为下一基准时间。
若判定获取的目的快照表与获取的源快照表不一致,则说明在该次数据对账中,进行对账的源端增量数据和目的端增量数据不一致,需要源端从小将相应数据重传入目的端,对目的数据库内数据进行更改,使对账后的源端增量数据和目的端增量数据为一致,当源端增量数据和目的端增量数据为一致后,再将当前对账时间作为下一基准时间。
当判定目的快照表的数量与源快照表的不一致时,说明有目的快照表缺失,当判定不是每个目的快照表内业务数据与其相对的源快照表内业务数据均一致时,说明存在业务数据缺失的目的快照表。
可选的,可以在判定目的快照表的数量与源快照表的不一致时,确定缺失的目的快照表的目的端标识,在判定不是每个目的快照表内业务数据与其相对的源快照表内业务数据均一致时,确定业务数据缺失的目的快照表的目的端标识,然后通过选出所有确定的目的端标识中数值最小的目的端标识作为最小目的端标识,再根据源快照表与目的快照表间预设的对应关系,让源端重传所有目的端标识不小于所述最小目的端标识的目的快照表内业务数据,使源端增量数据和目的端增量数据为一致。
例如,若源端具有源端标识分别为1、2和3的三个源快照表,源端标识为1的源快照表与目的端标识为1的目的快照表相对应,源端标识为2的源快照表与目的端标识为2的目的快照表相对应,源端标识为2的源快照表与目的端标识为2的目的快照表相对应,源端标识为1、2和3的源快照表内均为3行业务数据。
那么,当获取的目的端快照表中只有目的端标识为1和3的目的快照表,目的端标识为1和3的目的快照表内均拥有3行业务数据时,最小目的端标识为2,不小于目的端标识2的目的端标有2和3,同时,与目的端标识2相对应的源端标识为2,与目的端标识3相对应的源端标识为3,因此,将源端标识为2和源端标识为3的源快照表内的业务数据重传。
当获取的目的端快照表中有目的端标识为1、2和3的目的快照表,但是目的端标识为1的目的快照表内拥有的业务数据不足3行时,最小目的端标识为1,不小于目的端标识1的目的端标有1、2和3,同时,与目的端标识1、2和3相对应的源端标识分别为1、2和3,因此,将源端标识为1、2和3的源快照表内的业务数据均进行重传。
当获取的目的端快照表中只有目的端标识为1和3的目的快照表,且目的端标识为1的目的快照表内拥有的业务数据不足3行时,最小目的端标识为1,也需要将源端标识为1、2和3的源快照表内的业务数据均进行重传。
控制目的端将重传数据写入目的数据库中,直至数据重传后获取的目的快照表和源快照表一致,也就是说,在源端将缺失数据项目的端重传,控制目的端将重传数据写入目的数据库中后,还需要再次获取当前基准时间和当前对账时间之间写入源数据库所述数据表内的重传目的快照表,将所述重传目的快照表与源快照表相比对,判断该重传目的快照表与该源快照表是否一致,若一致,则将当前对账时间作为下一基准时间,若不一致,则再次数据重传,获取再次重传目的快照表,再将该再次重传目的快照表与源快照表相比对,判断该再次重传目的快照表与该源快照表是否一致,获取、对比判断、重传的过程,直到获取的目的快照表和源快照表一致。
可选的,可以在当前对账时间作为下一基准时间后,将获取的源快照表和目的快照表进行删除,防止因获取的源快照表和目的快照表的数据过多,而影响数据对账的效率。
基于上述技术方案,本发明实施例提供的数据对账方法,确定当前基准时间、当前对账时间和需对账的数据表后,获取在当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表,即获取源端的增量数据,和在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表,即获取目的端的增量数据,然后判断所述目的快照表与所述源快照表是否一致,即判断源端的增量数据与目的端的增量数据是否相同,若所述目的快照表与所述源快照表是否一致,即源端的增量数据与目的端的增量数据相同,直接将当前对账时间作为下一基准时间,若所述目的快照表与所述源快照表不一致,即源端的增量数据与目的端的增量数据不相同,则说明所述目的快照表内数据缺失,需要确定目的快照表内缺失数据,然后根据所述缺失数据向目的端重传数据,控制目的端将重传数据写入目的数据库中,直至数据重传后获取的目的端数据表和源快照表一致,即直至源端的增量数据与目的端的增量数据相同,之后再将当前对账时间作为下一基准时间,每次对账时仅仅将源端的增量数据和目的端的增量数据进行比对,保证每次获取的源端的增量数据和目的端的增量数据始终一致,则可以保证源端的所有业务数据和目的端的所有业务数据始终一致,减少了每次对账需处理的业务数据,减少了对账的消耗时间,提高了对账效率。
可选的,图2示出了本发明实施例提供的数据对账方法中获取在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表的方法流程图,参照图2,该获取在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表的方法可以包括:
步骤S200:向目的端发送需对账数据表的数据表名称;
数据库内的每个数据表均拥有一个名称,也可以说是拥有一个标志,也每个数据表的名称均不相同,根据数据表名称可以找到需要的数据表。
步骤S210:目的端接收所述数据表名称,确定当前基准时间和当前对账时间后,将在当前基准时间和当前对账时间之间写入目的数据库所述数据表名称对应的数据表内的目的快照表发送给源端;
可选的,可以通过查询中间表来找到当前基准时间和当前对账时间之间写入目的数据库所述数据表名称对应的数据表内的目的快照表发送给源端。
步骤S220:获取目的端根据所述数据表发送来的目的快照表,得到在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表。
可选的,图3示出了本发明实施例提供的数据对账方法中判断目的快照表与源快照表是否一致的方法流程图,参照图3,该判断目的快照表与源快照表是否一致的方法可以包括:
步骤S300:判断目的快照表的数量是否与源快照表的数量一致;
步骤S310:判断每个目的快照表内业务数据是否与其相对的源快照表内业务数据均一致;
步骤S320:若均是,则判定所述目的快照表与所述源快照表一致,反之,则判定所述目的快照表与所述源快照表不一致。
若目的快照表的数量与源快照表的数量一致,且每个目的快照表内业务数据与其相对的源快照表内业务数据均一致,则判定获取的目的快照表与获取的源快照表一致。
若目的快照表的数量与源快照表的数量一致,但并非每个目的快照表内业务数据与其相对的源快照表内业务数据均一致,或每个目的快照表内业务数据与其相对的源快照表内业务数据均一致,但目的快照表的数量与源快照表的数量不一致,则判断获取的目的快照表与获取的源快照表不一致。
若判定获取的目的快照表与获取的源快照表一致,则说明在该次数据对账中,进行对账的源端增量数据和目的端增量数据一致,无需对目的数据库内数据进行更改,直接将当前对账时间作为下一基准时间。
若判定获取的目的快照表与获取的源快照表不一致,则说明在该次数据对账中,进行对账的源端增量数据和目的端增量数据不一致,需要源端从小将相应数据重传入目的端,对目的数据库内数据进行更改,使对账后的源端增量数据和目的端增量数据为一致,当源端增量数据和目的端增量数据为一致后,再将当前对账时间作为下一基准时间。
可选的,图4示出了本发明实施例提供的数据对账方法中确定目的快照表内缺失数据,根据缺失数据向目的数据库重传数据的方法流程图,参照图4,该确定目的快照表内缺失数据,根据缺失数据向目的数据库重传数据的方法可以包括:
步骤S400:若目的快照表的数量与源快照表的不一致,则说明有目的快照表缺失,确定缺失的目的快照表的目的端标识;
当源端具有源端标识分别为1、2和3的3个源快照表,源端标识为1、2和3的源快照表分别与目的端标识为1、2和3的目的快照表相对应时,若获取的目的端快照表中只有目的端标识为1和3的目的快照表,目的快照表的数量与源快照表的不一致,目的快照表缺失,缺失的目的快照表的目的端标识为2。
步骤S410:若不是每个目的快照表内业务数据与其相对的源快照表内业务数据均一致,则说明存在业务数据缺失的目的快照表,确定业务数据缺失的目的快照表的目的端标识;
当源端标识为1的源快照表具有3行业务数据,源端标识为1的源快照表与目的端标识为1的目的快照表相对应时,若获取的目的端标识为1的目的快照表内拥有的业务数据不足3行,则说明存在业务数据缺失的目的快照表,可以确定业务数据缺失的目的快照表的目的端标识为1。
步骤S420:选出所有确定的目的端标识中数值最小的最小目的端标识,根据源快照表与目的快照表间预设的对应关系,重传所有目的端标识不小于所述最小目的端标识的目的快照表内业务数据。
若源端具有源端标识分别为1、2和3的三个源快照表,源端标识为1、2和3的源快照表分别与目的端标识为1、2和3的目的快照表相对应,那么,当获取的目的端快照表中只有目的端标识为1和3的目的快照表,且目的端标识为1的目的快照表内拥有的业务数据不足3行时,可以确定最小目的端标识为1,那么,此时需要将源端标识为1、2和3的源快照表内的业务数据均进行重传。
本发明实施例提供的数据对账方法,每次对账时仅仅将源端的增量数据和目的端的增量数据进行比对,保证每次获取的源端的增量数据和目的端的增量数据始终一致,则可以保证源端的所有业务数据和目的端的所有业务数据始终一致,减少了每次对账需处理的业务数据,减少了对账的消耗时间,提高了对账效率。
下面对本发明实施例提供的数据对账装置进行介绍,下文描述的数据对账装置与上文描述的数据对账方法可相互对应参照。
图5为本发明实施例提供的数据对账装置的系统框图,参照图5,该数据对账装置可以包括:确定模块100、获取模块200、判断模块300和重传模块400;其中,
确定模块100,用于确定当前基准时间、当前对账时间和需对账的数据表;
获取模块200,用于获取在当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表,和在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表;
判断模块300,用于判断所述目的快照表与所述源快照表是否一致,若一致,则将当前对账时间作为下一基准时间;
重传模块400,用于当所述目的快照表与所述源快照表不一致时,确定目的快照表内缺失数据,根据所述缺失数据向目的数据库重传数据,直至数据重传后获取的目的端数据表和源快照表一致,将当前对账时间作为下一基准时间。
本发明实施例提供的数据对账装置,每次对账时仅仅将源端的增量数据和目的端的增量数据进行比对,保证每次获取的源端的增量数据和目的端的增量数据始终一致,则可以保证源端的所有业务数据和目的端的所有业务数据始终一致,减少了每次对账需处理的业务数据,减少了对账的消耗时间,提高了对账效率。
下面对本发明实施例提供的数据对账系统进行介绍,下文描述的数据对账系统基于上文描述的数据对账方法和数据对账装置。
图6为本发明实施例提供的数据对账系统的系统框图,参照图6,该数据对账系统可以包括:源端1和目的端2;其中,
源端1,用于确定当前基准时间、当前对账时间和需对账的数据表;获取在当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表;向目的端发送需对账数据表的数据表名称,获取目的端发送来的目的快照表;判断所述目的快照表与所述源快照表是否一致,若一致,则将当前对账时间作为下一基准时间;若不一致,则说明所述目的快照表内数据缺失,确定目的快照表内缺失数据,根据所述缺失数据向目的端重传数据,控制目的端将重传数据写入目的数据库中,直至数据重传后获取的目的端数据表和源快照表一致,将当前对账时间作为下一基准时间;
目的端2,用于确定当前基准时间和当前对账时间,接收源端发送来的数据表名称后,将在所述当前基准时间和当前对账时间之间写入目的数据库所述数据表名称对应的数据表内的目的快照表发送给源端;接收源端重传数据,并将重传数据写入目的数据库中。
本发明实施例提供的数据对账系统,每次对账时仅仅将源端的增量数据和目的端的增量数据进行比对,保证每次获取的源端的增量数据和目的端的增量数据始终一致,则可以保证源端的所有业务数据和目的端的所有业务数据始终一致,减少了每次对账需处理的业务数据,减少了对账的消耗时间,提高了对账效率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据对账方法,其特征在于,包括:
确定当前基准时间、当前对账时间和需对账的数据表;
获取在当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表,和在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表;
判断所述目的快照表与所述源快照表是否一致,
若一致,则将当前对账时间作为下一基准时间;
若不一致,则说明所述目的快照表内数据缺失,确定目的快照表内缺失数据,根据所述缺失数据向目的端重传数据,控制目的端将重传数据写入目的数据库中,直至数据重传后获取的目的快照表和源快照表一致,将当前对账时间作为下一基准时间。
2.根据权利要求1所述的数据对账重传方法,其特征在于,获取在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表包括:
向目的端发送需对账数据表的数据表名称;
目的端接收所述数据表名称,确定当前基准时间和当前对账时间后,将在所述当前基准时间和当前对账时间之间写入目的数据库所述数据表名称对应的数据表内的目的快照表发送给源端;
获取目的端根据所述数据表发送来的目的快照表,得到在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表。
3.根据权利要求1所述的数据对账重传方法,其特征在于,所述判断所述目的快照表与所述源快照表是否一致包括:
判断目的快照表的数量是否与源快照表的数量一致;
判断每个目的快照表内业务数据是否与其相对的源快照表内业务数据均一致;
若均是,则判定所述目的快照表与所述源快照表一致,反之,则判定所述目的快照表与所述源快照表不一致。
4.根据权利要求3所述的数据对账重传方法,其特征在于,
所述源快照表具有源端标识,每个源快照表源端标识的数值根据其写入源数据库的时间而依次递增;
所述目的快照表具有目的端标识,每个目的快照表目的端标识的数值根据其写入目的数据库的时间而依次递增。
5.根据权利要求4所述的数据对账重传方法,其特征在于,所述确定目的快照表内缺失数据,根据所述缺失数据向目的数据库重传数据包括:
若目的快照表的数量与源快照表的不一致,则说明有目的快照表缺失,确定缺失的目的快照表的目的端标识;
若不是每个目的快照表内业务数据与其相对的源快照表内业务数据均一致,则说明存在业务数据缺失的目的快照表,确定业务数据缺失的目的快照表的目的端标识;
选出所有确定的目的端标识中数值最小的最小目的端标识,根据源快照表与目的快照表间预设的对应关系,重传所有目的端标识不小于所述最小目的端标识的目的快照表内业务数据。
6.根据权利要求1所述的数据对账重传方法,其特征在于,通过将目的快照表与其相对于的源快照表相比对来判断目的快照表与源快照表是否一致,
判断所述目的快照表与所述源快照表是否一致后还包括:将目的快照表与其相对于的源快照表的比对结果存入对账日志表中。
7.根据权利要求1所述的数据对账重传方法,其特征在于,所述确定当前基准时间、当前对账时间和需对账的数据表前还包括:设置对账时间。
8.根据权利要求1所述的数据对账重传方法,其特征在于,所述将当前对账时间作为下一基准时间后还包括:删除获取的源快照表和目的快照表。
9.一种数据对账装置,其特征在于,包括:确定模块、获取模块、判断模块和重传模块;其中,
所述确定模块,用于确定当前基准时间、当前对账时间和需对账的数据表;
所述获取模块,用于获取在当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表,和在当前基准时间和当前对账时间之间写入目的数据库所述数据表内的目的快照表;
所述判断模块,用于判断所述目的快照表与所述源快照表是否一致,若一致,则将当前对账时间作为下一基准时间;
所述重传模块,用于当所述目的快照表与所述源快照表不一致时,确定目的快照表内缺失数据,根据所述缺失数据向目的数据库重传数据,直至数据重传后获取的目的端数据表和源快照表一致,将当前对账时间作为下一基准时间。
10.一种数据对账系统,其特征在于,包括:源端和目的端;其中,
所述源端,用于确定当前基准时间、当前对账时间和需对账的数据表;获取在当前基准时间和当前对账时间之间写入源数据库所述数据表内的源快照表;向目的端发送需对账数据表的数据表名称,获取目的端发送来的目的快照表;判断所述目的快照表与所述源快照表是否一致,若一致,则将当前对账时间作为下一基准时间;若不一致,则说明所述目的快照表内数据缺失,确定目的快照表内缺失数据,根据所述缺失数据向目的端重传数据,控制目的端将重传数据写入目的数据库中,直至数据重传后获取的目的端数据表和源快照表一致,将当前对账时间作为下一基准时间;
所述目的端,用于确定当前基准时间和当前对账时间,接收源端发送来的数据表名称后,将在所述当前基准时间和当前对账时间之间写入目的数据库所述数据表名称对应的数据表内的目的快照表发送给源端;接收源端重传数据,并将重传数据写入目的数据库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410834649.3A CN104462568B (zh) | 2014-12-26 | 2014-12-26 | 一种数据对账方法、装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410834649.3A CN104462568B (zh) | 2014-12-26 | 2014-12-26 | 一种数据对账方法、装置和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104462568A true CN104462568A (zh) | 2015-03-25 |
CN104462568B CN104462568B (zh) | 2018-07-31 |
Family
ID=52908603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410834649.3A Active CN104462568B (zh) | 2014-12-26 | 2014-12-26 | 一种数据对账方法、装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104462568B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106447246A (zh) * | 2015-08-06 | 2017-02-22 | 阿里巴巴集团控股有限公司 | 库存数据对账方法及装置 |
CN106446296A (zh) * | 2016-11-28 | 2017-02-22 | 泰康保险集团股份有限公司 | 用于处理交易消息的方法和交易系统 |
CN106897342A (zh) * | 2016-07-20 | 2017-06-27 | 阿里巴巴集团控股有限公司 | 一种数据校验方法和设备 |
CN108255906A (zh) * | 2017-05-04 | 2018-07-06 | 平安科技(深圳)有限公司 | 数据补录方法及装置 |
CN108763358A (zh) * | 2018-05-16 | 2018-11-06 | 阿里巴巴集团控股有限公司 | 一种数据校验方法及装置 |
CN109727127A (zh) * | 2018-05-14 | 2019-05-07 | 网联清算有限公司 | 清算方法、装置及电子设备 |
CN109829807A (zh) * | 2019-01-21 | 2019-05-31 | 深圳乐信软件技术有限公司 | 结算系统数据处理方法、装置、计算机设备及存储介质 |
CN110046139A (zh) * | 2019-04-12 | 2019-07-23 | 广西科技师范学院 | 一种基于路由器的挂载设备存储方法 |
CN110287200A (zh) * | 2019-07-02 | 2019-09-27 | 江苏满运软件科技有限公司 | 对账方法、系统、计算机设备和存储介质 |
CN110543472A (zh) * | 2019-08-09 | 2019-12-06 | 浙江大华技术股份有限公司 | 数据对账方法及相关装置 |
US10572936B2 (en) | 2016-09-09 | 2020-02-25 | Microsoft Technology Licensing, Llc | Commerce payment reconciliation system |
CN111581217A (zh) * | 2020-05-12 | 2020-08-25 | 东莞市盟大塑化科技有限公司 | 数据检测方法、装置、计算机设备和存储介质 |
CN111597197A (zh) * | 2020-06-29 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 数据库之间的数据对账方法和装置、存储介质及电子设备 |
CN111639086A (zh) * | 2020-05-26 | 2020-09-08 | 深圳乐信软件技术有限公司 | 一种数据对账方法、装置、设备及存储介质 |
US10866944B2 (en) | 2017-05-22 | 2020-12-15 | Fujitsu Limited | Reconciled data storage system |
CN112162976A (zh) * | 2020-09-29 | 2021-01-01 | 北京锐安科技有限公司 | 一种数据对账方法、装置、设备及存储介质 |
CN112527521A (zh) * | 2020-12-03 | 2021-03-19 | 中国联合网络通信集团有限公司 | 消息处理方法及设备 |
CN113570444A (zh) * | 2021-08-02 | 2021-10-29 | 福建博思软件股份有限公司 | 一种基于非税缴款书的非税收缴报表处理方法及查询系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1851659A (zh) * | 2005-12-21 | 2006-10-25 | 华为技术有限公司 | 一种主设备和备份设备之间数据核查的方法 |
CN101183387A (zh) * | 2007-12-14 | 2008-05-21 | 沈阳东软软件股份有限公司 | 一种增量数据捕获方法和系统 |
CN102521225A (zh) * | 2011-09-29 | 2012-06-27 | 用友软件股份有限公司 | 增量数据抽取装置和增量数据抽取方法 |
CN102929946A (zh) * | 2012-09-27 | 2013-02-13 | 山东中创软件工程股份有限公司 | 一种数据同步方法、装置及系统 |
-
2014
- 2014-12-26 CN CN201410834649.3A patent/CN104462568B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1851659A (zh) * | 2005-12-21 | 2006-10-25 | 华为技术有限公司 | 一种主设备和备份设备之间数据核查的方法 |
CN101183387A (zh) * | 2007-12-14 | 2008-05-21 | 沈阳东软软件股份有限公司 | 一种增量数据捕获方法和系统 |
CN102521225A (zh) * | 2011-09-29 | 2012-06-27 | 用友软件股份有限公司 | 增量数据抽取装置和增量数据抽取方法 |
CN102929946A (zh) * | 2012-09-27 | 2013-02-13 | 山东中创软件工程股份有限公司 | 一种数据同步方法、装置及系统 |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106447246B (zh) * | 2015-08-06 | 2020-09-01 | 菜鸟智能物流控股有限公司 | 库存数据对账方法及装置 |
CN106447246A (zh) * | 2015-08-06 | 2017-02-22 | 阿里巴巴集团控股有限公司 | 库存数据对账方法及装置 |
CN106897342A (zh) * | 2016-07-20 | 2017-06-27 | 阿里巴巴集团控股有限公司 | 一种数据校验方法和设备 |
CN112487083A (zh) * | 2016-07-20 | 2021-03-12 | 创新先进技术有限公司 | 一种数据校验方法和设备 |
CN112487083B (zh) * | 2016-07-20 | 2024-03-12 | 创新先进技术有限公司 | 一种数据校验方法和设备 |
CN106897342B (zh) * | 2016-07-20 | 2020-10-09 | 阿里巴巴集团控股有限公司 | 一种数据校验方法和设备 |
US10572936B2 (en) | 2016-09-09 | 2020-02-25 | Microsoft Technology Licensing, Llc | Commerce payment reconciliation system |
CN106446296A (zh) * | 2016-11-28 | 2017-02-22 | 泰康保险集团股份有限公司 | 用于处理交易消息的方法和交易系统 |
CN106446296B (zh) * | 2016-11-28 | 2019-11-15 | 泰康保险集团股份有限公司 | 用于处理交易消息的方法和交易系统 |
CN108255906A (zh) * | 2017-05-04 | 2018-07-06 | 平安科技(深圳)有限公司 | 数据补录方法及装置 |
CN108255906B (zh) * | 2017-05-04 | 2020-08-14 | 平安科技(深圳)有限公司 | 数据补录方法及装置 |
US10866944B2 (en) | 2017-05-22 | 2020-12-15 | Fujitsu Limited | Reconciled data storage system |
CN109727127A (zh) * | 2018-05-14 | 2019-05-07 | 网联清算有限公司 | 清算方法、装置及电子设备 |
CN109727127B (zh) * | 2018-05-14 | 2021-05-18 | 网联清算有限公司 | 清算方法、装置及电子设备 |
CN108763358A (zh) * | 2018-05-16 | 2018-11-06 | 阿里巴巴集团控股有限公司 | 一种数据校验方法及装置 |
CN109829807A (zh) * | 2019-01-21 | 2019-05-31 | 深圳乐信软件技术有限公司 | 结算系统数据处理方法、装置、计算机设备及存储介质 |
CN110046139A (zh) * | 2019-04-12 | 2019-07-23 | 广西科技师范学院 | 一种基于路由器的挂载设备存储方法 |
CN110287200A (zh) * | 2019-07-02 | 2019-09-27 | 江苏满运软件科技有限公司 | 对账方法、系统、计算机设备和存储介质 |
CN110287200B (zh) * | 2019-07-02 | 2022-03-25 | 贵阳货车帮科技有限公司 | 对账方法、系统、计算机设备和存储介质 |
CN110543472A (zh) * | 2019-08-09 | 2019-12-06 | 浙江大华技术股份有限公司 | 数据对账方法及相关装置 |
CN111581217A (zh) * | 2020-05-12 | 2020-08-25 | 东莞市盟大塑化科技有限公司 | 数据检测方法、装置、计算机设备和存储介质 |
CN111581217B (zh) * | 2020-05-12 | 2024-02-13 | 东莞盟大集团有限公司 | 数据检测方法、装置、计算机设备和存储介质 |
CN111639086A (zh) * | 2020-05-26 | 2020-09-08 | 深圳乐信软件技术有限公司 | 一种数据对账方法、装置、设备及存储介质 |
CN111639086B (zh) * | 2020-05-26 | 2023-06-09 | 深圳乐信软件技术有限公司 | 一种数据对账方法、装置、设备及存储介质 |
CN111597197A (zh) * | 2020-06-29 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 数据库之间的数据对账方法和装置、存储介质及电子设备 |
WO2022068316A1 (zh) * | 2020-09-29 | 2022-04-07 | 北京锐安科技有限公司 | 数据对账方法、装置、设备及存储介质 |
CN112162976A (zh) * | 2020-09-29 | 2021-01-01 | 北京锐安科技有限公司 | 一种数据对账方法、装置、设备及存储介质 |
CN112527521B (zh) * | 2020-12-03 | 2023-07-04 | 中国联合网络通信集团有限公司 | 消息处理方法及设备 |
CN112527521A (zh) * | 2020-12-03 | 2021-03-19 | 中国联合网络通信集团有限公司 | 消息处理方法及设备 |
CN113570444A (zh) * | 2021-08-02 | 2021-10-29 | 福建博思软件股份有限公司 | 一种基于非税缴款书的非税收缴报表处理方法及查询系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104462568B (zh) | 2018-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104462568A (zh) | 一种数据对账方法、装置和系统 | |
CN107332876B (zh) | 区块链状态的同步方法及装置 | |
CN102088489B (zh) | 一种分布式数据同步系统及方法 | |
CN108600353B (zh) | 一种区块链节点的并行块同步方法 | |
CN106991607B (zh) | 一种基于区块链账户模型的无序交易控制方法 | |
US7627611B2 (en) | Conflict resolution in database replication through autonomous node qualified folding | |
CN102637214A (zh) | 基于数据库服务间的通用数据同步方法及其系统 | |
CN115599870B (zh) | 基于消息队列的存量数据与增量数据融合的数据同步方法 | |
WO2021130607A8 (en) | Partially-ordered blockchain | |
CN105187279B (zh) | 一种流量统计并实时排名的方法 | |
CN104980450A (zh) | 一种消息传递方法和系统及消息中间件 | |
US20070258369A1 (en) | Network equipment management device, network equipment management method, network equipment, and program used therein | |
CN100421427C (zh) | 维护邻居表项的方法 | |
WO2017071337A1 (zh) | 管理数据库表数据的方法、装置及系统 | |
CN105653374A (zh) | 分布式事务资源执行的方法、装置和系统 | |
CN105701159A (zh) | 一种数据同步装置和方法 | |
CN112184436B (zh) | 数据同步方法、电子设备及可读存储介质 | |
CN101442591A (zh) | 一种性能业务模型差异自检与升级的方法及系统 | |
CN104618432A (zh) | 一种事件发送与接收的处理方法和处理系统 | |
CN110071968B (zh) | 一种基于区块链的消息存储方法及装置 | |
CN109189431A (zh) | 一种客户端升级方法、装置、设备及可读存储介质 | |
CN104079623A (zh) | 多级云存储同步控制方法及系统 | |
CN110532021A (zh) | 分布式控制系统的组态文件的处理方法及装置 | |
CN106850724A (zh) | 数据推送方法及装置 | |
CN108614750A (zh) | 宕机数据的恢复方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |