CN113282643B - 一种oracle数据库同步环境下的表对比方法及系统 - Google Patents

一种oracle数据库同步环境下的表对比方法及系统 Download PDF

Info

Publication number
CN113282643B
CN113282643B CN202110623988.7A CN202110623988A CN113282643B CN 113282643 B CN113282643 B CN 113282643B CN 202110623988 A CN202110623988 A CN 202110623988A CN 113282643 B CN113282643 B CN 113282643B
Authority
CN
China
Prior art keywords
snapshot
scn
module
source
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110623988.7A
Other languages
English (en)
Other versions
CN113282643A (zh
Inventor
李一铭
高志会
江俊
胡军擎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Information2 Software Inc
Original Assignee
Shanghai Information2 Software Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Information2 Software Inc filed Critical Shanghai Information2 Software Inc
Priority to CN202110623988.7A priority Critical patent/CN113282643B/zh
Publication of CN113282643A publication Critical patent/CN113282643A/zh
Application granted granted Critical
Publication of CN113282643B publication Critical patent/CN113282643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种ORACLE数据库同步环境下的表对比方法及系统，该方法包括：步骤S1，当数据库同步任务处于执行状态，日志解析模块解析事务，并记录当前解析到的源库最后一个事务的源端SCN；步骤S2，装载模块从日志解析结果数据流中获取事务并进行装载；步骤S3，表对比模块向日志解析模块发送查询快照点的请求；步骤S4，日志解析模块当收到表对比模块的查询快照点请求，生成快照点查询信息插入日志解析结果数据流；步骤S5，装载模块在进行装载的过程中，若遇到快照点查询信息，将其之前的事务全部装载，查询目标库此时的SCN，将源库最后一个事务的SCN和从目标库查询出的目标SCN作为快照点消息发送给表对比模块。

Description

一种ORACLE数据库同步环境下的表对比方法及系统
技术领域
本发明涉及计算机数据备份技术领域，特别是涉及一种ORACLE数据库同步环境下的表对比方法及系统。
背景技术
Oracle数据库是使用非常广泛的计算机软件，在生产环境中为了满足容灾和读写分离等需求，经常会部署数据库同步软件，将源库实时同步到目标库。源库的数据在实时变化，目标库也会随之实时更新。数据库同步分全量和增量两个同步阶段，全量同步是将某一时间点上的所有数据同步到目标端；增量同步则是在全量同步的基础上，把每一次的变化同步到目标端。
在ORACLE数据库同步中，某些情况下需要验证源库和目标库某张表的数据是否一致。但在繁忙的系统中，会有大量事务在运行，源库和目标库的数据都处于实时变化中，如何在这样的环境下，是ORACLE数据库同步产品进行表对比的难点，因此，实有必要提出一种技术手段，以解决该问题。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种ORACLE数据库同步环境下的表对比方法及系统，以通过查询表在某快照点的数据，通过对比源库表和目标库表的快照，确定源库表和目标库表在此快照点上是否有数据差异，从而实现表对比的目的。
为达上述目的，本发明提供一种ORACLE数据库同步环境下的表对比方法，包括如下步骤：
步骤S1，当数据库同步任务处于执行状态，利用日志解析模块解析事务，输出日志解析结果数据流，记录当前解析到的源库的最后一个事务的源端SCN；
步骤S2，利用装载模块从所述日志解析结果的数据流中获取事务并进行装载；
步骤S3，利用表对比模块向日志解析模块发送查询快照点的请求；
步骤S4，所述日志解析模块在收到所述表对比模块的查询快照点请求后，生成快照点查询信息，插入到日志解析结果的数据流；
步骤S5，所述装载模块在进行装载的过程中，若遇到快照点查询信息，则将其之前的事务全部装载完毕，并查询目标库此时的SCN，将所述快照点查询信息中的源库的最后一个事务的源端SCN和从目标库查询出的目标SCN作为快照点消息发送给表对比模块。
优选地，于步骤S5后，所述方法还包括：
步骤S6，表对比模块分别以源端SCN对源库表做快照以及以目标SCN对目标库表做快照，并根据快照结果对比源库表与目标库表的数据差异。
优选地，于步骤S1中，所述日志解析模块通过解析重做日志文件解析事务，并向日志解析结果数据流中输入解析到的事务。
优选地，于步骤S2中，所述装载模块从日志解析结果数据流中顺序读取事务并装载。
优选地，于步骤S3中，当需要进行表对比时，由所述表对比模块向日志解析模块发送查询快照点的请求，以获取快照点信息。
优选地，于步骤S4中，所述日志解析模块在收到表对比模块的查询快照点请求后，根据当前时间点所记录到的源库的最后一个事务的源端SCN，生成快照点查询信息。
优选地，所述快照点查询信息包含记录的源库的最后一个事务的源端SCN。
优选地，于步骤S5中，若遇到快照点查询消息，装载模块在将快照点查询信息之前的所有事务全部装载完毕后，执行查询SCN语句以查询目标库当前的目标SCN。
为达到上述目的，本发明还提供一种ORACLE数据库同步环境下的表对比系统，包括：
日志解析模块，用于当数据库同步任务处于执行状态，持续解析事务并输出日志解析结果数据流，并记录当前解析到的源库的最后一个事务的源端SCN，在收到表对比模块的查询快照点请求时，生成快照点查询信息，并插入到所述日志解析结果数据流；
装载模块，用于从所述日志解析结果数据流中获取事务并进行装载，在进行装载的过程中，若遇到快照点查询信息，则将其之前的事务全部装载完毕，并查询目标库此时的SCN，将所述快照点查询信息中的源库的最后一个事务的SCN和从目标库查询出的目标SCN作为快照点消息发送给表对比模块；
表对比模块，用于在需要进行表对比时，向所述日志解析模块发送查询快照点的请求，并在接收到装载模块的快照点信息后，分别以源端SCN对源库表做快照以及以目标SCN对目标库表做快照，并根据快照结果对比源库表与目标库表的数据差异。
优选地，所述日志解析模块在收到所述表对比模块的查询快照点请求后，根据当前时间点所记录到的源库的最后一个事务的源端SCN，生成快照点查询信息，并将其插入到所述日志解析结果数据流。
与现有技术相比，本发明一种ORACLE数据库同步环境下的表对比方法及系统通过利用ORACLE数据库可以查询表在某快照点的数据，通过对比源库表和目标库表的快照，从而确定源库表和目标库表在此快照点上是否有数据差异，实现表对比的目的。
附图说明
图1为本发明一种ORACLE数据库同步环境下的表对比方法的步骤流程图；
图2为本发明实施例中一个典型的事务按照时间的分布情况示意图；
图3为本发明实施例中日志解析模块输出的日志解析结果数据流的示意图；
图4为本发明一种ORACLE数据库同步环境下的表对比系统的系统架构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
在说明本发明之前，先介绍几个相关概念：
SCN：系统改变号，用来区分所有操作的先后顺序，SCN在数据库中是一个单一的不断的随着数据库一致性状态的改变而自增的序列。正如一个时间戳代表着时间里面的某一个固定的时刻点一样，每一个SCN值也代表着数据库在运行当中的一个一致性的点，大的SCN值所对应的事务总是比小SCN值的事务发生的更晚。因此把SCN说成是Oracle数据库的逻辑时间戳是很恰当的。
快照：表示ORACLE数据库的一个或多个表或视图在某一个时间点的查询的结果。。也就是说oracle快照对应的是某一时间点的数据。比如：SELECT*FROM FLASH_TBL AS OFSCN 1257245；该语句表示的就是以1257245为快照点查询TBALE1的数据。
REDOLOG：即ORACLE重做日志。REDOLOG记录了ORACLE数据库中事务的开始信息，事务的操作，和事务的结束信息以及SCN。
图1为本发明一种ORACLE数据库同步环境下的表对比方法的步骤流程图。如图1所示，本发明一种ORACLE数据库同步环境下的表对比方法，应用于通过日志解析方式获取ORACLE数据变化并同步到目标库的同步软件，包括如下步骤：
步骤S1，保持数据库同步任务处于执行状态，日志解析模块解析事务，并向日志解析结果的数据流中输入解析到的事务，并且记录当前解析到的源库的最后一个事务的SCN。
在Oracle中，对于数据库的修改操作都会记录redo，即在操作一条数据之前需要记录redo log，然后再修改数据，以便在数据库出现问题的时候通过redo log恢复已经提交的数据，也就是说，redo log是为了重现已经做过的操作。日志解析模块则通过获取Oracle重做日志文件Redolog解析事务，具体地，日志解析模块可以解析出所有对于数据库操作的DML(insert、update、delete等)语句，并将解析到的事务输入到日志解析结果的数据流，同时记录当前解析到的源库的最后一个事务的SCN，即源端SCN(source SCN)。
步骤S2，装载模块从所述日志解析结果的数据流中获取事务并进行装载。
具体地，日志解析模块会将日志解析结果形成数据流发送给装载模块，装载模块获取到日志解析结果的数据流后，则从中顺序读取事务并进行装载。
步骤S3，表对比模块向日志解析模块发送查询快照点的请求。
当需要进行表对比时，由表对比模块向日志解析模块发送查询快照点的请求，以获取快照点信息。在本发明中，主要通过ORACLE数据库查询表在某快照点的数据，然后通过对比源库表和目标库表的快照，确定源库表和目标库表在此快照点上是否有数据差异，从而验证源库表和目标库表的数据是否一致。
步骤S4，日志解析模块在收到表对比模块的查询快照点请求后，根据步骤S1记录的源库的最后一个事务的源端SCN，生成快照点查询信息，并插入到日志解析结果的数据流。
在生产环境中ORACLE数据库，经常会存在大量的并行事务，事务的长度不一，图2为本发明实施例中一个典型的事务按照时间的分布情况示意图，在本实施例中，在进行表对比时，通过把表对比同增量同步的过程结合起来获取合适的快照点。如图2所示，在时间点①查询，此时日志解析模块已经分析完事务T2，T3，正在分析事务T1，事务T2、T3的数据已经发送给装载模块，事务T1的数据还缓存在日志解析模块的内存中，如果选择T3提交的SCN3作为最后一个事务的SCN，则T1事务的更改在SCN1无法查询到，T2事务的SCN2,包含在SCN3内，因此通过SCN3可以查询到，如果在目标库装载完T3之后，查询目标库SCN，按照SCN做快照，此时两边的数据应该是一致的，因为T1在T3之后传输，此时还没有装载。
因此，在本发明中，日志解析模块在收到表对比模块的查询快照点请求后，根据当前时间点所记录到的源库的最后一个事务的SCN，生成快照点查询信息，所述快照点查询信息即包含记录的源库的最后一个事务的SCN，并将其插入到日志解析结果的数据流，如图3所示。
步骤S5，装载模块从所述日志解析结果的数据流中获取事务并进行装载的过程中，若遇到快照点查询信息，则将其之前的事务全部装载完毕，并查询目标库此时的SCN(目标SCN，即target SCN)，将所述快照点查询信息中的源库的最后一个事务的SCN和从目标库查询出的目标SCN(target SCN)作为快照点消息发送给表对比模块。
在本发明具体实施例中，当装载模块从日志解析结果的数据流中读取事务的过程中，若遇到的是快照点查询消息，则将其前面的事务全部装载完毕，并执行查询SCN语句(SELECT CURRENT_SCN FROM V$DATABASE；)以查询目标库的SCN，将快照点请求消息中的源SCN和从目标库查询出的目标SCN作为快照点消息发送给表对比模块。也就是说，装载模块从数据流中获取事务并装载，当遇到了一个快照点查询信息，此时装载模块会将快照点查询信息之前的所有事务都装载，这样操作之后再去备库查询SCN就能保证这一SCN时间点的数据和快照点查询信息中的源端最后一个SCN的表数据是一致的，因此将快照点请求消息中的源SCN和从目标库查询出的目标SCN作为快照点消息发送给表对比模块进行快照比对。
步骤S6，表对比模块分别以源SCN对源库表做快照以及以目标SCN对目标库表做快照，并根据快照结果对比源库表与目标库表的数据差异，从而实现验证源库表和目标库表的数据是否一致的目的。
图4为本发明一种ORACLE数据库同步环境下的表对比系统的系统架构图。如图4所示，本发明一种ORACLE数据库同步环境下的表对比系统，应用于通过日志解析方式获取ORACLE数据变化并同步到目标库的同步软件，包括：
日志解析模块401，用于当数据库同步任务处于执行状态，持续解析事务，并向日志解析结果的数据流中输入解析到的事务，记录当前解析到的源库的最后一个事务的SCN，并在收到表对比模块404的查询快照点请求时，根据记录的源库的最后一个事务的SCN，生成快照点查询信息，并插入到日志解析结果的数据流。
在Oracle中，对于数据库的修改操作都会记录redo，即在操作一条数据之前需要记录redo log，然后再修改数据，以便在数据库出现问题的时候通过redo log恢复已经提交的数据，也就是说，重做日志redolog是为了重现已经做过的操作。具体地说，日志解析模块通过获取Oracle重做日志文件Redolog解析事务，具体地，日志解析模块可以解析出所有对于数据库操作的DML(insert、update、delete等)语句，并将解析到的事务输入到日志解析结果的数据流，同时记录当前解析到的源库的最后一个事务的源端SCN。
当需要进行表对比时，表对比模块404会向日志解析模块401发送查询快照点的请求，以获取快照点信息，日志解析模块401在收到表对比模块404的查询快照点请求后，根据当前时间点所记录到的源库的最后一个事务的SCN，生成快照点查询信息，所述快照点查询信息即包含记录的源库的最后一个事务的源端SCN，并将其插入到日志解析结果的数据流。
装载模块402，用于从所述日志解析结果的数据流中获取事务并进行装载，在进行装载的过程中，若遇到快照点查询信息，则将其之前的事务全部装载完毕，并查询目标库此时的SCN，将所述快照点查询信息中的源库的最后一个事务的源端SCN和从目标库查询出的目标SCN作为快照点消息发送给表对比模块。
具体地，日志解析模块401在解析日志过程中会将日志解析结果形成数据流发送给装载模块，装载模块获取到日志解析结果的数据流后，则从中顺序读取事务并进行装载。
当装载模块402从日志解析结果的数据流中读取事务的过程中，若遇到的是快照点查询消息，则将其前面的事务全部装载完毕，并以该SCN执行查询SCN语句(SELECTCURRENT_SCN FROM V$DATABASE；)以查询目标库的SCN,将快照点请求消息中的源SCN和从目标库查询出的目标SCN作为快照点消息发送给表对比模块403。
表对比模块403，用于在需要进行表对比时，向日志解析模块401发送查询快照点的请求，并在接收到快照点信息后，分别以源SCN对源库表做快照以及以目标SCN对目标库表做快照，并根据快照结果对比源库表与目标库表的数据差异，从而实现验证源库表和目标库表的数据是否一致的目的。
当需要进行表对比时，由表对比模块向日志解析模块发送查询快照点的请求，以获取快照点信息，然后根据该快照点信息分别以源SCN对源库表做快照以及以目标SCN对目标库表做快照，并根据快照结果对比源库表与目标库表的数据差异。
也就是说，本发明主要通过ORACLE数据库查询表在某快照点的数据，然后通过对比源库表和目标库表的快照，确定源库表和目标库表在此快照点上是否有数据差异，从而验证源库表和目标库表的数据是否一致。
综上所述，本发明一种ORACLE数据库同步环境下的表对比方法及系统通过利用ORACLE数据库可以查询表在某快照点的数据，通过对比源库表和目标库表的快照，从而确定源库表和目标库表在此快照点上是否有数据差异，实现表对比的目的。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种ORACLE数据库同步环境下的表对比方法，包括如下步骤：
步骤S1，当数据库同步任务处于执行状态，利用日志解析模块解析事务，输出日志解析结果数据流，并记录当前解析到的源库最后一个事务的源端SCN；
步骤S2，利用装载模块从所述日志解析结果的数据流中获取事务并进行装载至目标库；
步骤S3，利用表对比模块向日志解析模块发送查询快照点的请求；
步骤S4，所述日志解析模块在收到所述表对比模块的查询快照点请求后，生成快照点查询信息，插入到日志解析结果的数据流；
步骤S5，所述装载模块在进行装载的过程中，若遇到快照点查询信息，则将其之前的事务全部装载完毕，并查询目标库此时的SCN，将所述快照点查询信息中的源库的最后一个事务的源端SCN和从目标库查询出的目标SCN作为快照点消息发送给表对比模块。
2.如权利要求1所述的一种ORACLE数据库同步环境下的表对比方法，其特征在于，于步骤S5后，所述方法还包括：
步骤S6，表对比模块分别以源端SCN对源库表做快照以及以目标SCN对目标库表做快照，并根据快照结果对比源库表与目标库表的数据差异。
3.如权利要求2所述的一种ORACLE数据库同步环境下的表对比方法，其特征在于，于步骤S1中，所述日志解析模块通过解析重做日志文件解析事务，并向日志解析结果数据流中输入解析到的事务。
4.如权利要求3所述的一种ORACLE数据库同步环境下的表对比方法，其特征在于：于步骤S2中，所述装载模块从日志解析结果数据流中顺序读取事务并装载。
5.如权利要求1所述的一种ORACLE数据库同步环境下的表对比方法，其特征在于：于步骤S3中，当需要进行表对比时，由所述表对比模块向日志解析模块发送查询快照点的请求，获取快照点信息。
6.如权利要求1所述的一种ORACLE数据库同步环境下的表对比方法，其特征在于：于步骤S4中，所述日志解析模块在收到表对比模块的查询快照点请求后，根据当前时间点所记录到的源库的最后一个事务的源端SCN，生成快照点查询信息。
7.如权利要求6所述的一种ORACLE数据库同步环境下的表对比方法，其特征在于：所述快照点查询信息包含记录的源库的最后一个事务的源端SCN。
8.如权利要求1所述的一种ORACLE数据库同步环境下的表对比方法，其特征在于：于步骤S5中，若遇到快照点查询消息，装载模块在将快照点查询信息之前的所有事务全部装载完毕后，执行查询SCN语句以查询目标库当前的目标SCN。
9.一种ORACLE数据库同步环境下的表对比系统，包括：
日志解析模块，用于当数据库同步任务处于执行状态，持续解析事务并输出日志解析结果数据流，并记录当前解析到的源库的最后一个事务的源端SCN，在收到表对比模块的查询快照点请求时，生成快照点查询信息，并插入到所述日志解析结果数据流；
装载模块，用于从所述日志解析结果数据流中获取事务并进行装载至目标库，在进行装载的过程中，若遇到快照点查询信息，则将其之前的事务全部装载完毕，并查询目标库此时的SCN，将所述快照点查询信息中的源库的最后一个事务的SCN和从目标库查询出的目标SCN作为快照点消息发送给表对比模块；
表对比模块，用于在需要进行表对比时，向所述日志解析模块发送查询快照点的请求，并在接收到装载模块的快照点信息后，分别以源端SCN对源库表做快照以及以目标SCN对目标库表做快照，并根据快照结果对比源库表与目标库表的数据差异。
10.如权利要求9所述的一种ORACLE数据库同步环境下的表对比系统，其特征在于，所述日志解析模块在收到所述表对比模块的查询快照点请求后，根据当前时间点所记录到的源库的最后一个事务的源端SCN，生成快照点查询信息，并将其插入到所述日志解析结果数据流。
CN202110623988.7A 2021-06-04 2021-06-04 一种oracle数据库同步环境下的表对比方法及系统 Active CN113282643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110623988.7A CN113282643B (zh) 2021-06-04 2021-06-04 一种oracle数据库同步环境下的表对比方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110623988.7A CN113282643B (zh) 2021-06-04 2021-06-04 一种oracle数据库同步环境下的表对比方法及系统

Publications (2)

Publication Number Publication Date
CN113282643A CN113282643A (zh) 2021-08-20
CN113282643B true CN113282643B (zh) 2023-03-21

Family

ID=77283350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110623988.7A Active CN113282643B (zh) 2021-06-04 2021-06-04 一种oracle数据库同步环境下的表对比方法及系统

Country Status (1)

Country Link
CN (1) CN113282643B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118051563A (zh) * 2024-04-15 2024-05-17 天津南大通用数据技术股份有限公司 一种基于分布式数据库同构集群的容灾方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126753A (zh) * 2016-08-23 2016-11-16 易联众信息技术股份有限公司 基于大数据的增量抽取的方法
CN110232093A (zh) * 2019-04-30 2019-09-13 武汉达梦数据库有限公司 数据库同步中基于闪回查询的初始化装载方法及设备
CN110347746A (zh) * 2019-06-13 2019-10-18 武汉达梦数据库有限公司 一种异构数据库同步数据一致性校验方法及装置
CN111198920A (zh) * 2019-12-30 2020-05-26 上海英方软件股份有限公司 一种基于数据库同步确定对比表快照的方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346454B (zh) * 2014-10-30 2017-12-05 上海新炬网络技术有限公司 基于Oracle数据库的数据一致性校验方法
CN107368569B (zh) * 2017-07-11 2020-08-11 人人行科技股份有限公司 数据差异对比方法和装置、存储介质以及处理器
CN110413693B (zh) * 2019-07-31 2020-04-03 上海英方软件股份有限公司 一种数据库实时同步系统数据一致性的检验方法及装置
CN112231409B (zh) * 2020-10-23 2024-04-26 北京人大金仓信息技术股份有限公司 数据库同步的初始化装载方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126753A (zh) * 2016-08-23 2016-11-16 易联众信息技术股份有限公司 基于大数据的增量抽取的方法
CN110232093A (zh) * 2019-04-30 2019-09-13 武汉达梦数据库有限公司 数据库同步中基于闪回查询的初始化装载方法及设备
CN110347746A (zh) * 2019-06-13 2019-10-18 武汉达梦数据库有限公司 一种异构数据库同步数据一致性校验方法及装置
CN111198920A (zh) * 2019-12-30 2020-05-26 上海英方软件股份有限公司 一种基于数据库同步确定对比表快照的方法及装置

Also Published As

Publication number Publication date
CN113282643A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN110347746B (zh) 一种异构数据库同步数据一致性校验方法及装置
CN107402963B (zh) 搜索数据的构建方法、增量数据的推送方法及装置和设备
US8078582B2 (en) Data change ordering in multi-log based replication
US9031997B2 (en) Log file compression
KR101149994B1 (ko) 외부 메타데이터 프로세싱 방법 및 시스템
CN110727548B (zh) 一种基于数据库dml同步的持续数据保护方法及装置
CN109933632B (zh) 一种数据库的数据迁移方法、装置及设备
CN104572689A (zh) 数据同步方法、装置及系统
WO2019062132A1 (zh) 业务规则管理方法、装置、存储介质和计算机设备
CN113626416A (zh) 数据校验的方法、装置、计算设备和存储介质
CN113282643B (zh) 一种oracle数据库同步环境下的表对比方法及系统
CN111625540A (zh) 一种关系型数据库数据同步完整性校验方法和装置
CN113282555A (zh) 一种数据处理方法、装置、设备及存储介质
CN113806301A (zh) 数据同步方法、装置、服务器及存储介质
CN110750594A (zh) 一种基于mysql增量日志实时跨网络数据库同步方法
CN112966025B (zh) 一种binlog日志挖掘字典实现方法
CN112015463B (zh) 一种配置版本管理装置及其工作方法
CN115687503A (zh) 数据库间的数据同步方法、装置、设备及存储介质
CN115373889A (zh) 数据同步中的数据比对校验及数据修复的方法及装置
CN112699183A (zh) 数据处理方法、系统、可读存储介质及计算机设备
CN116932649A (zh) 数据库同步方法、数据库同步设备以及可读存储介质
CN116186082A (zh) 基于分布式的数据汇总方法、第一服务器和电子设备
CN115658815A (zh) 基于cdc实现的数据同步的方法
CN114756623A (zh) 一种非同源数据库同步方法及装置
CN107506436B (zh) 一种用于物联网数据库存储性能测试的方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant