CN112363995A - 基于日志解析的增量数据比对方法、装置和电子设备 - Google Patents

基于日志解析的增量数据比对方法、装置和电子设备 Download PDF

Info

Publication number
CN112363995A
CN112363995A CN202011192747.3A CN202011192747A CN112363995A CN 112363995 A CN112363995 A CN 112363995A CN 202011192747 A CN202011192747 A CN 202011192747A CN 112363995 A CN112363995 A CN 112363995A
Authority
CN
China
Prior art keywords
data
database
source database
incremental
incremental data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011192747.3A
Other languages
English (en)
Inventor
李超德
杨小华
朱浩
连梓滨
张铎
胡东冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xinshu Technology Co ltd
Original Assignee
Beijing Xinshu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xinshu Technology Co ltd filed Critical Beijing Xinshu Technology Co ltd
Priority to CN202011192747.3A priority Critical patent/CN112363995A/zh
Publication of CN112363995A publication Critical patent/CN112363995A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了基于日志解析的增量数据比对方法、装置和电子设备，该方法包括：对源数据库进行全量复制得到目标数据库；对源数据库和目标数据库进行全量比对；如果源数据库和目标数据库存储的数据完全相同，则以开始全量复制的时间点开始对源数据库和目标数据库进行数据同步；获取源数据库的日志数据；对源数据库的日志数据使用日志解析工具进行解析得到源数据库的增量数据；对源数据库的增量数据和目标数据库进行数据校验；如果源数据库的增量数据和目标数据库增量数据不完全相同，则进行报警。本发明可以进行比对时，不影响业务系统运行，且比对效率高，满足实时性要求高的迁移场景。

Description

基于日志解析的增量数据比对方法、装置和电子设备
技术领域
本发明实施例涉及信息技术和数据库迁移领域，具体涉及基于日志解析的增量数据比对方法、装置和电子设备。
背景技术
随着信息系统数据量急剧增长，硬件成了性能瓶颈，传统的集中式架构已经很难满足系统的性能需求，数据库软件逐渐从集中式转向分布式架构；同时随着技术发展和进步，企业对于数据库的选型也不再局限于传统的商业大型关系数据库，开源数据库和国产数据库逐渐受到了企业用户的青睐，不仅新开发的应用开始使用开源或者国产数据库，越来越多的遗留应用也逐渐迁移到新的数据库平台之上。
基于以上需求，数据库迁移成为越来越多企业的强烈需求,也出现了各种类型的迁移工具。数据库迁移最重要的是数据的完整性和一致性，因此数据迁移完成后的数据比对和校验就显得尤为重要。
传统的比对和校验方式直接使用SQL语句从源数据库和目标数据库查询数据,然后在内存中进行比对，具有如下缺点：
1.全量查询源数据库和目标数据库的所有数据，数据量大，对比效率低；定制化比对部分内容，无法严格做到数据完整性和一致性的验证。
2.使用SQL语句直接查询数据库，对于数据库性能影响较大，比对和校验过程会影响系统业务的处理。
3.由于需要比对的数据量大，对于网络带宽，主机内存，CPU等提出了较高的要求。
4.数据比对和校验时间较长。
发明内容
本发明实施例的目的在于提供基于日志解析的增量数据比对方法、装置和电子设备，用以解决现有数据库迁移时数据一致性和完整性验证效率低，影响业务系统运行的问题。
为实现上述目的，本发明实施例主要提供如下技术方案：
第一方面，本发明实施例提供了一种基于日志解析的增量数据比对方法，包括：
对所述源数据库进行全量复制得到目标数据库；
对所述源数据库和所述目标数据库进行全量比对，以检测所述源数据库和所述目标数据库存储的数据是否完全相同；
如果所述源数据库和所述目标数据库存储的数据完全相同，则以开始全量复制的时间点开始对所述源数据库和所述目标数据库进行数据同步；
以开始全量复制的时间点开始，获取所述源数据库的日志数据；
对所述源数据库的日志数据使用日志解析工具进行解析得到所述源数据库的增量数据；
对所述源数据库的增量数据和所述目标数据库进行数据校验，以校验所述源数据库的增量数据和所述目标数据库的增量数据是否完全相同；
如果所述源数据库的增量数据和所述目标数据库的增量数据不完全相同，则进行报警。
根据本发明的一个实施例，所述源数据库的增量数据包括增加数据、修改数据和删除数据；所述目标数据库的增量数据包括增加数据、修改数据和删除数据。
根据本发明的一个实施例，对所述源数据库的增量数据和所述目标数据库进行数据校验，包括：
对所述源数据库的每个增量数据使用SQL方式在所述目标数据库中进行查询，检测所述目标数据库是否对所述源数据库的每个增量数据进行了对应的增量处理。
根据本发明的一个实施例，所述源数据库的增量数据使用数据队列进行存储。
第二方面，本发明实施例还提供一种基于日志解析的增量数据比对装置，包括：
全量数据处理模块，用于对所述源数据库进行全量复制得到目标数据库，并对所述源数据库和所述目标数据库进行全量比对，以检测所述源数据库和所述目标数据库存储的数据是否完全相同；
增量数据处理模块，用于如果所述源数据库和所述目标数据库存储的数据完全相同，则以开始全量复制的时间点开始对所述源数据库和所述目标数据库进行数据同步；所述增量处理模块还用于以开始全量复制的时间点开始，获取所述源数据库的日志数据，然后对所述源数据库的日志数据使用日志解析工具进行解析得到所述源数据库的增量数据，进而对所述源数据库的增量数据和所述目标数据库进行数据校验，以校验所述源数据库的增量数据和所述目标数据库的增量数据是否完全相同；
报警模块，用于在所述源数据库的增量数据和所述目标数据库的增量数据不完全相同时，进行报警。
根据本发明的一个实施例，所述源数据库的增量数据包括增加数据、修改数据和删除数据；所述目标数据库的增量数据包括增加数据、修改数据和删除数据。
根据本发明的一个实施例，所述增量数据处理模块用于对所述源数据库的每个增量数据使用SQL方式在所述目标数据库中进行查询，检测所述目标数据库是否对所述源数据库的每个增量数据进行了对应的增量处理。
根据本发明的一个实施例，所述源数据库的增量数据使用数据队列进行存储。
第三方面，本发明实施例还提供一种电子设备，包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如第一方面所述的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，包含一个或多个程序指令，所述一个或多个程序指令用于被执行如第一方面所述的方法。
本发明实施例提供的技术方案至少具有如下优点：
本发明实施例提供的基于日志解析的增量数据比对方法、装置和电子设备，基于备份的目标数据库做全量复制和全量比对，不影响业务系统运行；基于数据库日志解析增量数据进行比对，比对速度快，效率高；基于日志的解析方式相对于SQL查询，对数据库的影响小，不影响业务系统运行；基于增量数据和队列缓冲技术，对网络带宽和服务器性能要求较传统方式低；数据校验和比对速度快，可以实现分钟级甚至秒级的数据库切换，满足实时性要求高的迁移场景。
附图说明
图1为本发明实施例的基于日志解析的增量数据比对方法的流程图。
图2为本发明实施例的基于日志解析的增量数据比对装置的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”和“连接”应做广义理解，例如可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
图1为本发明实施例的基于日志解析的增量数据比对方法的流程图。如图1所示，本发明实施例的基于日志解析的增量数据比对方法，包括：
S1：对源数据库进行全量复制得到目标数据库。
具体地，选取源数据库某个时间点备份数据进行恢复，然后将恢复后的数据迁移到目标数据库。
S2：对源数据库和目标数据库进行全量比对，以检测源数据库和目标数据库存储的数据是否完全相同。
在本实施例中，对源数据库和目标数据库SQL方式查询数据，然后进行全量比对。
S3：如果源数据库和目标数据库存储的数据完全相同，则以开始全量复制的时间点开始对源数据库和目标数据库进行数据同步。
S4：以开始全量复制的时间点开始进行增量复制，获取源数据库的日志数据。
S5：对源数据库的日志数据使用日志解析工具进行解析得到源数据库的增量数据。其中，源数据库的增量数据包括增加数据、修改数据和删除数据。
S6：对源数据库的增量数据和目标数据库进行数据校验，以检测源数据库的增量数据和目标数据库的增量数据是否完全相同。
在本发明的一个实施例中，步骤S6包括：对源数据库的每个增量数据使用SQL方式在所述目标数据库中进行查询，检测目标数据库是否对源数据库的每个增量数据进行了对应的增量处理。
具体地，将源数据库的增量数据通过数据队列进行存储。每次从数据队列中获取一个增量数据，通过SQL查询的方式与目标数据库中的数据进行校验，具体为：当增量数据为新增数据时，通过检测目标数据库中是否同样新增了这个数据；当增量数据为删除数据时，检测目标数据库是否同样删除了这个数据；当增量数据为修改数据时，检测目标数据库是否同样修改了这个数据。
S7：如果源数据库的增量数据和目标数据库的增量数据不完全相同，则进行报警，例如通过显示终端显示报警信息，或将报警信息发送给维护人员的终端上，由维护人员及时处理。
本发明实施例提供的基于日志解析的增量数据比对方法，基于备份的目标数据库做全量复制和全量比对，不影响业务系统运行；基于数据库日志解析增量数据进行比对，比对速度快，效率高；基于日志的解析方式相对于SQL查询，对数据库的影响小，不影响业务系统运行；基于增量数据和队列缓冲技术，对网络带宽和服务器性能要求较传统方式低；数据校验和比对速度快，可以实现分钟级甚至秒级的数据库切换，满足实时性要求高的迁移场景。
图2为本发明实施例的基于日志解析的增量数据比对装置的结构框图。如图2所示，本发明实施例的基于日志解析的增量数据比对装置，包括：全量数据处理模块100、增量数据处理模块200和报警模块300。
其中，全量数据处理模块100用于对源数据库进行全量复制得到目标数据库，并对源数据库和目标数据库进行全量比对，以检测源数据库和目标数据库存储的数据是否完全相同。
增量数据处理模块200用于如果源数据库和目标数据库存储的数据完全相同，则以开始全量复制的时间点开始对源数据库和目标数据库进行数据同步。增量处理模块200还用于以开始全量复制的时间点开始，获取源数据库的日志数据，然后对源数据库的日志数据使用日志解析工具进行解析得到源数据库的增量数据，进而对源数据库的增量数据和目标数据库进行数据校验，以校验源数据库的增量数据和目标数据库的增量数据是否完全相同
报警模块300用于在源数据库的增量数据和目标数据库的增量数据不完全相同时，进行报警。
在本发明的一个实施例中，源数据库的增量数据包括增加数据、修改数据和删除数据；目标数据库的增量数据包括增加数据、修改数据和删除数据。
在本发明的一个实施例中，增量数据处理模块200用于对源数据库的每个增量数据使用SQL方式在目标数据库中进行查询，检测目标数据库是否对源数据库的每个增量数据进行了对应的增量处理。
在本发明的一个实施例中，源数据库的增量数据使用数据队列进行存储。
需要说明的是，本发明实施例的基于日志解析的增量数据比对装置的具体实施方式与本发明实施例的基于日志解析的增量数据比对方法的具体实施方式类似，具体参见基于日志解析的增量数据比对方法部分的描述，为了减少冗余，不做赘述。
另外，本发明实施例的基于日志解析的增量数据比对装置的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。
本发明实施例还提供一种电子设备，包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如上述的基于日志解析的增量数据比对方法。
本发明所公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的基于日志解析的增量数据比对方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable GateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synch Link DRAM，简称SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于日志解析的增量数据比对方法，其特征在于，包括：
对所述源数据库进行全量复制得到目标数据库；
对所述源数据库和所述目标数据库进行全量比对，以检测所述源数据库和所述目标数据库存储的数据是否完全相同；
如果所述源数据库和所述目标数据库存储的数据完全相同，则以开始全量复制的时间点开始对所述源数据库和所述目标数据库进行数据同步；
以开始全量复制的时间点开始，获取所述源数据库的日志数据；
对所述源数据库的日志数据使用日志解析工具进行解析得到所述源数据库的增量数据；
对所述源数据库的增量数据和所述目标数据库进行数据校验，以校验所述源数据库的增量数据和所述目标数据库的增量数据是否完全相同；
如果所述源数据库的增量数据和所述目标数据库的增量数据不完全相同，则进行报警。
2.根据权利要求1所述的基于日志解析的增量数据比对方法，其特征在于，所述源数据库的增量数据包括增加数据、修改数据和删除数据；所述目标数据库的增量数据包括增加数据、修改数据和删除数据。
3.根据权利要求2所述的基于日志解析的增量数据比对方法，其特征在于，对所述源数据库的增量数据和所述目标数据库进行数据校验，包括：
对所述源数据库的每个增量数据使用SQL方式在所述目标数据库中进行查询，检测所述目标数据库是否对所述源数据库的每个增量数据进行了对应的增量处理。
4.根据权利要求3所述的基于日志解析的增量数据比对方法，其特征在于，所述源数据库的增量数据使用数据队列进行存储。
5.一种基于日志解析的增量数据比对装置，其特征在于，包括：
全量数据处理模块，用于对所述源数据库进行全量复制得到目标数据库，并对所述源数据库和所述目标数据库进行全量比对，以检测所述源数据库和所述目标数据库存储的数据是否完全相同；
增量数据处理模块，用于如果所述源数据库和所述目标数据库存储的数据完全相同，则以开始全量复制的时间点开始对所述源数据库和所述目标数据库进行数据同步；所述增量处理模块还用于以所述全量复制的时间点开始，获取所述源数据库的日志数据，然后对所述源数据库的日志数据使用日志解析工具进行解析得到所述源数据库的增量数据，进而对所述源数据库的增量数据和所述目标数据库进行数据校验，以校验所述源数据库的增量数据和所述目标数据库的增量数据是否完全相同；
报警模块，用于在所述源数据库的增量数据和所述目标数据库的增量数据不完全相同时，进行报警。
6.根据权利要求5所述的基于日志解析的增量数据比对装置，其特征在于，所述源数据库的增量数据包括增加数据、修改数据和删除数据；所述目标数据库的增量数据包括增加数据、修改数据和删除数据。
7.根据权利要求6所述的基于日志解析的增量数据比对装置，其特征在于，所述增量数据处理模块用于对所述源数据库的每个增量数据使用SQL方式在所述目标数据库中进行查询，检测所述目标数据库是否对所述源数据库的每个增量数据进行了对应的增量处理。
8.根据权利要求7所述的基于日志解析的增量数据比对装置，其特征在于，所述源数据库的增量数据使用数据队列进行存储。
9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器和至少一个存储器；
所述存储器用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-4任一项所述的基于日志解析的增量数据比对方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-4任一项所述的基于日志解析的增量数据比对方法。
CN202011192747.3A 2020-10-30 2020-10-30 基于日志解析的增量数据比对方法、装置和电子设备 Pending CN112363995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011192747.3A CN112363995A (zh) 2020-10-30 2020-10-30 基于日志解析的增量数据比对方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011192747.3A CN112363995A (zh) 2020-10-30 2020-10-30 基于日志解析的增量数据比对方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN112363995A true CN112363995A (zh) 2021-02-12

Family

ID=74513915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011192747.3A Pending CN112363995A (zh) 2020-10-30 2020-10-30 基于日志解析的增量数据比对方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112363995A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905602A (zh) * 2021-03-26 2021-06-04 掌阅科技股份有限公司 数据比对方法、计算设备及计算机存储介质
CN113190531A (zh) * 2021-05-10 2021-07-30 挂号网（杭州）科技有限公司 一种数据库迁移方法、装置、设备和存储介质
CN114090690A (zh) * 2021-11-24 2022-02-25 中国建设银行股份有限公司 一种数据同步方法、装置及电子设备
CN114896641A (zh) * 2022-05-06 2022-08-12 平凯星辰(北京)科技有限公司 数据校验方法、装置、电子设备及计算机可读存储介质
WO2023116428A1 (zh) * 2021-12-24 2023-06-29 中兴通讯股份有限公司 跨数据库的数据迁移比对方法、装置、设备及存储介质
CN117194390A (zh) * 2023-11-08 2023-12-08 建信金融科技有限责任公司 数据库迁移方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932282A (zh) * 2018-05-18 2018-12-04 腾讯科技（深圳）有限公司 一种数据库迁移方法、装置和存储介质
CN109033186A (zh) * 2018-06-27 2018-12-18 东软集团股份有限公司 数据一致性检测方法、装置、存储介质及电子设备
KR20190022600A (ko) * 2019-02-25 2019-03-06 주식회사 실크로드소프트 데이터베이스 관리 시스템에서의 데이터 복제 기법
CN110879813A (zh) * 2019-11-20 2020-03-13 浪潮软件股份有限公司 一种基于二进制日志解析的MySQL数据库增量同步实现方法
CN111597257A (zh) * 2020-05-09 2020-08-28 远光软件股份有限公司 数据库的同步方法、装置、存储介质及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932282A (zh) * 2018-05-18 2018-12-04 腾讯科技（深圳）有限公司 一种数据库迁移方法、装置和存储介质
CN109033186A (zh) * 2018-06-27 2018-12-18 东软集团股份有限公司 数据一致性检测方法、装置、存储介质及电子设备
KR20190022600A (ko) * 2019-02-25 2019-03-06 주식회사 실크로드소프트 데이터베이스 관리 시스템에서의 데이터 복제 기법
CN110879813A (zh) * 2019-11-20 2020-03-13 浪潮软件股份有限公司 一种基于二进制日志解析的MySQL数据库增量同步实现方法
CN111597257A (zh) * 2020-05-09 2020-08-28 远光软件股份有限公司 数据库的同步方法、装置、存储介质及终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905602A (zh) * 2021-03-26 2021-06-04 掌阅科技股份有限公司 数据比对方法、计算设备及计算机存储介质
CN113190531A (zh) * 2021-05-10 2021-07-30 挂号网（杭州）科技有限公司 一种数据库迁移方法、装置、设备和存储介质
CN114090690A (zh) * 2021-11-24 2022-02-25 中国建设银行股份有限公司 一种数据同步方法、装置及电子设备
WO2023116428A1 (zh) * 2021-12-24 2023-06-29 中兴通讯股份有限公司 跨数据库的数据迁移比对方法、装置、设备及存储介质
CN114896641A (zh) * 2022-05-06 2022-08-12 平凯星辰(北京)科技有限公司 数据校验方法、装置、电子设备及计算机可读存储介质
CN117194390A (zh) * 2023-11-08 2023-12-08 建信金融科技有限责任公司 数据库迁移方法和装置
CN117194390B (zh) * 2023-11-08 2024-02-09 建信金融科技有限责任公司 数据库迁移方法和装置

Similar Documents

Publication Publication Date Title
CN112363995A (zh) 基于日志解析的增量数据比对方法、装置和电子设备
CN110209652B (zh) 数据表迁移方法、装置、计算机设备和存储介质
US7478113B1 (en) Boundaries
WO2017190580A1 (zh) 访问数据库的方法及装置
CN110058962B (zh) 确定虚拟机快照的一致性级别的方法、设备和计算机程序产品
CN110716878B (zh) 一种接口自动化测试方法、装置及系统
WO2020232883A1 (zh) 脚本缺陷扫描方法、装置、计算机设备和存储介质
CN111767297B (zh) 大数据处理方法、装置、设备及介质
US10423495B1 (en) Deduplication grouping
CN115277677B (zh) 批量档案挂接方法、装置、计算机设备及存储介质
CN108121774B (zh) 一种数据表备份方法及终端设备
CN107729541A (zh) 一种数据处理方法、装置及计算机可读存储介质
CN112559526A (zh) 数据表导出方法、装置、计算机设备及存储介质
CN112835885A (zh) 一种分布式表格存储的处理方法、装置及系统
CN109388651B (zh) 一种数据处理方法和装置
CN110910249A (zh) 一种数据处理方法、装置、节点设备及存储介质
US10740202B2 (en) System and method for efficient comparison of mirrored storage devices
CN114201370B (zh) 一种网页文件监控方法及系统
CN114896276A (zh) 数据存储方法、装置、电子设备及分布式存储系统
CN114625751A (zh) 基于区块链的数据溯源查询方法及装置
CN112650569A (zh) 基于Oracle代码的定时任务关系网络图生成方法及相关设备
CN111767339A (zh) 一种数据同步方法、装置、电子设备及存储介质
CN111538651A (zh) 接口测试方法、装置、服务器及存储介质
CN115374218B (zh) 一种异构数据库的数据同步方法、装置、设备及介质
CN115129355B (zh) 页面修复方法及其系统、计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210212