CN108460163A - K-db数据库数据同步方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种K‑DB数据库数据同步方法，该方法包括以下步骤：源端数据库将发生变化的目标数据映射到重做日志；抽取目标数据对应的目标重做日志；将目标重做日志发送给目标端数据库，目标端数据库根据目标重做日志获得目标数据，并将目标数据同步到第二数据表。应用本发明实施例所提供的技术方案，对源端数据库和目标端数据库的版本及机器配置不进行限制，不需要使用第三方同步软件，只需同步变化的目标数据，节省了目标端数据库的内存空间，提升了数据同步效率。本发明还公开了一种K‑DB数据库数据同步装置、系统及存储介质，具有相应技术效果。

Description

K-DB数据库数据同步方法、装置、设备及存储介质

技术领域

本发明涉及数据同步技术领域，特别是涉及一种K-DB数据库数据同步方法、装置、设备及可读存储介质。

背景技术

随着信息技术的发展，企业越来越依赖于信息化管理，各业务应用的数据信息主要存储在数据库中，企业对这些数据访问的连续性要求越来越高。为了避免因为数据中断导致各种损失，保障数据安全，数据实时同步成为数据库管理数据的一个重要方法。

现有技术中的K-DB数据库使用为数据库提供高可用性、数据保护、灾难恢复等核心功能的KSC(K-DB Standby Cluster)架构主从高可用配置只能实现全库的数据同步，无法只单独同步指定的表级、表字段级或用户级的数据，并且KSC要求源端数据库和目标端数据库的版本及机器配置均相同，需要用到收费且不一定适配的第三方数据同步软件，浪费数据库内存空间，数据同步效率较低。

发明内容

为解决上述技术问题，本发明提供如下技术方案：

一种K-DB数据库数据同步方法，包括：

源端数据库将第一数据表中发生变化的目标数据映射到重做日志；

检查所述重做日志的变化，获得检查结果；

根据所述检查结果，在所述重做日志中抽取所述目标数据对应的目标重做日志；

将所述目标重做日志发送给目标端数据库，以使所述目标端数据库根据所述目标重做日志获得所述目标数据，并将所述目标数据同步到第二数据表。

在本发明的一种具体实施方式中，还包括：

检测设备检测到所述源端数据库异常时，向所述目标端数据库发送接替指令；

所述目标端数据库接收到所述接替指令时，接替所述源端数据库。

在本发明的一种具体实施方式中，还包括：

所述源端数据库检测到所述重做日志写满时，将所述重做日志备份至归档日志；

将所述重做日志的内容清空。

在本发明的一种具体实施方式中，所述检查所述重做日志的变化，包括：

按照预定的时间间隔检查所述重做日志的变化。

一种K-DB数据库数据同步装置，包括：

日志映射模块，用于源端数据库将第一数据表中发生变化的目标数据映射到重做日志；

结果获得模块，用于检查所述重做日志的变化，获得检查结果；

日志抽取模块，用于根据所述检查结果，在所述重做日志中抽取所述目标数据对应的目标重做日志；

日志发送模块，用于将所述目标重做日志发送给目标端数据库，以使所述目标端数据库根据所述目标重做日志获得所述目标数据，并将所述目标数据同步到第二数据表。

在本发明的一种具体实施方式中，还包括：

日志备份模块，用于所述源端数据库检测到所述重做日志写满时，将所述重做日志备份至归档日志；

日志清空模块，用于将所述重做日志的内容清空。

在本发明的一种具体实施方式中，所述结果获得模块，包括：

日志检查子模块，用于按照预定的时间间隔检查所述重做日志的变化。

一种K-DB数据库日志同步系统，包括：

源端数据库和目标端数据库，所述源端数据库与所述目标端数据库连接，其中：

所述源端数据库，用于将第一数据表中发生变化的目标数据映射到重做日志；检查所述重做日志的变化，获得检查结果；根据所述检查结果，在所述重做日志中抽取所述目标数据对应的目标重做日志；将所述目标重做日志发送给目标端数据库；

所述目标端数据库，用于根据所述目标重做日志获得所述目标数据，并将所述目标数据同步到第二数据表。

在本发明的一种具体实施方式中，还包括：

检测设备，用于检测到所述源端数据库异常时，向所述目标端数据库发送接替命令；

所述目标端数据库，还用于接收到所述接替指令时，接替所述源端数据库。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述K-DB数据库数据同步方法的步骤。

应用本发明实施例所提供的技术方案，源端数据库将第一数据表中发生变化的目标数据映射到重做日志，检查重做日志的变化，获得检查结果，根据检查结果，在重做日志中抽取目标数据对应的目标重做日志，将目标重做日志发送给目标端数据库，以使目标端数据库根据目标重做日志获得目标数据，并将目标数据同步到第二数据表。通过源端数据库将第一数据表中发生变化的目标数据映射到重做日志中，方便数据恢复，检查重做日志的变化，并在重做日志中抽取目标数据对应的目标重做日志，将目标重做日志发送给目标端数据库，目标端数据库对目标重做日志进行解析，获得目标数据，将目标数据同步到第二数据表。对源端数据库和目标端数据库的版本及机器配置不进行限制，不需要使用第三方同步软件，只需同步发生变化的目标数据，节省了目标端数据库的内存空间，提升了数据同步效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种K-DB数据库同步方法的实施流程图；

图2为本发明实施例中一种K-DB数据库同步装置的结构框图；

图3为本发明实施例中一种K-DB数据库同步系统的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，为本发明实施例中一种K-DB数据库同步方法的实施流程图，该方法可以包括以下步骤：

S101：源端数据库将第一数据表中发生变化的目标数据映射到重做日志。

当源端数据库的第一数据表中的数据发生变化时，源端数据库可以将发生变化的目标数据映射到重做redo日志。在应用系统中，数据库往往是最核心的部分，一旦数据库损坏，将会带来巨大损失，所以数据库恢复越来越重要，使用数据库的过程中，由于断电或其他原因，有可能导致数据库出现一些小错误，比如检索某些表比较慢、查询不到符合条件的数据等，出现这些情况的原因往往是数据库有些损坏或索引不完整。因此将目标数据映射到重做日志，更有助于在源端数据库宕机的时候，通过读取重做日志中的操作进行数据恢复。

目标数据为发生变化的数据库级、用户级、表级或表字段级等中的任意一种或多种对数据库数据加以细分的细粒度数据。

源端数据库可以为系统中任意一个存在数据变化的K-DB数据库。

K-DB数据库为一种类似于oracle数据库的关系型数据库。

S102：检查重做日志的变化，获得检查结果。

源端数据库将第一数据表中发生变化的目标数据映射到重做日志后，可以通过配置文件中配置的日志检查进程检查重做日志的变化，并获得检查结果。

在本发明的一种具体实施方式中，检查重做日志的变化，可以包括以下步骤：

按照预定的时间间隔检查重做日志的变化。

源端数据库可以根据用户配置，如可以利用配置的日志检查进程自动按照预定的时间间隔检查重做日志的变化。及时发现重做日志的变化，对发生变化的目标数据对应的目标重做日志进行解析，及时对发生变化的目标数据进行同步。

S103：根据检查结果，在重做日志中抽取目标数据对应的目标重做日志。

日志检查进程检查重做日志的变化，并获得检查结果后，可以根据检查结果，通过配置的日志抽取进程在重做日志中抽取目标数据对应的目标重做日志，并可以将目标重做日志放入到消息队列中。

S104：将目标重做日志发送给目标端数据库。

目标端数据库根据目标重做日志获得目标数据，并将目标数据同步到第二数据表。

源端数据库从重做日志中抽取到发生变化的目标数据对应的目标日志，并将目标日志放入到消息队列后，可以通过配置的日志发送进程，将携带有目标日志的队列信息发送到目标端数据库。目标端数据库接收队列信息，获得目标重做日志，并对目标重做日志进行解析，捕获到目标数据，并将其还原为与源端数据库中语句格式相同的语句，如DDL或DML语句，然后通过配置的日志应用进程执行相关语句，对目标数据进行重放，即将目标数据同步到目标端数据库中的第二数据表。

目标端数据库为系统中任意一个存在数据变化的K-DB数据库。

应用本发明实施例所提供的方法，源端数据库将第一数据表中发生变化的目标数据映射到重做日志，检查重做日志的变化，获得检查结果，根据检查结果，在重做日志中抽取目标数据对应的目标重做日志，将目标重做日志发送给目标端数据库，以使目标端数据库根据目标重做日志获得目标数据，并将目标数据同步到第二数据表。通过源端数据库将第一数据表中发生变化的目标数据映射到重做日志中，方便数据恢复，检查重做日志的变化，并在重做日志中抽取目标数据对应的目标重做日志，将目标重做日志发送给目标端数据库，目标端数据库对目标重做日志进行解析，获得目标数据，将目标数据同步到第二数据表。对源端数据库和目标端数据库的版本及机器配置不进行限制，不需要使用第三方同步软件，只需同步发生变化的目标数据，节省了目标端数据库的内存空间，提升了数据同步效率。

在本发明的一种具体实施方式中，该方法还可以包括以下步骤：

检测设备检测到源端数据库异常时，向目标端数据库发送接替指令；

目标端数据库接收到接替指令时，接替源端数据库。

检测设备在检测到源端数据库异常时，可以向目标端数据库发送接替指令，目标端数据库接收到接替指令时，可以利用目标端数据库接替源端数据库。此时，目标端数据库可以作为新的源端数据库，将发生变化的目标数据映射到重做日志，当检查到重做日志存在变化时，将目标数据对应的目标重做日志发送到新的目标端数据库，新的目标端数据库对接收到的目标重做日志进行解析，获得目标数据，并将目标数据同步至自身中的第二数据表。

在本发明的一种具体实施方式中，该方法还可以包括以下步骤：

步骤一：源端数据库检测到重做日志写满时，将重做日志备份至归档日志；

步骤二：将重做日志的内容清空。

为方便描述，可以将上述两个步骤结合起来进行说明。

重做日志是循环使用的，写满一轮后就会覆盖前面的内容。当源端数据库或目标端数据库检测到自身中的重做日志写满时，将重做日志备份至归档日志，并将重做日志的内容清空，以备后续发生变化的目标数据映射到释放出的重做日志，方便数据恢复。

相应于上面的方法实施例，本发明实施例还提供了一种K-DB数据库数据同步装置，下文描述的一种K-DB数据库数据同步装置与上文描述的一种K-DB数据库数据同步方法可相互对应参照。

参见图2，该装置可以包括以下模块：

日志映射模块201，用于源端数据库将第一数据表中发生变化的目标数据映射到重做日志；

结果获得模块202，用于检查重做日志的变化，获得检查结果；

日志抽取模块203，用于根据检查结果，在重做日志中抽取目标数据对应的目标重做日志；

日志发送模块204，用于将目标重做日志发送给目标端数据库，以使目标端数据库根据目标重做日志获得目标数据，并将目标数据同步到第二数据表。

应用本发明实施例所提供的装置，源端数据库将第一数据表中发生变化的目标数据映射到重做日志，检查重做日志的变化，获得检查结果，根据检查结果，在重做日志中抽取目标数据对应的目标重做日志，将目标重做日志发送给目标端数据库，以使目标端数据库根据目标重做日志获得目标数据，并将目标数据同步到第二数据表。通过源端数据库将第一数据表中发生变化的目标数据映射到重做日志中，方便数据恢复，检查重做日志的变化，并在重做日志中抽取目标数据对应的目标重做日志，将目标重做日志发送给目标端数据库，目标端数据库对目标重做日志进行解析，获得目标数据，将目标数据同步到第二数据表。对源端数据库和目标端数据库的版本及机器配置不进行限制，不需要使用第三方同步软件，只需同步发生变化的目标数据，节省了目标端数据库的内存空间，提升了数据同步效率。

在本发明的一种具体实施方式中，该装置还可以包括：

日志备份模块，用于源端数据库检测到重做日志写满时，将重做日志备份至归档日志；

日志清空模块，用于将重做日志的内容清空。

在本发明的一种具体实施方式中，结果获得模块202，包括：

日志检查子模块，用于按照预定的时间间隔检查重做日志的变化。

相应于上面的方法实施例，本发明实施例还提供了一种K-DB数据库数据同步系统，下文描述的一种K-DB数据库数据同步系统与上文描述的一种K-DB数据库数据同步方法可相互对应参照。

参见图3，该系统可以包括：

源端数据库301和目标端数据库302，源端数据库301与目标端数据库302连接，其中：

源端数据库301，用于将第一数据表中发生变化的目标数据映射到重做日志；检查重做日志的变化，获得检查结果；根据检查结果，在重做日志中抽取目标数据对应的目标重做日志；将目标重做日志发送给目标端数据库302；

目标端数据库302，用于根据目标重做日志获得目标数据，并将目标数据同步到第二数据表。

应用本发明实施例所提供的系统，源端数据库将第一数据表中发生变化的目标数据映射到重做日志，检查重做日志的变化，获得检查结果，根据检查结果，在重做日志中抽取目标数据对应的目标重做日志，将目标重做日志发送给目标端数据库，以使目标端数据库根据目标重做日志获得目标数据，并将目标数据同步到第二数据表。通过源端数据库将第一数据表中发生变化的目标数据映射到重做日志中，方便数据恢复，检查重做日志的变化，并在重做日志中抽取目标数据对应的目标重做日志，将目标重做日志发送给目标端数据库，目标端数据库对目标重做日志进行解析，获得目标数据，将目标数据同步到第二数据表。对源端数据库和目标端数据库的版本及机器配置不进行限制，不需要使用第三方同步软件，只需同步发生变化的目标数据，节省了目标端数据库的内存空间，提升了数据同步效率。

在本发明的一种具体实施方式中，如图3所示，该系统还可以包括：

检测设备303，用于检测到源端数据库301异常时，向目标端数据库302发送接替命令；

目标端数据库302，还用于接收到接替指令时，接替源端数据库301。

如图3所示，该系统还可以包括与源端数据库301和目标端数据库302分别相连的检测设备303，当检测设备303检测到源端数据库301或目标端数据库302异常时，向与相应数据库发送接替指令，对异常的数据库进行接替。

相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：

源端数据库将第一数据表中发生变化的目标数据映射到重做日志，检查重做日志的变化，获得检查结果；根据检查结果，在重做日志中抽取目标数据对应的目标重做日志；将目标重做日志发送给目标端数据库，以使目标端数据库根据目标重做日志获得目标数据，并将目标数据同步到第二数据表。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、系统及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种K-DB数据库数据同步方法，其特征在于，包括：

源端数据库将第一数据表中发生变化的目标数据映射到重做日志；

检查所述重做日志的变化，获得检查结果；

根据所述检查结果，在所述重做日志中抽取所述目标数据对应的目标重做日志；

将所述目标重做日志发送给目标端数据库，以使所述目标端数据库根据所述目标重做日志获得所述目标数据，并将所述目标数据同步到第二数据表。

2.根据权利要求1所述的K-DB数据库数据同步方法，其特征在于，还包括：

检测设备检测到所述源端数据库异常时，向所述目标端数据库发送接替指令；

所述目标端数据库接收到所述接替指令时，接替所述源端数据库。

3.根据权利要求1所述的K-DB数据库数据同步方法，其特征在于，还包括：

所述源端数据库检测到所述重做日志写满时，将所述重做日志备份至归档日志；

将所述重做日志的内容清空。

4.根据权利要求1至3任一项所述的K-DB数据库日志同步方法，其特征在于，所述检查所述重做日志的变化，包括：

按照预定的时间间隔检查所述重做日志的变化。

5.一种K-DB数据库数据同步装置，其特征在于，包括：

日志映射模块，用于源端数据库将第一数据表中发生变化的目标数据映射到重做日志；

结果获得模块，用于检查所述重做日志的变化，获得检查结果；

日志抽取模块，用于根据所述检查结果，在所述重做日志中抽取所述目标数据对应的目标重做日志；

日志发送模块，用于将所述目标重做日志发送给目标端数据库，以使所述目标端数据库根据所述目标重做日志获得所述目标数据，并将所述目标数据同步到第二数据表。

6.根据权利要求5所述的K-DB数据库数据同步装置，其特征在于，还包括：

日志备份模块，用于所述源端数据库检测到所述重做日志写满时，将所述重做日志备份至归档日志；

日志清空模块，用于将所述重做日志的内容清空。

7.根据权利要求5或6所述的K-DB数据库数据同步装置，其特征在于，所述结果获得模块，包括：

日志检查子模块，用于按照预定的时间间隔检查所述重做日志的变化。

8.一种K-DB数据库数据同步系统，其特征在于，包括：

源端数据库和目标端数据库，所述源端数据库与所述目标端数据库连接，其中：

所述源端数据库，用于将第一数据表中发生变化的目标数据映射到重做日志；检查所述重做日志的变化，获得检查结果；根据所述检查结果，在所述重做日志中抽取所述目标数据对应的目标重做日志；将所述目标重做日志发送给目标端数据库；

所述目标端数据库，用于根据所述目标重做日志获得所述目标数据，并将所述目标数据同步到第二数据表。

9.根据权利要求8所述的K-DB数据库数据同步系统，其特征在于，还包括：

检测设备，用于检测到所述源端数据库异常时，向所述目标端数据库发送接替命令；

所述目标端数据库，还用于接收到所述接替指令时，接替所述源端数据库。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述K-DB数据库数据同步方法的步骤。