CN103500229B - 一种数据库同步方法和数据库系统 - Google Patents

Abstract

本发明公开了一种数据库同步方法以及系统，包括：将主数据库和从数据库划分为多个分区，并为每个主、从数据分区设置一主、从二进制日志文件。当主数据分区发生数据更改时，将此数据更改记录到主二进制日志文件中，并将数据更改记录发送到从数据库，将此数据更改记录到从二进制日志文件中，并在从数据库的从数据分区中执行数据更改。本发明的方法和数据库系统，对数据库进行分区并对应数据库分区设置二进制日志文件，并且采用多线程并发处理二进制日志文件同步，解决了二进制日志文件同步过程中从数据库端回放慢及从数据库端系统资源利用率低的问题。另外，将主数据库的数据批量方式到从数据库端，尽可能减少从数据库端丢失数据。

Description

一种数据库同步方法和数据库系统

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据库同步方法和数据库系统。

背景技术

在数据库的应用中，对于访问量巨大的系统一般采用逐主Master-从Slave模式，通过这种方法，可以降低数据库的压力。二进制日志Binlog在数据库系统常被用于记录系统当前已经执行过的DDL和DML(除了数据查询语句)语句等内容。这些语句以事件的形式实时地备份到binlog中，反映了数据库中数据的更改。Binlog在数据库系统中主要有两个作用：binlog作为数据库系统数据的实时备份，当数据库系统发生异常时，可以被用于数据恢复；binlog还用于数据库系统集群的主从数据复制，主节点把它的binlog传递给从节点来达到主从数据一致的目的。

目前，在大多数的数据库系统的同步采用每个节点对应一个binlog文件来实现。例如，master节点上有一个binlog，slave节点上也有一个binlog。Master节点将binlog内容发送到slave端，slave端接收数据后将binlog内容解析，先执行数据存入节点上的数据库，然后将操作日志记录到binlog中。并且，在数据库同步的过程中Slave节点通常采用单线程同步binlog，master节点发送速度远快于slave节点处理速度慢，会产生slave节点数据滞后的情况，且单线程不能充分利用系统资源，常出现slave节点数据严重滞后时，系统资源占用率却较低的情况。当slave节点数据发生滞后的情况下，如果master节点出现异常，则master节点未发送到slave节点的数据将丢失，造成数据同步的失败。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种数据库同步方法，设置数据库分区并设置对应的二进制日志文件，进行主从数据库的同步。

一种数据库同步方法，其包括：将主数据库划分为多个主数据分区，将从数据库划分为多个从数据分区；为每个主数据分区设置一主二进制日志文件并为每个从数据分区设置一从二进制日志文件；当所述主数据分区发生数据更改时，将此数据更改记录到与此主数据分区对应的主二进制日志文件中，并将所述主数据分区的数据更改记录发送到所述从数据库；当接收到所述主数据分区的数据更改记录时，将此数据更改记录到从二进制日志文件中,并在与此从二进制日志文件对应的所述从数据库的从数据分区中执行数据更改。

根据本发明的方法的一个实施例，进一步的，所述主数据库与所述从数据库的分区划分相同，并且，所述多个主数据分区与所述多个从数据分区一一对应。

根据本发明的方法的一个实施例，进一步的，对于每个主数据分区启动至少一个第一工作线程；所述第一工作线程执行与其对应的主数据分区的数据更改，并将数据更改记录到与此主数据分区对应的主二进制日志文件中。

根据本发明的方法的一个实施例，进一步的，对于每个主二进制日志文件启动至少一个发送线程；所述发送线程监控与其对应的主二进制日志文件；当此主二进制日志文件的大小发生变化时，所述发送线程读取此主二进制日志文件中新插入的数据更改记录，并将所述新插入的数据更改记录缓存在缓存队列中；当缓存队列的长度到达设定的阈值时，所述发送线程将所述缓存队列中的数据更改记录发送到所述从数据库。

根据本发明的方法的一个实施例，进一步的，对于每个从数据分区启动至少一个接收线程和至少一个第二工作线程；

当所述接收线程接收到与其对应的从数据分区的数据更改记录时，将此数据更改记录传递到所述第二工作线程；所述第二工作线程将此数据更改记录到与所述第二工作线程对应的从数据分区的从二进制日志文件中,并执行与所述第二工作线程对应的从数据分区的数据更改。

根据本发明的方法的一个实施例，进一步的，所述发送线程和所述接收线程采用同步或异步方式传递所述数据更改记录；所述数据更改记录包括执行DROP、CREATE、ALTER、GRANT、REVOKE、TRUNCATE、UPDATE、INSERT、DELETE数据库命令的记录。

本发明要解决的另一个技术问题是提供一种数据库同步系统，能够设置与数据库分区对应的二进制日志文件，进行主从数据库的同步。

一种数据库系统，包括：主数据库节点和从数据库节点；其中，在所述主数据库节点中运行主数据库，在所述从数据库节点中运行从数据库；所述主数据库划分为多个主数据分区，在主数据库节点中对应于每个主数据分区设置主二进制日志文件；所述从数据库划分为多个从数据分区，在主数据库节点中对应于每个从数据分区设置从二进制日志文件；当所述主数据分区发生数据更改时，所述主数据库将此数据更改记录到与此主数据分区对应的主二进制日志文件中，并将所述主数据分区的数据更改记录发送到所述从数据库；当接收到所述主数据分区的数据更改记录时，所述从数据库将此数据更改记录到从二进制日志文件中,并在与此从二进制日志文件对应的所述从数据库的从数据分区中执行数据更改。

根据本发明的系统的一个实施例，进一步的，所述主数据库与所述从数据库的分区划分相同，并且，所述多个主数据分区与所述多个从数据分区一一对应，并设置编号；在主数据库节点中对于每个主数据分区启动至少一个第一工作线程；所述第一工作线程执行与其对应的主数据分区的数据更改，并将数据更改记录到与此主数据分区对应的主二进制日志文件中。

根据本发明的系统的一个实施例，进一步的，在主数据库节点中对于每个主二进制日志文件启动至少一个发送线程；所述发送线程监控与其对应的主二进制日志文件；当此主二进制日志文件的大小发生变化时，所述发送线程读取此主二进制日志文件中新插入的数据更改记录，并将所述新插入的数据更改记录缓存在缓存队列中；当缓存队列的长度到达设定的阈值时，所述发送线程将所述缓存队列中的数据更改记录发送到所述从数据库。

根据本发明的系统的一个实施例，进一步的，在从数据库节点中对于每个从数据分区启动至少一个接收线程和至少一个第二工作线程；当所述接收线程接收到与其对应的从数据分区的数据更改记录时，将此数据更改记录传递到所述第二工作线程；所述第二工作线程将此数据更改记录到与所述第二工作线程对应的从数据分区的从二进制日志文件中,并执行与所述第二工作线程对应的从数据分区的数据更改；所述发送线程和所述接收线程采用同步或异步方式传递所述数据更改记录；所述数据更改记录包括执行DROP、CREATE、ALTER、GRANT、REVOKE、TRUNCATE、UPDATE、INSERT、DELETE数据库命令的记录。

本发明的数据库同步方法和数据库系统，对数据库进行分区并对应数据库分区设置二进制日志文件，并且对二进制日志文件的同步采用多线程并发处理，解决了二进制日志文件同步过程中从数据库端回放慢及从数据库端系统资源利用率低的问题。另外，数据发送采用批量发送的方法，将主数据库的数据批量方式到从数据库端，能够尽量避免从数据库端丢失数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明的数据库同步方法的一个实施例的流程图；

图2为根据本发明的数据库系统的一个实施例的示意图；

图3为根据本发明的数据库同步方法一个实施例中发送、接收数据以及更改信息的流程图。

具体实施方式

下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明对数据库进行划分，将一个数据库划分为若干个分区partition，每个partiton对应一个二进制日志文件binlog进行数据的同步。对数据库进行分区可以根据需要进行设置，例如，可以对表进行横向分割进行分区。本发明的数据库的同步方法的一个实施例如图1所示：

步骤101，将主数据库划分为多个主数据分区，将从数据库划分为多个从数据分区。

步骤102，为每个主数据分区设置一主二进制日志文件并为每个从数据分区设置一从二进制日志文件。

步骤103，当主数据分区发生数据更改时，将此数据更改记录到与此主数据分区对应的主二进制日志文件中，并将主数据分区的数据更改记录发送到从数据库。

步骤104，当接收到主数据分区的数据更改记录时，将此数据更改记录到从二进制日志文件中,并在与此从二进制日志文件对应的从数据库的从数据分区中执行数据更改。

根据本发明的一个实施例，主数据库与从数据库可以为多种数据库，例如oracle、sybase以及mysql等。主数据库与从数据库的分区划分可以相同也可以不同。当主数据库与从数据库的分区划分相同时，多个主数据分区与多个从数据分区可以设置为一一对应的形式。

根据本发明的一个实施例，对于每个主数据分区启动至少一个第一工作线程。第一工作线程执行与其对应的主数据分区的数据更改，并将数据更改记录到与此主数据分区对应的主二进制日志文件中。对于每个主二进制日志文件也启动至少一个发送线程，发送线程监控与其对应的主二进制日志文件，根据系统运行以及对数据处理的情况，可以采用单线程或多线程来完成。

本发明中的“第一”、“第二”为描述上加以区别，并没有特殊的含义。

发送线程可以采用多种方式对主二进制日志文件变化进行监控，例如，可以监控主二进制日志文件的大小是否发生变化，或者，可以设置系统变量，当将数据更改记录到与此主数据分区对应的主二进制日志文件时，改变此系统变量的值，用以表明文件写入了新的记录。

当此主二进制日志文件发生变化时，发送线程读取此主二进制日志文件中新插入的数据更改记录，并将新插入的数据更改记录缓存在缓存队列中。当缓存队列的长度到达设定的阈值时，发送线程将缓存队列中的数据更改记录发送到从数据库。

通过缓存队列能够实现对数据的批量发送。在实现批量发送的具体实现中，也可以采用其他的方式，例如，可以将需要发送的数据保存在一个内存区或硬盘上的文件中，当需要发送时，发送线程将内存区或硬盘上的文件中的数据进行批量发送。

根据本发明的一个实施例，对于每个从数据分区启动至少一个接收线程和至少一个第二工作线程。当接收线程接收到与其对应的从数据分区的数据更改记录时，将此数据更改记录传递到第二工作线程。

第二工作线程将此数据更改记录到与第二工作线程对应的从数据分区的从二进制日志文件中,并执行与第二工作线程对应的从数据分区的数据更改。根据系统运行以及对数据处理的情况，可以采用单线程或多线程来完成。

本发明的方法对数据库进行分区，对应数据库分区设置二进制日志文件，并且对二进制日志文件的同步采用多线程并发处理，解决了二进制日志文件同步过程中slave端回放慢及slave端系统资源利用率低的问题。另外，数据发送采用批量发送的方法，将master的数据批量方式到slave，尽可能地避免slave端丢失数据。

根据本发明的一个实施例，DDL（Data Definition Language，数据定义语言）用于定义数据库的所有特性和属性，包括命令：DROP、CREATE、ALTER、GRANT、REVOKE、TRUNCATE。DML（data manipulation language，数据操控语言）包括SELECT、UPDATE、INSERT、DELETE命令。数据更改记录是指数据库执行包括上述的DDL和DML除去SELECT的命令的执行结果。

对二进制日志文件的同步采用多线程，发送线程和接收线程采用同步或异步方式传递数据更改记录，即发送线程和接收线程可以采用信号量、Scoket套接字、共享内存或系统消息等方式完成线程间的数据传递。

图2为根据本发明的数据库系统的一个实施例的示意图。如图所示：数据库系统包括主数据库节点21和从数据库节点22。数据库系统可以根据具体应用的需求设置多个主数据库节点和多个从数据库节点，可以是一一对应的关系，也可以是一对多、多对一的关系。Master为主节点，Slave为从节点。

在主数据库节点21中运行主数据库211，在从数据库节点22中运行从数据库221；运行的数据库可以为多种，例如，ORACLE、SYBASE、MYSQL等。

主数据库211划分为多个主数据分区一、二….N，在主数据库节点21中对应于每个主数据分区设置主二进制日志文件一、二….N。从数据库221划分为多个从数据分区一、二….N，在从数据库节点21中对应于每个从数据分区设置从二进制日志文件一、二….N。

当主数据分区一212发生数据更改时，主数据库211将此数据更改记录到与此主数据分区对应的主二进制日志文件一231中，并将主数据分区的数据更改记录发送到从数据库22。

当接收到主数据分区一212的数据更改记录时，在从数据库的从数据分区一223中执行数据更改，从数据库22将此数据更改记录到与此从数据分区一223对应的从二进制日志文件一241中。

根据本发明的一个实施例，主数据库211与从数据库221的分区划分相同，多个主数据分区一、二….N与多个从数据分区一、二….N一一对应，并设置编号。

在主数据库节点21中对于每个主数据分区启动至少一个第一工作线程；例如，第一工作线程一251执行与其对应的主数据分区一212的数据更改，并将数据更改记录到与此主数据分区一212对应的主二进制日志文件一231中。根据系统和数据处理的实际需要，第一工作线程一251可以采用单线程或多线程技术实现功能。

根据本发明的一个实施例，在主数据库节点21中对于每个主二进制日志文件启动至少一个发送线程。例如，发送线程一261监控与其对应的主二进制日志文件一231。

当此主二进制日志文件一231的大小发生变化时，发送线程一261读取此主二进制日志文件一231中新插入的数据更改记录，并将新插入的数据更改记录缓存在缓存队列中。当缓存队列的长度到达设定的阈值时，发送线程一261将缓存队列中的数据更改记录发送到从数据库。

根据本发明的一个实施例，在从数据库节点22中对于每个从数据分区启动至少一个接收线程和至少一个第二工作线程。例如：当接收线程一281接收到与其对应的从数据分区一223的数据更改记录时，将此数据更改记录传递到第二工作线程一271。

第二工作线程一271将此数据更改记录到与第二工作线程一271对应的从数据分区一223的从二进制日志文件一241中,并执行与第二工作线程一271对应的从数据分区一223的数据更改；发送线程和接收线程采用同步或异步方式传递数据更改记录。

本发明的数据库系统，可以在每个主、从节点上对数据库增加分区支持，使得每个数据库可以被划分为任意个分区partiton，每个分区partiton对应一个二进制日志文件binlog。每个分区partiton至少有一个线程进行数据的读写和二进制日志文件的追加，这样每个数据库就有至少有同分区partition数目一样多的线程并发的完成二进制日志文件的回放。

根据本发明的一个实施例，发送、接收数据以及更改信息的流程如图3所示：

步骤301，Master端有N个二进制日志文件，slave端也有N个二进制日志文件，且它们是以编号一一对应的。Master端启动N个第一工作线程并发执行与其对应的主数据分区的数据更改。

步骤302，第一工作线程将数据更改记录到与此主数据分区对应的主二进制日志文件中。

步骤303，Master端启动N个发送线程。当此主二进制日志文件的大小发生变化时，发送线程读取此主二进制日志文件中新插入的数据更改记录。

步骤304，发送线程将新插入的数据更改记录缓存在缓存队列中；当缓存队列的长度到达设定的阈值时，发送线程将缓存队列中的数据更改记录批量发送到salve端的接收线程。

步骤305，Slave端启动N个接收线程和第二工作线程。接收线程接收到与其对应的从数据分区的数据更改记录时，将此数据更改记录传递到对应的第二工作线程。

步骤306，第二工作线程将此数据更改记录到与第二工作线程对应的从数据分区的从二进制日志文件中。

步骤307，第二工作线程执行与第二工作线程对应的从数据分区的数据更改。

本发明采用多线程并发处理主从之间的二进制日志文件同步，显著的提高了slave回放二进制日志文件的速度，提高了slave端系统资源的利用率。Master批量发送数据，slave端批量接收和处理数据，能够减少slave端丢失数据。

可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (9)

1.一种数据库同步方法，其包括：

将主数据库划分为多个主数据分区，将从数据库划分为多个从数据分区；

为每个主数据分区设置一主二进制日志文件并为每个从数据分区设置一从二进制日志文件；

当所述主数据分区发生数据更改时，将此数据更改记录到与此主数据分区对应的主二进制日志文件中，并将所述主数据分区的数据更改记录发送到所述从数据库；

对于每个从数据分区启动至少一个接收线程和至少一个第二工作线程；当所述接收线程接收到与其对应的从数据分区的数据更改记录时，将此数据更改记录传递到所述第二工作线程；所述第二工作线程将此数据更改记录到与所述第二工作线程对应的从数据分区的从二进制日志文件中,并执行与所述第二工作线程对应的从数据分区的数据更改。

2.如权利要求1所述的方法，其中：

所述主数据库与所述从数据库的分区划分相同，并且，所述多个主数据分区与所述多个从数据分区一一对应。

3.如权利要求2所述的方法，其中：

对于每个主数据分区启动至少一个第一工作线程；

所述第一工作线程执行与其对应的主数据分区的数据更改，并将数据更改记录到与此主数据分区对应的主二进制日志文件中。

4.如权利要求2所述的方法，其中：

对于每个主二进制日志文件启动至少一个发送线程；所述发送线程监控与其对应的主二进制日志文件；

当此主二进制日志文件的大小发生变化时，所述发送线程读取此主二进制日志文件中新插入的数据更改记录，并将所述新插入的数据更改记录缓存在缓存队列中；

当缓存队列的长度到达设定的阈值时，所述发送线程将所述缓存队列中的数据更改记录发送到所述从数据库。

5.如权利要求4所述的方法，其中：

所述发送线程和所述接收线程采用同步或异步方式传递所述数据更改记录；

所述数据更改记录包括执行DROP、CREATE、ALTER、GRANT、REVOKE、TRUNCATE、UPDATE、INSERT、DELETE数据库命令的记录。

6.一种数据库系统，其特征在于，包括：

主数据库节点和从数据库节点；其中，在所述主数据库节点中运行主数据库，在所述从数据库节点中运行从数据库；

所述主数据库划分为多个主数据分区，在主数据库节点中对应于每个主数据分区设置主二进制日志文件；所述从数据库划分为多个从数据分区，在主数据库节点中对应于每个从数据分区设置从二进制日志文件；

当所述主数据分区发生数据更改时，所述主数据库将此数据更改记录到与此主数据分区对应的主二进制日志文件中，并将所述主数据分区的数据更改记录发送到所述从数据库；

在从数据库节点中对于每个从数据分区启动至少一个接收线程和至少一个第二工作线程；当所述接收线程接收到与其对应的从数据分区的数据更改记录时，将此数据更改记录传递到所述第二工作线程；所述第二工作线程将此数据更改记录到与所述第二工作线程对应的从数据分区的从二进制日志文件中,并执行与所述第二工作线程对应的从数据分区的数据更改。

7.如权利要求6所述的系统，其特征在于：

所述主数据库与所述从数据库的分区划分相同，并且，所述多个主数据分区与所述多个从数据分区一一对应，并设置编号；

在主数据库节点中对于每个主数据分区启动至少一个第一工作线程；所述第一工作线程执行与其对应的主数据分区的数据更改，并将数据更改记录到与此主数据分区对应的主二进制日志文件中。

8.如权利要求7所述的系统，其特征在于：

在主数据库节点中对于每个主二进制日志文件启动至少一个发送线程；所述发送线程监控与其对应的主二进制日志文件；

当此主二进制日志文件的大小发生变化时，所述发送线程读取此主二进制日志文件中新插入的数据更改记录，并将所述新插入的数据更改记录缓存在缓存队列中；

当缓存队列的长度到达设定的阈值时，所述发送线程将所述缓存队列中的数据更改记录发送到所述从数据库。

9.如权利要求8所述的系统，其特征在于：

所述发送线程和所述接收线程采用同步或异步方式传递所述数据更改记录；

所述数据更改记录包括执行DROP、CREATE、ALTER、GRANT、REVOKE、TRUNCATE、UPDATE、INSERT、DELETE数据库命令的记录。