CN105447054A

CN105447054A - 一种数据库的数据同步方法、装置及系统

Info

Publication number: CN105447054A
Application number: CN201410499348.XA
Authority: CN
Inventors: 姚莉
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2014-09-25
Filing date: 2014-09-25
Publication date: 2016-03-30
Also published as: WO2016045285A1

Abstract

本发明提供了一种数据库的数据同步方法、装置及系统，其中，所述同步方法包括：获取源数据库的逻辑变化记录LCR，获取目的数据库信息，根据所述LCR和所述目的数据库信息更新对应的所述目的数据库。通过本发明，使得在对数据库进行数据同步时，可以根据不同的数据同步需要进行有选择的数据复制并同步，避免了大量复制同步不必要的数据，节省了数据库系统的传输空间和资源。

Description

一种数据库的数据同步方法、装置及系统

技术领域

本发明涉及数据库同步技术领域，尤其涉及一种数据库的数据同步方法、装置及系统。

背景技术

自从1970年E.F.Codd博士提出最初的理论模型以来，关系型数据库已经成为所有信息系统中必不可少的基础设施之一，其重要性仅次于操作系统，如今已经没有哪个大型的系统能够脱离数据库而存在。

在实际应用中，由于业务逻辑的复杂性和功能的模块化设计，往往一个信息系统中会部署有多套数据库，而且这多套库之间需要协同合作共享数据，这就要求各数据库之间能够实现数据同步。

传统的数据库同步方式一般是基于全量的同步，即主备服务器上的数据完全相同。然而在以下几种场景中，普通的全量同步无法满足要求。

场景一：在异构数据库同步的场景中，会出现目的库的存储容量与源库不匹配的情况。当数据量很大时，依然要求目的节点必须是与源库容量相当的存储设备。而多数情况下目的库只是作为数据备份使用，这样的要求势必会增加设备成本，而且异构数据库的优越性也无法得到很好体现。

场景二：在一对多复制的场景中，源库作为数据源，保存有全量的数据，而每个目的库作为一个独立的单元被访问，只需要保存部分相关的数据即可。使用传统的全量复制，会造成传输的冗余和空间的浪费。

场景三：在复制场景中，在某个时间段可能会出现大量的语句不需要同步的情况，比如对某个字段大量的update操作。传统的全量复制，默认同步所有语句，会造成资源的浪费。

以上几种场景，反映了传统的全量复制方式存在一定的局限性，数据库系统不能根据不同的数据同步需求进行有选择的数据复制同步，不能区分哪些数据是需要同步的，将全量数据进行同步造成了传输的冗余以及资源的浪费问题。

发明内容

为了解决传统全量复制模式造成的传输冗余、资源浪费问题，本发明提供了一种数据库的数据同步方法、装置及系统，以至少解决上述问题。

根据本发明的一个方面，提供了一种数据库的数据同步方法，包括：获取源数据库的逻辑变化记录LCR(LogicalChangeRecord，简称为LCR)；获取目的数据库信息；根据所述LCR和所述目的数据库信息更新对应的所述目的数据库。

优选地，所述获取目的数据库信息，包括以下至少一种：获取全部目的数据库信息；获取指定的目的数据库信息；根据所述LCR获取对应的目的数据库信息。

优选地，所述根据所述LCR获取对应的目的数据库信息，包括以下至少一种：根据所述LCR中的字段名称、字段取值和目的库对应关系获取对应的目的数据库信息；根据所述LCR中的字段名称、语句类型获取对应的目的数据库信息。

优选地，所述根据所述LCR和所述目的数据库信息更新对应的所述目的数据库，包括：将所述LCR转化为与所述目的数据库相应的SQL语句；根据所述SQL语句更新对应的所述目的数据库。

优选地，所述获取源数据库的逻辑变化记录LCR，还包括：将所述逻辑变化记录LCR的格式转换为所述数据库系统内部标准的LCR格式。

根据本发明的另一个方面，提供了一种数据库的数据同步装置，包括：采集模块，用于获取源数据库的逻辑变化记录LCR；选择模块，用于获取目的数据库信息；更新模块，用于根据所述LCR和所述目的数据库信息更新对应的所述目的数据库。

优选地，所述选择模块还包括以下至少一种：全量单元，用于获取全部目的数据库信息；指定单元，用于获取指定的目的数据库信息；过滤单元，用于根据所述LCR获取对应的目的数据库信息。

优选地，所述过滤单元还包括以下至少一种：字段值子单元，用于根据所述LCR中的字段名称、字段取值和目的库对应关系获取对应的目的数据库信息。类型子单元，用于根据所述LCR中的字段名称、语句类型获取对应的目的数据库信息。

优选地，所述更新模块，包括：语句转化单元，用于将所述LCR转化为与所述目的数据库相应的SQL语句；执行单元，用于根据所述SQL语句对相应的所述目的数据库进行更新。

优选地，所述采集模块，包括：格式转换单元，用于将所述逻辑

变化记录LCR的格式转换为所述数据库内部标准的LCR格式。

根据本发明再一个方面，提供了一种数据库的数据同步系统，包括：

源数据库，用于生成逻辑变化记录LCR；

数据同步装置，包括：采集模块，用于获取源数据库的逻辑变化记录LCR；选择模块，用于获取目的数据库信息；更新模块，用于根据所述LCR和所述目的数据库信息更新对应的所述目的数据库；

目的数据库，用于执行所述更新操作；

其中，所述采集模块与所述源数据库相连；所述更新模块与所述目的数据库相连。

优选地，所述更新模块为至少两个，每一个所述更新模块与对应的至少一个目的数据库相连。

优选地，所述获取源数据库的逻辑变化记录LCR，包括主动获取方式和被动获取方式。

通过本发明，获取源数据库的逻辑变化记录LCR，获取目的数据库信息，根据所述LCR和所述目的数据库信息更新对应的所述目的数据库。使得在对数据库进行数据同步时，可以根据不同的数据同步需要进行有选择的数据复制并同步，避免了大量复制同步不必要的数据，节省了数据库系统的传输空间和资源。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据库的数据同步方法流程图一；

图2是根据本发明实施例的数据库的数据同步方法流程图二；

图3是根据本发明实施例的数据库的数据同步装置结构框图一；

图4是根据本发明实施例的数据库的数据同步装置结构框图二；

图5是根据本发明实施例的数据库的数据同步系统结构图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明实施例提供了一种数据库的数据同步方法，图1是根据本发明实施例的数据库的数据同步方法流程图一，如图1所示，该方法包括以下步骤：

S202，获取源数据库的逻辑变化记录LCR；

S204，获取目的数据库信息；

S206，根据上述获取的目的数据库信息，定位到需要更新的目的数据库，将上述获取的逻辑变化记录LCR更新到上述目的数据库。

其中，上述LCR为LogicalChangeRecord的简称，在本实施方式中即为源数据库的逻辑变化记录，是用来记录DML/DDL变化内容的消息格式，记录操作类型、变化前后的数据等内容。上述获取目的数据信息，包括数据库的服务器别名、执行语句所用的用户名和密码。

通过本发明实施例，获取源数据库的逻辑变化记录LCR，获取目的数据库信息，根据上述获取的目的数据库信息，定位到需要更新的目的数据库，将上述获取的逻辑变化记录LCR更新到上述目的数据库。使得在对数据库进行数据同步时，可以根据不同的数据同步需要进行有选择的数据复制并同步，避免了大量复制同步不必要的数据，节省了数据库系统的传输空间和资源。

在本发明的一个实施方式中，上述获取目的数据库信息，包括：获取全部目的数据库信息。图2是根据本发明实施例的数据库的数据同步方法流程图二，其中，源数据库提供解析好的源库自有格式的LCR，本实施方式中会主动获取这样的LCR，并进行格式转换，转换为同步系统内部标准LCR消息格式。如图2所示，本发明实施方式即为图2中所示的全量复制模式，该方法包括：

S302，获取源数据库的逻辑变化记录LCR，并将格式转换为所述数据库系统内部标准的LCR格式；

S304，获取全部目的数据库信息；

S306，根据上述获取的全部目的数据库信息，定位到所有的目的数据库；

S308，读取数据库类型，将上述获取的逻辑变化记录LCR拼成与数据库类型相应的SQL语句；

S310，在所有的目的数据库上执行上述SQL语句，对所有的目的数据库进行更新。

在本发明的一个实施方式中，上述获取目的数据库信息，包括：获取指定的目的数据库信息。如图2所示，本发明实施方式即为图2中所示的指定复制模式，该方法包括：

S402，获取源数据库的逻辑变化记录LCR，并将格式转换为所述数据库系统内部标准的LCR格式；

S404，获取指定目的数据库信息；

S406，根据上述获取的指定目的数据库信息，定位到指定的目的数据库；

S408，读取数据库类型，将上述获取的逻辑变化记录LCR拼成与数据库类型相应的SQL语句；

S410，在指定的目的数据库上执行上述SQL语句，对上述目的数据库进行更新。

在本发明的一个实施方式中，上述获取目的数据库信息，包括：根据LCR获取对应的目的数据库信息。本发明实施方式会将每张带同步的表的模式信息事先缓存下来，针对从源数据库出来的每一条LCR，读取其中的库名和表名信息，从缓存的模式信息中查找该表对应的复制模式。

在本发明的一个实施方式中，上述根据LCR获取对应的目的数据库信息包括：根据上述LCR中的字段名称、字段取值和目的库对应关系获取对应的目的数据库信息。如图2所示，本发明实施方式即为图2中所示的按字段分发复制模式，该方法包括：

S602，获取源数据库的逻辑变化记录LCR，并将格式转换为所述数据库系统内部标准的LCR格式；

S604，读取上述LCR中的字段名称、字段取值；

S606，根据上述字段取值以及与目的数据库的对应关系确定需要复制的目的数据库，获取该目的数据库的信息；

S608，读取数据库类型，将上述获取的逻辑变化记录LCR拼成与数据库类型相应的SQL语句；

S610，在上述确定的目的数据库上执行上述SQL语句，对上述目的数据库进行更新。

在本发明的一个实施方式中，上述根据LCR获取对应的目的数据库信息包括：根据所述LCR中的字段名称、语句类型获取对应的目的数据库信息。如图2所示，本发明实施方式即为图2中所示的按字段过滤复制模式，该方法包括：

S702，获取源数据库的逻辑变化记录LCR，并将格式转换为所述数据库系统内部标准的LCR格式；

S704，从缓存的模式信息中读取过滤字段名称、过滤语句类型；

S706，读取上述LCR中对应的字段和语句类型，并与上一步的读取信息进行匹配；

S708，如果匹配成功，则将上述LCR丢弃，不进行同步；

S710，如果匹配不成功，则获取全部目的数据库信息；

S712，读取数据库类型，将上述获取的逻辑变化记录LCR拼成与数据库类型相应的SQL语句；

S710，在上述确定的目的数据库上执行上述SQL语句，对上述目的数据库进行更新。

根据本发明实施例，还提供了一种数据库的数据同步装置，用以实现本发明上述实施例的方法，该装置可以是存储在存储介质中的供处理器执行的软件模块，可以驻留于一台或多台主机上。

图3是根据本发明实施例的数据库的数据同步装置的结构框图一，如图3所示，该装置可以包括：采集模块502、选择模块504和更新模块506。其中，采集模块502，用于获取源数据库的逻辑变化记录LCR；选择模块504，用于获取目的数据库信息；更新模块506，用于根据所述LCR和所述目的数据库信息更新对应的所述目的数据库。每台主机可以安装上述一个或多个模块，具体如何配置取决于实际应用场景中对于复制处理能力的需求。如果要求处理能力较高，可以将每个模块分散部署到单独的主机上，否则可以多个模块共用一台主机。上述个模块之间通过某种方式通信，通信内容应该基于数据库系统内部标准的LCR格式。其中，采集模块502所在主机与源数据库相连，并且具有主动或被动获取源库LCR的通道。更新模块506可以有多个，其所在主机可以与目的数据库相连，并且该主机上具备操作目的库所需的基础软件，如oci库，ct-lib库等。

通过本发明实施例，采集模块502获取源数据库的逻辑变化记录LCR，选择模块504获取目的数据库信息，更新模块506，根据上述LCR和上述目的数据库信息更新对应的上述数据库。使得在对数据库进行数据同步时，可以根据不同的数据同步需要进行有选择的数据复制并同步，避免了大量复制同步不必要的数据，节省了数据库系统的传输空间和资源。

图4是根据本发明实施例的数据库的数据同步装置结构框图二，在本发明的一个实施方式中，如图4和图2所示，选择模块504可以包括以下至少之一：全量单元、指定单元和过滤单元。其中，全量单元，可以获取全部目的数据库信息，然后将采集模块502获取的LCR语句与全部目的库信息发送给更新模块506。指定单元，可以获取指定的目的数据库信息，然后将采集模块502获取的LCR语句与指定的目的数据库信息发送给更新模块506；过滤单元，可以根据采集模块502获取的LCR语句进而获取对应的目的数据库信息，然后将上述LCR语句与上述获取的目的数据库信息发送给更新模块506。

在本发明的一个实施方式中，如图4所示，过滤单元可以包括以下至少之一：字段值子单元、类型子单元。其中，字段值子单元，可以读取采集模块502获取的LCR中的字段取值和分发字段名称，然后根据上述字段取值以及与目的数据库的对应关系确定需要复制的目的数据库，获取该目的数据库的信息，将上述LCR语句与目的数据库信息发送给更新模块506。选择模块504会将每张待同步的表的模式信息预先缓存下来，类型子单元，可以从缓存的模式信息中读取过滤字段名称、过滤语句类型，然后读取上述LCR中对应的字段和语句类型，并与上一步的读取信息进行匹配。如果匹配成功，则将上述LCR丢弃，不进行同步；如果匹配不成功，则获取全部目的数据库信息，然后将上述LCR语句与上述全部目的数据库信息发送给更新模块506。

在本发明的一个实施方式中，如图4所示，更新模块506可以包括：语句转化单元、执行单元。当选择模块504将需要同步的LCR语句发送给更新模块506时，由于目的数据库类型不同，用于将所述LCR转化为与所述目的数据库相应的SQL语句；执行单元，将上述SQL语句在对应的目的数据库上执行，达到更新上述目的数据库的目的。

在本发明的一个实施方式中，如图4所示，采集模块502包括：格式转换单元。源数据库一般会提供解析好的源库自有格式的LCR，采集模块502会主动获取这样的LCR，格式转换单元就可以对上述LCR进行格式转换，转换为数据库同步系统内部标准的LCR消息格式。LCR格式统一后，在数据同步的传输过程中就可以使用LCR通用格式，这样可以实现各种异构数据库间的复制。

根据本发明实施例，还提供了一种数据库的数据同步系统，图5是根据本发明实施例的数据库的数据同步系统的结构框图，如图5所示，该系统包括：源数据库、数据同步装置和至少一个目的数据库。其中，数据同步装置包括：采集模块、选择模块和更新模块。源数据库生成逻辑变化记录LCR；上述采集模块获取上述源数据库的逻辑变化记录LCR，选择模块获取需要同步的目的数据库信息，并将上述LCR与上述目的数据库信息发送给更新模块，更新模块将上述LCR同步到上述目的数据库；目的数据库执行上述更新模块的更新操作。在本实施方式中，上述采集模块与上述源数据库相连，上述更新模块与上述目的数据库相连。

通过本发明实施例，源数据库生成逻辑变化记录LCR；数据同步装置的采集模块获取源数据库的逻辑变化记录LCR，选择模块获取目的数据库信息，更新模块根据上述LCR和上述目的数据库信息更新对应的所述目的数据库；目的数据库，执行上述更新操作。使得在对数据库进行数据同步时，可以根据不同的数据同步需要进行有选择的数据复制并同步，避免了大量复制同步不必要的数据，节省了数据库系统的传输空间和资源。

在本发明的一个实施方式中，如图5所示，上述数据同步装置的更新模块为至少两个，每一个所述更新模块与对应的至少一个目的数据库相连。当需要同步的目的数据库数量较多，而更新模块只有一个时，只能依次对目的数据库进行更新，其他目的数据库有时需要等待，根据本发明实施例，可以实现同时多个目的数据库更新同时进行，不需要再依次等待，提高了数据库更新效率。

下面结合实例对本发明实施例的上述方法进行描述。

实例一

本实例说明了在一个同步场景中，需要按照某个字段的取值分发过程。

步骤A1：假定源数据库一个，命名为SRC_DB1，目的数据库三个，分别为DEST_DB1，DEST_DB2，DEST_DB3。四个数据库类型可能互不相同。

源库和目的库中都存在表SRV_TAB1，定义如下：

CREATETABLESRV_TAB1(

FLD_ANUMBERPRIMARYKEY,

FLD_BCHAR(100),

FLD_CVARCHAR(100),

FLD_DFLOAT)

该表所在的库名为SRV_DB1。

步骤B1：在源库上执行一条INSERT语句，如下:

INSERTINTOSRV_TAB1VALUES(1001,'CHAR1','VARCHAR1',1.0)；

COMMIT；

步骤C1：采集模块捕捉到该语句，将其转化为LCR格式，发给选择模块。

步骤D1：选择模块根据事先定好的复制规则，确定该语句需要发送到的目的节点。

假设SRV_TAB1的复制模式是按字段分发复制，并基于主键字段FLD_A复制，对应的信息如表1、表2所示：

库名	表名	复制模式
			SRV_DB1	SRV_TAB1	按字段分发复制

表1

库名	表名	分发字段名称
			SRV_DB1	SRV_TAB1	FLD_A

表2

FLD_A的字段取值范围和目的节点对应关系如表3所示：

字段取值范围	目的节点
		[0,1000]	DEST_DB1
[1001,2000]	DEST_DB2
		[2001,3000]	DEST_DB3

表3

根据以上规则，步骤B1的语句中，字段FLD_A的取值为1001，需要发送给目标数据库DEST_DB2。选择模块将从采集模块收到的LCR和DEST_DB2相关信息一起发送给更新模块。

步骤E1：更新模块的语句转化单元根据选择模块发来的目的节点信息，根据其中的数据库类型，将LCR转换为对应的sql语句，并发送给DEST_DB2对应的更新模块的执行单元。

步骤F1：DEST_DB2对应的更新模块的执行单元接收到信息后，连接其对应的目的数据库，并在其上执行sql语句。

第二实施例子，说明了在一个同步场景中，需要按照某个字段进行语句过滤的过程。

步骤A2：假定源数据库一个，命名为SRC_DB2，目的数据库两个，分别为DEST_DB1，DEST_DB2。

源库和目的库中都存在表SRV_TAB2，定义如下：

CREATETABLESRV_TAB2(

FLD_ANUMBERPRIMARYKEY,

FLD_BCHAR(100),

FLD_CVARCHAR(100))

该表所在的库名为SRV_DB2。

步骤B2：在源库上分别执行两条UPDATE语句，如下:

UPDATESRV_TAB2SETFLD_B＝'CHAR2'whereFLD_A＝1001；

UPDATESRV_TAB2SETFLD_C＝'VARCHAR2'whereFLD_A＝1002；

COMMIT；

步骤C2：采集模块捕捉到B2中的两条语句，并将其转化为LCR格式，发给选择模块。

步骤D2：选择模块根据事先定好的复制规则，选出该语句需要发送到的目的节点。

假设SRV_TAB2的复制模式是按字段过滤复制，并基于字段FLD_B过滤，过滤的语句类型是UPDATE类型，对应的表格如表4、表5所示：

库名	表名	复制模式
			SRV_DB2	SRV_TAB2	按字段过滤复制

表4

库名	表名	过滤字段	过滤语句类型
				SRV_DB2	SRV_TAB2	FLD_B	UPDATE

表5

根据以上规则，步骤B2的第一条语句，是对FLD_B作UPDATE的操作，则需要过滤掉，该语句由该模块丢掉即可，无需再发送给更新模块。

步骤B2的第二条语句，是对FLD_C作UPDATE的操作，无需过滤，则将该语句按照普通情况进行复制，将其发送给所有目的库对应的更新模块。

步骤E2：更新模块的语句转化单元接收选择模块发来的目的节点信息，即DEST_DB1和DEST_DB2，读取其数据库类型，将LCR转换为这两个目的库对应的sql语句，并将其发送给DEST_DB1和DEST_DB2对应的更新模块的执行单元。

步骤F2：DEST_DB1和DEST_DB2对应的更新模块的执行单元接收到信息后，连接其对应的目的数据库，并执行sql语句。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种数据库的数据同步方法，其特征在于，包括：

获取源数据库的逻辑变化记录LCR；

获取目的数据库信息；

根据所述LCR和所述目的数据库信息更新对应的所述目的数据库。

2.根据权利要求1所述的方法，其特征在于，所述获取目的数据库信息，包括以下至少一种：

获取全部目的数据库信息；

获取指定的目的数据库信息；

根据所述LCR获取对应的目的数据库信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述LCR获取对应的目的数据库信息，包括以下至少一种：

根据所述LCR中的字段名称、字段取值和目的库对应关系获取对应的目的数据库信息；

根据所述LCR中的字段名称、语句类型获取对应的目的数据库信息。

4.根据权利要求1至3任一项所述的方法，所述根据所述LCR和所述目的数据库信息更新对应的所述目的数据库，包括：

将所述LCR转化为与所述目的数据库相应的SQL语句；

根据所述SQL语句更新对应的所述目的数据库。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述获取源数据库的逻辑变化记录LCR，还包括：

将所述逻辑变化记录LCR的格式转换为所述数据库系统内部标准的LCR格式。

6.一种数据库的数据同步装置，其特征在于，包括：

采集模块，用于获取源数据库的逻辑变化记录LCR；

选择模块，用于获取目的数据库信息；

更新模块，用于根据所述LCR和所述目的数据库信息更新对应的所述目的数据库。

7.根据权利要求6所述的装置，其特征在于，所述选择模块还包括以下至少一种：

全量单元，用于获取全部目的数据库信息；

指定单元，用于获取指定的目的数据库信息；

过滤单元，用于根据所述LCR获取对应的目的数据库信息。

8.根据权利要求7所述的装置，其特征在于，所述过滤单元还包括以下至少一种：

字段值子单元，用于根据所述LCR中的字段名称、字段取值和目的库对应关系获取对应的目的数据库信息。

类型子单元，用于根据所述LCR中的字段名称、语句类型获取对应的目的数据库信息。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述更新模块，包括：

语句转化单元，用于将所述LCR转化为与所述目的数据库相应的SQL语句；

执行单元，用于根据所述SQL语句对相应的所述目的数据库进行更新。

10.根据权利要求6至8任一项所述的装置，其特征在于，所述采集模块，包括：

格式转换单元，用于将所述逻辑变化记录LCR的格式转换为所述数据库内部标准的LCR格式。

11.一种数据库的数据同步系统，其特征在于，包括：

源数据库，用于生成逻辑变化记录LCR；

目的数据库，用于执行所述更新操作；

其中，

所述采集模块与所述源数据库相连；

所述更新模块与所述目的数据库相连。

12.根据权利要求11所述的系统，其特征在于，

所述更新模块为至少两个，每一个所述更新模块与对应的至少一个目的数据库相连。