CN105005618A - 一种异构数据库之间的数据同步方法及系统 - Google Patents

Abstract

本发明涉及一种异构数据库之间的数据同步方法及系统，主要实现了两个目的：历史数据同步和增量数据同步。本发明方法支持多种主流数据库之间的异构同步，不用借助其他工具和脚本，历史数据同步和增量数据同步能轻松配置；且历史数据同步和增量数据同步自动衔接，降低了复杂度。本系统配置简明易懂，不需要在后台编写脚本和输入数据库指令，即使是没有数据库使用经验的人员，就能配置一个完整的数据同步业务；本发明可适用与多种数据同步场景。

Description

一种异构数据库之间的数据同步方法及系统

技术领域

本发明涉及数据库领域，尤其涉及一种异构数据库之间的数据同步方法及系统。

背景技术

目前市场上存在多种数据库之间同步的技术，这些技术都要解决两个问题，一个是历史数据的同步，另一个是增量变化数据的同步。

历史数据的同步常见的有数据库自带的同步技术，如Oracle的数据泵导入导出技术，但这些工具往往都不支持异构数据库之间的历史数据同步，而且借助这些工具实现历史数据同步后，还需要手动开始增量数据同步，增量同步开始点选择不好还容易丢数据，操作也比较繁琐。

获取增量变化数据的技术常见的有：数据库轮询技术、数据库触发器技术、基于程序控制逻辑的数据变化技术、基于日志的捕获技术。

数据库轮询技术：通过每隔一段时间去查询数据库，以检查感兴趣的表是否有变化的数据。这种方式适用于压力比较小的数据库环境，实现技术简单，应用不多。

数据库触发器技术：通过对感兴趣的数据建立触发器，在数据有变化时，数据库管理系统会根据数据库操作的类型(Insert/Update/Delete)而激活相应的触发器，从而在触发器代码中我们可以添加我们对数据库变化事件的处理代码。该技术的使用比较简单，在目前应用中使用比较普遍。该技术可以参考文献：《一种基于触发器的数据同步系统的研究及关键技术实现》：《计算机应用与软件》(2012，29(12))。这种技术的缺陷在于需要在数据表上建立触发器，如果数据表比较多的话，会对数据库造成压力

基于程序控制逻辑的数据变化技术：通过为需要跟踪的多个表建立一个跟踪表来记录其变化情况，跟踪表的结构比较简单，主要是记录变化的表名、操作类型等轻量级的数据，而跟踪程序，即数据库事件捕获程序对跟踪表进行轮询，比如著名的数据库同步产品DataMirror的早期版本就是通过该技术来捕获数据库变化的。这种技术的缺陷跟上面两个技术类似。

基于数据库自带工具的日志的捕获技术：比如Oracle提供了LogMiner工具，该工具解析指定的日志文件，然后得出一个结果，根据结果可以看出日志中变化的数据。DB2有内置的数据库系统内置的API接口，通过接口可以逐条进行解析，获取变化数据。SqlServer可以利用fn_dblog，读取SqlServer日志，分析出变化的数据。这些技术的缺陷是都需要借助工具和API函数，如果数据库没有安装这些工具或对外屏蔽了API函数，就无法获取增量变化数据。并且使用这些工具必须要有数据库的专业知识，熟悉操作系统的指令，很难被广泛实施。

发明内容

本发明为克服上述的不足之处，目的在于提供一种异构数据库之间的数据同步方法，本方法包括历史数据同步与增量数据同步，支持多种主流数据库之间的异构同步，不用借助其他工具和脚本，历史数据同步和增量数据同步能轻松配置；且历史数据同步和增量数据同步自动衔接，降低了复杂度。

本发明另一目的在于提供一种异构数据库之间的数据同步系统，本系统包括配置器、引擎、历史数据同步模块、日志采集模块、日志解析模块、数据装载模块，同步数据时对数据库影响小，实时效率高，且可用于多种同步场景。

本发明是通过以下技术方案达到上述目的：一种异构数据库之间的数据同步方法，包括如下步骤：

(1)配置器自动生成配置文件对需要同步的数据表进行配置；

(2)系统获取同步起始点后并选择是否需要历史数据同步，若是进行历史数据同步后执行步骤(3)；若不是，执行步骤(3)；

(3)系统自动启动增量数据同步，增量数据同步包括日志解析与数据装载两个过程，执行完日志解析与数据装载后完成数据同步。

作为优选，所述配置文件包括源端数据库和目标端数据库之间的映射关系、数据表与数据表的映射关系、字段与字段的映射关系与用于日志解析的字典文件。

作为优选，所述同步起始点为当前数据库日志的系统变更号，在日志解析时用作起始解析点。

作为优选，所述步骤(2)的历史数据同步过程包括如下步骤：

1)历史数据同步模块从源端数据库抽取数据，并根据源端数据库和目标端数据库的类型自动选择所需的JDBC驱动；

2)历史数据同步模块将这些抽取到的数据按照映射关系进行转换；

3)历史数据同步模块将转换后的数据入库到目标端数据库。

作为优选，所述步骤(3)的日志解析过程包括如下步骤：

i)日志采集模对源端数据库抓取得到增量日志；

ii)日志解析模块检查增量日志的完整性，如果不完整就不予解析，等待修复处理；若完整执行步骤iii)；

iii)日志解析模块搜寻同步起始点，从上次记录的解析断点开始解析；

iv)日志解析模块按照事务与数据库的内部顺序进行解析，保证事务的完整性的有序性；

v)最后生成数据文件，日志解析模块将增量变化数据以特定的格式写入到数据文件中，同时生成读取数据文件的索引文件。

作为优选，所述日志采集模对源端数据库块抓取得到增量日志的方法为在源端数据库中安装日志抓取程序或通过文件夹共享的方式远程抓取。

作为优选，所述步骤v)的特定的格式是后缀名为.outdata的文件格式，索引文件格式是后缀名为.dataindex的文件格式。

作为优选，所述步骤(3)的数据装载过程包括如下步骤：

I)数据装载模块根据索引文件扫描数据文件，把若干小数据文件合并成一个数据文件；

II)数据装载模块把合并后的数据文件加载到内存，并根据配置文件解析数据文件，按照数据表与数据表，字段与字段的映射关系，完成数据结构的转换；

III)数据装载模块将转换完成后的数据流同步到目标数据库中。

作为优选，所述步骤I)的小数据文件的划分标准为数据文件中的事务记录条数小于5000条。

一种应用如上所述数据同步方法的系统，包括：配置器、引擎、历史数据同步模块、日志采集模块、日志解析模块、数据装载模块；配置器生成配置文件分别给历史数据同步模块、日志采集模块、日志解析模块、数据装载模块使用；引擎负责启动和停止历史数据同步模块、日志采集模块、日志解析模块、数据装载模块；日志采集模块采集增量日志给日志解析模块解析；日志解析模块解析得到的数据文件给数据装载模块使用。

作为优选，所述配置器包括数据资源配置器与服务配置器；数据资源配置器用于配置源端数据库库和目标端数据库的信息；服务配置器用于配置服务，将源端数据库中的指定表的数据同步到目标端数据库的指定表。

本发明的有益效果在于：(1)支持多种主流数据库之间的异构同步，不用借助其他工具和脚本，历史数据同步和增量数据同步能轻松配置；(2)历史数据同步和增量数据同步自动衔接，不用手动介入，降低了复杂度；(3)增量数据同步完全基于日志解析，支持的数据库种类涵盖现在主流的关系型数据库。基于日志解析的方式不用对数据库进行查询，对数据库影响小，还提供了实时同步效率；(4)增量日志获取可以通过共享文件夹的方式，不用在源端数据库安装软件，对源端系统的资源消耗很小，数据装载也不需要在目标数据库安装软件，保证了系统的独立性和减小了对环境的依赖性；(5)解析进程和装载进程分离，有助于实现内外网隔离环境下数据的同步；(6)本发明适用于多种同步场景，一对一的同步，一对多的分发同步，多对一的集中同步。

附图说明

图1是本发明数据同步系统的框架结构图；

图2是本发明数据同步方法的流程框图；

图3是本发明数据同步系统配置器的服务配置流程图；

图4是本发明数据同步方法中的数据流示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例：如图1所示，一种异构数据库之间的数据同步系统由配置器、引擎、历史数据同步模块、日志采集模块、日志解析模块、数据装载模块组成。

配置器分为两种配置：数据资源配置和服务配置。数据资源配置可以配置源端数据库库和目标端数据库的信息；服务配置是配置一个服务，达到将源端数据库中的指定表的数据同步到目标端数据库的指定表。数据资源配置的信息是在服务配置时所用的。服务配置完成后的配置文件会被系统其他模块使用。

引擎，负责启动和停止历史数据同步、日志采集、日志解析和数据装载。

历史数据同步，该模块用户抽取源端数据库的表的数据，同步到目标端数据库。

日志采集，该模块负责抓取源端数据库的实时产生的增量日志。该增量日志供日志解析模块使用。

日志解析，该模块负责解析日志采集模块采集的增量日志，解析出数据库的增量数据。

数据装载，该模块将日志解析生成的增量数据信息完成异构转换，然后将转换后的数据加载到目标端数据库。

以Oracle数据库为例，开启数据库的归档，开启强制归档模式，开启附加日志，开启在线日志和归档日志所在文件夹的共享。在源端数据库和目标端数据库创建同步用户，并给该用户赋相应的权限。

一种异构数据库之间的数据同步方法如图2所示，包括如下步骤：

(1)配置器自动生成配置文件对需要同步的数据表进行配置；

配置数据资源：配置器先要配置源端数据库信息和目标端数据库信息，信息包括数据库访问IP，端口，SID，模式，用户名，密码。配置完成的数据库信息保存数据库资源列表里面，可以查看、测试连接和修改。

配置服务：先输入服务名。设置服务属性，包括日志采集的方式、DDL配置、故障配置、在线和归档目录的选择等。再从数据库列表中，选择源端数据库资源，就是要抽取数据的那一端。选择源端数据库后，自动显示当前的这个数据库资源中有哪些表，并可以显示表的字段信息，选择哪些表需要同步。接下来，要添加多个目标端数据库，添加目标库资源先选择数据库资源，再选择目标端与源端对应的表、对应的字段。如果目标端不存在要同步的表，可以对目标端自动创建与源端相对应的表结构。配置完多个目标端后，该服务就知道了要把数据从哪个源端同步到哪些目标端，知道了要同步哪些表的数据。整体服务的配置流程如图3所示。

配置器的最后一个步骤是部署服务，部署服务时会生成历史数据同步的配置文件、日志采集的配置文件、日志解析的字典文件、数据装载的配置文件。部署分为三种部署方式：

1.日志目录部署。这是刚配置完业务后的一种部署方式，也可以是需要重新开始同步数据的部署方式，该部署方式会重建整个服务运行的目录结构，获取最新的历史数据同步开始点和增量数据同步开始点。

2.部署(不删除临时文件)。该部署方式是服务运行了一段时间后，需要重新更新配置文件、字典文件的部署方式，增量数据同步的断点会保留，下次启动服务后，使用上次的断点来同步数据。

3.部署(删除临时文件)。该部署方式是利用前一次部署生成的历史数据同步开始点和增量数据同步开始点，删除当前已经同步过去的数据，重新同步数据。

(2)系统获取同步起始点后并选择是否需要历史数据同步，若是进行历史数据同步后执行步骤(3)；若不是，执行步骤(3)；

同步起始点就是当前数据库日志的系统变更号，没有系统变更号的数据库需要提供当前的时间戳，这个同步起始点将会在数据库日志解析的时候，用作起始解析点。

历史数据同步，历史数据同步进程会根据源端数据库和目标端数据库的类型自动判断需要哪些JDBC驱动，来完成源端和目标端数据库之间的数据同步，比如oracle数据库会调用ojdbc14.jar，DB2数据库会调用db2jcc.jar，Sybase数据库会调用jconn3.jar。历史数据同步方法包括从源端数据库抽取数据，再把这些数据按照映射关系进行转换，最后入库到目标端数据库。同时，为增加同步效率，改进程采用多线程抽取和入库的方式同步数据。历史数据同步先批量抽取数据，对这些数据进行转换后，批量入库到目标端。

(3)系统自动启动增量数据同步，增量数据同步包括日志解析与数据装载两个过程，执行完日志解析与数据装载后完成数据同步。

日志解析支持多种类型的数据库日志，包括Oracle,DB2,Sybase,Informix,Sqlserver这五种常见的数据库。解析技术是完全基于数据库日志的，解决依赖数据库工具和数据库提供的接口的问题。同时也解决了数据轮询技术、触发器等技术等获取变化数据效率低、对数据库影响大的问题。日志解析时，先是要对增量日志进行抓取，可以在源端数据库安装日志抓取程序，也可以通过文件夹共享的方式远程抓取，文件夹共享的方式完全不需要在源端数据库安装软件，降低了对数据库的影响。

日志采集进程：根据配置中的起始点，Oracle、DB2、Informix、SqlServer数据库都有一个唯一递增的系统变更号，根据系统变更号直接从挂载过来的在线日志或归档日志中找到开始抓取日志的点，Sybase数据库的起始点要根据配置提供的时间戳从上往下解析一部分数据，以确定从哪个点开始是时间戳以后的日志。日志采集进程采集的数据会在实时数据同步系统所在的服务器落地，生成日志文件。

日志解析进程：日志解析进程解析采集过来的日志文件，从上一次的断点开始解析。先整体读一遍日志文件，以确定日志文件的完整性，每一种数据库日志都有相应的数据结构，根据不同的数据库类型选择对应的日志解析器。日志解析按照数据库事务的先后顺序进行，并且根据字典文件里的表信息，只解析出对应的表的变化数据，不在字典文件里的表的数据将被丢弃。如果解析遇到导致字典文件里表结构变化的DDL语句，解析会停止当前的工作，更新字典文件里的表结构，再重新加载配置文件开始解析。如果是普通的DML语句，直接产生数据文件，解析完所有的增量日志后，产生相应的索引文件。解析完后的日志会自动删除。

数据装载进程：根据解析产生的索引文件，读取数据文件，并将小的数据文件合并成一个大的数据文件，把合并后的数据文件加载到内存，根据配置文件解析成特定的数据结构，按照表与表，字段与字段的映射关系，完成数据结构的转换。当有多个目标端时，数据装载进程启动多个线程，每个线程对应一个目标端，进行同时入库。每个数据文件在所有的目标端都同步完成后才被丢弃。数据装载进程装载的是DDL语句时，会解析DDL语句，判断是否要更新当前的配置信息，如表名的改变、字段的增加、减少、字段类型的变化等，更新完配置文件后，会自动重启装载进程。

其中，数据装载与日志解析分离的策略是本方法的一个特色，数据装载和日志解析可以装在同一台服务器上，也可以装在两台不同的服务器上，这种情况可以适用于内外网隔离的环境下的数据同步，只需使用代理程序将数据文件和索引文件发送到指定目录即可。

另外，装载进程可以支持多个目标数据库的分发,本发明的分发入库是通过对一份数据文件按照多个目标端进行多次加载的技术做到的。

图4为上述历史同步进程、日志采集进程、日志解析进程与数据装载进程的数据流图。

本发明主要实现了两个目的：历史数据同步和增量数据同步。本发明可以轻松应付目前各种主流数据库之间的数据同步，以前需要多种工具才能实现的功能，现在只要一套本系统就能轻松解决。本系统配置简明易懂，不需要在后台编写脚本和输入数据库指令，即使是没有数据库使用经验的人员，就能配置一个完整的数据同步业务。

本发明的历史数据同步系统自动识别源端和目标端数据库类型，将源端抽取的数据流自动转换为目标端可以识别的数据流，使用相应的JDBC驱动装载到目标端。并且历史数据同步模块可以被单独使用，用来定时全量抽取数据到备份数据库。

本发明的增量数据变化的捕获完全是基于数据库日志的，使用底层代码读取数据库日志，支持多种主流关系型库的日志解析，包括Oracle、DB2、Sybase、SqlServer、Informix数据库。无论是上述哪种数据库类型的日志，经过解析后，都会生成统一的有特定格式的数据文件。另外，日志解析模块不用装在源端数据库上，本发明使用日志采集模块来采集增量日志，可以在源端数据库上直接采集，也可以通过共享文件夹的方式采集，这样做的好处是对源端数据库的影响降到最低。

本发明适用多种数据同步场景：比如，一个源端到一个目标端的同步，一个源端分发到多个目标端的同步，多个源端集中到一个目标端的同步。本发明特有的日志解析和数据装载分离技术可以适用于内外网隔离的场景。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (11)

1.一种异构数据库之间的数据同步方法，其特征在于包括如下步骤：

(1)配置器自动生成配置文件对需要同步的数据表进行配置；

(2)系统获取同步起始点后并选择是否需要历史数据同步，若是进行历史数据同步后执行步骤(3)；若不是，执行步骤(3)；

(3)系统自动启动增量数据同步，增量数据同步包括日志解析与数据装载两个过程，执行完日志解析与数据装载后完成数据同步。

2.根据权利要求1所述的一种异构数据库之间的数据同步方法，其特征在于：所述配置文件包括源端数据库和目标端数据库之间的映射关系、数据表与数据表的映射关系、字段与字段的映射关系与用于日志解析的字典文件。

3.根据权利要求1所述的一种异构数据库之间的数据同步方法，其特征在于：所述同步起始点为当前数据库日志的系统变更号，在日志解析时用作起始解析点。

4.根据权利要求1所述的一种异构数据库之间的数据同步方法，其特征在于：所述步骤(2)的历史数据同步过程包括如下步骤：

1)历史数据同步模块从源端数据库抽取数据，并根据源端数据库和目标端数据库的类型自动选择所需的JDBC驱动；

2)历史数据同步模块将这些抽取到的数据按照映射关系进行转换；

3)历史数据同步模块将转换后的数据入库到目标端数据库。

5.根据权利要求1所述的一种异构数据库之间的数据同步方法，其特征在于：所述步骤(3)的日志解析过程包括如下步骤：

i)日志采集模对源端数据库抓取得到增量日志；

ii)日志解析模块检查增量日志的完整性，如果不完整就不予解析，等待修复处理；若完整执行步骤iii)；

iii)日志解析模块搜寻同步起始点，从上次记录的解析断点开始解析；

iv)日志解析模块按照事务与数据库的内部顺序进行解析，保证事务的完整性的有序性；

v)最后生成数据文件，日志解析模块将增量变化数据以特定的格式写入到数据文件中，同时生成读取数据文件的索引文件。

6.根据权利要求5所述的一种异构数据库之间的数据同步方法，其特征在于：所述日志采集模对源端数据库块抓取得到增量日志的方法为在源端数据库中安装日志抓取程序或通过文件夹共享的方式远程抓取。

7.根据权利要求5所述的一种异构数据库之间的数据同步方法，其特征在于：所述步骤v)的特定的格式是后缀名为.outdata的文件格式，索引文件格式是后缀名为.dataindex的文件格式。

8.根据权利要求1所述的一种异构数据库之间的数据同步方法，其特征在于：所述步骤(3)的数据装载过程包括如下步骤：

I)数据装载模块根据索引文件扫描数据文件，把若干小数据文件合并成一个数据文件；

II)数据装载模块把合并后的数据文件加载到内存，并根据配置文件解析数据文件，按照数据表与数据表，字段与字段的映射关系，完成数据结构的转换；

III)数据装载模块将转换完成后的数据流同步到目标数据库中。

9.根据权利要求1所述的一种异构数据库之间的数据同步方法，其特征在于：所述步骤I)的小数据文件的划分标准为数据文件中的事务记录条数小于5000条。

10.一种应用如权利要求1所述数据同步方法的系统，其特征在于包括：配置器、引擎、历史数据同步模块、日志采集模块、日志解析模块、数据装载模块；配置器生成配置文件分别给历史数据同步模块、日志采集模块、日志解析模块、数据装载模块使用；引擎负责启动和停止历史数据同步模块、日志采集模块、日志解析模块、数据装载模块；日志采集模块采集增量日志给日志解析模块解析；日志解析模块解析得到的数据文件给数据装载模块使用。

11.根据权利要求10所述的数据同步系统，其特征在于包括：所述配置器包括数据资源配置器与服务配置器；数据资源配置器用于配置源端数据库库和目标端数据库的信息；服务配置器用于配置服务，将源端数据库中的指定表的数据同步到目标端数据库的指定表。