CN107562883B - 一种数据同步的方法及系统 - Google Patents

Abstract

本申请公开了一种数据同步的方法，所述方法包括：当检测到原数据库中存在数据增量时，将所述数据增量同步至中间开源数据库，并更新所述中间开源数据库的二进制日志；根据所述二进制日志获得分区键值和所述数据增量的变化信息；根据所述分区键值确定目标数据库的分片号，并将所述中间开源数据库中的所述数据增量传输至所述分片号对应的所述目标数据库；根据所述变化信息在所述目标数据库中执行同步操作；该方法能够在不停止联机的情况下进行数据同步，大大减少了系统停机维护成本；本申请还公开了一种数据同步的系统，具有以上有益效果。

Description

一种数据同步的方法及系统

技术领域

本发明涉及数据存储领域，特别涉及一种数据同步的方法及系统。

背景技术

随着科技的迅猛发展，互联网技术和日常生活、商业活动的结合日益紧密。7*24服务系统如同雨后春笋一样快速成长，因此对数据存储的需要和要求也越来越高，特别在金融、政务、电商等领域，数据库向外提供数据访问服务成为其业务中重要的一环。

以金融系统而言，现如今每日交易量普遍达到百万级，数据增量可以达到百万字节甚至是数十亿字节，传统的单一数据可难以满足这类系统的实际需要。现有技术中，在原数据库进行数据同步时，采用数据分片技术通过分区键进行区分，将不同分为的数据存储至不同的实体数据库中，多个实体数据库作为一个整体再向外提供数据访问服务。但是上述现有技术在实现过程中需要停止联机服务，这会严重影响正常业务的进行，带来巨大的损失。

因此，如何不停止联机服务进行数据同步，是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种数据同步的方法及系统，能够不停止联机服务进行数据同步。

为解决上述技术问题，本申请提供一种数据同步的方法，该方法包括：

当检测到原数据库中存在数据增量时，将所述数据增量同步至中间开源数据库，并更新所述中间开源数据库的二进制日志；

根据所述二进制日志获得分区键值和所述数据增量的变化信息；

根据所述分区键值确定目标数据库的分片号，并将所述中间开源数据库中的所述数据增量传输至所述分片号对应的所述目标数据库；

根据所述变化信息在所述目标数据库中执行同步操作。

可选的，将所述数据增量同步至中间开源数据库包括：

通过Oracle Golden Gate将所述数据增量同步至所述中间开源数据库。

可选的，所述根据所述变化信息在所述目标数据库中执行同步操作包括：

将所述变化信息转译为SQL语句；

根据所述SQL语句在所述目标数据库中执行所述同步操作。

可选的，在根据所述变化信息在所述目标数据库中执行同步操作后，还包括：

判断所述同步操作是否执行完毕；

若执行完毕，则将所述目标数据库设置为提供数据访问服务的数据库。

可选的，其特征在于，还包括：

当检测到同步异常时，停止所述同步操作，并记录同步进度；

当检测到所述同步异常修复后，根据所述同步进度继续执行所述同步操作。

本申请还提供了一种数据同步的系统，该系统包括：

中转模块，用于当检测到原数据库中存在数据增量时，将所述数据增量同步至中间开源数据库，并更新所述中间开源数据库的二进制日志；

日志分析模块，用于根据所述二进制日志获得分区键值和所述数据增量的变化信息；

目标库确定模块，用于根据所述分区键值确定目标数据库的分片号，并将所述中间开源数据库中的所述数据增量传输至所述分片号对应的所述目标数据库；

同步模块，用于根据所述变化信息在所述目标数据库中执行同步操作。

可选的，所述中转模块包括：

增量同步单元，用于通过Oracle Golden Gate将所述数据增量同步至所述中间开源数据库。

可选的，所述同步模块包括：

转译单元，用于将所述变化信息转译为SQL语句；

SQL同步单元，用于根据所述SQL语句在所述目标数据库中执行所述同步操作。

可选的，该系统还包括：

判断模块，用于判断所述同步操作是否执行完毕；

切换模块，用于当所述同步操作执行完毕时，将所述目标数据库设置为提供数据访问服务的数据库。

可选的，该系统还包括：

中断模块，用于当检测到同步异常时，停止所述同步操作，并记录同步进度；

恢复模块，用于当检测到所述同步异常修复后，根据所述同步进度继续执行所述同步操作。

本发明提供了一种数据同步的方法，当检测到原数据库中存在数据增量时，将所述数据增量同步至中间开源数据库，并更新所述中间开源数据库的二进制日志；根据所述二进制日志获得分区键值和所述数据增量的变化信息；根据所述分区键值确定目标数据库的分片号，并将所述中间开源数据库中的所述数据增量传输至所述分片号对应的所述目标数据库；根据所述变化信息在所述目标数据库中执行同步操作。

本方法中引入了中间开源数据库，中间开源数据库可以存储原数据库的数据增量，并且中间开源数据库中的二进制日志可以记录原数据库中数据增量的变化过程即变化信息，目标数据库根据中间开源数据库发送的数据增量以及变化信息进行同步操作，使目标数据库中重演数据变化的历史动作的得到与原数据库中一致的数据内容。该方法能够在不停止联机的情况下进行数据同步，大大减少了系统停机维护成本，也可以极大地降低数据系统成本和花费。本申请同时还提供了一种数据同步的系统，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种数据同步的方法的流程图；

图2为本申请实施例所提供的另一种数据同步的方法的流程图；

图3为本申请提供的一种数据同步的系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面请参见图1，图1为本申请实施例所提供的一种数据同步的方法的流程图；

具体步骤可以包括：

步骤S101：当检测到原数据库中存在数据增量时，将所述数据增量同步至中间开源数据库，并更新所述中间开源数据库的二进制日志；

其中，本步骤是建立在检测到原数据库中存在增量时执行的步骤，检测原数据库中是否存在数据增量的方法有很多，可以是按预设周期对原数据库中存储数据所占的字节大小进行检测，也可以检测原数据库中的文件目录，当然还存在其他的检测原数据库中是否存在数据增量的方法，本领域的技术人员可以根据实际应用的具体情况进行选择。

原数据库是指在执行相关业务时存储各种数据的存储空间，以金融系统为例本步骤中的原数据库就是指商用数据库。由于商业活动是24小时不间断的，所以商用数据库中会不断地有新的数据写入，即数据增量。当检测到数据增量时，将数据增量同步至中间开源数据库。但是由于数据增量不是在同步到中间数据库中就不发生变化的，数据增量依旧会在原数据库中进行进一步的变化，因此，本步骤中将数据增量同步至中间开源数据库其实是按照数据关系(分片主表、关联表、子关联表)将数据增量同步至中间开源数据库的。可以理解的是，数据增量也可以按照其他本领域技术人员可以想到的方式将数据增量进行同步。

本方案中提到的数据增量是原数据库中增加的部分，这一增加的部分可以在原数据库中不断变化，因此本步骤中原数据库同步至中间开源数据库中的数据增量不发生变化，而原数据库中的数据增量还可以是发生变化的。而为了使目标数据库中得到的数据增量的状态与原数据库中数据增量的状态保持一致，还需要记录原数据库中数据增量的变化过程。中间开源数据库中的二进制日志能够严格记录原数据库中数据动态变化的时序和数据快照，即能够记录原数据库中数据增量的变化过程。本步骤中的二进制日志是始终都在中间开源数据库中存在的，只要数据增量产生变化，二进制日志都会将变化的详细信息记录下来。

将原数据库中的数据增量同步至目标数据库中的目的是，把原数据库中庞杂的各种数据进行分类，将不同类别的数据信息同步至对应的目标数据库中。因此根据数据的种类不同就设置有相应不同种类的目标数据库。

当然，将原数据库中的数据增量同步至中间开源数据库时使用的工具有很多，如OGG(Oracle Golden Gate，一种实现异构IT环境间数据实时数据集成和复制的综合软件)或ODG(Oracle Data Guard，一种提供管理、监视和自动化软件基础架构的软件)，当然本领域的技术人员还可以根据方案应用的实际情况选择其他的同步方法，此处不进行具体的限定。

步骤S102：根据所述二进制日志获得分区键值和所述数据增量的变化信息；

其中，二进制日志中记载有数据增量的历史变化时序和数据快照可以根据数据增量的变化情况确定分区键值。分区键值是将原数据库中的数据增量同步至哪一个目标数据库的依据。二进制日志中对数据增量记录，但是这一记录所存在的形式是多种多样的，要能够将动态变化数据的严格时序和数据快照记录下来即可，在本步骤中对二进制日志中记录的内容进行提取，得到数据增量的变化信息。

步骤S103：根据所述分区键值确定目标数据库的分片号，并将所述中间开源数据库中的所述数据增量传输至所述分片号对应的所述目标数据库；

其中，由于根据数据增量的变化情况不同，设置有多个目标数据库，可以根据在步骤S102中获取的分区键值来确定目标数据库的分片号，分片号是与所有目标数据库一一对应的序号，可以根据分片号来确定与其唯一对应的目标数据库，也可以通过一个目标数据库查找其分片号(即，不存在一个分片号对应多个数据库的情况，也不存在一个数据库对应多个分片号的情况)。也可以将本步骤视为按照分片规则逻辑创建到各个目标数据库的同步任务，在下一步骤中分别执行同步任务。

可以理解的是，本步骤中传输至目标数据库中的数据增量的状态并不是原数据库中数据增量的最终状态，所以说在本步骤中接收到数据增量的目标数据库在不进行进一步的数据变化的前提下，是无法代替原数据库承担向外提供数据服务的。因此，本步骤执行完成后，并不代表数据同步的整个流程已经执行完毕。

步骤S104：根据所述变化信息在所述目标数据库中执行同步操作；

其中，变化信息中记录有数据增量在原数据库中变化的全部过程，存在于目标数据库中的数据增量是没有经历上述变化的。本步骤旨在利用变化信息，使数据增量在目标数据库中重新进行数据变化的历史动作，以得到与原数据库中状态一致的数据增量，最终达到目标数据库对原数据库的同步操作。

可以理解的是，在目标数据库中变化信息未必能够被解析，可以将变化信息导出为通用的格式，如SQL(Structured Query Language，结构化查询语言)语句或其他关系数据格式CSV(Comma-Separated Values，字符分隔值)、二进制等，本领域的技术人员可以根据应用的具体环境选择适当的导出格式，此处不进行具体的限定。

下面请参见图2，图2为本申请实施例所提供的另一种数据同步的方法的流程图；

具体步骤可以包括：

步骤S201：当检测到原数据库中存在数据增量时，通过Oracle Golden Gate将所述数据增量同步至所述中间开源数据库，并更新所述中间开源数据库的二进制日志；

步骤S202：根据所述二进制日志获得分区键值和所述数据增量的变化信息。

步骤S203：根据所述分区键值确定目标数据库的分片号，并将所述中间开源数据库中的所述数据增量传输至所述分片号对应的所述目标数据库。

步骤S204：将所述变化信息转译为SQL语句。

步骤S205：根据所述SQL语句在所述目标数据库中执行所述同步操作。

步骤S206：判断所述同步操作是否执行完毕。

步骤S207：若执行完毕，则将所述目标数据库设置为提供数据访问服务的数据库。

在本申请实施例还提供一种数据同步的方法，该实施例是在上述实施例的基础上增加了关于同步时出现异常的处理方案，其他步骤与上述实施例基本相同，不再赘述。

步骤S301：当检测到同步异常时，停止所述同步操作，并记录同步进度；

其中，对于同步异常的检测是伴随在整个数据同步过程之中的，也就是说无论整个数据同步的流程之中无论哪一个环节出现问题都可以视为同步异常。记录同步进度是为了在重新启动数据同步服务时，能够以最快的方式完成同步。当然，本领域的技术人员也可以根据同步异常的严重性，设置更多的应对方法，此处不进行具体的限定。

步骤S302：当检测到所述同步异常修复后，根据所述同步进度继续执行所述同步操作。

请参见图3，图3为本申请提供的一种数据同步的系统的结构示意图；

该系统可以包括：

中转模块100，用于当检测到原数据库中存在数据增量时，将所述数据增量同步至中间开源数据库，并更新所述中间开源数据库的二进制日志；

日志分析模块200，用于根据所述二进制日志获得分区键值和所述数据增量的变化信息；

目标库确定模块300，用于根据所述分区键值确定目标数据库的分片号，并将所述中间开源数据库中的所述数据增量传输至所述分片号对应的所述目标数据库；

同步模块400，用于根据所述变化信息在所述目标数据库中执行同步操作。

在本申请提供的另一种数据同步的系统的实施例中，所述中转模块100包括：

增量同步单元，用于通过Oracle Golden Gate将所述数据增量同步至所述中间开源数据库。

进一步的，所述同步模块400包括：

转译单元，用于将所述变化信息转译为SQL语句；

SQL同步单元，用于根据所述SQL语句在所述目标数据库中执行所述同步操作。

进一步的，该系统还包括：

判断模块，用于判断所述同步操作是否执行完毕；

切换模块，用于当所述同步操作执行完毕时，将所述目标数据库设置为提供数据访问服务的数据库。

进一步的，该系统还包括：

中断模块，用于当检测到同步异常时，停止所述同步操作，并记录同步进度；

恢复模块，用于当检测到所述同步异常修复后，根据所述同步进度继续执行所述同步操作。

由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据同步的方法，其特征在于，包括：

当检测到原数据库中存在数据增量时，将所述数据增量同步至中间开源数据库，并更新所述中间开源数据库的二进制日志；其中，所述二进制日志中记录有所述原数据库中所述数据增量的变化信息，所述变化信息包括所述数据增量的历史变化时序和数据快照；

根据所述二进制日志获得分区键值和所述数据增量的变化信息；其中，所述分区键值是根据所述数据增量的变化信息确定；

根据所述分区键值确定目标数据库的分片号，并将所述中间开源数据库中的所述数据增量传输至所述分片号对应的所述目标数据库；

根据所述变化信息在所述目标数据库中执行同步操作。

2.根据权利要求1所述方法，其特征在于，将所述数据增量同步至中间开源数据库包括：

通过Oracle Golden Gate将所述数据增量同步至所述中间开源数据库。

3.根据权利要求2所述方法，其特征在于，所述根据所述变化信息在所述目标数据库中执行同步操作包括：

将所述变化信息转译为SQL语句；

根据所述SQL语句在所述目标数据库中执行所述同步操作。

4.根据权利要求3所述方法，其特征在于，在根据所述变化信息在所述目标数据库中执行同步操作后，还包括：

判断所述同步操作是否执行完毕；

若执行完毕，则将所述目标数据库设置为提供数据访问服务的数据库。

5.根据权利要求1至4任一项所述方法，其特征在于，还包括：

当检测到同步异常时，停止所述同步操作，并记录同步进度；

当检测到所述同步异常修复后，根据所述同步进度继续执行所述同步操作。

6.一种数据同步的系统，其特征在于，包括：

中转模块，用于当检测到原数据库中存在数据增量时，将所述数据增量同步至中间开源数据库，并更新所述中间开源数据库的二进制日志；其中，所述二进制日志中记录有所述原数据库中所述数据增量的变化信息，所述变化信息包括所述数据增量的历史变化时序和数据快照；

日志分析模块，用于根据所述二进制日志获得分区键值和所述数据增量的变化信息；其中，所述分区键值是根据所述数据增量的变化信息确定；

目标库确定模块，用于根据所述分区键值确定目标数据库的分片号，并将所述中间开源数据库中的所述数据增量传输至所述分片号对应的所述目标数据库；

同步模块，用于根据所述变化信息在所述目标数据库中执行同步操作。

7.根据权利要求6所述系统，其特征在于，所述中转模块包括：

增量同步单元，用于通过Oracle Golden Gate将所述数据增量同步至所述中间开源数据库。

8.根据权利要求7所述系统，其特征在于，所述同步模块包括：

转译单元，用于将所述变化信息转译为SQL语句；

SQL同步单元，用于根据所述SQL语句在所述目标数据库中执行所述同步操作。

9.根据权利要求8所述系统，其特征在于，还包括：

判断模块，用于判断所述同步操作是否执行完毕；

切换模块，用于当所述同步操作执行完毕时，将所述目标数据库设置为提供数据访问服务的数据库。

10.根据权利要求6至9任一项所述系统，其特征在于，还包括：

中断模块，用于当检测到同步异常时，停止所述同步操作，并记录同步进度；

恢复模块，用于当检测到所述同步异常修复后，根据所述同步进度继续执行所述同步操作。