CN106484568A - 一种数据灾难备份方法及其系统 - Google Patents

Abstract

本发明公开了一种数据灾难备份方法，包括依据预设的捕获控制表确定源端服务器的数据库内的待复制源表的位置；依据位置查询待复制源表对应的数据库恢复日志，读取数据库恢复日志内的更改信息；将更改信息发送至目标端服务器；更改信息包括已经提交的事务的更改信息以及正在进行的事务信息；供目标端服务器接收到更改信息后，依据预设的应用控制表确定更改信息对应的目标表的位置并将更改信息写入对应的目标表；目标端服务器内的数据库中包括多个目标表。本发明数据备份完整性高，当出现灾难时，能够避免正在进行的数据丢失，可靠性高。本发明还公开了一种数据灾难备份系统，包括源端服务器、捕获模块、目标端服务器以及应用模块，在此不再赘述。

Description

一种数据灾难备份方法及其系统

技术领域

本发明涉及数据备份恢复技术领域，特别是涉及一种数据灾难备份方法及其系统。

背景技术

数据是现代企业最重要的业务资产之一，如果数据不可用或者没有受到保护，企业可能会在每一小时的业务宕机时间内损失数百万美元，同时还会给企业形象带来负面影响。

数据灾难恢复方案为灾难事件准备的数据库备份和恢复方案，简称灾备方案。这里涵盖的灾难包括各种自然和人为灾难事件，如有洪水、地震、飓风、海啸等各种极端自然天气和现象，和爆炸、火灾、电网故障等人为异常事件。这些灾难会对数据中心的基础设施造成影响，毁坏数据中心的存储介质，导致数据库中的数据丢失。灾难的特征参数包括它影响的地理范围，持续的时间长短，以及对设施和数据的破坏程度。

目前的灾备方案主要是将源表内的已更改信息发送至目标端的目标表内进行存储。但是，这种方案在当有灾难发生时，会导致源服务器中正在运行的数据丢失，可靠性低，数据备份完整性差。

因此，如何提供一种可靠性高、数据备份完整性高的数据灾难备份方法及其系统是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种数据灾难备份方法及其系统，数据备份完整性高，当出现灾难时，能够避免正在进行的数据丢失，可靠性高。

为解决上述技术问题，本发明提供了一种数据灾难备份方法，包括：

依据预设的捕获控制表确定源端服务器的数据库内的待复制源表的位置；

依据所述位置查询所述待复制源表对应的数据库恢复日志，读取所述数据库恢复日志内的更改信息；

将所述更改信息发送至目标端服务器；所述更改信息包括已经提交的事务的更改信息以及正在进行的事务信息；

供所述目标端服务器接收到所述更改信息后，依据预设的应用控制表确定所述更改信息对应的目标表的位置并将所述更改信息写入对应的目标表；所述目标端服务器内的数据库中包括多个目标表。

优选地，所述将所述更改信息发送至目标端服务器的过程具体为：

将所述更改信息生成若干个发送队列发送至所述目标端服务器；

相应的，所述目标端服务器依据所述发送队列生成接收队列，并读取所述接收队列内的更改信息，依据所述预设的应用控制表确定所述更改信息对应的目标表的位置并将所述更改信息写入对应的目标表。

优选地，所述已经提交的事务的更改信息为COMMIT语句。

为解决上述技术问题，本发明还提供了一种数据灾难备份系统，包括源端服务器、捕获模块、目标端服务器以及应用模块；所述源端服务器内的数据库中包括多个源表；所述目标端服务器内的数据库中包括多个目标表；

所述捕获模块与所述源端服务器内的数据库相连，用于依据预设的捕获控制表确定待复制源表的位置；依据所述位置查询所述待复制源表对应的数据库恢复日志，读取所述数据库恢复日志内的更改信息，将所述更改信息发送至所述目标端服务器；所述更改信息包括已经提交的事务的更改信息以及正在进行的事务信息；

所述应用模块与所述目标端服务器内的数据库相连，用于接收到所述更改信息后，依据预设的应用控制表确定所述更改信息对应的目标表的位置并将所述更改信息写入对应的目标表。

优选地，所述捕获模块具体用于将所述更改信息生成若干个发送队列发送至所述目标端服务器；

相应的，所述应用模块具体用于依据所述发送队列生成接收队列，并读取所述接收队列内的更改信息，依据所述预设的应用控制表确定所述更改信息对应的目标表的位置并将所述更改信息写入对应的目标表。

优选地，所述应用模块具体用于依据所述发送队列生成所述接收队列；创建多个应用线程；各个所述应用线程分别用于读取所述接收队列内的更改信息，依据所述预设的应用控制表确定自身读取的更改信息对应的目标表的位置，并将所述自身读取的更改信息写入对应的目标表。

优选地，所述捕获模块具体用于依据所述预设的捕获控制表确定所述待复制源表的位置；创建多个捕获线程；各个所述捕获线程用于分别依据所述位置查询各个所述待复制源表对应的数据库恢复日志，读取所述数据库恢复日志内的更改信息，将所述更改信息生成若干个发送队列发送至所述目标端服务器。

优选地，所述捕获模块与所述源表位于不同的服务器内；

还包括：

复制模块，用于将所述源端服务器内的数据库复制到所述捕获模块所在的服务器内。

优选地，所述应用模块位于所述目标端服务器内。

本发明提供了一种数据灾难备份方法及其系统，确定待复制源表的位置后，依据该位置查询待复制源表对应的数据库恢复日志，从数据库恢复日志中获取到更改信息并发送至目标端服务器进行存储，这里的更改信息包括已经提交的事务的更改信息以及正在进行的事务信息。可见，本发明不仅能够将已经提交的更改信息进行备份，还能同时将正在进行的事务信息进行备份，数据备份完整性高，当出现灾难时，能够避免正在进行的数据丢失，可靠性高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种数据灾难备份方法的过程的流程图；

图2为本发明提供的一种数据灾难备份系统的结构示意图。

具体实施方式

本发明的核心是提供一种数据灾难备份方法及其系统，数据备份完整性高，当出现灾难时，能够避免正在进行的数据丢失，可靠性高。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种数据灾难备份方法，参见图1所示，图1为本发明提供的一种数据灾难备份方法的过程的流程图；该方法包括：

步骤s101：依据预设的捕获控制表确定源端服务器的数据库内的待复制源表的位置；

步骤s102：依据位置查询待复制源表对应的数据库恢复日志，读取数据库恢复日志内的更改信息；

步骤s103：将更改信息发送至目标端服务器；更改信息包括已经提交的事务的更改信息以及正在进行的事务信息；

步骤s104：供目标端服务器接收到更改信息后，依据预设的应用控制表确定更改信息对应的目标表的位置并将更改信息写入对应的目标表；目标端服务器内的数据库中包括多个目标表。

可以理解的是，本发明通过读取数据库恢复日志中记录的信息来获取对应的源表的事务更改信息，而不直接通过查询数据库来获得数据，既能避免了与源端的应用争抢访问数据库，减小了对应用的影响，又保证了捕获更改信息的高性能。

作为优选地，将更改信息发送至目标端服务器的过程具体为：

将更改信息生成若干个发送队列发送至目标端服务器；

相应的，目标端服务器依据发送队列生成接收队列，并读取接收队列内的更改信息，依据预设的应用控制表确定更改信息对应的目标表的位置并将更改信息写入对应的目标表。

可以理解的是，获取的更改信息可能很多，故此时需要设置多个发送队列；另外，由于源端服务器的数据库中包括多个源表，也可将从各个源表内获取的更改信息分别生成不同的发送队列；此时，可以每个源表对应一个发送队列，也可每个源表对应多个发送队列，本发明对此不作具体限定。

具体的，这里的已经提交的事务的更改信息为COMMIT语句。COMMIT语句内包含事务所做的修改，从数据库恢复日志中读取COMMIT语句后，可将其进行格式转换再添加至相应的队列中，当然，本发明对此不作限定。

本发明提供了一种数据灾难备份方法，确定待复制源表的位置后，依据该位置查询待复制源表对应的数据库恢复日志，从数据库恢复日志中获取到更改信息并发送至目标端服务器进行存储，这里的更改信息包括已经提交的事务的更改信息以及正在进行的事务信息。可见，本发明不仅能够将已经提交的更改信息进行备份，还能同时将正在进行的事务信息进行备份，数据备份完整性高，当出现灾难时，能够避免正在进行的数据丢失，可靠性高。

本发明还提供了一种数据灾难备份系统，参见图2所示，图2为本发明提供的一种数据灾难备份系统的结构示意图。该系统包括源端服务器、捕获模块、目标端服务器以及应用模块；源端服务器内的数据库中包括多个源表；目标端服务器内的数据库中包括多个目标表；

捕获模块与源端服务器内的数据库相连，用于依据预设的捕获控制表确定待复制源表的位置；依据位置查询待复制源表对应的数据库恢复日志，读取数据库恢复日志内的更改信息，将更改信息发送至目标端服务器；更改信息包括已经提交的事务的更改信息以及正在进行的事务信息；

应用模块与目标端服务器内的数据库相连，用于接收到更改信息后，依据预设的应用控制表确定更改信息对应的目标表的位置并将更改信息写入对应的目标表。

可以理解的是，捕获模块与源端服务器内的数据库为一一对应关系，应用模块与目标端服务器内的数据库为一一对应关系。本发明的系统中可以包含多个源端服务器以及多个目标端服务器，相应的，包含多个捕获模块以及多个应用模块。

另外，捕获控制表(以及应用控制表)为预先设定在捕获模块(以及应用模块)所处的服务器系统内，且服务器系统内设置的捕获控制表(以及应用控制表)内设置有schema标识，当捕获模块初始启动时，需要通过输入capture_schema(apply_schema)参数指定将要运行的捕获模块所使用的捕获控制表(以及应用控制表)。捕获控制表内包含待复制源表的位置信息以及捕获模块的运行参数等。应用控制表内包括更改信息对应的目标表的位置信息以及应用模块的运行参数等。

作为优选地，捕获模块具体用于将更改信息生成若干个发送队列发送至目标端服务器；

相应的，应用模块具体用于依据发送队列生成接收队列，并读取接收队列内的更改信息，依据预设的应用控制表确定更改信息对应的目标表的位置并将更改信息写入对应的目标表。

可以理解的是，获取的更改信息可能很多，故此时需要设置多个发送队列；另外，由于源端服务器的数据库中包括多个源表，也可将从各个源表内获取的更改信息分别生成不同的发送队列；此时，可以每个源表对应一个发送队列，也可每个源表对应多个发送队列，来实现并行传递和处理每个独立源表的数据；另外，可以一对捕获模块与应用模块之间配置多个队列映射，其中，每个队列映射指定了一对用来发送数据和接收数据的队列映射关系，以及其他捕获模块和应用模块需要使用的队列，当然，也可以一对捕获模块与应用模块之间配置一个队列映射。具体采用哪种队列设置方式，本发明不作具体限定。

其中，应用模块获取接收队列内的更改信息后，将这些更改信息转换为SQL(Structured Query Language，结构化查询语言)，在将其写入对应的目标表。

作为优选地，应用模块具体用于依据发送队列生成接收队列；创建多个应用线程；各个应用线程分别用于读取接收队列内的更改信息，依据预设的应用控制表确定自身读取的更改信息对应的目标表的位置，并将自身读取的更改信息写入对应的目标表。

可以理解的是，应用模块能够多线程处理更改信息，应用模块可以为每个接受队列创建多个应用线程，也可以当接收队列数目较多时，分别为每个接受队列设置单独的应用线程，本发明对此不作限定。另外，应用模块创建的多个线程可以同时处理多个互相没有依赖关系的事务，如果事务互相依赖，那么应用模块会以源端服务器中提交这些事务的顺序来对这些事务依次进行处理。采用多线程的处理方式，能够大大提高灾备的效率及处理速度，保证了源端服务器出现异常时，数据的安全性和业务的连续性。

进一步的，捕获模块具体用于依据预设的捕获控制表确定待复制源表的位置；创建多个捕获线程；各个捕获线程用于分别依据位置查询各个待复制源表对应的数据库恢复日志，读取数据库恢复日志内的更改信息，将更改信息生成若干个发送队列发送至目标端服务器。

可以理解的是，捕获模块也能够多线程捕获更改信息，当有多个源表待复制时，多个捕获线程能够同时分别对各个待复制源表对应的数据库恢复日志进行查询，来获取更改信息，进一步提高了灾备的处理效率。

具体的，捕获模块与源表位于不同的服务器内；此时，该系统还包括：

复制模块，用于将源端服务器内的数据库复制到捕获模块所在的服务器内。

捕获模块也可以与源表位于不同的服务器内，本发明对此不作限定。

另外，应用模块位于目标端服务器内。应用模块也可以不位于目标端服务器内，本发明对此不作限定。

对于进行备份的事务数据，在源表中与在目标表中，可以使用相同的名字，也可以使用不同的名字，这部分信息在应用控制表内进行配置。

作为优选地，本发明中的源端与目标端可以进行互换，即在源端侧以及目标端侧均要同时设置捕获模块以及应用模块。由于发生每个数据中心均可能会发生异常，也均有可能会被作为备份的数据中心，故在源端侧以及目标端侧均要同时设置捕获模块以及应用模块能够在任意一个数据中心发生异常时，避免数据丢失，大大保证的数据的安全性以及可靠性。当然，本发明对此不作限定。

可以理解的是，作为备份的数据中心应该处于灾难影响范围之外，故源端对应的数据中心与目标端对应的数据中心优选处于不同的城市。当然，本发明对此不作限定。

需要注意的是，在开始捕获前，源端服务器内需要先创建Subscription，Subscription中定义了数据库中的一个或多个表为源表，并同时在目标端指定了与源表对应的目标表表名及所有者等属性。源库中会有多个表，但捕获只能捕获在Subscription中定义的源表。

本发明提供了一种数据灾难备份系统，确定待复制源表的位置后，依据该位置查询待复制源表对应的数据库恢复日志，从数据库恢复日志中获取到更改信息并发送至目标端服务器进行存储，这里的更改信息包括已经提交的事务的更改信息以及正在进行的事务信息。可见，本发明不仅能够将已经提交的更改信息进行备份，还能同时将正在进行的事务信息进行备份，数据备份完整性高，当出现灾难时，能够避免正在进行的数据丢失，可靠性高，保证了业务的连续性。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种数据灾难备份方法，其特征在于，包括：

依据预设的捕获控制表确定源端服务器的数据库内的待复制源表的位置；

依据所述位置查询所述待复制源表对应的数据库恢复日志，读取所述数据库恢复日志内的更改信息；

将所述更改信息发送至目标端服务器；所述更改信息包括已经提交的事务的更改信息以及正在进行的事务信息；

供所述目标端服务器接收到所述更改信息后，依据预设的应用控制表确定所述更改信息对应的目标表的位置并将所述更改信息写入对应的目标表；所述目标端服务器内的数据库中包括多个目标表。

2.根据权利要求1所述的方法，其特征在于，所述将所述更改信息发送至目标端服务器的过程具体为：

将所述更改信息生成若干个发送队列发送至所述目标端服务器；

相应的，所述目标端服务器依据所述发送队列生成接收队列，并读取所述接收队列内的更改信息，依据所述预设的应用控制表确定所述更改信息对应的目标表的位置并将所述更改信息写入对应的目标表。

3.根据权利要求2所述的方法，其特征在于，所述已经提交的事务的更改信息为COMMIT语句。

4.一种数据灾难备份系统，其特征在于，包括源端服务器、捕获模块、目标端服务器以及应用模块；所述源端服务器内的数据库中包括多个源表；所述目标端服务器内的数据库中包括多个目标表；

所述捕获模块与所述源端服务器内的数据库相连，用于依据预设的捕获控制表确定待复制源表的位置；依据所述位置查询所述待复制源表对应的数据库恢复日志，读取所述数据库恢复日志内的更改信息，将所述更改信息发送至所述目标端服务器；所述更改信息包括已经提交的事务的更改信息以及正在进行的事务信息；

所述应用模块与所述目标端服务器内的数据库相连，用于接收到所述更改信息后，依据预设的应用控制表确定所述更改信息对应的目标表的位置并将所述更改信息写入对应的目标表。

5.根据权利要求4所述的系统，其特征在于，所述捕获模块具体用于将所述更改信息生成若干个发送队列发送至所述目标端服务器；

相应的，所述应用模块具体用于依据所述发送队列生成接收队列，并读取所述接收队列内的更改信息，依据所述预设的应用控制表确定所述更改信息对应的目标表的位置并将所述更改信息写入对应的目标表。

6.根据权利要求5所述的系统，其特征在于，所述应用模块具体用于依据所述发送队列生成所述接收队列；创建多个应用线程；各个所述应用线程分别用于读取所述接收队列内的更改信息，依据所述预设的应用控制表确定自身读取的更改信息对应的目标表的位置，并将所述自身读取的更改信息写入对应的目标表。

7.根据权利要求6所述的系统，其特征在于，所述捕获模块具体用于依据所述预设的捕获控制表确定所述待复制源表的位置；创建多个捕获线程；各个所述捕获线程用于分别依据所述位置查询各个所述待复制源表对应的数据库恢复日志，读取所述数据库恢复日志内的更改信息，将所述更改信息生成若干个发送队列发送至所述目标端服务器。

8.根据权利要求4-7任一项所述的系统，其特征在于，所述捕获模块与所述源表位于不同的服务器内；

还包括：

复制模块，用于将所述源端服务器内的数据库复制到所述捕获模块所在的服务器内。

9.根据权利要求8所述的系统，其特征在于，所述应用模块位于所述目标端服务器内。