CN104424275A - 数据库系统以及数据同步方法 - Google Patents

Abstract

本发明提供了一种数据库系统以及数据同步方法，该数据同步方法包括：将关系型数据库中的数据按预定的分发策略同步到多个一级内存数据库中；将每个一级内存数据库中的数据备份到与其对应的二级内存数据库中，并通过实时同步保持一级内存数据库与对应二级内存数据库之间的数据一致性。通过本发明，采用将一级内存数据库中的数据备份到二级内存数据库中，这样的话，在一级内存数据库宕机时，可以切换到二级内存数据库上，从而解决了当内存数据库宕机以后，应用需切换回传统的关系型数据库，导致数据访问能力会下降的问题，进而达到了提高系统的数据访问效率的效果。

Description

数据库系统以及数据同步方法

技术领域

本发明涉及内存数据存储技术领域，具体而言，涉及一种数据库系统以及数据同步方法。

背景技术

传统的数据库系统是关系型数据库，开发这种数据库的目的，是处理永久、稳定的数据。关系数据库强调维护数据的完整性、一致性，但很难顾及有关数据及其处理的定时限制，不能满足工业生产管理实时应用的需要，因为实时事务要求系统能较准确地预报事务的运行时间。

对磁盘数据库而言，由于磁盘存取、内外存的数据传递、缓冲区管理、排队等待及锁的延迟等使得事务实际平均执行时间与估算的最坏情况执行时间相差很大，如果将整个数据库或其主要的“工作”部分放入内存，使每个事务在执行过程中没有I/O，则为系统较准确估算和安排事务的运行时间，使之具有较好的动态可预报性提供了有力的支持，同时也为实现事务的定时限制打下了基础。这就是内存数据库出现的主要原因。

内存数据库所处理的数据通常是“短暂”的，即有一定的有效时间，过时则有新的数据产生，而当前的决策推导变成无效。所以，实际应用中采用内存数据库来处理实时性强的业务逻辑处理数据。而传统数据库旨在处理永久、稳定的数据，其性能目标是高的系统吞吐量和低的代价，处理数据的实时性就要考虑的相对少一些。实际应用中利用传统数据库这一特性存放相对实时性要求不高的数据。

在实际应用中这两种数据库常常结合使用，而不是以内存数据库替代传统数据库，当内存数据库发生故障不提供服务时，应用会切换回传统的关系型数据库，其访问效率较之内存数据库会有明显的下降，并且内存数据库的恢复，由于需要同步全量数据，会有一定时间的消耗，因此对现网的服务会有比较明显的影响。

针对相关技术中当内存数据库宕机以后，应用切换回传统的关系型数据库，导致数据访问能力会下降的问题，目前尚未提出有效的解决方案。

发明内容

本发明提供了一种数据库系统以及基于该数据库系统的数据同步方法，以至少解决上述内存数据库宕机以后，应用切换回传统的关系型数据库，导致数据访问能力会下降的问题。

根据本发明的一个方面，提供了一种数据库系统，该数据库系统包括：一个关系型数据库；一个或多个一级内存数据库，与关系型数据库相连，一级内存数据库与关系型数据库之间通过数据同步进行数据的分发和更新；一个或多个二级内存数据库，与一级内存数据库相连，二级内存数据库为一级内存数据库的备份数据库。

优选地，一级内存数据库为多个，每个一级内存数据库中保存有关系型数据库按预定策略分发至该一级内存数据库的数据。

优选地，二级内存数据库为多个，二级内存数据库与一级内存数据库存在一一对应的关系，并且每个二级内存数据库中所保存的数据为与其对应的一级内存数据库的全量备份数据。

根据本发明的另一方面，提供了一种数据同步方法，包括：将关系型数据库中的数据按预定的分发策略同步到多个一级内存数据库中；将每个一级内存数据库中的数据备份到与其对应的二级内存数据库中，并通过实时同步保持一级内存数据库与对应二级内存数据库之间的数据一致性。

优选地，将关系型数据库中的数据按预定的分发策略同步到多个一级内存数据库中之前，还包括：在关系型数据库中创建一级同步注册表，并在一级同步注册表中新增以下同步信息记录：表所属的用户名、表名、数据分发策略、目的内存数据库信息。

优选地，将关系型数据库中的数据按预定的分发策略同步到多个一级内存数据库中，包括：当关系型数据库中有数据变更操作时，关系型数据库中的同步进程实时监控并检测到数据变更操作，按照一级同步注册表中登记的数据分发策略将数据变更操作同步到对应的一级内存数据库中，并在该一级内存数据库上生成重做日志redolog。

优选地，将每个一级内存数据库中的数据备份到与其对应的二级内存数据库中之前，还包括：在一级内存数据库上创建二级同步注册表，并在二级同步注册表中新增以下同步信息记录：表所属的用户名、表名、目的内存数据库信息。

优选地，通过实时同步保持一级内存数据库与对应二级内存数据库之间的数据一致性，包括：一级内存数据库的同步进程实时检测并解析重做日志redolog，并重组成数据库操作语句；根据二级同步注册表中的同步信息记录将数据库操作语句发送至对应的二级内存数据库，并根据数据库操作语句对对应二级内存数据库的相关数据进行更新，以保持一级内存数据库与对应二级内存数据库之间的数据一致性。

优选地，每个二级内存数据库的数据为其对应的一级内存数据库中的数据的全量备份。

优选地，通过实时同步保持一级内存数据库与对应二级内存数据库之间的数据一致性之后，还包括：当一级内存数据库出现故障时，切换至对应的二级内存数据库。

通过本发明，采用将一级内存数据库中的数据备份到二级内存数据库中，这样的话，在一级内存数据库宕机时，可以切换到二级内存数据库上，继续提供内存级数据库的高速数据访问，从而解决了当内存数据库宕机以后，应用需切换回传统的关系型数据库，导致数据访问能力会下降的的问题，进而达到了提高系统的数据访问效率的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据库系统结构示意图；

图2是根据本发明实施例的数据同步方法流程图；

图3是根据本发明实施例的数据库系统之间的同步过程示意图；

图4是根据本发明实施例的数据同步流程示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

为了便于理解，在本发明的实施例中，传统的关系型数据库到内存数据库的数据同步称之为一级同步，内存数据库再次到内存数据库的数据同步称之为二级同步。

图1是根据本发明实施例的数据库系统结构示意图。如图1所示，该数据库系统包括一个关系型数据库100，三个一级内存数据库（201、202、203）和三个二级内存数据库（301、302、303）。

其中，三个一级内存数据库（201、202、203）与关系型数据库100相连，该三个一级内存数据库（201、202、203）与关系型数据库100之间通过一级同步进行数据的分发和更新。三个二级内存数据库（301、302、303）分别与对应的一级内存数据库相连（201、202、203），二级内存数据库为一级内存数据库的备份数据库。

在本实施例中，通过增加二级内存数据库作为一级内存数据库的备份数据库，这样的话，在一级内存数据库宕机时，可以切换到二级内存数据库上，继续提供内存级数据库的高速数据访问，从而解决了当内存数据库宕机以后，应用需切换回传统的关系型数据库，导致数据访问能力会下降的的问题，进而达到了提高系统的数据访问效率的效果。

在上述的数据库系统中，传统关系型数据库100可通过一级同步将数据按照一定的分发策略分散同步到一级内存数据库（201、202、203）中，这样的话，业务可从内存数据库（201、202、203）中进行数据的读取，提高了数据访问的性能。一级内存数据库（201、202、203）再通过二级同步将数据全量备份到对应的二级内存数据库（301、302、303）中，并实时保持数据的同步，这样，在一级内存数据库（201、202、203）出现意外宕机不能使用时，能够立即切换到对应的二级内存数据库（301、302、303），对当前的业务使用不产生任何的影响。一级同步和二级同步的结合，既提高了数据读取的速度，又保证了在一级内存库以外宕掉时，能够及时的切换到二级内存数据库上，数据的访问不受任何影响。

图2是根据本发明实施例的数据同步方法流程图。如图2所示，该数据同步方法包括以下步骤：

步骤S202，将关系型数据库中的数据按预定的分发策略同步到多个一级内存数据库中；

步骤S204，将每个一级内存数据库中的数据备份到与其对应的二级内存数据库中，并通过实时同步保持一级内存数据库与对应二级内存数据库之间的数据一致性。

在本实施例中，通过将一级内存数据库中的数据备份到二级内存数据库中，这样的话，在一级内存数据库宕机时，可以切换到二级内存数据库上，继续提供内存级数据库的高速数据访问，从而解决了当内存数据库宕机以后，应用需切换回传统的关系型数据库，导致数据访问能力会下降的的问题，进而达到了提高系统的数据访问效率的效果。

其中，在步骤S202之前还包括：在关系型数据库中创建一级同步注册表，并在一级同步注册表中新增以下同步信息记录：表所属的用户名、表名、数据分发策略、目的内存数据库信息。

其中，步骤S202包括：当关系型数据库中有数据变更操作时，关系型数据库中的同步进程实时监控并检测到数据变更操作，按照一级同步注册表中登记的数据分发策略将数据变更操作同步到对应的一级内存数据库中，并在该一级内存数据库上生成重做日志redolog。

其中，在步骤S204之前还包括：在一级内存数据库上创建二级同步注册表，并在二级同步注册表中新增以下同步信息记录：表所属的用户名、表名、目的内存数据库信息。

其中，步骤S204包括：一级内存数据库的同步进程实时检测并解析重做日志redolog，并重组成数据库操作语句；根据二级同步注册表中的同步信息记录将数据库操作语句发送至对应的二级内存数据库，并根据数据库操作语句对对应二级内存数据库的相关数据进行更新，以保持一级内存数据库与对应二级内存数据库之间的数据一致性。

其中，每个二级内存数据库的数据为其对应的一级内存数据库中的数据的全量备份。

其中，在步骤S204之后还包括：通过实时同步保持一级内存数据库与对应二级内存数据库之间的数据一致性之后，还包括：当一级内存数据库出现故障时，切换至对应的二级内存数据库。

在上述实施例中，在传统关系型数据库的数据分发到多个一级内存数据库上的同时，将一级内存数据库的数据完全同步一份到二级内存数据库中，这样保证了一级、二级内存数据库中数据的一致性。当一级内存数据库意外宕掉时，可以实时的切换到二级内存数据库上，保证了数据的完整性以及数据访问的速度。

图3是根据本发明实施例的数据同步过程示意图。如图3所示，当传统关系型数据库100上发生数据变更时，关系型数据库100会通过一级同步将该变更实时同步到一级内存数据库200，并在该一级内存数据库200上生成重做日志redolog；二级同步进程实时去检测并解析该重做日志redolog，同时重组成正常的数据库操作语句对二级内存数据库300的相关数据进行更新，保证一级内存数据库200与二级内存数据库300中数据的一致性。

图4是根据本发明实施例的数据同步流程示意图。如图4所示，本实施例的数据同步流程包括如下步骤：

步骤S402，在关系型数据库部署数据库同步模块。

步骤S404，在一级内存数据库上建立需要从传统关系型数据库中同步数据的表，在二级内存数据库上建立与一级内存数据库相同的表。

步骤S406，在传统的关系型数据库中，创建一级同步注册表，并在一级同步注册表中新增同步信息记录：表所属的用户名、表名、数据分发策略（一级同步，二级同步等）、目的内存数据库信息。

步骤S408，当传统关系型数据库中有数据变更操作，同步模块进程会实时监控并检测到相应的数据变更，按照注册表中登记的数据分发策略，将相应的数据变更操作同步到一级内存数据库中，更新相关表中对应的数据。

通过上述步骤S402至S408可以将传统关系型数据库中的数据按照一定的分发策略同步到多个内存数据库中。

步骤S410，在一级内存数据库上创建二级同步注册表，并在二级同步注册表中新增同步信息记录：表所属的用户名、表名、目的内存数据库信息。由于二级同步是全量同步，这里需要填上相应一级内存数据库中所有的表名，即全量同步。

步骤S412，用户在传统关系型数据库上进行数据变更的操作，在一级同步到一级内存数据库上时，生成相应的redolog（数据库为确保已经提交的数据不会丢失而建立的一种机制所产生的文件）；

步骤S414，一级内存数据库上部署了二级同步进程，实时的监控并解析一级内存数据库上的redolog，将相应的数据变更操作重组为正常的数据库操作语句，根据步骤步骤S410中配置的二级内存数据库的信息，将相关数据库操作语句发送到二级内存数据库上并执行，使二级内存数据库中的数据保持与一级内存数据库中的数据一致。

通过上述步骤S410至S414，可以将一级内存数据库中的数据实时的同步到二级内存数据库中，保证二级内存数据库中的数据与一级内存数据库中完全一致。

在另外一个实施例中，还提供了一种数据同步软件，该软件用于执行上述实施例中描述的技术方案。

在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于光盘、软盘、硬盘、可擦写存储器等。

从以上的描述中，可以看出，本发明实现了如下技术效果：

将传统关系型数据库中的数据分发到多个一级内存数据库，并同时将一级内存数据库的数据全量备份到二级内存数据库中，在一级内存数据库发生故障时，能够实时的切换到二级内存数据库，由于二级内存数据库是一级内存数据库的全量备份，数据是完全一致的，而且都是内存数据库，所以对于应用来说，功能、性能和数据将不受任何影响。在一级内存数据库故障恢复后，所有的访问将切换回一级内存数据库。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据库系统，其特征在于，包括：

一个关系型数据库；

一个或多个一级内存数据库，与所述关系型数据库相连，所述一级内存数据库与所述关系型数据库之间通过数据同步进行数据的分发和更新；

一个或多个二级内存数据库，与所述一级内存数据库相连，所述二级内存数据库为所述一级内存数据库的备份数据库。

2.根据权利要求1所述的数据库系统，其特征在于，所述一级内存数据库为多个，每个一级内存数据库中保存有所述关系型数据库按预定策略分发至该一级内存数据库的数据。

3.根据权利要求2所述的数据库系统，其特征在于，所述二级内存数据库为多个，二级内存数据库与一级内存数据库存在一一对应的关系，并且每个二级内存数据库中所保存的数据为与其对应的一级内存数据库的全量备份数据。

4.一种根据权利要求1至3任一项所述的数据库系统的数据同步方法，其特征在于，包括：

将所述关系型数据库中的数据按预定的分发策略同步到多个所述一级内存数据库中；

将每个所述一级内存数据库中的数据备份到与其对应的所述二级内存数据库中，并通过实时同步保持所述一级内存数据库与对应所述二级内存数据库之间的数据一致性。

5.根据权利要求4所述的数据同步方法，其特征在于，将所述关系型数据库中的数据按预定的分发策略同步到多个所述一级内存数据库中之前，还包括：

在所述关系型数据库中创建一级同步注册表，并在所述一级同步注册表中新增以下同步信息记录：表所属的用户名、表名、数据分发策略、目的内存数据库信息。

6.根据权利要求5所述的数据同步方法，其特征在于，将所述关系型数据库中的数据按预定的分发策略同步到多个所述一级内存数据库中，包括：

当所述关系型数据库中有数据变更操作时，所述关系型数据库中的同步进程实时监控并检测到所述数据变更操作，按照所述一级同步注册表中登记的数据分发策略将所述数据变更操作同步到对应的一级内存数据库中，并在该一级内存数据库上生成重做日志redolog。

7.根据权利要求6所述的数据同步方法，其特征在于，将每个所述一级内存数据库中的数据备份到与其对应的所述二级内存数据库中之前，还包括：

在所述一级内存数据库上创建二级同步注册表，并在所述二级同步注册表中新增以下同步信息记录：表所属的用户名、表名、目的内存数据库信息。

8.根据权利要求7所述的数据同步方法，其特征在于，通过实时同步保持所述一级内存数据库与对应所述二级内存数据库之间的数据一致性，包括：

所述一级内存数据库的同步进程实时检测并解析所述重做日志redolog，并重组成数据库操作语句；

根据所述二级同步注册表中的同步信息记录将所述数据库操作语句发送至对应的二级内存数据库，并根据所述数据库操作语句对所述对应二级内存数据库的相关数据进行更新，以保持所述一级内存数据库与对应所述二级内存数据库之间的数据一致性。

9.根据权利要求1至8任一项所述的数据同步方法，其特征在于，每个二级内存数据库的数据为其对应的一级内存数据库中的数据的全量备份。

10.根据权利要求9任一项所述的数据同步方法，其特征在于，通过实时同步保持所述一级内存数据库与对应所述二级内存数据库之间的数据一致性之后，还包括：

当所述一级内存数据库出现故障时，切换至对应的所述二级内存数据库。