CN106933823B

CN106933823B - 数据同步方法及装置

Info

Publication number: CN106933823B
Application number: CN201511016904.4A
Authority: CN
Inventors: 张良
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2015-12-29
Filing date: 2015-12-29
Publication date: 2020-11-27
Anticipated expiration: 2035-12-29
Also published as: CN106933823A

Abstract

本发明公开了一种数据同步方法及装置，涉及信息技术领域，能够提升数据同步的效率。所述方法包括：获取待同步的各个数据表分别对应的外键关联关系，外键关联关系包括数据表的标识信息和引用数据表的关联数据表的标识信息；通过遍历外键关联关系，判断数据表是否被引用；当数据表未被引用时，将数据表插入到预置结果集合中；当数据表被引用时，将数据插入到预置字典集合中；遍历预置字典集合中的数据表；当预置字典集合中不存在数据表对应的关联数据表时，将数据表插入到预置字典集合，重复执行遍历预置字典集合中的数据表的步骤；按照数据表插入到预置预置字典集合的顺序，同步各个数据表。本发明适用于数据的同步。

Description

数据同步方法及装置

技术领域

本发明涉及信息技术领域，尤其涉及一种数据同步方法及装置。

背景技术

随着信息技术的不断发展，互联网能够处理的数据量也越来越大。由于单台的服务器的性能的限制，在实际的互联网数据处理时，通常采用多台的服务器。因此，保证多台服务器中数据的一致性具有很非常重要的意义。目前，通常采用同步所有服务器数据库的方式，保证多台服务器中数据的一致性。然而，数据库中的有些关系型的数据表中可能存在外键的关联关系，当数据库中存在以下情况时，1)：引用表需要插入一条数据时被引用的数据表中不存在相关记录；2)：被引用表需要删除一条数据时，这条数据有被别的表引用；3)引用表需修改引用的内容时，相关引用的内容在被引用表中不存在，数据同步就可能失败。

目前，为了避免数据同步失败，保证多台服务器中数据的一致性，在进行数据同步之前，通常需要根据待同步的配置待同步的数据和逻辑，即每当数据更新时，都需要重新修改相关的逻辑，造成无法做到自动适应相应的改变，从而导致数据同步的效率较低。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述技术问题得数据同步方法及装置。

依据本发明一方面，本发明实施例提供了一种数据同步方法，包括：

获取待同步的各个数据表分别对应的外键关联关系，所述外键关联关系包括数据表的标识信息和引用所述数据表的关联数据表的标识信息；

通过遍历所述外键关联关系，判断所述数据表是否被引用；

当所述数据表未被引用时，将所述数据表插入到预置结果集合中；

当所述数据表被引用时，将所述数据插入到预置字典集合中；

遍历所述预置字典集合中的数据表；

当所述预置字典集合中不存在所述数据表对应的关联数据表时，将所述数据表插入到所述预置结果集合，重复执行遍历所述预置字典集合中的数据表的步骤；

按照所述数据表插入到所述预置结果集合的顺序，同步所述各个数据表。

依据本发明另一方面，本发明实施例提供了一种数据同步装置，包括：

获取单元，用于获取待同步的各个数据表分别对应的外键关联关系，所述外键关联关系包括数据表的标识信息和引用所述数据表的关联数据表的标识信息；

判断单元，用于通过遍历所述外键关联关系，判断所述数据表是否被引用；

插入单元，用于当所述数据表未被引用时，将所述数据表插入到预置结果集合中；

所述插入单元，还用于当所述数据表被引用时，将所述数据插入到预置字典集合中；

遍历单元，用于遍历所述预置字典集合中的数据表；

所述插入单元，还用于当预置字典集合中不存在所述数据表对应的关联数据表时，将所述数据表插入到预置结果集合，重复执行遍历所述预置字典集合中的数据表的步骤；

同步单元，用于按照所述数据表插入到所述预置结果集合的顺序，同步所述各个数据表。

借由上述技术方案，本发明提供的一种数据同步方法及装置。首先获取待同步的各个数据表分别对应的外键关联关系，所述外键关联关系包括数据表的标识信息和引用所述数据表的关联数据表的标识信息；通过遍历所述外键关联关系，判断所述数据表是否被引用；当所述数据表未被引用时，将所述数据表插入到预置结果集合中；当所述数据表被引用时，将所述数据插入到预置字典集合中；遍历所述预置字典集合中的数据表；当所述预置字典集合中不存在所述数据表对应的关联数据表时，将所述数据表插入到所述预置结果集合，重复执行遍历所述预置字典集合中的数据表的步骤；按照所述数据表插入到所述预置结果集合的顺序，同步所述各个数据表。与目前在进行数据同步之前，通常需要根据待同步的配置待同步的数据和逻辑相比，本发明实施例对待同步的各个数据表按照外键关联关系进行排序，然后按照排序后的顺序同步所述各个数据表，能够避免重复修改数据表的逻辑，从而能够提升数据同步的效率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据同步方法的流程图；

图2示出了本发明实施例提供的另一种数据同步方法的流程图；

图3示出了本发明实施例提供的一种数据同步装置的结构示意图；

图4示出了本发明实施例提供的一种数据同步装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种数据同步方法，如图1所示，所述方法包括：

101、获取待同步的各个数据表分别对应的外键关联关系。

其中，所述外键关联关系包括数据表的标识信息和引用所述数据表的关联数据表的标识信息。外键关联是指的一个数据表的主键和另外一个数据表的非主键之间的关联。具体地，所述数据表对应的外键关联关系表示数据表与其他数据表之间的关联关系。在本发明实施例中，所述数据表对应的外键关联关系表示数据表与其他数据表之间的引用关系。所述数据表的标识信息可以为数据表的名称，也可以为数据表的身份标识号(Identifify，ID)，本发明实施例不做限定。例如，数据表为数据表A，引用数据表A的关联数据表为数据表B。

102、通过遍历外键关联关系，判断数据表是否被引用。

103、当数据表未被引用时，将数据表插入到预置结果集合中。

104、当数据表被引用时，将数据插入到预置字典集合中。

具体而言，可以是通过遍历外键关联关系，将数据表中未被其他数据表引用的数据表插入到预置结果集合并将数据表中被其他数据表引用的数据表插入到预置字典集合。

例如，待同步的数据表为数据表A、数据表B、数据表C、数据表D。各个数据表对应的外键关键关系可以为以存储表的形式存储，如表1：

表1

待同步的数据表	关联数据表
		数据表A
数据表B	数据表C
		数据表C	数据表D
数据表D

从表1中可以看出，数据表A未被其他数据表引用，同时引用数据C的数据表D也未被其他数据表引用，则将数据表A插入到预置结果集合，然后再将数据表D插入到预置结果集合。此时，预置结果集合为(数据表A、数据表D)。数据表B被数据表C引用，数据表C被数据表B引用，则将数据表B和数据表C加入到预置字典集合中，此时预置字典集合为(数据表B、数据表C)。

105、遍历预置字典集合中的数据表。

106、当预置字典集合中不存在数据表对应的关联数据表时，将数据表插入到预置结果集合，重复执行遍历预置字典集合中的数据表的步骤。

例如，预置字典集合为(数据表B、数据表C)，数据表B被数据表C引用，数据表B对应的关联数据表为数据表C，此时不将数据表B插入到预置结果集合中。数据表C被数据表D引用，数据表C对应的关联数据表为数据表D，数据表D不在预置字典集合中，则将数据表C插入到预置结果集合中。此时，重复执行遍历预置字典集合中的数据表的步骤，数据表C中不存在预置字典集合中，即数据表B对应的关联数据表C不存在预置字典集合中，则将数据表B插入到预置结果集合中。

107、按照数据表插入到预置结果集合的顺序，同步各个数据表。

例如，若插入到预置结果集合中的顺序为数据表A、数据表D、数据表C、数据表B，则按照上述顺序进行数据表A、数据表B、数据表C、数据表D的同步。与目前直接按照数据表A、数据表B、数据表C、数据表D的顺序进行数据表的同步相比，本发明能够避免当数据表B更新，而引用数据表B的数据表C不更新造成的数据不一致的问题；同时按照数据表插入到所述预置存储位置的顺序，同步各个数据表，能够避免数据更新时重新修改相关的逻辑，从而能够提升数据同步的效率。

本发明提供的一种数据同步方法。首先获取待同步的各个数据表分别对应的外键关联关系，所述外键关联关系包括数据表的标识信息和引用所述数据表的关联数据表的标识信息；通过遍历所述外键关联关系，判断所述数据表是否被引用；当所述数据表未被引用时，将所述数据表插入到预置结果集合中；当所述数据表被引用时，将所述数据插入到预置字典集合中；遍历所述预置字典集合中的数据表；当所述预置字典集合中不存在所述数据表对应的关联数据表时，将所述数据表插入到所述预置结果集合，重复执行遍历所述预置字典集合中的数据表的步骤；按照所述数据表插入到所述预置结果集合的顺序，同步所述各个数据表。与目前在进行数据同步之前，通常需要根据待同步的配置待同步的数据和逻辑相比，本发明实施例对待同步的各个数据表按照外键关联关系进行排序，然后按照排序后的顺序同步所述各个数据表，能够避免重复修改数据表的逻辑，从而能够提升数据同步的效率。

本发明实施例提供了另一种数据同步方法，如图2所示，所述方法包括：

201、获取待同步的各个数据表分别对应的外键关联关系。

其中，所述外键关联关系包括数据表的标识信息和引用所述数据表的关联数据表的标识信息。所述数据表的标识信息可以为数据表的名称，也可以为数据表的ID，本发明实施例不做限定。例如，数据表为数据表A，引用数据表A的关联数据表为数据表B。

202、通过遍历外键关联关系，判断数据表是否被引用。

203、当数据表未被引用时，将数据表插入到预置结果集合中。

204、当数据表被引用时，将数据插入到预置字典集合中。

例如，待同步的数据表为数据表A、数据表B、数据表C、数据表D、数据表E。各个数据表对应的外键关键关系可以为以存储表的形式存储，如表2：

表2

待同步的数据表	关联数据表
		数据表A	数据表C
数据表B
		数据表C	数据表D
数据表D	数据表E
		数据表E

从表2中可以看出，数据表B未被其他数据表引用，同时数据表E也未被其他数据表引用，则将数据表插入到预置结果集合，此时预置结果集合为(数据表B、数据表E)，然后将数据表A、数据表C、数据表D插入到预置字典集合，预置字典集合为(数据表A、数据表C、数据表D)。

205、遍历预置字典集合中的数据表。

206、检测预置字典集合是否存在数据表对应的关联数据表。当预置字典集合中不存在数据表对应的关联数据表时，则执行步骤207。当预置字典集合中存在数据表对应的关联数据表时，则执行步骤205。

207、将数据表插入到预置结果集合。

208、当预置字典集合中的数据为零时，按照数据表插入到预置结果集合的顺序，同步各个数据表。

对于本发明实施例，当预置字典集合中的数据为零时，说明所有待同步的数据表均被插入到所述预置字典集合中。

进一步地，本发明实施例还包括配置功能：为预置字典集合配置多个Key-Value键值对。

其中，所述Key为插入的数据表的标识信息，所述Value为插入的数据表对应的关联数据表的标识信息。例如，若插入到预置字典集合数据表为数据表A、数据表C、数据表D，所述预置字典集合的存储形式可以如表3：

表3

待同步的数据表	关联数据表
		数据表A	数据表C
数据表C	数据表D
		数据表D	数据表E

对于本发明实施例，步骤206之前，具体还可以包括：当预置字典集合中保存的每一个Key对应的Value中存在未被其他数据表引用的关联数据表时，将所述Key-Value键值对插入到所述预置结果集合中，并在所述预置字典集合中删除所述Key-Value键值对。此时，步骤206具体可以为：当所述预置字典集合中不存在Key-Value键值对时，按照数据表插入到所述预置结果集合的顺序，同步所述各个数据表。

例如，从表3可以看出数据表E在预置字典中不存在，则数据表D为未被其他的数据表引用的数据表，将数据表D插入到结果集合中，此时结果集合为(数据表B、数据表E、数据表D)并将数据表D从预置字典集合中删除；然后又判断数据表D在预置字典中不存在，则数据表C未被其他的数据表引用的数据表，将数据表C插入到结果集合中并将数据表C从预置字典集合中删除，此时结果集合为(数据表B、数据表E、数据表D、数据表C)；最后判断数据表C在预置字典中不存在，则数据表A未被其他的数据表引用的数据表，将数据表A插入到结果集合中并将数据表A从预置字典集合中删除，此时结果集合为(数据表B、数据表E、数据表D、数据表C)，同时预置字典集合中不存在Key-Value键值对。当预置字典集合中不存在Key-Value键值对时，说明完成所有待同步的数据表的排序，此时根据排序后的顺序进行数据表的同步，能够保证数据的一致性。

对于本发明实施例，对待同步的各个数据表按照外键关联关系进行排序，然后按照排序后的顺序同步所述各个数据表，能够避免重复修改数据表的逻辑，从而能够提升数据同步的效率。

进一步地，本发明实施例提供一种数据同步装置，如图3所示，所述装置包括：获取单元31、判断单元32、插入单元33、遍历单元34、同步单元35。

所述获取单元31，用于获取待同步的各个数据表分别对应的外键关联关系，所述外键关联关系包括数据表的标识信息和引用所述数据表的关联数据表的标识信息。

所述判断单元32，用于通过遍历所述外键关联关系，判断所述数据表是否被引用。

所述插入单元33，用于当所述数据表未被引用时，将所述数据表插入到预置结果集合中。

所述插入单元33，还用于当所述数据表被引用时，将所述数据插入到预置字典集合中。

所述遍历单元34，用于遍历所述预置字典集合中的数据表。

所述插入单元33，还用于当所述预置字典集合中不存在所述数据表对应的关联数据表时，将所述数据表插入到预置字典集合，重复执行遍历所述预置字典集合中的数据表的步骤。

所述同步单元35，用于按照所述数据表插入到所述预置结果集合的顺序，同步所述各个数据表。

所述同步单元35，具体用于当所述预置字典集合中的数据为零时，按照数据表插入到所述预置结果集合的顺序，同步所述各个数据表。

如图4，所述装置还包括：配置单元36。

所述配置单元36，用于为所述预置字典集合配置多个Key-Value键值对，所述Key为插入的数据表的标识信息，所述Value为插入的数据表对应的关联数据表的标识信息。

所述装置还包括：删除单元37。

所述插入单元33，还用于当所述预置字典集合中保存的每一个Key对应的Value中存在未被其他数据表引用的关联数据表时，将所述Key-Value键值对插入到所述预置结果集合中。

所述删除单元37，用于在所述预置字典集合中删除所述Key-Value键值对。

所述同步单元35，具体还可以用于当所述预置字典集合中不存在Key-Value键值对时，按照数据表插入到所述预置结果集合的顺序，同步所述各个数据表。

该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。

本发明提供的一种数据同步装置。首先获取待同步的各个数据表分别对应的外键关联关系，所述外键关联关系包括数据表的标识信息和引用所述数据表的关联数据表的标识信息；通过遍历所述外键关联关系，判断所述数据表是否被引用；当所述数据表未被引用时，将所述数据表插入到预置结果集合中；当所述数据表被引用时，将所述数据插入到预置字典集合中；遍历所述预置字典集合中的数据表；当所述预置字典集合中不存在所述数据表对应的关联数据表时，将所述数据表插入到所述预置结果集合，重复执行遍历所述预置字典集合中的数据表的步骤；按照所述数据表插入到所述预置结果集合的顺序，同步所述各个数据表。与目前在进行数据同步之前，通常需要根据待同步的配置待同步的数据和逻辑相比，本发明实施例对待同步的各个数据表按照外键关联关系进行排序，然后按照排序后的顺序同步所述各个数据表，能够避免重复修改数据表的逻辑，从而能够提升数据同步的效率。

所述数据同步装置包括处理器和存储器，上述获取单元、判断单元、插入单元、遍历单元、同步单元、配置单元和删除单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提升数据同步的效率。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：

通过遍历所述外键关联关系，判断所述数据表是否被引用；

遍历所述预置字典集合中的数据表；

当预置字典集合中不存在所述数据表对应的关联数据表时，将所述数据表插入到预置字典集合_，重复执行遍历所述预置字典集合中的数据表步骤；

按照数据表插入到所述预置字典集合的顺序，同步所述各个数据表。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种数据同步方法，其特征在于，包括：

通过遍历所述外键关联关系，判断所述数据表是否被引用；

遍历所述预置字典集合中的数据表；

当所述预置字典集合中不存在数据表对应的关联数据表时，将所述数据表插入到所述预置结果集合，重复执行遍历所述预置字典集合中的数据表的步骤；

按照数据表插入到所述预置结果集合的顺序，同步所述各个数据表。

2.根据权利要求1所述的数据同步方法，其特征在于，所述按照数据表插入到所述预置结果集合的顺序，同步所述各个数据表包括：

当所述预置字典集合中的数据为零时，按照数据表插入到所述预置结果集合的顺序，同步所述各个数据表。

3.根据权利要求2所述的数据同步方法，其特征在于，所述方法还包括：

为所述预置字典集合配置多个Key-Value键值对，所述Key为插入的数据表的标识信息，所述Value为插入的数据表对应的关联数据表的标识信息。

4.根据权利要求3所述的数据同步方法，其特征在于，所述当所述预置字典集合中的数据为零时，按照数据表插入到所述预置结果集合的顺序，同步所述各个数据表之前，所述方法还包括：

当预置字典集合中保存的每一个Key对应的Value中存在未被其他数据表引用的关联数据表时，将所述Key-Value键值对插入到所述预置结果集合中，并在所述预置字典集合中删除所述Key-Value键值对。

5.根据权利要求3所述的数据同步方法，其特征在于，当所述预置字典集合中的数据为零时，按照数据表插入到所述预置结果集合的顺序，同步所述各个数据表包括：

当所述预置字典集合中不存在Key-Value键值对时，按照数据表插入到所述预置结果集合的顺序，同步所述各个数据表。

6.一种数据同步装置，其特征在于，包括：

遍历单元，用于遍历所述预置字典集合中的数据表；

所述插入单元，还用于当所述预置字典集合中不存在数据表对应的关联数据表时，将所述数据表插入到所述预置结果集合，重复执行遍历所述预置字典集合中的数据表的步骤；

同步单元，用于按照数据表插入到所述预置结果集合的顺序，同步所述各个数据表。

7.根据权利要求6所述的数据同步装置，其特征在于，

所述同步单元，具体用于当所述预置字典集合中的数据为零时，按照数据表插入到所述预置结果集合的顺序，同步所述各个数据表。

8.根据权利要求7所述的数据同步装置，其特征在于，所述装置还包括：

配置单元，用于为所述预置字典集合配置多个Key-Value键值对，所述Key为插入的数据表的标识信息，所述Value为插入的数据表对应的关联数据表的标识信息。

9.根据权利要求8所述的数据同步装置，其特征在于，所述装置还包括：删除单元，

所述插入单元，还用于当所述预置字典集合中保存的每一个Key对应的Value中存在未被其他数据表引用的关联数据表时，将所述Key-Value键值对插入到所述预置结果集合中；

所述删除单元，用于在所述预置字典集合中删除所述Key-Value键值对。

10.根据权利要求8所述的数据同步装置，其特征在于，

所述同步单元，具体还可以用于当所述预置字典集合中不存在Key-Value键值对时，按照数据表插入到所述预置结果集合的顺序，同步所述各个数据表。

11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求5中任意一项所述的数据同步方法。

12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求5中任意一项所述的数据同步方法。