CN117609381A - 数据同步方法及装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本公开提供了一种数据同步方法及装置、电子设备、计算机可读存储介质，该方法包括：通过解析第一服务器处第一存储装置的数据更新日志，得到针对第二服务器处第三存储装置的第一待同步数据集合，并生成针对第二服务器处第四存储装置的数据同步消息；该数据同步消息用于指示第四存储装置从第二存储装置处获取第一待同步数据集合对应的第二待同步数据集合，以使得第二服务器获取到第一待同步数据集合和数据同步消息之后，利用第三存储装置和第四存储装置分别对第一服务器处的第一存储装置和第二存储装置进行备份。本公开实施例能够在对第一服务器处第一存储装置和第二存储装置进行数据同步时，提高了两个数据同步过程在时效上的一致性。

Description

数据同步方法及装置、电子设备、计算机可读存储介质

技术领域

本公开涉及计算机技术领域，特别涉及一种数据同步方法及装置、电子设备、计算机可读存储介质。

背景技术

采用高可用系统架构支持重要系统，为关键业务提供7x24的不间断服务，已经成为众多企业保障业务稳定、持续运转的主要选择。服务多活是高可用架构重要实施手段，常见的多活架构有同城双活、两地三中心、异地多活架构等。多活架构的关键点就是不同地方上的业务系统都能够独立提供业务服务。正常情况下，用户无论访问哪一个地方的业务系统，都能够得到正确的业务服务；某个地方的业务系统异常的时候，用户访问其他地方正常的业务系统，能够得到正确的业务服务。

在实际应用中，业务系统通常包括多个数据库，这些数据库通过不同的数据同步中间件来进行数据同步，这就导致不同数据库数据同步的时效性不同。

因此，亟需一种不同数据库数据同步的时效一致性更好的数据同步方法。

发明内容

本公开提供一种数据同步方法及装置、电子设备、计算机可读存储介质。

第一方面，本公开提供了一种数据同步方法，该数据同步方法包括：

获取第一服务器处第一存储装置的至少一个数据更新日志；所述第一服务器包括用于存储第一数据的所述第一存储装置，以及用于存储所述第一数据对应的第二数据的第二存储装置；第二服务器包括用于对所述第一存储装置进行数据备份的第三存储装置，以及用于对所述第二存储装置进行数据备份的第四存储装置；

通过解析所述数据更新日志，得到针对所述第三存储装置的第一待同步数据集合；

根据所述数据更新日志，生成针对所述第四存储装置的数据同步消息；所述数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合；

发送所述第一待同步数据集合和所述数据同步消息至所述第二服务器。

进一步的，所述根据所述数据更新日志，生成针对所述第四存储装置的数据同步消息，具体包括：

通过解析所述数据更新日志，得到第一目标数据；

针对每个所述第一目标数据，确定该第一目标数据对应的第二目标数据的标识信息；所述第二待同步数据集合包括各个所述第一目标数据对应的所述第二目标数据；

生成包括各个所述第二目标数据的标识信息的所述数据同步消息。

进一步的，所述针对每个所述第一目标数据，确定该第一目标数据对应的第二目标数据的标识信息，具体包括：

针对每个所述第一目标数据，确定该第一目标数据对应的第二目标数据的索引信息；所述索引信息用于表示所述第二目标数据在所述第二存储装置处存储位置；

将所述索引信息确定为第二目标数据的标识信息。

进一步的，所述数据更新日志包括向所述第一存储装置写入第一目标数据的数据写入日志；

所述根据所述数据更新日志，生成针对所述第四存储装置的数据同步消息之前，还包括：

对所述数据更新日志进行筛选，得到所述数据更新日志中的所述数据写入日志；

所述通过解析所述数据更新日志，得到第一目标数据，具体包括：

通过解析所述数据写入日志，得到所述第一目标数据。

进一步的，所述获取第一服务器处第一存储装置的至少一个数据更新日志，具体包括：

发送备份指令至所述第一服务器；所述备份指令用于获取所述第一存储装置的所述数据更新日志；

接收所述第一服务器响应于所述备份指令反馈的所述数据更新日志。

进一步的，所述第一存储装置用于存储业务数据；所述第二存储装置用于存储所述业务数据对应的业务文件。

第二方面，本公开提供了一种数据同步方法，应用于第二服务器，所述方法包括：

获取第一待同步数据集合和数据同步消息；第一服务器包括用于存储第一数据的第一存储装置，以及用于存储所述第一数据对应的第二数据的第二存储装置；第二服务器包括用于对所述第一存储装置进行数据备份的第三存储装置，以及用于对所述第二存储装置进行数据备份的第四存储装置；所述第一待同步数据集合是通过解析所述第一存储装置的数据更新日志得到的；所述数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合；

根据所述第一待同步数据集合，对所述第三存储装置进行数据同步处理；

响应于所述数据同步消息，从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合。

进一步的，所述数据同步消息包括用于表示所述第二待同步数据集合在所述第二存储装置处存储位置的索引信息；

所述响应于所述数据同步消息，从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合，具体包括：

响应于所述数据同步消息，利用钩子函数触发所述第二服务器处的文件同步模块；

利用所述文件同步模块，根据所述索引信息从所述第二存储装置拉取所述第二待同步数据集合。

第三方面，本公开提供了一种数据同步装置，包括：

日志获取模块，用于获取第一服务器处第一存储装置的至少一个数据更新日志；所述第一服务器包括用于存储第一数据的所述第一存储装置，以及用于存储所述第一数据对应的第二数据的第二存储装置；第二服务器包括用于对所述第一存储装置进行数据备份的第三存储装置，以及用于对所述第二存储装置进行数据备份的第四存储装置；

日志解析模块，用于通过解析所述数据更新日志，得到针对所述第三存储装置的第一待同步数据集合；

消息生成模块，用于根据所述数据更新日志，生成针对所述第四存储装置的数据同步消息；所述数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合；

发送模块，用于发送所述第一待同步数据集合和所述数据同步消息至所述第二服务器。

第四方面，本公开提供了一种数据同步装置，包括：

获取模块，用于获取第一待同步数据集合和数据同步消息；第一服务器包括用于存储第一数据的第一存储装置，以及用于存储所述第一数据对应的第二数据的第二存储装置；第二服务器包括用于对所述第一存储装置进行数据备份的第三存储装置，以及用于对所述第二存储装置进行数据备份的第四存储装置；所述第一待同步数据集合是通过解析所述第一存储装置的数据更新日志得到的；所述数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合；

数据同步模块，用于根据所述第一待同步数据集合，对所述第三存储装置进行数据同步处理；

文件拉取模块，用于响应于所述数据同步消息，从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合。

第五方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的数据同步方法。

第六方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现上述的数据同步方法。

本公开实施例所提供的数据同步方法，通过解析第一服务器处第一存储装置的数据更新日志，得到针对第二服务器处所述第三存储装置的第一待同步数据集合，并生成针对第二服务器处第四存储装置的数据同步消息；该数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合，以使得第二服务器获取到第一待同步数据集合和数据同步消息之后，利用第二服务器处的第三存储装置对第一存储装置进行备份，利用第二服务器处的第四存储装置对第二存储装置进行备份。由此在利用第一服务器处第一存储装置的数据更新日志对第一存储装置进行数据同步时，通过数据同步消息触发针对第一服务器处第二存储装置的同步过程，从而将第一存储装置处待同步的第一数据以及第二存储装置处与第一数据对应的第二数据同步至第二服务器；由此提高了两个数据同步过程在时效上的一致性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。

附图说明

附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。

图1为本公开实施例提供的数据同步方法的应用场景图；

图2为本公开实施例提供的一种数据同步方法的流程图；

图3为本公开实施例提供的另一种数据同步方法的流程图；

图4为本公开实施例提供的一种数据同步系统的示意图；

图5为本公开实施例提供的一种数据同步装置的框图；

图6为本公开实施例提供的另一种数据同步装置的框图；

图7为本公开实施例提供的一种电子设备的框图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例作出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

图1示意性地示出了本公开实施例提供的数据同步方法的应用场景图。图1为双活架构的示意图，第一服务器和第二服务器为设置于不同地方的服务器，均能够独立提供应用服务。

本公开实施例的应用场景可以包括第一服务器和第二服务器；第一服务器和第二服务器均包括接入层、应用层和存储层。第一服务器的存储层和第二服务器的存储层都拥有全量数据，第一服务器或第二服务器写入数据后，都需要将该数据同步至另一个服务器。第一服务器的存储层可以包括多个数据库，例如存储业务数据的第一存储装置、存储与业务数据对应的业务文件的第二存储装置。对应的，第二服务器的存储层可以包括与所述第一存储装置对应的第三存储装置，以及与所述第二存储装置对应的第四存储装置。

现有技术中，第一服务器处的各个数据库通过各自的数据同步中间件分别进行数据同步，同一服务器处的各个数据库之间没有直接性交互，这就造成了不同数据库数据同步的时效性不同。例如，所述第一存储装置用于存储业务数据；所述第二存储装置用于存储所述业务数据对应的业务文件。此时业务文件的同步时间，一般晚于其对应的业务数据。而业务数据的处理依赖于业务文件，由此导致第二服务器处的服务稳定性下降。

从程序角度而言，本公开实施例所提供的数据同步方法可以由第一服务器执行。本公开实施例所提供的数据同步方法和装置也可以由不同于第一服务器和第二服务器，且能够与第一服务器和第二服务器通信的服务器或服务器集群执行，例如专用的数据同步服务器或数据备份服务器。

需要说明的是，本公开实施例所提供的数据同步方法还可以由第二服务器执行，以将第二服务器处第三存储装置和第四存储装置存储的数据，分别同步至第一服务器的第一存储装置和第二存储装置。

应该理解，图1中的应用场景图仅仅是示意性的。根据实现需要，本公开实施例所提供的数据同步方法和装置，可以应用于同城灾备、同城双活、两地三中心、异地双活、异地多活等容灾备份场景。

图2为本公开实施例提供的一种数据同步方法的流程图。如图2所示，该方法可以包括：

步骤201，获取第一服务器处第一存储装置的至少一个数据更新日志；所述第一服务器包括用于存储第一数据的所述第一存储装置，以及用于存储所述第一数据对应的第二数据的第二存储装置；第二服务器包括用于对所述第一存储装置进行数据备份的第三存储装置，以及用于对所述第二存储装置进行数据备份的第四存储装置。

在一些实施例中，所述第一服务器可以是服务器或者服务器集群。类似的，所述第二服务器也可以是服务器或者服务器集群。一般来说，所述第一服务器和所述第二服务器可以设置于不同的地理位置，所述第一服务器和所述第二服务器可以设置于不同的机房中。所述第一服务器和所述第二服务器均可以是同城灾备、同城双活、两地三中心、异地双活、异地多活等容灾备份系统中的两个服务中心。比如，所述第一服务器和所述第二服务器为图1中所示的异地双活架构中的两个服务中心；又比如，所述第一服务器为双机热备架构中的工作服务器，所述第二服务器为所述双机热备架构中的备份服务器。

在一些实施例中，所述第二服务器的数量可以是多个，例如，所述第一服务器是异地多活中的任意一个服务中心，所述第二服务器可以包括该异地多活中的其他服务中心。

在一些实施例中，所述第一服务器可以包括两个及以上数据存储装置；所述第二服务器至少包括用于对所述第一服务器进行数据备份的两个及以上数据存储装置。

在一些实施例中，所述第一数据和所述第二数据可以是具有对应的数据。例如，第一数据和所述第二数据可以为同一客户、同一订单或同一事务的两个数据。对两者中一个数据进行处理时，可能需要用到另一个数据。

在一些实施例中，所述第三存储装置可以用于对第一存储装置进行备份或同步；所述第四存储装置可以用于对第二存储装置进行备份或同步。

在一些实施例中，所述第一存储装置也可以用于对第三存储装置进行备份或同步；所述第二存储装置可以用于对第四存储装置进行备份或同步。

步骤202，通过解析所述数据更新日志，得到针对所述第三存储装置的第一待同步数据集合。

在一些实施例中，所述数据更新日志用于记录对所述第一存储装置进行的新增、修改和删除等各种数据更新操作。通过解析所述数据更新日志，可以得到所述第一存储装置处新增、修改或删除的第一数据，记为第一目标数据。

在一些实施例中，所述数据更新日志的数量为至少一个。所述第一待同步数据集合中包括从所述数据更新日志中解析出来的第一目标数据。

步骤203，根据所述数据更新日志，生成针对所述第四存储装置的数据同步消息；所述数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合。

在一些实施例中，所述第二待同步数据集合可以包括从所述数据更新日志中解析出来的第一目标数据对应的第二目标数据。

在一些实施例中，所述数据同步消息可以包括所述第二待同步数据集合中第二目标数据的标识信息，例如，所述第二目标数据的唯一标识信息、索引信息等。

步骤204，发送所述第一待同步数据集合和所述数据同步消息至所述第二服务器。

本公开实施例中，通过解析第一服务器处第一存储装置的数据更新日志，得到针对第二服务器处所述第三存储装置的第一待同步数据集合，并生成针对第二服务器处第四存储装置的数据同步消息；该数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合，以使得第二服务器获取到第一待同步数据集合和数据同步消息之后，利用第二服务器处的第三存储装置对第一存储装置进行备份，利用第二服务器处的第四存储装置对第二存储装置进行备份。由此在利用第一服务器处第一存储装置的数据更新日志对第一存储装置进行数据同步时，通过数据同步消息触发针对第一服务器处第二存储装置的同步过程，从而将第一存储装置处待同步的第一数据和第二存储装置处与第一数据对应的第二数据同步至第二服务器；由此提高了两个数据同步过程在时效上的一致性。

基于图2中的方法，本公开实施例还提供了该方法的一些具体实施方案，下面进行说明。

进一步的，所述步骤203：根据所述数据更新日志，生成针对所述第四存储装置的数据同步消息，具体包括：

通过解析所述数据更新日志，得到第一目标数据；

针对每个所述第一目标数据，确定该第一目标数据对应的第二目标数据的标识信息；所述第二待同步数据集合包括各个所述第一目标数据对应的所述第二目标数据；

生成包括各个所述第二目标数据的标识信息的所述数据同步消息。

在一些实施例中，所述第一目标数据可以是对所述数据更新日志解析得到的、第一存储装置处尚未被同步的第一数据。所述第二目标数据可以是所述第二存储装置处存储的、与所述第一目标数据相对应的第二数据。

在一些实施例中，同一个第一目标数据，可以对应于一个或多个第二目标数据。

在一些实施例中，所述标识信息可以是所述第二目标数据的唯一标识信息、索引信息等。

在一些实施例中，所述第一目标数据可以包括所述第二目标数据的标识信息。例如，所述第一目标数据可以是某用户的业务数据，其中包括用户的身份证号；其对应的第二目标数据可以是该用户的身份证照片，其标识信息为该用户的身份证号。此时可以从所述第一目标数据中直接读取其对应的第二目标数据的标识信息。

在一些实施例中，根据所述第一目标数据的内容，在所述第二存储装置中对所述第二目标数据进行搜索，即可得到所述第二目标数据的标识信息。例如，所述第一目标数据可是某用户的业务数据，其中包括用户标识(User Identification，UID)，其对应的第二目标数据可以包括该用户的身份证照片和保险合同的PDF文档，身份证照片和PDF文档的元数据都包括所属用户的用户标识。此时根据用户标识即可搜索到该用户的身份证照片和保险合同的PDF文档。

在一些实施例中，所述数据同步消息可以包括所述第二待同步数据集合中各个第二目标数据的标识信息。所述数据同步消息用于指示所述第四存储装置根据所述标识信息，从所述第二存储装置处获取所述第二待同步数据集合。

本公开实施例中，通过解析所述第一存储装置的所述数据更新日志，得到第一存储装置处待同步的第一目标数据，然后对所述第一存储装置进行数据同步；根据所述第一目标数据确定第二存储装置处待同步的第二目标数据的标识信息；从而触发针对第一目标数据对应的第二目标数据的数据同步操作；由此使得第二目标数据的数据同步的开始时间接近于所述第一目标数据的开始时间，提高两个数据同步过程在时效上的一致性。同时，根据第一存储装置的数据更新日志对第一存储装置和第二存储装置进行数据同步，可以防止数据同步中的遗漏。

进一步的，所述针对每个所述第一目标数据，确定该第一目标数据对应的第二目标数据的标识信息，具体包括：

针对每个所述第一目标数据，确定该第一目标数据对应的第二目标数据的索引信息；所述索引信息用于表示所述第二目标数据在所述第二存储装置处存储位置；

将所述索引信息确定为第二目标数据的标识信息。

在一些实施例中，所述索引信息用于在所述第二存储装置快速查找所述第二目标数据。

本公开实施例中，通过将所述第二目标数据的索引信息确定为其标识信息，在所述数据同步消息触发针对第二存储装置的数据同步操作之后，可以在第二存储装置处快速查找到待同步的第二目标数据，减少所述第二目标数据所需的数据同步时间。

进一步的，所述数据更新日志包括向所述第一存储装置写入第一目标数据的数据写入日志；

所述根据所述数据更新日志，生成针对所述第四存储装置的数据同步消息之前，还包括：

对所述数据更新日志进行筛选，得到所述数据更新日志中的所述数据写入日志；

所述通过解析所述数据更新日志，得到第一目标数据，具体包括：

通过解析所述数据写入日志，得到所述第一目标数据。

在一些实施例中，所述第一目标数据可以是对所述数据写入日志解析得到的、第一存储装置处尚未同步的第一数据。所述第二目标数据可以是所述第二存储装置处存储的、与所述第一目标数据相对应的第二数据。

在一些实施例中，所述第二存储装置处不存在第一目标数据并不对应的第一目标数据。例如，所述第一存储装置用于存储业务数据；所述第二存储装置用于存储所述业务数据对应的业务文件。所述数据更新日志可以包括数据新增日志、数据修改日志和数据删除日志这三类，分别对应于针对所述第一存储装置的数据新增、数据修改和数据删除等操作。但是对所述第一存储装置中的业务数据进行数据修改操作或数据删除操作时，并不一定对第二存储装置中业务文件进行修改，此时可以仅根据所述数据更新日志中的所述数据写入日志，生成所述数据同步消息。

本公开实施例中通过筛选得到所述数据更新日志中的所述数据写入日志，从而仅对仅根据所述数据写入日志对第二目标数据进行数据同步，有利于减少数据同步所需的时间。

进一步的，所述获取第一服务器处第一存储装置的至少一个数据更新日志，具体包括：

发送备份指令至所述第一服务器；所述备份指令用于获取所述第一存储装置的所述数据更新日志；

接收所述第一服务器响应于所述备份指令反馈的所述数据更新日志。

在一些实施例中，所述备份指令用于获取所述第一存储装置指定数量或指定时间段内的所述数据更新日志。

在一些实施例中，所述备份指令可以定时生成，还可以在所述第一存储装置或所述第一存储装置处的数据更新日志达到预设数量时自动生成。

本公开实施例中，通过备份指令获取第一存储装置的数据更新日志，来触发针对所述第一服务器处的第一存储装置和第二存储装置的数据同步，由此使得第二目标数据的数据同步的开始时间接近于所述第一目标数据的开始时间，提高两个数据同步过程在时效上的一致性。

进一步的，所述第一存储装置用于存储业务数据；所述第二存储装置用于存储所述业务数据对应的业务文件。

在一些实施例中，所述业务数据和所述业务文件可以是同一用户、同一事件或同一订单。所述业务文件可以是处理所述业务数据所需的业务文件。

在一些实施例中，所述通过解析所述数据更新日志，得到针对所述第三存储装置的第一待同步数据集合之后，还包括：对第一目标数据进行筛选、统计或分析。

在一些实施例中，所述确定该第一目标数据对应的第二目标数据的标识信息之后，还包括：根据第二目标数据的标识信息，对第二目标数据进行筛选、统计或分析。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于与图2中所示的方案同样的思路，本公开实施例还提供了与图2中方法对应的另一种数据同步方法。从程序角度而言，该流程的执行主体可以是第二服务器，还可以是第二服务器搭载的应用程序。

图3为本公开实施例提供的另一种数据同步方法的流程图。如图3所示，该方法可以包括：

步骤301，获取第一待同步数据集合和数据同步消息；第一服务器包括用于存储第一数据的第一存储装置，以及用于存储所述第一数据对应的第二数据的第二存储装置；第二服务器包括用于对所述第一存储装置进行数据备份的第三存储装置，以及用于对所述第二存储装置进行数据备份的第四存储装置；所述第一待同步数据集合是通过解析所述第一存储装置的数据更新日志得到的；所述数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合；

步骤302，根据所述第一待同步数据集合，对所述第三存储装置进行数据同步处理；

步骤303，响应于所述数据同步消息，从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合。

本公开实施例中，通过第一服务器发送的数据更新日志，将第一服务器中第一存储装置处的第一待同步数据集合同步至第二服务器处所述第三存储装置；利用第一服务器发送的数据同步消息，从第一服务器中第二存储装置处获取与第一待同步数据集合对应的第二待同步数据集合。由此在利用第一服务器处第一存储装置的数据更新日志对第一存储装置进行数据同步时，通过数据同步消息触发针对第一服务器处第二存储装置的同步过程，从而将第一存储装置处具有对应关系的第一数据和第二数据同步至第二服务器；由此提高了两个数据同步过程在时效上的一致性。基于图3中的方法，本公开实施例还提供了该方法的一些具体实施方案，下面进行说明。

进一步的，所述数据同步消息包括用于表示所述第二待同步数据集合在所述第二存储装置处存储位置的索引信息；

所述步骤303：响应于所述数据同步消息，从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合，具体包括：

响应于所述数据同步消息，利用钩子函数触发所述第二服务器处的文件同步模块；

利用所述文件同步模块，根据所述索引信息从所述第二存储装置拉取所述第二待同步数据集合。

在一些实施例中，所述数据同步消息可以用于触发所述第二服务器处的钩子函数，所述钩子函数用于监视所述数据同步消息。

需要说明的是，图2中所示的方法应用于数据同步过程中的数据发送方，图3中的所示的方法应用于数据同步过程中的数据发送方，两者相互对应。限于篇幅，对于图3中的所示的方法的技术细节不再赘述，请参照前文。

图4为本公开实施例提供的一种数据同步系统的示意图。如图4所示，该系统可以包括第一服务器、第二服务器和同步服务器。其中，所述同步服务器可以专用于将第一服务器的数据同步至第二服务器；所述同步服务器还可以兼用为所述第一服务器的数据备份装置。

所述同步服务器通过数据源配置器向第一服务器处的第一存储装置发送备份指令(dump)；所述数据源配置器可以用于适配不同类型的数据库，例如MySQL数据库、Oracle数据库等。

所述第一存储装置将第一存储装置处至少一个待同步的数据更新日志发送至所述同步服务器。

所述同步服务器处的前置处理器可以对数据更新日志进行筛选得到其中的数据写入日志，通过解析数据写入日志得到由第一目标数据组成的第一待同步数据集合。所述数据源配置器第一待同步数据集合发送至第二服务器。所述第二服务器第一待同步数据集合中的第一目标数据保存至所述第三存储装置。所述前置处理器也可以将第一待同步数据集合中的第一目标数据备份至所述同步服务器的存储装置。所述前置处理器还可以用于对所述第一待同步数据集合中的第一目标数据进行统计和分析。对于除数据写入日志之外的其他数据更新日志，所述同步服务器处的前置处理器也可以将其解析后发送至第二服务器。

所述同步服务器的后置处理器进而根据第一目标数据确定其对应的第二目标数据的索引信息，生成包括各个所述第二目标数据的索引信息的数据同步消息，发送至第二服务器。所述第二服务器处的钩子程序被所述数据同步消息触发，进而调用文件同步模块，根据所述索引信息从所述第二存储装置拉取所述第二待同步数据集合。

所述同步服务器的后置处理器还可以用于对第二待同步数据集合中第二目标数据进行统计分析。

此外，本公开还提供了数据同步装置、电子设备、计算机可读存储介质，上述均可用来实现本公开提供的任一种数据同步方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。

图5为本公开实施例提供的一种对应于图2的数据同步装置的结构示意图。所述数据同步装置可以设置于第一服务器中，也可以设置于不同于第一服务器和第二服务器且能够与第一服务器和第二服务器通信的服务器或服务器集群中，例如专用的数据同步服务器或数据备份服务器。

参照图5，本公开实施例提供了一种数据同步装置，该数据同步装置包括：

日志获取模块501，用于获取第一服务器处第一存储装置的至少一个数据更新日志；所述第一服务器包括用于存储第一数据的所述第一存储装置，以及用于存储所述第一数据对应的第二数据的第二存储装置；第二服务器包括用于对所述第一存储装置进行数据备份的第三存储装置，以及用于对所述第二存储装置进行数据备份的第四存储装置；

日志解析模块502，用于通过解析所述数据更新日志，得到针对所述第三存储装置的第一待同步数据集合；

消息生成模块503，用于根据所述数据更新日志，生成针对所述第四存储装置的数据同步消息；所述数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合；

发送模块504，用于发送所述第一待同步数据第一待同步数据集合和所述数据同步消息至所述第二服务器。

图6为本公开实施例提供的一种对应于图3的数据同步装置的结构示意图。所述数据同步装置可以设置于第二服务器中。

参照图6，本公开实施例提供了一种数据同步装置，该数据同步装置包括：

获取模块601，用于获取第一待同步数据第一待同步数据集合和数据同步消息；第一服务器包括用于存储第一数据的所述第一存储装置，以及用于存储所述第一数据对应的第二数据的第二存储装置；第二服务器包括用于对所述第一存储装置进行数据备份的第三存储装置，以及用于对所述第二存储装置进行数据备份的第四存储装置；所述第一待同步数据第一待同步数据集合是通过解析所述第一存储装置的数据更新日志得到的；所述数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合；

数据同步模块602，用于根据所述第一待同步数据集合，对所述第三存储装置进行数据同步处理；

文件拉取模块603，用于响应于所述数据同步消息，从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合。

上述两种数据同步装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图7为本公开实施例提供的一种电子设备的框图。

参照图7，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器701；至少一个存储器702，以及一个或多个I/O接口703，连接在处理器701与存储器702之间；其中，存储器702存储有可被至少一个处理器701执行的一个或多个计算机程序，一个或多个计算机程序被至少一个处理器701执行，以使至少一个处理器701能够执行上述的数据同步方法。

上述电子设备中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现上述的数据同步方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。

本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述数据同步方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读存储介质上，计算机可读存储介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。

如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读程序指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM)、静态随机存取存储器(SRAM)、闪存或其他存储器技术、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读程序指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里所描述的计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (12)

1.一种数据同步方法，其特征在于，包括：

获取第一服务器处第一存储装置的至少一个数据更新日志；所述第一服务器包括用于存储第一数据的所述第一存储装置，以及用于存储所述第一数据对应的第二数据的第二存储装置；第二服务器包括用于对所述第一存储装置进行数据备份的第三存储装置，以及用于对所述第二存储装置进行数据备份的第四存储装置；

通过解析所述数据更新日志，得到针对所述第三存储装置的第一待同步数据集合；

根据所述数据更新日志，生成针对所述第四存储装置的数据同步消息；所述数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合；

发送所述第一待同步数据集合和所述数据同步消息至所述第二服务器。

2.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述数据更新日志，生成针对所述第四存储装置的数据同步消息，具体包括：

通过解析所述数据更新日志，得到第一目标数据；

针对每个所述第一目标数据，确定该第一目标数据对应的第二目标数据的标识信息；所述第二待同步数据集合包括各个所述第一目标数据对应的所述第二目标数据；

生成包括各个所述第二目标数据的标识信息的所述数据同步消息。

3.根据权利要求2所述的数据同步方法，其特征在于，所述针对每个所述第一目标数据，确定该第一目标数据对应的第二目标数据的标识信息，具体包括：

针对每个所述第一目标数据，确定该第一目标数据对应的第二目标数据的索引信息；所述索引信息用于表示所述第二目标数据在所述第二存储装置处存储位置；

将所述索引信息确定为第二目标数据的标识信息。

4.根据权利要求2所述的数据同步方法，其特征在于，所述数据更新日志包括向所述第一存储装置写入第一目标数据的数据写入日志；

所述根据所述数据更新日志，生成针对所述第四存储装置的数据同步消息之前，还包括：

对所述数据更新日志进行筛选，得到所述数据更新日志中的所述数据写入日志；

所述通过解析所述数据更新日志，得到第一目标数据，具体包括：

通过解析所述数据写入日志，得到所述第一目标数据。

5.根据权利要求1所述的数据同步方法，其特征在于，所述获取第一服务器处第一存储装置的至少一个数据更新日志，具体包括：

发送备份指令至所述第一服务器；所述备份指令用于获取所述第一存储装置的所述数据更新日志；

接收所述第一服务器响应于所述备份指令反馈的所述数据更新日志。

6.根据权利要求1所述的数据同步方法，其特征在于，所述第一存储装置用于存储业务数据；所述第二存储装置用于存储所述业务数据对应的业务文件。

7.一种数据同步方法，其特征在于，应用于第二服务器，所述方法包括：

获取第一待同步数据集合和数据同步消息；第一服务器包括用于存储第一数据的第一存储装置，以及用于存储所述第一数据对应的第二数据的第二存储装置；第二服务器包括用于对所述第一存储装置进行数据备份的第三存储装置，以及用于对所述第二存储装置进行数据备份的第四存储装置；所述第一待同步数据集合是通过解析所述第一存储装置的数据更新日志得到的；所述数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合；

根据所述第一待同步数据集合，对所述第三存储装置进行数据同步处理；

响应于所述数据同步消息，从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合。

8.根据权利要求7所述的数据同步方法，其特征在于，所述数据同步消息包括用于表示所述第二待同步数据集合在所述第二存储装置处存储位置的索引信息；

所述响应于所述数据同步消息，从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合，具体包括：

响应于所述数据同步消息，利用钩子函数触发所述第二服务器处的文件同步模块；

利用所述文件同步模块，根据所述索引信息从所述第二存储装置拉取所述第二待同步数据集合。

9.一种数据同步装置，其特征在于，包括：

日志获取模块，用于获取第一服务器处第一存储装置的至少一个数据更新日志；所述第一服务器包括用于存储第一数据的所述第一存储装置，以及用于存储所述第一数据对应的第二数据的第二存储装置；第二服务器包括用于对所述第一存储装置进行数据备份的第三存储装置，以及用于对所述第二存储装置进行数据备份的第四存储装置；

日志解析模块，用于通过解析所述数据更新日志，得到针对所述第三存储装置的第一待同步数据集合；

消息生成模块，用于根据所述数据更新日志，生成针对所述第四存储装置的数据同步消息；所述数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合；

发送模块，用于发送所述第一待同步数据集合和所述数据同步消息至所述第二服务器。

10.一种数据同步装置，其特征在于，包括：

获取模块，用于获取第一待同步数据集合和数据同步消息；第一服务器包括用于存储第一数据的第一存储装置，以及用于存储所述第一数据对应的第二数据的第二存储装置；第二服务器包括用于对所述第一存储装置进行数据备份的第三存储装置，以及用于对所述第二存储装置进行数据备份的第四存储装置；所述第一待同步数据集合是通过解析所述第一存储装置的数据更新日志得到的；所述数据同步消息用于指示所述第四存储装置从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合；

数据同步模块，用于根据所述第一待同步数据集合，对所述第三存储装置进行数据同步处理；

文件拉取模块，用于响应于所述数据同步消息，从所述第二存储装置获取所述第一待同步数据集合对应的第二待同步数据集合。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，所述一个或多个计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6中任一项所述的数据同步方法或如权利要求7-8中任一项所述的数据同步方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-6中任一项所述的数据同步方法或如权利要求7-8中任一项所述的数据同步方法。