CN111400327B - 一种数据同步方法、装置、电子设备及存储介质 - Google Patents

Abstract

一种数据同步方法、装置、电子设备及存储介质，属于数据处理技术领域。所述方法应用于分布式存储系统中的第一服务节点，所述分布式存储系统还包括第二服务节点，所述第一服务节点为第一数据机房包含的服务节点，所述第二服务节点为其他数据机房包含的服务节点，所述方法包括：获取各服务节点中待同步的第一增量数据；将所述第一增量数据存储至第一预设存储空间，所述第一预设存储空间用于存储各服务节点同步的数据；当接收到数据获取请求时，从所述第一预设存储空间中获取各服务节点中的数据。采用本申请提供的技术方案，能够降低数据获取请求的响应时长。

Description

一种数据同步方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据同步方法、装置、电子设备及存储介质。

背景技术

分布式存储系统中，数据可以被存储在多个服务节点中。当用户终端请求获取目标数据时，用户终端可以向某一服务节点发送数据获取请求，接收到数据获取请求的服务节点可以称为目标服务节点。目标服务节点需要分别从各服务节点处获取该服务节点中存储的数据，然后，在获取到的数据中确定数据获取请求对应的目标数据，将目标数据发送至用户终端。由于多个服务节点可能属于不同的数据机房，目标服务节点跨数据机房获取数据所需时间长，导致数据获取请求的响应时间长。

发明内容

为了解决上述技术问题，本申请提供了一种数据同步方法、装置、电子设备及存储介质。

第一方面，本申请提供了一种数据同步方法，所述方法应用于分布式存储系统中的第一服务节点，所述分布式存储系统还包括第二服务节点，所述第一服务节点为第一数据机房包含的服务节点，所述第二服务节点为其他数据机房包含的服务节点，所述方法包括：

获取各服务节点中待同步的第一增量数据；

将所述第一增量数据存储至第一预设存储空间，所述第一预设存储空间用于存储各服务节点同步的数据；

当接收到数据获取请求时，从所述第一预设存储空间中获取各服务节点中的数据。

可选的，所述方法还包括：

针对每个服务节点中的每个增量数据，获取该增量数据在原服务节点中的源读取顺序，所述原服务器节点为所述分布式存储系统中存储该增量数据的原始服务节点；

获取该增量数据在所述第一预设存储空间中的目标存储顺序；

对应存储所述源读取顺序和所述目标存储顺序，得到源读取顺序与目标存储顺序的对应关系。

可选的，所述方法还包括：

如果未成功从所述第一预设存储空间中获取各服务节点中的数据，向所述第二服务节点发送数据同步请求，以使所述第二服务节点根据从所述第一预设存储空间中读取数据的数据读取进度，确定各服务节点中未被读取的第二增量数据，并为数据请求方提供所述第二增量数据。

第二方面，本申请提供了一种数据同步方法，所述方法应用于分布式存储系统中的第二服务节点，所述分布式存储系统还包括第一服务节点，所述第一服务节点为第一数据机房包含的服务节点，所述第二服务节点为其他数据机房包含的服务节点，所述方法包括：

当接收到所述第一服务节点发送的数据同步请求时，确定数据请求方从所述第一预设存储空间中读取数据的数据读取进度；

根据所述数据读取进度，确定各服务节点中未被读取的第二增量数据；

将所述第二增量数据同步至第二预设存储空间，以使所述数据请求方从所述第二预设存储空间中读取数据，其中，所述第二预设存储空间布置于所述第二服务节点中。

可选的，所述根据所述数据读取进度，确定各服务节点中未被读取的第二增量数据，包括：

确定与所述数据读取进度对应的待读取增量数据，在第一预设存储空间中的目标存储顺序；

根据预先存储的源读取顺序与目标存储顺序的对应关系，确定所述待读取增量数据在原服务节点中的源读取顺序；

按照所述源读取顺序从所述原服务节点中获取增量数据，得到各服务节点中未被读取的第二增量数据。

可选的，所述确定与所述数据读取进度对应的待读取增量数据，在第一预设存储空间中的目标存储顺序，包括：

确定与所述数据读取进度对应的待读取增量数据，在第一预设存储空间的数据读取顺序中的排列顺序；

根据预先存储的目标存储顺序与数据读取顺序的对应关系、所述排列顺序，确定所述待读取增量数据在所述第一预设存储空间中的目标存储顺序。

第三方面，本申请提供了一种数据同步装置，所述装置应用于分布式存储系统中的第一服务节点，所述分布式存储系统还包括第二服务节点，所述第一服务节点为第一数据机房包含的服务节点，所述第二服务节点为其他数据机房包含的服务节点，所述装置包括：

第一获取模块，用于获取各服务节点中待同步的第一增量数据；

同步模块，用于将所述第一增量数据存储至第一预设存储空间，所述第一预设存储空间用于存储各服务节点同步的数据；

第二获取模块，用于当接收到数据获取请求时，从所述第一预设存储空间中获取各服务节点中的数据。

可选的，所述装置还包括：

第三获取模块，用于针对每个服务节点中的每个增量数据，获取该增量数据在原服务节点中的源读取顺序，所述原服务器节点为所述分布式存储系统中存储该增量数据的原始服务节点；

第四获取模块，用于获取该增量数据在所述第一预设存储空间中的目标存储顺序；

存储模块，用于对应存储所述源读取顺序和所述目标存储顺序，得到源读取顺序与目标存储顺序的对应关系。

可选的，所述装置还包括：

发送模块，用于当未成功从所述第一预设存储空间中获取各服务节点中的数据时，向所述第二服务节点发送数据同步请求，以使所述第二服务节点根据从所述第一预设存储空间中读取数据的数据读取进度，确定各服务节点中未被读取的第二增量数据，并为数据请求方提供所述第二增量数据。

第四方面，本申请提供了一种数据同步装置，所述装置应用于分布式存储系统中的第二服务节点，所述分布式存储系统还包括第一服务节点，所述第一服务节点为第一数据机房包含的服务节点，所述第二服务节点为其他数据机房包含的服务节点，所述装置包括：

第一确定模块，用于当接收到所述第一服务节点发送的数据同步请求时，确定数据请求方从所述第一预设存储空间中读取数据的数据读取进度；

第二确定模块，用于根据所述数据读取进度，确定各服务节点中未被读取的第二增量数据；

同步模块，用于将所述第二增量数据同步至第二预设存储空间，以使所述数据请求方从所述第二预设存储空间中读取数据，其中，所述第二预设存储空间布置于所述第二服务节点中。

可选的，所述第二确定模块包括：

第一确定子模块，用于确定与所述数据读取进度对应的待读取增量数据，在第一预设存储空间中的目标存储顺序；

第二确定子模块，用于根据预先存储的源读取顺序与目标存储顺序的对应关系，确定所述待读取增量数据在原服务节点中的源读取顺序；

获取子模块，用于按照所述源读取顺序从所述原服务节点中获取增量数据，得到各服务节点中未被读取的第二增量数据。

可选的，所述第一确定子模块，具体用于确定与所述数据读取进度对应的待读取增量数据，在第一预设存储空间的数据读取顺序中的排列顺序；根据预先存储的目标存储顺序与数据读取顺序的对应关系、所述排列顺序，确定所述待读取增量数据在所述第一预设存储空间中的目标存储顺序。

第五方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现任一第一方面，或任一第二方面所述的方法步骤。

第六方面，本申请提供了计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一第一方面，或任一第二方面所述的方法步骤。

第七方面，本申请提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行任一第一方面，或任一第二方面所述的方法步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例提供的该方法，可以获取各服务节点中待同步的第一增量数据，将第一增量数据存储至第一预设存储空间，第一预设存储空间用于存储各服务节点同步的数据。由此，当接收到数据获取请求时，第一服务器节点可以从第一预设存储空间中获取各服务节点中的数据，无需与各服务节点进行数据交互，因此，能够降低数据获取请求的响应时长。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据同步方法的流程图；

图2为本申请实施例提供的另一种数据同步方法的流程图；

图3为本申请实施例提供的另一种数据同步方法的流程图；

图4为本申请实施例提供的另一种数据同步方法的流程图；

图5为本申请实施例提供的一种数据同步方法的示意图；

图6为本申请实施例提供的一种数据同步装置的结构示意图；

图7为本申请实施例提供的另一种数据同步装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种数据同步方法，该方法可以应用于分布式存储系统中的服务节点。分布式存储系统可以包含多个服务节点，数据可以被分布的存储在多个服务节点中，每个服务节点中存储的数据不同，例如服务节点1中存储的数据为电视剧的视频数据，服务节点2中存储的数据为电影的视频数据。多个服务节点可能属于不同的数据机房，例如，服务节点1属于第一数据机房，第一数据机房位于上海，服务节点2属于第二数据机房，第二数据机房位于北京。分布式存储系统中的各服务节点通过网络互相连接，可以作为为用户终端提供数据存储、数据检索等服务的服务器。

分布式存储系统中的第一服务节点中可以布置有第一预设存储空间，第一预设存储空间用于存储各服务节点同步的数据。第一预设存储空间可以基于消息队列进行数据的存储与读取，消息队列例如kafka(卡夫卡)消息队列、ZeroMQ(Zero Message Queue，零消息队列)。

本申请实施例中，第一服务节点可以是第一数据机房包含的服务节点，其他数据机房包含的服务节点可以称为第二服务节点。

下面将结合具体实施方式，以该方法应用于第一服务节点为例，对数据同步的具体处理过程进行详细的说明，如图1所示，包括以下步骤：

步骤101，获取各服务节点中待同步的第一增量数据。

在实施中，由于需要在第一预设存储空间中存储各服务节点同步的数据，因此，第一服务节点可以获取本地存储的待同步的第一增量数据，并接收各服务节点发送的待同步的第一增量数据。

本申请实施例提供了一种每个服务节点确定本地存储的待同步的第一增量数据的实现方式：在第一次进行数据同步时，每个服务节点可以将本地存储的全部数据作为待同步的第一增量数据；之后，在每次进行数据同步时，该服务节点可以将既上一次数据同步之后新存储的数据作为待同步的第一增量数据。

步骤102，将第一增量数据存储至第一预设存储空间。

在实施中，第一服务节点可以将接收到的各服务节点中待同步的第一增量数据存储至第一预设存储空间。如果第一服务节点本地存储有待同步的第一增量数据，第一服务节点还可以将本地存储的待同步的第一增量数据存储至第一预设存储空间。

步骤103，当接收到数据获取请求时，从第一预设存储空间中获取各服务节点中的数据。

在实施中，如果第一服务节点接收到数据请求方发送的数据获取请求，第一服务节点可以从第一预设存储空间中获取各服务节点中的数据。

本申请实施例中，数据请求方可以是用户终端，也可以是分布式存储系统中的其他服务节点。当数据请求方为用户终端时，第一服务节点可以基于各服务节点中的数据确定目标数据，再将目标数据发送至用户终端。当数据请求方为其他服务节点时，其他服务节点可以基于获取到的各服务节点中的数据确定目标数据。

本申请实施例中，基于各服务节点中的数据确定目标数据的方式可以是多种多样的，在一种可行的实现方式中，数据获取请求可以携带有筛选条件，服务节点可以在获取到的数据中确定满足筛选条件的目标数据，其中，筛选条件例如视频的已上线时长小于1个月，视频的点击率大于预设点击率阈值。在另一种可行的实现方式中，数据获取请求可以携带有待获取的目标数据的数据标识，服务节点可以根据目标数据的数据标识，在获取到的数据中确定目标数据。

例如，如果分布式存储系统中的第一服务节点接收到用户终端发送的数据获取请求，数据获取请求用于请求获取《甄嬛传》的视频数据。第一服务节点可以从第一预设存储空间中获取各服务节点同步的数据，各服务节点同步的数据包括综艺的视频数据、电视剧的视频数据、用户自制短视频的视频数据。然后，第一服务节点可以将电视剧《甄嬛传》的视频数据、与《甄嬛传》有关的综艺的视频数据、用户自制短视频的视频数据作为目标数据，将目标数据发送至用户终端。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例提供的该方法，第一服务节点可以获取各服务节点中待同步的第一增量数据，将第一增量数据存储至第一预设存储空间，第一预设存储空间用于存储各服务节点同步的数据。由此，当接收到数据获取请求时，第一服务器节点可以从第一预设存储空间中获取各服务节点中的数据，无需与各服务节点进行数据交互，因此，能够降低数据获取请求的响应时长。

可选的，为了便于管理第一预设存储空间中各服务节点同步的数据，第一服务节点可以对应存储同一增量数据在原服务节点中的读取顺序、在第一预设存储空间中的存储顺序，其中，原服务节点为分布式存储系统中存储该增量数据的原始服务节点。如图2所示，具体处理过程包括：

步骤201，针对每个服务节点中的每个增量数据，获取该增量数据在原服务节点中的源读取顺序。

在实施中，分布式存储系统中的每个服务节点可以在存储每个增量数据的同时，记录该增量数据的读取顺序，即记录该增量数据在原服务节点中的源读取顺序。

每个服务节点可以在向第一服务节点发送待同步的第一增量数据的同时，发送第一增量数据在原服务节点中的源读取顺序，由此，第一服务节点可以获取到每个增量数据在原服务节点中的源读取顺序。

步骤202，获取该增量数据在第一预设存储空间中的目标存储顺序。

在实施中，第一服务节点可以在第一预设存储空间中存储每个增量数据后，记录该增量数据的存储顺序，得到该增量数据在第一预设存储空间中的目标存储顺序。

步骤203，对应存储源读取顺序和目标存储顺序，得到源读取顺序与目标存储顺序的对应关系。

在实施中，第一服务节点可以对应存储源读取顺序和目标存储顺序，得到源读取顺序与目标存储顺序的对应关系。

可选的，分布式存储系统中的任一服务节点可以确定源读取顺序与目标存储顺序的对应关系，具体处理过程包括：该服务节点可以向各服务节点发送源读取顺序获取请求，以针对每个服务节点中的每个增量数据，获取该增量数据在原服务节点中的源读取顺序。该服务节点还可以向第一服务节点发送目标存储顺序获取请求，以获取同步后的增量数据在第一预设存储空间中的目标存储顺序。然后，该服务节点可以对应存储源读取顺序和目标存储顺序，得到源读取顺序与目标存储顺序的对应关系。

源读取顺序与目标存储顺序的对应关系可以被存储于任一服务节点中。或者，源读取顺序与目标存储顺序的对应关系可以被存储于预设的数据库中，由此，分布式存储系统中的任一服务节点均可以通过访问数据库的方式，获取该对应关系。

本申请实施例中，服务节点可以针对每个服务节点中的每个增量数据，获取该增量数据在原服务节点中的源读取顺序，以及该增量数据在第一预设存储空间中的目标存储顺序；然后，可以对应存储源读取顺序和目标存储顺序，得到源读取顺序与目标存储顺序的对应关系。由于对应存储了同一增量数据在原服务节点中的源读取顺序、在第一预设存储空间中的目标存储顺序，因此，便于后续根据该对应关系确定第一预设存储空间中的某一数据在原服务节点中的读取顺序，从而便于管理第一预设存储空间中各服务节点同步的数据。

可选的，服务节点可以按照存储位置依次存储多个数据，或，读取多个数据，即，在原服务节点中，某一增量数据的读取顺序与该增量数据的存储位置有关，可以用某一增量数据在原服务节点中的源存储位置表示该增量数据的源读取顺序。

类似的，在第一预设存储空间中，某一增量数据的存储顺序与该增量数据的存储位置相关，即，可以用某一增量数据在第一预设存储空间中的目标存储位置表示该增量数据的目标读取顺序。

因此，第一服务节点可以对应存储同一增量数据在原服务节点中的源存储位置、在第一预设存储空间中的目标存储位置，得到源存储位置与目标存储位置的对应关系，从而确定源读取顺序与目标存储顺序的对应关系。

可选的，在第一服务节点从第一预设存储空间中获取各服务节点的数据的过程中，可能出现第一服务节点工作异常，导致数据获取失败的情况，针对这种情况，本申请实施例提供了一种为数据请求方提供各服务节点中的数据的实现方式，包括以下步骤：

步骤1，当接收到数据获取请求时，从第一预设存储空间中获取各服务节点中的数据。

在实施中，此步骤的具体处理过程可以参照步骤103的处理过程，此处不再赘述。

步骤2，如果未成功从第一预设存储空间中获取各服务节点中的数据，向第二服务节点发送数据同步请求。

在实施中，如果第一服务节点工作异常，或者，数据提供方与第一服务节点的连接中断，可能导致第一服务节点无法成功从第一预设存储空间中获取各服务节点中的数据。

此时，第一服务节点可以向第二服务节点发送数据同步请求。接收到数据同步请求后，第二服务节点可以根据从第一预设存储空间中读取数据的数据读取进度，确定各服务节点中未被读取的第二增量数据，并为数据请求方提供第二增量数据，具体处理过程后续会进行详细说明。

本申请实施例中，第一服务节点可以在接收到数据获取请求时，从第一预设存储空间中获取各服务节点中的数据。如果未成功从第一预设存储空间中获取各服务节点中的数据，第一服务节点可以向第二服务节点发送数据同步请求。

由于在第一服务节点工作异常时，第二服务节点可以确定数据获取失败的第二增量数据，并获取第二增量数据，因此，保证了数据请求方可以获取到各服务节点同步的全部数据。进一步的，与第二服务节点重新获取各服务节点中的数据相比，一方面，能够保证数据请求方不会获取到重复的数据，保证了数据获取的一致性；另一方面，能够降低数据获取请求的响应时长。

本申请实施例还提供了一种数据同步方法，该方法可以应用于第二服务节点，如图3所示，包括以下步骤：

步骤301、当接收到第一服务节点发送的数据同步请求时，确定数据请求方从第一预设存储空间中读取数据的数据读取进度。

在实施中，分布式存储系统中的第一服务节点可以在接收到数据请求方的数据获取请求后，从第一预设存储空间中获取各服务节点中的数据，再将获取的数据提供给数据请求方。如果第一服务节点未成功从第一预设存储空间中获取各服务节点中的数据，第一服务节点可以向第二服务节点发送数据同步请求。

由此，第二服务节点可以接收到第一服务节点发送的数据同步请求。然后，第二服务节点可以确定第一服务节点从第一预设存储空间中获取数据的数据读取进度，即，数据请求方从第一预设存储空间中读取数据的数据读取进度。

可选的，第二服务节点可以通过多种方式确定数据读取进度，在一种可行的实现方式中，数据同步请求可以携带有数据读取进度，第二服务节点可以获取数据同步请求携带的数据读取进度。在另一种可行的实现方式中，第一服务节点可以在从第一预设存储空间读取数据的过程中，向预设的数据库发送数据读取进度，第二服务节点可以通过访问数据库，确定数据读取进度。

本申请实施例中，数据读取进度可以是已读取数据的数量，例如，数据读取进度可以是“已读取50项”；数据读取进度可以是已读取数据的数量与第一预设存储空间的数据总数量的百分比，例如，数据读取进度可以是30％；数据读取进度还可以是已读取数据的数据标识。

步骤302、根据数据读取进度，确定各服务节点中未被读取的第二增量数据。

在实施中，第二服务节点根据数据读取进度，确定各服务节点中未被读取的第二增量数据的方式可以是多种多样的。

在一种可行的实现方式中，数据读取进度可以是已读取数据的数据标识，第二服务节点可以根据数据读取进度和第一预设存储空间中各增量数据的数据标识，确定第一预设存储空间中待读取增量数据的数据标识，即，各服务节点中未被读取的第二增量数据的数据标识。然后，第二服务节点可以根据数据标识与服务节点的对应关系，确定第二增量数据的原服务节点，从原服务节点处按照数据标识获取第二增量数据。

在另一种可行的实现方式中，数据读取进度可以是已读取数据的数量，第二服务节点可以获取源读取顺序与目标存储顺序的对应关系，根据源读取顺序与目标存储顺序的对应关系、数据读取进度，确定各服务节点中未被读取的第二增量数据，具体处理过程后续会进行详细说明。

步骤303、将第二增量数据同步至第二预设存储空间。

其中，第二预设存储空间布置于第二服务节点中。

在实施中，第二服务节点可以从各服务节点中获取第二增量数据，再将第二增量数据存储至第二预设存储空间。第二服务节点获取第二增量数据并在第二预设存储空间中存储第二增量数据的具体处理过程，可以参照第一服务节点获取第一增量数据并在第一预设存储空间中存储第一增量数据的处理过程，此处不再赘述。

第一服务节点或第二服务节点可以向数据请求方发送数据读取通知消息，数据读取通知消息用于指示数据请求方从第二预设存储空间中读取数据。在接收到数据读取通知信息后，数据请求方可以从第二预设存储空间中读取数据。

本申请实施例中，第二服务节点可以在接收到第一服务节点发送的数据同步请求时，确定数据请求方从第一预设存储空间中读取数据的数据读取进度。然后，第二服务节点可以根据数据读取进度，确定各服务节点中未被读取的第二增量数据。之后，第二服务节点可以将第二增量数据同步至第二预设存储空间，以使数据请求方从第二预设存储空间中读取数据。

由于在第一服务节点工作异常时，第二服务节点可以确定各服务节点中未被读取的第二增量数据，并将第二增量数据同步至第二预设存储空间，以使数据请求方从第二预设存储空间中读取数据。因此，保证了数据请求方可以获取到各服务节点同步的全部数据。

进一步的，与第二服务节点重新获取各服务节点中的数据相比，一方面，能够保证数据请求方不会获取到重复的数据，保证了数据获取的一致性；另一方面，数据请求方从第二预设存储空间中获取第二增量数据，避免了与多个存储有第二增量数据的原服务节点进行数据交互，因此，能够进一步降低数据获取请求的响应时长。

可选的，第二服务节点可以获取源读取顺序与目标存储顺序的对应关系，并基于源读取顺序与目标存储顺序的对应关系、数据读取进度，确定各服务节点中未被读取的第二增量数据，如图4所示，具体处理过程包括：

步骤401、确定与数据读取进度对应的待读取增量数据，在第一预设存储空间中的目标存储顺序。

其中，为了便于描述，将与数据读取进度对应的待读取增量数据称为目标增量数据。

在实施中，第二服务节点可以先确定与数据读取进度对应的待读取增量数据，即，目标增量数据。然后，第二服务节点可以确定目标增量数据在第一预设存储空间中的目标存储顺序。

本申请实施例提供了两种确定目标增量数据的实现方式，具体如下：

方式一、第二服务节点可以在第一预设存储空间中，将除已读取的增量数据之外的增量数据，作为目标增量数据。

例如，第一预设存储空间中的增量数据为A1、B1、A2、A3和B2。数据读取进度为已读取A1和B1。第二服务节点可以在第一预设存储空间中，将除已读取的增量数据之外的增量数据A2、A3和B2，作为目标增量数据。

方式二、第二服务节点可以在数据读取顺序中，按照数据读取进度确定待读取增量数据。然后，第二服务节点可以针对每个服务节点，在数据读取顺序中，将该服务节点对应的第一个待读取增量数据，作为与数据处理进度对应的待读取增量数据，即，目标增量数据。

例如，第一预设存储空间中增量数据的数据读取顺序为A1、B1、A2、A3、B2。数据读取进度为已读取A1和B1。第二服务节点可以在数据读取顺序中，按照数据读取进度确定待读取增量数据，得到增量数据A2、A3、B2。然后，第二服务节点可以针对服务节点1，在数据读取顺序中，将该服务节点对应的第一个待读取增量数据A2，作为目标增量数据。类似的，第二服务节点可以针对服务节点2，在数据读取顺序中，将该服务节点对应的第一个待读取增量数据B2，作为目标增量数据。

可选的，第二服务节点可以通过多种方式确定目标增量数据在第一预设存储空间中的目标存储顺序，在一种可行的实现方式中，第二服务节点可以获取数据标识与目标存储顺序的对应关系。然后，第二服务节点可以根据目标增量数据的数据标识、数据标识与目标存储顺序的对应关系，确定目标增量数据在第一预设存储空间中的目标存储顺序。

在另一种可行的实现方式中，第二服务节点可以根据目标增量数据在数据读取顺序中的排列顺序，确定目标增量数据的目标存储顺序，具体处理过程后续会进行详细说明。

步骤402、根据预先存储的源读取顺序与目标存储顺序的对应关系，确定待读取增量数据在原服务节点中的源读取顺序。

在实施中，第二服务节点可以通过访问数据库的方式，获取源读取顺序与目标存储顺序的对应关系，或者，第二服务节点也可以从存储有源读取顺序与目标存储顺序的对应关系的服务节点中，获取源读取顺序与目标存储顺序的对应关系。

然后，第二服务节点可以根据源读取顺序与目标存储顺序的对应关系，确定与目标增量数据的目标存储顺序对应的源读取顺序，得到目标增量数据在原服务节点中的源读取顺序。

例如，目标增量数据A2、A3、B2的目标存储顺序分别为第3位、第4位和第5位。第二服务节点可以针对目标增量数据A2，根据源读取顺序与目标存储顺序的对应关系、目标存储顺序第3位，确定目标增量数据A2在原服务节点1中的源读取顺序为第2位；类似的，第二服务节点可以确定目标增量数据A3在原服务节点1中的源读取顺序为第3位；目标增量数据B2在原服务节点2中的源读取顺序为第2位。

步骤403、按照源读取顺序从原服务节点中获取增量数据，得到各服务节点中未被读取的第二增量数据。

在实施中，在方式一中，第二服务节点可以针对每个原服务节点，从该服务节点中获取读取顺序为源读取顺序的增量数据，得到该服务节点中未被读取的第二增量数据。在方式二中，第二服务节点可以针对每个原服务节点，从该服务节点中以源读取顺序为起始读取顺序，读取增量数据，得到该服务节点中未被读取的第二增量数据。

由此，第二服务节点可以获取各服务节点中未被读取的第二增量数据。

本申请实施例中，第二服务节点可以确定与数据读取进度对应的待读取增量数据，在第一预设存储空间中的目标存储顺序，然后，根据预先存储的源读取顺序与目标存储顺序的对应关系，确定待读取增量数据在原服务节点中的源读取顺序。之后，第二服务节点可以按照源读取顺序从原服务节点中获取增量数据，得到各服务节点中未被读取的第二增量数据。由此，保证了数据请求方可以获取到各服务节点同步的全部数据。

进一步的，与第二服务节点重新获取各服务节点中的数据相比，一方面，能够保证数据请求方不会获取到重复的数据，保证了数据获取的一致性；另一方面，数据请求方从第二预设存储空间中获取第二增量数据，避免了与多个存储有第二增量数据的原服务节点进行数据交互，因此，能够进一步降低数据获取请求的响应时长。

可选的，本申请实施例还提供了一种第二服务节点确定第二增量数据在第一预设存储空间中的目标存储顺序的实现方式，包括以下步骤：

步骤一、确定与数据读取进度对应的待读取增量数据，在第一预设存储空间的数据读取顺序中的排列顺序。

在实施中，第一服务节点可以将各增量数据的存储顺序，作为数据读取顺序；或者，第一服务节点可以按照各增量数据的数据大小从小到大的顺序，生成数据读取顺序。然后，第一服务节点可以将数据读取顺序保存至数据库中，由此，第二服务节点可以通过访问数据库，获取各服务节点同步的第一增量数据的数据读取顺序。

针对方式一中目标增量数据为第一预设存储空间中全部待读取增量数据的情况，第二服务节点可以根据数据读取进度和数据读取顺序，确定最后一个已读取的增量数据在数据读取顺序中的排列顺序。然后，第二服务节点可以将数据读取顺序中排列在该排列顺序之后的排列顺序，作为目标增量数据在数据读取顺序中的排列顺序。

例如，第二服务节点可以根据数据读取进度“已读取2项”和数据读取顺序A1、B1、A2、A3、B2，确定最后一个已读取的增量数据在数据读取顺序中的排列顺序为第2位。之后，第二服务节点可以将排列在第2位之后的排列顺序，作为目标增量数据在数据读取顺序中的排列顺序，得到第3位、第4位和第5位。

针对方式二中目标增量数据为各服务节点对应的第一个待读取增量数据的情况，第二服务节点可以根据数据标识与数据读取顺序的对应关系，确定各目标增量数据在数据读取顺序中的排列顺序。

例如，数据读取顺序为A1、B1、A2、A3、B2。目标增量数据为服务节点1对应的第一个待读取增量数据A2、服务节点2对应的第一个待读取增量数据B2，第二服务节点可以根据数据标识与数据读取顺序的对应关系，确定目标增量数据A2的排列顺序为第3位，目标增量数据B2的排列顺序为第5位。

步骤二、根据预先存储的目标存储顺序与数据读取顺序的对应关系、排列顺序，确定待读取增量数据在第一预设存储空间中的目标存储顺序。

在实施中，第二服务节点可以针对每个目标增量数据，在预先存储的目标存储顺序与数据读取顺序的对应关系中，查找该目标增量数据的排列顺序，将与查找到的排列顺序对应的目标存储顺序，作为该目标增量数据在第一预设存储空间中的目标存储顺序。由此，第二服务节点可以确定各目标增量数据在第一预设存储空间中的目标存储顺序。

可选的，目标存储顺序可以与数据读取顺序相同，第二服务节点可以将目标增量数据在数据读取顺序中的排列顺序，作为目标增量数据在第一预设存储空间中的目标存储顺序。

本申请实施例中，第二服务节点可以确定与数据读取进度对应的待读取增量数据，在第一预设存储空间的数据读取顺序中的排列顺序，然后，第二服务节点可以根据预先存储的目标存储顺序与数据读取顺序的对应关系、排列顺序，确定待读取增量数据在第一预设存储空间中的目标存储顺序。因此，便于后续根据源读取顺序与目标存储顺序的对应关系，按照源读取顺序获取第二增量数据。

进一步的，能够确保数据请求方可以获取到各服务节点同步的全部数据。与第二服务节点重新获取各服务节点中的数据相比，一方面，能够保证数据请求方不会获取到重复的数据，保证了数据获取的一致性；另一方面，能够降低数据获取请求的响应时长。

可选的，为了便于理解，本申请实施例还提供了一种数据同步方法的示意图，如图5所示。其中，DC1为第一数据机房，第一数据机房中布置有第一预设存储空间的服务节点为第一服务节点；DC2为第二数据机房，第二数据机房中布置有第二设存储空间的服务节点为第二服务节点。

如实线箭头所示，第一服务节点可以获取各服务节点中待同步的第一增量数据，将第一增量数据存储至第一预设存储空间。在此过程中，第一服务节点可以生成源读取顺序与目标存储顺序的对应关系，将源读取顺序与目标存储顺序的对应关系存储至数据库中。当接收到数据获取请求时，第一服务节点可以从第一预设存储空间中获取各服务节点中的数据，为数据请求方提供数据。如果未成功从第一预设存储空间中获取各服务节点中的数据，第一服务节点可以向第二服务节点发送数据同步请求。

如虚线箭头所示，当接收到第一服务节点发送的数据同步请求时，第二服务节点可以确定数据请求方从第一预设存储空间中读取数据的数据读取进度，并从数据库中获取源读取顺序与目标存储顺序的对应关系。然后，第二服务节点可以根据源读取顺序与目标存储顺序的对应关系、数据读取进度，确定与数据读取进度对应的待读取增量数据，在各服务节点中的源读取顺序。之后，第二服务节点可以按照源读取顺序从各服务节点中获取增量数据，得到第二增量数据。第二服务节点可以将第二增量数据同步至第二预设存储空间。由此，数据请求方可以从第二预设存储空间获取数据。

本申请实施例还提供了一种数据同步装置，所述装置应用于分布式存储系统中的第一服务节点，所述分布式存储系统还包括第二服务节点，所述第一服务节点为第一数据机房包含的服务节点，所述第二服务节点为其他数据机房包含的服务节点，如图6所示，所述装置包括：

第一获取模块610，用于获取各服务节点中待同步的第一增量数据；

同步模块620，用于将所述第一增量数据存储至第一预设存储空间，所述第一预设存储空间用于存储各服务节点同步的数据；

第二获取模块630，用于当接收到数据获取请求时，从所述第一预设存储空间中获取各服务节点中的数据。

可选的，所述装置还包括：

第三获取模块，用于针对每个服务节点中的每个增量数据，获取该增量数据在原服务节点中的源读取顺序，所述原服务器节点为所述分布式存储系统中存储该增量数据的原始服务节点；

第四获取模块，用于获取该增量数据在所述第一预设存储空间中的目标存储顺序；

存储模块，用于对应存储所述源读取顺序和所述目标存储顺序，得到源读取顺序与目标存储顺序的对应关系。

可选的，所述装置还包括：

发送模块，用于当未成功从所述第一预设存储空间中获取各服务节点中的数据时，向所述第二服务节点发送数据同步请求，以使所述第二服务节点根据从所述第一预设存储空间中读取数据的数据读取进度，确定各服务节点中未被读取的第二增量数据，并为数据请求方提供所述第二增量数据。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例提供的该装置，可以获取各服务节点中待同步的第一增量数据，将第一增量数据存储至第一预设存储空间，第一预设存储空间用于存储各服务节点同步的数据。由此，当接收到数据获取请求时，第一服务器节点可以从第一预设存储空间中获取各服务节点中的数据，无需与各服务节点进行数据交互，因此，能够降低数据获取请求的响应时长。

本申请实施例还提供了一种数据同步装置，所述装置应用于分布式存储系统中的第二服务节点，所述分布式存储系统还包括第一服务节点，所述第一服务节点为第一数据机房包含的服务节点，所述第二服务节点为其他数据机房包含的服务节点，如图7所示，所述装置包括：

第一确定模块710，用于当接收到所述第一服务节点发送的数据同步请求时，确定数据请求方从所述第一预设存储空间中读取数据的数据读取进度；

第二确定模块720，用于根据所述数据读取进度，确定各服务节点中未被读取的第二增量数据；

同步模块730，用于将所述第二增量数据同步至第二预设存储空间，以使所述数据请求方从所述第二预设存储空间中读取数据，其中，所述第二预设存储空间布置于所述第二服务节点中。

可选的，所述第二确定模块包括：

第一确定子模块，用于确定与所述数据读取进度对应的待读取增量数据，在第一预设存储空间中的目标存储顺序；

第二确定子模块，用于根据预先存储的源读取顺序与目标存储顺序的对应关系，确定所述待读取增量数据在原服务节点中的源读取顺序；

获取子模块，用于按照所述源读取顺序从所述原服务节点中获取增量数据，得到各服务节点中未被读取的第二增量数据。

可选的，所述第一确定子模块，具体用于确定与所述数据读取进度对应的待读取增量数据，在第一预设存储空间的数据读取顺序中的排列顺序；根据预先存储的目标存储顺序与数据读取顺序的对应关系、所述排列顺序，确定所述待读取增量数据在所述第一预设存储空间中的目标存储顺序。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例提供的该装置，可以在接收到第一服务节点发送的数据同步请求时，确定数据请求方从第一预设存储空间中读取数据的数据读取进度。根据数据读取进度，确定各服务节点中未被读取的第二增量数据；将第二增量数据同步至第二预设存储空间，以使数据请求方从第二预设存储空间中读取数据。由于当接收到数据同步请求时，第二服务器节点可以将各服务节点中未被读取的第二增量数据，同步至第二预设存储空间，使得数据请求方从第二预设存储空间中读取数据，无需与各服务节点进行数据交互，因此，能够降低数据获取请求的响应时长。

本申请实施例还提供了一种电子设备，电子设备可以作为分布式存储系统中的服务节点，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，

存储器803，用于存放计算机程序；

处理器801，用于执行存储器803上所存放的程序时，实现上述由第一服务节点执行的数据同步方法步骤，或，上述由第二服务节点执行的数据同步方法步骤。

上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例提供的该电子设备，可以获取各服务节点中待同步的第一增量数据，将第一增量数据存储至第一预设存储空间，第一预设存储空间用于存储各服务节点同步的数据。由此，当接收到数据获取请求时，第一服务器节点可以从第一预设存储空间中获取各服务节点中的数据，无需与各服务节点进行数据交互，因此，能够降低数据获取请求的响应时长。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据同步方法。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据同步方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种数据同步方法，其特征在于，所述方法应用于分布式存储系统中的第一服务节点，所述分布式存储系统还包括第二服务节点，所述第一服务节点为第一数据机房包含的服务节点，所述第二服务节点为其他数据机房包含的服务节点，所述方法包括：

获取各服务节点中待同步的第一增量数据；

将所述第一增量数据存储至第一预设存储空间，所述第一预设存储空间用于存储各服务节点同步的数据；

当接收到数据获取请求时，从所述第一预设存储空间中获取各服务节点中的数据；

其中，所述方法还包括：

如果未成功从所述第一预设存储空间中获取各服务节点中的数据，向所述第二服务节点发送数据同步请求，以使所述第二服务节点根据从所述第一预设存储空间中读取数据的数据读取进度，确定各服务节点中未被读取的第二增量数据，并为数据请求方提供所述第二增量数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

针对每个服务节点中的每个增量数据，获取该增量数据在原服务节点中的源读取顺序，所述原服务节点为所述分布式存储系统中存储该增量数据的原始服务节点；

获取该增量数据在所述第一预设存储空间中的目标存储顺序；

对应存储所述源读取顺序和所述目标存储顺序，得到源读取顺序与目标存储顺序的对应关系。

3.一种数据同步方法，其特征在于，所述方法应用于分布式存储系统中的第二服务节点，所述分布式存储系统还包括第一服务节点，所述第一服务节点为第一数据机房包含的服务节点，所述第二服务节点为其他数据机房包含的服务节点，所述方法包括：

当接收到所述第一服务节点发送的数据同步请求时，确定数据请求方从第一预设存储空间中读取数据的数据读取进度，其中，所述第一预设存储空间存在于所述第一服务节点中，用于存储各服务节点同步的数据；

根据所述数据读取进度，确定各服务节点中未被读取的第二增量数据；

将所述第二增量数据同步至第二预设存储空间，以使所述数据请求方从所述第二预设存储空间中读取数据，其中，所述第二预设存储空间布置于所述第二服务节点中。

4.根据权利要求3所述的方法，其特征在于，所述根据所述数据读取进度，确定各服务节点中未被读取的第二增量数据，包括：

确定与所述数据读取进度对应的待读取增量数据，在第一预设存储空间中的目标存储顺序；

根据预先存储的源读取顺序与目标存储顺序的对应关系，确定所述待读取增量数据在原服务节点中的源读取顺序；

按照所述源读取顺序从所述原服务节点中获取增量数据，得到各服务节点中未被读取的第二增量数据。

5.根据权利要求4所述的方法，其特征在于，所述确定与所述数据读取进度对应的待读取增量数据，在第一预设存储空间中的目标存储顺序，包括：

确定与所述数据读取进度对应的待读取增量数据，在第一预设存储空间的数据读取顺序中的排列顺序；

根据预先存储的目标存储顺序与数据读取顺序的对应关系、所述排列顺序，确定所述待读取增量数据在所述第一预设存储空间中的目标存储顺序。

6.一种数据同步装置，其特征在于，所述装置应用于分布式存储系统中的第一服务节点，所述分布式存储系统还包括第二服务节点，所述第一服务节点为第一数据机房包含的服务节点，所述第二服务节点为其他数据机房包含的服务节点，所述装置包括：

第一获取模块，用于获取各服务节点中待同步的第一增量数据；

同步模块，用于将所述第一增量数据存储至第一预设存储空间，所述第一预设存储空间用于存储各服务节点同步的数据；

第二获取模块，用于当接收到数据获取请求时，从所述第一预设存储空间中获取各服务节点中的数据；

其中，所述装置还用于：

如果未成功从所述第一预设存储空间中获取各服务节点中的数据，向所述第二服务节点发送数据同步请求，以使所述第二服务节点根据从所述第一预设存储空间中读取数据的数据读取进度，确定各服务节点中未被读取的第二增量数据，并为数据请求方提供所述第二增量数据。

7.一种数据同步装置，其特征在于，所述装置应用于分布式存储系统中的第二服务节点，所述分布式存储系统还包括第一服务节点，所述第一服务节点为第一数据机房包含的服务节点，所述第二服务节点为其他数据机房包含的服务节点，所述装置包括：

第一确定模块，用于当接收到所述第一服务节点发送的数据同步请求时，确定数据请求方从第一预设存储空间中读取数据的数据读取进度，其中，所述第一预设存储空间存在于所述第一服务节点中，用于存储各服务节点同步的数据；

第二确定模块，用于根据所述数据读取进度，确定各服务节点中未被读取的第二增量数据；

同步模块，用于将所述第二增量数据同步至第二预设存储空间，以使所述数据请求方从所述第二预设存储空间中读取数据，其中，所述第二预设存储空间布置于所述第二服务节点中。

8.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-2，或权利要求3-5任一所述的方法步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2，或权利要求3-5中任一所述的方法。