CN113253924A - 数据处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种数据处理方法、装置、电子设备及计算机可读存储介质，属于电子设备技术领域。该方法中，在客户端向存储系统发送的多个写入请求的情况下，存储系统中的第一节点为各写入请求设置逻辑标识，各逻辑标识之间按照设置顺序依次单调变化，然后，第一节点将各写入请求的目标信息同步给存储系统中的各第二节点，最后，存储系统中的各第三节点根据逻辑标识，确定各写入请求之间的目标执行顺序，并按照目标执行顺序写入写入请求对应的待写入数据。本发明中节点之间无需推选主管节点，也无需彼此之间商议写入顺序，直接由首个接收到请求的第一节点规定各个写入请求的执行顺序，可以在确保写入一致性的同时，简化操作步骤以及降低写入时延。

Description

数据处理方法、装置、电子设备及计算机可读存储介质

技术领域

本发明属于电子设备技术领域，特别是涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着电子技术快速发展，以及对数据存储的要求越来越高，分布式存储系统在生活中的应用也越来越广泛。比如，在大型企业中，可以在不同地区建立存储服务器，由多个存储服务器组成分布式存储系统，以便可以在不同地区实现数据读写，并可以保证存储系统中的数据是高可用性、高一致性的。

现有的分布式存储系统中，在根据接收到的写入请求执行写入数据的操作之前，往往需要存储系统中的节点推选出一个主管节点，并由主管节点指导其他节点彼此之间商议写入顺序，以保证各个节点写入的一致性。但是，这种写入方式的操作较为繁琐，数据写入的时延较长。

发明内容

有鉴于此，本发明提供一种数据处理方法、装置、电子设备及计算机可读存储介质，在一定程度上解决了操作较为繁琐，数据写入的时延较长的问题。

依据本发明的第一方面，提供了一种数据处理方法，应用于包括多个节点的存储系统，该方法包括：

在客户端向所述存储系统发送的多个写入请求的情况下，所述存储系统中的第一节点为各所述写入请求设置逻辑标识；各所述逻辑标识之间按照设置顺序依次单调变化；所述第一节点为所述存储系统中首个接收到所述多个写入请求的节点；

所述第一节点将各所述写入请求的目标信息同步给所述存储系统中的各第二节点；所述目标信息包括所述逻辑标识；所述第二节点为所述存储系统中除所述第一节点之外的节点；

所述存储系统中的各第三节点根据所述逻辑标识，确定各所述写入请求之间的目标执行顺序，并按照所述目标执行顺序写入所述写入请求对应的待写入数据；所述第三节点为所述存储系统中的任一节点。

依据本发明的第二方面，提供了一种数据处理装置，应用于包括多个节点的存储系统，该装置包括：

设置模块，用于在客户端向所述存储系统发送的多个写入请求的情况下，所述存储系统中的第一节点为各所述写入请求设置逻辑标识；各所述逻辑标识之间按照设置顺序依次单调变化；所述第一节点为所述存储系统中首个接收到所述多个写入请求的节点；

同步模块，用于所述第一节点将各所述写入请求的目标信息同步给所述存储系统中的各第二节点；所述目标信息包括所述逻辑标识；所述第二节点为所述存储系统中除所述第一节点之外的节点；

写入模块，用于所述存储系统中的各第三节点根据所述逻辑标识，确定各所述写入请求之间的目标执行顺序，并按照所述目标执行顺序写入所述写入请求对应的待写入数据；所述第三节点为所述存储系统中的任一节点。

第三方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的数据处理方法的步骤。

第四方面，本发明提供了一种电子设备包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如第一方面所述的数据处理方法的步骤。

针对在先技术，本发明具备如下优点：

本发明实施例提供的数据处理方法中，在客户端向存储系统发送的多个写入请求的情况下，存储系统中的第一节点为各写入请求设置逻辑标识，各逻辑标识之间按照设置顺序依次单调变化，第一节点为存储系统中首个接收到多个写入请求的节点，然后，第一节点将各写入请求的目标信息同步给存储系统中的各第二节点，目标信息包括逻辑标识，第二节点为存储系统中除第一节点之外的节点，最后，存储系统中的各第三节点根据逻辑标识，确定各写入请求之间的目标执行顺序，并按照目标执行顺序写入写入请求对应的待写入数据，第三节点为所述存储系统中的任一节点。本发明中节点之间无需推选主管节点，也无需彼此之间商议写入顺序，直接由首个接收到请求的第一节点设置逻辑标识，以规定各个写入请求的执行顺序，并控制存储系统中的所有节点均按照该执行顺序执行写入操作，可以在确保写入一致性的同时，简化操作步骤以及降低写入时延。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例提供的一种数据处理方法的步骤流程图；

图2是本发明实施例提供的一种数据处理的示意图；

图3是本发明实施例提供的一种数据处理装置的框图；

图4是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

下面对本发明实施例中的数据处理方法进行详细说明。

实施例一

图1是本发明实施例提供的一种数据处理方法的步骤流程图，如图1所示，该方法可以包括：

步骤101、在客户端向所述存储系统发送的多个写入请求的情况下，所述存储系统中的第一节点为各所述写入请求设置逻辑标识；各所述逻辑标识之间按照设置顺序依次单调变化；所述第一节点为所述存储系统中首个接收到所述多个写入请求的节点。

本发明实施例可以应用于包括多个节点的存储系统，该存储系统可以是分布式存储系统(Distributed Storage System)，也可以是其他形式的存储系统，本发明对此不作限制。该存储系统可以将数据分散存储在多个节点上，多个节点可以分别设置在不同的地理位置，以便于就近接收不同地域上的客户端发送的写入请求，从而可以避免由于客户端距离存储系统较远而导致信息传递延迟较长的问题。

本发明实施例中，存储系统中的第一节点为各写入请求设置逻辑标识，可以是基于第一节点接收到客户端发送的各写入请求的时间，按照接收时间的先后顺序，依次为各写入请求设置逻辑标识，例如，可以为接收时间早的写入请求设置数值较小的逻辑标识，为接收时间晚的写入请求设置数值较大的逻辑标识。需要说明的是，本发明实施例中为了便于根据逻辑标识确定写入请求的先后顺序，可以为各写入请求设置的逻辑标识为单调变化，比如，可以为单调递增变化，也可以为单调递减变化的，对此本发明不作限制。示例的，存储系统在2021年4月1日08:44:22接收到客户端发送的写入请求cmd1，在2021年4月1日08:45:20接收到客户端发送的写入请求cmd2，在2021年4月1日08:41:46接收到客户端发送的写入请求cmd3，按照接收到的时间顺序分别为各写入请求设置逻辑标识，由于按照接收时间的先后顺序，写入请求的顺序为cmd3、cmd1、cmd2，因此，可以为cmd3设置逻辑标识为040101，cmd1设置逻辑标识为040102，cmd2设置逻辑标识为040103。

相较于现有技术中的存储系统，往往为节点设置不同的操作权限，比如，可以将节点分别设置为主管节点、从属节点与协调节点，当接收到客户端发送的写入请求之后，需要先从主管节点中选举出执行本次写入请求的目标主节点，再由协调节点将客户端发送的写入请求转送给目标主节点，最后，由目标主节点向剩余的主管节点以及所有从属节点同步写入请求并执行写入操作，而本发明实施例中存储系统中，由于消除了对主管节点的依赖，存储系统中的各个节点都可以平等地提供读写服务，并且，通过为写入请求设置逻辑标识，使得其他节点只需按照第一节点设置的逻辑标识执行写入操作即可，从而使存储系统的存储性能得以大幅度提升，而且提高了资源的利用效率。

步骤102、所述第一节点将各所述写入请求的目标信息同步给所述存储系统中的各第二节点；所述目标信息包括所述逻辑标识；所述第二节点为所述存储系统中除所述第一节点之外的节点。

本发明实施例中，第一节点将各写入请求的目标信息同步给存储系统中的各第二节点，可以是第一节点将各写入请求设置的逻辑标识发送给存储系统中的各第二节点，也可以是第一节点将各写入请求设置的逻辑标识以及各写入请求本身发送给各第二节点，

本发明实施例中，由于第一节点为第一个接收到多个写入请求的节点，因此，当存储系统中的任意一个节点在接收到客户端发送的写入请求时可以作为第一节点，向存储系统中除第一节点之外的第二节点同步设置逻辑标识，以便各第二节点的写入内容与第一节点的写入内容保持一致。

步骤103、所述存储系统中的各第三节点根据所述逻辑标识，确定各所述写入请求之间的目标执行顺序，并按照所述目标执行顺序写入所述写入请求对应的待写入数据；所述第三节点为所述存储系统中的任一节点。

本发明实施例中，由于存储系统中的任一第三节点收到的每个写入请求的逻辑标识是一致的，因此，各第三节点基于逻辑标识确定各写入请求的目标执行顺序也是一致的，进一步地，各第三节点按照目标执行顺序依次写入写入请求对应的待写入数据，可以保证存储系统中的各个节点写入的内容是一致的，从而可以确保存储系统中数据存储的一致性，保证了存储数据的有效性。

综上所述，本发明实施例提供的数据处理方法中，在客户端向存储系统发送的多个写入请求的情况下，存储系统中的第一节点为各写入请求设置逻辑标识，各逻辑标识之间按照设置顺序依次单调变化，第一节点为存储系统中首个接收到多个写入请求的节点，然后，第一节点将各写入请求的目标信息同步给存储系统中的各第二节点，目标信息包括逻辑标识，第二节点为存储系统中除第一节点之外的节点，最后，存储系统中的各第三节点根据逻辑标识，确定各写入请求之间的目标执行顺序，并按照目标执行顺序写入写入请求对应的待写入数据，第三节点为所述存储系统中的任一节点。本发明中节点之间无需推选主管节点，也无需彼此之间商议写入顺序，直接由首个接收到请求的第一节点设置逻辑标识，以规定各个写入请求的执行顺序，并控制存储系统中的所有节点均按照该执行顺序执行写入操作，可以在确保写入一致性的同时，简化操作步骤以及降低写入时延。

实施例二

可选的，在一种实现方式中，本发明实施例中目标信息包括目标依赖关系，该目标依赖关系可以用于表征写入请求之间是否存在依赖关系，比如，写入请求1携带的数据A是根据写入请求2携带的数据B生成的，因此，可以得到目标依赖关系为写入请求1依赖于写入请求2；

相应地，本发明实施例在第一节点将各写入请求的目标信息同步给存储系统中的各第二节点的步骤之前，可以执行下述子步骤：

子步骤(1)：所述第一节点统计各所述写入请求所依赖的请求，以生成第一依赖关系，以及，获取目标节点簇中各第四节点确定的第二依赖关系；所述第二依赖关系是所述第四节点通过统计本地请求所依赖的请求确定的；所述目标节点簇中的第四节点是所述第一节点选择的，所述本地请求是所述第四节点接收到的写入请求。

本发明实施例中，第一节点统计各写入请求所依赖的请求生成第一依赖关系，可以是第一节点通过检测写入请求携带的待写入数据是否与第一节点上接收到的其他请求携带的数据存在依赖关系，若存在依赖关系，则可以确定该其他请求为写入请求所依赖的请求，并将生成的依赖关系作为第一依赖关系。示例的，当数据A是依赖于数据B生成的，可以检测到数据A对应的写入请求1与数据B对应的写入请求2之间存在依赖关系，即，写入请求1依赖于写入请求2，则生成的第一依赖关系可以为“写入请求依赖于请求2”。

本发明实施例中，获取目标节点簇中各第四节点确定的第二依赖关系，其中，第二依赖关系可以是在第四节点上本地请求所依赖的请求，也可以是第四节点上本地请求所依赖的请求与第一节点上各写入请求所依赖的请求的并集，具体的，可以是目标节点簇中的第四节点先统计在本地上各写入请求所依赖的请求，得到第二依赖关系，再向第一节点返回该第二依赖关系；也可以是目标节点簇中的第四节点统计在本地上各写入请求所依赖的请求得到依赖关系，再将该依赖关系与第一节点发送的第一依赖关系取并集，得到第二依赖关系，并将该第二依赖关系返回给第一节点。其中，第四节点上的本地请求可以是第四节点接收到的写入请求。需要说明的是，当第四节点上接收到的各请求与第一节点上接收到的各请求一致的情况下，第二依赖关系可以与第一依赖关系一致；当第四节点上接收到的各请求与第一节点上接收到的各请求不一致的情况下，比如，第四节点出现故障未接收到请求，第二依赖关系可以与第一依赖关系不一致。

需要说明的是，目标节点簇可以是根据第一节点预先划分的，具体的，可以是根据第一节点所在的地理位置，将设置在该地理位置附近的各节点划分为该第一节点对应的目标节点簇，也可以是在存储系统中直接对各节点进行划分，将第一节点所在的节点簇作为目标节点簇。目标节点簇的划分可以是在接收客户端发送的请求之前进行的，即，可以是在确定第一节点之前划分的，可以由存储系统预先为每个节点设置对应的节点簇，以便后续可以直接根据划分好的节点簇来确定依赖关系，从而可以提高数据统计的效率。

本发明实施例中，存储系统中往往会设置有容错数量，即，在存储系统运行中，若出现小于容错数量的节点出现问题之后，存储系统可以通过自身的故障恢复程序恢复操作，而当出现大于容错数量的节点出现问题之后，存储系统可能很难通过自身的故障恢复程序来恢复操作，需要人工来排查恢复。因此，在选择目标节点簇时，可以选取一个由

个节点组成的节点簇，其中，n为存储系统中节点的总数，f为存储系统中容错节点的数量。这是因为，当存储系统并行执行两个无依赖关系的cmd1和cmd2，而当cmd1和cmd2在某个节点上存在依赖关系时，那么根据多数派原理通过两次在任意

个节点获取依赖节点集合必定能观察到此依赖关系

进一步地，当第一节点出现故障时，在f个节点宕机的情况下，包括第一节点宕机，由于第一节点已将第一依赖关系发送到

个第二节点上，则可以通过

个节点恢复当前写入请求的目标依赖关系。在f个节点宕机的情况下，但不包括第一节点宕机的情况下，可以直接通过第一节点就可以恢复目标依赖关系。

子步骤(2)：所述第一节点根据所述第一依赖关系以及所述第二依赖关系，确定所述目标依赖关系。

本发明实施例中，可以是依据预设条件来比较第一依赖关系与第二依赖关系，并将满足预设条件的依赖关系作为目标依赖关系。例如，预设条件可以是选取包含的内容最多的依赖关系，若第二依赖关系包含内容最多，则可以将第二依赖关系确定为目标依赖关系，预设条件可以是选取出现次数最多的依赖关系，若第一依赖关系中包含出现次数最多的依赖关系，则可以将第一依赖关系确定为目标依赖关系。

示例的，图2是本发明实施例提供的一种数据处理的示意图，如图2所示，存储系统中包含三个节点，节点A、节点B、节点C，现有两个客户端，客户端1和客户端2同时向存储系统发起请求，客户端1向存储系统发送了一个写入请求x，客户端2向存储系统发送了一个写入请求y，而不同节点上请求到达的顺序并不一样，节点A上是先收到写入请求X再收到写入请求Y，节点B上是先收到写入请求X再收到写入请求Y，节点C上是先收到写入请求Y再收到写入请求X。当不同客户端发起的两个并发请求，达到每一个节点的顺序必然是{x→y}，{y→x}中的一个，而三个节点上的总体排序，可能出现的结果是：{x→y}，{y→x}，{x→y}∩{y→x}。对于{x→y}和{y→x}，因为两个请求在所有的节点上到达的顺序都是一致的，所以无论如何都会在存储系统中形成一致的提交顺序。而对于{x→y}∩{y→x}这种场景，即，部分节点上是写入请求X先于写入请求Y达到，部分节点上写入请求Y先于写入请求X达到，通过使用有向无环图(Directed Acyclic Graph，DAG)来构造{x→y}∩{y→x}的关系，因为x和y是双向关系，默认是不满足有向无环图的要求，所以通过请求x、y在达到的第一个节点时，为其生成一个逻辑时间戳{replica_id:sequence_number}，其中，replica_id是存储系统中针对该写入请求的标号，该标号是唯一的，而sequence_number可以随着节点上收到写入请求的数量单调递增。对两个请求x、y一定可以通过逻辑时钟建立一个确定的先后关系。由于写入请求x、写入请求y本身是不同客户端发起的并发请求，所以，需要让所有节点上形成一致的先后关系，因此，在出现{x→y}∩{y→x}的场景下，通过逻辑时钟的对比，可以归类为{x→y}或{y→x}，使得最终所有的节点上都可以达到完全一致的先后顺序，从而可以满足存储系统中对写入内容强一致的约束。

可选的，本发明实施例中上述第一节点根据第一依赖关系以及第二依赖关系，确定目标依赖关系的步骤，可以包括下述子步骤：

子步骤(2A)：将所述第一依赖关系以及所述第二依赖关系确定为备选依赖关系。

示例的，第一依赖关系为请求11依赖于请求09、请求15依赖于请求14、请求20依赖于请求15，第二依赖关系为请求15依赖于请求14、请求20依赖于请求15，则备选依赖关系可以为请求11依赖于请求09、请求15依赖于请求14、请求20依赖于请求15、请求15依赖于请求14、请求20依赖于请求15。

子步骤(2B)：从所述备选依赖关系中选择出现频次最高的依赖关系，以作为所述目标依赖关系。

示例的，若在备选依赖关系中，请求15依赖于请求14、请求20依赖于请求15出现的次数最高，则可以将请求15依赖于请求14、请求20依赖于请求15作为目标依赖关系。

本发明实施例中，由于出现频次最高的依赖关系往往代表着目标节点簇中大多数节点上都存在该依赖关系，也就意味着该依赖关系在多数节点上为真，因此，选取出现频次最高的依赖关系作为目标依赖关系，可以一定程度上确保目标依赖关系代表着目标节点簇中各节点上各写入请求的依赖关系，以便于后续根据该目标依赖关系执行操作，从而一定程度上可以提高数据处理的有效性。

可选的，本发明实施例中上述存储系统中的各第三节点根据逻辑标识，确定各写入请求之间的目标执行顺序，可以包括下述子步骤：

子步骤(3)：所述第三节点依据各所述写入请求的逻辑标识所指示的顺序，确定各个初始执行顺序。

本发明实施例中，假设各写入请求包括请求1、请求2、请求3、请求4，其中，请求1的逻辑标识为030503、请求2的逻辑标识为030502、请求3的逻辑标识为030504、请求4的逻辑标识为030501，因此，可以确定各写入请求的各个初始执行顺序，从先到后依次为请求4、请求2、请求1、请求3。

子步骤(4)：基于所述目标依赖关系，对所述初始执行顺序进行调整，以使调整后的所述初始执行顺序与所述目标依赖关系相适配。

本发明实施例中，假设各个初始执行顺序从先到后依次为请求4、请求2、请求1、请求3，而目标依赖关系中指出请求1依赖于请求3，即，请求1携带的数据是根据请求3携带的数据生成的，因此，请求3的顺序应该在请求1之前，因此，可以对初始执行顺序进行调整，得到调整后的初始执行顺序为请求4、请求2、请求3、请求1。

本发明实施例中，由于当一个请求携带的数据与另一请求携带的数据相关，比如，可以是该数据是根据另一请求携带的数据生成的，也可以是该数据是根据另一请求携带的数据先行条件，等等，才可以得到两个请求之间存在依赖关系，因此，当出现目标依赖关系时，必须确保在写入数据的过程中，先写入被依赖请求，再写入依赖请求，才可以使得写入数据的逻辑最贴合实际情况，也可以排除由于信息传递的延迟而导致写入内容错乱的问题，进一步提高在存储系统中写入数据的有效性。

子步骤(5)：将调整后的所述初始执行顺序作为所述目标执行顺序。

本发明实施例中，若调整后的初始执行顺序为请求4、请求2、请求3、请求1，则可以得到目标执行顺序为请求4、请求2、请求3、请求1。

本发明实施例中，通过基于目标依赖关系对逻辑标识得到的初始执行顺序进行调整，使得得到的目标执行顺序在符合第一节点收到请求的先后顺序之后，也可以符合请求之间的依赖关系，从而使得目标执行顺序可以一定程度上贴合真实的数据写入的顺序，避免由于信息传递的延迟而导致写入顺序错乱的问题，进一步可以提高在存储系统中写入的准确性。

实施例三

可选的，在另一种实现方式中，本发明实施例中还可以在按照目标执行顺序写入该写入请求对应的待写入数据的步骤之前，执行下述子步骤：

子步骤(6)：所述第三节点将所述写入请求的状态调整为预设状态。

本发明实施例中，预设状态可以为执行(Commit)状态，将写入请求的状态调整为预设状态，可以是在与写入请求关联的标签中，将写入请求的标签记载的状态修改为执行状态。

本发明实施例中上述按照目标执行顺序写入该写入请求对应的待写入数据，可以包括下述子步骤：

子步骤(7)：所述第三节点在所述写入请求的状态为预设状态的情况下，执行所述按照所述目标执行顺序写入所述写入请求对应的待写入数据的操作。

本发明实施例中，通过先调整写入请求的状态，再去执行写入该写入请求对应的待写入数据的操作，可以方便后期复查每个请求的处理进度时，可以直接根据该请求对应的状态快速获知该请求的处理情况，也可以根据该请求的状态获知还需执行什么操作，从而可以提高存储系统中检查请求处理情况的效率，避免出现请求被遗漏处理的情况。

本发明实施例中，可以将存储系统接收到客户端的写入请求之后，到在存储系统中写入该写入请求的过程划分为四个阶段，分别为开始(Start)状态、收集(Collect)状态、提交(Commit)状态、执行(Execute)状态，并且，可以将这四个状态设置为依次执行，即，只有在请求处于前一个状态的情况下，才可以将请求的状态调整为下一个状态，比如，请求的状态为收集(Collect)状态，则可以将请求的状态调整为提交(Commit)状态，但不可以调整为开始(Start)状态或者执行(Execute)状态，进一步地，还可以为存储系统设置一个恢复(Recover)状态，用来处理当存储系统中写入操作出现故障时的恢复流程。

具体的，可以在节点接收到各写入请求之后，将写入请求的状态修改为开始(Start)状态；可以在第一节点获取目标节点簇中各第四节点确定的第二依赖关系时，将写入请求的状态修改为收集(Collect)状态；可以在第一节点将各写入请求的目标信息同步给存储系统中的各第二节点按照所述目标执行顺序写入所述写入请求对应的待写入数据时，将写入请求的状态修改为提交(Commit)状态；可以在存储系统中的各第三节点按照目标执行顺序写入该写入请求对应的待写入数据之前，将写入请求的状态修改为执行(Execute)状态。

本发明实施例中，第一步，当客户端的某个写入请求cmd达到存储系统中的任意节点，该节点可以作为第一节点，第一节点为每一个cmd生成一个逻辑标识，该逻辑标识可以为cmd_id＝{replica_id,sequence_number}，其中replica_id可以是写入请求的编号，该编号在存储系统中是唯一的，sequence_number可以随着节点上收到写入请求的数量单调递增。计算第一节点本地的第一依赖关系，选取一个由

个节点组成的目标节点簇，并将这个cmd标记为COLLECT状态；并发送“MCollect”消息给目标节点簇中的所有第四节点，其中，“MCollect”消息包含：cmd_id，cmd，第一依赖关系，目标节点簇。

第二步，目标节点簇中每一个第四节点收到“MCollect”消息后，计算第四节点本地第二依赖关系，并对第一依赖关系与第二依赖关系去并集，得到“Dep”，并将“Dep”记录到第四节点本地；第四节点将该写入请求cmd的状态标记为COLLECT状态；向第一节点回复“MCollectAck”消息，“MCollectAck”消息中包含：cmd_id，“Dep”，目标节点簇。

第三步，第一节点将目标节点簇中各第四节点回复的“MCollectAck”消息中的各个“Dep”取并集，得到目标依赖关系，并向目标节点簇中各第四节点发送“MCommit”消息，该“MCommit”消息包含：cmd_id，cmd，目标依赖关系。

第四步，目标节点簇中各第四节点收到“MCommit”消息后，如果第四节点上的cmd状态不处于COMMIT状态或者EXECUTE状态，则可以第四节点本地记录：cmd和目标依赖关系，并将该写入请求cmd对应的状态修改为COMMIT状态。

实施例四

可选的，在另一种实现方式中，本发明实施例的数据处理方法还可以执行下述步骤：

步骤A、在所述第一节点出现故障的情况下，目标恢复节点确定所述目标节点簇中的成员节点。

本发明实施例中，由于根据第一节点确定的目标节点簇往往只记录在第一节点本地上，而其他节点并不知晓，当第一节点出现故障的情况下，在第一节点获取目标节点簇中各第四节点确定的第二依赖关系的步骤，以及，第一节点根据第一依赖关系以及第二依赖关系确定目标依赖关系的步骤，可能未完成，即，可能出现第一节点并未获取到第二依赖关系，或者，第一节点并未确定目标依赖关系，或者，第一节点以确定目标依赖关系但未能发送给存储系统中的各第二节点，或者，只有一部分第二节点收到第一节点发送的目标依赖关系，而另一部分未能收到，等等情况，因此，需要先确定目标节点簇中包含的成员节点，才可以对第一节点出现故障而导致无法继续执行写入操作的过程，进行故障恢复程序，即，使目标节点簇中未完成执行写入操作的节点恢复并继续执行写入操作。

本发明实施例中，目标恢复节点是从第二节点中任选的一个节点，

步骤B、所述目标恢复节点获取各所述成员节点确定的所述第二依赖关系。

本发明实施例中，可以是在目标恢复节点向存储系统中的所有节点发送消息，比如，发送“MRecover”消息，而各个节点根据该消息确定本节点是否接收到出现故障的第一节点发送的信息，并将该第一节点发送的信息返回给目标恢复节点，目标恢复节点即可将返回第一节点发送的信息的节点确定为目标节点簇中的成员节点。

本发明实施例中，当成员节点只收到第一依赖关系而未收到目标依赖关系的情况下，或者，成员节点未收到第一依赖关系的情况下，成员节点可以统计各写入请求在该成员节点上所依赖的请求得到第二依赖关系，并将第二依赖关系发送给目标恢复节点，相应地，目标恢复节点可以收到第二依赖关系。进一步地，当成员节点已收到目标依赖关系的情况下，成员节点可以向目标恢复节点发送目标依赖关系，相应地，目标恢复节点可以直接得到目标依赖关系，

步骤C、所述目标恢复节点根据所述第二依赖关系，重新确定所述目标依赖关系。

本发明实施例中，当第一成员节点收到目标依赖关系时，而第二成员节点可能只收到第一依赖关系，或者，未收到第一节点的信息时，目标恢复节点可以通过对各第二成员节点的第二依赖关系与目标依赖关系取并集，重新确定目标依赖关系。

本发明实施例中，当目标节点簇中的所有成员节点都已收到目标依赖关系，则目标恢复节点可以直接确定目标依赖关系。当目标节点簇中的所有成员节点都未收到过第一节点发送的信息，则可以将目标恢复节点作为新的第一节点，重新执行步骤101至步骤103的操作。

本发明实施例中，如果出现故障的第一节点恢复后，并加入到目标节点簇中作为第四节点出现时，由于目标节点簇中包含了n–f个节点，因此，在目标节点簇中重新计算目标依赖关系时，与正常流程下原第一节点在目标节点簇中计算目标依赖关系的本质是一样的，即，故障恢复流程中计算得到的目标依赖关系与正常流程中计算得到的目标依赖关系是一致的。如果出现故障的第一节点恢复后并未加入到目标节点簇中，出现故障的第一节点上针对写入请求可能已经处于COMMIT状态，因此，为了保证故障恢复流程中计算得到的目标依赖关系与正常流程中计算得到的目标依赖关系是一致的，需要对故障恢复流程中计算得到的目标依赖关系与目标节点簇中除第一节点计算得到的目标依赖关系取并集。

本发明实施例中，在实际的业务场景中，强一致存储系统中目前都是设置3个节点，相较于现有技术中基于强主管节点的强同步复制算法中，选取主管节点容易成为瓶颈，本发明消除了对主管节点的依赖，所有的节点都可以平等地提供读写服务，从而使存储集群的存储性能得以大幅度提升，而且提高了资源的利用的效率。

进一步地，在基于“Paxos Group”进行数据分片的方案中，如果用户的读写请求和其对应的“Paxos Group”的主管节点不在同一个区域，该读写请求还需要协调节点路由到“Paxos Group”的主管节点所在的区域，从而导致在执行写入操作时至少需要2个往返时延才能完成一次强一致的读写请求，而本发明可以在任何情况下都只消耗1个往返时延，就可以完成一次强一致的读写请求，从而可以在提升整个存储系统读写服务能力的同时，即可以有效利用资源，又可以给业务带来更为顺畅的服务能力，使得所有的读写请求都可以在3个节点中，只花费一个往返时延就完成强一致性的读写服务，不仅提升了查询能力，还显著降低了业务访问的延时。以一个往返时延完成强一致的存储提交，使得无论业务负载如何，都一定程度上的可以将存储系统的处理能力提升50％以上，访问延时下降40％左右。并且，在典型业务场景下，在承载同样的业务访问量时，资源的利用率可以下降到1/2左右，从而可以节省成本。

本发明实施例中，相较于现有的优化强一致系统读写延时的方案，算法和流程都极为复杂且工程实现的难度较大，而本发明不仅优化了强一致系统读写延时，而且操作步骤精简清晰，从而使得运行和维护的工作量都在一定程度上的减少。

实施例五

图3是本发明实施例提供的一种数据处理装置的框图，如图3所示，该装置30可以包括：

设置模块301，用于在客户端向所述存储系统发送的多个写入请求的情况下，所述存储系统中的第一节点为各所述写入请求设置逻辑标识；各所述逻辑标识之间按照设置顺序依次单调变化；所述第一节点为所述存储系统中首个接收到所述多个写入请求的节点；

同步模块302，用于所述第一节点将各所述写入请求的目标信息同步给所述存储系统中的各第二节点；所述目标信息包括所述逻辑标识；所述第二节点为所述存储系统中除所述第一节点之外的节点；

写入模块303，用于所述存储系统中的各第三节点根据所述逻辑标识，确定各所述写入请求之间的目标执行顺序，并按照所述目标执行顺序写入所述写入请求对应的待写入数据；所述第三节点为所述存储系统中的任一节点。

可选的，所述目标信息包括目标依赖关系；

所述装置30，还包括：

第一获取模块，用于所述第一节点统计各所述写入请求所依赖的请求，以生成第一依赖关系，以及，获取目标节点簇中各第四节点确定的第二依赖关系；所述第二依赖关系是所述第四节点通过统计本地请求所依赖的请求确定的；所述目标节点簇中的第四节点是所述第一节点选择的，所述本地请求是所述第四节点接收到的写入请求；

第一确定模块，用于所述第一节点根据所述第一依赖关系以及所述第二依赖关系，确定所述目标依赖关系。

可选的，所述第一确定模块，还用于：

将所述第一依赖关系以及所述第二依赖关系确定为备选依赖关系；

从所述备选依赖关系中选择出现频次最高的依赖关系，以作为所述目标依赖关系。

可选的，所述写入模块303，还用于：

所述第三节点依据各所述写入请求的逻辑标识所指示的顺序，确定各个初始执行顺序；

基于所述目标依赖关系，对所述初始执行顺序进行调整，以使调整后的所述初始执行顺序与所述目标依赖关系相适配；

将调整后的所述初始执行顺序作为所述目标执行顺序。

可选的，所述装置30还包括：

调整模块，用于所述第三节点将所述写入请求的状态调整为预设状态；

所述写入模块303，还用于：

所述第三节点在所述写入请求的状态为预设状态的情况下，执行所述按照所述目标执行顺序写入所述写入请求对应的待写入数据的操作。

可选的，所述装置30还包括：

第二确定模块，用于在所述第一节点出现故障的情况下，目标恢复节点确定所述目标节点簇中的成员节点；

第二获取模块，用于所述目标恢复节点获取各所述成员节点确定的所述第二依赖关系；

第三确定模块，用于所述目标恢复节点根据所述第二依赖关系，重新确定所述目标依赖关系。

可选的，所述目标恢复节点是从所述第二节点中任选的一个节点。

本发明实施例提供的数据处理装置具备执行数据处理方法相应的功能模块，可执行本发明实施例一到实施例四任一实施例所提供的数据处理方法，且能达到相同的有益效果。

在本发明提供的又一实施例中，还提供了一种电子设备，电子设备可以包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。示例的，如图4所示，该电子设备具体可以包括：处理器401、存储装置402、具有触摸功能的显示屏403、输入装置404、输出装置405以及通信装置406。该电子设备中处理器401的数量可以是一个或者多个，图4中以一个处理器401为例。该电子设备的处理器401、存储装置402、显示屏403、输入装置404、输出装置405以及通信装置406可以通过总线或者其他方式连接。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据处理方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据处理方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于包括多个节点的存储系统，所述方法包括：

在客户端向所述存储系统发送的多个写入请求的情况下，所述存储系统中的第一节点为各所述写入请求设置逻辑标识；各所述逻辑标识之间按照设置顺序依次单调变化；所述第一节点为所述存储系统中首个接收到所述多个写入请求的节点；

所述第一节点将各所述写入请求的目标信息同步给所述存储系统中的各第二节点；所述目标信息包括所述逻辑标识；所述第二节点为所述存储系统中除所述第一节点之外的节点；

所述存储系统中的各第三节点根据所述逻辑标识，确定各所述写入请求之间的目标执行顺序，并按照所述目标执行顺序写入所述写入请求对应的待写入数据；所述第三节点为所述存储系统中的任一节点。

2.根据权利要求1所述的方法，其特征在于，所述目标信息包括目标依赖关系；

所述第一节点将各所述写入请求的目标信息同步给所述存储系统中的各第二节点之前，还包括：

所述第一节点统计各所述写入请求所依赖的请求，以生成第一依赖关系，以及，获取目标节点簇中各第四节点确定的第二依赖关系；所述第二依赖关系是所述第四节点通过统计本地请求所依赖的请求确定的；所述目标节点簇中的第四节点是所述第一节点选择的，所述本地请求是所述第四节点接收到的写入请求；

所述第一节点根据所述第一依赖关系以及所述第二依赖关系，确定所述目标依赖关系。

3.根据权利要求2所述的方法，其特征在于，所述第一节点根据所述第一依赖关系以及所述第二依赖关系，确定所述目标依赖关系，包括：

将所述第一依赖关系以及所述第二依赖关系确定为备选依赖关系；

从所述备选依赖关系中选择出现频次最高的依赖关系，以作为所述目标依赖关系。

4.根据权利要求2所述的方法，其特征在于，所述存储系统中的各第三节点根据所述逻辑标识，确定各所述写入请求之间的目标执行顺序，包括：

所述第三节点依据各所述写入请求的逻辑标识所指示的顺序，确定各个初始执行顺序；

基于所述目标依赖关系，对所述初始执行顺序进行调整，以使调整后的所述初始执行顺序与所述目标依赖关系相适配；

将调整后的所述初始执行顺序作为所述目标执行顺序。

5.根据权利要求1所述的方法，其特征在于，在所述按照所述目标执行顺序写入所述写入请求对应的待写入数据之前，所述方法还包括：

所述第三节点将所述写入请求的状态调整为预设状态；

所述按照所述目标执行顺序写入所述写入请求对应的待写入数据，包括：

所述第三节点在所述写入请求的状态为预设状态的情况下，执行所述按照所述目标执行顺序写入所述写入请求对应的待写入数据的操作。

6.根据权利要求2-4中任一所述的方法，其特征在于，所述方法还包括：

在所述第一节点出现故障的情况下，目标恢复节点确定所述目标节点簇中的成员节点；

所述目标恢复节点获取各所述成员节点确定的所述第二依赖关系；

所述目标恢复节点根据所述第二依赖关系，重新确定所述目标依赖关系。

7.根据权利要求6所述的方法，其特征在于，所述目标恢复节点是从所述第二节点中任选的一个节点。

8.一种数据处理装置，其特征在于，应用于包括多个节点的存储系统，所述装置包括：

设置模块，用于在客户端向所述存储系统发送的多个写入请求的情况下，所述存储系统中的第一节点为各所述写入请求设置逻辑标识；各所述逻辑标识之间按照设置顺序依次单调变化；所述第一节点为所述存储系统中首个接收到所述多个写入请求的节点；

同步模块，用于所述第一节点将各所述写入请求的目标信息同步给所述存储系统中的各第二节点；所述目标信息包括所述逻辑标识；所述第二节点为所述存储系统中除所述第一节点之外的节点；

写入模块，用于所述存储系统中的各第三节点根据所述逻辑标识，确定各所述写入请求之间的目标执行顺序，并按照所述目标执行顺序写入所述写入请求对应的待写入数据；所述第三节点为所述存储系统中的任一节点。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一所述数据处理方法的步骤。

10.一种电子设备，其特征在于，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一所述数据处理方法的步骤。

Images