CN113849573A - 数据一致性管理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提出一种数据一致性管理方法、装置、电子设备及存储介质，该方法包括：确定多个分组，分组包括：至少部分节点；获取与分组对应的等待计数值；根据等待计数值，对节点的数据进行一致性管理。通过本公开，能够有效地保障分布式集群中数据的一致性，在有效地保障分布式集群中的数据一致性效果的同时，有效地提升分布式集群中数据的分布式处理效果。

Description

数据一致性管理方法、装置、电子设备及存储介质

技术领域

本公开涉及分布式存储技术领域，尤其涉及一种数据一致性管理方法、装置、电子设备及存储介质。

背景技术

当前分布式存储技术领域中，保证分散在多个节点上的同一份数据的多个副本之间的一致性是核心问题。常用的一致性方案有强一致性和最终一致性两种。强一致性因其实现难度和应用场景有限，普及性不如最终一致性。

相关技术中，需要建立额外的仲裁机制来保证多个节点上的同一份数据的多个副本之间的一致性。

这种方式下，分布式集群中数据的一致性效果不佳，影响分布式集群中数据的分布式处理效果，导致分布式集群的拓展应用效果不佳。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本公开的目的在于提出一种数据一致性管理方法、装置、电子设备及存储介质，能够有效地保障分布式集群中数据的一致性，在有效地保障分布式集群中的数据一致性效果的同时，有效地提升分布式集群中数据的分布式处理效果。

为达到上述目的，本公开第一方面实施例提出的数据一致性管理方法，包括：确定多个分组，分组包括：至少部分节点；获取与分组对应的等待计数值；根据等待计数值，对节点的数据进行一致性管理。

本公开第一方面实施例提出的数据一致性管理方法，通过确定多个分组，分组包括：至少部分节点，而后获取与分组对应的等待计数值，根据等待计数值，对节点的数据进行一致性管理，能够有效地保障分布式集群中数据的一致性，在有效地保障分布式集群中的数据一致性效果的同时，有效地提升分布式集群中数据的分布式处理效果。

为达到上述目的，本公开第二方面实施例提出的数据一致性管理装置，包括：第一确定模块，用于确定多个分组，分组包括：至少部分节点；获取模块，用于获取与分组对应的等待计数值；管理模块，用于根据等待计数值，对节点的数据进行一致性管理。

本公开第二方面实施例提出的数据一致性管理装置，通过确定多个分组，分组包括：至少部分节点，而后获取与分组对应的等待计数值，根据等待计数值，对节点的数据进行一致性管理，能够有效地保障分布式集群中数据的一致性，在有效地保障分布式集群中的数据一致性效果的同时，有效地提升分布式集群中数据的分布式处理效果。

根据本公开第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例的数据一致性管理方法。

根据本公开第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开第一方面实施例的数据一致性管理方法。

根据本公开第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开第一方面实施例的数据一致性管理方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本公开一实施例提出的数据一致性管理方法的流程示意图；

图2是本公开实施例中分组机制的模型图；

图3是本公开另一实施例提出的数据一致性管理方法的流程示意图；

图4是本公开另一实施例提出的数据一致性管理方法的流程示意图；

图5是本公开另一实施例提出的数据一致性管理方法的流程示意图；

图6是本公开另一实施例提出的数据一致性管理方法的流程示意图；

图7是本公开另一实施例提出的数据一致性管理方法的流程示意图；

图8是根据本公开一实施例提出的数据一致性管理装置的结构示意图；

图9是根据本公开另一实施例提出的数据一致性管理装置的结构示意图；

图10示出了适于用来实现本公开实施方式的示例性电子设备的框图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

图1是本公开一实施例提出的数据一致性管理方法的流程示意图。

其中，需要说明的是，本实施例的数据一致性管理方法的执行主体为数据一致性管理装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。

如图1所示，该数据一致性管理方法，包括：

S101：确定多个分组，分组包括：至少部分节点。

本公开实施例中的数据一致性管理方法应用于分布式集群，所述分布式集群包括多个节点，该节点可以是用于存储数据的节点，节点具体形式可以例如为软件的程序代码逻辑和/或硬件结构，节点具体例如被配置为分布式架构中的多个服务器中的任一个服务器节点，该节点中存储的数据可以例如为系统日志数据，或者是用于辅助日志数据发送和接收等的传输配置数据，对此不做限制。

其中，分布式集群可以例如为关系型数据库管理系统(My structured querylanguage，MySQL)集群，当基于MySQL数据库集群提供应用功能时，该MySQL数据库集群可以对应前端的一个业务系统，此时，MySQL数据库集群中的各个数据库节点可以用于存储业务系统运行过程中产生的业务数据、业务流程配置数据等等，该数据库节点即可以被称为上述的节点，节点中存储的数据，可以例如是业务数据、业务流程配置数据等，对此不做限制。

本公开实施例中，可以预先采用一定的规则对分布式集群中的多个节点进行分组处理，例如，将部署在同一个机房的集群节点作为一组，或者将部署在相同地区的集群节点作为一组，或者，还可以采用其他任意可能的方式实现对分布式集群中的多个节点进行分组处理，以得到多个分组，以及各个分组中包括的多个节点。

本公开实施例中的确定多个分组，可以是确定针对该分布式集群预先配置的分组，例如，可以获取与该分布式集群对应的配置文件，从配置文件中解析出分组配置信息，根据分组配置信息确定分布式集群中的多个分组的标识，以及各个分组的标识所对应的一个或者多个节点的标识，该一个或者多个节点的标识所指示的集群节点，即可以是该分组的标识所指示的分组中的节点，或者，也可以采用其他任意可能的方式来实现确定多个分组，例如，在确定需要对分布式集群中的数据进行一致性管理时，触发对分布式集群中的节点进行分组处理，对此不做限制。

本公开实施例中，当一个分组包括多个节点时，该多个节点可以被配置为主节点和从节点，由此，主节点可以是分布式集群中负责提供写数据服务的实例节点，从节点可以是分布式集群中用于提供读数据服务的实例节点。

本公开实施例中，针对主节点和从节点的数量可以不做限制，主节点例如是一个，从节点例如是多个，为了保障主从节点中数据读写处理的性能和准确性，通常主节点可以最多配置为一个，从节点可以配置为多个。

S102：获取与分组对应的等待计数值。

其中，等待计数值，可以是针对一个分组预先设定的，该等待计数值，可以用于表征该分组中已接收到更新数据的节点的数量，不同分组对等待计数的要求可以相同或不同，不同的分组可以根据分组要求等的不同预设不同的等待计数值，不同分组对应的等待计数值也可以相同或者不同，对此不做限制。

也即是说，当主节点对自身的数据进行更新，而后将新的数据发送至各个分组中的从节点，各个分组中的从节点在接收到主节点发送的新的数据时，可以触发对自身相应的数据进行更新，在收到更新数据之后，从节点可以向主节点反馈已接收到更新数据的确认消息。

本公开实施例中，可以预先针对各个分组配置对应的等待计数值，并在该分组中的各个节点参照主节点的新的数据对自身的数据进行相应的更新时，记录该分组中已接收到更新数据的从节点的数量(该数量可以被称为参考数量)，当该分组中已接收到更新数据的从节点的数量达到预先设置的等待计数值时，可以确定该分组达到数据一致性。

举例而言，一个分组中可以有5从节点，预先针对该分组设置的等待计数值为3，当该分组中有3个节点反馈确认消息(该确认消息表征，相应的节点已接收到更新数据)后，则可以判定该分组满足数据一致性条件。

上述确定多个分组后，可以获取与多个分组分别对应的多个等待计数值，而后参考与各个分组分别对应配置的等待计数值来辅助对分组中的多个节点进行数据一致性管理。

本公开实施例中，不同分组对应的等待计数值可以相同或者不相同，不同分组对应的等待计数值之间可以不具有相应的关联关系。

一些实施例中，分组的等待计数值，可以配置为大于或者等于1，小于或者等于该分组中节点的数量，本公开实施例中，还可以支持在进行数据一致性管理的同时，对各个分组的等待计数值进行自适应的修改，对此不做限制。

本公开实施例中，还可以根据数据一致性管理的需求对分组规则进行自适应的修改、开启或关闭等操作，其中的分组规则，即是用于对分布式集群中多个节点的分组情况，和与各个分组对应的等待计数值的配置相关的规则，该分组规则，可以被用于从节点对主节点的数据进行同步更新的处理逻辑中，对此不做限制。

举例而言，图2是本公开实施例中分组机制的模型图，如图2所示，在MySQL数据库集群中，有分组A、分组B、分组C 3个分组，分组A中有多个实例：实例A1(节点)、实例A2(节点)，分组B中有多个实例B1(节点)、实例B2(节点)、实例B3(节点)，分组C中有多个实例C1(节点)、实例C2(节点)和实例C3(节点)，在配置与各个分组对应的等待计数值时时，可以将每个分组的等待计数值都设置为2，对此不做限制。

本公开实施例中支持预先针对各个分组配置相对应的等待计数值，并参考该等待计数值辅助对各个分组中节点的数据进行数据一致性管理，假使部分分组中的节点均发生了故障事件，此时集群中的写入操作将处于等待状态，直至故障排除，确认消息达到等待计数值，确保各个分组中均有部分节点接收到更新数据，从而能够有效地辅助提升分布式集群的性能鲁棒性，在保证高性能的基础上，提高集群的整体一致性。

S103：根据等待计数值，对节点的数据进行一致性管理。

本公开实施例在根据等待计数值，对节点的数据进行一致性管理时，可以是采用基于消息传递的分布式一致性算法(Paxos)，使用少数服从多数原则和全局序列化以实现数据的一致性管理，或者是采用主从复制的方法，使用偏序关系达成数据的因果一致性，或者是在主从复制基础上，以分组接收确认信息的方法来实现数据的一致性管理，对此不做限制。

本公开实施例中，主从复制可以是主节点发送数据给从节点，从节点收到数据后回复确认信息给主节点，主节点根据各分组回复的确认信息数量以及该分组等待计数要求来确认各分组数据是否一致，以及所有分组整体数据是否一致，主从复制机制包括但不限于主从同步复制或主从半同步复制，主从复制机制的运用能够有效地保障分布式集群中的数据一致性效果。

举例而言，主节点接收客户端发送的写数据请求，而后将写数据请求转换为特定格式的日志数据，并将日志数据发送给从节点，从节点参考该日志数据在本地执行写请求，当收到更新数据之后，通过反馈确认消息的方式向主节点反馈自身已接收到更新数据的确认消息，以实现分布式集群中全部节点中数据的一致性管理。

本实施例中，通过确定多个分组，分组包括：至少部分节点，而后获取与分组对应的等待计数值，之后根据等待计数值，对节点的数据进行一致性管理能够有效地保障分布式集群中数据的一致性，在有效地保障分布式集群中的数据一致性效果的同时，有效地提升分布式集群中数据的分布式处理效果。

图3是本公开另一实施例提出的数据一致性管理方法的流程示意图。

如图3所示，该数据一致性管理方法，包括：

S301：确定多个分组，分组包括：至少部分节点。

S302：获取与分组对应的等待计数值。

S301-S302的描述说明可以具体参见上述实施例，在此不再赘述。

S303：根据主节点中的更新数据分别对各个从节点中的从实例数据进行更新，其中，从节点在接收到更新数据时，生成确认消息，并将确认消息反馈至主节点。

本公开实施例中，当对分布式集群中的主节点进行数据更新时，可以由主节点将更新数据传输至相应的节点(该相应的节点可以是经由不同类型的一致性从分布式集群中的多个节点中选择确定的，不同类型的一致性可以例如，全局序列化一致性和因果一致性)中，并对各个从节点中的从实例数据进行更新，进而完成对相应的节点的数据一致性关系。

本公开实施例中，相应的节点可以对应的属于一个分组，该相应的节点在收到更新数据后，可以生成已接收到更新数据的确认消息(该确认消息可以标识为ack消息)，并向主节点发送确认消息(ack消息)。

其中，更新数据可以是日志数据，确认消息可以是包含与之对应的，能够用于标识自身已接收到更新数据的代码、数字或字符串等，对此不作限制。

本公开实施例中在分别对各个节点的数据进行更新时，可以参考主节点中更新数据，结合使用偏序机制对从节点中的数据进行更新。

偏序机制可以举例而言如下：

假设有3条日志数据链，分别是日志数据A-日志数据B-日志数据C，日志数据D，日志数据E-日志数据F，当主节点发送日志数据至从节点时，有偏序关系的可以按日志数据链的先后顺序发送，例如日志数据A、日志数据B与日志数据C之间有偏序关系，因此发送完日志数据A后再发送日志数据B，最后发送日志数据C。无偏序关系的可不考虑数据发送的顺序，例如日志数据A、日志数据D与日志数据E之间没有偏序关系，因此可以并行发送，发送日志数据A的同时可以发送日志数据D，或者日志数据E(和日志数据A、日志数据B与日志数据C的先后顺序类似，日志数据E发送完之后可以发送日志数据F)。从节点接收时，可以把收到的日志数据写入日志文件，写入顺序可以对应偏序关系，并行写入，例如先写日志数据A，而后写日志数据B，而后写日志数据C，日志数据E和日志数据F类似。当日志数据A日志数据B日志数据C未全部写完时，可以并行写入日志数据D或者日志数据E，对并行的数据链的写入顺序不做限制。

S304：确定分组的参考数量，其中，参考数量是分组中已生成确认消息的节点的数量。

其中，参考数量，是与分组相对应的，不同的分组可以对应不同或者相同的参考数量，参考数量，是该分组中当前已反馈确认消息的节点的数量，可以理解的是，该参考数量是一个动态更新的数值，在实际数据同步过程中，可以由数据一致性管理装置统计各个分组中当前已反馈确认消息的节点的数量，而后实时地判断当前的参考数量是否达到等待计数值。

S305：根据分组的参考数量和等待计数值，对节点的数据进行一致性管理。

举例而言，从节点接收到更新数据后，向主节点发送确认消息(ack消息)，假设从节点更新主节点的日志数据D时，可以在接收到更新数据后单独发送确认消息；假设从节点更新主节点的日志数据A-日志数据B-日志数据C时，可以合并发送一次确认消息，也可以分别发送确认消息，对此不做限制。

举例而言，当从节点向主节点发送确认消息(ack消息)时，主节点可以对参考数量加1，得到当前的参考数据，而后，将当前的参考数量与等待计数值进行比对，根据比对的结果对该分组中节点的数据进行一致性管理。

举例而言，可以将比对的结果输入至一个一致性判定模型中，根据该一致性判定模型输出的结果值来确定数据是否符合一致性条件，或者，也可以采用其他任意可能的方式来实现根据分组的参考数量和等待计数值，对节点的数据进行一致性管理，对此不做限制。

本实施例中，通过确定多个分组，分组包括：至少部分节点，而后获取与分组对应的等待计数值，之后根据等待计数值，对节点的数据进行一致性管理能够有效地保障分布式集群中数据的一致性，在有效地保障分布式集群中的数据一致性效果的同时，有效地提升分布式集群中数据的分布式处理效果。通过分别对各个从节点的数据进行更新，从节点在接收到更新数据后，生成确认消息，由于基于确认消息的形式向主节点动态地反馈自身分组内节点数据更新的情况，能够有效地便于及时地获知各个分组中节点数据更新的情况，辅助提升数据一致性实现的效率和准确性，通过动态地确认分组的参考数量，结合等待计数值对节点的数据进行一致性管理，能够实现对分布式集群中节点的数据一致性进行动态的监听和处理，较大程度地提升针对多个分组中的数据一致性的实现效果。

图4是本公开另一实施例提出的数据一致性管理方法的流程示意图。

如图4所示，该数据一致性管理方法，包括：

S401：确定多个分组，分组包括：至少部分节点。

S402：获取与分组对应的等待计数值。

S403：根据主节点中的更新数据分别对各个从节点中的从实例数据进行更新，其中，从节点在接收到更新数据时，生成确认消息，并将确认消息反馈至主节点。

S404：确定分组的参考数量，其中，参考数量是分组中已生成确认消息的节点的数量。

S401-S404的描述说明可以具体参见上述实施例，在此不再赘述。

S405：如果分组的参考数量达到分组的等待计数值，则确定分组中的数据满足一致性条件。

本公开实施例中的等待计数值的含义，还可以是确定对应分组中需求同步的最少节点数量的门限值，也即是说，当该分组中已接收到更新数据的节点的数量达到预先设置的等待计数值时，可以确定该分组中的节点的数据一致性情况已符合实践需求，此时可以直接判定分组中的数据满足一致性条件。

举例而言，在多机房部署场景中，可以将各个机房对应配置为一个分组，并对各个机房设置相应的等待计数值，当从节点接收到更新数据后，反馈确认消息，根据节点反馈的确认消息，对机房中的数据一致性进行确定，当机房内的已反馈确认消息的节点的参考数量达到等待计数值，表明该机房中的数据满足一致性条件。

S406：如果分组的参考数量未达到分组的等待计数值，则持续地监听分组内节点是否接收到更新数据。

本公开实施例中，分组的参考数量未达到分组的等待计数值，可能是分组内的节点未收到主节点发送的更新数据，进而导致机房内当前已反馈确认消息的节点的参考数量未达到等待计数值，此时可以触发持续地监听分组内参考数量的变化，直至参考数量达到等待计数值，确定该机房中的数据满足一致性条件。

本实施例中，通过确定多个分组，获取与分组对应的等待计数值，之后分别对各个节点的数据进行更新，其中，节点在接收到更新数据时，生成确认消息，确定分组的参考数量，其中，参考数量是分组中已生成确认消息的节点的数量，而后在分组的参考数量达到分组的等待计数值时，可以直接确定分组中的数据满足一致性条件，在分组的参考数量未达到分组的等待计数值时，触发持续地监听分组内节点是否接收到更新数据，由于通过分组的参考数量和分组的等待计数值进行对比，从而对分组中的数据的一致性进行判定，且等待计数值可以是确定对应分组中需求同步的最少节点数量的门限值，从而能够有效地保障数据一致性判定的合理性，并且数据一致性判定方法较为简捷，从而能够有效地提升数据一致性实现的效率，提升分布式集群中数据一致性实现的效果。

图5是本公开另一实施例提出的数据一致性管理方法的流程示意图。

如图5所示，该数据一致性管理方法，包括：

S501：确定多个分组，分组包括：至少部分节点。

S502：获取与分组对应的等待计数值。

S503：根据主节点中的更新数据分别对各个从节点中的从实例数据进行更新，其中，从节点在接收到更新数据时，生成确认消息，并将确认消息反馈至主节点。

S504：确定分组的参考数量，其中，参考数量是分组中已生成确认消息的节点的数量。

S505：如果分组的参考数量达到分组的等待计数值，则确定分组中的数据满足一致性条件。

S501-S505的描述说明可以具体参见上述实施例，在此不再赘述。

S506：如果多个分组中的数据均满足一致性条件，则确定分布式集群中的数据满足一致性条件。

本公开实施例中，由于多个分组是预先对分布式集群中的多个节点进行分组得到的，从而当各个分组中的数据均满足一致性条件时，则可以直接判定分布式集群中的数据满足一致性条件。

也即是说，本公开实施例中支持对各个分组中数据是否满足一致性条件进行监测，当监测到各个分组中的数据均满足一致性条件时，直接确定分布式集群中的数据满足一致性条件。

S507：如果任一分组中的数据不满足一致性条件，则确定分布式集群中的数据不满足一致性条件。

本公开实施例中，任一分组可以是分布式集群中的一个或多个分组，当一个或多个分组中的参考数量未达到与之对应的等待计数值时，则确定整个分布式集群中的数据不满足一致性条件，可以触发持续地对分布式集群中的数据是否满足一致性条件进行监听，如果在设定时间阈值内仍然不满足该数据一致性条件，则可以确定分布式集群中的数据不满足一致性条件，对此不做限制。

本实施例中，通过确定多个分组，获取与分组对应的等待计数值，之后根据主节点中的更新数据分别对各个从节点中的从实例数据进行更新，其中，从节点在接收到更新数据时，生成确认消息，并将确认消息反馈至主节点，确定分组的参考数量，其中，参考数量是分组中已生成确认消息的节点的数量，而后在分组的参考数量达到分组的等待计数值时，可以直接确定分组中的数据满足一致性条件，在分组的参考数量未达到分组的等待计数值时，触发持续地监听分组内节点是否生成确认消息，由于通过分组的参考数量和分组的等待计数值进行对比，从而对分组中的数据的一致性进行判定，且等待计数值可以是确定对应分组中需求同步的最少节点数量的门限值，从而能够有效地保障数据一致性判定的合理性，并且数据一致性判定方法较为简捷，从而能够有效地提升数据一致性实现的效率，提升分布式集群中数据一致性实现的效果。通过在多个分组中的数据均满足一致性条件，则确定分布式集群中的数据满足一致性条件，而在任一分组中的数据不满足一致性条件，则确定分布式集群中的数据不满足一致性条件，能够准确地、合理地判定出整体的分布式集群中的数据是否满足一致性条件，提升分布式集群中的数据一致性判定的可靠性，同时能够及时发现未反馈确认消息的分组中的集群节点，便于后续的故障辅助排查。

图6是本公开另一实施例提出的数据一致性管理方法的流程示意图。

如图6所示，该数据一致性管理方法，包括：

S601：在开启分组规则时，执行确定多个分组的步骤，分组包括：至少部分节点。

本公开实施例中，根据分组规则，确定多个分组，其中分组规则可以是根据分布式集群的节点的地理位置或区域位置等进行划分，分组规则的设置可以根据实际情况的需要进行修改，对此不作限制，在分组规则开启时，分布式集群可以根据分组规则对分布式集群中的多个节点进行分组处理，并在分组处理后确定主节点和从节点，对此不做限制。

由此，本公开实施例中，当未开启分组规则时，可以依据通常的方式方法来执行数据一致性管理，当开启分组规则时，触发参考与各个分组对应的等待计数值来辅助对数据进行一致性管理，由于在开启分组规则时，执行确定多个分组的步骤，从而实现针对分布式集群中数据一致性的按需管理，有效提升分布式集群中数据一致性实现的灵活性，提升数据一致性管理的可拓展性。

S602：获取与分组对应的等待计数值。

S602的描述说明可以具体参见上述实施例，在此不再赘述。

S603：如果主实例数据不是第一遗留数据，则根据等待计数值，对从节点的数据进行一致性管理，其中，第一遗留数据是开启分组规则前主节点中尚未符合一致性条件的数据。

本公开实施例中，第一遗留数据是开启分组规则前主节点中尚未符合一致性条件的数据。

本公开实施例中，当确定主实例数据不是第一遗留数据时，可以使用本公开实施例中基于分组规则针对各个分组配置的等待计数值对第一遗留数据进行一致性实现。

S604：如果主实例数据是第一遗留数据，则采用分布式集群中的主从复制机制对从节点的数据进行一致性管理。

其中，主从复制机制，可以例如为半同步复制，同步复制等，对此不做限制。

本公开实施例中，当确定主实例数据是第一遗留数据时，可以使用开启分组规则前的数据一致性实现方法来对第一遗留数据进行一致性实现。

可选地，一些实施例中，在主实例数据是第一遗留数据时，可以采用分布式集群中的主从复制机制对从节点的数据进行一致性管理，当然，也可以采用其他任意可能的方式来实现对第一遗留数据进行一致性实现，对此不做限制。

从而本公开实施例中，当确定主实例数据不是第一遗留数据时，可以使用本公开实施例中基于分组规则针对各个分组配置的等待计数值对第一遗留数据进行一致性实现，当主实例数据是第一遗留数据是，采用分布式集群中的主从复制机制对从节点的数据进行一致性管理，能够有效地保障针对分布式集群中数据一致性管理的连贯性，保障数据一致性管理的鲁棒性和稳定性，保障分布式集群中数据一致性实现效果。

本实施例中，当未开启分组规则时，可以依据通常的方式方法来执行数据一致性管理，当开启分组规则时，触发参考与各个分组对应的等待计数值来辅助对数据进行一致性管理，由于在开启分组规则时，执行确定多个分组的步骤，从而实现针对分布式集群中数据一致性的按需管理，有效提升分布式集群中数据一致性实现的灵活性，提升数据一致性管理的可拓展性。当确定主实例数据不是第一遗留数据时，可以使用本公开实施例中基于分组规则针对各个分组配置的等待计数值对第一遗留数据进行一致性实现，当主实例数据是第一遗留数据是，采用分布式集群中的主从复制机制对从节点的数据进行一致性管理，能够有效地保障针对分布式集群中数据一致性管理的连贯性，保障数据一致性管理的鲁棒性和稳定性，保障分布式集群中数据一致性实现效果。

图7是本公开另一实施例提出的数据一致性管理方法的流程示意图。

如图7所示，该数据一致性管理方法，包括：

S701：在开启分组规则时，执行确定多个分组的步骤，分组包括：至少部分节点。

S702：获取与分组对应的等待计数值。

S701-S702的描述说明可以具体参见上述实施例，在此不再赘述。

S703：如果主实例数据是第二遗留数据，则根据等待计数值，对从节点的数据进行一致性管理，其中，第二遗留数据是在关闭分组规则时主节点中尚未符合一致性条件的数据。

本公开实施例中，第二遗留数据是在关闭分组规则时主节点中遗留的数据，针对第二遗留数据，可以采用关闭分组规则前的规则(即本公开实施例中的分组规则)进行数据一致性管理，当确定第二遗留数据已符合数据一致性条件后，针对后续数据可以用分布式集群中的主从复制机制进行处理。

S704：如果主实例数据不是第二遗留数据，则采用分布式集群中的主从复制机制对从节点的数据进行一致性管理。

本公开实施例中，当确定主实例数据不是第二遗留数据(即主实例数据不是关闭分组规则时主节点中遗留的数据)，则可以直接采用分布式集群中的主从复制机制对从节点的数据进行一致性管理，当然，也可以采用其他任意可能的方式来实现对第一遗留数据进行一致性实现，对此不做限制。

本公开实施例中，如果主实例数据是第二遗留数据，则根据等待计数值，对从节点的数据进行一致性管理，其中，第二遗留数据是在关闭分组规则时主节点中尚未符合一致性条件的数据，如果主实例数据不是第二遗留数据，则采用分布式集群中的主从复制机制对从节点的数据进行一致性管理，能够多角度地保障针对分布式集群中数据一致性管理的连贯性，保障数据一致性管理的鲁棒性和稳定性，保障分布式集群中数据一致性实现效果。

图8是根据本公开一实施例提出的数据一致性管理装置的结构示意图。

如图8所示，该数据一致性管理装置80，包括：

第一确定模块801，用于确定多个分组，分组包括：至少部分节点；

获取模块802，用于获取与分组对应的等待计数值；

管理模块803，用于根据等待计数值，对节点的数据进行一致性管理。

在本公开的一些实施例中，如图9所示，图9是根据本公开另一实施例提出的数据一致性管理装置的结构示意图，还包括：

更新模块804，用于在获取与分组对应的等待计数值后，根据主节点中的更新数据分别对各个从节点中的从实例数据进行更新，其中，从节点在接收到更新数据时，生成确认消息，并将确认消息反馈至主节点。

在本公开的一些实施例中，如图9所示，还包括：

第二确定模块805，用于在根据主节点中的更新数据分别对各个从节点中的从实例数据进行更新后，确定分组的参考数量，其中，参考数量是分组中已生成确认消息的节点的数量。

在本公开的一些实施例中，管理模块803，具体用于：

根据分组的参考数量和等待计数值，对节点的数据进行一致性管理。

在本公开的一些实施例中，如图9所示，管理模块803，具体用于：

在分组的参考数量达到分组的等待计数值时，确定分组中的数据满足一致性条件；

在分组的参考数量未达到分组的等待计数值时，持续地监听分组内节点是否接收到更新数据。

在本公开的一些实施例中，如图9所示，管理模块803，具体用于：

在多个分组中的数据均满足一致性条件时，确定分布式集群中的数据满足一致性条件；

在任一分组中的数据不满足一致性条件时，确定分布式集群中的数据不满足一致性条件。

在本公开的一些实施例中，如图9所示，第一确定模块801，具体用于：

在开启分组规则时，执行确定多个分组的步骤。

在本公开的一些实施例中，如图9所示，管理模块803，具体用于：

在主实例数据不是第一遗留数据时，根据等待计数值，对从节点的数据进行一致性管理，其中，第一遗留数据是开启分组规则前主节点中尚未符合一致性条件的数据；

在主实例数据是第一遗留数据时，采用分布式集群中的主从复制机制对从节点的数据进行一致性管理。

在本公开的一些实施例中，如图9所示，管理模块803，具体用于：

在主实例数据是第二遗留数据时，根据等待计数值，对从节点的数据进行一致性管理，其中，第二遗留数据是在关闭分组规则时主节点中尚未符合一致性条件的数据；

在主实例数据不是第二遗留数据时，采用分布式集群中的主从复制机制对从节点的数据进行一致性管理。

与上述图1至图7实施例提供的数据一致性管理方法相对应，本公开还提供一种数据一致性管理装置，由于本公开实施例提供的数据一致性管理装置与上述图1至图7实施例提供的数据一致性管理方法相对应，因此在数据一致性管理方法的实施方式也适用于本公开实施例提供的数据一致性管理装置，在本公开实施例中不再详细描述。

本实施例中，通过确定多个分组，分组包括：至少部分节点，而后获取与分组对应的等待计数值，之后根据等待计数值，对节点的数据进行一致性管理能够有效地保障分布式集群中数据的一致性，在有效地保障分布式集群中的数据一致性效果的同时，有效地提升分布式集群中数据的分布式处理效果。

为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开前述实施例提出的数据一致性管理方法。

为了实现上述实施例，本公开还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的数据一致性管理方法。

为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的数据一致性管理方法。

图10示出了适于用来实现本公开实施方式的示例性电子设备的框图。图10显示的电子设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry Standard Architecture；以下简称：ISA)总线，微通道体系结构(MicroChannel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(VideoElectronics Standards Association；以下简称：VESA)局域总线以及外围组件互连(Peripheral Component Interconnection；以下简称：PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图10未显示，通常称为“硬盘驱动器”)。

尽管图10中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Net work；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的数据一致性管理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种数据一致性管理方法，其特征在于，应用于分布式集群，所述分布式集群包括多个节点，所述方法包括：

确定多个分组，所述分组包括：至少部分所述节点；

获取与所述分组对应的等待计数值；

根据所述等待计数值，对所述节点的数据进行一致性管理。

2.如权利要求1所述的方法，其特征在于，其中，所述多个节点包括：主节点和从节点，在所述获取与所述分组对应的等待计数值后，还包括：

根据所述主节点中的更新数据分别对各个所述从节点中的从实例数据进行更新，其中，所述从节点在接收到所述更新数据时，生成确认消息，并将所述确认消息反馈至所述主节点。

3.如权利要求2所述的方法，其特征在于，在所述根据所述主节点中的更新数据分别对各个所述从节点中的从实例数据进行更新后，还包括：

确定所述分组的参考数量，其中，所述参考数量是所述分组中已生成所述确认消息的节点的数量；

所述根据所述等待计数值，对所述节点的数据进行一致性管理，包括：

根据所述分组的参考数量和所述等待计数值，对所述节点的数据进行一致性管理。

4.如权利要求3所述的方法，其特征在于，所述根据所述分组的参考数量和所述等待计数值，对所述节点的数据进行一致性管理，包括：

如果所述分组的参考数量达到所述分组的等待计数值，则确定所述分组中的数据满足一致性条件；

如果所述分组的参考数量未达到所述分组的等待计数值，则持续地监听所述分组内节点是否接收到所述更新数据。

5.如权利要求4所述的方法，其特征在于，所述根据所述分组的参考数量和所述等待计数值，对所述节点的数据进行一致性管理，还包括：

如果多个所述分组中的数据均满足所述一致性条件，则确定所述分布式集群中的数据满足所述一致性条件；

如果任一所述分组中的数据不满足所述一致性条件，则确定所述分布式集群中的数据不满足所述一致性条件。

6.如权利要求2所述的方法，其特征在于，所述确定多个分组，包括：

在开启分组规则时，执行所述确定多个分组的步骤。

7.如权利要求6所述的方法，其特征在于，所述根据所述等待计数值，对所述节点的数据进行一致性管理，包括：

如果所述主实例数据不是第一遗留数据，则根据所述等待计数值，对所述从节点的数据进行一致性管理，其中，所述第一遗留数据是开启所述分组规则前所述主节点中尚未符合所述一致性条件的数据；

如果所述主实例数据是所述第一遗留数据，则采用所述分布式集群中的主从复制机制对所述从节点的数据进行一致性管理。

8.如权利要求6所述的方法，其特征在于，所述根据所述等待计数值，对所述节点的数据进行一致性管理，包括：

如果所述主实例数据是第二遗留数据，则根据所述等待计数值，对所述从节点的数据进行一致性管理，其中，所述第二遗留数据是在关闭分组规则时所述主节点中尚未符合所述一致性条件的数据；

如果所述主实例数据不是所述第二遗留数据，则采用所述分布式集群中的主从复制机制对所述从节点的数据进行一致性管理。

9.一种数据一致性管理装置，其特征在于，应用于分布式集群，所述分布式集群包括多个节点，所述装置包括：

第一确定模块，用于确定多个分组，所述分组包括：至少部分所述节点；

获取模块，用于获取与所述分组对应的等待计数值；

管理模块，用于根据所述等待计数值，对所述节点的数据进行一致性管理。

10.如权利要求9所述的装置，其特征在于，其中，所述多个节点包括：主节点和从节点，还包括：

更新模块，用于在所述获取与所述分组对应的等待计数值后，根据所述主节点中的更新数据分别对各个所述从节点中的从实例数据进行更新，其中，所述从节点在接收到所述更新数据时，生成确认消息，并将所述确认消息反馈至所述主节点。

11.如权利要求10所述的装置，其特征在于，还包括：

第二确定模块，用于在所述根据所述主节点中的更新数据分别对各个所述从节点中的从实例数据进行更新后，确定所述分组的参考数量，其中，所述参考数量是所述分组中已生成所述确认消息的节点的数量；

所述管理模块，具体用于：

根据所述分组的参考数量和所述等待计数值，对所述节点的数据进行一致性管理。

12.如权利要求11所述的装置，其特征在于，所述管理模块，具体用于：

在所述分组的参考数量达到所述分组的等待计数值时，确定所述分组中的数据满足一致性条件；

在所述分组的参考数量未达到所述分组的等待计数值时，持续地监听所述分组内节点是否接收到所述更新数据。

13.如权利要求12所述的装置，其特征在于，所述管理模块，还用于：

在多个所述分组中的数据均满足所述一致性条件时，确定所述分布式集群中的数据满足所述一致性条件；

在任一所述分组中的数据不满足所述一致性条件时，确定所述分布式集群中的数据不满足所述一致性条件。

14.如权利要求10所述的装置，其特征在于，所述第一确定模块，具体用于：

在开启分组规则时，执行所述确定多个分组的步骤。

15.如权利要求14所述的装置，其特征在于，所述管理模块，具体用于：

在所述主实例数据不是第一遗留数据时，根据所述等待计数值，对所述从节点的数据进行一致性管理，其中，所述第一遗留数据是开启所述分组规则前所述主节点中尚未符合所述一致性条件的数据；

在所述主实例数据是所述第一遗留数据时，采用所述分布式集群中的主从复制机制对所述从节点的数据进行一致性管理。

16.如权利要求14所述的装置，其特征在于，所述管理模块，具体用于：

在所述主实例数据是第二遗留数据时，根据所述等待计数值，对所述从节点的数据进行一致性管理，其中，所述第二遗留数据是在关闭分组规则时所述主节点中尚未符合所述一致性条件的数据；

在所述主实例数据不是所述第二遗留数据时，采用所述分布式集群中的主从复制机制对所述从节点的数据进行一致性管理。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

Images