CN111552701A - 确定分布式集群中数据一致性的方法及分布式数据系统 - Google Patents

Abstract

本发明公开了一种确定分布式集群中数据一致性的方法及分布式数据系统，该方法包括：接收分布式集群中的节点发送的数据写入信息，其中，所述分布式集群中的每个节点在写入数据时生成所述数据写入信息并将写入的数据同步到所述分布式集群中的其他所有节点中；根据所述数据写入信息向所述其他所有节点发送数据查询请求，以确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间；根据所述时间以及预设的时间阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。本发明提出了一种资源成本较低的确定各节点数据一致性的方法，以对分布式集群中的非同步节点进行监控。

Description

确定分布式集群中数据一致性的方法及分布式数据系统

技术领域

本发明涉及分布式系统，具体而言，涉及一种确定分布式集群中数据一致性的方法及分布式数据系统。

背景技术

分布式集群中各节点之间互相进行数据同步，目的是使各节点拥有的数据是一致的，如何确定分布式集群中各节点是否数据一致(数据同步)是一个重点。目前在确定分布式集群中各节点数据是否一致时，需要实时对各节点的数据进行监控，资源成本较高。因此现有技术缺少一种成本较低、易用的确定各节点数据一致性的方法，以对分布式集群中的非同步节点进行监控。

发明内容

本发明为了解决上述背景技术中的至少一个技术问题，提出了一种确定分布式集群中数据一致性的方法及分布式数据系统。

为了实现上述目的，根据本发明的一个方面，提供了一种确定分布式集群中数据一致性的方法，该方法包括：

接收分布式集群中的节点发送的数据写入信息，其中，所述分布式集群中的每个节点在写入数据时生成所述数据写入信息并将写入的数据同步到所述分布式集群中的其他所有节点中；

根据所述数据写入信息向所述其他所有节点发送数据查询请求，以确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间；

根据所述时间以及预设的时间阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。

可选的，所述数据写入信息包括：数据写入时间；

所述根据所述数据写入信息向所述其他所有节点发送数据查询请求，具体包括：

从所述数据写入时间开始每隔预设的时间分别向所述其他所有节点中的各节点发送数据查询请求，并且当从所述其他所有节点中的某个节点查询到所述数据写入信息对应的数据时停止向该节点发送所述数据查询请求。

可选的，所述确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间，具体包括：

根据向所述其他所有节点中各节点发送的所述数据查询请求的次数确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间。

可选的，该确定分布式集群中数据一致性的方法还包括：

分别统计所述分布式集群中的各节点与其他所有节点的数据差异条数；

确定所述分布式集群中的所述数据差异条数的总和最小的节点为主节点；

根据所述分布式集群中的各节点与所述主节点的数据差异条数以及预设差异条数阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。

为了实现上述目的，根据本发明的另一方面，提供了一种分布式数据系统，该分布式数据系统包括：具有多个节点的分布式集群以及与所述各节点连接的管理服务器；

所述分布式集群中的节点在写入数据时向所述管理服务器发送数据写入信息并将写入的数据同步到所述分布式集群中的其他所有节点；

所述管理服务器根据所述数据写入信息向所述其他所有节点发送数据查询请求，以确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间，并根据所述时间以及预设的时间阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。

可选的，所述数据写入信息包括：数据写入时间；

所述管理服务器根据所述数据写入信息向所述其他所有节点发送数据查询请求，具体包括：

所述管理服务器从所述数据写入时间开始每隔预设的时间分别向所述其他所有节点中的各节点发送数据查询请求，并且当从所述其他所有节点中的某个节点查询到所述数据写入信息对应的数据时停止向该节点发送所述数据查询请求。

可选的，所述管理服务器确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间，具体包括：

所述管理服务器根据向所述其他所有节点中各节点发送的所述数据查询请求的次数确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间。

可选的，所述管理服务器还用于分别统计所述分布式集群中的各节点与其他所有节点的数据差异条数，确定所述分布式集群中的所述数据差异条数的总和最小的节点为主节点，并根据所述分布式集群中的各节点与所述主节点的数据差异条数以及预设差异条数阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述确定分布式集群中数据一致性的方法。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述确定分布式集群中数据一致性的方法。

本发明的有益效果为：本发明实施例在接收到节点写入数据时发送的数据写入信息后，根据该数据写入信息向集群中其他所有节点发送数据查询请求以确定数据同步到集群中各节点的时间，根据该时间可以确定集群中各节点数据一致性状态，进而可以筛选出集群中数据一致性状态为非同步的节点，便于运维人员对集群中的节点进行维护。本发明方法采用在接收到数据写入信息后发送数据查询请求的方式，与现有技术实时监控各节点的数据的方法相比资源成本较低。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例确定分布式集群中数据一致性的方法的第一流程图；

图2是本发明实施例确定数据同步到各节点的时间的流程图；

图3是本发明实施例确定分布式集群中数据一致性的方法的第二流程图；

图4是本发明实施例分布式数据系统的结构框图；

图5是本发明实施例计算机设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

图1是本发明实施例确定分布式集群中数据一致性的方法的第一流程图，如图1所示，本实施例的确定分布式集群中数据一致性的方法包括步骤S101至步骤S103。

步骤S101，接收分布式集群中的节点发送的数据写入信息，其中，所述分布式集群中的每个节点在写入数据时生成所述数据写入信息并将写入的数据同步到所述分布式集群中的其他所有节点中。

在本发明可选实施例中，所述分布式集群可以为分布式业务系统，分布式集群中的节点可以为分布式业务系统中的业务处理节点(或业务处理服务器)。每个业务处理节点用于处理用户的数据读写请求，每个业务处理节点中包含数据库，业务处理节点在接收到用户的数据写入请求时，将数据写入其中的数据库中。分布式集群中各业务处理节点之间互相进行数据同步，目的是使各业务处理节点拥有的数据是一致的。即每个业务处理节点在根据用户的数据写入请求写入数据时，将写入的数据同时同步给分布式集群中的其他所有业务处理节点。

步骤S102，根据所述数据写入信息向所述其他所有节点发送数据查询请求，以确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间。

在本发明实施例中，本发明设置有管理服务器，管理服务器向各节点发送数据查询请求来确定所述数据写入信息对应的数据是否已经同步到各节点，以及确定所述数据写入信息对应的数据同步到各节点的时间。在本发明可选实施例中，各业务处理节点在接收到所述数据查询请求时，从自身的数据库中查找所述数据写入信息对应的数据，若查找到数据则返回查找结果到管理服务器。在本发明可选实施例中，所述数据写入信息包括数据的唯一标识信息，所述数据查询请求中同样包含该唯一标识信息，进而各节点可以根据该唯一标识信息进行数据查询。

步骤S103，根据所述时间以及预设的时间阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。

在本发明可选实施例中，所述数据一致性状态包括：同步状态和非同步状态。本发明采用数据最终一致性的思想，只要各节点的数据能够在一定时间内进行同步，则认为节点为同步状态，若某个节点超过一定时间还不能与其他节点进行数据同步，则认为该节点处于非同步状态。处于非同步状态的业务处理节点的数据很可能是过时的，若此时处理业务可能会导致错误，因此及时的识别出分布式集群中处于非同步状态的节点是很必要的。

由此可见，本发明在接收到节点写入数据时发送的数据写入信息后，根据该数据写入信息向集群中其他所有节点发送数据查询请求以确定数据同步到集群中各节点的时间，根据该时间可以确定集群中各节点数据一致性状态，进而可以筛选出集群中数据一致性状态为非同步的节点，便于运维人员对集群中的节点进行维护。本发明方法采用在接收到数据写入信息后发送数据查询请求的方式，与现有技术实时监控各节点的数据的方法相比资源成本较低。

在本发明可选实施例中，所述数据写入信息包括：数据写入时间。图2是本发明实施例确定数据同步到各节点的时间的流程图，如图2所示，在本发明可选实施例中，上述步骤S102具体包括步骤S201和步骤S202。

步骤S201，从所述数据写入时间开始每隔预设的时间分别向所述其他所有节点中的各节点发送数据查询请求，并且当从所述其他所有节点中的某个节点查询到所述数据写入信息对应的数据时停止向该节点发送所述数据查询请求。

在本发明可选实施例中，各业务处理节点在接收到所述数据查询请求时，从自身的数据库中查找所述数据写入信息对应的数据，若查找到数据则返回查找结果到管理服务器，进而管理服务器则停止向该业务处理节点继续发送数据查询请求。

步骤S202，根据向所述其他所有节点中各节点发送的所述数据查询请求的次数确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间。

在本发明实施例中，管理服务器从所述数据写入时间开始每隔预设的时间分别向所述其他所有节点中的各节点发送数据查询请求，该预设的时间通常很小，因此可以根据发送数据查询请求的次数计算出数据同步各节点的时间，该时间仅为一个近似值，但其与真实值的误差较小，且该近似值的计算较为方便，与现有技术的需要分别查询各节点的数据写入时间相比，本方法在满足准确性的前提下消耗的资源显著减少，实用性较好。

图3是本发明实施例确定分布式集群中数据一致性的方法的第二流程图，如图3所示，在本发明可选实施例中，本发明的确定分布式集群中数据一致性的方法还包括步骤S301至步骤S303。

步骤S301，分别统计所述分布式集群中的各节点与其他所有节点的数据差异条数。

在本发明可选实施例中，管理服务器定期统计分布式集群中的每个节点分别与分布式集群中其他各节点的数据差异条数。

步骤S302，确定所述分布式集群中的所述数据差异条数的总和最小的节点为主节点。

在本发明可选实施例中，本步骤将每个节点分别与分布式集群中其他各节点的数据差异条数进行求和，得到各节点对应的数据差异条数的总和，数据差异条数的总和较小则说明该节点与其他节点的数据一致性较好。在本发明可选实施例中，本发明将数据差异条数的总和最小的节点定义为主节点，该主节点仅为定义的主节点，其与其他各节点在业务处理上的地位相同。

步骤S303，根据所述分布式集群中的各节点与所述主节点的数据差异条数以及预设差异条数阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。

本发明采用半同步方案的思想，在分布式集群中定义出一个主节点，进而根据各节点与该主节点的数据差异条数来确定各节点的数据一致性状态。半同步方案的思想为在尽可能保证数据可靠性的前提下，提升系统的性能，用户可通过设置差异条数阈值，调节系统对于数据一致性和性能的要求。

在本发明可选实施例中，若节点与主节点的数据差异条数小于或等于预设的差异条数阈值，则说明该节点处于同步状态，否则该节点处于非同步状态，需要运维人员进行及时维护处理。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

基于同一发明构思，本发明实施例还提供了一种分布式数据系统，可以用于实现上述实施例所描述的确定分布式集群中数据一致性的方法，如下面的实施例所述。由于分布式数据系统解决问题的原理与确定分布式集群中数据一致性的方法相似，因此分布式数据系统的实施例可以参见确定分布式集群中数据一致性的方法的实施例，重复之处不再赘述。

图4是本发明实施例分布式数据系统的结构框图，如图4所示，本发明实施例分布式数据系统包括：具有多个节点的分布式集群以及与所述各节点连接的管理服务器。

所述分布式集群中的节点在写入数据时向所述管理服务器发送数据写入信息并将写入的数据同步到所述分布式集群中的其他所有节点；所述管理服务器根据所述数据写入信息向所述其他所有节点发送数据查询请求，以确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间，并根据所述时间以及预设的时间阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。

在本发明可选实施例中，所述数据写入信息包括：数据写入时间。所述管理服务器根据所述数据写入信息向所述其他所有节点发送数据查询请求，具体包括：所述管理服务器从所述数据写入时间开始每隔预设的时间分别向所述其他所有节点中的各节点发送数据查询请求，并且当从所述其他所有节点中的某个节点查询到所述数据写入信息对应的数据时停止向该节点发送所述数据查询请求。

在本发明可选实施例中，所述管理服务器确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间，具体包括：所述管理服务器根据向所述其他所有节点中各节点发送的所述数据查询请求的次数确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间。

在本发明可选实施例中，所述管理服务器还用于分别统计所述分布式集群中的各节点与其他所有节点的数据差异条数，确定所述分布式集群中的所述数据差异条数的总和最小的节点为主节点，并根据所述分布式集群中的各节点与所述主节点的数据差异条数以及预设差异条数阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图5所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。

处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。

上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述确定分布式集群中数据一致性的方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种确定分布式集群中数据一致性的方法，其特征在于，包括：

接收分布式集群中的节点发送的数据写入信息，其中，所述分布式集群中的每个节点在写入数据时生成所述数据写入信息并将写入的数据同步到所述分布式集群中的其他所有节点中；

根据所述数据写入信息向所述其他所有节点发送数据查询请求，以确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间；

根据所述时间以及预设的时间阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。

2.根据权利要求1所述的确定分布式集群中数据一致性的方法，其特征在于，所述数据写入信息包括：数据写入时间；

所述根据所述数据写入信息向所述其他所有节点发送数据查询请求，具体包括：

从所述数据写入时间开始每隔预设的时间分别向所述其他所有节点中的各节点发送数据查询请求，并且当从所述其他所有节点中的某个节点查询到所述数据写入信息对应的数据时停止向该节点发送所述数据查询请求。

3.根据权利要求2所述的确定分布式集群中数据一致性的方法，其特征在于，所述确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间，具体包括：

根据向所述其他所有节点中各节点发送的所述数据查询请求的次数确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间。

4.根据权利要求1所述的确定分布式集群中数据一致性的方法，其特征在于，还包括：

分别统计所述分布式集群中的各节点与其他所有节点的数据差异条数；

确定所述分布式集群中的所述数据差异条数的总和最小的节点为主节点；

根据所述分布式集群中的各节点与所述主节点的数据差异条数以及预设差异条数阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。

5.一种分布式数据系统，其特征在于，包括：具有多个节点的分布式集群以及与所述各节点连接的管理服务器；

所述分布式集群中的节点在写入数据时向所述管理服务器发送数据写入信息并将写入的数据同步到所述分布式集群中的其他所有节点；

所述管理服务器根据所述数据写入信息向所述其他所有节点发送数据查询请求，以确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间，并根据所述时间以及预设的时间阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。

6.根据权利要求5所述的分布式数据系统，其特征在于，所述数据写入信息包括：数据写入时间；

所述管理服务器根据所述数据写入信息向所述其他所有节点发送数据查询请求，具体包括：

所述管理服务器从所述数据写入时间开始每隔预设的时间分别向所述其他所有节点中的各节点发送数据查询请求，并且当从所述其他所有节点中的某个节点查询到所述数据写入信息对应的数据时停止向该节点发送所述数据查询请求。

7.根据权利要求6所述的分布式数据系统，其特征在于，所述管理服务器确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间，具体包括：

所述管理服务器根据向所述其他所有节点中各节点发送的所述数据查询请求的次数确定所述数据写入信息对应的数据同步到所述其他所有节点中各节点的时间。

8.根据权利要求5所述的分布式数据系统，其特征在于，所述管理服务器还用于分别统计所述分布式集群中的各节点与其他所有节点的数据差异条数，确定所述分布式集群中的所述数据差异条数的总和最小的节点为主节点，并根据所述分布式集群中的各节点与所述主节点的数据差异条数以及预设差异条数阈值确定所述分布式集群中各节点的数据一致性状态，以确定出所述分布式集群中数据一致性状态为非同步的节点。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求1至4任意一项所述的方法。

Images