CN114490691B - 一种分布式系统数据一致性方法 - Google Patents

Abstract

本发明提供一种分布式系统数据一致性方法，包括以下步骤：步骤S1，网关维护数据库中配置记录；步骤S2，管理节点启动初始化过程；步骤S3，数据同步机制；步骤S4，管理节点监控机制。本发明提供一种分布式系统数据一致性方法，在提供各管理节点数据最终一致性方案的同时，确保系统响应的及时性，同时通过数据同步机制以及管理节点监控机制对各管理节点数据能在预期时间内达到最终一致提供了保障。

Description

一种分布式系统数据一致性方法

技术领域

本发明属于分布式系统技术领域，具体涉及一种分布式系统数据一致性方法。

背景技术

随着智慧城市的快速发展，企业、政务等对视频数据存储的需求日益增长。目前，实时视频流数据存储解决方案采用云存储系统。云存储系统利用存储节点散列的方式提高存储的可靠性。云存储系统通常采用强一致性算法实现分布式存储节点配置数据一致，在保障数据一致性的同时，也带来系统执行效率不高，用户体验不佳的问题。

发明内容

针对现有技术存在的缺陷，本发明提供一种分布式系统数据一致性方法，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种分布式系统数据一致性方法，包括以下步骤：

步骤S1，网关维护数据库中配置记录：

步骤S1.1：网关配置有数据库；所述数据库用于存储所述网关管理的所有管理节点的配置记录；其中，每条所述配置记录包括配置参数Key、配置参数值Value和配置版本号Version；

其中，如果所述配置记录为默认配置记录，则配置参数值Value为默认配置参数值，配置版本号Version为默认配置版本号；所述网关将各条默认配置记录发送给各个管理节点；

每当所述配置记录更新一次时，更新配置参数值Value，并且，配置版本号Version增加1；

步骤S1.2：客户端通过web界面向网关下发最新的管理节点配置数据D(new)；其中，所述管理节点配置数据D(new)为二元组，包括配置参数Key(new)和配置参数值Value(new)；

步骤S1.3：网关接收到所述客户端下发的管理节点配置数据D(new)后，查找数据库，得到与配置参数Key(new)对应的配置记录，从所述配置记录中读取到配置参数Key(old)、配置参数值Value(old)和配置版本号Version(old)；其中，配置参数Key(old)和配置参数Key(new)相同；

网关判断配置参数值Value(new)是否与配置参数值Value(old)相同，如果相同，表明客户端下发的管理节点配置数据与数据库存储的配置记录相同，则不更新数据库，网关向客户端返回配置成功的通知消息；然后执行步骤2；

如果不相同，网关采用以下方式更新数据库：采用配置参数值Value(new)更新配置参数值Value(old)，并使配置版本号Version(old)加1；然后，网关向客户端返回配置成功的通知消息；执行步骤2；

步骤S2，管理节点启动初始化过程：

步骤S2.1：每个管理节点存储本地配置文件File(original)；所述本地配置文件File(original)，用于存储该管理节点的管理节点配置数据；其中，每个所述管理节点配置数据，包括所述网关下发的默认配置记录；

步骤S2.2：每当管理节点重新启动时，管理节点获取所述本地配置文件File(original)，采用所述本地配置文件File(original)，对本进程配置版本进行设置，以通过进程执行所述本地配置文件File(original)；其中，所述本地配置文件File(original)，具有配置参数Key(original)、配置参数值Value(original)和配置版本号Version(original)；然后执行步骤S2.3；

如果管理节点获取所述本地配置文件失败，则创建新的本地配置文件File(original)，在本地配置文件File(original)中，具有配置参数Key(original)、配置参数值Value(original)和配置版本号Version(original)；其中，配置参数值Value(original)采用默认配置参数值设置；配置版本号Version(original)采用默认配置版本号设置；然后执行步骤S2.3；

步骤S2.3：管理节点在首次成功连接到网关时，向网关发送配置参数Key(original)对应的配置版本号的配置信息获取请求；

步骤S2.4：网关接收到配置信息获取请求时，查询所述数据库，得到对应的配置版本号，表示为配置版本号Version(query)，并下发给管理节点；

步骤S2.5：管理节点比较网关下发的配置版本号Version(query)是否与本地配置文件File(original)中的配置版本号Version(original)一致，如果一致，则不进行处理；如果不一致，则执行步骤S2.6；

步骤S2.6：管理节点向网关发送获取配置参数Key(original)对应的配置参数值的获取请求；

步骤S2.7：网关查询所述数据库，得到对应的配置参数值，表示为配置参数值Value(query)，并下发给管理节点；

步骤S2.8：管理节点采用以下方法，更新本地配置文件File(original)：采用配置参数值Value(query)更新配置参数值Value(original)；采用配置版本号Version(query)更新配置版本号Version(original)；由此实现分布式系统各管理节点的配置一致性。

优选的，还包括：步骤S3，数据同步机制：

步骤S3.1，网关定时向各个管理节点下发每个配置参数Key的最新配置版本号Version(N_new)；

网关判断是否在设定时间内接收到所述管理节点的同步版本响应消息，如果没有，则网关尝试连续下发设定数量的最新配置版本号Version(N_new)给对应的管理节点；

步骤S3.2，每当管理节点接收到所述网关下发的配置参数Key的最新配置版本号Version(N_new)时，向所述网关发送同步版本响应消息；然后，管理节点比较最新配置版本号Version(N_new)与本地配置文件File(original)中的配置版本号Version(original)是否一致，如果一致，则不进行更新操作；如果不一致，则向网关发送配置参数Key的配置参数值的获取请求；

步骤S3.3，网关下发最新配置参数值Value(N_new)到管理节点；

步骤S3.4，管理节点采用以下方式更新本地配置文件File(original)：

采用最新配置参数值Value(N_new)更新本地配置文件File(original)中的对应的配置参数值Value(original)；采用最新配置版本号Version(N_new)，更新本地配置文件File(original)中的对应的配置版本号Version(original)。

优选的，还包括：步骤S4，管理节点监控机制：

步骤S4.1：网关与各个管理节点建立链路后，以心跳方式维持链路；当网关检测到与某个管理节点之间超过设定时间的心跳消息丢失时，得出该管理节点发生故障的结论，生成管理节点故障告警消息；

步骤S4.2：将故障的管理节点表示为：管理节点node(fault)；

网关重启管理节点node(fault)；管理节点node(fault)重启后，执行步骤S2.2。

本发明提供的一种分布式系统数据一致性方法具有以下优点：

本发明提供一种分布式系统数据一致性方法，在提供各管理节点数据最终一致性方案的同时，确保系统响应的及时性，同时通过数据同步机制以及管理节点监控机制对各管理节点数据能在预期时间内达到最终一致提供了保障。

附图说明

图1为本发明提供的配置下发到网关和管理节点的流程示意图；

图2为本发明提供的管理节点启动初始化过程示意图；

图3为本发明提供的分布式系统数据一致性方法的时序图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明主要解决分布式系统各管理节点数据一致性的问题，本发明提供一种分布式系统数据一致性方法，在提高系统的执行效率，提升用户体验的同时，依据数据同步机制及管理节点监控机制保障各管理节点数据的最终一致性。

具体的，本发明设计一种分布式系统数据一致性方法，根据配置版本号，通过中间数据的增量同步，以期使各管理节点最终配置数据保持一致。

增量同步是指：本发明为每个配置数据(包括配置参数Key和配置参数值Value)增加一个配置版本号Version，通过为数据库数据表增加一个“version”字段实现。读取配置数据时，将此配置版本号Version一同读出，每次对配置数据更新时，配置版本号Version加一。

因此，将客户端下发的配置数据的配置版本号Version与网关数据库记录的配置版本号Version进行比对，如果一致，则不需要更新网关数据库。如果不一致，如果客户端下发的配置版本号Version，大于网关数据库记录的配置版本号Version，则表明需要对网关数据库进行更新。

管理节点维护数据缓存，用于保存从网关读到的不同配置版本的配置数据。当读请求指向旧副本时，直接使用数据缓存中的数据。

采用本发明的分布式系统数据一致性方法，不保证在任意时刻任意管理节点上的同一份数据是相同的，但短暂的数据不一致不影响系统的正常运行，且由于数据同步机制及管理监控机制的作用，会使各管理节点的数据在较短时间内趋于一致。

参考图1-图3，本发明提供一种分布式系统数据一致性方法，包括以下步骤：

步骤S1，网关维护数据库中配置记录：

步骤S1.1：网关配置有数据库；所述数据库用于存储所述网关管理的所有管理节点的配置记录；其中，每条所述配置记录包括配置参数Key、配置参数值Value和配置版本号Version；

其中，如果所述配置记录为默认配置记录，则配置参数值Value为默认配置参数值，配置版本号Version为默认配置版本号；所述网关将各条默认配置记录发送给各个管理节点；

每当所述配置记录更新一次时，更新配置参数值Value，并且，配置版本号Version增加1；

步骤S1.2：客户端通过web界面向网关下发最新的管理节点配置数据D(new)；其中，所述管理节点配置数据D(new)为二元组，包括配置参数Key(new)和配置参数值Value(new)；

步骤S1.3：网关接收到所述客户端下发的管理节点配置数据D(new)后，查找数据库，得到与配置参数Key(new)对应的配置记录，从所述配置记录中读取到配置参数Key(old)、配置参数值Value(old)和配置版本号Version(old)；其中，配置参数Key(old)和配置参数Key(new)相同；

网关判断配置参数值Value(new)是否与配置参数值Value(old)相同，如果相同，表明客户端下发的管理节点配置数据与数据库存储的配置记录相同，则不更新数据库，网关向客户端返回配置成功的通知消息；然后执行步骤2；

如果不相同，网关采用以下方式更新数据库：采用配置参数值Value(new)更新配置参数值Value(old)，并使配置版本号Version(old)加1；然后，网关向客户端返回配置成功的通知消息；执行步骤2；

步骤S2，管理节点启动初始化过程：

步骤S2.1：每个管理节点存储本地配置文件File(original)；所述本地配置文件File(original)，用于存储该管理节点的管理节点配置数据；其中，每个所述管理节点配置数据，包括所述网关下发的默认配置记录；

步骤S2.2：每当管理节点重新启动时，管理节点获取所述本地配置文件File(original)，采用所述本地配置文件File(original)，对本进程配置版本进行设置，以通过进程执行所述本地配置文件File(original)；其中，所述本地配置文件File(original)，具有配置参数Key(original)、配置参数值Value(original)和配置版本号Version(original)；然后执行步骤S2.3；

如果管理节点获取所述本地配置文件失败，则创建新的本地配置文件File(original)，在本地配置文件File(original)中，具有配置参数Key(original)、配置参数值Value(original)和配置版本号Version(original)；其中，配置参数值Value(original)采用默认配置参数值设置；配置版本号Version(original)采用默认配置版本号设置；然后执行步骤S2.3；

步骤S2.3：管理节点在首次成功连接到网关时，向网关发送配置参数Key(original)对应的配置版本号的配置信息获取请求；

步骤S2.4：网关接收到配置信息获取请求时，查询所述数据库，得到对应的配置版本号，表示为配置版本号Version(query)，并下发给管理节点；

步骤S2.5：管理节点比较网关下发的配置版本号Version(query)是否与本地配置文件File(original)中的配置版本号Version(original)一致，如果一致，则不进行处理；如果不一致，则执行步骤S2.6；

步骤S2.6：管理节点向网关发送获取配置参数Key(original)对应的配置参数值的获取请求；

步骤S2.7：网关查询所述数据库，得到对应的配置参数值，表示为配置参数值Value(query)，并下发给管理节点；

步骤S2.8：管理节点采用以下方法，更新本地配置文件File(original)：采用配置参数值Value(query)更新配置参数值Value(original)；采用配置版本号Version(query)更新配置版本号Version(original)；由此实现分布式系统各管理节点的配置一致性。

还包括：步骤S3，数据同步机制：

步骤S3.1，网关定时向各个管理节点下发每个配置参数Key的最新配置版本号Version(N_new)；

网关判断是否在设定时间内接收到所述管理节点的同步版本响应消息，如果没有，则网关尝试连续下发设定数量的最新配置版本号Version(N_new)给对应的管理节点；

步骤S3.2，每当管理节点接收到所述网关下发的配置参数Key的最新配置版本号Version(N_new)时，向所述网关发送同步版本响应消息；然后，管理节点比较最新配置版本号Version(N_new)与本地配置文件File(original)中的配置版本号Version(original)是否一致，如果一致，则不进行更新操作；如果不一致，则向网关发送配置参数Key的配置参数值的获取请求；

步骤S3.3，网关下发最新配置参数值Value(N_new)到管理节点；

步骤S3.4，管理节点采用以下方式更新本地配置文件File(original)：

采用最新配置参数值Value(N_new)更新本地配置文件File(original)中的对应的配置参数值Value(original)；采用最新配置版本号Version(N_new)，更新本地配置文件File(original)中的对应的配置版本号Version(original)。

还包括：步骤S4，管理节点监控机制：

步骤S4.1：网关与各个管理节点建立链路后，以心跳方式维持链路；当网关检测到与某个管理节点之间超过设定时间的心跳消息丢失时，得出该管理节点发生故障的结论，生成管理节点故障告警消息；

步骤S4.2：将故障的管理节点表示为：管理节点node(fault)；

网关重启管理节点node(fault)；管理节点node(fault)重启后，执行步骤S2.2。

下面介绍一个具体实施例：

本发明的系统环境为多个嵌入式管理节点组成分布式存储系统，用户通过web下发配置。具体步骤举例如下：

步骤一：登录网关，网关当前已连接管理节点1和管理节点2。

步骤二：网关配置有数据库，数据库存储对管理节点1和管理节点2的配置记录为：配置参数Key为cpu告警门限、内存告警门限和根区分已占用比例；配置参数值Value为：cpu告警门限为80％，内存告警门限为80％，根区分已占用比例为50％。配置版本号Version为1。

步骤三：客户端通过web界面向网关下发最新的管理节点配置数据为：对管理节点1和管理节点2进行配置，cpu告警门限为80％，内存告警门限为80％，根区分已占用比例为60％。

步骤四：网关比较客户端下发的管理节点配置数据和数据库已存的配置记录，其中，根区分已占用比例项不一致，因此，网关将数据库更新为：

配置参数值Value为：cpu告警门限为80％，内存告警门限为80％，根区分已占用比例为60％。配置版本号Version为2。

步骤五：网关定时将数据库存储的配置版本号Version为2下发给管理节点1和管理节点2。

步骤六：以管理节点1为例，当接收到网关下发的配置版本号Version为2的同步消息时，一方面，向网关回复响应；另一方面，查找本地配置文件，假如本地配置文件存储的配置版本号Version为1，则二者不一致，管理节点1向网关发送配置信息获取请求；

步骤七：网关向管理节点1下发配置信息为：

cpu告警门限为80％，内存告警门限为80％，根区分已占用比例为60％。配置版本号Version为2。

步骤八：管理节点1采用增量同步的方式，对本地配置文件进行更新，更新为：cpu告警门限为80％，内存告警门限为80％，根区分已占用比例为60％。配置版本号Version为2。

步骤九：管理节点1通过进程执行本地配置文件，即：cpu告警门限为80％，内存告警门限为80％，根区分已占用比例为60％。

因此，管理节点1运行过程中，当cpu使用率超过80％，内存超过80％，根区分已占用比例超过60％时，各网关上报告警信息；在网关告警页面可查看到节点1告警上报。

当网关接收到告警信息时，停掉管理节点1进程，使其离线。

本发明涉及的技术要点：

1.配置数据采用非强一致性方式，提高系统的执行效率，保证用户体验。

2.采用中间数据的增量同步，减少数据传输的网络带宽的消耗。

3.通过数据周期同步机制和管理节点监控机制，使各管理节点的数据能在预期时间内达到最终一致。

本发明提供一种分布式系统数据一致性方法，在提供各管理节点数据最终一致性方案的同时，确保系统响应的及时性，同时通过数据同步机制以及管理节点监控机制对各管理节点数据能在预期时间内达到最终一致提供了保障。

与现有技术相比，本发明的有益效果是：

(1)在要求配置数据强一致性的系统中，网关存储的配置数据下发到各管理节点，若某管理节点宕机或因网络问题未及时回复响应，网关无法及时响应给用户。本发明中系统每次配置更新，网关记录该更新后，直接返回响应给用户，随后以异步形式下发最新配置版本给所有管理节点，此过程不要求所有管理节点都配置成功，提高系统的执行效率，保证了用户体验。

(2)管理节点本地配置版本号与获取到的最新版本号不一致时，即表示管理节点本地配置数据需要更新。此时仅同步管理节点当前版本号到网关最新版本号之间的配置数据。上述增量同步方式，减少了数据传输的网络带宽消耗。

(3)分布式系统不可避免出现消息丢失，网络拥塞，链路故障，节点故障等异常场景，通过数据周期同步以及管理节点监控的方式，保障了各管理节点数据在较短时间内达到最终一致。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (3)

1.一种分布式系统数据一致性方法，其特征在于，包括以下步骤：

步骤S1，网关维护数据库中配置记录：

步骤S1.1：网关配置有数据库；所述数据库用于存储所述网关管理的所有管理节点的配置记录；其中，每条所述配置记录包括配置参数Key、配置参数值Value和配置版本号Version；

其中，如果所述配置记录为默认配置记录，则配置参数值Value为默认配置参数值，配置版本号Version为默认配置版本号；所述网关将各条默认配置记录发送给各个管理节点；

每当所述配置记录更新一次时，更新配置参数值Value，并且，配置版本号Version增加1；

步骤S1.2：客户端通过web界面向网关下发最新的管理节点配置数据D(new)；其中，所述管理节点配置数据D(new)为二元组，包括配置参数Key(new)和配置参数值Value(new)；

步骤S1.3：网关接收到所述客户端下发的管理节点配置数据D(new)后，查找数据库，得到与配置参数Key(new)对应的配置记录，从所述配置记录中读取到配置参数Key(old)、配置参数值Value(old)和配置版本号Version(old)；其中，配置参数Key(old)和配置参数Key(new)相同；

网关判断配置参数值Value(new)是否与配置参数值Value(old)相同，如果相同，表明客户端下发的管理节点配置数据与数据库存储的配置记录相同，则不更新数据库，网关向客户端返回配置成功的通知消息；然后执行步骤2；

如果不相同，网关采用以下方式更新数据库：采用配置参数值Value(new)更新配置参数值Value(old)，并使配置版本号Version(old)加1；然后，网关向客户端返回配置成功的通知消息；执行步骤2；

步骤S2，管理节点启动初始化过程：

步骤S2.1：每个管理节点存储本地配置文件File(original)；所述本地配置文件File(original)，用于存储该管理节点的管理节点配置数据；其中，每个所述管理节点配置数据，包括所述网关下发的默认配置记录；

步骤S2.2：每当管理节点重新启动时，管理节点获取所述本地配置文件File(original)，采用所述本地配置文件File(original)，对本进程配置版本进行设置，以通过进程执行所述本地配置文件File(original)；其中，所述本地配置文件File(original)，具有配置参数Key(original)、配置参数值Value(original)和配置版本号Version(original)；然后执行步骤S2.3；

如果管理节点获取所述本地配置文件失败，则创建新的本地配置文件File(original)，在本地配置文件File(original)中，具有配置参数Key(original)、配置参数值Value(original)和配置版本号Version(original)；其中，配置参数值Value(original)采用默认配置参数值设置；配置版本号Version(original)采用默认配置版本号设置；然后执行步骤S2.3；

步骤S2.3：管理节点在首次成功连接到网关时，向网关发送配置参数Key(original)对应的配置版本号的配置信息获取请求；

步骤S2.4：网关接收到配置信息获取请求时，查询所述数据库，得到对应的配置版本号，表示为配置版本号Version(query)，并下发给管理节点；

步骤S2.5：管理节点比较网关下发的配置版本号Version(query)是否与本地配置文件File(original)中的配置版本号Version(original)一致，如果一致，则不进行处理；如果不一致，则执行步骤S2.6；

步骤S2.6：管理节点向网关发送获取配置参数Key(original)对应的配置参数值的获取请求；

步骤S2.7：网关查询所述数据库，得到对应的配置参数值，表示为配置参数值Value(query)，并下发给管理节点；

步骤S2.8：管理节点采用以下方法，更新本地配置文件File(original)：采用配置参数值Value(query)更新配置参数值Value(original)；采用配置版本号Version(query)更新配置版本号Version(original)；由此实现分布式系统各管理节点的配置一致性。

2.根据权利要求1所述的一种分布式系统数据一致性方法，其特征在于，还包括：步骤S3，数据同步机制：

步骤S3.1，网关定时向各个管理节点下发每个配置参数Key的最新配置版本号Version(N_new)；

网关判断是否在设定时间内接收到所述管理节点的同步版本响应消息，如果没有，则网关尝试连续下发设定数量的最新配置版本号Version(N_new)给对应的管理节点；

步骤S3.2，每当管理节点接收到所述网关下发的配置参数Key的最新配置版本号Version(N_new)时，向所述网关发送同步版本响应消息；然后，管理节点比较最新配置版本号Version(N_new)与本地配置文件File(original)中的配置版本号Version(original)是否一致，如果一致，则不进行更新操作；如果不一致，则向网关发送配置参数Key的配置参数值的获取请求；

步骤S3.3，网关下发最新配置参数值Value(N_new)到管理节点；

步骤S3.4，管理节点采用以下方式更新本地配置文件File(original)：

采用最新配置参数值Value(N_new)更新本地配置文件File(original)中的对应的配置参数值Value(original)；采用最新配置版本号Version(N_new)，更新本地配置文件File(original)中的对应的配置版本号Version(original)。

3.根据权利要求1所述的一种分布式系统数据一致性方法，其特征在于，还包括：步骤S4，管理节点监控机制：

步骤S4.1：网关与各个管理节点建立链路后，以心跳方式维持链路；当网关检测到与某个管理节点之间超过设定时间的心跳消息丢失时，得出该管理节点发生故障的结论，生成管理节点故障告警消息；

步骤S4.2：将故障的管理节点表示为：管理节点node(fault)；

网关重启管理节点node(fault)；管理节点node(fault)重启后，执行步骤S2.2。

Images