CN110109932B - 一种确保分布式环境下主副本数据一致性的方法和系统 - Google Patents

Abstract

本发明提供了一种确保分布式环境下主副本数据一致性的方法和系统，涉及数据采集技术领域，在网络闪断或服务器短暂故障等异常情况下也能够确保主副数据的一致性；该系统包括部署有分布式数据一致性比对组件的服务端和客户端，服务端和客户端分别定时或实时的将主副数据信息发布到注册中心；并定时将自身的数据信息与注册中心的数据信息进行比对，不一致时主动更新和同步数据；服务端定时检查注册中心的副本数据信息与主数据信息是否一致，不一致时直接通知客户端进行同步。本发明提供的技术方案适用于分布式环境下主副本数据同步的过程中。

Description

一种确保分布式环境下主副本数据一致性的方法和系统

【技术领域】

本发明涉及数据采集技术领域，尤其涉及一种确保分布式环境下主副本数据一致性的方法和系统。

【背景技术】

现有的分布式环境下，存在着大量的数据主副本信息同步更新的需求。数据主本作为数据提供者，数据副本作为数据消费者，需要能够确保数据的一致性。

业界常用的一种实现方法是，数据变更使用“注册中心”的“发布/订阅”进行推送。数据提供者在数据变更之后，向“注册中心”发布变更通知，数据消费者根据订阅的变更通知，从数据提供者获取最新数据，更新本地数据副本。

但是，基于“注册中心”的发布订阅机制，在网络闪断、服务器短暂不可用等异常情况下，会造成订阅/发布机制失效，从而影响数据变更的推送，造成主副本数据不一致。

【发明内容】

有鉴于此，本发明提供了一种确保分布式环境下主副本数据一致性的方法和系统，在网络闪断或服务器短暂故障等异常情况下也能够确保主副数据的一致性。

一方面，本发明提供一种确保分布式环境下主副本数据一致性的方法，其特征在于，包括的机制有：

1)服务端定时检查注册中心的主数据版本信息和副本数据版本信息，并对注册中心的主数据版本信息和副本数据版本信息以及服务端自身的主数据版本信息的一致性进行判断，服务端根据判断结果做出数据同步的操作；

2)客户端定时检查注册中心的主数据版本信息和副本数据版本信息，并对注册中心的主数据版本信息和副本数据版本信息以及客户端自身的副本数据版本信息的一致性进行判断，客户端根据判断结果做出数据同步的操作。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，服务端根据判断结果做出的数据同步操作包括：

当服务端自身的主数据版本信息与注册中心的主数据版本信息不一致时，主动将服务端自身的主数据版本信息更新至注册中心；

当注册中心的主数据版本信息和副本数据版本信息不一致时，通知客户端进行副本数据同步。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，客户端根据判断结果做出的数据同步操作包括：当客户端自身或者注册中心的副本数据版本信息与注册中心的主数据版本信息不一致时，根据注册中心的主数据版本信息进行副本数据同步。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述的确保分布式环境下主副本数据一致性的方法，包括的机制还有：

3)服务端实时/定时的将主数据版本信息发布到注册中心；

4)客户端实时/定时的将副本数据版本信息发布到注册中心。

5)客户端订阅注册中心的主数据版本变更通知，收到通知主动进行副本数据同步。

另一方面，本发明提供一种适用于如上任一所述的确保分布式环境下主副本数据一致性的方法的系统，其特征在于，所述系统包括：

服务端，包括用于提供数据的常规服务端和部署在常规服务端上的分布式数据一致性比对组件服务端；所述分布式数据一致性比对组件服务端用于与注册中心进行通信；

客户端，包括用于提供数据的常规客户端和部署在常规客户端上的分布式数据一致性比对组件客户端；所述分布式数据一致性比对组件客户端用于与注册中心进行通信；

注册中心，用于存储服务端和客户端发布来的数据信息，并与服务端和客户端进行通信；

所述分布式数据一致性比对组件服务端和所述分布式数据一致性比对组件客户端通信连接。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分布式数据一致性比对组件服务端实时/定时的将主数据版本信息发布到注册中心。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分布式数据一致性比对组件客户端实时/定时的将副本数据版本信息发布到注册中心。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分布式数据一致性比对组件服务端定时检查服务端的主数据版本信息与发布到注册中心的主数据版本信息是否一致；若不一致，更新注册中心的主数据版本信息。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分布式数据一致性比对组件客户端定时检查副本数据版本信息和注册中心的主数据版本信息是否一致；若不一致，主动进行副本数据同步。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分布式数据一致性比对组件服务端定时将客户端发布到注册中心的副本数据版本信息与主数据版本信息进行比对，若不一致，由所述分布式数据一致性比对组件服务端直接通知所述分布式数据一致性比对组件客户端进行副本数据同步。

与现有技术相比，本发明可以获得包括以下技术效果：在网络闪断或服务器短暂故障等异常情况下能够确保主副数据的一致性；在正常情况下能够确保主副数据的一致性。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一个实施例提供的确保分布式环境下主副本数据一致性机制的原理结构图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

本发明的一种确保分布式环境下主副本数据一致性的方法和系统，基于一种“分布式数据一致性比对”组件，提供主副本数据比对功能，对于不一致的数据进行客户端主动拉取或服务端主动推送，为主副本数据的一致性提供保证。

图1是本发明一个实施例提供的确保分布式环境下主副本数据一致性机制的原理结构图。如图1所示，在服务端(即数据提供者)和客户端(即数据消费者)分别部署“分布式数据一致性比对组件”，主要提供如下机制，来确保主副本数据的一致性和实时性：

1、服务端：

a、服务端通过实时/定时两种机制，将主数据版本信息发布到“注册中心”；

b、服务端定时检查主数据版本信息与“注册中心”的版本信息是否一致，如果发现不一致，更新“注册中心”版本信息；

c、服务端定时检查客户端在“注册中心”存储的数据版本信息，如果发现与服务端提供的主数据版本信息不一致，可以直接通知客户端进行数据同步；

2、客户端：

d、客户端通过实时/定时两种机制，将数据消费者最新的副本数据版本信息发布到“注册中心”；

e、客户端“订阅”注册中心的主数据版本变更通知，收到通知主动进行副本数据同步；

f、客户端定时检查副本数据版本信息和服务端存储在“注册中心”的主数据版本信息，发现客户端的副本数据版本与主数据版本不一致，主动进行副本数据同步。

下面分别对服务端和客户端部署的分布式数据一致性比对组件进行说明：

1、分布式数据一致性比对组件服务端

“分布式数据一致性比对组件服务端”作为一个组件与数据提供者一起部署，数据提供者一般为一个独立部署的应用(例如配置中心)。

服务端需要满足的条件包括：

1)数据提供者需要实现“分布式数据一致性比对组件服务端”提供的一个接口(该接口负责收集数据提供者主数据的版本信息)，“分布式数据一致性比对组件服务端”会将主数据版本信息发布到“注册中心”；

2)在数据提供者主数据变更时，会同时更新主数据版本，“分布式数据一致性比对组件服务端”会将收集到的版本信息实时推送到注册中心；

3)同时，为了避免实时推送由于异常原因失败的导致数据不一致的可能性，“分布式数据一致性比对组件服务端”还会按照设定的周期频率，定时检查数据提供者的主数据版本与注册中心的数据版本是否一致，不一致则自动进行注册中心数据版本的更新；

4)“分布式数据一致性比对组件服务端”从“注册中心”获取数据消费者的副本数据版本信息，发现数据消费者副本数据版本与主数据版本不一致，可以直接通知“分布式数据一致性比对组件客户端”进行数据同步。

2、分布式数据一致性比对组件客户端

“分布式数据一致性比对组件客户端”作为一个组件与数据消费者一起部署。数据消费者通常是分布式环境下应用的一部分(例如配置中心客户端)，使用副本数据进行逻辑控制或处理。

1)数据消费者需要实现“分布式数据一致性比对组件客户端”提供的一个接口(该接口负责收集数据消费者副本数据的版本信息)，“分布式数据一致性比对组件客户端”会将副本数据版本信息发布到“注册中心”；

2)“分布式数据一致性比对组件客户端”在“注册中心”订阅主数据的版本信息，在主数据版本发生变动时，基于“发布/订阅”机制实时获取到通知，进行副本数据同步；

3)同时，为了避免实时推送由于异常原因失败的导致数据不一致的可能性，“分布式数据一致性比对组件客户端”还会按照设定的周期频率，定时检查数据消费者副本数据的版本信息是否与数据提供者发布在“注册中心”的主数据版本是否一致，不一致则自动进行数据同步。

以上对本申请实施例所提供的一种确保分布式环境下主副本数据一致性的方法和系统，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求书的保护范围内。

Claims (10)

1.一种确保分布式环境下主副本数据一致性的方法，其特征在于，包括：

1)服务端定时检查注册中心的主数据版本信息和副本数据版本信息，并对注册中心的主数据版本信息和副本数据版本信息以及服务端自身的主数据版本信息的一致性进行判断，服务端根据判断结果做出数据同步的操作；

2)客户端定时检查注册中心的主数据版本信息和副本数据版本信息，并对注册中心的主数据版本信息和副本数据版本信息以及客户端自身的副本数据版本信息的一致性进行判断，客户端根据判断结果做出数据同步的操作。

2.根据权利要求1所述的确保分布式环境下主副本数据一致性的方法，其特征在于，服务端根据判断结果做出的数据同步操作包括：

当服务端自身的主数据版本信息与注册中心的主数据版本信息不一致时，主动将服务端自身的主数据版本信息更新至注册中心；

当注册中心的主数据版本信息和副本数据版本信息不一致时，通知客户端进行副本数据同步。

3.根据权利要求1所述的确保分布式环境下主副本数据一致性的方法，其特征在于，客户端根据判断结果做出的数据同步操作包括：当客户端自身或者注册中心的副本数据版本信息与注册中心的主数据版本信息不一致时，根据注册中心的主数据版本信息进行副本数据同步。

4.根据权利要求1所述的确保分布式环境下主副本数据一致性的方法，其特征在于，还包括：

3)服务端实时或定时的将主数据版本信息发布到注册中心；

4)客户端实时或定时的将副本数据版本信息发布到注册中心；

5)客户端订阅注册中心的主数据版本变更通知，收到通知主动进行副本数据同步。

5.一种适用于如权利要求1-4任一所述的确保分布式环境下主副本数据一致性的方法的系统，其特征在于，所述系统包括：

服务端，包括用于提供数据的常规服务端和部署在常规服务端上的分布式数据一致性比对组件服务端；所述分布式数据一致性比对组件服务端用于与注册中心进行通信；

客户端，包括用于提供数据的常规客户端和部署在常规客户端上的分布式数据一致性比对组件客户端；所述分布式数据一致性比对组件客户端用于与注册中心进行通信；

注册中心，用于存储服务端和客户端发布来的数据信息，并与服务端和客户端进行通信；

所述分布式数据一致性比对组件服务端和所述分布式数据一致性比对组件客户端通信连接。

6.根据权利要求5所述的确保分布式环境下主副本数据一致性的系统，其特征在于，所述分布式数据一致性比对组件服务端实时或定时的将主数据版本信息发布到注册中心。

7.根据权利要求5所述的确保分布式环境下主副本数据一致性的系统，其特征在于，所述分布式数据一致性比对组件客户端实时或定时的将副本数据版本信息发布到注册中心。

8.根据权利要求5所述的确保分布式环境下主副本数据一致性的系统，其特征在于，所述分布式数据一致性比对组件服务端定时检查服务端的主数据版本信息与发布到注册中心的主数据版本信息是否一致；若不一致，更新注册中心的主数据版本信息。

9.根据权利要求5所述的确保分布式环境下主副本数据一致性的系统，其特征在于，所述分布式数据一致性比对组件客户端定时检查副本数据版本信息和注册中心的主数据版本信息是否一致；若不一致，主动进行副本数据同步。

10.根据权利要求5所述的确保分布式环境下主副本数据一致性的系统，其特征在于，所述分布式数据一致性比对组件服务端定时将客户端发布到注册中心的副本数据版本信息与主数据版本信息进行比对，若不一致，由所述分布式数据一致性比对组件服务端直接通知所述分布式数据一致性比对组件客户端进行副本数据同步。

Images