CN108989391A - 一种一致性处理的方法及装置 - Google Patents

Abstract

一种一致性处理的方法及装置，包括：备用领导者对在前活动的主领导者的数据进行同步；确定在前活动的主领导者停止服务时，备用领导者作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务。本发明实施例避免了领导者不可用时对系统造成的影响，提升系统的工作性能。

Description

一种一致性处理的方法及装置

技术领域

本文涉及但不限于分布式技术，尤指一种一致性处理的方法及装置。

背景技术

目前，对分布式系统中的一致性问题主要通过基于Zookeeper(ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务；是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作；将简单易用的接口和性能高效、功能稳定的系统提供给用户)的框架实现。Zookeeper集群结构中只能有一个领导者(leader)，当leader出现故障无法工作时，Zookeeper就要发起选举流程；Zookeeper的选举流程通常耗时30到120秒，期间Zookeeper由于没有leader会变得不可用，所有依赖Zookeeper的服务都会受到影响，对生产过程影响极大。此外，Zookeeper架构还存在以下缺点：

1、监听者(Watcher)不能持久注册：Watcher注册是一次性的，在触发之后，如果需要再次使用，需要在Zookeeper上进行重新注册；

2、会话(Session)超时之后不能重连，重连后不能读取数据：

客户端连接Zookeeper时会出现一个session；客户端在Zookeeper上修改某个节点的数据时，如果由于网络抖动导致session超时，则客户端不能进行session重连；客户端重建新的session可能无法读到之前的数据；

3、节点数据不支持对象封装：Zookeeper目前只提供了简单的字节byte[]数组的接口，不支持基于对象的数据；

4、不能保证数据一致性：由于Zookeeper的性能限制，无法让每次系统内部调用都通过Zookeeper实现，因此总有某些时刻，业务系统会存在两个leader；由于业务系统客户端缓存的业务系统leader信息是定时从Zookeeper更新的，因此会存在更新不同步的问题。

综上，基于Zookeeper进行一致性处理时存在较多问题，一致性运算处理效果较差，影响一致性的分析判断。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供一种一致性处理的方法及装置，能够避免领导者不可用时对系统运行造成的影响。

本发明实施例提供了一种一致性处理的方法，包括：

备用领导者对在前活动的主领导者的数据进行同步；

确定在前活动的主领导者停止服务时，备用领导者作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务。

可选的，所述备用领导者对在前活动的主领导者的数据进行同步之前，所述方法还包括：

由两个或两个以上跟随者对各跟随者进行投票；

当其中一个跟随者获得投票数大于跟随者总数的一半时，确定该跟随者为所述备用领导者。

可选的，所述备用领导者作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务时，所述方法还包括：

所述当前活动的主领导者执行投票的发起和决议，并进行系统状态更新。

可选的，所述方法还包括：

对字节数组进行对象封装，以实现数据对象的传输。

可选的，所述在前活动的主领导者和备用领导者通过原子广播协议进行数据同步，所述方法还包括：

所述在前活动的主领导者停止服务，所述备用领导者作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务时，所述原子广播协议进入恢复模式；

所述备用领导者根据与在前活动的主领导者同步的数据进行服务后，重新确定出所述备用领导者，且所述监听者、所述跟随者均完成与所述在前活动的主领导者的状态同步时，所述原子广播协议由恢复模式切换至广播状态。

可选的，所述方法还包括：

将监听到的事件按照状态改变、节点改变和数据改变注册为相应的监听事件；

寻找到监听事件后，将监听事件发送到预设线程的异步队列中；

通过所述预设线程，对发送到所述异步队列中的监听事件进行处理。

可选的，客户端连接的会话超时时，所述方法还包括：

根据会话的唯一标识ID连接当前活动的主领导者；从连接到的当前活动的主领导者中获取会话超时前的会话数据及节点信息。

另一方面，本发明实施例还提供一种一致性处理的系统，包括：备用领导者；

备用领导者用于：对在前活动的主领导者的数据进行同步；确定在前活动的主领导者停止服务时，作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务。

可选的，所述系统还包括两个或两个以上跟随者，用于：对各跟随者进行投票，以在跟随者获得投票数大于跟随者总数的一半时，确定该跟随者为所述备用领导者。

可选的，所述备用领导者还用于：

作为当前活动的主领导者时，执行投票的发起和决议，并进行系统状态更新。

可选的，所述系统还包括封装单元，用于：

对字节数组进行对象封装，以实现数据对象的传输。

可选的，所述系统还包括监听者，用于：

将监听到的事件按照状态改变、节点改变和数据改变注册为相应的监听事件；

寻找到监听事件后，将监听事件发送到预设线程的异步队列中；

通过所述预设线程，对发送到所述异步队列中的监听事件进行处理。

可选的，所述系统还包括客户端，用于：

连接的会话超时时，根据会话的唯一标识ID连接当前活动的主领导者；从连接到的当前活动的主领导者中获取会话超时前的会话数据及节点信息。

与相关技术相比，本申请技术方案包括：备用领导者对在前活动的主领导者的数据进行同步；确定在前活动的主领导者停止服务时，备用领导者作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务。本发明实施例避免了领导者不可用时对系统造成的影响，提升系统的工作性能。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例一致性处理的方法的流程图；

图2为本发明实施例一致性处理的装置的结构框图；

图3为本发明应用示例一致性处理的系统的组成结构示意图；

图4为本发明应用示例一致性处理的读写示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明实施例一致性处理的方法的流程图，如图1所示，包括：

步骤101、备用领导者对在前活动的主领导者的数据进行同步；

步骤102、确定在前活动的主领导者停止服务时，备用领导者作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务。

需要说明的是，本发明实施例备用领导者可以根据心跳确定在前活动的主领导者是否停止服务。

可选的，所述备用领导者对在前活动的主领导者的数据进行同步之前，本发明实施例方法还包括：

由两个或两个以上跟随者对各跟随者进行投票；

当其中一个跟随者获得投票数大于跟随者总数的一半时，确定该跟随者为所述备用领导者。

可选的，所述备用领导者作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务时，所述方法还包括：

所述当前活动的主领导者执行投票的发起和决议，并进行系统状态更新。

可选的，所述方法还包括：

对字节数组进行对象封装，以实现数据对象的传输。

需要说明的是，本发明实施例对字节数组进行对象封装可以包括修改系统内各组成部分的底层代码，将底层数据序列化接口中字节数组封装成对象，使数据序列化接口由支持字节数组序列化变成支持对象序列化。

可选的，所述在前活动的主领导者和备用领导者通过原子广播协议进行数据同步，所述方法还包括：

所述在前活动的主领导者停止服务，所述备用领导者作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务时，所述原子广播协议进入恢复模式；

所述备用领导者根据与在前活动的主领导者同步的数据进行服务后，重新确定出所述备用领导者，且所述监听者、所述跟随者均完成与所述在前活动的主领导者的状态同步时，所述原子广播协议由恢复模式切换至广播状态。

需要说明的是，原子广播协议的切换过程可以由当前活动的主领导者作为执行主体实施。

可选的，所述方法还包括：

将监听到的事件按照状态改变、节点改变和数据改变注册为相应的监听事件；

寻找到监听事件后，将监听事件发送到预设线程的异步队列中；

通过所述预设线程，对发送到所述异步队列中的监听事件进行处理。

可选的，客户端连接的会话超时时，所述方法还包括：

根据会话的唯一标识ID连接当前活动的主领导者；从连接到的当前活动的主领导者中获取会话超时前的会话数据及节点信息。

与相关技术相比，本申请技术方案包括：备用领导者对在前活动的主领导者的数据进行同步；确定在前活动的主领导者停止服务时，备用领导者作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务。本发明实施例避免了领导者不可用时对系统造成的影响，提升系统的工作性能。

图2为本发明实施例一致性处理的系统的结构框图，如图2所示，包括：备用领导者；

备用领导者用于：对在前活动的主领导者的数据进行同步；确定在前活动的主领导者停止服务时，作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务。

可选的，本发明实施例系统还包括两个或两个以上跟随者，用于：对各跟随者进行投票，以在跟随者获得投票数大于跟随者总数的一半时，确定该跟随者为所述备用领导者。

可选的，本发明实施例备用领导者还用于：

作为当前活动的主领导者时，执行投票的发起和决议，并进行系统状态更新。

可选的，本发明实施例系统还包括封装单元，用于：

对字节数组进行对象封装，以实现数据对象的传输。

可选的，本发明实施例系统还包括监听者，用于：

将监听到的事件按照状态改变、节点改变和数据改变注册为相应的监听事件；

寻找到监听事件后，将监听事件发送到预设线程的异步队列中；

通过所述预设线程，对发送到所述异步队列中的监听事件进行处理。

可选的，本发明实施例系统还包括客户端，用于：

连接的会话超时时，根据会话的唯一标识ID连接当前活动的主领导者；从连接到的当前活动的主领导者中获取会话超时前的会话数据及节点信息。

以下通过应用示例对本发明实施例方法进行清楚详细的说明，应用示例仅用于陈述本发明，并不用于限定本发明的保护范围。

应用示例

图3为本发明应用示例一致性处理的系统的组成结构示意图，如图3所示，一致性处理的系统中包括：主领导者(Active Leader)、备用领导者(Standby Leader)、跟随者(Follower)、监听者(Observer)及客户端(Client)。

本发明应用实施例通过原子广播协议实现Active Leader和Standby Leader、监听者、Follower之间的数据同步，原子广播协议有恢复模式和广播模式。

当Active Leader崩溃后，Standby Leader变成Active Leader接受Client的请求进行服务，同时原子广播协议就进入了恢复模式，Follower通过算法选举产生StandbyLeader，当Standby Leader被选举出来，且大多数Observer、Follower的完成了和ActiveLeader的状态同步以后，恢复模式结束了，状态同步保证了Active Leader和Observer、Follower具有相同的系统状态。一旦Active Leader和Observer、Follower进行了状态同步后，就可以开始广播消息了，即进入广播状态。

选举方法：本发明应用示例由Follower进行投票，计算获得票数最多的跟随者为获胜者，如果获胜者的票数超过半数，则该跟随者被选为Standby Leader；如果获胜者的票数未超过半数，继续这个过程，直到Standby Leader被选举出来；本发明应用示例可以采用了递增的事务ID号来保证选举过程，每一次状态的改变，都对应着一个递增的事务ID，该ID可以称为ZXID，由于ZXID的递增性质，若ZXID1小于ZXID2，那么ZXID1肯定先于ZXID2发生。

本发明应用示例将监听的事件定义划分为stateChanged(状态改变)、znodeChanged(节点改变)、dataChanged(数据改变)三种情况，用户可以注册这三种情况下的监听事件。并分三种情况进行处理，处理方法在寻找到监听事件后，将监听之间发送到线程的异步队列中，以线程的方式执行。

本发明应用示例客户端通过原session ID可以连接Active Leader之后，获取到Active Leader中存储的原来的session数据和相关的节点信息，现了对session的重连。

本发明应用示例通过提供对象的序列化接口来进行对象的序列化和反序列化，数据更新可以用来更新节点数据，进行节点(znode)数据转换，实现了对对象数据的传输支持。

图4为本发明应用示例一致性处理的读写示意图，如图4所示，包括：

步骤401、客户端(Client)向跟随者(Follwer)发出一个写请求。

步骤402、跟随者将写请求发送给主领导者(Active leader)。

步骤403、主领导者(Active leader)接收到以后，开始发起投票并通知跟随者进行投票。

步骤404、跟随者把投票结果发送给主领导者(Active leader)。

步骤405、主领导者(Active leader)将结果汇总，根据汇总结果判断，如果需要写入，则进行写入处理，并将写入操作通知给跟随者(Follwer)，然后提交(commit)。

步骤406、主领导者(Active leader)将结果数据同步到备用领导者(Standbyleader)；与相关技术相比，本发明应用示例增加了备用领导者(Standby leader)和同步流程。

步骤407、跟随者(Follwer)把请求结果返回给Client。

本发明应用示例，再次使用的话不需要在Zookeeper上进行Watcher的重新注册；可以获取原session的数据信息，实现了session的重连。备用的leader在主leader出现故障时可以继续提供服务，解决了Zookeeper进行选举期间Zookeeper由于没有leader，系统不可用的问题，同时解决了Zookeeper单leader节点的数据不一致的问题。提供针对对象级别的序列化接口，解决了Zookeeper的节点数据不支持对象封装。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的每个模块/单元可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明不限制于任何特定形式的硬件和软件的结合。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (13)

1.一种一致性处理的方法，其特征在于，包括：

备用领导者对在前活动的主领导者的数据进行同步；

确定在前活动的主领导者停止服务时，备用领导者作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务。

2.根据权利要求1所述的方法，其特征在于，所述备用领导者对在前活动的主领导者的数据进行同步之前，所述方法还包括：

由两个或两个以上跟随者对各跟随者进行投票；

当其中一个跟随者获得投票数大于跟随者总数的一半时，确定该跟随者为所述备用领导者。

3.根据权利要求1所述的方法，其特征在于，所述备用领导者作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务时，所述方法还包括：

所述当前活动的主领导者执行投票的发起和决议，并进行系统状态更新。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对字节数组进行对象封装，以实现数据对象的传输。

5.根据权利要求2所述的方法，其特征在于，所述在前活动的主领导者和备用领导者通过原子广播协议进行数据同步，所述方法还包括：

所述在前活动的主领导者停止服务，所述备用领导者作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务时，所述原子广播协议进入恢复模式；

所述备用领导者根据与在前活动的主领导者同步的数据进行服务后，重新确定出所述备用领导者，且所述监听者、所述跟随者均完成与所述在前活动的主领导者的状态同步时，所述原子广播协议由恢复模式切换至广播状态。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将监听到的事件按照状态改变、节点改变和数据改变注册为相应的监听事件；

寻找到监听事件后，将监听事件发送到预设线程的异步队列中；

通过所述预设线程，对发送到所述异步队列中的监听事件进行处理。

7.根据权利要求1所述的方法，其特征在于，客户端连接的会话超时时，所述方法还包括：

根据会话的唯一标识ID连接当前活动的主领导者；从连接到的当前活动的主领导者中获取会话超时前的会话数据及节点信息。

8.一种一致性处理的系统，其特征在于，包括：备用领导者；

备用领导者用于：对在前活动的主领导者的数据进行同步；确定在前活动的主领导者停止服务时，作为当前活动的主领导者，根据与在前活动的主领导者同步的数据进行服务。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括两个或两个以上跟随者，用于：对各跟随者进行投票，以在跟随者获得投票数大于跟随者总数的一半时，确定该跟随者为所述备用领导者。

10.根据权利要求8所述的系统，其特征在于，所述备用领导者还用于：

作为当前活动的主领导者时，执行投票的发起和决议，并进行系统状态更新。

11.根据权利要求8所述的系统，其特征在于，所述系统还包括封装单元，用于：对字节数组进行对象封装，以实现数据对象的传输。

12.根据权利要求8所述的系统，其特征在于，所述系统还包括监听者，用于：将监听到的事件按照状态改变、节点改变和数据改变注册为相应的监听事件；寻找到监听事件后，将监听事件发送到预设线程的异步队列中；通过所述预设线程，对发送到所述异步队列中的监听事件进行处理。

13.根据权利要求8所述的系统，其特征在于，所述系统还包括客户端，用于：

连接的会话超时时，根据会话的唯一标识ID连接当前活动的主领导者；从连接到的当前活动的主领导者中获取会话超时前的会话数据及节点信息。