CN109376014A - 一种分布式锁管理器实现方法和系统 - Google Patents

Abstract

本发明公开了一种分布式锁管理器实现方法和系统。涉及虚拟计算平台技术，解决了并发访问请求处理效率低下的问题。该方法包括：在需要进行分布式锁管理操作时，确定相应的接收缓存队列；与所述接收缓存队列交换分布式锁管理操作信息。本发明提供的技术方案适用于集群文件系统，实现了高效率高可靠性的分布式锁。

Description

一种分布式锁管理器实现方法和系统

技术领域

本发明涉及虚拟计算平台技术，尤指一种分布式锁管理器实现方法和系统。

背景技术

由于集群文件系统可以同时被多个服务器同时共享并进行挂载，在服务器虚拟化领域，集群文件系统会被用作多个计算节点与集中式存储之间的桥梁。集群文件系统能够提供文件并发访问控制，完整性保证，以及冗余性等，被虚拟化系统用于存储虚拟机镜像，共享存储池等。而分布式锁管理器(DLM)是构成集群文件系统的关键组件，用于对共享资源的并发访问进行管理；它主要解决了集群节点之间磁盘缓存一致性问题，提高了共享文件访问的效率。常见的集群文件系统如GFS、VMFS、OpenVMS Files、ocfs2等都实现了自己的DLM。

在DLM工作过程中，需要依赖于网络进行节点间通信以同步锁信息，包括锁信息查询、获取远程锁、锁降级等操作。对于并发的访问请求，只能接受处理一个，待处理完毕后再继续接收其他访问请求，一次锁操作有可能需要发出多次访问请求才能完成，导致文件访问效率低。

发明内容

为了解决上述技术问题，本发明提供了一种分布式锁管理器实现方法和系统。

为了达到本发明目的，本发明提供了一种分布式锁管理器实现方法，包括：

在需要进行分布式锁管理操作时，确定相应的接收缓存队列；

与所述接收缓存队列交换分布式锁管理操作信息。

优选的，在需要进行分布式锁管理操作时，确定相应的接收缓存队列的步骤包括：

在需要对其他节点进行操作时，选择相应节点的接收缓存队列。

优选的，与所述接收缓存队列交换分布式锁管理操作信息的步骤包括：

检查所述接收缓存队列，确定所述接收缓存队列中的可用项；

向所述可用项中写入对所述其他节点的分布式锁管理操作信息。

优选的，在需要进行分布式锁管理操作时，确定相应的接收缓存队列的步骤包括：

在需要获取对本节点的操作时，选择本节点的接收缓存队列。

优选的，与所述接收缓存队列交换分布式锁管理操作信息的步骤包括：

轮询本节点的接收缓存队列；

在检测到所述接收缓存队列中有未处理的分布式锁管理操作信息时，提取接收所述分布式锁管理操作信息。

优选的，在需要进行分布式锁管理操作时，确定相应的接收缓存队列的步骤之前，还包括：

根据各个节点的工作情况，为各个节点配置接收缓存队列；

设置各个节点的接收缓存队列的深度。

本发明还提供了一种分布式锁管理器实现系统，包括：

缓存选择模块，用于在需要进行分布式锁管理操作时，确定相应的接收缓存队列；

信息传输模块，用于与所述接收缓存队列交换分布式锁管理操作信息。

优选的，所述缓存选择模块包括：

第一选择单元，用于在需要对其他节点进行操作时，选择相应节点的接收缓存队列；

第二选择单元，用于在需要获取对本节点的操作时，选择本节点的接收缓存队列。

优选的，所述信息传输模块包括：

可用项查找单元，用于检查所述第一选择单元选择的接收缓存队列，确定所述接收缓存队列中的可用项；

信息写入单元，用于向所述可用项中写入对所述其他节点的分布式锁管理操作信息。

优选的，所述信息传输模块包括：

缓存轮询单元，用于在第二单元选择本节点的接收缓存队列时，轮询本节点的接收缓存队列；

信息读取单元，用于在检测到所述接收缓存队列中有未处理的分布式锁管理操作信息时，提取接收所述分布式锁管理操作信息。

本发明提供了一种分布式锁管理方法和系统，在需要进行分布式锁管理操作时，确定相应的接收缓存队列，与所述接收缓存队列交换分布式锁管理操作信息。能够支持大量并发的访问请求，并可根据实际应用情况调整接收缓存队列的大小，合理利用资源，解决了并发访问请求处理效率低下的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明的一实施例提供的一种分布式锁管理器实现方法的流程示意图；

图2为本发明的一实施例提供的一种分布式锁管理器实现系统的结构示意图；

图3为图2中缓存选择模块201的结构示意图；

图4为图2中信息传输模块202的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

由于集群文件系统可以同时被多个服务器同时共享并进行挂载，在服务器虚拟化领域，集群文件系统会被用作多个计算节点与集中式存储之间的桥梁。集群文件系统能够提供文件并发访问控制，完整性保证，以及冗余性等，被虚拟化系统用于存储虚拟机镜像，共享存储池等。而分布式锁管理器(DLM)是构成集群文件系统的关键组件，用于对共享资源的并发访问进行管理；它主要解决了集群节点之间磁盘缓存一致性问题，提高了共享文件访问的效率。常见的集群文件系统如GFS、VMFS、OpenVMS Files、ocfs2等都实现了自己的DLM。

在DLM工作过程中，需要依赖于网络进行节点间通信以同步锁信息，包括锁信息查询、获取远程锁、锁降级等操作，因此网络的可靠性直接影响了DLM的效率与稳定性。常见的DLM实现方法中，在集群的节点之间基于指定端口建立长连接，对锁消息进行封装后通过TCP/IP来进行锁信息交互。但网络的稳定性较差，网络的波动、延迟都会影响到DLM消息的传输，直接影响到了集群文件系统的工作，乃至引发文件系统的保护机制fence，造成集群的部分节点瘫痪。问题的根源在于整个系统的稳定性依赖于TCP/IP的可靠性，而在服务器虚拟化场景中，TCP/IP网络的可靠性是较低的，因此该设计会大大影响系统的整体可靠性。

对于并发的访问请求，只能接受处理一个，待处理完毕后再继续接收其他访问请求，一次锁操作有可能需要发出多次访问请求才能完成，导致文件访问效率低。

为了解决上述问题，本发明的实施例提供了一种分布式锁管理器实现方法和系统，通过接收缓存队列对分布式锁管理操作信息，支持并发访问，提升了访问效率，解决了并发访问请求处理效率低下的问题。

本发明的一实施例提供了一种分布式锁管理方法，首先在共享磁盘上指定位置预留一段地址空间作为通信区域，分成N个槽(slot)，预留给集群中的每个节点。每个节点的消息槽包含一个深度为M的buffer，支持同时接收来自M个节点的消息。每个节点都从自己的槽中接收其它节点发过来的消息，向其它节点的槽进行写入来发送消息。DLM在发消息时首先通过disk paxos的算法来获取向指定节点发消息的发送权，一旦获得该权力后就可向该位置写入消息；在写入消息时，首先会从接收buffer中找到一个可用的项，然后将消息写入。消息的接收是通过轮询机制进行，一旦发现接收buffer中有消息，就解析并调用相应的消息处理函数进行处理来完成消息的接收。

基于共享磁盘并行通信的DLM锁管理器实现摆脱了对TCP/IP的依赖，使得集群文件系统的工作仅仅依赖于存储本身，减少了故障点，从而提高了集群文件系统的可靠性。同时基于带buffer的消息接收设计可以使得节点并行收发消息，提高了消息传输效率。该方案尤其适用于可靠性较高的Fibre Channel存储。

本发明的一实施例提供了又一种分布式锁管理方法，使用该方法完成分布式锁管理的流程如图1所示，包括：

步骤101、根据各个节点的工作情况，为各个节点配置接收缓存队列。

本发明实施例中，为各个节点配置一接收缓存队列，并设置各个节点的接收缓存队列的深度。接收缓存队列的深度可根据实际网络情况与应用需要灵活配置。

具体的，在磁盘上指定位置预留一段地址空间，分成N个节点消息槽(slot)，预留给集群中的每个节点。每个节点消息槽包含一个深度为M的接收缓存队列(buffer)，支持同时接收来自M个节点的消息。

步骤102、在需要进行分布式锁管理操作时，确定相应的接收缓存队列。

本步骤中，在需要获取对本节点的操作时，选择本节点的接收缓存队列；在需要对其他节点进行操作时，选择相应节点的接收缓存队列。

步骤103、与所述接收缓存队列交换分布式锁管理操作信息。

本步骤中，在需要对其他节点进行操作时，检查目的节点的所述接收缓存队列，确定所述接收缓存队列中的可用项，然后向所述可用项中写入对所述其他节点的分布式锁管理操作信息。

在需要获取对本节点的接收缓存队列进行操作时，轮询本节点的接收缓存队列，并在检测到所述接收缓存队列中有未处理的分布式锁管理操作信息时，提取接收所述分布式锁管理操作信息。

具体的，每个节点都从自己的buffer中接收其它节点发过来的分布式锁管理操作信息等消息，通过向其他节点的消息槽对应的buffer写入来发送消息。DLM在发消息时首先通过disk paxos的算法来获取向指定节点发消息的发送权，一旦获得该权力后就可向该位置写入消息。同时，节点通过轮询机制来查看是否有节点向其发送消息，一旦收到消息就对消息进行解析，并调用相应的消息处理函数进行处理。

实现时，节点A向节点B发送消息时主要包括以下几个步骤：

(1)通过disk paxos算法争夺向节点B发消息的权力；

(2)获得发送权后，查询消息节点B的消息槽对应的buffer并找到一个未使用的可用项；

(3)将消息写入选定的buffer可用项；

(4)然后A将B的消息槽放入轮询队列，等待B接收消息后的回复；

(5)A收到B的回复表示消息接收完成，然后将消息槽对应的buffer进行清空，完成一次消息发送过程。

对于消息接收端B，起实现主要包括以下步骤：

(1)在消息接收线程中会轮询自己的消息接收槽，具体而言，会遍历消息槽所有的buffer；

(2)对buffer内的每一条消息完整进行验证，采用CRC32进行验证；

(3)如果消息完整接收，则调用消息处理函数进行消息处理；

(4)处理完成后，向对应的消息槽buffer写入处理完成标志，完成消息接收流程。

需要说明的是，消息接收和发送是对称的，每个节点即进行消息接收也进行消息发送，因此每个节点都会实现上述消息发送就收流程。

本发明的一实施例还提供了一种分布式锁管理器实现系统，其结构如图2所示，包括：

缓存选择模块201，用于在需要进行分布式锁管理操作时，确定相应的接收缓存队列；

信息传输模块202，用于与所述接收缓存队列交换分布式锁管理操作信息。

优选的，所述缓存选择模块201的结构如图3所示，包括：

第一选择单元2011，用于在需要对其他节点进行操作时，选择相应节点的接收缓存队列；

第二选择单元2012，用于在需要获取对本节点的操作时，选择本节点的接收缓存队列。

优选的，所述信息传输模块202的结构如图4所示，包括：

可用项查找单元2021，用于检查所述第一选择单元选择的接收缓存队列，确定所述接收缓存队列中的可用项；

信息写入单元2022，用于向所述可用项中写入对所述其他节点的分布式锁管理操作信息。

优选的，所述信息传输模块202还包括：

缓存轮询单元2023，用于在第二单元选择本节点的接收缓存队列时，轮询本节点的接收缓存队列；

信息读取单元2024，用于在检测到所述接收缓存队列中有未处理的分布式锁管理操作信息时，提取接收所述分布式锁管理操作信息。

本发明的实施例提供了一种分布式锁管理方法和系统，在需要进行分布式锁管理操作时，确定相应的接收缓存队列，与所述接收缓存队列交换分布式锁管理操作信息。能够支持大量并发的访问请求，并可根据实际应用情况调整接收缓存队列的大小，合理利用资源，解决了并发访问请求处理效率低下的问题。

基于共享磁盘通信的DLM锁管理器实现摆脱了对TCP/IP的依赖，使得集群文件系统的工作仅仅依赖于存储本身，减少了故障点，从而提高了集群文件系统的可靠性。同时该方案减少了硬件资源的占用，可以节省专门用于DLM通信的网络设备。虽然该方案会占用一部分磁盘的带宽，但相对于带来的稳定性收益和降低的硬件开销可以忽略不计，大大提高了虚拟化系统的高可用性。此外，采用带接收缓存队列的消息接收方案大大提高了基于磁盘通信的性能，使得其性能接近于TCP/IP的消息传输方案。该方案尤其适用于可靠性较高的Fibre Channel存储。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种分布式锁管理器实现方法，其特征在于，包括：

在需要进行分布式锁管理操作时，确定相应的接收缓存队列；

与所述接收缓存队列交换分布式锁管理操作信息。

2.根据权利要求1所述的分布式锁管理器实现方法，其特征在于，在需要进行分布式锁管理操作时，确定相应的接收缓存队列的步骤包括：

在需要对其他节点进行操作时，选择相应节点的接收缓存队列。

3.根据权利要求2所述的分布式锁管理器实现方法，其特征在于，与所述接收缓存队列交换分布式锁管理操作信息的步骤包括：

检查所述接收缓存队列，确定所述接收缓存队列中的可用项；

向所述可用项中写入对所述其他节点的分布式锁管理操作信息。

4.根据权利要求1所述的分布式锁管理器实现方法，其特征在于，在需要进行分布式锁管理操作时，确定相应的接收缓存队列的步骤包括：

在需要获取对本节点的操作时，选择本节点的接收缓存队列。

5.根据权利要求4所述的分布式锁管理器实现方法，其特征在于，与所述接收缓存队列交换分布式锁管理操作信息的步骤包括：

轮询本节点的接收缓存队列；

在检测到所述接收缓存队列中有未处理的分布式锁管理操作信息时，提取接收所述分布式锁管理操作信息。

6.根据权利要求1所述的分布式锁管理器实现方法，其特征在于，在需要进行分布式锁管理操作时，确定相应的接收缓存队列的步骤之前，还包括：

根据各个节点的工作情况，为各个节点配置接收缓存队列；

设置各个节点的接收缓存队列的深度。

7.一种分布式锁管理器实现系统，其特征在于，包括：

缓存选择模块，用于在需要进行分布式锁管理操作时，确定相应的接收缓存队列；

信息传输模块，用于与所述接收缓存队列交换分布式锁管理操作信息。

8.根据权利要求7所述的分布式锁管理器实现系统，其特征在于，所述缓存选择模块包括：

第一选择单元，用于在需要对其他节点进行操作时，选择相应节点的接收缓存队列；

第二选择单元，用于在需要获取对本节点的操作时，选择本节点的接收缓存队列。

9.根据权利要求8所述的分布式锁管理器实现系统，其特征在于，所述信息传输模块包括：

可用项查找单元，用于检查所述第一选择单元选择的接收缓存队列，确定所述接收缓存队列中的可用项；

信息写入单元，用于向所述可用项中写入对所述其他节点的分布式锁管理操作信息。

10.根据权利要求8所述的分布式锁管理器实现系统，其特征在于，所述信息传输模块包括：

缓存轮询单元，用于在第二单元选择本节点的接收缓存队列时，轮询本节点的接收缓存队列；

信息读取单元，用于在检测到所述接收缓存队列中有未处理的分布式锁管理操作信息时，提取接收所述分布式锁管理操作信息。