CN107517277B - 一种sanlock锁实现方法和装置 - Google Patents

Abstract

本发明实施例公开了一种sanlock锁实现方法和装置，所述方法包括：在分布式锁sanlock连接存储池时启动互联网协议IP通信；当存储IO出现预设压力时，所述sanlock通过所述IP通信广播当前主机的存活性。本发明实施例可以通过网络协商和共享存储协商来保证sanlock分布式锁的稳定性。

Description

一种sanlock锁实现方法和装置

技术领域

本发明涉及云计算和存储技术，尤指一种sanlock锁实现方法和装置。

背景技术

随着计算机技术和网络技术的快速发展，大型集群在实际生产环境中使用，通过虚拟化，组成云计算，在虚拟化系统中，常常需要协调动作，不同系统或者是在同一个系统不同主机之间共享同一个或一组资源，往往需要互斥来防止彼此的干扰，保证一致性，因此需要分布式锁来保证上述情况。

分布式锁实现方案大致分两种，一种是依赖于网络，通过网络通信来保证获取资源的一致性，但是对于网络的稳定性比较依赖，比如分布式锁管理器(Distributed LockManager，DLM)；第二种实现方案是依赖共享存储，通过对共享存储的读写保证多方的协商，但当存储的IO时延比较大时候容易造成隔离(fence)。从当前形式发展来看，网络速度提升从原来的百兆、千兆、万兆，一步步的提升，并且使用很低的代价，但是存储IO从原来的互联网小型计算机系统接口(iSCSI)协议到现在的光纤通道(FibreChannel，FC)协议，存储带宽有一定的限制，很难像网络这样发展，因此基于共享存储实现的分布式锁方案需要依据网络来提升锁方案的稳定性。

发明内容

为了解决上述技术问题，本发明实施例提供了一种sanlock锁实现方法和装置，可以通过网络协商和共享存储协商来保证sanlock分布式锁的稳定性。

为了达到本发明目的，一方面，本发明实施例提供了一种sanlock锁实现方法，包括：

在分布式锁sanlock连接存储池时启动互联网协议IP通信；

当存储IO出现预设压力时，所述sanlock通过所述IP通信广播当前主机的存活性。

进一步地，所述IP通信包括socket通信；

所述sanlock通过所述IP通信广播当前主机的存活性包括：

所述sanlock读取所述存储池上所有连接主机的信息，通过所述socket与除所述当前主机以外的其他主机建立socket连接，广播当前主机的存活性。

进一步地，所述方法还包括：

创建所述存储池时，每个连接的主机在所述存储池中填入自己的IP地址，用以在所述存储池添加主机时，所述存储池向新添加的主机下发所述IP地址字段，进行IP通信。

进一步地，所述方法还包括：

当当前主机的sanlock定时下发的时间戳正常下发到共享存储上时，所述其它主机确定所述当前主机存活；

当所述当前主机的sanlock定时下发的时间戳不能正常的下发到所述共享存储上时，所述其他主机从共享存储上读取的是当前节点以往下发的时间戳，并判定所述当前主机已经不再存活。

进一步地，所述每个连接的主机在所述存储池中填入自己的IP地址包括：

每个主机的sanlock第一次连接所述存储池时，获取当前主机的IP地址，启动socket监听服务，在所述存储池上写下自己主机的IP地址。

进一步地，所述方法还包括：

当存储IO恢复正常时，所述当前主机关闭所述socket服务，通过所述IO下发时间戳，通知所述其他主机当前主机已经能够正常的IO，以使所述其他主机从所述存储池上判断当前主机的存活性。

另一方面，本发明实施例还提供了一种sanlock锁实现装置，包括：

启动模块，用于在分布式锁sanlock连接存储池时启动互联网协议IP通信；

通信模块，用于当存储IO出现预设压力时，所述sanlock通过所述IP通信广播当前主机的存活性。

进一步地，所述IP通信包括socket通信；

所述通信模块还用于：

所述sanlock读取所述存储池上所有连接主机的信息，通过所述socket与除所述当前主机以外的其他主机建立socket连接，广播当前主机的存活性。

进一步地，所述通信模块还用于：

创建所述存储池时，每个连接的主机在所述存储池中填入自己的IP地址，用以在所述存储池添加主机时，所述存储池向新添加的主机下发所述IP地址字段，进行IP通信。

进一步地，所述通信发模块还用于：

当当前主机的sanlock定时下发的时间戳正常下发到共享存储上时，所述其它主机确定所述当前主机存活；

当所述当前主机的sanlock定时下发的时间戳不能正常的下发到所述共享存储上时，所述其他主机从共享存储上读取的是当前节点以往下发的时间戳，并判定所述当前主机已经不再存活。

进一步地，所述通信发模块还用于：

每个主机的sanlock第一次连接所述存储池时，获取当前主机的IP地址，启动socket监听服务，在所述存储池上写下自己主机的IP地址。

进一步地，所述装置还包括：

当存储IO恢复正常时，所述当前主机关闭所述socket服务，通过所述IO下发时间戳，通知所述其他主机当前主机已经能够正常的IO，以使所述其他主机从所述存储池上判断当前主机的存活性。

与现有技术相比，本发明实施例通过在分布式锁sanlock连接存储池时启动互联网协议IP通信；当存储IO出现预设压力时，所述sanlock通过所述IP通信广播当前主机的存活性。本发明实施例可以通过网络协商和共享存储协商来保证sanlock分布式锁的稳定性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例sanlock锁实现方法的流程图；

图2为本发明实施例sanlock锁实现装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明实施例sanlock锁实现方法的流程图，如图1所示，本发明实施例的方法包括以下步骤：

步骤100：在分布式锁sanlock连接存储池时启动互联网协议IP通信；

步骤101：当存储IO出现预设压力时，所述sanlock通过所述IP通信广播当前主机的存活性。

具体地，当存储IO达到瓶颈时候，通过socket通信来通知其他主机当前节点的存活性，其中，socket是网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。通过附加socket通信，保证存储高压力时候依旧能够正常的提供分布式锁服务，提高分布式锁sanlock的稳定性，减少因为压力原因造成的fence问题。当存储恢复正常时候恢复过去的锁实现方案。

进一步地，所述IP通信包括socket通信；

所述sanlock通过所述IP通信广播当前主机的存活性包括：

所述sanlock读取所述存储池上所有连接主机的信息，通过所述socket与除所述当前主机以外的其他主机建立socket连接，广播当前主机的存活性。

进一步地，所述方法还包括：

创建所述存储池时，每个连接的主机在所述存储池中填入自己的IP地址，用以在所述存储池添加主机时，所述存储池向新添加的主机下发所述IP地址字段，进行IP通信。

进一步地，所述方法还包括：

当当前主机的sanlock定时下发的时间戳正常下发到共享存储上时，所述其它主机确定所述当前主机存活；

当所述当前主机的sanlock定时下发的时间戳不能正常的下发到所述共享存储上时，所述其他主机从共享存储上读取的是当前节点以往下发的时间戳，并判定所述当前主机已经不再存活。

进一步地，所述每个连接的主机在所述存储池中填入自己的IP地址包括：

每个主机的sanlock第一次连接所述存储池时，获取当前主机的IP地址，启动socket监听服务，在所述存储池上写下自己主机的IP地址。

进一步地，所述方法还包括：

当存储IO恢复正常时，所述当前主机关闭所述socket服务，通过所述IO下发时间戳，通知所述其他主机当前主机已经能够正常的IO，以使所述其他主机从所述存储池上判断当前主机的存活性。

本发明实施例通过添加存储高压力时候冗余的网络通信，证明该节点的存活性，通过存储和通信两种方式增加分布式锁的稳定性，提高环境的稳定性。

下面从原理上对本发明实施例的方法进行详细说明：

本发明实施例提出了一种优化的sanlock锁实现方案，具体涉及集群存储或共享式资源。当存储IO压力比较大时候通过网络来提示其他主机当前节点存活性，同时等待存储压力变小时候重新恢复正常的锁管理机制。其中sanlock是一个软件实现的轻量灵活的分布式锁管理器。

本发明实施例的sanlock锁实现方案通过优化sanlock锁通信方式，通过增加sanlock锁的网络通信，同时保持sanlock锁对存储的IO协商，保证sanlock锁的稳定性，提高sanlock锁的对环境的适应性。sanlock锁通过对存储的定时的下发时间戳来说明当前节点的存活性，当存储IO压力比较大时候由于sanlock使用超时型IO，当IO瓶颈达到一定的速度时候，sanlock不能保证能够正常的下发IO，因此需要ip通信介入，通过IP通信进行广播自己存活，避免因为没法按时下发IO造成当前节点被fence，同时被其他主机占用当前主机所拥有的资源，造成数据不一致性，当存储IO恢复正常时候关掉socket消息，避免因为socket消息同时发送，造成sanlock进程压力。

本发明实施例sanlock锁实现方案具体实施过程如下：

首先修改sanlock初始化存储池方案，添加当前主机IP字段，即创建存储池时候初始化IP字段，以方便添加主机时候下发IP字段，后续方便进行IP通信。

连接存储池时候获取当前主机的IP，连接存储池时候即sanlock执行add_lockspace时候下发当前主机上sanlock的唯一name和当前主机的IP地址，sanlock将该信息写入共享存储池中，以便其他主机读取。

Sanlock在连接存储池时候启动socket，监听协商好的socket信息，以便收取其他主机发起的存活消息。

当存储出现压力比较大的情况下，读取存储池上所有连接主机的信息，进行广播当前节点的存活性

当存储IO恢复正常时候关闭socket发送，正常的进行IO操作，通过共享存储保证自己的存活性

本发明实施例通过优化sanlock代码的实现，通过网络协商和共享存储协商来保证sanlock分布式锁的稳定性，同时能够保证存储的IO性能，不限制所有的用户的操作，能够达到用户所要求的最大的性能；网络通信加存储协商能够保证在复杂环境下，分布式锁依旧能够健壮工作。

本发明实施例通过优化sanlock的fence判断机制，添加新的应急预案，当共享存储的性能影响到锁协商时候通过网络进行通信，证明该节点存活，避免因为存储压力，造成当前主机所有服务fence。

具体地，通过添加sanlock锁的socket通信服务，在存储不能保证sanlock锁的稳定性情况下通过socket通信保证sanlock服务的存储池的稳定性，当恢复时候恢复存储协商锁服务。

进一步地，添加socket通信服务具体是存储池时候初始化主机IP字段，保证每个连接的主机都填入自己的IP地址。

进一步地，连接存储池的主机都填入自己的IP地址，具体是连接存储池时候动态获取当前主机的IP地址，在当前主机第一次连接存储池时候启动socket监听服务，同时在共享存储上写下自己主机的IP地址。

进一步地，当共享存储不能保证sanlock锁稳定性的情况下，共享存储的IO压力比较大时候，sanlock定时下发的时间戳可能不能正常的下发到共享存储上，其他主机从共享存储上读取的是当前节点以往下发的时间戳，根据内部算法，一定时间不下发时间戳的话证明节点已经失效，不再存活

进一步地，通过socket通信保证sanlock服务的存储池的稳定性，当主机不能正常的下发IO时候，sanlock从共享存储上读取其他主机的IP信息，通过socket跟其他主机建立socket连接，同时通知当前主机的存活性，避免因为从共享存储上读取的时间戳判断当前主机离线。

进一步地，当恢复时候恢复存储协商锁服务，当前主机进行IO下发时间戳时候关闭socket服务，同时通知其他主机当前主机已经能够正常的IO，其他主机可以从共享存储上判断当前主机的存活性。

图2为本发明实施例sanlock锁实现装置的结构图，如图2所示，本发明实施例另一方面提供的一种sanlock锁实现装置，包括：

启动模块201，用于在分布式锁sanlock连接存储池时启动互联网协议IP通信；

通信模块202，用于当存储IO出现预设压力时，所述sanlock通过所述IP通信广播当前主机的存活性。

进一步地，所述IP通信包括socket通信；

所述通信模块202还用于：

所述sanlock读取所述存储池上所有连接主机的信息，通过所述socket与除所述当前主机以外的其他主机建立socket连接，广播当前主机的存活性。

进一步地，所述通信模块202还用于：

创建所述存储池时，每个连接的主机在所述存储池中填入自己的IP地址，用以在所述存储池添加主机时，所述存储池向新添加的主机下发所述IP地址字段，进行IP通信。

进一步地，所述通信发模块202还用于：

当当前主机的sanlock定时下发的时间戳正常下发到共享存储上时，所述其它主机确定所述当前主机存活；

当所述当前主机的sanlock定时下发的时间戳不能正常的下发到所述共享存储上时，所述其他主机从共享存储上读取的是当前节点以往下发的时间戳，并判定所述当前主机已经不再存活。

进一步地，所述通信发模块202还用于：

每个主机的sanlock第一次连接所述存储池时，获取当前主机的IP地址，启动socket监听服务，在所述存储池上写下自己主机的IP地址。

进一步地，所述装置还包括：

当存储IO恢复正常时，所述当前主机关闭所述socket服务，通过所述IO下发时间戳，通知所述其他主机当前主机已经能够正常的IO，以使所述其他主机从所述存储池上判断当前主机的存活性。

与现有技术相比，本发明实施例通过在分布式锁sanlock连接存储池时启动互联网协议IP通信；当存储IO出现预设压力时，所述sanlock通过所述IP通信广播当前主机的存活性。本发明实施例可以通过网络协商和共享存储协商来保证sanlock分布式锁的稳定性。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种分布式锁sanlock锁实现方法，其特征在于，所述方法包括：

在分布式锁sanlock连接存储池时启动互联网协议IP通信；

当存储IO出现预设压力时，所述sanlock通过所述IP通信广播当前主机的存活性；

其中，所述预设压力是指预设的使得所述sanlock不能保证能够正常的下发IO时存储IO的压力阈值。

2.根据权利要求1所述的sanlock锁实现方法，其特征在于，所述IP通信包括socket通信；

所述sanlock通过所述IP通信广播当前主机的存活性包括：

所述sanlock读取所述存储池上所有连接主机的信息，通过所述socket与除所述当前主机以外的其它主机建立socket连接，广播当前主机的存活性。

3.根据权利要求1所述的sanlock锁实现方法，其特征在于，所述方法还包括：

创建所述存储池时，每个连接的主机在所述存储池中填入自己的IP地址，用以在所述存储池添加主机时，所述存储池向新添加的主机下发所述IP地址字段，进行IP通信。

4.根据权利要求1所述的sanlock锁实现方法，其特征在于，所述方法还包括：

当当前主机的sanlock定时下发的时间戳正常下发到共享存储上时，其它主机确定所述当前主机存活；

当所述当前主机的sanlock定时下发的时间戳不能正常的下发到所述共享存储上时，所述其它主机从共享存储上读取的是当前节点以往下发的时间戳，并判定所述当前主机已经不再存活。

5.根据权利要求3所述的sanlock锁实现方法，其特征在于，所述每个连接的主机在所述存储池中填入自己的IP地址包括：

每个主机的sanlock第一次连接所述存储池时，获取当前主机的IP地址，启动socket监听服务，在所述存储池上写下自己主机的IP地址。

6.根据权利要求3所述的sanlock锁实现方法，其特征在于，所述方法还包括：

当存储IO恢复正常时，所述当前主机关闭所述socket服务，通过所述IO下发时间戳，通知其它主机当前主机已经能够正常的IO，以使所述其它主机从所述存储池上判断当前主机的存活性。

7.一种sanlock锁实现装置，其特征在于，包括：

启动模块，用于在分布式锁sanlock连接存储池时启动互联网协议IP通信；

通信模块，用于当存储IO出现预设压力时，所述sanlock通过所述IP通信广播当前主机的存活性；

其中，所述预设压力是指预设的使得所述sanlock不能保证能够正常的下发IO时存储IO的压力阈值。

8.根据权利要求7所述的sanlock锁实现装置，其特征在于，所述IP通信包括socket通信；

所述通信模块还用于：

所述sanlock读取所述存储池上所有连接主机的信息，通过所述socket与除所述当前主机以外的其它主机建立socket连接，广播当前主机的存活性。

9.根据权利要求7所述的sanlock锁实现装置，其特征在于，所述通信模块还用于：

创建所述存储池时，每个连接的主机在所述存储池中填入自己的IP地址，用以在所述存储池添加主机时，所述存储池向新添加的主机下发所述IP地址字段，进行IP通信。

10.根据权利要求7所述的sanlock锁实现装置，其特征在于，所述通信模块还用于：

当当前主机的sanlock定时下发的时间戳正常下发到共享存储上时，其它主机确定所述当前主机存活；

当所述当前主机的sanlock定时下发的时间戳不能正常的下发到所述共享存储上时，所述其它主机从共享存储上读取的是当前节点以往下发的时间戳，并判定所述当前主机已经不再存活。

Images