CN114461410A - 分布式锁的实现方法、装置、电子设备及存储介质 - Google Patents
分布式锁的实现方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114461410A CN114461410A CN202210111035.7A CN202210111035A CN114461410A CN 114461410 A CN114461410 A CN 114461410A CN 202210111035 A CN202210111035 A CN 202210111035A CN 114461410 A CN114461410 A CN 114461410A
- Authority
- CN
- China
- Prior art keywords
- lock
- acquiring
- thread
- information
- locking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
- G06F9/526—Mutual exclusion algorithms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/52—Indexing scheme relating to G06F9/52
- G06F2209/521—Atomic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/52—Indexing scheme relating to G06F9/52
- G06F2209/522—Manager
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式锁的实现方法、装置、电子设备及存储介质,所述方法包括步骤:获取配置的分布式数据存储集群及集群管理机制的连接地址及连接池,创建需要锁定线程的关键字,获取锁调用信息;依据所述锁调用信息,获取锁释放的异步监听任务;依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息;删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁。本申请能够实现锁定线程在执行业务逻辑未结束之前,自动给锁续约,保证了锁不会提前释放,在锁定线程执行完成后,其他等待获取锁的线程及时获取到消息,避免了等待获取锁的线程一直循环等待请求加锁,降低处理器的消耗。
Description
技术领域
本发明涉及软件测试技术领域,尤其是一种分布式锁的实现方法、装置、电子设备及存储介质。
背景技术
分布式锁是控制分布式系统之间访问共享资源的一种锁的实现,其主要解决的问题是保证数据一致性。在单进程的系统中,当存在多个线程可以同时改变某个变量时,就需要对变量或代码块做同步,使其在修改这种变量时能够线性执行消除并发修改变量。为了实现多个线程在一个时刻同一个代码块只能有一个线程可执行,那么需要在某个地方做个标记,这个标记必须每个线程都能看到,当标记不存在时可以设置该标记,其余后续线程发现已经有标记了则等待拥有标记的线程结束同步代码块取消标记后再去尝试设置标记。在分布式环境下,进程之间甚至可能都不在同一台物理机上,因此需要将标记存储在一个所有进程都能看到的地方,现有技术的分布式锁的实现中,有的存在执行完一个线程之后,锁无法过期,或者无法主动释放锁,或者出现锁丢失现象。
因此,需要一种分布式锁的实现的方法,基于分布式数据存储集群架构,通过看门狗机制实现加锁可靠性,通过集群管理机制使未获取锁的线程及时获取锁释放的消息,从而达成分布式锁的可靠实现。
发明内容
为此,本发明提供了一种分布式锁的实现方法、装置、电子设备及存储介质,以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面,提供了一种分布式锁的实现方法,该方法基于分布式数据存储集群架构,通过看门狗机制实现加锁可靠性,通过集群管理机制使未获取锁的线程及时获取锁释放的消息,从而达成分布式锁的可靠实现,所述方法包括步骤:
获取配置的分布式数据存储集群及集群管理机制的连接地址及连接池,创建需要锁定线程的关键字,获取锁调用信息,所述锁定线程的关键字包括锁键、锁时间、锁线程;
依据所述锁调用信息,获取锁释放的异步监听任务;
依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息;
依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁。
在另一个实施例中,所述获取锁调用信息的步骤包括:
判断所述需要锁定线程的关键字中锁键是否存在;
如果所述需要锁定线程的关键字中锁键不存在,则获取所述需要锁定线程的哈希表中字段值增加的信息,所述字段值增加的信息包括锁定线程的关键字的锁键、锁线程、加锁步长、锁过期时间;
如果所述需要锁定线程的关键字中锁键存在,且锁线程为需要锁定的线程,则获取所述需要锁定线程的关键字的加锁步长、锁的重置过期时间信息;
否则,获取锁过期时间。
在另一个实施例中,所述依据所述锁调用信息,获取锁释放的异步监听任务的步骤还包括:
依据所述锁调用信息,获取通过集群管理机制在所述需要锁定线程的关键字目录下创建的临时节点;
依据所述通过集群管理机制在所述需要锁定线程的关键字目录下创建的临时节点,获取临时节点的路径名和过期时间;
依据所述临时节点的路径名和过期时间,获取所述临时节点的路径名下注册的节点事件;
依据所述临时节点的路径名下注册的节点事件,获取所述需要锁定线程的锁释放的异步监听任务。
在另一个实施例中,所述依据所述锁调用信息,获取锁释放的异步监听任务的步骤还包括:
获取所述临时节点的路径名下注册的节点事件;
依据所述临时节点的路径名下注册的节点事件,获取所述节点事件的续约信息;
依据所述节点事件的续约信息,再次注册所述临时节点的路径名下的节点事件。
在另一个实施例中,所述依据所述锁调用信息,获取锁释放的异步监听任务的步骤还包括:
获取所述锁调用未成功信息;
依据所述锁调用未成功信息,则通过集群管理机制获取所述锁定线程的关键字目录的变更异步监听任务;
依据所述通过集群管理机制获取所述锁定线程的关键字目录的变更异步监听任务,获取循环查询的所述锁定线程的关键字的锁键及所述锁定线程的关键字所对应的节点事件的路径逻辑值;
如果所述逻辑值为真,则获取锁,停止循环;
如果所述逻辑值为假,则继续循环。
在另一个实施例中,所述依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息的步骤包括:
依据所述锁释放的异步监听任务,检测所述需要锁定线程的关键字中锁键和锁线程是否存在;
如果不存在,则获取解锁成功信息;
如果存在,则获取锁定线程的哈希表中字段值减少的信息,所述字段值减少的信息包括锁定线程的关键字的锁键、锁线程、减锁步长、锁过期时间;
如果所述锁定线程的哈希表中字段值减少信息逻辑值大于0,则获取所述锁定线程的关键字中重置锁过期时间信息;
如果所述锁定线程的哈希表中字段值减少信息逻辑值不大于0,则通过集群管理机制将所述锁定线程的关键字目录中信息删除,进行成功解锁;
依据所述解锁成功信息,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息。
在另一个实施例中,所述依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁的步骤包括:
依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,获取通过集群管理机制将所述锁定线程的关键字目录的异步监听任务删除信息;
依据所述通过集群管理机制将所述锁定线程的关键字目录的异步监听任务删除信息,获取其他等待获取锁的线程进行获取锁;
依据所述等待获取锁的线程进行获取锁,更新所述等待获取锁的线程的哈希表中线程的关键字及所述线程的关键字所对应的节点事件的路径逻辑值。
根据本发明的又一方面,公开了一种分布式锁的实现装置,该装置基于分布式数据存储集群架构,通过看门狗机制实现加锁可靠性,通过集群管理机制使未获取锁的线程及时获取锁释放的消息,从而达成分布式锁的可靠实现,所述装置包括:锁创建模块,用于获取配置的分布式数据存储集群及集群管理机制的连接地址及连接池,创建需要锁定线程的关键字,获取锁调用信息,所述锁定线程的关键字包括锁键、锁时间、锁线程;锁执行模块,用于依据所述锁调用信息,获取锁释放的异步监听任务;依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息;锁释放模块,用于依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁。
根据本发明的又一方面,提供了一种计算设备,包括:一个或多个处理器;和存储器;一个或多个程序,其中所述一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行,所述一个或多个程序包括用于执行如上所述分布式锁的实现方法中的任一方法的指令。
根据本发明的又一方面,提供了一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当计算设备执行时,使得计算设备执行如上所述分布式锁的实现方法中的任一方法。
根据本发明的分布式锁的实现方案,通过获取配置的分布式数据存储集群及集群管理机制的连接地址及连接池,创建需要锁定线程的关键字,获取锁调用信息;依据所述锁调用信息,获取锁释放的异步监听任务;依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息;依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁。本申请能够利用集群管理机制对加锁成功后通过看门狗,实现锁定线程在执行业务逻辑未结束之前,自动给锁续约,保证了锁不会提前释放,通过集群管理机制实现的释放锁通知,保证在锁定线程执行完成后,其他等待获取锁的线程及时获取到消息,避免了等待获取锁的线程一直循环等待请求加锁,降低处理器的消耗。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的计算设备100的构造示意图;以及
图2示出了根据本发明一个实施例的分布式锁的实现方法200的流程图;以及
图3示出了根据本发明一个实施例的分布式锁的实现装置300的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是示例计算设备100的框图。在基本的配置102中,计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置,处理器104可以是任何类型的处理,包括但不限于:微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用,或者在一些实现中,存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置,系统存储器106可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中,应用122可以布置为在操作系统上利用程序数据124进行操作。在一些实施例中,计算设备100被配置为执行分布式锁的实现方法200,该方法200能够基于分布式数据存储集群架构,通过看门狗机制实现加锁可靠性,通过集群管理机制使未获取锁的线程及时获取锁释放的消息,从而达成分布式锁的可靠实现,程序数据124中包含了用于执行该方法200的指令。
计算设备100还可以包括有助于从各种接口设备(例如,输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156,它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160,其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。在一些实施例中,计算机可读介质中存储一个或多个程序,这一个或多个程序中包括执行某些方法的指令,如根据本发明的实施例,计算设备100通过所述指令来执行分布式锁的实现方法200。
计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分,这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。
图2示出了根据本发明一个实施例的分布式锁的实现方法200的流程图。如图2所示,该方法200方法基于分布式数据存储集群架构,通过看门狗机制实现加锁可靠性,通过集群管理机制使未获取锁的线程及时获取锁释放的消息,从而达成分布式锁的可靠实现,方法200始于步骤S210,获取配置的分布式数据存储集群及集群管理机制的连接地址及连接池,创建需要锁定线程的关键字,获取锁调用信息,所述锁定线程的关键字包括锁键、锁时间、锁线程。
具体的,分布式数据存储集群(codis)为分布式Redis解决方案,就是使用多个Redis节点构成的集群,从而满足在数据量和并发数大的业务需求。在单个Redis的节点实例下,存储的数据量大和高并发的情况下,内存很容易就暴涨。同时,一个Redis的节点,内存也是受限的,两个原因,一个是内存过大,在进行数据同步的时候,全量同步的时候会导致时间过长,会增加同步失败的风险;另一个原因就是一般的Redis都是部署在云服务器上的,这个也会受到CPU的使用率的影响。所以,在面对着大数据量的时候,就会Redis集群的方案来管理,同时也是把这么多Redis实例的CPU计算能力汇集到一起,从而完成关于大数据和高并发量的读写操作。集群管理机制(zookeeper)是一个分布式的、开源的程序协调服务,是hadoop项目下的一个子项目,他提供的主要功能包括:配置管理、名字服务、分布式锁、集群管理。通过分布式数据存储集群和集群管理机制可以实现分布式锁的高可用性,保证了数据的强一致性。
具体的,在本申请的一个实施例中,所述获取锁调用信息的步骤包括:
判断所述需要锁定线程的关键字中锁键是否存在;
如果所述需要锁定线程的关键字中锁键不存在,则获取所述需要锁定线程的哈希表中字段值增加的信息,所述字段值增加的信息包括锁定线程的关键字的锁键、锁线程、加锁步长、锁过期时间;
如果所述需要锁定线程的关键字中锁键存在,且锁线程为需要锁定的线程,则获取所述需要锁定线程的关键字的加锁步长、锁的重置过期时间信息;
否则,获取锁过期时间。
具体的,对于一个分布式执行的线程来说,每一个线程通过锁定的方式得到处理,比如,“中国铁路12306”上的火车票不能多卖,更不允许一张票被多个人买到;一个订单不允许支付2次等这样的场景就需要分布式锁对共享资源进行保护。为了实现多个线程在一个时刻同一个代码块只能有一个线程可执行,那么需要在某个地方做个标记,这个标记必须每个线程都能看到,当标记不存在时可以设置该标记,其余后续线程发现已经有标记了则等待拥有标记的线程结束同步代码块取消标记后再去尝试设置标记,而锁的作用就相当于这个标记,一旦一个线程获取了锁,该线程也就处于了被执行的状态,当任务执行完成以后,就需要释放锁,别的进程因为得到锁而被执行。
通过配置分布式数据存储集群及集群管理机制的连接地址及连接池,可以实现客户端快速获取连接,避免了每次与服务端通信都需要新建连接,减少了通信的成本。
对于锁调用而言,首先要检查一个线程有没有锁键,锁键是线程获取锁的一个标志,如果不存在,则利用hincrby命令实现原子增加,所述hincrby命令用于为哈希表中的字段值加上指定增量值,增量值也可以为负数,相当于对指定字段进行减法操作。如果哈希表的锁键不存在,一个新的哈希表被创建并执行hincrby命令,如果指定的字段不存在,那么在执行命令前,字段的值被初始化为0。此时,设置的参数的键为锁键,锁线程(field)是,步长参数是1,代表每次自增1,同时使用pexpire给锁键一个过期时间,所述pexpire是设置时间的一个命令,锁的生存时间在设置之后就会随着时间的流逝而不断地减少,当一个键的生存时间被消耗殆尽时,Redis就会移除这个锁。
具体的,如果使用hexists命令判断锁键存在,并且锁线程是本线程,则将使用hincrby命令将加锁的步长自增1,同时使用pexpire给锁键重置过期时间。
通过步骤S220,依据所述锁调用信息,获取锁释放的异步监听任务。
具体的,为了保证锁的可靠性,通过设置锁释放的异步监听任务,实现了未获取到锁的线程能在第一时间内获取到锁释放的消息,避免了在codis环境中pub/sub命令不可用的问题。
具体的,在本申请的一个实施例中,所述依据所述锁调用信息,获取锁释放的异步监听任务的步骤包括:
依据所述锁调用信息,获取通过集群管理机制在所述需要锁定线程的关键字目录下创建的临时节点;具体的,所述需要锁定线程的关键字目录为:/codislock/watchdog/{key}。
依据所述通过集群管理机制在所述需要锁定线程的关键字目录下创建的临时节点,获取临时节点的路径名和过期时间;具体的,临时节点的路径名为:uuid+threadId,临时节点的过期时间为锁的过期时间的3/4。
依据所述临时节点的路径名和过期时间,获取所述临时节点的路径名下注册的节点事件;具体的,所述临时节点的路径为:/codislock/watchdog/{key}/uuid+threadId。
依据所述临时节点的路径名下注册的节点事件,获取所述需要锁定线程的锁释放的异步监听任务。
具体的,在本申请的一个实施例中,所述依据所述锁调用信息,获取锁释放的异步监听任务的步骤还包括:
获取所述临时节点的路径名下注册的节点事件;
依据所述临时节点的路径名下注册的节点事件,获取所述节点事件的续约信息;
依据所述节点事件的续约信息,再次注册所述临时节点的路径名下的节点事件。
具体的,如果所述锁释放的异步监听任务监听到了/codislock/watchdog/{key}目录下的节点事件,那么说明该锁定线程已经设置了锁释放的异步监听任务,此时,通过使用lua脚本进行续约,然后再次注册监听事件。
具体的,在本申请的一个实施例中,所述依据所述锁调用信息,获取锁释放的异步监听任务的步骤还包括:
获取所述锁调用未成功信息;具体的,如果锁调用未成功,则说明未获取到锁。
依据所述锁调用未成功信息,则通过集群管理机制获取所述锁定线程的关键字目录的变更异步监听任务;具体的,程序执行流程为订阅zookeeper的目录/codislock/{key}的事件变更Listener。
依据所述通过集群管理机制获取所述锁定线程的关键字目录的变更异步监听任务,获取循环查询的所述锁定线程的关键字的锁键及所述锁定线程的关键字所对应的节点事件的路径逻辑值;具体的,程序执行流程为:使用while命令循环查询ConcurrentHashMap的锁键为uuid+threadid的value。
如果所述逻辑值为真,则获取锁,停止循环;
如果所述逻辑值为假,则继续循环。
通过步骤S230,依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息。
具体的,线程获取到锁后,即开始执行线程的业务逻辑,当业务逻辑执行完成后,就开始执行释放锁的逻辑。
具体的,在本申请的一个实施例中,所述依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息的步骤包括:
依据所述锁释放的异步监听任务,检测所述需要锁定线程的关键字中锁键和锁线程是否存在;具体的,使用hexists命令检测锁键和锁线程是否存在。
如果不存在,则获取解锁成功信息;具体的,当检测线程时未检测出锁键和锁线程,则说明该线程没有锁,那么,当前线程锁定的锁已经被成功释放。
如果存在,则获取锁定线程的哈希表中字段值减少的信息,所述字段值减少的信息包括锁定线程的关键字的锁键、锁线程、减锁步长、锁过期时间;具体的,如果线程存在锁键和锁线程,说明该线程还没有释放锁,那么需要使用hincrby命令执行原子减的操作。
如果所述锁定线程的哈希表中字段值减少信息逻辑值大于0,则获取所述锁定线程的关键字中重置锁过期时间信息;具体的,如果所述锁定线程的哈希表中字段值减少信息逻辑值大于0,说明线程锁为重入锁,需要使用pexpire命令重置锁过期时间。
如果所述锁定线程的哈希表中字段值减少信息逻辑值不大于0,则通过集群管理机制将所述锁定线程的关键字目录中信息删除,进行成功解锁;具体的,如果所述锁定线程的哈希表中字段值减少信息逻辑值不大于0,说明线程锁为非重入锁,此时需要执行del命令删除锁键。
依据所述解锁成功信息,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息。具体的,解锁成功后需要发布线程的锁释放事件,让其他等待获取锁的线程继续执行获取锁。
通过步骤S240,依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁。
具体的,当线程锁定的锁释放以后,说明该线程的业务逻辑已经执行完毕,此时,异步监听任务及时获取了锁定线程的锁释放信息,并将该信息通过广播的方式发送到所有等待获取锁的线程中,等待获取锁的线程会按照设定的规则获取锁。
具体的,在本申请的一个实施例中,所述依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁的步骤包括:
依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,获取通过集群管理机制将所述锁定线程的关键字目录的异步监听任务删除信息;具体的,程序执行流程为:删除zookeeper的目录/codislock/{key}。
依据所述通过集群管理机制将所述锁定线程的关键字目录的异步监听任务删除信息,获取其他等待获取锁的线程进行获取锁;具体的,其他等待获取锁的线程会根据设定的规则争抢分布式锁。
依据所述等待获取锁的线程进行获取锁,更新所述等待获取锁的线程的哈希表中线程的关键字及所述线程的关键字所对应的节点事件的路径逻辑值。具体的,程序执行流程为:更新ConcurrentHashMap的锁键为uuid+threadid的value值为true。
根据本发明的分布式锁的实现方案,通过获取配置的分布式数据存储集群及集群管理机制的连接地址及连接池,创建需要锁定线程的关键字,获取锁调用信息;依据所述锁调用信息,获取锁释放的异步监听任务;依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息;依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁。本申请能够利用集群管理机制对加锁成功后通过看门狗,实现锁定线程在执行业务逻辑未结束之前,自动给锁续约,保证了锁不会提前释放,通过集群管理机制实现的释放锁通知,保证在锁定线程执行完成后,其他等待获取锁的线程及时获取到消息,避免了等待获取锁的线程一直循环等待请求加锁,降低处理器的消耗。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图3所示,提供了一种分布式锁的实现装置300,所述装置300基于分布式数据存储集群架构,通过看门狗机制实现加锁可靠性,通过集群管理机制使未获取锁的线程及时获取锁释放的消息,从而达成分布式锁的可靠实现,所述装置300包括:锁创建模块、锁执行模块、锁释放模块。
锁创建模块,用于获取配置的分布式数据存储集群及集群管理机制的连接地址及连接池,创建需要锁定线程的关键字,获取锁调用信息,所述锁定线程的关键字包括锁键、锁时间、锁线程;锁执行模块,用于依据所述锁调用信息,获取锁释放的异步监听任务;依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息;锁释放模块,用于依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁。
具体的,在本申请的另一个实施例中,所述锁创建模块用于判断所述需要锁定线程的关键字中锁键是否存在;如果所述需要锁定线程的关键字中锁键不存在,则获取所述需要锁定线程的哈希表中字段值增加的信息,所述字段值增加的信息包括锁定线程的关键字的锁键、锁线程、加锁步长、锁过期时间;如果所述需要锁定线程的关键字中锁键存在,且锁线程为需要锁定的线程,则获取所述需要锁定线程的关键字的加锁步长、锁的重置过期时间信息;否则,获取锁过期时间。
具体的,在本申请的另一个实施例中,所述锁执行模块用于依据所述锁调用信息,获取通过集群管理机制在所述需要锁定线程的关键字目录下创建的临时节点;依据所述通过集群管理机制在所述需要锁定线程的关键字目录下创建的临时节点,获取临时节点的路径名和过期时间;依据所述临时节点的路径名和过期时间,获取所述临时节点的路径名下注册的节点事件;依据所述临时节点的路径名下注册的节点事件,获取所述需要锁定线程的锁释放的异步监听任务。
具体的,在本申请的另一个实施例中,所述锁执行模块用于获取所述临时节点的路径名下注册的节点事件;依据所述临时节点的路径名下注册的节点事件,获取所述节点事件的续约信息;依据所述节点事件的续约信息,再次注册所述临时节点的路径名下的节点事件。
具体的,在本申请的另一个实施例中,所述锁执行模块用于获取所述锁调用未成功信息;依据所述锁调用未成功信息,则通过集群管理机制获取所述锁定线程的关键字目录的变更异步监听任务;依据所述通过集群管理机制获取所述锁定线程的关键字目录的变更异步监听任务,获取循环查询的所述锁定线程的关键字的锁键及所述锁定线程的关键字所对应的节点事件的路径逻辑值;如果所述逻辑值为真,则获取锁,停止循环;如果所述逻辑值为假,则继续循环。
具体的,在本申请的另一个实施例中,所述锁执行模块用于依据所述锁释放的异步监听任务,检测所述需要锁定线程的关键字中锁键和锁线程是否存在;如果不存在,则获取解锁成功信息;如果存在,则获取锁定线程的哈希表中字段值减少的信息,所述字段值减少的信息包括锁定线程的关键字的锁键、锁线程、减锁步长、锁过期时间;如果所述锁定线程的哈希表中字段值减少信息逻辑值大于0,则获取所述锁定线程的关键字中重置锁过期时间信息;如果所述锁定线程的哈希表中字段值减少信息逻辑值不大于0,则通过集群管理机制将所述锁定线程的关键字目录中信息删除,进行成功解锁;依据所述解锁成功信息,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息。
具体的,在本申请的另一个实施例中,所述锁释放模块用于依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,获取通过集群管理机制将所述锁定线程的关键字目录的异步监听任务删除信息;依据所述通过集群管理机制将所述锁定线程的关键字目录的异步监听任务删除信息,获取其他等待获取锁的线程进行获取锁;依据所述等待获取锁的线程进行获取锁,更新所述等待获取锁的线程的哈希表中线程的关键字及所述线程的关键字所对应的节点事件的路径逻辑值。
根据本发明的分布式锁的实现方案,通过锁创建模块获取配置的分布式数据存储集群及集群管理机制的连接地址及连接池,创建需要锁定线程的关键字,获取锁调用信息;通过锁执行模块依据所述锁调用信息,获取锁释放的异步监听任务;依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息;通过锁释放模块依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁。本申请能够利用集群管理机制对加锁成功后通过看门狗,实现锁定线程在执行业务逻辑未结束之前,自动给锁续约,保证了锁不会提前释放,通过集群管理机制实现的释放锁通知,保证在锁定线程执行完成后,其他等待获取锁的线程及时获取到消息,避免了等待获取锁的线程一直循环等待请求加锁,降低处理器的消耗。。
应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
Claims (10)
1.一种分布式锁的实现方法,所述方法基于分布式数据存储集群架构,通过看门狗机制实现加锁可靠性,通过集群管理机制使未获取锁的线程及时获取锁释放的消息,从而达成分布式锁的可靠实现,所述方法包括步骤:
获取配置的分布式数据存储集群及集群管理机制的连接地址及连接池,创建需要锁定线程的关键字,获取锁调用信息,所述锁定线程的关键字包括锁键、锁时间、锁线程;
依据所述锁调用信息,获取锁释放的异步监听任务;
依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息;
依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁。
2.如权利要求1所述的方法,其中,所述获取锁调用信息的步骤包括:
判断所述需要锁定线程的关键字中锁键是否存在;
如果所述需要锁定线程的关键字中锁键不存在,则获取所述需要锁定线程的哈希表中字段值增加的信息,所述字段值增加的信息包括锁定线程的关键字的锁键、锁线程、加锁步长、锁过期时间;
如果所述需要锁定线程的关键字中锁键存在,且锁线程为需要锁定的线程,则获取所述需要锁定线程的关键字的加锁步长、锁的重置过期时间信息;
否则,获取锁过期时间。
3.如权利要求1所述的方法,其中,所述依据所述锁调用信息,获取锁释放的异步监听任务的步骤包括:
依据所述锁调用信息,获取通过集群管理机制在所述需要锁定线程的关键字目录下创建的临时节点;
依据所述通过集群管理机制在所述需要锁定线程的关键字目录下创建的临时节点,获取临时节点的路径名和过期时间;
依据所述临时节点的路径名和过期时间,获取所述临时节点的路径名下注册的节点事件;
依据所述临时节点的路径名下注册的节点事件,获取所述需要锁定线程的锁释放的异步监听任务。
4.如权利要求3所述的方法,其中,所述依据所述锁调用信息,获取锁释放的异步监听任务的步骤还包括:
获取所述临时节点的路径名下注册的节点事件;
依据所述临时节点的路径名下注册的节点事件,获取所述节点事件的续约信息;
依据所述节点事件的续约信息,再次注册所述临时节点的路径名下的节点事件。
5.如权利要求3所述的方法,其中,所述依据所述锁调用信息,获取锁释放的异步监听任务的步骤还包括:
获取所述锁调用未成功信息;
依据所述锁调用未成功信息,则通过集群管理机制获取所述锁定线程的关键字目录的变更异步监听任务;
依据所述通过集群管理机制获取所述锁定线程的关键字目录的变更异步监听任务,获取循环查询的所述锁定线程的关键字的锁键及所述锁定线程的关键字所对应的节点事件的路径逻辑值;
如果所述逻辑值为真,则获取锁,停止循环;
如果所述逻辑值为假,则继续循环。
6.如权利要求1所述的方法,其中,所述依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息的步骤包括:
依据所述锁释放的异步监听任务,检测所述需要锁定线程的关键字中锁键和锁线程是否存在;
如果不存在,则获取解锁成功信息;
如果存在,则获取锁定线程的哈希表中字段值减少的信息,所述字段值减少的信息包括锁定线程的关键字的锁键、锁线程、减锁步长、锁过期时间;
如果所述锁定线程的哈希表中字段值减少信息逻辑值大于0,则获取所述锁定线程的关键字中重置锁过期时间信息;
如果所述锁定线程的哈希表中字段值减少信息逻辑值不大于0,则通过集群管理机制将所述锁定线程的关键字目录中信息删除,进行成功解锁;
依据所述解锁成功信息,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息。
7.如权利要求1所述的方法,其中,所述依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁的步骤包括:
依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,获取通过集群管理机制将所述锁定线程的关键字目录的异步监听任务删除信息;
依据所述通过集群管理机制将所述锁定线程的关键字目录的异步监听任务删除信息,获取其他等待获取锁的线程进行获取锁;
依据所述等待获取锁的线程进行获取锁,更新所述等待获取锁的线程的哈希表中线程的关键字及所述线程的关键字所对应的节点事件的路径逻辑值。
8.一种分布式锁的实现装置,所述装置基于分布式数据存储集群架构,通过看门狗机制实现加锁可靠性,通过集群管理机制使未获取锁的线程及时获取锁释放的消息,从而达成分布式锁的可靠实现,所述装置包括:
锁创建模块,用于获取配置的分布式数据存储集群及集群管理机制的连接地址及连接池,创建需要锁定线程的关键字,获取锁调用信息,所述锁定线程的关键字包括锁键、锁时间、锁线程;
锁执行模块,用于依据所述锁调用信息,获取锁释放的异步监听任务;依据所述锁释放的异步监听任务,获取所述锁定线程的业务逻辑执行完成并进行锁释放的信息;
锁释放模块,用于依据所述锁定线程的业务逻辑执行完成并进行锁释放的信息,删除所述锁释放的异步监听任务,获取其他等待获取锁的线程进行获取锁。
9.一种电子设备,包括:
一个或多个处理器;和
存储器;
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1-7所述的方法中的任一方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当计算设备执行时,使得所述计算设备执行根据权利要求1-7所述的方法中的任一方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210111035.7A CN114461410A (zh) | 2022-01-12 | 2022-01-12 | 分布式锁的实现方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210111035.7A CN114461410A (zh) | 2022-01-12 | 2022-01-12 | 分布式锁的实现方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114461410A true CN114461410A (zh) | 2022-05-10 |
Family
ID=81410689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210111035.7A Pending CN114461410A (zh) | 2022-01-12 | 2022-01-12 | 分布式锁的实现方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114461410A (zh) |
-
2022
- 2022-01-12 CN CN202210111035.7A patent/CN114461410A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10019408B2 (en) | Remote direct memory access (RDMA) high performance producer-consumer message processing | |
CN109800083B (zh) | 一种微服务协同调用的方法、装置、系统及存储介质 | |
CN110413822B (zh) | 离线图像结构化分析方法、装置、系统和存储介质 | |
US11656902B2 (en) | Distributed container image construction scheduling system and method | |
CN109766317B (zh) | 一种文件的删除方法、装置、设备及存储介质 | |
CN111694639A (zh) | 进程容器地址的更新方法、装置和电子设备 | |
CN107734050B (zh) | 一种负载机分配方法、计算设备及负载机分配系统 | |
CN110619204A (zh) | 一种邀请码生成方法、装置、终端设备及存储介质 | |
CN111290842A (zh) | 一种任务执行方法和装置 | |
CN110908968B (zh) | 一种文件锁解锁时避免惊群的方法、装置、设备及存储介质 | |
CN111274047A (zh) | 信息处理方法、终端、系统、计算机设备和存储介质 | |
CN111897646A (zh) | 异步分布式锁实现方法及其装置、存储介质以及电子设备 | |
CN114461410A (zh) | 分布式锁的实现方法、装置、电子设备及存储介质 | |
CN111026465A (zh) | 程序处理方法、装置、电子设备及存储介质 | |
US20050198005A1 (en) | Systems and methods for controlling access to an object | |
US9184996B2 (en) | Thin client system, management server, client environment management method and program | |
CN113535439A (zh) | 业务请求处理方法、装置、设备及存储介质 | |
CN113254506A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
Mutia | Inter-Process Communication Mechanism in Monolithic Kernel and Microkernel | |
CN113051008A (zh) | 接口请求处理方法、装置、计算机设备和存储介质 | |
CN112732453A (zh) | 跨线程消息处理方法、装置、系统和计算机可读存储介质 | |
CN111984424A (zh) | 任务处理方法、装置、设备及计算机可读存储介质 | |
CN113704274B (zh) | 一种数据的读取方法及电子设备 | |
CN104808985B (zh) | 应用程序中对象的管理方法及装置 | |
CN110543351A (zh) | 数据处理方法以及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |