CN110430258B - 一种分布式锁管理方法和装置 - Google Patents

一种分布式锁管理方法和装置 Download PDF

Info

Publication number
CN110430258B
CN110430258B CN201910707932.2A CN201910707932A CN110430258B CN 110430258 B CN110430258 B CN 110430258B CN 201910707932 A CN201910707932 A CN 201910707932A CN 110430258 B CN110430258 B CN 110430258B
Authority
CN
China
Prior art keywords
transaction
lock
application code
access data
unique
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910707932.2A
Other languages
English (en)
Other versions
CN110430258A (zh
Inventor
赵志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhao Zhiqiang
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910707932.2A priority Critical patent/CN110430258B/zh
Publication of CN110430258A publication Critical patent/CN110430258A/zh
Application granted granted Critical
Publication of CN110430258B publication Critical patent/CN110430258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式锁管理方法和装置，涉及计算机技术领域。该方法包括：在接收到事务的加锁请求后，通过查询局部知识配置表判断所述事务的访问数据是否位于本计算机集群中；在所述事务的访问数据位于本计算机集群的情况下，根据该事务的预估处理时间或者该事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中，并为所述事务分配唯一锁申请码；在所述事务的加锁请求位于队列头部时，根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件，并在满足锁授权条件时为所述事务授予锁。通过以上步骤，能够解决在多层异构带宽网络下应用现有的分布式锁管理方法时所存在的处理效率低、容易出现锁冲突等问题。

Description

一种分布式锁管理方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种分布式锁管理方法和装置。
背景技术
由于现今工作负载可以容纳在少数几台计算机的内存中，同时通过支持远程直接内存访问(RDMA)网络协议可以比使用传统架构更快地处理工作负载，因此分布式内存系统变得更加普遍。
锁管理器是现代分布式系统的重要组成部分，其构成了许多分布式系统通过网络访问共享资源的支柱。在事务管理中，锁管理器的主要职责是确保竞争性事务的可串行化或其他形式的隔离和无饥饿行为。目前，分布式锁管理器主要包括集中式锁管理器(CLM)和分散式锁管理器(DLM)。其中，CLM的优点是具有全局知识，缺点是它的CPU限制了高吞吐量操作和工作负载的扩展、以及存在单点故障问题，因此许多分布式系统在实践中并不采用CLM，而是采用DLM。
在实现本发明的过程中，本发明的发明人发现：第一、现有的基于RDMA的DLM采用完全牺牲全局知识或者通过昂贵的网络通信来维持全局知识的极端处理方式，前者将导致锁饥饿和访问延迟等问题，后者将导致吞吐量下降等问题。第二、在复杂的异构融合网络场景下，若对所有来源的锁请求放在一个队列中进行处理，会存在处理效率低、容易出现锁冲突等问题。
因此，针对以上不足，需要提供一种适用于多层异构带宽的分布式锁管理方法和装置。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是解决在多层异构带宽网络下应用现有的分布式锁管理方法时所存在的处理效率低、容易出现锁冲突等问题。
(二)技术方案
为了解决上述技术问题，一方面，本发明提供了一种分布式锁管理方法。
本发明提供的分布式锁管理方法包括：在接收到事务的加锁请求后，通过查询局部知识配置表判断所述事务的访问数据是否位于本计算机集群中；其中，所述局部知识配置表记录有本计算机集群中的数据的信息；在所述事务的访问数据位于本计算机集群的情况下，根据该事务的预估处理时间或者该事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中，并为所述事务分配唯一锁申请码；在所述事务的加锁请求位于队列头部时，根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件，并在满足锁授权条件时为所述事务授予锁。
可选地，所述方法还包括：在所述事务的访问数据不位于本计算机集群的情况下，将所述事务的加锁请求发送至访问数据所在的计算机集群，以由所述访问数据所在的计算机集群对所述事务的加锁请求进行处理。
可选地，所述唯一锁申请码包括：ticket.nx、ticket.ns、ticket.maxx和ticket.maxs；其中，ticket.nx表示在为所述事务分配唯一锁申请码时已处理独占锁的事务数、ticket.ns表示在为所述事务分配唯一锁申请码时已处理共享锁的事务数、ticket.maxx表示在为所述事务分配唯一锁申请码时申请独占锁的最大事务序号、ticket.maxs表示在为所述事务分配唯一锁申请码时申请共享锁的最大事务序号。
可选地，所述根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件，并在满足锁授权条件时为所述事务授予锁的步骤包括：在所述事务的加锁请求为加独占锁请求的情况下，判断当前所述事务的访问数据所对应的锁计数器中的第一计数值是否等于ticket.maxx、且当前所述事务访问的数据所对应的锁计数器中的第二计数值是否等于ticket.maxs；在第一计数值等于ticket.maxx、且第二计数值等于ticket.maxs的情况下，为所述事务授予独占锁；其中，第一计数值为已处理独占锁的事务数；第二计数值为已处理共享锁的事务数。
可选地，所述根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件，并在满足锁授权条件时为所述事务授予锁的步骤包括：在所述事务的加锁请求为加共享锁请求的情况下，判断当前所述事务的访问数据所对应的锁计数器中的第一计数值是否等于ticket.maxx；在第一计数值等于ticket.maxx的情况下，为所述事务授予共享锁；其中，第一计数值为已处理独占锁的事务数。
可选地，所述方法还包括：在执行所述为所述事务分配唯一锁申请码的步骤之前，通过对所述事务的访问数据所对应的锁计数器执行获取-添加的原子操作，生成所述唯一锁申请码。
可选地，所述方法还包括：在所述事务执行完毕后，释放所述事务的锁、并更新所述事务的访问数据所对应的锁计数器中的第一计数值或第二计数值；和/或，在所述事务执行过程中，将所述事务执行时间与预设阈值进行比较，并且在根据比较结果确认出现死锁的情况下，释放该事务的访问对象上的所有锁。
为了解决上述技术问题，另一方面，本发明还提供了一种分布式锁管理装置。
本发明提供的分布式锁管理装置包括：判断模块，用于在接收到事务的加锁请求后，通过查询局部知识配置表判断所述事务的访问数据是否位于本计算机集群中；其中，所述局部知识配置表记录有本计算机集群中的数据的信息；分配模块，用于在所述事务的访问数据位于本计算机集群的情况下，根据该事务的预估处理时间或者该事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中，并为所述事务分配唯一锁申请码；授权模块，用于在所述事务的加锁请求位于队列头部时，根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件，并在满足锁授权条件时为所述事务授予锁。
可选地，所述装置还包括：发送模块，用于在所述事务的访问数据不位于本计算机集群的情况下，将所述事务的加锁请求发送至访问数据所在的计算机集群，以由所述访问数据所在的计算机集群对所述事务的加锁请求进行处理。
可选地，所述唯一锁申请码包括：ticket.nx、ticket.ns、ticket.maxx和ticket.maxs；其中，ticket.nx表示在为所述事务分配唯一锁申请码时已处理独占锁的事务数、ticket.ns表示在为所述事务分配唯一锁申请码时已处理共享锁的事务数、ticket.maxx表示在为所述事务分配唯一锁申请码时申请独占锁的最大事务序号、ticket.maxs表示在为所述事务分配唯一锁申请码时申请共享锁的最大事务序号。
(三)有益效果
本发明的上述技术方案具有如下优点：通过在接收到事务的加锁请求后，查询局部知识配置表以判断所述事务的访问数据是否位于本计算机集群中，在所述事务的访问数据位于本计算机集群的情况下，根据该事务的预估处理时间或者该事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中，并为所述事务分配唯一锁申请码，在所述事务的加锁请求位于队列头部时，根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件，并在满足锁授权条件时为所述事务授予锁这些步骤，能够有效提高加锁请求的处理效率，大大缩短处理时间，降低锁冲突的概率，有效缓解锁饥饿和访问延迟问题，尤其适用于多层异构带宽网络。
附图说明
图1是本发明实施例一中的分布式锁管理方法的流程示意图；
图2是本发明实施例二中的分布式锁管理方法的流程示意图；
图3是一种示例性的访问数据所对应的锁计数器的组成示意图；
图4是本发明实施例三中的分布式锁管理装置的模块组成示意图；
图5是本发明实施例四中的分布式锁管理装置的模块组成示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以相互组合。
实施例一
图1是本发明实施例一中的分布式锁管理方法的流程示意图。如图1所示，本发明实施例提供的分布式锁管理方法包括：
步骤S101、在接收到事务的加锁请求后，通过查询局部知识配置表判断所述事务的访问数据是否位于本计算机集群中。
其中，所述局部知识配置表记录有本计算机集群中的数据的信息，例如本计算机集群中的数据标识。在一个可选示例中，分布式锁管理装置在接收到事务的加锁请求后，可从所述加锁请求中解析出所述事务的访问数据标识，然后根据所述事务的访问数据标识查询局部知识配置表。若所述事务的访问数据标识位于所述局部知识配置表中，则判断出所述事务的访问数据位于本计算机集群；若所述事务的访问数据标识不位于所述局部知识配置表中，则判断出所述事务的访问数据不位于本计算机集群。
在本发明实施例中，通过在分布式锁管理装置中设置局部知识配置表，既能避免完全牺牲全局知识(比如所有计算机集群中的数据的信息、所有计算机集群中的锁计数器信息等)所导致的锁饥饿和访问延迟问题，又无需通过昂贵的网络通信来维持全局知识，提高了吞吐量。另外，在具体实施时，为了进一步提高处理效率，可通过RDMA网络协议接收事务的加锁请求。
步骤S102、在所述事务的访问数据位于本计算机集群的情况下，根据该事务的预估处理时间或者该事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中，并为所述事务分配唯一锁申请码。
在一个可选示例中，可根据事务的预估处理时间将所述事务的加锁请求放入与之对应的待处理请求队列中。具体实施时，可预先设定各类事务的预估处理时间(比如，可将“取值操作”这一事务的预估处理时间设为0.5ms、将“加操作”这一事务的预估处理时间设为1ms)，并按照各类事务的预估处理时间建立多个待处理请求队列(比如，建立与预估处理时间为0.5ms的事务相对应的待处理请求队列A，建立与预估处理时间为1ms的事务相对应的待处理请求队列B)，进而，在确定所述事务的访问数据位于本计算机集群的情况下，可将该事务的加锁请求放入与之对应的待处理请求队列中(比如，假设该事务的预估处理时间为0.5ms，则将该事务的加锁请求放入待处理请求队列A)。
在另一个可选示例中，可根据事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中。具体实施时，可预先按照事务来源的网络带宽建立多个待处理请求队列中(比如，建立与第一网络带宽取值范围相对应的待处理请求队列C，建立与第二网络带宽取值范围相对应的待处理请求队列D)，进而，在确定所述事务的访问数据位于本计算机集群的情况下，可将该事务的加锁请求放入与之对应的待处理请求队列中。
在本发明实施例中，通过按照事务的预估处理时间或者事务来源的网络带宽将事务的加锁请求进行分类，并将同一类的事务加锁请求放入同一个待处理请求队列中，将不同类的事务加锁请求放入不同的待处理请求队列中，能够并行处理多个队列中的事务加速请求,大大缩短了处理时间,也降低了锁冲突和死锁的概率,有效缓解锁饥饿和访问延迟问题,提高事务处理效率。
步骤S103、在所述事务的加锁请求位于队列头部时，根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件。
在一个可选示例中，所述唯一锁申请码包括ticket.nx、ticket.ns、ticket.maxx和ticket.maxs。其中，ticket.nx表示在为所述事务分配唯一锁申请码时已处理独占锁的事务数、ticket.ns表示在为所述事务分配唯一锁申请码时已处理共享锁的事务数、ticket.maxx表示在为所述事务分配唯一锁申请码时申请独占锁的最大事务序号、ticket.maxs表示在为所述事务分配唯一锁申请码时申请共享锁的最大事务序号。
进一步，在上述可选示例中，当所述事务的加锁请求为加独占锁请求时，所述根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件的步骤包括：判断当前时刻所述事务的访问数据所对应的锁计数器中的第一计数值是否等于ticket.maxx、且当前时刻所述事务访问的数据所对应的锁计数器中的第二计数值是否等于ticket.maxs。在第一计数值等于ticket.maxx、且第二计数值等于ticket.maxs的情况下，执行步骤S104。其中，第一计数值为已处理独占锁的事务数；第二计数值为已处理共享锁的事务数。
进一步，在上述可选示例中，当所述事务的加锁请求为加共享锁请求时，所述根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件的步骤包括：判断当前所述事务的访问数据所对应的锁计数器中的第一计数值是否等于ticket.maxx。在第一计数值等于ticket.maxx的情况下，执行步骤S104。其中，第一计数值为已处理独占锁的事务数。
步骤S104、在满足锁授权条件时为所述事务授予锁。
在本发明实施例中，通过以上步骤能够有效提高加锁请求的处理效率，大大缩短处理时间，降低锁冲突的概率，有效缓解锁饥饿和访问延迟问题，尤其适用于多层异构带宽网络。
实施例二
图2是本发明实施例二中的分布式锁管理方法的流程示意图。如图2所示，本发明实施例提供的分布式锁管理方法包括：
步骤S201、在接收到事务的加锁请求后，通过查询局部知识配置表判断所述事务的访问数据是否位于本计算机集群。若所述事务的访问数据位于本计算机集群，则可执行步骤S202；若所述事务的访问数据不位于本计算机集群，则可执行步骤S206。
其中，所述局部知识配置表记录有本计算机集群中的数据的信息，例如本计算机集群中的数据标识。在一个可选示例中，分布式锁管理装置在接收到事务的加锁请求后，可从所述加锁请求中解析出所述事务的访问数据标识，然后根据所述事务的访问数据标识查询局部知识配置表。若所述事务的访问数据标识位于所述局部知识配置表中，则判断出所述事务的访问数据位于本计算机集群；若所述事务的访问数据标识不位于所述局部知识配置表中，则判断出所述事务的访问数据不位于本计算机集群。
在本发明实施例中，通过在分布式锁管理装置中设置局部知识配置表，既能避免完全牺牲全局知识(比如所有计算机集群中的数据的信息、所有计算机集群中的锁计数器信息等)所导致的锁饥饿和访问延迟问题，又无需通过昂贵的网络通信来维持全局知识，提高了吞吐量。另外，在具体实施时，为了进一步提高处理效率，可通过RDMA网络协议接收事务的加锁请求。
步骤S202、根据该事务的预估处理时间或者该事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中，并为所述事务分配唯一锁申请码。
在一个可选示例中，可根据事务的预估处理时间将所述事务的加锁请求放入与之对应的待处理请求队列中。具体实施时，可预先设定各类事务的预估处理时间(比如，可将“取值操作”这一事务的预估处理时间设为0.5ms、将“加操作”这一事务的预估处理时间设为1ms)，并按照各类事务的预估处理时间建立多个待处理请求队列(比如，建立与预估处理时间为0.5ms的事务相对应的待处理请求队列A，建立与预估处理时间为1ms的事务相对应的待处理请求队列B)，进而，在确定所述事务的访问数据位于本计算机集群的情况下，可将该事务的加锁请求放入与之对应的待处理请求队列中(比如，假设该事务的预估处理时间为0.5ms，则将该事务的加锁请求放入待处理请求队列A)。
在另一个可选示例中，可根据事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中。具体实施时，可预先按照事务来源的网络带宽建立多个待处理请求队列中(比如，建立与第一网络带宽取值范围相对应的待处理请求队列C，建立与第二网络带宽取值范围相对应的待处理请求队列D)，进而，在确定所述事务的访问数据位于本计算机集群的情况下，可将该事务的加锁请求放入与之对应的待处理请求队列中。
在该步骤中，除了将该事务的加锁请求放入与之对应的待处理请求队列中，还为所述事务分配唯一锁申请码。进一步，所述唯一锁申请码包括四个参数：ticket.nx、ticket.ns、ticket.maxx和ticket.maxs。其中，ticket.nx表示在为所述事务分配唯一锁申请码时已处理独占锁的事务数、ticket.ns表示在为所述事务分配唯一锁申请码时已处理共享锁的事务数、ticket.maxx表示在为所述事务分配唯一锁申请码时申请独占锁的最大事务序号、ticket.maxs表示在为所述事务分配唯一锁申请码时申请共享锁的最大事务序号。
进一步，在执行所述为所述事务分配唯一锁申请码的步骤之前，本发明实施例的方法还包括：通过对所述事务的访问数据所对应的锁计数器执行获取-添加的原子操作，以生成所述唯一锁申请码。
图3是一种示例性的访问数据所对应的锁计数器的组成示意图。如图3所示，所述事务的访问数据所对应的锁计数器包括四个计数值：nx、ns、maxx、maxs。其中，nx为第一计数值，其表示已处理独占锁的事务数；ns为第二计数值，其表示已处理共享锁的事务数；maxx为第三计数值，其表示申请独占锁的最大事务序号，maxs为第四计数值，其表示申请共享锁的最大事务序号。
下面结合图3所示示例对生成所述唯一锁申请码的步骤作进一步说明。具体来说，所述通过对所述事务的访问数据所对应的锁计数器执行获取-添加的原子操作，以生成所述唯一锁申请码的步骤包括：当事务的加锁请求为加独占锁请求时，获取所述事务的访问数据所对应的锁计数器的值，并对第三计数值maxx进行加一操作，以得到所述唯一锁申请码；当事务的加锁请求为加共享锁请求时，获取所述事务的访问数据所对应的锁计数器的值，并对第四计数值maxs进行加一操作，以得到所述唯一锁申请码。
例如，当事务的加锁请求为加独占锁请求时，假设获取的所述事务的访问数据所对应的锁计数器的值满足：nx＝1、ns＝1、maxx＝1、maxs＝4，则生成的唯一锁申请码满足：ticket.nx＝1、ticket.ns＝1、ticket.maxx＝2、ticket.maxs＝4；当事务的加锁请求为加共享锁请求时，假设获取的所述事务的访问数据所对应的锁计数器的值满足：nx＝1、ns＝1、maxx＝1、maxs＝4，则生成的唯一锁申请码满足：ticket.nx＝1、ticket.ns＝1、ticket.maxx＝1、ticket.maxs＝5。
在本发明实施例中，通过对所述事务的访问数据所对应的锁计数器执行获取-添加(FA)的原子操作以生成所述唯一锁申请码，而不采用比较-交换(CAS)的原子操作，能够避免现有分布式锁管理器存在的死锁、锁饥饿等问题。
步骤S203、在所述事务的加锁请求位于队列头部时，根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件。若满足锁授权条件，则可执行步骤S204；若不满足锁授权条件，则可执行步骤S207。
具体来说，当所述事务的加锁请求为加独占锁请求时，所述根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件的步骤包括：判断当前时刻所述事务的访问数据所对应的锁计数器中的第一计数值nx是否等于ticket.maxx、且当前时刻所述事务访问的数据所对应的锁计数器中的第二计数值ns是否等于ticket.maxs。在第一计数值nx等于ticket.maxx、且第二计数值ns等于ticket.maxs的情况下，执行步骤S204。其中，第一计数值为已处理独占锁的事务数；第二计数值为已处理共享锁的事务数。
当所述事务的加锁请求为加共享锁请求时，所述根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件的步骤包括：判断当前所述事务的访问数据所对应的锁计数器中的第一计数值nx是否等于ticket.maxx。在第一计数值nx等于ticket.maxx的情况下，执行步骤S204。其中，第一计数值nx为已处理独占锁的事务数。
步骤S204、为所述事务授予锁。
进一步，本发明实施例的方法还可包括：在所述事务执行过程中，将所述事务执行时间与预设阈值进行比较，并且在根据比较结果确认出现死锁的情况下，释放该事务的访问对象上的所有锁。在一个示例中，在所述事务执行时间超过两倍的预设阈值时即认为出现死锁，此时可释放该事务的访问对象上的所有锁。通过以上步骤，能够为陷入死锁的事务提供容错机制。
步骤S205、在所述事务执行完毕后，释放所述事务的锁、并更新所述事务的访问数据所对应的锁计数器中的第一计数值或第二计数值。
具体来说，该步骤包括：当所述事务的加锁请求为加独占锁请求时，释放所述事务的独占锁，并对所述事务的访问数据所对应的锁计数器中的第一计数值nx进行加一操作；当所述事务的加锁请求为加共享锁请求时，释放所述事务的共享锁，并对所述事务的访问数据所对应的锁计数器中的第二计数值ns进行加一操作。
步骤S206、将所述事务的加锁请求发送至访问数据所在的计算机集群。在步骤S206之后，可由所述访问数据所在的计算机集群执行步骤S202。
具体实施时，为了进一步提高处理效率，可通过RDMA网络协议将事务的加锁请求发送至访问数据所在的计算机集群。
步骤S207、等待之前的事务释放锁。在步骤S207之后，可再次执行步骤S203。
在本发明实施例中，通过以上步骤能够有效提高加锁请求的处理效率，大大缩短处理时间，降低锁冲突的概率，有效缓解锁饥饿和访问延迟问题，尤其适用于多层异构带宽网络。
实施例三
图4是本发明实施例三中的分布式锁管理装置的模块组成示意图。如图4所示，本发明实施例的分布式锁管理装置400包括：判断模块401、分配模块402、授权模块403。
判断模块401，用于在接收到事务的加锁请求后，通过查询局部知识配置表判断所述事务的访问数据是否位于本计算机集群中。
其中，所述局部知识配置表记录有本计算机集群中的数据的信息，例如本计算机集群中的数据标识。在一个可选示例中，在接收到事务的加锁请求后，判断模块401可从所述加锁请求中解析出所述事务的访问数据标识，然后根据所述事务的访问数据标识查询局部知识配置表。若所述事务的访问数据标识位于所述局部知识配置表中，则判断模块401判断出所述事务的访问数据位于本计算机集群；若所述事务的访问数据标识不位于所述局部知识配置表中，则判断模块401判断出所述事务的访问数据不位于本计算机集群。
在本发明实施例中，通过在分布式锁管理装置中设置局部知识配置表，既能避免完全牺牲全局知识(比如所有计算机集群中的数据的信息、所有计算机集群中的锁计数器信息等)所导致的锁饥饿和访问延迟问题，又无需通过昂贵的网络通信来维持全局知识，提高了吞吐量。另外，在具体实施时，为了进一步提高处理效率，可通过RDMA网络协议接收事务的加锁请求。
分配模块402，用于在所述事务的访问数据位于本计算机集群的情况下，根据该事务的预估处理时间或者该事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中，并为所述事务分配唯一锁申请码。
在一个可选示例中，分配模块402可根据事务的预估处理时间将所述事务的加锁请求放入与之对应的待处理请求队列中。具体实施时，可预先设定各类事务的预估处理时间(比如，可将“取值操作”这一事务的预估处理时间设为0.5ms、将“加操作”这一事务的预估处理时间设为1ms)，并按照各类事务的预估处理时间建立多个待处理请求队列(比如，建立与预估处理时间为0.5ms的事务相对应的待处理请求队列A，建立与预估处理时间为1ms的事务相对应的待处理请求队列B)。进而，在确定所述事务的访问数据位于本计算机集群的情况下，分配模块402可将该事务的加锁请求放入与之对应的待处理请求队列中。比如，假设该事务的预估处理时间为0.5ms，则将该事务的加锁请求放入待处理请求队列A。
在另一个可选示例中，分配模块402可根据事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中。具体实施时，可预先按照事务来源的网络带宽建立多个待处理请求队列中(比如，建立与第一网络带宽取值范围相对应的待处理请求队列C，建立与第二网络带宽取值范围相对应的待处理请求队列D)。进而，在确定所述事务的访问数据位于本计算机集群的情况下，分配模块402可将该事务的加锁请求放入与之对应的待处理请求队列中。
在本发明实施例中，通过按照事务的预估处理时间或者事务来源的网络带宽将事务的加锁请求进行分类，并将同一类的事务加锁请求放入同一个待处理请求队列中，将不同类的事务加锁请求放入不同的待处理请求队列中，能够并行处理多个队列中的事务加速请求,大大缩短了处理时间,也降低了锁冲突和死锁的概率,有效缓解锁饥饿和访问延迟问题,提高事务处理效率。
授权模块403，用于在所述事务的加锁请求位于队列头部时，根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件，并在满足锁授权条件时为所述事务授予锁。
在一个可选示例中，所述唯一锁申请码包括ticket.nx、ticket.ns、ticket.maxx和ticket.maxs。其中，ticket.nx表示在为所述事务分配唯一锁申请码时已处理独占锁的事务数、ticket.ns表示在为所述事务分配唯一锁申请码时已处理共享锁的事务数、ticket.maxx表示在为所述事务分配唯一锁申请码时申请独占锁的最大事务序号、ticket.maxs表示在为所述事务分配唯一锁申请码时申请共享锁的最大事务序号。
在上述可选示例中，当所述事务的加锁请求为加独占锁请求时，授权模块403根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件包括：授权模块403判断当前时刻所述事务的访问数据所对应的锁计数器中的第一计数值是否等于ticket.maxx、且当前时刻所述事务访问的数据所对应的锁计数器中的第二计数值是否等于ticket.maxs。在第一计数值等于ticket.maxx、且第二计数值等于ticket.maxs的情况下，授权模块403为所述事务授予锁。其中，第一计数值为已处理独占锁的事务数；第二计数值为已处理共享锁的事务数。
在上述可选示例中，当所述事务的加锁请求为加共享锁请求时，授权模块403根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件包括：授权模块403判断当前所述事务的访问数据所对应的锁计数器中的第一计数值是否等于ticket.maxx。在第一计数值等于ticket.maxx的情况下，授权模块403为所述事务授予锁。其中，第一计数值为已处理独占锁的事务数。
本发明实施例的装置，能够有效提高加锁请求的处理效率，大大缩短处理时间，降低锁冲突的概率，有效缓解锁饥饿和访问延迟问题，尤其适用于多层异构带宽网络。
实施例四
图5是本发明实施例四中的分布式锁管理装置的模块组成示意图。如图5所示，本发明实施例的分布式锁管理装置500包括：判断模块501、发送模块502、分配模块503、授权模块504、释放模块505。
判断模块501，用于在接收到事务的加锁请求后，通过查询局部知识配置表判断所述事务的访问数据是否位于本计算机集群中。
其中，所述局部知识配置表记录有本计算机集群中的数据的信息，例如本计算机集群中的数据标识。在一个可选示例中，在接收到事务的加锁请求后，判断模块501可从所述加锁请求中解析出所述事务的访问数据标识，然后根据所述事务的访问数据标识查询局部知识配置表。若所述事务的访问数据标识位于所述局部知识配置表中，则判断模块501判断出所述事务的访问数据位于本计算机集群；若所述事务的访问数据标识不位于所述局部知识配置表中，则判断模块501判断出所述事务的访问数据不位于本计算机集群。
在本发明实施例中，通过在分布式锁管理装置中设置局部知识配置表，既能避免完全牺牲全局知识(比如所有计算机集群中的数据的信息、所有计算机集群中的锁计数器信息等)所导致的锁饥饿和访问延迟问题，又无需通过昂贵的网络通信来维持全局知识，提高了吞吐量。另外，在具体实施时，为了进一步提高处理效率，可通过RDMA网络协议接收事务的加锁请求。
发送模块502，用于在所述事务的访问数据不位于本计算机集群的情况下，将所述事务的加锁请求发送至访问数据所在的计算机集群，以由所述访问数据所在的计算机集群对所述事务的加锁请求进行处理。具体实施时，为了进一步提高处理效率，发送模块502可通过RDMA网络协议将事务的加锁请求发送至访问数据所在的计算机集群。
分配模块503，用于在所述事务的访问数据位于本计算机集群的情况下，根据该事务的预估处理时间或者该事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中，并为所述事务分配唯一锁申请码。
在一个可选示例中，分配模块503可根据事务的预估处理时间将所述事务的加锁请求放入与之对应的待处理请求队列中。具体实施时，可预先设定各类事务的预估处理时间(比如，可将“取值操作”这一事务的预估处理时间设为0.5ms、将“加操作”这一事务的预估处理时间设为1ms)，并按照各类事务的预估处理时间建立多个待处理请求队列(比如，建立与预估处理时间为0.5ms的事务相对应的待处理请求队列A，建立与预估处理时间为1ms的事务相对应的待处理请求队列B)，进而，在确定所述事务的访问数据位于本计算机集群的情况下，分配模块503可将该事务的加锁请求放入与之对应的待处理请求队列中(比如，假设该事务的预估处理时间为0.5ms，则将该事务的加锁请求放入待处理请求队列A)。
在另一个可选示例中，分配模块503可根据事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中。具体实施时，可预先按照事务来源的网络带宽建立多个待处理请求队列中(比如，建立与第一网络带宽取值范围相对应的待处理请求队列C，建立与第二网络带宽取值范围相对应的待处理请求队列D)，进而，在确定所述事务的访问数据位于本计算机集群的情况下，分配模块503可将该事务的加锁请求放入与之对应的待处理请求队列中。
此外，除了将该事务的加锁请求放入与之对应的待处理请求队列中，分配模块503还为所述事务分配唯一锁申请码。其中，所述唯一锁申请码包括四个参数：ticket.nx、ticket.ns、ticket.maxx和ticket.maxs。其中，ticket.nx表示在为所述事务分配唯一锁申请码时已处理独占锁的事务数、ticket.ns表示在为所述事务分配唯一锁申请码时已处理共享锁的事务数、ticket.maxx表示在为所述事务分配唯一锁申请码时申请独占锁的最大事务序号、ticket.maxs表示在为所述事务分配唯一锁申请码时申请共享锁的最大事务序号。
进一步，在分配模块503执行所述为所述事务分配唯一锁申请码的步骤之前，其可通过对所述事务的访问数据所对应的锁计数器执行获取-添加的原子操作，以生成所述唯一锁申请码。关于生成所述唯一锁申请码的详细流程，可参考本发明实施例二中的相关说明。
在本发明实施例中，通过对所述事务的访问数据所对应的锁计数器执行获取-添加(FA)的原子操作以生成所述唯一锁申请码，而不采用比较-交换(CAS)的原子操作，能够避免现有分布式锁管理器存在的死锁、锁饥饿等问题。
授权模块504，用于在所述事务的加锁请求位于队列头部时，根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件，并在满足锁授权条件时为所述事务授予锁。
具体来说，当所述事务的加锁请求为加独占锁请求时，授权模块504根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件包括：授权模块504判断当前时刻所述事务的访问数据所对应的锁计数器中的第一计数值nx是否等于ticket.maxx、且当前时刻所述事务访问的数据所对应的锁计数器中的第二计数值ns是否等于ticket.maxs。在第一计数值nx等于ticket.maxx、且第二计数值ns等于ticket.maxs的情况下，授权模块504为所述事务授予锁。其中，第一计数值为已处理独占锁的事务数；第二计数值为已处理共享锁的事务数。
当所述事务的加锁请求为加共享锁请求时，授权模块504根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件包括：授权模块504判断当前所述事务的访问数据所对应的锁计数器中的第一计数值nx是否等于ticket.maxx。在第一计数值nx等于ticket.maxx的情况下，授权模块504为所述事务授予锁。其中，第一计数值nx为已处理独占锁的事务数。
释放模块505，用于在所述事务执行完毕后，释放所述事务的锁、并更新所述事务的访问数据所对应的锁计数器中的第一计数值或第二计数值。
具体来说，当所述事务的加锁请求为加独占锁请求时，释放模块505释放所述事务的独占锁，并对所述事务的访问数据所对应的锁计数器中的第一计数值nx进行加一操作；当所述事务的加锁请求为加共享锁请求时，释放模块505释放所述事务的共享锁，并对所述事务的访问数据所对应的锁计数器中的第二计数值ns进行加一操作。
本发明实施例的装置，能够有效提高加锁请求的处理效率，大大缩短处理时间，降低锁冲突的概率，有效缓解锁饥饿和访问延迟问题，尤其适用于多层异构带宽网络。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种分布式锁管理方法，所述方法包括：
在接收到事务的加锁请求后，通过查询局部知识配置表判断所述事务的访问数据是否位于本计算机集群中；其中，所述局部知识配置表记录有本计算机集群中的数据的信息；
在所述事务的访问数据位于本计算机集群的情况下，根据该事务的预估处理时间或者该事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中，并为所述事务分配唯一锁申请码；
在所述事务的加锁请求位于队列头部时，根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件，并在满足锁授权条件时为所述事务授予锁；
其特征在于，所述唯一锁申请码包括：ticket.nx、ticket.ns、ticket.maxx和ticket.maxs；
其中，ticket.nx表示在为所述事务分配唯一锁申请码时已处理独占锁的事务数、ticket.ns表示在为所述事务分配唯一锁申请码时已处理共享锁的事务数、ticket.maxx表示在为所述事务分配唯一锁申请码时申请独占锁的最大事务序号、ticket.maxs表示在为所述事务分配唯一锁申请码时申请共享锁的最大事务序号；
所述方法还包括：
在执行所述为所述事务分配唯一锁申请码的步骤之前，通过对所述事务的访问数据所对应的锁计数器执行获取-添加的原子操作，生成所述唯一锁申请码。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述事务的访问数据不位于本计算机集群的情况下，将所述事务的加锁请求发送至访问数据所在的计算机集群，以由所述访问数据所在的计算机集群对所述事务的加锁请求进行处理。
3.根据权利要求1所述的方法，其特征在于，所述根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件，并在满足锁授权条件时为所述事务授予锁的步骤包括：
在所述事务的加锁请求为加独占锁请求的情况下，判断当前所述事务的访问数据所对应的锁计数器中的第一计数值是否等于ticket.maxx、且当前所述事务访问的数据所对应的锁计数器中的第二计数值是否等于ticket.maxs；在第一计数值等于ticket.maxx、且第二计数值等于ticket.maxs的情况下，为所述事务授予独占锁；其中，第一计数值为已处理独占锁的事务数；第二计数值为已处理共享锁的事务数。
4.根据权利要求1所述的方法，其特征在于，所述根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件，并在满足锁授权条件时为所述事务授予锁的步骤包括：
在所述事务的加锁请求为加共享锁请求的情况下，判断当前所述事务的访问数据所对应的锁计数器中的第一计数值是否等于ticket.maxx；在第一计数值等于ticket.maxx的情况下，为所述事务授予共享锁；其中，第一计数值为已处理独占锁的事务数。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述事务执行完毕后，释放所述事务的锁、并更新所述事务的访问数据所对应的锁计数器中的第一计数值或第二计数值；和/或，
在所述事务执行过程中，将所述事务执行时间与预设阈值进行比较，并且在根据比较结果确认出现死锁的情况下，释放该事务的访问对象上的所有锁。
6.一种分布式锁管理装置，其特征在于，所述装置包括：
判断模块，用于在接收到事务的加锁请求后，通过查询局部知识配置表判断所述事务的访问数据是否位于本计算机集群中；其中，所述局部知识配置表记录有本计算机集群中的数据的信息；
分配模块，用于在所述事务的访问数据位于本计算机集群的情况下，根据该事务的预估处理时间或者该事务来源的网络带宽，将所述事务的加锁请求放入与之对应的待处理请求队列中，并为所述事务分配唯一锁申请码；
授权模块，用于在所述事务的加锁请求位于队列头部时，根据为所述事务分配的唯一锁申请码判断是否满足锁授权条件，并在满足锁授权条件时为所述事务授予锁；
所述唯一锁申请码包括：ticket.nx、ticket.ns、ticket.maxx和ticket.maxs；
其中，ticket.nx表示在为所述事务分配唯一锁申请码时已处理独占锁的事务数、ticket.ns表示在为所述事务分配唯一锁申请码时已处理共享锁的事务数、ticket.maxx表示在为所述事务分配唯一锁申请码时申请独占锁的最大事务序号、ticket.maxs表示在为所述事务分配唯一锁申请码时申请共享锁的最大事务序号；
在执行所述为所述事务分配唯一锁申请码的步骤之前，通过对所述事务的访问数据所对应的锁计数器执行获取-添加的原子操作，生成所述唯一锁申请码。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
发送模块，用于在所述事务的访问数据不位于本计算机集群的情况下，将所述事务的加锁请求发送至访问数据所在的计算机集群，以由所述访问数据所在的计算机集群对所述事务的加锁请求进行处理。
CN201910707932.2A 2019-08-01 2019-08-01 一种分布式锁管理方法和装置 Active CN110430258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910707932.2A CN110430258B (zh) 2019-08-01 2019-08-01 一种分布式锁管理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910707932.2A CN110430258B (zh) 2019-08-01 2019-08-01 一种分布式锁管理方法和装置

Publications (2)

Publication Number Publication Date
CN110430258A CN110430258A (zh) 2019-11-08
CN110430258B true CN110430258B (zh) 2021-12-24

Family

ID=68412147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910707932.2A Active CN110430258B (zh) 2019-08-01 2019-08-01 一种分布式锁管理方法和装置

Country Status (1)

Country Link
CN (1) CN110430258B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760841B (zh) * 2020-06-29 2024-10-18 北京沃东天骏信息技术有限公司 实现分布式锁的方法和装置
CN111913810B (zh) * 2020-07-28 2024-03-19 阿波罗智能技术(北京)有限公司 多线程场景下的任务执行方法、装置、设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7328263B1 (en) * 2001-01-30 2008-02-05 Cisco Technology, Inc. Controlling access of concurrent users of computer resources in a distributed system using an improved semaphore counting approach
CN100432940C (zh) * 2006-10-19 2008-11-12 华为技术有限公司 计算机集群系统中共享资源锁分配方法与计算机及集群系统
CN101488924B (zh) * 2009-02-16 2011-11-16 成都市华为赛门铁克科技有限公司 一种元数据的修改方法和元数据服务器
CN106855825B (zh) * 2015-12-08 2020-10-23 中国移动通信集团公司 一种任务处理方法及其装置
CN109947724B (zh) * 2015-12-30 2023-08-04 华为技术有限公司 分布式锁服务的方法和装置
CN106126673A (zh) * 2016-06-29 2016-11-16 上海浦东发展银行股份有限公司信用卡中心 一种基于Redis和HBase的分锁方法

Also Published As

Publication number Publication date
CN110430258A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
WO2020181813A1 (zh) 一种基于数据处理的任务调度方法及相关设备
US7131120B2 (en) Inter Java virtual machine (JVM) resource locking mechanism
US8224977B2 (en) Using local locks for global synchronization in multi-node systems
US8869160B2 (en) Goal oriented performance management of workload utilizing accelerators
WO2019223596A1 (zh) 事件处理方法、装置、设备及存储介质
CN111752965B (zh) 一种基于微服务的实时数据库数据交互方法和系统
US8006003B2 (en) Apparatus, system, and method for enqueue prioritization
US8429657B2 (en) Global avoidance of hang states via priority inheritance in multi-node computing system
US9448861B2 (en) Concurrent processing of multiple received messages while releasing such messages in an original message order with abort policy roll back
KR101638136B1 (ko) 멀티 스레드 구조에서 작업 분배 시 스레드 간 락 경쟁을 최소화하는 방법 및 이를 사용한 장치
US8666958B2 (en) Approaches to reducing lock communications in a shared disk database
KR100834432B1 (ko) 다중시스템 클러스터에서의 리소스 경합을 관리하는 방법 및 장치
CN110430258B (zh) 一种分布式锁管理方法和装置
US9009187B2 (en) Assigning tasks to threads requiring limited resources using programmable queues
US20210200765A1 (en) Connection pools for parallel processing applications accessing distributed databases
CN114168302A (zh) 任务调度方法、装置、设备及存储介质
CN112188015A (zh) 客服会话请求的处理方法、装置及电子设备
US8108573B2 (en) Apparatus, system, and method for enqueue prioritization
JP2004213628A (ja) リソース・コンテンションを管理するための方法および装置
CN111163186B (zh) 一种id生成方法、装置、设备和存储介质
CN114911632B (zh) 一种进程间通信的控制方法和系统
US11348656B2 (en) Efficient resource sharing
CN112583929B (zh) 基于机载嵌入式实时操作系统的服务管理方法
CN113553361A (zh) 资源管理方法及装置
CN114928636B (zh) 接口调用请求处理方法、装置、设备、存储介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210615

Address after: No.1, 2 / F, unit 1, building 4, 29 bayuan street, Nangang District, Harbin City, Heilongjiang Province

Applicant after: Zhao Zhiqiang

Address before: Room 301-22, building 16, 1616 Chuangxin Road, Songbei District, Harbin City, Heilongjiang Province

Applicant before: Harbin Harbin University of technology big data General Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant