CN112241400A - 一种基于数据库实现分布式锁的方法 - Google Patents

一种基于数据库实现分布式锁的方法 Download PDF

Info

Publication number
CN112241400A
CN112241400A CN202011132248.5A CN202011132248A CN112241400A CN 112241400 A CN112241400 A CN 112241400A CN 202011132248 A CN202011132248 A CN 202011132248A CN 112241400 A CN112241400 A CN 112241400A
Authority
CN
China
Prior art keywords
lock
database
distributed lock
distributed
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011132248.5A
Other languages
English (en)
Inventor
汤利君
文新
林长芝
罗路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengyang Yunhui Technology Co ltd
Original Assignee
Hengyang Yunhui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengyang Yunhui Technology Co ltd filed Critical Hengyang Yunhui Technology Co ltd
Priority to CN202011132248.5A priority Critical patent/CN112241400A/zh
Publication of CN112241400A publication Critical patent/CN112241400A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于数据库实现分布式锁的方法，包括以下步骤：S1、查询数据库，在数据库表格中查询是否存在分布式锁；S2、如果数据库不存在分布式锁，则建立一个分布式锁的表格，同时添加分布式锁的执行sql语句，在进行任务操作时，将带有分布式锁的方法当做参数带入任务的方法执行方法操作，如果数据库存在分布式锁，则不建立；S3、添加事务日志；本方法实现的分布式锁不过分依赖中间件，利用分布式锁调用方法，类似调用接口的使用，使得本方法具备快速移植能力，同时，可以适用于不同类型的关系型数据库运行，利用事务日志和定时任务及时清理缓存和解锁，减少占用资源，不存在引起数据库资源使用过高的风险。

Description

一种基于数据库实现分布式锁的方法
技术领域
本发明涉及分布式锁技术领域，具体为一种基于数据库实现分布式锁的方法。
背景技术
众所周知，为了保证一个方法在高并发情况下的同一时间只能被同一个线程执行，在传统单体应用单机部署的情况下，可以使用Java并发处理相关的API(如ReentrantLcok或synchronized)进行互斥控制。但是，随着业务发展的需要，原单体单机部署的系统被演化成分布式系统后，由于分布式系统多线程、多进程并且分布在不同机器上，这将使原单机部署情况下的并发控制锁策略失效，为了解决这个问题就需要一种跨JVM的互斥机制来控制共享资源的访问，这就是分布式锁要解决的问题，现有的分布式锁分依赖中间件，不具备快速移植能力，导致程序运行缓慢，同时，实现方式复杂，代码繁琐，需要多个层级之间相互调用，时间消耗较大，对内存运行造成极大的压力，为此，提出一种基于数据库实现分布式锁的方法。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于数据库实现分布式锁的方法。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种基于数据库实现分布式锁的方法，包括以下步骤：
S1、查询数据库，在数据库表格中查询是否存在分布式锁；
S2、如果数据库不存在分布式锁，则建立一个分布式锁的表格，同时添加分布式锁的执行sql语句，在进行任务操作时，将带有分布式锁的方法当做参数带入任务的方法执行方法操作，如果数据库存在分布式锁，则不建立；
S3、添加事务日志，在操作过程中调用事务方法，及时记录操作步骤，增加网络安全性和任务执行的监控；
S4、当线程执行完这个方法后，需要释放锁，即编写删除语句，将带有执行分布式锁编号的数据删除，从而将锁释放；
S5、添加定时任务，定时清理线程缓存，避免解锁失败导致其他线程一直无法获取分布式锁。
优选的，在所述S2中，所述分布式锁的表格应至少包含主键、锁定的方法名称、锁定的信息和编号等基本字段，其中，主键、锁定的方法名称要添加唯一性约束，一个方法只能存在一条记录，如果有多条请求同时提交，最终也只会生效一条，即操作成功的那个线程即获得了该方法的锁。
在前述方案的基础上，在所述S1中，所述数据库可以为MySql、Redis或Zookeeper等常用数据库。
在前述方案的基础上，在所述S2中，如果数据库存在分布式锁，则判断已存在的分布式锁心跳是否正常，如果心跳正常，说明锁被其他拥有者占用，则直接退出处理，如果锁刷新超时，心跳失常，则更新锁拥有者ID、锁状态、锁维护时间，同时刷新内存中分布式锁信息，然后开始具体任务处理。
进一步的，在所述S2中，调用分布式锁执行方法时，在方法外围添加for循环或while循环之类循环方法，直至INSERT成功再返回。
进一步的，在所述S3中，在事务日志触发后，分布式锁状态刷新后台线程，轮询获取待刷新分布式锁队列中的锁对象，检查锁状态，如果状态为待解除，则删除数据库中相应的锁记录，如果锁状态正常，则更新数据库中锁维护时间，同时刷新内存中锁的心跳时间，以维持锁的继续使用。
进一步的，在所述S4中，在释放锁之后，需添加事务日志，将执行步骤添加记录。
进一步的，在S5中，操作结束后，调用唤醒的方法，将其他排队的线程唤醒，避免其他线程一直沉睡排队。
(三)有益效果
与现有技术相比，本发明提供了一种基于数据库实现分布式锁的方法，具备以下有益效果：本方法实现的分布式锁不过分依赖中间件，利用分布式锁调用方法，类似调用接口的使用，使得本方法具备快速移植能力，同时，可以适用于不同类型的关系型数据库运行，利用事务日志和定时任务及时清理缓存和解锁，减少占用资源，不存在引起数据库资源使用过高的风险。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
请参阅图1，本发明提供一种技术方案：一种基于数据库实现分布式锁的方法，包括以下步骤：
S1、查询数据库，在数据库表格中查询是否存在分布式锁；
S2、如果数据库不存在分布式锁，则建立一个分布式锁的表格，同时添加分布式锁的执行sql语句，在进行任务操作时，将带有分布式锁的方法当做参数带入任务的方法执行方法操作，如果数据库存在分布式锁，则不建立；
S3、添加事务日志，在操作过程中调用事务方法，及时记录操作步骤，增加网络安全性和任务执行的监控；
S4、当线程执行完这个方法后，需要释放锁，即编写删除语句，将带有执行分布式锁编号的数据删除，从而将锁释放；
S5、添加定时任务，定时清理线程缓存，避免解锁失败导致其他线程一直无法获取分布式锁。
本实施例中，具体的：在S2中，分布式锁的表格应至少包含主键、锁定的方法名称、锁定的信息和编号等基本字段，其中，主键、锁定的方法名称要添加唯一性约束，一个方法只能存在一条记录，如果有多条请求同时提交，最终也只会生效一条，即操作成功的那个线程即获得了该方法的锁；将主键、锁定的方法名称要添加唯一性约束，可以确保数据的唯一性，避免出现具有冲突和带有歧义的数据，使得每条数据都是一条完整独立的数据。
本实施例中，具体的：在S1中，数据库可以为MySql、Redis或Zookeeper等常用数据库；MySQL是最流行的关系型数据库管理系统，在WEB应用方面MySQL是最好的RDBMS应用软件之一，Redis用于存放缓存数据，一些常用的热点信息存放在redis里面的话，就不需要去数据库中获取了，可以提高程序的运行效率，减少数据库的查找，提高代码的运行效率，但是，数据是临时的，不能直接改变数据库内部的内容，需要进行数据的转换才能最终更改数据库的内部，ZooKeeper跟Chubby一样用来存放一些相互协作的信息(Coordination)，这些信息比较小一般不会超过1M，在zookeeper中是以一种hierarchicaltree的形式来存放，这些具体的Key/Value信息就store在treenode中，当有事件导致node数据，例如：变更，增加，删除时，Zookeeper就会调用triggerWatch方法，判断当前的path来是否有对应的监听者(watcher)，如果有watcher，会触发其process方法，执行process方法中的业务逻辑。
本实施例中，具体的：在S2中，如果数据库存在分布式锁，则判断已存在的分布式锁心跳是否正常，如果心跳正常，说明锁被其他拥有者占用，则直接退出处理，如果锁刷新超时，心跳失常，则更新锁拥有者ID、锁状态、锁维护时间，同时刷新内存中分布式锁信息，然后开始具体任务处理；判断分布式锁心跳是否正常，因为分布式锁具有互斥性，在分布式系统环境下，只有一个客户端能持有锁；分布式锁互斥性，在分布式系统环境下，只有一个客户端能持有锁，高性能的获取锁与释放锁，分布式锁具备可重入特性，同一线程在未释放锁时如果再次申请锁资源不需要走申请流程，只需要将已经获取的锁继续返回并且记录上已经重入的次数即可，分布式锁具备锁失效机制，防止死锁，即使有一个客户端在持有锁的期间崩溃而没有主动解锁，也能保证后续其他客户端能加锁。
前述方案的基础上：在S2中，调用分布式锁执行方法时，在方法外围添加for循环或while循环之类循环方法，直至INSERT成功再返回；以为分布式锁是非阻塞的，因为插入数据失败之后会直接报错，想要获得锁就需要再次操作，而for循环或while循环之类循环方法是比较常用的循环方法，简单、高效。
本实施例中，具体的：在S3中，在事务日志触发后，分布式锁状态刷新后台线程，轮询获取待刷新分布式锁队列中的锁对象，检查锁状态，如果状态为待解除，则删除数据库中相应的锁记录，如果锁状态正常，则更新数据库中锁维护时间，同时刷新内存中锁的心跳时间，以维持锁的继续使用；可以根据用户的操作选择性的给予延长线程失效或关闭线程。
前述方案的基础上：在S4中，在释放锁之后，需添加事务日志，将执行步骤添加记录；事务日志文件TransactionLogFile是用来记录数据库更新情况的文件，扩展名为baildf。在SQLServer7.0和SQLServer2000中，如果设置了自动增长功能，事务日志文件将会自动扩展。一般情况下，在能够容纳两次事务日志截断之间发生的最大数量的事务时，事务日志的大小是稳定的，事务日志截断由检查点或者事务日志备份触发。
进一步的：在S5中，操作结束后，调用唤醒的方法，将其他排队的线程唤醒，避免其他线程一直沉睡排队；通用唤醒的方法，可以减少其他线程等待时间，避免网络资源浪费。
综上，该一种基于数据库实现分布式锁的方法的工作原理和工作过程为，在使用时，首先需要检查数据库是否存在分布式锁，如果数据库不存在分布式锁，则建立一个分布式锁的表格，分布式锁的表格应至少包含主键、锁定的方法名称、锁定的信息和编号等基本字段，其中，主键、锁定的方法名称要添加唯一性约束，一个方法只能存在一条记录，如果有多条请求同时提交，最终也只会生效一条，即操作成功的那个线程即获得了该方法的锁，同时添加分布式锁的执行sql语句，在进行任务操作时，将带有分布式锁的方法当做参数带入任务的方法执行方法操作，调用分布式锁执行方法时，在方法外围添加for循环或while循环之类循环方法，直至INSERT成功再返回；以为分布式锁是非阻塞的，因为插入数据失败之后会直接报错，想要获得锁就需要再次操作，而for循环或while循环之类循环方法是比较常用的循环方法，简单、高效，如果数据库存在分布式锁，则判断已存在的分布式锁心跳是否正常，如果心跳正常，说明锁被其他拥有者占用，则直接退出处理，如果锁刷新超时，心跳失常，则更新锁拥有者ID、锁状态、锁维护时间，同时刷新内存中分布式锁信息，然后开始具体任务处理，在进行分布式锁操作过程中，要添加事务日志，在操作过程中调用事务方法，及时记录操作步骤，增加网络安全性和任务执行的监控，在事务日志触发后，分布式锁状态刷新后台线程，轮询获取待刷新分布式锁队列中的锁对象，检查锁状态，如果状态为待解除，则删除数据库中相应的锁记录，如果锁状态正常，则更新数据库中锁维护时间，同时刷新内存中锁的心跳时间，以维持锁的继续使用，判断分布式锁心跳是否正常，因为分布式锁具有互斥性，在分布式系统环境下，只有一个客户端能持有锁；分布式锁互斥性，在分布式系统环境下，只有一个客户端能持有锁，高性能的获取锁与释放锁，分布式锁具备可重入特性，同一线程在未释放锁时如果再次申请锁资源不需要走申请流程，只需要将已经获取的锁继续返回并且记录上已经重入的次数即可，分布式锁具备锁失效机制，防止死锁，即使有一个客户端在持有锁的期间崩溃而没有主动解锁，也能保证后续其他客户端能加锁，在分布式锁使用完毕后，要及时解锁，避免占用线程，添加定时任务，定时清理线程缓存，避免解锁失败导致其他线程一直无法获取分布式锁，操作结束后，调用唤醒的方法，将其他排队的线程唤醒，避免其他线程一直沉睡排队，本方法实现的分布式锁不过分依赖中间件，利用分布式锁调用方法，类似调用接口的使用，使得本方法具备快速移植能力，同时，可以适用于不同类型的关系型数据库运行，利用事务日志和定时任务及时清理缓存和解锁，减少占用资源，不存在引起数据库资源使用过高的风险。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于数据库实现分布式锁的方法，其特征在于：包括以下步骤：
S1、查询数据库，在数据库表格中查询是否存在分布式锁；
S2、如果数据库不存在分布式锁，则建立一个分布式锁的表格，同时添加分布式锁的执行sql语句，在进行任务操作时，将带有分布式锁的方法当做参数带入任务的方法执行方法操作，如果数据库存在分布式锁，则不建立；
S3、添加事务日志，在操作过程中调用事务方法，及时记录操作步骤，增加网络安全性和任务执行的监控；
S4、当线程执行完这个方法后，需要释放锁，即编写删除语句，将带有执行分布式锁编号的数据删除，从而将锁释放；
S5、添加定时任务，定时清理线程缓存，避免解锁失败导致其他线程一直无法获取分布式锁。
2.根据权利要求1所述的一种基于数据库实现分布式锁的方法，其特征在于：在所述S2中，所述分布式锁的表格应至少包含主键、锁定的方法名称、锁定的信息和编号等基本字段，其中，主键、锁定的方法名称要添加唯一性约束，一个方法只能存在一条记录，如果有多条请求同时提交，最终也只会生效一条，即操作成功的那个线程即获得了该方法的锁。
3.根据权利要求1所述的一种基于数据库实现分布式锁的方法，其特征在于：在所述S1中，所述数据库可以为MySql、Redis或Zookeeper等常用数据库。
4.根据权利要求1所述的一种基于数据库实现分布式锁的方法，其特征在于：在所述S2中，如果数据库存在分布式锁，则判断已存在的分布式锁心跳是否正常，如果心跳正常，说明锁被其他拥有者占用，则直接退出处理，如果锁刷新超时，心跳失常，则更新锁拥有者ID、锁状态、锁维护时间，同时刷新内存中分布式锁信息，然后开始具体任务处理。
5.根据权利要求1所述的一种基于数据库实现分布式锁的方法，其特征在于：在所述S2中，调用分布式锁执行方法时，在方法外围添加for循环或while循环之类循环方法，直至INSERT成功再返回。
6.根据权利要求1所述的一种基于数据库实现分布式锁的方法，其特征在于：在所述S3中，在事务日志触发后，分布式锁状态刷新后台线程，轮询获取待刷新分布式锁队列中的锁对象，检查锁状态，如果状态为待解除，则删除数据库中相应的锁记录，如果锁状态正常，则更新数据库中锁维护时间，同时刷新内存中锁的心跳时间，以维持锁的继续使用。
7.根据权利要求1所述的一种基于数据库实现分布式锁的方法，其特征在于：在所述S4中，在释放锁之后，需添加事务日志，将执行步骤添加记录。
8.根据权利要求1所述的一种基于数据库实现分布式锁的方法，其特征在于：在S5中，操作结束后，调用唤醒的方法，将其他排队的线程唤醒，避免其他线程一直沉睡排队。
CN202011132248.5A 2020-10-21 2020-10-21 一种基于数据库实现分布式锁的方法 Withdrawn CN112241400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011132248.5A CN112241400A (zh) 2020-10-21 2020-10-21 一种基于数据库实现分布式锁的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011132248.5A CN112241400A (zh) 2020-10-21 2020-10-21 一种基于数据库实现分布式锁的方法

Publications (1)

Publication Number Publication Date
CN112241400A true CN112241400A (zh) 2021-01-19

Family

ID=74169311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011132248.5A Withdrawn CN112241400A (zh) 2020-10-21 2020-10-21 一种基于数据库实现分布式锁的方法

Country Status (1)

Country Link
CN (1) CN112241400A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836161A (zh) * 2021-09-30 2021-12-24 紫光云技术有限公司 一种利用数据库锁实现定时任务原子性的方法
CN114238353A (zh) * 2021-12-21 2022-03-25 山东浪潮科学研究院有限公司 一种分布式事务的实现方法及系统
CN115114305A (zh) * 2022-04-08 2022-09-27 腾讯科技（深圳）有限公司 分布式数据库的锁管理方法、装置、设备及存储介质
CN116389579A (zh) * 2023-03-22 2023-07-04 安芯网盾(北京)科技有限公司 一种基于微服务的报表生成方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113836161A (zh) * 2021-09-30 2021-12-24 紫光云技术有限公司 一种利用数据库锁实现定时任务原子性的方法
CN113836161B (zh) * 2021-09-30 2023-11-03 紫光云技术有限公司 一种利用数据库锁实现定时任务原子性的方法
CN114238353A (zh) * 2021-12-21 2022-03-25 山东浪潮科学研究院有限公司 一种分布式事务的实现方法及系统
CN115114305A (zh) * 2022-04-08 2022-09-27 腾讯科技（深圳）有限公司 分布式数据库的锁管理方法、装置、设备及存储介质
CN116389579A (zh) * 2023-03-22 2023-07-04 安芯网盾(北京)科技有限公司 一种基于微服务的报表生成方法及系统

Similar Documents

Publication Publication Date Title
CN112241400A (zh) 一种基于数据库实现分布式锁的方法
Thomson et al. The case for determinism in database systems
EP3278239B1 (en) Processing database transactions in a distributed computing system
CN109739935B (zh) 数据读取方法、装置、电子设备以及存储介质
Ren et al. Lightweight locking for main memory database systems
US11321299B2 (en) Scalable conflict detection in transaction management
US10585874B2 (en) Locking concurrent commands in a database management system
US8286182B2 (en) Method and system for deadlock detection in a distributed environment
Patterson et al. Serializability, not serial: Concurrency control and availability in multi-datacenter datastores
US7912821B2 (en) Apparatus and method for data management
JPH06103132A (ja) 並行制御方法
CN112486694B (zh) 一种基于Redis的网络锁处理方法及设备
Padhye et al. Scalable transaction management with snapshot isolation for NoSQL data storage systems
US8132174B2 (en) Concurrency management in cluster computing of business applications
CN111444002A (zh) 一种任务调度方法及装置
CN111459963A (zh) 核心账务交易并发处理方法及装置
JP2003058404A (ja) 分散データベースの同時実行制御システム
CN111708793A (zh) 一种分布式应用锁实现方法及装置
WO2022242372A1 (zh) 对象处理方法、装置、计算机设备和存储介质
Gupta et al. More optimism about real-time distributed commit processing
Alomari et al. A robust technique to ensure serializable executions with snapshot isolation DBMS
CN113448701A (zh) 一种多进程外呼控制方法、系统、电子设备及存储介质
US7171410B1 (en) Fault tolerant network element
Kiviniemi et al. Transaction processing in the RODAIN real-time database system
Lev-Ari et al. Quick: a queuing system in cloudkit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210119