CN111797107B - 混合乐观锁和悲观锁的数据库事务并发控制方法 - Google Patents

Abstract

本发明公开了一种混合乐观锁和悲观锁的数据库事务并发控制方法，属一种数据库读写控制方法，该方法为在存储范围中的每个分片中集成锁，且全局使用一张锁表，在锁表中记录所有分片的锁情况；在读取存储范围分片的数据对象前，首先在锁表中查询该分片的数据对象是否已被其他读写事务锁定，如已被锁定，则当前读取操作被阻塞，然后重复当前读取操作，且如当前读取操作被阻塞的时间超过给定时限，此时悲观锁失效，乐观锁介入，继续读取当前分片的单行数据；通过在数据库事务并发控制方法将悲观锁与乐观锁两种语义混合在一起，当两者并存时，不仅保留了悲观锁防止读写操作冲突的优点，还通过切换乐观锁最大限度地提高事务并发度，从而提高性能。

Description

混合乐观锁和悲观锁的数据库事务并发控制方法

技术领域

本发明涉及一种数据库读写控制方法，更具体的说，本发明主要涉及一种混合乐观锁和悲观锁的数据库事务并发控制方法。

背景技术

数据库应用中为防止数据读写发生冲突，多使用悲观锁与乐观锁语义来对数据库中的数据读写进行控制，一般数据库本身锁的机制都是基于悲观锁的机制实现的，从而可完全保证数据的独占性和正确性，因为每次请求都会先对数据进行加锁， 然后进行数据操作，最后再解锁，而加锁释放锁的过程会造成消耗，所以性能不高。乐观锁是一种并发类型的锁，其本身不对数据进行加锁通而是通过业务实现锁的功能，不对数据进行加锁就意味着允许多个请求同时访问数据，同时也省掉了对数据加锁和解锁的过程。可有效提升性能，但由于冲突判断在数据提交后才集中进行处理，因此在大批量数据处理请求提交时容易出现卡顿，并且悲观锁和乐观锁是互斥的两种并发控制技术，非此即彼。采用了悲观锁实现的数据库不能同时使用乐观锁机制，反之亦然。然而悲观锁在并发冲突低概率的大多数应用场景中，并发性和性能都不如乐观锁。而乐观锁则反之，在并发冲突高概率的应用场景中，性能低。因此有必要针对数据库中使用的读写控制方法做进一步的研究和改进。

发明内容

本发明的目的之一在于解决上述不足，提供一种混合乐观锁和悲观锁的数据库事务并发控制方法，以期望解决现有技术中数据库中对于悲观锁和乐观锁是互斥的两种并发控制技术，且两者在应用均存在不同的缺陷等技术问题。

为解决上述的技术问题，本发明采用以下技术方案：

本发明所提供的一种混合乐观锁和悲观锁的数据库事务并发控制方法，所述方法包括如下步骤：

步骤A、在存储范围中的每个分片中集成锁，且全局使用一张锁表，在所述锁表中记录所有分片的锁情况。

步骤B、在读取存储范围分片的数据对象前，首先在锁表中查询该分片的数据对象是否已被其他读写事务锁定，如未被锁定，则读取操作继续，在事务提交时不在进行冲突检查。如已被锁定，则当前读取操作被阻塞，然后重复当前读取操作，且如当前读取操作被阻塞的时间超过给定时限，此时悲观锁失效，乐观锁介入，继续读取当前分片的数据对象。

步骤C、所述乐观锁为允许多个任务同时对同一对象进行读写操作，在数据提交时再验证数据是否存在冲突。

作为优选，进一步的技术方案是：所述存储范围包括数据库的全部数据或部分数据。

更进一步的技术方案是：所述步骤B中的数据对象包括单行数据与数据范围，所述单行数据通过其中的rowkey在锁表中进行查询，数据范围通过startKey和endKey在锁表中进行查询。

更进一步的技术方案是：所述rowkey，或者startKey和endKey之间的范围已被占用，则返回为TRUE，等待当前读取操作再次在锁表中进行查询。

更进一步的技术方案是：所述步骤B中的给定时限默认为1秒。

更进一步的技术方案是：所述步骤B中的乐观锁下，在数据提交时再验证数据是否存在冲突为判断两个并发的事务存在读取操作、或者写入操作是否存在重复。

更进一步的技术方案是：所述步骤B中的悲观锁为在读写事务读取或写入数据前，首先将当前数据锁定，直至锁定解除后，下一个读写事务才能对当前数据进行操作。

与现有技术相比，本发明的有益效果之一是：通过在数据库事务并发控制方法将悲观锁与乐观锁两种语义混合在一起，当两者并存时，不仅保留了悲观锁防止读写操作冲突的优点，还通过切换乐观锁最大限度地提高事务并发度，从而提高性能，同时本发明所提供的一种混合乐观锁和悲观锁的数据库事务并发控制方法程序语义简单，适于在各类数据库中使用，应用范围广阔。

附图说明

图1为用于说明本发明一个实施例的逻辑流程图。

具体实施方式

下面结合附图对本发明作进一步阐述。

首先，针对本说明书中反复提及的悲观锁与乐观锁进行说明：

悲观锁是基于一种悲观的态度类来防止一切数据冲突，它是以一种预防的姿态在修改数据之前把数据锁住，然后再对数据进行读写，在它释放锁之前任何人都不能对其数据进行操作，直到前面一个读写事务把锁释放后下一个读写事务才可对数据进行加锁，然后才可以对数据进行读写操作，一般数据库本身锁的机制都是基于悲观锁的机制实现的。其特点是可完全保证数据的独占性和正确性，因为每次请求都会先对数据进行加锁， 然后进行数据操作，最后再解锁，而加锁释放锁的过程会造成消耗，所以性能不高。

手动加悲观锁的方式为：

读取锁LOCK tables test_db read释放锁UNLOCK TABLES。

写入锁：LOCK tables test_db WRITE释放锁UNLOCK TABLES。

乐观锁是对于数据冲突保持一种乐观态度，操作数据时不会对操作的数据进行加锁（这使得多个任务可以并行的对数据进行操作），只有到数据提交的时候才通过一种机制来验证数据是否存在冲突(一般实现方式是通过加版本号然后进行版本号的对比方式实现)。特点：乐观锁是一种并发类型的锁，其本身不对数据进行加锁通而是通过业务实现锁的功能，不对数据进行加锁就意味着允许多个请求同时访问数据，同时也省掉了对数据加锁和解锁的过程，这种方式大大的提高了数据操作的性能。

基于上述，参考图1所示，本发明的一个实施例是一种混合乐观锁和悲观锁的数据库事务并发控制方法，在本方法中，采用for update这种悲观锁，它本质上是一把读锁，基于此，本实施例的方法包括并优选按照如下步骤操作：

步骤S1、在存储范围中的每个分片中集成锁，且全局使用一张锁表，在所述锁表中记录所有分片的锁情况。在本步骤中，存储范围一般指的是一个数据库中的全部数据或部分数据。

步骤S2、在读取存储范围分片的数据对象前，首先在锁表中查询该分片的数据对象是否已被其他读写事务锁定，如未被锁定，则读取操作继续，在事务提交时不在进行冲突检查。如已被锁定，则当前读取操作被阻塞，然后重复当前读取操作，且如当前读取操作被阻塞的时间超过给定时限，此时悲观锁失效，乐观锁介入，继续读取当前分片的数据对象。

在本实施例中，通过在数据库事务并发控制方法将悲观锁与乐观锁两种语义混合在一起，当两者并存时，不仅保留了悲观锁防止读写操作冲突的优点，还通过切换乐观锁最大限度地提高事务并发度，从而提高性能。

在步骤S2中，数据对象包括单行数据与数据范围，单行数据通过其中的rowkey在锁表中进行查询，数据范围通过startKey和endKey在锁表中进行查询，可以理解的是，本实施例的方法可采用基本相同的方式，利用基本相同的方式，实现单行数据读取为数据范围读取。

其中，上述读取单行数据中rowkey的方式如下：

锁表遍历目前所有的锁信息，如果输入的rowkey已经被占用，就返回TRUE。

判断算法如下：

FOR lock IN lockTable

IF rowkey = lock.rowkey

RETURN TRUE

ELSE

CONTINUE

RETURN FALSE

当rowkey已经被锁，则当前操作被阻塞，并等待一段时间再次查询锁表。

当读操作被阻塞超过给定的时限（默认为1秒），则直接继续进行查询。此时，悲观锁自动放弃，系统靠乐观锁对当前事务进行保护，该事务提交时需要进行冲突检查。

同理，上述读取数据范围中startKey和endKey方式如下：

锁表遍历目前所有的锁信息，如果输入的范围已经被占用，就返回TRUE。范围被占用的算法如下：

FOR lock IN lockTable

IF startKey >= lock.StartKey AND endKey <= lock.EndKey

RETURN TRUE

ELSE

CONTINUE

RETURN FALSE

当扫描范围已经被锁，则当前操作被阻塞，并等待一段时间再次查询锁表。

当读操作被阻塞超过给定的时限（默认为1秒），则直接继续进行查询。此时，悲观锁自动放弃，系统靠乐观锁对当前事务进行保护，该事务提交时需要进行冲突检查。

如果读操作在超时范围内获取了锁，则读操作继续，本事务获取这把范围锁，同时在本事务内禁止乐观锁。这样，该事务依靠悲观锁进行并发控制，当该事务提交时，不进行乐观锁的冲突检查。

另一方面，正如上述所提到的，乐观锁为允许多个任务同时对同一对象进行读写操作，在数据提交时再验证数据是否存在冲突。即在乐观锁下，在数据提交时再验证数据是否存在冲突为判断两个并发的事务存在读取操作、或者写入操作是否存在重复，在本实施例中，乐观锁的工作流程如下：

在数据的读和写操作过程中，乐观锁对读写操作进行记录，但对读写操作本身不加锁。因此，多个并发的读操作和写操作可以同时互相不阻塞地进行。在事务执行提交的时候，根据记录，进行冲突检查。如果两个并发的事务有读操作，或者写操作存在重复，即判定为冲突。包括几种具体情况：

读写冲突：事务的读操作和其他已经提交事务的写操作有重复，即为冲突。

写读冲突：事务的写操作和其他已经提交事务的写操作有重复，即为冲突。

读读不冲突：事务的读操作和其他已经提交事务的读操作有重复，不判定为冲突。

基于上述实施例所描述的，本发明所述的方法在实际应用中，在低冲突业务场景，应用可以完全依赖乐观锁进行并发控制。在高冲突业务场景中，应用使用for update锁进行悲观锁控制，由于只使用了for update锁，该锁为排他锁，故多数场景下，可以完成并发控制。对于特殊场景，则依旧由乐观锁进行控制。

场景一：高冲突业务场景。事务开始写操作前，均使用for update锁进行并发控制。在此种情况下，完全由for update排他锁进行并发控制

场景二：高冲突业务场景。多数事务开始写操作前，使用for update锁进行并发控制，但也有部分事务在执行写操作前，未使用for update锁。这样两个事务并发的时候，forupdate锁无法锁住并发事务，将由乐观锁进行冲突检查。但因为未使用for update锁的写事务较少，因此还是属于乐观场景。用乐观锁控制，性能最佳。

场景三：异常的应用有可能导致锁残留。比如应用在获取锁之后，进程异常终止，未及时释放锁。此种情况，易鲸捷数据库在指定时间内将for update锁抢占释放，并将并发控制完全交由乐观锁控制，保证了数据一致性，也简单有效地处理了异常锁残留的问题。

除上述以外，还需要说明的是在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (7)

1.一种混合乐观锁和悲观锁的数据库事务并发控制方法，其特征在于所述方法包括如下步骤：

在存储范围中的每个分片中集成锁，且全局使用一张锁表，在所述锁表中记录所有分片的锁情况；

在读取存储范围分片的数据对象前，首先在锁表中查询该分片的数据对象是否已被其他读写事务锁定，如未被锁定，则读取操作继续，在事务提交时不再进行冲突检查；如已被锁定，则当前读取操作被阻塞，然后重复当前读取操作，且如当前读取操作被阻塞的时间超过给定时限，此时悲观锁失效，乐观锁介入，继续读取当前分片的数据对象；

所述乐观锁为允许多个任务同时对同一对象进行读写操作，在数据提交时再验证数据是否存在冲突。

2.根据权利要求1所述的混合乐观锁和悲观锁的数据库事务并发控制方法，其特征在于：所述存储范围包括数据库的全部数据或部分数据。

3.根据权利要求1所述的混合乐观锁和悲观锁的数据库事务并发控制方法，其特征在于：所述数据对象包括单行数据与数据范围，所述单行数据通过其中的rowkey在锁表中进行查询，数据范围通过startKey和endKey在锁表中进行查询。

4.根据权利要求3所述的混合乐观锁和悲观锁的数据库事务并发控制方法，其特征在于：所述rowkey，或者startKey和endKey之间的范围已被占用，则返回为TRUE，等待当前读取操作再次在锁表中进行查询。

5.根据权利要求1所述的混合乐观锁和悲观锁的数据库事务并发控制方法，其特征在于：所述给定时限默认为1秒。

6.根据权利要求1所述的混合乐观锁和悲观锁的数据库事务并发控制方法，其特征在于：所述乐观锁下，在数据提交时再验证数据是否存在冲突为判断两个并发的事务存在读取操作、或者写入操作是否存在重复。

7.根据权利要求1所述的混合乐观锁和悲观锁的数据库事务并发控制方法，其特征在于：所述悲观锁为在读写事务读取或写入数据前，首先将当前数据锁定，直至锁定解除后，下一个读写事务才能对当前数据进行操作。