CN105955801A - 一种基于rdma和htm的分布式乐观并发控制方法 - Google Patents

Abstract

本发明提供了一种基于RDMA和HTM的分布式乐观并发控制方法，不需要预先获取事务访问的数据集，不需要预先对事务进行切分。该控制方法将事务的运行划分为两个阶段：执行阶段和提交阶段。采用乐观并发控制与锁保护相结合的方法，在事务的执行阶段动态维护读写集合，从而不需要预先获知事务的数据集；在事务的提交阶段进行先验证再提交，从而不需要预先对事务进行切分。本发明使用RDMA和HTM两种最新的硬件简化并发控制方法的设计，去中心化的分布式设计使得本发明具有良好的扩展性，可以方便地根据需求调整机器的数量，为高效处理超大规模的并发事务提供了通用可行的解决方案。

Description

一种基于RDMA和HTM的分布式乐观并发控制方法

技术领域

本发明涉及分布式多核内存计算环境下的事务并发控制，特别是涉及一种基于RDMA和HTM的分布式乐观并发控制方法。

背景技术

分布式多核内存计算为处理超大规模的并发事务提供了便利，其核心在于高效通用的事务并发控制方法。硬件事务内存HTM(Hardware Transaction Memory)和远程内存直接访问RDMA(Remote Direct Memory Access)是两项全新的硬件技术。前者(HTM)提供了单机事务并发控制的硬件支持，具有易于开发人员使用且性能高效的优势，但仅限于单机环境。后者(RDMA)提供了由网卡访问远端机器内存的硬件支持，绕过了远端机器的处理器，具有高吞吐量和低延迟的优势，但提供的通信操作较为简单，难以直接表达复杂的分布式事务。如何利用全新的硬件技术(HTM和RDMA)，设计合理的软件控制方法以支持分布式并发事务是一项极具挑战又颇为实用的技术难题。

目前同时利用两项硬件技术(HTM和RDMA)支持分布式并发事务控制的工作普遍使用了两阶段锁的方法。其主要包含三个阶段：1.在事务开始前根据需要访问的数据集，用RDMA将远端数据读回本地并加锁；2.在本地HTM的保护下单机执行整个事务；3.事务执行成功后用RDMA将远端数据的结果写回并放锁。采用两阶段锁的控制方法虽然很好的利用了两项硬件技术并达到了较好的性能，但是其缺点是：1.在事务开始之前需要预先知道访问的数据集，这不仅增加了事务编写人员的工作量，而且对于数据集无法预先确定，只有在运行时才可知的一类事务，这种方法变得不可行；2.现有的HTM硬件(如Intel的RTM)通常对事务的数据集大小有限制，因此现有方法在实现中需要对超出限制大小的事务进行预先的切分，事务的切分本身是一项非常复杂的工作，尤其在事务逻辑复杂的情况下，如何正确的切分事务本身对编写人员提出了极高的要求，而且对于本身无法切分的一类事务，这种方法同样变得不可行。

因此现有的工作虽然利用了两项硬件技术实现了分布式并发事务控制，但在事务的支持上具有很大的局限性。

发明内容

本发明的目的就是为了克服上述现有工作中存在的缺陷，提供一种基于RDMA和HTM的分布式乐观并发控制方法。该方法要求克服原有工作的局限性，即不需要预先获取事务访问的数据集，同时不需要对事务进行预先切分。

本发明的目的可以通过以下的技术方案加以实现：

一种基于RDMA和HTM的分布式乐观并发控制方法，该方法采用乐观并发控制与锁保护相混合的机制，不需要预先获取事务访问的数据集，不需要预先对事务进行切分，将事务的运行分为事务的执行阶段和事务的提交阶段。事务的执行阶段不受HTM的保护，动态维护事务的读写集合；事务的提交阶段对远端数据进行锁保护，本地数据在HTM的保护下利用乐观并发控制进行验证提交。所述的事务的执行阶段和事务的提交阶段分别包括以下步骤：

1.事务的执行阶段

步骤S1：获取事务需要读取的本地数据并保证数据的一致性；

步骤S2：获取事务需要读取的远端数据并保证数据的一致性；

步骤S3：动态维护事务的读写集合。

优选地，所述步骤S1，包括如下步骤：

使用HTM保护事务本地数据的读取操作，读取内容包括数据值本身和数据的序列号(每个数据有独立的序列号，该序列号的维护发生在事务的提交阶段)，并在HTM中检查数据是否处于锁保护的状态，如果是则调用HTM硬件提供的中断指令中断这次操作，回滚读取的内容，重新尝试；否则则正常的进行读取操作。

优选地，所述步骤S2，包括如下步骤：

使用RDMA读指令执行事务远端数据的读取操作，检查读取的数据在各缓存行(cacheline)上的版本号是否一致(数据在缓存行粒度级别上有独立的版本号，该版本号的维护发生在事务的提交阶段)，如果不一致则抛弃读取的内容，重新尝试；否则则正常的进行读取操作。

优选地，所述步骤S3，包括如下步骤：

事务的读写集合为分布式事务的读写集合，包括本地读集合、远端读集合、本地写集合和远端写集合。

对于本地读集合的维护发生于步骤S1的开始和结束，在步骤1开始前检查本地读集合，如果需要读取的内容已经出现在本地读集合内，则直接返回本地读集合中的内容，否则在完成步骤S1后，将读取的内容加入到本地读集合。

对于远端读集合的维护发生于步骤S2的开始和结束，在步骤2开始前检查远端读集合，如果需要读取的内容已经出现在远端读集合内，则直接返回远端读集合中的内容，否则在完成步骤S2后，将读取的内容加入到远端读集合。

对于本地写集合的维护发生于事务本地数据的写操作中，写操作直接将内容写入到本地写集合中，对于所写内容在本地写集合中已经存在的情形，采用直接覆盖的策略，即新写的内容覆盖已有的内容。

2.事务的提交阶段

在事务完成上述的执行阶段后，获得了事务的读写集合，以此进入事务的提交阶段，该阶段分为如下几个步骤：

步骤A1：对事务涉及的远端数据进行锁保护，对远端读集合的数据进行验证

步骤A2：用乐观并发控制对事务涉及的本地数据进行验证和提交

步骤A3：对事务涉及的远端数据进行提交并解除锁保护

优选地，所述步骤A1，包括如下步骤：

对远端读集合和远端写集合中的数据进行锁保护。该过程中，作为执行事务的机器通过分布式内存键值数据库找到事务的远端数据在其他机器的内存位置，并使用RDMA的原子指令将数据的状态修改为锁保护状态。对于已经处于锁保护状态的数据，该过程会一直重试直至数据的锁保护状态解除。与此同时需要对远端读集合的数据进行验证，验证的内容包括检查各数据值上的序列号是否发生变化。如果检查到有数据值的序列号发生变化，则立即进行整个事务的回滚，包括解除远端数据的锁保护并清空事务的读写集合。

优选地，所述步骤A2，包括如下步骤：

该步骤需要HTM硬件的保护以保证原子性。整体过程分为两步，首先是验证，然后是提交。

验证包括对本地读集合的验证和本地写集合的验证。本地读集合的验证内容包括检查各数据值上的序列号是否发生变化，如果检查到有数据值的序列号发生变化，则立即进行整个事务的回滚；本地写集合的验证内容包括检查各数据值是否处于锁保护的状态，如果检查到数据值处于锁保护的状态，则立即进行整个事务的回滚。

提交包括对本地写集合的提交。本地写集合的提交内容包括更新各数据值的序列号，以及各数据值在缓存行粒度上的版本号。所有的提交均为对数据值的直接修改，由HTM的硬件保护机制保证该过程的原子性和隔离性。

优选地，所述步骤A3，包括如下步骤：

首先对远端写集合中的数据进行提交。该过程中，作为执行事务的机器通过分布式内存键值数据库找到事务的远端数据在其他机器的内存位置，并使用RDMA的写指令将数据的最新内容写回，其中提交的内容包括各数据值的序列号，以及各数据值在缓存行粒度上的版本号。然后解除对远端读写集合数据的锁保护，此过程中，作为执行事务的机器通过分布式内存键值数据库找到事务的远端数据在其他机器的内存位置，并使用RDMA的原子指令解除数据的锁保护状态。

与现有技术相比，本发明具有如下的优点：

1、采用乐观并发控制与锁保护相结合的方法构建分布式事务并发控制，因此适用范围更加广泛，弥补了现有工作的局限性。在事务的执行阶段动态维护读写集合，从而不需要预先获知事务的数据集。在事务的提交阶段进行先验证再提交，从而大幅降低了事务的数据集，不需要预先对事务进行切分。

2、使用RDMA和HTM两种最新的硬件简化并发控制方法的设计。利用RDMA的高吞吐量和低延迟特性完成分布式数据的访问和保护，利用HTM硬件保证事务的原子性和隔离性。

3、去中心化的分布式设计使得本发明具有良好的扩展性，可以方便地根据需求调整机器的数量。为处理超大规模的并发事务提供了更加通用可行的解决方案。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，帮助说明本发明的其它特征，理解本发明的目的和优点：

图1是本发明中数据库的数据存储结构示意图；

图2是本发明中硬件装置结构示意图；

图3是本发明中事务执行和提交阶段示意图；

图4是本发明中并发控制方法部分过程的详细流程图；图中，(a)为本地读操作流程图，(b)为远端读操作流程图，(c)为事务控制提交流程图。

具体实施方式

以下将结合各附图对本发明做进一步说明。各附图均基于本发明构思的一种实例，该实例旨在帮助本领域的技术人员进一步理解本发明，并不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进，构造出基于本发明构思的其他软件实现，这些都属于本发明的保护范围。

本发明设计的是一种基于RDMA和HTM的分布式乐观并发控制方法，它基于RDMA和HTM硬件，采用乐观并发控制和锁保护的混合机制，在无需预先获知事务数据集和切分事务的情形下，完成分布式内存计算的并发控制。

以下将通过具体实施示例来描述本发明的并发控制技术。

图1是本发明中数据库的数据存储结构的示意图。

本发明的内存数据库实现为键值数据库，图1中展示的是数据值的存储结构。每个数据值在存储上占用连续的内存空间，头部为用于标记数据是否处于锁保护的标记位。紧接着是每个数据独立的序列号，用于事务提交阶段乐观并发控制中的验证，其后在每个缓存行的头部有一个独立的版本号，用于保证事务执行阶段RDMA读操作的一致性。需要注意的是，在数据本身不足一个缓存行时(例如图1中最后一段数据不足一个缓存行)，仍需为该段数据维护一个独立的版本号。

一种基于RDMA和HTM的分布式事务处理集群部署如图2所示，各机器由交换机相连，互相间可以通过RDMA网络通信，每个机器都开启HTM的硬件支持，并在上面部署实现该发明的系统，在系统之上执行相关的事务应用。在每个机器上，事务由多个独立的工作线程并行执行，事务逻辑表现为工作线程对下层内存数据库的键值操作，事务的分布式部分通过RDMA访问远端的数据。本地部分则由各机器的HTM硬件协助完成。

图3是本发明中事务执行和提交阶段示意图。

事务的执行在本发明中分为两个阶段：执行阶段和提交阶段。以下结合图3详细说明两个阶段的详细步骤。

首先是事务的执行阶段：

系统根据程序将要访问的数据完成本地数据的读操作，同时维护本地读集合。图4(a)详细交代了本地读操作的各步骤。程序首先在本地读集合中查找是否已有目标数据，如果找到则直接返回，否则先确定数据在内存中的位置，然后开启HTM保护，执行本地的读操作，并检查数据是否处于锁保护的状态，如果数据处于锁保护状态，则主动调用HTM硬件提供的事务中止指令并重试，否则结束HTM保护，将读取的数据放入本地读集合，并返回读取的结果。

系统根据程序将要访问的数据完成本地数据的写操作，同时维护本地写集合。如图所示，本地数据的写操作会将需要写入的数据值直接放入到本地写集合中。

系统根据程序将要访问的数据完成远端数据的读操作，同时维护远端读集合。图4(b)详细交代了远端读操作的各步骤。程序首先在远端读集合中查找是否已有目标数据，如果找到则直接返回，否则先确定数据在远端机器内存中的位置，然后使用RDMA的读操作读取相应的数据，完成读操作后首先检查所有缓存行的版本是否一致，如果所有缓存行的版本一致，则返回读取的结果。否则则放弃读取的值并重试。

系统根据程序将要访问的数据完成远端数据的写操作，同时维护远端写集合。如图所示，远端数据的写操作会将需要写入的数据值直接放入到远端写集合中。

完成以上步骤之后，事务完成了执行阶段，获得了读写集合，随后进入事务的提交阶段。事务控制的提交阶段分为以下几个步骤，各步骤的逻辑跳转关系如图4(c)中所示。执行阶段首先对远端读写集合的数据进行锁保护，然后对远端读集合进行序列号验证，如果发现序列号发生变化的数据则立即终止事务，如果能够通过验证，则在下一步开启HTM硬件保护，对本地读集合的数据进行序列号的验证，如果没有通过验证，则通过调用HTM硬件提供的中止指令中止事务，反之对本地写集合的数据进行锁保护的验证，如果发现有数据处于锁保护状态，则通过调用HTM硬件提供的中止指令中止事务，反之则提交本地写集合的数据，结束HTM的保护，随后释放远端读集合的锁保护，利用RDMA写操作对远端写集合中的数据进行提交，最后再释放远端写集合的锁保护，至此整个事务完成。

综上所述，本实施例提出的基于HTM和RDMA的分布式内存计算的并发控制方法，可以有效解决现有工作的不足，不需要预先获知事务的数据集，同时不需要预先对事务进行切分。在解决现有工作的不足的同时，最大程度的利用HTM硬件简化并发控制的设计，同时利用了RDMA网络的高吞吐量和低延迟的特性来降低网络开销，保证了并发控制的高效性。

本实施例采用乐观并发控制与锁保护相结合的方法，在事务的执行阶段动态维护读写集合，从而不需要预先获知事务的数据集；在事务的提交阶段进行先验证再提交，从而不需要预先对事务进行切分。使用RDMA和HTM两种最新的硬件简化并发控制方法的设计，去中心化的分布式设计使得本发明具有良好的扩展性，可以方便地根据需求调整机器的数量，为高效处理超大规模的并发事务提供了通用可行的解决方案。

需要注意的是，以上流程的表述仅仅为本发明具体实现中的一个可行实例，本发明的实现部署不会局限于上述的表述方式，本领域的技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于RDMA和HTM的分布式乐观并发控制方法，其特征在于，不需要预先获取事务访问的数据集，不需要预先对事务进行切分，采用乐观并发控制与锁保护相混合的机制，将事务的运行分为事务的执行阶段和事务的提交阶段，分别包括以下步骤：

a.事务的执行阶段

步骤S1：获取事务需要读取的本地数据并保证数据的一致性；

步骤S2：获取事务需要读取的远端数据并保证数据的一致性；

步骤S3：动态维护事务的读写集合，所述事务的读写集合包括本地读集合、远端读集合、本地写集合和远端写集合；

b.事务的提交阶段

步骤A1：对事务涉及的远端数据进行锁保护，对远端读集合的数据进行验证；

步骤A2：采用乐观并发控制对事务涉及的本地数据进行验证和提交；

步骤A3：对事务涉及的远端数据进行提交并解除锁保护。

2.根据权利要求1所述的基于RDMA和HTM的分布式乐观并发控制方法，其特征在于，在事务的执行阶段，所述步骤S1，包括如下步骤：

使用HTM保护事务本地数据的读取操作，读取内容包括数据值本身和数据的序列号，并在HTM中检查数据是否处于锁保护的状态，如果是，则调用HTM硬件提供的中断指令中断这次操作，回滚读取的内容，重新尝试；如果不是，则正常的进行读取操作。

3.根据权利要求2所述的基于RDMA和HTM的分布式乐观并发控制方法，其特征在于，每个数据分别具有独立的序列号，对数据的序列号的维护发生在事务的提交阶段。

4.根据权利要求1所述的基于RDMA和HTM的分布式乐观并发控制方法，其特征在于，在事务的执行阶段，所述步骤S2，包括如下步骤：

使用RDMA读指令执行事务远端数据的读取操作，检查读取的数据在各缓存行上的版本号是否一致，如果不一致，则抛弃读取的内容，重新尝试；如果一致，则正常的进行读取操作。

5.根据权利要求4所述的基于RDMA和HTM的分布式乐观并发控制方法，其特征在于，数据在缓存行粒度级别上分别具有独立的版本号，数据在各缓存行上的版本号的维护发生在事务的提交阶段。

6.根据权利要求1所述的基于RDMA和HTM的分布式乐观并发控制方法，其特征在于，在事务的执行阶段，所述步骤S3，包括如下步骤：

对于本地读集合的维护发生于步骤S1的开始和结束，在步骤S1开始前检查本地读集合，如果需要读取的内容已经出现在本地读集合内，则直接返回本地读集合中的内容，否则在完成步骤S1后，将读取的内容加入到本地读集合；

对于远端读集合的维护发生于步骤S2的开始和结束，在步骤S2开始前检查远端读集合，如果需要读取的内容已经出现在远端读集合内，则直接返回远端读集合中的内容，否则在完成步骤S2后，将读取的内容加入到远端读集合；

对于本地写集合的维护发生于事务本地数据的写操作中，写操作直接将内容写入到本地写集合中，对于所写内容在本地写集合中已经存在的情形，采用直接覆盖的策略，即新写的内容覆盖已有的内容。

7.根据权利要求1所述的基于RDMA和HTM的分布式乐观并发控制方法，其特征在于，在事务的提交阶段，所述步骤A1，包括如下步骤：

对远端读集合和远端写集合中的数据进行锁保护，该锁保护过程中，作为执行事务的机器通过分布式内存键值数据库找到事务的远端数据在其他机器的内存位置，并使用RDMA的原子指令将数据的状态修改为锁保护状态；对于已经处于锁保护状态的数据，该锁保护过程会一直重试直至数据的锁保护状态解除；与此同时需要对远端读集合的数据进行验证，验证的内容包括检查各数据值上的序列号是否发生变化，如果检查到有数据值的序列号发生变化，则立即进行整个事务的回滚，包括解除远端数据的锁保护并清空事务的读写集合。

8.根据权利要求1所述的基于RDMA和HTM的分布式乐观并发控制方法，其特征在于，在事务的提交阶段，所述步骤A2，包括如下步骤：

通过HTM硬件的保护以保证原子性，整体保护过程分为两步：首先是验证，然后是提交；

验证包括对本地读集合的验证和本地写集合的验证，本地读集合的验证内容包括检查各数据值上的序列号是否发生变化，如果检查到有数据值的序列号发生变化，则立即进行整个事务的回滚；本地写集合的验证内容包括检查各数据值是否处于锁保护的状态，如果检查到数据值处于锁保护的状态，则立即进行整个事务的回滚；

提交包括对本地写集合的提交，本地写集合的提交内容包括更新各数据值的序列号，以及各数据值在缓存行粒度上的版本号；所有的提交均为对数据值的直接修改，由HTM的硬件保护机制保证该过程的原子性和隔离性。

9.根据权利要求1所述的基于RDMA和HTM的分布式乐观并发控制方法，其特征在于，在事务的提交阶段，所述步骤A3，包括如下步骤：

首先对远端写集合中的数据进行提交，该提交过程中，作为执行事务的机器通过分布式内存键值数据库找到事务的远端数据在其他机器的内存位置，并使用RDMA的写指令将数据的最新内容写回，其中提交的内容包括各数据的序列号，以及各数据在缓存行粒度上的版本号；然后解除对远端读写集合数据的锁保护，此解除锁保护过程中，作为执行事务的机器通过分布式内存键值数据库找到事务的远端数据在其他机器的内存位置，并使用RDMA的原子指令解除数据的锁保护状态。