CN110262754A

CN110262754A - 一种面向NVMe和RDMA的分布式存储系统及轻量级同步通信方法

Info

Publication number: CN110262754A
Application number: CN201910515887.0A
Authority: CN
Inventors: 翁楚良; 涂云山; 储佳佳; 张耀
Original assignee: East China Normal University
Current assignee: East China Normal University
Priority date: 2019-06-14
Filing date: 2019-06-14
Publication date: 2019-09-20
Anticipated expiration: 2039-06-14
Also published as: CN110262754B

Abstract

本发明公开了一种面向NVMe和RDMA的分布式存储系统及轻量级同步通信方法，旨在充分发挥NVMe和RDMA设备高效地存取和通信性能。本发明解决了新型硬件环境下传统分布式存储系统软件开销过大的问题，其技术方案可概括为：提出了一种定制化的分布式系统架构，一个通用的、多功能的底层存储系统解决方案；轻量级的存储和网络软件堆栈；将NVMe协议中混合使用的I/O队列对完全隔离，划分专用于写入、专用于读取及共享读取和写入的队列；实现了异步和同步的I/O轮询模型；基于数据通信场景混合双边和单边模型；在传统的Raft协议基础上，引入了一个学习的阶段。本发明充分利用硬件特性，提高了数据存取和传输的效率，适用于任意支持NVMe和RDMA的硬件设备。

Description

一种面向NVMe和RDMA的分布式存储系统及轻量级同步通信方法

技术领域

本发明属于软件开发技术领域，尤其涉及一种面向NVMe和RDMA的分布式存储系统及轻量级同步通信方法。

背景技术

在过去的近十年里，随着新型存储和高速网络技术的飞速发展，硬件已经取得了显著的进步，进而使得设备的访问延迟，得到了显著地降低。在存储方面，由于新型非易失存储协议（NVMe）的浮现，使得固态盘的存取时延可低至十微秒，带宽可高达五十五万IOPS，并且，面向数据中心的非易失性内存系列产品的性能已经可以与DRAM 相媲美，例如，英特尔傲腾技术。在网络方面，传统高性能领域所采用的高速远程内存直接访问（RDMA）技术，逐渐开始在数据中心普及，这也使不同节点间一次数据传输的往返时延可以小于五微秒。

对于大规模数据处理应用来说，虽然新型的硬件技术已经足够快了，但是直接将传统的软件堆栈部署在新型的硬件设备上，很难充分地利用硬件技术进步带来的全部红利。这是因为，在整个软件堆栈中，随着硬件开销的不断降低，软件开销所占的比例随之变大，已经到了不可被忽视程度。因此，系统需要降低非必要的软件开销，从而进一步地释放新型硬件的潜在性能。在数据处理应用中，为了降低不必要的软件开销，整个计算机系统应该与特定的应用场景相结合，需要更多的定制化设计策略，促进上层的应用程序与更低级别的系统集成设计，进一步探索计算机系统的潜在性能。

综上所述，随着计算硬件技术的不断发展，整个系统的性能得到了很大的改进，但是，在整个软件设计，传统的软件堆栈已经成为新的系统瓶颈，需要与具体应用相结合，更加定制化，才能释放出硬件技术进步带来的全部红利。

发明内容

本发明结合NVMe和RDMA设备的硬件特性，实现了一种轻量级的、定制化的分布式存储系统，目的是缓解基于新型硬件的分布式系统中分层设计导致硬件性能发挥受限问题。

实现本发明目的的具体技术方案是：

一种面向NVMe和RDMA的分布式存储系统，特点是所述系统包括服务节点（SERVER）和监控节点（MONITOR）；所述服务节点直接对客户端提供存储服务，每一个服务节点均由代理（AGENT）服务和存储（KEEPER）服务组成，代理服务路由关系表存储位置，存储服务持久化关系表中的数据；所述监控节点增加、修改、删除服务器位置和运行状态及关系表和代理服务之间的映射关系；监控节点管理根表、服务器列表集群元数据，服务节点管理数据元数据；在传统的Raft协议基础上，引入了一个学习的阶段，主动地向其他节点拉取已确认提交的日志。

一种面向NVMe和RDMA的轻量级同步通信方法，特点是所述方法包括轻量级的I /O 软件堆栈、面向NVMe的表格存储机制、异步和同步的I /O 轮询模型以及基于RDMA 的数据通信同步策略；

所述轻量级的I / O 软件堆栈，由存储和网络两个软件栈组成，存储软件栈基于英特尔SPDK驱动模块，在用户态中，直接将关系表中数据以逐行方式，持久化到NVMe设备的逻辑块中，网络软件栈，基于RDMA提供的verbs接口，在用户态中，基于通信场景，混合使用单边和双边模型；

所述面向NVMe的表格存储机制，使用共享内存，减少RDMA 和NVMe 设备间的内存拷贝，将NVMe协议中混合使用的I / O队列对完全隔离开，划分为专用于写入的队列、专用于读取的队列以及共享读取和写入的队列，来自客户端的请求对写入较敏感，插入到专用于写入的提交队列中排队，来自客户端的请求对读取较敏感，插入到专用于读取的提交队列中排队，来自客户端的请求对读取或写入都不敏感，插入到共享读取和写入的提交队列中排队；

所述异步和同步的I /O 轮询模型，在异步轮询中，将所有完成队列绑定到某个特定的CPU 核心上，在同步轮询中，工作线程在提交请求后，该线程轮询对应的完成队列；

所述基于RDMA的数据通信同步策略，依据数据通信场景的不同，混合RDMA双边和单边数据同步通信，将分区子表数据从代理服务中写入远端存储服务中，采用双边模型主动地写入方式，从存储服务中读取子表数据到代理服务中，采用双边模型主动地读取方式，在主从代理服务间同步数据时，使用单边模型主动地写入方式；其中：

所述双边模型主动地写入方式，步骤如下：

第一步：代理服务所在节点的CPU 通过调用ibv_post_send() 函数，主动地将写入请求连同数据一起发送给远端的存储服务；

第二步：存储服务为该写入请求分配一段连续的内存空间，将数据填入到本地的内存当中；

第三步：当数据同步到NVMe 固态盘之后，便响应远端的代理服务；

所述双边模型主动地读取方式，步骤如下：

第一步：代理服务所在服务节点的CPU 通过调用ibv_post_send() 函数，将相应的读请求发送到远端的存储服务中；

第二步：远端的存储服务所在节点的CPU 解析该请求，查找待读取数据的存放位置；

第三步：将读取的数据随响应消息一同发送给远端的代理服务；

所述单边模型主动地写入方式，步骤如下：

第一步：主代理服务直接调用rdma_post_write()函数，主动地将数据写入到远端从代理服务节点的内存中。

本发明的有益效果：本发明公开了一种面向NVMe和RDMA的分布式存储系统及轻量级同步通信方法，充分利用硬件特性，提高了数据存取和传输的效率，适用于任意支持NVMe和RDMA的硬件设备。

附图说明

图1是面向NVMe 和RDMA 的分布式存储系统架构图；

图2是面向NVMe 和RDMA 的分布式存储系统服务节点交互图；

图3是专用于读/写和混合读写的I / O 队列图；

图4是同步与异步I/O方式图。

具体实施方式

本发明的一种面向NVMe和RDMA的分布式存储系统，提出了一种定制化的分布式系统架构：(1) 更高的内部相关性，在系统中，应保持合理恰当的数据分布，减少节点之间非必要的数据传输开销。在各个节点之间，分布式系统也应平衡工作负载，达到相对均衡的状态，内部高度耦合，以减少子系统间的通信开销；(2) 无功能重叠，分布式系统应减少了各层子系统内部的功能重叠，有且仅有一套元数据管理策略和结构，从而提高软件系统的效率及资源利用率。因为设计目标是高度耦合和定制化的分布式系统；(3) 面向关系表的编程模型，为了处理大规模的应用数据，分布式系统需要为上层OLTP、OLAP 以及HTAP 等多种混合工作负载的应用，提供直接面向关系表的存储服务。基于上述系统框架，设计实现了一个面向关系表的分布式存储系统，是一个通用的、多功能的底层存储系统。在传统的Raft协议基础上，引入了一个学习的阶段，主动地向其他节点拉取已确认提交的日志，使得：在不同的关系表中，所有元组操作，可以并行执行、乱序提交；在同一张关系表中，不同的元组操作，可以并行执行、乱序提交；而在同一张关系表中，同一个元组的操作，仍顺序执行、顺序提交。

本发明的一种面向NVMe和RDMA的轻量级同步通信方法，采用轻量级的用户态I /O 软件堆栈，使得分布式系统中任何进程都可以直接访问网络和存储设备，从而充分发挥新型高速硬件的潜在性能。如图3所示，鉴于NVMe 协议多队列的特性，基于操作类型的不同，将传统混合使用的I / O 队列对完全隔离开，划分为专用于写入、专用于读取及共享读取和写入的队列。当来自客户端的请求对写入较敏感，将被插入到专用于写入的提交队列中排队，从而减少写入请求的响应延迟。同样，当来自客户的请求对读取较敏感，将被插入到专用于读取的提交队列中排队，从而改善读取请求的响应时延。当来自客户端的请求对读取或写入都不敏感，将被插入到读取和写入共享的队列中排队，改善非必要的资源消耗，提高系统的资源效率。这种读写分离的策略可以将读取和写入请求完全隔离开，可以将不同的I / O 请求分割到不同队列对中，减少它们之间的相互影响，从而改善读取和写入操作的响应延时。无论是共享队列还是专用队列，系统均实现了异步和同步的I /O 轮询模型，如图4所示。在异步轮询中，系统将所有完成队列绑定到某个特定的CPU 核心上，目的是为了在被提交的请求发生回调之前，工作线程可以执行其他计算工作。然而，在同步轮询中，工作线程在提交请求后，仍然需要自己轮询对应的完成队列，而不是绑定到某一个特定的CPU 核心，这样做的好处是没有线程间的上下文切换，可以进一步降低每个请求的响应延迟。通过共享内存的方式，减少了RDMA网卡和NVMe固态盘之间的内存拷贝问题。在一个应用程序中，无论是双边还是单边模型，仅采用一种模型很难充分发挥RDMA 技术革新带来的全部潜在性能，因此，使用基于数据通信场景定制的混合双边和单边模型。将分区子表中数据从代理服务中写入远端存储服务中，采用双边模型主动地写入方式。从存储服务中读取子表中数据到代理服务中，采用双边模型主动地读取方式。在主从代理服务间同步数据时，使用单边模型主动地写入方式。

实施例

本发明实施例中一种面向NVMe 和RDMA 的分布式存储系统，其系统架构参见图1。实施例系统架构由客户端、监控节点、服务节点三部分组成。在整个集群中，监控节点和服务节点都是与客户端直接交互的运行单元。服务节点是整系统的核心节点，它负责维护每张关系表存储位置的路由，也负责持久化关系表内的所有数据。监控节点则是整个系统的管理者，与所有服务节点保持心跳包，负责维护集群中节点信息，以及关系表存储位置的路由信息，然而，每张关系表的元数据管理由相应的代理服务负责维护。因此，系统可以将部分监控节点的工作负载卸载到各个服务节点上，从而可以提高分布式系统的可扩展性。所有监控节点和服务节点均绕过内核，采用内核旁路的方法直接访问NVMe固态盘，并采用RDMA 高速网络彼此相连。如图2所示，在每个服务节点中，有两类不同的服务，分别是代理服务和存储服务，它们分别负责路由关系表存储位置和持久化关系表中的数据。所有的元数据和关系表均分散在不同的服务节点上的NVMe固态盘中，进行持久化存储。

本发明数据写入和读取方法实施例的服务节点交互参见图2。来自客户端的关系表数据，首先流向主节点的代理服务中，然后同步到多个从节点的代理服务中，最后异步地持久化到存储服务中。如图2所示，代理服务负责管理维护每张关系表，及存储每张表的关系模式，它也直接负责与客户端的相互交互。一旦有来自客户端的请求到达，服务节点中的分配调度程序将分配一个工作线程来执行该请求。除此以外，代理服务也负责存储元组索引和子表索引，这些索引均持久化到NVMe 固态盘中。在代理服务中，也有一个非易失性缓冲区（Buffer），用来加速数据的存储，称为非易失子表。当客户端插入一个元组时，系统首先将其写入到代理服务的非易失性子表中。然后，在非易失性子表中累积数据，当到达一定阈值时，其中的数据将被拆分成多个子表，并采用日志结构的方式对这些子表进行持久化。最后，再将这些原始的数据子表通过RDMA 网络异步就近地刷新到不同的存储服务中。在存储服务一侧，当数据到达RDMA 网卡和NVMe 固态盘之间的共享内存时，分区子表数据将以日志结构的形式被存储，递增式持久化到NVMe 固态盘中。此外，在代理服务中，还有一个单级缓存（Cache）来加速查询操作，来自客户端查询请求首先会去该缓存中读取数据，如果读成功直接返回，否则才将从存储服务的外部设备中读取数据。

Claims

1.一种面向NVMe和RDMA的分布式存储系统，其特征在于，该系统包括服务节点和监控节点，所述服务节点直接对客户端提供存储服务，每一个服务节点均由代理服务和存储服务组成，代理服务路由关系表存储位置，存储服务持久化关系表中的数据；所述监控节点增加、修改、删除服务器位置和运行状态及关系表和代理服务之间的映射关系；监控节点管理根表、服务器列表集群元数据，服务节点管理数据元数据，在传统的Raft协议基础上，引入了一个学习的阶段，主动地向其他节点拉取已确认提交的日志。

2.一种面向NVMe和RDMA的轻量级同步通信方法，其特征在于，所述方法包括轻量级的I/ O 软件堆栈、面向NVMe的表格存储机制、异步和同步的I /O 轮询模型以及基于RDMA 的数据通信同步策略；

所述双边模型主动地写入方式，步骤如下：

所述双边模型主动地读取方式，步骤如下：

所述单边模型主动地写入方式，步骤如下：

第一步：主代理服务直接调用rdma_post_write() 函数，主动地将数据写入到远端从代理服务节点的内存中。