CN109828722B

CN109828722B - 异构分布式键值存储系统Raft组数据自适应分布方法

Info

Publication number: CN109828722B
Application number: CN201910084290.5A
Authority: CN
Inventors: 柴云鹏; 王洋洋
Original assignee: Renmin University of China
Current assignee: Renmin University of China
Priority date: 2019-01-29
Filing date: 2019-01-29
Publication date: 2022-01-28
Anticipated expiration: 2039-01-29
Also published as: CN109828722A

Abstract

本发明涉及一种异构分布式键值存储系统Raft组数据自适应分布方法，包括以下内容：根据磁盘读写性能和节点KV接口读写性能间的拟合函数，估计节点的读写性能；根据写性能分配数据；每隔设定时间采集系统读写数据情况，并对读写数据情况进行判断；如果是写为主，将Leader在所有副本中设置为最快节点；如果是读为主，根据读性能分配Leader。本发明结合Raft协议的特性，有效利用了节点的性能，对系统的读写性能大幅度提升。

Description

异构分布式键值存储系统Raft组数据自适应分布方法

技术领域

本发明是关于一种异构分布式键值存储系统的Raft组数据自适应分布方法，涉及分布式存储、键值存储、异构以及Raft协议领域。

背景技术

异构分布式键值存储系统：随着分布式存储系统的大规模部署，相当一部分大数据存储于键值(KV)存储系统。与传统关系数据库相比，KV存储具有更高的可扩展性和效率，适应大数据的要求。随着分布式KV存储系统的规模增大，目前异构分布式KV存储系统将成为趋势。主要原因有两点：一、SSD等磁盘的使用寿命有限，并且磁盘在分布式存储系统中损坏率高，因此会常常替换磁盘，而新盘一般比旧盘性能更好、性价比更高；二、高端SSD和NVM等新型硬件价格贵，在集群中只部署一部分这些设备能获得更高的性价比。

Raft协议：之前分布式系统中是使用Paxos协议来保证数据的一致性，但是Paxos协议特别难懂，且不能作为构建实际应用的好基础。直至2014年Raft协议的提出，Raft协议易懂且适应实际的系统，许多系统如Etcd、TiKV等都使用Raft协议。Raft协议处理读写请求的过程如下，假设分布式系统中有3个节点：首先，Raft会选举一个节点成为Leader，Leader负责处理读写请求等，另外2个节点成为Follower。当一个写请求从用户到达Leader时，Leader会把该写请求追加到本地日志并分发给Follower。当有一半以上节点追加该请求日志成功时，Leader会应用该请求日志。当Leader应用请求日志完成时，会把结果返回给客户端。读请求只能从Leader上读取，不能从Follower上读取。当一个读请求从用户到达Leader时，为了保证线性一致性，会确保前面所有已经提交的请求日志应用完成了才会执行读请求，之后返回结果给客户端。

非易失内存：即Non-Volatile Memory(NVM)，是近年来正在兴起的新型快速存储介质，可以像内存一样按位进行访问，也可以像磁盘一样长期保存数据，断电后数据不丢失。目前最主流的NVM介质包括PCM、STT-MRAM和ReRAM等，其中，PCM相对最为成熟。Intel和镁光已经发布新型的NVM产品，分为PCIe接口和内存的DIMM接口两种产品形态，预期近期正式上市销售。

闪存：闪存(Flash)是过去几年内最为成功的新型存储介质，可以提供比磁盘高很多的性能，尤其是在随机访问性能方面优势非常明显。一般以固态硬盘(SSD)的产品形态出现，是标准的块设备，与磁盘的访问方式一样。按照接口不同一般分为PCIe接口、SAS接口和SATA接口的不同固态硬盘产品。

均衡分布技术：均衡分布技术是指每个节点都看成能力相同的同构节点，任意时刻每个节点存储的数据都差不多一样，Raft组的Leader在每个节点的数量也都差不多一样。在基于Raft协议的异构分布式键值存储系统中，Raft组的分布如图1所示，图中有六个节点，六个节点上总共有四个Raft组，每个Raft组都是三副本，每个节点都看成同构的节点，每个节点都有两份数据，Leader也均匀地分布在每个节点。这种均衡的数据和leader分布方式在同构分布式KV存储中是没问题的，但是在异构分布式KV存储中却出现了问题。

综上所述，现有的数据分布技术，例如均衡分布技术，没有考虑到异构场景，在异构分布式KV存储中，没有利用好快节点的性能，相反系统的性能常常被慢节点给拖慢。这是因为在Raft协议中，Leader必须要处理好数据才会反馈结果给客户端，如图1所示，Raft组2的Leader在最慢的节点上，系统的性能将被该节点给拖慢。

发明内容

针对上述问题，本发明的目的是提供一种能够有效利用节点的性能，对系统的读写性能大幅度提升的异构分布式键值存储系统Raft组数据自适应分布方法。

为实现上述目的，本发明采取以下技术方案：一种异构分布式键值存储系统Raft组数据自适应分布方法，包括以下内容：

根据磁盘读写性能和节点KV接口读写性能间的拟合函数，估计节点的读写性能；

根据写性能分配数据；

每隔设定时间采集系统读写数据情况，并对读写数据情况进行判断；

如果是写为主，将Leader在所有副本中设置为最快节点；

如果是读为主，根据读性能分配Leader。

进一步地，根据写性能分配数据的具体过程为：基于Raft协议的异构分布式键值存储系统中六个节点上共有四个Raft组Raft Group1～Raft Group4，当六个节点Node0～Node5的写性能比例分别是3:3:2:2:1:1时，刚开始写入数据的速度比例分别是3:3:2:2:1:1，系统运行一段时间后，快节点Faster Nodes可能会先达到磁盘容量限制，此时快节点Faster Nodes会把冷数据迁移给慢节点Slower Nodes，其中，冷数据为过去一个时间窗口内访问量少于某个阈值的数据块，迁移原则为：数据迁移给节点的实际数据量/写入数据的速度比例值最小的节点。

进一步地，对读写数据情况进行判断的具体过程为：读取数据比例超过设定阈值则认为以读为主，否则为写为主。

进一步地，如果是读为主，根据读性能分配Leader具体过程为：如果检测到现在是读为主，将Leader按照节点的读性能比例进行分配，具体为比较每个节点上的Leader个数/该节点的读性能，将Leader从最大值的节点迁移到最小值的节点，直至各个节点的值均衡为止。

本发明由于采取以上技术方案，其具有以下优点：本发明提出了一种Raft组数据自适应分布方法，结合Raft协议的特性，有效利用了节点的性能，对系统的读写性能大幅度提升。

附图说明

图1是现有均衡分布技术Raft组的分布示意图；

图2是本发明系统架构图；

图3是本发明Raft组数据自适应分布方法流程图；

图4是本发明磁盘写性能与节点写性能的拟合函数示意图；

图5是本发明根据写性能分配数据示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图2所示，本发明提供的异构分布式键值存储系统Raft组数据自适应分布系统架构由三部分组成：

客户端：用于写入或读取数据，提供压力测试，测试系统的性能；

异构分布式KV(Key-Value)存储系统：由不同性能的节点组成，用于根据客户端操作对不同性能的节点进行操作并存储数据；

Raft组自适应分布优化(Adaptive Layout Optimization of Raft Groups,ALOR)模块：用来控制数据和Leader的分布，充分利用节点的性能。

如图3所示，本发明提供的异构分布式键值存储系统的Raft组数据自适应分布方法，包括以下内容：

S1：程序开始，首先估计节点读写性能。

由于采用异构分布式KV存储系统，节点的规模可能非常大，如果去测试每个节点的读写性能，将是非常费事费力。因此可以去测试几个典型的节点，典型的节点通常包括NVM的结点、高端SSD的节点和普通SSD的节点的读写性能和它们的磁盘读写性能，从而得出磁盘读写性能和节点KV接口读写性能之间的拟合函数，拟合函数表达式是指磁盘读写性能和节点KV接口的读写性能之间的映射关系。通过拟合函数表达式，当测试出了任一节点的硬盘读写性能，即可以比较准确地推测出节点KV接口的读写性能。如图4所示。在系统开始运行时，每个节点可以自动测试磁盘读写性能，通过磁盘读写性能根据拟合函数估计出节点的读写性能。

S2：根据写性能分配数据；

每个节点刚开始所含有的数据与写性能比例相关，写性能越高，应当写入的数据越多，如图5所示，基于Raft协议的异构分布式键值存储系统中六个节点上总共有四个Raft组Raft Group1～Raft Group4，当六个节点Node0～Node5的写性能比例分别是3:3:2:2:1:1时，刚开始写入数据的速度比例分别是3:3:2:2:1:1。系统运行一段时间后，快节点FasterNodes可能会先达到磁盘容量限制，图中是Node0和Node1，此时快节点Faster Nodes根据迁移原则将冷数据迁移给慢节点Slower Nodes，其中，冷数据的定义为过去一个时间窗口内访问量少于某个阈值的数据块，迁移原则为：数据迁移给(节点的实际数据量/写入数据的速度比例)值最小的节点(除了达到磁盘容量限制的节点)。

S3：采集系统读写情况即每隔一段时间收集这段时间内系统写入和读取多少数据，并对读写情况进行判断，读取数据比例超过设定阈值(例如90％)为读为主，否则为写为主；

S4：如果是写为主，将Leader在所有副本中设置为最快节点，其中，副本为每份数据要存多份在不同节点，目的是以防节点挂点，数据不会丢失；

如图5所示，Leader都在所有副本中最快节点。这是因为在Raft协议中Leader起到的作用最大，必须等Leader写完数据才会返回结果给客户端，因此写为主的情况下，Leader应该在所有副本中最快节点。

S6：如果是读为主，根据读性能分配Leader。

在读为主的情况下，Leader不能集中在快节点上，不然读性能将下降，因此如果系统检测到现在是读为主，应该把Leader按照节点的读性能比例来分配，具体为比较(每个节点上的Leader个数/该节点的读性能)，把Leader从最大值的节点迁移到最小值的节点，直至各个节点的值均衡为止。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行适当的变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims

1.一种异构分布式键值存储系统Raft组数据自适应分布方法，其特征在于包括以下内容：

根据写性能分配数据；

如果是写为主，将Leader在所有副本中设置为最快节点；

如果是读为主，根据读性能分配Leader，具体过程为：

如果检测到现在是读为主，将Leader按照节点的读性能比例进行分配，具体为比较每个节点上的Leader个数/该节点的读性能，将Leader从最大值的节点迁移到最小值的节点，直至各个节点的值均衡为止。

2.根据权利要求1所述的异构分布式键值存储系统Raft组数据自适应分布方法，其特征在于，根据写性能分配数据的具体过程为：

基于Raft协议的异构分布式键值存储系统中六个节点上共有四个Raft组Raft Group1～Raft Group4，当六个节点Node0～Node5的写性能比例分别是3:3:2:2:1:1时，刚开始写入数据的速度比例分别是3:3:2:2:1:1，系统运行一段时间后，快节点Faster Nodes可能会先达到磁盘容量限制，此时快节点Faster Nodes会把冷数据迁移给慢节点Slower Nodes，其中，冷数据为过去一个时间窗口内访问量少于某个阈值的数据块，迁移原则为：数据迁移给节点的实际数据量/写入数据的速度比例值最小的节点。

3.根据权利要求1所述的异构分布式键值存储系统Raft组数据自适应分布方法，其特征在于，对读写数据情况进行判断的具体过程为：

读取数据比例超过设定阈值则认为以读为主，否则为写为主。