CN103379156A - 实现存储空间动态均衡的方法、系统和装置 - Google Patents

Abstract

本发明提供了实现存储空间动态均衡的方法、系统和装置。该方法应用于被划分为两级负载均衡单元的存储系统中，其中一级负载均衡单元为Chunkmaster，另一级负载均衡单元为Chunk server，一个Chunk master用于管理至少一个Chunk server，一个Chunk server用于管理至少一个Chunk；Chunk master执行以下操作：接收其管理的Chunk server上报的该Chunk server的负载，记录该上报的负载；接收到客户端发送的存储空间请求后，依据该记录的上报的负载，找出其所对应的Chunk server上报的负载满足负载要求，并且其剩余空间大小满足所述存储空间请求的所有Chunk，在该所有Chunk中进行选择，返回选择出的Chunk的标识至所述客户端，由所述客户端根据接收的Chunk标识上传数据至该Chunk标识对应的Chunk。

Description

实现存储空间动态均衡的方法、系统和装置

技术领域

本发明涉及数据存储技术领域，具体涉及实现存储空间动态均衡的方法、系统和装置，特别地，涉及一种分布式存储系统中实现存储空间动态均衡的方法、系统和装置。

背景技术

在互联网数据存储中，存储空间分配均衡能力是体现存储系统业务支撑能力的重要指标，它主要指分布式存储系统集群中各个节点的物理存储块空间分配均衡以及数据热度的均衡，影响着存储系统整体的吞吐能力和数据定位的效率。目前，现有存储空间分配均衡方法主要是分布式文件系统(HDFS：HadoopDistributed File System)中的空间均衡策略。

所谓HDFS，其用于提供高吞吐量来访问应用程序的数据，一般适合有超大数据集的应用程序。HDFS是一个主从结构的体系，一个HDFS集群是由一个NameNode和若干个DataNode组成。其中，NameNode可以是一个主服务器，其用于存储HDFS将一个文件分割成一个或多个数据块的索引，通过NameNode，可以管理文件命名空间中的文件或目录如打开，关闭，重命名等，以及确定数据块索引与DataNode的映射；而DataNode则为从服务器，负责处理来自文件系统客户的读写请求。

HDFS中数据块的分配采用的空间均衡策略主要是：

1)临近优先的原则。通过定义客户端和DataNode的距离方法，优先分配离客户端最近的DataNode，进一步在DataNode上随机选择分配数据块。

2)存储空间的重新调整。当某个DataNode的空闲空间小于某个临界值的时候，启动一个数据搬迁计划，把数据搬迁到其它DataNode上，以使HDFS通过数据搬迁的方式重新达到存储空间均衡。

但是，HDFS中的空间均衡策略没有考虑读写负载对存储系统性能的影响，容易造成某个DataNode负载过高的情况，并且，HDFS中的数据搬迁会占用大量带宽，不适合敏感的数据业务。

发明内容

本发明提供了实现存储空间动态均衡的方法和装置，用于根据负载分配存储空间，并避免由数据搬迁带来的带宽占用问题。

本发明提供的技术方案包括：

一种实现存储空间动态均衡的方法，该方法应用于至少被划分为两级负载均衡单元的存储系统中，其中一级负载均衡单元为数据块Chunk主服务器master，另一级负载均衡单元为Chunk从服务器server，一个Chunk master用于管理至少一个Chunk server，一个Chunk server用于管理至少一个Chunk；

该方法中，每一Chunk master执行以下操作：

接收其管理的每一Chunk server上报的该Chunk server的负载，并记录该上报的负载；

接收到客户端发送的存储空间请求后，依据该记录的上报的负载，找出其所对应的Chunk server上报的负载满足负载要求，并且其剩余空间大小满足所述存储空间请求的所有Chunk，在该所有Chunk中进行选择，返回选择出的Chunk的标识至所述客户端，由所述客户端根据接收的Chunk标识上传数据至该Chunk标识对应的Chunk。

一种实现存储空间动态均衡的装置，该装置为存储系统中的数据块Chunk主服务器master，所述存储系统还包括Chunk从服务器server，其中，所述Chunkmaster用于管理至少一个Chunk server，一个Chunk server用于管理至少一个Chunk；

所述Chunk master包括：

记录模块，用于接收所述Chunk master管理的每一Chunk server上报的该Chunk server的负载，并记录该上报的负载；

处理模块，用于接收到客户端发送的存储空间请求后，依据该记录的上报的负载，找出其所对应的Chunk server上报的负载满足负载要求，并且其剩余空间大小满足所述存储空间请求的所有Chunk，在该所有Chunk中进行选择，返回选择出的Chunk的标识至所述客户端，由所述客户端根据接收的Chunk标识上传数据至该Chunk标识对应的Chunk。

一种实现存储空间动态均衡的装置，该装置为存储系统中的数据块Chunk从服务器server，一个Chunk server用于管理至少一个Chunk；所述存储系统还包括Chunk主服务器master，其中，所述Chunk master用于管理至少一个Chunkserver；

所述Chunk server包括：

管理模块，用于接收所述Chunk master的管理；

上报模块，用于上报所述Chunk server的负载至用于管理所述Chunk server的Chunk master，由该Chunk master记录该上报的负载，并在接收到客户端发送的存储空间请求后，依据该记录的上报的负载，找出其所对应的Chunk server上报的负载满足负载要求，并且其剩余空间大小满足所述存储空间请求的所有Chunk，在该所有Chunk中进行选择，返回选择出的Chunk的标识至所述客户端，由所述客户端根据接收的Chunk标识上传数据至该Chunk标识对应的Chunk。

一种实现存储空间动态均衡的系统，该系统包含如上所述的Chunk master和如上所述的Chunk server。

由以上技术方案可以看出，本发明中，Chunk master在接收到客户端发出的存储空间请求后，依据其管理的各个Chunk server上报的负载，以及各个Chunk server上Chunk剩余空间大小找出满足所述存储空间请求的Chunk，并返回该找出的Chunk至所述客户端，这相比于现有HDFS的空间均衡策略，一方面能够保证各个Chunk server的Chunk空间利用均匀化，另一方面避免由于某一Chunk server负载过热造成局部拥塞、影响存储系统性能，并且，本发明在实现存储空间分配时，并不需要数据搬迁，这也避免由数据搬迁带来的带宽占用问题。

附图说明

图1为本发明实施例提供的流程图；

图2为本发明提供的系统结构图；

图3为本发明实施例提供的Chunk信息表示意图；

图4为本发明实施例提供的示例流程图；

图5为本发明实施例提供的Chunk master结构图；

图6为本发明实施例提供的Chunk server结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

参见图1，图1为本发明实施例提供的流程图。其中，本发明提供的流程应用于被划分为两级负载均衡单元的存储系统中，其中一级负载均衡单元为数据块(Chunk)主服务器(master)，另一级负载均衡单元为Chunk从服务器(server)，一个Chunk master用于管理至少一个Chunk server，具体如图2所示。

基于图2所示的结构，则本发明中，如图1所示，每一Chunk master执行以下步骤：

步骤101，接收其管理的每一Chunk server上报的该Chunk server的负载，并记录该上报的负载。

本步骤101中，Chunk server上报该Chunk server的负载包括：Chunkserver在上报周期到达时，统计本周期内n个时间格子的读写请求数量，并将统计出的读写请求数量作为负载通过心跳包的方式上报至用于管理本Chunk server的Chunk master，其中，所述n个时间格子的时长小于或等于所述上报周期的时长。优选地，本发明中，为达到Chunk master及时获知该Chunk server的负载，可设置Chunk server的上报周期较小，比如5秒等。

其中，所述统计本周期内n个时间格子的读写请求数量可通过以下公式实现：

$\mathrm{ServerLoad}=\underset{i=0..\mathrm{GridCnt}}{\mathrm{\Σ}}{\mathrm{GridLoad}}_i/\mathrm{GridLen};$

ServerLoad为n个时间格子的读写请求数量；GridLen为n个时间格子的时长，比如n为100，而每个格子的长度为50ms，则GridLen＝100×50＝5s；GridLoad_i为第i个时间格子上的读写请求数量之和，而读请求或写请求所在的时间格子通过下式确定：GridNumber＝TimeTick％GridCnt，其中，GridNumber为读请求或写请求对应的时间格子标识，TimeTick为接收读请求或写请求的时间点，GridCnt为时间格子总数。

可以看出，本步骤101中，Chunk server通过将读请求或写请求接收的时间点离散化为时间格子，在上报周期到达时，通过统计本周期内n个时间格子的读写请求数量实时计算出本Chunk server的负载。

步骤102，接收到客户端发送的存储空间请求(Allocation Request)后，依据该记录的上报的负载，找出其所对应的Chunk server上报的负载满足负载要求，并且其剩余空间大小满足所述存储空间请求的所有Chunk，在该所有Chunk中进行选择，返回选择出的Chunk的标识至所述客户端，由所述客户端根据接收的Chunk标识上传数据至该Chunk标识对应的Chunk。

本步骤102中，所述依据其管理的各个Chunk server上报的负载，以及各个Chunk server上Chunk剩余空间大小找出满足所述存储空间请求的Chunk包括以下步骤：

步骤1，依据其管理的各个Chunk server上报的负载，从其管理的各个Chunkserver中找出负载不高于预设的负载警戒阈值的Chunk server；

优选地，本发明中，为便于Chunk master快速找出负载不高于预设的负载警戒阈值的Chunk server，可使Chunk master通过链表方式管理其管理的Chunkserver上报的负载。

步骤2，从找出的Chunk server中找到满足以下条件的Chunk server：剩余Chunk空间大于所述存储空间请求的存储空间；

优选地，本发明中，Chunk master可实时维护其管理的各个Chunk server上的Chunk信息表，其中，该Chunk信息表以Chunk已分配空间为键值索引，保存Chunk ID的哈希链表，具体如图3所示，其中最左边一列表示键值索引，每一行表示Chunk链表。基于此，本步骤2中，可依据图3所示Chunk信息表找到剩余Chunk空间大于所述存储空间请求的存储空间的Chunk server。

另外，若在找出的Chunk server中找不到剩余Chunk空间大于所述存储空间请求的存储空间的Chunk server，则放宽预设的负载警戒线重新进行步骤1。

步骤3，从满足所述条件的Chunk server中选择满足所述存储空间请求、且空闲的Chunk。

优选地，本步骤3可从满足所述条件的所有Chunk中随机选择或在该所有Chunk中选择其对应的Chunk server负载最小、且满足所述存储空间请求的空闲Chunk。其中，在该所有Chunk中随机选择时，该随机几率与所述Chunk的剩余空间大小成正比。

至此，通过上述步骤1至步骤3即可找出满足所述存储空间请求的Chunk。

以上对图1所示的方法进行了分析。为使图1所示的方法更加容易理解，下面通过图4对图1所述的方法进行简单地示例描述：

参见图4，图4为本发明实施例提供的示例流程图。如图4所示，该流程可包括以下步骤：

步骤401，Chunk master维护所有Chunk server的负载和剩余Chunk空间。

步骤402，客户端发送存储空间请求至Chunk master。

步骤403，Chunk master依据已记录的各个Chunk server的负载和剩余的Chunk空间分配具体的Chunk，并返回该Chunk的标识比如Chunk ID给客户端。

本步骤403的分配可按照上述的步骤1至步骤3执行，这里不再赘述。

步骤404，客户端根据接收的Chunk ID上传数据至该Chunk标识对应的Chunk。

至此，完成图4的描述。

可以看出，通过本发明提供的方法，能够针对客户端发出的存储空间请求，选出剩余Chunk空间大于所述存储空间请求的存储空间，且负载在所述找出的Chunk server中最小的Chunk server，这一方面能够保证各个Chunk server的Chunk空间利用均匀化，另一方面避免由于某一Chunk server负载过热造成局部拥塞、影响存储系统性能。

需要补充的是，本发明没有额外考虑高热点数据的分布均衡，这是因为：数据上传后的访问频度，数据是否具有明显数据热点，与具体的业务特性有直接关系，而通常，业务系统会根据具体的业务数据特性，采用相应的高命中率的业务层缓存方案，从而使得进入存储系统的访问请求无明显的高热点数据。因此，本发明没有额外考虑高热点数据的分布均衡，并且，本发明配合业务系统的数据缓存去除高热点数据，可以很好的提高系统的性能。

下面对本发明提供的系统和装置进行描述：

本发明提供了一种实现存储空间动态均衡的系统，该系统如图2所示，其包含Chunk master和Chunk server。

其中，Chunk master用于管理至少一个Chunk server，其结构如图5所示，包括：

记录模块，用于接收所述Chunk master管理的每一Chunk server上报的该Chunk server的负载，并记录该上报的负载；

处理模块，用于接收到客户端发送的存储空间请求后，依据该记录的上报的负载，找出其所对应的Chunk server上报的负载满足负载要求，并且其剩余空间大小满足所述存储空间请求的所有Chunk，在该所有Chunk中进行选择，返回选择出的Chunk的标识至所述客户端，由所述客户端根据接收的Chunk标识上传数据至该Chunk标识对应的Chunk。

优选地，本发明中，所述其所对应的Chunk server上报的负载满足负载要求包括：

其所属的Chunk server上报的负载不高于预设的负载警戒阈值。

另外，本发明中，若不存在满足要求的Chunk，则降低所述负载警戒阈值再进行选择。

还有，本发明中，所述在该所有Chunk中进行选择包括：在该所有Chunk中随机选择或在该所有Chunk中选择其对应的Chunk server负载最小的Chunk。其中，在该所有Chunk中随机选择时，该随机几率与所述Chunk的剩余空间大小成正比。

至于本发明中的Chunk server，其管理至少一个Chunk，结构具体如图6所示，包括：

管理模块，用于接收所述Chunk master的管理；

上报模块，用于上报所述Chunk server的负载至用于管理所述Chunk server的Chunk master，由该Chunk master记录该上报的负载，并在接收到客户端发送的存储空间请求后，依据该记录的上报的负载，找出其所对应的Chunk server上报的负载满足负载要求，并且其剩余空间大小满足所述存储空间请求的所有Chunk，在该所有Chunk中进行选择，返回选择出的Chunk的标识至所述客户端，由所述客户端根据接收的Chunk标识上传数据至该Chunk标识对应的Chunk。

其中，如图6所示，所述上报模块包括：

统计子模块，用于在上报周期到达时，统计本周期内n个时间格子的读写请求数量，所述n个时间格子的时长小于或等于所述上报周期的时长；

上报子模块，用于将统计出的读写请求数量作为负载通过心跳包的方式上报至用于管理本Chunk server的Chunk master。

优选地，所述统计子模块通过以下公式统计本周期内n个时间格子的读写请求数量：

$\mathrm{ServerLoad}=\underset{i=0..\mathrm{GridCnt}}{\mathrm{\Σ}}{\mathrm{GridLoad}}_i/\mathrm{GridLen};$

其中，ServerLoad为n个时间格子的读写请求数量，GridLen为n个时间格子的时长，GridLoad_i为第i个时间格子上的读写请求数量之和，而读请求或写请求所在的时间格子通过下式确定：GridNumber＝TimeTick％GridCnt，GridNumber为读请求或写请求对应的时间格子标识，TimeTick为接收读请求或写请求的时间点，GridCnt为时间格子总数。

至此，完成本发明提供的系统和装置描述。

由以上技术方案可以看出，本发明中，Chunk master在接收到客户端发出的存储空间请求后，依据其管理的各个Chunk server上报的负载，以及各个Chunk server上Chunk剩余空间大小找出满足所述存储空间请求的Chunk，并返回该找出的Chunk至所述客户端，这相比于现有HDFS的空间均衡策略，一方面能够保证各个Chunk server的Chunk空间利用均匀化，另一方面避免由于某一Chunk server负载过热造成局部拥塞、影响存储系统性能，并且，本发明在实现存储空间分配时，并不需要数据搬迁，这也避免由数据搬迁带来的带宽占用问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (16)

1.一种实现存储空间动态均衡的方法，其特征在于，该方法应用于至少被划分为两级负载均衡单元的存储系统中，其中一级负载均衡单元为数据块Chunk主服务器master，另一级负载均衡单元为Chunk从服务器server，一个Chunkmaster用于管理至少一个Chunk server，一个Chunk server用于管理至少一个Chunk；

该方法中，每一Chunk master执行以下操作：

接收其管理的每一Chunk server上报的该Chunk server的负载，并记录该上报的负载；

接收到客户端发送的存储空间请求后，依据该记录的上报的负载，找出其所对应的Chunk server上报的负载满足负载要求，并且其剩余空间大小满足所述存储空间请求的所有Chunk，在该所有Chunk中进行选择，返回选择出的Chunk的标识至所述客户端，由所述客户端根据接收的Chunk标识上传数据至该Chunk标识对应的Chunk。

2.根据权利要求1所述的方法，其特征在于，所述其所对应的Chunk server上报的负载满足负载要求包括：

其所属的Chunk server上报的负载不高于预设的负载警戒阈值。

3.根据权利要求2所述的方法，其特征在于，若不存在满足要求的Chunk，则降低所述负载警戒阈值再进行选择。

4.根据权利要求1所述的方法，其特征在于，所述在该所有Chunk中进行选择包括：

在该所有Chunk中随机选择或在该所有Chunk中选择其对应的Chunk server负载最小的Chunk。

5.根据权利要求4所述的方法，其特征在于，在该所有Chunk中随机选择时，该随机几率与所述Chunk的剩余空间大小成正比。

6.根据权利要求1所述的方法，其特征在于，所述Chunk server上报该Chunkserver的负载包括：

所述Chunk server在上报周期到达时，统计本周期内n个时间格子的读写请求数量，并将统计出的读写请求数量作为负载通过心跳包的方式上报至用于管理本Chunk server的Chunk master；所述n个时间格子的时长小于或等于所述上报周期的时长。

7.根据权利要求6所述的方法，其特征在于，所述统计本周期内n个时间格子的读写请求数量通过以下公式实现：

$\mathrm{ServerLoad}=\underset{i=0..\mathrm{GridCnt}}{\mathrm{\Σ}}{\mathrm{GridLoad}}_i/\mathrm{GridLen};$

其中，ServerLoad为n个时间格子的读写请求数量，GridLen为n个时间格子的时长，GridLoad_i为第i个时间格子上的读写请求数量之和，而读请求或写请求所在的时间格子通过下式确定：GridNumber＝TimeTick％GridCnt，GridNumber为读请求或写请求对应的时间格子标识，TimeTick为接收读请求或写请求的时间点，GridCnt为时间格子总数。

8.一种实现存储空间动态均衡的装置，其特征在于，该装置为存储系统中的数据块Chunk主服务器master，所述存储系统还包括Chunk从服务器server，其中，所述Chunk master用于管理至少一个Chunk server，一个Chunk server用于管理至少一个Chunk；

所述Chunk master包括：

记录模块，用于接收所述Chunk master管理的每一Chunk server上报的该Chunk server的负载，并记录该上报的负载；

处理模块，用于接收到客户端发送的存储空间请求后，依据该记录的上报的负载，找出其所对应的Chunk server上报的负载满足负载要求，并且其剩余空间大小满足所述存储空间请求的所有Chunk，在该所有Chunk中进行选择，返回选择出的Chunk的标识至所述客户端，由所述客户端根据接收的Chunk标识上传数据至该Chunk标识对应的Chunk。

9.根据权利要求8所述的装置，其特征在于，所述其所对应的Chunk server上报的负载满足负载要求包括：

其所属的Chunk server上报的负载不高于预设的负载警戒阈值。

10.根据权利要求9所述的装置，其特征在于，若不存在满足要求的Chunk，则降低所述负载警戒阈值再进行选择。

11.根据权利要求8所述的装置，其特征在于，所述在该所有Chunk中进行选择包括：

在该所有Chunk中随机选择或在该所有Chunk中选择其对应的Chunk server负载最小的Chunk。

12.根据权利要求8所述的装置，其特征在于，在该所有Chunk中随机选择时，该随机几率与所述Chunk的剩余空间大小成正比。

13.一种实现存储空间动态均衡的装置，其特征在于，该装置为存储系统中的数据块Chunk从服务器server，所述Chunk server用于管理至少一个Chunk；所述存储系统还包括Chunk主服务器master，其中，所述Chunk master用于管理至少一个Chunk server；

所述Chunk server包括：

管理模块，用于接收所述Chunk master的管理；

上报模块，用于上报所述Chunk server的负载至用于管理所述Chunk server的Chunk master，由该Chunk master记录该上报的负载，并在接收到客户端发送的存储空间请求后，依据该记录的上报的负载，找出其所对应的Chunk server上报的负载满足负载要求，并且其剩余空间大小满足所述存储空间请求的所有Chunk，在该所有Chunk中进行选择，返回选择出的Chunk的标识至所述客户端，由所述客户端根据接收的Chunk标识上传数据至该Chunk标识对应的Chunk。

14.根据权利要求13所述的装置，其特征在于，所述上报模块包括：

统计子模块，用于在上报周期到达时，统计本周期内n个时间格子的读写请求数量，所述n个时间格子的时长小于或等于所述上报周期的时长；

上报子模块，用于将统计出的读写请求数量作为负载通过心跳包的方式上报至用于管理本Chunk server的Chunk master。

15.根据权利要求14所述的装置，其特征在于，所述统计子模块通过以下公式统计本周期内n个时间格子的读写请求数量：

$\mathrm{ServerLoad}=\underset{i=0..\mathrm{GridCnt}}{\mathrm{\Σ}}{\mathrm{GridLoad}}_i/\mathrm{GridLen};$

其中，ServerLoad为n个时间格子的读写请求数量，GridLen为n个时间格子的时长，GridLoad_i为第i个时间格子上的读写请求数量之和，而读请求或写请求所在的时间格子通过下式确定：GridNumber＝TimeTick％GridCnt，GridNumber为读请求或写请求对应的时间格子标识，TimeTick为接收读请求或写请求的时间点，GridCnt为时间格子总数。

16.一种实现存储空间动态均衡的系统，其特征在于，该系统包含如权利要求8至12任一所述的Chunk master和如权利要求13至15任一所述的Chunkserver。

Images