CN108009260A

CN108009260A - 一种大数据存储下结合节点负载和距离的副本放置方法

Info

Publication number: CN108009260A
Application number: CN201711311560.9A
Authority: CN
Inventors: 张兴军; 张妮; 董小社; 梁宁静; 蔡毅
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2017-12-11
Filing date: 2017-12-11
Publication date: 2018-05-08
Anticipated expiration: 2037-12-11
Also published as: CN108009260B

Abstract

本发明公开了一种大数据存储下结合节点负载和距离的副本放置方法，在写入一个数据块副本时，对此块的节点有效域内所有节点进行负载状态和存储距离的综合评价，每次选取评价值最低的三个节点作为块存储节点。本发明选取存储节点的内存使用率、存储空间利用率、磁盘IO利用率这三个重要节点性能指标作为当前节点状态评价因素，考虑到存储距离不仅影响数据写延迟，还可能影响数据或节点失效后的平均修复时间MTTR，因此将放置距离作为节点选取的另一主要参考因素。可选取当前系统的较优节点作为目标存储节点，使得集群负载更加均衡，最终提高了系统可用性和用户服务质量。本发明适用于节点同构和节点异构的存储环境，在不同的大数据存储业务场景下，均可做出适应调整。

Description

一种大数据存储下结合节点负载和距离的副本放置方法

技术领域

本发明涉及计算机分布式文件存储领域，特别涉及一种大数据存储背景下结合节点负载状态和存储距离优化的数据块存储方法。

背景技术

随着业内数据爆炸性增长，传统的存储系统容量和访问瓶颈等问题不能适应指数级的数据增长速度，无法将访问负载均衡分布到存储系统的各个节点。传统方式存储大数据将会带来后续的各种性能和数据管理问题。

分布式文件存储系统和传统存储方式相比，提供了诸多的机制满足大数据存储的功能需求，性能需求和数据管理需求。它追求的是高性能、高容量、高可用性和高可靠性，以及高可管理性等指标。

HDFS是目前Apache开源的设计在廉价(low-cost)集群上的分布式文件系统，数据副本的放置方法影响了集群的整体可用性和可靠性。GFS和HDFS等分布式文件系统都采用较为随机的节点选取方式存储数据块。HDFS默认的副本因子为3，第一个数据块副本存放在客户端的本地机架节点中，而第二个副本存放在一个随机选取的远程机架的节点上，第三个副本选择与第二个副本位于同一机架的不同节点。这种简单的放置策略没有考虑到节点当前工作状态和节点的放置距离等因素，选取的为可用节点而并非最优节点，最终可能产生集群节点负载(存储负载、IO负载)不均衡，放置距离不确定导致的较大写延迟等问题。

发明内容

本发明针对现有副本技术中存在的忽略节点负载状态和数据存储距离的缺陷，提出了一种大数据背景下结合节点负载评价和放置距离的优化的数据副本放置节点选取方法。

为了实现上述目的本发明采取的技术方案为：

一种大数据存储下结合节点负载和存储距离优化的副本放置方法，所述基于节点负载和存储距离的节点评价方式和副本存储位置选取，具体步骤为：

步骤1：对NAD内的节点获取其内存使用情况、节点磁盘使用情况、磁盘IO使用情况以及节点的存储距离等评价因素，计算内存使用率、磁盘使用率、磁盘IO使用率、节点疏远率等；

步骤2：根据业务场景需要对各项评价因素进行优先级排序，在流媒体视频存储业务中，得到的优选级排序为：磁盘IO>存储空间>存储距离>节点内存；

步骤3：使用层次分析法，将不同的指标优先级进行两两对比，其中每个指标的重要程度都用定量常数表示，x₁、x₂、x₃、x₄分别代表了内存利用率、存储空间利用率、磁盘IO利用率、节点疏远率，根据比较值构建判断矩阵X，

步骤4：对判断矩阵X进行归一化处理得到归一化矩阵A，将矩阵A行向量相加可得到列向量B；

步骤5：将列向量B进行归一化处理得到向量λ并求得λ_max，

步骤6：根据公式CR＝CI/RI得出一致性比例，当CR<0.10时，可以接受矩阵的一致性，否则，需要进一步对矩阵修改，直至所构建的矩阵符合一致性得到满足；

步骤7：证明判断矩阵符合一致性要求，根据向量B得出基于节点i当前状态和存储距离的整体评价模型；

步骤8：使用节点评价模型对节点有效决策域内的所有节点进行评价，最终选取评价值最低的三个节点作为本数据块的三个存储节点。

根据步骤1中对评价条件的描述，所述节点有效决策域NAD需满足条件：1)该节点的存储空间利用率低于75％；2)该存储节点所在机架内存储此数据块副本数小于等于1；3)该节点存储的此文件的块数小于等于1；4)该存储节点的正在处理的读写请求数量小于节点负载上限。

根据步骤8中最后选择节点的描述，具体方式是基于节点有效域的候选节点选取,利用基于节点负载和存储距离的节点评价方法对存储位置选取，最终选取的节点为集群中的负载和存储距离较优节点。

本发明提出的结合节点负载状态和存储距离的副本放置方法可选取当前系统的较优节点作为目标存储节点，使得集群负载更加均衡，最终提高了系统可用性和用户服务质量。本发明适用于节点同构和节点异构的存储环境，在不同的大数据存储业务场景下，均可做出适应调整。

附图说明

图1节点有效域整体评价过程

图2块放置节点选取流程图

具体实施方式

本发明的目的旨在解决HDFS数据块存储时采用的随机放置策略而产生的节点负载不均衡，存储距离不确定等问题。

为此，本发明提出了一种结合节点当前负载状态评价和存储距离的数据块放置方式，此方法同样适用于异构Hadoop集群。

在写入一个数据块副本时，对此块的节点有效域内所有节点进行负载状态和存储距离的综合评价，每次选取评价值最低的三个节点作为块存储节点。本发明选取存储节点的内存使用率、存储空间利用率、磁盘IO利用率这三个重要节点性能指标作为当前节点状态评价因素，考虑到存储距离不仅影响数据写延迟，还可能影响数据或节点失效后的平均修复时间MTTR，因此将放置距离作为节点选取的另一主要参考因素。

出于降低数据块放置时待评价的节点数量的目的，本发明提出了节点有效决策域NAD(Node Available Domain)，在系统的副本数量为3的情况下，数据块的节点有效决策域内的节点需满足以下限制条件：

(1)该节点的存储空间利用率低于75％；

(2)该存储节点所在机架存储此数据块副本数小于等于1；

(3)该节点存储的此文件的块数小于等于1；

(4)该存储节点的正在处理的读写请求数量小于节点负载上限；

上述限制条件可以在数据存储节点Datanode中查询获取，而满足以上限制条件的节点将加入本文件数据块的有效决策域，由于HDFS的文件写操作是一个连续的块写入过程，同一文件不同块的节点有效域将会限制每一个块都写入不同的节点，可以保证文件的并发读能力。NAD内的所有节点为候选节点，将参与此数据块的放置节点评价过程。

在实际业务中，不同类型的数据存储和访问场景对存储节点的性能要求不同。本发明的存储节点状态衡量参考流媒体和视频资源对存储系统的性能需求资料以及各指标收费标准，得到影响因素的排序：磁盘IO>存储空间>存储距离>节点内存。根据多属性决策论，利用层次分析法(Analytic Hierarchy Process)为每个评价指标确定相对权重,继而得出节点评价模型。最终选取评价值最低的三个节点存储块副本。

本发明的整体思路和解决步骤如下：

第一步，将待写入的数据文件划分为多个块，为每个数据块确定其节点有效决策域NAD，有效域内的节点需要满足上述发明内容的条件(1)(2)(3)(4)，NAD内的所有节点都将参与节点评价过程。

第二步，对NAD内的所有节点进行节点负载状态和存储距离的综合评价，节点状态评价因素为内存使用率、存储空间利用率以及磁盘IO使用率，存储距离也作为一个重要的评价指标。

其中，节点内存使用率为已占用的内存和内存大小之间的比值，计算方法如下：

公式(1)的为节点i已使用的内存大小；是节点i总的内存量。以上参数值可以从节点文件/proc/meminfo中获得。

公式(2)的存储空间利用率的值为节点上被使用的存储空间和节点所有存储空间大小的比率。计算如下：

在公式(2)中，为节点i已经占用的存储空间；是节点i总的存储空间大小。

以上两个数据可以通过Linux命令df–h查询获取，获取方式不受限制。

磁盘IO利用率指的是在一段时间内磁盘处理的数据量和磁盘能够处理的最大数据量之间的比值，用以下公式表示：

公式(3)的为节点i正在使用的IO数据量；IOPS_i为节点i的磁盘每秒的输入输出量。

和IOPS_i需要从文件/proc/partition和文件/proc/diskstats中获取，根据上式计算出节点i的磁盘IO利用率。

节点存储距离的制定规则为，两个节点之间的距离等于节点所在机架到客户端所在机架的距离，机架之间的距离可用两个机架之间通信需要经过的交换机数量来表示，为了统一衡量距离在评价体系的度量标准，本发明提出用疏远率RR(Remote Rate)来表示两个机架的距离，RR越小，两个机架的相对距离越近。计算方法如下：

RR_i＝Dis_i/Num_switch (4)

Dis_i为节点i所在机架和客户端机架之间的交换机数量；Num_switch是集群中所有的交换机数量。

使用线性加权法，根据不同指标在总评价中所占比重不同，基于不同参数的重要程度为其赋予不同的系数。总目标值等于所有指标与所占比重的乘积之和。目标节点评价函数如下：

在公式(5)中，λ_i为表示指标重要程度的权重系数；f_i对应此指标的具体值。

根据层次分析法(AHP)确定每个指标的权重。方法为结合测试分析和其他权威实验结果，将不同的指标都进行对比，每个指标的重要程度都用定量常数表示。将每层的元素根据其重要程度进行排序，最终根据每层的排序结果可计算的不同指标的权重。

根据实验和其他参考文献得到重要性排序矩阵X。依据多属性决策论里面的Saaty标度表如下所示。

标度	含义
		1	代表两个指标同样重要
3	代表两个指标，前者略微重要
		5	代表两个指标，前者显著重要
7	代表两个指标，前者比后者重要的多
		9	代表两个指标，前者比后者极端重要
2,4,6,8	代表上述中间情况

根据Satty结合重要性排名建立矩阵后根据以下公式得出一致性指标值。

下表为一致性指标RI。

标度	1	2	3	4	5	6	7
								RI	0	0	0.58	0.90	1.12	1.26	1.36

由公式CR＝CI/RI可得出一致性比例。当CR<0.10时，可以接受矩阵的一致性。否则，需要进一步对矩阵修改。

综上，使用x₁、x₂、x₃、x₄、分别代表内存利用率、存储空间利用率、磁盘IO利用率、节点疏远率，结合以上四个指标，构造如下矩阵：

结合Saaty标识表得到判断矩阵X,对X进行列向量归一化得到了归一化矩阵A。

将归一化处理后的判断矩阵行相加可以得到列向量B＝(0.36,1.02,1.98,0.99)^T，对此向量进行归一化处理得到向量λ＝(0.06,0.27,0.51,0.16)^T。

由公式(7)计算出λ_max＝4.0074，查得RI＝0.9，根据公式(6)得出CI＝0.0025，进一步求得CR＝0.0027，证明构造的判断矩阵符合一致性要求。因此，结合节点i当前状态和存储距离的整体评价模型如下：

第三步，根据上式对节点有效决策域内的所有节点评价，并选取评价值最低的三个节点作为本数据块的三个存储节点，节点选取过程如图2所示。

Claims

1.一种大数据存储下结合节点负载和距离的副本放置方法，其特征在于：所述基于节点负载和存储距离的节点评价方式和副本存储位置选取，具体步骤为：

步骤1：对NAD内的节点获取其内存使用情况、节点磁盘使用情况、磁盘IO使用情况以及节点的存储距离等评价因素，计算内存使用率、磁盘使用率、磁盘IO使用率、节点疏远率；

步骤5：将列向量B进行归一化处理得到向量λ并求得λ_max，

<mrow> <msub> <mi>&lambda;</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <mfrac> <msub> <mrow> <mo>(</mo> <mi>X</mi> <mi>&lambda;</mi> <mo>)</mo> </mrow> <mi>i</mi> </msub> <mrow> <msub> <mi>k&lambda;</mi> <mi>i</mi> </msub> </mrow> </mfrac> <mo>;</mo> </mrow>

2.根据权利要求1所述的一种大数据存储下结合节点负载和距离的副本放置方法，其特征在于，根据步骤1中对评价条件的描述，所述节点有效决策域NAD需满足条件：1)该节点的存储空间利用率低于75％；2)该存储节点所在机架内存储此数据块副本数小于等于1；3)该节点存储的此文件的块数小于等于1；4)该存储节点的正在处理的读写请求数量小于节点负载上限。

3.根据权利要求1所述的一种大数据存储下结合节点负载和距离的副本放置方法，其特征在于，根据步骤8中最后选择节点的描述，具体方式是基于节点有效域的候选节点选取,利用基于节点负载和存储距离的节点评价方法对存储位置选取，最终选取的节点为集群中的负载和存储距离较优节点。