CN109033298A - 一种在异构hdfs集群下的数据分配方法 - Google Patents

Abstract

本发明提供了一种在异构HDFS集群下的数据分配方法，包括：步骤1，基于Trace文件分析预测文件的初始热度值；步骤2，利用BP神经网络调整文件的当前热度值；步骤3，根据文件的当前热度值，为文件设置相应的存储策略，将不同热度的文件存储到具有不同读写性能的异构设备中，实现对冷热数据的分类存储。本发明在实际的HDFS集群运行时，实现了对冷数据和热数据更加合理的实时分配，从而能够充分利用集群中SSD和机械硬盘这两种现有异构存储设备不同的读写特性，更加精确地将经常访问的热数据存储到SSD，不常访问的冷数据存储到机械硬盘，在一定程度上提高了集群中数据的存取效率和整个集群的吞吐量，从而提升了整个HDFS集群的读写性能。

Description

一种在异构HDFS集群下的数据分配方法

技术领域

本发明属于数据处理技术领域，具体涉及一种在异构HDFS集群下的数据分配方法。

背景技术

现有HDFS(Hadoop Distributed File System，分布式文件系统)数据分配方法(DISK优先算法和SSD优先算法)通常是首先为所有数据统一分配存储策略，然后根据数据的访问频率去动态调整其存储策略，最终实现冷热数据的分类存储。然而，如果采用传统策略对HDFS集群中的数据进行分配，可能会造成：

在HDFS集群运行时，

1)一些不常访问的冷数据可能被存储在集群中的SSD上，导致集群中固态硬盘的命中率不高，无法充分发挥SSD作用，造成SSD硬件资源的浪费，在一定程度上影响了集群的性能；

2)一些频繁访问的热数据可能被存储在DISK上，导致这些数据的读写效率低，降低了系统的吞吐量和存取效率,在一定程度上也影响了集群的性能。

这样，由于这些数据没有被精确分配到HDFS集群中合适的存储介质上，可能导致这些数据的读/写效率较低，访问性能较差，从而可能对整个HDFS集群的性能造成一定程度的影响。

发明内容

本发明的目的是提供一种在异构HDFS集群下的数据分配方法，来精确地分配冷数据和热数据，实现在集群实际运行时：将热数据实时分配到集群的SSD上，提高数据的访问速度；将冷数据移出集群的SSD，节省SSD空闲存储容量，以便更高效的数据处理，更好地发挥集群中SSD的作用。最终在一定程度上提高整个集群的读写性能。

本发明提供了一种在异构HDFS集群下的数据分配方法，包括：

步骤1，基于Trace文件分析预测文件的初始热度值；

步骤2，利用BP神经网络调整文件的当前热度值；

步骤3，根据文件的当前热度值，为文件设置相应的存储策略，将不同热度的文件存储到具有不同读写性能的异构设备中，实现对冷热数据的分类存储。

进一步地，步骤1包括：

基于HDFS应用程序的历史Trace或当前HDFS应用程序的历史记录进行统计、分析，基于可能影响文件热度的因素构建模型，通过构建的模型预测出不同类型文件的初始热度值；其中，可能影响文件热度包括文件类型、文件大小和文件上传用户。

进一步地，步骤2包括：

基于可能影响文件未来访问热度的关键因素构建模型计算文件当前热度值，并利用BP神经网络进行优化调整；其中，关键因素包括所述文件在某时间段的访问次数、文件的大小、文件的类型和类型相同的所有文件在该时间段的总访问次数。

进一步地，步骤3包括：

对所有上传的新文件，进行热度值排序，根据排序情况，为热度值较大的文件设置高级别的存储策略，为热度值较小的文件设置低级别的存储策略，同时，检查SSD存储设备的空闲容量，决定是否为热度值较大的文件设置高级别的存储策略，重复上述过程，直到所有文件都已被分配正确的存储策略。

进一步地，步骤3还包括：

基于热度值设置文件置换策略，包括：

在文件的热度值发生改变时，检查新热度值的范围，如果新热度值大于高级别存储策略设定的最低值，为当前的文件设置高级别的存储策略，并将文件移动到相应的存储设备中，如果相应的存储设备没有足够的空闲容量来存储当前文件，在该存储设备中选择一个具有最低热度值的文件，为此文件设置低级别的存储策略，并将其移动到相应的设备，以释放容量，重复上述过程，直到可以存储当前文件为止。

与现有技术相比本发明的有益效果是：

在实际的HDFS集群运行时，实现了对冷数据和热数据更加合理的实时分配，从而能够充分利用集群中SSD和机械硬盘这两种现有异构存储设备不同的读写特性，更加精确地将经常访问的热数据存储到SSD，不常访问的冷数据存储到机械硬盘，在一定程度上提高了集群中数据的存取效率和整个集群的吞吐量，从而提升了整个HDFS集群的读写性能，使得HDFS集群在数据分配方面的表现更加出色。

附图说明

图1是本发明一种在异构HDFS集群下的数据分配方法的流程图；

图2是本发明基于Trace分析预设文件初始热度值示意图；

图3是本发明计算被访问文件实时热度值示意图；

图4是本发明BP调整流程图；

图5是本发明HDFS存储策略分配图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

本实施例提供了一种在异构HDFS集群下的数据分配方法(基于HDFS的数据动态分配策略---DDAS)，以适应现有HDFS系统中的异构存储设备和提升HDFS整体性能。

DDAS综合考虑了许多可能影响数据未来访问热度的关键因素，首先基于历史Trace文件分析预测数据的初始热度，进行初次分配；然后利用BP神经网络来调整和优化数据的当前热度值，进行实时分配，从而最终实现数据的精确分配。具体包括：

(一)基于Trace文件分析预测文件的初始热度值(通过热度值来反映文件热度)。

基于其他HDFS应用程序的大量历史Trace(或当前HDFS应用程序的历史记录)进行统计、分析，综合考虑其中文件类型、文件大小和文件上传用户等可能影响文件热度的一些因素，构建模型来预测出不同类型文件的初始热度值。这样，当每个新文件第一次上传到HDFS集群上时，根据新文件的类型，为其预设一个初始热度值，实现对文件热度的初始分配。

实现系统初始对第一次上传的文件进行分配时，将文件根据基于历史Trace文件分析预设的初始热度值的不同分别存放到SSD和普通磁盘上，从而减少文件在实际应用中的迁移开销。

(二)利用BP神经网络调整文件的当前热度值。

当文件被访问时，综合考虑文件类型、文件大小和文件访问次数等可能影响影响文件热度的关键因素(如：该文件在某时间段的访问次数、该文件的大小、该文件的类型和类型相同的所有文件在该时间段的总访问次数等)，构建模型来计算文件的当前(实时)热度值，之后利用BP神经网络进行调整。然后根据调整后的热度值，预测出经常访问的热文件和不常访问的冷文件，实现对文件热度的实时分配，从而使系统对文件冷热度的实时分配更加精确。而传统分配方法中基于访问频率的冷热文件分配是利用过去一段时间的文件访问次数来预测文件未来的访问热度，而忽略了文件类型和文件大小等一些其他关键因素对文件未来访问热度影响的事实。

(三)基于热度值的数据动态分配策略设计与实现。

利用HDFS提供的六种存储策略，根据文件的当前热度值，为文件设置相应的存储策略，进而通过HDFS提供的存储接口，精确地将不同热度的文件存储到具有不同读写性能的异构设备中，实现对冷热数据的分类存储，从而有效地提高数据的访问效率，最终提升整个HDFS集群的数据读写性能。

下面对本发明作进一步详细说明。

HDFS数据分配策略(方法)的总流程参图1所示。具体内容包括：

1、基于Trace文件分析预设文件初始热度值。

通过热度值来衡量文件热度，设计出了一种基于Trace分析预设文件初始热度值的方法，如图2所示。

在该方法中，根据上传文件大小、上传用户和上传文件类型等属性来预测新文件的初始热度值。首先，统计与分析其他HDFS应用程序的大量Trace(即文件上传/下载记录)(或当前HDFS应用程序的历史记录)。然后，构建一个模型用于存放最近的20000行历史信息，而这些历史信息中记录了文件的类型和大小这两个属性对文件访问热度的影响。该模型如数学公式(1)所示，其中“sum”表示最近20000行记录中访问了某种类型文件的次数；“size”表示文件的大小；“type”表示文件的类型，在本文中，定义了四种类别：文档类、图片类、音频类和视频类，并用“3”代表文档类，“2”代表图片类，“1”代表音频类，“0”代表视频类。

在该公式中，c1、c2和c3是为了把“HotValue(initial)”控制在一个合适的范围内，使其不至于太大或太小。另外，公式中还涉及到三个关键系数，k1表示文件访问次数对热度值影响的权重，k2表示文件大小对热度值影响的权重，k3表示文件类型对热度值影响的权重。在本文中，对于如何定义“同种类型”的文件，考虑了两种情况：具有与当前文件类型相同、大小相似的历史文件；上传用户相同的文件。在这两种情况下，为其分别设置权重a1和a2，“sum”用数学公式(2)表示如下。

sum＝a1·sum1+a2·sum2 (2)

例如，如果有一个由用户“user1”上传的新文件，大小为8MB和格式为MP3。首先统计、分析历史记录和计算“sum”：一部分是统计格式为MP3和大小为8MB-10MB的文件的访问次数“sum1”；另一部分是统计格式为MP3和上传用户为“user1”的文件的访问次数“sum2”。然后根据这些信息，可以计算新文件的热度值，并将其设置为该文件的初始热度值。此外，如果一个文件超过128MB，就将此文件的所有数据块设置为相同的热度值。

2、计算文件实时热度值。

正如前文所述，通过热度值来预测文件在未来的访问热度。也即是说，每当文件被访问时，其热度值就会发生改变，改变后的热度值即文件的实时热度值，如图3所示。

在HDFS系统实际运行时，首先综合考虑了影响文件访问频率的四个关键因素：文件过去一段时间的访问次数、文件大小、文件类型和类型相同的所有文件的总访问次数。然后构建模型来计算被访问文件的实时热度值，该模型如数学公式(3)所示。其中，“HotValue(current)”表示某文件的实时热度值，用来预测该文件在将来的访问频率。热度值大的文件将被存储在SSD，热度值小的文件将被存储在普通磁盘。“accesses”表示该文件在过去一段时间的访问次数；“size”表示该文件的大小；“type”表示该文件的类型，在本实施例中，定义了四种类别：文档类，图片类，音频类和视频类，并用“3”代表文档类，“2”代表图片类，“1”代表音频类，“0”代表视频类。“sumtype”表示与该文件类型相同的所有文件的总访问次数。

在该公式中，涉及到五个重要系数：k4、k5、k6、k7和k8，分别用来表示“accesses”、“accesses/size”、“type”、“sumtype”和“sumtype/size”对文件当前热度值影响的权重。例如，当一个文件第一次上传时，由于“accesses”＝0，“HotValue(current)”就只与k7和k8有关，即这时的文件热度值是由“sumtype”和“size”这两个因素决定的。

3、BP调整文件热度值。

BP神经网络是一种按误差逆传播算法训练的多层前馈网络，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小，最终实现减少系统实际输出与期望输出之间误差的目的。基于BP调整文件热度值能够更精确地预测文件的访问频率，实现文件更精确的分配。当文件被访问时，根据公式(3)，计算得到文件的实时热度值，之后利用BP进行调整。然后根据调整后的文件热度值，预测出经常访问的文件和不常访问的文件。最后将所有文件分别存储到具有不同读写性能的异构设备中。BP调整文件热度值的处理流程如图4所示。算法1(下表所示)描述了BP的具体实现。

在算法1中，第1-2行描述了整个BP神经网络的“输入”和“输出”。“输入”是前面提到的五个因素，把它们表示为一个五元组<accesses,accesses/size,type,sumtype,sumtype/size>；“输出”是被访问文件的当前热度值。

第3-9行设置了BP神经网络的一些参数：因为“输入”是一个五元组和“输出”只有一个元素，所以设置输入节点数＝5，隐藏层节点数＝4，输出层节点数＝1，学习率＝0.5。参数w_i,j表示隐藏层单元j到输入层单元i(或输出层单元j到隐藏层单元i)的连接权重。该算法设置激活函数为Sigmoid函数，并设置了一个目标函数F(O_i)用于计算被访问文件的期望热度值。在BP中，使用真实的文件访问次数来计算文件的当前热度值。例如：在规定一个特定的时间段，收集在该时间段内访问最频繁和访问最不频繁的文件。然后根据F(O_i)计算文件的期望热度值，以确保访问最频繁的文件有最高的期望热度值和访问最不频繁的文件有最低的期望热度值。

第10-34行描述了BP神经网络调整处理的过程。首先初始化所有相关的参数，然后进入等待命令的模式。一旦文件read操作发生，就进行BP调整。

第14-20行描述了正向传播输入过程，主要思想是：首先得到文件的O_i元组，并通过公式(3)计算隐藏层中每个单元的I_j，然后利用Sigmoid函数计算隐藏层中每个单元的O_j。之后，计算文件的I_opt和O_opt(O_opt用来表示文件的实际输出热度值)。

第21-31行描述了误差反向传播过程。其中，在第21-22行，计算文件的期望热度值T_opt和输出层的总误差Err_opt。在第23-25行，算法调整输出层到隐藏层的连接权重。在26-31行，计算隐藏层的总误差Err_j，并调整隐藏层到输入层的连接权重。最后经过反复调整输入层与隐藏层和隐藏层与输出层的连接权重值，程序输出比较接近期望热度值的O_opt，即输出调整后的HotValue(current)。这也标志着BP调整文件实时热度值的过程结束。

4、选择文件存储策略。

根据文件的热度值，就可以选择适当的文件存储策略，将文件存储到读/写性能不同的异构设备中，即通过每个文件的热度值来设置其存储策略。包括：首先对所有上传的新文件，进行热度值排序。然后根据排序情况，为热度值较大的文件设置高级别的存储策略，为热度值较小的文件设置低级别的存储策略。与此同时，还需要检查SSD存储设备的空闲容量，并决定是否为热度值较大的文件设置高级别的存储策略。重复此过程，直到所有文件都已被分配正确的存储策略。HDFS中六种存储策略的分配如图5所示。

由图5可知，对存储策略的分配，主要受到两个关键因素的影响：文件热度值的排序和SSD存储设备的总容量。其中，文件热度值的排序决定文件所分配存储策略的级别(高还是低)；而SSD总容量决定将有多少个文件可以被分配高级别的存储策略，即表示有多少个经常访问的文件可以存储到SSD中。

5、设计文件置换策略。

文件的热度值反映了其在将来被访问的可能性程度大小。本实施例中的文件置换策略是基于热度值进行设计的，一旦文件的热度值发生改变，该策略将首先检查其新热度值的范围。如果新热度值大于高级别存储策略设定的最低值，就为当前的文件设置高级别的存储策略，并将文件移动到相应的存储设备中。如果相应的存储设备没有足够的空闲容量来存储当前文件，就在该存储设备中选择一个具有最低热度值的文件，为此文件设置低级别的存储策略，并将其移动到相应的设备，以释放容量。重复此过程，直到可以存储当前文件为止。

例如，如果在第一次上传时，文件的初始热度值是“28”，系统向它分配“HOT”策略。经过一段时间后，如果该文件已被访问8次，所以其热度值变为“36”，而“ONE_SSD”策略的阀值为“35”。因此，系统这时会为该文件分配新的策略“ONE_SSD”，然后将该文件的一个副本移动到SSD设备中。如果SSD设备没有足够的空间来存储此副本，系统就会查找热度值为“35”的文件，为其分配“HOT”策略，并将其移动到一般的机械硬盘上。如果SSD容量仍不够存储此副本，系统就重复此过程，直到SSD空间足够或当前文件的热度值不大于“ONE_SSD”的阀值为止。

本实施例提供的在异构HDFS集群下的数据分配方法具有如下技术效果：

1)提高了HDFS集群中SSD的命中率。

集群中SSD的命中率是衡量HDFS性能高低的一个重要依据。在HDFS集群中，如果集群中SSD的命中率越高，说明SSD利用率越高，即SSD作用就可以得到充分发挥，从而使HDFS系统的读/写性能在一定程度上得到改善。反之，说明SSD利用率越低，从而在一定程度上降低了HDFS系统的读/写性能。

经测试实验分析发现，当设置SSD容量为256G和SSD容量＝512G时，DDAS提供了86.9％-92.2％的命中率；而DISK优先算法和SSD优先算法提供的命中率分别为46.1％-50.4％和49.5％-54.4.％。

2)降低了客户端平均响应请求的时间开销。

这是HDFS系统的一个重要指标。对于HDFS集群中每个Read/Write操作，都是由Client端发出请求，然后等待HDFS系统进行处理，最后Client端收到相应的结果，即客户端请求完成。因此，为了计算平均响应请求时间，应该首先统计客户端开始发出请求到最终请求完成的时间，然后计算每个Read/Write操作的平均响应时间。

经测试实验分析发现，当设置SSD容量为256G时，相比DISK优先算法，DDAS的客户端平均响应请求时间减少了27.98％-31.17％；相比SSD优先算法，DDAS的客户端平均响应请求时间减少了23.68％-27.90％。

当设置SSD容量为512G时，相比DISK优先算法，DDAS的客户端平均响应请求时间减少了30.78％-33.54％；相比SSD优先算法，DDAS的客户端平均响应请求时间减少了26.57％-30.45％。

3)降低了服务器端平均处理请求的时间开销。

这是HDFS系统的另一个重要指标。服务器平均处理请求时间是指系统利用硬件资源去处理每个Read/Write操作的时间：首先统计服务器接收到Read/Write请求到服务器返回结果的时间，然后计算每个Read/Write操作的平均处理时间。

经测试实验分析发现，当设置SSD容量为256G时，相比DISK优先算法，DDAS的服务器端平均处理请求时间减少了40.45％-49.86％；相比SSD优先算法，DDAS的服务器端平均处理请求时间减少了36.09％-46.20％。

当设置SSD容量为512G时，相比DISK优先算法，DDAS的服务器端平均处理请求时间减少了44.12％-58.75％；相比SSD优先算法，DDAS的服务器端平均处理请求时间减少了40.07％-54.68％。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (5)

1.一种在异构HDFS集群下的数据分配方法，其特征在于，包括：

步骤1，基于Trace文件分析预测文件的初始热度值；

步骤2，利用BP神经网络调整文件的当前热度值；

步骤3，根据文件的当前热度值，为文件设置相应的存储策略，将不同热度的文件存储到具有不同读写性能的异构设备中，实现对冷热数据的分类存储。

2.根据权利要求1所述的一种在异构HDFS集群下的数据分配方法，其特征在于，所述步骤1包括：

基于HDFS应用程序的历史Trace或当前HDFS应用程序的历史记录进行统计、分析，基于可能影响文件热度的因素构建模型，通过构建的模型预测出不同类型文件的初始热度值；其中，所述可能影响文件热度包括文件类型、文件大小和文件上传用户。

3.根据权利要求2所述的一种在异构HDFS集群下的数据分配方法，其特征在于，所述步骤2包括：

基于可能影响文件未来访问热度的关键因素构建模型计算文件当前热度值，并利用BP神经网络进行优化调整；其中，所述关键因素包括所述文件在某时间段的访问次数、所述文件的大小、所述文件的类型和类型相同的所有文件在所述时间段的总访问次数。

4.根据权利要求3所述的一种在异构HDFS集群下的数据分配方法，其特征在于，所述步骤3包括：

对所有上传的新文件，进行热度值排序；根据排序情况，为热度值较大的文件设置高级别的存储策略，为热度值较小的文件设置低级别的存储策略，同时，检查SSD存储设备的空闲容量，决定是否为热度值较大的文件设置高级别的存储策略；重复上述过程，直到所有文件都已被分配正确的存储策略。

5.根据权利要求4所述的一种在异构HDFS集群下的数据分配方法，其特征在于，所述步骤3还包括：

基于热度值设置文件置换策略，包括：

在文件的热度值发生改变时，检查新热度值的范围，如果新热度值大于高级别存储策略设定的最低值，为当前的文件设置高级别的存储策略，并将文件移动到相应的存储设备中，如果相应的存储设备没有足够的空闲容量来存储当前文件，在该存储设备中选择一个具有最低热度值的文件，为此文件设置低级别的存储策略，并将其移动到相应的设备，以释放容量，重复上述过程，直到可以存储当前文件为止。