CN105631010A - 一种基于hdfs小文件存储的优化方法 - Google Patents

Abstract

本发明公开了一种基于HDFS小文件存储的优化方法，包括以下步骤：S1、创建一个用于存放用户空间的元数据信息的用户空间元数据服务器；S2、为每一个用户创建一个用于存放该用户所有小文件的用户文件；S3、定义一种元数据结构，用于记录每个用户的所有小文件的详细元数据信息，该元数据结构记录了小文件在用户文件中的偏移值及该小文件的大小；S4、通过元数据结构与用户小文件之间的对应关系，对用户小文件进行管理。本发明引入了一个用于存放用户空间的元数据信息的用户空间元数据服务器，通过元数据结构与用户小文件之间的对应关系来对小文件进行操作，能够提高HDFS系统的存储和处理小文件的性能。

Description

一种基于HDFS小文件存储的优化方法

技术领域

本发明属于分布式文件系统性能优化领域，特别涉及一种基于HDFS小文件存储的优化方法。

背景技术

随着信息量的大规模增长，企业用于存储数据的投入也越来越大，迫切需要新的存储解决方案来改变现状，节约存储成本，减少存储投入，云存储应运而生。云计算雏形就是Google为变废为宝而设计产生的，因此，云存储架构有其得天独厚的优势，是传统集中式存储所无法取代的。在当前数据大规模增长的形式下，云存储相对于传统的存储模式所具有的优势包括降低成本、按需分配、可扩展性强、灵活性强、容错性强、数据迁移方便等。

Hadoop是Apache的一个开源项目，目的是可以建立运行在廉价硬件设备的基础上的稳定的、可扩展的分布式计算架构。其中Hadoop文件系统HDFS(HadoopDistributedFileSystem)是Hadoop子项目之一，它作为Google公司的分布式文件系统GFS(GoogleFileSystem)的开源实现，为各大机构和公司建设云存储解决方案提供了参考，是当前研究云计算与云存储相关领域的热点。

现有的HDFS采用的是主从架构，一个HDFS集群由一个NameNode节点和大量DataNode节点组成。其所有的命名空间和元数据信息都是由NameNode节点来管理和维护的，客户端访问HDFS集群时，都是由NameNode节点来控制访问交互的。因此NameNode节点是整个集群的核心和关键。

NameNode节点中保存了整个系统的命名空间，其中有两大关键的元数据结构，包括文件名与块的映射，块与DataNode节点的映射，这些信息在集群启动后，都会加载到NameNode节点的内存空间中，每个文件都要对应一个元数据信息，在内存空间中占据一定的空间大小。如果整个HDFS应用于大量小文件存储的环境时，整个HDFS集群性能会大幅下降。

首先是因为大量小文件的存在，每个小文件都需要单独的元数据信息同其对应，每个元数据信息都在NameNode节点内存中占用了一定的存储空间，大约需要100字节左右，NameNode节点内存空间是有限的。因为小文件的数量在有的系统中是非常巨大的，随着小文件数量的增长，小文件元数据信息势必会造成NameNode节点的内存空间严重不足，从而造成极大的性能瓶颈。

另一方面，大量小文件的存在，也会对NameNode节点进行频繁的数据块读写请求，每写入一次小文件，就需要向NameNode节点请求一次数据块的分配，同NameNode节点频繁的交互会造成整个HDFS性能的下降。同时，小文件数据流由于其文件大小比较小，可能在传输实际文件数据的过程中花费的时间还要小于请求NameNode节点元数据信息、定位数据块所在的DataNode节点上花费的时间。因此HDFS并不适用于存储小文件。

发明内容

本发明的目的在于克服现有技术中在HDFS中存储大量的小文件存储会造成NameNode节点内存使用过多而造成性能降低的问题，提供一种通过元数据结构与用户小文件之间的对应关系来对小文件进行操作，能够提高HDFS系统的存储和处理小文件的性能的基于HDFS小文件存储的优化方法。

本发明的目的是通过以下技术方案来实现的：一种基于HDFS小文件存储的优化方法，包括以下步骤：

S1、在原有HDFS架构的基础上，创建一个用于存放用户的元数据信息的用户空间元数据服务器；原有的HDFS的架构是不变的，其块的管理也保持不变，HDFS中的NameNode节点和DataNode节点功能和结构不变，用户的文件以多个块存储在DataNode节点上，块的分配和维护由NameNode节点负责；

S2、在HDFS系统中为每一个用户创建一个用于存放该用户所有小文件的用户文件，该用户文件的文件名与用户ID是一一对应的；也就是说，用户上传的所有小文件合并成一个大文件存储在HDFS中；

S3、定义一种元数据结构，称为FBM(FileBlockMapping)，该元数据结构存放在用户空间元数据服务器上，用于记录每个用户的所有小文件的详细元数据信息，该元数据结构记录了小文件在用户文件中的偏移值及该小文件的大小；

S4、通过元数据结构与用户小文件之间的对应关系，对用户小文件进行管理。

进一步地，所述的步骤S4中对新用户小文件进行管理具体包括写小文件、读小文件、删除小文件和修改小文件。

进一步地，所述的写小文件具体实现方法为：当用户需要在HDFS添加一个小文件时，应用服务器获取该用户的元数据信息，应用服务器获知需添加的小文件存储大小，并将小文件大小作为新添加小文件的偏移值；然后，将新的小文件的用户元数据信息、该小文件的偏移值和该小文件在数据块中的起始位置写入元数据结构中；最后，应用服务器获取HDFS系统上该用户文件的输出流，以追加的方式将新添加的小文件写入到该用户文件中。

进一步地，所述的读小文件具体实现方法为：当用户读小文件时，先向用户空间元数据服务器发请求，根据将要读的文件名获取该小文件相关的元数据结构信息，根据所读小文件的偏移值和文件大小，获取HDFS中用户文件的输入流，从而将文件读出。

进一步地，所述的删除小文件具体实现方法为：在FBM元数据结构中置该小文件的元数据信息为删除标记，不删除HDFS原有小文件的数据。

进一步地，所述的用户修改小文件具体实现方法为：删除原有小文件，然后在数据块的尾部增加新的小文件。

本发明的有益效果是：

1、本发明在原有的HDFS架构的基础上，引入了一个用于存放用户空间的元数据信息的用户空间元数据服务器，并在用户空间元数据服务器中建立用于记录每个用户的所有小文件的详细元数据信息的元数据结构，通过元数据结构与用户小文件之间的对应关系来对小文件进行写入、读取、删除和修改等操作，避免了对用户小文件进行存储管理的时候同NameNode节点的频繁交互，能够提高HDFS系统的存储和处理小文件的性能；

2、原有的HDFS的架构是不变的，其块的管理也保持不变，只需增加用户空间元数据服务器，HDFS中的NameNode节点和DataNode节点功能和结构不变，用户的文件以多个块存储在DataNode节点上，块的分配和维护由NameNode节点负责，系统结构简单，易于实现，便于推广使用。

附图说明

图1为本发明的小文件存储的优化方法的流程图；

图2为本发明的HDFS系统架构；

图3为本发明的元数据结构与用户小文件之间的对应关系。

具体实施方式

云存储是由云计算衍生出来的。通常，云存储一般包含了两方面的含义：一方面云存储是指云计算的存储部分，也就是说云计算的运算过程中所需要的资源和信息存储的部分；另一方面是指一种服务形式，云存储服务提供商提供设备或存储空间，用户通过使用浏览器或其他客户端使用该服务，免去本地存储开销。本申请所述的云存储属于后者，确切的说是云存储服务。

下面结合附图进一步说明本发明的技术方案。

如图1所示，本发明的一种基于HDFS小文件存储的优化方法，包括以下步骤：

S1、在原有HDFS架构的基础上，创建一个用于存放用户的元数据信息的用户空间元数据服务器；原有的HDFS的架构是不变的，其块的管理也保持不变，其架构如图2所示，HDFS中的NameNode节点和DataNode节点功能和结构不变，用户的文件以多个块存储在DataNode节点上，块的分配和维护由NameNode节点负责；

S2、在HDFS系统中为每一个用户创建一个用于存放该用户所有小文件的用户文件，该用户文件的文件名与用户ID是一一对应的；也就是说，用户上传的所有小文件合并成一个大文件存储在HDFS中；

S3、定义一种元数据结构，称为FBM(FileBlockMapping)，该元数据结构存放在用户空间元数据服务器上，用于记录每个用户的所有小文件的详细元数据信息，该元数据结构记录了小文件在用户文件中的偏移值及该小文件的大小，偏移值就是文件在一个数据块中，相对于数据块起始位置的相对位置；其对应关系如图3所示；

S4、通过元数据结构与用户小文件之间的对应关系，对用户小文件进行管理。

进一步地，所述的步骤S4中对新用户小文件进行管理具体包括写小文件、读小文件、删除小文件和修改小文件。

进一步地，所述的写小文件具体实现方法为：当用户需要在HDFS添加一个小文件时，应用服务器获取该用户的元数据信息，应用服务器获知需添加的小文件存储大小，并将小文件大小作为新添加小文件的偏移值；然后，将新的小文件的用户元数据信息、该小文件的偏移值和该小文件在数据块中的起始位置写入元数据结构中；最后，应用服务器获取HDFS系统上该用户文件的输出流，以追加的方式将新添加的小文件写入到该用户文件中。

进一步地，所述的读小文件具体实现方法为：当用户读小文件时，先向用户空间元数据服务器发请求，根据将要读的文件名获取该小文件相关的元数据结构信息，根据所读小文件的偏移值和文件大小，获取HDFS中用户文件的输入流，从而将文件读出。

进一步地，所述的删除小文件具体实现方法为：在FBM元数据结构中置该小文件的元数据信息为删除标记，不删除HDFS原有小文件的数据。

进一步地，所述的用户修改小文件具体实现方法为：删除原有小文件，然后在数据块的尾部增加新的小文件。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于HDFS小文件存储的优化方法，其特征在于，包括以下步骤：

S1、创建一个用于存放用户的元数据信息的用户空间元数据服务器；

S2、为每一个用户创建一个用于存放该用户所有小文件的用户文件，该用户文件的文件名与用户ID是一一对应的；

S3、定义一种元数据结构，该元数据结构存放在用户空间元数据服务器上，用于记录每个用户的所有小文件的详细元数据信息，该元数据结构记录了小文件在用户文件中的偏移值及该小文件的大小；

S4、通过元数据结构与用户小文件之间的对应关系，对用户小文件进行管理。

2.根据权利要求1所述的基于HDFS小文件存储的优化方法，其特征在于，所述的步骤S4中对新用户小文件进行管理具体包括写小文件、读小文件、删除小文件和修改小文件。

3.根据权利要求2所述的基于HDFS小文件存储的优化方法，其特征在于，所述的写小文件具体实现方法为：当用户需要在HDFS添加一个小文件时，应用服务器获取该用户的元数据信息，应用服务器获知需添加的小文件存储大小，并将小文件大小作为新添加小文件的偏移值；然后，将新的小文件的用户元数据信息、该小文件的偏移值和该小文件在数据块中的起始位置写入元数据结构中；最后，应用服务器获取HDFS系统上该用户文件的输出流，以追加的方式将新添加的小文件写入到该用户文件中。

4.根据权利要求2所述的基于HDFS小文件存储的优化方法，其特征在于，所述的读小文件具体实现方法为：当用户读小文件时，先向用户空间元数据服务器发请求，根据将要读的文件名获取该小文件相关的元数据结构信息，根据所读小文件的偏移值和文件大小，获取HDFS中用户文件的输入流，从而将文件读出。

5.根据权利要求2所述的基于HDFS小文件存储的优化方法，其特征在于，所述的删除小文件具体实现方法为：在元数据结构中置该小文件的元数据信息为删除标记，不删除HDFS原有小文件的数据。

6.根据权利要求2所述的基于HDFS小文件存储的优化方法，其特征在于，所述的用户修改小文件具体实现方法为：删除原有小文件，然后在数据块的尾部增加新的小文件。