CN103577123B - 一种基于hdfs的小文件优化存储方法 - Google Patents

Abstract

本发明公开一种基于HDFS的小文件优化存储方法，提高HDFS对小文件的读取效率，提升系统的整体性能。包括以下步骤：1）小文件合并与存储预处理，通过对文件过滤、小文件合并、元数据的生成、对象ID的生成实现小文件存储预处理。2）文件以合并的方式存储到HDFS中后，小文件与HDFS中合并文件的映射关系以文件元数据的形式存储到小文件元数据中，文件的目录结构存储在文件名中。元数据采用基于Chord协议的分布式集群存储。3）文件目录结构优化，将元数据键值key的生成分解为DirectoryID和SmallFileID。DirectoryID作为元数据跳转到元数据集群中结点的key值，实现了同一目录下文件存储到同一结点。SmallFileID在元数据结点中生成，实现每一个元数据对应一个全局唯一的ID标识。

Description

一种基于HDFS的小文件优化存储方法

技术领域

本发明涉及一种基于HDFS的小文件优化存储方法，具体是一种对分布式、海量小文件数据实现优化存储的方法，属于分布式数据优化存储领域。

背景技术

随着互联网技术的飞速发展，数据量呈指数级增长，现在这样一个信息爆炸的互联网时代，给互联网用户的生活带来了深远的影响。但是，对于互联网应用领域而言，如何去解决这些海量数据的存储是一个巨大挑战。在这些挑战下，传统的数据存储与处理技术，如关系型数据库，已经不能满足技术发展的需求，新兴的海量数据存储技术不断涌现。如Google公司使用的并行文件系统GFS；海量数据MapReduce编程模型；亚马逊的SimpleStorageService(S3)；Yahoo，Facebook等公司支持的开源软件Hadoop等。

Hadoop是近几年发展较快的云计算平台之一，凭借其可靠、高效、可伸缩的特性在大规模计算领域得到了广泛应用。HDFS作为Hadoop的分布式文件系统，成为在集群上主流的海量存储件系统。HDFS由一个NameNode和若干个DataNode组成，其中NameNode负责管理文件系统的命名空间，DataNode是文件系统的工作节点。HDFS采用主从式架构模式，简化了分布式文件系统结构。HDFS对海量大文件的处理，能够提供高效的处理效率。但是，Hadoop在处理海量小文件时，就会出现以下问题：

（1）NameNode把文件系统的元数据放置在内存中。虽然小文件的大小远小于HDFS默认的文件大小64MB，其占用的存储空间不多，但是小文件在NameNode中占用的内存大小与普通大文件相同。所以，当存储海量小文件时，元数据在NameNode中所占用的内存大量增加，从而导致HDFS对海量小文件存储性能较差。

（2）海量小文件访问效率低。在HDFS中，所有文件的元数据都存储在单一的NameNode内存中，一旦文件数量达到一定的规模后，内存中元数据过多。由于在NanmeNode内存中，元数据查找采用遍历检索方式，这样导致海量小文件检索访问效率明显下降。

（3）在HDFS中，采用单个独立的NameNode，静态划分的方法，对元数据进行管理与分布。这不仅存在单点失效的问题，同时对于大量小文件访问请求的情况下，系统性能难以保证。需要使用一组名字节点进行分布式处理才能满足需求。

然而在实际应用中，从科学计算研究，到Web应用中都会产生大量的小文件。据NationalEnergyResearchScientificComputingCenter统计，在其拥有的13,000,000个文件中，约有99%的文件时小于64MB，其中43%的文件是小于64KB。2007年在太平洋西北国家实验室对其存储数据进行统计，发现其系统中存储的12,000,000个文件中，94%的文件小于64MBtyes，58%的文件小于64KBtyes。淘宝图片存储系统容量1800TB（1.8PB），已经占用空间990TB（约1PB），保存的图片文件数量达到286亿多个，这些图片文件包括根据原图生成的缩略图，平均图片大小是17.45K，其中8K以下占图片总量的61%，占存储容量的11%。在分布式文件系统中，海量小文件的出现，对系统I/O挑战从提供高并发的I/O吞吐量转向提供高并发的元数据存取效率。

在HDFS分布式文件系统中，如何对海量小文件数据进行有效地存储与访问，提高存储和访问的效率是急需解决的问题，也是云存储面临的重要问题。

发明内容

发明目的：针对HDFS分布式文件系统对海量小文件数据存储资源利用低，文件访问效率低的问题，本发明提供了一种基于HDFS的小文件优化存储方法，提高HDFS对小文件的读取效率，提升系统的整体性能。

技术方案：一种基于HDFS的小文件优化存储方法，包括以下三个方面：

（1）小文件合并与存储预处理

（2）元数据分布式存储

（3）文件目录结构优化

（1）小文件合并与存储预处理采用的如下：

小文件合并与存储预处理主要分为四个流程，分别是文件过滤、文件合并、元数据生成、元数据对象ID生成。文件过滤和文件合并在客户端完成；元数据生成和元数据对象ID的生成在名字节点NameNode端完成。

①文件过滤：文件过滤是用来判断客户端传送的文件是否为小文件。本发明中设定1M为判断小文件的阈值，若文件大小小于1M，则判断此为小文件，并对小文件进行后续的合并等操作；否则若为大文件，则文件直接存在至HDFS的数据节点DataNode中。

②文件合并：由于HDFS属于日志文件类型，文件的添加方式属于尾部添加。文件合并将通过过滤的小文件以尾部添加的方式合并，生成合并文件。若新添加的小文件超过合并文件的剩余空间，则需要申请新的文件块。由于，HDFS中默认的磁盘块为64MB，本发明设定合并文件大小为64MB。在文件合并过程中，小文件向系统输入小文件名SF_Name、文件长度SF_length、小文件标识位SF_Flag等信息。小文件经过合并后，向系统输出合并后的文件名MF_Name、小文件在合并文件中的偏移量SF_offset、合并文件长度MF_length、合并文件标识位等信息MF_Flag。通过小文件合并前后输入与输出信息，系统可以实现小文件与合并文件之间的映射。

③小文件元数据生成：小文件元数据包括小文件属性以及小文件到合并文件的映射关系。为了减轻名字节点NameNode的存储负载，优化HDFS对小文件的读写速度，在一个磁盘块中保存多个小文件，文件合并后将对此磁盘块操作的控制权转移到元数据集群。小文件的元数据以<key,value>键值对的形式存储在元数据集群。

根据小文件名SF_Name与其所在目录生成一个唯一的小文件标识符SF_ID，并将SF_ID作为小文件的元数据<key,value>的key值。

再根据小文件名SF_Name、合并文件名MF_Name、小文件在合并文件中的偏移量SF_offset、合并文件长度MF_length、合并文件标识位MF_Flag等信息封装为小文件的元数据<key,value>的value值。

④生成元数据对象ID：元数据以<key,value>键值对的形式存储，将key值采用SHA-1算法，计算得到hash值，再根据Hash值匹配到对应的存储节点，并将元数据<key,value>存储到此节点。

（2）元数据分布式存储

在HDFS中，采用主从式结构存储元数据，当数据增大时，内存空间的限制会成为小文件的瓶颈。命名空间层级采用B树的组织形式，其运算复杂度为O（logn）。为了提高海量小文件检索访问性能，将小文件以合并的方式存储到HDFS中后，小文件与HDFS中合并文件的映射关系以文件元数据的形式存储到小文件元数据中，文件的目录结构存储在文件名中。元数据采用基于Chord协议的分布式集群存储，可以实现将小文件的元数据以Key-Value对的形式存储，使其运算复杂度降至O（1）。当数据量增大时，可通过添加结点来缓解压力。

元数据的基本操作包括键值对生成，内容查找与对象ID定位，及更新集群结点。

①键值对生成：散列表的建立与散列值的产生都需要使用分布式哈希表（DHT），小文件存储到HDFS中后，NameNode生成了一个小文件的元数据。小文件的文件名命名采用文件全路径，包括文件的名称和文件所在的目录。使用SHA-1（SecureHashAlgorithm）安全散列算法，生成了一个键值key。

②内容查找与对象ID定位：定位对象ID所在的结点需要使用到关键值key与集群结点ID。基于DHT的系统采用一个128位标识符空间，将随机选择的标识符赋给结点，含有键值key的键值对<key,value>位于含有大于键值最小标识符的结点之内，该结点被称为键值的后继者，用succ(k)表示。相比基础的DHT系统，Chord算法不是线性的进行键值查找，而是维护一个最多有m个实体的指状表（FingerTable）。假设使用F表示结点p的指状表，则有Fp[i]=succ(p+2^i-1)，换句话说，第i个结点指向此结点后2^i-1的第一个结点。一个查找需要O（logN）步，其中N为系统中的结点数。

③更新集群结点：在元数据分布式存储集群中，参与的结点集合可能总是在变化。假如结点p要加入Chord系统，只需与已有的系统中的任意结点联系，并请求查找succ(p+1)。一旦标示了该结点，结点p就可以把自己插入到该环（Chord系统）中。

集群有结点加入或者结点离开时，每一个结点都需要有指状表的更新，每个结点p，当实体指向环中的下一个结点时，Fp[1]是正确的，即后继者是p+1。每个结点p定期地运行一个进程来与succ(p+1)联系，并请求返回pred(succ(p+1))。如果p=pred(succ(p+1))，那么p就知道它的信息与其后继者的是一致的。否则，如果p的后继者更新了它的前继者，那么显然有一个新的结点q加入该系统，而且有p＜q≤succ(p+1)，这样p就需要将其Fp[1]调整为指向q。此时，检查q是否将p记作其前继者。如果没有，就需要再次调整Fp[1]。

（3）文件目录结构优化

原有的Hadoop集群通过多叉树的方式，实现了名称空间的结构化。将小文件元数据存储到元数据集群中后，小文件元数据以Key-Value对的方式存储到Chord集群的各个结点中，在这种分布式的情况下，无法实现文件目录的操作。同时，由于不同的文件名计算出的Hash值也有很大差异，所以很难保证同一个目录中的小文件的元数据存储在同一个结点中。本发明提出文件目录结构优化，即将文件目录层次结构写到对象块的ID中（即目录ID），反映对象之间的命名空间关系，实现元数据索引本地化，同时将HDFS作为基础的文件存储管理系统，抽象出文件的目录结构，方便小文件读取。

本发明中提到的元数据包括目录元数据和文件元数据。目录元数据包含路径命名空间和目录属性；小文件元数据包括小文件属性以及小文件到数据块的映射关系。目录结构优化是将元数据键值key的生成分解为DirectoryID和SmallFileID。DirectoryID在NameNode端生成，作为元数据跳转到元数据集群中结点的key值，实现了同一目录下文件存储到同一结点。SmallFileID在元数据结点中生成，实现每一个元数据对应一个全局唯一的ID标识。

根据多叉树深度遍历的方式，本发明提出了基于深度的分配算法：给每一个目录层次分配一个空间段，空间段由一个或者多个位组成，分配顺序位从左向右。采用多叉树深度遍历方式，可以实现小文件快速定位与访问。

目录结构优化后，读取元数据分为三个部分：

①文件目录解析：将文件路径以字符串数组的方式存储，计算并初始化目录的层数，然后使用基于深度分配算法实现将文件目录转换为DirectoryID。

②文件名解析：解析得到DirectoryID后，根据Chord协议，跳转到相应结点，对文件名进行解析，将解析结果与DirectoryID相加后，得到SmallFileID。

③查找对应的元数据：元数据存储在以SmallFileID为key值，元数据为value值的<key,value>键值对数组中。采用折半查找法，快速查找小文件元数据。

有益效果：与现有技术相比，本发明提供的基于HDFS的小文件优化存储方法，通过对文件过滤、小文件合并、元数据的生成、对象ID的生成实现小文件存储预处理、元数据分布式存储以及文件目录结构优化，提高HDFS对小文件的读取效率，提升系统的整体性能。

附图说明

图1为本发明实施例的基于HDFS小文件优化存储方法的总体框架图；

图2为本发明实施例中小文件合并前输入的信息结构图；

图3为本发明实施例中小文件合并后输出的信息结构图；

图4为本发明实施例中小文件元数据结构图；

图5为本发明实施例中元数据对象ID的数据结构图；

图6为本发明实施例中基于HDFS的目录优化结构图；

图7为本发明实施例中小文件存储过程；

图8为本发明实施例中小文件读取过程；

图9为本发明实施例中小文件删除过程。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

图1为本发明提供的基于HDFS小文件优化存储方法的总体框架图，其工作过程如下所描述：

①当客户端需要向DataNode节点存储小文件时，首先，文件过滤模块对文件进行过滤，判断客户端传送的文件是否为小文件。若文件大小小于1M，则判断此为小文件，并对小文件进行后续的合并等操作；否则若为大文件，则文件直接存在至HDFS的数据节点DataNode中。

②文件合并模块，对过滤后的小文件以尾部添加的方式合并，生成合并文件。若新添加的小文件超过合并文件的剩余空间，则需要申请新的文件块。在文件合并过程中，小文件向系统输入小文件名SF_Name、文件长度SF_length、小文件标识位SF_Flag等信息，见附图2所示。小文件经过合并后，向系统输出合并后的文件名MF_Name、小文件在合并文件中的偏移量SF_offset、合并文件长度MF_length、合并文件标识位等信息MF_Flag，见附图3所示。通过小文件合并前后输入与输出信息，系统可以实现小文件与合并文件之间的映射。

③元数据生成模块负责生成小文件元数据，反映小文件到合并后文件的映射关系。为了减轻名字节点NameNode的存储负载，优化HDFS对小文件的读写速度，小文件的元数据以<key,value>键值对的形式存储在元数据集群。

其中，小文件名SF_Name与其所在目录生成一个唯一的小文件标识符SF_ID，并将SF_ID作为小文件的元数据<key,value>的key值。另一方面，根据小文件名SF_Name、合并文件名MF_Name、小文件在合并文件中的偏移量SF_offset、合并文件长度MF_length、合并文件标识位等信息MF_Flag信息封装为小文件的元数据<key,value>的value值，见附图4所示。

④元数据对象ID生成模块负责根据小文件元数据以<key,value>键值对生成元数据对象ID。将key值采用SHA-1算法，计算得到Hash值，再根据Hash值匹配到对应的存储节点，并将元数据<key,value>存储到此节点。元数据对象ID的数据结构见附图5所示。

附图5是以一个基于64位对象ID空间为例，元数据对象ID的标识位及其作用。其中前4位为特殊区域，其余60位表示小文件定位区域。

标志位0x0：普通段用来没有溢出的文件或者文件夹的命名空间扁平化。比如，每个目录段分配3位，8位用来存放目录中的文件，通过计算，得出文件拥有18个目录层次，每层拥有255个文件。

标志位0x1：用来标识目录层次过多。当文件深入到第19层时，便会出现越位，此时，使用之前的保留的标志位0x1。还是使用原有的分配方法，只是将旧的文件目录中最里面的9层目录保留，剩下9层记录新的目录层次。这样的好处是能记录更多更深入的层次。

标志位0x2，用来标识一个目录中文件数量过多。如果文件数量过多，文件夹中的文件超过255个时。也会出现越位的情况。解决的方案也和解决目录过深的方案类似。首先标记保留位为0x2，然后保留其最里面的9层目录，这样的话，可以多余出27位留给文件。这样一个文件夹可以保留的文件数量为三千多万的文件数量。按照小文件元数据的存储，一个如果保留这么多文件所需要的内存约为6G。

标志位0x3，用来标识目录和文件数量均超过可标识的范围。在最后一个标志位的对象ID采用先到先分配的算法。

⑤为了海量小文件检索访问性能，将小文件以合并的方式存储到HDFS中后，小文件与HDFS中合并文件的映射关系以文件元数据的形式存储到小文件元数据中，文件的目录结构存储在文件名中。元数据采用基于Chord协议的分布式集群存储，可以实现将小文件的元数据以<Key-Value>对的形式存储。当数据量增大时，可通过添加结点来缓解压力。附图6是基于HDFS的目录优化结构图。

在Hadoop集群之上引入树形目录结构。目录层的索引存储在NameNode中，小文件元数据存储在相应的元数据集群结点上。目录结构优化将元数据Key值的生成分解为DirectoryID和SmallFileID两个部分。DirectoryID在NameNode端生成，作为元数据跳转到元数据集群中结点的Key值，实现了同一目录下的文件存储到同一结点中。SmallFileID在元数据结点中生成，实现了每一个元数据对应一个全局唯一的ID标示。

⑥当用户在客户端读取小文件时，与传统客户端请求时只返回一个元数据对象相比，采用元数据集群，可以返回更多相关对象的元数据，并对相关对象的元数据统一编排。为了提高小文件访问性能，本发明中客户端采用始终预读取技术，即每次I/O操作时，无论是否命中cache资源，都执读取客户请求的小文件之后的10个数据。

图7为本发明方法中小文件存储流程图，其过程如下：

小文件存储系统包括小文件存储预处理、元数据分布存储、及文件目录结构优化等步骤。从附图7可以看出，首先是准备将文件存入HDFS的DataBlock中然后经过文件过滤模块将文件大于阈值（设定为1M）的文件过滤出来若大于阈值的文件认定为非小文件，直接存入HDFS的DataNode分配的Block中否则将小于阈值的文件直接传递到文件合并模块。申请合并文件块判断申请到的合并文件是否有足够的空间能存放当前的小文件，若足够大，则以尾部添加的方式追加到合并文件中然后将小文件与合并文件之间的映射信息赋值到合并文件中否则重新申请合并文件块生成新的数据块并添加小文件。

以上步骤都是在客户端完成。以下步骤将由NameNode端处理完成小文件元数据的生成和小文件数据存储到Chord中。接着，将小文件对应的数据块ID、文件在块中的偏移量、小文件长度、以及相关的其他属性封装为元数据，并作为Value值（元数据的格式及内容见图4），并且根据文件目录生成一个唯一的ID标识—SmallFileID；使用基于深度的路径命名算法对小文件的目录进行分析计算，得到对应的目录ID——DirectoryID，并作为Key值。于是，使用SHA-1计算出Key的散列值将此散列值信息送到分布式散列表中的任意参与结点，此信息根据Chord算法在网络中与各个节点的Hash值进行比较，并将这个<key,value>键值对存储在相应的结点上

图8为本发明方法中小文件读取过程流程图，其过程如下：

客户端发送读取请求，调用小文件读取模块首先，判断Hadoop集群中是否存在该文件，若存在，则直接链接到指定的DataNode并返回请求的文件；若在集群中没有查找到文件则计算元数据的目录ID。然后，将目录ID的HASH散列值在Chord元数据集群中查找此目录ID是否在目录中。若目录中没有，则判断此文件不存在否则，则根据目录ID跳转到相应的结点中接着，在结点中查找此小文件对应的元数据是否存在如果不存在，则说明此小文件不存在否则，判断在Chord环中查找指定ID对应的元数据结点再根据元数据，链接到指定的DataNode中读取小文件，并返回请求的文件

图9为本发明方法中小文件删除过程流程图，其过程如下：

客户端发送删除文件请求，调用小文件删除模块若文件不存在，则删除文件失败否则，在小文件所在的DataNode数据块中将此文件标识为“删除文件”同时，在元数据集群中，将其标识位MF_Flag设置为0，表示文件为不可用为了防止用户需要恢复文件，文件被标识为“删除文件”后，不会立刻删除，系统采取定期清理的方式将元数据MF_Flag设置为0的所有元数据从Chord环中删除然后将其对应的小文件从其所在的DataNode数据块中彻底删除

根据以上实施例可知，针对HDFS分布式文件系统对海量小文件数据存储资源利用低，文件访问效率低的问题，本发明的方法，提高HDFS对小文件的读取效率，提升系统的整体性能。在此发明中，通过对文件过滤、小文件合并、元数据的生成、对象ID的生成实现小文件存储预处理。利用分布式哈希表DHT，构建基于Chord环的元数据集群，改善原有DHFS中单个NameNode对元数据管理的方式，采用Chord环的路由表查找小文件，提高其访问效率。此外，对目录结构进行优化，将文件目录层次结构写到对象块的ID中；通过目录ID指向Chord中的结点，使得相关联的小文件元数据存放于同一目录下，促使元数据索引本地化，更好地方便小文件的读取。

Claims (5)

1.一种基于HDFS的小文件优化存储方法，用于海量小文件数据的存储管理，其特征在于，包括三个方面：小文件合并与存储预处理，元数据分布式存储，以及文件目录结构优化；

1)小文件合并与存储预处理：通过对文件过滤、小文件合并、元数据的生成、对象ID的生成实现小文件存储预处理；文件过滤和文件合并在客户端完成；元数据生成和元数据对象ID的生成在名字节点NameNode端完成；文件过滤是用来判断客户端传送的文件是否为小文件；文件合并将通过过滤的小文件以尾部添加的方式合并，生成合并文件；若新添加的小文件超过合并文件的剩余空间，则需要申请新的文件块；通过小文件合并前后输入与输出信息，系统可以实现小文件与合并文件之间的映射，映射关系以小文件元数据<key,value>键值对的形式存储在元数据集群，同时生成元数据对象ID，即目录ID，包括路径命名空间和目录属性，并作为目录元数据；

2)元数据分布式存储：小文件元数据<key,value>键值对采用基于Chord协议的分布式集群存储；通过目录ID指向Chord中的相应结点，使得相关联的小文件的元数据存放于同一目录下；

3)文件目录结构优化：将文件目录层次结构写到对象块的ID中，即目录ID中，使其能够反映对象之间的命名空间关系，实现元数据索引本地化；目录结构优化是将元数据键值key的生成分解为DirectoryID和SmallFileID；DirectoryID作为元数据跳转到元数据集群中结点的key值，实现了同一目录下文件存储到同一结点；SmallFileID在元数据结点中生成，实现每一个元数据对应一个全局唯一的ID标识；根据多叉树深度遍历方式，采用基于深度的目录层次空间分配算法，实现小文件快速定位与访问。

2.根据权利要求1所述的基于HDFS的小文件优化存储方法，其特征在于，所述步骤1)进一步包含以下步骤：1.1)判断客户端传送的文件是否为小文件；设定小文件的阈值为1M，若文件大小小于1M，则为小文件，并转为1.2)；否则若为大文件，则文件直接存在至HDFS的数据节点DataNode中；1.2)通过过滤的小文件以尾部添加的方式合并，生成合并文件；若新添加的小文件超过合并文件的剩余空间，则需要申请新的文件块，其中设定合并文件大小为64MB；

1.3)在文件合并过程中，小文件向系统输入小文件名SF_Name、文件长度SF_length和小文件标识位SF_Flag信息；

1.4)小文件经过合并后，向系统输出合并后的文件名MF_Name、小文件在合并文件中的偏移量SF_offset、合并文件长度MF_length和合并文件标识位MF_Flag信息；

1.5)根据小文件名SF_Name与其所在目录生成一个唯一的小文件标识符SF_ID，并将SF_ID作为小文件的元数据<key,value>的key值；

1.6)将小文件名SF_Name、合并文件名MF_Name、小文件在合并文件中的偏移量SF_offset、合并文件长度MF_length和合并文件标识位MF_Flag信息封装为小文件的元数据<key,value>的value值；实现小文件与合并文件之间的映射；

1.7)生成元数据对象ID，即目录ID；小文件的文件名命名采用文件全路径，包括文件的名称和文件所在的目录；使用SHA-1安全散列算法，生成了一个键值key，并将元数据以<key,value>存储到此节点，生成目录ID。

3.根据权利要求2所述的基于HDFS的小文件优化存储方法，其特征在于，所述步骤2)进一步包含以下步骤：

2.1)小文件的元数据以<Key-Value>键值对形式，基于Chord协议的分布式集群进行存储；文件的目录结构存储在文件名中；

2.2)定位对象ID所在的结点需要使用到关键值key与集群结点ID；基于DHT的系统采用一个128位标识符空间，将随机选择的标识符赋给结点，含有键值key的键值对<key,value>位于含有大于键值最小标识符的结点之内，该结点被称为键值的后继者，用succ(k)表示；Chord协议通过维护一个最多有m个实体的指状表；假设使用F表示结点p的指状表，则有Fp[i]＝succ(p+2^i-1)，换句话说，第i个结点指向此结点后2^i-1的第一个结点；一个查找需要O(logN)步，其中N为系统中的结点数；

2.3)集群有结点加入或者结点离开时，每一个结点都需要有指状表的更新，每个结点p，当实体指向环中的下一个结点时，Fp[1]是正确的，即后继者是p+1；每个结点p定期地运行一个进程来与succ(p+1)联系，并请求返回pred(succ(p+1))；如果p＝pred(succ(p+1))，那么p就知道它的信息与其后继者的是一致的；否则，如果p的后继者更新了它的前继者，那么显然有一个新的结点q加入该系统，而且有p＜q≤succ(p+1)，这样p就需要将其Fp[1]调整为指向q；此时，检查q是否将p记作其前继者；如果没有，就需要再次调整Fp[1]。

4.根据权利要求3所述的基于HDFS的小文件优化存储方法，其特征在于，所述步骤3)进一步包含以下步骤：

3.1)将元数据键值key的生成分解为DirectoryID和SmallFileID；DirectoryID在NameNode端生成，作为元数据跳转到元数据集群中结点的key值，实现了同一目录下文件存储到同一结点；SmallFileID在元数据结点中生成，实现每一个元数据对应一个全局唯一的ID标识；

3.2)根据多叉树深度遍历的方式，基于深度的分配算法给每一个目录层次分配一个空间段，空间段由一个或者多个位组成，分配顺序位从左向右；

3.3)采用多叉树深度遍历方式，对小文件定位与访问。

5.根据权利要求4所述的基于HDFS的小文件优化存储方法，其特征在于，所述步骤3.3)进一步包含以下步骤：

3.3.1)文件目录解析：将文件路径以字符串数组的方式存储，计算并初始化目录的层数，然后使用基于深度分配算法实现将文件目录转换为DirectoryID；

3.3.2)文件名解析：解析得到DirectoryID后，根据Chord协议，跳转到相应结点，对文件名进行解析，将解析结果与DirectoryID相加后，得到SmallFileID；

3.3.3)元数据存储在以SmallFileID为key值，元数据为value值的<key,value>键值对数组中；采用折半查找法，查找小文件元数据。