CN108664664A - 一种海量教育文件关联存储方法 - Google Patents

Abstract

本发明公开了一种海量教育文件关联存储方法，包括四个部分，分别是海量教育文件的归并、海量教育文件关联方法中局部索引确定、海量教育文件的缓存与预取和海量教育文件碎片的整理。本发明包括针对数量大、关联多、类型广的教育资源小文件的存储步骤，可有效提升存储空间的利用率，方便易用且成本更低，对海量教育文件的关联存储领域具有充分性、必要性和高效性，可广泛应用于海量小文件存储领域。

Description

一种海量教育文件关联存储方法

技术领域

本发明涉及海量数据，教育文件，索引机制，关联关系，小文件存储领域，特别涉及一种海量教育文件关联存储方法。

背景技术

HDFS(hadoop distributed file system)是一个具有高容错性、成本低廉性等特点的分布式文件系统。HDFS是为处理海量大文件而设计的，在处理海量小文件时存在以下几点问题：海量小文件耗费主节点内存，可能造成NAMEDODE 瓶颈问题；海量小文件的I/O效率低，没有一种优化机制来提高I/O性能；HDFS 下没有明确的能够区分何为小文件的分界点；没有考虑海量小文件之间的相关性等。教育资源小文件包括各种形式的教育资源，如word文档、pdf文档、ppt 课件及文本资料等，只要与教育资源相关且大小远小于64MB的文件都可称为教育资源小文件。教育资源小文件具有以下特点：这些文件的大小通常为几十到几百KB，存储引擎不能高效的存储大量的小文件；小文件之间有关联性，整理归档同类课程的小文件然后进行合并；小文件的数量很多，因为网络中存在的各种学习资源量非常大，且不断地以指数级的速度增长。

申请人检索出以下与海量教育文件关联存储相关的文献如下：

1.欧阳涛，Hadoop分布式文件系统及其存储优化方法，专利，2015

2.李雪莲，李强等，分布式文件系统及其存储海量小文件的方法，专利， 2015

3.郑庆华，董博等，一种基于Hadoop的海量可归类小文件关联存储方法，专利，2011

文献1提出一种Hadoop分布式文件系统及其存储优化方法。基本思想是先对文件进行判断是是否为小文件，然后进行优化处理，没有充分考虑文件中的关联性，并利用关联性进行存储。

文献2提出了一种分布式文件系统及其存储海量小文件的方法，以解决目前的海量小文件存储的效率较低的问题。这种方法提出了如何有效地将小文件合并成小文件来存储，但是没有考虑到存储之后的碎片与缓存问题。

文献3提出了一种基于Hadoop的海量可归类小文件关联存储方法，主要解决可归类小文件的存取效率问题。其基本思想是将同一类别文件的小文件聚合成一个文件，然后对每一个小文件建立存放在NameNode内存中的全局索引。这种方法只考虑了将小文件归并和对小文件建立索引，没有考虑到文件合并之后的碎片问题，而且没有对合并之后文件的存取操作进行详细说明。

发明内容

针对背景技术文献的方法中所存在的缺陷和不足，本发明的目的是提供一种关联存储方法用于解决海量教育文件的存储问题。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种海量教育文件关联存储方法，其特征在于，包含如下步骤：

(1)海量教育文件的归并；

Step1：将属于某个大文件的所有小文件归并为一个文件，称为merged file；

Step2：对每个merged file建立一个局部索引，并在上传时将局部索引文件与文件实体一同存放在Hadoop系统的DataNode上；

Step3：在读取非独立小文件时，采用元数据缓存、局部索引文件预取和关联文件预取提高文件的读取效率。

(2)海量教育文件中的局部索引；

海量教育文件中的局部索引文件的结构：

i.索引头部由占1字节的版本号、占4字节的索引项数和占4字节的局部索引文件长度组成；

ii.序列索引由占4字节的序列名称、占4字节的文件索引的起始编号和占4 字节的文件索引项数构成；

iii.文件索引项由占16字节的文件名称、占4字节的文件长度和占4字节的文件偏移构成。

海量教育文件中读取merged file时对局部索引文件的操作，包括如下步骤：

Step1：根据merged file名从NameNode获取元数据；

Step2：由merged file的元数据，从Hadoop文件系统的相应DataNode读取指定的数据块，并根据数据块内索引文件长度项读取数据块的局部索引文件；

Step3：最后根据小文件名称，查找局部索引文件，获得该小文件的起始位置和长度，从而完成对小文件的读操作。

海量教育文件关联方法中局部索引确定的步骤如下：

Step1：依次计算每个文件的偏移，在数据块的边界处，检查是否有文件会横跨两个数据块，如果没有，转向Step3，否则，转向Step2；

Step2：在这个横跨两个数据块的小文件前，建立额外的局部索引文件，该索引文件的偏移是下一个数据块的起始位置，横跨小文件的偏移是该局部索引文件的结束位置，设块长为L_block，局部索引文件的大小为L_index，新块的序列号为W，新索引文件偏移量为L_offset，新索引文件长度为L_length，横跨小文件的偏移量为L_foffset，则：

L_offset＝(W-1)*L_block (5.1)

L_length＝L_index (5.2)

L_foffset＝L_offset+L_length (5.3)

Step3：对下一个数据块，重复Step1和Step2。

(3)海量教育文件的缓存与预取包括如下步骤；

Step1：元数据缓存：当小文件被读取时，将小文件映射到merged file以获取merged file的元数据，NameNode将元数据返回给客户端后，客户端根据元数据信息与相应的DataNodes交互，然后客户端将该merged file的元数据缓存，则如果该merged file的其他小文件被请求时，能够直接从缓存中读取元数据，从而减少与NameNode的交互；

Step2：局部索引文件预取：根据merged file的元数据，客户端获知从哪些数据块中读取被请求文件，如果局部索引文件已经被预取，当属于该merged file 的小文件被请求时，客户端根据被缓存的索引信息，直接从对应DataNode中读取；否则，局部索引文件预取操作被触发，将局部索引文件预取到客户端的缓存中，在缓存中，预取得到的局部索引文件和元数据被处理，为每一个小文件生成元数据索引信息，索引信息包括：原始小文件文件名(16字节)、DataNode ID(4字节)、块ID(4字节)、偏移(4字节)和长度(4字节)；

Step3：关联文件预取：同一个merged file的非独立小文件有着直观的关联关系和明确的逻辑顺序，当被请求的小文件返回到客户端后，关联文件预取操作被触发，根据文件之间的逻辑顺序将该merged file下的相关小文件预取。

(4)海量教育文件碎片的整理所用技术如下：

当某个小文件被删除或者其他原因造成数据块中存在空闲区域，为了利用这些空间提出了碎片整理机制。该机制通过建立一个碎片索引集合，并利用二叉树结构来定位碎片。

索引集合包括各碎片所在块中的偏移和碎片的长度，按碎片长度将其依次放入索引项中，通过对碎片索引集合中索引项的查找来定位碎片，然后进行插入操作将相应大小的文件存入块中，或删除操作删除不需要的小文件，这些操作与二叉树的查找、插入和删除操作相同。

海量教育文件碎片整理步骤包括如下步骤：

Step1：当写入某类小文件时，将小文件所属大文件相应的块上，先通过大文件的碎片索引，查看该块中是否有适合的碎片可以存入小文件，则将该碎片分为两个部分，前一部分分配给待写入小文件，后一部分碎片作为新的碎片，在碎片索引集合，删除原碎片的索引项，为新的碎片插入索引项，在小文件索引集合中插入新写入小文件的索引项；如果没有，对碎片索引集合不进行任何改动，直接在数据块末尾的空白区分配空间给小文件存储，并在小文件索引集合插入其索引项；

Step2：当删除小文件时，首先使用待删除小文件的文件名查找索引项，判断是否存在该文件，若不存在，则删除失败；如果存在，则在碎片索引集合中插入一条新的碎片索引项；然后在碎片索引集合，判断新的碎片索引项的相邻的数据单元是否同样为碎片数据，如果存在任何一边的数据单元是空白索引，那么合并多个数据碎片成一个大的数据碎片，并更新碎片索引，当数据碎片的相邻碎片是由于数据块的分界造成时，不需要进行数据碎片的合并。

附图说明

图1为海量教育文件关联存储方法流程图；

图2为海量教育文件关联存储中文件归并流程图；

图3为读取merged file时对局部索引文件的操作的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

一种海量教育文件关联存储方法，如图1所示，具体包括如下步骤：

(1)海量教育文件的归并；

(2)海量教育文件中的局部索引；

(3)海量教育文件的缓存与预取；

(4)海量教育文件碎片的整理。

以下将按照上述流程顺序叙述具体实施方案，包括：海量教育文件的归并方法、

海量教育文件关联方法中局部索引确定的方法、海量教育文件中读取 mergedfile时对局部索引文件的操作方法、海量教育文件的缓存与预取方法、海量教育文件碎片整理方法。

1.如图2所示，海量教育文件的归并方法,包括如下步骤

Step1：将属于某个大文件的所有小文件归并为一个文件，称为merged file；

Step2：对每个merged file建立一个局部索引，并在上传时将局部索引文件与文件实体一同存放在Hadoop系统的DataNode上；

Step3：在读取非独立小文件时，采用元数据缓存、局部索引文件预取和关联文件预取提高文件的读取效率。

2.海量教育文件关联方法中局部索引确定的方法

海量教育文件中的局部索引文件的结构如下：

i.索引头部由占1字节的版本号、占4字节的索引项数和占4字节的局部索引文件长度组成；

ii.序列索引由占4字节的序列名称、占4字节的文件索引的起始编号和占4 字节的文件索引项数构成；

iii.文件索引项由占16字节的文件名称、占4字节的文件长度和占4字节的文件偏移构成。

3.根据海量教育文件的局部索引文件结构，确定局部索引的方法步骤如下：

Step1：依次计算每个文件的偏移，在数据块的边界处，检查是否有文件会横跨两个数据块，如果没有，转向Step3，否则，转向Step2；

Step2：在这个横跨两个数据块的小文件前，建立额外的局部索引文件，该索引文件的偏移是下一个数据块的起始位置，横跨小文件的偏移是该局部索引文件的结束位置，设块长为L_block，局部索引文件的大小为L_index，新块的序列号为W，新索引文件偏移量为L_offset，新索引文件长度为L_length，横跨小文件的偏移量为L_foffset，则：

L_offset＝(W-1)*L_block (5.1)

L_length＝L_index (5.2)

L_foffset＝L_offset+L_length (5.3)

Step3：对下一个数据块，重复Step1和Step2。

4.如图3所示，海量教育文件中读取merged file时对局部索引文件的操作方法步骤如下：

Step1：根据merged file名从NameNode获取元数据；

Step2：由merged file的元数据，从Hadoop文件系统的相应DataNode读取指定的数据块，并根据数据块内索引文件长度项读取数据块的局部索引文件；

Step3：最后根据小文件名称，查找局部索引文件，获得该小文件的起始位置和长度，从而完成对小文件的读操作。

5.海量教育文件的缓存与预取方法，包括如下步骤：

Step1：元数据缓存：当小文件被读取时，将小文件映射到merged file以获取merged file的元数据，NameNode将元数据返回给客户端后，客户端根据元数据信息与相应的DataNodes交互，然后客户端将该merged file的元数据缓存，则如果该merged file的其他小文件被请求时，能够直接从缓存中读取元数据，从而减少与NameNode的交互；

Step2：局部索引文件预取：根据merged file的元数据，客户端获知从哪些数据块中读取被请求文件，如果局部索引文件已经被预取，当属于该merged file 的小文件被请求时，客户端根据被缓存的索引信息，直接从对应DataNode中读取；否则，局部索引文件预取操作被触发，将局部索引文件预取到客户端的缓存中，在缓存中，预取得到的局部索引文件和元数据被处理，为每一个小文件生成元数据索引信息，索引信息包括：原始小文件文件名(16字节)、DataNode ID(4字节)、块ID(4字节)、偏移(4字节)和长度(4字节)；

Step3：关联文件预取：同一个merged file的非独立小文件有着直观的关联关系和明确的逻辑顺序，当被请求的小文件返回到客户端后，关联文件预取操作被触发，根据文件之间的逻辑顺序将该merged file下的相关小文件预取。

6.海量教育文件碎片整理方法：

7.海量教育文件碎片所用整理技术如下：

当某个小文件被删除或者其他原因造成数据块中存在空闲区域，为了利用这些空间提出了碎片整理机制。该机制通过建立一个碎片索引集合，并利用二叉树结构来定位碎片。

索引集合包括各碎片所在块中的偏移和碎片的长度，按碎片长度将其依次放入索引项中，通过对碎片索引集合中索引项的查找来定位碎片，然后进行插入操作将相应大小的文件存入块中，或删除操作删除不需要的小文件，这些操作与二叉树的查找、插入和删除操作相同。

8.根据文件碎片整理技术，海量教育文件碎片的整理方法步骤如下：

Step1：当写入某类小文件时，将小文件所属大文件相应的块上，先通过大文件的碎片索引，查看该块中是否有适合的碎片可以存入小文件，则将该碎片分为两个部分，前一部分分配给待写入小文件，后一部分碎片作为新的碎片，在碎片索引集合，删除原碎片的索引项，为新的碎片插入索引项，在小文件索引集合中插入新写入小文件的索引项；如果没有，对碎片索引集合不进行任何改动，直接在数据块末尾的空白区分配空间给小文件存储，并在小文件索引集合插入其索引项；

Step2：当删除小文件时，首先使用待删除小文件的文件名查找索引项，判断是否存在该文件，若不存在，则删除失败；如果存在，则在碎片索引集合中插入一条新的碎片索引项；然后在碎片索引集合，判断新的碎片索引项的相邻的数据单元是否同样为碎片数据，如果存在任何一边的数据单元是空白索引，那么合并多个数据碎片成一个大的数据碎片，并更新碎片索引，当数据碎片的相邻碎片是由于数据块的分界造成时，不需要进行数据碎片的合并。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (9)

1.一种海量教育文件关联存储方法，其特征在于，包括：

S1：海量教育文件的归并；

S2：海量教育文件中的局部索引；

S3：海量教育文件的缓存与预取；

S4：海量教育文件碎片的整理。

2.根据权利要求1所述的海量教育文件关联存储方法，其特征在于，文件归并步骤如下：

Step1：将属于某个大文件的所有小文件归并为一个文件，称为merged file；

Step2：对每个merged file建立一个局部索引，并在上传时将局部索引文件与文件实体一同存放在Hadoop系统的DataNode上；

Step3：在读取非独立小文件时，采用元数据缓存、局部索引文件预取和关联文件预取提高文件的读取效率。

3.根据权利要求2所述的海量教育文件关联存储方法，其特征在于，局部索引的文件结构如下：

局部索引文件采用静态查找表结构，由索引头部、序列索引和文件索引3部分构成：

(1)索引头部由占1字节的版本号、占4字节的索引项数和占4字节的局部索引文件长度组成；

(2)序列索引由占4字节的序列名称、占4字节的文件索引的起始编号和占4字节的文件索引项数构成；

(3)文件索引项由占16字节的文件名称、占4字节的文件长度和占4字节的文件偏移构成。

4.根据权利要求2所述的一种海量教育文件关联存储方法，其特征在于，读取mergedfile时对局部索引文件的操作，包括如下步骤：

Step1：根据merged file名从NameNode获取元数据；

Step2：由merged file的元数据，从Hadoop文件系统的相应DataNode读取指定的数据块，并根据数据块内索引文件长度项读取数据块的局部索引文件；

Step3：最后根据小文件名称，查找局部索引文件，获得该小文件的起始位置和长度，从而完成对小文件的读操作。

5.根据权利要求1所述的海量教育文件关联存储方法，其特征在于，局部索引确定包括如下步骤：

Step1：依次计算每个文件的偏移，在数据块的边界处，检查是否有文件会横跨两个数据块，如果没有，转向Step3，否则，转向Step2；

Step2：在这个横跨两个数据块的小文件前，建立额外的局部索引文件，该索引文件的偏移是下一个数据块的起始位置，横跨小文件的偏移是该局部索引文件的结束位置，设块长为L_block，局部索引文件的大小为L_index，新块的序列号为W，新索引文件偏移量为L_offset，新索引文件长度为L_length，横跨小文件的偏移量为L_foffset，则：

L_offset＝(W-1)*L_block (5.1)

L_length＝L_index (5.2)

L_foffset＝L_offset+L_length (5.3)

Step3：对下一个数据块，重复Step1和Step2。

6.根据权利要求1所述的海量教育文件关联存储方法，其特征在于，缓存与预取包括如下步骤：

Step1：元数据缓存：当小文件被读取时，将小文件映射到merged file以获取mergedfile的元数据，NameNode将元数据返回给客户端后，客户端根据元数据信息与相应的DataNodes交互，然后客户端将该merged file的元数据缓存，则如果该merged file的其他小文件被请求时，能够直接从缓存中读取元数据，从而减少与NameNode的交互；

Step2：局部索引文件预取：根据merged file的元数据，客户端获知从哪些数据块中读取被请求文件，如果局部索引文件已经被预取，当属于该merged file的小文件被请求时，客户端根据被缓存的索引信息，直接从对应DataNode中读取；否则，局部索引文件预取操作被触发，将局部索引文件预取到客户端的缓存中，在缓存中，预取得到的局部索引文件和元数据被处理，为每一个小文件生成元数据索引信息，索引信息包括：原始小文件文件名(16字节)、DataNode ID(4字节)、块ID(4字节)、偏移(4字节)和长度(4字节)；

Step3：关联文件预取：同一个merged file的非独立小文件有着直观的关联关系和明确的逻辑顺序，当被请求的小文件返回到客户端后，关联文件预取操作被触发，根据文件之间的逻辑顺序将该merged file下的相关小文件预取。

7.根据权利要求1所述的海量教育文件关联存储方法，其特征在于，碎片整理目的如下：

碎片整理是对DataNode的数据块中存在的空白区域的再利用。

8.根据权利要求7所述的海量教育文件关联存储方法，其特征在于，碎片整理利用技术如下：

当某个小文件被删除或者其他原因造成数据块中存在空闲区域，为了利用这些空间提出了碎片整理机制；该机制通过建立一个碎片索引集合，并利用二叉树结构来定位碎片；

索引集合包括各碎片所在块中的偏移和碎片的长度，按碎片长度将其依次放入索引项中，通过对碎片索引集合中索引项的查找来定位碎片，然后进行插入操作将相应大小的文件存入块中，或删除操作删除不需要的小文件。

9.根据权利要求7所述的海量教育文件关联存储方法，其特征在于，碎片整理步骤如下：

Step1：当写入某类小文件时，将小文件所属大文件相应的块上，先通过大文件的碎片索引，查看该块中是否有适合的碎片可以存入小文件，则将该碎片分为两个部分，前一部分分配给待写入小文件，后一部分碎片作为新的碎片，在碎片索引集合，删除原碎片的索引项，为新的碎片插入索引项，在小文件索引集合中插入新写入小文件的索引项；如果没有，对碎片索引集合不进行任何改动，直接在数据块末尾的空白区分配空间给小文件存储，并在小文件索引集合插入其索引项；

Step2：当删除小文件时，首先使用待删除小文件的文件名查找索引项，判断是否存在该文件，若不存在，则删除失败；如果存在，则在碎片索引集合中插入一条新的碎片索引项；然后在碎片索引集合，判断新的碎片索引项的相邻的数据单元是否同样为碎片数据，如果存在任何一边的数据单元是空白索引，那么合并多个数据碎片成一个大的数据碎片，并更新碎片索引，当数据碎片的相邻碎片是由于数据块的分界造成时，不需要进行数据碎片的合并。