CN105279166B - 文件管理方法和系统 - Google Patents

Abstract

本发明公开一种文件管理方法和系统。其中在文件管理方法中，文件管理装置以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数。文件管理装置选择出前N个读写次数最大的文件，在前N个读写次数最大的文件中，文件管理装置判断是否存在第一迁移文件，其中第一迁移文件属于前N个读写次数最大的文件，且存储在存储节点中。若存在第一迁移文件，则文件管理装置向元数据节点发送第一迁移请求，元数据节点接收到第一迁移请求后，从相应的存储节点获取第一迁移文件以进行本地存储。通过将频繁读写的文件直接存放在元数据节点中，从而提升了文件读写速度。

Description

文件管理方法和系统

技术领域

本发明涉及数据存储领域，特别涉及一种文件管理方法和系统。

背景技术

分布式文件系统将大文件分块存储在各存储节点中，实现了文件多节点并行读写，如图1所示。但在每次读写时，需先从元数据节点查询存储文件的节点。一旦频繁读写小文件(小于最小分块，HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)定义为64M)，查询的时间甚至超过读写文件时间，严重影响了系统效率。

由于在元数据节点的内存中存在大量的文件索引条目，因此在主备节点数据备份过程中，需进行大量内存数据的频繁拷贝，长时间占据系统计算与带宽资源，影响核心业务质量。

Yahoo提出了采用HAR(Hadoop Archive)的方法，可以将众多小文件打包成Chunk进行存储，打包后的Chunk由索引和存储两大部分组成，如图2所示。但是若对打包后小文件进行修改，需要对Chunk进行解包处理，导致浪费了大量时间与性能开销。

发明内容

本发明实施例提供一种文件管理方法和系统。通过将频繁读写的文件直接存放在元数据节点中，从而提升了文件读写速度。

根据本发明的一个方面，提供一种文件管理方法，包括：

文件管理装置以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数；

文件管理装置选择出前N个读写次数最大的文件；

在前N个读写次数最大的文件中，文件管理装置判断是否存在第一迁移文件，其中第一迁移文件属于前N个读写次数最大的文件，且存储在存储节点中；

若存在第一迁移文件，则文件管理装置向元数据节点发送第一迁移请求；

元数据节点接收到第一迁移请求后，从相应的存储节点获取第一迁移文件以进行本地存储。

在一个实施例中，元数据节点接收到第一迁移请求后，从相应的存储节点获取第一迁移文件以进行本地存储的步骤包括：

元数据节点接收到第一迁移请求后，从相应的存储节点获取第一迁移文件；

元数据节点在本地索引中建立索引数据区映射，将第一迁移文件存储在元数据节点中相应的数据区；

元数据节点更新第一索引，并指示相应的存储节点更新第二索引，以便删除与第一迁移文件相关联的映射信息，其中第一索引和第二索引中包括存储在存储节点中文件的映射信息。

在一个实施例中，文件管理装置以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数之后，还包括：

文件管理装置选择出前M个读写次数最小的文件；

在前M个读写次数最小的文件中，文件管理装置判断是否存在第二迁移文件，其中第二迁移文件属于前M个读写次数最小的文件，且存储在元数据节点中；

若存在第二迁移文件，则文件管理装置向元数据节点发送第二迁移请求；

元数据节点接收到第二迁移请求后，将第二迁移文件从元数据节点迁移到相应的存储节点以进行存储。

在一个实施例中，元数据节点接收到第二迁移请求后，将第二迁移文件从元数据节点迁移到相应的存储节点以进行存储的步骤包括：

元数据节点接收到第二迁移请求后，在一级索引中建立与第二迁移文件相关联的一级映射，指示相应的存储节点在二级索引中建立与第二迁移文件相关联的二级映射，将第二迁移文件分布式存储到相应的存储节点中；

元数据节点更新本地索引，以便删除与第二迁移文件相关联的映射信息。

在一个实施例中，元数据节点在存储新文件时，识别新文件的大小；

元数据节点判断新文件的大小是否小于预定阈值；

若新文件的大小小于预定阈值，则元数据节点在本地索引中建立索引数据区映射，将新文件存储在元数据节点中相应的数据区。

在一个实施例中，若新文件的大小不小于预定阈值，则元数据节点在一级索引中建立一级映射，指示相应的存储节点在二级索引中建立二级映射，将新文件分布式存储到相应的存储节点中。

根据本发明的另一方面，提供一种文件管理系统，包括文件管理装置、元数据节点和存储节点，其中：

文件管理装置，用于以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数；选择出前N个读写次数最大的文件，在前N个读写次数最大的文件中，判断是否存在第一迁移文件，其中第一迁移文件属于前N个读写次数最大的文件，且存储在存储节点中；若存在第一迁移文件，则向元数据节点发送第一迁移请求；

元数据节点，用于在接收到第一迁移请求后，从相应的存储节点获取第一迁移文件以进行本地存储；

存储节点，用于分布式存储文件。

在一个实施例中，元数据节点具体在接收到第一迁移请求后，从相应的存储节点获取第一迁移文件；在本地索引中建立索引数据区映射，将第一迁移文件存储在元数据节点中相应的数据区；更新第一索引，并指示相应的存储节点更新第二索引，以便删除与第一迁移文件相关联的映射信息，其中第一索引和第二索引中包括存储在存储节点中文件的映射信息。

在一个实施例中，文件管理装置还用于在以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数之后，选择出前M个读写次数最小的文件；在前M个读写次数最小的文件中，判断是否存在第二迁移文件，其中第二迁移文件属于前M个读写次数最小的文件，且存储在元数据节点中；若存在第二迁移文件，则向元数据节点发送第二迁移请求；

元数据节点还用于在接收到第二迁移请求后，将第二迁移文件从元数据节点迁移到相应的存储节点以进行存储。

在一个实施例中，元数据节点具体在接收到第二迁移请求后，在一级索引中建立与第二迁移文件相关联的一级映射，指示相应的存储节点在二级索引中建立与第二迁移文件相关联的二级映射，将第二迁移文件分布式存储到相应的存储节点中；更新本地索引，以便删除与第二迁移文件相关联的映射信息。

在一个实施例中，元数据节点还用于在存储新文件时，识别新文件的大小；判断新文件的大小是否小于预定阈值，若新文件的大小小于预定阈值，则在本地索引中建立索引数据区映射，将新文件存储在元数据节点中相应的数据区。

在一个实施例中，元数据节点还用于在新文件的大小不小于预定阈值时，在一级索引中建立一级映射，指示相应的存储节点在二级索引中建立二级映射，将新文件分布式存储到相应的存储节点中。

在一个实施例中，系统还包括元数据服务器，其中：

元数据服务器，用于以预定的时间间隔备份元数据节点中的本地索引。

本发明通过统计文件的读写次数，将频繁读写的文件从存储节点迁移到元数据节点中，从而提升了文件读写速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中分布式文件系统一个实施例的示意图。

图2为现有技术中HAR方案一个实施例的示意图。

图3为本发明文件管理方法一个实施例的示意图。

图4为本发明文件管理方法另一实施例的示意图。

图5为本发明索引建立一个实施例的示意图。

图6为本发明索引数据结构一个实施例的示意图。

图7为本发明文件存储一个实施例的示意图。

图8为本发明文件管理系统一个实施例的示意图。

图9为本发明文件管理系统另一实施例的示意图。

图10为本发明与现有分布式文件系统的文件读取时序对比图。

图11为本发明与HAR方案的文件修改时序对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图3为本发明文件管理方法一个实施例的示意图。如图3所示，本实施例的方法步骤如下：

步骤301，文件管理装置以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数。

步骤302，文件管理装置选择出前N个读写次数最大的文件。

优选的，N与元数据节点数据区的容量相关。

步骤303，在前N个读写次数最大的文件中，文件管理装置判断是否存在第一迁移文件，其中第一迁移文件属于前N个读写次数最大的文件，且存储在存储节点中。

步骤304，若存在第一迁移文件，则文件管理装置向元数据节点发送第一迁移请求。

步骤305，元数据节点接收到第一迁移请求后，从相应的存储节点获取第一迁移文件以进行本地存储。

基于本发明上述实施例提供的文件管理方法，通过统计文件的读写次数，将频繁读写的文件从存储节点迁移到元数据节点中，从而提升了文件读写速度。

图4为本发明文件管理方法另一实施例的示意图。如图4所示，本实施例的方法步骤如下：

步骤401，文件管理装置以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数。

步骤402，文件管理装置选择出前M个读写次数最小的文件。

步骤403，在前M个读写次数最小的文件中，文件管理装置判断是否存在第二迁移文件，其中第二迁移文件属于前M个读写次数最小的文件，且存储在元数据节点中。

步骤404，若存在第二迁移文件，则文件管理装置向元数据节点发送第二迁移请求。

步骤405，元数据节点接收到第二迁移请求后，将第二迁移文件从元数据节点迁移到相应的存储节点以进行存储。

对于存储在元数据节点中的文件而言，若其读写频率过低，则可将其从元数据节点迁移到存储节点中，从而可提高元数据节点的资源利用率。

在本发明中，通过设置索引对存储的文件进行管理。如图5所示，元数据节点包括本地索引和一级索引，其中本地索引用于本地存储，一级索引与相应存储节点的二级索引相关联。当在元数据节点中存储文件时，在本地索引中建立数据区映射，进而将文件存储在元数据节点的数据区。当在存储节点中存储文件时，在一级索引中建立一级映射，在相应的存储节点中建立二级映射，进而分布式地存储相应文件。例如，在元数据节点中，将元数据索引的地址0xN000后的部分视为一级索引，将元数据索引的地址0xM000后的部分视为本地索引。索引的数据结构如图6所示。其中FileID为文件唯一标识，Datanode(本地)为当前元数据节点编号，Datanode(number)为文件所在存储节点的编号，Offset为偏移量，Length为文件长度。

在一个实施例中，上述元数据节点接收到第一迁移请求后，从相应的存储节点获取第一迁移文件以进行本地存储的步骤包括：

元数据节点接收到第一迁移请求后，从相应的存储节点获取第一迁移文件。元数据节点在本地索引中建立索引数据区映射，将第一迁移文件存储在元数据节点中相应的数据区。元数据节点更新第一索引，并指示相应的存储节点更新第二索引，以便删除与第一迁移文件相关联的映射信息，其中第一索引和第二索引中包括存储在存储节点中文件的映射信息。

通过更新索引，从而完成文件从存储节点到元数据节点的迁移。

在另一实施例中，上述元数据节点接收到第二迁移请求后，将第二迁移文件从元数据节点迁移到相应的存储节点以进行存储的步骤包括：

元数据节点接收到第二迁移请求后，在一级索引中建立与第二迁移文件相关联的一级映射，指示相应的存储节点在二级索引中建立与第二迁移文件相关联的二级映射，将第二迁移文件分布式存储到相应的存储节点中；元数据节点更新本地索引，以便删除与第二迁移文件相关联的映射信息。

通过更新索引，从而完成文件从元数据节点到存储节点的迁移。

图7为本发明文件存储一个实施例的示意图。如图7所示，本实施例的方法步骤如下：

步骤701，元数据节点在存储新文件时，识别新文件的大小。

步骤702，元数据节点判断新文件的大小是否小于预定阈值。若新文件的大小小于预定阈值，则执行步骤703；若新文件的大小不小于预定阈值，则执行步骤704。

步骤703，元数据节点在本地索引中建立索引数据区映射，将新文件存储在元数据节点中相应的数据区。之后，不再执行本实施例的其它步骤。

步骤704，元数据节点在一级索引中建立一级映射，指示相应的存储节点在二级索引中建立二级映射，将新文件分布式存储到相应的存储节点中。

需要说明的是，由于在存储节点中建立二级索引，因此元数据节点大部分条目在存储节点中都有副本，从而对元数据节点而言，只需要备份本地数据区的索引条目即可，从而减少了内存数据拷贝。

图8为本发明文件管理系统一个实施例的示意图。如图8所示，文件管理系统包括文件管理装置801、元数据节点802和存储节点803。其中：

文件管理装置801，用于以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数；选择出前N个读写次数最大的文件，在前N个读写次数最大的文件中，判断是否存在第一迁移文件，其中第一迁移文件属于前N个读写次数最大的文件，且存储在存储节点中；若存在第一迁移文件，则向元数据节点802发送第一迁移请求。

元数据节点802，用于在接收到第一迁移请求后，从相应的存储节点获取第一迁移文件以进行本地存储。

存储节点803，用于分布式存储文件。

基于本发明上述实施例提供的文件管理系统，通过统计文件的读写次数，将频繁读写的文件从存储节点迁移到元数据节点中，从而提升了文件读写速度。

在一个实施例中，元数据节点802具体在接收到第一迁移请求后，从相应的存储节点获取第一迁移文件；在本地索引中建立索引数据区映射，将第一迁移文件存储在元数据节点中相应的数据区；更新第一索引，并指示相应的存储节点803更新第二索引，以便删除与第一迁移文件相关联的映射信息，其中第一索引和第二索引中包括存储在存储节点中文件的映射信息。

通过更新索引信息，以完成将文件从存储节点迁移至元数据节点。

在一个实施例中，文件管理装置801还用于在以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数之后，选择出前M个读写次数最小的文件；在前M个读写次数最小的文件中，判断是否存在第二迁移文件，其中第二迁移文件属于前M个读写次数最小的文件，且存储在元数据节点中；若存在第二迁移文件，则向元数据节点802发送第二迁移请求。

元数据节点802还用于在接收到第二迁移请求后，将第二迁移文件从元数据节点迁移到相应的存储节点803以进行存储。

在一个实施例中，元数据节点802具体在接收到第二迁移请求后，在一级索引中建立与第二迁移文件相关联的一级映射，指示相应的存储节点在二级索引中建立与第二迁移文件相关联的二级映射，将第二迁移文件分布式存储到相应的存储节点803中；更新本地索引，以便删除与第二迁移文件相关联的映射信息。

通过更新索引信息，以完成将文件从元数据节点迁移至存储节点。

在一个实施例中，元数据节点802还用于在存储新文件时，识别新文件的大小；判断新文件的大小是否小于预定阈值，若新文件的大小小于预定阈值，则在本地索引中建立索引数据区映射，将新文件存储在元数据节点中相应的数据区。

元数据节点802还用于在新文件的大小不小于预定阈值时，在一级索引中建立一级映射，指示相应的存储节点803在二级索引中建立二级映射，将新文件分布式存储到相应的存储节点803中。

图9为本发明文件管理系统另一实施例的示意图。与图8所示实施例相比，在图9所示实施例中，系统还包括元数据服务器901。其中：

元数据服务器901，用于以预定的时间间隔备份元数据节点802中的本地索引。

由于在存储节点中建立二级索引，因此元数据节点大部分条目在存储节点中都有副本，从而对元数据节点而言，只需要备份本地数据区的索引条目即可，从而减少了内存数据拷贝。

图10为本发明与现有分布式文件系统的文件读取时序对比图。从图10中可以看出，通过实施本发明，可避免对文件所在存储节点的查询。图11为本发明与HAR方案的文件修改时序对比图。从图11中可以看出，通过实施本发明，可避免Chunk文件解包、重新打包等一系列操作。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (11)

1.一种文件管理方法，其特征在于，包括：

文件管理装置以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数；

文件管理装置选择出前N个读写次数最大的文件；

在前N个读写次数最大的文件中，文件管理装置判断是否存在第一迁移文件，其中第一迁移文件属于前N个读写次数最大的文件，且存储在存储节点中；

若存在第一迁移文件，则文件管理装置向元数据节点发送第一迁移请求；

元数据节点接收到第一迁移请求后，从相应的存储节点获取第一迁移文件以进行本地存储；

其中，元数据节点接收到第一迁移请求后，从相应的存储节点获取第一迁移文件以进行本地存储的步骤包括：

元数据节点接收到第一迁移请求后，从相应的存储节点获取第一迁移文件；

元数据节点在本地索引中建立索引数据区映射，将第一迁移文件存储在元数据节点中相应的数据区；

元数据节点更新第一索引，并指示相应的存储节点更新第二索引，以便删除与第一迁移文件相关联的映射信息，其中第一索引和第二索引中包括存储在存储节点中文件的映射信息。

2.根据权利要求1所述的方法，其特征在于，

文件管理装置以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数之后，还包括：

文件管理装置选择出前M个读写次数最小的文件；

在前M个读写次数最小的文件中，文件管理装置判断是否存在第二迁移文件，其中第二迁移文件属于前M个读写次数最小的文件，且存储在元数据节点中；

若存在第二迁移文件，则文件管理装置向元数据节点发送第二迁移请求；

元数据节点接收到第二迁移请求后，将第二迁移文件从元数据节点迁移到相应的存储节点以进行存储。

3.根据权利要求2所述的方法，其特征在于，

元数据节点接收到第二迁移请求后，将第二迁移文件从元数据节点迁移到相应的存储节点以进行存储的步骤包括：

元数据节点接收到第二迁移请求后，在一级索引中建立与第二迁移文件相关联的一级映射，指示相应的存储节点在二级索引中建立与第二迁移文件相关联的二级映射，将第二迁移文件分布式存储到相应的存储节点中；

元数据节点更新本地索引，以便删除与第二迁移文件相关联的映射信息。

4.根据权利要求1-3中任一项所述的方法，其特征在于，

元数据节点在存储新文件时，识别新文件的大小；

元数据节点判断新文件的大小是否小于预定阈值；

若新文件的大小小于预定阈值，则元数据节点在本地索引中建立索引数据区映射，将新文件存储在元数据节点中相应的数据区。

5.根据权利要求4所述的方法，其特征在于，

若新文件的大小不小于预定阈值，则元数据节点在一级索引中建立一级映射，指示相应的存储节点在二级索引中建立二级映射，将新文件分布式存储到相应的存储节点中。

6.一种文件管理系统，其特征在于，包括文件管理装置、元数据节点和存储节点，其中：

文件管理装置，用于以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数；选择出前N个读写次数最大的文件，在前N个读写次数最大的文件中，判断是否存在第一迁移文件，其中第一迁移文件属于前N个读写次数最大的文件，且存储在存储节点中；若存在第一迁移文件，则向元数据节点发送第一迁移请求；

元数据节点，用于在接收到第一迁移请求后，从相应的存储节点获取第一迁移文件以进行本地存储，其中在接收到第一迁移请求后，从相应的存储节点获取第一迁移文件；在本地索引中建立索引数据区映射，将第一迁移文件存储在元数据节点中相应的数据区；更新第一索引，并指示相应的存储节点更新第二索引，以便删除与第一迁移文件相关联的映射信息，其中第一索引和第二索引中包括存储在存储节点中文件的映射信息；

存储节点，用于分布式存储文件。

7.根据权利要求6所述的系统，其特征在于，

文件管理装置还用于在以预定的时间间隔，统计在指定时间范围内针对存储在元数据节点和存储节点中的文件的读写次数之后，选择出前M个读写次数最小的文件；在前M个读写次数最小的文件中，判断是否存在第二迁移文件，其中第二迁移文件属于前M个读写次数最小的文件，且存储在元数据节点中；若存在第二迁移文件，则向元数据节点发送第二迁移请求；

元数据节点还用于在接收到第二迁移请求后，将第二迁移文件从元数据节点迁移到相应的存储节点以进行存储。

8.根据权利要求7所述的系统，其特征在于，

元数据节点具体在接收到第二迁移请求后，在一级索引中建立与第二迁移文件相关联的一级映射，指示相应的存储节点在二级索引中建立与第二迁移文件相关联的二级映射，将第二迁移文件分布式存储到相应的存储节点中；更新本地索引，以便删除与第二迁移文件相关联的映射信息。

9.根据权利要求6-8中任一项所述的系统，其特征在于，

元数据节点还用于在存储新文件时，识别新文件的大小；判断新文件的大小是否小于预定阈值，若新文件的大小小于预定阈值，则在本地索引中建立索引数据区映射，将新文件存储在元数据节点中相应的数据区。

10.根据权利要求9所述的系统，其特征在于，

元数据节点还用于在新文件的大小不小于预定阈值时，在一级索引中建立一级映射，指示相应的存储节点在二级索引中建立二级映射，将新文件分布式存储到相应的存储节点中。

11.根据权利要求10所述的系统，其特征在于，还包括元数据服务器，其中：

元数据服务器，用于以预定的时间间隔备份元数据节点中的本地索引。