CN107562913A - 一种分布式文件系统的数据存储方法及装置 - Google Patents

Abstract

本发明公开了一种分布式文件系统的数据存储方法及装置，该方法包括：统计分布式文件系统集群中的数据节点的预设参数；以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点；获取数据，并将数据存储至目标节点。可以理解的是，读写频率较低的数据节点在集群中不经常被使用，因此可以认为该数据节点相比于被频繁使用的其它数据节点具有更高的IO性能，因此选取读写频率低的数据节点进行数据的存储能够均衡集群对于数据的整体处理性能。此外，在存储小文件时，避免当小文件数量较大而造成节点IO繁忙，保证了节点的IO性能，进而确保集群的高可用性。此外，本发明还提供一种分布式文件系统的数据存储装置，有益效果如上所述。

Description

一种分布式文件系统的数据存储方法及装置

技术领域

本发明涉及分布式集群领域，特别是涉及一种分布式文件系统的数据存储方法及装置。

背景技术

随着互联网的发展以及互联网用户的不断增加，互联网中所产生的数据也在急剧膨胀，每天都有数以亿计的新数据产生。

单独的计算机受内存、CPU等硬件的限制，已无法满足对于海量数据存储和计算的要求。针对海量数据的处理的分布式文件系统应运而生，分布式文件系统技术将数据存储在集群中物理分散的多个存储节点中，对于集群中节点的资源进行统一的分配与管理，并且提供用户访问文件的接口。由于分布式文件系统具有分布式的优秀特性，可以将数据拆分成较小的数据分别存储到不同的集群节点，通过多个节点共同对数据进行处理，进而能够轻松实现PB级数据的存储以及计算。传统的分布式文件系统采用伪随机值产生哈希函数，哈希函数根据集群节点的剩余空间情况生成数据的分配策略，但是当进行某些小文件的存储时，由于小文件仅占用节点较少的空间，通过哈希函数所生成的分配策略仅会将小文件存储至集群中的某一个节点中，当小文件的数量很大时，频繁的写入以及读取小文件时会造成该节点的IO繁忙，因此相对会降低该节点的IO性能，进而造成集群整体可用性下降。

由此可见，提供一种分布式文件系统的数据存储方法以保证集群节点的IO性能，进而确保集群的高可用性，是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种分布式文件系统的数据存储方法及装置，保证节点的IO性能，进而确保集群的高可用性。

为解决上述技术问题，本发明提供一种分布式文件系统的数据存储方法，包括：

统计分布式文件系统集群中的数据节点的预设参数；其中预设参数至少包括数据读写频率；

以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点；

获取数据，并将数据存储至目标节点。

优选的，预设参数还包括数据节点的剩余容量；

相应的，该方法进一步包括：

设置数据的数据量阈值；

判断数据的总量是否满足数据量阈值；

如果是，则以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点具体为：

以预设参数为依据在剩余容量最大的数据节点中选取读写频率最低的数据节点作为目标节点。

优选的，该方法进一步包括：

设定执行周期并记录在执行周期中目标节点的数据读写频率的变化。

优选的，该方法进一步包括：

设置频率阈值，并判断数据读写频率的变化是否超过阈值；

如果是，则进行错误提示。

优选的，以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点具体为：

通过哈希函数在数据节点中选取读写频率最低的数据节点作为目标节点。

优选的，该方法进一步包括：

获取目标节点的IO状态，并将IO状态进行记录。

此外，本发明还提供一种分布式文件系统的数据存储装置，包括：

统计模块，用于统计分布式文件系统集群中的数据节点的预设参数；

节点选取模块，用于以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点；

数据存储模块，用于获取数据，并将数据存储至目标节点。

优选的，该装置进一步包括：

阈值设定模块，用于设置数据的数据量阈值；

判断模块，用于判断数据的总量是否满足数据量阈值，

如果是，则执行节点选取模块。

优选的，该装置进一步包括：

频率记录模块，用于设定执行周期并记录在执行周期中目标节点的数据读写频率的变化。

优选的，该装置进一步包括：

状态记录模块，用于获取目标节点的IO状态，并将IO状态进行记录。

本发明所提供的分布式文件系统的数据存储方法，将数据节点的读写频率作为选取数据节点的依据。可以理解的是，读写频率较低的数据节点在集群中不经常被使用，因此可以认为该数据节点相比于被频繁使用的其它数据节点具有更高的IO性能，因此选取读写频率低的数据节点进行数据的存储能够均衡集群对于数据的整体处理性能。此外，在存储小文件时，本方法避免小文件频繁的写入同一节点的情况，进而避免当小文件数量较大而造成节点IO繁忙，保证了节点的IO性能，进而确保集群的高可用性。此外，本发明还提供一种分布式文件系统的数据存储装置，有益效果如上所述。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种分布式文件系统的数据存储方法的流程图；

图2为本发明实施例提供的另一种分布式文件系统的数据存储方法的流程图；

图3为本发明实施例提供的一种分布式文件系统的数据存储装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

本发明的核心是提供一种分布式文件系统的数据存储方法，保证节点的IO性能，进而确保集群的高可用性。本发明的另一核心是提供一种分布式文件系统的数据存储装置。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

实施例一

图1为本发明实施例提供的一种分布式文件系统的数据存储方法的流程图。请参考图1，分布式文件系统的数据存储方法的具体步骤包括：

步骤S10：统计分布式文件系统集群中的数据节点的预设参数。

其中预设参数至少包括数据读写频率。

可以理解的是，由于本发明中选择用于数据存储的数据节点的依据是数据节点的数据读写频率，而数据读写频率能够反映出该数据节点是否经常被访问并用于数据的读写，因此数据读写频率高的数据节点由于更为频繁的读写数据，相应的性能会低于数据读写频率低的数据节点。需要说明的是，由于数据读写频率是本发明所关注的重点，因此预设参数至少包括数据读写频率，但不仅限于数据读写频率。

步骤S11：以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点。

需要说明的是，由于数据节点中数据读写频率越低的数据节点性能相对更高，因此为了均衡集群中的数据节点的普遍性能进而保证集群整体具有高可用性，本步骤中将读写频率最低的数据节点作为目标节点，用于数据的存储。需要强调的是，当数据量很大时，可能需要多个数据节点共同进行数据的存储，此时，本步骤中所选取的读写频率最低的数据节点为集群中相对整个集群最低的多个。

步骤S12：获取数据，并将数据存储至目标节点。

本步骤的目的是完成对数据的存储，当数据量较大时，相应的目标节点数量为多个，数据采取分布式的方式存储至多个目标节点中。

本发明所提供的分布式文件系统的数据存储方法，将数据节点的读写频率作为选取数据节点的依据。可以理解的是，读写频率较低的数据节点在集群中不经常被使用，因此可以认为该数据节点相比于被频繁使用的其它数据节点具有更高的IO性能，因此选取读写频率低的数据节点进行数据的存储能够均衡集群对于数据的整体处理性能。此外，在存储小文件时，本方法避免小文件频繁的写入同一节点的情况，进而避免当小文件数量较大而造成节点IO繁忙，保证了节点的IO性能，进而确保集群的高可用性。

实施例二

图2为本发明实施例提供的另一种分布式文件系统的数据存储方法的流程图。图2中步骤S10-S12与图1相同，在此不再赘述。

在上述实施例的基础上，作为一种优选的实施方式，预设参数还包括数据节点的剩余容量；

相应的，该方法进一步包括：

设置数据的数据量阈值；

判断数据的总量是否满足数据量阈值；

如果是，则以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点具体为：

以预设参数为依据在剩余容量最大的数据节点中选取读写频率最低的数据节点作为目标节点。

需要说明的是，设置数据量阈值的目是为了界定所存储的文件属于大文件亦或是小文件，当需要进行存储的文件的数据量较大时，对于数据节点的选取依据不能仅限于数据节点的读写频率，还要将数据节点的剩余容量作为目标节点选取的参考依据，因此预设参数中还包括数据节点的剩余容量。此外，为了保证数据存储的正常进行，应该首先确保所选取的数据节点有足够的剩余容量能够存储大文件，因此当存储大文件时剩余容量应该作为预设参数中权重更大的参数，进而在选取目标节点时应以预设参数为依据在剩余容量最大的数据节点中选取读写频率最低的数据节点作为目标节点。

图2为本发明实施例提供的另一种分布式文件系统的数据存储方法的流程图。图2中步骤S10-S12与图1相同，在此不再赘述。

如图2所示，作为一种优选的实施方式，该方法进一步包括：

步骤S20：设定执行周期并记录在执行周期中目标节点的数据读写频率的变化。

需要说明的是，由于数据读写频率是在集群中选取数据节点作为目标节点的重要依据，因此可以周期性的对于集群中数据节点进行数据读写频率的监控，进而能够使用户更加清楚的了解文件的存储动向以及集群中各个节点的状态情况，在后续对集群的优化以及故障的排查过程中能有一定的参考作用。

如图2所示，作为一种优选的实施方式，该方法进一步包括：

步骤S21：设置频率阈值，并判断数据读写频率的变化是否超过阈值；

如果是，则执行步骤S22。

步骤S22：进行错误提示。

可以理解的是，由于数据读写频率的变化关系到集群中数据节点的选取，因此当数据读写频率增长幅度很大时，数据节点的IO压力将骤增，进而对于数据节点的工作性能会很大影响，甚至导致数据节点的宕机等情况发生。设置频率阈值的目的是用于界定数据节点是否处于上述非稳定情况，当出现数据节点的数据读写频率变动幅度大于频率阈值的危险情况时，需要进行错误提示以及时告知用户进行故障的处理以保证整体集群的稳定工作。

在上述实施方式的基础上，作为一种优选的实施方式，以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点具体为：

通过哈希函数在数据节点中选取读写频率最低的数据节点作为目标节点。

需要说明的是，通过哈希函数能够高效的执行数据节点的选取工作，提供可靠的数据节点使用策略。哈希函数的执行参数往往是集群中数据节点的空闲空间，通过空闲空间情况选取目标节点，而本发明是将数据读写频率作为选取目标节点的主要参数，通过哈希函数进行参数的分析进而选取到目标节点。当然，数据节点的空间容量等预设参数可以与数据读写频率共同作为哈希函数选取目标节点的参考，在此不做具体限定。

如图2所示，作为一种优选的实施方式，该方法进一步包括：

步骤S23：获取目标节点的IO状态，并将IO状态进行记录。

可以理解的是，获取目标节点的IO状态，并将IO状态进行记录后，用户可以根据记录了解到目标节点的实际工作情况，对于后续集群节点的优化以及数据存储方式的优化都提供了可靠的数据支持。

实施例三

在上文中对于一种分布式文件系统的数据存储方法的实施例进行了详细的描述，本发明还提供一种分布式文件系统的数据存储装置，由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图3为本发明实施例提供的一种分布式文件系统的数据存储装置结构图。如图3所示，本发明实施例提供的一种分布式文件系统的数据存储装置，包括：

统计模块10，用于统计分布式文件系统集群中的数据节点的预设参数。

节点选取模块11，用于以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点。

数据存储模块12，用于获取数据，并将数据存储至目标节点。

本发明所提供的分布式文件系统的数据存储装置，将数据节点的读写频率作为选取数据节点的依据。可以理解的是，读写频率较低的数据节点在集群中不经常被使用，因此可以认为该数据节点相比于被频繁使用的其它数据节点具有更高的IO性能，因此选取读写频率低的数据节点进行数据的存储能够均衡集群对于数据的整体处理性能。此外，在存储小文件时，本装置避免小文件频繁的写入同一节点的情况，进而避免当小文件数量较大而造成节点IO繁忙，保证了节点的IO性能，进而确保集群的高可用性。

在实施例三的基础上，该装置还包括：

阈值设定模块，用于设置数据的数据量阈值；

判断模块，用于判断数据的总量是否满足数据量阈值，

如果是，则执行节点选取模块。

在实施例三的基础上，该装置还包括：

频率记录模块，用于设定执行周期并记录在执行周期中目标节点的数据读写频率的变化。

在实施例三的基础上，该装置还包括：

状态记录模块，用于获取目标节点的IO状态，并将IO状态进行记录。

以上对本发明所提供的一种分布式文件系统的数据存储方法及装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种分布式文件系统的数据存储方法，其特征在于，包括：

统计分布式文件系统集群中的数据节点的预设参数；其中所述预设参数至少包括数据读写频率；

以所述预设参数为依据在所述数据节点中选取所述读写频率最低的所述数据节点作为目标节点；

获取数据，并将所述数据存储至所述目标节点。

2.根据权利要求1所述的方法，其特征在于，所述预设参数还包括所述数据节点的剩余容量；

相应的，该方法进一步包括：

设置所述数据的数据量阈值；

判断所述数据的总量是否满足所述数据量阈值；

如果是，则所述以所述预设参数为依据在所述数据节点中选取所述读写频率最低的所述数据节点作为目标节点具体为：

以所述预设参数为依据在所述剩余容量最大的所述数据节点中选取所述读写频率最低的所述数据节点作为所述目标节点。

3.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

设定执行周期并记录在所述执行周期中所述目标节点的所述数据读写频率的变化。

4.根据权利要求3所述的方法，其特征在于，该方法进一步包括：

设置频率阈值，并判断所述数据读写频率的变化是否超过阈值；

如果是，则进行错误提示。

5.根据权利要求1所述的方法，其特征在于，所述以所述预设参数为依据在所述数据节点中选取所述读写频率最低的所述数据节点作为目标节点具体为：

通过哈希函数在所述数据节点中选取所述读写频率最低的所述数据节点作为目标节点。

6.根据权利要求1至5任意一项所述的方法，其特征在于，该方法进一步包括：

获取所述目标节点的IO状态，并将所述IO状态进行记录。

7.一种分布式文件系统的数据存储装置，其特征在于，包括：

统计模块，用于统计分布式文件系统集群中的数据节点的预设参数；

节点选取模块，用于以所述预设参数为依据在所述数据节点中选取所述读写频率最低的所述数据节点作为目标节点；

数据存储模块，用于获取数据，并将所述数据存储至所述目标节点。

8.根据权利要求7所述的装置，其特征在于，该装置进一步包括：

阈值设定模块，用于设置所述数据的数据量阈值；

判断模块，用于判断所述数据的总量是否满足所述数据量阈值，

如果是，则执行所述节点选取模块。

9.根据权利要求7所述的装置，其特征在于，该装置进一步包括：

频率记录模块，用于设定执行周期并记录在所述执行周期中所述目标节点的所述数据读写频率的变化。

10.根据权利要求7至9任意一项所述的装置，其特征在于，该装置进一步包括：

状态记录模块，用于获取所述目标节点的IO状态，并将所述IO状态进行记录。