CN112749136A - 一种基于GlusterFS的文件存储方法及系统 - Google Patents

Abstract

本发明提出一种基于GlusterFS的文件存储方法及系统，在计算所得的原始哈希卷的存储空间不足以存储大文件时，选取负载最小的节点来存储该文件，当负载较小的哈希卷仍然不能存储该大文件时，可利用P2P系统的负载均衡策略移动已存储的文件来为该大文件腾出空间，这保证了文件存储的完整性，不但解决了分块存储带来的单点故障问题，而且大大缩短了文件读写所需的时间同时降低了系统协调的复杂性。

Description

一种基于GlusterFS的文件存储方法及系统

技术领域

本发明涉及存储技术领域，具体涉及一种基于GlusterFS的文件存储方法及系统。

背景技术

GlusterFS是一种无元数据的分布式存储方法。这种方法不使用元数据存储每个数据对应的存储位置信息，避免了元数据服务器所带来的单点故障问题，即使一个节点故障，集群仍然可用，其他节点存储的文件不受影响。

虽然GlusterFS的数据分布方法避免了单点故障问题，即使一个节点故障，其他节点的数据也不受影响。但是，在一些情况下，由于文件过大同时根据存储节点的负载状况，需要对文件进行分块，属于同一个大文件的不同文件块可能会存储到不同的节点上。所有文件块合在一起可构成一个完整的文件，但若存储某一个文件块的节点发生故障，那么即使其它的文件块依然可用，但是整个文件也不可用了，这样又会带来单点问题。

发明内容

针对GlusterFS存在的单点故障的问题，本发明提供一种基于GlusterFS的文件存储方法及系统。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供一种基于GlusterFS的文件存储方法，包括：

计算待存储文件所在的原始哈希卷，并计算所述原始哈希卷能否完整存储所述文件；

响应于计算得到的所述原始哈希卷不能完整存储所述待存储文件，计算所有的节点的负载情况，选出负载最小的节点，并计算所述负载最小的节点能否完整存储所述待存储文件；

响应于所述负载最小的节点不能完整地存储所述待存储文件，应用P2P系统的负载均衡技术，将所述负载最小的节点中的一部分完整文件移动到其他节点中，并在待移动文件所在的目录的扩展属性中加入指向目的文件夹的链接；

将所述待存储文件存入所述负载最小的节点的对应目录下，并在所述原始哈希卷的对应目录的扩展属性中加入指向所述待存储文件所在文件夹的链接。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述方法还包括：

响应于所述负载最小的节点可以完整地存储所述待存储文件，将待存储文件存储到所述负载最小节点的对应目录下，并在所述原始哈希卷的对应目录的扩展属性中加入指向所述待存储文件所在文件夹的链接。

进一步，所述方法还包括：

响应于计算得到的所述原始哈希卷能完整存储所述待存储文件，将所述待存储文件存储到所述原始哈希卷的对应目录中。

进一步，所述计算待存储文件所在的原始哈希卷，具体包括：

将待存储文件的文件路径及文件名输入Davies-Meyer哈希算法，计算得到哈希值，根据父目录扩展属性中记录的哈希区间划分确定所述待存储文件所在的原始哈希卷。

第二方面，本发明还提供一种基于GlusterFS的文件存储系统，包括：

第一计算模块，用于计算待存储文件所在的原始哈希卷，并计算所述原始哈希卷能否完整存储所述文件；

第二计算模块，用于响应于计算得到的所述原始哈希卷不能完整存储所述待存储文件，计算所有的节点的负载情况，选出负载最小的节点，并计算所述负载最小的节点能否完整存储所述待存储文件；

移动模块，用于响应于所述负载最小的节点不能完整地存储所述待存储文件，应用P2P系统的负载均衡技术，将所述负载最小的节点中的一部分完整文件移动到其他节点中，并在待移动文件所在的目录的扩展属性中加入指向目的文件夹的链接；

第一存储模块，用于将所述待存储文件存入所述负载最小的节点的对应目录下，并在所述原始哈希卷的对应目录的扩展属性中加入指向所述待存储文件所在文件夹的链接。

进一步，所述系统还包括：

第二存储模块，用于响应于所述负载最小的节点可以完整地存储所述待存储文件，将待存储文件存储到所述负载最小节点的对应目录下，并在所述原始哈希卷的对应目录的扩展属性中加入指向所述待存储文件所在文件夹的链接。

进一步，所述系统还包括：

第三存储模块，用于响应于计算得到的所述原始哈希卷能完整存储所述待存储文件，将所述待存储文件存储到所述原始哈希卷的对应目录中。

进一步，所述第一计算模块，具体用于：

将待存储文件的文件路径及文件名输入Davies-Meyer哈希算法，计算得到哈希值，根据父目录扩展属性中记录的哈希区间划分确定所述待存储文件所在的原始哈希卷。

本发明的有益效果是：

在计算所得的原始哈希卷的存储空间不足以存储大文件时，选取负载最小的节点来存储该文件，当负载较小的哈希卷仍然不能存储该大文件时，可利用P2P系统的负载均衡策略移动已存储的文件来为该大文件腾出空间，这保证了文件存储的完整性，不但解决了分块存储带来的单点故障问题，而且大大缩短了文件读写所需的时间同时降低了系统协调的复杂性。

附图说明

图1为本发明实施例提供的一种基于GlusterFS的文件存储方法的流程图；

图2为GlusterFS创建文件的流程图；

图3为文件的分块存储示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

为便于理解本发明，下面对相关技术作如下介绍。

面对巨大的信息量，传统的数据存储系统已经不能满足多样化、高性能、高可靠的大数据存储需求。这直接催生出了分布式存储技术。分布式存储系统可以将完整的数据分成多个部分分别存储在物理上分散的多个存储节点上，通过对这些节点进行统一的管理即可完成数据的存储和访问。而节点的管理则是通元数据来实现的，元数据是分布式存储的核心技术。在分布式存储系统中，数据本身的管理作为数据流，元数据的管理则作为控制流，显然控制流是数据流的基础，它是实现数据高安全，高性能，高可靠的关键所在，这使得元数据的管理成为了当前的研究热点。

目前，元数据管理主要用集中式、分布式和无元数据三种管理模型。集中式是指通过元数据服务器对所有访问和请求进行集中管理，元数据和数据本身是分离的，但是，随着存储节点的增加，元服务器将逐步成为系统性能的瓶颈，并且很难解决元服务器的单点故障问题，因而在可靠性上存在一定的缺陷；为了解决集中式元数据管理模型的不足，出现了分布式元数据管理模型，其基本思路是采用一个分布式计算机集群来代替元服务器，这解决了单点故障和性能瓶颈问题，在元服务器集群中，各节点通过内部的数据同步机制来保证数据的一致性。然而这种同步会带来较大的性能开销，并且存在由于同步出错导致数据不一致的风险。同样是为了解决单点故障和性能瓶颈问题，GlusterFS另辟蹊径，彻底摒弃了元数据服务，使用弹性哈希算法代替传统分布式文件系统中的集中或分布式元数据服务，这根本性地解决了元数据这一难题，从而获得了接近线性的高扩展性，同时也提高了系统性能和可靠性。GlusterFS使用算法进行数据定位，集群中的任何服务器和客户端只需根据路径和文件名就可以对数据进行定位和读写访问。换句话说，GlusterFS不需要将元数据与数据进行分离，因为文件定位和文件访问可并行化进行。GlusterFS独特地采用无元数据服务的设计，取而代之地使用算法来定位文件，元数据和数据没有分离而是一起存储。集群中的所有存储系统服务器都可以智能地对文件数据进行定位，仅仅根据文件名和路径并运用Hash算法即可，而不需要查询索引或者其他服务器。

GlusterFS中目录及文件的创建过程如下：

GlusterFS是使用弹性Hash算法做文件的分布式存储，它以文件父目录记录的Hash区间划分去定位文件。GlusterFS在创建目录的时候，会根据当前节点的数量等信息，将所有的哈希区间分配在可用节点上，然后把每个节点分配到的Hash区间写入该节点的对应目录的扩展属性中。GlusterFS创建目录的过程如图2所示。其具体步骤如下：

1.首先输入目录名称，依据Davies-Meyer算法计算Hash值，然后根据该父目录所在的Hash区间分布确定该文件所在的Hash卷；

2.向该哈希卷发送创建目录的命令mkdir；

3.第2步完成之后，向其他子卷发送创建目录的命令；

4.等所有子卷都创建好该目录后，然后为每个子卷在该目录上划分Hash区间，并将每个子卷在该目录上划分的哈希区间写入该目录对应的扩展属性中，GlusterFS创建目录的过程结束。

GlusterFS是一种无元数据的分布式存储方法。这种方法不使用元数据存储每个数据对应的存储位置信息，避免了元数据服务器所带来的单点故障问题，即使一个节点故障，集群仍然可用，其他节点存储的文件不受影响。

虽然GlusterFS的数据分布方法避免了单点故障问题，即使一个节点故障，其他节点的数据也不受影响。但是，在一些情况下，由于文件过大同时根据存储节点的负载状况，需要对文件进行分块，属于同一个大文件的不同文件块可能会存储到不同的节点上，如图3所示。所有文件块合在一起可构成一个完整的文件，但若存储某一个文件块的节点发生故障，那么即使其它的文件块依然可用，但是整个文件也不可用了，这样又会带来单点问题。

为了在一定程度上缓解GlusterFS存在的单点故障的问题，要尽量将属于同一个大文件的所有文件块存储到同一个节点上，这样不但可以减少存取文件所需的时间而且可在一定程度上缓解单个节点的故障所带来的相互关联的文件的后续处理比较困难的问题。

图1为本发明实施例提供的一种基于GlusterFS的的文件存储方法的流程图，如图1所示，该方法包括：

1.为每一个目录在其扩展属性中维护一个链接列表；

2.依据输入的Davies-Meyer哈希算法，依据输入的文件路径及文件名计算得到其32位哈希值，根据父目录扩展属性中记录的哈希区间划分确定该文件所在的原始哈希卷；

3.计算哈希卷的负载情况，根据其是否可以完整地存储该大文件，按下述步骤处理：

3.1如果计算得到的原始哈希卷可以存储该大文件，那么将该文件存储到原始哈希卷对应的目录中。

3.2如果计算得到的原始哈希卷不能存储该文件，那么计算所有的节点的负载情况，选出负载最小的节点，并计算该节点能否存储该大文件；

3.2.1如果该负载较小的节点可以完整地存储该大文件，那么将该大文件存储到该节点的对应的目录下，同时在原始卷的对应目录的扩展属性中加入指向该存储节点所对应的链接。

3.2.2如果该负载较小的节点不可以完整地存储该大文件，那么应用P2P系统的负载均衡技术，将该节点中的一部分文件转移到其他节点中，从而为该大文件“腾出空间”，此时移动的文件必须是完整的文件，并在待移动文件所在的目录的扩展属性中加入指向目的文件夹的链接；将该大文件存入该节点中，并在原始卷的扩展属性中加入指向文件所在文件夹的链接。

针对GlusterFS在存储大文件的过程中会对大文件进行分块，从而使得多个文件块存储到不同节点中，由于单个节点的故障可能导致整个文件不可用，同时针对该文件的读写需要访问多个节点，还需要多个节点之间进行相互协调，这大大地增加了文件读写的时间。

本发明针对上述问题，提出一种基于GlusterFS的文件存储方法，对于大文件，不是采用先分块，然后分别存储的方式，而是通过在各目录扩展属性中维护一个链接列表，尽量将大文件存储在同一个负载较小的节点中，然后在原始哈希卷的链接列表中加入一个链接来链接到文件真正所在的目录。本发明可在一定程度上缓解大文件的分块存储所带来的单点故障问题，同时减少文件读写所需的时间。同时，当没有任何一个哈希卷可以存储该大文件时，将启动数据迁移将一个或一部分的完整文件移动到其他节点，从而使得该大文件可以完整存储。通过这种方法，所有的文件都可以完整地存储到一个哈希卷中，这大大地减少了文件存取的时间，同时降低了系统协调的复杂性。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述系统实施例中的模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于GlusterFS的文件存储方法，其特征在于，包括：

计算待存储文件所在的原始哈希卷，并计算所述原始哈希卷能否完整存储所述文件；

响应于计算得到的所述原始哈希卷不能完整存储所述待存储文件，计算所有的节点的负载情况，选出负载最小的节点，并计算所述负载最小的节点能否完整存储所述待存储文件；

响应于所述负载最小的节点不能完整地存储所述待存储文件，应用P2P系统的负载均衡技术，将所述负载最小的节点中的一部分完整文件移动到其他节点中，并在待移动文件所在的目录的扩展属性中加入指向目的文件夹的链接；

将所述待存储文件存入所述负载最小的节点的对应目录下，并在所述原始哈希卷的对应目录的扩展属性中加入指向所述待存储文件所在文件夹的链接。

2.根据权利要求1所述的方法，其特征在于，还包括：

响应于所述负载最小的节点可以完整地存储所述待存储文件，将待存储文件存储到所述负载最小节点的对应目录下，并在所述原始哈希卷的对应目录的扩展属性中加入指向所述待存储文件所在文件夹的链接。

3.根据权利要求1所述的方法，其特征在于，还包括：

响应于计算得到的所述原始哈希卷能完整存储所述待存储文件，将所述待存储文件存储到所述原始哈希卷的对应目录中。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述计算待存储文件所在的原始哈希卷，具体包括：

将待存储文件的文件路径及文件名输入Davies-Meyer哈希算法，计算得到哈希值，根据父目录扩展属性中记录的哈希区间划分确定所述待存储文件所在的原始哈希卷。

5.一种基于GlusterFS的文件存储系统，其特征在于，包括：

第一计算模块，用于计算待存储文件所在的原始哈希卷，并计算所述原始哈希卷能否完整存储所述文件；

第二计算模块，用于响应于计算得到的所述原始哈希卷不能完整存储所述待存储文件，计算所有的节点的负载情况，选出负载最小的节点，并计算所述负载最小的节点能否完整存储所述待存储文件；

移动模块，用于响应于所述负载最小的节点不能完整地存储所述待存储文件，应用P2P系统的负载均衡技术，将所述负载最小的节点中的一部分完整文件移动到其他节点中，并在待移动文件所在的目录的扩展属性中加入指向目的文件夹的链接；

第一存储模块，用于将所述待存储文件存入所述负载最小的节点的对应目录下，并在所述原始哈希卷的对应目录的扩展属性中加入指向所述待存储文件所在文件夹的链接。

6.根据权利要求5所述的系统，其特征在于，还包括：

第二存储模块，用于响应于所述负载最小的节点可以完整地存储所述待存储文件，将待存储文件存储到所述负载最小节点的对应目录下，并在所述原始哈希卷的对应目录的扩展属性中加入指向所述待存储文件所在文件夹的链接。

7.根据权利要求5所述的系统，其特征在于，还包括：

第三存储模块，用于响应于计算得到的所述原始哈希卷能完整存储所述待存储文件，将所述待存储文件存储到所述原始哈希卷的对应目录中。

8.根据权利要求5-7任一项所述的系统，其特征在于，所述第一计算模块，具体用于：

将待存储文件的文件路径及文件名输入Davies-Meyer哈希算法，计算得到哈希值，根据父目录扩展属性中记录的哈希区间划分确定所述待存储文件所在的原始哈希卷。

Images