CN106951338B - 一种基于GlusterFS的高容错分布式存储方法 - Google Patents

一种基于GlusterFS的高容错分布式存储方法 Download PDF

Info

Publication number
CN106951338B
CN106951338B CN201710205708.4A CN201710205708A CN106951338B CN 106951338 B CN106951338 B CN 106951338B CN 201710205708 A CN201710205708 A CN 201710205708A CN 106951338 B CN106951338 B CN 106951338B
Authority
CN
China
Prior art keywords
node
data
file
nodes
folder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710205708.4A
Other languages
English (en)
Other versions
CN106951338A (zh
Inventor
刘戊开
刘欲晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Zhijing Technology Co Ltd
Original Assignee
Hunan Zhijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Zhijing Technology Co Ltd filed Critical Hunan Zhijing Technology Co Ltd
Priority to CN201710205708.4A priority Critical patent/CN106951338B/zh
Publication of CN106951338A publication Critical patent/CN106951338A/zh
Application granted granted Critical
Publication of CN106951338B publication Critical patent/CN106951338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/142—Reconfiguring to eliminate the error
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于Glusterfs的高容错分布式存储方法，在Glusterfs集群创建包含若干节点的数据卷；在所有节点中创建数据文件夹；寻找最优节点，以使数据文件夹的所有文件都存储在最优节点上；根据数据文件夹中某个文件的文件名计算哈希值，与所有节点的数据文件夹的哈希区间比较，确定该文件的哈希值所在的节点，并创建文件，最终完成数据文件夹的存储。由于将hash区间分配在一个节点上，可以保证该数据文件夹下所有文件能够存储在一个节点上，保持集群的高容错性。还改进了当发现数据不均衡现象时，用户执行的使所有节点的负载均衡的再均衡操作。

Description

一种基于GlusterFS的高容错分布式存储方法
技术领域
本发明涉及一种基于GlusterFS的高容错的分布式存储方法，特别针对具有高速在线和低速离线备份双存储的以文件夹为原子单位的数据存储。
背景技术
近年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，所产生的数据呈爆炸性增长。动辄达到数百TB甚至数百PB规模的行业/企业大数据已远远超出了传统的计算机存储能力，因此，分布式存储的使用已经越来越普及。
GlusterFS是目前较为成熟的开源分布式存储软件，是一个支持PB级数据存储的无元数据服务器的分布式存储系统，支持线性性能扩展。通过解除对元数据服务器的要求，消除了单点故障的性能瓶颈，真正实现了并行化数据访问。
对于许多大数据应用而言，虽然数据总体规模非常大，但在特定时间段内需要访问的数据通常仅占其中很小部分。因此，对于类似的大数据应用，不仅需要大规模的存储数据，还需要快速的访问部分数据，而目前的数据访问瓶颈大部分仍然是磁盘性能。为了解决磁盘性能瓶颈，可以使用访问速度高的高速磁盘，如固态硬盘。但是目前磁盘的访问速度与其单位存储价格基本成正比，即访问速度越高的存储介质单位存储成本往往更高。因此，对于一个拥有海量数据且某一时间段内只需要访问一部分数据的应用而言，全部使用高速磁盘或者全部使用普通廉价磁盘都是不合理的，全部使用高速磁盘由于很多数据在很长时间基本不会被访问，造成了存储成本的浪费；如果全部使用普通廉价磁盘，则不能满足快速访问数据的需求。对于此类应用，可以将多个普通磁盘和少量的高速磁盘通过网络连接成GlusterFS集群，用高速磁盘当做存储节点创建高速访问Distributed类型数据卷，用普通磁盘当做存储节点创建低速访问Distributed类型数据卷。实现在存储成本限制下，提供接近高速磁盘的数据访问服务。
对于许多应用而言，其存储数据是一个文件夹，并且文件夹中的文件相互依赖，一旦一个文件损坏或者丢失，则整个应用数据文件夹损坏。如果应用需要存储的是大量这样不可分割的数据文件夹，对于每个一个数据文件夹，目前的GlusterFS存储机制是文件会根据文件名hash分布存储在不同的节点的磁盘上，这样面临的一个问题是，一旦一个节点出现故障，几乎所有的数据文件夹可能都会缺少部分文件，造成所有的数据文件夹损坏不可使用。
以上GlusterFS集群中的高速数据卷是为了加快数据访问速度，其中存储的数据低速数据卷中都有备份，所以可以允许节点损坏造成的部分数据丢失，但是对于存储整体数据文件夹，一个节点的故障则会造成数据的全部损坏，这是不能容忍的。并且由于高速数据卷采用高速磁盘做存储介质，代价比较昂贵，而GlusterFS的replicated数据卷的存储利用率非常低，同时，使用备份存储因为写数据的时候需要写多份，会降低写性能，对于高速访问数据卷是不合适的。所以需要一个替代方案能够满足以下要求：
1.存储利用率高，由于高速代价非常高，不能以较大的牺牲存储保证数据安全性。
2.数据是相对安全的，一个节点的故障不能影响其他节点的数据，高速存储区中的数据在低速廉价存储区都有备份，少量的数据文件夹的丢失可以接受，只需重新从低速存储区再复制一份即可。
3.不会对数据的访问和存储速度造成较大影响。
目前还没有一个完整的存储方案能够满足以上要求，GlusterFS是基于弹性Hash算法定位文件，所以文件的分布具有随机性，对于同一个整体数据文件夹中的文件不能保证存储在同一节点上，而这种整体数据文件夹中文件损坏或者丢失一个，整体数据文件夹即损坏。所以，需要一种能够将整体文件夹中的文件存储在同一节点上的高可用分布式存储系统。
发明内容
本发明的目的在于针对现有存储技术的不足，针对整体数据文件夹的高效可靠存储的需求，提出的基于GlusterFS分布式存储的以文件夹为单位分布的高效可靠分布式存储方法。
一种基于GlusterFS的高容错分布式存储方法，包括：
步骤101、搭建GlusterFS集群，并创建包含若干存储节点的Distributed类型数据卷，设置数据卷阈值，数据文件夹将以文件夹为单位分布存储在数据卷中；
步骤102、在所有节点中创建数据文件夹；
步骤103、寻找最优节点，将最优节点上创建的所述数据文件夹的哈希区间定为最大，使所有的文件哈希值落在所述最优节点上，以使所述数据文件夹的所有文件都存储在所述最优节点上，其他节点上创建的所述数据文件夹的哈希区间设置为0，以使所述数据文件夹的所有文件哈希值不会落在这些其他节点的哈希区间内；
步骤104、在每个节点创建的所述数据文件夹的扩展属性trusted.GlusterFS.dht中记录分配到的哈希区间；
步骤105、使用GlusterFS环境下的哈希计算方法，根据创建的将要存储的所述数据文件夹中某个文件的文件名计算哈希值；
步骤106、根据计算得出的文件的哈希值，查看所有节点的所述数据文件夹的扩展属性中记录的已被分配到的哈希区间，确定计算得出的文件的哈希值所在的节点；
步骤107、在确定的待存储节点上的所述数据文件夹下创建文件；依据相同的方法完成其他文件的创建，完成数据文件夹的存储。
进一步地，步骤103中所述寻找最优节点进一步包括：
步骤1031、扫描数据卷的所有节点的可用容量大小和已经存储数据的容量大小；步骤1032、查看所有节点的可用容量大小是否大于数据卷阈值，如果都小于阈值则选择可用容量最大的节点为最优节点；如果存在可用容量大于阈值的节点则在可用容量大于阈值的节点中选择已经存储数据最少的节点作为最优节点。
进一步地，当数据卷已经存储一定量数据时新增节点使得数据不均衡时，执行再均衡操作使所有节点的负载均衡，所述再均衡操作具体包括：
步骤a、当用户进行再均衡操作时，遍历所有节点，对每个节点，查看其可用容量是否大于数据卷创建时配置的阈值，如该节点可用容量大于阈值，则该节点数据不需要均衡，遍历下一个节点；否则，进行步骤b对该节点进行数据均衡；当数据卷中的所有节点都被遍历后结束再均衡操作。
步骤b、循环迁移需要进行数据均衡的节点的最小数据文件夹，每次找到大小最小的数据文件夹，寻找数据卷中的最优节点，如果最优节点可用容量也小于阈值，则整个数据均衡操作结束；否则，进行步骤c迁移所述最小数据文件夹到最优节点上；
步骤c、对需要迁移的数据文件夹中的每个文件，将其复制到确定出的最优节点上的对应文件夹中，所述对应文件夹在创建文件夹的时已在每个节点都已被创建。
步骤d、在需要迁移的文件夹下的所有文件复制完成后，重新设置文件夹的扩展属性trusted.GlusterFS.dht表示的哈希区间，将文件被迁移到的节点上文件夹的哈希区间设置为最大，而把文件迁出的节点上文件夹的哈希区间设置为最小，删除文件迁出的节点上文件夹下的所有文件，该数据文件夹迁移完成，再次判断文件迁出的节点的可用容量是否大于数据卷阈值，如果是，则遍历数据卷的下一个节点，否则，重复步骤b。
进一步地，再均衡操作步骤b中寻找数据卷中的最优节点包括，扫描数据卷的所有节点的可用容量大小和已经存储数据的容量大小；查看所有节点的可用容量大小是否大于数据卷阈值，如果都小于阈值则选择可用容量最大的节点为最优节点；如果存在可用容量大于阈值的节点则在可用容量大于阈值的节点中选择已经存储数据最少的节点作为最优节点。
采用本发明可以达到以下技术效果：
在基于GlusterFS的分布式文件存储系统中，配置特定的文件夹名称，该文件夹下的所有的文件都会分布在同一节点上，以保证GlusterFS某个节点损坏的情况下，其他节点上的数据文件夹可以正常使用，成功的解决了GlusterFS一个节点损坏会使数据卷中所有数据损坏的问题。同时，如数据卷节点的增加等可能会引起数据分布的不均衡，新节点负载较轻，原节点负载较重，会导致集群速度和稳定性降低，GlusterFS通过用户会手动执行再均衡操作使数据重新均衡。但是GlusterFS的再均衡操作会将破坏数据文件夹的统一存储，所以，还需要改进再均衡操作以解决数据再均衡操作时数据文件的统一存储。
附图说明
图1为本发明数据文件夹的存储的流程图；
图2为本发明数据卷负载不均衡时，用户进行改进后的再均衡操作使数据卷负载均衡时候的流程图。
具体实施方式
本发明的技术方案包括两个方面，数据文件夹的存储和数据卷的再均衡操作。
本发明中涉及的术语定义如下：
节点：一定数量的存储磁盘作为存储节点；
集群：由节点通过网络连接成GlusterFS集群；
数据卷：在GlusterFS集群环境下创建的包含多个节点的Distributed类型数据卷。
数据卷阈值：数据卷容量阈值(阈值的设定应参考需要存储的单位数据的大小)，用于判断数据卷各节点的可用容量是否充足，如果节点可用容量大于阈值则说明该节点可用容量充足，否则说明可用容量不足。
最优节点：在节点可用容量充足的情况下，最优节点为存储数据最少的节点(即已用容量最小的节点)为最优节点，保证数据存储的负载尽可能均衡；当可用容量不足时候，则选择可用容量最大的节点为最优节点以保证数据文件夹能够完整的存储，尽可能的不出现空间不足的情况。
如图1所示，为本发明数据文件夹的存储流程图，具体执行以下步骤：
步骤101、搭建集群并创建Distributed类型数据卷。
例如，搭建一个GlusterFS集群GS，并创建包含A,B,C三个节点的数据卷X，并设置数据卷X的阈值为XT。以下步骤是将testFolder数据文件夹(其中包含数个文件)以文件夹为单位分布存储在数据卷X中，即将testFolder中的所有文件存储在一个节点；
步骤102、在所有节点中创建文件夹testFolder。
例如在所有节点A,B,C上创建数据文件夹testFolder；
步骤103、寻找最优节点(具体步骤参见1031-1032)，将最优节点上testFolder的hash区间定为最大即0x00000000到0xffffffff，使所有的文件hash值落在A上以保证testFolder的所有文件都存储在最优节点A上，其他节点上testFolder的hash区间设置为0，即0x00000000到0x00000000，以保证testFolder的所有文件hash值不会落在这些节点hash区间内，即文件不会分布到这些节点。
例如在节点A,B,C上找到最优的节点A，将A上的testFolder的Hash区间分配为0x00000000到0xffffffff，其他节点B,C上的testFolder的Hash区间分配为0x00000000到0x00000000；
步骤1031、扫描数据卷的所有节点A,B,C的可用容量大小分别是A1,B1,C1和已经存储数据的容量大小分别是A2,B2,C2；
步骤1032、查看A1,B1,C1是否大于数据卷X的阈值XT，如果都小于阈值则选择可用容量最大的节点为最优节点；如果存在可用容量大于阈值的节点则在可用容量大于阈值的节点中选择已经存储数据最少的节点作为最优节点，例如A1,B1大于XT，A2大于B2，则选择B节点作为最优节点。
步骤104、在每个节点的testFolder文件夹的扩展属性trusted.GlusterFS.dht中记录分配到的hash区间。
例如在A节点的testFolder文件夹的trusted.GlusterFS.dht扩展属性的值为0x00000000ffffffff(表示hash区间是0x00000000到0xffffffff)，其他节点B，C上的testFolder文件夹的trusted.GlusterFS.dht扩展属性的值为0x0000000000000000。
步骤105、根据将要存储的数据文件夹中某个文件的文件名计算Hash值；
例如，利用GlusterFS的Davies-Meyer算法计算待存储数据文件夹testFolder中某个文件testFile文件名的Hash值m；
步骤106、根据文件所在文件夹的hash区间确定文件名计算得到的hash值所在的节点；
例如，根据testFile的hash值m，查看所有节点的testFolder的trusted.GlusterFS.dht的值，确定m在A节点testFolder的trusted.GlusterFS.dht区间内，即testFile应该被存储在A节点上。
步骤107、在确定的待存储节点上的文件夹下创建文件。
例如，在节点A的testFolder下面创建文件testFile。
每个文件的创建方法相同，主要是在文件夹的扩展属性中记录该文件夹应该存储的节点，所以其他文件仍然按照testFile文件的方法创建即可。
以上方法是针对指定数据文件夹中的所有文件相互依赖，一个文件损坏或者丢失则整个数据文件夹不可用的情况，需要更改GlusterFS数据文件夹中扩展属性记录的hash区间的分配算法，将hash区间分配在一个节点上，保证该数据文件夹下所有文件能够存储在一个节点上，保持集群的高容错性。
但是当数据卷已经存储一定量数据时新增节点，会出现新节点上面没有数据而旧节点数据太多导致整个数据卷节点的数据不均衡，当用户发现数据不均衡现象时，可以手动执行再均衡操作使所有节点的负载均衡。GlusterFS的再均衡操作同样有可能使同一个数据文件夹下的文件分散存储到不同的节点，所以，需要改进再均衡，以下步骤为改进再均衡的具体步骤。
步骤a、当用户进行再均衡操作时，遍历所有节点，对每个节点，查看其可用容量(即节点的剩余磁盘空间)是否大于数据卷创建时候配置的阈值，如该节点可用容量大于阈值，则该节点数据不需要均衡，遍历下一个节点；否则，进行步骤b对该节点进行数据均衡。
步骤b、循环迁移该节点的最小数据文件夹，每次找到大小最小的数据文件夹，用步骤103的方法寻找数据卷中的最优节点，如果最优节点可用容量也小于阈值，则整个数据均衡操作结束；否则，进行步骤c迁移该节点最小数据文件夹到最优节点上。
步骤c、对需要迁移的数据文件夹中的每个文件，将其复制到新节点(步骤b中的最优节点)的对应文件夹(创建文件夹的时候在每个节点都创建了)中。
步骤d、需要迁移文件夹下的所有文件复制完成后，重新设置文件夹的扩展属性trusted.GlusterFS.dht表示的hash区间，将目的节点(文件被迁移到的节点)文件夹的hash区间设置为最大，即trusted.GlusterFS.dht为0x00000000ffffffff，而把源节点(即文件迁出的节点)文件夹的hash区间设置为最小，即trusted.GlusterFS.dht为0x0000000000000000，然后删除源节点文件夹下的所有文件，该数据文件夹迁移完成，再次判断源节点的可用容量是否大于数据卷阈值，如果是，则遍历数据卷的下一个节点，否则，重复步骤b。
假设数据卷X中目前已经存储了一定量的数据，此时，为数据卷添加一个节点D导致数据卷的负载不均衡，用户进行了再均衡操作，具体步骤如图2所示，
步骤201、对于数据卷X执行再均衡操作；
步骤202、遍历数据卷X中的所有节点，对于其中一个节点A获取其可用容量S；
步骤203、判断S是否大于阈值XT，如果是执行209，否则执行204；
步骤204、获取节点A上的大小最小的一个数据文件夹E；
步骤205、使用步骤103所示的方法寻找数据卷X中的一个最优节点O；
步骤206、如果O节点的可用容量也小于阈值XT，则结束再均衡操作；否则进行步骤207；
步骤207、将节点A中文件夹E下的所有文件复制到节点O下的E文件夹下；
步骤208、复制完成后，将O节点下的E文件夹扩展属性trusted.GlusterFS.dht设为0x00000000ffffffff，把A节点下E文件夹扩展属性trusted.GlusterFS.dht设为0x0000000000000000，删除A节点下E文件夹下的所有文件，更新A节点可用容量S，重复203；
步骤209、遍历数据卷X中的下一个节点，如果所有节点都已被遍历，则数据均衡结束执行步骤210，否则，对于下一个节点，重复步骤202；
步骤210数据均衡结束。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (3)

1.一种基于GlusterFS的高容错分布式存储方法，包括：
步骤101、搭建GlusterFS集群，并创建包含若干存储节点的Distributed类型数据卷，设置数据卷阈值，数据文件夹将以文件夹为单位分布存储在数据卷中；
步骤102、在所有节点中创建数据文件夹；
步骤103、寻找最优节点，包括：步骤1031、扫描数据卷的所有节点的可用容量大小和已经存储数据的容量大小，步骤1032、查看所有节点的可用容量大小是否大于数据卷阈值，如果都小于阈值则选择可用容量最大的节点为最优节点；如果存在可用容量大于阈值的节点则在可用容量大于阈值的节点中选择已经存储数据最少的节点作为最优节点；
将最优节点上创建的所述数据文件夹的哈希区间定为最大，使所有的文件哈希值落在所述最优节点上，以使所述数据文件夹的所有文件都存储在所述最优节点上，其他节点上创建的所述数据文件夹的哈希区间设置为0，以使所述数据文件夹的所有文件哈希值不会落在这些其他节点的哈希区间内；
步骤104、在每个节点创建的所述数据文件夹的扩展属性trusted.GlusterFS.dht中记录分配到的哈希区间；
步骤105、使用GlusterFS环境下的哈希计算方法，根据创建的将要存储的所述数据文件夹中某个文件的文件名计算哈希值；
步骤106、根据计算得出的文件的哈希值，查看所有节点的所述数据文件夹的扩展属性中记录的已被分配到的哈希区间，确定计算得出的文件的哈希值所在的节点；
步骤107、在确定的待存储节点上的所述数据文件夹下创建文件；依据相同的方法完成其他文件的创建，完成数据文件夹的存储。
2.如权利要求1所述的方法，当数据卷已经存储一定量数据时新增节点使得数据不均衡时，执行再均衡操作使所有节点的负载均衡，所述再均衡操作具体包括：
步骤a、当用户进行再均衡操作时，遍历所有节点，对每个节点，查看其可用容量是否大于数据卷创建时配置的阈值，如该节点可用容量大于阈值，则该节点数据不需要均衡，遍历下一个节点；否则，进行步骤b对该节点进行数据均衡；当数据卷中的所有节点都被遍历后结束再均衡操作；
步骤b、循环迁移需要进行数据均衡的节点的最小数据文件夹，每次找到大小最小的数据文件夹，寻找数据卷中的最优节点，如果最优节点可用容量也小于阈值，则整个数据均衡操作结束；否则，进行步骤c迁移所述最小数据文件夹到最优节点上；
步骤c、对需要迁移的数据文件夹中的每个文件，将其复制到确定出的最优节点上的对应文件夹中，所述对应文件夹在创建文件夹的时已在每个节点都已被创建；
步骤d、在需要迁移的文件夹下的所有文件复制完成后，重新设置文件夹的扩展属性trusted.GlusterFS.dht表示的哈希区间，将文件被迁移到的节点上文件夹的哈希区间设置为最大，而把文件迁出的节点上文件夹的哈希区间设置为最小，删除文件迁出的节点上文件夹下的所有文件，该数据文件夹迁移完成，再次判断文件迁出的节点的可用容量是否大于数据卷阈值，如果是，则遍历数据卷的下一个节点，否则，重复步骤b。
3.如权利要求2所述的方法，步骤b中寻找数据卷中的最优节点进一步包括扫描数据卷的所有节点的可用容量大小和已经存储数据的容量大小，查看所有节点的可用容量大小是否大于数据卷阈值，如果都小于阈值则选择可用容量最大的节点为最优节点；如果存在可用容量大于阈值的节点则在可用容量大于阈值的节点中选择已经存储数据最少的节点作为最优节点。
CN201710205708.4A 2017-03-31 2017-03-31 一种基于GlusterFS的高容错分布式存储方法 Active CN106951338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710205708.4A CN106951338B (zh) 2017-03-31 2017-03-31 一种基于GlusterFS的高容错分布式存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710205708.4A CN106951338B (zh) 2017-03-31 2017-03-31 一种基于GlusterFS的高容错分布式存储方法

Publications (2)

Publication Number Publication Date
CN106951338A CN106951338A (zh) 2017-07-14
CN106951338B true CN106951338B (zh) 2019-11-29

Family

ID=59475316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710205708.4A Active CN106951338B (zh) 2017-03-31 2017-03-31 一种基于GlusterFS的高容错分布式存储方法

Country Status (1)

Country Link
CN (1) CN106951338B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696585A (zh) * 2018-05-11 2018-10-23 国网电子商务有限公司 一种数据的分布式存储方法及系统
CN110597767B (zh) * 2019-08-08 2022-05-10 北京盛赞科技有限公司 一种数据分割方法、装置、设备及计算机可读存储介质
CN112749136B (zh) * 2021-01-21 2024-04-19 北京明略昭辉科技有限公司 一种基于GlusterFS的文件存储方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4936369B2 (ja) * 2006-12-25 2012-05-23 キヤノンソフトウェア株式会社 情報処理装置および情報処理装置の制御方法およびプログラムおよび記録媒体
US8996803B2 (en) * 2010-07-02 2015-03-31 Futurewei Technologies, Inc. Method and apparatus for providing highly-scalable network storage for well-gridded objects
CN102663117B (zh) * 2012-04-18 2013-11-20 中国人民大学 面向数据库与Hadoop混合平台的OLAP查询处理方法
CN103226593B (zh) * 2013-04-17 2016-08-24 马鞍山百助网络科技有限公司 一种文件系统的管理方法及其文件存储终端
CN105306525A (zh) * 2015-09-11 2016-02-03 浪潮集团有限公司 一种数据布局的方法、装置和系统

Also Published As

Publication number Publication date
CN106951338A (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
US11379142B2 (en) Snapshot-enabled storage system implementing algorithm for efficient reclamation of snapshot storage space
US11163727B2 (en) Scalable grid deduplication
JP5539683B2 (ja) 拡張可能な２次ストレージシステムと方法
US8799238B2 (en) Data deduplication
JP4473694B2 (ja) 長期データ保護システム及び方法
WO2020204882A1 (en) Snapshot-enabled storage system implementing algorithm for efficient reading of data from stored snapshots
CN105760556B (zh) 低延时高吞吐量的多副本文件读写优化方法
CN101577735B (zh) 一种接管故障元数据服务器的方法、装置及系统
CN105320773B (zh) 一种基于Hadoop平台的分布式重复数据删除系统和方法
CN103761059B (zh) 一种用于海量数据管理的多盘位存储方法及系统
JP5867206B2 (ja) 移動制御装置，プログラム及びストレージ装置
CN106951338B (zh) 一种基于GlusterFS的高容错分布式存储方法
CN103763383A (zh) 一体化云存储系统及其存储方法
US10356150B1 (en) Automated repartitioning of streaming data
US8341119B1 (en) Flexible copies having different sub-types
US8849877B2 (en) Object file system
CN101311911A (zh) 分级存储系统及其数据迁移方法
Douglis et al. Content-aware load balancing for distributed backup
US9984139B1 (en) Publish session framework for datastore operation records
CN104462389A (zh) 基于分级存储的分布式文件系统实现方法
US20130254501A1 (en) Storage apparatus and data storage method
US10521145B1 (en) Method, apparatus and computer program product for managing data storage
US10168959B2 (en) Metadata-based bypassing in a controller
CN110413694A (zh) 元数据管理方法及相关装置
JP5405530B2 (ja) 分散データストアシステムおよび障害復旧方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 410000 Room 201, 13 Building, Changsha Zhongdian Software Park Phase I, 39 Jianshan Road, Changsha High-tech Development Zone, Hunan Province

Applicant after: Hunan Zhijing Technology Co., Ltd.

Address before: 410000 No. 167, F26 Shop, Lugu Linyu District, 408 Tongzipo West Road, Changsha High-tech Development Zone, Hunan Province

Applicant before: Changsha Zhi Qing Information Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant