CN105630423B - 一种基于数据缓存的纠删码集群存储扩容方法 - Google Patents

一种基于数据缓存的纠删码集群存储扩容方法 Download PDF

Info

Publication number
CN105630423B
CN105630423B CN201511000387.1A CN201511000387A CN105630423B CN 105630423 B CN105630423 B CN 105630423B CN 201511000387 A CN201511000387 A CN 201511000387A CN 105630423 B CN105630423 B CN 105630423B
Authority
CN
China
Prior art keywords
piecemeal
node
data
band
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201511000387.1A
Other languages
English (en)
Other versions
CN105630423A (zh
Inventor
黄建忠
曹强
谢长生
黄文胜
王爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201511000387.1A priority Critical patent/CN105630423B/zh
Publication of CN105630423A publication Critical patent/CN105630423A/zh
Application granted granted Critical
Publication of CN105630423B publication Critical patent/CN105630423B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于数据缓存的纠删码集群存储扩容方法，包括响应用户读请求、迁移缓存数据分块和更新校验分块的步骤；迁移旧节点缓存中的数据分块，同时利用新节点生成新条带中的校验分块；每个计算校验分块的节点本地磁盘保存一个校验分块，其他的校验分块发送给旧节点替换掉条带中的数据分块，条带中其余数据分块在旧节点的位置保持不变，当一个新条带分块均匀分布在集群各节点后，热数据分块从旧节点迁移到新增节点；缓存数据分块迁移支持热点数据在所有节点上的均匀分布；新增节点利用接收的缓存数据分块生成校验分块，分散计算操作的同时可减少新校验分块的网络传输量。

Description

一种基于数据缓存的纠删码集群存储扩容方法
技术领域
本发明属于计算机存储领域，更具体地，涉及一种基于数据缓存的纠删码集群存储扩容方法。
背景技术
纠删码广泛应用于分布式存储，纠删码存储集群将数据按纠删编码方式存放到多个存储节点上，借助纠删码自有冗余特性，使得存储集群具备了一定的容错能力。目前应用于存储系统的纠删编码主要包括阵列编码(RAID码)、最小密度校验码(LDPC码)和里德-所罗门编码(RS码)。在相同容量条件下，RS编码具有比阵列编码更高的容错能力；LDPC码具有译码不确定性，其无法保证译码肯定成功，当数目很小的信息块丢失时，可能导致无法完全恢复出完整信息，因此LDPC码并不完全适合于对需要100％数据恢复的存储系统。本发明针对的是基于RS码的存储集群。
随着存储集群的运行和使用，集群中存储容量将逐渐减少，需要通过增加存储节点的方式来增加系统中存储容量，称之为‘存储集群扩容’。现有的磁盘阵列扩展方案主要针对RAID-0、RAID-4、RAID-5和RAID-6，RAID-0扩容方案只处理数据的迁移，未考虑校验数据的更新；RAID-4要求在所有数据磁盘上有均匀的数据分布，使得RAID-4扩容方案会导致大量的数据迁移；RAID-5采用基于轮询的数据分布，如果将RAID-5扩容方案应用于RS码存储集群，集群将面临大量数据移动和校验更新的高I/O开销问题。RAID-6扩容方案专门为特定RAID-6编码和RAID-6布局而设计，并不适用于纠删码存储集群；因此现有的磁盘阵列扩展方案均不适于集群存储扩容。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于数据缓存的RS纠删码集群存储扩容方法，将用户访问时缓存在内存中的数据直接用于编码计算，在降低磁盘读取的同时，可以将热点访问均匀地分散到多个节点上，达到读写访问平衡。
为了实现上述发明目的，本发明提供了一种基于数据缓存的RS纠删码集群存储扩容方法，包括响应客户端读数据请求的步骤和集群存储扩容的步骤，具体如下：
(1)响应客户端读数据请求：根据客户端读数据请求，在元数据服务器上定位目标数据分块所在的节点；并判断该目标数据分块是否命中该节点的缓存；
将命中缓存的数据分块直接返回给客户端；对于未命中缓存的数据分块，则将其从磁盘读取到缓存；若从磁盘读取的数据分块处于新条带，则将其从缓存发送到客户端，若从磁盘读取的数据分块处于旧条带，则将其发送到客户端，并发送到新增节点；
本步骤中，目标数据分块发送到客户端与该数据分块发送到新增节点的动作同步进行，起到提高扩容效率的作用；
(2)集群存储扩容：
新增节点根据接收到的旧数据分块，采用RS纠删编码计算得到新校验分块；由该旧数据分块和新校验分块构成新条带；将新条带上的分块(包括数据分块和校验分块)均匀分布到存储集群的各节点；其中，旧数据分块指的是新增节点接收的处于旧条带的数据分块；
上述方法中，直接读取客户端访问时缓存的数据分块，即位于旧条带上的旧数据分块，将其直接用于RS纠删编码计算，以获取新条带的新校验分块，减少了由“读取旧数据分块”所带来的磁盘读写开销；将新条带上的分块重新分布，可以将热点访问均匀地分散到集群中多个节点上，达到存储集群读写访问平衡。
优选地，上述基于数据缓存的RS纠删码集群存储扩容方法，在步骤(1)之前，还包括初始化步骤：在该步骤中，每个集群节点预先分配缓存，在集群中指定一个节点作为元数据服务器用来管理集群中的节点(包括扩容前的节点和扩容后的新增节点)，并维护一个全局数据分配表；
其中，全局数据分配表用于管理存储集群中所有分块的放置位置，以及各分块所属的条带。
优选地，上述步骤(1)具体包括如下子步骤：
(1.1)元数据服务器根据接收到的读数据请求，判断存储集群中是否存在请求所包含的目标数据分块；若是，则进入步骤(1.2)；若否，则接收下一条客户端读数据请求；
(1.2)查找目标数据分块在集群节点所处的位置以及目标数据分块所在的条带；
(1.3)判断在该集群节点的缓存中是否命中目标数据分块，若是，将缓存中的目标数据分块发送给客户端；若否，则进入步骤(1.4)；
(1.4)从磁盘中读取目标数据分块发送到缓存，并判断目标数据分块是否位于旧条带，若是，则将目标数据分块发送到新增节点的缓存，同时将目标数据分块发送到客户端；若否，则直接将目标数据分块发送到客户端。
优选地，步骤(2)具体包括如下子步骤：
(2.1)往存储集群中添加新节点，以在物理上增加存储集群的容量；
(2.2)新增节点接收并缓存旧数据分块；
(2.3)判断新增节点缓存中接收到的旧数据分块数目是否达到阈值；若是，则采用RS纠删编码方法生成新校验分块；若否，则进入步骤(2.2)；其中，阈值是指一个完整新条带中的数据分块数目；
(2.4)将新条带上的分块均匀分布到存储集群的各个节点，使得分块在存储集群各节点间传输所产生的网络开销最小。
优选地，上述步骤(2.4)具体包括如下子步骤：
(2.4.1)新增节点将缓存中的一个校验分块写入磁盘,将(Δk+Δr-1)个数据分块发送到其他新增节点；将(r'-1)个校验分块写回旧条带所在节点的磁盘，并替换所在节点上的旧数据分块；其中，Δk是新条带相比旧条带增加的数据分块数，Δr是新条带相比旧条带增加的校验分块数，r'是新条带中新校验分块数；
(2.4.2)当新条带中全部的数据分块和校验分块写入存储集群节点的磁盘时，更新元数据服务器中的全局数据分配表；
在上述步骤(2.4.1)中，通过在集群节点间重新分布新条带中部分的数据分块和全部的校验分块，实现新条带分块(包括数据分块和校验分块)在存储集群节点中均匀分布的同时，减少网络传输开销。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明提供的这种基于缓存的RS纠删码存储集群扩容方法，通过迁移响应客户端请求时缓存中的数据分块，节省扩容时从磁盘读取数据分块的开销，同时实现热点数据在存储集群中所有节点上的均匀分布，有效提高集群节点的并行访问效率；
(2)本发明提供的这种基于缓存的RS纠删码存储集群扩容方法，通过新增节点对接收到的旧数据分块直接进行RS纠删编码生成新条带中的新校验分块，提高了RS纠删编码集群存储扩容效率；
(3)本发明提供的这种基于缓存的RS纠删码存储集群扩容方法，在新条带分块重新分布过程中，每个计算新条带上的校验分块的节点本地磁盘保存一个校验分块，其他的校验分块发送给扩容前的节点替换掉旧条带中的数据分块，旧条带中其余数据分块在集群节点中的位置保持不变，在实现一个新条带分块均匀分布在集群各节点的同时，尽量减小新条带分块重新分布带来的网络传输流量开销；
(4)本发明提供的这种基于缓存的纠删码扩容方法，其优选方案里，采用异步方式执行数据读响应和数据迁移，改善了由于数据迁移造成的数据不可用情况，加快存储集群扩容过程。
附图说明
图1是(k+r，k)RS码存储集群数据布局示意图；
图2是RS纠删码集群响应客户端请求流程图；
图3是本发明条带上的分块迁移示意图，其中图3(a)是旧节点向新增节点发送缓存数据分块过程示意图，图3(b)是新条带分块重新分布过程示意图；
图4是实施例的RS纠删码集群存储扩容方法的流程图；
图5是本发明实施例中RS纠删码集群存储扩容过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
以下首先就本发明所涉及的技术术语进行解释和说明：
RS纠删码存储集群的无固定数据布局：如图1所示，无固定布局的(k+r，k)RS纠删码存储集群中的节点无数据节点和校验节点区分，即每个节点既可用于存放数据分块，也可用于存放校验分块；将扩容前RS纠删码集群中的一个旧条带表示为(k+r，k)；当RS纠删码集群中增加(Δk+Δr)个节点进行存储扩容时，相应的，一个新条带的数据分块数增加Δk，校验分块数增加Δr；将新条带表示为(k′，r′)，其中，k′是扩容后新条带中的数据分块数，r′是扩容后新条带中的校验分块数，新条带中的所有的分块独立分布到RS纠删码集群中的各节点上，RS纠删码存储集群扩容过程可表示为(k+r，k)→(k′，r′)；本发明中，旧节点是指扩容前RS纠删码集群中的节点，新增节点是指扩容时向RS纠删码集群中增加的节点；新条带是指扩容过程中经过纠删编码生成的条带，旧条带是指扩容前的条带。
预分配缓冲区：预先在节点的内存中申请固定大小的连续内存，用以临时保存数据；在本发明中，为RS纠删码集群中的所有节点预分配内存，缓充客户端读请求的数据分块；在响应客户端的同时，迁移缓存中的数据分块实现RS纠删码集群存储扩容，从而整体上优化客户端响应性能和扩容效率。
元数据服务器：维护一个全局的元数据分配表，元数据分配表中的每条记录格式如(节点号，块号，条带号，flag(标记位于新条带还是旧条带))，用于管理新条带分块和旧条带分块；当响应客户端读数据请求时，客户端首先与RS纠删码集群中的元数据服务器交互，查找目标数据分块所在位置，以及该目标数据分块所在的条带。如果位于新条带，从RS纠删码集群的节点上读取目标数据分块时无需再发送到新增节点，否则需要将目标数据分块发送到新增节点进行计算校验；新条带分块的重新分布以及旧条带分块迁移都需要更新元数据记录表，确保全局数据一致性。
RS纠删码编码校验过程：根据同一条带中数据分块计算出校验分块的过程，若用f表示计算过程，则编码过程可以表示为f(D0，j，D1，j，……，Dk-1，j)→(P0，j，P1，j，……，Pr-1，j)，其中Di，j，Pi，j分别表示条带j中的第i个数据分块和第i个校验分块。
图2所示，是纠删集群响应客户端请求示意图；客户端首先访问元数据服务器查找客户端读请求的数据所在的数据分块，当该数据分块位于旧条带时，将该数据分块从磁盘中读入缓存，并将该数据分块中的客户端请求的数据发送到客户端，同时将该数据分块发送给新增节点。
图3所示，是本发明条带上的分块迁移示意图，如图3(a)所示，旧节点缓存的数据分块向新增节点迁移，RS纠删码集群中的每个旧节点依次向新增节点发送数据分块，如图3(b)所示，各个新增节点将计算得到的整个新条带中的部分校验分块发送回旧节点以及部分数据分块发送回其它新增节点。
以下结合实施例进一步阐述本发明提供的纠删码存储集群扩容方法，实施例中，纠删集群实现(4,2)→(6,3)扩容，即Δk＝2，Δr＝1，扩容方法的流程如图4所示，具体包括如下步骤：
(1)客户端请求的数据分块d0，d1，…，d5依次位于节点N0，N1，…，N5的磁盘分区，并位于旧条带上；响应客户端读数据请求，包括如下子步骤：
(1.1)从旧节点N0，N1,…,N5磁盘分区中依次读取对应的数据块d0，d1，…，d5，放到相应节点的缓存中，记为d0 *，d1 *，…，d5 *；
(1.2)将缓存中客户端请求的数据发送给客户端；
(1.3)将缓存中数据分块d0 *，d1 *，…，d5 *依次发送到新增节点SN0，如图5所示；下一次将从旧条带读取的数据分块d0 *，d1 *，…，d5 *均发送到SN1，依此循环，直到客户端读请求结束；
(2)纠删校验计算与分块重新分布过程，包括如下两个子步骤：
(2.1)新增节点SN0缓存中接收到整个新条带的全部数据分块d0 *，d1 *，…，d5 *，根据纠删编码过程计算校验分块，即ri *＝f(d0 *，d1 *，…，d5 *)；其中，i＝0，1，2；
(2.2)整个新条带的分块重新分布，新增节点SN0将校验分块r0 *存入本地磁盘分区，将数据分块d0 *发送到其余的新增节点SN1，将数据分块d1 *发送到新增节点SN2；
(2.3)新增节点SN1接收数据分块d0 *，SN2接收数据分块d1 *，将数据分块均存入缓存分区，并写入磁盘分区；
(2.4)新增节点SN0将校验分块r1 *发送给N0，r2 *发送给节点N1；节点N0接收校验分块r1 *并替换掉磁盘中的数据分块d0，回收缓存中相应的数据分块d0 *；节点N1接收校验分块r2 *并换替换掉磁盘中的数据分块d1，回收缓存中的数据分块d1 *；
(2.5)更新元数据管理器，记录新条带中各个分块的位置。
上述步骤(1.2)、(1.3)之间不存在制约，可并行执行，提高吞吐率；重复上述步骤(1)～(2)，在响应客户端读请求的同时，高效完成热数据从旧节点到新增节点迁移，实现所有集群节点热数据以及同一条带的数据分块和校验分块均匀分布。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于数据缓存的纠删码集群存储扩容方法，其特征在于，具体包括如下步骤：
(1)根据客户端读数据请求，在元数据服务器上定位目标数据分块所在的节点；并判断该目标数据分块是否命中该节点的缓存；
将命中缓存的数据分块直接返回给客户端；对于未命中缓存的数据分块，则将其从磁盘读取到缓存；若从磁盘读取的数据分块处于新条带，则将其从缓存发送到客户端，若从磁盘读取的数据分块处于旧条带，则将其发送到客户端，并发送到新增节点；
(2)新增节点根据接收到的旧数据分块，采用RS纠删编码计算得到新校验分块；由所述旧数据分块和新校验分块构成新条带；将新条带上的分块均匀分布到存储集群的各节点；所述旧数据分块指的是新增节点接收的处于旧条带的数据分块。
2.如权利要求1所述的纠删码集群存储扩容方法，其特征在于，在所述步骤(1)之前，还包括初始化步骤：为每个集群节点分配缓存，在集群中指定一个节点作为元数据服务器用来管理集群中的节点，并维护一个全局数据分配表；所述全局数据分配表用于管理存储集群中所有分块的放置位置，以及各分块所属的条带。
3.如权利要求1所述的纠删码集群存储扩容方法，其特征在于，所述步骤(1)具体包括如下子步骤：
(1.1)元数据服务器根据接收到的读数据请求，判断存储集群中是否存在请求所包含的目标数据分块；若是，则进入步骤(1.2)；若否，则接收下一条客户端读数据请求；
(1.2)查找目标数据分块在集群节点所处的位置以及目标数据分块所在的条带；
(1.3)判断在该集群节点的缓存中是否命中目标数据分块，若是，将缓存中的目标数据分块发送给客户端；若否，则进入步骤(1.4)；
(1.4)从磁盘中读取目标数据分块发送到缓存，并判断目标数据分块是否位于旧条带，若是，则将目标数据分块发送到新增节点的缓存，同时将目标数据分块发送到客户端；若否，则直接将目标数据分块发送到客户端。
4.如权利要求1或2所述的纠删码集群存储扩容方法，其特征在于，所述步骤(2)具体包括如下子步骤：
(2.1)往存储集群中添加新节点，以在物理上增加存储集群的容量；
(2.2)新增节点接收并缓存旧数据分块；
(2.3)判断新增节点缓存中接收到的旧数据分块数目是否达到阈值；若是，则采用RS纠删编码方法生成新校验分块；若否，则进入步骤(2.2)；其中，阈值是指一个完整新条带中的数据分块数目；
(2.4)将新条带上的分块均匀分布到存储集群的各个节点，使得分块在存储集群各节点间传输所产生的网络开销最小。
5.如权利要求4所述的纠删码集群存储扩容方法，其特征在于，步骤(2.4)具体包括如下子步骤：
(2.4.1)新增节点将缓存中的一个校验分块写入磁盘,将(Δk+Δr-1)个数据分块发送到其他新增节点；将r'-1个校验分块写回旧条带所在节点的磁盘，并替换所在节点上的旧数据分块；
其中，Δk是新条带相比旧条带增加的数据分块数，Δr是新条带相比旧条带增加的校验分块数，r'是新条带中的新校验分块数；
(2.4.2)当新条带中全部的数据分块和校验分块写入存储集群节点的磁盘时，更新元数据服务器中的全局数据分配表。
CN201511000387.1A 2015-12-25 2015-12-25 一种基于数据缓存的纠删码集群存储扩容方法 Expired - Fee Related CN105630423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511000387.1A CN105630423B (zh) 2015-12-25 2015-12-25 一种基于数据缓存的纠删码集群存储扩容方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511000387.1A CN105630423B (zh) 2015-12-25 2015-12-25 一种基于数据缓存的纠删码集群存储扩容方法

Publications (2)

Publication Number Publication Date
CN105630423A CN105630423A (zh) 2016-06-01
CN105630423B true CN105630423B (zh) 2018-11-27

Family

ID=56045421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511000387.1A Expired - Fee Related CN105630423B (zh) 2015-12-25 2015-12-25 一种基于数据缓存的纠删码集群存储扩容方法

Country Status (1)

Country Link
CN (1) CN105630423B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293526B (zh) * 2016-08-05 2019-04-12 上海交通大学 一种三盘容错阵列的可扩展方法及系统
CN107992264B (zh) * 2016-10-27 2021-03-05 中国电信股份有限公司 数据保护方法和装置
CN106527995B (zh) * 2016-11-22 2019-03-29 青海师范大学 一种i/o均衡的数据扩容迁移方法
CN106951340B (zh) * 2017-03-14 2019-07-09 华中科技大学 一种基于局部性优先的rs纠删码数据布局方法及系统
CN108628539B (zh) 2017-03-17 2021-03-26 杭州海康威视数字技术股份有限公司 数据存储、分散、重构、回收方法、装置及数据处理系统
CN110018783B (zh) * 2018-01-09 2022-12-20 阿里巴巴集团控股有限公司 一种数据存储方法、装置及系统
CN108646981B (zh) * 2018-04-28 2021-09-03 深圳市茁壮网络股份有限公司 一种数据缓存节点管理方法、数据缓存方法和缓存管理节点
WO2020081512A1 (en) 2018-10-15 2020-04-23 Netapp, Inc. Improving available storage space in a system with varying data redundancy schemes
CN109840051B (zh) * 2018-12-27 2020-08-07 华为技术有限公司 一种存储系统的数据存储方法及装置
US10963378B2 (en) 2019-03-19 2021-03-30 International Business Machines Corporation Dynamic capacity allocation of stripes in cluster based storage systems
CN109960588B (zh) * 2019-03-20 2020-12-08 华中科技大学 一种针对异构内存集群的读请求调度方法及系统
CN111831223B (zh) * 2020-06-19 2021-06-11 华中科技大学 提高数据去重系统可扩展性的容错编码方法、装置及系统
CN113918378A (zh) * 2020-07-10 2022-01-11 华为技术有限公司 数据存储方法、存储系统、存储设备及存储介质
CN112148218B (zh) * 2020-09-11 2023-12-22 北京浪潮数据技术有限公司 磁盘阵列的校验数据存储方法、装置、设备及存储介质
CN112799604B (zh) * 2021-03-18 2022-06-17 河北工业大学 一种基于N-Code的RAID6磁盘阵列扩容方法及数据填充方法
CN113326006B (zh) * 2021-06-17 2023-09-29 上海天玑科技股份有限公司 一种基于纠删码的分布式块存储系统
CN114237970A (zh) * 2021-12-02 2022-03-25 深圳前海微众银行股份有限公司 一种扩展纠删码存储系统的方法及装置
WO2023125507A1 (zh) * 2021-12-29 2023-07-06 华为技术有限公司 生成块组的方法、装置和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053802A (zh) * 2010-12-31 2011-05-11 中国科学院计算技术研究所 网络独立冗余磁盘阵列系统
CN103106124A (zh) * 2012-12-29 2013-05-15 华中科技大学 一种基于纠删码集群存储系统的交叉重构方法
US8612680B1 (en) * 2010-06-30 2013-12-17 Emc Corporation Data caching system and method
CN104503706A (zh) * 2014-12-23 2015-04-08 中国科学院计算技术研究所 一种基于磁盘阵列的数据存储及读取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9218244B1 (en) * 2014-06-04 2015-12-22 Pure Storage, Inc. Rebuilding data across storage nodes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8612680B1 (en) * 2010-06-30 2013-12-17 Emc Corporation Data caching system and method
CN102053802A (zh) * 2010-12-31 2011-05-11 中国科学院计算技术研究所 网络独立冗余磁盘阵列系统
CN103106124A (zh) * 2012-12-29 2013-05-15 华中科技大学 一种基于纠删码集群存储系统的交叉重构方法
CN104503706A (zh) * 2014-12-23 2015-04-08 中国科学院计算技术研究所 一种基于磁盘阵列的数据存储及读取方法

Also Published As

Publication number Publication date
CN105630423A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN105630423B (zh) 一种基于数据缓存的纠删码集群存储扩容方法
JP6778795B2 (ja) データを記憶するための方法、装置及びシステム
US11068395B2 (en) Cached volumes at storage gateways
CN105786408B (zh) 闪存阵列中的逻辑扇区映射
US9696914B2 (en) System and method for transposed storage in RAID arrays
US9836419B2 (en) Efficient data movement within file system volumes
CN103874980B (zh) 存储系统中的映射
US9582421B1 (en) Distributed multi-level caching for storage appliances
US6779095B2 (en) Apparatus and method for instant copy of data using pointers to new and original data in a data location
US9128855B1 (en) Flash cache partitioning
JP5411250B2 (ja) 冗長データ記憶システムへの指示に従ってのデータ配置
US8677063B2 (en) Parity declustered storage device array with partition groups
CN107924291B (zh) 存储系统
US20130318196A1 (en) Storage system and storage control method for using storage area based on secondary storage as cache area
CN104484130A (zh) 一种横向扩展存储系统的构建方法
CN114860163B (zh) 一种存储系统、内存管理方法和管理节点
US10564865B2 (en) Lockless parity management in a distributed data storage system
CN103914402B (zh) 一种基于纠删码缓存的重构优化方法
US11320988B2 (en) Method, apparatus and computer program product for managing disk array
US11449402B2 (en) Handling of offline storage disk
CN109582213A (zh) 数据重构方法及装置、数据存储系统
US20180307426A1 (en) Storage apparatus and storage control method
US20180307440A1 (en) Storage control apparatus and storage control method
US10592138B1 (en) Avoiding storage device overlap in raid extent sub group and keeping relationship balance on mapped raid system and method
CN106227463B (zh) Raid、数据读写及其重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181127

Termination date: 20191225

CF01 Termination of patent right due to non-payment of annual fee