CN106951340A - 一种基于局部性优先的rs纠删码数据布局方法及系统 - Google Patents

一种基于局部性优先的rs纠删码数据布局方法及系统 Download PDF

Info

Publication number
CN106951340A
CN106951340A CN201710149372.4A CN201710149372A CN106951340A CN 106951340 A CN106951340 A CN 106951340A CN 201710149372 A CN201710149372 A CN 201710149372A CN 106951340 A CN106951340 A CN 106951340A
Authority
CN
China
Prior art keywords
piecemeal
node
band
deblocking
correcting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710149372.4A
Other languages
English (en)
Other versions
CN106951340B (zh
Inventor
黄建忠
曹强
谢长生
王爽
蔡奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201710149372.4A priority Critical patent/CN106951340B/zh
Publication of CN106951340A publication Critical patent/CN106951340A/zh
Application granted granted Critical
Publication of CN106951340B publication Critical patent/CN106951340B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/085—Error detection or correction by redundancy in data representation, e.g. by using checking codes using codes with inherent redundancy, e.g. n-out-of-m codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Detection And Correction Of Errors (AREA)

Abstract

本发明公开了一种基于局部性优先的RS纠删码数据布局方法及系统，本发明方法在每轮构建条带时，由包含待选分块最多的节点依次提供待选分块构建条带所需的数据分块，并将计算所得校验分块分开迁移至未提供待选分块的节点，若计算校验分块的待选分块数量不够时，则依次从包含待选分块最多的节点中迁移一个待选分块到本轮不包含待选分块的节点中，其中所述待选分块为还未参与构建条带的数据分块。本发明还实现了一种基于局部性优先的RS纠删码数据布局系统。采用本发明技术方案能够实现构建条带的过程中节点之间的网络传输量最少，除此之外还能实现同一条带的数据分块和校验分块均匀分布在集群的每个节点中，因此可提升集群系统的整体性能。

Description

一种基于局部性优先的RS纠删码数据布局方法及系统
技术领域
本发明属于计算机存储领域，更具体地，涉及一种基于局部性优先的RS纠删码数据布局方法及系统。
背景技术
随着大数据时代的来临，对存储系统的I/O性能、数据容错性、存储安全性等指标提出了更高的要求，分布式存储集群应运而生。为了维持分布式存储集群的可靠性，通常采用冗余机制并配合节点恢复策略使其能在失效时高效修复，相对于三副本冗余机制，纠删编码具有更高的存储效率和可按需定制的容错能力，因此纠删编码逐渐成为了构建分布式存储集群的优选方案。
纠删编码是将数据进行分割，然后对冗余数据分块进行扩展、编码并保存在不同位置，其按照性能一般分为里德-所罗门编码(RS纠删码)，最小密度校验码(LDPC码)，阵列编码(RAID码)。
在相同容量条件下，RS纠删码具有更好的容错能力；LDPC码的性能直逼香农极限容量，具有可并行译码、译码复杂度低以及可检测译码错误等等特征，但其并不能保证100％译码成功，有可能会丢失少量数据，导致无法完整恢复原始信息；RAID码的编解码过程只需要异或运算，软硬件实现简单、廉价，编解码效率高，因此在单容错时具有奇偶校验码的最优复杂度，但其冗余度却不是最优。
目前在客户端随机访问数据的情况下，RS纠删码数据布局的构建过程通常是按照节点位置顺序构造条带，导致节点之间网络开销过大，从而影响分布式存储集群的整体性能。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于局部性优先的RS纠删码数据布局方法及系统，其目的在于每轮构建一个条带的过程中，均从当前未提供待选分块且包含待选分块最多的节点开始提供构成RS纠删码条带所需的数据分块，使得构建条带的过程中节点之间的网络传输量最少，且实现了同一条带的数据分块和校验分块均匀分布在集群的每个节点中，由此解决现有技术网络开销过大的问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于局部性优先的RS纠删码数据布局方法，该方法在每轮构建条带时，由包含待选分块最多的节点依次提供待选分块构建条带，并将RS纠删码计算校验所得校验分块分别迁移至本轮未提供待选分块的不同节点，若构建条带的待选分块数量不够时，则依次从包含待选分块最多的节点中迁移一个待选分块到本轮未提供待选分块的节点中。
进一步地，所述方法包括以下步骤：
(1)解析数据请求：接受并解析读数据请求，获取被请求的数据分块在节点中的分布；
(2)迁移数据分块：选取待选分块最多的k个节点，若包含待选分块的节点数量小于k，则从包含待选分块最多的节点中依次迁移一个待选分块到未提供待选分块的节点中，直至包含待选分块的节点数量等于k；其中，k为RS纠删码计算校验所需的数据分块数量；
(3)计算校验分块：k个节点分别提供一个待选分块作为构建条带所需的数据分块，通过RS纠删码计算校验得到r个校验分块并分别迁移至本轮未提供待选分块的r个节点中存放；
(4)构建条带：所述k个待选分块和r个校验分块构成一个条带；
(5)循环构建：判断是否还有待选分块，若有则返回步骤(2)；否则RS纠删码数据布局构建完成。
进一步地，所述待选分块为还未参与构建条带的数据分块。
按照本发明的另一方面，提供了一种基于局部性优先的RS纠删码数据布局系统，该系统用于在每轮构建条带时，由包含待选分块最多的节点依次提供待选分块构建条带，并将计算所得的校验分块分别迁移至本轮未提供待选分块的不同节点，若构建条带的待选分块数量不够时，则依次从包含待选分块最多的节点中迁移一个待选分块到本轮未提供待选分块的节点中。
进一步地，所述系统包括以下部分：
解析数据请求模块，用于接受并解析读数据请求，获取被请求的数据分块在节点中的分布；
迁移数据分块模块，用于选取待选分块最多的k个节点，若包含待选分块的节点数量小于k，则从包含待选分块最多的节点中依次迁移一个待选分块到未提供待选分块的节点中，直至包含待选分块的节点数量等于k；其中，k为RS纠删码计算校验所需的数据分块数量；
计算校验分块模块，用于将k个节点分别提供一个待选分块作为构建条带所需的数据分块，通过RS纠删码计算校验得到r个校验分块并分别迁移至本轮未提供待选分块的r个节点中存放；
构建条带模块，用于将所述k个待选分块和r个校验分块构成一个条带；
循环构建模块，用于判断是否还有待选分块，若有则返回迁移数据分块模块；否则RS纠删码数据布局构建完成。
进一步地，所述待选分块为还未参与构建条带的数据分块。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：
本发明技术方案在每轮构建一个条带的过程中，均从当前未提供待选分块且包含待选分块最多的节点开始提供构成RS纠删码条带所需的数据分块，能够实现构建条带的过程中节点之间的网络传输量最少，除此之外还能实现同一条带的数据分块和校验分块均匀分布在集群的每个节点中，因此可提升集群系统的整体性能。
附图说明
图1是本发明方法的步骤流程图；
图2是本发明实施例中RAID0结构的数据布局示意图；
图3是本发明实施例中条带构建过程示意图；
图4是本发明方法的实施例流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
以下首先就本发明所涉及的技术术语进行解释和说明：
RAID0：整个逻辑盘的数据被分条分布在多个磁盘上，可以并行读/写，其读/写速度在所有RAID级别中最快，但没有冗余能力；
RS纠删码：(k+r,k)RS纠删码条带是由k个数据分块和r个校验分块组成，使用RS码的目的是通过增加冗余码来提高信道传输的可靠性；
RS纠删码编码过程：根据同一条带中数据分块计算得到校验分块的过程，若用f表示计算过程，则编码过程可以表示为f(D1，j，D2，j，……，Dk，j)→(P1，j，P2，j，……，Pr，j)，其中Di，j，Pi，j分别表示条带j中的第i个数据分块和第i个校验分块。
如图1所示，本发明方法包括以下步骤：
(1)解析数据请求：接受并解析读数据请求，获取被请求的数据分块在节点中的分布；
(2)迁移数据分块：选取待选分块最多的k个节点，若包含待选分块的节点数量小于k，则从包含待选分块最多的节点中依次迁移一个待选分块到未提供待选分块的节点中，直至包含待选分块的节点数量等于k；其中，k为RS纠删码计算校验所需的数据分块数量；
(3)计算校验分块：k个节点分别提供一个待选分块作为构建条带所需的数据分块，通过RS纠删码计算校验得到r个校验分块并分别迁移至本轮未提供待选分块的r个节点中存放；
(4)构建条带：所述k个待选分块和r个校验分块构成一个条带；
(5)循环构建：判断是否还有待选分块，若有则返回步骤(2)；否则RS纠删码数据布局构建完成。
以下结合实施例进一步阐述本发明方法的技术方案；如图2所示，在SN1至SN6节点组成的存储集群中，由编号为1-96的数据分块构成RAID0结构的数据布局，此时收到一个数据请求，被请求的数据分块序列为[2,4,7,9,10,15,16,22,25,28,32,34,35,54,61,65,78,80,83,92],总计20个数据分块。如图3所示，按照本发明技术方案转化为基于局部性优先的(6,4)RS纠删码数据布局，其中-1和-2表示本轮条带构建中计算所得的校验分块的编号，总计构成5个条带，且整个过程仅仅只需从SN4节点迁移了一个编号为34的数据分块至SN1节点。
如图4所示是本发明一个实施例的具体流程图，具体包括如下步骤：
(1)接收并解析一条客户端的读数据请求，得到被请求的数据分块序列L＝[2,4,7,9,10,15,16,22,25,28,32,34,35,54,61,65,78,80,83,92]，并将被请求的数据分块的条带分布集合M(M为保存每个条带中每个节点提供的数据分块编号或者校验分块编号的集合)置为空，然后设置条带计数器StripNo＝1；
(2)遍历被请求的数据分块序列L，统计得到被请求的数据分块在节点中的分布集合Q(Q为保存每个节点存储的数据分块编号链表,数据分块个数以及每轮是否已提供数据分块状态的集合)，包括如下两个子步骤：
(2.1)根据被请求的数据分块序列L中保存的每个数据分块编号BlkNo计算得到存储该数据分块的节点编号NodeNo；
(2.2)更新被请求的数据分块在节点中的分布集合Q，即将该数据分块编号BlkNo添加到Q中节点编号NodeNo对应的数据分块编号链表中，同时其对应的数据分块个数加1，除此之外还需要将NodeNo对应的节点设置为未提供数据分块的状态；
例如，如图3所示，本步骤统计得到的初始分布集合Q＝{SN1(DBNo:7,25,61；Size:3；State:0),SN2(DBNo:2,32,80,92；Size:4；State:0),SN3(DBNo:9,15；Size:2；State:0),SN4(DBNo:4,10,16,22,28,34；Size:6；State:0),SN5(DBNo:35,65,83；Size:3；State:0),SN6(DBNo:54,78；Size:2；State:0)},其中SNi表示第i个节点，DBNo表示数据分块编号链表，Size表示数据分块个数,State为0表示本轮该节点未提供数据分块，State为1则表示本轮该节点已提供数据分块；
(3)根据被请求的数据分块在节点中的分布集合Q来判断是否存在未构成条带的数据分块，如果分布集合Q不为空(Q！＝Null)则说明仍存在未构成条带的数据分块，进入步骤(4)，否则进入步骤(14)；
(4)设置本轮构建条带的数据分块计数器i＝1；
(5)判断本轮不同节点提供的数据分块个数i是否等于k(k为构成RS纠删码条带所需的数据分块个数)，如果i小于或者等于k，则进入步骤(6)，否则进入步骤(11)；
(6)根据被请求的数据分块在节点中的分布集合Q，判断本轮未提供数据分块的节点是否有剩余数据分块，如果有剩余数据分块即表示在分布集合Q中存在State等于0且Size大于0的节点，则进入步骤(7)，否则进入步骤(8)；
(7)选择本轮未提供数据分块且当前包含数据分块最多的节点提供一个数据分块，进入步骤(9)。例如，如图3所示，本实施例中开始构建条带1时，首先会选择本轮未提供数据分块且当前包含数据分块最多的节点SN4提供编号为4的数据分块；
(8)选择当前包含数据分块最多的节点迁移一个数据分块至任意一个本轮未提供数据分块的节点，进入步骤(9)。例如，如图3所示，本实施例在构建条带5的过程中，在节点SN4提供编号为28的数据分块，节点SN5提供编号为83的数据分块，节点SN6提供编号为78的数据分块之后，由于当前数据分块计数器i的值小于k，但本轮未提供数据分块的节点SN1，SN2以及SN3均无剩余数据分块，因此会选择当前包含数据分块最多的节点SN4迁移一个编号为34的数据分块至节点SN1中，由节点SN1提供编号为34的数据分块用于构成条带5；
(9)更新被请求的数据分块在节点中的分布集合Q，包括如下三个子步骤：
(9.1)根据前一步选择的节点编号NodeNo，确定用于构建条带的数据分块编号BlkNo；
(9.2)将该数据分块编号BlkNo从Q中节点编号NodeNo对应的数据分块编号链表中删除，同时其对应的数据分块个数减1；
(9.3)节点编号NodeNo的节点被标记本轮构建条带已提供数据分块的节点；
例如，如图3所示，本实施例在构建条带1的过程中，在节点SN4提供了编号为4的数据分块之后，本步骤更新后的分布集合Q＝{SN1(DBNo:7,25,61；Size:3；State:0),SN2(DBNo:2,32,80,92；Size:4；State:0),SN3(DBNo:9,15；Size:2；State:0),SN4(DBNo:10,16,22,28,34；Size:5；State:1),SN5(DBNo:35,65,83；Size:3；State:0),SN6(DBNo:54,78；Size:2；State:0)}，即Q中节点SN4对应的DBNo删除了4，Size减1且State置为1；
(10)设置本轮构建条带的数据分块计数器i＝i+1，进入步骤(5)；
(11)根据本轮不同节点提供的k个数据分块计算得到r(r为构成RS纠删码条带所需的校验分块个数)个校验分块，并将r个校验分块迁移至本轮未提供数据分块的不同节点，例如，如图3所示，本实施例在构建条带1的过程中，由节点SN1，SN2，SN4，SN5分别提供的编号为7，2，4，35的数据分块经过(6，4)RS纠删码校验计算得到编号为-1和-2的校验分块，并将这两个校验分块分别迁移至本轮未提供数据分块的节点SN3和SN6中构成条带1；
(12)更新被请求的数据分块的条带分布集合M，即保存构建第StripNo个条带的每个节点编号及其本轮由该节点提供的数据分块编号或者得到的校验分块编号。例如，如图3所示，本实施例构建条带1之后，本步骤更新后的条带分布集合为M＝{StripNo:1(BNo:7,2,-1,4,35,-2)},其中StripNo＝1表示条带1，BNo表示分块编号链表(按照节点SN1到SN6的顺序记录的构成条带的分块编号)；
(13)设置条带计数器StripNo＝StripNo+1，将被请求的数据分块在节点中的分布集合Q中所有节点均设置为未提供数据分块的状态即Q中所有节点对应的State置0，进入步骤(3)；
(14)返回被请求的数据分块的条带分布集合M至客户端。例如，如图3所示，本步骤返回的条带分布集合M＝{StripNo:1(BNo:7,2,-1,4,35,-2)，StripNo:2(BNo:25，32，9，10，-1，-2)，StripNo:3(BNo:-1，80，-2，16，65，54)，StripNo:4(BNo:61，92，15，22，-1，-2)，StripNo:5(BNo:34，-1，-2，28，83，78)}。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于局部性优先的RS纠删码数据布局方法，其特征在于，所述方法在每轮构建条带时，由包含待选分块最多的节点依次提供待选分块构建条带，并将计算所得的校验分块分别迁移至本轮未提供待选分块的不同节点，若构建条带的待选分块数量不够时，则依次从包含待选分块最多的节点中迁移一个待选分块到本轮未提供待选分块的节点中。
2.根据权利要求1所述的一种基于局部性优先的RS纠删码数据布局方法，其特征在于，所述方法包括以下步骤：
(1)解析数据请求：接受并解析读数据请求，获取被请求的数据分块在节点中的分布；
(2)迁移数据分块：选取待选分块最多的k个节点，若包含待选分块的节点数量小于k，则从包含待选分块最多的节点中依次迁移一个待选分块到未提供待选分块的节点中，直至包含待选分块的节点数量等于k；其中，k为RS纠删码计算校验所需的数据分块数量；
(3)计算校验分块：k个节点分别提供一个待选分块作为构建条带所需的数据分块，通过RS纠删码计算校验得到r个校验分块并分别迁移至本轮未提供待选分块的r个节点中存放；
(4)构建条带：所述k个待选分块和r个校验分块构成一个条带；
(5)循环构建：判断是否还有待选分块，若有则返回步骤(2)；否则RS纠删码数据布局构建完成。
3.根据权利要求1或2所述的一种基于局部性优先的RS纠删码数据布局方法，其特征在于，所述待选分块为还未参与构建条带的数据分块。
4.一种基于局部性优先的RS纠删码数据布局系统，其特征在于，所述系统用于在每轮构建条带时，由包含待选分块最多的节点依次提供待选分块构建条带，并将计算所得的校验分块分别迁移至本轮未提供待选分块的不同节点，若构建条带的待选分块数量不够时，则依次从包含待选分块最多的节点中迁移一个待选分块到本轮未提供待选分块的节点中。
5.根据权利要求4所述的一种基于局部性优先的RS纠删码数据布局系统，其特征在于，所述系统包括以下部分：
解析数据请求模块，用于接受并解析读数据请求，获取被请求的数据分块在节点中的分布；
迁移数据分块模块，用于选取待选分块最多的k个节点，若包含待选分块的节点数量小于k，则从包含待选分块最多的节点中依次迁移一个待选分块到未提供待选分块的节点中，直至包含待选分块的节点数量等于k；其中，k为RS纠删码计算校验所需的数据分块数量；
计算校验分块模块，用于将k个节点分别提供一个待选分块作为构建条带所需的数据分块，通过RS纠删码计算校验得到r个校验分块并分别迁移至本轮未提供待选分块的r个节点中存放；
构建条带模块，用于将所述k个待选分块和r个校验分块构成一个条带；
循环构建模块，用于判断是否还有待选分块，若有则返回迁移数据分块模块；否则RS纠删码数据布局构建完成。
6.根据权利要求4或5所述的一种基于局部性优先的RS纠删码数据布局系统，其特征在于，所述待选分块为还未参与构建条带的数据分块。
CN201710149372.4A 2017-03-14 2017-03-14 一种基于局部性优先的rs纠删码数据布局方法及系统 Expired - Fee Related CN106951340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710149372.4A CN106951340B (zh) 2017-03-14 2017-03-14 一种基于局部性优先的rs纠删码数据布局方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710149372.4A CN106951340B (zh) 2017-03-14 2017-03-14 一种基于局部性优先的rs纠删码数据布局方法及系统

Publications (2)

Publication Number Publication Date
CN106951340A true CN106951340A (zh) 2017-07-14
CN106951340B CN106951340B (zh) 2019-07-09

Family

ID=59467342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710149372.4A Expired - Fee Related CN106951340B (zh) 2017-03-14 2017-03-14 一种基于局部性优先的rs纠删码数据布局方法及系统

Country Status (1)

Country Link
CN (1) CN106951340B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111158946A (zh) * 2019-12-09 2020-05-15 成都信息工程大学 一种降低阵列码Xcode修复的编码方法及装置
CN111831223A (zh) * 2020-06-19 2020-10-27 华中科技大学 提高数据去重系统可扩展性的容错编码方法、装置及系统
CN112988065A (zh) * 2021-02-08 2021-06-18 北京星网锐捷网络技术有限公司 数据迁移方法、装置、设备及存储介质
CN113051104A (zh) * 2021-03-11 2021-06-29 重庆紫光华山智安科技有限公司 基于纠删码的磁盘间数据恢复方法及相关装置
CN113258936A (zh) * 2021-06-03 2021-08-13 成都信息工程大学 一种基于循环移位的双重编码的构造方法
CN114564335A (zh) * 2022-01-14 2022-05-31 中国科学技术大学 基于条带合并的局部可修复码冗余度转换方法及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176865A (zh) * 2013-03-12 2013-06-26 华中科技大学 一种纠删码存储中负载感知的读优化方法
US20140208005A1 (en) * 2013-01-22 2014-07-24 Lsi Corporation System, Method and Computer-Readable Medium for Providing Selective Protection and Endurance Improvements in Flash-Based Cache
CN104391759A (zh) * 2014-11-11 2015-03-04 华中科技大学 一种纠删码存储中负载感知的数据归档方法
CN104407807A (zh) * 2014-10-24 2015-03-11 华中科技大学 一种针对rs编码存储集群的存储扩容方法
CN105302500A (zh) * 2015-11-24 2016-02-03 中国科学技术大学 一种基于动态条带构造的分布式编码方法
CN105630423A (zh) * 2015-12-25 2016-06-01 华中科技大学 一种基于数据缓存的纠删码集群存储扩容方法
CN105824720A (zh) * 2016-03-10 2016-08-03 中国人民解放军国防科学技术大学 一种面向数据连续读取的重删纠删混合系统的数据放置方法器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140208005A1 (en) * 2013-01-22 2014-07-24 Lsi Corporation System, Method and Computer-Readable Medium for Providing Selective Protection and Endurance Improvements in Flash-Based Cache
CN103176865A (zh) * 2013-03-12 2013-06-26 华中科技大学 一种纠删码存储中负载感知的读优化方法
CN104407807A (zh) * 2014-10-24 2015-03-11 华中科技大学 一种针对rs编码存储集群的存储扩容方法
CN104391759A (zh) * 2014-11-11 2015-03-04 华中科技大学 一种纠删码存储中负载感知的数据归档方法
CN105302500A (zh) * 2015-11-24 2016-02-03 中国科学技术大学 一种基于动态条带构造的分布式编码方法
CN105630423A (zh) * 2015-12-25 2016-06-01 华中科技大学 一种基于数据缓存的纠删码集群存储扩容方法
CN105824720A (zh) * 2016-03-10 2016-08-03 中国人民解放军国防科学技术大学 一种面向数据连续读取的重删纠删混合系统的数据放置方法器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PING XIE 等: "Balanced P-Code: A RAID-6 Code to Support Highly Balanced I/Os for Disk Arrays", 《2014 9TH IEEE INTERNATIONAL CONFERENCE ON NETWORKING, ARCHITECTURE, AND STORAGE》 *
WEIDONG SUN 等: "A discrete data dividing approach for erasure-code based storage applications", 《2014 IEEE 8TH INTERNATIONAL SYMPOSIUM ON SERVICE ORIENTED SYSTEM ENGINEERING》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111158946A (zh) * 2019-12-09 2020-05-15 成都信息工程大学 一种降低阵列码Xcode修复的编码方法及装置
CN111158946B (zh) * 2019-12-09 2023-07-18 成都信息工程大学 一种降低阵列码Xcode修复的编码方法及装置
CN111831223A (zh) * 2020-06-19 2020-10-27 华中科技大学 提高数据去重系统可扩展性的容错编码方法、装置及系统
CN111831223B (zh) * 2020-06-19 2021-06-11 华中科技大学 提高数据去重系统可扩展性的容错编码方法、装置及系统
CN112988065A (zh) * 2021-02-08 2021-06-18 北京星网锐捷网络技术有限公司 数据迁移方法、装置、设备及存储介质
CN112988065B (zh) * 2021-02-08 2023-11-17 北京星网锐捷网络技术有限公司 数据迁移方法、装置、设备及存储介质
CN113051104A (zh) * 2021-03-11 2021-06-29 重庆紫光华山智安科技有限公司 基于纠删码的磁盘间数据恢复方法及相关装置
CN113051104B (zh) * 2021-03-11 2022-10-11 重庆紫光华山智安科技有限公司 基于纠删码的磁盘间数据恢复方法及相关装置
CN113258936A (zh) * 2021-06-03 2021-08-13 成都信息工程大学 一种基于循环移位的双重编码的构造方法
CN113258936B (zh) * 2021-06-03 2021-10-15 成都信息工程大学 一种基于循环移位的双重编码的构造方法
CN114564335A (zh) * 2022-01-14 2022-05-31 中国科学技术大学 基于条带合并的局部可修复码冗余度转换方法及存储介质
CN114564335B (zh) * 2022-01-14 2024-03-29 中国科学技术大学 基于条带合并的局部可修复码冗余度转换方法及存储介质

Also Published As

Publication number Publication date
CN106951340B (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN106951340A (zh) 一种基于局部性优先的rs纠删码数据布局方法及系统
Vajha et al. Clay codes: Moulding {MDS} codes to yield an {MSR} code
CN108540520B (zh) 基于部分重复码的局部性修复编码及节点故障修复方法
CN103944981B (zh) 一种基于纠删码技术改进的云存储系统及实现方法
US20160006463A1 (en) The construction of mbr (minimum bandwidth regenerating) codes and a method to repair the storage nodes
CN109359223A (zh) 基于纠删码实现的区块链账本分布式存储技术
US10852966B1 (en) System and method for creating mapped RAID group during expansion of extent pool
CN109814807B (zh) 一种数据存储方法及装置
WO2010133080A1 (zh) 基于(d,k)摩尔图的网络存储结构的数据存储方法
CN109491835B (zh) 一种基于动态分组码的数据容错方法
CN103106124B (zh) 一种基于纠删码集群存储系统的交叉重构方法
CN104391759B (zh) 一种纠删码存储中负载感知的数据归档方法
CN104111880B (zh) 一种容三盘失效纠删码的单数据盘失效快速重建方法
CN106484559A (zh) 一种校验矩阵的构造方法及水平阵列纠删码的构造方法
CN110427156B (zh) 一种基于分片的mbr的并行读方法
CN103914402B (zh) 一种基于纠删码缓存的重构优化方法
CN104407807B (zh) 一种针对rs编码存储集群的存储扩容方法
CN106776112A (zh) 一种基于Pyramid码的局部性修复编码方法
CN109194444A (zh) 一种基于网络拓扑的平衡二叉树修复方法
CN110895497B (zh) 一种分布式存储中降低纠删码修复的方法及装置
CN108762978A (zh) 一种局部部分重复循环码的分组构造方法
CN113258936B (zh) 一种基于循环移位的双重编码的构造方法
CN108923960A (zh) 一种基于代理协助再生码的存储节点修复方法
CN112000278B (zh) 一种热数据存储的自适应局部重构码设计方法及云存储系统
CN116501553B (zh) 数据恢复方法、装置、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190709

CF01 Termination of patent right due to non-payment of annual fee