CN108536396B - 一种基于网络编码的存储扩展方法 - Google Patents

一种基于网络编码的存储扩展方法 Download PDF

Info

Publication number
CN108536396B
CN108536396B CN201810304384.4A CN201810304384A CN108536396B CN 108536396 B CN108536396 B CN 108536396B CN 201810304384 A CN201810304384 A CN 201810304384A CN 108536396 B CN108536396 B CN 108536396B
Authority
CN
China
Prior art keywords
coding
blocks
block
expansion
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810304384.4A
Other languages
English (en)
Other versions
CN108536396A (zh
Inventor
胡燏翀
张晓阳
李柏晴
陈文祥
熊依
程良锋
徐熙豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201810304384.4A priority Critical patent/CN108536396B/zh
Publication of CN108536396A publication Critical patent/CN108536396A/zh
Application granted granted Critical
Publication of CN108536396B publication Critical patent/CN108536396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于网络编码的存储扩展方法，包括：将存储扩展前的条带划分为多个扩展组，并进一步将每个扩展组划分为PG和DG；在DG内循环地依次从原节点中取数据块，得到一系列的数据集合；利用网络编码对每一个数据集合进行编码生成更新块，使用这些更新块对PG中的编码块进行本地更新或者异地更新；将编码块或者数据块传输至新增节点上，并保持扩展后数据块与编码块在所有节点上均匀放置；删除所有传输至新节点的数据块和编码块，并删除DG内所有的编码块。本发明在存储扩展时利用存储节点自身的计算资源对数据块进行编码并对部分编码块进行本地更新，减少了扩展带宽，提高了扩展速度，并在某些参数条件下达到最优存储扩展。

Description

一种基于网络编码的存储扩展方法
技术领域
本发明属于计算机存储领域，更具体地，涉及一种基于网络编码的存储扩展方法。
背景技术
分布式存储系统将大量的数据存储在一组存储节点上以提供一个可扩展平台，通过将数据存储为跨节点的条带能够对抗存储失效，从而提供数据存储可靠性。纠删码是一种冗余机制，拥有高存储效率并可以提供高可靠性，因而被广泛应用于分布式存储系统中。
为了适应逐渐增加的存储需求，存储系统中会加入一些新的节点以增加存储空间和服务带宽。这种情况下，存储系统需要将已有的存储节点上经过编码的数据重新分布在所有已有的和新加的节点上以维持平衡的数据分布。有时，还需要重新设置一些纠删码的参数来维持合适的冗余度，以此来适应在不同的存储效率，容错能力，读取性能和管理复杂度之间的取舍。例如，存储系统可以通过增加存储冗余度来减少修复开销，或者当面对不同的工作负载时在不同冗余度的纠删码之间动态转换以取得读写性能和容错能力之间的平衡。
存储扩展是指存储系统重新分布已有的数据到不同的节点上，并且基于新的数据布局来重新计算编码块。对于使用(n，k)-RS纠删码的存储系统，扩展前，数据块和编码块以Round-Robin的形式均匀放置于分布式存储系统中，每个条带包含k个数据块与n-k个编码块；扩展后，数据将从n个节点扩展到n+s个节点上，编码系数由(n，k)变为(n+s，k+s)，同时保持均匀分布特性，扩展前后数据量保持不变。因为存储扩展进程不可避免地会引发大量的数据传输，所以提出新的存储扩展方法从而减小扩展带宽，有十分重要的意义。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于网络编码的存储扩展方法，其目的在于利用存储节点自身提供的计算资源进行网络编码生成更新块，利用这些更新块对部分编码块进行本地更新，并传输更新块对其余编码块进行更新，从而减少更新编码块时所需要的传输带宽，进而减少存储扩展的扩展带宽。
为实现上述目的，本发明提供了一种基于网络编码的存储扩展方法，包括：
(1)划分扩展组的步骤：
将存储扩展前的条带划分为多个扩展组，每个扩展组包含n(k+s)(n+s)个条带；进一步将每个扩展组划分为PG和DG，PG包含扩展组前nk(n+s)个条带，用于进行编码块的更新，DG包含扩展组剩余的ns(n+s)个条带，用于生成更新块；其中，n为原节点数，k为扩展前每个条带中包含的数据块的数量，s为根据存储扩展的容量和带宽需求新增的节点数；
(2)计算更新块的步骤：
对于每一个扩展组，在DG内循环地依次从原节点X1～Xn中取数据块，每次从一个节点上顺序地取s个数据块，得到一个包含s个数据块的集合Dw，1≤w≤nk(n+s)，用于更新PG内第w个条带中的编码块；
基于范德蒙的RS编码的特性对集合Dw中的数据块进行线性编码，得到n-k个更新块；n-k个更新块中，更新块Δi,j,1≤i,j≤n由节点Xi生成、用于更新PG内第w个条带中位于节点Xj上的编码块，并且i＝(w-1)mod n+1，mod表示取模运算；由于扩展前系统内数据块和编码块以Round-Robin的形式均匀放置，PG内第w个条带中的第一个编码块位于节点Xi上，该编码块可以利用更新块Δi,i进行本地更新，即n-k个更新块中，包括更新块Δi,i，该块用于更新PG内第w个条带的第一个编码块；
(3)更新编码块的步骤：
对于每一个扩展组，利用由集合Dw编码得到的n-k个更新块中的更新块Δi,i对对应的编码块进行本地更新，并将剩余的n-k-1个更新块传输至对应的节点，完成对对应编码块的更新；
(4)均衡数据分布的步骤：
对于每一个扩展组，依次传输集合Dp中的s个数据块至新增的s个节点Y1～Ys上，然后传输集合Dq中的s-1个数据块以及利用集合Dq进行本地更新的编码块至新增的s个节点Y1～Ys上并使得传输的编码块在新增节点上循环地依次放置，得到扩展后的条带并且扩展后数据块与编码块在所有节点上均匀放置；其中，p＝1～nk(n-s(n-k-1))，q＝nk(n-s(n-k-1))+1～nk(n+s)，扩展后的第w个条带包括PG中的第w个更新后的条带以及集合Dw；
(5)删除数据块和编码块的步骤：
对于每一个扩展组，删除所有传输至新节点的数据块和编码块，并删除DG内所有的编码块。进一步地，多个扩展组内的扩展并发执行，以提高扩展速度。
进一步地，步骤(3)中，对数据块进行线性编码得到更新块，并利用更新块更新编码块，使得系统的编码方式从基于范德蒙的RS(n,k)编码扩展为基于范德蒙的RS(n+s,k+s)编码。
进一步地，根据存储扩展的容量和带宽需求新增的节点数s满足：若n-k≠1，则
Figure BDA0001620517800000031
否则，s为任意正整数，且此时的扩展带宽达到最优。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明所提供的基于网络编码的存储扩展方法，将原始条带划分为多个扩展组，并进一步将每一个扩展组划分为PG和DG，利用DG生成用于更新PG内编码块的更新块，并进一步利用节点自身所提供的计算资源进行网络编码生成更新块，利用这些更新块，对PG中一个条带内的一个编码块进行本地更新，而对其余的编码块进行异地更新。因此，该方法能够有效减少更新编码块时所需的传输带宽，进而减少存储扩展时所需的扩展带宽。
(2)本发明所提供的基于网络编码的存储扩展方法，其优选方案里，多个扩展组内的扩展并发执行，能够有效提高存储扩展的速度，减少存储扩展所需的时间。
附图说明
图1为本发明实施例提供的从基于范德蒙的RS(4,2)编码扩展为基于范德蒙的RS(6,4)编码的扩展实例；
图2为本发明实施例提供的从基于范德蒙的RS(3,2)编码扩展为基于范德蒙的RS(4,3)编码的扩展实例。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在介绍本发明的技术方案之前，首先对分布式存储系统中所使用的基于范德蒙的RS编码的相关特性进行简要介绍，本发明所提供的基于网络编码的存储扩展方法，正是在此基础上提出的。
基于范德蒙的RS编码的编码操作基于一个(n-k)×k范德蒙矩阵[Vi,j](n-k)×k，其中，1≤i≤n-k,1≤j≤k，并且Vi,j＝ji-1。对于一个(n,k)＝(4,2)的编码中，通过在伽罗瓦域上计算两个数据块D1和D2的线性组合可得到两个编码块，分别标记为P1和P2，如下所示：
Figure BDA0001620517800000051
将这样的一组数据块和编码块分别放置于不同的节点上，这些块组成一个条带，作为修复、扩展和降级读的基本单位。
若增加两个数据块D3和D4，则编码从当前的(4,2)编码扩展为(6,4)编码，并且两个编码块P3和P4需要更新，更新后的编码块P＇1和P′2可以通过如下方式计算得到：
Figure BDA0001620517800000052
值得注意的是，(4,2)编码的范德蒙矩阵是(6,4)编码范德蒙矩阵的一个子矩阵。根据以上分析，通过新数据块的线性组合生成一个更新块，然后在现有的编码块上加上这个更新块，即可得到一个扩展后的编码块。
基于上述编码相关的理论基础，本发明提供的基于网络编码的存储扩展方法，包括：
(1)划分扩展组的步骤：
将存储扩展前的条带划分为多个扩展组，每个扩展组包含n(k+s)(n+s)个条带；进一步将每个扩展组划分为PG和DG，PG包含扩展组前nk(n+s)个条带，用于进行编码块的更新，DG包含扩展组剩余的ns(n+s)个条带，用于生成更新块；其中，n为原节点数，k为扩展前每个条带中包含的数据块的数量，s为根据存储扩展的容量和带宽需求新增的节点数；
(2)计算更新块的步骤：
对于每一个扩展组，在DG内循环地依次从原节点X1～Xn中取数据块，每次从一个节点上顺序地取s个数据块，得到一个包含s个数据块的集合Dw，1≤w≤nk(n+s)，用于更新PG内第w个条带中的编码块；
基于范德蒙的RS编码的特性对集合Dw中的数据块进行线性编码，得到n-k个更新块；n-k个更新块中，更新块Δi,j,1≤i,j≤n由节点Xi生成、用于更新PG内第w个条带中位于节点Xj上的编码块，并且i＝(w-1)mod n+1，mod表示取模运算；由于扩展前系统内数据块和编码块以Round-Robin的形式均匀放置，PG内第w个条带中的第一个编码块位于节点Xi上，该编码块可以利用更新块Δi,i进行本地更新，即n-k个更新块中，包括更新块Δi,i，该块用于更新PG内第w个条带的第一个编码块；
(3)更新编码块的步骤：
对于每一个扩展组，利用由集合Dw编码得到的n-k个更新块中的更新块Δi,i对对应的编码块进行本地更新，并将剩余的n-k-1个更新块传输至对应的节点，完成对对应编码块的更新；
(4)均衡数据分布的步骤：
对于每一个扩展组，依次传输集合Dp中的s个数据块至新增的s个节点Y1～Ys上，然后传输集合Dq中的s-1个数据块以及利用集合Dq进行本地更新的编码块至新增的s个节点Y1～Ys上并使得传输的编码块在新增节点上循环地依次放置，得到扩展后的条带并且扩展后数据块与编码块在所有节点上均匀放置；其中，p＝1～nk(n-s(n-k-1))，q＝nk(n-s(n-k-1))+1～nk(n+s)，扩展后的第w个条带包括PG中的第w个条带以及集合Dw；
(5)删除数据块和编码块的步骤：
对于每一个扩展组，删除所有传输至新节点的数据块和编码块，并删除DG内所有的编码块。
进一步地，多个扩展组内的扩展并发执行，以提高扩展速度；步骤(3)中，对数据块进行线性编码得到更新块，并利用更新块更新编码块，使得系统的编码方式从(n,k)编码扩展为(n+s,k+s)编码。
在本发明所提供的基于网络编码的存储扩展方法中，更新编码块时，每一个条带中有一个编码块可以进行本地更新，因此需要传输n-k-1个更新块以完成一个条带中剩余n-k-1个编码块的异地更新；对于一个扩展组，为更新编码块，共需传输nk(n+s)(n-k-1)个编码块；另外，为保证数据块和编码块在所有节点中均匀分布，需传输nks(n+s)个块到s个新增节点Y1～Ys上。综上所述，对于扩展后的每个新条带，存储扩展所需的传输带宽为：
Figure BDA0001620517800000071
当n-k＝1，即每个条带中仅有一个编码块时，扩展所需的传输带宽为s，也就是在这种情况下仅仅传输了新节点上所需要的块的数量，达到了最小的扩展带宽。
下面结合具体的实施例，对本发明的技术方案进行进一步地描述。
如图1所示的实施例中，n＝4,k＝2,s＝2，在扩展前，数据采用基于范德蒙的RS(4,2)编码后存放于集群中，编码块以Round-Robin的形式均匀放置于各个节点上，扩展完成后，数据采用基于范德蒙的RS(6,4)编码后存放于集群中，数据块和编码块均匀的放置于各个节点上。存储扩展时，执行以下步骤：
(1)划分扩展组的步骤：
将存储扩展前的条带划分为多个扩展组，每个扩展组包含96个条带；进一步将每个扩展组划分为PG和DG，PG包含扩展组前48个条带，用于进行编码块的更新，DG包含扩展组剩余的48个条带，用于生成更新块；为便于描述，在此，没有将DG中的编码块画出来，并且仅展示了PG和DG中的部分条带；
(2)计算更新块的步骤：
对于每一个扩展组，在DG内循环地依次从原节点X1～X4中取数据块，每次从一个节点上顺序地取2个数据块，得到一个包含2个数据块的集合Dw，1≤w≤48，用于更新PG内第w个条带中的编码块；同样地，为便于描述，在此仅示意地将DG中的数据块分为4个集合，循环的从节点X1～X4取出2个数据块组成集合D1～D4；
基于范德蒙的RS编码特性对集合Dw中的数据块进行线性编码，得到2个更新块；2个更新块中，更新块Δi,j由节点Xi生成、用于更新PG内第w个条带中位于节点Xj上的编码块，并且i＝(w-1)mod n+1，mod表示取模运算；由于扩展前系统使用(n，k)-RS纠删码，数据块和编码块以Round-Robin的形式均匀放置于分布式存储系统中，所以PG内第w个条带中的第一个编码块位于节点Xi上，该编码块可以利用更新块Δi,i进行本地更新；例如，更新块Δ1,1和更新块Δ1,2均由节点X1生成，其中更新块Δ1,1用于对节点X1上的编码块进行本地更新，更新块Δ1,2用于对节点X2上的编码块进行异地更新；
(3)更新编码块的步骤：
对于每一个扩展组，利用由集合Dw编码得到的2个更新块中的更新块Δi,i对对应的编码块进行本地更新，并将剩余的更新块传输至对应的节点，完成对对应编码块的更新；
(4)均衡数据分布的步骤：
对于每一个扩展组，依次传输集合Dp中的2个数据块至新增的2个节点Y1～Y2上，并依次传输集合Dq中的1个数据块以及利用集合Dq进行本地更新的编码块至新增的2个节点Y1～Y2上，得到扩展后的条带，并保持扩展后数据块与编码块在所有节点上均匀放置；其中，p＝1～16，q＝17～48，扩展后的第w个条带包括PG中的第w个条带以及集合Dw；
(5)删除数据块和编码块的步骤：
对于每一个扩展组，删除所有传输至新节点的数据块和编码块，并删除DG内所有的编码块。
如图2所示的实施例中，n＝3,k＝2,s＝1，在扩展前，数据采用基于范德蒙的RS(3,2)编码后存放于集群中，编码块以Round-Robin的形式均匀放置于各个节点上，扩展完成后，数据采用基于范德蒙的RS(4,3)编码后存放于集群中，数据块和编码块均匀的放置于各个节点上。存储扩展时，执行以下步骤：
(1)划分扩展组的步骤：
将存储扩展前的条带划分为多个扩展组，每个扩展组包含36个条带；进一步将每个扩展组划分为PG和DG，PG包含扩展组前24个条带，用于进行编码块的更新，DG包含扩展组剩余的12个条带，用于生成更新块；为便于描述，在此，没有将DG中的编码块画出来，并且仅展示了PG和DG中的部分条带；
(2)计算更新块的步骤：
对于每一个扩展组，在DG内循环地依次从原节点X1～X3中取数据块，每次从一个节点上顺序地取1个数据块，得到一个包含该数据块的集合Dw，1≤w≤24，用于更新PG内第w个条带中的编码块；同样地，为便于描述，在此仅示意地将DG中的数据块分为3个集合，循环的从节点X1～X3取出1个数据块组成集合D1～D3；
基于范德蒙的RS编码特性对集合Dw中的数据块进行线性编码，得到1个更新块；由于该编码块与PG中第w个条带的编码块位于同一个节点上，因此PG中所有的更新块均可进行本地更新；
(3)更新编码块的步骤：
对于每一个扩展组，利用由集合Dw编码得到的更新块对应的编码块进行本地更新；
(4)均衡数据分布的步骤：
对于每一个扩展组，依次传输集合Dp中数据块至新增节点Y1上，并依次传输利用集合Dq进行本地更新的编码块至新增节点Y1上，得到扩展后的条带，并保持扩展后数据块与编码块在所有节点上均匀放置；其中，p＝1～18，q＝19～24，扩展后的第w个条带包括PG中的第w个条带以及集合Dw；
(5)删除数据块和编码块的步骤：
对于每一个扩展组，删除所有传输至新节点的数据块和编码块，并删除DG内所有的编码块。
对于图2所示的实施例，因其编码参数n-k＝1，扩展时，其编码块均可通过本地更新完成，因而其扩展带宽为最小，达到理论最优。
总体而言，本发明所提供的基于网络编码的存储扩展方法，减小了扩展带宽，提高了扩展速度。实验表明，相对于当前最新的扩展方法，本发明所提供的基于网络编码的存储扩展方法，最多可将存储扩展时间减少50％。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于网络编码的存储扩展方法，其特征在于，包括：
(1)划分扩展组的步骤：
将存储扩展前的条带划分为多个扩展组，每个扩展组包含n(k+s)(n+s)个条带；进一步将每个扩展组划分为PG和DG，PG包含扩展组前nk(n+s)个条带，用于进行编码块的更新，DG包含扩展组剩余的ns(n+s)个条带，用于生成更新块；其中，n为原节点数，k为扩展前每个条带中包含的数据块的数量，s为根据存储扩展的容量和带宽需求新增的节点数；
(2)计算更新块的步骤：
对于每一个扩展组，在DG内循环地依次从原节点X1～Xn中取数据块，每次从一个节点上顺序地取s个数据块，得到一个包含s个数据块的集合Dw，1≤w≤nk(n+s)，用于更新PG内第w个条带中的编码块；
基于范德蒙的RS编码的特性对集合Dw中的数据块进行线性编码，得到n-k个更新块；n-k个更新块中，更新块Δi，j，1≤i，j≤n由节点Xi生成、用于更新PG内第w个条带中位于节点Xj上的编码块，并且i＝(w-1)mod n+1，mod表示取模运算；n-k个更新块中，包括更新块Δi，i，所述更新块Δi，i用于更新PG内第w个条带的第一个编码块；
(3)更新编码块的步骤：
对于每一个扩展组，利用由集合Dw编码得到的n-k个更新块中的更新块Δi，i对对应的编码块进行本地更新，并将剩余的n-k-1个更新块传输至对应的节点，完成对对应编码块的更新；
(4)均衡数据分布的步骤：
对于每一个扩展组，依次传输集合Dp中的s个数据块至新增的s个节点Y1～Ys上，然后传输集合Dq中的s-1个数据块以及利用集合Dq进行本地更新的编码块至新增的s个节点Y1～Ys上并使得传输的编码块在新增节点上循环地依次放置，得到扩展后的条带并且扩展后数据块与编码块在所有节点上均匀放置；其中，p＝1～nk(n-s(n-k-1))，q＝nk(n-s(n-k-1))+1～nk(n+s)，扩展后的第w个条带包括PG中的第w个更新后的条带以及集合Dw；
(5)删除数据块和编码块的步骤：
对于每一个扩展组，删除所有传输至新节点的数据块和编码块，并删除DG内所有的编码块。
2.如权利要求1所述的基于网络编码的存储扩展方法，其特征在于，多个扩展组内的扩展并发执行，以提高扩展速度。
3.如权利要求1所述的基于网络编码的存储扩展方法，其特征在于，所述步骤(3)中，对数据块进行线性编码得到更新块，并利用更新块更新编码块，使得系统的编码方式从基于范德蒙的RS(n，k)编码扩展为基于范德蒙的RS(n+s，k+s)编码。
4.如权利要求1所述的基于网络编码的存储扩展方法，其特征在于，根据存储扩展的容量和带宽需求新增的节点数s满足：若n-k≠1，则
Figure FDA0002261017060000021
否则，s为任意正整数。
CN201810304384.4A 2018-04-08 2018-04-08 一种基于网络编码的存储扩展方法 Active CN108536396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810304384.4A CN108536396B (zh) 2018-04-08 2018-04-08 一种基于网络编码的存储扩展方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810304384.4A CN108536396B (zh) 2018-04-08 2018-04-08 一种基于网络编码的存储扩展方法

Publications (2)

Publication Number Publication Date
CN108536396A CN108536396A (zh) 2018-09-14
CN108536396B true CN108536396B (zh) 2020-05-19

Family

ID=63482792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810304384.4A Active CN108536396B (zh) 2018-04-08 2018-04-08 一种基于网络编码的存储扩展方法

Country Status (1)

Country Link
CN (1) CN108536396B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442535B (zh) * 2019-07-19 2021-06-11 华中科技大学 提高分布式固态盘键值缓存系统可靠性的方法及系统
CN111831223B (zh) * 2020-06-19 2021-06-11 华中科技大学 提高数据去重系统可扩展性的容错编码方法、装置及系统
CN112835533B (zh) * 2021-02-25 2023-02-17 上海交通大学 一种基于机架级别的云存储阵列扩展方法及装置
CN114237970A (zh) * 2021-12-02 2022-03-25 深圳前海微众银行股份有限公司 一种扩展纠删码存储系统的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336785A (zh) * 2013-06-04 2013-10-02 华中科技大学 一种基于网络编码的分布式存储方法及其装置
CN104407807A (zh) * 2014-10-24 2015-03-11 华中科技大学 一种针对rs编码存储集群的存储扩容方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8468368B2 (en) * 2009-12-29 2013-06-18 Cleversafe, Inc. Data encryption parameter dispersal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336785A (zh) * 2013-06-04 2013-10-02 华中科技大学 一种基于网络编码的分布式存储方法及其装置
CN104407807A (zh) * 2014-10-24 2015-03-11 华中科技大学 一种针对rs编码存储集群的存储扩容方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于网络编码的分布式存储容错机制研究;胡燏翀;《中国博士学位论文全文数据库 信息科技辑》;中国学术期刊（光盘版）电子杂志社;20101015(第10期);全文 *
基于网络编码的子空间码和分布式存储系统相关问题研究;蔡峰;《中国博士学位论文全文数据库 信息科技辑》;中国学术期刊（光盘版）电子杂志社;20170215(第02期);全文 *

Also Published As

Publication number Publication date
CN108536396A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108536396B (zh) 一种基于网络编码的存储扩展方法
US9647698B2 (en) Method for encoding MSR (minimum-storage regenerating) codes and repairing storage nodes
CN109491835B (zh) 一种基于动态分组码的数据容错方法
CN107086870B (zh) 修复多节点失效的mds阵列码编码以及解码方法
CN112835738B (zh) 一种条带数据存储结构的构建方法
CN105518996B (zh) 一种基于二进制域里德所罗门码的数据编解码方法
CN110190926B (zh) 基于网络计算的纠删码更新方法及系统
CN113297000A (zh) 一种raid编码电路及编码方法
CN114153651B (zh) 一种数据编码方法、装置、设备及介质
CN103746774A (zh) 一种高效数据读取的容错编码方法
WO2015180038A1 (zh) 部分复制码的构建方法、装置及其数据修复的方法
CN112543920B (zh) 数据重构的方法、装置、计算机设备、存储介质及系统
CN103650462B (zh) 基于同态的自修复码的编码、解码和数据修复方法及其存储系统
CN113258936B (zh) 一种基于循环移位的双重编码的构造方法
Severinson et al. A droplet approach based on Raptor codes for distributed computing with straggling servers
CN109521955B (zh) 基于分层交叉设计的异构部分重复码构造及转换方法
CN110032338B (zh) 一种面向纠删码的数据副本放置方法及系统
Li et al. Pipelined regeneration with regenerating codes for distributed storage systems
CN113157715B (zh) 纠删码数据中心机架协同更新方法
CN114237985A (zh) 修复纠删码存储系统中失效存储块的方法及相关设备
CN112583420B (zh) 一种数据处理方法和译码器
CN110347526B (zh) 提升分布式存储集群中lrc码修复性能的方法、装置及系统
JP2012033169A (ja) バックアップシステムにおける符号化を使用して、ライブチェックポインティング、同期、及び／又は復旧をサポートするための方法及び装置
CN114564335B (zh) 基于条带合并的局部可修复码冗余度转换方法及存储介质
CN112463435A (zh) 一种基于数据块访问频度的局部修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Hu Yuli

Inventor after: Zhang Xiaoyang

Inventor after: Li Baiqing

Inventor after: Chen Wenxiang

Inventor after: Xiong Yi

Inventor after: Cheng Liangfeng

Inventor after: Xu Xihao

Inventor before: Hu Yuli

Inventor before: Zhang Xiaoyang

Inventor before: Chen Wenxiang

Inventor before: Xiong Yi

Inventor before: Cheng Liangfeng

Inventor before: Xu Xihao

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant