CN105681425B - 基于分布式存储系统的多节点修复方法及其系统 - Google Patents

基于分布式存储系统的多节点修复方法及其系统 Download PDF

Info

Publication number
CN105681425B
CN105681425B CN201610044046.2A CN201610044046A CN105681425B CN 105681425 B CN105681425 B CN 105681425B CN 201610044046 A CN201610044046 A CN 201610044046A CN 105681425 B CN105681425 B CN 105681425B
Authority
CN
China
Prior art keywords
node
downloading
type
download
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610044046.2A
Other languages
English (en)
Other versions
CN105681425A (zh
Inventor
宋述鹏
陈雪晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SYSU CMU Shunde International Joint Research Institute
National Sun Yat Sen University
Original Assignee
SYSU CMU Shunde International Joint Research Institute
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SYSU CMU Shunde International Joint Research Institute, National Sun Yat Sen University filed Critical SYSU CMU Shunde International Joint Research Institute
Priority to CN201610044046.2A priority Critical patent/CN105681425B/zh
Publication of CN105681425A publication Critical patent/CN105681425A/zh
Application granted granted Critical
Publication of CN105681425B publication Critical patent/CN105681425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/1085—Resource delivery mechanisms involving dynamic management of active down- or uploading connections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于分布式存储系统的多节点修复方法及其系统，所述方法在修复节点过程中，从不同类型的节点下载数据需要不同的下载费用，根据不同待修复新节点的下载费用调整从每个连接节点下载的数据量，使得在使用不对等的下载信息量的同时，借助多节点协作机制带来的优势，从而降低多节点修复的费用。

Description

基于分布式存储系统的多节点修复方法及其系统
技术领域
本发明属于分布式存储系统，特别是一种基于分布式存储系统的多节点修复方法及其系统。
背景技术
近年来，系统产生的数据规模显著增长，在社会生活方面，诸如社交网络、流媒体服务以及电子商务等所产生的数据量都在TB甚至PB级别；在科学研究领域方面，诸如海洋和大气研究、天气预报、能源开发等方面每天需要处理的数据也是海量级，例如一颗卫星一天拍摄图像所产生的数据量就在TB级别。因此，分布式存储系统逐渐发展起来，将数据处理与数据存储分离以适应大数据的存储。
然而，在针对分布式存储系统损坏节点的数据修复研究中，大多数的再生码和其他编码方法都是基于参与修复的数据节点具有相同的下载费用，而修复数据过程中从每个数据节点下载的信息量也是一样的。然而实际应用中，经常存在各个数据节点具有不一样的下载费用的情况。因此，不同的数据节点而采用相同的下载费用，往往导致修复损坏节点的费用较高。
发明内容
针对上述现有技术中存在的问题，本发明提供一种基于分布式存储系统的多节点修复方法及其系统，能够降低多节点修复的费用。
本发明的基于分布式存储系统的多节点修复方法，技术方案如下，包括：
根据最大流最小割确定新节点连接的节点集合，所述节点集合包括第一类型节点以及第二类型节点；
获取所述节点集合中第一类型节点的数量以及第二类型节点的数量；
根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最小时的第一类型节点的第一下载量和第二类型节点的第二下载量；
根据所述节点集合、第一下载量和第二下载量修复该新节点。
本发明的基于分布式存储系统的多节点修复系统，包括：
节点确定模块，用于根据最大流最小割确定与待修复的新节点连接的节点集合，所述节点集合包括第一类型节点以及第二类型节点；
节点获取模块，用于获取所述节点集合中第一类型节点的数量以及第二类型节点的数量；
计算模块，用于根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量；
节点修复模块，用于根据所述节点集合、第一下载量和第二下载量修复该新节点。
本发明的基于分布式存储系统的多节点修复方法及其系统，在修复节点过程中，从不同类型的节点下载数据需要不同的下载费用，根据不同待修复新节点的下载费用调整从每个连接节点下载的数据量，使得在使用不对等的下载信息量的同时，借助多节点协作机制带来的优势，从而降低多节点修复的费用。
附图说明
图1为一个实施例的基于分布式存储系统的多节点修复方法的流程示意图；
图2为一个较佳实现方式的非对称协作码信息流图；
图3为一个较佳实现方式的非对称单节点修复模式与非对称多节点修复模式的最小修复带宽对比图；
图4为一个较佳实现方式的非对称单节点修复模式与非对称多节点修复模式的总下载费用对比图；
图5为一个实施例的基于分布式存储系统的多节点修复系统的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
请参阅图1中一个实施例的基于分布式存储系统的多节点修复方法的流程示意图，包括步骤S101至步骤S104：
S101，根据最大流最小割确定新节点连接的节点集合，所述节点集合包括第一类型节点以及第二类型节点。
步骤S101通过将节点修复问题抽象为信息流图模型的方式，利用图论中最大流最小割定理分析得出模型的最小割公式，通过最大流最小割公式确定修复新节点需要连接的节点集合，保证了节点的极大距离可分码属性，从而在节点修复过程中优化了修复模型。
作为一个优选的实施方式，所述节点集合中包括原始节点以及其他已修复的新节点。以往的研究都是基于每次修复一个失效的数据节点原则，继而修复下一个数据节点，即单节点修复模式。但是多个数据节点同时失效在存储系统中经常发生，例如churn系统，系统常会有多个数据节点同时离开或者加入系统中，此外，很多P2P系统经常在大面积断电的情况下需要面对很多突然的失联，或被恶意控制的大量数据节点同时离开系统，虽然大多数现有的修复机制可以通过一个接一个的修复方式来恢复多个数据节点，但其修复效率低，效果并不理想。假定存有原始文件的n个节点中的r个数据节点同时失效，按照单节点模式，新数据节点需要下载的数据只能从现有的(n-r)个数据节点获得，而重建的r个新数据节点之间的带宽不能被有效的利用。然而，通过本优选实施方式，能够有效利用重建完成的新数据节点之间的带宽，从而提高待修复节点的修复效率。
S102，获取所述节点集合中第一类型节点的数量以及第二类型节点的数量。
在修复节点过程中从不同类型节点下载数据需要不同的下载费用，因此分别获取所述节点集合中第一类型节点的数量以及第二类型节点的数量，可为后续计算修复该新节点总费用最小时的第一类型节点的第一下载量和第二类型节点的第二下载量提供数据基础。
S103，根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最小时的第一类型节点的第一下载量和第二类型节点的第二下载量。
本步骤根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，从不同类型的节点下载数据对应不同的下载费用，根据不同待修复新节点的下载费用调整从每个连接节点下载的数据量，使得在使用不对等的下载信息量的同时，计算得到修复该新节点总费用最小时的第一类型节点的第一下载量和第二类型节点的第二下载量。
具体地，步骤S103可通过以下方式实现：根据第一类型节点的数量以及第一类型节点的单位下载费用，计算修复该新节点从第一类型节点下载数据所需的第一下载费用；根据第二类型节点的数量以及第二类型节点的单位下载费用，计算修复该新节点从第二类型节点下载数据所需的第二下载费用；根据所述第一下载费用以及第二下载费用得到修复该新节点的总费用，并计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量。
S104，根据所述节点集合、第一下载量和第二下载量修复该新节点。
根据通过步骤S103得到的第一下载量、第二下载量，以及节点集合中不同类型的节点，从节点集合中下载数据，修复该新节点，从而降低了该节点修复的费用。
具体地，步骤S104可通过以下方式实现：根据所述第一下载量从节点集合中的第一类型节点得到第一下载数据，以及根据所述第二下载量从节点集合中的第二类型节点得到第二下载数据；根据所述第一下载数据以及第二下载数据修复该新节点。
本实施例的基于分布式存储系统的多节点修复方法，在修复节点过程中，从不同类型的节点下载数据需要不同的下载费用，根据不同待修复新节点的下载费用调整从每个连接节点下载的数据量，使得在使用不对等的下载信息量的同时，借助多节点协作机制带来的优势，从而降低多节点修复的费用。
以下为本发明的基于分布式存储系统的多节点修复方法的一个较佳实现方式，包括：
一、节点修复的判定条件
将大小为B的原始文件进行编码，使整个存储系统满足(n，k)性质，即从n个数据分片中的任意k个分片即可修复出原始文件。将节点修复问题抽象为信息流图模型，如图2所示，通过图论中最大流最小割定理分析得出模型的最小割公式，最小割满足如下不等式：
其中且1≤pi≤t1，1≤qi≤t2，
g-1＝L，p0＝q0＝0，pi+qi＝mi，i为待修复节点的层数，L为节点修复过程中的总层数，α为每个节点的最小存储带宽，d1为与待修复节点连接的原始节点的Ⅰ型数据节点的数量，d2为与待修复节点连接的原始节点的II型数据节点的数量，β1为待修复节点与每个I型节点间传输的数据量，β2为待修复节点与每个II型节点间传输的数据量，B为原始源文件的大小，pi为每层节点修复时数据收集节点DC连接的Ⅰ型节点数量，qi为每层节点修复时数据收集节点DC连接的Ⅱ型节点数量，mi为每层节点修复时数据收集节点DC连接的节点总数量，t1为每层中Ⅰ型节点损坏的数量，t2为每层中Ⅱ型节点损坏的数量。
本实现方式采用延迟修复策略，当损失的节点数达到给定的阈值，修复才会被触发。采用延迟阈值为t＝t1+t2的修复策略，即当有t1个Ⅰ型节点损坏和t2个Ⅱ型节点损坏时，系统才启动节点修复。以下为本实现方式的基于分布式存储系统的多节点修复方法的可行性分析：
待修复节点与每个I型节点间传输的数据量为：
待修复节点与每个II型节点间传输的数据量为：
修复一个Ⅰ型新节点的最小修复带宽为：
r1＝(d1+t1-1)β1+(d2+t2)β2，
修复一个II型新节点的最小修复带宽为：
r2＝(d1+t1)β1+(d2+t2-1)β2，
因为每个节点的存储带宽总是大于下载带宽，所以每个节点的最小存储带宽α总是大于修复一个新节点的最小修复带宽r，即α≥r，假设β1＞β2，则r1＞r2，则α≥r1＞r2，则每个节点的最小存储数据量为：
其中β1＝k'β2，k'为与待修复的新节点连接的节点集合中I型节点数量与II型节点数量的比例，r为修复一个新节点的最小修复带宽，r1为修复一个Ⅰ型新节点的最小修复带宽，r2为修复一个II型新节点的最小修复带宽。
因为节点的存储带宽总是大于下载带宽，所以上述的最小割不等式可以写成：
带入参数化简可得：
其中1≤pi≤t1，1≤qi≤t2，因上式为单调递减函数，因此当pi，qi取最大值时，为最小割，将求得的各项对应参数以及β1,β2待入化简后的最小割不等式，可知最小割不等式成立，亦即本实现方式的基于分布式存储系统的多节点修复方法是可行的，系统启动节点修复。
二、节点的构建
结合图2的为非对称协作码信息流图：
第-1层：只包含一个虚拟源节点S，代表原始文件；
第0层：包含n个节点，存储的是原始文件经分片编码成的n份数据分片。依次编号为1、2、……、n，每一个节点用输入子节点与输出子节点两种子节点来表示，分别取名为In和Out，对于每一个数据节点i，在表示节点输入输出的两个子节点间添加有向边(Ini,Outi)，在源节点与输入子节点之间添加有向边(S,Ini)；
第i层：包含t个节点，即延迟阈值t的大小，其中t＝t1+t2，pi代表第i层中与数据收集节点DC进行交流的I型节点数，qi代表第i层中与数据收集节点DC进行交流的II型节点数，由于新节点之间也进行数据交换，因此每层节点由三种子节点组成，输入子节点In，中间子节点Mid，输出子节点Out，并在输入子节点In与中间子节点Mid之间添加有向边(Ini,Midi)，以及在中间子节点Mid与输出子节点Out之间添加有向边(Midi,Outi)；
数据连接节点DC层：连接任意多个层次中的k个输出子节点Out，并添加有向边(Out,Dc)。
三、有向边容量的分配
给源节点S发出的每一条有向边分配无限大的容量，对于所有数据节点，给任意直接指向Out子节点的有向边分配容量大小为α，对于第1层以后的所有节点，因为节点内部进行的数据传输不属于节点修复带宽，因此，In子节点与Out子节点组成的有向边(Ini,Midi)，其容量分配为无穷大；
对于Ⅰ型节点中的Out子节点，对应的In子节点的有向边(Out,In)分配容量β1，对于Ⅱ型节点中的Out子节点，对应In子节点的有向边(Out,In)分配容量β2；对于Ⅰ型节点中In子节点，对应的Mid子节点的有向边(Ini,Midi)分配容量β1，对于Ⅱ型节点中In子节点，对应的Mid子节点的有向边(Ini,Midi)分配容量β2；对于指向数据连接节点DC的有向边，为其分配容量为无穷大。
四、新节点的修复
每个新节点进行数据修复时，各自连接d1个Ⅰ型数据原始节点以及d2个Ⅱ型数据原始节点，并分别从这两种数据节点中下载β1比特以及β2比特数据量；另外，每个新节点从其他已修复的新节点中获取数据。
对于两种类型的节点来说，连接的新节点个数都为(t1+t2-1)个，数据收集节点DC通过从原始节点以及其他新节点中获得的数据进行编码获得丢失的数据，由此可以得出重建一个Ⅰ型新节点和一个Ⅱ型新节点分别需要的下载总带宽γ1和γ2为：
γ1＝d1β1+d2β2+(t1-1)β1+t2β2，
γ2＝d1β1+d2β2+t1β1+(t2-1)β2，其中，
对于每个Ⅰ型新数据节点和每个Ⅱ型新数据节点，在数据修复过程中连接的总节点个数一样，但是连接每种类型的个数不相同，假设从Ⅰ型数据节点和Ⅱ型数据节点每比特的下载费用分别为c1和c2，因此，修复一个Ⅰ型数据节点的总费用C1和修复一个Ⅱ型数据节点的总下载费用CII分别为：
CⅠ＝d1β1c1+d2β2c2+(t1-1)β1c1+t2β2c2，
CII＝d1β1c1+d2β2c2+t1β1c1+(t2-1)β2c2，
将与待修复节点连接的原始节点的Ⅰ型数据节点的数量d1、与待修复节点连接的原始节点的II型数据节点的数量d2、从Ⅰ型数据节点下载的每比特数据的下载费用c1、以及从II型数据节点下载的每比特数据的下载费用c2待入总下载费用公式，计算修复该新节点总费用最小时与每个I型节点间传输的数据、以及与每个II型节点间传输的数据，从而修复该新节点。
五、非对称单节点修复模式与非对称多节点修复模式的比较
非对称单节点修复模式的最小修复带宽记为GMBR，非对称多节点修复模式的最小修复带宽记为CMBR，对于GMBR，满足如下条件：
修复一个节点的总带宽为：γGMBR＝d1β1+d2β2，
修复一个节点的总费用为：CⅠ＝d1β1c1+d2β2c2；
CMBR与GMBR的带宽的比值为：
CMBR与GMBR的修复节点总费用的比值为：
其中，γMBR为对称单节点修复模式的最小修复带宽，βGMBR为非对称单节点修复模式的最小修复带宽，当k'＝1且t1+t2＝1时，ηMBR(t)＝1，ρMBR(t)＝1。
对于CMBR，考虑到新节点相互协作对修复节点过程中下载带宽与下载费用的影响，可设定与待修复的新节点连接的节点集合中I型节点数量与II型节点数量的比例k'＝1，因此：
其中，t为每层中节点损坏的总数 量，分别对t求解单调性，可以得到：
η'MBR(t)＝(d-k+1)≤0
由于新节点之间可以进行信息的交换，因而上式是有可能成立的，即函数ηMBR(t)在满足如上条件情况下，分布式存储系统在修复一个节点过程中，冗余度满足如上关系式时，CMBR消耗的带宽总是比GMBR要少。
ρMBR(t)≤0
即
由于新节点之间可以进行信息的交换，因此上式是有可能成立的，即函数ρMBR(t)在满足如上条件情况下，分布式存储系统在修复一个节点过程中，冗余度满足如上关系式时，多节点协作的CMBR的总下载费用总是比单节点协作的GMBR要少。
如图3所示，非对称单节点修复模式与非对称多节点修复模式的最小修复带宽对比图，在最小带宽点处，两种修复模型在修复一个节点过程中的带宽值随着参与协作的新节点个数t的增加而变化；如图4所示，非对称单节点修复模式与非对称多节点修复模式的总下载费用对比图，在最小带宽点处，两种修复模型在修复一个节点过程中对应的总下载费用随着两种节点下载费用比值变化而变化。修复节点既包含I型节点又包含II型节点时，假设B＝1、k＝4、d1＝6、d2＝4、k'＝2时，由图3可以看出，单节点修复模式的GMBR比多节点协作的CMBR消耗的带宽要少，GMBR表现更优异；由图4可以看出，在两种节点的下载费用比值c2/c1满足一定条件时，多节点协作的CMBR的总下载费用总是比单节点修复模式的GMBR要少，且随着参与协作修复的新节点数量的增加，效果更显著。
由上述一个较佳实现方式的基于分布式存储系统的多节点修复方法可知，本实现方式在修复节点过程中，从不同类型的节点下载数据需要不同的下载费用，根据不同待修复新节点的下载费用调整从每个连接节点下载的数据量，使得在使用不对等的下载信息量的同时，借助多节点协作机制带来的优势，从而降低多节点修复的费用。
本发明还提供一种基于分布式存储系统的多节点修复系统，如图5所示，包括节点确定模块501、节点获取模块502、计算模块503以及节点修复模块：
所述节点确定模块501，用于根据最大流最小割确定与待修复的新节点连接的节点集合，所述节点集合包括第一类型节点以及第二类型节点。
所述节点获取模块502，用于获取所述节点集合中第一类型节点的数量以及第二类型节点的数量。
所述计算模块503，用于根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量。
所述节点修复模块504，用于根据所述节点集合、第一下载量和第二下载量修复该新节点。
在其中一个实施例中，所述节点集合中包括原始节点以及其他已修复的新节点，能够有效利用重建完成的新数据节点之间的带宽，从而提高待修复节点的修复效率。
在其中一个实施例中，所述计算模块503包括：
第一计算子模块，用于根据第一类型节点的数量以及第一类型节点的单位下载费用，计算修复该新节点从第一类型节点下载数据所需的第一下载费用；第二计算子模块，用于根据第二类型节点的数量以及第二类型节点的单位下载费用，计算修复该新节点从第二类型节点下载数据所需的第二下载费用；第三计算子模块，用于根据所述第一下载费用以及第二下载费用得到修复该新节点的总费用，并计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量。
本实施例根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，从不同类型的节点下载数据对应不同的下载费用，根据不同待修复新节点的下载费用调整从每个连接节点下载的数据量，使得在使用不对等的下载信息量的同时，计算得到修复该新节点总费用最小时的第一类型节点的第一下载量和第二类型节点的第二下载量。
在其中一个实施例中，所述节点修复模块504具体用于，根据所述第一下载量从节点集合中的第一类型节点得到第一下载数据，以及根据所述第二下载量从节点集合中的第二类型节点得到第二下载数据；根据所述第一下载数据以及第二下载数据修复该新节点。
本实施例的基于分布式存储系统的多节点修复系统，在修复节点过程中，从不同类型的节点下载数据需要不同的下载费用，根据不同待修复新节点的下载费用调整从每个连接节点下载的数据量，使得在使用不对等的下载信息量的同时，借助多节点协作机制带来的优势，从而降低多节点修复的费用。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.基于分布式存储系统的多节点修复方法，其特征在于，包括：
根据最大流最小割确定与待修复的新节点连接的节点集合，所述节点集合包括第一类型节点以及第二类型节点；
获取所述节点集合中第一类型节点的数量以及第二类型节点的数量；
根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量；
根据所述节点集合、第一下载量和第二下载量修复该新节点。
2.根据权利要求1所述的基于分布式存储系统的多节点修复方法，其特征在于，所述节点集合中包括原始节点以及其他己修复的新节点。
3.根据权利要求2所述的基于分布式存储系统的多节点修复方法，其特征在于，所述根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量，包括：
根据第一类型节点的数量以及第一类型节点的单位下载费用，计算修复该新节点从第一类型节点下载数据所需的第一下载费用；
根据第二类型节点的数量以及第二类型节点的单位下载费用，计算修复该新节点从第二类型节点下载数据所需的第二下载费用；
根据所述第一下载费用以及第二下载费用得到修复该新节点的总费用，并计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量。
4.根据权利要求1所述的基于分布式存储系统的多节点修复方法，其特征在于，所述根据所述节点集合、第一下载量和第二下载量修复该新节点，包括：
根据所述第一下载量从节点集合中的第一类型节点得到第一下载数据，以及根据所述第二下载量从节点集合中的第二类型节点得到第二下载数据；
根据所述第一下载数据以及第二下载数据修复该新节点。
5.基于分布式存储系统的多节点修复系统，其特征在于，包括：
节点确定模块，用于根据最大流最小割确定与待修复的新节点连接的节点集合，所述节点集合包括第一类型节点以及第二类型节点；
节点获取模块，用于获取所述节点集合中第一类型节点的数量以及第二类型节点的数量；
计算模块，用于根据第一类型节点的数量、第二类型节点的数量、第一类型节点的单位下载费用以及第二类型节点的单位下载费用，计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量；
节点修复模块，用于根据所述节点集合、第一下载量和第二下载量修复该新节点。
6.根据权利要求5所述的基于分布式存储系统的多节点修复系统，其特征在于，所述节点集合中包括原始节点以及其他己修复的新节点。
7.根据权利要求6所述的基于分布式存储系统的多节点修复系统，其特征在于，所述计算模块包括：
第一计算子模块，用于根据第一类型节点的数量以及第一类型节点的单位下载费用，计算修复该新节点从第一类型节点下载数据所需的第一下载费用；
第二计算子模块，用于根据第二类型节点的数量以及第二类型节点的单位下载费用，计算修复该新节点从第二类型节点下载数据所需的第二下载费用；
第三计算子模块，用于根据所述第一下载费用以及第二下载费用得到修复该新节点的总费用，并计算修复该新节点总费用最小时从第一类型节点下载的第一下载量和从第二类型节点下载的第二下载量。
8.根据权利要求5所述的基于分布式存储系统的多节点修复系统，其特征在于，所述节点修复模块，用于根据所述第一下载量从节点集合中的第一类型节点得到第一下载数据，以及根据所述第二下载量从节点集合中的第二类型节点得到第二下载数据：根据所述第一下载数据以及第二下载数据修复该新节点。
CN201610044046.2A 2016-01-22 2016-01-22 基于分布式存储系统的多节点修复方法及其系统 Active CN105681425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610044046.2A CN105681425B (zh) 2016-01-22 2016-01-22 基于分布式存储系统的多节点修复方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610044046.2A CN105681425B (zh) 2016-01-22 2016-01-22 基于分布式存储系统的多节点修复方法及其系统

Publications (2)

Publication Number Publication Date
CN105681425A CN105681425A (zh) 2016-06-15
CN105681425B true CN105681425B (zh) 2019-01-22

Family

ID=56302271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610044046.2A Active CN105681425B (zh) 2016-01-22 2016-01-22 基于分布式存储系统的多节点修复方法及其系统

Country Status (1)

Country Link
CN (1) CN105681425B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108512553B (zh) * 2018-03-09 2022-09-27 哈尔滨工业大学深圳研究生院 一种降低带宽消耗的截短再生码构造方法
CN113541870A (zh) * 2021-07-08 2021-10-22 厦门大学 一种纠删码存储单节点失效的修复优化方法
CN116456094B (zh) * 2023-06-15 2023-09-05 中南大学 一种分布式视频混合数字模拟传输方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624866A (zh) * 2012-01-13 2012-08-01 北京大学深圳研究生院 一种存储数据的方法、装置及分布式网络存储系统
CN103336785A (zh) * 2013-06-04 2013-10-02 华中科技大学 一种基于网络编码的分布式存储方法及其装置
CN103650462A (zh) * 2012-04-27 2014-03-19 北京大学深圳研究生院 基于同态的自修复码的编码、解码和数据修复方法及其存储系统
CN104782101A (zh) * 2012-07-20 2015-07-15 北京大学深圳研究生院 用于分布式网络存储的自修复码的编码、重构和恢复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9015342B2 (en) * 2007-01-22 2015-04-21 Xerox Corporation Two-level structured overlay design for cluster management in a peer-to-peer network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624866A (zh) * 2012-01-13 2012-08-01 北京大学深圳研究生院 一种存储数据的方法、装置及分布式网络存储系统
CN103650462A (zh) * 2012-04-27 2014-03-19 北京大学深圳研究生院 基于同态的自修复码的编码、解码和数据修复方法及其存储系统
CN104782101A (zh) * 2012-07-20 2015-07-15 北京大学深圳研究生院 用于分布式网络存储的自修复码的编码、重构和恢复方法
CN103336785A (zh) * 2013-06-04 2013-10-02 华中科技大学 一种基于网络编码的分布式存储方法及其装置

Also Published As

Publication number Publication date
CN105681425A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
WO2018149345A1 (zh) 一种数据处理方法及装置
US9244983B2 (en) Platform for continuous graph update and computation
CN103944981B (zh) 一种基于纠删码技术改进的云存储系统及实现方法
CN101651709B (zh) 一种p2p下载文件完整性校验方法
Guha et al. Efficient recovery from power outage
CN103810061B (zh) 一种高可用云存储方法
CN105681425B (zh) 基于分布式存储系统的多节点修复方法及其系统
CN101673289B (zh) 分布式文件存储构架的构建方法和装置
CN102681793A (zh) 一种基于纠删码集群存储系统的局部式数据更新方法
US20200097487A1 (en) Novel olap pre-calculation model and modeling method
CN102281290A (zh) 一种PaaS云平台的仿真系统及方法
CN104391759A (zh) 一种纠删码存储中负载感知的数据归档方法
CN101232516A (zh) 无线传感器网络应用中使用差分压缩的低功耗系统更新方法
CN105518996A (zh) 一种基于二进制域里德所罗门码的数据编解码方法
CN108536396B (zh) 一种基于网络编码的存储扩展方法
CN103544270B (zh) 面向数据中心的通用化网络编码容错存储平台及工作方法
Oravcová et al. EU funds and limited cooperation: energy infrastructure development in the Visegrad Group
CN104052495A (zh) 减少硬件缓冲器的低密度奇偶检查码阶层式译码架构
CN109919826B (zh) 一种用于图计算加速器的图数据压缩方法及图计算加速器
CN112069259B (zh) 一种基于区块链的多云环境数据存储系统及方法
CN100353331C (zh) 网络信息系统数据异地快速恢复方法
CN109885423A (zh) 一种区块链源数据备份方法
CN102946443A (zh) 一种实现大规模数据传输的多任务调度方法
CN104063377B (zh) 信息处理方法和使用其的电子设备
US10572486B2 (en) Data communication in a distributed data grid

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant