CN114116696B - 云存储系统中考虑节点选择机制的故障节点数据重构方法 - Google Patents

云存储系统中考虑节点选择机制的故障节点数据重构方法 Download PDF

Info

Publication number
CN114116696B
CN114116696B CN202111411277.XA CN202111411277A CN114116696B CN 114116696 B CN114116696 B CN 114116696B CN 202111411277 A CN202111411277 A CN 202111411277A CN 114116696 B CN114116696 B CN 114116696B
Authority
CN
China
Prior art keywords
node
data
nodes
decision matrix
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111411277.XA
Other languages
English (en)
Other versions
CN114116696A (zh
Inventor
叶苗
蔡月
王勇
蒋秋香
柯文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202111411277.XA priority Critical patent/CN114116696B/zh
Publication of CN114116696A publication Critical patent/CN114116696A/zh
Application granted granted Critical
Publication of CN114116696B publication Critical patent/CN114116696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种云存储系统中考虑节点选择机制的故障节点数据重构方法，首先采用软件定义网络技术，高效的测量网络状态等信息；然后通过决策选择出参与构建修复树的供给数据节点及待定新生节点；接着通过为待定新生节点之间建立最大生成树，并结合决策选择出的供给数据节点到新生节点之间的路径共同构建出最优修复树；最后各供给数据节点按照构建出的最优修复树结构将存储的原数据块传至根节点进行数据重构，降低了修复过程中数据传输的时间，提高了修复效率。

Description

云存储系统中考虑节点选择机制的故障节点数据重构方法
技术领域
本发明涉及云存储技术领域，具体涉及一种云存储系统中考虑节点选择机制的故障节点数据重构方法。
背景技术
海量数据的剧增对传统存储系统的存储成本、数据可靠性提出了严峻的挑战。分布式存储系统将大量网络存储设备通过软件集合协同起来工作，共同对外提供数据存储和业务访问的功能，但随着数据规模和节点数量的增加，系统在频繁进行节点替换、硬件故障，软件升级等过程中，会导致存储系统中节点失效，造成存储数据丢失。此时，需要使用一定的冗余机制来保障保障系统的可靠性，即在节点发生故障失效后，能够重构出失效节点的数据。
多副本技术及纠删码技术是分布式存储系统中常用的两种冗余机制。在海量数据存储背景下，多副本技术不再适用大型存储系统，而纠删码技术虽然能够以极低的存储空间开销获得与多副本技术相同甚至更高的可靠性，但其在修复过程中产生的过高的网络流量和过长的修复时间会致使修复效率降低，因此在应用时需要提高纠删码在修复节点时的修复效率。
在现有提高纠删码的修复效率方法中，研究者多从改善纠删码本身的性能出发，虽然这些方法在某些特定场合下效果良好，但是对于实际中存储节点状态和网络自身状态的不断变化的情况，仅仅改善纠删码本身是不够的。考虑到基于纠删码的数据修复机制需要在云存储系统中选择一定数目的供给数据节点向新生节点传送数据，而现有的选择节点方法却存在复杂度过高而导致整个修复过程时延较长及流量过多。因此亟需设计一种合理的节点选择策略用于降低修复开销的同时提高存储系统的可靠性。
发明内容
本发明所要解决的是现有采用纠删码修复机制进行失效数据的恢复时因节点选择策略导致所导致的修复过程时延较长及流量过多的问题，提供一种云存储系统中考虑节点选择机制的故障节点数据重构方法。
为解决上述问题，本发明是通过以下技术方案实现的：
云存储系统中考虑节点选择机制的故障节点数据重构方法，包括步骤如下：
步骤1、利用软件定义网络技术实时监控全局网络状态信息；
步骤2、基于全局网络状态信息，构建云存储系统中所有存活的存储数据节点关于所选定指标的决策矩阵；
步骤3、对决策矩阵进行归一化处理得到规范化决策矩阵，并对规范化决策矩阵进行加权处理得到加权决策矩阵；
步骤4、取加权决策矩阵中各指标值的最大值作为加权决策矩阵的正理想解，取加权决策矩阵中各指标值的最小值作为加权决策矩阵的负理想解，并计算每个存活的存储数据节点到加权决策矩阵的正负理想解的距离；
步骤5、基于每个存活的存储数据节点到加权决策矩阵的正负理想解的距离计算每个存活的存储数据节点的相对贴近度；
步骤6、对所有存活的存储数据节点的相对贴近度进行排序，并选取相对贴近度较大的k个存活的存储数据节点作为供给数据节点；
步骤7、对于每个选定的供给数据节点，计算该供给数据节点到云存储系统中所有空闲的可用节点路径的可用带宽，并将可用带宽最大的路径上的空闲的可用节点作为该供给数据节点所对应的待定新生节点，据此可以得到每个供给数据节点到与其对应的待定新生节点的连接关系，并同时确定待定新生节点集合；
步骤8、对待定新生节点集合的所有待定新生节点使用Kruskal算法生成关于待定新生节点的最大生成树；
步骤9、遍历待定新生节点集合的每个待定新生节点，找出当前待定新生节点与其他待定新生节点之间的最大可用带宽路径，并将这些最大可用带宽路径作为当前待定新生节点与其余待定新生节点的连接关系；
步骤10、将步骤9所得到的关于各待定新生节点与其余待定新生节点的连接关系分别与步骤7所得到的所有供给数据节点到与其对应的待定新生节点的连接关系进行合并，得到各待定新生节点分别作为根节点的修复树；
步骤11、比较各待定新生节点分别作为根节点的修复树的瓶颈带宽，并将瓶颈带宽最大的修复树作为最优修复树，该最优修复树的根节点即为最终确定的新生节点；
步骤12、各供给数据节点按照最优修复树结构将存储的数据块传至最终的新生节点进行数据重构；
上述k为利用预定规模的纠删码进行故障节点修复时所需的供给数据节点的个数。
上述步骤2中，所选定的指标包括网络链路的剩余带宽、网络链路的时延、主机节点的I/O负载、主机节点的CPU利用率、内存利用率及芯片利用率。
上述步骤4中，存活的存储数据节点到加权决策矩阵的正理想解的距离为：
上述步骤4中，存活的存储数据节点到加权决策矩阵的负理想解的距离为：
其中，Zij为加权决策矩阵的元素；为加权决策矩阵的正理想解的元素；/>为加权决策矩阵的负理想解的元素；i和j分别是行号和列号；i＝1,2,…,n，n为存活的存储数据节点的个数；j＝1,2,…,m，m为指标的个数。
上述步骤5中，相对贴近度为：
其中，为存活的存储数据节点到加权决策矩阵的正理想解的距离；/>为存活的存储数据节点到加权决策矩阵的负理想解的距离；i＝1,2,…,n，n为存活的存储数据节点的个数。
上述步骤8中，使用Kruskal生成最大生成树时，其对边权重进行排序时采用的是对边权重从大到小排序，最大生成树的边都是权重最大边构成的。
与现有的技术相比，本发明针对云存储网络中在数据失效后需要进行以纠删码冗余机制为基础的数据修复工作，提出了一种考虑节点选择机制的故障节点数据重构方法，首先采用软件定义网络技术，高效的测量网络状态等信息；然后通过决策选择出参与构建修复树的供给数据节点及待定新生节点；接着通过为待定新生节点之间建立最大生成树，并结合决策选择出的供给数据节点到新生节点之间的路径共同构建出最优修复树；最后各供给数据节点按照构建出的最优修复树结构将存储的原数据块传至根节点进行数据重构，降低了修复过程中数据传输的时间，提高了修复效率。
附图说明
图1为云存储系统中考虑节点选择机制的故障节点数据重构方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。
纠删码通常使用二元组(n,k)来描述。该机制的基本思想是：某文件D大小为Mbit，将其平均分成k个块，即D1，D2,…,Dk,则每个数据块的大小为(M/k)bit,通过特定的编码方法对均分后的k个数据块进行运算，产生n个编码块，记为C1，C2,…,Cn(n>k)，将其分散存储至n个不同的存储节点上。纠删码本身所具有的MDS性质使得当一个节点失效后，系统提供其他空闲的可用节点(即新生节点)通过访问任意k个存活的存储数据节点(即供给数据节点)下载其存储的数据，而后可以通过相应的解码算法恢复出失效数据从而重建出原文件D。
基于纠删码机制，本发明提出一种云存储系统中考虑节点选择机制的故障节点数据重构方法，如图1所示，其具体步骤如下：
步骤1、利用软件定义网络技术实时监控全局网络状态信息。
要获取系统中各存储节点的网络状态信息，需完成对网络状态信息的测量工作。由于系统的网络状态是实时变化的，为实时高效的测量网络状态信息及网络设备信息。传统的网络状态测量方式不仅需要繁琐的配置，而且会在系统中造成大量的测量开销。软件定义网络技术(SDN)是目前出现的一种新的网络模式，该技术的优点是控制平面与数据平面相分离，其所用的网络编程能力使得在开发应用时更加简便，通过全局部署对系统整体增强管控，在应用于大规模存储系统时，数据传输、控制和管理效率会显著提升。因此应用基于SDN的网络测量技术测量网络状态和网络设备状态，可以以低配置及更小的测量开销获取所需信息。SDN控制器负责实时感知节点间的链路信息(时延、带宽)和节点本身的负荷信息(I/O负载、CPU利用率、芯片利用率、内存利用率)等。
步骤2、基于全局网络状态信息，构建云存储系统中所有存活的存储数据节点关于网络链路的剩余带宽B、网络链路的时延T、主机节点的I/O负载L、主机节点的CPU利用率P、内存利用率R及芯片利用率C的决策矩阵M。
在选择参与修复的节点过程中，选择指标是构建选择算法的基础。典型的选择指标主要包括：节点负载和可用带宽。节点负载是指节点所承受的负载，包含计算负载和存储负载等，影响节点的负载因素有很多，处理器的主频、核心数目、芯片类型、内存类型及容量、硬盘的缓存、转速、单片容量、磁盘IO等；不同服务器节点的功耗、处理时延也会有差异。可用带宽是指节点间链路能够为数据传输提供的带宽。节点负载反映节点在实际运行过程中的处理能力，选择负载较小的节点有助于提高数据修复效率；节点的可用带宽是衡量节点间传输能力的常见指标，具有较大可用带宽的节点能够提高数据传输效率。随着系统中应用的访问频率不同，节点的负载、可用带宽在不断变化中。基于此分析，本发明在上述基于软件定义网络测量全局网络状态的基础下，选择节点时主要考虑根据能准确反映网络链路状态和节点负载情况的六个指标：网络链路的剩余带宽B：链路的剩余带宽越大，修复完成时间越小；网络链路的时延T：链路的时延越小，传输速度越快；主机节点的I/O负载L：节点负载会影响节点本身的计算能力，对修复性能有一定影响；主机节点的CPU利用率P、内存利用率R及芯片利用率C：节点的CPU利用率和内存利用率及芯片利用率会影响数据修复性能，故障恢复需要消耗CPU和内存，芯片性能对故障恢复效率也有一定影响。此外，在异构网络的背景下，此六个指标不具有相关性，即不存在必然联系。因此选用这六个维度的指标能够较好的反映网络状况和节点的负载状况。
在确定能准确反映网络状态和节点负载情况的六个指标后，需要依据这些指标综合选出最优的供给数据节点和新生节点。本发明使用一种有效的多指标决策方法——逼近理想解排序法(TOPSIS，Technique for Order Preference by Similarity to IdealSolution)来综合权衡各个指标因子并进行决策。该方法将多个指标的指标值归一化处理，按照重要性为各个指标分配权值并对归一化矩阵加权处理得到加权决策矩阵，继而计算得到各方案与正负理想解方案的距离，最后求解得到各方案的贴进度并据此评估出最优节点。
决策矩阵M为：
上述决策矩阵的行代表各存活的存储数据节点，决策矩阵的列代表存活的存储数据节点的各指标。在衡量节点优劣的六个指标中剩余带宽B为正指标，该值越大节点则链路性能越好。此外，时延T，I/O负载L，CPU利用率C和内存利用率R，芯片利用率P为负指标，这些值越小则节点性能越好，在建立TOPSIS模型中负号表示负指标。
步骤3、对决策矩阵M进行归一化处理得到规范化决策矩阵M′。
规范化决策矩阵M′为：
式中，M′ij为规范化决策矩阵M'的元素；mij为矩阵决策矩阵M中的元素，i和j分别是行号和列号，i＝1,2,…,n，n为存活的存储数据节点的个数；j＝1,2,…,m，m为存活的存储数据节点的指标个数，在本实施例中，m＝6。
步骤4、选取合适的加权矩阵W对规范化决策矩阵M'进行加权处理得到加权决策矩阵Z。
加权矩阵W为：
W＝[WB WT WL WC WR WP] (3)
式中，WB WT WL WC WR WP分别为剩余带宽B、时延T、I/O负载L、CPU利用率C、内存利用率R及芯片使用率P的权重系数，这些权重的值通过实验的方式获取。剩余带宽B、时延T、I/O负载L、CPU利用率C、内存利用率R及芯片使用率P在决策过程中对节点性能的影响是不同的，故而将带宽和时延的比重设置的相对大些。
加权决策矩阵Z为：
Zij＝Wj×Mij′ (4)
式中，Zij为加权决策矩阵的元素，M′ij为规范化决策矩阵M'的元素；i和j分别是行号和列号，i＝1,2,…,n，n为存活的存储数据节点的个数；j＝1,2,…,m，m为存活的存储数据节点的指标个数，在本实施例中，m＝6。
步骤5、取加权决策矩阵Z中各指标值的最大值作为加权决策矩阵的正理想解，取加权决策矩阵Z中各指标值的最小值作为加权决策矩阵的负理想解。
加权决策矩阵的正理想解Z+为：
加权决策矩阵的负理想解Z-为：
式中，Zij为加权决策矩阵的元素，i和j分别是行号和列号，i＝1,2,…,n，n为存活的存储数据节点的个数；j＝1,2,…,m，m为存活的存储数据节点的指标个数，在本实施例中，m＝6。
步骤6、计算每个存活的存储数据节点到加权决策矩阵的正负理想解的距离。
存活的存储数据节点到加权决策矩阵的正理想解的距离为：
存活的存储数据节点到加权决策矩阵的负理想解的距离为：
其中，Zij为加权决策矩阵的元素；为加权决策矩阵的正理想解的元素；/>为加权决策矩阵的负理想解的元素；i和j分别是行号和列号，i＝1,2,…,n，n为存活的存储数据节点的个数；j＝1,2,…,m，m为指标的个数，在本实施例中，m＝6。
步骤7、计算每个存活的存储数据节点的相对贴近度Ci +。
其中，为存活的存储数据节点到加权决策矩阵的正理想解的距离；/>为存活的存储数据节点到加权决策矩阵的负理想解的距离；i＝1,2,…,n，n为存活的存储数据节点的个数。
步骤8、对所有存活的存储数据节点的相对贴近度进行排序，并选取相对贴近度较大的k个存活的存储数据节点作为供给数据节点；其中k为利用预定规模的纠删码进行故障节点修复时所需的供给数据节点的个数。
在进行节点选择时考虑了网络链路状态和节点负荷信息等六个指标，以此作为供给数据节点选择的约束条件，而后对所有存活的存储数据节点的相对贴进度进行排序，选择前k个相对贴进度最优存活的存储数据节点作为供给数据节点选择的最终方案。
步骤9、对于每个选定的供给数据节点，计算该供给数据节点到云存储系统中所有空闲的可用节点间路径的可用带宽，并将可用带宽最大的路径上的空闲的可用节点作为该供给数据节点所对应的待定新生节点。据此可以确定出每个选定的供给数据节点到其对应的待定新生节点的连接关系并得到待定新生节点集合。
由于每个供给数据节点都能选出一个待定新生节点，而不同供给数据节点所对应的待定新生节点可能相同或不相同，因此k个供给数据节点最终所选定的待定新生节点的数量是小于等于k个的，所得到的供给数据节点到其对应的待定新生节点的连接关系为k组。
步骤10、对待定新生节点集合的所有待定新生节点使用最大生成树算法生成关于待定新生节点的最大生成树。
在多指标决策方法选择出两类节点后，还需要确定以哪个新生节点为根节点得到的修复树是最优修复树。为构建出树型结构，需要在选出的待定新生节点中确定出一个待定新生节点作为修复树的根节点，该节点可以与其他待定新生节点进行通信。而为了提高修复过程的修复效率，我们的最终目标是构建出最优修复树。最优修复树要求整棵修复树的瓶颈带宽(所有链路中最小的链路带宽)要最大。因此这里利用最大生成树算法为待定新生节点之间确定出最大带宽路径，因为一旦确定最大生成树，就可以确定出任意两个节点之间的唯一路径且该路径带宽最大。在构建出的最大生成树中依据确定出的待定新生节点集合，得到各待定新生节点间的路径。
建立最大带宽路径是网络路由的研究。已有文献证明两点间路径的最大带宽路径与最大生成树之间存在一定关系，具体定理如下：设b(e)为一网络G中边e的带宽值，假设T为G根据链路带宽的最大生成树，则对G中任意两个节点s和t,树T中从s到t的唯一路径Pst即为s到t的最大带宽路径。根据该定理，我们可以使用建立最大生成树的方法来建立节点间最大带宽路径。对建立最大生成树的算法进行改进即可得到建立最大生成树的方法。Kruskal(克鲁斯卡尔)算法是目前广泛应用且简便的一种最小生成树算法，因此可以对该算法思想改进构造得到最大生成树。在使用Kruskal生成最小生成树时，其对边权重进行排序时采用的是对边权重从小到大排序，最小生成树的边都是权重最小边构成的；而使用Kruskal生成最大生成树时，其对边权重进行排序时采用的是对边权重从大到小排序，最大生成树的边都是权重最大边构成的。一旦构造出最大生成树T后，即可找到T中任意两点之间的唯一的最大带宽路径。依此方法，可以为待定新生节点之间找到最大带宽路径。
步骤11、遍历待定新生节点集合的每个待定新生节点，找出当前待定新生节点与其他待定新生节点之间的最大可用带宽路径，并将这小于等于k个待定新生节点之间的最大可用带宽路径作为当前待定新生节点与其他待定新生节点的连接关系，因此这里有小于等于k组待定新生节点与其他待定新生节点的连接关系。
步骤12、
将步骤11所得到的关于各待定新生节点与其余待定新生节点的连接关系(即从小于等于k组中选1组连接关系)分别与步骤9所得到的所有供给数据节点到与其对应的待定新生节点的连接关系(即从k组中选k组连接关系)进行合并，得到各待定新生节点分别作为根节点的修复树。
步骤13、计算各待定新生节点分别作为根节点的修复树的瓶颈带宽(整棵修复树中最小的链路带宽)，并将瓶颈带宽最大的修复树作为最优修复树，该最优修复树的根节点即为最终确定的新生节点。
对于单节点失效后的修复问题，传统的解决方法是将全局网络抽象为无向图G＝(V,E,w)，在其中寻找一棵以新生节点为根，数据供给数据节点为叶子节点，其余节点作为中间节点的修复树T＝(VT,ET)。由于数据块传输完成时间取决于树型修复拓扑中最小的链路带宽，也叫瓶颈带宽。瓶颈带宽值越大，修复完成时间就越小，对应修复树的性能更优。若记所求的最优修复树为T*，其瓶颈带宽表示为wij(i，j∈E)，则最优修复树需要满足瓶颈带宽值最大这一约束，即满足式(10)所示的目标：
在实际的分布式存储系统中，由于实际网络的复杂性，供给数据节点向新生节点传输数据时存在多条可传输路径，不同的传输路径对应不同的供给数据节点与新生节点，而选择不同的数据供给数据节点与新生节点，所构建的最优修复树一定不同，对应的修复完成的时间也不同。因此完成失效节点上数据重构所需的时间与选择具体的供给数据节点和新生节点密切相关，即为了达到式(10)的目标，不仅与修复树的拓扑结构有关，而且与具体参与修复的节点有关。因此，本发明设计一种节点选择策略来使得式(11)取最大值，在考虑相关节点的选择后所寻找的最优修复树T*需要满足式式(11)：
由(11)可知满足瓶颈带宽最大的修复树为最优修复树，因此需要保证所构建出的修复树的瓶颈带宽尽可能最大。
步骤14、各供给数据节点按照最优修复树结构将存储的数据块传至最终的新生节点进行数据重构。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (5)

1.云存储系统中考虑节点选择机制的故障节点数据重构方法，其特征是，包括步骤如下：
步骤1、利用软件定义网络技术实时监控全局网络状态信息；
步骤2、基于全局网络状态信息，构建云存储系统中所有存活的存储数据节点关于所选定指标的决策矩阵；
步骤3、对决策矩阵进行归一化处理得到规范化决策矩阵，并对规范化决策矩阵进行加权处理得到加权决策矩阵；
步骤4、取加权决策矩阵中各指标值的最大值作为加权决策矩阵的正理想解，取加权决策矩阵中各指标值的最小值作为加权决策矩阵的负理想解，并计算每个存活的存储数据节点到加权决策矩阵的正负理想解的距离；
步骤5、基于每个存活的存储数据节点到加权决策矩阵的正负理想解的距离计算每个存活的存储数据节点的相对贴近度；
步骤6、对所有存活的存储数据节点的相对贴近度进行排序，并选取相对贴近度较大的k个存活的存储数据节点作为供给数据节点；
步骤7、对于每个选定的供给数据节点，计算该供给数据节点到云存储系统中所有空闲的可用节点路径的可用带宽，并将可用带宽最大的路径上的空闲的可用节点作为该供给数据节点所对应的待定新生节点；据此可以得到每个供给数据节点到与其对应的待定新生节点的连接关系，并同时确定待定新生节点集合；
步骤8、对待定新生节点集合的所有待定新生节点使用Kruskal算法生成关于待定新生节点的最大生成树；
步骤9、遍历待定新生节点集合的每个待定新生节点，找出当前待定新生节点与其他待定新生节点之间的最大可用带宽路径，并将这些最大可用带宽路径作为当前待定新生节点与其余待定新生节点的连接关系；
步骤10、将步骤9所得到的各待定新生节点与其余待定新生节点的连接关系分别与步骤7所得到的所有供给数据节点到与其对应的待定新生节点的连接关系进行合并，得到各待定新生节点分别作为根节点的修复树；
步骤11、比较各待定新生节点分别作为根节点的修复树的瓶颈带宽，并将瓶颈带宽最大的修复树作为最优修复树，该最优修复树的根节点即为最终确定的新生节点；
步骤12、各供给数据节点按照最优修复树结构将存储的数据块传至最终的新生节点进行数据重构；
上述k为利用预定规模的纠删码进行故障节点修复时所需的供给数据节点的个数。
2.根据权利要求1所述的云存储系统中考虑节点选择机制的故障节点数据重构方法，其特征是，步骤2中，所选定的指标包括网络链路的剩余带宽、网络链路的时延、主机节点的I/O负载、主机节点的CPU利用率、内存利用率及芯片利用率。
3.根据权利要求1或2所述的云存储系统中考虑节点选择机制的故障节点数据重构方法，其特征是，步骤4中，
存活的存储数据节点到加权决策矩阵的正理想解的距离为：
存活的存储数据节点到加权决策矩阵的负理想解的距离为：
其中，Zij为加权决策矩阵的元素；为加权决策矩阵的正理想解的元素；/>为加权决策矩阵的负理想解的元素；i和j分别是行号和列号；i＝1,2,…,n，n为存活的存储数据节点的个数；j＝1,2,…,m，m为指标的个数。
4.根据权利要求1或2所述的云存储系统中考虑节点选择机制的故障节点数据重构方法，其特征是，步骤5中，相对贴近度为：
其中，为存活的存储数据节点到加权决策矩阵的正理想解的距离；/>为存活的存储数据节点到加权决策矩阵的负理想解的距离；i＝1,2,…,n，n为存活的存储数据节点的个数。
5.根据权利要求1所述的云存储系统中考虑节点选择机制的故障节点数据重构方法，其特征是，步骤8中，使用Kruskal生成最大生成树时，其对边权重进行排序时采用的是对边权重从大到小排序，最大生成树的边都是权重最大边构成的。
CN202111411277.XA 2021-11-25 2021-11-25 云存储系统中考虑节点选择机制的故障节点数据重构方法 Active CN114116696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111411277.XA CN114116696B (zh) 2021-11-25 2021-11-25 云存储系统中考虑节点选择机制的故障节点数据重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111411277.XA CN114116696B (zh) 2021-11-25 2021-11-25 云存储系统中考虑节点选择机制的故障节点数据重构方法

Publications (2)

Publication Number Publication Date
CN114116696A CN114116696A (zh) 2022-03-01
CN114116696B true CN114116696B (zh) 2024-03-15

Family

ID=80372772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111411277.XA Active CN114116696B (zh) 2021-11-25 2021-11-25 云存储系统中考虑节点选择机制的故障节点数据重构方法

Country Status (1)

Country Link
CN (1) CN114116696B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114726777A (zh) * 2022-03-14 2022-07-08 江苏大学 一种基于topsis决策的sdn路由选择方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125453A (zh) * 2019-12-27 2020-05-08 中国电子科技集团公司信息科学研究院 基于子图同构的社交网络中意见领袖角色识别方法及存储介质
CN112260950A (zh) * 2020-10-19 2021-01-22 桂林电子科技大学 一种基于业务优先级区分的云存储网络组播流调度方法
CN112486418A (zh) * 2020-12-14 2021-03-12 重庆邮电大学 一种基于Ceph纠删码的异构混合负载均衡存储方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9306856B2 (en) * 2013-03-15 2016-04-05 Cisco Technology, Inc. Optimal tree root selection for trees spanning multiple sites

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125453A (zh) * 2019-12-27 2020-05-08 中国电子科技集团公司信息科学研究院 基于子图同构的社交网络中意见领袖角色识别方法及存储介质
CN112260950A (zh) * 2020-10-19 2021-01-22 桂林电子科技大学 一种基于业务优先级区分的云存储网络组播流调度方法
CN112486418A (zh) * 2020-12-14 2021-03-12 重庆邮电大学 一种基于Ceph纠删码的异构混合负载均衡存储方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
苑嘉航 ; 刘春来 ; 李赟 ; 李存斌 ; .配电网故障恢复决策模型研究.杭州电子科技大学学报(自然科学版).2020,(第01期),全文. *
齐凤林 ; 宫庆媛 ; 周扬帆 ; 王新 ; .分布式存储再生码数据修复的节点选择方案.计算机研究与发展.2015,(第S2期),全文. *

Also Published As

Publication number Publication date
CN114116696A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
US11893017B2 (en) Utilizing a prioritized feedback communication mechanism based on backlog detection data
US10095581B2 (en) Transmission time refinement in a storage system
CN109889440B (zh) 一种基于最大生成树的纠删码失效节点重构路径选择方法
CN111614720B (zh) 针对集群存储系统单点失效修复的跨集群流量优化方法
US8464090B2 (en) Recovery of failed disks in an array of disks
WO2010024027A1 (ja) 仮想サーバシステム及び物理サーバ選択方法
US20190208011A1 (en) Accelerating data replication using multicast and non-volatile memory enabled nodes
Lin et al. Boosting {Full-Node} repair in {Erasure-Coded} storage
CN114116696B (zh) 云存储系统中考虑节点选择机制的故障节点数据重构方法
CN113541870A (zh) 一种纠删码存储单节点失效的修复优化方法
Gong et al. Optimal node selection for data regeneration in heterogeneous distributed storage systems
Xu et al. SelectiveEC: Towards balanced recovery load on erasure-coded storage systems
Xiong et al. HaDaap: a hotness‐aware data placement strategy for improving storage efficiency in heterogeneous Hadoop clusters
Wu et al. LFPR: A lazy fast predictive repair strategy for mobile distributed erasure coded cluster
CN113938376B (zh) 分布式存储系统中故障节点修复方法
Yang et al. Xhr-code: An efficient wide stripe erasure code to reduce cross-rack overhead in cloud storage systems
Zeng et al. FAGR: an efficient file-aware graph recovery scheme for erasure coded cloud storage systems
Qin et al. A heterogeneous hybrid storage method based on ceph erasure code
US10241878B2 (en) System and method of data allocation providing increased reliability of storage
Xie et al. AZ-Recovery: An efficient crossing-AZ recovery scheme for erasure coded cloud storage systems
Zhao et al. G-update: A group-based update scheme for heterogenous erasure-coded storage systems
CN113504875A (zh) 一种基于多级调度的纠删码系统恢复方法及系统
CN109151054B (zh) 一种层次码的构造方法及故障节点的修复方法
CN113285985A (zh) 一种多数据中心背景下基于遗传算法的rs码节点修复方法
Song et al. Hv-snsp: A low-overhead data recovery method based on cross-checking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant