CN115883589A - 分布式存储中针对数据修复的动态节点选择方法及系统 - Google Patents

Abstract

本发明公开了分布式存储中针对数据修复的动态节点选择方法及系统，方法按如下步骤：(1)对节点的计算能力建模；(2)对节点负载变化的检测；(3)对节点计算能力的动态调整；(4)处理时延的计算；(5)传输时延的计算；(6)基于网络距离和负载均衡的节点选择。本发明提出的基于网络距离和负载均衡的节点选择方案，在存储节点计算能力异构的基础上考虑了存储节点的负载变化并动态调整节点的计算能力，其可以根据实际负载的变化选择不同的节点参与数据修复工作，实现了自适应节点选择，可以有效解决在实际存储系统中节点负载的突发情况对数据修复的影响，优化数据修复时延，合理规划节点负载。

Description

分布式存储中针对数据修复的动态节点选择方法及系统

技术领域

本发明属于云存储技术领域，具体是属于分布式存储数据修复技术领域，涉及一种自适应节点选择技术方案，其根据节点负载的变化动态调整节点实际的计算能力，综合网络距离和负载均衡选择最优供应节点参与数据修复工作。

背景技术

近年来，随着互联网的迅猛发展，数据呈现海量增长趋势，分布式存储系统因其可以对数据进行灵活、弹性的分块存储来保证数据的可靠性而被广泛使用。随着存储需求的不断增大，系统中的节点数量会随需求增多，节点可能发生失联造成存储的数据丢失，节点故障也不可避免。为了应对节点故障或失联导致的数据丢失问题，往往需要引入一定的冗余来保证数据的可靠性。

引入数据冗余的方式一般有两种：一是多副本方式，把原始数据复制成多份副本，并把它们存储在不同的节点上，当某个节点上的数据发生丢失时，读取其他节点上的副本，这种方法会增加存储成本，降低资源利用率。纠删码技术因其存储开销低的优势被广泛应用在分布式存储系统中，通过一定的编码规则对k个数据块编码产生m个冗余块，并分别存储在不同的节点上，当某个节点上的数据块丢失时，只需要收集任意k个节点的数据就能重建原始文件。但是，因为纠删码的编码性质，在数据修复过程中需要一些其他方面的额外开销，比如节点之间的网络通信、计算、磁盘I/O等资源开销，这些资源在异构网络环境中差异巨大，针对异构环境特点设计优化纠删码数据修复方法具有重要的实用价值。

现有纠删码修复时节点选择的方法包括：依据网络距离、可用带宽和节点的固定计算能力等，但都并没有考虑在实际存储系统中节点负载的动态变化对数据修复的影响。当一个节点的负载在一个时间段内突然增长，该节点的处理资源紧张，此时若选择该节点作为供应节点，则该节点没有足够的处理余量来响应数据修复请求，反而进一步加重节点的负载，消耗节点的计算能力，进而严重影响修复效率。因此，如何降低纠删码数据修复时所产生的额外开销对数据再生的影响仍是一个困难的问题。

发明内容

针对现有技术存在的上述问题，本发明围绕参与数据修复的节点选择策略展开研究，目的是在数据修复时提供一种自适应的节点选择方法，考虑节点负载变化对节点本身计算能力的影响，选择最优供应节点参与修复工作。

本发明包括根据负载动态调整节点计算能力的方法和基于网络距离和负载均衡的节点选择方法。

本发明首先对节点的计算能力进行建模，再通过对节点负载的检测动态调整节点的计算能力，从而自适应选择最优节点参与数据修复工作。

本发明具体采取如下技术方案：

分布式存储中针对数据修复的动态节点选择方法，其按如下步骤：

(1)对节点的计算能力建模；

(2)对节点负载变化的检测；

(3)对节点计算能力的动态调整；

(4)处理时延的计算；

(5)传输时延的计算；

(6)基于网络距离和负载均衡的节点选择。

优选的，步骤(1)对节点的计算能力建模；具体如下：

影响节点计算能力的主要因素包括：存储器存储容量和周期、磁盘I/O、CPU核数、CPU主频、数据块字节、CPU运算速度等。本步骤选取k个影响节点计算能力的因素，分别用x₁，x₂，x₃，…，x_k表示，考虑到每个因素对节点计算能力的影响效果不同，对选取的主要因素分配不同的权重c₁，c₂，c₃，…，c_k(c₁+c₂+c₃+…+c_k＝1)，影响节点计算能力较大的因素赋予较大的权重，影响节点计算能力较小的因素赋予较小的权重。对每个节点的计算能力可以表示为：

优选的，步骤(2)节点负载变化的检测；具体如下：

通过心跳检测机制定时向各个节点发送心跳包，获得此时刻所有节点的全局负载情况。设某一节点在当前周期的负载检测量为P_t2,在上一周期的载检测量为P_t1，考虑负载变化对节点计算能力的影响。负载相对变化可表示为：

优选的，步骤(3)节点计算能力的动态调整；具体如下：

由于纠删码冗余技术在存储数据块时随机选择存储节点，所以不同节点的存储负载并不均衡，导致某些节点可能在一定周期内的存储负载大于另外一些节点，而存储负载较大的节点参与数据修复的概率高于负载较小的节点，相应的修复处理负载也会增大，当其他节点需要进行修复时，负载较大的节点可能并不是最优的提供者候选节点。由此，本步骤将预设一个存储负载变化阈值Δ_preset和负载变化下限值Δ_lower，考虑负载变化量对节点计算能力的影响。

当负载相对变化Δ大于等于负载变化阈值Δ_preset时，表明在这个周期内节点的负载较大，变化量超过前一周期的负载，负载的增加会大大影响节点本身的处理能力，此时这个节点已不适合作为供应者候选节点参与数据的修复工作。若此时仍选择此节点作为供应节点参与数据修复，不仅会加重此节点的负载，也会影响节点的稳定性。对节点的计算能力进行更新，γ为负载相对变化大于等于负载变化阈值时设定的转换系数，如下式：

A‘＝A×γ

当负载相对变化Δ在负载变化阈值Δ_preset与负载变化下限值Δ_lower之间，表明在这个周期内节点的负载发生了一定量的增加，但未达到预设的负载变化临近值。节点负载在预设的负载变化之内变化，会对节点本身的计算能力产生一定影响，影响的程度取决于负载的变化量。对节点的计算能力进行更新，ω为Δ_lower≤Δ≤Δ_preset时设定的转换系数，如下式：

A‘＝A×(1-Δ)×ω

当负载相对变化Δ小于负载变化下限值Δ_lower，表明在这个周期内节点的负载量变小，这个节点有空余的计算能力，比较合适作为供应者候选节点。对节点的计算能力进行更新，

为Δ≤Δ_lower时设定的转换系数，如下式：

通过对负载变化量的检测，动态的调整节点的计算能力。

优选的，步骤(4)处理时延的计算；具体如下：

假设每个节点在修复数据所需的计算量是固定的，根据再生码的编码方式，设每个节点的存储量为α，那么节点对数据的处理时延可以表示为下式，δ为转换系数，

由上式可知，节点的计算能力越强，节点对数据的处理时延越短，反之节点对数据的处理时延越长。因此，在数据修复时，选择计算能力较强的节点，可以优化数据修复效率，减少修复时延，选择计算能力高的节点作为供应节点可以提高修复效率。

优选的，步骤(5)传输时延的计算；具体如下：

传输时延是指承载传输信号的电磁波在一定长度的信道上传播所需要的时间。传输时延可以用下式表示，T_ij表示数据在节点ij之间的传输时延，k为信道的长度，v为传输的速率，ξ为转换系数，

由上式可知，数据的传输时延与节点间信道的长度有关，信道越长，数据的传输时延越久。因此，在数据修复时，选择距离新生节点距离近的节点作为供应节点传输数据，可以减少修复时延，提高修复效率。

优选的，步骤(6)基于网络距离和负载均衡的节点选择；具体如下：

当节点i发生故障时，首先获得供应者候选节点在当前周期的负载P_t2以及前一周期的负载P_t1，通过步骤(2)、(3)完成对供应者候选节点计算能力的更新，根据步骤(4)、(5)获得节点对数据的处理时延和传输时延。

在节点选择时，考虑带宽异构和节点计算能力对数据修复时延的影响，选取处理数据时延及传输数据时延之和最短的节点，即修复所耗时最短的节点，利用上述方法选出的节点参与数据再生工作恢复出失效的数据。

本发明还公开了一种基于上述分布式存储中针对数据修复的动态节点选择方法的系统，其包括如下模块：

节点计算能力建模模块：用于对节点的计算能力建模；

节点负载变化检测模块：用于对节点负载变化进行检测；

节点计算能力调整模块：用于对节点计算能力进行动态调整；

处理时延计算模块：用于对处理时延进行计算；

传输时延计算模块：用于对传输时延进行计算；

节点选择模块：基于网络距离和负载均衡选择节点。

本发明提出的基于网络距离和负载均衡的节点选择方案，在存储节点计算能力异构的基础上考虑了存储节点的负载变化并动态调整节点的计算能力，其可以根据实际负载的变化选择不同的节点参与数据修复工作，实现了自适应节点选择，可以有效解决在实际存储系统中节点负载的突发情况对数据修复的影响，优化数据修复时延，合理规划节点负载。

附图说明

图1是网络结构拓扑示意图；

图2是节点负载变化情况图；

图3是基于本发明的星型修复模型示意图；

图4是基于本发明的树型修复模型示意图；

图5是基于本发明不同数据块大小下的修复时延对比图；

图6是分布式存储中针对数据修复的动态节点选择方法流程图；

图7是分布式存储中针对数据修复的动态节点选择系统框图。

具体实施方式

结合以下具体实施例和附图，对本发明进一步的详细说明。

如图6所示，分布式存储中针对数据修复的动态节点选择方法，其按如下步骤：

步骤(1)对节点的计算能力建模；具体如下：

影响节点计算能力的主要因素包括：存储器存储容量和周期、磁盘I/O、CPU核数、CPU主频、数据块字节、CPU运算速度等。本步骤选取k个影响节点计算能力的因素，分别用x₁，x₂，x₃，…，x_k表示，考虑到每个因素对节点计算能力的影响效果不同，对选取的主要因素分配不同的权重c₁，c₂，c₃，…，c_k(c₁+c₂+c₃+…+c_k＝1)，影响节点计算能力较大的因素赋予较大的权重，影响节点计算能力较小的因素赋予较小的权重。对每个节点的计算能力可以表示为：

步骤(2)节点负载变化的检测；具体如下：

通过心跳检测机制定时向各个节点发送心跳包，获得此时刻所有节点的全局负载情况。设某一节点在当前周期的负载检测量为P_t2,在上一周期的载检测量为P_t1，考虑负载变化对节点计算能力的影响。负载相对变化可表示为：

步骤(3)节点计算能力的动态调整；具体如下：

由于纠删码冗余技术在存储数据块时随机选择存储节点，所以不同节点的存储负载并不均衡，导致某些节点可能在一定周期内的存储负载大于另外一些节点，而存储负载较大的节点参与数据修复的概率高于负载较小的节点，相应的修复处理负载也会增大，当其他节点需要进行修复时，负载较大的节点可能并不是最优的提供者候选节点。由此，本步骤将预设一个存储负载变化阈值Δ_preset和负载变化下限值Δ_lower，考虑负载变化量对节点计算能力的影响。

当负载相对变化Δ大于等于负载变化阈值Δ_preset时，表明在这个周期内节点的负载较大，变化量超过前一周期的负载，负载的增加会大大影响节点本身的处理能力，此时这个节点已不适合作为供应者候选节点参与数据的修复工作。若此时仍选择此节点作为供应节点参与数据修复，不仅会加重此节点的负载，也会影响节点的稳定性。对节点的计算能力进行更新，γ为负载相对变化大于等于负载变化阈值时设定的转换系数，如下式：

A‘＝A×γ

当负载相对变化Δ在负载变化阈值Δ_preset与负载变化下限值Δ_lower之间，表明在这个周期内节点的负载发生了一定量的增加，但未达到预设的负载变化临近值。节点负载在预设的负载变化之内变化，会对节点本身的计算能力产生一定影响，影响的程度取决于负载的变化量。对节点的计算能力进行更新，ω为Δ_lower≤Δ≤Δ_preset时设定的转换系数，如下式：

A‘＝A×(1-Δ)×ω

当负载相对变化Δ小于负载变化下限值Δ_lower，表明在这个周期内节点的负载量变小，这个节点有空余的计算能力，比较合适作为供应者候选节点。对节点的计算能力进行更新，

为Δ≤Δ_lower时设定的转换系数，如下式：

通过对负载变化量的检测，动态的调整节点的计算能力。

步骤(4)处理时延的计算；具体如下：

假设每个节点在修复数据所需的计算量是固定的，根据再生码的编码方式，设每个节点的存储量为α，那么节点对数据的处理时延可以表示为下式，δ为转换系数，

由上式可知，节点的计算能力越强，节点对数据的处理时延越短，反之节点对数据的处理时延越长。因此，在数据修复时，选择计算能力较强的节点，可以优化数据修复效率，减少修复时延，选择计算能力高的节点作为供应节点可以提高修复效率。

步骤(5)传输时延的计算；具体如下：

传输时延是指承载传输信号的电磁波在一定长度的信道上传播所需要的时间。传输时延可以用下式表示，T_ij表示数据在节点ij之间的传输时延，k为信道的长度，v为传输的速率，ξ为转换系数，

由上式可知，数据的传输时延与节点间信道的长度有关，信道越长，数据的传输时延越久。因此，在数据修复时，选择距离新生节点距离近的节点作为供应节点传输数据，可以减少修复时延，提高修复效率。

步骤(6)基于网络距离和负载均衡的节点选择；具体如下：

当节点i发生故障时，首先获得供应者候选节点在当前周期的负载P_t2以及前一周期的负载P_t1，通过步骤(2)、(3)完成对供应者候选节点计算能力的更新，根据步骤(4)、(5)获得节点对数据的处理时延和传输时延。

在节点选择时，考虑带宽异构和节点计算能力对数据修复时延的影响，选取处理数据时延及传输数据时延之和最短的节点，即修复所耗时最短的节点，利用上述方法选出的节点参与数据再生工作恢复出失效的数据。

本实施例中，使用(8，5，3)纠删码，原文件经过再生码编码后得到8个数据块并存储在不同的网络节点上。当Node6数据发送丢失时，新生节点拥有任意3个数据块所存储的数据即可恢复丢失数据。

图1为基于本实施例的网络拓扑结构示意图，网络中存在9个有限节点，每个节点间皆可相互通信，其中Node8节点为新生节点，负责数据的再生工作。通过系统监测得到每个存储节点的磁盘I/O、CPU、内存、芯片性能参数值，并分配对应的权值，其权重分别为30％，25％，25％，20％，计算得到节点的计算能力。

同时模拟得到各存储节点之间的可用带宽，见表1,并计算节点间的传输时延。

表1节点间的传输时延

	Node1	Node2	Node3	Node4	Node5	Node6	Node7	Node8	Node9
										Node1	0	10.5071	10.4652	0.8485	1.1314	10.3846	10.3730	1.9799	0.5692
Node2	10.5071	0	0.2828	10.4038	10.3846	1.1314	1.4142	10.3730	9.2363
										Node3	10.4652	0.2828	0	10.3846	10.3730	0.8485	1.1314	10.3846	1.5381
Node4	0.8485	10.4038	10.3846	0	0.2828	10.3730	10.3846	1.1314	8.9543
										Node5	1.1314	10.3846	10.3730	0.2828	0	10.3846	10.4038	0.8485	1.6912
Node6	10.3846	1.1314	0.8485	10.3730	10.3846	0	0.2828	10.4652	10.9216
										Node7	10.3730	1.4142	1.1314	10.3846	10.4038	0.2828	0	10.5071	10.1546
Node8	1.9799	10.3730	10.3846	1.1314	0.8485	10.4652	10.5071	0	6.5023
										Node9	0.5692	9.2363	1.5381	8.9543	1.6912	10.9216	10.1546	6.5023	0

在t₁时刻下，系统中的Node9节点发生失联，通过心跳检测机制向各个节点发送心跳包，获得此时刻所有供应候选节点的全局负载情况，如图2。

本实施例中预设一个负载变化阈值Δ_preset＝1和负载变化下限值Δ_lower＝0，根据候选供应节点的负载相对变化对节点计算能力进行动态调整。

A₁‘＝A₂×γ＝11.9*0.1＝1.19

A₄‘＝A₄×γ＝6.8*0.1＝0.68

假设每个节点在修复数据所需的计算量是固定的，根据再生码的编码方式，每个节点的存储量为α，那么节点对数据的处理时延可以表示为：

在一个实施例中，α＝140mb。星型修复模型中，供应节点直接将本地数据发送给新生节点，新生节点接收完所有的数据之后对数据进行编码计算，恢复失效的数据，构成了以新生节点为中心，供应节点为分支的星型拓扑结构。基于本发明的星型修复模型，根据上述步骤获得各个供应候选节点的计算能力，计算对数据的处理时延，同时根据供应候选节点到新生节点的网络传输距离，计算候选供应节点到新生节点的传输时延，最终选择耗时最短的3个节点参与修复工作。

图2为基于本发明的星型修复模型示意图，基于网络距离和负载均衡选择最优供应节点的方法会优先选择Node5，Node3以及Node2作为供应节点，尽量避开负载变化较大的节点Node1和Node4，极大提高了修复速度。

树型修复模型的数据修复过程是依据每条边上的权值构造最优再生树。新生节点为根节点，供应节点将自己存储的数据块传输给其父节点，父节点接收到所有子节点的数据后先进行编码预处理，然后将编码后的结果继续传输给其父节点，直到根节点收到所需的数据，并对收到的数据进行线性组合恢复丢失的数据。该拓扑结构的形状像一棵倒置的树，顶端是树根，树根以下为分支。

图3为基于本发明的树型修复模型示意图，目标是使拓扑树的修复时间最短，具体思想是根据之前步骤获得各个供应候选节点的计算能力，计算对数据的处理时延，结合网络传输距离，依次遍历距修复路径集合传输和处理数据时延最短的节点，将选择的节点加入树型结构，直到选择3个节点加入树型结构。此方法会优先选择网络距离较短且有剩余计算能力的Node3作为Node2的子节点，Node2接收到Node3传输的数据块后进行编码预处理，Node8接收到Node2和Node5所传输的数据后进行数据再生工作，由此形成树型结构。

在其中一个实施例中，α＝240mb。在星型修复模型中，本实施例方法优先选择Node5，Node3以及Node2作为供应节点。在树型修复模型中，本实施例方法选择Node6，Node3以及Node2作为供应节点，Node6作为Node3的子节点向上传输数据，Node3作为Node2的子节点向上传输预处理后的数据，Node2接收完所有的数据后整合好传递给新生节点Node8完成数据再生工作。图5为基于本发明不同数据块大小下的修复时延对比图。

如图7所示，本实施例公开了一种基于上分布式存储中针对数据修复的动态节点选择方法的系统，其包括如下模块：

节点计算能力建模模块：用于对节点的计算能力建模；

节点负载变化检测模块：用于对节点负载变化进行检测；

节点计算能力调整模块：用于对节点计算能力进行动态调整；

处理时延计算模块：用于对处理时延进行计算；

传输时延计算模块：用于对传输时延进行计算；

节点选择模块：基于网络距离和负载均衡选择节点。

针对数据修复请求，本发明提出的技术方案可以根据节点的负载的变化自适应选择不同的节点参与数据再生工作，有效避开没有足够处理余量的节点，避免加重高处理量节点的负载。面对数据丢失的情况，本发明兼顾节点间的负载均衡，实现了节点的自适应选择，合理规划节点选择策略，提高了修复效率。

以上对本发明的具体实施例进行了描述。需要说明的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.分布式存储中针对数据修复的动态节点选择方法，其特征是按如下步骤：

(1)对节点的计算能力建模；

(2)对节点负载变化的检测；

(3)对节点计算能力的动态调整；

(4)处理时延的计算；

(5)传输时延的计算；

(6)基于网络距离和负载均衡的节点选择。

2.如权利要求1所述分布式存储中针对数据修复的动态节点选择方法，其特征是步骤(1)具体如下：

选取k个影响节点计算能力的因素，分别用x₁，x₂，x₃，…，x_k表示，对选取的主要因素分配不同的权重c₁，c₂，c₃，…，c_k，c₁+c₂+c₃+…+c_k＝1，影响节点计算能力较大的因素赋予较大的权重，影响节点计算能力较小的因素赋予较小的权重；对每个节点的计算能力表示为：

3.如权利要求2所述分布式存储中针对数据修复的动态节点选择方法，其特征是步骤(2)具体如下：

通过心跳检测机制定时向各个节点发送心跳包，获得此时刻所有节点的全局负载情况；设某一节点在当前周期的负载检测量为P_t2,在上一周期的载检测量为P_t1，考虑负载变化对节点计算能力的影响；负载相对变化表示为：

4.如权利要求3所述分布式存储中针对数据修复的动态节点选择方法，其特征是步骤(3)具体如下：

预设一个存储负载变化阈值Δ_preset和负载变化下限值Δ_lower，考虑负载变化量对节点计算能力的影响；当负载相对变化Δ大于等于负载变化阈值Δ_preset时，表明在这个周期内节点的负载较大，变化量超过前一周期的负载，负载的增加会影响节点本身的处理能力，此时这个节点已不适合作为供应者候选节点参与数据的修复工作；对节点的计算能力进行更新，γ为负载相对变化大于等于负载变化阈值时设定的转换系数，如下式：

A‘＝A×γ

当负载相对变化Δ在负载变化阈值Δ_preset与负载变化下限值Δ_lower之间，表明在这个周期内节点的负载发生了一定量的增加，但未达到预设的负载变化临近值；对节点的计算能力进行更新，ω为Δ_lower≤Δ≤Δ_preset时设定的转换系数，如下式：

A‘＝A×(1-Δ)×ω

当负载相对变化Δ小于负载变化下限值Δ_lower，表明在这个周期内节点的负载量变小，这个节点有空余的计算能力；对节点的计算能力进行更新，

为Δ≤Δ_lower时设定的转换系数，如下式：

通过对负载变化量的检测，动态的调整节点的计算能力。

5.如权利要求4所述分布式存储中针对数据修复的动态节点选择方法，其特征是步骤(4)具体如下：

假设每个节点在修复数据所需的计算量是固定的，根据再生码的编码方式，设每个节点的存储量为α，那么节点对数据的处理时延表示为，

其中，δ为转换系数，ms是毫秒。

6.如权利要求5所述分布式存储中针对数据修复的动态节点选择方法，其特征是步骤(5)具体如下：传输时延用下式表示，T_ij表示数据在节点ij之间的传输时延，k为信道的长度，v为传输的速率，ξ为转换系数，

7.如权利要求6所述分布式存储中针对数据修复的动态节点选择方法，其特征是步骤(6)具体如下：

当节点i发生故障时，首先获得供应者候选节点在当前周期的负载P_t2以及前一周期的负载P_t1，通过步骤(2)、(3)完成对供应者候选节点计算能力的更新，根据步骤(4)、(5)获得节点对数据的处理时延和传输时延；

在节点选择时，选取处理数据时延及传输数据时延之和最短的节点，即修复所耗时最短的节点。

8.一种基于权利要求1-7任一项所述分布式存储中针对数据修复的动态节点选择方法的系统，其特征是包括如下模块：

节点计算能力建模模块：用于对节点的计算能力建模；

节点负载变化检测模块：用于对节点负载变化进行检测；

节点计算能力调整模块：用于对节点计算能力进行动态调整；

处理时延计算模块：用于对处理时延进行计算；

传输时延计算模块：用于对传输时延进行计算；

节点选择模块：基于网络距离和负载均衡选择节点。

Images