CN106612322B - 云存储中一种存数据节点分布优化的数据恢复方法 - Google Patents

Abstract

云存储中一种存数据节点分布优化的数据恢复方法，提出了一种数据及数据副本在数据节点上局部最优分布的存储策略，主要是将数据对象映射到环形哈希数值空间中的数值作为计算中心，建立决策域；以负载率、相对负载热度、预计等待时间参数的权重作为决策准则指导建立决策分布，选择最佳的存储节点，其中包括建立有效的决策集合和决策集的扩展，数据变更后节点的增删处理。本发明降低了节点分布不均匀的概率。

Description

云存储中一种存数据节点分布优化的数据恢复方法

技术领域

本发明涉及云计算、云存储中数据安全和数据验证恢复领域。

背景技术

随着云技术的发展，企业和个人愈来愈倾向于将数据存储在云端，以便节省移动存储空间和方便随时随地访问；同时，数据也可在云端实现共享、方便他人下载。但是，由此也引起了数据的安全问题，数据存储在云端，脱离了数据所有者的控制，或因云服务商系统不稳定、云空间被恶意攻击，造成数据丢失和损坏。用户在不知情的情况下，或将因为数据不完整而造成各种损失；那么如何确定云端数据的完整性？数据在存储空间内被破坏后，数据不再完整，如何根据现有数据精确恢复被修改的部分？都是值得探讨的问题。然而当用户将数据存放在云存储中，他们最关心的是数据是否完整无误；如果出现故障，是否可以恢复其数据。

云存储中，数据块一般会有两个到三个数据块副本随机分布在数据节点上，但是由于分布的随机性，很大概率产生分布不均匀，产生副本均在一个机架的同一个节点上，或者都分布在异地机架的节点上，这种不均匀的分布容易出现数据节点损坏时副本数据也损坏的情况，或者是异地机架存储节点数据发送慢，严重影响数据的恢复。

发明内容

针对现有技术的上述不足，本发明提出了云存储中一种存数据节点分布优化的数据恢复方法。

为解决上述问题，本发明提出了以下技术方案：

提出了一种数据及数据副本在数据节点上局部最优分布的存储策略，主要是将数据对象映射到环形哈希数值空间中的数值作为计算中心，建立决策域；以负载率、相对负载热度、预计等待时间参数的权重作为决策准则指导建立决策分布，选择最佳的存储节点，其中包括建立有效的决策集合和决策集的扩展，数据变更后节点的增删处理。具体实施步骤如下：

步骤1：初始化系统，生成决策表。

步骤2：构造有效决策集。

步骤3：效决策集UH(o)的元素大于1时，进行优化，计算出最有的存储节点。

步骤4：数据存储。

步骤5：数据节点的增删。

本发明的有益效果是：本发明降低了节点分布不均匀的概率。

具体实施方式

步骤1：初始化系统，生成决策表

在数据存储的空间内，将所有用于存储的数据的存储节点映射到环形哈希数值空间，随机选择一个节点，顺时针找到第一个由存储节点映射到的数值作为计算中心，记为o；数值o对应的节点也用o来表示，从o开始，顺时针和逆时针找到相同个数的由存储节点映射二来的数值，所经过的节点个数为半径，记为r，某个数值从计算中心出发，顺时针和逆时针方向找到的第i个有存储节点映射到的数值称为数据到o的距离(distance，D)，则顺时针(clockwise，cw)距离记为D_cw(o)_i逆时针(anticlockwise，acw)距离记为D_acw(o)_i，他们对应的存储节点分别为：D_cwH(o)_i和D_acwH(o)_i.

D_cwH(o)＝{D_cwH(o)₁，D_cwH(o)₂，...，D_cwH(o)_r}

D_acwH(o)＝{D_acwH(o)_i，D_acwH(o)₂，...，D_acwH(o)_r}

所以，决策域DH(o)＝D_cwH(o)∪D_acwH(o)∪{o}，决策域中所有存储节点的状态信息(info)就称为计算中心o的决策表，用info(o)表示，节点的状态信息包括存储能力、当前负载、热度负载、热度处理能力、等。

步骤2：构造有效决策集

当目录节点接收到数据副本的存储请求时，按照步骤一生成对应的计算中心o，将数据信息和数据请求单位到各数据中心的网络信息发送给o，然后o构造半径为r的有效决策集UH(o)：

UH(o)＝{S|S∈DH(o)，S满足条件Δ}

条件Δ为：(1)有足够的空间存储存储数据副本。

(2)存储节点上该数据副本的数量小于等于0。

(3)改存储节点所在的存储机架上该数据副本的数量小于等于1。

(4)该存储节点等待请求存储的数量低于该节点的上限。

如果该有效决策集UH(o)是空集的时候，输出错误，表示不能进行存储，如果效决策集UH(o)只有一个元素的时候，该元素对应的存储节点N为最佳存储节点，如果效决策集UH(o)的元素不止一个时候，进行决策集的优化计算。

步骤3：效决策集UH(o)的元素大于1时，进行优化，计算出最有的存储节点

3.1对于效决策集UH(o)中的每一个元素对应的节点，计算其存储后负载率、相对热度负载、预计等待时间：

3.1.1存储后负载率

存储后负载率(load rate，Lr)是为了衡量存储后节点N的压力，表示当前数据副本M加载到节点N_i后N_i的负载率：

其中L(N_i)表示原来的存储量，L(M)表示存储数据副本M所需的存储空间的大小，S(N_i)表示节点的负载能力，Lr(N_i)表示存储后的负载率。

那么效决策集UH(o)中的总体负载率为：

3.1.2相对负载热度

相对负载热度(H)表示节点收到请求的总次数

H(N_i)＝N(N_i)+∑R(M)

N(N_i)表示N_i中的副本数量，ΣR(M)表示收到副本M请求的总数量。

那么效决策集UH(o)中的总体相对负载热度表示为：

H_(N_i)表示单位时间内请求处理的请求数的和。

3.1.3预计等待时间

预计等待时间T(N_i)用来预先估计存储请求等地的时间，

V(N_i，M)表示节点和数据之间的传输速度，T_p表示现有请求队列的完成时间，T_a表示数据M存储请求的到达时间，则有效决策集内的总体预计等待时间近似表示为：

3.2存储后负载率、相对热度负载、预计等待时间对有效决策集的影响权重分别用p、q、v三个参数来表示，权重的计算方法为：

p＝p₀+αLr_UH(o)

q＝q₀+βHU_H(o)

v＝v₀+γT_UH(o)

p₀、q₀、v₀为初始值，由云存状态信息决定；α、β、γ为权重参数

3.3建立对比矩阵，优化有效决策集中的存储节点，选择最佳的存储节点

依据N_i节点的存储后负载率、相对热度负载、预计等待时间的权重p、q、v，先建立一个一致性矩阵：

然后采用和法求A得单位特征向量W：

假设有效决策集UH(o)中，有m个节点(m>1)，那么

w₁＝{w₁₁，w₁₂，…w_1m}

w₂＝{w₂₁，w₂₂，…w_2m}

w₃＝{w₃₁，w₃₂，…w_3m}

在这m个节点中，存储节点N_i对目标的组合组合权重就可以表示为：

其中i≤m，那么在有效决策集UH(o)中，组合权重最小的节点即min(U_i)对应的节点就是最有的存储节点

步骤4：数据存储

选择好最有存储节点N后，将N发送到目录节点，并将数据M加入节点N的请求队列，并更新决策表。

步骤5：数据节点的增删

当发生数据的修改时，云存储系统就会动态地添加或删除存储节点。

5.1节点增加

存储节点S加入云存储系统中时，假设从S出发顺时针寻找到的第一个存储节点为o，更新o的决策域DH(o)中所有存储节点的决策表相应位置的信息。

5.2节点的删除

从o的决策域DH(o)中选择与o同机架的存储节点，如果不存在则选择所属机架与o所属机架最近的存储节点，将o上的数据块分散到这些节点上，并更新o的DH(o)中的所有存储节点的决策表相应位置的信息。

Claims (1)

1.云存储中一种存数据节点分布优化的数据恢复方法，其特征是，所述方法包括如下步骤：

步骤1：初始化系统，生成决策表；

步骤2：构造有效决策集；

步骤3：效决策集UH(o)的元素大于1时，进行优化，计算出最优的存储节点；

步骤4：数据存储：选择好最优存储节点N后，将N发送到目录节点，并将数据M加入节点N的请求队列，并更新决策表；

步骤5：数据节点的增删，

步骤1中的具体描述如下：

在数据存储的空间内，将所有用于存储的数据的存储节点映射到环形哈希数值空间，随机选择一个节点，顺时针找到第一个由存储节点映射到的数值作为计算中心，记为o；数值o对应的节点也用o来表示，从o开始，顺时针和逆时针找到相同个数的由存储节点映射二来的数值，所经过的节点个数为半径，记为r，某个数值从计算中心出发，顺时针和逆时针方向找到的第i个有存储节点映射到的数值称为数据到o的距离distance，D，则顺时针clockwise，cw距离记为D_cw(o)_i，逆时针anticlockwise，acw距离记为D_acw(o)_i，他们对应的存储节点分别为：D_cwH(o)_i和D_acwH(o)_i

D_cwH(o)＝{D_cwH(o)₁，D_cwH(o)₂，...，D_cwH(o)_r}

D_acwH(o)＝{D_acwH(o)_i，D_acwH(o)₂，...，D_acwH(o)_r}

所以，决策域DH(o)＝D_cwH(o)∪D_acwH(o)∪{o}，决策域中所有存储节点的状态信息info就称为计算中心o的决策表，用info(o)表示，节点的状态信息包括存储能力、当前负载、热度负载、热度处理能力，

步骤2的具体描述如下：

当目录节点接收到数据副本的存储请求时，按照步骤一生成对应的计算中心o，将数据信息和数据请求单位到各数据中心的网络信息发送给o，然后o构造半径为r的有效决策为UH(o)：

UH(o)＝{S|S∈DH(o)，S满足条件Δ}

条件Δ为：1，有足够的空间存储数据副本；

2，存储节点上该数据副本的数量小于等于0；

3，改存储节点所在的存储机架上该数据副本的数量小于等于1；

4，该存储节点等待请求存储的数量低于该节点的上限；

如果该有效决策集UH(o)是空集的时候，输出错误，表示不能进行存储，如果效决策集UH(o)只有一个元素的时候，该元素对应的存储节点N为最佳存储节点，如果效决策集UH(o)的元素不止一个时候，进行决策集的优化计算，

步骤3中的具体计算过程如下：

3.1对于效决策集UH(o)中的每一个元素对应的节点，计算其存储后负载率、相对热度负载、预计等待时间：

3.1.1存储后负载率

存储后负载率load rate，Lr是为了衡量存储后节点N的压力，表示当前数据副本M加载到节点N_i后N_i的负载率：

其中L(N_i)表示原来的存储量，L(M)表示存储数据副本M所需的存储空间的大小，S(N_i)表示节点的负载能力，Lr(N_i)表示存储后的负载率那么效决策集UH(o)中的总体负载率为：

3.1.2相对负载热度

相对负载热度(H)表示节点收到请求的总次数：

N(N_i)H(N_i)＝N(N_i)+∑R(M)

表示N_i中的副本数量，∑R(M)表示收到副本M请求的总数量，那么效决策集UH(o)中的总体相对负载热度表示为：

H_{_}(N_i)表示单位时间内请求处理的请求数的和，

3.1.3预计等待时间

预计等待时间T(N_i)用来预先估计存储请求等待的时间，

表示节点和数据之间的传输速度，T_p表示现有请求队列的完成时间，T_a表示数据M存储请求的到达时间，则有效决策集内的总体预计等待时间表示为：

3.2存储后负载率、相对热度负载、预计等待时间对有效决策集的影响权重分别用p、q、v三个参数来表示，权重的计算方法为：

p＝p₀+αLr_UH(o)

q＝q₀+βH_UH(o)

v＝v₀+γT_UH(o)

p₀、q₀、v₀为初始值，由云存状态信息决定；α、β、γ为权重参数，

3.3建立对比矩阵，优化有效决策集中的存储节点，选择最佳的存储节点，

依据N_i节点的存储后负载率、相对热度负载、预计等待时间的权重p、q、v，先建立一个一致性矩阵：

然后采用和法求A得单位特征向量W：

假设有效决策集UH(o)中，有m个节点(m＞1)，那么

w₁＝{w₁₁，w₁₂，...w_1m}

w₂＝{w₂₁，w₂₂，...w_2m}

w₃＝{w₃₁，w₃₂，...w_3m}

在这m个节点中，存储节点N_i对目标的组合组合权重就可以表示为：

其中i≤m，那么在有效决策集UH(o)中，组合权重最小的节点即min(U_i)对应的节点就是最优的存储节点。