CN103262042A

CN103262042A - 一种分布式存储数据恢复方法、装置及系统

Info

Publication number: CN103262042A
Application number: CN2011800030868A
Authority: CN
Inventors: 王志用; 杨德平
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Cloud Computing Technologies Co Ltd
Priority date: 2011-12-19
Filing date: 2011-12-19
Publication date: 2013-08-21
Anticipated expiration: 2031-12-19
Also published as: CN103262042B; WO2013091162A1

Abstract

本发明实施例提供了一种分布式存储数据恢复方法、装置和系统。其中方法包括：本地节点接收目标节点根据本地节点的数据操作序列集合的版本值发送的数据操作序列集合列表；接收所述目标节点发送的所述数据操作序列集合列表对应的数据；根据所述数据操作序列集合列表以及所述数据操作序列集合列表对应的数据，更新所述本地节点的数据。本发明实施例提供的分布式存储数据恢复方法、装置和系统可以通过发送本地节点数据操作序列集合的版本号，进行数据恢复，减少了数据传输量，节约了网络带宽。

Description

一种分布式存储数据恢复方法、装置及系统

技术领域

本发明属于信息技术领域，特别涉及一种分布式存储数据恢复方法、装置及系统。

背景技术

随着信息技术的发展，海量数据处理给传统的数据处理方式带来了挑战。因此各种大型分布式集群系统应运而生。分布式集群系统由大量传统节点构成，通过将处理能力分担到各个节点的方式，对外呈现整体强大的处理能力。各节点之间需要通过共享数据进行协作，以完成处理任务。

分布式块存储系统是一种以数据块为存储单位、满足海量存储需求的分布式存储系统，对外呈现一种强大的存储能力。分布式存储系统中节点发生故障，故障节点回归集群如何快速进行数据恢复，是提供高质量服务的关键。

现有技术中 ,节点维护一个快照文件，快照文件存储该节点所有数据备份。进行数据恢复时，故障节点向提供数据恢复的节点发送快照文件，提供恢复数据的节点接收故障节点发送的快照文件，并与其存储的快照文件比较，然后向故障节点返回差异的那部分数据。本发明人发现由于快照文件存放的是数据备份，进行数据恢复时通过发送故障节点的数据备份与提供恢复数据的节点的数据备份进行比较，需要传输的数据量非常巨大，严重浪费网络带宽。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明实施例提供一种分布式存储数据恢复方法，包括：

本地节点接收目标节点根据本地节点的数据操作序列集合的版本值发送的数据操作序列集合列表；

接收所述目标节点发送的所述数据操作序列集合列表对应的数据；根据所述数据操作序列集合列表以及所述数据操作序列集合列表对应的数据，更新所述本地节点的数据。

本发明实施例还提供一种分布式存储数据恢复方法，包括：

接收本地节点的数据操作序列集合的版本值；

根据所述版本值，向所述本地节点发送数据操作序列集合列表，根据所述数据操作序列集合列表，向所述本地节点发送所述数据操作序列集合列表对应的数据。

本发明实施例又提供一种节点，包括：

接收单元，用于接收目标节点根据所述节点的数据操作序列集合的版本值发送的数据操作序列集合列表，以及用于接收所述目标节点发送的所述数据操作序列集合列表对应的数据；

更新单元，根据所述数据操作序列集合列表以及所述数据操作序列集合列表对应的数据，更新所述节点的数据。

本发明实施例还提供一种节点，包括：

接收单元，用于接收本地节点数据操作序列集合的版本值；

发送单元 , 用于根据所述版本值，向所述本地节点发送数据操作序列集合列表和所述数据操作序列集合列表对应的数据。

本发明实施例再提供一种分布式存储数据恢复系统，包括：

本地节点，用于接收目标节点根据所述本地节点的数据操作序列集合的版本值发送的数据操作序列集合列表，以及用于接收所述目标节点发送的所述数据操作序列集合列表对应的数据，还用于根据所述数据操作序列集合列表以及所述数据操作序列集合列表对应的数据，更新所述节点的数据；

所述目标节点，用于接收所述本地节点的数据操作序列集合的版本值，根据所述版本值，向所述本地节点发送数据操作序列集合列表，和所述数据操作序列集合列表对应的数据。

本发明实施例提供的分布式存储数据恢复方法、设备和系统，通过接收目标节点根据本地节点的数据操作序列集合的版本值发送的数据操作序列集合列表，来更新本地节点的数据，从而在进行数据恢复时，减少了数据传输量，节约了网络带宽。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所使用的附图作一简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以才艮据这些附图获得其他的附图。

图 1为数据操作序列与数据操作序列集合示意图；

图 1为操作记录文件生成流程示意图；

图 3为数据操作序列合并流程示意图；

图 4为本发明第一实施例流程示意图；

图 5为本发明第二实施例流程示意图；

图 6为本发明第三实施例流程示意图；

图 7为本发明第四实施例流程示意图；

图 8为本发明第五实施例流程示意图；

图 9为本发明第六实施例节点结构示意图；

图 10为本发明第七实施例节点结构示意图；

图 11为本发明第八实施例节点结构示意图；

图 12为本发明第九实施例节点结构示意图；

图 1 3为本发明第十实施例节点结构示意图；

图 14为本发明第十一实施例节点结构示意图；图 15为本发明第十二实施例节点结构示意图；

图 16为本发明第十三实施例系统结构示意图；

具体实施例

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施方式的不同而有所改变。

本实施例中的本地节点指需要进行数据恢复的节点，也可以称为故障节点；目标节点指提供恢复数据的节点，也可以称为恢复数据目标节点。

在分布式存储系统中，相同的数据需要存储在不同的节点上，形成备份。存在备份关系的节点上对应的存储数据应该保持一致。如图 1所示，当对节点上数据进行写入数据操作时，会产生一条对应的数据操作序列，用来记录对该数据的一次写操作。该数据操作序列用 obj-id: 〈off set, s ize〉表示，其中 obj-id 是数据标识，用来表示一种类型的数据。 off set表示该条数据操作序列的初始值， s ize表示数据操作序列相对初始值的偏移量。数据操作序列记录在节点緩存中，当节点状态变化时，将緩存中的数据操作序列刷新到操作记录文件中。操作记录文件，可以包括但不限于 check-point文件。一次刷新到操作记录文件中的数据操作序列称为一个数据操作序列集合，每个数据操作序列集合有一个版本号。一个数据操作序列集合包含一个版本值、以及一行或多行数据操作序列。其中数据操作序列集合版本值为一个单调递增的非负整数。当然，也可以使用其他能够表示顺序关系的符号。在操作记录文件中，数据操作序列集合按照版本值顺序存储，形成数据操作序列集合列表。一个数据操作序列集合列表包含一个或多个数据操作序列集合。

节点中除了包括操作记录文件外，还可以包括 log数据操作序列列表。 log 数据操作序列列表用来存储数据操作序列集合当前版本期间所有数据操作序列。 log数据操作序列列表由数据操作序列集合当前版本期间生成的所有数据操作序列集合组成。

本发明所有实施例中的数据操作序列只记录节点写入数据的操作 ,数据操作序列不包括写入的数据本身。

如图 2所示为操作记录文件的更新流程图，操作记录文件，可以包括但不限于 check-point文件，具体包括如下步骤：

步骤 201 : 节点启动，緩存初始化数据操作序列，读取节点数据操作序列集合的当前版本值 V。

步骤 202:设置工作变量 V'的值为节点数据操作序列集合的当前版本值 V。步骤 203: 设置 log数据操作序列列表的数据操作序列的初始值为 0。步骤 204: 从 log数据操作序列列表的数据操作序列初始值处读取一条数据操作序列，该数据操作序列长度记为 len。

步骤 205: 判断读取的数据操作序列是否到达数据末尾。

如果此次读取完该条数据操作序列到达数据末尾，则 log数据操作序列列表的数据操作序列的初始值中的数据已经读取完毕，进入步骤 206a。如果此次读取该条数据操作序列没有成功或者没有到达数据末尾，则进入步骤 206b。

步骤 206a: 判断工作变量 V'是否与数据操作序列集合当前版本值 V相等。如果工作变量 V'与数据操作序列集合当前的版本值相等则代表节点状态没有发生变化，进入步骤 209a进入睡眠等待。如果工作变量 V，与当前数据操作序列集合的版本值 V不相等，则说明节点状态发生变化，数据操作序列集合的版本值也发生变化，则将执行步骤 209b。

步骤 206b: 判断数据标识是否已经存在緩存中。

判断是否已经在緩存中存在相同数据标识的数据操作序列，如果在緩存中存在相同标识的数据操作序列，则进入步骤 207a进行向量合并操作，如果在緩存中不存在相同数据标识的数据操作序列，则进入步骤 207b将该条数据操作序列添加到緩存。

步骤 207a: 数据操作序列进行向量合并。

将该条新的数据操作序列与緩存中已经存在的具有相同数据标识的数据操作序列进行向量合并得到新的序列，并更新緩存中原有的数据操作序列。

步骤 207b: 添加数据操作序列到緩存。

将新读取的该条数据操作序列原封不动地添加到緩存。

步骤 208: log数据操作序列列表的数据操作序列的初始值往后移 len长度。

初始值往后移 len长度，以跳过刚读取的数据操作序列移动到新的数据操作序列开始，返回步骤 204读取下一条数据操作序列。

步骤 209a: 进入睡眠等待。

睡眠等待 T时间，然后进入步骤 204将最近 T时间内的数据操作序列合并。其中时间 T为可以才艮据系统状态自行设定的一个时间，作为定时判断刷新数据操作序列集合的时间值。

步骤 209b: 緩存中合并的数据操作序列结果刷到操作记录文件。

节点状态发生变化，导致数据操作序列集合版本值 V增加，将緩存中合并的数据操作序列集合刷新到操作记录文件。

步骤 210: 清空緩存与 log数据操作序列列表。

清空緩存与 log文件，重新执行步骤 202。

清空緩存用于新的数据操作序列存储与向量合并，建立新的 log数据操作序列列表存储所有数据操作序列，删除旧的 log数据操作序列列表，进入步骤 202开始新的数据操作序列合并操作。

由上面的操作记录文件生成流程可知，操作记录文件中的数据操作序列集合是节点状态发生变化时从緩存中刷新到操作记录文件中的。在数据操作序列集合当前版本中，因为当前节点状态还没有发生变化，合并的数据操作序列在緩存中还没有刷新到操作记录文件中，因此操作记录文件中缺少当前版本的数据操作序列集合。而 log数据操作序列列表可以记录当前版本下所有数据操作序列，并且对于相同数据标识的数据操作序列不进行向量合并。这样在操作记录文件缺少当前版本数据操作序列集合时，可以从 log数据操作序列列表中查找当数据操作序列集合当前版本的所有数据操作序列。

数据操作序列中，将具有相同数据标识的数据操作序列进行向量合并 ,操作如图 3所示，具体包括以下步骤：

步骤 301 : 待合并数据操作序列。

步骤 302: 判断待合并数据操作序列与已有操作序列是否有重叠区间。将待合并的数据操作序列与已经合并数据操作序列比较，若有重叠则进入步骤 303a做向量合并操作，否则进入步骤 303b将其按照数据操作序列的初始值大小顺序插入已有空间中。

步骤 303a: 将已有数据操作序列与待合并数据操作序列有重叠的区间进行向量合并。

将已合并数据操作序列中所有与待合并数据操作序列重叠的部分进行合并，如，已经存在数据操作序列 A: <1, 5> , 等合并数据操作序列为 A: <2, 6>, 已经存在的数据操作序列 A: <1, 5>与待合并数据操作序列 A: <2, 6>有重叠区间，合并后为 A: <1, 7>。

步骤 303b: 将待合并数据操作序列插入到已有数据操作序列中。

将待合并数据操作序列插入已经数据操作序列中，插入原则是保证插入后所有数据操作序列以初始值严格递增。如已经存在的数据操作序列为 A: <1 , 4>, 待合并数据操作序列为 A: <6, 3>,两条数据操作序列之间没有重叠，按照数据操作序列初始值严格递增的原则，表示为 A: <1, 4X6, 3>。

步骤 304: 合并完成。本发明实施例给出基于操作记录文件存储当前版本以前的所有数据操作序列集合 (不含数据 )与 log文件存储当前版本数据操作序列集合时的所有数据操作序列，来进行数据恢复。操作记录文件存储数据操作序列集合当前版本以前的所有版本的数据操作序列集合，其中每个数据操作序列集合中的具有相同数据标识的数据操作序列之间如果有重叠区间，则进行向量合并。 log数据操作序列列表存储当前数据操作序列集合版本值时节点上所有数据操作序列，并且其中具有相同数据标识的数据操作序列不进行向量合并。

当分布式存储系统中的某个节点发生故障，其他存储相同数据备份节点仍然在正常工作。由于存储相同数据备份的某个节点发生故障，发生节点状态变化，将导致存储相同数据备份的节点将节点緩存中存储的当前版本的数据操作序列集合刷新到所在节点的操作记录文件中，同时緩存用来存储新的版本值递增后的数据操作序列集合。由于发生故障的节点在故障恢复之前不能进行数据操作。故障恢复后的本地节点，进行数据恢复时，只需要目标节点将大于本地节点操作记录文件中的当前数据操作序列集合版本值的与本地节点相关数据操作序列集合组成的数据操作序列集合列表发送到本地节点，同时将发送到本地节点的数据操作序列集合列表对应的数据发送过来，并将数据更新到本地节点，就可以将操作记录文件对应的数据恢复。同时为了全部恢复数据，再将目标节点 log数据操作序列组成的 log数据操作序列列表发送到本地节点，同时将 log数据操作序列列表对应的数据发送到本地节点，本地节点更新 log 数据操作序列列表对应的数据，即可更新全部数据，因此节点上存储有操作记录文件， log数据操作序列列表和数据。操作记录文件存储数据操作序列集合当前版本以前的所有版本的数据操作操作序列集合组成的数据操作序列集合列表，这些数据操作序列集合中的数据操作序列与数据操作序列集合当前版本之前写入的数据相对应，记录了每一次数据写入操作。 log数据操作序列列表存储数据操作序列集合当前版本期间所有的数据操作序列，这些数据操作序列与数据操作序列集合当前版本期间写入的数据相对应，记录了每一次数据写入操作。

本发明第一实施例提供了一种分布式存储数据恢复方法，如图 4所示，包括：

步骤 401 : 本地节点接收目标节点根据本地节点的数据操作序列集合的版本值发送的数据操作序列集合列表。

可选地 ,所述本地节点的数据操作序列集合的版本值为所述本地节点向所述目标节点发送的。

可选地，所述本地节点的数据操作序列集合的版本值也可以由主控节点向所述目标节点发送。

步骤 402: 接收所述目标节点发送的所述数据操作序列集合列表对应的数据。

可选地，所述本地节点接收目标节点根据本地节点数据操作序列集合的版本值发送的数据操作序列集合列表之后，所述方法还包括：所述本地节点对所述数据操作序列集合列表进行向量合并操作，并发送所述向量合并操作后的数据操作序列集合列表给所述目标节点；

则所述接收所述目标节点发送的所述数据操作序列集合列表对应的数据具体为：接收所述目标节点发送的所述向量合并操作后的数据操作序列集合列表对应的数据。

可选地，所述本地节点接收目标节点根据本地节点数据操作序列集合的版本值发送的数据操作序列集合列表之后，所述方法还包括：

所述本地节点对所述数据操作序列集合列表进行随机输入输出 ( Input/Output, 以下简称 10 )合并为顺序 10的操作，并发送所述进行随机 10合并为顺序 10操作后的数据操作序列集合列表给所述目标节点；

则所述接收所述目标节点发送的所述数据操作序列集合列表对应的数据据操作序列集合列表对应的数据。

具体地，当所述数据操作序列集合列表中，具有相同标识的数据操作序列之间空洞值与合并序列跨越的连续空间大小的比值小于设定百分比，或者具有相同标识的数据操作序列之间空洞值小于设定的阔值，则对所述数据操作序列集合列表进行所述随机 10合并为顺序 10的操作。

可选地，接收所述目标节点发送的所述数据操作序列集合列表对应的数据具体为：接收所述目标节点发送的所述目标节点对所述数据操作序列集合列表进行向量合并操作后的数据操作序列集合列表对应的数据。

可选地，接收所述目标节点发送的所述数据操作序列集合列表对应的数据具体为：接收所述目标节点发送的所述目标节点对所述数据操作序列集合列表进行随机 10合并为顺序 10操作后的数据操作序列集合列表对应的数据。步骤 403: 根据所述数据操作序列集合列表以及所述数据操作序列集合列表对应的数据，更新所述本地节点的数据。

可选地，所述本地节点将接收的数据操作序列集合列表更新到所述本地节点的操作记录文件。

可选地，还包括：

所述本地节点接收所述目标节点发送的 log操作序列列表；

接收所述目标节点发送的所述 log操作序列列表对应的数据；

根据所述 log操作序列列表和所述 log操作序列列表对应的数据，更新所述本地节点的数据。

本发明第一实施例提供的分布式存储数据恢复方法，通过向目标节点发送本地节点的数据操作序列集合的版本值，接收目标节点根据本地节点的数据操作序列集合的版本值发送的数据操作序列集合列表，来更新本地节点的数据，从而减少了数据恢复过程中的数据传输量，节约了网络带宽。本发明第二实施例提供了一种分布式存储数据恢复方法，如图 5所示，具体包括：

步骤 501 : 接收本地节点的数据操作序列集合的版本值。

可以由目标节点接收本地节点的数据操作序列集合的版本值。

具体地，该目标节点接收的本地节点数据操作序列集合当前版本值可以由本地节点发送。

具体地，该目标节点接收的本地节点数据操作序列集合当前版本值也可以由主控节点发送。

步骤 502 :根据所述版本值，向所述本地节点发送数据操作序列集合列表。可选地，查找目标节点的操作记录文件中版本值大于所述本地节点的数据操作序列集合的版本值的数据操作序列集合，并选择与所述本地节点相关的数据操作序列集合生成所述数据操作序列集合列表；

向所述本地节点发送所述数据操作序列集合列表。

具体地，利用分布式哈希表架构下的哈希算法或元数据服务架构中的分配表算法，选择与所述本地节点相关的数据操作序列集合。

步骤 503: 根据所述数据操作序列集合列表，向所述本地节点发送所述数据操作序列集合列表对应的数据。

根据所述数据操作序列集合列表，向所述本地节点发送所述数据操作序列集合列表对应的数据之前，所述方法还包括：将所述数据操作序列集合列表进行向量合并操作；

则向所述本地节点发送所述数据操作序列集合列表对应的数据具体为：向所述本地节点发送所述向量合并操作后的数据操作序列集合列表对应的数据。

根据所述数据操作序列集合列表，向所述本地节点发送所述数据操作序列集合列表对应的数据之前，所述方法还包括：将所述数据操作序列集合列表进行随机 10合并为顺序 10的操作；则向所述本地节点发送所述数据操作序列集合列表对应的数据具体为：向表对应的数据。

可选地，根据所述数据操作序列集合列表，向所述本地节点发送所述数据操作序列集合列表对应的数据之前，还包括：接收所述本地节点发送的将所述数据操作序列集合列表进行向量合并操作后的数据操作序列集合列表；

可选地，根据所述数据操作序列集合列表，向所述本地节点发送所述数据操作序列集合列表对应的数据之前，所述方法还包括：接收所述本地节点发送的将所述数据操作序列集合列表进行随机 10合并顺序 10操作后的数据操作序列集合列表；

则向所述本地节点发送所述数据操作序列集合列表对应的数据具体为：向所述本地节点发送所述随机 10合并顺序 10操作后的数据操作序列集合列表对应的数据。

可选地，还可以包括接收本地节点的 log数据操作序列请求；

根据所述 log数据操作序列请求，向所述本地节点发送 log数据操作序列列表，

根据所述 log数据操作序列列表，向所述本地节点发送所述 log数据操作序列列表对应的数据。

本发明第二实施例提供的分布式存储数据恢复方法，通过接收本地节点的数据操作序列集合的版本值，发送数据操作序列集合列表，并根据数据操作序列集合列表发送数据操作序列集合列表对应的数据，来更新本地节点的数据，从而减少了数据恢复过程中的数据传输量，节约了网络带宽。

本发明第三实施例提供了一种分布式存储数据恢复方法，如图 6所示，具体包括以下步骤：

步骤 601 : 开始恢复数据。

本地节点故障恢复后，开始数据恢复进程。当本地节点发生故障后，其他存储相同数据备份的节点仍然正常工作，进行数据存储操作。当本地节点在故障恢复后，需要与其它节点上存储的数据备份保持一致，因此需要恢复本地节点上故障后未能存储的数据。

步骤 602: 发送数据操作序列集合当前版本值到目标节点。

本地节点读取故障前操作记录文件中存储的数据操作序列集合的当前版本值，发送该当前版本值到目标节点。当本地节点发生故障后，节点状态发生变化，存储相同数据备份的其他节点上的数据操作序列集合的版本值会递增。因此，需要将本地节点操作记录文件中数据操作序列集合当前版本值发送到目标节点，从而找出故障期间目标节点增加的数据操作序列集合。本步骤中，该目标节点接收的本地节点数据操作序列集合当前版本值也可以由主控节点发送。

步骤 603: 接收本地节点的数据操作序列集合的版本值并查找操作记录文件中版本值大于本地节点版本值的数据操作序列集合。

目标节点从目标节点操作记录文件查找出版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值的所有数据操作序列集合。在本地节点故障期间，存储相同数据备份的其他节点还有可能再发生状态变化，因此需要在目标节点操作记录文件中查找版本值大于本地节点操作记录文件中的数据操作序列集合的当前版本值的所有数据操作序列集合。这些版本值大于本地节点操作记录文件中的数据操作序列集合的当前版本值的数据操作序列集合记录的是本地节点故障后对数据备份进行的所有写操作。

步骤 604: 生成与本地节点相关的数据操作序列集合列表。

在目标节点操作记录文件中存储的版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值的数据操作序列集合是目标节点上存储的所有数据对应的数据操作序列集合，因此存在与本地节点不相关的数据，意味着也存储与本地节点不相关的数据操作序列。因此，在目标节点生成版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值的数据操作序列集合列表后，需要根据数据放置算法算出版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值的数据操作序列集合列表的数据操作序列的数据标识是否属于本地节点，从而将不属于本地节点上的数据操作序列从版本值大于本地节点数据操作序列集合当前版本值的数据操作序列集合列表的数据操作序列集合中删除。常用的数据放置算法包括使用分布式哈希表架构下的分布式哈希表算法或元数据服务架构中的分配表算法，根据数据操作序列的数据标识算出版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值的数据操作序列集合列表中属于本地节点上的数据操作序列集合，生成与本地节点相关的数据操作序列集合列表。

步骤 605: 发送与本地节点相关的数据操作序列集合列表。

为了使本地节点恢复故障期间未能存储的数据，首先需要获得本地节点故障期间目标节点产生的数据操作序列，就是本发明实施例中提到的版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值的数据操作序列集合列表中的数据操作序列，用这部分操作序列来恢复对应的数据。

步骤 606: 本地节点接收本地节点相关的数据操作序列集合列表。

目标节点发送在本地节点故障期间目标节点产生的数据操作序列集合列表，本地节点接收版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值的数据操作序列集合列表，用来更新与接收版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值的数据操作序列集合列表对应的数据。因为数据操作序列集合当前版本值的数据操作序列集合列表中的每一条数据操作序列记录了一次数据写入操作，因此在恢复数据时，需要按照对应的数据操作序列更新与数据操作序列记录对应的数据。可以将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表存储在本地节点的操作记录文件中，并且该版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表是未经向量合并和 /或将随机合并为顺序 10处理的。将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表存储在本地节点的操作记录文件中是可选的，不是本发明实施例的必要步骤。

步骤 607: 查找生成版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表对应的数据。

目标节点根据生成版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表读取对应的数据。将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表发送到目标节点后，还需要将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表对应的数据发送到本地节点。本实施例中，该版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表对应的数据根据该数据操作序列集合列表中的数据操作序列逐一查找读取对应的数据生成的。

步骤 607在步骤 604后执行，可以与步骤 605同时执行，也可以在步骤 605之后执行。

步骤 608: 目标节点发送本地节点相关的数据操作序列集合列表对应的数据。

步骤 609: 接收数据操作序列集合列表对应的数据。

本地节点接收版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表对应的数据。

步骤 610: 更新数据。

根据版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表和该数据操作序列集合列表对应的数据更新本地节点的数据。

本地节点接收版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表对应的数据后，根据版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表，将数据更新到本地节点。

下面为本发明实施例可选步骤（图 6未示出）：

步骤 611 : 发送 1 og数据操作序列请求。

由于本地节点在进行数据恢复时，目标节点中操作记录文件中记录的数据操作序列集合是目标节点数据操作序列集合当前版本之前的所有数据操作序列集合，而目标节点当前版本的数据操作序列集合在节点緩存中，没有刷新到目标节点的操作记录文件中，因此，为了恢复全部数据，还需要将目标节点当前版本的数据操作序列集合对应的数据恢复到本地节点。由于目标节点当前版本的数据操作序列集合存储在緩存中，在节点状态发生变化之前不能刷新到目标节点操作记录文件中，现在是不可读取的。所以需要目标节点的 log数据操作序列 ,用目标节点的 log数据操作序列对应的数据进行数据恢复。本步骤中，该本地节点的 log数据操作序列请求也可以由主控节点控制发送。

步骤 612: 目标节点接收 log数据操作序列请求并查找生成与本地节点相关的 log数据操作序列列表。

由于目标节点上存储的 log数据操作序列列表是目标节点数据操作序列集合当前版本期间的所有数据操作序列，因此需要根据本地节点发送的 log 数据操作序列请求将目标节点与本地节点相关的 1 og数据操作序列列表发送到本地节点。选择与本地节点相关的 1 og数据操作序列列表的方法同步骤 604。步骤 613: 目标节点发送 log数据操作序列列表。

步骤 614: 本地节点接收并更新 log数据操作序列列表。

本地节点接收目标节点发送的 log数据操作序列列表后，更新本地 log 数据操作序列。

步骤 615:查找生成与本地节点相关的 log数据操作序列列表对应的数据。为了恢复与本地节点相关的 log数据操作序列列表对应的数据，目标节点根据与本地节点相关的 log数据操作序列表对应的数据操作序列逐一查找读取对应的数据。

步骤 616: 目标节点发送 log数据操作序列列表对应的数据。

步骤 615可以在步骤 612之后执行，可以与步骤 613同时执行，也可以在步骤 613之后执行。

步骤 617: 本地节点接收 log数据操作序列列表对应的数据。

步骤 618: 本地节点根据 log操作序列列表及 log操作序列列表对应的数据更新本地节点数据。

本发明实施例通过向目标节点发送本地节点的数据操作序列集合的当前版本值，接收目标节点根据本地节点的数据操作序列集合的版本值发送的数据操作序列集合列表，来进行数据恢复，减少了数据传输量，节约了网络带宽。

本发明第四实施例提供了一种分布式存储数据恢复方法，如图 7所示，具体包括：

步骤 701至步骤 706同本发明第三实施例步骤 601至步骤 606 ,不再赘述。步骤 707: 本地节点将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表进行向量合并。

为了减少需要恢复的数据的传输量，在将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表之后，本地节点对接收到的版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表进行向量合并。具体操作方法为版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表中不论数据操作序列集合的版本值是否相同，将数据标识相同的数据操作序列进行向量合并，合并的原则是将所有区间有重叠的部分进行合并。如两个数据标识均为

0x123的数据操作序列： 0x123： < 0, 1024〉〈 2000, 1024〉与 0x123: 〈 500, 4096〉，则经过合并后得到的序列为 0x123: 〈 0, 4596〉。又如三个数据标识均为 0x321的数据操作序列 0x321: 〈0, 512〉〈 1024, 1024〉, 0x321：〈 1500, 2000〉, 0x321：〈 4096, 10240), 合并后的操作序列为 0x321：〈0, 512> < 1024, 2476〉〈 4096, 10240〉。

步骤 708: 将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表随机 10合并为顺序 10。

对版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表用统计算法来评估其随机分布性，将随机 10合并为顺序 10, 以减少节点和网络开销，获得最佳恢复性能。统计算法有多种，常见的统计算法是统计数据操作序列集合列表中数据操作序列中的空洞（具有相同数据标识的数据操作序列没有重复的那些空间）占用空间，然后与合并序列跨越的连续空间大小比较，算出百分比值，如果百分比值小于系统设置的值，则可以将这些具有相同数据标识的数据操作序列进行合并。系统设置的百分比值可以根据需要进行设置和调整。本实施例以 20%为例，但这并不是对本发明的限制，只是为了更清楚地说明本发明实施例。以步骤 707中合并后的操作序列为 0x321: <0, 512〉〈 1024, 2476〉〈 4096, 10240) 为例，这三个数据操作序列合并后空洞大小为〔 1024- ( 0+512 )〕 + C4096- ( 1024+2476 )] =1108, 跨越区间为 4096+10240-0=14336, 空洞百分比约为 7.1%, 小于 20%, 合并为顺序 10后为 0x321：〈 0, 14336〉 .另外也可以使用数据操作序列之间的空洞值是否大于一个阔值来决定是否合并，阔值的设置可以根据实际需要进行设置和调整。

其中，本发明实施例可以只执行步骤 707或者步骤 708, 也可以同时执行步骤 707和步骤 708, 在步骤 709及步骤 709以后统一称为经处理操作后的版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表。

经步骤 707、或步骤 708、或步骤 707及步骤 708将版本值大于本地节点数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表进行操作处理，但是该操作不影响步骤 706中已经接收到的版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表。

步骤 709: 发送经处理操作后的数据操作序列集合列表到目标节点。

步骤 710: 目标节点接收并根据该处理操作后的数据操作序列集合列表查找读取对应的数据。

目标节点接收该经处理操作后的数据操作序列集合列表，根据该经处理操作后的数据操作序列集合列表中数据操作序列逐一查找读取对应的数据 ,生成与数据操作序列集合列表对应的数据。

步骤 711: 发送数据操作序列集合列表对应的数据。

将根据步骤 710生成的与经处理操作后的数据操作序列集合列表对应的数据作为版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表对应的数据发送到本地节点。

步骤 712: 本地节点接收经处理操作后的数据操作序列集合列表对应的数据。

步骤 713: 更新数据。

本地节点根据未经处理操作的数据操作序列集合列表和接收经处理操作后的数据操作序列集合列表对应的数据更新本地节点的数据。

下面为本发明实施例可选步骤（附图 7未示出 ):

步骤 714至步骤 715参考本发明第三实施例步骤 611至步骤 614。

步骤 716: 将 1 og数据操作序列列表进行向量合并。

将 log数据操作序列列表中所有数据标识相同的数据操作序列进行向量合并，具体合并方向与步骤 707相同。

步骤 717: 将 1 og数据操作序列列表随机 10合并为顺序 10。

将 log数据操作序列列表随机 10合并为顺序 10,具体合并方式与步骤 708 相同。

其中，本发明实施例可以只执行步骤 716或者步骤 717 , 也可以同时执行步骤 716和步骤 717 , 在步骤 718及步骤 718以后中统一称为经处理操作后的 log数据操作序列列表。

这样经步骤 716、或步骤 717、或步骤 716及步骤 717处理操作后的 log 数据操作序列列表，并不影响步骤 715本地节点已经接收到的 log数据操作序列列表。

步骤 718: 本地节点发送经处理操作后的 log数据操作序列列表。

步骤 719: 目标节点接收并根据该经处理操作后的 log数据操作序列列表查找读取对应的数据。

目标节点接收该经处理操作后的 log数据操作序列列表，并根据该处理操作后的 log数据操作序列列表中的数据操作序列逐一查找读取对应的数据，形成 log数据操作序列列表对应的数据。

步骤 720: 发送 log数据操作序列列表对应的数据。步骤 721 : 本地接收经处理操作后的 l og数据操作序列列表对应的数据。步骤 722 : 更新经处理操作后的 log数据操作序列列表对应的数据。

根据未经处理操作后的 l og数据操作序列列表和处理操作后的 l og数据操作序列列表对应的数据，更新处理操作后的 log数据操作序列列表对应的数据到本地节点。

其中，也可以不执行步骤 716至步骤 722 , 直接执行同本发明第三实施例中步骤 615至步骤 618。

本发明实施例提供的分布式存储数据恢复方法，可以进一步减少重复数据的传输，节约了网络带宽，同时可以减轻目标节点的负载。

本发明第五实施例提供了一种分布式存储数据恢复方法，如图 8所示，具体包括：

步骤 801至步骤 806同本发明第三实施例步骤 601至步骤 606 ,不再赘述。步骤 807 : 将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表进行向量合并。

将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表进行向量合并的方法可以参照本发明第四实施例中步骤 707。

步骤 808 : 将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表的随机 10合并为顺序 10。

步骤 808将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表随机 10合并为顺序 10 的方法可以参照本发明第四实施例中步骤 708。

其中，本发明实施例可以只执行步骤 807或者步骤 808 , 也可以同时执行步骤 807和步骤 808 , 在步骤 809中统一称为经处理操作后的版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表。

经步骤 807、或步骤 807、或步骤 807及步骤 808将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表进行操作处理，但是该操作不影响步骤 806中已经接收到的版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表。

步骤 809: 根据经处理操作后的数据操作序列集合列表查找对应的数据。目标节点根据经处理操作后的版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表中的数据操作序列逐一查找读取相应的数据，形成数据操作序列集合列表对应的数据。用来恢复本地节点版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表对应的数据。

步骤 807至步骤 809可以在步骤 805之后步骤 806之前执行，也可以与步骤 806同时执行，也可以在步骤 806之后执行。

步骤 810: 目标节点发送经处理操作后的数据操作序列集合列表对应的数据。

步骤 811 : 本地节点接收经处理操作后的数据操作序列集合列表对应的数据。

步骤 812: 更新经处理操作后的数据操作序列集合列表对应的数据更新本地节点的数据。

下面为本发明实施例可选步骤（附图 8未示出 ):

步骤 813至步骤 816参照本发明第三实施例步骤 611至 614的描述。步骤 817: 目标节点将 log数据操作序列列表进行向量合并。

目标节点将 log数据操作序列中所有具有相同数据标识的数据操作序列进行向量合并，具体方法可以参照步骤 807。

步骤 818: 目标节点将 log数据操作序列列表随机 10合并为顺序 10。将 log数据操作序列列表随机 10合并为顺序 10的处理，具体方法同步骤

808。

其中，本发明实施例可以只执行步骤 817或者步骤 818 , 也可以同时执行步骤 817和步骤 818 , 在步骤 819及步骤 819以后中统一称为经处理操作后的 log数据操作序列列表。

这样经步骤 817、或步骤 818、或步骤 817及步骤 818处理操作后的 log 数据操作序列列表，并不影响步骤 816本地节点已经接收到的 log数据操作序列列表。

步骤 819:根据经合处理操作后的 1 og数据操作序列列表查找对应的数据。根据经处理操作后的 log数据操作序列列表中的数据操作序列逐一查找读取对应的数据，形成 log数据操作序列列表对应的数据。

步骤 820: 发送 log数据操作序列列表对应的数据。

步骤 821 : 本地节点接收经处理操作后的 log数据操作序列列表对应的数据。

步骤 822: 更新经处理操作后的 log数据操作序列列表对应的数据。

根据未经处理操作后的 log数据操作序列列表和处理操作后的 log数据操作序列列表对应的数据，更新处理操作后的 log数据操作序列列表对应的数据到本地节点。

其中，也可以不执行步骤 817至步骤 822 , 直接执行同本发明第三实施例中步骤 615至步骤 618。

本发明实施例提供的分布式存储数据恢复方法，减少重复数据的传输，进一步减少了需要恢复的数据，节约了网络带宽。

本发明第六实施例提供了一种节点，如图 9所示，具体包括接收单元 901 和更新单元 902。

其中接收单元 901 , 用于接收目标节点根据节点的数据操作序列集合的版本值发送的数据操作序列集合列表，以及用于接收目标节点发送的数据操作序列集合列表对应的数据。

更新单元 902 , 用于根据数据操作序列集合列表以及数据操作序列集合列表对应的数据，更新所述节点的数据。接收单元 901 , 还可以用于接收目标节点发送的 log操作序列列表，以及还用于接收目标节点发送的 log操作序列列表对应的数据。更新单元 902 , 还用于根据接收单元 901接收的 log操作序列列表和 log操作序列列表对应的数据，更新节点数据。

可选地，接收单元 901接收的目标节点发送的数据操作序列集合列表对应的数据可以是目标节点发送的目标节点对数据操作序列集合列表进行向量合并操作后的数据操作序列集合列表对应的数据。则更新单元 902 , 具体用于根据数据操作序列集合列表以及进行向量合并操作后的数据操作序列集合列表对应的数据，更新节点的数据。

可选地，接收单元 901接收的目标节点发送的数据操作序列集合列表对应的数据可以是目标节点发送的目标节点对所述数据操作序列集合列表进行随机 10合并为顺序 10操作后的数据操作序列集合列表对应的数据。则更新单元 902 , 具体用于根据数据操作序列集合列表以及进行随机 10合并为顺序 10操作后的数据操作序列集合列表对应的数据，更新节点的数据。

更新单元 902 还可以用于将接收到的数据操作序列集合列表更新到操作记录文件。

本发明实施例提供的节点，通过接收单元接收目标节点根据所述节点的数据操作序列集合的版本值发送的数据操作序列集合列表，更新单元来更新所述节点的数据，从而减少了数据恢复过程中的数据传输量，节约了网络带宽。

本发明第七实施例提供了一种节点，如图 10所示，具体包括发送单元 1001、接收单元 1002和更新单元 1 003。

其中，发送单元 1001 , 用于向目标节点发送所述节点的数据操作序列集合的版本值。接收单元 1002 , 用于接收目标节点根据节点的数据操作序列集合的版本值发送的数据操作序列集合列表，以及用于接收目标节点发送的数据操作序列集合列表对应的数据。更新单元 1003 , 用于根据数据操作序列集合列表以及数据操作序列集合列表对应的数据，更新节点的数据。

更新单元 1 003还可以用于将接收到的数据操作序列集合列表更新到操作记录文件。

接收单元 1002 的进一步地描述可以参照第六实施例的接收单元 901 , 不再赘述。

更新单元 1003的进一步地描述可以参照第六实施例的更新单元 902 , 不再赘述。

本发明实施例提供的节点，通过发送单元向目标节点发送所述节点的数据操作序列集合的版本值，接收单元接收目标节点根据所述节点的数据操作序列集合的版本值发送的数据操作序列集合列表，更新单元来更新所述节点的数据，从而减少了数据恢复过程中的数据传输量，节约了网络带宽。而且还可以进一步更新所述节点的操作记录文件。

本发明第八实施例提供了一种节点，如图 11所示，具体包括发送单元 1101、接收单元 1102、向量合并单元 11 03和更新单元 11 04。

其中，发送单元 11 01 , 用于向目标节点发送节点的数据操作序列集合的版本值。接收单元 1102 , 用于接收目标节点根据节点的数据操作序列集合的版本值发送的数据操作序列集合列表。向量合并单元 1 103 用于将接收单元 1101接收的数据操作序列集合列表进行向量合并操作。发送单元 1 101还用于向目标节点发送向量合并操作后的数据操作序列集合列表，接收单元还用于接收进行向量合并操作后的数据操作序列集合列表对应的数据。更新单元 1 104 , 根据数据操作序列集合列表以及数据操作序列集合列表对应的数据，更新节点的数据。更新单元 1104还可以用于将接收到的数据操作序列集合列表更新到操作记录文件。

接收单元 1102 的进一步地描述可以参照第六实施例的接收单元 901 , 不再赘述。

更新单元 1104 的进一步地描述可以参照第六实施例的更新单元 902 , 不再赘述。

本发明实施例提供的节点，可以通过向目标节点发送数据操作序列集合当前版本值，同时对目标节点发送的数据操作序列集合列表进行向量合并操作，可以进一步减少恢复数据的传输量，减轻目标节点的恢复数据时的负载，节约了网络带宽。

本发明第九实施例提供了一种节点，如图 12所示，具体包括发送单元 1201、接收单元 1202、合并单元 1203和更新单元 1204。

其中，发送单元 1201 , 用于向目标节点发送节点的数据操作序列集合的版本值。接收单元 1202 , 用于接收目标节点根据节点的数据操作序列集合的版本值发送的数据操作序列集合列表。合并单元 1203 用于将接收单元 1202 接收的数据操作序列集合列表进行随机 10合并为顺序 10操作。发送单元 1201 还用于向目标节点发送随机 10合并为顺序 10操作后的数据操作序列集合列表，接收单元还用于接收进行随机 10合并为顺序 10操作后的数据操作序列集合列表对应的数据。更新单元 1204 , 根据数据操作序列集合列表以及数据操作序列集合列表对应的数据，更新节点的数据。更新单元 1204还可以用于将接收到的数据操作序列集合列表更新到操作记录文件。

在另一实施例中，可以同时包括向量合并单元 1103和合并单元 1203 , 将目标节点发送的数据操作序列集合进行向量合并处理和将随机 10合并为顺序 10处理。接收单元 1202 的进一步地描述可以参照第六实施例的接收单元 901 , 不再赘述。

更新单元 1204 的进一步地描述可以参照第六实施例的更新单元 902 , 不再赘述。

本发明实施例提供的节点，可以通过向目标节点发送数据操作序列集合当前版本值，同时对目标节点发送的数据操作序列集合列表进行合并操作，可以有效减少恢复数据的传输量，节约了网络带宽，减轻目标节点负载。

本发明第六至九实施例中提供的节点，接收单元还可以用于接收目标节点发送的 log操作序列列表，以及还用于接收目标节点发送的 log操作序列列表对应的数据。更新单元还可以用于根据接收单元接收的 log操作序列列表和该 log操作序列列表对应的数据，更新节点的数据。从而恢复节点全部数据，同时减少数据传输量。

本发明第六至九实施例中提供的节点，具体可以参照方法第一至第五实施例中的本地节点的描述。

本发明第十实施例提供了一种节点，如图 13所示，包括，接收单元 1301 和发送单元 1302。

其中接收单元 1301 , 用于接收本地节点数据操作序列集合的版本值。发送单元 1302 , 用于根据接收单元 1301接收的版本值，向本地节点发送数据操作序列集合列表和数据操作序列集合列表对应的数据。

接收单元 1301 , 还可以用于接收本地节点发送的将数据操作序列集合列表进行向量合并操作后的数据操作序列集合列表。则此时发送单元 1302发送的数据操作序列集合列表对应的数据具体为：向量合并操作后的数据操作序列集合列表对应的数据。

接收单元 1301 , 还可以用于接收本地节点发送的将所述数据操作序列集合列表进行随机 10合并顺序 10操作后的数据操作序列集合列表。则此时发送单元 1 302发送的数据操作序列集合列表对应的数据具体为：所述随机 10合并顺序 10操作后的数据操作序列集合列表对应的数据。

本发明实施例提供的节点，可以提供大于本地节点的数据操作序列集合当前的版本值数据操作序列集合列表及该数据操作序列集合列表对应的数据，为本地节点提供数据恢复。

本发明实施例提供的节点，接收单元通过接收本地节点的数据操作序列集合的版本值，发送单元用于根据接收单元接收的版本值，向本地节点发送数据操作序列集合列表和数据操作序列集合列表对应的数据，来更新本地节点的数据，从而减少了数据恢复过程中的数据传输量，节约了网络带宽。

本发明第十一实施例提供了一种节点，如图 14所示 ,包括:接收单元 1401、发送单元 1402和向量合并单元 1403。

其中接收单元 1401 , 用于接收本地节点数据操作序列集合的版本值。发送单元 1403 , 用于根据接收单元 1401接收的版本值，向本地节点发送数据操作序列集合列表。向量合并单元 1403 , 用于数据操作序列集合列表进行向量合并，发送单元 1402还用于向本地节点发送进行向量合并操作后的数据操作序列集合列表对应的数据。

接收单元 1401的进一步地描述可以参照第十实施例的接收单元 1 301 , 不再赘述。

发送单元 1402的进一步地描述可以参照第十实施例的更新单元 1 302 , 不再赘述。

本发明实施例提供的节点，可以提供大于本地节点的数据操作序列集合当前的版本值数据操作序列集合列表及经向量合并处理后的该数据操作序列集合列表对应的数据，为本地节点提供数据恢复，进一步减少了恢复数据的传输量。

本发明第十二实施例提供了一种节点，如图 15所示，包括:接收单元 1501、发送单元 1502和合并单元 1503。

其中接收单元 1501 , 用于接收本地节点数据操作序列集合的版本值。发送单元 1503 , 用于根据接收单元 1501接收的版本值，向本地节点发送数据操作序列集合列表。合并单元 1503 , 用于对数据操作序列集合列表进行随机 10 合并为顺序 10操作，发送单元 1502还用于向本地节点发送进行随机 10合并为顺序 10操作后的数据操作序列集合列表对应的数据。

接收单元 1501的进一步地描述可以参照第十实施例的接收单元 1301 , 不再赘述。

发送单元 1502的进一步地描述可以参照第十实施例的更新单元 1302 , 不再赘述。

在本发明另一实施例中，可以同时包括向量合并单元 1403和合并单元 1503 , 数据操作序列集合进行向量合并处理和将随机 10合并为顺序 10处理。可以减少数据传输和节点的开销。

本发明实施例提供的节点，可以提供大于本地节点的数据操作序列集合当前的版本值数据操作序列集合列表及随机 10合并为顺序 10处理后的该数据操作序列集合列表对应的数据，为本地节点提供数据恢复，同时减少了节点的开销。

本发明十至十二实施例提供的节点，接收单元还用于接收本地节点的 log 数据操作序列请求。发送单元还用于根据 log数据操作序列请求，向本地节点发送 log数据操作序列列表，以及根据该 log数据操作序列列表，向本地节点发送该 log数据操作序列列表对应的数据。

本发明十至十二实施例提供的节点，还可以包括查找生成单元，用于根据本地节点的数据操作序列集合的版本值，查找目标节点的操作记录文件中版本值大于该本地节点的数据操作序列集合的版本值的数据操作序列集合，并选择与该本地节点相关的数据操作序列集合生成所述数据操作序列集合列表。本发明第十至十二实施例中提供的节点，具体可以参照方法第一至第五实施例中的目标节点的描述。

本发明第十三实施例提供了一种分布式存储数据恢复系统，如图 16所示，包括本地节点 1601和目标节点 1602。

其中，本地节点 1601用于接收目标节点根据本地节点的数据操作序列集合的版本值发送的数据操作序列集合列表，以及用于接收目标节点发送的该数据操作序列集合列表对应的数据，还用于根据该数据操作序列集合列表以及该数据操作序列集合列表对应的数据，更新本地节点的数据。目标节点 1602 , 用于接收本地节点的数据操作序列集合的版本值，根据该版本值，向本地节点发送数据操作序列集合列表，和该数据操作序列集合列表对应的数据。

本发明实施例提供的系统，通过发送本地节点的数据操作序列集合的版本号，进行数据恢复时，减少了数据传输量，节约了网络带宽。

本发明第六到十二实施例提供的节点和第十三实施例提供的系统具体可以参照本发明方法实施例的描述。

本发明实施例提供的分布式存储数据恢复系统，通过将数据操作序列集合列表和 log数据操作序列列表进行向量合并并且将随机 10合并为顺序 10, 进一步减少了数据的传输量，节约了网络带宽。同时緩解了目标节点的负载。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程 ,可以参考前述方法实施例中的对应过程 , 在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所披露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在 ,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以釆用硬件的形式实现，也可以釆用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等 )执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括： U盘、移动硬盘、只读存储器（ROM, Read-Only Memory ), 随机存取存储器（RAM, Random Acces s Memory ), 磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准

Claims

1、一种分布式存储数据恢复方法，其特征在于，包括：

2、如权利要求 1所述的方法，其特征在于，所述本地节点的数据操作序列集合的版本值为所述本地节点向所述目标节点发送的。

3、如权利要求 1或 2所述的方法，其特征在于，

所述本地节点接收目标节点根据本地节点数据操作序列集合的版本值发送的数据操作序列集合列表之后，所述方法还包括：所述本地节点对所述数据操作序列集合列表进行向量合并操作，并发送所述向量合并操作后的数据操作序列集合列表给所述目标节点；

4、如权利要求 1至 3任一所述的方法，其特征在于，所述本地节点接收目标节点根据本地节点数据操作序列集合的版本值发送的数据操作序列集合列表之后，所述方法还包括：

所述本地节点对所述数据操作序列集合列表进行随机 10 合并为顺序 10 的操作，并发送所述进行随机 10合并为顺序 10操作后的数据操作序列集合列表给所述目标节点；

则所述接收所述目标节点发送的所述数据操作序列集合列表对应的数据据操作序列集合列表对应的数据。 5、如权利要求 4所述的方法，其特征在于，当所述数据操作序列集合列表中，具有相同标识的数据操作序列之间空洞值与合并序列跨越的连续空间大小的比值小于设定百分比，或者具有相同标识的数据操作序列之间空洞值小于设定的阔值，则对所述数据操作序列集合列表进行所述随机 10合并为顺序 10 的操作。

6、如权利要求 1或 2所述的方法，其特征在于，接收所述目标节点发送的所述数据操作序列集合列表对应的数据具体为：接收所述目标节点发送的所述目标节点对所述数据操作序列集合列表进行向量合并操作后的数据操作序列集合列表对应的数据。

7、如权利要求 1、 2或 6所述的方法，其特征在于，接收所述目标节点发送的所述数据操作序列集合列表对应的数据具体为：接收所述目标节点发送的所述目标节点对所述数据操作序列集合列表进行随机 10合并为顺序 10操作后的数据操作序列集合列表对应的数据。

8、如权利要求 1至 7任一所述的方法，其特征在于，所述本地节点将接收的数据操作序列集合列表更新到所述本地节点的操作记录文件。

9、如权利要求 1至 8任一所述的方法，其特征在于，还包括：

所述本地节点接收所述目标节点发送的 log操作序列列表；

接收所述目标节点发送的所述 log操作序列列表对应的数据；

10、一种分布式存储数据恢复方法，其特征在于，包括：

接收本地节点的数据操作序列集合的版本值；

根据所述版本值，向所述本地节点发送数据操作序列集合列表；根据所述数据操作序列集合列表，向所述本地节点发送所述数据操作序列集合列表对应的数据。 11、如权利要求 10所述的方法，其特征在于，根据所述版本值，向所述本地节点发送数据操作序列集合列表具体包括：

查找目标节点的操作记录文件中版本值大于所述本地节点的数据操作序列集合的版本值的数据操作序列集合，并选择与所述本地节点相关的数据操作序列集合生成所述数据操作序列集合列表；

向所述本地节点发送所述数据操作序列集合列表。

12、如权利要求 11所述的方法，其特征在于，利用分布式哈希表架构下的哈希算法或元数据服务架构中的分配表算法，选择与所述本地节点相关的数据操作序列集合。

13、如权利要求 10至 12任一所述的方法，其特征在于，

14、如权利要求 10至 13任一所述的方法，其特征在于，

根据所述数据操作序列集合列表，向所述本地节点发送所述数据操作序列集合列表对应的数据之前，所述方法还包括：将所述数据操作序列集合列表进行随机 10合并为顺序 10的操作；

则向所述本地节点发送所述数据操作序列集合列表对应的数据具体为：向表对应的数据。

15、如权利要求 10至 12任一所述的方法，其特征在于，

根据所述数据操作序列集合列表，向所述本地节点发送所述数据操作序列集合列表对应的数据之前，还包括：接收所述本地节点发送的将所述数据操作序列集合列表进行向量合并操作后的数据操作序列集合列表；

16、如权利要求 10、 11、 12或 15所述的方法，其特征在于，根据所述数据操作序列集合列表，向所述本地节点发送所述数据操作序列集合列表对应的数据之前，所述方法还包括：接收所述本地节点发送的将所述数据操作序列集合列表进行随机 10合并顺序 10操作后的数据操作序列集合列表；

17、如权利要求 10至 16任一所述的方法，其特征在于，还包括：接收本地节点的 log数据操作序列请求；

18、一种节点，其特征在于，包括：

更新单元，用于根据所述数据操作序列集合列表以及所述数据操作序列集合列表对应的数据，更新所述节点的数据。

19、如权利要求 18所述的节点，其特征在于，还包括：

发送单元，用于向所述目标节点发送所述节点的数据操作序列集合的版本值。 20、如权利要求 19所述的节点，其特征在于，还包括：

向量合并单元，用于将所述接收单元接收的所述数据操作序列集合列表进行向量合并操作；

发送单元还用于向所述目标节点发送所述向量合并操作后的数据操作序列集合列表；

则所述接收单元接收的数据操作序列集合列表对应的数据具体为：所述进行向量合并操作后的数据操作序列集合列表对应的数据。

21、如权利要求 19或 20所述的节点，其特征在于，还包括：

合并单元，用于将所述接收单元接收的所述数据操作序列集合列表进行随机 10合并顺序 10操作；据操作序列集合列表；

则所述接收单元接收的数据操作序列集合列表对应的数据具体为：所述随机 10合并顺序 10操作后的数据操作序列集合列表对应的数据。

22、如权利要求 18或 19所述的节点，其特征在于，所述接收单元接收的所述目标节点发送的所述数据操作序列集合列表对应的数据具体为：接收所述目标节点发送的所述目标节点对所述数据操作序列集合列表进行向量合并操作后的数据操作序列集合列表对应的数据。

23、如权利要求 18、 19或 22所述的节点，其特征在于，所述接收单元接收的所述目标节点发送的所述数据操作序列集合列表对应的数据具体为：接收所述目标节点发送的所述目标节点对所述数据操作序列集合列表进行随机 10 合并为顺序 10操作后的数据操作序列集合列表对应的数据。

24、如权利要求 18至 23任一所述的节点，其特征在于，

所述更新单元还用于将所述接收单元接收的所述数据操作序列集合列表更新到所述节点的操作记录文件。 25、如权利要求 18至 24任一所述的节点，其特征在于，

所述接收单元，还用于接收所述目标节点发送的 log操作序列列表，以及还用于接收所述目标节点发送的所述 log操作序列列表对应的数据；

所述更新单元，还用于根据所述 log操作序列列表和所述 log操作序列列表对应的数据，更新所述节点的数据。

26、一种节点，其特征在于，包括：

接收单元，用于接收本地节点数据操作序列集合的版本值；

27、如权利要求 26所述的节点，其特征在于，还包括：

查找生成单元，用于根据所述版本值，查找目标节点的操作记录文件中版本值大于所述本地节点的数据操作序列集合的版本值的数据操作序列集合，并选择与所述本地节点相关的数据操作序列集合生成所述数据操作序列集合列表。

28、如权利要求 26或 27所述的节点，其特征在于，所述接收单元还用于接收所述本地节点发送的将所述数据操作序列集合列表进行向量合并操作后的数据操作序列集合列表；

则所述发送单元发送的所述数据操作序列集合列表对应的数据具体为：所述向量合并操作后的数据操作序列集合列表对应的数据。

29、如权利要求 26至 28任一所述的节点，其特征在于，所述接收单元还用于接收所述本地节点发送的将所述数据操作序列集合列表进行随机 10合并顺序 10操作后的数据操作序列集合列表；

则所述发送单元发送的所述数据操作序列集合列表对应的数据具体为：所述随机 10合并顺序 10操作后的数据操作序列集合列表对应的数据。

30、如权利要求 26或 27所述的节点，其特征在于，还包括：向量合并单元，用于将所述数据操作序列集合列表进行向量合并操作；则所述发送单元用于向所述本地节点发送所述数据操作序列集合列表对应的数据具体为：用于向所述本地节点发送所述进行向量合并操作后的数据操作序列集合列表对应的数据。

31、如权利要求 26、 27或 30所述的节点，其特征在于，还包括：合并单元，用于将所述数据操作序列集合列表进行随机 10合并顺序 10 操作；

则所述发送单元用于向所述本地节点发送所述数据操作序列集合列表对后的数据操作序列集合列表对应的数据。

32、如权利要求 26至 31任一所述的节点，其特征在于，

所述接收单元还用于接收本地节点的 log数据操作序列请求；

所述发送单元还用于根据所述 log数据操作序列请求，向所述本地节点发送 log数据操作序列列表，以及根据所述 log数据操作序列列表，向所述本地节点发送所述 log数据操作序列列表对应的数据。

33、一种分布式存储数据恢复系统，其特征在于，包括：