CN103262042A - 一种分布式存储数据恢复方法、装置及系统 - Google Patents
一种分布式存储数据恢复方法、装置及系统 Download PDFInfo
- Publication number
- CN103262042A CN103262042A CN2011800030868A CN201180003086A CN103262042A CN 103262042 A CN103262042 A CN 103262042A CN 2011800030868 A CN2011800030868 A CN 2011800030868A CN 201180003086 A CN201180003086 A CN 201180003086A CN 103262042 A CN103262042 A CN 103262042A
- Authority
- CN
- China
- Prior art keywords
- data
- data manipulation
- arrangement set
- manipulation arrangement
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003860 storage Methods 0.000 title claims abstract description 41
- 230000005540 biological transmission Effects 0.000 claims abstract description 26
- 238000011084 recovery Methods 0.000 claims description 34
- 238000009826 distribution Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000000352 storage cell Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种分布式存储数据恢复方法、装置和系统。其中方法包括:本地节点接收目标节点根据本地节点的数据操作序列集合的版本值发送的数据操作序列集合列表;接收所述目标节点发送的所述数据操作序列集合列表对应的数据;根据所述数据操作序列集合列表以及所述数据操作序列集合列表对应的数据,更新所述本地节点的数据。本发明实施例提供的分布式存储数据恢复方法、装置和系统可以通过发送本地节点数据操作序列集合的版本号,进行数据恢复,减少了数据传输量,节约了网络带宽。
Description
一种分布式存储数据恢复方法、 装置及系统
技术领域
本发明属于信息技术领域,特别涉及一种分布式存储数据恢复方法、装置 及系统。
背景技术
随着信息技术的发展, 海量数据处理给传统的数据处理方式带来了挑战。 因此各种大型分布式集群系统应运而生。 分布式集群系统由大量传统节点构 成, 通过将处理能力分担到各个节点的方式, 对外呈现整体强大的处理能力。 各节点之间需要通过共享数据进行协作, 以完成处理任务。
分布式块存储系统是一种以数据块为存储单位、满足海量存储需求的分布 式存储系统,对外呈现一种强大的存储能力。分布式存储系统中节点发生故障, 故障节点回归集群如何快速进行数据恢复, 是提供高质量服务的关键。
现有技术中 ,节点维护一个快照文件,快照文件存储该节点所有数据备份。 进行数据恢复时, 故障节点向提供数据恢复的节点发送快照文件,提供恢复数 据的节点接收故障节点发送的快照文件, 并与其存储的快照文件比较, 然后向 故障节点返回差异的那部分数据。本发明人发现由于快照文件存放的是数据备 份,进行数据恢复时通过发送故障节点的数据备份与提供恢复数据的节点的数 据备份进行比较, 需要传输的数据量非常巨大, 严重浪费网络带宽。
发明内容
在下文中给出了关于本发明的简要概述,以便提供关于本发明的某些方面 的基本理解。 应当理解, 这个概述并不是关于本发明的穷举性概述。 它并不是 意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅 仅是以简化的形式给出某些概念, 以此作为稍后论述的更详细描述的前序。
本发明实施例提供一种分布式存储数据恢复方法, 包括:
本地节点接收目标节点根据本地节点的数据操作序列集合的版本值发送
的数据操作序列集合列表;
接收所述目标节点发送的所述数据操作序列集合列表对应的数据; 根据所述数据操作序列集合列表以及所述数据操作序列集合列表对应的数据, 更新所述本地节点的数据。
本发明实施例还提供一种分布式存储数据恢复方法, 包括:
接收本地节点的数据操作序列集合的版本值;
根据所述版本值, 向所述本地节点发送数据操作序列集合列表, 根据所述数据操作序列集合列表,向所述本地节点发送所述数据操作序列 集合列表对应的数据。
本发明实施例又提供一种节点, 包括:
接收单元,用于接收目标节点根据所述节点的数据操作序列集合的版本值 发送的数据操作序列集合列表,以及用于接收所述目标节点发送的所述数据操 作序列集合列表对应的数据;
更新单元,根据所述数据操作序列集合列表以及所述数据操作序列集合列 表对应的数据, 更新所述节点的数据。
本发明实施例还提供一种节点, 包括:
接收单元, 用于接收本地节点数据操作序列集合的版本值;
发送单元 , 用于根据所述版本值, 向所述本地节点发送数据操作序列集合 列表和所述数据操作序列集合列表对应的数据。
本发明实施例再提供一种分布式存储数据恢复系统, 包括:
本地节点,用于接收目标节点根据所述本地节点的数据操作序列集合的版 本值发送的数据操作序列集合列表,以及用于接收所述目标节点发送的所述数 据操作序列集合列表对应的数据,还用于根据所述数据操作序列集合列表以及 所述数据操作序列集合列表对应的数据, 更新所述节点的数据;
所述目标节点, 用于接收所述本地节点的数据操作序列集合的版本值,根
据所述版本值, 向所述本地节点发送数据操作序列集合列表, 和所述数据操作 序列集合列表对应的数据。
本发明实施例提供的分布式存储数据恢复方法、设备和系统, 通过接收目 标节点根据本地节点的数据操作序列集合的版本值发送的数据操作序列集合 列表, 来更新本地节点的数据, 从而在进行数据恢复时, 减少了数据传输量, 节约了网络带宽。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所 使用的附图作一简单介绍,显而易见地, 下面描述中的附图是本发明的一些实 施例, 对于本领域普通技术人员来讲, 在不付出创造性劳动的前提下, 还可以 才艮据这些附图获得其他的附图。
图 1为数据操作序列与数据操作序列集合示意图;
图 1为操作记录文件生成流程示意图;
图 3为数据操作序列合并流程示意图;
图 4为本发明第一实施例流程示意图;
图 5为本发明第二实施例流程示意图;
图 6为本发明第三实施例流程示意图;
图 7为本发明第四实施例流程示意图;
图 8为本发明第五实施例流程示意图;
图 9为本发明第六实施例节点结构示意图;
图 10为本发明第七实施例节点结构示意图;
图 11为本发明第八实施例节点结构示意图;
图 12为本发明第九实施例节点结构示意图;
图 1 3为本发明第十实施例节点结构示意图;
图 14为本发明第十一实施例节点结构示意图;
图 15为本发明第十二实施例节点结构示意图;
图 16为本发明第十三实施例系统结构示意图;
具体实施例
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明 起见, 在说明书中并未描述实际实施方式的所有特征。 然而, 应该了解, 在开 发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实 现开发人员的具体目标, 并且这些决定可能会随着实施方式的不同而有所改 变。
本实施例中的本地节点指需要进行数据恢复的节点, 也可以称为故障节 点; 目标节点指提供恢复数据的节点, 也可以称为恢复数据目标节点。
在分布式存储系统中, 相同的数据需要存储在不同的节点上, 形成备份。 存在备份关系的节点上对应的存储数据应该保持一致。如图 1所示, 当对节点 上数据进行写入数据操作时,会产生一条对应的数据操作序列, 用来记录对该 数据的一次写操作。 该数据操作序列用 obj-id: 〈off set, s ize〉表示, 其中 obj-id 是数据标识, 用来表示一种类型的数据。 off set表示该条数据操作序 列的初始值, s ize表示数据操作序列相对初始值的偏移量。 数据操作序列记 录在节点緩存中, 当节点状态变化时, 将緩存中的数据操作序列刷新到操作记 录文件中。 操作记录文件, 可以包括但不限于 check-point文件。 一次刷新到 操作记录文件中的数据操作序列称为一个数据操作序列集合,每个数据操作序 列集合有一个版本号。一个数据操作序列集合包含一个版本值、 以及一行或多 行数据操作序列。 其中数据操作序列集合版本值为一个单调递增的非负整数。 当然, 也可以使用其他能够表示顺序关系的符号。 在操作记录文件中, 数据操 作序列集合按照版本值顺序存储, 形成数据操作序列集合列表。 一个数据操作 序列集合列表包含一个或多个数据操作序列集合。
节点中除了包括操作记录文件外,还可以包括 log数据操作序列列表。 log
数据操作序列列表用来存储数据操作序列集合当前版本期间所有数据操作序 列。 log数据操作序列列表由数据操作序列集合当前版本期间生成的所有数据 操作序列集合组成。
本发明所有实施例中的数据操作序列只记录节点写入数据的操作 ,数据操 作序列不包括写入的数据本身。
如图 2所示为操作记录文件的更新流程图,操作记录文件, 可以包括但不 限于 check-point文件,具体包括如下步骤:
步骤 201 : 节点启动, 緩存初始化数据操作序列, 读取节点数据操作序列 集合的当前版本值 V。
步骤 202:设置工作变量 V'的值为节点数据操作序列集合的当前版本值 V。 步骤 203: 设置 log数据操作序列列表的数据操作序列的初始值为 0。 步骤 204: 从 log数据操作序列列表的数据操作序列初始值处读取一条数 据操作序列, 该数据操作序列长度记为 len。
步骤 205: 判断读取的数据操作序列是否到达数据末尾。
如果此次读取完该条数据操作序列到达数据末尾,则 log数据操作序列列 表的数据操作序列的初始值中的数据已经读取完毕, 进入步骤 206a。 如果此 次读取该条数据操作序列没有成功或者没有到达数据末尾, 则进入步骤 206b。
步骤 206a: 判断工作变量 V'是否与数据操作序列集合当前版本值 V相等。 如果工作变量 V'与数据操作序列集合当前的版本值相等则代表节点状态 没有发生变化, 进入步骤 209a进入睡眠等待。 如果工作变量 V,与当前数据操 作序列集合的版本值 V不相等, 则说明节点状态发生变化,数据操作序列集合 的版本值也发生变化, 则将执行步骤 209b。
步骤 206b: 判断数据标识是否已经存在緩存中。
判断是否已经在緩存中存在相同数据标识的数据操作序列,如果在緩存中 存在相同标识的数据操作序列, 则进入步骤 207a进行向量合并操作, 如果在
緩存中不存在相同数据标识的数据操作序列, 则进入步骤 207b将该条数据操 作序列添加到緩存。
步骤 207a: 数据操作序列进行向量合并。
将该条新的数据操作序列与緩存中已经存在的具有相同数据标识的数据 操作序列进行向量合并得到新的序列, 并更新緩存中原有的数据操作序列。
步骤 207b: 添加数据操作序列到緩存。
将新读取的该条数据操作序列原封不动地添加到緩存。
步骤 208: log数据操作序列列表的数据操作序列的初始值往后移 len长 度。
初始值往后移 len长度,以跳过刚读取的数据操作序列移动到新的数据操 作序列开始, 返回步骤 204读取下一条数据操作序列。
步骤 209a: 进入睡眠等待。
睡眠等待 T时间,然后进入步骤 204将最近 T时间内的数据操作序列合并。 其中时间 T为可以才艮据系统状态自行设定的一个时间,作为定时判断刷新数据 操作序列集合的时间值。
步骤 209b: 緩存中合并的数据操作序列结果刷到操作记录文件。
节点状态发生变化, 导致数据操作序列集合版本值 V增加,将緩存中合并 的数据操作序列集合刷新到操作记录文件。
步骤 210: 清空緩存与 log数据操作序列列表。
清空緩存与 log文件, 重新执行步骤 202。
清空緩存用于新的数据操作序列存储与向量合并,建立新的 log数据操作 序列列表存储所有数据操作序列,删除旧的 log数据操作序列列表, 进入步骤 202开始新的数据操作序列合并操作。
由上面的操作记录文件生成流程可知,操作记录文件中的数据操作序列集 合是节点状态发生变化时从緩存中刷新到操作记录文件中的。在数据操作序列
集合当前版本中, 因为当前节点状态还没有发生变化,合并的数据操作序列在 緩存中还没有刷新到操作记录文件中,因此操作记录文件中缺少当前版本的数 据操作序列集合。而 log数据操作序列列表可以记录当前版本下所有数据操作 序列, 并且对于相同数据标识的数据操作序列不进行向量合并。 这样在操作记 录文件缺少当前版本数据操作序列集合时,可以从 log数据操作序列列表中查 找当数据操作序列集合当前版本的所有数据操作序列。
数据操作序列中, 将具有相同数据标识的数据操作序列进行向量合并 ,操 作如图 3所示, 具体包括以下步骤:
步骤 301 : 待合并数据操作序列。
步骤 302: 判断待合并数据操作序列与已有操作序列是否有重叠区间。 将待合并的数据操作序列与已经合并数据操作序列比较,若有重叠则进入 步骤 303a做向量合并操作,否则进入步骤 303b将其按照数据操作序列的初始 值大小顺序插入已有空间中。
步骤 303a: 将已有数据操作序列与待合并数据操作序列有重叠的区间进 行向量合并。
将已合并数据操作序列中所有与待合并数据操作序列重叠的部分进行合 并, 如, 已经存在数据操作序列 A: <1, 5> , 等合并数据操作序列为 A: <2, 6>, 已经存在的数据操作序列 A: <1, 5>与待合并数据操作序列 A: <2, 6>有重叠区 间, 合并后为 A: <1, 7>。
步骤 303b: 将待合并数据操作序列插入到已有数据操作序列中。
将待合并数据操作序列插入已经数据操作序列中,插入原则是保证插入后 所有数据操作序列以初始值严格递增。 如已经存在的数据操作序列为 A: <1 , 4>, 待合并数据操作序列为 A: <6, 3>,两条数据操作序列之间没有重叠, 按照数据 操作序列初始值严格递增的原则, 表示为 A: <1, 4X6, 3>。
步骤 304: 合并完成。
本发明实施例给出基于操作记录文件存储当前版本以前的所有数据操作 序列集合 (不含数据 )与 log文件存储当前版本数据操作序列集合时的所有数 据操作序列, 来进行数据恢复。操作记录文件存储数据操作序列集合当前版本 以前的所有版本的数据操作序列集合,其中每个数据操作序列集合中的具有相 同数据标识的数据操作序列之间如果有重叠区间, 则进行向量合并。 log数据 操作序列列表存储当前数据操作序列集合版本值时节点上所有数据操作序列, 并且其中具有相同数据标识的数据操作序列不进行向量合并。
当分布式存储系统中的某个节点发生故障,其他存储相同数据备份节点仍 然在正常工作。 由于存储相同数据备份的某个节点发生故障,发生节点状态变 化,将导致存储相同数据备份的节点将节点緩存中存储的当前版本的数据操作 序列集合刷新到所在节点的操作记录文件中,同时緩存用来存储新的版本值递 增后的数据操作序列集合。由于发生故障的节点在故障恢复之前不能进行数据 操作。 故障恢复后的本地节点, 进行数据恢复时, 只需要目标节点将大于本地 节点操作记录文件中的当前数据操作序列集合版本值的与本地节点相关数据 操作序列集合组成 的数据操作序列集合列表发送到本地节点, 同时将发送到 本地节点的数据操作序列集合列表对应的数据发送过来,并将数据更新到本地 节点, 就可以将操作记录文件对应的数据恢复。 同时为了全部恢复数据, 再将 目标节点 log数据操作序列组成的 log数据操作序列列表发送到本地节点,同 时将 log数据操作序列列表对应的数据发送到本地节点, 本地节点更新 log 数据操作序列列表对应的数据, 即可更新全部数据, 因此节点上存储有操作记 录文件, log数据操作序列列表和数据。 操作记录文件存储数据操作序列集合 当前版本以前的所有版本的数据操作操作序列集合组成的数据操作序列集合 列表,这些数据操作序列集合中的数据操作序列与数据操作序列集合当前版本 之前写入的数据相对应, 记录了每一次数据写入操作。 log数据操作序列列表 存储数据操作序列集合当前版本期间所有的数据操作序列,这些数据操作序列
与数据操作序列集合当前版本期间写入的数据相对应,记录了每一次数据写入 操作。
本发明第一实施例提供了一种分布式存储数据恢复方法, 如图 4所示, 包 括:
步骤 401 : 本地节点接收目标节点根据本地节点的数据操作序列集合的版 本值发送的数据操作序列集合列表。
可选地 ,所述本地节点的数据操作序列集合的版本值为所述本地节点向所 述目标节点发送的。
可选地,所述本地节点的数据操作序列集合的版本值也可以由主控节点向 所述目标节点发送。
步骤 402: 接收所述目标节点发送的所述数据操作序列集合列表对应的数 据。
可选地,所述本地节点接收目标节点根据本地节点数据操作序列集合的版 本值发送的数据操作序列集合列表之后, 所述方法还包括: 所述本地节点对所 述数据操作序列集合列表进行向量合并操作,并发送所述向量合并操作后的数 据操作序列集合列表给所述目标节点;
则所述接收所述目标节点发送的所述数据操作序列集合列表对应的数据 具体为:接收所述目标节点发送的所述向量合并操作后的数据操作序列集合列 表对应的数据。
可选地,所述本地节点接收目标节点根据本地节点数据操作序列集合的版 本值发送的数据操作序列集合列表之后, 所述方法还包括:
所述本地节点对所述数据操作序列集合列表进行随机输入输出 ( Input/Output, 以下简称 10 )合并为顺序 10的操作, 并发送所述进行随机 10合并为顺序 10操作后的数据操作序列集合列表给所述目标节点;
则所述接收所述目标节点发送的所述数据操作序列集合列表对应的数据
据操作序列集合列表对应的数据。
具体地, 当所述数据操作序列集合列表中, 具有相同标识的数据操作序列 之间空洞值与合并序列跨越的连续空间大小的比值小于设定百分比,或者具有 相同标识的数据操作序列之间空洞值小于设定的阔值,则对所述数据操作序列 集合列表进行所述随机 10合并为顺序 10的操作。
可选地,接收所述目标节点发送的所述数据操作序列集合列表对应的数据 具体为:接收所述目标节点发送的所述目标节点对所述数据操作序列集合列表 进行向量合并操作后的数据操作序列集合列表对应的数据。
可选地,接收所述目标节点发送的所述数据操作序列集合列表对应的数据 具体为:接收所述目标节点发送的所述目标节点对所述数据操作序列集合列表 进行随机 10合并为顺序 10操作后的数据操作序列集合列表对应的数据。 步骤 403: 根据所述数据操作序列集合列表以及所述数据操作序列集合列表对 应的数据, 更新所述本地节点的数据。
可选地,所述本地节点将接收的数据操作序列集合列表更新到所述本地节 点的操作记录文件。
可选地, 还包括:
所述本地节点接收所述目标节点发送的 log操作序列列表;
接收所述目标节点发送的所述 log操作序列列表对应的数据;
根据所述 log操作序列列表和所述 log操作序列列表对应的数据,更新所 述本地节点的数据。
本发明第一实施例提供的分布式存储数据恢复方法,通过向目标节点发送 本地节点的数据操作序列集合的版本值,接收目标节点根据本地节点的数据操 作序列集合的版本值发送的数据操作序列集合列表, 来更新本地节点的数据, 从而减少了数据恢复过程中的数据传输量, 节约了网络带宽。
本发明第二实施例提供了一种分布式存储数据恢复方法, 如图 5所示, 具 体包括:
步骤 501 : 接收本地节点的数据操作序列集合的版本值。
可以由目标节点接收本地节点的数据操作序列集合的版本值。
具体地,该目标节点接收的本地节点数据操作序列集合当前版本值可以由 本地节点发送。
具体地,该目标节点接收的本地节点数据操作序列集合当前版本值也可以 由主控节点发送。
步骤 502 :根据所述版本值,向所述本地节点发送数据操作序列集合列表。 可选地,查找目标节点的操作记录文件中版本值大于所述本地节点的数据 操作序列集合的版本值的数据操作序列集合,并选择与所述本地节点相关的数 据操作序列集合生成所述数据操作序列集合列表;
向所述本地节点发送所述数据操作序列集合列表。
具体地,利用分布式哈希表架构下的哈希算法或元数据服务架构中的分配 表算法, 选择与所述本地节点相关的数据操作序列集合。
步骤 503: 根据所述数据操作序列集合列表, 向所述本地节点发送所述数 据操作序列集合列表对应的数据。
根据所述数据操作序列集合列表,向所述本地节点发送所述数据操作序列 集合列表对应的数据之前, 所述方法还包括: 将所述数据操作序列集合列表进 行向量合并操作;
则向所述本地节点发送所述数据操作序列集合列表对应的数据具体为:向 所述本地节点发送所述向量合并操作后的数据操作序列集合列表对应的数据。
根据所述数据操作序列集合列表,向所述本地节点发送所述数据操作序列 集合列表对应的数据之前, 所述方法还包括: 将所述数据操作序列集合列表进 行随机 10合并为顺序 10的操作;
则向所述本地节点发送所述数据操作序列集合列表对应的数据具体为:向 表对应的数据。
可选地,根据所述数据操作序列集合列表, 向所述本地节点发送所述数据 操作序列集合列表对应的数据之前,还包括: 接收所述本地节点发送的将所述 数据操作序列集合列表进行向量合并操作后的数据操作序列集合列表;
则向所述本地节点发送所述数据操作序列集合列表对应的数据具体为:向 所述本地节点发送所述向量合并操作后的数据操作序列集合列表对应的数据。
可选地,根据所述数据操作序列集合列表, 向所述本地节点发送所述数据 操作序列集合列表对应的数据之前, 所述方法还包括: 接收所述本地节点发送 的将所述数据操作序列集合列表进行随机 10合并顺序 10操作后的数据操作序 列集合列表;
则向所述本地节点发送所述数据操作序列集合列表对应的数据具体为:向 所述本地节点发送所述随机 10合并顺序 10操作后的数据操作序列集合列表对 应的数据。
可选地, 还可以包括接收本地节点的 log数据操作序列请求;
根据所述 log数据操作序列请求,向所述本地节点发送 log数据操作序列 列表,
根据所述 log数据操作序列列表,向所述本地节点发送所述 log数据操作 序列列表对应的数据。
本发明第二实施例提供的分布式存储数据恢复方法,通过接收本地节点的 数据操作序列集合的版本值,发送数据操作序列集合列表, 并根据数据操作序 列集合列表发送数据操作序列集合列表对应的数据, 来更新本地节点的数据, 从而减少了数据恢复过程中的数据传输量, 节约了网络带宽。
本发明第三实施例提供了一种分布式存储数据恢复方法, 如图 6所示, 具
体包括以下步骤:
步骤 601 : 开始恢复数据。
本地节点故障恢复后, 开始数据恢复进程。 当本地节点发生故障后, 其他 存储相同数据备份的节点仍然正常工作, 进行数据存储操作。 当本地节点在故 障恢复后, 需要与其它节点上存储的数据备份保持一致, 因此需要恢复本地节 点上故障后未能存储的数据。
步骤 602: 发送数据操作序列集合当前版本值到目标节点。
本地节点读取故障前操作记录文件中存储的数据操作序列集合的当前版 本值, 发送该当前版本值到目标节点。 当本地节点发生故障后, 节点状态发生 变化, 存储相同数据备份的其他节点上的数据操作序列集合的版本值会递增。 因此,需要将本地节点操作记录文件中数据操作序列集合当前版本值发送到目 标节点, 从而找出故障期间目标节点增加的数据操作序列集合。 本步骤中, 该 目标节点接收的本地节点数据操作序列集合当前版本值也可以由主控节点发 送。
步骤 603: 接收本地节点的数据操作序列集合的版本值并查找操作记录文 件中版本值大于本地节点版本值的数据操作序列集合。
目标节点从目标节点操作记录文件查找出版本值大于本地节点操作记录 文件中的数据操作序列集合当前版本值的所有数据操作序列集合。在本地节点 故障期间,存储相同数据备份的其他节点还有可能再发生状态变化, 因此需要 在目标节点操作记录文件中查找版本值大于本地节点操作记录文件中的数据 操作序列集合的当前版本值的所有数据操作序列集合。这些版本值大于本地节 点操作记录文件中的数据操作序列集合的当前版本值的数据操作序列集合记 录的是本地节点故障后对数据备份进行的所有写操作。
步骤 604: 生成与本地节点相关的数据操作序列集合列表。
在目标节点操作记录文件中存储的版本值大于本地节点操作记录文件中
的数据操作序列集合当前版本值的数据操作序列集合是目标节点上存储的所 有数据对应的数据操作序列集合, 因此存在与本地节点不相关的数据, 意味着 也存储与本地节点不相关的数据操作序列。 因此,在目标节点生成版本值大于 本地节点操作记录文件中的数据操作序列集合当前版本值的数据操作序列集 合列表后,需要根据数据放置算法算出版本值大于本地节点操作记录文件中的 数据操作序列集合当前版本值的数据操作序列集合列表的数据操作序列的数 据标识是否属于本地节点,从而将不属于本地节点上的数据操作序列从版本值 大于本地节点数据操作序列集合当前版本值的数据操作序列集合列表的数据 操作序列集合中删除。常用的数据放置算法包括使用分布式哈希表架构下的分 布式哈希表算法或元数据服务架构中的分配表算法,根据数据操作序列的数据 标识算出版本值大于本地节点操作记录文件中的数据操作序列集合当前版本 值的数据操作序列集合列表中属于本地节点上的数据操作序列集合,生成与本 地节点相关的数据操作序列集合列表。
步骤 605: 发送与本地节点相关的数据操作序列集合列表。
为了使本地节点恢复故障期间未能存储的数据,首先需要获得本地节点故 障期间目标节点产生的数据操作序列,就是本发明实施例中提到的版本值大于 本地节点操作记录文件中的数据操作序列集合当前版本值的数据操作序列集 合列表中的数据操作序列, 用这部分操作序列来恢复对应的数据。
步骤 606: 本地节点接收本地节点相关的数据操作序列集合列表。
目标节点发送在本地节点故障期间目标节点产生的数据操作序列集合列 表,本地节点接收版本值大于本地节点操作记录文件中的数据操作序列集合当 前版本值的数据操作序列集合列表,用来更新与接收版本值大于本地节点操作 记录文件中的数据操作序列集合当前版本值的数据操作序列集合列表对应的 数据。因为数据操作序列集合当前版本值的数据操作序列集合列表中的每一条 数据操作序列记录了一次数据写入操作, 因此在恢复数据时, 需要按照对应的
数据操作序列更新与数据操作序列记录对应的数据。可以将版本值大于本地节 点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数 据操作序列集合列表存储在本地节点的操作记录文件中,并且该版本值大于本 地节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关 的数据操作序列集合列表是未经向量合并和 /或将随机合并为顺序 10处理的。 将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且 与本地节点相关的数据操作序列集合列表存储在本地节点的操作记录文件中 是可选的, 不是本发明实施例的必要步骤。
步骤 607: 查找生成版本值大于本地节点操作记录文件中的数据操作序列 集合当前版本值并且与本地节点相关的数据操作序列集合列表对应的数据。
目标节点根据生成版本值大于本地节点操作记录文件中的数据操作序列 集合当前版本值并且与本地节点相关的数据操作序列集合列表读取对应的数 据。将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并 且与本地节点相关的数据操作序列集合列表发送到目标节点后,还需要将版本 值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本地 节点相关的数据操作序列集合列表对应的数据发送到本地节点。 本实施例中, 该版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且 与本地节点相关的数据操作序列集合列表对应的数据根据该数据操作序列集 合列表中的数据操作序列逐一查找读取对应的数据生成的。
步骤 607在步骤 604后执行, 可以与步骤 605同时执行, 也可以在步骤 605之后执行。
步骤 608: 目标节点发送本地节点相关的数据操作序列集合列表对应的数 据。
步骤 609: 接收数据操作序列集合列表对应的数据。
本地节点接收版本值大于本地节点操作记录文件中的数据操作序列集合
当前版本值并且与本地节点相关的数据操作序列集合列表对应的数据。
步骤 610: 更新数据。
根据版本值大于本地节点操作记录文件中的数据操作序列集合当前版本 值并且与本地节点相关的数据操作序列集合列表和该数据操作序列集合列表 对应的数据更新本地节点的数据。
本地节点接收版本值大于本地节点操作记录文件中的数据操作序列集合 当前版本值并且与本地节点相关的数据操作序列集合列表对应的数据后,根据 版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与 本地节点相关的数据操作序列集合列表, 将数据更新到本地节点。
下面为本发明实施例可选步骤(图 6未示出):
步骤 611 : 发送 1 og数据操作序列请求。
由于本地节点在进行数据恢复时,目标节点中操作记录文件中记录的数据 操作序列集合是目标节点数据操作序列集合当前版本之前的所有数据操作序 列集合, 而目标节点当前版本的数据操作序列集合在节点緩存中, 没有刷新到 目标节点的操作记录文件中, 因此, 为了恢复全部数据, 还需要将目标节点当 前版本的数据操作序列集合对应的数据恢复到本地节点。由于目标节点当前版 本的数据操作序列集合存储在緩存中,在节点状态发生变化之前不能刷新到目 标节点操作记录文件中, 现在是不可读取的。 所以需要目标节点的 log数据操 作序列 ,用目标节点的 log数据操作序列对应的数据进行数据恢复。本步骤中, 该本地节点的 log数据操作序列请求也可以由主控节点控制发送。
步骤 612: 目标节点接收 log数据操作序列请求并查找生成与本地节点相 关的 log数据操作序列列表。
由于目标节点上存储的 log数据操作序列列表是目标节点数据操作序列 集合当前版本期间的所有数据操作序列, 因此需要根据本地节点发送的 log 数据操作序列请求将目标节点与本地节点相关的 1 og数据操作序列列表发送
到本地节点。选择与本地节点相关的 1 og数据操作序列列表的方法同步骤 604。 步骤 613: 目标节点发送 log数据操作序列列表。
步骤 614: 本地节点接收并更新 log数据操作序列列表。
本地节点接收目标节点发送的 log数据操作序列列表后, 更新本地 log 数据操作序列。
步骤 615:查找生成与本地节点相关的 log数据操作序列列表对应的数据。 为了恢复与本地节点相关的 log数据操作序列列表对应的数据,目标节点 根据与本地节点相关的 log数据操作序列表对应的数据操作序列逐一查找读 取对应的数据。
步骤 616: 目标节点发送 log数据操作序列列表对应的数据。
步骤 615可以在步骤 612之后执行, 可以与步骤 613同时执行, 也可以在 步骤 613之后执行。
步骤 617: 本地节点接收 log数据操作序列列表对应的数据。
步骤 618: 本地节点根据 log操作序列列表及 log操作序列列表对应的数 据更新本地节点数据。
本发明实施例通过向目标节点发送本地节点的数据操作序列集合的当前 版本值,接收目标节点根据本地节点的数据操作序列集合的版本值发送的数据 操作序列集合列表, 来进行数据恢复, 减少了数据传输量, 节约了网络带宽。
本发明第四实施例提供了一种分布式存储数据恢复方法, 如图 7所示, 具 体包括:
步骤 701至步骤 706同本发明第三实施例步骤 601至步骤 606 ,不再赘述。 步骤 707: 本地节点将版本值大于本地节点操作记录文件中的数据操作序 列集合当前版本值并且与本地节点相关的数据操作序列集合列表进行向量合 并。
为了减少需要恢复的数据的传输量,在将版本值大于本地节点操作记录文
件中的数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集 合列表之后,本地节点对接收到的版本值大于本地节点操作记录文件中的数据 操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表进行 向量合并。具体操作方法为版本值大于本地节点操作记录文件中的数据操作序 列集合当前版本值并且与本地节点相关的数据操作序列集合列表中不论数据 操作序列集合的版本值是否相同,将数据标识相同的数据操作序列进行向量合 并, 合并的原则是将所有区间有重叠的部分进行合并。 如两个数据标识均为
0x123的数据操作序列: 0x123: < 0, 1024〉〈 2000, 1024〉与 0x123: 〈 500, 4096〉, 则经过合并后得到的序列为 0x123: 〈 0, 4596〉。 又如三个数据标识均 为 0x321的数据操作序列 0x321: 〈0, 512〉〈 1024, 1024〉, 0x321: 〈 1500, 2000〉, 0x321: 〈 4096, 10240), 合并后的操作序列为 0x321: 〈0, 512> < 1024, 2476〉〈 4096, 10240〉。
步骤 708: 将版本值大于本地节点操作记录文件中的数据操作序列集合当 前版本值并且与本地节点相关的数据操作序列集合列表随机 10合并为顺序 10。
对版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值 并且与本地节点相关的数据操作序列集合列表用统计算法来评估其随机分布 性, 将随机 10合并为顺序 10, 以减少节点和网络开销, 获得最佳恢复性能。 统计算法有多种,常见的统计算法是统计数据操作序列集合列表中数据操作序 列中的空洞(具有相同数据标识的数据操作序列没有重复的那些空间)占用空 间, 然后与合并序列跨越的连续空间大小比较, 算出百分比值, 如果百分比值 小于系统设置的值, 则可以将这些具有相同数据标识的数据操作序列进行合 并。系统设置的百分比值可以根据需要进行设置和调整。本实施例以 20%为例, 但这并不是对本发明的限制, 只是为了更清楚地说明本发明实施例。 以步骤 707中合并后的操作序列为 0x321: <0, 512〉〈 1024, 2476〉〈 4096, 10240)
为例, 这三个数据操作序列合并后空洞大小为 〔 1024- ( 0+512 )〕 + C4096- ( 1024+2476 )] =1108, 跨越区间为 4096+10240-0=14336, 空洞百分比约为 7.1%, 小于 20%, 合并为顺序 10后为 0x321: 〈 0, 14336〉 .另外也可以使用数 据操作序列之间的空洞值是否大于一个阔值来决定是否合并,阔值的设置可以 根据实际需要进行设置和调整。
其中, 本发明实施例可以只执行步骤 707或者步骤 708, 也可以同时执行 步骤 707和步骤 708, 在步骤 709及步骤 709以后统一称为经处理操作后的版 本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与本 地节点相关的数据操作序列集合列表。
经步骤 707、 或步骤 708、 或步骤 707及步骤 708将版本值大于本地节点 数据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表 进行操作处理,但是该操作不影响步骤 706中已经接收到的版本值大于本地节 点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数 据操作序列集合列表。
步骤 709: 发送经处理操作后的数据操作序列集合列表到目标节点。
步骤 710: 目标节点接收并根据该处理操作后的数据操作序列集合列表查 找读取对应的数据。
目标节点接收该经处理操作后的数据操作序列集合列表,根据该经处理操 作后的数据操作序列集合列表中数据操作序列逐一查找读取对应的数据 ,生成 与数据操作序列集合列表对应的数据。
步骤 711: 发送数据操作序列集合列表对应的数据。
将根据步骤 710生成的与经处理操作后的数据操作序列集合列表对应的 数据作为版本值大于本地节点操作记录文件中的数据操作序列集合当前版本 值并且与本地节点相关的数据操作序列集合列表对应的数据发送到本地节点。
步骤 712: 本地节点接收经处理操作后的数据操作序列集合列表对应的数
据。
步骤 713: 更新数据。
本地节点根据未经处理操作的数据操作序列集合列表和接收经处理操作 后的数据操作序列集合列表对应的数据更新本地节点的数据。
下面为本发明实施例可选步骤(附图 7未示出 ):
步骤 714至步骤 715参考本发明第三实施例步骤 611至步骤 614。
步骤 716: 将 1 og数据操作序列列表进行向量合并。
将 log数据操作序列列表中所有数据标识相同的数据操作序列进行向量 合并, 具体合并方向与步骤 707相同。
步骤 717: 将 1 og数据操作序列列表随机 10合并为顺序 10。
将 log数据操作序列列表随机 10合并为顺序 10,具体合并方式与步骤 708 相同。
其中, 本发明实施例可以只执行步骤 716或者步骤 717 , 也可以同时执行 步骤 716和步骤 717 , 在步骤 718及步骤 718以后中统一称为经处理操作后的 log数据操作序列列表。
这样经步骤 716、 或步骤 717、 或步骤 716及步骤 717处理操作后的 log 数据操作序列列表,并不影响步骤 715本地节点已经接收到的 log数据操作序 列列表。
步骤 718: 本地节点发送经处理操作后的 log数据操作序列列表。
步骤 719: 目标节点接收并根据该经处理操作后的 log数据操作序列列表 查找读取对应的数据。
目标节点接收该经处理操作后的 log数据操作序列列表,并根据该处理操 作后的 log数据操作序列列表中的数据操作序列逐一查找读取对应的数据,形 成 log数据操作序列列表对应的数据。
步骤 720: 发送 log数据操作序列列表对应的数据。
步骤 721 : 本地接收经处理操作后的 l og数据操作序列列表对应的数据。 步骤 722 : 更新经处理操作后的 log数据操作序列列表对应的数据。
根据未经处理操作后的 l og数据操作序列列表和处理操作后的 l og数据操 作序列列表对应的数据,更新处理操作后的 log数据操作序列列表对应的数据 到本地节点。
其中, 也可以不执行步骤 716至步骤 722 , 直接执行同本发明第三实施例 中步骤 615至步骤 618。
本发明实施例提供的分布式存储数据恢复方法,可以进一步减少重复数据 的传输, 节约了网络带宽, 同时可以减轻目标节点的负载。
本发明第五实施例提供了一种分布式存储数据恢复方法, 如图 8所示, 具 体包括:
步骤 801至步骤 806同本发明第三实施例步骤 601至步骤 606 ,不再赘述。 步骤 807 : 将版本值大于本地节点操作记录文件中的数据操作序列集合当 前版本值并且与本地节点相关的数据操作序列集合列表进行向量合并。
将版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值 并且与本地节点相关的数据操作序列集合列表进行向量合并的方法可以参照 本发明第四实施例中步骤 707。
步骤 808 : 将版本值大于本地节点操作记录文件中的数据操作序列集合当 前版本值并且与本地节点相关的数据操作序列集合列表的随机 10合并为顺序 10。
步骤 808将版本值大于本地节点操作记录文件中的数据操作序列集合当 前版本值并且与本地节点相关的数据操作序列集合列表随机 10合并为顺序 10 的方法可以参照本发明第四实施例中步骤 708。
其中, 本发明实施例可以只执行步骤 807或者步骤 808 , 也可以同时执行 步骤 807和步骤 808 , 在步骤 809中统一称为经处理操作后的版本值大于本地
节点操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的 数据操作序列集合列表。
经步骤 807、 或步骤 807、 或步骤 807及步骤 808将版本值大于本地节点 操作记录文件中的数据操作序列集合当前版本值并且与本地节点相关的数据 操作序列集合列表进行操作处理,但是该操作不影响步骤 806中已经接收到的 版本值大于本地节点操作记录文件中的数据操作序列集合当前版本值并且与 本地节点相关的数据操作序列集合列表。
步骤 809: 根据经处理操作后的数据操作序列集合列表查找对应的数据。 目标节点根据经处理操作后的版本值大于本地节点操作记录文件中的数 据操作序列集合当前版本值并且与本地节点相关的数据操作序列集合列表中 的数据操作序列逐一查找读取相应的数据,形成数据操作序列集合列表对应的 数据。用来恢复本地节点版本值大于本地节点操作记录文件中的数据操作序列 集合当前版本值并且与本地节点相关的数据操作序列集合列表对应的数据。
步骤 807至步骤 809可以在步骤 805之后步骤 806之前执行,也可以与步 骤 806同时执行, 也可以在步骤 806之后执行。
步骤 810: 目标节点发送经处理操作后的数据操作序列集合列表对应的数 据。
步骤 811 : 本地节点接收经处理操作后的数据操作序列集合列表对应的数 据。
步骤 812: 更新经处理操作后的数据操作序列集合列表对应的数据更新本 地节点的数据。
下面为本发明实施例可选步骤(附图 8未示出 ):
步骤 813至步骤 816参照本发明第三实施例步骤 611至 614的描述。 步骤 817: 目标节点将 log数据操作序列列表进行向量合并。
目标节点将 log数据操作序列中所有具有相同数据标识的数据操作序列
进行向量合并, 具体方法可以参照步骤 807。
步骤 818: 目标节点将 log数据操作序列列表随机 10合并为顺序 10。 将 log数据操作序列列表随机 10合并为顺序 10的处理,具体方法同步骤
808。
其中, 本发明实施例可以只执行步骤 817或者步骤 818 , 也可以同时执行 步骤 817和步骤 818 , 在步骤 819及步骤 819以后中统一称为经处理操作后的 log数据操作序列列表。
这样经步骤 817、 或步骤 818、 或步骤 817及步骤 818处理操作后的 log 数据操作序列列表,并不影响步骤 816本地节点已经接收到的 log数据操作序 列列表。
步骤 819:根据经合处理操作后的 1 og数据操作序列列表查找对应的数据。 根据经处理操作后的 log数据操作序列列表中的数据操作序列逐一查找 读取对应的数据, 形成 log数据操作序列列表对应的数据。
步骤 820: 发送 log数据操作序列列表对应的数据。
步骤 821 : 本地节点接收经处理操作后的 log数据操作序列列表对应的数 据。
步骤 822: 更新经处理操作后的 log数据操作序列列表对应的数据。
根据未经处理操作后的 log数据操作序列列表和处理操作后的 log数据操 作序列列表对应的数据,更新处理操作后的 log数据操作序列列表对应的数据 到本地节点。
其中, 也可以不执行步骤 817至步骤 822 , 直接执行同本发明第三实施例 中步骤 615至步骤 618。
本发明实施例提供的分布式存储数据恢复方法, 减少重复数据的传输, 进 一步减少了需要恢复的数据, 节约了网络带宽。
本发明第六实施例提供了一种节点, 如图 9所示, 具体包括接收单元 901
和更新单元 902。
其中接收单元 901 , 用于接收目标节点根据节点的数据操作序列集合的版 本值发送的数据操作序列集合列表,以及用于接收目标节点发送的数据操作序 列集合列表对应的数据。
更新单元 902 , 用于根据数据操作序列集合列表以及数据操作序列集合列 表对应的数据, 更新所述节点的数据。 接收单元 901 , 还可以用于接收目标节 点发送的 log操作序列列表,以及还用于接收目标节点发送的 log操作序列列 表对应的数据。 更新单元 902 , 还用于根据接收单元 901接收的 log操作序列 列表和 log操作序列列表对应的数据, 更新节点数据。
可选地,接收单元 901接收的目标节点发送的数据操作序列集合列表对应 的数据可以是目标节点发送的目标节点对数据操作序列集合列表进行向量合 并操作后的数据操作序列集合列表对应的数据。 则更新单元 902 , 具体用于根 据数据操作序列集合列表以及进行向量合并操作后的数据操作序列集合列表 对应的数据, 更新节点的数据。
可选地,接收单元 901接收的目标节点发送的数据操作序列集合列表对应 的数据可以是目标节点发送的目标节点对所述数据操作序列集合列表进行随 机 10合并为顺序 10操作后的数据操作序列集合列表对应的数据。则更新单元 902 , 具体用于根据数据操作序列集合列表以及进行随机 10合并为顺序 10操 作后的数据操作序列集合列表对应的数据, 更新节点的数据。
更新单元 902 还可以用于将接收到的数据操作序列集合列表更新到操作 记录文件。
本发明实施例提供的节点,通过接收单元接收目标节点根据所述节点的数 据操作序列集合的版本值发送的数据操作序列集合列表,更新单元来更新所述 节点的数据, 从而减少了数据恢复过程中的数据传输量, 节约了网络带宽。
本发明第七实施例提供了一种节点, 如图 10所示, 具体包括发送单元
1001、 接收单元 1002和更新单元 1 003。
其中, 发送单元 1001 , 用于向目标节点发送所述节点的数据操作序列集 合的版本值。 接收单元 1002 , 用于接收目标节点根据节点的数据操作序列集 合的版本值发送的数据操作序列集合列表,以及用于接收目标节点发送的数据 操作序列集合列表对应的数据。 更新单元 1003 , 用于根据数据操作序列集合 列表以及数据操作序列集合列表对应的数据, 更新节点的数据。
更新单元 1 003还可以用于将接收到的数据操作序列集合列表更新到操作 记录文件。
接收单元 1002 的进一步地描述可以参照第六实施例的接收单元 901 , 不 再赘述。
更新单元 1003的进一步地描述可以参照第六实施例的更新单元 902 , 不 再赘述。
本发明实施例提供的节点,通过发送单元向目标节点发送所述节点的数据 操作序列集合的版本值,接收单元接收目标节点根据所述节点的数据操作序列 集合的版本值发送的数据操作序列集合列表, 更新单元来更新所述节点的数 据, 从而减少了数据恢复过程中的数据传输量, 节约了网络带宽。 而且还可以 进一步更新所述节点的操作记录文件。
本发明第八实施例提供了一种节点, 如图 11所示, 具体包括发送单元 1101、 接收单元 1102、 向量合并单元 11 03和更新单元 11 04。
其中, 发送单元 11 01 , 用于向目标节点发送节点的数据操作序列集合的 版本值。 接收单元 1102 , 用于接收目标节点根据节点的数据操作序列集合的 版本值发送的数据操作序列集合列表。 向量合并单元 1 103 用于将接收单元 1101接收的数据操作序列集合列表进行向量合并操作。 发送单元 1 101还用于 向目标节点发送向量合并操作后的数据操作序列集合列表,接收单元还用于接 收进行向量合并操作后的数据操作序列集合列表对应的数据。 更新单元 1 104 ,
根据数据操作序列集合列表以及数据操作序列集合列表对应的数据,更新节点 的数据。 更新单元 1104还可以用于将接收到的数据操作序列集合列表更新到 操作记录文件。
接收单元 1102 的进一步地描述可以参照第六实施例的接收单元 901 , 不 再赘述。
更新单元 1104 的进一步地描述可以参照第六实施例的更新单元 902 , 不 再赘述。
本发明实施例提供的节点,可以通过向目标节点发送数据操作序列集合当 前版本值, 同时对目标节点发送的数据操作序列集合列表进行向量合并操作, 可以进一步减少恢复数据的传输量, 减轻目标节点的恢复数据时的负载, 节约 了网络带宽。
本发明第九实施例提供了一种节点, 如图 12所示, 具体包括发送单元 1201、 接收单元 1202、 合并单元 1203和更新单元 1204。
其中, 发送单元 1201 , 用于向目标节点发送节点的数据操作序列集合的 版本值。 接收单元 1202 , 用于接收目标节点根据节点的数据操作序列集合的 版本值发送的数据操作序列集合列表。 合并单元 1203 用于将接收单元 1202 接收的数据操作序列集合列表进行随机 10合并为顺序 10操作。发送单元 1201 还用于向目标节点发送随机 10合并为顺序 10操作后的数据操作序列集合列 表,接收单元还用于接收进行随机 10合并为顺序 10操作后的数据操作序列集 合列表对应的数据。 更新单元 1204 , 根据数据操作序列集合列表以及数据操 作序列集合列表对应的数据, 更新节点的数据。 更新单元 1204还可以用于将 接收到的数据操作序列集合列表更新到操作记录文件。
在另一实施例中, 可以同时包括向量合并单元 1103和合并单元 1203 , 将 目标节点发送的数据操作序列集合进行向量合并处理和将随机 10合并为顺序 10处理。
接收单元 1202 的进一步地描述可以参照第六实施例的接收单元 901 , 不 再赘述。
更新单元 1204 的进一步地描述可以参照第六实施例的更新单元 902 , 不 再赘述。
本发明实施例提供的节点,可以通过向目标节点发送数据操作序列集合当 前版本值, 同时对目标节点发送的数据操作序列集合列表进行合并操作, 可以 有效减少恢复数据的传输量, 节约了网络带宽, 减轻目标节点负载。
本发明第六至九实施例中提供的节点,接收单元还可以用于接收目标节点 发送的 log操作序列列表,以及还用于接收目标节点发送的 log操作序列列表 对应的数据。更新单元还可以用于根据接收单元接收的 log操作序列列表和该 log操作序列列表对应的数据, 更新节点的数据。 从而恢复节点全部数据, 同 时减少数据传输量。
本发明第六至九实施例中提供的节点,具体可以参照方法第一至第五实施 例中的本地节点的描述。
本发明第十实施例提供了一种节点, 如图 13所示, 包括, 接收单元 1301 和发送单元 1302。
其中接收单元 1301 , 用于接收本地节点数据操作序列集合的版本值。 发 送单元 1302 , 用于根据接收单元 1301接收的版本值, 向本地节点发送数据操 作序列集合列表和数据操作序列集合列表对应的数据。
接收单元 1301 , 还可以用于接收本地节点发送的将数据操作序列集合列 表进行向量合并操作后的数据操作序列集合列表。 则此时发送单元 1302发送 的数据操作序列集合列表对应的数据具体为:向量合并操作后的数据操作序列 集合列表对应的数据。
接收单元 1301 , 还可以用于接收本地节点发送的将所述数据操作序列集 合列表进行随机 10合并顺序 10操作后的数据操作序列集合列表。则此时发送
单元 1 302发送的数据操作序列集合列表对应的数据具体为:所述随机 10合并 顺序 10操作后的数据操作序列集合列表对应的数据。
本发明实施例提供的节点,可以提供大于本地节点的数据操作序列集合当 前的版本值数据操作序列集合列表及该数据操作序列集合列表对应的数据,为 本地节点提供数据恢复。
本发明实施例提供的节点,接收单元通过接收本地节点的数据操作序列集 合的版本值,发送单元用于根据接收单元接收的版本值, 向本地节点发送数据 操作序列集合列表和数据操作序列集合列表对应的数据,来更新本地节点的数 据, 从而减少了数据恢复过程中的数据传输量, 节约了网络带宽。
本发明第十一实施例提供了一种节点,如图 14所示 ,包括:接收单元 1401、 发送单元 1402和向量合并单元 1403。
其中接收单元 1401 , 用于接收本地节点数据操作序列集合的版本值。 发 送单元 1403 , 用于根据接收单元 1401接收的版本值, 向本地节点发送数据操 作序列集合列表。 向量合并单元 1403 , 用于数据操作序列集合列表进行向量 合并, 发送单元 1402还用于向本地节点发送进行向量合并操作后的数据操作 序列集合列表对应的数据。
接收单元 1401的进一步地描述可以参照第十实施例的接收单元 1 301 , 不 再赘述。
发送单元 1402的进一步地描述可以参照第十实施例的更新单元 1 302 , 不 再赘述。
本发明实施例提供的节点,可以提供大于本地节点的数据操作序列集合当 前的版本值数据操作序列集合列表及经向量合并处理后的该数据操作序列集 合列表对应的数据, 为本地节点提供数据恢复, 进一步减少了恢复数据的传输 量。
本发明第十二实施例提供了一种节点,如图 15所示,包括:接收单元 1501、
发送单元 1502和合并单元 1503。
其中接收单元 1501 , 用于接收本地节点数据操作序列集合的版本值。 发 送单元 1503 , 用于根据接收单元 1501接收的版本值, 向本地节点发送数据操 作序列集合列表。 合并单元 1503 , 用于对数据操作序列集合列表进行随机 10 合并为顺序 10操作, 发送单元 1502还用于向本地节点发送进行随机 10合并 为顺序 10操作后的数据操作序列集合列表对应的数据。
接收单元 1501的进一步地描述可以参照第十实施例的接收单元 1301 , 不 再赘述。
发送单元 1502的进一步地描述可以参照第十实施例的更新单元 1302 , 不 再赘述。
在本发明另一实施例中, 可以同时包括向量合并单元 1403和合并单元 1503 , 数据操作序列集合进行向量合并处理和将随机 10合并为顺序 10处理。 可以减少数据传输和节点的开销。
本发明实施例提供的节点,可以提供大于本地节点的数据操作序列集合当 前的版本值数据操作序列集合列表及随机 10合并为顺序 10处理后的该数据操 作序列集合列表对应的数据, 为本地节点提供数据恢复, 同时减少了节点的开 销。
本发明十至十二实施例提供的节点, 接收单元还用于接收本地节点的 log 数据操作序列请求。发送单元还用于根据 log数据操作序列请求, 向本地节点 发送 log数据操作序列列表, 以及根据该 log数据操作序列列表, 向本地节点 发送该 log数据操作序列列表对应的数据。
本发明十至十二实施例提供的节点,还可以包括查找生成单元, 用于根据 本地节点的数据操作序列集合的版本值,查找目标节点的操作记录文件中版本 值大于该本地节点的数据操作序列集合的版本值的数据操作序列集合,并选择 与该本地节点相关的数据操作序列集合生成所述数据操作序列集合列表。
本发明第十至十二实施例中提供的节点,具体可以参照方法第一至第五实 施例中的目标节点的描述。
本发明第十三实施例提供了一种分布式存储数据恢复系统,如图 16所示, 包括本地节点 1601和目标节点 1602。
其中, 本地节点 1601用于接收目标节点根据本地节点的数据操作序列集 合的版本值发送的数据操作序列集合列表,以及用于接收目标节点发送的该数 据操作序列集合列表对应的数据,还用于根据该数据操作序列集合列表以及该 数据操作序列集合列表对应的数据, 更新本地节点的数据。 目标节点 1602 , 用于接收本地节点的数据操作序列集合的版本值,根据该版本值, 向本地节点 发送数据操作序列集合列表, 和该数据操作序列集合列表对应的数据。
本发明实施例提供的系统,通过发送本地节点的数据操作序列集合的版本 号, 进行数据恢复时, 减少了数据传输量, 节约了网络带宽。
本发明第六到十二实施例提供的节点和第十三实施例提供的系统具体可 以参照本发明方法实施例的描述。
本发明实施例提供的分布式存储数据恢复系统,通过将数据操作序列集合 列表和 log数据操作序列列表进行向量合并并且将随机 10合并为顺序 10, 进 一步减少了数据的传输量, 节约了网络带宽。 同时緩解了目标节点的负载。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示 例的单元及算法步骤, 能够以电子硬件、 计算机软件或者二者的结合来实现, 为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地 描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决 于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用 来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范 围。
所属领域的技术人员可以清楚地了解到, 为描述的方便和简洁, 上述描述
的系统、装置和单元的具体工作过程 ,可以参考前述方法实施例中的对应过程 , 在此不再赘述。
在本申请所提供的几个实施例中, 应该理解到, 所披露的系统、 装置和方 法, 可以通过其它的方式实现。 例如, 以上所描述的装置实施例仅仅是示意性 的, 例如, 所述单元的划分, 仅仅为一种逻辑功能划分, 实际实现时可以有另 外的划分方式, 例如多个单元或组件可以结合或者可以集成到另一个系统, 或 一些特征可以忽略, 或不执行。 另一点, 所显示或讨论的相互之间的耦合或直 接耦合或通信连接可以是通过一些接口, 装置或单元的间接耦合或通信连接, 可以是电性, 机械或其它的形式。
另外, 在本发明各个实施例中的各功能单元可以集成在一个处理单元中, 也可以是各个单元单独物理存在 ,也可以两个或两个以上单元集成在一个单元 中。上述集成的单元既可以釆用硬件的形式实现, 也可以釆用软件功能单元的 形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售 或使用时, 可以存储在一个计算机可读取存储介质中。 基于这样的理解, 本发 明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全 部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储 介质中, 包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器, 或者网络设备等 )执行本发明各个实施例所述方法的全部或部分步骤。 而前述 的存储介质包括: U盘、 移动硬盘、 只读存储器 (ROM, Read-Only Memory ), 随机存取存储器 (RAM, Random Acces s Memory ), 磁碟或者光盘等各种可以存 储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于 此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内, 可轻易想到 变化或替换, 都应涵盖在本发明的保护范围之内。 因此, 本发明的保护范围应
以所述权利要求的保护范围为准
Claims (1)
1、 一种分布式存储数据恢复方法, 其特征在于, 包括:
本地节点接收目标节点根据本地节点的数据操作序列集合的版本值发送 的数据操作序列集合列表;
接收所述目标节点发送的所述数据操作序列集合列表对应的数据; 根据所述数据操作序列集合列表以及所述数据操作序列集合列表对应的 数据, 更新所述本地节点的数据。
2、 如权利要求 1所述的方法, 其特征在于, 所述本地节点的数据操作序 列集合的版本值为所述本地节点向所述目标节点发送的。
3、 如权利要求 1或 2所述的方法, 其特征在于,
所述本地节点接收目标节点根据本地节点数据操作序列集合的版本值发 送的数据操作序列集合列表之后, 所述方法还包括: 所述本地节点对所述数据 操作序列集合列表进行向量合并操作,并发送所述向量合并操作后的数据操作 序列集合列表给所述目标节点;
则所述接收所述目标节点发送的所述数据操作序列集合列表对应的数据 具体为:接收所述目标节点发送的所述向量合并操作后的数据操作序列集合列 表对应的数据。
4、 如权利要求 1至 3任一所述的方法, 其特征在于, 所述本地节点接收 目标节点根据本地节点数据操作序列集合的版本值发送的数据操作序列集合 列表之后, 所述方法还包括:
所述本地节点对所述数据操作序列集合列表进行随机 10 合并为顺序 10 的操作,并发送所述进行随机 10合并为顺序 10操作后的数据操作序列集合列 表给所述目标节点;
则所述接收所述目标节点发送的所述数据操作序列集合列表对应的数据 据操作序列集合列表对应的数据。
5、 如权利要求 4所述的方法, 其特征在于, 当所述数据操作序列集合列 表中,具有相同标识的数据操作序列之间空洞值与合并序列跨越的连续空间大 小的比值小于设定百分比,或者具有相同标识的数据操作序列之间空洞值小于 设定的阔值, 则对所述数据操作序列集合列表进行所述随机 10合并为顺序 10 的操作。
6、 如权利要求 1或 2所述的方法, 其特征在于, 接收所述目标节点发送 的所述数据操作序列集合列表对应的数据具体为:接收所述目标节点发送的所 述目标节点对所述数据操作序列集合列表进行向量合并操作后的数据操作序 列集合列表对应的数据。
7、 如权利要求 1、 2或 6所述的方法, 其特征在于, 接收所述目标节点发 送的所述数据操作序列集合列表对应的数据具体为:接收所述目标节点发送的 所述目标节点对所述数据操作序列集合列表进行随机 10合并为顺序 10操作后 的数据操作序列集合列表对应的数据。
8、 如权利要求 1至 7任一所述的方法, 其特征在于, 所述本地节点将接 收的数据操作序列集合列表更新到所述本地节点的操作记录文件。
9、 如权利要求 1至 8任一所述的方法, 其特征在于, 还包括:
所述本地节点接收所述目标节点发送的 log操作序列列表;
接收所述目标节点发送的所述 log操作序列列表对应的数据;
根据所述 log操作序列列表和所述 log操作序列列表对应的数据,更新所 述本地节点的数据。
10、 一种分布式存储数据恢复方法, 其特征在于, 包括:
接收本地节点的数据操作序列集合的版本值;
根据所述版本值, 向所述本地节点发送数据操作序列集合列表; 根据所述数据操作序列集合列表,向所述本地节点发送所述数据操作序列 集合列表对应的数据。
11、 如权利要求 10所述的方法, 其特征在于, 根据所述版本值, 向所述 本地节点发送数据操作序列集合列表具体包括:
查找目标节点的操作记录文件中版本值大于所述本地节点的数据操作序 列集合的版本值的数据操作序列集合,并选择与所述本地节点相关的数据操作 序列集合生成所述数据操作序列集合列表;
向所述本地节点发送所述数据操作序列集合列表。
12、 如权利要求 11所述的方法, 其特征在于, 利用分布式哈希表架构下 的哈希算法或元数据服务架构中的分配表算法,选择与所述本地节点相关的数 据操作序列集合。
13、 如权利要求 10至 12任一所述的方法, 其特征在于,
根据所述数据操作序列集合列表,向所述本地节点发送所述数据操作序列 集合列表对应的数据之前, 所述方法还包括: 将所述数据操作序列集合列表进 行向量合并操作;
则向所述本地节点发送所述数据操作序列集合列表对应的数据具体为:向 所述本地节点发送所述向量合并操作后的数据操作序列集合列表对应的数据。
14、 如权利要求 10至 13任一所述的方法, 其特征在于,
根据所述数据操作序列集合列表,向所述本地节点发送所述数据操作序列 集合列表对应的数据之前, 所述方法还包括: 将所述数据操作序列集合列表进 行随机 10合并为顺序 10的操作;
则向所述本地节点发送所述数据操作序列集合列表对应的数据具体为:向 表对应的数据。
15、 如权利要求 10至 12任一所述的方法, 其特征在于,
根据所述数据操作序列集合列表,向所述本地节点发送所述数据操作序列 集合列表对应的数据之前,还包括: 接收所述本地节点发送的将所述数据操作
序列集合列表进行向量合并操作后的数据操作序列集合列表;
则向所述本地节点发送所述数据操作序列集合列表对应的数据具体为:向 所述本地节点发送所述向量合并操作后的数据操作序列集合列表对应的数据。
16、 如权利要求 10、 11、 12或 15所述的方法, 其特征在于, 根据所述数 据操作序列集合列表,向所述本地节点发送所述数据操作序列集合列表对应的 数据之前, 所述方法还包括: 接收所述本地节点发送的将所述数据操作序列集 合列表进行随机 10合并顺序 10操作后的数据操作序列集合列表;
则向所述本地节点发送所述数据操作序列集合列表对应的数据具体为:向 所述本地节点发送所述随机 10合并顺序 10操作后的数据操作序列集合列表对 应的数据。
17、 如权利要求 10至 16任一所述的方法, 其特征在于, 还包括: 接收本地节点的 log数据操作序列请求;
根据所述 log数据操作序列请求,向所述本地节点发送 log数据操作序列 列表,
根据所述 log数据操作序列列表,向所述本地节点发送所述 log数据操作 序列列表对应的数据。
18、 一种节点, 其特征在于, 包括:
接收单元,用于接收目标节点根据所述节点的数据操作序列集合的版本值 发送的数据操作序列集合列表,以及用于接收所述目标节点发送的所述数据操 作序列集合列表对应的数据;
更新单元,用于根据所述数据操作序列集合列表以及所述数据操作序列集 合列表对应的数据, 更新所述节点的数据。
19、 如权利要求 18所述的节点, 其特征在于, 还包括:
发送单元,用于向所述目标节点发送所述节点的数据操作序列集合的版本 值。
20、 如权利要求 19所述的节点, 其特征在于, 还包括:
向量合并单元,用于将所述接收单元接收的所述数据操作序列集合列表进 行向量合并操作;
发送单元还用于向所述目标节点发送所述向量合并操作后的数据操作序 列集合列表;
则所述接收单元接收的数据操作序列集合列表对应的数据具体为:所述进 行向量合并操作后的数据操作序列集合列表对应的数据。
21、 如权利要求 19或 20所述的节点, 其特征在于, 还包括:
合并单元,用于将所述接收单元接收的所述数据操作序列集合列表进行随 机 10合并顺序 10操作; 据操作序列集合列表;
则所述接收单元接收的数据操作序列集合列表对应的数据具体为:所述随 机 10合并顺序 10操作后的数据操作序列集合列表对应的数据。
22、 如权利要求 18或 19所述的节点, 其特征在于, 所述接收单元接收的 所述目标节点发送的所述数据操作序列集合列表对应的数据具体为:接收所述 目标节点发送的所述目标节点对所述数据操作序列集合列表进行向量合并操 作后的数据操作序列集合列表对应的数据。
23、 如权利要求 18、 19或 22所述的节点, 其特征在于, 所述接收单元接 收的所述目标节点发送的所述数据操作序列集合列表对应的数据具体为:接收 所述目标节点发送的所述目标节点对所述数据操作序列集合列表进行随机 10 合并为顺序 10操作后的数据操作序列集合列表对应的数据。
24、 如权利要求 18至 23任一所述的节点, 其特征在于,
所述更新单元还用于将所述接收单元接收的所述数据操作序列集合列表 更新到所述节点的操作记录文件。
25、 如权利要求 18至 24任一所述的节点, 其特征在于,
所述接收单元,还用于接收所述目标节点发送的 log操作序列列表, 以及 还用于接收所述目标节点发送的所述 log操作序列列表对应的数据;
所述更新单元,还用于根据所述 log操作序列列表和所述 log操作序列列 表对应的数据, 更新所述节点的数据。
26、 一种节点, 其特征在于, 包括:
接收单元, 用于接收本地节点数据操作序列集合的版本值;
发送单元 , 用于根据所述版本值, 向所述本地节点发送数据操作序列集合 列表和所述数据操作序列集合列表对应的数据。
27、 如权利要求 26所述的节点, 其特征在于, 还包括:
查找生成单元, 用于根据所述版本值, 查找目标节点的操作记录文件中版 本值大于所述本地节点的数据操作序列集合的版本值的数据操作序列集合,并 选择与所述本地节点相关的数据操作序列集合生成所述数据操作序列集合列 表。
28、 如权利要求 26或 27所述的节点, 其特征在于, 所述接收单元还用于 接收所述本地节点发送的将所述数据操作序列集合列表进行向量合并操作后 的数据操作序列集合列表;
则所述发送单元发送的所述数据操作序列集合列表对应的数据具体为:所 述向量合并操作后的数据操作序列集合列表对应的数据。
29、 如权利要求 26至 28任一所述的节点, 其特征在于, 所述接收单元还 用于接收所述本地节点发送的将所述数据操作序列集合列表进行随机 10合并 顺序 10操作后的数据操作序列集合列表;
则所述发送单元发送的所述数据操作序列集合列表对应的数据具体为:所 述随机 10合并顺序 10操作后的数据操作序列集合列表对应的数据。
30、 如权利要求 26或 27所述的节点, 其特征在于, 还包括:
向量合并单元, 用于将所述数据操作序列集合列表进行向量合并操作; 则所述发送单元用于向所述本地节点发送所述数据操作序列集合列表对 应的数据具体为:用于向所述本地节点发送所述进行向量合并操作后的数据操 作序列集合列表对应的数据。
31、 如权利要求 26、 27或 30所述的节点, 其特征在于, 还包括: 合并单元, 用于将所述数据操作序列集合列表进行随机 10合并顺序 10 操作;
则所述发送单元用于向所述本地节点发送所述数据操作序列集合列表对 后的数据操作序列集合列表对应的数据。
32、 如权利要求 26至 31任一所述的节点, 其特征在于,
所述接收单元还用于接收本地节点的 log数据操作序列请求;
所述发送单元还用于根据所述 log数据操作序列请求,向所述本地节点发 送 log数据操作序列列表, 以及根据所述 log数据操作序列列表, 向所述本地 节点发送所述 log数据操作序列列表对应的数据。
33、 一种分布式存储数据恢复系统, 其特征在于, 包括:
本地节点,用于接收目标节点根据所述本地节点的数据操作序列集合的版 本值发送的数据操作序列集合列表,以及用于接收所述目标节点发送的所述数 据操作序列集合列表对应的数据,还用于根据所述数据操作序列集合列表以及 所述数据操作序列集合列表对应的数据, 更新所述节点的数据;
所述目标节点, 用于接收所述本地节点的数据操作序列集合的版本值,根 据所述版本值, 向所述本地节点发送数据操作序列集合列表, 和所述数据操作 序列集合列表对应的数据。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2011/084219 WO2013091162A1 (zh) | 2011-12-19 | 2011-12-19 | 一种分布式存储数据恢复方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103262042A true CN103262042A (zh) | 2013-08-21 |
CN103262042B CN103262042B (zh) | 2016-03-30 |
Family
ID=48667625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180003086.8A Active CN103262042B (zh) | 2011-12-19 | 2011-12-19 | 一种分布式存储数据恢复方法、装置及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN103262042B (zh) |
WO (1) | WO2013091162A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108268357A (zh) * | 2016-12-30 | 2018-07-10 | 阿里巴巴集团控股有限公司 | 实时数据处理方法和装置 |
CN109788077A (zh) * | 2019-03-27 | 2019-05-21 | 上海爱数信息技术股份有限公司 | 一种支持集群的云备份系统及其方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105320577B (zh) * | 2014-06-11 | 2018-09-04 | 中国移动通信集团公司 | 一种数据备份和恢复方法、系统及装置 |
CN106294211B (zh) * | 2016-08-08 | 2019-05-28 | 浪潮(北京)电子信息产业有限公司 | 一种多路顺序流的检测方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1720715A (zh) * | 2002-12-03 | 2006-01-11 | 纳格拉影像股份有限公司 | 用于保证软件更新的方法 |
CN1835641A (zh) * | 2006-04-21 | 2006-09-20 | 江苏移动通信有限责任公司 | 客户端与服务器实现数据同步的方法和系统 |
CN101546269A (zh) * | 2008-03-28 | 2009-09-30 | 鸿富锦精密工业(深圳)有限公司 | 可执行文件版本更新系统及方法 |
CN101699399A (zh) * | 2009-11-03 | 2010-04-28 | 中兴通讯股份有限公司 | 一种软件更新的系统和方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE510050C2 (sv) * | 1997-07-21 | 1999-04-12 | Ericsson Telefon Ab L M | Metod för insamlande av logginformation vid förändring av databas |
CN101593185A (zh) * | 2008-05-29 | 2009-12-02 | 国际商业机器公司 | 利用同步进行数据恢复的方法和系统 |
CN101996108B (zh) * | 2009-08-18 | 2013-05-08 | 中兴通讯股份有限公司 | 一种分布式环境的备份和恢复方法及其系统 |
US8156368B2 (en) * | 2010-02-22 | 2012-04-10 | International Business Machines Corporation | Rebuilding lost data in a distributed redundancy data storage system |
CN101794247A (zh) * | 2010-03-26 | 2010-08-04 | 天津理工大学 | 嵌套事务模型下实时数据库故障恢复方法 |
CN101807210B (zh) * | 2010-04-26 | 2015-04-01 | 中兴通讯股份有限公司 | 一种数据库间数据同步的方法、系统及设备 |
CN102156720A (zh) * | 2011-03-28 | 2011-08-17 | 中国人民解放军国防科学技术大学 | 一种数据恢复的方法、装置和系统 |
-
2011
- 2011-12-19 CN CN201180003086.8A patent/CN103262042B/zh active Active
- 2011-12-19 WO PCT/CN2011/084219 patent/WO2013091162A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1720715A (zh) * | 2002-12-03 | 2006-01-11 | 纳格拉影像股份有限公司 | 用于保证软件更新的方法 |
CN1835641A (zh) * | 2006-04-21 | 2006-09-20 | 江苏移动通信有限责任公司 | 客户端与服务器实现数据同步的方法和系统 |
CN101546269A (zh) * | 2008-03-28 | 2009-09-30 | 鸿富锦精密工业(深圳)有限公司 | 可执行文件版本更新系统及方法 |
CN101699399A (zh) * | 2009-11-03 | 2010-04-28 | 中兴通讯股份有限公司 | 一种软件更新的系统和方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108268357A (zh) * | 2016-12-30 | 2018-07-10 | 阿里巴巴集团控股有限公司 | 实时数据处理方法和装置 |
US11635985B2 (en) | 2016-12-30 | 2023-04-25 | Alibaba Group Holding Limited | Using degree of completeness of real-time data to maximize product revenue |
CN109788077A (zh) * | 2019-03-27 | 2019-05-21 | 上海爱数信息技术股份有限公司 | 一种支持集群的云备份系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103262042B (zh) | 2016-03-30 |
WO2013091162A1 (zh) | 2013-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104166606B (zh) | 文件备份方法和主存储设备 | |
CN103116661B (zh) | 一种数据库的数据处理方法 | |
JP4075203B2 (ja) | データバックアップシステム | |
CN106021016A (zh) | 在快照之间的虚拟时间点访问 | |
CN102902762B (zh) | 一种删除重复数据的方法、装置和系统 | |
CN106407224B (zh) | 一种键值存储系统中文件压实的方法和装置 | |
CN101739313A (zh) | 一种连续数据保护和恢复方法 | |
CN105760245B (zh) | 一种存储数据的方法及装置 | |
CN103778034A (zh) | 基于云存储的数据备份容灾方法及系统 | |
CN103262042A (zh) | 一种分布式存储数据恢复方法、装置及系统 | |
CN102663058A (zh) | 一种分布式网络爬虫系统中的url去重方法 | |
CN102521269A (zh) | 一种基于索引的计算机连续数据保护方法 | |
CN112947856B (zh) | 一种内存数据的管理方法、装置、计算机设备及存储介质 | |
CN103902405B (zh) | 一种准连续性数据复制方法及装置 | |
CN101183979B (zh) | 一种配置备份的方法和装置 | |
CN100421427C (zh) | 维护邻居表项的方法 | |
CN105518641A (zh) | 点对点数据复制方法、设备和系统以及主节点切换方法、设备和系统 | |
CN106933836A (zh) | 一种基于分表的数据存储方法和系统 | |
CN103299296A (zh) | 一种分布式存储系统中分区管理方法、设备及系统 | |
CN101771548A (zh) | 文件同步方法及系统 | |
CN107678892A (zh) | 基于跳跃恢复链的连续数据保护方法 | |
CN106775481B (zh) | 数据读取方法及设备 | |
CN103500129A (zh) | 一种备份对象的发送、备份方法、生产端、灾备端及系统 | |
CN101771567A (zh) | 自主内存数据库基于日志的数据持久或双机热备方法 | |
CN108959614A (zh) | 一种快照管理方法、系统、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220223 Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province Patentee after: Huawei Cloud Computing Technologies Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
TR01 | Transfer of patent right |