CN108984341A - 一种基于分布式存储系统的数据恢复方法及系统 - Google Patents
一种基于分布式存储系统的数据恢复方法及系统 Download PDFInfo
- Publication number
- CN108984341A CN108984341A CN201810685102.XA CN201810685102A CN108984341A CN 108984341 A CN108984341 A CN 108984341A CN 201810685102 A CN201810685102 A CN 201810685102A CN 108984341 A CN108984341 A CN 108984341A
- Authority
- CN
- China
- Prior art keywords
- data
- recovery
- node
- datarecord
- restored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000011084 recovery Methods 0.000 claims abstract description 64
- 238000005096 rolling process Methods 0.000 claims description 9
- 241001269238 Data Species 0.000 claims 1
- 238000012790 confirmation Methods 0.000 abstract description 2
- 239000002699 waste material Substances 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Retry When Errors Occur (AREA)
Abstract
本发明公开了一种基于分布式存储系统的数据恢复方法，涉及数据恢复技术领域。本发明包括：确定分布式数据存储节点node的备份时间戳timestape与待恢复数据所对应的恢复时间点recovertime不一致的待恢复数存储节点recovernode；根据所述数据操作记录datarecord以及所述待恢复数存储节点recovernode对应的备份数据进行数据恢复。本发明还提供一种基于分布式存储系统的数据恢复系统。本发明通过确认备份时间戳timestape与待恢复数据所对应的恢复时间点recovertime的待恢复数存储节点recovernode同时通过查询配置日志congfigLog并确认数据操作记录datarecord，实现对分布式节点的快速有效的恢复，提高了数据恢复效率，减少数据恢复过程的内存空间的浪费。
Description
技术领域
本发明属于数据恢复技术领域，特别是涉及一种基于分布式存储系统的数据恢复方法及系统。
背景技术
随着互联网的快速发展，分布式节点上的数据的存储与恢复对分布式系统至关重要；传统的数据恢复方式都是在数据备份的基础上进行的。数据备份为全量备份提高了条件，但全量数据的恢复效率不高，数据恢复时间长，占用存储空间大。
本发明致力于发明一种基于分布式存储系统的数据恢复方法及系统，解决分布式节点全量数据备份时存储时间长、存储空间大的问题。
发明内容
本发明的目的在于提供一种基于分布式存储系统的数据恢复方法及系统，通过确认备份时间戳timestape与待恢复数据所对应的恢复时间点recovertime的待恢复数存储节点recovernode同时通过查询配置日志congfigLog并确认数据操作记录datarecord，实现对分布式节点的快速有效的恢复，解决了现有分布式节点全量数据备份时存储时间长、存储空间大的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种基于分布式存储系统的数据恢复方法，所述分布式系统包括若干分布式数据存储节点node，包括如下步骤：
S000：确定分布式数据存储节点node的备份时间戳timestape与待恢复数据所对应的恢复时间点recovertime不一致的待恢复数存储节点recovernode；
S001：查询用于记录各个数据存储节点node对应的元数据信息的配置日志congfigLog获取待恢复数存储节点recovernode所述备份时间戳timestape与所述恢复时间点recovertime之间对应的数据操作记录datarecord；
S002：根据所述数据操作记录datarecord以及所述待恢复数存储节点recovernode对应的备份数据进行数据恢复；
S003：将待恢复数存储节点recovernode的数据操作存储到数据操作记录datarecord。
优选地，S002中根据所述数据操作记录datarecord以及所述待恢复数存储节点recovernode对应的备份数据进行数据恢复具体过程如下：
若所述待恢复数存储节点recovernode对应的备份时间戳timestape早于所述恢复时间点recovertime，则根据所述数据操作记录datarecord对备份数据进行前滚；
若所述待恢复数存储节点recovernode备份时间戳timestape晚于所述恢复时间点recovertime，则根据所述数据操作记录datarecord对备份数据进行回滚；
其中，所述前滚具体包括步骤如下：执行备份时间戳timestape至恢复时间点recovertime间对应的数据操作记录datarecord；
其中，所述前滚具体包括步骤如下：执行恢复时间点recovertime至备份时间戳timestape间对应的数据操作记录datarecord的逆操作。
一种基于分布式存储系统的数据恢复系统，任意节点均包括一致性确定模块、查询模块、数据恢复模块、操作记录模块；所述数据恢复模块分别与一致性确定模块、查询模块、操作记录模块电性连接；所述查询模块分别与一致性确定模块、操作记录模块电性连接；
所述一致性确定模块，用于确定数据存储节点node的备份时间戳timestape与待恢复数据所对应的恢复时间点recovertime；
所述操作记录模块，用于存储数据存储节点node的数据操作记录datarecord至配置日志congfigLog；
所述查询模块，用于根据时间区间查询配置日志congfigLog获取待备份数据对应的数据操作记录datarecord；
所述数据恢复模块，用于执行数据恢复操作；所述数据恢复操作包括数据操作记录datarecord及数据操作记录datarecord的你操作。
优选地，所述时间区间由备份时间戳timestape与恢复时间点recovertime确定。
本发明具有以下有益效果：
本发明通过确认备份时间戳timestape与待恢复数据所对应的恢复时间点recovertime的待恢复数存储节点recovernode同时通过查询配置日志congfigLog并确认数据操作记录datarecord，实现对分布式节点的快速有效的恢复，提高了数据恢复效率，减少数据恢复过程的内存空间的浪费。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于分布式存储系统的数据恢复方法的流程图；
图2为本发明的一种基于分布式存储系统的数据恢复系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种基于分布式存储系统的数据恢复，分布式系统包括若干分布式数据存储节点node，包括如下步骤：
S000：确定分布式数据存储节点node的备份时间戳timestape与待恢复数据所对应的恢复时间点recovertime不一致的待恢复数存储节点recovernode；
S001：查询用于记录各个数据存储节点node对应的元数据信息的配置日志congfigLog获取待恢复数存储节点recovernode备份时间戳timestape与恢复时间点recovertime之间对应的数据操作记录datarecord；
S002：根据数据操作记录datarecord以及待恢复数存储节点recovernode对应的备份数据进行数据恢复；
S003：将待恢复数存储节点recovernode的数据操作存储到数据操作记录datarecord。
其中，S002中根据数据操作记录datarecord以及待恢复数存储节点recovernode对应的备份数据进行数据恢复具体过程如下：
若待恢复数存储节点recovernode对应的备份时间戳timestape早于恢复时间点recovertime，则根据数据操作记录datarecord对备份数据进行前滚；
若待恢复数存储节点recovernode备份时间戳timestape晚于恢复时间点recovertime，则根据数据操作记录datarecord对备份数据进行回滚；
其中，前滚具体包括步骤如下：执行备份时间戳timestape至恢复时间点recovertime间对应的数据操作记录datarecord；
其中，前滚具体包括步骤如下：执行恢复时间点recovertime至备份时间戳timestape间对应的数据操作记录datarecord的逆操作。
请参阅图2所示，一种基于分布式存储系统的数据恢复系统，任意节点均包括一致性确定模块、查询模块、数据恢复模块、操作记录模块；数据恢复模块分别与一致性确定模块、查询模块、操作记录模块电性连接；查询模块分别与一致性确定模块、操作记录模块电性连接；
一致性确定模块，用于确定数据存储节点node的备份时间戳timestape与待恢复数据所对应的恢复时间点recovertime；
操作记录模块，用于存储数据存储节点node的数据操作记录datarecord至配置目志congfigLog；
查询模块，用于根据时间区间查询配置日志congfigLog获取待备份数据对应的数据操作记录datarecord；
数据恢复模块，用于执行数据恢复操作；数据恢复操作包括数据操作记录datarecord及数据操作记录datarecord的你操作。
其中，时间区间由备份时间戳timestape与恢复时间点recovertime确定。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (4)
1.一种基于分布式存储系统的数据恢复方法，所述分布式系统包括若干分布式数据存储节点node，其特征在于，包括如下步骤：
S000：确定分布式数据存储节点node的备份时间戳timestape与待恢复数据所对应的恢复时间点recovertime不一致的待恢复数存储节点recovernode；
S001：查询用于记录各个数据存储节点node对应的元数据信息的配置日志congfigLog获取待恢复数存储节点recovernode所述备份时间戳timestape与所述恢复时间点recovertime之间对应的数据操作记录datarecord；
S002：根据所述数据操作记录datarecord以及所述待恢复数存储节点recovernode对应的备份数据进行数据恢复；
S003：将待恢复数存储节点recovernode的数据操作存储到数据操作记录datarecord。
2.根据权利要求1所述的一种基于分布式存储系统的数据恢复方法，其特征在于，S002中根据所述数据操作记录datarecord以及所述待恢复数存储节点recovernode对应的备份数据进行数据恢复具体过程如下：
若所述待恢复数存储节点recovernode对应的备份时间戳timestape早于所述恢复时间点recovertime，则根据所述数据操作记录datarecord对备份数据进行前滚；
若所述待恢复数存储节点recovernode备份时间戳timestape晚于所述恢复时间点recovertime，则根据所述数据操作记录datarecord对备份数据进行回滚；
其中，所述前滚具体包括步骤如下：执行备份时间戳timestape至恢复时间点recovertime间对应的数据操作记录datarecord；
其中，所述前滚具体包括步骤如下：执行恢复时间点recovertime至备份时间戳timestape间对应的数据操作记录datarecord的逆操作。
3.如权利要求1-2任意一所述的一种基于分布式存储系统的数据恢复系统，其特征在于，任意节点均包括一致性确定模块、查询模块、数据恢复模块、操作记录模块；所述数据恢复模块分别与一致性确定模块、查询模块、操作记录模块电性连接；所述查询模块分别与一致性确定模块、操作记录模块电性连接；
所述一致性确定模块，用于确定数据存储节点node的备份时间戳timestape与待恢复数据所对应的恢复时间点recovertime；
所述操作记录模块，用于存储数据存储节点node的数据操作记录datarecord至配置日志congfigLog；
所述查询模块，用于根据时间区间查询配置日志congfigLog获取待备份数据对应的数据操作记录datarecord；
所述数据恢复模块，用于执行数据恢复操作；所述数据恢复操作包括数据操作记录datarecord及数据操作记录datarecord的你操作。
4.根据权利要求3所述的一种基于分布式存储系统的数据恢复系统，其特征在于，所述时间区间由备份时间戳timestape与恢复时间点recovertime确定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810685102.XA CN108984341A (zh) | 2018-06-16 | 2018-06-16 | 一种基于分布式存储系统的数据恢复方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810685102.XA CN108984341A (zh) | 2018-06-16 | 2018-06-16 | 一种基于分布式存储系统的数据恢复方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108984341A true CN108984341A (zh) | 2018-12-11 |
Family
ID=64539216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810685102.XA Pending CN108984341A (zh) | 2018-06-16 | 2018-06-16 | 一种基于分布式存储系统的数据恢复方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108984341A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112882861A (zh) * | 2021-02-18 | 2021-06-01 | 北京思特奇信息技术股份有限公司 | 一种业务配置数据装载与恢复系统及方法 |
| CN113157492A (zh) * | 2021-04-07 | 2021-07-23 | 北京思特奇信息技术股份有限公司 | 一种分布式数据库的备份方法和恢复方法以及备份系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102594849A (zh) * | 2011-01-06 | 2012-07-18 | 阿里巴巴集团控股有限公司 | 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置 |
| CN107315655A (zh) * | 2017-06-02 | 2017-11-03 | 北京潘达互娱科技有限公司 | 一种实时统计的排行榜数据恢复方法与装置 |
| CN107451013A (zh) * | 2017-06-30 | 2017-12-08 | 北京奇虎科技有限公司 | 基于分布式系统的数据恢复方法、装置及系统 |
-
2018
- 2018-06-16 CN CN201810685102.XA patent/CN108984341A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102594849A (zh) * | 2011-01-06 | 2012-07-18 | 阿里巴巴集团控股有限公司 | 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置 |
| CN107315655A (zh) * | 2017-06-02 | 2017-11-03 | 北京潘达互娱科技有限公司 | 一种实时统计的排行榜数据恢复方法与装置 |
| CN107451013A (zh) * | 2017-06-30 | 2017-12-08 | 北京奇虎科技有限公司 | 基于分布式系统的数据恢复方法、装置及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112882861A (zh) * | 2021-02-18 | 2021-06-01 | 北京思特奇信息技术股份有限公司 | 一种业务配置数据装载与恢复系统及方法 |
| CN112882861B (zh) * | 2021-02-18 | 2023-11-07 | 北京思特奇信息技术股份有限公司 | 一种业务配置数据装载与恢复系统及方法 |
| CN113157492A (zh) * | 2021-04-07 | 2021-07-23 | 北京思特奇信息技术股份有限公司 | 一种分布式数据库的备份方法和恢复方法以及备份系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106021016A (zh) | 在快照之间的虚拟时间点访问 | |
| CN103116661B (zh) | 一种数据库的数据处理方法 | |
| CN102662992B (zh) | 一种海量小文件的存储、访问方法及装置 | |
| CN106294009B (zh) | 数据库归档方法及系统 | |
| CN103186554B (zh) | 分布式数据镜像方法及存储数据节点 | |
| CN102609446B (zh) | 一种分布式Bloom过滤系统及其使用方法 | |
| CN105138281B (zh) | 一种物理磁盘的共享方法及装置 | |
| CN103544077A (zh) | 数据处理方法及装置、共享存储设备 | |
| CN103377100B (zh) | 一种数据备份方法、网络节点及系统 | |
| CN105518641A (zh) | 点对点数据复制方法、设备和系统以及主节点切换方法、设备和系统 | |
| CN105302922B (zh) | 一种分布式文件系统快照实现方法 | |
| CN109144406A (zh) | 分布式存储系统中元数据存储方法、系统及存储介质 | |
| CN103731489A (zh) | 一种数据存储方法、系统和设备 | |
| CN105095103A (zh) | 用于云环境下的存储设备管理方法和装置 | |
| CN102142032A (zh) | 一种分布式文件系统的数据读写方法及系统 | |
| CN109739435A (zh) | 文件存储和更新方法及装置 | |
| CN108984341A (zh) | 一种基于分布式存储系统的数据恢复方法及系统 | |
| CN105306581A (zh) | 一种基于路由器和云盘数据同步的方法 | |
| CN104484460A (zh) | 一种分布式文件系统元数据热度统计方法 | |
| CN103440204B (zh) | 一种更新文件系统的方法和存储设备 | |
| CN104899161A (zh) | 一种基于云存储环境的连续数据保护的缓存方法 | |
| CN104199963A (zh) | HBase数据备份恢复的方法和装置 | |
| CN110515762A (zh) | 数据恢复方法、装置、终端设备及存储介质 | |
| CN109271367A (zh) | 分布式文件系统多节点快照回滚方法及系统 | |
| CN103870571B (zh) | 多维联机分析处理系统中的立方体重构方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181211 |