CN102938778A - 一种在云存储中实现多节点容灾的方法 - Google Patents
一种在云存储中实现多节点容灾的方法 Download PDFInfo
- Publication number
- CN102938778A CN102938778A CN 201210398897 CN201210398897A CN102938778A CN 102938778 A CN102938778 A CN 102938778A CN 201210398897 CN201210398897 CN 201210398897 CN 201210398897 A CN201210398897 A CN 201210398897A CN 102938778 A CN102938778 A CN 102938778A
- Authority
- CN
- China
- Prior art keywords
- data
- center
- module
- centers
- xor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 9
- 238000011084 recovery Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 239000012467 final product Substances 0.000 claims description 3
- 238000013524 data verification Methods 0.000 abstract 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种在云存储中实现多节点容灾的方法，云存储中设置数据校验模块、数据分发模块、数据恢复模块和若干数据中心，每个数据中心均部署有数据校验模块、数据分发模块、数据恢复模块，各数据中心通过数据校验模块、数据分发模块、数据恢复模块同时相互备份同一个量级的数据中心的备份容灾数据，无论哪个数据中心的数据发生损坏,损坏数据的数据中心的数据都能通过其他三个数据中心的数据,进行反向计算,重新恢复出来。
Description
技术领域
本发明涉及计算机存储数据传输领域, 具体地说是一种在云存储中实现多节点容灾的方法。
背景技术
目前在云存储的应用中,往往会碰到一些非常常见但又很难实现的容灾需求,比如,我们的云存储中心是由分散在全国多个地方的分中心组成,分中心数据全部都需要备份容灾,也就对我们提出一个很大挑战,如果用户有10个数据中心,那我们必须另外建立10个中心量级的备份中心,也就是说不管我们采用什么方式,是新建数据中心,还是在多个中心通过增加容量进行数据互备,我们需要投入再多一倍的成本去实现数据的异地容灾,而这不管是对成本还是技术来讲都几乎是不可行的.图1是传统容灾的拓扑结构图: 从上图中,可以看到这种典型容灾结构的框架,途中两台AS8000,就是等量的数据备份容灾。
本发明的方法就是针对此类问题来展开的研究,通过本发明方法,不管有多少数据中心,只需要增加一个数据中心的量就能实现所有中心的数据容灾,并可以保证任何数据中心的损坏,都可以通过其他数据中心进行恢复。
发明内容
本发明的目的是提供一种在云存储中实现多节点容灾的方法。
本发明的目的是按以下方式实现的，云存储中设置数据校验模块、数据分发模块、数据恢复模块和若干数据中心，每个数据中心均部署有数据校验模块、数据分发模块、数据恢复模块，各数据中心通过数据校验模块、数据分发模块、数据恢复模块同时相互备份同一个量级的数据中心的备份容灾数据，无论哪个数据中心的数据发生损坏,损坏数据的数据中心的数据都能通过其他三个数据中心的数据,进行反向计算,重新恢复出来，具体步骤如下：
各数据中在运行中都会不断的产生大量数据,数据中心A在写完一个数据位后,会主动的将自己的这一位数据传输到B, B根据自己数据位的数据进行异或运算,如果B的数据位为空,也就是没有数据,那么就等待直到B中有新的数据,在异或运算完毕后,将计算结果往下一个数据中心传递,直到最后一个数据中心将异或运算的结果储存起来；
出现故障的数据中心在数据恢复的时候,只需要根据其他数据中心的相应数据位,进行异或运作得到相应结果即可。
本发明的有益效果是：因为只需要一个数据中心的容量就能解决所有的问题,所以这大大降低了容灾费用,有利于用户的数据中心的大面积部署；由于数据恢复是通过所有的数据中心共同参与完成,这很大程度上避免原来那种点点恢复方式的负荷,有利于保证客户应用的正常运行.本发明的核心是,打破传统容灾只能通过数据备份、复制、镜像等实现的方式,在数据节点之间引入校验机制,从而实现了多节点的数据的相互校验和存储,从而实现任何一方节点数据损坏都能通过其他各方校验计算进行数据还原。
附图说明
图1是传统数据中心的系统结构示意图；
图2是具有容灾功能的数据中心系统的结构示意图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
参照上图所示,设有 ABCD四个数据中心,右侧为中心内所存储数据,在数据中心D中,存储的其他三个中心对应的校验后的信息,也就是我们把本来需要3个中心进行备份容灾的数据方案,现在只需要一个和其他数据中心一个量级的中心就能实现容载,从图中所采用的异或校验机制,我们可以看到,无论ABCD哪个数据中发生损坏,该中心的数据都能通过其他三个中心的数据,进行反向计算,重新恢复出来。
实施例
本发明具体的实施方式其实可以在数据写入时完成,我们还是以上图所示例子进行描述,各数据中在运行中都会不断的产生大量数据,例如数据中心A在写完一个数据位后,会主动的将自己的这一位数据传输到数据中心B, 数据中心B根据自己数据位的数据进行异或运算,如果该数据位为空,也就是没有数据,那么就等待直到数据中心B中有新的数据,在异或运算完毕后,将计算结果往下一个数据中心传递,直到最后数据中心将异或运算的结果储存起来为止。
在数据恢复的时候,就简单了许多,只需要根据其他数据中心的相应数据位,进行异或运作得到相应结果即可。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (1)
1.一种在云存储中实现多节点容灾的方法, 其特征在于云存储中设置数据校验模块、数据分发模块、数据恢复模块和若干数据中心，每个数据中心均部署有数据校验模块、数据分发模块、数据恢复模块，各数据中心通过数据校验模块、数据分发模块、数据恢复模块同时相互备份同一个量级的数据中心的备份容灾数据，无论哪个数据中心的数据发生损坏,损坏数据的数据中心的数据都能通过其他三个数据中心的数据,进行反向计算,重新恢复出来，具体步骤如下：
各数据中在运行中都会不断的产生大量数据,数据中心A在写完一个数据位后,会主动的将自己的这一位数据传输到B, B根据自己数据位的数据进行异或运算,如果B的数据位为空,也就是没有数据,那么就等待直到B中有新的数据,在异或运算完毕后,将计算结果往下一个数据中心传递,直到最后一个数据中心将异或运算的结果储存起来；
出现故障的数据中心在数据恢复的时候,只需要根据其他数据中心的相应数据位,进行异或运作得到相应结果即可。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201210398897 CN102938778A (zh) | 2012-10-19 | 2012-10-19 | 一种在云存储中实现多节点容灾的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201210398897 CN102938778A (zh) | 2012-10-19 | 2012-10-19 | 一种在云存储中实现多节点容灾的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102938778A true CN102938778A (zh) | 2013-02-20 |
Family
ID=47697646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201210398897 Pending CN102938778A (zh) | 2012-10-19 | 2012-10-19 | 一种在云存储中实现多节点容灾的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102938778A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103841177A (zh) * | 2013-11-08 | 2014-06-04 | 汉柏科技有限公司 | 一种云计算基于网格化的数据存储系统和方法 |
| CN104516795A (zh) * | 2015-01-15 | 2015-04-15 | 浪潮(北京)电子信息产业有限公司 | 一种数据存取方法及系统 |
| WO2015085529A1 (zh) * | 2013-12-12 | 2015-06-18 | 华为技术有限公司 | 数据复制方法、数据复制装置和存储设备 |
| CN105959338A (zh) * | 2016-03-23 | 2016-09-21 | 哈尔滨工程大学 | 一种三维立体模型式的云存储多节点数据恢复方法 |
| CN107632994A (zh) * | 2016-07-19 | 2018-01-26 | 普天信息技术有限公司 | 一种基于hdfs文件系统的可靠性增强方法和系统 |
| CN110351122A (zh) * | 2019-06-17 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 容灾方法、装置、系统与电子设备 |
-
2012
- 2012-10-19 CN CN 201210398897 patent/CN102938778A/zh active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103841177A (zh) * | 2013-11-08 | 2014-06-04 | 汉柏科技有限公司 | 一种云计算基于网格化的数据存储系统和方法 |
| WO2015085529A1 (zh) * | 2013-12-12 | 2015-06-18 | 华为技术有限公司 | 数据复制方法、数据复制装置和存储设备 |
| CN104516795A (zh) * | 2015-01-15 | 2015-04-15 | 浪潮(北京)电子信息产业有限公司 | 一种数据存取方法及系统 |
| CN105959338A (zh) * | 2016-03-23 | 2016-09-21 | 哈尔滨工程大学 | 一种三维立体模型式的云存储多节点数据恢复方法 |
| CN105959338B (zh) * | 2016-03-23 | 2019-04-19 | 哈尔滨工程大学 | 一种三维立体模型式的云存储多节点数据恢复方法 |
| CN107632994A (zh) * | 2016-07-19 | 2018-01-26 | 普天信息技术有限公司 | 一种基于hdfs文件系统的可靠性增强方法和系统 |
| CN107632994B (zh) * | 2016-07-19 | 2021-05-25 | 普天信息技术有限公司 | 一种基于hdfs文件系统的可靠性增强方法和系统 |
| CN110351122A (zh) * | 2019-06-17 | 2019-10-18 | 腾讯科技（深圳）有限公司 | 容灾方法、装置、系统与电子设备 |
| CN110351122B (zh) * | 2019-06-17 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 容灾方法、装置、系统与电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102938778A (zh) | 一种在云存储中实现多节点容灾的方法 | |
| CN102664923A (zh) | 一种利用Linux全局文件系统实现共享存储池的方法 | |
| CN102591744B (zh) | 从任何群集节点的数据的备份和还原 | |
| CN102841759B (zh) | 一种针对超大规模虚拟机集群的存储系统 | |
| CN103778034A (zh) | 基于云存储的数据备份容灾方法及系统 | |
| CN104965850A (zh) | 一种基于开源技术的数据库高可用实现方法 | |
| CN102164177A (zh) | 一种集群共享存储池的方法、装置及系统 | |
| CN101673289B (zh) | 分布式文件存储构架的构建方法和装置 | |
| CN102981933A (zh) | 物联网感知层的数据增量备份方法及系统 | |
| CN102521072A (zh) | 虚拟磁带库设备及数据恢复方法 | |
| CN107729177A (zh) | 基于云存储的备份数据存储管理方法、装置和系统 | |
| CN101986276B (zh) | 文件存储方法、文件恢复方法、系统及服务器 | |
| CN103647850A (zh) | 一种分布式版本控制系统的数据处理方法、设备及系统 | |
| CN104333586A (zh) | 一种基于光纤链路的san存储设计方法 | |
| CN103023996A (zh) | 一种云数据存储系统 | |
| Sridevi | Recovery of Data in Cluster Computing By Using Fault Tolerant Mechanisms | |
| CN102820998B (zh) | 实现面向办公应用的双机容错服务系统及其数据存储方法 | |
| CN102780769A (zh) | 一种基于云计算平台的容灾存储方法 | |
| CN105573672B (zh) | 一种基于nfs的虚拟化存储方法和系统 | |
| CN103281400A (zh) | 用于云存储网关的数据切分编码和恢复方法 | |
| CN106027638A (zh) | 一种基于混合编码的hadoop数据分发方法 | |
| CN107273246A (zh) | 一种服务器系统备份方法及装置 | |
| CN105224496A (zh) | 一种动态可重构系统 | |
| CN107329701A (zh) | 一种存储系统中双活卷的创建方法、装置及系统 | |
| CN104932837B (zh) | 一种存储池架构 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130220 |