CN105242988A - 分布式文件系统和分布式文件系统的数据备份方法 - Google Patents
分布式文件系统和分布式文件系统的数据备份方法 Download PDFInfo
- Publication number
- CN105242988A CN105242988A CN201510654032.8A CN201510654032A CN105242988A CN 105242988 A CN105242988 A CN 105242988A CN 201510654032 A CN201510654032 A CN 201510654032A CN 105242988 A CN105242988 A CN 105242988A
- Authority
- CN
- China
- Prior art keywords
- local
- server
- metalogger
- file
- management server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000007726 management method Methods 0.000 claims abstract description 50
- 238000013500 data storage Methods 0.000 claims abstract description 15
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于数据存储技术领域，公开了一种分布式文件系统，包括文件同步服务器SyncServer、异地管理服务器Master、异地数据存储服务器ChunkServer、异地元数据日志服务器Metalogger、DNS智能解析器，当本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger宕机时，DNS智能解析器将用户端切换到与异地管理服务器Master连接，提供给用户端与本地管理服务器Master同样的服务。同时本发明还公开了分布式文件系统的数据备份方法，提高了同步效率。
Description
技术领域
本发明属于数据存储技术领域，涉及一种分布式文件系统，以及分布式文件系统的数据备份方法。
背景技术
分布式文件系统与普通文件系统不同，分布式文件系统除了存储实际数据，还要存储标识数据所在副本位置的元数据。这意味着传统的只备份实际数据的方式对分布式文件系统并不适用，以数据块信息为例，数据块信息上标识有磁盘信息与存储节点信息，磁盘信息是唯一的，如果A地机房发生灾难，即使将数据块信息与数据都备份到B地，也无法找到匹配的磁盘，即备份过去的元数据无效；因此，分布式文件系统只能采用内部自有的备份机制对元数据和实际数据进行备份。
典型的GPFS用双重附带的RAID控制器,同时使用替代机制支持容错，Lustre提供两个MDS来支持元数据服务器的容错,同时支持MDS的并行化,而PVFS和NFS的设计没有考虑容错。
现有的分布式文件系统并没有考虑到异地容灾，但随着企业规模的扩展，用户原有意识中的数据备份已经无法满足关键业务对系统的可用性、实时性、安全性的需要。更重要的是备份的数据往往会因为各种因素而遭到毁坏，如地震、火灾、丢失等。
发明内容
发明目的：本发明的目的是为了解决现有技术中的分布式文件系统不具备异地容灾功能的问题，提供了一种安全、可靠的分布式文件系统，并提出了分布式文件系统的数据备份方法。
技术方案：本发明所述的分布式文件系统，其目的是这样实现的，
一种分布式文件系统，包括本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger、DNS智能解析器，所述本地管理服务器Master通过DNS智能解析器与用户端连接并提供用户端服务，同时通过指令管理本地数据存储服务器ChunkServer；所述本地元数据日志服务器Metalogger通过指令备份本地管理服务器Master的日志文件，所述分布式文件系统还包括异地管理服务器Master、异地数据存储服务器ChunkServer、异地元数据日志服务器Metalogger和文件同步服务器SyncServer，
所述异地元数据日志服务器Metalogger通过文件同步服务器SyncServer同步本地元数据日志服务器Metalogger的日志文件；
所述异地数据存储服务器ChunkServer通过文件同步服务器SyncServer同步本地数据存储服务器ChunkServer的数据；
当本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger宕机时，所述DNS智能解析器将用户端切换到与异地管理服务器Master连接，通过异地管理服务器Master管理用户端，提供用户端与本地管理服务器Master同样的服务。
一种分布式文件系统的数据备份方法，包括以下步骤：
①系统初始化；
②文件同步服务器SyncServer向本地管理服务器Master发送访问请求；
③本地管理服务器Master在接收到请求时生成changelog日志，提取并解析changelog日志中的关键字，将结果存入文件同步服务器SyncServer的文件操作表中，在文件操作表中设置一个计数值，对在这个值范围内的同一文件操作进行合并，生成文件操作聚合表；所述文件同步服务器SyncServer取出文件操作聚合表中的内容，并执行相应的操作，包括：
将本地元数据日志服务器Metalogger的日志文件备份至异地元数据日志服务器Metalogger；
将本地数据存储服务器ChunkServer的数据备份至异地数据存储服务器ChunkServer；
④文件同步服务器SyncServer定期对本地元数据日志服务器Metalogger和异地元数据日志服务器Metalogger的日志文件进行对比，如发现本地元数据日志服务器Metalogger的日志文件增多时，进行步骤②-③的过程，其中，步骤③中，对新生成的changelog日志进行提取并解析，对原来的changelog日志不再进行操作，采用增量同步方式同步数据，提高了同步效率。
有益效果：本发明所述的分布式文件系统通过在不同地点建立备份系统，将本地的数据实时备份到异地服务器中，可以通过异地备份的数据进行远程恢复，也可以在异地进行数据回退，异地备份，从而进一步提高数据抵抗各种可能安全因素的容灾能力，提高了系统的安全性和可靠性。
本发明所述的分布式文件系统的数据备份方法，在系统初始化时，采用全量同步方式进行多线程备份；在系统初始化后，对changelog日志采用增量同步方式，只对增量部分进行备份，没有重复的备份数据，提高了同步效率。
附图说明
图1是本发明所述的分布式文件系统的结构示意图；
图2是本发明所述的分布式文件系统的数据备份方法的流程示意图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
参见图1图2所示，一种分布式文件系统，用于生产中心的文件灾备系统,包括设置于生产中心的本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger,设于灾备中心的异地管理服务器Master、异地数据存储服务器ChunkServer、异地元数据日志服务器Metalogger,连接本地管理服务器Master与异地管理服务器Master的文件同步服务器SyncServer,以及与本地管理服务器Master和异地管理服务器Master均相连的DNS智能解析器和用户端。
所述本地管理服务器Master通过DNS智能解析器与用户端连接并提供用户端服务，同时通过指令管理本地数据存储服务器ChunkServer；
所述本地元数据日志服务器Metalogger通过指令备份本地管理服务器Master的日志文件；
所述异地元数据日志服务器Metalogger通过文件同步服务器SyncServer同步本地元数据日志服务器Metalogger的日志文件；
所述异地数据存储服务器ChunkServer通过文件同步服务器SyncServer同步本地数据存储服务器ChunkServer的数据；
当本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger宕机时，所述DNS智能解析器将用户端切换到与异地管理服务器Master连接，通过异地管理服务器Master管理用户端，由于异地元数据日志服务器Metalogger的日志文件与本地元数据日志服务器Metalogger的日志文件相同，异地数据存储服务器ChunkServer的数据与本地数据存储服务器ChunkServer的数据相同，故提异地管理服务器Master能提供给用户端与本地管理服务器Master同样的服务。
参照图2，其数据备份方法如下：
系统建成初期，完成以下步骤：
S1.系统初始化，系统各部分加电连接，此时各部分均正常连接；
S2.文件同步服务器SyncServer向本地管理服务器Master发送访问请求，具体为文件同步服务器SyncServer向本地管理服务器Master发送报文，请求changelog日志数据；
S3.本地管理服务器Master在接收到请求后，从固化文件池中取出批量的数据发送给文件同步服务器SyncServer(图2中线程1)；同时本地管理服务器Master将changelog日志内容写入缓存，当缓存写满时，自动将内容按行追加到固化文件池队尾，固化文件池按照先进先出原则，逐一记录changelog日志中的各项系统指令(图2中线程2)；
S4.文件同步服务器SyncServer提取并解析changelog日志中的关键字，将结果存入文件同步服务器SyncServer的文件操作表中，在文件操作表中设置一个计数值，对在这个值范围内的同一文件操作进行合并，生成文件操作聚合表；所述文件同步服务器SyncServer取出文件操作聚合表中的内容，并执行相应的操作，包括：
将本地元数据日志服务器Metalogger的日志文件通过同步工具备份至异地元数据日志服务器Metalogger；
将本地数据存储服务器ChunkServer的数据通过同步工具备份至异地数据存储服务器ChunkServer；
S5.文件同步服务器SyncServer定期对本地元数据日志服务器Metalogger和异地元数据日志服务器Metalogger的日志文件进行对比，如发现本地元数据日志服务器Metalogger的日志文件增多时，进行步骤S2-S3的过程，其中，步骤S3中，对新生成的changelog日志进行提取并解析，对原来的changelog日志不再进行操作，采用增量同步方式提高了同步效率性能。
正常应用时，用户端通过DNS智能解析器与生产中心的本地管理服务器Master通信；当系统中生产中心的本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger宕机时，DNS智能解析器将用户端切换到与异地管理服务器Master连接，通过异地管理服务器Master管理用户端，由于异地元数据日志服务器Metalogger的日志文件与本地元数据日志服务器Metalogger的日志文件相同，异地数据存储服务器ChunkServer的数据与本地数据存储服务器ChunkServer的数据相同，故提异地管理服务器Master能提供给用户端与本地管理服务器Master同样的服务。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.一种分布式文件系统，包括本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger、DNS智能解析器，所述本地管理服务器Master通过DNS智能解析器与用户端连接并提供用户端服务，同时通过指令管理本地数据存储服务器ChunkServer；所述本地元数据日志服务器Metalogger通过指令备份本地管理服务器Master的日志文件，其特征在于：所述分布式文件系统还包括异地管理服务器Master、异地数据存储服务器ChunkServer、异地元数据日志服务器Metalogger和文件同步服务器SyncServer，
所述异地元数据日志服务器Metalogger通过文件同步服务器SyncServer同步本地元数据日志服务器Metalogger的日志文件；
所述异地数据存储服务器ChunkServer通过文件同步服务器SyncServer同步本地数据存储服务器ChunkServer的数据；
当本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger宕机时，所述DNS智能解析器将用户端切换到与异地管理服务器Master连接，通过异地管理服务器Master管理用户端，提供用户端与本地管理服务器Master同样的服务。
2.一种如权利要求1所述的分布式文件系统的数据备份方法，其特征在于，包括以下步骤：
①系统初始化；
②文件同步服务器SyncServer向本地管理服务器Master发送访问请求；
③本地管理服务器Master在接收到请求时生成changelog日志，提取并解析changelog日志中的关键字，将结果存入文件同步服务器SyncServer的文件操作表中，在文件操作表中设置一个计数值，对在这个值范围内的同一文件操作进行合并，生成文件操作聚合表；所述文件同步服务器SyncServer取出文件操作聚合表中的内容，并执行相应的操作，包括：
将本地元数据日志服务器Metalogger的日志文件备份至异地元数据日志服务器Metalogger；
将本地数据存储服务器ChunkServer的数据备份至异地数据存储服务器ChunkServer；
④文件同步服务器SyncServer定期对本地元数据日志服务器Metalogger和异地元数据日志服务器Metalogger的日志文件进行对比，如发现本地元数据日志服务器Metalogger的日志文件增多时，进行步骤②-③的过程，其中，步骤③中，对新生成的changelog日志进行提取并解析，采用增量同步方式同步数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510654032.8A CN105242988B (zh) | 2015-10-10 | 2015-10-10 | 分布式文件系统和分布式文件系统的数据备份方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510654032.8A CN105242988B (zh) | 2015-10-10 | 2015-10-10 | 分布式文件系统和分布式文件系统的数据备份方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105242988A true CN105242988A (zh) | 2016-01-13 |
| CN105242988B CN105242988B (zh) | 2018-02-02 |
Family
ID=55040641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510654032.8A Active CN105242988B (zh) | 2015-10-10 | 2015-10-10 | 分布式文件系统和分布式文件系统的数据备份方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105242988B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106341454A (zh) * | 2016-08-23 | 2017-01-18 | 世纪龙信息网络有限责任公司 | 跨机房多活分布式数据库管理系统和方法 |
| CN108197170A (zh) * | 2017-12-20 | 2018-06-22 | 五八有限公司 | 主从同步方法、装置、主服务器及存储介质 |
| CN109150754A (zh) * | 2018-08-16 | 2019-01-04 | 黄疆 | 可调异地容灾队列处理系统及方法 |
| CN111522688A (zh) * | 2019-02-01 | 2020-08-11 | 阿里巴巴集团控股有限公司 | 分布式系统的数据备份方法及装置 |
| CN111913913A (zh) * | 2020-08-07 | 2020-11-10 | 星辰天合（北京）数据科技有限公司 | 访问请求的处理方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070214175A1 (en) * | 2006-03-08 | 2007-09-13 | Omneon Video Networks | Synchronization of metadata in a distributed file system |
| CN101923571B (zh) * | 2010-07-29 | 2013-05-01 | 中兴通讯股份有限公司 | 管理终端数据记录的方法及装置 |
| CN102385624B (zh) * | 2011-10-25 | 2014-01-01 | 曙光信息产业(北京)有限公司 | 一种面向分布式文件系统的日志数据组织的方法 |
| CN102546780B (zh) * | 2011-12-28 | 2014-04-16 | 山东大学 | 一种基于瘦客户端的文件分布式存储的运行方法 |
| CN102890716B (zh) * | 2012-09-29 | 2017-08-08 | 南京中兴新软件有限责任公司 | 分布式文件系统和分布式文件系统的数据备份方法 |
-
2015
- 2015-10-10 CN CN201510654032.8A patent/CN105242988B/zh active Active
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106341454A (zh) * | 2016-08-23 | 2017-01-18 | 世纪龙信息网络有限责任公司 | 跨机房多活分布式数据库管理系统和方法 |
| CN106341454B (zh) * | 2016-08-23 | 2019-09-24 | 世纪龙信息网络有限责任公司 | 跨机房多活分布式数据库管理系统和方法 |
| CN108197170A (zh) * | 2017-12-20 | 2018-06-22 | 五八有限公司 | 主从同步方法、装置、主服务器及存储介质 |
| CN109150754A (zh) * | 2018-08-16 | 2019-01-04 | 黄疆 | 可调异地容灾队列处理系统及方法 |
| CN111522688A (zh) * | 2019-02-01 | 2020-08-11 | 阿里巴巴集团控股有限公司 | 分布式系统的数据备份方法及装置 |
| CN111522688B (zh) * | 2019-02-01 | 2023-09-15 | 阿里巴巴集团控股有限公司 | 分布式系统的数据备份方法及装置 |
| CN111913913A (zh) * | 2020-08-07 | 2020-11-10 | 星辰天合（北京）数据科技有限公司 | 访问请求的处理方法和装置 |
| CN111913913B (zh) * | 2020-08-07 | 2024-02-13 | 北京星辰天合科技股份有限公司 | 访问请求的处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105242988B (zh) | 2018-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11567674B2 (en) | Low overhead resynchronization snapshot creation and utilization | |
| CN105242988A (zh) | 分布式文件系统和分布式文件系统的数据备份方法 | |
| CN103116661B (zh) | 一种数据库的数据处理方法 | |
| CN102891849B (zh) | 业务数据同步方法、恢复方法及装置和网络设备 | |
| CN103345470B (zh) | 一种数据库容灾方法、系统及服务器 | |
| CN102955720B (zh) | 一种提高ext文件系统稳定性的方法 | |
| CN106815097A (zh) | 数据库容灾系统和方法 | |
| CN106776121B (zh) | 一种数据灾备装置、系统及方法 | |
| CN105069160A (zh) | 一种基于自主可控数据库的高可用性方法及构架 | |
| CN101453489B (zh) | 一种网络附加存储装置及其数据备份和数据恢复方法 | |
| CN102833580B (zh) | 基于infiniband的高清视频应用系统及方法 | |
| WO2018098972A1 (zh) | 一种日志恢复方法、存储装置和存储节点 | |
| WO2017041616A1 (zh) | 数据读写方法及装置、双活存储系统及其实现方法 | |
| CN101901250A (zh) | 一种内存数据库及其数据处理方法 | |
| CN104486387B (zh) | 一种数据同步处理方法及系统 | |
| CN102710752A (zh) | 灾备存储系统 | |
| CN102708158A (zh) | 一种PostgreSQL云存储归档调度系统 | |
| CN105468297A (zh) | 一种云存储系统内主从设备数据快速同步的方法 | |
| CN104598568A (zh) | 一种高效、低功耗的离线存储系统及方法 | |
| CN103973727A (zh) | 数据同步方法及装置 | |
| CN102820998B (zh) | 实现面向办公应用的双机容错服务系统及其数据存储方法 | |
| CN103176867A (zh) | 一种快速文件差异备份方法 | |
| CN104850628A (zh) | 一种数据库数据的同步方法及装置 | |
| CN103167035A (zh) | HDFS中NameNode单点失效的解决方法 | |
| CN102841863A (zh) | 采用双硬盘读写操作的数据备援方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Co-patentee after: NARI Group Corp. Patentee after: State Grid Corporation of China Co-patentee after: STATE GRID SHANGHAI MUNICIPAL ELECTRIC POWER Co. Co-patentee after: INFORMATION SYSTEM INTEGRATION BRANCH OF NARI Group Corp. Address before: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Co-patentee before: NARI Group CORPORATION STATE GRID ELECTRIC POWER INSTITUTE Patentee before: State Grid Corporation of China Co-patentee before: STATE GRID SHANGHAI MUNICIPAL ELECTRIC POWER Co. Co-patentee before: INFORMATION SYSTEM INTEGRATION BRANCH OF NARI Group Corp. |