CN102750195A - 一种集群文件系统数据容错的方法 - Google Patents
一种集群文件系统数据容错的方法 Download PDFInfo
- Publication number
- CN102750195A CN102750195A CN2012101849702A CN201210184970A CN102750195A CN 102750195 A CN102750195 A CN 102750195A CN 2012101849702 A CN2012101849702 A CN 2012101849702A CN 201210184970 A CN201210184970 A CN 201210184970A CN 102750195 A CN102750195 A CN 102750195A
- Authority
- CN
- China
- Prior art keywords
- data
- block
- cluster
- user
- file system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Abstract
本发明提供一种集群文件系统数据容错的方法,包括:客户端模块(1);元数据集群(2);存储服务器集群(3);数据保护模块(4),其中:客户端模块(1)是访问文件系统的入口,负责用户的数据请求;元数据集群(2)负责存储用户数据的元数据部分;数据存储集群(3)提供数据存储单元,负责存储数据,包括去掉元数据之后的数据;数据保护模块(4)的作用是保护用户数据,防止用户数据丢失,数据保护模块(4),能够对用户写入的数据进行校验,并生成相应的校验块,然后把数据和校验块一起进行存储,当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候,通过校验块能够进行数据恢复,从而最大程度的保护数据安全。
Description
技术领域
本发明涉及计算机应用技术领域,通常适用于分布式、并行文件系统中,能够最大化的保证数据不丢失,维护数据一致性。 具体地说是一种集群文件系统数据容错的方法。
背景技术
目前分布式集群文件系统数据容错的方法一般采用副本、复制、或者是借助于阵列上的RAID级别来进行数据保护,基本上分布式文件系统都采用上述几种方法。本发明则是借鉴这些发明基础上,提出一种新的分布式集群文件系统数据容错的方法,能够实现分布式集群文件系统的数据保护。
发明内容
本发明的目的是提供一种集群文件系统数据容错的方法。
本发明的目的是按以下方式实现的,系统包括:客户端模块(1);元数据集群(2);存储服务器集群(3);数据保护模块(4),其中:
客户端模块(1)是访问文件系统的入口,负责用户的数据请求;
元数据集群(2)负责存储用户数据的元数据部分;
数据存储集群(3)提供数据存储单元,负责存储数据,包括去掉元数据之后的数据;
数据保护模块(4)的作用是保护用户数据,防止用户数据丢失,数据保护模块(4),能够对用户写入的数据进行校验,并生成相应的校验块,然后把数据和校验块一起进行存储,当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候,通过校验块能够进行数据恢复,从而最大程度的保护数据安全,具体步骤如下:
1)假设客户端模块(1)要写入的数据位dataFile,并且被分成两个条带stripe1,stripe2;
2)条带stripe1被分成的数据块为D0 ,D1,条带stripe2被分成数据块为D2,D3;
3)数据保护模块(4)会进行校验块生成,数据块D0,D1通过计算生成的校验块为P0,数据块D2,D3生成的校验块为P1;
4)各个数据块和校验块同时写入到磁盘中;
5)假设当数据块D0出现故障,那么数据保护模块(4)会自动根据校验块P0和数据块D1重新计算,从而恢复出数据块D0,这样又保证了数据的完整性,保证数据不丢失。
本发明的有益效果是:适用于分布式集群文件系统,该方法能够极大的提高用户数据的安全性,防止用户数据丢失,是一种智能化的数据安全存储方法。该方法主要创新是在于客户端模块(1)把用户数据分成条带存储,每个条带单元分成多个单位更小的数据块,然后通过数据保护模块(4)把多个数据块进行校验,计算生成校验码。生成的校验码和数据块一起写入到不同的存储服务器集群(3)节点上。这样,当单个存储服务器或者磁盘坏掉的时候,数据保护模块(4)会根据校验块和其他正常的数据块进行计算,重新生成数据,从而保证丢失的数据能够重新恢复出来,保证在集群故障的时候不会出现数据丢失。
附图说明
图1是数据正常写入的情况;
图2 是数据块出现故障,重新恢复的情况。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
系统包括:客户端模块(1);元数据集群(2);存储服务器集群(3);数据保护模块(4),其中:
客户端模块(1)是访问文件系统的入口,负责用户的数据请求;
元数据集群(2)负责存储用户数据的元数据部分;
数据存储集群(3)提供数据存储单元,负责存储数据,包括去掉元数据之后的数据;
数据保护模块(4)的作用是保护用户数据,防止用户数据丢失,数据保护模块(4),能够对用户写入的数据进行校验,并生成相应的校验块,然后把数据和校验块一起进行存储,当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候,通过校验块能够进行数据恢复,从而最大程度的保护数据安全,具体步骤如下:
1)假设客户端模块(1)要写入的数据位dataFile,并且被分成两个条带stripe1,stripe2;
2)条带stripe1被分成的数据块为D0 ,D1,条带stripe2被分成数据块为D2,D3;
3)数据保护模块(4)会进行校验块生成,数据块D0,D1通过计算生成的校验块为P0,数据块D2,D3生成的校验块为P1;
4)各个数据块和校验块同时写入到磁盘中;
5)假设当数据块D0出现故障,那么数据保护模块(4)会自动根据校验块P0和数据块D1重新计算,从而恢复出数据块D0,这样又保证了数据的完整性,保证数据不丢失。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。
Claims (1)
1.一种集群文件系统数据容错的方法, 其特征在于系统包括:客户端模块(1);元数据集群(2);存储服务器集群(3);数据保护模块(4),其中:
客户端模块(1)是访问文件系统的入口,负责用户的数据请求;
元数据集群(2)负责存储用户数据的元数据部分;
数据存储集群(3)提供数据存储单元,负责存储数据,包括去掉元数据之后的数据;
数据保护模块(4)的作用是保护用户数据,防止用户数据丢失,数据保护模块(4),能够对用户写入的数据进行校验,并生成相应的校验块,然后把数据和校验块一起进行存储,当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候,通过校验块能够进行数据恢复,从而最大程度的保护数据安全,具体步骤如下:
1)假设客户端模块(1)要写入的数据位dataFile,并且被分成两个条带stripe1,stripe2;
2)条带stripe1被分成的数据块为D0 ,D1,条带stripe2被分成数据块为D2,D3;
3)数据保护模块(4)会进行校验块生成,数据块D0,D1通过计算生成的校验块为P0,数据块D2,D3生成的校验块为P1;
4)各个数据块和校验块同时写入到磁盘中;
5)假设当数据块D0出现故障,那么数据保护模块(4)会自动根据校验块P0和数据块D1重新计算,从而恢复出数据块D0,这样又保证了数据的完整性,保证数据不丢失。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012101849702A CN102750195A (zh) | 2012-06-07 | 2012-06-07 | 一种集群文件系统数据容错的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012101849702A CN102750195A (zh) | 2012-06-07 | 2012-06-07 | 一种集群文件系统数据容错的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102750195A true CN102750195A (zh) | 2012-10-24 |
Family
ID=47030412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012101849702A Pending CN102750195A (zh) | 2012-06-07 | 2012-06-07 | 一种集群文件系统数据容错的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102750195A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103152395A (zh) * | 2013-02-05 | 2013-06-12 | 北京奇虎科技有限公司 | 一种分布式文件系统的存储方法及装置 |
CN104168253A (zh) * | 2013-05-17 | 2014-11-26 | 环达电脑(上海)有限公司 | 保护网络上传信息的方法及储存控制系统 |
CN104183874A (zh) * | 2013-05-22 | 2014-12-03 | 罗伯特·博世有限公司 | 用于提供蓄电池单元的维护和维修的信息的方法和装置 |
CN106021462A (zh) * | 2016-05-17 | 2016-10-12 | 深圳市中博科创信息技术有限公司 | 集群文件系统文件存储的方法及集群文件系统 |
WO2017028494A1 (zh) * | 2015-08-17 | 2017-02-23 | 华为技术有限公司 | 一种数据恢复的方法、存储的方法相应的装置及系统 |
WO2018076954A1 (zh) * | 2016-10-31 | 2018-05-03 | 杭州海康威视数字技术股份有限公司 | 一种数据存储方法、装置及系统 |
CN111541753A (zh) * | 2020-04-16 | 2020-08-14 | 深圳市网心科技有限公司 | 区块链数据的分布式存储系统、方法、计算机设备及介质 |
CN112380176A (zh) * | 2020-11-17 | 2021-02-19 | 浙江大华技术股份有限公司 | 一种实时监测文件系统异常的方法、装置及存储介质 |
CN113553216A (zh) * | 2021-06-28 | 2021-10-26 | 北京百度网讯科技有限公司 | 数据恢复方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101231604A (zh) * | 2007-01-22 | 2008-07-30 | 国际商业机器公司 | 用于集群服务器数据的卷级恢复的设备、系统及方法 |
US7809691B1 (en) * | 2005-02-22 | 2010-10-05 | Symantec Operating Corporation | System and method of applying incremental changes prior to initialization of a point-in-time copy |
CN101980192A (zh) * | 2010-10-15 | 2011-02-23 | 中兴通讯股份有限公司 | 一种基于对象的集群文件系统管理方法及集群文件系统 |
CN102110154A (zh) * | 2011-02-21 | 2011-06-29 | 中国科学院计算技术研究所 | 一种集群文件系统中文件冗余存储方法 |
US20120036106A1 (en) * | 2010-08-09 | 2012-02-09 | Symantec Corporation | Data Replication Techniques Using Incremental Checkpoints |
-
2012
- 2012-06-07 CN CN2012101849702A patent/CN102750195A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7809691B1 (en) * | 2005-02-22 | 2010-10-05 | Symantec Operating Corporation | System and method of applying incremental changes prior to initialization of a point-in-time copy |
CN101231604A (zh) * | 2007-01-22 | 2008-07-30 | 国际商业机器公司 | 用于集群服务器数据的卷级恢复的设备、系统及方法 |
US20120036106A1 (en) * | 2010-08-09 | 2012-02-09 | Symantec Corporation | Data Replication Techniques Using Incremental Checkpoints |
CN101980192A (zh) * | 2010-10-15 | 2011-02-23 | 中兴通讯股份有限公司 | 一种基于对象的集群文件系统管理方法及集群文件系统 |
CN102110154A (zh) * | 2011-02-21 | 2011-06-29 | 中国科学院计算技术研究所 | 一种集群文件系统中文件冗余存储方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103152395A (zh) * | 2013-02-05 | 2013-06-12 | 北京奇虎科技有限公司 | 一种分布式文件系统的存储方法及装置 |
CN103152395B (zh) * | 2013-02-05 | 2015-12-09 | 北京奇虎科技有限公司 | 一种分布式文件系统的存储方法及装置 |
CN104168253A (zh) * | 2013-05-17 | 2014-11-26 | 环达电脑(上海)有限公司 | 保护网络上传信息的方法及储存控制系统 |
CN104183874A (zh) * | 2013-05-22 | 2014-12-03 | 罗伯特·博世有限公司 | 用于提供蓄电池单元的维护和维修的信息的方法和装置 |
WO2017028494A1 (zh) * | 2015-08-17 | 2017-02-23 | 华为技术有限公司 | 一种数据恢复的方法、存储的方法相应的装置及系统 |
US10810091B2 (en) | 2015-08-17 | 2020-10-20 | Huawei Technologies Co., Ltd. | Data recovery method, data storage method, and corresponding apparatus and system |
CN106021462A (zh) * | 2016-05-17 | 2016-10-12 | 深圳市中博科创信息技术有限公司 | 集群文件系统文件存储的方法及集群文件系统 |
WO2018076954A1 (zh) * | 2016-10-31 | 2018-05-03 | 杭州海康威视数字技术股份有限公司 | 一种数据存储方法、装置及系统 |
CN111541753A (zh) * | 2020-04-16 | 2020-08-14 | 深圳市网心科技有限公司 | 区块链数据的分布式存储系统、方法、计算机设备及介质 |
CN111541753B (zh) * | 2020-04-16 | 2024-02-27 | 深圳市迅雷网络技术有限公司 | 区块链数据的分布式存储系统、方法、计算机设备及介质 |
CN112380176A (zh) * | 2020-11-17 | 2021-02-19 | 浙江大华技术股份有限公司 | 一种实时监测文件系统异常的方法、装置及存储介质 |
CN113553216A (zh) * | 2021-06-28 | 2021-10-26 | 北京百度网讯科技有限公司 | 数据恢复方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102750195A (zh) | 一种集群文件系统数据容错的方法 | |
CN101727299B (zh) | 连续数据存储中面向raid5的写操作优化设计方法 | |
CN106844098B (zh) | 一种基于十字交叉纠删编码的快速数据恢复方法及系统 | |
WO2006048780A3 (en) | Method and system for network storage device failure protection and recovery | |
CN103513942B (zh) | 独立冗余磁盘阵列的重构方法及装置 | |
CN104035830A (zh) | 一种数据恢复方法和装置 | |
US9223658B2 (en) | Managing errors in a raid | |
WO2010120475A3 (en) | Data recovery in a solid state storage system | |
CN103516736A (zh) | 分布式缓存系统的数据恢复方法及装置 | |
WO2008013695A3 (en) | File server for redundant array of independent disks (raid) system | |
US20150089328A1 (en) | Flex Erasure Coding of Controllers of Primary Hard Disk Drives Controller | |
CN102184079B (zh) | 一种raid5级别磁盘阵列的写性能优化方法 | |
CN102521115A (zh) | 一种基于硬盘性能的数据资源预警方法 | |
CN103092765B (zh) | 固态存储系统、装置及数据写入方法 | |
CN102226892B (zh) | 一种磁盘容错处理方法及设备 | |
CN102999399A (zh) | 一种jbod阵列自动恢复存储的方法和装置 | |
CN101251812A (zh) | 一种应用于集群系统数据容错的方法 | |
CN102819480A (zh) | 一种监控计算机存储器的方法和计算机 | |
CN1959647A (zh) | 建立稳定存储机制的方法 | |
CN102750342B (zh) | 一种集群文件系统数据一致性的方法 | |
CN103226447A (zh) | 控制系统和日志递送方法 | |
CN102354293B (zh) | 一种实现文件差异备份的系统及方法 | |
CN103051676A (zh) | 一种分布式数据存储管理方法 | |
CN104050108A (zh) | 一种存储设备、系统及数据存储方法 | |
CN106933707A (zh) | 一种数据存储设备数据恢复方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121024 |