CN102750195A - 一种集群文件系统数据容错的方法 - Google Patents

一种集群文件系统数据容错的方法 Download PDF

Info

Publication number
CN102750195A
CN102750195A CN2012101849702A CN201210184970A CN102750195A CN 102750195 A CN102750195 A CN 102750195A CN 2012101849702 A CN2012101849702 A CN 2012101849702A CN 201210184970 A CN201210184970 A CN 201210184970A CN 102750195 A CN102750195 A CN 102750195A
Authority
CN
China
Prior art keywords
data
block
cluster
user
file system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101849702A
Other languages
English (en)
Inventor
胡振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN2012101849702A priority Critical patent/CN102750195A/zh
Publication of CN102750195A publication Critical patent/CN102750195A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种集群文件系统数据容错的方法，包括：客户端模块（1）；元数据集群（2）；存储服务器集群（3）；数据保护模块（4），其中：客户端模块（1）是访问文件系统的入口，负责用户的数据请求；元数据集群（2）负责存储用户数据的元数据部分；数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；数据保护模块（4）的作用是保护用户数据，防止用户数据丢失，数据保护模块（4），能够对用户写入的数据进行校验，并生成相应的校验块，然后把数据和校验块一起进行存储，当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候，通过校验块能够进行数据恢复，从而最大程度的保护数据安全。

Description

一种集群文件系统数据容错的方法
技术领域
本发明涉及计算机应用技术领域，通常适用于分布式、并行文件系统中，能够最大化的保证数据不丢失，维护数据一致性。 具体地说是一种集群文件系统数据容错的方法。
背景技术
目前分布式集群文件系统数据容错的方法一般采用副本、复制、或者是借助于阵列上的RAID级别来进行数据保护，基本上分布式文件系统都采用上述几种方法。本发明则是借鉴这些发明基础上，提出一种新的分布式集群文件系统数据容错的方法，能够实现分布式集群文件系统的数据保护。
发明内容
本发明的目的是提供一种集群文件系统数据容错的方法。
本发明的目的是按以下方式实现的，系统包括：客户端模块（1）；元数据集群（2）；存储服务器集群（3）；数据保护模块（4），其中：   
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户数据的元数据部分；
数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；
数据保护模块（4）的作用是保护用户数据，防止用户数据丢失，数据保护模块（4），能够对用户写入的数据进行校验，并生成相应的校验块，然后把数据和校验块一起进行存储，当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候，通过校验块能够进行数据恢复，从而最大程度的保护数据安全，具体步骤如下：
1）假设客户端模块（1）要写入的数据位dataFile，并且被分成两个条带stripe1,stripe2；
2）条带stripe1被分成的数据块为D0 ,D1,条带stripe2被分成数据块为D2,D3；
3）数据保护模块（4）会进行校验块生成，数据块D0,D1通过计算生成的校验块为P0，数据块D2,D3生成的校验块为P1；
4）各个数据块和校验块同时写入到磁盘中；
5）假设当数据块D0出现故障，那么数据保护模块（4）会自动根据校验块P0和数据块D1重新计算，从而恢复出数据块D0，这样又保证了数据的完整性，保证数据不丢失。
本发明的有益效果是：适用于分布式集群文件系统，该方法能够极大的提高用户数据的安全性，防止用户数据丢失，是一种智能化的数据安全存储方法。该方法主要创新是在于客户端模块（1）把用户数据分成条带存储，每个条带单元分成多个单位更小的数据块，然后通过数据保护模块（4）把多个数据块进行校验，计算生成校验码。生成的校验码和数据块一起写入到不同的存储服务器集群（3）节点上。这样，当单个存储服务器或者磁盘坏掉的时候，数据保护模块（4）会根据校验块和其他正常的数据块进行计算，重新生成数据，从而保证丢失的数据能够重新恢复出来，保证在集群故障的时候不会出现数据丢失。
附图说明
图1是数据正常写入的情况；
图2 是数据块出现故障，重新恢复的情况。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
系统包括：客户端模块（1）；元数据集群（2）；存储服务器集群（3）；数据保护模块（4），其中：   
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户数据的元数据部分；
数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；
数据保护模块（4）的作用是保护用户数据，防止用户数据丢失，数据保护模块（4），能够对用户写入的数据进行校验，并生成相应的校验块，然后把数据和校验块一起进行存储，当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候，通过校验块能够进行数据恢复，从而最大程度的保护数据安全，具体步骤如下：
1）假设客户端模块（1）要写入的数据位dataFile，并且被分成两个条带stripe1,stripe2；
2）条带stripe1被分成的数据块为D0 ,D1,条带stripe2被分成数据块为D2,D3；
3）数据保护模块（4）会进行校验块生成，数据块D0,D1通过计算生成的校验块为P0，数据块D2,D3生成的校验块为P1；
4）各个数据块和校验块同时写入到磁盘中；
5）假设当数据块D0出现故障，那么数据保护模块（4）会自动根据校验块P0和数据块D1重新计算，从而恢复出数据块D0，这样又保证了数据的完整性，保证数据不丢失。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种集群文件系统数据容错的方法, 其特征在于系统包括：客户端模块（1）；元数据集群（2）；存储服务器集群（3）；数据保护模块（4），其中：   
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户数据的元数据部分；
数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；
数据保护模块（4）的作用是保护用户数据，防止用户数据丢失，数据保护模块（4），能够对用户写入的数据进行校验，并生成相应的校验块，然后把数据和校验块一起进行存储，当集群文件系统中的存储服务器或者存储服务器上的磁盘坏掉的时候，通过校验块能够进行数据恢复，从而最大程度的保护数据安全，具体步骤如下：
1）假设客户端模块（1）要写入的数据位dataFile，并且被分成两个条带stripe1,stripe2；
2）条带stripe1被分成的数据块为D0 ,D1,条带stripe2被分成数据块为D2,D3；
3）数据保护模块（4）会进行校验块生成，数据块D0,D1通过计算生成的校验块为P0，数据块D2,D3生成的校验块为P1；
4）各个数据块和校验块同时写入到磁盘中；
5）假设当数据块D0出现故障，那么数据保护模块（4）会自动根据校验块P0和数据块D1重新计算，从而恢复出数据块D0，这样又保证了数据的完整性，保证数据不丢失。
CN2012101849702A 2012-06-07 2012-06-07 一种集群文件系统数据容错的方法 Pending CN102750195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012101849702A CN102750195A (zh) 2012-06-07 2012-06-07 一种集群文件系统数据容错的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012101849702A CN102750195A (zh) 2012-06-07 2012-06-07 一种集群文件系统数据容错的方法

Publications (1)

Publication Number Publication Date
CN102750195A true CN102750195A (zh) 2012-10-24

Family

ID=47030412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101849702A Pending CN102750195A (zh) 2012-06-07 2012-06-07 一种集群文件系统数据容错的方法

Country Status (1)

Country Link
CN (1) CN102750195A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152395A (zh) * 2013-02-05 2013-06-12 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN104168253A (zh) * 2013-05-17 2014-11-26 环达电脑(上海)有限公司 保护网络上传信息的方法及储存控制系统
CN104183874A (zh) * 2013-05-22 2014-12-03 罗伯特·博世有限公司 用于提供蓄电池单元的维护和维修的信息的方法和装置
CN106021462A (zh) * 2016-05-17 2016-10-12 深圳市中博科创信息技术有限公司 集群文件系统文件存储的方法及集群文件系统
WO2017028494A1 (zh) * 2015-08-17 2017-02-23 华为技术有限公司 一种数据恢复的方法、存储的方法相应的装置及系统
WO2018076954A1 (zh) * 2016-10-31 2018-05-03 杭州海康威视数字技术股份有限公司 一种数据存储方法、装置及系统
CN111541753A (zh) * 2020-04-16 2020-08-14 深圳市网心科技有限公司 区块链数据的分布式存储系统、方法、计算机设备及介质
CN112380176A (zh) * 2020-11-17 2021-02-19 浙江大华技术股份有限公司 一种实时监测文件系统异常的方法、装置及存储介质
CN113553216A (zh) * 2021-06-28 2021-10-26 北京百度网讯科技有限公司 数据恢复方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231604A (zh) * 2007-01-22 2008-07-30 国际商业机器公司 用于集群服务器数据的卷级恢复的设备、系统及方法
US7809691B1 (en) * 2005-02-22 2010-10-05 Symantec Operating Corporation System and method of applying incremental changes prior to initialization of a point-in-time copy
CN101980192A (zh) * 2010-10-15 2011-02-23 中兴通讯股份有限公司 一种基于对象的集群文件系统管理方法及集群文件系统
CN102110154A (zh) * 2011-02-21 2011-06-29 中国科学院计算技术研究所 一种集群文件系统中文件冗余存储方法
US20120036106A1 (en) * 2010-08-09 2012-02-09 Symantec Corporation Data Replication Techniques Using Incremental Checkpoints

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809691B1 (en) * 2005-02-22 2010-10-05 Symantec Operating Corporation System and method of applying incremental changes prior to initialization of a point-in-time copy
CN101231604A (zh) * 2007-01-22 2008-07-30 国际商业机器公司 用于集群服务器数据的卷级恢复的设备、系统及方法
US20120036106A1 (en) * 2010-08-09 2012-02-09 Symantec Corporation Data Replication Techniques Using Incremental Checkpoints
CN101980192A (zh) * 2010-10-15 2011-02-23 中兴通讯股份有限公司 一种基于对象的集群文件系统管理方法及集群文件系统
CN102110154A (zh) * 2011-02-21 2011-06-29 中国科学院计算技术研究所 一种集群文件系统中文件冗余存储方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152395A (zh) * 2013-02-05 2013-06-12 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN103152395B (zh) * 2013-02-05 2015-12-09 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN104168253A (zh) * 2013-05-17 2014-11-26 环达电脑(上海)有限公司 保护网络上传信息的方法及储存控制系统
CN104183874A (zh) * 2013-05-22 2014-12-03 罗伯特·博世有限公司 用于提供蓄电池单元的维护和维修的信息的方法和装置
WO2017028494A1 (zh) * 2015-08-17 2017-02-23 华为技术有限公司 一种数据恢复的方法、存储的方法相应的装置及系统
US10810091B2 (en) 2015-08-17 2020-10-20 Huawei Technologies Co., Ltd. Data recovery method, data storage method, and corresponding apparatus and system
CN106021462A (zh) * 2016-05-17 2016-10-12 深圳市中博科创信息技术有限公司 集群文件系统文件存储的方法及集群文件系统
WO2018076954A1 (zh) * 2016-10-31 2018-05-03 杭州海康威视数字技术股份有限公司 一种数据存储方法、装置及系统
CN111541753A (zh) * 2020-04-16 2020-08-14 深圳市网心科技有限公司 区块链数据的分布式存储系统、方法、计算机设备及介质
CN111541753B (zh) * 2020-04-16 2024-02-27 深圳市迅雷网络技术有限公司 区块链数据的分布式存储系统、方法、计算机设备及介质
CN112380176A (zh) * 2020-11-17 2021-02-19 浙江大华技术股份有限公司 一种实时监测文件系统异常的方法、装置及存储介质
CN113553216A (zh) * 2021-06-28 2021-10-26 北京百度网讯科技有限公司 数据恢复方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN102750195A (zh) 一种集群文件系统数据容错的方法
CN101727299B (zh) 连续数据存储中面向raid5的写操作优化设计方法
EP2703991B1 (en) Scalable storage protection
CN102981927B (zh) 分布式独立冗余磁盘阵列存储方法及分布式集群存储系统
WO2006048780A3 (en) Method and system for network storage device failure protection and recovery
CN103513942B (zh) 独立冗余磁盘阵列的重构方法及装置
CN104035830A (zh) 一种数据恢复方法和装置
US9223658B2 (en) Managing errors in a raid
WO2010120475A3 (en) Data recovery in a solid state storage system
CN103516736A (zh) 分布式缓存系统的数据恢复方法及装置
CN102177496A (zh) 用于针对当前数据和回放数据在不同raid数据存储类型之间转移数据的系统和方法
US20150089328A1 (en) Flex Erasure Coding of Controllers of Primary Hard Disk Drives Controller
CN102184079B (zh) 一种raid5级别磁盘阵列的写性能优化方法
CN102521115A (zh) 一种基于硬盘性能的数据资源预警方法
CN103092765B (zh) 固态存储系统、装置及数据写入方法
CN102226892B (zh) 一种磁盘容错处理方法及设备
CN102999399A (zh) 一种jbod阵列自动恢复存储的方法和装置
CN101251812A (zh) 一种应用于集群系统数据容错的方法
CN102819480A (zh) 一种监控计算机存储器的方法和计算机
CN103699340B (zh) 一种请求处理方法及设备
CN1959647A (zh) 建立稳定存储机制的方法
CN105242988A (zh) 分布式文件系统和分布式文件系统的数据备份方法
CN102314322A (zh) 一种基于raid阵列的数据处理方法和设备
CN102750342B (zh) 一种集群文件系统数据一致性的方法
CN102354293B (zh) 一种实现文件差异备份的系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121024