CN102750342A - 一种集群文件系统数据一致性的方法 - Google Patents
一种集群文件系统数据一致性的方法 Download PDFInfo
- Publication number
- CN102750342A CN102750342A CN2012101849295A CN201210184929A CN102750342A CN 102750342 A CN102750342 A CN 102750342A CN 2012101849295 A CN2012101849295 A CN 2012101849295A CN 201210184929 A CN201210184929 A CN 201210184929A CN 102750342 A CN102750342 A CN 102750342A
- Authority
- CN
- China
- Prior art keywords
- data
- client
- log management
- management module
- file system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种集群文件系统数据一致性的方法,该方法主要创新是在客户端部署日志管理模块(4),日志管理模块一方面能够检测客户端模块(1)与集群文件系统的链接状态;一方面能够保证用户写入数据时,首先通过日志管理模块(4)把数据进行缓存,然后再写入集群文件系统,这样即便是客户端模块(1)强制断开与集群文件系统的链接后,也能保证数据通过日志管理模块(4)写入到后端磁盘上,从而保证数据不丢失,维护数据一致性。
Description
技术领域
本发明是一种适用于分布式、并行文件系统中,能够最大化的保证数据不丢失,维护数据一致性的方法,具体地说是一种集群文件系统数据一致性的方法。
背景技术
目前部分分布式集群文件系统的现状是,元数据集群(2)和数据存储集群(3)通过分布式文件系统建立关联,然后客户端通过挂载或是在客户端内核打补丁方式来访问集群文件系统,此时在客户端模块(1)可能会存在一个问题,尤其是在写入小文件的时候,问题尤为突出。当客户端模块(1)写入数据后,接着强制中断客户端模块(1)与文件系统的链接,此时,由于数据首先写入了客户端缓存,没有及时写入到后端磁盘上,也就是数据存储集群上(3),那么当重新建立客户端模块(1)和集群文件系统链接后,那么数据就可能会不完整,不能保证数据的一致性,从而给用户带来影响。本发明就是针对该问题而提出的,能够有效的解决数据丢失问题,从而最大限度的保证数据一致性。
发明内容
本发明的目的是提供一种集群文件系统数据一致性的方法。
本发明的目的是按以下方式实现的,系统包括:客户端模块(1);元数据集群(2);数据存储集群(3);日志管理模块(4),其中:
客户端模块(1)是访问文件系统的入口,负责用户的数据请求;
元数据集群(2)负责存储用户数据的元数据部分;
数据存储集群(3)提供数据存储单元,负责存储数据,包括去掉元数据之后的数据;
日志管理模块(4)用于检测客户端的状态;保证客户端在强制断开链接后,能够让写入的数据不丢失,以及保证客户端写入的数据在客户端与文件系统断开链接后,保证数据能够顺利写入后端存储上,以维护数据的一致性;
具体步骤如下:
1)首先客户端模块(1)建立与集群文件系统的链接;
2)假设从客户端模块(1)写入的数据为dataFile文件分成8个条带块D0,…,D7,写入到三个存储单元LUN1,LUN2,LUN3中;
3)添加日志管理模(4)前,如果客户端强制断开链接,会导致dataFile文件不能正常写入到后端磁盘上,写入的条带数小于8;
4)添加日志管理模块(4)后,数据dataFile首先写入日志管理模块(4),通过日志管理模块(4)写入后端磁盘上;同时日志管理模块(4)会实时检测客户端模块(1)的链接状态,保证即便是在客户端链接强制断开的时候,也能保证数据dataFile完整的写入后端磁盘上,保证数据不丢失,维护了数据一致性。
本发明的有益效果是:该方法主要创新是在客户端部署日志管理模块(4),日志管理模块一方面能够检测客户端模块(1)与集群文件系统的链接状态;一方面能够保证用户写入数据时,首先通过日志管理模块(4)把数据进行缓存,然后再写入集群文件系统,这样即便是客户端模块(1)强制断开与集群文件系统的链接后,也能保证数据通过日志管理模块(4)写入到后端磁盘上,从而保证数据不丢失,维护数据一致性。
附图说明
附图1为添加日志管理模块前数据写入;
附图2为添加日志管理模块后数据写入。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
系统包括:客户端模块(1);元数据集群(2);数据存储集群(3);日志管理模块(4),其中:
客户端模块(1)是访问文件系统的入口,负责用户的数据请求;
元数据集群(2)负责存储用户数据的元数据部分;
数据存储集群(3)提供数据存储单元,负责存储数据,包括去掉元数据之后的数据;
日志管理模块(4)用于检测客户端的状态;保证客户端在强制断开链接后,能够让写入的数据不丢失,以及保证客户端写入的数据在客户端与文件系统断开链接后,保证数据能够顺利写入后端存储上,以维护数据的一致性;
具体步骤如下:
(1)首先客户端模块(1)建立与集群文件系统的链接;
(2)假设从客户端模块(1)写入的数据为dataFile文件分成8个条带块(D0,…,D7),写入到三个存储单元(LUN1,LUN2,LUN3)中;
(3)如果添加日志管理模(4)前,那么在客户端强制断开链接(例如杀进程)可能会导致dataFile文件不能正常写入到后端磁盘上,写入的条带数小于8;
(4)如果添加日志管理模块(4)后,数据dataFile首先写入日志管理模块(4);通过日志管理模块(4)写入后端磁盘上;同时日志管理模块(4)会时时检测客户端模块(1)的链接状态,保证即便是在客户端链接强制断开(例如杀进程)的时候,也能保证数据dataFile完整的写入后端磁盘上,数据不丢失,维护了数据一致性。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。
Claims (1)
1.一种集群文件系统数据一致性的方法, 其特征在于系统包括:客户端模块(1);元数据集群(2);数据存储集群(3);日志管理模块(4),其中:
客户端模块(1)是访问文件系统的入口,负责用户的数据请求;
元数据集群(2)负责存储用户数据的元数据部分;
数据存储集群(3)提供数据存储单元,负责存储数据,包括去掉元数据之后的数据;
日志管理模块(4)用于检测客户端的状态;保证客户端在强制断开链接后,能够让写入的数据不丢失,以及保证客户端写入的数据在客户端与文件系统断开链接后,保证数据能够顺利写入后端存储上,以维护数据的一致性;
具体步骤如下:
1)首先客户端模块(1)建立与集群文件系统的链接;
2)假设从客户端模块(1)写入的数据为dataFile文件分成8个条带块D0,…,D7,写入到三个存储单元LUN1,LUN2,LUN3中;
3)添加日志管理模(4)前,如果客户端强制断开链接,会导致dataFile文件不能正常写入到后端磁盘上,写入的条带数小于8;
4)添加日志管理模块(4)后,数据dataFile首先写入日志管理模块(4),通过日志管理模块(4)写入后端磁盘上;同时日志管理模块(4)会实时检测客户端模块(1)的链接状态,保证即便是在客户端链接强制断开的时候,也能保证数据dataFile完整的写入后端磁盘上,保证数据不丢失,维护了数据一致性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210184929.5A CN102750342B (zh) | 2012-06-07 | 2012-06-07 | 一种集群文件系统数据一致性的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210184929.5A CN102750342B (zh) | 2012-06-07 | 2012-06-07 | 一种集群文件系统数据一致性的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102750342A true CN102750342A (zh) | 2012-10-24 |
CN102750342B CN102750342B (zh) | 2016-09-07 |
Family
ID=47030527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210184929.5A Active CN102750342B (zh) | 2012-06-07 | 2012-06-07 | 一种集群文件系统数据一致性的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102750342B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105930519A (zh) * | 2016-05-23 | 2016-09-07 | 浪潮电子信息产业股份有限公司 | 一种基于集群文件系统的全局共享读缓存方法 |
CN105930520A (zh) * | 2016-05-23 | 2016-09-07 | 浪潮电子信息产业股份有限公司 | 一种基于集群文件系统的缓存保护方法 |
CN106202387A (zh) * | 2016-07-08 | 2016-12-07 | 陈光宇 | 一种数据一致性并行维护方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101674331A (zh) * | 2009-10-21 | 2010-03-17 | 成都市华为赛门铁克科技有限公司 | 集群存储系统及其脑裂处理方法 |
CN102339283A (zh) * | 2010-07-20 | 2012-02-01 | 中兴通讯股份有限公司 | 集群文件系统访问控制方法及集群节点 |
-
2012
- 2012-06-07 CN CN201210184929.5A patent/CN102750342B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101674331A (zh) * | 2009-10-21 | 2010-03-17 | 成都市华为赛门铁克科技有限公司 | 集群存储系统及其脑裂处理方法 |
CN102339283A (zh) * | 2010-07-20 | 2012-02-01 | 中兴通讯股份有限公司 | 集群文件系统访问控制方法及集群节点 |
Non-Patent Citations (1)
Title |
---|
张军伟 等: "《蓝鲸集群文件系统中资源交互一致性协议》", 《计算机工程》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105930519A (zh) * | 2016-05-23 | 2016-09-07 | 浪潮电子信息产业股份有限公司 | 一种基于集群文件系统的全局共享读缓存方法 |
CN105930520A (zh) * | 2016-05-23 | 2016-09-07 | 浪潮电子信息产业股份有限公司 | 一种基于集群文件系统的缓存保护方法 |
CN106202387A (zh) * | 2016-07-08 | 2016-12-07 | 陈光宇 | 一种数据一致性并行维护方法 |
CN106202387B (zh) * | 2016-07-08 | 2019-05-21 | 苏州超块链信息科技有限公司 | 一种数据一致性并行维护方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102750342B (zh) | 2016-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2008014346A3 (en) | Management of sales activity information | |
CN102567146B (zh) | 一种实现日志备份的方法及其装置、智能卡 | |
WO2008113647A3 (en) | Shared disk clones | |
WO2011040950A3 (en) | Power interrupt management | |
WO2011005763A3 (en) | Data transfer management | |
US8375200B2 (en) | Embedded device and file change notification method of the embedded device | |
WO2009126644A3 (en) | Methods and systems for improved throughput performance in a distributed data de-duplication environment | |
WO2010048048A3 (en) | Configuration management in distributed data systems | |
WO2008039386A3 (en) | Accelerated data transfer using common prior data segments | |
WO2007062429A3 (en) | Systems and methods for classifying and transferring information in a storage network | |
TW200713024A (en) | Hardware oriented target-side native command queuing tag management | |
WO2011123699A3 (en) | Systems and methods for securing data in motion | |
TW200708943A (en) | Intelligent auto-archiving | |
WO2007127247A3 (en) | Method and system for scaleable, distributed, differential electronic-data backup and archiving | |
TW200743965A (en) | Mechanism and method to snapshot data | |
EP1845451A3 (en) | Information processing system with redundant paths and access method | |
WO2010120475A3 (en) | Data recovery in a solid state storage system | |
CN103885726A (zh) | 一种高效的多线程日志写入方法 | |
CN102867035A (zh) | 一种分布式文件系统集群高可用方法和装置 | |
EP1912117A3 (en) | Storage system and data management method | |
CN102750195A (zh) | 一种集群文件系统数据容错的方法 | |
CN102033930A (zh) | 分布式内存数据库系统 | |
WO2008139521A1 (ja) | リモートファイルシステム、端末装置およびサーバ装置 | |
TW200708950A (en) | Memory management method and system | |
WO2008126202A1 (ja) | ストレージシステムの負荷分散プログラム、ストレージシステムの負荷分散方法、及びストレージ管理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |