CN102750342B - 一种集群文件系统数据一致性的方法 - Google Patents
一种集群文件系统数据一致性的方法 Download PDFInfo
- Publication number
- CN102750342B CN102750342B CN201210184929.5A CN201210184929A CN102750342B CN 102750342 B CN102750342 B CN 102750342B CN 201210184929 A CN201210184929 A CN 201210184929A CN 102750342 B CN102750342 B CN 102750342B
- Authority
- CN
- China
- Prior art keywords
- data
- client
- management module
- write
- log management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 10
- 238000007726 management method Methods 0.000 claims description 27
- 238000013500 data storage Methods 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 claims description 3
- 210000000352 storage cell Anatomy 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 1
Abstract
本发明提供一种集群文件系统数据一致性的方法，该方法主要创新是在客户端部署日志管理模块（4），日志管理模块一方面能够检测客户端模块（1）与集群文件系统的链接状态；一方面能够保证用户写入数据时，首先通过日志管理模块（4）把数据进行缓存，然后再写入集群文件系统，这样即便是客户端模块（1）强制断开与集群文件系统的链接后，也能保证数据通过日志管理模块（4）写入到后端磁盘上，从而保证数据不丢失，维护数据一致性。
Description
技术领域
本发明是一种适用于分布式、并行文件系统中，能够最大化的保证数据不丢失，维护数据一致性的方法，具体地说是一种集群文件系统数据一致性的方法。
背景技术
目前部分分布式集群文件系统的现状是，元数据集群（2）和数据存储集群（3）通过分布式文件系统建立关联，然后客户端通过挂载或是在客户端内核打补丁方式来访问集群文件系统，此时在客户端模块（1）可能会存在一个问题，尤其是在写入小文件的时候，问题尤为突出。当客户端模块（1）写入数据后，接着强制中断客户端模块（1）与文件系统的链接，此时，由于数据首先写入了客户端缓存，没有及时写入到后端磁盘上，也就是数据存储集群上（3），那么当重新建立客户端模块（1）和集群文件系统链接后，那么数据就可能会不完整，不能保证数据的一致性，从而给用户带来影响。本发明就是针对该问题而提出的，能够有效的解决数据丢失问题，从而最大限度的保证数据一致性。
发明内容
本发明的目的是提供一种集群文件系统数据一致性的方法。
本发明的目的是按以下方式实现的，系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；日志管理模块（4），其中：
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户数据的元数据部分；
数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；
日志管理模块（4）用于检测客户端的状态；保证客户端在强制断开链接后，能够让写入的数据不丢失，以及保证客户端写入的数据在客户端与文件系统断开链接后，保证数据能够顺利写入后端存储上，以维护数据的一致性；
具体步骤如下：
1）首先客户端模块（1）建立与集群文件系统的链接；
2）假设从客户端模块（1）写入的数据为dataFile文件分成8个条带块D0,…,D7，写入到三个存储单元LUN1，LUN2，LUN3中；
3）添加日志管理模块（4）前，如果客户端强制断开链接，会导致dataFile文件不能正常写入到后端磁盘上，写入的条带数小于8；
4）添加日志管理模块（4）后，数据dataFile首先写入日志管理模块（4），通过日志管理模块（4）写入后端磁盘上；同时日志管理模块（4）会实时检测客户端模块（1）的链接状态，保证即便是在客户端链接强制断开的时候，也能保证数据dataFile完整的写入后端磁盘上，保证数据不丢失，维护了数据一致性。
本发明的有益效果是：该方法主要创新是在客户端部署日志管理模块（4），日志管理模块一方面能够检测客户端模块（1）与集群文件系统的链接状态；一方面能够保证用户写入数据时，首先通过日志管理模块（4）把数据进行缓存，然后再写入集群文件系统，这样即便是客户端模块（1）强制断开与集群文件系统的链接后，也能保证数据通过日志管理模块（4）写入到后端磁盘上，从而保证数据不丢失，维护数据一致性。
附图说明
附图1为添加日志管理模块前数据写入；
附图2为添加日志管理模块后数据写入。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；日志管理模块（4），其中：
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户数据的元数据部分；
数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；
日志管理模块（4）用于检测客户端的状态；保证客户端在强制断开链接后，能够让写入的数据不丢失，以及保证客户端写入的数据在客户端与文件系统断开链接后，保证数据能够顺利写入后端存储上，以维护数据的一致性；
具体步骤如下：
（1）首先客户端模块（1）建立与集群文件系统的链接；
（2）假设从客户端模块（1）写入的数据为dataFile文件分成8个条带块(D0,…,D7)，写入到三个存储单元(LUN1，LUN2，LUN3)中；
（3）如果添加日志管理模（4）前，那么在客户端强制断开链接（例如杀进程）可能会导致dataFile文件不能正常写入到后端磁盘上，写入的条带数小于8；
（4）如果添加日志管理模块（4）后，数据dataFile首先写入日志管理模块（4）；通过日志管理模块（4）写入后端磁盘上；同时日志管理模块（4）会时时检测客户端模块（1）的链接状态，保证即便是在客户端链接强制断开（例如杀进程）的时候，也能保证数据dataFile完整的写入后端磁盘上，数据不丢失，维护了数据一致性。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (1)
1.一种集群文件系统数据一致性的方法, 其特征在于系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；日志管理模块（4），其中：
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户数据的元数据部分；
数据存储集群（3）提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；
日志管理模块（4）用于检测客户端的状态；保证客户端在强制断开链接后，能够让写入的数据不丢失，以及保证客户端写入的数据在客户端与文件系统断开链接后，保证数据能够顺利写入后端存储上，以维护数据的一致性；
具体步骤如下：
1）首先客户端模块（1）建立与集群文件系统的链接；
2）假设从客户端模块（1）写入的数据为dataFile文件分成8个条带块D0,…,D7，写入到三个存储单元LUN1，LUN2，LUN3中；
3）添加日志管理模块（4）前，如果客户端强制断开链接，会导致dataFile文件不能正常写入到后端磁盘上，写入的条带数小于8；
4）添加日志管理模块（4）后，数据dataFile首先写入日志管理模块（4），通过日志管理模块（4）写入后端磁盘上；同时日志管理模块（4）会实时检测客户端模块（1）的链接状态，保证即便是在客户端链接强制断开的时候，也能保证数据dataFile完整的写入后端磁盘上，保证数据不丢失，维护了数据一致性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210184929.5A CN102750342B (zh) | 2012-06-07 | 2012-06-07 | 一种集群文件系统数据一致性的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210184929.5A CN102750342B (zh) | 2012-06-07 | 2012-06-07 | 一种集群文件系统数据一致性的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102750342A CN102750342A (zh) | 2012-10-24 |
| CN102750342B true CN102750342B (zh) | 2016-09-07 |
Family
ID=47030527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210184929.5A Active CN102750342B (zh) | 2012-06-07 | 2012-06-07 | 一种集群文件系统数据一致性的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102750342B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11983147B2 (en) | 2021-06-02 | 2024-05-14 | International Business Machines Corporation | Deduplicating data integrity checks across systems |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930519A (zh) * | 2016-05-23 | 2016-09-07 | 浪潮电子信息产业股份有限公司 | 一种基于集群文件系统的全局共享读缓存方法 |
| CN105930520A (zh) * | 2016-05-23 | 2016-09-07 | 浪潮电子信息产业股份有限公司 | 一种基于集群文件系统的缓存保护方法 |
| CN106202387B (zh) * | 2016-07-08 | 2019-05-21 | 苏州超块链信息科技有限公司 | 一种数据一致性并行维护方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101674331A (zh) * | 2009-10-21 | 2010-03-17 | 成都市华为赛门铁克科技有限公司 | 集群存储系统及其脑裂处理方法 |
| CN102339283A (zh) * | 2010-07-20 | 2012-02-01 | 中兴通讯股份有限公司 | 集群文件系统访问控制方法及集群节点 |
-
2012
- 2012-06-07 CN CN201210184929.5A patent/CN102750342B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101674331A (zh) * | 2009-10-21 | 2010-03-17 | 成都市华为赛门铁克科技有限公司 | 集群存储系统及其脑裂处理方法 |
| CN102339283A (zh) * | 2010-07-20 | 2012-02-01 | 中兴通讯股份有限公司 | 集群文件系统访问控制方法及集群节点 |
Non-Patent Citations (1)
| Title |
|---|
| 《蓝鲸集群文件系统中资源交互一致性协议》;张军伟 等;《计算机工程》;20080630;第34卷(第11期);第7-9页 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11983147B2 (en) | 2021-06-02 | 2024-05-14 | International Business Machines Corporation | Deduplicating data integrity checks across systems |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102750342A (zh) | 2012-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2006029032A3 (en) | Methods, systems, and computer program products for implementing single-node and cluster snapshots | |
| WO2013033123A3 (en) | Method and system for collecting and managing tv viewership data | |
| CN105426127A (zh) | 一种分布式集群系统的文件存储方法及装置 | |
| CN102867035B (zh) | 一种分布式文件系统集群高可用方法和装置 | |
| WO2006048780A3 (en) | Method and system for network storage device failure protection and recovery | |
| JP2013521579A5 (zh) | ||
| WO2010048048A3 (en) | Configuration management in distributed data systems | |
| WO2007049109A3 (en) | Method and system for compression of logical data objects for storage | |
| WO2008039386A3 (en) | Accelerated data transfer using common prior data segments | |
| WO2008113647A3 (en) | Shared disk clones | |
| CN102750195A (zh) | 一种集群文件系统数据容错的方法 | |
| WO2008014346A3 (en) | Management of sales activity information | |
| CN102323930B (zh) | 对数据库系统中的数据变更进行镜像 | |
| CN102750342B (zh) | 一种集群文件系统数据一致性的方法 | |
| WO2009158183A3 (en) | Apparatus and method for cache utilization | |
| WO2008126202A1 (ja) | ストレージシステムの負荷分散プログラム、ストレージシステムの負荷分散方法、及びストレージ管理装置 | |
| WO2013170162A3 (en) | System and method for the classification of storage | |
| US20160011965A1 (en) | Pass through storage devices | |
| WO2011081948A3 (en) | Methods and systems for optimizing a process of archiving at least one block of a virtual disk image | |
| CN103218276A (zh) | 多节点增量备份的方法及系统 | |
| CN103176867A (zh) | 一种快速文件差异备份方法 | |
| CN108052644B (zh) | 数据模式日志文件系统的数据写入方法及系统 | |
| US10997040B1 (en) | System and method for weight based data protection | |
| US11681657B2 (en) | System and method for parallel flushing with bucketized data | |
| CN103077187A (zh) | 日志管理方法和日志管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |