CN102750343B - 一种集群文件系统动态数据分布方法 - Google Patents

一种集群文件系统动态数据分布方法 Download PDF

Info

Publication number
CN102750343B
CN102750343B CN201210184965.1A CN201210184965A CN102750343B CN 102750343 B CN102750343 B CN 102750343B CN 201210184965 A CN201210184965 A CN 201210184965A CN 102750343 B CN102750343 B CN 102750343B
Authority
CN
China
Prior art keywords
data
write
memory element
cluster
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210184965.1A
Other languages
English (en)
Other versions
CN102750343A (zh
Inventor
胡振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201210184965.1A priority Critical patent/CN102750343B/zh
Publication of CN102750343A publication Critical patent/CN102750343A/zh
Application granted granted Critical
Publication of CN102750343B publication Critical patent/CN102750343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种集群文件系统动态数据分布方法，该方法是动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；数据协调处理模块（4），其中：客户端模块（1）是访问文件系统的入口，负责用户的数据请求；元数据集群（2）负责存储用户写入数据的元数据部分；数据存储集群（3）负责提供数据存储单元存储数据包括去掉元数据之后的数据；数据协调处理模块（4）针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数。

Description

一种集群文件系统动态数据分布方法
技术领域
本发明涉及计算机应用技术领域，通常适用于分布式、并行文件系统中，能够实现容量均衡，并极大的提高集群文件系统的性能，具体地说是一种集群文件系统动态数据分布方法。
背景技术
目前部分分布式集群文件系统存在的问题是，当客户端进行文件写入的过程中，数据会被分成多个条带，然后每个条带会写入集群系统中的存储单元上，但是，当动态添加新的存储单元后，该文件是不能识别到新添加的存储单元，也就是，数据条带不能动态分布到新的存储单元上，这对提高集群性能起不到到相应的作用。本发明就是针对该问题而提出的。
发明内容
本发明的目的是提供一种集群文件系统动态数据分布方法。
本发明的目的是按以下方式实现的，动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；数据协调处理模块（4），其中：
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户写入数据的元数据部分；
数据存储集群（3）负责提供数据存储单元存储数据包括去掉元数据之后的数据；
数据协调处理模块（4）针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数。
具体实施步骤如下：
假设客户端写入文件名为：BigFile；
1）假设客户端指定BigFile文件分成8个条带块D0,…,D7，写入到三个存储单元LUN1，LUN2，…LUN3中；
2）数据开始写入，在写入过程中，集群系统动态添加了一个存储单元LUN‘;
3）数据处理协调模块（3）会检测到存储单元LUN’，然后会调整把BigFile文件的某几个条带写入到存储单元LUN’上；
4）数据操作完成后，文件BigFile写到了四个存储单元LUN1，LUN2,LUN3, LUN’上，即：数据有刚开始的三个条带，变成了四个条带，该过程充分利用了新添加的存储单元，实现了系统的容量均衡，同时相应的提高了集群系统的性能。
本发明的有益效果是：一种集群文件系统动态数据分布方法，该方法主要创新是通过数据处理协调模块（3）保证在客户端数据写入过程中，能够动态识别新添加的存储单元，并保证数据条带能够分布到新的存储单元上，从而实现系统的容量均衡，提高系统的性能。
附图说明
附图1为动态添加存储单元前数据分布；
附图2为动态添加存储单元后数据分布。
具体实施方式
参照说明书附图对本发明的作以下详细地说明。
动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；数据协调处理模块（4），其中：
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户写入数据的元数据部分；
数据存储集群（3）负责提供数据存储单元存储数据包括去掉元数据之后的数据；
数据协调处理模块（4）针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数。
实施例
假设客户端写入文件名为：BigFile；
（1）假设客户端指定BigFile文件分成8个条带块(D0,…,D7)，写入到三个存储单元(LUN1，LUN2，LUN3)中；
（2）数据开始写入，在写入过程中，集群系统动态添加了一个存储单元(LUN’);
（3）数据处理协调模块（3）会检测到存储单元(LUN’)，然后会调整把BigFile文件的某几个条带写入到存储单元LUN’上；
（4）数据操作完成后，文件BigFile写到了四个存储单元(LUN1，LUN2,LUN3, LUN’)上。即：数据有刚开始的三个条带，变成了四个条带，该过程充分利用了新添加的存储单元，实现了系统的容量均衡，同时相应的提高了集群系统的性能。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种集群文件系统动态数据分布方法, 其特征在于动态添加数据写入存储单元的个数，系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；数据协调处理模块（4）：
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户写入数据的元数据部分；
数据存储集群（3）负责提供数据存储单元存储数据包括去掉元数据之后的数据；
数据协调处理模块（4）针对客户端数据写入存储单元的位置，并动态添加数据写入存储单元的个数，具体实施步骤如下：
假设客户端写入文件名为：BigFile；
1）假设客户端指定BigFile文件分成8个条带块D0,…,D7，写入到三个存储单元LUN1，LUN2，…LUN3中；
2）数据开始写入，在写入过程中，集群系统动态添加了一个存储单元LUN’；
3）数据协调处理模块（4）会检测到存储单元LUN’，然后会调整把BigFile文件的某几个条带写入到存储单元LUN’上；
4）数据操作完成后，文件BigFile写到了四个存储单元LUN1，LUN2,LUN3, LUN’上，即：数据由刚开始的三个条带，变成了四个条带，该过程充分利用了新添加的存储单元。
CN201210184965.1A 2012-06-07 2012-06-07 一种集群文件系统动态数据分布方法 Active CN102750343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210184965.1A CN102750343B (zh) 2012-06-07 2012-06-07 一种集群文件系统动态数据分布方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210184965.1A CN102750343B (zh) 2012-06-07 2012-06-07 一种集群文件系统动态数据分布方法

Publications (2)

Publication Number Publication Date
CN102750343A CN102750343A (zh) 2012-10-24
CN102750343B true CN102750343B (zh) 2016-08-31

Family

ID=47030528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210184965.1A Active CN102750343B (zh) 2012-06-07 2012-06-07 一种集群文件系统动态数据分布方法

Country Status (1)

Country Link
CN (1) CN102750343B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137027A (zh) * 2006-11-23 2008-03-05 中兴通讯股份有限公司 一种媒体分片存储的方法
CN102158546A (zh) * 2011-02-28 2011-08-17 中国科学院计算技术研究所 一种集群文件系统及其文件服务方法
CN102460439A (zh) * 2009-04-30 2012-05-16 网络存储技术公司 通过条带式文件系统中的容量平衡进行数据分布

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137027A (zh) * 2006-11-23 2008-03-05 中兴通讯股份有限公司 一种媒体分片存储的方法
CN102460439A (zh) * 2009-04-30 2012-05-16 网络存储技术公司 通过条带式文件系统中的容量平衡进行数据分布
CN102158546A (zh) * 2011-02-28 2011-08-17 中国科学院计算技术研究所 一种集群文件系统及其文件服务方法

Also Published As

Publication number Publication date
CN102750343A (zh) 2012-10-24

Similar Documents

Publication Publication Date Title
US9569457B2 (en) Data processing method and apparatus for distributed systems
CN105653524B (zh) 一种数据存储方法、装置和系统
US8775759B2 (en) Frequency and migration based re-parsing
US9298389B2 (en) Operating a memory management controller
CN103856567A (zh) 基于Hadoop分布式文件系统的小文件存储方法
CN105426127A (zh) 一种分布式集群系统的文件存储方法及装置
WO2015040494A3 (en) System and method for efficiently providing media and associated metadata
AU2013392019B2 (en) File processing method and apparatus, and storage device
US8984225B2 (en) Method to improve the performance of a read ahead cache process in a storage array
WO2007109705A3 (en) Method and system for rapid data-fragmentation analysis of a file-allocation-table (fat) file system
EP2450784A3 (en) Latency reduction associated with a response to a request in a storage system
CN103593226A (zh) 一种提高虚拟机磁盘io性能的方法
WO2016048599A1 (en) Caching technologies employing data compression
KR20130087850A (ko) 데이터 디듀플리케이션 시스템 및 그 방법
CN103399823A (zh) 业务数据的存储方法、设备和系统
CN106557571A (zh) 一种基于k‑v存储引擎的数据去重方法及装置
WO2013170162A3 (en) System and method for the classification of storage
CN103514210A (zh) 小文件处理方法及装置
CN104615577A (zh) 一种大数据服务器
US9183057B2 (en) Systems and methods for accessing memory
WO2011081948A3 (en) Methods and systems for optimizing a process of archiving at least one block of a virtual disk image
CN105630810A (zh) 一种对于海量小文件在分布式存储系统中上载的方法
CN106462481A (zh) 使用循环冗余校验的重复数据
EP2495648A3 (en) Improving network efficiency for continuous remote copy
US10394459B2 (en) Data storage device for filtering page in two steps, system including the same, and method of operating the same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant