CN102750343A - 一种集群文件系统动态数据分布方法 - Google Patents

一种集群文件系统动态数据分布方法 Download PDF

Info

Publication number
CN102750343A
CN102750343A CN2012101849651A CN201210184965A CN102750343A CN 102750343 A CN102750343 A CN 102750343A CN 2012101849651 A CN2012101849651 A CN 2012101849651A CN 201210184965 A CN201210184965 A CN 201210184965A CN 102750343 A CN102750343 A CN 102750343A
Authority
CN
China
Prior art keywords
data
storage unit
cluster
file
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101849651A
Other languages
English (en)
Other versions
CN102750343B (zh
Inventor
胡振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201210184965.1A priority Critical patent/CN102750343B/zh
Publication of CN102750343A publication Critical patent/CN102750343A/zh
Application granted granted Critical
Publication of CN102750343B publication Critical patent/CN102750343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种集群文件系统动态数据分布方法，该方法是动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；数据协调处理模块（4），其中：客户端模块（1）是访问文件系统的入口，负责用户的数据请求；元数据集群（2）负责存储用户写入数据的元数据部分；数据存储集群（3）负责提供数据存储单元存储数据包括去掉元数据之后的数据；数据协调处理模块（4）针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数。

Description

一种集群文件系统动态数据分布方法
技术领域
本发明涉及计算机应用技术领域，通常适用于分布式、并行文件系统中，能够实现容量均衡，并极大的提高集群文件系统的性能，具体地说是一种集群文件系统动态数据分布方法。
背景技术
目前部分分布式集群文件系统存在的问题是，当客户端进行文件写入的过程中，数据会被分成多个条带，然后每个条带会写入集群系统中的存储单元上，但是，当动态添加新的存储单元后，该文件是不能识别到新添加的存储单元，也就是，数据条带不能动态分布到新的存储单元上，这对提高集群性能起不到到相应的作用。本发明就是针对该问题而提出的。
发明内容
本发明的目的是提供一种集群文件系统动态数据分布方法。
本发明的目的是按以下方式实现的，动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；数据协调处理模块（4），其中：
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户写入数据的元数据部分；
数据存储集群（3）负责提供数据存储单元存储数据包括去掉元数据之后的数据；
数据协调处理模块（4）针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数。
具体实施步骤如下：
假设客户端写入文件名为：BigFile；
1）假设客户端指定BigFile文件分成8个条带块D0,…,D7，写入到三个存储单元LUN1，LUN2，…LUN3中；
2）数据开始写入，在写入过程中，集群系统动态添加了一个存储单元LUN‘;
3）数据处理协调模块（3）会检测到存储单元LUN’，然后会调整把BigFile文件的某几个条带写入到存储单元LUN’上；
4）数据操作完成后，文件BigFile写到了四个存储单元LUN1，LUN2,LUN3, LUN’上，即：数据有刚开始的三个条带，变成了四个条带，该过程充分利用了新添加的存储单元，实现了系统的容量均衡，同时相应的提高了集群系统的性能。
本发明的有益效果是：一种集群文件系统动态数据分布方法，该方法主要创新是通过数据处理协调模块（3）保证在客户端数据写入过程中，能够动态识别新添加的存储单元，并保证数据条带能够分布到新的存储单元上，从而实现系统的容量均衡，提高系统的性能。
附图说明
附图1为动态添加存储单元前数据分布；
附图2为动态添加存储单元后数据分布。
具体实施方式
参照说明书附图对本发明的作以下详细地说明。
动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；数据协调处理模块（4），其中：
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户写入数据的元数据部分；
数据存储集群（3）负责提供数据存储单元存储数据包括去掉元数据之后的数据；
数据协调处理模块（4）针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数。
实施例
假设客户端写入文件名为：BigFile；
（1）假设客户端指定BigFile文件分成8个条带块(D0,…,D7)，写入到三个存储单元(LUN1，LUN2，LUN3)中；
（2）数据开始写入，在写入过程中，集群系统动态添加了一个存储单元(LUN’);
（3）数据处理协调模块（3）会检测到存储单元(LUN’)，然后会调整把BigFile文件的某几个条带写入到存储单元LUN’上；
（4）数据操作完成后，文件BigFile写到了四个存储单元(LUN1，LUN2,LUN3, LUN’)上。即：数据有刚开始的三个条带，变成了四个条带，该过程充分利用了新添加的存储单元，实现了系统的容量均衡，同时相应的提高了集群系统的性能。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种集群文件系统动态数据分布方法, 其特征在于动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；数据协调处理模块（4），其中：
客户端模块（1）是访问文件系统的入口，负责用户的数据请求；
元数据集群（2）负责存储用户写入数据的元数据部分；
数据存储集群（3）负责提供数据存储单元存储数据包括去掉元数据之后的数据；
数据协调处理模块（4）针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数，具体实施步骤如下：
假设客户端写入文件名为：BigFile；
1）假设客户端指定BigFile文件分成8个条带块D0,…,D7，写入到三个存储单元LUN1，LUN2，…LUN3中；
2）数据开始写入，在写入过程中，集群系统动态添加了一个存储单元LUN‘；
3）数据处理协调模块（3）会检测到存储单元LUN’，然后会调整把BigFile文件的某几个条带写入到存储单元LUN’上；
4）数据操作完成后，文件BigFile写到了四个存储单元LUN1，LUN2,LUN3, LUN’上，即：数据有刚开始的三个条带，变成了四个条带，该过程充分利用了新添加的存储单元，实现了系统的容量均衡，同时相应的提高了集群系统的性能。
CN201210184965.1A 2012-06-07 2012-06-07 一种集群文件系统动态数据分布方法 Active CN102750343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210184965.1A CN102750343B (zh) 2012-06-07 2012-06-07 一种集群文件系统动态数据分布方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210184965.1A CN102750343B (zh) 2012-06-07 2012-06-07 一种集群文件系统动态数据分布方法

Publications (2)

Publication Number Publication Date
CN102750343A true CN102750343A (zh) 2012-10-24
CN102750343B CN102750343B (zh) 2016-08-31

Family

ID=47030528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210184965.1A Active CN102750343B (zh) 2012-06-07 2012-06-07 一种集群文件系统动态数据分布方法

Country Status (1)

Country Link
CN (1) CN102750343B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137027A (zh) * 2006-11-23 2008-03-05 中兴通讯股份有限公司 一种媒体分片存储的方法
CN102158546A (zh) * 2011-02-28 2011-08-17 中国科学院计算技术研究所 一种集群文件系统及其文件服务方法
CN102460439A (zh) * 2009-04-30 2012-05-16 网络存储技术公司 通过条带式文件系统中的容量平衡进行数据分布

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137027A (zh) * 2006-11-23 2008-03-05 中兴通讯股份有限公司 一种媒体分片存储的方法
CN102460439A (zh) * 2009-04-30 2012-05-16 网络存储技术公司 通过条带式文件系统中的容量平衡进行数据分布
CN102158546A (zh) * 2011-02-28 2011-08-17 中国科学院计算技术研究所 一种集群文件系统及其文件服务方法

Also Published As

Publication number Publication date
CN102750343B (zh) 2016-08-31

Similar Documents

Publication Publication Date Title
CN105653524B (zh) 一种数据存储方法、装置和系统
CN104407879B (zh) 一种电网时序大数据并行加载方法
CN103856567A (zh) 基于Hadoop分布式文件系统的小文件存储方法
EP2711856A1 (en) Method and device for metadata query
CN105630810B (zh) 一种对于海量小文件在分布式存储系统中上载的方法
EP2450784A3 (en) Latency reduction associated with a response to a request in a storage system
CN102521330A (zh) 一种桌面虚拟化环境下的镜像分布式存储方法
CN102521419A (zh) 分级存储的实现方法和系统
CN101986655A (zh) 存储网络及该存储网络的数据读写方法
WO2007109705A3 (en) Method and system for rapid data-fragmentation analysis of a file-allocation-table (fat) file system
CN101794199A (zh) 基于高速磁盘缓存的计算机磁盘性能加速方法
CN102880671A (zh) 一种面向分布式文件系统的主动重复数据删除方法
CN104317899A (zh) 一种大数据分析与处理系统及访问方法
CN103336672A (zh) 数据读取方法、装置及计算设备
CN101957729B (zh) 逻辑块变换方法及基于该方法兼容用户读写的方法和装置
CN105005585A (zh) 一种日志数据的处理方法和装置
CN102567442A (zh) 一种分布式文件系统中元数据磁盘同步的方法
CN104158875A (zh) 一种分摊减轻数据中心服务器任务的方法及系统
CN103488582B (zh) 写高速缓冲存储器的方法及装置
CN104239231A (zh) 一种加速二级缓存预热的方法及装置
CN103500147A (zh) 一种嵌入分层存储的pb级集群存储系统的方法
CN110990340B (zh) 一种大数据多层次存储架构
WO2015067128A1 (zh) 一种堆叠式重复数据删除文件系统
EP2674852B1 (en) I/o balanced processing method and device
CN102750343A (zh) 一种集群文件系统动态数据分布方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant