CN102055795A - 一种分布式文件系统元数据管理方法 - Google Patents

一种分布式文件系统元数据管理方法 Download PDF

Info

Publication number
CN102055795A
CN102055795A CN2010105364608A CN201010536460A CN102055795A CN 102055795 A CN102055795 A CN 102055795A CN 2010105364608 A CN2010105364608 A CN 2010105364608A CN 201010536460 A CN201010536460 A CN 201010536460A CN 102055795 A CN102055795 A CN 102055795A
Authority
CN
China
Prior art keywords
metadata
mps
mos
client
file system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105364608A
Other languages
English (en)
Inventor
王飞良
王勇
杨浩
苗艳超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN SUGON COMPUTER INDUSTRY Co Ltd
Original Assignee
TIANJIN SUGON COMPUTER INDUSTRY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN SUGON COMPUTER INDUSTRY Co Ltd filed Critical TIANJIN SUGON COMPUTER INDUSTRY Co Ltd
Priority to CN2010105364608A priority Critical patent/CN102055795A/zh
Publication of CN102055795A publication Critical patent/CN102055795A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种分布式文件系统元数据管理方法。本发明通过分离元数据服务器的只读操作和修改操作，降低MOS端元数据只读操作I/O造成的磁盘访问频率，提高了MOS端元数据修改操作的性能；将元数据hash映射到不同的MPS上，提高了MPS的缓存命中率，进一步提升了元数据服务器的性能；MOS修改元数据时屏蔽了客户端和MPS对该元数据的访问，保证元数据修改操作的隔离性。

Description

一种分布式文件系统元数据管理方法
技术领域
本发明涉及计算机存储技术领域，具体涉及一种分布式文件系统元数据管理方法。
背景技术
随着网络技术的飞速发展、信息量的与日俱增，计算机存储技术逐渐成为人们普遍关注的焦点。分布式并行文件系统以其特有的高容错性、高性价比、高可扩展性，顺应了信息爆炸式增长的趋势，得到了科研人员和存储厂商的重视。
在分布式并行文件系统中，元数据处理的性能优劣对文件系统的性能影响很大。在元数据操作密集的情况下，元数据的处理能力甚至成为制约文件系统的瓶颈，因此如何提高元数据处理能力是当前分布式并行文件系统的一个研究重点。
发明内容
本发明的目的在于克服目前元数据只读操作和修改操作在同一台服务器上造成的元数据处理性能低下的问题，提高元数据处理的性能。
一种分布式文件系统元数据管理方法，包括以下步骤：
A、客户端通过hash在固定的MPS上访问相同的元数据；如果第一次hash的MPS不能提供服务，则客户端直接访问下一相邻MPS，直到找到一个可用的MPS；
B、MOS端收到来自客户端的修改操作请求后，首先置本地的操作副本为保留状态，处于保留状态的元数据不能被其他客户端或MPS访问；
C、修改操作完成后，置所有MPS上该元数据的缓存无效，然后解除元数据的保留状态；
D、MOS上的元数据修改完成后，采用与客户端相同的hash函数选择一个目标MPS，将更新的元数据推送到该MPS上；
E、MPS在本地找不到目标元数据时，MPS将该请求转发到目标MOS上，如果MOS能够找到目标元数据，MOS首先向客户端应答请求，然后将该元数据推送到转发的MPS上。
本发明具有如下有益效果：
1.本发明通过分离元数据服务器的只读操作和修改操作，降低MOS端元数据只读操作I/O造成的磁盘访问频率，提高了MOS端元数据修改操作的性能；
2.本发明通过将元数据hash映射到不同的MPS上，提高了MPS的缓存命中率，进一步提升了元数据服务器的性能；
3.本发明MOS修改元数据时屏蔽了客户端和MPS对该元数据的访问，保证元数据修改操作的隔离性。
附图说明
图1是本发明的片上系统的整体结构示意图
具体实施方式
下面结合附图和具体实施方式对本发明做进一步详细解释。
一个分布式文件系统包括多个模块：数据服务器(DS)、元数据存储服务器(MOS)、元数据操作服务器(MPS)和客户端(Client)。本发明实施的体系结构如图1所示，客户端从MPS端读取元数据，向MOS端更新元数据，与DS端交互完成数据读写操作。在本发明中由于不涉及数据的I/O操作，不需要考虑DS的作用。
本发明中主要设计到以下几个协议：
客户端与MPS端的元数据读取访问协议：所有的客户端通过hash在固定的MPS上访问相同的元数据；如果某个MPS负载过大导致超时，客户端自动选择下一个相邻的MPS访问该元数据。对元数据进行hash相当于对元数据服务器进行了一次负载均衡；如果hash函数不是很理想，通过选择下一个相邻的MPS作为新的服务节点相当于进行了二次负载均衡。同时通过固定的hash函数可以保证所有客户端对所有元数据有相同的视图，提高了元数据缓存的缓存命中率；
客户端与MOS端的元数据修改协议：每个元数据一次只能处理一个元数据修改操作，在修改元数据之前将该元数据置为保留状态；元数据在解除保留状态之前不能被访问，所有尝试访问该元数据的读写请求都将进入等待状态；元数据在修改过程中，MPS上该元数据的缓存依然有效，直到MOS端明确置该元数据无效。本协议可以保证元数据修改操作对客户端的隔离性，并最大限度的提高有效缓存的存活时间，降低MOS端需要处理的元数据渡请求的数目；
MPS端与MOS端元数据一致性协议：当MOS端元数据修改完成时，该元数据还处于保留状态；此时MOS向所有缓存有该元数据的MPS发送置元数据无效请求，保证在MOS端元数据解除保留状态时，客户端能够及时访问到最新的元数据；
MPS端和MOS端的转发协议：当MPS端处理只读元数据请求时，如果目标元数据在当前MPS上不存在，则将该请求转发到目标MOS。如果MOS上找不到目标元数据，则向客户端应答目标元数据不存在；否则，MOS首先应答客户端，然后将该目标元数据推送到MPS上。采用该协议可以保证对经常访问的元数据能够尽快推送到MPS上，提高元数据的缓存命中率；
MOS端和MPS端的元数据推送协议：元数据修改操作结束后，采用与客户端相同的hash算法将元数据推送到指定的一个MPS上。采用该协议的原因是一个元数据修改过后，该客户端短期内可能需要读取该元数据。
以上一组协议可以保证MPS端元数据的一致性、有效性和缓存的高命中率，提高元数据的处理性能。

Claims (1)

1.一种分布式文件系统元数据管理方法，其特征在于：包括以下步骤：
A、客户端通过hash在固定的MPS上访问相同的元数据；如果第一次hash的MPS不能提供服务，则客户端直接访问下一相邻MPS，直到找到一个可用的MPS；
B、MOS端收到来自客户端的修改操作请求后，首先置本地的操作副本为保留状态，处于保留状态的元数据不能被其他客户端或MPS访问；
C、修改操作完成后，置所有MPS上该元数据的缓存无效，然后解除元数据的保留状态；
D、MOS上的元数据修改完成后，采用与客户端相同的hash函数选择一个目标MPS，将更新的元数据推送到该MPS上；
E、MPS在本地找不到目标元数据时，MPS将该请求转发到目标MOS上，如果MOS能够找到目标元数据，MOS首先向客户端应答请求，然后将该元数据推送到转发的MPS上。
CN2010105364608A 2010-11-04 2010-11-04 一种分布式文件系统元数据管理方法 Pending CN102055795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105364608A CN102055795A (zh) 2010-11-04 2010-11-04 一种分布式文件系统元数据管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105364608A CN102055795A (zh) 2010-11-04 2010-11-04 一种分布式文件系统元数据管理方法

Publications (1)

Publication Number Publication Date
CN102055795A true CN102055795A (zh) 2011-05-11

Family

ID=43959714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105364608A Pending CN102055795A (zh) 2010-11-04 2010-11-04 一种分布式文件系统元数据管理方法

Country Status (1)

Country Link
CN (1) CN102055795A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546751A (zh) * 2011-12-06 2012-07-04 华中科技大学 一种分布式文件系统分级元数据缓存控制方法
CN104408381A (zh) * 2014-11-27 2015-03-11 大连理工大学 云存储中数据完整性保护方法
WO2015124042A1 (zh) * 2014-02-24 2015-08-27 华为技术有限公司 分布式文件系统列式存储的元数据更新方法、装置、主机
CN105787597A (zh) * 2016-01-20 2016-07-20 北京优弈数据科技有限公司 一种数据优化处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101563A (zh) * 2007-07-23 2008-01-09 清华大学 基于海量数据分级存储系统的迁移管理方法
CN101187930A (zh) * 2007-12-04 2008-05-28 浙江大学 分布式文件系统虚拟目录及命名空间的实现方法
CN101196929A (zh) * 2007-12-29 2008-06-11 中国科学院计算技术研究所 一种拆分名字空间的元数据管理方法
CN101247417A (zh) * 2008-03-07 2008-08-20 中国科学院计算技术研究所 双层元数据处理系统及方法
CN101354726A (zh) * 2008-09-17 2009-01-28 中国科学院计算技术研究所 一种机群文件系统的内存元数据管理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101563A (zh) * 2007-07-23 2008-01-09 清华大学 基于海量数据分级存储系统的迁移管理方法
CN101187930A (zh) * 2007-12-04 2008-05-28 浙江大学 分布式文件系统虚拟目录及命名空间的实现方法
CN101196929A (zh) * 2007-12-29 2008-06-11 中国科学院计算技术研究所 一种拆分名字空间的元数据管理方法
CN101247417A (zh) * 2008-03-07 2008-08-20 中国科学院计算技术研究所 双层元数据处理系统及方法
CN101354726A (zh) * 2008-09-17 2009-01-28 中国科学院计算技术研究所 一种机群文件系统的内存元数据管理方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546751A (zh) * 2011-12-06 2012-07-04 华中科技大学 一种分布式文件系统分级元数据缓存控制方法
CN102546751B (zh) * 2011-12-06 2014-06-18 华中科技大学 一种分布式文件系统分级元数据缓存控制方法
WO2015124042A1 (zh) * 2014-02-24 2015-08-27 华为技术有限公司 分布式文件系统列式存储的元数据更新方法、装置、主机
US9678969B2 (en) 2014-02-24 2017-06-13 Huawei Technologies Co., Ltd. Metadata updating method and apparatus based on columnar storage in distributed file system, and host
CN104408381A (zh) * 2014-11-27 2015-03-11 大连理工大学 云存储中数据完整性保护方法
CN104408381B (zh) * 2014-11-27 2017-04-12 大连理工大学 云存储中数据完整性保护方法
CN105787597A (zh) * 2016-01-20 2016-07-20 北京优弈数据科技有限公司 一种数据优化处理系统
CN105787597B (zh) * 2016-01-20 2019-12-06 大连优弈数据科技有限公司 一种数据优化处理系统

Similar Documents

Publication Publication Date Title
US6883068B2 (en) Methods and apparatus for implementing a chche replacement scheme
US8463846B2 (en) File bundling for cache servers of content delivery networks
US8244986B2 (en) Data storage and access in multi-core processor architectures
EP3089039B1 (en) Cache management method and device
CN107179878B (zh) 基于应用优化的数据存储的方法和装置
US20130290643A1 (en) Using a cache in a disaggregated memory architecture
CN102439580A (zh) 用于网络加速以及对高速缓存文件系统进行高效索引编制的系统及方法
CN102591970A (zh) 一种分布式键-值查询方法和查询引擎系统
US10482062B1 (en) Independent evictions from datastore accelerator fleet nodes
JP2004192292A (ja) プリフェッチアプライアンスサーバ
WO2007035580A2 (en) Providing local access to managed content
Wu et al. zexpander: A key-value cache with both high performance and fewer misses
CN105159845A (zh) 存储器读取方法
CN102984256B (zh) 一种基于授权方式的元数据的处理方法和系统
CN102438020A (zh) 内容分发网络中内容分发的方法、设备和网络系统
CN105138679A (zh) 一种基于分布式缓存的数据处理系统及处理方法
JP5817558B2 (ja) 情報処理装置、分散処理システム、キャッシュ管理プログラムおよび分散処理方法
CN102055795A (zh) 一种分布式文件系统元数据管理方法
US7249219B1 (en) Method and apparatus to improve buffer cache hit rate
CN114844846A (zh) 一种基于可编程交换机的多级缓存分布式键值存储系统
CN111309266A (zh) 一种基于ceph的分布式存储元数据系统日志优化系统与方法
CN101763390A (zh) 基于Berkeley DB的数据库存储系统及方法
CN108319634A (zh) 分布式文件系统的目录访问方法和装置
JP5661355B2 (ja) 分散キャッシュシステム
JP6343722B2 (ja) マルチコアシステムにおいてデータ訪問者ディレクトリにアクセスするための方法及びデバイス

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110511