CN106599102A - 一种基于目录切分机制的元数据性能提升方法 - Google Patents

一种基于目录切分机制的元数据性能提升方法 Download PDF

Info

Publication number
CN106599102A
CN106599102A CN201611070330.3A CN201611070330A CN106599102A CN 106599102 A CN106599102 A CN 106599102A CN 201611070330 A CN201611070330 A CN 201611070330A CN 106599102 A CN106599102 A CN 106599102A
Authority
CN
China
Prior art keywords
catalogue
burst
metadata
method based
performance improvement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611070330.3A
Other languages
English (en)
Inventor
张延良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201611070330.3A priority Critical patent/CN106599102A/zh
Publication of CN106599102A publication Critical patent/CN106599102A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0634—Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于目录切分机制的元数据性能提升方法，包括以下步骤：将目录切分为若干目录分片；将若干元数据服务与若干目录分片进行对应，一个目录分片对应一个元数据服务。本发明还公开了一种基于目录切分机制的元数据性能提升方法，包括以下步骤：将目录依次切分为N层目录分片，其中，第1层目录分片包括由目录切分而成的若干第1目录分片，第i层目录分片包括由至少一个第i‑1层目录分片切分而成的若干第i目录分片，i，N均为自然数，2≤i≤N；任一第h目录分片未被切分为若干第h+1目录分片，则为该第h目录分片分配一个元数据服务进行对应，h为自然数，1≤h≤N。

Description

一种基于目录切分机制的元数据性能提升方法
技术领域
本发明涉及单目录元数据IO性能提升技术领域，尤其涉及一种基于目录切分机制的元数据性能提升方法。
背景技术
在分布式文件系统实际应用中，会遇到在海量小文件的应用场景。单目录下海量小文件IO性能很大部分取决于元数据性能，由于单目录对应一个元数据服务，因此会出现元数据性能瓶颈。为了解决单目录元数据性能，需要提升单目录的元数据并发性能。单纯的提升单个元数据服务的性能，需要优化元数据路径，这种方式也就能带来10％到50％的元数据提升。
因此，对于本领域技术人员而言，如何提升单目录元数据性能为亟需解决的技术问题。
发明内容
为了便于理解，对本申请文件中出现的部分词语，澄清如下：
IO：input/output，输入/输出。
基于背景技术存在的技术问题，本发明提出了一种基于目录切分机制的元数据性能提升方法，包括以下步骤：
将目录切分为若干目录分片；
将若干元数据服务与若干目录分片进行对应，一个目录分片对应一个元数据服务。
优选地，元数据服务与目录分片数量相等，且元数据服务与目录分片一一对应。
优选地，包括以下步骤：将任一目录分片对应一块或多块磁盘。
优选地，包括以下步骤：将不同节点与目录分片对应。
优选地，采用哈希的方式将不同节点与目录分片对应。
本发明中提供的一种基于目录切分机制的元数据性能提升方法，通过将目录切分为若干目录分片，一个目录分片对应一个元数据服务，从而使得单目录使用多个多数据服务进行IO；进一步地，一个目录分片对应一个或多个磁盘，使得单目录写入单个磁盘的方式变成写入多个磁盘的方式，实现了元数据存储的并发；上述方法至少具有以下优点：
通过将单目录切分为若干目录分片，将单目录使用一个元数据服务的IO模式转变为使用多个元数据服务的IO模式，大幅度提升单目录元数据并发性能。
将单目录切分为若干目录分片后，可以将其中若干目录分片进一步切分，本发明还提供了一种基于目录切分机制的元数据性能提升方法，包括以下步骤：
将目录依次切分为N层目录分片，其中，第1层目录分片包括由目录切分而成的若干第1目录分片，第i层目录分片包括由至少一个第i-1层目录分片切分而成的若干第i目录分片，i，N均为自然数，2≤i≤N；
任一第h目录分片未被切分为若干第h+1目录分片，则为该第h目录分片分配一个元数据服务进行对应，h为自然数，1≤h≤N。
优选地，包括以下步骤：若第h目录分片具有对应的元数据服务，则为其分片一块或多块磁盘进行对应。
上述基于目录切分机制的元数据性能提升方法的有益效果与第一种基于目录切分机制的元数据性能提升方法中有益效果类似，此处不再赘述。
附图说明
图1为本发明提出的一种基于目录切分机制的元数据性能提升方法中一种实施例的流程示意图；
图2为本发明提出的一种基于目录切分机制的元数据性能提升方法中一种实施例所形成系统的系统拓扑图。
具体实施方式
如图1-2所示，图1为本发明提出的一种基于目录切分机制的元数据性能提升方法中一种实施例的流程示意图；图2为本发明提出的一种分布式文件系统中一种实施例的系统拓扑图。
下面结合附图和实施例对本发明进行详细的描述。
参考图1，一种基于目录切分机制的元数据性能提升方法，包括以下步骤：
将目录切分为若干目录分片；
将若干元数据服务与若干目录分片进行对应，一个目录分片对应一个元数据服务且元数据服务与目录分片一一对应；
将任一目录分片对应一块或多块磁盘；
采用哈希的方式将不同节点与目录分片对应。
在上述实施例中，我们可以获知，实施例采用的基于目录切分机制的元数据性能提升方法，通过将目录切分为若干目录分片，一个目录分片对应一个元数据服务，从而使得单目录使用多个多数据服务进行IO；进一步地，一个目录分片对应一个或多个磁盘，使得单目录写入单个磁盘的方式变成写入多个磁盘的方式，实现了元数据存储的并发，形成的系统拓扑结构可参考图2；当客户端在目录下发送创建、查看、删除等文件操作请求时，可以依据所指定的文件将请求哈希到对应目录分片下，并将请求进一步发送至该目录分片对应的元数据服务商，由该元数据服务来响应操作。
将单目录切分为若干目录分片后，可以将其中若干目录分片进一步切分，本发明还提供了一种基于目录切分机制的元数据性能提升方法，包括以下步骤：
将目录依次切分为N层目录分片，其中，第1层目录分片包括由目录切分而成的若干第1目录分片，第i层目录分片包括由至少一个第i-1层目录分片切分而成的若干第i目录分片，i，N均为自然数，2≤i≤N；
任一第h目录分片未被切分为若干第h+1目录分片，则为该第h目录分片分配一个元数据服务进行对应，h为自然数，1≤h≤N；
若第h目录分片具有对应的元数据服务，则为其分片一块或多块磁盘进行对应。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于目录切分机制的元数据性能提升方法，其特征在于，包括以下步骤：
将目录切分为若干目录分片；
将若干元数据服务与若干目录分片进行对应，一个目录分片对应一个元数据服务。
2.根据权利要求1所述的基于目录切分机制的元数据性能提升方法，其特征在于，元数据服务与目录分片数量相等，且元数据服务与目录分片一一对应。
3.根据权利要求1所述的基于目录切分机制的元数据性能提升方法，其特征在于，包括以下步骤：将任一目录分片对应一块或多块磁盘。
4.根据权利要求1所述的基于目录切分机制的元数据性能提升方法，其特征在于，包括以下步骤：将不同节点与目录分片对应。
5.根据权利要求4所述的基于目录切分机制的元数据性能提升方法，其特征在于，采用哈希的方式将不同节点与目录分片对应。
6.一种基于目录切分机制的元数据性能提升方法，其特征在于，包括以下步骤：
将目录依次切分为N层目录分片，其中，第1层目录分片包括由目录切分而成的若干第1目录分片，第i层目录分片包括由至少一个第i-1层目录分片切分而成的若干第i目录分片，i，N均为自然数，2≤i≤N；
任一第h目录分片未被切分为若干第h+1目录分片，则为该第h目录分片分配一个元数据服务进行对应，h为自然数，1≤h≤N。
7.根据权利要求6所述的基于目录切分机制的元数据性能提升方法，其特征在于，包括以下步骤：若第h目录分片具有对应的元数据服务，则为其分片一块或多块磁盘进行对应。
CN201611070330.3A 2016-11-29 2016-11-29 一种基于目录切分机制的元数据性能提升方法 Pending CN106599102A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611070330.3A CN106599102A (zh) 2016-11-29 2016-11-29 一种基于目录切分机制的元数据性能提升方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611070330.3A CN106599102A (zh) 2016-11-29 2016-11-29 一种基于目录切分机制的元数据性能提升方法

Publications (1)

Publication Number Publication Date
CN106599102A true CN106599102A (zh) 2017-04-26

Family

ID=58595481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611070330.3A Pending CN106599102A (zh) 2016-11-29 2016-11-29 一种基于目录切分机制的元数据性能提升方法

Country Status (1)

Country Link
CN (1) CN106599102A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315547A (zh) * 2017-07-18 2017-11-03 郑州云海信息技术有限公司 一种读取分布式元数据文件的方法及装置
CN107609140A (zh) * 2017-09-20 2018-01-19 郑州云海信息技术有限公司 一种分布式文件系统目录文件访问的方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024017A (zh) * 2010-11-04 2011-04-20 天津曙光计算机产业有限公司 一种无重复无遗漏遍历分布式文件系统目录项的方法
CN102158546A (zh) * 2011-02-28 2011-08-17 中国科学院计算技术研究所 一种集群文件系统及其文件服务方法
CN102523258A (zh) * 2011-11-30 2012-06-27 广东电子工业研究院有限公司 一种面向云操作系统的数据存储架构及其负载均衡方法
CN103136338A (zh) * 2013-02-04 2013-06-05 中国科学院信息工程研究所 一种基于目录划分的元数据分布方法及装置
CN103150394A (zh) * 2013-03-25 2013-06-12 中国人民解放军国防科学技术大学 面向高性能计算的分布式文件系统元数据管理方法
CN103229173A (zh) * 2012-12-26 2013-07-31 华为技术有限公司 元数据管理方法及系统
CN103544322A (zh) * 2013-11-08 2014-01-29 北京邮电大学 基于服务器集群的热点元数据管理方法
CN103761059A (zh) * 2014-01-24 2014-04-30 中国科学院信息工程研究所 一种用于海量数据管理的多盘位存储方法及系统
CN105550371A (zh) * 2016-01-27 2016-05-04 华中科技大学 一种面向大数据环境的元数据组织方法和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024017A (zh) * 2010-11-04 2011-04-20 天津曙光计算机产业有限公司 一种无重复无遗漏遍历分布式文件系统目录项的方法
CN102158546A (zh) * 2011-02-28 2011-08-17 中国科学院计算技术研究所 一种集群文件系统及其文件服务方法
CN102523258A (zh) * 2011-11-30 2012-06-27 广东电子工业研究院有限公司 一种面向云操作系统的数据存储架构及其负载均衡方法
CN103229173A (zh) * 2012-12-26 2013-07-31 华为技术有限公司 元数据管理方法及系统
CN103136338A (zh) * 2013-02-04 2013-06-05 中国科学院信息工程研究所 一种基于目录划分的元数据分布方法及装置
CN103150394A (zh) * 2013-03-25 2013-06-12 中国人民解放军国防科学技术大学 面向高性能计算的分布式文件系统元数据管理方法
CN103544322A (zh) * 2013-11-08 2014-01-29 北京邮电大学 基于服务器集群的热点元数据管理方法
CN103761059A (zh) * 2014-01-24 2014-04-30 中国科学院信息工程研究所 一种用于海量数据管理的多盘位存储方法及系统
CN105550371A (zh) * 2016-01-27 2016-05-04 华中科技大学 一种面向大数据环境的元数据组织方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
沈春辉: ""数字图书馆中海量数据存储组织的研究与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈起等: ""MDDS：一种面向高性能计算的并行文件系统元数据性能提升方法"", 《计算机研究与发展》 *
马灿、孟丹等: ""曙光星云分布式文件系统：海量小文件存取"", 《小型微型计算机系统》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315547A (zh) * 2017-07-18 2017-11-03 郑州云海信息技术有限公司 一种读取分布式元数据文件的方法及装置
CN107609140A (zh) * 2017-09-20 2018-01-19 郑州云海信息技术有限公司 一种分布式文件系统目录文件访问的方法及装置

Similar Documents

Publication Publication Date Title
CN104881466B (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN106708427A (zh) 一种适用于键值对数据的存储方法
CN104407879B (zh) 一种电网时序大数据并行加载方法
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其系统
CN102855294A (zh) 一种智能哈希数据布局方法、集群存储系统及其方法
CN102523258A (zh) 一种面向云操作系统的数据存储架构及其负载均衡方法
CN102521063A (zh) 一种适用于虚拟机迁移和容错的共享存储方法
CN102411637A (zh) 分布式文件系统的元数据管理方法
CN102541985A (zh) 一种分布式文件系统中客户端目录缓存的组织方法
CN103761059B (zh) 一种用于海量数据管理的多盘位存储方法及系统
CN103795801A (zh) 一种基于实时应用集群的元数据集群设计方法
CN102223681A (zh) 一种物联网系统及其中缓存的控制方法
CN107220348A (zh) 一种基于Flume与Alluxio的数据收集方法
CN107832423A (zh) 一种用于分布式文件系统的文件读写方法
CN102387179A (zh) 分布式文件系统及其结点、存储方法和存储控制方法
CN103713973A (zh) 一种基于hdd和ssd的混合存储备份方法及系统
CN106250571A (zh) 一种etl数据处理的方法及系统
CN106599102A (zh) 一种基于目录切分机制的元数据性能提升方法
CN104199901A (zh) 一种批量合并hbase表regions的方法
CN103473258A (zh) 云存储文件系统
CN103500147A (zh) 一种嵌入分层存储的pb级集群存储系统的方法
CN107229755A (zh) 一种分布式系统优化方法及设备
CN102722450A (zh) 一种基于位置敏感哈希的删冗块设备存储方法
CN107066503A (zh) 海量元数据分片分布的方法及装置
CN106855869A (zh) 一种实现数据库高可用的方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426