CN107066503A - 海量元数据分片分布的方法及装置 - Google Patents

海量元数据分片分布的方法及装置 Download PDF

Info

Publication number
CN107066503A
CN107066503A CN201710005810.XA CN201710005810A CN107066503A CN 107066503 A CN107066503 A CN 107066503A CN 201710005810 A CN201710005810 A CN 201710005810A CN 107066503 A CN107066503 A CN 107066503A
Authority
CN
China
Prior art keywords
metadata
data block
burst
magnanimity
bursts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710005810.XA
Other languages
English (en)
Inventor
李雪生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710005810.XA priority Critical patent/CN107066503A/zh
Publication of CN107066503A publication Critical patent/CN107066503A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于文件系统海量元数据分布技术领域，公开了一种海量元数据分片分布的方法，包括将单目录的元数据数据块划分为多个元数据分片；元数据数据块依据预定规则分布在不同的元数据分片上；将不同的元数据分片分别存储在多个存储设备上。本发明还公开了一种海量元数据分片分布的装置，包括单目录元数据数据块划分模块、第一元数据数据块分布模块和元数据分片存储模块。本发明解决了单目录海量数目的文件，文件系统元数据管理效率低的问题，本发明将单目录的元数据数据块划分为多个元数据分片，元数据分片大小的减小，能够实现元数据缓存的加载、同步。

Description

海量元数据分片分布的方法及装置
技术领域
本发明属于文件系统海量元数据分布技术领域，特别是涉及一种海量元数据分片分布的方法及装置。
背景技术
任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据，而元数据指用来描述一个文件的特征的系统数据，诸如访问权限、文件拥有者以及文件数据块的分布信息（inode…）等等。在分布式文件系统中，分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据，才能定位到文件的位置并且得到文件的内容或相关属性。用户使用文件系统过程中，文件系统元数据请求占据了所有请求50%以上的比例，诸如（readdir、getattr、open、close、setattr…）文件系统元数据对整个文件系统有着重要的影响。
大数据时代非结构化的数据成爆炸式的增长，采用文件系统管理海量数据的方式越来越广泛，但是文件数目巨大，例如，大规模传感器会产生海量的数据片段，形成数量庞大的小数据文件。通常的元数据都要加载到内存缓存，才能完成文件系统的基本功能，但是数据量巨大的元数据加载到内存缓存过程慢、冲突检测困难。传统的文件系统元数据管理方法已经不能满足数据增长的需要。例如：单目录文件个数为 N，那么一个目录在存储设备的空间大小M：M = 4KB * N（假设单元数据大小4KB）， 当N为1亿的时候， 元数据数据块M大概0.4TB，以单盘性能100MB/s计算， 单是加载元数据到元数据的缓存就需要1个多小时，再加上超大的缓存问题，直接导致单目录无法支持海量数量的文件。
发明内容
本发明目的是提供一种海量元数据分片分布的方法及装置，本发明解决了单目录海量数目的文件，文件系统元数据管理效率低的问题。
为了实现上述目的，本发明采用以下的技术方案：
一种海量元数据分片分布的方法，包括以下步骤：
将单目录的元数据数据块划分为多个元数据分片；
元数据数据块依据预定规则分布在不同的元数据分片上；
将不同的元数据分片分别存储在多个存储设备上。
优选地，元数据数据块依据预定规则分布在不同的元数据分片上，进一步包括：
元数据数据块依据名称哈希到不同的元数据分片上；
同一个元数据分片对应具有相同哈希值的元数据数据块。
优选地，依据名称的哈希值，获得存储在不同存储设备上的元数据分片。
本发明还提供一种海量元数据分片分布的装置，包括：
单目录元数据数据块划分模块，用于将单目录的元数据数据块划分为多个元数据分片；
第一元数据数据块分布模块，用于元数据数据块依据预定规则分布在不同的元数据分片上；
元数据分片存储模块，用于将不同的元数据分片分别存储在多个存储设备上。
优选地，还包括：第二元数据数据块分布模块，用于元数据数据块依据名称哈希到不同的元数据分片上。
优选地，还包括：元数据分片对应模块，用于同一个元数据分片对应具有相同哈希值的元数据数据块。
优选地，还包括：元数据分片获取模块，用于依据名称的哈希值，获得存储在不同存储设备上的元数据分片。
与现有技术相比，本发明具有以下优点：
1.本发明将单目录的元数据数据块划分为多个元数据分片，元数据分片大小的减小，能够实现元数据缓存的加载、同步。
2.不同的元数据分片分别存储在多个存储设备上，能够实现元数据数据块的并发读写，大大提升元数据数据块的读写速度。
3. 同一个元数据分片对应具有相同哈希值的元数据数据块，所有元数据分片组成整个目录的命名空间，方便元数据数据块的管理和维护。
附图说明
图1是本发明一种海量元数据分片分布的方法的流程示意图；
图2是本发明单目录的元数据数据块划分和存储元数据分片的结构示意图；
图3是本发明一种海量元数据分片分布的装置的结构示意图。
具体实施方式
为了便于理解，对本发明中出现的部分名词作以下解释说明：
哈希值，哈希算法将任意长度的二进制值映射为固定长度的较小二进制值，这个小的二进制值成为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式。如果散列一段明文而且哪怕只更改该段落的一个字母，随后的哈希都将产生不同的值。
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述：
本实施例提供一种海量元数据分片分布的方法，包括：
将单目录的元数据数据块划分为多个元数据分片；
元数据数据块依据预定规则分布在不同的元数据分片上；
将不同的元数据分片分别存储在多个存储设备上。
请参考图1和图2，图1是本发明一种海量元数据分片分布的方法的流程示意图；图2是本发明单目录的元数据数据块划分和存储元数据分片的结构示意图；本实施例提供一种海量元数据分片分布的方法，包括以下步骤：
步骤S101，将单目录的元数据数据块划分为多个元数据分片；
在本实施例中，将单目录的元数据数据块划分为6个元数据分片。
步骤S102，单目录的所有元数据数据块依据名称哈希到不同的元数据分片上，上面提到的名称包括：目录名称、目录下的文件名称和子目录名称；
同一名称的元数据数据块分布在一个元数据分片上或者多个元数据分片上，但是同一个元数据分片对应具有相同哈希值的元数据数据块。
步骤S103，将不同的元数据分片分别存储在多个存储设备上；
在本实施例中，采用4台存储设备存储6个元数据分片。
步骤S104，依据名称的哈希值，获得存储在不同存储设备上的元数据分片。
在本实施例中，元数据数据块加载过程依据名称的哈希值，找到6个元数据分片，分片加载存储设备上的元数据分片。
本发明提出了海量元数据数据块采用分片分布到存储设备，通过将元数据数据块分割为一定数量的分片进行管理，使元数据数据块能够进行缓存的加载、同步，同时实现元数据数据块的并发读写，大大提升元数据数据块的读写速度。
本实施例提供一种海量元数据分片分布的装置，包括：
单目录元数据数据块划分模块，用于将单目录的元数据数据块划分为多个元数据分片；
第一元数据数据块分布模块，用于元数据数据块依据预定规则分布在不同的元数据分片上；
元数据分片存储模块，用于将不同的元数据分片分别存储在多个存储设备上。
请参考图3，图3是本发明一种海量元数据分片分布的装置的结构示意图；本实施例提供一种海量元数据分片分布的装置，包括：
单目录元数据数据块划分模块31，用于将单目录的元数据数据块划分为多个元数据分片；
第一元数据数据块分布模块32，用于元数据数据块依据预定规则分布在不同的元数据分片上；第一元数据数据块分布模块32包括第二元数据数据块分布模块34和元数据分片对应模块35；第二元数据数据块分布模块34，用于元数据数据块依据名称哈希到不同的元数据分片上；元数据分片对应模块35，用于同一个元数据分片对应具有相同哈希值的元数据数据块；
元数据分片存储模块33，用于将不同的元数据分片分别存储在多个存储设备上；
元数据分片获取模块36，用于依据名称的哈希值，获得存储在不同存储设备上的元数据分片。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种海量元数据分片分布的方法，其特征在于，包括以下步骤：
将单目录的元数据数据块划分为多个元数据分片；
元数据数据块依据预定规则分布在不同的元数据分片上；
将不同的元数据分片分别存储在多个存储设备上。
2.根据权利要求1所述的海量元数据分片分布的方法，其特征在于，元数据数据块依据预定规则分布在不同的元数据分片上，进一步包括：
元数据数据块依据名称哈希到不同的元数据分片上；
同一个元数据分片对应具有相同哈希值的元数据数据块。
3.根据权利要求2所述的海量元数据分片分布的方法，其特征在于，依据名称的哈希值，获得存储在不同存储设备上的元数据分片。
4.一种海量元数据分片分布的装置，其特征在于，包括：
单目录元数据数据块划分模块，用于将单目录的元数据数据块划分为多个元数据分片；
第一元数据数据块分布模块，用于元数据数据块依据预定规则分布在不同的元数据分片上；
元数据分片存储模块，用于将不同的元数据分片分别存储在多个存储设备上。
5.根据权利要求4所述的海量元数据分片分布的装置，其特征在于，还包括：
第二元数据数据块分布模块，用于元数据数据块依据名称哈希到不同的元数据分片上。
6.根据权利要求5所述的海量元数据分片分布的装置，其特征在于，还包括：
元数据分片对应模块，用于同一个元数据分片对应具有相同哈希值的元数据数据块。
7.根据权利要求5或者6所述的海量元数据分片分布的装置，其特征在于，还包括：
元数据分片获取模块，用于依据名称的哈希值，获得存储在不同存储设备上的元数据分片。
CN201710005810.XA 2017-01-05 2017-01-05 海量元数据分片分布的方法及装置 Pending CN107066503A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710005810.XA CN107066503A (zh) 2017-01-05 2017-01-05 海量元数据分片分布的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710005810.XA CN107066503A (zh) 2017-01-05 2017-01-05 海量元数据分片分布的方法及装置

Publications (1)

Publication Number Publication Date
CN107066503A true CN107066503A (zh) 2017-08-18

Family

ID=59624356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710005810.XA Pending CN107066503A (zh) 2017-01-05 2017-01-05 海量元数据分片分布的方法及装置

Country Status (1)

Country Link
CN (1) CN107066503A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555000A (zh) * 2019-09-05 2019-12-10 重庆紫光华山智安科技有限公司 一种卡口图片元数据并发写入、读取方法
CN110765086A (zh) * 2019-10-25 2020-02-07 浪潮电子信息产业股份有限公司 一种小文件的目录读取方法、系统、电子设备及存储介质
CN111625514A (zh) * 2020-05-22 2020-09-04 浪潮电子信息产业股份有限公司 一种元数据管控方法、装置、设备及存储介质
CN113779375A (zh) * 2021-03-03 2021-12-10 北京沃东天骏信息技术有限公司 用于推送信息的方法、装置、设备以及存储介质
CN116522395A (zh) * 2023-05-22 2023-08-01 上海汉朔信息科技有限公司 对大数据存储系统中的数据文件进行处理的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1688992A (zh) * 2002-10-15 2005-10-26 三星电子株式会社 用于管理元数据的方法
CN102541985A (zh) * 2011-10-25 2012-07-04 曙光信息产业(北京)有限公司 一种分布式文件系统中客户端目录缓存的组织方法
CN103310000A (zh) * 2013-06-25 2013-09-18 曙光信息产业(北京)有限公司 元数据管理方法
US20130297570A1 (en) * 2012-05-04 2013-11-07 Huawei Technologies Co., Ltd. Method and apparatus for deleting duplicate data
CN103699494A (zh) * 2013-12-06 2014-04-02 北京奇虎科技有限公司 一种数据存储方法、数据存储设备和分布式存储系统
CN104503708A (zh) * 2014-12-29 2015-04-08 成都致云科技有限公司 数据散列存储的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1688992A (zh) * 2002-10-15 2005-10-26 三星电子株式会社 用于管理元数据的方法
CN102541985A (zh) * 2011-10-25 2012-07-04 曙光信息产业(北京)有限公司 一种分布式文件系统中客户端目录缓存的组织方法
US20130297570A1 (en) * 2012-05-04 2013-11-07 Huawei Technologies Co., Ltd. Method and apparatus for deleting duplicate data
CN103310000A (zh) * 2013-06-25 2013-09-18 曙光信息产业(北京)有限公司 元数据管理方法
CN103699494A (zh) * 2013-12-06 2014-04-02 北京奇虎科技有限公司 一种数据存储方法、数据存储设备和分布式存储系统
CN104503708A (zh) * 2014-12-29 2015-04-08 成都致云科技有限公司 数据散列存储的方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555000A (zh) * 2019-09-05 2019-12-10 重庆紫光华山智安科技有限公司 一种卡口图片元数据并发写入、读取方法
CN110765086A (zh) * 2019-10-25 2020-02-07 浪潮电子信息产业股份有限公司 一种小文件的目录读取方法、系统、电子设备及存储介质
CN110765086B (zh) * 2019-10-25 2022-08-02 浪潮电子信息产业股份有限公司 一种小文件的目录读取方法、系统、电子设备及存储介质
CN111625514A (zh) * 2020-05-22 2020-09-04 浪潮电子信息产业股份有限公司 一种元数据管控方法、装置、设备及存储介质
CN111625514B (zh) * 2020-05-22 2022-06-10 浪潮电子信息产业股份有限公司 一种元数据管控方法、装置、设备及存储介质
CN113779375A (zh) * 2021-03-03 2021-12-10 北京沃东天骏信息技术有限公司 用于推送信息的方法、装置、设备以及存储介质
CN116522395A (zh) * 2023-05-22 2023-08-01 上海汉朔信息科技有限公司 对大数据存储系统中的数据文件进行处理的方法及系统
CN116522395B (zh) * 2023-05-22 2023-10-13 上海汉朔信息科技有限公司 对大数据存储系统中的数据文件进行处理的方法及系统

Similar Documents

Publication Publication Date Title
CN107066503A (zh) 海量元数据分片分布的方法及装置
CN102364474B (zh) 用于机群文件系统的元数据存储系统和管理方法
CN107168657B (zh) 一种基于分布式块存储的虚拟磁盘分层缓存设计方法
CN102663090B (zh) 元数据查询方法和装置
US7966289B2 (en) Systems and methods for reading objects in a file system
CN101187901B (zh) 一种实现文件访问的高速缓存系统和方法
CN106708427A (zh) 一种适用于键值对数据的存储方法
CN103092775B (zh) 一种基于键值结构的空间数据双缓存方法及机制
US7761648B2 (en) Caching method for NAND flash translation layer
CN101777017B (zh) 一种连续数据保护系统的快速恢复方法
CN105511802A (zh) 写缓存的方法和装置以及磁盘缓存区的同步方法和装置
CN102541985A (zh) 一种分布式文件系统中客户端目录缓存的组织方法
CN103020315A (zh) 一种基于主从分布式文件系统的海量小文件存储方法
CN106909651A (zh) 一种基于hdfs小文件写入和读取的方法
CN103812939A (zh) 一种大数据存储系统
CN102024019B (zh) 一种分布式文件系统中基于后缀树的目录组织方法
CN102521330A (zh) 一种桌面虚拟化环境下的镜像分布式存储方法
US20120117297A1 (en) Storage tiering with minimal use of dram memory for header overhead
CN107741947B (zh) 基于hdfs文件系统的随机数密钥的存储与获取方法
CN102915340A (zh) 一种扩展的基于b+树对象文件系统
CN102467572A (zh) 支持重复数据删除程序的数据区块查询方法
CN103473337A (zh) 一种分布式存储系统中处理面向海量目录和文件的方法
CN102693286A (zh) 一种对文件内容与元数据进行组织管理的方法
WO2001073537A3 (en) System for and method of accessing blocks on a storage medium
CN103279489A (zh) 一种元数据的存储方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818

RJ01 Rejection of invention patent application after publication