CN103282899A - 文件系统中数据的存储方法、访问方法及装置 - Google Patents

文件系统中数据的存储方法、访问方法及装置 Download PDF

Info

Publication number
CN103282899A
CN103282899A CN2011800032632A CN201180003263A CN103282899A CN 103282899 A CN103282899 A CN 103282899A CN 2011800032632 A CN2011800032632 A CN 2011800032632A CN 201180003263 A CN201180003263 A CN 201180003263A CN 103282899 A CN103282899 A CN 103282899A
Authority
CN
China
Prior art keywords
file
directory
file system
node
metadata information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800032632A
Other languages
English (en)
Other versions
CN103282899B (zh
Inventor
王凤
张敬亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN103282899A publication Critical patent/CN103282899A/zh
Application granted granted Critical
Publication of CN103282899B publication Critical patent/CN103282899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种文件系统中数据的存储方法、访问方法及装置。其中，文件系统对应的磁盘空间被划分为第一存储部分和第二存储部分，第一存储部分用于存储元数据文件，元数据文件存储有访问磁盘空间所需的所有路径信息；第二存储部分用于存储文件数据；在系统启动时，将元数据文件从磁盘空间读取到内存中，然后，文件系统基于内存中的元数据文件进行对磁盘空间进行存储和访问操作。由于元数据文件中存储有所有路径信息，故可以一次从元数据文件中找到目标节点或文件的存储位置，减少了在内存与磁盘空间之间的交互次数，大大提高访问效率。

Description

PCT国内申请，说明书已公开。

Claims (1)

  1. PCT国内申请，权利要求书已公开。
CN201180003263.2A 2011-12-23 2011-12-23 文件系统中数据的存储方法、访问方法及装置 Active CN103282899B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/084551 WO2013091244A1 (zh) 2011-12-23 2011-12-23 文件系统中数据的存储方法、访问方法及装置

Publications (2)

Publication Number Publication Date
CN103282899A true CN103282899A (zh) 2013-09-04
CN103282899B CN103282899B (zh) 2016-06-15

Family

ID=48667689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180003263.2A Active CN103282899B (zh) 2011-12-23 2011-12-23 文件系统中数据的存储方法、访问方法及装置

Country Status (2)

Country Link
CN (1) CN103282899B (zh)
WO (1) WO2013091244A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951521A (zh) * 2017-03-20 2017-07-14 广东欧珀移动通信有限公司 日志文件的读写方法、装置及系统
CN110555001A (zh) * 2019-09-05 2019-12-10 腾讯科技（深圳）有限公司 数据处理方法、装置、终端及介质
CN111008195A (zh) * 2019-10-31 2020-04-14 苏州浪潮智能科技有限公司 一种数据库空闲空间管理方法、系统、终端及存储介质
CN111400101A (zh) * 2020-03-18 2020-07-10 北京北亚宸星科技有限公司 一种jfs2文件系统数据删除时的数据恢复方法及系统
CN111427862A (zh) * 2020-03-19 2020-07-17 国电南瑞科技股份有限公司 电网调度控制系统中分布式文件系统的元数据管理方法
CN111566622A (zh) * 2018-07-06 2020-08-21 华为技术有限公司 一种文件系统调整方法及设备
CN111913915A (zh) * 2020-07-30 2020-11-10 杭州宏杉科技股份有限公司 文件隐藏方法和装置
CN113127415A (zh) * 2019-12-31 2021-07-16 浙江宇视科技有限公司 实时流文件的处理方法、装置、介质及电子设备
CN113194127A (zh) * 2021-04-21 2021-07-30 统信软件技术有限公司 一种数据存储方法、数据传输方法及计算设备
CN113296700A (zh) * 2021-04-20 2021-08-24 新华三信息技术有限公司 一种存储空间的管理方法、装置以及服务器
CN113986838A (zh) * 2021-12-28 2022-01-28 成都云祺科技有限公司 基于文件系统的海量小文件处理方法、系统及存储介质
CN114327290A (zh) * 2021-12-31 2022-04-12 科东(广州)软件科技有限公司 一种磁盘分区的结构、格式化方法和访问方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461911A (zh) * 2014-07-14 2015-03-25 北京君正集成电路股份有限公司 一种数据存储方式及装置
CN104881257A (zh) * 2015-06-09 2015-09-02 北京世纪铭辰科技有限公司 一种海量数据的实时存储系统和方法
CN113467698A (zh) * 2020-03-30 2021-10-01 珠海全志科技股份有限公司 基于文件系统的写方法、装置、计算机设备和存储介质
CN113835643B (zh) * 2021-11-23 2022-03-08 苏州浪潮智能科技有限公司 数据存储方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1786944A (zh) * 2004-12-11 2006-06-14 鸿富锦精密工业（深圳）有限公司 重建树状文件目录结构的系统及方法
CN101446984A (zh) * 2009-01-09 2009-06-03 成都市华为赛门铁克科技有限公司 一种文件存储方法、装置及文件删除方法和装置
US20100287205A1 (en) * 2009-05-06 2010-11-11 Htc Corporation Operating system / electronic device and method for storing or reading a file
CN102122306A (zh) * 2011-03-28 2011-07-13 中国人民解放军国防科学技术大学 一种数据处理方法及应用该方法的分布式文件系统
US20110213815A1 (en) * 2010-02-26 2011-09-01 Microsoft Corporation Minimizing bandwidth in file path-centric protocol message

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574435B2 (en) * 2006-05-03 2009-08-11 International Business Machines Corporation Hierarchical storage management of metadata
US8055864B2 (en) * 2007-08-06 2011-11-08 International Business Machines Corporation Efficient hierarchical storage management of a file system with snapshots
CN101719141B (zh) * 2009-12-24 2011-09-07 成都市华为赛门铁克科技有限公司 基于目录对象的文件处理方法和系统
CN102184260B (zh) * 2011-06-09 2013-07-10 中国人民解放军国防科学技术大学 一种云计算环境下的海量数据存取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1786944A (zh) * 2004-12-11 2006-06-14 鸿富锦精密工业（深圳）有限公司 重建树状文件目录结构的系统及方法
CN101446984A (zh) * 2009-01-09 2009-06-03 成都市华为赛门铁克科技有限公司 一种文件存储方法、装置及文件删除方法和装置
US20100287205A1 (en) * 2009-05-06 2010-11-11 Htc Corporation Operating system / electronic device and method for storing or reading a file
US20110213815A1 (en) * 2010-02-26 2011-09-01 Microsoft Corporation Minimizing bandwidth in file path-centric protocol message
CN102122306A (zh) * 2011-03-28 2011-07-13 中国人民解放军国防科学技术大学 一种数据处理方法及应用该方法的分布式文件系统

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951521A (zh) * 2017-03-20 2017-07-14 广东欧珀移动通信有限公司 日志文件的读写方法、装置及系统
CN106951521B (zh) * 2017-03-20 2020-09-15 Oppo广东移动通信有限公司 日志文件的读写方法、装置及系统
CN111566622B (zh) * 2018-07-06 2023-11-10 华为技术有限公司 一种文件系统调整方法及设备
CN111566622A (zh) * 2018-07-06 2020-08-21 华为技术有限公司 一种文件系统调整方法及设备
CN110555001B (zh) * 2019-09-05 2021-05-28 腾讯科技（深圳）有限公司 数据处理方法、装置、终端及介质
CN110555001A (zh) * 2019-09-05 2019-12-10 腾讯科技（深圳）有限公司 数据处理方法、装置、终端及介质
CN111008195A (zh) * 2019-10-31 2020-04-14 苏州浪潮智能科技有限公司 一种数据库空闲空间管理方法、系统、终端及存储介质
CN113127415A (zh) * 2019-12-31 2021-07-16 浙江宇视科技有限公司 实时流文件的处理方法、装置、介质及电子设备
CN113127415B (zh) * 2019-12-31 2024-02-27 浙江宇视科技有限公司 实时流文件的处理方法、装置、介质及电子设备
CN111400101B (zh) * 2020-03-18 2021-06-01 北京北亚宸星科技有限公司 一种jfs2文件系统数据删除时的数据恢复方法及系统
CN111400101A (zh) * 2020-03-18 2020-07-10 北京北亚宸星科技有限公司 一种jfs2文件系统数据删除时的数据恢复方法及系统
CN111427862A (zh) * 2020-03-19 2020-07-17 国电南瑞科技股份有限公司 电网调度控制系统中分布式文件系统的元数据管理方法
CN111427862B (zh) * 2020-03-19 2022-11-04 国电南瑞科技股份有限公司 电网调度控制系统中分布式文件系统的元数据管理方法
CN111913915A (zh) * 2020-07-30 2020-11-10 杭州宏杉科技股份有限公司 文件隐藏方法和装置
CN111913915B (zh) * 2020-07-30 2023-10-03 杭州宏杉科技股份有限公司 文件隐藏方法和装置
CN113296700A (zh) * 2021-04-20 2021-08-24 新华三信息技术有限公司 一种存储空间的管理方法、装置以及服务器
CN113194127A (zh) * 2021-04-21 2021-07-30 统信软件技术有限公司 一种数据存储方法、数据传输方法及计算设备
CN113194127B (zh) * 2021-04-21 2022-08-12 统信软件技术有限公司 一种数据存储方法、数据传输方法及计算设备
CN113986838A (zh) * 2021-12-28 2022-01-28 成都云祺科技有限公司 基于文件系统的海量小文件处理方法、系统及存储介质
CN114327290A (zh) * 2021-12-31 2022-04-12 科东(广州)软件科技有限公司 一种磁盘分区的结构、格式化方法和访问方法

Also Published As

Publication number Publication date
CN103282899B (zh) 2016-06-15
WO2013091244A1 (zh) 2013-06-27

Similar Documents

Publication Publication Date Title
CN103282899B (zh) 文件系统中数据的存储方法、访问方法及装置
CN103020315B (zh) 一种基于主从分布式文件系统的海量小文件存储方法
US9710535B2 (en) Object storage system with local transaction logs, a distributed namespace, and optimized support for user directories
US8296312B1 (en) Search and update of attributes in file systems
US9830324B2 (en) Content based organization of file systems
CN103116618B (zh) 基于客户端持久缓存的远程文件系统镜像方法及系统
CN104933133B (zh) 分布式文件系统中的元数据快照存储和访问方法
CN103229173B (zh) 元数据管理方法及系统
CN103002027B (zh) 基于键值对系统实现树形目录结构的数据存储系统及方法
Vorapongkitipun et al. Improving performance of small-file accessing in Hadoop
US10262004B2 (en) Native snapshots in distributed file systems
CN103595797B (zh) 一种分布式存储系统中的缓存方法
US11836112B2 (en) Path resolver for client access to distributed file systems
EP2615566A2 (en) Unified local storage supporting file and cloud object access
CN103034684A (zh) 一种基于内容寻址存储的虚拟机镜像存储优化方法
WO2014101583A1 (zh) 键值存储系统中构建文件系统的方法、装置及电子设备
US20150106335A1 (en) Hierarchical data archiving
CN104408111A (zh) 一种删除重复数据的方法及装置
US9020994B1 (en) Client-based migrating of data from content-addressed storage to file-based storage
CN106682003B (zh) 分布式存储命名空间的路径分割映射方法和装置
WO2014110940A1 (en) A method, apparatus and system for storing, reading the directory index
CN103049574B (zh) 实现文件动态副本的键值文件系统及方法
CN102982151A (zh) 多个物理文件合并为一个逻辑文件的方法
CN103246718B (zh) 文件访问方法、装置和设备
Xue et al. A novel approach in improving I/O performance of small meteorological files on HDFS

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant