CN102541982A - 一种组织和访问元数据文件日志的方法 - Google Patents

一种组织和访问元数据文件日志的方法 Download PDF

Info

Publication number
CN102541982A
CN102541982A CN201110326051XA CN201110326051A CN102541982A CN 102541982 A CN102541982 A CN 102541982A CN 201110326051X A CN201110326051X A CN 201110326051XA CN 201110326051 A CN201110326051 A CN 201110326051A CN 102541982 A CN102541982 A CN 102541982A
Authority
CN
China
Prior art keywords
file
rbtree
node
log
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110326051XA
Other languages
English (en)
Other versions
CN102541982B (zh
Inventor
王勇
张东阳
张玉龙
邵宗有
刘新春
苗艳超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Dawning Information Industry Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN 201110326051 priority Critical patent/CN102541982B/zh
Publication of CN102541982A publication Critical patent/CN102541982A/zh
Application granted granted Critical
Publication of CN102541982B publication Critical patent/CN102541982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供了一种组织和访问元数据文件日志的方法，使用红黑树组织日志系统的一致性操作所涉及到所有文件，选取日志文件的文件名作红黑树的关键字。本发明通过引入红黑树管理可靠性操作涉及到的文件，减少了可靠性操作中的文件操作次数，提高了可靠性操作的性能。同时，将多个元数据操作写入磁盘的操作进行了聚合管理，极大的减少了文件的sync操作，降低了可靠性操作的处理时间。

Description

一种组织和访问元数据文件日志的方法
技术领域
本发明涉及分布式文件系统中的日志管理，具体来说，涉及一种组织和访问基于本地文件系统实现的分布式文件系统中的元数据日志方法。 
背景技术
随着计算机技术的快速发展，网络、科学计算等领域对存储的要求越来越高，于是分布式文件系统渐渐被引入到这些领域，以满足这些领域的存储需要。考虑到实现的复杂性，许多分布式文件采用了基于本地文件系统的实现方式。 
在分布式文件系统中，元数据维护着所有的目录和文件等重要信息，因此，其可靠性非常重要。为了提高其可靠性，许多的分布式文件系统采用了日志系统来提高可靠性。 
这种基于本地文件系统的日志系统，所有的日志均是本地文件系统中的一个普通文件。为了进行可靠性操作，需要多次.反复的打开文件和写入文件。由于每一次打开文件都需要进行一次系统调用，因此，带来的时间开销非常大；同时，由于写入文件并不能真正写入磁盘，而必须进行sync(同步)，而这种操作本身的时间开销非常大。这些问题都将显著的降低日志系统的性能。 
红黑树是一种自平衡二叉查找树，它的操作有着良好的最坏情 况运行时间，并且在实践中是高效的：它可以在O(log n)时间内做查找，插入和删除，这里的n是树中元素的数目。 
发明内容
本发明旨在公开一种组织和访问基于本地文件系统实现的分布式文件系统中的元数据日志方法。目的是提高分布式文件系统中日志系统的性能。 
一种组织和访问元数据文件日志的方法， 
使用红黑树组织日志系统的一致性操作所涉及到所有文件，选取日志文件的文件名作红黑树的关键字。 
优选的，当日志系统打开未打开过的一个文件时，即在红黑树上申请一个节点，并将该文件的文件描述符号记录到该节点上。 
优选的，所述日志系统操作时，首先在红黑树上进行查询，若查到该文件，则直接使用已有的节点上的文件描述符；否则，继续加入到该红黑树中。 
优选的，所述文件打开的数量如果超过系统的上限，则选取部分的红黑树节点进行回收。 
优选的，所述回收的方法是，记录所有的文件的最近访问时间，并形成一个LRU队列，该队列按照最近访问的时间进行排序，每次回收时，先回收最久未访问的文件。 
优选的，将所述文件系统对同一文件的操作进行链接，挂入对应的红黑树节点上，当将内存修改数据同步到磁盘时，以文件为单 位同步到磁盘。 
优选的，所述文件的操作在挂入红黑树后，由内核中的回刷线程将数据写入磁盘。 
本发明通过引入红黑树管理可靠性操作涉及到的文件，减少了可靠性操作中的文件操作次数，提高了可靠性操作的性能。同时，将多个元数据操作写入磁盘的操作进行了聚合管理，极大的减少了文件的sync操作，降低了可靠性操作的处理时间。 
具体实施方式
发明中的技术方案具体描述如下： 
(1)使用红黑树组织日志系统的一致性操作所涉及到所有文件，选取日志文件的文件名作红黑树的关键字，当日志系统打开未打开过的一个文件时，为红黑树申请一个节点，并将该文件对应的文件描述符号记录到该节点上，后续日志系统操作，首先要在红黑树上进行查询，若查到该文件，则直接使用已有的节点上的文件描述符，否则，继续加入到该红黑树中。 
若打开的文件已经超过系统的上限，则选取部分的红黑树节点进行回收。回收的方法是，记录所有的文件的最近访问时间，并形成一个LRU队列，该队列按照最近访问的时间进行排序，每次回收时，先回收最久未访问的文件，这样使得打开的次数达到最低，提高了日志系统的性能。 
(2)由于元数据操作具有关联性，许多的日志操作可能是针 对同一个文件进行，因此，本发明将所有针对同一文件的操作进行链接，挂入对应的红黑树节点上，当修改的数据同步到磁盘时，以文件为单位，而不是以操作为单位，极大的降低的同步的次数，提高了日志系统的性能。 
同时，由于底层的文件系统有后台写入磁盘线程，即pdflush线程，该线程会每隔一段时间(一般为30s)，在后台将数据刷入磁盘。因此，将同步操作聚合后，进行同步的时间间隔变大，使得可以充分利用后台的pdflush的写入磁盘能力，进一步提高了日志系统的写入性能，最终加快了日志系统处理元数据操作。 

Claims (7)

1.一种组织和访问元数据文件日志的方法，其特征在于：
使用红黑树组织日志系统的一致性操作所涉及到所有文件，选取日志文件的文件名作红黑树的关键字。
2.如权利要求1所述的方法，其特征在于：
当日志系统打开未打开过的一个文件时，即在红黑树上申请一个节点，并将该文件的文件描述符号记录到该节点上。
3.如权利要求1或2所述的方法，其特征在于：所述日志系统操作时，首先在红黑树上进行查询，若查到该文件，则直接使用已有的节点上的文件描述符；否则，继续加入到该红黑树中。
4.如权利要求2所述的方法，其特征在于：所述文件打开的数量如果超过系统的上限，则选取部分的红黑树节点进行回收。
5.如权利要求4所述的方法，其特征在于：所述回收的方法是，记录所有的文件的最近访问时间，并形成一个LRU队列，该队列按照最近访问的时间进行排序，每次回收时，先回收最久未访问的文件。
6.如权利要求1所述的方法，其特征在于：将所述文件系统对同一文件的操作进行链接，挂入对应的红黑树节点上，当将内存修改数据同步到磁盘时，以文件为单位同步到磁盘。
7.如权利要求6所述的方法，其特征在于：所述文件的操作在挂入红黑树后，由内核中的回刷线程将数据写入磁盘。
CN 201110326051 2011-10-25 2011-10-25 一种组织和访问元数据文件日志的方法 Active CN102541982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110326051 CN102541982B (zh) 2011-10-25 2011-10-25 一种组织和访问元数据文件日志的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110326051 CN102541982B (zh) 2011-10-25 2011-10-25 一种组织和访问元数据文件日志的方法

Publications (2)

Publication Number Publication Date
CN102541982A true CN102541982A (zh) 2012-07-04
CN102541982B CN102541982B (zh) 2013-12-18

Family

ID=46348885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110326051 Active CN102541982B (zh) 2011-10-25 2011-10-25 一种组织和访问元数据文件日志的方法

Country Status (1)

Country Link
CN (1) CN102541982B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077187A (zh) * 2012-12-20 2013-05-01 曙光信息产业(北京)有限公司 日志管理方法和日志管理系统
WO2017041673A1 (zh) * 2015-09-10 2017-03-16 阿里巴巴集团控股有限公司 刷新磁盘输入输出请求的处理方法及设备
CN106649615A (zh) * 2016-11-30 2017-05-10 郑州云海信息技术有限公司 一种日志段管理方法及装置
CN106980638A (zh) * 2016-09-29 2017-07-25 阿里巴巴集团控股有限公司 操作记录系统、方法和操作对象变更信息查询方法
CN108804560A (zh) * 2018-05-22 2018-11-13 上海肖克利信息科技股份有限公司 生成最近被访问文件列表的方法
CN109213699A (zh) * 2018-09-21 2019-01-15 郑州云海信息技术有限公司 一种元数据管理方法、系统、设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162469A (zh) * 2007-11-09 2008-04-16 清华大学 基于快照的细粒度文件与目录版本管理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162469A (zh) * 2007-11-09 2008-04-16 清华大学 基于快照的细粒度文件与目录版本管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏巧玉: "实时内存数据库数据组织结构优化策略研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077187A (zh) * 2012-12-20 2013-05-01 曙光信息产业(北京)有限公司 日志管理方法和日志管理系统
WO2017041673A1 (zh) * 2015-09-10 2017-03-16 阿里巴巴集团控股有限公司 刷新磁盘输入输出请求的处理方法及设备
CN106527959A (zh) * 2015-09-10 2017-03-22 阿里巴巴集团控股有限公司 刷新磁盘输入输出请求的处理方法及设备
CN106980638A (zh) * 2016-09-29 2017-07-25 阿里巴巴集团控股有限公司 操作记录系统、方法和操作对象变更信息查询方法
CN106649615A (zh) * 2016-11-30 2017-05-10 郑州云海信息技术有限公司 一种日志段管理方法及装置
CN106649615B (zh) * 2016-11-30 2020-09-22 苏州浪潮智能科技有限公司 一种日志段管理方法及装置
CN108804560A (zh) * 2018-05-22 2018-11-13 上海肖克利信息科技股份有限公司 生成最近被访问文件列表的方法
CN109213699A (zh) * 2018-09-21 2019-01-15 郑州云海信息技术有限公司 一种元数据管理方法、系统、设备及计算机可读存储介质
CN109213699B (zh) * 2018-09-21 2021-10-29 郑州云海信息技术有限公司 一种元数据管理方法、系统、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN102541982B (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
CN102110146B (zh) 基于键值key-value存储的分布式文件系统元数据管理方法
TW412692B (en) Parallel file system and method with a metadata node
US9047301B2 (en) Method for optimizing the memory usage and performance of data deduplication storage systems
US8799601B1 (en) Techniques for managing deduplication based on recently written extents
CN102541982B (zh) 一种组织和访问元数据文件日志的方法
CN103116661B (zh) 一种数据库的数据处理方法
CN107391758B (zh) 数据库切换方法、装置及设备
US10262004B2 (en) Native snapshots in distributed file systems
EP2863310B1 (en) Data processing method and apparatus, and shared storage device
CN102012933B (zh) 分布式文件系统及利用其存储数据和提供服务的方法
WO2019062574A1 (zh) 一种元数据查询方法及装置
CN102567445B (zh) 一种分布式文件系统中保证元数据一致性的方法
CN103595797B (zh) 一种分布式存储系统中的缓存方法
CN105677904B (zh) 基于分布式文件系统的小文件存储方法及装置
CN105117417A (zh) 一种读优化的内存数据库Trie树索引方法
JP2015518223A (ja) メモリ検索、リアルタイム検索システム及び方法、コンピュータ記憶媒体
GB2520361A (en) Method and system for a safe archiving of data
CN100424699C (zh) 一种属性可扩展的对象文件系统
CN103577513A (zh) 藉延迟节点实例化以缓存xml信息集的系统和/或方法
CN102779138A (zh) 实时数据的硬盘存取方法
CN104239443A (zh) 一种序列化数据操作日志的存储方法
CN106021593A (zh) 一种第一数据库与第二数据库接管过程中的复制处理方法
US10515055B2 (en) Mapping logical identifiers using multiple identifier spaces
CN102768672B (zh) 一种磁盘空间管理方法和装置
US10387384B1 (en) Method and system for semantic metadata compression in a two-tier storage system using copy-on-write

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220801

Address after: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd.

Address before: 100084 Beijing Haidian District City Mill Street No. 64

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

TR01 Transfer of patent right