CN102024021A - 一种逻辑文件系统元数据的日志方法 - Google Patents

一种逻辑文件系统元数据的日志方法 Download PDF

Info

Publication number
CN102024021A
CN102024021A CN2010105365418A CN201010536541A CN102024021A CN 102024021 A CN102024021 A CN 102024021A CN 2010105365418 A CN2010105365418 A CN 2010105365418A CN 201010536541 A CN201010536541 A CN 201010536541A CN 102024021 A CN102024021 A CN 102024021A
Authority
CN
China
Prior art keywords
metadata
file system
daily record
data
revising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105365418A
Other languages
English (en)
Inventor
王勇
张东阳
张玉龙
苗艳超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN2010105365418A priority Critical patent/CN102024021A/zh
Publication of CN102024021A publication Critical patent/CN102024021A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种逻辑文件系统元数据的日志方法。在一个固定大小区域保存日志，并充分利用内存结构减少写永久设备的次数；在元数据操作过程中仅精确记录元数据修改前后的数据，使得恢复过程不依赖于自身文件系统代码；在修改结果返回用户前将日志刷到永久设备；恢复时，仅根据日志数据进行重做或撤销操作即可将保证元数据处于一致状态。本发明充分利用内存结构减少写永久设备(日志设备)的次数；在元数据操作过程中仅精确记录元数据修改前后的数据，使得恢复过程不依赖于自身文件系统代码；恢复时，仅根据日志数据进行重做或撤销操作即可将保证元数据处于一致状态，减少了恢复所需的时间。

Description

一种逻辑文件系统元数据的日志方法
技术领域
本发明涉及计算机存储系统技术领域，特别涉及一种逻辑文件系统元数据的日志方法。
背景技术
文件元数据是计算机操作系统的核心数据，关系着存储系统的可靠性。一般文件系统提供fsck等工具来检查并修复文件系统的一致性。这一过程的持续时间和文件系统的规模成比例，因此大型文件系统需要很长的修复时间。有些文件系统(如专门为Linux开发的Ext3/4)依靠日志技术极大地缩短了恢复时间。然而，这些文件系统只是解决了本地磁盘的文件元数据一致性问题。在大规模的分布式系统下，如多达成百上千个节点的分布式环境下，在这种情况下，为了提高系统的可靠性，要使用专用的存储系统如并行/分布式文件系统来管理文件元数据。传统的文件系统无法解决在这种分布式/并行文件系统下的文件元数据一致性的需求。在这种背景下，该专利技术提出了日志管理技术，有效的保证了基于本地文件系统实现的并行/分布式文件系统的元数据的一致性。
发明内容
本发明的目的是提出一种逻辑文件系统元数据的日志方法解决基于本地文件系统的并行/分布式系统下，如何有效的保证元数据的一致性。
一种逻辑文件系统元数据的日志方法，＝包括以下步骤：
A、在一个固定大小区域保存日志，并充分利用内存结构减少写永久设备的次数；
B、在元数据操作过程中仅精确记录元数据修改前后的数据，使得恢复过程不依赖于自身文件系统代码；
C、在修改结果返回用户前将日志刷到永久设备；
D、恢复时，仅根据日志数据进行重做或撤销操作即可将保证元数据处于一致状态。
本发明的一种优选技术方案在于：所述步骤B中在修改磁盘数据前，必须先将修改写入日志设备，写入成功，则该次操作完成，否则撤销该次操作。
本发明的一种较优选技术方案在于在于：写入日志设备成功后，若在修改磁盘数据过程中，系统故障，可以通过读取日志设备中的数据进行重新修改。
本发明充分利用内存结构减少写永久设备(日志设备)的次数；在元数据操作过程中仅精确记录元数据修改前后的数据，使得恢复过程不依赖于自身文件系统代码；恢复时，仅根据日志数据进行重做或撤销操作即可将保证元数据处于一致状态，减少了恢复所需的时间。
附图说明
图1元数据服务器节点结构图
图2加入日志模块的元数据处理流程
图3是本发明元数据恢复过程
具体实施方式
元数据请求处理过程
元数据访问流程如附图2，当用户发生元数据请求时，服务线程首先将其写入日志缓存，并写入日志设备，然后修改元数据缓存。当日志缓存中元数据数目达到一定程度时，将日志缓存中数据写回磁盘，然后将日志设备上的数据清除。
元数据恢复过程
当将日志缓存中的数据写回磁盘的过程中，发生系统故障时，重启以后，要进行元数据恢复，过程如附图三。分别在内存中建立redo和undo队：当该元数据操作在日志设备上记录完整时，将该元数据操作放入redo队列；若该元数据操作在日志设备上的记录不完整，则将该元数据操作放入undo队列。然后，根据redo和undo队列中的元数据对磁盘中的对应元数据进行修改。由于修改的操作都是基于本地文件系统的文件系统接口进行的，因此，修改操作与本地文件系统的类型无关，使得恢复过程不依赖于自身文件系统代码。并且，由于日志设备上的元数据量很少，使得系统恢复元数据所花的时间很短。

Claims (3)

1.一种逻辑文件系统元数据的日志方法，其特征在于：包括以下步骤：
A、在一个固定大小区域保存日志，并充分利用内存结构减少写永久设备的次数；
B、在元数据操作过程中仅精确记录元数据修改前后的数据，使得恢复过程不依赖于自身文件系统代码；
C、在修改结果返回用户前将日志刷到永久设备；
D、恢复时，仅根据日志数据进行重做或撤销操作即可将保证元数据处于一致状态。
2.如权利要求1所述一种逻辑文件系统元数据的日志方法，其特征在于：所述步骤B中在修改磁盘数据前，必须先将修改写入日志设备，写入成功，则该次操作完成，否则撤销该次操作。
3.如权利要求2所述一种逻辑文件系统元数据的日志方法，其特征在于：写入日志设备成功后，若在修改磁盘数据过程中，系统故障，可以通过读取日志设备中的数据进行重新修改。
CN2010105365418A 2010-11-04 2010-11-04 一种逻辑文件系统元数据的日志方法 Pending CN102024021A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105365418A CN102024021A (zh) 2010-11-04 2010-11-04 一种逻辑文件系统元数据的日志方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105365418A CN102024021A (zh) 2010-11-04 2010-11-04 一种逻辑文件系统元数据的日志方法

Publications (1)

Publication Number Publication Date
CN102024021A true CN102024021A (zh) 2011-04-20

Family

ID=43865319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105365418A Pending CN102024021A (zh) 2010-11-04 2010-11-04 一种逻辑文件系统元数据的日志方法

Country Status (1)

Country Link
CN (1) CN102024021A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368210A (zh) * 2011-10-25 2012-03-07 曙光信息产业(北京)有限公司 一种分布式系统中基于流水线的元数据日志的方法
CN102567445A (zh) * 2011-10-25 2012-07-11 无锡城市云计算中心有限公司 一种分布式文件系统中保证元数据一致性的方法
CN105183868A (zh) * 2015-09-15 2015-12-23 浪潮(北京)电子信息产业有限公司 一种文件系统日志的存储方法及装置
CN105335098A (zh) * 2015-09-25 2016-02-17 华中科技大学 一种基于存储级内存的日志文件系统性能提高方法
CN105556462A (zh) * 2013-07-29 2016-05-04 惠普发展公司，有限责任合伙企业 写入文件和文件元数据
CN106897338A (zh) * 2016-07-04 2017-06-27 阿里巴巴集团控股有限公司 一种针对数据库的数据修改请求处理方法及装置
CN107885537A (zh) * 2016-09-28 2018-04-06 平安科技（深圳）有限公司 配置文件加载方法和装置
US20180373628A1 (en) * 2017-06-21 2018-12-27 International Business Machines Corporation Space reclamation in data deduplication storage systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1848071A (zh) * 2005-03-24 2006-10-18 株式会社东芝 计算机系统、盘装置以及数据更新控制方法
CN101567805A (zh) * 2009-05-22 2009-10-28 清华大学 并行文件系统发生故障后的恢复方法
US7631009B1 (en) * 2007-01-02 2009-12-08 Emc Corporation Redundancy check of transaction records in a file system log of a file server

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1848071A (zh) * 2005-03-24 2006-10-18 株式会社东芝 计算机系统、盘装置以及数据更新控制方法
US7631009B1 (en) * 2007-01-02 2009-12-08 Emc Corporation Redundancy check of transaction records in a file system log of a file server
CN101567805A (zh) * 2009-05-22 2009-10-28 清华大学 并行文件系统发生故障后的恢复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊劲等: "DCFS2的元数据一致性策略", 《计算机研究与发展》, no. 6, 31 December 2005 (2005-12-31), pages 1019 - 1027 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567445A (zh) * 2011-10-25 2012-07-11 无锡城市云计算中心有限公司 一种分布式文件系统中保证元数据一致性的方法
CN102567445B (zh) * 2011-10-25 2014-07-02 无锡城市云计算中心有限公司 一种分布式文件系统中保证元数据一致性的方法
CN102368210A (zh) * 2011-10-25 2012-03-07 曙光信息产业(北京)有限公司 一种分布式系统中基于流水线的元数据日志的方法
CN105556462A (zh) * 2013-07-29 2016-05-04 惠普发展公司，有限责任合伙企业 写入文件和文件元数据
CN105183868A (zh) * 2015-09-15 2015-12-23 浪潮(北京)电子信息产业有限公司 一种文件系统日志的存储方法及装置
CN105335098B (zh) * 2015-09-25 2019-03-26 华中科技大学 一种基于存储级内存的日志文件系统性能提高方法
CN105335098A (zh) * 2015-09-25 2016-02-17 华中科技大学 一种基于存储级内存的日志文件系统性能提高方法
CN106897338A (zh) * 2016-07-04 2017-06-27 阿里巴巴集团控股有限公司 一种针对数据库的数据修改请求处理方法及装置
US11106695B2 (en) 2016-07-04 2021-08-31 Ant Financial (Hang Zhou) Network Technology Co., Ltd. Database data modification request processing
US11132379B2 (en) 2016-07-04 2021-09-28 Ant Financial (Hang Zhou) Network Technology Co., Ltd. Database data modification request processing
CN107885537A (zh) * 2016-09-28 2018-04-06 平安科技（深圳）有限公司 配置文件加载方法和装置
US20180373628A1 (en) * 2017-06-21 2018-12-27 International Business Machines Corporation Space reclamation in data deduplication storage systems
US10671525B2 (en) * 2017-06-21 2020-06-02 International Business Machines Corporation Space reclamation in data deduplication storage systems

Similar Documents

Publication Publication Date Title
CN102024021A (zh) 一种逻辑文件系统元数据的日志方法
CN104850598B (zh) 一种实时数据库备份恢复方法
CN100498796C (zh) 逻辑日志生成方法、数据库备份/恢复方法与系统
US8396833B2 (en) Inode management in redirect-on-write file system
CN106844682B (zh) 数据交换方法、装置及系统
CN106021016A (zh) 在快照之间的虚拟时间点访问
US20120246116A1 (en) System and method for data replication between heterogeneous databases
CN106062742A (zh) 用于改进快照性能的系统和方法
CN103034564B (zh) 数据容灾演练方法、数据容灾演练装置及系统
CN105573859A (zh) 一种数据库的数据恢复方法和设备
CN105302667A (zh) 基于集群架构的高可靠性数据备份与恢复方法
CN109710185A (zh) 数据处理方法及装置
CN113076220B (zh) 数据处理方法、装置、电子设备及计算机可读介质
CN104965835B (zh) 一种分布式文件系统的文件读写方法及装置
CN102385537A (zh) 一种多副本存储系统的磁盘故障处理方法
CN105302665A (zh) 一种改进的写时拷贝快照方法及系统
CN100504800C (zh) 磁盘快照的方法
CN106104515A (zh) 利用非易失性存储器的文件系统设计和故障恢复方法
CN107402848A (zh) 一种快照数据一致性的实现方法
CN111666046B (zh) 一种数据存储方法、装置及设备
CN107807791A (zh) 一种计算机硬盘序列绑定方法及系统
CN104598328A (zh) 一种文件系统修复方法、装置及系统
CN110737504A (zh) 一种深度学习模型训练容错方法、系统、终端及存储介质
CN104978241A (zh) 一种cow类型文件系统的数据恢复方法及装置
CN105653718A (zh) 存储磁盘快照环境下保证快照后数据库数据一致性的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110420