CN102385624B - 一种面向分布式文件系统的日志数据组织的方法 - Google Patents
一种面向分布式文件系统的日志数据组织的方法 Download PDFInfo
- Publication number
- CN102385624B CN102385624B CN201110328316.XA CN201110328316A CN102385624B CN 102385624 B CN102385624 B CN 102385624B CN 201110328316 A CN201110328316 A CN 201110328316A CN 102385624 B CN102385624 B CN 102385624B
- Authority
- CN
- China
- Prior art keywords
- daily record
- log
- control information
- log data
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明提供了一种面向分布式文件系统的日志数据组织的方法，在普通文件的某一固定区域记录日志数据空间的控制信息，所述控制信息包括有效日志数据的开始偏移，结束偏移，最后一条日志记录的开始偏移，最大可用日志数据空间的大小，所述日志记录中包括本条日志记录的大小信息，通过日志数据空间的控制信息和每条日志记录的大小信息实现日志数据空间的管理。本发明提供了一种基于普通文件的日志记录的管理方式，使用指针在日志记录之间实现快速查找；引入cache日志的概念，实现基于普通文件的批量日志记录，优化日志性能；通过在不同服务节点之间记录多种日志，实现元数据服务的快速接管和恢复。
Description
技术领域
本发明涉及分布式文件系统中日志数据组织和优化，具体来说，涉及一种面向分布式文件系统的日志数据组织的方法。
背景技术
在文件系统中，元数据是描述文件系统的重要单元，而元数据的一致是文件系统可用的前提。许多文件系统使用日志技术保证元数据的一致性，如Ext3、Episode file system、Cedar file system。日志技术在修改元数据之前，先将对元数据的修改记录的日志设备上，然后再修改元数据，等到对元数据的修改同步到磁盘后，再回收相应的日志设备空间。日志技术能够保证元数据服务节点失效后的恢复时间和失效时的脏数据大小一致，恢复时间不受系统规模的限制，能够实现元数据节点失效后的快速恢复。
分布式文件系统的高效性要求元数据服务节点在能够保证元数据一致性的前提下，提供高效的元数据处理能力。分布式文件系统的系统规模巨大，对元数据服务节点的服务吞吐量有很高的要求。日志技术要求在修改元数据之前，将对元数据的修改记录的日志设备上，由于磁盘带宽的限制，元数据修改记录到日志设备上的速率有限，这将严重影响元数据服务节点的服务吞吐量。所以，应用日志技术保证元数据一致性的分布式文件系统多采用批量记录元数据修改的策略。
分布式文件系统要求一个元数据服务节点失效后，另一个元数据服务节点能够立即接管失效节点的元数据服务，并在失效元数据服务节点重新启动时，将重启的元数据服务节点恢复到最新的一致状态。与数据服务的快速接管要求，接管的元数据服务节点具有实效元数据服务节点的最新数据，并能立即处理失效元数据服务节点的后续元数据请求，还能在失效元数据服务节点重启后，提供足够的信息使失效元数据服务节点恢复的最新的一致状态，继续提供元数据服务。
发明内容
本发明旨在公开一种分布式文件系统中日志数据的组织和优化使用方法，目的是在满足分布式文件系统中对元数据一致性要求的前提下，对元数据服务的性能不产生明显影响。
一种面向分布式文件系统的日志数据组织的方法，
在普通文件的某一固定区域记录日志数据空间的控制信息，所述控制信息包括有效日志数据的开始偏移，结束偏移，最后一条日志记录的开始偏移，最大可用日志数据空间的大小，所述日志记录中包括本条日志记录的大小信息，通过日志数据空间的控制信息和每条日志记录的大小信息实现日志数据空间的管理。
优选的，所述控制信息将cache日志标识为有效，在cache日志大小达到一定值后，将内存中日志空间控制信息同步到日志设备；通过修改日志设备上的控制信息实现无效日志所占日志空间的回收。
优选的，所述无效日志的回收和cache日志同步到日志设备，可通过内存日志空间控制信息实现聚合，并通过修改cache日志大小的最大值调整批量日志记录的聚合程度。
优选的，所述cache日志即，日志记录已经同步到日志设备上，但日志设备上的控制信息标识这部分日志为无效的日志数据。
优选的，所述分布式文件系统中记录的日志种类有：操作日志、副本日志、本地副本日志，本地备份副本日志。
优选的，所述操作日志记录本元数据服务节点提供的元数据服务修改；
所述副本日志记录本元数据服务节点作为副本处理的元数据修改；
所述本地副本日志记录本元数据服务节点的副本节点失效后，副本节点应当处理的元数据修改；
所述本地备份副本日志作为本地副本日志的备份设备存在。
本发明提供了一种基于普通文件的日志记录的管理方式，使用指针在日志记录之间实现快速查找；引入cache日志的概念，实现基于普通文件的批量日志记录，优化日志性能；通过在不同服务节点之间记录多种日志，实现元数据服务的快速接管和恢复。
附图说明
图1是本发明的日志系统结构图
具体实施方式
发明中的技术方案具体描述如下：
日志记录元数据修改到日志设备，在元数据修改同步到磁盘上后，即可释放这部分日志记录所占的日志设备空间。本发明通过在普通文件中记录日志数据，在普通文件的固定区域记录日志数据的控制信息，实现对日志空间的管理。
(1)在普通文件的某一固定区域记录日志数据空间的控制信息。示例中，在普通文件的开始位置记录日志数据空间的控制信息，但控制信息在普通文件中的存储区域并不限于文件的开始位置，文件的任一固定区域均可作为控制信息的存放位置。控制信息包括有效日志数据的开始偏移，结束偏移，最后一条日志记录的开始偏移，最大可用日志数据空间的大小。日志记录中包括本条日志记录的大小信息。通过日志数据空间的控制信息和每条日志记录的大小信息实现日志数据空间的管理。如图1所示
(2)为了提高记录日志性能，引入cache日志概念，cache日志即，日志记录已经同步到日志设备上，但日志设备上的控制信息标识这部分日志为无效的日志数据。本发明在内存中维护一份日志空间的控制信息，内存中控制信息将cache日志标识为有效。在cache日志大小达到一定值后，将内存中日志空间控制信息同步到日志设备。通过修改日志设备上的控制信息实现无效日志所占日志空间的回收。无效日志的回收和cache日志同步到日志设备，可通过内存日志空间控制信息实现聚合，最大限度的利用磁盘带宽。可以通过修改cache日志大小的最大值调整批量日志记录的聚合程度。
(3)分布式文件系统通过分布式日志实现服务节点的服务接管和服务恢复。本发明通过记录多种日志实现分布式日志的快速恢复。分布式文件系统中记录的日志种类有：操作日志、副本日志、本地副本日志，本地备份副本日志。操作日志记录本元数据服务节点提供的元数据服务修改；副本日志记录本元数据服务节点作为副本处理的元数据修改；本地副本日志记录本元数据服务节点的副本节点失效后，副本节点应当处理的元数据修改；本地备份副本日志作为本地副本日志的备份设备存在。副本日志保证副本服务节点具有最新的元数据数据，实现服务节点之间的快速服务接管。通过将本地副本日志和本地备份副本日志发送到重启后的失效服务节点，重启后的失效节点在应用这些日志后，恢复到最新的一致状态，即可继续提供元数据服务。
基于普通文件的日志数据组织和使用能够保证元数据的一致性，通过引入cache日志聚合记录日志数据到日志设备，能最大程度发挥磁盘的性能，并且可以使元数据服务节点提供高效的处理能力。通过在多个元数据服务节点之间记录多种日志，实现分布式日志的快速恢复。
Claims (1)
1.一种面向分布式文件系统的日志数据组织的方法，其特征在于：
在普通文件的某一固定区域记录日志数据空间的控制信息，所述控制信息包括有效日志数据的开始偏移，结束偏移，最后一条日志记录的开始偏移，最大可用日志数据空间的大小，所述日志记录中包括本条日志记录的大小信息，通过日志数据空间的控制信息和每条日志记录的大小信息实现日志数据空间的管理；
所述控制信息将cache日志标识为有效，在cache日志大小达到一定值后，将内存中日志空间控制信息同步到日志设备；通过修改日志设备上的控制信息实现无效日志所占日志空间的回收；
所述无效日志的回收和cache日志同步到日志设备，通过内存日志空间控制信息实现所述无效日志和所述cache日志的聚合，并通过修改cache日志大小的最大值调整批量日志记录的聚合程度；
所述cache日志即，日志记录已经同步到日志设备上，但日志设备上的控制信息标识这部分日志为无效的日志数据；
所述分布式文件系统中记录的日志种类有：操作日志、副本日志、本地副本日志，本地备份副本日志；
所述操作日志记录本元数据服务节点提供的元数据服务修改；
所述副本日志记录本元数据服务节点作为副本处理的元数据修改；
所述本地副本日志记录本元数据服务节点的副本节点失效后，副本节点应当处理的元数据修改；
所述本地备份副本日志作为本地副本日志的备份设备存在。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110328316.XA CN102385624B (zh) | 2011-10-25 | 2011-10-25 | 一种面向分布式文件系统的日志数据组织的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110328316.XA CN102385624B (zh) | 2011-10-25 | 2011-10-25 | 一种面向分布式文件系统的日志数据组织的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102385624A CN102385624A (zh) | 2012-03-21 |
| CN102385624B true CN102385624B (zh) | 2014-01-01 |
Family
ID=45825040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110328316.XA Active CN102385624B (zh) | 2011-10-25 | 2011-10-25 | 一种面向分布式文件系统的日志数据组织的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102385624B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104156420B (zh) * | 2014-08-06 | 2017-10-03 | 曙光信息产业(北京)有限公司 | 事务日志的管理方法和装置 |
| CN104333585B (zh) * | 2014-10-30 | 2016-06-22 | 中南大学 | 一种分布式环境下依赖性程序文件集的传输优化调度方法 |
| CN104615652B (zh) * | 2014-12-29 | 2018-05-29 | 曙光云计算集团有限公司 | 一种辅助记录的组织方法 |
| CN105242988B (zh) * | 2015-10-10 | 2018-02-02 | 国家电网公司 | 分布式文件系统和分布式文件系统的数据备份方法 |
| CN108984566B (zh) * | 2017-06-02 | 2022-01-28 | 伊姆西Ip控股有限责任公司 | 用于文件系统日志的方法和设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100361091C (zh) * | 2005-01-31 | 2008-01-09 | 华为技术有限公司 | 日志信息管理方法及系统 |
| CN100361454C (zh) * | 2005-04-27 | 2008-01-09 | 华为技术有限公司 | 一种网络管理服务器从网元设备获取日志信息的方法 |
| CN101464890B (zh) * | 2008-12-30 | 2012-05-23 | 中兴通讯股份有限公司 | 一种混合日志生成方法和解析方法 |
| CN101697168B (zh) * | 2009-10-22 | 2011-10-19 | 中国科学技术大学 | 一种分布式文件系统动态元数据管理方法及系统 |
| CN102163175B (zh) * | 2011-04-26 | 2013-02-27 | 西安交通大学 | 一种基于局部性分析的混合地址映射方法 |
-
2011
- 2011-10-25 CN CN201110328316.XA patent/CN102385624B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN102385624A (zh) | 2012-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110249321B (zh) | 用于从分布式数据源中捕获变更数据以供异构目标使用的系统和方法 | |
| EP2474919B1 (en) | System and method for data replication between heterogeneous databases | |
| US20190146946A1 (en) | Method and device for archiving block data of blockchain and method and device for querying the same | |
| CN102955720B (zh) | 一种提高ext文件系统稳定性的方法 | |
| CN102024016B (zh) | 一种分布式文件系统快速数据恢复的方法 | |
| JP5823037B2 (ja) | インデックス構築方法、検索方法、検索デバイス、および検索システム | |
| CN104932841A (zh) | 一种云存储系统中节约型重复数据删除方法 | |
| CN102385624B (zh) | 一种面向分布式文件系统的日志数据组织的方法 | |
| US9547706B2 (en) | Using colocation hints to facilitate accessing a distributed data storage system | |
| CN101777017B (zh) | 一种连续数据保护系统的快速恢复方法 | |
| US7853571B2 (en) | Techniques for file system recovery | |
| CN101453489B (zh) | 一种网络附加存储装置及其数据备份和数据恢复方法 | |
| WO2014059804A1 (zh) | 数据同步方法及系统 | |
| CN102411637A (zh) | 分布式文件系统的元数据管理方法 | |
| CN103294167B (zh) | 一种基于数据行为的低能耗集群存储复制装置和方法 | |
| CN102662795A (zh) | 一种分布式存储系统中元数据容错恢复方法 | |
| WO2012083754A1 (zh) | 处理脏数据的方法及装置 | |
| WO2018010501A1 (zh) | 全局事务标识gtid的同步方法、装置及系统、存储介质 | |
| CN102117287A (zh) | 分布式文件系统访问方法、元数据服务器及客户端 | |
| CN102033930A (zh) | 分布式内存数据库系统 | |
| CN113010496B (zh) | 一种数据迁移方法、装置、设备和存储介质 | |
| CN103795801A (zh) | 一种基于实时应用集群的元数据集群设计方法 | |
| US20180276092A1 (en) | Recovering using write data stored by a powerloss data protection technique | |
| CN104461773A (zh) | 一种虚拟机备份去重的方法 | |
| WO2018076633A1 (zh) | 一种远程数据复制方法、存储设备及存储系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220725 Address after: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing Patentee after: Dawning Information Industry (Beijing) Co.,Ltd. Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd. Address before: 100084 Beijing Haidian District City Mill Street No. 64 Patentee before: Dawning Information Industry (Beijing) Co.,Ltd. |
|
| TR01 | Transfer of patent right |