CN108920303A - 一种安全增强型日志文件系统 - Google Patents
一种安全增强型日志文件系统 Download PDFInfo
- Publication number
- CN108920303A CN108920303A CN201810585222.2A CN201810585222A CN108920303A CN 108920303 A CN108920303 A CN 108920303A CN 201810585222 A CN201810585222 A CN 201810585222A CN 108920303 A CN108920303 A CN 108920303A
- Authority
- CN
- China
- Prior art keywords
- data
- log
- write
- file system
- bbu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1441—Resetting or repowering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Power Sources (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种安全增强型日志文件系统,涉及Linux日志文件系统领域,本发明主要包括以下两个部分:BBU高速存储设备和数据写时重定向机制。通过借助外部BBU高速存储设备与写时重定向技术,确保了日志文件系统日志写入的完整性,从而确保文件系统的一致性,并能够有效缩短文件系统故障时恢复时间。
Description
技术领域
本发明涉及Linux日志文件系统领域,尤其涉及一种安全增强型日志文件系统。
背景技术
日志文件系统与传统文件系统最大的不同在于文件系统中加入了更改的日志记录。它的设计思想是跟踪记录文件系统的变化,并将变化内容记录入日志。日志文件系统在磁盘分区中保持有日志记录,写操作首先是对记录文件进行操作,若整个写操作由于某种原因而中断,系统重启时,会根据日志记录来恢复中断前的写操作。在日志文件系统中,日志记录了所有文件系统的变化。每隔一段时间,文件系统将更新后的元数据及文件内容写入磁盘。
基于以上原理,目前大部分的日志型文件系统可以应对绝大多数由于意外掉电造成对文件系统的损坏。但是,如果日志文件系统在写入日志时受到意外掉电的影响,导致日志写入不完整,则无法实现文件系统的恢复。针对日志文件系统无法确保日志写入过程的安全性。
发明内容
为了解决以上技术问题,本发明提出了一种安全增强型日志文件系统。本发明通过借助外部BBU高速存储设备与写时重定向技术,确保了日志文件系统日志写入的完整性,从而确保文件系统的一致性,并能够有效缩短文件系统故障时恢复时间。
本发明的技术方案是:
一种安全增强型日志文件系统,
主要包括以下两个部分:BBU高速存储设备和数据写时重定向机制;
BBU高速存储设备:BBU是备用电池组,它是一个可换的部件,BBU为控制器缓存提供电源,当发生断电时可以确保缓存数据完整的写入外部存储中;日志文件系统的日志记录和数据存储在不同的设备中,日志记录存储在具有BBU掉电保护的高速存储中,文件系统的数据保存于其它的系统盘中;
数据写时重定向机制:
数据读取、修改后写入的位置不再是原来的位置,而是寻找一个并没有使用或是数据已经确定失效的存储区块写入;修改操作并没有直接作用于原始数据,由于数据修改之后写入到了另外一块区域,所以一旦新数据写入操作没有执行成功,用户可以选择回滚至旧数据,确保在遇到特殊情况时系统数据依旧可以恢复到崩溃前的状态。
具体方法是:
1、高速存储设备选择Flash存储器,BBU选择锂电池或是大容量的电容;在正常供电情况下,BBU完成自充电,在意外掉电时,BBU会自动接管Flash存储器、核心控制器和缓存RAM存储器的供电;
2、使用本日志文件系统,首先需要选定日志记录所使用的磁盘,然后确定文件系统数据所使用的系统盘;日志数据记录到BBU支持的存储设备中,文件系统数据记录到系统盘中;
3、所有数据的写入过程分为日志写入和数据写入两个过程;
日志以累加的方式写入,不会修改历史日志,如果磁盘空间不够则会按照记录时间删除最开始的历史数据;日志会详细记录数据写入磁盘的位置和时间,写入数据的内容也会以压缩的方式进行记录。
当日志记录写完之后,系统数据会安装日志记录执行数据的真实写入,数据写入的位置与日志记录的位置会根据预先设定的重定向算法选择合适的写入位置写入,写入成功后将位置和写入成功标识一起写入日志记录中。
本发明的有益效果是
本发明基于外部BBU高速存储设备和写时重定向机制,可以有效防止文件系统由于意外掉电造成的不一致问题,如果在极端情况下出现了不一致问题,依旧可以确保文件系统能够回滚至意外发生前的状态。
附图说明
图1是本发明的工作示意图。
具体实施方式
下面对本发明的内容进行更加详细的阐述:
本发明主要包括以下两个部分:BBU高速存储设备和数据写时重定向机制。
BBU高速存储设备:BBU是备用电池组(Battery Backup Unit)的缩写,它是一个可换的部件,BBU为控制器缓存提供电源,当发生断电时可以确保缓存数据完整的写入外部存储中。本次所提出的日志文件系统与一般的日志文件系统所不同的是其日志记录和数据存储在不同的设备中,日志记录存储在具有BBU掉电保护的高速存储中,文件系统的数据保存于一般的系统盘中。由于高速存储设备写入用时很短,并且在断电时有后备电源的保护,确保日志写入过程不会由于意外的掉电而中断。
数据写时重定向机制:数据写时重定向机制与传统的读取、修改、写入操作所不同的地方在于,数据读取、修改后写入的位置不再是原来的位置,而是寻找一个并没有使用或是数据已经确定失效的存储区块写入。写时重定向机制的优点在于修改操作并没有直接作用于原始数据,由于数据修改之后写入到了另外一块区域,所以一旦新数据写入操作没有执行成功,用户可以选择回滚至旧数据,确保在遇到特殊情况时系统数据依旧可以恢复到崩溃前的状态。除了解决新旧数据安全接替的问题,通过增加旧数据的版本保存功能,可以轻松实现文件系统对于快照的支持,并且快照制作时间非常短。
具体方法是:
1、高速存储设备选择读写数据比较快的Flash存储器,BBU可以选择锂电池或是大容量的电容。在正常供电情况下,BBU可以完成自充电,在意外掉电时,BBU会自动接管Flash存储器、核心控制器和缓存RAM存储器的供电。
2、使用本日志文件系统,首先需要选定日志记录所使用的磁盘,然后确定文件系统数据所使用的系统盘。日志数据记录到BBU支持的高速存储设备中,文件系统数据记录到系统盘中。
3、所有数据的写入过程分为日志写入和数据写入两个过程。日志以累加的方式写入,不会修改历史日志,如果磁盘空间不够则会按照记录时间删除最开始的历史数据。日志会详细记录数据写入磁盘的位置和时间,写入数据的内容也会以压缩的方式进行记录。当日志记录写完之后,系统数据会安装日志记录执行数据的真实写入,数据写入的位置与日志记录的位置会根据预先设定的重定向算法选择合适的写入位置写入,写入成功后将位置和写入成功标识一起写入日志记录中。
Claims (3)
1.一种安全增强型日志文件系统,其特征在于,
主要包括以下两个部分:BBU高速存储设备和数据写时重定向机制;
BBU高速存储设备:BBU是备用电池组,它是一个可换的部件,BBU为控制器缓存提供电源,当发生断电时可以确保缓存数据完整的写入外部存储中;日志文件系统的日志记录和数据存储在不同的设备中,日志记录存储在具有BBU掉电保护的高速存储中,文件系统的数据保存于其它的系统盘中;
数据写时重定向机制:
数据读取、修改后写入的位置不再是原来的位置,而是寻找一个并没有使用或是数据已经确定失效的存储区块写入;修改操作并没有直接作用于原始数据,由于数据修改之后写入到了另外一块区域,所以一旦新数据写入操作没有执行成功,用户可以选择回滚至旧数据,确保在遇到特殊情况时系统数据依旧可以恢复到崩溃前的状态。
2.根据权利要求1所述的系统,其特征在于,
具体方法是:
1)、高速存储设备选择Flash存储器,BBU选择锂电池或是电容;在正常供电情况下,BBU完成自充电,在意外掉电时,BBU会自动接管Flash存储器、核心控制器和缓存RAM存储器的供电;
2)、使用本日志文件系统,首先需要选定日志记录所使用的磁盘,然后确定文件系统数据所使用的系统盘;日志数据记录到BBU支持的存储设备中,文件系统数据记录到系统盘中;
3)、所有数据的写入过程分为日志写入和数据写入两个过程;
日志以累加的方式写入,不会修改历史日志,如果磁盘空间不够则会按照记录时间删除最开始的历史数据;当日志记录写完之后,系统数据会安装日志记录执行数据的真实写入,数据写入的位置与日志记录的位置会根据预先设定的重定向算法选择合适的写入位置写入,写入成功后将位置和写入成功标识一起写入日志记录中。
3.根据权利要求2所述的系统,其特征在于,
日志会详细记录数据写入磁盘的位置和时间,写入数据的内容也会以压缩的方式进行记录。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810585222.2A CN108920303A (zh) | 2018-06-08 | 2018-06-08 | 一种安全增强型日志文件系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810585222.2A CN108920303A (zh) | 2018-06-08 | 2018-06-08 | 一种安全增强型日志文件系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108920303A true CN108920303A (zh) | 2018-11-30 |
Family
ID=64417946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810585222.2A Pending CN108920303A (zh) | 2018-06-08 | 2018-06-08 | 一种安全增强型日志文件系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108920303A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113448490A (zh) * | 2020-03-25 | 2021-09-28 | 伊姆西Ip控股有限责任公司 | 用于存储的方法、设备和计算机程序产品 |
CN114579529A (zh) * | 2022-05-07 | 2022-06-03 | 深圳市杉岩数据技术有限公司 | 一种基于重定向和日志混合的本地存储方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577329A (zh) * | 2013-10-18 | 2014-02-12 | 华为技术有限公司 | 一种快照管理方法和装置 |
CN105183868A (zh) * | 2015-09-15 | 2015-12-23 | 浪潮(北京)电子信息产业有限公司 | 一种文件系统日志的存储方法及装置 |
CN105468544A (zh) * | 2014-09-11 | 2016-04-06 | 深圳市腾讯计算机系统有限公司 | 实现防掉电文件系统的方法、装置以及防掉电文件系统 |
US20170357559A1 (en) * | 2016-06-14 | 2017-12-14 | Oracle International Corporation | Systems and methods for support log cache device removal through standard user interfaces |
US20180081933A1 (en) * | 2015-06-23 | 2018-03-22 | International Business Machines Corporation | Granular buffering of metadata changes for journaling file systems |
-
2018
- 2018-06-08 CN CN201810585222.2A patent/CN108920303A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577329A (zh) * | 2013-10-18 | 2014-02-12 | 华为技术有限公司 | 一种快照管理方法和装置 |
CN105468544A (zh) * | 2014-09-11 | 2016-04-06 | 深圳市腾讯计算机系统有限公司 | 实现防掉电文件系统的方法、装置以及防掉电文件系统 |
US20180081933A1 (en) * | 2015-06-23 | 2018-03-22 | International Business Machines Corporation | Granular buffering of metadata changes for journaling file systems |
CN105183868A (zh) * | 2015-09-15 | 2015-12-23 | 浪潮(北京)电子信息产业有限公司 | 一种文件系统日志的存储方法及装置 |
US20170357559A1 (en) * | 2016-06-14 | 2017-12-14 | Oracle International Corporation | Systems and methods for support log cache device removal through standard user interfaces |
Non-Patent Citations (5)
Title |
---|
GUANLIN LU等: "BloomStore: Bloom-Filter based Memory-efficient Key-Value Store for Indexing of Data Deduplication on Flash", 《IEEE》 * |
冯云: "《SCO OpenServerRelease 5系统管理与使用 上》", 31 May 1999, 中国物价出版社 * |
石伟等: "基于非易失存储器的事务存储系统综述", 《计算机研究与发展》 * |
程和侠等: "《Linux操作系统》", 31 January 2017, 中国科学技术大学出版社 * |
窦振中: "《单片机外围器件实用手册 存储器分册》", 30 April 1998, 北京航空航天大学出版社 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113448490A (zh) * | 2020-03-25 | 2021-09-28 | 伊姆西Ip控股有限责任公司 | 用于存储的方法、设备和计算机程序产品 |
CN114579529A (zh) * | 2022-05-07 | 2022-06-03 | 深圳市杉岩数据技术有限公司 | 一种基于重定向和日志混合的本地存储方法及系统 |
CN114579529B (zh) * | 2022-05-07 | 2022-08-05 | 深圳市杉岩数据技术有限公司 | 一种基于重定向和日志混合的本地存储方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7610445B1 (en) | System and method for improving data integrity and memory performance using non-volatile media | |
CN102033786B (zh) | 一种对象存储系统中修复副本一致性的方法 | |
US5568628A (en) | Storage control method and apparatus for highly reliable storage controller with multiple cache memories | |
US8838918B2 (en) | Information processing apparatus and data backup method | |
US6859888B2 (en) | Data storage array apparatus storing error information without delay in data access, and method, program recording medium, and program for the same | |
CN103246478B (zh) | 一种基于软raid支持无分组式全局热备盘的磁盘阵列系统 | |
CN104350477A (zh) | 用于固态驱动装置(ssd)的优化的上下文移除 | |
JP2000305860A (ja) | 情報記憶システム及び同システムに於ける記憶制御方法 | |
US20110010499A1 (en) | Storage system, method of controlling storage system, and method of controlling control apparatus | |
JP2008204041A (ja) | ストレージ装置及びデータ配置制御方法 | |
CN103999058A (zh) | 带驱动器系统服务器 | |
CN106155943B (zh) | 一种双控存储设备的掉电保护的方法及装置 | |
US9514052B2 (en) | Write-through-and-back-cache | |
US9772782B2 (en) | Non-volatile complement data cache | |
US10642508B2 (en) | Method to limit impact of partial media failure of disk drive and detect/report the loss of data for objects due to partial failure of media | |
US20080077758A1 (en) | Virtual tape device and data management method for virtual tape device | |
US8938641B2 (en) | Method and apparatus for synchronizing storage volumes | |
CN108920303A (zh) | 一种安全增强型日志文件系统 | |
JP2010160654A (ja) | キャッシュメモリバックアップ装置、方法およびプログラム | |
KR101604222B1 (ko) | 영상 기록 장치 및 일시적 네트워크 장애 발생시 영상 기록 방법 | |
US20040133741A1 (en) | Disk array apparatus and data writing method used in the disk array apparatus | |
US9697097B2 (en) | Storage system and method for controlling storage system | |
JP2001142650A (ja) | アレイディスク制御方法及び装置 | |
CN114780489A (zh) | 一种实现分布式块存储底层gc的方法及装置 | |
CN107608633A (zh) | 一种存储设备存储管理方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181130 |
|
RJ01 | Rejection of invention patent application after publication |