CN103761156B - 一种针对文件系统的在线修复方法 - Google Patents

一种针对文件系统的在线修复方法 Download PDF

Info

Publication number
CN103761156B
CN103761156B CN201310676083.1A CN201310676083A CN103761156B CN 103761156 B CN103761156 B CN 103761156B CN 201310676083 A CN201310676083 A CN 201310676083A CN 103761156 B CN103761156 B CN 103761156B
Authority
CN
China
Prior art keywords
storage volume
mistake
file system
data
repairing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310676083.1A
Other languages
English (en)
Other versions
CN103761156A (zh
Inventor
霍米会
孙斌
杨峰
李辉
周泽湘
谢红军
王成武
罗华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING TOYOU FEIJI ELECTRONICS Co Ltd
Original Assignee
BEIJING TOYOU FEIJI ELECTRONICS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING TOYOU FEIJI ELECTRONICS Co Ltd filed Critical BEIJING TOYOU FEIJI ELECTRONICS Co Ltd
Priority to CN201310676083.1A priority Critical patent/CN103761156B/zh
Publication of CN103761156A publication Critical patent/CN103761156A/zh
Application granted granted Critical
Publication of CN103761156B publication Critical patent/CN103761156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及针对文件系统的在线修复方法,属于计算机存储技术领域。对文件系统所关联的存储卷进行损坏扫描,进行实时错误修正,同时保持存储卷在线,保持文件系统仍能响应IO请求。扫描过程中,对遇到的错误分类,并采用相应的修复方案。在修复过程中,对具体错误估算修复时间,给出修复进度。若修复失败,则清除这部分数据。在存储卷上方建manager装置,将存储卷的最后一部分存储空间作为logger装置,并由manager装置负责管理和维护。在修正错误期间manager装置会对文件系统下发的IO请求进行拦截和处理。针对存储卷损坏处的读写请求进行处理。本发明使得在修复存储卷错误期间,文件系统仍能正常响应IO请求。

Description

一种针对文件系统的在线修复方法
技术领域
本发明涉及一种针对文件系统的在线修复方法,属于计算机存储技术领域。
背景技术
文件系统是一种对存储设备上的数据和元数据进行组织和管理的机制,会响应不同应用程序的IO请求。管理文件系统很重要的一方面是要维护文件系统的一致性。但是,当出现意外情况时,比如意想不到的电源故障或者某次IO的失败,可能会导致元数据和数据的损坏,即文件系统处于不一致的状态。此时若不及时修复则会导致后续的IO请求不能得到有效的响应。
针对这种文件系统损坏的情况,现在的一种做法时在重新开机时对文件系统做一致性检查,或者根据日志记录元数据或者数据的变动情况,修复损坏的文件系统。但这种做法会延长开机启动时间,在修复期间用户一直处于等待状态,从而增加由于业务中断造成的损失。另一种改进做法是针对存储卷上出现的错误进行实时修复,但在修复过程中仍然会将文件系统挂起,不能响应IO请求。
发明内容
本发明提供一种文件系统的在线修复方法,保证在对存储卷实时修复的过程中文件系统仍能正常响应IO请求,解决现有技术在修复期间会停止访问存储卷或挂起文件系统的问题,具体技术方案为:
步骤一、在后台对文件系统所关联的存储卷进行扫描,当发现错误时,根据该错误的类型选择相应的方案进行实时修复。根据以往修复该类型错误的经验估算修复时间,实时显示修复的进度。若修复失败,则清除该区域的数据,后续针对该区域数据的访问将会出现错误提示。
步骤二、在每个存储卷的上方构建一个manager装置。manager装置对其关联的存储卷负责,会对正在修复区域的位置信息进行记录和维护;在对存储卷上的错误进行实时修复时,manager装置会对文件系统下发的IO请求进行拦截;
步骤三、处理仍处于实时修复状态的存储区域的读请求或写请求;若为读请求,则执行步骤四,若为写请求,执行步骤五;
步骤四、manager装置给予延缓,同时,manager装置会设定一时间,若修复时间超过该设定时间,则返回读错误。
步骤五、重导向到logger装置。logger装置是存储卷的最后一部分连续存储区域,并由manager负责管理,其大小也由manager设定。logger装置用来临时存储manager重导向过来的数据,并记录元数据将要做的改变。
步骤六、当错误修复完成后,若修复成功,manager装置会根据自己维护的位置信息,负责将logger内的数据导回到已完成修复的存储区域,并根据记录更新元数据,若修复失败,则直接删除logger内的数据,同时返回写错误。若在修复过程中logger已被重导向的数据写满,则会返回写错误,但在修复完成后,manager仍会负责将logger内的数据导回。已修复完成的存储区域重新处于正常使用状态,logger装置将准备接受新的重导向数据。
有益效果
本发明实现了一种在修复存储卷错误期间,文件系统仍能正常响应IO请求的方法。由于manager装置的重定向操作,文件系统看到的仍是一个正常可用的存储卷,从而保证了业务的连续性。保证在错误修复完成后,修复期间写入的数据能够重新导回,因而不会造成数据的丢失。另外,本发明保证了修复是在线进行,区别于目前的只在系统启动时修复,可以有效减少开机启动时间。
附图说明
图1为本发明的设计原理图
具体实施方式
技术方案设计原理如图1所示,以一次在修复文件file1期间应用程序对file1的IO请求为例。
根据步骤一,在后台对存储卷上扫描到的文件file1的inode错误进行实时修复。关联该文件的inode记录的存储实际数据的区块的数目是错误的,后台进程会对错误的区块数进行修正,同时会根据以往修复该类型错误的经验估算修复时间并显示修复进度。
根据步骤二,在修复期间manager装置会拦截文件系统下发的针对文件file1的读请求和写请求。
根据步骤三,处理对处于实时修复状态的文件file1的读请求或写请求:若为读请求,则执行步骤四,若为写请求,执行步骤五;
根据步骤四,若为读请求,manager会设定一个5秒的时间大小,若在该时间内修复仍未完成,则返回读错误;若在该时间完成,则读文件;
根据步骤五,若是写请求,除了写入新数据,元数据信息也会做相应改变,即修改文件file1的inode信息,记录文件大小会扩大;调整空闲空间映射,为新数据分配空间。manager会将这些元数据将要做的改变信息和实际数据重导向到logger装置内。
根据步骤六,待修复结束后,若修复成功,manager装置会根据logger中的记录更新与文件file1相关的元数据并将数据导回,若修复失败,则直接删除logger中的数据,同时向应用程序返回写错误。若在修复期间logger装置被写满,则返回写错误,但在修复成功完成后manager装置仍会负责更新相应元数据并将数据导回到文件file1。

Claims (1)

1.一种针对文件系统的在线修复方法,其特征在于:
步骤一、在后台对文件系统所关联的存储卷进行扫描,当发现错误时,根据该错误的类型选择相应的方案进行实时修复;根据以往修复错误的经验估算修复时间,实时显示修复的进度;若修复失败,则清除存储卷出现错误的区域数据,后续针对出现错误的区域数据的访问将会出现错误提示;
步骤二、在每个存储卷的上方构建一个manager装置,manager装置对其关联的存储卷负责,会对正在修复区域的位置信息进行记录和维护;在对存储卷上的错误进行实时修复时,manager装置会对文件系统下发的IO请求进行拦截;
步骤三、处理仍处于实时修复状态的存储区域的读请求或写请求;若为读请求,则执行步骤四,若为写请求,执行步骤五;
步骤四、manager装置给予延缓,同时,manager装置会设定一个时间,若修复时间超过该设定时间,则返回读错误;
步骤五、重导向到logger装置,logger装置是存储卷的最后一部分连续存储区域,并由manager装置负责管理,其大小也由manager装置设定,logger装置用来临时存储manager装置重导向过来的数据,并记录元数据将要做的改变;
步骤六、当错误修复完成后,若修复成功,manager装置会根据自己维护的位置信息,负责将logger装置内的数据导回到已完成修复的存储区域,并根据记录更新元数据,若修复失败,则直接删除logger装置内的数据,同时返回写错误;若在修复过程中logger装置已被重导向的数据写满,则会返回写错误,但在修复完成后,manager装置仍会负责将logger装置内的数据导回;已修复完成的存储区域重新处于正常使用状态,logger装置将准备接受新的重导向数据。
CN201310676083.1A 2013-12-13 2013-12-13 一种针对文件系统的在线修复方法 Active CN103761156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310676083.1A CN103761156B (zh) 2013-12-13 2013-12-13 一种针对文件系统的在线修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310676083.1A CN103761156B (zh) 2013-12-13 2013-12-13 一种针对文件系统的在线修复方法

Publications (2)

Publication Number Publication Date
CN103761156A CN103761156A (zh) 2014-04-30
CN103761156B true CN103761156B (zh) 2016-09-21

Family

ID=50528399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310676083.1A Active CN103761156B (zh) 2013-12-13 2013-12-13 一种针对文件系统的在线修复方法

Country Status (1)

Country Link
CN (1) CN103761156B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959374B (zh) * 2018-05-24 2020-12-29 北京三快在线科技有限公司 数据存储方法、装置及电子设备
CN112580037B (zh) * 2019-09-30 2023-12-12 奇安信安全技术(珠海)有限公司 病毒文件数据的修复方法、装置及设备
CN112069503A (zh) * 2020-08-05 2020-12-11 长沙市到家悠享网络科技有限公司 任务管理方法、设备及存储介质
CN112286571A (zh) * 2020-09-25 2021-01-29 长沙市到家悠享网络科技有限公司 漏洞修复方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694098B (zh) * 2004-04-30 2011-02-23 微软公司 实时文件系统修复
CN102831025A (zh) * 2012-08-06 2012-12-19 厦门市美亚柏科信息股份有限公司 一种fat32文件系统的dbr数据修复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204863B2 (en) * 2009-12-21 2012-06-19 International Business Machines Corporation Multi-phase file system restore with selective on-demand data availability

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694098B (zh) * 2004-04-30 2011-02-23 微软公司 实时文件系统修复
CN102831025A (zh) * 2012-08-06 2012-12-19 厦门市美亚柏科信息股份有限公司 一种fat32文件系统的dbr数据修复方法

Also Published As

Publication number Publication date
CN103761156A (zh) 2014-04-30

Similar Documents

Publication Publication Date Title
US8909883B2 (en) Storage system and storage control method
US9996557B2 (en) Database storage system based on optical disk and method using the system
CN102033786B (zh) 一种对象存储系统中修复副本一致性的方法
CN106021031B (zh) 一种btrfs文件系统的删除数据恢复方法和装置
CN105659204A (zh) 用于进行带有注释的原子写入操作的方法和装置
CN102722536B (zh) 基于分布式文件系统的快照实现方法及装置
CN103761156B (zh) 一种针对文件系统的在线修复方法
CN103034592B (zh) 数据处理方法和装置
CN106469022A (zh) 存储驱动器的存储管理方法和系统
JP2007241486A (ja) 記憶装置システム
CN103617097A (zh) 文件恢复方法及装置
CN103412929A (zh) 一种海量数据的存储方法
CN102024021A (zh) 一种逻辑文件系统元数据的日志方法
CN107273449B (zh) 一种基于内存数据库的断点处理方法及系统
CN111291022B (zh) 一种基于区块链的数据存储系统
CN107608624A (zh) 一种提升固态硬盘性能的方法
CN103841168B (zh) 数据副本更新方法及元数据服务器
CN106326041A (zh) 一种用于数据库秒级恢复的方法
US20170017406A1 (en) Systems and methods for improving flash-oriented file system garbage collection
CN105892954A (zh) 基于多副本的数据存储方法和装置
CN105488139B (zh) 基于用电信息采集系统的跨平台存储数据迁移的方法
WO2024077863A1 (zh) 一种全闪存储系统的恢复方法及相关装置
CN104156327A (zh) 一种分布式文件系统中写回模式下对象掉电识别方法
CN110263060A (zh) 一种erp电子附件管理方法及计算机设备
KR101643278B1 (ko) 데이터베이스 시스템에서 스토리지 서버 관리 방법, 장치 및 컴퓨터 판독가능 매체에 저장된 컴퓨터-프로그램

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20140430

Assignee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd.

Assignor: BEIJING TOYOU FEIJI ELECTRONICS Co.,Ltd.

Contract record no.: X2023110000037

Denomination of invention: An online repair method for file systems

Granted publication date: 20160921

License type: Exclusive License

Record date: 20230317

EE01 Entry into force of recordation of patent licensing contract
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An online repair method for file systems

Effective date of registration: 20230323

Granted publication date: 20160921

Pledgee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd.

Pledgor: BEIJING TOYOU FEIJI ELECTRONICS Co.,Ltd.

Registration number: Y2023110000114

PE01 Entry into force of the registration of the contract for pledge of patent right