CN102385537B - 一种多副本存储系统的磁盘故障处理方法 - Google Patents
一种多副本存储系统的磁盘故障处理方法 Download PDFInfo
- Publication number
- CN102385537B CN102385537B CN201110328291.3A CN201110328291A CN102385537B CN 102385537 B CN102385537 B CN 102385537B CN 201110328291 A CN201110328291 A CN 201110328291A CN 102385537 B CN102385537 B CN 102385537B
- Authority
- CN
- China
- Prior art keywords
- disk
- copy
- failure
- primary copy
- mds
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明提供了一种多副本存储系统的磁盘故障处理方法，采用多副本的方式保存对象，同一对象的不同副本存储在不同的OSD上；同一对象的副本中有一个是主副本，修改操作发给该副本，主副本将操作发给从副本；操作过程中出现IO错误时，通过磁盘故障模块确定磁盘故障类型，然后确定处理方法，如果是磁盘瞬时的故障，则等待该盘重新加入系统；如果是磁盘坏道，则认为对象坏道，重现对象；如果是磁盘永久失效，则重建该盘上的所有数据。本发明丰富了磁盘故障的处理，减少了修复数据的总量，大大提高了修复的效率。
Description
技术领域
本发明涉及计算机存储领域，具体地说是一种基于对象存储系统的磁盘故障处理方法。
背景技术
对象存储系统中，采用多副本的方式能够提高系统的可靠性。通过普通存储设备构建的分布式存储系统中，磁盘故障是经常发生的，因此系统需要提供在线处理磁盘故障的能力，使系统能够提供稳定可靠的服务。
简单地将磁盘故障认定为磁盘失效，会造成大量数据的重建，浪费系统的带宽。在实践中，通过smart工具，将读写过程中遇到的磁盘错误进一步分为：坏道、瞬时故障和永久故障，针对每种故障进行不同的处理。
发明内容
本发明的目的在于提供一种高可靠性，高可用性的基于对象存储的对象在线修复方法。
一种多副本存储系统的磁盘故障处理方法，
采用多副本的方式保存对象，同一对象的不同副本存储在不同的OSD上；
同一对象的副本中有一个是主副本，修改操作发给该副本，主副 本将操作发给从副本；
操作过程中出现IO错误时，通过磁盘故障模块确定磁盘故障类型，然后确定处理方法，如果是磁盘瞬时的故障，则等待该盘重新加入系统；如果是磁盘坏道，则认为对象坏道，重现对象；如果是磁盘永久失效，则重建该盘上的所有数据。
优选的，所述瞬时故障的磁盘，为其添加一个定时器，在定时器未触发之前，磁盘加入系统为可用，则取消定时器；否则将该磁盘视为永久失效，重建该磁盘上的数据。
优选的，所述磁盘加入系统为可用后，只拷贝故障期间发生的数据操作。
优选的，所述磁盘坏道时，记录该磁盘的坏道数，当磁盘坏道数超过阈值时，将磁盘按永久失效处理。
优选的，所述磁盘永久失效后，OSD将该磁盘信息告知MDS，在MDS的主导下修复磁盘。
优选的，所述从副本在操作时，遇到磁盘故障，调用磁盘判定程序，确定磁盘的错误类型，报告给管理线程，从副本将错误类型应答主副本，主副本标识从副本的错误类型，向MDS报告从副本故障状态，以后修复该从副本。
优选的，所述主副本在操作时，遇到磁盘故障，调用磁盘判定程序，确定磁盘的错误类型，报告给管理线程，主副本触发换主操作，在MDS的控制下，选择新的主副本，并将旧主标识为错误，以后进行修复。
优选的，所述重建磁盘数据的方法为，在MDS的总体控制下，由主副本修复对象，所述MDS存储着每个磁盘上的对象信息，当主副本在该盘上时，通过换主操作，重新选择可用的主副本，MDS为丢失的对象选择新的磁盘，将需要修复的对象发给主副本，由主副本主导对象的修复操作；
所述主副本修复对象时，先设置修复标识，后续的客户端的修改操作由修复线程在修复的过程中处理，并应答客户端，修复线程继续修复对象，直到修复完成。
优选的，所述修复过程中，如果出现新的故障，影响数据修复时，修复过程停止，待故障解除后，重新出发修复过程。
本发明丰富了磁盘故障的处理，减少了修复数据的总量，大大提高了修复的效率。
附图说明
图1为系统的存储方式图。
图2磁盘故障处理图
图3修复磁盘的MDS处理过程
图4OSD上的主副本修复过程
图5为系统的OSD修复对象的流程
具体实施方式
下面结合附图举例对本发明做更细地描述：
外部数据交互过程：用户通过客户端与系统进行数据读写，客户端提供通用文件系统接口，用户使用时与本地文件系统没有区别。
内部数据交互过程：客户端向MDS获取对象的存储信息及副本信息；客户端向主副本发数据读取操作，主副本出现EIO错误时，通过磁盘故障模块，验证磁盘的故障类型，当前操作的对象进行换主操作，向本OSD的管理线程报告磁盘故障类型；如果从副本出现，当前操作向主副本应答，向本OSD的管理线程报告磁盘故障类型；管理线程对磁盘的故障做出处理：坏道，则将坏道数增一，达到阈值后，按照永久失效处理；临时掉线，设置定时器，在指定时间内回到系统中，则恢复使用，否则按照永久失效处理；永久失效，报告给MDS，触发对磁盘的修复。
写操作中磁盘故障处理
1磁盘故障处理总过程
针对不同的故障类型，由OSD做出初步的处理，如果确定磁盘永久失效，则OSD将该磁盘信息告知MDS，在MDS的主导下修复该磁盘；如果是磁盘的坏道，则标识该处的对象无效，仅创建这部分对象；如果是磁盘瞬时的故障，假定磁盘一段时间内能够重新使用，为该盘添加定时器，当定时器未被触发之前，磁盘可用，则取消定时器，否则将该盘视为永久失效，重建该磁盘上的数据。
2单个对象的操作处理
2.1从副本处理
操作从副本时，遇到磁盘故障，调用磁盘判定程序，确定磁盘的 错误类型，报告给管理线程，从副本将错误类型应答主副本，主副本标识从副本的错误类型，向MDS报告从副本故障状态，以后修复该从副本。
2.2主副本处理
主副本操作时，遇到磁盘故障，调用磁盘判定程序，确定磁盘的错误类型，报告给管理线程，主副本触发换主操作，在MDS的控制下，选择新的主副本，并将旧主标识为错误，以后进行修复。
重建坏盘上的对象
在MDS的总体控制下，由主副本修复对象。MDS存储着每个磁盘上的对象信息，当主副本在该盘上时，通过换主操作，重新选择可用的主副本，MDS为丢失的对象选择新的磁盘，将需要修复的对象发给主副本，由主副本主导对象的修复操作。
主副本修复对象时，先设置修复标识，后续的客户端的修改操作由修复线程在修复的过程中处理，并应答客户端，修复线程继续修复对象，直到修复完成。
创建新副本是由主副本根据MDS选择的新副本位置，创建新的从副本。
修复过程中，出现新的故障，影响数据修复时，修复过程停止，待故障解除后，重新出发修复过程。
图1为系统的存储方式图。
通过MDS上的存储布局算法，将同以对象的不同副本存放在不同的OSD上。MDS记录每个磁盘上存储的对象信息。
图2为系统的磁盘永久失效的处理方式图。
当一个磁盘永久失效时，利用已有副本，在其它磁盘上创建新的副本，同时修改MDS上的对象位置信息。
图3为系统的磁盘坏道的处理方式。
当磁盘出现坏道时，仅将坏道处的对象重建，磁盘的其它位置仍然可用。
图4为系统的MDS上坏盘处理流程。
1通过记录的信息，找出坏盘上的对象
2如果该对象的主副本在坏盘上，通过换主操作，选择新的主副本
3为对象选择新的磁盘，作为新副本的存放位置
4将需要修复的对象发给主副本所在的OSD
图5为系统的OSD修复对象的流程
1主副本接到MDS发来的需要修复的对象及新副本位置信息
2设置对象修复标识，阻止新的客户端修改操作
3修复该对象
4向MDS报告修复完成，MDS更新副本的位置
5解除修复标识 。
Claims (1)
1.一种多副本存储系统的磁盘故障处理方法，其特征在于：
采用多副本的方式保存对象，同一对象的不同副本存储在不同的OSD上；
同一对象的副本中有一个是主副本，修改操作发给该副本，主副本将操作发给从副本；
操作过程中出现IO错误时，通过磁盘故障模块确定磁盘故障类型，然后确定处理方法，如果是磁盘瞬时的故障，则等待该盘重新加入系统；如果是磁盘坏道，则认为对象坏道，重现对象；如果是磁盘永久失效，则重建该盘上的所有数据；
所述瞬时故障的磁盘，为其添加一个定时器，在定时器未触发之前，磁盘加入系统为可用，则取消定时器；否则将该磁盘视为永久失效，重建该磁盘上的数据；
所述磁盘加入系统为可用后，只拷贝故障期间发生的数据操作；
所述磁盘坏道时，记录该磁盘的坏道数，当磁盘坏道数超过阈值时，将磁盘按永久失效处理；
所述磁盘永久失效后，OSD将该磁盘信息告知MDS，在MDS的主导下修复磁盘；
所述从副本在操作时，遇到磁盘故障，调用磁盘判定程序，确定磁盘的错误类型，报告给管理线程，从副本将错误类型应答主副本，主副本标识从副本的错误类型，向MDS报告从副本故障状态，以后修复该从副本；
所述主副本在操作时，遇到磁盘故障，调用磁盘判定程序，确定磁盘的错误类型，报告给管理线程，主副本触发换主操作，在MDS的控制下，选择新的主副本，并将旧主标识为错误，以后进行修复；
所述重建磁盘数据的方法为，在MDS的总体控制下，由主副本修复对象，所述MDS存储着每个磁盘上的对象信息，当主副本在该盘上时，通过换主操作，重新选择可用的主副本，MDS为丢失的对象选择新的磁盘，将需要修复的对象发给主副本，由主副本主导对象的修复操作；
所述主副本修复对象时，先设置修复标识，后续的客户端的修改操作由修复线程在修复的过程中处理，并应答客户端，修复线程继续修复对象，直到修复完成；
所述修复过程中，如果出现新的故障，影响数据修复时，修复过程停止，待故障解除后，重新出发修复过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110328291.3A CN102385537B (zh) | 2011-10-25 | 2011-10-25 | 一种多副本存储系统的磁盘故障处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110328291.3A CN102385537B (zh) | 2011-10-25 | 2011-10-25 | 一种多副本存储系统的磁盘故障处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102385537A CN102385537A (zh) | 2012-03-21 |
| CN102385537B true CN102385537B (zh) | 2014-12-03 |
Family
ID=45824970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110328291.3A Active CN102385537B (zh) | 2011-10-25 | 2011-10-25 | 一种多副本存储系统的磁盘故障处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102385537B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108519927A (zh) * | 2018-04-12 | 2018-09-11 | 郑州云海信息技术有限公司 | 一种基于icfs系统的osd故障定位方法及系统 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102970350A (zh) * | 2012-11-05 | 2013-03-13 | 曙光信息产业(北京)有限公司 | 在存储系统中维护副本一致性的方法 |
| CN103544081B (zh) * | 2013-10-23 | 2015-08-12 | 曙光信息产业(北京)有限公司 | 双元数据服务器的管理方法和装置 |
| CN103593275B (zh) * | 2013-10-31 | 2017-06-27 | 华为技术有限公司 | 磁盘信息显示方法及装置 |
| CN107832164A (zh) * | 2017-11-20 | 2018-03-23 | 郑州云海信息技术有限公司 | 一种基于Ceph的故障硬盘处理的方法及装置 |
| CN108235751B (zh) | 2017-12-18 | 2020-04-14 | 华为技术有限公司 | 识别对象存储设备亚健康的方法、装置和数据存储系统 |
| CN109144788B (zh) * | 2018-09-10 | 2021-10-22 | 网宿科技股份有限公司 | 一种重建osd的方法、装置及系统 |
| CN111400098A (zh) * | 2020-03-16 | 2020-07-10 | 深信服科技股份有限公司 | 一种副本管理方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567211A (zh) * | 2009-05-27 | 2009-10-28 | 杭州华三通信技术有限公司 | 一种提高磁盘可用性的方法和磁盘阵列控制器 |
| CN102033786A (zh) * | 2010-11-04 | 2011-04-27 | 天津曙光计算机产业有限公司 | 一种对象存储系统中修复副本一致性的方法 |
| CN102147708A (zh) * | 2010-02-10 | 2011-08-10 | 成都市华为赛门铁克科技有限公司 | 一种磁盘检测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7313721B2 (en) * | 2004-06-21 | 2007-12-25 | Dot Hill Systems Corporation | Apparatus and method for performing a preemptive reconstruct of a fault-tolerant RAID array |
-
2011
- 2011-10-25 CN CN201110328291.3A patent/CN102385537B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101567211A (zh) * | 2009-05-27 | 2009-10-28 | 杭州华三通信技术有限公司 | 一种提高磁盘可用性的方法和磁盘阵列控制器 |
| CN102147708A (zh) * | 2010-02-10 | 2011-08-10 | 成都市华为赛门铁克科技有限公司 | 一种磁盘检测方法及装置 |
| CN102033786A (zh) * | 2010-11-04 | 2011-04-27 | 天津曙光计算机产业有限公司 | 一种对象存储系统中修复副本一致性的方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108519927A (zh) * | 2018-04-12 | 2018-09-11 | 郑州云海信息技术有限公司 | 一种基于icfs系统的osd故障定位方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102385537A (zh) | 2012-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102385537B (zh) | 一种多副本存储系统的磁盘故障处理方法 | |
| CN110569149B (zh) | 基于故障探测触发Oracle容灾自动应急切换的方法 | |
| CN105302667A (zh) | 基于集群架构的高可靠性数据备份与恢复方法 | |
| CN102096561B (zh) | 分层数据存储处理方法、装置以及存储设备 | |
| CN103885855A (zh) | 数据备份和恢复的方法及装置 | |
| CN100504799C (zh) | 以快照指针进行磁盘快照的方法 | |
| US20110208694A1 (en) | 'Efficient Data Synchronization in a Distributed Data Recovery System' | |
| CN104133740A (zh) | 异常掉电数据恢复的方法 | |
| CN104166605A (zh) | 基于增量数据文件的数据备份方法及系统 | |
| CN110795287A (zh) | 数据恢复方法、系统、电子设备及计算机存储介质 | |
| CN110555055A (zh) | 针对Oracle数据库重做日志文件的数据挖掘方法 | |
| CN106104515A (zh) | 利用非易失性存储器的文件系统设计和故障恢复方法 | |
| CN104461791A (zh) | 一种信息处理方法及处理装置 | |
| CN105302665A (zh) | 一种改进的写时拷贝快照方法及系统 | |
| CN107451014A (zh) | 一种数据恢复方法及装置 | |
| CN111506583A (zh) | 更新方法、更新装置、服务器、计算机设备和存储介质 | |
| CN105892954A (zh) | 基于多副本的数据存储方法和装置 | |
| CN105161138A (zh) | 希捷硬盘固件管理器错误导致无法访问数据区的修复方法 | |
| CN105045678A (zh) | 数据库恢复方法及装置 | |
| CN104978241A (zh) | 一种cow类型文件系统的数据恢复方法及装置 | |
| CN102737716B (zh) | 存储器储存装置、存储器控制器与数据写入方法 | |
| CN109582497B (zh) | 一种基于动态数据增量快速应急启动方法 | |
| CN104020963A (zh) | 一种防止误判硬盘读写错误的方法和装置 | |
| CN107329776A (zh) | 一种提高dsp在线升级容错性能的方法 | |
| CN106528342A (zh) | 一种具有云服务器备份的磁盘阵列容错装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20120321 Assignee: JIANGSU DAWN INFORMATION TECHNOLOGY Co.,Ltd. Assignor: Dawning Information Industry (Beijing) Co.,Ltd. Contract record no.: 2017320000013 Denomination of invention: Disk failure processing method of multi-copy storage system Granted publication date: 20141203 License type: Exclusive License Record date: 20170217 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220722 Address after: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing Patentee after: Dawning Information Industry (Beijing) Co.,Ltd. Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd. Address before: 100084 Beijing Haidian District City Mill Street No. 64 Patentee before: Dawning Information Industry (Beijing) Co.,Ltd. |
|
| TR01 | Transfer of patent right |