CN102981930A - 一种磁盘阵列多级数据自动修复的方法 - Google Patents
一种磁盘阵列多级数据自动修复的方法 Download PDFInfo
- Publication number
- CN102981930A CN102981930A CN2012104594404A CN201210459440A CN102981930A CN 102981930 A CN102981930 A CN 102981930A CN 2012104594404 A CN2012104594404 A CN 2012104594404A CN 201210459440 A CN201210459440 A CN 201210459440A CN 102981930 A CN102981930 A CN 102981930A
- Authority
- CN
- China
- Prior art keywords
- disk
- read
- sector
- data
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明提供一种磁盘阵列多级数据自动修复的方法,第一级别把因坏扇区出现读写错误的数据转移到预留区域;第二级是根据预留区域的使用情况以及一些关键属性,并对磁盘损坏的历史信息进行统计,采用智能学习方法预测磁盘是否失效,提前对可能失效的盘得数据进行备份。该一种磁盘阵列多级数据自动修复的方法和现有技术相比,提前对可能失效的盘的数据进行备份,大大提高了系统可靠性。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种磁盘阵列多级数据自动修复的方法。
背景技术
有些磁盘阵列产品的掉盘是由于少量坏扇区引起的。由于少量坏扇区而引起的磁盘失效,大大降低了系统的可靠性。几乎所有的硬盘都会有坏扇区,从损坏形式上来说,坏扇区可分为两类:软损坏扇区和物理损坏扇区。软损坏扇区往往是病毒或某些软件造成的,不是真正的坏扇区,可以通过再次格式化来修复。另一种是物理损坏引起的坏扇区,数据将永远无法写入到这种扇区中。这两种形式引起的坏扇区都可以通过数据转移来避归。
另外,有很多掉盘的情况是可以提前检测出来,通过缺陷参数发生的变化进行预测,还可以通过坏扇区的数量进行联动决策,进而能够提前做出准备,把可能发生失效的盘的数据备份到热备盘上去,从而可以减少数据丢失的概率。
针对以上问题,本发明提供一种可以进行多级数据修复的磁盘阵列自动修复的方法。
发明内容
本发明的技术任务是针对在现有技术的不足,提供一种磁盘阵列多级数据自动修复的方法。
本发明的技术方案是按以下方式实现的,该一种磁盘阵列多级数据自动修复的方法,包括扇区读写错误修复过程和磁盘参数异常修复过程,所述修复过程包括
步骤一、对磁盘阵列的读写错误或磁盘参数异常进行故障分析;
步骤二、对因坏扇区出现读写错误的数据转移到预留区域,分析损坏情况,预测磁盘是否失效,提前对可能失效的盘进行数据备份。
所述步骤一中读写错误故障分析包括以下步骤:
1)、首先查看读写操作是否为已经记录的坏扇区;
2)、如果扇区被记录为坏扇区,则在预留扇区上读写数据,并判断是否出错,否则读写该扇区的数据;
3)、如果读写预留扇区或者原始扇区出现错误,则判断是否可修复,如果能修复,就进行数据转移;如果无法修复,就设定该盘失效。
所述扇区读写错误修复过程包括周期扫描过程,该过程用于扫描磁盘,及时发现错误,同时为了不影响使用性能,该过程只在设备空闲的时候进行扫描。
所述步骤一中磁盘参数异常故障分析包括:周期性扫描检测收集磁盘属性数据信息,这些信息包括:预留区域使用情况、磁盘自然属性、磁盘增长缺陷属性。
上述磁盘参数异常故障分析的过程包括:
第一层、预留区域使用情况判别算法采用阀值,超出阀值就认为是坏盘,否则进入下一层次判断;
第二层、磁盘自然属性:使用时间和温度,判别算法采用阀值,超出阀值就认为是坏盘,否则进入下一层次判断;
第三层、磁盘增长缺陷属性:错误计数统计,判别算法可以采用阀值比较、采用贝叶斯概率统计或者秩和检验统计等算法中的一种。
本发明与现有技术相比所产生的有益效果是:
本发明的一种磁盘阵列多级数据自动修复的方法通过提前对可能失效的盘的数据进行备份,大大提高了系统可靠性,把可能发生失效的盘的数据备份到热备盘上去,从而可以减少数据丢失的概率。
附图说明
附图1是本发明的总体结构示意图。
附图2是读写错误分析的流程示意图。
附图3是坏盘预测的流程示意图。
具体实施方式
下面结合附图对本发明所提供的一种磁盘阵列多级数据自动修复的方法作以下详细说明。
由于如何发现坏扇区故障主要有两个方面:
1)通过扇区读写报错;
2)周期性扫描硬盘发现介质或者数据错误。
本发明一旦发现坏扇区故障,可以把该位置的数据转移到预留区域。本发明还对磁盘故障进行预测,通过分析磁盘参数信息对磁盘可预测故障进行预测,为数据主动迁移提供依据。如附图1所示,一种磁盘阵列多级数据自动修复的方法,包括扇区读写错误修复过程和磁盘参数异常修复过程,所述修复过程包括:
步骤一、对磁盘阵列的读写错误或磁盘参数异常进行故障分析;
步骤二、对因坏扇区出现读写错误的数据转移到预留区域,分析损坏情况,预测磁盘是否失效,提前对可能失效的盘进行数据备份。
为了记录数据转移信息,要建立一个扇区映射表,表格的每一项包含原来扇区号和新转移的扇区号,这个表格可以放到磁盘预留空间,使用的时候放到内存。另外,还有个计数器remap记录有每个磁盘多少个扇区进行了转移。
如附图2所示,所述步骤一中读写错误故障分析包括以下步骤:
1)读写操作先在映射表中查询此扇区是否已经记录为坏扇区,所述映射表为记录数据转移信息简历的表格。
2)如果此扇区在映射表中有记录,就到预留扇区上读写数据,并判断是否出错;否则读写该扇区的数据。
3)如果读写预留扇区或者原始扇区出现错误,则判断是否可修复(根据RAID算法,如果一个条带错误过多,则无法修复),如果能修复,就进行数据转移;如果无法修复,就设定该盘失效。
本方明引入一个周期线程,用于扇区读写错误修复过程中扫描磁盘,及时发现错误。为了不影响使用性能,该线程只在设备空闲的时候进行扫描。
磁盘的故障分为可预测故障和不可预测故障,而可预测故障可以通过一些参数的变化来提前做出预测。本发明有一个周期检测线程,检测磁盘的关键参数,最后把各个磁盘的参数对比,选择一个健康程度最差的磁盘(比如错误最多或者温度最高等),同历史损坏磁盘的数据进行对比分析,进而确定是否可能损坏。
结合坏扇区的数据转移, 所述步骤一中磁盘参数异常故障分析可以从三个种类的参数进行如图3:
1)RAID层次分析:预留区域使用情况,判别算法采用阀值,超出阀值就认为是坏盘,否则进入下一层次判断。
2)进入磁盘自然属性分析:使用时间和温度,判别算法采用阀值,超出阀值就认为是坏盘,否则进入下一层次判断。
3)磁盘增长缺陷属性分析:错误计数统计,包含寻址错误计数等,判别算法可以采用阀值比较、采用贝叶斯概率统计或者秩和检验统计等算法中的一种。
Claims (5)
1.一种磁盘阵列多级数据自动修复的方法,其特征在于包括扇区读写错误修复过程和磁盘参数异常修复过程,所述修复过程包括:
步骤一、对磁盘阵列的读写错误或磁盘参数异常进行故障分析;
步骤二、对因坏扇区出现读写错误的数据转移到预留区域,分析损坏情况,预测磁盘是否失效,提前对可能失效的盘进行数据备份。
2.根据权利要求1所述的一种磁盘阵列多级数据自动修复的方法,其特征在于:所述步骤一中读写错误故障分析包括以下步骤:
1)、首先查看读写操作是否为已经记录的坏扇区;
2)、如果扇区被记录为坏扇区,则在预留扇区上读写数据,并判断是否出错,否则读写该扇区的数据;
3)、如果读写预留扇区或者原始扇区出现错误,则判断是否可修复,如果能修复,就进行数据转移;如果无法修复,就设定该盘失效。
3.根据权利要求1或2所述的一种磁盘阵列多级数据自动修复的方法,其特征在于:所述扇区读写错误修复过程包括周期扫描过程,该过程用于扫描磁盘,及时发现错误,同时为了不影响使用性能,该过程只在设备空闲的时候进行扫描。
4.根据权利要求1所述的一种磁盘阵列多级数据自动修复的方法,其特征在于所述步骤一中磁盘参数异常故障分析包括:周期性扫描检测收集磁盘属性数据信息,这些信息包括预留区域使用情况、磁盘自然属性、磁盘增长缺陷属性。
5.根据权利要求4所述的一种磁盘阵列多级数据自动修复的方法,其特征在于:上述磁盘参数异常故障分析的过程包括:
第一层、预留区域使用情况判别算法采用阀值,超出阀值就认为是坏盘,否则进入下一层次判断;
第二层、磁盘自然属性:使用时间和温度,判别算法采用阀值,超出阀值就认为是坏盘,否则进入下一层次判断;
第三层、磁盘增长缺陷属性:错误计数统计,判别算法可以采用阀值比较、采用贝叶斯概率统计或者秩和检验统计等算法中的一种。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012104594404A CN102981930A (zh) | 2012-11-15 | 2012-11-15 | 一种磁盘阵列多级数据自动修复的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012104594404A CN102981930A (zh) | 2012-11-15 | 2012-11-15 | 一种磁盘阵列多级数据自动修复的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102981930A true CN102981930A (zh) | 2013-03-20 |
Family
ID=47855985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012104594404A Pending CN102981930A (zh) | 2012-11-15 | 2012-11-15 | 一种磁盘阵列多级数据自动修复的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102981930A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103390429A (zh) * | 2013-07-29 | 2013-11-13 | 华为技术有限公司 | 一种硬盘的在线检测方法及服务器 |
CN103645997A (zh) * | 2013-12-26 | 2014-03-19 | 深圳市迪菲特科技股份有限公司 | 一种数据保护的方法与系统 |
CN103729276A (zh) * | 2014-01-28 | 2014-04-16 | 深圳市迪菲特科技股份有限公司 | 一种扫描磁盘阵列的方法 |
CN104317674A (zh) * | 2014-11-04 | 2015-01-28 | 浪潮(北京)电子信息产业有限公司 | 一种备份磁盘数据的方法及装置 |
CN104699564A (zh) * | 2013-12-09 | 2015-06-10 | 中国移动通信集团公司 | 一种采用Raid0磁盘组服务器的自动恢复方法及装置 |
WO2016107402A1 (zh) * | 2014-12-31 | 2016-07-07 | 中国银联股份有限公司 | 基于预测模型的磁盘故障预测方法及装置 |
CN107818025A (zh) * | 2017-10-31 | 2018-03-20 | 郑州云海信息技术有限公司 | 硬盘冷数据校验方法、装置、设备及计算机可读存储介质 |
CN107861829A (zh) * | 2017-11-06 | 2018-03-30 | 郑州云海信息技术有限公司 | 一种磁盘故障检测的方法、系统、装置及存储介质 |
CN109584945A (zh) * | 2017-09-28 | 2019-04-05 | 希耐克斯实验室公司 | 具有机器学习机制的存储系统及其操作方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070294565A1 (en) * | 2006-04-28 | 2007-12-20 | Network Appliance, Inc. | Simplified parity disk generation in a redundant array of inexpensive disks |
CN101576833A (zh) * | 2009-06-26 | 2009-11-11 | 杭州华三通信技术有限公司 | 一种独立磁盘冗余阵列raid数据重建方法和装置 |
CN102508620A (zh) * | 2011-12-01 | 2012-06-20 | 浪潮电子信息产业股份有限公司 | 一种处理raid5坏扇区的方法 |
-
2012
- 2012-11-15 CN CN2012104594404A patent/CN102981930A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070294565A1 (en) * | 2006-04-28 | 2007-12-20 | Network Appliance, Inc. | Simplified parity disk generation in a redundant array of inexpensive disks |
CN101576833A (zh) * | 2009-06-26 | 2009-11-11 | 杭州华三通信技术有限公司 | 一种独立磁盘冗余阵列raid数据重建方法和装置 |
CN102508620A (zh) * | 2011-12-01 | 2012-06-20 | 浪潮电子信息产业股份有限公司 | 一种处理raid5坏扇区的方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103390429A (zh) * | 2013-07-29 | 2013-11-13 | 华为技术有限公司 | 一种硬盘的在线检测方法及服务器 |
CN103390429B (zh) * | 2013-07-29 | 2016-07-27 | 华为技术有限公司 | 一种硬盘的在线检测方法及服务器 |
CN104699564A (zh) * | 2013-12-09 | 2015-06-10 | 中国移动通信集团公司 | 一种采用Raid0磁盘组服务器的自动恢复方法及装置 |
CN103645997A (zh) * | 2013-12-26 | 2014-03-19 | 深圳市迪菲特科技股份有限公司 | 一种数据保护的方法与系统 |
CN103645997B (zh) * | 2013-12-26 | 2016-12-07 | 深圳市迪菲特科技股份有限公司 | 一种数据保护的方法与系统 |
CN103729276A (zh) * | 2014-01-28 | 2014-04-16 | 深圳市迪菲特科技股份有限公司 | 一种扫描磁盘阵列的方法 |
CN104317674A (zh) * | 2014-11-04 | 2015-01-28 | 浪潮(北京)电子信息产业有限公司 | 一种备份磁盘数据的方法及装置 |
WO2016107402A1 (zh) * | 2014-12-31 | 2016-07-07 | 中国银联股份有限公司 | 基于预测模型的磁盘故障预测方法及装置 |
CN109584945A (zh) * | 2017-09-28 | 2019-04-05 | 希耐克斯实验室公司 | 具有机器学习机制的存储系统及其操作方法 |
CN109584945B (zh) * | 2017-09-28 | 2024-01-23 | 希耐克斯实验室公司 | 具有机器学习机制的存储系统及其操作方法 |
CN107818025A (zh) * | 2017-10-31 | 2018-03-20 | 郑州云海信息技术有限公司 | 硬盘冷数据校验方法、装置、设备及计算机可读存储介质 |
CN107861829A (zh) * | 2017-11-06 | 2018-03-30 | 郑州云海信息技术有限公司 | 一种磁盘故障检测的方法、系统、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102981930A (zh) | 一种磁盘阵列多级数据自动修复的方法 | |
US7743284B1 (en) | Method and apparatus for reporting storage device and storage system data | |
CN103309775B (zh) | 一种高可靠磁盘阵列的容错方法 | |
US7653840B1 (en) | Evaluating and repairing errors during servicing of storage devices | |
US9251019B2 (en) | Apparatus, system and method for managing solid-state retirement | |
US7971093B1 (en) | Apparatus and method to proactively address hard disk drive inefficiency and failure | |
CN104951383A (zh) | 用于监测硬盘的健康状况的方法和装置 | |
US8874830B2 (en) | Method for controlling memory array of flash memory, and flash memory using the same | |
CN102272731A (zh) | 用于预测固态存储装置中的故障的设备、系统和方法 | |
CN103186471B (zh) | 存储设备中坏块的管理方法及系统 | |
CN102591591A (zh) | 磁盘检测系统、磁盘检测方法以及网络存储系统 | |
CN101097531A (zh) | 一种计算机raid阵列预警系统及方法 | |
CN102789403B (zh) | 一种闪存控制器及其控制方法 | |
CN109684141A (zh) | 一种磁盘故障诊断方法、装置、终端及可读存储介质 | |
CN104484251A (zh) | 一种硬盘故障的处理方法及装置 | |
CN104360957A (zh) | 一种维持闪存损耗均衡的方法 | |
CN106486170A (zh) | 固态硬盘的潜在坏块定位方法及装置 | |
US11676671B1 (en) | Amplification-based read disturb information determination system | |
CN103729276A (zh) | 一种扫描磁盘阵列的方法 | |
CN103854704A (zh) | 闪存坏块的自动检测方法及自动检测装置 | |
WO2017220013A1 (zh) | 业务处理方法及装置、存储介质 | |
CN106844166A (zh) | 一种数据处理方法及装置 | |
CN112579483B (zh) | 一种叠瓦式磁记录磁盘的数据恢复方法、装置 | |
US20050283651A1 (en) | Disk controller, disk patrol method, and computer product | |
Li et al. | Reliability Characterization and Failure Prediction of 3D TLC SSDs in Large-Scale Storage Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130320 |