CN109919335A - 基于深度学习的磁盘故障预测系统 - Google Patents
基于深度学习的磁盘故障预测系统 Download PDFInfo
- Publication number
- CN109919335A CN109919335A CN201910179477.3A CN201910179477A CN109919335A CN 109919335 A CN109919335 A CN 109919335A CN 201910179477 A CN201910179477 A CN 201910179477A CN 109919335 A CN109919335 A CN 109919335A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- disk
- disk failure
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了基于深度学习的磁盘故障预测系统，涉及磁盘故障预测技术领域，包括数据收集模块和数据预测模块，所述数据收集模块的输出端电性连接有离线训练模块，所述数据预测模块电性连接于数据收集模块的输出端，且数据预测模块的输出端电性连接有在线检测模块。本发明的有益效果是：该基于深度学习的磁盘故障预测系统，通过数据收集模块、离线训练模块、数据预测模块及在线检测模块的共同作用，便于替代传统的阀值算法中的当某一属性超过预定义的值时，触发SMART标记预警，从而达到提前预估磁盘故障的作用，有效避免其对磁盘的故障预测检测率下降的现象。
Description
技术领域
本发明涉及磁盘故障预测技术领域，具体为基于深度学习的磁盘故障预测系统。
背景技术
随着科学技术的发展及社会时代的进步，数据的海量存储问题给数据中心带来了新的挑战，虽然如今SSD的存在给存储带来新的方式，但是由于成本等各种原因，数据中心仍主要由硬盘存储占主要地位，而随着数据量的增大，存储容量和磁盘数量的增加。
现有的磁盘在使用过程中，通过利用阀值算法来监控其的工作状态，但当某一属性超过预定义的值时，将会触发SMART标记预警，从而达到提前预估磁盘故障的作用，然而使得其对磁盘的故障预测检测率下降，则磁盘发生故障不易检测，从而导致数据丢失，影响人力财力。
发明内容
本发明的目的在于提供基于深度学习的磁盘故障预测系统，解决了上述背景技术中提出的磁盘在使用过程中，通过利用阀值算法来监控其的工作状态，但当某一属性超过预定义的值时，将会触发SMART标记预警，从而达到提前预估磁盘故障的作用，然而使得其对磁盘的故障预测检测率下降，则磁盘发生故障不易检测，从而导致数据丢失，影响人力财力的问题。
为实现上述目的，本发明提供如下技术方案：基于深度学习的磁盘故障预测系统，包括数据收集模块和数据预测模块，所述数据收集模块的输出端电性连接有离线训练模块，所述数据预测模块电性连接于数据收集模块的输出端，且数据预测模块的输出端电性连接有在线检测模块。
可选的，所述数据收集模块的终端设备为磁盘。
可选的，所述离线训练模块由卷积神经网络对数据进行训练。
可选的，所述数据预测模块通过循环神经网络训练的数据得出数据预测模型。
可选的，所述在线检测模块与数据预测模块之间为单向电性连接。
可选的，所述在线检测模块通过检测器来对磁盘故障做出判断。
本发明提供了基于深度学习的磁盘故障预测系统，具备以下有益效果：
该基于深度学习的磁盘故障预测系统，通过数据收集模块、离线训练模块、数据预测模块及在线检测模块的共同作用，便于替代传统的阀值算法中的当某一属性超过预定义的值时，触发SMART标记预警，从而达到提前预估磁盘故障的作用，有效避免其对磁盘的故障预测检测率下降的现象，同时，通过数据收集模块的作用，能够根据磁盘SMART技术导出过去一周带有已标记故障、非故障的磁盘数据，且在离线训练模块的作用下，能够将所有标记磁盘数据指标输入到卷积神经网络中进行训练，得到一个故障检测模型，而通过数据预测模块的作用，能够对单个磁盘过去一段时间的各项指标数据输入到循环神经网络中，得到一个数据预测模型输出为规定时间内该磁盘的各项指标的预测值，且在在线检测模块的作用下，能够将数据预测模型的输出作为输入，将预测出的数据输入到卷积神经网络故障检测器，从而判断该磁盘在未来是否发生故障。
附图说明
图1为本发明基于深度学习的磁盘故障预测系统的流程结构示意图；
图2为本发明基于深度学习的磁盘故障预测系统的ROC曲线建模结构示意图。
图中：1、数据收集模块；2、离线训练模块；3、数据预测模块；4、在线检测模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
请参阅图1，本发明提供一种技术方案：基于深度学习的磁盘故障预测系统，包括数据收集模块1、离线训练模块2、数据预测模块3和在线检测模块4，数据收集模块1的输出端电性连接有离线训练模块2，数据预测模块3电性连接于数据收集模块1的输出端，且数据预测模块3的输出端电性连接有在线检测模块4。
实施例1
请参阅图2，事件预测的目标是在将来尽可能准确地预测磁盘故障，给定二元分类器和输入，一般有四种结果：假设输入为正类。如果分类器预测为正，则结果为真阳性。如果分类器预测为负，则结果为假阴性。如果输入为负且结果为负，那么它是真正负数，如果输入为负结果为正，则为误报；
准确度：真阳性数量/假阳性数量；
精确度：真阳性数量/真阳性和假阳性的总数；
召回率：真阳性数量/阳性总数量；
TPR＝正确预测故障的磁盘数量/实际故障的磁盘总数；
FPR＝错误预测故障的磁盘数量/未故障的磁盘总数；
通常，FPR与TPR曲线称为“接收器操作特性”(ROC)曲线，对于任何预测均匀分布在正样本和负样本中的随机预测算法，真阳性率等于假阳性率。因此，ROC中的对角线表示真正无偏的随机算法的性能，如果ROC高于对角线，则算法不是真正随机的并且具有一些预测能力。对于所有FPR，理想算法将具有TPR＝1，0<＝FPR<＝1，对于任何现实技术，TPR随着FPR的增加而增加，最初TPR随着FPR的增加而急剧增加，然后随着FPR的增加，TPR的增长速度减慢；
预测算法的性能通常以“ROC曲线下面积”(AUC)为特征，对于任何真正无偏的随机算法，AUC＝0.5，另一方面，对于理想算法，AUC＝1，我们根据经验将ROC曲线建模。
实施例2
导出数据有：磁盘是否故障标签(正负1，+1表示磁盘正常，-1表示磁盘故障)、原始读取错误率，旋转时间，重新分配的扇区数，错误率，开机时间，报告的不可纠正的错误，温度，回复的硬件，当前待定扇区数，重新分配的扇区数等
表1
第1列：表示其序列号的磁盘索引；
第2列：磁盘的类标签，对于故障的磁盘为-1，对于良好的磁盘为+1；
第3列：SMART ID#1的值，原始读取错误率；
第4列：SMART ID#3的值，旋转时间；
第5列：SMART ID#5的值，重新分配的扇区数；
第6列：SMART ID#7的值，寻求错误率；
第7列：SMART ID#9的值，开机时间；
第8列：SMART ID#187的值，报告的不可纠正的错误；
第9列：SMART ID#189，High Fly Writes的值；
第10列：SMART ID#194的值，温度摄氏度；
第11列：SMART ID#195的值，恢复的硬件ECC；
第12列：SMART ID#197的值，当前待定扇区计数；
第13列：SMART ID#5的RAW_VALUE，重新分配的扇区数；
第14列：SMART ID#197的RAW_VALUE，当前待定扇区计数。
综上所述，该基于深度学习的磁盘故障预测系统，使用时，首先通过根据磁盘SMART技术导出过去一周带有已标记故障、非故障的磁盘数据，再将所有标记磁盘数据指标输入到卷积神经网络中进行训练，得到一个故障检测模型，随后，将单个磁盘过去一段时间的各项指标数据输入到循环神经网络中，得到一个数据预测模型输出为规定时间内该磁盘的各项指标的预测值，最后，通过将数据预测模型的输出作为输入，将预测出的数据输入到卷积神经网络故障检测器，从而判断该磁盘在未来是否发生故障。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.基于深度学习的磁盘故障预测系统，包括数据收集模块(1)和数据预测模块(3)，其特征在于：所述数据收集模块(1)的输出端电性连接有离线训练模块(2)，所述数据预测模块(3)电性连接于数据收集模块(1)的输出端，且数据预测模块(3)的输出端电性连接有在线检测模块(4)。
2.根据权利要求1所述的基于深度学习的磁盘故障预测系统，其特征在于：所述数据收集模块(1)的终端设备为磁盘。
3.根据权利要求1所述的基于深度学习的磁盘故障预测系统，其特征在于：所述离线训练模块(2)由卷积神经网络对数据进行训练。
4.根据权利要求1所述的基于深度学习的磁盘故障预测系统，其特征在于：所述数据预测模块(3)通过循环神经网络训练的数据得出数据预测模型。
5.根据权利要求1所述的基于深度学习的磁盘故障预测系统，其特征在于：所述在线检测模块(4)与数据预测模块(3)之间为单向电性连接。
6.根据权利要求1所述的基于深度学习的磁盘故障预测系统，其特征在于：所述在线检测模块(4)通过检测器来对磁盘故障做出判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910179477.3A CN109919335A (zh) | 2019-03-11 | 2019-03-11 | 基于深度学习的磁盘故障预测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910179477.3A CN109919335A (zh) | 2019-03-11 | 2019-03-11 | 基于深度学习的磁盘故障预测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109919335A true CN109919335A (zh) | 2019-06-21 |
Family
ID=66964141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910179477.3A Pending CN109919335A (zh) | 2019-03-11 | 2019-03-11 | 基于深度学习的磁盘故障预测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919335A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110471820A (zh) * | 2019-08-05 | 2019-11-19 | 南开大学 | 一种基于循环神经网络的云存储系统磁盘故障预测方法 |
| CN111581072A (zh) * | 2020-05-12 | 2020-08-25 | 国网安徽省电力有限公司信息通信分公司 | 一种基于smart和性能日志的磁盘故障预测方法 |
| CN111767162B (zh) * | 2020-05-20 | 2021-02-26 | 北京大学 | 一种面向不同型号硬盘的故障预测方法及电子装置 |
| WO2022001125A1 (zh) * | 2020-06-30 | 2022-01-06 | 苏州浪潮智能科技有限公司 | 一种存储系统的存储故障预测方法、系统及装置 |
-
2019
- 2019-03-11 CN CN201910179477.3A patent/CN109919335A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110471820A (zh) * | 2019-08-05 | 2019-11-19 | 南开大学 | 一种基于循环神经网络的云存储系统磁盘故障预测方法 |
| CN110471820B (zh) * | 2019-08-05 | 2023-01-17 | 南开大学 | 一种基于循环神经网络的云存储系统磁盘故障预测方法 |
| CN111581072A (zh) * | 2020-05-12 | 2020-08-25 | 国网安徽省电力有限公司信息通信分公司 | 一种基于smart和性能日志的磁盘故障预测方法 |
| CN111581072B (zh) * | 2020-05-12 | 2023-08-15 | 国网安徽省电力有限公司信息通信分公司 | 一种基于smart和性能日志的磁盘故障预测方法 |
| CN111767162B (zh) * | 2020-05-20 | 2021-02-26 | 北京大学 | 一种面向不同型号硬盘的故障预测方法及电子装置 |
| WO2022001125A1 (zh) * | 2020-06-30 | 2022-01-06 | 苏州浪潮智能科技有限公司 | 一种存储系统的存储故障预测方法、系统及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919335A (zh) | 基于深度学习的磁盘故障预测系统 | |
| CN108986869B (zh) | 一种使用多模型预测的磁盘故障检测方法 | |
| CN115857447B (zh) | 基于数字孪生的复杂工业系统运行监测方法及系统 | |
| CN108647136A (zh) | 基于smart信息和深度学习的硬盘损坏预测方法及装置 | |
| CN112101554B (zh) | 异常检测方法及装置、设备、计算机可读存储介质 | |
| CN104299115B (zh) | 基于模糊c均值聚类算法的智能变电站二次系统状态分析方法 | |
| CN113343633A (zh) | 动力锂电池热失控故障分类及风险预测方法、系统 | |
| CN108491861A (zh) | 基于多源多参量融合的输变电设备状态异常模式识别方法及装置 | |
| CN108415810A (zh) | 一种硬盘状态监控方法和装置 | |
| CN108763048A (zh) | 一种基于粒子滤波的硬盘故障预警与可靠性评估方法 | |
| CN104933408A (zh) | 手势识别的方法及系统 | |
| CN112951311A (zh) | 一种基于变权重随机森林的硬盘故障预测方法及系统 | |
| CN106546278A (zh) | 验证核安全级仪控平台安全失效率的统计测试装置及方法 | |
| CN113532549A (zh) | 一种新能源汽车用动力电池测试系统 | |
| CN113721182B (zh) | 一种电力互感器性能在线监测结果可靠度评估方法及系统 | |
| CN103529337A (zh) | 设备故障与电气量信息间非线性相关关系的识别方法 | |
| CN104573361B (zh) | 一种gis设备评估的方法和装置 | |
| CN107807862A (zh) | 检测硬盘故障点的方法、装置及服务器 | |
| CN113095739A (zh) | 一种电网数据异常检测方法及装置 | |
| CN110135196B (zh) | 一种基于输入数据压缩表示关联分析的数据融合防篡改方法 | |
| CN115543702A (zh) | 一种多源固态硬盘协同故障诊断方法、系统、设备及介质 | |
| CN114493070A (zh) | 换电站充电电缆的热失控预警方法及系统 | |
| CN115981911A (zh) | 内存故障的预测方法、电子设备和计算机可读存储介质 | |
| CN111078440B (zh) | 一种磁盘错误检测方法、装置及存储介质 | |
| CN113487141A (zh) | 一种多源信息聚类融合的轴承状态评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190621 |