CN112596964A - 磁盘故障的预测方法及装置 - Google Patents
磁盘故障的预测方法及装置 Download PDFInfo
- Publication number
- CN112596964A CN112596964A CN202011477654.5A CN202011477654A CN112596964A CN 112596964 A CN112596964 A CN 112596964A CN 202011477654 A CN202011477654 A CN 202011477654A CN 112596964 A CN112596964 A CN 112596964A
- Authority
- CN
- China
- Prior art keywords
- disk
- prediction
- data
- characteristic
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 239000013598 vector Substances 0.000 claims abstract description 101
- 238000012545 processing Methods 0.000 claims abstract description 45
- 230000000875 corresponding effect Effects 0.000 claims description 106
- 238000012360 testing method Methods 0.000 claims description 88
- 230000008569 process Effects 0.000 claims description 29
- 230000002596 correlated effect Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2205—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
- G06F11/2221—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested to test input/output devices or peripheral units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2273—Test methods
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种磁盘故障的预测方法及装置,该方法包括:当接收到用户发送的预测指令时,确定与预测指令对应的目标磁盘;获取目标磁盘的每种磁盘特征的特征信息,并对每种磁盘特征的特征信息进行处理,得到每个特征信息的特征向量;将各个特征向量输入预先训练完成的预测模型中,触发预测模型对各项特征向量进行运算,并输出运算结果;基于运算结果,判断对目标磁盘的预测是否为故障,在判断对目标磁盘的预测为故障时,触发预设的报警系统进行报警,应用本发明,基于磁盘的多种磁盘特征的特征信息对磁盘进行预测,从而可以全面的、多维的对磁盘进行评估,覆盖磁盘的多种不同的应用场景,使得对磁盘的预测更加的准确,有效减低了预测的误报率。
Description
技术领域
本发明涉及计算机磁盘技术领域,特别涉及一种磁盘故障的预测方法及装置。
背景技术
随着互联网和物联网的快速发展,信息数据量正在以数量级的速度增长,大数据应用也越来越流行,由于大数据应用本身需要频繁的对磁盘进行读写操作,导致磁盘的故障率较高,频繁的磁盘故障威胁着存储系统的稳定性,因此,磁盘的故障预测以及识别对于大数据应用以及存储系统的稳定运行具有重要的指导意义。
目前,现有的磁盘故障预测技术的主流方法是根据磁盘的SMART(Self-Monitoring Analysis and Reporting Technology,即自我监测、分析及报告技术)数据,对磁盘的特征进行选择,然后建立预测模型,再根据磁盘的实施运行数据给出预测结果。发明人经过研究发现,现有的磁盘故障预测方法所使用的磁盘数据较为单一,并且未考虑到不同应用场景所对应的磁盘的性能差异较大的问题,由此导致使用现有的磁盘故障预测方法对磁盘进行预测时出现的误报率较高。
发明内容
有鉴于此,本发明提供一种磁盘故障的预测方法及装置,应用本发明,基于多种磁盘特征的特征信息对磁盘进行预测,可以全面、多角度的对磁盘进行评估,由此可以得到更加精确的预测结果,降低对磁盘进行预测的误报率。
为实现上述目的,本发明提供如下技术方案:
一种磁盘故障的预测方法,包括:
当接收到用户发送的预测指令时,确定与所述预测指令对应的目标磁盘;
获取所述目标磁盘的每种磁盘特征的特征信息,并对每种磁盘特征的特征信息进行处理,得到每个所述特征信息的特征向量;
将各个所述特征向量输入预先训练完成的预测模型中,触发所述预测模型对各项所述特征向量进行运算,并输出运算结果;
基于所述运算结果,判断对所述目标磁盘的预测是否为故障,在判定对所述目标磁盘的预测为故障时,触发预设的警报系统进行报警。
上述的方法,可选的,所述对每种磁盘特征的特征信息进行处理,得到每个所述特征信息的特征向量,包括:
对于每种磁盘特征的特征信息,对该特征信息进行解析,得到与该种磁盘特征对应的各个特征指标的数据;
基于每个所述特征指标的数据,确定是否每个所述特征指标均存在对应的数值,并为不存在对应数值的特征指标设置数值;
对每个所述特征指标对应的数值进行处理,得到每个所述特征指标对应的参考数值;
基于各个所述参考数值,生成该特征信息的特征向量。
上述的方法,可选的,所述基于所述运算结果,判断对所述目标磁盘的预测是否为故障,包括:
获取所述运算结果中的预测标识,并将所述预测标识与预先设置的故障标识进行比对;
当所述预测标识与所述故障标识比对一致时,判定对所述目标磁盘的预测为故障。
上述的方法,可选的,所述预测模型的训练过程,包括:
确定第一故障样本集以及第一非故障样本集;其中,所述第一故障样本集中包含多个第一故障磁盘;所述第一非故障样本集中包含多个第一非故障磁盘;
基于预设的各个强关联指标,对于每个所述第一故障磁盘,获取在与该第一故障磁盘对应的第一时间步长内的第一强关联指标数据,并将每个所述第一强关联指标数据作为正样本数据;其中,所述第一时间步长为第一故障磁盘发生故障前的时间步长,所述第一强关联指标数据中包含第一故障磁盘的每个所述强关联指标的数据;
基于各个所述强关联指标,获取每个所述第一非故障磁盘在预设的第二时间步长内的第二强关联指标数据,并将每个所述第二强关联指标数据作为负样本数据;其中,所述第二强关联指标数据中包含第一非故障磁盘的每个所述强关联指标的数据;
对各个所述正样本数据和各个所述负样本数据分别进行处理,得到每个所述正样本数据的正样本向量以及得到每个所述负样本数据的负样本向量;并将每个所述正样本向量以及每个所述负样本向量均作为输入向量;
将各个所述输入向量输入初始模型中,调用所述初始模型中的核函数对每个所述输入向量进行运算,并根据运算得到的结果调整所述核函数的运算参数,直至所述初始模型输出的误报率满足预设的第一阈值时,将所述初始模型确定为待测试模型;
确定测试样本,所述测试样本中包含多个测试磁盘的测试数据;
将每个所述测试磁盘的测试数据输入所述待测试模型中,触发所述待测试模型对每个测试磁盘的测试数据进行处理,输出对每个测试磁盘的预测结果;
基于每个所述测试磁盘的预测结果和每个所述测试磁盘的硬盘性能字段,确定所述待测试模型的预测准确率;
判断所述待测试模型的预测准确率是否不小于预设的第二阈值;
当判定所述待测试模型的预测准确率不小于所述第二阈值时,将所述待测试模型确定为训练完成的预测模型。
上述的方法,可选的,设置各个所述强关联指标的过程,包括:
确定第二故障样本集和第二非故障样本集;其中,所述第二故障样本集中包含多个第二故障磁盘;所述第二非故障样本集中包含多个第二非故障磁盘;
获取磁盘信息,并基于所述磁盘信息确定各种磁盘属性;
对于每种所述磁盘属性,基于各个第二故障磁盘,获取该种磁盘属性的正向样本集合;以及基于各个所述第二非故障磁盘,获取该种磁盘属性的负向样本集合;其中,所述正向样本集合中包含每个所述第二故障磁盘与该种磁盘属性对应的第一属性参数;所述负向样本集合中包含每个所述第二非故障磁盘与该种磁盘属性对应的第二属性参数;
对每种所述磁盘属性的正向样本集合中的各个第一属性参数和负向样本集合中的各个第二属性参数进行处理,得到每种所述磁盘属性的正向样本集合和负向样本集合的频率差;
将每种所述磁盘属性的频率差与预设的第三阈值进行比对,并将大于所述第三阈值的频率差的磁盘属性确定为强关联指标。
一种磁盘故障的预测装置,包括:
第一确定单元,用于当接收到用户发送的预测指令时,确定与所述预测指令对应的目标磁盘;
第一获取单元,用于获取所述目标磁盘的每种磁盘特征的特征信息,并对每种磁盘特征的特征信息进行处理,得到每个所述特征信息的特征向量;
第一触发单元,用于将各个所述特征向量输入预先训练完成的预测模型中,触发所述预测模型对各项所述特征向量进行运算,并输出运算结果;
第一判断单元,用于基于所述运算结果,判断对所述目标磁盘的预测是否为故障,在判定对所述目标磁盘的预测为故障时,触发预设的警报系统进行报警。
上述的装置,可选的,所述第一获取单元,包括:
解析子单元,用于对于每种磁盘特征的特征信息,对该特征信息进行解析,得到与该种磁盘特征对应的各个特征指标的数据;
确定子单元,用于基于每个所述特征指标的数据,确定是否每个所述特征指标均存在对应的数值,并为不存在对应数值的特征指标设置数值;
处理子单元,用于对每个所述特征指标对应的数值进行处理,得到每个所述特征指标对应的参考数值;
生成子单元,用于基于各个所述参考数值,生成该特征信息的特征向量。
上述的装置,可选的,所述第一判断单元,包括:
获取子单元,用于获取所述运算结果中的预测标识,并将所述预测标识与预先设置的故障标识进行比对;
判定子单元,用于当所述预测标识与所述故障标识比对一致时,判定对所述目标磁盘的预测为故障。
上述的装置,可选的,还包括:
第二确定单元,用于确定第一故障样本集以及第一非故障样本集;其中,所述第一故障样本集中包含多个第一故障磁盘;所述第一非故障样本集中包含多个第一非故障磁盘;
第二获取单元,用于基于预设的各个强关联指标,对于每个所述第一故障磁盘,获取在与该第一故障磁盘对应的第一时间步长内的第一强关联指标数据,并将每个所述第一强关联指标数据作为正样本数据;其中,所述第一时间步长为第一故障磁盘发生故障前的时间步长,所述第一强关联指标数据中包含第一故障磁盘的每个所述强关联指标的数据;
第三获取单元,用于基于各个所述强关联指标,获取每个所述第一非故障磁盘在预设的第二时间步长内的第二强关联指标数据,并将每个所述第二强关联指标数据作为负样本数据;其中,所述第二强关联指标数据中包含第一非故障磁盘的每个所述强关联指标的数据;
第一处理单元,用于对各个所述正样本数据和各个所述负样本数据分别进行处理,得到每个所述正样本数据的正样本向量以及得到每个所述负样本数据的负样本向量;并将每个所述正样本向量以及每个所述负样本向量均作为输入向量;
运算单元,用于将各个所述输入向量输入初始模型中,调用所述初始模型中的核函数对每个所述输入向量进行运算,并根据运算得到的结果调整所述核函数的运算参数,直至所述初始模型输出的误报率满足预设的第一阈值时,将所述初始模型确定为待测试模型;
第三确定单元,用于确定测试样本,所述测试样本中包含多个测试磁盘的测试数据;
第二触发单元,用于将每个所述测试磁盘的测试数据输入所述待测试模型中,触发所述待测试模型对每个测试磁盘的测试数据进行处理,输出对每个测试磁盘的预测结果;
第四确定单元,用于基于每个所述测试磁盘的预测结果和每个所述测试磁盘的硬盘性能字段,确定所述待测试模型的预测准确率;
第二判断单元,用于判断所述待测试模型的预测准确率是否不小于预设的第二阈值;
第五确定单元,用于当判定所述待测试模型的预测准确率不小于所述第二阈值时,将所述待测试模型确定为训练完成的预测模型。
上述的装置,可选的,还包括:
第六确定单元,用于确定第二故障样本集和第二非故障样本集;其中,所述第二故障样本集中包含多个第二故障磁盘;所述第二非故障样本集中包含多个第二非故障磁盘;
第三获取单元,用于获取磁盘信息,并基于所述磁盘信息确定各种磁盘属性;
第四获取单元,用于对于每种所述磁盘属性,基于各个第二故障磁盘,获取该种磁盘属性的正向样本集合;以及基于各个所述第二非故障磁盘,获取该种磁盘属性的负向样本集合;其中,所述正向样本集合中包含每个所述第二故障磁盘与该种磁盘属性对应的第一属性参数;所述负向样本集合中包含每个所述第二非故障磁盘与该种磁盘属性对应的第二属性参数;
第二处理单元,用于对每种所述磁盘属性的正向样本集合中的各个第一属性参数和负向样本集合中的各个第二属性参数进行处理,得到每种所述磁盘属性的正向样本集合和负向样本集合的频率差;
比对单元,用于将每种所述磁盘属性的频率差与预设的第三阈值进行比对,并将大于所述第三阈值的频率差的磁盘属性确定为强关联指标。
与现有技术相比,本发明具有以下优点:
本发明提供一种磁盘故障的预测方法及装置,该方法包括:当接收到用户发送的预测指令时,确定与所述预测指令对应的目标磁盘;获取所述目标磁盘的每种磁盘特征的特征信息,并对每种磁盘特征的特征信息进行处理,得到每个所述特征信息的特征向量;将各个所述特征向量输入预先训练完成的预测模型中,触发所述预测模型对各项所述特征向量进行运算,并输出运算结果;基于所述运算结果,判断对所述目标磁盘的预测是否为故障,在判断对所述目标磁盘的预测为故障时,触发预设的报警系统进行报警,应用本发明,基于磁盘的多种磁盘特征的特征信息对磁盘进行预测,从而可以全面的、多维的对磁盘进行评估,覆盖磁盘的多种不同的应用场景,使得对磁盘的预测更加的准确,有效减低了预测的误报率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种磁盘故障的预测方法的方法流程图;
图2为本发明实施例提供的一种磁盘故障的预测方法的另一方法流程图;
图3为本发明实施例提供的一种磁盘故障的预测方法的又一方法流程图;
图4为本发明实施例提供的一种磁盘故障的预测方法的再一方法流程图;
图5为本发明实施例提供的在Greenplum应用场景下磁盘属性的频率分布直方图的示例图;
图6为本发明实施例提供的在Greenplum应用场景下磁盘属性的频率分布直方图的又一示例图;
图7为本发明实施例提供的在Greenplum应用场景下磁盘属性的频率分布直方图的再一示例图;
图8为本发明实施例提供的在Hadoop应用场景下磁盘属性的频率分布直方图的示例图;
图9为本发明实施例提供的在Hadoop应用场景下磁盘属性的频率分布直方图的又一示例图;
图10为本发明实施例提供的在Hadoop应用场景下磁盘属性的频率分布直方图的再一示例图;
图11为本发明实施例提供的一种磁盘故障的预测装置的结构示意图;
图12为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明提供的方法可以应用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本发明提供一种磁盘故障的预测方法,该方法的可以应用在多种服务器管理平台上,其执行主体可以为计算机终端或各种移动设备的处理器,所述方法的方法流程图如图1所示,具体包括:
S101、当接收到用户发送的预测指令时,确定与所述预测指令对应的目标磁盘。
本发明实施例提供的方法中,响应于用户发送的预测指令,确定与测试指令对应的目标磁盘;所述预测指令中包含磁盘设备的身份标识信息,将与身份标识信息对应的磁盘确定为目标磁盘,具体的,身份标识信息可为磁盘设备的设备标识码,该设备标识码具有唯一性。
进一步的,本发明可同时确定多个目标磁盘,同时对多个目标磁盘进行预测,由此可以提高对磁盘的预测效率。
S102、获取所述目标磁盘的每种磁盘特征的特征信息,并对每种磁盘特征的特征信息进行处理,得到每个所述特征信息的特征向量。
本发明实施例提供的方法中,磁盘特征分别为SMART、服务器阵列(RedundantArrays ofIndependent Disks,RAID)卡以及NMON性能等特征;其中NMON是一种操作系统性能监控和分析工具;获取目标磁盘的SMART的特征信息、NMON性能的特征信息以及RAID卡的特征信息,每种磁盘特征的特征信息中包含该种磁盘特征的各个特征指标的数据。其中,各种磁盘特征为磁盘在应用在不同的应用场景的特征以及磁盘应用在不同的产品上的特征等等。
进一步的,使用SMART工具采集目标磁盘的SMART的特征信息,使用RAID卡工具收集RAID卡的特征信息。
对SMART的特征信息、NMON的特征信息以及RAID卡的特征信息分别进行处理,分别得到与SMART的特征信息对应的特征向量、与NMON的特征信息对应的特征向量以及与RAID卡的特征信息对应特征向量。
S103、将各个所述特征向量输入预先训练完成的预测模型中,触发所述预测模型对各项所述特征向量进行运算,并输出运算结果。
本发明实施例提供的方法中,预测模型为预先训练完成的模型,预测模型根据磁盘的各种磁盘特征进行训练,由此可以提高对磁盘预测的准确性,预测模型用于对磁盘进行预测;所述预测模型的其中一种类型为支持向量机。
将各个特征向量作为预测模型的输入参数输入到预测模型中,以使预测模型基于训练完成的预测函数对各个特征向量进行运算,得到与目标磁盘对应的运算结果。
S104、基于所述运算结果,判断对所述目标磁盘的预测是否为故障,在判定对所述目标磁盘的预测为故障时,触发预设的警报系统进行报警。
本发明实施例提供的方法中,根据运算结果判断对目标磁盘的预测是否为故障的过程如下所述:
对运算结果进行解析,获取所述运算结果中的预测标识,并将所述预测标识与预先设置的故障标识进行比对;
当所述预测标识与所述故障标识比对一致时,判定对所述目标磁盘的预测为故障;
当所述预测标识与所述故障标识比对一致时,判定对所述目标磁盘的预测为不故障。
优选的,在判定对目标磁盘的预测为故障时,触发预设的报警系统进行报警,并将目标磁盘的预先设置的预测字段的值更新为1,其中,预测字段还可为FAILER字段;还可将对目标磁盘的预测结果记录到预测记录表中,以便后期进行溯源;通过报警系统进行报警从而提醒工作人员该目标磁盘即将故障,以便工作人员及时保存该目标磁盘中的资料数据,从而避免出现目标磁盘突然出现故障导致数据丢失的情况。在判定对目标磁盘的预测为不故障时,不触发预设的报警系统进行报警,并将目标磁盘的预测字段的值更新为0,其中,预测字段还可为FAILER字段;还可将对目标磁盘的预测结果记录到预测记录表中。
本发明实施例提供的方法中,在接收到用户发送的预测指令时,确定与预测指令对应的目标磁盘;获取目标磁盘的特征信息,并对每个磁盘特征的特征信息进行处理,得到每个特征信息的特征向量;将各个特征向量输入预先训练完成的预测模型中,触发预测模型对各项特征向量进行运算,并输出运算结果;基于运算结果,判断对目标磁盘的预测是否为故障,在判定对目标磁盘的预测为故障时,触发预设的报警系统进行报警。应用本发明,根据磁盘的多种磁盘特征的特征信息,使用预测模型对磁盘进行预测,应用磁盘的多种磁盘特征对磁盘进行预测,可以提高对磁盘预测的精确度和准确度。
参照图2,为本发明在对目标磁盘进行预测时,对每种磁盘特征的特征数据进行处理,得到每个特征信息的特征向量的过程,具体说明如下所述:
S201、对于每种磁盘特征的特征信息,对该特征信息进行解析,得到与该种磁盘特征对应的各个特征指标的数据。
本发明实施例提供的方法中,每种磁盘特征均存在与其对应的各个特征指标,特征信息中包含磁盘特征的各个特征指标的数据。
在本发明中,磁盘特征分别为:SMART、RAID卡以及NMON性能;对SMART、RAID卡以及NMON性能各自对应的各个特征指标进行说明。
表1为磁盘特征SMART所对应的各项特征指标;表1的内容具体如下所示:
表1表2为磁盘特征RAID卡所对应的各项特征指标,具体内容如下所示:
表2表3为磁盘特征NMON性能所对应的各项特征指标,具体内容如下所述:
特征指标 | 特征指标的中文含义 |
DISKBSIZE | 磁盘读写块大小 |
DISKBUSY | 磁盘IO繁忙百分比 |
DISKREAD | 磁盘读速度 |
DISKWRITE | 磁盘写速度 |
DISKKXFER | IOPS |
MEM | 内存使用率 |
CPU_ALL | CPU使用率 |
表3
需要说明的是,在对,每种磁盘特征的特征信息进行解析后,可得到每种磁盘特征对应的各个特征指标的数据。
S202、基于每个所述特征指标的数据,确定是否每个所述特征指标均存在对应的数值,并为不存在对应数值的特征指标设置数值。
本发明实施例提供的方法中,基于每个特征指标的数据,确定是否每个特征指标均存在对应的数值,若每个特征指标均存在对应的数值,则直接执行S203;若存在特征指标不存在对应数值,则为不存在对应数值的特征指标设置数值,其中,设置的数值为零。当特征指标不存在对应数值时,该特征指标为空值,则为该特征指标进行置零处理,由此可使得每个特征指标均存在对应的数值。
S203、对每个所述特征指标对应的数值进行处理,得到每个所述特征指标对应的参考数值。
本发明实施例提供的方法中,对每个特征指标对应的数值处理成0-1之间的实数,由此得到每个特征指标对应的参考数值。
S204、基于各个所述参考数值,生成该特征信息的特征向量。
本发明实施例提供的方法中,对该特征信息的各个参考数值进行加权处理,得到与该特征信息的特征向量;需要说明的是,得到的特征向量为该特征信息对应的磁盘特征的特征向量。
本发明实施例提供的方法中,对每种磁盘特征的特征信息进行处理,得到每种磁盘特征的特征向量;通过对每种磁盘特征的特征信息进行处理,实现了对数据进行整理归类,得到梳理后的特征向量,将特征向量作为预测模型的输入值,可以有效减少预测模型的计算量和计算的复杂度,由此提高了预测的效率,并且减少了因数据杂乱引起计算结果不准确概率,有效提高了运算的准确性。
参照图3,为本发明中对预测模型进行训练的方法流程图,具体说明如下所述:
S301、确定第一故障样本集以及第一非故障样本集。
本发明实施例提供的方法中,所述第一故障样本集中包含多个第一故障磁盘;所述第一非故障样本集中包含多个第一非故障磁盘;优选的,第一故障样本集中的第一故障磁盘的个数等于第一非故障样本集中的第一非故障磁盘的个数。
S302、基于预设的各个强关联指标,对于每个所述第一故障磁盘,获取在与该第一故障磁盘对应的第一时间步长内的第一强关联指标数据,并将每个所述第一强关联指标数据作为正样本数据。
需要说明的是,所述第一时间步长为第一故障磁盘发生故障前的时间步长,所述第一强关联指标数据中包含第一故障磁盘的每个所述强关联指标的数据。因为各个第一故障磁盘出现故障的时间不相同,所以不同的第一故障磁盘对应的第一时间步长的具体时间不相同;具体如:对于第一故障磁盘A1和A2,A1出现故障的时间为2020年11月12号,而A2出现故障的时间为2020年11月11号;假设第一时间步长T1设置为10天,A1对应的T1可为2020年11月12号前的任意连续10天,优选的,A1对应的T1具体为2020年11月2号至11号;A2对应的T1可为2020年11月11号前的任意连续10,优选的,A2对应的T1为2020年11月1号至10号。本发明实施例提供的方法中,优选的,第一时间步长为最接近第一故障磁盘出现故障时间的连续时间段。
本发明中,获取第一故障磁盘在与其对应的第一时间步长内的第一强关联指标数据的具体过程可为:
在所述第一时间步长内,按照预设的获取频率,获取该第一故障磁盘对于每个强关联指标的数据,并将所获取到的所有数据作为该第一故障磁盘的第一强关联指标数据。其中,所述获取频率可根据实际需求进行设置,例如一天获取5次。
S303、基于各个所述强关联指标,获取每个所述第一非故障磁盘在预设的第二时间步长内的第二强关联指标数据,并将每个所述第二强关联指标数据作为负样本数据。
需要说明的是,所述第二强关联指标数据中包含第一非故障磁盘的每个所述强关联指标的数据。
本发明中,此处的第二时间步长可设置为10天,具体的时间可为2020年11月1号至10号。
获取每个所述第一非故障磁盘在预设的第二时间步长内的第二强关联指标数据的过程,可为:对于每个所述第一非故障磁盘,在所述第二时间步长内,按照预设的获取频率,获取该第一非故障磁盘的每个强关联指标的数据,并将所获得的所有数据作为该第一非故障磁盘的第二强关联指标数据。
S304、对各个所述正样本数据和各个所述负样本数据分别进行处理,得到每个所述正样本数据的正样本向量以及得到每个所述负样本数据的负样本向量;并将每个所述正样本向量以及每个所述负样本向量均作为输入向量。
本发明实施例提供的方法中,对于每个正样本数据,对该正样本数据中的每个强关联指标的数据进行处理,得到与每个强关联指标的数据对应的数值,该数值的范围为0~1;基于得到的各个数值,得到与该正样本数据对应的正样本向量。
进一步的,对该正样本数据中的每个强关联指标的数据进行处理的过程可为:基于各个强关联指标的数据,确定是否每个强关联指标均存在对应的数值,若每个强关联指标的数据均存在对应的数值,则将每个数值处理成范围为0~1之间的实数;若存在未存在对应数值的强关联指标,则为该强关联指标设置预设的数值,再将与每个强关联指标对应的数值处理成范围为0~1之间的实数;预设的数值为0。
本发明中,对负样本数据的处理过程可参照对正样本数据的处理过程,此处不再进行赘述。
S305、将各个所述输入向量输入初始模型中,调用所述初始模型中的核函数对每个所述输入向量进行运算,并根据运算得到的结果调整所述核函数的运算参数,直至所述初始模型输出的误报率满足预设的第一阈值时,将所述初始模型确定为待测试模型。
本发明实施例提供的方法中,将各个输入向量均输入初始模型中,所述初始模型为初始的支持向量机模型。所述初始模型中设置有核函数,初始模型中选择核函数为径向基核函数,核函数中的运算参数有惩罚系数、内核系数gamma参数等;其中,惩罚系统可设置为5,内核系数gamma参数为1;初始模型的类型为C_SVC。
在初始模型中,使用交叉验证方法,将各个输入向量映射到高维特征空间,并在高维特征空间中确定分类超平面,获取与所述分类超平面对应的判别函数,基于判别函数和初始模型中预设的核函数对各个输入向量进行运算,得到每个输入向量对应的运算结果,基于各个运算结果确定初始模型的误报率,在误报率不小于预设的第一阈值时,调整核函数的运算参数,并重新对各个输入向量进行运算,如此反复,直到初始模型输出的误报率小于第一阈值时,将初始模型确定为待测试模型。
S306、确定测试样本,所述测试样本中包含多个测试磁盘的测试数据。
本发明实施例提供的方法中,测试数据中包含测试磁盘的各种磁盘特征的测试数值;每个测试数值为对与其对应的磁盘特征的测试信息进行处理后得到的;测试信息中包含与其对应的磁盘特征的各个特征指标的数据,对于每个测试信息,对该测试信息中每个特征指标的数据进行处理,得到每个特征指标的指标数值;将该测试信息的各个指标数值组成该测试信息的测试数值。
S307、将每个所述测试磁盘的测试数据输入所述待测试模型中,触发所述待测试模型对每个测试磁盘的测试数据进行处理,输出对每个测试磁盘的预测结果。
S308、基于每个所述测试磁盘的预测结果和每个所述测试磁盘的硬盘性能字段,确定所述待测试模型的预测准确率。
本发明实施例提供的方法中,对于每个测试磁盘,基于该测试磁盘的预测结果和硬盘性能字段,确定所述待测试模型对该测试磁盘的预测是否正确,由此可以得知待测试模型预测正确的测试磁盘的个数,由此可以计算出待测试模型的预测准确率;
进一步进行说明,预测结果中的数据若与硬盘性能字段中的数据一致,则确定待测试模型预测正确,否则,不正确;其中,所述硬盘性能字段为表征测试硬盘是否为故障的字段,若硬盘性能字段中的数值为0,则表示测试硬盘为非故障测试硬盘,若硬盘性能字段中的数值为1,则表示测试硬盘为故障硬盘;
计算预测准确率的过程为:预测准确率=(预测正确的测试磁盘的个数/测试磁盘的总数)。
S309、判断所述待测试模型的预测准确率是否不小于预设的第二阈值;当判定所述待测试模型的预测准确率不小于所述第二阈值时,执行S310;当判定所述待测试模型的预测准确定小于第二阈值时,执行S311。
S310、将所述待测试模型确定为训练完成的预测模型。
确定所述待测试模型训练成功,并将该待测试模型确定为训练完成的预测模型,由此可以将预测模型投入使用。
S311、确定所述待测试模型训练失败。
本发明实施例提供的方法中,通过获取第一故障磁盘的第一强关联指标数据和第一非故障磁盘的第二强关联指标数据对初始模型进行训练,其中第一强关联指标数据中包含第一故障磁盘的各个强关联指标的数据,第二强关联指标数据中包含第一非故障磁盘的各个强关联指标的数据,在对初始模型训练完成后,得到待测试模型,通过对待测试模型进行测试,并将满足测试的待测试模型作为可使用的预测模型;各个强关联指标涉及磁盘的多种磁盘特征,由此,该预测模型在对磁盘进行预测时,可从多个角度和多个维度进行预测,从而得到的预测结果更加准确。
本发明实施例提供的方法中,为了得到预测效果更好的预测模型,需要确定从磁盘特征的各个磁盘属性中确定强关联指标,其中磁盘属性可以理解为特征指标。
参照图4,为本发明提供的确定强关联指标的流程图,具体说明如下所述:
S401、确定第二故障样本集和第二非故障样本集。
本发明实施例提供的方法中,所述第二故障样本集中包含多个第二故障磁盘;所述第二非故障样本集中包含多个第二非故障磁盘;优选的,第二故障磁盘的个数等于第二非故障磁盘的个数。
S402、获取磁盘信息,并基于所述磁盘信息确定各种磁盘属性。
本发明实施例提供的方法中,所述磁盘信息中包含磁盘在不同的应用场景下的性能信息、磁盘应用在不同产品上的特征信息等等,基于磁盘信息确定磁盘的各种磁盘属性,其中,磁盘属性可理解为磁盘特征的特征指标;关于特征指标的种类可参照说明书中的表1、表2和表3。
S403、对于每种所述磁盘属性,基于各个第二故障磁盘,获取该种磁盘属性的正向样本集合;以及基于各个所述第二非故障磁盘,获取该种磁盘属性的负向样本集合;其中,所述正向样本集合中包含每个所述第二故障磁盘与该种磁盘属性对应的各个第一属性参数;所述负向样本集合中包含每个所述第二非故障磁盘与该种磁盘属性对应的各个第二属性参数。
需要说明的是,对于获取每个所述第二故障磁盘与该种磁盘属性对应的各个第一属性参数的过程,具体可为:对于每个所述第二故障磁盘,确定与该第二故障磁盘对应的第三时间步长,在与所述第三时间步长对应的属性数据中提取各个第一属性参数;其中,所述第三时间步长为第二故障磁盘发生故障前的时间步长,所述第三时间步长的时间单位可为天;在与所述第三时间步长对应的属性数据中提取各个第一属性参数时,可以按照预设的提取频率提取第一属性参数,由此可以得到多个第一属性参数;提取频率可以为一天提取5次。
对于获取每个所述第二非故障磁盘与该种磁盘属性对应的各个第二属性参数的过程,具体可为:对于每个所述第二非故障磁盘,确定该第二非故障磁盘在预设的第四时间步长内的属性数据,并按照预设的提取频率在该属性数据中提取各个第二属性参数;其中,所述第四时间步长的时间单位可以为天,提取频率可以为一天5次。
S404、对每种所述磁盘属性的正向样本集合中的各个第一属性参数和负向样本集合中的各个第二属性参数进行处理,得到每种所述磁盘属性的正向样本集合和负向样本集合的频率差。
本发明实施例提供的方法中,对每种所述磁盘属性的正向样本集合中的各个第一属性参数和负向样本集合中的各个第二属性参数进行处理,得到每种所述磁盘属性的正向样本集合和负向样本集合的频率差的过程如下所述:
对于每种磁盘属性,对该种磁盘属性的正向样本集合中的各个所述第一属性参数进行解析,以确定每个所述第一属性参数所属的参考属性值;对该种磁盘属性的负向样本集合中的各个所述第二属性参数进行解析,以确定每个所述第二属性参数所属的参考属性值;
对于每个所述参考属性值,确定属于该参考属性值的第一属性参数的个数以及确定属于该参考属性值的第二属性参数的个数,并基于属于该参考属性值的第一属性参数的个数,计算得到正向样本集合对于该参考属性值的第一频率值;以及基于属于该参考属性值的第二属性参数的个数,计算得到负向样本集合对于该参考属性值的第一频率值;将所述第一频率值和所述第二频率值进行比对,并将数值大的频率值作为该参考属性值的计算频率值;将所述第一频率值和所述第二频率值进行减法运算,得到第一数值,其中,所述第一数值为绝对值;将所述第一数值除以所述计算频率数值,得到第二数值,并将所述第二数值作为该参考属性值的频率差值;
将该种磁盘属性的各个所述参考属性值的频率差值进行平均运算,得到第三数值,并将所述第三数值作为该种磁盘属性的频率差,其中,频率差为该种磁盘属性的正样本集合和负样本集合的频率差。
需要说明的是,参考属性值可以为具体的数值,也可为区间,参考属性值可根据磁盘属性来设置。
S405、将每种所述磁盘属性的频率差与预设的第三阈值进行比对,并将大于所述第三阈值的频率差的磁盘属性确定为强关联指标。
本发明实施例提供的方法中,将每种磁盘属性的频率差与预设的第三阈值进行比对,并将大于第三阈值的频率差对应的磁盘属性确定为强关联指标,将不大于第三阈值的频率差所对应的磁盘属性确定为弱关联指标;所述第三阈值可根据实际需求进行设置,例如第三阈值为20%,则将不大于20%的频率差所对应的磁盘属性确定弱相关属性,将大于20%的频率差所对应的磁盘属性确定为强关联属性;需要说明的是,同一磁盘属性,在不同的应用场景,确定的结果可能有所不同,例如磁盘属性A在应用场景1时,确定为强关联指标,而在应用场景2时,确定为弱关联指标;在出现这种情况时,最终该磁盘属性A还是会被确定为强关联指标。
本发明实施例提供的方法中,基于第二故障样本集中的各个第二故障磁盘和第二非故障样本集中的各个第二非故障磁盘,提取用于训练预测模型的强关联指标,所提取的强关联指标覆盖各种磁盘所应用的各种场景,得到的强关联指标具有全面性和多维性,由此,使得训练的预测模型在对磁盘进行预测时,可进行全面及多维度的评估,由此得到的预测结果更加的精确,有效减少预测的出错率和误报率。
本发明提供的方法中,在确定强关联指标时,还可以构建磁盘属性的频率分布直方图,此处以具体示例进行说明,以磁盘属性Total uncorrectde error(read)、Totaluncorrectde error(write)以及DISKBUSY为例进行说明。
如图5所示,为本发明实施例提供在Greenplum应用场景下磁盘属性Totaluncorrectde error(write)的频率分布直方图;其中,横坐标为磁盘属性的参考属性值,纵坐标为频率值,进行计算可以得到在Greenplum应用场景下磁盘属性Total uncorrectdeerror(write)的频率差为7%,图中的正负样本分布变化近似,不具有明显差异,因此,在Greenplum应用场景下磁盘属性Total uncorrectde error(write)为弱关联指标。
如图6所示,为本发明实施例提供在Greenplum应用场景下磁盘属性Totaluncorrectde error(read)的频率分布直方图;其中,横坐标为磁盘属性的参考属性值,纵坐标为频率值,进行计算可以得到在Greenplum应用场景下磁盘属性Total uncorrectdeerror(read)的频率差为41%,图中的正负样本分布变化具有明显差异,因此,在Greenplum应用场景下磁盘属性Total uncorrectde error(read)为强关联指标。
如图7所示,为本发明实施例提供在Greenplum应用场景下磁盘属性DISKBUSY的频率分布直方图;其中,横坐标为磁盘属性的参考属性值,纵坐标为频率值,进行计算可以得到在Greenplum应用场景下磁盘属性DISKBUSY的频率差为47%,图中的正负样本分布变化具有明显差异,因此,在Greenplum应用场景下磁盘属性DISKBUSY为强关联指标。
如图8所示,为本发明实施例提供在Hadoop应用场景下磁盘属性Totaluncorrectde error(write)的频率分布直方图;其中,横坐标为磁盘属性的参考属性值,纵坐标为频率值,进行计算可以得到在Hadoop应用场景下磁盘属性Total uncorrectdeerror(write)的频率差为43%,图中的正负样本分布变化具有明显差异,因此,在Hadoop应用场景下磁盘属性Total uncorrectde error(write)为弱关联指标。
如图9所示,为本发明实施例提供在Hadoop应用场景下磁盘属性Totaluncorrectde error(read)的频率分布直方图;其中,横坐标为磁盘属性的参考属性值,纵坐标为频率值,进行计算可以得到在Hadoop应用场景下磁盘属性Total uncorrectdeerror(read)的频率差为5%,图中的正负样本分布变化近似,不具有明显差异,因此,在Hadoop应用场景下磁盘属性Total uncorrectde error(read)为强关联指标。
如图10所示,为本发明实施例提供在Hadoop应用场景下磁盘属性DISKBUSY的频率分布直方图;其中,横坐标为磁盘属性的参考属性值,纵坐标为频率值,进行计算可以得到在Hadoop应用场景下磁盘属性DISKBUSY的频率差为7%,图中的正负样本分布变化近似,不具有明显差异,因此,在Hadoop应用场景下磁盘属性DISKBUSY为强关联指标。
与图1的方法相对应,本发明还提供了一种磁盘故障的预测装置,用于对图1中方法的具体实现,本发明实施例提供的磁盘故障的预测装置可以应用在计算机终端或各种移动设备中,其结构示意图如图11所示,具体包括:
第一确定单元501,用于当接收到用户发送的预测指令时,确定与所述预测指令对应的目标磁盘;
第一获取单元502,用于获取所述目标磁盘的每种磁盘特征的特征信息,并对每种磁盘特征的特征信息进行处理,得到每个所述特征信息的特征向量;
第一触发单元503,用于将各个所述特征向量输入预先训练完成的预测模型中,触发所述预测模型对各项所述特征向量进行运算,并输出运算结果;
第一判断单元504,用于基于所述运算结果,判断对所述目标磁盘的预测是否为故障,在判定对所述目标磁盘的预测为故障时,触发预设的警报系统进行报警。
本发明实施例提供的方法中,在接受到用户发送的预测指令时,确定与预测指令对应的目标磁盘;获取目标磁盘的特征信息,并对每个磁盘特征的特征信息进行处理,得到每个特征信息的特征向量;将各个特征向量输入预先训练完成的预测模型中,触发预测模型对各项特征向量进行运算,并输出运算结果;基于运算结果,判断对目标磁盘的预测是否为故障,在判定对目标磁盘的预测为故障时,触发预设的报警系统进行报警。应用本发明,根据磁盘的多种磁盘特征的特征信息,使用预测模型对磁盘进行预测,应用磁盘的多种磁盘特征对磁盘进行预测,可以提高对磁盘预测的精确度和准确度。
基于上述案例,本发明提供的装置,所述第一获取单元502,可配置为:
解析子单元,用于对于每种磁盘特征的特征信息,对该特征信息进行解析,得到与该种磁盘特征对应的各个特征指标的数据;
确定子单元,用于基于每个所述特征指标的数据,确定是否每个所述特征指标均存在对应的数值,并为不存在对应数值的特征指标设置数值;
处理子单元,用于对每个所述特征指标对应的数值进行处理,得到每个所述特征指标对应的参考数值;
生成子单元,用于基于各个所述参考数值,生成该特征信息的特征向量。
基于上述案例,本发明提供的装置,所述第一判断单元504,可配置为:
获取子单元,用于获取所述运算结果中的预测标识,并将所述预测标识与预先设置的故障标识进行比对;
判定子单元,用于当所述预测标识与所述故障标识比对一致时,判定对所述目标磁盘的预测为故障。
基于上述案例,本发明提供的装置,还可配置为:
第二确定单元,用于确定第一故障样本集以及第一非故障样本集;其中,所述第一故障样本集中包含多个第一故障磁盘;所述第一非故障样本集中包含多个第一非故障磁盘;
第二获取单元,用于基于预设的各个强关联指标,对于每个所述第一故障磁盘,获取在与该第一故障磁盘对应的第一时间步长内的第一强关联指标数据,并将每个所述第一强关联指标数据作为正样本数据;其中,所述第一时间步长为第一故障磁盘发生故障前的时间步长,所述第一强关联指标数据中包含第一故障磁盘的每个所述强关联指标的数据;
第三获取单元,用于基于各个所述强关联指标,获取每个所述第一非故障磁盘在预设的第二时间步长内的第二强关联指标数据,并将每个所述第二强关联指标数据作为负样本数据;其中,所述第二强关联指标数据中包含第一非故障磁盘的每个所述强关联指标的数据;
第一处理单元,用于对各个所述正样本数据和各个所述负样本数据分别进行处理,得到每个所述正样本数据的正样本向量以及得到每个所述负样本数据的负样本向量;并将每个所述正样本向量以及每个所述负样本向量均作为输入向量;
运算单元,用于将各个所述输入向量输入初始模型中,调用所述初始模型中的核函数对每个所述输入向量进行运算,并根据运算得到的结果调整所述核函数的运算参数,直至所述初始模型输出的误报率满足预设的第一阈值时,将所述初始模型确定为待测试模型;
第三确定单元,用于确定测试样本,所述测试样本中包含多个测试磁盘的测试数据;
第二触发单元,用于将每个所述测试磁盘的测试数据输入所述待测试模型中,触发所述待测试模型对每个测试磁盘的测试数据进行处理,输出对每个测试磁盘的预测结果;
第四确定单元,用于基于每个所述测试磁盘的预测结果和每个所述测试磁盘的硬盘性能字段,确定所述待测试模型的预测准确率;
第二判断单元,用于判断所述待测试模型的预测准确率是否不小于预设的第二阈值;
第五确定单元,用于当判定所述待测试模型的预测准确率不小于所述第二阈值时,将所述待测试模型确定为训练完成的预测模型。
基于上述案例,本发明提供的装置,还可配置为:
第六确定单元,用于确定第二故障样本集和第二非故障样本集;其中,所述第二故障样本集中包含多个第二故障磁盘;所述第二非故障样本集中包含多个第二非故障磁盘;
第三获取单元,用于获取磁盘信息,并基于所述磁盘信息确定各种磁盘属性;
第四获取单元,用于对于每种所述磁盘属性,基于各个第二故障磁盘,获取该种磁盘属性的正向样本集合;以及基于各个所述第二非故障磁盘,获取该种磁盘属性的负向样本集合;其中,所述正向样本集合中包含每个所述第二故障磁盘与该种磁盘属性对应的第一属性参数;所述负向样本集合中包含每个所述第二非故障磁盘与该种磁盘属性对应的第二属性参数;
第二处理单元,用于对每种所述磁盘属性的正向样本集合中的各个第一属性参数和负向样本集合中的各个第二属性参数进行处理,得到每种所述磁盘属性的正向样本集合和负向样本集合的频率差;
比对单元,用于将每种所述磁盘属性的频率差与预设的第三阈值进行比对,并将大于所述第三阈值的频率差的磁盘属性确定为强关联指标。
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述磁盘故障的预测方法。
本发明实施例还提供了一种电子设备,其结构示意图如图12所示,具体包括存储器701,以及一个或者一个以上的指令702,其中一个或者一个以上指令702存储于存储器701中,且经配置以由一个或者一个以上处理器703执行所述一个或者一个以上指令702进行以下操作:
当接收到用户发送的预测指令时,确定与所述预测指令对应的目标磁盘;
获取所述目标磁盘的每种磁盘特征的特征信息,并对每种磁盘特征的特征信息进行处理,得到每个所述特征信息的特征向量;
将各个所述特征向量输入预先训练完成的预测模型中,触发所述预测模型对各项所述特征向量进行运算,并输出运算结果;
基于所述运算结果,判断对所述目标磁盘的预测是否为故障,在判定对所述目标磁盘的预测为故障时,触发预设的警报系统进行报警。
上述各个实施例的具体实施过程及其衍生方式,均在本发明的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种磁盘故障的预测方法,其特征在于,包括:
当接收到用户发送的预测指令时,确定与所述预测指令对应的目标磁盘;
获取所述目标磁盘的每种磁盘特征的特征信息,并对每种磁盘特征的特征信息进行处理,得到每个所述特征信息的特征向量;
将各个所述特征向量输入预先训练完成的预测模型中,触发所述预测模型对各项所述特征向量进行运算,并输出运算结果;
基于所述运算结果,判断对所述目标磁盘的预测是否为故障,在判定对所述目标磁盘的预测为故障时,触发预设的警报系统进行报警。
2.根据权利要求1所述的方法,其特征在于,所述对每种磁盘特征的特征信息进行处理,得到每个所述特征信息的特征向量,包括:
对于每种磁盘特征的特征信息,对该特征信息进行解析,得到与该种磁盘特征对应的各个特征指标的数据;
基于每个所述特征指标的数据,确定是否每个所述特征指标均存在对应的数值,并为不存在对应数值的特征指标设置数值;
对每个所述特征指标对应的数值进行处理,得到每个所述特征指标对应的参考数值;
基于各个所述参考数值,生成该特征信息的特征向量。
3.根据权利要求1所述的方法,其特征在于,所述基于所述运算结果,判断对所述目标磁盘的预测是否为故障,包括:
获取所述运算结果中的预测标识,并将所述预测标识与预先设置的故障标识进行比对;
当所述预测标识与所述故障标识比对一致时,判定对所述目标磁盘的预测为故障。
4.根据权利要求1所述的方法,其特征在于,所述预测模型的训练过程,包括:
确定第一故障样本集以及第一非故障样本集;其中,所述第一故障样本集中包含多个第一故障磁盘;所述第一非故障样本集中包含多个第一非故障磁盘;
基于预设的各个强关联指标,对于每个所述第一故障磁盘,获取在与该第一故障磁盘对应的第一时间步长内的第一强关联指标数据,并将每个所述第一强关联指标数据作为正样本数据;其中,所述第一时间步长为第一故障磁盘发生故障前的时间步长,所述第一强关联指标数据中包含第一故障磁盘的每个所述强关联指标的数据;
基于各个所述强关联指标,获取每个所述第一非故障磁盘在预设的第二时间步长内的第二强关联指标数据,并将每个所述第二强关联指标数据作为负样本数据;其中,所述第二强关联指标数据中包含第一非故障磁盘的每个所述强关联指标的数据;
对各个所述正样本数据和各个所述负样本数据分别进行处理,得到每个所述正样本数据的正样本向量以及得到每个所述负样本数据的负样本向量;并将每个所述正样本向量以及每个所述负样本向量均作为输入向量;
将各个所述输入向量输入初始模型中,调用所述初始模型中的核函数对每个所述输入向量进行运算,并根据运算得到的结果调整所述核函数的运算参数,直至所述初始模型输出的误报率满足预设的第一阈值时,将所述初始模型确定为待测试模型;
确定测试样本,所述测试样本中包含多个测试磁盘的测试数据;
将每个所述测试磁盘的测试数据输入所述待测试模型中,触发所述待测试模型对每个测试磁盘的测试数据进行处理,输出对每个测试磁盘的预测结果;
基于每个所述测试磁盘的预测结果和每个所述测试磁盘的硬盘性能字段,确定所述待测试模型的预测准确率;
判断所述待测试模型的预测准确率是否不小于预设的第二阈值;
当判定所述待测试模型的预测准确率不小于所述第二阈值时,将所述待测试模型确定为训练完成的预测模型。
5.根据权利要求4所述的方法,其特征在于,设置各个所述强关联指标的过程,包括:
确定第二故障样本集和第二非故障样本集;其中,所述第二故障样本集中包含多个第二故障磁盘;所述第二非故障样本集中包含多个第二非故障磁盘;
获取磁盘信息,并基于所述磁盘信息确定各种磁盘属性;
对于每种所述磁盘属性,基于各个第二故障磁盘,获取该种磁盘属性的正向样本集合;以及基于各个所述第二非故障磁盘,获取该种磁盘属性的负向样本集合;其中,所述正向样本集合中包含每个所述第二故障磁盘与该种磁盘属性对应的第一属性参数;所述负向样本集合中包含每个所述第二非故障磁盘与该种磁盘属性对应的第二属性参数;
对每种所述磁盘属性的正向样本集合中的各个第一属性参数和负向样本集合中的各个第二属性参数进行处理,得到每种所述磁盘属性的正向样本集合和负向样本集合的频率差;
将每种所述磁盘属性的频率差与预设的第三阈值进行比对,并将大于所述第三阈值的频率差的磁盘属性确定为强关联指标。
6.一种磁盘故障的预测装置,其特征在于,包括:
第一确定单元,用于当接收到用户发送的预测指令时,确定与所述预测指令对应的目标磁盘;
第一获取单元,用于获取所述目标磁盘的每种磁盘特征的特征信息,并对每种磁盘特征的特征信息进行处理,得到每个所述特征信息的特征向量;
第一触发单元,用于将各个所述特征向量输入预先训练完成的预测模型中,触发所述预测模型对各项所述特征向量进行运算,并输出运算结果;
第一判断单元,用于基于所述运算结果,判断对所述目标磁盘的预测是否为故障,在判定对所述目标磁盘的预测为故障时,触发预设的警报系统进行报警。
7.根据权利要求6所述的装置,其特征在于,所述第一获取单元,包括:
解析子单元,用于对于每种磁盘特征的特征信息,对该特征信息进行解析,得到与该种磁盘特征对应的各个特征指标的数据;
确定子单元,用于基于每个所述特征指标的数据,确定是否每个所述特征指标均存在对应的数值,并为不存在对应数值的特征指标设置数值;
处理子单元,用于对每个所述特征指标对应的数值进行处理,得到每个所述特征指标对应的参考数值;
生成子单元,用于基于各个所述参考数值,生成该特征信息的特征向量。
8.根据权利要求6所述的装置,其特征在于,所述第一判断单元,包括:
获取子单元,用于获取所述运算结果中的预测标识,并将所述预测标识与预先设置的故障标识进行比对;
判定子单元,用于当所述预测标识与所述故障标识比对一致时,判定对所述目标磁盘的预测为故障。
9.根据权利要求6所述的装置,其特征在于,还包括:
第二确定单元,用于确定第一故障样本集以及第一非故障样本集;其中,所述第一故障样本集中包含多个第一故障磁盘;所述第一非故障样本集中包含多个第一非故障磁盘;
第二获取单元,用于基于预设的各个强关联指标,对于每个所述第一故障磁盘,获取在与该第一故障磁盘对应的第一时间步长内的第一强关联指标数据,并将每个所述第一强关联指标数据作为正样本数据;其中,所述第一时间步长为第一故障磁盘发生故障前的时间步长,所述第一强关联指标数据中包含第一故障磁盘的每个所述强关联指标的数据;
第三获取单元,用于基于各个所述强关联指标,获取每个所述第一非故障磁盘在预设的第二时间步长内的第二强关联指标数据,并将每个所述第二强关联指标数据作为负样本数据;其中,所述第二强关联指标数据中包含第一非故障磁盘的每个所述强关联指标的数据;
第一处理单元,用于对各个所述正样本数据和各个所述负样本数据分别进行处理,得到每个所述正样本数据的正样本向量以及得到每个所述负样本数据的负样本向量;并将每个所述正样本向量以及每个所述负样本向量均作为输入向量;
运算单元,用于将各个所述输入向量输入初始模型中,调用所述初始模型中的核函数对每个所述输入向量进行运算,并根据运算得到的结果调整所述核函数的运算参数,直至所述初始模型输出的误报率满足预设的第一阈值时,将所述初始模型确定为待测试模型;
第三确定单元,用于确定测试样本,所述测试样本中包含多个测试磁盘的测试数据;
第二触发单元,用于将每个所述测试磁盘的测试数据输入所述待测试模型中,触发所述待测试模型对每个测试磁盘的测试数据进行处理,输出对每个测试磁盘的预测结果;
第四确定单元,用于基于每个所述测试磁盘的预测结果和每个所述测试磁盘的硬盘性能字段,确定所述待测试模型的预测准确率;
第二判断单元,用于判断所述待测试模型的预测准确率是否不小于预设的第二阈值;
第五确定单元,用于当判定所述待测试模型的预测准确率不小于所述第二阈值时,将所述待测试模型确定为训练完成的预测模型。
10.根据权利要求9所述的装置,其特征在于,还包括:
第六确定单元,用于确定第二故障样本集和第二非故障样本集;其中,所述第二故障样本集中包含多个第二故障磁盘;所述第二非故障样本集中包含多个第二非故障磁盘;
第三获取单元,用于获取磁盘信息,并基于所述磁盘信息确定各种磁盘属性;
第四获取单元,用于对于每种所述磁盘属性,基于各个第二故障磁盘,获取该种磁盘属性的正向样本集合;以及基于各个所述第二非故障磁盘,获取该种磁盘属性的负向样本集合;其中,所述正向样本集合中包含每个所述第二故障磁盘与该种磁盘属性对应的第一属性参数;所述负向样本集合中包含每个所述第二非故障磁盘与该种磁盘属性对应的第二属性参数;
第二处理单元,用于对每种所述磁盘属性的正向样本集合中的各个第一属性参数和负向样本集合中的各个第二属性参数进行处理,得到每种所述磁盘属性的正向样本集合和负向样本集合的频率差;
比对单元,用于将每种所述磁盘属性的频率差与预设的第三阈值进行比对,并将大于所述第三阈值的频率差的磁盘属性确定为强关联指标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011477654.5A CN112596964B (zh) | 2020-12-15 | 2020-12-15 | 磁盘故障的预测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011477654.5A CN112596964B (zh) | 2020-12-15 | 2020-12-15 | 磁盘故障的预测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112596964A true CN112596964A (zh) | 2021-04-02 |
CN112596964B CN112596964B (zh) | 2024-05-17 |
Family
ID=75195690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011477654.5A Active CN112596964B (zh) | 2020-12-15 | 2020-12-15 | 磁盘故障的预测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112596964B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113434088A (zh) * | 2021-06-28 | 2021-09-24 | 中国建设银行股份有限公司 | 一种磁盘识别方法及装置 |
CN114358421A (zh) * | 2022-01-04 | 2022-04-15 | 中国建设银行股份有限公司 | 磁盘故障预测方法、装置、存储介质和电子设备 |
CN114999021A (zh) * | 2022-05-17 | 2022-09-02 | 中联重科股份有限公司 | 用于确定油温异常原因的方法、处理器、装置及存储介质 |
CN115410638A (zh) * | 2022-07-28 | 2022-11-29 | 南京航空航天大学 | 一种基于对比聚类的磁盘故障检测系统 |
WO2023116111A1 (zh) * | 2021-12-22 | 2023-06-29 | 郑州云海信息技术有限公司 | 一种磁盘故障预测方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017129030A1 (zh) * | 2016-01-29 | 2017-08-03 | 阿里巴巴集团控股有限公司 | 磁盘的故障预测方法和装置 |
CN108446734A (zh) * | 2018-03-20 | 2018-08-24 | 中科边缘智慧信息科技(苏州)有限公司 | 基于人工智能的磁盘故障自动预测方法 |
CN108959004A (zh) * | 2018-06-28 | 2018-12-07 | 郑州云海信息技术有限公司 | 磁盘故障预测方法、装置、设备及计算机可读存储介质 |
CN109739739A (zh) * | 2018-12-28 | 2019-05-10 | 中兴通讯股份有限公司 | 磁盘故障的预测方法、设备及存储介质 |
US20190205193A1 (en) * | 2017-12-29 | 2019-07-04 | Huazhong University Of Science And Technology | S.m.a.r.t. threshold optimization method used for disk failure detection |
CN110113226A (zh) * | 2019-04-16 | 2019-08-09 | 新华三信息安全技术有限公司 | 一种检测设备异常的方法及装置 |
CN110389866A (zh) * | 2018-04-20 | 2019-10-29 | 武汉安天信息技术有限责任公司 | 磁盘故障预测方法、装置、计算机设备及计算机存储介质 |
CN110673997A (zh) * | 2019-09-06 | 2020-01-10 | 苏州浪潮智能科技有限公司 | 磁盘故障的预测方法及装置 |
-
2020
- 2020-12-15 CN CN202011477654.5A patent/CN112596964B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017129030A1 (zh) * | 2016-01-29 | 2017-08-03 | 阿里巴巴集团控股有限公司 | 磁盘的故障预测方法和装置 |
US20190205193A1 (en) * | 2017-12-29 | 2019-07-04 | Huazhong University Of Science And Technology | S.m.a.r.t. threshold optimization method used for disk failure detection |
CN108446734A (zh) * | 2018-03-20 | 2018-08-24 | 中科边缘智慧信息科技(苏州)有限公司 | 基于人工智能的磁盘故障自动预测方法 |
CN110389866A (zh) * | 2018-04-20 | 2019-10-29 | 武汉安天信息技术有限责任公司 | 磁盘故障预测方法、装置、计算机设备及计算机存储介质 |
CN108959004A (zh) * | 2018-06-28 | 2018-12-07 | 郑州云海信息技术有限公司 | 磁盘故障预测方法、装置、设备及计算机可读存储介质 |
CN109739739A (zh) * | 2018-12-28 | 2019-05-10 | 中兴通讯股份有限公司 | 磁盘故障的预测方法、设备及存储介质 |
CN110113226A (zh) * | 2019-04-16 | 2019-08-09 | 新华三信息安全技术有限公司 | 一种检测设备异常的方法及装置 |
CN110673997A (zh) * | 2019-09-06 | 2020-01-10 | 苏州浪潮智能科技有限公司 | 磁盘故障的预测方法及装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113434088A (zh) * | 2021-06-28 | 2021-09-24 | 中国建设银行股份有限公司 | 一种磁盘识别方法及装置 |
WO2023116111A1 (zh) * | 2021-12-22 | 2023-06-29 | 郑州云海信息技术有限公司 | 一种磁盘故障预测方法及装置 |
CN114358421A (zh) * | 2022-01-04 | 2022-04-15 | 中国建设银行股份有限公司 | 磁盘故障预测方法、装置、存储介质和电子设备 |
CN114999021A (zh) * | 2022-05-17 | 2022-09-02 | 中联重科股份有限公司 | 用于确定油温异常原因的方法、处理器、装置及存储介质 |
CN115410638A (zh) * | 2022-07-28 | 2022-11-29 | 南京航空航天大学 | 一种基于对比聚类的磁盘故障检测系统 |
CN115410638B (zh) * | 2022-07-28 | 2023-11-07 | 南京航空航天大学 | 一种基于对比聚类的磁盘故障检测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112596964B (zh) | 2024-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112596964B (zh) | 磁盘故障的预测方法及装置 | |
US9792562B1 (en) | Event prediction and object recognition system | |
CN108959004B (zh) | 磁盘故障预测方法、装置、设备及计算机可读存储介质 | |
CN108052528A (zh) | 一种存储设备时序分类预警方法 | |
CN111125658B (zh) | 识别欺诈用户的方法、装置、服务器和存储介质 | |
CN113688042A (zh) | 测试场景的确定方法、装置、电子设备及可读存储介质 | |
WO2022001125A1 (zh) | 一种存储系统的存储故障预测方法、系统及装置 | |
CN111124732A (zh) | 一种磁盘故障的预测方法、系统、设备及存储介质 | |
CN112395179B (zh) | 一种模型训练方法、磁盘预测方法、装置及电子设备 | |
CN112951311A (zh) | 一种基于变权重随机森林的硬盘故障预测方法及系统 | |
CN110728313A (zh) | 一种用于意图分类识别的分类模型训练方法及装置 | |
CN111858108A (zh) | 一种硬盘故障预测方法、装置、电子设备和存储介质 | |
CN115269288A (zh) | 故障确定方法、装置、设备和存储介质 | |
CN114325405A (zh) | 电池组一致性分析方法、建模方法、装置、设备及介质 | |
US20090182994A1 (en) | Two-level representative workload phase detection method, apparatus, and computer usable program code | |
CN112070559A (zh) | 状态获取方法和装置、电子设备和存储介质 | |
CN114595765A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN111783883A (zh) | 一种异常数据的检测方法及装置 | |
CN112749035A (zh) | 异常检测方法、装置及计算机可读介质 | |
US11520831B2 (en) | Accuracy metric for regular expression | |
CN115659271A (zh) | 传感器异常检测方法、模型训练方法、系统、设备及介质 | |
US20240152133A1 (en) | Threshold acquisition apparatus, method and program for the same | |
CN111340349B (zh) | 产品可靠性评估方法、装置、计算机设备和存储介质 | |
CN110297989B (zh) | 异常检测的测试方法、装置、设备和介质 | |
CN113760696A (zh) | 一种程序问题定位方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |