CN115904916A - 一种硬盘故障预测的方法、装置、电子设备以及存储介质 - Google Patents
一种硬盘故障预测的方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN115904916A CN115904916A CN202310083050.XA CN202310083050A CN115904916A CN 115904916 A CN115904916 A CN 115904916A CN 202310083050 A CN202310083050 A CN 202310083050A CN 115904916 A CN115904916 A CN 115904916A
- Authority
- CN
- China
- Prior art keywords
- hard disk
- data
- smart
- target
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000013145 classification model Methods 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims description 46
- 238000007781 pre-processing Methods 0.000 claims description 35
- 230000009467 reduction Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000004140 cleaning Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 6
- 238000013501 data transformation Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供了一种硬盘故障预测的方法、装置、电子设备以及存储介质，所述方法包括：获取目标硬盘的SMART数据；采用训练的硬盘分类模型，从多个训练好的硬盘预测模型中，确定所述SMART数据匹配的目标硬盘预测模型；所述硬盘分类模型用于确定输入的SMART数据对应的硬盘类型，所述硬盘预测模型为基于不同类型硬盘的SMART数据训练的用于预测硬盘故障的预测模型；采用所述目标硬盘预测模型对所述目标硬盘进行故障预测。通过本发明实施例，实现了自适应云基础设施下多种硬盘型号的场景，能够根据硬盘的SMART数据，选择一个和其最匹配的故障预测模型进行预测，通用性好泛化能力强。
Description
技术领域
本发明涉及硬盘技术领域，特别是涉及一种硬盘故障预测的方法、装置、电子设备以及存储介质。
背景技术
云计算产品需要海量服务器作为基础支撑，随着各类云业务的蓬勃发展，服务器数量也快速增长。然而服务器很多部件的平均生命周期较短，一般只有3-5年。
硬盘在服务器部件故障中占比最高，同时超过年限后的硬盘故障率还会显著增加，因此，降低硬盘故障带来的影响在生产环境中具有重要意义。虽然现在生产环境基本都实现了高可用，故障后一般自动修复不影响业务运行，但高可用属于被动的故障处理方式，如果能够主动预测故障，提前做出迁移数据和业务等规划，将更具有意义。
目前，很多基于机器学习训练的模型对某一类硬盘（同一厂商或型号等）效果较好，但泛化到其他硬盘效果大大降低；很多具有高准确低误报率的方法主要是离线分析，在复杂云存储环境的在线预测效果都不尽人意。
发明内容
鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种硬盘故障预测的方法、装置、电子设备以及存储介质，包括：
一种硬盘故障预测的方法，所述方法包括：
获取目标硬盘的SMART数据；
采用训练的硬盘分类模型，从多个训练好的硬盘预测模型中，确定所述SMART数据匹配的目标硬盘预测模型；所述硬盘分类模型用于确定输入的SMART数据对应的硬盘类型，所述硬盘预测模型为基于不同类型硬盘的SMART数据训练的用于预测硬盘故障的预测模型；
采用所述目标硬盘预测模型对所述目标硬盘进行故障预测。
可选地，所述采用训练的硬盘分类模型，从多个训练好的硬盘预测模型中，确定所述SMART数据匹配的目标硬盘预测模型，包括：
根据所述硬盘分类模型，确定所述SMART数据对应的目标硬盘类型；
从多个训练好的硬盘预测模型中，确定与所述目标硬盘类型匹配的目标硬盘预测模型。
可选地，还包括：
对所述SMART数据进行预处理。
可选地，所述对所述SMART数据进行预处理，包括：
基于预设的特征工程提取所述SMART数据的特征数据。
可选地，所述对所述SMART数据进行预处理，包括：
对所述特征数据进行降维处理，得到低维数据。
可选地，所述硬盘分类模型通过以下步骤训练生成：
获取各硬盘厂商的SMART样本数据；
采用所述SMART样本数据对预设的硬盘分类模型进行训练。
可选地，所述硬盘预测模型通过以下步骤训练生成：
将训练好的硬盘分类模型对所述SMART样本数据进行分类，得到各硬盘类型的SMART样本数据；
针对每一硬盘类型的SMART样本数据，采用训练好的坏盘样本生成模型，进行数据扩充，得到目标样本集；
采用所述目标样本集对预设的硬盘预测模型进行训练，生成各硬盘类型对应的硬盘预测模型。
可选地，所述坏盘样本生成模型通过以下步骤训练生成：
获取用于训练的SMART样本数据；
基于针对坏盘样本生成模型的第一模型参数和所述SMART样本数据，生成目标坏盘样本数据；
判断所述SMART样本数据和所述目标坏盘样本数据是否为真实数据；
根据判断结果对所述第一模型参数进行调整。
可选地，还包括：
对所述SMART样本数据进行预处理。
可选地，所述对所述SMART样本数据进行预处理，包括：
基于预设的特征工程提取所述SMART样本数据的特征样本数据；
对所述特征样本数据进行降维处理，得到低维样本数据。
可选地，还包括：
将故障预测结果推送至监控平台进行展示。
可选地，还包括：
在故障预测结果为异常结果时，基于所述异常结果生成推送消息；
将所述推送消息发送至目标用户，以向所述目标用户反馈所述异常结果。
一种硬盘故障预测的装置，所述装置包括：
SMART数据获取模块，用于获取目标硬盘的SMART数据；
目标硬盘预测模型确定模块，用于采用训练的硬盘分类模型，从多个训练好的硬盘预测模型中，确定所述SMART数据匹配的目标硬盘预测模型；所述硬盘分类模型用于确定输入的SMART数据对应的硬盘类型，所述硬盘预测模型为基于不同类型硬盘的SMART数据训练的用于预测硬盘故障的预测模型；
故障预测模块，用于采用所述目标硬盘预测模型对所述目标硬盘进行故障预测。
一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述硬盘故障预测的方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述硬盘故障预测的方法。
本发明实施例具有以下优点：
本发明实施例通过获取目标硬盘的SMART数据，采用训练的硬盘分类模型，从多个训练好的硬盘预测模型中，确定所述SMART数据匹配的目标硬盘预测模型，所述硬盘分类模型用于确定输入的SMART数据对应的硬盘类型，所述硬盘预测模型为基于不同类型硬盘的SMART数据训练的用于预测硬盘故障的预测模型，采用所述目标硬盘预测模型对所述目标硬盘进行故障预测，进而实现了自适应云基础设施下多种硬盘型号的场景，能够根据硬盘的SMART数据，选择一个和其最匹配的故障预测模型进行预测，通用性好泛化能力强，适用于复杂的云存储环境。
而且，在本发明实施例中，还可以在预测前针对SMART数据进行特征提取，以及降维处理，特征工程从硬盘SMART特征中扩充提取潜在特征信息，并经过自编码器对高维数据进行无监督降维，相比原始特征反映信息更多且避免了人工筛选特征，减少冗余特征，提高模型效果。
进一步的，在本发明实施例中，通过训练好的坏盘样本生成模型生成坏盘样本，缩小正负样本数量极端不均衡对模型造成的影响。
进一步的，在本发明实施例中，还可以实现多机器学习算法融合，将特征工程、降维、分类模型、扩充数据以及硬盘故障预测相融合，从而能挖掘出SMART数据中的关键信息，通用性好，泛化能力强，可广泛应用于云服务器存储系统智能化运维的场景。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种硬盘故障预测的方法的步骤流程图；
图2是本发明一实施例提供的另一种硬盘故障预测的方法的步骤流程图；
图3是本发明一实施例提供的另一种硬盘故障预测的方法的步骤流程图；
图4是本发明一实施例提供的一种硬盘预测模型的训练方法的步骤流程图；
图5a是本发明一实施例提供的一种硬盘故障预测技术方法;
图5b是本发明一实施例提供的另一种硬盘故障预测技术方法;
图6是本发明一实施例提供的硬盘故障预测的装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，示出了本发明一实施例提供的一种硬盘故障预测的方法的步骤流程图，具体可以包括如下步骤：
步骤101，获取目标硬盘的SMART数据；
其中SMART全称为“Self-Monitoring Analysis andReporting Technology”，即“自我监测、分析及报告技术”，SMART数据可以为硬盘内用于指示硬盘状态的数据，通过对SMART数据进行分析可以确定硬盘当前状态，以及预测硬盘将来状态（如在未来预设时间是否会出现故障等），SMART数据可以是硬盘在使用过程中所生成的数据，例如，SMART数据可以是通电时间累计，即硬盘出厂后通电的总时间，各硬盘性能不同，则其预设通电时间阈值也不同，当通电总时间越接近预设通电时间阈值甚至高于预设通电时间阈值时，则未来一段时间硬盘大概率存在故障；SMART数据还可以是硬盘运行时的温度数据、底层数据读取错误率、磁盘通电次数等。
需要说明的是，SMART数据不局限于上述示例，在实际应用中可以根据用户需求，确定需要获取的SMART数据，在本发明实施例中对此不做过多限制。
其中，待检测目标硬盘为服务器中的存储部件，在本发明实施例中，待检测目标硬盘具体可以是云基础设施硬盘。
在一示例中，可以按照时间顺序获取预设时间段内的硬盘SMART数据，为了准确反映目标硬盘当前的状态以及对硬盘未来状态做预测，可以以最近一段时间内的SMART数据为源数据，进行目标硬盘的故障预测。
步骤102，采用训练的硬盘分类模型，从多个训练好的硬盘预测模型中，确定SMART数据匹配的目标硬盘预测模型；
其中，硬盘分类模型用于确定输入的SMART数据对应的硬盘类型，硬盘分类模型的输入数据可以是采集的SMART数据，输出为SMART数据的硬盘类型，具体可以是类型编号；例如，硬盘分类模型可以是采用lightGBM算法训练的一个轻量级分类模型；硬盘预测模型为基于不同类型硬盘的SMART数据训练的用于预测硬盘故障的预测模型；硬盘预测模型的输入为待检测的目标硬盘的SMART数据，输出为目标硬盘的故障预测结果，故障预测结果可以包括表示硬盘无故障的正常结果以及表示硬盘可能存在故障的异常结果。例如，硬盘预测模型可以是采用长短时记忆网络LSTM训练的预测模型，可以准确捕获硬盘SMART时序特征，相比较传统的机器学习分类算法能显著提高模型预测的准确性，降低误报率。
在实际应用中，可以预先针对每一种硬盘类型的SMART数据分别进行训练，进而得到用于预测每种硬盘类型的预测模型。
在获取SMART数据后，可以采用训练的硬盘分类模型对数据进行分类，进而根据分类结果从多个训练好的硬盘预测模型中，确定SMART数据最匹配的目标硬盘预测模型。
在一示例中，在训练每一类硬盘预测模型过程中，可以根据每一硬盘类型的分类结果模拟生成坏盘样本，以实现数据扩充，平衡正负样本，进而提高硬盘预测模型的准确性，其中，坏盘样本为通过训练好的坏盘样本生成模型所生成的模拟样本数据，该样本数据与真实样本数据接近。
步骤103，采用目标硬盘预测模型对目标硬盘进行故障预测。
在确定目标硬盘预测模型后，采用该硬盘预测模型对目标硬盘进行故障检测。
在本发明一实施例中，在步骤101之后还包括：将故障预测结果推送至监控平台进行展示。
在实际应用中，监控平台可以用于实时展示硬盘的预测结果，在采用目标硬盘预测模型进行故障预测后，可以将故障预测结果推送至监控平台进行展示，从而，在服务器运行过程中，可以采用步骤101至步骤103的方法监测目标硬盘的状态，并实时展示故障预测结果，实现了针对目标硬盘的在线监测。
在本发明一实施例中，在步骤101之后还包括：在故障预测结果为异常结果时，基于异常结果生成推送消息；将推送消息发送至目标用户，以向目标用户反馈异常结果。
在实际应用中，可以预先设置针对硬盘故障的告警规则，在故障预测结果显示为异常结果时，即目标硬盘极有可能存在故障，从而可以触发预设告警规则，基于异常结果生成推送消息，并将推送消息发送至目标用户，其中，推送消息中可以包括但不限于硬盘标识、硬盘所在服务器标识、服务器地址、异常结果中任一项或多项。
在本发明一实施例中，为了提高模型效果，可以在SMART数据输入模型前进行预处理，其中，预处理可以包括但不限于数据清洗、数据采集、数据变换、特征工程、降维处理中任意一项或多项。
在本发明实施例中，通过获取目标硬盘的SMART数据，采用训练的硬盘分类模型，从多个训练好的硬盘预测模型中，确定SMART数据匹配的目标硬盘预测模型，硬盘分类模型用于确定输入的SMART数据对应的硬盘类型，硬盘预测模型为基于不同类型硬盘的SMART数据训练的用于预测硬盘故障的预测模型，采用目标硬盘预测模型对目标硬盘进行故障预测，进而实现了自适应云基础设施下多种硬盘型号的场景，能够根据硬盘的SMART数据，选择一个和其最匹配的故障预测模型进行预测，通用性好泛化能力强，适用于复杂的云存储环境。
参照图2，示出了本发明一实施例提供的另一种硬盘故障预测的方法的步骤流程图，具体可以包括如下步骤：
步骤201，获取目标硬盘的SMART数据；
步骤202，根据硬盘分类模型，确定SMART数据对应的目标硬盘类型；硬盘分类模型用于确定输入的SMART数据对应的硬盘类型，
在获取SMART数据后，可以将SMART数据输入硬盘分类模型中进行分类，确定SMART数据对应的目标硬盘类型。
步骤203，从多个训练好的硬盘预测模型中，确定与目标硬盘类型匹配的目标硬盘预测模型。硬盘预测模型为基于不同类型硬盘的SMART数据训练的用于预测硬盘故障的预测模型；
在确定目标硬盘类型后，可以根据硬盘类型与硬盘预测模型的对应关系，确定目标硬盘类型所匹配的目标硬盘预测模型。
步骤204，采用目标硬盘预测模型对目标硬盘进行故障预测。
在本发明实施例中，通过获取目标硬盘的SMART数据，根据硬盘分类模型，确定SMART数据对应的目标硬盘类型；从多个训练好的硬盘预测模型中，确定与目标硬盘类型匹配的目标硬盘预测模型，采用目标硬盘预测模型对目标硬盘进行故障预测，进而实现了自适应云基础设施下多种硬盘型号的场景，能够根据硬盘的SMART数据，选择一个和其最匹配的故障预测模型进行预测，通用性好泛化能力强，适用于复杂的云存储环境。
参照图3，示出了本发明一实施例提供的另一种硬盘故障预测的方法的步骤流程图，具体可以包括如下步骤：
步骤301，获取目标硬盘的SMART数据；
步骤302，对SMART数据进行预处理。
在本发明一实施例中，预处理包括以下任一项或多项：
数据清理、数据集成、数据变换、特征工程、降维处理。
在获取SMART数据后，可以针对SMART数据进行预处理，以提高模型的效果，例如，对SMART数据进行数据清理的预处理，具体可以是处理脏数据，其中，处理脏数据可以包括填写缺失值、清除噪声数据（降噪）、识别或删除离群点等；对SMART数据进行数据集成的预处理，具体可以是处理不同厂商硬盘特征的不一致和冗余；对SMART数据进行数据变换的预处理，具体可以是对SMART数据进行归一化处理，将数据值限定在预设范围内，以便于后续输入模型进行处理。
在本发明一实施例中，步骤302可以包括：基于预设的特征工程提取SMART数据的特征数据。
采用特征工程处理数据的目的是最大限度地从原始数据中提取特征以供后续算法和模型使用。SMART数据是从硬盘中获取到的原始数据，直接用SMART数据作为特征反应信息是不全面的，例如，仅仅靠一个时刻硬盘的温度很难判断硬盘故障，但如果加上一个温度变化情况对故障的判断就多了一个依据。因此，特征工程用于得到反映硬盘的更多特征。例如，硬盘是连续工作的，孤立的看某一时刻的数据不能反映硬盘信息全貌，从而要考虑时序特征，进而可以引入差分特征反映硬盘变化情况，还可以提取硬盘数据均值，中位值等统计特征反映硬盘基本信息。
在对SMART数据进行预处理后，还可以采用预设的特征工程，提出特征数据。在特征工程中，可以提取硬盘潜在数据特征，其特征数据包括但不限于原始特征数据，统计特征数据（如均值、中位数等），拟合特征、分类特征等。
需要说明的是，在本发明实施例中可以根据实际场景需求设置特征工程，不局限于上述示例中特征提取方式，在本发明实施例中对特征工程的具体提取方式不做过多限制。
在本发明另一实施例中，步骤302可以包括：对SMART数据进行降维处理。
在实际应用中，每个SMART数据可以包含不同维度的特征，降维处理过程是将SMART数据映射到选定的维度上，从而实现将高维数据转换为低维数据，去除冗余特征，使多个SMART数据集中反映特定维度的特征。
在一示例中，可以采用AutoEncoder（自编码器）进行降维处理。AutoEncoder包括编码器(Encoder)和解码器(Decoder)两部分。Encoder用于通过学习输入数据的隐含特征，将原先的数据压缩为低维向量；Decoder用于将低维向量还原为原来数据，以重构出原始输入数据。在本发明实施例中，通过AutoEncoder中的编码器实现对输入的数据进行降维处理。在实际应用中，编码器可以采用卷积神经网络训练生成，可以利用神经网络学习得到的网络模型将高维空间的数据点映射到低维空间中，然后利用映射后的变量特征来表示原有的总体特征。例如，自编码器AutoEncoder输入数据有A维，在经过的编码器Encoder进行神经网络变换后，得到了B维低维数据，（其中，A、B为大于0的正整数，且A>B）。基于自编码器模型对高维数据降维，无需人工干预，可以自主选择出代表输入数据最重要的特征因素。
在一示例中，预处理过程还可以是多种方式组合的预处理，例如，针对获取的SMART数据先进行特征工程，在特征工程完成后，针对提取的特征数据进行降维处理，得到低维数据，进而针对低维数据进行硬盘故障预测。
在提取特征数据后，可以对提取的特征数据进行降维处理，将高维数据处理成低维数据，降维处理可以在保留大部分数据信息的情况下、减少所需的存储空间；加快计算速度，更少的维数意味着更少的计算，并且更少的维数可以允许使用不适合大量维数的算法；去除冗余特征，例如两个特征是线性相关的，这两个特征反映信息是一样的。
通过在预测前针对SMART数据进行特征提取，以及降维处理，特征工程从硬盘SMART特征中扩充提取潜在特征信息，并经过自编码器对高维数据进行无监督降维，相比原始特征反映信息更多且避免了人工筛选特征，减少冗余特征，提高模型效果。
步骤303，根据硬盘分类模型，确定预处理后的SMART数据对应的目标硬盘类型；硬盘分类模型用于确定输入的预处理后的SMART数据对应的硬盘类型；
在进行预处理后，则可以直接将预处理后的SMART数据输入到硬盘分类模型，以确定目标硬盘类型。
在本发明一实施例中，硬盘分类模型通过以下步骤训练生成：
步骤S11，获取各硬盘厂商的SMART样本数据；
在实际应用中，在执行硬盘的在线监测前，可以预先进行硬盘分类模型的训练以及硬盘预测模型的训练。在训练硬盘分类模型时，可以获取各硬盘厂商的SMART样本数据，以各硬盘厂商的SMART样本数据作为训练样本进行训练。
其中，可以基于Backblaze（供应商）公开的硬盘SMART数据集以及资源池采集的硬盘SMART数据，获取各硬盘厂商的SMART样本数据。
步骤S12，采用SMART样本数据对预设的硬盘分类模型进行训练。
其中，可以采用lightGBM算法，训练一个轻量级分类模型，该硬盘分类模型可以用于对硬盘所属厂商型号进行自动分类。
在本发明一实施例中，为了确保模型效果，可以在硬盘分类模型训练前对采用的SMART样本数据进行数据预处理，其数据处理具体可以包括但不局限于数据采集、数据清洗、数据替换、特征工程、降维处理中的一项或多项。
步骤304，从多个训练好的硬盘预测模型中，确定与目标硬盘类型匹配的目标硬盘预测模型，硬盘预测模型为基于不同类型硬盘的低维数据训练的用于预测硬盘故障的预测模型；
在确定目标硬盘类型后，可以根据硬盘类型与硬盘预测模型的对应关系，确定目标硬盘类型所匹配的目标硬盘预测模型。
在本发明一实施例中，硬盘预测模型通过以下步骤训练生成：
步骤S21，将训练好的硬盘分类模型对SMART样本数据进行分类，得到各硬盘类型的SMART样本数据；
在实际应用中，在训练硬盘分类模型后，可以基于训练好的硬盘分类模型对样本数据进行分类，得到各硬盘类型的SMART样本数据。
当硬盘分类模型时基于样本数据处理成低维样本数据后进行分类时，在训练硬盘预测模型时采用各硬盘类型的低维样本数据。
步骤S22，针对每一硬盘类型的SMART样本数据，采用训练好的坏盘样本生成模型，进行数据扩充，得到目标样本集；
针对每种硬盘类型的SMART样本数据，可以进行数据扩充，具体的可以采用训练好的坏盘样本生成模型生成坏盘样本，从而将生成的坏盘样本和SMART样本数据组合生成目标样本集。
其中，在实际应用中，由于硬盘的绝对故障率不高，实际生产环境中能够积累大量的正常硬盘数据而坏盘数据很少，常规的数据不均衡处理方法具有一定局限性。坏盘样本生成模型可以基于真实的样本数据实现坏盘样本数据扩充，针对坏盘样本少造成的正负样本不均衡问题，生成坏盘样本，最终缩小正负样本数量差距，能提升模型分类的AUC指标。具体的，坏盘样本生成模型可以采用生成式对抗网络（Generative Adversarial Networks，GAN），生成式对抗网络GAN可以以时间窗口为单位生成坏盘样本，避免孤立时刻数据的无意义样本扩充，缩小正负样本数量极端不均衡对模型造成的影响。
步骤S23，采用目标样本集对预设的硬盘预测模型进行训练，生成各硬盘类型对应的硬盘预测模型。
在确定目标样本集后，采用目标样本集进行硬盘预测模型训练，从而，针对每一种硬盘类型均可生成一个硬盘预测模型，建立硬盘类型和硬盘预测模型的对应关系。
在一示例中，硬盘预测模型可以采用长短时记忆网络（Long Short-Term Memory，LSTM）进行训练，准确捕获硬盘SMART时序特征，相比较传统的机器学习分类算法能显著提高模型预测的准确性，降低误报率。
LSTM可用来解决复杂的时间序列问题，比如NLP的语言建模问题，而磁盘故障的预测问题也可以归纳为时间序列问题，通过对磁盘的历史SMART特征信息进行分析来判断磁盘在未来一段时间内是否会出现故障。通过训练一个基于LSTM的预测模型，输入是一段时间内磁盘的特征，如果模型输出为1，则判断该磁盘在未来N天内有大概率出现故障；如果模型输出为0，则认为该磁盘在未来N天内是健康的。
在本发明一实施例中，坏盘样本生成模型通过以下步骤训练生成：
步骤S31，获取用于训练的SMART样本数据；
其中，用于训练的SMART样本数据可以为硬盘在实际运行过程中所生成的真实的样本数据。
步骤S32，基于针对坏盘样本生成模型的第一模型参数和将SMART样本数据，生成目标坏盘样本数据；
其中，第一模型参数为用于生成坏盘样本数据的初始模型参数，通过预设的第一模型参数以及模型算法，可以采用SMART样本数据，生成目标坏盘样本数据。
目标坏盘样本数据为用于模拟硬盘运行过程中指示硬盘即将大概率故障的数据，目标坏盘数据用于扩充数据，以平衡正负样本数量。
步骤S33，判断SMART样本数据和目标坏盘样本数据是否为真实数据；
在生成目标坏盘样本数据后，可以采用样本判别器遍历SMART样本数据和目标坏盘样本数据，逐一判断每个样本是否是真实数据。
其中，样本判别器可以用于判断样本数据是否为真实数据。在实际应用中，样本判别器和坏盘样本生成模型可以单独交替迭代训练。
步骤S34，根据判断结果对预设的坏盘样本生成模型的模型参数进行调整。
在完成遍历后，得到所有样本的判别结果，基于判别结果反馈调整坏盘样本生成模型的模型参数，以使坏盘样本生成模型可以生成更逼真的样本数据。
在一示例中，GAN包括一个生成器G（Generator）（即坏盘样本生成模型）和一个判别器D（Discriminator）（即样本判别器），在训练过程中，D会接收硬盘的SMART样本数据和G产生的坏盘样本数据，D用于判断每个SMART样本数据和每个坏盘样本数据是否属于真实数据。对于最后输出的结果，可以同时对两方的参数进行调优。
如果D判断正确，那就需要调整G的参数从而使得生成的坏盘样本数据更为逼真；如果D判断错误，则需调节D的参数，避免下次类似判断出错。训练会一直持续到两者进入到一个均衡和谐的状态。
训练后的产物是一个质量较高的自动生成器和一个判断能力较强的分类器。前者可以用于机器创作（即坏盘样本生成），而后者则可以用来机器分类。
步骤305，采用目标硬盘预测模型对目标硬盘进行故障预测。
在本发明实施例中，通过在进行硬盘故障预测前，针对SMART样本数据进行预处理，可以提高硬盘预测的准确性。
参照图4，示出了本发明一实施例提供的一种硬盘预测模型的训练方法的步骤流程图，具体可以包括如下步骤：
步骤401，获取各硬盘厂商的SMART样本数据；
步骤402，对SMART样本数据进行预处理。
在本发明一实施例中，预处理包括以下任一项或多项：
数据清理、数据集成、数据变换、特征工程、降维处理。
在获取SMART样本数据后，可以针对SMART样本数据进行预处理，以提高模型的效果，例如，对SMART样本数据进行数据清理的预处理，具体可以是处理脏数据，其中，处理脏数据可以包括填写缺失值、清除噪声数据（降噪）、识别或删除离群点等；对SMART样本数据进行数据集成的预处理，具体可以是处理不同厂商硬盘特征的不一致和冗余；对SMART样本数据进行数据变换的预处理，具体可以是对SMART样本数据进行归一化处理，将数据值限定在预设范围内，以便于后续输入模型进行处理。
在本发明一实施例中，步骤402可以包括：
基于预设的特征工程提取SMART样本数据的特征样本数据；对特征样本数据进行降维处理，得到低维样本数据。
步骤403，采用SMART样本数据对预设的硬盘分类模型进行训练。
步骤404，将训练好的硬盘分类模型对SMART样本数据进行分类，得到各硬盘类型的SMART样本数据；
步骤405，针对每一硬盘类型的SMART样本数据，采用训练好的坏盘样本生成模型，进行数据扩充，得到目标样本集；
步骤406，采用目标样本集对预设的硬盘预测模型进行训练，生成各硬盘类型对应的硬盘预测模型。
在本发明实施例中，采用多机器学习算法融合的方法训练硬盘预设模型，从而能挖掘出数据中的关键信息，该方法通用性好，泛化能力强，可广泛应用于云服务器存储系统智能化运维的场景。
以下结合图5a至图5b对本发明上述实施例进行示例性说明：
根据图5a所示，为一种硬盘故障预测技术方法，包括以下步骤：
步骤S41，针对某种特定厂商生产的硬盘，获取其SMART特征数据。
步骤S42，对数据进行预处理及特征工程，由于硬盘SMART特征维数高，每种SMART特征都有其表征的含义，需要人工结合SMART特征含义，筛选出有用特征。
步骤S43，在预测算法上，选取某种机器学习模型（如决策树、SVM等），利用有限的数据集对模型进行训练。
步骤S44，进行模型评估，最后实现特定型号的硬盘故障预测。
图5a所示的硬盘故障预测技术存在以下缺陷：
（1）云基础设施往往有多种厂商生产的多种型号的硬盘，不同厂商生产的硬盘由于SMART特征数据在分布上存在较大差异，如果只能实现特定型号硬盘的故障预测，模型就有局限性，很难适应复杂的云存储环境。
（2）基于人们的先验知识进行SMART特征选择，很容易忽略掉各特征之间的内在联系，造成特征选择的不准确。
（3）坏盘样本的数量一般要比正常盘的数量少的多，这就造成正负样本极度不均衡，直接训练模型，会造成模型预测偏向样本数较多的分类，模型AUC指标低。
如图5b所示，为另一种硬盘故障预测技术方法，包括以下步骤：
步骤S51，基于Backblaze（供应商）公开的硬盘SMART数据集以及资源池采集的硬盘SMART数据，获取各硬盘厂商的SMART样本数据。
步骤S52，对数据集进行预处理，填充缺失值，光滑噪声数据，数据归一化等；同时对硬盘数据做特征工程，包括原始特征、统计特征、拟合特征、分类特征等，提取硬盘潜在数据特征。
步骤S53，采用自编码器（AutoEncoder）对特征工程后的高维特征进行降维，生成降维模型R，由编码器进行有效降维，提取关键特征信息。
步骤S54，采用lightGBM算法，训练一个轻量级分类模型C，用于对硬盘所属厂商型号进行自动分类。对步骤S53得到降维数据进行分类。
步骤S55，针对每一类样本数据，利用生成式对抗网络GAN生成坏盘样本，缩小正负样本在数量上的极端不均衡，生成样本是以时间窗口为单位生成而不是某一时刻的孤立数据。
步骤S56，针对步骤S55所得到的目标样本集，采用长短时记忆网络LSTM训练预测模型，从而针对不同厂商生产的硬盘训练多个故障预测模型P1~PN。
步骤S57，在线预测阶段，通过定期巡检采集云基础设施硬盘的SMART数据。首先根据待预测硬盘的SMART特征数据，进行预处理，并通过降维模型R转换降维数据，进而通过分类模型C得到该硬盘的所属类型编号（即硬盘类型），根据类型编号，选择一个最匹配的预测模型Pi（即目标硬盘预测模型）对其进行故障预测。
步骤S58，将预测结果推送至Prometheus监控平台，并通过Alertmanager设置告警规则，如果模型预测到某块硬盘有很大概率将发生故障，能及时通知运维人员进行处理。
图5b所示的硬盘预测方法具有以下优点：
1、特征工程从硬盘SMART特征中扩充提取潜在特征信息并经过自编码器对高维数据进行无监督降维，相比原始特征反映信息更多且避免了人工筛选特征，减少冗余特征，提高模型效果。
2、通过lightGBM训练轻量级硬盘厂商型号分类模型，根据采集到的云基础设施硬盘SMART信息，利用分类模型进行分类，根据分类结果选择最匹配的故障预测模型进行预测，从而适用于复杂的云存储环境。
3、生成式对抗网络GAN以时间窗口为单位生成坏盘样本，避免孤立时刻数据的无意义样本扩充，缩小正负样本数量极端不均衡对模型造成的影响。
4、采用了多机器学习算法融合的方法。特征工程+AE降维+lightGBM分类模型+GAN扩充数据+LSTM硬盘故障预测的融合方法，能挖掘出数据中的关键信息，该方法通用性好，泛化能力强，可广泛应用于云服务器存储系统智能化运维的场景。
需要说明的是，对于方法实施例，为了简单描述，故将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图6，示出了本发明一实施例提供的一种硬盘故障预测的装置的结构示意图，具体可以包括如下模块：
SMART数据获取模块601，用于获取目标硬盘的SMART数据；
目标硬盘预测模型确定模块602，用于采用训练的硬盘分类模型，从多个训练好的硬盘预测模型中，确定所述SMART数据匹配的目标硬盘预测模型；所述硬盘分类模型用于确定输入的SMART数据对应的硬盘类型，所述硬盘预测模型为基于不同类型硬盘的SMART数据训练的用于预测硬盘故障的预测模型；
故障预测模块603，用于采用所述目标硬盘预测模型对所述目标硬盘进行故障预测。
在本发明一实施例中，所述目标硬盘预测模型确定模块602可以包括：
目标硬盘类型确定子模块，用于根据所述硬盘分类模型，确定所述SMART数据对应的目标硬盘类型；
目标预测模型确定子模块，用于从多个训练好的硬盘预测模型中，确定与所述目标硬盘类型匹配的目标硬盘预测模型。
在本发明一实施例中，所述装置还包括：
第一预处理模块，用于对所述SMART数据进行预处理。
在本发明一实施例中，所述第一预处理模块包括：
第一特征工程子模块，用于基于预设的特征工程提取所述SMART数据的特征数据；
在本发明一实施例中，所述第一预处理模块还包括：
第一降维处理子模块，用于对所述特征数据进行降维处理，得到低维数据。
在本发明一实施例中，所述硬盘分类模型通过以下步骤训练生成：
样本数据获取模块，用于获取各硬盘厂商的SMART样本数据；
分类训练模块，用于采用所述SMART样本数据对预设的硬盘分类模型进行训练。
在本发明一实施例中，所述硬盘预测模型通过以下步骤训练生成：
样本分类模块，用于将训练好的硬盘分类模型对所述SMART样本数据进行分类，得到各硬盘类型的SMART样本数据；
数据扩充模块，用于针对每一硬盘类型的SMART样本数据，采用训练好的坏盘样本生成模型，进行数据扩充，得到目标样本集；
预测模型训练模块，用于采用所述目标样本集对预设的硬盘预测模型进行训练，生成各硬盘类型对应的硬盘预测模型。
在本发明一实施例中，所述坏盘样本生成模型通过以下步骤训练生成：
预设模型获取模块，用于获取用于训练的SMART样本数据；
坏盘样本生成模块，用于基于针对坏盘样本生成模型的第一模型参数和所述SMART样本数据，生成目标坏盘样本数据；
数据判断模块，用于判断所述SMART样本数据和所述目标坏盘样本数据是否为真实数据；
模型参数调整模块，用于根据判断结果对所述第一模型参数进行调整。
在本发明一实施例中，所述装置还可以包括：
第二预处理模块，用于对所述SMART样本数据进行预处理。
在本发明一实施例中，所述第二预处理模块包括：
第二特征工程子模块，用于基于预设的特征工程提取所述SMART样本数据的特征样本数据；
第二降维处理子模块，用于对所述特征样本数据进行降维处理，得到低维样本数据。
在本发明一实施例中，所述装置还可以包括：
预测结果展示模块，用于将故障预测结果推送至监控平台进行展示。
在本发明一实施例中，所述装置还可以包括：
推送消息生成模块，用于在故障预测结果为异常结果时，基于所述异常结果生成推送消息；
推送模块，用于将所述推送消息发送至目标用户，以向所述目标用户反馈所述异常结果。
本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上硬盘故障预测的方法。
本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上硬盘故障预测的方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种硬盘故障预测的方法、装置、电子设备以及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种硬盘故障预测的方法，其特征在于，所述方法包括：
获取目标硬盘的SMART数据；
采用训练的硬盘分类模型，从多个训练好的硬盘预测模型中，确定所述SMART数据匹配的目标硬盘预测模型；所述硬盘分类模型用于确定输入的SMART数据对应的硬盘类型，所述硬盘预测模型为基于不同类型硬盘的SMART数据训练的用于预测硬盘故障的预测模型；
采用所述目标硬盘预测模型对所述目标硬盘进行故障预测。
2.根据权利要求1所述的方法，其特征在于，所述采用训练的硬盘分类模型，从多个训练好的硬盘预测模型中，确定所述SMART数据匹配的目标硬盘预测模型，包括：
根据所述硬盘分类模型，确定所述SMART数据对应的目标硬盘类型；
从多个训练好的硬盘预测模型中，确定与所述目标硬盘类型匹配的目标硬盘预测模型。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
对所述SMART数据进行预处理。
4.根据权利要求3所述的方法，其特征在于，所述对所述SMART数据进行预处理，包括：
基于预设的特征工程提取所述SMART数据的特征数据。
5.根据权利要求4所述的方法，其特征在于，所述对所述SMART数据进行预处理，包括：
对所述特征数据进行降维处理，得到低维数据。
6.根据权利要求1或2所述的方法，其特征在于，所述硬盘分类模型通过以下步骤训练生成：
获取各硬盘厂商的SMART样本数据；
采用所述SMART样本数据对预设的硬盘分类模型进行训练。
7.根据权利要求6所述的方法，其特征在于，所述硬盘预测模型通过以下步骤训练生成：
将训练好的硬盘分类模型对所述SMART样本数据进行分类，得到各硬盘类型的SMART样本数据；
针对每一硬盘类型的SMART样本数据，采用训练好的坏盘样本生成模型，进行数据扩充，得到目标样本集；
采用所述目标样本集对预设的硬盘预测模型进行训练，生成各硬盘类型对应的硬盘预测模型。
8.根据权利要求7所述的方法，其特征在于，所述坏盘样本生成模型通过以下步骤训练生成：
获取用于训练的SMART样本数据；
基于针对坏盘样本生成模型的第一模型参数和所述SMART样本数据，生成目标坏盘样本数据；
判断所述SMART样本数据和所述目标坏盘样本数据是否为真实数据；
根据判断结果对所述第一模型参数进行调整。
9.根据权利要求6所述的方法，其特征在于，还包括：
对所述SMART样本数据进行预处理。
10.根据权利要求9所述的方法，其特征在于，所述对所述SMART样本数据进行预处理，包括：
基于预设的特征工程提取所述SMART样本数据的特征样本数据；
对所述特征样本数据进行降维处理，得到低维样本数据。
11.根据权利要求1所述的方法，其特征在于，还包括：
将故障预测结果推送至监控平台进行展示。
12.根据权利要求1所述的方法，其特征在于，还包括：
在故障预测结果为异常结果时，基于所述异常结果生成推送消息；
将所述推送消息发送至目标用户，以向所述目标用户反馈所述异常结果。
13.一种硬盘故障预测的装置，其特征在于，所述装置包括：
SMART数据获取模块，用于获取目标硬盘的SMART数据；
目标硬盘预测模型确定模块，用于采用训练的硬盘分类模型，从多个训练好的硬盘预测模型中，确定所述SMART数据匹配的目标硬盘预测模型；所述硬盘分类模型用于确定输入的SMART数据对应的硬盘类型，所述硬盘预测模型为基于不同类型硬盘的SMART数据训练的用于预测硬盘故障的预测模型；
故障预测模块，用于采用所述目标硬盘预测模型对所述目标硬盘进行故障预测。
14.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至12中任一项所述硬盘故障预测的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述硬盘故障预测的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310083050.XA CN115904916A (zh) | 2023-02-08 | 2023-02-08 | 一种硬盘故障预测的方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310083050.XA CN115904916A (zh) | 2023-02-08 | 2023-02-08 | 一种硬盘故障预测的方法、装置、电子设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115904916A true CN115904916A (zh) | 2023-04-04 |
Family
ID=86491599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310083050.XA Pending CN115904916A (zh) | 2023-02-08 | 2023-02-08 | 一种硬盘故障预测的方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115904916A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116628564A (zh) * | 2023-04-20 | 2023-08-22 | 上海宇佑船舶科技有限公司 | 用于检测发电机状态的模型训练方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9612896B1 (en) * | 2015-08-24 | 2017-04-04 | EMC IP Holding Company LLC | Prediction of disk failure |
| CN108681667A (zh) * | 2018-04-02 | 2018-10-19 | 阿里巴巴集团控股有限公司 | 一种设备型号识别方法、装置及处理设备 |
| CN111767162A (zh) * | 2020-05-20 | 2020-10-13 | 北京大学 | 一种面向不同型号硬盘的故障预测方法及电子装置 |
| CN112348026A (zh) * | 2020-11-08 | 2021-02-09 | 北京工业大学 | 一种基于机器视觉的磁性硬盘序列码识别方法 |
| CN113822336A (zh) * | 2021-08-20 | 2021-12-21 | 济南浪潮数据技术有限公司 | 一种云硬盘故障预测方法、装置、系统及可读存储介质 |
| CN114758714A (zh) * | 2022-04-08 | 2022-07-15 | 中铁第四勘察设计院集团有限公司 | 一种硬盘故障预测方法、装置、电子设备及存储介质 |
-
2023
- 2023-02-08 CN CN202310083050.XA patent/CN115904916A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9612896B1 (en) * | 2015-08-24 | 2017-04-04 | EMC IP Holding Company LLC | Prediction of disk failure |
| CN108681667A (zh) * | 2018-04-02 | 2018-10-19 | 阿里巴巴集团控股有限公司 | 一种设备型号识别方法、装置及处理设备 |
| CN111767162A (zh) * | 2020-05-20 | 2020-10-13 | 北京大学 | 一种面向不同型号硬盘的故障预测方法及电子装置 |
| CN112348026A (zh) * | 2020-11-08 | 2021-02-09 | 北京工业大学 | 一种基于机器视觉的磁性硬盘序列码识别方法 |
| CN113822336A (zh) * | 2021-08-20 | 2021-12-21 | 济南浪潮数据技术有限公司 | 一种云硬盘故障预测方法、装置、系统及可读存储介质 |
| CN114758714A (zh) * | 2022-04-08 | 2022-07-15 | 中铁第四勘察设计院集团有限公司 | 一种硬盘故障预测方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 贾宇晗;李静;贾润莹;李忠伟;王刚;刘晓光;肖康;: "硬盘故障预测模型在大型数据中心环境下的验证", 计算机研究与发展 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116628564A (zh) * | 2023-04-20 | 2023-08-22 | 上海宇佑船舶科技有限公司 | 用于检测发电机状态的模型训练方法和系统 |
| CN116628564B (zh) * | 2023-04-20 | 2024-03-12 | 上海宇佑船舶科技有限公司 | 用于检测发电机状态的模型训练方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112131212A (zh) | 基于集成学习技术面向混合云场景的时序数据异常预测方法 | |
| CN114297036B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN112416643A (zh) | 无监督异常检测方法与装置 | |
| CN111650922A (zh) | 一种智能家居异常检测方法和装置 | |
| CN111524118B (zh) | 变压器的运行状态检测方法、装置、计算机设备和存储介质 | |
| US20220245402A1 (en) | Ai-based pre-training model determination system, and ai-based vision inspection management system using same for product production lines | |
| CN115122155A (zh) | 基于工业互联网大数据的机床远程诊断方法及系统 | |
| CN112183906B (zh) | 一种基于多模型组合模型的机房环境预测方法及系统 | |
| CN115904916A (zh) | 一种硬盘故障预测的方法、装置、电子设备以及存储介质 | |
| CN116611013A (zh) | 针对工业时序数据的异常检测以及根因分析方法及系统 | |
| JP2023547849A (ja) | ラベルなしセンサデータを用いた産業システム内の稀な障害の自動化されたリアルタイムの検出、予測、及び予防に関する、方法または非一時的コンピュータ可読媒体 | |
| CN111027591B (zh) | 一种面向大规模集群系统的节点故障预测方法 | |
| CN115204536A (zh) | 楼宇设备故障预测方法、装置、设备及存储介质 | |
| CN117076258A (zh) | 一种基于互联网云端的远程监控方法及系统 | |
| CN111949496B (zh) | 一种数据检测方法及装置 | |
| CN110597792A (zh) | 基于同期线损数据融合的多级冗余数据融合方法及装置 | |
| CN116910274B (zh) | 基于知识图谱和预测模型的试题生成方法及系统 | |
| CN117290719A (zh) | 基于数据分析的巡检管理方法、装置及存储介质 | |
| CN114139589A (zh) | 故障诊断方法、装置、设备与计算机可读存储介质 | |
| CN116070143A (zh) | 一种基于人工智能的配电网多源异构数据融合方法及系统 | |
| CN115982621A (zh) | 一种基于时间卷积网络的旋转机械剩余使用寿命预测方法 | |
| CN115514620A (zh) | 一种异常检测的方法和云网络平台 | |
| CN116804964A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN116318386A (zh) | 光模块的失效预测方法及其系统、存储介质 | |
| CN115221942A (zh) | 一种基于时序融合和神经网络的设备缺陷预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230404 |