CN111091863A - 一种存储设备故障检测方法及相关装置 - Google Patents

一种存储设备故障检测方法及相关装置 Download PDF

Info

Publication number
CN111091863A
CN111091863A CN201911205014.6A CN201911205014A CN111091863A CN 111091863 A CN111091863 A CN 111091863A CN 201911205014 A CN201911205014 A CN 201911205014A CN 111091863 A CN111091863 A CN 111091863A
Authority
CN
China
Prior art keywords
training
dimensional
matrix
storage device
lstm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911205014.6A
Other languages
English (en)
Inventor
王团结
苏楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201911205014.6A priority Critical patent/CN111091863A/zh
Publication of CN111091863A publication Critical patent/CN111091863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
    • G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种存储设备故障检测方法，包括：对原始存储设备特征数据进行滑动窗口步长采样处理，得到三维训练矩阵和一维标签矩阵；采用Keras神经网络库根据所述三维训练矩阵和所述一维标签矩阵进行长短时记忆网络训练，得到LSTM检测模型；采用所述LSTM检测模型对待检测数据进行检测处理，得到故障检测结果。通过先进行采样处理提高样本的数据量，然后训练出LSTM检测模型对待检测数据进行检测处理，得到故障检测结果，提高了故障预测的准确性和精度。本申请还公开了一种存储设备故障检测装置、存储服务器以及计算机可读存储介质，具有以上有益效果。

Description

一种存储设备故障检测方法及相关装置
技术领域
本申请涉及存储设备技术领域，特别涉及一种存储设备故障检测方法、存储设备故障检测装置、存储服务器以及计算机可读存储介质。
背景技术
存储系统是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备(硬件)和算法(软件)所组成的系统。计算机的主存储器不能同时满足存取速度快、存储容量大和成本低的要求，在计算机中必须有速度由慢到快、容量由大到小的多级层次存储器，以最优的控制调度算法和合理的成本，构成具有性能可接受的存储系统。
在存储系统中，设备突然故障是制约系统稳定性和可靠性的主要因素之一，如何尽早预测出系统故障是实现主动预防提升系统性能的关键。基于机器学习方法构建故障预测分类模型就是当下最主流的做法。然而当前的研究没有关注故障数据的时序性问题，故障不是突然出现的，而是存在前后时间上的因果递进关系，如何能够挖掘出这种前后关系，对故障预测的意义重大。存储设备包含了硬盘、SSD、非易失内存等介质。
可见，为了提高存储设备的可靠性需要对存储设备的故障进行检测，而现有技术中一般通过存储设备中个别状态信息进行判断，根据判断结果对存储设备的故障进行预测。但是，现有技术中对存储设备的故障进行检测的准确性和精度比较差，没有办法对存储设备的故障进行准确得预知，进而无法对存储设备的故障进行提前维护，降低了存储设备的可靠性和稳定性。
因此，如何提高存储设备故障预测的准确性是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种存储设备故障检测方法、存储设备故障检测装置、存储服务器以及计算机可读存储介质，通过先进行采样处理提高样本的数据量，然后训练出LSTM检测模型对待检测数据进行检测处理，得到故障检测结果，提高了故障预测的准确性和精度。
为解决上述技术问题，本申请提供一种存储设备故障检测方法，包括：
对原始存储设备特征数据进行滑动窗口步长采样处理，得到三维训练矩阵和一维标签矩阵；
采用Keras神经网络库根据所述三维训练矩阵和所述一维标签矩阵进行长短时记忆网络训练，得到LSTM检测模型；
采用所述LSTM检测模型对待检测数据进行检测处理，得到故障检测结果。
可选的，对原始存储设备特征数据进行滑动窗口步长采样处理，得到三维训练矩阵和一维标签矩阵，包括：
根据突变点检测算法对所述原始存储设备特征数据进行选择，得到原始特征值；
将所述原始特征值划分为训练集和测试集；
根据磁盘SMART规则、预设滑动大小以及预设步长对所述训练集和所述测试集进行样本点采样，得到所述三维训练矩阵；
对所述三维训练矩阵打标签处理，得到所述一维标签矩阵。
可选的，根据磁盘SMART规则、预设滑动大小以及预设步长对所述训练集和所述测试集进行样本点采样，得到所述三维训练矩阵，包括：
根据所述SMART规则对所述训练集和所述测试集进行数据截取，得到SMART特征值；
按照所述预设滑动大小和所述预设步长对所述SMART特征值进行滑动窗口采样处理，得到所述三维训练矩阵。
可选的，采用Keras神经网络库根据所述三维训练矩阵和所述一维标签矩阵进行长短时记忆网络训练，得到LSTM检测模型，包括：
采用所述Keras神经网络库构建出序贯模型；
对所述序贯模型添加LSTM隐藏层、全连接层以及输出层，并进行配置，得到长短时记忆网络；
根据所述三维训练矩阵和所述一维标签矩阵对所述长短时记忆网络进行训练，得到所述LSTM检测模型。
可选的，采用所述LSTM检测模型对待检测数据进行检测处理，得到故障检测结果，包括：
对所述待检测数据进行特征提取处理，得到特征数据；
采用所述LSTM检测模型对所述特征数据进行计算，得到所述故障检测结果。
本申请还提供一种存储设备故障检测装置，包括：
特征采样模块，用于对原始存储设备特征数据进行滑动窗口步长采样处理，得到三维训练矩阵和一维标签矩阵；
模型训练模块，用于采用Keras神经网络库根据所述三维训练矩阵和所述一维标签矩阵进行长短时记忆网络训练，得到LSTM检测模型；
故障检测模块，用于采用所述LSTM检测模型对待检测数据进行检测处理，得到故障检测结果。
可选的，所述特征采样模块，包括：
特征选择单元，用于根据突变点检测算法对所述原始存储设备特征数据进行选择，得到原始特征值；
特征数据划分单元，用于将所述原始特征值划分为训练集和测试集；
样本点采样单元，用于根据磁盘SMART规则、预设滑动大小以及预设步长对所述训练集和所述测试集进行样本点采样，得到所述三维训练矩阵；
标签处理单元，用于对所述三维训练矩阵打标签处理，得到所述一维标签矩阵。
可选的，所述模型训练模块，包括：
模型构建单元，用于采用所述Keras神经网络库构建出序贯模型；
网络配置单元，用于对所述序贯模型添加LSTM隐藏层、全连接层以及输出层，并进行配置，得到长短时记忆网络；
网络训练单元，用于根据所述三维训练矩阵和所述一维标签矩阵对所述长短时记忆网络进行训练，得到所述LSTM检测模型。
本申请还提供一种存储服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的存储设备故障检测方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的存储设备故障检测方法的步骤。
本申请所提供的一种存储设备故障检测方法，包括：对原始存储设备特征数据进行滑动窗口步长采样处理，得到三维训练矩阵和一维标签矩阵；采用Keras神经网络库根据所述三维训练矩阵和所述一维标签矩阵进行长短时记忆网络训练，得到LSTM检测模型；采用所述LSTM检测模型对待检测数据进行检测处理，得到故障检测结果。
通过先对原始存储设备特征数据进行滑动窗口步长采样处理，提高训练数据的数据量，最后得到三维训练矩阵和一维标签矩阵，然后进行长短时记忆网络训练，得到LSTM检测模型，最后采用该LSTM检测模型对待检测数据进行检测处理，得到故障检测结果，实现了采用LSTM模型对存储设备故障状态进行检测，提高了存储设备故障检测的准确率，进而再对存储设备进行有效的维护操作，提高了存储设备执行时的可靠性和稳定性。
本申请还提供一种存储设备故障检测装置、存储服务器以及计算机可读存储介质，具有以上有益效果，在此不做赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种存储设备故障检测方法的流程图；
图2为本申请实施例所提供的一种存储设备故障检测装置的结构示意图。
具体实施方式
本申请的核心是提供一种存储设备故障检测方法、存储设备故障检测装置、存储服务器以及计算机可读存储介质，通过先进行采样处理提高样本的数据量，然后训练出LSTM检测模型对待检测数据进行检测处理，得到故障检测结果，提高了故障预测的准确性和精度。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，为了提高存储设备的可靠性需要对存储设备的故障进行检测，而现有技术中一般通过存储设备中个别状态信息进行判断，根据判断结果对存储设备的故障进行预测。但是，现有技术中对存储设备的故障进行检测的准确性和精度比较差，没有办法对存储设备的故障进行准确得预知，进而无法对存储设备的故障进行提前维护，降低了存储设备的可靠性和稳定性。
因此，本申请提供了一种存储设备故障检测方法，通过先对原始存储设备特征数据进行滑动窗口步长采样处理，提高训练数据的数据量，最后得到三维训练矩阵和一维标签矩阵，然后进行长短时记忆网络训练，得到LSTM检测模型，最后采用该LSTM检测模型对待检测数据进行检测处理，得到故障检测结果，实现了采用LSTM模型对存储设备故障状态进行检测，提高了存储设备故障检测的准确率，进而再对存储设备进行有效的维护操作，提高了存储设备执行时的可靠性和稳定性。
请参考图1，图1为本申请实施例所提供的一种存储设备故障检测方法的流程图。
本实施例中，该方法可以包括：
S101，对原始存储设备特征数据进行滑动窗口步长采样处理，得到三维训练矩阵和一维标签矩阵；
本步骤旨在对原始存储设备特征数据进行采样处理，得到用于训练和测试的数据，即三维训练矩阵和一维标签矩阵。其中，执行的采样处理主要是基于滑动窗口和步长采样处理。可以有效的扩充正样本的数据量，解决了样本不平衡问题。
具体的，本步骤中进行滑动串口步长采样处理的方式可以包括：
步骤1，根据突变点检测算法对原始存储设备特征数据进行选择，得到原始特征值；
步骤2，将原始特征值划分为训练集和测试集；
步骤3，根据磁盘SMART规则、预设滑动大小以及预设步长对训练集和测试集进行样本点采样，得到三维训练矩阵；
步骤4，对三维训练矩阵打标签处理，得到一维标签矩阵。
其中，采用的磁盘SMART规则，全称为“Self-Monitoring Analysis andReporting Technology”，即“自我监测、分析及报告技术”。是一种自动的硬盘状态检测与预警系统和规范。通过在硬盘硬件内的检测指令对硬盘的硬件如磁头、盘片、马达、电路的运行情况进行监控、记录并与厂商所设定的预设安全值进行比较，若监控情况将或已超出预设安全值的安全范围，就可以通过主机的监控硬件或软件自动向用户做出警告并进行轻微的自动修复，以提前保障硬盘数据的安全。除一些出厂时间极早的硬盘外，现在大部分硬盘均配备该项技术。可见，通过该磁盘SMART规则可以从数据中提取出有效的特征数据。
其中，步骤3可以包括：
首先，根据SMART规则对训练集和测试集进行数据截取，得到SMART特征值；然后，按照预设滑动大小和预设步长对SMART特征值进行滑动窗口采样处理，得到三维训练矩阵。
S102，采用Keras神经网络库根据三维训练矩阵和一维标签矩阵进行长短时记忆网络训练，得到LSTM检测模型；
在S101的基础上，本步骤旨在采用Keras神经网络库根据三维训练矩阵和一维标签矩阵进行长短时记忆网络训练，得到LSTM检测模型；
其中，Keras神经网络库是一个由Python编写的开源人工神经网络库，可以作为Tensorflow、Microsoft-CNTK和Theano的高阶应用程序接口，进行深度学习模型的设计、调试、评估、应用和可视化。可见，本步骤中采用Keras可以在Python的基础上构建出对应的模型，然后在该模型的基础上配置相应的网络结果，得到符合要求的待训练网络，最后进行训练操作。
因此，可选的，本步骤中进行网络训练的过程可以包括：
步骤1，采用Keras神经网络库构建出序贯模型；
步骤2，对序贯模型添加LSTM隐藏层、全连接层以及输出层，并进行配置，得到长短时记忆网络；
步骤3，根据三维训练矩阵和一维标签矩阵对长短时记忆网络进行训练，得到LSTM检测模型。
可见，本步骤中训练出的是LSTM(Long Short-Term Memory长短时记忆网络)网络模型，采用该网络可以深度学习数据的前后时序依赖关系，相当于变长窗口的特征提取，与根据经验进行固定窗口的特征提取相比，提高了准确性。
S103，采用LSTM检测模型对待检测数据进行检测处理，得到故障检测结果。
在S102的基础上，本步骤旨在采用训练好的LSTM检测模型对待检测数据进行检测处理，得到故障检测结果。具体的，可以按照预设周期从存储设备中获取到待检测数据，然后采用该LSTM检测模型对待检测数据进行检测处理，得到最终的检测结果。
此外，还可以包括：根据故障检测结果对LSTM检测模型进行进一步的调整和更新操作。
可选的，本步骤可以包括：
步骤1，对待检测数据进行特征提取处理，得到特征数据；
步骤2，采用LSTM检测模型对特征数据进行计算，得到故障检测结果。
可见，本可选方案主要是先提取出待检测数据的特征数据，然后采用LSTM检测模型对特征数据进行计算处理，最后得到故障检测结果。
综上，本实施例通过先对原始存储设备特征数据进行滑动窗口步长采样处理，提高训练数据的数据量，最后得到三维训练矩阵和一维标签矩阵，然后进行长短时记忆网络训练，得到LSTM检测模型，最后采用该LSTM检测模型对待检测数据进行检测处理，得到故障检测结果，实现了采用LSTM模型对存储设备故障状态进行检测，提高了存储设备故障检测的准确率，进而再对存储设备进行有效的维护操作，提高了存储设备执行时的可靠性和稳定性。
以下通过另一具体的实施例，对本申请提供的一种存储设备故障检测方法，做进一步说明。
本实施例中，该方法可以包括：
首先根据突变点检测算法选择原始特征值，然后以8：2比例划分训练集和测试集，对训练集进行采样，输出训练矩阵，然后利用Keras构建LSTM网络模型，最后进行模型训练并预测。
其中，特征选择的过程，主要包括以下几个步骤：
选取如下12个SMART特征值：
5_raw/5_norm/183_raw/183_norm/184_raw/184_norm/187_raw/187_norm/188_raw/188_norm/197_raw/197_norm/。
采样实现的过程主要包括以下步骤：
首先，选择30000块好盘及2500块坏盘，并按照8：2的比例随机划分出训练集和测试集，训练集包含24000块好盘及2000块坏盘，样本数总计26000，测试集包含6000块好盘及500块坏盘，样本数总计6500。
然后，针对训练集中的每一个样本进行采样处理，包括以下步骤：
步骤1，截取最后60天的SMART特征值，组成一个二维矩阵，大小60x12；
步骤2，以14天为滑动窗口，步长为1，共计60天的时间轴，索引0-59，共可滑动47次，得到47个样本点，每个样本点的大小为14x12，第一个样本点的时间跨度为0-1-2-…-13，第二个样本点的时间跨度1-2-3-…-14，一直到46-47-48-…-59；
步骤3，最后14个样本点的标签为1，其余样本点的标签为0；
步骤4，将每个样本添加到一个三维训练矩阵X中；
步骤5，将标签添加到一个一维标签矩阵Y中；
步骤6，将训练矩阵和标签矩阵随机打散。
最后，当处理完成，训练样本总数为26000*47＝1222000个，三维训练矩阵的大小为1222000x14x12，对应的一维标签矩阵大小为1222000x1。
其中，模型构建的过程，主要包括以下几个步骤：
步骤1，利用Keras创建一个Sequential序贯模型；
步骤2，添加一个LSTM隐藏层，隐藏层有50个神经元，输入形状为14x12；
步骤3，添加一个全连接层，神经元个数12，激活函数relu；
步骤4，添加一个输出层，神经元个数1，激活函数sigmoid。
其中，设置验证集占比default_validation_split为0.15，设置梯度下降批大小Batch_size为100，设置梯度下降迭代次数epochs为50。
最后，将采样得到的三维训练矩阵及一维标签矩阵输入到模型中进行训练，得到LSTM模型
此外，测试的过程，主要包括以下几个步骤：
首先，选择测试集中的一个样本；
然后，截取最后14天的SMART特征值，组成一个二维矩阵，大小14x12；将该二维矩阵添加到一个三维测试矩阵中；其中，好盘标签为0，坏盘标签为1；将该二维测试矩阵输入LSTM模型进行预测，预测结果大于等于0.5认为是正样本，否则为负样本。
最后，与测试样本原标签进行对比，判断预测的准确性。
可见，本实施例通过先对原始存储设备特征数据进行滑动窗口步长采样处理，提高训练数据的数据量，最后得到三维训练矩阵和一维标签矩阵，然后进行长短时记忆网络训练，得到LSTM检测模型，最后采用该LSTM检测模型对待检测数据进行检测处理，得到故障检测结果，实现了采用LSTM模型对存储设备故障状态进行检测，提高了存储设备故障检测的准确率，进而再对存储设备进行有效的维护操作，提高了存储设备执行时的可靠性和稳定性。
下面对本申请实施例提供的一种存储设备故障检测装置进行介绍，下文描述的一种存储设备故障检测装置与上文描述的一种存储设备故障检测方法可相互对应参照。
请参考图2，图2为本申请实施例所提供的一种存储设备故障检测装置的结构示意图。
本实施例中，该装置可以包括：
特征采样模块100，用于对原始存储设备特征数据进行滑动窗口步长采样处理，得到三维训练矩阵和一维标签矩阵；
模型训练模块200，用于采用Keras神经网络库根据三维训练矩阵和一维标签矩阵进行长短时记忆网络训练，得到LSTM检测模型；
故障检测模块300，用于采用LSTM检测模型对待检测数据进行检测处理，得到故障检测结果。
可选的，该特征采样模块100，可以包括：
特征选择单元，用于根据突变点检测算法对原始存储设备特征数据进行选择，得到原始特征值；
特征数据划分单元，用于将原始特征值划分为训练集和测试集；
样本点采样单元，用于根据磁盘SMART规则、预设滑动大小以及预设步长对训练集和测试集进行样本点采样，得到三维训练矩阵；
标签处理单元，用于对三维训练矩阵打标签处理，得到一维标签矩阵。
可选的，该模型训练模块200，可以包括：
模型构建单元，用于采用Keras神经网络库构建出序贯模型；
网络配置单元，用于对序贯模型添加LSTM隐藏层、全连接层以及输出层，并进行配置，得到长短时记忆网络；
网络训练单元，用于根据三维训练矩阵和一维标签矩阵对长短时记忆网络进行训练，得到LSTM检测模型。
本申请实施例还提供一种存储服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如以上实施例所述的存储设备故障检测方法的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的存储设备故障检测方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种存储设备故障检测方法、存储设备故障检测装置、存储服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种存储设备故障检测方法，其特征在于，包括：
对原始存储设备特征数据进行滑动窗口步长采样处理，得到三维训练矩阵和一维标签矩阵；
采用Keras神经网络库根据所述三维训练矩阵和所述一维标签矩阵进行长短时记忆网络训练，得到LSTM检测模型；
采用所述LSTM检测模型对待检测数据进行检测处理，得到故障检测结果。
2.根据权利要求1所述的存储设备故障检测方法，其特征在于，对原始存储设备特征数据进行滑动窗口步长采样处理，得到三维训练矩阵和一维标签矩阵，包括：
根据突变点检测算法对所述原始存储设备特征数据进行选择，得到原始特征值；
将所述原始特征值划分为训练集和测试集；
根据磁盘SMART规则、预设滑动大小以及预设步长对所述训练集和所述测试集进行样本点采样，得到所述三维训练矩阵；
对所述三维训练矩阵打标签处理，得到所述一维标签矩阵。
3.根据权利要求2所述的存储设备故障检测方法，其特征在于，根据磁盘SMART规则、预设滑动大小以及预设步长对所述训练集和所述测试集进行样本点采样，得到所述三维训练矩阵，包括：
根据所述SMART规则对所述训练集和所述测试集进行数据截取，得到SMART特征值；
按照所述预设滑动大小和所述预设步长对所述SMART特征值进行滑动窗口采样处理，得到所述三维训练矩阵。
4.根据权利要求1所述的存储设备故障检测方法，其特征在于，采用Keras神经网络库根据所述三维训练矩阵和所述一维标签矩阵进行长短时记忆网络训练，得到LSTM检测模型，包括：
采用所述Keras神经网络库构建出序贯模型；
对所述序贯模型添加LSTM隐藏层、全连接层以及输出层，并进行配置，得到长短时记忆网络；
根据所述三维训练矩阵和所述一维标签矩阵对所述长短时记忆网络进行训练，得到所述LSTM检测模型。
5.根据权利要求1所述的存储设备故障检测方法，其特征在于，采用所述LSTM检测模型对待检测数据进行检测处理，得到故障检测结果，包括：
对所述待检测数据进行特征提取处理，得到特征数据；
采用所述LSTM检测模型对所述特征数据进行计算，得到所述故障检测结果。
6.一种存储设备故障检测装置，其特征在于，包括：
特征采样模块，用于对原始存储设备特征数据进行滑动窗口步长采样处理，得到三维训练矩阵和一维标签矩阵；
模型训练模块，用于采用Keras神经网络库根据所述三维训练矩阵和所述一维标签矩阵进行长短时记忆网络训练，得到LSTM检测模型；
故障检测模块，用于采用所述LSTM检测模型对待检测数据进行检测处理，得到故障检测结果。
7.根据权利要求6所述的存储设备故障检测装置，其特征在于，所述特征采样模块，包括：
特征选择单元，用于根据突变点检测算法对所述原始存储设备特征数据进行选择，得到原始特征值；
特征数据划分单元，用于将所述原始特征值划分为训练集和测试集；
样本点采样单元，用于根据磁盘SMART规则、预设滑动大小以及预设步长对所述训练集和所述测试集进行样本点采样，得到所述三维训练矩阵；
标签处理单元，用于对所述三维训练矩阵打标签处理，得到所述一维标签矩阵。
8.根据权利要求6所述的存储设备故障检测装置，其特征在于，所述模型训练模块，包括：
模型构建单元，用于采用所述Keras神经网络库构建出序贯模型；
网络配置单元，用于对所述序贯模型添加LSTM隐藏层、全连接层以及输出层，并进行配置，得到长短时记忆网络；
网络训练单元，用于根据所述三维训练矩阵和所述一维标签矩阵对所述长短时记忆网络进行训练，得到所述LSTM检测模型。
9.一种存储服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的存储设备故障检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的存储设备故障检测方法的步骤。
CN201911205014.6A 2019-11-29 2019-11-29 一种存储设备故障检测方法及相关装置 Pending CN111091863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911205014.6A CN111091863A (zh) 2019-11-29 2019-11-29 一种存储设备故障检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911205014.6A CN111091863A (zh) 2019-11-29 2019-11-29 一种存储设备故障检测方法及相关装置

Publications (1)

Publication Number Publication Date
CN111091863A true CN111091863A (zh) 2020-05-01

Family

ID=70393222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911205014.6A Pending CN111091863A (zh) 2019-11-29 2019-11-29 一种存储设备故障检测方法及相关装置

Country Status (1)

Country Link
CN (1) CN111091863A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418623A (zh) * 2020-11-12 2021-02-26 国网河南省电力公司郑州供电公司 基于双向长短时记忆网络和滑动窗输入的反窃电识别方法
CN112559229A (zh) * 2020-12-24 2021-03-26 浪潮(北京)电子信息产业有限公司 非易失性内存寿命检测方法、装置、电子设备及存储介质
CN112737834A (zh) * 2020-12-25 2021-04-30 北京浪潮数据技术有限公司 一种云硬盘故障预测方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715655B2 (en) * 2013-12-18 2017-07-25 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for performing close-loop programming of resistive memory devices in crossbar array based hardware circuits and systems
KR101880907B1 (ko) * 2017-09-22 2018-08-16 펜타시큐리티시스템 주식회사 비정상 세션 감지 방법
CN108647136A (zh) * 2018-05-10 2018-10-12 南京道熵信息技术有限公司 基于smart信息和深度学习的硬盘损坏预测方法及装置
CN109583570A (zh) * 2018-11-30 2019-04-05 重庆大学 基于深度学习确定桥梁健康监测系统异常数据来源的方法
CN110334478A (zh) * 2019-07-22 2019-10-15 山东浪潮人工智能研究院有限公司 机器设备异常检测模型构建方法、检测方法及模型
CN110413227A (zh) * 2019-06-22 2019-11-05 华中科技大学 一种硬盘设备的剩余使用寿命在线预测方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715655B2 (en) * 2013-12-18 2017-07-25 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for performing close-loop programming of resistive memory devices in crossbar array based hardware circuits and systems
KR101880907B1 (ko) * 2017-09-22 2018-08-16 펜타시큐리티시스템 주식회사 비정상 세션 감지 방법
CN108647136A (zh) * 2018-05-10 2018-10-12 南京道熵信息技术有限公司 基于smart信息和深度学习的硬盘损坏预测方法及装置
CN109583570A (zh) * 2018-11-30 2019-04-05 重庆大学 基于深度学习确定桥梁健康监测系统异常数据来源的方法
CN110413227A (zh) * 2019-06-22 2019-11-05 华中科技大学 一种硬盘设备的剩余使用寿命在线预测方法和系统
CN110334478A (zh) * 2019-07-22 2019-10-15 山东浪潮人工智能研究院有限公司 机器设备异常检测模型构建方法、检测方法及模型

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418623A (zh) * 2020-11-12 2021-02-26 国网河南省电力公司郑州供电公司 基于双向长短时记忆网络和滑动窗输入的反窃电识别方法
CN112559229A (zh) * 2020-12-24 2021-03-26 浪潮(北京)电子信息产业有限公司 非易失性内存寿命检测方法、装置、电子设备及存储介质
CN112559229B (zh) * 2020-12-24 2023-08-22 浪潮(北京)电子信息产业有限公司 非易失性内存寿命检测方法、装置、电子设备及存储介质
CN112737834A (zh) * 2020-12-25 2021-04-30 北京浪潮数据技术有限公司 一种云硬盘故障预测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108647136B (zh) 基于smart信息和深度学习的硬盘损坏预测方法及装置
CN106897178B (zh) 一种基于极限学习机的慢盘检测方法及系统
AU2019210603B2 (en) Processing data for use in a cognitive insights platform
CN108052528A (zh) 一种存储设备时序分类预警方法
CN111091863A (zh) 一种存储设备故障检测方法及相关装置
CN110619210A (zh) 一种模拟器检测方法及系统
CN104503874A (zh) 一种云计算平台的硬盘故障预测方法
CN112214369A (zh) 基于模型融合的硬盘故障预测模型建立方法及其应用
WO2022001125A1 (zh) 一种存储系统的存储故障预测方法、系统及装置
CN109828750B (zh) 自动配置数据埋点的方法、装置、电子设备及存储介质
CN114943321A (zh) 一种针对硬盘的故障预测方法、装置及设备
CN113722134A (zh) 一种集群故障处理方法、装置、设备及可读存储介质
CN111639470B (zh) 一种处理器协同芯片的仿真测试方法、系统及相关组件
CN115952081A (zh) 一种软件测试方法、装置、存储介质及设备
CN112214768A (zh) 一种恶意进程的检测方法及装置
CN114860542A (zh) 趋势预测模型的优化方法、优化装置、电子设备和介质
US8850407B2 (en) Test script generation
CN113822336A (zh) 一种云硬盘故障预测方法、装置、系统及可读存储介质
JP2016149123A (ja) 未知のバイナリモジュールのための有効な入力を決定する方法及び非一時的なコンピュータ可読媒体
CN111858108A (zh) 一种硬盘故障预测方法、装置、电子设备和存储介质
US10546080B1 (en) Method and system for identifying potential causes of failure in simulation runs using machine learning
CN116682479A (zh) 一种企业级固态硬盘时延指标的测试方法及测试系统
CN107402883B (zh) 一种数据测试处理方法和装置
CN115525528A (zh) 页面质量检测方法、装置、电子设备和存储介质
CN111488284A (zh) 一种用于OpenStack云平台的模拟操作主动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200501

RJ01 Rejection of invention patent application after publication