CN115878391A - 磁盘异常的检测方法及装置 - Google Patents
磁盘异常的检测方法及装置 Download PDFInfo
- Publication number
- CN115878391A CN115878391A CN202111151646.6A CN202111151646A CN115878391A CN 115878391 A CN115878391 A CN 115878391A CN 202111151646 A CN202111151646 A CN 202111151646A CN 115878391 A CN115878391 A CN 115878391A
- Authority
- CN
- China
- Prior art keywords
- disk
- model
- smart
- dimensional
- anomaly detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明提供一种磁盘异常的检测方法及装置。所述方法包括：根据磁盘的磁盘保护SMART信息构建二维磁盘SMART状态特征；将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果；其中，所述异常检测模型为通过磁盘健康样本训练得到的模型。本发明提供的磁盘异常的检测方法及装置，通过将磁盘健康样本训练后的模型作为磁盘的异常检测模型，有效的解决了在使用异常样本作训练模型时样本数量不足的问题。与此同时，将磁盘的磁盘型号特征和二维磁盘SMART状态特征融合作为模型的输入，使得模型能够学习到不同型号磁盘之间的行为差异，进而能够适应多磁盘异构的数据中心使用场景。
Description
技术领域
本发明涉及数据存储技术领域，具体涉及一种磁盘异常的检测方法及装置。
背景技术
现有的磁盘异常检测可以根据在线采集获得的磁盘相关的信息文件等输入特征，加载当前的磁盘异常检测模型对磁盘异常进行检测。
现有磁盘异常方法中，由于磁盘异常只是一个小概率事件，所以从数据中心采集到的训练样本面临严重的样本不均衡问题。样本不均衡是指正样本(异常磁盘样本)和负样本(健康磁盘样本)的数量比例相差太大，数据采集不足使得无法保证模型的训练，从而导致模型检测性能极度下降。与此同时，为了提高存储节点的健壮性，数据中心的存储服务器通常采用不同接口类型、不同厂商、不同型号的磁盘搭建，从而带来了多型号磁盘异构问题。即由于磁盘状态之间存在差异，无法仅使用一个简单的机器学习模型用于精确地检测所有型号磁盘的实时状态。
因此，如何提出一种方法，能够规避磁盘检测模型训练时样本不均衡的问题，以及能在不同型号磁盘之间存在差异的情况下，实现对磁盘异常的检测，具有十分重要的意义。
发明内容
本发明提供一种磁盘异常的检测方法及装置，用以解决现有技术中磁盘检测模型训练时样本不均衡以及磁盘异常检测时无法适应多种磁盘型号的技术问题。
第一方面，本发明提供一种磁盘异常的检测方法，包括：
根据磁盘的磁盘保护SMART信息构建二维磁盘SMART状态特征；
将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果；
其中，所述异常检测模型为通过磁盘健康样本训练得到的模型。
在一个实施例中，所述根据磁盘的SMART信息构建二维磁盘SMART状态特征，包括：
将所述磁盘的SMART信息中的采集时间作为X维，将所述磁盘的SMART信息中的属性编号作为Y维，构建二维磁盘SMART状态特征。
在一个实施例中，所述将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果，包括：
通过所述训练后的异常检测模型的条件网络将所述磁盘的型号特征和所述二维磁盘SMART状态特征融合，构建初始特征图像；
通过所述训练后的异常检测模型的生成网络根据所述初始特征图像，确定初始特征图像的第一潜在向量，根据所述第一潜在向量确定生成特征图像，根据所述生成特征图像确定所述生成特征图像的第二潜在向量；
通过所述训练后的异常检测模型的预测网络根据所述第一潜在向量和所述第二潜在向量的差异度，确定磁盘的异常检测结果。
在一个实施例中，所述异常检测模型是基于如下步骤训练得到的：
将磁盘健康样本中磁盘二维SMART数据特征以及磁盘型号特征输入条件网络，生成磁盘健康样本的初始特征图像；
将所述磁盘健康样本的初始特征图像输入生成网络，输出磁盘健康样本的生成特征图像；
将所述磁盘健康样本的初始特征图像与生成特征图像输入异常检测模型的判别网络，根据所述磁盘健康样本的初始特征图像与生成特征图像的差异度调整异常检测模型的参数，得到所述异常检测模型。
在一个实施例中，所述根据所述第一潜在向量和所述第二潜在向量的差异度，确定磁盘的异常检测结果，包括：
确定所述第一潜在向量和所述第二潜在向量之间的欧式距离；
在所述欧式距离大于预设阈值的情况下，将所述磁盘确定为异常磁盘。
在一个实施例中，所述磁盘的型号特征是通过如下方式确定的：
将磁盘的型号信息基于词嵌入技术转换为磁盘型号信息的词向量，根据所述词向量确定磁盘的型号特征。
在一个实施例中，还包括：所述二维磁盘SMART状态特征是基于滑动窗口算法获取的。
第二方面，本发明还提供一种磁盘异常的检测装置，包括：
二维磁盘特征构建模块，用于根据磁盘的磁盘保护SMART信息构建二维磁盘SMART状态特征；
磁盘异常检测模块，用于将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果；
其中，所述异常检测模型为通过磁盘健康样本训练得到的模型。
第三方面，本发明还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一种的磁盘异常的检测方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一种的磁盘异常的检测方法的步骤。
本发明提供的磁盘异常的检测方法、装置、电子设备及存储介质，通过将磁盘健康样本训练后的模型作为磁盘的异常检测模型，从而判断磁盘样本是否存在异常，有效的解决了在使用异常样本作训练模型时样本数量不足的问题。与此同时，将磁盘的磁盘型号特征和二维磁盘SMART状态特征融合作为模型的输入，使得模型能够学习到不同型号磁盘之间的行为差异，进而能够适应多磁盘异构的数据中心使用场景。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的磁盘异常的检测方法的流程示意图；
图2为应用本发明提供的磁盘异常的检测方法的结构示意图；
图3为本发明提供的磁盘异常的检测装置的结构示意图；
图4为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的磁盘异常的检测方法的流程示意图。参照图1，本发明提供的磁盘异常的检测方法可以包括：
S110、根据磁盘的磁盘保护SMART信息构建二维磁盘SMART状态特征；
S120、将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果；
其中，所述异常检测模型为通过磁盘健康样本训练得到的模型。
本发明提供的磁盘异常的检测方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明不作具体限定。
下面以计算机执行本发明提供的磁盘异常的检测方法为例，详细说明本发明的技术方案。
需要说明的是，磁盘样本可以包括磁盘健康样本和磁盘异常样本。其中，磁盘健康样本为磁盘正常工作时的磁盘信息，磁盘异常样本为磁盘出现故障或者异常时的磁盘信息。
在步骤S110中，根据磁盘的磁盘保护SMART信息构建二维磁盘SMART状态特征。
具体地，磁盘的SMART(Self-Monitoring Analysis and Reporting Techmology，自我监测、分析及报告技术)技术是一种检测和报告磁盘可靠性指标的方法。其中，磁盘的SMART信息包括重新分配扇区计数、负载周期、寻优率以及读取错误等指标信息。
可以理解的是，根据磁盘的SMART信息构建二维磁盘SMART状态特征不仅可以体现磁盘的运行状态，同时也方便后续检测模型将二维磁盘SMART状态特征作为输入特征进行处理。
在步骤S120中，将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果。
具体地，待检测的磁盘的状态可为健康，可为异常。将磁盘的型号特征和磁盘的状态特征输入训练后的异常检测模型，能根据不同型号磁盘之间存在的潜在差异，针对具体型号的磁盘实现异常检测。
其中，所述异常检测模型为通过磁盘健康样本训练得到的模型。
可选地，可以仅通过少量磁盘健康样本对异常检测模型进行训练，得到训练后的异常检测模型。从而根据训练后的异常检测模型，实现对磁盘异常的实时检测。
可以理解的是，磁盘的检测模型面临不均衡样本问题。在磁盘运行的过程中，磁盘异常只是一个小概率事件，从数据中心采集到的训练样本面临严重的样本不均衡问题。样本不均衡是指正样本(磁盘异常样本)和负样本(磁盘健康样本)的数量比例相差太大。本发明中采用磁盘健康样本对所述异常检测模型进行训练，有效的规避了样本不均衡的问题。
本发明提供的磁盘异常的检测方法，通过将磁盘健康样本训练后的模型作为磁盘的异常检测模型，从而判断磁盘样本是否存在异常，有效的解决了在使用异常样本作训练模型时样本数量不足的问题。与此同时，将磁盘的磁盘型号特征和二维磁盘SMART状态特征融合作为模型的输入，使得模型能够学习到不同型号磁盘之间的行为差异，进而能够适应多磁盘异构的数据中心使用场景。
在一个实施例中，根据磁盘的SMART信息构建二维磁盘SMART状态特征，包括：将所述磁盘的SMART信息中的采集时间作为X维，将所述磁盘的SMART信息中的属性编号作为Y维，构建二维磁盘SMART状态特征。
可以理解的是，以磁盘的SMART信息中的采集时间作为二维磁盘SMART状态特征的X维，以时序化的方式实现了磁盘信息的特征构建。同时，磁盘的SMART信息中的属性编号中包含有对应的属性信息。构建后的二维磁盘SMART状态特征可以以时序化的方式方便后续输入模型进行检测。
本发明提供的磁盘异常的检测方法，通过构建二维磁盘SMART状态特征，并在模型训练过程中将磁盘的磁盘型号特征和二维磁盘SMART状态特征融合作为模型的输入，使得模型能够学习到不同型号磁盘之间的行为差异，进而能够适应多磁盘异构的数据中心使用场景。
在一个实施例中，将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果，包括：通过所述训练后的异常检测模型的条件网络将所述磁盘的型号特征和所述二维磁盘SMART状态特征融合，构建初始特征图像；通过所述训练后的异常检测模型的生成网络根据所述初始特征图像，确定初始特征图像的第一潜在向量，根据所述第一潜在向量确定生成特征图像，根据所述生成特征图像确定所述生成特征图像的第二潜在向量；通过所述训练后的异常检测模型的预测网络根据所述第一潜在向量和所述第二潜在向量的差异度，确定磁盘的异常检测结果。
可选地，异常检测模型中可以包括条件网络、生成网络以及预测网络。条件网络接收磁盘的型号特征和二维磁盘SMART状态特征，将所述磁盘的型号特征和所述二维磁盘SMART状态特征融合，构建初始特征图像作为生成网络的输入。
生成网络可以基于自编码器技术优化设计，由两个编码器和一个解码构成。用于学习初始特征图像中的输入特征，仿照产生伪造但包含输入特征的生成特征图像。具体地，生成网络的第一个编码器接收初始特征图像，输出初始特征图像的第一潜在向量。然后将所述第一潜在向量输入生成网络中的解码器，输出生成特征图像。在获取生成特征图像后，生成网络的第二个编码器接收所述生成特征图像，输出所述生成特征图像的第二潜在向量。
预测网络可以在生成器的基础上，外加一个二分类器构成，用于比对初始特征图像和生成特征图像的潜在特征的距离，确定磁盘的健康或者异常状态。
本发明提供的磁盘异常的检测方法，通过条件网络、生成网络以及预测网络构建磁盘的异常检测模型，从而判断磁盘样本是否存在异常，实现了对磁盘异常的检测。与此同时，将磁盘的磁盘型号特征和二维磁盘SMART状态特征融合作为模型的输入，使得模型能够学习到不同型号磁盘之间的行为差异，进而能够适应多磁盘异构的数据中心使用场景。
在一个实施例中，所述异常检测模型是基于如下步骤训练得到的：将磁盘健康样本中磁盘二维SMART数据特征以及磁盘型号特征输入条件网络，生成磁盘健康样本的初始特征图像；将所述磁盘健康样本的初始特征图像输入生成网络，输出磁盘健康样本的生成特征图像；将所述磁盘健康样本的初始特征图像与生成特征图像输入异常检测模型的判别网络，根据所述磁盘健康样本的初始特征图像与生成特征图像的差异度调整异常检测模型的参数，得到所述异常检测模型。
可选地，可以选取少量磁盘健康样本，将磁盘健康样本的磁盘二维SMART数据特征以及磁盘型号特征输入条件网络，生成磁盘健康样本的初始特征图像。将所述磁盘健康样本的初始特征图像输入生成网络和判别网络，交替训练生成网络和判别网络多次，在每次训练后，计算整个模型的损失函数，使用梯度下降算法分别更新生成网络和判别网络参数，直到损失函数收敛。
其中，所述损失函数可以为混合损失，其表达式为：
Lmix＝wadvLadv+wconLcon+wencLenc (1)
其中，Lmix为混合损失，Ladv为特征匹配误差，Lcon为重构误差，Lenc为编码误差；wadv，wcon，wenc分别为前述三种误差的求和权值，为训练过程中需要人为调整的超参数。
所述特征匹配误差Ladv用于衡量初始特征图像与生成特征图像特征层面的差异程度，其表达式为：
其中，x为输入的初始特征图像，
为输入的初始特征图像的期望服从真实数据分布Pd(x)；G函数为生成器，输入初始特征图像x，产生生成特征图像x′；f函数为图像特征提取函数，作用为根据输入图像，输出该图像的图像特征。
所述重构误差Lcon用于衡量初始特征图像与生成特征图像像素层面上的差异程度，其表达式为：
所述编码误差Lenc用于衡量生成网络内部的第一编码器和第二编码器分别根据初始特征图像和生成特征图像生成的第一潜在向量和第二潜在向量之间的差异程度。其表达式为：
其中，E1函数和E2函数分别代表生成网络中的第一编码器和第二编码器的函数。
本发明提供的磁盘异常的检测方法，通过将磁盘健康样本输入异常检测模型，实现对磁盘的异常检测模型的训练，从而使用训练后的异常检测模型判断磁盘样本是否存在异常，有效的解决了在使用异常样本作训练模型时样本数量不足的问题。
在一个实施例中，所述根据所述第一潜在向量和所述第二潜在向量的差异度，确定磁盘的异常检测结果，包括：确定所述第一潜在向量和所述第二潜在向量之间的欧式距离；在所述欧式距离大于预设阈值的情况下，将所述磁盘确定为异常磁盘。
可选地，在生成网络根据初始特征图像产生生成特征图像、第一潜在向量和第二潜在向量之后，将第一潜在向量和第二潜在向量输入预测网络中。预测网络计算第一潜在向量和第二潜在向量之间的欧式距离，与预设阈值比较，输出磁盘的异常检测结果，其表达式为：
其中，x为输入的初始特征图像；S(x)为待检测磁盘的异常检测结果，待检测磁盘的状态为健康或者异常，其中1表示异常，0表示健康；E1函数和E2函数分别代表生成网络中的第一编码器和第二编码器的函数；G函数为生成器，输入初始特征图像x，产生生成特征图像x′。
可以理解的是，健康磁盘的第一潜在向量和第二潜在向量之间的欧式距离会小于预设阈值，异常磁盘的第一潜在向量和第二潜在向量距离之间的欧式距离会大于预设阈值。其中预设阈值是在训练过程设置的可调的超参数，训练完毕后不再可调。
本发明提供的磁盘异常的检测方法，通过确定第一潜在向量和第二潜在向量之间的欧式距离大于预设阈值的磁盘为异常磁盘，实现了对异常磁盘的检测。
在一个实施例中，磁盘的型号特征是通过如下方式确定的：将磁盘的型号信息基于词嵌入技术转换为磁盘型号信息的词向量，根据所述词向量确定磁盘的型号特征。
具体地，在获取磁盘的型号信息后，将高维的自然语言磁盘型号信息，转化为低维的磁盘型号信息的词向量，从而根据所述词向量，确定磁盘的型号特征输入异常检测模型。
本发明提供的磁盘异常的检测方法，通过将磁盘的型号信息基于词嵌入技术转换为磁盘型号信息的词向量，根据所述词向量确定磁盘的型号特征，并将磁盘的磁盘型号特征和二维磁盘SMART状态特征融合作为模型的输入，使得模型能够学习到不同型号磁盘之间的行为差异，进而能够适应多磁盘异构的数据中心使用场景。
在一个实施例中，二维磁盘SMART状态特征是基于滑动窗口算法获取的。
具体地，构建二维磁盘SMART状态特征后，在异常检测模型进行训练或者实际使用的情况下，可以基于滑动窗口算法获取二维磁盘SMART状态特征。
本发明提供的磁盘异常的检测方法，通过基于滑动窗口算法获取二维磁盘SMART状态特征，并将磁盘的磁盘型号特征和二维磁盘SMART状态特征融合作为模型的输入，使得模型能够学习到不同型号磁盘之间的行为差异，进而能够适应多磁盘异构的数据中心使用场景。
下面以一应用本发明提供的磁盘异常的检测方法的结构示意图为例，说明本发明提供的技术方案：
如图2所示，异常检测模型是基于深度条件生成对抗卷积神经网络搭建。所述异常检测模型由条件网络、生成网络、判别网络和预测网络四部分构成。
其中，条件网络是基于词嵌入技术优化设计，用于将磁盘型号特征转换成词向量。同时，融合二维磁盘SMART状态特征，生成初始特征图像。
生成网络基于自编码器技术优化设计的，由两个编码器和一个解码构成。用于学习初始特征图像中的输入特征，仿照产生伪造但包含输入特征的生成特征图像。
判别网络基于自编码技术优化设计的，仅由一个编码器构成，但编码器的结构与生成网络的编码器一致，用于判别初始特征图像和生成特征图像的真伪，进而指导生成网络产生真实度更高的生成特征图像。
预测网络是在生成器的基础上，外加一个二分类器构成，用于比对初始特征图像和生成特征图像的潜在特征的距离，确定磁盘的异常检测结果。
所述深度条件生成对抗卷积网络使用前需要进行模型训练，训练过程包括：
利用窗口滑动算法将健康磁盘SMART数据依次划分成N×N的二维SMART数据特征，输入条件网络，其中N为初始设置的样本集的大小；
条件网络利用词嵌入技术将型号特征转换成N×N词向量，并将其与二维SMART数据特征进行融合，产生输入特征作为初始特征图像，输入生成网络和判别网络；
交替训练生成网络和判别网络，每次训练后，计算整个模型的损失函数，使用梯度下降算法分别更新生成网络和判别网络参数，直到损失函数收敛。
具体地，所述生成网络单次训练过程包括：将条件网络产生的初始特征图像输入生成网络中，通过第一编码器提取并学习初始特征图像中的输入特征，编码产生第一潜在向量；将第一潜在向量输入生成网络中的第一解码器中，通过第一解码器提取并学习第一潜在向量中的输入特征，解码还原成生成特征图像；将生成特征图像输入第二编码器中，通过第二编码器提取并学习生成特征图像中的输入特征，编码产生第二潜在向量。所述生成网络的训练用于学习初始特征图像中的输入特征，仿照产生伪造但包含输入特征的生成特征图像。
所述判别网络单次训练过程包括：将初始特征图像和生成特征图像依次输入判别网络，由判别网络中的编码器始终将初始特征图像输出结果标记为0，表示其包含真实的输入特征，始终将生成特征图像输出结果标记为1，表示其包含伪造的输入特征。所述判别网络的训练用于判别初始特征图像和生成特征图像的真伪，进而指导生成网络产生真实度更高的生成图片。
完成异常检测模型的训练后，在使用时，基于训练后的异常检测模型，输入的目标磁盘的磁盘型号特征和二维磁盘SMART状态特征，确定所述目标磁盘的状态。其中，所述目标磁盘的状态包括健康状态和异常状态。
本发明还提供一种磁盘异常的检测装置，该装置与上文描述的磁盘异常的检测方法可相互对应参照。
图3为本发明提供的磁盘异常的检测装置的结构示意图，如图3所示，该装置包括：
二维磁盘特征构建模块310，用于根据磁盘的磁盘保护SMART信息构建二维磁盘SMART状态特征；
磁盘异常检测模块320，用于将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果；
其中，所述异常检测模型为通过磁盘健康样本训练得到的模型。
本发明提供的磁盘异常的检测装置，通过将磁盘健康样本训练后的模型作为磁盘的异常检测模型，从而判断磁盘样本是否存在异常，有效的解决了在使用异常样本作训练模型时样本数量不足的问题。与此同时，将磁盘的磁盘型号特征和二维磁盘SMART状态特征融合作为模型的输入，使得模型能够学习到不同型号磁盘之间的行为差异，进而能够适应多磁盘异构的数据中心使用场景。
在一个实施例中，二维磁盘特征构建模块310具体用于：
将所述磁盘的SMART信息中的采集时间作为X维，将所述磁盘的SMART信息中的属性编号作为Y维，构建二维磁盘SMART状态特征。
在一个实施例中，磁盘异常检测模块320具体用于：
通过所述训练后的异常检测模型的条件网络将所述磁盘的型号特征和所述二维磁盘SMART状态特征融合，构建初始特征图像；
通过所述训练后的异常检测模型的生成网络根据所述初始特征图像，确定初始特征图像的第一潜在向量，根据所述第一潜在向量确定生成特征图像，根据所述生成特征图像确定所述生成特征图像的第二潜在向量；
通过所述训练后的异常检测模型的预测网络根据所述第一潜在向量和所述第二潜在向量的差异度，确定磁盘的异常检测结果。
在一个实施例中，磁盘异常检测模块320还具体用于：
将磁盘健康样本中磁盘二维SMART数据特征以及磁盘型号特征输入条件网络，生成磁盘健康样本的初始特征图像；
将所述磁盘健康样本的初始特征图像输入生成网络，输出磁盘健康样本的生成特征图像；
将所述磁盘健康样本的初始特征图像与生成特征图像输入异常检测模型的判别网络，根据所述磁盘健康样本的初始特征图像与生成特征图像的差异度调整异常检测模型的参数，得到所述异常检测模型。
在一个实施例中，磁盘异常检测模块320还具体用于：
确定所述第一潜在向量和所述第二潜在向量之间的欧式距离；
在所述欧式距离大于预设阈值的情况下，将所述磁盘确定为异常磁盘。
在一个实施例中，二维磁盘特征构建模块310还具体用于：
将磁盘的型号信息基于词嵌入技术转换为磁盘型号信息的词向量，根据所述词向量确定磁盘的型号特征。
在一个实施例中，二维磁盘特征构建模块310还具体用于：
基于滑动窗口算法获取二维磁盘SMART状态特征。
本发明还提供一种电子设备，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communication Interface)420、存储器(memory)430和通信总线(bus)440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行磁盘异常的检测方法的步骤，例如包括：
根据磁盘的磁盘保护SMART信息构建二维磁盘SMART状态特征；
将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果；
其中，所述异常检测模型为通过磁盘健康样本训练得到的模型。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的磁盘异常的检测方法的步骤，例如包括：
根据磁盘的磁盘保护SMART信息构建二维磁盘SMART状态特征；
将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果；
其中，所述异常检测模型为通过磁盘健康样本训练得到的模型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例提供的磁盘异常的检测方法的步骤，例如包括：
根据磁盘的磁盘保护SMART信息构建二维磁盘SMART状态特征；
将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果；
其中，所述异常检测模型为通过磁盘健康样本训练得到的模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种磁盘异常的检测方法，其特征在于，包括：
根据磁盘的磁盘保护SMART信息构建二维磁盘SMART状态特征；
将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果；
其中，所述异常检测模型为通过磁盘健康样本训练得到的模型。
2.根据权利要求1所述的磁盘异常的检测方法，其特征在于，所述根据磁盘的SMART信息构建二维磁盘SMART状态特征，包括：
将所述磁盘的SMART信息中的采集时间作为X维，将所述磁盘的SMART信息中的属性编号作为Y维，构建二维磁盘SMART状态特征。
3.根据权利要求1所述的磁盘异常的检测方法，其特征在于，所述将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果，包括：
通过所述训练后的异常检测模型的条件网络将所述磁盘的型号特征和所述二维磁盘SMART状态特征融合，构建初始特征图像；
通过所述训练后的异常检测模型的生成网络根据所述初始特征图像，确定初始特征图像的第一潜在向量，根据所述第一潜在向量确定生成特征图像，根据所述生成特征图像确定所述生成特征图像的第二潜在向量；
通过所述训练后的异常检测模型的预测网络根据所述第一潜在向量和所述第二潜在向量的差异度，确定磁盘的异常检测结果。
4.根据权利要求3所述的磁盘异常的检测方法，其特征在于，所述异常检测模型是基于如下步骤训练得到的：
将磁盘健康样本中磁盘二维SMART数据特征以及磁盘型号特征输入条件网络，生成磁盘健康样本的初始特征图像；
将所述磁盘健康样本的初始特征图像输入生成网络，输出磁盘健康样本的生成特征图像；
将所述磁盘健康样本的初始特征图像与生成特征图像输入异常检测模型的判别网络，根据所述磁盘健康样本的初始特征图像与生成特征图像的差异度调整异常检测模型的参数，得到所述异常检测模型。
5.根据权利要求3所述的磁盘异常的检测方法，其特征在于，所述根据所述第一潜在向量和所述第二潜在向量的差异度，确定磁盘的异常检测结果，包括：
确定所述第一潜在向量和所述第二潜在向量之间的欧式距离；
在所述欧式距离大于预设阈值的情况下，将所述磁盘确定为异常磁盘。
6.根据权利要求1所述的磁盘异常的检测方法，其特征在于，所述磁盘的型号特征是通过如下方式确定的：
将磁盘的型号信息基于词嵌入技术转换为磁盘型号信息的词向量，根据所述词向量确定磁盘的型号特征。
7.根据权利要求1所述的磁盘异常的检测方法，其特征在于，所述二维磁盘SMART状态特征是基于滑动窗口算法获取的。
8.一种磁盘异常的检测装置，其特征在于，包括：
二维磁盘特征构建模块，用于根据磁盘的磁盘保护SMART信息构建二维磁盘SMART状态特征；
磁盘异常检测模块，用于将磁盘的型号特征和二维磁盘SMART状态特征输入训练后的异常检测模型，得到磁盘的异常检测结果；
其中，所述异常检测模型为通过磁盘健康样本训练得到的模型。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的磁盘异常的检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的磁盘异常的检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111151646.6A CN115878391A (zh) | 2021-09-29 | 2021-09-29 | 磁盘异常的检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111151646.6A CN115878391A (zh) | 2021-09-29 | 2021-09-29 | 磁盘异常的检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115878391A true CN115878391A (zh) | 2023-03-31 |
Family
ID=85756128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111151646.6A Pending CN115878391A (zh) | 2021-09-29 | 2021-09-29 | 磁盘异常的检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115878391A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116259337A (zh) * | 2023-05-15 | 2023-06-13 | 合肥联宝信息技术有限公司 | 磁盘异常检测方法及模型训练方法、相关装置 |
-
2021
- 2021-09-29 CN CN202111151646.6A patent/CN115878391A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116259337A (zh) * | 2023-05-15 | 2023-06-13 | 合肥联宝信息技术有限公司 | 磁盘异常检测方法及模型训练方法、相关装置 |
| CN116259337B (zh) * | 2023-05-15 | 2023-09-05 | 合肥联宝信息技术有限公司 | 磁盘异常检测方法及模型训练方法、相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112734634B (zh) | 换脸方法、装置、电子设备和存储介质 | |
| CN111352965B (zh) | 序列挖掘模型的训练方法、序列数据的处理方法及设备 | |
| CN110390340B (zh) | 特征编码模型、视觉关系检测模型的训练方法及检测方法 | |
| CN108051660A (zh) | 一种变压器故障组合诊断模型建立方法及诊断方法 | |
| WO2019160003A1 (ja) | モデル学習装置、モデル学習方法、プログラム | |
| CN112883227B (zh) | 一种基于多尺度时序特征的视频摘要生成方法和装置 | |
| CN113597620A (zh) | 使用神经网络的压缩感测 | |
| CN111260620A (zh) | 图像异常检测方法、装置和电子设备 | |
| US20220335685A1 (en) | Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium | |
| CN114926835A (zh) | 文本生成、模型训练方法和装置 | |
| KR20220079726A (ko) | 의료 영상 기반의 질환 예측 방법 | |
| CN111862260A (zh) | 基于跨域对偶生成式对抗网络的偏见消除方法与装置 | |
| CN115878391A (zh) | 磁盘异常的检测方法及装置 | |
| CN115062779A (zh) | 基于动态知识图谱的事件预测方法及装置 | |
| JP2019105871A (ja) | 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置 | |
| CN113592769B (zh) | 异常图像的检测、模型的训练方法、装置、设备及介质 | |
| CN114003900A (zh) | 变电站二次系统网络入侵检测方法、装置及系统 | |
| WO2022096944A1 (en) | Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium | |
| CN117076171A (zh) | 一种面向多元时序数据的异常检测及定位方法及装置 | |
| CN113961962A (zh) | 一种基于隐私保护的模型训练方法、系统及计算机设备 | |
| CN113744158A (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| KR20220075119A (ko) | 의료 영상 기반의 뇌백질 병변 탐지 방법 | |
| CN111832942A (zh) | 一种基于机器学习的罪犯改造质量评估系统 | |
| CN117173530B (zh) | 目标异常检测方法及装置 | |
| KR20200048002A (ko) | 비대칭 tanh 활성 함수를 이용한 예측 성능의 개선 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |