CN107025154B - 磁盘的故障预测方法和装置 - Google Patents

磁盘的故障预测方法和装置 Download PDF

Info

Publication number
CN107025154B
CN107025154B CN201610065807.2A CN201610065807A CN107025154B CN 107025154 B CN107025154 B CN 107025154B CN 201610065807 A CN201610065807 A CN 201610065807A CN 107025154 B CN107025154 B CN 107025154B
Authority
CN
China
Prior art keywords
disk
data
sample
training
tested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610065807.2A
Other languages
English (en)
Other versions
CN107025154A (zh
Inventor
丁永明
周俊
崔卿
瞿神全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Tmall Technology Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610065807.2A priority Critical patent/CN107025154B/zh
Priority to PCT/CN2017/071695 priority patent/WO2017129030A1/zh
Priority to TW106102676A priority patent/TW201732591A/zh
Publication of CN107025154A publication Critical patent/CN107025154A/zh
Application granted granted Critical
Publication of CN107025154B publication Critical patent/CN107025154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2273—Test methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种磁盘的故障预测方法和装置。其中，该方法包括：通过磁盘监控技术获取磁盘的样本磁盘数据，其中，样本磁盘数据包括多个维度上的样本数据；采用GBDT算法对样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型；在接收到待测磁盘的磁盘数据之后，使用由多个决策树组成的磁盘预测模型对待测磁盘的磁盘数据进行处理，确定待测磁盘是否为故障磁盘。本发明解决了现有技术的硬盘故障预测系统中一些容易致使硬盘故障的因素不能被采集胡或量化导致的预测结果不准确的技术问题。

Description

磁盘的故障预测方法和装置
技术领域
本发明涉及磁盘领域，具体而言，涉及一种磁盘的故障预测方法和装置。
背景技术
目前，硬盘是存储数据的主要介质，硬盘一旦出故障，便会造成巨大的数据损失。因此如何保证硬盘的稳定性能非常重要。在通常状态下，硬盘在24小时中出错的概率在是万分之一左右，当一台服务器具有十块硬盘时，服务器硬盘出错的概率就会上升到千分之一，而随着当前网站等业务的发展，服务器需要使用的硬盘会越来越多，多块硬盘同时出错的概率也会提升。
通常情况下，数据存储通常会有多个备份，如mysql主备库，GFS文件默认3个备份。在大量数据存储平台上，如果多个硬盘同时出故障，那么这些硬盘上存储着同一个文件的备份的概率就会很高，即如果多块硬盘同时出现故障，就会导致一些文件的丢失，对于一些线上的服务，大都依赖于服务器中存储的海量数据，如果硬盘出故障，就会导致上述在线服务异常，甚至暂停使用。
由于上述原因，需要具有预测硬盘是否会出错的系统需要有一套系统能提前告诉我们哪些硬盘会出错，数据可能丢失导致硬盘故障的原因有很多，最常见的有以下几种：外部振动、温度和湿度、电器元件损坏、声音和灰尘，在上述因素中，有些因素能够被采集到，比如温度和湿度、一些元器件数据，但是更多的数据无法被采集和量化，因此便会导致预测结果不准确。
针对现有技术的硬盘故障预测系统中一些容易致使硬盘故障的因素不能被采集胡或量化导致的预测结果不准确的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种磁盘的故障预测方法和装置，以至少解决现有技术的硬盘故障预测系统中一些容易致使硬盘故障的因素不能被采集胡或量化导致的预测结果不准确的技术问题。
根据本发明实施例的一个方面，提供了一种磁盘的故障预测方法，包括：通过磁盘监控技术获取磁盘的样本磁盘数据，其中，样本磁盘数据包括多个维度上的样本数据；采用GBDT算法对样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型；在接收到待测磁盘的磁盘数据之后，使用由多个决策树组成的磁盘预测模型对待测磁盘的磁盘数据进行处理，确定待测磁盘是否为故障磁盘。
根据本发明实施例的另一方面，还提供了一种磁盘的故障预测装置，包括：通过磁盘监控技术获取磁盘的样本磁盘数据，其中，样本磁盘数据包括多个维度上的样本数据；采用GBDT算法对样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型；在接收到待测磁盘的磁盘数据之后，使用由多个决策树组成的磁盘预测模型对待测磁盘的磁盘数据进行处理，确定待测磁盘是否为故障磁盘。
在本发明实施例中，采用通过磁盘监控技术获取磁盘的样本磁盘数据，其中，样本磁盘数据包括多个维度上的样本数据；采用GBDT算法对样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型方式，通过在接收到待测磁盘的磁盘数据之后，使用由多个决策树组成的磁盘预测模型对待测磁盘的磁盘数据进行处理，达到了确定待测磁盘是否为故障磁盘的目的，从而实现了预测磁盘故障状态的技术效果，进而解决了现有技术的硬盘故障预测系统中一些容易致使硬盘故障的因素不能被采集胡或量化导致的预测结果不准确的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种磁盘的故障预测方法的计算机终端的硬件结构框图；
图2是根据本发明实施例的一种磁盘的故障预测方法的流程图；
图3是根据本发明实施例的一种使用GBDT算法对样本磁盘数据进行训练的示意图；
图4为根据本发明实施例的一种使用GBDT算法计算磁盘预测值的示意图；
图5是根据本发明实施例的一种可选的磁盘的故障预测方法的流程图；
图6是根据本发明实施例的一种磁盘的故障预测装置的结构示意图；
图7是根据本发明实施例的一种可选的磁盘的故障预测装置的结构示意图；
图8是根据本发明实施例的一种可选的磁盘的故障预测装置的结构示意图；
图9是根据本发明实施例的一种可选的磁盘的故障预测装置的结构示意图；
图10是根据本发明实施例的一种可选的磁盘的故障预测装置的结构示意图；以及
图11是根据本发明实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，还提供了一种磁盘的故障预测方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是根据本发明实施例的一种磁盘的故障预测方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的磁盘的故障预测方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
在上述运行环境下，本申请提供了如图2所示的一种磁盘的故障预测方法。图2是根据本发明实施例的一种磁盘的故障预测方法的流程图。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
在上述运行环境下，本申请提供了如图2所示的反编译数据的处理方法。图2是根据本发明实施例一的反编译数据的处理方法的流程图，如图2所示，该方法包括：
步骤21，通过磁盘监控技术获取磁盘的样本磁盘数据，其中，样本磁盘数据包括多个维度上的样本数据。
在上述步骤中，磁盘监控技术用于监测磁盘出厂后的使用过程中产生的各项磁盘数据，以预测磁盘的故障状态，使得磁盘使用者能够在磁盘发生故障之前便能知晓磁盘即将发生故障，从而对磁盘中的数据进行拷贝存储，避免数据的丢失。
在一种可选的实施例中，上述样本磁盘数据可以包括：底层数据读取错误率、启动/停止计数、重映射扇区数、通电时间累计、主轴起旋重试次数、磁盘校准重试次数、磁盘通电次数、温度以及写错误率，可以根据磁盘历史故障情况获取样本磁盘数据。例如，可以按照正负样本比例为1:5的比例进行样本获取，其中，正样本为存在故障的磁盘，负样本为不存在故障的磁盘。
此处需要说明的是，在通过磁盘监控技术获取磁盘的样本磁盘数据时，由于预测磁盘故障的各个机构使用的磁盘并不一定相同，且由于各个机构不同温湿度等环境因素对磁盘的影响，使得不同机构的磁盘的好坏比例并不相同，为了使样本磁盘数据的训练提供更可靠的样本磁盘数据，还可以根据机构的实际上磁盘损坏情况进行获取样本磁盘数据。
步骤S23，采用GBDT算法对样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型。
在上述步骤中，GBDT(Gradient Boosting Decision Tree)为一种迭代的决策树算法，该算法由多棵决策树组成，并通过对所有决策树的结论进行累加，得到最终结果。上述决策树作为一种预测模型，是在上一层决策得到的结果的基础上，进行下一层决策，包括决策点、状态结点、结果结点等参数，树中的每个节点表示被预测的对象，二每个分叉路径则代表该对象可能的属性。
在一种可选的实施例中，在上述样本磁盘为磁盘的S.M.A.R.T的原始值的情况下，对样本磁盘进行样本训练，例如，原始值大于等于预设原始值，可以认为该样本磁盘发生故障的概率较大，原始值小于预设值原始时，可以认为该样本磁盘发生故障的概率较小，因此在确定磁盘预测模型时，在样本磁盘的原始值大于等于预设原始值的情况下，确认该样本磁盘的属性为故障，在样本磁盘的原始值小于预设原始值的情况下，确认该样本磁盘的属性为非故障。建立具备上述决策能力的磁盘预测模型，即向决策树输入待检测磁盘时，若待检测磁盘的原始值大于等于预设原始值，决策树自动确认该待检测磁盘为故障的情况下，确认该样本磁盘的属性为故障，当样本磁盘的原始值小于预设原始值的情况下，确认该样本磁盘的属性为非故障。
步骤S25，在接收到待测磁盘的磁盘数据之后，使用由多个决策树组成的磁盘预测模型对待测磁盘的磁盘数据进行处理，确定待测磁盘是否为故障磁盘。
在一种可选的实施例中，将样本磁盘的多个维度的值作为决策树的评价指标，得到多个决策树，再由多个决策树构成一个磁盘预测模型，对待检测磁盘进行检测。
此处值得注意的是，根据磁盘每一个维度得到的决策树可能相同，可能不相同，因此在使用多个决策树构成磁盘预测模型时，需要根据每个决策树在评价体系中的重要性，来确认每个决策树的权重值，从而得到磁盘预测模型。
此处需要说明的是，在通过磁盘监控技术获取磁盘的样本磁盘数据时，采用了磁盘检测技术，使得获取样本磁盘数据的过程更为简单，且获取的数据更为全面，为样本磁盘数据的训练提供了丰富的磁盘样本数据。在上述步骤中，采用GBDT算法对样本磁盘数据进行样本训练可以是分两次或多次进行训练，以提高与训练结果对应的决策树构成的磁盘预测模型的准确率和召回率。
由此，本申请提供的上述实施例一的方案解决了现有技术的硬盘故障预测系统中一些容易致使硬盘故障的因素不能被采集或量化导致的预测结果不准确的技术问题。
根据本申请上述实施例，在一种优选的方案中，样本磁盘数据至少包括如下四个维度上的样本数据：原始值、标准值、最差值和累积值。
上述原始值为磁盘运行时的当前参数；上述标准值为正常磁盘运行时各项参数的数值；上述最差值为磁盘运行时，磁盘的各项检测参数曾出现过与正常值偏差最大的非正常值；上述累计值为磁盘的各项检测参数从磁盘使用至当前时刻的累计结果。
在一种可选的实施例中，磁盘的各项参数可以是对磁盘的各项属性进行描述的信息，可以包括错误读取率、加电次数、重新分配扇区数、旋转重试次数、磁盘校准重试次数以及奇偶校验错误率中的一项或多项，也可以包括磁盘的其他属性信息。
本申请上述步骤可以分别以上述四个维度上的样本数据得到多个不同的决策树。
在一种可选的实施例中，可以采用HDTune、CrystalDiskInfo等软件获取样本磁盘数据。
根据本申请上述实施例，在一种优选的方案中，在通过磁盘监控技术获取磁盘的样本磁盘数据之后，还包括：
步骤S211，对每个维度上的样本数据进行如下任意一种或多种运算：差分运算、平方运算和分布求和运算，使得任意一个维度上的样本数据被扩展出新的维度上的样本数据。
在上述步骤中，对决策结果进行进一步运算，可将决策树根据运算结果拓展出新的维度，得到这一维度上的样本数据。
此处值得注意的时，每个维度的样本数据都可以进行多种运算以在这一维度的基础上得到更多维度的样本数据，在有四个维度的基础上，每个维度再分别进行差分运算、平方运算和分布求和运算，便能够得到十六个维度的样本数据，且通过每个维度的样本数据进行决策的侧重点均不同。
在一种可选的实施例中，仍以原始值这一维度的样本数据为例，对原始值的样本数据进行差分运算、平方运算和分布求和运算，由此得到新的四个维度的样本数据，采用新的四个维度的样本数据最为决策指标进行训练，并得到新的四个决策树。
根据本申请上述实施例，在一种优选的方案中，采用GBDT算法对样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型，包括：
步骤S231，以所有磁盘的样本磁盘数据作为训练数据，并采用默认值初始化训练数据的分类模型参数。
在上述步骤中，初始化训练数据的分类模型参数可以是预先设置上述决策树的个数、每个决策树的层数，即对决策树的属性进行初步设置。
步骤S233，提取训练数据中的多个特征数据，将每个特征数据作为根节点在创建多个决策树，并将每个特征数据对应的特征值作为对应的决策树的叶子节点。
步骤S235，计算当前所有叶子节点的最优划分以及其增益，并以增益最大的叶子节点以及对应的划分点进行分裂，使得将样本磁盘数据划分到子节点中。
在上述步骤中，增益可以是标签值的最小化均方差，即每个样本的标签值与预测标签值做差后，求的差的平方，并计算所有差的平方的和，可以认为被预测出错的样本越多，均方差就越大，因此通过最小化均方差能够找到最优的分枝依据
上述决策树可以是以每个特征数据作为根节点的二叉树，且每个特数据对应于一个特征值，该特征值为以该特征数据为根节点的决策树的叶子节点。在确定决策树的叶子节点后，对叶子节点在进行下一步划分，此处值得注意的是，当对叶子节点进行进一步划分时，在多个叶子节点的增益不相同的情况下，划分增益最大的叶子节点，使所有样本数据都能划分至相应的叶子节点中。
在一种可选的实施例中，以样本磁盘为A、B、C和D四块磁盘为例，其中，A磁盘和B磁盘为正常磁盘，C磁盘和D磁盘为损坏的磁盘，在这一示例中，将正常磁盘对应于0，故障磁盘对应于1，因此，A、B、C和D四块磁盘分别对应为0、0、1、1。获取上述磁盘在第一维度上的特征值为A，使用GBDT算法对样本磁盘数据进行训练，图3是根据本发明实施例的一种使用GBDT算法对样本磁盘数据进行训练的示意图，结合图3所示，设置默认初始值为0.5，即每个磁盘为故障磁盘的概率为0.5，第一维度的阀值为A0，将特征值大于A0的磁盘划分为一个子节点，将第一维度上的特征值小于等于A0的磁盘划分为另一个子节点，并设置两个子节点的磁盘为故障磁盘的概率为0.5。
此处需要说明的当是，上述实施例为方便说明，仅选用了四个样本数据进行说明，因此只划分得到两个叶子节点，在实际应用中，根节点划分为两个叶子节点之后，仍可以继续划分，样本数据量越大，划分的层次就越多。
根据本申请上述实施例，在一种优选的方案中，提取训练数据中的多个特征数据，将每个特征数据作为根节点在创建多个决策树，并将每个特征数据对应的特征值作为对应的决策树的叶子节点，包括：
步骤S2331，读取任意一个特征数据对应的阈值。
步骤S2333，将任意一个特征数据的特征值与阈值进行比较，并根据比较结果得到两个分支的熵。
步骤S2335，根据两个分支的熵确定两个新节点作为任意一个特征数据的两个叶子节点。
步骤S2337，采用上述步骤对每一个特征数据进行处理，直到每个特征数据得到预定的两个唯一的叶子节点。
在上述步骤中，穷举每一个特征的每一个阈值，找到使得按照特征小于等于阈值，和特征大于阈值分成的两个分枝的熵最小的特征和阈值，按照该标准分枝得到两个新节点，使用同样方法继续分枝直到所有样本都被分入只有正常磁盘或只有故障磁盘的叶子节点，或达到预设的终止条件，若最终叶子节点中不是只有正常磁盘或故障磁盘，则以该节点上所有样本的平均标签值作为该叶子节点的预测标签值。
此处需要说明的是，标签值即为该磁盘为故障磁盘的概率。
此处仍需要说明的是，熵最小是指尽可能的使每个分枝中，正样本和负样本的比例远离1:1，熵最小的情况为该分枝上只有正样本或负样本，即该分支上只有正常的磁盘，或故障磁盘。
在一种可选的实施例中，在决策树为回归树的示例中，每个节点都会得一个预测值，该预测值等于属于该节点的所有标签值的平均值，对该节点进行划分时，穷举每一个特征的每个阈值，找最好的分割点进行划分，直到每个叶子节点上每个样本的标签值都唯一或者达到预设的终止条件，若最终叶子节点上样本的标签值不唯一，则以该节点上所有样本的平均标签值作为该叶子节点的预测标签值。
此处需要说明的是，在上述实施例中，最优的划分标准不再是最小化熵，而是最小化均方差，即每个样本的标签值与预测标签值做差后，求的差的平方，并计算所有差的平方的和，可以认为被预测出错的样本越多，均方差就越大，因此通过最小化均方差能够找到最优的分枝依据。
此处还需要说明的是，在进行划分时，使每个叶子节点上每个样本的标签值都唯一是很难达到的，因此为了得到最接近真实情况的预测结果可以预设一个终止条件，该终止条件可以是叶子的上限。
根据本申请上述实施例，在一种优选的方案中，在得到由多个决策树组成的磁盘预测模型之后，还包括：对分类模型参数进行调整，其中，在分类模型参数包括故障磁盘样本和非故障磁盘样本的情况下，如果要确定待测磁盘是否为故障磁盘，则将分类模型参数中的故障磁盘样本的比例调高。
根据本申请上述实施例，在一种优选的方案中，使用由多个决策树组成的磁盘预测模型对待测磁盘的磁盘数据进行处理，确定待测磁盘是否为故障磁盘，包括：
步骤S251，接收到待测磁盘的磁盘数据之后，对待测磁盘的磁盘数据赋予一个初始值。
步骤S253，根据待测磁盘的初始值遍历每一个决策树，计算得到第一个决策树所确定的预测结果和第一残差，并将第一残差赋值给初始值，得到更新后的初始值。
步骤S255，以更新后的初始值计算得到第二个决策树所确定的预测结果和第二残差，并第二残差赋值更新后的初始值，以此遍历所有的决策树，得到预测待测磁盘是否为故障磁盘的结果。
步骤S257，每一棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值的累加量。
在一种可选的实施例中，仍以上述A,B,C,D四个磁盘为例，采用特征A可将A,B,C,D四个磁盘分为两个部分，分别为A,B和C,D，每个部分用平均标签值作为预测值。此时计算残差，其中残差至为磁盘的预测值与磁盘的实际值的差，所以A的残差就是1-0.5＝0.5进而得到A,B,C,D的残差分别为0.5,-0.5，0.5,-0.5。然后结合图4所示，图4为根据本发明实施例的一种使用GBDT算法计算磁盘预测值的示意图，使用残差替代A,B,C,D的原值，输入至第二棵决策树进行训练，并根据与特征B的比对结果分为两个叶子节点，如果预测值和它们的残差相等，则只需把第二棵树的结论累加到第一棵树上就能得到磁盘的实际值。第二棵树仅有两个值0.5和-0.5，因此直接分成两个节点。此时所有人的残差都是0，即每个人都得到了真实的预测值。
此处需要说明的是，上述实施例以说明为目的，因此只有两颗决策树，在实际应用中，根据样本数据量可以获得到个决策树，且预测值是指之前所有树累加的和，由于此实施例中，这棵决策树之前仅有一颗决策树，因此直接是0.5，如果还有奇特决策树，则需要都累加起来作为A的预测值。
图5是根据本发明实施例的一种可选的磁盘的故障预测方法的流程图，下面结合图5详细介绍本申请的一种优选的实施例。
如图5所示，提供了一种磁盘的故障预测方法，该方法可以包括如下步骤S51至步骤S57：
S51，获取样本磁盘的样本数据。
具体的，在上述步骤中，可以通过HDTune、CrystalDiskInfo等软件获取样本磁盘数据。
S52，对样本数据进行差分运算。
具体的，在上述步骤中，差分运算指磁盘在某一时刻的特征数据与过该磁盘在24小时之前的特征数据做差运算得到的值。
S53，对差分运算得到的结果进行分布求和和/或平方运算。
S54，得到训练和预测数据。
S55，第一步训练和预测，使召回率较大。
S56，第二步训练和预测，平衡召回率和准确率。
具体的，在上述步骤中，由于训练数据中负样本占比很大，正样本占比小，例如，当二者比例为1000:1时，如果用全部的训练数据做训练，能准确预测的正样本是很少的，由于训练数据中正样本较少，很多真实值为负样本的数据可能被误判为正样本，因此第一步在训练时使正样本的召回率较大，第二步在训练时，把第一步预测为正样本的训练数据作为第二步的训练数据，即选择为与正样本接近的那些样本作为训练样本，如此在做训练时，训练出的模型会更有利于预测出正样本，这样第二步预测得到的结果，正样本的准确率会比第一步有大幅度提高，从而使准确率和召回率达到一定的平衡程度。
实施例2
根据本发明实施例，还提供了一种用于实施上述反编译数据的处理方法的反编译数据的处理装置，图6是根据本发明实施例的一种磁盘的故障预测装置的结构示意图，如图6所示，该装置包括：获取模块60、训练模块62和处理模块64。
获取模块60，用于通过磁盘监控技术获取磁盘的样本磁盘数据，其中，样本磁盘数据包括多个维度上的样本数据；
训练模块62，用于采用GBDT算法对样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型；
处理模块64，在接收到待测磁盘的磁盘数据之后，使用由多个决策树组成的磁盘预测模型对待测磁盘的磁盘数据进行处理，确定待测磁盘是否为故障磁盘。
此处需要说明的是，上述获取模块60，训练模块62和处理模块64对应于实施例一种的步骤S21至步骤S25所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
根据本申请上述实施例，在一种优选的方案中，样本磁盘数据为SMART磁盘数据，其中，样本磁盘数据至少包括如下四个维度上的样本数据：原始值、标准值、最差值和累积值。
根据本申请上述实施例，在一种优选的方案中，结合图7所示，上述装置还包括：
运算模块70，用于对每个维度上的样本数据进行如下任意一种或多种运算：差分运算、平方运算和分布求和运算，使得任意一个维度上的样本数据被扩展出新的维度上的样本数据。
此处需要说明的是，上述运算模块770对应与实施例一中的步骤S21至步骤S25所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
根据本申请上述实施例，在一种优选的方案中，结合图8所示，上述训练模块62还包括：
初始模块80，用于以所有磁盘的样本磁盘数据作为训练数据，并采用默认值初始化训练数据的分类模型参数；
提取模块82，用于提取训练数据中的多个特征数据，将每个特征数据作为根节点在创建多个决策树，并将每个特征数据对应的特征值作为对应的决策树的叶子节点；
第一计算模块84，用于计算当前所有叶子节点的最优划分以及其增益，并以增益最大的叶子节点以及对应的划分点进行分裂，使得将样本磁盘数据划分到子节点中。
此处需要说明的是，上述初始模块80，提取模块82和第一计算模块84对应于实施例一种的步骤S231至步骤S235所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
根据本申请上述实施例，在一种优选的方案中，结合图9所示，所述提取模块82包括：
读取模块90，用于读取任意一个特征数据对应的阈值；
比较模块92，用于将任意一个特征数据的特征值与阈值进行比较，并根据比较结果得到两个分支的熵；
确定模块94，用于根据两个分支的熵确定两个新节点作为任意一个特征数据的两个叶子节点；
处理子模块96，用于采用上述步骤对每一个特征数据进行处理，直到每个特征数据得到预定的两个唯一的叶子节点。
此处需要说明的是，上述读取模块90，比较模块92、确定模块94和处理子模块96对应于实施例一种的步骤S2331至步骤S2337所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
根据本申请上述实施例，在一种优选的方案中，在得到由多个决策树组成的磁盘预测模型之后，还包括：对分类模型参数进行调整，其中，在分类模型参数包括故障磁盘样本和非故障磁盘样本的情况下，如果要确定待测磁盘是否为故障磁盘，则将分类模型参数中的故障磁盘样本的比例调高。
根据本申请上述实施例，在一种优选的方案中，结合图10所示，上述处理模块64包括：
接收模块100，用于接收到待测磁盘的磁盘数据之后，对待测磁盘的磁盘数据赋予一个初始值；
第二计算模块102，用于根据待测磁盘的初始值遍历每一个决策树，计算得到第一个决策树所确定的预测结果和第一残差，并将第一残差赋值给初始值，得到更新后的初始值；
遍历模块104，用于以更新后的初始值计算得到第二个决策树所确定的预测结果和第二残差，并第二残差赋值更新后的初始值，以此遍历所有的决策树，得到预测待测磁盘是否为故障磁盘的结果。
此处需要说明的是，上述接收模块100，第二计算模块102和遍历模块104对应于实施例一种的步骤S251至步骤S255所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
实施例3
本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行磁盘的故障预测方法中以下步骤的程序代码：通过磁盘监控技术获取磁盘的样本磁盘数据，其中，样本磁盘数据包括多个维度上的样本数据；采用GBDT算法对样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型；在接收到待测磁盘的磁盘数据之后，使用由多个决策树组成的磁盘预测模型对待测磁盘的磁盘数据进行处理，确定待测磁盘是否为故障磁盘。
可选地，图11是根据本发明实施例的一种计算机终端的结构框图。如图11所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器111、存储器113、以及传输装置115。
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的磁盘的故障预测方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的磁盘的故障预测方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：样本磁盘数据为SMART磁盘数据，其中，样本磁盘数据至少包括如下四个维度上的样本数据：原始值、标准值、最差值和累积值。
可选的，上述处理器还可以执行如下步骤的程序代码：对每个维度上的样本数据进行如下任意一种或多种运算：差分运算、平方运算和分布求和运算，使得任意一个维度上的样本数据被扩展出新的维度上的样本数据。
可选的，上述处理器还可以执行如下步骤的程序代码：以所有磁盘的样本磁盘数据作为训练数据，并采用默认值初始化训练数据的分类模型参数；提取训练数据中的多个特征数据，将每个特征数据作为根节点在创建多个决策树，并将每个特征数据对应的特征值作为对应的决策树的叶子节点；计算当前所有叶子节点的最优划分以及其增益，并以增益最大的叶子节点以及对应的划分点进行分裂，使得将样本磁盘数据划分到子节点中。
可选的，上述处理器还可以执行如下步骤的程序代码：读取任意一个特征数据对应的阈值；将任意一个特征数据的特征值与阈值进行比较，并根据比较结果得到两个分支的熵；根据两个分支的熵确定两个新节点作为任意一个特征数据的两个叶子节点；采用上述步骤对每一个特征数据进行处理，直到每个特征数据得到预定的两个唯一的叶子节点。
可选的，上述处理器还可以执行如下步骤的程序代码：在得到由多个决策树组成的磁盘预测模型之后，方法还包括：对分类模型参数进行调整，其中，在分类模型参数包括故障磁盘样本和非故障磁盘样本的情况下，如果要确定待测磁盘是否为故障磁盘，则将分类模型参数中的故障磁盘样本的比例调高。
可选的，上述处理器还可以执行如下步骤的程序代码：接收到待测磁盘的磁盘数据之后，对待测磁盘的磁盘数据赋予一个初始值；根据待测磁盘的初始值遍历每一个决策树，计算得到第一个决策树所确定的预测结果和第一残差，并将第一残差赋值给初始值，得到更新后的初始值；以更新后的初始值计算得到第二个决策树所确定的预测结果和第二残差，并第二残差赋值更新后的初始值，以此遍历所有的决策树，得到预测待测磁盘是否为故障磁盘的结果。
在本发明实施例中，采用通过磁盘监控技术获取磁盘的样本磁盘数据，其中，样本磁盘数据包括多个维度上的样本数据；采用GBDT算法对样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型方式，通过在接收到待测磁盘的磁盘数据之后，使用由多个决策树组成的磁盘预测模型对待测磁盘的磁盘数据进行处理，达到了确定待测磁盘是否为故障磁盘的目的，从而实现了预测磁盘故障状态的技术效果，进而解决了现有技术的硬盘故障预测系统中一些容易致使硬盘故障的因素不能被采集胡或量化导致的预测结果不准确的技术问题。
本领域普通技术人员可以理解，图11所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图11其并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图11中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图11所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的磁盘的故障预测方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：通过磁盘监控技术获取磁盘的样本磁盘数据，其中，样本磁盘数据包括多个维度上的样本数据；采用GBDT算法对样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型；在接收到待测磁盘的磁盘数据之后，使用由多个决策树组成的磁盘预测模型对待测磁盘的磁盘数据进行处理，确定待测磁盘是否为故障磁盘。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：对每个维度上的样本数据进行如下任意一种或多种运算：差分运算、平方运算和分布求和运算，使得任意一个维度上的样本数据被扩展出新的维度上的样本数据。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：以所有磁盘的样本磁盘数据作为训练数据，并采用默认值初始化训练数据的分类模型参数；提取训练数据中的多个特征数据，将每个特征数据作为根节点在创建多个决策树，并将每个特征数据对应的特征值作为对应的决策树的叶子节点；计算当前所有叶子节点的最优划分以及其增益，并以增益最大的叶子节点以及对应的划分点进行分裂，使得将样本磁盘数据划分到子节点中。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：读取任意一个特征数据对应的阈值；将任意一个特征数据的特征值与阈值进行比较，并根据比较结果得到两个分支的熵；根据两个分支的熵确定两个新节点作为任意一个特征数据的两个叶子节点；采用上述步骤对每一个特征数据进行处理，直到每个特征数据得到预定的两个唯一的叶子节点。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：在得到由多个决策树组成的磁盘预测模型之后，方法还包括：对分类模型参数进行调整，其中，在分类模型参数包括故障磁盘样本和非故障磁盘样本的情况下，如果要确定待测磁盘是否为故障磁盘，则将分类模型参数中的故障磁盘样本的比例调高。
可选地，上述存储介质还被设置为存储用于执行以下步骤的程序代码：接收到待测磁盘的磁盘数据之后，对待测磁盘的磁盘数据赋予一个初始值；根据待测磁盘的初始值遍历每一个决策树，计算得到第一个决策树所确定的预测结果和第一残差，并将第一残差赋值给初始值，得到更新后的初始值；以更新后的初始值计算得到第二个决策树所确定的预测结果和第二残差，并第二残差赋值更新后的初始值，以此遍历所有的决策树，得到预测待测磁盘是否为故障磁盘的结果。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种磁盘的故障预测方法，其特征在于，包括：
通过磁盘监控技术获取磁盘的样本磁盘数据，其中，所述样本磁盘数据包括多个维度上的样本数据，按照预设的正负样本比例进行样本数据的获取，正样本为存在故障的磁盘，负样本为不存在故障的磁盘，所述正负样本比例是根据实际磁盘损坏情况确定；
采用GBDT算法对所述样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型，其中，根据每个决策树在评价体系中的重要性，来确认每个决策树的权重值，从而得到磁盘预测模型；
在接收到待测磁盘的磁盘数据之后，使用所述由多个决策树组成的磁盘预测模型对所述待测磁盘的磁盘数据进行处理，确定所述待测磁盘是否为故障磁盘；
其中，采用GBDT算法对所述样本磁盘数据进行两次样本训练，得到所述磁盘预测模型，在第一次样本训练的过程中，利用所述样本磁盘数据进行训练，并在第二次样本训练的过程中，利用所述第一次样本训练中预测为正样本的样本磁盘数据进行训练。
2.根据权利要求1所述的方法，其特征在于，所述样本磁盘数据为SMART磁盘数据，其中，所述样本磁盘数据至少包括如下四个维度上的样本数据：原始值、标准值、最差值和累积值。
3.根据权利要求2所述的方法，其特征在于，在通过磁盘监控技术获取磁盘的样本磁盘数据之后，所述方法还包括：
对每个维度上的样本数据进行如下任意一种或多种运算：差分运算、平方运算和分布求和运算，使得任意一个维度上的样本数据被扩展出新的维度上的样本数据。
4.根据权利要求1至3中任意一项所述的方法，其特征在于，采用GBDT算法对所述样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型，包括：
以所有磁盘的样本磁盘数据作为训练数据，并采用默认值初始化所述训练数据的分类模型参数；
提取所述训练数据中的多个特征数据，将每个特征数据作为根节点在创建所述多个决策树，并将每个特征数据对应的特征值作为对应的决策树的叶子节点；
计算当前所有叶子节点的最优划分以及其增益，并以增益最大的叶子节点以及对应的划分点进行分裂，使得将所述样本磁盘数据划分到子节点中。
5.根据权利要求4所述的方法，其特征在于，提取所述训练数据中的多个特征数据，将每个特征数据作为根节点在创建所述多个决策树，并将每个特征数据对应的特征值作为对应的决策树的叶子节点，包括：
读取任意一个特征数据对应的阈值；
将所述任意一个特征数据的特征值与所述阈值进行比较，并根据比较结果得到两个分支的熵；
根据所述两个分支的熵确定两个新节点作为所述任意一个特征数据的两个叶子节点；
对每一个特征数据进行处理，直到每个特征数据得到预定的两个唯一的叶子节点。
6.根据权利要求4所述的方法，其特征在于，在得到由多个决策树组成的磁盘预测模型之后，所述方法还包括：对所述分类模型参数进行调整，其中，在所述分类模型参数包括故障磁盘样本和非故障磁盘样本的情况下，如果要确定所述待测磁盘是否为故障磁盘，则将所述分类模型参数中的故障磁盘样本的比例调高。
7.根据权利要求1所述的方法，其特征在于，使用所述由多个决策树组成的磁盘预测模型对所述待测磁盘的磁盘数据进行处理，确定所述待测磁盘是否为故障磁盘，包括：
接收到所述待测磁盘的磁盘数据之后，对所述待测磁盘的磁盘数据赋予一个初始值；
根据所述待测磁盘的初始值遍历每一个决策树，计算得到第一个决策树所确定的预测结果和第一残差，并将所述第一残差赋值给所述初始值，得到更新后的初始值；
以所述更新后的初始值计算得到第二个决策树所确定的预测结果和第二残差，并将所述第二残差赋值给所述更新后的初始值，以此遍历所有的决策树，得到预测所述待测磁盘是否为故障磁盘的结果。
8.一种磁盘的故障预测装置，其特征在于，包括：
获取模块，用于通过磁盘监控技术获取磁盘的样本磁盘数据，其中，所述样本磁盘数据包括多个维度上的样本数据，按照预设的正负样本比例进行样本数据的获取，正样本为存在故障的磁盘，负样本为不存在故障的磁盘，所述正负样本比例是根据实际磁盘损坏情况确定；
训练模块，用于采用GBDT算法对所述样本磁盘数据进行样本训练，得到由多个决策树组成的磁盘预测模型，其中，根据每个决策树在评价体系中的重要性，来确认每个决策树的权重值，从而得到磁盘预测模型；
处理模块，在接收到待测磁盘的磁盘数据之后，使用所述由多个决策树组成的磁盘预测模型对所述待测磁盘的磁盘数据进行处理，确定所述待测磁盘是否为故障磁盘；
其中，所述训练模块还用于采用GBDT算法对所述样本磁盘数据进行两次样本训练，得到所述磁盘预测模型，在第一次样本训练的过程中，利用所述样本磁盘数据进行训练，并在第二次样本训练的过程中，利用所述第一次样本训练中预测为正样本的样本磁盘数据进行训练。
9.根据权利要求8所述的装置，其特征在于，所述样本磁盘数据为SMART磁盘数据，其中，所述样本磁盘数据至少包括如下四个维度上的样本数据：原始值、标准值、最差值和累积值。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
运算模块，用于对每个维度上的样本数据进行如下任意一种或多种运算：差分运算、平方运算和分布求和运算，使得任意一个维度上的样本数据被扩展出新的维度上的样本数据。
11.根据权利要求8至10中任意一项所述的装置，其特征在于，所述训练模块还包括：
初始模块，用于所有磁盘的样本磁盘数据作为训练数据，并采用默认值初始化所述训练数据的分类模型参数；
提取模块，用于提取所述训练数据中的多个特征数据，将每个特征数据作为根节点在创建所述多个决策树，并将每个特征数据对应的特征值作为对应的决策树的叶子节点；
第一计算模块，用于计算当前所有叶子节点的最优划分以及其增益，并以增益最大的叶子节点以及对应的划分点进行分裂，使得将所述样本磁盘数据划分到子节点中。
12.根据权利要求11所述的装置，其特征在于，所述提取模块包括：
读取模块，用于读取任意一个特征数据对应的阈值；
比较模块，用于将所述任意一个特征数据的特征值与所述阈值进行比较，并根据比较结果得到两个分支的熵；
确定模块，用于根据所述两个分支的熵确定两个新节点作为所述任意一个特征数据的两个叶子节点；
处理子模块，用于采用上述读取模块、比较模块和确定模块对每一个特征数据进行处理，直到每个特征数据得到预定的两个唯一的叶子节点。
13.根据权利要求11所述的装置，其特征在于，在得到由多个决策树组成的磁盘预测模型之后，所述装置还包括：对所述分类模型参数进行调整，其中，在所述分类模型参数包括故障磁盘样本和非故障磁盘样本的情况下，如果要确定所述待测磁盘是否为故障磁盘，则将所述分类模型参数中的故障磁盘样本的比例调高。
14.根据权利要求8所述的装置，其特征在于，所述处理模块包括：
接收模块，用于接收到所述待测磁盘的磁盘数据之后，对所述待测磁盘的磁盘数据赋予一个初始值；
第二计算模块，用于根据所述待测磁盘的初始值遍历每一个决策树，计算得到第一个决策树所确定的预测结果和第一残差，并将所述第一残差赋值给所述初始值，得到更新后的初始值；
遍历模块，用于以所述更新后的初始值计算得到第二个决策树所确定的预测结果和第二残差，并将所述第二残差赋值给所述更新后的初始值，以此遍历所有的决策树，得到预测所述待测磁盘是否为故障磁盘的结果。
CN201610065807.2A 2016-01-29 2016-01-29 磁盘的故障预测方法和装置 Active CN107025154B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610065807.2A CN107025154B (zh) 2016-01-29 2016-01-29 磁盘的故障预测方法和装置
PCT/CN2017/071695 WO2017129030A1 (zh) 2016-01-29 2017-01-19 磁盘的故障预测方法和装置
TW106102676A TW201732591A (zh) 2016-01-29 2017-01-24 磁碟的故障預測方法和裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610065807.2A CN107025154B (zh) 2016-01-29 2016-01-29 磁盘的故障预测方法和装置

Publications (2)

Publication Number Publication Date
CN107025154A CN107025154A (zh) 2017-08-08
CN107025154B true CN107025154B (zh) 2020-12-01

Family

ID=59397412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610065807.2A Active CN107025154B (zh) 2016-01-29 2016-01-29 磁盘的故障预测方法和装置

Country Status (3)

Country Link
CN (1) CN107025154B (zh)
TW (1) TW201732591A (zh)
WO (1) WO2017129030A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392320A (zh) * 2017-07-28 2017-11-24 郑州云海信息技术有限公司 一种使用机器学习预测硬盘故障的方法
CN107479836A (zh) * 2017-08-29 2017-12-15 郑州云海信息技术有限公司 磁盘故障监控方法、装置以及存储系统
CN107861829A (zh) * 2017-11-06 2018-03-30 郑州云海信息技术有限公司 一种磁盘故障检测的方法、系统、装置及存储介质
CN108345958A (zh) * 2018-01-10 2018-07-31 拉扎斯网络科技（上海）有限公司 一种订单出餐时间预测模型构建、预测方法、模型和装置
CN108376553B (zh) * 2018-02-28 2020-11-03 北京奇艺世纪科技有限公司 一种视频服务器的磁盘的监控方法及系统
CN110389866A (zh) * 2018-04-20 2019-10-29 武汉安天信息技术有限责任公司 磁盘故障预测方法、装置、计算机设备及计算机存储介质
CN108683530B (zh) * 2018-04-28 2021-06-01 北京百度网讯科技有限公司 多维度数据的数据分析方法、装置及存储介质
CN108681750A (zh) 2018-05-21 2018-10-19 阿里巴巴集团控股有限公司 Gbdt模型的特征解释方法和装置
CN109063247B (zh) * 2018-06-26 2023-04-18 西安工程大学 基于深度信念网络的滑坡灾害预报方法
CN108959004B (zh) * 2018-06-28 2022-02-18 郑州云海信息技术有限公司 磁盘故障预测方法、装置、设备及计算机可读存储介质
CN112771504A (zh) 2018-06-29 2021-05-07 微软技术许可有限责任公司 多因素云服务存储设备错误预测
CN109117327A (zh) * 2018-07-20 2019-01-01 郑州云海信息技术有限公司 一种硬盘检测方法及装置
CN109032891A (zh) * 2018-07-23 2018-12-18 郑州云海信息技术有限公司 一种云计算服务器硬盘故障预测方法及装置
CN110196792B (zh) * 2018-08-07 2022-06-14 腾讯科技（深圳）有限公司 故障预测方法、装置、计算设备及存储介质
CN109299728B (zh) * 2018-08-10 2023-06-27 深圳前海微众银行股份有限公司 基于构建梯度树模型的样本联合预测方法、系统及介质
CN109472296A (zh) 2018-10-17 2019-03-15 阿里巴巴集团控股有限公司 一种基于梯度提升决策树的模型训练方法及装置
CN109460588B (zh) * 2018-10-22 2022-02-15 武汉大学 一种基于梯度提升决策树的设备故障预测方法
CN109617715A (zh) * 2018-11-27 2019-04-12 中盈优创资讯科技有限公司 网络故障诊断方法、系统
CN109739739B (zh) * 2018-12-28 2020-10-02 南京中兴软件有限责任公司 磁盘故障的预测方法、设备及存储介质
CN110175100B (zh) * 2019-04-17 2020-05-19 华中科技大学 一种存储盘故障预测方法及预测系统
CN111831389A (zh) * 2019-04-23 2020-10-27 上海华为技术有限公司 一种数据处理方法、装置以及存储介质
CN110399238B (zh) * 2019-06-27 2023-09-22 浪潮电子信息产业股份有限公司 一种磁盘故障预警方法、装置、设备及可读存储介质
CN110489303B (zh) * 2019-08-22 2022-09-23 江苏华存电子科技有限公司 一种基于NVMe SSD硬盘的温度预测控制管理方法及装置
CN111008119A (zh) * 2019-12-13 2020-04-14 浪潮电子信息产业股份有限公司 一种硬盘预测模型的更新方法、装置、设备及介质
CN113127274B (zh) * 2019-12-31 2024-03-19 中移动信息技术有限公司 磁盘故障预测方法、装置、设备及计算机存储介质
CN111860858A (zh) * 2020-04-15 2020-10-30 北京嘀嘀无限科技发展有限公司 一种模型更新参数的确定方法、确定装置及可读存储介质
CN111767162B (zh) * 2020-05-20 2021-02-26 北京大学 一种面向不同型号硬盘的故障预测方法及电子装置
CN111858283A (zh) * 2020-07-24 2020-10-30 山东海量信息技术研究院 一种边缘数据中心的硬盘故障预处理方法及相关组件
CN112180312B (zh) * 2020-08-24 2022-01-04 南京航空航天大学 一种电流传感器复合故障诊断方法
CN112118259B (zh) * 2020-09-17 2022-04-15 四川长虹电器股份有限公司 一种基于提升树的分类模型的越权漏洞检测方法
CN112181767A (zh) * 2020-09-27 2021-01-05 深圳前海微众银行股份有限公司 软件系统异常的确定方法、装置和存储介质
CN112419086A (zh) * 2020-11-18 2021-02-26 贵州电网有限责任公司 一种基于调控数据分析的故障研判方法
CN112596964B (zh) * 2020-12-15 2024-05-17 中国建设银行股份有限公司 磁盘故障的预测方法及装置
CN112446557B (zh) * 2021-01-29 2021-05-07 北京蒙帕信创科技有限公司 一种基于深度学习的磁盘故障预测规避方法及系统
CN113076217B (zh) * 2021-04-21 2024-04-12 扬州万方科技股份有限公司 基于国产平台的磁盘故障预测方法
CN113190405B (zh) * 2021-04-29 2022-08-19 山东英信计算机技术有限公司 一种节点健康检测方法、装置及电子设备和存储介质
CN113986636B (zh) * 2021-11-01 2024-05-28 合肥城市云数据中心股份有限公司 一种基于硬盘自适应报告数据的数据中心硬盘故障预测方法
CN116738346A (zh) * 2022-03-01 2023-09-12 英业达科技有限公司 硬盘效能问题分类模型的建立方法及系统、分析方法
TWI818463B (zh) * 2022-03-09 2023-10-11 英業達股份有限公司 硬碟效能問題分類模型的建立方法、硬碟效能問題分析方法及硬碟效能問題分類模型建立系統
CN115729761B (zh) * 2022-11-23 2023-10-20 中国人民解放军陆军装甲兵学院 一种硬盘故障预测方法、系统、设备及介质
CN117234826B (zh) * 2023-11-10 2024-04-05 深圳市领德创科技有限公司 一种固态硬盘可靠性验证的无干扰测试平台及工作方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260279A (zh) * 2015-11-04 2016-01-20 四川效率源信息安全技术股份有限公司 基于smart数据动态诊断硬盘故障的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866271A (zh) * 2010-06-08 2010-10-20 华中科技大学 一种基于raid的安全预警系统和方法
US20140059278A1 (en) * 2011-11-14 2014-02-27 Lsi Corporation Storage device firmware and manufacturing software
US20150205657A1 (en) * 2012-09-28 2015-07-23 Longsand Limited Predicting failure of a storage device
CN104766014B (zh) * 2015-04-30 2017-12-01 安一恒通（北京）科技有限公司 用于检测恶意网址的方法和系统
CN105069476B (zh) * 2015-08-10 2018-12-11 国网宁夏电力公司 基于两阶段集成学习的风电异常数据识别方法
CN105224888B (zh) * 2015-09-29 2019-03-22 上海爱数信息技术股份有限公司 一种基于安全预警技术的磁盘阵列数据保护系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260279A (zh) * 2015-11-04 2016-01-20 四川效率源信息安全技术股份有限公司 基于smart数据动态诊断硬盘故障的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
机器学习中的算法-决策树模型组合之随机森林与GBDT;LeftNotEasy;《机器学习中的算法-决策树模型组合之随机森林与GBDT》;20110307;第3、5-10页 *

Also Published As

Publication number Publication date
CN107025154A (zh) 2017-08-08
WO2017129030A1 (zh) 2017-08-03
TW201732591A (zh) 2017-09-16

Similar Documents

Publication Publication Date Title
CN107025154B (zh) 磁盘的故障预测方法和装置
CN107025153B (zh) 磁盘的故障预测方法和装置
CN111600746B (zh) 网络故障定位方法、装置及设备
CN103873503A (zh) 数据块备份系统及方法
CN108734304B (zh) 一种数据模型的训练方法、装置、及计算机设备
CN110597655B (zh) 迁移和基于纠删码的重构相耦合快速预知修复方法及装置
CN107247729B (zh) 一种文件处理方法和装置
CN112487083B (zh) 一种数据校验方法和设备
CN110955550A (zh) 一种云平台故障定位方法、装置、设备及存储介质
US11163633B2 (en) Application fault detection and forecasting
CN112579327B (zh) 一种故障检测方法、装置及设备
US11561875B2 (en) Systems and methods for providing data recovery recommendations using A.I
US11366821B2 (en) Epsilon-closure for frequent pattern analysis
WO2023169274A1 (zh) 数据处理方法、装置、存储介质以及处理器
CN110298178B (zh) 可信策略学习方法及装置、可信安全管理平台
CN103812719B (zh) 集群系统的失效预测方法及装置
CN111552842A (zh) 一种数据处理的方法、装置和存储介质
CN111008119A (zh) 一种硬盘预测模型的更新方法、装置、设备及介质
CN113869989B (zh) 一种信息处理方法及装置
CN113127274A (zh) 磁盘故障预测方法、装置、设备及计算机存储介质
CN114281611A (zh) 一种全面检测系统盘的方法、系统、设备和存储介质
CN106776264B (zh) 应用程序代码的测试方法和装置
CN113676377A (zh) 基于大数据的在线用户数评估方法、装置、设备及介质
CN112055081A (zh) 一种云计算节点服务防护方法以及云平台管理系统
CN112512072B (zh) VoLTE网络故障预测方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211117

Address after: Room 507, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: ZHEJIANG TMALL TECHNOLOGY Co.,Ltd.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Patentee before: ALIBABA GROUP HOLDING Ltd.

TR01 Transfer of patent right