CN105094708B - 一种磁盘容量的预测方法及装置 - Google Patents

一种磁盘容量的预测方法及装置 Download PDF

Info

Publication number
CN105094708B
CN105094708B CN201510524920.8A CN201510524920A CN105094708B CN 105094708 B CN105094708 B CN 105094708B CN 201510524920 A CN201510524920 A CN 201510524920A CN 105094708 B CN105094708 B CN 105094708B
Authority
CN
China
Prior art keywords
disk
data
disk size
inflection point
sampling instant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510524920.8A
Other languages
English (en)
Other versions
CN105094708A (zh
Inventor
王博
曲显平
何佳
陶仕敏
臧志
苗贝贝
陈宇
苏慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201510524920.8A priority Critical patent/CN105094708B/zh
Priority to EP15859994.4A priority patent/EP3343376B1/en
Priority to JP2016530171A priority patent/JP6351081B2/ja
Priority to US15/039,780 priority patent/US10423882B2/en
Priority to KR1020167014426A priority patent/KR101848193B1/ko
Priority to PCT/CN2015/094203 priority patent/WO2017031837A1/zh
Publication of CN105094708A publication Critical patent/CN105094708A/zh
Application granted granted Critical
Publication of CN105094708B publication Critical patent/CN105094708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3442—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for planning or managing the needed capacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明实施例提供了一种磁盘容量的预测方法及装置。一方面，本发明实施例通过根据磁盘的历史容量数据，获得磁盘容量的变化数据；从而，根据所述磁盘容量的变化数据，获得所述历史容量数据中的目标拐点；进而，根据所述目标拐点之后的历史容量数据，获得时间与磁盘容量之间的线性关系。因此，本发明实施例提供的技术方案能够实现提高了磁盘容量趋势预测的准确性，减少了磁盘容量预测所需要的成本。

Description

一种磁盘容量的预测方法及装置
【技术领域】
本发明涉及计算机技术领域，尤其涉及一种磁盘容量的预测方法及装置。
【背景技术】
国内外的互联网供应商都会关注自身服务集群整体的磁盘容量。通过对磁盘容量的关注，可以在合适的时间对磁盘容量进行增加或者缩减，进而可以节省大量成本，带来巨大的经济效益。
现有技术中，对于集群的磁盘容量主要是先设置阈值，当磁盘容量到达该阈值后，对增加的机器数量进行人工预测，并进行人工增加。然而，这种磁盘容量的扩容方式中，由于需要人工预测并增加，耗费了较多的人力成本。而且，人工预测的磁盘容量趋势准确性比较低，从而导致增加后磁盘容量无法满足需求或者导致增加后磁盘容量冗余浪费。
【发明内容】
有鉴于此，本发明实施例提供了一种磁盘容量的预测方法及装置，可以实现提高了磁盘容量趋势预测的准确性，减少了磁盘容量预测所需要的成本。
本发明实施例的一方面，提供一种磁盘容量的预测方法，包括：
根据磁盘的历史容量数据，获得磁盘容量的变化数据；
根据所述磁盘容量的变化数据，获得所述历史容量数据中的目标拐点；
根据所述目标拐点之后的历史容量数据，获得时间与磁盘容量之间的线性关系。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据磁盘的历史容量数据，获得磁盘容量的变化数据之前，所述方法还包括：
对所述磁盘的历史容量数据进行数据平滑处理。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述历史容量数据包括至少一个采样时刻以及每个采样时刻的磁盘容量；所述根据磁盘的历史容量数据，获得磁盘容量的变化数据，包括：
根据至少一个采样时刻的磁盘容量，获得至少一个采样时刻中每个采样时刻的磁盘容量速度，以作为所述磁盘容量的变化数据；或者，
根据至少一个采样时刻的磁盘容量，获得至少一个采样时刻中每个采样时刻的磁盘容量加速度，以作为所述磁盘容量的变化数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述磁盘容量的变化数据，获得所述历史容量数据中的目标拐点，包括：
利用至少两种检测算法分别对所述磁盘容量的变化数据进行检测，以获得每种检测算法检测出的第一候选拐点；
根据每种检测算法检测出的第一候选拐点，获得所述历史容量数据中的目标拐点。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据每种检测算法检测出的第一候选拐点，获得所述历史容量数据中的目标拐点，包括：
根据每种检测算法检测出的第一候选拐点，获得第二候选拐点；
获得采样时刻最晚的第二候选拐点，以作为所述历史容量数据中的目标拐点。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述目标拐点之后的历史容量数据，获得时间与磁盘容量之间的线性关系，包括：
对所述目标拐点之后的历史容量数据进行线性拟合处理，以获得时间与磁盘容量之间的线性关系。
本发明实施例的一方面，提供一种磁盘容量的预测装置，包括：
数据处理单元，用于根据磁盘的历史容量数据，获得磁盘容量的变化数据；
拐点识别单元，用于根据所述磁盘容量的变化数据，获得所述历史容量数据中的目标拐点；
容量预测单元，用于根据所述目标拐点之后的历史容量数据，获得时间与磁盘容量之间的线性关系。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述装置还包括：
数据平滑单元，用于对所述磁盘的历史容量数据进行数据平滑处理。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述历史容量数据包括至少一个采样时刻以及每个采样时刻的磁盘容量；所述数据处理单元，具体用于：
根据至少一个采样时刻的磁盘容量，获得至少一个采样时刻中每个采样时刻的磁盘容量速度，以作为所述磁盘容量的变化数据；或者，
根据至少一个采样时刻的磁盘容量，获得至少一个采样时刻中每个采样时刻的磁盘容量加速度，以作为所述磁盘容量的变化数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述拐点识别单元，具体用于：
利用至少两种检测算法分别对所述磁盘容量的变化数据进行检测，以获得每种检测算法检测出的第一候选拐点；
根据每种检测算法检测出的第一候选拐点，获得所述历史容量数据中的目标拐点。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述拐点识别单元根据每种检测算法检测出的第一候选拐点，获得所述历史容量数据中的目标拐点时，具体用于：
根据每种检测算法检测出的第一候选拐点，获得第二候选拐点；
获得采样时刻最晚的第二候选拐点，以作为所述历史容量数据中的目标拐点。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述容量预测单元，具体用于：对所述目标拐点之后的历史容量数据进行线性拟合处理，以获得时间与磁盘容量之间的线性关系。
由以上技术方案可以看出，本发明实施例具有以下有益效果：
本发明实施例提供的技术方案能够根据磁盘的历史容量数据，自动对磁盘容量的趋势进行预测，与现有技术中，人工预测磁盘容量趋势的方式相比，本发明实施例所提供的技术方案，能够实现提高了磁盘容量趋势预测的准确性，从而避免了增加容量后磁盘容量无法满足需求的问题，或者增加容量后磁盘容量冗余浪费的问题，减少了磁盘容量预测所需要的人力成本。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例所提供的磁盘容量的预测方法的流程示意图；
图2是本发明实施例所提供的磁盘容量的预测装置的实施例一的功能方块图；
图3是本发明实施例所提供的磁盘容量的预测装置的实施例二的功能方块图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述候选拐点，但这些关键词不应限于这些术语。这些术语仅用来将候选拐点彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一候选拐点也可以被称为第二候选拐点，类似地，第二候选拐点也可以被称为第一候选拐点。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
本发明实施例给出一种磁盘容量的预测方法，请参考图1，其为本发明实施例所提供的磁盘容量的预测方法的流程示意图，如图所示，该方法包括以下步骤：
S101，根据磁盘的历史容量数据，获得磁盘容量的变化数据。
S102，根据所述磁盘容量的变化数据，获得所述历史容量数据中的目标拐点。
S103，根据所述目标拐点之后的历史容量数据，获得时间与磁盘容量之间的线性关系。
可选地，在本发明实施例的一个可能的实现方式中，可以预先对磁盘的历史容量数据进行采集，然后对磁盘的历史容量数据进行记录，最后对记录下的磁盘的历史容量数据进行存储。如此，当需要对磁盘容量进行预测时，可以读取预先存储的磁盘的历史容量数据。
在一个具体的实现过程中，可以按照预设的时间间隔对磁盘的历史容量数据进行采集。所述时间间隔可以是固定的，或者也可以是不固定的，因此，每次采集的磁盘的历史容量数据的时间间隔可以相同，也可以不相同，本发明实施例对此不进行特别限定。
在一个具体的实现过程中，所述磁盘的历史容量数据可以包括至少一个采样时刻以及每个采样时刻的磁盘容量。
需要说明的是，所述采样时刻指的是采集磁盘的历史容量数据的时刻。每个采样时刻的磁盘容量可以是磁盘的剩余容量，或者，也可以是磁盘的已使用容量。
例如，可以间隔10分钟采集一次磁盘的历史容量数据，且每次采集的时间间隔固定，所采集的磁盘容量可以是磁盘的已使用容量。
优选的，所述磁盘容量可以包括但不限于集群的磁盘容量。
优选的，所述集群中可以包括至少两个服务器。
优选的，所述集群的磁盘容量指的是至少两个服务器总的磁盘容量。
例如，所述集群可以为云存储集群。
可选地，在本发明实施例的一个可能的实现方式中，在S101中根据磁盘的历史容量数据，获得磁盘容量的变化数据之前，可以先对所述磁盘的历史容量数据进行数据平滑处理。
在一个具体的实现过程中，当需要对磁盘容量进行预测时，可以首先读取预先存储的磁盘的历史容量数据，然后对读取的磁盘的历史容量数据进行数据平滑处理，进而根据数据平滑处理后的磁盘的历史容量数据，获得磁盘容量的变化数据。
在一个具体的实现过程中，可以利用但不限于移动平均算法或者移动中值算法等，对读取的磁盘的历史容量数据进行数据平滑处理。对磁盘的历史容量数据进行数据平滑处理的目的是去除历史容量数据中的数据噪声，本发明实施例对数据平滑处理所使用的算法不进行特别限定。
可以理解的是，如果往集群的磁盘中写入的数据质量比较好，则磁盘的历史容量数据中的数据噪声一般比较少，因此也可以不对磁盘的历史容量数据进行数据平滑处理。反之，如果往集群的磁盘中写入的数据质量比较差，则磁盘的历史容量数据中的数据噪声一般比较多，因此就有必要对磁盘的历史容量数据进行数据平滑处理。
举例说明，利用移动中值算法对读取的磁盘的历史容量数据进行数据平滑处理的方法可以包括但不限于：
首先定义一个长度为L的滑动窗口，其中L＝2N+1，即L为奇数，用以保证进入滑动窗口的数据个数是奇数。利用该长度为L的滑动窗口对磁盘的历史容量数据进行数据平滑处理时，将读取的磁盘的历史容量数据中的部分历史容量数据置于该滑动窗口中，这样滑动窗口中有历史容量数据X(i-N)，…，X(i)，…，X(i+N)。然后，对滑动窗口中的历史容量数据，按照其中的磁盘容量由大到小的顺序进行排序，根据排序结果，获得中间值X(i)，将该中间值X(i)对应的历史容量数据作为数据平滑结果输出。然后，该滑动窗口滑动，这样，又有一部分的历史容量数据置于该滑动窗口中，重复上面的操作。如此反复，可以获得每次滑动窗口中的中间值，直到滑动窗口已经移动到读取的磁盘的历史容量数据的末端时停止处理。这样，将每次滑动窗口中的中间值对应的历史容量数据进行汇总，获得最终的数据平滑结果，其余的历史容量数据将作为数据噪声被过滤掉。
需要说明的是，可以根据磁盘的历史容量数据中数据噪声的数量，确定滑动窗口的长度L的取值。若磁盘的历史容量数据中数据噪声比较多，滑动窗口的长度L的取值可以增大；若磁盘的历史容量数据中数据噪声比较少，滑动窗口的长度L的取值可以减小。
在一个具体的实现过程中，根据数据平滑处理后的磁盘的历史容量数据，可以利用但不限于对数据求导或者卡尔曼(Kalman)滤波等算法，获得磁盘容量的变化数据。本发明实施例对获得磁盘容量的变化数据时利用的算法不进行特别限定。
举例说明，根据数据平滑处理后的磁盘的历史容量数据，利用对数据求导算法，获得磁盘容量的变化数据的方法可以包括但不限于：
数据平滑处理后的磁盘的历史容量数据可以包含至少一个采样时刻以及每个采样时刻的磁盘容量，因此，可以根据至少一个采样时刻的磁盘容量，获得至少一个采样时刻中每个采样时刻的磁盘容量速度，以作为所述磁盘容量的变化数据。或者，也可以根据至少一个采样时刻的磁盘容量，获得至少一个采样时刻中每个采样时刻的磁盘容量加速度，以作为所述磁盘容量的变化数据。
在一个具体的实现过程中，根据磁盘的历史容量数据中的采样时刻，按照时间先后顺序，对数据平滑处理后的磁盘的历史容量数据进行排序，以获得排序结果。然后，对于排序结果中的每个采样时刻，依次计算该采样时刻的磁盘容量加速度或者依次计算该采样时刻的磁盘容量速度，以作为所述磁盘容量的变化数据。
在一个具体的实现过程中，采样时刻t的磁盘容量速度v可以等于采样时刻t+1的磁盘容量减去采样时刻t的磁盘容量，然后利用两个磁盘容量的差值除以采样时刻t+1与采样时刻t之间的时间间隔。或者，进一步利用采样时刻t的磁盘容量速度v除以采样时刻t+1与采样时刻t之间的时间间隔，可以获得采样时刻t的磁盘容量加速度a。
在一个具体的实现过程中，在获得所述磁盘容量的变化数据后，进一步根据所述磁盘容量的变化数据，获得所述历史容量数据中的目标拐点。
举例说明，本发明实施例中，根据所述磁盘容量的变化数据，获得所述历史容量数据中的目标拐点的方法可以包括但不限于：
首先，利用至少两种检测算法分别对所述磁盘容量的变化数据进行检测，以获得每种检测算法检测出的第一候选拐点。然后，根据每种检测算法检测出的第一候选拐点，获得所述历史容量数据中的目标拐点。
在一个具体的实现过程中，至少两种检测算法可以包括但不限于：T检测算法、方差检测算法和方差分析检测算法中的至少两种。还可以包括其他检测算法，本发明实施例对此不进行限定。
例如，若磁盘容量的变化数据包含至少一个采样时刻以及每个采样时刻的磁盘容量速度，利用T检测算法对所述磁盘容量的变化数据进行检测，以获得第一候选拐点的方法可以包括但不限于：
T检测算法中，认为拐点前后的磁盘容量的变化数据分布不相同，因此，可以使用T检测算法来检测磁盘容量的变化数据中，采样时刻往前的其他采样时刻的速度分布与该采样时刻往后的其他采样时刻的速度分布是否一致。如果一致，则确定该采样时刻不是所述第一候选拐点。反之，如果不一致，则确定该采样时刻是所述第一候选拐点，从而实现获得第一候选拐点。
例如，磁盘容量的变化数据中包含采样时刻1～采样时刻7以及每个采样时刻的磁盘容量速度。对于采样时刻4，根据采样时刻1～采样时刻3中每个采样时刻的磁盘容量速度，获得采样时刻4之前的速度分布。根据采样时刻5～采样时刻7中每个采样时刻的磁盘容量速度，获得采样时刻4之后的速度分布。比较这两个速度分布是否一致，如果一致，确定采样时刻4不是所述第一候选拐点。反之，如果不一致，确定采样时刻4是所述第一候选拐点。
例如，若磁盘容量的变化数据包含至少一个采样时刻以及每个采样时刻的磁盘容量速度，利用方差检测算法对所述磁盘容量的变化数据进行检测，以获得第一候选拐点的方法可以包括但不限于：
首先，根据磁盘容量的变化数据中所有采样时刻的磁盘容量速度，计算磁盘容量速度的平均值和方差。然后，根据磁盘容量的变化数据中所有采样时刻的磁盘容量数据，获得其中大于(平均值+N×方差)的磁盘容量数据，以及其中小于(平均值-N×方差)的磁盘容量数据，将大于(平均值+N×方差)的磁盘容量数据对应的采样时刻以及小于(平均值-N×方差)的磁盘容量数据对应的采样时刻作为所述第一候选拐点。最后，在磁盘容量的变化数据中去除确定的所述第一候选拐点，然后根据剩下的磁盘容量的变化数据，重复进行上述检测操作，直到无法再获得所述第一候选拐点时为止。
其中，所述N满足：磁盘容量的变化数据中采样时刻的总数目＝2N+1，且N是正整数。
举例说明，本发明实施例中，根据每种检测算法检测出的第一候选拐点，获得所述历史容量数据中的目标拐点的方法可以包括但不限于：首先，根据每种检测算法检测出的第一候选拐点，获得第二候选拐点。然后，获得采样时刻最晚的第二候选拐点，以作为所述历史容量数据中的目标拐点。
在一个具体的实现过程中，根据每种检测算法检测出的第一候选拐点，获得第二候选拐点的方法可以包括但不限于以下三种：
第一种：将至少两种检测算法检测出的第一候选拐点进行合并，以获得所述第二候选拐点。
第二种：获得至少两种检测算法检测出的第一候选拐点的交集，以作为所述第二候选拐点。
第三种：将每种检测算法检测出的第一候选拐点输入预设的拐点识别模型，以使得拐点识别模型对输入的第一候选拐点进行识别，若所述拐点识别模型识别出第一候选拐点是拐点，则该第一候选拐点可以作为所述第二候选拐点。反之，若所述拐点识别模型识别出所述第一候选拐点不是拐点，则该第一候选拐点不可以作为所述第二候选拐点。
优选的，所述拐点识别模型可以通过对拐点训练样本进行机器学习获得，本发明实施例对此不再赘述。
可以理解的是，只有针对最后一个拐点进行磁盘容量的预测才有意义，因此，在获得所述第二候选拐点后，按照时间先后顺序，对第二候选拐点进行排序，然后获得其中采样时刻最晚的第二候选拐点，将该采样时刻最晚的第二候选拐点作为所述历史容量数据中的目标拐点。
本发明实施例中，所述拐点指的是往集群的磁盘中写入数据发生本质性改变的时刻。例如，将30％的数据写入集群A的磁盘，将70％的数据吸入集群B的磁盘，然后在某时刻t，向磁集群A的磁盘和集群B的磁盘都写入50％的数据，，则认为时刻t可以是拐点。
在一个具体的实现过程中，在获得所述历史容量数据的目标拐点后，可以根据所述目标拐点之后的历史容量数据，获得时间与磁盘容量之间的线性关系。
举例说明，本发明实施例中，根据所述目标拐点之后的历史容量数据，获得时间与磁盘容量之间的线性关系的方法可以包括但不限于：对所述目标拐点之后的历史容量数据进行线性拟合处理，以获得时间与磁盘容量之间的线性关系。
可以理解的是，所述目标拐点之后磁盘容量应该是稳定的，符合线性特征的，因此，本发明实施例中，可以将所述目标拐点之后的历史容量数据输入数据拟合算法，以便于数据拟合算法对所述目标拐点之后的历史容量数据进行线性拟合处理，以获得时间与磁盘容量之间的线性关系。
在一个具体的实现过程中，所述时间与磁盘容量之间的线性关系可以为表示时间与磁盘容量之间的线性关系的直线函数的参数，如直线函数的斜率k和截距b。这样，根据时间与磁盘容量之间的线性关系，可以比较准确的预测出磁盘容量在未来的趋势，以及获得在未来某一时刻的磁盘容量。
本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
请参考图2，其为本发明实施例所提供的磁盘容量的预测装置的实施例一的功能方块图。如图所示，该装置包括：
数据处理单元21，用于根据磁盘的历史容量数据，获得磁盘容量的变化数据；
拐点识别单元22，用于根据所述磁盘容量的变化数据，获得所述历史容量数据中的目标拐点；
容量预测单元23，用于根据所述目标拐点之后的历史容量数据，获得时间与磁盘容量之间的线性关系。
请参考图3，本发明实施例所提供的磁盘容量的预测装置的实施例二的功能方块图，如图所示，所述装置还包括：
数据平滑单元24，用于对所述磁盘的历史容量数据进行数据平滑处理。
在一个具体的实现过程中，所述历史容量数据包括至少一个采样时刻以及每个采样时刻的磁盘容量；所述数据处理单元21，具体用于：
根据至少一个采样时刻的磁盘容量，获得至少一个采样时刻中每个采样时刻的磁盘容量速度，以作为所述磁盘容量的变化数据；或者，
根据至少一个采样时刻的磁盘容量，获得至少一个采样时刻中每个采样时刻的磁盘容量加速度，以作为所述磁盘容量的变化数据。
在一个具体的实现过程中，所述拐点识别单元22，具体用于：
利用至少两种检测算法分别对所述磁盘容量的变化数据进行检测，以获得每种检测算法检测出的第一候选拐点；
根据每种检测算法检测出的第一候选拐点，获得所述历史容量数据中的目标拐点。
在一个具体的实现过程中，所述拐点识别单元22根据每种检测算法检测出的第一候选拐点，获得所述历史容量数据中的目标拐点时，具体用于：
根据每种检测算法检测出的第一候选拐点，获得第二候选拐点；
获得采样时刻最晚的第二候选拐点，以作为所述历史容量数据中的目标拐点。
在一个具体的实现过程中，所述容量预测单元23，具体用于：对所述目标拐点之后的历史容量数据进行线性拟合处理，以获得时间与磁盘容量之间的线性关系。
由于本实施例中的各单元能够执行图1所示的方法，本实施例未详细描述的部分，可参考对图1的相关说明。
本发明实施例的技术方案具有以下有益效果：
本发明实施例中，通过根据磁盘的历史容量数据，获得磁盘容量的变化数据；从而，根据所述磁盘容量的变化数据，获得所述历史容量数据中的目标拐点；进而，根据所述目标拐点之后的历史容量数据，获得时间与磁盘容量之间的线性关系。
本发明实施例提供的技术方案能够根据磁盘的历史容量数据，自动对磁盘容量的趋势进行预测，与现有技术中，人工预测磁盘容量趋势的方式相比，本发明实施例所提供的技术方案，能够实现提高了磁盘容量趋势预测的准确性，从而避免了增加容量后磁盘容量无法满足需求的问题，或者增加容量后磁盘容量冗余浪费的问题，减少了磁盘容量预测所需要的人力成本。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种磁盘容量的预测方法，其特征在于，所述方法包括：
根据磁盘的历史容量数据，获得磁盘容量的变化数据；
利用至少两种检测算法分别对所述磁盘容量的变化数据进行检测，以获得每种检测算法检测出的第一候选拐点；根据每种检测算法检测出的第一候选拐点，获得第二候选拐点；获得采样时刻最晚的第二候选拐点，以作为所述历史容量数据中的目标拐点；
根据所述目标拐点之后的历史容量数据，获得时间与磁盘容量之间的线性关系。
2.根据权利要求1所述的方法，其特征在于，所述根据磁盘的历史容量数据，获得磁盘容量的变化数据之前，所述方法还包括：
对所述磁盘的历史容量数据进行数据平滑处理。
3.根据权利要求1或2所述的方法，其特征在于，所述历史容量数据包括至少一个采样时刻以及每个采样时刻的磁盘容量；所述根据磁盘的历史容量数据，获得磁盘容量的变化数据，包括：
根据至少一个采样时刻的磁盘容量，获得至少一个采样时刻中每个采样时刻的磁盘容量速度，以作为所述磁盘容量的变化数据；或者，
根据至少一个采样时刻的磁盘容量，获得至少一个采样时刻中每个采样时刻的磁盘容量加速度，以作为所述磁盘容量的变化数据。
4.根据权利要求1或2所述方法，其特征在于，所述根据所述目标拐点之后的历史容量数据，获得时间与磁盘容量之间的线性关系，包括：
对所述目标拐点之后的历史容量数据进行线性拟合处理，以获得时间与磁盘容量之间的线性关系。
5.一种磁盘容量的预测装置，其特征在于，所述装置包括：
数据处理单元，用于根据磁盘的历史容量数据，获得磁盘容量的变化数据；
拐点识别单元，用于利用至少两种检测算法分别对所述磁盘容量的变化数据进行检测，以获得每种检测算法检测出的第一候选拐点；根据每种检测算法检测出的第一候选拐点，获得第二候选拐点；获得采样时刻最晚的第二候选拐点，以作为所述历史容量数据中的目标拐点；
容量预测单元，用于根据所述目标拐点之后的历史容量数据，获得时间与磁盘容量之间的线性关系。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
数据平滑单元，用于对所述磁盘的历史容量数据进行数据平滑处理。
7.根据权利要求5或6所述的装置，其特征在于，所述历史容量数据包括至少一个采样时刻以及每个采样时刻的磁盘容量；所述数据处理单元，具体用于：
根据至少一个采样时刻的磁盘容量，获得至少一个采样时刻中每个采样时刻的磁盘容量速度，以作为所述磁盘容量的变化数据；或者，
根据至少一个采样时刻的磁盘容量，获得至少一个采样时刻中每个采样时刻的磁盘容量加速度，以作为所述磁盘容量的变化数据。
8.根据权利要求5或6所述装置，其特征在于，所述容量预测单元，具体用于：对所述目标拐点之后的历史容量数据进行线性拟合处理，以获得时间与磁盘容量之间的线性关系。
CN201510524920.8A 2015-08-25 2015-08-25 一种磁盘容量的预测方法及装置 Active CN105094708B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201510524920.8A CN105094708B (zh) 2015-08-25 2015-08-25 一种磁盘容量的预测方法及装置
EP15859994.4A EP3343376B1 (en) 2015-08-25 2015-11-10 Disk capacity prediction method, device and apparatus
JP2016530171A JP6351081B2 (ja) 2015-08-25 2015-11-10 ディスク容量の予測方法、装置、デバイス及び非発揮性コンピューター記憶媒体
US15/039,780 US10423882B2 (en) 2015-08-25 2015-11-10 Disk capacity predicting method, apparatus, equipment and non-volatile computer storage medium
KR1020167014426A KR101848193B1 (ko) 2015-08-25 2015-11-10 디스크 용량의 예측방법, 장치, 설비 및 비휘발성 컴퓨터기억매체
PCT/CN2015/094203 WO2017031837A1 (zh) 2015-08-25 2015-11-10 磁盘容量的预测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510524920.8A CN105094708B (zh) 2015-08-25 2015-08-25 一种磁盘容量的预测方法及装置

Publications (2)

Publication Number Publication Date
CN105094708A CN105094708A (zh) 2015-11-25
CN105094708B true CN105094708B (zh) 2018-06-12

Family

ID=54575268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510524920.8A Active CN105094708B (zh) 2015-08-25 2015-08-25 一种磁盘容量的预测方法及装置

Country Status (6)

Country Link
US (1) US10423882B2 (zh)
EP (1) EP3343376B1 (zh)
JP (1) JP6351081B2 (zh)
KR (1) KR101848193B1 (zh)
CN (1) CN105094708B (zh)
WO (1) WO2017031837A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106469107A (zh) * 2016-08-31 2017-03-01 浪潮(北京)电子信息产业有限公司 一种存储资源的容量预测方法及装置
CN110096391A (zh) * 2018-01-29 2019-08-06 阿里巴巴集团控股有限公司 一种使用寿命预测方法、装置和设备
CN109189323B (zh) * 2018-07-06 2019-12-17 华为技术有限公司 扩容方法及设备
CN109766234A (zh) * 2018-12-11 2019-05-17 国网甘肃省电力公司信息通信公司 基于时间序列模型的磁盘存储容量预测方法
CN109885469B (zh) * 2019-02-27 2022-09-30 深信服科技股份有限公司 一种扩容方法、预测模型创建方法、装置、设备及介质
CN109976975B (zh) * 2019-03-26 2023-07-28 北京大道云行科技有限公司 一种磁盘容量预测方法、装置、电子设备及存储介质
CN112000549B (zh) * 2020-08-21 2022-06-17 北京浪潮数据技术有限公司 一种存储设备的容量分析方法及相关装置
CN112668772B (zh) * 2020-12-24 2024-03-12 润电能源科学技术有限公司 一种状态发展趋势预测方法、装置、设备及存储介质
CN113835626B (zh) * 2021-09-02 2024-04-05 深圳前海微众银行股份有限公司 一种确定磁盘可使用时长的方法及装置
CN115145494B (zh) * 2022-08-11 2023-09-15 江苏臻云技术有限公司 一种基于大数据时间序列分析的磁盘容量预测系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903069A (zh) * 2014-04-15 2014-07-02 广东电网公司信息中心 存储容量预测方法及存储容量预测系统
CN103970641A (zh) * 2014-05-15 2014-08-06 浪潮电子信息产业股份有限公司 一种基于容量预测技术的设备扩容方法
CN104809333A (zh) * 2015-04-03 2015-07-29 百度在线网络技术（北京）有限公司 基于Kalman滤波器的容量预测方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038071A (ja) * 2003-07-17 2005-02-10 Hitachi Ltd ストレージの容量を最適化する管理方法
JP4733461B2 (ja) * 2005-08-05 2011-07-27 株式会社日立製作所 計算機システム、管理計算機及び論理記憶領域の管理方法
US8166552B2 (en) * 2008-09-12 2012-04-24 Hytrust, Inc. Adaptive configuration management system
CN101364229A (zh) * 2008-10-06 2009-02-11 中国移动通信集团设计院有限公司 一种基于时间容量分析的数据仓库主机资源预测方法
US9207984B2 (en) * 2009-03-31 2015-12-08 Amazon Technologies, Inc. Monitoring and automatic scaling of data volumes
CN102640120B (zh) * 2010-01-28 2014-12-10 株式会社日立制作所 计算增设/减设的存储容量的管理系统
US8688927B1 (en) * 2011-12-22 2014-04-01 Emc Corporation Capacity forecasting for backup storage
CN103810244B (zh) 2013-12-09 2017-10-27 北京理工大学 一种基于数据分布的分布式数据存储系统的扩容方法
JP6340987B2 (ja) * 2014-08-12 2018-06-13 富士通株式会社 ディスク枯渇予測プログラム、情報処理装置、およびディスク枯渇予測方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903069A (zh) * 2014-04-15 2014-07-02 广东电网公司信息中心 存储容量预测方法及存储容量预测系统
CN103970641A (zh) * 2014-05-15 2014-08-06 浪潮电子信息产业股份有限公司 一种基于容量预测技术的设备扩容方法
CN104809333A (zh) * 2015-04-03 2015-07-29 百度在线网络技术（北京）有限公司 基于Kalman滤波器的容量预测方法和系统

Also Published As

Publication number Publication date
WO2017031837A1 (zh) 2017-03-02
CN105094708A (zh) 2015-11-25
EP3343376B1 (en) 2023-04-26
JP2017529575A (ja) 2017-10-05
KR20170041653A (ko) 2017-04-17
JP6351081B2 (ja) 2018-07-04
US10423882B2 (en) 2019-09-24
EP3343376A1 (en) 2018-07-04
KR101848193B1 (ko) 2018-04-11
US20170193373A1 (en) 2017-07-06
EP3343376A4 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
CN105094708B (zh) 一种磁盘容量的预测方法及装置
US11568300B2 (en) Apparatus and method for managing machine learning with plurality of learning algorithms and plurality of training dataset sizes
CN109376267B (zh) 用于生成模型的方法和装置
CN105488539B (zh) 分类模型的生成方法及装置、系统容量的预估方法及装置
KR20170141247A (ko) 정보 추천 방법 및 장치
CN110188862B (zh) 用于数据处理的模型超参数的搜索方法、装置、系统
CN110971659A (zh) 推荐消息的推送方法、装置及存储介质
CN115470936B (zh) 一种基于nwdaf的机器学习模型更新方法及装置
CN112632179A (zh) 模型构建方法、装置、存储介质及设备
CN111861521A (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN109460474B (zh) 用户偏好趋势挖掘方法
CN113902260A (zh) 信息预测方法、装置、电子设备和介质
CN115794369A (zh) 内存占用数值的预测方法及装置、存储介质、终端
CN113409884A (zh) 排序学习模型的训练方法及排序方法、装置、设备及介质
CN110198299B (zh) 一种入侵检测方法和装置
CN112711530A (zh) 一种基于机器学习的代码风险预测方法及系统
CN111126653B (zh) 用户职住地预测方法、装置及存储介质
CN111126694A (zh) 一种时间序列数据预测方法、系统、介质及设备
CN116385081A (zh) 一种推荐物品的方法、装置、设备及存储介质
CN113780666B (zh) 一种缺失值的预测方法及装置、可读存储介质
CN113782092B (zh) 一种生存期预测模型的生成方法及装置、存储介质
CN110704614B (zh) 对应用中的用户群类型进行预测的信息处理方法及装置
CN112784165A (zh) 关联关系预估模型的训练方法以及预估文件热度的方法
CN112308225A (zh) 训练神经网络的方法、装置及计算机可读存储介质
CN111047438A (zh) 数据处理方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant