CN113157204A - 一种基于二阶差分法识别人工清理行为的磁盘容量预测方法 - Google Patents

Abstract

本发明公开了一种基于二阶差分法识别人工清理行为的磁盘容量预测方法，主要包括对磁盘容量使用情况进行采样上报，同时建立存储数据库保存历史数据；对磁盘使用量数据的采集时间进行一阶差分求采集时间间隔，以一定周期为准对采集数据进行聚合，保留聚合周期内的最大值；过滤聚合数据中的明显异常值，删除重复数据，并对数据缺失值进行线性插值处理；利用二阶差分检测历史数据中是否存在人为清理行为，并抹平因此造成的影响；根据聚合数据计算数据特征，智能匹配最优算法。本发明在智能IT运维领域中的对磁盘容量的预测时，通过二阶差分法抹平人工清理磁盘行为对数据和预测造成的影响，达到了提升预测准确性的目的。

Description

一种基于二阶差分法识别人工清理行为的磁盘容量预测方法

技术领域

本发明涉及智能IT运维的领域，具体涉及一种基于二阶差分法识别人工清理行为的磁盘 容量预测方法。

背景技术

近年来，运维技术已逐步从自动化阶段转变进入智能时代。智能运维旨在规范化、流程 化、自动化地智能辅助运维决策和执行，赋予运维系统智能监测、故障自愈等能力。众多公 司和研究机构已经积累了大量的历史数据以及运维经验。基于大数据和数据挖掘方法的智能 运维技术已在异常检测、根因分析、容量预测等应用场景得以落地实践，极大程度上减少了 人工开销。现有技术方法主要包括以下步骤：建立存储磁盘容量的数据库，监测存储系统的 运行，提供所需数据；读取数据库，获得历史数据，构造基于时间序列的神经网络模型，进 行预测；根据预测结果，与磁盘剩余容量对比，判断是否需要发出告警。

现有的算法模型几乎都遵循采用近期历史数据来实现对未来数据的短期预测的规则。而 磁盘容量问题不可避免地会出现人为清理行为，这会对算法对历史数据的学习产生极大的干 扰。基于深度学习神经网络的算法模型具有较高的算法精确度，但目前其资源消耗以及运行 效率尚为达到理想值。如何均衡运维效率和成本管控的难题不可避免。

发明内容

本发明的目的在于克服现有技术存在的不足，而提供一种基于二阶差分法识别人工清理 行为的磁盘容量预测方法。

本发明的目的是通过如下技术方案来完成的：这种基于二阶差分法识别人工清理行为的 磁盘容量预测方法，主要包括以下步骤：

1)对磁盘容量使用情况进行采样上报，同时建立存储数据库保存历史数据；

2)对磁盘使用量数据的采集时间进行一阶差分求采集时间间隔，以一定周期为准对采集 数据进行聚合，保留聚合周期内的最大值；

3)过滤聚合数据中的明显异常值，删除重复数据，并对数据缺失值进行线性插值处理；

4)利用二阶差分检测历史数据中是否存在人为清理行为，并抹平因此造成的影响；

5)根据聚合数据计算数据特征，智能匹配最优算法。

所述步骤4)中的二阶差分主要包括以下步骤：

1)对聚合数据计算一阶差分，公式为：

F(x_i)＝Δf(x_i)＝f(x_i+1)-f(x_i)

其中x_i＝x₀+h,x_i为第i采样点，h为采样间隔，函数f(x)代表采样点x处的磁盘容量值；

2)计算排序后的二阶差分，公式为：

G(x_i)＝F′(x_i+1)-F′(x_i)＝f′(x_i+2)-2*f′(x_i+1)+f′(x_i)

F′(x_i)＝sorted(F(x_i))

其中F′(x_i)表示对F(x_i)进行排序,即一阶差分中F(x_i)进行从大到小排序后得到F′(x_i)，再 计算二阶差分G(x_i)；

3)确定是否存在人为清理行为，并确定阈值，公式为：

其中，max(G)为排序后的二阶差分的最大值，second(G)为排序后的二阶差分的次大值， F(x_j)代表排序后二阶差分最大值处对应的采样点j的一阶差分,当二阶差分的最大值小于五 倍的次大值时，认定不存在认为清理行为，否则，将一阶差分值与阈值H对比，界定人为清 理行为，对存在人为清理行为的历史数据，将其向下平移对齐清理后的数据。

所述步骤5)主要包括以下步骤：

1)对步骤4)处理后的数据计算一阶差分总体标准差，公式为：

其中，x_i代表每个样本点的一阶差分值，σ为总体标准差；

2)设定阈值M，若σ小于M，则认定此磁盘容量时间序列为较平稳序列，采用统计学岭 回归算法预测，充分保障预测效率；若σ大于M,则采用深度学习NeuralDecomposition(ND) 算法将时间序列分解成周期项和非周期项进行预测，保障准确性，公式为：

其中：x(t)为原始磁盘容量产生的时间序列，g(t)为非周期项,a_k、ω_k、

为周期项中需 要学习的参数。

本发明的有益效果为：本发明在智能IT运维领域中的对磁盘容量的预测时，通过二阶差 分法抹平人工清理磁盘行为对数据和预测造成的影响，达到了提升预测准确性的目的；通过 监测并抹平人为清理行为对数据产生的影响，保障并提高算法的学习能力，同时对数据形态、 趋势等特征进行分析决策，自主选择最优算法，充分保障运行效率，兼顾算法准确性和运行 效率。

附图说明

图1为本发明的模型设计示意图。

图2为本发明的人为清理磁盘行为数据调整示意图。

具体实施方式

下面将结合附图对本发明做详细的介绍：

如附图所示，这种基于二阶差分法识别人工清理行为的磁盘容量预测方法，主要包括以 下步骤：

1)对磁盘容量使用情况进行采样上报，同时建立存储数据库保存历史数据；

2)对磁盘使用量数据的采集时间进行一阶差分求采集时间间隔(如一分钟)，以一定周 期(如5分钟)为准对采集数据进行聚合，保留聚合周期(如5分钟)内的最大值；

3)过滤聚合数据中的明显异常值，删除重复数据，并对数据缺失值进行线性插值处理；

4)利用二阶差分检测历史数据中是否存在人为清理行为，并抹平因此造成的影响；

5)根据聚合数据计算数据特征，智能匹配最优算法。

步骤4)中的二阶差分主要包括以下步骤：

1)对聚合数据计算一阶差分，公式为：

F(x_i)＝Δf(x_i)＝f(x_i+1)-f(x_i)

其中x_i＝x₀+h,x_i为第i采样点，h为采样间隔，函数f(x)代表采样点x处的磁盘容量值；

2)计算排序后的二阶差分，公式为：

G(x_i)＝F′(x_i+1)-F′(x_i)＝f′(x_i+2)-2*f′(x_i+1)+f′(x_i)

F′(x_i)＝sorted(F(x_i))

其中F′(x_i)表示对F(x_i)进行排序,即一阶差分中F(x_i)进行从大到小排序后得到F′(x_i)，再 计算二阶差分G(x_i)；

3)确定是否存在人为清理行为，并确定阈值，公式为：

其中，max(G)为排序后的二阶差分的最大值，second(G)为排序后的二阶差分的次大值， F(x_j)代表排序后二阶差分最大值处对应的采样点j的一阶差分,当二阶差分的最大值小于五 倍的次大值时，认定不存在认为清理行为，否则，将一阶差分值与阈值H对比，界定人为清 理行为，对存在人为清理行为的历史数据，将其向下平移对齐清理后的数据。

步骤5)主要包括以下步骤：

1)对步骤4)处理后的数据计算一阶差分总体标准差，公式为：

其中，x_i代表每个样本点的一阶差分值，σ为总体标准差；

2)设定阈值M，若σ小于M，则认定此磁盘容量时间序列为较平稳序列，采用统计学岭 回归算法预测，充分保障预测效率；若σ大于M,则采用深度学习NeuralDecomposition(ND) 算法将时间序列分解成周期项和非周期项进行预测，保障准确性，公式为：

其中：x(t)为原始磁盘容量产生的时间序列，g(t)为非周期项,a_k、ω_k、

为周期项中需 要学习的参数。

附图2展示了如何抹平人工清理磁盘造成的影响。图中实线序列为存在人工清理磁盘行 为的原始数据，虚线序列位置为修正后的训练数据。

本发明使用计算机语言为Python，能达到最佳实施效果。本发明已经以产品形式在“优 云”系列运维产品中实施。

可以理解的是，对本领域技术人员来说，对本发明的技术方案及发明构思加以等同替换 或改变都应属于本发明所附的权利要求的保护范围。

Claims (3)

1.一种基于二阶差分法识别人工清理行为的磁盘容量预测方法，其特征在于：主要包括以下步骤：

1)对磁盘容量使用情况进行采样上报，同时建立存储数据库保存历史数据；

2)对磁盘使用量数据的采集时间进行一阶差分求采集时间间隔，以一定周期为准对采集数据进行聚合，保留聚合周期内的最大值；

3)过滤聚合数据中的明显异常值，删除重复数据，并对数据缺失值进行线性插值处理；

4)利用二阶差分检测历史数据中是否存在人为清理行为，并抹平因此造成的影响；

5)根据聚合数据计算数据特征，智能匹配最优算法。

2.根据权利要求1所述的基于二阶差分法识别人工清理行为的磁盘容量预测方法，其特征在于：所述步骤4)中的二阶差分主要包括以下步骤：

1)对聚合数据计算一阶差分，公式为：

F(x_i)＝Δf(x_i)＝f(x_i+1)-f(x_i)

其中x_i＝x₀+h，x_i为第i采样点，h为采样间隔，函数f(x)代表采样点x处的磁盘容量值；

2)计算排序后的二阶差分，公式为：

G(x_i)＝F′(x_i+1)-F′(x_i)＝f′(x_i+2)-2*f′(x_i+1)+f′(x_i)

F′(x_i)＝sorted(F(x_i))

其中F′(x_i)表示对F(x_i)进行排序，即一阶差分中F(x_i)进行从大到小排序后得到F′(x_i)，再计算二阶差分G(x_i)；

3)确定是否存在人为清理行为，并确定阈值，公式为：

其中，max(G)为排序后的二阶差分的最大值，second(G)为排序后的二阶差分的次大值，F(x_j)代表排序后二阶差分最大值处对应的采样点j的一阶差分，当二阶差分的最大值小于五倍的次大值时，认定不存在认为清理行为，否则，将一阶差分值与阈值H对比，界定人为清理行为，对存在人为清理行为的历史数据，将其向下平移对齐清理后的数据。

3.根据权利要求1所述的基于二阶差分法识别人工清理行为的磁盘容量预测方法，其特征在于：所述步骤5)主要包括以下步骤：

1)对步骤4)处理后的数据计算一阶差分总体标准差，公式为：

其中，x_i代表每个样本点的一阶差分值，σ为总体标准差；

2)设定阈值M，若σ小于M，则认定此磁盘容量时间序列为较平稳序列，采用统计学岭回归算法预测，充分保障预测效率；若σ大于M，则采用深度学习ND算法将时间序列分解成周期项和非周期项进行预测，保障准确性，公式为：

其中：x(t)为原始磁盘容量产生的时间序列，g(t)为非周期项，a_k、ω_k、

为周期项中需要学习的参数。

Images