CN112631881A - 基于时序数据趋势预测的运维方法、装置及设备 - Google Patents
基于时序数据趋势预测的运维方法、装置及设备 Download PDFInfo
- Publication number
- CN112631881A CN112631881A CN202011403112.3A CN202011403112A CN112631881A CN 112631881 A CN112631881 A CN 112631881A CN 202011403112 A CN202011403112 A CN 202011403112A CN 112631881 A CN112631881 A CN 112631881A
- Authority
- CN
- China
- Prior art keywords
- data
- time sequence
- time series
- trend
- periodicity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000000737 periodic effect Effects 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 44
- 241001123248 Arma Species 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 230000011218 segmentation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013112 stability test Methods 0.000 description 1
- 230000005654 stationary process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/148—Wavelet transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种基于时序数据趋势预测的运维方法，对于由服务器在不同时刻的性能数据组成的时序数据，该方法在进行预测之前，先对时序数据进行周期性检测。然后根据时序数据是否具备周期性，采用不同的方式进行预测，因此即便在复杂的数据环境下该方法预测得到的结果仍具有较高的准确性，根据该预测结果执行相应的运维操作，有助于提升服务器性能。此外，本申请还提供了一种基于时序数据趋势预测的运维装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种基于时序数据趋势预测的运维方法、装置、设备及可读存储介质。
背景技术
随着云计算领域的快速发展，对拥有物理机性能和云弹性的裸机建设正在云计算中悄然兴起。为了使云计算中的物理机与云主机的性能达到最佳，分析和预测性能数据对机器性能调优具有指导意义。
目前，对服务器的性能数据的预测方式包含基于时间序列的方法与基于机器学习的方法。基于时间序列的方法，往往采用累积式自回归移动平均(ARIMA)、指数平滑(Holt-Winters)等模型，这些模型均为线性模型，对非线性数据的预测能力不足。基于机器学习的方法，主要包含支持向量机(SVM)、人工神经网络(ANN)等实现方式，这种方法主要针对小样本问题，如果面临大规模数据量时，容易陷入局部最优解。
服务器中的性能数据的数据复杂度比较高，因此，一般的预测方案往往对一类数据的预测效果很好，但对另一类数据的预测效果很差。例如，由性能数据组成的时序数据往往具有周期性和趋势性，一些预测方案对周期性数据的预测效果比较好，但对趋势数据的预测效果较差，另一些预测方案则反之。
可见，在服务器运维场景下，如何对同时具有周期性和趋势性的时序数据进行预测，从而根据预测结果对服务器进行调节，提升服务器性能，是亟待本领域技术人员解决的问题。
发明内容
本申请的目的是提供一种基于时序数据趋势预测的运维方法、装置、设备及可读存储介质，用以解决当前的运维方案对同时具备周期性和趋势性的时序数据的预测效果较差，导致运维效果较差的问题。其具体方案如下：
第一方面，本申请提供了一种基于时序数据趋势预测的运维方法，包括：
获取时序数据，其中所述时序数据包括服务器在不同时刻的性能数据；
对所述时序数据进行平滑去噪处理；
利用DTW对平滑去噪处理后的时序数据进行周期性检测；
在所述时序数据具备周期性时，将所述时序数据分解为周期数据和趋势数据；
对所述趋势数据或不具备周期性的时序数据进行小波分解，得到分量数据；
利用ARMA模型对所述分量数据进行预测，得到趋势预测结果；
在所述时序数据具备周期性时，根据所述周期数据的周期性和所述趋势预测结果确定所述时序数据的预测结果；在所述时序数据不具备周期性时，直接将所述趋势预测结果作为所述时序数据的预测结果；
根据所述时序数据的预测结果，对所述服务器执行相应的运维操作。
优选的，所述对所述时序数据进行平滑去噪处理，包括：
采用最小二乘平滑滤波算法，对所述时序数据进行平滑去噪处理。
优选的，所述对所述趋势数据或不具备周期性的时序数据进行小波分解，得到分量数据，包括：
对所述趋势数据或不具备周期性的时序数据进行平稳性检验；
若所述趋势数据或不具备周期性的时序数据不具备平稳性，则进行小波分解，得到分量数据；
对所述分量数据进行平稳性检验，若所述分量数据也不具备平稳性，则重复进行小波分解，直至分解得到的分量数据具备平稳性。
优选的，所述对所述趋势数据或不具备周期性的时序数据进行平稳性检验，包括：
利用ADF算法对所述趋势数据或不具备周期性的时序数据进行平稳性检验。
优选的，所述利用DTW对平滑去噪处理后的时序数据进行周期性检测，包括：
对平滑去噪处理后的时序数据进行分段，得到子时序数据集合；
利用DTW计算所述子时序序列中相邻两份子时序数据之间的距离值；
若所述距离值超过预设阈值，则判定所述时序数据不具备周期性。
优选的，所述利用DTW计算所述子时序序列中相邻两份子时序数据之间的距离值之前，还包括：
若所述子时序数据集合中各个子时序数据的维度不同，则对所述子时序数据集合中各个所述子时序数据的维度进行统一。
优选的，所述利用ARMA模型对所述分量数据进行预测，得到趋势预测结果之前，还包括：
确定ARMA模型的模型参数的取值范围；
依据BIC准则，确定在所述取值范围内使BIC值最小的最优模型参数；
基于所述最优模型参数，构建相应的ARMA模型。
第二方面，本申请提供了一种基于时序数据趋势预测的运维装置，包括：
时序数据获取模块：用于获取时序数据，其中所述时序数据包括服务器在不同时刻的性能数据；
平滑去噪处理模块：用于对所述时序数据进行平滑去噪处理；
周期性检测模块：用于利用DTW对平滑去噪处理后的时序数据进行周期性检测；
周期分解模块：用于在所述时序数据具备周期性时，将所述时序数据分解为周期数据和趋势数据；
小波分解模块：用于对所述趋势数据或不具备周期性的时序数据进行小波分解，得到分量数据；
预测模块：用于利用ARMA模型对所述分量数据进行预测，得到趋势预测结果；
预测结果输出模块：用于在所述时序数据具备周期性时，根据所述周期数据的周期性和所述趋势预测结果确定所述时序数据的预测结果；在所述时序数据不具备周期性时，直接将所述趋势预测结果作为所述时序数据的预测结果；
运维模块：用于根据所述时序数据的预测结果，对所述服务器执行相应的运维操作。
第三方面，本申请提供了一种基于时序数据趋势预测的运维设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上所述的基于时序数据趋势预测的运维方法。
第四方面，本申请提供了一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的基于时序数据趋势预测的运维方法。
本申请所提供的一种基于时序数据趋势预测的运维方法，对于由服务器在不同时刻的性能数据组成的时序数据，该方法在进行预测之前，先对时序数据进行平滑去噪处理和周期性检测。将具备周期性的时序数据分解为周期数据和趋势数据，然后对趋势数据进行小波分解得到分量数据；将不具备周期性的时序数据直接进行小波分解得到分量数据。在预测时，利用ARMA模型对分量数据进行预测，得到趋势预测结果。然后生成时序数据的预测结果，具体的，在时序数据具备周期性时，根据前述周期数据的周期性确定周期预测结果，对周期预测结果与趋势预测结果进行结合，得到时序数据的预测结果；在时序数据不具备周期性时，直接将趋势预测结果作为时序数据的预测结果。最终，根据时序数据的预测结果，对服务器执行相应的运维操作。
可见，该方法根据时序数据是否具备周期性，采用不同的方式进行预测，因此即便在复杂的数据环境下该方法预测得到的结果仍具有较高的准确性，根据该预测结果执行相应的运维操作，有利于实现服务器性能的最大化。
此外，本申请还提供了一种基于时序数据趋势预测的运维装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种基于时序数据趋势预测的运维方法实施例一的流程图；
图2为本申请所提供的一种基于时序数据趋势预测的运维方法实施例二的流程图；
图3为本申请所提供的一种基于时序数据趋势预测的运维方法实施例二中小波分解过程的流程图；
图4为本申请所提供的一种基于时序数据趋势预测的运维方法实施例二中ARMA模型参数确定过程的流程图；
图5为本申请所提供的一种基于时序数据趋势预测的运维装置实施例的功能框图。
具体实施方式
本申请的核心是提供一种基于时序数据趋势预测的运维方法、装置、设备及可读存储介质，能够根据时序数据是否具备周期性，采用不同的方式对服务器性能数据进行预测，保证预测结果的准确性，后续根据该预测结果执行相应的运维操作，能够提升服务器性能。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面对本申请提供的一种基于时序数据趋势预测的运维方法实施例一进行介绍，参见图1，实施例一包括：
S101、获取时序数据，其中所述时序数据包括服务器在不同时刻的性能数据。
本实施例在运维场景下实现，适用于多种云平台基础架构的性能优化方案，例如x86、arm及mips平台均可适用。
当监控目标是服务器的CPU，内存，存储，网络等指标时，上述性能数据为按照一定频率对这些指标进行数据采集得到的数据，具体包含CPU使用率，内存使用率，硬盘使用量，网络吞吐量等。
可以理解的是，实际应用中，时序数据可能存在数据丢失情况，此时可以使用插值法补全时序数据。
S102、对所述时序数据进行平滑去噪处理。
对时序数据进行平滑去噪处理，目的在于剔除时序数据中的异常值，并平滑时序数据中的毛刺点，减少噪声的干扰。此处具体可以采用最小二乘平滑滤波算法。
S103、利用DTW对平滑去噪处理后的时序数据进行周期性检测。
对时序数据进行平滑去噪处理后，进行周期性检测，从而判断时序数据是不是周期性数据，本实施例所用到的算法为DTW(Dynamic Time Warping，动态时间规整)。
利用DTW对时序数据进行周期性检测的过程具体包括：对时序数据进行分段，将分段得到的数据称为子时序数据，通过分段可以得到包括多个子时序数据的子时序数据集合；利用DTW计算所述子时序序列中相邻两份子时序数据之间的距离值；若所述距离值超过预设阈值，则判定所述时序数据不具备周期性，否则判定时序数据具备周期性。
值得一提的是，在进行数据分段时，不能保证分段得到的各个子时序数据的维度全部相等，所以本实施例使用DTW算法进行周期性检测的一个目的在于：通过统一分段得到的各个子时序数据的维度，保证周期性检测的顺利进行。具体的，如果待计算距离的两个子时序数据的维度不同，那么，首先使用DTW来进行维度扩充或维度，以保证二者维度相等，然后再进行距离计算。
因此，在利用DTW对时序数据进行周期性检测的过程中，还包括以下过程：若所述子时序数据集合中各个子时序数据的维度不同，则对所述子时序数据集合中各个所述子时序数据的维度进行统一。
S104、在所述时序数据具备周期性时，将所述时序数据分解为周期数据和趋势数据。
具体的，使用时序分解算法对时序数据进行分解，得到周期数据和趋势数据，实际应用中还可能得到余项数据。其中，趋势数据可认为是低频率的变化趋势，周期数据可认为是由于周期性稳定扰动造成的高频变化，而余项数据可认为是随机扰动造成的不规则变化。因此，一般不考虑余项数据，在实际预测过程中，低频的趋势数据有利于认识时序数据的变化趋势，结合周期性数据的周期性，对二者分别进行预测，并对两个预测结果进行结合，则能够得到较为准确的预测结果。
实际应用中，具体可以选用STL(Seasonal-Trend decomposition procedurebased on Loess，鲁棒局部加权回归时间序列分解)算法将时序数据分解为周期数据和趋势数据。
S105、对所述趋势数据或不具备周期性的时序数据进行小波分解，得到分量数据。
针对上述S104分解出的趋势数据或不具备周期性的时序数据，首先进行平稳性检验，若检验结果为具备平稳性，即上述趋势数据或不具备周期性的时序数据为平稳序列，则直接进入S106。若检验结果为非平稳序列，对上述趋势数据或不具备周期性的时序数据进行小波分解，分解出分量数据，包括低频分量与高频分量。之后，接着对小波分解出的分量数据进行平稳性检验，若各个分量数据具备平稳性，进入S106，否则针对不具备平稳性的分量数据继续进行小波分解，直到各个分量数据全为平稳序列为止。
实际应用中，具体可以选用ADF(Augmented Dickey-Fulle，单位根检验)算法实现上述平稳性检验的过程。
S106、利用ARMA模型对所述分量数据进行预测，得到趋势预测结果。
具体的，对各个分量数据进行分别进行预测之后，进行组合，得到趋势预测结果。此处采用ARMA模型(Autoregressive Moving Average model，移动平均自回归模型)实现对分量数据的预测。
在执行实际预测之前，先使用BIC准则(Bayesian Information Criterion，贝叶斯信息准则)确定ARMA模型的最优模型参数，然后利用基于最优模型参数的ARMA模型实现对平稳序列数据的预测。因此，ARMA模型的构建过程具体包括：确定ARMA模型的模型参数的取值范围；依据BIC准则，确定在所述取值范围内使BIC值最小的最优模型参数；基于所述最优模型参数，构建相应的ARMA模型。
S107、在所述时序数据具备周期性时，根据所述周期数据的周期性和所述趋势预测结果确定所述时序数据的预测结果；在所述时序数据不具备周期性时，直接将所述趋势预测结果作为所述时序数据的预测结果。
具体的，根据周期数据的周期性进行预测，得到周期预测结果。将周期预测结果与趋势预测结果相结合，即可得到时序数据的预测结果。
S108、根据所述时序数据的预测结果，对所述服务器执行相应的运维操作。
本实施例所提供一种基于时序数据趋势预测的运维方法，对于由服务器在不同时刻的性能数据组成的时序数据，使用最小二乘平滑滤波对时序数据进行预处理减少噪声的干扰，使用DTW进行周期性检验，根据数据是否具有周期性选择相应的预测算法。若数据具有周期性，则使用STL算法进行时序分解，分解出周期数据与趋势数据；对于分解出的趋势数据，使用小波分解算法分解出数据的低频分量和高频分量，使得数据在各个分量上是平稳序列。若数据不具有周期性，使用小波分解算法分解出数据的低频分量和高频分量，重复进行小波分解直至数据在各个分量上都是平稳序列。使用ARMA模型对各个分量上的数据进行预测，得到趋势预测结果；结合根据周期数据的周期性确定的周期预测结果，得到整个时序数据的预测结果。最终，进行相应的运维操作。
可见，该方法根据时序数据是否具备周期性，采用不同的方式进行预测，因此即便在复杂的数据环境下该方法预测得到的结果仍具有较高的准确性，根据该预测结果执行相应的运维操作，有利于实现服务器性能的最大化。
下面开始详细介绍本申请提供的一种基于时序数据趋势预测的运维方法实施例二，实施例二以实际应用为例对整个实施过程进行了详尽的介绍。
实施例二的实施过程如图2所示，具体包括：
S201、获取OpenStack集群中由不同时刻的性能数据组成的时序数据，可用于预测的性能数据包括CPU使用率，内存使用率，硬盘使用量，网络端口流量等信息。
S202、对时序数据进行数据清洗，使用最小二乘平滑滤波来平滑数据。
S203、首先要对时序数据进行分段，然后统一分段得到的子时序数据的维度，之后求相邻两段子时序数据之间的DTW距离。当距离值超过预设阈值时，说明时序数据不具备周期性，后续使用非周期性预测算法进行数据预测。反之，说明时序数据具备周期性，后续使用周期性预测算法进行数据预测。
在DTW中距离公式可表述为：
其中Dist(wki，wkj)为欧式距离，wki是指一段子时序数据X的第i个数据点，wkj是指另一段子时序数据Y的第j个数据点，K表示子时序数据的数量。
S204、若时序数据具有周期性，使用STL算法将时序数据进行分解，分解为周期分量、趋势分量和余项：
Yv＝Tv+Sv+Rv v＝1，...，N
式中，Tv为趋势分量，Sv为周期分量，Rv为余项，N表示数据长度。
S205、对于前述趋势分量数据或不具有周期性的时序数据(以下将二者称为原始数据)，进行平稳性检验，并对非平稳序列进行小波分解，分解过程如图3所示。
首先使用ADF算法对原始数据的平稳性进行检验，得到的显著性检验统计量小于三个置信度，则说明原始数据具有平稳性，进入S206。否则，采用小波分解的对原始数据进行分解，得到低频分量和高频分量。
其中，小波分解通过重构运算从低频系数中可以得到原始数据的低频分量，从高频系数中可以的到原始数据的高频分量。其中的低频系数和高频系数可表述为：
aj+1＝h0*aj
dj+1＝h1*dj
式中，aj表示低频系数，h0表示低通分解滤波器，*表示卷积运算符，a0表示原始数据。dj表示高频系数，h1表示高通分解滤波器，*表示卷积运算符，d0表示原始数据。
之后，经过重构运算后，得到原始数据的低频分量和高频分量：
Aj＝g0*aj
Dj＝g1*dj
式中，g0表示低通重构滤波器，Aj表示低频分量。g1表示高通重构滤波器，Dj表示高频分量。
最终得到的原始数据S与分解后的低频分量A和高频分量D之间的关系为：
S＝A+D
对原始数据进行低频部分与高频部分进行分解后对A和D进行平稳性检验。若某一分量满足平稳性要求，则不需要分解，否则继续进行分解，直到所有分量都满足平稳性要求。
最终，经过小波分解后，原始数据就转换为多个平稳高频分量与低频分量的和。
S206、对原始数据进行分解后，保证了各个分量都为平稳序列，接下来使用自回归移动平均模型ARMA对各个分量进行预测。
ARMA模型可以定义为：当{X(n)，n＝0，±1，±2...}是平稳过程，若对任意的n满足：
X(n)-φ1X(n-1)-…-φpX(n-p)＝ξ(n)-θ1ξ(n-1)-…-θqξ(n-q)
式中，ξ(n)是方差为σ2的白噪声，则X(n)包含了p阶自回归和q阶滑动平均过程，简称ARMA(p，q)过程。
对ARMA模型的参数调节过程如图4所示。首先计算p和q的上确界，一般经验中，模型阶数与时序数据的长度相关，一般不会超过N/3或lnN，但为了使模型有一定的泛化能力则参数应尽量小，最好选择参数上确界为lnN。
确定模型参数取值范围后使用BIC准则确定参数值。BIC可表述为：
使上式达最小的p和q为ARMA模型的阶，
为ξ(n)方差的估计，n为样本大小。即：
其中P0，Q0为lnN取整的值。
使用BIC准则判定后，ARMA模型的阶数确定，建模完成。
S207、最后进行预测，此时分两种情况，原始的时序数据具有周期性或不具有周期性：
在不具有周期性时，若时序数据经过小波分解，则利用ARMA模型对小波分解的各个分量上的数据进行预测，通过组合后得到时序数据的预测结果。若时序数据未经过小波分解，则直接利用ARMA模型对时序数据进行预测，得到时序数据的预测结果，无需进行组合。
在具有周期性时，分两部分：周期数据和趋势数据。若趋势数据经过小波分解，则利用ARMA模型对小波分解的各个分量上的数据进行预测，通过组合后得到趋势预测结果。若趋势数据未经过小波分解，则直接利用ARMA模型对趋势数据进行预测，得到趋势预测结果，无需进行组合。根据周期数据的周期性进行预测，得到周期预测结果。将趋势预测结果与周期预测结果进行组合，得到整个时序数据的预测结果。
可见，本实施例提供的一种基于时序数据趋势预测的运维方法，从数据周期性上进行考虑，在进行预测之前，先对数据进行周期性检测，将具有周期性的数据使用时序分解算法进行分解，分别预测分解得到的周期数据和趋势数据，保证预测算法面对复杂数据环境时有较高的准确性。
通过预测的情况，使得运维人员可以根据预测情况快速判断是否增容扩容。由此可以提升运维人员的效率，进而提升服务器性能。
下面对本申请实施例提供的基于时序数据趋势预测的运维装置进行介绍，下文描述的基于时序数据趋势预测的运维装置与上文描述的基于时序数据趋势预测的运维方法可相互对应参照。
如图5所示，本实施例的基于时序数据趋势预测的运维装置，包括：
时序数据获取模块501：用于获取时序数据，其中所述时序数据包括服务器在不同时刻的性能数据；
平滑去噪处理模块502：用于对所述时序数据进行平滑去噪处理；
周期性检测模块503：用于利用DTW对平滑去噪处理后的时序数据进行周期性检测；
周期分解模块504：用于在所述时序数据具备周期性时，将所述时序数据分解为周期数据和趋势数据；
小波分解模块505：用于对所述趋势数据或不具备周期性的时序数据进行小波分解，得到分量数据；
预测模块506：用于利用ARMA模型对所述分量数据进行预测，得到趋势预测结果；
预测结果输出模块507：用于在所述时序数据具备周期性时，根据所述周期数据的周期性和所述趋势预测结果确定所述时序数据的预测结果；在所述时序数据不具备周期性时，直接将所述趋势预测结果作为所述时序数据的预测结果；
运维模块508：用于根据所述时序数据的预测结果，对所述服务器执行相应的运维操作。
本实施例的基于时序数据趋势预测的运维装置用于实现前述的基于时序数据趋势预测的运维方法，因此该装置中的具体实施方式可见前文中的基于时序数据趋势预测的运维方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的基于时序数据趋势预测的运维装置用于实现前述的基于时序数据趋势预测的运维方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本申请还提供了一种基于时序数据趋势预测的运维设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上文所述的基于时序数据趋势预测的运维方法。
最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上文所述的基于时序数据趋势预测的运维方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于时序数据趋势预测的运维方法，其特征在于，包括：
获取时序数据，其中所述时序数据包括服务器在不同时刻的性能数据；
对所述时序数据进行平滑去噪处理；
利用DTW对平滑去噪处理后的时序数据进行周期性检测；
在所述时序数据具备周期性时，将所述时序数据分解为周期数据和趋势数据；
对所述趋势数据或不具备周期性的时序数据进行小波分解，得到分量数据；
利用ARMA模型对所述分量数据进行预测，得到趋势预测结果；
在所述时序数据具备周期性时，根据所述周期数据的周期性和所述趋势预测结果确定所述时序数据的预测结果；在所述时序数据不具备周期性时，直接将所述趋势预测结果作为所述时序数据的预测结果；
根据所述时序数据的预测结果，对所述服务器执行相应的运维操作。
2.如权利要求1所述的方法，其特征在于，所述对所述时序数据进行平滑去噪处理，包括：
采用最小二乘平滑滤波算法，对所述时序数据进行平滑去噪处理。
3.如权利要求1所述的方法，其特征在于，所述对所述趋势数据或不具备周期性的时序数据进行小波分解，得到分量数据，包括：
对所述趋势数据或不具备周期性的时序数据进行平稳性检验；
若所述趋势数据或不具备周期性的时序数据不具备平稳性，则进行小波分解，得到分量数据；
对所述分量数据进行平稳性检验，若所述分量数据也不具备平稳性，则重复进行小波分解，直至分解得到的分量数据具备平稳性。
4.如权利要求3所述的方法，其特征在于，所述对所述趋势数据或不具备周期性的时序数据进行平稳性检验，包括：
利用ADF算法对所述趋势数据或不具备周期性的时序数据进行平稳性检验。
5.如权利要求1所述的方法，其特征在于，所述利用DTW对平滑去噪处理后的时序数据进行周期性检测，包括：
对平滑去噪处理后的时序数据进行分段，得到子时序数据集合；
利用DTW计算所述子时序序列中相邻两份子时序数据之间的距离值；
若所述距离值超过预设阈值，则判定所述时序数据不具备周期性。
6.如权利要求5所述的方法，其特征在于，所述利用DTW计算所述子时序序列中相邻两份子时序数据之间的距离值之前，还包括：
若所述子时序数据集合中各个子时序数据的维度不同，则对所述子时序数据集合中各个所述子时序数据的维度进行统一。
7.如权利要求1-6任意一项所述的方法，其特征在于，所述利用ARMA模型对所述分量数据进行预测，得到趋势预测结果之前，还包括：
确定ARMA模型的模型参数的取值范围；
依据BIC准则，确定在所述取值范围内使BIC值最小的最优模型参数；
基于所述最优模型参数，构建相应的ARMA模型。
8.一种基于时序数据趋势预测的运维装置，其特征在于，包括：
时序数据获取模块：用于获取时序数据，其中所述时序数据包括服务器在不同时刻的性能数据；
平滑去噪处理模块：用于对所述时序数据进行平滑去噪处理；
周期性检测模块：用于利用DTW对平滑去噪处理后的时序数据进行周期性检测；
周期分解模块：用于在所述时序数据具备周期性时，将所述时序数据分解为周期数据和趋势数据；
小波分解模块：用于对所述趋势数据或不具备周期性的时序数据进行小波分解，得到分量数据；
预测模块：用于利用ARMA模型对所述分量数据进行预测，得到趋势预测结果；
预测结果输出模块：用于在所述时序数据具备周期性时，根据所述周期数据的周期性和所述趋势预测结果确定所述时序数据的预测结果；在所述时序数据不具备周期性时，直接将所述趋势预测结果作为所述时序数据的预测结果；
运维模块：用于根据所述时序数据的预测结果，对所述服务器执行相应的运维操作。
9.一种基于时序数据趋势预测的运维设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1-7任意一项所述的基于时序数据趋势预测的运维方法。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-7任意一项所述的基于时序数据趋势预测的运维方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403112.3A CN112631881B (zh) | 2020-12-04 | 2020-12-04 | 基于时序数据趋势预测的运维方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403112.3A CN112631881B (zh) | 2020-12-04 | 2020-12-04 | 基于时序数据趋势预测的运维方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112631881A true CN112631881A (zh) | 2021-04-09 |
| CN112631881B CN112631881B (zh) | 2024-10-01 |
Family
ID=75308210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011403112.3A Active CN112631881B (zh) | 2020-12-04 | 2020-12-04 | 基于时序数据趋势预测的运维方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112631881B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112506752A (zh) * | 2020-12-10 | 2021-03-16 | 山东海量信息技术研究院 | 基于时序数据趋势预测的运维方法、装置及设备 |
| CN113761022A (zh) * | 2021-08-18 | 2021-12-07 | 浪潮电子信息产业股份有限公司 | 一种时序数据趋势预测方法、系统及相关装置 |
| CN117310118A (zh) * | 2023-11-28 | 2023-12-29 | 济南中安数码科技有限公司 | 一种地下水污染可视化监测方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060224356A1 (en) * | 2005-03-31 | 2006-10-05 | Ibm Corporation | Systems and methods for structural clustering of time sequences |
| US20090018798A1 (en) * | 2007-07-09 | 2009-01-15 | International Business Machines Corporation | Method, Data Processing Program and Computer Program Product for Time Series Analysis |
| JP2011081491A (ja) * | 2009-10-05 | 2011-04-21 | Nec Biglobe Ltd | 時系列分析装置、時系列分析方法、及びプログラム |
| CN102685766A (zh) * | 2012-05-13 | 2012-09-19 | 西华大学 | 一种基于局域最大最小概率机的无线网络流量预测方法 |
| WO2012149705A1 (zh) * | 2011-08-11 | 2012-11-08 | 华为技术有限公司 | 一种网络流量的长期预测方法及装置 |
| CN109697207A (zh) * | 2018-12-25 | 2019-04-30 | 苏州思必驰信息科技有限公司 | 时序数据的异常监控方法及系统 |
| CN109919255A (zh) * | 2019-03-29 | 2019-06-21 | 客如云科技（成都）有限责任公司 | 一种基于dtw和周期提取的时间序列聚类方法 |
| CN109977098A (zh) * | 2019-03-08 | 2019-07-05 | 北京工商大学 | 非平稳时序数据预测方法、系统、存储介质及计算机设备 |
| CN110264001A (zh) * | 2019-06-20 | 2019-09-20 | 国网上海市电力公司 | 基于多时序的用电负荷预测方法 |
| US20190317829A1 (en) * | 2018-04-12 | 2019-10-17 | Vmware, Inc. | Methods and systems to proactively manage usage of computational resources of a distributed computing system |
| CN111913849A (zh) * | 2020-07-29 | 2020-11-10 | 厦门大学 | 一种用于运维数据的无监督异常检测和鲁棒趋势预测方法 |
-
2020
- 2020-12-04 CN CN202011403112.3A patent/CN112631881B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060224356A1 (en) * | 2005-03-31 | 2006-10-05 | Ibm Corporation | Systems and methods for structural clustering of time sequences |
| US20090018798A1 (en) * | 2007-07-09 | 2009-01-15 | International Business Machines Corporation | Method, Data Processing Program and Computer Program Product for Time Series Analysis |
| JP2011081491A (ja) * | 2009-10-05 | 2011-04-21 | Nec Biglobe Ltd | 時系列分析装置、時系列分析方法、及びプログラム |
| WO2012149705A1 (zh) * | 2011-08-11 | 2012-11-08 | 华为技术有限公司 | 一种网络流量的长期预测方法及装置 |
| CN102685766A (zh) * | 2012-05-13 | 2012-09-19 | 西华大学 | 一种基于局域最大最小概率机的无线网络流量预测方法 |
| US20190317829A1 (en) * | 2018-04-12 | 2019-10-17 | Vmware, Inc. | Methods and systems to proactively manage usage of computational resources of a distributed computing system |
| CN109697207A (zh) * | 2018-12-25 | 2019-04-30 | 苏州思必驰信息科技有限公司 | 时序数据的异常监控方法及系统 |
| CN109977098A (zh) * | 2019-03-08 | 2019-07-05 | 北京工商大学 | 非平稳时序数据预测方法、系统、存储介质及计算机设备 |
| CN109919255A (zh) * | 2019-03-29 | 2019-06-21 | 客如云科技（成都）有限责任公司 | 一种基于dtw和周期提取的时间序列聚类方法 |
| CN110264001A (zh) * | 2019-06-20 | 2019-09-20 | 国网上海市电力公司 | 基于多时序的用电负荷预测方法 |
| CN111913849A (zh) * | 2020-07-29 | 2020-11-10 | 厦门大学 | 一种用于运维数据的无监督异常检测和鲁棒趋势预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨锡运等: ""基于时间序列模型的风电场风速预测研究"", 《动力工程学报》, vol. 31, no. 3, 31 March 2011 (2011-03-31), pages 203 - 208 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112506752A (zh) * | 2020-12-10 | 2021-03-16 | 山东海量信息技术研究院 | 基于时序数据趋势预测的运维方法、装置及设备 |
| CN113761022A (zh) * | 2021-08-18 | 2021-12-07 | 浪潮电子信息产业股份有限公司 | 一种时序数据趋势预测方法、系统及相关装置 |
| CN117310118A (zh) * | 2023-11-28 | 2023-12-29 | 济南中安数码科技有限公司 | 一种地下水污染可视化监测方法 |
| CN117310118B (zh) * | 2023-11-28 | 2024-03-08 | 济南中安数码科技有限公司 | 一种地下水污染可视化监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112631881B (zh) | 2024-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112506752A (zh) | 基于时序数据趋势预测的运维方法、装置及设备 | |
| CN112631881B (zh) | 基于时序数据趋势预测的运维方法、装置及设备 | |
| CN110839016B (zh) | 异常流量监测方法、装置、设备及存储介质 | |
| CN111189639B (zh) | 一种基于瞬时频率优化vmd的轴承故障诊断方法 | |
| Feng et al. | Study on network traffic prediction techniques | |
| CN112685273A (zh) | 异常检测方法、装置、计算机设备和存储介质 | |
| Wen et al. | Multiple-change-point modeling and exact Bayesian inference of degradation signal for prognostic improvement | |
| CN110717472B (zh) | 基于改进的小波阈值去噪的故障诊断方法及系统 | |
| CN110826803A (zh) | 一种电力现货市场的电价预测方法及装置 | |
| CN115122155A (zh) | 基于工业互联网大数据的机床远程诊断方法及系统 | |
| US20210026698A1 (en) | Confidence approximation-based dynamic thresholds for anomalous computing resource usage detection | |
| CN113849374A (zh) | 中央处理器占用率预测方法、系统、电子设备及存储介质 | |
| CN117934247B (zh) | 基于时序分解的碳排放因子预测方法、装置、电子设备及存储介质 | |
| CN116150630A (zh) | 一种数据异常值检测方法及存储介质 | |
| CN117473275A (zh) | 一种数据中心的能耗检测方法 | |
| CN110956675B (zh) | 技术成熟度曲线自动生成方法及装置 | |
| CN116128551A (zh) | 基于自回归滑动平均模型的进出口趋势分析方法及装置 | |
| CN113127803A (zh) | 业务集群容量预估模型的建立方法、装置及电子设备 | |
| CN113536042B (zh) | 一种时间序列异常检测方法、装置及设备 | |
| CN113297195B (zh) | 一种时间序列异常检测方法、装置及设备 | |
| CN114692987A (zh) | 一种时序数据分析方法、装置、设备及存储介质 | |
| CN114548173A (zh) | 一种精准的周期性检测方法、系统及存储介质 | |
| CN113761022A (zh) | 一种时序数据趋势预测方法、系统及相关装置 | |
| CN114281658A (zh) | 一种集群资源使用率预测方法、装置、设备及存储介质 | |
| CN110162806B (zh) | 一种仿真误差评估方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |