CN112783740A - 一种基于时间序列特征的服务器性能预测方法及系统 - Google Patents

Abstract

本发明公开了一种基于时间序列特征的服务器性能预测方法及系统，属于服务器性能预测技术领域，包括以下步骤：S1：数据采集与预处理；S2：构造样本标签和样本特征；S3：模型训练；S4：预测服务器性能。本发明搭建了服务器性能数据的预测模型，能够较为高效地预测服务器的运行质量，更快地发现服务器运行过程中出现的问题；提取服务器时间序列数据中的多种特征，采用lightGBM算法，从多个方面的影响因素分析预测服务器的性能，更准确地反映服务器的运行质量，帮助运营商提前发现问题、解决问题，保证服务器运行的平稳性与安全性。

Description

一种基于时间序列特征的服务器性能预测方法及系统

技术领域

本发明涉及服务器性能预测技术领域，具体涉及一种基于时间序列特征的服务器性能预测方法及系统。

背景技术

随着互联网的发展，互联网业务对网络带宽的要求越来越高，但是骨干网的带宽并没有随着带宽网接入数量的增加而同比增长，这就使得骨干网络带宽愈发不足，而越接近用户侧，带宽越充分。内容分发网络CDN(Content Delivery Network)就是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，直接在靠近用户侧设置缓存服务器，响应用户请求。其不仅能够提高用户访问网站的响应速度，还可以保证接入到CDN的源服务器的安全。随着越来越多的内容提供商/运营商(CP/SP)接入CDN，CDN服务器的规模也越来越大，服务器平稳高效地运行变得愈发重要。

CDN服务器的运维工作之一就是对服务器的各项性能指标进行预测，从而实现对故障或异常的提前预警。服务器在运行过程中会产生运行性能数据、链路数据、流量数据等，传统的服务器性能数据预测是基于服务器性能数据的历史采样值，采用时间序列算法对下一个时间点的数据进行预测，其缺点是预测效率低、预测结果的准确性较差、考虑的影响因素单一等。传统的时间序列算法ARIMA需要根据不同的时间序列确定模型的阶数，然后进行数据的拟合，面对CDN中数量庞大的服务器，其需要逐个定阶与拟合，预测效率低下，且随着服务器的增多，效率递减；同时ARIMA的预测效果较差，ARIMA的基本原理是承认事物发展的延续性，通过发掘历史数据的潜在规律推测未来数据的趋势，且其对时间序列的要求较高，尤其当数据中呈现的规律性较弱，或存在较强的干扰时，ARIMA的预测效果并不理想；传统时间序列算法只考虑时间的影响因素，本质上只能捕捉数据的线性关系，并未考虑其他因素对事物变化规律的影响，因此其应用范围具有一定的局限性。为此，提出一种基于时间序列特征的服务器性能预测方法及系统。

发明内容

本发明所要解决的技术问题在于：如何解决现有预测方法存在的预测效率低、只能捕捉数据的线性关系等问题，提供了一种基于时间序列特征的服务器性能预测方法。搭建了服务器性能数据的预测模型，能够较为高效地预测服务器的运行质量，更快地发现服务器运行过程中出现的问题；提取服务器时间序列数据中的多种特征，采用lightGBM算法，从多个方面的影响因素分析预测服务器的性能，更准确地反映服务器的运行质量，帮助运营商提前发现问题、解决问题，保证服务器运行的平稳性与安全性。

本发明是通过以下技术方案解决上述技术问题的，本发明以下步骤：

S1：数据采集与预处理

采集服务器性能历史数据，并对数据进行预处理，生成服务器性能历史数据表；

S2：构造样本标签和样本特征

根据服务器性能的历史数据构造样本标签和样本特征，生成包含每个服务器性能数据特征及标签的数据表；

S3：模型训练

根据提取的样本特征采用回归算法训练模型，得到预测模型；

S4：预测服务器性能

使用预测模型预测未来指定时段服务器的性能数据。

更进一步地，在所述步骤S1中，采集历史数据为采集待预测时刻前一段时间的服务器性能数据。

更进一步地，在所述步骤S1中，数据预处理为对服务器性能历史数据的等时间间隔欠采样、数据异常值与空值处理。

更进一步地，在所述步骤S2中，样本标签为某一个时刻服务器性能数据的采样值。

更进一步地，在所述步骤S2中，样本特征包括时间序列的点特征B1、时序特征B2和服务器分组特征B3；其中，时间序列的点特征B1为历史数据中与待预测时刻相差整数倍周期的时刻的采样值；时间序列的时序特征B2为某一段时间内时间序列各时刻采样数据之间的相关性特征，通过主成分分析PCA将一段时间序列数据降维获取时序特征；服务器分组特征B3为不同服务器之间存在的相关性特征。

更进一步地，在所述步骤S3中，训练模型的过程为将步骤S2生成的样本特征及标签数据表作为训练集，基于机器学习lightGBM算法，构造服务器性能数据预测模型，用于预测服务器未来一段时间的性能数据。

更进一步地，在所述步骤S4中，预测服务器性能数据具体包括以下过程：

S41：构造待预测性能数据的特征数据表；

S42：将待预测性能数据的特征数据表输入预测模型中，输出服务器性能数的预测结果。

更进一步地，在所述步骤S41中，构造待预测性能数据特征的方式与步骤S2所描述的方式一致。

更进一步地，步骤S1至步骤S4为循环过程，采用滑动窗口的机制不断更新模型训练的数据集，当采集到新时刻的数据后，滑动窗口向后滑动一个时刻，利用窗口中新的数据集构造样本特征与样本标签，重新训练模型，利用新的预测模型预测下一时刻的服务器性能数据；其中将步骤S41中构造的待预测性能特征数据表与最新时刻的采样数据拼接，作为下一轮模型训练的训练集。

本发明还提供了一种基于时间序列特征的服务器性能预测系统，采用上述的预测方法对服务器性能进行预测，包括：

采集与预处理模块，用于采集服务器性能历史数据，并对数据进行预处理，生成服务器性能历史数据表；

标签和特征构造模块，用于根据服务器性能的历史数据构造样本标签和样本特征，生成包含每个服务器性能数据特征及标签的数据表；

模型训练模块，用于根据提取的样本特征采用回归算法训练模型，得到预测模型；

性能预测模块，用于使用预测模型预测未来指定时段服务器的性能数据；

中央处理模块，用于向其他模块发出指令，完成相关动作；

所述采集与预处理模块、标签和特征构造模块、模型训练模块、性能预测模块均与中央处理模块电连接。

本发明相比现有技术具有以下优点：该基于时间序列特征的服务器性能预测方法，利用机器学习的lightGBM回归算法，基于服务器节点的运行日志，能够从多维度的指标数据预测CDN服务器的运行质量，相比于传统的时间序列预测算法，lightGBM算法训练效率高，且每一轮预测只需要进行一次模型训练，很大程度上提高了预测的效率，能够更频繁地对服务器性能进行预警；采用回归算法对时间序列进行预测，除了考虑时间因素的影响外，还考虑服务器之间的相关性等因素，根据实际的业务场景，能够扩展更多的相关特征，且对时间序列数据的要求较低，可发现数据之间非线性的关系，提高预测结果的准确性与可靠性，从而更准确地反映服务器的运行质量，帮助运营商提前发现问题、解决问题，提高服务器运行的安全性与平稳性，值得被推广使用。

附图说明

图1是本发明实施例二中服务器性能时间序列预测方法的流程示意图；

图2是本发明实施例二中历史数据采集的时间范围示意图；

图3是本发明实施例二中时间序列的点特征构造示意图；

图4是本发明实施例二中时间序列的时序特征构造示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例一

本实施例提供一种技术方案：一种基于时间序列特征的服务器性能预测方法，包括如下步骤：

S1：服务器性能历史数据的采集与预处理；

S2：根据服务器性能的历史数据构造样本标签和样本特征；

S3：根据提取的特征采用回归算法训练模型；

S4：使用模型预测未来一段时间内服务器的性能数据；

所述步骤S1中的历史数据采集具体包括采集待预测时刻前一段时间的服务器性能数据，所述步骤S1中的数据预处理具体包括服务器性能历史数据的等时间间隔欠采样、数据异常值与空值处理，其中历史数据的欠采样时间间隔根据实际数据处理与模型训练的耗时确定，最后生成服务器性能历史数据表。

所述步骤S2中的样本标签指的是某一个时刻服务器性能数据的采样值。所述步骤S2中的样本特征主要包括时间序列的点特征B1、时序特征B2和服务器分组特征B3。其中时间序列的点特征B1指的是历史数据中与待预测时刻相差整数倍周期的时刻的采样值，例如每天12点、每月10号的采样值等；时间序列的时序特征B2指的是某一段时间内时间序列各时刻采样数据之间的相关性，可通过主成分分析PCA将一段时间序列数据降维获取时序特征；服务器分组特征B3指的是不同服务器之间可能存在相关性的特征，例如某些服务器可能位于相同的机房内，或者实现相同的业务功能。最终生成包含每个服务器性能数据特征及标签的数据表

所述步骤S3中训练模型指的是将步骤S2生成的特征及标签数据表作为训练集，基于机器学习lightGBM算法，构造服务器性能数据预测模型，用于预测服务器未来一段时间的性能数据。

所述步骤S4中的预测服务器性能数据主要包括以下几步：

S41：构造待预测性能数据的特征数据表；

S42：将待预测性能数据的特征数据表输入预测模型中，输出服务器性能数的预测结果。

其中步骤S41中的构造待预测性能数据特征的方法与步骤S2所描述的方法一致。

步骤S1至步骤S4为循环过程，采用滑动窗口的机制不断更新模型训练的数据集，当采集到新时刻的数据后，滑动窗口向后滑动一个时刻，利用窗口中新的数据集构造特征与标签，重新训练模型，利用新的模型预测下一时刻的服务器性能数据。其中将步骤S41中构造的待预测性能特征数据表与最新时刻的采样数据拼接，作为下一轮模型训练的训练集，以减少特征构造的次数，提高模型训练和预测的效率。

实施例二

如图1所示，一种基于lightGBM算法的服务器性能时间序列预测方法，其包括如下步骤：

S1：服务器性能历史数据的采集与预处理；

具体为：

首先确定欠采样时间间隔Δt和历史数据的周期T，采样时间间隔Δt根据数据处理和模型训练的耗时或实际业务场景的预测需求确定，历史数据的周期T根据历史数据的变化趋势确定。采集待预测时刻t的前一个Δt时刻及其前一段时间长度为nT的服务器性能数据，即采集的时间段为[t-Δt-nT，t-Δt]，如图2所示，例如欠采样时间间隔Δt为1小时，当前待预测时刻t为12月10日12时，周期T为1天，则历史数据采集的时间范围是[12-7 11：00,12-10 11：00](n是一个可变参数，在实际应用中可以动态调整，根据模型效果，选择合适的值，本实施例中的n为3)。历史数据预处理主要包括等时间间隔欠采样、数据异常值与空值处理，其中欠采样的采样值取时间间隔Δt内数据的最大值；数据异常值与空值处理包括异常值替换、前向填充空值。最终生成服务器性能历史数据表。

S2：根据服务器性能的历史数据构造样本标签和样本特征；

具体为：

S21：设置样本标签：

以历史数据中服务器性能最新时刻t-Δt的采样值作为样本的标签，剩余时间段为[t-Δt-nT，t-Δt)的数据用于构造样本特征；

S22：时间序列的点特征构造：

时间序列的点特征B1指的是历史数据中与待预测时刻t相差整数倍周期T的时刻的采样值，服务器性能数据一般以某个时间长度T为周期，每个长度为T时间段内数据的变化趋势相似，样本标签时刻t-Δt的性能数据采样值与t-Δt-T、t-Δt-2T、…t-Δt-nT时刻的数据采样值具有较强的相关性，因此将t-Δt-T、t-Δt-2T、…t-Δt-nT时刻的采样数据作为时间序列的点特征B1，分别记为pf1、pf2、…pfn，如图3所示；

S23：时间序列的时序特征构造：

时间序列的时序特征B2指的是某一段时间内时间序列各时刻采样数据之间的相关性特征，可利用主成分分析PCA构造。取服务器性能历史数据中与标签数据时刻t-Δt相邻的一个周期T长度的数据，即[t-Δt-T,t-Δt)时间段的数据,将这一个周期的数据利用主成分分析PCA进行降维，将原本高维(T/Δt维)的数据降低到较小的k维，作为时间序列的k个时序特征，分别记为sf1、sf2、…sfk，如图4所示。

主成分分析(Principal Component Analysis，PCA)是一种统计方法，通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

S24：服务器分组特征构造：

服务器分组特征B3指的是不同服务器之间可能存在的相关性特征，例如某些服务器可能位于相同的机房内，或者实现相同的业务功能。根据实际业务场景，按照服务器之间的关联将服务器分为若干组，每一组内服务器的分组特征的值相同，每组之间服务器的分组特征的值不同，以此构造一个类别特征。

S3：根据提取的特征采用回归算法训练模型；

利用机器学习算法lightGBM对步骤S2构造的时间序列的点特征、时序特征和分组特征数据进行训练，得到lightGBM模型。LigthGBM和XGBoost一样是对GBDT的高效实现，原理上它和GBDT及XGBoost类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。LigthGBM具有以下优势：

(1)更快的训练效率；

(2)低内存使用；

(3)更高的准确率；

(4)支持并行化学习；

(5)可处理大规模数据；

(6)支持直接使用category特征。

S4：使用模型预测未来一段时间内服务器的性能数据；

采用与步骤S2相同的方法构造待预测时刻t的特征数据，将t-T、t-2T、…t-nT时刻的采样数据作为时间序列的点特征B1，将[t-T,t)时间段的数据利用主成分分析PCA降维到k维，作为时间序列的k个时序特征，将服务器分组作为时间序列的分组特征，不设置样本标签。将构造的特征数据输入步骤S3建立的lightGBM模型，输出t时刻各服务器性能的预测值。

t时刻数据预测完成后，将步骤S4构造的特征数据保存，在下一次t时刻的真实数据产生时，将t时刻的采样数据作为标签与特征数据拼接，直接生成步骤S2所生成的样本标签特征数据，然后重新进行模型训练的步骤S3与服务器性能数据预测的步骤S4，以减少每次预测时特征构造的次数。

综上所述，上述实施例的基于时间序列特征的服务器性能预测方法，利用机器学习的lightGBM回归算法，基于服务器节点的运行日志，能够从多维度的指标数据预测CDN服务器的运行质量，相比于传统的时间序列预测算法，lightGBM算法训练效率高，且每一轮预测只需要进行一次模型训练，很大程度上提高了预测的效率，能够更频繁地对服务器性能进行预警；采用回归算法对时间序列进行预测，除了考虑时间因素的影响外，还考虑服务器之间的相关性等因素，根据实际的业务场景，能够扩展更多的相关特征，且对时间序列数据的要求较低，可发现数据之间非线性的关系，提高预测结果的准确性与可靠性，从而更准确地反映服务器的运行质量，帮助运营商提前发现问题、解决问题，提高服务器运行的安全性与平稳性，值得被推广使用。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于时间序列特征的服务器性能预测方法，其特征在于，包括以下步骤：

S1：数据采集与预处理

采集服务器性能历史数据，并对数据进行预处理，生成服务器性能历史数据表；

S2：构造样本标签和样本特征

根据服务器性能的历史数据构造样本标签和样本特征，生成包含每个服务器性能数据特征及标签的数据表；

S3：模型训练

根据提取的样本特征采用回归算法训练模型，得到预测模型；

S4：预测服务器性能

使用预测模型预测未来指定时段服务器的性能数据。

2.根据权利要求1所述的一种基于时间序列特征的服务器性能预测方法，其特征在于：在所述步骤S1中，采集历史数据为采集待预测时刻前一段时间的服务器性能数据。

3.根据权利要求2所述的一种基于时间序列特征的服务器性能预测方法，其特征在于：在所述步骤S1中，数据预处理为对服务器性能历史数据进行的等时间间隔欠采样、数据异常值与空值处理。

4.根据权利要求3所述的一种基于时间序列特征的服务器性能预测方法，其特征在于：在所述步骤S2中，样本标签为某一个时刻服务器性能数据的采样值。

5.根据权利要求4所述的一种基于时间序列特征的服务器性能预测方法，其特征在于：在所述步骤S2中，样本特征包括时间序列的点特征、时序特征和服务器分组特征；其中，时间序列的点特征为历史数据中与待预测时刻相差整数倍周期的时刻的采样值；时间序列的时序特征为某一段时间内时间序列各时刻采样数据之间的相关性特征，通过主成分分析将一段时间序列数据降维获取时序特征；服务器分组特征为不同服务器之间存在的相关性特征。

6.根据权利要求5所述的一种基于时间序列特征的服务器性能预测方法，其特征在于：在所述步骤S3中，训练模型的过程为将步骤S2生成的样本特征及标签数据表作为训练集，基于机器学习lightGBM算法，构造服务器性能数据预测模型，预测服务器未来一段时间的性能数据。

7.根据权利要求6所述的一种基于时间序列特征的服务器性能预测方法，其特征在于：在所述步骤S4中，预测服务器性能数据具体包括以下过程：

S41：构造待预测性能数据的特征数据表；

S42：将待预测性能数据的特征数据表输入预测模型中，输出服务器性能数的预测结果。

8.根据权利要求7所述的一种基于时间序列特征的服务器性能预测方法，其特征在于：在所述步骤S41中，构造待预测性能数据特征的方式与步骤S2中的方式一致。

9.根据权利要求8所述的一种基于时间序列特征的服务器性能预测方法，其特征在于：所述步骤S1至步骤S4为循环过程，采用滑动窗口的机制不断更新模型训练的数据集，当采集到新时刻的数据后，滑动窗口向后滑动一个时刻，利用窗口中新的数据集构造样本特征与样本标签，重新训练模型，利用新的预测模型预测下一时刻的服务器性能数据；其中将步骤S41中构造的待预测性能特征数据表与最新时刻的采样数据拼接，作为下一轮模型训练的训练集。

10.一种基于时间序列特征的服务器性能预测系统，其特征在于，采用如权利要求1～9任一所述的预测方法对服务器性能进行预测，包括：

采集与预处理模块，用于采集服务器性能历史数据，并对数据进行预处理，生成服务器性能历史数据表；

标签和特征构造模块，用于根据服务器性能的历史数据构造样本标签和样本特征，生成包含每个服务器性能数据特征及标签的数据表；

模型训练模块，用于根据提取的样本特征采用回归算法训练模型，得到预测模型；

性能预测模块，用于使用预测模型预测未来指定时段服务器的性能数据；

中央处理模块，用于向其他模块发出指令，完成相关动作；

所述采集与预处理模块、标签和特征构造模块、模型训练模块、性能预测模块均与中央处理模块电连接。

Images