CN112039715A - 一种网络系统容量预测方法及系统 - Google Patents

Abstract

本发明实施例公开了一种网络系统容量的预测方法及装置，其中该方法包括：对网络系统的历史数据进行筛选和转化；根据所述筛选和转化后的网络系统的历史数据的特点，选择一个或多个模型并进行模型训练；使用所述一个或多个模型对所述网络系统的容量进行预测。本发明实施例提供的技术方案提高了网络系统容量预测的准确性。

Description

一种网络系统容量预测方法及系统

技术领域

本发明属于一种预测方法，尤其涉及一种网络系统容量预测系统。

背景技术

近年来，随着企业网络技术的发展和互联网应用的普及，有越来越多的设备连接到网络，网络异常的出现将变得不可避免。如何提高系统可靠性一直以来都是研究的重点，根据系统出现异常时的处理模式，这些研究的方向主要可以分为系统恢复和异常监测，异常监测是基于对系统的历史和当前状态的分析，以便确定系统是否异常，进而有助于系统避免异常或尽快采取措施恢复。

异常监测基于一个前提，即异常行为与正常用户行为存在差异，且这种差异可以进行定性或定量的描述。目前的异常监测方法在处理数据量、准确性、可靠性方面存在不足。

发明内容

本发明提供了一种系统日志的分析方法和系统，以解决传统异常检测中处理数据量小、准确性、可靠性不足的问题。

根据本发明的一个实施例，提供了一种网络系统容量的预测方法，包括：一种网络系统容量的预测方法，包括：对网络系统的历史数据进行筛选和转化；根据所述筛选和转化后的网络系统的历史数据的特点，选择一个或多个模型并进行模型训练；使用所述一个或多个模型对所述网络系统的容量进行预测。

可选地，使用所述一个或多个模型对所述网络系统容量进行预测后，还包括：当模型为多个时，通过集成学习的方法降低预测结果的方差。

可选地，通过集成学习的方法降低预测结果的方差，包括：所述集成学习使用所述多个模型，通过加权线性组合策略集成所述多个模型的预测结果，其中预测权重根据所述多个模型的历史预测记录决定。

可选地，通过加权线性组合策略集成所述多个模型的预测结果，还包括：所述加权线性组合策略公式为：

且

模型p为所述多个模型中的一个，

是所述模型p在时间点t的预测结果；

是所述模型p在时间点t时，在所述多个模型预测结果中的权重；

是所述多个模型在时间点t时，各个模型预测结果与各自权重之积的和。

可选地，其中预测权重根据所述多个模型的历史预测记录决定，包括：计算出所述多个模型之一的模型在某一时间点的相对误差；再对所述相对误差进行归一化，求出所述多个模型之一的模型的预测权重。

可选地，计算出所述多个模型之一的模型在某一时间点的相对误差；再对所述相对误差进行归一化，求出所述多个模型之一的模型的预测权重，包括：求所述相对误差的公式为：

其中，

表示所述多个模型中的一个模型i在时间点t的预测结果，

表示所述多个模型中的一个模型p在时间点t的预测结果，e_i ^(t)表示所述模型i在时间点t的相对误差；对所述相对误差进行归一化的公式为：

其中W_i ^(t)表示所述多个模型中的一个模型i在时间t的预测权重。

可选地，根据所述筛选和转化后的网络系统的历史数据的特点，选择一个或多个模型并进行模型训练，所述一个或多个模型为以下模型中的一个或多个：滑动平均、自回归预测、神经网络、支持向量机、基因表达式。

根据本发明的一个实施例，提供了一种网络系统容量的预测系统，包括数据收集模块、模型训练模块、预测模块：所述数据收集模块用于对网络系统的历史数据进行筛选和转化；所述模型训练模块用于根据所述筛选和转化后的历史数据的特点，选择一个或多个模型并进行模型训练；所述预测模块用于使用所述一个或多个模型对所述网络系统容量进行预测。

可选的，预测系统还包括：集成学习模块，当模型为多个时，用于通过集成学习的方法降低预测结果的方差。

可选地，所述一个或多个模型为以下模型中的一个或多个：滑动平均、自回归预测、神经网络、支持向量机、基因表达式。

在本发明的上述实施例中，在收集到网络日志的正常样本后通过选择模型并进行模型训练，对网络系统容量进行预测，并通过加权线性组合策略集成多个预测模型的预测结果，进一步提高了预测结果的准确性和稳定性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的网络系统容量的预测方法的流程图；

图2是根据本发明实施例的网络系统容量预测系统的结构框图；

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本发明实施例中提供了一种网络系统容量的预测方法，图1是根据本发明实施例的流程图，如图1所示，该流程包括如下步骤：

步骤S101，对网络系统的历史数据进行筛选和转化；

步骤S102，根据所述筛选和转化后的网络系统的历史数据的特点，选择模型并进行模型训练；

步骤S103，使用所述模型对所述网络系统容量进行预测。

在步骤S101中，对网络系统的历史数据进行分析、转化以及预处理，筛选掉无关数据及属性，并把有用的原始数据转化为预测模型可用的格式。

在步骤S102中，根据筛选和转化后的网络系统的历史数据的特点进行模型选择及训练，由于网络系统的动态特性，模型选择及训练会使用最新的数据定期重复执行。当模型训练完后，保存所有模型的相关参数并更新已有模型。

其中预测模型共有5种，分别是滑动平均、自回归预测、神经网络、支持向量机、基因表达式，五种模型的相关描述见表1：

表1

在步骤103中，根据训练好的模型对网络系统容量进行预测，通过每种训练后的模型算出对应的预测结果。

在步骤103之后，通过集成学习的方法来降低上述预测模型预测结果的方差。集成学习的方法为，根据每种模型的预测结果，基于每种模型的权重，将各个模型的预测结果求和。假设预测模型p(p相当于五种预测模型中的一种，p∈P相当于五种模型的集合)在时间点t的预测结果为

且它在时间点t对应的权重为

(可以在各算法权重之和等于1的情况下自由分配，但是可能影响预测结果)则在时间点t针对某个日志的预测值为：

且

先计算出模型i在时间点t的相对误差e_i ^(t)，再对相对误差进行归一化，求出模型p的预测权重W_i ^(t)，

是模型i算出的预测结果，公式为：

其中预测结果

还可以由本方法提出的非对称错误代价函数(AsymmetricError Cost，AEC)计算得出。

其中所述非对称错误代价函数(AEC)，方法如下：

AEC是一种非对称的异质错误代价函数，由过高预测和过低预测是两种不同的代价构成，相应的，使用和

来表示它们，其中v^(s)表示在未来时间点s时的异常数量，而

表示在未来时间点s时的异常预测数量。

假设准确预测的代价为C_normal，过低预测的代价为C_under，过高预测的代价为C_over，通常情况下，C_under是不确定的，但是可以确定的是C_under C_normal，则ACE代价函数中的P函数可以描述为：

而ACE代价函数中的R函数可以表示为：

因此总的代价函数可以表示为：

其中β是用于调整两种代价权重的参数。借着这个参数，可以通过β值的变化来人为调整过高预测和过低预测的代价构成权重。

在本发明实施例中提供了一种网络系统容量的预测装置，图2是根据本发明实施例的装置图，如图2所示，该装置包括：

数据收集模块，用于对网络系统的历史数据进行筛选和转化；

所述模型训练模块，用于根据所述筛选和转化后的历史数据的特点，选择一个或多个模型并进行模型训练；

所述预测模块，用于使用所述一个或多个模型对所述网络系统容量进行预测；

集成学习模块，当模型为多个时，用于通过集成学习的方法降低预测结果的方差。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种网络系统容量的预测方法，包括：

对网络系统的历史数据进行筛选和转化；

根据所述筛选和转化后的网络系统的历史数据的特点，选择一个或多个模型并进行模型训练；

使用所述一个或多个模型对所述网络系统的容量进行预测。

2.如权利要求1所述的方法，使用所述一个或多个模型对所述网络系统容量进行预测后，还包括：

当模型为多个时，通过集成学习的方法降低预测结果的方差。

3.如权利要求2所述的方法，通过集成学习的方法降低预测结果的方差，包括：

所述集成学习使用所述多个模型，通过加权线性组合策略集成所述多个模型的预测结果，其中预测权重根据所述多个模型的历史预测记录决定。

4.如权利要求3所述的方法，通过加权线性组合策略集成所述多个模型的预测结果，包括：

所述加权线性组合策略公式为：

且

模型p为所述多个模型中的一个，

是所述模型p在时间点t的预测结果；

是所述模型p在时间点t时，在所述多个模型预测结果中的权重；

是所述多个模型在时间点t时，各个模型预测结果与各自权重之积的和。

5.如权利要求3所述的方法，其中预测权重根据所述多个模型的历史预测记录决定，包括：

计算出所述多个模型之一的模型在某一时间点的相对误差；再对所述相对误差进行归一化，求出所述多个模型之一的模型的预测权重。

6.如权利要求5所述的方法，计算出所述多个模型之一的模型在某一时间点的相对误差；再对所述相对误差进行归一化，求出所述多个模型之一的模型的预测权重，包括：

求所述相对误差的公式为：

其中，

表示所述多个模型中的一个模型i在时间点t的预测结果，

表示所述多个模型中的一个模型p在时间点t的预测结果，e_i ^(t)表示所述模型i在时间点t的相对误差；

对所述相对误差进行归一化的公式为：

其中W_i ^(t)表示所述多个模型中的一个模型i在时间t的预测权重。

7.如权利要求1至6任一项所述的方法，根据所述筛选和转化后的网络系统的历史数据的特点，选择一个或多个模型并进行模型训练，所述一个或多个模型为以下模型中的一个或多个：

滑动平均、自回归预测、神经网络、支持向量机、基因表达式。

8.一种网络系统容量的预测系统，包括数据收集模块、模型训练模块、预测模块：

所述数据收集模块用于对网络系统的历史数据进行筛选和转化；

所述模型训练模块用于根据所述筛选和转化后的历史数据的特点，选择一个或多个模型并进行模型训练；

所述预测模块用于使用所述一个或多个模型对所述网络系统容量进行预测。

9.如权利要求8所述的系统，还包括：

集成学习模块，当模型为多个时，用于通过集成学习的方法降低预测结果的方差。

10.如权利要求8所述的系统，所述一个或多个模型为以下模型中的一个或多个：滑动平均、自回归预测、神经网络、支持向量机、基因表达式。

Images