CN115883424B

CN115883424B - 一种高速骨干网间流量数据预测方法及系统

Info

Publication number: CN115883424B
Application number: CN202310132162.XA
Authority: CN
Inventors: 陈庆辉; 李敏; 李刚; 周鸣乐; 韩德隆; 李旺
Original assignee: Qilu University of Technology
Current assignee: Qilu University of Technology
Priority date: 2023-02-20
Filing date: 2023-02-20
Publication date: 2023-05-23
Anticipated expiration: 2043-02-20
Also published as: CN115883424A

Abstract

本公开提供了一种高速骨干网间流量数据预测方法及系统，涉及网络流量数据处理技术领域，方法包括采集获取高速骨干网间历史流量数据，处理得到时间序列数据；将时间序列数据进行变量特征分解，并对分解后的变量特征进行特征选择；将特征选择后的流量数据输入至基于AFT的神经网络预测模型中；在基于AFT的神经网络预测模型中设计基于门控线性单元变体的残差网络来学习特征变量信息，在残差网络之后构建两个LSTM层，分别作为模型的L编码器和L解码器，特征变量信息被输入到L编码器中，通过L解码器输出再输入至AFT模型后进行一次信息捕捉后，输出预测值。本公开加快了模型拟合速度，又提高了预测准确度。

Description

一种高速骨干网间流量数据预测方法及系统

技术领域

本公开涉及网络流量数据处理技术领域，具体涉及一种高速骨干网间流量数据预测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

高速骨干网间流量数据是不间断产生的重要资源。精准预判高速骨干网间流量变化趋势可以应用于网络管理、运营商广告推送、计费估算、园区网审计、公安网监、大数据分析等领域。随着数据的不断增加，大数据多样性导致传统技术不能满足需要。因此，需要引进新的技术完成大规模、长序列的高速骨干网间流量预测。尽管流量数据的生成过程简单，但是生成的数据中存在很强的非线性，因为动态数字可能会呈现复杂的表现，数据信息之间的逻辑关系不明显，如果不了解数据的内部动态，模型很难做出准确的预测。

移动平均自回归模型（ARIMA）在股票、疾病等预测中已有比较成熟的应用，但是它存在长期预测效果不佳、无法处理变点、解耦能力差等问题，无法满足高速骨干网间流量预测的现实需要。Prophet模型（预测时间序列数据的模型）在运行速度、模型姐欧尚具有极大的优势，尤其是单变量时间序列分解功能，但是它由于模型表达能力的限制，在进行长序列预测时也是不靠谱的。循环神经网络等深度学习技术的出现为解决序列问题提供了更专业的方法，在进行流量预测时抓取时序信息和语义信息方面是高效的，但是参数操作复杂，抓取特征有效信息的机制不够完善，消耗大量资源却仍然达不到令人满意的效果。

发明内容

本公开为了解决上述问题，提出了一种高速骨干网间流量数据预测方法及系统，通过深度学习的方法，在抛弃注意力机制的情况下用Transformer对高速骨干网间流量数据序列进行学习，以达到精准预测长序列流量数据的目的，满足实际需要。

根据一些实施例，本公开采用如下技术方案：

一种高速骨干网间流量数据预测方法，包括：

采集获取高速骨干网间历史流量数据，并对所述历史流量数据进行预处理，得到时间序列数据；

将所述时间序列数据进行变量特征分解，并对分解后的变量特征进行特征选择；

将特征选择后的流量数据输入至基于AFT的神经网络预测模型中，输出预测值；

其中，所述在基于AFT的神经网络预测模型中设计基于门控线性单元变体的残差网络来学习特征变量信息，在所述残差网络之后构建两个LSTM层，分别作为模型的L编码器和L解码器，特征变量信息经过编码、解码后，输入至AFT模型，AFT模型的输出进行一次信息捕捉后，输出预测值。

根据一些实施例，本公开采用如下技术方案：

一种高速骨干网间流量数据预测系统，包括：

数据获取模块，用于采集获取高速骨干网间历史流量数据，并对所述历史流量数据进行预处理，得到时间序列数据；

特征选择模块，用于将所述时间序列数据进行变量特征分解，并对分解后的变量特征进行特征选择；

预测模块，用于将特征选择后的流量数据输入至基于AFT的神经网络预测模型中，输出预测值；

与现有技术相比，本公开的有益效果为：

本公开提供了一种基于AFT神经网络的高速骨干网间流量预测方法及系统，在抛弃注意力机制的情况下用Transformer对高速骨干网间流量数据序列进行学习，既加快了模型拟合速度，又提高了模型准确度，并且真实数据验证分析表明改进后的方法相比原方法训练速度平均提高了37%，平均误差降低了28%。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开提供的预测方法的流程示意图；

图2为本公开提供的系统架构图；

图3为本公开网间流量数据从进入模型到预测输出的流程图；

图4为本公开模型中的编码器和解码器的结构示意图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

术语解释：

AFT：attention free transformer（无注意力的transformer，深度学习模型）；

Pcap：packet capture，由捕获网络流量的应用程序编程接口（API）组成。类Unix的系统主要是在libpcap库中实现pcap，而Windows系统则是使用名为WinPcap的libpcap端口。

Transformer是包括注意力机制的一种模型架构。

实施例1

本公开的一种实施例中提供了一种高速骨干网间流量数据预测方法，包括：

步骤1：采集获取高速骨干网间历史流量数据，并对所述历史流量数据进行预处理，得到时间序列数据；

步骤2：将所述时间序列数据进行变量特征分解，并对分解后的变量特征进行特征选择；

步骤3：将特征选择后的流量数据输入至基于AFT的神经网络预测模型中，输出预测值；

作为一种实施例，在步骤1中，所述历史流量数据是具有先后时间序列顺序的数值，然后按照制定的方式、统一的格式进行解析成可读模式并转换为csv、txt文件。具体的，捕捉采集高速骨干网间流量数据，特殊的，数据是具有先后时间序列顺序的大量一般数值，数据的时间间隔单位没有要求，可以是分钟、小时、天、月等，一般可以通过运维商或者其他流程捕捉系统按照不同时间粒度通过pcap进行采集，获得数据包。

将从网卡的接口中得到高速骨干网间流量数据集合包，然后送入流量捕捉系统的处理模块，处理模块按照制定方式进行处理，处理成二进制数据，按照统一的格式传递给数据解析器；解析器的解析模块对数据进行解析处理，解析成可读模式通过输出模型输出采集好的数据集。其中处理模块和解析模块主要有pcap插件提供，进行过滤、分析、存储数据包，输出模块将生成的pcap文件转换为csv、txt文件输出。

对数据进行科学的数据预处理。对采集的csv或txt文件的原始数据，首先需要做的是数据清洗工作，以保证数据的一致性，并进行归一化处理。

作为一种实施例，在步骤2中，将所述时间序列数据进行变量特征分解，并对分解后的变量特征进行特征选择，使用时间序列数据分解技术对原始数据进行周期性特征变量提取，在高速骨干网间流量原始数据的基础上，分解出时间变量下的周期性变量，和原始数据一并作为模型的输入。具体的，从高速‎骨干网间流量原始数据X中分解出各种时间变量如季节、年、月、日、节假日等周期性变量和其他已知特征作为模型的输入。

所述对分解后的变量特征进行特征选择的方法为：采用随机森林进行特征重要性评估，使用袋外错误率作为评估指标来衡量每个特征的贡献权重，对数据进行分类，设置阈值，选择超出阈值的变量特征作为模型的输入。

具体的，假设袋外的样本数为O，将这O个数据作为测试集，代入已生成好的随机森林分类器，得到预测的分类结果，其中预测错误的样本数为

，则袋外数据误差为/>

，这个袋外数据误差记为/>

，下一步对袋外数据的特征A加入噪声干扰，再次计算袋外误差

，假设随机森林有N个分类器，则特征A的重要性为：/>

。设置阈值，选择出超过阈值的变量作为模型输入，并把这些变量分别按过去输入/>

和已知未来输入/>

归类。

所述阈值的确定方法为：

设置的随机森林输出的特征重要性权重为0-1之间，越靠近1则证明该特征越重要，根据特征数量和实际情况选择阈值，一般阈值设置在0.3-0.4间，本实施例在27个特征中，设置阈值0.4，输出15个特征作为模型输入，如果阈值设置太小可能输入无关特征影响预测结果，如果设置过大可能会丢失重要特征影响预测结果。

通过输出的各个特征的权重从大到小进行排序，选择第70%的权重值作为阈值，则预测模型的输入特征为权重大的那70%个特征。

作为一种实施例，在步骤3中，将特征选择后的流量数据输入至基于AFT的神经网络预测模型中，在系统中作为一个专门生成预训练模型的单独模块，训练好的模型将保存在系统的模型库中，并设置时间间隔及时更新，直接在模型库中加载需要的预训练模型。所述基于AFT的神经网络预测模型的训练步骤为：

S1：通过流量捕捉系统采集高速‎骨干网间流量数据，形成历史数据；

S2：对采集到的历史数据进行数据预处理及归一化处理，得到处理后的时间序列数据；

S3：将处理后高速‎骨干网间流量数据通过时间序列分解技术进行变量特征分解，并通过随机森林算法对分解后的变量进行特征选择；

S4：建立基于AFT的神经网络预测模型，设计门控变体GRLU和残差网络，设计L编码器和L解码器，搭建AFT模型并连接新的残差网络，建立正则化函数和全连接层，并对模型参数进行初始化；所述残差网络基于门控线性单元变体（GRLU）的残差网络（RN）。

S5：将特征选择后的流量数据输入到初始化后的神经网络模型中，训练模型，挖掘和记忆高速‎骨干网间流量的整体特征，一直训练到预先设定的训练次数，并通过测试数据集进行模型测试，判断是否达到目标设定要求，如果达到则选择最优的模型进行保存，否则调整参数后重新训练。

本公开提出了一种基于GRLU的残差网络，用于接收

和/>

。本公开提出的GRLU作为残差网络的一个组件，对于学习特征变量信息具有乐观的作用。构建基于门控线性单元变体（GRLU）的残差网络（RN），用于学习特征变量信息。

进一步的，所述基于AFT的神经网络预测模型的构建方法为：

S41：将模型输入的变量分为过去变量和已知未来变量，输入到基于门控线性单元变体（GRLU）的残差网络（RN）中，用于学习特征变量信息，

和/>

为同名激活函数，W和b为权重和偏置，W1表示过去变量权重，W2表示已知未来变量权重，b1表示过去变量偏置，b2表示已知未来变量偏置，/>

为矩阵乘积运算，

，/>

为正则化函数，ELU为同名激活函数；W3、W4表示模型输出后过去变量权重模型输出后以及已知未来变量权重，b3、b4表示模型输出后过去变量偏置和已知未来，v表示特征变量；变量偏置；本公开要求每一个变量i都单独用一个残差网络组合对实际的变量进行筛选，即本公开提供给每个变量一个权重，增加重要变量的权重，减少产生不利影响变量的权重。/>

过去变量是历史观测变量，是通过数据捕获系统进行捕获的到动态历史数据，这些数据可以输入给模型，让模型学习其中的规律。

已知未来变量，是预测的未来时间点中已知的特征，比如预测未来一个星期7天中每天的流量值，那么未来这一个星期每天的年、月、日变量（几几年，周几，几号）、季节、是否为节假日，是否有特殊事件发生，都是已知未来变量，可以提前告诉模型，以提高预测结果的准确性。

S42：在残差网络之后构建两个LSTM层，分别作为模型的L编码器和L解码器，特征变量信息被输入到编码器中，通过解码器输出。

本公开设计了编码器解码器结构如图4所示，输入序列（预测点周围的点）的信息被编码到LSTM编码器的隐藏状态中。为了连续生成输出序列的值，独立的LSTM解码器是基于输入序列的编码信息和输出序列已经生成的标记来预测下一个标记。尽管过去和未来输入的数量是不同的，但是编码器解码器可以灵活的选择出输入特征变量的个数。

本公开提出的AFT模型消除了Transformer中的注意力机制计算，通过新的计算方式大大降低资源成本，高效、高质量的捕捉长期依赖关系。

S43：将解码器的输出正则化后，线性变换为K，Q，V矩阵，然后输入到AFT模型，

和/>

是K和V的维度。wK、wQ、wV表示矩阵K、Q、V的权重；

然后进行如下计算：

其中

是元素乘，/>

是sigmoid 函数。对于每个目标位置/>

，AFT对K加权平均，其结果与目标位置为t的Q元素相乘。加权仅由V和一组位置偏差组成。这不需要计算和存储注意力矩阵，同时维持Q和V之间的全局交互。T表示总的目标位置；/>

表示目标位置偏差；/>

表示每个目标位置加权后的权重；/>

表示位置偏差/>

的K矩阵元素；/>

表示位置偏差/>

的V矩阵元素。

S44：将AFT模型的输出通过残差网络进行一次信息捕捉，对ATF的输出

增加正则化,

然后利用RN对AFT的输出进行非线性处理，

正则化后通过全连接层输出预测值。

进一步地，预测结果需要进行反归一化，预测结果的平均相对误差、平均绝对误差作为最终的评定指标。

本公开将实施例构建的模型参数进行初始化后，然后把预处理后的训练集数据放入模型进行训练，经过多次实验，直到在验证集中满足模型预测误差条件后，保存最佳的模型。加载模型，输入预处理后的历史数据，输出预测的高速‎骨干网间流量数据序列。预测结果通过模型输出后进行反归一化后得到。

实验的数据集来自 ISP 的互联网流量数据（以比特为单位），某学术网络骨干网中的聚合流量。每隔五分钟收集一次数据。共有19888条数据。深度学习模型中的参数设置为Batch size 选择为32，dropout选择为0.5，学习率为0.0001，编码器长度120，解码器长度180。采用以下两个评估指标：

MAE，全称是Mean Absolute Error，即平均绝对值误差，它表示预测值和观测值之间绝对误差的平均值；N为总数据量；ytar表示预测值，ypred表示观测值，I表示流量数据的任意取值。

RMSE，全称是Root Mean Square Error，即均方根误差，它表示预测值和观测值之间差异（称为残差）的样本标准差。均方根误差为了说明样本的离散程度。

实验结果显示本公开提出的模型在数据集中，平均误差在MAE、RMSE分别减少了77%，80%。Attention结构和AFT结构进行对比，结果显示AFT的训练速度平均提高了37%，平均误差降低了28%。

实施例2

本公开的一种实施例中提供了一种高速骨干网间流量数据预测系统，包括：

本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.一种高速骨干网间流量数据预测方法，其特征在于，包括：

其中，在基于AFT的神经网络预测模型中设计基于门控线性单元变体的残差网络来学习变量特征信息，在所述残差网络之后构建两个LSTM层，分别作为模型的L编码器和L解码器，变量特征信息经过编码、解码后，输入至AFT模型，AFT模型的输出进行一次信息捕捉后，输出预测值。

2.如权利要求1所述的一种高速骨干网间流量数据预测方法，其特征在于，所述历史流量数据是具有先后时间序列顺序的数值，然后按照制定的方式、统一的格式进行解析成可读模式并转换为csv、txt文件。

3.如权利要求1所述的一种高速骨干网间流量数据预测方法，其特征在于，所述预处理方式为：对转换后的csv、txt文件的原始数据进行数据清洗以及归一化处理。

4.如权利要求1所述的一种高速骨干网间流量数据预测方法，其特征在于，将时间序列数据进行变量特征分解的方式为：使用时间序列数据分解技术对原始数据进行周期性特征变量提取，把高速骨干网间流量原始数据分解为时间变量下的周期性变量作为模型的输入。

5.如权利要求1所述的一种高速骨干网间流量数据预测方法，其特征在于，所述对分解后的变量特征进行特征选择的方法为：采用随机森林进行特征重要性评估，使用袋外错误率作为评估指标来衡量每个特征的贡献权重，对数据进行分类，设置阈值，选择超出阈值的变量特征作为模型的输入。

6.如权利要求1所述的一种高速骨干网间流量数据预测方法，其特征在于，所述输入至基于AFT的神经网络预测模型中流量数据变量分为过去变量和已知未来变量，输入基于门控线性单元变体的残差网络中，用于学习变量特征信息。

7.如权利要求1所述的一种高速骨干网间流量数据预测方法，其特征在于，通过L解码器输出再输入至AFT模型中之前，将解码器的输出进行正则化，然后经过线性变换，再输入到AFT模型中，在AFT模型的输出通过残差网络进行一次信息捕捉，正则化后通过全连接层输出预测值。

8.一种高速骨干网间流量数据预测系统，其特征在于，包括：

9.如权利要求8所述的一种高速骨干网间流量数据预测系统，其特征在于，所述预处理方式为：对转换后的csv、txt文件的原始数据进行数据清洗以及归一化处理。

10.如权利要求8所述的一种高速骨干网间流量数据预测系统，其特征在于，所述历史流量数据是具有先后时间序列顺序的数值，然后按照制定的方式、统一的格式进行解析成可读模式并转换为csv、txt文件。