CN114553718B - 一种基于自注意力机制的网络流量矩阵预测方法 - Google Patents

一种基于自注意力机制的网络流量矩阵预测方法 Download PDF

Info

Publication number
CN114553718B
CN114553718B CN202210165300.XA CN202210165300A CN114553718B CN 114553718 B CN114553718 B CN 114553718B CN 202210165300 A CN202210165300 A CN 202210165300A CN 114553718 B CN114553718 B CN 114553718B
Authority
CN
China
Prior art keywords
network
flow
network traffic
self
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210165300.XA
Other languages
English (en)
Other versions
CN114553718A (zh
Inventor
黄传河
刘晓腾
范茜莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210165300.XA priority Critical patent/CN114553718B/zh
Publication of CN114553718A publication Critical patent/CN114553718A/zh
Application granted granted Critical
Publication of CN114553718B publication Critical patent/CN114553718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种基于自注意力机制的网络流量矩阵预测方法，涉及网络流量预测技术领域，包括将网络流量数据缩放到指定范围内。构建目标网络中所有节点的最短路径树，根据所有最短路径树进行编码得到空间编码，并将空间编码添加到所述网络流量数据上。将网络流量数据的时间戳按照不同粒度分别进行编码得到时间编码，并将时间编码添加到所述网络流量数据上。利用可训练式的位置编码和所述网络流量数据构建基于自注意力机制的流量预测模型，并进行流量预测。通过利用网络流量的时间和空间关联信息，自注意力机制能够充分挖掘流量潜在特征，提高网络流量矩阵长时预测的准确性。

Description

一种基于自注意力机制的网络流量矩阵预测方法
技术领域
本申请涉及网络流量预测技术领域，具体涉及一种基于自注意力机制的网络流量矩阵预测方法。
背景技术
互联网及其应用已成为人们进行日常活动的主要交流工具。网络技术的升级拓展了互联网对各个应用领域的影响，智能手机、车载终端的增多使得网络数据规模呈指数级增长。无线网络、移动互联网的规模的扩大和网络异构性、复杂性的提高，给网络服务质量提出了更高的要求，也给网络的管理带来了更多的挑战。网络的智能化自我管理是解决以上问题的一种有效方案，其关键技术包含网络流量预测技术。利用历史流量时间序列数据预测未来流量变化并重新分配网络资源和修改网络路由具有非常重要的应用价值。现有的网络流量预测的方式从模型性质上看可分为线性模型、非线性模型和混合模型三类。
常用于流量预测的线性模型有基于小波变换的预测、自回归移动平均模型(Auto-Regression and Moving Average Mode，简称ARMA)、差分整合移动平均自回归模型(Autoregressive Integrated Moving Averagemodel，简称ARIMA)。基于小波变换的预测方法一般通过小波分解、信号扩展和信号重构三个步骤来拟合流量数据。基于自回归的模型依据序列历史数据的线性组合进行预测，因此其无法对流量中的非线性关系建模，无法获取到流量的突发变化，尤其对长时间的依赖缺乏有效的建模能力。更为重要的是，这几类模型通常只能对单个节点的流量建模，没有考虑网络节点的空间联系或相互依赖关系。而大型网络往往包含众多节点，这几类模型在更普遍的场景中应用效果有限，这也是众多非线性方法不断涌现的原因之一。
非线性方法包含机器学习方法和深度学习方法。常用于流量预测的机器学习方法有支持向量机(Support Vector Machines，简称SVM)、XGBoost等。机器学习算法能够挖掘出网络流量的部分模式，但是往往在预测精确度上较深度学习方法有欠缺。
许多深度学习算法已经被应用到了网络流量预测问题上。目前研究者们使用了卷积神经网络(Convolutional Neural Networks,简称CNN)、深度信念网络(Deep neuralnetwork，简称DBN)、循环神经网络(Rerrent Neural Network，简称RNN)、长短期记忆神经网络(Long Short-Term Memory，简称LSTM)、门控循环单元(gatedrecurrent unit，简称GRU)、元学习方法、多任务学习、强化学习等方法。相比于线性方法和机器学习方法，深度学习模型更为复杂，能够更好的对流量序列的时间依赖进行建模。其中，RNN在时间维度上存在参数的共享，因此更适合处理时序数据。但是RNN的循环结构容易导致梯度消失和爆炸等问题。LSTM、GRU采用门控结构缓解了以上问题，能够有效学习流量更长的相关特征，取得更优的预测结果，成为近年来被使用最多的流量预测模型。
混合模型一般将线性模型与非线性模型相结合，先通过可解释的线性模型对数据进行分解或平滑处理，然后结合非线性模型进行预测。相较于单独使用这些模型，混合模型在预测效果上取得了一些提高。例如，结合小波变换和人工神经网络(Artificial NeuralNetwork，简称ANN)的方法，小波变换与ARIMA和LSTM结合的方法等。
然而，以上方法在预测复杂的长时流量时具有明显不足，例如传统的机器学习预测模型的预测精度下降，又例如大部分深度学习模型在预测时长过长时，会出现模型预测失效的问题。
发明内容
针对现有技术中存在的缺陷，本申请的目的在于提供一种基于自注意力机制的网络流量矩阵预测方法，通过将历史网络流量的空间和时间信息编码嵌入到网络流量数据中，并结合自注意力机制的长时特征提取能力，实现网络流量的长时预测，并提高预测的准确性。
为达到以上目的，采取的技术方案是：
本申请第一方面提供一种基于自注意力机制的网络流量矩阵预测方法，包括：
步骤S1、将网络流量数据缩放到指定范围内得到一维向量形式的网络流量数据；
步骤S2、利用路由信息构建目标网络中所有节点的最短路径树，根据所有最短路径树进行编码得到空间编码，并将空间编码添加到所述网络流量数据上；
步骤S3、将网络流量数据的时间戳按照不同粒度分别进行编码得到相应的粒度编码，将所有粒度编码相加得到时间编码，并将时间编码添加到所述网络流量数据上；
步骤S4、利用可训练式的位置编码和所述网络流量数据构建基于自注意力机制的流量预测模型，利用流量预测模型进行流量预测。
一些实施例中，所述步骤S1包括：
步骤S11、针对具有多个节点的目标网络，获取其历史的网络流量数据，以构建流量矩阵，将流量矩阵降维为一维；
步骤S12、统计目标网络的历史最大流量值，利用最大流量值对降维后的网络流量数据进行归一化，以将网络流量数据缩放到指定范围内得到一维向量形式的网络流量数据；
步骤S13、将降维和归一化后的网络流量数据按照7:1:2的比例划分为训练集、验证集、以及测试集，训练集用于构建所述模型框架，验证集用于得到所述最优参数，测试集用于评估所述流量预测模型的精度。
一些实施例中，所述步骤S2包括：
步骤S21、将目标网络建模为有向图，获取目标网络中所有链路的权重信息，利用链路状态路由算法，结合有向图和权重信息得到各个节点的最短路径树；
步骤S22、将所有最短路径树集合得到二维向量，将二维向量降维为一维，并根据预设的选路策略对该一维向量中所有路径值分别取倒数后，统计该一维向量中的最大路径值，利用最大路径值对该一维向量进行归一化，以得到与所述网络流量数据具有相同长度的空间编码；
步骤S23、将空间编码添加到所述网络流量数据中。
一些实施例中，所述步骤S3包括：
步骤S31、获取网络流量数据的时间戳，按照不同粒度将时间戳分别为月份、日、星期、小时、以及分钟后，分别构建不同输入输出维度的全连接神经网络层；
步骤S32、通过多层全连接神经网络层构建不同维度的编码函数，将不同粒度的时间戳分别输入到相应的全连接神经网络层中生成粒度编码，将所有粒度编码相加，以得到与所述网络流量数据具有相同长度的时间编码；
步骤S33、将时间编码添加到所述网络流量数据中。
一些实施例中，所述流量预测模型包括编码器和输出层，编码器包括可训练式的位置编码、自注意力层、以及前馈网络层，输出层由全连接神经网络层构成。
一些实施例中，所述步骤S4包括：
步骤S41、利用可训练式的位置编码和网络流量数据构建流量预测模型的模型框架；
步骤S42、通过网格搜索方法得到流量预测模型的最优参数，利用最优参数对模型框架进行训练得到流量预测模型；
步骤S43、利用流量预测模型对目标网络进行流量预测。
一些实施例中，所述步骤S41包括：
步骤S411、使用Pytorch创建与所述网络流量数据具有相同长度的可训练张量，并将可训练张量的数值初始化到[0-1]范围内，以得到可训练式的位置编码；
步骤S412、在编码器的自注意力层，分别创建并初始化三个具有不同权重的全连接神经网络层，将网络流量数据分别通过三个全连接神经网络层映射为三个映射矩阵，利用自注意力公式对三个映射矩阵进行计算得到自注意力结果；
步骤S413、在编码器的自注意力层和前馈网络层之间，添加残差连接与层归一化网络；
步骤S414、在编码器的前馈网络层，添加全连接神经网络层，并使用ReLu激活函数后，再次添加残差连接与层归一化网络，以得到流量预测模型的模型框架。
一些实施例中，所述步骤S42包括：
步骤S421、根据模型框架确定训练参数范围，该训练参数范围包括编码器层数范围、注意力维度范围、训练轮数范围、以及批次大小范围；
步骤S422、基于训练参数范围使用第一步长进行超参数的搜索，以确定最优参数的所在范围；
步骤S423、基于最优参数的所在范围多次使用第二步长进行超参数的搜索以确定最优参数，每次使用的第二步长都比前一次使用的第二步长小，第二步长均小于第一步长；
步骤S424、利用最优参数对模型框架进行训练得到流量预测模型。
一些实施例中，所述步骤S43包括：
步骤S431、将前期流量数据进行预处理得到一维向量形式的历史流量数据，将空间编码和时间编码均添加到前期流量数据上后，将前期流量数据输入到流量预测模型中得到流量预测结果；
步骤S432、根据预处理，对流量预测结果进行预处理恢复；
步骤S433、根据流量预测结果绘制流量趋势图。
一些实施例中，所述步骤S431中的预处理包括将前期流量数据缩放到指定范围内得到一维向量形式的前期流量数据。
本申请提供的技术方案带来的有益效果包括：
通过将历史网络流量的空间和时间信息编码嵌入到网络流量数据中，并结合自注意力机制的长时特征提取能力，实现网络流量的长时预测，并提高预测的准确性，弥补了传统机器学习方法精度较低、深度学习方法预测长时流量失效的问题，有效提高了网络流量的长时间预测的准确度。
附图说明
图1是本发明实施例中基于自注意力机制的网络流量矩阵预测方法的流程图之一。
图2是本发明实施例中基于自注意力机制的网络流量矩阵预测方法的流程图之二。
图3是本发明实施例中步骤S1的流程图。
图4是本发明实施例中步骤S2的流程图之一。
图5是本发明实施例中步骤S2的流程图之二。
图6是本发明实施例中步骤S3的流程图之一。
图7是本发明实施例中步骤S3的流程图之二。
图8是本发明实施例中步骤S4的流程图。
图9是本发明实施例中步骤S41的流程图之一。
图10是本发明实施例中步骤S41的流程图之二。
图11是本发明实施例中步骤S42的流程图。
图12是本发明实施例中步骤S43的流程图。
具体实施方式
以下结合附图及实施例对本申请作进一步详细说明。
本发明实施例提供一种基于自注意力机制的网络流量矩阵预测方法，包括将历史网络流量的空间和时间信息编码嵌入到网络流量数据中，并结合自注意力机制的长时特征提取能力，实现网络流量的长时预测，并提高预测的准确性，弥补了传统机器学习方法精度较低、深度学习方法预测长时流量失效的问题，有效提高了网络流量的长时间预测的准确度。
具体的，如图1和图2所示，基于自注意力机制的网络流量矩阵预测方法包括：
步骤S1、将网络流量数据缩放到指定范围内得到一维向量形式的网络流量数据。
步骤S2、利用路由信息构建目标网络中所有节点的最短路径树，根据所有最短路径树进行编码得到空间编码，并将空间编码添加到所述网络流量数据上。
步骤S3、将网络流量数据的时间戳按照不同粒度分别进行编码得到相应的粒度编码，将所有粒度编码相加得到时间编码，并将时间编码添加到所述网络流量数据上。
步骤S4、利用可训练式的位置编码和所述网络流量数据构建基于自注意力机制的流量预测模型，利用流量预测模型进行流量预测。
在本实施例中，采集目标网络历史的网络流量数据，并对其进行预处理，例如降维与归一化处理，将网络流量数据由矩阵形式压缩到一维向量的形式，相应的其所属的数据范围也压缩到指定范围内，例如[0,1]范围内。分别将路由关系和时间戳编码，作为时间与空间关联嵌入到网络流量数据后。构建带有可训练式的位置编码的基于自注意力基纸的编码器框架，利用添加了时间与空间关联的网络流量数据作为训练集(即训练数据)训练流量预测模型(即自注意力网络)，在训练时，使用网格搜索的方法选择流量预测模型最优的超参数，每获取一次超参数都要判断训练误差是否满足要求，如果是则确定其为最优参数，如果否则继续获取。最后，使用训练好的模型进行网络流量预测，并绘制流量趋势图。
本发明能够通过利用网络流量的时间和空间关联信息，利用自注意力机制能够充分挖掘流量潜在特征，提高网络流量矩阵长时预测的准确性。
在较佳的实施例中，如图3所示，所述步骤S1包括：
步骤S11、针对具有多个节点的目标网络，获取其历史的网络流量数据，以构建流量矩阵，将流量矩阵降维为一维。
步骤S12、统计目标网络的历史最大流量值，利用最大流量值对降维后的网络流量数据进行归一化，以将网络流量数据缩放到指定范围内得到一维向量形式的网络流量数据。
步骤S13、将降维和归一化后的网络流量数据按照7:1:2的比例划分为训练集、验证集、以及测试集，训练集用于构建所述模型框架，验证集用于得到所述最优参数，测试集用于评估所述流量预测模型的精度。
在本实施例中，目标网络即当前研究的网络场景，其为N*N的网络，N用于表示目标网络中的节点数，N为不小于2的正整数。采集目标网络的历史的网络流量数据并构建流量矩阵
Figure BDA0003511721350000091
Figure BDA0003511721350000092
t为采样时间片，
Figure BDA0003511721350000093
为在t采样时间片得到的第i个流量数据。该矩阵表征了目标网络中每对节点间在t时刻的流量数量。将流量矩阵降低维度得到一维的流量向量
Figure BDA0003511721350000094
Figure BDA0003511721350000095
采集的所有T个时间片的数据可以表示为
Figure BDA0003511721350000096
统计目标网络所有历史时段的最大值得到最大流量值Fmax，将初始的流量数据即一维的流量向量中的数据除以最大值Fmax实现归一化，从而将数据缩放到[0,1]范围内。最后，可将流量数据按照7：1：2的比例划分为训练集、验证集和测试集，训练集可用于训练流量预测模型，验证集可用于调整超参数，测试集可用来评估模型效果。
本发明提供的方法能够在给定w个时间片的历史流量A＝{xt-ω+1xt-ω+2,…xt}后，预测未来长度为l的时间片内的流量大小，即Y＝{xt+1,xt+2,…,xt+l}，且l的长度较长，能够表示未来较长时间内的流量情况。
在较佳的实施例中，如图4所示，所述步骤S2包括：
步骤S21、将目标网络建模为有向图，获取目标网络中所有链路的权重信息，利用链路状态路由算法，结合有向图和权重信息得到各个节点的最短路径树。
步骤S22、将所有最短路径树集合得到二维向量，将二维向量降维为一维，并根据预设的选路策略对该一维向量中所有路径值分别取倒数后，统计该一维向量中的最大路径值，利用最大路径值对该一维向量进行归一化，以得到与所述网络流量数据具有相同长度的空间编码。
步骤S23、将空间编码添加到所述网络流量数据中。
在本实施例中，将网络建模为有向图G＝(V,I)，V是网络节点的集合，I为链路的集合，若存在连接节点i与j的链路，则I中包含边(Vi,Vj)与(Vj,Vi)。通过路由表和路由协议获取目标网络中所有链路的权重信息，根据目标网络使用的链路状态路由算法计算各个节点的最短路径树。将所有最短路径树聚合后使用二维向量
Figure BDA0003511721350000101
表示，Dij表示节点i到节点j的路由距离。将上述二维向量展平为一维向量后，结合选路策略对其中的所有数值取倒数，之后除以最大路径值实现归一化，得到t时刻的空间编码为
Figure BDA0003511721350000102
将其添加到预处理后的流量序列上以增强后续自注意力机制对于网络空间特征的感知。
进一步的，如图5所示，将空间编码嵌入经过预处理后的网络流量数据时，按照I对D初始化，没有链路连接的两点的距离置为最大值INFINITE，对于有向图G，分别将V中的各个节点作为源节点，执行计算最短路径的操作，步骤包括创建集合S与T，分别用于存储已选择的节点与待选择的节点。假设本次计算的源节点为v0，则S＝{v0}，T＝V-S。在T中选取与S中节点有链路连接，且路由权值最小的顶点vk，加入到S中；更新T中节点与源节点的距离：如果加入中间节点vk，从源节点到该节点的距离缩短，则更新距离为更小的值；重复该步骤直到S中包含了所有节点为止。
具体的，初始化距离矩阵D，判断所有节点是否都已求解，如果是则归一化距离矩阵D作为空间编码实施嵌入，如果否则选择未求解节点v作为源点，初始化S、T集合，将源点加入S中，选取T中连续权值最小的节点加入S中，更新T中节点在D中的权值，判断S是否包含所有节点，如何是则更新权值矩阵D，如果否则返回重新选取T中连续权值最小的节点加入S中。
在较佳的实施例中，如图6和图7所示，所述步骤S3包括：
步骤S31、获取网络流量数据的时间戳，按照不同粒度将时间戳分别为月份M、日D’、星期W、小时H、以及分钟S’后，分别构建不同输入输出维度的全连接神经网络层。
步骤S32、通过多层全连接神经网络层构建不同维度的编码函数，将不同粒度的时间戳分别输入到相应的全连接神经网络层中生成粒度编码，将所有粒度编码相加，以得到与所述网络流量数据具有相同长度的t时刻的时间编码
Figure BDA0003511721350000111
步骤S33、将时间编码添加到所述网络流量数据中。
进一步的，所述流量预测模型包括编码器和输出层，编码器包括可训练式的位置编码、自注意力层、以及前馈网络层，输出层由全连接神经网络层构成。
在本实施例中，将网络流量数据对应的详细采样时间作为时间戳，将时间戳按照年、月、日、星期、小时、分钟分割，分别使用全连接神经网络层编码为与网络流量数据相同长度的时间编码，并添加到上一步得到的数据上以增强后续自注意力机制对于时间特征的感知。
例如，月份包含1-12中的整数，使用多层全连接神经网络建立编码函数Embedding(12,d)，其中d为流量数据的维度，将月份映射为d维度的编码。然后将不同粒度的编码相加得到t时刻的时间编码
Figure BDA0003511721350000121
在较佳的实施例中，如图8所示，所述步骤S4包括：
步骤S41、利用可训练式的位置编码和网络流量数据构建流量预测模型的模型框架。
步骤S42、通过网格搜索方法得到流量预测模型的最优参数，利用最优参数对模型框架进行训练得到流量预测模型。
步骤S43、利用流量预测模型对目标网络进行流量预测。
在本实施例中，构建带有可训练的位置编码的自注意力编码器框架。使用训练集数据训练网络流量预测模型，使用网格搜索的方法选择最优的超参数。对前期流量进行预处理和时空编码，使用训练好的模型进行网络流量预测，并绘制流量趋势图。
在较佳的实施例中，如图9和图10所示，所述步骤S41包括：
步骤S411、使用Pytorch创建与所述网络流量数据具有相同长度的可训练张量，并将可训练张量的数值初始化到[0-1]范围内，以得到可训练式的位置编码。
步骤S412、在编码器的自注意力层，分别创建并初始化三个具有不同权重的全连接神经网络层，将网络流量数据分别通过三个全连接神经网络层映射为三个映射矩阵，利用自注意力公式对三个映射矩阵进行计算得到自注意力结果。
步骤S413、在编码器的自注意力层和前馈网络层之间，添加残差连接与层归一化网络。
步骤S414、在编码器的前馈网络层，添加全连接神经网络层，并使用ReLu激活函数后，再次添加残差连接与层归一化网络，以得到流量预测模型的模型框架。
在本实施例中，使用Pytorch创建长度为N2的可训练张量，并将数值初始化到[0-1]范围内，作为输入不同时间步的流量数据的可训练位置编码。具体的，使用深度学习框架构建模型的编码器部分，编码器中包括位置编码、自注意力层与前馈神经网络层。在每层编码器中，首先添加长度为N2的可训练张量，其中N为网络节点数量。流量数据输入后，添加空间编码、时间编码和位置编码，最后编码E可以表示为：E＝R+P+L，其中，R为空间编码，P为时间编码，L为位置编码。
分别创建并初始化3个全连接层，将数据映射生成Q、K、V矩阵，通过自注意力公式计算数据的自注意力结果。具体的，自注意力层首先将输入数据通过三个全连接网络将数据映射为Q、K、V三个矩阵，以Q矩阵为例，其计算公式为：Q＝(X+E)WQ，其中，X为输入数据，E为编码，WQ为全连接层的权重矩阵。然后通过公式：
Figure BDA0003511721350000131
计算加权注意力输出，其中d为网络流量数据的维度，Q、K、V分别为映射得到的查询、键、值矩阵。
添加残差连接与层归一化网络，归一化训练参数，防止参数分布变化过大。具体的，在自注意力层后，将残差连接部分与自注意力结果求和并进行层归一化，保证参数分布的稳定性，并加快模型的收敛速度。
添加前馈全连接神经网络层，网络输出层使用ReLu激活函数，而后添加残差连接与层归一化网络。具体的，使用前馈神经网络模块进行参数的传递，激活函数采用ReLu，其参数传递公式为：Z(x)＝ReLU(xw1+b1)w2+b2，其中，x为前序输入，ReLU为激活函数，w、b分别为网络权重与偏移。在自注意力模块和前馈神经网络模块上分别添加残差连接，防止网络退化问题。使用均方根误差作为损失函数，公式如下：
Figure BDA0003511721350000141
其中，N为网络矩阵的流量数目，其是节点数据的平方，T为测试的时间步数目，Yi、
Figure BDA0003511721350000142
分别为第i个时间步，第j号流量的真实值和预测值。
在较佳的实施例中，如图11所示，所述步骤S42包括：
步骤S421、根据模型框架确定训练参数范围，该训练参数范围包括编码器层数范围、注意力维度范围、训练轮数范围、以及批次大小范围。
步骤S422、基于训练参数范围使用第一步长进行超参数的搜索，以确定最优参数的所在范围。
步骤S423、基于最优参数的所在范围多次使用第二步长进行超参数的搜索以确定最优参数，每次使用的第二步长都比前一次使用的第二步长小，第二步长均小于第一步长。
步骤S424、利用最优参数对模型框架进行训练得到流量预测模型。
在本实施例中，初步确定编码器的层数范围为[2，20]，注意力维度范围为[100，1000]、训练轮数范围为[100，2000]，批次大小的范围为[2，32]。对于编码器层数、注意力维度、训练轮数和批次大小分别使用4、200、200和4的步长在搜索范围中选择参数，选择较低训练误差的参数。先使用较广的搜索范围和较大的步长进行超参数的搜索，寻找全局最优值可能的位置。逐渐缩小搜索范围和步长，直至训练误差达到可用范围，来寻找接近最优的超参数。在较好结果参数附近将搜索范围缩小，然后分别使用减半的步长，即2、100、100、2的步长来来寻找接近最优的超参数，以此类推，采用逐步缩小搜索范围的方式更快找到最优的超参数。
在较佳的实施例中，如图12所示，所述步骤S43包括：
步骤S431、将前期流量数据进行预处理得到一维向量形式的历史流量数据，将空间编码和时间编码均添加到前期流量数据上后，将前期流量数据输入到流量预测模型中得到流量预测结果。
步骤S432、根据预处理，对流量预测结果进行预处理恢复。
步骤S433、根据流量预测结果绘制流量趋势图。
在本实施例中，将前期流量数据经过与步骤S1相同的预处理后，添加空间与时间编码，输入到模型中。具体的，将ω长度的历史流量A＝{xtω+1xt-ω+2,…xt}除最大值进行归一化，添加空间与事件编码，输入到模型中。模型输出长度为l的未来流量Y＝{xt+1,xt+2,…,xt +l}。将输出的流量序列乘经验最大值Fmax恢复为正常数据范围，得到预测的未来一段时间流量的结果。并将结果以趋势图像展示，以便于观察。本发明提供的方法能够在给定w个时间片的历史流量A＝{xt-ω+1xt-ω+2,…xt}后，预测未来长度为l的时间片内的流量大小，即Y＝{xt+1,xt+2,…,xt+l}，且l的长度较长，能够表示未来较长时间内的流量情况。
本申请不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围之内。

Claims (8)

1.一种基于自注意力机制的网络流量矩阵预测方法，其特征在于，包括：
步骤S1、将网络流量数据缩放到指定范围内得到一维向量形式的网络流量数据；
步骤S2、利用路由信息构建目标网络中所有节点的最短路径树，根据所有最短路径树进行编码得到空间编码，并将空间编码添加到所述网络流量数据上；
步骤S3、将网络流量数据的时间戳按照不同粒度分别进行编码得到相应的粒度编码，将所有粒度编码相加得到时间编码，并将时间编码添加到所述网络流量数据上；
步骤S4、利用可训练式的位置编码和所述网络流量数据构建基于自注意力机制的流量预测模型，利用流量预测模型进行流量预测；
其中，所述步骤S1包括：
步骤S11、针对具有多个节点的目标网络，获取其历史的网络流量数据，以构建流量矩阵，将流量矩阵降维为一维；
步骤S12、统计目标网络的历史最大流量值，利用最大流量值对降维后的网络流量数据进行归一化，以将网络流量数据缩放到指定范围内得到一维向量形式的网络流量数据；
所述步骤S2包括：
步骤S21、将目标网络建模为有向图，获取目标网络中所有链路的权重信息，利用链路状态路由算法，结合有向图和权重信息得到各个节点的最短路径树；
步骤S22、将所有最短路径树集合得到二维向量，将二维向量降维为一维，并根据预设的选路策略对该一维向量中所有路径值分别取倒数后，统计该一维向量中的最大路径值，利用最大路径值对该一维向量进行归一化，以得到与所述网络流量数据具有相同长度的空间编码；
步骤S23、将空间编码添加到所述网络流量数据中；
所述步骤S3包括：
步骤S31、获取网络流量数据的时间戳，按照不同粒度将时间戳分别为月份、日、星期、小时、以及分钟后，分别构建不同输入输出维度的全连接神经网络层；
步骤S32、通过多层全连接神经网络层构建不同维度的编码函数，将不同粒度的时间戳分别输入到相应的全连接神经网络层中生成粒度编码，将所有粒度编码相加，以得到与所述网络流量数据具有相同长度的时间编码；
步骤S33、将时间编码添加到所述网络流量数据中。
2.基于权利要求1所述的基于自注意力机制的网络流量矩阵预测方法，其特征在于，所述步骤S1还包括：
步骤S13、将降维和归一化后的网络流量数据按照7:1:2的比例划分为训练集、验证集、以及测试集，训练集用于构建所述模型框架，验证集用于得到最优参数，测试集用于评估所述流量预测模型的精度。
3.基于权利要求1所述的基于自注意力机制的网络流量矩阵预测方法，其特征在于，所述流量预测模型包括编码器和输出层，编码器包括可训练式的位置编码、自注意力层、以及前馈网络层，输出层由全连接神经网络层构成。
4.基于权利要求3所述的基于自注意力机制的网络流量矩阵预测方法，其特征在于，所述步骤S4包括：
步骤S41、利用可训练式的位置编码和网络流量数据构建流量预测模型的模型框架；
步骤S42、通过网格搜索方法得到流量预测模型的最优参数，利用最优参数对模型框架进行训练得到流量预测模型；
步骤S43、利用流量预测模型对目标网络进行流量预测。
5.基于权利要求4所述的基于自注意力机制的网络流量矩阵预测方法，其特征在于，所述步骤S41包括：
步骤S411、使用Pytorch创建与所述网络流量数据具有相同长度的可训练张量，并将可训练张量的数值初始化到[0-1]范围内，以得到可训练式的位置编码；
步骤S412、在编码器的自注意力层，分别创建并初始化三个具有不同权重的全连接神经网络层，将网络流量数据分别通过三个全连接神经网络层映射为三个映射矩阵，利用自注意力公式对三个映射矩阵进行计算得到自注意力结果；
步骤S413、在编码器的自注意力层和前馈网络层之间，添加残差连接与层归一化网络；
步骤S414、在编码器的前馈网络层，添加全连接神经网络层，并使用ReLu激活函数后，再次添加残差连接与层归一化网络，以得到流量预测模型的模型框架。
6.基于权利要求4所述的基于自注意力机制的网络流量矩阵预测方法，其特征在于，所述步骤S42包括：
步骤S421、根据模型框架确定训练参数范围，该训练参数范围包括编码器层数范围、注意力维度范围、训练轮数范围、以及批次大小范围；
步骤S422、基于训练参数范围使用第一步长进行超参数的搜索，以确定最优参数的所在范围；
步骤S423、基于最优参数的所在范围多次使用第二步长进行超参数的搜索以确定最优参数，每次使用的第二步长都比前一次使用的第二步长小，第二步长均小于第一步长；
步骤S424、利用最优参数对模型框架进行训练得到流量预测模型。
7.基于权利要求4所述的基于自注意力机制的网络流量矩阵预测方法，其特征在于，所述步骤S43包括：
步骤S431、将前期流量数据进行预处理得到一维向量形式的历史流量数据，将空间编码和时间编码均添加到前期流量数据上后，将前期流量数据输入到流量预测模型中得到流量预测结果；
步骤S432、根据预处理，对流量预测结果进行预处理恢复；
步骤S433、根据流量预测结果绘制流量趋势图。
8.基于权利要求7所述的基于自注意力机制的网络流量矩阵预测方法，其特征在于，所述步骤S431中的预处理包括将前期流量数据缩放到指定范围内得到一维向量形式的前期流量数据。
CN202210165300.XA 2022-02-20 2022-02-20 一种基于自注意力机制的网络流量矩阵预测方法 Active CN114553718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210165300.XA CN114553718B (zh) 2022-02-20 2022-02-20 一种基于自注意力机制的网络流量矩阵预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210165300.XA CN114553718B (zh) 2022-02-20 2022-02-20 一种基于自注意力机制的网络流量矩阵预测方法

Publications (2)

Publication Number Publication Date
CN114553718A CN114553718A (zh) 2022-05-27
CN114553718B true CN114553718B (zh) 2023-04-18

Family

ID=81678143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210165300.XA Active CN114553718B (zh) 2022-02-20 2022-02-20 一种基于自注意力机制的网络流量矩阵预测方法

Country Status (1)

Country Link
CN (1) CN114553718B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116257659A (zh) * 2023-03-31 2023-06-13 华中师范大学 一种智能导学系统的动态图嵌入方法及系统
CN116319523B (zh) * 2023-05-19 2023-08-04 湖南承希科技有限公司 一种流量智适应的大数据流处理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113316163A (zh) * 2021-06-18 2021-08-27 东南大学 基于深度学习的长期网络流量预测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899510B (zh) * 2020-07-28 2021-08-20 南京工程学院 基于发散卷积和gat的智能交通系统流量短期预测方法及系统
US11238729B1 (en) * 2020-09-11 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for traffic flow prediction
CN113094860B (zh) * 2021-04-29 2023-09-01 北京邮电大学 一种基于注意力机制的工控网络流量建模方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113316163A (zh) * 2021-06-18 2021-08-27 东南大学 基于深度学习的长期网络流量预测方法

Also Published As

Publication number Publication date
CN114553718A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN114553718B (zh) 一种基于自注意力机制的网络流量矩阵预测方法
CN113313947B (zh) 短期交通预测图卷积网络的路况评估方法
CN111161535A (zh) 基于注意力机制的图神经网络交通流量预测方法及系统
CN113033712B (zh) 一种基于联邦学习的多用户协同训练人流统计方法及系统
CN113094860B (zh) 一种基于注意力机制的工控网络流量建模方法
CN110267292A (zh) 基于三维卷积神经网络的蜂窝网络流量预测方法
CN111339818A (zh) 一种人脸多属性识别系统
CN113688253B (zh) 一种层次感知的时态知识图谱表示学习方法
CN113516133A (zh) 一种多模态图像分类方法及系统
CN107453921A (zh) 基于非线性神经网络的智慧城市系统人工智能评价方法
CN115144934A (zh) 基于变分量子线路的气象预测方法及相关设备
CN112766600A (zh) 一种城市区域人群流量预测方法及系统
Yang et al. Remaining useful life prediction based on normalizing flow embedded sequence-to-sequence learning
CN114648092A (zh) 一种个性化联邦学习加速方法、装置
Jaakkola et al. Recursive algorithms for approximating probabilities in graphical models
CN115600686A (zh) 基于个性化Transformer的联邦学习模型训练方法及联邦学习系统
CN117593666B (zh) 一种极光图像的地磁台站数据预测方法及系统
CN116306780B (zh) 一种动态图链接生成方法
CN115438841A (zh) 基于人工智能精准预测降雨模型的训练方法及预测方法
CN115758643A (zh) 一种基于时空特征融合的网络流量预测方法、装置及存储介质
Geng et al. A LSTM based campus network traffic prediction system
CN111554089A (zh) 一种基于深度学习的交通状态预测方法及装置
Yuan et al. Exploring beyond-demonstrator via meta learning-based reward extrapolation
CN114021811B (zh) 基于注意力改进的交通预测方法及计算机介质
CN117557402B (zh) 基于智慧农业的小麦病虫害远程监控和预警系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant