CN114124734B - 一种基于GCN-Transformer集成模型的网络流量预测方法 - Google Patents

一种基于GCN-Transformer集成模型的网络流量预测方法 Download PDF

Info

Publication number
CN114124734B
CN114124734B CN202111381072.1A CN202111381072A CN114124734B CN 114124734 B CN114124734 B CN 114124734B CN 202111381072 A CN202111381072 A CN 202111381072A CN 114124734 B CN114124734 B CN 114124734B
Authority
CN
China
Prior art keywords
network
transformer
prediction
gcn
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111381072.1A
Other languages
English (en)
Other versions
CN114124734A (zh
Inventor
宁芊
薛自杰
周新志
赵成萍
黄霖宇
陈炳才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Xinjiang Normal University
Original Assignee
Sichuan University
Xinjiang Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University, Xinjiang Normal University filed Critical Sichuan University
Priority to CN202111381072.1A priority Critical patent/CN114124734B/zh
Publication of CN114124734A publication Critical patent/CN114124734A/zh
Application granted granted Critical
Publication of CN114124734B publication Critical patent/CN114124734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及流量预测领域，是一种基于GCN‑Transformer集成模型的网络流量预测方法，解决了现有技术中流量数据预测不准确的问题。本发明包括以下步骤：一特征提取；二训练；三预测。本发明通过GCN和Transformer并行捕捉流量数据中的空间特征和时间特征，同时采用注意力方式进行特征融合，这能够从两个维度上对网络中的流量进行精准的预测。同时并行方式使特征提取时保留完整的时空信息，同时加速预测速度，发挥Transformer结构的并行计算特点，提高预测速度。同时发挥Transformer结构对于长时间依赖的捕捉能力，提高模型对于长时间预测的能力，从而提高模型在预测长时间序列时的准确性。

Description

一种基于GCN-Transformer集成模型的网络流量预测方法
技术领域
本发明涉及流量预测领域，特别是指一种基于GCN-Transformer集成模型的网络流量预测方法。
背景技术
随着通信技术、互联网技术的快速发展，目前的骨干通信网络正在面临流量的爆炸式增长，越来越多的网络服务需要更快的网络速度、更低的网络时延、更加稳定可靠的网络质量，这些都对目前的网络设备提出更高的要求，传统的骨干通信网络面临巨大的挑战。在现存的通信物理设备升级换代的同时，通过算法对现有网络设备的数据通信进行优化是学术界和产业界都关注的一个热点问题，这些算法的优化基本上都依赖于对网络流量的精准预测，同时新网络基础设施的设计和规划也同样依赖于精准的网络流量预测。所以为了满足日益增长的网络通信需求，对网络流量进行分析预测至关重要。
现有技术采用的网络流量预测模型结构特点大多都不可避免地使模型只能采集得到某一维度的特征，从而得到具有偏向的预测结果，这些预测结果与真实流量总是存在一定的误差，既无法完全准确获取到整个网络系统的真实时空特点。例如一类预测模型仅采用图卷积神经网络GCN(Graph Convolutional Network)，只能捕捉得到系统的空间特征，无法对系统时间维度上的特征进行建模。另一类采用循环神经网络RNN(RecurrentNeural Network)以及它的变形，只能采集得到系统时间维度特征，无法与系统的空间拓扑信息进行结合。目前的这些模型大多存在无法完整地对网络系统流量数据的空间特征和时间特征进行精准全面捕捉的能力。
目前也有一些设计者通过对不同模型进行组合，形成既能提取网络流量的空间特征又能提取时间特征的模型。往往是将一种模型的输出作为另一个模型的输入，通过串行的方式依次分步提取特征。这样的方法虽然可以提取时间特征和空间特征，但是也带来一些问题。例如首先使用GCN捕捉网络流量的空间特征后，其包含的时间特征有可能发生改变，再使用RNN相关的时间特征提取模型就无法提取完整的时间特征，提取特征不完整导致预测效果变差，时间特征和空间特征的提取顺序进行调整也会发生同样的问题。
亟待出现一种可解决上述问题的新型的网络流量预测模型。
发明内容
本发明提出一种基于GCN-Transformer集成模型的网络流量预测方法，解决了现有技术中流量数据预测不准确的问题。
本发明的技术方案是这样实现的：一种基于GCN-Transformer集成模型的网络流量预测方法，包括以下步骤：
一特征提取：A在给定网络空间邻接矩阵后，基于图卷积神经网络GCN进行网络空间信息特征提取；B基于Transformer进行网络流量时间信息特征提取；
二训练：基于Transformer结构的神经网络训练；
三预测：基于Transformer结构的神经网络预测。
进一步地，步骤一还包括步骤C基于Attention机制的特征融合；使用软注意力机制对网络流量数据的时间信息和空间信息进行加权，得到包含网络流量数据的时空特征。
进一步地，步骤B具体的是不少于两个给定网络空间的历史流量矩阵，提取节点网络流量的时间序列信息。
进一步地，所述步骤二具体的是：(1)采用滑动窗口的方法处理采集得到的网络流量数据，同时进行归一化，得到网络训练数据集；(2)设置最大训练次数和目标误差；(3)采用Xavier initialization的方法对模型的参数进行初始化；(4)判断当前训练次数是否达到最大的训练次数，如果是的话，训练结束，否则执行第5步；(5)将网络训练数据集输入到模型中进行计算，得到预测结果；(6)将预测结果与真实值进行比较，得到预测误差；(7)如果预测误差满足设定的目标误差，则结束训练，否则通过反向更新算法对模型参数进行更新，同时训练次数加1，返回到第4步。
进一步地，所述步骤三具体的是：(1)采用滑动窗口的方法处理采集得到的网络流量数据，同时进行归一化，最终得到网络训练数据集；(2)将网络训练数据集中的数据同时输入到GCN空间特征提取器和Transformer时间特征提取器；(3)在transformer特征提取器中将流量矩阵降维，变换成为一个一维的矩阵；然后对其加入时间位置信息，增加时序标志；然后将其送到Transformer的encoder中，提取网络流量的时间信息；(4)将上一步的输出和GCN空间特征提取器的数据；(5)将上一步的输出输入到Transformer中，执行自注意机制；(6)将上一步的输出输入到全连接预测层，得到预测结果。
本发明公开的一种基于GCN-Transformer集成模型的网络流量预测方法，通过GCN和Transformer并行捕捉流量数据中的空间特征和时间特征，同时采用注意力方式进行特征融合，这能够从两个维度上对网络中的流量进行精准的预测。同时并行方式使特征提取时保留完整的时空信息，同时加速预测速度，发挥Transformer结构的并行计算特点，提高预测速度。同时发挥Transformer结构对于长时间依赖的捕捉能力，提高模型对于长时间预测的能力，从而提高模型在预测长时间序列时的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1：GCN-Transformer集成模型结构框图；
图2：网络流量预测算法流程图；
图3：模型训练流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明公开的一种基于GCN-Transformer集成模型的网络流量预测方法，包括以下步骤：
一特征提取：A在给定网络空间邻接矩阵后，基于图卷积神经网络GCN进行网络空间信息特征提取；B基于Transformer进行网络流量时间信息特征提取；
二训练：基于Transformer结构的神经网络训练；
三预测：基于Transformer结构的神经网络预测。
进一步地，步骤一还包括步骤C基于Attention机制的特征融合；使用软注意力机制对网络流量数据的时间信息和空间信息进行加权，得到包含网络流量数据的时空特征。神经网络中的注意力机制指的是，通过对所有的输入信息进行加权，使重要的信息能够发挥更大的作用，同时过滤不重要或者无关信息。注意力机制分为软注意力和硬注意力两种。硬注意力指的是选取输入信息的某一个信息作为输入信息，选取的方式有固定位置或者是概率最高的信息。而软注意力指的是在选取输入信息的过程中，对所有输入信息进行加权，将加权平均作为最终的注入信息输入。
进一步地，步骤B具体的是不少于两个给定网络空间的历史流量矩阵，提取节点网络流量的时间序列信息。
其中，空间特征提取采用基于GCN的诸多变形或者基于空间注意力的其他用于空间特征提取的方式，例如chebynet、基于空间的Transformer等。时间特征提取采用RNN的诸多变形或者其他可以用于时间特征提取的方式。特征融合采用基于注意力机制的融合方式，例如Transformer等。GCN的层数或者Transformer的层数等基于GCN和Transformer的变形。
进一步地，所述步骤二具体的是：(1)采用滑动窗口的方法处理采集得到的网络流量数据，同时进行归一化，得到网络训练数据集；(2)设置最大训练次数和目标误差；(3)采用Xavier initialization的方法对模型的参数进行初始化；(4)判断当前训练次数是否达到最大的训练次数，如果是的话，训练结束，否则执行第5步；(5)将网络训练数据集输入到模型中进行计算，得到预测结果；(6)将预测结果与真实值进行比较，得到预测误差；(7)如果预测误差满足设定的目标误差，则结束训练，否则通过反向更新算法对模型参数进行更新，同时训练次数加1，返回到第4步。
进一步地，所述步骤三具体的是：(1)采用滑动窗口的方法处理采集得到的网络流量数据，同时进行归一化，最终得到网络训练数据集；(2)将网络训练数据集中的数据同时输入到GCN空间特征提取器和Transformer时间特征提取器；(3)在transformer特征提取器中将流量矩阵降维，变换成为一个一维的矩阵；然后对其加入时间位置信息，增加时序标志；然后将其送到Transformer的encoder中，提取网络流量的时间信息；(4)将上一步的输出和GCN空间特征提取器的数据；(5)将上一步的输出输入到Transformer中，执行自注意机制；(6)将上一步的输出输入到全连接预测层，得到预测结果。
本发明结合GCN与Transformer，同时提取到网络的空间特征和时间特征；通过Transformer结构的引入，可以发挥预测模型对于长短时间依赖的捕捉能力，尤其提高模型对于长时间预测的能力，从而提高模型在预测长时间依赖时序数据时的准确性；利用并行特征提取的方式来对网络流量数据的时间特征和空间特征进行提取，避免串行提取方式对网络流量数据特征的干扰。利用Attention机制对网络流量的时间特征和空间特征进行融合，使网络流量预测可以同时兼顾时间特征和空间特征。
本发明公开的一种基于GCN-Transformer集成模型的网络流量预测方法，通过GCN和Transformer并行捕捉流量数据中的空间特征和时间特征，同时采用注意力方式进行特征融合，这能够从两个维度上对网络中的流量进行精准的预测。同时并行方式使特征提取时保留完整的时空信息，同时加速预测速度，发挥Transformer结构的并行计算特点，提高预测速度。同时发挥Transformer结构对于长时间依赖的捕捉能力，提高模型对于长时间预测的能力，从而提高模型在预测长时间序列时的准确性。
当然，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员应该可以根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.一种基于GCN-Transformer集成模型的网络流量预测方法，其特征在于：包括以下步骤：
一特征提取：
A 在给定网络空间邻接矩阵后，基于图卷积神经网络GCN进行网络空间信息特征提取，然后将提取得到的网络流量的空间特征信息输入到C步骤中；
B基于Transformer进行网络流量时间信息特征提取，然后将提取得到的网络流量的时间特征信息输入到C步骤中；
C基于Attention机制的特征融合；使用软注意力机制对由B步骤提取得到的网络流量的时间特征信息和由A步骤提取得到的网络流量的空间热证信息进行加权，得到包含网络流量数据的时空特征信息；
二训练：基于GCN-Transformer结构的神经网络训练；
三预测：基于GCN-Transformer结构的神经网络预测。
2.根据权利要求1所述的一种基于GCN-Transformer集成模型的网络流量预测方法，其特征在于：步骤B具体的是不少于两个给定网络空间的历史流量矩阵，提取节点网络流量的时间序列信息。
3.根据权利要求2所述的一种基于GCN-Transformer集成模型的网络流量预测方法，其特征在于：所述步骤二具体的是：
（1）采用滑动窗口的方法处理采集得到的网络流量数据，同时进行归一化，得到网络训练数据集；
（2）设置最大训练次数和目标误差；
（3）采用Xavier initialization的方法对模型的参数进行初始化；
（4）判断当前训练次数是否达到最大的训练次数，如果是的话，训练结束，否则执行第5步；
（5）将网络训练数据集输入到模型中进行计算，得到预测结果；
（6）将预测结果与真实值进行比较，得到预测误差；
（7）如果预测误差满足设定的目标误差，则结束训练，否则通过反向更新算法对模型参数
4.根据权利要求3所述的一种基于GCN-Transformer集成模型的网络流量预测方法，其特征在于：所述步骤三具体的是：
（1）采用滑动窗口的方法处理采集得到的网络流量数据，同时进行归一化，最终得到网络训练数据集；
（2）将网络训练数据集中的数据同时输入到GCN空间特征提取器和Transformer时间特征提取器；
（3）在transformer特征提取器中将流量矩阵降维，变换成为一个一维的矩阵；然后对其加入时间位置信息，增加时序标志；然后将其送到Transformer的encoder中，提取网络流量的时间信息；
（4）将上一步的输出和GCN空间特征提取器的数据；
（5）将上一步的输出输入到Transformer中，执行自注意机制；
（6）将上一步的输出输入到全连接预测层，得到预测结果。
CN202111381072.1A 2021-11-20 2021-11-20 一种基于GCN-Transformer集成模型的网络流量预测方法 Active CN114124734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111381072.1A CN114124734B (zh) 2021-11-20 2021-11-20 一种基于GCN-Transformer集成模型的网络流量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111381072.1A CN114124734B (zh) 2021-11-20 2021-11-20 一种基于GCN-Transformer集成模型的网络流量预测方法

Publications (2)

Publication Number Publication Date
CN114124734A CN114124734A (zh) 2022-03-01
CN114124734B true CN114124734B (zh) 2023-04-07

Family

ID=80398066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111381072.1A Active CN114124734B (zh) 2021-11-20 2021-11-20 一种基于GCN-Transformer集成模型的网络流量预测方法

Country Status (1)

Country Link
CN (1) CN114124734B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116110588B (zh) * 2022-05-10 2024-04-26 北京理工大学 基于动态邻接矩阵和时空注意力的医学时间序列预测方法
CN117494906B (zh) * 2023-12-28 2024-03-29 浙江省白马湖实验室有限公司 一种基于多元时间序列的天然气日负荷预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112350876A (zh) * 2021-01-11 2021-02-09 南京信息工程大学 一种基于图神经网络的网络流量预测方法
CN112350899A (zh) * 2021-01-07 2021-02-09 南京信息工程大学 一种基于图卷积网络融合多特征输入的网络流量预测方法
CN113487061A (zh) * 2021-05-28 2021-10-08 山西云时代智慧城市技术发展有限公司 一种基于图卷积-Informer模型的长时序交通流量预测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889546B (zh) * 2019-11-20 2020-08-18 浙江省交通规划设计研究院有限公司 一种基于注意力机制的交通流量模型训练方法
KR20220058626A (ko) * 2019-12-18 2022-05-09 구글 엘엘씨 시계열 데이터에 대한 다중 수평 예보 처리
CN113206756B (zh) * 2021-04-22 2023-10-03 大连大学 基于组合模型的网络流量预测方法
CN113487088A (zh) * 2021-07-06 2021-10-08 哈尔滨工业大学（深圳） 基于动态时空图卷积注意力模型的交通预测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112350899A (zh) * 2021-01-07 2021-02-09 南京信息工程大学 一种基于图卷积网络融合多特征输入的网络流量预测方法
CN112350876A (zh) * 2021-01-11 2021-02-09 南京信息工程大学 一种基于图神经网络的网络流量预测方法
CN113487061A (zh) * 2021-05-28 2021-10-08 山西云时代智慧城市技术发展有限公司 一种基于图卷积-Informer模型的长时序交通流量预测方法

Also Published As

Publication number Publication date
CN114124734A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
TWI769754B (zh) 基於隱私保護確定目標業務模型的方法及裝置
CN112350899B (zh) 一种基于图卷积网络融合多特征输入的网络流量预测方法
CN114124734B (zh) 一种基于GCN-Transformer集成模型的网络流量预测方法
CN113905391B (zh) 集成学习网络流量预测方法、系统、设备、终端、介质
CN114818515A (zh) 一种基于自注意力机制和图卷积网络的多维时序预测方法
CN113259325B (zh) 基于麻雀搜索算法优化Bi-LSTM的网络安全态势预测方法
CN113628059B (zh) 一种基于多层图注意力网络的关联用户识别方法及装置
CN114221790A (zh) 一种基于图注意力网络的bgp异常检测方法及系统
CN112950924A (zh) 一种基于深度学习的复杂交通路网交通速度预测方法
CN113852432A (zh) 基于rcs-gru模型的频谱预测感知方法
CN114064627A (zh) 一种针对多重关系的知识图谱链接补全方法及系统
CN116992986A (zh) 一种基于时间序列分解网络流量预测系统
CN116935649A (zh) 多视角融合的时空动态图卷积网络城市交通流量预测方法
CN116489038A (zh) 网络流量的预测方法、装置、设备和介质
CN117290706A (zh) 一种时空卷积融合概率稀疏注意力机制的交通流预测方法
CN109993282B (zh) 一种台风波及范围的预测方法
CN114757391B (zh) 一种面向服务质量预测的网络数据空间设计与应用方法
CN115331081A (zh) 图像目标检测方法与装置
CN114298290A (zh) 一种基于自监督学习的神经网络编码方法及编码器
CN115102868A (zh) 一种基于SOM聚类与深度自编码器的web服务QoS预测方法
CN114866246A (zh) 基于大数据的计算机网络安全入侵检测方法
CN114611695A (zh) 用于空气质量预测的方法、装置、终端及存储介质
CN114117229A (zh) 一种基于有向和无向结构信息的图神经网络的项目推荐方法
CN112865898A (zh) 一种对抗式无线通信信道模型估计和预测方法
CN113254485A (zh) 实时数据流异常检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant