CN113285831A - 网络行为知识智能学习方法、装置、计算机设备及存储介质 - Google Patents

网络行为知识智能学习方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113285831A
CN113285831A CN202110564253.1A CN202110564253A CN113285831A CN 113285831 A CN113285831 A CN 113285831A CN 202110564253 A CN202110564253 A CN 202110564253A CN 113285831 A CN113285831 A CN 113285831A
Authority
CN
China
Prior art keywords
network
links
link
common
behavior knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110564253.1A
Other languages
English (en)
Other versions
CN113285831B (zh
Inventor
刘外喜
沈湘平
范立生
陈志韬
朱英昊
余曦荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202110564253.1A priority Critical patent/CN113285831B/zh
Publication of CN113285831A publication Critical patent/CN113285831A/zh
Application granted granted Critical
Publication of CN113285831B publication Critical patent/CN113285831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0823Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0893Assignment of logical groups to network elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络行为知识智能学习方法、装置、计算机设备及存储介质,方法包括:周期性地测量各条链路的网络基础行为,构建时间序列数据集,所述网络基础行为是指每一条链路的时延、抖动、丢包率和队列深度;基于时间序列聚类方法发现共性链路,所述共性链路是指代表性的少数几条链路,通过这少数几条链路能推测出其它链路;构建共性链路的网络基础行为与性能优化指标的映射关系,所述映射关系为网络行为知识,基于图神经网络学习网络行为知识;使用网络行为知识,预测性能优化指标。本发明通过网络基础行为的泛化,来实现针对任意的拓扑和流量优化方法、队列与调度的完全泛化,本发明可满足5G、工业互联网、数据中心网络等领域的需求。

Description

网络行为知识智能学习方法、装置、计算机设备及存储介质
技术领域
本发明属于网络通信的技术领域,具体涉及一种网络行为知识智能学习方法、装置、计算机设备及存储介质。
背景技术
路由协议、流调度机制、负载均衡、流量工程等方法优化了流量在网络中传输,端到端传输时间、吞吐量是反映流量在网络中传输过程中的性能参数。然而,分组/流在一条路径的上的端到端传输时间、在一段路径\一个节点\一个网络的吞吐量,都会与网络中每一跳的延迟、抖动、丢包率必然存在着关联关系。所以,观测延迟、抖动、丢包率可以预测端到端传输时间、吞吐量。
同时,一个分组在网络中传输,普遍采用动态的流量优化方法(路由机制、流调度机制、负载均衡、流量工程等)、交换机内部排队策略,这些对网络流量进行优化的操作都会很大程度上影响整个网络状态,每一条链路的网络基础行为都会受到影响。在这种条件下,如果网络中一段或者几段链路发生了拥塞情况,原本在此处传输的流量将会被调度到另外的路径,而这些的路径也会因此影响其相邻的交换机和链路的网络基础行为,这种连锁反应就会导致全局的网络流量分布发生变化。也就是说,链路之间的网络基础行为存在着强相关性,因此,可以通过相关性分析,发现其中存在的代表性的少数几条链路,由这少数几条链路可以推测其他链路,即,利用网络基础行为之间的关联性构建预测模型,实现端到端传输时间、吞吐量的预测。
现有技术中采用RouteNet方法预测时延和抖动,RouteNet的核心是利用message-passing neural networks把所有的路由机制或拓扑统一地表示与描述出来,这样实际上就实现了拓扑和路由机制的泛化。其中,消息传递神经网络(message-passing neuralnetworks,MPNN)是GNN中的一种,它统一了各种图形神经网络和图形卷积网络方法。但是RouteNet没有考虑节点内部的队列和调度策略对模型的影响。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种网络行为知识智能学习方法、装置、计算机设备及存储介质,通过网络基础行为的泛化、通过局部特征分析全局性网络行为的方法,来实现网络行为知识针对任意的拓扑和流量优化方法、队列与调度的完全泛化。
为了达到上述目的,本发明采用以下技术方案:
本发明一方面提供了一种网络行为知识智能学习方法,包括下述步骤:
周期性地测量各条链路的网络基础行为,构建时间序列数据集,所述网络基础行为是指每一条链路的时延、抖动、丢包率和队列深度;
基于时间序列聚类方法发现共性链路,所述共性链路是指存在代表性的少数几条链路,通过这少数几条链路能推测出其它链路;
构建共性链路的网络基础行为与性能优化指标的映射关系,所述映射关系为网络行为知识,基于图神经网络学习完全泛化的网络行为知识;
使用网络行为知识,预测性能优化指标。
作为优选的技术方案,周期性地测量各条链路的网络基础行为,每条链路在多个时间点的网络基础行为构成一个时间序列数据,网络中所有链路的网络基础行为就构成一个时间序列数据集,链路之间的网络基础行为存在着强相关性;
所述基于时间序列聚类方法发现共性链路,具体为:
利用时间序列聚类技术对所述时间序列数据集进行聚类,具有相同特性的链路自动地被分为一类;
通过轮廓系数和戴维森堡丁指数的双重评估,确定最佳的聚类簇数,从第1簇开始逐渐增加聚类的簇数,观察轮廓系数和戴维森堡丁指数的变化,当轮廓系数接近1并且戴维森堡丁指数接近0时,此时的簇数作为最佳的聚类数量;
从每一簇中选出n条链路作为共性链路,n为自然数。
作为优选的技术方案,所述构建的共性链路的网络基础行为与性能优化指标映射关系,具体为:
假设目标网络有E条链路,V个节点组成,记作G(E,V),从E条链路中选择N条共性链路帮助构建网络行为知识模型,包括步骤如下:
构建多条共性链路的网络基础行为之间的时空联合矩阵,所述网络基础行为是指每一条链路的时延d、抖动j、丢包率l和队列深度q,记作[d,j,l,q],队列深度q能够直接反映链路的拥塞状态;在第t时隙时,第k条链路的网络基础行为为延迟dtk、抖动jtk、丢包率ltk、队列深度qtk;以第t时隙以及之前T个时隙N条共性链路的网络基础行为组成一个时空联合矩阵Mt,在第t时隙时,对应的性能优化指标Ot
建立性能优化指标与N条共性链路的网络基础行为之间的映射关系,利用P4+INT测量到多个时空联合矩阵Mt以及对应的性能优化指标Ot,建立训练集,其中,一个矩阵Mt与一个Ot的对应关系是训练集中的一条标签记录;
基于所述训练集,利用图神经网络GNN构建性能优化指标与N条共性链路的网络基础行为之间的映射关系的模型,即,建立O=f([d,j,l,q]),称为网络行为知识。
作为优选的技术方案,所述性能优化指标Ot包括目标路径在第t时隙时的端到端传输时间Dt、目标路径在第t时隙时的吞吐量T1t、目标节点在第t时隙时的吞吐量T2t、目标网络在第t时隙时的吞吐量T3t
利用P4+INT测量到很多个矩阵Mt以及对应的Dt,建立训练集0,其中,一个矩阵Mt与一个Dt的对应关系是训练集中的一条标签记录;
基于所述训练集0,利用图神经网络GNN构建一个目标路径的端到端传输时间与N条共性链路的网络基础行为之间的映射关系的模型,即,建立D=f([d,j,l,q]),称为网络行为知识0;
利用P4+INT测量到很多个矩阵Mt以及对应的T1t,建立训练集1,其中,一个矩阵Mt与一个T1t的对应关系是训练集中的一条标签记录;
基于所述训练集1,利用图神经网络GNN构建一个目标路径的吞吐量与N条共性链路的网络基础行为之间的映射关系的模型,即,建立T1=f([d,j,l,q]),称为网络行为知识1;
利用P4+INT测量到很多个矩阵Mt以及对应的T2t,建立训练集2,其中,一个矩阵Mt与一个T2t的对应关系是训练集中的一条标签记录;
基于所述训练集2,利用图神经网络GNN构建一个目标节点的吞吐量与N条共性链路的网络基础行为之间的映射关系的模型,即,建立T2=f([d,j,l,q]),称为网络行为知识2;利用P4+INT测量到很多个矩阵Mt以及对应的T3t,建立训练集3,其中,一个矩阵Mt与一个T3t的对应关系是训练集中的一条标签记录;
基于所述训练集3,利用图神经网络GNN构建一个目标网络的吞吐量与N条共性链路的网络基础行为之间的映射关系的模型,即,建立T3=f([d,j,l,q]),称为网络行为知识3。
作为优选的技术方案,所述基于图神经网络学习网络行为知识,利用图神经网络GNN构建性能优化指标与N条共性链路的网络基础行为之间的映射关系的模型,具体为:
首先,以N条共性链路和其Z条关联链路为节点,以共性链路和其关联链路之间的连接关系为节点之间链路,构成一个可代表整体网络的简化拓扑图;
然后,将该拓扑图、训练集中的矩阵Mt及对应的性能优化指标Ot作为GNN的输入进行模型训练,得到所述映射关系的模型,其中,所述基于图神经网络学习网络行为知识中的几个关键步骤如下:
(1)以N条共性链路和Z条关联链路为节点,以共性链路和其关联链路之间的连接关系为节点之间链路,构成一个代表整体网络的简化拓扑图G;
(2)在第t时隙,第i条共性链路和第j条关联链路的网络基础行为分别为xi(t),yj(t),将xi(t)编码为初始隐状态
Figure BDA0003080143510000041
将yj(t)编码为初始隐状态
Figure BDA0003080143510000042
编码为隐状态是为了在消息传递过程中让这个隐状态可以包含更多的信息;将拓扑图G、初始隐状态、性能优化指标Ot作为GNN的输入,GNN的信息聚合函数采用的是循环神经网络RNN,即,将拓扑图G、初始隐状态、性能优化指标Ot作为RNN的输入;
(3)对共性链路进行消息聚合,第i条共性链路与每条关联链路的隐状态进行K次消息传递,其中,
共性链路的K次消息传递的迭代:
以关联链路与共性链路的隐状态
Figure BDA0003080143510000043
作为信息聚合函数RNN1的输入,得到关联链路新的隐状态
Figure BDA0003080143510000044
和聚合的消息
Figure BDA0003080143510000045
Figure BDA0003080143510000046
作为下次迭代的输入;
关联链路的K次消息传递的迭代:
以共性链路与关联链路的隐状态
Figure BDA0003080143510000047
作为信息聚合函数RNN2的输入,得到共性链路新的隐状态
Figure BDA0003080143510000048
和聚合的消息
Figure BDA0003080143510000049
Figure BDA00030801435100000410
作为下次迭代的输入;
(4)K次消息传递完成后,每条共性链路输出聚合所得的消息
Figure BDA00030801435100000411
将此消息与共性链路初始的隐状态
Figure BDA00030801435100000412
一起作为消息更新函数的输入,得到第i条共性链路在第t时隙的最终隐状态hi(t);
(5)N条共性链路中的每条共性链路都经过(2)-(4)步骤,可以得到一个对应的最终隐状态;
(6)使用激活函数的全连接的神经网络表示第t时隙的性能优化指标Ot和N条共性链路的最终隐状态[h1(t),h2(t),hi(t),…,hN(t)]之间的关系;
(7)对于每一个时隙的共性链路和关联链路的网络基础行为,进行上述(2)-(6)步骤,即可完成性能优化指标与N条共性链路的网络基础行为之间的映射关系的模型的构建过程。
作为优选的技术方案,所述使用网络行为知识,预测性能优化指标,具体为:
当需要预测当前的性能优化指标时,基于P4+INT技术采集到的N条共性链路的网络基础行为作为模型的输入,该模型的输出就是:性能优化指标;
当需要预测未来的性能优化指标时,通过建立Mt与Ot+v之间的映射关系来实现,其中v为大于1的整数。
测量性能优化指标的实际值以及当时的[d,j,l,q],进而获得新的[d,j,l,q]与性能优化指标之间映射关系的标签数据,并加入到原训练集,形成新的训练集;
定期地利用新的训练集训练模型,使模型能够适应于实时变化的网络状态与流量特征。
作为优选的技术方案,使用能够代表全部链路的少数共性链路和具有完全泛化的网络基础行为学习网络行为知识,是通过网络基础行为的泛化、通过局部特征分析全局性网络行为的方法,来实现网络行为知识针对任意的拓扑和流量优化方法、队列与调度的完全泛化;
所述完全泛化的网络基础行为,具体为:
一条链路指的是该链路及其相连的下游节点,该条链路的网络基础行为的测量范围是指从一个节点的入端口到下一个节点的入端口,所以,节点内部的排队与调度策略的影响,也都能够反映到该条链路的网络基础行为的变化;另外,不管任何类型的流量进入任何拓扑的网络,以及采用任何流量优化方法,最终也都会反映到这些网络基础行为的变化。
本发明另一方面提供了一种网络行为知识智能学习装置,应用于所述的网络行为知识智能学习方法,包括时间序列数据集构建模块、共性链路模块、学习模块以及预测模块;
所述时间序列数据集构建模块,用于周期性地测量各条链路的网络基础行为,构建时间序列数据集,所述网络基础行为是指每一条共性链路的时延、抖动、丢包率和队列深度;
所述共性链路模块,用于基于时间序列聚类方法发现共性链路;
所述学习模块,用于构建的共性链路的网络基础行为与性能优化指标映射关系,所述网络基础行为与性能优化指标映射关系为网络行为知识,基于图神经网络学习网络行为知识;
所述预测模块,用于使用网络行为知识,预测性能优化指标。
本发明又一方面提供了一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的可编程数据平面流调度方法。
本发明再一方面提供了一种存储介质,存储有程序,所述程序被处理器执行时,实现所述的可编程数据平面流调度方法。
本发明与现有技术相比,具有如下优点和有益效果:
本发明方法中的一条链路指的是该链路及其相连的下游节点,也就是说,该条链路的网络基础行为的测量范围是指从一个节点的入端口到下一个节点的入端口,所以,节点内部的排队与调度策略的影响,也都能够反映到网络基础行为的变化。另外,不管任何类型的流量进入任何拓扑的网络,以及采用任何流量优化方法,最终也都会反映到这些网络基础行为的变化,所以,网络基础行为具有面向拓扑、流量优化方法、交换机节点内部的排队和调度策略的完全泛化。
本发明使用能够代表全部链路的少数共性链路和具有完全泛化的网络基础行为为基础来构建模型。所以,本发明是通过网络基础行为的泛化、通过局部特征分析全局性网络行为的方法,来实现网络行为知识针对任意的拓扑和流量优化方法、队列与调度的完全泛化,是一种实现泛化的新思路。那么,本发明的方案可以发现能够被普遍使用的通用知识,更具有普适性。
本发明使用少量共性链路构建模型,可大幅度减少模型的输入,亦即,减少开销,提高预测的实时性。
本发明预测的端到端传输时间、吞吐量等性能优化指标,可以帮助进行流调度、拥塞控制等。
附图说明
图1是本发明实施例网络行为知识智能学习方法的流程图;
图2是本发明实施例基于图神经网络学习网络行为知识的流程图;
图3是本发明实施例聚类效果评估图;
图4是本发明另一实施例网络行为知识智能学习装置的结构示意图;
图5是本发明另一实施例计算机设备的结果示意图;
图6是本发明另一实施例的存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例
网络基础行为是指网络中一些常见现象都会反映到每一条链路的时延、抖动、丢包率、队列深度的变化,因此称每一条链路的时延、抖动、丢包率、队列深度为网络基础行为。本发明中的一条链路指的是该链路及其相连的下游节点,也就是说,该条链路的网络基础行为的测量范围是指从一个节点的入端口到下一个节点的入端口。其中,队列深度是指与该链路相连的端口的队列深度。
路由、流调度、拥塞控制、负载均衡、流量整形(traffic shaping)等流量控制方法旨在优化流量在网络中的传输行为,性能优化指标包括四个粒度:端到端传输时间(面向分组的)、FCT/DMR(面向流的)、资源利用率/公平(面向网络资源的)、拥塞指数(面向网络的)。分组在网络中传输,从源节点出发,陆续地经过各段链路的转发,最终到达目的地,实际上,每一段链路的网络基础行为决定着这些性能优化指标。
实际网络普遍采用动态的流量优化方法(路由机制、流调度机制、负载均衡、流量工程等)、交换机内部排队策略,这些机制都会影响全局所有链路的网络基础行为。在这种条件下,如果网络中某些链路或节点发生了拥塞情况,原本在此处传输的流量将会被调度其他链路传输,那么,这些链路的网络基础行为自然就会变化,而这些的链路的网络基础行为的变化也会影响其相邻的链路的网络基础行为,这种连锁反应就会导致全局的网络流量分布发生变化。也就是说,链路之间的网络基础行为存在着强相关性。
因此,本发明通过相关性分析,发现其中存在的代表性的少数几条链路,由这少数几条链路可以推测其他链路,把这些少数链路定义为共性链路。虽然只是从全部链路中选取了少数的共性链路的网络基础行为,但实际上它们能够反映网络中其他链路的网络基础行为,即可以反映了整个网络的变化情况。
如图1所示,本发明第一实施例提供了网络行为知识智能学习方法,本发明的方法能够实现针对流量优化方法和交换机节点内部排队和调度策略的泛化的基本原理在于:流量优化方法和交换机节点内部排队和调度策略都会影响全局所有链路的网络基础行为,通俗地说就是,一段链路或一个节点拥塞了,流量自然会选择其他链路和节点传输,那么这些链路和节点的网络基础行为自然就会变化,也就是说,虽然只抽样地从全部链路中选择了少数共性链路的网络基础行为,而它们实际上反映的是网络中其他链路的网络基础行为变化,本实施例的方法包括步骤S101-S104,具体为:
步骤S101、周期性地测量各条链路的网络基础行为,构建时间序列数据集。
本实施例中,基于P4+INT周期性地测量各条链路的网络基础行为,那么,每条链路在多个时间点的网络基础行为构成一个时间序列数据,网络中所有链路的网络基础行为就构成一个时间序列数据集,链路之间的网络基础行为存在着强相关性。当然需要说明的是,本发明实施例并不限于此,本发明实施例的方法可以应用在任何可以通过数据编程完成信息交换功能的电子设备中。
步骤S102、基于时间序列聚类方法发现共性链路,所述共性链路是指存在代表性的少数几条链路,通过这少数几条链路能推测出其它链路。
具体的,发现共性链路包括下述步骤:
S1021、利用时间序列聚类技术对上述时间序列数据集进行聚类,那些具有相同特性的链路会自动地被分为一类;
S1022、通过轮廓系数(Silhouette Coefficient)和戴维森堡丁指数(Davies-BouldinIndex)的双重评估,确定最佳的聚类簇数。即,逐渐增加聚类的簇数(从1簇开始),观察轮廓系数和戴维森堡丁指数的变化,当轮廓系数接近1并且戴维森堡丁指数接近0时,此时的簇数作为最佳的聚类数量;
S1023、从每一簇中选出n(n=1,2……)条链路作为共性链路。
更进一步的,具体流程如下:
(1)设定一个聚类簇数k的上限值c。
(2)迭代循环k取值从1到c,执行sklearn.cluster库中的Kmeans()函数,执行k-均值算法。
(3)每次循环对数据集进行聚类后,使用sklearn库的封装函数metrics.silhouette_score()来计算轮廓系数。
(4)自定义计算DBI的函数,传入标签和进行特征处理的数据集,Si是DBI中描述分散度的值;通过euclidean()函数计算得到类内数据点到类中心点的欧氏距离,然后按照定义DBI公式得到DBI指数。
步骤S103、构建共性链路的网络基础行为与性能优化指标的映射关系,所述映射关系为网络行为知识,基于图神经网络学习网络行为知识。
假设目标网络有E条链路,V个节点组成,记作G(E,V),从E条链路中选择N条共性链路帮助构建网络知识模型,包括步骤如下:
S1031、构建多条共性链路的网络基础行为之间的时空联合矩阵,在第t时隙时,第k条链路的网络基础行为为延迟dtk、抖动jtk、丢包率ltk、队列深度qtk;如表1所示,以第t时隙以及之前T个时隙N条共性链路的网络基础行为组成一个时空联合矩阵Mt,记作[d,j,l,q]。
可以理解的是,T和N越大,时空联合矩阵包含的信息量越大,预测性能越好,但是模型的复杂度会增加。然而,考虑到网络传输的特点,分组不会遍历网络中的所有链路,也就是说,不会和所有链路的流量强相关,一个分组也不会在网络中永远存在,也就是说不会和很久以前的流量强相关。所以,考虑到性能与效率的平衡,T和N都不宜过大,可根据实际情况进行选择,例如,T≤3。
表1 第t时隙的时空联合矩阵
Figure BDA0003080143510000091
S1032、建立性能优化指标与N条共性链路的网络基础行为之间的映射关系,测量到多个时空联合矩阵Mt以及对应的性能优化指标Ot,建立训练集,其中,一个矩阵Mt与一个Ot的对应关系是训练集中的一条标签记录。
进一步的,利用GNN学习网络行为知识的流程如图2所示,其中,GNN中几个关键部分如下:
GNN的信息聚合函数(message aggregation function)采用的是循环神经网络RNN(Recurrent Neural Network);
GNN中的更新函数(message update function)采用的是求和的方法;
GNN中的readout function采用的是使用激活函数的全连接神经网络。
所述基于图神经网络学习网络行为知识,利用图神经网络GNN构建性能优化指标与N条共性链路的网络基础行为之间的映射关系的模型,具体为:
首先,以N条共性链路和其Z条关联链路为节点,以共性链路和其关联链路之间的连接关系为节点之间链路,构成一个可代表整体网络的简化拓扑图;
然后,将该拓扑图、训练集中的矩阵Mt及对应的性能优化指标Ot作为GNN的输入进行模型训练,得到所述映射关系的模型,其中,所述基于图神经网络学习网络行为知识中的几个关键步骤如下:
(1)以N条共性链路和Z条关联链路为节点,以共性链路和其关联链路之间的连接关系为节点之间链路,构成一个代表整体网络的简化拓扑图G;
(2)在第t时隙,第i条共性链路和第j条关联链路的网络基础行为分别为xi(t),yj(t),将xi(t)编码为初始隐状态
Figure BDA0003080143510000092
将yj(t)编码为初始隐状态
Figure BDA0003080143510000093
编码为隐状态是为了在消息传递过程中让这个隐状态可以包含更多的信息;将拓扑图G、初始隐状态、性能优化指标Ot作为GNN的输入,GNN的信息聚合函数采用的是循环神经网络RNN,即将拓扑图G、初始隐状态、性能优化指标Ot作为RNN的输入;
(3)对共性链路进行消息聚合,第i条共性链路与每条关联链路的隐状态进行K次消息传递,其中,
共性链路的K次消息传递的迭代:
以关联链路与共性链路的隐状态
Figure BDA0003080143510000101
作为信息聚合函数RNN1的输入,得到关联链路新的隐状态
Figure BDA0003080143510000102
和聚合的消息
Figure BDA0003080143510000103
Figure BDA0003080143510000104
作为下次迭代的输入;
关联链路的K次消息传递的迭代:
以共性链路与关联链路的隐状态
Figure BDA0003080143510000105
作为信息聚合函数RNN2的输入,得到共性链路新的隐状态
Figure BDA0003080143510000106
和聚合的消息
Figure BDA0003080143510000107
Figure BDA0003080143510000108
作为下次迭代的输入;
(4)K次消息传递完成后,每条共性链路输出聚合所得的消息
Figure BDA0003080143510000109
将此消息与共性链路初始的隐状态
Figure BDA00030801435100001010
一起作为消息更新函数的输入,得到第i条共性链路在第t时隙的最终隐状态hi(t),其中,本发明中消息更新函数是求和,即
Figure BDA00030801435100001011
(5)N条共性链路中的每条共性链路都经过(2)-(4)步骤,可以得到一个对应的最终隐状态;
(6)使用激活函数的全连接的神经网络表示第t时隙的性能优化指标Ot和N条共性链路的最终隐状态[[h1(t),h2(t),hit),…,hN(t)]]的关系;
(7)对于每一个时隙的共性链路和关联链路的网络基础行为,进行上述(2)-(6)步骤,即可完成性能优化指标与N条共性链路的网络基础行为之间的映射关系的模型的构建过程。
将上述构建的共性链路的网络基础行为与性能优化指标映射关系,称为网络行为知识;
将构建映射关系的过程,称为学习网络行为知识;
通过观测网络基础行为可以预测性能优化指标,称为使用网络行为知识。
S1033、基于所述训练集,利用图神经网络GNN构建性能优化指标与N条共性链路的网络基础行为之间的映射关系的模型,即,建立O=f([d,j,l,q]),称为网络行为知识。
在本申请的另一个实施例中,性能优化指标Ot包括目标路径此时的端到端传输时间Dt、目标路径此时的吞吐量T1t、目标节点此时的吞吐量T2t、目标网络此时的吞吐量T3t;建立性能优化指标与N条共性链路的网络基础行为之间的映射关系具体为:
S1031、建立目标路径的端到端传输时间Dt与N条共性链路的网络基础行为之间的映射关系。
利用P4+INT测量到很多个矩阵Mt以及对应的Dt,建立训练集0,其中,一个矩阵Mt与一个Ot的对应关系是训练集中的一条标签记录;
利用图神经网络GNN(Graph Neural Networks)构建端到端传输时间与N条共性链路的网络基础行为之间的映射关系的模型。具体方法为:以共性链路和其关联链路为节点,以共性链路和其关联链路之间的连接关系为节点之间链路,构成一个可代表整体网络的简化拓扑,将该拓扑(以图的形式)、训练集中的矩阵Mt及对应的端到端传输时间Dt作为GNN的输入进行训练,即,建立D=f([d,j,l,q]),称为网络行为知识0。
网络行为知识0是建立了第t时隙的Mt与第t时隙的Dt之间的映射关系,那么也就只能利用网络行为知识0预测与输入在同一时隙的D。如果想预测未来的D,那么可以通过建立Mt与Dt+v之间的映射关系来实现,例如,v=1,就可预测下一时隙的输出。
S1032、采用与步骤S1031同样的方法,建立目标路径的吞吐量T1、目标节点的吞吐量T2、目标网络的吞吐量T3与N条共性链路的网络基础行为之间的映射关系。
利用P4+INT测量到很多个矩阵Mt以及对应的T1t,建立训练集1,其中,一个矩阵Mt与一个T1t的对应关系是训练集中的一条标签记录;
利用P4+INT测量到很多个矩阵Mt以及对应的T2t,建立训练集2,其中,一个矩阵Mt与一个T2t的对应关系是训练集中的一条标签记录;
利用P4+INT测量到很多个矩阵Mt以及对应的T3t,建立训练集3,其中,一个矩阵Mt与一个T3t的对应关系是训练集中的一条标签记录;
然后,基于深度学习算法训练得到一个吞吐量与N条共性链路的网络基础行为之间的映射关系的模型。其中,以矩阵Mt为模型输入,分别以T1t、T2t、T3t为模型输出,进行模型训练,即,建立T1=f([d,j,l,q]);建立T2=f([d,j,l,q]);建立T3=f([d,j,l,q]),分别称为网络行为知识1、网络行为知识2、网络行为知识3。
更进一步的,本实施例中,使用交叉验证技术评估网络行为知识0、网络行为知识1、网络行为知识2、网络行为知识3的准确性。
步骤S104、使用网络行为知识,预测性能优化指标,具体为;
需要预测时,以基于P4+INT技术采集到的N条共性链路的网络基础行为作为网络行为知识0的输入,该模型的输出就是:数据报在目标路径上的端到端传输时间Dp。同样道理,分别利用网络行为知识1、网络行为知识2、网络行为知识3预测目标路径的吞吐量T1p、预测目标节点的吞吐量T2p、预测目标网络的吞吐量T3p
进一步的,以预测周期P2,预测未来的性能优化指标。
上述所构建的模型建立了第t时隙的Mt与第t时隙的T1t、T2t、T3t之间的映射关系,那么也就只能利用模型预测与输入在同一时隙的T1t、T2t、T3t。如果想预测未来的T1t、T2t、T3t,那么可以通过分别建立Mt与T1t+v、T2t+v、T3t+v之间的映射关系来实现,例如,v=1,就可预测下一时隙的T1t、T2t、T3t
更进一步的,通过反馈基于P4+INT技术采集到的实时数据,实现模型自动更新,以帮助提高模型的预测准确率。
测量以下参数的实际值以及当时的[d,j,l,q]:目标路径的端到端传输时间D、目标路径的吞吐量T1、目标节点的吞吐量T2、目标网络的吞吐量T3,进而获得新的[d,j,l]与D、T1、T2、T3之间映射关系的标签数据,并分别加入到原训练集0、原训练集1、原训练集2、原训练集3形成新的训练数据集。
更进一步的,定期地(周期为C)利用新的训练数据集训练深度学习模型(网络行为知识0、网络行为知识1、网络行为知识2、网络行为知识3),以确保预测模型能够适应于实时变化的网络状态与流量特征,改善预测准确度,周期C可根据实际网络状态变化情况来确定。
通过上述技术方案可知,本发明的网络行为知识具有泛化性,影响端到端传输时间、吞吐量等性能优化指标的因素包括:拓扑、流量优化方法(路由机制、流调度机制、负载均衡、流量工程等)、交换机节点内部的排队和调度策略;模型的泛化是指,模型的预测能力不局限于某个特定的上述因素。
本发明中的一条链路指的是该链路及其相连的下游节点,也就是说,该条链路的网络基础行为的测量范围是指从一个节点的入端口到下一个节点的入端口,所以,节点内部的排队与调度策略的影响,也都能够反映到网络基础行为的变化。另外,不管任何类型的流量进入任何拓扑的网络,以及采用任何流量优化方法,最终也都会反映到这些网络基础行为的变化;所以,网络基础行为是面向拓扑、流量优化方法、交换机节点内部的排队和调度策略的完全泛化的。
另外,由于少数共性链路的网络基础行为,实际上能够反映网络中其他链路的网络基础行为,这是一种基于局部特征分析全局性网络行为的方法。
本发明使用能够代表全部链路的少数共性链路和具有完全泛化的网络基础行为为基础来构建模型。所以,本发明是通过网络基础行为的泛化、通过局部特征分析全局性网络行为的方法,来实现网络行为知识针对任意的拓扑和流量优化方法、队列与调度的完全泛化,是一种实现泛化的新思路。那么,本发明的方案可以发现能够被普遍使用的通用知识,更具有普适性。
为了进一步说明本发明的实施效果,本发明做了相应的验证:
当使用不同k值进行聚类时,得到的轮廓系数和DBI系数如图3所示,通过实验发现当k=3,当轮廓系数接近1并且戴维森堡丁指数接近0时,此时的簇数作为最佳的聚类数量,亦即,可以聚类为3簇,然后从每一簇中选择一条链路作为共性链路。
对于模型预测性能,也做了相应的验证,具体为:
利用所学到的网络行为知识(构建的共性链路的网络基础行为与性能优化指标映射模型),针对不同测试数据集进行预测(使用网络行为知识),结果如表2所示,我们看到,在具有64条链路的胖树结构数据中心网络中,当选取4条共性链路时,预测性能已经很好,R2高达至0.8257,MSE低至0.0025。
表2 预测性能
Figure BDA0003080143510000131
如图4所示,在另一个实施例中,提供了网络行为知识智能学习装置,该装置包括时间序列数据集构建模块、共性链路模块、学习模块以及预测模块;
所述时间序列数据集构建模块,用于周期性地测量各条链路的网络基础行为,构建时间序列数据集,所述网络基础行为是指每一条共性链路的时延、抖动、丢包率和队列深度;
所述共性链路模块,用于基于时间序列聚类方法发现共性链路;
所述学习模块,用于构建的共性链路的网络基础行为与性能优化指标映射关系,所述网络基础行为与性能优化指标映射关系为网络行为知识,基于图神经网络学习网络行为知识;
所述预测模块,用于使用网络行为知识,预测性能优化指标。
在此需要说明的是,上述实施例提供的系统仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能,该系统是应用于上述实施例的网络行为知识智能学习方法。
如图5所示,在另一个实施例中,提供了一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现可编程数据平面流调度方法,具体为:
周期性地测量各条链路的网络基础行为,构建时间序列数据集,所述网络基础行为是指每一条共性链路的时延、抖动、丢包率和队列深度;
基于时间序列聚类方法发现共性链路,所述共性链路是指存在代表性的少数几条链路,通过这少数几条链路能推测出其它链路;
构建共性链路的网络基础行为与性能优化指标的映射关系,所述映射关系为网络行为知识,基于图神经网络学习网络行为知识;
使用网络行为知识,预测性能优化指标。
如图6所示,在本申请的另一个实施例中,还提供了一种存储介质,存储有程序,所述程序被处理器执行时,实现网络行为知识智能学习方法,具体为:
周期性地测量各条链路的网络基础行为,构建时间序列数据集,所述网络基础行为是指每一条共性链路的时延、抖动、丢包率和队列深度;
基于时间序列聚类方法发现共性链路,所述共性链路是指存在代表性的少数几条链路,通过这少数几条链路能推测出其它链路;
构建共性链路的网络基础行为与性能优化指标的映射关系,所述映射关系为网络行为知识,基于图神经网络学习网络行为知识;
使用网络行为知识,预测性能优化指标。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或网络设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或网络设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或网络设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或网络设备或结合这些指令执行系统、装置或网络设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (10)

1.网络行为知识智能学习方法,其特征在于,包括下述步骤:
周期性地测量各条链路的网络基础行为,构建时间序列数据集,所述网络基础行为是指每一条链路的时延、抖动、丢包率和队列深度;
基于时间序列聚类方法发现共性链路,所述共性链路是指存在代表性的少数几条链路,通过这少数几条链路能推测出其它链路;
构建共性链路的网络基础行为与性能优化指标的映射关系,所述映射关系为网络行为知识,基于图神经网络学习完全泛化的网络行为知识;
使用网络行为知识,预测性能优化指标。
2.根据权利要求1所述的网络行为知识智能学习方法,其特征在于,周期性地测量各条链路的网络基础行为,每条链路在多个时间点的网络基础行为构成一个时间序列数据,网络中所有链路的网络基础行为就构成一个时间序列数据集,链路之间的网络基础行为存在着强相关性;
所述基于时间序列聚类方法发现共性链路,具体为:
利用时间序列聚类技术对所述时间序列数据集进行聚类,具有相同特性的链路自动地被分为一类;
通过轮廓系数和戴维森堡丁指数的双重评估,确定最佳的聚类簇数,从第1簇开始逐渐增加聚类的簇数,观察轮廓系数和戴维森堡丁指数的变化,当轮廓系数接近1并且戴维森堡丁指数接近0时,此时的簇数作为最佳的聚类数量;
从每一簇中选出n条链路作为共性链路,n为自然数。
3.根据权利要求1所述的网络行为知识智能学习方法,其特征在于,所述构建的共性链路的网络基础行为与性能优化指标映射关系,具体为:
假设目标网络有E条链路,V个节点组成,记作G(E,V),从E条链路中选择N条共性链路帮助构建网络行为知识模型,包括步骤如下:
构建多条共性链路的网络基础行为之间的时空联合矩阵,所述网络基础行为是指每一条链路的时延d、抖动j、丢包率l和队列深度q,记作[d,j,l,q],队列深度q能够直接反映链路的拥塞状态;在第t时隙时,第k条链路的网络基础行为为延迟dtk、抖动jtk、丢包率ltk、队列深度qtk;以第t时隙以及之前T个时隙N条共性链路的网络基础行为组成一个时空联合矩阵Mt,在第t时隙时,对应的性能优化指标Ot
建立性能优化指标与N条共性链路的网络基础行为之间的映射关系,利用P4+INT测量到多个时空联合矩阵Mt以及对应的性能优化指标Ot,建立训练集,其中,一个矩阵Mt与一个Ot的对应关系是训练集中的一条标签记录;
基于所述训练集,利用图神经网络GNN构建性能优化指标与N条共性链路的网络基础行为之间的映射关系的模型,即,建立O=f([d,j,l,q]),称为网络行为知识。
4.根据权利要求4所述的网络行为知识智能学习方法,其特征在于,所述性能优化指标Ot包括目标路径在第t时隙时的端到端传输时间Dt、目标路径在第t时隙时的吞吐量T1t、目标节点在第t时隙时的吞吐量T2t、目标网络在第t时隙时的吞吐量T3t
利用P4+INT测量到很多个矩阵Mt以及对应的Dt,建立训练集0,其中,一个矩阵Mt与一个Dt的对应关系是训练集中的一条标签记录;
基于所述训练集0,利用图神经网络GNN构建一个目标路径的端到端传输时间与N条共性链路的网络基础行为之间的映射关系的模型,即,建立D=f([d,j,l,q]),称为网络行为知识0;
利用P4+INT测量到很多个矩阵Mt以及对应的T1t,建立训练集1,其中,一个矩阵Mt与一个T1t的对应关系是训练集中的一条标签记录;
基于所述训练集1,利用图神经网络GNN构建一个目标路径的吞吐量与N条共性链路的网络基础行为之间的映射关系的模型,即,建立T1=f([d,j,l,q]),称为网络行为知识1;
利用P4+INT测量到很多个矩阵Mt以及对应的T2t,建立训练集2,其中,一个矩阵Mt与一个T2t的对应关系是训练集中的一条标签记录;
基于所述训练集2,利用图神经网络GNN构建一个目标节点的吞吐量与N条共性链路的网络基础行为之间的映射关系的模型,即,建立T2=f([d,j,l,q]),称为网络行为知识2;利用P4+INT测量到很多个矩阵Mt以及对应的T3t,建立训练集3,其中,一个矩阵Mt与一个T3t的对应关系是训练集中的一条标签记录;
基于所述训练集3,利用图神经网络GNN构建一个目标网络的吞吐量与N条共性链路的网络基础行为之间的映射关系的模型,即,建立T3=f([d,j,l,q]),称为网络行为知识3。
5.根据权利要求1所述的网络行为知识智能学习方法,其特征在于,所述基于图神经网络学习网络行为知识,利用图神经网络GNN构建性能优化指标与N条共性链路的网络基础行为之间的映射关系的模型,具体为:
首先,以N条共性链路和其Z条关联链路为节点,以共性链路和其关联链路之间的连接关系为节点之间链路,构成一个可代表整体网络的简化拓扑图;
然后,将该拓扑图、训练集中的矩阵Mt及对应的性能优化指标Ot作为GNN的输入进行模型训练,得到所述映射关系的模型,其中,所述基于图神经网络学习网络行为知识中的几个关键步骤如下:
(1)以N条共性链路和Z条关联链路为节点,以共性链路和其关联链路之间的连接关系为节点之间链路,构成一个代表整体网络的简化拓扑图G;
(2)在第t时隙,第i条共性链路和第j条关联链路的网络基础行为分别为xi(t),yj(t),将xi(t)编码为初始隐状态
Figure FDA0003080143500000031
将yj(t)编码为初始隐状态
Figure FDA0003080143500000032
编码为隐状态是为了在消息传递过程中让这个隐状态可以包含更多的信息;将拓扑图G、初始隐状态、性能优化指标Ot作为GNN的输入,GNN的信息聚合函数采用的是循环神经网络RNN,即,将拓扑图G、初始隐状态、性能优化指标Ot作为RNN的输入;
(3)对共性链路进行消息聚合,第i条共性链路与每条关联链路的隐状态进行K次消息传递,其中,
共性链路的K次消息传递的迭代:
以关联链路与共性链路的隐状态
Figure FDA0003080143500000033
作为信息聚合函数RNN1的输入,得到关联链路新的隐状态
Figure FDA0003080143500000034
和聚合的消息
Figure FDA0003080143500000035
作为下次迭代的输入;
关联链路的K次消息传递的迭代:
以共性链路与关联链路的隐状态
Figure FDA0003080143500000036
作为信息聚合函数RNN2的输入,得到共性链路新的隐状态
Figure FDA0003080143500000037
和聚合的消息
Figure FDA0003080143500000038
作为下次迭代的输入;
(4)K次消息传递完成后,每条共性链路输出聚合所得的消息
Figure FDA0003080143500000039
将此消息与共性链路初始的隐状态
Figure FDA00030801435000000310
一起作为消息更新函数的输入,得到第i条共性链路在第t时隙的最终隐状态hi(t);
(5)N条共性链路中的每条共性链路都经过(2)-(4)步骤,可以得到一个对应的最终隐状态;
(6)使用激活函数的全连接的神经网络表示第t时隙的性能优化指标Ot和N条共性链路的最终隐状态[h1(t),h2(t),hi(t),…,hN(t)]之间的关系;
(7)对于每一个时隙的共性链路和关联链路的网络基础行为,进行上述(2)-(6)步骤,即可完成性能优化指标与N条共性链路的网络基础行为之间的映射关系的模型的构建过程。
6.根据权利要求1所述的网络行为知识智能学习方法,其特征在于,所述使用网络行为知识,预测性能优化指标,具体为:
当需要预测当前的性能优化指标时,基于P4+INT技术采集到的N条共性链路的网络基础行为作为模型的输入,该模型的输出就是:性能优化指标;
当需要预测未来的性能优化指标时,通过建立Mt与Ot+v之间的映射关系来实现,其中v为大于1的整数;
测量性能优化指标的实际值以及当时的[d,j,l,q],进而获得新的[d,j,l,q]与性能优化指标之间映射关系的标签数据,并加入到原训练集,形成新的训练集;
定期地利用新的训练集训练模型,使模型能够适应于实时变化的网络状态与流量特征。
7.根据权利要求1所述的网络行为知识智能学习方法,其特征在于,使用能够代表全部链路的少数共性链路和具有完全泛化的网络基础行为学习网络行为知识,是通过网络基础行为的泛化、通过局部特征分析全局性网络行为的方法,来实现网络行为知识针对任意的拓扑和流量优化方法、队列与调度的完全泛化;
所述完全泛化的网络基础行为,具体为:
一条链路指的是该链路及其相连的下游节点,该条链路的网络基础行为的测量范围是指从一个节点的入端口到下一个节点的入端口,所以,节点内部的排队与调度策略的影响,也都能够反映到该条链路的网络基础行为的变化;另外,不管任何类型的流量进入任何拓扑的网络,以及采用任何流量优化方法,最终也都会反映到这些网络基础行为的变化。
8.网络行为知识智能学习装置,其特征在于,应用于权利要求1-7中任一项所述的网络行为知识智能学习方法,包括时间序列数据集构建模块、共性链路模块、学习模块以及预测模块;
所述时间序列数据集构建模块,用于周期性地测量各条链路的网络基础行为,构建时间序列数据集,所述网络基础行为是指每一条共性链路的时延、抖动、丢包率和队列深度;
所述共性链路模块,用于基于时间序列聚类方法发现共性链路;
所述学习模块,用于构建的共性链路的网络基础行为与性能优化指标映射关系,所述网络基础行为与性能优化指标映射关系为网络行为知识,基于图神经网络学习网络行为知识;
所述预测模块,用于使用网络行为知识,预测性能优化指标。
9.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任意一项所述的可编程数据平面流调度方法。
10.一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1-7任一项所述的可编程数据平面流调度方法。
CN202110564253.1A 2021-05-24 2021-05-24 网络行为知识智能学习方法、装置、计算机设备及存储介质 Active CN113285831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110564253.1A CN113285831B (zh) 2021-05-24 2021-05-24 网络行为知识智能学习方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110564253.1A CN113285831B (zh) 2021-05-24 2021-05-24 网络行为知识智能学习方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113285831A true CN113285831A (zh) 2021-08-20
CN113285831B CN113285831B (zh) 2022-08-02

Family

ID=77281078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110564253.1A Active CN113285831B (zh) 2021-05-24 2021-05-24 网络行为知识智能学习方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113285831B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923164A (zh) * 2021-09-30 2022-01-11 中国电信股份有限公司 链路拥塞检测方法及相关设备
CN114039889A (zh) * 2021-09-27 2022-02-11 北京邮电大学 基于往返时延的时间序列的网络异常检测方法及相关装置
CN115056829A (zh) * 2022-05-16 2022-09-16 北京理工大学 多车型连续学习的列车运动状态估计方法
CN115225561A (zh) * 2022-08-15 2022-10-21 南京邮电大学 一种基于图结构特征的路由优化方法与系统
CN116662646A (zh) * 2023-05-11 2023-08-29 浙江纳里数智健康科技股份有限公司 一种基于行为感知层和共性感知层的医生推荐方法
CN116996397A (zh) * 2023-09-27 2023-11-03 之江实验室 一种网络丢包优化的方法、装置、存储介质及电子设备
CN117560275A (zh) * 2023-12-29 2024-02-13 安徽思高智能科技有限公司 基于图神经网络模型的微服务系统根因定位方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014040A (zh) * 2009-09-07 2011-04-13 华为技术有限公司 一种流量工程属性的发布方法及装置
CN110138674A (zh) * 2019-04-29 2019-08-16 广州大学 可编程数据平面流调度方法、系统、介质及网络设备
CN111245673A (zh) * 2019-12-30 2020-06-05 浙江工商大学 一种基于图神经网络的sdn时延感知方法
US20210012239A1 (en) * 2019-07-12 2021-01-14 Microsoft Technology Licensing, Llc Automated generation of machine learning models for network evaluation
CN112399458A (zh) * 2020-11-16 2021-02-23 北京弘光浩宇科技有限公司 一种移动通信网络流量的大数据分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014040A (zh) * 2009-09-07 2011-04-13 华为技术有限公司 一种流量工程属性的发布方法及装置
CN110138674A (zh) * 2019-04-29 2019-08-16 广州大学 可编程数据平面流调度方法、系统、介质及网络设备
US20210012239A1 (en) * 2019-07-12 2021-01-14 Microsoft Technology Licensing, Llc Automated generation of machine learning models for network evaluation
CN111245673A (zh) * 2019-12-30 2020-06-05 浙江工商大学 一种基于图神经网络的sdn时延感知方法
CN112399458A (zh) * 2020-11-16 2021-02-23 北京弘光浩宇科技有限公司 一种移动通信网络流量的大数据分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林柯: "基于INT模型的SDN网络路径优化机制研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114039889A (zh) * 2021-09-27 2022-02-11 北京邮电大学 基于往返时延的时间序列的网络异常检测方法及相关装置
CN113923164A (zh) * 2021-09-30 2022-01-11 中国电信股份有限公司 链路拥塞检测方法及相关设备
CN115056829A (zh) * 2022-05-16 2022-09-16 北京理工大学 多车型连续学习的列车运动状态估计方法
CN115225561A (zh) * 2022-08-15 2022-10-21 南京邮电大学 一种基于图结构特征的路由优化方法与系统
CN116662646A (zh) * 2023-05-11 2023-08-29 浙江纳里数智健康科技股份有限公司 一种基于行为感知层和共性感知层的医生推荐方法
CN116662646B (zh) * 2023-05-11 2024-04-05 浙江纳里数智健康科技股份有限公司 一种基于行为感知层和共性感知层的医生推荐方法
CN116996397A (zh) * 2023-09-27 2023-11-03 之江实验室 一种网络丢包优化的方法、装置、存储介质及电子设备
CN116996397B (zh) * 2023-09-27 2024-01-09 之江实验室 一种网络丢包优化的方法、装置、存储介质及电子设备
CN117560275A (zh) * 2023-12-29 2024-02-13 安徽思高智能科技有限公司 基于图神经网络模型的微服务系统根因定位方法及装置
CN117560275B (zh) * 2023-12-29 2024-03-12 安徽思高智能科技有限公司 基于图神经网络模型的微服务系统根因定位方法及装置

Also Published As

Publication number Publication date
CN113285831B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN113285831B (zh) 网络行为知识智能学习方法、装置、计算机设备及存储介质
Liu et al. DRL-R: Deep reinforcement learning approach for intelligent routing in software-defined data-center networks
CN107172166B (zh) 面向工业智能化服务的云雾计算系统
Mao et al. Routing or computing? The paradigm shift towards intelligent computer network packet transmission based on deep learning
CN111245718B (zh) 一种基于sdn情景感知的路由优化方法
Liu Intelligent routing based on deep reinforcement learning in software-defined data-center networks
Wang et al. xnet: Improving expressiveness and granularity for network modeling with graph neural networks
JP7527535B1 (ja) マルチバリューチェーン進化の予測方法、システムおよび記憶媒体
Zhou et al. Multi-task deep learning based dynamic service function chains routing in SDN/NFV-enabled networks
CN117014355A (zh) 一种基于ddpg深度强化学习算法的tssdn动态路由决策方法
Ponmalar et al. Machine Learning Based Network Traffic Predictive Analysis
Liu et al. Scalable deep reinforcement learning-based online routing for multi-type service requirements
Liu et al. EAGLE: Heterogeneous GNN-based network performance analysis
Hlophe et al. Secondary user experience-oriented resource allocation in AI-empowered cognitive radio networks using deep neuroevolution
CN112073983A (zh) 基于流量预测的无线数据中心网络拓扑优化方法及系统
Wei et al. Drl-deploy: adaptive service function chains deployment with deep reinforcement learning
CN116847425A (zh) 一种基于高维数据联合优化的多资源路由优化方法
Wei et al. G-Routing: Graph Neural Networks-Based Flexible Online Routing
CN115935563A (zh) 一种基于图神经网络的网络带宽预测方法及装置
Sun et al. QPSO-based QoS multicast routing algorithm
Gunavathie et al. Traffic-aware optimal routing in software defined networks by predicting traffic using neural network
Zhu et al. Network modeling based on GNN and network behaviors
Huang et al. A generic intelligent routing method using deep reinforcement learning with graph neural networks
Yang et al. Knowledge-defined edge computing networks assisted long-term optimization of computation offloading and resource allocation strategy
Goudarzi et al. A GA-based fuzzy rate allocation algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant