CN115225561B - 一种基于图结构特征的路由优化方法与系统 - Google Patents

一种基于图结构特征的路由优化方法与系统 Download PDF

Info

Publication number
CN115225561B
CN115225561B CN202210974378.6A CN202210974378A CN115225561B CN 115225561 B CN115225561 B CN 115225561B CN 202210974378 A CN202210974378 A CN 202210974378A CN 115225561 B CN115225561 B CN 115225561B
Authority
CN
China
Prior art keywords
network
graph
target
strategy
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210974378.6A
Other languages
English (en)
Other versions
CN115225561A (zh
Inventor
郭永安
吴庆鹏
张啸
佘昊
钱琪杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210974378.6A priority Critical patent/CN115225561B/zh
Publication of CN115225561A publication Critical patent/CN115225561A/zh
Application granted granted Critical
Publication of CN115225561B publication Critical patent/CN115225561B/zh
Priority to PCT/CN2023/098735 priority patent/WO2024037136A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H04L45/08—Learning-based routing, e.g. using neural networks or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于图结构特征的路由优化方法与系统，该系统用于SDN网络环境，包括控制平面、数据平面，其中，控制平面包括信息获取模块、策略部署模块、DGL模块系统；该方法获取网络拓扑结构信息和网络中的信息，并生成相应的图邻接矩阵、网络信息特征矩阵；根据图邻接矩阵、网络信息特征矩阵，对图学习神经网络进行训练，获得使SDN网络路由开销最小、链路利用率最大的深度图学习模型；应用深度图学习模型，部署至SDN网络，该方法从空间维度上学习动态、复杂的网络拓扑，克服动态拓扑的优化问题，为SDN网络提供更加优质的路由方案。

Description

一种基于图结构特征的路由优化方法与系统
技术领域
本发明涉及计算机网络技术领域，具体涉及一种基于图结构特征的路由优化方法与系统。
背景技术
近年来，随着网络环境的复杂化，业务流量的多样化，路由路径优化问题成为一个研究热点。在传统网络中，路由选择采用尽力而为(Best-Effort)模型，利用OSPF技术来提供最短路径，无法适应动态、复杂的网络环境。软件定义网络(Software Defined Network，SDN)架构的提出将传统网络的控制平面和数据平面进行解耦，大大增加了路由优化问题解决方案的空间。在SDN环境下，深度强化学习与神经网络的结合能够为路由决策提供极大地帮助。但CNN、RNN、LSTM等算法本质上适用于欧式空间，例如图像、网格等。网络拓扑通常是一个复杂的模型，链路与链路、节点与节点之间有很强的空间相关性，传统神经网络很难将这一特征表现出来，并且基于深度强化学习的路由优化模型在网络拓扑发生变化时需要重新训练，不具有对动态拓扑的泛化能力。因此，需要有一种方法能够对网络拓扑的空间特征进行提取，从空间维度上学习动态、复杂的网络拓扑，并且能够克服动态拓扑的优化问题，提供更加优质的路由方案。
发明内容
本发明目的：在于提供一种基于图结构特征的路由优化方法与系统，适用于SDN网络环境下，交换机或路由设备支持传统的二层网络协议，实现从多个网络属性上优化全局的路由开销，适应动态、复杂的SDN网络，保障SDN网络性能。
为实现以上功能，本发明设计一种基于图结构特征的路由优化方法，针对目标SDN网络，执行以下步骤S1-步骤S3，获得目标SDN网络中各条链路的路由开销，调整各条链路的权重，完成目标SDN网络的路由优化。
步骤S1:针对目标SDN网络，基于南向接口协议，获取目标SDN网络的网络拓扑图，根据网络拓扑图中目标SDN网络的各链路上各节点之间的连接关系，构建图邻接矩阵，分别针对目标SDN网络的各链路上各节点，根据各节点的链路带宽、流量、丢包率、传输时延，构建各节点的信息特征向量，并基于各节点的信息特征向量，构建目标SDN网络的网络信息特征矩阵。
步骤S2:以图邻接矩阵、网络信息特征矩阵为目标SDN网络的状态，基于图学习神经网络，以图邻接矩阵、网络信息特征矩阵为输入，通过深度图学习方法，以当前状态下目标SDN网络的路由策略、路由开销为输出，基于梯度反向传播方法，更新图学习神经网络的网络参数，并经过预设次数的迭代，对图学习神经网络进行训练，获得使目标SDN网络路由开销最小、链路利用率最大的深度图学习模型。
步骤S3:根据训练好的深度图学习模型，基于目标SDN网络的状态，获得使目标SDN网络路由开销最小的路由策略，将路由策略部署至目标SDN网络，根据路由策略改变目标SDN网络的各链路权重，完成目标SDN网络的路由优化。
作为本发明的一种优选技术方案：步骤S1的具体步骤如下：
步骤S1.1:针对目标SDN网络，基于南向接口协议，获取目标SDN网络的网络拓扑结构，其中网络拓扑结构包含M个路由器、N条链路。
步骤S1.2:针对目标SDN网络的网络拓扑结构，每个路由器对应一个实节点，每条链路对应一条边，在每条链路所对应的边上插入虚节点，将目标SDN网络的网络拓扑结构表示为M个实节点、N个虚节点、2N条边的网络拓扑图G(V,E)，其中，V表示节点集合，E表示边集合，具体如下式：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
表示实节点集合，
Figure DEST_PATH_IMAGE003
表示虚节点集合；
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE005
表示M个实节点；
Figure DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE007
表示N个虚节点；
Figure DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
表示2N条边。
步骤S1.3:令x=M+N，x表示节点总数，节点包括M个实节点、N个虚节点，基于目标SDN网络的网络拓扑图，构建x阶的图邻接矩阵A如下式：
Figure DEST_PATH_IMAGE010
其中，图邻接矩阵A中的元素
Figure DEST_PATH_IMAGE011
如下式：
Figure DEST_PATH_IMAGE012
。
步骤S1.4:针对目标SDN网络的任一节点i,根据节点i的链路带宽、流量、丢包率、传输时延，构建节点i的信息特征向量
Figure DEST_PATH_IMAGE013
如下式：
Figure DEST_PATH_IMAGE014
式中，
Figure DEST_PATH_IMAGE015
为节点i的链路带宽，
Figure DEST_PATH_IMAGE016
为节点i的流量，
Figure DEST_PATH_IMAGE017
为节点i的丢包率，
Figure DEST_PATH_IMAGE018
为节点i的传输时延；
基于各节点的信息特征向量，构建目标SDN网络的网络信息特征矩阵H如下式：
Figure DEST_PATH_IMAGE019
式中，
Figure DEST_PATH_IMAGE020
为各节点的信息特征向量。
作为本发明的一种优选技术方案：步骤S1.4中所述的节点i，若节点i为虚节点，则节点i的流量
Figure 239559DEST_PATH_IMAGE016
、丢包率
Figure 359962DEST_PATH_IMAGE017
、传输时延
Figure 874120DEST_PATH_IMAGE018
为0，若节点i为实节点，则节点i的链路带宽
Figure 738171DEST_PATH_IMAGE015
为0。
作为本发明的一种优选技术方案：步骤S2中所述深度图学习方法包括四个图学习神经网络和一个经验池，四个图学习神经网络分别为在线图策略网络、在线图价值网络、目标图策略网络、目标图价值网络，四个图学习神经网络分别均包括一个输入层、两个隐藏层、一个输出层。
在线图策略网络、目标图策略网络的输入层以图邻接矩阵A、网络信息特征矩阵H为输入，在线图策略网络、目标图策略网络的输出分别作为在线图价值网络、目标图价值网络的输入，其中，各图学习神经网络的输入层到隐藏层、以及隐藏层之间的传播公式相同，将输入层记为第0层，第一个隐藏层记为第1层，第二个隐藏层记为第2层，则传播公式如下式：
Figure DEST_PATH_IMAGE021
式中，
Figure DEST_PATH_IMAGE022
表示将括号内部的公式进行归一化，
Figure DEST_PATH_IMAGE023
为第l层的网络信息特征矩阵，
Figure DEST_PATH_IMAGE024
为第l+1层的权重矩阵，其中，
Figure DEST_PATH_IMAGE025
，
Figure DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE027
为x阶单位矩阵，
Figure DEST_PATH_IMAGE028
为
Figure DEST_PATH_IMAGE029
的度矩阵，
Figure 332969DEST_PATH_IMAGE028
如下式：
Figure DEST_PATH_IMAGE030
其中，
Figure DEST_PATH_IMAGE031
如下式：
Figure DEST_PATH_IMAGE032
其中，在线图策略网络、目标图策略网络中，
Figure DEST_PATH_IMAGE033
是一个
Figure DEST_PATH_IMAGE034
的矩阵，
Figure DEST_PATH_IMAGE035
是一个
Figure DEST_PATH_IMAGE036
的矩阵，输出层为全连接层，其输出值为
Figure DEST_PATH_IMAGE037
矩阵，记为路由策略Policy，具体如下式：
Figure DEST_PATH_IMAGE038
式中，K为在线图策略网络、目标图策略网络输出层的权重矩阵，
Figure DEST_PATH_IMAGE039
为第2层的网络信息特征矩阵；在线图价值网络、目标图价值网络中，
Figure 607962DEST_PATH_IMAGE033
和
Figure 343836DEST_PATH_IMAGE035
均为
Figure DEST_PATH_IMAGE040
的矩阵，输出层为聚合层，其输出值为
Figure 238675DEST_PATH_IMAGE040
矩阵，记为Value，具体如下式：
Figure DEST_PATH_IMAGE041
式中，Q为输出层的权重值，
Figure DEST_PATH_IMAGE042
为第2层的网络信息特征矩阵
Figure 845236DEST_PATH_IMAGE039
中的第i个值；根据在线图策略网络输出的路由策略Policy，更新目标SDN网络中各条链路的路由开销。
作为本发明的一种优选技术方案：步骤S2的具体步骤如下：
步骤S2.1:对在线图策略网络、在线图价值网络、目标策略网络、目标图价值网络的权重矩阵初始化，其中，在线图策略网络的权重矩阵为
Figure DEST_PATH_IMAGE043
，在线图价值网络的权重矩阵为
Figure DEST_PATH_IMAGE044
，目标图策略网络的权重矩阵为
Figure DEST_PATH_IMAGE045
，目标图价值网络的权重矩阵为
Figure DEST_PATH_IMAGE046
。
步骤S2.2:对经验池进行初始化，具体步骤如下：
步骤S2.2.1:以图邻接矩阵A、网络信息特征矩阵H作为目标SDN网络的状态S，定义
Figure DEST_PATH_IMAGE047
，
Figure DEST_PATH_IMAGE048
表示t时刻目标SDN网络的状态，
Figure DEST_PATH_IMAGE049
，
Figure DEST_PATH_IMAGE050
表示t时刻目标SDN网络的图邻接矩阵，
Figure DEST_PATH_IMAGE051
表示t时刻目标SDN网络的网络信息特征矩阵。
步骤S2.2.2:定义
Figure DEST_PATH_IMAGE052
分别为在线图策略网络、目标图策略网络、在线图价值网络、目标图价值网络的输出层在t时刻的输出；根据下式计算在线图策略网络输出路由策略
Figure DEST_PATH_IMAGE053
所获得的环境反馈
Figure DEST_PATH_IMAGE054
：
Figure DEST_PATH_IMAGE055
式中，
Figure DEST_PATH_IMAGE056
为链路利用率，
Figure DEST_PATH_IMAGE057
分别为目标SDN网络的链路带宽、流量、丢包率、传输时延，
Figure DEST_PATH_IMAGE058
为比例系数；构建目标SDN网络链路利用率最大化的目标函数为
Figure DEST_PATH_IMAGE059
。
步骤S2.2.3:定义经验池R如下式：
Figure DEST_PATH_IMAGE060
式中，
Figure DEST_PATH_IMAGE061
表示t+1时刻目标SDN网络的状态，即在线图策略网络输出路由策略
Figure 337135DEST_PATH_IMAGE053
所获得目标SDN网络的状态。
步骤S2.3:针对目标SDN网络，进行预设次数的迭代，其中预设迭代次数为T，具体步骤如下：
步骤S2.3.1:令t=1，获取目标SDN网络的初始状态
Figure DEST_PATH_IMAGE062
；
步骤S2.3.2:在线图策略网络根据t时刻目标SDN网络的状态
Figure 294727DEST_PATH_IMAGE048
，输出路由策略
Figure 766160DEST_PATH_IMAGE053
，过程记为
Figure DEST_PATH_IMAGE063
，其中，θ为在线图策略网络的网络参数；
步骤S2.3.3:根据路由策略
Figure 227228DEST_PATH_IMAGE053
，更新目标SDN网络中各条链路的路由开销；
步骤S2.3.4:获取根据路由策略
Figure 391493DEST_PATH_IMAGE053
更新后的目标SDN网络的状态
Figure 600495DEST_PATH_IMAGE061
，同时获取环境反馈
Figure 610040DEST_PATH_IMAGE054
；
步骤S2.3.5:将
Figure DEST_PATH_IMAGE064
作为一组历史记录存入经验池R中；
步骤S2.3.6:从经验池R中随机抽取Y组历史记录
Figure DEST_PATH_IMAGE065
，其中，下标m表示经验池R中任意一组历史记录；
步骤S2.3.7:根据步骤S2.3.6所抽取的历史记录
Figure 925615DEST_PATH_IMAGE065
，计算目标图价值网络所对应的输出
Figure DEST_PATH_IMAGE066
如下式：
Figure DEST_PATH_IMAGE067
式中，
Figure DEST_PATH_IMAGE068
，表示目标图策略网络根据目标SDN网络的状态
Figure DEST_PATH_IMAGE069
所选择的路由策略，
Figure DEST_PATH_IMAGE070
为目标图策略网络的网络参数，
Figure DEST_PATH_IMAGE071
为目标图价值网络的网络参数，
Figure DEST_PATH_IMAGE072
表示目标图价值网络基于目标SDN网络的状态
Figure 781487DEST_PATH_IMAGE069
、且网络参数为
Figure 244829DEST_PATH_IMAGE071
时，目标图策略网络所选取的路由策略
Figure DEST_PATH_IMAGE073
的期望值，
Figure DEST_PATH_IMAGE074
为折扣因子，是一个常数，且
Figure DEST_PATH_IMAGE075
；
步骤S2.3.8:根据下式计算在线图价值网络输出值的损失
Figure DEST_PATH_IMAGE076
：
Figure DEST_PATH_IMAGE077
式中，
Figure DEST_PATH_IMAGE078
，表示网络参数
Figure DEST_PATH_IMAGE079
的在线图价值网络在目标SDN网络的状态
Figure DEST_PATH_IMAGE080
下，在线图策略网络输出的路由策略为
Figure DEST_PATH_IMAGE081
时，在线图价值网络输出的价值；
步骤S2.3.9:根据在线图价值网络输出值的损失
Figure 838491DEST_PATH_IMAGE076
，基于梯度反向传播方法，更新在线图价值网络的网络参数
Figure 70889DEST_PATH_IMAGE079
；
步骤S2.3.10:计算梯度值
Figure DEST_PATH_IMAGE082
，根据梯度值
Figure DEST_PATH_IMAGE083
，基于梯度反向传播方法，更新在线图策略网络的网络参数θ，其中
Figure DEST_PATH_IMAGE084
表示对括号内公式求梯度；
步骤S2.3.11:分别根据下式，更新目标图策略网络的网络参数
Figure 983481DEST_PATH_IMAGE070
、目标图价值网络的网络参数
Figure 635917DEST_PATH_IMAGE071
：
Figure DEST_PATH_IMAGE085
式中，
Figure DEST_PATH_IMAGE086
为常数，且
Figure DEST_PATH_IMAGE087
；
步骤S2.3.12:重复S2.3.2至步骤S2.3.11，直至迭代次数达到预设次数T，获得使目标SDN网络路由开销最小的路由策略。
作为本发明的一种优选技术方案：步骤S3的具体步骤如下：
步骤S31:获取目标SDN网络的图邻接矩阵A、网络信息特征矩阵H；
步骤S32:基于训练好的深度图学习模型，根据目标SDN网络的状态
Figure DEST_PATH_IMAGE088
，获得使目标SDN网络路由开销最小的路由策略；
步骤S33:根据步骤S32所获得的路由策略，部署至目标SDN网络，根据路由策略改变目标SDN网络的各链路权重；
步骤S34:在流量传输过程中，根据最短路径方案，采用更新后的各链路权重进行流量传输。
本发明还设计一种基于图结构特征的路由优化方法的系统，目标SDN网络包括控制平面、数据平面，其中，控制平面包括信息获取模块、策略部署模块、DGL模块；使得所述基于图结构特征的路由优化方法的系统实现所述基于图结构特征的路由优化方法。
目标SDN网络的各链路及各节点部署于数据平面，控制平面上的信息获取模块用于获取目标SDN网络的网络拓扑图，生成图邻接矩阵、网络信息特征矩阵，发送至DGL模块。
DGL模块基于图学习神经网络，以图邻接矩阵、网络信息特征矩阵为输入，通过深度图学习方法，以当前状态下目标SDN网络的路由开销为输出，基于梯度反向传播方法，更新图学习神经网络的网络参数，并经过预设次数的迭代，对图学习神经网络进行训练，获得使目标SDN网络路由开销最小、链路利用率最大的深度图学习模型。
控制平面上的策略部署模块用于根据DGL模块所获得的训练好的深度图学习模型，基于目标SDN网络的状态，获得使目标SDN网络路由开销最小的路由策略，并将路由策略及目标SDN网络路由开销发送到数据平面。
有益效果：相对于现有技术，本发明的优点包括：
1.采用图学习神经网络获取网络拓扑之中节点和链路之间的空间关系；
2.采用策略网络和价值网络的方式，对算法进行无监督学习，使得算法的学习能力更加细致；
3.利用智能算法优化SDN网络环境下的路由开销，提升了链路利用率，从而在优化了平均端到端时延、丢包率、吞吐量等；
4.深度图学习模型具有强的泛化能力，训练后的深度图学习模型在网络拓扑变化时依旧有效，能够适应大规模的动态、复杂网络。
附图说明
图1是根据本发明实施例提供的基于图结构特征的路由优化方法的系统的整体框图；
图2是根据本发明实施例提供的DGL算法框架图；
图3是根据本发明实施例提供的图学习神经网络结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明实施例提供的一种基于图结构特征的路由优化方法，针对目标SDN网络，执行以下步骤S1-步骤S3，获得目标SDN网络中各条链路的路由开销，调整各条链路的权重，完成目标SDN网络的路由优化。
步骤S1:参照图1，针对目标SDN网络，基于南向接口协议，获取目标SDN网络的网络拓扑图，根据网络拓扑图中目标SDN网络的各链路上各节点之间的连接关系，构建图邻接矩阵，分别针对目标SDN网络的各链路上各节点，根据各节点的链路带宽、流量、丢包率、传输时延，构建各节点的信息特征向量，并基于各节点的信息特征向量，构建目标SDN网络的网络信息特征矩阵。
步骤S1的具体步骤如下：
步骤S1.1:针对目标SDN网络，基于南向接口协议，获取目标SDN网络的网络拓扑结构，其中网络拓扑结构包含M个路由器、N条链路。
步骤S1.2:针对目标SDN网络的网络拓扑结构，每个路由器对应一个实节点，每条链路对应一条边，在每条链路所对应的边上插入虚节点，将目标SDN网络的网络拓扑结构表示为M个实节点、N个虚节点、2N条边的网络拓扑图G(V,E)，其中，V表示节点集合，E表示边集合，具体如下式：
Figure 393789DEST_PATH_IMAGE001
其中，
Figure 480694DEST_PATH_IMAGE002
表示实节点集合，
Figure 892083DEST_PATH_IMAGE003
表示虚节点集合；
Figure 64439DEST_PATH_IMAGE004
其中，
Figure 953897DEST_PATH_IMAGE005
表示M个实节点；
Figure 659423DEST_PATH_IMAGE006
其中，
Figure 241714DEST_PATH_IMAGE007
表示N个虚节点；
Figure 901365DEST_PATH_IMAGE008
其中，
Figure 594515DEST_PATH_IMAGE009
表示2N条边。
步骤S1.3:令x=M+N，x表示节点总数，节点包括M个实节点、N个虚节点，基于目标SDN网络的网络拓扑图，构建x阶的图邻接矩阵A如下式：
Figure 390433DEST_PATH_IMAGE010
其中，图邻接矩阵A中的元素
Figure 143625DEST_PATH_IMAGE011
如下式：
Figure 290572DEST_PATH_IMAGE012
。
步骤S1.4:针对目标SDN网络的任一节点i,根据节点i的链路带宽、流量、丢包率、传输时延，构建节点i的信息特征向量
Figure 787413DEST_PATH_IMAGE013
如下式：
Figure 437837DEST_PATH_IMAGE014
式中，
Figure 81306DEST_PATH_IMAGE015
为节点i的链路带宽，
Figure 715550DEST_PATH_IMAGE016
为节点i的流量，
Figure 750502DEST_PATH_IMAGE017
为节点i的丢包率，
Figure 521012DEST_PATH_IMAGE018
为节点i的传输时延。
所述节点i，若节点i为虚节点，则节点i的流量
Figure 350428DEST_PATH_IMAGE016
、丢包率
Figure 471968DEST_PATH_IMAGE017
、传输时延
Figure 310611DEST_PATH_IMAGE018
为0，若节点i为实节点，则节点i的链路带宽
Figure 935627DEST_PATH_IMAGE015
为0。
基于各节点的信息特征向量，构建目标SDN网络的网络信息特征矩阵H如下式：
Figure 201523DEST_PATH_IMAGE019
式中，
Figure 544780DEST_PATH_IMAGE020
为各节点的信息特征向量。
步骤S2:以图邻接矩阵、网络信息特征矩阵为目标SDN网络的状态，基于图学习神经网络，以图邻接矩阵、网络信息特征矩阵为输入，通过深度图学习方法(Deep GraphLearning，DGL)，以当前状态下目标SDN网络的路由策略、路由开销为输出，基于梯度反向传播方法，更新图学习神经网络的网络参数，并经过预设次数的迭代，对图学习神经网络进行训练，获得使目标SDN网络路由开销最小、链路利用率最大的深度图学习模型。
步骤S2中所述深度图学习方法包括四个图学习神经网络和一个经验池，参照图2，四个图学习神经网络分别为在线图策略网络(Online Graph Strategy Network，OGSN)、在线图价值网络(Online Graph Value Network，OGVN)、目标图策略网络(Target GraphStrategy Network，TGSN)、目标图价值网络(Target Graph Value Network，TGVN)，参照图3，四个图学习神经网络分别均包括一个输入层、两个隐藏层、一个输出层。
在线图策略网络、目标图策略网络的输入层以图邻接矩阵A、网络信息特征矩阵H为输入，在线图策略网络、目标图策略网络的输出分别作为在线图价值网络、目标图价值网络的输入，其中，各图学习神经网络的输入层到隐藏层、以及隐藏层之间的传播公式相同，将输入层记为第0层，第一个隐藏层记为第1层，第二个隐藏层记为第2层，则传播公式如下式：
Figure 685649DEST_PATH_IMAGE021
式中，
Figure 430751DEST_PATH_IMAGE022
表示将括号内部的公式进行归一化，
Figure 133128DEST_PATH_IMAGE023
为第l层的网络信息特征矩阵，
Figure 698101DEST_PATH_IMAGE024
为第l+1层的权重矩阵，其中，
Figure 878547DEST_PATH_IMAGE025
，
Figure 478156DEST_PATH_IMAGE026
，
Figure 351434DEST_PATH_IMAGE027
为x阶单位矩阵，
Figure 403703DEST_PATH_IMAGE028
为
Figure 387840DEST_PATH_IMAGE029
的度矩阵，
Figure 841955DEST_PATH_IMAGE028
如下式：
Figure 886134DEST_PATH_IMAGE030
其中，
Figure 658656DEST_PATH_IMAGE031
如下式：
Figure 915325DEST_PATH_IMAGE032
其中，在线图策略网络、目标图策略网络中，
Figure 489526DEST_PATH_IMAGE033
是一个
Figure 173448DEST_PATH_IMAGE034
的矩阵，
Figure 200310DEST_PATH_IMAGE035
是一个
Figure 526249DEST_PATH_IMAGE036
的矩阵，输出层为全连接层，其输出值为
Figure 954956DEST_PATH_IMAGE037
矩阵，记为路由策略Policy，具体如下式：
Figure 75359DEST_PATH_IMAGE038
式中，K为在线图策略网络、目标图策略网络输出层的权重矩阵，
Figure 353631DEST_PATH_IMAGE039
为第2层的网络信息特征矩阵。
在线图价值网络、目标图价值网络中，
Figure 217682DEST_PATH_IMAGE033
和
Figure 235317DEST_PATH_IMAGE035
均为
Figure 792200DEST_PATH_IMAGE040
的矩阵，输出层为聚合层，其输出值为
Figure 793654DEST_PATH_IMAGE040
矩阵，记为Value，具体如下式：
Figure 726975DEST_PATH_IMAGE041
式中，Q为输出层的权重值，
Figure 599116DEST_PATH_IMAGE042
为第2层的网络信息特征矩阵
Figure 592480DEST_PATH_IMAGE039
中的第i个值；根据在线图策略网络输出的路由策略Policy，更新目标SDN网络中各条链路的路由开销。
参照图2，步骤S2的具体步骤如下：
步骤S2.1:对在线图策略网络、在线图价值网络、目标策略网络、目标图价值网络的权重矩阵初始化，其中，在线图策略网络的权重矩阵为
Figure 815651DEST_PATH_IMAGE043
，在线图价值网络的权重矩阵为
Figure 287083DEST_PATH_IMAGE044
，目标图策略网络的权重矩阵为
Figure 783705DEST_PATH_IMAGE045
，目标图价值网络的权重矩阵为
Figure 947970DEST_PATH_IMAGE046
，初始化时，在线图策略网络、目标策略网络的网络参数一致，在线图价值网络、目标图价值网络的网络参数一致。
步骤S2.2:对经验池进行初始化，具体步骤如下：
步骤S2.2.1:以图邻接矩阵A、网络信息特征矩阵H作为目标SDN网络的状态S，定义
Figure 392858DEST_PATH_IMAGE047
，
Figure 402402DEST_PATH_IMAGE048
表示t时刻目标SDN网络的状态，
Figure 514714DEST_PATH_IMAGE049
，
Figure 584302DEST_PATH_IMAGE050
表示t时刻目标SDN网络的图邻接矩阵，
Figure 782065DEST_PATH_IMAGE051
表示t时刻目标SDN网络的网络信息特征矩阵。
步骤S2.2.2:定义
Figure 595300DEST_PATH_IMAGE052
分别为在线图策略网络、目标图策略网络、在线图价值网络、目标图价值网络的输出层在t时刻的输出；根据下式计算在线图策略网络输出路由策略
Figure 562119DEST_PATH_IMAGE053
所获得的环境反馈
Figure 802607DEST_PATH_IMAGE054
：
Figure 986202DEST_PATH_IMAGE055
式中，
Figure 603128DEST_PATH_IMAGE056
为链路利用率，
Figure 424453DEST_PATH_IMAGE057
分别为目标SDN网络的链路带宽、流量、丢包率、传输时延，
Figure 101422DEST_PATH_IMAGE058
为比例系数。
构建目标SDN网络链路利用率最大化的目标函数为
Figure 8199DEST_PATH_IMAGE059
。
步骤S2.2.3:定义经验池R如下式：
Figure 163236DEST_PATH_IMAGE060
式中，
Figure 370227DEST_PATH_IMAGE061
表示t+1时刻目标SDN网络的状态，即在线图策略网络输出路由策略
Figure 686939DEST_PATH_IMAGE053
所获得目标SDN网络的状态。
步骤S2.3:针对目标SDN网络，进行预设次数的迭代，其中预设迭代次数为T，具体步骤如下：
步骤S2.3.1:令t=1，获取目标SDN网络的初始状态
Figure 346590DEST_PATH_IMAGE062
；
步骤S2.3.2:在线图策略网络根据t时刻目标SDN网络的状态
Figure 39740DEST_PATH_IMAGE048
，输出路由策略
Figure 101237DEST_PATH_IMAGE053
，过程记为
Figure 120008DEST_PATH_IMAGE063
，其中，θ为在线图策略网络的网络参数；
步骤S2.3.3:根据路由策略
Figure 499912DEST_PATH_IMAGE053
，更新目标SDN网络中各条链路的路由开销；
步骤S2.3.4:获取根据路由策略
Figure 996752DEST_PATH_IMAGE053
更新后的目标SDN网络的状态
Figure 647176DEST_PATH_IMAGE061
，同时获取环境反馈
Figure 836849DEST_PATH_IMAGE054
；
步骤S2.3.5:将
Figure 205514DEST_PATH_IMAGE064
作为一组历史记录存入经验池R中；
步骤S2.3.6:从经验池R中随机抽取Y组历史记录
Figure 506045DEST_PATH_IMAGE065
，其中，下标m表示经验池R中任意一组历史记录；
步骤S2.3.7:根据步骤S2.3.6所抽取的历史记录
Figure 276555DEST_PATH_IMAGE065
，计算目标图价值网络所对应的输出
Figure 371550DEST_PATH_IMAGE066
如下式：
Figure 493089DEST_PATH_IMAGE067
式中，
Figure 66153DEST_PATH_IMAGE068
，表示目标图策略网络根据目标SDN网络的状态
Figure 956749DEST_PATH_IMAGE069
所选择的路由策略，
Figure 721180DEST_PATH_IMAGE070
为目标图策略网络的网络参数，
Figure 64437DEST_PATH_IMAGE071
为目标图价值网络的网络参数，
Figure 706771DEST_PATH_IMAGE072
表示目标图价值网络基于目标SDN网络的状态
Figure 186294DEST_PATH_IMAGE069
、且网络参数为
Figure 623091DEST_PATH_IMAGE071
时，目标图策略网络所选取的路由策略
Figure 188065DEST_PATH_IMAGE073
的期望值，
Figure 368510DEST_PATH_IMAGE074
为折扣因子，是一个常数，且
Figure 968119DEST_PATH_IMAGE075
。
步骤S2.3.8:根据下式计算在线图价值网络输出值的损失
Figure 841397DEST_PATH_IMAGE076
：
Figure 386343DEST_PATH_IMAGE077
式中，
Figure 104900DEST_PATH_IMAGE078
，表示网络参数
Figure 824594DEST_PATH_IMAGE079
的在线图价值网络在目标SDN网络的状态
Figure 603194DEST_PATH_IMAGE080
下，在线图策略网络输出的路由策略为
Figure 408339DEST_PATH_IMAGE081
时，在线图价值网络输出的价值。
步骤S2.3.9:根据在线图价值网络输出值的损失
Figure 196167DEST_PATH_IMAGE076
，基于梯度反向传播方法，更新在线图价值网络的网络参数
Figure 504788DEST_PATH_IMAGE079
。
步骤S2.3.10:计算梯度值
Figure 719869DEST_PATH_IMAGE082
，根据梯度值
Figure 481152DEST_PATH_IMAGE083
，基于梯度反向传播方法，更新在线图策略网络的网络参数θ，其中
Figure 72670DEST_PATH_IMAGE084
表示对括号内公式求梯度。
步骤S2.3.11:分别根据下式，更新目标图策略网络的网络参数
Figure 235798DEST_PATH_IMAGE070
、目标图价值网络的网络参数
Figure 120315DEST_PATH_IMAGE071
：
Figure 900052DEST_PATH_IMAGE085
式中，
Figure 764103DEST_PATH_IMAGE086
为常数，且
Figure 47317DEST_PATH_IMAGE087
。
步骤S2.3.12:重复S2.3.2至步骤S2.3.11，直至迭代次数达到预设次数T，获得使目标SDN网络路由开销最小的路由策略。
步骤S3:根据训练好的深度图学习模型，基于目标SDN网络的状态，获得使目标SDN网络路由开销最小的路由策略，将路由策略部署至目标SDN网络，根据路由策略改变目标SDN网络的各链路权重，完成目标SDN网络的路由优化。
步骤S3的具体步骤如下：
步骤S31:获取目标SDN网络的图邻接矩阵A、网络信息特征矩阵H；
步骤S32:基于训练好的深度图学习模型，根据目标SDN网络的状态
Figure 604200DEST_PATH_IMAGE088
，获得使目标SDN网络路由开销最小的路由策略；
步骤S33:根据步骤S32所获得的路由策略，部署至目标SDN网络，根据路由策略改变目标SDN网络的各链路权重；
步骤S34:在流量传输过程中，根据最短路径方案，采用更新后的各链路权重进行流量传输。
本发明实施例还提供一种基于图结构特征的路由优化方法的系统，参照图1，目标SDN网络包括控制平面、数据平面，其中，控制平面包括信息获取模块、策略部署模块、DGL模块；使得所述基于图结构特征的路由优化方法的系统实现所述基于图结构特征的路由优化方法。
目标SDN网络的各链路及各节点部署于数据平面，控制平面上的信息获取模块用于获取目标SDN网络的网络拓扑图，生成图邻接矩阵、网络信息特征矩阵，发送至DGL模块。
DGL模块基于图学习神经网络，以图邻接矩阵、网络信息特征矩阵为输入，通过深度图学习方法，以当前状态下目标SDN网络的路由开销为输出，基于梯度反向传播方法，更新图学习神经网络的网络参数，并经过预设次数的迭代，对图学习神经网络进行训练，获得使目标SDN网络路由开销最小、链路利用率最大的深度图学习模型。
控制平面上的策略部署模块用于根据DGL模块所获得的训练好的深度图学习模型，基于目标SDN网络的状态，获得使目标SDN网络路由开销最小的路由策略，并将路由策略及目标SDN网络路由开销发送到数据平面。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于图结构特征的路由优化方法，其特征在于，针对目标SDN网络，执行以下步骤S1-步骤S3，获得目标SDN网络中各条链路的路由开销，调整各条链路的权重，完成目标SDN网络的路由优化：
步骤S1:针对目标SDN网络，基于南向接口协议，获取目标SDN网络的网络拓扑图，根据网络拓扑图中目标SDN网络的各链路上各节点之间的连接关系，构建图邻接矩阵，分别针对目标SDN网络的各链路上各节点，根据各节点的链路带宽、流量、丢包率、传输时延，构建各节点的信息特征向量，并基于各节点的信息特征向量，构建目标SDN网络的网络信息特征矩阵；
步骤S2:以图邻接矩阵、网络信息特征矩阵为目标SDN网络的状态，基于图学习神经网络，以图邻接矩阵、网络信息特征矩阵为输入，通过深度图学习方法，以当前状态下目标SDN网络的路由策略、路由开销为输出，基于梯度反向传播方法，更新图学习神经网络的网络参数，并经过预设次数的迭代，对图学习神经网络进行训练，获得使目标SDN网络路由开销最小、链路利用率最大的深度图学习模型；
所述深度图学习方法包括四个图学习神经网络和一个经验池，四个图学习神经网络分别为在线图策略网络、在线图价值网络、目标图策略网络、目标图价值网络，四个图学习神经网络分别均包括一个输入层、两个隐藏层、一个输出层；
在线图策略网络、目标图策略网络的输入层以图邻接矩阵A、网络信息特征矩阵H为输入，在线图策略网络、目标图策略网络的输出分别作为在线图价值网络、目标图价值网络的输入，其中，各图学习神经网络的输入层到隐藏层、以及隐藏层之间的传播公式相同，将输入层记为第0层，第一个隐藏层记为第1层，第二个隐藏层记为第2层，则传播公式如下式：
Figure FDA0003912080850000011
式中，σ(·)表示将括号内部的公式进行归一化，Hl为第l层的网络信息特征矩阵，Wl+1为第l+1层的权重矩阵，其中，H0＝H，
Figure FDA0003912080850000012
I为x阶单位矩阵，x为目标SDN网络的网络拓扑图的节点总数，
Figure FDA0003912080850000013
为
Figure FDA0003912080850000014
的度矩阵，
Figure FDA0003912080850000015
如下式：
Figure FDA0003912080850000016
其中，
Figure FDA0003912080850000017
如下式：
Figure FDA0003912080850000021
其中，在线图策略网络、目标图策略网络中，W1是一个4×4的矩阵，W2是一个4×1的矩阵，输出层为全连接层，其输出值为x×1矩阵，记为路由策略Policy，具体如下式：
Policy＝H2×K
式中，K为在线图策略网络、目标图策略网络输出层的权重矩阵，H2为第2层的网络信息特征矩阵；
在线图价值网络、目标图价值网络中，W1和W2均为1×1的矩阵，输出层为聚合层，其输出值为1×1矩阵，记为Value，具体如下式：
Figure FDA0003912080850000022
式中，Q为输出层的权重值，
Figure FDA0003912080850000023
为第2层的网络信息特征矩阵H2中的第i个值；
根据在线图策略网络输出的路由策略Policy，更新目标SDN网络中各条链路的路由开销；
步骤S3:根据训练好的深度图学习模型，基于目标SDN网络的状态，获得使目标SDN网络路由开销最小的路由策略，将路由策略部署至目标SDN网络，根据路由策略改变目标SDN网络的各链路权重，完成目标SDN网络的路由优化。
2.根据权利要求1所述的一种基于图结构特征的路由优化方法，其特征在于，步骤S1的具体步骤如下：
步骤S1.1:针对目标SDN网络，基于南向接口协议，获取目标SDN网络的网络拓扑结构，其中网络拓扑结构包含M个路由器、N条链路；
步骤S1.2:针对目标SDN网络的网络拓扑结构，每个路由器对应一个实节点，每条链路对应一条边，在每条链路所对应的边上插入虚节点，将目标SDN网络的网络拓扑结构表示为M个实节点、N个虚节点、2N条边的网络拓扑图G(V,E)，其中，V表示节点集合，E表示边集合，具体如下式：
V＝{V实,V虚}
其中，V实表示实节点集合，V虚表示虚节点集合；
V实＝{vs1,vs2,…,vsM}
其中，vs1,vs2,…,vsM表示M个实节点；
V虚＝{vx1,vx2,…,vxN}
其中，vx1,vx2,…,vxN表示N个虚节点；
E＝{e1,e2,…,e2N}
其中，e1,e2,…,e2N表示2N条边；
步骤S1.3:令x＝M+N，x表示节点总数，节点包括M个实节点、N个虚节点，基于目标SDN网络的网络拓扑图，构建x阶的图邻接矩阵A如下式：
Figure FDA0003912080850000031
其中，图邻接矩阵A中的元素aij如下式：
Figure FDA0003912080850000032
步骤S1.4:针对目标SDN网络的任一节点i,根据节点i的链路带宽、流量、丢包率、传输时延，构建节点i的信息特征向量hi如下式：
hi＝[Bwi,Thi,Lpi,Dti]
式中，Bwi为节点i的链路带宽，Thi为节点i的流量，Lpi为节点i的丢包率，Dti为节点i的传输时延；
基于各节点的信息特征向量，构建目标SDN网络的网络信息特征矩阵H如下式：
Figure FDA0003912080850000033
式中，h1,h2,…,hi,…,hx为各节点的信息特征向量。
3.根据权利要求2所述的一种基于图结构特征的路由优化方法，其特征在于，步骤S1.4中所述的节点i，若节点i为虚节点，则节点i的流量Thi、丢包率Lpi、传输时延Dti为0，若节点i为实节点，则节点i的链路带宽Bwi为0。
4.根据权利要求3所述的一种基于图结构特征的路由优化方法，其特征在于，步骤S2的具体步骤如下：
步骤S2.1:对在线图策略网络、在线图价值网络、目标策略网络、目标图价值网络的权重矩阵初始化，其中，在线图策略网络的权重矩阵为Wθ，在线图价值网络的权重矩阵为Wθ′，目标图策略网络的权重矩阵为Wω，目标图价值网络的权重矩阵为Wω′；
步骤S2.2:对经验池进行初始化，具体步骤如下：
步骤S2.2.1:以图邻接矩阵A、网络信息特征矩阵H作为目标SDN网络的状态S，定义S＝[A,H]，st表示t时刻目标SDN网络的状态，st＝[At,Ht]，At表示t时刻目标SDN网络的图邻接矩阵，Ht表示t时刻目标SDN网络的网络信息特征矩阵；
步骤S2.2.2:定义
Figure FDA0003912080850000041
分别为在线图策略网络、目标图策略网络、在线图价值网络、目标图价值网络的输出层在t时刻的输出；根据下式计算在线图策略网络输出路由策略
Figure FDA0003912080850000042
所获得的环境反馈ft：
ft＝U(Bw,Th,Lp,Dt)×Kf
式中，U(Bw,Th,Lp,Dt)为链路利用率，Bw、Th、Lp、Dt分别为目标SDN网络的链路带宽、流量、丢包率、传输时延，Kf为比例系数；
构建目标SDN网络链路利用率最大化的目标函数为Umax(Bw,Th,Lp,Dt)；
步骤S2.2.3:定义经验池R如下式：
Figure FDA0003912080850000043
式中，st+1表示t+1时刻目标SDN网络的状态，即在线图策略网络输出路由策略
Figure FDA0003912080850000046
所获得目标SDN网络的状态；
步骤S2.3:针对目标SDN网络，进行预设次数的迭代，其中预设迭代次数为T，具体步骤如下：
步骤S2.3.1:令t＝1，获取目标SDN网络的初始状态s1；
步骤S2.3.2:在线图策略网络根据t时刻目标SDN网络的状态st，输出路由策略
Figure FDA0003912080850000044
过程记为
Figure FDA0003912080850000045
其中，θ为在线图策略网络的网络参数；
步骤S2.3.3:根据路由策略
Figure FDA0003912080850000051
更新目标SDN网络中各条链路的路由开销；
步骤S2.3.4:获取根据路由策略
Figure FDA0003912080850000052
更新后的目标SDN网络的状态st+1，同时获取环境反馈ft；
步骤S2.3.5:将
Figure FDA0003912080850000053
作为一组历史记录存入经验池R中；
步骤S2.3.6:从经验池R中随机抽取Y组历史记录
Figure FDA0003912080850000054
其中，下标m表示经验池R中任意一组历史记录；
步骤S2.3.7:根据步骤S2.3.6所抽取的历史记录
Figure FDA0003912080850000055
计算目标图价值网络所对应的输出
Figure FDA0003912080850000056
如下式：
Figure FDA0003912080850000057
式中，
Figure FDA0003912080850000058
表示目标图策略网络根据目标SDN网络的状态sm+1所选择的路由策略，θ′为目标图策略网络的网络参数，ω′为目标图价值网络的网络参数，
Figure FDA0003912080850000059
表示目标图价值网络基于目标SDN网络的状态sm+1、且网络参数为ω′时，目标图策略网络所选取的路由策略π′(sm+1|θ′)的期望值，γ为折扣因子，是一个常数，且γ∈(0,1)；
步骤S2.3.8:根据下式计算在线图价值网络输出值的损失Lossogvn：
Figure FDA00039120808500000510
式中，
Figure FDA00039120808500000511
表示网络参数ω的在线图价值网络在目标SDN网络的状态sm下，在线图策略网络输出的路由策略为π(sm|θ)时，在线图价值网络输出的价值；
步骤S2.3.9:根据在线图价值网络输出值的损失Lossogvn，基于梯度反向传播方法，更新在线图价值网络的网络参数ω；
步骤S2.3.10:计算梯度值
Figure FDA00039120808500000512
根据梯度值
Figure FDA00039120808500000513
基于梯度反向传播方法，更新在线图策略网络的网络参数θ，其中
Figure FDA00039120808500000514
表示对括号内公式求梯度；
步骤S2.3.11:分别根据下式，更新目标图策略网络的网络参数θ′、目标图价值网络的网络参数ω′：
θ′＝τθ+(1-τ)θ′
ω′＝τω+(1-τ)ω′
式中，τ为常数，且τ∈(0,1)；
步骤S2.3.12:重复S2.3.2至步骤S2.3.11，直至迭代次数达到预设次数T，获得使目标SDN网络路由开销最小的路由策略。
5.根据权利要求4所述的一种基于图结构特征的路由优化方法，其特征在于，步骤S3的具体步骤如下：
步骤S31:获取目标SDN网络的图邻接矩阵A、网络信息特征矩阵H；
步骤S32:基于训练好的深度图学习模型，根据目标SDN网络的状态[A,H]，获得使目标SDN网络路由开销最小的路由策略；
步骤S33:根据步骤S32所获得的路由策略，部署至目标SDN网络，根据路由策略改变目标SDN网络的各链路权重；
步骤S34:在流量传输过程中，根据最短路径方案，采用更新后的各链路权重进行流量传输。
6.一种基于图结构特征的路由优化方法的系统，其特征在于，目标SDN网络包括控制平面、数据平面，其中，控制平面包括信息获取模块、策略部署模块、DGL模块；使得所述基于图结构特征的路由优化方法的系统实现如权利要求1-5中任一项所述的基于图结构特征的路由优化方法；
目标SDN网络的各链路及各节点部署于数据平面，控制平面上的信息获取模块用于获取目标SDN网络的网络拓扑图，生成图邻接矩阵、网络信息特征矩阵，发送至DGL模块；
DGL模块基于图学习神经网络，以图邻接矩阵、网络信息特征矩阵为输入，通过深度图学习方法，以当前状态下目标SDN网络的路由开销为输出，基于梯度反向传播方法，更新图学习神经网络的网络参数，并经过预设次数的迭代，对图学习神经网络进行训练，获得使目标SDN网络路由开销最小、链路利用率最大的深度图学习模型；
控制平面上的策略部署模块用于根据DGL模块所获得的训练好的深度图学习模型，基于目标SDN网络的状态，获得使目标SDN网络路由开销最小的路由策略，并将路由策略及目标SDN网络路由开销发送到数据平面。
CN202210974378.6A 2022-08-15 2022-08-15 一种基于图结构特征的路由优化方法与系统 Active CN115225561B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210974378.6A CN115225561B (zh) 2022-08-15 2022-08-15 一种基于图结构特征的路由优化方法与系统
PCT/CN2023/098735 WO2024037136A1 (zh) 2022-08-15 2023-06-07 一种基于图结构特征的路由优化方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210974378.6A CN115225561B (zh) 2022-08-15 2022-08-15 一种基于图结构特征的路由优化方法与系统

Publications (2)

Publication Number Publication Date
CN115225561A CN115225561A (zh) 2022-10-21
CN115225561B true CN115225561B (zh) 2022-12-06

Family

ID=83615692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210974378.6A Active CN115225561B (zh) 2022-08-15 2022-08-15 一种基于图结构特征的路由优化方法与系统

Country Status (2)

Country Link
CN (1) CN115225561B (zh)
WO (1) WO2024037136A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225561B (zh) * 2022-08-15 2022-12-06 南京邮电大学 一种基于图结构特征的路由优化方法与系统
CN116055378B (zh) * 2023-01-10 2024-05-28 中国联合网络通信集团有限公司 流量调度策略生成模型的训练方法及装置
CN116346641A (zh) * 2023-03-17 2023-06-27 东南大学 一种基于gnn故障模型学习的控制平面策略验证方法
CN116366529B (zh) * 2023-04-20 2024-07-19 哈尔滨工业大学 一种sdn背景下基于深度强化学习的自适应路由方法
CN118400314A (zh) * 2024-04-29 2024-07-26 广州市杰青计算机有限公司 信息化机房监控及管理系统
CN118228514B (zh) * 2024-05-23 2024-08-09 中国海洋大学 一种浮式海洋平台推进器推力优化分配方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014180332A1 (zh) * 2013-05-09 2014-11-13 中兴通讯股份有限公司 通用路由方法及系统
CN110275437A (zh) * 2019-06-06 2019-09-24 江苏大学 基于深度学习的sdn网络流量优势监控节点动态选择系统及其动态选择方法
CN110611619A (zh) * 2019-09-12 2019-12-24 西安电子科技大学 一种基于ddpg强化学习算法的智能化路由决策方法
WO2021212823A1 (zh) * 2020-04-23 2021-10-28 中兴通讯股份有限公司 一种重新路由方法及装置、电子设备、计算机可读介质
CN114286413A (zh) * 2021-11-02 2022-04-05 北京邮电大学 Tsn网络联合路由选择与流分配方法及相关设备
CN114500360A (zh) * 2022-01-27 2022-05-13 河海大学 一种基于深度强化学习的网络流量调度方法以及系统
CN114859719A (zh) * 2022-05-05 2022-08-05 电子科技大学长三角研究院(衢州) 一种基于图神经网络的强化学习集群蜂拥控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190184561A1 (en) * 2017-12-15 2019-06-20 The Regents Of The University Of California Machine Learning based Fixed-Time Optimal Path Generation
CN111245718B (zh) * 2019-12-30 2022-03-29 浙江工商大学 一种基于sdn情景感知的路由优化方法
CN111314171B (zh) * 2020-01-17 2023-06-30 深圳供电局有限公司 一种sdn路由性能预测和优化的方法、设备及介质
CN111862579B (zh) * 2020-06-10 2021-07-13 深圳大学 一种基于深度强化学习的出租车调度方法及系统
CN114650249A (zh) * 2020-12-02 2022-06-21 南京中兴软件有限责任公司 算法模型及路径的确定方法、电子设备、sdn控制器和介质
CN113194034A (zh) * 2021-04-22 2021-07-30 华中科技大学 基于图神经网络和深度强化学习的路由优化方法及系统
CN113036772B (zh) * 2021-05-11 2022-07-19 国网江苏省电力有限公司南京供电分公司 一种基于深度强化学习的配电网拓扑电压调节方法
CN113285831B (zh) * 2021-05-24 2022-08-02 广州大学 网络行为知识智能学习方法、装置、计算机设备及存储介质
CN114697229B (zh) * 2022-03-11 2023-04-07 华中科技大学 一种分布式路由规划模型的构建方法及应用
CN115225561B (zh) * 2022-08-15 2022-12-06 南京邮电大学 一种基于图结构特征的路由优化方法与系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014180332A1 (zh) * 2013-05-09 2014-11-13 中兴通讯股份有限公司 通用路由方法及系统
CN110275437A (zh) * 2019-06-06 2019-09-24 江苏大学 基于深度学习的sdn网络流量优势监控节点动态选择系统及其动态选择方法
CN110611619A (zh) * 2019-09-12 2019-12-24 西安电子科技大学 一种基于ddpg强化学习算法的智能化路由决策方法
WO2021212823A1 (zh) * 2020-04-23 2021-10-28 中兴通讯股份有限公司 一种重新路由方法及装置、电子设备、计算机可读介质
CN114286413A (zh) * 2021-11-02 2022-04-05 北京邮电大学 Tsn网络联合路由选择与流分配方法及相关设备
CN114500360A (zh) * 2022-01-27 2022-05-13 河海大学 一种基于深度强化学习的网络流量调度方法以及系统
CN114859719A (zh) * 2022-05-05 2022-08-05 电子科技大学长三角研究院(衢州) 一种基于图神经网络的强化学习集群蜂拥控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"SDN/NFV网络中服务功能链的路由和资源优化研究";裴家宁;《中国博士学位论文全文数据库信息科技辑》;20200602;全文 *
一种基于深度强化学习的动态路由算法;肖扬等;《信息通信技术与政策》;20200915(第09期);全文 *
基于深度强化学习的移动Ad Hoc网络路由选择;朱凡芃 等;《通信技术》;20200810(第08期);全文 *

Also Published As

Publication number Publication date
CN115225561A (zh) 2022-10-21
WO2024037136A1 (zh) 2024-02-22

Similar Documents

Publication Publication Date Title
CN115225561B (zh) 一种基于图结构特征的路由优化方法与系统
Mao et al. An intelligent route computation approach based on real-time deep learning strategy for software defined communication systems
Dolati et al. DeepViNE: Virtual network embedding with deep reinforcement learning
CN112491712B (zh) 一种基于多智能体深度强化学习的数据包路由算法
CN113098714B (zh) 基于强化学习的低时延网络切片方法
CN110674869A (zh) 分类处理、图卷积神经网络模型的训练方法和装置
CN113395207B (zh) 一种sdn架构下基于深度强化学习的路由优化架构及方法
CN111988225A (zh) 基于强化学习和迁移学习的多路径路由方法
CN113286275A (zh) 一种基于多智能体强化学习的无人机集群高效通信方法
CN115396366B (zh) 基于图注意力网络的分布式智能路由方法
CN114489127B (zh) 一种面向无人机集群的自组织队形编队方法
CN115344883A (zh) 一种用于处理不平衡数据的个性化联邦学习方法和装置
CN114143264A (zh) 一种SRv6网络下基于强化学习的流量调度方法
CN110708108A (zh) 一种多无人机毫米波网络的波束控制优化方法
Mai et al. Packet routing with graph attention multi-agent reinforcement learning
CN108197594A (zh) 确定瞳孔位置的方法和装置
CN110687926B (zh) 一种无人机群快速编队方法
CN114051272A (zh) 动态拓扑网络智能路由方法
CN117061360A (zh) 基于时空信息的sdn网络流量预测方法与系统
CN113779615B (zh) 一种安全的去中心化的图联邦学习方法
CN116055324B (zh) 一种用于数据中心网络自优化的数字孪生方法
CN115034356B (zh) 一种用于横向联邦学习的模型融合方法及系统
Vijay Kumar et al. Reliable multicast routing in mobile networks: a neural-network approach
CN113992595A (zh) 一种基于优先经验回放dqn的sdn数据中心拥塞控制方法
AU2020101008A4 (en) A linearly Convergent Distributed Proximal Gradient Algorithm via Edge-Based Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant