CN108401015A - 一种基于深度强化学习的数据中心网络路由方法 - Google Patents

一种基于深度强化学习的数据中心网络路由方法 Download PDF

Info

Publication number
CN108401015A
CN108401015A CN201810105232.1A CN201810105232A CN108401015A CN 108401015 A CN108401015 A CN 108401015A CN 201810105232 A CN201810105232 A CN 201810105232A CN 108401015 A CN108401015 A CN 108401015A
Authority
CN
China
Prior art keywords
node
routing
resource
network
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810105232.1A
Other languages
English (en)
Other versions
CN108401015B (zh
Inventor
刘外喜
李进
王宇
杨钊
唐冬
彭凌西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201810105232.1A priority Critical patent/CN108401015B/zh
Publication of CN108401015A publication Critical patent/CN108401015A/zh
Application granted granted Critical
Publication of CN108401015B publication Critical patent/CN108401015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • H04L45/121—Shortest path evaluation by minimising delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • H04L45/125—Shortest path evaluation based on throughput or bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/302—Route determination based on requested QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • H04L45/124—Shortest path evaluation using a combination of metrics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于深度强化学习的数据中心网络路由方法，包括下述步骤：S1、为网络划分区域，将全网划分为多个社团，一个社团作为一个区域，每个区域中节点介数最大的节点上部署一个SDN控制器，并在其上部署代理agent；S2、建立网络的全局视图，SDN控制器建立节点的邻接矩阵，节点之间链路的资源值为缓存与带宽的复合资源；S3、构建面向路由的深度强化学习框架；S4、确定路由的路径以及转发规则，SDN控制器根据agent的动作选择结果确定路径。本发明基于数据驱动的思想，将流对性能的要求转换为流对网络资源的要求；利用深度学习感知和表示高维度数据的能力发现资源的多维度特征表示，最终实现在SDN控制面为流优化地分配网络资源，实现自适应的智能路由。

Description

一种基于深度强化学习的数据中心网络路由方法
技术领域
本发明属于深度学习的技术领域，涉及一种基于深度强化学习的数据中心网络路由方法。
背景技术
数据中心网络(Data Center Network，DCN)在云计算基础设施中具有关键地位。研究表明，网络节点部署缓存可减少数据访问路径的平均长度并避免数据热点，提高网络吞吐率。缓存成为了一种新的网络资源后，DCN网络环境展现出链路、缓存和计算等多资源并存的新特征；另外，DCN中链路密集。然而，传统的传输与路由方法因为缺乏与新特征的深度耦合在DCN中性能低。
同时，面对多重性网络业务请求和差异化的网络资源优化目标及约束参数，动态路由决策已被证明是NP完全问题。所以，在较大网络规模中，网络状态、网络特征、度量参数海量，虽然启发式算法可获得近似优化路由，但不能满足网络的实时性要求。
深度强化学习(Deep reinforcement learning，DRL)是人工智能领域的一个新的研究热点，它以一种通用的形式将深度学习的感知能力与强化学习的决策能力相结合，并能够通过端对端的学习方式实现从原始输入到输出的直接控制。深度强化学习有很多种，如基于值函数的DRL，基于策略梯度的DRL，基于搜索与监督的DRL。同时，基于SDN的数据中心网络的优点之一是控制面可全局视野集中地优化网络资源的部署。因此，如何在SDN控制面使用深度强化学习为流量优化地分配网络资源，最终实现自适应的智能路由，是本领域技术人员研究的方向之一。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于深度强化学习的数据中心网络路由方法，为流量优化地分配网络资源，实现自适应的智能路由。
为了达到上述目的，本发明采用以下技术方案：
本发明一种基于深度强化学习的数据中心网络路由方法，包括下述步骤：
S1、为网络划分区域，基于社团发现算法将全网划分为多个社团，一个社团作为一个区域，每个区域中节点介数最大的节点上部署一个SDN控制器负责管理该区域，各交换机节点与该SDN控制器相连，接受其下发的转发规则；
S2、建立网络的全局视图，SDN控制器根据网络拓扑，建立节点的邻接矩阵，节点之间链路的资源值为缓存与带宽的复合资源；
S3、构建面向路由的深度强化学习框架，深度强化学习框架包括强化学习和深度学习两部分；一方面，代理agent通过强化学习与网络进行交互，包括基于INT技术对网络进行状态的感知和奖赏的反馈，最后完成动作的下发；另一方面，agent用深度学习算法近似表示强化学习中的状态动作值函数，找到状态空间S到动作空间A的一个映射，即，agent与网络经过多次的交互后，找到实现路由优化目标的最优动作集；
S4、确定路由的路径以及转发规则，SDN控制器根据agent的动作选择结果确定路径，并基于数据面可编程方法P4制定数据报、流、组流各种粒度的转发规则，并下发到各个交换机去执行。
作为优选的技术方案，步骤S1中，所有与区域外的通信都通过固定的有限个边界节点进行转发，各个区域的控制器互相连接，组成扁平式的分布式控制器网络，负责区域间通信的控制。
作为优选的技术方案，步骤S1中，所述社团发现算法为最小割的谱聚类或FastGirvan Newman算法。
作为优选的技术方案，步骤S2中，每个SDN控制器上部署一个代理。
作为优选的技术方案，步骤S3中，强化学习包括下述三个要素：
(1)奖赏(reward，r)
路由优化目标设定为以下性能的要求：在端到端时延满足QoS下，网络的整体吞吐量最大，那么奖赏函数r如下：
其中，Tm(t)是节点m在t时刻的吞吐量，rN是一个常数，rN<0，d(t)是在t时刻网络中各流完成时间的平均值，D是一个常数，D>0；d(t)<D表示端到端时延满足QoS要求，由于流的报文转发要经过多跳，当前动作无法立刻获取其被实施后目标流的端到端时延，所以，观察当前其他已完成流的端到端时延d(t)是否满足QoS；
(2)动作(action，a)
动作a是节点选择以及转发规则，即，从节点邻接矩阵里面选择一个能够到达目的地的节点集；该节点集可以唯一地确定多条从源到达目的地的路径；
(3)状态(state，s)
状态s包括资源占用状态+资源需求状态：资源占用状态为网络中各节点的资源的已使用情况，资源需求状态为待转发的流对资源的需求情况，它们都用图形法来表达。
作为优选的技术方案，所述资源占用状态图包括节点、节点的复合资源以及时间三个维度。
作为优选的技术方案，所述资源需求状态图包括时间、资源2个维度，资源表示流从源到目的地所走路径要求的复合资源总和；只记录前M个流的详细的资源需求状态，而其他的流只记录数量。
作为优选的技术方案，步骤S3中，所述深度学习旨在发现状态与动作之间的映射，基于已有公开数据集，采用REINFORCE算法对深度学习模型进行训练。
作为优选的技术方案，步骤S4中，所述确定路由的路径是使用复合资源作为衡量路径质量的度量，所述流为五元组相同的一组数据报，所述组流为具有某个相同特性的多个流组成的一组数据报。
作为优选的技术方案，基于数据驱动的思想，将流对性能的要求转换表达为流对资源的需求，并且通过将资源的需求分解到多条路径上来实现多路径路由。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明路由方法的基础创新在于：多个网络资源度量各异，对它们统一表达、它们之间互换都很困难，所以，利用深度学习感知和表示高维度数据的能力，发现资源的多维度特征表示，进而发现多个资源影响性能的内在规则。这是一种发现性能、资源、路由、流量之间关系的新方法。
2、本发明借助SDN控制层全局视野和集中控制的优势，利用强化学习自适应地根据环境做出合理的路由选择，为流量优化地分配网络资源。路由选择从依赖单一链路状态转变到集成带宽与缓存的复合资源状态，是一种能够与网络资源高度耦合的路由新方法。
3、本发明的路由选择方法基于数据驱动而不是模型驱动思想，不需要预定义的规则，可实现真正的自适应与智能。
4、在获得模型训练所需要的标签数据方面，本发明不需要先验知识，利用深度强化学习动态地、实时地获取数据特征。
附图说明
图1是本发明为网络划分区域的示意图；
图2是本发明深度学习的示意图；
图3(a)是资源占用状态图；图3(b)是某节点的资源占用状态图；图3(c)是流1的资源需求状态；图3(d)为流2的资源需求状态；图3(e)为资源需求状态索引示意图。
图4是本发明路由方法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例基于深度强化学习的数据中心网络路由方法利用SDN控制面使用深度强化学习为流量优化地分配网络资源，最终实现自适应的智能路由，具体包括下述步骤：
(1)划分网络区域；
如图1所示，基于社团发现算法(如最小割的谱聚类的社团发现算法，Fast GirvanNewman算法等)将全网划分为多个社团(Community)，一个社团即为一个区域；每个区域中节点介数(Betweenness)最大的节点上部署一个SDN控制器负责管理该区域，各交换机节点与该控制器相连，接受其下发的流表；所有与区域外的通信都通过固定的有限个边界节点进行转发，如图1所示，社团1通过v4、v4与区域外通信。如图1虚线所示，各个区域的控制器互相连接，组成扁平式的分布式控制器网络，负责区域间的通信的控制。本实施例所提的路由方法针对的是区域内通信。
根据复杂网络社团理论，在社团内部，节点之间通信频繁。同时，各个节点在同一社团中的重要度(如，度(Degree)、介数(Betweenness)等)并不一样。社团重要度大的节点不仅更加容易被社团内的节点访问，而且也更加容易通过它访问社团外部的节点，它们实际上是进出社团的关键节点。例如，如图1所示，如果在不考虑权重的情况下，整个拓扑可看作为一个社团。但在考虑了网络流量行为后，由于边的权重不同，可划分多个社团，v1，v2分别是两个社团中的控制器所在的节点，粗线段是权重为3的连接，细线段为权重为1的连接。
(2)建立网络的全局视图；
SDN控制器根据网络拓扑，建立节点的邻接矩阵，节点之间链路的资源值为Cost(o)i。同时，如图1中所示的v1和v2所示，每个控制器上部署一个代理(agent)。
(3)构建面向路由的深度强化学习框架；
深度强化学习包括深度学习和强化学习两部分，如图2所示，一方面，agent通过强化学习与网络进行交互，包括基于INT(In-band network telemetry)技术对网络进行状态的感知和奖赏的反馈，最后完成动作的下发。另一方面，agent用深度学习算法近似表示强化学习中的状态动作值函数，找到状态空间(S)到动作空间(A)的一个映射，即，agent与网络经过多次的交互后，找到实现路由优化目标的最优动作集，这也称为策略。本发明所用的深度强化学习方法为Deep Q Learning(DQN)，其中，深度学习算法是卷积神经网络CNN，强化学习算法为Q学习(Q-learning)。
所述强化学习包括三像素，具体如下：
(1)奖赏(reward，r)
路由优化目标设定为以下性能的要求：在端到端时延满足QoS要求下，网络的整体吞吐量最大，那么奖赏函数r如下：
其中，Tm(t)是节点m在t时刻的吞吐量，rN是一个常数，rN<0。d(t)是在t时刻网络中各流完成时间的平均值，D是一个常数，D>0。d(t)<D表示端到端时延满足QoS要求，由于流的报文转发要经过多跳，当前动作无法立刻获取其被实施后目标流的端到端时延，所以，观察当前其他已完成流的端到端时延d(t)是否满足QoS。
(2)动作(action，a)
动作a是节点选择以及转发规则，即，从节点邻接矩阵里面选择一个能够到达目的地的节点集。该节点集可以唯一地确定多条从源到达目的地的路径，本专利实现的是多路径路由，所以根据需要来确定多少条路径。邻接矩阵中为1的节点才会被选中作为下一跳。
(3)状态(state，s)
状态s包括资源占用状态+资源需求状态：资源占用状态为网络中各节点的资源的已使用情况，资源需求状态为待转发的流对资源的需求情况，它们都可用如图3所示的图形法来表示，不同的图例表示不同的流。
如图3(a)所示，资源占用状态图包括节点、节点的复合资源、时间三个维度，图3(b)是从三维图中抽出的节点i的资源占用状态，方格、菱形、左斜杠、竖杠4个图例分别代表4个流当前占用了节点i的资源，如方格所示的流占用了2个单元时间的1个单元资源；图3(c)和图3(d)分别为流1和流2的资源需求状态图，它包括时间、资源2个维度，这里的资源表示流从源到目的地所走路径要求的复合资源总和，如方格所示的流2(Flow 2)需求4个单元时间的2个单元资源。图3(e)为资源需求状态的索引，本发明中，由于状态是深度学习的输入，为了确保深度学习的输入层数目为常数，所以只记录前M个流的详细的资源需求，而其他的只记录流的数量。
所述深度学习的具体内容为：
深度学习旨在发现状态与动作之间的映射，在所提机制应用于实际路由之前(即，深度学习的推理)，需要对该深度学习模型进行训练。基于已有公开数据集，本发明采用常用的REINFORCE算法对CNN进行训练。
(4)确定路由的路径以及转发规则；
SDN控制器根据agent的动作选择结果确定路径，并基于数据面可编程方法P4(Programming Protocol-Independent Packet Processors)制定数据报/流/组流等各种粒度的转发规则，并下发到各个交换机去执行。所述流(Flow)为五元组相同的一组数据报，所述组流为具有某个相同特性的多个流组成的一组数据报，如目的地址、源地址相同的一组流。本实例选择常用的流作为转发粒度。
在本发明中，用复合资源作为衡量路由路径质量的度量。中国专利“一种数据中心网络中多资源复用与配置的方法(201711444909.6)”实现了多资源的多粒度复用，可以把一段链路(一个节点)上的复合资源作为资源的调度单位，节点i的缓存以及到其上游节点之间的一段链路的带宽的复合资源Cost(o)i为节点i的复合资源。本发明把Cost(o)i作为衡量节点i与邻接节点互联链路质量的资源值。对于流的报文转发来讲，各段链路的资源值之和越大的路径越好。
另外，基于数据驱动的思想，本发明将流的性能要求转换为流对网络资源的需求，从而可将路由问题转换为资源管理中的任务调度问题(job scheduling)。如中国专利“一种数据中心网络中多资源复用与配置的方法(201711444909.6)中记载，网络资源(节点的缓存、链路的带宽)对传输时延(性能要求)减少做出的贡献度可以量化，即，可建立性能与资源之间的映射关系。假设每条流对性能的要求已知，那么，每条流对资源的需求也已知，那么，我们可以将性能要求转换为资源的需求。因此，我们可以将一个流(Flow)对所走路径的传输时延的要求表达为对资源的需求：需要x个单元的Cost(o)i。
数据中心网络中链路密集，在源和目的地之间存在多条路径，所以，我们将上述所需的x个单元的Cost(o)i分解为多条路径来承担，实现多路径路由。
综上所述，本发明的路由方法具有通用性，可通过改变奖赏函数来达到不同的路由优化目标，如吞吐量最大，端到端延迟最小，负载最均衡等。本发明以端到端时延满足QoS要求的情况下，网络的整体吞吐量最大作为路由优化目标。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度强化学习的数据中心网络路由方法，其特征在于，包括下述步骤：
S1、为网络划分区域，基于社团发现算法将全网划分为多个社团，一个社团作为一个区域，每个区域中节点介数最大的节点上部署一个SDN控制器负责管理该区域，各交换机节点与该SDN控制器相连，接受其下发的转发规则；
S2、建立网络的全局视图，SDN控制器根据网络拓扑，建立节点的邻接矩阵，节点之间链路的资源值为缓存与带宽的复合资源；
S3、构建面向路由的深度强化学习框架，深度强化学习框架包括强化学习和深度学习两部分；一方面，代理agent通过强化学习与网络进行交互，包括基于INT技术对网络进行状态的感知和奖赏的反馈，最后完成动作的下发；另一方面，agent用深度学习算法近似表示强化学习中的状态动作值函数，找到状态空间S到动作空间A的一个映射，即，agent与网络经过多次的交互后，找到实现路由优化目标的最优动作集；
S4、确定路由的路径以及转发规则，SDN控制器根据agent的动作选择结果确定路径，并基于数据面可编程方法P4制定数据报、流、组流各种粒度的转发规则，并下发到各个交换机去执行。
2.根据权利要求1所述基于深度强化学习的数据中心网络路由方法，其特征在于，步骤S1中，所有与区域外的通信都通过固定的有限个边界节点进行转发，各个区域的控制器互相连接，组成扁平式的分布式控制器网络，负责区域间通信的控制。
3.根据权利要求1所述基于深度强化学习的数据中心网络路由方法，其特征在于，步骤S1中，所述社团发现算法为最小割的谱聚类或Fast Girvan Newman算法。
4.根据权利要求1所述基于深度强化学习的数据中心网络路由方法，其特征在于，步骤S2中，每个SDN控制器上部署一个代理agent。
5.根据权利要求1所述基于深度强化学习的数据中心网络路由方法，其特征在于，步骤S3中，强化学习包括下述三个要素：
(1)奖赏(reward，r)
路由优化目标设定为以下性能的要求：在端到端时延满足QoS下，网络的整体吞吐量最大；那么奖赏函数r如下：
其中，Tm(t)是节点m在t时刻的吞吐量，rN是一个常数，rN<0，d(t)是在t时刻网络中各流完成时间的平均值，D是一个常数，D>0；d(t)<D表示端到端时延满足QoS要求；由于流的报文转发要经过多跳，当前动作无法立刻获取其被实施后目标流的端到端时延，所以，观察当前其他已完成流的端到端时延d(t)是否满足QoS；
(2)动作(action，a)
动作a是节点选择以及转发规则，即，从节点邻接矩阵里面选择一个能够到达目的地的节点集；该节点集可以唯一地确定多条从源到达目的地的路径；
(3)状态(state，s)
状态s包括资源占用状态+资源需求状态：资源占用状态为网络中各节点的资源的已使用情况，资源需求状态为待转发的流对资源的需求情况，它们都用图形法来表达。
6.根据权利要求5所述基于深度强化学习的数据中心网络路由方法，其特征在于，所述资源占用状态图包括节点、节点的复合资源以及时间三个维度。
7.根据权利要求5所述基于深度强化学习的数据中心网络路由方法，其特征在于，所述资源需求状态图包括时间、资源2个维度，资源表示流从源到目的地所走路径要求的复合资源总和；只记录前M个流的详细的资源需求状态，而其他的流只记录数量。
8.根据权利要求1所述基于深度强化学习的数据中心网络路由方法，其特征在于，步骤S3中，所述深度学习旨在发现状态与动作之间的映射，基于已有公开数据集，采用REINFORCE算法对深度学习模型进行训练。
9.根据权利要求1所述基于深度强化学习的数据中心网络路由方法，其特征在于，步骤S4中，所述确定路由的路径是使用复合资源作为衡量路径质量的度量，所述流为五元组相同的一组数据报，所述组流为具有某个相同特性的多个流组成的一组数据报。
10.根据权利要求5所述基于深度强化学习的数据中心网络路由方法，其特征在于，基于数据驱动的思想，将流对性能的要求转换表达为流对资源的需求，并且通过将资源的需求分解到多条路径上来实现多路径路由。
CN201810105232.1A 2018-02-02 2018-02-02 一种基于深度强化学习的数据中心网络路由方法 Active CN108401015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810105232.1A CN108401015B (zh) 2018-02-02 2018-02-02 一种基于深度强化学习的数据中心网络路由方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810105232.1A CN108401015B (zh) 2018-02-02 2018-02-02 一种基于深度强化学习的数据中心网络路由方法

Publications (2)

Publication Number Publication Date
CN108401015A true CN108401015A (zh) 2018-08-14
CN108401015B CN108401015B (zh) 2020-10-02

Family

ID=63095443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810105232.1A Active CN108401015B (zh) 2018-02-02 2018-02-02 一种基于深度强化学习的数据中心网络路由方法

Country Status (1)

Country Link
CN (1) CN108401015B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900419A (zh) * 2018-08-17 2018-11-27 北京邮电大学 Sdn架构下基于深度强化学习的路由决策方法及装置
CN109039942A (zh) * 2018-08-29 2018-12-18 南京优速网络科技有限公司 一种基于深度强化学习的网络负载均衡系统及均衡方法
CN109361601A (zh) * 2018-10-31 2019-02-19 浙江工商大学 一种基于强化学习的sdn路由规划方法
CN109379747A (zh) * 2018-12-04 2019-02-22 北京邮电大学 无线网络多控制器部署和资源分配方法和装置
CN109388484A (zh) * 2018-08-16 2019-02-26 广东石油化工学院 一种基于Deep Q-network算法的多资源云作业调度方法
CN109614215A (zh) * 2019-01-25 2019-04-12 广州大学 基于深度强化学习的流调度方法、装置、设备及介质
CN109614436A (zh) * 2018-11-21 2019-04-12 国网四川省电力公司眉山供电公司 电力物资调控系统和相应的方法
CN109818804A (zh) * 2019-02-26 2019-05-28 北京邮电大学 一种网络监测方法及装置
CN109922004A (zh) * 2019-04-24 2019-06-21 清华大学 基于部分部署分段路由的IPv6网络的流量工程方法及装置
CN110225418A (zh) * 2019-05-15 2019-09-10 西安交通大学 一种基于SDN的HTTP视频流QoE路由优化方法
CN110365568A (zh) * 2019-06-18 2019-10-22 西安交通大学 一种基于深度强化学习的虚拟网络映射方法
CN110752990A (zh) * 2019-10-24 2020-02-04 西安电子科技大学 保障弹性的时变网络最短路由方法
CN110995590A (zh) * 2019-10-22 2020-04-10 中国电子科技集团公司第七研究所 一种分布式分域网络下的高效路由方法
CN111045443A (zh) * 2018-10-11 2020-04-21 北京航空航天大学 移动控制方法、装置、设备及存储介质
CN111181792A (zh) * 2019-12-31 2020-05-19 中移（杭州）信息技术有限公司 基于网络拓扑的sdn控制器部署方法、装置及电子设备
CN111343095A (zh) * 2020-02-15 2020-06-26 北京理工大学 一种在软件定义网络中实现控制器负载均衡的方法
CN111416771A (zh) * 2020-03-20 2020-07-14 深圳市大数据研究院 基于多智能体强化学习路由策略控制路由动作的方法
CN111782354A (zh) * 2020-05-29 2020-10-16 国网江苏省电力有限公司信息通信分公司 一种基于强化学习的集中式数据处理时间优化方法
CN112153153A (zh) * 2020-09-28 2020-12-29 北京大学深圳研究生院 一种协调分布式的网内资源调度方法及系统、存储介质
CN114124828A (zh) * 2022-01-27 2022-03-01 广东省新一代通信与网络创新研究院 一种基于可编程交换机的机器学习方法及装置
CN114500360A (zh) * 2022-01-27 2022-05-13 河海大学 一种基于深度强化学习的网络流量调度方法以及系统
CN114615183A (zh) * 2022-03-14 2022-06-10 广东技术师范大学 基于资源预测的路由方法、装置、计算机设备及存储介质
CN115022231A (zh) * 2022-06-30 2022-09-06 武汉烽火技术服务有限公司 一种基于深度强化学习的最优路径规划的方法和系统
CN115695200A (zh) * 2021-07-28 2023-02-03 华为技术有限公司 带宽分配方法、装置以及系统
CN117240774A (zh) * 2023-11-15 2023-12-15 云南省地矿测绘院有限公司 一种跨域智能sdn路由方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015089706A1 (zh) * 2013-12-16 2015-06-25 华为技术有限公司 一种重路由顺序规划方法及系统
US20150204684A1 (en) * 2014-01-21 2015-07-23 Abtin Rostamian Methods and systems of multi-dimensional automated ride-sharing optimization
CN106341346A (zh) * 2016-09-08 2017-01-18 重庆邮电大学 基于SDN的数据中心网络中一种保障QoS的路由算法
CN107171842A (zh) * 2017-05-22 2017-09-15 南京大学 基于强化学习的多路径传输协议拥塞控制方法
CN107547379A (zh) * 2016-06-23 2018-01-05 华为技术有限公司 软件定义网络中生成路由控制动作的方法和相关设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015089706A1 (zh) * 2013-12-16 2015-06-25 华为技术有限公司 一种重路由顺序规划方法及系统
US20150204684A1 (en) * 2014-01-21 2015-07-23 Abtin Rostamian Methods and systems of multi-dimensional automated ride-sharing optimization
CN107547379A (zh) * 2016-06-23 2018-01-05 华为技术有限公司 软件定义网络中生成路由控制动作的方法和相关设备
CN106341346A (zh) * 2016-09-08 2017-01-18 重庆邮电大学 基于SDN的数据中心网络中一种保障QoS的路由算法
CN107171842A (zh) * 2017-05-22 2017-09-15 南京大学 基于强化学习的多路径传输协议拥塞控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIU WAIXI等: "《Content Popularity Prediction and Caching for ICN: A Deep Learning Approach With SDN》", 《IEEE ACCESS (VOLUME: 6)》 *
李海枫等: "《深度学习在未来SDN网络布局中应用探讨》", 《广西通信技术》 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388484A (zh) * 2018-08-16 2019-02-26 广东石油化工学院 一种基于Deep Q-network算法的多资源云作业调度方法
CN109388484B (zh) * 2018-08-16 2020-07-28 广东石油化工学院 一种基于Deep Q-network算法的多资源云作业调度方法
CN108900419A (zh) * 2018-08-17 2018-11-27 北京邮电大学 Sdn架构下基于深度强化学习的路由决策方法及装置
CN108900419B (zh) * 2018-08-17 2020-04-17 北京邮电大学 Sdn架构下基于深度强化学习的路由决策方法及装置
CN109039942B (zh) * 2018-08-29 2022-08-12 南京优速网络科技有限公司 一种基于深度强化学习的网络负载均衡系统及均衡方法
CN109039942A (zh) * 2018-08-29 2018-12-18 南京优速网络科技有限公司 一种基于深度强化学习的网络负载均衡系统及均衡方法
US11161609B2 (en) 2018-10-11 2021-11-02 Beihang University Multi-UAV continuous movement control method, apparatus, device, and storage medium for energy efficient communication coverage
CN111045443B (zh) * 2018-10-11 2021-07-02 北京航空航天大学 无人机通信网络移动控制方法、装置、设备及存储介质
CN111045443A (zh) * 2018-10-11 2020-04-21 北京航空航天大学 移动控制方法、装置、设备及存储介质
CN109361601B (zh) * 2018-10-31 2021-03-30 浙江工商大学 一种基于强化学习的sdn路由规划方法
CN109361601A (zh) * 2018-10-31 2019-02-19 浙江工商大学 一种基于强化学习的sdn路由规划方法
CN109614436A (zh) * 2018-11-21 2019-04-12 国网四川省电力公司眉山供电公司 电力物资调控系统和相应的方法
CN109379747A (zh) * 2018-12-04 2019-02-22 北京邮电大学 无线网络多控制器部署和资源分配方法和装置
CN109379747B (zh) * 2018-12-04 2022-04-12 北京邮电大学 无线网络多控制器部署和资源分配方法和装置
CN109614215A (zh) * 2019-01-25 2019-04-12 广州大学 基于深度强化学习的流调度方法、装置、设备及介质
CN109818804A (zh) * 2019-02-26 2019-05-28 北京邮电大学 一种网络监测方法及装置
CN109818804B (zh) * 2019-02-26 2020-04-24 北京邮电大学 一种网络监测方法及装置
CN109922004B (zh) * 2019-04-24 2020-09-04 清华大学 基于部分部署分段路由的IPv6网络的流量工程方法及装置
CN109922004A (zh) * 2019-04-24 2019-06-21 清华大学 基于部分部署分段路由的IPv6网络的流量工程方法及装置
CN110225418A (zh) * 2019-05-15 2019-09-10 西安交通大学 一种基于SDN的HTTP视频流QoE路由优化方法
CN110365568A (zh) * 2019-06-18 2019-10-22 西安交通大学 一种基于深度强化学习的虚拟网络映射方法
CN110995590A (zh) * 2019-10-22 2020-04-10 中国电子科技集团公司第七研究所 一种分布式分域网络下的高效路由方法
CN110995590B (zh) * 2019-10-22 2022-04-22 中国电子科技集团公司第七研究所 一种分布式分域网络下的高效路由方法
CN110752990B (zh) * 2019-10-24 2021-01-05 西安电子科技大学 保障弹性的时变网络最短路由方法
CN110752990A (zh) * 2019-10-24 2020-02-04 西安电子科技大学 保障弹性的时变网络最短路由方法
CN111181792B (zh) * 2019-12-31 2023-04-07 中移（杭州）信息技术有限公司 基于网络拓扑的sdn控制器部署方法、装置及电子设备
CN111181792A (zh) * 2019-12-31 2020-05-19 中移（杭州）信息技术有限公司 基于网络拓扑的sdn控制器部署方法、装置及电子设备
CN111343095A (zh) * 2020-02-15 2020-06-26 北京理工大学 一种在软件定义网络中实现控制器负载均衡的方法
CN111343095B (zh) * 2020-02-15 2021-11-05 北京理工大学 一种在软件定义网络中实现控制器负载均衡的方法
CN111416771A (zh) * 2020-03-20 2020-07-14 深圳市大数据研究院 基于多智能体强化学习路由策略控制路由动作的方法
CN111416771B (zh) * 2020-03-20 2022-02-25 深圳市大数据研究院 基于多智能体强化学习路由策略控制路由动作的方法
CN111782354A (zh) * 2020-05-29 2020-10-16 国网江苏省电力有限公司信息通信分公司 一种基于强化学习的集中式数据处理时间优化方法
CN112153153A (zh) * 2020-09-28 2020-12-29 北京大学深圳研究生院 一种协调分布式的网内资源调度方法及系统、存储介质
CN112153153B (zh) * 2020-09-28 2023-01-20 北京大学深圳研究生院 一种协调分布式的网内资源调度方法及系统、存储介质
CN115695200A (zh) * 2021-07-28 2023-02-03 华为技术有限公司 带宽分配方法、装置以及系统
CN114500360A (zh) * 2022-01-27 2022-05-13 河海大学 一种基于深度强化学习的网络流量调度方法以及系统
CN114124828A (zh) * 2022-01-27 2022-03-01 广东省新一代通信与网络创新研究院 一种基于可编程交换机的机器学习方法及装置
CN114615183A (zh) * 2022-03-14 2022-06-10 广东技术师范大学 基于资源预测的路由方法、装置、计算机设备及存储介质
CN114615183B (zh) * 2022-03-14 2023-09-05 广东技术师范大学 基于资源预测的路由方法、装置、计算机设备及存储介质
CN115022231A (zh) * 2022-06-30 2022-09-06 武汉烽火技术服务有限公司 一种基于深度强化学习的最优路径规划的方法和系统
CN115022231B (zh) * 2022-06-30 2023-11-03 武汉烽火技术服务有限公司 一种基于深度强化学习的最优路径规划的方法和系统
CN117240774A (zh) * 2023-11-15 2023-12-15 云南省地矿测绘院有限公司 一种跨域智能sdn路由方法
CN117240774B (zh) * 2023-11-15 2024-01-23 云南省地矿测绘院有限公司 一种跨域智能sdn路由方法

Also Published As

Publication number Publication date
CN108401015B (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN108401015A (zh) 一种基于深度强化学习的数据中心网络路由方法
Jurado-Lasso et al. Energy-aware routing for software-defined multihop wireless sensor networks
CN106789648B (zh) 基于内容存储与网络状况的软件定义网络路由决策方法
CN108833279A (zh) 软件定义网络中基于业务分类的多约束QoS路由的方法
CN107135158A (zh) 一种多路径传输中最优路径选择方法
Mohammadi et al. An adaptive type-2 fuzzy traffic engineering method for video surveillance systems over software defined networks
CN106789744A (zh) 基于融合网络虚拟化带有时延感知的高吞吐资源调度方法
Paganini et al. A unified approach to congestion control and node-based multipath routing
CN107204919A (zh) 一种基于pof的边缘快速路由与缓存系统及方法
CN108259387A (zh) 一种通过交换机构建的交换系统及其路由算法
CN105681438A (zh) 内容中心网络中一种集中式的缓存决策策略
CN108966053A (zh) 一种多域网络动态域序列跨域路由计算方法及装置
Zhao et al. Improving inter-domain routing through multi-agent reinforcement learning
CN116915622A (zh) 基于双层规划的网络资源划分和路径规划联合优化方法
Shirmarz et al. A novel flow routing algorithm based on non-dominated ranking and crowd distance sorting to improve the performance in SDN
CN117294643B (zh) 一种基于SDN架构的网络QoS保障路由方法
Chen Simulation model of AI-assisted cognitive routing algorithm for the dynamic optical network in business
CN106714265A (zh) 基于dtn算法的网络节点预测方法和装置
Rao et al. A deep learning-based constrained intelligent routing method
CN116389347A (zh) 一种基于强化学习的动态sdn路由优化算法
CN115225512B (zh) 基于节点负载预测的多域服务链主动重构机制
CN109547345A (zh) 一种软件定义机载网络架构及内容驱动的路由协议
CN110139173A (zh) 一种降低光传送网端到端时延的网络分域方法
Di Caro et al. Theory and Practice of Ant-Based Routing in Dynamic Telecommunication Networks
CN111865793A (zh) 基于功能学习的IPv6网络服务定制化可靠路由系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant