CN111211987B - 网络中流量动态调整方法、系统、电子设备及存储介质 - Google Patents

网络中流量动态调整方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN111211987B
CN111211987B CN201911204067.6A CN201911204067A CN111211987B CN 111211987 B CN111211987 B CN 111211987B CN 201911204067 A CN201911204067 A CN 201911204067A CN 111211987 B CN111211987 B CN 111211987B
Authority
CN
China
Prior art keywords
router node
boundary router
network
source
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911204067.6A
Other languages
English (en)
Other versions
CN111211987A (zh
Inventor
李丹
程阳
吴建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911204067.6A priority Critical patent/CN111211987B/zh
Publication of CN111211987A publication Critical patent/CN111211987A/zh
Priority to US17/103,330 priority patent/US11050659B2/en
Application granted granted Critical
Publication of CN111211987B publication Critical patent/CN111211987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/22—Alternate routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H04L45/04—Interdomain routing, e.g. hierarchical routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • H04L45/122—Shortest path evaluation by minimising distances, e.g. by selecting a route with minimum of number of hops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/30—Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/43—Assembling or disassembling of packets, e.g. segmentation and reassembly [SAR]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种网络中流量动态调整方法、系统、电子设备及存储介质，方法包括：获取网络中任一边界路由器节点收集的局部网络状态信息；将任一边界路由器节点收集的局部网络状态信息输入对应的第一预设子模型，得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例，其中，源边界路由器节点为所述任一边界路由器节点，目的边界路由器节点为网络中的出口边界路由器节点。本发明根据网络中边界路由器收集的局部网络状态信息，对网络路径上的网络流量进行调整，能够实现在网络环境发生变化时，自动及时对各路径上的流量比例进行调整，设计了流量感知的动态路由算法，提升网络的利用率。

Description

网络中流量动态调整方法、系统、电子设备及存储介质
技术领域
本发明属于通信网络技术领域，尤其涉及一种网络中流量动态调整方法、系统、电子设备及存储介质。
背景技术
路由是现代网络节点互联通信的核心，随着网络规模的扩张和网络硬件的升级，网络系统变得越来越复杂。传统的基于网络拓扑信息的路由技术，由于无法感知流量动态变化的特征，并不能很好地提升网络的运行效率，网络路由成为制约大规模网络高效运行的主要瓶颈。
为了提升网络的传输效率，考虑结合网络流量动态变化的特征，实时规划路由得到广泛重视，如使用线性规划约束模型实时求解路径规划。然而，网络流量的变化具有实时性，随着网络规模的增大，求解大规模流量路径规划问题产生巨大的计算开销，无法满足流量调度对实时性的要求。
发明内容
为克服上述现有问题或者至少部分地解决上述问题，本发明实施例提供一种网络中流量动态调整方法、系统、电子设备及存储介质。
根据本发明实施例的第一方面，提供一种网络中流量动态调整方法，包括：
获取网络中任一边界路由器节点收集的局部网络状态信息；
将所述任一边界路由器节点收集的局部网络状态信息输入对应训练后的第一预设子模型，得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例，其中，所述源边界路由器节点为所述任一边界路由器节点，所述目的边界路由器节点为网络中的出口边界路由器节点。
在上述技术方案的基础上，本发明还可以作出如下改进。
进一步的，所述任一边界路由器节点收集的局部网络状态信息包括从源边界路由器节点到目的边界路由器节点的每一条备选路径上的最大链路利用率和每一条备选路径上所有网络设备的最大排队长度信息。
进一步的，采用预设方法从源边界路由器节点到目的边界路由器节点的所有网络路径中确定出多条备选路径。
进一步的，所述采用预设方法从源边界路由器节点到目的边界路由器节点的所有网络路径中确定出多条备选路径包括：
采用无关路由算法从源边界路由器节点到目的边界路由器节点的所有网络路径中计算出具有多样性的多条备选路径；或者，
采用K-SPF算法从源边界路由器节点到目的边界路由器节点的所有网络路径中计算出多条备选路径。
进一步的，每一个源边界路由器节点对应一个第一预设子模型，还包括第二预设子模型，多个所述第一预设子模型和所述第二预设子模型组成预设模型；
通过如下方式对每一个第一预设子模型进行训练：
在当前时刻，将网络中每一个源边界路由器节点收集的局部网络状态信息输入每一个源边界路由器节点对应的第一预设子模型，输出从每一个源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例；
将网络中每一个源边界路由器节点对应的流量分割比例进行组合，得到组合后的流量分割比例集合；以及将每一个源边界路由器节点收集的局部网络状态信息进行组合，得到组合后的全局网络状态信息；
将流量分割比例集合和全局网络状态信息输入第二预设子模型中，输出对应的状态-动作价值Q；
对于任一个源边界路由器节点，将其对应的流量分割比例替换为均等分割比例，除所述任一源边界路由器节点之外的源边界路由器节点对应的流量分割比例不变，形成更新的流量分割比例集合；
将更新后的流量分割比例集合和所述全局网络状态信息再次输入第二预设子模型中，输出与所述任一个源边界路由器节点对应的基准动作-状态价值b；
根据所述Q值和所述任一个源边界路由器节点对应的b值，得到与所述任一个源边界路由器节点的当前动作对应的贡献值A；
根据所述贡献值A对所述任一个源边界路由器节点对应的第一预设子模型的模型参数进行调整，得到训练后的所述任一个源边界路由器节点对应的第一预设子模型。
进一步的，通过如下方式对所述第二预设子模型进行训练：
在所述当前时刻的下一时刻，将网络中每一个源边界路由器节点收集的局部网络状态信息输入每一个源边界路由器节点对应的第一预设子模型，输出从每一个源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例；
将网络中每一个源边界路由器节点对应的流量分割比例进行组合，得到组合后的流量分割比例集合；以及将每一个源边界路由器节点收集的局部网络状态信息进行组合，得到组合后的全局网络状态信息；
将流量分割比例集合和全局网络状态信息输入第二预设子模型中，输出对应的Q′值，其中，Q′值为下一时刻对应的状态-动作价值；
根据所述Q′值与Q值计算当前状态动作的均方贝尔曼误差，根据所述均方贝尔曼误差对所述第二预设子模型的模型参数进行调整，得到训练后的第二预设子模型。
进一步的，所述得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例之后还包括：
根据所述第一预设子模型输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例，为每一条新到达的流上的数据包选择一条备选路径，作为每一条流上的数据包经过网络的转发路径；
利用源路由技术将每一条流上的数据包按照选择的备选路径在网络域内转发到目的边界路由器节点。
根据本发明实施例第二方面提供一种网络中流量动态调整系统，包括：
获取模块，用于获取网络中任一边界路由器节点收集的局部网络状态信息；
输出模块，用于将所述任一边界路由器节点收集的局部网络状态信息输入对应训练后的第一预设子模型，得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例，其中，所述源边界路由器节点为所述任一边界路由器节点，所述目的边界路由器节点为网络中的出口边界路由器节点。
根据本发明实施例的第三个方面，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的网络中流量动态调整方法。
根据本发明实施例的第四个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的网络中流量动态调整方法。
本发明实施例提供一种网络中流量动态调整方法、系统、电子设备及存储介质，该方法根据网络中边界路由器收集的局部网络状态信息，对网络路径上的网络流量进行调整，能够实现在网络环境发生变化时，自动及时对各路径上的流量比例进行调整，保证网络系统的稳定运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的网络中流量动态调整方法整体流程示意图；
图2为本发明实施例提供的网络架构图；
图3为本发明实施例预设模型的结构示意图；
图4为本发明实施例提供的网络中流量动态调整系统整体结构示意图；
图5为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
在本发明的一个实施例中提供一种网络中流量动态调整方法，图1为本发明实施例提供的网络中流量动态调整方法整体流程示意图，该方法包括：
获取网络中任一边界路由器节点收集的局部网络状态信息；
将所述任一边界路由器节点收集的局部网络状态信息输入对应训练后的第一预设子模型，得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例，其中，所述源边界路由器节点为所述任一边界路由器节点，所述目的边界路由器节点为网络中的出口边界路由器节点。
可以理解的是，随着网络规模的扩张和网络硬件的升级，网络系统变得越来越复杂，传统的网络拓扑信息的路由技术，由于缺乏对网络流量动态性的感知，并不能很好地提升网络的运行效率，网络路由成为制约大规模网络高效运行的主要瓶颈。针对传统互联网路由采用“基于网络拓扑的静态路由+基于线性规划的流量工程”的方法，导致网络链路的负载不均衡、对动态突发流量的反应慢的问题，本发明实施例针对不断发生变化的网络环境，对不同网络路径上的流量比例进行调整，实现网络系统的动态路由控制，确保整个网络系统的稳定运行。
具体的，参见图2，对于一个网络系统，其中有很多个路由器节点，其中，网络中的路由器节点包括边界路由器节点、内部路由器节点以及交换设备(比如，网络中的交换机)，比如图2中的编号为1、2、3、4、5和6路由器节点为边界路由器节点，编号为7、8节点为内部路由器节点。其中，编号为1、2、3、5和6路由器节点均可以为源路由器节点(也可以称为入口边界路由器节点)，编号为4的路由器节点为目的边界路由器节点(也可以称为出口边界路由器节点)。在此需要说明的是，所有的边界路由器节点既可以作为入口边界路由器节点也可以作为出口边界路由器节点，因为网络流量可以是双向的，一个路由器节点所扮演的角色，入口节点还是出口节点依据其上的流量方向而定。图2仅仅示出了从路由器节点1到路由器节点4的流量方向。
在不同的时间点，每一个源边界路由器节点可收集局部网络状态信息，其中，源边界路由器可借助网络遥测工具收集局部网络状态信息，如每一个源边界路由器节点利用带内遥测技术INT或者OSPF-TE等方法来收集局部网络状态信息。
本发明实施例根据网络中边界路由器收集的局部网络状态信息，对网络路径上的网络流量进行调整，能够根据实时的网络状态变化，自动及时对各路径上的流量比例进行调整，保证网络系统的运行效率，提升网络利用率。
在上述实施例的基础上，本发明实施例中，任一边界路由器节点收集的局部网络状态信息包括从源边界路由器节点到目的边界路由器节点的每一条备选路径上的最大链路利用率和每一条备选路径上所有网关设备的最大排队长度信息。
可以理解的是，对于网络系统中的路由器节点，当源边界路由器节点和目的边界路由器节点确定时，源边界路由器节点到目的边界路由器节点之间存在多条网络路径，通常在进行网络数据传输时，会从所有的网络路径中选择几条最优的路径，以下将选择出来的多条最优路径称为从该源边界路由器节点到该目的边界路由器节点的备选路径。网络系统中的每一个源边界路由器均可以收集到从该源边界路由器节点到该目的边界路由器节点的每一条备选路径上的最大链路利用率和每一条备选路径上所有网络设备的最大排队长度信息。也就是说，对于每一个时间点和指定的一对源边界路由器节点和目的边界路由器节点，每一个源边界路由器节点可收集到该源边界路由器节点和目的边界路由器节点的每一条备选路径上的最大链路利用率和每一条备选路径上所有网关设备的最大排队长度信息。
具体来说，考虑到在一个网络内部(如图2所示)，每一个边界路由器所处在不同的网络位置，具有不同的网络观测视角和控制区域。在本发明实施例中，将每一个边界路由器都作为一个独立的智能路由决策单元，在每一个边界路由器中，都包含一个具有智能路由决策的智能体模型，该智能体模型是一个多层的神经网络模型组成。在每个边界路由器上：利用数据采集技术，如带内遥测技术INT或者OSPF-TE等方法，采集局部网络状态信息，包括每一条备选路径上的最大链路利用率和每一条备选路径上的所有网络设备(包括路由器和交换机)的最大排队信息，其中，备选路径指的是，以该边界路由器为起始节点，到达出口边界路由器的一条可达路径，选择多条最短路径作为该源边界路由器节点、目的边界路由节点对的备选路径。
其中，对于网络系统中指定的源边界路由器节点和目的边界路由器节点的所有网络路径，采用预设方法从所有网络路径中确定出多条备选路径。
具体的，在备选路径的选择过程中，备选路径指的是在一个网络域内，以边界路由器入口节点作为起始节点，到达出口边界路由器节点的可达路径(如图2所示，1→2→3→4，1→7→8→4，1→6→5→4都可以作为边界路由器节点1到边界路由器节点4的备选路径)。默认情况下，使用无关路由(OR)的方法计算出具有多样性的K(默认情况下，设置K为3)条备选路径；使用其他路径计算方法(如K-SPF)算出的K条最短路径也可以作为本发明实施例中的备选路径。
在上述各实施例的基础上，本发明实施例中，每一个源边界路由器节点对应一个第一预设子模型，还包括第二预设子模型，多个所述第一预设子模型和所述第二预设子模型组成预设模型；
通过如下方式对每一个第一预设子模型进行训练：
在当前时刻，将网络中每一个源边界路由器节点收集的局部网络状态信息输入每一个源边界路由器节点对应的第一预设子模型，输出从每一个源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例；
将网络中每一个源边界路由器节点对应的流量分割比例进行组合，得到组合后的流量分割比例集合；以及将每一个源边界路由器节点收集的局部网络状态信息进行组合，得到组合后的全局网络状态信息；
将流量分割比例集合和全局网络状态信息输入第二预设子模型中，输出对应的状态-动作价值Q；
对于任一个源边界路由器节点，将其对应的流量分割比例替换为均等分割比例，除所述任一源边界路由器节点之外的源边界路由器节点对应的流量分割比例不变，形成更新的流量分割比例集合；
将更新后的流量分割比例集合和所述全局网络状态信息再次输入第二预设子模型中，输出与所述任一个源边界路由器节点对应的基准动作-状态价值b；
根据所述Q值和所述任一个源边界路由器节点对应的b值，得到与所述任一个源边界路由器节点的当前动作(也即流量分割比例)对应的贡献值A；
根据所述贡献值A对所述任一个源边界路由器节点对应的第一预设子模型的模型参数进行调整，得到训练后的所述任一个源边界路由器节点对应的第一预设子模型。
可以理解的是，每一个源边界路由器节点对应一个第一预设子模型，还包括第二预设子模型，多个第一预设子模型和所述第二预设子模型组成预设模型，可参见图3，每一个第一预设子模型称为Actor，第二预设子模型称为Critic，多个第一预设子模型和一个第二预设子模型组成预设模型。另外，为了避免强化学习训练的过程中随机动作探索过程对真实网络环境的干扰，本发明实施例对模型进行训练的过程是基于搭建的模拟网络环境上进行的，且是基于离线训练的。其中，所谓的基准动作-状态价值b代表当前状态下，该Actor策略模型所能采取的最好动作的价值。贡献值A代表当前策略模型Actor的动作对于当前整体网络环境的价值。
在上述各实施例的基础上，本发明实施例中，通过如下方式对所述第二预设子模型进行训练：
在所述当前时刻的下一时刻，将网络中每一个源边界路由器节点收集的局部网络状态信息输入每一个源边界路由器节点对应的第一预设子模型，输出从每一个源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例；
将网络中每一个源边界路由器节点对应的流量分割比例进行组合，得到组合后的流量分割比例集合；以及将每一个源边界路由器节点收集的局部网络状态信息进行组合，得到组合后的全局网络状态信息；
将流量分割比例集合和全局网络状态信息输入第二预设子模型中，输出对应的Q′值，其中，Q′值与前述的当前时刻对应的Q值对应，为下一时刻对应的状态-动作价值；其中，当前时刻经过智能体模型与环境的动作交互状态转移得到下一个时刻。
根据所述Q′值与Q值计算当前状态动作的均方贝尔曼误差，根据所述均方贝尔曼误差对所述第二预设子模型的模型参数进行调整，得到训练后的第二预设子模型。
其中，整个训练框架(包括多个第一预设子模型和一个第二预设子模型)采用的是一个多智能体Actor-Critic的框架，可参见图3，下面根据图3对整个框架的训练过程进行详细说明。
其中，每一个第一预设子模型称为Actor，虚拟模拟网络中的每一个源边界路由器节点对应的第一预设子模型分别为Actor1、Actor2、Actor3、…、Actorn，第二预设子模型称为Critic。在当前时刻t，虚拟模拟网络中的每一个源边界路由器节点收集到的局部网络状态信息称为
Figure BDA0002296561530000101
先进行第一轮训练：将
Figure BDA0002296561530000105
输入对应的Actor1中，输出第一个源边界路由器节点对应的流量分割比例
Figure BDA0002296561530000103
将
Figure BDA0002296561530000104
输入对应的Actor2中，输出为
Figure BDA0002296561530000111
以此类推，将
Figure BDA0002296561530000112
输入对应的Actorn中，输出为
Figure BDA0002296561530000113
将
Figure BDA0002296561530000114
组合，得到全局网络状态信息St；将
Figure BDA0002296561530000115
Figure BDA0002296561530000116
进行组合，得到组合后的流量比例分割集合At；
将St和At输入Critic中，Critic可以理解为是一个评价模型，输出对应的Q(St,At)值。
对模型训练是为了对每一个Actor以及Critic的模型参数进行调整，对每一个Actor的模型参数进行调整的过程为，以对Actor1的模型参数进行调整的方法为例，将Actor1的输出结果
Figure BDA0002296561530000117
替换为默认的流量分割比例，即流量均等分割比例，即每一条备选路径上的流量比例相等，其它的Actor输出的流量分割比例的结果不变，重新组合成更新后的At，St不变，将更新后的At，St输入Critic中，输出与Actor1对应的b1。根据前述输出的Q(St,At)值和该次输出的b1值，得到Actor1对应的贡献值
Figure BDA0002296561530000118
根据
Figure BDA0002296561530000119
对Actor1的模型参数进行调整，得到训练后的Actor1；对于其它的Actor，采用同样的方式对自身的模型参数进行调整，得到训练后的Actor。
对于Critic模型参数进行调整的过程为，对于当前时刻的下一个时刻t′，虚拟模拟网络中的每一个源边界路由器节点收集到的局部网络状态信息称为
Figure BDA00022965615300001110
进行第二轮的训练，将
Figure BDA00022965615300001111
输入对应的Actor1中，输出第一个源边界路由器节点对应的流量分割比例
Figure BDA00022965615300001112
将
Figure BDA00022965615300001113
输入对应的Actor2中，输出为
Figure BDA00022965615300001114
以此类推，将
Figure BDA00022965615300001115
输入对应的Actorn中，输出为
Figure BDA00022965615300001116
将
Figure BDA00022965615300001117
组合，得到全局网络状态信息St′；将
Figure BDA00022965615300001118
Figure BDA00022965615300001119
进行组合，得到组合后的流量比例分割集合At′；
将St′和At′输入Critic中，Critic可以理解为是一个评价模型，输出对应的Q(St′,At′)值。
根据Q(St′,At′)值与Q(St,At)值计算当前状态动作的均方贝尔曼误差，其中，均方贝尔曼误差L(w)如下:
L(w)＝(r+γQ(S′,A′)-Q(S,A))2；
随后根据L(w)使用梯度下降方法对Critic模型的参数w进行调整，形成训练后的Critic模型，其中，r是指当前网络环境中瓶颈链路的利用率Umax的倒数，γ表示衰减因子，默认值设置为0.9；该均方贝尔曼误差可以表述为：评价模型Critic对于当前动作-状态价值(也就是Q)的评估和经过状态转移得到的下一个状态-动作价值Q′，以及单步奖励r之间的误差的平方，也即(r+γQ(S′,A′)-Q(S,A))2。
该框架能够根据当前状态对每一个Actori(源边界路由器节点)的当前动作ai(从该源路由器节点到目的路由器节点的每一条备选路径上的流量分割比例)进行贡献的评估，并利用差异化的奖励机制对每一个Actori所做的动作ai进行差异化的反馈，从而实现更加高效的训练效率。该框架包含两个模型，分别为Actor模型(即前述实施例的第一预设子模型)和Critic模型(即前述实施例的第二预设子模型)。这两种模型均是由神经网络结构组成，其中Actor模型均由多层网络组成。Critic模型是由多层全连接神经网络结构组成(默认情况下设置为5层)，输出一个单一的值，表示每一个Actor的动作对当前网络环境的贡献。Critic是全局唯一实体，用作训练Actor之间的协作优化，其中Actori上的参数用θi表示；Critic的参数用w表示。
具体来说，一个完整的训练模型(包括多个第一预设子模型和第二预设子模型)描述如下：
1)每个Actori都根据局部的(K个)网络状态信息si作为输入，得到输出结果ai(从当前源路由器节点到目的路由器节点的每一条备选路径的流量分割比例)；
2)全局的Critic将全局的输入网络状态St＝[s1,…,sn]以及全部的Actor的输出At＝[a1,…,an]作为输入，得到输出Q(St,At)表示当前所有Actor产生的动作组合在当前网络状态中产生的总价值，也即总贡献。
3)全局的Critic为每一个Actori分配其产生当前动作ai的价值
Figure BDA0002296561530000131
其中
Figure BDA0002296561530000132
表示当前
Figure BDA0002296561530000138
在固定其他Actor的动作At-ai情况下，所能达到的最好评价。
Figure BDA0002296561530000133
表示当前Actori应该采取的最优动作，也就是均分备选路径上的分割比。
4)每一个Actori根据收到来自Critic动作价值评价
Figure BDA0002296561530000134
更新其自身模型参数。更新方法表示如下：
Figure BDA0002296561530000135
其中α表示学习率，默认情况下设置为0.01；
Figure BDA0002296561530000136
表示Actori的策略函数，在这里使用的是神经网络组成的复杂函数。
5)Critic利用最小化均方贝尔曼误差(BE，Bellman error)方法更新其自身的网络模型上的参数。具体更新方法表示为：
Figure BDA0002296561530000137
其中L(w)＝(r+γQ(S′,A′)-Q(S,A))2表示当前动作状态的均方贝尔曼误差，其中S′，A′分别表示环境经由当前状态S和动作A转移到的下一个状态和在下一个状态下应该采取的最优策略组合，其中，γ表示衰减因子，是一个固定值，默认设置为0.9，r是指当前网络环境中瓶颈链路的利用率Umax的倒数，w是指Critic模型的参数，β是指Critic模型的更新步长，一般是一个固定值，默认设置成0.01。
经过以上五个步骤，完成一个完整的训练过程，这样经过不断的重复训练，组建调整模型，达到多智能体协作优化的目标。
在上述各实施例的基础上，本发明实施例中，得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例之后还包括：
根据第一预设子模型输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例，为每一条新到达的流上的数据包选择一条备选路径，作为每一条流上的数据包的转发路径；
利用源路由技术将每一条流上的数据包按照选择的备选路径在网络域内转发到目的边界路由器节点。
可以理解的是，在需要对网络系统中的从某一个源边界路由器节点到某一个目的边界路由器节点的多条备选路径的流量比例进行调整时，可以将网络中某个边界路由器收集的每一条备选路径上的最大链路利用率和每一条备选路径上所有网关设备的最大排队长度信息输入到最终训练后的第一预设子模型中，得到输出的从该源边界路由器节点到该目的边界路由器节点的每一条备选路径的流量分割比例。边界路由器根据该流量分割比例，针对每一条流上的数据包选取对应的一条备选路径，利用源路由技术(如分段路由，SR)将每一条流上的数据包按照选择的备选路径在该网络域内转发到出口的路由器节点，即目的路由器节点。
针对本发明实施例提供的网络中流量动态调整方法，在不同的网络拓扑中进行了实验，发相比已有的方案(包括强化学习方案以及OSPF等传统协议)，能有效降低网络瓶颈链路的利用率26％-85％。
在本发明的另一个实施例中提供一种网络中流量动态调整系统，该系统用于实现前述各实施例中的方法。因此，在前述网络中流量动态调整方法的各实施例中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图4为本发明实施例提供的网络中流量动态调整系统整体结构示意图，该系统包括：
获取模块43，用于获取网络中任一边界路由器收集的局部网络状态信息；
输出模块44，用于将任一边界路由器收集的局部网络状态信息输入训练后的第一预设子模型，得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例，其中，所述源边界路由器节点为所述任一边界路由器节点，所述目的边界路由器节点为网络中的出口边界路由器节点。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行如下方法：获取网络中任一边界路由器收集的局部网络状态信息；将任一边界路由器收集的局部网络状态信息输入训练后的第一预设子模型，得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：获取网络中任一边界路由器收集的局部网络状态信息；将任一边界路由器收集的局部网络状态信息输入训练后的第一预设子模型，得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例。
本发明实施例提供一种网络中流量动态调整方法、系统、电子设备及存储介质，该方法根据网络中边界路由器收集的局部网络状态信息，对网络路径上的网络流量进行调整，能够实现在网络环境发生变化时，自动及时对各路径上的流量比例进行调整，保证网络系统的稳定运行。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种网络中流量动态调整方法，其特征在于，包括：
获取网络中任一边界路由器节点收集的局部网络状态信息；
将所述任一边界路由器节点收集的局部网络状态信息输入对应训练后的第一预设子模型，得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例，其中，所述源边界路由器节点为所述任一边界路由器节点，所述目的边界路由器节点为网络中的出口边界路由器节点；
每一个源边界路由器节点对应一个第一预设子模型，还包括第二预设子模型，多个所述第一预设子模型和所述第二预设子模型组成预设模型；
通过如下方式对每一个第一预设子模型进行训练：
在当前时刻，将网络中每一个源边界路由器节点收集的局部网络状态信息输入每一个源边界路由器节点对应的第一预设子模型，输出从每一个源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例；
将网络中每一个源边界路由器节点对应的流量分割比例进行组合，得到组合后的流量分割比例集合；以及将每一个源边界路由器节点收集的局部网络状态信息进行组合，得到组合后的全局网络状态信息；
将流量分割比例集合和全局网络状态信息输入第二预设子模型中，输出对应的当前状态-动作价值Q；
对于任一个源边界路由器节点，将其对应的流量分割比例替换为均等分割比例，除所述任一个源边界路由器节点之外的源边界路由器节点对应的流量分割比例不变，形成更新的流量分割比例集合；
将更新后的流量分割比例集合和所述全局网络状态信息再次输入第二预设子模型中，输出与所述任一个源边界路由器节点对应的基准动作-状态价值b；
根据所述当前状态-动作价值Q和所述基准动作-状态价值b，得到与所述任一个源边界路由器节点的当前动作对应的贡献值A；
根据所述贡献值A对所述任一个源边界路由器节点对应的第一预设子模型的模型参数进行调整，得到训练后的所述任一个源边界路由器节点对应的第一预设子模型。
2.根据权利要求1所述的网络中流量动态调整方法，其特征在于，所述任一边界路由器节点收集的局部网络状态信息包括从源边界路由器节点到目的边界路由器节点的每一条备选路径上的最大链路利用率和每一条备选路径上所有网络设备的最大排队长度信息。
3.根据权利要求1或2所述的网络中流量动态调整方法，其特征在于，还包括：
采用预设方法从源边界路由器节点到目的边界路由器节点的所有网络路径中确定出多条备选路径。
4.根据权利要求3所述的网络中流量动态调整方法，其特征在于，所述采用预设方法从源边界路由器节点到目的边界路由器节点的所有网络路径中确定出多条备选路径包括：
采用无关路由算法从源边界路由器节点到目的边界路由器节点的所有网络路径中计算出具有多样性的多条备选路径；或者，
采用K-SPF算法从源边界路由器节点到目的边界路由器节点的所有网络路径中计算出多条备选路径。
5.根据权利要求1所述的网络中流量动态调整方法，其特征在于，通过如下方式对所述第二预设子模型进行训练：
在所述当前时刻的下一时刻，将网络中每一个源边界路由器节点收集的局部网络状态信息输入每一个源边界路由器节点对应的第一预设子模型，输出从每一个源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例；
将网络中每一个源边界路由器节点对应的流量分割比例进行组合，得到组合后的流量分割比例集合；以及将每一个源边界路由器节点收集的局部网络状态信息进行组合，得到组合后的全局网络状态信息；
将流量分割比例集合和全局网络状态信息输入第二预设子模型中，输出对应的Q′值，其中，Q′值为下一时刻对应的状态-动作价值；
根据所述Q′值与Q值计算当前状态动作的均方贝尔曼误差，根据所述均方贝尔曼误差对所述第二预设子模型的模型参数进行调整，得到训练后的第二预设子模型。
6.根据权利要求1所述的网络中流量动态调整方法，其特征在于，所述得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例之后还包括：
根据所述第一预设子模型输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例，为每一条新到达的流上的数据包选择一条备选路径，作为每一条流上的数据包经过网络的转发路径；
利用源路由技术将每一条流上的数据包按照选择的备选路径在网络域内转发到目的边界路由器节点。
7.一种网络中流量动态调整系统，其特征在于，包括：
获取模块，用于获取网络中任一边界路由器节点收集的局部网络状态信息；
输出模块，用于将所述任一边界路由器节点收集的局部网络状态信息输入对应训练后的第一预设子模型，得到输出的从源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例，其中，所述源边界路由器节点为所述任一边界路由器节点，所述目的边界路由器节点为网络中的出口边界路由器节点；
每一个源边界路由器节点对应一个第一预设子模型，还包括第二预设子模型，多个所述第一预设子模型和所述第二预设子模型组成预设模型；
通过如下方式对每一个第一预设子模型进行训练：
在当前时刻，将网络中每一个源边界路由器节点收集的局部网络状态信息输入每一个源边界路由器节点对应的第一预设子模型，输出从每一个源边界路由器节点到目的边界路由器节点的每一条备选路径上的流量分割比例；
将网络中每一个源边界路由器节点对应的流量分割比例进行组合，得到组合后的流量分割比例集合；以及将每一个源边界路由器节点收集的局部网络状态信息进行组合，得到组合后的全局网络状态信息；
将流量分割比例集合和全局网络状态信息输入第二预设子模型中，输出对应的当前状态-动作价值Q；
对于任一个源边界路由器节点，将其对应的流量分割比例替换为均等分割比例，除所述任一个源边界路由器节点之外的源边界路由器节点对应的流量分割比例不变，形成更新的流量分割比例集合；
将更新后的流量分割比例集合和所述全局网络状态信息再次输入第二预设子模型中，输出与所述任一个源边界路由器节点对应的基准动作-状态价值b；
根据所述当前状态-动作价值Q和所述基准动作-状态价值b，得到与所述任一个源边界路由器节点的当前动作对应的贡献值A；
根据所述贡献值A对所述任一个源边界路由器节点对应的第一预设子模型的模型参数进行调整，得到训练后的所述任一个源边界路由器节点对应的第一预设子模型。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述网络中流量动态调整方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述网络中流量动态调整方法的步骤。
CN201911204067.6A 2019-11-29 2019-11-29 网络中流量动态调整方法、系统、电子设备及存储介质 Active CN111211987B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911204067.6A CN111211987B (zh) 2019-11-29 2019-11-29 网络中流量动态调整方法、系统、电子设备及存储介质
US17/103,330 US11050659B2 (en) 2019-11-29 2020-11-24 Methods, computing devices, and storage media for adjusting network traffic

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911204067.6A CN111211987B (zh) 2019-11-29 2019-11-29 网络中流量动态调整方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111211987A CN111211987A (zh) 2020-05-29
CN111211987B true CN111211987B (zh) 2021-07-27

Family

ID=70786272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911204067.6A Active CN111211987B (zh) 2019-11-29 2019-11-29 网络中流量动态调整方法、系统、电子设备及存储介质

Country Status (2)

Country Link
US (1) US11050659B2 (zh)
CN (1) CN111211987B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114553760B (zh) * 2020-11-25 2023-05-16 华为技术有限公司 路径权重分配方法以及装置
CN112671914B (zh) * 2020-12-25 2022-07-01 杭州海兴泽科信息技术有限公司 一种基于actor模型的物联网设备通讯方法和系统
CN112734286B (zh) * 2021-01-22 2023-04-07 东华大学 一种基于多策略深度强化学习的车间调度方法
CN114726770B (zh) * 2022-04-11 2023-03-21 中国科学院计算技术研究所 一种应用于分段路由网络环境的流量工程方法
CN115118608B (zh) * 2022-05-07 2024-05-03 清华大学 快速流量工程方法及装置
CN115150335B (zh) * 2022-06-30 2023-10-31 武汉烽火技术服务有限公司 一种基于深度强化学习的最优流量分割的方法和系统
CN116032672A (zh) * 2023-01-07 2023-04-28 东莞恒泰数字技术有限公司 一种基于智能路由器的动态低能耗控制方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136998A (zh) * 2010-08-30 2011-07-27 华为技术有限公司 流量工程和服务器选择的联合优化方法、系统及相关设备
CN105791144A (zh) * 2014-12-19 2016-07-20 中兴通讯股份有限公司 链路流量分担的方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10476619B2 (en) * 2003-04-23 2019-11-12 Apple Inc. Routing quality-of-service traffic in a wireless system
US9019865B2 (en) * 2011-03-04 2015-04-28 Juniper Networks, Inc. Advertising traffic engineering information with the border gateway protocol
US9485551B2 (en) * 2013-09-25 2016-11-01 Ciena Corporation Enhanced routing and wavelength assignment techniques for reducing wavelength continuity blocking
CN104518899B (zh) * 2013-09-30 2018-06-26 中国电信股份有限公司 网络路由流量仿真方法和装置
US9654361B2 (en) * 2014-05-13 2017-05-16 Cisco Technology, Inc. Dynamic collection of network metrics for predictive analytics
GB2537338A (en) * 2014-11-28 2016-10-19 Aria Networks Ltd Modeling a border gateway protocol network
GB2536932A (en) * 2015-03-31 2016-10-05 Fujitsu Ltd System, method, and program for storing and analysing a data graph
US10608930B2 (en) * 2017-05-23 2020-03-31 Cisco Technology, Inc. Network statistics estimation and prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136998A (zh) * 2010-08-30 2011-07-27 华为技术有限公司 流量工程和服务器选择的联合优化方法、系统及相关设备
CN105791144A (zh) * 2014-12-19 2016-07-20 中兴通讯股份有限公司 链路流量分担的方法和装置

Also Published As

Publication number Publication date
US20210168065A1 (en) 2021-06-03
CN111211987A (zh) 2020-05-29
US11050659B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
CN111211987B (zh) 网络中流量动态调整方法、系统、电子设备及存储介质
CN111010294B (zh) 一种基于深度强化学习的电力通信网路由方法
CN109039942B (zh) 一种基于深度强化学习的网络负载均衡系统及均衡方法
CN111416771B (zh) 基于多智能体强化学习路由策略控制路由动作的方法
CN113328938B (zh) 一种基于深度强化学习的网络自主智能管控方法
Yao et al. AI routers & network mind: A hybrid machine learning paradigm for packet routing
CN114697229B (zh) 一种分布式路由规划模型的构建方法及应用
CN110365514A (zh) 基于强化学习的sdn多级虚拟网络映射方法和装置
CN106572019B (zh) 一种时延保障混合sdn网络节能流量调度方法
CN109413707B (zh) 无线网络环境下基于深度强化学习技术的智能路由方法
CN110247795B (zh) 一种基于意图的云网资源服务链编排方法及系统
CN107948083A (zh) 一种基于增强学习的sdn数据中心拥塞控制方法
CN113612692B (zh) 基于dqn算法的集中式光片上网络自适应路由规划方法
CN115396366B (zh) 基于图注意力网络的分布式智能路由方法
CN111917642A (zh) 分布式深度强化学习的sdn网络智慧路由数据传输方法
CN115714741A (zh) 一种基于协同多智能体强化学习的路由决策方法及系统
CN116669068A (zh) 一种基于gcn的时延业务端到端切片部署方法及系统
CN114710439A (zh) 基于深度强化学习的网络能耗与吞吐量联合优化路由方法
CN116963225B (zh) 一种面向流媒体传输的无线mesh网络路由方法
CN114726770B (zh) 一种应用于分段路由网络环境的流量工程方法
CN115499365A (zh) 路由优化方法、装置、设备及介质
CN116094983A (zh) 基于深度强化学习的智能路由决策方法、系统及存储介质
CN115665264A (zh) 一种基于时延感知的电力通信网自主业务编排方法和装置
Masoumzadeh et al. Deep blue: A fuzzy q-learning enhanced active queue management scheme
CN111817975A (zh) 混合式网内动态负载均衡方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant