CN112953844A - 一种网络流量优化方法及装置 - Google Patents

一种网络流量优化方法及装置 Download PDF

Info

Publication number
CN112953844A
CN112953844A CN202110228902.0A CN202110228902A CN112953844A CN 112953844 A CN112953844 A CN 112953844A CN 202110228902 A CN202110228902 A CN 202110228902A CN 112953844 A CN112953844 A CN 112953844A
Authority
CN
China
Prior art keywords
link
network
information
data plane
plane device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110228902.0A
Other languages
English (en)
Other versions
CN112953844B (zh
Inventor
段禹心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202110228902.0A priority Critical patent/CN112953844B/zh
Publication of CN112953844A publication Critical patent/CN112953844A/zh
Application granted granted Critical
Publication of CN112953844B publication Critical patent/CN112953844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0823Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种网络流量优化方法及装置,应用于数据平面设备,包括:获取当前时间下的与数据平面设备连接的链路的链路信息。将链路信息输入行为网络,采集行为网络输出的流量动作信息;行为网络部署在数据平面设备上。执行流量动作信息中的流量动作;流量动作包括将流量发送到目标链路、保存流量、丢弃流量中的一种或多种。接收控制平面设备发送的更新后的网络参数;更新后的网络参数为部署在控制平面设备上的评价网络基于评价值更新网络参数获得的;评价值基于流量动作信息得到。基于更新后的网络参数,获取更新后的行为网络和更新后的评价网络。重新执行上述步骤。该方法能够根据链路信息优化流量运行的路径,更高效地完成流量均衡工作。

Description

一种网络流量优化方法及装置
技术领域
本申请涉及通信技术领域,尤其涉及一种网络流量优化方法及装置。
背景技术
现有数据中心网络的结构有对称性和区域性等特性,这些特性使得数据中心的网络结构有充足的备份,可靠性高,但该网络结构同时存在复杂的流量均衡问题。
目前,基于网络层的流量控制方法难以根据实际环境情况对网络结构中链路进行选择,无法应对复杂网络环境。
发明内容
为了解决上述技术问题,本申请提供了一种网络流量优化方法及装置,用于根据网络环境选择流量分发链路,能够快速响应网络环境的变换。
为了实现上述目的,本申请实施例提供的技术方案如下:
本申请实施例提供一种网络流量优化方法,所述方法应用于数据平面设备,所述方法包括:
获取当前时间下的与所述数据平面设备连接的链路的链路信息;链路信息包括链路带宽、链路负载、已用带宽和链路质量;
将所述链路信息输入行为网络,采集所述行为网络输出的流量动作信息;所述行为网络部署在所述数据平面设备上;
执行所述流量动作信息中的流量动作;所述流量动作包括将流量发送到目标链路、保存流量、丢弃流量中的一种或多种;
接收控制平面设备发送的更新后的网络参数;所述更新后的网络参数为部署在控制平面设备上的评价网络基于评价值更新所述网络参数获得的;所述评价值基于所述流量动作信息得到;所述网络参数包括行为网络参数和评价网络参数;
基于所述更新后的网络参数,获取更新后的行为网络和更新后的评价网络;
重新执行所述获取当前时间下的所述数据平面设备连接的链路的链路信息及后续步骤。
可选的,所述评价值具体基于所述流量动作和目标时间的第一环境信息得到。
可选的,所述目标时间的第一环境信息包括:
所述目标时间的所述控制平面设备的参数信息、所述目标时间的所述数据平面设备连接的链路的链路信息、所述目标时间的所述数据平面设备的转发状态和所述目标时间的所述数据平面设备的历史使用率;所述控制平面设备的参数信息包括中央处理器使用率和中央处理器利用率;所述目标时间包括当前时间和历史预设时间段。
可选的,在所述获取当前时间下的与所述数据平面设备连接的链路的链路信息之前,所述方法还包括:
获取当前时间下的所述数据平面设备和目标设备所连接链路的附加链路信息;所述附加链路信息为控制平面设备上的注意力模块根据第二环境消息确定所述数据平面设备需要和所述目标设备进行通信后,所述数据平面设备和所述目标设备之间的链路的链路信息;所述第二环境信息包括当前时间的所述控制平面设备的参数信息和当前时间的与所述数据平面设备连接的链路的链路信息;
则所述当前时间下的与所述数据平面设备连接的链路的链路信息包括当前时间下的所述数据平面设备和所述目标设备所连接链路的附加链路信息。
本申请实施例还提供了一种网络流量优化装置,所述装置应用于数据平面设备,所述装置包括:
第一获取单元,用于获取当前时间下的与所述数据平面设备连接的链路的链路信息;链路信息包括链路带宽、链路负载、已用带宽和链路质量;
输入单元,用于将所述链路信息输入行为网络,采集所述行为网络输出的流量动作信息;所述行为网络部署在所述数据平面设备上;
执行单元,用于执行所述流量动作信息中的流量动作;所述流量动作包括将流量发送到目标链路、保存流量、丢弃流量中的一种或多种;
接收单元,用于接收控制平面设备发送的更新后的网络参数;所述更新后的网络参数为部署在控制平面设备上的评价网络基于评价值更新所述网络参数获得的;所述评价值基于所述流量动作信息得到;所述网络参数包括行为网络参数和评价网络参数;
第二获取单元,用于基于所述更新后的网络参数,获取更新后的行为网络和更新后的评价网络;
循环单元,用于重新执行所述获取当前时间下的所述数据平面设备连接的链路的链路信息及后续步骤。
可选的,所述评价值具体基于所述流量动作和目标时间的第一环境信息得到。
可选的,所述目标时间的第一环境信息包括:
所述目标时间的所述控制平面设备的参数信息、所述目标时间的所述数据平面设备连接的链路的链路信息、所述目标时间的所述数据平面设备的转发状态和所述目标时间的所述数据平面设备的历史使用率;所述控制平面设备的参数信息包括中央处理器使用率和中央处理器利用率;所述目标时间包括当前时间和历史预设时间段。
可选的,所述装置还包括:
第三获取单元,用于在所述获取当前时间下的与所述数据平面设备连接的链路的链路信息之前,获取当前时间下的所述数据平面设备和目标设备所连接链路的附加链路信息;所述附加链路信息为控制平面设备上的注意力模块根据第二环境消息确定所述数据平面设备需要和所述目标设备进行通信后,所述数据平面设备和所述目标设备之间的链路的链路信息;所述第二环境信息包括当前时间的所述控制平面设备的参数信息和当前时间的与所述数据平面设备连接的链路的链路信息;
则所述当前时间下的与所述数据平面设备连接的链路的链路信息包括当前时间下的所述数据平面设备和所述目标设备所连接链路的附加链路信息。
通过上述技术方案可知,本申请具有以下有益效果:
本申请实施例提供了一种网络流量优化方法及装置,该方法应用于数据平面设备,该方法包括:获取当前时间下的与数据平面设备连接的链路的链路信息;链路信息包括链路带宽、链路负载、已用带宽和链路质量。将链路信息输入行为网络,采集行为网络输出的流量动作信息;行为网络部署在数据平面设备上。执行流量动作信息中的流量动作;流量动作包括将流量发送到目标链路、保存流量、丢弃流量中的一种或多种。接收控制平面设备发送的更新后的网络参数;更新后的网络参数为部署在控制平面设备上的评价网络基于评价值更新网络参数获得的;评价值基于流量动作信息得到;网络参数包括行为网络参数和评价网络参数。基于更新后的网络参数,获取更新后的行为网络和更新后的评价网络。重新执行获取当前时间下的数据平面设备连接的链路的链路信息及后续步骤。该方法能够根据链路信息优化流量运行的路径,快速响应网络环境的变化,更高效地完成流量均衡工作。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种网络流量优化方法的示例性应用场景的示意图;
图2为本申请实施例提供的一种网络流量优化方法的流程图;
图3为本申请实施例提供的一种网络流量优化装置的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
为了便于理解本申请实施例提供的网络流量优化方法,下面结合图1对本申请实施例的应用场景进行说明,其中,图1为本申请实施例提供的一种网络流量优化方法的示例性应用场景的示意图。本申请实施例提供的网络流量优化方法可以应用于数据平面设备101。
数据平面设备101获取当前时间下的与数据平面设备101连接的链路的链路信息。其中,链路信息包括链路带宽、链路负载、已用带宽和链路质量。
数据平面设备101将链路信息输入行为网络,采集行为网络输出的流量动作信息。其中,行为网络部署在数据平面设备上。数据平面设备101执行流量动作信息中的流量动作。其中,流量动作包括将流量发送到目标链路、保存流量、丢弃流量中的一种或多种。
部署在控制平面设备102上的评价网络基于流量动作信息获取评价值。该评价值用于衡量当前数据平面设备所执行的流量动作的优选性。评价网络基于评价值更新行为网络参数获得更新后的行为网络参数。
数据平面设备101接收控制平面设备102发送的更新后的行为网络参数,基于更新后的行为网络参数,获取更新后的行为网络。
数据平面设备101重新执行获取当前时间下的数据平面设备101连接的链路的链路信息及后续步骤,以实时获取当前时间下的优选的目标链路,将流量发送至优选的目标链路。
本领域技术人员可以理解,图1所示的示意图仅是本申请实施方式得以在其中实施的一个示例,本申请的实施方式的适用范围并不受到该框架任何方面的限制。
参见图2,图2为本申请实施例提供的一种网络流量优化方法的流程图,该方法应用于数据平面设备,如图2所示,该方法包括S201-S206:
S201:获取当前时间下的与数据平面设备连接的链路的链路信息;链路信息包括链路带宽、链路负载、已用带宽和链路质量。
现代数据中心网络中,通常包含了大量的网络设备、安全设备和应用设备,构成了非常的复杂的网络系统结构。任意两个设备之间都存在着多条可达链路。在一些实施方式中,数据平面设备由可编程交换机构成,具有一定的计算能力。
数据平面设备获取当前时间下的与数据平面设备连接的链路的链路信息。其中,链路信息包括链路带宽、链路负载、已用带宽和链路质量。链路带宽是指在单位时间内能传输的数据量。链路负载指的是在网络中继承载的流量以及网络设备承载的用户量。链路质量是在通信过程中对数据包丢失的衡量情况。通过链路的链路信息,可以得知链路上的流量的使用情况。
需要说明的是,本申请实施例中通过多智能体强化学习方法实现了根据链路的链路信息选择流量的走向,即根据链路的链路信息确定待发流量该发送到哪条链路。作为一种示例,该强化学习方法通过深度确定性策略梯度网络DDPG的作为网络的基础结构,主要由两部分实现,分别是行为网络和评价网络。在数据平面设备上部署行为网络,在控制平面设备上部署评价网络。作为一种示例,在可编程交换机上部署行为网络,其中,行为网络用于根据当前的链路信息选择合适的链路进行流量传输,通过将计算流量路径的功能分配到数据中心网络中的可编程交换机上,就构成了一个多智能体系统。评价网络用于计算评价值来对行为网络的链路选择进行评价。作为一种示例,评价值为Q值。
在一些实施方式中,实现本申请实施例所用的强化学习方法还需要注意力模块。注意力模块部署在控制平面设备上,注意力模块允许网络设备,例如可编程交换机在进行转发操作的时候自主决定是否需要与其他的设备进行通信。
具体实施时,在获取当前时间下的与数据平面设备连接的链路的链路信息之前,方法还包括:
获取当前时间下的数据平面设备和目标设备所连接链路的附加链路信息;附加链路信息为控制平面设备上的注意力模块根据第二环境消息确定数据平面设备需要和目标设备进行通信后,数据平面设备和目标设备之间的链路的链路信息。其中,第二环境信息包括当前时间的控制平面设备的参数信息和当前时间的与数据平面设备连接的链路的链路信息。控制平面设备的参数信息至少包括中央处理器使用率和中央处理器利用率。目标设备为当前数据平面设备周围环境中的数据平面设备,作为一种示例,目标设备为当前可编程交换机周围环境中的可编程交换机。
则当前时间下的与数据平面设备连接的链路的链路信息包括当前时间下的数据平面设备和目标设备所连接链路的附加链路信息。
可以理解的是,数据中心网络中的每个数据平面设备均需获取当前时间下的与数据平面设备连接的链路的链路信息。
S202:将链路信息输入行为网络,采集行为网络输出的流量动作信息;行为网络部署在数据平面设备上。
将获取的当前时间下的与数据平面设备连接的链路的链路信息输入行为网络,输出流量动作信息。流量动作信息为包含流量动作的信息。流量动作为当前时间下将待处理流量(待发流量)进行处理所作出的具体动作。
可以理解的是,每个数据平面设备上均部署了行为网络,各个数据平面设备上的行为网络所输出的流量动作信息是根据与该数据平面设备所连接的链路的链路信息获得的,即当前数据平面设备上的行为网络所输出的流量动作信息和当前数据平面设备所连接的链路的链路信息相关。
S203:执行流量动作信息中的流量动作;流量动作包括将流量发送到目标链路、保存流量、丢弃流量中的一种或多种。
数据平面设备执行获得的流量动作信息中的流量动作。具体的,每个数据平面设备执行部署在该数据平面设备上的行为网络输出的流量动作信息中的流量动作。
其中,流量动作包括将流量发送到目标链路、保存流量、丢弃流量中的一种或多种。目标链路即为当前时间下的当前数据平面设备将待处理流量发送的链路路径。在当前时间下,若有合适的优选链路路径,将该链路路径确定为目标链路,将流量发送至目标链路。若当前时间下,没有合适的优选链路,则将待处理流量进行保存,当有合适的优选链路时,再将待处理流量发送到合适的优选链路。若当前时间下,没有合适的优选链路,并且所有的链路均处于饱和状态,则可以将流量进行丢弃。
S204:接收控制平面设备发送的更新后的行为网络参数;更新后的行为网络参数为部署在控制平面设备上的评价网络基于评价值更新行为网络参数获得的;评价值基于流量动作信息得到;网络参数包括行为网络参数和评价网络参数。
数据平面设备根据行为网络输出的流量动作信息执行流量动作。具体的,每个数据平面设备根据部署在自身上的行为网络输出的流量动作信息执行流量动作。在执行流量动作之后,数据中心网络的流量转发情况会发生变化,链路信息也会相应地发生变化。
在数据平面设备执行流量动作之后,部署在控制平面设备的评价网络会基于流量动作获取评价值,来评估当前的流量动作所引起的评价值是否满足预期值。评价网络根据评价值来更新网络参数,其中,网络参数包括行为网络参数和评价网络参数。作为一种示例,控制平面设备为统一控制器。
具体实施时,评价值具体基于流量动作和目标时间的第一环境信息得到。
其中,目标时间的第一环境信息包括:
目标时间的控制平面设备的参数信息、目标时间的数据平面设备连接的链路的链路信息、目标时间的数据平面设备的转发状态和目标时间的数据平面设备的历史使用率。控制平面设备的参数信息包括中央处理器使用率和中央处理器利用率。其中,目标时间包括当前时间和历史预设时间段。历史预设时间段为以当前时间为准,过去的一段时间。可以理解的是,历史预设时间段根据实际情况进行选取,这里不对历史预设时间段的选择进行限定。
可以理解的是,目标时间的第一环境信息包括当前时间的第一环境历史预设时间段内的第一环境信息。在本申请实施例中,历史预设时间段内的第一环境信息为控制平面设备
在一些实施方式中,评价网络用于基于经验回放的方式计算评价值来对行为网络的链路选择进行评价。
S205:基于更新后的网络参数,获取更新后的行为网络和更新后的评价网络。
获取更新后的网络参数后,则可依据更新后的行为网络参数获取更新后的行为网络,依据更新后的评价网络参数获取更新后的评价网络。
S206:重新执行S201及后续步骤。
在获取更新后的行为网络和评价网络的同时,与数据平面设备所连接的链路的链路信息也均进行了变化和更新。与此同时,待处理的流量也进行了更新。重新执行S201及后续步骤,可以根据当前数据平面设备所连接的链路的链路信息和本申请实施例所提供的更新后的行为网络和评价网络对更新后的待处理流量进行处理,选择合适的优选链路进行流量的发送。
通过本申请实施例所提供的网络流量优化方法,在数据中心网络的数据平面设备和控制平面设备中通过多智能体强化学习方法综合利用当前时间和历史预设时间段的环境信息进行交互和学习,动态的根据网络环境进行流量的分发,解决了现有的网络流量优化方法中的由于不能根据链路负载调整流量走向所造成的局部带宽不足的问题。该方法能够更高效的使用带宽,降低延迟,优化流量运行的路径,能够快速响应网络环境的变化,更高效的完成流量均衡工作。
本申请实施例还提供了一种网络流量优化装置,参见图3,图3为本申请实施例提供的一种网络流量优化装置的示意图,该装置包括:
第一获取单元301,用于获取当前时间下的与所述数据平面设备连接的链路的链路信息;链路信息包括链路带宽、链路负载、已用带宽和链路质量;
输入单元302,用于将所述链路信息输入行为网络,采集所述行为网络输出的流量动作信息;所述行为网络部署在所述数据平面设备上;
执行单元303,用于执行所述流量动作信息中的流量动作;所述流量动作包括将流量发送到目标链路、保存流量、丢弃流量中的一种或多种;
接收单元304,用于接收控制平面设备发送的更新后的网络参数;所述更新后的网络参数为部署在控制平面设备上的评价网络基于评价值更新所述网络参数获得的;所述评价值基于所述流量动作信息得到;所述网络参数包括行为网络参数和评价网络参数;
第二获取单元305,用于基于所述更新后的网络参数,获取更新后的行为网络和更新后的评价网络;
循环单元306,用于重新执行所述获取当前时间下的所述数据平面设备连接的链路的链路信息及后续步骤。
可选的,在本申请实施例的一些实施方式中,所述评价值具体基于所述流量动作和目标时间的第一环境信息得到。
可选的,在本申请实施例的一些实施方式中,所述目标时间的第一环境信息包括:
所述目标时间的所述控制平面设备的参数信息、所述目标时间的所述数据平面设备连接的链路的链路信息、所述目标时间的所述数据平面设备的转发状态和所述目标时间的所述数据平面设备的历史使用率;所述控制平面设备的参数信息包括中央处理器使用率和中央处理器利用率;所述目标时间包括当前时间和历史预设时间段。
可选的,在本申请实施例的一些实施方式中,所述装置还包括:
第三获取单元,用于在所述获取当前时间下的与所述数据平面设备连接的链路的链路信息之前,获取当前时间下的所述数据平面设备和目标设备所连接链路的附加链路信息;所述附加链路信息为控制平面设备上的注意力模块根据第二环境消息确定所述数据平面设备需要和所述目标设备进行通信后,所述数据平面设备和所述目标设备之间的链路的链路信息;所述第二环境信息包括当前时间的所述控制平面设备的参数信息和当前时间的与所述数据平面设备连接的链路的链路信息;
则所述当前时间下的与所述数据平面设备连接的链路的链路信息包括当前时间下的所述数据平面设备和所述目标设备所连接链路的附加链路信息。
通过本申请实施例提供的一种网络流量优化装置,该装置应用于数据平面设备。获取当前时间下的与数据平面设备连接的链路的链路信息;链路信息包括链路带宽、链路负载、已用带宽和链路质量。将链路信息输入行为网络,采集行为网络输出的流量动作信息;行为网络部署在数据平面设备上。执行流量动作信息中的流量动作;流量动作包括将流量发送到目标链路、保存流量、丢弃流量中的一种或多种。接收控制平面设备发送的更新后的网络参数;更新后的网络参数为部署在控制平面设备上的评价网络基于评价值更新网络参数获得的;评价值基于流量动作信息得到;网络参数包括行为网络参数和评价网络参数。基于更新后的网络参数,获取更新后的行为网络和更新后的评价网络。重新执行获取当前时间下的数据平面设备连接的链路的链路信息及后续步骤。通过该装置,能够根据链路信息优化流量运行的路径,快速响应网络环境的变化,更高效地完成流量均衡工作。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者诸如媒体网关等网络通信设备,等等)执行本申请各个实施例或者实施例的某些部分所述的方法。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言,由于其与实施例公开的系统相对应,所以描述的比较简单,相关之处参见系统部分说明即可。
还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种网络流量优化方法,其特征在于,所述方法应用于数据平面设备,所述方法包括:
获取当前时间下的与所述数据平面设备连接的链路的链路信息;链路信息包括链路带宽、链路负载、已用带宽和链路质量;
将所述链路信息输入行为网络,采集所述行为网络输出的流量动作信息;所述行为网络部署在所述数据平面设备上;
执行所述流量动作信息中的流量动作;所述流量动作包括将流量发送到目标链路、保存流量、丢弃流量中的一种或多种;
接收控制平面设备发送的更新后的网络参数;所述更新后的网络参数为部署在控制平面设备上的评价网络基于评价值更新所述网络参数获得的;所述评价值基于所述流量动作信息得到;所述网络参数包括行为网络参数和评价网络参数;
基于所述更新后的网络参数,获取更新后的行为网络和更新后的评价网络;
重新执行所述获取当前时间下的所述数据平面设备连接的链路的链路信息及后续步骤。
2.根据权利要求1所述的方法,其特征在于,所述评价值具体基于所述流量动作和目标时间的第一环境信息得到。
3.根据权利要求2所述的方法,其特征在于,所述目标时间的第一环境信息包括:
所述目标时间的所述控制平面设备的参数信息、所述目标时间的所述数据平面设备连接的链路的链路信息、所述目标时间的所述数据平面设备的转发状态和所述目标时间的所述数据平面设备的历史使用率;所述控制平面设备的参数信息包括中央处理器使用率和中央处理器利用率;所述目标时间包括当前时间和历史预设时间段。
4.根据权利要求1所述的方法,其特征在于,在所述获取当前时间下的与所述数据平面设备连接的链路的链路信息之前,所述方法还包括:
获取当前时间下的所述数据平面设备和目标设备所连接链路的附加链路信息;所述附加链路信息为控制平面设备上的注意力模块根据第二环境消息确定所述数据平面设备需要和所述目标设备进行通信后,所述数据平面设备和所述目标设备之间的链路的链路信息;所述第二环境信息包括当前时间的所述控制平面设备的参数信息和当前时间的与所述数据平面设备连接的链路的链路信息;
则所述当前时间下的与所述数据平面设备连接的链路的链路信息包括当前时间下的所述数据平面设备和所述目标设备所连接链路的附加链路信息。
5.一种网络流量优化装置,其特征在于,所述装置应用于数据平面设备,所述装置包括:
第一获取单元,用于获取当前时间下的与所述数据平面设备连接的链路的链路信息;链路信息包括链路带宽、链路负载、已用带宽和链路质量;
输入单元,用于将所述链路信息输入行为网络,采集所述行为网络输出的流量动作信息;所述行为网络部署在所述数据平面设备上;
执行单元,用于执行所述流量动作信息中的流量动作;所述流量动作包括将流量发送到目标链路、保存流量、丢弃流量中的一种或多种;
接收单元,用于接收控制平面设备发送的更新后的网络参数;所述更新后的网络参数为部署在控制平面设备上的评价网络基于评价值更新所述网络参数获得的;所述评价值基于所述流量动作信息得到;所述网络参数包括行为网络参数和评价网络参数;
第二获取单元,用于基于所述更新后的网络参数,获取更新后的行为网络和更新后的评价网络;
循环单元,用于重新执行所述获取当前时间下的所述数据平面设备连接的链路的链路信息及后续步骤。
6.根据权利要求5所述的装置,其特征在于,所述评价值具体基于所述流量动作和目标时间的第一环境信息得到。
7.根据权利要求6所述的装置,其特征在于,所述目标时间的第一环境信息包括:
所述目标时间的所述控制平面设备的参数信息、所述目标时间的所述数据平面设备连接的链路的链路信息、所述目标时间的所述数据平面设备的转发状态和所述目标时间的所述数据平面设备的历史使用率;所述控制平面设备的参数信息包括中央处理器使用率和中央处理器利用率;所述目标时间包括当前时间和历史预设时间段。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括:
第三获取单元,用于在所述获取当前时间下的与所述数据平面设备连接的链路的链路信息之前,获取当前时间下的所述数据平面设备和目标设备所连接链路的附加链路信息;所述附加链路信息为控制平面设备上的注意力模块根据第二环境消息确定所述数据平面设备需要和所述目标设备进行通信后,所述数据平面设备和所述目标设备之间的链路的链路信息;所述第二环境信息包括当前时间的所述控制平面设备的参数信息和当前时间的与所述数据平面设备连接的链路的链路信息;
则所述当前时间下的与所述数据平面设备连接的链路的链路信息包括当前时间下的所述数据平面设备和所述目标设备所连接链路的附加链路信息。
CN202110228902.0A 2021-03-02 2021-03-02 一种网络流量优化方法及装置 Active CN112953844B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110228902.0A CN112953844B (zh) 2021-03-02 2021-03-02 一种网络流量优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110228902.0A CN112953844B (zh) 2021-03-02 2021-03-02 一种网络流量优化方法及装置

Publications (2)

Publication Number Publication Date
CN112953844A true CN112953844A (zh) 2021-06-11
CN112953844B CN112953844B (zh) 2023-04-28

Family

ID=76247109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110228902.0A Active CN112953844B (zh) 2021-03-02 2021-03-02 一种网络流量优化方法及装置

Country Status (1)

Country Link
CN (1) CN112953844B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159888A (ja) * 2018-03-14 2019-09-19 株式会社日立製作所 機械学習システム
CN111010294A (zh) * 2019-11-28 2020-04-14 国网甘肃省电力公司电力科学研究院 一种基于深度强化学习的电力通信网路由方法
CN111555907A (zh) * 2020-04-19 2020-08-18 北京理工大学 基于强化学习的数据中心网络能耗和服务质量优化方法
CN111953603A (zh) * 2020-08-20 2020-11-17 福建师范大学 基于深度强化学习软件定义物联网安全路由协议的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159888A (ja) * 2018-03-14 2019-09-19 株式会社日立製作所 機械学習システム
CN111010294A (zh) * 2019-11-28 2020-04-14 国网甘肃省电力公司电力科学研究院 一种基于深度强化学习的电力通信网路由方法
CN111555907A (zh) * 2020-04-19 2020-08-18 北京理工大学 基于强化学习的数据中心网络能耗和服务质量优化方法
CN111953603A (zh) * 2020-08-20 2020-11-17 福建师范大学 基于深度强化学习软件定义物联网安全路由协议的方法

Also Published As

Publication number Publication date
CN112953844B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
JP6457447B2 (ja) データセンターのネットワークトラフィックスケジューリング方法及び装置
US9553998B2 (en) Sharing group notification
CN104243405B (zh) 一种请求处理方法、装置及系统
CN109729131A (zh) 一种应用请求的处理方法、装置和路由器
US20150363240A1 (en) System for controlling resources, control pattern generation apparatus, control apparatus, method for controlling resources and program
Yin et al. Distributed resource sharing in fog-assisted big data streaming
CN113498508A (zh) 动态网络配置
US11388615B2 (en) Interaction between radio controller platform and third party applications
CN110430068A (zh) 一种特征工程编排方法及装置
CN113840317A (zh) 算力上报方法、获取方法、算力网元及算力感知控制网元
Wu et al. Dynamic switch migration with noncooperative game towards control plane scalability in SDN
US11659053B2 (en) Operations control of network services
CN107959702B (zh) 路由方法和装置
CN112699136B (zh) 一种跨链存证方法及相关装置
US20150372895A1 (en) Proactive Change of Communication Models
CN104639557A (zh) 一种建立pcep会话的方法、系统及设备
CN112995303A (zh) 跨集群调度方法及装置
CN112953844B (zh) 一种网络流量优化方法及装置
CN117081914A (zh) 基于决策树的故障分析方法及装置
US11558263B2 (en) Network device association with network management system
KR102277554B1 (ko) 소프트웨어 정의 네트워크에서의 스위치 마이그레이션을 제공하는 컨트롤러 및 방법
WO2017213065A1 (ja) サービス管理システム、サービス管理方法、および、記録媒体
CN114257578A (zh) 信息验证方法及装置
Yu et al. Resource allocation in RF energy harvesting‐assisted underlay D2D communication
Math et al. [Retracted] Intelligent Offloading Decision and Resource Allocations Schemes Based on RNN/DQN for Reliability Assurance in Software‐Defined Massive Machine‐Type Communications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant