CN112714074B - 智能tcp拥塞控制方法、系统、设备和存储介质 - Google Patents

智能tcp拥塞控制方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN112714074B
CN112714074B CN202011607646.8A CN202011607646A CN112714074B CN 112714074 B CN112714074 B CN 112714074B CN 202011607646 A CN202011607646 A CN 202011607646A CN 112714074 B CN112714074 B CN 112714074B
Authority
CN
China
Prior art keywords
time
congestion control
state
network
reward
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011607646.8A
Other languages
English (en)
Other versions
CN112714074A (zh
Inventor
王龙翔
董小社
张兴军
朱正东
陈衡
王宇菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202011607646.8A priority Critical patent/CN112714074B/zh
Publication of CN112714074A publication Critical patent/CN112714074A/zh
Application granted granted Critical
Publication of CN112714074B publication Critical patent/CN112714074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/27—Evaluation or update of window size, e.g. using information derived from acknowledged [ACK] packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

智能TCP拥塞控制方法、系统、设备和存储介质，采集基于强化学习的TCP拥塞控制过程在t时刻的状态；根据采集的t时刻的状态的参数将基于强化学习的TCP拥塞控制过程抽象为一个可部分观察的马尔科夫决策过程，定义为五元组；采用近端策略优化计算在t时刻的奖励值期望，根据在t时刻的奖励值期望，调节控制动作，使奖励值期望最大化，适应网络的变化，实现网络拥塞控制的自学习。本发明采用近端策略优化方法进行模型更新，实现智能体快速学习。本发明相比传统Cubic、NewReno、HighSpeed具有更好的灵活性和适应性，可在不同的网络环境下资助学习最优拥塞控制策略，具有更优的网络传输性能。

Description

智能TCP拥塞控制方法、系统、设备和存储介质
技术领域
本发明属于高性能计算领域，涉及一种网络拥塞控制方法，具体涉及智能TCP拥塞控制方法、系统、设备和存储介质。
背景技术
当前，中国国家高性能计算环境中存储资源广域分散且隔离自治，大型计算应用迫切需要可支持跨域统一访问、广域数据共享、存储与计算协同的全局数据空间。
如何解决虚拟数据空间中的高效数据迁移是目前亟需解决的问题。为了实现虚拟数据空间可靠数据迁移，需要构建高效的可靠网络传输协议，拥塞控制是实现高效可靠传输的关键技术。虚拟数据空间构建于广域网之上，广域网网络环境复杂多变，尽管在过去30年中研究者提出了各种各样的TCP拥塞控制算法，例如New Reno，Vegas，HighSpeed和Cubic等。但是，这些方法都是针对特定的网络环境特点进行设计，只能按照预先定义的规则进行拥塞控制。因此，难以适应虚拟数据空间复杂多变的网络环境。无论是经典的New Reno算法还是目前被Linux操作系统作为默认TCP拥塞控制算法的Cubic，其核心思想都是基于某种预先定义好的规则对网络拥塞进行调控。这些方法只适合网络参数相对比较稳定的场景，如果网络参数发生变化，则无法适应新场景。
发明内容
为克服现有技术中的问题，本发明的目的是提出了智能TCP拥塞控制方法、系统、设备和存储介质。
为达到上述目的，本发明采用的技术方案如下：
智能TCP拥塞控制方法，包括以下步骤：
采集基于强化学习的TCP拥塞控制过程在t时刻的状态st；
根据采集的t时刻的状态st的参数将基于强化学习的TCP拥塞控制过程抽象为一个可部分观察的马尔科夫决策过程，定义为五元组{S,A,R,P,γ}；其中，S为所有环境状态的集合，st∈S表示在t时刻观察到的状态，初始状态为s0；A为可执行动作的集合，at∈A表示在t时刻所采取的动作；R为奖励值函数，定义为R(st,at)＝E[Rt+1|st,at]∈R，代表在t时刻观察到状态为st，选择动作at后，在t+1时刻收到奖励Rt+1；P为转移概率矩阵；γ∈[0,1]为折扣因子；
采用近端策略优化计算在t时刻的奖励值期望
Figure BDA0002870598990000021
根据在t时刻的奖励值期望/>
Figure BDA0002870598990000022
调节控制动作，使奖励值期望/>
Figure BDA0002870598990000023
最大化，适应网络的变化，实现网络拥塞控制的自学习。
本发明进一步的改进在于，t时刻的状态st包含以下参数：
1)时刻t的相对时间；
2)当前拥塞窗口大小；
3)未被确认的字节数大小；
4)已收到的ACK包数量；
5)平均RTT值；
6)吞吐率，
7)丢失包数量。
本发明进一步的改进在于，at∈A定义为在时刻t对拥塞窗口做出的控制动作，定义该动作为将拥塞窗口增加n个segment大小，如下所示
cwnd＝cwnd+n*segment (7)
式(7)中，cwnd为拥塞窗口。
本发明进一步的改进在于，
Figure BDA0002870598990000024
其中，在时刻t从环境中收到的奖励rt，rt∈R，T代表当前观察到的吞吐率，Tmax代表历史观察到的最大吞吐率值，rtt代表观察期间的平均网络时延值，rttmin代表历史中观察到的最小rtt值，α为权重因子。
本发明进一步的改进在于，采用近端策略优化计算在t时刻的奖励值期望
Figure BDA0002870598990000031
的具体过程为：从初始状态s0开始，根据当前观察到的状态st，根据策略函数π(at|st)选择动作at，根据状态转移矩阵P(st+1|st,at)到达新状态st+1，从环境中得到奖励rt+1，从而得到在t时刻的奖励值期望/>
Figure BDA0002870598990000032
为：
Figure BDA0002870598990000033
式(2)中，T代表结束时刻。
智能TCP拥塞控制系统，包括：
采集模块，用于采集基于强化学习的TCP拥塞控制过程在t时刻的状态st；
抽象模块，用于根据采集的t时刻的状态st的参数将基于强化学习的TCP拥塞控制过程抽象为一个可部分观察的马尔科夫决策过程，定义为五元组{S,A,R,P,γ}；其中，S为所有环境状态的集合，st∈S表示在t时刻观察到的状态，初始状态为s0；A为可执行动作的集合，at∈A表示在t时刻所采取的动作；R为奖励值函数，定义为R(st,at)＝E[Rt+1|st,at]∈R，代表在t时刻观察到状态为st，选择动作at后，在t+1时刻收到奖励Rt+1；P为转移概率矩阵；γ∈[0,1]为折扣因子；
计算模块，用于采用近端策略优化计算在t时刻的奖励值期望
Figure BDA0002870598990000034
根据在t时刻的奖励值期望/>
Figure BDA0002870598990000035
调节控制动作，使奖励值期望/>
Figure BDA0002870598990000036
最大化，适应网络的变化，实现网络拥塞控制的自学习。
一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有能在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的智能TCP拥塞控制方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述的智能TCP拥塞控制方法。
与现有技术相比，本发明具有的有益效果：
将TCP拥塞控制过程抽象为一个可部分观察的马尔科夫决策过程，在该过程中构建一个智能体与网络环境进行互动。智能体通过观察网络状态特征对拥塞窗口进行控制，网络环境向智能体反馈奖励值，智能体最大化回合内获得奖励期望值。因此，本发明的智能TCP拥塞控制方法，采用近端策略优化方法进行模型更新，实现智能体快速学习。本发明相比传统Cubic、NewReno、HighSpeed等基于规则的拥塞控制算法具有更好的灵活性和适应性，可在不同的网络环境下资助学习最优拥塞控制策略，具有更优的网络传输性能。
进一步的，本发明中通过采集吞吐率、网络时延等网络特征的状态空间，使智能体能够观察到足够多的信息进行控制并且降低性能开销。通过加权方法设计奖励函数，使智能体能够平衡优化吞吐率与时延。通过近端策略优化更新智能体模型参数，对过大的参数更新进行截断，将参数更新限制在一定范围内，减轻梯度下降过程中出现的震荡问题。
附图说明
图1为本发明的原理图。
图2为本发明与现有方法的性能对比图。
具体实施方式
下面结合附图对本发明做进一步详细描述。
参见图1，本发明的一种基于近端策略优化的TCP拥塞控制方法，包括以下步骤：
采集基于强化学习的TCP拥塞控制过程在t时刻的状态st，选取合理的状态st是实现高效强化学习算法的关键，只有观察到足够多的信息才能使强化学习算法做出正确的动作选择。然而，状态信息过多也会增加计算量，减慢学习速度。因此，本发明参考了CUBIC等主流TCP算法，t时刻的状态st包含以下参数：
1)时刻t的相对时间，相对时间为从TCP建立连接开始到目前已消耗的时间。在CUBIC等算法中，窗口大小被设计为时刻t的三次函数，该算法核心思想是窗口大小由时刻t决定，因此，时刻t是决定拥塞窗口的重要参数；
2)当前拥塞窗口大小。拥塞控制算法需要根据当前拥塞窗口大小来调节窗口新值，如果当前拥塞窗口较小，则可以更快的速率增加窗口大小，如果窗口较大，则停止增加窗口或更缓慢的增加窗口大小；
3)未被确认的字节数大小。即已发送但还未被接收方确认的字节数，如果把网络比喻做水管，则可以形象的理解为管道中储存的水量。该参数也是拥塞控制算法需要参考的中要参数，如果管道中水量充足，则应该停止或减少向管道中注水，如果管道中水量较小，则应该向管道中持续注水，并且，可以根据管道中的水量决定注水速率(拥塞窗口大小)；
4)已收到的ACK包数量，观察期内收到的ACK包数量，该参数能够间接反映拥塞情况，如果收到的ACK包数量正常，则说明网络状况良好，未发生拥塞，可以适时增加拥塞窗口大小，否则说明网络发生拥塞，应该维持或减少拥塞窗口大小；
5)平均RTT(Round-Trip Time)值。一个观察周期内的平均RTT值，RTT指一个数据包从发送到接收确认包花费的总时间。RTT值跟网络拥塞情况密切相关，如果网络拥塞严重，则RTT值会显著上升。因此，RTT值可以反映网络拥塞情况，拥塞控制算法可以根据RTT值对拥塞窗口进行调节；
6)吞吐率。一个观察周期内的吞吐率，吞吐率定义为接收方每秒确认的数据字节数，该参数直接反映了网络状况，高吞吐率说明，
7)丢失包数量。丢失包数量越多说明当前网络拥塞严重，需要减小拥塞窗口大小，丢失包数量少说明当前网络未发生拥塞，应该增加拥塞窗口。
根据采集的t时刻的状态st的参数将基于强化学习的TCP拥塞控制过程抽象为一个可部分观察的马尔科夫决策过程，定义为五元组{S,A,R,P,γ}。其中，S为所有环境状态的集合，st∈S表示在t时刻观察到的状态，初始状态为s0；A为可执行动作的集合，at∈A表示在t时刻所采取的动作；R为奖励值函数，定义为R(st,at)＝E[Rt+1|st,at]∈R，代表在t时刻观察到状态为st，选择动作at后，在t+1时刻收到奖励Rt+1；P为转移概率矩阵，定义为
Figure BDA0002870598990000061
式中，
Figure BDA0002870598990000062
表示在t时刻，状态为s时，选择动作a转移到下一个状态s’的概率。γ∈[0,1]为折扣因子，反映的是对未来得到奖励的惩罚比例。折扣因子体现了强化学习算法的设计思想，即优先考虑能够立刻得到的奖励值，未来得到的奖励值会按一定比例得到惩罚。
at∈A定义为在时刻t对拥塞窗口做出的控制动作，本发明中定义该动作为将拥塞窗口增加n个segment大小，如下所示
cwnd＝cwnd+n*segment (7)
式(7)中，cwnd为拥塞窗口，式(7)设计的思路是提供一个泛化公式，根据观察到的状态参数信息，决定拥塞窗口增长速率。在不同的网络场景下，选择不同的策略。在高带宽环境下，调节n值，使拥塞窗口以指数速度增长；在低带宽环境下，调节n＝1，使拥塞窗口以线性速度增长。在网络发生拥塞时，调节n<＝0，保持或减小拥塞窗口，减轻网络拥塞压力。
奖励函数：奖励rt定义为在时刻t从环境中收到的奖励，rt∈R，设计奖励函数如下公式所示：
Figure BDA0002870598990000063
其中，T代表当前观察到的吞吐率，Tmax代表历史观察到的最大吞吐率值，两者的比值反映了做出动作at后能够增加的吞吐率效果；rtt代表观察期间的平均网络时延值，rttmin代表历史中观察到的最小rtt值，两者的比值反映了动作at改善的rtt效果。α为权重因子，属于超参数，反映了吞吐率和rtt对奖励值的权重比例。α决定了拥塞控制算法的优化目标更侧重于吞吐率或是RTT。
采用近端策略优化计算在t时刻的奖励值期望
Figure BDA0002870598990000071
具体过程为：从初始状态s0开始，根据当前观察到的状态st，由策略函数π(at|st)选择动作at，根据状态转移矩阵P(st+1|st,at)到达新状态st+1，从环境中得到奖励rt+1。强化学习的目标是优化策略函数使奖励期望值最大，从而得到在t时刻的奖励值期望/>
Figure BDA0002870598990000072
定义为
Figure BDA0002870598990000073
式(2)中，T表示结束时刻。
根据在t时刻的奖励值期望
Figure BDA0002870598990000074
调节控制动作，使奖励值期望/>
Figure BDA0002870598990000075
最大化，实现TCP拥塞的最优控制，从而适应网络的变化，实现了网络的自学习。
智能TCP拥塞控制系统，包括：
采集模块，用于采集基于强化学习的TCP拥塞控制过程在t时刻的状态st；
抽象模块，用于根据采集的t时刻的状态st的参数将基于强化学习的TCP拥塞控制过程抽象为一个可部分观察的马尔科夫决策过程，定义为五元组{S,A,R,P,γ}；其中，S为所有环境状态的集合，st∈S表示在t时刻观察到的状态，初始状态为s0；A为可执行动作的集合，at∈A表示在t时刻所采取的动作；R为奖励值函数，定义为R(st,at)＝E[Rt+1|st,at]∈R，代表在t时刻观察到状态为st，选择动作at后，在t+1时刻收到奖励Rt+1；P为转移概率矩阵；γ∈[0,1]为折扣因子；
计算模块，用于采用近端策略优化计算在t时刻的奖励值期望
Figure BDA0002870598990000076
根据在t时刻的奖励值期望/>
Figure BDA0002870598990000077
调节控制动作，使奖励值期望/>
Figure BDA0002870598990000078
最大化，适应网络的变化，实现网络拥塞控制的自学习。
一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有能在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的智能TCP拥塞控制方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述的智能TCP拥塞控制方法。
本发明具有以下优点：
本发明基于近端策略优化(TCP-PPO2)进行拥塞控制，参见图2，相比传统Cubic、NewReno、HighSpeed等基于规则的拥塞控制算法具有更好的灵活性和适应性，可在不同的网络环境下资助学习最优拥塞控制策略，具有更优的网络传输性能。

Claims (4)

1.智能TCP拥塞控制方法，其特征在于，包括以下步骤：
采集基于强化学习的TCP拥塞控制过程在t时刻的状态st；t时刻的状态st的参数包括时刻t的相对时间、当前拥塞窗口大小、未被确认的字节数大小、已收到的ACK包数量、平均RTT值、吞吐率与丢失包数量；
根据采集的t时刻的状态st的参数将基于强化学习的TCP拥塞控制过程抽象为一个可部分观察的马尔科夫决策过程，定义为五元组{S,A,R,P,γ}；其中，S为所有环境状态的集合，st∈S表示在t时刻观察到的状态，初始状态为s0；A为可执行动作的集合，at∈A表示在t时刻所采取的动作；R为奖励值函数，定义为R(st,at)＝E[Rt+1|st,at]∈R，代表在t时刻观察到状态为st，选择动作at后，在t+1时刻收到奖励Rt+1；P为转移概率矩阵；γ∈[0,1]为折扣因子；
转移概率矩阵P定义为：
Figure FDA0003931575450000011
式中，
Figure FDA0003931575450000012
表示在t时刻，状态为s时，选择动作a转移到下一个状态s’的概率；
采用近端策略优化计算在t时刻的奖励值期望
Figure FDA0003931575450000013
根据在t时刻的奖励值期望/>
Figure FDA0003931575450000014
调节控制动作，使奖励值期望/>
Figure FDA0003931575450000015
最大化，适应网络的变化，实现网络拥塞控制的自学习；
Figure FDA0003931575450000016
其中，在时刻t从环境中收到的奖励rt，rt∈R，T代表当前观察到的吞吐率，Tmax代表历史观察到的最大吞吐率值，rtt代表观察期间的平均网络时延值，rttmin代表历史中观察到的最小rtt值，α为权重因子；
采用近端策略优化计算在t时刻的奖励值期望
Figure FDA0003931575450000017
的具体过程为：从初始状态s0开始，根据当前观察到的状态st，根据策略函数π(at|st)选择动作at，根据状态转移矩阵P(st+1|st,at)到达新状态st+1，从环境中得到奖励rt+1，从而得到在t时刻的奖励值期望；
该方法具有更好的灵活性和适应性，能够在不同的网络环境下资助学习最优拥塞控制策略，具有更优的网络传输性能。
2.根据权利要求1所述的智能TCP拥塞控制方法，其特征在于，at∈A定义为在时刻t对拥塞窗口做出的控制动作，定义该动作为将拥塞窗口增加n个segment大小，如下所示
cwnd＝cwnd+n*segment (3)
式(3)中，cwnd为拥塞窗口。
3.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有能在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现权利要求1-2中任意一项所述的智能TCP拥塞控制方法。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-2中任意一项所述的智能TCP拥塞控制方法。
CN202011607646.8A 2020-12-29 2020-12-29 智能tcp拥塞控制方法、系统、设备和存储介质 Active CN112714074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011607646.8A CN112714074B (zh) 2020-12-29 2020-12-29 智能tcp拥塞控制方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011607646.8A CN112714074B (zh) 2020-12-29 2020-12-29 智能tcp拥塞控制方法、系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN112714074A CN112714074A (zh) 2021-04-27
CN112714074B true CN112714074B (zh) 2023-03-31

Family

ID=75547168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011607646.8A Active CN112714074B (zh) 2020-12-29 2020-12-29 智能tcp拥塞控制方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112714074B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113556780B (zh) * 2021-07-28 2023-07-25 新华三技术有限公司 一种拥塞控制方法及装置
CN116599061B (zh) * 2023-07-18 2023-10-24 国网浙江省电力有限公司宁波供电公司 一种基于强化学习的电网运行控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194583A (zh) * 2018-08-07 2019-01-11 中国地质大学（武汉） 基于深度增强学习的网络拥塞链路诊断方法及系统
CN111818570A (zh) * 2020-07-25 2020-10-23 清华大学 一种面向真实网络环境的智能拥塞控制方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988504B1 (ko) * 2019-02-28 2019-10-01 아이덴티파이 주식회사 딥러닝에 의해 생성된 가상환경을 이용한 강화학습 방법
KR102389104B1 (ko) * 2019-04-08 2022-04-21 한국전자통신연구원 Tcp 혼잡 윈도우를 최적화하는 통신 장치 및 방법
CN110581808B (zh) * 2019-08-22 2021-06-15 武汉大学 一种基于深度强化学习的拥塞控制方法及系统
CN111092823B (zh) * 2019-12-25 2021-03-26 深圳大学 一种自适应调节拥塞控制初始窗口的方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194583A (zh) * 2018-08-07 2019-01-11 中国地质大学（武汉） 基于深度增强学习的网络拥塞链路诊断方法及系统
CN111818570A (zh) * 2020-07-25 2020-10-23 清华大学 一种面向真实网络环境的智能拥塞控制方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
I. L. Afonin ; 等.Development of an adaptive TCP algorithm based on machine learning in telecommunication networks.《2019 Systems of Signal Synchronization, Generating and Processing in Telecommunications (SYNCHROINFO)》.2019,全文. *

Also Published As

Publication number Publication date
CN112714074A (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN112714074B (zh) 智能tcp拥塞控制方法、系统、设备和存储介质
CN106250305B (zh) 云计算环境下监控系统数据采集周期的自适应控制方法
CN110581808B (zh) 一种基于深度强化学习的拥塞控制方法及系统
CN112469079B (zh) 结合深度强化学习与传统拥塞控制的新型拥塞控制方法
CN111683393B (zh) 一种动态调整增益系数的自适应拥塞控制方法
CN112770353B (zh) 拥塞控制模型的训练方法和装置及拥塞控制方法和装置
CN113315716B (zh) 拥塞控制模型的训练方法和设备及拥塞控制方法和设备
CN113595923A (zh) 一种网络拥塞控制方法及装置
CN104994031A (zh) 一种主动队列自适应管理方法asred
CN110022268A (zh) 一种数据传输控制方法、装置及存储介质
CN106059951A (zh) 一种用于dcn中基于多级拥塞反馈的传输控制方法
CN103269458B (zh) 一种针对窄带网络情况下视频传输的调节控制方法
CN110166374B (zh) 基于能效的mptcp拥塞控制方法及装置
CN115037672B (zh) 多路径拥塞控制方法及装置
US20170331744A1 (en) Combined delay and loss based congestion control algorithms
CN117938755A (zh) 一种数据流量控制方法、网络交换子系统及智能计算平台
CN113747498B (zh) 针对移动蜂窝网络的可配置低延迟拥塞控制方法及系统
CN113890854B (zh) 一种基于深度增强学习的数据中心网络传输方法
CN113839880A (zh) 命名数据网络中一种拥塞控制方法
CN114301845B (zh) 一种自适应的数据中心网络传输协议选择方法
CN116567715A (zh) 基于深度强化学习的智能感知双向节点拥塞控制方法
CN115022247B (zh) 流控制传输方法、装置、设备及介质
CN113300970B (zh) 基于深度学习的tcp拥塞动态控制方法及装置
Cao et al. DRLFcc: Deep Reinforcement Learning-empowered Congestion Control Mechanism for TCP Fast Recovery in High Loss Wireless Networks
CN105873126B (zh) 一种基于被动侦听和数据帧调度的无线多跳网络拥塞控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant