CN113259255A - 一种网络拥塞控制方法、装置、终端及存储介质 - Google Patents

Abstract

本发明公开了一种网络拥塞控制方法、装置、终端及存储介质，方法包括：根据当前网络状况信息和已训练的神经网络模型确定发包速率，按照所述发包速率向接收端发包；接收所述接收端发送的返回报文，根据所述返回报文更新网络带宽占用度；在处于第一阶段时，若所述网络带宽占用度小于预设带宽占用阈值，则从所述第一阶段切换至第二阶段，在处于所述第二阶段时，若所述网络带宽占用度大于所述预设带宽占用阈值，则从所述第二阶段切换至所述第一阶段；其中，所述第一阶段内的所述发包速率小于所述第二阶段内的所述发包速率。本发明提供的网络拥塞控制方法能够在复杂的网络环境中实现稳定的拥塞控制。

Description

一种网络拥塞控制方法、装置、终端及存储介质

技术领域

本发明涉及互联网技术领域，特别涉及一种网络拥塞控制方法、装置、终端及存储介质。

背景技术

目前全球互联网数据流量很大部分都通过TCP（Transmission ControlProtocol）协议进行传输，作为TCP协议的核心组件之一，拥塞控制算法严重影响着网络传输的性能，TCP协议拥塞控制算法通过维护一个拥塞窗口来控制发包速率，当通信链路较好时，拥塞窗口的值可以适当增大以提高链路利用率，当链路出现拥塞时，拥塞窗口就应该及时减小以防止链路过载，造成网络崩溃。

在互联网早期阶段，通信媒介主要以有线网络为主，其带宽较低，因链路故障引发的丢包可忽略不计，且路由器和交换机通常被配置了很浅的缓存队列，基于上述链路特征，研究人员开发了一系列经典的启发式拥塞控制算法，例如Cubic、Reno等，这些启发式算法将丢包作为网络发生拥塞的信号，并以乘性增线性减（AIMD）的方式，动态调节发包速率。然而近年来随着蜂窝网络、卫星网络等新兴网络架构的部署，网络整体环境发生了巨大变化，并朝着复杂化的趋势不断演变，不同网络类型和应用场景下的网络特征截然不同，现有的启发式拥塞控制算法往往根据过于简化甚至不真实的假设条件，难以适应复杂网络环境，不能始终保持高性能。

因此，现有技术还有待改进和提高。

发明内容

针对现有技术的上述缺陷，本发明提供一种网络拥塞控制方法、装置、终端及存储介质，旨在解决现有技术中已有的启发式拥塞控制算法难以适应复杂网络环境的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

本发明的第一方面，提供一种网络拥塞控制方法，所述方法包括：

根据当前网络状况信息和已训练的神经网络模型确定发包速率，按照所述发包速率向接收端发包；

接收所述接收端发送的返回报文，根据所述返回报文更新网络带宽占用度；

在处于第一阶段时，若所述网络带宽占用度小于预设带宽占用阈值，则从所述第一阶段切换至第二阶段，在处于所述第二阶段时，若所述网络带宽占用度大于所述预设带宽占用阈值，则从所述第二阶段切换至所述第一阶段；

其中，所述第一阶段内的所述发包速率小于所述第二阶段内的所述发包速率。

所述的网络拥塞控制方法，其中，所述根据当前网络状况信息和已训练的神经网络模型确定发包速率，包括：

当处于所述第一阶段时，将所述当前网络状况信息输入至已训练的第一神经网络模型，获取所述第一神经网络模型输出的发包速率系数；

当处于所述第二阶段时，将所述当前网络状况信息输入至已训练的第二神经网络模型，获取所述第二神经网络模型输出的发包速率系数；

根据所述发包速率系数和预设链路最大可用带宽确定所述发包速率；

其中，所述第一神经网络模型和所述第二神经网络模型分别是根据第一数据集和第二数据集训练得到的，所述第一数据集中包括多组第一数据，每组第一数据包括第一样本网络状况信息和第一样本发包速率对应的网络效用值，所述第二数据集中包括多组第二数据，每组第二数据包括第二样本网络状况信息和第二样本发包速率对应的网络效用值。

所述的网络拥塞控制方法，其中，所述第一神经网络模型和所述第二神经网络模型均为Actor-Critic网络模型。

所述的网络拥塞控制方法，其中，所述根据所述发包速率系数和预设链路最大可用带宽确定所述发包速率之前，包括：

在与所述接收端建立网络连接后，向所述接收端发包，每轮发包的发包速率相较于上一轮按预设步进值增长；

根据所述接收端返回的报文确定所述接收端的吞吐量；

记录所述吞吐量不再增长时的所述吞吐量为所述预设链路最大可用带宽。

所述的网络拥塞控制方法，其中，所述根据所述返回报文更新网络带宽占用度，包括：

根据所述返回报文获取所述返回报文对应的往返时延，当所述往返时延大于往返时延最小值和预设时延容忍值之和时，将拥塞通告值加一；

根据所述往返时延更新所述往返时延最小值；

每获取到一次所述往返时延，将往返时延总数量加一，当所述往返时延总数量大于预设阈值时，根据所述拥塞通告值和所述往返时延总数量更新所述网络带宽占用度，并清空所述往返时延总数量和所述拥塞通告值。

所述的网络拥塞控制方法，其中，所述根据所述拥塞通告值和所述往返时延总数量更新所述网络带宽占用度，包括：

若当前所述网络带宽占用度小于0，则将所述网络带宽占用度更新为所述拥塞通告值和所述往返时延总数量的商；

若当前所述网络带宽占用度不小于0，则根据预设公式更新所述网络带宽占用度；

所述预设公式为：

其中，

为所述网络带宽占用度更新后的值，

为当前所述网络带宽占用度，

为预设参数，

为所述拥塞通告值和所述往返时延总数量的商。

所述的网络拥塞控制方法，其中，所述根据所述返回报文更新网络带宽占用度之后，还包括：

当处于所述第一阶段时，若所述网络带宽占用度不小于所述预设带宽占用阈值，则重复执行所述根据当前网络状况信息和已训练的神经网络模型确定发包速率的步骤；

当处于所述第二阶段时，若所述网络带宽占用度不大于所述预设带宽占用阈值，则重复执行所述根据当前网络状况信息和已训练的神经网络模型确定发包速率的步骤。

本发明的第二方面，提供一种网络拥塞控制装置，包括：

发包模块，所述发包模块用于根据当前网络状况信息和已训练的神经网络模型确定发包速率，按照所述发包速率向接收端发包；

接收模块，所述接收模块用于接收所述接收端发送的返回报文，根据所述返回报文更新网络带宽占用度；

阶段切换模块，所述阶段切换模块用于在处于第一阶段时，若所述网络带宽占用度小于预设带宽占用阈值，则从所述第一阶段切换至第二阶段；并在处于所述第二阶段时，若所述网络带宽占用度大于所述预设带宽占用阈值，则从所述第二阶段切换至所述第一阶段。

本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的网络拥塞控制方法的步骤。

本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的网络拥塞控制方法的步骤。

与现有技术相比，本发明提供了一种网络拥塞控制方法、装置、终端及存储介质，所述的网络拥塞控制方法，将链路状态划分为两个阶段：第一阶段和第二阶段，在第一阶段内发包速率小于第二阶段内的发包速率，可以在第一阶段内实现将链路积压缓存进行清空，当在第一阶段内的网络带宽占用度小于预设带宽占用阈值时，表示链路积压缓存已清空，此时进入第二阶段，使用更大的发包速率进行发包，在第二阶段内的网络带宽占用度大于预设带宽占用阈值时，表示链路缓存重新积压，此时再进行第一阶段进行缓存清空，整体控制框架的计算量低，具有强泛化性，而在每个阶段，通过网络状况信息和已训练的神经网络模型确定发包速率，通过已训练的神经网络模型来根据不同的网络状况信息得到对应的发包速率，能够高度适配复杂的网络环境，在复杂的网络环境中实现稳定的拥塞控制。

附图说明

图1为本发明提供的网络拥塞控制方法的实施例的流程图；

图2为本发明提供的网络拥塞控制方法的实施例的整体框架示意图；

图3为本发明提供的网络拥塞控制方法的实施例中神经网络模型训练过程原理图；

图4为本发明提供的网络拥塞控制方法的实施例中神经网络模型的训练步骤示意图；

图5为本发明提供的网络拥塞控制装置的实施例的结构原理图；

图6为本发明提供的终端的实施例的原理示意图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供的网络拥塞控制方法，可以是由网络中的任一个节点执行。

实施例一

如图1所示，所述网络拥塞控制方法的一个实施例中，包括步骤：

S100、根据当前网络状况信息和已训练的神经网络模型确定发包速率，按照所述发包速率向接收端发包。

具体地，所述网络状况信息包括反映了执行本实施例提供的网络拥塞控制方法的终端与所述接收端之间的网络链路情况，所述网络状况信息可以包括网络带宽占用度、发包速率、预设链路最大可用带宽和预设带宽占用阈值，网络带宽占用度反映了所述终端与所述接收端之间的网络链路带宽的占用情况，发包速率为所述终端向所述接收端发送数据包的速率，预设带宽占用阈值为预先设置的一个阈值，用于进行阶段切换，预设链路最大可用带宽为预先设置的所述终端和所述接收端之间的网络链路的最大可用带宽，具体获取方式将在后文被说明。

在本实施例中，设置有两个阶段：第一阶段和第二阶段，在不同的阶段，所述终端采用不同的发包速率向所述接收端发包。具体地，如图2所示，所述第一阶段为链路排空阶段，用于清空链路中的缓存，所述第一阶段内的发包速率较低，当所述终端和所述接收端之间的链路中存在大量缓存时，需要通过所述第一阶段来进行缓存清空，所述第二阶段为链路占用阶段，当所述终端和所述接收端之间的链路中的缓存被清理后，进入所述第二阶段，在所述第二阶段内发包速率较高以充分占用链路。不难看出，在所述第二阶段中，由于较高的发包速率，链路的缓存会持续增加，因此所述终端需要进行阶段切换，交替进入所述第一阶段和所述第二阶段，以保证数据包传输效率并防止网络拥塞。

所述根据当前网络状况信息和已训练的神经网络模型确定发包速率，包括：

当处于所述第一阶段时，将所述当前网络状况信息输入至已训练的第一神经网络模型，获取所述第一神经网络模型输出的发包速率系数；

当处于所述第二阶段时，将所述当前网络状况信息输入至已训练的第二神经网络模型，获取所述第二神经网络模型输出的发包速率系数；

根据所述发包速率系数和预设链路最大可用带宽确定所述发包速率。

其中，所述第一神经网络模型和所述第二神经网络模型分别是根据第一数据集和第二数据集训练得到的，所述第一数据集中包括多组第一数据，每组第一数据包括第一样本网络状况信息和第一样本发包速率对应的网络效用值，所述第二数据集中包括多组第二数据，每组第二数据包括第二样本网络状况信息和第二样本发包速率对应的网络效用值。其中，每组所述第一数据中的所述第一样本发包速率是训练中的所述第一神经网络模型根据所述第一样本网络状况信息输出的，每组所述第二数据中的所述第二样本发包速率是训练中的所述第二神经网络模型根据所述第二样本网络状况信息输出的，网络效用值（Utility）是用于衡量网络链路的效用的值，也就是说，网络效用值越高，网络链路的使用效率越高，产生的效用越大，通过所述第一数据集和所述第二数据集分别训练得到的所述第一神经网络模型和所述第二神经网络模型，可以实现根据输入的网络状况信息输出能够得到最优的网络效用值的发包速率，通过已训练的神经网络模型来根据不同的网络状况信息得到对应的发包速率，能够适应多种不同的网络状况，适配复杂的网络环境。

训练完成的所述第一神经网络模型和所述第二神经网络模型可以用一个函数来表示。当处于所述第一阶段时，所述发包速率的获取方式可以使用公式表达为：

，其中，

为已训练的所述第一神经网络模型对应的函数，

为所述第一阶段内的所述发包速率系数，

，

为所述当前网络状况信息。当处于所述第二阶段时，所述发包速率的获取方式可以使用公式表达为：

，其中，

为已训练的所述第二神经网络模型对应的函数，

为所述第一阶段内的所述发包速率系数，

，

为所述当前网络状况信息。

如图3所示，用于根据当前网络状况信息确定对应的发包速率的神经网络模型的训练过程中，部署训练模型所需的网络仿真环境，并部署所述第一神经网络模型和所述第二神经网络模型，根据网络节点所处阶段，将训练数据中的样本网络状况信息输入至对应的神经网络模型，得到神经网络模型输出的发包速率系数，然后根据神经网络输出的发包速率系数得到发包速率，并根据该发包速率进行发包，再计算使用该发包速率进行发包后网络的效用值，根据效用值优化更新神经网络模型，不断迭代上述过程直到效用值不再上升。

具体地，对于用于获取不同阶段的发包速率系数的所述第一神经网络模型和所述第二神经网络模型，用于优化更新网络模型参数的效用值的计算方式不同，对于所述第一神经网络模型，效用值的计算方式为：

，对于所述第二神经网络模型，效用值的计算方式为：

，其中，

为吞吐量增长值，为本次发包速率策略敌营的吞吐量与上一次发包速率对应的吞吐量之差，

为根据本次发包速率策略得到的网络带宽占用度，具体计算方式可以参见后文对于步骤S200的说明，

、

、

为可调参数，用于衡量各项指标的权重。

在本实施例中，所述第一神经网络模型和所述第二神经网络模型采用Actor-Critic网络模型，当然，所述第一神经网络模型和所述第二神经网络模型也可以是卷积神经网络模型或者其他的神经网络模型，下面以Actor-Critic网络模型为例对所述第一神经网络模型和所述第二神经网络模型的训练过程进行具体说明：

步骤1：部署训练模型所需的网络仿真环境。首先采用staturatr工具从真实网络环境下采集trace文件，trace文件反映了真实链路带宽随时间变化情况。然后通过ping工具测量链路的时延和丢包率。最后基于上述采集到的数据(trace文件、链路往返时延和丢包率)，通过Mahimahi网络仿真器重现真实的网络环境，以下简称模拟出的网络环境为容器。

步骤2：在容器中部署并初始化神经网络模型。此处所述第一神经网络模型和所述第二神经网络模型均具体包含4个网络：Actor网络、Actor目标网络、Critic网络以及Critic目标网络。其中Actor目标网络与Critic目标网络用于产生训练数据集，而Actor网络与Critic网络主要用于训练优化网络参数。

Actor网络以及Actor目标网络都由一个长短期记忆网络层、一个全连接网络层和一个softmax层组成，全连接网络层的激活函数采用线性纠正函数(ReLU)。两个网络的输入都是当前的网络状况信息，即由带宽占用度、发包速率、预设链路最大可用带宽和预设带宽占用阈值组成的状态向量，网络的输出分别为原始发包速率调节动作a_o和最终发包速率调节动作at+1。

Critic网络以及Critic目标网络都由一个长短期记忆网络层和两个全连接网络层组成。其中，Critic网络的输入为t时刻的链路状态st和估计值函数vt,通过Adam神经网络优化器进行梯度更新后输出更新后的策略梯度值；Critic目标网络的输入为t+1时刻的链路状态st+1和Actor目标网络输出的动作at+1,网络输出为估计的未来折扣回报β*qt+1，其中，γ为折扣系数，qt+1为t+1时刻强化学习中的Q值。

步骤3：训练模型。如图3所示，将当前链路状态向量（由带宽占用度、发包速率、预设链路最大可用带宽和预设带宽占用阈值组成）输入神经网络决策器，得到神经网络输出的发包速率系数，然后将发包速率rate设置为发包速率系数与预设链路最大可用带宽的积。接着统计最近一段时间的丢包率lr、时延lt、吞吐量thr、抖动jit，并计算效用值，最后优化与更新神经网络。不断迭代上述过程直到效用值不再上升。如图4所示，上述流程具体执行步骤如下：

步骤3.1：将当前链路状况st(st为由带宽占用度、带宽占用阈值、当前发包速率、链路带宽组成的向量)输入Actor网络，Actor网络输出原始动作a_o，接着采用随机噪声(随机噪声的范围为[-a_o*5%,a_o*5%]对其进行干扰 ，输出最终动作a_t，然后将发包速率设置为a_t*bw，bw为预设链路可用最大带宽。接着根据返回的ACK报文计算一个统计周期(st_interval)内的丢包率lr、时延lt、吞吐量thr、抖动jit。接着，根据上述统计参数计算效用值，若当前处于“链路占用”阶段（第二阶段），则采用公式

计算效用值Utility（简称U）；若处于“链路清空”阶段（第一阶段），则采用公式

计算效用值。最后，将当前链路状态存入st+1。于是得到一个状态转移序列( st，at，ut，st+1 )。上述序列含义为：在st状态下执行动作at后得到效用值ut，且链路状态转移到st+1。重复上述步骤N次，将每次所得状态转移序列存入经验池。N值为系统使用者自定义的一个参数。

步骤3.2：从经验池中采集M个子样本组成训练集，用于模型训练。每次随机采样相同数目且连续的样本作为网络的训练数据集Training-Dataset。上述M值为系统使用者自定义的一个参数。

步骤3.3：使用Training-Dataset训练集估计值函数vt。首先给Actor目标网络输入链路状态st+1，其输出动作 at+1，然后将at+1与st+1一并输入Critic目标网络，其输出未来折扣回报γ*qt+1。其中，γ为折扣系数，qt + 1为t+1时刻强化学习中的Q值。最后计算值函数 vt =rt+γ*qt+1，其中rt为上一时刻的效用值。

步骤3.4：通过 Adams(Adaptive Moment Estimation)神经网络优化器,采用Training-Dataset数据集和步骤3.3中计算得到值函数vt,对 Critic网络进行训练。

步骤3.5：将Critic网络和Actor网络的参数更新到 Actor目标网络和Critic目标网络上去。

步骤3.6：最后，以神经网络的形式输出训练得到的算法模型，对模型文件进行命名(与训练用的trace文件同名)，输出模型文件。

具体地，根据所述发包速率系数和预设链路最大可用带宽确定所述发包速率，是将所述发包速率系数乘以所述预设链路最大可用带宽得到所述发包速率。所述预设链路最大可用带宽可以是网络管理人员根据网络的实际设置参数进行设定，而由于不同的网络节点之间的链路的情况不尽想用，由网络管理人员一一指定的方式效率不高且不准确，因此，在本实施例中，所述终端和所述接收端之间的网络链路的最大可用带宽可以由所述终端自行探测得到，具体地，所述根据所述发包速率系数和预设链路最大可用带宽确定所述发包速率之前，所述终端通过向所述接收端发包确定所述预设链路最大可用带宽，具体包括步骤：

在与所述接收端建立网络连接后，向所述接收端发包，每轮发包的发包速率相较于上一轮按预设步进值增长；

根据所述接收端返回的报文确定所述接收端的吞吐量；

记录所述吞吐量不再增长时的所述吞吐量为所述预设链路最大可用带宽。

如图2所示，当所述终端与所述接收端刚建立TCP连接后，首先进入带宽探测阶段以得到所述预设链路最大可用带宽，具体地，所述终端向所述接收端发包，每轮发包的发包速率相较于上一轮按预设步进值增长，每轮内的发包速率相等，也就是说，第二轮的发包速率比第一轮的发包速率大，第三轮的发包速率比第二轮的发包速率大，以此类推。向所述接收端发包后，接收所述接收端返回的报文，并根据所述接收端返回的报文确定所述接收端的吞吐量，当所述接收端的吞吐量不再增长时，说明所述终端和所述接收端之间的管道已被填满，记录所述吞吐量作为所述预设链路最大可用带宽。在带宽探测阶段寻找链路最大可二用带宽的过程中将导致链路挤压过多缓存，因此，在得到所述预设链路最大可用带宽后，进入所述第一阶段以清空链路缓存，之后所述终端进行所述第一阶段和所述第二阶段的切换。

请再次参阅图1，本实施例提供的网络拥塞控制方法，还包括步骤：

S200、接收所述接收端发送的返回报文，根据所述返回报文更新网络带宽占用度。

在确定所述发包速率后，所述终端按照所述发包速率向所述接收端发包，所述接收端接收到后，向所述终端返回ACK报文，所述终端接收所述接收端发送的返回报文，根据所述返回报文更新网络带宽占用度，具体地，所述网络带宽占用度是反映了网络链路的带宽占用程度的量，也就是说，所述网络带宽占用度越大，说明所述终端和所述接收端之间的网络链路的带宽占用程度越高，所述终端和所述接收端之间的网络链路发生拥塞的可能性越高。

所述根据所述返回报文更新网络带宽占用度，包括：

S210、根据所述返回报文获取所述返回报文对应的往返时延，当所述往返时延大于往返时延最小值和预设时延容忍值之和时，将拥塞通告值加一；

S220、根据所述往返时延更新所述往返时延最小值；

S230、每获取到一次所述往返时延，将往返时延总数量加一，当所述往返时延总数量大于预设阈值时，根据所述拥塞通告值和所述往返时延总数量更新所述网络带宽占用度，并清空所述往返时延总数量和所述拥塞通告值。

每次向所述接收端发包后，所述接收端向所述终端发送返回报文，所述终端根据所述返回报文获取所述返回报文对应的往返时延（RTT），往返时延反映了所述终端和所述接收端之间的数据包传输耗时。所述预设时延容忍值代表能容忍的最大排队时延，该值为系统参数，用网络用户设置，每次获取到所述往返时延后，将所述往返时延与往返时延最小值和预设时延容忍值之和进行比较，若所述往返时延大于所述往返时延最小值和预设时延容忍值之和，认为采集到了一个网络拥塞通告，则将拥塞通告值加一，在所述终端和所述接收端刚建立TCP连接时，可以设置所述拥塞通告值的初始值为0。

在判断完所述往返时延与所述往返时延最小值和所述预设时延容忍值之和的大小之后，根据所述往返时延更新往返时延最小值，若所述往返时延小于当前的所述往返时延最小值，则将所述往返时延最小值更新为所述往返时延，若所述往返时延不小于当前的所述往返时延最小值，则维持当前的所述往返时延最小值不变。具体地，在所述终端和所述接收端刚建立TCP连接时，可以设置往返时延最小值的初始值为无穷大，由于实际网络环境下往返时延基本不会大于1秒，因此，可以令往返时延最小值的初始值为2000ms。

每获取到一次所述往返时延，将往返时延总数量加一，具体地，在所述终端和所述接收端刚建立TCP连接时，可以设置所述往返时延总数量的初始值为0，当所述往返时延总数量大于预设阈值时，说明已经采集到了足够多反映当前所述终端和所述接收端之间的链路带宽占用情况的数据，此时根据所述拥塞通告值和所述往返时延总数量更新所述网络带宽占用度，并清空所述往返时延总数量和所述拥塞通告值，即将所述往返时延总数量和所述拥塞通告值置为0。

具体地，所述根据所述拥塞通告值和所述往返时延总数量更新所述网络带宽占用度，包括步骤：

若当前所述网络带宽占用度小于0，则将所述网络带宽占用度更新为所述拥塞通告值和所述往返时延总数量的商；

若当前所述网络带宽占用度不小于0，则根据预设公式更新所述网络带宽占用度；

所述预设公式为：

其中，

为所述网络带宽占用度更新后的值，

为当前所述网络带宽占用度，

为预设参数，

为所述拥塞通告值和所述往返时延总数量的商。

可以在所述终端和所述接收端刚建立TCP连接时，设置所述网络带宽占用度的初始值为-1，当然，所述网络带宽占用度的初始值也可以设置为其他的值，例如0、-2等。

请再次参阅图1，本实施例提供的网络拥塞控制方法，还包括步骤：

S300、在处于第一阶段时，若所述网络带宽占用度小于预设带宽占用阈值，则从所述第一阶段切换至第二阶段，在处于第二阶段时，若所述网络带宽占用度大于所述预设带宽占用阈值，则从所述第二阶段切换至所述第一阶段。

根据所述终端当前所处的阶段以及所述网络带宽占用度进行阶段切换，在所述预设链路最大可用带宽是由网络使用用户自行设定的情况下，可以设定所述终端和所述接收端建立网络连接后，先默认进入第一阶段或第二阶段，在所述预设链路最大可用带宽是所述终端在于所述接收端建立网络连接后，通过带宽测试阶段获取的情况下，在获取到所述预设链路最大可用带宽后进入所述第一阶段。

当所述终端在所述第一阶段内时，所述网络带宽占用度小于预设带宽占用阈值，说明此时所述终端和所述接收端之间的网络链路的缓存已被清空，此时可以进入第二阶段，采用更大的发包速率进行发包，当所述终端在所述第二阶段内时，所述网络带宽占用度大于所述预设带宽占用阈值，说明此时所述终端和所述接收端之间的网络链路的缓存重新积压，此时切换至所述第一阶段进行缓存清空，可以有效避免网络拥塞，并且控制逻辑简单，计算量低，具有强泛化性，可以适用于不同的网络环境。

更进一步地，当处于所述第一阶段时，若所述网络带宽占用度不小于所述预设带宽占用阈值，则重复执行所述根据当前网络状况信息和已训练的神经网络模型确定发包速率的步骤；

当处于所述第二阶段时，若所述网络带宽占用度不大于所述预设带宽占用阈值，则重复执行所述根据当前网络状况信息和已训练的神经网络模型确定发包速率的步骤。

综上所述，本实施例提供一种网络拥塞控制方法，将链路状态划分为两个阶段：第一阶段和第二阶段，在第一阶段内发包速率小于第二阶段内的发包速率，可以在第一阶段内实现将链路积压缓存进行清空，当在第一阶段内的网络带宽占用度小于预设带宽占用阈值时，表示链路积压缓存已清空，此时进入第二阶段，使用更大的发包速率进行发包，在第二阶段内的网络带宽占用度大于预设带宽占用阈值时，表示链路缓存重新积压，此时再进行第一阶段进行缓存清空，整体控制框架的计算量低，具有强泛化性，而在每个阶段，通过网络状况信息和已训练的神经网络模型确定发包速率，通过已训练的神经网络模型来根据不同的网络状况信息得到对应的发包速率，能够高度适配复杂的网络环境，在复杂的网络环境中实现稳定的拥塞控制。

应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

实施例二

基于上述实施例，本发明还相应提供了一种网络拥塞控制装置，如图5所示，所述网络拥塞控制装置包括：

发包模块，所述发包模块用于根据当前网络状况信息和已训练的神经网络模型确定发包速率，按照所述发包速率向接收端发包，具体如实施例一中所述；

接收模块，所述接收模块用于接收所述接收端发送的返回报文，根据所述返回报文更新网络带宽占用度，具体如实施例一中所述；

阶段切换模块，所述阶段切换模块用于在处于第一阶段时，若所述网络带宽占用度小于预设带宽占用阈值，则从所述第一阶段切换至第二阶段；并在处于所述第二阶段时，若所述网络带宽占用度大于所述预设带宽占用阈值，则从所述第二阶段切换至所述第一阶段，具体如实施例一中所述。

实施例三

基于上述实施例，本发明还相应提供了一种终端，如图6所示，所述终端包括处理器10以及存储器20。图6仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有网络拥塞控制程序30，该网络拥塞控制程序30可被处理器10所执行，从而实现本申请中网络拥塞控制方法。

所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述网络拥塞控制方法等。

在一实施例中，当处理器10执行所述存储器20中网络拥塞控制程序30时实现以下步骤：

根据当前网络状况信息和已训练的神经网络模型确定发包速率，按照所述发包速率向接收端发包；

接收所述接收端发送的返回报文，根据所述返回报文更新网络带宽占用度；

在处于第一阶段时，若所述网络带宽占用度小于预设带宽占用阈值，则从所述第一阶段切换至第二阶段，在处于所述第二阶段时，若所述网络带宽占用度大于所述预设带宽占用阈值，则从所述第二阶段切换至所述第一阶段；

其中，所述第一阶段内的所述发包速率小于所述第二阶段内的所述发包速率。

其中，所述根据当前网络状况信息和已训练的神经网络模型确定发包速率，包括：

当处于所述第一阶段时，将所述当前网络状况信息输入至已训练的第一神经网络模型，获取所述第一神经网络模型输出的发包速率系数；

当处于所述第二阶段时，将所述当前网络状况信息输入至已训练的第二神经网络模型，获取所述第二神经网络模型输出的发包速率系数；

根据所述发包速率系数和预设链路最大可用带宽确定所述发包速率；

其中，所述第一神经网络模型和所述第二神经网络模型分别是根据第一数据集和第二数据集训练得到的，所述第一数据集中包括多组第一数据，每组第一数据包括第一样本网络状况信息和第一样本发包速率对应的网络效用值，所述第二数据集中包括多组第二数据，每组第二数据包括第二样本网络状况信息和第二样本发包速率对应的网络效用值。

其中，所述第一神经网络模型和所述第二神经网络模型均为Actor-Critic网络模型。

其中，所述根据所述发包速率系数和预设链路最大可用带宽确定所述发包速率之前，包括：

在与所述接收端建立网络连接后，向所述接收端发包，每轮发包的发包速率相较于上一轮按预设步进值增长；

根据所述接收端返回的报文确定所述接收端的吞吐量；

记录所述吞吐量不再增长时的所述吞吐量为所述预设链路最大可用带宽。

其中，所述根据所述返回报文更新网络带宽占用度，包括：

根据所述返回报文获取所述返回报文对应的往返时延，当所述往返时延大于往返时延最小值和预设时延容忍值之和时，将拥塞通告值加一；

根据所述往返时延更新所述往返时延最小值；

每获取到一次所述往返时延，将往返时延总数量加一，当所述往返时延总数量大于预设阈值时，根据所述拥塞通告值和所述往返时延总数量更新所述网络带宽占用度，并清空所述往返时延总数量和所述拥塞通告值。

其中，所述根据所述拥塞通告值和所述往返时延总数量更新所述网络带宽占用度，包括：

若当前所述网络带宽占用度小于0，则将所述网络带宽占用度更新为所述拥塞通告值和所述往返时延总数量的商；

若当前所述网络带宽占用度不小于0，则根据预设公式更新所述网络带宽占用度；

所述预设公式为：

其中，

为所述网络带宽占用度更新后的值，

为当前所述网络带宽占用度，

为预设参数，

为所述拥塞通告值和所述往返时延总数量的商。

其中，所述根据所述返回报文更新网络带宽占用度之后，还包括：

当处于所述第一阶段时，若所述网络带宽占用度不小于所述预设带宽占用阈值，则重复执行所述根据当前网络状况信息和已训练的神经网络模型确定发包速率的步骤；

当处于所述第二阶段时，若所述网络带宽占用度不大于所述预设带宽占用阈值，则重复执行所述根据当前网络状况信息和已训练的神经网络模型确定发包速率的步骤。

实施例四

本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的网络拥塞控制方法的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种网络拥塞控制方法，其特征在于，所述方法包括：

根据当前网络状况信息和已训练的神经网络模型确定发包速率，按照所述发包速率向接收端发包；

接收所述接收端发送的返回报文，根据所述返回报文更新网络带宽占用度；

在处于第一阶段时，若所述网络带宽占用度小于预设带宽占用阈值，则从所述第一阶段切换至第二阶段，在处于所述第二阶段时，若所述网络带宽占用度大于所述预设带宽占用阈值，则从所述第二阶段切换至所述第一阶段；

其中，所述第一阶段内的所述发包速率小于所述第二阶段内的所述发包速率。

2.根据权利要求1所述的网络拥塞控制方法，其特征在于，所述根据当前网络状况信息和已训练的神经网络模型确定发包速率，包括：

当处于所述第一阶段时，将所述当前网络状况信息输入至已训练的第一神经网络模型，获取所述第一神经网络模型输出的发包速率系数；

当处于所述第二阶段时，将所述当前网络状况信息输入至已训练的第二神经网络模型，获取所述第二神经网络模型输出的发包速率系数；

根据所述发包速率系数和预设链路最大可用带宽确定所述发包速率；

其中，所述第一神经网络模型和所述第二神经网络模型分别是根据第一数据集和第二数据集训练得到的，所述第一数据集中包括多组第一数据，每组第一数据包括第一样本网络状况信息和第一样本发包速率对应的网络效用值，所述第二数据集中包括多组第二数据，每组第二数据包括第二样本网络状况信息和第二样本发包速率对应的网络效用值。

3.根据权利要求2所述的网络拥塞控制方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型均为Actor-Critic网络模型。

4.根据权利要求2所述的网络拥塞控制方法，其特征在于，所述根据所述发包速率系数和预设链路最大可用带宽确定所述发包速率之前，包括：

在与所述接收端建立网络连接后，向所述接收端发包，每轮发包的发包速率相较于上一轮按预设步进值增长；

根据所述接收端返回的报文确定所述接收端的吞吐量；

记录所述吞吐量不再增长时的所述吞吐量为所述预设链路最大可用带宽。

5.根据权利要求1所述的网络拥塞控制方法，其特征在于，所述根据所述返回报文更新网络带宽占用度，包括：

根据所述返回报文获取所述返回报文对应的往返时延，当所述往返时延大于往返时延最小值和预设时延容忍值之和时，将拥塞通告值加一；

根据所述往返时延更新所述往返时延最小值；

每获取到一次所述往返时延，将往返时延总数量加一，当所述往返时延总数量大于预设阈值时，根据所述拥塞通告值和所述往返时延总数量更新所述网络带宽占用度，并清空所述往返时延总数量和所述拥塞通告值。

6.根据权利要求5所述的网络拥塞控制方法，其特征在于，所述根据所述拥塞通告值和所述往返时延总数量更新所述网络带宽占用度，包括：

若当前所述网络带宽占用度小于0，则将所述网络带宽占用度更新为所述拥塞通告值和所述往返时延总数量的商；

若当前所述网络带宽占用度不小于0，则根据预设公式更新所述网络带宽占用度；

所述预设公式为：

其中，

为所述网络带宽占用度更新后的值，

为当前所述网络带宽占用度，

为预设参数，

为所述拥塞通告值和所述往返时延总数量的商。

7.根据权利要求1-6任一项所述的网络拥塞控制方法，其特征在于，所述根据所述返回报文更新网络带宽占用度之后，还包括：

当处于所述第一阶段时，若所述网络带宽占用度不小于所述预设带宽占用阈值，则重复执行所述根据当前网络状况信息和已训练的神经网络模型确定发包速率的步骤；

当处于所述第二阶段时，若所述网络带宽占用度不大于所述预设带宽占用阈值，则重复执行所述根据当前网络状况信息和已训练的神经网络模型确定发包速率的步骤。

8.一种网络拥塞控制装置，其特征在于，包括：

发包模块，所述发包模块用于根据当前网络状况信息和已训练的神经网络模型确定发包速率，按照所述发包速率向接收端发包；

接收模块，所述接收模块用于接收所述接收端发送的返回报文，根据所述返回报文更新网络带宽占用度；

阶段切换模块，所述阶段切换模块用于在处于第一阶段时，若所述网络带宽占用度小于预设带宽占用阈值，则从所述第一阶段切换至第二阶段，并在处于所述第二阶段时，若所述网络带宽占用度大于所述预设带宽占用阈值，则从所述第二阶段切换至所述第一阶段。

9.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述权利要求1-7任一项所述的网络拥塞控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任一项所述的网络拥塞控制方法的步骤。

Images