CN106385376B - 一种基于连续化模型的网络拥塞控制方法 - Google Patents

Abstract

本发明提供了一种基于连续化模型的网络拥塞控制方法，该网络拥塞控制方法包括：预先建立一个连续化拥塞控制模型，在TCP连接中的发送端向接收端发送第t+1个数据包之后，当发送端接收到接收端针对第t+1个数据包所回复的确认包时，发送端计算当前的网络状态参数，作为第t+1次M类网络状态参数；根据预设的连续化拥塞控制模型确定第t+1次M类网络状态参数对应的拥塞窗口值；根据第t+1次M类网络状态参数对应的拥塞窗口值，确定第t+1次拥塞窗口大小的确定值；计算第t+1次M类网络状态参数对应的奖赏值，并确定第t+1次M类网络状态参数对应的评估值，以对该模型进行更新。本发明的网络拥塞控制方法能够从发送端有效地控制网络拥塞问题。

Description

一种基于连续化模型的网络拥塞控制方法

技术领域

本发明涉及网络技术，尤其涉及一种基于连续化模型的网络拥塞控制方法。

背景技术

网络拥塞是指由于网络中的存储和转发节点的性能有限、端点对有限以及资源利用不当等原因而导致的网络传输效率下降的情况。网络拥塞不但降低了网络用户实际上网体验以及增加网络的不稳定因素，严重情况下还会导致网络通信的中断。在互联网飞速发展的今天，接入网络端点数量迅速增长，网络拥塞问题发生的频率也大大增加，已经成为了制约网络发展、影响网络性能、浪费网络资源的主要原因之一。然而，已有的网络拥塞控制技术对于网络拥塞的控制效果较差。因此，研究如何有效地解决网络拥塞问题对于提高网络的通信性能，完善网络服务质量都具有非常重要的意义。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，本发明提供了一种基于连续化模型的网络拥塞控制方法，以至少解决已有的网络拥塞控制技术对于网络拥塞的控制效果较差的问题。

根据本发明的一个方面，提供了一种基于连续化模型的网络拥塞控制方法，所述网络拥塞控制方法包括：预先建立一个连续化拥塞控制模型；所述连续化拥塞控制模型包括预定范围内的M类网络状态参数与预定范围内的拥塞窗口值的之间的对应关系，以及预定范围内的M类网络状态参数与预定范围内的评估值之间的对应关系，M为正整数；在TCP连接中的发送端向接收端发送第t+1个数据包之后，当所述发送端接收到所述接收端针对所述第t+1个数据包所回复的确认包时，所述发送端计算当前的M类网络状态参数，作为第t+1次M类网络状态参数；t为正整数；根据预设的连续化拥塞控制模型，确定所述第t+1次M类网络状态参数对应的拥塞窗口值；根据所述第t+1次M类网络状态参数对应的拥塞窗口值，确定第t+1次拥塞窗口大小的确定值；计算所述第t+1次M类网络状态参数对应的奖赏值，所述奖赏值用于描述网络状态变化情况；根据预设的连续化拥塞控制模型，确定所述第t+1次M类网络状态参数对应的评估值；根据所述第t+1次M类网络状态参数对应奖赏值和所述评估值，对所述连续化拥塞控制模型中预定范围内的M类网络状态参数与预定范围内的拥塞窗口值之间的对应关系进行更新；根据所述第t+1次M类网络状态参数对应奖赏值和所述评估值，对所述连续化拥塞控制模型中预定范围内的M类网络状态参数与预定范围内的评估值之间的对应关系进行更新。

进一步地，所述网络状态参数包括：所述发送端接收到所述接收端针对所述第t+1个和第t个数据包所回复的两个确认包的接收时间间隔；所述发送端发送所述第t+1个和第t个数据包的发送时间间隔；所述发送端发送所述第t+1个数据包的发送时间与接收到所述接收端针对所述第t+1个数据包所回复的确认包的接收时间之间的时间间隔；以及所述发送端发送所述第t+1个数据包的发送时间与所述接收端收到所述第t+1个数据包的时间之间的时间间隔；使用这四类网络状态参数，可以对网络状态进行有效区分，使发送端能够准确判断自身所处的网络状态。

进一步地，所述连续化拥塞控制模型中预定范围内的M类网络状态参数与预定范围内的拥塞窗口值之间的对应关系的表达形式为f:S→a,其中，S表示所述M类网络状态参数形成的M维行向量，a表示拥塞窗口值，f是描述S到a的映射关系的函数，S是函数f的输入，a是函数f的输出；函数f的形式为f(S)＝SW^T,其中，W为M维参数向量；W^T表示W的转置；将第t+1次M类网络状态参数形成的M维行向量记为S_t+1，将S_t+1在上述对应关系f中对应的拥塞窗口值记为a_t+1；上述方式可以直接根据网络状态得出对应的最优拥塞窗口值，使所述模型对网络拥塞问题的控制更加直接有效。

进一步地，所述连续化拥塞控制模型中预定范围内的M类网络状态参数与预定范围内的评估值之间的对应关系构建步骤为：预先建立一个字典集Γ，字典集中包括若干个M类网络状态参数形成的M维行向量，以及若干个与向量一一对应的系数；字典集初始状态包含一个M维零向量，该向量对应的系数为0；使用上述字典集Γ构建M类网络状态参数到评估值之间的映射关系，其形式为g:S→v。其中，S表示所述M类网络状态参数形成的M维行向量，v表示上述M类网络状态参数对应的评估值，g是描述S到v的映射关系的函数，S是函数g的输入，而v是函数g的输出；函数g的形式为其中，N表示上述字典集Γ中向量的数量，Y_i为上述字典集Γ中第i个向量，θ_i为上述字典集Γ中向量Y_i对应的系数；将第t+1次M类网络状态参数形成的M维行向量S_t+1在上述对应关系g中所对应的评估值记为v_t+1。

进一步地，所述确定第t+1次拥塞窗口大小的确定值的步骤包括：生成一个符合标准正态分布的随机数Δ，按照如下公式计算拥塞窗口值x_t+1：x_t+1＝a_t+1+Δ，其中，a_t+1为第t+1次M类网络状态参数对应的拥塞窗口值，Δ为上述随机数；将x_t+1确认为第t+1次拥塞窗口大小的确定值；上述方式在拥塞窗口大小的确定值的确认过程中加入了随机成分，一方面可以充分探索不同拥塞窗口值对网络环境的影响，加快了所述模型的更新速度，另一方面可以使所述模型更加灵活，增强了对网络环境的适应性。

进一步地，所述计算所述第t+1次M类网络状态参数大小对应的奖赏值的步骤包括：根据下式计算所述奖赏值：r＝h(mean_k,mean_n,iat)，其中，mean_k为发送端最近接收到的k+1个确认包中每相邻两个确认包之间的时间间隔的平均值，mean_n为发送端最近接收到的n+1个确认包中每相邻两个确认包之间的时间间隔的平均值，n大于k，iat为发送端最近接收到的2个确认包之间的时间间隔；h(mean_k,mean_n,iat)为以mean_k、mean_n和iat为输入、以奖赏值r为输出的函数；使用上述方式计算奖赏值r，可以使其平滑地表示网络环境的变化情况，令所述模型更加稳定，同时考虑了吞吐量与上述时间间隔iat之间的关系，提高了网络吞吐量。

进一步地，所述对预定范围内的M类网络状态参数与预定范围内的拥塞窗口值之间的对应关系进行更新的步骤包括：根据下式计算t+1次M类网络状态参数对应的参数δ_t+1：δ_t+1＝r_t+1+λv_t+1-v_t，其中，r_t+1为所述第t+1次M类网络状态参数对应的奖赏值，v_t+1为所述第t+1次M类网络状态参数对应的评估值，v_t为第t次M类网络状态参数对应的评估值，λ为预先定义好的参数，范围在0到1之间；在参数δ_t+1小于或等于零的情况下，不对W做任何改变；在参数δ_t+1大于零的情况下，针对W中的每个分量ω，使用下式来更新该分量：ω_t+1＝ω_t+γ(x_t-a_t)▽_wf(S_t)，其中，ω_t为分量更新前的值，ω_t+1为分量更新后的值，x_t为第t次拥塞窗口大小的确定值，a_t为第t次M类网络状态参数对应的拥塞窗口值，S_t为第t次M类网络状态参数共同组成的状态向量，▽_wf(S_t)为函数f对ω的偏导数在状态向量S_t下的值，γ为预先定义的学习速率、且范围在[0,1]之间；使用上述方式对所述对应关系进行更新，可以令所述模型保留并更新各网络状态下对应的最优拥塞窗口值，从而使所述模型不断自我完善。

进一步地，所述对预定范围内的M类网络状态参数与预定范围内的评估值之间的对应关系进行更新步骤包括：更新所述的字典集Γ中所有向量对应的系数，对于字典集Γ中所有系数θ，使用如下公式进行更新：θ_t+1＝θ_t+βδ_t+1，其中δ_t+1为所述第t+1次M类网络状态参数对应的参数，θ_t为更新前系数的值，θ_t+1为更新后系数的值，β为预先定义的更新速率，范围在0到1之间；更新所述的字典集Γ，若第t+1次M类网络状态参数形成的M维行向量S_t+1满足条件则在上述字典集Γ中添加新的样本Y_N+1及其对应的系数θ_N+1，Y_N+1为与S_t+1完全相同的M维行向量，θ_N+1值为0，表示S_t+1的转置，Y_i表示上述字典集Γ中的第i个向量，Y_i ^T表示Y_i的转置，μ为预先定义的阈值。

进一步地，计算所述奖赏值的步骤包括：按照如下公式计算参数stable_mean：

其中，σ为预先设定的阈值，stable_mean的初值为0；按照下式计算h(mean_k,mean_n,iat)：

通过以上描述可知，本发明的基于连续化模型的网络拥塞控制方法，其利用连续化拥塞控制模型确定当前网络状态参数(即第t+1次M类网络状态参数)对应的拥塞窗口值，进而获得当前拥塞窗口大小的确定值(即第t+1次拥塞窗口大小的确定值)，并根据对应的奖赏值和评估值来更新上述连续化拥塞控制模型。该网络拥塞控制方法在设置当前拥塞窗口大小的确定值过程中加入了随机成分，并根据当前网络状态参数对应的奖赏值和评估值来对连续化拥塞控制模型进行更新，能够通过实测数据不断修正模型参数，使得模型的计算结果更加准确，能够有效地从发送端控制网络拥塞问题。

相比于已有的拥塞控制方法中通过检测网络中数据包的丢失情况来判断当前的网络状态的方式，本发明的网络拥塞控制方法不会造成大量不必要的数据丢失；而且，相比于已有的拥塞控制方法中通过线性增长倍数降低的方法对数据发送进行控制的方式，本发明的网络拥塞控制方法能够充分利用网络资源；同时，本发明的网络拥塞控制方法通过对连续化拥塞控制模型的不断更新，可以不断的自我完善，进而充分适应各种网络环境。

本发明的基于连续化拥塞控制模型的网络拥塞控制方法利用能够描述网络状态参数与拥塞窗口之间对应关系的连续化拥塞模型来确定拥塞窗口大小的确定值，在上述连续化拥塞控制模型中采用“发送端接收到接收端针对第t+1个和第t个数据包所回复的两个确认包的接收时间间隔”、“发送端发送第t+1个和第t个数据包的发送时间间隔”、“发送端发送第t+1个数据包的发送时间与接收到接收端针对第t+1个数据包所回复的确认包的接收时间之间的时间间隔”以及“所述发送端发送所述第t+1个数据包的发送时间与所述接收端收到所述第t+1个数据包的时间之间的时间间隔”这四种时间间隔(即第一类参数、第二类参数、第三类参数和第四类参数)来描述当前网络状态，由此从四个方面全方位地反映当前网络拥塞情况。这样，基于以上四种时间间隔而构建的拥塞控制模型，模型的输入端是作为网络状态参数的上述四种时间间隔，其中每一组网络状态参数(也即，由四个参数形成的四维行向量)对应一个拥塞窗口值，输出端是对应的拥塞窗口大小的确定值，利用上文所描述的表达形式，能够准确地得到当前网络状态参数所对应的最优的拥塞窗口值。此外，结合后续的更新步骤，利用每一次的实测数据(当前网络状态参数)的计算结果对模型进行更新，使得计算结果更加准确，对网络拥塞状况的解决也更为有效。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。

在附图中：

图1是示出本发明的基于连续化拥塞控制模型的网络拥塞控制方法的一种示例性处理的流程图；

图2是图1中的步骤S130的一种可能处理的流程图；

图3是图1中的步骤S150的一种可能处理的流程图；

图4是图1中的步骤S160的一种可能处理的流程图；

图5是图1中的步骤S170的一种可能处理的流程图；

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

本发明的实施例提供了一种基于连续化拥塞控制模型的网络拥塞控制方法，该网络拥塞控制方法包括：预先建立一个连续化拥塞控制模型；所述连续化拥塞控制模型包括预定范围内的M类网络状态参数与预定范围内的拥塞窗口值之间的对应关系，以及预定范围内的M类网络状态参数与预定范围内的评估值之间的对应关系，M为正整数；在TCP连接中的发送端向接收端发送第t+1个数据包之后，当所述发送端接收到所述接收端针对所述第t+1个数据包所回复的确认包时，所述发送端计算当前的M类网络状态参数，作为第t+1次M类网络状态参数；t为正整数；根据预设的连续化拥塞控制模型，确定所述第t+1次M类网络状态参数对应的拥塞窗口值；根据所述第t+1次M类网络状态参数对应的拥塞窗口值，确定第t+1次拥塞窗口大小的确定值；计算所述第t+1次M类网络状态参数对应的奖赏值，所述奖赏值用于描述网络状态变化情况；根据预设的连续化拥塞控制模型，确定所述第t+1次M类网络状态参数对应的评估值；根据所述第t+1次M类网络状态参数对应奖赏值和所述评估值，对所述连续化拥塞控制模型中预定范围内的M类网络状态参数与预定范围内的拥塞窗口值之间的对应关系进行更新；根据所述第t+1次M类网络状态参数对应奖赏值和所述评估值，对所述连续化拥塞控制模型中预定范围内的M类网络状态参数与预定范围内的评估值之间的对应关系进行更新；

下面结合图1来描述本发明的一种基于连续化拥塞控制模型的网络拥塞控制方法的一个示例的处理流程。

如图1所示，处理流程开始之后，预先建立一个连续化拥塞控制模型，所述连续化拥塞控制模型包括预定范围内的M类网络状态参数与预定范围内的拥塞窗口值的之间的对应关系，以及预定范围内的M类网络状态参数与预定范围内的评估值之间的对应关系；然后，执行步骤S110。

在步骤S110中，在TCP连接中的发送端向接收端发送第t+1个数据包之后，当发送端接收到接收端针对第t+1个数据包所回复的确认包(即ACK包)时，发送端计算当前的网络状态参数，作为第t+1次M类网络状态参数。其中，t为正整数。然后，执行步骤S120。例如，可将“第t+1个数据包”记为se_t+1,，而将“接收端针对第t+1个数据包所回复的确认包”记为ack_t+1；类似地，可将下文提到的“第t个数据包”记为se_t,，以及将“接收端针对第t个数据包所回复的确认包”记为ack_t。

当前的网络状态参数是能够对当前网络状态进行量化描述的参数。

根据一种实现方式，当前的网络状态参数可以包括：发送端接收到接收端针对第t+1个和第t个数据包所回复的两个确认包的接收时间间隔(作为第一类参数)；发送端发送第t+1个和第t个数据包的发送时间间隔(作为第二类参数)；发送端发送第t+1个数据包的发送时间与接收到接收端针对第t+1个数据包所回复的确认包的接收时间之间的时间间隔(作为第三类参数)；以及所述发送端发送所述第t+1个数据包的发送时间与所述接收端收到所述第t+1个数据包的时间之间的时间间隔(作为第四类参数)。

也就是说，第一类参数即是发送端接收到ack_t+1的时间与发送端接收到ack_t的时间之差；第二类参数即是发送端发送se_t+1,的时间与发送端发送se_t,的时间之差；第三类参数即是发送端接收ack_t+1的时间与发送端发送se_t+1,的时间之差；而第四类参数即是接收端接收到se_t+1的时间与发送端发送se_t+1的时间之差。

这样，通过该实现方式，能够利用以上四类参数来共同描述当前网络状态，可以对网络状态进行有效区分，使发送端能够准确判断自身所处的网络状态。

在步骤S120中，根据预设的连续化拥塞控制模型，确定第t+1次M类网络状态参数对应的拥塞窗口值，其中，连续化拥塞控制模型包括预定范围内的网络状态参数与预定范围内的拥塞窗口值之间的对应关系。然后，执行步骤S130。

例如，网络状态参数包括M类参数，则“预定范围内的网络状态参数”是指该M类参数中的每类参数都分别在各自的对应范围内。如M＝4时，假设网络状态参数包括上述第一类、第二类、第三类和第四类参数，则第一类参数在第一范围内，第二类参数在第二范围内，第三类参数在第三范围内，而第四类参数在第四范围内。其中，第一范围、第二范围、第三范围和第四范围分别为预设的取值范围。例如：第一范围、第二范围、第三范围和第四范围均为[0,1]，而拥塞窗口值的预定范围为[0,20]。

根据一种实现方式，预设的连续网络状态模型中预定范围内的网络状态参数与预定范围内的拥塞窗口值之间的对应关系可用如下方式表示：

f:S→a

f(S)＝SW^T。

其中，S表示M类网络状态参数形成的M维行向量(下文简称状态向量)，a表示拥塞窗口值，且a在拥塞窗口值的取值范围内。f是描述S到a的映射关系的函数，其中，S是函数f的输入量，而a是函数f的输出量，W为M维参数向量，W^T表示W的转置；将第t+1次M类网络状态参数形成的M维行向量记为S_t+1，将S_t+1在上述对应关系f中对应的拥塞窗口值记为a_t+1。例如，在网络状态参数包括上文所述的第一类参数、第二类参数、第三类参数和第四类参数的情况下，M＝4，则函数中输入S即为以上述第一类参数、第二类参数、第三类参数和第四类参数为分量的四维行向量，可表示为：S＝(s₁,s₂,s₃,s₄)。其中，s₁表示上述第一类参数，s₂表示上述第二类参数，s₃表示上述第三类参数，s₄表示上述第四类参数，W可以为维数与S相同参数向量，可表示为W＝(w₁,w₂,w₃,w₄)。其中，w₁表示上述第一类参数在函数f中所对应的参数，w₂表示上述第二类参数在函数f中所对应的参数，w₃表示上述第三类参数在函数f中所对应的参数，w₄表示上述第四类参数在函数f中所对应的参数，则上述函数f可表示为：

f(S)＝(s₁,s₂,s₃,s₄)(w₁,w₂,w₃,w₄)^T＝w₁s₁+w₂s₂+w₃s₃+w₄s₄。

这样，将第t+1次M类网络状态参数形成的一维向量输入到函数f中，得到的输出量即为第t+1次M类网络状态参数对应的拥塞窗口值。

这样，通过该实现方式，可以直接根据网络状态得出对应的最优拥塞窗口值，使所述模型对网络拥塞问题的控制更加直接有效。

在网络拥塞控制技术领域，一类已有技术通过检测网络中数据包的丢失情况来判断当前的网络状态，这样会造成大量不必要的数据丢失；另一类是通过线性增长倍数降低的方法对数据发送进行控制，而这种方式无法有效地利用网络资源。因此，根据何种指标判断当前网络状态、基于何种方式控制数据发送，对于网络拥塞控制技术来说至关重要，效果也相差甚多。

在步骤S130中，根据第t+1次M类网络状态参数对应的拥塞窗口值，确定第t+1次拥塞窗口大小的确定值。然后，执行步骤S140。

根据一种实现方式，可以通过如图2所示的步骤S210和S220来确定第t+1次拥塞窗口大小的确定值。

如图2所示，在步骤S210中，生成一个符合标准正态分布的随机数Δ；

然后，在步骤S220中，按照如下公式计算拥塞窗口值x_t+1：x_t+1＝a_t+1+Δ，其中，a_t+1为第t+1次M类网络状态参数对应的拥塞窗口值，Δ为上述随机数，将x_t+1确认为第t+1次拥塞窗口大小的确定值。

这样，通过该实现方式，在拥塞窗口大小的确定值的确认过程中加入了随机成分，一方面可以充分探索不同拥塞窗口值对网络环境的影响，加快了所述模型的更新速度，另一方面可以使所述模型更加灵活，增强了对网络环境的适应性。

执行完步骤S130之后，在步骤S140中，计算第t+1次M类网络状态参数对应的奖赏值，奖赏值用于描述网络状态变化情况，其中，网络状态变差，则对应的奖赏值偏小。然后，执行步骤S150。

根据一种实现方式，可以根据下式计算第t+1次M类网络状态参数对应的奖赏值r：

r＝h(mean_k,mean_n,iat)。

其中，mean_k为发送端最近接收到的k+1个确认包中每相邻两个确认包之间的时间间隔的平均值，mean_n为发送端最近接收到的n+1个确认包中每相邻两个确认包之间的时间间隔的平均值，n可设置为100，k可设置为20，iat为发送端最近接收到的2个确认包之间的时间间隔；h(mean_k,mean_n,iat)为以mean_k、mean_n和iat为输入、以奖赏值r为输出的函数。

例如，可以通过中间参数stable_mean来计算h(mean_k,mean_n,iat)。首先，通过下式计算stable_mean：

其中，σ为预先设定的阈值，可设置为0.75，stable_mean的初始值为0；然后，按照下式计算h(mean_k,mean_n,iat)：

这样，通过该实现方式，可以使奖赏值r平滑地表示网络环境的变化情况，令所述模型更加稳定，同时考虑了吞吐量与上述时间间隔iat之间的关系，提高了网络吞吐量。

在步骤S150中，根据第t+1次M类网络状态参数，计算第t+1次M类网络状态参数的评估值。然后，执行步骤S160。

根据一种实现方式，可以通过图3所示的步骤S310和S320来计算第t+1M类次网络状态参数的评估值。

如图3所示，在步骤S310中，预先建立一个字典集Γ，字典集中包括若干个网络状态参数形成的四维行向量，以及若干个与向量一一对应的系数；字典集初始状态包含一个四维零向量，可表示为Y₁＝{0,0,0,0},以及Y₁对应的系数θ₁＝0；

在步骤S320中，使用上述字典集Γ构建状态参数到评估值之间的映射关系，其形式如下：g:S→v，其中S表示状态向量，可记为S＝(s₁,s₂,s₃,s₄)，v表示网络状态参数对应的评估值，g是描述S到v的映射关系的函数，S是函数g的输入，而v是函数g的输出；使用表示上述字典集Γ中第i个向量，θ_i表示向量Y_i对应的系数，将第t+1次M类网络状态参数形成的M维行向量S_t+1在上述对应关系g中所对应的评估值记为v_t+1，则函数g可表示为：

其中，N表示上述字典集Γ中向量的数量。

在步骤S330中，利用第t+1次M类网络状态参数以及网络状态参数到评估值的映射关系，获得第t+1次M类网络状态参数的评估值。也即，通过步骤S320得到网络状态参数到评估值的映射关系之后，将第t+1次M类网络状态参数输入到该映射关系中，即可得到其对应的评估值。

在步骤S160中，根据计算的奖赏值和评估值，对预定范围内的网络状态参数与预定范围内的拥塞窗口值之间的对应关系进行更新，然后，执行步骤S170。

根据一种实现方式，可以通过如图4所示的步骤S410和步骤S420来对网络状态参数与拥塞窗口值之间的对应关系进行更新。

如图4所示，在步骤S410中，根据下式计算第t+1次M类网络状态参数对应的参数δ_t+1：

δ_t+1＝r_t+1+λv_t+1-v_t。

其中，r_t+1为第t+1次M类网络状态参数对应的奖赏值，v_t+1为第t+1次M类网络状态参数的评估值，v_t为第t次网络状态参数的评估值。

然后，在步骤S420中，根据参数δ_t+1对预定范围内的网络状态参数与预定范围内的拥塞窗口值之间的对应关系进行更新。

在一个例子中，可以通过如下方式来对上述预定范围内的网络状态参数与预定范围内的拥塞窗口值之间的对应关系进行更新：在参数δ_t+1小于或等于零的情况下，不对W做任何改变；在参数δ_t+1大于零的情况下，针对W中的每个分量ω，使用下式来更新该分量：ω_t+1＝ω_t+γ(x_t-a_t)▽_wf(S_t)。其中，ω_t为分量更新前的值，ω_t+1为分量更新后的值，x_t为第t次拥塞窗口大小的确定值，a_t为第t次M类网络状态参数对应的拥塞窗口值，S_t为第t次M类网络状态参数共同的组成的状态向量，▽_wf(S_t)为函数f对ω的偏导数在状态向量S_t下的值，γ为预先定义的学习速率、且范围在[0,1]之间。

这样，通过该实现方式，可以令所述模型保留并更新各网络状态下对应的最优拥塞窗口值，从而使所述模型不断自我完善

根据一种实现方式，可以通过如图5所示的步骤S510和步骤S520来对网络状态参数与评估值之间的对应关系进行更新。

如图5所示，在步骤S510中，更新字典集Γ中所有向量对应的系数，对于字典集Γ中任一系数θ，使用如下公式进行更新：

θ_t+1＝θ_t+βδ_t+1

其中δ_t+1为步骤S410中计算出的第t+1次M类网络状态参数对应的参数，θ_t为更新前系数的值，θ_t+1为更新后系数的值，β为预先定义的更新速率，范围在0到1之间，通常设置为0.0125；

在步骤S520中，将第t+1次M类网络状态参数对应的状态向量使用S_t+1＝{s₁,s₂,s₃,s₄}表示，使用Y＝{y₁,y₂,y₃,y₄}表示上述字典集Γ中向量，首先按照公式分别计算S_t+1与上述字典集Γ中每个向量的距离d，将其中最小的距离记为d_min,若d_min大于预先设定的阈值μ，则在上述字典集Γ中添加新的样本Y_N+1及其对应的系数θ_N+1，Y_N+1为与S_t+1完全相同的向量，θ_N+1值为0，其中μ为预先定义的阈值，通常设置为1。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (7)

1.一种基于连续化模型的网络拥塞控制方法，其特征在于，所述网络拥塞控制方法包括：

预先建立一个连续化拥塞控制模型；所述连续化拥塞控制模型包括预定范围内的M类网络状态参数与预定范围内的拥塞窗口值的之间的对应关系，以及预定范围内的M类网络状态参数与预定范围内的评估值之间的对应关系，M为正整数；

在TCP连接中的发送端向接收端发送第t+1个数据包之后，当所述发送端接收到所述接收端针对所述第t+1个数据包所回复的确认包时，所述发送端计算当前的M类网络状态参数，作为第t+1次M类网络状态参数；t为正整数；其中，当前的网络状态参数是能够对当前网络状态进行量化描述的参数；

根据预设的连续化拥塞控制模型，确定所述第t+1次M类网络状态参数对应的拥塞窗口值；

所述连续化拥塞控制模型中预定范围内的M类网络状态参数与预定范围内的拥塞窗口值之间的对应关系采用如下表达形式：

f:S→a

其中，S表示所述M类网络状态参数形成的M维行向量，a表示拥塞窗口值，f是描述S到a的映射关系的函数，S是函数f的输入，a是函数f的输出，函数f的形式如下：

f(S)＝SW^T

其中，W为M维参数向量；W^T表示W的转置；将第t+1次M类网络状态参数形成的M维行向量记为S_t+1，将S_t+1在上述对应关系f中对应的拥塞窗口值记为a_t+1；

根据所述第t+1次M类网络状态参数对应的拥塞窗口值，确定第t+1次拥塞窗口大小的确定值；

所述确定第t+1次拥塞窗口大小的确定值的步骤包括：生成一个符合标准正态分布的随机数Δ，按照如下公式计算拥塞窗口值x_t+1：x_t+1＝a_t+1+Δ；其中，a_t+1为第t+1次M类网络状态参数对应的拥塞窗口值，Δ为上述随机数；将x_t+1确认为第t+1次拥塞窗口大小的确定值；

计算所述第t+1次M类网络状态参数对应的奖赏值，所述奖赏值用于描述网络状态变化情况；

根据预设的连续化拥塞控制模型，确定所述第t+1次M类网络状态参数对应的评估值；

根据所述第t+1次M类网络状态参数对应奖赏值和所述评估值，对所述连续化拥塞控制模型中预定范围内的M类网络状态参数与预定范围内的拥塞窗口值之间的对应关系进行更新；

根据所述第t+1次M类网络状态参数对应奖赏值和所述评估值，对所述连续化拥塞控制模型中预定范围内的M类网络状态参数与预定范围内的评估值之间的对应关系进行更新。

2.根据权利要求1所述的网络拥塞控制方法，其特征在于，所述M类网络状态参数包括：

所述发送端接收到所述接收端针对所述第t+1个和第t个数据包所回复的两个确认包的接收时间间隔；

所述发送端发送所述第t+1个和第t个数据包的发送时间间隔；

所述发送端发送所述第t+1个数据包的发送时间与接收到所述接收端针对所述第t+1个数据包所回复的确认包的接收时间之间的时间间隔；

以及所述发送端发送所述第t+1个数据包的发送时间与所述接收端收到所述第t+1个数据包的时间之间的时间间隔。

3.根据权利要求1所述的网络拥塞控制方法，其特征在于，所述连续化拥塞控制模型中预定范围内的M类网络状态参数与预定范围内的评估值之间的对应关系构建步骤为：

预先建立一个字典集Γ，其中包括若干个M类网络状态参数形成的M维行向量，以及若干个与向量一一对应的系数；字典集初始状态包含一个M维零向量，该向量对应的系数为0；

使用上述字典集Γ构建M类网络状态参数到评估值之间的映射关系，其形式如下：

g:S→v

其中，S表示所述M类网络状态参数形成的M维行向量，v表示上述M类网络状态参数对应的评估值，g是描述S到v的映射关系的函数，S是函数g的输入，v是函数g的输出，函数g的形式如下：

其中，N表示上述字典集Γ中向量的数量，Y_i为上述字典集Γ中第i个向量，θ_i为上述字典集Γ中向量Y_i对应的系数；将第t+1次M类网络状态参数形成的M维行向量S_t+1在上述对应关系g中所对应的评估值记为v_t+1。

4.根据权利要求1所述的网络拥塞控制方法，其特征在于，所述计算所述第t+1次M类网络状态参数对应的奖赏值的步骤包括：

根据下式计算所述奖赏值：

r＝h(mean_k,mean_n,iat)，

其中，mean_k为发送端最近接收到的k+1个确认包中每相邻两个确认包之间的时间间隔的平均值，mean_n为发送端最近接收到的n+1个确认包中每相邻两个确认包之间的时间间隔的平均值，n大于k，iat为发送端最近接收到的2个确认包之间的时间间隔；h(mean_k,mean_n,iat)为以mean_k、mean_n和iat为输入、以奖赏值r为输出的函数。

5.根据权利要求3所述的网络拥塞控制方法，其特征在于，所述对预定范围内的M类网络状态参数与预定范围内的拥塞窗口值之间的对应关系进行更新的步骤包括：

根据下式计算t+1次M类网络状态参数对应的参数δ_t+1：

δ_t+1＝r_t+1+λv_t+1-v_t

其中，r_t+1为所述第t+1次M类网络状态参数对应的奖赏值，v_t+1为所述第t+1次M类网络状态参数对应的评估值，v_t为第t次M类网络状态参数对应的评估值，λ为预先定义好的参数，范围在0到1之间；

在参数δ_t+1小于或等于零的情况下，不对W做任何改变；

在参数δ_t+1大于零的情况下，针对W中的每个分量ω，使用下式来更新该分量：

其中，ω_t为分量更新前的值，ω_t+1为分量更新后的值，x_t为第t次拥塞窗口大小的确定值，a_t为第t次M类网络状态参数对应的拥塞窗口值，S_t为第t次M类网络状态参数共同组成的状态向量，为函数f对ω的偏导数在状态向量S_t下的值，γ为预先定义的学习速率、且范围在[0,1]之间。

6.根据权利要求5中所述的网络拥塞控制方法，其特征在于，所述对预定范围内的M类网络状态参数与预定范围内的评估值之间的对应关系进行更新步骤包括：

更新权利要求3中所述的字典集Γ中所有向量对应的系数，对于字典集Γ中所有系数θ，使用如下公式进行更新：

θ_t+1＝θ_t+βδ_t+1

其中，δ_t+1为权利要求5中所述第t+1次M类网络状态参数对应的参数，θ_t为更新前系数的值，θ_t+1为更新后系数的值，β为预先定义的更新速率，范围在0到1之间；

更新权利要求3中所述的字典集Γ，若第t+1次M类网络状态参数形成的M维行向量S_t+1满足条件：

则在上述字典集Γ中添加新的样本Y_N+1及其对应的系数θ_N+1，Y_N+1为与S_t+1完全相同的M维行向量，θ_N+1值为0；其中，表示S_t+1的转置，Y_i表示上述字典集Γ中的第i个向量，Y_i ^T表示Y_i的转置，μ为预先定义的阈值。

7.根据权利要求4所述的网络拥塞控制方法，其特征在于，计算所述奖赏值的步骤包括：

按照如下公式计算参数stable_mean：

其中，σ为预先设定的阈值，stable_mean的初始值为0；然后按照如下公式计算h(mean_k,mean_n,iat)：