CN104640155B

CN104640155B - 基于灰色吞吐量预测的无线Ad Hoc网络TCP拥塞避免机制

Info

Publication number: CN104640155B
Application number: CN201310576475.0A
Authority: CN
Inventors: 江虹; 罗颖; 曾闵; 彭先敏; 石繁荣; 李强
Original assignee: Southwest University of Science and Technology
Current assignee: Southwest University of Science and Technology
Priority date: 2013-11-11
Filing date: 2013-11-11
Publication date: 2020-03-31
Anticipated expiration: 2033-11-11
Also published as: CN104640155A

Abstract

TCP协议对拓扑变化快的Ad Hoc网络易导致吞吐量低、延迟大等缺陷。为此，本设计提出一种基于灰色吞吐量预测的拥塞避免机制。主要包括：(1)由底层参数结合跨层吞吐量模型计算网络当前理论吞吐量，作为后续拥塞控制的依据；(2)本设计利用灰色预测器和残差修正来挖掘吞吐量数据的潜在信息，作为TCP下阶段拥塞避免机制的决策依据；(3)利用传播延迟量化器将延迟量化为拥塞窗口效用参数变化率，使拥塞决策更匹配网络当前状态；(4)为提升传播延迟量化器的准确性，利用吞吐量模型来评价各决策对环境的影响，利用Sarsa策略来动态规划和搜索最优决策因子。通过以上方式的协同控制，在吞吐量、传播延迟等方面提升了TCP协议在AdHoc网络中的性能。

Description

基于灰色吞吐量预测的无线Ad Hoc网络TCP拥塞避免机制

技术领域：

本发明主要针对无线多跳自组织Ad Hoc网络环境下的TCP性能提升，涉及数据预测，跨层吞吐量计算，强化学习策略搜索。旨在解决现有TCP Vegas协议在无线Ad Hoc网络环境下存在的拥塞问题，属于无线通信领域。

背景技术：

TCP(Transmission Control Protoco1)是一种面向连接的、可靠的、端到端的传输层通信协议，它被用于提供各种可靠的数据传输服务。无线Ad H oc网络是一种无基础设施的新型移动网络，具有动态变化的网络拓扑结构、有限的主机能源、有限的无线通信距离等特点。TCP虽在多利场景中应用广泛并体现出优良的特性，但对于这种新兴的无线多跳AdHoc网络却容易出现拥塞，导致吞吐量低、传播延迟大和带宽利用率低等性能问题。

拥塞避免是TCP在Ad Hoc网络下拥塞控制的关键问题。针对改进拥塞控制方法提升网络整体性能问题，主要是基于速率的拥塞控制方法，将检查到的丢包和速率信息由中间路由节点传输到发端，发端根据这些信息区分拥塞丢包和无线丢包，从而合理控制发送速率，提高TCP吞吐量；另外一利典型方法是通过发送初始探测包，估计网络带宽，计算发送速率和时延，并以此速率发送数据。接收端将传输路径上的最大延时周期性的反馈给发送端，发端基于该信息进行流速控制；第三类常用方法是通过观测网络状态因子，动态更新拥塞窗口，自适应网络状态变化，例如：将拥塞控制阶段视为一个有限状态的马尔可夫过程，拥塞窗口变化为动作，ack往返时延作为观测的反馈值，通过强化学习动态搜索最优动作策略，以提升网络性能。

上述拥塞控制方法主要存在着如下的不足：I在整体考虑拥塞控制机制过程中，将上一阶段的网络状态作为下一阶段的拥塞控制依据，不能协调网络状态可能突变的情况；II.TCP传输数据过程中，由于网络环境和业务的高动态特性，协议不能在低感知度的网络状态下，做出最正确的决策。

发明内容：

本发明的目的是克服上述问题，针对多跳Ad Hoc网络环境下的性能问题，提供一种基于灰色吞吐量预测的无线自组织TCP拥塞避免机制。本发明的具体技术方案如下：

基于灰色吞吐量预测的无线自组织TCP拥塞避免机制，包括以下步骤：

1)针对多跳Ad Hoc网络，由底层参数结合跨层吞吐量模型101计算当前阶段网络所承载的理论吞吐量状态，作为后续拥塞控制重要依据；

2)TCP传输数据过程中，由于网络环境和业务具有高度的动态特性，使得协议对现有环境状态的认知度降低，本设计利用灰色预测器102和残差修正103，挖掘穷吞吐量数据101的潜在信息，作为下一阶段拥塞避免机制104的决策依据；

3)本设计利用传播延迟量化器105将延迟量化为拥塞窗口效用参数变化率，避免使用单一的拥塞决策效用参数，使拥塞决策更匹配网络当前状态；

4)为提升传播延迟量化器105的准确性，本设计利用Sarsa策略搜索106，利用101提出的吞吐量模型评价各决策对环境造成的影响，动态规划和搜索最优决策因子，达到最优控制的目的。

本发明提出的基于灰色吞吐量预测的拥塞避免机制不仅能够提升TCP协议在无线拓扑高速变换环境下的吞吐量，降低其延迟，而且能保证Vega协议与其他协议版本数据流公平传输。

附图说明：

图1为TCP Vegas拥塞控制结构框图

图2为跨层吞吐量模型框图

图3为灰色预测GM(1，1)机制示意图

图4为拥塞避免机制流程图

图5为往返时延量化函数关系图

具体实施方法：

为使本发明的内容、效果以及要点更加清楚明白，下面结合附图对本发明进一步详细阐述。

图1为该TCP协议拥塞控制机制整体框图。如图1所示，跨层的吞吐量计算模型为拥塞控制提供更为准确的依据。为简化跨层吞吐量模型，本方案假设IP协议是一种“尽力而为”的服务，具有极少量可利用的反馈信息。设TL层使用TCP协议，MAC层使用DCF(Distributed Coordination Function)协议，队列管理机制使用主动队列管理RED机制。因此，本方案重点考虑TL层、DLL层的MAC子层以及队列管理机制对网络吞吐量的影响。如图2所示，TL层协议、MAC层协议、队列管理机制所产生的延迟以及丢包将被共同作用于吞吐量计算模型。

图2中所采用的吞吐量计算方程具体形式为：

其中，

p代表丢失事件率，CW_peak代表拥塞窗口的平均峰值，p_str代表段(传送协议数据单元)丢失率，RTT代表平均往返时延，p_TO代表一个拥塞控制段内超时事件发生的概率，RTO代表一个拥塞控制段内的第一个超时时延。如图2所示，dp_ACK、dp_DCF、dp_queue分别定义为一个数据包可能由于TCP、DCF、RED协议而丢失的概率，d_ACK、d_MAC、d_queue分别代表一个成功发送的数据包分别在TCP、MAC、RED下所经历的时延。因此，将网络的整体延迟d_hm和数据包丢失率p_hm定义如下：

d_hm＝(1-dp_ACK)·d_ACK+(1-dp_DCF)·d_MAC+(1-dp_queue)·d_queue (2)

p_hm＝dp_ACK+dp_DCF+dp_queue

联立公式(1)、(2)可得到如下跨层吞吐量计算模型：

TCP数据传输过程中，协议将由于网络环境和业务的高动态性而缺乏对现有阶段网络状态的认知。为使网络状态的实时检测能够给t+1阶段的拥塞避免提供控制依据。本方案利用灰色预测机制对网络吞吐量进行预测，提供t+1阶段的拥塞决策依据。如图3所示，灰色预测的GM(1，1)机制输入的原始数据列d^o={Th(1)，Th(2)，…，Th(n)}，其中n代表现有数列长度。

为使其成为有规律的时间序列数据，对其作一次累加生成运算，即令

则新生成的数列为d^l={d^l(1)，d^l(2)，…，d^l(n)}。判断d^l是否满足GM(1，1)预测建模要求，即d^l的覆盖是否属于区间[exp{-1／(n+1)}，exp{1／(n+1)}]。

定义为t+1阶段的预测值，其形式如下：

为计算ga(发展系数)和gb(灰作用量)，对原始数列定义以下中间量：

其中，d^Z(t)为背景值序列，定义为d^z(t)=(d^l(t)+d^l(t-1))／2。因此，ga和gb计算如下：

本设计为了修正t+1阶段的预测吞吐量误差，将t阶段的预测量

与实际t阶段吞吐量Th(t)的差值变化率再进行GM(1，1)预测，对灰色预测器的输出进行修正。误差序列定义为

该序列作为GM(1，1)模型的输入，定义误差预测输出为

则最终的灰色预测输出如下：

TCP拥塞控制机制通过调整拥塞窗口(cwnd)值来控制流量，Vegas协议的cwnd参数变化率在拥塞避免阶段被固定设置为-1、1和0，其具体机制如下：

其中，diff即期望(v_expect_)和实际(v_actual_)吞吐量之差，其定义分别为WindowSize／BasedRTT和SentData／ActualRTT。在本设计中v_expect_被替代为Th。为充分匹配网络状态且寻求往返时延量化器最优模型，本设计将结合量化和强化_学习对拥塞避免阶段进行寻优。

图4为本设计在拥塞避免阶段进行整体设计的流程图。本设计在各不同cwnd参数变化率的阶段设置bl(base line-基线)不同的量化方程，通过将v_rtt_反向量化为变化率大小，即v_rtt_越小，则变化率越大。其具体函数方式如下：

图5中说明公式(9)的各参数关系，其中RTT_min和RTT_max分别代表一个拥塞控制时隙内的最小和最大往返时延，BRTT代表最大和最小时延之间的差值，即BRTT=RTT_max-RTT_min。bl和q_α将导致函数拥有不同的基线和斜率。在变化率不同的各个阶段中，基线的选择需以原始变化率-1、1、0为依据且不能使ul过多偏离该变化率。为使RTT_qual值更平滑，q_α被设定为0.5。

为求解最优拥塞决策效用参数，本设计将拥塞避免阶段设为一个有限状态的离散马尔可夫过程，利用强化学习优化该决策问题。如图4所示，变化率不同的各个阶段作为状态S，不同的基线bl作为动作集合A，吞吐量作为回报值R，组成三元组<S，A，R>，具体执行过程如下：环境状态处于状态s_t，执行动作集合中的bl_t使环境状态转移到状态s_t+1，同时得到一个外部环境奖赏值r(s_t，a_t)=Th(t)。强化学习通过Sarsa算法对动作进行搜索，Sarsa是一种在线的Q学习策略，它严格基于执行某个策略所获得的经验来更新值函数。其通过下式对动作进行搜索：

Q(s_t，bl_t)=[1-α(s_t，bl_t)]·Q(s_t，bl_t)+α(s_t，bl_t)·[Th_t+1+(qγ)·Q(s_t+1，q_t+1)] (10)

其中qγ∈(0，1]为折扣率，代表未来回报对现在的权重。其值越接近于1，代表将米回报值对现在状态的影响越大。α_t(s_t，bl_t)∈(0，1]代表在状态动作对<s_t，bl_t>时的学习效率。在状态s_t下选择能产生最大Q值的动作a_t，为平衡探索和利用之间的关系，本设计中采用ε-greedy策略进行最优动作选取，即在信念状态s_t下以概率ε选择能产生最大Q值的动作a_t，避免Sarsa陷入局部最优解。

至此，基于灰色吞吐量预测的无线自组织TCP拥塞避免机制考虑从拥塞避免依据到决策整体改善其在多跳Ad Hoc网络下存在的问题，通过预测、修正、最优动作搜索，实现提升吞吐量、降低延迟的同时，使Vegas协议与其他TCP协议更加公平地共存。

Claims

1.一种基于灰色吞吐量预测的无线Ad Hoc网络TCP拥塞避免机制，其特征在于包括以下步骤：

1)针对多跳Ad Hoc网络，由底层参数结合跨层吞吐量模型计算当前阶段网络所承载的理论吞吐量状态，作为后续拥塞控制重要依据；

2)TCP传输数据过程中，由于网络环境和业务具有高度的动态特性，使得协议对现有环境状态的认知度降低，利用灰色预测器和残差修正，挖掘穷吞吐量数据的潜在信息，作为下一阶段拥塞避免机制的决策依据；

3)在吞吐量一定的情况下，为使拥塞窗口参数变化率充分匹配网络状态，往返延时在拥塞避免阶段被反向量化为参数变化率：

其中RTT_min和RTT_max分别代表一个拥塞控制时隙内的最小和最大往返时延，BRTT代表最大和最小时延之间的差值，即BRTT＝RTT_max-RTT_min，bl和q_α将导致函数(1)拥有不同的基线和斜率；

4)为提升传播延迟量化器的准确性，利用Sarsa策略搜索最优量化器，将跨层吞吐量评价各决策对环境造成的影响，动态规划和搜索最优决策因子，达到最优控制的目的。

2.根据权利要求1、所述的基于灰色吞吐量预测的无线Ad Hoc网络TCP拥塞避免机制，其特征在于：如所述步骤1)中，跨层吞吐量模型结合了TCP层、MAC层DCF机制、队列管理RED机制中的延迟和丢包率。

3.根据权利要求1、所述的基于灰色吞吐量预测的无线Ad Hoc网络TCP拥塞避免机制，其特征在于：如所述步骤2)中，灰色预测器采用经典GM(1，1)模型，其输入是网络前t个阶段的吞吐量，记为d^o＝{Th(1)，Th(2)，…，Th(t)}，其GM(1，1)模型吞吐量预测输出为

4.根据权利要求1、所述的基于灰色吞吐量预测的无线Ad Hoc网络TCP拥塞避免机制，其特征在于：如所述步骤2)中，残差修正为提升t+1阶段的吞吐量预测准确性，被定义为t阶段的预测量

与实际t阶段吞吐量Th(t)的差值比，定义式为

将该差值序列dε^o＝{dε^o(1)，dε^o(2)，…，dε^o(t)}进行GM(1，1)建模，其输出定义为

5.根据权利要求3、或 4、所述的基于灰色吞吐量预测的无线Ad Hoc网络TCP拥塞避免机制，其特征在于：灰色预测器的实际输出定义为：

6.根据权利要求1、所述的基于灰色吞吐量预测的无线Ad Hoc网络TCP拥塞避免机制，其特征在于：如所述步骤2)中，t+1阶段拥塞避免机制的决策依据由Vegas中期望吞吐量(v_expect_)替代为灰色预测器输出gTh(t+1)。

7.根据权利要求1、、所述的基于灰色吞吐量预测的无线Ad Hoc网络TCP拥塞避免机制，其特征在于：如所述步骤4)中，为使在拥塞避免阶段，设定合适的bl，拥塞避免阶段被视为一个有限状态的离散马尔可夫过程，利用Sarsa优化该决策问题。

8.根据权利要求7、所述的基于灰色吞吐量预测的无线Ad Hoc网络TCP拥塞避免机制，其特征在于：协议处于变化率不同的各个阶段状态s_t，执行动作集合中的bl_t使环境状态转移到s_t+1的状态，同时得到一个外部环境奖赏值r(s_t，bl_t)＝Th(t)，在状态s_t下选择能产生最大值函数的动作a_t。