CN109104238A - 基于Markov决策的卫星网络DTN链路Bundle尺寸优化算法 - Google Patents

Abstract

卫星DTN网络中，节点间链路状态是随着时间相对变化的。但当前对Bundle尺寸优化的研究中总是将链路状态参数当作常量看待，这将使优化的Bundle尺寸不能适应与链路的动态性，从而导致数据传输性能下降。尤其当目标文件较大或者在多跳传输过程中，固定的Bundle尺寸优化效果更加不好。因此，本发明提出了一种基于Markov决策的卫星网络DTN链路Bundle尺寸优化算法，给出了一个基于马尔可夫决策的优化模型，以实现两跳动态星间链路的Bundle端到端传送的最优尺寸优化问题。利用MATLAB仿真平台，可以证明本发明提出的优化算法可以有效的减少数据交付时延，增加吞吐量，从而提高传输性能。

Description

基于Markov决策的卫星网络DTN链路Bundle尺寸优化算法

技术领域

本发明涉及卫星网络数据传输技术领域，尤其涉及一种卫星网络DTN链路Bundle尺寸优化算法。

背景技术

空间网络中由于节点的运动，网络拓扑结构动态变化，且具有长时延、高误码率和间歇性连接等特性。因此，传统的基于端到端连接的TCP/IP协议在空间网络数据传输服务中无法表现出优良的性能。为克服这一问题，空间网络采用容断网络架构(DTN)进行数据传输。如图1所示，DTN通过在传输层或其他底层上引入覆盖层(Bundle Layer，BP)为潜在的异构网络提供数据传输服务，并BP层通过汇聚层适配器(Convergence Layer Adapters，CLAs)接入下层协议，其主要协议包括覆盖层的BP协议及汇聚层的LTP协议。DTN采用存储-转发机制对数据进行逐跳转发，以解决空间网络中链路间歇性连接问题，保证数据的可靠传输。当进行数据传输时，应用数据单元将作为负载封装到BP层的Bundle中传输至汇聚层，然后作为一个LTP块被划分为多个segments。这些segments经底层协议处理后将以链路帧的形式发送到下一跳节点协议栈。在这一传输过程中，底层协议的检测功能和LTP的快速自动重传机制确保了Bundle的可靠交付。经过逐跳的转发，Bundle将被目的节点接收，随后，其所携带的应用数据将被恢复并交付给对应的上层应用。

对于空间DTN网络，有很多关于传输性能的研究，主要可分为两个方面：一是对路由策略的优化；二是对Bundle大小或Segments大小进行优化。

空间DTN网络中数据端到端传输路由策略主要分为集中式路由和分布式路由两种。在分布式路由方法中根据相关QoS要求制定的路由算法将运行于每一个本地节点(即携带待转发数据包的网络节点)，以根据当前的网络状态做出最优决策。由于在每一个本地节点都需要进行一次路由决策，分布式路由算法不需要在网络节点中存储路由表，且其对网络拓扑变化具有快速反应能力。然而，分布式路由为获取网络的最新状态，本地节点需要与其他网络节点进行通信，存在一定的信令交互开销。时变网络的全局信息定义为在路由决策者所关注时间区间内的网络拓扑演变规律，其主要包含空间和时间两维信息。空间维度信息描述某一时刻/时间段内时变网络的链路通断状态即网络的拓扑信息；时间维度信息用于描述不同时刻网络拓扑的演变规律。而集中式路由主要通过引入时变图动态拓扑建模方法为空间信息网络及其他时变网络的路由制定等传输问题分析提供了一个有力的分析工具。

另一方面，对Bundle或Segment大小进行调整也可以有效的提高传输性能。主要通过对卫星网络中单跳或者多跳数据传输的端到端传输时延进行建模，分析Bundle大小或者Segment大小对端到端传输时延的影响，从而对其进行优化。传输模型是计算从第一个数据开始传输到最后一个数据传输完成所需要的时间。由于卫星网络的高误码率，需要计算数据包正确传输的时延加上因为数据丢失带来重传所需要的时间，通过计算得到的Bundle或Segment时延和文件传输时延公式，对参数进行优化。

现在大多数对于Bundle尺寸的优化算法的研究主要针对于静态星间链路状态下对Bundle尺寸进行优化，对于动态变化的卫星网路，固定尺寸的Bundle将会带来较低的传输性能。

1.单跳链路

现在大多数对于Bundle尺寸的优化算法的研究主要针对于静态星间链路状态下对Bundle尺寸进行优化，如无线传感器网络和社交多媒体网络，在Bundle传输过程中几乎将信道参数视为常量值。然而，在基于DTN的卫星网络中，卫星节点之间的相对距离随着节点的轨道运动而立即改变，这将导致信道参数随时间动态变化。另外，卫星节点之间的周期性间歇性连接也会对Bundle传送产生明显影响。因此，一个固定尺寸的Bundle将会导致链路利用率低，从而降低传输性能。

2.多跳链路

对于多跳链路，由于卫星网络中几乎不在连续的端到端路径，DTN架构中BP协议的保管传输机制可以将Bundle数据永久存储在本地节点的节点储器中，直到成功转发到下一跳。Bundle在端到端路径上逐跳传输将经历一系列不同的链路状态，且多跳链路间的链路状态随时间相应的变化。因此，仅在单跳信道上优化获得的固定最优Bundle大小导致在该多跳路径上的传送效率低下。因此，动态的多跳卫星链路的Bundle优化对于DTN卫星网络中的传输性能是非常必要的。

发明内容

为了解决现有技术中的问题，本发明提供了一种基于马尔可夫决策的两跳星间链路Bunlde尺寸优化方法，该方法可以在中间节点存储器受限条件下，通过各种信道参数相应地调整决策来找到一系列最佳Bundle尺寸，达到提高传输性能，减少传输时延的目的。

本发明具体通过如下技术方案实现：

一种基于Markov决策的卫星网络DTN链路Bundle尺寸优化算法，应用于中继传输的DTN网络，当更新时间t时，根据链接状态I和链接状态II分别选择具有最小RTT的Bundle尺寸，所述算法包括以下步骤：

S1、定义S₀表示中间节点的存储器为空，S′₁表示存储器中存储一个完整的Bundle，将S₀，S′₁分别划分为i个子状态，i根据目标文件大小和最小尺寸的Bundle大小计算，第m个子状态表示剩余文件大小为Lfile-m·Lb_{min 1}，其中L_file是目标文件尺寸，Lb_{min 1}是Bundle尺寸最小单位；将第m个子状态继续划分为Max_r+1个子状态，Max_r是最大传输轮次；S₀/S₁的子状态的数量num由下式计算：num＝L_file/Lb_min1X(Max_r+1)；A：{Lb_min1，Lb_min2，…，Lb_minn}表示一系列Bundle可选则的尺寸，其中Lb_{min n}＝n×Lb_min1；

S2、初始化v₀(num)、v₁(num)、Π(num)，令循环次数loop＝num+最大传输轮次+1；

S3、对于每一个num中的状态s，分别计算第一跳在第一跳传输轮次和第二跳在第二跳传输轮次的转移概率Ps_{m′，i′，j}(a_b)，其中，Ps_{m′，i′，j′}(a_b)表示在行为a_b条件下从当前状态s＝s_m，i，j转移到可到达状态s′＝s_{m′，i′，j′}的概率，m，m′∈{0，1}，i，i′∈{1，2，...，Lfile/Lbmin}，j，j′∈{1，2，...，Maxr，Maxr+1}；

S4、如果第一传输轮次小于最大传输轮次且第二传输轮次小于最大传输轮次，则：其中，p_tans1为第一跳在第一跳传输轮次的转移概率，Rs′(trans_round1，a)为第一跳在第一跳传输轮次时的时延Rs_{m′，i′，j′}(a)，a是已选择的Bundle尺寸；其中，Rs_{m′，i′，j′}(a)表示在行为a条件下从当前状态s_m，i，j转移到可到达状态s_{m′，i′，j′}所需要的时延，v₁(s′)为前一状态s′下的v₁值；状态s下的Bundle尺寸Π(s)为a；其中，p_tans2为第二跳在第二跳传输轮次的转移概率，Rs′(trans_round2，a)为第二跳在第二跳传输轮次时的时延，v₀(s′)为前一状态s′下的v₀值；

S5、更新第一跳和第二跳的链路状态；

S6、loop＝loop-1，当loop不为0时，跳转到步骤S3，否则输出最优的Bundle尺寸。

作为本发明的进一步改进，所述转移概率Ps_{m′，i′，j′}(a_b)采用下式计算：

其中，P_ef为Bundle丢包率。

作为本发明的进一步改进，所述时延Rs_{m′，i′，j′}(a)采用下式计算：

其中RTTs_{m′，i′，j′}(a)＝2*Tps_{m′，i′，j′}+T_ca+Tbs_{m′，i′，j′}(a)，CTRTs_{m′，i′，j′}＝2*Tps_{m′，i′，j′}+Tca，T_ca为反馈时延，T_p为传播时延，T_b为Bundle的传输时延。

本发明的有益效果是：卫星DTN网络中，节点间链路状态是随着时间相对变化的。但当前对Bundle尺寸优化的研究中总是将链路状态参数当作常量看待，这将使优化的Bundle尺寸不能适应与链路的动态性，从而导致数据传输性能下降。尤其当目标文件较大或者在多跳传输过程中，固定的Bundle尺寸优化效果更加不好。因此，本发明给出了一个基于马尔可夫决策的优化模型，以实现两跳动态星间链路的Bundle端到端传送的最优尺寸优化问题。利用MATLAB仿真平台，可以证明本发明提出的优化算法可以有效的减少数据交付时延，增加吞吐量，从而提高传输性能。

附图说明

图1是卫星DTN网络协议栈的示意图；

图2是单跳链路上Bundle的传输过程示意图；

图3是基于马尔科夫决策的双跳链路文件交付模型示意图；

图4是状态划分示意图；

图5(a)是LEO-GEO-LEO场景下文件交付时延的仿真结果图；

图5(b)是MEO-GEO-MEO场景下文件交付时延的仿真结果图；

图6(a)是LEO-GEO-LEO场景下吞吐量的仿真结果图；

图6(b)是MEO-GEO-MEO场景下吞吐量的仿真结果图；

图7是MEO-GEO-MEO场景在不同传输轮次下的文件交付时延的仿真结果图；

图8是MEO-GEO-MEO场景在不同采样间隔下的文件交付时延的仿真结果图。

具体实施方式

下面结合附图说明及具体实施方式对本发明进一步说明。

本发明是研究卫星DTN网络中Bundle尺寸的优化。以下通过两个方面对其进行描述：A)动态环境下Bundle单跳交付时延；B)基于Markov决策的Bundle尺寸优化模型。

[动态环境下Bundle单跳交付时延]

动态环境下Bundle在单跳链路上的传输过程如图2所示。一般地，Bundle的交付时延RTT_ev可表示为：

RTT_ev(t)＝(1-P_ef(t))·RTT(t)+P_ef(t)·CTRT(t) (1)

RTT_ev主要由三个部分组成P_ef、RTT、CTRT：

其中，P_ef为Bundle丢包率：

P_ef(t)＝1-(1-P_e(t))^bLbundle (2)

P_e为当前链路的误码率，其主要由节点间链路距离推导出来，推导过程如下：

SNR(t)＝E₀-10lgL_space(t) (4)

lg(L_space(t))＝cons+20lgD(t)+20lgf (5)

RTT表示Bundle通过一次传输可以正确且完整地传输到下一跳节点的时间，其可以表示为：

RTT(t)＝2·T_p(t)+T_ca+T_b(t)+T_random (7)

T_p(t)＝D(t)/C表示传播时延；T_b(t)＝L_bundle(t)/R_data(t)表示传输时延，其中：

CTRT表示为数据重传时延：

CTRT(t)＝2·T_p(t)+T_ca (9)

因此，RTT_ev可整合为

这里C₀＝E₀-(cons+20lgf)。式(1)-(10)中主要参数的定义如表1所示。

表1.参数定义

符号	定义	符号	定义
				T<sub>p</sub>	传播时延	f	频率
T<sub>b</sub>	Bundle传输时延	D	节点间距离
				T<sub>ca</sub>	反馈时延	RTT<sub>ev</sub>	Bundle成功交付的期望时间
CTRT	时间定时器	T<sub>random</sub>	随机噪声
				RTT	一次往返时延	N<sub>0</sub>	单边噪声功率谱密度
P<sub>ef</sub>	Bundle丢包率	B	带宽
				P<sub>e</sub>	误码率	E<sub>b</sub>	每bit能量
Lbundle	Bundle尺寸	E<sub>0</sub>	关于SNR常量
				SNR	信噪比	b	常量，取值为8
L<sub>space</sub>	空间损耗	cons	常量，取值为92.45
				ercf()	误差函数

[基于Markov决策的Bundle尺寸优化模型]

由图3可知，源节点在两跳星间链路中向中间节点投递一系列Bundle。如果中间节点成功接收到一个完整的Bundle，它将被存储在中间节点的内存中。

为了便于分析，本发明假设中间节点的内存仅能存放一个Bundle。因此，中间节点只有在将存储在内存中的Bundle成功转发到下一跳目标节点后，才能从源节点接收另一个Bundle。因此，中间节点的内存动态可以反映两跳ISL上一个Bundle的传输性能。因此，本发明考虑一个马尔可夫决策模型来选择一个Bundle大小，通过这个Bundle大小尽可能提高中间节点的内存利用率。在所提出的算法中，当更新时间t时，根据链接状态I和链接状态II分别选择具有最小RTT的Bundle尺寸。算法根据时间t处的相关决定将新大小输出到策略集。最后，可以根据每个时刻的不同链接状态获得一组包的大小。

其中，马尔科夫决策模型分为5个部分：

(1)状态集合：S：{S₀，S₁}.

在该集合中，S₀表示中间节点的存储器为空。S₁表示存储器中存储一个完整的Bundle。同时，S₀，S₁也可以分别表示第一跳和第二跳链路的两个传输过程。这里，S₀，S₁的状态由以下两个规则确定。

(a)将S₀，S₁分别划分为i个子状态，这是根据目标文件大小和最小尺寸的Bundle大小计算的。第m个子状态表示剩余文件大小为L_file-m·Lb_{min 1}。如果文件大小为零，则相应的状态是吸收状态，停止这个过程；

(b)由于卫星链路的高误码率，导致Bundle的重传。而不同的重传次数导致Bundle的成功投递时延是不完全一致的。因此，需要进一步将a)中的第m个子状态继续划分为Maxr+1(Maxr：最大传输轮次)个子状态，附加的“1”意味着传输失败。图4中所示的S0/S1的子状态的数量由下式计算：

NUM＝Lfile/Lb_{min 1}×(Maxr+1) (11)

(2)行为集合：A：{Lb_{min 1}，Lb_{min 2}，...，Lb_{min n}}表示一系列Bundle可选则的尺寸，其中：

Lb_minn＝n×Lb_min1 (12)

(3)策略集合π：为通过Markov决策模型选择出来的一系列Bundle尺寸。

(4)转移概率Ps_{m′，i′，j′}(a_b)：表示在行为a_b条件下从当前状态s_m，i，j转移到可到达状态s_{m′，i′，j’}的概率，其中m，m′∈{0，1}，i，i′∈{1，2，...，Lfile/Lbmin}，j，j′∈{1，2，...，Maxr，Maxr+1}。其可由如下公式计算：

(5)回报函数Rs_{m′，i′，j′}(a)：表示在行为a_b条件下从当前状态s_m，i，j转移到可到达状态s_{m′，i′，j′}所需要的时延。

其中，

RTTs_{m′，i′，j′}(a)＝2*Tps_{m′，i′，j′}+T_ca+Tbs_{m′，i′，j′}(a) (15)

CTRTs_{m′，i′，j′}＝2*Tps_{m′，i′，j′}+Tca (16)

值迭代函数：Markov决策模型的策略集可由值迭代算法求解，其公式如下：

A)如果当前状态为s_0，i，j，其解可以表示为：

其中，

B)如果当前状态是s_1，i，j：

式(11)-(19)中的参数定义如下：L_file是目标文件尺寸，a是已选择的Bundle尺寸，R_file是未传输文件尺寸，Max_r是最大传输轮次，Lb_{min 1}是Bundle尺寸最小单位。

值迭代算法的实现如算法1所示：

算法1

实验结果

由于同步轨道GEO卫星在实际应用中常作为中继卫星(LEO为低轨卫星，MEO为中高轨卫星)，因此仿真场景包括以GEO作为中继的LEO-GEO-LEO、和MEO-GEO-MEO的两种双跳链路类型。其中，链路状态采样间隔Δt为60s，L_ca、R_ca、C₀分别设为100Byte、8000bps、104.22。在MATLAB平台上进行仿真实验结果如图5-8所示。

通过图5(a)、图5(b)、图6(a)和图6(b)可以看出，基于Markov决策模型的Bundle尺寸优化算法相较于其他传统算法可以有效的减少数据交付时延，提高数据吞吐量，从而提高传输性能。尤其当数据量较大时，效果更为明显。

为了进一步验证算法的有效性，选择吞吐量作为对比指标得到仿真结果如图7和图8所示，从图7和图8可以看出，通过适当的调节可接受的最大传输轮次和采样间隔也可以减少文件交付时延。一般适当的增加最大传输轮次Max_r或者减小采样间隔Δt，可提高效果。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (3)

1.一种基于Markov决策的卫星网络DTN链路Bundle尺寸优化算法，应用于中继传输的DTN网络，其特征在于：当更新时间t时，根据链接状态I和链接状态II分别选择具有最小RTT的Bundle尺寸，所述算法包括以下步骤：

Sl、定义S₀表示中间节点的存储器为空，S₁表示存储器中存储一个完整的Bundle，将S₀，S₁分别划分为i个子状态，i根据目标文件大小和最小尺寸的Bundle大小计算，第m个子状态表示剩余文件大小为Lfile-m·Lb_min1，其中L_file是目标文件尺寸，是Bundle尺寸最小单位；将第m个子状态继续划分为Max_r+1个子状态，Max_r是最大传输轮次；S₀/S₁的子状态的数量num由下式计算：num＝L_file/Lb_min1X(Max_r+1)；A：{Lb_min1，Lb_min2，…，Lb_{min n}}表示一系列Bundle可选则的尺寸，其中Lb_{min n}＝n×Lb_min1；

S2、初始化v₀(num)、v₁(num)、П(num)，令循环次数loop＝num+最大传输轮次+1；

S3、对于每一个num中的状态s，分别计算第一跳在第一跳传输轮次和第二跳在第二跳传输轮次的转移概率P_{Sm′，i′，j′}(ab)，其中，P_{Sm′，i′，j′}(ab)表示在行为ab条件下从当前状态s＝s_m，i，j转移到可到达状态s′＝s_{m′，i′j′}的概率，m，m′∈{0，1}，i，i′∈{1，2，...，Lfile/Lbmin}，j，j′∈{1，2...，Maxr，Maxr+1}；

S4、如果第一传输轮次小于最大传输轮次且第二传输轮次小于最大传输轮次，则：其中，p_tans1为第一跳在第一跳传输轮次的转移概率，Rs′(trans_round1，a)为第一跳在第一跳传输轮次时的时延Rs_{m′，i′，j′}(a)，a是已选择的Bundle尺寸；其中，Rs_{m′，i′，j′}(a)表示在行为a条件下从当前状态s_m，i，j转移到可到达状态s_{m′，i′，j′}所需要的时延，v₁(s′)为前一状态s′下的v₁值；状态s下的Bundle尺寸Π(s)为a；其中，p_tans2为第二跳在第二跳传输轮次的转移概率，Rs′(trans-round2，a)为第二跳在第二跳传输轮次时的时延，v₀(s′)为前一状态s′下的v₀值；

S5、更新第一跳和第二跳的链路状态；

S6、loop＝loop-1，当loop不为0时，跳转到步骤S3，否则输出最优的Bundle尺寸。

2.根据权利要求1所述的Bundle尺寸优化算法，其特征在于：所述转移概率P_{Sm′，i′，j′}(ab)采用下式计算：

其中，P_ef为Bundle丢包率。

3.根据权利要求1所述的Bundle尺寸优化算法，其特征在于：所述时延Rs_{m′，i′，j′(a)}采用下式计算：

其中RTTs_{m′，i′，j′}(a)＝2*Tps_{m′，i′，j′}+T_ca+Tbs_{m′，i′，j′}(a)，CTRTS_{m′，i′，j′}＝2*TpS_{m′，i′，j′}+Tca，T_ca为反馈时延，T_p为传播时延，T_b为Bundle的传输时延。