CN113099505A - 一种空天地一体化网络路由方法 - Google Patents

Abstract

本发明公开了一种空天地一体化网络路由方法，通过在空天地一体化网络的每个节点处设置用于存储需要完成的数据任务的链路队列；在每个时隙开始时刻，将数据源产生的数据分组并传入节点对应的链路队列末尾，同时根据新产生的数据计算当前数据总量、节点剩余能量和链路带宽利用率；以最低时延为目标，节点剩余能量和链路带宽利用率为约束条件来进行路由，依次从队列中选取任务传输至被选取的下一跳，层层递进，直到到达目的节点，本发明以最低时延为目标，并实时检测剩余能量和带宽利用情况并进行更新，能够满足不同领域用户的各种需求，相比Floyd路由，时延、丢包率和带宽利用率性能均获得了显著提升，适用于日益增长的通信需求。

Description

一种空天地一体化网络路由方法

技术领域

本发明涉及到无线通信领域，具体涉及一种空天地一体化网络路由方法。

背景技术

通信行业的发展日新月异，然而当前各类通信网络却各自存在一定的局限性。地面通信网络存在通信盲/弱区，容易受地理因素影响。而空中通信网络能量受限，网络可靠性不足。卫星通信网络又存在长时延及带宽受限问题，适用场景有限。随着用户需求的不断提高，渐渐衍生出一种新趋势：空天地一体化。低成本的空基成为天基和地基之间的中继。作为目前最具发展前景的网络之一，空天地一体化具有协作性、泛在性、高效性三大特点，能够满足不同领域用户的各种需求。然而，空天地一体化网络因具有时变性、异构性、自组织、分布式、开放性等特点，引发了一系列新的挑战。如体系设计、网络控制、频谱管理、能量管理、路由和切换管理、安全防护等。本文主要围绕其中的路由问题展开研究。空天地一体化需要实现多网间的大容量数据传输，因此研究多层网络间的路由显得尤为重要。目前已有的路由方案均没有针对飞行器能量受限、卫星带宽资源有限等联合做出有效改善，无法保证带宽利用率性能。

发明内容

本发明的目的在于提供一种空天地一体化网络路由方法，以克服现有技术的不足，本发明能够在约束剩余能量和带宽利用率的同时降低端到端时延。

为达到上述目的，本发明采用如下技术方案：

一种空天地一体化网络路由方法，包括以下步骤：

S1，在空天地一体化网络的每个节点处设置用于存储需要完成的数据任务的链路队列；

S2，在每个时隙开始时刻，将数据源产生的数据分组并传入节点对应的链路队列末尾，同时根据新产生的数据计算当前数据总量、节点剩余能量和链路带宽利用率；

S3，以最低时延为目标，节点剩余能量和链路带宽利用率为约束条件来进行路由，依次从队列中选取任务传输至被选取的下一跳，层层递进，直到到达目的节点。

进一步的，以最低时延为目标即令总时延最短，目标函数如下：

其中，λ为数据流的泊松分布参数，i，j代表网络节点；

以节点剩余能量和链路带宽利用率为约束条件：

所有节点i在任意时刻t的最小剩余能量E_ir(t)大于等于阈值η₁(λ)：

每条链路ij的带宽利用率

小于等于网络拥塞率η₂(λ)：

其中，L_pkt为数据包长度，N_pkt为单位时间内的数据包数量，B_ij为链路带宽。

进一步的，空天地一体化网络状态空间中的所有节点s；其输入为网络邻接矩阵，输出当前状态下的最佳路由选择；依据贪婪策略选取节点s状态的出口链路a，根据公式更新Q值表：

Q(s，a)←Q(s，a)+α[R+γmax Q(s′，a′)-Q(s，a)]

α为学习率，γ为折扣率；

R为奖励函数，是对在不同状态下选择不同动作的评估，其设计如下：

进一步的，所述空天地一体化网络路由系统包括卫星网络、空中平台网络和地面网络，卫星网络分别与空中平台网络和地面网络通信，卫星网络包括若干LEO极轨卫星，空中平台网络包括若干节点间保持相对静止的空中网络节点，地面网络包括地面站和用户，用户位置服从两个同心圆分布，最大半径20km。

进一步的，卫星网络、空中平台网络和地面网络之间形成的链路包括层内链路和层间链路，层间链路包括相邻层链路和间隔层链路。

进一步的，在链路队列非空时，当前数据包的等待时间等于上一个数据包离开时刻减去当前数据包到达时刻，而离开时刻则等于上一个数据包离开时刻加上链路传输时间。

进一步的，在时隙t，由无向图G(V，E(t))表示网络拓扑，V代表网络中的节点，E(t)代表网络中的链路；依据每个拓扑下的邻接矩阵来进行路由，邻接矩阵元素为时延，计算公式如下：

其中，c_ij为链路传输速度，w_ij为链路权值，d_ij(t)为链路距离。

进一步的，对于无法获取距离的链路，采用以下公式求得：

其中，Δh为高度差，水平距离d_h由以下Haversine公式计算：

其中，R代表地球半径，λ、

分别代表经纬度。

进一步的，所述空中平台网络总节点i的能耗为：

其中，L_pkt为数据包长度，d为链路距离；E_elec为发送/接收单位数据的能耗，E_fs为自由空间传输单位数据的能耗，E_mp为多路径传输能耗；

进一步的，极轨星座中卫星j在t时隙的能耗为：

其中，x_ji(t)和x_ij(t)分别为t时刻卫星节点的流入、流出数据量，等于数据包数量乘以长度；B为链路带宽，Δ_t为更新间隔时间；P_s、P_r、P_o分别为卫星发射、接收和运行功率；

卫星j在t时刻的充电能量为：

E_jc(t)＝P_c×max{Δ_t，S_j(t)} (6)

其中，P_c为卫星充电功率，S_i(t)为Δ_t间隔内的光照时长；

卫星j在t时刻的剩余能量为：

E_jr(t)＝min{E_jnitial，E_jr(t-1)-E_j(t)+E_jc(t)} (7)

其中，E_jnitial为卫星j的初始能量；

链路平均带宽利用率的计算公式如下：

其中，t_trans为传输时间。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种空天地一体化网络路由方法，通过在空天地一体化网络的每个节点处设置用于存储需要完成的数据任务的链路队列；在每个时隙开始时刻，将数据源产生的数据分组并传入节点对应的链路队列末尾，同时根据新产生的数据计算当前数据总量、节点剩余能量和链路带宽利用率；以最低时延为目标，节点剩余能量和链路带宽利用率为约束条件来进行路由，依次从队列中选取任务传输至被选取的下一跳，层层递进，直到到达目的节点，本发明以最低时延为目标，并实时检测剩余能量和带宽利用情况并进行更新，能够满足不同领域用户的各种需求，相比Floyd路由，时延、丢包率和带宽利用率性能均获得了显著提升，适用于日益增长的通信需求。

进一步的，本发明以总时延最短作为优化目标函数，在追求时延最短的前提下，还能起到保障能耗和节省带宽的目的。

进一步的，本发明依据贪婪策略选取节点状态的出口链路，能够使路由带宽利用率可以随着负载的提高而增大。

附图说明

图1是本发明实施例中空天地一体化网络。

图2是本发明实施例中强化学习原理和应用分析图，图2a为强化学习原理图，图2b为强化学习应用分析图。

图3是本发明实施例中STK场景模型图。

图4是本发明实施例中Qlearning/Floyd两种路由的时延、丢包和带宽利用率随负载的变化曲线，图4a、图4b和图4c分别是Qlearning/Floyd两种路由的时延、丢包和带宽利用率随负载的变化曲线。

图5是本发明实施例中Qlearning/Floyd两种路由的时延，丢包和带宽利用率随数据包长度的变化曲线，图5a、图5b和图5c分别是Qlearning的时延，丢包和带宽利用率随数据包长度的变化曲线。

图6是本发明实施例中虚拟拓扑模型图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

一种空天地一体化网络路由方法，包括以下步骤：

S1，在每个节点处设置用于存储需要完成的数据任务的链路队列；

S2，在每个时隙开始时刻，将数据源产生的数据分组并传入节点对应的链路队列末尾，同时根据新产生的数据计算当前数据总量、节点剩余能量和链路带宽利用率；

S3，以最低时延为目标，节点剩余能量和链路带宽利用率为约束条件来进行路由，依次从队列中选取任务传输至被选取的下一跳，层层递进，直到到达目的节点。

以最低时延为目标即令总时延最短，目标函数如下：

其中，λ为数据流的泊松分布参数，i，j代表网络节点。

以节点剩余能量和链路带宽利用率为约束条件：

所有节点i在任意时刻t的最小剩余能量E_ir(t)大于等于阈值η₁(λ)，即从整体网络角度选择使能量均衡消耗的路由：

每条链路ij的带宽利用率

小于等于网络拥塞率η₂(λ)，以便更有效的控制节点接入信道，提高共享卫星信道资源的能力：

其中，L_pkt为数据包长度，N_pkt为单位时间内的数据包数量，B_ij为链路带宽。

本发明以最低时延为目标，剩余能量和带宽利用率为约束条件来进行路由，采用节点剩余能量和链路带宽来实时调整路由，针对不同链路划分优先级，通过利用真实的网络节点数据来评估路由性能，采用能量梯度策略来解决以上问题。在路由发现阶段，当剩余能量低于阈值，不再参与路由发现。在路由选择阶段，基于剩余能量和带宽利用率进行路由。

本发明以最低时延为目标，并实时检测剩余能量和带宽利用情况，通过强化学习来平衡负载和优化路由。本发明能够满足不同领域用户的各种需求，相比Floyd路由，时延、丢包率和带宽利用率性能均获得了显著提升，适用于日益增长的通信需求。

所述节点为空天地一体化网络状态空间中的所有节点s；其输入为网络邻接矩阵，输出当前状态下的最佳路由选择。有效动作a的集合随着数据包位置的转移而发生改变，到达目的节点时停止学习。

Q值更新规则如下：

Q(s，a)←Q(s，a)+α[R+γmax Q(s′，a′)-Q(s，a)]

其中，α为学习率，值越大，保留之前的训练效果就越小。γ为折扣率，值越大，表明越重视以往经验。每个节点需要维护一张Q表，随数据的流动而动态更新。

奖励函数R是对在不同状态下选择不同动作的评估，其设计如下：

其中，r_E是当节点剩余能量过小引起的惩罚；r_B是带宽利用率过高引起的惩罚，是绝对值较大的负数。所有阈值均为λ的函数。若到达目的节点，则数据传输任务完成，奖励值为0。-1用来记录数据包传输的跳数。

其中，在链路队列非空时，当前数据包的等待时间等于上一个数据包离开时刻减去当前数据包到达时刻，而离开时刻则等于上一个数据包离开时刻加上链路传输时间。

如图1所示，一种空天地一体化网络路由系统，包括卫星网络、空中平台网络和地面网络，卫星网络包括若干LEO(Low-earth-orbit)极轨卫星，空中平台网络包括若干节点间保持相对静止的空中网络节点，地面网络包括地面站和用户，用户位置服从两个同心圆分布，最大半径20km；卫星网络、空中平台网络和地面网络形成一个整体网络；系统中链路包括层内链路和层间链路，层间链路包括相邻层链路和间隔层链路，即卫星网络和空中平台网络之间为相邻层链路，空中平台网络和地面网络之间为相邻层链路，卫星网络和地面网络之间为间隔层链路；层内链路即若干LEO(Low-earth-orbit)极轨星座之间的链路或空中网络节点之间的链路。每颗极轨星座有两条层内链路和两条层间链路，极轨星座的极区和反向缝没有轨间链路。用户彼此之间不存在链路。采用热气球作为空中网络节点。

实施例：

如图6所示，采用虚拟拓扑策略，将随时间动态变化的拓扑结构离散化。STK相关参数如下：卫星72/6/1，其中，72代表卫星总数，6代表轨道个数，1反映不同轨道同一编号的卫星纬度差。轨道倾角86.4°，周期为100min。空中热气球HAPS距地面20km，速度5m/s，单个HAPS覆盖半径可达50km。地面局域网覆盖半径10km。场景建立完成后，我们依次获取STK报告：Access Data，LLA，Sun。其中，Access Data为过境数据报告，LLA为经纬度位置报告，Sun为光照报告。采用STK与MATLAB联合仿真。

如图1所示，在每个节点处设置链路队列，用来存储需要完成的数据任务，在每个时隙开始时刻，数据源产生数据分组并传入节点对应的链路队列末尾，同时根据新产生的数据计算当前数据总量及剩余能量和带宽利用率相关参数。其中，在链路队列非空时，当前数据包的等待时间等于上一个数据包离开时刻减去当前数据包到达时刻，而离开时刻则等于上一个数据包离开时刻加上链路传输时间。依次从队列中选取任务传输至被选取的下一跳，层层递进，直到到达目的节点。

MATLAB相关参数如下：仿真时间900s，拓扑周期60s，数据包长度从64到1024字节不等，链路带宽为1.5*10^5bit/s。关于链路权值，若为星地链路，权值为2，星空链路，权值为1.2，空地链路则为1。有线链路传输速度为2/3倍光速，无线则等于光速。而能量相关参数如下：卫星、热气球、地面站和用户的初始能量为[13000，10000，500000，500000]J，自由空间传输能耗1×10^-13J，多路径传输能耗1.3×10^-25J，卫星发射、接收和运行功率依次为7W，3W，4W。数据产生过程服从泊松分布，参数变化范围为[10，70]，每个节点的缓存大小设置为8MB。

建立网络拓扑，在时隙t，由无向图G(V，E(t))表示，V代表网络中的节点，E(t)代表网络中的链路；依据每个拓扑下的邻接矩阵来进行路由，可以极大地降低路由开销，邻接矩阵元素为时延，计算公式如下：

其中，c_ij为链路传输速度，w_ij为链路权值，d_ij(t)为链路距离，链路传输速度、链路权值和链路距离均依据STK报告获取。

对于无法获取距离的链路，采用以下公式求得：

其中，Δh为高度差，水平距离d_h由以下Haversine公式计算：

其中，R代表地球半径，λ、

分别代表经纬度。

实时更新节点剩余能量与链路带宽利用率：

每个节点的能耗由两部分组成，分别是用于维持功能的静态能耗和用于收发数据的动态能耗；其中，热气球i的能耗为：

其中，L_pkt为数据包长度，d为链路距离；E_elec为发送/接收单位数据的能耗，E_fs为自由空间传输单位数据的能耗，E_mp为多路径传输能耗；

极轨星座中卫星j在t时隙的能耗为：

其中，x_ji(t)和x_ij(t)分别为t时刻卫星节点的流入、流出数据量，等于数据包数量乘以长度；B为链路带宽，Δ_t为更新间隔时间。P_s、P_r、P_o分别为卫星发射、接收和运行功率。

此外，由于卫星在太空中是由太阳能供电。因此，卫星j在t时刻的充电能量为：

E_jc(t)＝P_c×max{Δ_t，S_j(t)} (6)

其中，P_c为卫星充电功率，S_i(t)为Δ_t间隔内的光照时长。

最后，卫星j在t时刻的剩余能量为：

E_jr(t)＝min{E_jnitial，E_jr(t-1)-E_j(t)+E_jc(t)} (7)

其中，E_jnitial为卫星j的初始能量。

链路平均带宽利用率的计算公式如下：

其中，t_trans为传输时间。

以最低时延为目标，节点剩余能量和链路带宽利用率为约束条件来进行路由，采用强化学习进行路由，具体为循环遍历每一次学习，单次学习流程具体为：设初始状态为源节点s，若未到达目的节点d，执行以下步骤：

依据贪婪策略选取s节点状态的出口链路a；

更新奖励值R；

根据公式更新Q值表(若超出环境边界，Q值减100)；

更新下一状态，准备下一轮循环。

采用贪婪策略，即以大概率选取最优链路，小概率进行随机选取：

其中，ε是随机选取动作的概率，是一个动态衰减值，保证对路径的充分探索；当出现回流或已访问过的情形时，重新选取动作。

以Floyd算法作为路由对照方案：其本质上是高阶马尔科夫模型，一种将大规模问题自顶向下划分的动态规划算法，复杂度为n³。从节点i到j的最短路径计算原理如下：

其中，dist代表距离，N为节点总数。

比较传统基于最短路径和所提基于强化学习的路由算法表现：路由评估性能包含：(1)平均端到端时延：

(2)丢包率：

(3)平均带宽利用率。其中，t_d，t_s分别为数据包到达目的节点和从源节点出发的时刻，N_flag为对应丢包标志位的数据包数量，N_send为源节点发送的数据包总量。

如图2所示强化学习原理和应用举例图。如图2a所示，强化学习的原理为通过agent与环境之间的大量离线交互来优化动作选择行为，具有学习到全局最优的能力。得知网络的最初状态和每个时隙的数据流通，即可获知不同时隙的网络状态。其本质为马尔科夫决策过程，适用于解决决策类问题。强化学习参数的设定如下：学习率α＝0.9，折扣率γ＝0.8。

如图2b所示，以图为例来说明强化学习路由所要解决的问题。在图3中，当L1，L4，L7同时传输数据到L6时，若依照最短路径算法选取，则L5成为必经节点，很容易造成能量/带宽不足、拥塞甚至丢包。之后若再发生类似的情况，同样的问题依然会出现。而强化学习具有记忆功能，当发现此路径曾经发生拥塞时，便会选择新的路径，如经由L2等。

图3是STK场景模型图。本发明的仿真验证结果为图4和5。图4a、图4b和图4c分别是Qlearning/Floyd两种路由的时延、丢包和带宽利用率随负载的变化曲线。可以发现，随着负载的提高，两种路由算法的各项性能逐渐增大，延迟从40到100ms不等。与此同时，所提Qlearning路由的时延和丢包率性能均优于Floyd路由，而带宽利用率在高负载时较高。这是因为所提路由能从曾经发生的拥塞中吸取教训，以此为前提找到最低时延的路径。传统方案尽管负载增大，但随着堵塞概率的增大，带宽利用率反而下降。基于强化学习的路由带宽利用率依然可以随着负载的提高而增大。

图5a、图5b和图5c分别是Qlearning的时延，丢包和带宽利用率随数据包长度的变化曲线。对比传统算法Floyd的相关结果，可以得出以下三个结论：一是随着数据包长度的增大，时延降低，丢包和带宽利用率均呈增大趋势，这是因为数据包越长，可同时传输的数据包数量越少，等待时延降低，对链路的利用率反而提高；二是当数据包长度为1024时，由于链路队列容量限制，丢包率随负载的提高而急剧增大，说明数据包长度合理的取值范围应不超过512字节；三是数据包长度取值合理时，Qlearning路由的各项性能均优于Floyd路由。

综上，可以看出，强化学习算法不仅可以实现最低时延，还能保证剩余能量和带宽利用率。针对节点要求不同的实时处理，获得了高效的空天地一体化网络路由。所提路由方案在空天地一体化网络中能够实现低时延、低丢包、高带宽利用率的结果，相比Floyd路由有显著提升。

Claims (10)

1.一种空天地一体化网络路由方法，其特征在于，包括以下步骤：

S1，在空天地一体化网络的每个节点处设置用于存储需要完成的数据任务的链路队列；

S2，在每个时隙开始时刻，将数据源产生的数据分组并传入节点对应的链路队列末尾，同时根据新产生的数据计算当前数据总量、节点剩余能量和链路带宽利用率；

S3，以最低时延为目标，节点剩余能量和链路带宽利用率为约束条件来进行路由，依次从队列中选取任务传输至被选取的下一跳，层层递进，直到到达目的节点。

2.根据权利要求1所述的一种空天地一体化网络路由方法，其特征在于，以最低时延为目标即令总时延最短，目标函数如下：

其中，λ为数据流的泊松分布参数，i，j代表网络节点；

以节点剩余能量和链路带宽利用率为约束条件：

所有节点i在任意时刻t的最小剩余能量E_ir(t)大于等于阈值η₁(λ)：

每条链路ij的带宽利用率

小于等于网络拥塞率η₂(λ)：

其中，L_pkt为数据包长度，N_pkt为单位时间内的数据包数量，B_ij为链路带宽。

3.根据权利要求1所述的一种空天地一体化网络路由方法，其特征在于，空天地一体化网络状态空间中的所有节点s；其输入为网络邻接矩阵，输出当前状态下的最佳路由选择；依据贪婪策略选取节点s状态的出口链路a，根据公式更新Q值表：

Q(s,a)←Q(s,a)+α[R+γmaxQ(s′,a′)-Q(s,a)]

α为学习率，γ为折扣率；

R为奖励函数，是对在不同状态下选择不同动作的评估，其设计如下：

4.根据权利要求3所述的一种空天地一体化网络路由方法，其特征在于，所述空天地一体化网络路由系统包括卫星网络、空中平台网络和地面网络，卫星网络分别与空中平台网络和地面网络通信，卫星网络包括若干LEO极轨卫星，空中平台网络包括若干节点间保持相对静止的空中网络节点，地面网络包括地面站和用户，用户位置服从两个同心圆分布，最大半径20km。

5.根据权利要求4所述的一种空天地一体化网络路由方法，其特征在于，卫星网络、空中平台网络和地面网络之间形成的链路包括层内链路和层间链路，层间链路包括相邻层链路和间隔层链路。

6.根据权利要求1所述的一种空天地一体化网络路由方法，其特征在于，在链路队列非空时，当前数据包的等待时间等于上一个数据包离开时刻减去当前数据包到达时刻，而离开时刻则等于上一个数据包离开时刻加上链路传输时间。

7.根据权利要求1所述的一种空天地一体化网络路由方法，其特征在于，在时隙t，由无向图G(V,E(t))表示网络拓扑，V代表网络中的节点，E(t)代表网络中的链路；依据每个拓扑下的邻接矩阵来进行路由，邻接矩阵元素为时延，计算公式如下：

其中，c_ij为链路传输速度，w_ij为链路权值，d_ij(t)为链路距离。

8.根据权利要求7所述的一种空天地一体化网络路由方法，其特征在于，对于无法获取距离的链路，采用以下公式求得：

其中，Δh为高度差，水平距离d_h由以下Haversine公式计算：

其中，R代表地球半径，λ、

分别代表经纬度。

9.根据权利要求4所述的一种空天地一体化网络路由方法，其特征在于，所述空中平台网络总节点i的能耗为：

其中，L_pkt为数据包长度，d为链路距离；E_elec为发送/接收单位数据的能耗，E_fs为自由空间传输单位数据的能耗，E_mp为多路径传输能耗；

10.根据权利要求4所述的一种空天地一体化网络路由方法，其特征在于，极轨星座中卫星j在t时隙的能耗为：

其中，x_ji(t)和x_ij(t)分别为t时刻卫星节点的流入、流出数据量，等于数据包数量乘以长度；B为链路带宽，Δ_t为更新间隔时间；P_s、P_r、P_o分别为卫星发射、接收和运行功率；

卫星j在t时刻的充电能量为：

E_jc(t)＝P_c×max{Δ_t,S_j(t)} (6)

其中，P_c为卫星充电功率，S_i(t)为Δ_t间隔内的光照时长；

卫星j在t时刻的剩余能量为：

E_jr(t)＝min{E_jnitial,E_jr(t-1)-E_j(t)+E_jc(t)} (7)

其中，E_jnitial为卫星j的初始能量；

链路平均带宽利用率的计算公式如下：

其中，t_trans为传输时间。

Images