CN111490817A - 卫星网络传输方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种卫星网络传输方法、装置及电子设备，包括：当卫星网络的时隙划分发生变化时，通过高轨道卫星接收同一分组内的多个低轨道卫星发送的链路报告；其中，卫星网络被划分为多个分组，每个分组内包括一个高轨道卫星和多个低轨道卫星；如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量相同，根据链路报告建立网络拓扑图；根据网络拓扑图，基于强化学习算法建立卫星网络的路由表；基于路由表进行数据传输。本发明能够及时发现卫星网络中各个卫星的故障事件，同时减轻卫星网络中拥塞卫星节点的压力。

Description

卫星网络传输方法、装置及电子设备

技术领域

本发明涉及卫星通信技术领域，尤其是涉及一种卫星网络传输方法、装置及电子设备。

背景技术

目前，随着对空间环境的不断探索，地球上位于不同高度轨道的卫星所组成的卫星网络可以为用户提供不同的服务。卫星网络空间环境下，主要依靠不同高度轨道的卫星作为通信节点及采集深空信息的设备，实时探测、处理、传输深空中的信息。现有技术中，通常采用集中式路由策略，利用高层卫星覆盖区域对卫星分组，高层卫星作为管理者，高层卫星所覆盖的低层卫星则作为分组成员。各组分别进行组内拓扑信息采集，当组内成员发生变化时需要更新路由表。但是，在有新的节点加入网络时无法及时更新路由表，并且在网络中流量突发的情况下，不能及时发现卫星节点故障事件，从而导致卫星节点拥塞。

发明内容

有鉴于此，本发明的目的在于提供一种卫星网络传输方法、装置及电子设备，能够及时发现卫星网络中各个卫星的故障事件，同时减轻卫星网络中拥塞卫星节点的压力。

第一方面，本发明实施例提供了一种卫星网络传输方法，包括：当卫星网络的时隙划分发生变化时，通过高轨道卫星接收同一分组内的多个低轨道卫星发送的链路报告；其中，卫星网络被划分为多个分组，每个分组内包括一个高轨道卫星和多个低轨道卫星；如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量相同，根据链路报告建立网络拓扑图；根据网络拓扑图，基于强化学习算法建立卫星网络的路由表；基于路由表进行数据传输。

在一种实施方式中，根据网络拓扑图，基于最强学习算法建立卫星网络的路由表的步骤包括：根据网络拓扑图确定本组内每个低轨道卫星的负载状态；根据负载状态，基于强化学习算法计算本组内每个低轨道卫星到其他低轨道卫星的最优跳数路径；基于最优跳数路径建立卫星网络的路由表。

在一种实施方式中，方法还包括：将只有一条链路发生通断变化的时间段划分为一个时间片段；根据时间片段阈值，将小于时间片段阈值的时间片段与该时间片段的前一时间片段合并，得到卫星网络的时隙划分。

在一种实施方式中，方法还包括：如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量不同，向地面控制中心发送失效报告。

在一种实施方式中，如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量相同，根据链路报告建立网络拓扑图的步骤，包括：如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量相同，通过层内链路向与其相邻的其他高轨道卫星发送第一链路报告，并接收与其相邻的其他高轨道卫星发送的第二链路报告；如果在第二预设时间内，高轨道卫星接收到第二链路报告，根据第一链路报告和第二链路报告建立网络拓扑图。

在一种实施方式中，方法还包括：如果在第二预设时间内，高轨道卫星没有接收到第二链路报告，向地面控制中心发送失效报告。

在一种实施方式中，当卫星网络的时隙划分发生变化时，通过高轨道卫星接收同一分组内的多个低轨道卫星发送的链路报告的步骤包括：当卫星网络的时隙划分发生变化时，控制同一分组内的多个低轨道卫星获取与其他低轨道卫星之间的可连接性，生成每个低轨道卫星的链路报告；通过高轨道卫星接收每个低轨道卫星发送的链路报告。

第二方面，本发明实施例提供了一种卫星网络传输装置，包括：链路报告接收模块，用于当卫星网络的时隙划分发生变化时，通过高轨道卫星接收同一分组内的多个低轨道卫星发送的链路报告；其中，卫星网络被划分为多个分组，每个分组内包括一个高轨道卫星和多个低轨道卫星；网络拓扑图建立模块，用于如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量相同，根据链路报告建立网络拓扑图；路由表生成模块，用于根据网络拓扑图，基于强化学习算法建立卫星网络的路由表；数据传输模块，用于基于路由表进行数据传输。

第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面提供的任一项的方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述第一方面提供的任一项的方法的步骤。

本发明实施例提供的上述卫星网络传输方法、装置及电子设备，卫星网络被划分为多个分组，每个分组内包括一个高轨道卫星和多个低轨道卫星，当卫星网络的时隙划分发生变化时，能够通过高轨道卫星接收同一分组内的多个低轨道卫星发送的链路报告；如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量相同，能够根据链路报告建立网络拓扑图；然后根据网络拓扑图，基于强化学习算法建立卫星网络的路由表；最后基于路由表进行数据传输。上述方法能够在卫星网络时隙发生变化时，根据卫星网络中所有卫星的链路报告，基于强化学习算法生成新的路由表。采用强化学习算法生成路由表能够及时发现卫星网络中各个卫星的故障事件，同时减轻卫星网络中拥塞卫星节点的压力。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种卫星网络传输方法的流程示意图；

图2为本发明实施例提供的一种双层卫星网络示意图；

图3为本发明实施例提供的一种应用于卫星网络的强化学习方法的示意图；

图4为本发明实施例提供的一种混合网络的结构示意图；

图5为本发明实施例提供的一种任意一条链路通断划分时间片段的示意图；

图6为本发明实施例提供的一种时隙划分示意图；

图7为本发明实施例提供的一种卫星网络路由更新方法的流程示意图；

图8为本发明实施例提供的一种卫星网络传输装置的结构示意图；

图9为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，通常将卫星路由过程建模为部分可观察的马尔可夫决策过程 (PartiallyObservable Markov Decision Process，POMDP)，每个GEO卫星仅了解相邻GEO管辖范围内卫星拓扑情况，并不了解全局卫星分布状况，在网络中流量突发的情况下，性能会急剧下降。基于此，本发明实施例提供的一种卫星网络传输方法、装置及电子设备，可以能够及时发现卫星网络中各个卫星的故障事件，同时减轻卫星网络中拥塞卫星节点的压力。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种卫星网络传输方法进行详细介绍，参见图1所示的一种卫星网络传输方法的流程示意图，该方法可以由电子设备来执行，主要包括以下步骤S102至步骤 S108：

步骤S102：当卫星网络的时隙划分发生变化时，通过高轨道卫星接收同一分组内的多个低轨道卫星发送的链路报告。

其中，卫星网络被划分为多个分组，每个分组内包括一个高轨道卫星和多个低轨道卫星。参见图2中所示的一种双层卫星网络示意图，利用高层卫星覆盖区域对卫星分组，高层卫星作为管理者，高层卫星所覆盖的低层卫星则作为分组成员，如图2中所示的卫星网络分为两层，一层为高轨道卫星(GEO)，一层为低轨道卫星(LEO)，其中GEO可作为管理者，LEO 作为被管理者，在实际中可以将卫星网络中的卫星进行分组，一个分组内可以包括一个GEO和多个LEO，在各组分别进行组内拓扑信息采集，当组内成员发生变化时更新路由表。

在一种实施方式中，由于卫星的移动等原因，卫星网络中各个节点卫星之间的在不同时刻的拓扑关系也会发生变化，因此需要重新对卫星网络的时隙进行划分，而当卫星网络的时隙划分发生变化时，卫星网络中各个卫星之间的链路也会发生变化，因此每个分组中的LEO可以生成相应的链路报告，并发送给同组的GEO。

步骤S104：如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量相同，根据链路报告建立网络拓扑图。

在一种实施方式中，在计算路由之前，首先需要构建全网拓扑图，当高轨卫星集齐本组内所有链路报告，也就是在第一预设时间内接收到的链路报告的数量与本组内低轨道卫星的数量相同，则可以根据接收到的链路报告建立网络拓扑图。

步骤S106：根据网络拓扑图，基于最强学习算法建立卫星网络的路由表。

在一种实施方式中，可以令R_table表示网络中各节点的路由表，路由表包含本节点、目的节点与下一跳节点，具体表示如下：

R_table＝{<S_id,D_id,N_id>|S_id,D_id,N_id∈{LEO layer}U{GEO layer}}。其中，S_id表示本节点编号，D_id表示目的节点编号，N_id表示下一跳节点编号。

进一步，可以通过强化学习算法中的多智能体强化学习算法(QMIX 算法)进行路由选择优化，QMIX算法采用集中式学习，分布式执行应用的框架，通过集中式的信息学习，得到每个智能体的分布式策略。基于此，本发明实施例利用强化学习算法，根据网络拓扑图获取每个卫星节点的信息，从而建立卫星网络的路由表。

步骤S108：基于路由表进行数据传输。

路由表中包括本节点、目的节点与下一跳节点等信息，因此当进行数据传输时可以根据建立的路由表，选择相应的链路进行数据传输。

本发明实施例提供的上述卫星网络传输方法能够在卫星网络时隙发生变化时，根据卫星网络中所有卫星的链路报告，基于强化学习算法生成新的路由表。采用强化学习算法生成路由表能够及时发现卫星网络中各个卫星的故障事件，同时减轻卫星网络中拥塞卫星节点的压力。

进一步，本发明实施例中采用强化学习中的QMIX算法进行路由选择优化。参见图3所示的一种应用于卫星网络的强化学习方法的示意图，分布平面由大量的LEO和少量的GEO组成。LEO卫星通过无线链路互相连接，数据可以通过LEO和GEO卫星传输；集中式平面由地面控制站组成，整个体系结构形成了逻辑上集中、物理上分散的集中控制系统。集中式平台在训练阶段向LEO卫星与GEO卫星收集全局状态和联合动作，实现协作学习，执行过程中，LEO只能通过局部状态与GEO调控进行决策。上述集中的训练和分布式执行范型可以快速地学习协调的行为和对网络状态的响应。

令τ＝(τ₁,…,τ_n)表示联合动作-观测历史，其中，τ_i＝(a_i,0,a_i,1,…,a_i,t-1,a_i,t)为动作 -观测历史，a＝(a₁,…,a_n)表示联合动作。Q_tot为联合动作值函数， Q_i(τ_i,a_i；θ_i)为智能体i的局部动作值函数，局部值函数只依赖于每个智能体的局部观测，其中观测值包含相邻链接的当前利用率以及当前节点的缓冲区，动作a则是操作空间是为每个链接分配多少流量。

QMIX算法就是采用一个混合网络对单智能体局部值函数进行合并，并在训练学习过程中加入全局状态信息辅助，来提高算法性能。

为了能够沿用VDN的优势，利用集中式的学习，得到分布式的策略。主要是因为对联合动作值函数取argmax等价于对每个局部动作值函数取 argmax，其单调性相同，如下所示：

因此分布式策略就是通过局部Q_i获取最优动作。QMIX算法将公式(1) 转化为一种单调性约束，如下所示：

若满足以上单调性，则公式(1)成立，为了实现上述约束，QMIX算法采用混合网络(mixing network)来实现，其具体结构参见图4所示的一种混合网络的结构示意图，图4的(c)部分表示每个智能体采用一个DRQN 来拟合自身的Q值函数的到Q_i(τ_i,a_i；θ_i)，DRQN循环输入当前的观测O_i,t以及上一时刻的动作a_i,t-1来得到Q值。

图4的(b)部分表示混合网络的结构，其输入为每个DRQN网络的输出。为了满足上述的单调性约束，混合网络的所有权值都是非负数，对偏移量不做限制，这样就可以确保满足单调性约束。

为了能够更多的利用到系统的状态信息S_t，采用一种超网络 (hypernetwork)，将状态S_t作为输入，输出为混合网络的权值及偏移量，参见图4的(a)部分所示。为了保证权值的非负性，采用一个线性网络以及绝对值激活函数保证输出不为负数。对偏移量采用同样方式但没有非负性的约束，混合网络最后一层的偏移量通过两层网络以及ReLU激活函数得到非线性映射网络。由于状态信息S_t是通过超网络混合到Q_tot中的，而不是仅仅作为混合网络的输入项，这样带来的一个好处是，如果作为输入项则S_t的系数均为正，这样则无法充分利用状态信息来提高系统性能，相当于舍弃了一半的信息量。因此，QMIX算法最终的代价函数如下：

更新用到了传统的DQN的思想，其中b表示从经验记忆中采样的样本数量，

表示目标网络。

由于满足上述单调性约束，对Q_tot进行argmax操作的计算量就不在是随智能体数量呈指数增长了，而是随智能体数量线性增长，极大的提高了算法效率。同时，由于分布式网络代理通过集中式训练和分散式执行，可以快速学习网络状态下的协调行为和响应。

基于此，对于上述步骤S106可以按照以下步骤a1至步骤a3来执行：

步骤a1：根据网络拓扑图确定本组内每个低轨道卫星的负载状态。

步骤a2：根据负载状态，基于最强学习算法计算本组内每个低轨道卫星到其他低轨道卫星的最优跳数路径。

步骤a3：基于最优跳数路径建立卫星网络的路由表。

进一步，在设计卫星网络的传输方案时，首先要解决的就是计划构建的网络拓扑结构。一个良好的网络拓扑结构既能出色的实现网络的业务需求，又不会因结构过于复杂增加计算路由时的计算量，同时还能保持良好的抗毁性与处理突发情况的能力；多层卫星组网另一个关键的问题就是由于卫星运动带来的网络拓扑变化问题。针对卫星网络的拓扑变化的解决方案，可以通过划分时间片段，将卫星网络划分为n个不同的拓扑，并依次计算不同时刻的路由路径。目前的时间划分方法主要分为两类：等长时间划分与非等长时间划分。等长时间划分对卫星网络拓扑变化的大周期，简单选取一个合适的时间长度将其分为多个时间片段，方法简单易实现。然而由于等长时间间隔内，由于卫星运动可能导致网络拓扑发生巨大变化，可能会导致预设路径失效，而非等长时间划分虽然能解决网络拓扑变化问题，但由此划分的时间片段过多又给节点计算路由带来了巨大计算量。因此本发明实施例提供了一种时隙划分的方法，主要以下步骤(1)至步骤(2)：

步骤(1)：将只有一条链路发生通断变化的时间段划分为一个时间片段。

具体的，参见图5所示的一种任意一条链路通断划分时间片段的示意图，T1时刻A节点与B节点连通，T2时刻A节点与B节点断开，若t＝T1 到t＝T2的时间段内，网络中只有此链路产生通断变化，则依据非等长时间划分方式，此为一个时间片。按照这样的划分方法，网络中可能形成如图5 所示的时间片划分。

步骤(2)：根据时间片段阈值，将小于时间片段阈值的时间片段与该时间片段的前一时间片段合并，得到卫星网络的时隙划分。

在一种实施方式中，按照上述方法划分的时间片段，可能会出现图5 中所示的诸如[T(5),T(6)]较短的时间片段，在该时间片段内，由于只有一条链路发生通断的变化，对网络的拓扑影响不大，但由此会带来较大的重新计算网络路由问题。为此，VLRA算法通过设定时间长度(也即时间片段) 阈值Td，将所划分的时间片段长度与Td进行比较，若时间片长度小于Td，则将该时间片段与上一时间片段合并，并在上一时间片段内提前将此链路设置为断开。因此可以得到如图6所示的一种时隙划分示意图。

此外，由于卫星运动，由当前GEO覆盖范围切换至另一GEO的覆盖区域，由于本发明实施例采取GEO卫星作为组管理者，在计算合并时间片段时，切换分组的卫星具有高优先级，不会合并。

本发明实施例通过设定关键时隙高优先级与合并较短时隙的方式，减少了时隙的数量，简化卫星节点的计算量，减轻了网络中由于卫星运动造成的分组切换对时隙划分的影响。

进一步，如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量不同，向地面控制中心发送失效报告。

在一种实施方式中，若卫星节点B失效(可能是LEO卫星，也可能是 GEO卫星)，在时间片段更新时，其所属的GEO经过一段时间τ(即第一预设时间)无法获得节点B的链路报告，则可知节点已失效，GEO可以向地面发送节点失效报告Node_Failure(B)。

进一步，为了便于理解，对于上述步骤S104可以按照以下步骤b1至步骤b2来执行：

步骤b1：如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量相同，通过层内链路向与其相邻的其他高轨道卫星发送第一链路报告，并接收与其相邻的其他高轨道卫星发送的第二链路报告。

在一种实施方式中，GEO卫星可以通过收集所属分组内的LEO卫星链路报告，获得部分拓扑信息，GEO卫星间相互交换组内链路连接信息即可获得全网拓扑信息G(V,E)。其中V表示卫星节点，E表示卫星链路，G(V,E) 采用邻接表存储。当高轨卫星集齐本组内所有链路报告或者等待时间超过第一预设时间时，可以通过层内链路向相邻的GEO卫星发送收集的链路报告(即第一链路报告)，同时也可以接受相邻的GEO卫星发送收集的链路报告(即第二链路报告)，也就是可以与相邻的GEO之间进行链路报告的交换。GEO可以通过定期发送HELLO包，动态发现其一跳范围内的邻居卫星。

步骤b2：如果在第二预设时间内，高轨道卫星接收到第二链路报告，根据第一链路报告和第二链路报告建立网络拓扑图。

具体的，GEO卫星如果在第二预设时间内接收到第二链路报告，也就是与相邻卫星完成链路报告的交换，则可以获得全部卫星的链路报告，并基于获取的链路报告建立网络拓扑图。

此外，如果在第二预设时间内，高轨道卫星没有接收到第二链路报告，则向地面控制中心发送失效报告。

进一步，为了便于理解，对于上述步骤S102可以按照以下步骤c1至步骤c2来执行：

步骤c1：当卫星网络的时隙划分发生变化时，控制同一分组内的多个低轨道卫星获取与其他低轨道卫星之间的可连接性，生成每个低轨道卫星的链路报告。

步骤c2：通过高轨道卫星接收每个低轨道卫星发送的链路报告。

具体的可以令Bool(l_AB)表示A卫星与B卫星之间的可连接性，当A 卫星与B卫星之间存在连接时，Bool(l_AB)＝1，否则Bool(l_AB)＝0，具体表示如下：

进一步，令LLR(A)表示LEO卫星的链路报告，LLR(A)可以使用二元组(B，Bool(l_AB))表示，其中B表示与A卫星具有链路的节点卫星，LEO卫星链路包括：(1)与周围相邻的4颗LEO卫星L_ij之间的链路层内链路(ISL)；(2)与GEO卫星之间G_i的链路层间链路(IOL)；(3) 与地面网关之间的链路UDL。其中，L_ij为LEO卫星在网络中的编号，L表示为LEO卫星，i表示LEO卫星所属管理者GEO卫星的编号，j表示LEO 卫星的自身编号；G_i表示GEO卫星编号；N_k表示地面网关的地址编号， 0<n<count(A,N_k)-1，count(A,N_k)表示与A可连的地面网关数量。链路报告具体表示如下：

LLR(A)＝{(X,Bool(l_AX))|X∈{L_ij},|{L_ij}|＝4}U{(Y,Bool(l_AY))|Y＝ G_i}U{(Z,Bool(l_AZ))|Z∈{N_k)},|{N_k)}|＝n,0<n<count(A,N_k))-1}。

当卫星网络中时隙发生变化时，可以通过计算低轨卫星之间的可连接性生成每个低轨道卫星的链路报告，并将其发送至高轨卫星。

网络可划分为不同时隙，不同的时隙内网络的拓扑不同，同一时隙内可认为网络拓扑基本不变，因此当网络中卫星的各轨道确定时，便可计算出一个周期内的时隙划分，即静态配置初始路由表。时隙划分工作可由地面控制中心完成，划分后广播给各卫星存储。因此，当时隙更新时需要重新计算路由，即动态更新卫星路由表，本发明实施例还提供了一种卫星网络路由更新方法，参见图7所示的一种卫星网络路由更新方法的流程示意图，示意出该方法主要包括以下步骤①至步骤⑥：

步骤①：当更新到新的时隙时，各LEO卫星获取收集与其他节点的可连接性l_AB，生成卫星链路报告LLR(L_ij)。

步骤②：LEO卫星通过层间链路IOL_Lij-Gi向所在分组管理卫星G_i发送链路报告LLR(L_ij)，G_i等候时间τ，若时间τ内接收到的链路报告数与组内成员数相同，则继续步骤③；否则发送链路失效报告Node_Failure(L_ij) 至地面控制中心，同时将以L_ij为其中一个端点的链路连接性置0后执行步骤⑥。

步骤③：当GEO卫星集齐本组内所有链路报告或超过时间τ时，GEO 卫星将通过层内链路ISL_Gi-Gj向相邻的GEO卫星发送所收集的链路报告 (GEO卫星可以通过定期发送HELLO包，动态发现它的一跳范围内的邻居)，若在时间δ内，G_j未收到来自G_i的链路报告，则向地面控制中心发送节点失效报告Node_Failure(G_i)，执行步骤⑥，否则执行步骤④。

步骤④：GEO卫星相互交换链路报告后，相邻GEO卫星均可获得网络拓扑图G(V,E)，此时，可以依据基于强化学习的卫星容迟传输方案，GEO 卫星为分组内每颗LEO卫星计算到LEO层所有卫星的最优跳数路径，并由此更新其路由表R_table。

步骤⑤：计算更新完各LEO卫星的路由表后，GEO卫星根据R_table中的S_id，通过层间链路IOL_Gi-S-id将路由表R_table发送给各LEO卫星，LEO 卫星发送ACK确认消息，路由计算更新完毕。

步骤⑥：地面控制中心接收到节点失效报告Node_Failure(A)后，首先根据失效报告判别失效卫星的类型，若失效卫星为LEO卫星，则尽快查明原因修复；若失效卫星为GEO卫星，一方面需要尽快查明原因修复，另一方面，由于GEO卫星失效将会影响网络的拓扑信息收集，为此，地面控制中心根据预先计算的此时隙内的分组情况，向该GEO所在分组内的LEO卫星发送命令，使LEO卫星发送链路报告至其他GEO卫星，由正常的GEO 卫星暂为处理，重新执行步骤③。

针对LEO-GEO卫星网络，本发明实施例提供了一种基于强化学习的路由策略。在本实施例中，地面控制平面收集卫星状态信息，并根据这些信息做出路由决策，从而能及时发现节点故障事件并更改下一跳节点，并应对链路拥塞。此外，在集中的平台在培训阶段可以从每个代理收集全局状态和联合操作，以简化培训，并且在执行期间，每个代理可以通过以下方式将操作返回到本地状态。同时，针对不同层卫星提出了不同的拥塞控制策略，对LEO卫星通过采用重新计算组内路由的方式，减轻了拥塞节点的压力。考虑到导致节点拥塞的原因多半为网络暂时的流量突发，对GEO卫星通过采用开辟新的存储区域暂时存储消息，借助其远大于LEO卫星处理能力的特点，完成了GEO卫星的拥塞控制。

对于前述实施例提供的卫星网络传输方法，本发明实施例还提供了一种卫星网络传输装置，参见图8所示的一种卫星网络传输装置的结构示意图，该装置可以包括以下部分：

链路报告接收模块801，用于当卫星网络的时隙划分发生变化时，通过高轨道卫星接收同一分组内的多个低轨道卫星发送的链路报告；其中，卫星网络被划分为多个分组，每个分组内包括一个高轨道卫星和多个低轨道卫星。

网络拓扑图建立模块802，用于如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量相同，根据链路报告建立网络拓扑图。

路由表生成模块803，用于根据网络拓扑图，基于最强学习算法建立卫星网络的路由表。

数据传输模块804，用于基于路由表进行数据传输。

本发明实施例提供的上述卫星网络传输装置，卫星网络被划分为多个分组，每个分组内包括一个高轨道卫星和多个低轨道卫星，当卫星网络的时隙划分发生变化时，能够通过高轨道卫星接收同一分组内的多个低轨道卫星发送的链路报告；如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量相同，能够根据链路报告建立网络拓扑图；然后根据网络拓扑图，基于强化学习算法建立卫星网络的路由表；最后基于路由表进行数据传输。上述装置能够在卫星网络时隙发生变化时，根据卫星网络中所有卫星的链路报告，基于强化学习算法生成新的路由表。采用强化学习算法生成路由表能够及时发现卫星网络中各个卫星的故障事件，同时减轻卫星网络中拥塞卫星节点的压力。

在一种实施方式中，上述路由表生成模块803还用于根据网络拓扑图确定本组内每个低轨道卫星的负载状态；根据负载状态，基于最强学习算法计算本组内每个低轨道卫星到其他低轨道卫星的最优跳数路径；基于最优跳数路径建立卫星网络的路由表。

在一种实施方式中，上述卫星网络传输装置还包括时隙划分模块，用于将只有一条链路发生通断变化的时间段划分为一个时间片段；根据时间片段阈值，将小于时间片段阈值的时间片段与该时间片段的前一时间片段合并，得到卫星网络的时隙划分。

在一种实施方式中，上述卫星网络传输装置还包括第一发送模块，用于如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量不同，向地面控制中心发送失效报告。

在一种实施方式中，上述网络拓扑图建立模块802还用于如果在第一预设时间内，高轨道卫星接收到的链路报告的数量与本组内低轨道卫星的数量相同，通过层内链路向与其相邻的其他高轨道卫星发送第一链路报告，并接收与其相邻的其他高轨道卫星发送的第二链路报告；如果在第二预设时间内，高轨道卫星接收到第二链路报告，根据第一链路报告和第二链路报告建立网络拓扑图。

在一种实施方式中，上述卫星网络传输装置还包括第二发送模块，用于如果在第二预设时间内，高轨道卫星没有接收到第二链路报告，向地面控制中心发送失效报告。

在一种实施方式中，上述链路报告接收模块801还用于当卫星网络的时隙划分发生变化时，控制同一分组内的多个低轨道卫星获取与其他低轨道卫星之间的可连接性，生成每个低轨道卫星的链路报告；通过高轨道卫星接收每个低轨道卫星发送的链路报告。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例还提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如上实施方式的任一项所述的方法。

图9为本发明实施例提供的一种电子设备的结构示意图，该电子设备 100包括：处理器90，存储器91，总线92和通信接口93，所述处理器90、通信接口93和存储器91通过总线92连接；处理器90用于执行存储器91 中存储的可执行模块，例如计算机程序。

其中，存储器91可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口93(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线92可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器91用于存储程序，所述处理器90在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器90中，或者由处理器90实现。

处理器90可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器90中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器90可以是通用处理器，包括中央处理器(CPU，Central Processing Unit)、网络处理器(NP，Network Processor)等；还可以是数字信号处理器(DSP，Digital SignalProcessing)、专用集成电路 (ASIC，Application Specific Integrated Circuit)、现成可编程门阵列(FPGA， Field-Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器91，处理器90读取存储器91中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种卫星网络传输方法，其特征在于，包括：

当卫星网络的时隙划分发生变化时，通过高轨道卫星接收同一分组内的多个低轨道卫星发送的链路报告；其中，所述卫星网络被划分为多个分组，每个分组内包括一个所述高轨道卫星和多个所述低轨道卫星；

如果在第一预设时间内，所述高轨道卫星接收到的所述链路报告的数量与本组内所述低轨道卫星的数量相同，根据所述链路报告建立网络拓扑图；

根据所述网络拓扑图，基于强化学习算法建立所述卫星网络的路由表；

基于所述路由表进行数据传输。

2.根据权利要求1所述的方法，其特征在于，所述根据所述网络拓扑图，基于最强学习算法建立所述卫星网络的路由表的步骤包括：

根据所述网络拓扑图确定本组内每个所述低轨道卫星的负载状态；

根据所述负载状态，基于强化学习算法计算本组内每个所述低轨道卫星到其他低轨道卫星的最优跳数路径；

基于所述最优跳数路径建立所述卫星网络的路由表。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将只有一条链路发生通断变化的时间段划分为一个时间片段；

根据时间片段阈值，将小于所述时间片段阈值的时间片段与该时间片段的前一时间片段合并，得到所述卫星网络的时隙划分。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：如果在第一预设时间内，所述高轨道卫星接收到的所述链路报告的数量与本组内所述低轨道卫星的数量不同，向地面控制中心发送失效报告。

5.根据权利要求1所述的方法，其特征在于，所述如果在第一预设时间内，所述高轨道卫星接收到的所述链路报告的数量与本组内所述低轨道卫星的数量相同，根据所述链路报告建立网络拓扑图的步骤，包括：

如果在第一预设时间内，所述高轨道卫星接收到的所述链路报告的数量与本组内所述低轨道卫星的数量相同，通过层内链路向与其相邻的其他高轨道卫星发送第一链路报告，并接收与其相邻的其他高轨道卫星发送的第二链路报告；

如果在第二预设时间内，所述高轨道卫星接收到所述第二链路报告，根据所述第一链路报告和所述第二链路报告建立网络拓扑图。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：如果在第二预设时间内，所述高轨道卫星没有接收到所述第二链路报告，向地面控制中心发送失效报告。

7.根据权利要求1所述的方法，其特征在于，所述当卫星网络的时隙划分发生变化时，通过高轨道卫星接收同一分组内的多个低轨道卫星发送的链路报告的步骤包括：

当卫星网络的时隙划分发生变化时，控制同一分组内的多个低轨道卫星获取与其他低轨道卫星之间的可连接性，生成每个所述低轨道卫星的链路报告；

通过高轨道卫星接收每个所述低轨道卫星发送的链路报告。

8.一种卫星网络传输装置，其特征在于，包括：

链路报告接收模块，用于当卫星网络的时隙划分发生变化时，通过高轨道卫星接收同一分组内的多个低轨道卫星发送的链路报告；其中，所述卫星网络被划分为多个分组，每个分组内包括一个所述高轨道卫星和多个所述低轨道卫星；

网络拓扑图建立模块，用于如果在第一预设时间内，所述高轨道卫星接收到的所述链路报告的数量与本组内所述低轨道卫星的数量相同，根据所述链路报告建立网络拓扑图；

路由表生成模块，用于根据所述网络拓扑图，基于强化学习算法建立所述卫星网络的路由表；

数据传输模块，用于基于所述路由表进行数据传输。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7任一项所述的方法的步骤。

Images