CN113316216A - 一种用于微纳卫星网络的路由方法 - Google Patents

Abstract

本发明公开了一种用于微纳卫星网络的路由方法，通过在微纳卫星网络中的每一个微纳卫星上搭建一个神经网络模型，然后通过随机生成的训练数据包对神经网络模型进行训练，再基于训练后的神经网络模型在卫星网络中进行路由决策，使用训练后的神经网络模型代替路由算法，将路由计算过程简化为简单的输入输出映射，降低了转发延迟，且避免了计算时多次迭代，增大了网络吞吐量，且每个微纳卫星定期维护自身的神经网络模型，当微纳卫星网络的拓扑发生变化时，重新对所述神经网络模型进行训练，提高了该路由方法在微纳卫星网络中的适应性。

Description

一种用于微纳卫星网络的路由方法

技术领域

本发明属于卫星技术领域，具体涉及一种用于微纳卫星网络的路由方法。

背景技术

微纳卫星指质量小于10千克、具有实际使用功能的卫星，其具有体积小、功耗低、开发周期短，可编队组网，以更低的成本完成很多复杂的空间任务的优势。

随着天地一体化网络以及航天任务的发展推进，微纳卫星组网的需求变得越来越迫切，微纳卫星属于低轨卫星，微纳卫星沿着轨道高速运转，使整个网络的拓扑结构快速变换，这对网络中的路由机制提出了特殊要求，此外，微纳卫星的轨道低，容易受到各种干扰，星间链路质量会发生不可预测的变化。

现有技术在对微纳卫星网络进行路由，通常采用的是最短路径算法，将一些简单的网络参数作为优化指标，其度量标准单一，容易导致部分关键链路堵塞，造成网络负载不均衡，而在多业务路径分配时，基于拉格朗日松弛的最短路径算法可以找到复合多约束条件的最优路径，但该方法收敛速度慢、时效性低以及吞吐量低。

因此，如何避免关键链路堵塞，且在多业务路径分配时提高时效性和吞吐量以及收敛速度，是本领与技术人员有待解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中容易关键链路堵塞，且在多业务路径分配时时效性低和吞吐量低的技术问题，提出了一种用于微纳卫星网络的路由方法。

本发明的技术方案为：一种用于微纳卫星网络的路由方法，包括以下步骤：

S1、在所述微纳卫星网络中的每一个微纳卫星上搭建一个神经网络模型；

S2、通过随机生成的训练数据包对所述神经网络模型进行训练；

S3、基于训练后的所述神经网络模型在所述微纳卫星网络中进行路由决策。

进一步地，所述步骤S2包括以下分步骤：

S21、获取所述训练数据包的状态信息，并将所述状态信息作为所述神经网络模型的输入信息；

S22、通过所述输入信息对所述神经网络模型进行奖励处理训练；

S23、将经过所述奖励处理训练后的所述神经网络模型作为训练后的所述神经网络模型。

进一步地，所述状态信息具体为当前卫星节点编号、目的卫星节点编号、带宽需求和时延需求。

进一步地，所述步骤S22包括以下分步骤：

S221、确定出卫星抗毁因子，所述卫星抗毁因子为对应卫星节点的通信稳定性；

S222、基于所述输入信息确定出预计花费代价，所述预计花费代价为所述训练数据包从当前卫星节点发送至下一跳卫星节点后距离所述目的卫星节点还要花费的代价；

S223、根据所述卫星抗毁因子和所述预计花费代价确定出所述奖励处理。

进一步地，所述卫星抗毁因子通过如下公式得出：

式中，

为所述卫星抗毁因子，

为下一跳卫星节点的丢包率，∑_avgdelay为下一跳卫星节点所连接的所有链路的平均通信时延，∑_RSatelliteNum为下一跳卫星节点的空间密度因子。

进一步地，所述空间密度因子具体为所述当前卫星节点预设通信距离内卫星节点的数量。

进一步地，所述预计花费代价通过如下公式进行确定：

式中，

为所述预计花费代价，x_n′为所述下一跳卫星节点的二维坐标的横坐标，x_m为所述目的卫星节点的二维坐标的横坐标，y_n′为所述下一跳卫星节点的二维坐标的纵坐标，y_m为所述目的节点的二维坐标的纵坐标。

进一步地，所述奖励处理通过如下公式进行确定：

式中，

为奖励处理，r₁，r₂，r₃，r₄，r₅均为权重因子，c(n)为所述当前卫星节点n此时的剩余容量，c(n′)为所述下一跳卫星节点剩余容量，

为所述训练数据包转发至所述下一跳卫星节点所经过的链路的最大带宽，

是星间链路负载因子，

为所述预计花费代价，

为所述卫星抗毁因子。

进一步地，所述星间链路负载因子具体为所述星间链路已用带宽与所述星间链路总带宽的比值。

进一步地，还包括当所述微纳卫星网络的拓扑发生变化时，重新对所述神经网络模型进行训练。

与现有技术相比，本发明具备如下有益效果：

(1)本发明通过在微纳卫星网络中的每一个微纳卫星上搭建一个神经网络模型，然后通过随机生成的训练数据包对神经网络模型进行训练，再基于训练后的神经网络模型在卫星网络中进行路由决策，使用训练后的神经网络模型代替路由算法，将路由计算过程简化为简单的输入输出映射，降低了转发延迟，且避免了计算时多次迭代，增大了网络吞吐量。

(2)本发明结合卫星微纳卫星网络通信特点，采用多种指标进行奖励处理，以适应业务的多种需求。

(3)每个微纳卫星定期维护自身的神经网络模型，当微纳卫星网络的拓扑发生变化时，重新对所述神经网络模型进行训练，提高了该路由方法在微纳卫星网络中的适应性。

附图说明

图1所示为本发明实施例提供的一种用于微纳卫星网络的路由方法的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如背景技术中所述，现有技术对于微纳卫星网络的路由决策主要是通过最短路径算法来解决的，但是其容易导致部分关键链路拥塞，且在进行多业务路径分配时，需要经过多次迭代，计算量大、时效性低以及吞吐量低。

因此，为解决现有技术中的问题，本申请提出了一种用于微纳卫星的路由方法，如图1所示，该方法包括以下步骤：

步骤S1、在所述微纳卫星网络中的每一个微纳卫星上搭建一个神经网络模型。

具体的，本申请中的神经网络模型包括第一神经网络和第二神经网络，第一神经网络具体为Actor神经网络，第二神经网络具体为Critic神经网络，Actor-Critic是一种通用的强化学习算法，由Actor网络和Critic网络共同组成，且两个神经网络相互独立。

步骤S2、通过随机生成的训练数据包对所述神经网络模型进行训练。

在本申请实施例中，所述步骤S2包括以下分步骤：

S21、获取所述训练数据包的状态信息，并将所述状态信息作为所述神经网络模型的输入信息；

S22、通过所述输入信息对所述神经网络模型进行奖励处理训练；

S23、将经过所述奖励处理训练后的所述神经网络模型作为训练后的所述神经网络模型。

具体的，在训练过程中，第一神经网络的输入即为所述输入信息，第一神经网络的输出为当前卫星节点可以采取的所有转发操作或转发路径，且第一神经网络根据概率选择其中一种转发操作，而第二神经网络会对第一神经网络的转发操作进行评分，然后第一神经网络通过该评分修改各个转发操作的概率从而得到更加合理的神经网络模型参数。

在本申请实施例中，所述状态信息具体为当前卫星节点编号、目的卫星节点编号、带宽需求和时延需求。

还需要说明的是，在将状态信息作为第一神经网络的输入信息时，还需要将该状态信息转化为向量表达形式，具体通过如下公式进行转化：

state＝[index,destIndex,bandwidth,delay]

式中，state为所述状态信息的向量表达式，index为当前卫星节点编号，destIndex为目的卫星节点编号，bandwidth为带宽需求，delay为时延需求。

在本申请实施例中，所述步骤S22包括以下分步骤：

S221、确定出卫星抗毁因子，所述卫星抗毁因子为对应卫星节点的通信稳定性；

S222、基于所述输入信息确定出预计花费代价，所述预计花费代价为所述训练数据包从当前卫星节点发送至下一跳卫星节点后距离所述目的卫星节点还要花费的代价；

S223、根据所述卫星抗毁因子和所述预计花费代价确定出所述奖励处理。

在本申请实施例中，所述卫星抗毁因子通过如下公式得出：

式中，

为所述卫星抗毁因子，

为下一跳卫星节点的丢包率，∑_avgdelay为下一跳卫星节点所连接的所有链路的平均通信时延，∑_RSatelliteNum为下一跳卫星节点的空间密度因子。

在本申请实施例中，所述空间密度因子具体为所述当前卫星节点预设通信距离内其他卫星节点的数量，在本申请技术方案中，空间密度因子越大，则说明备选路径也就越多，即使某条星间链路失效，依旧可以通过其他卫星节点到达目的卫星节点。

在本申请实施例中，，所述预计花费代价通过如下公式进行确定：

式中，

为所述预计花费代价，x_n′为所述下一跳卫星节点的二维坐标的横坐标，x_m为所述目的卫星节点的二维坐标的横坐标，y_n′为所述下一跳卫星节点的二维坐标的纵坐标，y_m为所述目的节点的二维坐标的纵坐标。

在本申请实施例中，所述奖励处理通过如下公式进行确定：

式中，

为奖励处理，r₁，r₂，r₃，r₄，r₅均为权重因子，c(n)为所述当前卫星节点n此时的剩余容量，c(n′)为所述下一跳卫星节点剩余容量，

为所述训练数据包转发至所述下一跳卫星节点所经过的链路的最大带宽，

是星间链路负载因子，

为所述预计花费代价，

为所述卫星抗毁因子。

在本申请实施例中，所述星间链路负载因子具体为所述星间链路已用带宽与所述星间链路总带宽的比值。

具体的，训练阶段中神经网络模型的路由决策尽量保证剩余容量充足的卫星节点作为下一跳，卫星节点剩余容量为卫星节点所能计算处理的最大bit减去缓存在该卫星节点待发送数据包的总大小bit，同时考虑到星间链路状态和多业务需求，作出相应的奖励措施，也即本申请中奖励处理训练，需要说明的是，上述中a_n为当前卫星节点可以采取的所有转发操作，由于每个卫星节点连接了很多相邻节点，训练数据包可以选择转发到任意一个相邻节点。

步骤S3、基于训练后的所述神经网络模型在所述微纳卫星网络中进行路由决策。

具体的，在实际工作状态中，直接通过训练好的神经网络模型执行输入和输出之间的映射，无需执行大量的计算，在某微纳卫星收到数据包时，解析该数据包，读取其状态信息，也即当前卫星节点编号、目的卫星节点编号、带宽需求和时延需求，并将该状态信息输入到神经网络模型中的第一神经网络中，得到的输出即为下一跳编号。

在本申请实施例中，所述方法还包括当所述微纳卫星网络的拓扑发生变化时，重新对所述神经网络模型进行训练。

在实际工作场景中，微纳卫星网络的拓扑结构是快速变化的，其某些路径可能包含失效的微信节点或星间链路，从而导致路由决策恶化，因此，定期检测微纳卫星网络的拓扑状态，当该拓扑状态发生变化时，立即对神经网络模型进行训练，调整神经网络模型的参数以适应新的拓扑。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种用于微纳卫星网络的路由方法，其特征在于，所述方法包括以下步骤：

S1、在所述微纳卫星网络中的每一个微纳卫星上搭建一个神经网络模型；

S2、通过随机生成的训练数据包对所述神经网络模型进行训练；

S3、基于训练后的所述神经网络模型在所述微纳卫星网络中进行路由决策。

2.如权利要求1所述的用于微纳卫星网络的路由方法，其特征在于，所述步骤S2包括以下分步骤：

S21、获取所述训练数据包的状态信息，并将所述状态信息作为所述神经网络模型的输入信息；

S22、通过所述输入信息对所述神经网络模型进行奖励处理训练；

S23、将经过所述奖励处理训练后的所述神经网络模型作为训练后的所述神经网络模型。

3.如权利要求2所述的用于微纳卫星网络的路由方法，其特征在于，所述状态信息具体为当前卫星节点编号、目的卫星节点编号、带宽需求和时延需求。

4.如权利要求3所述的用于微纳卫星网络的路由方法，其特征在于，所述步骤S22包括以下分步骤：

S221、确定出卫星抗毁因子，所述卫星抗毁因子为对应卫星节点的通信稳定性；

S222、基于所述输入信息确定出预计花费代价，所述预计花费代价为所述训练数据包从当前卫星节点发送至下一跳卫星节点后距离所述目的卫星节点还要花费的代价；

S223、根据所述卫星抗毁因子和所述预计花费代价确定出所述奖励处理。

5.如权利要求4所述的用于微纳卫星网络的路由方法，其特征在于，所述卫星抗毁因子通过如下公式得出：

式中，

为所述卫星抗毁因子，

为下一跳卫星节点的丢包率，∑_avgdelay为下一跳卫星节点所连接的所有链路的平均通信时延，∑_RSatelliteNum为下一跳卫星节点的空间密度因子。

6.如权力要求5所述的用于微纳卫星网络的路由方法，其特征在于，所述空间密度因子具体为所述当前卫星节点预设通信距离内其他卫星节点的数量。

7.如权利要求4所述的用于微纳卫星的路由方法，其特征在于，所述预计花费代价通过如下公式进行确定：

式中，

为所述预计花费代价，x_n′为所述下一跳卫星节点的二维坐标的横坐标，x_m为所述目的卫星节点的二维坐标的横坐标，y_n′为所述下一跳卫星节点的二维坐标的纵坐标，y_m为所述目的节点的二维坐标的纵坐标。

8.如权利要求4所述的用于微纳卫星网络的路由方法，其特征在于，所述奖励处理通过如下公式进行确定：

式中，

为奖励处理，r₁，r₂，r₃，r₄，r₅均为权重因子，c(n)为所述当前卫星节点n此时的剩余容量，c(n′)为所述下一跳卫星节点剩余容量，

为所述训练数据包转发至所述下一跳卫星节点所经过的链路的最大带宽，

是星间链路负载因子，

为所述预计花费代价，

为所述卫星抗毁因子。

9.如权利要求8所述的用于微纳卫星网络的路由方法，其特征在于，所述星间链路负载因子具体为所述星间链路已用带宽与所述星间链路总带宽的比值。

10.如权利要求1所述的用于微纳卫星网络的路由方法，其特征在于，所述方法还包括当所述微纳卫星网络的拓扑发生变化时，重新对所述神经网络模型进行训练。

Images