CN114337779B - 基于深度强化学习的卫星通信频轨资源挖掘方法 - Google Patents

Abstract

本发明公开了一种基于深度强化学习的卫星通信频轨资源挖掘方法，其步骤包括：确定初始需求，进而确定需求参数；从现有轨位中选择一个轨位，判断该轨位提供的通信能力是否和初始需求匹配，如果匹配则存储该轨位的供需数据，如果不匹配，则使用深度强化学习算法进行供需匹配优化映射；判断供需匹配优化映射之后，该轨位能否满足最低需求，如果能，则存储此时供需数据。本发明实现了多轨位、多星、多频等频轨大数据环境下的卫星通信频轨资源的深度挖掘，具有资源挖掘维度多、挖掘彻底、挖掘准确的优点；通过深度强化学习算法进行供需匹配优化映射，能够快速实现轨位资源和用户需求的最优匹配。

Description

基于深度强化学习的卫星通信频轨资源挖掘方法

技术领域

本发明涉及卫星通信技术领域，尤其涉及一种基于深度强化学习的卫星通信频轨资源挖掘方法。

背景技术

与地面通信系统相比，卫星通信系统具有覆盖范围广和不受地形条件限制的显著优势，在服务空中、海上、沙漠、山地和偏远、无人区域用户方面以及应对地震、洪水等自然灾害导致的地面通信基础设施损坏方面，发挥着不可替代的作用。然而，受限于实际的空间信息环境，地球可用卫星轨位和频率都是不可再生资源，国际竞争激烈。当前，地球同步卫星轨道日益拥挤，可用轨位愈发稀少；而随着低轨星座的快速建设发展，成千上万的中低轨卫星正飞速消耗地球中低轨位和宝贵的频率资源。为了保障我国卫星通信事业的未来发展，确保我国空间信息安全，拓展我国可用空间频轨资源刻不容缓。

发明内容

针对地球空间频轨资源挖掘问题，本发明公开了一种基于深度强化学习的卫星通信频轨资源挖掘方法，采用多维度大数据挖掘技术能够挖掘出不明显的轨位资源，从而增加可用的卫星通信可用频轨资源。本发明从高中低多轨位、多卫星、多频率、大数据环境中深度挖掘可用卫星通信频轨资源，并通过深度强化学习算法进行供需匹配优化映射。

本发明公开了一种基于深度强化学习的卫星通信频轨资源挖掘方法，其具体步骤包括：

S1，设定地球同步轨道卫星的轨位总数为N，将各个轨位编号，按照编号顺序依次选择单个轨位进行后续步骤；

S2，获取该轨位周边一定范围内的多颗卫星的参数，包括卫星j的轨位n^j、发射功率P_t ^j和接收功率P_r ^j、波束数量B^j、各波束覆盖区域Area^j、上行链路通信频率F_u ^j、下行链路通信频率F_d ^j，同时获取用户的初始需求，包括波束覆盖范围Ar、卫星通信容量C和频率干扰门限T，并从用户的初始需求中提取用户需求参数，用户需求参数包括卫星发射功率P_t和接收功率P_r、波束数量B、各波束覆盖区域Area、上行链路通信频率F_u、下行链路通信频率F_d；

S3，根据获取的轨位周边一定范围内的多颗卫星的参数以及用户需求参数，判断该轨位的资源供给参数能否满足用户的需求；如果能够满足用户的需求，则存储该轨位的供需数据，包括轨位编号和所有用户需求参数，并执行步骤S6，如果不满足用户的需求，则执行步骤S4；轨位的资源供给参数包括轨位所允许的卫星发射功率P_t和接收功率P_r、波束数量B、各波束覆盖区域Area、上行链路通信频率F_u、下行链路通信频率F_d；供需数据包括轨位的资源供给参数和用户需求参数；

S4，使用深度强化学习算法调整用户需求，得到调整后的用户需求；设定卫星轨位和轨位周边一定范围内的多颗卫星的频轨参数与用户需求为环境，将轨位和用户的供需匹配优化过程建模为智能体与环境的交互过程，并通过对深度Q网络进行训练与学习，以达到轨位和用户的频轨资源供需最优匹配；深度Q网络通过人工神经网络来实现；

所述的步骤S4，其具体包括：

S41，初始化深度强化学习算法参数，深度强化学习算法参数包括经验池大小、经验数量学习门限、探索概率、折扣因子、智能体的网络参数、目标网络更新频率、奖励值函数和迭代次数上限I_max；设定深度强化学习算法训练轮次上限为L；

S42，在深度强化学习算法中，获取轨位周边一定范围内的多颗卫星参数和用户需求参数，作为轨位的当前状态s₀；

S43，将第i次迭代得到的轨位状态s_i输入智能体，智能体计算得到该轨位的资源供给参数与用户需求参数之间的差异值，根据该差异值调整该用户需求参数的数值，作为智能体的本次动作a_i，调整公式为：

其中，x为用户需求参数的表示向量在某个需要修改的维度的值，Δx为该轨位的资源供给值与用户需求参数之间的差异值，

为调整幅度；

S44，智能体执行动作a_i，修改用户需求参数的表示向量在相应维度的数值，迭代次数增加1，即i＝i+1，并更新状态s_i为s_i+1，根据供需匹配程度，计算相应的奖励，第i次迭代的奖励值r_i的计算过程为：

其中，x_g为资源供给参数的向量在某维度的值，x为需求参数向量对应维度的值，f₀,f₁,f₂,f₃为归一化加权函数；第i次迭代得到的经验数据为{s_i,a_i,r_i,s_i+1}，将此经验数据存入经验池中，当经验池中经验数据的数量达到经验数量学习门限时，从经验池中抽取一定数量的经验数据，对深度Q网络进行训练并更新；

S45，计算深度Q网络与目标Q网络二者计算结果的误差，并将该误差通过Adam算法反向传播，每隔固定迭代次数F_step，用深度Q网络参数ω更新目标Q网络参数

使得

目标Q网络用于计算智能体动作的价值是否准确,深度Q网络用于计算智能体动作的价值；目标Q网络通过人工神经网络来实现；

S46，轨位实现供需匹配的条件为：

其中X用户需求参数的表示向量，X_g为资源供给参数的向量，C_min,A_rmin,T_min分别为用户最小的通信容量、覆盖范围和干扰门限需求，当该轨位实现供需匹配或者迭代次数i达到设定迭代次数上限I_max时，判定轨位的当前状态达到最终状态，转至步骤S47；反之，判定轨位的当前状态没有达到最终状态，转至步骤S43；

S47，判断训练轮次是否达到上限L，如果是，则结束深度强化学习算法，输出用户需求参数的当前取值，作为调整后的用户需求，否则，训练轮次增加1，转入步骤S42开始新一轮训练；

S5，判断该轨位提供的频轨资源能否满足调整后的用户需求，如果能够满足，则存储该供需数据并转入步骤S6，如果不能满足，则直接执行步骤S6；

S6，判断是否存在未分析轨位，如果存在，则转入步骤S1，如果不存在，则认为地球同步轨道卫星的当前轨位资源无法满足用户需求，结束该方法。

本发明的有益效果包括：

1、本发明从发射功率P_t和接收功率P_r、波束数量B、各波束覆盖区域Area、上行链路通信频率F_u、下行链路通信频率F_d多个维度对卫星通信频轨资源进行挖掘，完成多轨位、多星、多频率、大数据环境下的卫星通信频轨资源的深度挖掘，具有资源挖掘维度多、挖掘充分、挖掘准确的优点；

2、本发明采用深度强化学习算法进行供需匹配优化映射，能够快速实现轨位资源和用户需求的最优匹配，支持多轨位、多星、多频率、大数据环境下频轨资源挖掘，算法计算速度快、占用算力少。

附图说明

图1为本发明中基于深度强化学习的卫星通信频轨资源挖掘方法流程图。

具体实施方式

下面给出了本发明的一个实施例，对其进行详细描述。

图1为本发明中基于深度强化学习的卫星通信频轨资源挖掘方法流程图。如图1所示，本发明公开了一种基于深度强化学习的卫星通信频轨资源挖掘方法，其具体步骤包括：

S1，设定地球同步轨道卫星的轨位总数为N，将各个轨位编号，按照编号顺序依次选择单个轨位进行后续步骤；

S2，获取该轨位周边一定范围内的多颗卫星的参数，包括卫星j的轨位n^j、发射功率P_t ^j和接收功率P_r ^j、波束数量B^j、各波束覆盖区域Area^j、上行链路通信频率F_u ^j、下行链路通信频率F_d ^j，同时获取用户的初始需求，包括波束覆盖范围Ar、卫星通信容量C和频率干扰门限T，并从用户的初始需求中提取用户需求参数，用户需求参数包括卫星发射功率P_t和接收功率P_r、波束数量B、各波束覆盖区域Area、上行链路通信频率F_u、下行链路通信频率F_d；

S3，根据获取的轨位周边一定范围内的多颗卫星的参数以及用户需求参数，判断该轨位的资源供给参数能否满足用户的需求；如果能够满足用户的需求，则存储该轨位的供需数据，包括轨位编号和所有用户需求参数，并执行步骤S6，如果不满足用户的需求，则执行步骤S4；轨位的资源供给参数包括轨位所允许的卫星发射功率P_t和接收功率P_r、波束数量B、各波束覆盖区域Area、上行链路通信频率F_u、下行链路通信频率F_d；供需数据包括轨位的资源供给参数和用户需求参数；

S4，使用深度强化学习算法调整用户需求，得到调整后的用户需求；设定卫星轨位和轨位周边一定范围内的多颗卫星的频轨参数与用户需求为环境，将轨位和用户的供需匹配优化过程建模为智能体与环境的交互过程，并通过对深度Q网络进行训练与学习，以达到轨位和用户的频轨资源供需最优匹配；深度Q网络通过人工神经网络来实现；

所述的步骤S4，其具体包括：

S41，初始化深度强化学习算法参数，深度强化学习算法参数包括经验池大小、经验数量学习门限、探索概率、折扣因子、智能体的网络参数、目标网络更新频率、奖励值函数和迭代次数上限I_max；设定深度强化学习算法训练轮次上限为L；

S42，在深度强化学习算法中，获取轨位周边一定范围内的多颗卫星参数和用户需求参数，作为轨位的当前状态s₀；

S43，将第i次迭代得到的轨位状态s_i输入智能体，智能体计算得到该轨位的资源供给参数与用户需求参数之间的差异值，根据该差异值调整该用户需求参数的数值，作为智能体的本次动作a_i，调整公式为：

其中，x为用户需求参数的表示向量在某个需要修改的维度的值，需要修改的维度为发射功率时，则x为P_t，需要修改的维度为上行链路时，则x为F_u，Δx为该轨位的资源供给值与用户需求参数之间的差异值，

为调整幅度，可以设定为固定值；

S44，智能体执行动作a_i，修改用户需求参数的表示向量在相应维度的数值，迭代次数增加1，即i＝i+1，并更新状态s_i为s_i+1，根据供需匹配程度，计算相应的奖励，第i次迭代的奖励值r_i的计算过程为：

其中，x_g为资源供给参数的向量在某维度的值，x为需求参数向量对应维度的值，f₀,f₁,f₂,f₃为归一化加权函数；第i次迭代得到的经验数据为{s_i,a_i,r_i,s_i+1}，将此经验数据存入经验池中，当经验池中经验数据的数量达到经验数量学习门限时，从经验池中抽取一定数量的经验数据，对深度Q网络进行训练并更新；

S45，计算深度Q网络与目标Q网络二者计算结果的误差，并将该误差通过Adam算法反向传播，每隔固定迭代次数F_step，用深度Q网络参数ω更新目标Q网络参数

使得

目标Q网络用于计算智能体动作的价值是否准确,深度Q网络用于计算智能体动作的价值；目标Q网络通过人工神经网络来实现；

S46，轨位实现供需匹配的条件为：

其中X用户需求参数的表示向量，X_g为资源供给参数的向量，C_min,A_rmin,T_min分别为用户最小的通信容量、覆盖范围和干扰门限需求，当该轨位实现供需匹配或者迭代次数i达到设定迭代次数上限I_max时，判定轨位的当前状态达到最终状态，转至步骤S47；反之，判定轨位的当前状态没有达到最终状态，转至步骤S43；

S47，判断训练轮次是否达到上限L，如果是，则结束深度强化学习算法，输出用户需求参数的当前取值，作为调整后的用户需求，否则，训练轮次增加1，转入步骤S42开始新一轮训练；

S5，判断该轨位提供的频轨资源能否满足调整后的用户需求，如果能够满足，则存储该供需数据并转入步骤S6，如果不能满足，则直接执行步骤S6；

S6，判断是否存在未分析轨位，如果存在，则转入步骤S1，如果不存在，则认为地球同步轨道卫星的当前轨位资源无法满足用户需求，结束该方法。

以上结合附图详细说明了本发明，但是本领域的普通技术人员应当明白，说明书是用于解释权利要求的，本发明的保护范围以权利要求为准，在本发明的基础上，任何所做的修改、等同替换和改进等都应当在所要求的保护范围内。

Claims (2)

1.一种基于深度强化学习的卫星通信频轨资源挖掘方法，其特征在于，其具体步骤包括：

S1，设定地球同步轨道卫星的轨位总数为N，将各个轨位编号，按照编号顺序依次选择单个轨位进行后续步骤；

S2，获取该轨位周边一定范围内的多颗卫星的参数，包括卫星j的轨位n^j、发射功率P_t ^j和接收功率P_r ^j、波束数量B^j、各波束覆盖区域Area^j、上行链路通信频率F_u ^j、下行链路通信频率F_d ^j，同时获取用户的初始需求，包括波束覆盖范围Ar、卫星通信容量C和频率干扰门限T，并从用户的初始需求中提取用户需求参数，用户需求参数包括卫星发射功率P_t和接收功率P_r、波束数量B、各波束覆盖区域Area、上行链路通信频率F_u、下行链路通信频率F_d；

S3，根据获取的轨位周边一定范围内的多颗卫星的参数以及用户需求参数，判断该轨位的资源供给参数能否满足用户的需求；如果能够满足用户的需求，则存储该轨位的供需数据，包括轨位编号和所有用户需求参数，并执行步骤S6，如果不满足用户的需求，则执行步骤S4；轨位的资源供给参数包括轨位所允许的卫星发射功率P_t和接收功率P_r、波束数量B、各波束覆盖区域Area、上行链路通信频率F_u、下行链路通信频率F_d；供需数据包括轨位的资源供给参数和用户需求参数；

S4，使用深度强化学习算法调整用户需求，得到调整后的用户需求；设定卫星轨位和轨位周边一定范围内的多颗卫星的频轨参数与用户需求为环境，将轨位和用户的供需匹配优化过程建模为智能体与环境的交互过程，并通过对深度Q网络进行训练与学习，以达到轨位和用户的频轨资源供需最优匹配；深度Q网络通过人工神经网络来实现；

S5，判断该轨位提供的频轨资源能否满足调整后的用户需求，如果能够满足，则存储该供需数据并转入步骤S6，如果不能满足，则直接执行步骤S6；

S6，判断是否存在未分析轨位，如果存在未分析轨位，则转入步骤S1，如果不存在未分析轨位，则认为地球同步轨道卫星的当前轨位资源无法满足用户需求，结束该方法。

2.如权利要求1所述的基于深度强化学习的卫星通信频轨资源挖掘方法，其特征在于，

所述的步骤S4，其具体包括：

S41，初始化深度强化学习算法参数，深度强化学习算法参数包括经验池大小、经验数量学习门限、探索概率、折扣因子、智能体的网络参数、目标网络更新频率、奖励值函数和迭代次数上限I_max；设定深度强化学习算法训练轮次上限为L；

S42，在深度强化学习算法中，获取轨位周边一定范围内的多颗卫星参数和用户需求参数，作为轨位的当前状态s₀；

S43，将第i次迭代得到的轨位状态s_i输入智能体，智能体计算得到该轨位的资源供给参数与用户需求参数之间的差异值，根据该差异值调整该用户需求参数的数值，作为智能体的本次动作a_i，调整公式为：

其中，x为用户需求参数的表示向量在某个需要修改的维度的值，Δx为该轨位的资源供给值与用户需求参数之间的差异值，

为调整幅度；

S44，智能体执行动作a_i，修改用户需求参数的表示向量在相应维度的数值，迭代次数增加1，即i＝i+1，并更新状态s_i为s_i+1，根据供需匹配程度，计算相应的奖励，第i次迭代的奖励值r_i的计算过程为：

其中，x_g为资源供给参数的向量在某维度的值，x为需求参数向量对应维度的值，f₀,f₁,f₂,f₃为归一化加权函数；第i次迭代得到的经验数据为{s_i,a_i,r_i,s_i+1}，将此经验数据存入经验池中，当经验池中经验数据的数量达到经验数量学习门限时，从经验池中抽取一定数量的经验数据，对深度Q网络进行训练并更新；

S45，计算深度Q网络与目标Q网络二者计算结果的误差，并将该误差通过Adam算法反向传播，每隔固定迭代次数F_step，用深度Q网络参数ω更新目标Q网络参数

使得

目标Q网络用于计算智能体动作的价值是否准确,深度Q网络用于计算智能体动作的价值；目标Q网络通过人工神经网络来实现；

S46，轨位实现供需匹配的条件为：

其中X为用户需求参数的表示向量，X_g为资源供给参数的向量，C_min,Ar_min,T_min分别为用户最小的通信容量、用户最小的覆盖范围和用户最小的干扰门限需求，当该轨位实现供需匹配或者迭代次数i达到设定迭代次数上限I_max时，判定轨位的当前状态达到最终状态，转至步骤S47；反之，判定轨位的当前状态没有达到最终状态，转至步骤S43；

S47，判断训练轮次是否达到上限L，如果是，则结束深度强化学习算法，输出用户需求参数的当前取值，作为调整后的用户需求，否则，训练轮次增加1，转入步骤S42开始新一轮训练。

Images