CN113541770A - 一种多波束卫星通信系统空时频精细化资源管理方法 - Google Patents

Abstract

本发明公开了一种多波束卫星通信系统空时频精细化资源管理方法，其步骤包括：建立空时频三维多颗粒度卫星通信资源池；根据卫星用户终端的不同类型，设定多种信息速率档位；根据用户终端需求和资源池中的卫星通信资源使用情况，建立多目标优化模型；信关站使用深度强化学习算法得到分配结果，对卫星通信资源进行调整和分配，并更新资源池。本发明实现了资源受限下的多波束卫星通信系统用户容量、吞吐量和用户服务质量的综合优化，具有资源利用率和管理精细化程度高的优点；通过构建多目标优化模型进行资源分配，能够实现分配结果的综合最优；采用深度强化学习算法进行资源管理，算法计算速度快、占用算力少。

Description

一种多波束卫星通信系统空时频精细化资源管理方法

技术领域

本发明涉及卫星通信技术领域，尤其涉及一种多波束卫星通信系统空时频精细化资源管理方法。

背景技术

与地面通信系统相比，卫星通信系统具有覆盖范围广和不受地形条件限制的显著优势，在服务空中、海上、沙漠、山地和偏远、无人区域用户方面以及应对地震、洪水等自然灾害导致的地面通信基础设施损坏方面，发挥着不可替代的作用。多波束卫星通信系统采用星载大口径的多波束天线来提高对用户发送信号的接收能力，从而减小卫星用户终端的发射天线口径，增强卫星用户终端的移动性。然而，在实际应用中，多波束卫星通信系统的用户容量、通信性能、服务质量等还是受到了多方面的限制，具体体现为，一是受限于卫星平台承载能力和有限的频率资源，多波束卫星通信系统的用户容量仍然有限；二是随着卫星通信技术的发展，人们对通信服务质量的要求越来越高，要求卫星通信系统能够满足不同类型用户终端的不同业务的业务传输需求，并且达到尽可能高的用户满意度；三是面向大用户容量的多业务类型通信需求和过多用户请求时，要求卫星通信系统能够自适应提供用户业务服务决策，并能自适应地调整为用户分配的信息速率以适配整个系统的信息速率，保证多波束卫星通信系统的服务用户数量、吞吐量和用户满意度综合最优。因此，针对采用多波束覆盖的卫星通信系统，在有限的卫星平台承载能力、有限的频率资源等条件下，如何对通信资源进行精细化管理、提高资源利用率，实现尽可能高的系统用户容量、吞吐量和用户满意度，成为了使多波束卫星通信系统可用、管用、好用的亟待解决问题。

在中国专利CN103796319中，提出了一种多波束卫星移动通信的下行链路频率复用方法，通过预编码干扰消除技术，提高了通信系统的频率利用率；在中国专利CN102752255中，提出了一种适于卫星通信的多载波多址传输方法，上下行链路均支持正交频分复用OFDM传输，能够实现多种多址模式的灵活切换，提高系统对资源的利用效率；在中国专利CN104320174中，提出了一种基于部分信道信息的卫星多波束协作传输方法，实现了波束间的干扰抑制和频谱资源复用。上述专利中公开的技术能够一定程度上提高卫星通信系统的资源利用率，但是仅针对频率、空间等单维度的复用技术展开，未能从空时频等多个维度对卫星通信资源进行复用，难以实现资源的精细化分配，并且没有考虑在多波束卫星通信系统中波束间负载的均衡问题。

发明内容

针对多波束卫星通信系统资源受限情况下支持多型用户和多业务通信传输的问题，本发明公开了一种多波束卫星通信系统空时频精细化资源管理方法，多波束卫星通信系统包括卫星、卫星用户终端、信关站，卫星采用星载多波束天线实现对地面的多波束覆盖，信关站采用深度学习算法对多波束卫星通信系统的频带资源进行精细化分配，其具体步骤包括：

S1，设定卫星可形成的波束总数量为B，卫星可使用的总带宽为W_total,卫星通过七色复用方法在空间域上对卫星的频带资源在所有波束间进行复用，即将所有波束分为7组，第j组波束组的波束集合为B_j,j＝1,2,…7，同个波束组中的所有波束使用相同频带；初始状态下，各波束分配的带宽相等，均为W₀；

S2，设定多波束卫星通信系统采用MF-TDMA通信体制为卫星用户终端提供通信服务；卫星的各波束对其所分配的带宽，在频域划分为大小两种带宽的多个载波，其中，大带宽载波的带宽为W_b，小带宽载波的带宽为W_l，各载波间设置大小为W_g的固定保护带宽；各载波在时域上利用超帧传输卫星用户终端的业务数据，每个超帧共有t个时隙，每个时隙长度为τ，时隙保护间隔大小为δ；

S3，信关站从空、时、频三个维度建立多颗粒度卫星通信系统资源池，资源池包括空域资源池、频域资源池和时域资源池，其中空域资源池记录和管理卫星的七色复用方法中各波束组内波束的带宽分配信息，频域资源部分记录和管理卫星所有波束内载波的使用情况，时域资源部分记录和管理超帧中各时隙的使用情况；

S4，卫星用户终端分为小型用户终端和大型用户终端两类，小型用户终端由于其发射功率限制，无法使用卫星波束中的大带宽载波传输业务数据，大型用户终端无上述限制；

S5，设定卫星用户终端共支持Q类业务，每类业务各有p种信息速率，信息速率档位共有M种，M＝p·Q，第m档位的信息传输速率值表示为R_m,m＝1,2,…,M，卫星用户终端根据需要传输的业务种类和其终端传输能力，从M档信息传输速率中选择其要申请的信息传输速率，并向信关站发送业务传输请求，业务传输请求表示为：

U_req＝{R_m,u,Type_u|m＝1,2,…,M,u＝1,2,…,U,Type＝0,1}，

其中R_m,u表示第u个卫星用户终端申请的第m档位的信息传输速率，Type_u表示第u个卫星用户终端的类型，Type_u为0表示卫星用户终端为小型终端，Type_u为1表示卫星用户终端为大型终端，U为一个波束内的请求服务的卫星用户终端数量；

S6，信关站接收到来自卫星用户终端的业务传输请求后，根据卫星用户终端需求和资源池中的卫星通信资源使用情况，以多波束卫星通信系统的服务用户数量、吞吐量和用户满意度最大化为目标，建立多目标优化模型；

步骤S6所述的建立多目标优化模型，多目标优化模型的表达式具体为：

其中，N为多波束卫星通信系统服务用户数量，T为多波束卫星通信系统吞吐量，S为多波束卫星通信系统用户满意度，B为卫星可形成的波束总数量，U为一个波束内的请求服务的卫星用户终端数量，b为波束序号，u为卫星用户终端的序号，x_b,u表示给第b个波束的第u个卫星用户终端分配的大带宽载波资源块，y_b,u表示给第b个波束的第u个卫星用户终端分配的小带宽载波资源块，sign()为符号函数，v₁为大带宽载波资源块所能提供的吞吐量，v₂为小带宽载波资源块所能提供的吞吐量，R_b,u为第b个波束的第u个卫星用户终端的所申请的信息传输速率，R^min表示卫星用户终端的最小档位的信息传输速率，Type_b,u表示第b个波束的第u个卫星用户终端的类型；对于约束条件，C1至C4分别表示第1至第4个约束条件，在约束条件C1中，

表示上取整，A_j表示第j个波束组所占用的总带宽，约束条件C1表示所有的波束组占用带宽和不超过卫星可使用的总带宽，约束条件C2表示给某个卫星用户终端分配的信息传输速率不能低于其最低档位的信息传输速率，同时不能超过该卫星用户终端申请的信息传输速率；约束条件C3表示小型卫星用户终端无法使用卫星波束中的大带宽载波传输业务数据；约束条件C4表示一个用户终端分配的资源块数量不能超过一个超帧的时隙数量；将多波束卫星通信系统向用户终端分配的通信资源称为资源块，大带宽载波的通信资源所对应的资源块称为大带宽载波资源块，小带宽载波的通信资源所对应的资源块称为小带宽载波资源块；

根据N、T和S三个目标的重要性程度，建立加权多目标优化模型g₀(Λ)，其表达式为：

其中，N、T和S三个目标函数的权重值分别为ω₁、ω₂、ω₃；

S7，信关站基于多目标优化模型，使用深度强化学习算法，对深度Q网络进行训练和学习；

假设信关站为智能体，假设卫星资源和卫星用户终端需求为环境，将多波束卫星通信系统的资源分配问题建模为智能体与环境的交互过程，并通过对深度Q网络训练和学习，以达到资源分配结果的累积收益最大化，该过程具体包括：

S71，初始化深度强化学习算法参数，深度强化学习算法参数包括经验池大小、经验数量学习门限、探索概率、折扣因子、智能体的网络参数、目标网络更新频率、奖励值函数；设定算法训练轮次上限为L，当前轮次数loop＝0；

S72，令当前轮次数loop＝loop+1，深度强化学习算法从信关站存储的多波束卫星通信系统资源分配历史数据中，读取包括卫星可形成的波束总数量、卫星波束复用信息、卫星可使用总带宽、卫星用户终端数量、卫星用户终端的业务请求信息的集合在内的一组数据，作为当前轮次的初始环境状态s₀，设定i为环境状态的序号，令i的初始值为0；

S73，假设第i个轮次的环境状态为s_i，智能体根据环境状态和算法参数选择第i个轮次的资源分配动作a_i并执行，其中资源分配动作包括分配资源和拒绝服务两类，根据第i个轮次的资源分配动作和设定的奖励值函数获取第i+1个轮次的奖励r_i+1，更新执行a_i后的环境状态为s_i+1，形成本次资源分配动作的经验数据为{s_i,a_i,r_i+1,s_i+1}，将此经验数据存入经验池中，同时，令i＝i+1；当经验数据的数量达到训练门限时，从经验池中抽取一定数量的经验数据对深度Q网络进行训练更新；

S74，在对深度Q网络训练时，需要对其误差函数进行计算，并将误差通过梯度下降法反向传播，每隔固定步数F，用深度Q网络参数ω更新目标Q网络参数

使得

S75，当可用卫星资源为空，或完成所有卫星用户终端需求的资源分配时，判断当前环境状态达到最终状态，转至步骤S76；反之，判断当前环境状态没有达到最终状态，转至步骤S73；

S76，判断当前轮次数loop是否大于轮次上限L，若当前轮次数loop大于轮次上限L，，则完成深度Q网络的训练和学习，否则转至步骤S72开始下一轮次的训练。

S8，根据步骤S7对深度Q网络的最终的训练结果，信关站将多波束卫星通信系统状态输入深度Q网络，对加权多目标优化模型的输入变量进行寻优，得到七色复用方法中各色波束带宽调整结果，各波束中大、小载波的分配结果和各超帧中时隙的分配结果，实现卫星通信资源的动态调整和分配并更新资源池，从而完成了多波束卫星通信系统空时频资源的精细化管理。

本发明的有益效果包括：

1、本发明通过建立空时频三维多颗粒度卫星通信资源池，从三个维度对多波束卫星通信系统进行资源管理，支持波束间的负载均衡、波束内载波动态划分、时隙的动态分配，资源利用率和管理精细化程度高；

2、本发明充分考虑卫星通信系统的多方面需求，以最大化服务用户数量、系统吞吐量和用户满意度为目标，构建多目标优化模型，能够实现综合效益最优的卫星通信资源分配结果；

3、本发明采用深度强化学习算法进行资源分配，能够快速响应不同用户请求，支持对多波束卫星通信系统资源的动态管理，算法计算速度快、占用算力少。

附图说明

图1为本发明中空时频精细化资源管理方法实现流程图。

具体实施方式

下面给出了本发明的一个实施例，对其进行详细描述。

图1为本发明中空时频精细化资源管理方法实现流程图。如图1所示，本发明公开了一种多波束卫星通信系统空时频精细化资源管理方法，多波束卫星通信系统包括卫星、卫星用户终端、信关站，卫星采用星载多波束天线实现对地面的多波束覆盖，信关站采用深度学习算法对多波束卫星通信系统的频带资源进行精细化分配，其具体步骤包括：

S1，设定卫星可形成的波束总数量为B，卫星可使用的总带宽为W_total,卫星通过七色复用方法在空间域上对卫星的频带资源在所有波束间进行复用，即将所有波束分为7组，第j组波束组的波束集合为B_j,j＝1,2,…7，同个波束组中的所有波束使用相同频带；初始状态下，各波束分配的带宽相等，均为W₀；

S2，设定多波束卫星通信系统采用MF-TDMA通信体制为卫星用户终端提供通信服务；卫星的各波束对其所分配的带宽，在频域划分为大小两种带宽的多个载波，其中，大带宽载波的带宽为W_b，小带宽载波的带宽为W_l，各载波间设置大小为W_g的固定保护带宽；各载波在时域上利用超帧传输卫星用户终端的业务数据，每个超帧共有t个时隙，每个时隙长度为τ，时隙保护间隔大小为δ；

S3，信关站从空、时、频三个维度建立多颗粒度卫星通信系统资源池，资源池包括空域资源池、频域资源池和时域资源池，其中空域资源池记录和管理卫星的七色复用方法中各波束组内波束的带宽分配信息，频域资源部分记录和管理卫星所有波束内载波的使用情况，时域资源部分记录和管理超帧中各时隙的使用情况；

S4，卫星用户终端分为小型用户终端和大型用户终端两类，小型用户终端由于其发射功率限制，无法使用卫星波束中的大带宽载波传输业务数据，大型用户终端无上述限制；

S5，设定卫星用户终端共支持Q类业务，每类业务各有p种信息速率，信息速率档位共有M种，M＝p·Q，第m档位的信息传输速率值表示为R_m,m＝1,2,…,M，卫星用户终端根据需要传输的业务种类和其终端传输能力，从M档信息传输速率中选择其要申请的信息传输速率，并向信关站发送业务传输请求，业务传输请求表示为：

U_req＝{R_m,u,Type_u|m＝1,2,…,M,u＝1,2,…,U,Type＝0,1}，

其中R_m,u表示第u个卫星用户终端申请的第m档位的信息传输速率，Type_u表示第u个卫星用户终端的类型，Type_u为0表示卫星用户终端为小型终端，Type_u为1表示卫星用户终端为大型终端，U为一个波束内的请求服务的卫星用户终端数量；

S6，信关站接收到来自卫星用户终端的业务传输请求后，根据卫星用户终端需求和资源池中的卫星通信资源使用情况，以多波束卫星通信系统的服务用户数量、吞吐量和用户满意度最大化为目标，建立多目标优化模型；

步骤S6所述的建立多目标优化模型，多目标优化模型的表达式具体为：

其中，N为多波束卫星通信系统服务用户数量，T为多波束卫星通信系统吞吐量，S为多波束卫星通信系统用户满意度，B为卫星可形成的波束总数量，U为一个波束内的请求服务的卫星用户终端数量，b为波束序号，u为卫星用户终端的序号，x_b,u表示给第b个波束的第u个卫星用户终端分配的大带宽载波资源块，y_b,u表示给第b个波束的第u个卫星用户终端分配的小带宽载波资源块，sign()为符号函数，v₁为大带宽载波资源块所能提供的吞吐量，v₂为小带宽载波资源块所能提供的吞吐量，R_b,u为第b个波束的第u个卫星用户终端的所申请的信息传输速率，R^min表示卫星用户终端的最小档位的信息传输速率，Type_b,u表示第b个波束的第u个卫星用户终端的类型；对于约束条件，C1至C4分别表示第1至第4个约束条件，在约束条件C1中，

表示上取整，A_j表示第j个波束组所占用的总带宽，约束条件C1表示所有的波束组占用带宽和不超过卫星可使用的总带宽，约束条件C2表示给某个卫星用户终端分配的信息传输速率不能低于其最低档位的信息传输速率，同时不能超过该卫星用户终端申请的信息传输速率；约束条件C3表示小型卫星用户终端无法使用卫星波束中的大带宽载波传输业务数据；约束条件C4表示一个用户终端分配的资源块数量不能超过一个超帧的时隙数量；将多波束卫星通信系统向用户终端分配的通信资源称为资源块，大带宽载波的通信资源所对应的资源块称为大带宽载波资源块，小带宽载波的通信资源所对应的资源块称为小带宽载波资源块；

多波束卫星通信系统通过规划波束中各载波的时隙分配实现通信资源的分配，而载波中的每个时隙均占用载波宽度大小的频带资源，因此将多波束卫星通信系统向用户终端分配的通信资源称为时频资源块，由于载波分为大、小载波两种类型，对应的时频资源块也包括大带宽和小带宽两种资源块；

根据N、T和S三个目标的重要性程度，建立加权多目标优化模型g₀(Λ)，其表达式为：

其中，N、T和S三个目标函数的权重值分别为ω₁、ω₂、ω₃；

S7，信关站基于多目标优化模型，使用深度强化学习算法，对深度Q网络进行训练和学习；

假设信关站为智能体，假设卫星资源和卫星用户终端需求为环境，将多波束卫星通信系统的资源分配问题建模为智能体与环境的交互过程，并通过对深度Q网络训练和学习，以达到资源分配结果的累积收益最大化，该过程具体包括：

S71，初始化深度强化学习算法参数，深度强化学习算法参数包括经验池大小、经验数量学习门限、探索概率、折扣因子、智能体的网络参数、目标网络更新频率、奖励值函数；设定算法训练轮次上限为L，当前轮次数loop＝0；

S72，令当前轮次数loop＝loop+1，深度强化学习算法从信关站存储的多波束卫星通信系统资源分配历史数据中，读取包括卫星可形成的波束总数量、卫星波束复用信息、卫星可使用总带宽、卫星用户终端数量、卫星用户终端的业务请求信息的集合在内的一组数据，作为当前轮次的初始环境状态s₀，设定i为环境状态的序号，令i的初始值为0；

S73，假设第i个轮次的环境状态为s_i，智能体根据环境状态和算法参数选择第i个轮次的资源分配动作a_i并执行，其中资源分配动作包括分配资源和拒绝服务两类，根据第i个轮次的资源分配动作和设定的奖励值函数获取第i+1个轮次的奖励r_i+1，更新执行a_i后的环境状态为s_i+1，形成本次资源分配动作的经验数据为{s_i,a_i,r_i+1,s_i+1}，将此经验数据存入经验池中，同时，令i＝i+1；当经验数据的数量达到训练门限时，从经验池中抽取一定数量的经验数据对深度Q网络进行训练更新；

S74，在对深度Q网络训练时，需要对其误差函数进行计算，并将误差通过梯度下降法反向传播，每隔固定步数F，用深度Q网络参数ω更新目标Q网络参数

使得

S75，当可用卫星资源为空，或完成所有卫星用户终端需求的资源分配时，判断当前环境状态达到最终状态，转至步骤S76；反之，判断当前环境状态没有达到最终状态，转至步骤S73；

S76，判断当前轮次数loop是否大于轮次上限L，若满足，则完成深度Q网络的训练和学习，否则转至步骤S72开始下一轮次的训练。

S8，根据步骤S7对深度Q网络的最终的训练结果，信关站将多波束卫星通信系统状态输入深度Q网络，对加权多目标优化模型的输入变量进行寻优，得到七色复用方法中各色波束带宽调整结果，各波束中大、小载波的分配结果和各超帧中时隙的分配结果，实现卫星通信资源的动态调整和分配并更新资源池，从而完成了多波束卫星通信系统空时频资源的精细化管理。

以上结合附图详细说明了本发明，但是本领域的普通技术人员应当明白，说明书是用于解释权利要求的，本发明的保护范围以权利要求为准，在本发明的基础上，任何所做的修改、等同替换和改进等都应当在所要求的保护范围内。

Claims (3)

1.一种多波束卫星通信系统空时频精细化资源管理方法，其特征在于，多波束卫星通信系统包括卫星、卫星用户终端、信关站，卫星采用星载多波束天线实现对地面的多波束覆盖，信关站采用深度学习算法对多波束卫星通信系统的频带资源进行精细化分配，其具体步骤包括：

S1，设定卫星可形成的波束总数量为B，卫星可使用的总带宽为W_total,卫星通过七色复用方法在空间域上对卫星的频带资源在所有波束间进行复用，即将所有波束分为7组，第j组波束组的波束集合为B_j,j＝1,2,…7，同个波束组中的所有波束使用相同频带；初始状态下，各波束分配的带宽相等，均为W₀；

S2，设定多波束卫星通信系统采用MF-TDMA通信体制为卫星用户终端提供通信服务；卫星的各波束对其所分配的带宽，在频域划分为大小两种带宽的多个载波，其中，大带宽载波的带宽为W_b，小带宽载波的带宽为W_l，各载波间设置大小为W_g的固定保护带宽；各载波在时域上利用超帧传输卫星用户终端的业务数据，每个超帧共有t个时隙，每个时隙长度为τ，时隙保护间隔大小为δ；

S3，信关站从空、时、频三个维度建立多颗粒度卫星通信系统资源池，资源池包括空域资源池、频域资源池和时域资源池，其中空域资源池记录和管理卫星的七色复用方法中各波束组内波束的带宽分配信息，频域资源部分记录和管理卫星所有波束内载波的使用情况，时域资源部分记录和管理超帧中各时隙的使用情况；

S4，卫星用户终端分为小型用户终端和大型用户终端两类，小型用户终端由于其发射功率限制，无法使用卫星波束中的大带宽载波传输业务数据，大型用户终端无上述限制；

S5，设定卫星用户终端共支持Q类业务，每类业务各有p种信息速率，信息速率档位共有M种，M＝p·Q，第m档位的信息传输速率值表示为R_m,m＝1,2,…,M，卫星用户终端根据需要传输的业务种类和其终端传输能力，从M档信息传输速率中选择其要申请的信息传输速率，并向信关站发送业务传输请求，业务传输请求表示为：

U_req＝{R_m,u,Type_u|m＝1,2,…,M,u＝1,2,…,U,Type＝0,1}，

其中R_m,u表示第u个卫星用户终端申请的第m档位的信息传输速率，Type_u表示第u个卫星用户终端的类型，Type_u为0表示卫星用户终端为小型终端，Type_u为1表示卫星用户终端为大型终端，U为一个波束内的请求服务的卫星用户终端数量；

S6，信关站接收到来自卫星用户终端的业务传输请求后，根据卫星用户终端需求和资源池中的卫星通信资源使用情况，以多波束卫星通信系统的服务用户数量、吞吐量和用户满意度最大化为目标，建立多目标优化模型；

S7，信关站基于多目标优化模型，使用深度强化学习算法，对深度Q网络进行训练和学习；

S8，根据步骤S7对深度Q网络的最终的训练结果，信关站将多波束卫星通信系统状态输入深度Q网络，对加权多目标优化模型的输入变量进行寻优，得到七色复用方法中各色波束带宽调整结果，各波束中大、小载波的分配结果和各超帧中时隙的分配结果，实现卫星通信资源的动态调整和分配并更新资源池，从而完成了多波束卫星通信系统空时频资源的精细化管理。

2.如权利要求1所述的多波束卫星通信系统空时频精细化资源管理方法，其特征在于，

步骤S6所述的建立多目标优化模型，多目标优化模型的表达式具体为：

其中，N为多波束卫星通信系统服务用户数量，T为多波束卫星通信系统吞吐量，S为多波束卫星通信系统用户满意度，B为卫星可形成的波束总数量，U为一个波束内的请求服务的卫星用户终端数量，b为波束序号，u为卫星用户终端的序号，x_b,u表示给第b个波束的第u个卫星用户终端分配的大带宽载波资源块，y_b,u表示给第b个波束的第u个卫星用户终端分配的小带宽载波资源块，sign()为符号函数，v₁为大带宽载波资源块所能提供的吞吐量，v₂为小带宽载波资源块所能提供的吞吐量，R_b,u为第b个波束的第u个卫星用户终端的所申请的信息传输速率，R^min表示卫星用户终端的最小档位的信息传输速率，Type_b,u表示第b个波束的第u个卫星用户终端的类型；对于约束条件，C1至C4分别表示第1至第4个约束条件，在约束条件C1中，

表示上取整，A_j表示第j个波束组所占用的总带宽，约束条件C1表示所有的波束组占用带宽和不超过卫星可使用的总带宽，约束条件C2表示给某个卫星用户终端分配的信息传输速率不能低于其最低档位的信息传输速率，同时不能超过该卫星用户终端申请的信息传输速率；约束条件C3表示小型卫星用户终端无法使用卫星波束中的大带宽载波传输业务数据；约束条件C4表示一个用户终端分配的资源块数量不能超过一个超帧的时隙数量；将多波束卫星通信系统向用户终端分配的通信资源称为资源块，大带宽载波的通信资源所对应的资源块称为大带宽载波资源块，小带宽载波的通信资源所对应的资源块称为小带宽载波资源块；

根据N、T和S三个目标的重要性程度，建立加权多目标优化模型g₀(Λ)，其表达式为：

其中，N、T和S三个目标函数的权重值分别为ω₁、ω₂、ω₃。

3.如权利要求1所述的多波束卫星通信系统空时频精细化资源管理方法，其特征在于，所述的步骤S7，假设信关站为智能体，假设卫星资源和卫星用户终端需求为环境，将多波束卫星通信系统的资源分配问题建模为智能体与环境的交互过程，并通过对深度Q网络训练和学习，以达到资源分配结果的累积收益最大化，该过程具体包括：

S71，初始化深度强化学习算法参数，深度强化学习算法参数包括经验池大小、经验数量学习门限、探索概率、折扣因子、智能体的网络参数、目标网络更新频率、奖励值函数；设定算法训练轮次上限为L，当前轮次数loop＝0；

S72，令当前轮次数loop＝loop+1，深度强化学习算法从信关站存储的多波束卫星通信系统资源分配历史数据中，读取包括卫星可形成的波束总数量、卫星波束复用信息、卫星可使用总带宽、卫星用户终端数量、卫星用户终端的业务请求信息的集合在内的一组数据，作为当前轮次的初始环境状态s₀，设定i为环境状态的序号，令i的初始值为0；

S73，假设第i个轮次的环境状态为s_i，智能体根据环境状态和算法参数选择第i个轮次的资源分配动作a_i并执行，其中资源分配动作包括分配资源和拒绝服务两类，根据第i个轮次的资源分配动作和设定的奖励值函数获取第i+1个轮次的奖励r_i+1，更新执行a_i后的环境状态为s_i+1，形成本次资源分配动作的经验数据为{s_i,a_i,r_i+1,s_i+1}，将此经验数据存入经验池中，同时，令i＝i+1；当经验数据的数量达到训练门限时，从经验池中抽取一定数量的经验数据对深度Q网络进行训练更新；

S74，在对深度Q网络训练时，需要对其误差函数进行计算，并将误差通过梯度下降法反向传播，每隔固定步数F，用深度Q网络参数ω更新目标Q网络参数

使得

S75，当可用卫星资源为空，或完成所有卫星用户终端需求的资源分配时，判断当前环境状态达到最终状态，转至步骤S76；反之，判断当前环境状态没有达到最终状态，转至步骤S73；

S76，判断当前轮次数loop是否大于轮次上限L，若当前轮次数loop大于轮次上限L，则完成深度Q网络的训练和学习，否则转至步骤S72开始下一轮次的训练。

Images