CN113644964A - 一种多波束卫星同频组网系统的多维资源联合分配方法 - Google Patents

Abstract

本发明是一种多波束卫星同频组网系统的多维资源联合分配方法，属于卫星通信技术领域。本发明先为多波束卫星同频组网系统中下行数据传输场景进行建模，对场景中卫星的频率资源进行全频复用，再针对用户级的资源分配进行用户的时隙、带宽和功率资源的联合分配，将分配过程建模为马尔科夫过程，将多波束卫星通信系统作为环境状态，输入近端策略优化PPO网络进行交互，利用PPO网络选择当前时隙要服务的用户并为用户分配带宽和功率资源。本发明方法通过在每一时隙内选择协调调度用户以及为用户合理分配频率和功率资源，实现在全频率复用的场景下也保持较小的用户间同频干扰，提升了同频复用场景下的数据传输速率，达到了最小化系统时延的目的。

Description

一种多波束卫星同频组网系统的多维资源联合分配方法

技术领域

本发明属于卫星通信技术领域，具体涉及一种多波束卫星同频组网系统的基于近端策略优化的多波束卫星时隙、带宽和功率资源的联合分配方法。

背景技术

卫星通信以其无缝覆盖、抗毁性强等特点，在海事、航空通信领域发挥着重要作用，同时也可有效解决地面网络无法覆盖到的边远地区用户的连接问题。随着地面互联网应用的快速发展，卫星通信需要由传统简单的电视广播业务转变为高速率宽带数据业务，以提供大规模用户连接。目前，卫星通信系统大多使用了多波束天线技术覆盖服务地区，具备先进多波束传输技术的高通量卫星通信系统能够通过波束间频率复用提高系统频率资源利用率。虽然这种方式可将波束间的同频干扰保持在可接受的水平，并在一定程度上提升了系统容量，但固定的频率复用方案一般将资源在波束或用户之间等分，由于卫星可用资源严重受限，各波束覆盖区域内业务量分布不均匀等特性，使得部分资源被浪费。因此，下一代卫星通信系统需要具备资源灵活动态分配能力，使有限的资源得到充分利用，进一步提升系统整体性能。

目前很多在多波束卫星资源分配方面的研究都是在波束域进行资源分配，每波束使用部分频率，无法充分利用系统总频率资源。而在用户维度的资源分配很少同时考虑到时域、频域和功率域的联合优化，即用户时隙调度和频率、功率资源的具体分配。作为卫星通信系统中的重要性能指标，通过研究有效的资源分配算法以降低系统时延，对下一代卫星通信技术的发展具有重要意义。

发明内容

为了使卫星通信系统的有限资源得到更充分利用，降低系统时延，提高系统整体性能，本发明针对多波束高轨道卫星(GEO)同频组网系统中的下行数据传输场景，提供了一种多波束卫星同频组网系统的多维资源联合分配方法，联合时隙、带宽和功率资源为用户进行资源分配，以实现在全频率复用的场景下也保持较小的用户间同频干扰，提升同频复用场景下的数据传输速率，达到最小化系统时延的目的。

本发明提供了一种多波束卫星同频组网系统的多维资源联合分配方法，实现对多波束GEO卫星同频组网系统下行数据传输场景中对用户的资源分配，达到对卫星资源的全频率复用，并使得用户间同频干扰更小。本发明方法包括如下步骤：

(1)首先，为多波束卫星同频组网系统下行数据传输场景进行建模，包括：

设多波束卫星同频组网系统中总波束数量为K，每波束中包含N个用户，将卫星系统总频率资源B_tot平均分成M_max个信道，每个信道占用的带宽B_c＝B_tot/M_max，设卫星在t时隙选择服务的用户集合为U_t，设用户u_k,n代表波束k内用户n，k∈[1,2,…K]，n∈[1,2,…N]，设为用户u_k,n分配的带宽B_k,n＝M×B_c，其中M＝0,1,2,...,M_max；设卫星系统总功率资源为P_tot，为用户分配的功率的大小分为两个级别，分别为P^high和P^low。

(2)将对用户级的时隙、带宽和功率资源的联合分配过程，建模为马尔科夫过程，将多波束卫星通信系统作为环境状态，输入近端策略优化PPO网络进行交互，PPO网络选择当前时隙要服务的用户并为用户分配带宽和功率资源，包括如下：

(2.1)获取当前多波束卫星同频组网系统的环境信息，得到当前t时隙的状态向量s_t＝{U_t,L_t,D_t,W_t,V_t}；其中，U_t为当前t时隙服务的用户集合，L_t为t时隙的用户位置的集合，D_t为t时隙的用户未处理的数据量大小集合，将U_t、L_t和D_t都表示为K×N的矩阵；U_t中第k行第n列的元素代表用户u_k,n在t时隙是否被服务，值为1代表被服务，值为0代表未被服务；L_t中第k行第n列的元素代表用户u_k,n的位置，取值为1代表用户u_k,n处在波束k的中心区域，取值为0代表用户u_k,n处在波束k的边缘区域；D_t中第k行第n列的元素记录用户u_k,n在t时隙剩余还未处理的数据量；W_t为卫星系统的带宽资源占用矩阵，V_t为卫星系统的功率资源占用矩阵；

(2.2)设计卫星系统在t时隙的动作表示为a_t＝{q_k,m,p_k,m},k＝1,2,...K,m＝1,2,...M；其中，q_k,m为波束k中子信道m选择服务的用户编号，若在t时隙子信道m空闲则q_k,m＝0；p_k,m取值为P^high或P^low，表示分配给波束k中信道m的功率等级；

(2.3)设计系统奖励值，如下：

在t时隙，若用户u_k,n存在未处理数据且在当前时隙未被调度，设置用户u_k,n对应的奖励值r_k,n为-5；若用户u_k,n存在未处理数据且在当前时隙被调度，设置用户u_k,n对应的奖励值r_k,n为用户的数据传输速率C_k,n；若用户u_k,n数据已被传输完成，设置用户u_k,n对应的奖励值r_k,n为0；

则在t时隙获得总奖励值

(2.4)将状态向量、动作、奖励和下一时隙的状态向量作为经验向量存储，当经验池中的经验向量条目达到预设值后，随机批量采样经验向量训练PPO网络，利用更新后的PPO网络进行下一次用户资源分配。

相对于现有技术，本发明的优点与积极效果在于：本发明方法通过在每一时隙内选择协调调度用户以及为用户合理分配频率和功率资源，实现在全频率复用的场景下也保持较小的用户间同频干扰，提升同频复用场景下的数据传输速率，最终达到最小化系统时延的目的；根据性能对比分析结果表明，采用本发明方法可有效降低卫星覆盖范围内用户请求数据下载时延，提高了卫星系统总体时延性能。

附图说明

图1是本发明实施例考虑的多波束GEO卫星同频组网系统的下行通信场景示意图；

图2是采用本发明方法进行通信的流程图；

图3是用户时隙调度过程的示意图；

图4是将本发明方法与现有方法在不同波束-用户数量下的系统时延的效果对比图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明考虑多波束GEO卫星同频组网系统中的下行数据传输场景。在多波束覆盖范围内，用户向卫星请求数据下载，所请求的数据来自地面信关站，但由于信关站到卫星的馈电链路一般容量较高，可假设为理想链路，所以在此只考虑卫星到用户链路的下行资源分配。如图1所示，在卫星多波束覆盖范围内，用户分布在不同的波束中，与卫星之间进行数据传输，其中不同用户向卫星请求的数据量大小不同，通过结合用户位置、数据量大小以及一些其他条件对各用户进行时隙、带宽和功率资源的灵活分配，以达到提升系统时延性能的目的。

在多波束卫星通信系统中，由于频率资源的受限，卫星多波束之间一般会进行频率复用，频率复用因子越小，系统可达的容量越大。对于全频率复用场景而言，每个波束可以使用卫星的总频率资源，系统可以达到的容量最大，但由此产生的同频干扰也最大，严重影响了用户接收到的信号质量。即同频组网系统受用户间同频干扰的影响很大，在动态选择调度用户和为用户分配频率、功率资源时，需要相互协调以降低干扰，由此资源分配的复杂度较高。而现有技术一般考虑卫星中波束级的资源分配，即为各波束分配资源，在考虑为用户分配带宽和功率资源时为了简化一般直接分配用户的通信速率，没有同时考虑到时隙、带宽和功率资源的具体分配。本发明在考虑系统全频率复用的情况下，同时也结合用户位置以及请求数据量大小等因素综合考虑每一时隙的用户调度选择以及分配给用户的功率等级，这样通过协调调度用户以及为用户合理地分配频率和功率资源，可以实现在全频率复用的场景下也保持较小的用户间同频干扰，提升同频复用场景下的数据传输速率，最终达到最小化系统时延的目的。

如图2所示，当各波束覆盖范围内的用户向卫星发起数据下载的业务请求时，卫星收集到用户的位置信息、请求数据量后，在每一时隙根据时延优化后的PPO(近端策略优化)网络做出资源分配决策，选择调度用户并为其分配具体的带宽和功率资源，在此资源条件下计算各用户接收到的有用信号功率和干扰功率，进而得到用户的数据传输速率，卫星则以此速率向用户传输数据。下一时隙PPO网络继续选择调度用户和分配资源后，计算此情况下用户新的数据速率，卫星以更新后的速率进行数据传输，如此循环，直到所有用户的数据传输完成。

由于实际GEO卫星通信系统中每波束覆盖范围下分布的用户数量众多，加之卫星星上资源的受限，无法同时服务所有用户，所以在每个时隙需要先结合环境条件考虑是否调度此用户，若调度某一用户后会对此时隙系统中的其他用户造成严重的干扰，影响系统总体性能，则在此时隙选择不调度此用户。

卫星在服务某一用户期间，由于用户本身请求的数据量大小不同以及所得到的资源大小不同，用户所需的数据传输时间也不同。在此时刻服务用户所占用的时隙内，卫星的频率和功率资源也被占用，直到用户数据传输完成，其释放的资源才可被重新分配给下一用户，具体调度示意如图3所示。

在对用户进行调度选择之后，需要为用户分配频率和功率资源。在频率资源方面，可以为用户分配1个或多个子信道，对于功率资源则可以为用户分配高功率级别或低功率级别，使得最终资源分配的结果可以保持用户间较小的同频干扰，尽可能地为每个用户提供较大的数据速率，以使卫星与用户之间数据传输的总体时延最小。

设多波束GEO卫星通信系统中总波束数量为K，每波束中包含N个用户。将卫星系统的总频率资源B_tot平均分成M_max个信道资源块，每个信道占用的带宽为B_c＝B_tot/M_max，信道集合记为ψ＝{m|m＝1,2,...,M_max}，系统为每个波束中的用户灵活分配频率资源，波束k内用户n得到的带宽为B_k,n＝M×B_c，其中M＝0,1,2,...,M_max；系统总功率资源为P_tot，分配给用户的功率大小分为两个级别，分别为P^high和P^low。卫星在t时隙选择服务的用户集合为U_t，其中，设u_k,n表示波束k内用户n，对用户u_k,n请求的数据进行传输所需花费的总时延包括用户排队时延、传输时延以及传播时延。

考虑各波束内用户随机均匀分布，g_k{n,k}为波束k内用户n在本波束内的信道增益，表示为：

g_k{n,k}＝PL+G_r+G_t (1)

其中，PL为路径损耗，G_t为卫星发射天线增益，G_r为用户终端接收天线增益。

用户接收到的信号中包括本波束发送的有用信号，同时还会收到噪声和其他波束中同频用户产生的干扰，最终用户u_k,n收到的信干噪比SINR_k,n表示为：

其中，p_k,n为分配给用户u_k,n的发射功率，其中p_k,n＝P^highorP^low，φ_k,n表示所有波束中与用户u_k,n同频的用户集合，p_i为分配给同频用户i的发射功率，g_k{n,b_i}为波束k中用户n在波束b_i下的信道增益，b_i代表同频用户i所属的波束，

为用户u_k,n接收到的总干扰大小，N₀为高斯白噪声功率。

在为用户u_k,n分配带宽B_k,n＝分配的子信道数量×B_c后，由香农公式可计算出用户u_k,n的可达信息传输速率C_k,n为：

C_k,n＝B_k,n×log₂(1+SINR_k,n) (3)

最终将卫星向用户u_k,n传输数据所花费的总时延T_k,n表示如下：

其中，t为当前系统运行时隙，ρ为单个时隙长度，ρ(t-1)表示t时刻调度用户u_k,n时已花费的排队时延，d_h为卫星高度，s为电磁波在真空中的传播速度，

为信号传播时延，D_k,n为用户请求的数据量大小。

用户级的时隙、带宽和功率资源联合分配涉及到的变量较多，再加上资源分配是一个具有时序相关性的过程，当前时隙的资源分配结果会影响到下一时隙的资源分配决策，一些传统算法难以解决此类问题。而在深度强化学习中较多变量会导致很大的状态空间和动作空间，网络训练具有一定难度，基于策略迭代的PPO算法在处理此类问题上具有一定优势。因此，本发明进行如下设计，再利用PPO网络来求解。

本发明方法中，卫星通信系统对波束内所有用户请求的数据进行传输，每一时隙选择此时刻要调度的用户，并为服务用户在系统总频率中选择分配合适的子信道及功率等级，直到处理完所有用户请求，使系统花费的总时延最小。本发明考虑到系统t时刻的用户资源分配决策受t-1时刻用户资源分配情况的影响，将具有时间相关性的连续资源分配过程建模为马尔科夫过程(S,A,R)，利用深度强化学习网络建立资源分配决策，以达到降低系统总时延的目的。

本发明将多波束卫星通信系统作为环境输入与PPO网络进行交互，PPO网络根据当前环境状态选择此时隙要服务的用户并为其分配带宽和功率资源，环境由资源分配动作得到奖励值和下一时刻的状态，并将状态、动作、奖励和下一状态作为经验向量存储，当经验存储条目达到一定数量后，随机批量采样经验向量进行学习并根据损失函数调整网络权值，更新资源分配策略，以使智能体获得的长期收益最大化。对本发明基于PPO的时隙、带宽和功率联合分配方法中的状态、动作、奖励等基本要素设计如下：

(1)状态设计；

多波束卫星作为智能体进行时隙、带宽和功率资源分配时，需要获取卫星系统所处环境的主要信息，包括当前服务用户、用户位置、数据量大小以及系统的带宽、功率资源占用情况。因此，所设计的状态向量为：

s_t＝{U_t,L_t,D_t,W_t,V_t}；

其中，U_t为当前t时隙服务的用户集合，L_t为用户位置集合，D_t表示t时隙用户未处理的数据量大小集合，U_t、L_t和D_t都表示为K×N的矩阵，K代表波束数，N代表每波束的用户数，若当前时隙用户未被服务或数据都处理完时对此用户对应的元素写0；W_t为系统的带宽资源占用矩阵，V_t为系统的功率资源占用矩阵。

U_t中第k行第n列的元素代表第k个波束中第n个用户u_k,n在时隙t是否被服务，若值为1代表此时隙用户被卫星服务，若值为0代表未被服务。

L_t中第k行第n列的元素代表用户u_k,n的位置信息，值为1代表用户u_k,n处在波束k的中心区域，值为0代表用户u_k,n处于波束k的边缘区域。

D_t中第k行第n列的元素代表用户u_k,n在时隙t剩余还未处理的数据量大小。

(2)动作设计；

对于每一个时隙t，系统根据环境状态考虑是否服务某一用户，并为服务用户分配相应的信道资源和功率级别。将动作定义为：

a_t＝{q_k,m,p_k,m},k＝1,2,...K,m＝1,2,...M；

其中，q_k,m为波束k中子信道m选择服务的用户编号，若q_k,m为0表示此时隙信道m空闲，不对用户进行服务，此情况主要是考虑若使用此信道可能对其他同频信道造成很大的干扰，从而影响系统整体传输速率。p_k,m＝p^high orP^low则为分配给波束k中信道m的功率等级。

(3)奖励设计；

在每个时隙中，环境根据当前状态、当前状态下的动作以及下一状态设计系统奖励值。本发明的目标是实现最小化系统时延，由于每一时隙t用户存在以下几种状态：

①用户u_k,n存在未处理数据且在当前时隙未被调度，对其设置的奖励值为：r_k,n＝-5；

②用户u_k,n存在未处理数据且在当前时隙被调度，对其设置的奖励值为用户的数据传输速率：r_k,n＝+C_k,n；

③用户数据已被传输完成，不存在待处理数据，则r_k,n＝0。

则设计每个资源分配时隙的总奖励值

(4)网络设计；

本发明使用深度强化学习中的PPO算法对卫星系统的资源进行优化分配，需要对PPO网络的参数进行训练。在每一时隙，PPO网络的输入是卫星环境的状态向量，PPO网络输出动作，进行当前时隙下用户的选择，为用户分配带宽和功率，获得当前时隙下各用户的奖励值和此时隙的总奖励值，以及下一时隙的状态向量，直到处理完这批用户所有的数据请求，获得此轮总奖励值。在网络学习阶段，随机进行批量采样经验向量训练PPO网络，根据损失函数调整PPO网络权值，随着每次更新迭代，PPO网络损失函数的值以及总奖励值逐渐收敛，当收敛至一个稳定值时可认为本次PPO网络迭代完成，获得训练好的PPO网络。

本发明实施例中所设置的PPO网络隐藏层数为两层，每层神经元个数为64，使用tanh作为激活函数，经验池的容量设置为2048，每次从中抽样的Batch大小为64，clip参数取值为0.1，采用Adam优化器进行优化，学习速率设置为1e-4。

如图4所示，将本发明方法(简称PPO-JRA)与平均资源分配(Average)，随机资源分配(Random)，部分全频复用(FFR)以及PPO-功率平均分配(PPO-APA)方案进行对比，结果表明，本发明方法在不同波束(beams)-用户数量(users)以及不同系统资源的条件下都实现了所对比方案中最小的系统时延(latency)，达到了有效降低卫星覆盖范围内用户请求数据下载时延的目的。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。本发明省略了对公知组件和公知技术的描述，以避免赘述和不必要地限制本发明。

上述实施例中所描述的实施方式也并不代表与本申请相一致的所有实施方式，在本发明技术方案的基础上，本领域技术人员不需要付出创造性的劳动即可做出的各种修改或变形仍在本发明的保护范围内。

Claims (2)

1.一种多波束卫星同频组网系统的多维资源联合分配方法，用于实现多波束GEO卫星同频组网系统下行数据传输场景中的用户资源分配，其特征在于，包括如下步骤：

(1)对多波束卫星同频组网系统中用户资源的分配情况进行建模，包括：

设多波束卫星同频组网系统中总波束数量为K，每波束中包含N个用户，将卫星系统总频率资源B_tot平均分成M_max个信道，每个信道占用的带宽B_c＝B_tot/M_max，设卫星在t时隙选择服务的用户集合为U_t，设用户u_k,n代表波束k内用户n，k∈[1,2,…K]，n∈[1,2,…N]，设为用户u_k,n分配的带宽B_k,n＝M×B_c，其中M＝0,1,2,...,M_max；设卫星系统总功率资源为P_tot，为用户分配的功率的大小分为两个级别，分别为P^high和P^low；

(2)将对用户级的时隙、带宽和功率资源的联合分配过程建模为马尔科夫过程，将多波束卫星通信系统作为环境状态，输入近端策略优化PPO网络进行交互，PPO网络选择当前时隙要服务的用户并为用户分配带宽和功率资源，包括如下：

(2.1)获取当前多波束卫星同频组网系统的环境信息，得到当前t时隙的状态向量s_t＝{U_t,L_t,D_t,W_t,V_t}；其中，U_t为当前t时隙服务的用户集合，L_t为t时隙的用户位置的集合，D_t为t时隙的用户未处理的数据量大小集合，将U_t、L_t和D_t都表示为K×N的矩阵；U_t中第k行第n列的元素代表用户u_k,n在t时隙是否被服务，值为1代表被服务，值为0代表未被服务；L_t中第k行第n列的元素代表用户u_k,n的位置，取值为1代表用户u_k,n处在波束k的中心区域，取值为0代表用户u_k,n处在波束k的边缘区域；D_t中第k行第n列的元素记录用户u_k,n在t时隙剩余还未处理的数据量；W_t为卫星系统的带宽资源占用矩阵，V_t为卫星系统的功率资源占用矩阵；

(2.2)设计卫星系统在t时隙的动作表示为a_t＝{q_k,m,p_k,m},k＝1,2,...K,m＝1,2,...M；其中，q_k,m为波束k中子信道m选择服务的用户编号，若在t时隙子信道m空闲则q_k,m＝0；p_k,m取值为P^high或P^low，表示分配给波束k中信道m的功率等级；

(2.3)设计系统奖励值，如下：

在t时隙，若用户u_k,n存在未处理数据且在当前时隙未被调度，设置用户u_k,n对应的奖励值r_k,n为-5；若用户u_k,n存在未处理数据且在当前时隙被调度，设置用户u_k,n对应的奖励值r_k,n为用户的数据传输速率C_k,n；若用户u_k,n数据已被传输完成，设置用户u_k,n对应的奖励值r_k,n为0；

则在t时隙获得总奖励值

(2.4)将状态向量、动作、奖励和下一时隙的状态向量作为经验向量存储，随机批量采样经验向量训练PPO网络，利用训练好的PPO网络进行用户资源分配。

2.根据权利要求1所述的方法，其特征在于，所述的步骤(2.4)中，设置PPO网络隐藏层数为两层，每层神经元个数为64，使用tanh作为激活函数，经验池容量为2048，每次抽样数量为64，clip参数取值0.1，采用Adam优化器优化，学习速率设置为1e-4。

Images