CN115441939B - 基于maddpg算法的多波束卫星通信系统资源分配方法 - Google Patents

基于maddpg算法的多波束卫星通信系统资源分配方法 Download PDF

Info

Publication number
CN115441939B
CN115441939B CN202211144692.8A CN202211144692A CN115441939B CN 115441939 B CN115441939 B CN 115441939B CN 202211144692 A CN202211144692 A CN 202211144692A CN 115441939 B CN115441939 B CN 115441939B
Authority
CN
China
Prior art keywords
satellite
slot
representing
network
modeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211144692.8A
Other languages
English (en)
Other versions
CN115441939A (zh
Inventor
柴蓉
刘磊
杨国荣
陈前斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hongyue Information Technology Co ltd
Original Assignee
Shenzhen Hongyue Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hongyue Information Technology Co ltd filed Critical Shenzhen Hongyue Information Technology Co ltd
Priority to CN202211144692.8A priority Critical patent/CN115441939B/zh
Publication of CN115441939A publication Critical patent/CN115441939A/zh
Application granted granted Critical
Publication of CN115441939B publication Critical patent/CN115441939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/1853—Satellite systems for providing telephony service to a mobile station, i.e. mobile satellite service
    • H04B7/18539—Arrangements for managing radio, resources, i.e. for establishing or releasing a connection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/391—Modelling the propagation channel
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Electromagnetism (AREA)
  • Radio Relay Systems (AREA)

Abstract

本发明涉及一种基于MADDPG算法的多波束卫星通信系统资源分配方法，属于无线通信技术领域。该方法包括以下步骤：S1：建模卫星通信网络模型及业务模型；S2：建模用户关联变量及功率分配变量；S3：建模卫星信道；S4：建模系统吞吐量；S5：建模系统回报函数；S6：建模系统资源分配约束条件；S7：建模系统状态及动作；S8：构建并训练多智能体深度确定性策略梯度MADDPG网络；S9：基于MADDPG算法确定系统资源分配策略。本发明通过联合优化用户关联和波束功率分配策略，实现系统平均回报最大化。

Description

基于MADDPG算法的多波束卫星通信系统资源分配方法
技术领域
本发明属于无线通信技术领域，涉及一种基于MADDPG(Multi-Agent DeepDeterministic Policy Gradient)算法的多波束卫星通信系统资源分配方法。
背景技术
近年来，卫星通信系统作为对地面通信网络基础结构的一种补充，以其全球覆盖能力强、通信距离远、抗重大自然灾害、可提供固定及移动通信业务等优点，得到了广泛应用。为提升卫星系统频谱资源利用率及系统传输性能，可采用多波束卫星，通过使用多个高增益窄波束提升用户的覆盖能力，实现频谱复用增益。然而，针对多波束卫星通信系统用户需求多样化以及卫星通信系统拓扑动态性与时空分布不均匀性等特点，如何设计高效用户关联和波束功率分配策略，实现用户服务质量保障及系统性能提升成为重要的研究课题。
现有研究已经考虑了多波束卫星通信系统的资源分配问题，但是很少有工作针对地面用户的时空分布不同及业务需求不均衡等情况，研究基于系统平均性能优化的资源分配策略。
发明内容
有鉴于此，本发明的目的在于提供一种基于MADDPG算法的多波束卫星通信系统资源分配方法，针对包含一个采用数字波束成型技术的多波束高通量卫星及多个卫星用户的多波束卫星通信系统，建模系统平均回报为优化目标，实现用户关联和波束功率分配策略，提高系统综合性能。
为达到上述目的，本发明提供如下技术方案：
一种基于MADDPG算法的多波束卫星通信系统资源分配方法，包括以下步骤：
S1：建模卫星通信网络模型及业务模型；
S2：建模用户关联变量及功率分配变量；
S3：建模卫星信道；
S4：建模系统吞吐量；
S5：建模系统回报函数；
S6：建模系统资源分配约束条件；
S7：建模系统状态及动作；
S8：构建并训练多智能体深度确定性策略梯度MADDPG网络；
S9：基于MADDPG算法确定系统资源分配策略。
进一步，步骤S1中所述卫星通信网络模型，包含一个采用数字波束成型技术的多波束高通量卫星及多个用户，卫星覆盖区域用S表示，令N表示卫星的波束数目，波束间采用频率复用技术，系统总时间为T，将T分为等长的时隙，每个时隙长度为τ，令Ptot表示卫星总功率，Pmax表示单个波束最大发射功率，Btot表示卫星可用带宽，将总带宽划分为M个等长子信道，则每个子信道的带宽为Btot/M，令fm表示第m个子信道的载波频率，令k(x,y)表示用户存在变量，k(x,y)∈{0,1}，若(x,y)处存在卫星用户，则k(x,y)＝1，反之k(x,y)＝0；
所述卫星业务模型具体包括：假设多波束卫星覆盖区域存在L个卫星业务类型，令qt,l,(x,y)表示t时隙内(x,y)处到达的第l类卫星业务需求量，建模qt,l,(x,y)为正态分布随机变量，均值为μl,(x,y)、方差为令/>表示t时隙初(x,y)处卫星终端的业务需求总量，其中，Qt,(x,y)表示t时隙(x,y)处卫星终端的实际传输吞吐量。
进一步，步骤S2中所述建模用户关联变量，具体包括：令αt,n,(x,y)＝[αt,n,1,(x,y),αt,n,2,(x,y),...,αt,n,M,(x,y)]T表示t时隙波束n与(x,y)处卫星用户关联向量，其中αt,n,m,(x,y)∈{0,1}，若t时隙波束n占用第m个子信道与(x,y)处用户通信，则αt,n,m,(x,y)＝1，反之，αt,n,m,(x,y)＝0；
建模功率分配变量，具体包括：令pt,n＝[pt,n,1,pt,n,2,...,pt,n,M]T表示t时隙波束n的发射功率分配向量，其中pt,n,m表示t时隙波束n占用第m个子信道所对应的发射功率。
进一步，步骤S3中所述建模卫星信道，具体包括：令ht,n,m,(x,y)表示t时隙卫星与位于(x,y)处卫星终端之间的链路占用波束n在第m个子信道的信道增益，ht,n,m,(x,y)建模为其中/>表示接收天线增益，建模为：
其中ut,(x,y)＝2.07123sin(θt,(x,y))/sin(θ3dB)，θt,(x,y)表示t时隙卫星与(x,y)处接收天线的方位角，θ3dB为3dB波束带宽对应的角度，gmax,r为接收天线最大增益；表示卫星发射天线增益，建模为：
其中φn为波束n对应的天线波束宽度，δ＜＜1，为t时隙卫星到地面(x,y)处在子信道m的自由路径损耗，/>其中c为光速，dt,(x,y)为t时隙卫星到(x,y)处的距离，/>表示t时隙卫星到地面链路的雨衰系数。
进一步，步骤S4中所述建模系统吞吐量，具体包括：令Qt,n表示t时隙波束n覆盖区域内的终端实际总吞吐量，则It,n,m,(x,y)为t时隙波束n内占用子信道m的(x,y)处用户受到的波束间干扰，定义为：令/>表示t时隙波束n覆盖范围内的需求吞吐量总和，则/>
进一步，步骤S5中所述系统回报函数，包括：
t时隙波束n覆盖区域内系统吞吐量相关的回报函数为：
其中λ表示奖励因子，Z表示差异阈值，0≤Z≤Ω，其中Ω表示调整参数；
t时隙卫星覆盖区域内的平均回报函数为：
进一步，步骤S6中所述建模系统资源分配约束条件，具体包括：
1)波束发射功率约束：单个波束存在最大发射功率限制，则有：
波束总发射功率不超过系统总功率，则有：
2)子信道分配约束：为防止过度的同频干扰，设同一子信道最大重用数为F，则有：
3)用户关联约束：同一时隙一个地面用户只能关联一个波束中的一个子信道，则有：
进一步，步骤S7中所述建模系统状态及动作，具体包括：定义t时隙全局状态空间st＝{st,1,st,2,…,st,N}，其中表示t时隙波束n的状态，定义t时隙的联合动作空间at＝{at,1,at,2,…at,N}，其中at,n＝{αt,n,(x,y),pt,n|(x,y)∈S}表示t时隙波束n的动作空间，包含用户关联变量和波束功率分配变量。
进一步，步骤S8中所述构建并训练MADDPG网络，具体包括：将N个波束视为N个智能体，每个智能体包括四个神经网络，分别为演员现实网络、评论家现实网络、演员目标网络、评论家目标网络；初始化智能体各网络，初始化经验回放缓冲区D、系统状态st；对于智能体n，利用其当前演员现实网络和随机过程选择动作at,n＝μn(st,n|θn)+χt,n，其中μn为智能体n的演员现实网络，θn为演员现实网络μn的参数，χt,n为随机噪声，各智能体执行联合动作at，得到全局奖励Rt，转移到下一时刻的状态st+1，将四元组(st,at,Rt,st+1)并将其存入经验回放缓冲区D；从D中抽取样本，利用损失函数最小化更新智能体n的评论家现实网络，即其中Φn为智能体n的评论家现实网络，ωn为评论家现实网络Φn的参数，yn为评论家目标网络的Q值，表示为：
其中为智能体n的评论家目标网络，/>为评论家目标网络/>的参数，/>为智能体n的演员目标网络，/>为演员目标网络/>的参数，γ为评论家网络学习率，0＜γ＜1；根据样本数据和评论家现实网络生成的Q值，利用策略梯度更新公式更新演员现实网络：
通过软更新算法更新演员目标网络和评论家目标网络的参数，具体为：
其中ε＜＜1为目标网络的软更新参数。
进一步，步骤S9中所述基于MADDPG算法确定系统资源分配策略，具体包括：在满足波束发射功率、子信道分配、用户关联的限制条件下，以系统平均回报最大化为目标，优化确定资源分配策略，即：
其中和/>分别是最优用户关联策略和波束功率分配策略。
本发明的有益效果在于：本发明所述方法能够有效保障通信业务时空分布不均匀的情况下，基于用户关联和波束功率分配策略，实现系统平均回报最大化，提高系统综合性能。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为多波束卫星通信系统场景示意图；
图2为基于MADDPG算法的多波束卫星通信系统资源分配方法的流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图2，图1为多波束卫星通信系统场景示意图，如图1所示，该通信系统包含一个多波束高通量卫星及其覆盖区域的多个卫星地面用户，通过联合设计最优用户关联和波束功率分配策略可实现系统平均回报最大化。
图2为基于MADDPG算法的多波束卫星通信系统资源分配方法的流程示意图，如图2所示，该方法具体包括以下步骤：
1、建模卫星通信网络模型及业务模型
系统包含一个采用数字波束成型技术的多波束高通量卫星及多个用户，卫星覆盖区域用S表示，令N表示卫星的波束数目，波束间采用频率复用技术，系统总时间为T，将T分为等长的时隙，每个时隙长度为τ，令Ptot表示卫星总功率，Pmax表示单个波束最大发射功率，Btot表示卫星可用带宽，将总带宽划分为M个等长子信道，则每个子信道的带宽为Btot/M，令fm表示第m个子信道的载波频率，令k(x,y)表示用户存在变量，k(x,y)∈{0,1}，若(x,y)处存在卫星用户，则k(x,y)＝1，反之k(x,y)＝0；假设多波束卫星覆盖区域存在L个卫星业务类型，令qt,l,(x,y)表示t时隙内(x,y)处到达的第l类卫星业务需求量，建模qt,l,(x,y)为正态分布随机变量，均值为μl,(x,y)、方差为令/>表示t时隙初(x,y)处卫星终端的业务需求总量，其中，Qt,(x,y)表示t时隙(x,y)处卫星终端的实际传输吞吐量。
2、建模用户关联变量及功率分配变量
令αt,n,(x,y)＝[αt,n,1,(x,y),αt,n,2,(x,y),...,αt,n,M,(x,y)]T表示t时隙波束n与(x,y)处卫星用户关联向量，其中αt,n,m,(x,y)∈{0,1}，若t时隙波束n占用第m个子信道与(x,y)处用户通信，则αt,n,m,(x,y)＝1，反之，αt,n,m,(x,y)＝0；令pt,n＝[pt,n,1,pt,n,2,...,pt,n,M]T表示t时隙波束n的发射功率分配向量，其中pt,n,m表示t时隙波束n占用第m个子信道所对应的发射功率。
3、建模卫星信道
令ht,n,m,(x,y)表示t时隙卫星与位于(x,y)处卫星终端之间的链路占用波束n在第m个子信道的信道增益，ht,n,m,(x,y)建模为其中/>表示接收天线增益，建模为：
其中ut,(x,y)＝2.07123sin(θt,(x,y))/sin(θ3dB)，θt,(x,y)表示t时隙卫星与(x,y)处接收天线的方位角，θ3dB为3dB波束带宽对应的角度，gmax,r为接收天线最大增益；表示卫星发射天线增益，建模为：
其中φn为波束n对应的天线波束宽度，δ＜＜1，为t时隙卫星到地面(x,y)处在子信道m的自由路径损耗，/>其中c为光速，dt,(x,y)为t时隙卫星到(x,y)处的距离，/>表示t时隙卫星到地面链路的雨衰系数。
4、建模系统吞吐量
令Qt,n表示t时隙波束n覆盖区域内的终端实际总吞吐量，则
It,n,m,(x,y)为t时隙波束n内占用子信道m的(x,y)处用户受到的波束间干扰，定义为：/>令/>表示t时隙波束n覆盖范围内的需求吞吐量总和，则/>
5、建模系统回报函数
令表示t时隙波束n覆盖区域内系统吞吐量相关的回报函数，其中λ表示奖励因子，Z表示差异阈值，0≤Z≤Ω，其中Ω表示调整参数，令/>表示t时隙卫星覆盖区域内的平均回报函数。
6、建模系统资源分配约束条件
1)波束发射功率约束：单个波束存在最大发射功率限制，则有：
波束总发射功率不超过系统总功率，则有：
2)子信道分配约束：为防止过度的同频干扰，设同一子信道最大重用数为F，则有：
3)用户关联约束：同一时隙一个地面用户只能关联一个波束中的一个子信道，则有：
7、建模系统状态及动作
定义t时隙全局状态空间st＝{st,1,st,2,...,st,N}，其中表示t时隙波束n的状态，定义t时隙的联合动作空间at＝{at,1,at,2,…at,N}，其中at,n＝{αt,n,(x,y),pt,n|(x,y)∈S}表示t时隙波束n的动作空间，包含用户关联变量和波束功率分配变量。
8、构建并训练MADDPG网络
将N个波束视为N个智能体，每个智能体包括四个神经网络，分别为演员现实网络、评论家现实网络、演员目标网络、评论家目标网络；初始化智能体各网络，初始化经验回放缓冲区D、系统状态st；对于智能体n，利用其当前演员现实网络和随机过程选择动作at,n＝μn(st,n|θn)+χt,n，其中μn为智能体n的演员现实网络，θn为演员现实网络μn的参数，χt,n为随机噪声，各智能体执行联合动作at，得到全局奖励Rt，转移到下一时刻的状态st+1，将四元组(st,at,Rt,st+1)并将其存入经验回放缓冲区D；从D中抽取样本，利用损失函数最小化更新智能体n的评论家现实网络，即其中Φn为智能体n的评论家现实网络，ωn为评论家现实网络Φn的参数，yn为评论家目标网络的Q值，表示为：
其中为智能体n的评论家目标网络，/>为评论家目标网络/>的参数，/>为智能体n的演员目标网络，/>为演员目标网络/>的参数，γ为评论家网络学习率，0＜γ＜1；根据样本数据和评论家现实网络生成的Q值，利用策略梯度更新公式
更新演员现实网络；通过软更新算法更新演员目标网络和评论家目标网络的参数，具体为：/> 其中ε＜＜1为目标网络的软更新参数。
9、基于MADDPG算法确定系统资源分配策略
在满足波束发射功率、子信道分配、用户关联的限制条件下，以系统平均回报最大化为目标，优化确定资源分配策略，即：
其中和/>分别是最优用户关联策略和波束功率分配策略。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于MADDPG算法的多波束卫星通信系统资源分配方法，其特征在于：包括以下步骤：
S1：建模卫星通信网络模型及业务模型；所述卫星通信网络模型，包含一个采用数字波束成型技术的多波束高通量卫星及多个用户，卫星覆盖区域用S表示，令N表示卫星的波束数目，波束间采用频率复用技术，系统总时间为T，将T分为等长的时隙，每个时隙长度为τ，令Ptot表示卫星总功率，Pmax表示单个波束最大发射功率，Btot表示卫星可用带宽，将总带宽划分为M个等长子信道，则每个子信道的带宽为Btot/M，令fm表示第m个子信道的载波频率，令k(x,y)表示用户存在变量，k(x,y)∈{0,1}，若(x,y)处存在卫星用户，则k(x,y)＝1，反之k(x,y)＝0；
所述卫星业务模型具体包括：假设多波束卫星覆盖区域存在L个卫星业务类型，令qt,l,(x,y)表示t时隙内(x,y)处到达的第l类卫星业务需求量，建模qt,l,(x,y)为正态分布随机变量，均值为μl,(x,y)、方差为令/>表示t时隙初(x,y)处卫星终端的业务需求总量，其中，Qt,(x,y)表示t时隙(x,y)处卫星终端的实际传输吞吐量；
S2：建模用户关联变量及功率分配变量，具体包括：令αt,n,(x,y)＝[αt,n,1,(x,y),αt,n,2,(x,y),...,αt,n,M,(x,y)]T表示t时隙波束n与(x,y)处卫星用户关联向量，其中αt,n,m,(x,y)∈{0,1}，若t时隙波束n占用第m个子信道与(x,y)处用户通信，则αt,n,m,(x,y)＝1，反之，αt,n,m,(x,y)＝0；
建模功率分配变量，具体包括：令pt,n＝[pt,n,1,pt,n,2,...,pt,n,M]T表示t时隙波束n的发射功率分配向量，其中pt,n,m表示t时隙波束n占用第m个子信道所对应的发射功率；
S3：建模卫星信道，具体包括：令ht,n,m,(x,y)表示t时隙卫星与位于(x,y)处卫星终端之间的链路占用波束n在第m个子信道的信道增益，ht,n,m,(x,y)建模为其中/>表示接收天线增益，建模为：
其中ut,(x,y)＝2.07123sin(θt,(x,y))/sin(θ3dB)，θt,(x,y)表示t时隙卫星与(x,y)处接收天线的方位角，θ3dB为3dB波束带宽对应的角度，gmax,r为接收天线最大增益；表示卫星发射天线增益，建模为：
其中φn为波束n对应的天线波束宽度，δ＜＜1，为t时隙卫星到地面(x,y)处在子信道m的自由路径损耗，/>其中c为光速，dt,(x,y)为t时隙卫星到(x,y)处的距离，/>表示t时隙卫星到地面链路的雨衰系数；
S4：建模系统吞吐量，具体包括：令Qt,n表示t时隙波束n覆盖区域内的终端实际总吞吐量，则It,n,m,(x,y)为t时隙波束n内占用子信道m的(x,y)处用户受到的波束间干扰，定义为：/>令表示t时隙波束n覆盖范围内的需求吞吐量总和，则/>
S5：建模系统回报函数，包括：
t时隙波束n覆盖区域内系统吞吐量相关的回报函数为：
其中λ表示奖励因子，Z表示差异阈值，0≤Z≤Ω，其中Ω表示调整参数；
t时隙卫星覆盖区域内的平均回报函数为：
S6：建模系统资源分配约束条件，具体包括：
1)波束发射功率约束：单个波束存在最大发射功率限制，则有：
波束总发射功率不超过系统总功率，则有：
2)子信道分配约束：为防止过度的同频干扰，设同一子信道最大重用数为F，则有：
3)用户关联约束：同一时隙一个地面用户只能关联一个波束中的一个子信道，则有：
S7：建模系统状态及动作，具体包括：定义t时隙全局状态空间st＝{st,1,st,2,…,st,N}，其中表示t时隙波束n的状态，定义t时隙的联合动作空间at＝{at,1,at,2,…at,N}，其中at,n＝{αt,n,(x,y),pt,n|(x,y)∈S}表示t时隙波束n的动作空间，包含用户关联变量和波束功率分配变量；
S8：构建并训练多智能体深度确定性策略梯度MADDPG网络，具体包括：将N个波束视为N个智能体，每个智能体包括四个神经网络，分别为演员现实网络、评论家现实网络、演员目标网络、评论家目标网络；初始化智能体各网络，初始化经验回放缓冲区D、系统状态st；对于智能体n，利用其当前演员现实网络和随机过程选择动作at,n＝μn(st,n|θn)+χt,n，其中μn为智能体n的演员现实网络，θn为演员现实网络μn的参数，χt,n为随机噪声，各智能体执行联合动作at，得到全局奖励Rt，转移到下一时刻的状态st+1，将四元组(st,at,Rt,st+1)并将其存入经验回放缓冲区D；从D中抽取样本，利用损失函数最小化更新智能体n的评论家现实网络，即其中Φn为智能体n的评论家现实网络，ωn为评论家现实网络Φn的参数，yn为评论家目标网络的Q值，表示为：
其中为智能体n的评论家目标网络，/>为评论家目标网络/>的参数，/>为智能体n的演员目标网络，/>为演员目标网络/>的参数，γ为评论家网络学习率，0＜γ＜1；根据样本数据和评论家现实网络生成的Q值，利用策略梯度更新公式更新演员现实网络：
通过软更新算法更新演员目标网络和评论家目标网络的参数，具体为：
其中ε＜＜1为目标网络的软更新参数；
S9：基于MADDPG算法确定系统资源分配策略，具体包括：在满足波束发射功率、子信道分配、用户关联的限制条件下，以系统平均回报最大化为目标，优化确定资源分配策略，即：
其中和/>分别是最优用户关联策略和波束功率分配策略。
CN202211144692.8A 2022-09-20 2022-09-20 基于maddpg算法的多波束卫星通信系统资源分配方法 Active CN115441939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211144692.8A CN115441939B (zh) 2022-09-20 2022-09-20 基于maddpg算法的多波束卫星通信系统资源分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211144692.8A CN115441939B (zh) 2022-09-20 2022-09-20 基于maddpg算法的多波束卫星通信系统资源分配方法

Publications (2)

Publication Number Publication Date
CN115441939A CN115441939A (zh) 2022-12-06
CN115441939B true CN115441939B (zh) 2024-03-22

Family

ID=84248977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211144692.8A Active CN115441939B (zh) 2022-09-20 2022-09-20 基于maddpg算法的多波束卫星通信系统资源分配方法

Country Status (1)

Country Link
CN (1) CN115441939B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116318374B (zh) * 2023-05-19 2023-07-21 红珊科技有限公司 基于业务量分析的卫星通信数据通道分析系统及方法
CN117528784B (zh) * 2023-11-09 2024-05-24 中国人民解放军军事科学院系统工程研究院 一种多波束卫星通信网络多域跨层协同控制方法及装置
CN117255334B (zh) * 2023-11-17 2024-01-26 国网浙江省电力有限公司信息通信分公司 一种面向应急卫星通信的多级协同调度方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900237A (zh) * 2018-06-21 2018-11-27 重庆邮电大学 一种多波束卫星通信系统资源分配方法
GB202108215D0 (en) * 2020-06-29 2021-07-21 Ebos Tech Ltd Continuos network slicing in a 5G celluar communications network via a delayed deep deterministic policy gradient
CN113162682A (zh) * 2021-05-13 2021-07-23 重庆邮电大学 一种基于pd-noma的多波束leo卫星系统资源分配方法
CN114389678A (zh) * 2022-01-12 2022-04-22 北京邮电大学 一种基于决策性能评估的多波束卫星资源分配方法
CN114553299A (zh) * 2022-02-17 2022-05-27 重庆邮电大学 一种卫星系统波束调度和资源分配方法
CN114884949A (zh) * 2022-05-07 2022-08-09 重庆邮电大学 基于maddpg算法的低轨卫星物联网任务卸载方法
CN114978278A (zh) * 2022-04-29 2022-08-30 北京科技大学 一种多波束的巨星座卫星频率与功率联合分配方法及装置
CN115021799A (zh) * 2022-07-11 2022-09-06 北京理工大学 一种基于多智能体协同的低轨卫星切换方法
CN115065384A (zh) * 2022-06-06 2022-09-16 重庆邮电大学 考虑用户关联、子信道分配及波束关联的多波束卫星通信系统资源分配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11552857B2 (en) * 2019-08-28 2023-01-10 Honeywell International Inc. Methods, systems and appratuses for optimizing the bin selection of a network scheduling and configuration tool (NST) by bin allocation, demand prediction and machine learning

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900237A (zh) * 2018-06-21 2018-11-27 重庆邮电大学 一种多波束卫星通信系统资源分配方法
GB202108215D0 (en) * 2020-06-29 2021-07-21 Ebos Tech Ltd Continuos network slicing in a 5G celluar communications network via a delayed deep deterministic policy gradient
CN113162682A (zh) * 2021-05-13 2021-07-23 重庆邮电大学 一种基于pd-noma的多波束leo卫星系统资源分配方法
CN114389678A (zh) * 2022-01-12 2022-04-22 北京邮电大学 一种基于决策性能评估的多波束卫星资源分配方法
CN114553299A (zh) * 2022-02-17 2022-05-27 重庆邮电大学 一种卫星系统波束调度和资源分配方法
CN114978278A (zh) * 2022-04-29 2022-08-30 北京科技大学 一种多波束的巨星座卫星频率与功率联合分配方法及装置
CN114884949A (zh) * 2022-05-07 2022-08-09 重庆邮电大学 基于maddpg算法的低轨卫星物联网任务卸载方法
CN115065384A (zh) * 2022-06-06 2022-09-16 重庆邮电大学 考虑用户关联、子信道分配及波束关联的多波束卫星通信系统资源分配方法
CN115021799A (zh) * 2022-07-11 2022-09-06 北京理工大学 一种基于多智能体协同的低轨卫星切换方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Distributed Intelligence: A Verification for Multi-Agent DRL-Based Multibeam Satellite Resource Allocation;Xianglai Liao; Xin Hu; Zhijun Liu; Shijun Ma; Lexi Xu; Xiuhua Li; Weidong Wang; Fadhel M. Ghannouchi;《 IEEE Communications Letters》;第24卷(第12期);2785 - 2789 *
Dohyun Kwon ; Joongheon Kim.Multi-Agent Deep Reinforcement Learning for Cooperative Connected Vehicles.《 2019 IEEE Global Communications Conference (GLOBECOM)》.2020,全文. *
Minglong Chen ; Rong Chai ; Qianbin Chen.Joint Route Selection and Resource Allocation Algorithm for Data Relay Satellite Systems Based on Energy Efficiency Optimization.《2019 11th International Conference on Wireless Communications and Signal Processing (WCSP)》.2019,全文. *
云雾混合网络下基于多智能体架构的资源分配及卸载决策研究;陈前斌; 谭颀; 贺兰钦; 唐伦;《电子与信息学报》;第43卷(第9期);2654-2662 *
基于多智能体深度强化学习的车联网通信资源分配优化;方维维; 王云鹏; 张昊; 孟娜;《北京交通大学学报》;第46卷(第2期);64-72 *
基于深度强化学习的无线异构网络多维资源分配方法研究;支媛;《万方硕士学位论文，山东师范大学》;全文 *

Also Published As

Publication number Publication date
CN115441939A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN115441939B (zh) 基于maddpg算法的多波束卫星通信系统资源分配方法
CN113162682B (zh) 一种基于pd-noma的多波束leo卫星系统资源分配方法
CN111615200B (zh) 混合Hybrid NOMA网络的无人机辅助通信资源分配方法
KR100946924B1 (ko) 제로 포싱 빔포밍 알고리즘에서의 사용자 단말 선택 방법
KR101087873B1 (ko) Ｏｆｄｍａ 기반 네트워크를 지원하는 방법, 장치 및 시스템
CN114389678B (zh) 一种基于决策性能评估的多波束卫星资源分配方法
CN112583453A (zh) 多波束leo卫星通信系统下行noma功率分配方法
CN114553299B (zh) 一种卫星系统波束调度和资源分配方法
CN113938183B (zh) 多波束卫星系统下基于非正交多址的通信资源分配方法
CN113411105B (zh) 一种无小区大规模天线系统的ap选择方法
CN102457951B (zh) 一种多小区协作通信中链路联合波束成形的方法和基站
CN112672361B (zh) 一种基于无人机集群部署的大规模mimo容量提升方法
CN110519029B (zh) 蜂窝与v2v混合大规模mimo导频复用信道获取方法
CN111431646A (zh) 一种毫米波系统中的动态资源分配方法
CN111083708B (zh) 一种基于干扰感知多图的v2v通信异质频谱分配方法
CN116321466A (zh) 去蜂窝大规模mimo中无人机通信的频谱效率优化方法
CN115173922B (zh) 基于cmaddqn网络的多波束卫星通信系统资源分配方法
CN116981091A (zh) 一种星地融合网络资源分配方法
CN111446991B (zh) 大规模mimo卫星通信sc-ofdma下行链路自适应资源调度方法
CN113365288A (zh) 一种基于SWIPT的NB-IoT系统上行链路资源分配法
Fan et al. Channel assignment and power allocation utilizing noma in long-distance uav wireless communication
Leng et al. User-level scheduling and resource allocation for multi-beam satellite systems with full frequency reuse
CN115065384A (zh) 考虑用户关联、子信道分配及波束关联的多波束卫星通信系统资源分配方法
CN114599099A (zh) 一种基于强化学习的5g星地链路多波束动态功率分配方法
Chen et al. Power Allocation for DL NOMA in Multi-Beam LEO Satellite Communication System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240227

Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Hongyue Information Technology Co.,Ltd.

Country or region after: China

Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2

Applicant before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant