CN116981091A - 一种星地融合网络资源分配方法 - Google Patents

一种星地融合网络资源分配方法 Download PDF

Info

Publication number
CN116981091A
CN116981091A CN202310985590.7A CN202310985590A CN116981091A CN 116981091 A CN116981091 A CN 116981091A CN 202310985590 A CN202310985590 A CN 202310985590A CN 116981091 A CN116981091 A CN 116981091A
Authority
CN
China
Prior art keywords
representing
satellite
modeling
network
modeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310985590.7A
Other languages
English (en)
Inventor
柴蓉
张思雅
陈前斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202310985590.7A priority Critical patent/CN116981091A/zh
Publication of CN116981091A publication Critical patent/CN116981091A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/535—Allocation or scheduling criteria for wireless resources based on resource usage policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/1851—Systems using a satellite or space-based relay
    • H04B7/18519—Operations control, administration or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radio Relay Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种星地融合网络资源分配方法，属于无线通信技术领域。该方法包括以下步骤：S1：建模星地融合网络模型及业务模型；S2：建模用户关联及资源分配变量；S3：建模卫星及无人机信道模型；S4：建模链路传输速率；S5：建模EU和速率；S6：建模MU传输能耗；S7：建模系统资源分配约束条件；S8：建模系统回报函数；S9：建模系统状态及动作；S10：构建并训练DDQN网络；S11：基于DDQN算法确定系统资源分配策略。本发明通过联合优化用户关联、功率及子信道分配策略，实现系统累计奖励最大化。

Description

一种星地融合网络资源分配方法
技术领域
本发明属于无线通信技术领域，涉及卫星通信技术领域，具体涉及一种星地融合网络资源分配方法。
背景技术
星地融合网络利用卫星网络与地面网络各自的优势，将两者进行融合，可为用户提供灵活的网络接入服务，实现用户服务质量及网络性能提升。为提高星地融合网络的资源利用率和通信性能，可采用资源分配技术，通过为用户分配不同时频资源，实现网络可用资源与用户通信需求的匹配。然而，星地融合网络用户需求多样化，卫星及地面网络复杂异构特性对系统资源的分配提出了挑战，如何综合考虑星地融合网络特性及多样化用户业务需求，设计高效的资源分配策略是星地融合网络的一个重要研究课题。
现有研究已考虑星地融合网络资源分配问题，但是较少研究考虑不同用户类型的高度差异化业务需求以及系统平均性能优化，导致资源分配方案性能严重受限。
发明内容
有鉴于此，本发明的目的在于提供一种星地融合网络资源分配方法，针对包含一个多波束高通量卫星，多个无人机和多个用户的星地融合系统，建模系统累计奖励为优化目标，优化确定用户关联和资源分配策略，提高系统综合性能。
为达到上述目的，本发明提供如下技术方案：
一种星地融合网络资源分配方法，具体包括以下步骤：
S1：建模星地融合网络模型及业务模型，以及用户关联及功率分配变量；
S2：建模卫星及无人机信道模型；
S3：建模链路传输速率；
S4：建模EU和速率和MU传输能耗；
S5：建模系统功率分配约束条件；
S6：建模系统回报函数、系统状态及动作；
S7：构建并训练DDQN网络，其中DDQN表示双深度Q网络；
S8：利用训练完成的DDQN网络确定系统资源分配策略。
进一步，步骤S1中，建模星地融合网络模型及业务模型，具体包括：系统包含一个多波束高通量卫星，K个无人机及多个EU和MU，Uk表示第k个UAV，1≤k≤K，EU和MU随机地分布在无人机的覆盖范围内，通过接入无人机或卫星获取数据，令EUi表示第i个EU用户，1≤i≤M1；MUj表示第j个MU用户，1≤j≤M2；M1及M2分别表示EU及MU的数目；令Sj表示MUj需传输的数据量；假设MU是仅能接入无人机传输数据的用户，EU是能选择接入卫星或无人机传输数据的用户；
令N表示卫星的波束数目，波束间采用频率复用技术；系统总时间为T，将T划分为等长的时隙，每个时隙长度为τ，令Ps,tot表示卫星总功率，Pmax表示卫星单个波束最大发射功率，Bs表示卫星每个子信道的带宽，表示卫星第a个子信道的载波频率，1≤a≤A，A为卫星的子信道数目；Pk,tot表示Uk的总功率，Bu表示UAV各子信道的带宽，fl u表示Uk第l个子信道的载波频率，1≤l≤L；L为UAV的子信道数目；
建模用户关联及资源分配变量，具体包括：令αt,n,a,i表示t时隙EUi的卫星关联及子信道分配变量，若t时隙卫星波束n占用子信道a与EUi通信，则αt,n,a,i＝1，反之，αt,n,a,i＝0；令βt,k,l,i表示t时隙EUi的无人机关联变量，若t时隙Uk占用子信道l与EUi用户通信，则βt,k,l,i＝1，反之，βt,k,l,i＝0；δt,k,l,j表示t时隙MUj的关联向量，若t时隙Uk占用子信道l与MUj用户通信，则δt,k,l,j＝1，反之，δt,k,l,j＝0；
建模功率分配变量，具体包括：令表示t时隙卫星波束n的发送功率向量，其中/>表示t时隙波束n占用子信道a传输信号到EUi对应的发送功率；令/>表示t时隙Uk传输消息至EU的发送功率向量，其中/>表示t时隙Uk占用子信道l发送信道到EUi所对应的发送功率；令表示t时隙Uk传输信息至MU的发送功率分配向量，其中/>表示t时隙Uk占用子信道l传输信号到MUj所对应的发送功率。
进一步，步骤S2中，建模卫星及无人机信道模型，具体包括：
(1)建模卫星信道：令表示t时隙卫星波束n与EUi之间的链路在子信道a的信道增益，建模为/>其中，/>表示t时隙卫星到地面链路的雨衰系数；/>表示接收天线增益，建模为：
其中，ut,n,i＝2.07123sin(θt,n,i)/sin(θ3dB)，其中θt,n,i表示t时隙卫星波束n与EUi的接收天线的方位角，θ3dB为3dB波束带宽对应的角度，gmax,r为接收天线最大增益，J1(·)表示一阶贝塞尔函数，J3(·)表示三阶贝塞尔函数；
表示卫星发射天线增益，建模为：/>其中φn为波束n对应的天线波束宽度，δ＜＜1；
为t时隙卫星占用子信道a发送信号至EUi对应链路的自由空间损耗，建模为其中c为光速，/>为t时隙卫星到EUi的距离；
(2)建模无人机信道：令表示t时隙Uk与EUi之间的链路在子信道l的信道增益，建模为/>其中，/>表示t时隙Uk与EUi之间的距离；令/>表示t时隙Uk与MUj之间的链路在子信道l的信道增益，/>建模为/>其中，/>表示Uk与MUj之间的距离。
进一步，步骤S3中，建模链路传输速率，具体包括：
(1)令Rt,n,a,i表示t时隙卫星波束n占用子信道a传输数据至EUi所对应的传输速率，建模为：其中，σ2为噪声功率；
(2)令表示t时隙Uk占用子信道l传输数据至EUi所对应的传输速率，建模为：其中，/>为t时隙与Uk关联的EUi在子信道l上受到来自与EU通信的其他无人机的干扰，可建模为/> 为t时隙与Uk关联的EUi在子信道l上受到来自其他与MU通信的无人机的干扰，可建模为
(3)令表示t时隙Uk占用子信道l传输数据至MUj所对应的传输速率，建模为：其中，/>为t时隙与Uk关联的MUj在子信道l上受到与EU通信的其他无人机的干扰，可建模为/> 为t时隙与Uk关联的MUj在子信道l上受到与MU通信的其他无人机的干扰，可建模为
进一步，步骤S4中，建模EU和速率，具体包括：令Rt表示t时隙EU的和速率，建模为：
进一步，步骤S4中，建模MU传输能耗，具体包括：令Et表示t时隙MU的传输能耗，建模为：其中，Tt,k,l,j为t时隙无人机传输数据到MUj所需时间，建模为：/>St,j表示t时隙MUj需传输的数据量，建模为
进一步，步骤S5中，建模系统功率分配约束条件，具体包括：
(1)波束发送功率约束：单个波束的发送功率受限于最大发送功率约束，则有：
(2)卫星波束的总发送功率不超过卫星总发送功率，则有：
(3)为了描述卫星及无人机和用户的关联状态，引入了二元变量和yk,j；若卫星与EUi关联，/>否则/>若无人机Uk与EUi关联，/>否则/>若无人机Uk与MUj关联，yk,j＝1，否则yk,j＝0；只有用户和无人机关联的情况下，才能分配信道进行数据传输，表示为：
假设一个用户最多只能连接一个卫星或者一个无人机，表示为：
(4)子信道分配限制条件：
进一步，步骤S6中，建模系统回报函数，具体包括：令rt表示t时隙的奖励函数，建模为rt＝λ1Rt-λ2Et，其中λ1和λ2为权重系数；
建模系统状态及动作，具体包括：令st表示t时隙系统状态空间，表示为at定义为t时隙的动作空间，表示为
进一步，步骤S7中，构建并训练DDQN网络，具体包括：DDQN网络由两个神经网络组成，分别为目标网络和预测网络，预测网络用于计算当前状态下的状态价值函数，目标网络用于计算目标状态价值函数，令Q和Q′分别表示预测网络和目标网络，θ和θ′分别表示预测网络和目标网络的参数；初始化各网络及经验回放缓冲区D、给定系统状态st，利用当前网络和随机过程选择动作，执行动作at，得到奖励rt，系统转移到下一时刻的状态st+1，将四元组(st,at,rt,st+1)存入经验回放缓冲区D；从D中抽取样本，令yt表示目标网络的更新值，表示为γ为折扣因子，0＜γ＜1；定义损失函数L为均方误差，即L＝E[(yt-Q(st,at；θ))2]，基于损失函数最小化更新参数θ，即：/>其中，α表示学习率，/>表示L的导数。
进一步，步骤S8中，利用训练完成的DDQN网络确定系统资源分配策略，具体包括：令表示累计奖励，在满足波束发射功率、子信道分配和用户关联等限制条件下，以最大化累计奖励Ut为目标，优化确定资源分配策略，即：
其中，分别是最优用户关联策略和功率分配策略。
本发明的有益效果在于：本发明方法能够有效保障不同用户的通信需求不同的情况下，基于用户关联和资源分配策略，实现系统累计奖励最大化，提高系统综合性能。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为星地融合网络场景示意图；
图2为本发明星地融合网络资源分配方法的流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图2，图1为星地融合网络场景示意图，如图1所示，该通信系统包含一个多波束高通量卫星，K个无人机及多个EU和MU，通过联合设计最优用户关联和资源分配策略可实现系统累计奖励最大化。
图2为本发明星地融合网络资源分配方法的流程图，如图2所示，该方法具体包括以下步骤：
步骤1：建模星地融合网络模型及业务模型。
系统包含一个多波束高通量卫星，K个无人机及多个EU和MU，Uk表示第k个UAV，1≤k≤K，EU和MU随机地分布在无人机的覆盖范围内，通过接入无人机或卫星获取数据，令EUi表示第i个EU用户，1≤i≤M1；MUj表示第j个MU用户，1≤j≤M2；M1及M2分别表示EU及MU的数目；令Sj表示MUj需传输的数据量；假设MU仅可接入无人机传输数据，EU可选择接入卫星或无人机传输数据；
令N表示卫星的波束数目，波束间采用频率复用技术；系统总时间为T，将T划分为等长的时隙，每个时隙长度为τ，令Ps,tot表示卫星总功率，Pmax表示卫星单个波束最大发射功率，Bs表示卫星每个子信道的带宽，表示卫星第a个子信道的载波频率，1≤a≤A，A为卫星的子信道数目；Pk,tot表示Uk的总功率，Bu表示UAV各子信道的带宽，flu表示Uk第l个子信道的载波频率，1≤l≤L；L为UAV的子信道数目。
步骤2：建模用户关联及资源分配变量。
令αt,n,a,i表示t时隙EUi的卫星关联及子信道分配变量，若t时隙卫星波束n占用子信道a与EUi通信，则αt,n,a,i＝1，反之，αt,n,a,i＝0；令βt,k,l,i表示t时隙EUi的无人机关联变量，若t时隙Uk占用子信道l与EUi用户通信，则βt,k,l,i＝1，反之，βt,k,l,i＝0；δt,k,l,j表示t时隙MUj的关联向量，若t时隙Uk占用子信道l与MUj用户通信，则δt,k,l,j＝1，反之，δt,k,l,j＝0；
建模功率分配变量，具体包括：令表示t时隙卫星波束n的发送功率向量，其中/>表示t时隙波束n占用子信道a传输信号到EUi对应的发送功率；令/>表示t时隙Uk传输消息至EU的发送功率向量，其中/>表示t时隙Uk占用子信道l发送信道到EUi所对应的发送功率；令表示t时隙Uk传输信息至MU的发送功率分配向量，其中表示t时隙Uk占用子信道l传输信号到MUj所对应的发送功率。
步骤3：建模卫星及无人机信道模型。
(1)建模卫星信道：令表示t时隙卫星波束n与EUi之间的链路在子信道a的信道增益，建模为/>其中/>表示接收天线增益，建模为：
其中，ut,n,i＝2.07123sin(θt,n,i)/sin(θ3dB)，θt,n,i表示t时隙卫星波束n与EUi的接收天线的方位角，θ3dB为3dB波束带宽对应的角度，gmax,r为接收天线最大增益；表示卫星发射天线增益，建模为：/>其中φn为波束n对应的天线波束宽度，δ＜＜1，/>为t时隙卫星占用子信道a发送信号至EUi对应链路的自由空间损耗，建模为/>其中c为光速，/>为t时隙卫星到EUi的距离，/>表示t时隙卫星到地面链路的雨衰系数；
(2)建模无人机信道：令表示t时隙Uk与EUi之间的链路在子信道l的信道增益，建模为/>其中，/>表示t时隙Uk与EUi之间的距离，令/>表示t时隙Uk与MUj之间的链路在子信道l的信道增益，/>建模为/>其中，/>表示Uk与MUj之间的距离。
步骤4：建模链路传输速率。
(1)令Rt,n,a,i表示t时隙卫星波束n占用子信道a传输数据至EUi所对应的传输速率，建模为：其中，σ2为噪声功率；
(2)令表示t时隙Uk占用子信道l传输数据至EUi所对应的传输速率，建模为：其中，/>为t时隙与Uk关联的EUi在子信道l上受到来自与EU通信的其他无人机的干扰，可建模为/> 为t时隙与Uk关联的EUi在子信道l上受到来自其他与MU通信的无人机的干扰，可建模为
(3)令表示t时隙Uk占用子信道l传输数据至MUj所对应的传输速率，建模为：其中，/>为t时隙与Uk关联的MUj在子信道l上受到与EU通信的其他无人机的干扰，可建模为/> 为t时隙与Uk关联的MUj在子信道l上受到与MU通信的其他无人机的干扰，可建模为
步骤5：建模EU和速率。
令Rt表示t时隙EU的和速率，建模为：
步骤6：建模MU传输能耗。
令Et表示t时隙MU的传输能耗，建模为：其中，Tt,k,l,j为t时隙无人机传输数据到MUj所需时间，建模为：/>St,j表示t时隙MUj需传输的数据量，建模为/>
步骤7：建模系统资源分配约束条件。
(1)波束发送功率约束：单个波束的发送功率受限于最大发送功率约束，则有：
(2)卫星波束的总发送功率不超过卫星总发送功率，则有：
(3)为了描述卫星及无人机和用户的关联状态，引入了二元变量和yk,j；若卫星与EUi关联，/>否则/>若无人机Uk与EUi关联，/>否则/>若无人机Uk与MUj关联，yk,j＝1，否则yk,j＝0；只有用户和无人机关联的情况下，才可分配信道进行数据传输，表示为：
假设一个用户最多只能连接一个卫星或者一个无人机，表示为：
(4)子信道分配限制条件：
步骤8：建模系统回报函数。
令rt表示t时隙的奖励函数，建模为rt＝λ1Rt-λ2Et，其中λ1和λ2为权重系数。
步骤9：建模系统状态及动作。
令st表示t时隙系统状态空间，表示为at定义为t时隙的动作空间，表示为/>
步骤10：构建并训练DDQN网络。
DDQN网络由两个神经网络组成，分别为目标网络和预测网络，预测网络用于计算当前状态下的状态价值函数，目标网络用于计算目标状态价值函数，令Q和Q′分别表示预测网络和目标网络，θ和θ′分别表示预测网络和目标网络的参数；初始化各网络及经验回放缓冲区D、给定系统状态st，利用当前网络和随机过程选择动作，执行动作at，得到奖励rt，系统转移到下一时刻的状态st+1，将四元组(st,at,rt,st+1)存入经验回放缓冲区D；从D中抽取样本，令yt表示目标网络的更新值，表示为γ为折扣因子，0＜γ＜1；定义损失函数L为均方误差，即L＝E[(yt-Q(st,at；θ))2]，基于损失函数最小化更新参数θ，即：/>
步骤11：基于DDQN算法确定系统资源分配策略。
令表示累计奖励，在满足波束发射功率、子信道分配、用户关联等限制条件下，以最大化累计奖励Ut为目标，优化确定资源分配策略，即：
其中，分别是最优用户关联策略和功率分配策略。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种星地融合网络资源分配方法，其特征在于，该方法具体包括以下步骤：
S1：建模星地融合网络模型及业务模型，以及用户关联及功率分配变量；
S2：建模卫星及无人机信道模型；
S3：建模链路传输速率；
S4：建模EU和速率和MU传输能耗；
S5：建模系统功率分配约束条件；
S6：建模系统回报函数、系统状态及动作；
S7：构建并训练DDQN网络，其中DDQN表示双深度Q网络；
S8：利用训练完成的DDQN网络确定系统资源分配策略。
2.根据权利要求1所述的星地融合网络资源分配方法，其特征在于，步骤S1中，建模星地融合网络模型及业务模型，具体包括：系统包含一个多波束高通量卫星，K个无人机及多个EU和MU，Uk表示第k个UAV，1≤k≤K，EU和MU随机地分布在无人机的覆盖范围内，通过接入无人机或卫星获取数据，令EUi表示第i个EU用户，1≤i≤M1；MUj表示第j个MU用户，1≤j≤M2；M1及M2分别表示EU及MU的数目；令Sj表示MUj需传输的数据量；假设MU是仅能接入无人机传输数据的用户，EU是能选择接入卫星或无人机传输数据的用户；
令N表示卫星的波束数目，波束间采用频率复用技术；系统总时间为T，将T划分为等长的时隙，每个时隙长度为τ，令Ps,tot表示卫星总功率，Pmax表示卫星单个波束最大发射功率，Bs表示卫星每个子信道的带宽，表示卫星第a个子信道的载波频率，1≤a≤A，A为卫星的子信道数目；Pk,tot表示Uk的总功率，Bu表示UAV各子信道的带宽，fl u表示Uk第l个子信道的载波频率，1≤l≤L；L为UAV的子信道数目；
建模用户关联及资源分配变量，具体包括：令αt,n,a,i表示t时隙EUi的卫星关联及子信道分配变量，若t时隙卫星波束n占用子信道a与EUi通信，则αt,n,a,i＝1，反之，αt,n,a,i＝0；令βt,k,l,i表示t时隙EUi的无人机关联变量，若t时隙Uk占用子信道l与EUi用户通信，则βt,k,l,i＝1，反之，βt,k,l,i＝0；δt,k,l,j表示t时隙MUj的关联向量，若t时隙Uk占用子信道l与MUj用户通信，则δt,k,l,j＝1，反之，δt,k,l,j＝0；
建模功率分配变量，具体包括：令表示t时隙卫星波束n的发送功率向量，其中/>表示t时隙波束n占用子信道a传输信号到EUi对应的发送功率；令表示t时隙Uk传输消息至EU的发送功率向量，其中/>表示t时隙Uk占用子信道l发送信道到EUi所对应的发送功率；令/>表示t时隙Uk传输信息至MU的发送功率分配向量，其中/>表示t时隙Uk占用子信道l传输信号到MUj所对应的发送功率。
3.根据权利要求2所述的星地融合网络资源分配方法，其特征在于，步骤S2中，建模卫星及无人机信道模型，具体包括：
(1)建模卫星信道：令表示t时隙卫星波束n与EUi之间的链路在子信道a的信道增益，建模为/>其中，/>表示t时隙卫星到地面链路的雨衰系数；/>表示接收天线增益，建模为：
其中，ut,n,i＝2.07123sin(θt,n,i)/sin(θ3dB)，其中θt,n,i表示t时隙卫星波束n与EUi的接收天线的方位角，θ3dB为3dB波束带宽对应的角度，gmax,r为接收天线最大增益，J1(·)表示一阶贝塞尔函数，J3(·)表示三阶贝塞尔函数；
表示卫星发射天线增益，建模为：/>其中φn为波束n对应的天线波束宽度，δ＜＜1；
为t时隙卫星占用子信道a发送信号至EUi对应链路的自由空间损耗，建模为其中c为光速，/>为t时隙卫星到EUi的距离；
(2)建模无人机信道：令表示t时隙Uk与EUi之间的链路在子信道l的信道增益，建模为/>其中，/>表示t时隙Uk与EUi之间的距离；令/>表示t时隙Uk与MUj之间的链路在子信道l的信道增益，/>建模为/>其中，/>表示Uk与MUj之间的距离。
4.根据权利要求3所述的星地融合网络资源分配方法，其特征在于，步骤S3中，建模链路传输速率，具体包括：
(1)令Rt,n,a,i表示t时隙卫星波束n占用子信道a传输数据至EUi所对应的传输速率，建模为：其中，σ2为噪声功率；
(2)令表示t时隙Uk占用子信道l传输数据至EUi所对应的传输速率，建模为：其中，/>为t时隙与Uk关联的EUi在子信道l上受到来自与EU通信的其他无人机的干扰，建模为/> 为t时隙与Uk关联的EUi在子信道l上受到来自其他与MU通信的无人机的干扰，建模为
(3)令表示t时隙Uk占用子信道l传输数据至MUj所对应的传输速率，建模为：其中，/>为t时隙与Uk关联的MUj在子信道l上受到与EU通信的其他无人机的干扰，建模为/> 为t时隙与Uk关联的MUj在子信道l上受到与MU通信的其他无人机的干扰，建模为
5.根据权利要求4所述的星地融合网络资源分配方法，其特征在于，步骤S4中，建模EU和速率，具体包括：令Rt表示t时隙EU的和速率，建模为：
6.根据权利要求5所述的星地融合网络资源分配方法，其特征在于，步骤S4中，建模MU传输能耗，具体包括：令Et表示t时隙MU的传输能耗，建模为：其中，Tt,k,l,j为t时隙无人机传输数据到MUj所需时间，建模为：/>St,j表示t时隙MUj需传输的数据量，建模为/>
7.根据权利要求6所述的星地融合网络资源分配方法，其特征在于，步骤S5中，建模系统功率分配约束条件，具体包括：
(1)波束发送功率约束：单个波束的发送功率受限于最大发送功率约束，则有：
(2)卫星波束的总发送功率不超过卫星总发送功率，则有：
(3)为了描述卫星及无人机和用户的关联状态，引入了二元变量 和yk,j；若卫星与EUi关联，/>否则/>若无人机Uk与EUi关联，/>否则/>若无人机Uk与MUj关联，yk,j＝1，否则yk,j＝0；只有用户和无人机关联的情况下，才能分配信道进行数据传输，表示为：
假设一个用户最多只能连接一个卫星或者一个无人机，表示为：
(4)子信道分配限制条件：
8.根据权利要求7所述的星地融合网络资源分配方法，其特征在于，步骤S6中，建模系统回报函数，具体包括：令rt表示t时隙的奖励函数，建模为rt＝λ1Rt-λ2Et，其中λ1和λ2为权重系数；
建模系统状态及动作，具体包括：令st表示t时隙系统状态空间，表示为at定义为t时隙的动作空间，表示为
9.根据权利要求8所述的星地融合网络资源分配方法，其特征在于，步骤S7中，构建并训练DDQN网络，具体包括：DDQN网络由两个神经网络组成，分别为目标网络和预测网络，预测网络用于计算当前状态下的状态价值函数，目标网络用于计算目标状态价值函数，令Q和Q′分别表示预测网络和目标网络，θ和θ′分别表示预测网络和目标网络的参数；初始化各网络及经验回放缓冲区D、给定系统状态st，利用当前网络和随机过程选择动作，执行动作at，得到奖励rt，系统转移到下一时刻的状态st+1，将四元组(st,at,rt,st+1)存入经验回放缓冲区D；从D中抽取样本，令yt表示目标网络的更新值，表示为γ为折扣因子，0＜γ＜1；定义损失函数L为均方误差，即L＝E[(yt-Q(st,at；θ))2]，基于损失函数最小化更新参数θ，即：/>其中，α表示学习率，/>表示L的导数。
10.根据权利要求9所述的星地融合网络资源分配方法，其特征在于，步骤S8中，利用训练完成的DDQN网络确定系统资源分配策略，具体包括：令表示累计奖励，在满足波束发射功率、子信道分配和用户关联限制条件下，以最大化累计奖励Ut为目标，优化确定资源分配策略，即：
其中，分别是最优用户关联策略和功率分配策略。
CN202310985590.7A 2023-08-07 2023-08-07 一种星地融合网络资源分配方法 Pending CN116981091A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310985590.7A CN116981091A (zh) 2023-08-07 2023-08-07 一种星地融合网络资源分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310985590.7A CN116981091A (zh) 2023-08-07 2023-08-07 一种星地融合网络资源分配方法

Publications (1)

Publication Number Publication Date
CN116981091A true CN116981091A (zh) 2023-10-31

Family

ID=88477933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310985590.7A Pending CN116981091A (zh) 2023-08-07 2023-08-07 一种星地融合网络资源分配方法

Country Status (1)

Country Link
CN (1) CN116981091A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117580106A (zh) * 2024-01-16 2024-02-20 北京邮电大学 一种多策略池的星地网络快速调度与资源分配方法和装置
CN117833997A (zh) * 2024-03-01 2024-04-05 南京控维通信科技有限公司 一种基于强化学习的noma多波束卫星通信系统多维资源分配方法
CN117833997B (zh) * 2024-03-01 2024-05-31 南京控维通信科技有限公司 一种基于强化学习的noma多波束卫星通信系统多维资源分配方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117580106A (zh) * 2024-01-16 2024-02-20 北京邮电大学 一种多策略池的星地网络快速调度与资源分配方法和装置
CN117580106B (zh) * 2024-01-16 2024-04-05 北京邮电大学 一种多策略池的星地网络快速调度与资源分配方法和装置
CN117833997A (zh) * 2024-03-01 2024-04-05 南京控维通信科技有限公司 一种基于强化学习的noma多波束卫星通信系统多维资源分配方法
CN117833997B (zh) * 2024-03-01 2024-05-31 南京控维通信科技有限公司 一种基于强化学习的noma多波束卫星通信系统多维资源分配方法

Similar Documents

Publication Publication Date Title
CN112865893B (zh) 智能反射面辅助的sm-noma系统资源分配方法
CN101569116B (zh) 用于在基于ofdma的网络中支持sdma传输的方法和装置
Liu et al. Application of NOMA in 6G networks: Future vision and research opportunities for next generation multiple access
CN112583453A (zh) 多波束leo卫星通信系统下行noma功率分配方法
CN110769514B (zh) 一种异构蜂窝网络d2d通信资源分配方法及系统
CN113938183B (zh) 多波束卫星系统下基于非正交多址的通信资源分配方法
CN115441939B (zh) 基于maddpg算法的多波束卫星通信系统资源分配方法
CN114389678A (zh) 一种基于决策性能评估的多波束卫星资源分配方法
CN111431646B (zh) 一种毫米波系统中的动态资源分配方法
CN114051204A (zh) 一种基于智能反射面的无人机辅助通信方法
CN114553299B (zh) 一种卫星系统波束调度和资源分配方法
CN105050176A (zh) 认知无线电网络中基于中断概率约束的斯坦克尔伯格博弈功率控制方法
CN116981091A (zh) 一种星地融合网络资源分配方法
CN113596785A (zh) 基于深度q网络的d2d-noma通信系统资源分配方法
CN106231665A (zh) 数能一体化网络中基于rrh动态模式切换的资源分配方法
Taimoor et al. Holistic resource management in UAV-assisted wireless networks: An optimization perspective
CN115173922B (zh) 基于cmaddqn网络的多波束卫星通信系统资源分配方法
Leng et al. User-level scheduling and resource allocation for multi-beam satellite systems with full frequency reuse
Fan et al. Channel assignment and power allocation utilizing noma in long-distance uav wireless communication
CN115065390B (zh) 一种基于流量需求的公平多组多播预编码方法
CN116437370A (zh) 低空立体覆盖场景下网络辅助全双工模式优化方法
CN114599099A (zh) 一种基于强化学习的5g星地链路多波束动态功率分配方法
Zhang et al. Primal dual PPO learning resource allocation in indoor IRS-aided networks
CN114727318A (zh) 一种基于maddpg的多ris通信网络速率提升方法
CN117295077B (zh) 一种多小区协同多址地空数据传输方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination