CN116133052A - 一种空地异构网络中的带宽分配和资源调度联合优化算法 - Google Patents

一种空地异构网络中的带宽分配和资源调度联合优化算法 Download PDF

Info

Publication number
CN116133052A
CN116133052A CN202310110541.9A CN202310110541A CN116133052A CN 116133052 A CN116133052 A CN 116133052A CN 202310110541 A CN202310110541 A CN 202310110541A CN 116133052 A CN116133052 A CN 116133052A
Authority
CN
China
Prior art keywords
ground
user
users
base station
resource scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310110541.9A
Other languages
English (en)
Inventor
张晋喜
周志雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital University of Physical Education and Sports
Original Assignee
Capital University of Physical Education and Sports
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital University of Physical Education and Sports filed Critical Capital University of Physical Education and Sports
Priority to CN202310110541.9A priority Critical patent/CN116133052A/zh
Publication of CN116133052A publication Critical patent/CN116133052A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/08Load balancing or load distribution
    • H04W28/09Management thereof
    • H04W28/0958Management thereof based on metrics or performance parameters
    • H04W28/0967Quality of Service [QoS] parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/14Relay systems
    • H04B7/15Active relay systems
    • H04B7/185Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502Airborne stations
    • H04B7/18506Communications with or from aircraft, i.e. aeronautical mobile service
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/08Load balancing or load distribution
    • H04W28/09Management thereof
    • H04W28/0925Management thereof using policies
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明属于网络服务技术领域,具体为一种空地异构网络中的带宽分配和资源调度联合优化算法,步骤1:构建一个多无人机辅助的上行空地异构网络;步骤2:空地异构网络中的负载均衡算法;步骤3:基于深度强化学习的动态带宽分配;步骤4:面向用户QoS的资源调度方案,在切片间的动态资源分配策略基础上,进行切片内面向用户QoS的资源调度,为每个切片内的用户分配资源,提高用户间的QoS满意度和公平性,其结构合理,提出了一种无人机部署和用户关联方案,以实现基站之间的负载平衡。多余的负载可以从地面基站转移到无人机上,从而缓解地面热点区域中的基站压力。

Description

一种空地异构网络中的带宽分配和资源调度联合优化算法
技术领域
本发明涉及网络服务技术领域,具体为一种空地异构网络中的带宽分配和资源调度联合优化算法。
背景技术
在5G异构网络中,大量的物联网设备和移动宽带用户共存于网络中。当网络中出现热点区域时,区域内基站的服务用户数目激增。当一个小区的频谱资源不足以为连接的用户提供服务时,小区就会过载,并且导致网络拥塞、用户性能下降。为了缓解地面热点区域中的网络拥塞,一种有效的手段是在地面过载区域上方部署无人机进行流量卸载。地面基站的多余负载转移到无人机上,也就是由无人机为地面热点区域中的一部分用户提供服务,从而提高网络负载均衡和用户的服务质量。
由于用户的业务需求呈现多样化和随时间快速变化的特点,当用户数目过多且资源有限时,能否保证所有用户的QoS成为衡量网络性能的重要指标。因此,在有限的带宽资源上进行资源分配的优化是保障用户性能的关键手段。近年来,网络切片已经成为一种强大的工具,可以为不同的业务提供自适应的资源切片和并保障用户QoS。目前,切片资源的分配受到了广泛的关注和研究。
然而,在目前的文献中,并没有在无人机部署方面的研究中考虑到负载均衡。实际上,负载均衡在保障用户性能和应对突发流量导致网络过载方面具有重要作用。此外,当热点区域中的用户数目过多,远超基站服务能力时,保证所有用户的实时QoS变得不再可能。此时,缺乏合理高效的资源调度方案来最大限度地提高用户QoS满意度。同时,现有的关于空地网络资源分配研究并没有考虑空地信道复杂的干扰情况,这也会使得理论研究结果与实际网络的应用效果相差甚大。
基于上述问题,我们提出一种空地异构网络中的带宽分配和资源调度联合优化算法。
发明内容
本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于现有技术中存在的问题,提出了本发明。
因此,本发明的目的是提供一种空地异构网络中的带宽分配和资源调度联合优化算法,提出了一种无人机部署和用户关联方案,以实现基站之间的负载平衡。多余的负载可以从地面基站转移到无人机上,从而缓解地面热点区域中的基站压力。
为解决上述技术问题,根据本发明的一个方面,本发明提供了如下技术方案:
一种空地异构网络中的带宽分配和资源调度联合优化算法,其:包括如下步骤:
步骤1:构建一个多无人机辅助的上行空地异构网络;
步骤2:空地异构网络中的负载均衡算法;
步骤3:基于深度强化学习的动态带宽分配;
步骤4:面向用户QoS的资源调度方案。
作为本发明所述的一种空地异构网络中的带宽分配和资源调度联合优化算法的一种优选方案,其中:所述步骤1中,其中多个地面基站、无人机、移动宽带用户(Mobile-broadband user,MBU)和机器类用户(Machine-type user,MTU)共存于网络中,无人机的部署可以将地面过载小区的多余负载进行转移,用户根据最小路径损耗标准与服务地面基站相关联,系统带宽被划分为多个RB,假设M,K,D,N1,N2分别表示地面基站、UAV、频谱资源、MBUs和MTUs的集合,每个地面基站m∈M、无人机k∈K和地面用户n∈N1∪N2的3D位置分别表示为(xm,ym,0)、(xk,yk,hk)和(xn,yn,0),以切片的形式进行资源管理,将网络中的总带宽分为两个切片,分别为MBU和MTU提供服务,假设MBU切片和MTU切片使用正交的资源集D1和D2来避免干扰,即
Figure BDA0004076704710000031
且D=D1∪D2,同时,假设基站、无人机基站和用户均采用单天线进行传输。
作为本发明所述的一种空地异构网络中的带宽分配和资源调度联合优化算法的一种优选方案,其中:所述步骤2中,优化无人机的3D部署,并构建地面用户与地面基站和空中基站的关联,即求解M和A,从而提高负载分布的均衡性,在加入无人机之前,首先基于最小路径损耗的原则来建立地面地面基站和用户之间的关联,即用户选择与自己之间传输路损最小的地面地面基站。
作为本发明所述的一种空地异构网络中的带宽分配和资源调度联合优化算法的一种优选方案,其中:所述步骤3中,进行Bt的优化,优化Bt可以认为是先后优化切片间的带宽分配和每个切片内的资源调度。
作为本发明所述的一种空地异构网络中的带宽分配和资源调度联合优化算法的一种优选方案,其中:所述步骤4中,在切片间的动态资源分配策略基础上,进行切片内面向用户QoS的资源调度,为每个切片内的用户分配资源,提高用户间的QoS满意度和公平性。
与现有技术相比,本发明的有益效果是:
1、提出一种应用于空地网络中的无人机部署方案。当地面网络出现过载、用户性能下降时,所提方案能够根据地面用户的分布确定无人机的部署位置,并且从提高负载均衡的角度构建基站与用户的关联。
2、为了改善切片带宽的固定划分带来的缺点,本发明设计一种基于深度强化学习的动态带宽分配方案,从提高切片内的用户QoS满意度的角度出发为两个切片动态分配带宽。
3、从保障用户性能,提高用户QoS满意度的角度出发,本发明设计一种切片内的资源调度方案。在所提方案中,根据用户之前时刻的QoS满意度来确定当前时刻的资源分配优先级,从而在较长的时间跨度上保证资源分配的公平性。
附图说明
为了更清楚地说明本发明实施方式的技术方案,下面将结合附图和详细实施方式对本发明进行详细说明,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明空地异构网络中的负载转移模型;
图2为本发明无人机部署和负载平衡算法流程图;
图3为本发明图模型示意图;
图4为本发明动态带宽分配算法和基于图着色的资源调度算法;
图5为本发明相关参数表格图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施方式的限制。
其次,本发明结合示意图进行详细描述,在详述本发明实施方式时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明提供如下技术方案:一种空地异构网络中的带宽分配和资源调度联合优化算法,提出了一种无人机部署和用户关联方案,以实现基站之间的负载平衡。多余的负载可以从地面基站转移到无人机上,从而缓解地面热点区域中的基站压力;
实施例1
如图1所示,本发明考虑一个多无人机辅助的上行空地异构网络,其中多个地面基站、无人机、移动宽带用户(Mobile-broadband user,MBU)和机器类用户(Machine-typeuser,MTU)共存于网络中。无人机的部署可以将地面过载小区的多余负载进行转移。最初,用户根据最小路径损耗标准与服务地面基站相关联。系统带宽被划分为多个RB。假设M,K,D,N 1,N 2分别表示地面基站、UAV、频谱资源、MBUs和MTUs的集合。每个地面基站m∈M、无人机k∈K和地面用户n∈N 1∪N 2的3D位置分别表示为(xm,ym,0)、(xk,yk,hk)和(xn,yn,0)。以切片的形式进行资源管理,将网络中的总带宽分为两个切片,分别为MBU和MTU提供服务。假设MBU切片和MTU切片使用正交的资源集D1和D2来避免干扰,即
Figure BDA0004076704710000051
且D=D1∪D2。同时,假设基站、无人机基站和用户均采用单天线进行传输。
对于一个由地面地面基站m∈M服务的用户n∈N 1∪N 2来说,其在地面基站m处的瞬时接收数据速率表示为:
Figure BDA0004076704710000052
其中pn是用户n的发射功率,
Figure BDA0004076704710000061
是用户n到地面基站m在子信道d∈D上的信道增益,dn,m是用户n和地面基站m的水平间距,αG是地面链路的路径损耗指数,
Figure BDA0004076704710000062
是链路n-m在子信道d上的快衰落,其遵循瑞利分布。Φd是与n在同一切片中共享子信道d的用户集合,bn,d是表示子信道d是否分配给用户n的二进制变量。n0和B分别表示噪声功率谱密度和子带的带宽。
当用户n由无人机基站k服务时,其在无人机k处的接收数据速率表示为:
Figure BDA0004076704710000063
其中,
Figure BDA0004076704710000064
是用户n和无人机k之间的信道增益,其中
Figure BDA0004076704710000065
Figure BDA0004076704710000066
分别为LoS径和NLoS径的路径损耗,
Figure BDA0004076704710000067
是用户n和无人机k之间的欧几里德距离,ηLoSNLoS)是LoS(NLoS)链路的附加路径损耗,
Figure BDA0004076704710000068
Figure BDA0004076704710000069
表示从n到k的链路为LoS链路和NLoS链路的概率,其中òn,k=arcsin(hk/dn,k)表示用户n和无人机k之间的仰角,fc是载波频率,c是光速,a和b是与环境相关的常数。
在本发明中,假设无线网络的传输以时隙方式进行,其中时间结构由T={0,1,2,..}表示,在每个时隙t∈T中执行资源调度。每个时隙的持续时间△t可以根据网络的调度方式来灵活调整,在实际网络运行中可以是单个时隙,也可以是连续的多个时隙。在本发明所考虑的异构网络中,对于两种不同类型的服务,QoS应该由两种不同的方式进行特征。接下来为两种不同的服务定义QoS满意度。
对于每个需要高吞吐量的MBU n1∈N1,其在时隙t的QoS要求被表征为最小数据速率需求
Figure BDA00040767047100000610
因此,MBU n1在前τ个时隙中的QoS满意度表示为:
Figure BDA0004076704710000071
其中I是指示函数,I(true)=1;I(false)=0。
Figure BDA0004076704710000072
是用户n1在时隙t内的数据速率,其中an1,k是指示n1是否被k服务的二进制变量。
与MBU不同,MTU的业务建模为延迟敏感型业务。MTU的流量到达遵循泊松过程,平均每秒传输的包的数量为λa,每个包的大小为La比特。遵循与文献相同的假设,本发明使用流量延迟来计算MTU n2的QoS满意度。具体而言,由基站m∈M∪K服务的MTU n2的业务在前τ个时隙中的平均服务时间计算为
Figure BDA0004076704710000073
其中
Figure BDA0004076704710000074
是从时隙0-τ的平均传输速率。因此,MTU n2从时隙0到τ的QoS满意度计算为:
Figure BDA0004076704710000075
其中δmax是MTU的最大容忍延迟。
如前所述,本发明考虑了负载分布不平衡的无人机辅助地面网络。本发明的目标是最大化MBU切片和MTU切片的加权QoS满意度,优化变量包含:
Figure BDA0004076704710000076
其中M、A和Bt是无人机位置向量、基站-用户关联指示向量和时隙t的资源分配指示向量。本发明的目标问题建模如下:
Figure BDA0004076704710000077
其中ω1∈(0,1)和ω2∈(0,1)表示MBU和MTU的权重,且ω12=1。C1表示一个用户只能与一个地面BS或UAV-BS相关联。
为了求解目标问题(2-5),首先优化M和A,以改善负载平衡和基站-用户关联,从而缓解过载小区中的用户对资源的激烈竞争,提高负载分布的均衡性。接下来,通过优化Bt进行切片之间的自适应带宽分配,并进行面向QoS的资源调度,从而提高用户的QoS满意度。
空地异构网络中的负载均衡、资源调度和带宽分配算法
在优化用户的QoS满意度之前,需要满足用户的基本传输需求。在本文中,将小区的负载视为小区的服务用户数。假设小区k的RB数和服务用户数分别记为Dk和Nk。当Nk/Dk>1时,说明小区k无法为这些用户分配至少一个RB,则小区内的部分用户的基本传输需求将无法满足。此时,小区被视为过载。因此,有必要部署无人机将过载小区的多余负载转移到无人机上。
空地异构网络中的负载均衡算法
首先优化无人机的3D部署,并构建地面用户与地面基站和空中基站的关联,即求解M和A,从而提高负载分布的均衡性。在加入无人机之前,首先基于最小路径损耗的原则来建立地面地面基站和用户之间的关联,即用户选择与自己之间传输路损最小的地面地面基站。
接下来开始进行无人机的部署。在此之前,首先要确定无人机的高度。本发明通过综合考虑LoS概率和路径损耗之间的权衡来确定无人机的覆盖范围。令PLth和PLoS,th表示能够建立有效的空地传输链路路径损耗门限和LoS概率门限,当无人机高度为h时,由路径损耗和LoS概率分别计算出的有效覆盖半径为
Figure BDA0004076704710000081
Figure BDA0004076704710000082
当达到最大覆盖半径r*时的无人机高度为最佳高度h*,r*的计算公式为:
Figure BDA0004076704710000083
也就是,固定路径损耗和LoS概率的阈值时,能够在两种计算方法下实现相同的覆盖半径的无人机高度被设定为本发明的无人机的高度h*。为简单起见,本发明假设所有无人机的高度和覆盖半径均相同:
Figure BDA0004076704710000091
直观来讲,无人机应该部署在过载的小区周围,以缓解流量拥塞。因此,部署的无人机数量等于过载小区的数量。
在固定高度hk和覆盖半径rk的情况下,本发明使用图论的方法确定无人机的水平位置。以过载小区中的两个用户n和n'作为节点,如果满足以下条件,则两个节点之间存在一条边:dn,n′≤rk,其中dn,n′是两个节点之间的欧式距离。节点和边构成图G0。接下来,应用最大团方法在G0中找到最大的完整子图g。无人机的二维位置便被设定为g的质心,记为:
Figure BDA0004076704710000092
其中,|g|为子图g中所有顶点(用户)的数量。在确定了无人机的数量和位置后,我们需要通过负载平衡(LB)算法和基站用户的重新关联来优化A,从而为过载小区中的用户提供更好的服务质量。在本发明将负载平衡描述为不同基站用户数量的Jains公平指数,这是一种广泛使用的衡量负载平衡的指标函数。具体而言,N个小区的用户分布的Jains公平指数可以计算为:
Figure BDA0004076704710000093
其中ci是小区i的负载。假设用户转移是逐轮进行的,在每一轮中,只有一个用户会从负载较大的小区转移到负载较轻的小区。负载均衡算法旨在通过转移用户不断提高负载分配的Jains公平指数,转移条件由以下定理给出:
定理3.1:将用户从负载为cb的高负载小区转移到负载为ca的轻负载小区可以提高负载均衡的Jains指数的条件为:cb>(ca+1)。
证明:假设有M个地面基站和K个UAV,其中两个小区a和b的负载分别为ca和cb,其他M+K-2个小区的负载分别为:c1,c2,…,cM+K-2。将用户从小区b转移到小区a之后的负载均衡公平指数和转移之前的负载均衡公平指数的比值计算为:
Figure BDA0004076704710000101
不难看出,负载从b转移到a后负载公平指数增加(即J after>J before)的条件为cb>(ca+1)。
根据定理3.1,地面基站b服务的用户nb可以转移到地面基站a来增加负载公平指数的第一个条件是cb>(ca+1)。此外,还需要为转移用户设置最小参考信号接收功率(RSRP)门限,以保证用户的基本服务质量。因此,用户nb从小区b转移到小区a的第二个条件是
Figure BDA0004076704710000102
其中
Figure BDA0004076704710000103
是用户nb在地面基站a处的RSRP,RSRPth是RSRP阈值。
经过负载均衡后,基站(包含地面基站与UAV基站)与用户之间的关联形成。无人机部署和负载平衡算法的详细过程在图2中给出。
基于深度强化学习的动态带宽分配
前面已经构建了无人机的部署方案以及用户与基站之间的关联方案,来满足用户的基本需求。接下来进行Bt的优化。优化Bt可以认为是先后优化切片间的带宽分配和每个切片内的资源调度。具体来说,本小节提出一种动态的切片间带宽分配算法,而对于切片内的资源调度优化将在下一小节中介绍。
动态带宽切片是指根据MBU和MTU的QoS满意度实时调整分配给MBU和MTU的带宽。与固定带宽切片相比,动态带宽切片旨在优化对不同切片的带宽分配,以提高用户的整体QoS满意度。为了充分实现动态分配,借助深度强化学习从不同切片的网络状态中学习,并通过深度神经网络的经验学习自主获得最优分配策略。采用马尔可夫决策过程对动态带宽切片的过程进行建模,假设网络中控制切片划分的中央单元是学习智能体,本小节设计的深度强化学习算法中的状态、动作和奖励定义为:
·状态:为了表征两个切片的QoS满意度,时隙t∈T的状态序列设计为:
Figure BDA0004076704710000111
其中
Figure BDA0004076704710000112
Figure BDA0004076704710000113
是时隙t-1内两个切片的QoS满意度,
Figure BDA0004076704710000114
Figure BDA0004076704710000115
是时隙t-1分配给MBU切片和MTU切片的子信道数目。
·动作:动作集包含分配给MBU切片的子信道的所有可能数量|D1|,即at∈{1,2,3...,|D|}。
·奖励:时隙t的奖励rt设计为两个切片的所有用户在时隙t的加权QoS满意度:
Figure BDA0004076704710000116
其中ω1和ω2是权重因子。
通过从状态的转换中学习,深度Q学习可以逐步学习到带宽切片的最优策略π*,从而逼近真实的Q表:
Figure BDA0004076704710000117
其中π*是在不同状态下选择不同动作的概率分布。在状态st选择动作at后,智能体获得奖励rt并转移到下一个状态st+1。然后,序列{st,at,rt,st+1}将被存储到记忆池中,用于训练网络。
深度Q学习中的深度Q网络(DQN)用于预测状态-动作对的Q值,并通过最小化以下损失函数来更新DQN的参数θ:
Figure BDA0004076704710000118
其中θ和θ′是主网络和目标网络的参数,B是随机选取样本集合。随着训练的不断进行,网络参数逐渐优化并收敛。
面向用户QoS的资源调度方案
在前面的小节中,提出了一种切片间的动态资源分配策略。在此基础上,本节进行切片内面向用户QoS的资源调度,为每个切片内的用户分配资源,提高用户间的QoS满意度和公平性。本小节采用图着色来执行资源调度。首先,由于MBU切片和MTU切片占据正交频带,因此需要为两个切片分别单独构建图模型,用G1和G2表示。在每个切片的图模型中,节点代表用户,边代表两个节点之间的干扰关系,这意味着两个用边连接的节点不能使用相同的资源,用边连接的两个用户也称为相邻节点。具体来说,在每个切片中,对于同一小区中的两个用户na和nb之间存在一条边。此外,如果na和nb的服务基站之间的距离小于最小水平距离dmin,则用户之间存在一条边,这样做的目的是防止两个用户使用相同资源从而避免严重干扰。另外,图模型的另一个要素为颜色,颜色代表信道。另外,本文为每个信道设定颜色等级,来表征其对用户的可用性。
使用资源向量(resource vector,RV)来表示切片si,i∈{1,2}中用户n的资源可用性:
Figure BDA0004076704710000121
其中
Figure BDA0004076704710000122
表示信道i对用户n可用,否则
Figure BDA0004076704710000123
在调度时隙开始时,每个用户的RV初始化为全1向量,即:
Figure BDA0004076704710000124
然后,RV随着资源分配的进行而更新。每个用户结合邻节点的RV,计算一个用户专属的计数向量(counting vector,CV):
Figure BDA0004076704710000125
其中Nn是用户n的邻节点集合,
Figure BDA0004076704710000126
表示两个向量的元素乘积。
每个用户对计数向量中的元素进行排序比较颜色等级(即,计数向量中的元素值),然后在选择用户进行调度时优先使用颜色等级较低且为正数值的颜色。原因在于度数越低的颜色对邻节点的资源分配影响越小,而颜色等级为0的那些资源代表着其对用户不可用。
如图3所示,以一个包含5个顶点、6条边、可用资源为5个RB的图为例。顶点V4的可用资源集合为{3,4,5},其资源向量为RV4=[0,0,1,1,1]。综合考虑其邻节点V1、V3和V5的RV,节点V4的计数向量表示为CV4=[0,0,3,4,3],因此对于用户V4而言,五种颜色(信道)的颜色等级分别为0,0,3,4,3。在为V4分配信道时,优先为其分配颜色等级较小且不为0的信道3和信道5。
在每个调度时隙τ∈T中,每个切片中的用户计算QoS满意度Qn,0,τ,n∈N 1∪N 2。然后,每个用户根据QoS满意度在同一个切片中与邻节点竞争资源。本发明所提的资源调度方案优先选择QoS满意度低的用户进行资源分配。其合理性在于较低的QoS满意度表明用户的QoS要求在以前的时隙中没有得到很好的满足,从保证用户公平的角度来看,应该在当前的调度时隙中优先分配资源。
由于单个用户不可能占据所有资源,所以在每个调度时隙τ∈T中资源的分配资源是逐轮进行的。在每轮中,如果用户n的QoS指标Qn,0,τ均低于其所有邻节点,则用户n赢得这一轮的资源分配优先权。CVn中前
Figure BDA0004076704710000131
个数值最小且为正的资源分配给用户n,其中
Figure BDA0004076704710000132
计算为:
Figure BDA0004076704710000133
其中
Figure BDA0004076704710000134
是向上取整函数。分配完资源后,用户n和与n相关的边均从图中删除。如果是用户n的一个邻节点赢得了这一轮的资源分配,用户n将收到资源分配结果,并且将已经分配完的颜色等级设置为0来更新RVn。并且,接收到邻节点的RV后,自身的计数向量CVn也得到更新。逐轮分配直到图模型中无节点,或者所有用户的资源向量均为零向量(表明网络中无剩余可用资源)之后,则当前时隙的资源调度执行完成。
本发明所提基于深度强化学习的动态带宽分配算法和基于图着色的资源调度算法的详细过程如图4。
虽然在上文中已经参考实施方式对本发明进行了描述,然而在不脱离本发明的范围的情况下,可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是,只要不存在结构冲突,本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用,在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此,本发明并不局限于文中公开的特定实施方式,而是包括落入权利要求的范围内的所有技术方案。

Claims (5)

1.一种空地异构网络中的带宽分配和资源调度联合优化算法,其特征在于:包括如下步骤:
步骤1:构建一个多无人机辅助的上行空地异构网络;
步骤2:空地异构网络中的负载均衡算法;
步骤3:基于深度强化学习的动态带宽分配;
步骤4:面向用户QoS的资源调度方案。
2.根据权利要求1所述的一种空地异构网络中的带宽分配和资源调度联合优化算法,其特征在于:所述步骤1中,其中多个地面基站、无人机、移动宽带用户(Mobile-broadbanduser,MBU)和机器类用户(Machine-type user,MTU)共存于网络中,无人机的部署可以将地面过载小区的多余负载进行转移,用户根据最小路径损耗标准与服务地面基站相关联,系统带宽被划分为多个RB,假设M,K,D,N1,N2分别表示地面基站、UAV、频谱资源、MBUs和MTUs的集合,每个地面基站m∈M、无人机k∈K和地面用户n∈N1∪N2的3D位置分别表示为(xm,ym,0)、(xk,yk,hk)和(xn,yn,0),以切片的形式进行资源管理,将网络中的总带宽分为两个切片,分别为MBU和MTU提供服务,假设MBU切片和MTU切片使用正交的资源集D1和D2来避免干扰,即
Figure FDA0004076704680000011
且D=D1∪D2,同时,假设基站、无人机基站和用户均采用单天线进行传输。
3.根据权利要求1所述的一种空地异构网络中的带宽分配和资源调度联合优化算法,其特征在于:所述步骤2中,优化无人机的3D部署,并构建地面用户与地面基站和空中基站的关联,即求解M和A,从而提高负载分布的均衡性,在加入无人机之前,首先基于最小路径损耗的原则来建立地面地面基站和用户之间的关联,即用户选择与自己之间传输路损最小的地面地面基站。
4.根据权利要求1所述的一种空地异构网络中的带宽分配和资源调度联合优化算法,其特征在于:所述步骤3中,进行Bt的优化,优化Bt可以认为是先后优化切片间的带宽分配和每个切片内的资源调度。
5.根据权利要求1所述的一种空地异构网络中的带宽分配和资源调度联合优化算法,其特征在于:所述步骤4中,在切片间的动态资源分配策略基础上,进行切片内面向用户QoS的资源调度,为每个切片内的用户分配资源,提高用户间的QoS满意度和公平性。
CN202310110541.9A 2023-02-03 2023-02-03 一种空地异构网络中的带宽分配和资源调度联合优化算法 Pending CN116133052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310110541.9A CN116133052A (zh) 2023-02-03 2023-02-03 一种空地异构网络中的带宽分配和资源调度联合优化算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310110541.9A CN116133052A (zh) 2023-02-03 2023-02-03 一种空地异构网络中的带宽分配和资源调度联合优化算法

Publications (1)

Publication Number Publication Date
CN116133052A true CN116133052A (zh) 2023-05-16

Family

ID=86298964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310110541.9A Pending CN116133052A (zh) 2023-02-03 2023-02-03 一种空地异构网络中的带宽分配和资源调度联合优化算法

Country Status (1)

Country Link
CN (1) CN116133052A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117082536A (zh) * 2023-10-08 2023-11-17 香港中文大学(深圳) 一种基于强化学习的空地网络协同覆盖方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117082536A (zh) * 2023-10-08 2023-11-17 香港中文大学(深圳) 一种基于强化学习的空地网络协同覆盖方法
CN117082536B (zh) * 2023-10-08 2024-04-12 香港中文大学(深圳) 一种基于强化学习的空地网络协同覆盖方法

Similar Documents

Publication Publication Date Title
CN110493826B (zh) 一种基于深度强化学习的异构云无线接入网资源分配方法
US10159022B2 (en) Methods and systems for admission control and resource availability prediction considering user equipment (UE) mobility
US11304234B2 (en) Wireless communication system, wireless communication method, wireless LAN access point, and wireless LAN station
Bethanabhotla et al. User association and load balancing for cellular massive MIMO
EP2816833B1 (en) Radio resource control for dual-access-technology cells
US8976690B2 (en) Femto-relay systems and methods of managing same
CN103597763B (zh) 用于在无线电通信系统中协调从单点发射器到单点接收器的至少一个第一发射及从多点发射器或到多点接收器的至少一个第二发射的方法以及其网络节点及移动台
WO2014139810A1 (en) Method and apparatus for inter-rat integration
Maalej et al. Advanced activity-aware multi-channel operations1609. 4 in vanets for vehicular clouds
CN107249202B (zh) 一种分布式无线回程路由算法
CN104703270A (zh) 适用于异构无线蜂窝网络的用户接入和功率分配方法
CN116133052A (zh) 一种空地异构网络中的带宽分配和资源调度联合优化算法
Kim Dual connectivity in heterogeneous small cell networks with mmWave backhauls
el mouna Zhioua et al. A traffic QoS aware approach for cellular infrastructure offloading using VANETs
CN112788726B (zh) 一种无人机辅助基站通信的网络场景模型下的功率控制方法
Cai et al. QoS-guaranteed radio resource scheduling in 5G V2X heterogeneous systems
Derakhshani et al. Airtime usage control in virtualized multi-cell 802.11 networks
Colonnese et al. QoE-aware UAV flight path design for mobile video streaming in HetNet
US9693357B2 (en) Method and apparatus for allocating resource
Kishimoto et al. Reinforcement learning for joint channel/subframe selection of LTE in the unlicensed spectrum
Pateromichelakis et al. End-to-end QoS optimization for V2X service localization
AT&T MobileVideoDelivery_wireless_v1
Sriharsha et al. A novel uav-aided user offloading in 5g and beyond
Giuseppi et al. Design and simulation of the Multi-RAT load-balancing algorithms for 5G-ALLSTAR systems
Hu et al. Performance analysis for D2D-enabled cellular networks with mobile edge computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination