CN110830136B - 一种基于无线电地图的无人机轨迹设计和功率分配方法 - Google Patents
一种基于无线电地图的无人机轨迹设计和功率分配方法 Download PDFInfo
- Publication number
- CN110830136B CN110830136B CN201911105810.2A CN201911105810A CN110830136B CN 110830136 B CN110830136 B CN 110830136B CN 201911105810 A CN201911105810 A CN 201911105810A CN 110830136 B CN110830136 B CN 110830136B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- gbs
- drone
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013461 design Methods 0.000 title claims abstract description 29
- 238000009826 distribution Methods 0.000 title claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 37
- 230000002787 reinforcement Effects 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 230000009471 action Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000008901 benefit Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 5
- 230000001149 cognitive effect Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 241001515997 Eristalis tenax Species 0.000 claims description 2
- 241000255925 Diptera Species 0.000 claims 4
- 230000007423 decrease Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 claims 1
- 208000035895 Guillain-Barré syndrome Diseases 0.000 description 20
- 238000010586 diagram Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
- H04B17/336—Signal-to-interference ratio [SIR] or carrier-to-interference ratio [CIR]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
- H04B17/345—Interference values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/391—Modelling the propagation channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/04—Wireless resource allocation
- H04W72/044—Wireless resource allocation based on the type of the allocated resource
- H04W72/0473—Wireless resource allocation based on the type of the allocated resource the resource being transmission power
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/50—Allocation or scheduling criteria for wireless resources
- H04W72/54—Allocation or scheduling criteria for wireless resources based on quality criteria
- H04W72/542—Allocation or scheduling criteria for wireless resources based on quality criteria using measured or perceived quality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于无线电地图的无人机轨迹设计和功率分配方法,特征是根据基于无线电地图获取的信道模型,通过设计无人机的轨迹和发送功率来最大化无人机通信链路的可得速率,同时控制给原有存在的地面链路的干扰小于一定的阈值;采用强化学习算法来设计无人机的轨迹和发送功率。与现有的无人机通信中基于固定的视距信道或者统计的概率视距信道来联合设计无人机轨迹和功率分配从而实现无人机通信系统吞吐量最大化并控制无人机引入干扰方法的相比,采用本发明方法能够符合实际环境的信道特征,在满足干扰限制的要求下,进一步地提高无人机通信系统的吞吐量。
Description
技术领域
本发明属于无线通信技术领域,具体涉及无人机通信中基于无线电地图来实现无人机通信系统吞吐量最大化和干扰控制的无人机轨迹设计和功率分配方法。
背景技术
如今无人机已经被广泛应用于很多领域,如货物传送,空中摄影,农业测量等。为了将无人机融入现有的蜂窝网络,在the 3rd Generation Partnership Project(3GPP)协议中,指出了一种新的应用于无人机通信的技术,其中无人机被用作空中用户来完成它们所需要执行的任务,并受控于地面蜂窝网络来保证无人机的安全飞行。在这种新技术下,为了保证无人机用户和地面用户共存的前提下,会产生一个严峻挑战,即空对地(air-to-ground(A2G))干扰。已有前人致力于解决这方面的问题,其中文献“Cognitive UAVcommunication via joint maneuver and power control”(将出版于IEEE Transactionson Communications,2019)中,设A2G信道服从特定的视距(line-of-sight(LoS))信道,文献“Cellular-connected UAV:Uplink association,power control and interferencecoordination”(将出版于IEEE Transactions on Wireless Communications,2019)中,设A2G信道服从统计的概率LoS信道。但是,上述基于LoS信道和概率LoS信道的假设在实际应用中仍存在一定的缺陷。一方面,关于A2G信道服从特定的LoS信道的假设对应于无人机在郊区等开阔地执行任务并且飞行高度足够高,但过高的飞行高度会对系统性能带来一定程度上的损失;另一方面,关于A2G信道服从统计的概率LoS信道的假设对应于无人机在障碍物均匀分布的环境中执行任务,但在实际场景中,城镇环境下的障碍物很难服从均匀的分布。所以,总的来说,虽然基于LoS信道或者概率LoS信道假设得到的设计结果可以为实际应用提供很好的理论指导,但是由于使用模型的不匹配性,基于上述假设得到的结果在实际环境中会遭到一定程度的损失。
发明内容
本发明的目的是提出一种无人机通信中基于无线电地图的无人机轨迹设计和功率分配方法,以最大化无人机通信系统的吞吐量,并且控制给原地面共信道链路的干扰。
本发明无人机通信中基于无线电地图的无人机轨迹设计和功率分配方法,其特征在于:
考虑一个实际环境的场景,其中空对地A2G信道会遭到障碍物的遮挡,并且地面的障碍物分布是不均匀的;信道参数---包括参考信道功率增益以及路损指数---与无人机以及地面节点的位置紧密相连,设无人机在通信之前可以利用无线电地图技术来提前获取这些具体的信道参数;
根据基于无线电地图技术获取的信道参数和信道模型,考虑一个无人机用户通过共享现有地面链路的频谱资源与一个地面基站通信;为保护现有的地面链路,采用认知无线电网络下的干扰温度(interference temperature(IT))技术,使得共信道地面链路受到来自无人机通信的干扰功率不超过给定的阈值;通过优化无人机的轨迹和发送功率来最大化无人机和其相连基站的可得速率,并受限于无人机的飞行速度,初始位置,发送功率的限制,以及共信道地面链路的IT限制;
考虑一个频谱共享的场景,其中一个无人机用户和一个空闲地面基站(availableGBS)通信,该available GBS没有利用与无人机相同的工作频段来服务地面用户,与此同时有K个被占用的地面基站(occupied GBS)正在利用与无人机相同的工作频段来服务相对应的地面用户;注意到这些地面基站occupied GBS工作在相同的频段;令定义为occupied GBS的集合;关注一个特定的工作时间段T=[0,T],其中T>0定义为总的通信时间;为便于分析,将这个连续的时间段离散化为N个时隙,每个时隙有相同的时间δ=T/N;这里,δ选取的足够小以至于无人机的位置在每个时隙内可以被假设为近似固定的;进一步定义
不失一般性,考虑一个三维(three-dimensional(3D))系统,其中available GBS固定在(x,y,0),每个occupied GBS固定在(xk,yk,0);为方便起见,定义和为available GBS以及每个occupied GBS k的水平位置坐标;设无人机飞行在一个固定的高度H,以及无人机具有时变的水平位置q[n]=(x[n],y[n]);定义无人机的初始水平位置为qI=(xI,yI),因此有q[1]=qI;设在每个时刻n,无人机可以改变它的位置或者留在原地;定义为无人机位置改变的集合,每个元素分别代表无人机或停在原地,或向左飞,或向右飞,或向前飞,或向后飞;这里λ是一个常数,代表无人机每个时刻的位移量;令λ[n]定义为无人机每个时刻的位置改变向量,因此有以及
在每个时隙n,无人机和available GBS以及每个occupied GBSk之间的距离分别是
其中||·||代表欧式范数;因此,从无人机到available GBS以及每个occupiedGBSk之间的信道功率增益分别表示为
其中β(q[n],w)和β(q[n],wk)是参考信道功率增益,α(q[n],w)和α(q[n],wk)是路损指数;注意到在考虑的信道模型下,β(q[n],w),β(q[n],wk),α(q[n],w)和α(q[n],wk)与无人机的位置q[n]以及地面基站的位置w和wk的关系;设这些精确的信道参数被无人机通过频谱感知以及机器学习的方法在通信之前获取;
定义p[n]≥0为无人机的发射功率,则无人机到available GBS之间的瞬时通信速率为
在每个时刻n,在每个occupied GBSk处收到的干扰能量为
在每个时刻n,每个occupied GBS收到的干扰能量不能超过给定的阈值,定义为Γ≥0,因此
q[1]=qI[1] (7)
其中,式(6)是无人机最大发送功率限制,式(7)是初始位置限制,式(8)是速度限制,式(9)是IT限制;
在任何给定可行的轨迹下,限制式(6)和式(9)合并成
当问题(P1)取得最优解的时候,限制式(10)一定要取等,因此
将公式(11)带入问题(P1)的目标函数中去,问题(P1)可以转换为
s.t.(7)and(8),
其中
本发明基于无线电地图的无人机轨迹设计和功率分配方法,由于充分利用了无人机可控的移动性以及无线电地图的优势,通过设计无人机的轨迹(求解问题(P1.1))以及发送功率(基于公式(11))在保证带给地面共信道通信链路干扰的前提下,进一步最大化频谱共享场景下无人机通信的吞吐量;与现有的联合无人机轨迹设计和功率分配方法中假设A2G信道服从确定的LoS信道或者统计的概率LoS信道相比,本发明中的A2G信道是基于实际的无线电地图获得,包括参考信道功率增益以及路损指数等信道参数与无人机以及地面基站的位置密切相关;基于无线电地图的信道使得无人机可以充分利用实际信道环境的特征以及通过操控其自身的移动性充分调整其轨迹,从而获取更好的信道条件与地面相连的基站进行通信,同时选取与共信道受干扰基站信道环境较差的位置进行飞行,从而更好控制干扰;总的来说,由于基于无线电地图的信道假设,本发明所提出的无人机轨迹设计和功率分配方法可以在保证干扰要求的前提下,更进一步提供系统的吞吐量,并更贴合实际环境的需求。
附图说明:
图1为本发明基于无线电地图的无人机轨迹设计和功率分配方法的收敛性验证图;
图2为本发明基于无线电地图的无人机轨迹设计和功率分配方法的无人机轨迹设计图;
图3为本发明基于无线电地图的无人机轨迹设计和功率分配方法的关于不同信道假设的系统吞吐量对比图;
图4为本发明基于无线电地图的无人机轨迹设计和功率分配方法的关于不同系统参数的系统吞吐量对比图;
图5为本发明基于无线电地图的无人机轨迹设计和功率分配方法的关于不同算法的系统吞吐量对比图。
具体实施方式
下面结合附图对本发明基于无线电地图的无人机轨迹设计和功率分配方法进行进一步的详细描述和具体说明。
实施例1:
本发明提出无人机通信中基于无线电地图的无人机轨迹设计和功率分配方法来在满足干扰要求的前提下实现无人机通信系统吞吐量的最大化,该方法的实施依靠强化学习算法。为了便于理解方法的具体实施,先简要介绍强化学习算法以及Q-1earning的基本知识。
强化学习是一个有用的机器学习算法,它可以学习一个代理商如何在一个环境中采取行动,从而来获取一定时间范围内的最大累积回报。Q-learning是一个无模型的强化学习算法,它利用Q-table记录不同行为下的期望报酬,然后由代理商找到一个最优策略,使其获得最大化的报酬。
特别地,考虑一个马尔科夫过程(Markov decision process(MDP))。从数学角度上来说,MDP过程可以由4元组组成{S,A,P,R},其中包括状态空间S,动作空间A,状态转移概率Pa(s,s′)=Pr(sn+1=s′|sn=s,an=a),以及奖励函数Ra(s,s′)。在每个时刻n,代理商观察其当前的状态的sn,采取动作an∈A,然后移动下一个状态sn+1。基于这个动作,代理商会收到一个瞬时的奖励通常来说,代理商的目标就是找到一个最优的策略π来最大化奖励,其中这个策略可以被定义为π(a|s)=Pr(an=a|sn=s)。
然后,定义Q-function是在状态s下采取动作a以及遵循策略π获得的未来打折奖励的一个均值函数,因此
其中E{·}是指均值函数,以及
定义的是所有未来奖励的打折和以打折因子γ∈[0,1)来平衡长期与短期的收益。特别地,当γ趋近于1的时候,代理商要注重获取长期受益,相反地,当γ趋于0的时候,代理商要注重获取短期受益。因此,代理商的目标是找到一个最优策略来最大化Q-function,即
注意到如果最优的策略π*不是唯一的,可以从可行的解中随机选取一个最为最优策略。结合公式(13)和(14),每一步Q-table的更新策略为
其中α∈[0,1]代表学习率,用来决定有多少旧的信息是保存下来的。为了使得Q-learning算法能够很好的收敛,学习参数α和γ都应该合适地进行选择。
具体实施过程:
接下来,具体介绍本发明如何利用Q-learning来求解问题(P1.1)从而来设计无人机的轨迹,然后基于公式(11)来优化无人机的功率分配。
第一步:将问题匹配成一个马尔科夫决策过程(Markov decision process(MDP)),其中MDP的四元组设置如下:
1)状态空间S:S={q[n],n},其包括无人机的实时位置以及时间
3)转移概率P:状态转移概率为
注意到式(17)保证问题(P1.1)的可行域,如果选择的动作a会使无人机飞出可行域,它的位置不再改变;
4)奖励函数R:奖励函数为在available GBS处的实时通信速率。
第二步:利用如下所示算法1来设计无人机的轨迹。
第三步:基于算法1得到的无人机轨迹以及公式(11)来设计无人机的功率分配,具体为
其中,q[n]是利用算法1得到的问题(P1.1)的解。
本实施例中无人机通信中基于吞吐量最大化和干扰控制的无人机轨迹设计和功率分配方法的仿真具体设置如下:无人机的固定飞行高度为H=100m,噪声功率为σ2=-80dBm,无人机的最大发送功率为P=30dBm。然后,本发明考虑在500m×500m的范围内有K=6个GBS,具体如附图2所示,其中的方块代表平均高度为40m的障碍物(比如建筑物)。本发明考虑分段信道模型,其中,如果在无人机和GBS的连线有障碍物的话,本发明设信道服从非视距(non-line-of-sight(NLoS))信道,其中路损指数为αNLoS=4,参考信道功率增益为βNLoS=-40dB。相反地,如果无人机和GBS的连线上没有障碍物的话,本发明设信道服从LoS信道,其中路损指数为αLoS=2,参考信道功率增益为βLoS=-30dB。无人机的初始位置设置为qI=(-240m,130m)。为了执行Q-learning,本发明将整个区域分为20*20的方格,以及设置无人机的单位位移为λ=25m。在执行Q-learning的过程中,如果无人机采取的动作使无人机移出20*20的方格以外,会加一个很大的惩罚。除此之外,本发明设置学习率为α=0.3,打折因子为γ=0.9,随机动作选择概率的初始值为ò=0.9。仿真程序在Matlab上运行。具体的仿真对比结果可参见所附图1、图2、图3、图4和图5中所示。
图1为本发明基于无线电地图的无人机轨迹设计和功率分配方法的收敛性验证图,其中无人机的飞行时间设置为N=200。从图1中可以观察到基于算法1得到的平均可得速率随着迭代次数的增加会迅速增加,然后大概在Nite=9000次时达到收敛。
图2为本发明基于无线电地图的无人机轨迹设计和功率分配方法的无人机轨迹设计图,其中无人机的飞行时间设置为N=200。从图2中可以观察到,无人机在飞行过程中,无人机和occupied GBSs之间的链路遭到障碍物的阻挡,从而干扰减小。从图2中还可以观察到,无人机最后会停在与available GBS的连线是LoS信道的区域尽可能长的时间,从而获取更好的信道条件,来增强通信速率。这证明了本发明提出的基于强化学习算法的有效性。
图3为本发明基于无线电地图的无人机轨迹设计和功率分配方法的关于不同信道假设的系统吞吐量对比图。从图3中可以观察到,基于所有信道的通信速率随着时间都是增加的。这是因为对于所有的情况,无人机都可以调整其轨迹,从而无人机可以花费更长的时间停靠在available GBS附近当通信时间增加的时候,因此从平均意义上来说信道条件更好,从而提高系统性能。从图3中还可以观察到,基于无线电地图得到的性能相比于基于LoS或者概率LoS信道得到的性能要给更好。这是因为,无论是固定的LoS信道还是统计的概率LoS信道都无法准确的获得实际信道环境的信道特征,从而造成性能的损失。这说明了基于无线电地图的信道模型可以有效地进一步的提升系统的性能。
图4为本发明基于无线电地图的无人机轨迹设计和功率分配方法的关于不同系统参数的系统吞吐量对比图。从图4中可以看出,选择合适的学习参数对算法性能会产生影响。因此,在强化学习算法中,需要选取合适的学习参数,从而更进一步的提高系统性能。
图5为本发明基于无线电地图的无人机轨迹设计和功率分配方法的关于不同算法的系统吞吐量对比图。从图5中可以看出,基于强化学习算法得到的系统性能比贪婪算法以及随机算法得到的系统性能好。这是因为在贪婪算法中,每个时刻,无人机只能选择一个使瞬时奖励最大的动作。而在随机算法中,每个时刻,无人机都会从动作空间中随机选取一个动作。这无法保证在一定时间内无人机的平均积累奖励。然而,在基于强化学习的算法中,无人机采取的动作是考虑到整个时间段内的平均奖励,因此能得到更好的系统性能。这证明了本发明提出了的基于强化学习的算法能够有效地设计基于无线电地图的无人机轨迹和功率分配。
通过上面的实施例,证明了本发明基于无线电地图的无人机轨迹设计和功率分配方法,与现有无人机通信中基于固定的LoS信道或者统计的概率LoS信道相比,在满足给共信道地面链路的干扰下,通过对无人机轨迹和功率的联合设计,充分利用无线电地图的优势,以进一步提高系统的吞吐量,从而更好的实现频谱资源的共享。
Claims (1)
1.一种基于无线电地图的无人机轨迹设计和功率分配方法,其特征在于:
考虑一个实际环境的场景,其中空对地A2G信道会遭到障碍物的遮挡,并且地面的障碍物分布是不均匀的;包括参考信道功率增益以及路损指数在内的信道参数与无人机以及地面节点的位置紧密相连,设无人机在通信之前可以利用无线电地图技术来提前获取这些具体的信道参数;
根据基于无线电地图技术获取的信道参数和信道模型,考虑一个无人机用户通过共享现有地面链路的频谱资源与一个地面基站通信;为了保护现有的地面链路,采用了认知无线电网络下的干扰温度IT技术,使得共信道地面链路受到来自无人机通信的干扰功率不超过给定的阈值;通过优化无人机的轨迹和发送功率来最大化无人机和其相连基站的可得速率,并受限于无人机的飞行速度,初始位置,发送功率的限制,以及共信道地面链路的IT限制;
考虑一个频谱共享的场景,其中一个无人机用户和一个空闲地面基站available GBS通信,该available GBS没有利用与无人机相同的工作频段来服务地面用户,与此同时有K个被占用的地面基站occupied GBS正在利用与无人机相同的工作频段来服务相对应的地面用户;注意到这些地面基站occupied GBS工作在相同的频段;令定义为occupied GBS的集合;关注一个特定的工作时间段T=[0,T],其中T>0定义为总的通信时间;为了便于分析,将这个连续的时间段离散化为N个时隙,每个时隙有相同的时间δ=T/N;这里,δ选取的足够小以至于无人机的位置在每个时隙内可以被假设为近似固定的;进一步定义
不失一般性,考虑一个三维系统,其中available GBS固定在(x,y,0),每个occupiedGBS固定在(xk,yk,0);为了方便起见,定义和为availableGBS以及每个occupied GBS k的水平位置坐标;设无人机飞行在一个固定的高度H,以及无人机具有时变的水平位置q[n]=(x[n],y[n]);定义无人机的初始水平位置qI=(xI,yI),因此有q[1]=qI;设在每个时刻n,无人机可以改变它的位置或者留在原地;定义为无人机位置改变的集合,每个元素分别代表无人机停在原地,向左飞,向右飞,向前飞,向后飞;这里λ是一个常数,代表无人机每个时刻的位移量;令λ[n]定义为无人机每个时刻的位置改变向量;因此,有以及q[n]=q[n-1]+λ[n-1],
在每个时隙n,无人机和available GBS以及每个occupied GBS k之间的距离分别是
其中||·||代表欧式范数;因此,从无人机到available GBS以及每个occupied GBS k之间的信道功率增益分别表示为
其中β(q[n],w)和β(q[n],wk)是参考信道功率增益,α(q[n],w)和α(q[n],wk)是路损指数;注意到在考虑的信道模型下,β(q[n],w),β(q[n],wk),α(q[n],w)和α(q[n],wk)与无人机的位置q[n]以及地面基站的位置w和wk有很大的关系;设无人机通信之前通过频谱感知以及机器学习的方法获取这些精确的信道参数;
每个时刻n,在每个occupied GBS k处收到的干扰能量为
在每个时刻n,每个occupied GBS收到的干扰能量不能超过给定的阈值,定义为Γ≥0,因此
q[1]=qI[1] (7)
其中式(6)是无人机最大发送功率限制,式(7)是初始位置限制,式(8)是速度限制,式(9)是IT限制;
在任何给定可行的轨迹下,限制式(6)和式(9)合并成
当问题(P1)取得最优解的时候,限制式(10)一定要取等;因此
将公式(11)带入问题(P1)的目标函数中去,问题(P1)转换为
s.t.(7)and(8),
其中
采取强化学习算法来设计无人机的轨迹即求解问题(P1.1),从而基于式(11)设计无人机的功率分配,具体的求解过程如下:
第一步:将问题匹配成一个马尔科夫决策过程(MDP),其中MDP的四元组设置如下:
1)状态空间S:S={q[n],n},其包括无人机的实时位置以及时间;
3)转移概率P:状态转移概率为
4)奖励函数R:奖励函数为在available GBS处的实时通信速率;
第二步:利用如下所示算法1来设计无人机的轨迹;
该算法主要步骤如下:
首先,初始化:初始化最大迭代次数Nite,最大飞行时间N,学习速率α,探索概率ò,以及打折因子γ,将Q-table的初始值全部设置为0,迭代次数为nite=1;
然后,重复:
A)初始化状态空间为s={qI,1},时间为n=1,探索概率ò随时间下降;
B)重复:
1)利用ò-greedy方法选取动作a=λ∈A,即无人机以概率ò随机的选取动作,以概率1-ò选取可以使Q-function最大的动作其中定义Q-function是在状态s下采取动作a以及遵循策略π获得的未来打折奖励的一个均值函数,并且
4)更新s=s′和n=n+1;
C)直到最大飞行时间,即n=N;
D)更新nite=nite+1;
直到最大迭代次数nite=Nite;
第三步:基于上述算法得到的无人机轨迹以及公式(11)来设计无人机的功率分配,具体为
其中,q[n]是利用算法1得到的问题(P1.1)的解。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911105810.2A CN110830136B (zh) | 2019-11-13 | 2019-11-13 | 一种基于无线电地图的无人机轨迹设计和功率分配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911105810.2A CN110830136B (zh) | 2019-11-13 | 2019-11-13 | 一种基于无线电地图的无人机轨迹设计和功率分配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110830136A CN110830136A (zh) | 2020-02-21 |
CN110830136B true CN110830136B (zh) | 2021-10-19 |
Family
ID=69554725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911105810.2A Active CN110830136B (zh) | 2019-11-13 | 2019-11-13 | 一种基于无线电地图的无人机轨迹设计和功率分配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110830136B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111431644B (zh) * | 2020-03-24 | 2022-06-10 | 南京航空航天大学 | 面向频谱认知的无人机路径自主规划装置及方法 |
CN113438009B (zh) * | 2021-04-22 | 2022-09-06 | 珠海大横琴科技发展有限公司 | 信道分配方法、功率控制方法及相应的装置、设备、介质 |
CN113490176B (zh) * | 2021-06-01 | 2022-05-13 | 武汉理工大学 | 一种基于三维轨迹功率优化的无人机通信抗干扰方法 |
CN113852966A (zh) * | 2021-10-22 | 2021-12-28 | 北京科技大学 | 一种认知无人机网络的3d频谱共享方法及装置 |
CN114448490B (zh) * | 2021-12-22 | 2024-04-26 | 天翼云科技有限公司 | 一种多无人机的路径规划与频谱资源分配方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108880662A (zh) * | 2018-07-16 | 2018-11-23 | 深圳大学 | 一种基于无人机的无线信息和能量传输的优化方法 |
CN110381445A (zh) * | 2019-06-28 | 2019-10-25 | 广东工业大学 | 一种基于无人机基站系统的资源分配与飞行轨迹优化方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9622133B1 (en) * | 2015-10-23 | 2017-04-11 | The Florida International University Board Of Trustees | Interference and mobility management in UAV-assisted wireless networks |
CN110225465A (zh) * | 2019-05-23 | 2019-09-10 | 浙江大学 | 一种基于noma的移动无人机系统的轨迹与功率联合优化方法 |
-
2019
- 2019-11-13 CN CN201911105810.2A patent/CN110830136B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108880662A (zh) * | 2018-07-16 | 2018-11-23 | 深圳大学 | 一种基于无人机的无线信息和能量传输的优化方法 |
CN110381445A (zh) * | 2019-06-28 | 2019-10-25 | 广东工业大学 | 一种基于无人机基站系统的资源分配与飞行轨迹优化方法 |
Non-Patent Citations (3)
Title |
---|
Cognitive UAV Communication via Joint Maneuver and Power Control;Yuwei Huang等;《IEEE Transactions on Communications》;20190725;第67卷(第11期);第7872-7888页 * |
Radio-Map-Based Robust Positioning Optimization for UAV-Enabled Wireless Power Transfer;Xiaopeng Mo等;《IEEE Wireless Communications Letters》;20191015;第179-183页 * |
基于几何统计的无人机信道模型及硬件模拟;毛开等;《系统工程与电子技术》;20190715;第41卷(第12期);第2872-2878页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110830136A (zh) | 2020-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110830136B (zh) | 一种基于无线电地图的无人机轨迹设计和功率分配方法 | |
You et al. | Hybrid offline-online design for UAV-enabled data harvesting in probabilistic LoS channels | |
Challita et al. | Deep reinforcement learning for interference-aware path planning of cellular-connected UAVs | |
Bayerlein et al. | Trajectory optimization for autonomous flying base station via reinforcement learning | |
CN108832998B (zh) | 一种空地融合通信网络中的协同数据分发方法 | |
CN113206701A (zh) | 一种无人机飞行基站的三维部署和功率分配联合优化方法 | |
CN112532300A (zh) | 单无人机反向散射通信网络轨迹优化与资源分配方法 | |
CN113489531A (zh) | 一种功率和三维轨迹联合优化的无人机协作通信方法 | |
CN111711960A (zh) | 一种能量效率知觉的无人机群三维部署方法 | |
CN115499921A (zh) | 面向复杂无人机网络的三维轨迹设计及资源调度优化方法 | |
Rosabal et al. | Minimization of the worst case average energy consumption in UAV-assisted IoT networks | |
Shin et al. | Frequency channel assignment for networked UAVs using a hedonic game | |
Babu et al. | Fairness-based energy-efficient 3-D path planning of a portable access point: A deep reinforcement learning approach | |
Gupta et al. | Deployment and trajectory design of fixed-wing UAVs in NOMA assisted wireless networks | |
Fu et al. | UAV trajectory, user association and power control for multi-UAV enabled energy harvesting communications: offline design and online reinforcement learning | |
Zhang et al. | Machine learning driven UAV-assisted edge computing | |
CN116546435A (zh) | 一种启用无人机的上行非正交多址网络多用户接入方法 | |
Lyu et al. | Movement and communication co-design in multi-UAV enabled wireless systems via DRL | |
CN115037337B (zh) | 一种智能反射面驱动的多用户协同传输方法 | |
Wu et al. | Resource allocation optimization of UAVs-enabled air-ground collaborative emergency network in disaster area | |
Lee et al. | MUSK-DQN: Multi-UBS selective-K deep Q-network for maximizing energy-efficiency | |
Jing et al. | UAV trajectory design and bandwidth allocation for coverage maximization with energy and time constraints | |
CN115278584A (zh) | 基于noma的无人机数据采集系统及其采集方法 | |
Liu et al. | Throughput optimization of blocked data transmission: A mobile-relay-UAV-assisted approach | |
Chen et al. | Trajectory control in self-sustainable uav-aided mmwave networks: A constrained multi-agent reinforcement learning approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |