CN111132192A - 一种无人机基站在线轨迹优化方法 - Google Patents
一种无人机基站在线轨迹优化方法 Download PDFInfo
- Publication number
- CN111132192A CN111132192A CN201911284219.8A CN201911284219A CN111132192A CN 111132192 A CN111132192 A CN 111132192A CN 201911284219 A CN201911284219 A CN 201911284219A CN 111132192 A CN111132192 A CN 111132192A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- communication
- trajectory
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/14—Relay systems
- H04B7/15—Active relay systems
- H04B7/185—Space-based or airborne stations; Stations for satellite systems
- H04B7/18502—Airborne stations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/08—Access point devices
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种无人机基站在线轨迹优化方法,通过建立无人机基站通信模型;确定无人机在轨迹策略μ下的平均通信时延函数;利用强化学习算法确定使平均通信时延函数最小的最优轨迹策略,完成无人机基站在线轨迹优化。该方法对通信的模型没有要求,也不需要对环境完全已知,通过提出一个优化问题来最小化无人机基站和用户之间的平均通信时延,并将该优化问题转换成马尔可夫决策过程进行求解。基于强化学习对无人机轨迹进行训练,每一次轨迹训练都能够得到一个回报,根据多次训练得到的回报来更新动作值函数,在训练完毕后,无人机可以根据动作值函数对用户的通信请求做出决策,从而最小化无人机与用户之间的平均通信时延。
Description
技术领域
本发明涉及无人机通信技术领域,尤其涉及一种无人机基站在线轨迹优化方法。
背景技术
在过去的十年中,无人机在无线通信领域引起了广泛的关注。由于无人机灵活性高,移动性高,成本低等特点,使得无人机在很多领域充分发挥了无人机独特的优势。目前使用的基站都是固定静止的,不能满足不断增加的用户设备和高数据速率的需求。为了解决上述问题,无人机与蜂窝网络融合,即无人机基站应运而生。在基础设施覆盖不足的情况下,把无人机作为空中通信基站,为用户设备提供无线通信服务。
目前无人机轨迹优化采用的方法属于离线优化。例如在文章Joint Trajectoryand Communication Design for Multi-UAV Enabled Wireless Networks中,采用了块坐标下降法和连续凸逼近算法优化无人机的轨迹和发射功率,这些算法是在对通信环境的完美假设基础上进行的。离线优化方法,首先需要制定一个易于分析的、可优化的通信系统模型,包括信道模型以及传播环境模型。其次,离线优化还需要对用户的通信请求进行估计和建模,需要完美的建模参数。即使有精确的建模和所有相关参数的信息,现代通信系统中的大多数优化问题都是非凸的,很难有效的解决。然而实际中,通信的环境是不断变化的,用户的通信请求也是随机的、不可预测的,所以以上的假设都不可能。因此无人机在随机的通信请求情况下难以较好地完成轨迹优化。
发明内容
本发明为解决现有的无人机轨迹离线优化方法在在随机的通信请求情况下难以较好地完成轨迹优化的问题,提供了一种无人机基站在线轨迹优化方法。
为实现以上发明目的,而采用的技术手段是:
一种无人机基站在线轨迹优化方法,包括:
S1.建立无人机基站通信模型;
S2.确定无人机在轨迹策略μ下的平均通信时延函数;
S3.利用强化学习算法确定使所述平均通信时延函数最小的最优轨迹策略,完成无人机基站在线轨迹优化。
优选的,步骤S1所述的无人机基站通信模型具体为:包括一个无人机和两个地面节点UE1和UE2,设定地面节点UE1的位置坐标为x1=-a,地面节点UE2的位置坐标为x2=a,无人机飞行高度H不变,无人机沿两个地面节点连接的线段移动,t时刻时无人机在x轴的位置为q(t),q(t)∈[-a,a],无人机的飞行速度为|q′(t)|∈{0,V},通信信道是视距信道,无人机的通信功率固定为Pc,则在t时刻时无人机与地面节点UE1、UE2之间的瞬时通信速率为:
其中xr为无人机的位置,r∈{1,2},H2+(q(t)-xr)2为无人机与地面节点的距离的平方,B为信道带宽,γ为参考距离为1m时的信噪比。
优选的,步骤S2所述的无人机在轨迹策略μ下的平均通信时延函数具体为:
每个地面节点发出的通信请求是独立同分布,服从均值为λ/2的泊松过程,每次通信请求的信息量为L比特;无人机收到地面节点UEr的通信请求后,无人机处于通信状态,此时无人机传输L比特给地面节点UEr,另一地面节点的通信请求会被忽略;当完成通信的数据传输后,无人机进开始等待下一次通信请求:
令Δl为无人机完成第l次通信请求的时延,Mt为t时刻无人机完成的通信请求总次数,定义无人机的给定起始位置为q(0)=0,则轨迹策略μ下的平均通信时延函数为:
优选的,所述步骤S3包括:对所述无人机的轨迹离散化,将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型,对其中的状态空间、动作、动作策略及时延函数建模,并利用强化学习算法求解最优轨迹策略,从而完成无人机基站在线轨迹优化。
优选的,步骤S3中所述将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型,对其中的状态空间、动作、动作策略及时延函数建模具体为:
(1)状态空间:S=I×R,R={0,1,2}表示请求状态,其中R=0表示没有请求,R=1表示接收到来自地面节点UE1的请求,R=2表示接收到来自地面节点UE2的请求;I为无人机轨迹离散化的位置索引序列{-N,-N+1,…,N-1,N},其对应的位置集合是将状态空间分为等待状态Swait=I×{0}和通信状态Scomm=I×{1,2};
(2)动作:设无人机处于等待状态Sn=(i,0)∈Swait,表示无人机处于qi的位置没有接收到请求;动作集合为m={-1,0,1},其中m=-1表示无人机向左移动到qi+1,m=0表示无人机停留盘旋,m=1表示无人机向右移动到qi-1;每个动作所花费的时间,即无人机在两个相邻的离散点所需时间为
当无人机处于通信状态Sn=(i,r)∈Scomm,r=1,2,表示无人机接收到来自地面节点UEr的请求,无人机为地面节点UEr提供L比特数据;此时的动作集合为从qi开始的轨迹,可选的轨迹须满足:
在通信阶段须传输完所有数据,这段时间T定义为通信时延;定义通信状态的动作集合为Ar(i)=UjAr(i→j),Ar(i→j)是指为GNr服务,起点为qi,终点为qj的可行的轨迹集合:
(3)动作策略:以ε的概率在动作集A中随机选择动作a,以1-ε的概率采取贪婪策略:
对于任何一个通信状态(i,r)都有2N+1条轨迹是最优的,在每个可能的结束位置qj∈Q都有一条最优的轨迹;即确定使所述平均通信时延函数最小的最优轨迹策略的问题转变为:确定使所述平均通信时延函数最小的最优等待策略和结束位置策略问题。
q*(·)={qi→(qj,0)→qj}
q*(·)={qi→(xr,δ*)→qj}
q*(·)={qi→(p*,0)→qj}
当r=1时,p*是[xr,min{qi,qj}]区间内的唯一解;当r=2,p*是[max{qi,qj},xr]区间内的唯一解。
优选的,步骤S3中所述利用强化学习算法求解最优轨迹策略,从而完成无人机基站在线轨迹优化具体为:
当无人机处于等待状态时,最优轨迹策略的计算为:
其中m=-1表示无人机向左移动到qi+1,m=0表示无人机停留盘旋,m=1表示无人机向右移动到qi-1;
当无人机处于通信状态时,最优轨迹策略的计算为:
B.执行以下循环计算,直至通信次数N=Nepi时结束循环:
B1.根据ε-greedy选择动作a,即通信状态的轨迹;
B4.更新s=s′,平均通信时延d=D(s,a)。
与现有技术相比,本发明技术方案的有益效果是:
本发明提供的无人机基站在线轨迹优化方法对通信的模型没有要求,也不需要对环境完全已知。本方法通过提出一个优化问题来最小化无人机基站和用户之间的平均通信时延,并将该优化问题转换成马尔可夫决策过程进行求解。基于强化学习对无人机轨迹进行训练,每一次轨迹训练都能够得到一个回报,根据多次训练得到的回报来更新动作值函数,在训练完毕后,无人机可以根据动作值函数对用户的通信请求做出决策,从而最小化无人机与用户之间的平均通信时延。
附图说明
图1为本发明的方法流程图。
图2为本发明中的无人机基站通信模型。
图3为本发明中强化学习算法的原理图。
图5为本发明中无人机处于通信状态时最优轨迹策略的计算流程图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
一种无人机基站在线轨迹优化方法,如图1所示,包括:
S1.建立无人机基站通信模型,如图2所示,无人机基站通信模型包括一个无人机和两个地面节点UE1和UE2,设定地面节点UE1的位置坐标为x1=-a,地面节点UE2的位置坐标为x2=a,无人机飞行高度H不变,无人机沿两个地面节点连接的线段移动,t时刻时无人机在x轴的位置为q(t),q(t)∈[-a,a],无人机的飞行速度为|q′(t)|∈{0,V},通信信道是视距信道,无人机的通信功率固定为Pc,则在t时刻时无人机与地面节点UE1、UE2之间的瞬时通信速率为:
其中xr为无人机的位置,r∈{1,2},H2+(q(t)-xr)2为无人机与地面节点的距离的平方,B为信道带宽,γ为参考距离为1m时的信噪比。
S2.确定无人机在轨迹策略μ下的平均通信时延函数;
每个地面节点发出的通信请求是独立同分布,服从均值为λ/2的泊松过程,每次通信请求的信息量为L比特;无人机收到地面节点UEr的通信请求后,无人机处于通信状态,此时无人机传输L比特给地面节点UEr,另一地面节点的通信请求会被忽略;当完成通信的数据传输后,无人机进开始等待下一次通信请求:
令Δl为无人机完成第l次通信请求的时延,Mt为t时刻无人机完成的通信请求总次数,定义无人机的给定起始位置为q(0)=0,则轨迹策略μ下的平均通信时延函数为:
虽然服务请求(比如来自地面节点UE1)的最小延迟是无人机以最大速度飞向UE1来提高链路质量来实现,但是从平均延迟的角度来看,如果无人机在完成UE1的请求后立即收到来自UE2的新请求,此时为UE2服务的延迟可能很大,因为无人机必须覆盖很大的距离。因此有下述步骤S3;
S3.利用强化学习算法确定使所述平均通信时延函数最小的最优轨迹策略,完成无人机基站在线轨迹优化。
首先介绍强化学习算法:如图3所示,目标通过动作和奖励与环境交互学习,定义为不完全已知的马尔可夫决策过程。强化学习中的目标根据状态S在动作空间A里面选择动作a,奖励T(s,a)表示所选择的动作对目标的贡献,并向目标提供信息,一系列的动作组成策略π(s)。
在本实施例中,对无人机的轨迹离散化,从而将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型,对其中的状态空间、动作、动作策略及时延函数建模,并利用强化学习算法求解最优轨迹策略,从而完成无人机基站在线轨迹优化。
其中将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型,对其中的状态空间、动作、动作策略及时延函数建模具体为:
(1)状态空间:S=I×R,R={0,1,2}表示请求状态,其中R=0表示没有请求,R=1表示接收到来自地面节点UE1的请求,R=2表示接收到来自地面节点UE2的请求;I为无人机轨迹离散化的位置索引序列{-N,-N+1,…,N-1,N},其对应的位置集合是将状态空间分为等待状态Swait=I×{0}和通信状态Scomm=I×{1,2};
(2)动作:设无人机处于等待状态Sn=(i,0)∈Swait,表示无人机处于qi的位置没有接收到请求;动作集合为m={-1,0,1},其中m=-1表示无人机向左移动到qi+1,m=0表示无人机停留盘旋,m=1表示无人机向右移动到qi-1;每个动作所花费的时间,即无人机在两个相邻的离散点所需时间为
当无人机处于通信状态Sn=(i,r)∈Scomm,r=1,2,表示无人机接收到来自地面节点UEr的请求,无人机为地面节点UEr提供L比特数据;此时的动作集合为从qi开始的轨迹,可选的轨迹须满足:
在通信阶段须传输完所有数据,这段时间T定义为通信时延;定义通信状态的动作集合为Ar(i)=UjAr(i→j),Ar(i→j)是指为GNr服务,起点为qi,终点为qj的可行的轨迹集合:
(3)动作策略:以ε的概率在动作集A中随机选择动作a,以1-ε的概率采取贪婪策略:
对于任何一个通信状态(i,r)都有2N+1条轨迹是最优的,在每个可能的结束位置qj∈Q都有一条最优的轨迹;即确定使所述平均通信时延函数最小的最优轨迹策略的问题转变为:确定使所述平均通信时延函数最小的最优等待策略和结束位置策略问题。
以下简要证明上述关于q*(·)和的求解。假设r=2(r=1的情况和r=2对称),对于任意一条轨迹q(·)∈A2(i→j),时延为Δt,可以找到另外一条轨迹时延同为Δt,满足无人机在轨迹下总是比在q(·)轨迹下更靠近地面节点UE2,因此在相同时延的情况下,无人机在轨迹下总是比在q(·)轨迹下能够传输更大的信息量。即能够减少时延。
q*(·)={qi→(qj,0)→qj}
q*(·)={qi→(xr,δ*)→qj}
q*(·)={qi→(p*,0)→qj}
当r=1时,p*是[xr,min{qi,qj}]区间内的唯一解;当r=2,p*是[max{qi,qj},xr]区间内的唯一解。
利用强化学习算法求解最优轨迹策略,从而完成无人机基站在线轨迹优化,如图5所示,具体为:
当无人机处于等待状态时,最优轨迹策略的计算为:
其中m=-1表示无人机向左移动到qi+1,m=0表示无人机停留盘旋,m=1表示无人机向右移动到qi-1;
当无人机处于通信状态时,最优轨迹策略的计算为:
B.执行以下循环计算,直至通信次数N=Nepi时结束循环:
B1.根据ε-greedy随机选择动作a,即通信状态的轨迹;
B4.更新s=s′,平均通信时延d=D(s,a)。
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.一种无人机基站在线轨迹优化方法,其特征在于,包括:
S1.建立无人机基站通信模型;
S2.确定无人机在轨迹策略μ下的平均通信时延函数;
S3.利用强化学习算法确定使所述平均通信时延函数最小的最优轨迹策略,完成无人机基站在线轨迹优化。
2.根据权利要求1所述的无人机基站在线轨迹优化方法,其特征在于,步骤S1所述的无人机基站通信模型具体为:包括一个无人机和两个地面节点UE1和UE2,设定地面节点UE1的位置坐标为x1=-a,地面节点UE2的位置坐标为x2=a,无人机飞行高度H不变,无人机沿两个地面节点连接的线段移动,t时刻时无人机在x轴的位置为q(t),q(t)∈[-a,a],无人机的飞行速度为|q′(t)|∈{0,V},通信信道是视距信道,无人机的通信功率固定为Pc,则在t时刻时无人机与地面节点UE1、UE2之间的瞬时通信速率为:
其中xr为无人机的位置,r∈{1,2},H2+(q(t)-xr)2为无人机与地面节点的距离的平方,B为信道带宽,γ为参考距离为1m时的信噪比。
4.根据权利要求3所述的无人机基站在线轨迹优化方法,其特征在于,所述步骤S3包括:对所述无人机的轨迹离散化,将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型,对其中的状态空间、动作、动作策略及时延函数建模,并利用强化学习算法求解最优轨迹策略,从而完成无人机基站在线轨迹优化。
5.根据权利要求4所述的无人机基站在线轨迹优化方法,其特征在于,步骤S3中所述将确定使所述平均通信时延函数最小的最优轨迹策略的问题建模为马尔科夫决策过程模型,对其中的状态空间、动作、动作策略及时延函数建模具体为:
(1)状态空间:S=I×R,R={0,1,2}表示请求状态,其中R=0表示没有请求,R=1表示接收到来自地面节点UE1的请求,R=2表示接收到来自地面节点UE2的请求;I为无人机轨迹离散化的位置索引序列{-N,-N+1,…,N-1,N},其对应的位置集合是将状态空间分为等待状态Swait=I×{0}和通信状态Scomm=I×{1,2};
(2)动作:设无人机处于等待状态Sn=(i,0)∈Swait,表示无人机处于qi的位置没有接收到请求;动作集合为m={-1,0,1},其中m=-1表示无人机向左移动到qi+1,m=0表示无人机停留盘旋,m=1表示无人机向右移动到qi-1;每个动作所花费的时间,即无人机在两个相邻的离散点所需时间为
当无人机处于通信状态Sn=(i,r)∈Scomm,r=1,2,表示无人机接收到来自地面节点UEr的请求,无人机为地面节点UEr提供L比特数据;此时的动作集合为从qi开始的轨迹,可选的轨迹须满足:
∫0 TRr(q(τ))dτ≥L
在通信阶段须传输完所有数据,这段时间T定义为通信时延;定义通信状态的动作集合为Ar(i)=UjAr(i→j),Ar(i→j)是指为GNr服务,起点为qi,终点为qj的可行的轨迹集合:
(3)动作策略:以ε的概率在动作集A中随机选择动作a,以1-ε的概率采取贪婪策略:
对于任何一个通信状态(i,r)都有2N+1条轨迹是最优的,在每个可能的结束位置qj∈Q都有一条最优的轨迹;即确定使所述平均通信时延函数最小的最优轨迹策略的问题转变为:确定使所述平均通信时延函数最小的最优等待策略和结束位置策略问题。
q*(·)={qi→(qj,0)→qj}
q*(·)={qi→(xr,δ*)→qj}
q*(·)={qi→(p*,0)→qj}
当r=1时,p*是[xr,min{qi,qj}]区间内的唯一解;当r=2,p*是[max{qi,qj},xr]区间内的唯一解。
7.根据权利要求6所述的无人机基站在线轨迹优化方法,其特征在于,步骤S3中所述利用强化学习算法求解最优轨迹策略,从而完成无人机基站在线轨迹优化具体为:
当无人机处于等待状态时,最优轨迹策略的计算为:
其中m=-1表示无人机向左移动到qi+1,m=0表示无人机停留盘旋,m=1表示无人机向右移动到qi-1;
当无人机处于通信状态时,最优轨迹策略的计算为:
B.执行以下循环计算,直至通信次数N=Nepi时结束循环:
B1.根据ε-greedy选择动作a,即通信状态的轨迹;
B4.更新s=s′,平均通信时延d=D(s,a)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911284219.8A CN111132192B (zh) | 2019-12-13 | 2019-12-13 | 一种无人机基站在线轨迹优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911284219.8A CN111132192B (zh) | 2019-12-13 | 2019-12-13 | 一种无人机基站在线轨迹优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111132192A true CN111132192A (zh) | 2020-05-08 |
CN111132192B CN111132192B (zh) | 2023-01-17 |
Family
ID=70498768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911284219.8A Active CN111132192B (zh) | 2019-12-13 | 2019-12-13 | 一种无人机基站在线轨迹优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111132192B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111813167A (zh) * | 2020-07-22 | 2020-10-23 | 南通大学 | 一种飞行速度和轨迹的联合优化方法及系统 |
CN112068590A (zh) * | 2020-08-21 | 2020-12-11 | 广东工业大学 | 无人机基站飞行规划方法、系统、储存介质及无人机基站 |
CN112566209A (zh) * | 2020-11-24 | 2021-03-26 | 山西三友和智慧信息技术股份有限公司 | 一种基于双Q学习的UAV-BSs能量和服务优先级轨迹设计方法 |
CN112867023A (zh) * | 2020-12-30 | 2021-05-28 | 北京理工大学 | 一种通过动态调度无人终端最小化感知数据获取时延方法 |
CN113423060A (zh) * | 2021-06-22 | 2021-09-21 | 广东工业大学 | 一种无人空中通信平台飞行路线的在线优化方法 |
CN113485380A (zh) * | 2021-08-20 | 2021-10-08 | 广东工业大学 | 一种基于强化学习的agv路径规划方法及系统 |
CN113765579A (zh) * | 2021-09-09 | 2021-12-07 | 广东工业大学 | 面向安全通信的无人机飞行路线离线在线混合优化方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10140875B1 (en) * | 2017-05-27 | 2018-11-27 | Hefei University Of Technology | Method and apparatus for joint optimization of multi-UAV task assignment and path planning |
CN108924791A (zh) * | 2018-07-13 | 2018-11-30 | 广东工业大学 | 一种无线通信方法、装置、设备及可读存储介质 |
CN110364031A (zh) * | 2019-07-11 | 2019-10-22 | 北京交通大学 | 地面传感器网络中无人机集群的路径规划和无线通信方法 |
CN110488861A (zh) * | 2019-07-30 | 2019-11-22 | 北京邮电大学 | 基于深度强化学习的无人机轨迹优化方法、装置和无人机 |
-
2019
- 2019-12-13 CN CN201911284219.8A patent/CN111132192B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10140875B1 (en) * | 2017-05-27 | 2018-11-27 | Hefei University Of Technology | Method and apparatus for joint optimization of multi-UAV task assignment and path planning |
CN108924791A (zh) * | 2018-07-13 | 2018-11-30 | 广东工业大学 | 一种无线通信方法、装置、设备及可读存储介质 |
CN110364031A (zh) * | 2019-07-11 | 2019-10-22 | 北京交通大学 | 地面传感器网络中无人机集群的路径规划和无线通信方法 |
CN110488861A (zh) * | 2019-07-30 | 2019-11-22 | 北京邮电大学 | 基于深度强化学习的无人机轨迹优化方法、装置和无人机 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111813167A (zh) * | 2020-07-22 | 2020-10-23 | 南通大学 | 一种飞行速度和轨迹的联合优化方法及系统 |
CN111813167B (zh) * | 2020-07-22 | 2021-04-20 | 南通大学 | 一种飞行速度和轨迹的联合优化方法及系统 |
CN112068590A (zh) * | 2020-08-21 | 2020-12-11 | 广东工业大学 | 无人机基站飞行规划方法、系统、储存介质及无人机基站 |
CN112566209A (zh) * | 2020-11-24 | 2021-03-26 | 山西三友和智慧信息技术股份有限公司 | 一种基于双Q学习的UAV-BSs能量和服务优先级轨迹设计方法 |
CN112867023A (zh) * | 2020-12-30 | 2021-05-28 | 北京理工大学 | 一种通过动态调度无人终端最小化感知数据获取时延方法 |
CN112867023B (zh) * | 2020-12-30 | 2021-11-19 | 北京理工大学 | 一种通过动态调度无人终端最小化感知数据获取时延方法 |
CN113423060A (zh) * | 2021-06-22 | 2021-09-21 | 广东工业大学 | 一种无人空中通信平台飞行路线的在线优化方法 |
CN113423060B (zh) * | 2021-06-22 | 2022-05-10 | 广东工业大学 | 一种无人空中通信平台飞行路线的在线优化方法 |
CN113485380A (zh) * | 2021-08-20 | 2021-10-08 | 广东工业大学 | 一种基于强化学习的agv路径规划方法及系统 |
CN113485380B (zh) * | 2021-08-20 | 2022-04-12 | 广东工业大学 | 一种基于强化学习的agv路径规划方法及系统 |
CN113765579A (zh) * | 2021-09-09 | 2021-12-07 | 广东工业大学 | 面向安全通信的无人机飞行路线离线在线混合优化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111132192B (zh) | 2023-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111132192B (zh) | 一种无人机基站在线轨迹优化方法 | |
CN111786713B (zh) | 一种基于多智能体深度强化学习的无人机网络悬停位置优化方法 | |
CN112118556B (zh) | 基于深度强化学习的无人机轨迹及功率联合优化方法 | |
Chen et al. | A multihop task offloading decision model in MEC-enabled internet of vehicles | |
CN111083668B (zh) | 一种在车联网中基于联盟博弈算法的d2d资源分配方法 | |
CN113162679A (zh) | 基于ddpg算法的irs辅助无人机通信联合优化方法 | |
CN110809306A (zh) | 一种基于深度强化学习的终端接入选择方法 | |
CN103237319B (zh) | 无线网络中连通性恢复的方法和装置 | |
CN110392357A (zh) | 一种无人机辅助物联网通信装置的资源分配控制方法 | |
Liu et al. | Opportunistic data collection in cognitive wireless sensor networks: Air–ground collaborative online planning | |
CN114690799A (zh) | 基于信息年龄的空天地一体化无人机物联网数据采集方法 | |
Xu et al. | Deep reinforcement learning approach for joint trajectory design in multi-UAV IoT networks | |
CN113055078B (zh) | 有效信息年龄确定方法、以及无人机飞行轨迹优化方法 | |
CN113904948B (zh) | 基于跨层的多维参数的5g网络带宽预测系统及方法 | |
CN115696211A (zh) | 一种基于信息年龄的无人机轨迹自适应优化方法 | |
CN109587751B (zh) | 无人机自组网自适应路由方法和系统 | |
CN109474960B (zh) | 一种基于q学习的双连接流量分配方法 | |
CN115190079B (zh) | 基于分层强化学习的高铁自供电感知通信一体化交互方法 | |
CN114980126A (zh) | 基于深度确定性策略梯度算法的无人机中继通信系统的实现方法 | |
CN117880892A (zh) | 基于数字孪生的车联网网络切片切换与资源分配方法 | |
CN112333648B (zh) | 一种基于无人机的动态数据收集方法 | |
CN114189937A (zh) | 基于深度强化学习的实时集中式无线网络调度方法和设备 | |
CN112996121A (zh) | 一种面向集群内通信的u2u分布式动态资源分配方法 | |
CN108770025B (zh) | 基于ran切片的异构无线网络切换方法 | |
Huh et al. | Improvement of multichannel LoRa networks based on distributed joint queueing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |