CN112068590A - 无人机基站飞行规划方法、系统、储存介质及无人机基站 - Google Patents

无人机基站飞行规划方法、系统、储存介质及无人机基站 Download PDF

Info

Publication number
CN112068590A
CN112068590A CN202010852007.1A CN202010852007A CN112068590A CN 112068590 A CN112068590 A CN 112068590A CN 202010852007 A CN202010852007 A CN 202010852007A CN 112068590 A CN112068590 A CN 112068590A
Authority
CN
China
Prior art keywords
base station
aerial vehicle
unmanned aerial
vehicle base
instantaneous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010852007.1A
Other languages
English (en)
Inventor
张广驰
郑思远
崔苗
刘圣海
王昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010852007.1A priority Critical patent/CN112068590A/zh
Publication of CN112068590A publication Critical patent/CN112068590A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/42—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for mass transport vehicles, e.g. buses, trains or aircraft

Abstract

本发明提出了一种无人机基站飞行规划方法、系统、储存介质及无人机基站，方法部分包括以下步骤：通过采用视距‑非视距混合信道的无人机基站运作模型实时获取无人机基站的瞬时保密率以及无人机基站到终点位置的距离；以所述瞬时保密率作为收益进行强化学习，获取无人机基站从起始位置飞往瞬时保密率最大值位置的优化飞行轨迹；以所述瞬时保密率结合无人机基站到终点位置的距离作为收益进行强化学习，获取无人机基站从瞬时保密率最大值位置飞往终点位置的优化飞行轨迹。

Description

无人机基站飞行规划方法、系统、储存介质及无人机基站
技术领域
本发明涉及无线通信技术领域，更具体地，涉及一种无人机基站飞行规划方法、系统、储存介质及无人机基站。
背景技术
近年来，以无人机实现的空中基站技术得到了充分的关注和发展。相比于传统的地面通信，无人机基站飞行高度较高，更容易与地面用户进行视距传输从而提高通信质量，可以根据需要快速部署，对灾害搜救等紧急场景具有很强的适用性。无人机基站作为无人机平台，其飞行路线的优化问题备受关注；同时，作为一种基站平台，如何确保机密信息在传输过程中的安全性也是一个非常重要现实问题。
如公开时间为2020.06.26，公开号为CN 111343712 A的中国专利：一种无人机辅助认知无线网络通信安全的控制方法所示，目前现有技术一般是用连续凸逼近和块坐标下降法联合优化，这样得到的最优轨迹是固定的、离线的，同时也意味着需要前期大量的计算工作；另外，现有技术通常只考虑了视距传输，而这同样是脱离实际环境的，局限性明显。
发明内容
针对现有技术的局限，本发明提出一种无人机基站飞行规划方法、系统、储存介质及无人机基站，本发明采用的技术方案是：
一种无人机基站飞行规划方法，包括以下步骤：
通过采用视距-非视距混合信道的无人机基站运作模型实时获取无人机基站的瞬时保密率以及无人机基站到终点位置的距离；
以所述瞬时保密率作为收益进行强化学习，获取无人机基站从起始位置飞往瞬时保密率最大值位置的优化飞行轨迹；
以所述瞬时保密率结合无人机基站到终点位置的距离作为收益进行强化学习，获取无人机基站从瞬时保密率最大值位置飞往终点位置的优化飞行轨迹。
相较于现有技术，本发明通过视距-非视距混合信道的无人机基站，并运用强化学习方法以收益形式化目标，使无人机基站在执行任务的过程中与环境不断自主交互，在线实时探索出一条最优路径，使得无人机在飞行过程中平均保密率达到最大，能够结合实际运用环境有效实现飞行过程中机密信息的安全通信。
作为一种优选方案，所述无人机基站运作模型包括无人机基站以及能够从所述无人机基站获取无线信号的地面节点k，k取值为1表示合法接受节点，k取值为2表示窃听节点；无人机基站到地面节点k的平均路径损耗通过以下公式描述：
Figure BDA0002645049490000021
其中，无人机基站与地面节点k在t时刻视距传输的概率
Figure BDA0002645049490000022
Figure BDA0002645049490000023
θk(t)表示无人机基站与地面节点k在t时刻的仰角，a和b为根据环境得到的常量参数，H和L(t)分别为无人机基站的飞行高度和无人机基站到地面节点k的水平距离；
视距传输信道的自由空间路径损耗PLLoS(t)：
Figure BDA0002645049490000024
非视距传输信道的自由空间路径损PLNLoS(t)：
Figure BDA0002645049490000025
dk(t)为无人机基站在t时刻到地面节点k的距离，fc为载波频率，c表示光速，ηLoS为视距信道因环境因素造成的额外损耗，ηNLoS为非视距信道因环境因素造成的额外损耗。
作为一种优选方案，无人机基站的瞬时保密率通过以下公式获取：
Rsec(t)＝R1(t)-R2(t)；
其中，无人机基站到地面节点k的瞬时传输速率Rk(t)：
Figure BDA0002645049490000026
P表示无人机基站的传输功率，gk(t)表示无人机基站到地面节点k链路的信道增益，σ2为地面节点k接收信号时产生的热噪声。
进一步的，通过以小尺度衰落ρk(t)，
Figure BDA0002645049490000031
作为
Figure BDA0002645049490000032
的独立同分布，生成随机矩阵代入所述瞬时保密率的公式中获取无人机基站的瞬时保密率最大值位置。
进一步的，在获取无人机基站从起始位置飞往瞬时保密率最大值位置的优化飞行轨迹时，强化学习过程中的收益如下：
Rt＝β1Rsec(t)；
在获取无人机基站从瞬时保密率最大值位置飞往终点位置的优化飞行轨迹时，强化学习过程中的收益如下：
Rt＝β2Rsec(t)+β3D(t)；
其中β1、β2以及β3为预设的系数。
作为一种优选的方案，所述强化学习通过Q-learning算法进行。
进一步的，在强化学习的过程中按以下公式更新价值函数Q(St,At)：
Figure BDA0002645049490000033
其中，St表示无人机基站的位置，At表示无人机基站的飞行动作，a∈动作集A(s)，步长α表示无人机基站每次飞行动作的执行时间长度；γ为衰减因子，0≤γ≤1。
一种无人机基站飞行规划系统，包括：
无人机基站状态获取模块，用于通过采用视距-非视距混合信道的无人机基站运作模型实时获取无人机基站的瞬时保密率以及无人机基站到终点位置的距离；
第一优化模块，用于以所述瞬时保密率作为收益进行强化学习，获取无人机基站从起始位置飞往瞬时保密率最大值位置的优化飞行轨迹；
第二优化模块，用于以所述瞬时保密率结合无人机基站到终点位置的距离作为收益进行强化学习，获取无人机基站从瞬时保密率最大值位置飞往终点位置的优化飞行轨迹。
本发明还提供以下内容：
一种储存介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现如前述的无人机基站飞行规划方法的步骤。
一种无人机基站，包括无人机平台以及设置在无人机平台的无线传输设备，所述无人机平台包括储存介质、处理器以及储存在所述储存介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现如前述的无人机基站飞行规划方法的步骤。
附图说明
图1为本发明实施例提供的无人机基站飞行规划方法的步骤流程图；
图2为本发明实施例提供的无人机基站运作模型示意图；
图3为本发明实施例对无人机基站进行强化学习的逻辑示意图；
图4为本发明实施例对无人机基站采用Q-learning算法的执行逻辑流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。以下结合附图和实施例对本发明做进一步的阐述。
为了解决现有技术的局限性，本实施例提供了一种技术方案，下面结合附图和实施例对本发明的技术方案做进一步的说明。
请参考图1，一种无人机基站飞行规划方法，包括以下步骤：
S01，通过采用视距-非视距混合信道的无人机基站运作模型实时获取无人机基站的瞬时保密率以及无人机基站到终点位置的距离；
S02，以所述瞬时保密率作为收益进行强化学习，获取无人机基站从起始位置飞往瞬时保密率最大值位置的优化飞行轨迹；
S03，以所述瞬时保密率结合无人机基站到终点位置的距离作为收益进行强化学习，获取无人机基站从瞬时保密率最大值位置飞往终点位置的优化飞行轨迹。
相较于现有技术，本发明通过视距-非视距混合信道的无人机基站，并运用强化学习方法以收益形式化目标，使无人机基站在执行任务的过程中与环境不断自主交互，在线实时探索出一条最优路径，使得无人机在飞行过程中平均保密率达到最大，能够结合实际运用环境有效实现飞行过程中机密信息的安全通信。
具体的，请参阅图2：
在一种可选的实施例中，所述无人机基站运作模型包括无人机基站U以及能够从所述无人机基站获取无线信号的地面节点k，k取值为1表示合法接受节点A，k取值为2表示窃听节点E；
在这一运作模型中，合法接受者A和窃听者E之间的距离为X，无人机基站U于存在窃听者的环境下发送机密信息给合法接受者A，无人机基站U在传输信息的过程中应尽量远离窃听者以达到飞行过程中平均保密率最大的目的。无人机基站在时间为t时的位置为(x(t),y(t),H)，0≤t≤T，其中，H是无人机基站的飞行高度，在飞行过程中被认为固定值；可以认为，起始位置、瞬时保密率最大值位置以及终点位置均在同一个高度，即所述飞行过程并不包括无人机基站起飞、降落的过程。T为无人机基站到达终点位置的时间。在无人机基站U在飞行过程中即可发挥通信基站的作用，在到达瞬时保密率最大值位置后，可在此持续悬停作业。
在一种可选的实施例中，可以将无人机基站的飞行过程分为两部分，以无人机基站从瞬时保密率最大值位置飞往终点位置的开始时间Tmid为界；第一阶段为无人机基站从起始位置飞往瞬时保密率最大值位置，并在此位置悬停作业的过程，t≤Tmid；第二阶段无人机基站从瞬时保密率最大值位置飞往终点位置，t＞Tmid。
本实施例所进行强化学习的原理，请参阅图3；具体的，无人机基站作为本发明的执行个体，在强化学习的过程中通过操作无人机基站不断进行决策，即在每一步中选择一个合适的飞行动作At；而飞行环境作为无人机基站飞行过程中的状态集合，在无人机基站每次选择一个飞行动作At后，无人机基站所处的位置St会发生改变，即进入到下一个状态St+1；同时，无人机基站还会得到采取飞行动作At后的收益Rt+1。然后无人机基站继续选择下一个合适的飞行动作，不断重复此过程直到达到结束条件，这一系列状态和飞行动作生成无人机基站的策略π，在本实施例中策略体现为优化的飞行轨迹，即无人机基站将在飞行过程中实时优化飞行路线；无人机基站的目标不是最大化当前收益，而是最大化长期收益：
Figure BDA0002645049490000061
其中，γ是折扣率，取值0≤γ≤1。
最大化长期收益相应的最优动作价值函数如下：
Figure BDA0002645049490000062
动作价值函数是强化学习中一个重要概念，指在策略π下从状态s开始，执行动作a后所有可能的决策序列的期望收益，即：
Figure BDA0002645049490000071
在本实施例中，所述无人机基站运作模型中无人机基站的飞行区域由离散化的格子组成；一般来说，飞行位置都是连续的，将飞行位置离散化有利于数据处理的过程。
具体的，所述飞行动作包括往东飞、往西飞、往南飞、往北飞以及悬停。
作为一种可选的实施例，无人机基站到终点位置的距离D(t)通过以下公式获得：
Figure BDA0002645049490000072
其中，Ω(t)表示在t时刻无人机基站的位置，ΩF表示终点位置，ΩF＝(xF,yF,H)。
在本实施例中，无人机基站U到地面节点k链路的信道增益包含路径损耗和瑞利衰落，则无人机基站U到地面节点k链路的信道hk的如下式所示：
Figure BDA0002645049490000073
其中，ρk(t)表示小尺度衰落，PLk(t)表示无人机基站到地面节点k的平均路径损耗；
在一种可选的实施例中，无人机基站到地面节点k的平均路径损耗通过以下公式描述：
Figure BDA0002645049490000074
其中，无人机基站与地面节点k在t时刻视距传输的概率
Figure BDA0002645049490000075
Figure BDA0002645049490000076
θk(t)表示无人机基站与地面节点k在t时刻的仰角，a和b为根据环境得到的常量参数，H和L(t)分别为无人机基站的飞行高度和无人机基站到地面节点k的水平距离；
视距传输信道的自由空间路径损耗PLLoS(t)：
Figure BDA0002645049490000081
非视距传输信道的自由空间路径损PLNLoS(t)：
Figure BDA0002645049490000082
dk(t)为无人机基站在t时刻到地面节点k的距离，fc为载波频率，c表示光速，ηLoS为视距信道因环境因素造成的额外损耗，ηNLoS为非视距信道因环境因素造成的额外损耗。
具体的，可通过一下公式获得所述无人机基站与地面节点k在t时刻的仰角θk(t)：
Figure BDA0002645049490000083
其中，H和L(t)分别是无人机基站的飞行高度和无人机基站到地面节点k的水平距离。
在一种可选的实施例中，无人机基站的瞬时保密率通过以下公式获取：
Rsec(t)＝R1(t)-R2(t)；
其中，无人机基站到地面节点k的瞬时传输速率Rk(t)：
Figure BDA0002645049490000084
P表示无人机基站的传输功率，gk(t)表示无人机基站到地面节点k链路的信道增益，σ2为地面节点k接收信号时产生的热噪声。
进一步的，将无人机基站从起始位置飞行至终点位置的飞行时间T按间隔长度d均分为N个时间间隔，其中d为足够小的值使得每个时间间隔内的无人机可以视为悬停状态，通过以上设置即可通过以下公式获取无人机基站的平均保密率R ave_sec：
Figure BDA0002645049490000085
其中，[s]+＝max(s,0)；在第n个时间间隔内无人机基站到地面节点k的传输速率为：
Figure BDA0002645049490000091
进一步的，通过以小尺度衰落ρk(t)，
Figure BDA0002645049490000092
作为
Figure BDA0002645049490000093
的独立同分布，生成随机矩阵代入所述瞬时保密率的公式中获取无人机基站的瞬时保密率最大值位置。
在一种可选的实施例中，在获取无人机基站从起始位置飞往瞬时保密率最大值位置的优化飞行轨迹时，强化学习过程中的收益如下：
Rt＝β1Rsec(t)；
在获取无人机基站从瞬时保密率最大值位置飞往终点位置的优化飞行轨迹时，强化学习过程中的收益如下：
Rt＝β2Rsec(t)+β3D(t)；
其中β1、β2以及β3为预设的系数。
作为一种优选的实施例，所述强化学习通过Q-learning算法进行。
具体的，Q-Learning算法是一种使用时序差分求解强化学习控制问题的方法,是不基于环境状态转化模型的求解方法。是通过价值函数Q(St,At)的更新来更新策略，通过策略来产生新的状态和即时收益，进而更新价值函数，一直进行下去直到价值函数和策略都收敛。
Q-Learning算法在于先基于状态St，采用ε-贪婪算法选择到动作At，执行动作后得到收益Rt+1并进入下一个状态St+1，此时使用贪婪算法选择At+1，即选择最大的a作为At+1来更新价值函数。即对于Q-Learning算法，在每次迭代过程中，会从动作中选一个使得Q(St+1,a)最大的动作At+1，此时选择的动作只参与价值函数的更新，不会执行，待函数更新后，新的执行动作需要基于状态St+1，用ε-贪婪算法重新选择得到。
请参阅图4，Q-Learning算法在本实施例中的执行逻辑包括以下过程：
步骤1，对以下参数进行设置：包括幕值Nep，状态集S，动作集A(s)，步长α，探索率ε，衰减因子γ；
步骤2，对Q1(s,a)和Q2(s,a)进行初始化，且
Figure BDA0002645049490000101
a∈A(s)；
步骤3，将两个飞行阶段的终态Q1(Terminal state)和Q2(Terminal state)值设置为0；
步骤4，从1开始迭代，直到幕值Nep：
a)初始化无人机起飞位置
b)用ε-贪婪算法根据当前无人机基站的位置St选择飞行动作At
c)执行飞行动作At，得到新的位置St+1和收益Rt+1
d)更新动作价值函数Q：当无人机的飞行时间t≤Tmid时，更新Q1(s,a)，当无人机的飞行时间t＞Tmid时，更新Q2(s,a)；
e)St←St+1
f)如果St+1是终止状态，当前迭代结束，否则转到步骤b
其中Goal1、Goal2分别表示第一阶段中的瞬时保密率最大值位置和第二阶段中无人机基站飞行的终点位置，Tmax表示无人机飞行的最大时长。
在一种可选实施例中，在强化学习的过程中按以下公式更新价值函数Q(St,At)：
Figure BDA0002645049490000102
其中，St表示无人机基站的位置，At表示无人机基站的飞行动作，a∈动作集A(s)，步长α表示无人机基站每次飞行动作的执行时间长度；γ为衰减因子，0≤γ≤1。
一种无人机基站飞行规划系统，包括：
无人机基站状态获取模块1，用于通过采用视距-非视距混合信道的无人机基站运作模型实时获取无人机基站的瞬时保密率以及无人机基站到终点位置的距离；
第一优化模块2，用于以所述瞬时保密率作为收益进行强化学习，获取无人机基站从起始位置飞往瞬时保密率最大值位置的优化飞行轨迹；
第二优化模块3，用于以所述瞬时保密率结合无人机基站到终点位置的距离作为收益进行强化学习，获取无人机基站从瞬时保密率最大值位置飞往终点位置的优化飞行轨迹。
本发明还提供以下内容：
一种储存介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现如前述的无人机基站飞行规划方法的步骤。
一种无人机基站，包括无人机平台以及设置在无人机平台的无线传输设备，所述无人机平台包括储存介质、处理器以及储存在所述储存介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现如前述的无人机基站飞行规划方法的步骤。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种无人机基站飞行规划方法，其特征在于，包括以下步骤：
通过采用视距-非视距混合信道的无人机基站运作模型实时获取无人机基站的瞬时保密率以及无人机基站到终点位置的距离；
以所述瞬时保密率作为收益进行强化学习，获取无人机基站从起始位置飞往瞬时保密率最大值位置的优化飞行轨迹；
以所述瞬时保密率结合无人机基站到终点位置的距离作为收益进行强化学习，获取无人机基站从瞬时保密率最大值位置飞往终点位置的优化飞行轨迹。
2.根据权利要求1所述的无人机基站飞行规划方法，其特征在于，所述无人机基站运作模型包括无人机基站以及能够从所述无人机基站获取无线信号的地面节点k，k取值为1表示合法接受节点，k取值为2表示窃听节点；无人机基站到地面节点k的平均路径损耗通过以下公式描述：
Figure FDA0002645049480000011
其中，无人机基站与地面节点k在t时刻视距传输的概率
Figure FDA0002645049480000012
Figure FDA0002645049480000013
θk(t)表示无人机基站与地面节点k在t时刻的仰角，a和b为根据环境得到的常量参数，H和L(t)分别为无人机基站的飞行高度和无人机基站到地面节点k的水平距离；
视距传输信道的自由空间路径损耗PLLoS(t)：
Figure FDA0002645049480000014
非视距传输信道的自由空间路径损PLNLoS(t)：
Figure FDA0002645049480000015
dk(t)为无人机基站在t时刻到地面节点k的距离，fc为载波频率，c表示光速，ηLoS为视距信道因环境因素造成的额外损耗，ηNLoS为非视距信道因环境因素造成的额外损耗。
3.根据权利要求2所述的无人机基站飞行规划方法，其特征在于，无人机基站的瞬时保密率通过以下公式获取：
Rsec(t)＝R1(t)-R2(t)；
其中，无人机基站到地面节点k的瞬时传输速率Rk(t)：
Figure FDA0002645049480000021
P表示无人机基站的传输功率，gk(t)表示无人机基站到地面节点k链路的信道增益，σ2为地面节点k接收信号时产生的热噪声。
4.根据权利要求3所述的无人机基站飞行规划方法，其特征在于，通过以小尺度衰落ρk(t)，
Figure FDA0002645049480000022
作为
Figure FDA0002645049480000023
的独立同分布，生成随机矩阵代入所述瞬时保密率的公式中获取无人机基站的瞬时保密率最大值位置。
5.根据权利要求3所述的无人机基站飞行规划方法，其特征在于，在获取无人机基站从起始位置飞往瞬时保密率最大值位置的优化飞行轨迹时，强化学习过程中的收益如下：
Rt＝β1Rsec(t)；
在获取无人机基站从瞬时保密率最大值位置飞往终点位置的优化飞行轨迹时，强化学习过程中的收益如下：
Rt＝β2Rsec(t)+β3D(t)；
其中β1、β2以及β3为预设的系数。
6.根据权利要求1至5任一项所述的无人机基站飞行规划方法，其特征在于，所述强化学习通过Q-learning算法进行。
7.根据权利要求1至5任一项所述的无人机基站飞行规划方法，其特征在于，在强化学习的过程中按以下公式更新价值函数Q(St,At)：
Figure FDA0002645049480000024
其中，St表示无人机基站的位置，At表示无人机基站的飞行动作，a∈动作集A(s)，步长α表示无人机基站每次飞行动作的执行时间长度；γ为衰减因子，0≤γ≤1。
8.一种无人机基站飞行规划系统，其特征在于，包括：
无人机基站状态获取模块，用于通过采用视距-非视距混合信道的无人机基站运作模型实时获取无人机基站的瞬时保密率以及无人机基站到终点位置的距离；
第一优化模块，用于以所述瞬时保密率作为收益进行强化学习，获取无人机基站从起始位置飞往瞬时保密率最大值位置的优化飞行轨迹；
第二优化模块，用于以所述瞬时保密率结合无人机基站到终点位置的距离作为收益进行强化学习，获取无人机基站从瞬时保密率最大值位置飞往终点位置的优化飞行轨迹。
9.一种储存介质，其上储存有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的无人机基站飞行规划方法的步骤。
10.一种无人机基站，包括无人机平台以及设置在无人机平台的无线传输设备，其特征在于：所述无人机平台包括储存介质、处理器以及储存在所述储存介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的无人机基站飞行规划方法的步骤。
CN202010852007.1A 2020-08-21 2020-08-21 无人机基站飞行规划方法、系统、储存介质及无人机基站 Pending CN112068590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010852007.1A CN112068590A (zh) 2020-08-21 2020-08-21 无人机基站飞行规划方法、系统、储存介质及无人机基站

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010852007.1A CN112068590A (zh) 2020-08-21 2020-08-21 无人机基站飞行规划方法、系统、储存介质及无人机基站

Publications (1)

Publication Number Publication Date
CN112068590A true CN112068590A (zh) 2020-12-11

Family

ID=73659917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010852007.1A Pending CN112068590A (zh) 2020-08-21 2020-08-21 无人机基站飞行规划方法、系统、储存介质及无人机基站

Country Status (1)

Country Link
CN (1) CN112068590A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112243239A (zh) * 2020-12-21 2021-01-19 长沙理工大学 一种基于立交桥的无人机部署方法及相关装置
CN112672307A (zh) * 2021-03-18 2021-04-16 浙江工商大学 一种基于q学习的无人机辅助数据收集系统及方法
CN113188547A (zh) * 2021-05-06 2021-07-30 国能朔黄铁路发展有限责任公司 无人机路径规划方法、装置、控制器及存储介质
CN113890588A (zh) * 2021-09-29 2022-01-04 吉林大学 一种基于虚拟阵列天线协作波束成形的无人机中继通信方法
CN114330978A (zh) * 2021-11-11 2022-04-12 深圳大学 一种空地机器人任务动态分配方法、存储介质及终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180247160A1 (en) * 2017-02-27 2018-08-30 Mohsen Rohani Planning system and method for controlling operation of an autonomous vehicle to navigate a planned path
CN109059931A (zh) * 2018-09-05 2018-12-21 北京航空航天大学 一种基于多智能体强化学习的路径规划方法
CN110488861A (zh) * 2019-07-30 2019-11-22 北京邮电大学 基于深度强化学习的无人机轨迹优化方法、装置和无人机
CN110806756A (zh) * 2019-09-10 2020-02-18 西北工业大学 基于ddpg的无人机自主引导控制方法
CN111132192A (zh) * 2019-12-13 2020-05-08 广东工业大学 一种无人机基站在线轨迹优化方法
CN111193536A (zh) * 2019-12-11 2020-05-22 西北工业大学 一种多无人机基站轨迹优化和功率分配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180247160A1 (en) * 2017-02-27 2018-08-30 Mohsen Rohani Planning system and method for controlling operation of an autonomous vehicle to navigate a planned path
CN109059931A (zh) * 2018-09-05 2018-12-21 北京航空航天大学 一种基于多智能体强化学习的路径规划方法
CN110488861A (zh) * 2019-07-30 2019-11-22 北京邮电大学 基于深度强化学习的无人机轨迹优化方法、装置和无人机
CN110806756A (zh) * 2019-09-10 2020-02-18 西北工业大学 基于ddpg的无人机自主引导控制方法
CN111193536A (zh) * 2019-12-11 2020-05-22 西北工业大学 一种多无人机基站轨迹优化和功率分配方法
CN111132192A (zh) * 2019-12-13 2020-05-08 广东工业大学 一种无人机基站在线轨迹优化方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BEHZAD KHAMIDEHI 等: "Reinforcement Learning-Based Trajectory Design for the Aerial Base Stations", ARXIV, 1 July 2019 (2019-07-01), pages 1 - 6 *
BEHZAD KHAMIDEHI等: "Reinforcement Learning-Based Trajectory Design for the Aerial Base Stations", ARXIV, pages 1 - 6 *
GUANGCHI ZHANG等: "Securing UAV Communications Via Trajectory Optimization", ARXIV, 12 October 2017 (2017-10-12), pages 1 - 6 *
YU ZHANG 等: "Multi-Agent Deep Reinforcement Learning for Secure UAV Communications", 2020 IEEE WIRELESS COMMUNICATIONS AND NETWORKING CONFERENCE, 19 June 2020 (2020-06-19), pages 1 - 5 *
YU ZHANG等: "Multi-Agent Deep Reinforcement Learning for Secure UAV Communications", 2020 IEEE WIRELESS COMMUNICATIONS AND NETWORKING CONFERENCE, pages 1 - 5 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112243239A (zh) * 2020-12-21 2021-01-19 长沙理工大学 一种基于立交桥的无人机部署方法及相关装置
CN112243239B (zh) * 2020-12-21 2021-03-12 长沙理工大学 一种基于立交桥的无人机部署方法及相关装置
CN112672307A (zh) * 2021-03-18 2021-04-16 浙江工商大学 一种基于q学习的无人机辅助数据收集系统及方法
CN112672307B (zh) * 2021-03-18 2021-06-29 浙江工商大学 一种基于q学习的无人机辅助数据收集系统及方法
CN113188547A (zh) * 2021-05-06 2021-07-30 国能朔黄铁路发展有限责任公司 无人机路径规划方法、装置、控制器及存储介质
CN113890588A (zh) * 2021-09-29 2022-01-04 吉林大学 一种基于虚拟阵列天线协作波束成形的无人机中继通信方法
CN113890588B (zh) * 2021-09-29 2022-06-07 吉林大学 一种基于虚拟阵列天线协作波束成形的无人机中继通信方法
CN114330978A (zh) * 2021-11-11 2022-04-12 深圳大学 一种空地机器人任务动态分配方法、存储介质及终端设备

Similar Documents

Publication Publication Date Title
CN112068590A (zh) 无人机基站飞行规划方法、系统、储存介质及无人机基站
CN111786713B (zh) 一种基于多智能体深度强化学习的无人机网络悬停位置优化方法
CN110364031A (zh) 地面传感器网络中无人机集群的路径规划和无线通信方法
CN112118556B (zh) 基于深度强化学习的无人机轨迹及功率联合优化方法
Fan et al. Optimal node placement and resource allocation for UAV relaying network
CN112383935B (zh) 基于物理层安全的协作式无人机数据采集系统的设计方法
Zhang et al. Joint trajectory and power optimization for UAV sensing over cellular networks
US20170227957A1 (en) Unmanned vehicles, systems, apparatus and methods for controlling unmanned vehicles
Tuan et al. MPC-based UAV navigation for simultaneous solar-energy harvesting and two-way communications
Zhang et al. Dual-UAV enabled secure data collection with propulsion limitation
CN111381499B (zh) 基于三维空间射频地图学习的网联飞行器自适应控制方法
Bejaoui et al. A QoS-oriented trajectory optimization in swarming unmanned-aerial-vehicles communications
Rao et al. Optimal geometric solutions to UAV-enabled covert communications in line-of-sight scenarios
Razmi et al. Scheduling for ground-assisted federated learning in LEO satellite constellations
CN106980323A (zh) 一种控制无人机的系统
Wang et al. Deep Q-network based dynamic trajectory design for UAV-aided emergency communications
CN110912604B (zh) 一种基于多用户调度的无人机安全通信方法
CN109587684B (zh) 增强无线网络物理层安全的低空移动基站动态部署方法
CN115866574A (zh) 一种面向灾区救援的多无人机飞行搜救轨迹优化方法
CN115407794A (zh) 基于强化学习的海域安全通信无人机轨迹实时规划方法
CN114020024B (zh) 基于蒙特卡洛树搜索的无人机路径规划方法
Wang et al. Power allocation for UAV swarm-enabled secure networks using large-scale CSI
Li et al. Joint user scheduling and UAV trajectory optimization for full-duplex UAV relaying
Tao et al. Resource allocation and trajectories design for UAV-assisted jamming cognitive UAV networks
CN111103894B (zh) 一种无人机移动数据采集场景中三维航迹的优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination