CN114785397A - 无人机基站控制方法、飞行轨迹优化模型构建、训练方法 - Google Patents

无人机基站控制方法、飞行轨迹优化模型构建、训练方法 Download PDF

Info

Publication number
CN114785397A
CN114785397A CN202210243339.9A CN202210243339A CN114785397A CN 114785397 A CN114785397 A CN 114785397A CN 202210243339 A CN202210243339 A CN 202210243339A CN 114785397 A CN114785397 A CN 114785397A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
base station
communication
optimization model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210243339.9A
Other languages
English (en)
Other versions
CN114785397B (zh
Inventor
徐齐钱
陈海军
何春龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sanyuan Optical Communication Technology Co ltd
Original Assignee
Zhejiang Yizheng Communication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Yizheng Communication Technology Co ltd filed Critical Zhejiang Yizheng Communication Technology Co ltd
Priority to CN202210243339.9A priority Critical patent/CN114785397B/zh
Publication of CN114785397A publication Critical patent/CN114785397A/zh
Application granted granted Critical
Publication of CN114785397B publication Critical patent/CN114785397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18504—Aircraft used as relay or high altitude atmospheric platform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请涉及通信技术领域，尤其是涉及一种无人机基站控制方法、飞行轨迹优化模型构建、训练方法。其中，无人机基站控制方法包括：确定若干待通信设备的位置信息和无人机基站当前时隙的状态信息，所述状态信息包括位置信息、速度信息、加速度信息、航向角信息、俯仰角信息、通信完成量信息；利用预先训练好的飞行轨迹优化模型，根据所述状态信息，确定下一时隙的调整动作；所述调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个；以使所述无人机基站根据所述调整动作对相应的参数进行调整，并在下一时隙到达新的轨迹点时通信速率大于或等于预设值。

Description

无人机基站控制方法、飞行轨迹优化模型构建、训练方法
技术领域
本申请涉及通信技术领域，尤其是涉及一种无人机基站控制方法、飞行轨迹优化模型构建、训练方法。
背景技术
目前，无人机基站已成为人们关注和研究的重点之一。它具有成本低廉、移动性强、灵活性高、易于布置以及拥有大概率的视距通信等优点，而这些优点恰恰也是传统基站所不具备的。所以无人机基站在未来5G通信系统中将被广泛应用起来，作为传统基站的补充，实现增强无线蜂窝网络的5G覆盖范围和容量、满足动态变化的移动网络流量需求、实现应急通信、采集物联网设备信息等丰富的功能。
无人机基站一般使用电池供电。但是，无人机基站所使用的电池的续航技术一直没有突破性的进展。而无人机基站也不可能无限增加电池数量，因为随着电池数量增加，无人机基站的载重和能量消耗也将随之增加。这就对无人机基站的单机单次服务时长造成限制，导致无人机基站的服务效率较低。
发明内容
本申请提供一种无人机基站控制方法、飞行轨迹优化模型构建、训练方法。对无人机基站的飞行轨迹、用户调度、资源分配策略进行调整和控制，以使得无人机基站在有限的服务时长内服务效率最大化。
第一方面，本申请提供一种无人机基站控制方法，包括：
确定若干待通信设备的位置信息和无人机基站当前时隙的状态信息，所述状态信息包括位置信息、速度信息、加速度信息、航向角信息、俯仰角信息、通信完成量信息；
利用预先训练好的飞行轨迹优化模型，根据所述状态信息，确定下一时隙的调整动作；所述调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个；以使所述无人机基站根据所述调整动作对相应的参数进行调整，并在下一时隙到达新的轨迹点时通信速率大于或等于预设值。
可选的，所述飞行轨迹优化模型的构建过程包括：
将无人机基站的通信速率最大化，作为优化目标；
构建两个相同结构的深度Q网络，分别作为所述轨迹优化模型中的评估网络和目标网络；
基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数；
基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数；
基于所述优化目标，确定所述轨迹优化模型的奖励函数。
可选的，所述基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数，包括：
基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数如下：
Figure BDA0003543716350000021
其中，t代表第t时隙；(xD[t],yD[t],zD[t])代表无人机在第t时隙的坐标；v[t]代表无人机在第t时隙的速度；a[t]代表无人机在第t时隙的加速度；φ[t]代表无人机在第t时隙的航向角；
Figure BDA0003543716350000022
代表无人机在第t时隙的俯仰角；ηi代表第i用户的已完成的通信量。
可选的，所述基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数，包括：
基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数如下：
Figure BDA0003543716350000023
Figure BDA0003543716350000024
Figure BDA0003543716350000025
Figure BDA0003543716350000026
Nc∈{i,i＝0,...,N-1}；
Figure BDA0003543716350000027
其中，{Δφ[t]}代表控制无人机的航向角的动作向量；
Figure BDA0003543716350000028
代表控制无人机俯仰角的动作向量；{ΔaD[t]}代表无人机的加速度动作向量；Nc代表无人机选择通信的用户数；Δp[t]代表无人机的通信发送功率；Nφ代表无人机的航向角的等份分割参数；
Figure BDA0003543716350000029
代表无人机的俯仰角的等份分割参数；Na代表无人机的加速度的等份分割参数；Np代表无人机的功率的等份分割参数。
可选的，所述基于所述优化目标，确定所述轨迹优化模型的奖励函数，包括：
基于所述优化目标，确定所述轨迹优化模型的奖励函数如下：
Figure BDA0003543716350000031
其中，ri[t]代表第t时隙无人机与待通信设备i之间的通信速率，λ1*ri[t]代表第t时隙无人机与待通信设备i进行通信的速率所决定的奖励；
Figure BDA0003543716350000032
代表第t时隙无人机与待通信设备i之间的通信的链路状态为非视距链路的概率，
Figure BDA0003543716350000033
代表第t时隙无人机与待通信设备i进行通信的链路状态所决定的奖励；ηi代表截止到第t时隙第i用户已完成的通信量，
Figure BDA0003543716350000034
代表待通信设备i的通信量所决定的奖励。
可选的，所述飞行轨迹优化模型的训练过程包括：
初始化所述评估网络和所述目标网络；初始化经验回放池大小mmax；
在所述经验回放池中生成若干组样本；
循环执行如下训练过程，直至损失函数收敛：
随机从所述经验回放池中抽取K组样本；
利用所述K组样本，分别计算所述评估网络的Q值和所述目标网络的Q值；
根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数；
根据所述损失函数，更新所述评估网络的参数所述目标网络的参数。
可选的，所述根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数，包括：
利用如下公式计算损失函数：
Figure BDA0003543716350000035
可选的，所述在所述经验回放池中生成若干组样本，包括：
初始化所述无人机基站的状态信息，随机生成待通信设备的地理位置，初始化时间t＝0；在达到最大时间tmax之前，循环执行如下步骤生成样本：
确定所述无人机基站的状态信息st；
按照贪心策略选择调整动作at；
根据所述调整动作at，确定所述无人机基站的新位置、对应的新的状态信息st+1和对应的通信速率ri[t]；
根据所述奖励函数，计算对应的奖励值rt；
将st、at、rewardt、st+1生成一组新样本[st,at,rt,st+1]，放入经验回放池。
可选的，所述在所述经验回放池中生成若干组样本，包括：
若经验回放池中的样本量达到最大值mmax，则根据样本生成的时间顺序，利用最新生成的样本替换经验回放池中的最早生成的样本。
第二方面，本申请提供一种飞行轨迹优化模型构建方法，包括：
将无人机基站的通信速率最大化，作为优化目标；
构建两个相同结构的深度Q网络，分别作为所述轨迹优化模型中的评估网络和目标网络；
基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数；
基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数；
基于所述优化目标，确定所述轨迹优化模型的奖励函数。
可选的，所述基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数，包括：
基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数如下：
Figure BDA0003543716350000041
其中，t代表第t时隙；(xD[t],yD[t],zD[t])代表无人机在第t时隙的坐标；v[t]代表无人机在第t时隙的速度；a[t]代表无人机在第t时隙的加速度；φ[t]代表无人机在第t时隙的航向角；
Figure BDA0003543716350000042
代表无人机在第t时隙的俯仰角；ηi代表第i用户的已完成的通信量。
可选的，所述基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数，包括：
基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数如下：
Figure BDA0003543716350000043
Figure BDA0003543716350000044
Figure BDA0003543716350000045
Figure BDA0003543716350000046
Nc∈{i,i＝0,...,N-1}；
Figure BDA0003543716350000051
其中，{Δφ[t]}代表控制无人机的航向角的动作向量；
Figure BDA0003543716350000052
代表控制无人机俯仰角的动作向量；{ΔaD[t]}代表无人机的加速度动作向量；Nc代表无人机选择通信的用户数；p[t]代表无人机的通信发送功率；Nφ代表无人机的航向角的等份分割参数；
Figure BDA0003543716350000053
代表无人机的俯仰角的等份分割参数；Na代表无人机的加速度的等份分割参数；Np代表无人机的功率的等份分割参数。
可选的，所述基于所述优化目标，确定所述轨迹优化模型的奖励函数，包括：
基于所述优化目标，确定所述轨迹优化模型的奖励函数如下：
Figure BDA0003543716350000054
其中，ri[t]代表第t时隙无人机与待通信设备i之间的通信速率，λ1*ri[t]代表第t时隙无人机与待通信设备i进行通信的速率所决定的奖励；
Figure BDA0003543716350000055
代表第t时隙无人机与待通信设备i之间的通信的链路状态为非视距链路的概率，
Figure BDA0003543716350000056
代表第t时隙无人机与待通信设备i进行通信的链路状态所决定的奖励；ηi代表截止到第t时隙第i用户已完成的通信量，
Figure BDA0003543716350000057
代表待通信设备i的通信量所决定的奖励。
第三方面，本申请提供一种飞行轨迹优化模型训练方法，用于对利用第二方面所述的方法构建的飞行轨迹优化模型进行训练，所述方法包括：
初始化所述评估网络和所述目标网络；初始化经验回放池大小mmax；
在所述经验回放池中生成若干组样本；
循环执行如下训练过程，直至损失函数收敛：
随机从所述经验回放池中抽取K组样本；
利用所述K组样本，分别计算所述评估网络的Q值和所述目标网络的Q值；
根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数；
根据所述损失函数，更新所述评估网络的参数所述目标网络的参数。
可选的，所述根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数，包括：
利用如下公式计算损失函数：
Figure BDA0003543716350000061
可选的，所述在所述经验回放池中生成若干组样本，包括：
初始化所述无人机基站的状态信息，随机生成待通信设备的地理位置，初始化时间t＝0；
在达到最大时间tmax之前，循环执行如下步骤生成样本：
确定所述无人机基站的状态信息st；
按照贪心策略选择调整动作at；
根据所述调整动作at，确定所述无人机基站的新位置、对应的新的状态信息st+1和对应的通信速率ri[t]；
根据所述奖励函数，计算对应的奖励值rt；
将st、at、rewardt、st+1生成一组新样本[st,at,rt,st+1]，放入经验回放池。
可选的，所述在所述经验回放池中生成若干组样本，包括：
若经验回放池中的样本量达到最大值mmax，则根据样本生成的时间顺序，利用最新生成的样本替换经验回放池中的最早生成的样本。
第四方面，本申请提供一种无人机基站控制装置，包括：
信息确定模块，用于若干待通信设备的位置信息和无人机基站当前时隙的状态信息，所述状态信息包括位置信息、速度信息、加速度信息、航向角信息、俯仰角信息、通信完成量信息；调整动作确定模块，用于利用预先训练好的飞行轨迹优化模型，根据所述状态信息，确定下一时隙的调整动作；所述调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个；以使所述无人机基站根据所述调整动作对相应的参数进行调整，并在下一时隙到达新的轨迹点时通信速率大于或等于预设值。
可选的，所述无人机基站控制装置还包括飞行轨迹优化模型构建模块，用于：
将无人机基站的通信速率最大化，作为优化目标；
构建两个相同结构的深度Q网络，分别作为所述轨迹优化模型中的评估网络和目标网络；
基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数；
基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数；
基于所述优化目标，确定所述轨迹优化模型的奖励函数。
可选的，所述飞行轨迹优化模型构建模块在基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数时，具体用于：
基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数如下：
Figure BDA0003543716350000071
其中，t代表第t时隙；(xD[t],yD[t],zD[t])代表无人机在第t时隙的坐标；v[t]代表无人机在第t时隙的速度；a[t]代表无人机在第t时隙的加速度；φ[t]代表无人机在第t时隙的航向角；
Figure BDA0003543716350000072
代表无人机在第t时隙的俯仰角；ηi代表第i用户的已完成的通信量。
可选的，所述飞行轨迹优化模型构建模块在基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数时，具体用于：
基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数如下：
Figure BDA0003543716350000073
Figure BDA0003543716350000074
Figure BDA0003543716350000075
Figure BDA0003543716350000076
Nc∈{i,i＝0,...,N-1}；
Figure BDA0003543716350000077
其中，{Δφ[t]}代表控制无人机的航向角的动作向量；
Figure BDA0003543716350000078
代表控制无人机俯仰角的动作向量；{ΔaD[t]}代表无人机的加速度动作向量；Nc代表无人机选择通信的用户数；p[t]代表无人机的通信发送功率；Nφ代表无人机的航向角的等份分割参数；
Figure BDA0003543716350000079
代表无人机的俯仰角的等份分割参数；Na代表无人机的加速度的等份分割参数；Np代表无人机的功率的等份分割参数。
可选的，所述飞行轨迹优化模型构建模块在基于所述优化目标，确定所述轨迹优化模型的奖励函数，包括时，具体用于：
基于所述优化目标，确定所述轨迹优化模型的奖励函数如下：
Figure BDA00035437163500000710
其中，ri[t]代表第t时隙无人机与待通信设备i之间的通信速率，λ1*ri[t]代表第t时隙无人机与待通信设备i进行通信的速率所决定的奖励；
Figure BDA00035437163500000711
代表第t时隙无人机与待通信设备i之间的通信的链路状态为非视距链路的概率，
Figure BDA0003543716350000081
代表第t时隙无人机与待通信设备i进行通信的链路状态所决定的奖励；ηi代表截止到第t时隙第i用户已完成的通信量，
Figure BDA0003543716350000082
代表待通信设备i的通信量所决定的奖励。
可选的，所述无人机基站控制装置还包括飞行轨迹优化模型训练模块，用于：
初始化所述评估网络和所述目标网络；初始化经验回放池大小mmax；
在所述经验回放池中生成若干组样本；
循环执行如下训练过程，直至损失函数收敛：
随机从所述经验回放池中抽取K组样本；
利用所述K组样本，分别计算所述评估网络的Q值和所述目标网络的Q值；
根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数；
根据所述损失函数，更新所述评估网络的参数所述目标网络的参数。
可选的，所述飞行轨迹优化模型训练模块在根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数时，具体用于：
利用如下公式计算损失函数：
Figure BDA0003543716350000083
可选的，所述飞行轨迹优化模型训练模块在所述经验回放池中生成若干组样本时，具体用于：
初始化所述无人机基站的状态信息，随机生成待通信设备的地理位置，初始化时间t＝0；
在达到最大时间tmax之前，循环执行如下步骤生成样本：
确定所述无人机基站的状态信息st；
按照贪心策略选择调整动作at；
根据所述调整动作at，确定所述无人机基站的新位置、对应的新的状态信息st+1和对应的通信速率ri[t]；
根据所述奖励函数，计算对应的奖励值rt；
将st、at、rewardt、st+1生成一组新样本[st,at,rt,st+1]，放入经验回放池。
可选的，所述飞行轨迹优化模型训练模块还用于：
若经验回放池中的样本量达到最大值mmax，则根据样本生成的时间顺序，利用最新生成的样本替换经验回放池中的最早生成的样本。
第五方面，本申请提供一种飞行轨迹优化模型构建装置，包括：
优化目标确定模块，用于将无人机基站的通信速率最大化，作为优化目标；
模型结构确定模块，用于构建两个相同结构的深度Q网络，分别作为所述轨迹优化模型中的评估网络和目标网络；
状态信息函数确定模块，用于基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数；
调整动作函数确定模块，用于基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数；
奖励函数确定模块，用于基于所述优化目标，确定所述轨迹优化模型的奖励函数。
可选的，所述状态信息函数确定模块，具体用于：
基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数如下：
Figure BDA0003543716350000091
其中，t代表第t时隙；(xD[t],yD[t],zD[t])代表无人机在第t时隙的坐标；v[t]代表无人机在第t时隙的速度；a[t]代表无人机在第t时隙的加速度；φ[t]代表无人机在第t时隙的航向角；
Figure BDA0003543716350000092
代表无人机在第t时隙的俯仰角；ηi代表第i用户的已完成的通信量。
可选的，所述调整动作函数确定模块，具体用于：
基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数如下：
Figure BDA0003543716350000093
Figure BDA0003543716350000094
Figure BDA0003543716350000095
Figure BDA0003543716350000096
Nc∈{i,i＝0,...,N-1}；
Figure BDA0003543716350000097
其中，{Δφ[t]}代表控制无人机的航向角的动作向量；
Figure BDA0003543716350000098
代表控制无人机俯仰角的动作向量；{ΔaD[t]}代表无人机的加速度动作向量；Nc代表无人机选择通信的用户数；p[t]代表无人机的通信发送功率；Nφ代表无人机的航向角的等份分割参数；
Figure BDA0003543716350000101
代表无人机的俯仰角的等份分割参数；Na代表无人机的加速度的等份分割参数；Np代表无人机的功率的等份分割参数。
可选的，所述奖励函数确定模块，具体用于：
基于所述优化目标，确定所述轨迹优化模型的奖励函数如下：
Figure BDA0003543716350000102
其中，ri[t]代表第t时隙无人机与待通信设备i之间的通信速率，λ1*ri[t]代表第t时隙无人机与待通信设备i进行通信的速率所决定的奖励；
Figure BDA0003543716350000103
代表第t时隙无人机与待通信设备i之间的通信的链路状态为非视距链路的概率，
Figure BDA0003543716350000104
代表第t时隙无人机与待通信设备i进行通信的链路状态所决定的奖励；ηi代表截止到第t时隙第i用户已完成的通信量，
Figure BDA0003543716350000105
代表待通信设备i的通信量所决定的奖励。
第六方面，本申请提供一种飞行轨迹优化模型训练装置，用于对利用第二方面所述的方法构建的飞行轨迹优化模型进行训练，所述装置包括：
初始化模块，用于初始化所述评估网络和所述目标网络；初始化经验回放池大小mmax；
样本生成模块，用于在所述经验回放池中生成若干组样本；
训练模块，用于循环执行如下训练过程，直至损失函数收敛：随机从所述经验回放池中抽取K组样本；利用所述K组样本，分别计算所述评估网络的Q值和所述目标网络的Q值；根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数；根据所述损失函数，更新所述评估网络的参数所述目标网络的参数。
可选的，所述训练模块在根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数时，具体用于：
利用如下公式计算损失函数：
Figure BDA0003543716350000106
可选的，所述样本生成模块，具体用于：
初始化所述无人机基站的状态信息，随机生成待通信设备的地理位置，初始化时间t＝0；
在达到最大时间tmax之前，循环执行如下步骤生成样本：
确定所述无人机基站的状态信息st；
按照贪心策略选择调整动作at；
根据所述调整动作at，确定所述无人机基站的新位置、对应的新的状态信息st+1和对应的通信速率ri[t]；
根据所述奖励函数，计算对应的奖励值rt；
将st、at、rewardt、st+1生成一组新样本[st,at,rt,st+1]，放入经验回放池。
可选的，所述样本生成模块，具体用于：
若经验回放池中的样本量达到最大值mmax，则根据样本生成的时间顺序，利用最新生成的样本替换经验回放池中的最早生成的样本。
第七方面，本申请提供一种电子设备，包括：存储器和处理器，所述存储器上存储有能够被处理器加载并执行如第一方面或第二方面或第三方面的方法的计算机程序。
第八方面，本申请提供一种计算机可读存储介质，存储有能够被处理器加载并执行如第一方面或第二方面或第三方面的计算机程序。
本申请提供了一种无人机基站控制方法、装置、电子设备及飞行轨迹优化模型构建、训练方法。其中，无人机基站控制方法包括：确定若干待通信设备的位置信息和无人机基站当前时隙的状态信息，所述状态信息包括位置信息、速度信息、加速度信息、航向角信息、俯仰角信息、通信完成量信息；利用预先训练好的飞行轨迹优化模型，根据所述状态信息，确定下一时隙的调整动作；所述调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个；以使所述无人机基站根据所述调整动作对相应的参数进行调整，并在下一时隙到达新的轨迹点时通信速率大于或等于预设值。本申请提供的方案，使得无人机基站可以基于飞行轨迹优化模型进行飞行动作调整，以便于在到达的每一个轨迹点上都保证通信的最小速率。进而可以使无人机基站的服务效率大大提升。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种应用场景的示意图。
图2为本申请一实施例提供的一种无人机基站控制方法的流程图。
图3为本申请一实施例提供的另一种应用场景的示意图。
图4为本申请一实施例提供的一种深度强化学习DQN算法的框架示意图。
图5为本申请一实施例提供的一种样本生成过程的流程图。
图6a-图6c为本申请一实施例提供的一种无人机基站飞行轨迹的示意图。
图6d为本申请一实施例提供的两种算法下无人机基站的吞吐量的对比示意图。
图7为本申请一实施例提供的一种无人机基站控制装置的结构示意图。
图8为本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
目前，无人机基站已成为人们研究的重点之一。它具有成本低廉、移动性强、灵活性高、易于布置以及拥有大概率的视距通信等优点。这些优点一直是传统基站所无法达到的。所以无人机基站可以在未来5G通信系统中被广泛应用起来。第一，可用于增强无线蜂窝网络的5G覆盖范围和容量。第二，可满足动态变化的移动网络流量需求。第三，可实现应急通信。第四，可采集待通信设备信息。
但是无人机基站电池技术发展比较慢，无人机基站不可能无限增加电池数量。因为随着电池数量增加，无人机载重也随之增加，无人机能量消耗也随之增加。
基于此，本申请提供一种无人机基站控制方法、装置、电子设备及飞行轨迹优化模型构建、训练方法。通过调整无人机基站的飞行姿态，达到优化飞行轨迹、最大化通信速率、提高服务效率的目的。
图1为本申请提供的一种应用场景示意图。如图1所示的，有若干个待通信设备随机分布在一定区域范围内，一个无人机基站(UAV-BS)负责与该区域内的这些待通信设备(在本场景中，待通信设备为物联网设备Internet of Device Thing,IoDT)进行通信。其中，虚线所示为其中一条下行通信链路。在通信过程中，无人机基站采用本申请提供的方法进行飞行动作调节，可以使无人机基站与各物联网设备的通信效率达到最大，尽快完成在该区域范围内的通信任务。
在另一些场景中，还可以由另一控制设备基于本申请提供的方法对无人机基站进行飞行姿态调节。
无人机基站进行飞行姿态调节的具体实现过程可以参考以下实施例。
图2为本申请一实施例提供的一种无人机基站控制方法的流程图，本实施例的方法可以应用于以上场景中的无人机基站或控制设备，本实施例的方法包括：
S201、确定若干待通信设备的位置信息和无人机基站当前时隙的状态信息，所述状态信息包括位置信息、速度信息、加速度信息、航向角信息、俯仰角信息、通信完成量信息。
其中，待通信设备可以通过自身配备的GPS定位模块进行定位，并将定位信息发送给无人机基站。相对应的，无人机基站则可以获取并确定各待通信设备的位置信息。
通信完成量信息指截止到执行本方法的时刻，每一待通信设备累计的通信量。
在一些实现方式中，可以通过从无人机基站设备的飞行控制系统中获取当前时隙的状态信息。其中，无人机基站的位置信息可以由无人机基站设备上设置的GPS定位模块确定，并传输到无人机基站设备的飞行控制系统中；速度信息、加速度信息、航向角信息、俯仰角信息则可以通过无人机基站设备上设置的IMU惯性测量单元来确定，并传输到无人机基站设备的飞行控制系统中；通信完成量信息可以通过无人机基站设备上设置的通信单元来确定，并传输到无人机基站设备的飞行控制系统中。
S202、利用预先训练好的飞行轨迹优化模型，根据所述状态信息，确定下一时隙的调整动作；所述调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个；以使所述无人机基站根据所述调整动作对相应的参数进行调整，并在下一时隙到达新的轨迹点时通信速率大于或等于预设值。
本实施例中的飞行轨迹优化模型通过训练，具备了根据待通信设备的位置信息和无人机基站当前时隙的状态信息，确定下一时隙调整动作的能力。在本实施例中，调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个。无论输出调整动作是什么，其均为飞行轨迹优化模型所确定的最能保证在新的轨迹点上的通信速率的动作。
因此，在确定了待通信设备的位置信息和无人机基站当前时隙的状态信息后，即可将这些数据输入预先训练好的飞行轨迹优化模型。模型通过算法处理，可以输出一个与当前状态对应的下一时隙可以执行的飞行动作调整量、下一时隙进行通信的设备的数量m、下一时隙通信功率的调整量中的至少一个。无人机基站可以根据飞行动作调整量调整飞行动作；根据通信功率调整量调整通信功率；根据进行通信的设备的数量m，与m个待通信设备建立通信连接。无论是否调整飞行动作，无人机基站在下一时隙都会到达新的轨迹点，在新轨迹点上，与待通信设备进行通信。若输出的调整动作中包括进行通信的设备的数量m，则在新轨迹点上与m个待通信设备进行通信；若输出的调整动作中包括通信功率调整量，则在新轨迹点上以调整后的通信功率待通信设备进行通信。
对应于不同的执行主体，本实施例的方案的执行过程有细微的差别。
当本方法的执行主体为无人机基站时，无人机基站可以获取若干待通信设备的位置信息和自身的状态信息，并输入到飞行轨迹优化模型中。再根据飞行轨迹优化模型的输出结果做出相应的调整。
当本方法的执行主体为控制设备时，控制设备可以获取若干待通信设备的位置信息和从无人机基站处获取无人机基站的状态信息，并输入到飞行轨迹优化模型中。再根据行轨迹优化模型的输出结果控制无人机基站做出相应的调整。
本实施例提供的无人机基站控制方法包括：确定若干待通信设备的位置信息和无人机基站当前时隙的状态信息，所述状态信息包括位置信息、速度信息、加速度信息、航向角信息、俯仰角信息、通信完成量信息；利用预先训练好的飞行轨迹优化模型，根据所述状态信息，确定下一时隙的调整动作；所述调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个；以使所述无人机基站根据所述调整动作对相应的参数进行调整，并在下一时隙到达新的轨迹点时通信速率大于或等于预设值。本申请提供的方案，使得无人机基站可以基于飞行轨迹优化模型进行飞行动作调整，以便于在到达的每一个轨迹点上都保证通信的最小速率。进而可以使无人机基站的服务效率大大提升。
在一些实施例中，上述的飞行轨迹优化模型的构建过程可以包括：将无人机基站的通信速率最大化，作为优化目标；构建两个相同结构的深度Q网络，分别作为所述轨迹优化模型中的评估网络和目标网络；基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数；基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数；基于所述优化目标，确定所述轨迹优化模型的奖励函数。
基于提高无人机基站服务效率的目的，可以将提高每个时隙的通信量(即通信速率)作为无人机基站飞行动作调整的目标。这个优化问题的解决可以依赖于深度Q网络——深度强化学习中的DQN算法。模型中包括两个网络，评估网络和目标网络，网络的结构相同。模型涉及三个主要的函数，状态信息函数、调整动作函数、奖励函数。其中，状态信息函数主要与无人机基站的通信场景相关，根据场景中无人机基站的位置、速度、加速度、航向，无人机基站与待通信设备的通信量等信息，可以确定状态信息函数；调整动作函数主要与无人机基站的可调控的飞行动作相关，根据无人机基站的实际型号及其可控飞行动作，可以确定调整动作函数，可以包括速度、加速度、航向等动作；奖励函数则与优化目标相关，鉴于提高通信速率的目标，可以将奖励函数设置为与通信速率正相关的函数。
以图1对应场景为例进行说明。为便于描述，在该场景中建立如图3所示的坐标系来对无人机基站和物联网设备的位置进行描述。可以将第i物联网设备的坐标用(xi,yi,zi)来表示，则N个物联网设备的坐标满足下式：
Figure BDA0003543716350000151
Figure BDA0003543716350000152
Figure BDA0003543716350000153
将第t时隙的无人机基站坐标用(xD[t],yD[t],zD[t])来表示。为了防止无人机在飞行过程中与建筑物碰撞，并且保证无人机基站能够与控制塔保持联系，所以无人机的飞行高度需要处于一定的范围内。该区域中无人机基站的飞行工作区域可以表示为：
Figure BDA0003543716350000154
Figure BDA0003543716350000155
Figure BDA0003543716350000156
为了简化模型，在本实施例中设定无人机与物联网设备都是单天线的设备。则物联网设备是否发送数据给无人机基站可以表示为：
Figure BDA0003543716350000157
当ci[t]＝1时，代表无人机与第i个物联网设备在第t个时隙进行通信；当ci[t]＝0时，代表无人机与第i个物联网设备在第t个时隙不进行通信。
另外，无人机一般采用时分多址技术与物联网设备进行通信，这代表无人机一个时隙只服务一个物联网设备。可以用下述公式表示：
Figure BDA0003543716350000158
另外，无人机的飞行速度有上限，所以无人机在两个时隙之间的移动距离也有上限，具体可以表示为：
Figure BDA0003543716350000161
Smax＝Vmaxt (9a)
q[t]＝[xD[t],yD[t],zD[t]]T (9b)
其中，Vmax代表无人机的最大飞行速度；Smax代表无人机在第t个时隙内最大的移动距离；q[t]表示无人机飞行轨迹的坐标序列。
第i个物联网设备在第t个时隙与无人机的水平距离可以表示为：
Figure BDA0003543716350000162
第i个物联网设备在第t个时隙与无人机的实际距离可以表示为：
Figure BDA0003543716350000163
无人机在第t个时隙与第t-1个时隙之间的位置移动公式如下：
Figure BDA0003543716350000164
其中，φ[t]表示无人机在第t时隙的航向角；
Figure BDA0003543716350000165
代表无人机在第t时隙的俯仰角；v[t]代表无人机在第t时隙的速度。
在毫米波的场景里，通信设备高度依赖视距链路通信。因此，为了保证无人机基站与所有物联网设备的通信质量，必须保证无人机基站与物联网设备进行视距链路通信。在本实施例的场景中，3-D信道模型的视距概率可以表示为：
Figure BDA0003543716350000166
Figure BDA0003543716350000167
其中，
Figure BDA0003543716350000168
表示无人机和物联网设备的空对地信道的视距概率属于视距链路通信的概率阈值。只要把
Figure BDA0003543716350000169
设置成无限接近1的数值，就可以确保无人机与物联网设备之间的通信链路属于视距链路。
无人机在第t个时隙与第i物联网设备之间视距链路通信的信道增益为：
Figure BDA00035437163500001610
其中，ρ0代表参考距离为1米的信道增益。
第i物联网设备接收到的信噪比可以表示为：
Figure BDA0003543716350000171
Figure BDA0003543716350000172
其中，σ2代表高斯加性白噪声；p[t]代表无人机的发射功率；Smax代表无人机的最大发送功率。
如果无人机决定在第t时隙上发送数据到第i物联网设备，它们之间的通信速率可以通过以下式子计算：
Figure BDA0003543716350000173
因此，优化目标可以表示为：
Figure BDA0003543716350000174
Figure BDA0003543716350000175
Figure BDA0003543716350000176
Figure BDA0003543716350000177
Figure BDA0003543716350000178
Figure BDA0003543716350000179
Figure BDA00035437163500001710
Figure BDA00035437163500001711
Figure BDA00035437163500001712
Figure BDA00035437163500001713
Figure BDA00035437163500001714
为了实现优化目标，可以采用深度强化学习模型对优化目标进行求解。深度强化学习模型可以采用深度Q网络(deep Q network,DQN)算法。
深度强化学习模型的状态空间设计。智能体(无人机基站)从环境中观察到的状态应该包含环境中所有信息，所以针对这个场景，环境空间设计如下：
Figure BDA0003543716350000181
其中，t代表第t时隙；(xD[t],yD[t],zD[t])代表无人机在第t时隙的坐标；v[t]代表无人机在第t时隙的速度；a[t]代表无人机在第t时隙的加速度；φ[t]代表无人机在第t时隙的航向角；
Figure BDA0003543716350000182
代表无人机在第t时隙的俯仰角；ηi代表第i用户的已完成的通信量。
深度强化学习模型的动作空间设计。智能体选择的动作决定了无人机的飞行动作，针对这个场景，动作空间设计如下：
Figure BDA0003543716350000183
其中，{Δφ[t]}代表控制无人机的航向角的动作向量；
Figure BDA0003543716350000184
代表控制无人机俯仰角的动作向量；{ΔaD[t]}代表无人机的加速度动作向量；Nc代表无人机选择通信的用户数；Δp[t]代表无人机的通信发送功率。
由于DQN算法只能处理低维离散动作空间的算法，所以，这里对无人机的飞行动作空间进行离散化。
Figure BDA0003543716350000185
Figure BDA0003543716350000186
Figure BDA0003543716350000187
Nc∈{i,i＝0,...,N-1} (25)
Figure BDA0003543716350000188
其中，Nφ代表无人机的航向角的等份分割参数；
Figure BDA0003543716350000189
代表无人机的俯仰角的等份分割参数；Na代表无人机的加速度的等份分割参数；Np代表无人机的功率的等份分割参数。
对应于飞行轨迹优化模型输出的调整动作at，无人机基站结合调整动作at进行飞行姿态调整、资源调度调整的过程可以用以下公式来说明：
Figure BDA00035437163500001810
Figure BDA00035437163500001811
Figure BDA00035437163500001812
Figure BDA00035437163500001813
p[t]＝Δp[t] (31)
需要说明的是，输出的at为一个常数，其代表的是调整动作在动作空间中的顺序。
深度强化学习模型的奖励空间设计。奖励函数决定了智能体在某个状态下执行某个行动的价值。奖励函数直接影响了无人机基站的训练效果，决定了无人机基站是否能够根据人类的要求，完成指定的通信任务和飞行任务。所以针对优化目标，奖励函数的设计如下：
Figure BDA0003543716350000191
其中，ri[t]代表第t时隙无人机与物联网设备i之间的通信速率，λ1*ri[t]代表第t时隙无人机与物联网设备i进行通信的速率所决定的奖励，如果每个时隙无人机与物联网设备通信的速率越高，那么获得的奖励就越大，鼓励无人机选择合理的物联网设备进行通信；
Figure BDA0003543716350000192
代表第t时隙无人机与物联网设备i之间的通信的链路状态为非视距链路的概率，
Figure BDA0003543716350000193
代表第t时隙无人机与物联网设备i进行通信的链路状态所决定的奖励，当无人机与物联网设备进行非视距链路通信的时候，那么无人机智能体将获得负面奖励；ηi代表截止到第t时隙第i用户已完成的通信量，
Figure BDA0003543716350000194
代表物联网设备i的通信量所决定的奖励，把物联网设备中所有不满足最低通信数据量要求的部分作为负面奖励反馈给智能体，相当于给一个惩罚。
深度强化学习DQN算法的框架如图4所示，存在一个控制无人机与环境交互的智能体，有两个深度Q网络，分别是评估网络和目标网络。目标网络和评估网络具有相同的结构，但是更新参数的机制不一样。目标网络是实时更新网络参数的，而评估网络是定期更新网络参数。评估网络用于评价在某个状态st的情况下采取动作at的价值。智能体通过观察环境获得状态st，按照贪心策略(ε-greedy policy)选择动作at，然后把st、at发送到评估网络中，评估网络生成所有动作的Q值，记为Q(st,at)。然后，从环境中获得奖励rt。
在一些实施例中，上述的飞行轨迹优化模型的训练过程包括：初始化所述评估网络和所述目标网络；初始化经验回放池大小mmax；在所述经验回放池中生成若干组样本；循环执行如下训练过程，直至损失函数收敛：随机从所述经验回放池中抽取K组样本；利用所述K组样本，分别计算所述评估网络的Q值和所述目标网络的Q值；根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数；根据所述损失函数，更新所述评估网络的参数所述目标网络的参数。
对应于图4所示的网络结构，训练过程如下。由[st,at,rt,st+1]组成的信息被储存到经验回放池中，当经验回放池储存足够样本后，训练过程就可以开始了。从经验回放池中随机采样K组数据来训练DQN。根据每一组样本数据确定评估网络的Q值后，即可根据目标网络的最大Q值maxQ(s',a')，计算损失函数来更新评估网络，可以表示为：
Lossi(ωi)＝Es,a[(r+γmaxQ(s',a'|ωi-1)-Q(s,a|ωi)2] (33)
其中，ω代表DQN神经网络的参数，i代表迭代的次数。Q(s,a|ωi)2是实时更新的Q网络(目标Q网络)得出的Q值；γmaxQ(s',a'|ωi-1)是评估网络的Q值。
在一些实施例中，上述的在所述经验回放池中生成若干组样本，包括：初始化所述无人机基站的状态信息，随机生成物联网设备的地理位置，初始化时间t＝0；在达到最大时间tmax之前，循环执行如下步骤生成样本：确定所述无人机基站的状态信息st；按照贪心策略选择调整动作at；根据所述调整动作at，确定所述无人机基站的新位置、对应的新的状态信息st+1和对应的通信速率ri[t]；根据所述奖励函数，计算对应的奖励值rt；将st、at、rewardt、st+1生成一组新样本[st,at,rt,st+1]，放入经验回放池。
如图5所示的，样本生成过程如下：
1、用参数ω来初始化评估网络和目标网络；初始化经验回放池大小为mmax。
其中，ω为初始化参数，可以根据经验设定；mmax是经验回放池的最大容量。这两步初始化的操作并没有明确的顺序要求，可以同时进行。
设定循环次数，在达到循环次数之前(episode＜Neps时)，循环执行后续的训练步骤。
初始化环境。
初始化无人机位置，随机生成物联网设备地理位置，初始化时间t＝0。
4、在没有达到最大时间之前(t＜tmax时)，执行下述小循环。
5、从环境中观察得到st。
6、当概率为ε时，选择at＝argmaxQ(st,at)。
即，从之前的经验中选择最大at值。
7、当概率为1-ε时，从空间状态A中随机选择at
8、根据at的输出值，确定对无人机基站进行对应的调整。
如果0≤at＜Nφ(在本实施例中Nφ＝4)，说明需要调整航向角，则执行式子(27)来改变无人机的航向角φ[t]；
如果
Figure BDA0003543716350000211
(在本实施例中
Figure BDA0003543716350000212
)，说明需要调整俯仰角，则执行式子(28)来改变无人机的俯仰角
Figure BDA0003543716350000213
如果
Figure BDA0003543716350000214
(在本实施例中Na＝2)，说明需要调整加速度，则执行式子(29)和来改变无人机的加速度aD[t]和速度v[t]；
如果
Figure BDA0003543716350000215
(在本实施例中N＝4)，说明需要调整无人机选择的用户数，则执行式子(30)来改变无人机选择的用户Nc；
如果
Figure BDA0003543716350000216
说明需要调整无人机的功率，则执行式子(31)来改变无人机选择的功率p[t]。
9、在确定调整动作后，执行公式(12)来更新无人机的坐标。
10、根据式子(18)来计算Nc个物联网设备与无人机的通信速率ri[t]。
11、根据式子(27)得到奖励函数rewardt。
12、储存序列[st,at,rt,st+1]到经验回放池中。经验池中存放的样本可用于后续的训练过程，以更新目标网络参数和评估网络参数。
在一些具体的实施例中，上述的在所述经验回放池中生成若干组样本，包括：若经验回放池中的样本量达到最大值mmax，则根据样本生成的时间顺序，利用最新生成的样本替换经验回放池中的最早生成的样本。
对应于图5所示的流程，当储存序列[st,at,rt,st+1]到经验回放池时，发现经验回放池已经达到最大容量mmax，则可以用[st,at,rt,st+1]替换掉经验池中最早生成的样本。
在另一些实施例中，当储存序列[st,at,rt,st+1]到经验回放池时，发现经验回放池已经达到最大容量mmax，也可以用[st,at,rt,st+1]替换掉经验池中对应的rewardt值最小的样本。
基于本申请一实施例提供的DQN深度强化学习算法优化的无人机飞行轨迹分别可以如图6a、图6b和图6c所示。图中·所示为物联网设备的位置，×所示为无人机基站的轨迹点。从图中可以看到，通过DQN算法训练之后的无人机能够根据物联网设备地理位置坐标来自适应地调整自己的飞行高度，以保证与物联网设备的通信属于视距链路通信。当无人机越靠近需要通信的物联网设备的时候，无人机就降低自身的飞行高度，如果无人机离需要通信的物联网设备较远的时候，无人机就会提升自己的飞行高度。通过上述的调整方案，能够达到在保证无人机与物联网设备进行视距链路通信的同时，尽量地提高系统的总吞吐量。
图6d为本申请一实施例提供的基于DQN算法与基于传统BCD和SCA凸优化算法的吞吐量随着飞行时隙变化的关系图。总时隙T＝100s，两种算法对应的无人机与物联网设备的吞吐量随着飞行时隙的变化如图所示。从图中可以得出发现，基于DQN路径规划算法的总吞吐量比基于BCD和SCA路径规划算法的总吞吐量要大。
两种算法对应的无人机的运行时间如表1所示。通过表格可以发现，基于深度强化学习DQN的无人机轨迹优化算法比基于BCD和SCA凸优化的无人机轨迹优化算法的运行效率快很多。尽管基于深度强化学习DQN算法的线下训练时间很长，但是训练好的模型就非常具有实时性。
表1运行时间对比
Figure BDA0003543716350000221
对于传统凸优化BCD和SCA算法，大致的求解过程如下。可以把具体问题分为轨迹优化、用户调度、资源分配三个子问题，分别固定其他两个子问题的变量，然后优化另外一个子问题的变量。例如，将轨迹优化和资源分配子问题使用连续凸逼近SCA算法转化成凸问题，然后使用内点法进行求解，其算法时间复杂度都是O(n3)。需要运行循环的次数为Tmax，每个时隙的循环次数是Niter。用户调度子问题属于标准的线性规划问题，如果使用内点法进行梯度下降，那么算法的时间复杂度为O(n3)。综上所述，可以得到传统BCD和SCA算法的无人机基站轨迹优化算法的算法复杂度是O{Tmax[N+Tmax+Niter(7NTmax+2N+Tmax+3O(n3))]}。这里的N代表用户的数量，Tmax代表最大的飞行时隙，Niter表示BCD和SCA的迭代次数，L代表多项式的项数。
对于基于DQN算法的无人机基站轨迹优化算法，因为一次轨迹优化计算中，总循环次数为O(Tmax)。在每一次循环中，需要进行一次深度神经网络的前馈运算，运算一次深度神经网络的时间复杂度为O(LiL2+L2L3+L3Lo)。每一个时隙要计算一次无人机基站与所有用户的水平距离、实际距离、无人机基站与用户之间的俯仰角、无人机基站与用户的路径损耗系数，所以这里的时间复杂度是O(4N)。综上所述，所以基于DQN算法的无人机及站轨迹优化算法的时间复杂度为O[Tmax(LiL2+L2L3+L3Lo+4N)]。
两种算法对应的时间复杂度的对比如表2所示。
表2两种算法的时间复杂度对比
Figure BDA0003543716350000231
本申请方案的有益效果：
1.实现了保证每个待通信设备的基本通信需求和视距链路通信需求的前提下，最大化无人机基站与所有待通信设备的总通信速率。
2.实现了无人机基站针对不同目标条件下优化飞行轨迹、用户调度、资源分配的方案。
3.降低了无人机基站控制算法的时间复杂度，增强实用性和实时性。
图7为本申请一实施例提供的一种无人机基站控制装置的结构示意图，如图7所示的，本实施例的无人机基站控制装置700包括：信息确定模块701、调整动作确定模块702。
信息确定模块701，用于若干待通信设备的位置信息和无人机基站当前时隙的状态信息，所述状态信息包括位置信息、速度信息、加速度信息、航向角信息、俯仰角信息、通信完成量信息；
调整动作确定模块702，用于利用预先训练好的飞行轨迹优化模型，根据所述状态信息，确定下一时隙的调整动作；所述调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个；以使所述无人机基站根据所述调整动作对相应的参数进行调整，并在下一时隙到达新的轨迹点时通信速率大于或等于预设值。
可选的，所述无人机基站控制装置还包括飞行轨迹优化模型构建模块703，用于：
将无人机基站的通信速率最大化，作为优化目标；
构建两个相同结构的深度Q网络，分别作为所述轨迹优化模型中的评估网络和目标网络；
基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数；
基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数；
基于所述优化目标，确定所述轨迹优化模型的奖励函数。
可选的，所述飞行轨迹优化模型构建模块703在基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数时，具体用于：
基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数如下：
Figure BDA0003543716350000241
其中，t代表第t时隙；(xD[t],yD[t],zD[t])代表无人机在第t时隙的坐标；v[t]代表无人机在第t时隙的速度；a[t]代表无人机在第t时隙的加速度；φ[t]代表无人机在第t时隙的航向角；
Figure BDA0003543716350000242
代表无人机在第t时隙的俯仰角；ηi代表第i用户的已完成的通信量。
可选的，所述飞行轨迹优化模型构建模块703在基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数时，具体用于：
基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数如下：
Figure BDA0003543716350000243
Figure BDA0003543716350000244
Figure BDA0003543716350000245
Figure BDA0003543716350000246
Nc∈{i,i＝0,...,N-1}；
Figure BDA0003543716350000247
其中，{Δφ[t]}代表控制无人机的航向角的动作向量；
Figure BDA0003543716350000248
代表控制无人机俯仰角的动作向量；{ΔaD[t]}代表无人机的加速度动作向量；Nc代表无人机选择通信的用户数；p[t]代表无人机的通信发送功率；Nφ代表无人机的航向角的等份分割参数；
Figure BDA0003543716350000249
代表无人机的俯仰角的等份分割参数；Na代表无人机的加速度的等份分割参数；Np代表无人机的功率的等份分割参数。
可选的，所述飞行轨迹优化模型构建模块703在基于所述优化目标，确定所述轨迹优化模型的奖励函数，包括时，具体用于：
基于所述优化目标，确定所述轨迹优化模型的奖励函数如下：
Figure BDA00035437163500002410
其中，ri[t]代表第t时隙无人机与待通信设备i之间的通信速率，λ1*ri[t]代表第t时隙无人机与待通信设备i进行通信的速率所决定的奖励；
Figure BDA0003543716350000251
代表第t时隙无人机与待通信设备i之间的通信的链路状态为非视距链路的概率，
Figure BDA0003543716350000252
代表第t时隙无人机与待通信设备i进行通信的链路状态所决定的奖励；ηi代表截止到第t时隙第i用户已完成的通信量，
Figure BDA0003543716350000253
代表待通信设备i的通信量所决定的奖励。
可选的，所述无人机基站控制装置还包括飞行轨迹优化模型训练模块704，用于：初始化所述评估网络和所述目标网络；初始化经验回放池大小mmax；
在所述经验回放池中生成若干组样本；
循环执行如下训练过程，直至损失函数收敛：
随机从所述经验回放池中抽取K组样本；
利用所述K组样本，分别计算所述评估网络的Q值和所述目标网络的Q值；
根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数；
根据所述损失函数，更新所述评估网络的参数所述目标网络的参数。
可选的，所述飞行轨迹优化模型训练模块704在根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数时，具体用于：
利用如下公式计算损失函数：
Figure BDA0003543716350000254
可选的，所述飞行轨迹优化模型训练模块704在所述经验回放池中生成若干组样本时，具体用于：
初始化所述无人机基站的状态信息，随机生成待通信设备的地理位置，初始化时间t＝0；
在达到最大时间tmax之前，循环执行如下步骤生成样本：
确定所述无人机基站的状态信息st；
按照贪心策略选择调整动作at；
根据所述调整动作at，确定所述无人机基站的新位置、对应的新的状态信息st+1和对应的通信速率ri[t]；
根据所述奖励函数，计算对应的奖励值rt；
将st、at、rewardt、st+1生成一组新样本[st,at,rt,st+1]，放入经验回放池。
可选的，所述飞行轨迹优化模型训练模块704还用于：
若经验回放池中的样本量达到最大值mmax，则根据样本生成的时间顺序，利用最新生成的样本替换经验回放池中的最早生成的样本。
本实施例的装置，可以用于执行上述任一实施例的无人机基站控制方法，其实现原理和技术效果类似，此处不再赘述。
图8为本申请一实施例提供的一种电子设备的结构示意图，如图8所示，本实施例的电子设备800可以包括：存储器801和处理器802。
存储器801上存储有能够被处理器802加载并执行上述实施例中方法的计算机程序。
其中，处理器802和存储器801相连，如通过总线相连。
可选地，电子设备800还可以包括收发器。需要说明的是，实际应用中收发器不限于一个，该电子设备800的结构并不构成对本申请实施例的限定。
处理器802可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器802也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线可包括一通路，在上述组件之间传送信息。总线可以是PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器801可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器801用于存储执行本申请方案的应用程序代码，并由处理器802来控制执行。处理器802用于执行存储器801中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本实施例的电子设备，可以用于执行上述任一实施例的方法，其实现原理和技术效果类似，此处不再赘述。
本申请还提供一种计算机可读存储介质，存储有能够被处理器加载并执行如上实施例中的方法的计算机程序。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种无人机基站控制方法，其特征在于，包括：
确定若干待通信设备的位置信息和无人机基站当前时隙的状态信息，所述状态信息包括位置信息、速度信息、加速度信息、航向角信息、俯仰角信息、通信完成量信息；
利用预先训练好的飞行轨迹优化模型，根据所述状态信息，确定下一时隙的调整动作；所述调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个；
以使所述无人机基站根据所述调整动作对相应的参数进行调整，并在下一时隙到达新的轨迹点时通信速率大于或等于预设值。
2.根据权利要求1所述的方法，其特征在于，所述飞行轨迹优化模型的构建过程包括：
将无人机基站的通信速率最大化，作为优化目标；
构建两个相同结构的深度Q网络，分别作为所述轨迹优化模型中的评估网络和目标网络；
基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数；
基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数；
基于所述优化目标，确定所述轨迹优化模型的奖励函数。
3.根据权利要求2所述的方法，其特征在于，所述飞行轨迹优化模型的训练过程包括：
初始化所述评估网络和所述目标网络；初始化经验回放池大小mmax；
在所述经验回放池中生成若干组样本；
循环执行如下训练过程，直至损失函数收敛：
随机从所述经验回放池中抽取K组样本；
利用所述K组样本，分别计算所述评估网络的Q值和所述目标网络的Q值；
根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数；
根据所述损失函数，更新所述评估网络的参数所述目标网络的参数。
4.根据权利要求3所述的方法，其特征在于，所述在所述经验回放池中生成若干组样本，包括：
初始化所述无人机基站的状态信息，随机生成待通信设备的地理位置，初始化时间t＝0；
在达到最大时间tmax之前，循环执行如下步骤生成样本：
确定所述无人机基站的状态信息st；
按照贪心策略选择调整动作at；
根据所述调整动作at，确定所述无人机基站的新位置、对应的新的状态信息st+1和对应的通信速率ri[t]；
根据所述奖励函数，计算对应的奖励值rt；
将st、at、rewardt、st+1生成一组新样本[st,at,rt,st+1]，放入经验回放池。
5.根据权利要求3或4所述的方法，其特征在于，所述在所述经验回放池中生成若干组样本，包括：
若经验回放池中的样本量达到最大值mmax，则根据样本生成的时间顺序，利用最新生成的样本替换经验回放池中的最早生成的样本。
6.一种飞行轨迹优化模型构建方法，其特征在于，包括：
将无人机基站的通信速率最大化，作为优化目标；
构建两个相同结构的深度Q网络，分别作为所述轨迹优化模型中的评估网络和目标网络；
基于所述无人机基站的通信场景，确定所述轨迹优化模型的状态信息函数；
基于所述无人机基站的可控飞行动作，确定所述轨迹优化模型的调整动作函数；
基于所述优化目标，确定所述轨迹优化模型的奖励函数。
7.一种飞行轨迹优化模型训练方法，其特征在于，用于对利用权利要求6所述的方法构建的飞行轨迹优化模型进行训练，所述方法包括：
初始化所述评估网络和所述目标网络；初始化经验回放池大小mmax；
在所述经验回放池中生成若干组样本；
循环执行如下训练过程，直至损失函数收敛：
随机从所述经验回放池中抽取K组样本；
利用所述K组样本，分别计算所述评估网络的Q值和所述目标网络的Q值；
根据所述评估网络的Q值和所述目标网络的Q值，计算损失函数；
根据所述损失函数，更新所述评估网络的参数所述目标网络的参数。
8.一种无人机基站控制装置，其特征在于，包括：
信息确定模块，用于若干待通信设备的位置信息和无人机基站当前时隙的状态信息，所述状态信息包括位置信息、速度信息、加速度信息、航向角信息、俯仰角信息、通信完成量信息；
调整动作确定模块，用于利用预先训练好的飞行轨迹优化模型，根据所述状态信息，确定下一时隙的调整动作；所述调整动作包括飞行动作调整量、进行通信的设备的数量m、通信功率调整量中的至少一个；以使所述无人机基站根据所述调整动作对相应的参数进行调整，并在下一时隙到达新的轨迹点时通信速率大于或等于预设值。
9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
CN202210243339.9A 2022-03-11 2022-03-11 无人机基站控制方法、飞行轨迹优化模型构建、训练方法 Active CN114785397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210243339.9A CN114785397B (zh) 2022-03-11 2022-03-11 无人机基站控制方法、飞行轨迹优化模型构建、训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210243339.9A CN114785397B (zh) 2022-03-11 2022-03-11 无人机基站控制方法、飞行轨迹优化模型构建、训练方法

Publications (2)

Publication Number Publication Date
CN114785397A true CN114785397A (zh) 2022-07-22
CN114785397B CN114785397B (zh) 2023-04-07

Family

ID=82423666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210243339.9A Active CN114785397B (zh) 2022-03-11 2022-03-11 无人机基站控制方法、飞行轨迹优化模型构建、训练方法

Country Status (1)

Country Link
CN (1) CN114785397B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116009590A (zh) * 2023-02-01 2023-04-25 中山大学 无人机网络分布式轨迹规划方法、系统、设备及介质
CN116302569A (zh) * 2023-05-17 2023-06-23 安世亚太科技股份有限公司 一种基于用户请求信息的资源分区智能化调度方法
CN117459953A (zh) * 2023-12-22 2024-01-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种多无人机基站航迹规划方法、系统、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488861A (zh) * 2019-07-30 2019-11-22 北京邮电大学 基于深度强化学习的无人机轨迹优化方法、装置和无人机
US20200359297A1 (en) * 2018-12-28 2020-11-12 Beijing University Of Posts And Telecommunications Method of Route Construction of UAV Network, UAV and Storage Medium thereof
JP2021034050A (ja) * 2019-08-21 2021-03-01 哈爾浜工程大学 強化学習に基づくａｕｖ行動計画及び動作制御方法
CN113190039A (zh) * 2021-04-27 2021-07-30 大连理工大学 一种基于分层深度强化学习的无人机采集路径规划方法
CN113507717A (zh) * 2021-06-08 2021-10-15 山东师范大学 一种基于车辆轨迹预测的无人机轨迹优化方法及系统
CN113938830A (zh) * 2021-09-24 2022-01-14 北京邮电大学 无人机基站部署方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200359297A1 (en) * 2018-12-28 2020-11-12 Beijing University Of Posts And Telecommunications Method of Route Construction of UAV Network, UAV and Storage Medium thereof
CN110488861A (zh) * 2019-07-30 2019-11-22 北京邮电大学 基于深度强化学习的无人机轨迹优化方法、装置和无人机
JP2021034050A (ja) * 2019-08-21 2021-03-01 哈爾浜工程大学 強化学習に基づくａｕｖ行動計画及び動作制御方法
CN113190039A (zh) * 2021-04-27 2021-07-30 大连理工大学 一种基于分层深度强化学习的无人机采集路径规划方法
CN113507717A (zh) * 2021-06-08 2021-10-15 山东师范大学 一种基于车辆轨迹预测的无人机轨迹优化方法及系统
CN113938830A (zh) * 2021-09-24 2022-01-14 北京邮电大学 无人机基站部署方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116009590A (zh) * 2023-02-01 2023-04-25 中山大学 无人机网络分布式轨迹规划方法、系统、设备及介质
CN116009590B (zh) * 2023-02-01 2023-11-17 中山大学 无人机网络分布式轨迹规划方法、系统、设备及介质
CN116302569A (zh) * 2023-05-17 2023-06-23 安世亚太科技股份有限公司 一种基于用户请求信息的资源分区智能化调度方法
CN116302569B (zh) * 2023-05-17 2023-08-15 安世亚太科技股份有限公司 一种基于用户请求信息的资源分区智能化调度方法
CN117459953A (zh) * 2023-12-22 2024-01-26 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种多无人机基站航迹规划方法、系统、终端及存储介质
CN117459953B (zh) * 2023-12-22 2024-03-19 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种多无人机基站航迹规划方法、系统、终端及存储介质

Also Published As

Publication number Publication date
CN114785397B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN114785397B (zh) 无人机基站控制方法、飞行轨迹优化模型构建、训练方法
Liu et al. Path planning for UAV-mounted mobile edge computing with deep reinforcement learning
Wang et al. Federated learning for task and resource allocation in wireless high-altitude balloon networks
Bouhamed et al. A UAV-assisted data collection for wireless sensor networks: Autonomous navigation and scheduling
Li et al. Digital twin assisted task offloading for aerial edge computing and networks
Saxena et al. Optimal UAV base station trajectories using flow-level models for reinforcement learning
CN112911648A (zh) 一种空地结合的移动边缘计算卸载优化方法
CN111552313B (zh) 基于边缘计算动态任务到达的多无人机路径规划方法
KR102394237B1 (ko) 다중 무인항공기 네비게이션 최적화 방법 및 그를 이용한 무인항공항 시스템
Chen et al. Deep reinforcement learning based resource allocation in multi-UAV-aided MEC networks
CN113395654A (zh) 一种边缘计算系统的多无人机任务卸载和资源分配的方法
CN113905347B (zh) 一种空地一体化电力物联网云边端协同方法
Chen et al. Edge intelligence computing for mobile augmented reality with deep reinforcement learning approach
Lyu et al. Computation bits maximization in UAV-enabled mobile-edge computing system
Nguyen et al. DRL‐based intelligent resource allocation for diverse QoS in 5G and toward 6G vehicular networks: a comprehensive survey
Xu et al. Resource allocation algorithm based on hybrid particle swarm optimization for multiuser cognitive OFDM network
CN113392539B (zh) 基于联邦强化学习的机器人通信控制方法、系统及设备
WO2022242468A1 (zh) 任务卸载方法、调度优化方法和装置、电子设备及存储介质
CN113316169A (zh) 一种面向智慧港口的uav辅助通信能效优化方法及装置
Zheng et al. Stochastic computation offloading and scheduling based on mobile edge computing
Mao et al. AI based service management for 6G green communications
WANG et al. Trajectory optimization and power allocation scheme based on DRL in energy efficient UAV‐aided communication networks
Wang et al. Improving the performance of tasks offloading for internet of vehicles via deep reinforcement learning methods
CN112579290B (zh) 一种基于无人机的地面终端设备的计算任务迁移方法
Goh et al. Partial Offloading MEC Optimization Scheme using Deep Reinforcement Learning for XR Real-Time M&S Devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230315

Address after: No. 2, Section 2, Changcheng Road, Southwest Airport Economic Development Zone, Shuangliu District, Chengdu City, Sichuan Province, 610200

Applicant after: Chengdu Sanyuan Optical Communication Technology Co.,Ltd.

Address before: 311100 No. 318, building 2, No. 1812, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant before: Zhejiang Yizheng Communication Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant