CN113938830A - 无人机基站部署方法及装置 - Google Patents

无人机基站部署方法及装置 Download PDF

Info

Publication number
CN113938830A
CN113938830A CN202111123437.0A CN202111123437A CN113938830A CN 113938830 A CN113938830 A CN 113938830A CN 202111123437 A CN202111123437 A CN 202111123437A CN 113938830 A CN113938830 A CN 113938830A
Authority
CN
China
Prior art keywords
base station
unmanned aerial
aerial vehicle
drone
drone base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111123437.0A
Other languages
English (en)
Other versions
CN113938830B (zh
Inventor
喻鹏
李文璟
丁亚慧
丰雷
周凡钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202111123437.0A priority Critical patent/CN113938830B/zh
Publication of CN113938830A publication Critical patent/CN113938830A/zh
Application granted granted Critical
Publication of CN113938830B publication Critical patent/CN113938830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/08—Access point devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Public Health (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供一种无人机基站部署方法及装置，所述方法包括：通过无人机获取受灾区域的所有用户终端的位置信息，基于所述所有用户终端的位置信息部署至少一个无人机基站；基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型；采用深度强化学习DQN算法对所述传输能效优化模型进行求解，得到所述至少一个无人机基站的目标高度；基于所述目标高度重新部署所述至少一个无人机基站。本发明实现了受灾区域的所有用户终端的通信需求，并优化了无人机基站的传输能效。

Description

无人机基站部署方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种无人机基站部署方法及装置。
背景技术
无人机具有可控的移动性、低消耗以及能够与用户终端建立高质量的视距连接等特点，将可能成为未来第五代空中通信设备。因此，在自然灾害造成通信基础设施被全部损坏的场景中，可以利用无人机实现用户终端的通信需求。
目前，为了保证灾区救援活动能够进行可靠、灵活的应急通信，可采用由多架无人机基站组成网络将受灾区域全覆盖，保障所有地面用户终端的通信服务，为抢险救灾提供有力支持和服务，由于自然灾害区域的受害者数量是未知的，且受害者的位置呈随机分布，需要部署多架无人机基站实现对所有灾区用户终端的通信。
因此，在受灾区域的用户终端数量未知且用户终端的位置呈随机分布的情况下，如何部署多个无人机基站实现受灾区域的所有用户终端的通信需求亟待解决。
发明内容
本发明提供一种无人机基站部署方法及装置，用以解决在受灾区域的用户终端数量未知且其位置呈随机分布的情况下，如何部署多个无人机基站实现受灾区域的所有用户终端的通信需求的问题。
第一方面，本发明提供一种无人机基站部署方法，包括：
通过无人机获取受灾区域的所有用户终端的位置信息，基于所述所有用户终端的位置信息部署至少一个无人机基站；
基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型；
采用深度强化学习DQN算法对所述传输能效优化模型进行求解，得到所述至少一个无人机基站的目标高度；
基于所述目标高度重新部署所述至少一个无人机基站。
可选地，无人机基站包括第一类型无人机基站和第二类型无人机基站；
所述基于所述所有用户终端的位置信息部署至少一个无人机基站，具体包括：
通过DBSCAN聚类算法对所述所有用户终端的位置信息进行聚类计算，得到至少一个用户终端分布簇，基于每个用户终端分布簇的中心位置与第一预设初始高度部署第一类型无人机基站；
通过高斯混合模型GMM热点检测算法对所述所有用户终端的位置信息进行计算，得到至少一个热点区域，基于每个热点区域的中心位置与第二预设初始高度部署第二类型无人机基站；
其中，所述第一预设初始高度大于所述第二预设初始高度，所述第一类型无人机基站的功率大于第二类型无人机基站的功率。
可选地，所述基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型之前，还包括：
基于所述至少一个无人机基站的传输功率计算所述至少一个无人机基站的能耗成本；
基于所述至少一个无人机基站的硬件部署成本和所述至少一个无人机基站的能耗成本计算所述至少一个无人机基站的部署成本。
可选地，所述基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型之前，还包括：
基于所述至少一个无人机基站的传输功率计算所述至少一个无人机基站的通信能量；
基于所述至少一个无人机基站的通信能量与所述至少一个无人机基站的悬停能量计算所述至少一个无人机基站的总能耗。
可选地，还包括：
基于每个无人机基站的位置信息与每个用户终端的位置信息计算所述每个无人机基站与所述每个用户终端之间的传输路径损耗功率；
基于所述传输路径损耗功率与所述每个用户终端的接收功率计算所述每个无人机基站的传输功率。
可选地，所述传输能效优化模型的目标函数为：
Figure BDA0003278010210000031
cl(t)＝B*log2(1+SINRl(t)) (2)
其中，φ表述至少一个无人机基站的传输能效，ENet表示至少一个无人机基站的总能耗，Tr表示所有用户终端的传输吞吐量，CNet表示至少一个无人机基站的部署成本，
Figure BDA0003278010210000032
表示第i个第一类型无人机基站的总能耗，
Figure BDA0003278010210000033
表示第j个第二类型无人机基站的总能耗，
Figure BDA0003278010210000034
表示第i个第一类型无人机基站的部署成本，
Figure BDA0003278010210000035
表示第j个第二类型无人机基站的部署成本，Il(t)表示第l个用户终端在t时刻是否与无人机基站相连接，cl(t)表示第l个用户终端在t时刻的传输速率，B表示传输带宽，SINRl(t)表示第l个用户终端在t时刻的信噪比。
可选地，所述传输能效优化模型的约束条件包括所述至少一个无人机基站的位置信息的限制范围、所述所有用户终端与所述至少一个无人机基站的连接关系、每个无人机基站的服务状态、每个用户终端的信噪比的取值范围、所述每个无人机基站与所述每个用户终端之间的传输功率的限制范围和所述每个用户终端的传输速率的取值范围。
可选地，还包括：
训练得到DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数；
所述训练得到DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数，具体包括：
初始化每个无人机基站的第一位置状态，所述第一位置状态包括高度与传输功率；
基于DQN算法，确定所述每个无人机基站在所述第一位置状态的动作，并将所述每个无人机基站的动作存入动作列表；
根据所述动作列表中的所述动作和所述第一位置状态，确定所述每个无人机基站的第二位置状态与奖励；
将所述第一位置状态、所述动作、所述奖励和所述第二位置状态作为一个转化样本，将全部时刻的转化样本存入回放记忆池中；
从所述回放记忆池中随机抽取预设数量的转化样本，根据所述预设数量的转化样本和梯度下降算法，更新所述DQN网络的当前值网络权重参数；
根据所述DQN网络的当前值网络权重参数更新所述DQN网络的目标值网络权重参数。
第二方面，本发明提供一种无人机基站部署装置，包括：
第一部署单元，用于通过无人机获取受灾区域的所有用户终端的位置信息，基于所述所有用户终端的位置信息部署至少一个无人机基站；
模型构建单元，用于基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型；
模型计算单元，用于采用深度强化学习DQN算法对所述传输能效优化模型进行求解，得到所述至少一个无人机基站的目标高度；
第二部署单元，用于基于所述目标高度重新部署所述至少一个无人机基站。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述无人机基站部署方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述无人机基站部署方法的步骤。
本发明提供的无人机基站部署方法及装置，通过获取的受灾区域的所有用户终端的位置信息部署至少一个无人机基站，并构建至少一个无人机基站的传输能效优化模型，采用DQN算法对传输能效优化模型进行求解，得到至少一个无人机基站的目标高度，基于目标高度对至少一个无人机基站进行重新部署，实现了受灾区域的所有用户终端的通信需求，并优化了无人机基站的传输能效。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的无人机基站部署方法的流程示意图；
图2是本发明提供的无人机基站部署方法的场景示意图；
图3是本发明提供的训练得到DQN网络的当前值网络权重参数和DQN网络的目标值网络权重参数的流程示意图；
图4是本发明提供的无人机基站部署装置的结构示意图；
图5为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决在受灾区域的用户终端数量未知且其位置呈随机分布的情况下如何部署多个无人机基站实现对受灾区域的所有用户终端的通信的问题，本发明实施例提供一种无人机基站部署方法，图1是本发明实施例提供的无人机基站部署方法的流程示意图。如图1所示，该方法包括以下步骤：
步骤100、通过无人机获取受灾区域的所有用户终端的位置信息，基于所述所有用户终端的位置信息部署至少一个无人机基站。
需要说明的是，在自然灾害发生的情况下，受灾区域的用户终端的数量未知且其位置呈随机分布，现有技术中的固定基站无法满足通信速率需求，且搭建固定基站设施耗时长，成本高，造成通信资源的浪费，因此，本发明实施例中提出一种无人机基站部署方法，由多个无人机基站组成网络将受灾区域全覆盖，实现了受灾区域的所有用户终端的通信需求，为抢险救灾提供有力支持与服务。
一种实施方式中，通过无人机对受灾区域的所有用户终端进行勘探，获取所有用户终端的位置信息，根据所有用户终端的位置信息确定受灾区域的形状和面积，并在该受灾区域内部署对至少一个无人机基站。
步骤101、基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型。
需要说明的是，在部署的无人机基站满足灾区用户终端通信需求的情况下，还需要避免对无人机基站的过度部署带来资源浪费的问题，因此，本发明实施例还提出了传输能效优化模型，既避免了资源浪费，又能满足基站通信约束条件下实现无人机基站的传输能效最大化。
可选地，至少一个无人机基站的传输能效优化模型为在满足基站通信的约束条件的情况下，至少一个无人机基站以最大传输能效为目标实现用户终端的通信需求。
其中，传输能效优化模型由目标函数与约束条件组成。
一种实施方式中，基于至少一个无人机基站的部署成本、至少一个无人机基站的总能耗及所有用户终端的传输吞吐量构建至少一个无人机基站的传输能效优化模型的目标函数，并确定至少一个无人机基站的传输能效优化模型的约束条件。
步骤102、采用深度强化学习DQN算法对所述传输能效优化模型进行求解，得到所述至少一个无人机基站的目标高度。
一种实施方式中，以至少一个无人机基站的传输能效最大为目标，基于传输能效模型的约束条件，采用深度强化学习(Deep Q Network，DQN)算法对传输能效优化模型进行求解，得到至少一个无人机基站的目标高度。
步骤103、基于所述目标高度重新部署所述至少一个无人机基站。
可以理解的是，采用DQN算法对传输能效优化模型进行求解得到至少一个无人机基站的目标高度后，再基于至少一个无人机基站的目标高度重新部署至少一个无人机基站，不仅实现了灾区所有用户终端的通信需求，而且优化了无人机基站的传输能效。
本发明实施例提供的无人机基站部署方法，通过获取的受灾区域的所有用户终端的位置信息部署至少一个无人机基站，并构建至少一个无人机基站的传输能效优化模型，采用DQN算法对传输能效优化模型进行求解，得到至少一个无人机基站的目标高度，基于目标高度对至少一个无人机基站进行重新部署，实现了受灾区域的所有用户终端的通信需求，并优化了无人机基站的传输能效。
基于上述实施例的内容，所述基于所述所有用户终端的位置信息部署至少一个无人机基站，具体包括：
通过DBSCAN聚类算法对所述所有用户终端的位置信息进行聚类计算，得到至少一个用户终端分布簇，基于每个用户终端分布簇的中心位置与第一预设初始高度部署第一类型无人机基站；
通过高斯混合模型GMM热点检测算法对所述所有用户终端的位置信息进行计算，得到至少一个热点区域，基于每个热点区域的中心位置与第二预设初始高度部署第二类型无人机基站。
可选地，用户终端的位置信息采用三维坐标表示。
例如，三维坐标的原点位于地面，用户终端的位置信息为(xl,yl,0)，其中l∈NU，NU表示所有用户终端集合。
可选地，无人机基站包括第一类型无人机基站和第二类型无人机基站。
其中，所述第一预设初始高度大于所述第二预设初始高度，所述第一类型无人机基站的功率大于第二类型无人机基站的功率。
可以理解的是，将每个用户终端分布簇的中心位置与第一预设初始高度作为第一类型无人机基站的初始位置信息，进而部署第一类型无人机基站，能够实现对受灾区域的所有用户终端的全面覆盖，达到所有用户终端全部恢复通信的效果。
可选地，第一类型无人机基站的位置信息采用三维坐标表示。
例如，三维坐标的原点位于地面，第一类型无人机基站的初始位置信息为(xi,yi,hi)，其中，i∈NB，NB表示所有用户终端集合，用户终端分布簇的中心位置为(xi,yi)，第一预设初始高度为hi。
其中，热点区域为受灾区域中用户终端分布较密集的区域。
需要说明的是，在受灾区域中用户终端分布较密集的情况下，只部署第一类型无人机基站不能较好的实现用户终端的通信需求，因此，本发明实施例提供了在热点区域部署第二类型无人机基站的方法，对热点区域的用户终端的通信进行局部性能提高和容量扩充。
可以理解的是，基于每个热点区域的中心位置与第二预设初始高度确认第二类型无人机基站的初始位置信息，基于第二类型无人机基站的初始位置信息部署第二类型无人机基站。
例如，第二类型无人机基站为毫米波无人机基站。
可选地，第二类型无人机基站的位置信息采用三维坐标表示。
例如，三维坐标的原点位于地面，第二类型无人机基站的初始位置信息为(xj，yj，hj)，其中，j∈NM，NM表示所有用户终端集合，用户终端分布簇的中心位置为(xj,yj)，第二预设初始高度为hj。
本发明实施例提供的无人机基站部署方法，通过DBSCAN聚类算法对所有用户终端的位置信息进行计算，得到用户终端分布簇，基于用户终端分布簇的中心位置对第一类型无人机基站进行部署，实现了受灾区域的所有用户终端的通信需求，通过GMM热点检测算法对所有用户终端的位置信息进行计算，得到热点区域，基于热点区域的中心位置对第二类型无人机基站进行部署，实现对热点区域的用户终端的通信进行局部性能提高和容量扩充。
图2是本发明实施例提供的无人机基站部署方法的场景示意图，如图2所示，在受灾区域的地面基站损坏的情况下，受灾区域的用户终端的数量未知，其位置信息随机分布，计算中心通过无人机获取受灾区域的所有用户终端的当前位置信息的分布场景，并基于用户终端的当前位置信息部署多个无人机基站，其中，无人机基站通过边缘计算节点与核心网络完成与受灾区域的所有用户终端之间的通信。另外，每个无人机基站不断移动，达到无人机基站在传输能效最大情况下的优化部署。
基于上述实施例的内容，所述基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型之前，还包括：
基于所述至少一个无人机基站的传输功率计算所述至少一个无人机基站的能耗成本；
基于所述至少一个无人机基站的硬件部署成本和所述至少一个无人机基站的能耗成本计算所述至少一个无人机基站的部署成本。
需要说明的是，在部署的至少一个无人机基站满足受灾区域的所有用户终端的通信需求的情况下，还要避免过度部署无人机基站带来的资源浪费的问题，本发明实施例定义了无人机基站的部署成本，用于衡量至少一个无人机基站的部署情况。
可选地，基于所述至少一个无人机基站的硬件部署成本和所述至少一个无人机基站的能耗成本计算所述至少一个无人机基站的部署成本，具体包括：
基于至少一个无人机基站的硬件部署成本和至少一个无人机基站的能耗成本利用公式(3)-(5)计算至少一个无人机基站的部署成本：
Figure BDA0003278010210000101
Figure BDA0003278010210000102
Figure BDA0003278010210000103
其中，
Figure BDA0003278010210000104
表示第i个第一类型无人机基站的部署成本，cB表示第一类型无人机基站的硬件部署成本，
Figure BDA0003278010210000105
表示第i个第一类型无人机基站的能耗成本，PcB表示第一类型无人机基站的固定功率，
Figure BDA0003278010210000106
表示第i个第一类型无人机基站与第l个用户终端之间的传输功率，
Figure BDA00032780102100001010
表示无人机基站的硬件及功率适配参数，
Figure BDA0003278010210000107
表示第j个第二类型无人机基站的部署成本，cM表示第二类型无人机基站的硬件部署成本，
Figure BDA0003278010210000108
表示第j个第二类型无人机基站的能耗成本，PcM表示第二类型无人机基站的固定功率，
Figure BDA0003278010210000109
表示第j个第二类型无人机基站与第l个用户终端之间的传输功率，CNET表示至少一个无人机基站的部署成本，NB表示第一类型无人机基站的数量，NM表示第二类型无人机基站的数量，B表示第一类型无人机基站，M表示第二类型无人机基站。
本发明实施例提供的无人机基站部署方法，通过无人机基站的传输功率计算无人机基站的能耗成本，再基于无人机基站的硬件成本和能耗成本计算无人机基站的部署成本，基于无人机基站的部署成本衡量无人机基站的部署情况，进而对无人机基站的传输能效进行优化。
基于上述实施例的内容，所述基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型之前，还包括：
基于所述至少一个无人机基站的传输功率计算所述至少一个无人机基站的通信能量；
基于所述至少一个无人机基站的通信能量与所述至少一个无人机基站的悬停能量计算所述至少一个无人机基站的总能耗。
需要说明的是，由于部署的无人机基站不能无限制提供通信能量，因此，需要考虑无人机基站的能量类型，基于无人机基站的能量类型确定无人机基站的总能耗，进而基于无人机基站的总能耗对无人机基站的传输能效进行优化。
可选地，基于所述至少一个无人机基站的传输功率计算所述至少一个无人机基站的通信能量，具体包括：
基于至少一个无人机基站的传输功率利用公式(6)-(7)计算至少一个无人机基站的总能耗：
Figure BDA0003278010210000111
Figure BDA0003278010210000112
其中，
Figure BDA0003278010210000113
表示第i个第一类型无人机基站的通信能量，
Figure BDA0003278010210000114
表示第j个第二类型无人机基站的通信能量，
Figure BDA0003278010210000115
表示第i个第一类型无人机基站与第l个用户终端之间的传输功率，
Figure BDA0003278010210000121
表示第j个第二类型无人机基站与第l个用户终端之间的传输功率，Pcu表示无人机的载电路功率，δ表示服务持续时间参数。
可选地，基于所述至少一个无人机基站的通信能量与所述至少一个无人机基站的悬停能量计算所述至少一个无人机基站的总能耗，具体包括：
基于至少一个无人机基站的通信能量与至少一个无人机基站的悬停能量利用公式(8)-(13)计算至少一个无人机基站的总能耗：
Figure BDA0003278010210000122
Figure BDA0003278010210000123
Figure BDA0003278010210000124
EH＝Phoverδ (11)
Figure BDA0003278010210000125
G＝(W+m)g (13)
其中，ENET表示至少一个无人机基站的总能耗，
Figure BDA0003278010210000126
表示第i个第一类型无人机基站的总能耗，
Figure BDA0003278010210000127
表示第i个第一类型无人机基站的通信能量，EH表示第一类型无人机基站的悬停能量或第二类型无人机基站的悬停能量，
Figure BDA0003278010210000128
表示第j个第二类型无人机基站的总能耗，
Figure BDA0003278010210000129
表示第j个第二类型无人机基站的通信能量，δ表示服务持续时间参数，Phover表示第一类型无人机基站的悬停功率或第二类型无人机基站的悬停功率，M表示无人机的旋翼数量，G表示牛顿推力，W表示无人机的框架重量，m表示无人机的电池以及无人机的有效载荷重量，g表示重力加速度，ρ表示空气的流体密度，β表示转子盘半径。
本发明实施例提供的无人机基站部署方法，基于无人机基站的传输功率计算无人机基站的通信能量，再基于无人机基站的通信能量与无人机基站的悬停能量计算无人机基站的总能耗，进而基于无人机基站的总能耗实现对无人机基站的传输能效的优化。
基于上述实施例的内容，还包括：
基于每个无人机基站的位置信息与每个用户终端的位置信息计算所述每个无人机基站与所述每个用户终端之间的传输路径损耗功率；
基于所述传输路径损耗功率与所述每个用户终端的接收功率计算所述每个无人机基站的传输功率。
需要说明的是，无人机基站的部署成本与无人机基站的总能耗都是基于无人机基站的传输功率计算得到，因此，本发明实施例还提供了计算无人机基站的传输功率的方法。
可选地，基于每个无人机基站的位置信息与每个用户终端的位置信息计算所述每个无人机基站与所述每个用户终端之间的传输路径损耗功率，具体包括：
基于每个第一类型无人机基站的位置信息与每个用户终端的位置信息利用公式(14)-(18)计算每个第一类型无人机基站与每个用户终端之间的传输路径损耗功率：
Figure BDA0003278010210000131
P(LoS)＝a(θi,l-θo)b (15)
P(NLoS)＝1-a(θi,l-θo)b (16)
FSPLi,l＝20logdi,l+20logf-27.55 (17)
Figure BDA0003278010210000132
其中，
Figure BDA0003278010210000133
表示第i个第一类型无人机基站与第l个用户终端之间的传输路径损耗功率，FSPLi,l表示第i个第一类型无人机基站到第l个用户终端的自由空间衰落，
Figure BDA0003278010210000141
表示第i个第一类型无人机基站与第l个用户终端之间的视距传输功率，
Figure BDA0003278010210000142
表示第i个第一类型无人机基站与第l个用户终端之间的非视距传输功率，P(LoS)表示第一类型无人机基站的视距传输概率，P(NLoS)表示第一类型无人机基站的非视距传输概率，LoS表示视距传输，NLoS表示非视距传输，θl,i表示第i个第一类型无人机基站到第l个用户终端之间的传输路径的夹角，θo表示初始夹角，可以取值为15°，a和b表示与环境有关的固定参数，a可以取值为0.76，b可以取值为0.6，di,l表示第i个第一类型无人机基站与第l个用户终端之间的距离，(xi,yi,hi)表示第i个第一类型无人机基站的位置信息，(xl,yl,0)表示第l个用户终端的位置信息，f表示载波功率，可以取值为2000MHZ。
基于每个第二类型无人机基站的位置信息与每个用户终端的位置信息利用公式(19)-(21)计算每个第二类型无人机基站与每个用户终端之间的传输路径损耗功率：
Figure BDA0003278010210000143
cosδl,j＝hj/dl,j (20)
Figure BDA0003278010210000144
其中，
Figure BDA0003278010210000145
表示第j个第二类型无人机基站与第l个用户终端之间的传输路径损耗功率，M表示主瓣增益，m表示旁瓣增益，δj,l表示第j个第二类型无人机基站与第l个用户终端之间的波束的主瓣角度，hj表示第j个第二类型无人机基站的高度，dj,l表示第j个第二类型无人机基站与第l个用户终端之间的距离，(xj,yj,hj)表示第j个第二类型无人机基站的位置信息。
需要说明的是，本发明实施例中采用扇形天线模型利用公式(19)近似计算天线增益，其中，第二类型无人机基站的传输路径损耗功率采用天线增益表示。
进一步地，在第二类型无人机基站的天线与用户终端的天线完全对齐的情况下，天线增益为(δj,l/2π)2；在第二类型无人机基站的天线的旁瓣与用户终端的天线的旁瓣对齐的情况下，天线增益为2(δj,l/2π)((2π-δl,j)/2π)；其它情形下，天线增益为((2π-δj,l)/2π)2。
可选地，基于所述传输路径损耗功率与所述每个用户终端的接收功率利用公式(22)-(23)计算所述每个无人机基站的传输功率，具体包括：
Figure BDA0003278010210000151
Figure BDA0003278010210000152
其中，
Figure BDA0003278010210000153
表示第i个第一类型无人机基站与第l个用户终端之间的传输功率，
Figure BDA0003278010210000154
表示第j个第二类型无人机基站与第l个用户终端之间的传输功率，PtU表示用户终端的最低接收功率。
其中，用户终端的最低接收功率可根据相关文献查阅得到。
本发明实施例提供的无人机基站部署方法，基于无人机基站的位置信息与用户终端的位置信息计算无人机基站与用户终端之间的传输路径损耗功率，再基于传输路径损耗功率与用户终端的接收功率计算无人机基站的传输功率，进而实现了基于无人机基站的传输功率确定无人机基站的部署成本和无人机基站的总能耗，以及对无人机基站的传输能效的优化。
基于上述实施例的内容，所述传输能效优化模型的目标函数为：
Figure BDA0003278010210000155
cl(t)＝B*log2(1+SINRl(t)) (2)
其中，φ表述至少一个无人机基站的传输能效，ENet表示至少一个无人机基站的总能耗，Tr表示所有用户终端的传输吞吐量，CNet表示至少一个无人机基站的部署成本，
Figure BDA0003278010210000161
表示第i个第一类型无人机基站的总能耗，
Figure BDA0003278010210000162
表示第j个第二类型无人机基站的总能耗，
Figure BDA0003278010210000163
表示第i个第一类型无人机基站的部署成本，
Figure BDA0003278010210000164
表示第j个第二类型无人机基站的部署成本，Il(t)表示第l个用户终端在t时刻是否与无人机基站相连接，cl(t)表示第l个用户终端在t时刻的传输速率，B表示传输带宽，SINRl(t)表示第l个用户终端在t时刻的信噪比。
可以理解的是，传输能效优化模型的目标函数表示根据至少一个无人机基站的部署成本、至少一个无人机基站的总能耗以及所有用户终端的传输吞吐量计算传输能效最大值，在满足传输能效优化模型的约束条件的情况下，实现对无人机基站的传输能效的优化。
本发明实施例提供的无人机基站部署方法，基于传输能效优化模型的目标函数计算传输能效最大值，能够实现对无人机基站的传输能效的优化。
基于上述实施例的内容，所述传输能效优化模型的约束条件包括所述至少一个无人机基站的位置信息的限制范围、所述所有用户终端与所述至少一个无人机基站的连接关系、每个无人机基站的服务状态、每个用户终端的信噪比的取值范围、所述每个无人机基站与所述每个用户终端之间的传输功率的限制范围和所述每个用户终端的传输速率的取值范围。
可以理解的是，在满足传输能效优化模型的约束条件的情况下，根据传输能效优化模型的目标函数计算传输能效最大值，能够实现对无人机基站的传输能效的优化。
可选地，所述至少一个无人机基站的位置信息的限制范围包括第一类型无人机基站的位置信息的限制范围与第二类型无人机基站的位置信息的限制范围。
其中，第i个第一类型无人机基站在t时刻的位置信息为(xi(t),yi(t),hi(t))，相应地，第i个第一类型无人机基站在t时刻的位置信息的限制范围为xi(t)∈[xmin,xmax]，yi(t)∈[ymin,ymax]，hi(t)∈[hmin,hmax]。
第j个第二类型无人机基站在t时刻的位置信息为(xi(t),yi(t),hi(t))，则第j个第二类型无人机基站在t时刻的位置信息的限制范围为xj(t)∈[xmin,xmax]，yj(t)∈[ymin,ymax]，hj(t)∈[hmin,hmax]。
其中，无人机基站的位置信息的最小取值为(xmin,ymin,hmin)，无人机基站的位置信息的最大取值为(xmax,ymax,hmax)。
可选地，所述所有用户终端与所述至少一个无人机基站的连接关系为：
Figure BDA0003278010210000171
其中，βi,l(t)表示第i个第一类型无人机基站与第l个用户终端之间在t时刻的连接关系，ωj,l(t)表示第j个第二类型无人机基站与第l个用户终端之间在t时刻的连接关系。
可选地，每个无人机基站的服务状态包括第一类型无人机基站的服务状态与第二类型无人机基站的服务状态。
其中，第一类型无人机基站的服务状态为
Figure BDA0003278010210000172
第二类型无人机基站的服务状态为
Figure BDA0003278010210000173
例如，βi,l(t)取值为0，表示第i个第一类型无人机基站与第l个用户终端之间在t时刻处于断开状态，βi,l(t)取值为1，表示第i个第一类型无人机基站与第l个用户终端之间在t时刻处于连接状态。
再例如，ωj,l(t)取值为0，表示第j个第二类型无人机基站与第l个用户终端之间在t时刻处于断开状态，ωj,l(t)取值为1，表示第j个第二类型无人机基站与第l个用户终端之间在t时刻处于连接状态。
可选地，每个用户终端的信噪比在t时刻的取值范围为SINRl(t)≥σmin，其中，σmin表示用户终端的信噪比的最小约束值。
可选地，所述每个无人机基站与所述每个用户终端之间的传输功率的限制范围为：
Figure BDA0003278010210000174
其中，
Figure BDA0003278010210000175
表示第i个第一类型无人机基站与第l个用户终端之间的传输功率，
Figure BDA0003278010210000176
表示第一类型无人机基站与用户终端之间的传输功率的最大值，
Figure BDA0003278010210000181
表示第j个第二类型无人机基站与第l个用户终端之间的传输功率，
Figure BDA0003278010210000182
表示第二类型无人机基站与用户终端之间的传输功率的最大值。
可选地，所述每个用户终端的传输速率的取值范围为：
Figure BDA0003278010210000183
其中，βi，l(t)第i个第一类型无人机基站与第l个用户终端之间在t时刻的连接关系，Ri，l(t)表示第i个第一类型无人机基站与第l个用户终端之间在t时刻的传输速率，ωj,l(t)表示第j个第二类型无人机基站与第l个用户终端之间在t时刻的连接关系，Rj,l(t)表示第j个第二类型无人机基站与第l个用户终端之间在t时刻的传输速率。
本发明实施例提供的无人机基站部署方法，在满足传输能效优化模型的约束条件的情况下，基于传输能效优化模型的目标函数计算传输能效最大值，能够实现对无人机基站的传输能效的优化。
基于上述实施例的内容，还包括：
训练得到DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数；
图3是本发明实施例提供的训练得到DQN网络的当前值网络权重参数和DQN网络的目标值网络权重参数的流程示意图，如图3所示，所述训练得到DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数，具体包括以下步骤：
步骤300、初始化每个无人机基站的第一位置状态，所述第一位置状态包括高度与传输功率。
需要说明的是，本发明实施例采用DQN算法对无人机基站的传输能效优化模型进行求解，以使得无人机基站在传输能效最大的情况下，得到无人机基站的目标高度，进而实现对无人机基站的优化部署。本发明实施例对训练任务进行建模，其中位置状态、动作、奖励等基本要素建模如下：
位置状态为无人机基站的当前位置信息集合。
动作为无人机基站的可移动方向，例如前进、后退、向左、向右、向上、向下以及悬停。
奖励为每个无人机基站的位置在时间T改变后的系统总吞吐量。每个无人机基站根据在每个时隙环境中的当前状态、当前操作和下一个状态计算自己的奖励，由于多个无人机基站之间存在合作关系，因此无人机基站在同一时间共享相同的奖励。
在循环的开始阶段需要初始化无人机基站及DQN网络，其中，初始化回放记忆池，其最大容量设置为N；采用随机权重参数θ初始化当前值网络Q，其中，Q＝(s，a,θ)；并以权重参数θ-＝θ初始化目标值网络
Figure BDA0003278010210000191
进一步地，在对DQN网络进行训练的情况下设置执行片段数，同时在每个执行片段内设置对DQN网络进行训练的最大迭代次数。
进一步地，对每个无人机基站的第一位置状态进行随机初始化，并设置观察值。
其中，观察值表示对DQN网络进行训练之前观察的步数。
一种实施方式中，对每个无人机基站的第一位置状态进行随机初始化，第一位置状态包括高度与传输功率，无人机基站包括第一类型无人机基站与第二类型无人机基站。
步骤301、基于DQN算法，确定所述每个无人机基站在所述第一位置状态的动作，并将所述每个无人机基站的动作存入动作列表。
一种实施方式中，利用当前值网络Q确定每个无人机基站在第一位置状态的动作，并将每个无人机集资哈内的动作存入动作列表。
步骤302、根据所述动作列表中的所述动作和所述第一位置状态，确定所述每个无人机基站的第二位置状态与奖励。
一种实施方式中，无人机基站在第一位置状态执行动作列表中的动作，得到无人机基站的第二位置状态，并确定第一位置状态下的奖励值。
步骤303、将所述第一位置状态、所述动作、所述奖励和所述第二位置状态作为一个转化样本，将全部时刻的转化样本存入回放记忆池中。
一种实施方式中，将当前转化样本(st,at,Rt，s′t+1)保存至回放记忆池中，其中，st表示在t时刻至少一个无人机基站的位置状态集合，at表示在t时刻至少一个无人机基站的动作集合，Rt表示在t时刻的奖励，s′t+1表示在t+1时刻至少一个无人机基站的位置状态集合。
进一步地，若此时回放记忆池中的样本容量超过最大容量，则将当前转化样本覆盖回放记忆池中上一时刻的转化样本。
步骤304、从所述回放记忆池中随机抽取预设数量的转化样本，根据所述预设数量的转化样本和梯度下降算法，更新所述DQN网络的当前值网络权重参数。
可选地，判断回放记忆池中的所有转化样本的数量是否超过观察值，若回放记忆池中的所有转化样本的数量超过观察值，执行步骤304；若回放记忆池中的所有转化样本的数量未超过观察值，则训练任务的迭代次数加1。
进一步地，在训练任务的迭代次数加1后，判断训练任务的当前迭代次数是否达到最大迭代次数，若没有达到最大迭代次数，则将无人机基站的当前位置状态更新为回放记忆池中当前转化样本的下一位置状态，并执行步骤303。
或者，若当前迭代次数达到最大迭代次数，则判断训练任务是否达到最大迭代片段数，若达到最大迭代片段数，则根据回放记忆池中存储的最新转化样本得出无人机基站的高度；若训练任务没有达到最大迭代片段数，则继续执行步骤301。
可选地，从回放记忆池中随机抽取预设数量的转化样本，判断每条转化样本中的下一位置状态是否达到传输能效优化模型的约束条件，若是，则基于该转化样本与目标值网络
Figure BDA0003278010210000201
计算该转化样本中的下一位置状态的奖励值。
或者，若存在转化样本中的下一位置状态没有达到传输能效优化模型的约束条件，则基于目标值网络
Figure BDA0003278010210000211
的随机权重计算目标值网络的函数值。
可选地，该转化样本中的下一状态的奖励值为：
y'＝R'+γQ(s',argmaxaQ(s',a,θ),θ-) (24)
其中，y'表示该转化样本中的下一位置状态的奖励值，R'表示该转化样本中的当前位置状态的奖励值，γ∈(0，1)，s'表示该转化样本中的当前位置状态，a表示该转化样本中的动作，θ表示当前值网络Q的随机权重，θ-表示目标值网络
Figure BDA0003278010210000212
的随机权重。
可选地，根据预设数量的转化样本和梯度下降算法更新DQN网络的当前值网络权重参数，并将训练任务的迭代次数加1，继续执行下一次训练任务。
步骤305、根据所述DQN网络的当前值网络权重参数更新所述DQN网络的目标值网络权重参数。
可选地，在训练任务的迭代次数到达预设迭代次数的情况下，根据DQN网络的当前值网络权重参数更新DQN网络的目标值网络权重参数，其中，更新后的目标值网络权重参数为θ。
本发明实施例提供的无人机基站部署方法，对DQN网络进行训练，得到DQN网络的当前值网络权重参数和DQN网络的目标值网络权重参数，进而对传输能效优化模型进行求解，在满足传输能效优化模型的约束条件的情况下，以无人机基站的传输能效最大为目标，得到无人机基站的目标高度，优化了无人机基站的传输能效。
下面对本发明提供的无人机基站部署装置进行描述，下文描述的无人机基站部署装置与上文描述的无人机基站部署方法可相互对应参照。
图4是本发明实施例提供的无人机基站部署装置的结构示意图。如图4所示，该无人机基站部署装置包括：第一部署单元400、模型构建单元410、模型计算单元420和第二部署单元430，其中，
第一部署单元400，用于通过无人机获取受灾区域的所有用户终端的位置信息，基于所述所有用户终端的位置信息部署至少一个无人机基站；
模型构建单元410，用于基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型；
模型计算单元420，用于采用深度强化学习DQN算法对所述传输能效优化模型进行求解，得到所述至少一个无人机基站的目标高度；
第二部署单元430，用于基于所述目标高度重新部署所述至少一个无人机基站。
本发明实施例提供的无人机基站部署装置，通过获取的受灾区域的所有用户终端的位置信息部署至少一个无人机基站，并构建至少一个无人机基站的传输能效优化模型，采用DQN算法对传输能效优化模型进行求解，得到至少一个无人机基站的目标高度，基于目标高度对至少一个无人机基站进行重新部署，实现了受灾区域的所有用户终端的通信需求，并优化了无人机基站的传输能效。
可选地，无人机基站包括第一类型无人机基站和第二类型无人机基站；
所述基于所述所有用户终端的位置信息部署至少一个无人机基站，具体包括：
通过DBSCAN聚类算法对所述所有用户终端的位置信息进行聚类计算，得到至少一个用户终端分布簇，基于每个用户终端分布簇的中心位置与第一预设初始高度部署第一类型无人机基站；
通过高斯混合模型GMM热点检测算法对所述所有用户终端的位置信息进行计算，得到至少一个热点区域，基于每个热点区域的中心位置与第二预设初始高度部署第二类型无人机基站；
其中，所述第一预设初始高度大于所述第二预设初始高度，所述第一类型无人机基站的功率大于第二类型无人机基站的功率。
可选地，所述装置还包括：
能耗成本计算单元，用于基于所述至少一个无人机基站的传输功率计算所述至少一个无人机基站的能耗成本；
部署成本计算单元，用于基于所述至少一个无人机基站的硬件部署成本和所述至少一个无人机基站的能耗成本计算所述至少一个无人机基站的部署成本。
可选地，所述装置还包括：
通信能量计算单元，用于基于所述至少一个无人机基站的传输功率计算所述至少一个无人机基站的通信能量；
总能耗计算单元，用于基于所述至少一个无人机基站的通信能量与所述至少一个无人机基站的悬停能量计算所述至少一个无人机基站的总能耗。
可选地，所述装置还包括：
传输路径损耗功率计算单元，用于基于每个无人机基站的位置信息与每个用户终端的位置信息计算所述每个无人机基站与所述每个用户终端之间的传输路径损耗功率；
传输功率计算单元，用于基于所述传输路径损耗功率与所述每个用户终端的接收功率计算所述每个无人机基站的传输功率。
可选地，所述传输能效优化模型的目标函数为：
Figure BDA0003278010210000231
cl(t)＝B*log2(1+SINRl(t)) (2)
其中，φ表述至少一个无人机基站的传输能效，ENet表示至少一个无人机基站的总能耗，Tr表示所有用户终端的传输吞吐量，CNet表示至少一个无人机基站的部署成本，
Figure BDA0003278010210000232
表示第i个第一类型无人机基站的总能耗，
Figure BDA0003278010210000233
表示第j个第二类型无人机基站的总能耗，
Figure BDA0003278010210000234
表示第i个第一类型无人机基站的部署成本，
Figure BDA0003278010210000235
表示第j个第二类型无人机基站的部署成本，Il(t)表示第l个用户终端在t时刻是否与无人机基站相连接，cl(t)表示第l个用户终端在t时刻的传输速率，B表示传输带宽，SINRl(t)表示第l个用户终端在t时刻的信噪比。
可选地，所述传输能效优化模型的约束条件包括所述至少一个无人机基站的位置信息的限制范围、所述所有用户终端与所述至少一个无人机基站的连接关系、每个无人机基站的服务状态、每个用户终端的信噪比的取值范围、所述每个无人机基站与所述每个用户终端之间的传输功率的限制范围和所述每个用户终端的传输速率的取值范围。
可选地，所述装置还包括：
训练单元，用于训练得到DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数；
所述训练单元，具体用于：
初始化每个无人机基站的第一位置状态，所述第一位置状态包括高度与传输功率；
基于DQN算法，确定所述每个无人机基站在所述第一位置状态的动作，并将所述每个无人机基站的动作存入动作列表；
根据所述动作列表中的所述动作和所述第一位置状态，确定所述每个无人机基站的第二位置状态与奖励；
将所述第一位置状态、所述动作、所述奖励和所述第二位置状态作为一个转化样本，将全部时刻的转化样本存入回放记忆池中；
从所述回放记忆池中随机抽取预设数量的转化样本，根据所述预设数量的转化样本和梯度下降算法，更新所述DQN网络的当前值网络权重参数；
根据所述DQN网络的当前值网络权重参数更新所述DQN网络的目标值网络权重参数。
本发明提供的无人机基站部署装置能够实现图1至图3的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
图5为本发明实施例提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行无人机基站部署方法，该方法包括：
通过无人机获取受灾区域的所有用户终端的位置信息，基于所述所有用户终端的位置信息部署至少一个无人机基站；
基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型；
采用深度强化学习DQN算法对所述传输能效优化模型进行求解，得到所述至少一个无人机基站的目标高度；
基于所述目标高度重新部署所述至少一个无人机基站。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的无人机基站部署方法，该方法包括：
通过无人机获取受灾区域的所有用户终端的位置信息，基于所述所有用户终端的位置信息部署至少一个无人机基站；
基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型；
采用深度强化学习DQN算法对所述传输能效优化模型进行求解，得到所述至少一个无人机基站的目标高度；
基于所述目标高度重新部署所述至少一个无人机基站。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的无人机基站部署方法，该方法包括：
通过无人机获取受灾区域的所有用户终端的位置信息，基于所述所有用户终端的位置信息部署至少一个无人机基站；
基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型；
采用深度强化学习DQN算法对所述传输能效优化模型进行求解，得到所述至少一个无人机基站的目标高度；
基于所述目标高度重新部署所述至少一个无人机基站。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种无人机基站部署方法，其特征在于，包括：
通过无人机获取受灾区域的所有用户终端的位置信息，基于所述所有用户终端的位置信息部署至少一个无人机基站；
基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型；
采用深度强化学习DQN算法对所述传输能效优化模型进行求解，得到所述至少一个无人机基站的目标高度；
基于所述目标高度重新部署所述至少一个无人机基站。
2.根据权利要求1所述的无人机基站部署方法，其特征在于，无人机基站包括第一类型无人机基站和第二类型无人机基站；
所述基于所述所有用户终端的位置信息部署至少一个无人机基站，具体包括：
通过DBSCAN聚类算法对所述所有用户终端的位置信息进行聚类计算，得到至少一个用户终端分布簇，基于每个用户终端分布簇的中心位置与第一预设初始高度部署第一类型无人机基站；
通过高斯混合模型GMM热点检测算法对所述所有用户终端的位置信息进行计算，得到至少一个热点区域，基于每个热点区域的中心位置与第二预设初始高度部署第二类型无人机基站；
其中，所述第一预设初始高度大于所述第二预设初始高度，所述第一类型无人机基站的功率大于第二类型无人机基站的功率。
3.根据权利要求2所述的无人机基站部署方法，其特征在于，所述基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型之前，还包括：
基于所述至少一个无人机基站的传输功率计算所述至少一个无人机基站的能耗成本；
基于所述至少一个无人机基站的硬件部署成本和所述至少一个无人机基站的能耗成本计算所述至少一个无人机基站的部署成本。
4.根据权利要求2所述的无人机基站部署方法，其特征在于，所述基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型之前，还包括：
基于所述至少一个无人机基站的传输功率计算所述至少一个无人机基站的通信能量；
基于所述至少一个无人机基站的通信能量与所述至少一个无人机基站的悬停能量计算所述至少一个无人机基站的总能耗。
5.根据权利要求3或4所述的无人机基站部署方法，其特征在于，还包括：
基于每个无人机基站的位置信息与每个用户终端的位置信息计算所述每个无人机基站与所述每个用户终端之间的传输路径损耗功率；
基于所述传输路径损耗功率与所述每个用户终端的接收功率计算所述每个无人机基站的传输功率。
6.根据权利要求2所述的无人机基站部署方法，其特征在于，所述传输能效优化模型的目标函数为：
Figure FDA0003278010200000021
cl(t)＝B*log2(1+SINRl(t)) (2)
其中，φ表述至少一个无人机基站的传输能效，ENet表示至少一个无人机基站的总能耗，Tr表示所有用户终端的传输吞吐量，CNet表示至少一个无人机基站的部署成本，
Figure FDA0003278010200000031
表示第i个第一类型无人机基站的总能耗，
Figure FDA0003278010200000032
表示第j个第二类型无人机基站的总能耗，
Figure FDA0003278010200000033
表示第i个第一类型无人机基站的部署成本，
Figure FDA0003278010200000034
表示第j个第二类型无人机基站的部署成本，Il(t)表示第l个用户终端在t时刻是否与无人机基站相连接，cl(t)表示第l个用户终端在t时刻的传输速率，B表示传输带宽，SINRl(t)表示第l个用户终端在t时刻的信噪比。
7.根据权利要求2所述的无人机基站部署方法，其特征在于，所述传输能效优化模型的约束条件包括所述至少一个无人机基站的位置信息的限制范围、所述所有用户终端与所述至少一个无人机基站的连接关系、每个无人机基站的服务状态、每个用户终端的信噪比的取值范围、所述每个无人机基站与所述每个用户终端之间的传输功率的限制范围和所述每个用户终端的传输速率的取值范围。
8.根据权利要求2所述的无人机基站部署方法，其特征在于，还包括：
训练得到DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数；
所述训练得到DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数，具体包括：
初始化每个无人机基站的第一位置状态，所述第一位置状态包括高度与传输功率；
基于DQN算法，确定所述每个无人机基站在所述第一位置状态的动作，并将所述每个无人机基站的动作存入动作列表；
根据所述动作列表中的所述动作和所述第一位置状态，确定所述每个无人机基站的第二位置状态与奖励；
将所述第一位置状态、所述动作、所述奖励和所述第二位置状态作为一个转化样本，将全部时刻的转化样本存入回放记忆池中；
从所述回放记忆池中随机抽取预设数量的转化样本，根据所述预设数量的转化样本和梯度下降算法，更新所述DQN网络的当前值网络权重参数；
根据所述DQN网络的当前值网络权重参数更新所述DQN网络的目标值网络权重参数。
9.一种无人机基站部署装置，其特征在于，包括：
第一部署单元，用于通过无人机获取受灾区域的所有用户终端的位置信息，基于所述所有用户终端的位置信息部署至少一个无人机基站；
模型构建单元，用于基于所述至少一个无人机基站的部署成本、所述至少一个无人机基站的总能耗及所述所有用户终端的传输吞吐量构建所述至少一个无人机基站的传输能效优化模型；
模型计算单元，用于采用深度强化学习DQN算法对所述传输能效优化模型进行求解，得到所述至少一个无人机基站的目标高度；
第二部署单元，用于基于所述目标高度重新部署所述至少一个无人机基站。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述无人机基站部署方法的步骤。
CN202111123437.0A 2021-09-24 2021-09-24 无人机基站部署方法及装置 Active CN113938830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111123437.0A CN113938830B (zh) 2021-09-24 2021-09-24 无人机基站部署方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111123437.0A CN113938830B (zh) 2021-09-24 2021-09-24 无人机基站部署方法及装置

Publications (2)

Publication Number Publication Date
CN113938830A true CN113938830A (zh) 2022-01-14
CN113938830B CN113938830B (zh) 2023-03-24

Family

ID=79276754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111123437.0A Active CN113938830B (zh) 2021-09-24 2021-09-24 无人机基站部署方法及装置

Country Status (1)

Country Link
CN (1) CN113938830B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113433967A (zh) * 2021-06-07 2021-09-24 北京邮电大学 一种可充电无人机路径规划方法及系统
CN114785397A (zh) * 2022-03-11 2022-07-22 浙江以正通信技术有限公司 无人机基站控制方法、飞行轨迹优化模型构建、训练方法
CN114928393A (zh) * 2022-03-08 2022-08-19 北京邮电大学 基于无人机的通信信号覆盖增强方法及相关设备
CN115297486A (zh) * 2022-07-28 2022-11-04 山东浪潮科学研究院有限公司 空中网络系统的部署方法、装置及电子设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106792716A (zh) * 2016-12-14 2017-05-31 北京邮电大学 一种应灾无人机基站的控制方法和装置
CN109819453A (zh) * 2019-03-05 2019-05-28 西安电子科技大学 基于改进遗传算法的成本最优化无人机基站部署方法
CN109862575A (zh) * 2019-03-25 2019-06-07 河北工程大学 无人机基站部署方法、终端设备及计算机可读存储介质
CN110087189A (zh) * 2019-04-30 2019-08-02 北京邮电大学 一种无人机基站部署位置的确定方法及装置
CN110428115A (zh) * 2019-08-13 2019-11-08 南京理工大学 基于深度强化学习的动态环境下的最大化系统效益方法
US20200027019A1 (en) * 2019-08-15 2020-01-23 Lg Electronics Inc. Method and apparatus for learning a model to generate poi data using federated learning
CN110996328A (zh) * 2019-11-25 2020-04-10 北京邮电大学 一种无人机基站部署位置确定方法、装置及电子设备
CN111565065A (zh) * 2020-03-24 2020-08-21 北京邮电大学 一种无人机基站部署方法、装置及电子设备
CN111918337A (zh) * 2020-06-30 2020-11-10 西安理工大学 一种业务负载均衡的无人机基站最优部署方法
CN111970714A (zh) * 2020-08-14 2020-11-20 北京邮电大学 一种面向用户分布依赖的无人机基站部署方法
CN111970712A (zh) * 2020-08-12 2020-11-20 北京邮电大学 一种考虑建筑物遮挡效应的无人机基站部署方法
CN112636811A (zh) * 2020-12-08 2021-04-09 北京邮电大学 一种中继无人机部署方法及装置
US20210165405A1 (en) * 2019-12-03 2021-06-03 University-Industry Cooperation Group Of Kyung Hee University Multiple unmanned aerial vehicles navigation optimization method and multiple unmanned aerial vehicles system using the same
CN113206701A (zh) * 2021-04-30 2021-08-03 重庆大学 一种无人机飞行基站的三维部署和功率分配联合优化方法
CN113268077A (zh) * 2021-04-13 2021-08-17 国网能源研究院有限公司 无人机能耗最小化设计方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106792716A (zh) * 2016-12-14 2017-05-31 北京邮电大学 一种应灾无人机基站的控制方法和装置
CN109819453A (zh) * 2019-03-05 2019-05-28 西安电子科技大学 基于改进遗传算法的成本最优化无人机基站部署方法
CN109862575A (zh) * 2019-03-25 2019-06-07 河北工程大学 无人机基站部署方法、终端设备及计算机可读存储介质
CN110087189A (zh) * 2019-04-30 2019-08-02 北京邮电大学 一种无人机基站部署位置的确定方法及装置
CN110428115A (zh) * 2019-08-13 2019-11-08 南京理工大学 基于深度强化学习的动态环境下的最大化系统效益方法
US20200027019A1 (en) * 2019-08-15 2020-01-23 Lg Electronics Inc. Method and apparatus for learning a model to generate poi data using federated learning
CN110996328A (zh) * 2019-11-25 2020-04-10 北京邮电大学 一种无人机基站部署位置确定方法、装置及电子设备
US20210165405A1 (en) * 2019-12-03 2021-06-03 University-Industry Cooperation Group Of Kyung Hee University Multiple unmanned aerial vehicles navigation optimization method and multiple unmanned aerial vehicles system using the same
CN111565065A (zh) * 2020-03-24 2020-08-21 北京邮电大学 一种无人机基站部署方法、装置及电子设备
CN111918337A (zh) * 2020-06-30 2020-11-10 西安理工大学 一种业务负载均衡的无人机基站最优部署方法
CN111970712A (zh) * 2020-08-12 2020-11-20 北京邮电大学 一种考虑建筑物遮挡效应的无人机基站部署方法
CN111970714A (zh) * 2020-08-14 2020-11-20 北京邮电大学 一种面向用户分布依赖的无人机基站部署方法
CN112636811A (zh) * 2020-12-08 2021-04-09 北京邮电大学 一种中继无人机部署方法及装置
CN113268077A (zh) * 2021-04-13 2021-08-17 国网能源研究院有限公司 无人机能耗最小化设计方法及装置
CN113206701A (zh) * 2021-04-30 2021-08-03 重庆大学 一种无人机飞行基站的三维部署和功率分配联合优化方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JIAHUI WU: "3D Aerial Base Station Position Planning based on Deep Q-Network for Capacity Enhancement", 《2019 IFIP/IEEE INTERNATIONAL SYMPOSIUM ON INTEGRATED NETWORK MANAGEMENT (IM2019): MINI-CONFERENCE》 *
JIANLI GUO: "3D Aerial Vehicle Base Station (UAV-BS) Position Planning based on Deep Q-Learning for Capacity Enhancement of Users With Different QoS Requirements", 《2019 15TH INTERNATIONAL WIRELESS COMMUNICATIONS & MOBILE COMPUTING CONFERENCE (IWCMC)》 *
KOUSHIK A.M, FEI HU: "2020 IEEE 91st Vehicular Technology Conference (VTC2020-Spring)", 《IEEE TRANSACTIONS ON COGNITIVE COMMUNICATIONS AND NETWORKING》 *
THUSHAN SIVALINGAM: "Positioning of Multiple Unmanned Aerial Vehicle Base Stations in Future Wireless Network", 《2020 IEEE 91ST VEHICULAR TECHNOLOGY CONFERENCE (VTC2020-SPRING)》 *
芦方旭: "基于灰狼算法的无人机基站三维空间优化部署", 《兵器装备工程学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113433967A (zh) * 2021-06-07 2021-09-24 北京邮电大学 一种可充电无人机路径规划方法及系统
CN114928393A (zh) * 2022-03-08 2022-08-19 北京邮电大学 基于无人机的通信信号覆盖增强方法及相关设备
CN114785397A (zh) * 2022-03-11 2022-07-22 浙江以正通信技术有限公司 无人机基站控制方法、飞行轨迹优化模型构建、训练方法
CN115297486A (zh) * 2022-07-28 2022-11-04 山东浪潮科学研究院有限公司 空中网络系统的部署方法、装置及电子设备
CN115297486B (zh) * 2022-07-28 2023-05-26 山东浪潮科学研究院有限公司 空中网络系统的部署方法、装置及电子设备

Also Published As

Publication number Publication date
CN113938830B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN113938830B (zh) 无人机基站部署方法及装置
CN109275094B (zh) 一种高能效无人机覆盖点连续覆盖方法和装置
Deruyck et al. Designing UAV-aided emergency networks for large-scale disaster scenarios
US20200169895A1 (en) Methods and apparatus for coverage prediction and network optimization in 5g new radio networks
CN113873434B (zh) 面向通信网络热点区域容量增强的多空中基站部署方法
CN110312265B (zh) 无人机编队通信覆盖的功率分配方法及系统
CN112333767B (zh) 一种在灾后地区部署无人机应急通信系统的方法
CN114221687B (zh) 无人机空中基站组网方法、装置及电子设备
CN114268967B (zh) 无人机辅助移动边缘网络用户匹配方法及装置
CN115278698A (zh) 基于动态用户分布预测的无人机基站动态部署方法及装置
Kumbhar et al. Heuristic approach for jointly optimising FeICIC and UAV locations in multi‐tier LTE‐advanced public safety HetNet
CN112947583B (zh) 无人机通信网络拓扑优化方法及系统
Kirubakaran et al. Optimizing tethered UAV deployment for on-demand connectivity in disaster scenarios
US12047787B2 (en) Systems and methods for transportable cellular networks
CN115643584A (zh) 空中扩容基站的部署方法、装置及电子设备
Mignardi et al. Performance Evaluation of UAV-Aided Mobile Networks by Means of Ray Launching Generated REMs
KR102333864B1 (ko) 통신 처리량 최대화를 위한 기계학습 기반의 군집 무인 항공기 배치 장치 및 방법
Li et al. Efficient optimal backhaul-aware placement of multiple drone-cells based on genetic algorithm
Zhang et al. Autonomous navigation and configuration of integrated access backhauling for UAV base station using reinforcement learning
CN117835463B (zh) 基于深度强化学习的空地自组通信网络时空动态部署方法
CN115276771B (zh) 非静止轨道卫星信关站服务范围仿真方法及装置
CN117729555B (zh) 空中基站部署方法、协同系统及相关设备
CN115511202A (zh) 无人机快速部署方法和装置、电子设备
Hwang et al. Cell Partitioning Scheme for UAV Communications to Maximize Throughput
Leel et al. Reinforcement Learning Empowered Massive IoT Access in LEO-based Non-Terrestrial Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant