CN113873434A - 面向通信网络热点区域容量增强的多空中基站部署方法 - Google Patents

面向通信网络热点区域容量增强的多空中基站部署方法 Download PDF

Info

Publication number
CN113873434A
CN113873434A CN202110998237.3A CN202110998237A CN113873434A CN 113873434 A CN113873434 A CN 113873434A CN 202110998237 A CN202110998237 A CN 202110998237A CN 113873434 A CN113873434 A CN 113873434A
Authority
CN
China
Prior art keywords
base station
air base
air
aerial
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110998237.3A
Other languages
English (en)
Other versions
CN113873434B (zh
Inventor
周凡钦
李文璟
赵一琨
丰雷
喻鹏
阙笑语
高远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110998237.3A priority Critical patent/CN113873434B/zh
Publication of CN113873434A publication Critical patent/CN113873434A/zh
Application granted granted Critical
Publication of CN113873434B publication Critical patent/CN113873434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/24—Cell structures
    • H04W16/26—Cell enhancers or enhancement, e.g. for tunnels, building shadow
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/08—Access point devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供一种面向通信网络热点区域容量增强的多空中基站部署方法，包括获取目标区域的状态信息，其中目标区域的状态信息包括目标区域内的用户终端的当前地理位置信息和目标区域内的空中基站的当前地理位置信息；基于亲和力传播AP聚类算法、空中基站间的干扰强度和目标区域的状态信息对空中基站划分协作簇，得到第一用户空中基站关联集合；基于第一用户空中基站关联集合计算第一系统容量，将第一系统容量设置为多智能体深度强化学习DQN网络的奖励函数；将空中基站作为单独的智能体，根据DQN网络确定每个智能体的动作，根据动作对空中基站进行位置移动；经过至少一次位置移动，得到目标区域的空中基站部署位置，提升了系统的容量性能。

Description

面向通信网络热点区域容量增强的多空中基站部署方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种面向通信网络热点区域容量增强的多空中基站部署方法。
背景技术
随着移动互联网的发展，人们对各种应用场景下的通信体验要求越来越高，用户希望能在体育场、露天集会、演唱会等超密集场景下获得一致的业务体验，这些热点区域对5G网络造成巨大的容量负载压力。由于具有悬停能力、易于部署、行动灵活、部署成本低等优势，使用基于无人机的空中基站进行临时通信被视为是对地面通信网络的一种重要补充手段，可以有效增强地面上的无线容量和覆盖范围，满足5G和B5G蜂窝移动通信的要求。当热点区域出现，地面基站不能满足用户的通信需求时，可以将无人机搭载临时基站布置到热点区域上空，增强热点区域的容量。
单个空中基站能提供的通信能力是有限的，面对日益增长的地面用户终端的需求，往往需要多个空中基站协作进行辅助通信。干扰是多空中基站网络中的一个重要问题，同时可能会存在多个空中基站相互挤占最佳部署位置的现象，因此需要如何合理部署多空中基站的位置以获得最佳通信性能也是一个重要的问题。
目前在考虑多个空中基站部署时，主要使用的方法包括最优化算法和单智能体强化学习等。前者存在计算复杂度高的问题，并且难以适应动态环境，当网络节点位置移动，需要重新计算结果；后者存在动作空间大、训练时间长、可扩展性差等问题。目前针对多空中基站间的干扰多缺乏考虑。
为了解现有空中基站所使用的部署算法，现有技术有如下技术方案：
技术方案1：专利公开号为CN112512115A的《一种空中基站位置确定方法、装置及电子设备》，该专利公开了一种5G毫米波空中基站的电网应急通信方法，当空中基站对应的地面终端的属性信息发生改变时，获取空中基站当前位置信息和地面终端属性信息，并根据以上信息确定空中基站位于当前位置时的容量，以容量增强为目标通过强化学习模型确定所述空中基站位置，提高了空中基站部署的灵活性以及利用空中基站进行通信补充的有效性。
技术方案2：专利公开号为CN112738883A的《一种空中基站位置确定方法及装置》，该专利公开了一种空中基站部署方法，该专利首先根据历史地面终端数量数据预测目标区域在目标时间段内的地面终端数量，当预测到的地面终端数量大与预设阈值时，根据目标区域内的当前地面终端位置信息确定空中基站位置，并使用强化学习模型进行以容量增强为目标的部署优化。
技术方案3：专利号为CN112672361A的《一种基于无人机集群部署的大规模MIMO容量提升方法》，该专利公开了一种基于无人机集群部署的大规模MIMO(multiple inmultiple out，多进多出)容量提升方法，首先各单天线无人机随机部署在多天线地面基站上方区域，各无人机通过地理位置系统辅助估计信道状态信息，然后随机选择一架无人机与邻居无人机进行通信，构建局部信息并计算当前收益，根据收益学习部署行为，其它无人机保持位置不变，若干轮交互后各无人机确定最优部署位置，提升信道容量。
技术方案4：专利号为CN112511250A的《一种基于DRL的多无人机空中基站动态部署方法及系统》，该专利公开了一种基于DRL(Deep Reinforcement Learning，深度强化学习)的多无人机空中基站动态部署方法，该方法可以在地面用户位置信息时变条件下，提升无人机基站的通信效能，具体为根据待部署的目标区域范围采用空对地信道模型确定无人机的部署高度，基于所述部署高度、所述目标区域范围内用户分布、无人机数量和更新时间段，构建多无人机基站动态部署的神经网络模型，并基于DRL的训练方式对所述神经网络模型进行训练，采用所述训练后的网络生成每个无人机在所述更新时间段内的运动决策。
但是现有技术存在以下问题：
技术方案1虽然采用了强化学习模型对空中基站进行部署优化，但是只考虑了单空中基站部署场景。然而，随着地面用户终端的增多与通信需求的增加，单个空中基站容量扩展能力有限，需要多个空中基站进行协同部署。
技术方案2虽然采用了分簇算法对地面终端进行分簇，每个簇分配一个空中基站进行容量增强，但是其采用的分簇算法是基于地理分布特性进行分簇，即把距离近的用户分为一簇，欠缺对多空中基站间的干扰问题的考虑。
技术方案3调整无人机集群的部署位置最大化大规模MIMO网络通信性能，采用了分布式部署优化算法，但是没有用到深度强化学习等先进技术，难以应对网络的动态性，当网络节点信息发生变化时需要重新计算，难以适用于高动态性的空中基站网络。
技术方案4的优化目标考虑覆盖指标，没有考虑容量性能，其采用ActorCritic深度强化学习模型对空中基站的运动做决策，其动作空间是所有空中基站的动作空间的集合，动作空间大，导致训练时时间、内存开销大。
综上所述，现有技术中对于空中基站部署的研究中对多空中基站部署的考虑欠缺，没有考虑多空中基站间的干扰问题，采取的部署算法为最优化迭代算法或者传统单智能体的深度强化学习算法，存在难以适应动态网络、计算复杂度高、扩展性差等问题。
发明内容
本发明提供一种面向通信网络热点区域容量增强的多空中基站部署方法，用以解决现有技术中空中基站的部署算法难以适应动态网络、计算复杂度高和扩展性差的缺陷，降低了多空中基站间的干扰，提升了系统的容量性能。
本发明提供一种面向通信网络热点区域容量增强的多空中基站部署方法，包括：
获取目标区域的状态信息，其中，所述目标区域的状态信息包括所述目标区域内的用户终端的当前地理位置信息和所述目标区域内的空中基站的当前地理位置信息；
基于亲和力传播AP聚类算法、所述空中基站间的干扰强度和所述目标区域的状态信息对所述空中基站进行划分协作簇，得到第一用户空中基站关联集合，其中，所述第一用户空中基站关联集合中包括每个协作簇中的空中基站集合和每个协作簇中的用户终端集合；
基于所述第一用户空中基站关联集合计算第一系统容量，将所述第一系统容量设置为多智能体深度强化学习DQN网络的奖励函数；
将所述空中基站作为单独的智能体，根据所述DQN网络确定每个所述智能体的动作，根据所述动作对所述空中基站进行位置移动；
经过至少一次所述位置移动，得到所述目标区域的空中基站部署位置。
本发明提供一种面向通信网络热点区域容量增强的多空中基站部署装置，其特征在于，包括：
状态信息获取模块，用于获取目标区域的状态信息，其中，所述目标区域的状态信息包括所述目标区域内的用户终端的当前地理位置信息和所述目标区域内的空中基站的当前地理位置信息；
协作簇划分模块，用于基于亲和力传播AP聚类算法、所述空中基站间的干扰强度和所述目标区域的状态信息对所述空中基站进行划分协作簇，得到第一用户空中基站关联集合，其中，所述第一用户空中基站关联集合中包括每个协作簇中的空中基站集合和每个协作簇中的用户终端集合；
系统容量计算模块，用于基于所述第一用户空中基站关联集合计算第一系统容量，将所述第一系统容量设置为多智能体深度强化学习DQN网络的奖励函数；
位置移动模块，用于将所述空中基站作为单独的智能体，根据所述DQN网络确定每个所述智能体的动作，根据所述动作对所述空中基站进行位置移动；
经过至少一次所述位置移动，得到所述目标区域的空中基站部署位置。
本发明提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述计算机程序时实现所述面向通信网络热点区域容量增强的多空中基站部署方法的步骤。
本发明提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行所述面向通信网络热点区域容量增强的多空中基站部署方法的步骤。
本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述面向通信网络热点区域容量增强的多空中基站部署方法的步骤。
本发明提供的面向通信网络热点区域容量增强的多空中基站部署方法，基于AP聚类算法对空中基站进行分簇，并将第一系统容量设置为多智能体DQN网络的奖励函数提升容量，再利用改进的扩展至多智能体环境下的DQN深度强化学习算法得到多空中基站的最优部署位置，降低了多空中基站间的干扰，提升了系统的容量性能。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的面向通信网络热点区域容量增强的多空中基站部署方法的流程示意图；
图2为本发明提供的基于亲和力传播AP聚类算法、空中基站间的干扰强度和所述目标区域的状态信息对空中基站进行划分协作簇，得到第一用户和多空中基站关联集合的流程示意图；
图3为本发明提供的根据所述空中基站间的干扰强度和AP聚类算法，确定所述每个协作簇中的空中基站集合的流程示意图；
图4为本发明提供的训练得到所述DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数得流程示意图；
图5为本发明提供的面向通信网络热点区域容量增强的多空中基站部署装置的结构示意图；
图6为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的面向通信网络热点区域容量增强的多空中基站部署方法的流程示意图，如图1所示，包括以下步骤：
步骤100、获取目标区域的状态信息，其中，所述目标区域的状态信息包括所述目标区域内的用户终端的当前地理位置信息和所述目标区域内的空中基站的当前地理位置信息。
可选地，所述目标区域内的用户终端的当前地理位置信息和所述目标区域内的空中基站的当前地理位置信息可以通过三维坐标的形式表示。
例如，三维坐标的原点位于地面，此时空中基站的三维坐标可以表示为(xn,yn,hn)，其中n∈N，N为所述目标区域内空中基站的集合；用户终端的三维坐标可以表示为(xk,yk,0)，其中k∈K，K为所述目标区域内用户终端的集合。
步骤101、基于亲和力传播AP聚类算法、所述空中基站间的干扰强度和所述目标区域的状态信息对所述空中基站进行划分协作簇，得到第一用户空中基站关联集合，其中，所述第一用户空中基站关联集合中包括每个协作簇中的空中基站集合和每个协作簇中的用户终端集合。
可选地，本实施例面向多空中基站部署场景，空中基站与地面用户之间的信道是一个视距(Line of Sight，LoS)主导的链路，多空中基站不可避免地存在较强的交叉链路干扰，影响通信性能。因此，需要一种策略来抑制多空中基站间的干扰。
使用AP聚类算法对空中基站根据干扰特性进行划分协作簇，得到协作机制下的第一用户空中基站关联集合。协作簇内的空中基站通过协同多点传输(CoordinatedMultiple Points，CoMP)技术协同为该协作簇内的用户提供服务。
步骤102、基于所述第一用户空中基站关联集合计算第一系统容量，将所述第一系统容量设置为多智能体深度强化学习DQN网络的奖励函数。
可选地，对传统的深度强化学习(Deep Q Network，DQN)网络扩展至多智能体环境，将第一系统容量设置为多智能体DQN网络的奖励函数。
步骤103、将所述空中基站作为单独的智能体，根据所述DQN网络确定每个所述智能体的动作，根据所述动作对所述空中基站进行位置移动。
可选地，DQN网络可以确定空中基站在当前状态下应该采取什么动作，空中基站根据该动作进行移动，从初始位置移动到更优的部署位置。
步骤104、经过至少一次所述位置移动，得到所述目标区域的空中基站部署位置。
可选地，基于目标区域的状态信息，可以确定目标区域内每个空中基站的动作，根据所述动作对所述空中基站进行位置移动后，目标区域的状态信息发生改变，此时可确定改变后的状态信息下的空中基站的动作，再次对空中基站进行位置移动。也就是说空中基站经过至少一次位置移动，移动到了最终的部署位置，即得到目标区域的空中基站部署位置。
本发明实施例，考虑多空中基站间的干扰问题，通过划分协作簇解决干扰问题，基于AP聚类算法对空中基站进行分簇，并将第一系统容量设置为多智能体DQN网络的奖励函数提升容量，再利用改进的扩展至多智能体环境下的DQN深度强化学习算法得到多空中基站的最优部署位置，提升了系统的容量性能。
图2为本发明实施例提供的基于亲和力传播AP聚类算法、空中基站间的干扰强度和所述目标区域的状态信息对空中基站进行划分协作簇，得到第一用户和多空中基站关联集合的流程示意图，如图2所示，在一个实施例中，所述基于亲和力传播AP聚类算法、空中基站间的干扰强度和所述目标区域的状态信息对空中基站进行划分协作簇，得到第一用户和多空中基站关联集合包括：
步骤200、基于所述目标区域的状态信息，将每个所述用户终端和与所述用户终端信道条件最好的所述空中基站建立初始关联。
可选地，通过如下公式确定与用户终端通信条件最好的空中基站：
Figure BDA0003234769970000091
其中，Nk为与用户终端k通信条件最好的空中基站，n∈N，N为目标区域内空中基站的集合，Pn为空中基站n的发射功率，
Figure BDA0003234769970000092
为空中基站n和用户终端k之间的平均链路损耗。
可以理解的是，当n为Nk时，
Figure BDA0003234769970000093
的取值最小。
将用户终端k与空中基站Nk建立初始关联。
对目标区域内的所有的用户终端均采用相同的方式确定出信道条件最好的空中基站，并将每个所述用户终端和与所述用户终端信道条件最好的所述空中基站建立初始关联。
步骤201、根据所述空中基站间的干扰强度和AP聚类算法，确定所述每个协作簇中的空中基站集合。
可选地，根据空中基站间的干扰强度确定空中基站间的相似度，根据空中基站间的相似度和AP聚类算法，经过迭代，确定空中基站的聚类中心，根据聚类中心划分协作簇，得到每个协作簇中的空中基站集合。
需要说明的是，步骤200和步骤201的执行先后顺序不限。
步骤202、根据所述每个协作簇中的空中基站集合和所述初始关联，得到所述每个协作簇中的用户终端集合。
可选地，AP聚类完成后，空中基站被分为多个协作簇，其中，协作簇m中的空中基站集合表示为Nm。针对协作簇m内的每个空中基站，根据初始关联，能得到协作簇m内的用户终端的集合。
可以理解的是，每个用户终端仅对应一个初始关联的空中基站，但是一个空中基站可能关联多个用户终端。例如，协作簇m内的空中基站有空中基站1、空中基站2、空中基站4，则协作簇m内的用户终端为{空中基站1初始关联的用户终端集合∪空中基站2初始关联的用户终端集合∪空中基站4的初始关联的用户终端集合}。
步骤203、根据所述每个协作簇中的空中基站集合和所述每个协作簇中的用户终端集合，得到第一用户和多空中基站关联集合。
可选地，根据步骤201得到的每个协作簇中的空中基站集合和步骤202得到的每个协作簇中的用户终端集合，得到每个协作簇内的空中基站集合和用户终端集合，即第一用户和多空中基站关联集合。
本发明实施例，首先将用户终端与空中基站建立初始关联，以及根据AP聚类算法确定空中基站的聚类中心，再根据用户终端与空中基站的初始关联关系以及空中基站的聚类中心，得到第一用户和多空中基站关联集合，聚类后，一个协作簇内的空中基站协同服务于它们的地面用户终端，带来容量性能的提升。
图3为本发明实施例提供的根据所述空中基站间的干扰强度和AP聚类算法，确定所述每个协作簇中的空中基站集合的流程示意图，如图3所示，在一个实施例中，所述根据所述空中基站间的干扰强度和AP聚类算法，确定所述每个协作簇中的空中基站集合包括：
步骤300、根据所述基站间的干扰强度，确定相似度计算公式。
可选地，AP聚类根据数据点之间的相似度矩阵而进行聚类，AP聚类一般采用负欧氏距离表示相似度，相似度越高，两点之间的距离越近，则越有可能聚为一类。本实施例将相似度表征为空中基站之间的干扰，从而将强干扰的空中基站聚类成一个簇。
其中，所述相似度计算公式如下：
Figure BDA0003234769970000111
其中，sn,l为空中基站n与空中基站l的相似度，Pl为空中基站l的发射功率，
Figure BDA0003234769970000112
为空中基站l与用户终端kn间的平均路径损耗，Kn为与基站n建立初始关联的用户终端。
步骤301、基于所述相似度计算公式，计算每两个空中基站的相似度，根据所述每两个空中基站的相似度，得到空中基站的相似度矩阵。
可选地，根据所述相似度计算公式，可以得到目标区域内每两个空中基站的相似度，根据每两个空中基站的相似度，得到空中基站的相似度矩阵。步骤302、根据所述空中基站的相似度矩阵，迭代循环得到所述空中基站的吸引度矩阵和所述空中基站的归属度矩阵。
可选地，初始化吸引度矩阵R＝[0]|N|×|N|；初始化归属度矩阵A＝[0]|N|×|N|，其中，|N|为目标区域内空中基站的数量。
进行迭代循环，以第t+1次迭代为例进行说明：
Figure BDA0003234769970000113
其中，
Figure BDA0003234769970000114
为第t+1次迭代后空中基站n与空中基站l之间的吸引度，sn,l为空中基站n与空中基站l之间的相似度，sn,l′为空中基站n与空中基站l′之间的相似度，l′为目标区域内除了空中基站l外的空中基站，
Figure BDA0003234769970000118
为第t+1次迭代后空中基站n与空中基站l′之间的归属度。根据得到的
Figure BDA0003234769970000116
更新吸引度矩阵R。
Figure BDA0003234769970000117
其中，
Figure BDA0003234769970000121
为第t+1次迭代后空中基站n与空中基站l之间的归属度，
Figure BDA0003234769970000122
第t+1次迭代后空中基站l与空中基站l之间的吸引度，
Figure BDA0003234769970000123
为第t+1次迭代后空中基站n′与空中基站l之间的吸引度，n′为目标区域内除了空中基站l和空中基站n外的空中基站。根据得到的
Figure BDA0003234769970000124
更新归属度矩阵A。
步骤303、根据所述吸引度矩阵和所述归属度矩阵得到各空中基站的聚类中心。
可选地，经过max_iter次迭代循环，或者聚类算法收敛，得到最终的吸引度矩阵和所述归属度矩阵，max_iter为预设的迭代次数。
基于如下公式计算各空中基站的聚类中心：
exemplar(l)＝argmaxn∈N{an,l+rn,l} (5)
其中，exemplar(l)表示空中基站l的聚类中心，an,l为所述归属度矩阵中空中基站n与空中基站l之间的归属度，rn,l为所述吸引度矩阵中空中基站n与空中基站l之间的吸引度，N为目标区域内空中基站的集合。
可以理解的是空中基站l的聚类中心为能够使an,l+rn,l取到最大值的空中基站n。
步骤304、根据所述各空中基站的聚类中心得到所述每个协作簇中的空中基站集合。
可选地，根据各空中基站的聚类中心，将聚类中心相同的多个空中基站划分到一个协作簇中，得到多个协作簇，以及每个协作簇中的空中基站集合。
本发明实施例，根据空中基站间的干扰确定相似度的计算公式，经过循环迭代得到归属度矩阵和吸引度矩阵，再根据归属度矩阵和吸引度矩阵得到各个空中基站的聚类中心，根据基站间的干扰强度确定聚类中心将强干扰消除并转化为协同信号，在解决干扰问题的同时带来容量性能的提升。
在一个实施例中，所述基于所述第一用户空中基站关联集合计算第一系统容量包括：
构建系统容量评估模型；
根据终端用户的信号与干扰加噪声比、所述用户空中基站关联集合和系统容量评估模型，计算所述第一系统容量。
可选地，首先明确多空中基站在协作机制下的系统容量评估模型，所述系统容量评估模型为一个数学模型，基于系统容量评估模型中的计算公式，以及终端用户的信号与干扰加噪声比和所述用户空中基站关联集合，计算得到第一系统容量。
本发明实施例，构建容量评估模型，基于容量评估模型计算第一系统容量，提高了系统容量评估的准确性。
在一个实施例中，所述系统容量评估模型的目标函数包括：
Figure BDA0003234769970000131
Figure BDA0003234769970000132
其中，
Figure BDA0003234769970000133
为空中基站n和用户终端k之间的视距链路损耗，
Figure BDA0003234769970000134
为空中基站n和用户终端k之间的非视距链路损耗，fc为载波频率，c为光速，dn，k为空中基站n和用户终端k之间的距离，ηLoS为视距传播途径下的额外损耗，ηNLoS为非视距传播途径下的额外损耗，ηLoS和ηNLoS与环境有关；
Figure BDA0003234769970000141
Figure BDA0003234769970000142
其中，
Figure BDA0003234769970000143
为空中基站n和用户终端k之间的视距传播概率，
Figure BDA0003234769970000144
为空中基站n和用户终端k之间的非视距传播概率，θn,k为从用户终端k到空中基站n的仰角，θn,k＝arcsin(hn/dn,k)其中，hn为空中基站n和用户终端k之间的高度差，a和b为与环境有关的常数；
a、b、ηLoS和ηNLoS均与环境相关，a、b、ηLoS和ηNLoS与环境的关系如表11所示：
表1不同环境下的参数表
Figure BDA0003234769970000145
Figure BDA0003234769970000146
其中，
Figure BDA0003234769970000147
为空中基站n和用户终端k之间的平均链路损耗；
Figure BDA0003234769970000148
其中，
Figure BDA0003234769970000149
为协作簇m内的用户km的接收信号的信干噪比，Pn为空中基站n的发射功率，
Figure BDA00032347699700001410
为空中基站n和用户终端km之间的平均链路损耗，Nm为协作簇m内的空中基站的集合，σ2为噪声功率；
Figure BDA0003234769970000151
其中，
Figure BDA0003234769970000152
为系统容量，M为协作簇的集合，Km为协作簇m内的用户终端的集合，B为信道带宽，
Figure BDA0003234769970000153
为协作簇m内的用户km的接收信号的信干噪比；
Figure BDA0003234769970000154
其中，
Figure BDA0003234769970000155
为目标函数，(xn,yn,hn)为空中基站的位置坐标，|M|为协作簇的数量，Nm为协作簇m内的空中基站的集合，Km为协作簇m内的用户终端的集合。
目标函数通过优化空中基站的位置坐标、协作簇的数量以及空中基站与终端用户的关联关系，使得系统容量指标最大。
此外，参数还需要满足如下约束条件：
Figure BDA0003234769970000156
其中，C1-C3约束空中基站飞在确定区域内，其中xmin、xmax、ymin、ymax、hmin和hmax表示确定区域的边界三维坐标，C4表示空中基站间的碰撞约束，C5和C6表示所有空中基站和用户终端都可以被覆盖。
本发明实施例，构建容量评估模型，基于容量评估模型计算第一系统容量，提高了系统容量评估的准确性。
图4为本发明实施例提供的训练得到所述DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数得流程示意图，如图4所示，在一个实施例中，所述面向通信网络热点区域容量增强的多空中基站部署方法还包括，训练得到所述DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数；
所述训练得到所述DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数包括以下子步骤：
步骤400、初始化所述空中基站的第一位置状态。
可选地，由于空中基站的数量很多，传统DQN存在动作空间过大、扩展性差等问题，本实施例利用改进的扩展至多智能体环境的DQN算法对空中基站agent进行训练，以使空中基站能协同优化部署，到达容量最大的位置。本实施例对训练任务进行建模，其中智能体、状态、动作、奖励等基本要素建模如下：
智能体(Agent)：每个毫米波空中基站可以看作是一个智能体，每个智能体包含当前值网络和目标值网络两个神经网络。
位置状态(State)：状态集合为各空中基站的当前位置信息和各地面用户终端的位置信息的集合，即sn＝{s,u}基站。其中，sn为状态集合，s为空中基站的当前位置信息的集合u为地面用户终端的位置信息的集合。
动作(Action)：动作集合为空中基站的可移动方向，即Action＝{前进，后退，向左，向右，向上，向下，悬停}。
奖励(Reward)：即时奖励设置为每个空中基站的位置在时间T改变后的系统总吞吐量，即
Figure BDA0003234769970000161
每个空中基站根据每个时隙环境中每个agent的当前状态、当前操作和下一个状态计算自己的奖励。由于多个空中基站之间存在合作关系，因此空中基站在同一时间共享相同的奖励。
在循环的开始阶段需要初始化多智能体环境，创建并初始化各智能体；初始化各智能体的当前值网络Qn，随机生成权重θn；初始化各智能体的目标值网络Qn'，其权重θn'；初始化经验回放池D，其容量为N；输入地面用户终端的分布u。
在循环的过程中的T时刻，需要初始化空中基站的在的位置状态
Figure BDA0003234769970000171
步骤401、基于多智能型DQN算法，将所述空中基站作为单独的智能体，确定每个智能体在所述第一位置状态下的动作，并将每个智能体的所述动作存入动作列表。
可选地，基于多智能型DQN算法，将所述空中基站作为单独的智能体，根据如下公式确定每个智能体在所述第一位置状态下的动作：
Figure BDA0003234769970000172
其中，Q*表示最优Q函数，
Figure BDA0003234769970000173
为智能体an在T时刻采取的动作，
Figure BDA0003234769970000174
智能体an在T时刻的位置状态。
或者根据ε-greedy策略生成动作
Figure BDA0003234769970000175
以概率ε在动作空间中选择一个随机的动作。
将每个智能体的所述动作存入动作列表。
步骤402、根据所述动作列表中的动作和第一位置状态，确定所述空中基站的第二位置状态。
可选地，在第一位置状态下，执行动作列表中的动作，得到空中基站的第二位置状态。
步骤403、基于亲和力传播AP聚类算法、所述空中基站间的干扰强度和所述空中基站的第二位置状态对所述空中基站进行划分协作簇，得到第二用户空中基站关联集合。
可选地，对所述空中基站进行划分协作簇，得到第二用户空中基站关联集合的过程，与步骤101中对所述空中基站进行划分协作簇，得到第一用户空中基站关联集合的过程一致，为避免重复在此不再赘述。
步骤404、基于所述第二用户空中。基站关联关系集合，计算第二系统容量，并将所述第二系统容量作为奖励。
可选地，基于所述第二用户空中基站关联关系集合和系统容量评估模型中的公式(6)-公式(12)计算第二系统容量。
步骤405、将空中基站的所述第一位置状态、动作、奖励和第二位置状态作为一个转化样本，将全部时刻的转化样本存入回放池中；
可选地，将转化样本
Figure BDA0003234769970000181
存入记忆回放池D中，其中
Figure BDA0003234769970000182
为T时刻下所有空中基站的位置状态集合，
Figure BDA0003234769970000183
为T时刻下所有空中基站的动作集合，rT为T时刻下的奖励，
Figure BDA0003234769970000184
为T+1时刻下所有空中基站的位置状态集合。
步骤406、从所述回放池中随机抽取小批量的转化样本，根据所述小批量的转化样本和损失函数，更新所述DQN网络的当前值网络权重参数。
可选地，转化样本之间具有连续性，如果每次得到样本就更新Q值，受样本分布影响，效果会不好，容易过拟合。因此，把转化样本先存起来，然后从经验池中随机抽取小批量的转化样本，每个转化样本为一个四元组
Figure BDA0003234769970000185
(下标从T变为j表示随机抽样打破了时间相关性)作为一个小批量minibatch，这样既保证了训练样本是独立同分布的，也使得每个批量batch样本量不大，能加快训练速度。minibatch的大小可以作为参数设置。
对各个智能体根据小批量的转化样本计算损失函数，根据损失函数更新DQN网络的当前值网络权重参数。
步骤407、根据所述DQN网络的当前值网络权重参数更新所述DQN网络的目标值网络权重参数。
可选地，在DQN网络的当前值网络权重参数更新后，根据所述DQN网络的当前值网络权重参数更新所述DQN网络的目标值网络权重参数。
本发明实施例，通过抽取小批量的转化样本对DQN网络进行权重更新，保证了训练样本是独立同分布且加快训练速度，通过降低了深度强化模型的训练时间，保障了通信网络热点区域的通信补充。
在一个实施例中，所述损失函数为：
Figure BDA0003234769970000191
其中，
Figure BDA0003234769970000192
为j时刻下所有空中基站的位置状态集合，
Figure BDA0003234769970000193
为j时刻下所有空中基站的动作集合，θn当为前值网络权重。
yn通过如下公式计算得到：
Figure BDA0003234769970000194
其中，rj为j时刻的奖励，γ为折扣因子，
Figure BDA0003234769970000195
为j+1时刻的位置状态，a′n为在状态
Figure BDA0003234769970000196
下采取的动作，θ′n为目标值网络权重。
可选地，γ取值在0到1之间，表明了未来的回报相对于当前回报的重要程度，γ取0时，相当于只考虑立即回报不考虑长期回报，γ为1时，将长期回报和立即回报看得同等重要。
本发明实施例，定义了损失函数，提高了目标值网络权重参数和当前值网络权重参数更新的准确性。
下面对本发明提供的面向通信网络热点区域容量增强的多空中基站部署装置进行描述，下文描述的面向通信网络热点区域容量增强的多空中基站部署装置与上文描述的面向通信网络热点区域容量增强的多空中基站部署方法可相互对应参照。
本发明另一实施例，提供一种面向通信网络热点区域容量增强的多空中基站部署装置，如图5所示，包括：状态信息获取模块510、协作簇划分模块520、系统容量计算模块530和位置移动模块540，其中，
状态信息获取模块510，用于获取目标区域的状态信息，其中，所述目标区域的状态信息包括所述目标区域内的用户终端的当前地理位置信息和所述目标区域内的空中基站的当前地理位置信息；
协作簇划分模块520，用于基于亲和力传播AP聚类算法、所述空中基站间的干扰强度和所述目标区域的状态信息对所述空中基站进行划分协作簇，得到第一用户空中基站关联集合，其中，所述第一用户空中基站关联集合中包括每个协作簇中的空中基站集合和每个协作簇中的用户终端集合；
系统容量计算模块530，用于基于所述第一用户空中基站关联集合计算第一系统容量，将所述第一系统容量设置为多智能体深度强化学习DQN网络的奖励函数；
位置移动模块540，用于将所述空中基站作为单独的智能体，根据所述DQN网络确定每个所述智能体的动作，根据所述动作对所述空中基站进行位置移动；
经过至少一次所述位置移动，得到所述目标区域的空中基站部署位置。
可选地，所述协作簇划分模块520，还用于基于所述目标区域的状态信息，将每个所述用户终端和与所述用户终端信道条件最好的所述空中基站建立初始关联；
根据所述空中基站间的干扰强度和AP聚类算法，确定所述每个协作簇中的空中基站集合；
根据所述每个协作簇中的空中基站集合和所述初始关联，得到所述每个协作簇中的用户终端集合；
根据所述每个协作簇中的空中基站集合和所述每个协作簇中的用户终端集合，得到第一用户和多空中基站关联集合。
可选地，所述根据所述空中基站间的干扰强度和AP聚类算法，确定所述每个协作簇中的空中基站集合包括：
根据所述基站间的干扰强度，确定相似度计算公式；
基于所述相似度计算公式，计算每两个空中基站的相似度，根据所述每两个空中基站的相似度，得到空中基站的相似度矩阵；
根据所述空中基站的相似度矩阵，迭代循环得到所述空中基站的吸引度矩阵和所述空中基站的归属度矩阵；
根据所述吸引度矩阵和所述归属度矩阵得到各空中基站的聚类中心；
根据所述各空中基站的聚类中心得到所述每个协作簇中的空中基站集合；
其中，所述相似度计算公式如下：
Figure BDA0003234769970000211
其中，sn,l为空中基站n与空中基站l的相似度，Pl为空中基站l的发射功率，
Figure BDA0003234769970000212
为空中基站l与用户终端kn间的平均路径损耗，Kn为与基站n建立初始关联的用户终端。
可选地，所述系统容量计算模块530，还用于构建系统容量评估模型；
根据终端用户的信号与干扰加噪声比、所述用户空中基站关联集合和系统容量评估模型，计算所述第一系统容量。
可选地，所述系统容量评估模型的目标函数为：
Figure BDA0003234769970000213
其中，
Figure BDA0003234769970000221
为系统容量，(xn,yn,hn)为空中基站的位置坐标，|M|为协作簇的数量，Nm为协作簇m内的空中基站的集合，Km为协作簇m内的用户终端的集合；
其中，
Figure BDA0003234769970000222
其中，M为协作簇的集合，B为信道带宽，
Figure BDA0003234769970000223
为协作簇m内的用户km的接收信号的信干噪比；
其中，
Figure BDA0003234769970000224
其中，Pn为空中基站n的发射功率，
Figure BDA0003234769970000225
为空中基站n和用户终端km之间的平均链路损耗，σ2为噪声功率；
其中，
Figure BDA0003234769970000226
其中，
Figure BDA0003234769970000227
为空中基站n和用户终端k之间的视距链路损耗，
Figure BDA0003234769970000228
为空中基站n和用户终端k之间的非视距链路损耗，
Figure BDA0003234769970000229
为空中基站n和用户终端k之间的视距传播概率，
Figure BDA00032347699700002210
为空中基站n和用户终端k之间的非视距传播概率；
其中，
Figure BDA00032347699700002211
Figure BDA00032347699700002212
其中，fc为载波频率，c为光速，dn,k为空中基站n和用户终端k之间的距离，ηLoS为视距传播途径下的额外损耗，ηNLoS为非视距传播途径下的额外损耗，ηLoS和ηNLoS与环境有关；
Figure BDA0003234769970000231
Figure BDA0003234769970000232
其中，θn,k为从用户终端k到空中基站n的仰角，θn,k＝arcsin(hn/dn,k)其中，hn为空中基站n和用户终端k之间的高度差，a和b为与环境有关的常数。
可选地，所述面向通信网络热点区域容量增强的多空中基站部署装置还包括权重训练模块，用于初始化所述空中基站的第一位置状态；
基于多智能型DQN算法，将所述空中基站作为单独的智能体，确定每个智能体在所述第一位置状态下的动作，并将每个智能体的所述动作存入动作列表；
根据所述动作列表中的动作和第一位置状态，确定所述空中基站的第二位置状态；
基于亲和力传播AP聚类算法、所述空中基站间的干扰强度和所述空中基站的第二位置状态对所述空中基站进行划分协作簇，得到第二用户空中基站关联集合；
基于所述第二用户空中基站关联关系集合，计算第二系统容量，并将所述第二系统容量作为奖励；
将空中基站的所述第一位置状态、动作、奖励和第二位置状态作为一个转化样本，将全部时刻的转化样本存入回放池中；
从所述回放池中随机抽取小批量的转化样本，根据所述小批量的转化样本和损失函数，更新所述DQN网络的当前值网络权重参数；
根据所述DQN网络的当前值网络权重参数更新所述DQN网络的目标值网络权重参数。
可选地，所述损失函数为：
Figure BDA0003234769970000241
其中，
Figure BDA0003234769970000242
rj为j时刻的奖励，γ为折扣因子，
Figure BDA0003234769970000247
为j+1时刻的位置状态，a′n为在状态
Figure BDA0003234769970000244
下采取的动作，θ′n为目标值网络权重，
Figure BDA0003234769970000245
为j时刻下所有空中基站的位置状态集合，
Figure BDA0003234769970000246
为j时刻下所有空中基站的动作集合，θn当为前值网络权重。
本发明提供的面向通信网络热点区域容量增强的多空中基站部署装置能够实现图1至图4的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行人脸图像的情绪确定方法，该方法包括：
获取目标区域的状态信息，其中，所述目标区域的状态信息包括所述目标区域内的用户终端的当前地理位置信息和所述目标区域内的空中基站的当前地理位置信息；
基于亲和力传播AP聚类算法、所述空中基站间的干扰强度和所述目标区域的状态信息对所述空中基站进行划分协作簇，得到第一用户空中基站关联集合，其中，所述第一用户空中基站关联集合中包括每个协作簇中的空中基站集合和每个协作簇中的用户终端集合；
基于所述第一用户空中基站关联集合计算第一系统容量，将所述第一系统容量设置为多智能体深度强化学习DQN网络的奖励函数；
将所述空中基站作为单独的智能体，根据所述DQN网络确定每个所述智能体的动作，根据所述动作对所述空中基站进行位置移动；
经过至少一次所述位置移动，得到所述目标区域的空中基站部署位置。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的面向通信网络热点区域容量增强的多空中基站部署方法，该方法包括：
获取目标区域的状态信息，其中，所述目标区域的状态信息包括所述目标区域内的用户终端的当前地理位置信息和所述目标区域内的空中基站的当前地理位置信息；
基于亲和力传播AP聚类算法、所述空中基站间的干扰强度和所述目标区域的状态信息对所述空中基站进行划分协作簇，得到第一用户空中基站关联集合，其中，所述第一用户空中基站关联集合中包括每个协作簇中的空中基站集合和每个协作簇中的用户终端集合；
基于所述第一用户空中基站关联集合计算第一系统容量，将所述第一系统容量设置为多智能体深度强化学习DQN网络的奖励函数；
将所述空中基站作为单独的智能体，根据所述DQN网络确定每个所述智能体的动作，根据所述动作对所述空中基站进行位置移动；
经过至少一次所述位置移动，得到所述目标区域的空中基站部署位置。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的面向通信网络热点区域容量增强的多空中基站部署方法，该方法包括：
获取目标区域的状态信息，其中，所述目标区域的状态信息包括所述目标区域内的用户终端的当前地理位置信息和所述目标区域内的空中基站的当前地理位置信息；
基于亲和力传播AP聚类算法、所述空中基站间的干扰强度和所述目标区域的状态信息对所述空中基站进行划分协作簇，得到第一用户空中基站关联集合，其中，所述第一用户空中基站关联集合中包括每个协作簇中的空中基站集合和每个协作簇中的用户终端集合；
基于所述第一用户空中基站关联集合计算第一系统容量，将所述第一系统容量设置为多智能体深度强化学习DQN网络的奖励函数；
将所述空中基站作为单独的智能体，根据所述DQN网络确定每个所述智能体的动作，根据所述动作对所述空中基站进行位置移动；
经过至少一次所述位置移动，得到所述目标区域的空中基站部署位置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种面向通信网络热点区域容量增强的多空中基站部署方法，其特征在于，包括：
获取目标区域的状态信息，其中，所述目标区域的状态信息包括所述目标区域内的用户终端的当前地理位置信息和所述目标区域内的空中基站的当前地理位置信息；
基于亲和力传播AP聚类算法、所述空中基站间的干扰强度和所述目标区域的状态信息对所述空中基站进行划分协作簇，得到第一用户空中基站关联集合，其中，所述第一用户空中基站关联集合中包括每个协作簇中的空中基站集合和每个协作簇中的用户终端集合；
基于所述第一用户空中基站关联集合计算第一系统容量，将所述第一系统容量设置为多智能体深度强化学习DQN网络的奖励函数；
将所述空中基站作为单独的智能体，根据所述DQN网络确定每个所述智能体的动作，根据所述动作对所述空中基站进行位置移动；
经过至少一次所述位置移动，得到所述目标区域的空中基站部署位置。
2.根据权利要求1所述的面向通信网络热点区域容量增强的多空中基站部署方法，其特征在于，所述基于亲和力传播AP聚类算法、空中基站间的干扰强度和所述目标区域的状态信息对空中基站进行划分协作簇，得到第一用户和多空中基站关联集合包括：
基于所述目标区域的状态信息，将每个所述用户终端和与所述用户终端信道条件最好的所述空中基站建立初始关联；
根据所述空中基站间的干扰强度和AP聚类算法，确定所述每个协作簇中的空中基站集合；
根据所述每个协作簇中的空中基站集合和所述初始关联，得到所述每个协作簇中的用户终端集合；
根据所述每个协作簇中的空中基站集合和所述每个协作簇中的用户终端集合，得到第一用户和多空中基站关联集合。
3.根据权利要求2所述的面向通信网络热点区域容量增强的多空中基站部署方法，其特征在于，所述根据所述空中基站间的干扰强度和AP聚类算法，确定所述每个协作簇中的空中基站集合包括：
根据所述基站间的干扰强度，确定相似度计算公式；
基于所述相似度计算公式，计算每两个空中基站的相似度，根据所述每两个空中基站的相似度，得到空中基站的相似度矩阵；
根据所述空中基站的相似度矩阵，迭代循环得到所述空中基站的吸引度矩阵和所述空中基站的归属度矩阵；
根据所述吸引度矩阵和所述归属度矩阵得到各空中基站的聚类中心；
根据所述各空中基站的聚类中心得到所述每个协作簇中的空中基站集合；
其中，所述相似度计算公式如下：
Figure FDA0003234769960000021
其中，sn,l为空中基站n与空中基站l的相似度，Pl为空中基站l的发射功率，
Figure FDA0003234769960000022
为空中基站l与用户终端kn间的平均路径损耗，Kn为与基站n建立初始关联的用户终端。
4.根据权利要求1所述的面向通信网络热点区域容量增强的多空中基站部署方法，其特征在于，所述基于所述第一用户空中基站关联集合计算第一系统容量包括：
构建系统容量评估模型；
根据终端用户的信号与干扰加噪声比、所述用户空中基站关联集合和系统容量评估模型，计算所述第一系统容量。
5.根据权利要求4所述的面向通信网络热点区域容量增强的多空中基站部署方法，其特征在于，所述系统容量评估模型的目标函数为：
Figure FDA00032347699600000311
其中，
Figure FDA00032347699600000312
为系统容量，(xn,yn,hn)为空中基站的位置坐标，|M|为协作簇的数量，Nm为协作簇m内的空中基站的集合，Km为协作簇m内的用户终端的集合；
其中，
Figure FDA0003234769960000031
其中，M为协作簇的集合，B为信道带宽，
Figure FDA0003234769960000032
为协作簇m内的用户km的接收信号的信干噪比；
其中，
Figure FDA0003234769960000033
其中，Pn为空中基站n的发射功率，
Figure FDA0003234769960000034
为空中基站n和用户终端km之间的平均链路损耗，σ2为噪声功率；
其中，
Figure FDA0003234769960000035
其中，
Figure FDA0003234769960000036
为空中基站n和用户终端k之间的视距链路损耗，
Figure FDA0003234769960000037
为空中基站n和用户终端k之间的非视距链路损耗，
Figure FDA0003234769960000038
为空中基站n和用户终端k之间的视距传播概率，
Figure FDA0003234769960000039
为空中基站n和用户终端k之间的非视距传播概率；
其中，
Figure FDA00032347699600000310
Figure FDA0003234769960000041
其中，fc为载波频率，c为光速，dn,k为空中基站n和用户终端k之间的距离，ηLoS为视距传播途径下的额外损耗，ηNLoS为非视距传播途径下的额外损耗，ηLoS和ηNLoS与环境有关；
Figure FDA0003234769960000042
Figure FDA0003234769960000043
其中，θn,k为从用户终端k到空中基站n的仰角，θn,k＝arcsin(hn/dn,k)其中，hn为空中基站n和用户终端k之间的高度差，a和b为与环境有关的常数。
6.根据权利要求1所述的面向通信网络热点区域容量增强的多空中基站部署方法，其特征在于，还包括，训练得到所述DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数；
所述训练得到所述DQN网络的当前值网络权重参数和所述DQN网络的目标值网络权重参数包括：
初始化所述空中基站的第一位置状态；
基于多智能型DQN算法，将所述空中基站作为单独的智能体，确定每个智能体在所述第一位置状态下的动作，并将每个智能体的所述动作存入动作列表；
根据所述动作列表中的动作和第一位置状态，确定所述空中基站的第二位置状态；
基于亲和力传播AP聚类算法、所述空中基站间的干扰强度和所述空中基站的第二位置状态对所述空中基站进行划分协作簇，得到第二用户空中基站关联集合；
基于所述第二用户空中基站关联关系集合，计算第二系统容量，并将所述第二系统容量作为奖励；
将空中基站的所述第一位置状态、动作、奖励和第二位置状态作为一个转化样本，将全部时刻的转化样本存入回放池中；
从所述回放池中随机抽取小批量的转化样本，根据所述小批量的转化样本和损失函数，更新所述DQN网络的当前值网络权重参数；
根据所述DQN网络的当前值网络权重参数更新所述DQN网络的目标值网络权重参数。
7.根据权利要求6所述的面向通信网络热点区域容量增强的多空中基站部署方法，其特征在于，所述损失函数为：
Figure FDA0003234769960000051
其中，
Figure FDA0003234769960000052
rj为j时刻的奖励，γ为折扣因子，
Figure FDA0003234769960000057
为j+1时刻的位置状态，a′n为在状态
Figure FDA0003234769960000054
下采取的动作，θ′n为目标值网络权重，
Figure FDA0003234769960000055
为j时刻下所有空中基站的位置状态集合，
Figure FDA0003234769960000056
为j时刻下所有空中基站的动作集合，θn当为前值网络权重。
8.一种面向通信网络热点区域容量增强的多空中基站部署装置，其特征在于，包括：
状态信息获取模块，用于获取目标区域的状态信息，其中，所述目标区域的状态信息包括所述目标区域内的用户终端的当前地理位置信息和所述目标区域内的空中基站的当前地理位置信息；
协作簇划分模块，用于基于亲和力传播AP聚类算法、所述空中基站间的干扰强度和所述目标区域的状态信息对所述空中基站进行划分协作簇，得到第一用户空中基站关联集合，其中，所述第一用户空中基站关联集合中包括每个协作簇中的空中基站集合和每个协作簇中的用户终端集合；
系统容量计算模块，用于基于所述第一用户空中基站关联集合计算第一系统容量，将所述第一系统容量设置为多智能体深度强化学习DQN网络的奖励函数；
位置移动模块，用于将所述空中基站作为单独的智能体，根据所述DQN网络确定每个所述智能体的动作，根据所述动作对所述空中基站进行位置移动；
经过至少一次所述位置移动，得到所述目标区域的空中基站部署位置。
9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述面向通信网络热点区域容量增强的多空中基站部署方法的步骤。
10.一种处理器可读存储介质，其特征在于，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行权利要求1至7任一项所述面向通信网络热点区域容量增强的多空中基站部署方法的步骤。
CN202110998237.3A 2021-08-27 2021-08-27 面向通信网络热点区域容量增强的多空中基站部署方法 Active CN113873434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110998237.3A CN113873434B (zh) 2021-08-27 2021-08-27 面向通信网络热点区域容量增强的多空中基站部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110998237.3A CN113873434B (zh) 2021-08-27 2021-08-27 面向通信网络热点区域容量增强的多空中基站部署方法

Publications (2)

Publication Number Publication Date
CN113873434A true CN113873434A (zh) 2021-12-31
CN113873434B CN113873434B (zh) 2022-07-26

Family

ID=78988631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110998237.3A Active CN113873434B (zh) 2021-08-27 2021-08-27 面向通信网络热点区域容量增强的多空中基站部署方法

Country Status (1)

Country Link
CN (1) CN113873434B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114938497A (zh) * 2022-07-04 2022-08-23 安徽大学 一种通信节点无人机多种群网络部署方法
CN115550866A (zh) * 2022-09-20 2022-12-30 重庆邮电大学 一种无人机数据收集方法
CN115834586A (zh) * 2023-02-22 2023-03-21 天翼云科技有限公司 通信设备部署方法、装置、电子设备及可读存储介质
CN115988516A (zh) * 2023-02-17 2023-04-18 杭州海兴电力科技股份有限公司 一种无线Mesh网络及接入点规划方法
WO2023138332A1 (zh) * 2022-01-21 2023-07-27 中国移动通信有限公司研究院 信息上报、接收方法、装置、终端及网络侧设备
CN116980881A (zh) * 2023-08-29 2023-10-31 北方工业大学 一种多无人机协作数据分发方法、系统、电子设备及介质
CN117295096A (zh) * 2023-11-24 2023-12-26 武汉市豪迈电力自动化技术有限责任公司 基于5g短共享的智能电表数据传输方法及系统
CN117858007A (zh) * 2024-03-07 2024-04-09 杭州格物智安科技有限公司 融合强化和联合学习的无线多基站定位网络优化方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103987055A (zh) * 2014-05-27 2014-08-13 北京农业信息技术研究中心 一种无线传感器网络节点部署及供电方法
CN109190023A (zh) * 2018-08-15 2019-01-11 深圳信息职业技术学院 协同推荐的方法、装置及终端设备
CN109688597A (zh) * 2018-12-18 2019-04-26 北京邮电大学 一种基于人工智能的雾无线接入网络组网方法及装置
CN109687896A (zh) * 2019-01-24 2019-04-26 钟祥博谦信息科技有限公司 分布式天线系统下行信道稀疏波束形成方法及装置
CN109819453A (zh) * 2019-03-05 2019-05-28 西安电子科技大学 基于改进遗传算法的成本最优化无人机基站部署方法
CN111193536A (zh) * 2019-12-11 2020-05-22 西北工业大学 一种多无人机基站轨迹优化和功率分配方法
CN111970714A (zh) * 2020-08-14 2020-11-20 北京邮电大学 一种面向用户分布依赖的无人机基站部署方法
US20210014133A1 (en) * 2020-09-25 2021-01-14 Intel Corporation Methods and apparatus to coordinate edge platforms
CN112468984A (zh) * 2020-11-04 2021-03-09 国网上海市电力公司 一种电力无线专网基站选址方法及相关设备
CN112512115A (zh) * 2020-11-20 2021-03-16 北京邮电大学 一种空中基站位置确定方法、装置及电子设备
CN112996058A (zh) * 2021-02-23 2021-06-18 哈尔滨工业大学（深圳） 基于多无人机网络的用户QoE优化方法、无人机及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103987055A (zh) * 2014-05-27 2014-08-13 北京农业信息技术研究中心 一种无线传感器网络节点部署及供电方法
CN109190023A (zh) * 2018-08-15 2019-01-11 深圳信息职业技术学院 协同推荐的方法、装置及终端设备
CN109688597A (zh) * 2018-12-18 2019-04-26 北京邮电大学 一种基于人工智能的雾无线接入网络组网方法及装置
CN109687896A (zh) * 2019-01-24 2019-04-26 钟祥博谦信息科技有限公司 分布式天线系统下行信道稀疏波束形成方法及装置
CN109819453A (zh) * 2019-03-05 2019-05-28 西安电子科技大学 基于改进遗传算法的成本最优化无人机基站部署方法
CN111193536A (zh) * 2019-12-11 2020-05-22 西北工业大学 一种多无人机基站轨迹优化和功率分配方法
CN111970714A (zh) * 2020-08-14 2020-11-20 北京邮电大学 一种面向用户分布依赖的无人机基站部署方法
US20210014133A1 (en) * 2020-09-25 2021-01-14 Intel Corporation Methods and apparatus to coordinate edge platforms
CN112468984A (zh) * 2020-11-04 2021-03-09 国网上海市电力公司 一种电力无线专网基站选址方法及相关设备
CN112512115A (zh) * 2020-11-20 2021-03-16 北京邮电大学 一种空中基站位置确定方法、装置及电子设备
CN112996058A (zh) * 2021-02-23 2021-06-18 哈尔滨工业大学（深圳） 基于多无人机网络的用户QoE优化方法、无人机及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAHUI WU;PENG YU;LEI FENG;FANQIN ZHOU;WENJING LI;XUESONG QIU: "3D Aerial Base Station Position Planning based on Deep Q-Network for Capacity Enhancement", 《2019 IFIP/IEEE SYMPOSIUM ON INTEGRATED NETWORK AND SERVICE MANAGEMENT (IM)》 *
喻鹏;李文璟;丰雷;周凡钦;杨杨: "面向未来6G网络的智能管控架构与关键技术", 《数据与计算发展前沿》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138332A1 (zh) * 2022-01-21 2023-07-27 中国移动通信有限公司研究院 信息上报、接收方法、装置、终端及网络侧设备
CN114938497B (zh) * 2022-07-04 2023-10-24 安徽大学 一种通信节点无人机多种群网络部署方法
CN114938497A (zh) * 2022-07-04 2022-08-23 安徽大学 一种通信节点无人机多种群网络部署方法
CN115550866A (zh) * 2022-09-20 2022-12-30 重庆邮电大学 一种无人机数据收集方法
CN115988516A (zh) * 2023-02-17 2023-04-18 杭州海兴电力科技股份有限公司 一种无线Mesh网络及接入点规划方法
CN115834586B (zh) * 2023-02-22 2023-06-23 天翼云科技有限公司 通信设备部署方法、装置、电子设备及可读存储介质
CN115834586A (zh) * 2023-02-22 2023-03-21 天翼云科技有限公司 通信设备部署方法、装置、电子设备及可读存储介质
CN116980881A (zh) * 2023-08-29 2023-10-31 北方工业大学 一种多无人机协作数据分发方法、系统、电子设备及介质
CN116980881B (zh) * 2023-08-29 2024-01-23 北方工业大学 一种多无人机协作数据分发方法、系统、电子设备及介质
CN117295096A (zh) * 2023-11-24 2023-12-26 武汉市豪迈电力自动化技术有限责任公司 基于5g短共享的智能电表数据传输方法及系统
CN117295096B (zh) * 2023-11-24 2024-02-09 武汉市豪迈电力自动化技术有限责任公司 基于5g短共享的智能电表数据传输方法及系统
CN117858007A (zh) * 2024-03-07 2024-04-09 杭州格物智安科技有限公司 融合强化和联合学习的无线多基站定位网络优化方法
CN117858007B (zh) * 2024-03-07 2024-05-10 杭州格物智安科技有限公司 融合强化和联合学习的无线多基站定位网络优化方法

Also Published As

Publication number Publication date
CN113873434B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN113873434B (zh) 面向通信网络热点区域容量增强的多空中基站部署方法
Liu et al. Reinforcement learning in multiple-UAV networks: Deployment and movement design
CN111786713B (zh) 一种基于多智能体深度强化学习的无人机网络悬停位置优化方法
CN109831797B (zh) 一种推动功率受限的无人机基站带宽和轨迹联合优化方法
CN113162679A (zh) 基于ddpg算法的irs辅助无人机通信联合优化方法
CN109743210B (zh) 基于深度强化学习的无人机网络多用户接入控制方法
CN108616303B (zh) 无人机基站通信系统的控制方法、系统、装置及存储介质
CN111970714A (zh) 一种面向用户分布依赖的无人机基站部署方法
CN111417126B (zh) 星空地协同海洋通信网络按需覆盖方法及装置
CN113660681B (zh) 一种应用于无人机集群辅助传输的多智能体资源优化方法
Liu et al. Deployment and movement for multiple aerial base stations by reinforcement learning
Wu et al. 3D aerial base station position planning based on deep Q-network for capacity enhancement
CN110312265B (zh) 无人机编队通信覆盖的功率分配方法及系统
Cao et al. Deep reinforcement learning for multi-user access control in UAV networks
CN115499921A (zh) 面向复杂无人机网络的三维轨迹设计及资源调度优化方法
CN112672361A (zh) 一种基于无人机集群部署的大规模mimo容量提升方法
Guo et al. 3D aerial vehicle base station (UAV-BS) position planning based on deep Q-learning for capacity enhancement of users with different QoS requirements
Nasr-Azadani et al. Single-and multiagent actor–critic for initial UAV’s deployment and 3-D trajectory design
Parvaresh et al. A continuous actor–critic deep Q-learning-enabled deployment of UAV base stations: Toward 6G small cells in the skies of smart cities
Xu et al. Efficient deployment of multi‐UAV assisted mobile edge computing: A cost and energy perspective
Mandloi et al. Seamless connectivity with 5G enabled unmanned aerial vehicles base stations using machine programming approach
Nasr-Azadani et al. Distillation and ordinary federated learning actor-critic algorithms in heterogeneous UAV-aided networks
Cao et al. Deep reinforcement learning for user access control in UAV networks
CN113395706A (zh) 基于粒子群算法的异构无人机三维空间部署方法及设备
CN110809893A (zh) 用于无线通信的电子设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant