CN112512115B - 一种空中基站位置确定方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种空中基站位置确定方法、装置及电子设备，其中，空中基站位置确定方法包括：当空中基站对应的地面终端的属性信息发生改变时，获取空中基站当前位置信息和地面终端属性信息；根据所述空中基站位于当前位置信息和地面终端属性信息，确定所述空中基站位于当前位置时的容量；将所述空中基站位于当前位置时的容量输入到强化学习模型，确定所述空中基站位置。通过实施本发明，将空中基站的容量结合强化学习，使得强化学习模型能够根据当前所处位置的容量，确定空中基站的位置，提高了空中基站部署的灵活性以及利用空中基站进行通信补充的有效性。

Description

一种空中基站位置确定方法、装置及电子设备

技术领域

本发明涉及通信技术领域，具体涉及一种空中基站位置确定方法、装置及电子设备。

背景技术

智能电网的建设是我国电力系统发展及建设的重要方向，智能电网的稳定性与安全性，直接影响到电力用户生产生活中的用电安全。在智能电网运行过程中，由于相关设备主要存在于户外，很容易受到多种因素影响，进而引发大量的电力安全事故，造成严重的损失。自愈性是智能电网的一个重要特征，自愈性是指智能电网具有自动故障诊断、故障隔离和系统自我恢复的能力，在发生事故时能够自我修复，提高电网的安全性和可靠性。为实现智能电网的自愈性，就需要采取有效措施做好智能电网的应急通信，对故障区域加以及时处理，保证智能电网的应用效果。

毫米波技术是5G通信的关键技术之一，与传统频段的蜂窝通信技术相比，毫米波通信具有波长极短、带宽极大、波束窄、强指向性等特点。毫米波可以成为空中基站为5G和B5G无线应用维持超高速和实时传输的非常有前途的方式。

相关技术中，由于无人机具有悬停能力、易于部署、行动灵活、部署成本低等优势，使用基于无人机的空中基站对传统频段的蜂窝通信技术进行通信补充被视为是通信网络应急通信的一种重要手段。毫米波空中基站一般采用固定位置悬停或者随机悬停的方式进行网络应急通信，导致毫米波空中基站进行通信补充的效果不佳。

发明内容

有鉴于此，本发明实施例提供了一种空中基站位置确定方法、装置及电子设备，以解决现有技术中毫米波空中基站进行通信补充的效果不佳的缺陷。

根据第一方面，本发明实施例提供一种空中基站位置确定方法，包括如下步骤：当空中基站对应的地面终端的属性信息发生改变时，获取空中基站当前位置信息和地面终端属性信息；根据所述空中基站位于当前位置信息和地面终端属性信息，确定所述空中基站位于当前位置时的容量；将所述空中基站位于当前位置时的容量输入到强化学习模型，确定所述空中基站位置。

可选地，所述强化学习模型以相邻两个时刻所述空中基站所处的位置产生的容量差为奖励，以容量最高作为优化目标进行训练得到。

可选地，所述空中基站为毫米波空中基站，根据所述空中基站位于当前位置信息和地面终端属性信息，确定所述空中基站位于当前位置时的容量，包括：根据所述毫米波空中基站当前位置信息和地面终端属性信息，确定地面终端到毫米波空中基站的视距链路损耗、非视距链路损耗以及毫米波传输过程中的天线增益；获取所述毫米波空中基站当前位置的环境参数，根据所述环境参数以及所述毫米波空中基站当前位置信息确定地面终端到毫米波空中基站的视距链路概率和非视距链路概率；根据视距链路概率和非视距链路概率以及对应的视距链路损耗和非视距链路损耗，得到地面终端到毫米波空中基站的总体路径损耗；根据每一个地面终端的所述天线增益以及总体路径损耗，确定毫米波空中基站处于当前位置时的接收机总信噪比；根据所述接收机总信噪比，确定毫米波空中基站处于当前位置时的容量。

可选地，根据视距链路概率和非视距链路概率以及对应的视距链路损耗和非视距链路损耗，得到地面终端到毫米波空中基站的总体路径损耗，包括：

其中，

表示地面终端i到毫米波空中基站的视距链路损耗，

表示地面终端i的到毫米波空中基站的非视距链路损耗，

ρ是固定路径损耗，f为空中基站装载的毫米波的频率，χ_L对数正态随机变量，表示视距链路场景中的阴影效应，χ_N是对数正态随机变量，表示非视距链路场景中的阴影效应，α_LoS表示是视距链路场景中的路径损耗指数，α_NLoS表示非视距链路场景中的路径损耗指数，d_i为地面终端i距离空中基站的距离，PLoS_i为地面终端i与毫米波空中基站的视距链路概率，PNLoS_i为地面终端i与毫米波空中基站的非视距链路概率，

a和b是取决于环境的参数，PNLoS_i＝1-PLoS_i。

可选地，根据每一个地面终端的所述天线增益以及总体路径损耗，确定毫米波空中基站处于当前位置时的接收机总信噪比，包括：

其中，SNR表示接收机总信噪比，ρ是由ρ＝32.4+20log(f)给出的固定路径损耗，f为空中基站装载的毫米波的频率，|h|²是表示小尺度信道衰落，

表示地面终端i的天线增益，

表示地面终端与毫米波空中基站之间的仰角，P_t为毫米波空中基站的发射功率，σ²为噪声，PL_i表示地面终端i到毫米波空中基站的总体路径损耗。

根据第二方面，本发明实施例提供一种空中基站位置确定装置，包括：信息获取模块，用于当空中基站对应的地面终端的属性信息发生改变时，获取空中基站当前位置信息和地面终端属性信息；容量确定模块，用于根据所述空中基站位于当前位置信息和地面终端属性信息，确定所述空中基站位于当前位置时的容量；位置确定模块，用于将所述空中基站位于当前位置时的容量输入到强化学习模型，确定所述空中基站位置。

可选地，位置确定模块中所述强化学习模型以相邻两个时刻所述空中基站所处的位置产生的容量差为奖励，以容量最高作为优化目标进行训练得到。

可选地，所述空中基站为毫米波空中基站，容量确定模块，包括：损耗以及增益确定模块，用于根据所述毫米波空中基站当前位置信息和地面终端属性信息，确定地面终端到毫米波空中基站的视距链路损耗、非视距链路损耗以及毫米波传输过程中的天线增益；概率确定模块，用于获取所述毫米波空中基站当前位置的环境参数，根据所述环境参数以及所述毫米波空中基站当前位置信息确定地面终端到毫米波空中基站的视距链路概率和非视距链路概率；总体损耗确定模块，用于根据视距链路概率和非视距链路概率以及对应的视距链路损耗和非视距链路损耗，得到地面终端到毫米波空中基站的总体路径损耗；信噪比确定模块，用于根据每一个地面终端的所述天线增益以及总体路径损耗，确定毫米波空中基站处于当前位置时的接收机总信噪比；容量确定子模块，用于根据所述接收机总信噪比，确定毫米波空中基站处于当前位置时的容量。

根据第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面任一实施方式所述的空中基站位置确定方法的步骤。

根据第四方面，本发明实施例提供一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面或第一方面任一实施方式所述的空中基站位置确定方法的步骤。

本发明技术方案，具有如下优点：

(1)本发明实施例提供的空中基站位置确定方法，将空中基站的容量结合强化学习，使得强化学习模型能够根据当前所处位置的容量，确定空中基站的位置，提高了空中基站部署的灵活性以及增加了空中基站进行通信补充的有效性。

(2)本实施例提供的空中基站位置确定方法，通过对毫米波传输特性进行分析，将毫米波传输特性融入强化学习模型中，根据强化模型确定毫米波空中基站的位置，增加了毫米波空中基站通信补充的有效性，使得毫米波空中基站可以根据地面终端的属性信息的变化灵活地确定位置。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中空中基站位置确定方法的一个具体示例的流程图；

图2为本发明实施例中空中基站位置确定方法的一个具体示例的流程图；

图3为本发明实施例中空中基站位置确定方法的一个具体示例图；

图4为本发明实施例中空中基站位置确定方法的一个具体示例图；

图5为本发明实施例中空中基站位置确定装置的一个具体示例原理框图；

图6为本发明实施例中电子设备的一个具体示例的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本实施例提供一种空中基站位置确定方法，本实施例中的基站位置确定方法可以应用于搭载传统频段蜂窝通信空中基站的无人机，也可以应用于搭载毫米波空中基站的无人机，本实施例以搭载毫米波空中基站的无人机为例进行说明，如图1所示，包括如下步骤：

S101，当空中基站对应的地面终端属性信息发生改变时，获取空中基站当前位置信息和地面终端属性信息；

示例性地，空中基站对应的地面终端属性信息包括在空中基站信号覆盖范围内的地面终端的数量信息、地面终端的位置信息。当在空中基站信号覆盖范围内的地面终端数量信息、地面终端位置信息发生变化时，空中基站需要重新根据当前的地面终端属性信息对位置进行调整。

首先，以毫米波空中基站为例，需要获取毫米波空中基站当前位置信息和地面终端的数量信息和位置信息。毫米波空中基站当前位置信息的获取方式可以是在毫米波空中基站中集成定位模块，通过定位模块得到；地面终端的位置信息可以是由地面终端主动发送位置信息至毫米波空中基站得到，也可以是空中基站发发送位置获取指令得到，通过对地面终端的位置信息进行统计即可得到地面终端的数量信息。本实施例对获取毫米波空中基站当前位置信息和地面终端属性信息的方式不做限定，本领域技术人员可以根据需要确定。

S102，根据空中基站当前位置信息和地面终端属性信息，确定空中基站位于当前位置时的容量；

示例性地，如图2所示，所述空中基站为毫米波空中基站，根据空中基站当前位置信息和地面终端属性信息，确定空中基站位于当前位置时的容量的方式可以是：

S1021，根据毫米波空中基站当前位置信息和地面终端属性信息，确定地面终端到毫米波空中基站的视距链路损耗、非视距链路损耗以及毫米波传输过程中的天线增益；

示例性地，根据毫米波空中基站当前位置信息和地面终的位置信息，可以得到地面终端i距离毫米波空中基站的距离，即

x_i为地面终端i距离毫米波空中基站在地面上垂直投影的水平距离，h为毫米波空中基站的高度。

根据地面终端i距离毫米波空中基站的距离，可以通过以下公式得到视距链路损耗和非视距链路损耗：

其中，

表示地面终端i到毫米波空中基站的视距链路损耗，

表示地面终端i的到毫米波空中基站的非视距链路损耗，ρ表示固定路径损耗，由ρ＝32.4+20log(f)给出，f为空中基站装载的毫米波的频率，χ_L对数正态随机变量，表示视距链路场景中的阴影效应，χ_N是对数正态随机变量，表示非视距链路场景中的阴影效应，α_LoS表示是视距链路场景中的路径损耗指数，α_NLoS表示非视距链路场景中的路径损耗指数，d_i为地面终端i距离毫米波空中基站的距离，即

路径损耗指数为与环境有关的大于2的常数，通常通过实际测量来确定。在被障碍物屏蔽的区域，α的取值会大，2＜α_LoS<α_NLoS。

毫米波空中基站和地面接收机上均部署天线阵列以形成定向波束，则信号传输过程中，还会受到天线增益的影响，天线增益由地面终端与毫米波空中基站之间的仰角确定：

其中，

为地面终端i的天线增益，

表示地面终端与毫米波空中基站之间的仰角，

S1023，获取毫米波空中基站当前位置的环境参数，根据环境参数以及毫米波空中基站当前位置信息确定地面终端到毫米波空中基站的视距链路概率和非视距链路概率；

根据毫米波空中基站当前位置，获取对应的环境参数，环境参数可以预先存储在毫米波空中基站中，如高层城市环境(a＝27.23；b＝0.08)，密集城市环境(a＝12.08；b＝0.11)，郊区环境(a＝4.88；b＝0.43)。

根据环境参数以及毫米波空中基站当前位置信息确定地面终端到毫米波空中基站的视距链路概率可以是通过以下公式得到：

其中，PLoS_i为地面终端i与毫米波空中基站的视距链路概率。

那么对应的地面终端i与毫米波空中基站的非视距链路概率为：PNLoS_i＝1-PLoS_i。

S1025，根据视距链路概率和非视距链路概率以及对应的视距链路损耗和非视距链路损耗，得到地面终端到毫米波空中基站的总体路径损耗；

示例性地，根据视距链路概率和非视距链路概率以及对应的视距链路损耗和非视距链路损耗，得到地面终端到毫米波空中基站的总体路径损耗的方式可以是通过以下公式确定：

其中，PL_i表示地面终端i到毫米波空中基站的总体路径损耗，PLoS_i表示为地面终端i与毫米波空中基站的视距链路概率，

表示地面终端i到毫米波空中基站的视距链路损耗，PNLoS_i表示地面终端i与毫米波空中基站的非视距链路概率，

表示地面终端i的到毫米波空中基站的非视距链路损耗。

S1027，根据每一个地面终端的天线增益以及总体路径损耗，确定毫米波空中基站处于当前位置的接收机总信噪比；

示例性地，根据每一个地面终端的天线增益以及总体路径损耗，确定毫米波空中基站处于当前位置的接收机总信噪比可以通过以下公式得到：

其中，SNR表示接收机总信噪比，ρ是由ρ＝32.4+20log(f)给出的固定路径损耗，f为空中基站装载的毫米波的频率，|h|²是表示小尺度信道衰落，服从Nakagami－m分布的随机变量，是取值范围为[0，1]的随机变量，

表示地面终端i的天线增益，

表示地面终端i到空中基站的仰角，P_t为毫米波空中基站的发射功率，σ²为噪声，PL_i表示地面终端i到毫米波空中基站的总体路径损耗。

S1029，根据接收机总信噪比，确定毫米波空中基站处于当前位置时的容量。

示例性地，容量是通信系统和终端设备通信能力的一个重要指标，根据信噪比公式，可以推导毫米波空中基站处于当前位置时的容量为：

C_capacity＝Blog₂(1+SNR)；

其中，C_capacity表示毫米波空中基站处于当前位置时的容量，B为信道带宽，SNR表示接收机总信噪比。

S103，将空中基站位于当前位置时的容量输入到强化学习模型，确定空中基站位置。

示例性地，强化学习模型以空中基站位于当前位置时的容量与上一个时刻所处位置的容量作为奖励，以容量最高作为优化目标进行训练得到。

强化学习(RL)是通过智能体在既定场景中不断探索以获得环境状态的信息，同时环境会根据智能体采取的动作反馈给智能体一个奖励值，智能体通过不断地探索学习到最佳决策以获得最大的长期奖励。本实施例中的强化学习模型将训练毫米波空中基站作为智能体，并进行训练，以完成通过调整毫米波空中基站的位置来使系统容量最大化的任务。

具体的强化学习模型建模如下：

智能体(Agent)：毫米波空中基站可以看作是一个单智能体，在任务开始时，毫米波空中基站根据∈-greedy策略选择一个动作，之后环境发送下一个状态，并把奖励返回给智能体。智能体用环境所返回的奖励来更新其知识，对上一个动作进行评估。这个循环一直持续，直至空中基站任务结束。

状态(State)：状态集合为空中基站的当前位置，即S＝{(x,y)}。

动作(Action)：动作集合为空中基站的可移动方向，即A＝{前进10米，后退10米，向左10米，向右10米，悬停}五个选项。

奖励(Reward)：即时奖励设置为当前时刻与上一时刻的系统容量差，表示为：R＝C_capacity(t+t_δ)-C_capacity(t)，其中，t_δ为当前时刻和上一时刻的时间差。

强化学习的主要流程包括以下步骤：

DQN算法的主要流程为：

Step1，首先初始化经验回放池D，它的容量为N；让智能体去探索环境，将经验池累积到一定程度，在随机抽取出一批样本进行训练。

Step2，初始化Q网络及其神经网络参数ω；初始化目标Q网络及其神经网络参数ω^-；DQN包含两个结构完全相同但是参数却不同的网络，Q网络和目标Q网络。Q网络使用的是最新的参数，而目标Q网络的参数使用的却是几次迭代次数之前的。Q(S，A；ω)表示当前Q网络的输出，用来评估当前状态动作对的值函数；Q(S，A；ω^-)表示目标Q网络的输出，可以根据损失函数更新目标Q网络的参数：每经过一定次数的迭代，将Q网络的参数复制给目标Q网络。目标Q网络的作用是为了提高算法稳定性，因为在一段时间里目标Q值是保持不变的，一定程度降低了当前Q值和目标Q值的相关性。

Step3循环遍历回合episode＝1,2,…,M：

Step3.1初始化状态集S；

Step3.2循环遍历step＝1,2,…,T：

Step3.2.1用∈-greedy策略采取动作策略A；

Step3.2.2执行动作A，计算毫米波空中基站在状态S下采取动作A的成本奖励R，并且毫米波空中基站获得下一时刻的规划状态S＇；

Step3.2.3将样本(S,A,R,S′)存入经验回放池D中；

Step3.2.4利用经验回放池中的均匀随机采样的样本Minibatch计算目标Q值，y_i＝R+γ·max_AQ(S′,A；ω^-)，其中，y_i为目标Q值，R为奖励函数，γ为折扣因子(γ(DiscountRate)取值在0到1之间，表明了未来的回报相对于当前回报的重要程度，γ取0时，相当于只考虑立即回报不考虑长期回报，γ为1时，长期回报和立即回报同等重要)。更新Q网络参数ω以减小损失函数[y_i-Q(S,A；ω)]²。

Step3.2.5每相隔Csteps更新基站规划目标Q网络的参数，即ω^-＝ω，也即把Q网络的神经网络参数ω复制给目标Q网络的神经网络参数ω^-。

由上述预先建立的强化学习模型，可以根据每时每刻所处位置的容量，承载毫米波空中基站的无人机对位置进行调整，上个时刻和当前时刻容量差变化作为强化学习模型的奖励(reward)，容量差大则获得的奖励越大。承载毫米波空中基站的无人机在下一个时刻会根据∈-greedy策略选取动作(以∈的概率随机选取动作，以1－∈的概率选择能获得最大奖励的动作)，如果该位置比当前位置的容量高，承载毫米波空中基站的无人机就有更高的概率选择它，通过多次迭代，承载毫米波空中基站的无人机可以移动到容量最大的位置，实现动态部署，从而获得最优的通信效果。

本发明实施例提供的空中基站位置确定方法，将空中基站的容量结合强化学习，使得强化学习模型能够根据当前所处位置的容量，确定空中基站的位置，提高了空中基站部署的灵活性以及增加了空中基站进行通信补充的有效性。

针对上述实施例，以下进行相应仿真，对毫米波传输过程的仿真参数如下表1。

表1

Parameter	Value
		Frequency	28GHz
Bandwidth	2GHz
		Transmit Power	1W
α<sub>LoS</sub>,α<sub>NLoS</sub>	2,3.3
		std(χ<sub>L</sub>),std(χ<sub>N</sub>)	5.2,7.2
Region of Interest	100×100m<sup>2</sup>
		Height of UAV	100m

对强化学习模型的仿真参数如表2所示。

表2

Parameter	Value
		Learning Rate	5e<sup>-4</sup>
Epsilon Greedy	0.9
		Target Q Network Update Frequency	10
Minbatch Size	64
		Replay Memory Size	10<sup>5</sup>
Discount Rateγ	0.999

在本次仿真结果中，对每200个样本进行平滑处理，仿真图如图3所示，根据奖励的趋势曲线，可以看到经过一定次数的学习，奖励可以有效增加并最终收敛到最优值，这表明强化学习可以成功地训练毫米波空中基站以找到最佳位置，达到对系统容量的优化。

为了横向比较，本实施例还对静态部署和随机部署进行了仿真，仿真比较结果如图4所示，假设区域内的终端接收机的位置小范围内随机分布，对比三种部署方案获得的信道容量，本发明实施例提出的部署方案为实线；静态部署为虚线，表示空中基站固定位置悬停；随机部署为点线，意味着空中基站在给定区域内随机移动。对比三条曲线显示，基于强化学习的位置优化方案可以有效提高系统容量。

本实施例提供的空中基站位置确定方法，通过对毫米波传输特性进行分析，将毫米波传输特性融入强化学习模型中，根据强化模型确定毫米波空中基站的位置，增加了毫米波空中基站通信补充的有效性，使得毫米波空中基站可以根据地面终端的属性信息的变化灵活地确定位置。

本发明实施例提供一种空中基站位置确定装置，如图5所示，包括：

信息获取模块201，用于当空中基站对应的地面终端的属性信息发生改变时，获取空中基站当前位置信息和地面终端属性信息；

容量确定模块202，用于根据所述空中基站位于当前位置信息和地面终端属性信息，确定所述空中基站位于当前位置时的容量；

位置确定模块203，用于将所述空中基站位于当前位置时的容量输入到强化学习模型，确定所述空中基站位置。

作为本实施例一种可选的实施方式，位置确定模块中所述强化学习模型以相邻两个时刻所述空中基站所处的位置产生的容量差为奖励，以容量最高作为优化目标进行训练得到。

作为本实施例一种可选的实施方式，所述空中基站为毫米波空中基站，容量确定模块，包括：

损耗以及增益确定模块，用于根据所述毫米波空中基站当前位置信息和地面终端属性信息，确定毫米波空中基站位于当前位置时的视距链路损耗、非视距链路损耗以及毫米波传输过程中的天线增益；

概率确定模块，用于获取所述毫米波空中基站当前位置的环境参数，根据所述环境参数以及所述毫米波空中基站当前位置信息确定毫米波空中基站当前位置的视距链路概率和非视距链路概率；

总体损耗确定模块，用于根据视距链路概率和非视距链路概率以及对应的视距链路损耗和非视距链路损耗，得到毫米波空中基站当前位置的总体路径损耗；

信噪比确定模块，用于根据所述天线增益以及总体路径损耗，确定毫米波空中基站当前位置的接收机信噪比；

容量确定子模块，用于根据所述接收机信噪比，确定毫米波空中基站当前位置的容量。

作为本实施例一种可选的实施方式，总体损耗确定模块执行，包括：

其中，

表示地面终端i到毫米波空中基站的视距链路损耗，

表示地面终端i的到毫米波空中基站的非视距链路损耗，

ρ是固定路径损耗，f为空中基站装载的毫米波的频率，χ_L对数正态随机变量，表示视距链路场景中的阴影效应，χ_N是对数正态随机变量，表示非视距链路场景中的阴影效应，α_LoS表示是视距链路场景中的路径损耗指数，α_NLoS表示非视距链路场景中的路径损耗指数，d_i为地面终端i距离空中基站的距离，PLoS_i为地面终端i与毫米波空中基站的视距链路概率，PNLoS_i为地面终端i与毫米波空中基站的非视距链路概率，

a和b是取决于环境的参数，PNLoS_i＝1-PLoS_i。

作为本实施例一种可选的实施方式，信噪比确定模块执行，包括：

其中，SNR表示接收机信噪比，ρ是由ρ＝32.4+20log(f)给出的固定路径损耗，f为空中基站装载的毫米波的频率，|h|²是表示小尺度信道衰落，

表示地面终端i的天线增益，

表示地面终端与毫米波空中基站之间的仰角，P_t为毫米波空中基站的发射功率，σ²为噪声，PL_i表示地面终端i到毫米波空中基站的总体路径损耗。

本申请实施例还提供一种电子设备，如图6所示，处理器310和存储器320，其中处理器310和存储器320可以通过总线或者其他方式连接。

处理器310可以为中央处理器(Central Processing Unit，CPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器320作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的空中基站位置确定方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理。

存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器320可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者当前模块存储在所述存储器320中，当被所述处理器310执行时，执行如图1所示实施例中的空中基站位置确定方法。

上述电子设备的具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例1中空中基站位置确定方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种空中基站位置确定方法，其特征在于，包括如下步骤：

当空中基站对应的地面终端的属性信息发生改变时，获取空中基站当前位置信息和地面终端属性信息；

根据所述空中基站位于当前位置信息和地面终端属性信息，确定所述空中基站位于当前位置时的容量；

将所述空中基站位于当前位置时的容量输入到强化学习模型，确定所述空中基站位置；所述强化学习模型以相邻两个时刻所述空中基站所处的位置产生的容量差为奖励，以容量最高作为优化目标进行训练得到；R＝C_capacity(t+t_δ)-C_capacity(t)，其中，t_δ为当前时刻和上一时刻t的时间差，R为相邻两个时刻所述空中基站所处的位置产生的容量差为奖励，C_capacity(t)为上一时刻t毫米波空中基站处于当前位置时的容量，C_capacity(t+t_δ)为当前时刻毫米波空中基站处于当前位置时的容量。

2.根据权利要求1所述的方法，其特征在于，所述空中基站为毫米波空中基站，根据所述空中基站位于当前位置信息和地面终端属性信息，确定所述空中基站位于当前位置时的容量，包括：

根据所述毫米波空中基站当前位置信息和地面终端属性信息，确定地面终端到毫米波空中基站的视距链路损耗、非视距链路损耗以及毫米波传输过程中的天线增益；

获取所述毫米波空中基站当前位置的环境参数，根据所述环境参数以及所述毫米波空中基站当前位置信息确定地面终端到毫米波空中基站的视距链路概率和非视距链路概率；

根据视距链路概率和非视距链路概率以及对应的视距链路损耗和非视距链路损耗，得到地面终端到毫米波空中基站的总体路径损耗；

根据每一个地面终端的所述天线增益以及总体路径损耗，确定毫米波空中基站处于当前位置时的接收机总信噪比；

根据所述接收机总信噪比，确定毫米波空中基站处于当前位置时的容量。

3.根据权利要求2所述的方法，其特征在于，根据视距链路概率和非视距链路概率以及对应的视距链路损耗和非视距链路损耗，得到地面终端到毫米波空中基站的总体路径损耗，包括：

其中，

表示地面终端i到毫米波空中基站的视距链路损耗，

表示地面终端i的到毫米波空中基站的非视距链路损耗，

ρ是固定路径损耗，χ_L对数正态随机变量，表示视距链路场景中的阴影效应，χ_N是对数正态随机变量，表示非视距链路场景中的阴影效应，α_LoS表示是视距链路场景中的路径损耗指数，α_NLoS表示非视距链路场景中的路径损耗指数，d_i为地面终端i距离空中基站的距离，PLoS_i为地面终端i与毫米波空中基站的视距链路概率，PNLoS_i为地面终端i与毫米波空中基站的非视距链路概率，

a和b是取决于环境的参数，PNLoS_i＝1-PLoS_i，

表示地面终端与毫米波空中基站之间的仰角。

4.根据权利要求3所述的方法，其特征在于，根据每一个地面终端的所述天线增益以及总体路径损耗，确定毫米波空中基站处于当前位置时的接收机总信噪比，包括：

其中，SNR表示接收机总信噪比，ρ是由ρ＝32.4+20log(f)给出的固定路径损耗，f为空中基站装载的毫米波的频率，|h|²是表示小尺度信道衰落，

表示地面终端i的天线增益，

表示地面终端与毫米波空中基站之间的仰角，P_t为毫米波空中基站的发射功率，σ²为噪声，PL_i表示地面终端i到毫米波空中基站的总体路径损耗。

5.一种空中基站位置确定装置，其特征在于，包括：

信息获取模块，用于当空中基站对应的地面终端的属性信息发生改变时，获取空中基站当前位置信息和地面终端属性信息；

容量确定模块，用于根据所述空中基站位于当前位置信息和地面终端属性信息，确定所述空中基站位于当前位置时的容量；

位置确定模块，用于将所述空中基站位于当前位置时的容量输入到强化学习模型，确定所述空中基站位置；所述强化学习模型以相邻两个时刻所述空中基站所处的位置产生的容量差为奖励，以容量最高作为优化目标进行训练得到；R＝C_capacity(t+t_δ)-C_capacity(t)，其中，t_δ为当前时刻和上一时刻t的时间差，R为相邻两个时刻所述空中基站所处的位置产生的容量差为奖励，C_capacity(t)为上一时刻t毫米波空中基站处于当前位置时的容量，C_capacity(t+t_δ)为当前时刻毫米波空中基站处于当前位置时的容量。

6.根据权利要求5所述的装置，其特征在于，位置确定模块中所述强化学习模型以相邻两个时刻所述空中基站所处的位置产生的容量差为奖励，以容量最高作为优化目标进行训练得到。

7.根据权利要求5所述的装置，其特征在于，所述空中基站为毫米波空中基站，容量确定模块，包括：

损耗以及增益确定模块，用于根据所述毫米波空中基站当前位置信息和地面终端属性信息，确定地面终端到毫米波空中基站的视距链路损耗、非视距链路损耗以及毫米波传输过程中的天线增益；

概率确定模块，用于获取所述毫米波空中基站当前位置的环境参数，根据所述环境参数以及所述毫米波空中基站当前位置信息确定地面终端到毫米波空中基站的视距链路概率和非视距链路概率；

总体损耗确定模块，用于根据视距链路概率和非视距链路概率以及对应的视距链路损耗和非视距链路损耗，得到地面终端到毫米波空中基站的总体路径损耗；

信噪比确定模块，用于根据每一个地面终端的所述天线增益以及总体路径损耗，确定毫米波空中基站处于当前位置时的接收机总信噪比；

容量确定子模块，用于根据所述接收机总信噪比，确定毫米波空中基站处于当前位置时的容量。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1－4任一所述的空中基站位置确定方法的步骤。

9.一种存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1－4任一所述的空中基站位置确定方法的步骤。

Images