CN117082536B - 一种基于强化学习的空地网络协同覆盖方法 - Google Patents

Abstract

本发明公开了一种基于强化学习的空地网络协同覆盖方法，包括以下步骤：S1.获取基站的地理位置和基站参数域;所述地理位置即基站的经纬度信息；所述基站参数域包括基站参数种类和每一种基站参数的范围；S2.基于无人机实测数据，获得基站在不同基站参数下的低空和地面的覆盖情况，并形成三维天线方向图；S3.将空地网络协同问题建模成强化学习任务,并基于强化学习得到寻找基站参数配置最佳状态，从而实现空地网络协同覆盖。本发明通过通过获取基站配置参数与基站覆盖的关系，继而构建强化学习任务在基站参数域中寻找最佳的基站配置，实现低空与地面的协同覆盖。

Description

一种基于强化学习的空地网络协同覆盖方法

技术领域

本发明涉及网络覆盖方法，特别是涉及一种基于强化学习的空地网络协同覆盖方法。

背景技术

当前300m以下低空网络覆盖主要由地面现有基站实现。存在地面网络与低空网络同时有覆盖需求时，难以较为有效的实现协同地面与低空同时覆盖的问题。现有的空地网络协同覆盖方法通常基于阈值报警后根据人工经验调整网络参数进行优化，存在以下缺陷：受限于人工经验的效率与准确度因素，对现有基站参数与基站覆盖指标的关系难以准确建模分析，继而网络协同优化程度受限；基于阈值预警的优化策略通常只能针对特定基站进行空地覆盖的优化调整，难以实现多基站场景的高复杂度协同优化。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于强化学习的空地网络协同覆盖方法，通过获取基站配置参数与基站覆盖的关系，继而构建强化学习任务在基站参数域中寻找最佳的基站配置，实现低空与地面的协同覆盖。

本发明的目的是通过以下技术方案来实现的：一种基于强化学习的空地网络协同覆盖方法，包括以下步骤：

S1.获取基站的地理位置和基站参数域；

所述地理位置即基站的经纬度信息；所述基站参数域包括基站参数种类和每一种基站参数的范围；

S2基于无人机实测数据，获得基站在不同基站参数下的低空和地面的覆盖情况，并形成三维天线方向图；

S3.将空地网络协同问题建模成强化学习任务,并基于强化学习得到寻找基站参数配置最佳状态，从而实现空地网络协同覆盖。

本发明的有益效果是：本发明构建基站参数域与基站覆盖的对应关系，将基站参数调整映射至基站实际覆盖情况；同时设计基于终端动态业务指标的目标函数与基于波束覆盖的约束模型，将不确定的调整关系转化为可量化的数据，降低根据人工经验判断分析基站配置更改所造成的影响，提高了优化调整效率；并且本申请构建强化学习任务，将基站视为智能体，基站可调参数域视为行动空间，通过强化学习直到输出最优基站参数配置方案，实现低空与地面基站的高效协同覆盖。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种基于强化学习的空地网络协同覆盖方法，包括以下步骤：

S1.获取基站的地理位置和基站参数域；

所述地理位置即基站的经纬度信息；所述基站参数域包括基站参数种类和每一种基站参数的范围；

S2基于无人机实测数据，获得基站在不同基站参数下的低空和地面的覆盖情况，并形成三维天线方向图；

S3.将空地网络协同问题建模成强化学习任务,并基于强化学习得到寻找基站参数配置最佳状态，从而实现空地网络协同覆盖。

其中，所述基站参数种类包括：站高天线站高h，天线方向角hAOA，天线下倾角downtilt，3dB波束宽度向量w＝[w_H,w_v]，以及SSB波束朝向；其中，w_H表示水平宽度，w_v表示垂直宽度。

所述步骤S2包括：

S201.保持基站的站高天线h不变，获取如下参数：

天线方向角hAOA的取值范围为{a₁,a₂,...,a_J}，其中a_j表示第j种天线方向角，J表示天线下倾角取值范围中包含的天线下倾角个数，j＝1,2,…,J；

天线下倾角downtilt的范围为{θ₁,θ₂,...,θ_K}，其中θ_k表示第k个天线下倾角，K表示天线下倾角取值范围中包含的天线下倾角个数，k＝1,2,…,K；

基站的3dB波束宽度向量取值集合为{w₁,w₂,...,w_N}，其中w_n表示集合中第n个向量，N为向量总数，n＝1,2,…,N；

SSB波束朝向取值集合为{z_SSB0,…,z_SSB7}，其中z_SSBi为集合中第i个朝向，所述波束朝向是指在以天线面板为中心建立的笛卡尔坐标系中的朝向，i＝0,1,2,…,7；

S202.初始化j＝0，k＝1，n＝1，i＝0；

S203.在天线方向角为a_j、天线下倾角为θ_k、3dB波束宽度为w_n、SSB波束i的波束朝向为z_SSBi时，分别使用无人机挂载扫频仪，以及车载扫频仪方式进行低空网络与地面网络的覆盖测量，采集各采样点能接收的SSB波束信号强度RSRP；

S204.若i＝7，则进入步骤S205，否则令i＝i+1，然后返回步骤S203；

S205.若n＝N，则进入步骤S206，否则令n＝n+1，i＝0，返回步骤S203；

S206.若k＝K，则进入步骤S207，否则令k＝k+1，n＝1，i＝0，返回步骤S203；

S207.若j＝J，则实测结束，否则令j＝j+1，k＝1，n＝1，i＝0，返回步骤S203；

S208.由于i有8种取值，n有N中取值，k有K种取值，j有J种取值，故总共有8*N*K*J中基站参数组合，基于每一种参数组合下的测量结果，经过三次插值法进行测量采样点间的数据平滑处理，在三维空间中对波束信号的进行仿真，最终获得8*N*K*J种参数配置下的三维天线方向图结果。

所述步骤S203中，使用无人机挂载扫频仪进行低空网络的覆盖测量时，需要在距离基站水平距离为600m时，与天线垂直距离为60m至120m范围内，按照5m的步进，分别对基站进行测量，得到每一个天线垂直距离下基站各个SSB波束的信号强度RSRP，形成当前基站参数下的低空覆盖测量结果。

所述步骤S203中，使用扫频仪进行地面网络的覆盖测量时，需要在距离基站水平距离为600m时，对基站进行路测，得到地面的基站各个SSB波束的信号强度RSRP，形成当前基站参数下的地面测量结果。

通过设计以下覆盖质量评价函数，对低空网络与地面网络的覆盖质量进行评估：

其中Q_G(x)，Q_A(x)分别表示地面与低空网络的覆盖质量，s为x位置的主服务基站小区，N₀(x)为x位置环境噪声，为其他基站小区对当前位置信号的干扰；

为低空采样点由于地面用户上行信号而产生的信号干扰；采样点x的信号衰减/>由以下公式生成，其中g_i(x)为天线i在位置x的信号强度，由天线方向图仿真方法生成，L(f_c,d)为载波频率f_c，传播距离d后的传播衰减：

所述步骤S3包括：

S301.建立强化学习任务，任务包含以下场景环境信息：基站周边地图M；多基站坐标P_BS＝{P₁…P_n}；各基站天线配置S_BS＝{S₁…S_n},S_i＝{z_SSBi,h_i,b_i,a_i,v_i}，b_i为波束具体配置，包括3dB波束宽度，a_i为天线水平方向角；v_i为天线下倾角；同时，基于上述中无人机实测信号质量时同时采集的基站周边三维地理信息，通过三维点云重建各基站周边三维场景G＝{(x₁,y₁,z₁,n₁),…,(x_i,y_i,z_i,n_i)}，(x_i,y_i,z_i,n_i)为场景中各点坐标以及该坐标点的底噪；

环境信息建立完成后，在强化学习任务中建立一个与环境相互作用的智能体，基于上述建立的强化学习任务，该智能体为目标航线段内的所有服务基站，智能体的行动空间A为目标航线段内所有基站的可调参数空间的组合；a_t∈A为智能体当前时刻t基于下一状态的预期函数所采取的行动，即基站参数调整策略；状态空间S为基于天线配置的基站覆盖分布，s_t∈S为当前智能体状态，即基站参数配置，空间大小为8*N*K，s_t+1为采取a_t后的智能体状态，即调整后的基站参数配置；

强化学习智能体建立后，需要进行奖惩函数的设置，一般情况下强化学习任务最终目标为最大化累积折扣奖励为：

折扣因子γ∈[0,1]

在此强化学习任务策略中，任务目标为对目标航线段上所有位置x的最大化平均覆盖质量，K_avg为在目标航线段/>上的N个采样点的低空与地面网络覆盖质量和的平均值，同时也为此强化学习任务的即时奖励r’：

其中K_G(x)，K_A(x)分别表示地面与低空网络在x位置的覆盖质量，由当前智能体当前时刻t的状态s_t所对应的所有基站小区的参数配置所生成的天线方向图仿真得到，RSRP为x位置的信号强度，s为x位置的主服务基站小区，N₀(x)为x位置环境噪声，为其他基站小区对当前位置信号的干扰；/>为低空采样点由于地面用户上行信号而产生的信号干扰；P_s，P_b与P_u分别为服务小区发射功率，邻区发射功率以及地面干扰终端发射功率；采样点x的信号衰减/>由以下公式生成，其中g_i(x)为天线i在位置x的信号强度，由本专利所述天线方向图仿真方法生成，L(f_c,d)为载波频率f_c，传播距离d后的传播衰减：

S302.基于步骤S301中的强化学习任务，建立DQN网络，以计算拟合智能体在一种状态s下可采取的各种行动a对应的折扣奖励r_(s,a)，折扣奖励r通过目标航线段l上的N个采样点的低空与地面网络覆盖质量和的平均值乘K_avg折扣因子γ得到，DQN网络建立与训练方法具体如下：

建立结构相同的DQN主网络与DQN目标网络，使用全连接层作为网络的隐藏层，对网络权值进行初始化，同时初始状态采用均匀随机行动，并以概率参数ε的贪婪算法进行策略选择；对网络权值进行初始化，同时初始状态采用均匀随机行动，并以概率参数ε的贪婪算法进行策略选择；初始化回放缓存区，放入已知的转移参数样本(s_t,a_t,r_t,s_t+1)并保存，由当前系统状态，当前状态采取的行动，当前状态的即时回报，系统下一个状态四个参数组成，当作DQN网络的已知经验；

S303.训练DQN网络，从回放缓存区中以均匀分布随机抽取转移参数样本计算两种Q值：直接计算目标Q值Q_target＝r+γ·maxQ(s_t+1,a_t+1；w)，其中r为状态s_t采取a_t的回报，a_t+1为状态s_t+1时能获得最大Q值的行动；训练拟合预测Q值，计算过程为：Q_predict＝Q(s_t,a_t；w)，Q_main为在s_t状态下采取a_t行动，DQN网络在w权值下的通过神经网络拟合的Q值；采用Q_target和Q_predict均方差损失函数计算，利用反向传播算法训练DQN主网络，把每次训练得到的新转移参数样本(s_t,a_t,r_t,s_t+1)存入回放缓存区，并随机清理回放缓存区；每经过一定数量的迭代训练之后将DQN主网络权重w赋给DQN目标网络，然后继续从回放缓存区中以均匀分布随机抽取转移参数样本用于DQN主网络训练，直到DQN目标网络收敛，停止更新，输出DQN目标网络，得到近似每一状态的最佳行动值，继而采取最优贪婪策略寻找基站参数配置最佳状态，因为已经训练得到了每一状态的最佳行动值，所以采用最优贪婪策略，只考虑当前状态s下的能得到最大Q值的最佳行动a。

上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (5)

1.一种基于强化学习的空地网络协同覆盖方法，其特征在于：包括以下步骤：

S1.获取基站的地理位置和基站参数域；

所述地理位置即基站的经纬度信息；所述基站参数域包括基站参数种类和每一种基站参数的范围；

S2基于无人机实测数据，获得基站在不同基站参数下的低空和地面的覆盖情况，并形成三维天线方向图；

S3.将空地网络协同问题建模成强化学习任务,并基于强化学习得到寻找基站参数配置最佳状态，从而实现空地网络协同覆盖；

所述步骤S3包括：

S301.建立强化学习任务，任务包含以下场景环境信息：基站周边地图M；多基站坐标P_BS＝{P₁...P_n}；各基站天线配置S_BS＝{S₁...S_n},S_i＝{z_SSBi,h_i,b_i,a_i,v_i}，b_i为波束具体配置，包括3dB波束宽度，a_i为天线水平方向角；v_i为天线下倾角；同时，在无人机实测信号质量时采集的基站周边三维地理信息，通过三维点云重建各基站周边三维场景G＝{(x₁,y₁,z₁,n₁),...,(x_i,y_i,z_i,n_i)}，(x_i,y_i,z_i,n_i)为场景中各点坐标以及该坐标点的底噪；

环境信息建立完成后，在强化学习任务中建立一个与环境相互作用的智能体，基于上述建立的强化学习任务，该智能体为目标航线段内的所有服务基站，智能体的行动空间A为目标航线段内所有基站的可调参数空间的组合；a_t∈A为智能体当前时刻t基于下一状态的预期函数所采取的行动，即基站参数调整策略；状态空间S为基于天线配置的基站覆盖分布，s_t∈S为当前智能体状态，即基站参数配置，空间大小为8*N*K*J，s_t+1为采取a_t后的智能体状态，即调整后的基站参数配置；

强化学习智能体建立后，需要进行奖惩函数的设置，强化学习任务最终目标为最大化累积折扣奖励为：

折扣因子γ∈[0,1]

在此强化学习任务策略中，任务目标为对目标航线段上所有位置x的最大化平均覆盖质量，K_avg为在目标航线段/>上的N个采样点的低空与地面网络覆盖质量和的平均值，同时也为此强化学习任务的即时奖励r’：

其中K_G(x)，K_A(x)分别表示地面与低空网络在x位置的覆盖质量，由当前智能体当前时刻t的状态s_t所对应的所有基站小区的参数配置所生成的天线方向图仿真得到，RSRP为x位置的信号强度，s为x位置的主服务基站小区，N₀(x)为x位置环境噪声，为其他基站小区对当前位置信号的干扰；/>为低空采样点由于地面用户上行信号而产生的信号干扰；P_s，P_b与P_u分别为服务小区发射功率，邻区发射功率以及地面干扰终端发射功率；采样点x的信号衰减/>由以下公式生成，其中g_i(x)为天线i在位置x的信号强度，由所述天线方向图仿真方法生成，L(f_c,d)为载波频率f_c，传播距离d后的传播衰减：

S302.基于步骤S301中的强化学习任务，建立DQN网络，以计算拟合智能体在一种状态s下可采取的各种行动a对应的折扣奖励r_(s,a)，折扣奖励r通过目标航线段上的N个采样点的低空与地面网络覆盖质量和的平均值乘K_avg折扣因子γ得到，DQN网络建立与训练方法具体如下：

建立结构相同的DQN主网络与DQN目标网络，使用全连接层作为网络的隐藏层，对网络权值进行初始化，同时初始状态采用均匀随机行动，并以概率参数ε的贪婪算法进行策略选择；对网络权值进行初始化，同时初始状态采用均匀随机行动，并以概率参数ε的贪婪算法进行策略选择；初始化回放缓存区，放入已知的转移参数样本(s_t,a_t,r_t,s_t+1)并保存，由当前系统状态，当前状态采取的行动，当前状态的即时回报，系统下一个状态四个参数组成，当作DQN网络的已知经验；

S303.训练DQN网络，从回放缓存区中以均匀分布随机抽取转移参数样本计算两种Q值：直接计算目标Q值Q_target＝r+γ·maxQ(s_t+1,a_t+1；w)，其中r为状态s_t采取a_t的回报，a_t+1为状态s_t+1时能获得最大Q值的行动；训练拟合预测Q值，计算过程为：Q_predict＝Q(s_t,a_t；w)，Q_main为在s_t状态下采取a_t行动，DQN网络在w权值下的通过神经网络拟合的Q值；采用Q_target和Q_predict均方差损失函数计算，利用反向传播算法训练DQN主网络，把每次训练得到的新转移参数样本(s_t,a_t,r_t,s_t+1)存入回放缓存区，并随机清理回放缓存区；每经过一定数量的迭代训练之后将DQN主网络权重w赋给DQN目标网络，然后继续从回放缓存区中以均匀分布随机抽取转移参数样本用于DQN主网络训练，直到DQN目标网络收敛，停止更新，输出DQN目标网络，得到近似每一状态的最佳行动值，继而采取最优贪婪策略寻找基站参数配置最佳状态，因为已经训练得到了每一状态的最佳行动值，所以采用最优贪婪策略，只考虑当前状态s下的能得到最大Q值的最佳行动a。

2.根据权利要求1所述的一种基于强化学习的空地网络协同覆盖方法，其特征在于：所述基站参数种类包括：站高天线站高h，天线方向角hAOA，天线下倾角downtilt，3dB波束宽度向量w＝[w_H,w_v]，以及SSB波束朝向；其中，w_H表示水平宽度，w_v表示垂直宽度。

3.根据权利要求2所述的一种基于强化学习的空地网络协同覆盖方法，其特征在于：所述步骤S2包括：

S201.保持基站的站高天线h不变，获取如下参数：

天线方向角hAOA的取值范围为{a₁,a₂,...,a_J}，其中a_j表示第j种天线方向角，J表示天线下倾角取值范围中包含的天线下倾角个数，j＝1,2,…,J；

天线下倾角downtilt的范围为{θ₁,θ₂,...,θ_K}，其中θ_k表示第k个天线下倾角，K表示天线下倾角取值范围中包含的天线下倾角个数，k＝1,2,…,K；

基站的3dB波束宽度向量取值集合为{w₁,w₂,...,w_N}，其中w_n表示集合中第n个向量，N为向量总数，n＝1,2,…,N；

SSB波束朝向取值集合为{z_SSB0,...,z_SSB7}，其中z_SSBi为集合中第i个朝向，所述波束朝向是指在以天线面板为中心建立的笛卡尔坐标系中的朝向，i＝0,1,2,…,7；

S202.初始化j＝0，k＝1，n＝1，i＝0；

S203.在天线方向角为a_j、天线下倾角为θ_k、3dB波束宽度为w_n、SSB波束i的波束朝向为z_SSBi时，分别使用无人机挂载扫频仪，以及车载扫频仪方式进行低空网络与地面网络的覆盖测量，采集各采样点能接收的SSB波束信号强度RSRP；

S204.若i＝7，则进入步骤S205，否则令i＝i+1，然后返回步骤S203；

S205.若n＝N，则进入步骤S206，否则令n＝n+1，i＝0，返回步骤S203；

S206.若k＝K，则进入步骤S207，否则令k＝k+1，n＝1，i＝0，返回步骤S203；

S207.若j＝J，则实测结束，否则令j＝j+1，k＝1，n＝1，i＝0，返回步骤S203；

S208.由于i有8种取值，n有N中取值，k有K种取值，j有J种取值，故总共有8*N*K*J中基站参数组合，基于每一种参数组合下的测量结果，经过三次插值法进行测量采样点间的数据平滑处理，在三维空间中对波束信号的进行仿真，最终获得8*N*K*J种参数配置下的三维天线方向图结果。

4.根据权利要求3所述的一种基于强化学习的空地网络协同覆盖方法，其特征在于：所述步骤S203中，使用无人机挂载扫频仪进行低空网络的覆盖测量时，需要在距离基站水平距离为600m时，与天线垂直距离为60m至120m范围内，按照5m的步进，分别对基站进行测量，得到每一个天线垂直距离下基站各个SSB波束的信号强度RSRP，形成当前基站参数下的低空覆盖测量结果。

5.根据权利要求3所述的一种基于强化学习的空地网络协同覆盖方法，其特征在于：所述步骤S203中，使用扫频仪进行地面网络的覆盖测量时，需要在距离基站水平距离为600m时，对基站进行路测，得到地面的基站各个SSB波束的信号强度RSRP，形成当前基站参数下的地面测量结果。