CN112702097A - 一种用于uav辅助蜂窝网络的联合波束成形和功率控制方法 - Google Patents

Abstract

本发明公开了一种基于深度强化学习的联合波束成形和功率控制方法，针对无人机辅助蜂窝通信系统，提出了基于UCB Dueling DQN深度强化学习的联合波束成形与发射功率的资源分配方法。在算法学习过程中，利用最大置信上界来选择最优的波束向量和发射功率，可以提高学习效率和加快收敛，且能够抑制小区间干扰获得最优系统容量。

Description

一种用于UAV辅助蜂窝网络的联合波束成形和功率控制方法

技术领域

本发明涉及无人机辅助通信领域，是一种联合波束成形和功率控制的小区间干扰管理方法。

背景技术

随着无线通信技术的快速发展，给无人机(UAV)安装移动通信设备，使无人机成为一个空中移动基站，可与地面通信网络组成一个空地一体化立体无线通信网络，如图1，极大地扩展移动网络的应用通信范围。空中无人机还可以组成大规模的机群与地面进行协同工作，这种立体通信系统可以满足未来无线网络的更多业务需求。

与高平台基站和卫星通信相比，低空无人机支持无线移动通信，尽管覆盖范围有限，但低空无人机具有成本低、灵活度高、易于快速部署的优点。当遇到紧急情况，能够及时提供应急通信服务，能为短期无线通信提供热点的需求。此外，低空通信可以与地面用户进行视距传输，获得更低的时延和更高的传输速度。

然而，面对海量的数据，如何在保持高资源利用率的基础上提高系统的性能，是无线通信应用面临的重要挑战。由于无线信道的开放性，网络中多个空中基站共存，通常运行在高度拥挤的频谱场景中，这会造成严重空中小区间干扰。因此，对于由多个空中基站组成的无人机辅助的蜂窝网络，迫切需要基站系统具有小区间干扰抑制能力，以提供强大的连通性。

在地面蜂窝通信系统中，采用多小区间联合波束形成和功率控制技术能较好抑制干扰，但大多采用传统优化方法来求解，计算复杂度高。为此，人们提出基于深度Q网络(DQN)的强化学习算法来计算UAV基站波束形成向量和功率，但该计算方法的收敛速度较慢而影响其实际应用。为了进一步提高UAV辅助的蜂窝通信系统性能，本发明提出一种基于UCB Dueling DQN的联合波束成形和功率控制方法，它具有更快的收敛速度，可以有效抑制UAV基站间干扰达到系统最优容量。

发明内容

本发明解决的技术问题是如何实现UAV辅助的蜂窝网络中联合波束成形和功率控制，来抑制多UAV基站间干扰而提高系统容量。

一种基于深度强化学习的联合波束成形和功率控制方法，包括以下实现步骤，如图2：

步骤(1)：初始化，设定UAV基站的状态集s和动作集a，折扣因子μ(常数)，当前神经网络Q的参数(α，β)，目标神经网络

的参数

总的迭代时间步数N_t；

这里α，β分别表示当前网络中状态值函数网络V和优势函数网络A的超参数，

分别表示目标网络中状态值函数网络V和优势函数网络A的超参数。

步骤(2)：UAV基站观测当前系统状态s并选择一个初始动作a,其由{波束形成向量，发射功率值}组成；

这里观测状态主要完成对系统工作参数，如基站覆盖半径等进行配置。

步骤(3)：UAV基站执行动作a，即利用波束形成向量对发射信号赋形，并以动作a中的功率值发射信号；

步骤(4)：计算UAV基站执行动作a所获得当前时间步t时奖励值r_t；

步骤(5)：UAV基站观测下一时刻其所处状态s′；

步骤(6)：UAV基站将得到的向量集(s,a,r,s′),即(当前时刻状态，当前时刻动作，当前时刻奖励，下一时刻状态)存储到经验池D中；

步骤(7)：若经验池已满，从经验池D中取一批数据样本，以对神经网络进行训练；

步骤(8)：构造当前网络Q和目标网络

把数据样本输入到当前神经网络处理得到Q(s,a)值；

这里目标网络和当前网络可采用相同的神经网络结构。这里目标网络和当前网络采用相同的神经网络结构,其可为三层BP神经网络：输入层，隐藏层(包括)和输出层，其中隐藏层由并行的状态值函数网络V的隐藏层和优势函数网络A的隐藏层构成。

步骤(9)：计算当前网络Q的状态值函数V(s,β)和优势函数A(s,a,α)，即把Q(s,a)分别输入到状态值函数网络V和优势函数网络A处理后输出；

步骤(10)：把输出的状态值函数和优势函数合并得到当前网络Q的动作-状态函数；

即用状态值函数网络的输出加上优势函数网络的输出，其中优势函数网络的输出为当前优势函数值与所有优势函数均值的差，如下式所示

这里

为优势函数A(s,a',α)的均值，a'为状态s'时的采用的动作，每个优势函数A值的计算都如步骤(9)所述，

表示优势函数集A(s,a',α)的数量。

步骤(11)：利用当前网络和目标网络的输出来计算损失函数L＝(r_t+μmax_a'Q(s',a')-Q(s,a))²；

这里r+μmax_a'Q(s',a')是目标网络的输出，max_a'Q(s',a')是计算并选取动作a'、状态s'时的最大Q值，Q(s,a)是当前网络的输出，本步骤的目的是计算目标Q值与当前Q值的均方差，其中Q值的计算方法如步骤(9)、(10)。

步骤(12)：对损失函数L进行随机梯度下降计算以更新当前网络Q的参数(α，β)；

步骤(13)：每隔T_c时间步更新目标网络的参数

即把当前网络参数(α，β)复制到目标网络代替

这里T_c为设定的时间步数，若当前迭代计算的时间步t等于T_c时，则执行本步骤操作。

步骤(14)：更新奖励

其中第二项

是置信因子，其中t为迭代的时间步，N_t为总的迭代时间步数，随着训练的进行，时间步t不断增加，置信因子的影响会逐渐变小。在t时刻，如果一个动作已经被选了越多次，该动作的奖励值会越高，越会继续采用。

步骤(15)：UAV基站根据所获奖励最大原则选取下一时刻动作(波束向量和发射功率值)，即a'＝argmaxr_t；

步骤(16)：更新迭代时间t＝t+1；

步骤(17)：重复步骤(2)～(16)，直到收敛，并输出此时动作对应的{波束向量，发射功率}；

步骤(18)：UAV基站利用波束向量对发射信号赋形，并以所得功率发送信号到用户端。

有益效果

本发明针对无人机辅助蜂窝通信系统，提出了基于深度强化学习的联合波束成形和功率控制方法。其在动作的探索策略上利用最大置信上界(UCB)的算法，能选取到具有更多奖励的动作(功率和波束向量组合)，加快了算法的收敛速度而提高了学习效率，同时能够达到系统和速率容量的上界，具有更好的实际应用价值。

附图说明

图1为无人机辅助蜂窝通信模型

图2为所提方法的实施步骤

图3 UCB Dueling DQN学习的功能单元

图4为目标网络和当前网络的结构

图5为收敛性能对比

图6为系统和速率对比

具体实施方式

下面通过实验来说明本发明的实施步骤，实验中采用的参数为

参数	值
		UAV基站最大发射功率	40W
UAV基站工作频率	28GHz
		UAV基站间距	1000m
用户终端移动速度	2km/h
		基站天线数	{4,8,16,32,64}
折扣因子	0.995

本发明的具体实现步骤为：

步骤(1)：初始化，设定UAV基站的状态集s＝{s₁,s₂,s₃,s₄}，其中s₁,s₂为本小区UAV基站和干扰UAV基站的发射功率，s₃,s₄为本小区UAV基站和干扰UAV基站的波束形成向量，小区覆盖半径1km；

动作集a为

·a[0]＝0:将本小区基站的发射功率降低1dB

·a[0]＝1:将本小区基站的发射功率增加1dB

·a[1]＝0:将干扰基站的发射功率降低1dB

·a[1]＝1:将干扰基站的发射功率增加1dB

·a[2]＝0:降低本地基站的波束成形向量索引

·a[2]＝1:提高本地基站的波束成形向量索引

·a[3]＝0:提高干扰基站的波束成形码本索引.

·a[3]＝1:降低干扰基站的波束成形码本索引

初始化Dueling DQN网络中当前网络、目标网络的参数,如学习率＝0.01，折扣因子μ＝0.995；

步骤(2)：UAV基站选择一个初始动作，譬如选取a＝{1.2，25w}；

步骤(3)：UAV基站执行动作a，即利用波束形成向量对发射信号赋形，并以动作a中的功率值发射信号；

步骤(4)：计算UAV基站执行动作a所获得的奖励值r_t＝24.13；

步骤(5)：UAV基站观测下一时刻其所处状态s′；

步骤(6)：UAV基站将得到的向量集(s,a,r,s′)存储到经验池D中；

步骤(7)：若经验池已满，从经验池D中取出32个样本，对网络进行训练；

步骤(8)：构造两部分神经网络，即当前网络Q和目标网络

如图4，由输入层，隐藏层(状态值函数网络V的隐藏层和优势函数网络A的隐藏层)、和输出层构成。

步骤(9)：把Q(s,a)分别输入到状态值函数网络V和优势函数网络A处理后得到当前网络Q的状态值函数V和优势函数A；

步骤(10)：把输出的状态值函数和优势函数相加得到当前网络Q的动作-状态函数，其中优势函数网络的输出为当前优势函数值与所有优势函数均值的差；

步骤(11)：采用如步骤(9)、(10)计算先计算动作a'、状态s'时的最大Q值，目标网络的输出r_t+μmax_a'Q(s',a')，当前网络的输出Q(s,a)，然后计算目标Q值与当前Q值的均方差，得到当前网络的损失函数；

步骤(12)：对损失函数L进行随机梯度下降计算以更新当前网络Q的参数(α，β)；

步骤(13)：每隔T_c＝10时间步更新目标网络的参数

即把当前网络参数(α，β)复制到目标网络；

步骤(14)：更新奖励

步骤(15)：UAV基站根据所获奖励最大原则选取下一时刻动作(波束向量和发射功率值)，譬如选取a'＝{1.4，22w}；

步骤(16)：更新时间步t＝t+1；

步骤(17)：重复步骤(2)～(16)，直到收敛，并输出此时动作对应的{波束向量＝2.1，发射功率＝25w}；

步骤(18)：UAV基站利用波束向量对发射信号赋形，并以所得功率发送信号到用户端。

所提方法的性能如图5，可以看到，在UAV基站相同天线配置情形下，本方法的收敛次数低于DQN方法。同时，采用本发明提出方法能获得最优的系统容量，如图6。

Claims (1)

1.一种用于UAV辅助蜂窝网络的深度强化学习波束成形和功率控制方法，其特征在于，包括以下实现步骤：

步骤(1)：初始化，设定UAV基站的状态集s和动作集a，折扣因子μ，当前神经网络Q的参数(α，β)，目标神经网络

的参数

总的迭代时间步数N_t；

这里α，β分别表示当前网络中状态值函数网络V和优势函数网络A的超参数，

分别表示目标网络中状态值函数网络V和优势函数网络A的超参数；

步骤(2)：UAV基站观测当前系统状态s并选择一个初始动作a,其由{波束形成向量，发射功率值}组成；

；步骤(3)：UAV基站执行动作a，即利用波束形成向量对发射信号赋形，并以动作a中的功率值发射信号；

步骤(4)：计算UAV基站执行动作a所获得当前时间步t时奖励值r_t；

步骤(5)：UAV基站观测下一时刻其所处状态s′；

步骤(6)：UAV基站将得到的向量集(s,a,r,s′),即(当前时刻状态，当前时刻动作，当前时刻奖励，下一时刻状态)存储到经验池D中；

步骤(7)：若经验池已满，从经验池D中取一批数据样本，以对神经网络进行训练；

步骤(8)：构造当前网络Q和目标网络

把数据样本输入到当前网络处理得到Q(s,a)值；

这里目标网络和当前网络采用相同的神经网络结构,为三层BP神经网络：输入层，隐藏层、和输出层，其中隐藏层由并行的状态值函数网络V的隐藏层和优势函数网络A的隐藏层构成；

步骤(9)：计算当前网络Q的状态值函数V(s,β)和优势函数A(s,a,α)，即把Q(s,a)分别输入到状态值函数网络V和优势函数网络A处理后输出；

步骤(10)：把输出的状态值函数和优势函数合并得到当前网络Q的动作-状态函数；

即用状态值函数网络的输出加上优势函数网络的输出，其中优势函数网络的输出为当前优势函数值与所有优势函数均值的差，如下式所示

这里

为优势函数A(s,a',α)的均值，a'为状态s'时的采用的动作，每个优势函数A值的计算都如步骤(9)所述，

表示优势函数集A(s,a',α)的数量；

步骤(11)：利用当前网络和目标网络的输出来计算损失函数L＝(r_t+μmax_a'Q(s',a')-Q(s,a))²；

这里r+μmax_a'Q(s',a')是目标网络的输出，μ是折扣因子，max_a'Q(s',a')是计算并选取动作a'、状态s'时的最大Q值，Q(s,a)是当前网络的输出，本步骤的目的是计算目标Q值与当前Q值的均方差，其中Q值的计算方法如步骤(9)、(10)；

步骤(12)：对损失函数L进行随机梯度下降计算以更新当前网络Q的参数(α，β)；

步骤(13)：每隔T_c时间步更新目标网络的参数

即把当前网络参数(α，β)复制到目标网络代替

这里T_c为设定的时间步数，若当前迭代计算的时间步t等于T_c时，则执行本步骤操作；

步骤(14)：引入置信度更新奖励

这里

是置信因子，其中t为当前迭代计算的时间步，N_t为迭代计算总的时间步数；

步骤(15)：UAV基站根据所获奖励最大原则选取下一时刻动作(波束向量和发射功率值)，即a'＝argmax r_t；

步骤(16)：更新迭代时间步t＝t+1；

步骤(17)：重复步骤(2)～(16)，直到收敛，并输出此时动作对应的{波束向量，发射功率}；

步骤(18)：UAV基站利用波束向量对发射信号赋形，并以所得功率发送信号到用户端。

Images