CN113300749A

CN113300749A - 基于机器学习赋能的智慧传输波束优化方法

Info

Publication number: CN113300749A
Application number: CN202110342116.3A
Authority: CN
Inventors: 高晖; 林元杰; 陈笛; 许文俊; 曹若菡
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2021-03-30
Filing date: 2021-03-30
Publication date: 2021-08-24

Abstract

基于机器学习赋能的智慧传输波束优化方法，用于下述场景：用户移动性增强的智能反射面辅助毫米波(IRS‑mmWave)网络。该方法包括下列两个操作步骤：(1)IRS‑mmWave网络建模和计算信道信息：栅格化毫米波小区，建立用户移动模型和信道模型，根据用户位置信息和毫米波信道模型计算BS‑IRS‑UE的实时信道信息；(2)基于ML赋能的智慧传输波束优化算法：采用前摄式自动化联合调节基站发射波束赋形和IRS相移的高效鲁棒传输波束联合优化方法，科学有效地保证小区中心及边缘用户的移动性增强服务性能，通过迭代神经网络参数直到收敛后，得到最优的混合波束赋形矩阵和IRS相移矩阵集合，使所有用户加权和速率值最大。在此算法基础上还提出三种改进算法，改进效果明显。

Description

基于机器学习赋能的智慧传输波束优化方法

技术领域

本发明涉及一种基于机器学习赋能的智慧传输波束优化方法，确切地说，是在用户移动性强的IRS-mmWave网络中，基于环境信道等信息，自动化联合传播波束优化的深度强化学习方法，属于无线通信技术领域。

背景技术

用户移动性增强的智能反射面辅助毫米波(IRS-mmWave)网络，涉及多接入节点以及频繁的IRS切换和相移调节，传输波束优化的复杂度对系统的整体通信性能影响显著。对于移动性增强应用而言，信道环境复杂多变且相关信息难以实时获取，需要引入前摄式(proactive)的方法替代传统的反应式(reactive) 方法，以解决时效性低和计算复杂度过高的问题。

机器学习(Machine Learning,ML)领域中的强化学习(Reinforcement Learning,RL)在动态规划决策问题上表现出显著优势，以及深度学习(Deep Learning,DL)在处理复杂任务时具有强泛化能力等方面的优点，基于结合二者优点的深度强化学习(DeepReinforcement Learning,DRL)方法，可以实现面向移动增强用户采用前摄式方法自动化联合调节基站发射波束赋形和IRS相移的高效鲁棒传输波束联合优化方法，科学有效地保证小区中心及边缘用户的移动性增强服务性能，为ML赋能的智慧传输波束优化提供更为完整的应用范例。

针对现有方法现有传统方法对智能多阵面联合调优中用户移动性增强反应慢、效能低等问题，本发明提出了一种基于机器学习赋能的智慧传输波束优化方法。

发明内容

有鉴于此，本发明的目的是提供一种基于机器学习赋能的智慧传输波束优化方法，自动化联合调节基站发射波束赋形和IRS相移。该发明涉及在用户移动性增强的IRS-mmWave网络中的基站混合波束赋形和IRS相移联合自优化与深度强化学习方法相结合的方案设计，该方案科学有效地保证小区中心及边缘用户的移动性增强服务性能，为ML赋能的智慧传输波束优化提供更为完整的应用范例。

为了达到上述目的，本发明提供一种基于机器学习赋能的智慧传输波束优化方法方法，用于下述场景：用户移动性增强的智能反射面辅助毫米波 (IRS-mmWave)网络。因此，我们提出下列方法，其特征在于：所述方法包括下列两个操作步骤：

(1)IRS-mmWave网络建模和计算信道信息：

面对基站-IRS-用户终端的“反射式双跳”及基站-用户终端的“直连式单跳”共存的拓扑连接，栅格化毫米波小区，建立用户移动模型和信道模型，设计适配 “混合单-双跳”链路的ML赋能的智慧传输波束优化方案，通过捕获用户位置信息作为输入，从而根据用户位置信息对应的三维空间角度关系以及和毫米波信道模型计算BS-IRS-UE的实时信道信息；

所提IRS-mmWave网络建模和计算信道信息方法的具体步骤如下：首先设置栅格大小，对毫米波小区做栅格化处理，所有栅格位于同一水平面上，不存在坡度。用户移动到某个栅格所含的区域时，均认为用户位于栅格中心，且每个栅格同一时间内所容纳的用户数目无上限要求；然后计算位于小区每个栅格中心点的用户距离基站的距离，以及位于该栅格内的用户相对于基站的俯仰角大小以及方位角大小；最终计算用户与基站、用户与IRS、基站与IRS的信道矩阵。

(2)基于ML赋能的智慧传播波束优化算法：

基于环境反馈的信道信息，利用所提出的前摄式联合传输波束优化方法，通过迭代神经网络参数直到神经网络参数收敛后，得到最优的混合波束赋形矩阵以及最优的IRS相移矩阵集合，使得所有用户的加权和速率值最大。

所提的新型深度强化学习方法具体步骤如下：

对于每一种用户初始分布，首先输入回合开始前的初始状态集合，根据每一个时刻的状态，通过Actor神经网络选择相应的行动向量，即基站波束赋形矩阵以及IRS相移矩阵的参数集合，计算相应的奖励值，即用户的和速率，然后随机移动用户，再迭代生成下一时刻的状态，存储状态、动作、奖励到经验池；然后通过Critic网络网络获得Q值，从经验池中采样一个迷你池，通过随机梯度下降最小化的损失函数并更新Critic网络和Actor网络，接着根据软更新来更新网络参数值；最后利用估计的下一时刻的状态更新当前的状态，经过有限次的迭代至参数收敛，输出该回合最优的基站混合波束赋形矩阵以及IRS相移矩阵参数集合满足最大化用户的和速率。

本发明是一种基于机器学习赋能的智慧传输波束优化方法。其优点是：在不过度依赖确切的先验信息的前提下，一体化完成基站混合波束赋形和IRS相移的联合调节，实现提前决策、提前优化，以解决现有传统方法对移动性增强反应慢、效能低的痛点；同时，利用神经网络大大降低了计算复杂度，实现低时延。

本发明方法的创新关键是：面向用户移动性增强的IRS-mmWave网络，针对IRS-mmWave网络对移动性鲁棒的自适应波束调节机制，以及现有方面对移动性增强反应慢、效能低的痛点，创新性地提出基于DDPG算法的深度强化学习方法一体化完成基站混合波束赋形和IRS相移的联合调节的波束传输优化方案，并且提出三种改进算法，科学有效地保证小区中心及边缘用户的移动性增强服务性能，为ML赋能的智慧传输波束优化提供更为完整的应用范例。

附图说明

图1是本发明的应用场景和网元交互：机器学习赋能的移动性增强的 IRS-mmWave网络。

图2是本发明基于机器学习赋能的智慧传输波束优化方法的流程图。

图3是本发明实施例中，使用参数迁移算法前后，在含有2IRS典型扇区内分别有3、4、5、6个用户的每回合加权和速率仿真对比图。

图4是本发明实施例中，使用参数迁移算法前后，在含有3用户典型扇区内分别有2、3、4个IRS的每回合加权和速率仿真对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

参见图1，先介绍本发明方法的应用场景：在每个时刻智能体(agent)，即毫米波基站和IRS的组合体，与环境交互，并利用DL方法来感知观察，以得到具体的状态集合；基于预期回报来评价各行动的价值函数，并通过某种策略将当前状态映射为相应的行动；环境对此行动做出反应，并得到下一个观察。智能体通过动态实时地感知无线传播环境，自动调整自身参数和行动策略，输出最佳的基站混合波束赋形和IRS相移。

参见图2，介绍本发明方法的下列两个操作步骤：

(1)IRS-mmWave网络建模和计算信道信息：

①设计信道模型

在本发明的单小区多用户-下行链路中，IRS阵元为以半波长为间隔的均匀矩形阵列(uniform rectangular array,URA)，以及BS天线阵列为以半波长为间隔的均匀线性阵列(uniform linear array,ULA)。接下来将对各个模块的信道建模做具体的说明：

a.BS-IRS信道

BS与第l个IRS之间的信道

为：

其中M是IRS阵元的个数，N是天线个数，v_B,l是基站与第l个IRS之间的复增益，符合复高斯分布，定义为

σ_ξ＝8.7dB，r是二者水平直线距离(单位： m)。

和

分别是BS-IRS的接收和发射天线元件增益，其中

基站与第个IRS之间的离开角(angle of departure,AoD)为φ_B,l，基站与第l个IRS的到达角为(the angle of arrival,AoA)为θ_I,l，a_I(θ_I,l)和a_B(φ_B,l) 分别是IRS和BS天线阵列对到达角和离开角的矢量响应函数，分别为

其中d是基站天线阵和IRS无源器件的排布间隔，以下公式中的

λ是毫米波的波长。

b.IRS-UE信道:

第l个IRS到第k个UE之间的信道

为

其中M是IRS阵元的个数，v_l,k是第l个IRS与第k个用户之间的信道增益，符合复高斯分布，定义为

σ_ξ＝8.7dB，r是二者水平直线距离(单位： m)。

和

分别是IRS-UE的接收和发射天线元件增益，其中

是IRS的阵列响应向量，为

c.BS-UE信道:

基站到第k个UE之间的信道

为

其中N是天线个数，

是基站与第k个用户之间的信道增益，符合复高斯分布，定义为

σ_ξ＝5.8dB，r是二者水平直线距离(单位：m)。

和

分别是BS-UE的接收和发射天线元件增益，其中

是基站天线的阵列响应向量，

②下行链路信号

用户k接收到的信号y_k为

其中SINR值γ_k定义为

L个IRS相移阵列矩阵为Θ＝{Φ₁,Φ₂,...Φ_L}，

是第l个IRS相移因子矩阵，θ_l,m∈[0,2π)是第l个IRS的第m个反射元件的相移。 m∈{1,2,...M}，该相移是连续值；s_k是第k个用户零均值且单位方差的发送功率，则有

n_k是遵循

的零均值且功率为

的圆对称复高斯噪声；B＝[b₁,b₂,...,b_K]是基站的混合波束赋形矩阵，

是基站的混合波束赋形向量，所有用户的功率约束为tr{BB^H}≤P_max，P_max＝30dBm， b_k＝f_RF,kf_BB,k，其中

是基站的模拟预编码，

是基站的数字预编码。

(2)基于ML赋能的智慧传播波束优化算法：

①设计强化学习模型

a.关于state的设计机制：

state＝{当前时刻的(距离_k,方位角_k)，上一时刻的SINRγ_k和(Θ,B)}

其中k∈{1,2,...K}，(距离_k,方位角_k)为每个栅格内用户与基站的位置关系坐标；初始化SINR为2dB(因为初始时刻没有上一时刻，所以取SINR＝2作为初始值，初始化Θ用的随机矩阵，(f_RF,k,f_BB,k)用的单位矩阵；

b.关于action的设计机制:

action＝{当前时刻的(Θ,B)}

其中k∈{1,2,...K}，其中f_RF,k和f_BB,k是拆分后的模拟和数字的矩阵，为了体现用的是混合波束赋形，而不是模拟波束赋形，最后的输出也是可以输出数字和模拟的两个矩阵；

c.关于reward的设计机制:

reward为用户的加权和速率值，即

其中w_k为加权值，在本实验中，认为各用户优先级相同，均设为1；

d.所以优化目标是

②设计超参数的更新规则

Critic网络损失函数为：

通过随机梯度下降更新actor网络：

③改进的算法

a.知识辅助的KA-DDPG算法

传统的RL框架中，agent与环境进行交互，通过不断试错以做出更好的选择。如果人为给予一些额外的信息，在一定程度上可以提高收敛性，便于迁移到基站和IRS布局类似的其他小区，加快算法对于不同环境的适应性。因此，本发明通过为agent添加保护程序，将这一思想引入RL，称为知识辅助的RL (Knowledge-assisted RL，KA-RL)。该保护器的目的是为低奖励行为提供约束，为高奖励行为提供刺激奖励，并帮助加速学习过程。

当保护器判断行为奖励过低时不执行该动作，并给reward机制施加一个惩罚r_p，

r_p＝-1000×rdⁱ (14)

其中，rd∈(0,1)是惩罚的衰减值，i是触发施加惩罚的次数。当保护器判断行为奖励较高时，执行该动作，并给reward加一个刺激性奖励r_r，

r_r＝1000×rd^j (15)

同样地，rd∈(0,1)是刺激奖励的衰减值，j是触发施加刺激奖励的次数。

b.双经验池的DM-DDPG算法

针对同一场景下，用户初始分布位置不同时，需要分别进行模型训练，这导致每次都要让智能体从头开始探索与环境交互，从而累积经验以用于深度强化学习。如果开始时就有足够多有价值的经验可以参考，那么会大大加快算法的收敛速度。本发明引入从经验示范中学习的方式来加速收敛，即采用双经验池作为DL采样的数据集。其中，一个经验池来自于某一个特定的用户分布预训练产生的经验，另一个则是目标域本身训练产生的经验。

源域经验选取是十分重要的环节，取某一个特定的用户分布预训练收敛时的1000个经验样本作为源域总经验池，采样时随机选取大小为M_s的经验样本。设目标域自身产生的经验样本大小为M_t，目标域迷你池使用的经验样本大小为

M_mini＝md^fM_s+(1-md^f)M_t (16)

其中，md∈(0,1)为衰减值，f为迭代次数。md越小，则源域经验对目标域的迭代次数干预就越小。

c.参数迁移的T-DDPG算法

DDPG算法在环境改变时，如IRS位置/数目改变，用户数量/初始位置改变，需要重新训练网络参数，这无疑是低效的。T-DDPG通过参数迁移的方法，将源域训练到收敛，保存神经网络的参数值，将隐层节点的参数直接作为目标域神经网络对应节点的初始化参数，然后进行目标域的训练。T-DDPG很好地加快了收敛速度和提高加权和速率，提高了原算法的拓展性、迁移性。

为了展示本发明方法的实用性能，申请人进行了多次仿真实施试验，仿真试验的结果如图3和图4所示，在小区环境改变的情况下进行了仿真。

由图3可以看出，采用本发明方法，以最初设计的算法pre-DDPG为基准， KA-DDPG在多数用户分布下的加权和速率超过或与pre-DDPG相当，刺激奖励会使加权和速率比DDPG提前跳变至收敛水平，稳定性较好。DM-DDPG的加权和速率明显普遍高于pre-DDPG，收敛速度明显快于pre-DDPG和KA-DDPG，收敛性能稳定；T-DDPG选取的参数迁移学习，源域场景含3个用户和2个IRS，目标域场景与源域相同，但用户分布不同，仿真结果显示，T-DDPG的和速率普遍高于另外三种算法，但是收敛性能受源域和目标域的匹配程度，因此不是十分稳定，该算法适合用户移动相对移动比较稳定的场景，其他三种算法适合用户移动频繁即时切换波束的场景。

由图4可以看出，采用本发明方法，经过一定次数的迭代，和速率稳定收敛在较高值，且当用户数量增多时，采用参数迁移的改进算法，以含3个用户和2个IRS的毫米波网络作为源域场景，将迁移学习应用到3至6个用户的不同场景中，算法收敛速度加快，收敛时和速率也有所提高。

以上所述仅为本发明的较佳实例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.基于机器学习赋能的智慧传输波束优化方法，用于下述场景：用户移动性增强的智能反射面辅助毫米波(IRS-mmWave)网络，其特征在于所述方法包括下列两个操作步骤：

(1)IRS-mmWave网络建模和计算信道信息：面对基站-IRS-用户终端的“反射式双跳”及基站-用户终端的“直连式单跳”共存的拓扑连接，栅格化毫米波小区，建立用户移动模型和信道模型，设计适配“混合单-双跳”链路的ML赋能的智慧传输波束优化方案，通过捕获用户位置信息作为输入，从而根据用户位置信息对应的三维空间角度关系以及毫米波信道模型计算BS-IRS-UE的实时信道信息；

(2)基于ML赋能的智慧传播波束优化算法：基于环境反馈的信道信息，利用所提出的前摄式联合传输波束优化方法，通过迭代神经网络参数直到神经网络参数收敛后，得到最优的混合波束赋形矩阵以及最优的IRS相移矩阵集合，使得所有用户的加权和速率值最大。

2.根据权利要求1所述的方法，其特征在于：

所提IRS-mmWave网络建模和计算信道信息的具体步骤如下：

(1)设置栅格大小，对毫米波小区做栅格化处理，所有栅格位于同一水平面上，不存在坡度。用户移动到某个栅格所含的区域时，均认为用户位于栅格中心，且每个栅格同一时间内所容纳的用户数目无上限要求；

(2)计算位于宏小区每个栅格中心点的用户距离宏基站的距离，以及位于该栅格内的用户相对于宏基站的俯仰角大小以及方位角大小；

(3)计算用户与基站、用户与IRS、基站与IRS的信道矩阵。

3.根据权利要求1所述的方法，其特征在于：

所提基于ML赋能的智慧传播波束优化算法的具体步骤如下

(1)设计强化学习模型所需的action、state、reward以及优化目标和约束条件，还有超参数的更新规则，其中state作为输入，action作为输出；

(2)初始化各参数，对于每一种用户初始分布，都设计N个回合，在每个回合里，t从0开始到T结束，首先输入回合开始前的初始状态集合，然后根据每一个时刻t的状态，通过神经网络选择相应的动作，即基站波束赋形矩阵以及IRS相移矩阵的参数集合，计算相应的奖励值，即用户加权和速率，然后随机移动用户，再迭代生成下一时刻的状态，存储状态、动作、奖励到经验池，如此往复；

(3)根据梯度下降原则更新Actor以及Critic网络，根据软更新来更新目标网络参数值；

(4)最后利用下一时刻的状态更新当前的状态；

(5)重复(2)-(4)，直到神经网络参数收敛，所有回合迭代完毕，结束算法。