CN113193893B - 毫米波大规模mimo智能混合波束成形设计方法 - Google Patents

Abstract

本发明公开了一种毫米波大规模MIMO智能混合波束成形设计方法，该方法构造了一个用于联合优化模拟预编码矩阵和模拟合并矩阵的深度强化学习智能体，该智能体通过与环境交互进行学习，输入信道信息以及上一时刻模拟预编码矩阵和模拟合并矩阵的相位，输出当前时刻模拟预编码矩阵和模拟合并矩阵的相位，利用信道信息、模拟预编码矩阵和模拟合并矩阵计算数字预编码矩阵，通过最小均方误差准则计算数字合并矩阵。本发明的一种毫米波大规模MIMO智能混合波束成形设计方法学习训练时间短，能够充分利用信道的空间特性，有效提升频谱效率。

Description

毫米波大规模MIMO智能混合波束成形设计方法

技术领域

本发明涉及一种毫米波大规模MIMO智能混合波束成形设计方法，属于点对点MIMO下行系统自适应传输技术领域。

背景技术

大规模多输入多输出(MIMO)作为一种可以提高网络传输速率和能量效率的有效方法，被视为新一代无线通信网络的关键技术之一。大规模MIMO系统能充分利用空间资源，在不增加频谱资源和天线发射功率的情况下，大幅提高系统容量。

然而，在实际应用中，大规模MIMO系统仍面临着诸多挑战。传统的全数字波束成形结构需要为每一根发射天线和接收天线配备一个射频链路用于模数转换和上下变频，天线数的增大使得基站侧所需射频链路数增大，带来系统成本的提高，尤其是射频硬件昂贵的毫米波通信系统。混合预编码技术将全数字预编码拆分为高维的模拟预编码和低维的数字预编码，模拟预编码可由简单的相移器实现，数字预编码维数较低，仅使用很少的射频链路即可，可在一定程度上缓解这一问题。

目前，基于数值优化方法的混合预编码算法存在计算复杂度高的问题，且难以充分利用信道的空间特征。基于深度学习的混合预编码设计方法能够以较低的计算复杂度得到逼近最优的性能。然而，该类方法需要提前准备大量的训练数据，在天线阵列维度较高且路径数变化较大的情况下训练数据的获得极其困难，且该类方法泛化性较差，信道特征的微小变化将带来性能的急剧下降。因此，需要新的低复杂度和高性能混合波束成形算法来进一步解决这些问题。

发明内容

技术问题：为了克服现有技术中的不足，本发明针对毫米波大规模MIMO系统，利用深度强化学习进行混合预编码设计。深度强化学习智能体可通过与环境交互有效地学习到解决复杂问题的最优行为策略，从而以较低的计算复杂度取得逼近最优的频谱效率，并且对信道的变化具有较好的鲁棒性。

技术方案：根据本发明提出的一种毫米波大规模MIMO智能混合波束成形设计方法，包括以下步骤：

步骤一、t＝0时刻，考虑毫米波大规模MIMO系统，基站配备N_T根天线，将N_s个数据流发送给配备N_R根天线的用户，发送端具有

条射频链路，

接收端具有

条射频链路，

基站已知其与用户间的信道矩阵H，初始化用于生成模拟预编码矩阵和模拟合并矩阵的深度强化学习智能体a，随机生成初始模拟预编码矩阵

和模拟合并矩阵

并令t＝t+1，

所述深度强化学习智能体a包括：动作现实网络A、动作目标网络A′、评价现实网络C、评价目标网络C′和一个容量为N_D的经验池D，经验池中存放智能体学习的样本，动作现实网络A和动作目标A′根据当前环境状态输出当前最佳动作，其输入是

的向量，输出是

的向量。评价现实网络C和评价目标C′根据当前状态- 动作对输出该状态-动作对的价值函数，其输入是

的向量，输出是标量，A′与C′的网络结构分别与A和C的网络结构相同，A′与C′的网络参数均是每隔固定时隙通过A和C的网络参数软更新得到；

步骤二、在t时刻，令当前环境状态为：

其中，

表示t-1时刻所得的模拟预编码矩阵，

表示t-1时刻所得的模拟合并矩阵，vec(·)表示将矩阵列向量化，(·)^T表示转置，arg(·)表示取相位；

步骤三、将状态s^(t)输入网络A，得到动作A(s^(t))，其中A(·)表示网络A的函数，然后加上服从标准正态分布的噪声矢量

其中

得到t时刻动作a^(t)＝A(s^(t))+n^(t)，并根据下式的对应关系生成t时刻的模拟预编码矩阵

和模拟合并矩阵

步骤四、利用t时刻的模拟预编码矩阵

和模拟合并矩阵

求得相应等效信道矩阵

并对其做奇异值分解

其中 (·)^H表示共轭转置，

是一个

的酉矩阵，

是一个

的对角矩阵，对角线上的奇异值按照降序排列，

是一个

的酉矩阵，rank(·)表示矩阵的秩，进而得到t时刻的数字预编码矩阵

其中V^(t)是

的前N_s列构成的矩阵，||·||_F表示Frobenius范数，利用信道矩阵H、t时刻的数字预编码矩阵

t时刻的模拟预编码矩阵

和t时刻的模拟合并矩阵

计算t时刻的数字合并矩阵：

其中，Y^(t)是t时刻的接收信号矢量的协方差矩阵，

是t时刻的接收端全数字最小均方误差合并矩阵，采用下式计算

ρ是平均发射功率，

是噪声方差，

表示N_R×N_R的单位矩阵，

表示 N_s×N_s的单位矩阵，利用下式计算t时刻的频谱效率：

其中，

det(·)表示行列式，令智能体a的奖励函数r^(t)＝R^(t)，并得到t+1时刻状态：

步骤五、若|R^(t)-R^(t-1)|≤ε，或者t＞L，则停止迭代，并转到步骤九，其中ε和 L是预先设定的判断收敛性的指标；否则，进入步骤六；

步骤六、将<s^(t)，a^(t)，r^(t)，s^(t+1)>作为样本存入经验池中，若经验池已存满，则用该样本<s^(t)，a^(t)，r^(t)，s^(t+1)>替换最先存入的样本。判断是否满足t≥M，其中M 表示从经验池D中采样的批量大小，若满足则进入步骤七，否则令t＝t+1并转至步骤三；

步骤七、智能体a将状态-动作对(s^(t)，a^(t))输入评价现实网络C中，输出评价值 Q^C(s^(t)，a^(t))，其中Q^C(·，·)表示评价现实网络C所对应的函数。从经验池D中采样批量大小为M的样本ε＝{e₁，....，e_M}，其中

t_i表示第i个采样样本所对应的时刻，智能体通过随机梯度下降来更新网络A和C的参数，其损失函数分别为：

其中，θ^A表示动作现实网络A的参数，θ^C表示评价现实网络C的参数，

其中，γ∈[0，1]为预先设定的折扣因子，Q^C(·，·)表示评价目标网络C′所对应的函数， A′(·)表示动作目标网络A′所对应的函数；

步骤八、对目标网络A′和C′进行软更新，即：

θ^A′＝τθ^A+(1-τ)θ^A′

θ^C′＝τθ^C+(1-τ)θ^C′

其中，θ^A′表示动作目标网络的参数，θ^C′表示评价目标网络的参数，τ＜＜1，令t＝t+1；

步骤九、将当前时刻t的模拟预编码矩阵

数字预编码矩阵

模拟合并矩阵

数字合并矩阵

作为混合预编码矩阵和混合合并矩阵。

进一步地，所述的动作现实网络A，动作目标网络A′，评价现实网络C和评价目标网络C′均包含四个全连接层，前三层全连接层之后各有一个激活函数ReLU，A和A′最后一个全连接层之后的激活函数为Tanh，C和C′最后一个全连接层之后没有激活函数。

进一步地，所述步骤一、步骤七和步骤八中的动作现实网络A、动作目标网络A′、评价现实网络C、评价目标网络C′的参数包括全连接层的权重以及偏置。

有益效果：

(1)本方法适用于毫米波大规模MIMO下行传输系统，计算复杂度低，能够取得较高的频谱效率。

(2)相较于基于深度学习的方法，本方法可以使用前期产生的样本来训练智能体，无需大量数据用于离线训练。

附图说明

图1是本发明方法使用深度强化学习智能体设计模拟预编码矩阵和模拟合并矩阵的流程图。

图2是本发明方法所涉及深度强化学习智能体学习模拟预编码矩阵和模拟合并矩阵的示意图。

具体实施方式

下面结合说明书附图对本发明作更进一步的说明。

如图1所示的使用深度强化学习智能体设计模拟预编码矩阵和模拟合并矩阵的流程图，考虑一个毫米波大规模MIMO下行链路，基站按如下步骤进行混合波束成形设计：

步骤一、t＝0时刻，考虑毫米波大规模MIMO系统，基站配备N_T＝64根天线，将N_s＝6个数据流发送给配备N_R＝16根天线的用户，发送端具有

条射频链路，接收端具有

条射频链路，基站已知其与用户间的信道矩阵H，初始化用于生成模拟预编码矩阵和模拟合并矩阵的深度强化学习智能体a，随机生成初始模拟预编码矩阵

和模拟合并矩阵

并令t＝t+1；

如图2所示的深度强化学习智能体学习模拟预编码矩阵和模拟合并矩阵的示意图，所述深度强化学习智能体a包括：动作现实网络A、动作目标网络A′、评价现实网络C、评价目标网络C′和一个容量为N_D＝5000的经验池D，经验池中存放智能体学习的样本，动作现实网络A和动作目标网络A′根据当前环境状态输出当前最佳动作，其输入是

的向量，输出是

的向量，评价现实网络C和评价目标C′根据当前状态-动作对输出该状态-动作对的价值函数，其输入是

的向量，输出是标量，A′与C′的网络结构分别与A和C的网络结构相同，A′与C′的网络参数均是每隔固定时隙通过A和C的网络参数软更新得到；

步骤二、在t时刻，令当前环境状态为：

其中，

表示t-1时刻所得的模拟预编码矩阵，

表示t-1时刻所得的模拟合并矩阵，vec(·)表示将矩阵列向量化，(·)^T表示转置，arg(·)表示取相位；

步骤三、将状态s^(t)输入网络A，得到动作A(s^(t))，其中A(·)表示网络A的函数，然后加上服从标准正态分布的噪声矢量

其中

得到t时刻动作a^(t)＝A(s^(t))+n^(t)，并根据下式的对应关系生成t时刻的模拟预编码矩阵

和模拟合并矩阵

步骤四、利用t时刻的模拟预编码矩阵

和模拟合并矩阵

求得相应等效信道矩阵

并对其做奇异值分解

其中 (·)^H表示共轭转置，

是一个

的酉矩阵，

是一个

的对角矩阵，对角线上的奇异值按照降序排列，

是一个

的酉矩阵，rank(·)表示矩阵的秩，进而得到t时刻的数字预编码矩阵

其中V^(t)是

的前N_s列构成的矩阵，||·||_F表示Frobenius范数。利用信道矩阵H、t时刻的数字预编码矩阵

t时刻的模拟预编码矩阵

和t时刻的模拟合并矩阵

计算t时刻的数字合并矩阵：

其中，Y^(t)是t时刻的接收信号矢量的协方差矩阵，

是t时刻的接收端全数字最小均方误差合并矩阵，采用下式计算：

ρ是平均发射功率，

是噪声方差，

表示N_R×N_R的单位矩阵，

表示 N_s×N_s的单位矩阵，利用下式计算t时刻的频谱效率：

其中，

det(·)表示行列式。令智能体a的奖励函数r^(t)＝R^(t)，并得到t+1时刻状态：

步骤五、若|R^(t)-R^(t-1)|≤0.0001，或者t＞320，则停止迭代，并转到步骤九；否则，进入步骤六；

步骤六、将<s^(t)，a^(t)，r^(t)，s^(t+1)>作为样本存入经验池中，若经验池已存满，则用该样本<s^(t)，a^(t)，r^(t)，s^(t+1)>替换最先存入的样本。判断是否满足t≥M，其中M＝32表示从经验池D中采样的批量大小，若满足则进入步骤七，否则令t＝t+1并转至步骤三；

步骤七、智能体a将状态-动作对(s^(t)，a^(t))输入评价现实网络C中，输出评价值 Q^C(s^(t)，a^(t))，其中Q^C(·，·)表示评价现实网络C所对应的函数，从经验池D中采样批量大小为M＝32的样本ε＝{e₁，...，e_M}，其中

t_i表示第i个采样样本所对应的时刻，智能体通过随机梯度下降来更新网络A和C的参数，其损失函数分别为

其中，θ^A表示动作现实网络A的参数，θ^C表示评价现实网络C的参数，

其中，γ＝0.95为预先设定的折扣因子，Q^C′(·，·)表示评价目标网络C′所对应的函数，A′(·)表示动作目标网络A′所对应的函数：

步骤八、对目标网络A′和C′进行软更新，即：

θ^A′＝τθ^A+(1-τ)θ^A′

θ^C′＝τθ^C+(1-τ)θ^C′

其中，θ^A′表示动作目标网络的参数，θ^C′表示评价目标网络的参数，τ＝0.001，令 t＝t+1；

步骤九、将当前时刻t的模拟预编码矩阵

数字预编码矩阵

模拟合并矩阵

数字合并矩阵

作为混合预编码矩阵和混合合并矩阵。

所述的动作现实网络A，动作目标网络A′，评价现实网络C和评价目标网络C′均包含四个全连接层，前三层全连接层之后各有一个激活函数ReLU，A和A′最后一个全连接层之后的激活函数为Tanh，C和C′最后一个全连接层之后没有激活函数。

所述步骤一、步骤七和步骤八中的动作现实网络A、动作目标网络A′、评价现实网络C、评价目标网络C′的参数包括全连接层的权重以及偏置。

综上，本发明在时间复杂度和系统性能上均超过传统的毫米波大规模MIMO混合预编码设计方法，深度强化学习智能体能够通过与环境的交互学习，得到逼近最优的模拟预编码矩阵和模拟合并合并矩阵，对于信道的变化具有较强的鲁棒性，能够实现较高的频谱效率。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种毫米波大规模MIMO智能混合波束成形设计方法，其特征在于，包括以下步骤：

步骤一、t＝0时刻，考虑毫米波大规模MIMO系统，基站配备N_T根天线，将N_s个数据流发送给配备N_R根天线的用户，发送端具有

条射频链路，

接收端具有

条射频链路，

基站已知其与用户间的信道矩阵H，初始化用于生成模拟预编码矩阵和模拟合并矩阵的深度强化学习智能体a，随机生成初始模拟预编码矩阵

和模拟合并矩阵

并令t＝t+1；

所述深度强化学习智能体a包括：动作现实网络A、动作目标网络A′、评价现实网络C、评价目标网络C′和一个容量为N_D的经验池D，经验池中存放智能体学习的样本，动作现实网络A和动作目标网络A′根据当前环境状态输出当前最佳动作，其输入是

的向量，输出是

的向量，评价现实网络C和评价目标网络C′根据当前状态-动作对输出该状态-动作对的价值函数，其输入是

的向量，输出是标量，A′与C′的网络结构分别与A和C的网络结构相同，A′与C′的网络参数均是每隔固定时隙通过A和C的网络参数软更新得到；

步骤二、在t时刻，令当前环境状态为：

其中，

表示t-1时刻所得的模拟预编码矩阵，

表示t-1时刻所得的模拟合并矩阵，vec(·)表示将矩阵列向量化，(·)^T表示转置，arg(·)表示取相位；

步骤三、将状态s^(t)输入动作现实网络A，得到动作A(s^(t))，其中A(·)表示网络A的函数，然后加上服从标准正态分布的噪声矢量

其中

得到t时刻动作a^(t)＝A(s^(t))+n^(t)，并根据下式的对应关系生成t时刻的模拟预编码矩阵

和模拟合并矩阵

步骤四、利用t时刻的模拟预编码矩阵

和模拟合并矩阵

求得相应等效信道矩阵

并对其做奇异值分解

其中(·)^H表示共轭转置，

是一个

的酉矩阵，

是一个

的对角矩阵，对角线上的奇异值按照降序排列，

是一个

的酉矩阵，rank(·)表示矩阵的秩，进而得到t时刻的数字预编码矩阵

其中V^(t)是

的前N_s列构成的矩阵，||·||_F表示Frobenius范数，利用信道矩阵H、t时刻的数字预编码矩阵

t时刻的模拟预编码矩阵

和t时刻的模拟合并矩阵

计算t时刻的数字合并矩阵：

其中，Y^(t)是t时刻的接收信号矢量的协方差矩阵，

是t时刻的接收端全数字最小均方误差合并矩阵，采用下式计算：

ρ是平均发射功率，

是噪声方差，

表示N_R×N_R的单位矩阵，

表示N_s×N_s的单位矩阵，利用下式计算t时刻的频谱效率：

其中，

det(·)表示行列式，令智能体a的奖励函数r^(t)＝R^(t)，并得到t+1时刻状态：

步骤五、若|R^(t)-R^(t-1)|≤ε，或者t＞L，则停止迭代，并转到步骤九，其中ε和L是预先设定的判断收敛性的指标；否则，进入步骤六；

步骤六、将＜s^(t)，a^(t)，r^(t)，s^(t+1)＞作为样本存入经验池中，若经验池已存满，则用该样本＜s^(t)，a^(t)，r^(t)，s^(t+1)＞替换最先存入的样本，判断是否满足t≥M，其中M表示从经验池D中采样的批量大小，若满足则进入步骤七，否则令t＝t+1并转至步骤三；

步骤七、智能体a将状态-动作对(s^(t)，a^(t))输入评价现实网络C中，输出评价值Q^C(s^(t)，a^(t))，其中Q^C(·，·)表示评价现实网络C所对应的函数，从经验池D中采样批量大小为M的样本ε＝{e₁，...，e_M}，其中

t_i表示第i个采样样本所对应的时刻，智能体通过随机梯度下降来更新网络A和C的参数，其损失函数分别为：

其中，θ^A表示动作现实网络A的参数，θ^C表示评价现实网络C的参数，

其中，γ∈[0，1]为预先设定的折扣因子，Q^C′(·，·)表示评价目标网络C′所对应的函数，A′(·)表示动作目标网络A′所对应的函数；

步骤八、对目标网络A′和C′进行软更新，即：

θ^A′＝τθ^A+(1-τ)θ^A′

θ^C′＝τθ^C+(1-τ)θ^C′

其中，θ^A′表示动作目标网络的参数，θ^C′表示评价目标网络的参数，τ＜＜1，令t＝t+1；

步骤九、将当前时刻t的模拟预编码矩阵

数字预编码矩阵

模拟合并矩阵

数字合并矩阵

作为混合预编码矩阵和混合合并矩阵。

2.根据权利要求1所述一种毫米波大规模MIMO智能混合波束成形设计方法，其特征在于：所述的动作现实网络A，动作目标网络A′，评价现实网络C和评价目标网络C′均包含四个全连接层，前三层全连接层之后各有一个激活函数ReLU，A和A′最后一个全连接层之后的激活函数为Tanh，C和C′最后一个全连接层之后没有激活函数。

3.根据权利要求1所述毫米波大规模MIMO智能混合波束成形设计方法，其特征在于：所述步骤一、步骤七和步骤八中的动作现实网络A、动作目标网络A′、评价现实网络C、评价目标网络C′的参数包括全连接层的权重以及偏置。

Images