CN116033556A - 一种实现高能效大规模urllc的资源分配方法 - Google Patents

Abstract

本发明属于无线通信技术领域，具体涉及一种实现高能效大规模URLLC的资源分配方法；该方法包括：AP根据上行导频作LSCE信道估计，得到估计信道状态矩阵；AP根据估计信道状态矩阵以及BBU反馈的功率与子信道分配方案进行预编码，得到下行信号并将其发送给用户；计算用户接收的总信号和用户的接收SINR；计算用户的可达数据速率和错误概率；BBU根据可达数据速率和错误概率构建能效优化模型；采用DQN算法求解能效优化模型，得到功率和子信道分配方案；将功率和子信道分配方案反馈给AP；本发明在满足海量用户多样可靠性和时延要求的同时，提高了系统能效，扩展了URLLC的设计可行域。

Description

一种实现高能效大规模URLLC的资源分配方法

技术领域

本发明属于无线通信技术领域，具体涉及一种实现高能效大规模URLLC的资源分配方法。

背景技术

从第五代移动通信系统(The Fifth Generation，5G)的“万物互联”迈向第六代移动通信系统(The Sixth Generation，6G)的“万物智联”，除了网络智能化水平需要大幅度提升外，面对用户数量的急剧增加，超高能效、超低时延和超高可靠性也成为6G迫切需要得到保障的基础性指标。因此，合理规划网络、高效分配网络资源、实现高能效的大规模URLLC(超可靠低时延通信)变得尤为重要。此外，考虑到6G需支持广泛且复杂的通信环境，可以利用统一衰落模型来表征多样环境下的信道衰落，从而保障未来大规模URLLC。

大规模多输入多输出(Multiple-Input Multiple-Output，MIMO)是目前5G的关键使能技术，但是传统蜂窝小区下的大规模MIMO对于5G多样化的需求仍然存在小区边缘用户通信体验差、基站部署场地要求严格以及导频污染问题等诸多挑战。为此，一种天线灵活部署、区域无缝覆盖且易扩展的去蜂窝MIMO架构应运而生，其核心思想是在大规模MIMO的基础上通过大量部署去蜂窝接入点(Access Point，AP)，这大大缩减了传统蜂窝小区中用户到基站的距离，具有显著提升谱效(Spectral Efficiency，SE)和能效(EnergyEfficiency，EE)的潜力。

本发明结合去蜂窝大规模MIMO和正交频分多址接入(Orthogonal Frequency-Division Multiple Access，OFDMA)技术，提出一种实现下行系统高能效大规模URLLC的资源分配方法。通过考虑非完美信道估计、子信道分配、功率控制和预编码，推导出系统EE的闭式表达式，然后在满足用户服务质量(Quality of Service，QoS)和发射功率约束的前提下，建模EE最大化的联合优化功率和频谱分配问题。

发明内容

针对现有技术存在的不足，本发明提出了一种实现高能效大规模URLLC的资源分配方法，该方法包括：

S1：用户向AP发送上行导频，AP根据上行导频作LSCE信道估计，得到估计信道状态矩阵；

S2：AP根据估计信道状态矩阵以及BBU反馈的功率与子信道分配方案进行预编码，得到下行信号并将其发送给用户；

S3：计算用户接收的总信号并根据总信号计算用户的接收SINR；

S4：根据用户的接收SINR，采用FBL信息理论计算用户的可达数据速率和错误概率；将可达数据速率和错误概率发送给BBU；

S5：BBU根据可达数据速率和错误概率构建能效优化模型；

S6：采用DQN算法求解能效优化模型，得到功率和子信道分配方案；将功率和子信道分配方案反馈给AP。

优选的，下行信号表示为：

其中，x_i,m(r)表示第m个AP占用第i个子信道发送的下行信号，ρ_i,m,k表示第m个AP是否占用第i个子信道给用户k传输数据，p_i,m,k表示第m个AP在第i个子信道分配给用户k的发送功率，w_i,m,k表示第m个AP在第i个子信道上关于用户k的预编码向量，s_i,k(r)表示所有AP通过第i个子信道联合发送给用户k的第r个符号，K表示用户数量。

优选的，计算用户接收的总信号的过程包括：根据所有AP占用第i个子信道发送的下行信号计算所有用户通过第i个子信道接收到的总信号；根据所有用户通过第i个子信道接收到的总信号得到第k个用户通过第i个子信道接收到的信号；将第k个用户通过所有子信道接收到的信号求和，得到第k个用户接收的总信号。

优选的，可达数据速率表示为：

其中，R_k表示第k个用户的可达数据速率，B_k表示第k个用户的带宽，C(γ_k)表示第一中间参数，V(γ_k)表示第二中间参数，γ_k表示用户k的信干噪比，n'表示第三中间参数，Q()表示积分函数。

优选的，错误概率表示为：

其中，ε_k(n',D,γ_k)表示第k个用户的错误概率，C(γ_k)表示第一中间参数，V(γ_k)表示第二中间参数，γ_k表示用户k的信干噪比，n'表示第三中间参数，D表示数据包大小，Q()表示积分函数。

优选的，能效优化模型表示为：

其中，η^EE表示系统总能效，ρ和P分别表示子信道和功率分配方案，R_k表示第k个用户的可达数据速率，

表示第k个用户的功率放大器的漏极效率倒数，ρ_i,m,k表示第m个AP是否占用第i个子信道给用户k传输数据，p_i,m,k表示第m个AP在第i个子信道分配给用户k的发送功率，p_c表示所有发射机和接收机电路块的功耗，K表示用户数量，I表示子信道数量，

表示第m个AP最大的下行发送功率，ε_k表示第k个用户的错误概率，

表示第k个用户能容忍的最大错误概率，t_k＝D/R_k表示发送给第k个用户的信号的传输时延，

表示第k个用户能容忍的最大传输时延。

优选的，采用DQN算法求解能效优化模型的过程包括：将子信道和功率的分配方案作为动作，获取当前网络状态并根据该状态下的系统总能效和URLLC约束构建奖励函数；根据网络状态、该状态下选择的动作和奖励函数构建Q函数；进行迭代训练并更新Q函数；计算损失函数，当损失函数最小时，停止训练；选取最大Q函数对应的动作作为子信道和功率的分配方案。

进一步的，计算损失函数的公式为：

其中，Loss(θ_t)表示总损失，r_t+1(s_t,a_t)表示更新后的奖励，γ表示折扣因子，Q_t(s_t+1,a_t+1；θ^- _t)表示目标网络的Q值函数，Q_t(s_t,a_t；θ_t)表示评估网络的Q值函数，用来评估当前状态动作对的Q值，a_t+1表示更新后的动作。

本发明的有益效果为：

本发明借助新型信息理论工具，避免了传统无限编码块长对URLLC短包传输的不适配性；使用去蜂窝大规模MIMO架构、统一衰落模型和机器学习算法，突破了传统蜂窝网络的性能瓶颈，以及现有经典衰落模型和优化方法在使用上的局限性；将系统能效优化问题转化为功率和子信道联合分配问题，同时把不同用户的时延和可靠性作为约束条件，相比现有优化方案进一步满足用户对URLLC的差异化需求，克服能效-时延-可靠性的相互制约，扩展了大规模URLLC的设计可行域。

附图说明

图1为本发明中实现高能效大规模URLLC的资源分配方法流程示意图；

图2为本发明中去蜂窝大规模MIMO系统示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种实现高能效大规模URLLC的资源分配方法，如图1所示，所述方法包括以下内容：

如图2所示，本发明用于去蜂窝大规模MIMO系统，假设去蜂窝大规模MIMO系统内有M个AP且每个AP配有L根天线，K个单天线用户UE，I个子信道。

S1：用户向AP发送上行导频，AP根据上行导频作LSCE信道估计，得到估计信道状态矩阵。

在非完美CSI(信道状态信息)下，AP接收端无法确定CSI，需要进行信道估计；因此，本发明在上行链路根据上行导频采取最小二乘信道估计法(Least-Square ChannelEstimation，LSCE)进行CSI的估计，具体的：假设用户发送的导频满足

并且，

n是导频长度。那么，第m个AP在第i个子信道上接收到的导频信号

为：

其中，

p_u是用户的平均发送功率；

是信道状态信息矩阵，且

β_i,m,k为用户k的大尺度衰落系数，[G_i,m]_lk表示G_i,m第k行和第l列位置处的元素，g_i,m,lk表示第i个子信道上第m个AP的第l根天线与用户k之间的信道系数，h_i,m,lk表示小尺度衰落；

为加性高斯白噪声。

根据上述公式和LSCE，可得到估计信道状态矩阵

其中，

是估计误差矩阵，其元素服从

且

|h_i,m,lk|²服从κ-μ阴影分布。

S2：AP根据估计信道状态矩阵以及BBU反馈的功率与子信道分配方案进行预编码，得到下行信号并将其发送给用户。

根据TDD模式下信道的互易性，结合上行信道估计值表示出预编码向量，AP根据当前BBU(室内基带处理单元)反馈的功率和子信道分配方案进行预编码并发送下行信号；具体的：

采用最大比传输(Maximum Ratio Transmission，MRT)进行预编码，设预编码矩阵为

那么，预编码后第m个AP的发送信号为：

其中，x_i,m(r)表示第m个AP占用第i个子信道发送的下行信号；ρ_i,m,k∈{0,1}表示子信道分配因子，ρ_i,m,k＝1表示第m个AP占用第i个子信道给用户k传输数据，ρ_i,m,k＝0表示第m个AP不通过第i个子信道给用户k传输数据；p_i,m,k是第m个AP在第i个子信道分配给用户k的发送功率；w_i,m,k表示第m个AP在第i个子信道上关于用户k的预编码向量，s_i,k(r)是所有AP通过第i个子信道联合发送给用户k的第r个符号，假设

其中

S3：计算用户接收的总信号并根据总信号计算用户的接收SINR。

计算用户接收的总信号的过程包括：

根据所有AP占用第i个子信道发送的下行信号计算所有用户通过第i个子信道接收到的总信号y_i(r)：

根据所有用户通过第i个子信道接收到的总信号得到第k个用户通过第i个子信道接收到的信号y_i,k(r)：

将第k个用户通过所有子信道接收到的信号求和，得到第k个用户接收的总信号y_k(r)：

其中，

是第m个AP最大的下行发送功率，

w_i,m,k分别是

和W_i,m的第k列，W_i,m表示第m个AP在第i个子信道上的预编码矩阵，z_i,m,k(r)是z_i,m(r)的第k个元素。

利用信道硬化特性，用户k收到的总信号可以进一步表示为：

其中，

所以，用户k的SINR(信干噪比)可以表示为：

其中，

S4：根据用户的接收SINR，采用FBL信息理论计算用户的可达数据速率和错误概率；将可达数据速率和错误概率发送给BBU。

利用FBL信息理论，可以得到用户k的可达数据速率以及错误概率，可达数据速率表示为：

其中，R_k表示第k个用户的可达数据速率；B_k表示第k个用户的带宽，

B₀表示每个子信道的带宽；C(γ_k)表示第一中间参数，C(γ_k)＝ln(1+γ_k)；V(γ_k)表示第二中间参数，

n'表示第三中间参数，n'＝B_kt-n；Q()表示积分函数，

错误概率表示为：

其中，ε_k(n',D,γ_k)表示第k个用户的错误概率，D表示数据包大小。

S5：BBU根据可达数据速率和错误概率构建能效优化模型。

能效优化模型表示为：

其中，η^EE表示系统总能效，ρ和P分别表示子信道和功率分配方案，(a)表示每个AP处的功率约束，(b)和(c)分别表示用户的可靠性和时延需求；

表示第k个用户的功率放大器的漏极效率倒数，p_c表示所有发射机和接收机电路块的功耗，

表示第k个用户能容忍的最大错误概率，t_k＝D/R_k表示发送给第k个用户的信号的传输时延，

表示第k个用户能容忍的最大传输时延。

S6：采用DQN算法求解能效优化模型，得到功率和子信道分配方案；将功率和子信道分配方案反馈给AP。

利用受时延和可靠性约束的DQN(深度强化学习)方法，通过大量迭代对网络进行训练，以最小化损失函数来近似度量能效优化模型的性能，从而求解功率和子信道联合分配的最优方案；具体的：

(1)将子信道和功率的分配方案作为动作，获取当前网络状态并根据该状态下的系统总能效和URLLC约束构建奖励函数。

首先将网络中的通信链路作为智能体，将无线网络状态作为状态信息s＝{s_cha,s_SINR,s_QoS}，s_cha表示子信道的工作状态，s_SINR表示信道的信干噪比，s_QoS表示时延和可靠性等QoS约束(URLLC约束)。定义子信道和功率分配情况为动作a＝{ρ,P}，则DQN模型中的奖励函数表示为：

其中，r_k表示第k个通信链路的奖励函数，ω表示奖励权重，

表示未满足URLLC要求而产生的代价函数，具体定义如下：

(2)根据网络状态、该状态下选择的动作和奖励函数构建Q函数。

在强化学习框架中，智能体基于当前环境获得的状态信息s_t∈S，选择并且执行一个动作a_t∈A，可以获得瞬时奖励r_t(s_t,a_t)并且获得下一个状态s_t+1，其中，S和A分别是状态空间和动作空间。通过一系列的观察、行动以及奖励与环境的持续互动，智能体从状态s开始，以选择的策略π执行动作a来获得累计奖励，其可以通过Q值函数来计算：

其中，γ∈(0,1)是折扣因子，则最优的Q值函数可以表示为：

在Q函数的基础上，采用DQN算法求解能效优化问题；具体的过程如下：初始化神经网络的经验回放空间

权重θ-＝θ和Q值函数Q(s,a)。

(3)进行迭代训练并更新Q函数。

进行T次迭代训练。在每一次迭代过程中，各智能体观察当前状态s_t，应用贪心算法以概率∈_t随机选择动作a_t，或者以1-∈_t的概率选择动作a_t＝arg maxQ_t(s_t,a_t,θ_t)，执行动作a_t并且将获得的经验e_t＝(s_t,a_t,r_t(s_t,a_t),s_t+1)保存在

中。

每次迭代更新Q值函数：

其中，Q_t+1(s_t,a_t)表示更新后当前状态的Q值函数，α表示学习速率，r_t+1(s_t,a_t)表示更新后当前状态下获得的奖励，γ∈(0,1)是折扣因子，Q_t(s_t,a_t)表示上一状态的Q值函数，a_t+1表示更新后的动作。

(4)计算损失函数，当损失函数最小时，停止训练。

训练权重θ，每一个智能体从经验回放空间

内随机选取一批经验，然后通过下式更新损失函数Loss(θ_t)：

其中，Loss(θ_t)表示总损失，Q_t(s_t+1,a_t+1；θ^- _t)表示目标网络的Q值函数，r_t+1(s_t,a_t)表示更新后的奖励，

表示估计目标值，Q_t(s_t,a_t；θ_t)表示评估网络的Q值函数，用来评估当前状态动作对的Q值。

θ可以通过梯度下降法获得，可以表示为：

其中，β表示权重θ的学习速率，

表示一阶偏导数。每经过一定次数的迭代将评估网络的权重θ赋值给目标网络的权重θ^-。

(5)选取最大Q函数对应的动作作为子信道和功率的分配方案。

根据最大的Q值函数更新策略π：

基于策略π执行动作a，即下行链路在进行预编码时使用该动作所对应的子信道和功率分配方案。

通过上述方法训练网络，以最小化损失函数来近似度量能量优化模型的性能，即智能体通过观察当前状态s，在Q表中查出最优策略π(s；θ)，然后执行最优策略下的动作a＝{ρ,P}。最大化能效的子信道和功率分配是一个目标函数和多个约束条件的非凸优化问题，将能效优化模型中的优化问题转为DQN优化问题，可以在时延和可靠性约束的条件下，求得最优的子信道和功率分配方案，以实现下行系统高能效大规模URLLC。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种实现高能效大规模URLLC的资源分配方法，其特征在于，包括：

S1：用户向AP发送上行导频，AP根据上行导频作LSCE信道估计，得到估计信道状态矩阵；

S2：AP根据估计信道状态矩阵以及BBU反馈的功率与子信道分配方案进行预编码，得到下行信号并将其发送给用户；

S3：计算用户接收的总信号并根据总信号计算用户的接收SINR；

S4：根据用户的接收SINR，采用FBL信息理论计算用户的可达数据速率和错误概率；将可达数据速率和错误概率发送给BBU；

S5：BBU根据可达数据速率和错误概率构建能效优化模型；

S6：采用DQN算法求解能效优化模型，得到功率和子信道分配方案；将功率和子信道分配方案反馈给AP。

2.根据权利要求1所述的一种实现高能效大规模URLLC的资源分配方法，其特征在于，下行信号表示为：

其中，x_i,m(r)表示第m个AP占用第i个子信道发送的下行信号，ρ_i,m,k表示第m个AP是否占用第i个子信道给用户k传输数据，p_i,m,k表示第m个AP在第i个子信道分配给用户k的发送功率，w_i,m,k表示第m个AP在第i个子信道上关于用户k的预编码向量，s_i,k(r)表示所有AP通过第i个子信道联合发送给用户k的第r个符号，K表示用户数量。

3.根据权利要求1所述的一种实现高能效大规模URLLC的资源分配方法，其特征在于，计算用户接收的总信号的过程包括：根据所有AP占用第i个子信道发送的下行信号计算所有用户通过第i个子信道接收到的总信号；根据所有用户通过第i个子信道接收到的总信号得到第k个用户通过第i个子信道接收到的信号；将第k个用户通过所有子信道接收到的信号求和，得到第k个用户接收的总信号。

4.根据权利要求1所述的一种实现高能效大规模URLLC的资源分配方法，其特征在于，可达数据速率表示为：

其中，R_k表示第k个用户的可达数据速率，B_k表示第k个用户的带宽，C(γ_k)表示第一中间参数，V(γ_k)表示第二中间参数，γ_k表示用户k的信干噪比，n'表示第三中间参数，Q()表示积分函数。

5.根据权利要求1所述的一种实现高能效大规模URLLC的资源分配方法，其特征在于，错误概率表示为：

其中，ε_k(n',D,γ_k)表示第k个用户的错误概率，C(γ_k)表示第一中间参数，V(γ_k)表示第二中间参数，γ_k表示用户k的信干噪比，n'表示第三中间参数，D表示数据包大小，Q()表示积分函数。

6.根据权利要求1所述的一种实现高能效大规模URLLC的资源分配方法，其特征在于，能效优化模型表示为：

其中，η^EE表示系统总能效，ρ和P分别表示子信道和功率分配方案，R_k表示第k个用户的可达数据速率，

表示第k个用户的功率放大器的漏极效率倒数，ρ_i,m,k表示第m个AP是否占用第i个子信道给用户k传输数据，p_i,m,k表示第m个AP在第i个子信道分配给用户k的发送功率，p_c表示所有发射机和接收机电路块的功耗，K表示用户数量，I表示子信道数量，

表示第m个AP最大的下行发送功率，ε_k表示第k个用户的错误概率，

表示第k个用户能容忍的最大错误概率，t_k表示发送给第k个用户的信号的传输时延，

表示第k个用户能容忍的最大传输时延。

7.根据权利要求1所述的一种实现高能效大规模URLLC的资源分配方法，其特征在于，采用DQN算法求解能效优化模型的过程包括：将子信道和功率的分配方案作为动作，获取当前网络状态并根据该状态下的系统总能效和URLLC约束构建奖励函数；根据网络状态、该状态下选择的动作和奖励函数构建Q函数；进行迭代训练并更新Q函数；计算损失函数，当损失函数最小时，停止训练；选取最大Q函数对应的动作作为子信道和功率的分配方案。

8.根据权利要求7所述的一种实现高能效大规模URLLC的资源分配方法，其特征在于，计算损失函数的公式为：

其中，Loss(θ_t)表示总损失，r_t+1(s_t,a_t)表示更新后的奖励，γ表示折扣因子，Q_t(s_t+1,a_t+1；θ^- _t)表示目标网络的Q值函数，Q_t(s_t,a_t；θ_t)表示评估网络的Q值函数，用来评估当前状态动作对的Q值，a_t+1表示更新后的动作。

Images