CN113207127B - 一种noma系统中基于分层深度强化学习的动态频谱接入方法 - Google Patents

Abstract

本发明涉及一种非正交多址(Non‑Orthogonal Multiple Access,NOMA)系统中基于分层深度强化学习的动态频谱接入方法，属于深度强化学习、NOMA、动态频谱接入、功率控制技术领域，包括以下步骤：S1：构造上行多用户多信道的通信场景；S2：建立信道干扰模型；S3：将通信优先级高的用户优先获得信道使用权，确保接入用户解码成功以及最小化系统丢包数的目标表示为一个优化问题；S4：构建多智能体模型，对S3中优化问题基于马尔可夫决策过程进行建模；S5：采用集中训练分布执行的方式完成策略的更新和执行。本发明提出的方法相较于其它基于AI方法的DSA方案能够获得更快的收敛速度和更低的丢包数，而且连续的发送功率能够获得比离散的发送功率更好的系统性能。

Description

一种NOMA系统中基于分层深度强化学习的动态频谱接入方法

技术领域

本发明属于深度强化学习(Deep Reinforcement Learning，DRL)、NOMA、动态频谱接入、功率控制等领域，涉及一种NOMA系统中基于分层深度强化学习的动态频谱(DynamicSpectrum Access，DSA)接入方法。

背景技术

现有的基于深度强化学习的动态频谱接入方案主要包括：基于集中式深度强化学习的动态频谱接入方案和基于分布式深度强化学习的动态频谱接入方案。其中基于集中式深度强化学习的动态频谱接入方案通过单一的控制中心集中处理全局的环境信息然后做出决策；而基于分布式强化学习的动态频谱接入方案通过用户独自处理局部环境信息然后做出决策或通过用户间相互协作然后做出决策。然而，基于这两种结构的动态频谱接入方案都存在着一定的缺陷，例如：基于分布式深度强化学习的动态频谱接入方案都没有考虑用户的自身特性，例如：用户的通信优先级、数据优先级和用户能量等情况。这是因为在不考虑用户协作的条件下基于分布式深度强化学习的动态频谱接入方案无法做出有效地接入决策，而当考虑用户协作时，由于用户的相互独立，用户间的信息交换需要大量的信令开销。而基于集中式深度强化学习的动态频谱接入方案值考虑了用户的接入控制而没有考虑用户的发送功率控制。这是因为联合考虑发送功率和动态频谱接入控制时，会导致集中控制中心需要处理的数据量爆炸式增长，进而导致算法需要算法更长的时间进更新，且需要更好的硬件设备。

发明内容

有鉴于此，本发明的目的在于降低对于硬件的要求并提高算法收敛速率以及丢包率、收敛速度等方面的性能，提供一种NOMA系统中基于分层深度强化学习的动态频谱接入方法。

为达到上述目的，本发明提供如下技术方案：

一种NOMA系统中基于分层深度强化学习的动态频谱接入方法，包括以下步骤：

S1：构造上行多用户多信道的通信场景；

S2：建立信道干扰模型；

S3：将通信优先级高的用户获得信道使用权，确保接入用户解码成功以及最小化系统丢包数的目标表示为一个优化问题；

S4：构建多智能体模型，对S3中优化问题基于马尔可夫决策过程进行建模；

S5：采用集中训练分布执行的方式完成策略的更新和执行。

进一步，步骤S1中具体包括：基于单个网络单元，构造上行多用户多信道的通信场景，其结构如图2所示；该网络由一个基站和多个用户组成，基站位于网络单元的中心，N个单天线用户随机分布在基站的覆盖范围之内；在该网络中，用户通过NOMA技术实现在与基站的通信；假设该环境存在M个可供用户接入的独立信道，信道宽度为W＝5MHz，本发明将信道定义为分配给用户的最小资源单位；为了防止过多的用户间干扰，并确保低硬件复杂度和低处理延迟，本发明假定每个时隙内每一个信道最多可以接入4个用户；在该通信环境中，所有的链路都受到多路径传播和路径损耗所引起的快慢速衰落效应；

所有用户都具有一个容量为L的缓存器用于缓存数据；在每个时隙t的初始阶段，用户n的缓存器状态被定义为B_n(t)∈{b_n,0,...,b_n,l,b_n,L}，B_n(t)＝b_n,l表示用户n缓存的数据包数量为l；每个时隙t内，用户传输的数据包个数表示为：

其中T_t表示传输时间；R_n(t)表示用户n能够达到的传输速率；D表示数据包大小；R₀＝4Mbps表示用户需要达到的传输速率阈值；采用round(·)函数的作用是使每个时隙内用户传输的数据包数量始终为一个整数，以降低系统中的状态空间大小；

假设每个时隙t，用户n生成的所有数据包d_n(t)为一个整体；当用户n的缓存空间不足以缓存d_n(t)时，d_n(t)被全部丢弃；因此，在时隙t用户n的丢包数表示为：

因此，在时隙t+1的初始阶段，用户n的缓存器状态表示为：

进一步，步骤S2中具体包括：在NOMA系统中，使用同一个信道的用户之间存在严重的干扰；因此，为了使接入同一信道的用户能够更加充分地利用信道资源，本发明假设在当前无线通信环境中的所有用户都能够进行功率调整，并且所有用户的发送功率为一个连续的区间，即

S21：使用

表示信道m中用户n与基站之间的链路增益，其中

表示服从瑞利分布的瑞利衰落信道，β_n表示用户n与基站之间的大尺度衰落，定义为：

其中λ表示信号的波长；

表示用户n与基站之间的距离，基站在时隙t内从信道m接收到的来自用户n的信号表示为：

其中p_n(t)∈P_n表示用户n选择的发送功率；

表示用户n通过信道m发送给基站的信号；

S22：基于信号强度从强到弱的顺序利用连续干扰消除(successiveinterference cancellation,SIC)技术完成信号解码；当基站解码用户n的信号时，基站接收到的干扰表示为：

其中，

为：

用β_j,n(t)表示基站接收到的用户j的信号强度是否大于用户n的信号强度，定义为：

η_j(t)表示用户j的信号是否已经被解码及解码是否成功，定义为：

公式(9)中η_j(t)＝0表示解码失败或还未被解码，η_j(t)＝1表示已被解码且解码成功；

S23：在每个时隙t，基站从信道m接收到的来自用户n的信干燥比(Signal toInterference plus Noise Ratio，SINR)表示为SINR_n(t)，即：

其中σ²表示噪声，用户n的传输速率为：

R_n(t)＝Wlog₂(1+SINR_n(t)) (11)。

进一步，步骤S3中，将通信优先级高的用户(用户的优先级取决于用户的缓存数据量)优先获得信道使用权，并在确保接入的用户都解码成功的基础上最小化系统的丢包数目标表示为一个优化问题，表示为：

其中，C₁表示用户n的传输速率需要大于规定的阈值，C₂表示用户的发送功率限制，C₃表示用户n是否接入了信道m以及其信号是否被基站成功解码，当用户n接入信道m且其信号被基站成功解码时

否则

C₄确保每一个用户最多接入一个信道。

进一步，步骤S4中具体包括：智能体表示基站与所有的用户，智能体的状态空间、智能体的动作空间和智能体获得的奖励函数，分别定义如下：

S41：对于基站而言，其状态空间为S_BS；每个时隙t，基站获得的状态为s_BS(t)＝(B_l,1(t-1),...,B_l,n(t-1),...B_l,N(t-1))，其中B_l,n(t-1)＝B_n(t-1)-C_n(t-1)表示上一时隙通信结束后，用户n的缓存的数据量；对于每个用户，其状态空间为S_n；每个时隙t，用户n获得的状态为

其中n表示智能体的编号，B_n(t)表示用户的缓存数据量，h_n,m(t)表示用户n接入信道m后获得的链路增益，

表示基站反馈给用户n的信息，通过公式(6)计算，R_n(t)表示用户接入信道后的传输速率；

S42：动作空间：基站的动作空间为A_BS；在每个时隙t，基站选择动作a_BS(t)；此时，接入方案为A_BS(a_BS(t))＝(a₁(t),...,a_n(t),...,a_N(t))，其中a_n(t)∈{0,1,...,M}，a_n(t)＝m表示用户n当前时隙被允许接入信道m，a_n(t)＝0表示不被允许进行通信；每个用户n的动作空间为用户发送功率集，即P_n；

S42：奖励函数：基站考虑的主要目标为：减少系统中用户的丢包数量；用户是否产生丢包主要取决于缓存的数据包数量：用户缓存的数据包数量越多，发生丢包的概率越大，反之，丢包的概率越小；将用户的缓存数据量用来构成奖励函数，该奖励函数表示为：

其中PRI_n(t)表示时隙t的用户n的通信优先级，定义为：

S43：如果只依靠基于缓存数据量的奖励函数训练神经网络，当出现多个用户缓存的数据量相近时，神经网络就无法做出有效决策；因此，在保证选择优先级高的用户的前提下，针对数据量相近的用户，智能体优先选择传输速率高的用户，另一个基于传输速率的奖励函数表示为：

S44：除此之外，当多个用户同时接入同一个信道时，存在个别用户无论如何调整功率都无法成功通信的情况；为了使基站能够选择合适的用户接入同一信道，当接入信道的用户在调整完发送功率后仍然无法传输数据会收到相应的惩罚，即：

其中，

表示当用户n完成功率调整后能否在信道m中进行数据传输，如果可以，

否则

基于上述的分析，驱动基站进行学习的总奖励函数表示为：

R_BS(t)＝λ₀R_B(t)+λ₁R_rate(t)-λ₂R_Inv(t) (17)；

其中λ₀、λ₁和λ₂分别表示每部分奖励的权重；

S45：由于不存在用户间的协作，用户只关注自身能够达到的传输速率；当用户的传输速率满足速率阈值时，用户将获得一个积极的奖励，否则，用户将获得一个惩罚R_neg＜0；用户n能够获得的奖励函数表示为：

在基于马尔可夫过程所构建的深度学习算法中，智能体的目标是学习到一个最佳策略π^*，使得智能体获得的累积奖励R^γ(t)最大，最佳策略π^*表示为：

其中

进一步，步骤S5中具体包括：为了确保多智能体网络最终能够得到一个最佳策略，本发明采用集中训练分布执行的方式完成策略的更新和执行，多智能体网络的结构如图3所示：基站上构建了三个网络，分别为参数为θ_Q的深度Q网络(Deep Q Network，DQN)φ_Q，参数为θ_a的动作网络φ_a和参数为θ_c的批评网络φ_c；在执行过程中，基站利用基于DQN网络φ_Q的深度Q学习算法完成集中式动态频谱接入控制，用户利用基站广播的动作网络参数θ_a实现连续功率控制；所有的网络参数θ_Q、θ_a和θ_c都在基站处完成更新，为了确保训练的稳定性，所有参数的更新都采用了经验回放法；

S51：在训练的过程中，基站将获得的经验样本(s_BS(t-1),a_BS(t-1),R_BS(t-1),s_BS(t))存入记忆库M_access中，当记忆库中的样本数量大于训练所需的样本数|Ω_Q|＝200时，基站从记忆库M_access中取出包含|Ω_Q|个数据样本的训练样本集Ω_Q＝{s_BS(i),a_BS(i),R_BS(i),s_BS(i+1)}用于训练参数θ_Q；根据Ω_Q计算得到DQN网络φ_Q的损失函数为：

其中Q(s(i),a(i)；θ_Q)为网络φ_Q的输出值，记为动作值函数，

是参数为

的目标深度Q网络

的输出值，网络

与φ_Q具有相同的结构，构建目标网络的目的是为了进一步保证学习过程的稳定性，在本发明中每完成Q_up＝100次参数就将更新一次参数

更新过程为

S52：获得损失函数后，网络参数θ_Q的更新过程表示为：

其中α_Q表示学习速率；

S53：接入信道的用户将经验样本(s_n(t-1),p_n(t-1),R_n(t-1),s_n(t))存入位于基站的记忆库M_power中；当记忆库中的样本数量大于训练所需的样本数|Ω_n|＝128时，基站从M_power中取出|Ω_n|个样本构成训练样本集Ω_n＝{s_n(i),p_n(i),R_n(i),s_n(i)}用于训练参数θ_a和θ_c；其中参数θ_c的更新方式与参数θ_Q的更新方式相似，首先计算Ω_n的损失函数，然后利用梯度下降法完成参数更新，更新过程为：

其中

表示目标状态-行为值函数，

是目标批评网络

的网络参数，

表示参数为

的目标动作网络

的输出；

S53：动作网络φ_a与深度Q网络φ_Q和批评网络φ_c不同，它本质上是一种基于策略搜索的强化学习方法；参数θ_a基于梯度完成更新，由于深度确定性策略梯度算法中采用了确定性策略，网络φ_a中的策略梯度表示为：

基于公式(22)所示的策略梯度，网络φ_a通过梯度上升法更新参数θ_a，表示为：

S54：与深度Q学习算法不同，为了进一步提高深度确定性策略的更新稳定性，本发明采用软更新的方式更新目标网络的参数

和

更新过程表示为：

本发明所采用的算法包含了深度Q学习(Deep Q-learning，DQL)算法和深度确定性策略(Deep Determinacy Policy Gradient，DDPG)算法，因此本发明所提算法简称为DQL-DDPG，本发明算法的总迭代回合数为T_step，每回合完成T_env次迭代，并且在每次迭代中，用户有T_p次调整发送功率的机会。

本发明的有益效果在于：相较于其它基于AI方法的DSA方案能够获得更快的收敛速度和更低的丢包数，而且连续的发送功率能够获得比离散的发送功率更好的系统性能。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为流程图；

图2为网络模型；

图3为智能体网络结构；

图4为不同λ_d下的算法稳定性

图5为不同(N,M)下的算法稳定性；

图6为不同网络结构下的算法稳定性；

图7为不同方案的系统平均丢包数；

图8为不同方案的系统传输速率。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

1.系统模型

1.1无线网络模型

本章基于单个网络单元，考虑了一个上行多用户多信道的通信场景，其结构如图2所示。该网络由一个基站和多个用户组成，假设基站位于网络单元的中心，而N个单天线用户则随机分布在基站的覆盖范围之内。在该网络中，用户通过NOMA技术实现在与基站的通信。假设该环境存在M个可供用户接入的独立信道，信道宽度为W＝5MHz，且本章将信道定义为可以分配给用户的最小资源单位。为了防止过多的用户间干扰，并确保低硬件复杂度和低处理延迟，本发明假定每一个信道至多可以接入4个用户。在该通信环境中，所有的链路都受到多路径传播和路径损耗所引起的快慢速衰落效应。

在本发明中，所有用户都具有一个容量为L的缓存器用于缓存数据。在每个时隙t的初始阶段，用户n的缓存器状态被定义为B_n(t)∈{b_n,0,...,b_n,l,b_n,L}，B_n(t)＝b_n,l表示用户n缓存的数据包数量为l。每个时隙t内，用户传输的数据包个数可以表示为：

其中T_t表示传输时间；R_n(t)表示用户n能够达到的传输速率；D表示数据包大小；R₀＝4Mbps表示用户需要达到的传输速率阈值。采用round(·)函数的作用是使每个时隙内用户传输的数据包数量始终为一个整数，以降低系统中的状态空间大小。

本章假设每个时隙t，用户n生成的所有数据包d_n(t)为一个整体。当用户n的缓存空间不足以缓存d_n(t)时，d_n(t)将被全部丢弃。因此，在时隙t用户n的丢包数可以表示为：

因此，在时隙t+1的初始阶段，用户n的缓存器状态可以表示为：

在NOMA系统中，使用同一个信道的用户之间存在严重的干扰。因此，为了使接入同一信道的用户能够更加充分地利用信道资源，本章假设在当前无线通信环境中的所有用户都能够进行功率调整，并且所有用户的发送功率为一个连续的区间，即

1.2信道干扰模型

本章使用

表示信道m中用户n与基站之间的链路增益，其中

表示服从瑞利分布的瑞利衰落信道，β_n表示用户n与基站之间的大尺度衰落，可以定义为：

其中λ表示信号的波长；

表示用户n与基站之间的距离。

在本章的通信场景中，在时隙t内，基站从信道m接收到的来自用户n的信号可以表示为：

其中p_n(t)∈P_n表示用户n选择的发送功率；

表示用户n通过信道m发送给基站的信号。

在本章中，基站基于信号强度从强到弱的顺序利用SIC技术完成信号解码。因此，当基站解码用户n的信号时，基站接收到的干扰可以表示为：

其中，

为：

β_j,n(t)用来表示基站接收到的用户j的信号强度是否大于用户n的信号强度，定义为：

η_j(t)用来表示用户j的信号是否已经被解码及解码是否成功，定义为：

公式(9)中η_j(t)＝0表示解码失败或还未被解码，η_j(t)＝1表示已被解码且解码成功。

在每个时隙t，基站从信道m接收到的来自用户n的信干燥比(Signal toInterference plus Noise Ratio，SINR)可以表示为SINR_n(t)，即：

其中σ²表示噪声。

因此用户n能够达到的传输速率为：

R_n(t)＝Wlog₂(1+SINR_n(t)) (11)

1.3问题描述

本发明所提方案的目标是使通信优先级高的用户(用户的优先级取决于用户的缓存数据量)优先获得信道使用权，并在确保接入的用户都能够解码成功的基础上，最小化系统的丢包数。该目标可以表示为一个优化问题，表示为：

其中，C₁表示用户n的传输速率需要大于规定的阈值，C₂表示用户的发送功率限制，C₃表示用户n是否接入了信道m以及其信号是否被基站成功解码，当用户n接入信道m且其信号被基站成功解码时

否则

C₄确保每一个用户最多接入一个信道。

2.基于多智能体的联合功率控制的动态频谱接入算法

2.1多智能体模型的构建

本节将公式(12)所提出的优化问题基于马尔可夫决策过程进行建模。在本章的通信系统中，智能体、智能体的状态空间、智能体的动作空间和智能体获得的奖励函数，分别定义如下：

智能体：基站与所有的用户。

状态空间：对于基站而言，其状态空间为S_BS。每个时隙t，基站获得的状态为s_BS(t)＝(B_l,1(t-1),...,B_l,n(t-1),...B_l,N(t-1))，其中B_l,n(t-1)＝B_n(t-1)-C_n(t-1)表示上一时隙通信结束后，用户n的缓存的数据量。而对于每个用户而言，其状态空间为S_n。每个时隙t，用户n获得的状态为

其中n表示智能体的编号，B_n(t)表示用户的缓存数据量，h_n,m(t)表示用户n接入信道m后获得的链路增益，

表示基站反馈给用户n的信息，可以通过公式(6)计算，R_n(t)表示用户接入信道后能够达到的传输速率。

动作空间：基站的动作空间为A_BS。在每个时隙t，基站选择动作a_BS(t)。此时，接入方案为A_BS(a_BS(t))＝(a₁(t),...,a_n(t),...,a_N(t))，其中a_n(t)∈{0,1,...,M}，a_n(t)＝m表示用户n当前时隙被允许接入信道m，而a_n(t)＝0表示不被允许进行通信。每个用户n的动作空间为用户可选的发送功率集，即P_n。

奖励函数：基站需要考虑的主要目标为：减少系统中用户的丢包数量。用户是否产生丢包主要取决于缓存的数据包数量。用户缓存的数据包数量越多，发生丢包的概率越大。反之，丢包的概率越小。因此，用户的缓存数据量将被用来构成奖励函数，该奖励函数可以表示为：

其中PRI_n(t)表示为时隙t的用户n的通信优先级，定义为：

如果只依靠基于缓存数据量的奖励函数训练神经网络，当出现多个用户缓存的数据量相近时，神经网络就无法做出有效决策。因此，在保证选择优先级高的用户的前提下，针对数据量相近的用户，智能体优先选择传输速率高的用户，因此另一个基于传输速率的奖励函数可以表示为：

除此之外，当多个用户同时接入同一个信道时，存在个别用户无论如何调整功率都无法成功通信的情况。本章所提方案为了使基站能够选择合适的用户接入同一信道，因此当接入信道的用户在调整完发送功率后仍然无法传输数据则会收到相应的惩罚，即：

其中，

表示当用户n完成功率调整后能否在信道m中进行数据传输，如果可以，则

否则

基于上述的分析，驱动基站进行学习的总奖励函数可以表示为：

R_BS(t)＝λ₀R_B(t)+λ₁R_rate(t)-λ₂R_Inv(t) (17)

其中λ₀、λ₁和λ₂分别表示每部分奖励的权重。

由于不存在用户间的协作，因此用户只关注自身能够达到的传输速率。在本章的设置中，当用户的传输速率满足速率阈值时，用户将获得一个积极的奖励，否则，用户将获得一个惩罚R_neg＜0。因此，用户n能够获得的奖励函数可以表示为：

在基于马尔可夫过程所构建的深度学习算法中，智能体的目标是学习到一个最佳策略π^*，使得智能体获得的累积奖励R^γ(t)最大，最佳策略π^*可以表示为：

其中

2.2网络结构及参数更新

为了确保多智能体网络最终能够得到一个最佳策略，本章采用集中训练分布执行的方式完成策略的更新和执行。多智能体网络的结构如图2所示。

通过图2可以发现，基站上构建了三个网络，分别为参数为θ_Q的深度Q网络φ_Q，参数为θ_a的动作网络φ_a和参数为θ_c的批评网络φ_c。在执行过程中，基站利用基于DQN网络φ_Q的深度Q学习算法完成集中式动态频谱接入控制，而用户利用基站广播的动作网络参数θ_a实现连续功率控制。但是所有的网络参数θ_Q、θ_a和θ_c都在基站处完成更新，并且为了确保训练的稳定性，所有参数的更新采用了经验回放法。

在训练的过程中，基站会将获得的经验样本(s_BS(t-1),a_BS(t-1),R_BS(t-1),s_BS(t))存入记忆库M_access中，当记忆库中的样本数量大于训练所需的样本数|Ω_Q|＝200时，基站就从记忆库M_access中取出包含|Ω_Q|个数据样本的训练样本集Ω_Q＝{s_BS(i),a_BS(i),R_BS(i),s_BS(i+1)}用于训练参数θ_Q。根据Ω_Q可以计算得到DQN网络φ_Q的损失函数为：

其中Q(s(i),a(i)；θ_Q)为网络φ_Q的输出值，记为动作值函数，

是参数为

的目标深度Q网络

的输出值，网络

与φ_Q具有相同的结构，构建目标网络的目的是为了进一步保证学习过程的稳定性，在本发明中每完成Q_up＝100次参数就将更新一次参数

更新过程为

获得损失函数后，网络参数θ_Q的更新过程可以表示为：

其中α_Q表示学习速率。

同样的，接入信道的用户会将经验样本(s_n(t-1),p_n(t-1),R_n(t-1),s_n(t))存入位于基站的记忆库M_power中。当记忆库中的样本数量大于训练所需的样本数|Ω_n|＝128时，基站就从M_power中取出|Ω_n|个样本构成训练样本集Ω_n＝{s_n(i),p_n(i),R_n(i),s_n(i)}用于训练参数θ_a和θ_c。其中参数θ_c的更新方式与参数θ_Q的更新方式相似，首先计算Ω_n的损失函数，然后利用梯度下降法完成参数更新，更新过程为：

其中

表示目标状态-行为值函数，

是目标批评网络

的网络参数，

表示参数为

的目标动作网络

的输出。

动作网络φ_a与深度Q网络φ_Q和批评网络φ_c不同，它本质上是一种基于策略搜索的强化学习方法。所以，参数θ_a基于梯度完成更新，由于深度确定性策略梯度算法中采用了确定性策略，因此网络φ_a中的策略梯度可以表示为：

基于公式(22)所示的策略梯度，网络φ_a通过梯度上升法更新参数θ_a，可以表示为：

与深度Q学习算法不同，为了进一步提高深度确定性策略的更新稳定性，本发明采用软更新的方式更新目标网络的参数

和

更新过程可以表示为：

由于本发明所采用的算法包含了深度Q学习算法和深度确定性策略算法，因此将本发明所提算法简称为DQL-DDPG。本发明将算法的总迭代回合数为T_step，每回合完成T_env次迭代，并且在每次迭代中，用户有T_p次调整发送功率的机会。本发明所提出的动态频谱接入方案可以总结为表1。

表1基于DQL-DDPG算法的DSA方案伪代码

3.仿真结果及分析

在本章节中，通过仿真结果验证了所提出的结合两种DRL方法的动态频谱接入方案(DQL-DDPG)的性能，包括算法稳定性、不同网络结构下的算法收敛效果以及不同DQL/DDPG方案的比较。所有的实验都基于NVIDIARTX 2080 8G GPU平台上的Tensorflow框架完成。

3.1仿真设置

本发明基于深度Q学习算法实现动态频谱接入控制，深度Q网络φ_Q具有3层隐藏层，且每层隐藏层分别具有256，512和256个神经元，每个神经元的激活函数都设置为ReLU函数。而基于深度确定性策略算法来实现功率控制，其中的动作网络φ_a和批评网络φ_c都具有3层隐藏层，每层拥有的神经元个数分别为200，100和50，并且每个激活函数都为ReLU函数，同时为了保证DDPG算法中动作网络的输出满足要求，因此在动作网络的输出层增加了一个Sigmod函数。

下列仿真利用(N,M)来表示网络中存在的用户和信道数量，并取1000次独立运行的平均值来绘制每个数据点。系统仿真参数如表2所示。

表2仿真参数设置

3.2算法稳定性

图4在(N,M)为(5,1)时验证了不同的λ_d对于算法稳定性的影响。通过图4可以发现，不论λ_d如何变化，系统都能够快速的达到收敛，并且达到收敛的时间基本一致。

图5验证了不同的(N,M)对于算法稳定性的影响。通过图4可以发现，不论用户及信道数量如何变化，系统都能够最终达到收敛。但不同的用户或信道数量会导致收敛时间不同，可以发现随着用户及信道数量的增加，系统需要花费更多的迭代回合来达到收敛，这是因为随着用户及信道数量的增加，系统需要探索的状态空间变大，因此系统需要更多的时间来探索每个状态下的最佳动作。

3.3不同网络结构下的算法收敛效果

本节分别在(N,M)为(4,1)和(5,1)的情况下对比了基于DQL-DDPG的分层控制网络和基于DQL的集中控制网络的收敛效果。在仿真基于DQL的集中控制网络时，将次用户可选的发送功率离散化为6个级别，即p_n∈{0,0.2,0.4,0.6,0.8,1.0}。

通过图6可以发现DQL相较于DQL-DDPG能够在更少的迭代次数内达到收敛，并且收敛更加的稳定。这主要是因为：集中控制网络能够收集到全局的信息，并且不存在不同智能体之间的冲突，而DQL-DDPG中利用部分观察值进行功率控制，且存在多个智能体相互作用。但在实际的算法训练过程中，DQL需要692.30s的时间才能达到收敛，而DQL-DDPG只需要270.48s就能够达到收敛。这是因为DQL相对于DQL-DDPG需要处理更大的状态空间和动作空间。当用户数量增加到N＝6时，DQL需要4153.85s的运行时间来达到收敛，而DQL-DDPG只需要388.63s。可以发现当增加了一个用户时，DQL-DDPG算法收敛达到所需的时间增长了43.7％，而DQL网络达到收敛所需的时间增长了500％。因此，可以发现分层控制网络可以通过减小系统的状态空间和动作空间以提高神经网络的运行效率，能够更好的应用于多变的无线通信网络。

此外，当算法收敛后，DQL的系统平均丢包数要略大于DQL-DDPG，这是因为DQL只适用于离散的发送功率集，且本章仅将发送功率区间离散化为6个等级，因此DQL无法充分地控制用户。充分地离散发送功率区间能够有效地提高系统性能，但也会因此增加时间成本。而DQL-DDPG网络可以直接控制连续的发送功率，这使得它更有效地控制用户来采取合适的发送功率进行信道复用。

4.3不同方案的比较

为了进一步说明本发明所提算法的性能优势，本小节对比了以下方案：(1)基站利用DQL完成动态接入控制但不进行功率控制，所有的用户都采用最大发送功率接入信道，将该方法记为“DQL-MAX”；(2)参考已有的分布式竞争接入机制，在该接入机制中数据缓存量大且信道质量好的用户能够优先得到通信机会，接入信道的用户都采用最大发送功率接入信道而不进行功率控制，该方法记为“Compete-MAX”；(3)采用与方案(2)一样的接入控制方法，但成功接入信道的用户基于DDPG进行功率控制，该方法记为“Compete-DDPG”；(4)基于DQL实现集中控制用户的接入信道及发送功率，该方法记为“DQL”；(5)一种已有的DQL-DDPG算法，在该算法中基站分别利用DQL和DDPG完成动态接入控制和功率控制，并利用同一个奖励值完成参数更新，该方法记为“DQL-DDPG-R”。在实验的过程中，由于数据的产生式随机的，为了保证实验的公平性，本章保证所有的可变参数在不同的方案中是相同的，例如设置不同方案下，每次迭代过程中数据到达量是相同的。

图7在(N,M)为(5,1)的条件下，仿真了在数据包到达速率λ_d变化的情况下不同方案的系统平均丢包数的变化情况。

通过图7可以发现，本章所提出的联合功率控制的动态频谱方案是有效的。除了Compete-DDPG方案，本章所提出的方案能够取得一个更低的系统平均丢包数。Compete-DDPG能够取得更好的效果是因为它能够获得实时的用户缓存量，而本章所定义的DQL-DDPG基于上一时刻的传输结束后用户的剩余数据量进行接入控制。通过对比Compete-DDPG与Compete-MAX以及DQL-DDPG与DQL-MAX可以发现本章采用的分布式功率控制方案是有效的，没有进行有效的功率控制会导致系统的平均丢包数增大。

图8在M＝1，λ_d＝0.8的条件下，仿真了在不同用户数量的情况下，不同方案能够达到的传输速率的变化情况。

通过图8可以发现，随着用户数量的增加所有方案的系统传输速率基本都呈现出下降的趋势，这是因为，随着用户数量的增加出现了更多的接入用户组合，并且存在某些组合数使得用户需要降低自身能够达到的传输速率来保证更多的用户能够完成通信以降低系统的平均丢包数。此外，结合图7和图8还可以发现DQL-MAX的达到的传输速率要大于DQL-DDPG但其丢包数却大于DQL-DDPG，这是因为DQL-MAX只能选择发送功率为1W时能够共存的用户接入信道，虽然其能够达到更高的传输速率但其丢包数也大于DQL-DDPG。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种NOMA系统中基于分层深度强化学习的动态频谱接入方法，其特征在于：包括以下步骤：

S1：构造上行多用户多信道的通信场景；基于单个网络单元，构造上行多用户多信道的通信场景，网络单元由一个基站和多个用户组成，基站位于网络单元的中心，N个单天线用户随机分布在基站的覆盖范围之内；在所述网络中，用户通过NOMA技术实现与基站的通信；所述通信场景内存在M个可供用户接入的独立信道，所述信道为分配给用户的最小资源单位；在所述通信场景中，所有的链路都受到多路径传播和路径损耗所引起的快慢速衰落效应；

所有用户都具有一个容量为L的缓存器用于缓存数据；在每个时隙t的初始阶段，用户n的缓存器状态被定义为B_n(t)∈{b_n,0,...,b_n,l,b_n,L}，B_n(t)＝b_n,l表示用户n缓存的数据包数量为l；每个时隙t内，用户传输的数据包个数表示为：

其中T_t表示传输时间；R_n(t)表示用户n能够达到的传输速率；D表示数据包大小；R₀＝4Mbps表示用户需要达到的传输速率阈值；

每个时隙t，用户n生成的所有数据包d_n(t)为一个整体；当用户n的缓存空间不足以缓存d_n(t)时，d_n(t)被全部丢弃；在时隙t用户n的丢包数表示为：

在时隙t+1的初始阶段，用户n的缓存器状态表示为：

S2：建立信道干扰模型；在当前无线通信环境中的所有用户都能够进行功率调整，并且所有用户的发送功率为一个连续的区间，即

S21：使用

表示信道m中用户n与基站之间的链路增益，其中

表示服从瑞利分布的瑞利衰落信道，β_n表示用户n与基站之间的大尺度衰落，定义为：

其中λ表示信号的波长；

表示用户n与基站之间的距离；

在时隙t内，基站从信道m中接收到的来自用户n的信号表示为：

其中p_n(t)∈P_n表示用户n选择的发送功率；

表示用户n通过信道m发送给基站的信号；

S22：基站基于信号强度从强到弱的顺序利用连续干扰消除SIC技术完成信号解码；当基站解码用户n的信号时，基站接收到的干扰表示为：

其中，

表示基站在时隙t内通过信道m接收到的来自用户j的信号，

表示用户j是否接入信道m，定义为：

β_j,n(t)表示基站接收到的用户j的信号强度是否大于用户n的信号强度，定义为：

η_j(t)表示用户j的信号是否已经被解码及解码是否成功，定义为：

公式(9)中η_j(t)＝0表示解码失败或还未被解码，η_j(t)＝1表示已被解码且解码成功；

S23：在每个时隙t，基站从信道m接收到的来自用户n的信干燥比SINR表示为SINR_n(t)，即：

其中σ²表示噪声。

因此，用户n的传输速率为：

R_n(t)＝Wlog₂(1+SINR_n(t)) (11)

S3：将通信优先级高的用户优先获得信道使用权，确保接入用户解码成功以及最小化系统丢包数的目标表示为一个优化问题；将通信优先级高的用户优先获得信道使用权，并在确保接入的用户都解码成功的基础上最小化系统的丢包数目标表示为一个优化问题，表示为：

s.t.C₁:R_n≥R₀

C₂:0≤p_n≤P_max

其中C₁表示用户n的传输速率需要大于规定的阈值，C₂表示用户的发送功率限制，C₃表示用户n是否接入了信道m以及其信号是否被基站成功解码，当用户n接入信道m且其信号被基站成功解码时

否则

C₄确保每一个用户最多接入一个信道；

S4：构建多智能体模型，对S3中优化问题基于马尔可夫决策过程进行建模；智能体表示基站与所有的用户，智能体的状态空间、智能体的动作空间和智能体获得的奖励函数，分别定义如下：

S41：对于基站而言，其状态空间为S_BS；每个时隙t，基站获得的状态为s_BS(t)＝(B_l,1(t-1),...,B_l,n(t-1),...B_l,N(t-1))，其中B_l,n(t-1)＝B_n(t-1)-C_n(t-1)表示上一时隙通信结束后，用户n的缓存的数据量；对于每个用户，其状态空间为S_n；每个时隙t，用户n获得的状态为

其中n表示智能体的编号，B_n(t)表示用户的缓存数据量，h_n,m(t)表示用户n接入信道m后获得的链路增益，

表示基站反馈给用户n的信息，通过公式(6)计算，R_n(t)表示用户接入信道后的传输速率；

S42：动作空间：基站的动作空间为A_BS；在每个时隙t，基站选择动作a_BS(t)；此时，接入方案为A_BS(a_BS(t))＝(a₁(t),...,a_n(t),...,a_N(t))，其中a_n(t)∈{0,1,...,M}，a_n(t)＝m表示用户n当前时隙被允许接入信道m，a_n(t)＝0表示不被允许进行通信；每个用户n的动作空间为用户发送功率集，即P_n；

S42：奖励函数：将用户的缓存数据量用来构成奖励函数，该奖励函数表示为：

其中PRI_n(t)表示时隙t的用户n的通信优先级，定义为：

S43：另一个基于传输速率的奖励函数表示为：

S44：当接入信道的用户在调整完发送功率后仍然无法传输数据收到相应的惩罚，即：

其中，

表示当用户n完成功率调整后能否在信道m中进行数据传输，如果可以，

否则

驱动基站进行学习的总奖励函数表示为：

R_BS(t)＝λ₀R_B(t)+λ₁R_rate(t)-λ₂R_In (17)；

其中λ₀、λ₁和λ₂分别表示每部分奖励的权重；

S45：当用户的传输速率满足速率阈值时，用户将获得一个积极的奖励，否则，用户将获得一个惩罚R_neg＜0；用户n能够获得的奖励函数表示为：

在基于马尔可夫过程所构建的深度强化学习算法中，智能体的目标是学习到一个最佳策略π^*，使得智能体获得的累积奖励R^γ(t)最大，最佳策略π^*表示为：

其中

S5：采用集中训练分布执行的方式完成策略的更新和执行；多智能体网络的结构为：基站上构建三个网络，分别为参数为θ_Q的深度Q网络φ_Q，参数为θ_a的动作网络φ_a和参数为θ_c的批评网络φ_c；在执行过程中，基站利用基于DQN网络φ_Q的深度Q学习算法完成集中式动态频谱接入控制，用户利用基站广播的动作网络参数θ_a实现连续功率控制；所有的网络参数θ_Q、θ_a和θ_c都在基站处完成更新，且所有参数的更新都采用了经验回放法；

S51：在训练的过程中，基站将获得的经验样本(s_BS(t-1),a_BS(t-1),R_BS(t-1),s_BS(t))存入记忆库M_access中，当记忆库中的样本数量大于训练所需的样本数|Ω_Q|＝200时，基站从记忆库M_access中取出包含|Ω_Q|个数据样本的训练样本集Ω_Q＝{s_BS(i),a_BS(i),R_BS(i),s_BS(i+1)}用于训练参数θ_Q；根据Ω_Q计算得到DQN网络φ_Q的损失函数为：

其中Q(s(i),a(i)；θ_Q)为网络φ_Q的输出值，记为动作值函数，

是参数为

的目标深度Q网络

的输出值，网络

与φ_Q具有相同的结构，每完成Q_up＝100次参数就将更新一次参数

更新过程为

S52：获得损失函数后，网络参数θ_Q的更新过程表示为：

其中α_Q表示学习速率；

S53：接入信道的用户将经验样本(s_n(t-1),p_n(t-1),R_n(t-1),s_n(t))存入位于基站的记忆库M_power中；当记忆库中的样本数量大于训练所需的样本数|Ω_n|＝128时，基站从M_power中取出|Ω_n|个样本构成训练样本集Ω_n＝{s_n(i),p_n(i),R_n(i),s_n(i)}用于训练参数θ_a和θ_c；其中参数θ_c的更新方式与参数θ_Q的更新方式相似，首先计算Ω_n的损失函数，然后利用梯度下降法完成参数更新，更新过程为：

其中

表示目标状态-行为值函数，

是目标批评网络

的网络参数，

表示参数为

的目标动作网络

的输出；

S53：参数θ_a基于梯度完成更新，网络φ_a中的策略梯度表示为：

基于公式(22)所示的策略梯度，网络φ_a通过梯度上升法更新参数θ_a，表示为：

S54：采用软更新的方式更新目标网络的参数

和

更新过程表示为：

本方法的总迭代回合数为T_step，每回合完成T_env次迭代，并且在每次迭代中，用户有T_p次调整发送功率的机会。

Images