CN113194542B - 一种非圆信号辅助noma系统的功率分配方法 - Google Patents

Abstract

本发明公开了一种非圆信号辅助NOMA系统的功率分配方法，包括如下步骤：根据非圆信号能够改变发送信号二阶统计量的特性，将非圆信号应用于非正交多址接入系统中，使得非正交多址接入系统能够达到更大的系统吞吐量；针对该设计方案提出了非圆系数和功率分配的联合设计方案；把非圆系数和功率分成若干个等级，通过自定义奖励函数，动作空间等系统配置，将原来的优化问题转化为可以用强化学习求解的模型；通过迭代学习至收敛，获得了用户最小速率约束下的非圆系数和功率分配方案设计。该方案有助于实现比基于圆信号的非正交多址接入系统更大的系统吞吐量，能够有效地提高系统的容量。

Description

一种非圆信号辅助NOMA系统的功率分配方法

技术领域

本发明涉及一种非圆信号辅助NOMA系统的功率分配方法，属于无线通信系统技术领域。

背景技术

新一代无线通信系统，特别是物联网，将支持数以亿计的智能设备，对频谱效率、能耗和大规模连接提出了较高的要求。传统的正交多址接入技术已经不能满足这些严格要求。当前，非正交多址接入技术受到了广泛的关注，它允许多个用户在同一个资源块使用不同的功率，比如在载波上进行叠加传输。在接收端可以使用干扰消除的方法解调出各用户的发送信号，大大提高了频谱利用率。

非圆信号是指发送信号的两路数据发送功率不相等，并且它们之间具有相关性。此时协方差已经不能完全描述信号的二阶统计特性，这是因为非圆信号的伪协方差不是零。通信系统中常用的非圆信号调制方式有脉冲幅度调制(Pulse amplitude modulation,PAM)、二进制相移键控(Binary phase shift keying,BPSK) 和连续相位调制(Continuousphase modulation,CPM)等。

研究表明在传统通信系统中，比如点对点通信等，传统信号可以达到信道容量。而在一些相对比较复杂的系统中，比如中继网络和干扰通信网络，非圆信号可以提高系统的容量。在非圆信号应用的系统中，研究重点在于如何设计非圆系数来提高系统容量。针对以上描述，本发明提出了一种非圆信号辅助的非正交多址接入系统中基于最大化吞吐量的功率分配方案。

发明内容

发明目的：针对两用户的下行非正交多址接入系统最大化吞吐量的问题，我们提出了一种非圆信号辅助NOMA系统的功率分配方法。通过将非圆系数和功率分成若干个等级，将原来的优化问题转化为可以用强化学习求解的模型。通过迭代学习，获得了用户最小速率约束下的非圆系数和功率分配设计。

技术方案：为实现上述目的，本发明采用如下技术方案：

一种非圆信号辅助NOMA系统的功率分配方法包括如下步骤：

(1)将非圆信号应用于非正交多址接入系统，写出各用户的接收信号表达式，推导出基于非圆信号的系统各用户的传输速率表达式；

(2)构建以最大化系统吞吐量为优化目标，以用户最小速率受限为约束条件的优化问题模型；

(3)使用强化学习Q learning的方法求解步骤(2)所述优化问题模型；

3.1)将非圆系数和用户功率平均分成若干个等级，即均匀分布的离散值，将离散的非圆系数和用户功率组合作为系统的动作向量；

3.2)将系统的奖励设定为当前动作执行后的系统速率，如若不满足用户的最小功率限制则奖励为负值；

3.3)最后，通过强化学习的方法迭代得出用户最小速率约束下的非圆系数和功率分配方案设计。

进一步的，步骤(1)所述各用户的接收信号表达式推导过程为：

所述非正交多址接入系统为一个两用户的下行非正交多址接入系统，其中靠近基站的近距离用户1分配较小的功率p₁，远离基站的远距离用户2分配较大的功率p₂，即p₁≤p₂；

假设用户1的最大功率是P₁，用户2的功率固定为P₂，并且满足P₁≤P₂；设定从基站到用户i,的信道为

其中i＝1,2，g_i表示瑞利衰落信道，d_i是基站到用户i的距离，τ是路径损耗指数；

在所述非正交多址接入系统中，用户2直接将自己的信号解出，而用户1采用干扰消除的方法先将用户2的信号解出，然后消除掉用户2的信号再解调出用户1自己的信号，其中，由用户2带来的冗余干扰为用户2接收信号的λ倍， 0＜λ＜1；因此，用户i接收到的信号分别为：

其中w_i是均值为零方差为

的加性白高斯噪声，h_i为从基站到用户i的信道，x₁是用户1发送的传统圆信号，x₂是用户2发送的待设计的非圆信号，z_i是用户i的干扰信号。

进一步的，步骤(1)所述基于非圆信号的系统各用户的传输速率表达式为：

其中，

和

分别为用户i的接收信号与干扰信号的标准方差；

和

表示用户i的接收信号与干扰信号的伪方差；且

为用户i的噪声功率；

为用户i的信道噪声比，κ为非圆系数；并且满足Γ₁≥Γ₂；R_i均由两个部分组成，即传统圆信号部分R_i,Proper和非圆部分R_i,Improper。

进一步的，步骤(2)所述优化问题模型表示为：

其中

是用户i的最小速率。

进一步的，所述步骤3.1)具体为：

将非圆系数κ和用户1的功率p₁分别分成N₁,N₂个等级，那么第l个等级的非圆系数表示为

用户1第k个等级的功率表示为

强化学习中的状态空间，动作空间分别设置如下：

状态空间：假设学习过程中在时间t的状态为s_t∈{0,1}，状态的选择依据是所选择的动作是不是满足系统对各用户最小速率的要求，即

动作空间：将不同功率和非圆系数的组合作为系统的动作向量，表示为

其中a_u＝[p_1,k,κ_l]^T为系统的第u个动作向量，所有的动作组合个数为 N₁N₂；根据当前的Q值，使用ε贪婪算法来选择下个时间的动作向量，具体步骤包含：

①选择ε∈(0,1)；

②以1-ε的概率选择当前最大Q值对应的动作向量，即功率和非圆系数组合：

进一步的，步骤3.2)所述奖励函数表示为：

其中R_i中的非圆系数κ和用户1的功率p₁是当前的执行动作。

进一步的，所述步骤3.3)中算法的更新过程为：

其中，α_t和γ分别为Q learning中的学习率和折扣因子，r_t+1为系统在下个时刻的奖励；

得到用户1的最优功率和系统的非圆系数为：

其中a代表系统的任意一个动作向量。

有益效果：

本发明提供的非圆信号辅助非正交多址接入系统中基于最大化吞吐量的功率分配方案，能够有效地提高系统的容量。仿真结果表明，相比于传统的圆信号，本发明提出的非圆信号辅助非正交多址接入系统中基于最大化吞吐量的功率分配方案能够提供额外的系统容量增益。

附图说明

图1为本发明实施例中在不同信道条件下系统信号干扰噪声比与最大系统吞吐量的关系曲线结果图。

具体实施方式

下面结合附图和具体实施例对本发明方案做进一步说明。为了验证本发明所提出的一种非圆信号辅助NOMA系统的功率分配方法，在本部分我们使用蒙特卡洛实验并且与发送圆信号的方案作对比。应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利。

针对本发明所述的下行非正交多址接入系统，在接收端采用更加实际的非理想干扰消除技术。为了增加系统的吞吐量，本发明考虑发送非圆信号，从而提高了系统的设计自由度。

本发明考虑在保证各自用户的最小速率限制条件下，最大化系统的吞吐量。针对这个优化问题，我们将非圆系数和用户功率分成若干个均匀分布的离散值，并将它们的组合作为系统的动作向量，系统的奖励设定为当前动作执行后的系统速率，如若不满足用户的最小功率限制则奖励为负值。最后，通过强化学习的方法迭代得出用户最小速率约束下的非圆系数和功率分配设计。

一种非圆信号辅助NOMA系统的功率分配方法，具体步骤如下：

(1)将非圆信号应用于非正交多址接入系统，写出各用户的接收信号表达式，推导出基于非圆信号的系统各用户的传输速率表达式；其中远距离用户采用贴近于实际的非理想接收机，即存在近距离用户的冗余干扰；

我们考虑一个典型的两用户下行非正交多址接入系统，其中靠近基站的用户 1为近距离用户，用户1分配较小的功率p₁，远离基站的用户2为远距离用户，用户2分配较大的功率p₂，即p₁≤p₂。假设用户1的最大功率是P₁，用户2的功率固定为P₂，并且满足P₁≤P₂。设定从基站到用户i,的信道为

其中i＝1,2，其中g_i是瑞利衰落信道，d_i是基站到用户i的距离，τ是路径损耗指数。在非正交多址接入系统中，用户2直接将自己的信号解出，而用户1采用干扰消除的方法先将用户2的信号解出，然后消除掉用户2的信号再解调出用户1自己的信号。为了贴近实际，本发明使用非完美的干扰消除模型，即由用户2带来的冗余干扰为接收信号的λ倍， 0＜λ＜1。基于以上讨论，用户i接收到的信号分别为

其中w_i是均值为零方差为

的加性白高斯噪声，定义

为用户i 的信道噪声比，并且满足Γ₁≥Γ₂。x₁是用户1发送的传统圆信号，x₂是用户2 发送的待设计的非圆信号，z_i是用户i的干扰信号。那么，在非圆信号辅助的非正交多址接入系统中，两个用户的速率分别表示为

其中，

为用户i的信道噪声比，κ为非圆系数；并且满足Γ₁≥Γ₂；

(2)构建以最大化系统吞吐量为优化目标，以用户最小速率受限为约束条件的优化问题模型；

本发明旨在优化非圆系数κ和用户1的功率p₁，使得系统的吞吐量最大，并且每个用户需满足最小功率限制。因此，优化问题可以表示为：

其中

是用户i的最小速率。

(3)使用强化学习Q learning的方法求解步骤(2)所述优化问题模型；

所述步骤(2)中构造出来的优化问题是非凸优化问题，本发明使用强化学习Qlearning的方法进行解决。

3.1)将非圆系数和用户功率平均分成若干个等级，即均匀分布的离散值，将离散的非圆系数和用户功率组合作为系统的动作向量；

将非圆系数κ和用户1的功率p₁分别分成N₁,N₂个等级，那么第l个等级的非圆系数表示为

用户1第k个等级的功率表示为

强化学习中的状态空间，动作空间分别设置如下：

状态空间：我们假设学习过程中在时间t的状态为s_t∈{0,1}，状态的选择依据是所选择的动作是不是满足系统对各用户最小速率的要求，即

动作空间：我们将不同的功率和非圆系数组合作为动作空间，表示为

其中a_u＝[p_1,k,κ_l]^T为系统的第u个动作向量。可以看出，所有的动作组合个数为N₁N₂。根据当前的Q值，有很多方法可以用来选择下个时间的动作向量，本发明使用的是一种常用的ε贪婪算法，具体步骤包含

①选择ε∈(0,1)；

②以1-ε的概率选择当前最大Q值所对应的动作向量。

3.2)将系统的奖励设定为当前动作执行后的系统速率，如若不满足用户的最小功率限制则奖励为负值；

奖励函数：本发明使用的奖励函数为

其中R_i中的非圆系数κ和用户1的功率p₁是当前执行的动作。

3.3)最后，通过强化学习的方法迭代得出用户最小速率约束下的非圆系数和功率分配方案设计；

算法总结如下表：

其中α_t和γ分别为Q learning中的学习率和折扣因子。最后，用户1的最优功率p₁和系统的非圆系数κ^*可以设定为：

其中a代表系统的任意一个动作向量。

仿真示例

本发明实施例中，对于非圆信号辅助非正交多址接入系统中基于最大化吞吐量的功率分配方案，我们采用MATLAB进行蒙特卡洛仿真。仿真中，瑞利衰落信道系数g_i服从均值为零方差为1的复高斯标准正态分布，路径损耗指数τ＝2，系统的信号噪声比(Signal toNoise Ratio,SNR)定义为

对于Q Learning算法，我们设定学习率和折扣因子分别为α_t＝0.5,γ＝0.9.

表1描述了将非圆系数和用户1的功率平均分成不同个数的离散值情况下，系统最大吞吐量的解。Improper表示本发明使用的非圆发送信号情形下的解，Proper表示仿真中用来对比的圆信号的相应解。仿真中两个用户的SNR 分别为15dB和20dB。从表中可以看出，当N₁和N₂变大的时候，所得到的系统吞吐量逐渐变大，这是因为随着非圆系数和用户1的功率被分成更多的离散值，用Q Learning所得出的解逐渐逼近于最优解。从表1可以看出，当N₁和N₂达到一定值之后，增大它们的值并不能明显增大系统的吞吐量。因此，后面的仿真中我们设定N₁＝30,N₂＝20。

表1

图1仿真了λ,Γ₂不同取值情况下系统吞吐量随着SNR的变化情况。从图中可以看出，本发明提出的基于非圆发送信号的方案能够实现更大的系统吞吐量。特别地，这种优势在低SNR的时候表现的尤为明显，而在高SNR的时候并不能带来明显的吞吐量增益，这是因为用户1功率的增大或导致达不到系统对用户2的速率要求。因此，高信噪比情况下系统的吞吐量看上去无明显变化。

Claims (1)

1.一种非圆信号辅助NOMA系统的功率分配方法，其特征在于，包括如下步骤：

(1)将非圆信号应用于非正交多址接入系统，写出各用户的接收信号表达式，推导出基于非圆信号的系统各用户的传输速率表达式；

(2)构建以最大化系统吞吐量为优化目标，以用户最小速率受限为约束条件的优化问题模型；

(3)使用强化学习Q learning的方法求解步骤(2)所述优化问题模型；

3.1)将非圆系数和用户功率平均分成若干个等级，即均匀分布的离散值，将离散的非圆系数和用户功率组合作为系统的动作向量；

3.2)将系统的奖励设定为当前动作执行后的系统速率，如若不满足用户的最小功率限制则奖励为负值；

3.3)最后，通过强化学习Q learning的方法迭代得出用户最小速率约束下的非圆系数和功率分配方案设计；

步骤(1)所述各用户的接收信号表达式推导过程为：

所述非正交多址接入系统为一个两用户的下行非正交多址接入系统，其中靠近基站的近距离用户1分配较小的功率p₁，远离基站的远距离用户2分配较大的功率p₂，即p₁≤p₂；

假设用户1的最大功率是P₁，用户2的功率固定为P₂，并且满足P₁≤P₂；设定从基站到用户i的信道为

其中i＝1,2，g_i表示瑞利衰落信道，d_i是基站到用户i的距离，τ是路径损耗指数；

在所述非正交多址接入系统中，用户2直接将自己的信号解出，而用户1采用干扰消除的方法先将用户2的信号解出，然后消除掉用户2的信号再解调出用户1自己的信号，其中，由用户2带来的冗余干扰为用户2接收信号的λ倍， 0＜λ＜1；因此，用户i接收到的信号分别为：

其中w_i是均值为零方差为

的加性白高斯噪声，h_i为从基站到用户i的信道，x₁是用户1发送的传统圆信号，x₂是用户2发送的待设计的非圆信号，z_i是用户i的干扰信号；

步骤(1)所述基于非圆信号的系统各用户的传输速率表达式为：

其中，

和

分别为用户i的接收信号与干扰信号的标准方差；

和

表示用户i的接收信号与干扰信号的伪方差；

为用户i的噪声功率；

为用户i的信道噪声比，κ为非圆系数；并且满足Γ₁≥Γ₂；R_i均由两个部分组成，即传统圆信号部分R_i,Proper和非圆部分R_i,Improper；

步骤(2)所述优化问题模型表示为：

其中

是用户i的最小速率；

所述步骤3.1)具体为：

将非圆系数κ和用户1的功率p₁分别分成N₁,N₂个等级，那么第l个等级的非圆系数表示为

用户1第k个等级的功率表示为

强化学习中的状态空间，动作空间分别设置如下：

状态空间：假设学习过程中在时间t的状态为s_t∈{0,1}，状态的选择依据是所选择的动作是不是满足系统对各用户最小速率的要求，即

动作空间：将不同功率和非圆系数的组合作为系统的动作向量，表示为

其中a_u＝[p_1,k,κ_l]^T为系统的第u个动作向量，所有动作组合个数为N₁N₂；

根据当前的Q值，使用ε贪婪算法来选择下个时间的动作向量，具体步骤包含：

①选择ε∈(0,1)；

②以1-ε的概率选择当前最大Q值对应的动作向量，即功率和非圆系数组合：

步骤3.2)所述奖励所使用的奖励函数表示为：

其中R_i中的非圆系数κ和用户1的功率p₁是当前的执行动作；

所述步骤3.3)中Q learning的更新过程为：

其中，α_t和γ分别为Q learning中的学习率和折扣因子，r_t+1为系统在下个时刻的奖励；

得到用户1的最优功率和系统的非圆系数为：

其中a代表系统的任意一个动作向量。

Images