CN113596785B - 基于深度q网络的d2d-noma通信系统资源分配方法 - Google Patents

Abstract

本发明适用于通信技术领域，提供了基于深度Q网络的D2D‑NOMA通信系统资源分配方法，所述基于深度Q网络的D2D‑NOMA通信系统资源分配方法包括以下步骤:建立蜂窝网络下D2D‑NOMA通信系统的网络模型；计算蜂窝用户i被D2D‑NOMA簇复用后的信干噪比以及第j个簇内第k个D2D接收机的信干噪比构建以最大化D2D用户总吞吐量为目标的优化问题；建立马尔科夫模型；设计深度Q网络中的Behavior网络和Target网络；利用深度Q网络使智能体与环境交互，输出最优资源分配策略。本发明利用深度Q网络方法在保证蜂窝用户的服务质量的前提下，提高了D2D‑NOMA系统的吞吐量和频谱效率。

Description

基于深度Q网络的D2D-NOMA通信系统资源分配方法

技术领域

本发明涉及通信技术领域，具体是基于深度Q网络的D2D-NOMA通信系统资源分配方法。

背景技术

随着移动通信技术的不断发展，对于通信系统的数据传输速率、网络容量、频谱利用率等方面都有着更高的需求。因此，如何利用有限的带宽资源实现高频谱效率和高容量成为通信行业研究的重点。如何更加有效地利用现有的频谱资源、提升用户通信速率等成为第五代移动通信系统(the Fifth GenerationMobile Communication Systems,5G)亟待解决的核心问题。

用户之间的直接通信称为D2D通信。在D2D通信中，用户之间的频谱复用可以提高系统的能量效率和总速率。随着5G的发展，除了D2D技术之外的另一种新技术非正交多址接入技术(Non Orthogonal Multiple Access,NOMA)已经被提出，可以在满足用户体验需求的前提下，更加高效的利用频谱资源。NOMA在支持大规模连接和提高系统和速率方面很有潜力，实现一个新的多址接入功率维度。除了这些优点，NOMA技术还提高了小区内用户之间的公平系数。综上所述，D2D通信技术与NOMA技术都被认为是下一代通信网络关键技术之一。因此，将D2D和NOMA结合起来能大大提高未来移动通信系统的服务质量。然而，这些技术会增加小区内的干扰。如果不采用适当的资源管理，可能无法实现上述优势。因此，对其进行信道分配和功率分配十分有意义。

目前，将NOMA技术与D2D技术结合起来的研究已经取得一些成果，已经有研究者提出了基于NOMA技术的“D2D簇”的新场景，在簇内D2D发射机可采用NOMA技术同时与两个接收机通信，且大多数研究集中在使用传统的匹配理论完成信道分配因子的求解，以及使用凸优化对功率分配因子求解。然而，这类NP难问题若使用传统方法解决，会计算复杂。

由上可见，现有的D2D-NOMA通信系统资源分配方法在大量用户以D2D-NOMA簇的形式接入网络时，在保证蜂窝用户的QoS需求的前提下，难以整个D2D-NOMA系统吞吐量达到最优，并且难以做到合理的功率分配，在满足应用NOMA技术的条件同时不便于协调蜂窝用户与D2D用户之间的干扰，因此难以得到广泛应用。

发明内容

本发明实施例的目的在于提供基于深度Q网络的D2D-NOMA通信系统资源分配方法，旨在解决以下问题：现有的D2D-NOMA通信系统资源分配方法在大量用户以D2D-NOMA簇的形式接入网络时，在保证蜂窝用户的QoS需求的前提下，难以整个D2D-NOMA系统吞吐量达到最优，并且难以做到合理的功率分配，在满足应用NOMA技术的条件同时不便于协调蜂窝用户与D2D用户之间的干扰，因此难以得到广泛应用。

本发明实施例是这样实现的，基于深度Q网络的D2D-NOMA通信系统资源分配方法，包括以下步骤：

S1：建立蜂窝网络下D2D-NOMA通信系统的网络模型：系统由M个蜂窝用户和N个D2D-NOMA簇构成，每个簇内包含一个D2D发射机和K个D2D接收机；

S2：计算蜂窝用户i被D2D-NOMA簇复用后的信干噪比以及第j个簇内第k个D2D接收机的信干噪比/>

S3：构建以最大化D2D用户总吞吐量为目标的优化问题；

S4：建立基于深度Q网络的马尔科夫模型；

S5：设计深度Q网络中的Behavior网络和Target网络；

S6：利用深度Q网络使智能体与环境交互，输出最优资源分配策略。

具体执行步骤为：第一步，随机初始化主网络的参数θ，根据θ初始化目标网络的参数θ’，初始化记忆单元D；第二步，根据a_i＝arg max_a Q(s_i,a|θ)选择资源分配动作a_i；第三步，执行a_i后，获得回报r和下一状态s'；第四步，将历史经验(s,a,r,s')存储到记忆单元D中；第五步，从D中随机抽取minibatch大小的样本集合；第六步，遍历所有的样本集合y_i＝r_i+γmax_a,Q'(s_i+1,a'|θ')；第七步，计算损失函数；第八步，使用梯度下降法更新值网络；第九步，每隔固定的迭代次数更新直到学习结束，θ’←θ；第十步，输出最优的资源分配策略，即信道分配和功率分配情况。

综上所述，本发明具有以下有益效果：对D2D-NOMA簇进行资源分配时考虑了蜂窝用户的QoS需求，有效协调了D2D用户与蜂窝用户之间的干扰，同时也保证了D2D用户的最低信噪比要求；在为D2D-NOMA簇中用户分配功率的过程中，保证了各个D2D用户最低信噪比要求，并且满足了应用NOMA技术对强弱用户的区分条件，提高了D2D用户的总吞吐量；基于深度Q网络的资源分配方法，最大化D2D用户的吞吐量，可以有效地提升频谱效率，提高了网络的智能性。

附图说明

图1为本发明实例的D2D-NOMA通信系统模型图。

图2为本发明实例的深度Q网络中的神经网络训练原理图。

图3为本发明实例的基于深度Q网络的资源分配系统流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述。

请参阅图1，本发明实施例提供的基于深度Q网络的D2D-NOMA通信系统资源分配方法，包括以下步骤：

S1：建立蜂窝网络下D2D-NOMA通信系统的网络模型：系统由M个蜂窝用户和N个D2D-NOMA簇构成，每个簇内包含一个D2D发射机和K个D2D接收机；

单小区上行传输场景，小区内有M个蜂窝用户以传统的蜂窝模式与基站BS通信，设C表示一组蜂窝用户，表示为C＝{C₁,C₂···C_i···C_M}，每个蜂窝用户都分配一个信道，信道集合表示为SC_m∈SC,SC＝{SC₁,······,SC_M}，小区内有N个D2D-NOMA簇，在簇内D2D发射机与L个D2D接收机通信，设D表示一个D2D簇集合，记为D＝{D₁,D₂···D_j···D_N}，D2D接收机集合表示为{DR₁,···,DR_k,···,DR_L}。

S2：计算蜂窝用户i被D2D-NOMA簇复用后的信干噪比以及第j个簇内第k个D2D接收机的信干噪比/>

S3：构建以最大化D2D用户总吞吐量为目标的优化问题。

S4：建立基于深度Q网络的马尔科夫模型。

S5：设计深度Q网络中的Behavior网络和Target网络。

S6：利用深度Q网络使智能体与环境交互，输出最优资源分配策略。

需要了解的是：基于深度Q网络方法是一种深度强化学习方法，智能体可以根据自身的在线学习特征，与环境进行持续交互训练神经网络，并通过训练好的神经网络获得最优的资源分配策略。

在本发明的一个实施例中，请参阅图1，在步骤S2中，所述计算蜂窝用户i被D2D-NOMA簇复用后的信干噪比，以及组内接收机用户的信干噪比的具体步骤为：

蜂窝用户i被D2D-NOMA簇复用后的信干噪比表示为：

其中，蜂窝用户的发射功率用P_c表示，信道复用系数x_i,j∈{0,1}，若蜂窝用户i被D2D组j复用则为1，否则为0；本发明设定每个蜂窝用户信道可以被多个D2D-NOMA簇复用；g_i,B表示蜂窝用户i与基站之间的信道增益，h_j,B表示D2D簇j发射机与基站之间的信道增益，σ²表示用户受到的高斯白噪声。

在基于NOMA传输的D2D-NOMA簇内，根据NOMA传输机制对簇内的强用户进行低功率分配，对弱用户进行高功率分配，弱用户受强用户影响较小，可以直接解调自身信号，强用户通过串行干扰消除技术处理弱用户的信号，然后解调自身信号；本发明假设信道增益遵循g_j,1＜g_j,2······＜g_j,L，那么这些簇内接收机的功率遵循假设功率分配系数为a，有a_j,1＞a_j,2······＞a_j,L，/>存在1≤n≤k≤L，通过串行干扰消除技术，第k个用户可以解调出第n个用户的信号，并将第L个用户视为干扰。

基于上述条件，第j个簇内第k个D2D接收机的信干噪比为：

其中，表示一个D2D-NOMA簇中叠加的信号干扰；/>表示来自复用相同蜂窝信道的其它D2D-NOMA簇的干扰；/>表示来自蜂窝用户的干扰；同理，对于第l个D2D用户来说，已经不存在簇内干扰，由此可得出第j个簇内第L个D2D接收机的信干噪比/>为：

在本发明的一个实施例中，请参阅图1，在步骤S3中，所述构建以最大化D2D用户总吞吐量为目标的优化问题具体步骤为：

首先，根据蜂窝用户和D2D用户的信干噪比，可计算出各自的吞吐量为：

由此可得系统的D2D用户总吞吐量为：

在保证蜂窝用户和D2D用户的QoS条件下，构建了一个D2D用户总吞吐量最大化的优化问题：

表示蜂窝用户SINR阈值，/>表示D2D组总用户的SINR阈值；C1表示保证每个蜂窝用户满足自身QoS需求；C2表示保证每个D2D组中的用户满足各自的QoS需求；C3表示保证给每个用户的功率大于0且总功率固定为D2D的发射功率；C4表示信道复用系数的取值范围。

在本发明的一个实施例中，在步骤S4中，所述建立基于深度Q网络的马尔科夫模型的具体步骤为：

采用基于深度Q网络算法解决D2D-NOMA通信系统的资源分配问题，包括信道分配和功率分配；首先定义元组(S,A,P,)，S为有限状态集，A是有限动作集，P表示状态转移概率，/>是执行动作a(a∈A)后获得的即时奖励；本发明的模型中，每个D2D发射机都是一个智能体，与未知的环境交互获得经验然后迭代学习得到最优策略。

S：表示当前智能体与环境所处的状态集合，在每一个D2D-NOMA簇中，单独一个D2D簇通信状态可以表示为s_k∈S，所以本发明定义状态空间是一组可以通过D2D-NOMA簇通信观测到的状态。

A：动作a(a∈A)代表信道分配与功率分配过程的联合动作空间，在本发明的模型中，定义动作空间是一组资源分配因子(x_i,j,a_j,1,a_j,2······a_j,L)。

P表示状态转移概率，若智能体在决策时刻t执行了一个动作a_t，状态由S_t转移到下一个确定的状态S_t+1，此过程并不发生状态转移，此刻P(s_t+1|s_t,a_t)＝1；

回报函数反映强化学习的学习目标，本发明的目标是最大化D2D用户的总吞吐量。那么回报函数/>为：

在本发明的一个实施例中，请参阅图2，在步骤S5中，深度Q网络中的Behavior网络和Target网络是五层网络，有三层是用来提取特征的卷积层和两层全连接层，最后一层有两个向量，分别表示两个输出值，即可选信道的Q值和输出功率因子的Q值。

在本发明的一个实施例中，请参阅图3，在步骤S6中，深度Q网络算法把学习问题转化为函数拟合问题，将状态、动作、回报以及状态转移信息存储在记忆单元中作为历史样本数据，之后通过随机梯度下降法训练神经网络模型进行求解；其神经网络是双网络结构，包含生成现实值函数的主网络和生成目标值函数的目标网络，在D2D发射机与环境进行交互的过程中，D2D发射机按照主网络的预测结果执行资源分配策略a，环境反馈一个回报值r，并由这一状态转移到下一个状态，把历史经验(s,a,r,s')存储到记忆单元中，在之后的每一步学习过程中，都从记忆单元中抽取minibatch大小的历史样本集合，此时的主网络和目标网络的输入分别是这一状态s和下一状态s'，用θ来表示主网络的参数，用θ’来表示目标网络的参数，现实值函数可表示为Q(s,a)，目标值函数表示为Q_target＝r+γmax_a,Q(s',a')，其中Q(s',a')表示下一状态中最大的状态-动作值函数，损失函数采取平方误差损失函数表示为：

在深度Q网络中采取如下式子进行更新：

Q(s,a)＝Q(s,a)+α(r+γmax_a'Q(s',a')-Q(s,a))；

其中，α代表学习率，通常取很小的正值代表增量。γmax_a'Q(s',a')-Q(s,a)代表现实值函数与目标值函数间的差距。

具体执行步骤为：第一步，随机初始化主网络的参数θ，根据θ初始化目标网络的参数θ’，初始化记忆单元D；第二步，根据a_i＝argmax_a Q(s_i,a|θ)选择资源分配动作a_i；第三步，执行a_i后，获得回报r和下一状态s'；第四步，将历史经验(s,a,r,s')存储到记忆单元D中；第五步，从D中随机抽取minibatch大小的样本集合；第六步，遍历所有的样本集合y_i＝r_i+γmax_a,Q'(s_i+1,a'|θ')；第七步，计算损失函数；第八步，使用梯度下降法更新值网络；第九步，每隔固定的迭代次数更新直到学习结束，θ’←θ；第十步，输出最优的资源分配策略，即信道分配和功率分配情况。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.基于深度Q网络的D2D-NOMA通信系统资源分配方法，其特征在于，包括以下步骤:

S1：建立蜂窝网络下D2D-NOMA通信系统的网络模型：系统由M个蜂窝用户和N个D2D-NOMA簇构成，每个簇内包含一个D2D发射机和K个D2D接收机；

S2：计算蜂窝用户i被D2D-NOMA簇复用后的信干噪比以及第j个簇内第k个D2D接收机的信干噪比/>

S3：构建以最大化D2D用户总吞吐量为目标的优化问题；

S4：建立基于深度Q网络的马尔科夫模型；

S5：设计深度Q网络中的Behavior网络和Target网络；

S6：利用深度Q网络使智能体与环境交互，输出最优资源分配策略；

在步骤S2中，所述计算蜂窝用户i被D2D-NOMA簇复用后的信干噪比以及组内接收机用户的信干噪比的具体步骤为：

蜂窝用户i被D2D-NOMA簇复用后的信干噪比表示为：

其中，蜂窝用户的发射功率用P_c表示，信道复用系数x_i,j∈{0,1}，若蜂窝用户i被D2D组j复用则为1，否则为0；每个蜂窝用户信道可以被多个D2D-NOMA簇复用；g_i,B表示蜂窝用户i与基站之间的信道增益，h_j,B表示D2D簇j发射机与基站之间的信道增益，σ²表示用户受到的高斯白噪声；

第j个簇内第k个D2D接收机的信干噪比为：

其中，表示一个D2D-NOMA簇中叠加的信号干扰；/>表示来自复用相同蜂窝信道的其它D2D-NOMA簇的干扰；/>表示来自蜂窝用户的干扰；

在步骤S3中，所述构建以最大化D2D用户总吞吐量为目标的优化问题具体步骤为：

根据蜂窝用户和D2D用户的信干噪比，计算出各自的吞吐量为：

由此可得系统的D2D用户总吞吐量为：

在保证蜂窝用户和D2D用户的QoS条件下，构建了一个D2D用户总吞吐量最大化的优化问题：

表示蜂窝用户SINR阈值，/>表示D2D组总用户的SINR阈值；C1表示保证每个蜂窝用户满足自身QoS需求；C2表示保证每个D2D组中的用户满足各自的QoS需求；C3表示保证给每个用户的功率大于0且总功率固定为D2D的发射功率；C4表示信道复用系数的取值范围；

在步骤S4中，所述建立基于深度Q网络的马尔科夫模型的具体步骤为：

定义元组S为有限状态集，A是有限动作集，P表示状态转移概率，/>是执行动作a(a∈A)后获得的即时奖励；

每个D2D发射机都是一个智能体，与未知的环境交互获得经验然后迭代学习得到最优策略；

其中，S：表示当前智能体与环境所处的状态集合，在每一个D2D-NOMA簇中，单独一个D2D簇通信状态可以表示为s_k∈S；

A：动作a(a∈A)代表信道分配与功率分配过程的联合动作空间；

P：表示状态转移概率，智能体在决策时刻t执行了一个动作a_t，状态由S_t转移到下一个确定的状态S_t+1，此过程并不发生状态转移，此刻P(s_t+1|s_t,a_t)＝1；

回报函数反映强化学习的学习目标，回报函数/>为：

在步骤S5中，设计深度Q网络中的Behavior网络和Target网络的具体步骤为：

深度Q网络中的Behavior网络和Target网络是五层网络，其中三层是用来提取特征的卷积层，另外两层全连接层，且最后一层有两个向量，分别表示两个输出值，即可选信道的Q值和输出功率因子的Q值；

在步骤S6中，所述利用深度Q网络使智能体与环境进行交互，输出最优资源分配策略的具体步骤为：

将状态、动作、回报以及状态转移信息存储在记忆单元中作为历史样本数据；

通过随机梯度下降法训练神经网络模型进行求解。