CN110769514A

CN110769514A - 一种异构蜂窝网络d2d通信资源分配方法及系统

Info

Publication number: CN110769514A
Application number: CN201911088002.XA
Authority: CN
Inventors: 田杰; 支媛; 边际; 乔静萍
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2019-11-08
Filing date: 2019-11-08
Publication date: 2020-02-07
Anticipated expiration: 2039-11-08
Also published as: CN110769514B

Abstract

本公开提供了一种异构蜂窝网络D2D通信资源分配方法及系统，在构建的异构蜂窝网络中引入毫米波频段用于D2D用户的通信，构建蜂窝通信模式和毫米波通信模式；计算不同通信模式下蜂窝用户和D2D用户接收到的干扰功率、信噪比与传输速率，并根据干扰功率、信噪比和传输速率建立D2D用户的效用函数；在满足蜂窝用户和D2D用户服务质量需求的情况下，利用构建的深度强化学习模型，根据D2D用户的当前状态，以D2D用户的效用最大化为目标进行D2D用户的通信模式和信道的选择；本公开更加智能地解决D2D用户通信的资源分配问题，有效降低了网络通信开销，最大化用户效用，提升了网络整体性能。

Description

一种异构蜂窝网络D2D通信资源分配方法及系统

技术领域

本公开涉及无线通信技术领域，特别涉及一种异构蜂窝网络D2D通信资源分配方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

随着互联网时代的发展，移动设备和应用程序的数量不断增长，现有的蜂窝网络存在频谱资源短缺，负载过重等问题，无法满足无线网络服务需求和不断增长的速率要求。因此，当前的蜂窝通信系统需要发展到下一代(5G)无线通信系统，以提供更高的系统容量和用户数据速率。将D2D通信技术引入蜂窝网络引起了当前研究的广泛关注，并成为5G无线通信系统中的一项关键技术。设备到设备(D2D，device-to-device)通信技术是指通信网络中近邻设备之间直接交换数据信息的技术。在蜂窝网络中引入D2D通信，对提高系统吞吐量，减轻网络负担，降低时延等方面具有明显优势。但在异构蜂窝网络中，当D2D用户复用蜂窝用户频谱时，设备之间将不可避免的产生干扰问题，而干扰产生的本质就在于资源配置的不合理。因此，如何有效的进行资源管理成为当前研究的热点问题之一。

为了在资源管理的过程中，更好地满足不同用户的服务质量需求并优化设备间的干扰，在异构蜂窝网络中引入毫米波频段。毫米波(mm-Wave)通信具有频谱宽，可靠性高，方向性好(适合短距离点对点通信)，波长短等优势，已成为5G通信系统中的关键技术之一。在异构蜂窝网络中引入毫米波通信，D2D用户利用毫米波频段进行通信，能够在减少干扰的同时，提高传输的可靠性与速率。

本公开发明人发现，(1)现有的对于引入毫米波频段的异构蜂窝网络中的D2D通信资源分配，大部分采用启发式算法、博弈论等优化算法来最大化系统的吞吐量，上述方法往往获得次优解，难以达到网络最优；(2)现有的集中式的资源分配方法需要在基站收集准确的瞬时全局信道状态信息，以进行集中的资源分配，所需开销较大。

发明内容

为了解决现有技术的不足，本公开提供了一种异构蜂窝网络D2D通信资源分配方法及系统，在引入毫米波频段的异构蜂窝网络中，利用分布式多智能体深度强化学习(DQN，Deep Q Network)的方法更加智能地解决D2D用户通信的资源分配问题，有效降低了网络通信开销，最大化用户效用，提升了网络整体性能。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种异构蜂窝网络D2D通信资源分配方法。

一种异构蜂窝网络D2D通信资源分配方法，步骤如下：

在构建的异构蜂窝网络中引入毫米波频段用于D2D用户的通信，构建蜂窝通信模式和毫米波通信模式；

计算不同通信模式下蜂窝用户和D2D用户接收到的干扰功率、信噪比与传输速率，并根据干扰功率、信噪比和传输速率建立D2D用户的效用函数；

在满足蜂窝用户和D2D用户服务质量需求的情况下，利用构建的深度强化学习模型，根据D2D用户的当前状态，以D2D用户的效用最大化为目标进行D2D用户的通信模式和信道的选择。

作为可能的一些实现方式，所述异构蜂窝网络包括至少一个基站、多个蜂窝频段、与蜂窝频段个数相同的蜂窝用户、多个D2D用户以及多个毫米波频段。

作为可能的一些实现方式，所述D2D用户只能选择一种通信模式下的一条信道进行通信；如果D2D用户选择在蜂窝模式下通信，则D2D用户共享一个蜂窝用户的上行链路，每个蜂窝用户占用一条信道，每条信道可被多个D2D用户复用，其中蜂窝上行通信链路采用正交频分复用技术；如果D2D用户选择在毫米波通信模式下通信，D2D用户占用毫米波频段中的一个频段进行通信。

作为可能的一些实现方式，异构蜂窝网络系统中D2D用户的传输速率，具体为：

其中，定义二进制变量δ_d，当δ_d＝1时，D2D用户利用蜂窝频段通信，否则δ_d＝0利用毫米波频段通信，P_out：d，d表示在毫米波模式中D2D用户d的发送器和接收器之间的视线(LOS)路径中的阻塞概率，

为D2D用户接收到来自复用同一信道的蜂窝用户和其他D2D用户的干扰时的传输速率，

为D2D用户接收到来自共用同一毫米波频段的其他D2D用户的干扰时的传输速率。

作为进一步的限定，蜂窝用户和D2D用户的最小服务质量约束为：

SINR_c为蜂窝用户接收到来自与蜂窝用户复用同一信道的D2D用户的干扰时的信噪比，

为D2D用户接收到来自复用同一信道的蜂窝用户和其他D2D用户的干扰时的信噪比，

为D2D用户接收到来自共用同一毫米波频段的其他D2D用户的干扰时的信噪比。

作为进一步的限定，所述D2D用户的效用函数，具体为：

其中，ρ_d＞0是单位传输速率的收益，λ_d是单位传输功率的价格，

为D2D用户利用蜂窝频段通信时的传输功率，

为D2D用户利用毫米波频段通信时的传输功率。

作为可能的一些实现方式，所述深度强化学习模型为用于D2D资源分配的分布式多智能体深度强化学习模型，具体构建方法为：

针对预设时隙，定义状态空间、行动空间和奖励函数；

在预设时隙内，D2D用户作为智能体，从状态空间中观察到一个状态，然后根据策略和当前状态从动作空间中选择一个动作，所述动作为D2D用户选择合适的通信模式和信道；

然后执行动作，并转移到新的状态，并得到一个奖励值，智能体根据获得的奖励值调整策略，逐步收敛以获得最优奖励。

作为进一步的限定，所述分布式多智能体深度强化学习模型引入经验回放机制，具体为：把每次迭代智能体和环境交互得到的经验样本数据存储到经验池中，当需要进行网络训练时，从经验池中随机抽取小批量数据进行训练；

作为进一步的限定，所述奖励函数具体为：

其中，Φ_d＞0表示D2D用户的动作选择成本，

为预设时隙内的D2D用户的效用函数。

本公开第二方面提供了一种异构蜂窝网络D2D通信资源分配系统。

一种异构蜂窝网络D2D通信资源分配系统，包括：

蜂窝网络构建模块，被配置为：在构建的异构蜂窝网络中引入毫米波频段用于D2D用户的通信，构建蜂窝通信模式和毫米波通信模式；

数据处理模块，被配置为：计算不同通信模式下蜂窝用户和D2D用户接收到的干扰功率、信噪比与传输速率，并根据干扰功率、信噪比和传输速率建立D2D用户的效用函数；

资源分配模块，被配置为：在满足蜂窝用户和D2D用户服务质量需求的情况下，利用构建的深度强化学习模型，根据D2D用户的当前状态，以D2D用户的效用最大化为目标进行D2D用户的通信模式和信道的选择。

本公开第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的异构蜂窝网络D2D通信资源分配方法中的步骤。

本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的异构蜂窝网络D2D通信资源分配方法中的步骤。

与现有技术相比，本公开的有益效果是：

1、本公开在引入毫米波频段的异构蜂窝网络中，利用分布式多智能体深度强化学习(DQN，Deep Q Network)的方法更加智能地解决D2D用户通信的资源分配问题，有效降低了网络通信开销，最大化用户效用，提升了网络整体性能。

2、本公开所述的内容充分考虑了蜂窝模式下的蜂窝链路对D2D链路的干扰，D2D链路对蜂窝链路的干扰，D2D链路对其他D2D链路的干扰以及毫米波模式下的D2D链路对其他D2D链路的干扰，从而对引入毫米波频段的异构蜂窝网络中的干扰方式进行了更为全面的表征，从而能够更高效和准确的进行D2D用户的通信资源分配。

3、本公开在异构蜂窝网络中，建立了D2D用户的效用函数，考虑在满足用户服务质量需求的情况下，实现网络效用的最优化，从而以效用最优化的方式进行通信模式和信道的选择，实现了通信模式和信道的寻优。

4、本公开所述的分布式多智能体DQN算法引入了经验回放机制，把每次迭代智能体和环境交互得到的经验样本数据存储到经验池中，当需要进行网络训练时，从经验池中随机抽取小批量数据进行训练，解决了模型难收敛和损失值持续波动的问题。

5、本公开通过构建用于D2D资源分配的分布式多智能体深度强化学习模型，在一个时隙，D2D作为智能体，从状态空间中观察到一个状态，然后根据策略和当前状态从动作空间中选择一个动作，所述动作为D2D用户选择合适的通信模式和信道，然后执行动作，并转移到新的状态，并得到一个奖励值，智能体根据获得的奖励值调整策略，逐步收敛以获得最优奖励，从而能够利用训练好的深度学习模块通过D2D用户的当前状态，快速的得出最佳选择策略。

附图说明

图1为本公开实施例1所述的适用毫米波频段的异构蜂窝网络的结构示意图。

图2为本公开实施例1所述的异构蜂窝网络D2D通信资源分配方法流程示意图。

图3为本公开实施例1所述的分布式多智能体深度强化学习模型示意图。

图4为本公开实施例1所述的分布式多智能体深度强化学习算法流程示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1：

如图1-4所示，本公开实施例1提供了一种异构蜂窝网络D2D通信资源分配方法，主要包括如下过程：

过程1：在异构蜂窝网络中引入毫米波频段。

异构蜂窝网络包括一个基站(BS)，K个蜂窝频段，K个蜂窝用户，D个D2D用户，蜂窝用户集合可表示为C＝{c₁，c₂，...，c_K}，D2D用户集合可表示为D＝{d₁，d₂，...，d_D}；对于毫米波频段的部分，假设有M个mm-wave频段表示为M＝{m₁，m₂，...，m_M}。

网络中每个D2D用户存在两种操作模式：蜂窝通信模式与毫米波通信模式，D2D用户只能选择一种模式下的一条信道进行通信。

如果D2D用户选择在蜂窝模式下通信，则说明D2D用户在小区中共享一个蜂窝用户的上行链路，每个蜂窝用户占用一条信道，每条信道可被多个D2D用户复用，其中蜂窝上行通信链路采用正交频分复用技术。否则，D2D用户占用毫米波频段中的一个频段进行通信。

过程2：针对异构蜂窝网络中存在的干扰，计算不同模式下用户接收到的干扰功率、信噪比与传输速率。

(1)蜂窝通信模式下需要考虑三种干扰：蜂窝链路对D2D链路的干扰，D2D链路对蜂窝链路的干扰，D2D链路对其他D2D链路的干扰；毫米波通信模式下考虑一种干扰：D2D链路对其他D2D链路的干扰。

(2)在蜂窝通信模式，采用瑞利信道模型来捕捉由于阴影和衰减引起的小尺度衰落，同时还考虑了基于距离的路径损耗。

对于通信链路i，分别用s_i和r_i表示它的发送器和接收器。d_ii表示发送者s_i和接收者r_i之间的距离，α表示路径损耗指数，h_ii表示发送者s_i和接收者r_i之间的信道增益，G_t(i，i)G_r(i，i)表示发送者s_i和接收者r_i之间的天线增益。P_c表示蜂窝用户c的传输功率，表示D2D用户d利用蜂窝频段进行通信时的传输功率，定义二进制变量x_c，d，当x_c，d＝1时，D2D用户d与蜂窝用户c共享同一信道，否则x_c，d＝0。

对于蜂窝用户c，BSb处接收来自与蜂窝用户c复用同一信道的D2D用户d的干扰功率用

表示：

利用干扰功率，可以得到BSb处的SINR，用SIN R_c表示：

其中，N_c是蜂窝网络的噪声功率谱密度，W_c是蜂窝子载波带宽。

根据香农定理，蜂窝用户c的传输速率U_c可表示为：

U_c＝W_clog₂(1+SIN R_c)

D2D用户d接收到的来自复用同一信道的蜂窝用户c和其他D2D用户d′的干扰功率用

表示：

利用干扰功率，可以得到D2D用户d接收的SINR，用

表示：

D2D用户d的可实现传输速率

可表示为：

(3)在毫米波通信模式，对于通信链路i，分别用s_i和r_i表示它的发送器和接收器。d_ii表示发送者s_i和接收者r_i之间的距离，α表示路径损耗指数；G_t(i，i)G_r(i，i)表示发送者s_i和接收者r_i之间的天线增益。

表示D2D用户d利用毫米波频段进行通信时的传输功率，定义二进制变量x_m，d，当x_m，d＝1时，D2D用户d利用毫米波频段m进行通信，否则x_m，d＝0。

D2D用户d接收到的来自共用同一毫米波频段的其他D2D用户d′的干扰功率用

表示：

其中，k₀是常系数，与

成正比(λ表示波长)，ρ表示与来自不同链路的信号相关的多用户干扰(MUI)因子。

可以得到D2D用户d的接收的SINR，用

表示：

其中，N_m表示噪声功率谱密度，W_m是毫米波通信的带宽。

因此，mm-wave频段中D2D用户d的可实现传输速率

可表示为：

(4)结合蜂窝模式中的

和毫米波模式中的可以获得异构蜂窝网络系统中D2D用户d的传输速率，用U_d表示：

其中，定义二进制变量δ_d，当δ_d＝1时，D2D利用蜂窝频段，否则δ_d＝0利用毫米波频段通信；P_out：d，d表示在毫米波模式中D2D用户d的发送器和接收器之间的视线(LOS)路径中的阻塞概率；阻塞的概率主要是为了更好地反映毫米波链路的特性，例如毫米波链路容易被各种障碍物阻挡；它可以表示为

其中l_ij是用户设备i和j之间的距离，β是用于反映障碍物密度和大小的参数，其导致由堵塞引起的中断。

(5)在异构蜂窝网络中，考虑在满足用户服务质量需求的情况下，实现网络效用最优化。

蜂窝用户c和D2D用户d的最小服务质量约束可表示为：

D2D用户d的总成本可定义为：

其中，λ_d是D2D用户d的单位传输功率的价格。

定义D2D用户d的效用函数为可实现的收益与成本之间的差异：

其中，ρ_d＞0是单位传输速率的收益。

(6)在满足用户服务质量需求的情况下，优化问题的目标是最大化其用户的利润，即：

max{ω_d}

过程3：提出在引入毫米波频段的异构蜂窝网络D2D通信的资源分配方法。

针对时隙t，定义状态空间，行动空间和奖励函数，构建分布式多智能体深度强化学习算法模型：

构建用于D2D资源分配的分布式多智能体深度强化学习模型，基本流程是：在一个时隙t，D2D作为智能体，从状态空间S中观察到一个状态s^t，然后根据策略和当前状态从动作空间中选择一个动作a^t，即D2D用户选择合适的通信模式和信道，然后执行动作a^t，并转移到新的状态s^t+1，并得到一个奖励值r^t，智能体根据获得的奖励值调整策略，逐步收敛以获得最优奖励。

(1)定义D2D用户为智能体；

(2)状态空间：

单个D2D用户的状态可以描述为：

x_ms表示观察到D2D用户d选择的通信模式，x_ch表示观察到D2D用户d复用的信道，x_cq表示所选信道的质量(SINR)；

(3)行动空间：

单个D2D用户的行动可以描述为：

其中y_ms表示D2D用户d选择的通信模式，y_ch表示D2D用户d选择的信道。

(4)奖励函数：智能体通过与环境的相互作用最大化其奖励来做出决策，考虑每个智能体选择动作时可能会消耗某些成本，因此将奖励函数定义为：表示D2D用户d可实现的利润与动作选择成本之间的差异；

其中，Φ_d＞0表示D2D用户d的动作选择成本。该奖励保证了用户的最低速率约束并获得D2D用户的最大效用。

分布式多智能体DQN算法通过结合Q-learning算法、经验回放机制以及基于卷积神经网络(CNN)生成目标Q值等技术，实现了深度学习与强化学习的融合。

分布式多智能体DQN算法使用一个权重参数为θ的CNN作为动作值函数的网络模型，Q(s，a，θ)≈Q^π(s，a)，使用另一个CNN作为目标网络模型Q(s，a，θ^-)，随后定义损失函数

目标网络为：TargetQ＝r+γmax_a′Q(s′，a′，θ-)，根据损失函数更新目标网络的参数，经过每C轮迭代后，将动作值函数的网络模型的相关参数传递给目标网络。

为了解决模型难收敛、损失值持续波动的问题，分布式多智能体DQN算法引入经验回放机制：把每次迭代智能体和环境交互得到的经验样本数据存储到经验池中，当需要进行网络训练时，从经验池中随机抽取小批量数据进行训练。

(5)具体算法实施过程如下：

1)：初始化容量为N的经验池D，用于存储训练样本；

2)：设状态值函数Q作为预测网络，并随机初始化权重参数θ；

3)：设状态值函数

作为目标网络，初始化权重参数θ^-等于θ；

4)：设定迭代次数M；

5)：定义环境初始状态K个蜂窝频段，K个蜂窝用户，D个D2D用户，M个毫米波频段，智能体通过与环境的交互学习得到初始状态s₁，并预处理得到φ₁＝φ(s₁)；

6)：初始化时隙t＝1到T；

7)：以∈的概率随机选择一个行动a_t，或者根据网络计算出当前动作对应的Q值，选择Q值最大的动作作为最优动作a_t＝max_aQ^*(φ(s_t)，a；θ)；

8)：D2D用户执行行动a_t(即：智能体(D2D用户)选择模式与分配信道)，得到反馈的状态s_t+1和回报r_t；

9)：基于新的状态s_t+1，预处理得到φ_t+1＝φ(s_t+1)；

10)：将获得的参数{φ_t，a_t，r_t，φ_t+1}存储到经验池D中；

11)：随机从经验池D中随机采样一小批信息；

12)：计算每一个状态的目标值，通过目标网络

执行动作后的奖励r_j更新Q值；

13)：根据损失函数，基于小批量样本采用随机梯度下降的算法更新Q网络的权重参数θ；

14)：每经过C次迭代后，更新目标动作值函数

的权重参数θ^-←θ；

15)：返回7)直至t＝T；

通过分布式多智能体DQN算法，得出最佳选择策略。

实施例2：

本公开实施例2提供了一种异构蜂窝网络D2D通信资源分配系统，包括：

实施例3：

本公开实施例3提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的异构蜂窝网络D2D通信资源分配方法中的步骤。

实施例4：

本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的异构蜂窝网络D2D通信资源分配方法中的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims

1.一种异构蜂窝网络D2D通信资源分配方法，其特征在于，步骤如下：

2.如权利要求1所述的异构蜂窝网络D2D通信资源分配方法，其特征在于，所述异构蜂窝网络包括至少一个基站、多个蜂窝频段、与蜂窝频段个数相同的蜂窝用户、多个D2D用户以及多个毫米波频段；

或者，所述D2D用户只能选择一种通信模式下的一条信道进行通信；如果D2D用户选择在蜂窝模式下通信，则D2D用户共享一个蜂窝用户的上行链路，每个蜂窝用户占用一条信道，每条信道可被多个D2D用户复用，其中蜂窝上行通信链路采用正交频分复用技术；如果D2D用户选择在毫米波通信模式下通信，D2D用户占用毫米波频段中的一个频段进行通信。

3.如权利要求1所述的异构蜂窝网络D2D通信资源分配方法，其特征在于，异构蜂窝网络系统中D2D用户的传输速率，具体为：