CN111935753B - 一种负载均衡的用户关联与资源分配方法 - Google Patents

Abstract

本发明涉及一种负载均衡的用户关联与资源分配方法，属于通信技术领域。该方法对由于无线域的负载不均衡限制了网络整体的传输效率的问题，提出一种负载均衡的用户关联与资源分配方法。该发明的主要方法包括：根据不同用户的服务质量需求以及分布式无线射频头端(Remote Radio Head，RRH)的当前负载，设计用户收益函数。进而，在保证用户服务质量的前提下，考虑到当前网络状态对用户收益的影响，建立随机博弈模型，并基于多智能体Q学习算法进行用户关联和资源分配，从而在保证用户的服务质量前提下，实现网络的负载均衡，并提高网络吞吐量。

Description

一种负载均衡的用户关联与资源分配方法

技术领域

本发明属于通信技术领域，涉及一种负载均衡的用户关联与资源分配方法。

背景技术

越来越多的低延时的密集型的任务，如实时通讯，高清视频播放和游戏等，出现在日常生活中，大大增加了移动设备和网络在带宽方面的负担。与传统分布式无线接入网络(Distributed Radio Access Network,D-RAN)不同，云无线接入网(Cloud Radio AccessNetwork，C-RAN)将传统基站配置分解成集中式的基带处理单元(Baseband Unite，BBU)和分布式无线射频头端(Remote Radio Head，RRH)两个部分，且将多个BBU集中到BBU池中，以实现统计复用增益。专用光纤作为C-RAN的一种前传方案会带来巨大的部署成本。时波分无源光网络 (Timeand Wavelength Division Multiplexed Passive Optical Network，TWDM-PON)具有丰富的带宽资源，还有低成本、低延时、低能耗的优点。因此，TWDM-PON已被证明是C-RAN有前途的前传解决方案。使用TWDM-PON连接BBU池和RRH，不但可以降低系统升级和维护的资本和运营支出，还可以提高频谱利用率。

虽然TWDM-PON与C-RAN的联合架构具有丰富的带宽资源，然而无线域的传输容量有限，整体网络性能受到无线域传输能力的限制。传统的用户关联方法只根据信号的强弱关联RRH。这种方法虽然简单，但是会产生RRH负载不均衡的问题，造成频谱资源的浪费，并且忽略了不同用户的服务质量(Quality of Service，QoS)需求。通过对无线网络业务量的研究表明，随着RRH负载的增大，与其相关联的用户服务质量会随着下降。通过设计用户关联可以优化网络结构，提高无线域频谱资源利用率，进而提高网络吞吐量。因此用户关联在TWDM-PON 与C-RAN联合架构中具有重要意义。

发明内容

有鉴于此，本发明的目的在于提供一种负载均衡的用户关联与资源分配方法。

为达到上述目的，本发明提供如下技术方案：

一种负载均衡的用户关联与资源分配方法，首先根据不同用户的服务质量需求以及分布式无线射频头端RRH的当前负载，设计用户收益函数；在保证用户服务质量的前提下，考虑到当前网络状态对用户收益的影响，建立随机博弈模型，然后基于多智能体Q学习算法进行用户关联和资源分配；具体包括以下步骤：

采集用户状态信息和RRH状态信息：用户向RRH发送访问请求，其中包括用户状态信息，RRH将这些信息以及自身状态信息转发到集中控制器；

量化用户收益：集中控制器根据采集到的信息，量化用户不同关联状态下的收益；

最大化网络吞吐量：集中控制器分析计算用户收益和RRH资源分配，构建随机博弈模型，最大化网络吞吐量；

确定用户关联和资源分配策略：在保证用户服务质量的约束条件下，基于多智能体Q学习算法获得用户i与RRHj之间的关联状态和资源分配方案。

可选的，所述用户状态信息包括参数：用户坐标、速率请求和关联状态，其中使用二进制变量矩阵α＝{α_i,j(t)∈(0,1)}表示在时刻t用户i与RRHj之间的关联状态，当用户i在时刻 t与RRHj关联时α_i,j(t)＝1，否则α_i,j(t)＝0；

所述RRH状态信息包括参数：RRH坐标、信道增益和剩余资源块RB数量，其中RRHj拥有的RB为

RRHj的总发射功率是P_j，每个RB的功率为

可选的，所述量化用户不同关联状态下的收益具体为：在时刻t，RRHj可为用户i分配的RB数量为

r_i ^req(t)为用户i的速率需求，b表示每个RB的带宽，信噪比SINR，SINR_i,j(t)为：

其中α_i,j(t)为用户的关联状态，满足用户QoS时α_i,j(t)＝1，否则α_i,j(t)＝0，为用户分配的功率 p_i,j(t)＝n_i,j(t)×p_j，h_i,j(t)表示用户i与RRHj之间的信道增益，

是用户i和RRHj在 t时刻的欧几里德距离，路径损耗因子α＞2，σ²表示白噪声的功率谱密度；量化用户i在t 时刻与RRHj关联的收益为

可选的，所述最大化网络吞吐量具体为：每个用户在时刻t最多只能关联一个RRH，

且一个RB在同一时刻只能为一位用户提供服务，

RRH需要为用户足够的带宽资源n_i,j(t)blog₂(1+SINR_i,j(t))≥r_i ^req(t)，满足用户的QoS，根据以上约束将用户关联与资源分配问题抽象为最大化网络吞吐量的问题：

可选的，所述随机博弈模型具体为：利用有限状态的马尔可夫决策过程MDP，将联合优化问题表述为随机博弈MDP(S,A_i,P_ss′,V_i)；S是可能的状态集合，A_i表示集合中第i个用户的动作空间，P_ss′表示用户从状态s转换为状态s′的概率，V_i是第i个用户的收益；

定义每个用户在时刻t时的状态为s(t)＝{s₁(t),s₂(t)...s_n(t)}；其中s_i(t)∈{0,1}，当s_i(t)＝1 时意味着用户i的服务质量QoS需求得到了满足，当s_i(t)＝0时则说明没有满足用户i的QoS；定义每个用户的动作空间A_i＝{a_i,1(t),a_i,2(t),...,a_i,m(t)}，每个用户可能做出的动作数量与当前可关联的RRH数量相同，而且用户当前动作会影响下一时刻的网络状态；在任意时刻t，定义其他n-1个用户的动作为a_-i(t)＝{a₁(t),...,a_i-1(t),a_i+1(t),...a_n(t)}；当用户i采取行动a_i(t)时，则用户i在时刻t的收益为υ_i(t)，考虑到其他用户采取的动作a_-i(t)，则用户i的在t时刻的收益为

定义状态价值函数

是一个期望值，其中γ∈[0,1)是收益衰减因子，π_-i＝(π₁,...,π_i-1,π_i+1,...π_n)表示其他用户的策略向量；用户i通过在每个状态下获得最优的策略最优策略

最大化其在t时刻的状态价值函数

其中 u_i(s,π_i,π_-i)＝E[υ_i(s,π_i,π_-i)]；并得到最佳Q函数

可选的，所述确定用户关联和资源分配策略具体为：用户根据动作选择概率

选择动作；计算用户的状态价值函数

计算

并更新Q值表；若经过多次迭代后所有用户的QoS需求得到满足，则根据φ_i(s_i,a_i)得到各自的集中控制器根据用户关联策略进行资源分配，并将配置信息传送到底层物理网络，实现用户关联和资源分配。

本发明的有益效果在于：针对无线域的负载不均衡限制了网络整体的传输效率的问题，提供一种负载均衡的用户关联和资源分配方法，根据不同用户的服务质量需求以及RRH的负载，设计用户收益函数。进而，在保证用户服务质量的前提下，考虑到当前网络状态对用户的影响，建立了随机博弈模型，并基于多智能体Q学习算法进行用户关联和资源分配，从而在保证用户的服务质量前提下，实现网络的负载均衡，并提高网络吞吐量。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明的系统架构图；

图2为本发明中的算法流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

光与无线融合网络架构如图1所示，一种负载均衡的用户管理与资源分配算法如图2所示，优选的具体包含以下步骤：

1、数据采集：用户向RRH发送访问请求，RRH将接收到信号转发给与其直连的光网络单元(Optical Network Unit，ONU)。之后ONU使用通用公共无线接口(Common PublicRadio Interface，CPRI)将用户信息发送到集中控制器。

其中：

1)用户状态信息包括参数：用户坐标、速率请求、关联状态。在时刻t用户i与RRHj之间的关联状态使用二进制变量矩阵α＝{α_i,j(t)∈(0,1)}表示，当用户i在时刻t与RRHj关联时α_i,j(t)＝1，否则α_i,j(t)＝0；

2)RRH状态信息包括参数：RRH坐标、信道增益、剩余RB数量。用户i和RRHj之间的信道增益为h_i,j(t)，RRHjRRHj的总发射功率是P_j，每个RB的功率为

每个RB的带宽为b。

2、量化用户收益：集中控制器根据采集到的信息，量化用户不同关联状态下的收益。

其中：

1)根据公式(1)计算RRHj在t时刻为用户i提供服务的RB数量：

SINR_i,j(t)为t时刻用户i与RRHj之间的信噪比(Signal-to-Interference andNoise Ratio,SINR)：

是用户i和RRHj在t时刻的欧几里德距离，路径损耗因子α＞2，σ²表示白噪声的功率谱密度。

2)通过公式(3)量化用户i在t时刻与RRHj关联的收益：

3、最大化网络吞吐量：集中控制器分析计算用户收益和RRH资源分配，构建随机博弈模型，最大化网络吞吐量；

其中：

1)将用户关联与资源分配问题抽象为带约束条件的优化问题，如下式：

n_i,j(t)blog₂(1+SINR_i,j(t))≥r_i ^req(t) (7)

2)引入一种有限状态的马尔可夫决策过程(Markov Decision Process，MDP)，将联合优化问题表述为随机博弈MDP(S,A_i,P_ss′,V_i)。S是可能的状态集合，A_i表示集合中第i个用户的动作空间，P_ss′表示用户从状态s转换为状态s′的概率，V_i是第i个用户的收益。

定义每个用户在时刻t时的状态为s(t)：

s(t)＝{s₁(t),s₂(t)...s_n(t)} (8)

其中s_i(t)∈{0,1},当s_i(t)＝1时意味着用户i的QoS需求得到了满足，当s_i(t)＝0时则说明没有满足用户i的QoS。

则定义每个用户的动作空间A_i为：

A_i＝{a_i,1(t),a_i,2(t),...,a_i,m(t)} (9)

每个用户可能做出的动作数量与当前可关联的RRH数量相同，而且用户当前动作会影响下一时刻的网络状态。在任意时刻t，定义其他n-1个用户的动作为 a_-i(t)＝{a₁(t),...,a_i-1(t),a_i+1(t),...a_n(t)}。

当用户i采取行动a_i(t)时，则用户i在时刻t的收益为υ_i(t)，考虑到其他用户采取的动作 a_-i(t)，则用户i的在t时刻的收益可以表示为

3)状态价值函数V_i(s,π_i,π_-i)是一个期望值：

其中γ∈[0,1)是收益衰减因子，π_-i＝(π₁,...,π_i-1,π_i+1,...π_n)表示其他用户的策略向量。根据马尔可夫的性质，令u_i(s,π_i,π_-i)＝E[υ_i(s,π_i,π_-i)]，将状态价值函数表述为：

其中P_ss′(π_i,π_-i)是用户从状态s→s′的状态转移概率。每个用户的预期积累的收益由 V_i(s,π_i,π_-i)确定，并且每个状态可以从每个可能的策略获得即时奖励。若用户策略

中任意一个π_i均满足

则达到纳什均衡状态，其中

通过集中控制器可以获得全局信息，所有用户基于状态空间学习最优策略

用户i通过在每个状态下获得最优的策略

通过式(12)最大化其在t时刻的状态价值函数：

4)根据状态价值函数得到Q值函数：

最优的策略

可以通过

得到，即

因此最佳Q 值函数为：

5)将Q值的分级函数作为动作的概率，即：

用户根据式(15)计算所得概率进行动作选择。

4、确定用户关联和资源分配策略：在保证用户服务质量的约束条件下，基于多智能体Q 学习算法获得用户i与RRHj之间的关联状态和资源分配方案。具体包括以下步骤：

1)用户根据动作选择概率φ_i(s_i,a_i)选择动作；

2)计算用户的状态价值函数；

3)Q值函数更新方程：

其中δ表示Q_i(s,a_i)的更新学习速率，通过适当的设置δ，Q学习方法更新Q_i(s,a_i)时趋于收敛。根据Q值函数更新方程更新Q值表；

4)根据Q值表更新用户的动作选择概率φ_i(s_i,a_i)；

5)若经过多次迭代后所有用户的QoS需求得到满足，则根据φ_i(s_i,a_i)得到各自的动作；否则，直到达到最大迭代次数后根据φ_i(s_i,a_i)得到各自的动作。

6)根据用户关联策略进行资源分配，为用户分配RB资源的数量。

7)集中控制器并将配置信息传送到底层物理网络，实现用户关联和资源分配。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种负载均衡的用户关联与资源分配方法，其特征在于：

首先根据不同用户的服务质量需求以及分布式无线射频头端RRH的当前负载，设计用户收益函数；在保证用户服务质量的前提下，考虑到当前网络状态对用户收益的影响，建立随机博弈模型，然后基于多智能体Q学习算法进行用户关联和资源分配；具体包括以下步骤：

采集用户状态信息和RRH状态信息：用户向RRH发送访问请求，其中包括用户状态信息，RRH将这些信息以及自身状态信息转发到集中控制器；

量化用户收益：集中控制器根据采集到的信息，量化用户不同关联状态下的收益；

最大化网络吞吐量：集中控制器分析计算用户收益和RRH资源分配，构建随机博弈模型，最大化网络吞吐量；

确定用户关联和资源分配策略：在保证用户服务质量的约束条件下，基于多智能体Q学习算法获得用户i与RRHj之间的关联状态和资源分配方案；

所述量化用户不同关联状态下的收益具体为：在时刻t，RRHj可为用户i分配的RB数量为

r_i ^req(t)为用户i的速率需求，b表示每个RB的带宽，信噪比SINR，SINR_i,j(t)为：

其中α_i,j(t)为用户的关联状态，满足用户QoS时α_i,j(t)＝1，否则α_i,j(t)＝0，为用户分配的功率p_i,j(t)＝n_i,j(t)×p_j，h_i,j(t)表示用户i与RRHj之间的信道增益，

是用户i和RRHj在t时刻的欧几里德距离，路径损耗因子α＞2，σ²表示白噪声的功率谱密度；量化用户i在t时刻与RRHj关联的收益为

所述最大化网络吞吐量具体为：每个用户在时刻t最多只能关联一个RRH，

且一个RB在同一时刻只能为一位用户提供服务，

RRH需要为用户足够的带宽资源n_i,j(t)blog₂(1+SINR_i,j(t))≥r_i ^req(t)，满足用户的QoS，根据以上约束将用户关联与资源分配问题抽象为最大化网络吞吐量的问题：

所述随机博弈模型具体为：利用有限状态的马尔可夫决策过程MDP，将联合优化问题表述为随机博弈MDP(S,A_i,P_ss′,V_i)；S是可能的状态集合，A_i表示集合中第i个用户的动作空间，P_ss′表示用户从状态s转换为状态s′的概率，V_i是第i个用户的收益；

定义每个用户在时刻t时的状态为s(t)＝{s₁(t),s₂(t)...s_n(t)}；其中s_i(t)∈{0,1}，当s_i(t)＝1时意味着用户i的服务质量QoS需求得到了满足，当s_i(t)＝0时则说明没有满足用户i的QoS；定义每个用户的动作空间A_i＝{a_i,1(t),a_i,2(t),...,a_i,m(t)}，每个用户可能做出的动作数量与当前可关联的RRH数量相同，而且用户当前动作会影响下一时刻的网络状态；在任意时刻t，定义其他n-1个用户的动作为a_-i(t)＝{a₁(t),...,a_i-1(t),a_i+1(t),...a_n(t)}；当用户i采取行动a_i(t)时，则用户i在时刻t的收益为v_i(t)，考虑到其他用户采取的动作a_-i(t)，则用户i的在t时刻的收益为

定义状态价值函数

是一个期望值，其中γ∈[0,1)是收益衰减因子，π_-i＝(π₁,...,π_i-1,π_i+1,...π_n)表示其他用户的策略向量；用户i通过在每个状态下获得最优的策略最优策略

最大化其在t时刻的状态价值函数

其中

并得到最佳Q函数

所述确定用户关联和资源分配策略具体为：用户根据动作选择概率

选择动作；计算用户的状态价值函数

计算

并更新Q值表；若经过多次迭代后所有用户的QoS需求得到满足，则根据φ_i(s_i,a_i)得到各自的集中控制器根据用户关联策略进行资源分配，并将配置信息传送到底层物理网络，实现用户关联和资源分配。

2.根据权利要求1所述的一种负载均衡的用户关联与资源分配方法，其特征在于：

所述用户状态信息包括参数：用户坐标、速率请求和关联状态，其中使用二进制变量矩阵α＝{α_i,j(t)∈(0,1)}表示在时刻t用户i与RRHj之间的关联状态，当用户i在时刻t与RRHj关联时α_i,j(t)＝1，否则α_i,j(t)＝0；

所述RRH状态信息包括参数：RRH坐标、信道增益和剩余资源块RB数量，其中RRHj拥有的RB为

RRHj的总发射功率是P_j，每个RB的功率为

Images