CN109831808B - 一种基于机器学习的混合供电c-ran的资源分配方法 - Google Patents

Abstract

本发明是一种基于机器学习的混合供电C‑RAN的资源分配方法，涉及云无线接入网领域。基于无源光网络的云无线接入网加入能量收集模块后，存在资源利用不合理的问题。本发明针对具有能量收集能力的C‑RAN资源分配不合理的问题，提出一种基于机器学习的资源分配机制，首先基于装箱模型的贪婪算法优化资源池端的计算资源分配，建立前传连接，提高资源池端的资源利用率；然后利用机器学习建立能量到达率的模型并求解，并在此基础上通过强化学习来调度用户以及优化射频拉远端的资源分配，以达到提高网络能效的目的。

Description

一种基于机器学习的混合供电C-RAN的资源分配方法

技术领域

本发明涉及通信技术领域，尤其涉及云无线接入网中的资源分配方法。

背景技术

云无线接入网(Cloud Radio Access Network,C-RAN)是一种为了应对高速移动的数据业务和实现无缝覆盖的新型下一代接入网络，其通过将传统基站中的基带处理单元和前端无线发射单元从地理位置上分开，使用高带宽低时延光纤网络将两部分连接，构成一种分布式射频拉远头(Remote Radio Head,RRH)结合集中式基带处理单元(BasebandUnit,BBU)的架构，由于时分复用无源光网络(Time Division Multiplexed PassiveOptical Network,TDM-PON)具有高能效、低延迟以及高传输容量的特点，将其作为前传网络连接BBU与RRH。然而C-RAN中大规模部署的RRH会导致能耗的增加以及碳足迹的激增，因此，C-RAN能耗增加的问题亟待解决。

为了解决上述问题，将能量收集(Energy Harvesting,EH)能力加入RRH中，使RRH不但可以由传统电力网直接供电，而且还能够从环境能源中收集绿色可再生能量，从而减少传统能源的消耗。目前，国内解决C-RAN能耗问题的方法主要是通过优化资源分配方案努力提高可再生资源利用率以降低能耗。基于单用户无线通信场景，现有方法提出为用户设备添加能量收集能力，然后使用排队模型调度业务分组，降低网络能耗。基于双用户无线通信场景，现有方法提出发射机使用混合能源供电，然后对传输功率进行动态决策，通过合理分配混合功率资源，实现功耗的降低。基于点对点无线通信网络，现有一种功率分配算法，该算法基于用户具有的能量收集功能。

这些方法都是在网络具有能量收集的基础上进行的研究。然而，上述方法总是假定设备的能量收集效率是已知或固定的，但实际情况是网络设备的能量收集效率是与周边环境与时间息息相关的，同时这些方法对于RRH下用户数量以及BBU与RRH之间的映射关系对网络资源分配的影响未进行分析。

发明内容

本发明所要解决的技术问题：在实际环境中，网络设备收集可再生能量的效率随着时间的变化而变化，同时C-RAN集中式的架构与传统蜂窝网络的结构有所不同，因此，适用于传统蜂窝网络的资源分配方法无法不适用于C-RAN的结构。针对上述问题，为了适应C-RAN集中式的新架构，提出一种基于机器学习的混合供电C-RAN的资源分配方法。

本发明解决其技术问题所采用的技术方案：通过确定RRH与BBU的映射关系来确定BBU资源池端的资源分配。因为在下行数据传输时，BBU可以通过TDM-PON网络将数据传送至任意RRH，在上行数据传输时，RRH将数据传输至数据中心的BBU，数据可以在BBU之间可以进行转移，因此BBU可以与任意RRH连接，那么可以通过聚合RRH业务来提高BBU端计算资源利用率，从而减少活跃BBU数量，进一步减少网络的能量消耗。通过装箱模型描述BBU计算资源分配问题，并确定确定RRH与BBU的连接关系，其中BBU的计算能力为箱子容量，每个RRH计算资源需求为物品大小。

针对RRH在不同时间EH效率不同的问题，采用机器学习中的回归分析方法计算出不同时间下能量到达率。因为RRH与用户之间的无线信道质量随着环境的变化而变化，用户的调度也随着用户负载变化而改变，而强化学习则强调如何基于环境而动，以取得最大化的预期效益。因此提出了一种基于强化学习行动者评论家框架的异步优势动作评价算法分配RRH资源以及调度用户，行动者部分采用策略梯度方法直接求解最优策略，即求解从状态到动作的一个映射，行动者按照梯度不断更新，得到最终策略，但采用策略梯度方法容易陷入局部最优解的困境，则评论家使用优势函数的方法评估行动者部分的策略，改善局部最优问题。

本发明旨在提高具有EH能力的C-RAN的资源利用率，达到节能减排的目的。首先根据每个RRH对计算资源的需求，动态分配BBU计算资源，确定BBU与RRH的连接关系，然后对RRH处的能量到达率采用机器学习线性回归模型建模，经过学习现有能量到达率的特征，并适时修正以达到预测可再生能量到达率目的，基于上述结果，通过机器学习中强化学习使无线信道状态与网络进行交互，然后采用基于行动者评论家框架的异步优势动作评价算法确定用户调度方案以及RRH资源分配方案。

附图说明

图1基于混合供电的C-RAN架构。

图2具有能量收集功能的RRH逻辑功能模块。

图3系统流程图

具体实施方式

以下结合附图和具体实施例对本发明的实施做具体的描述。

图1中基于TDM-PON的C-RAN网络结构主要由增加了EH模块的RRH，集中式BBU资源池以及连接二者的TDM-PON组成。集中式基站资源池主要由一系列通用服务器组成，每个物理通用服务器的计算能力是相同的，并且其可以智能地进行统一的用户调度和资源分配决策。TDM-PON由光线路终端(Optical Line Terminal,OLT)，光网络单元(OpticalNetworkUnit,ONU)以及光分路器组成。

图2具有EH能力的RRH逻辑功能由三个模块组成：第一个模块由EH设备和转化器组成，EH设备从环境中收集太阳能、风能以及电磁能等可再生能源，转换器完成直流信号到无线射频信号的转换以及其它形式能量到电能的转换；第二个模块是能量缓存单元，主要用来存储前一个逻辑功能模块转化来的电能；第三个模块是信号发射器，包括收发器和通信天线，其主要用于向用户发送数据或从用户接收数据，本文在物理层采用正交频分复用技术，因此，多个用户可以同时在不同子载波上与RRH通信。基于TDM-PON的C-RAN资源分配具体过程如下：

首先分配BBU资源池端计算资源，提高其资源利用率，减少活跃BBU数量。记L_Z为BBUz的计算资源，RRHn的计算资源需求为l_n，对l_n按值的大小从低到高进行排序得到RRH需求集合L＝{l₁,l₂,……,l_n}，并设置初始BBU集合B_E和目标BBU集合B_A，其中初始BBU集合包括已激活的所有BBU设备，目标BBU集合为空。集合L中的元素按从后到前的顺序进行处理，对所有元素，首先遍历集合B_E，寻找满足条件L_z>l_n的BBU，并将所有符合条件的BBU放入目标集合B_A，若不存在满足条件的BBU，则在资源池中心激活一个BBU并与目标RRH建立连接，同时将其放入B_E中。对目标集合B_A，遍历其中元素，通过判决式L＝min{l_n+L₁,l_n+L₂,…}寻找最佳BBU。

通过上述方法寻找到目标BBU，建立一个目标RRH与目标BBU的连接。重新初始化集合B_A为空，将目标RRH从L集合中删除得到新的L集合，并更新目标BBU的可用计算资源L_z＝L_z-l_n。当L_z＝0时，将目标BBU从B_E集合中删除，得到新的B_E集合，重复执行以上操作直到集合L为空。

确定BBU与RRH之间映射关系后，接着计算不同时间下RRH的能量到达率。因为一天之内绿色能源在8-18时间段内较集中，占据整天收集到的大部分，同时其左右对称，从峰值处分别向左右两侧逐渐下降，综上所述的数据特性，可以认为其分布大致服从正态分布，因此能量到达率的回归模型可以表示为：

其中μ代表函数的期望即一天之内能量到达率的平均值，σ²表示函数的方差即能量的集中程度。该回归模型是一个一元非线性回归模型，那么为了简化求解过程，利用一系列数学手段将上述一元非线性回归模型转换为多元线性回归模型。

令v′(t)＝lnv(t)，

那么a′＝lna，将v′(t)和a′代入公式(1)，则其可以改写为v′(t)＝a′-πe^2a′(t-μ)²＝-πe^2a′t²+2μtπe^2a′-πe^2a′μ²+a′,令变量t₂＝t²,t₁＝t,b₂＝-πe^2a′，b₁＝2πμe^2a′,b₀＝a′-πμ²e^2a′，代入前式可得能量到达率的二元线性回归模型：

v′(t)＝b₂t₂+b₁t₁+b₀ (2)

因此，通过求取回归方程(2)的回归系数b₂，b₁，b₀可以求得原始回归方程的解。在回归模型中，通常采用均方误差

来量化实际值与预测值之间的误差。其中

和vⁱ(t)分别表示取的第i个数据的真实值和预测值，

和

代表基于第i个数据的时间下的自变量t₁，t₂。

令B＝(b₂,b₁,b₀)，

则误差函数的向量形式为e＝(V_r-TB)^T(V_r-TB)。在预测模型中，为了使得预测值尽量逼近真实值，那么误差e需要尽可能地小。观察上述变量T，可以发现它是一个满秩矩阵，因此可以使用最小二乘法求解B。分别对b₂，b₁，b₀求偏导，同时令偏导值为0，得到回归系数的最优解

进而求得原始回归方程的的变量

和

计算得到不同时刻能量到达率后，使用机器学习的方法分配RRH上的无线资源以及调度用户。首先用数据速率、时延以及中断概率量化用户的QoS，令γ_k,sum为用户k的总数据速率，数据传输过程中用户k未成功接收到的概率定义为

从RRH到用户的时延定义为tr_k。

因为每个RRH的资源是有限的，那么用户的数量对其资源的分配是有重大的影响的，设k_n(t)∈{0,1,…,K}为在时隙t时RRH_n下的用户集合，且有

在下行链路传输时，令RRHn在时隙t分配给用户k的传输功率为p_n,k(t),因此平均信噪比为：

其中g_n,k(t)是用户在时隙t时RRHn到用户k的平均信道增益，分母第一项是其它RRH对用户k的干扰，p_i(t)是其它RRH发射的总功率，

是用户k的高斯白噪声的方差。每个RRH的带宽资源为W，平均分给每条子信道的带宽为B′，令b_k(t)∈{0,1,…W/B′}，那么用户k获得的带宽资源为

因此用户的信息速率可以表示为：

r_k,sum(t)＝b_k(t)B′log₂(1+γ_k(t)) (4)

用户成功接收所有子信道的的数据视为本次传输成功，因此每次传输时，用户的中断概率为所有子信道传输失败概率之和，令

表示传输给用户k的第i条子信道的中断概率，因此用户k的中断概率可以表示为：

因为路程、环境等各种原因导致每条信息到达用户的时间不一致，为了保障成功率，因此取所有子信道中耗时最长的子信道时延为用户k的时延tr_k，即：

tr_k＝max{tr_k,1,…,tr_k,W/B′} (6)

根据以上分析，本文定义参数O量化用户的QoS，O值越大表示用户的QoS越好，反之O值越小，用户的QoS越差，因此参数O定义为：

因为可再生资源的运营成本是可以忽略不计的，那么在能耗的成本函数中把其记为零。为了最大化可再生资源的利用率并且保障设备的正常运行，维持RRH基本运转的能量来自于传统电网，那么RRH的总能耗公式：

本方法的目标是在有限的资源下提升用户QoS，保障网络性能，减少传统能量的消耗。因此定义一个参数ρ_t，其为用户QoS的O值与传统能量消耗的比值，当参数ρ_t越大时网络性能越好，因此本节基于用户QoS的RRH资源分配策略的最优化目标即最大化参数ρ_t，其在时隙t的表达式为：

确定优化目标之后，采用机器学习中的强化学习对RRH端无线资源以及用户进行有效的调度。令s_t表示当前时隙t的状态，S则表示其状态空间。根据以上分析可知，网络状态由无线信道的平均信噪比以及能量到达率确定，v(t)是归一化数值，那么时隙t的网络状态可以定义为：

s_t＝(γ₁(t),γ₁(t),…,γ_k(t),v₁(t),v₂(t),…v_n(t)) (10)

由于状态中的每个元素都是连续变化的，其处于某个特定状态的概率为零。令a_t∈A是时隙t进行的动作，f为状态转移密度函数，其定义了状态空间中从当前状态s_t转移到下一状态s′的概率分布，基于马尔科夫性质，对于连续状态转移空间的状态转移概率表示为：

行动者网络会决策出时隙t每个RRH下有多少个用户以及每个用户拥有的功率和带宽资源。因此，其在时隙t时的行为a_t可以定义为：

a_t＝(u_n(t),b_k(t),p_n,k(t)) (12)

其中u_n(t)表示RRHn下的用户数量，观察式(12)可以发现行为是一个向量，由用户数量u_n(t)，子信道数量b_k(t)，以及传输功率p_n,k(t)组成。由以上分析可知，当网络处于状态s_t并执行动作a_t时，网络会收到反馈收益ρ_t。每个状态的值不仅由当前状态决定，还受后面状态的影响，所以将状态的累积奖励求期望可得当前状态s的状态值：

其中E[·]表示取均值，β是一个折扣系数。状态动作值函数Q^π(s,a)是计算基于策略π的状态s采取动作a获得的收益：

本部分采用梯度法求解最优策略，该方法利用参数进行对目标函数的逐步改进与优化。对于状态空间或动作空间巨大的问题来说，采用梯度法求解是比较常用的处理方式，因为其在求解时不受其状态空间或者动作空间的大小影响，定义一个函数表示一个策略从初始状态开始的所有状态下的平均奖励，令d^π(s)表示状态s分布函数，则该函数可以表示为：

J(π)＝E[Q^π(s,a)]＝∫_Sd^π(s)∫_Aπ(a|s)Q^π(s,a)dads (15)

使用参数θ＝(θ₁,θ₂…,θ_n)^T构建策略π，同时定义π_θ(s,a)＝Pr(a|s,θ)，假设参数化之后的策略π在参数θ为非零时是可微的，则目标函数的梯度如下所示：

目标函数J(π_θ)的局部最大值通过递增策略的梯度来求解，参数θ的梯度更新公式：

其中α_a,t>0是策略的更新速率，当其足够小时可以避免策略动荡，一般取α_a,t＝0.01。本文使用高斯概率分布来制定用于选择动作的随机策略，因此策略π可以表示为：

μ(s)是该状态的确定性动作的平均值，σ₁是探索过程中所有行为的标准偏差，上式表示当状态分布为高斯分布时，它选择行为a的概率。

评论家网络评估行动者网络得到的策略π的性能。因为贝尔曼方程无法实现无穷多个状态和行为的评估，需要将状态值函数和状态动作值函数近似。基于特征的线性近似方法被广泛应用于值函数的近似，且其在收敛性和稳定性方面表现优秀，因此对状态值函数V(s)和状态动作值函数Q(s,a)采用基于特征的线性近似。令w＝(w₁,w₂…,w_n)^T，z＝(z₁,z₂…,z_n)^T分别为状态值函数和状态动作值函数的参数，处于状态s的状态值函数V(s)的特征向量为

对应状态并进行动作a的状态动作值函数特征向量为Φ(s,a)＝(φ₁(s,a),φ₂(s,a),…,φ_n(s,a))^T，则状态值函数和状态动作值函数的线性近似函数可以分别表示为：

时间差分(Temporal Difference,TD)误差是近似值与真实值之间的误差，本文使用TD更新并评估值函数。给定状态转移样本(s_t,a_t,ρ_t+1,s_t+1,a_t+1)，根据上述函数可以得到状态值函数和状态动作值函数的TD误差表达式分别为：

令α_c,t>0为值函数评估功能的学习速率，为了避免震荡，其值一般是很小的，但过小又会出现长时间不能收敛的问题，影响其执行效率，因此在确定其值时需要综合考虑，一般取为α_c,t＝0.02。那么广泛使用的线性函数近似法的参数向量w和z可以用下式更新：

因为在状态s下，假设动作1的Q值是3，动作2的Q值是1，状态s的价值V是2，如果仅使用Q作为动作的评价，那么动作1和动作2的概率都会增加，但实际上我们知道唯一要增加出现概率的是动作1，因此为了使算法取得更好的效果，异步优势动作评价算法在动作价值Q的基础上，使用优势函数作为动作的评价，

A＝Q_z(s,a；z)-V_w(s,w) (22)

根据优势函数，可以将梯度的更新公式改写为：

根据优势函数评价输出动作，如果动作是好的，那么调整行动网络，根据上述公式调整参数值，使该动作出现的可能性增加。反之如果动作是坏的，则使该动作出现的可能性减少，通过反复的训练，找到最优的动作。

通过以上分析可得图3的基于机器学习的混合供电C-RAN的资源分配方案流程，首先确定BBU与RRH的映射关系，然后计算出不同时刻下能量到达网络的能量到达率，接着量化用户QoS并建立网络能耗模型，最后通过强化学习的机器学习模型分配RRH端资源。

Claims (1)

1.一种基于机器学习的混合供电C-RAN的资源分配方法，其特征在于，确定BBU与RRH之间的映射关系，完成BBU处的资源分配，计算具有能量收集功能的RRH处能量到达率，根据RRH处能量到达率，使用机器学习的方法确定RRH的资源分配以及用户调度；

其中，所述BBU处资源分配过程为：若L_z＞l_n，则根据判决式L＝min{l_n+L₁,l_n+L₂,…}确定最佳BBU_z与RRH映射关系，若L_z＜l_n，则激活一个休眠BBU，使之与对应RRH映射，其中，所述L_z为BBU的计算资源，所述l_n为RRH_n的计算资源需求；

其中，所述能量到达率的计算过程为：RRH的能量到达率回归模型为函数v(t)，其中

其中μ代表函数的期望，即一天之内能量到达率的平均值，σ²表示函数的方差，即能量的集中程度；通过数学变换，将能量到达率的一元非线性回归模型改写为二元线性回归模型函数v′(t)，具体操作如下：令v′(t)＝lnv(t)，

那么a′＝ln a，将v′(t)和a′代入v(t)，将v(t)改写为v′(t)＝a′-πe^2a′(t-μ)²＝-πe^2a′t²+2μtπe^2a′-πe^2a′μ²+a′,令变量t₂＝t²,t₁＝t,b₂＝-πe^2a′,b₁＝2πμe^2a′,b₀＝a′-πμ²e^2a′，则可得到能量到达率的二元线性回归函数v′(t)＝b₂t₂+b₁t₁+b₀；在回归模型中采用均方误差e来量化实际值与预测值之间的误差，其中所述均方误差

其中

和vⁱ(t)分别表示取的第i个数据的真实值和预测值，

和

代表基于第i个数据的时间下的自变量t₁,t₂；通过最小二乘法计算回归系数，具体操作为：分别对b₂,b₁,b₀求偏导，同时令偏导值为0，则回归系数最优解为

进而计算得到σ和μ，其中，

以及

其中，RRH资源调度过程为：量化用户QoS为O_k，其中

其中，用户k的中断概率表示为：

表示传输给用户k的第i条子信道的中断概率；用户k的时延tr_k为所有子信道中耗时最长的子信道时延；根据网络能耗表达式得到优化目标ρ_t，其中，

采用机器学习的方法确定RRH资源分配以及用户调度，具体包括：当前状态s的状态值线性近似函数为V_w(s)，其中

其中，状态s的状态值函数V(s)的特征向量为

其中，令w＝(w₁,w₂…,w_n)^T，z＝(z₁,z₂…,z_n)^T分别为状态值函数和状态动作值函数的参数；对应状态并进行动作a的状态动作值函数特征向量为Φ(s,a)＝(φ₁(s,a),φ₂(s,a),…,φ_n(s,a))^T；状态s采取动作a获得的收益的线性近似函数为Q_w(s,a)，其中

对输出动作进行好坏评估，评估函数为优势函数A＝Q_z(s,a；z)-V_w(s,w)，如果动作使得网络收益增加，那么调整行动网络使该动作出现的可能性增加，反之如果动作使得网络收益减少，则使该动作出现的可能性减少，通过反复的训练，不断调整网络找到最优的动作。

Images