CN109474960A - 一种基于q学习的双连接流量分配方法 - Google Patents

Abstract

本发明提出了一种基于Q学习的双连接流量控制方法。该方法在用户同时和主、从基站连接的情况下，以数据传输的业务时延最小为目的，采用Q学习方法得到网络发送给用户的业务流量在两个网络间进行分配的最优策略。系统状态空间为三维数组S＝{s_m，s_s，s_a}，s_m和s_s分别代表主基站队列和从基站队列中包括正在接收的分组在内的所有分组的数目，s_a代表到达流量的分组数目。动作集合定义为A，不同动作分别表示有多少分组分配给主基站和从基站。回报函数定义为两条支路时延差值的函数，差值越小回报函数越大。利用训练好的Q矩阵可以很容易从任意状态出发快速找到双连接的最佳流量分配策略，实现了多网络间系统资源的优化使用，达到了时延敏感业务的QOS要求。

Description

一种基于Q学习的双连接流量分配方法

技术领域

本发明涉及移动通信网络中的双连接技术领域，尤其是一种基于Q学习的双连接流量分配方法。

背景技术

双连接(DC，Dual-Connectivity)是3GPPRelease-12版本引入的重要技术。通过双连接技术，LTE宏基站和小基站可以利用现有的非理想回传(backhaul)接口实现载波聚合，从而为用户提供更高的速率，以及利用宏/微组网提高频谱效率和负载平衡。支持双连接的终端可以同时连接两个LTE基站，增加单用户的吞吐量。

在5G网络的部署过程中，5G小区既可以作为宏覆盖独立组网，也可以作为小站对现有的LTE网络进行覆盖和容量增强。无论采用哪种组网方式，双连接技术都可以用来实现LTE和5G系统的互连，从而提高整个移动网络系统的无线资源利用率，降低系统切换的时延，提高用户和系统性能。

3GPP Release-14在LTE双连接技术基础上，定义了LTE和5G的双连接技术。LTE/5G双连接是运营商实现LTE和5G融合组网、灵活部署场景的关键技术。在5G早期可以基于现有的LTE核心网实现快速部署，后期可以通过LTE和5G的联合组网来实现全面的网络覆盖，提高整个网络系统的无线资源利用率、降低系统切换时延以及提高用户和系统性能。

5G核心网的部署，一种可能的LTE和5G融合方式是将演进的LTE(eLTE,enhancedLTE)eNB连接到5G核心网上。这种场景下，根据MeNB是eLTE eNB还是5G gNB，3GPP定义了两种不同的LTE/5G双连接模式。一种模式是5G gNB作为MeNB，称为模式4/4a。另一种模式是以eLTE eNB作为MeNB，称为模式7/7a/7x。双连接模式7/7a/7x和双连接模式3/3a/3x在协议架构上很相似，区别在于核心网是5G核心网还是LTE核心网。

在LTE/5G双连接下，上行用户面数据总是通过MeNB来传输。作为MeNB的基站会建立一个分离式承载，用于下行用户面数据路由和转发，下行用户面数据路由和转发的工作由PDCP层完成。分离式承载下的PDCP层会决定将下行PDCP PDU发给本地的RLC层，还是通过回程接口转发给从基站。分离式承载下的PDCP层的数据路由和转发主要实现两个功能：一是时延估计和数据发送路径选择；二是流量控制。其目标是尽量让通过不同路径发送出去的PDU经历相同的时延，从而减少终端侧PDCP层的分组重排序来提升TCP性能。

3GPP仅仅对各种不同模式下的LTE/5G双连接的协议架构进行了定义，要真正实现LTE和5G双连接还有许多关键性技术需要突破，回程接口的流量控制就是需要解决的一个重要问题。

近年以来，强化学习在人工智能所充当的角色越来越重要了，很多研究机构和高校都采用强化学习实现高性能的系统。

强化学习(Reinforcement Learning，RL)可以从延迟的回报中获取最优的控制策略。一个可学习的智能体，它可以观察环境的状态并能做出一组动作改变这些状态，学习的任务是获得一个控制策略，以选择能达到目的的行为。RL因其自适应性和灵活性，被广泛地应用于机器人和自动控制领域，并被引入到解决移动通信网络的资源优化问题。

强化学习的基本原理是若智能体(Agent)的某个动作策略导致环境产生正的奖赏(强化信号)，那么Agent以后采取这个动作策略的趋势便会加强，反之采取这个动作策略的趋势就会减弱，这和生理学中的条件反射原理是接近的。

基本的强化学习模型是由反映当前环境情况的状态集合S＝{s1,s2,…,sn}，学习者可执行的动作集合S＝{a₁,a₂,…,a_n}，回报函数(强化信号)r和学习者的策略π：S→A等基本要素构成。

Q学习是强化学习中最典型的一个算法。Q函数Q(s,a)表示在状态s下执行动作a，以及采取后续策略的折扣奖赏和的期望。该定义当前状态和动作的Q值包含了所有需要的信息，以确定在状态s下选择动作a时，将来会获得的折扣累积回报。Q值函数的学习是通过Q值迭代来完成的。每次迭代更新一个Q(s,a)，为了能更新所有的Q(s,a)，Agent需要不断地与环境交互。当Q值函数经过多次迭代后，所有的Q值都不再发生较大的变化时，即可认为Q值函数收敛，Q学习结束。它在每一次的迭代中，首先感知当前的环境状态s∈S，并查找相应的所有Q值，根据当前的策略π选择动作a作用于环境，a∈A；环境状态会由此变化为s′∈S，同时根据所执行动作的效果获得一个强化信号(称为“回报函数”)r(s,a)；学习者便据此按照下式更新其策略，并进入下一次迭代：

其中，α为学习率，α∈[0,1)。随着t→∞，若每对(s,a)的Q值能够经历无穷多次更新，且α递减至0，则Q_t(s,a)将以概率1收敛到最优值Q^*(s,a)。如此循环下去，通过不断地“试错”学习，最终目标是找到每个状态的最佳策略π*(s)∈A，以最大化期望的长期累积回报。

此时，最优策略π*可以由下式得到。

在迭代时用到的是后继动作值函数中的最大值，跟当前选择动作的策略无关，因此Q学习被认为是离策略的算法，Q学习的收敛性并不依赖于动作空间的探索方法。

发明内容

发明目的：为解决移动通信网络中用户和主基站、从基站双连接的情况下，网络发送给一个用户的业务流量如何在两个网络间进行分配，从而实现在双连接同时传输的情况下业务时延最小的技术问题，本发明提出一种基于Q学习的双连接流量分配方法。

技术方案：本发明提出的技术方案为：一种基于Q学习的双连接流量分配方法，该方法在用户同时和主、从基站连接的情况下，以数据传输的业务时延最小为目的，采用Q学习方法得到网络发送给用户的业务流量在两个网络间进行分配的最优策略，包括步骤：

(1)参数设置：记主、从基站中可用资源块的数目分别为N_m和N_s，设置学习率α、折扣因子γ、动作选择的探索概率ε和迭代次数t；构建系统的状态空间S、动作集合A和回报函数r；状态空间S通过三维数组{s_m,s_s,s_a}描述系统所有状态，其中，s_m和s_s分别表示已分配给主、从基站的分组的数目，s_a代表待分配表示的分组的数目；动作集合A的表达式为A＝{a₀,a₁,a₂…,a_n}，a₀,a₁,a₂…,a_n分别表示不同的分配方案，n为分配方案的总数；回报函数r的表达式为：D_m表示主基站支路时延，D_s表示从基站本身的时延，D_b表示从基站回程链路的时延；

(2)初始化Q值表，使Q值表中的每一个元素Q(s,a)都为零或者随机值，s为系统的一个状态，s∈S；初始化α＝α₀、γ＝γ₀、ε＝ε₀；α₀、γ₀、ε₀为符合系统要求的常数；

(3)获取系统当前状态s；根据当前时刻的系统的状态，采用探索概率ε，从动作集合中选取动作a并从Q值表中查找相应的Q值Q(s,a)；

(4)执行动作a，计算执行动作a后获得的回报值r_t(a)；根据动作a执行的结果得到下一状态s′，从Q值表中找到状态s′的动作值函数的最大值maxQ_t(s',a')，a'∈A，a′为maxQ_t(s',a')对应的动作；

更新动作函数值为：

其中，t表示当前时刻，t+1表示下一时刻；

(5)步骤(4)结束后，更新α和γ，α和γ均为负指数函数，随时间增大逐渐减小；

(6)更新Q值表中相应的动作函数值；根据更新后的Q值表，找到状态s的动作值函数的最大值计算最优的Q值为：

(7)重复执行步骤(3)至(6)，直至最优的Q值Q^*(s,a)收敛，然后输出各个状态s的最优动作，即

进一步的，所述动作集合A中的各个分配方案的含义为：a₀表示拒绝所有的分组在主、从基站之间分配；a_i表示将n-i个分组分给主基站，将i-1个分组分给从基站，i＝1,2,…,n。

进一步的，所述主基站支路时延D_m的计算方法为：

D_m＝D₁+D₂

其中，y₁＝s_m，y₄＝N_m，y₇为执行动作a后分给主基站的分组数，μ_m为主基站资源块服务速率。

进一步的，所述从基站本身的时延D_s的计算方法为：

D_s＝D₃+D₄

其中，y₂＝s_s，y₅＝N_s，y₈为执行动作a后分给从基站的分组数，μ_s为从基站资源块服务速率。

有益效果：与现有技术相比，本发明具有以下优势：

本发明将人工智能应用到双连接场景的流量控制问题，能够提高决策效率，可以最大程度提高主基站和从基站的资源利用率，同时实现了分流后的两条支路时延差最小化。是一种有效的网络资源分配方法。

附图说明

图1本发明系统模型图；

图2为回报函数的计算流程图；

图3为主基站支路延时的计算流程图；

图4为从基站支路延时的计算流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1所示，基于Q学习的多连接流量控制问题解决方案有如下特点：

(1)问题建模：把双连接流量分配问题建模为两个M/M/n队列，n对应基站可用的资源块的数目。因此，主基站的队列为M/M/N_m，从基站的队列为M/M/N_s。

(2)Q学习中状态空间的定义：根据每个队列中分数的数目和系统到来的突发分组数目，建立状态空间S，S通过三维数组{s_m,s_s,s_a}描述系统所有状态，即每个状态s用一组三维数字表示；其中，s_m和s_s分别表示已分配给主、从基站的分组的数目，s_a代表待分配表示的分组的数目。例如s＝{5，3，4}表示主基站队列有5个分组，从基站队列有3个分组，进入系统的分组有4个。

(3)Q学习中动作集合的定义：动作集合定义为A＝{0，1，2，...，n}，不同动作分别表示有多少分组分配给主基站和从基站。n＝s_a+1，s_a代表到达系统的分组数目。a＝0表示拒绝所有的分组；a＝1表示s_a个分组全部分配给主基站；a＝2表示s_a-1个分组分配给主基站、1个分组分配给从基站；a＝3表示s_a-2个分组分配给主基站、2个分组分配给从基站；以此类推，a＝n表示s_a个分组全部分配给从基站。例如：s_a＝3，a＝2,则分配2个分组给主基站，分配1个分组给从基站。

(4)Q学习中回报函数的定义：回报函数定义为主基站支路时延和从基站支路时延的函数。从基站支路的时延包括从基站本身的时延和回程链路的时延。设回报函数为r，符号D_m、D_s和D_b分别表示主基站、从基站和回程链路的时延，则回报函数采用式(1)计算，为两个支路时延差的倒数。因此，时延差越小，则回报函数越大，保证了分流的结果使得两个支路的时延最接近，减少了终端对分组的排序时间。

(5)本发明中各支路时延的计算：主基站和从基站的时延由进入系统的最后一个分组的响应时间来决定，一个分组的响应时间包括排队时延和服务时延。设当前系统状态为S＝{y₁，y₂，y₃}，主基站系统的资源数为N_m＝y₄，从基站系统的资源数为N_s＝y₅。设动作y₃分配给主基站的分组数为y₇，分配给从基站的分组数为y₈。则D_m(y₁)＝D₁+D₂，D₁为等待时间，D₂为服务时间。同理则D_s(y₂)＝D₃+D₄+D_b，D₃为等待时间，D₄为服务时间。D_m和D_s的计算方法见图2、图3、图4所示：

主基站支路时延D_m的计算方法为：

D_m＝D₁+D₂

其中，y₁＝s_m，y₄＝N_m，y₇为执行动作a后分给主基站的分组数，μ_m为主基站资源块服务速率。

从基站本身的时延D_s的计算方法为：

D_s＝D₃+D₄

其中，y₂＝s_s，y₅＝N_s，y₈为执行动作a后分给从基站的分组数，μ_s为从基站资源块服务速率。

例如，设系统的N_m＝8，N_s＝3，队列长度N＝8，当前系统状态为s＝{5，3，4}。若采取了动作a＝2，则分配1个分组给从基站、分配3个分组给主基站，从而系统的下一状态为：s_a＝0，s_m＝8，s_s＝4。因此相关的时延分别为：D_m(5)～exp(1(μ_m))，D_s(3)～exp(1(3μ_s))+exp(1/(μ_s))。这两部分的时延均包括等待时间和服务时间，主基站因为系统资源数为8，则不没有等待时间，分组到来后直接服务，服务时间服从exp(1/(μ_m))分布；从基站因此资源数为3，分配来的分组需要等待前面3个分组服务结束后才能得到服务，因此从基站支路的等待时间服从exp(1/(3μ_s))分布、服务时间服从exp(1/(μ_s))分布。

(6)主基站系统和从基站系统中每个窗口的服务率用μ_m和μ_s表示，统一为μ_i,i∈{m,s}。μ_i采用式(2)计算。

式中，1/μ'是分组信息的平均长度，单位为比特/分组，C_i是链路i的容量或速率，单位为比特/秒。

(7)链路i的容量C_i可以采用香农公式计算，如式(3)所示。f_i为该链路的频段宽度，不同系统(5G、4G)中链路的频带宽度可能会不一样。SINR_i为该链路的信号干扰噪声比。如果主基站和各从基站的频率使用各不相同，则SINR_i主要考虑信道增益。信道增益可以使用WINNER公式来计算，WINNER B1描述了城市中宏小区与小小区之间的信道模型，WINNER C2描述了城市中宏小区之间的信道模型。

C_i＝f_ilog₂(1+SINR_i),i∈{m,s} (3)

(8)基于Q学习的双连接流量分配方法步骤如下：

1)初始化Q(s,a)。初始化Q值表，可以令Q值表中每一个元素都为零或者是利用随机函数产生的值，设定初始学习率α和折扣因子γ，设定动作选择算法中的初始探索概率ε。初始概率的选择本实施例中采用Boltzmann搜索方法。

2)获取系统当前状态s。获取当前主基站队列中的分组数、从基站队列中的分组数和进入系统的分组数，从而判断系统当前所处的状态。

3)选择执行的动作a。

在每一个决策时刻，控制器根据当前系统状态采取一个动作使得系统变化到另外一个状态的概率值是确定的。设v(s₁，s₂)表示当前状态为s＝{s₁，s₂，j}时系统总的业务到达和离开率，则v(s₁，s₂)取值如式(4)所示，λ是业务到达速率。

v(s₁,s₂)＝λ+min(s_m,s₁)μ_m+min(s_s,s₂)μ_s (4)

设P_ss'(a)表示从状态s采取动作a后转移到状态s'的概率，则从状态s＝(s_m,s_s,-)采取动作a后到达状态s'＝(s_m',s_s',-)的概率如式(5)所示。

当系统总的到达和离开率给定后，给定当前状态S＝{s_m，s_s，s_a}和采取的动作a，则状态转移表1所示：

表1状态转移表

4)观察动作集合A＝{0，1，2，...，n}，根据当前时刻系统的状态，观察系统执行此动作后的动作函数值Q_t(s,a)，按式(4)给出Boltzmann搜索方法的概率来选择动作a，并执行该动作。该搜索方法中对状态-动作对的探索是由参数T控制的，T为温度系数，随迭代逐渐降为0。T越小，不同Q值导致的选择概率的差异就越大(Q值越大选择相应系统的概率就越高)；T越大，动作的选择就越不受Q值影响，所有动作就会采取几乎相等的概率被选择。

5)获取回报(奖赏)r和下一时刻的系统状态s'。根据动作执行的结果，按照式(3)计算获得的当前回报值r，并找到下一状态的动作值函数的最大值根据式(7)更新Q_t+1(s,a)。

6)系统参数更新。每轮迭代结束后，更新学习率和探索概率。为了满足Q学习的收敛性要求，可以设置它们以负指数规律随着学习的过程逐渐减少为0。

7)更新Q值表，最后找到最优的Q值。按式(8)计算，得到最优的Q值。

其中，为状态s的动作值函数的最大值；

重复执行步骤3)至6)，直至最优的Q值Q^*(s,a)收敛，然后输出各个状态s的最优动作，即

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于Q学习的双连接流量分配方法，其特征在于，该方法在用户同时和主、从基站连接的情况下，以数据传输的业务时延最小为目的，采用Q学习方法得到网络发送给用户的业务流量在两个网络间进行分配的最优策略，包括步骤：

(1)参数设置：记主、从基站中可用资源块的数目分别为N_m和N_s，设置学习率α、折扣因子γ、动作选择的探索概率ε和迭代次数t；构建系统的状态空间S、动作集合A和回报函数r；状态空间S通过三维数组{s_m,s_s,s_a}描述系统所有状态，其中，s_m和s_s分别表示已分配给主、从基站的分组的数目，s_a代表待分配表示的分组的数目；动作集合A的表达式为A＝{a₀,a₁,a₂…,a_n}，a₀,a₁,a₂…,a_n分别表示不同的分配方案，n为分配方案的总数；回报函数r的表达式为：D_m表示主基站支路时延，D_s表示从基站本身的时延，D_b表示从基站回程链路的时延；

(2)初始化Q值表，使Q值表中的每一个元素Q(s,a)都为零或者随机值，s为系统的一个状态，s∈S；初始化α＝α₀、γ＝γ₀、ε＝ε₀；α₀、γ₀、ε₀为符合系统要求的常数；

(3)获取系统当前状态s；根据当前时刻的系统的状态，采用探索概率ε，从动作集合中选取动作a并从Q值表中查找相应的Q值Q(s,a)；

(4)执行动作a，计算执行动作a后获得的回报值r_t(a)；根据动作a执行的结果得到下一状态s′，从Q值表中找到状态s′的动作值函数的最大值maxQ_t(s',a')，a'∈A，a′为maxQ_t(s',a')对应的动作；

更新动作函数值为：

其中，t表示当前时刻，t+1表示下一时刻；

(5)步骤(4)结束后，更新α和γ，α和γ均为负指数函数，随时间增大逐渐减小；

(6)更新Q值表中相应的动作函数值；根据更新后的Q值表，找到状态s的动作值函数的最大值计算最优的Q值为：

(7)重复执行步骤(3)至(6)，直至最优的Q值Q^*(s,a)收敛，然后输出各个状态s的最优动作，即

2.根据权利要求1所述的一种基于Q学习的双连接流量分配方法，其特征在于，所述动作集合A中的各个分配方案的含义为：a₀表示拒绝所有的分组在主、从基站之间分配；a_i表示将n-i个分组分给主基站，将i-1个分组分给从基站，i＝1,2,…,n。

3.根据权利要求1所述的一种基于Q学习的双连接流量分配方法，其特征在于，所述主基站支路时延D_m的计算方法为：

D_m＝D₁+D₂

其中，y₁＝s_m，y₄＝N_m，y₇为执行动作a后分给主基站的分组数，μ_m为主基站资源块服务速率。

4.根据权利要求3所述的一种基于Q学习的双连接流量分配方法，其特征在于，所述从基站本身的时延D_s的计算方法为：

D_s＝D₃+D₄

其中，y₂＝s_s，y₅＝N_s，y₈为执行动作a后分给从基站的分组数，μ_s为从基站资源块服务速率。