CN108684046A - 一种基于随机学习的接入网服务功能链部署方法 - Google Patents

Abstract

本发明涉及一种基于随机学习的接入网服务功能链部署方法，属于无线通信技术领域。该方法为：针对5G云化接入网场景下物理网络拓扑变化引起的高时延问题，建立一种基于部分观察马尔可夫决策过程部分感知拓扑的接入网服务功能链部署方案。该方案考虑在5G接入网上行条件下，通过心跳包观测机制感知底层物理网络拓扑变化，由于存在观测误差无法获得全部真实的拓扑情况，因此采用基于部分观察马尔可夫决策过程的部分感知和随机学习而自适应动态调整接入网切片的服务功能链部署的部署，优化切片在接入网侧的时延。本发明是基于部分观察马尔可夫决策过程实现部分感知网络拓扑变化而决策出最佳服务功能链部署方式，实现动态部署，不仅优化时延还提高资源利用率。

Description

一种基于随机学习的接入网服务功能链部署方法

技术领域

本发明属于移动通信技术领域，涉及一种基于随机学习的接入网服务功能链部署方法。

背景技术

网络切片(Network Slicing，NS)是指在一个物理网络基础设施上建立若干个相互隔离的逻辑网络，每种逻辑网络服务一个特定应用场景。网络切片技术一方面可以满足未来移动通信的多样化服务需求，另一方面也可以使运营商降低网络基础设施建设成本和更加灵活部署网络，因此被视为5G的关键技术之一。在推进切片技术商用的进程中还存在许多问题，如切片资源管理、切片隔离、切片移动性管理、切片安全性等问题。切片资源管理问题主要是由于未来复杂多样的需求和海量的数据，在有限的网络资源上不合理的资源管理可能会带来时延高、可靠性差、资源利用率低等问题。

切片网络包含若干条相同服务类型的SFC，且每个SFC由若干有序VNF组成，切片资源管理问题核心在于如何为SFC进行部署。现有的SFC部署方案考虑在核心网(EvolutionPacket Core,EPC)一侧，优化SFC在EPC侧的时延等服务质量(Quality of Service,QoS)。基于近似马尔可夫模型为每一个服务功能链寻找一个固定资源分配策略，实际上SFC的数据包到达量会随时间发生变化，静态的部署策略无法实时保证QoS。基于遗传算法的资源分配模型实现SFC在核心网的动态部署而适应变化的数据到达量，但该算法局限于物理网络拓扑不变的情况，而在实际场景下物理网络可能受到随机环境因素的影响而发生变化，动态变化的网络拓扑可能会引起SFC失效、高时延和资源利用率低等问题。同时，上述文献的方案还只是对核心网切片的支持，由于5G接入网采用C-RAN架构，因此无法直接支持接入网切片中的SFC部署。

发明内容

有鉴于此，本发明的目的在于提供一种基于随机学习的接入网服务功能链部署方法，在云化的接入网场景的上行条件下，能够根据物理网络拓扑变化和SFC的变化数据到达量，自适应动态调整各切片的SFC部署方式，优化系统时延和提高资源利用率。

为达到上述目的，本发明提供如下技术方案：

一种基于随机学习的接入网服务功能链部署方法，包括以下步骤：

S1：针对5G云化接入网场景下物理网络拓扑变化引起的高时延问题，建立受约束的多目标接入网SFC部署的数学模型；

S2：感知底层物理节点从而获得网络拓扑变化，并分析观测误差；

S3：根据部分感知的网络拓扑变化和服务功能链的动态数据到达，建立部分可观察马尔可夫决策过程POMDP决策模型；

S4：针对POMDP的维度灾问题，设计高效的求解算法寻找最优的接入网SFC部署方式。

进一步，在步骤S1中，所述5G接入网切片的SFC部署的数学模型为：

基础设施层的服务器网络由带权值无向图G＝{N,L}，N＝N₁∪N₂表示服务器节点集并由DU池的节点集N₁和CU池的节点集N₂组成，L＝L₁∪L₂∪{l_NGFI}表示链路集且由DU池的链路集L₁、CU池的链路集L₂和下一代前传网络链路l_NGFI构成。是服务器节点n_k的计算资源容量，v_l表示链路l的带宽容量；

设接入网侧的切片集合为U，一个切片包含多个相同服务类型的SFC，表示切片u里的SFC集合，切片u里第m个SFC在时刻t的队列长度为q_u,m(t)且满足0≤q_u,m(t)≤n_q,n_q表示最大队列长度。

进一步，由于云化接入网的底层物理网络节点受到环境中随机因素的影响而失效而导致网络拓扑发生变化，所以接入网SFC部署时要考虑是否修复这些失效节点；在C-RAN架构下，存在CU池和DU池，接入网的SFC可以灵活的在CU池和DU池里部署VNF，不同的VNF部署方式影响后续的资源分配，因此接入网SFC部署过程的第二阶段为每一个切片选择合适的接入网VNF部署方式；第三阶段是为SFC的VNF在对应的资源池里分配计算资源和带宽资源，其中SFC中处在DU末端的VNF需要分配NGFI带宽资源将数据从DU传到CU。

进一步，在步骤S1中，涉及到修复节点带来的费用成本和时延，其中时延包括排队时延和DU到CU的调度时延，所述接入网SFC部署的优化目标：

max R(t)＝e₁R₁(t)+e₂R₂(t)

进一步，在步骤S2中，利用心跳包检测机制为物理网络的节点设置阈值，系统在阈值时间内未受到节点的心态包则判断该节点失效；并用正态分布概率密度函数分析误判失效误差

进一步，在步骤S3中所述的POMDP模型具体由六元组＜S,A,P,R,Z,O＞定义：

状态空间S

其中，Q为队列状态，为CU池和DU池的物理网络拓扑状态。表示包含所有SFC的队列状态空间，SFCm的队列长度Q_u,m满足0≤Q_u,m≤n_q,假设任意SFC在DU侧的队列长度处于离散的且队列最大长度相同，即N_Q＝{0,1,2,3,4,...,n_q}。表示物理网络拓扑的状态空间，表示节点i处于正常状态，表示节点处于失效状态。

动作空间A

A_α是节点修复动作，A'_α表示是否修复失效节点的行动空间，A'_α＝{0,1}，A_β是所有切片选择接入网VNF部署方式的动作，表示全部切片选择接入网VNF部署方式的行动空间，表示切片u选择的接入网VNF部署方式，A_χ是所有SFC的资源分配动作。

转移概率P

设转移概率为τ(s(t),a(t),s(t+1))，s(t)表示时刻t的系统状态，a(t)表示t时刻采取的动作，s(t+1)表示t+1时刻的系统状态，

其中，q(t)表示时刻t的系统队列状态，q(t+1)表示t+1时刻的系统队列状态，表示时刻t的物理网络拓扑状态，表示t+1时刻网络拓扑状态。

W_u,m(t)是第m个SFC在时刻t的数据到达量，设V_u,m(t)是时刻t的SFCm数据服务量且受该SFC分配的资源影响；

其中，和分别表示节点i在时刻t和t+1的状态。如果时刻t采取修复所有失效节点的动作，即a(t)＝(1,a_β(t),a_χ(t))，则下一时刻所有的服务器节点肯定都处于正常状态，即当时，其他为0。如果时刻t没有采取修复失效节点的动作，即a(t)＝(0,a_β(t),a_χ(t))，则当前时刻处于失效的下一时刻仍时失效的，即当当且仅当时对于当前时刻正常的节点受到环境随机因素可能会失效，即当时，

p_i表示在随机环境中下一时刻节点i失效的概率，则下一时刻正常的概率为1-p_i。

回报函数R

设t时刻的接入网侧SFC部署动作的回报函数R(s(t),a(t))为节点修复成本函数和系统总时延函数函数的加权和，即R(s(t),a(t))＝e₁R₁(t)+e₂R₂(t)

观测空间Z

其中Z_Q表示队列观测状态，Z'_Q表示系统对队列所有可能的观察的集合，由于队列状态是完全可知的，所以Z'_Q＝Q'；表示网络拓扑观测症状态，表示通过心跳包检测机制部分观察物理网络服务器节点时所有可能的观测结果的集合。

观测函数O

设观测函数其中z(t+1)表示t+1时刻的观测状态，z_q(t+1)表示t+1时刻的队列观测状态，表示t+1时刻的网络拓扑观测状态。当z_q(t+1)＝q(t+1)时，O(z_q(t+1),a(t),q(t+1))＝1，否则为0；

其中表示节点i在t+1时刻的观测状态。任意节点i(i∈N₁∪N₂)，如果采取的行动a(t)＝{1,a_β(t),a_χ(t)}则节点观测为正常状态，即时，其他情况为0。任意节点j(j∈N)，如果采取的行动a(t)＝{0,a_β(t),a_χ(t)}，实际失效的节点其观测状态肯定也是失效的，即当仅当时其余情况为0，而实际正常的节点其观测状态是失效时，即当时，

进一步，所述POMDP决策模型中马尔可夫链是各态历经的，利用贝尔曼迭代的方式获得最优的长远折扣期望回报，从而决策出稳定最优策略，因此POMDP决策模型将接入网SFC部署优化目标转化为：

进一步，在S4步骤中，所述基于点的混合启发式值迭代算法，选择值函数上下界较大的点来寻找最远后继信念点更新当前的探索信念点集合B_sub，然后基于B_sub更新值函数向量集Γ_t+1，反复执行上述两个过程直到Γ_t+1对应的值函数和Γ_t对应的值函数的差值小于既定的阈值为止。最后通过最优策略值迭代函数决策出每个时刻的最佳接入网SFC部署方式，时刻t的最优接入网部署方式Pr[z|b_t,a]表示观测状态为z的归一化因子，表示b_t的后继信念点在第k-1步的最优值函数。

本发明的有益效果在于：本发明在云化接入网场景下部署SFC时，综合考虑了接入网SFC可以灵活在CU和DU上部署VNF和根据物理网络拓扑变化与数据到达量的变化动态调整SFC部署方式，优化时延和提高资源利用率。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为可应用本发明场景示意图；

图2为本发明中的接入网VNF部署方式；

图3为本发明中POMDP决策过程示意图；

图4为本发明中基于点的混合值迭代算法流程示意图；

图5为本发明中更新探索信念点集流程示意图；

图6为本发明中更新值函数向量集流程示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1是可应用本发明实施的场景示意图。CU和DU设备都采用通用服务器而实现协议层功能虚拟化，且各自组成DU池和CU池，两者之间通过NGFI进行数据通信。在上行条件下，不同切片根据服务需求，可以灵活部署SFC的VNF，如图1中切片1的SFC2的VNF1部署在DU池，而切片2的SFC1把VNF1和VNF2都部署在DU池，其余在CU池实例化。同时考虑接入网的缓存功能，所以每个SFC在DU侧存在一个队列。

图2是本发明中的接入网VNF部署方式。在上行条件下的C-RAN架构中，接入网侧的SFC可以灵活在CU和DU上部署VNF，所以接入网VNF有多种部署方式。一方面不同的部署方式导致DU池和CU池承载的VNF数量不同从而影响各VNF的资源分配。另一方面各VNF之间的数据交互量不同，不同部署方式使SFC对DU和CU之间的NGFI的时延和带宽需求不同，从而影响SFC的NGFI带宽资源分配。

表1是本发明中各接入网VNF部署方式对NGFI带宽资源的需求。不同VNF之间的数据交互量，而采用不同的接入网VNF部署方式导致其NGFI带宽需求不同。

表1接入网各VNF部署方式对NGFI的需求

图3是本发明中POMDP决策过程示意图。基于信念状态b_t执行完一次SFC的部署过程a(t)，得到这次部署动作的节点修复成本函数R₁(t)和系统总时延函数R₂(t)的加权和R(t)，然后部分感知网络拓扑情况和获得队列长度集合z_q(t)从而获得系统的观测状态z(t)，根据系统观测状态更新b_t得到下一时刻的b_t+1，如此反复执行，通过贝尔曼迭代可以决策每个时刻的SFC部署动作使长远折扣期望回报最优。

图4是本发明中基于点的混合启发式值迭代算法过程。步骤如下：

步骤401：生成CU池和DU池的物理网络拓扑，节点的计算资源和链路的带宽资源随机分布；同时生成多个不同类型的切片网络；

步骤402：初始探索信念点集中只有初始信念点b₀；

步骤403：FIB算法初始化上界集合，盲目策略算法初始化下界集合；

步骤404：与V(b₀)的差值小于既定的阈值时停止迭代，表示b₀处的上界取值,该值将近似求得，V(b₀)表示b₀处的下界取值，α表示下界集合的向量；

步骤405：寻找有效的后继信念点加入到探索信念点集B_sub中；

步骤406：基于新的B_sub更新目前值函数向量集合Γ_t为Γ_t+1；

步骤407：若满足步骤404的判定条件时停止迭代，并利用策略值函数获得时刻t的最佳接入网SFC部署方式

图5是本发明中更新探索信念点集流程示意图，步骤如下：

步骤501：在当前的B_sub中选择值函数上下界差值大于阈值的点构成被扩点集合B^pre，即其中，h_b表示信念点b的层数,ε是常数；

步骤502：寻找集合B^pre所包含的信念点b的后继信念点中上下界差值较大的点组成集合

步骤503：在集合suc(b)中选取距离B_sub最远的信念点

其中，且将满足条件的后继信念点加入到B_sub中，即B_sub＝B_sub∪{b”}；

步骤504：上界集合由若干个点-值对组成，每次更新时新加入点-值对：b∈B_sub；

步骤505：更新时先找出点b的新的下界向量α_b，且α_b＝{α_b(s)|s∈S}，

步骤506：让B_sub中每一个点执行上述步骤直到遍历完才进行值函数向量集合的更新。

图6是本发明中更新值函数向量集流程示意图，步骤如下：

步骤601：计算动作a(a∈A)一步回报向量

步骤602：计算动作a(a∈A)在观察z(z∈Z)的向量集合

步骤603：选择使信念点b(b∈B_sub)与向量集合中的向量乘积最大的向量加入集合中

步骤604：判断是否遍历完观测空间里的每个观测状态；

步骤605：如果观测空间遍历完了则将里的向量相加，并和一步向量相加，所得的向量加入集合Γ_t+1,b；

步骤606：遍历完动作空间里的每个动作则进行下一步，否则返回步骤601；

步骤607：在Γ_t+1,b寻找与b乘积最大的向量加入值函数向量集Γ_t；

步骤608：如果遍历完B_sub里的每个信念点，则进行下一步，否则返回步骤601；

步骤609：在遍历完B_sub里所有的信念点时，值函数向量集完成了一次更新，该集合更新为Γ_t+1。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (8)

1.一种基于随机学习的接入网服务功能链部署方法，其特征在于：该方法包括以下步骤：

S1：针对5G云化接入网(Cloud-Radio Access Network,C-RAN)场景下物理网络拓扑变化引起的高时延问题，建立受约束的多目标接入网服务功能链(Service Function Chain,SFC)部署的数学模型；

S2：感知底层物理节点从而获得网络拓扑变化，并分析观测误差；

S3：根据部分感知的网络拓扑变化和服务功能链的动态数据到达，建立部分可观察马尔可夫决策过程(Partial Observation Markov Decision Process,POMDP)模型；

S4：针对POMDP的维度灾问题，设计高效的求解算法寻找最优的接入网SFC部署方式。

2.根据权利要求1所述的一种基于随机学习的接入网服务功能链部署方法，其特征在于：在步骤S1中，所述SFC部署的数学模型为：

基础设施层的服务器网络由带权值无向图G＝{N,L}，N＝N₁∪N₂表示服务器节点集并由DU池的节点集N₁和CU池的节点集N₂组成，L＝L₁∪L₂∪{l_NGFI}表示链路集且由DU池的链路集L₁、CU池的链路集L₂和下一代前传网络接口(Next Generation Frontal Interface,NGFI)链路l_NGFI构成；是服务器节点n_k的计算资源容量，v_l表示链路l的带宽容量；

设系统的切片集合为U，表示切片u里的SFC集合，切片u里第m个SFC在时刻t的队列长度为q_u,m(t)且满足0≤q_u,m(t)≤n_q,n_q表示最大队列长度。

3.根据权利要求1所述的一种基于随机学习的接入网服务功能链部署方法，其特征在于：所述接入网SFC部署的过程分为3个阶段：

第1阶段是系统决策是否修复所有失效的节点，用a_α(t)表示当前时刻节点修复行动，a_α(t)＝1表示修复所有失效的节点，其余为0；

第2阶段是为每个切片网络选择接入网虚拟网络功能(Virtualization NetworkFunction,VNF)的部署方式，明确各切片的SFC的一组有序VNF在分布单元(DistributionUnit,DU)和集中单元(CentralizationUnit,CU)的分布情况，且a_β(t)＝{β_u(t)|u∈U}，β_u(t)∈Ω表示切片u时刻t选择的VNF部署方式，Ω表示所有可能的接入网VNF部署方式的集合；

第3阶段是依据每个切片的VNF部署方式为其SFC进行资源分配；包括为各VNF在对应的资源池中分配计算资源和带宽资源，SFC中处在DU末端的VNF分配前传网络的带宽资源，处在CU末端的VNF不考虑分配带宽资源；设当前时刻全部切片的所有SFC资源分配方式设资源量都是离散的，则所有可能的SFC资源分配方式组成集合A'_χ；

是t时刻SFCm的计算资源分配，其中，F_u,m表示切片u的第m个SFC的VNF集合，表示第j(j∈F_u,m)个VNF可以实例化的节点集合，表示第j个VNF在服务器节点n_k所分配的计算资源，表示第j个VNF部署在节点n_k时该参数为1，否则为0；

是t时刻SFCm的带宽资源分配方式，其中，表示第j个VNF在链路l上分配的带宽资源，表示第j个VNF用链路l发送数据给下一个VNF时该参数为1，其余情况为0。

4.根据权利要求1所述的一种基于随机学习的接入网服务功能链部署方法，其特征在于：在所述步骤S1中，一方面会涉及修复失效的节点，会带来修复成本函数R₁(t)，

其中，c表示修复一个节点的费用成本，μ_i＝1表示时刻t节点i被修复，否则为0，|N₁|和|N₂|分别表示DU池和CU池的服务器节点总数；

另一方面涉及时延指标，考虑每条SFC的排队时延和从DU到CU的调度时延，得到系统的总时延函数R₂(t)，

其中，γ_u表示切片u的优先级，λ_u,m(t)表示切片u的SFCm的数据到达率，假设SFC的数据到达量满足非齐次泊松分布；F_u'_,m表示SFCm中除去CU侧的最后一个VNF而形成的VNF集合，表示第j个VNF发送给相邻下一个VNF的数据量，表示第j个VNF在节点n_k的处理时延，b是一个均大于任意时刻系统总时延的正常数；所以接入网切片的SFC部署的优化目标是系统总时延和修复成本的联合最优，优化目标为：

max R(t)＝e₁R₁(t)+e₂R₂(t)

其中，e₁和e₂是正值且e₁+e₂＝1。

5.根据权利要求1所述的一种基于随机学习的接入网服务功能链部署方法，其特征在于：在步骤S2中，所述感知底层物理节点从而获得网络拓扑变化是采用心跳包检测机制来实现，具体为：

考虑节点的失效引起的物理网络拓扑变化，底层网络中的每个服务器节点在固定时间间隔发送一个简单包给中央监测器，中央监测器为每一个节点启动一个线程定时查看各节点的包到达时间，并设置一个阈值T_timeout，设当前时间为T_now，上一次心跳包到达时间为T_last，如果T_now-T_last＞T_timeout，则判定该节点在当前时刻是失效的；节点i误判失效的概率

6.根据权利要求1所述的一种基于随机学习的接入网服务功能链部署方法，其特征在于：在步骤S3中，所述POMDP决策模型为：

将物理网络拓扑和SFC的队列长度作为状态空间S，即Q为队列状态，为拓扑状态；将接入网SFC部署过程作为行动空间A，即A＝(A_α,A_β,A_χ)，A_α是节点修复动作，A_β是所有切片选择接入网VNF部署方式的动作，A_χ是所有SFC的资源分配动作；网络拓扑和队列长度都需要通过观察获得，所以其观测空间由拓扑观测状态和队列观测状态组成，但网络拓扑是部分感知获得，而队列状态是完全可知的。

7.根据权利要求6所述的一种基于随机学习的接入网服务功能链部署方法，其特征在于：在所述POMDP模型中引入信念状态，将接入网SFC部署优化目标转化为：

π表示每个时刻的有序动作集合，b_t(s)表示时刻t系统状态为s的概率，γ表示折扣因子，0＜λ≤1，T代表时间段的终点，R(s,a(t))表示系统状态为s时采取行动a(t)的回报。

8.根据权利要求1所述的一种基于随机学习的接入网服务功能链部署方法，其特征在于：在步骤S4中，所述高效的求解算法为基于点的混合启发式算法：

选择值函数上下界较大的点来寻找最远后继信念点更新当前的探索信念点集合B_sub，然后基于B_sub更新值函数向量集Γ_t为Γ_t+1，反复执行直到Γ_t+1对应的值函数和Γ_t对应的值函数的差值小于既定的阈值为止，并由最优策略值函数获得最佳SFC部署方式。