CN115941506A - 一种基于策略网络强化学习的多类型服务资源编排方法 - Google Patents

Abstract

本发明公开了一种基于策略网络强化学习的多类型服务资源编排方法，属于通信技术领域，包括以下主要步骤：步骤1：映射业务首节点；步骤2：将特征矩阵输入强化学习模型中；步骤3：输出候选动作概率；步骤4：选择最大概率动作映射；步骤5：将业务需要映射的下一节点和与上一节点之间的直连链路作为一个元组同时映射，重复步骤2‑4，直至业务全部节点均已映射，判断业务是否映射完成；步骤6：若业务映射完成，计算收益成本比；否则映射剩余链路，重复步骤2‑4直至业务映射完成，计算收益成本比；步骤7：计算损失函数损失值，策略梯度法更新强化学习模型参数。本方法可以提高平均节点服务资源利用率，同时降低业务阻塞率，减少服务提供商成本消耗。

Description

一种基于策略网络强化学习的多类型服务资源编排方法

技术领域

本发明涉及通信技术领域，具体是一种基于策略网络强化学习的多类型服务资源编排方法。

背景技术

众所周知，互联网的发展速度异常迅猛，各个领域随着互联网的渗透相应涌现出各种不同的应用，然而传统的互联网很难适应新应用、新需求的变化，因为传统互联网是在TCP/IP协议基础上产生和发展的。为此学术界提出了把当前使用的网络资源进行抽象和封装的处理方案，即把服务供应商分解为基础设施供应商和服务开发商。抽象和封装网络资源的过程涉及虚拟网络的映射技术，映射过程可以由多种算法实现，比如启发式算法、机器学习算法等。

启发式算法主要分为基于图论的、基于拓扑感知的和基于线性规划的算法。基于图论的算法利用了子图分割、子图同构检测等方法；基于拓扑感知的算法通过对物理网络的拓扑信息进行挖掘，从而区分网络中不同节点的资源重要性的差异，然后在映射过程中考虑这种差异从而优化映射结果；基于线性规划模型的算法，将虚拟网络映射问题转变为混合整数规划问题，并经过松弛后将其转变为线性规划问题，然后设计相应的目标函数和约束条件，最后通过线性规划工具进行求解。

机器学习算法可以处理在一段时间内收集的大量数据，并自动从数据中学习统计信息以进行分类或预测。强化学习作为机器学习中广泛使用的技术，在处理复杂的任务时表现出巨大的潜力。强化学习设置一个代理进行学习，通过代理与环境的不断交互以及获得的反馈来调整策略，目标是使代理得到最优策略，基于这个最优策略，代理可以得到最大累积奖赏。代理与环境不断进行交互，逐渐优化选择策略，相比传统启发式算法提高了请求接受率和长期收益成本比，证明了强化学习在虚拟网络映射问题中的有效性。

发明内容

有鉴于此，本发明提出了一种基于策略网络强化学习的多类型服务资源编排方法，简称NL-PNRL。在NL-PNRL方法中，设计了策略网络强化学习模型(Policy NetworkReinforcement Learning Model，PNRL-Model)，把收益成本比作为奖励函数，采用节点链路同时映射的顺序，将物理网络节点属性和链路属性综合考虑，通过与启发式方法对比，在节点多类型资源利用率、业务阻塞率、长期收益成本比等方面，证明了本发明设计的NL-PNRL方法具有明显的优势。

为达到上述目的，本发明提供如下技术方案：一种基于策略网络强化学习的多类型服务资源编排方法，包括以下步骤：

步骤1：映射业务请求G^r首节点。

步骤2：将物理网络节点特征矩阵

/节点-路径特征矩阵

/路径特征矩阵

输入强化学习模型PNRL-Model中。

步骤3：强化学习模型PNRL-Model输出候选节点概率P_N/候选节点路径元组概率P_NP/候选路径概率P_P。

步骤4：选择最大概率的动作进行映射，并更新物理网络G^s。

步骤5：将业务请求需要映射的下一节点(i+1)^r和与上一节点i^r之间的直连链路j^r作为一个元组同时映射，重复步骤2到步骤4，直至业务请求所有节点映射完成，并判断业务请求G^r是否映射完成。

步骤6：若业务请求G^r映射完成，计算业务映射收益成本比；否则映射剩余链路，重复步骤2到步骤4直至业务请求G^r映射完成，计算业务映射收益成本比。

步骤7：计算损失函数损失值Loss，使用策略梯度方法更新强化学习模型PNRL-Model的参数。

本发明的优点及有益效果如下：

本发明的创新主要是步骤2和步骤7，通过设计强化学习模型PNRL-Model，采用节点链路同时映射的顺序，把收益成本比作为奖励函数，在映射过程中不断优化选择策略，提高最优动作选择概率，在映射过程中充分考虑了节点剩余资源量、相邻链路剩余带宽和、节点度、候选节点到已映射节点的平均距离，源节点到目的节点之间路径的可用带宽、带宽剩余率、跳数和最大丢包率，对多种类型的服务资源进行均衡分配，提高物理网络节点各种类型服务资源的利用率，降低业务阻塞率，提高物理网络对业务请求的承载量。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作优选的详细描述，其中：

图1为本发明具体实施方式基于策略网络强化学习的多类型服务资源编排方法的流程图；

图2为本发明具体实施方式基于策略网络强化学习的多类型服务资源编排方法的策略网络强化学习模型；

图3为本发明具体实施方式基于策略网络强化学习的多类型服务资源编排方法使用的拓扑图；

图4为本发明具体实施方式的对比强化学习方法NF-PNRL算法的流程图；

图5为本发明具体实施方式的对比强化学习方法LF-PNRL算法的流程图；

图6为本发明具体实施方式基于FITI拓扑图类型Ⅰ服务资源的平均节点资源利用率变化图；

图7为本发明具体实施方式基于FITI拓扑图类型Ⅱ服务资源的平均节点资源利用率对比图；

图8为本发明具体实施方式基于FITI拓扑图类型Ⅲ服务资源的平均节点资源利用率对比图；

图9为本发明具体实施方式基于FITI拓扑图类型Ⅳ服务资源的平均节点资源利用率对比图；

图10为本发明具体实施方式基于FITI拓扑图类型Ⅴ服务资源的平均节点资源利用率对比图；

图11为本发明具体实施方式基于FITI拓扑图平均链路带宽资源利用率对比图；

图12为本发明具体实施基于FITI拓扑图长期收益成本比对比图；

图13为本发明具体实施基于FITI拓扑图阻塞率对比图；

图14为本发明具体实施基于FITI拓扑图强化学习方法损失函数对比图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明提出了一种利用强化学习模型对多类型服务资源进行编排的虚拟网络映射方法，算法整体流程如图1所示，在相同的物理网络和业务请求的条件下，相比于节点优先的启发式方法(简称NF-HA)、链路优先的启发式方法(简称LF-HA)、节点链路同时映射的启发式方法(简称NL-HA)、节点优先的强化学习方法(简称NF-PNRL)和链路优先的强化学习方法(简称LF-PNRL)，本方案的平均节点资源利用率和长期收益成本比均高于对比方法，并且本方案的业务阻塞率低于所有启发式方法以及其他映射顺序下的强化学习方法。

一种基于策略网络强化学习的多类型服务资源编排方法，该方法包括以下步骤：

步骤1：映射业务请求G^r首节点；

步骤2：将物理网络节点/节点-路径/路径特征矩阵

输入强化学习模型PNRL-Model中；

步骤3：强化学习模型PNRL-Model输出候选动作的概率P_N/P_NP/P_P；

步骤4：选择最大概率的动作进行映射，并更新物理网络G^s；

步骤5：将业务需要映射的下一节点(i+1)^r和与上一节点i^r之间的直连链路j^r作为一个元组同时映射，重复步骤2到步骤4，直至业务所有节点映射完成，并判断业务请求G^r是否映射完成；

步骤6：若业务请求G^r映射完成，计算业务映射收益成本比；否则映射剩余链路，重复步骤2到步骤4直至业务请求G^r映射完成，计算业务映射收益成本比。

步骤7：计算损失函数损失值Loss，使用策略梯度方法更新强化学习模型PNRL-Model的参数；

进一步，步骤2又可以分为以下步骤：

步骤8：将物理网络节点/节点-路径/路径特征矩阵

输入到策略网络的输入层，使用离差标准化方法进行归一化；

步骤9：将归一化后的矩阵I_N/I_NP/I_P输入策略网络卷积层，生成每个动作的可用资源向量C_N/C_NP/C_P；

步骤10：将所有动作的可用资源向量C_N/C_NP/C_P输入Softmax层，将每个动作的可用资源向量转化成每个动作被选择的概率

步骤11：过滤掉不满足节点资源约束、一对一约束、带宽约束和丢包率约束的动作；

步骤12：将不满足约束动作的概率记为0；

步骤13：输出候选动作以及相对应的概率P_N/P_NP/P_P。

其中业务的请求网络模型表述为：R表示业务请求的集合；G^r(V^r,E^r)表示请求网络模型，r∈R；V^r表示业务请求G^r的虚拟节点集合，E^r表示业务请求G^r的虚拟链路集合；

表示业务请求G^r中节点i^r对第t种资源的请求量，其中

T表示物理网络中所有节点的资源类型：Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ共5种，T＝{Ⅰ,Ⅱ,Ⅲ,Ⅳ,Ⅴ}；

和

分别表示业务请求G^r中虚拟链路j^r的带宽需求和容忍丢包率，其中

底层物理网络模型表述为：G^s(V^s,E^s)表示物理网络模型；V^s表示节点集合；E^s表示链路集合；

分别表示物理网络节点i^s第t种类型的资源总量和剩余资源量，其中

和

分别表示物理网络中链路j^s的带宽总量、带宽剩余量和丢包率大小，其中

分别表示路径

的剩余带宽、带宽剩余率、丢包率和跳数，

P^s(a^s,b^s)表示物理网络源节点a^s到目的节点b^s的无环路径集合，K＝|P^s(a^s,b^s)|，其中

a^s≠b^s；

分别表示物理网络节点i^s的相邻链路集合、相邻链路剩余带宽和和节点度，其中

表示业务请求G^r的请求节点i'^r在物理网络G^s中的候选节点集合，且

SP(a^s,b^s)表示物理网络源节点a^s到目的节点b^s之间最短路径的跳数；

表示物理网络目的节点b^s到已被业务G^r中虚拟节点映射的物理网络节点之间的平均距离；

公式(1)表示物理网络路径

的剩余带宽大小等于路径中所有链路的最小剩余带宽值；公式(2)表示物理网络路径

的丢包率等于路径中所有链路的最大丢包率；公式(3)表示物理网络路径

的带宽剩余率，即路径剩余带宽比路径总带宽的值，其中，

为二进制决策变量，如果物理网络源节点a^s到目的节点b^s的第k条物理路径包含物理链路j^s，值为1，否则为0；公式(4)表示物理网络节点i^s的相邻链路剩余带宽和；公式(5)表示物理网络节点i^s的度；公式(6)表示物理网络目的节点b^s到已被业务请求G^r中虚拟节点映射的物理网络节点之间的平均距离，平均距离越大，业务请求G^r中虚拟节点映射的物理网络节点越分散，否则越集中。

业务请求的收益成本比为映射成功业务的节点请求资源量和链路请求带宽之和比映射成功业务节点占用资源量和链路占用带宽之和(公式7所示)。

优化目标是最大化请求的收益成本比RC(公式8所示)

Max:RC(8)

其中，

表示二进制决策变量，如果将第r个业务请求中的虚拟节点i^r映射到物理网络节点i^s，值为1，否则为0；

表示二进制决策变量，如果将第r个业务请求中的虚拟链路j^r映射到包含物理网络链路j^s的物理路径中，值为1，否则为0。

约束条件有：(1)节点资源约束(公式9所示)：业务请求的虚拟节点映射到的物理网络节点对应资源类型的剩余资源量必须大于对应资源类型的请求资源量；(2)节点一对一映射约束(公式10所示)：同一业务请求内不同的请求节点不可映射到同一物理网络节点上；(3)带宽约束(公式11所示)：业务请求链路映射到的物理网络路径剩余带宽必须大于请求带宽；(4)丢包率约束(公式12所示)：业务请求链路映射到的物理网络路径的最大丢包率必须小于对应请求链路的容忍丢包率。

虚拟网络映射的评价指标有收益成本比、节点平均资源利用率、平均带宽资源利用率和阻塞率。节点平均资源利用率为物理网络中所有节点的资源占用量之和比所有节点的总资源量之和。平均带宽资源利用率为物理网络中所有链路带宽占用量之和比所有链路总带宽之和。阻塞率为映射失败的业务请求数量比业务请求的总数量。

进一步，强化学习模型PNRL-Model的策略网络由输入层、卷积层、Softmax层、过滤层和输出层构成。

输入层的作用是读取节点特征矩阵

(公式13所示)/节点-路径特征矩阵

(公式15所示)/路径特征矩阵

(公式16所示)，对

使用离差标准化方法(公式17所示)进行归一化，得到归一化后的特征矩阵I_N/I_NP/I_P，使I_N/I_NP/I_P中的值都介于0到1之间。

节点特征矩阵

包含节点剩余资源量、相邻链路剩余带宽和、节点度和候选节点到已映射节点的平均距离：

节点-路径特征矩阵

包含目的节点剩余资源量、相邻链路剩余带宽和、节点度、候选节点到已映射节点的平均距离，源节点到目的节点之间路径的可用带宽、带宽剩余率、跳数和最大丢包率，

中源节点为确定节点，目的节点为物理网络中的候选节点：

路径特征矩阵

包含源节点到目的节点之间路径的可用带宽、带宽剩余率、跳数和最大丢包率，

中源节点和目的节点均为确定节点：

离差标准化方法的公式为：

其中x表示原始列表，x'表示计算离差标准化后的列表，x_min表示原始列表中的最小值，x_max原始列表中的最大值。

卷积层的作用是将归一化后的特征矩阵I_N/I_NP/I_P执行卷积运算，ω_N/ω_NP/ω_P为卷积核权重向量，b_N/b_NP/b_P为偏置项，ReLU函数为激活函数，卷积层生成候选动作的可用资源向量C_N/C_NP/C_P(公式18-20所示)。

ReLU函数，即分段线性函数，如果函数输入大于0，直接返回作为输入提供的值；如果输入是0或者更小，返回0。

对归一化后的节点特征矩阵I_N进行卷积操作：

其中C_N表示卷积层生成的候选节点动作可用资源向量，

表示向量C_N中的元素，C_N中共有元素V^s个。

对归一化后的节点-路径特征矩阵I_NP进行卷积操作：

其中C_NP表示卷积层生成的候选路径节点动作可用资源向量，

表示向量C_NP中的元素，C_NP中共有元素V^s×K个。

对归一化后的路径特征矩阵I_P进行卷积操作：

其中C_P表示卷积层生成的候选路径动作可用资源向量，c_P,K表示向量C_P中的元素，C_P中共有元素K个。

Softmax层将候选动作的可用资源向量C_N/C_NP/C_P转化成每个动作被选择的概率

(公式21-23所示)。

将节点可用资源向量转化成每个候选节点被选择的概率：

其中g表示向量C_N中元素的索引，代表第几个元素，

表示向量C_N中第g个元素c_N,g的指数次方。

将节点路径元组可用资源向量转化成每个候选节点路径元组被选择的概率：

表示向量C_NP中第g个元素c_NP,g的指数次方。

将路径可用资源向量转化成每条候选路径被选择的概率：

表示向量C_P中第g个元素c_P,g的指数次方。

过滤层将所有不符合节点资源约束、节点一对一映射约束、带宽约束和丢包率约束的动作过滤掉，得到更新后候选动作的可用资源向量和候选动作集合。

输出层将过滤层过滤掉的动作对应的概率记为0，得到新的概率分布P_N/P_NP/P_P(公式24-26所示)。

候选节点概率分布：

候选节点路径元组概率分布：

候选路径概率分布：

P_P＝(p_P,1,p_P,2,…,p_P,K)                                 (26)

强化学习模型PNRL-Model的奖励函数为业务的收益成本比。

强化学习模型PNRL-Model的损失函数为：

Loss3＝-log(max(p_P,1,p_P,2,…,p_P,K)))                            (29)

Loss＝Loss1+Loss2+Loss3                                         (30)

当映射业务节点时，强化学习模型的损失函数为公式(27)，当映射业务节点链路元组时，强化学习模型的损失函数为公式(28)，当映射业务链路时，强化学习模型的损失函数为公式(29)。一个业务映射完成后的损失函数损失值为映射节点、映射节点路径元组和映射路径的损失值之和(公式30)。

强化学习模型PNRL-Model如图2所示，此处采用PyCharm作为仿真软件，实现本方案并对其进行验证。

物理网络采用如图3所示的拓扑图。物理网络包含40个节点，45条链路，节点服务资源类型有5种：Ⅰ，Ⅱ，Ⅲ，Ⅳ，Ⅴ；骨干节点的服务资源类型包含5种，每种类型服务资源量为3000，其余节点随即包含3种，每种类型服务资源量为1000；该拓扑图还包含多条骨干链路，骨干链路的总带宽为3000，非骨干链路总带宽为1000；所有链路丢包率在[0，0.3]范围内。

请求虚拟网络随机生成，节点个数在2到6之间，最小链路数量为节点个数减1，最大链路数量为全连接时的链路数量。请求节点服务资源类型有5种：Ⅰ，Ⅱ，Ⅲ，Ⅳ，Ⅴ；同一个业务内，每个节点随机请求一种类型的服务资源，且各节点请求的资源类型各不相同，请求资源量的范围为(1，10]；请求链路带宽范围为(1，10]；请求链路容忍丢包率范围为[0.3，0.5]。

本实例涉及到的对比方法包含启发式方法：NF-HA、LF-HA、NL-HA和强化学习方法NF-PNRL和LF-PNRL。

NF-HA方法流程图如图4所示，LF-HA、NL-HA方法与NF-HA方法的不同之处在于映射顺序，LF-HA方法按照先链路后节点的映射顺序，首先映射一个业务的首节点，然后映射下一个节点和下一节点与业务中所有已映射节点之间的链路，以此类推，直至该业务映射完成；NL-HA方法增加了节点和链路同时映射的阶段。NL-HA方法首先映射业务的首节点，然后把业务中下一个目标映射节点和上一个刚刚映射的节点之间的直连链路作为一个整体来映射，把节点剩余可用资源量比路径跳数作为考虑因素，选择比值最大的节点路径元组作为映射对象，更新物理网络资源。这样，当节点路径元组映射结束之后，业务中只剩余部分链路未映射，所以最后映射剩余链路。在映射剩余链路时，考虑因素同前两个算法相同，满足约束的最短路径者优先。

NF-PNRL方法流程图如图5所示，NL-PNRL方法的节点特征矩阵考虑的是节点的剩余资源量，路径特征矩阵考虑的是最短路径的跳数。LF-PNRL方法与NF-PNRL方法和本实例所用的NL-PNRL方法的不同之处在于映射顺序。LF-PNRL方法采用链路优先的映射顺序。节点属性和链路属性与NL-PNRL方法一样，LF-PNRL方法首先映射首节点，然后映射下一个节点和下一节点与业务中所有已映射节点之间的直连链路，以此类推，直至该业务映射完成。

对本实例所提的算法进行性能分析。首先从图6到图10可以看出，本实例使用NL-PNRL方法得到的五种类型服务资源的平均节点资源利用率均高于对比算法，这是因为NL-PNRL方法在节点链路同时映射阶段既考虑了节点属性，又考虑了链路属性，综合了物理网络整体特征来寻找最佳映射节点和路径。以节点资源类型Ⅴ为例，在业务负载量为800时，NL-PNRL方法比FN-HA方法的平均节点资源利用率高出11.48％，比NL-PNRL方法的平均节点资源利用率高出4.62％。观察图13，NL-PNRL方法的阻塞率始终低于相同条件下的对比算法。理论上，物理网络和虚拟请求都相同时，平均链路资源利用率越低，说明物理网络链路带宽的使用量越少，在物理节点服务资源充足的情况下，物理网络可以承载更多业务，在图11中不难看出，由于NL-PNRL方法的阻塞率是最低的，其物理网络承载的业务请求数量是最多的，而且NL-PNRL映射时选择最优路径，因此NL-PNRL方法的带宽资源利用率介于对比算法中最高带宽利用率与最低带宽利用率之间。观察图12，NL-PNRL方法的长期收益成本比始终是最好的，当业务负载量为800时，NL-PNRL方法的长期收益成本比高于NL-HA方法2.6％，高于FN-PNRL方法6.6％。最后观察三种强化学习方法NF-PNRL、LF-PNRL和NL-PNRL方法的损失函数，从图14中可以看出，虽然三种强化学习方法的损失函数最终都趋于平缓，但NL-PNRL方法损失函数收敛值更趋于0。

Claims (9)

1.一种基于策略网络强化学习的多类型服务资源编排方法，其特征在于，包括以下步骤：

步骤1：映射业务请求G^r首节点；

步骤2：将物理网络节点特征矩阵

/节点-路径特征矩阵

/路径特征矩阵

输入强化学习模型PNRL-Model中；

步骤3：强化学习模型PNRL-Model输出候选节点概率P_N/候选节点路径元组概率P_NP/候选路径概率P_P；

步骤4：选择最大概率的动作进行映射，并更新物理网络G^s；

步骤5：将业务请求需要映射的下一节点(i+1)^r和与上一节点i^r之间的直连链路j^r作为一个元组同时映射，重复步骤2到步骤4，直至业务请求所有节点映射完成，并判断业务请求G^r是否映射完成；

步骤6：若业务请求G^r映射完成，计算业务映射收益成本比；否则映射剩余链路，重复步骤2到步骤4直至业务请求G^r映射完成，计算业务映射收益成本比；

步骤7：计算损失函数损失值Loss，使用策略梯度方法更新强化学习模型PNRL-Model的参数。

2.根据权利要求1所述一种基于策略网络强化学习的多类型服务资源编排方法，其特征在于：所述步骤1中的业务请求：包含虚拟节点和链路的请求网络拓扑，虚拟节点属性包括节点请求资源类型和请求资源量，虚拟链路属性包括请求带宽和容忍丢包率；

首节点为业务中需要被映射的首个节点。

3.根据权利要求1所述一种基于策略网络强化学习的多类型服务资源编排方法，其特征在于：所述物理网络包含物理节点和链路的物理网络拓扑，其中物理节点属性包括节点资源类型、节点剩余资源量、节点度、相邻链路剩余带宽和、平均距离；所述节点剩余资源量为物理网络节点当前可用的资源量，即节点总资源量减去被已经映射的业务占用的资源量；

所述节点度如下式：

所述相邻链路剩余带宽和，如下式：

目的节点到已被业务请求中虚拟节点映射的物理网络节点之间的平均距离，如下式：

物理链路属性包括带宽剩余量和丢包率；

物理网络路径属性包括带宽剩余量、带宽剩余率、跳数和丢包率，所述带宽剩余量，如下式：

带宽剩余率，如下式：

丢包率如下式：

节点特征矩阵，包含节点剩余资源量、相邻链路剩余带宽和、节点度和候选节点到已映射节点的平均距离，如下式：

节点-路径特征矩阵包含目的节点剩余资源量、相邻链路剩余带宽和、节点度、候选节点到已映射节点的平均距离，源节点到目的节点之间路径的可用带宽、带宽剩余率、跳数和最大丢包率，如下式：

路径特征矩阵包含源节点到目的节点之间路径的可用带宽、带宽剩余率、跳数和最大丢包率，如下式：

上式中，R表示业务请求的集合，V^r表示业务请求G^r的虚拟节点集合，E^r表示业务请求G^r的虚拟链路集合，

表示业务请求G^r中节点i^r对第t种资源的请求量，其中

T表示物理网络中所有节点的资源类型，

和

分别表示业务请求G^r中虚拟链路j^r的带宽需求和容忍丢包率，其中

V^s表示节点集合；E^s表示链路集合；

分别表示物理网络节点i^s第t种类型的资源总量和剩余资源量，其中

和

分别表示物理网络中链路j^s的带宽总量、带宽剩余量和丢包率大小，其中

分别表示路径

的剩余带宽、带宽剩余率、丢包率和跳数，

P^s(a^s,b^s)表示物理网络源节点a^s到目的节点b^s的无环路径集合，K＝|P^s(a^s,b^s)|，其中

分别表示物理网络节点i^s的相邻链路集合、相邻链路剩余带宽和和节点度，其中

表示业务请求G^r的请求节点i'^r在物理网络G^s中的候选节点集合，且

SP(a^s,b^s)表示物理网络源节点a^s到目的节点b^s之间最短路径的跳数；

表示物理网络目的节点b^s到已被业务G^r中虚拟节点映射的物理网络节点之间的平均距离。

4.根据权利要求3所述一种基于策略网络强化学习的多类型服务资源编排方法，其特征在于：业务请求的收益成本比为映射成功业务的节点请求资源量和链路请求带宽之和比映射成功业务节点占用资源量和链路占用带宽之和；

优化目标是最大化请求的收益成本比；

约束条件有：(1)节点资源约束：业务请求的虚拟节点映射到的物理网络节点对应资源类型的剩余资源量必须大于对应资源类型的请求资源量；(2)节点一对一映射约束：同一业务请求内不同的请求节点不可映射到同一物理网络节点上；(3)带宽约束：业务请求链路映射到的物理网络路径剩余带宽必须大于请求带宽；(4)丢包率约束：业务请求链路映射到的物理网络路径的最大丢包率必须小于对应请求链路的容忍丢包率。

5.根据权利要求1-4任一项所述一种基于策略网络强化学习的多类型服务资源编排方法，其特征在于：所述强化学习模型PNRL-Model：包含输入层、卷积层、Softmax层、过滤层和输出层；

所述步骤2具体包括：

步骤2.1：将物理网络节点特征矩阵

/节点-路径特征矩阵

/路径特征矩阵

输入到强化学习模型PNRL-Model的输入层，使用离差标准化方法进行归一化；

步骤:2.2：将归一化后的节点特征矩阵I_N/归一化后的节点-路径特征矩阵I_NP/归一化后的路径特征矩阵I_P输入策略网络卷积层，生成每个动作的可用资源向量C_N/C_NP/C_P；

步骤2.3：将所有动作的可用资源向量C_N/C_NP/C_P输入Softmax层，将每个动作的可用资源向量转化成每个动作被选择的概率

步骤2.4：过滤掉不满足节点资源约束、一对一约束、带宽约束和丢包率约束的动作；

步骤2.5：将不满足约束动作的概率记为0；

步骤2.6：输出候选动作以及相对应的候选节点概率P_N/候选节点路径元组概率P_NP/候选路径概率P_P。

6.根据权利要求5所述一种基于策略网络强化学习的多类型服务资源编排方法，其特征在于：所述卷积层的作用是将归一化后的特征矩阵I_N/I_NP/I_P执行卷积运算，ω_N/ω_NP/ω_P为卷积核权重向量，b_N/b_NP/b_P为偏置项；

对归一化后的节点特征矩阵I_N进行卷积操作：

对归一化后的节点-路径特征矩阵I_NP进行卷积操作：

对归一化后的路径特征矩阵I_P进行卷积操作：

7.根据权利要求5所述一种基于策略网络强化学习的多类型服务资源编排方法，其特征在于：将节点可用资源向量转化成每个候选节点被选择的概率：

将节点路径元组可用资源向量转化成每个候选节点路径元组被选择的概率：

将路径可用资源向量转化成每条候选路径被选择的概率：

8.根据权利要求5所述一种基于策略网络强化学习的多类型服务资源编排方法，其特征在于：所述强化学习模型PNRL-Model的奖励函数为业务的收益成本比；

强化学习模型PNRL-Model的损失函数为：

Loss3＝-log(max(p_P,1,p_P,2,…,p_P,K)))

Loss＝Loss1+Loss2+Loss3。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的多类型服务资源编排方法的步骤。

Images