CN111343651A - 服务于众智计算环境的服务链部署方法及系统 - Google Patents

Abstract

本发明公开了服务于众智计算环境的服务链部署方法及系统，本发明包括：基于网络拓扑进行路由器模型的构建，明确服务链的服务流程；根据拓扑确定与用户相连的AP节点的部署，并且确定AP节点复用的情况下复用用户个数对传输时延的函数；将模型以及路由器的传输时延以及部署开销的参数传入模型，根据深度强化学习的方法，从一个路由节点开始，对整体网络进行优化，迭代到时延整体达到最低；根据最低策略生成的部署方案进行服务链的部署。本发明能够显著提高物联网边缘计算的资源利用率，同时不牺牲物联网任务的计算效率。本发明有效地适应了物联网的地理和无线多样性，提高了大规模边缘物联网网络的资源利用率。

Description

服务于众智计算环境的服务链部署方法及系统

技术领域

本发明涉及无线通信技术领域，具体的，涉及服务于众智计算环境的服务链部署方法及系统。

背景技术

边缘计算作为一项重要的技术，它通过提供远程边缘网络的额外处理能力来增强物联网的能力，在远程边缘网络中，物联网任务被卸载到边缘服务器以实现高效计算。为了便于管理和提高边缘服务器的资源利用率，网络功能虚拟化(NFV)经常被用来快速部署为物联网服务的各种网络功能链。

当一个新的物联网设备到达网络时，传统的技术首先考虑重用现有的网络功能，如果失败，则建立一个新的SFC(Service Function Chain，服务链)来提供附近的服务，而重新建立新的SFC就需要重新进行布线等，造成极大的资源浪费；同时考虑到物联网通信资源有限，NFC部署在物联网设备附近，目标物联网设备的地理分布对边缘网络的资源利用率有着重要影响。

发明内容

本发明提出了一种服务于众智计算环境的服务链部署方法，该方法通过考虑物联网设备的地理分布、接入点节点选择和现有服务交换，得出增加工作负载所需的最小资源，产生一个最优的网络节点部署方案。本发明显著提高物联网边缘计算的资源利用率，同时不牺牲物联网任务的计算效率。

本发明通过下述技术方案实现：

服务于众智计算环境的服务链部署方法，该方法包括以下步骤：

步骤1，基于网络拓扑进行路由器模型的构建，明确服务链的服务流程；

步骤2，根据步骤1的网络拓扑确定与用户相连的AP节点的部署，并确定AP节点在复用情况下复用用户个数对传输时延的函数；

步骤3，将模型的参数、路由器的传输时延参数以及部署开销的参数传入路由器模型，采用深度强化学习的方法，从一个路由节点开始，对整个网络进行优化，迭代到时延整体达到最低；

步骤4，根部步骤3生成的部署方案进行服务链的部署。

本发明的工作原理为：首先确定VNF在边缘网络中的初始部署模型，然后再综合考虑物联网设备的地理分布、接入点节点选择等因素，利用深度强化学习技术对该模型进行迭代优化，使得欲优化的网络时延和开销收敛到最低，此时得到的优化的网络部署模型，即为实际的网络部署模型。

进一步的，本发明的步骤2中确定的传输时延和用户个数的函数关系如下：

Delay＝e^0.1*x

式中：Delay表示传输时延，x表示AP节点接入用户个数。

进一步的，本发明的步骤3的优化迭代过程中采用但不限于贝尔曼方程，通过前几轮迭代中路由节点的产生延迟和衰减系数相乘作为权重影响当前节点部署的选择，且当前状态的节点选择概率为：

V(s)＝max_α(R(s，a)+γV(s′))

式中，V(s)表示当前状态s的节点选择概率，R(s，a)表示选择当前状态s导致的延迟的相反数加上一个常数，其中γ表示衰减系数，s′表示当前状态s的下一状态，a表示当前模型执行的下一步操作。

进一步的，本发明的步骤3中影响深度强化学习的奖励因素包括部署开销以及传输延迟两部分，即

Cost＝αDelay+βConsumption

式中，Cost表示深度强化模型要最终优化的Reward，α和β均表示权重参数，Delay表示传输时延，Consumption表示部署开销。

另一方面，本发明还提出了一种服务于众智计算环境的服务链部署系统，该系统包括：

模型构建模块，基于网络拓扑进行路由器模型的构建，明确服务链的服务流程；

传输时延模块，根据模型构建模块中的拓扑确定与用户相连的AP节点的部署，并生成AP节点在复用情况下复用用户个数对传输时延的函数；

优化模块，该模块将模型的参数、路由器的传输时延参数以及部署开销的参数传入路由器模型，采用深度强化学习的方法，从一个路由节点开始，对整个网络进行优化，迭代到时延整体达到最低，获得优化的服务链部署方案。

进一步的，本发明的传输时延模块确定的传输时延和用户个数的函数关系如下：

Delay＝e^0.1*x

式中：Delay表示传输时延，x表示AP节点接入用户个数。

进一步的，本发明的优化模块采用但不限于贝尔曼方程，通过前几轮迭代中路由节点的产生延迟和衰减系数相乘作为权重影响当前节点部署的选择，且当前状态的节点选择概率为：

V(s)＝max_α(R(s，a)+γV(s′))

式中，V(s)表示当前状态s的节点选择概率，R(s，a)表示选择当前状态s导致的延迟的相反数加上一个常数，其中γ表示衰减系数，s′表示当前状态s的下一状态，a表示当前模型执行的下一步操作。

进一步的，本发明的优化模块中影响深度强化学习的奖励因素包括部署开销以及传输延迟两部分，即

Cost＝αDelay+βConsumption

式中，Cost表示深度强化模型要最终优化的Reward，α和β均表示权重参数，Delay表示传输时延，Consumption表示部署开销。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明的方法模拟在某拓扑结构下完成服务链功能的模型，对该模型的优化就是对实际网络部署的优化；借助深度强化学习的方法，模型步步迭代，在高维特征输入，前后状态不相互独立，网络状态不断改变等不利因素的制约下，使得欲优化的网络时延和开销收敛到一个可以接受的范围，符合预期，得出增加工作负荷所需的最小资源。

本发明在基于深度学习的基础上，利用多重感知机模型对时延以及开销的优化，产生一个最优的网络节点部署方案。本发明能够显著提高物联网边缘计算的资源利用率，同时不牺牲物联网任务的计算效率。本发明有效地适应了物联网的地理和无线多样性，提高了大规模边缘物联网网络的资源利用率。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明的方法流程示意图。

图2为本发明的系统结构示意图。

图3为本发明的实际应用网络架构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

为了在物联网设备的服务性能和边缘服务器的资源利用率之间找到一个理想的折衷方案，它面临以下几个挑战。

1)基于物联网设备的空间分布，设计了一种服务功能链的分配算法，使网络功能所使用的虚拟机最小化。

2)利用多址机会，可以直接调整物联网的空间分布，进一步提高资源利用率。

3)针对高度动态的边缘网络环境，提出了一种基于深度强化学习的算法来调整各物联网设备的接入点选择策略，并以最小的代价重新部署网络节点。

面对动态工作负载的边缘计算，以满足物联网服务的低延迟要求，同时最大限度地降低该时间段内产生的总体运营成本。考虑到边缘网络的高动态环境，很难建模。因此，本实施例提出了服务于众智计算环境的服务链部署方法来解决这个问题。

本实施例的方法工作原理为：首先提出基于深度强化的初始算法来确定VNF在边缘网络中的初始部署，并考虑到基于DRL算法的时间复杂性，优选采用增量分配算法，以遵循本地搜索原则，并针对临时工作量增加及时得出MEC所需的最低资源，进而得到优化的网络部署方案，即为VNF在边缘网络中的实际部署。

具体的，如图1所示，该方法包括以下步骤：

步骤1，基于网络拓扑进行路由器模型的构建，明确服务链的服务流程；

步骤2，根据步骤1的网络拓扑确定与用户相连的AP节点的部署，并确定AP节点在复用情况下复用用户个数对传输时延的函数；具体的，本实施例中确定的传输时延和用户个数的函数关系如下：

Delay＝e^0.1*x

式中：Delay表示传输时延，x表示AP节点接入用户个数。

步骤3，将模型的参数、路由器的传输时延参数以及部署开销的参数传入路由器模型，采用深度强化学习的方法，从一个路由节点开始，对整个网络进行优化，迭代到时延整体达到最低；

具体的，本实施例中的优化迭代过程中采用但不限于贝尔曼方程，通过前几轮迭代中路由节点的产生延迟和衰减系数相乘作为权重影响当前节点部署的选择，且当前状态的节点选择概率为：

V(s)＝max_α(R(s，a)+γV(s′))

式中，V(s)表示当前状态s的节点选择概率，R(s，a)表示选择当前状态s导致的延迟的相反数加上一个常数(则延迟越大奖励越小)，其中γ表示衰减系数，s′表示当前状态s的下一状态，a表示当前模型执行的下一步操作(即改变某个节点的服务)。

另外，本实施例中考虑到影响深度强化学习的奖励因素包括部署开销以及传输延迟两部分，对于部署开销：如果一个路由器承载服务链的功能的话，则必须把部署开销作为考量因素；反之，路由器不部署任何功能，则不承担部署开销；对于传输延迟：在整个拓扑中实现服务链的功能，则必须根据服务策略完成整个服务流程，从而必须产生时间开销，且AP节点在被用户共用时产生额外时延。因此，深度强化学习的奖励因素与部署开销和传输延迟的关系如下：

Cost＝αDelay+βConsumption

式中，Cost表示深度强化模型要最终优化的Reward，α和β均表示权重参数，其中，α+β＝1，且α和β分别表示传输延迟和部署开销在奖励因素中所占比例，Delay表示传输时延，Consumption表示部署开销。

步骤4，根部步骤3生成的优化的部署方案进行服务链的部署。

在实际应用中，每2毫秒向网络中动态添加一次物联网设备，且随机出现在网络中任意一个子节点上，利用本实施例的服务链部署方法进行网络部署。

本实施例的方法主要应用于树形逻辑网络拓扑。物理网络本身可以是任何形状，但是物联网设备通过树进行通信。MEC中心的网络架构通常由路由和交换元素树组成。此外，树拓扑被广泛使用，例如，用于无线传感器网络和内容传送网络。

本实施例的方法利用深度强化学习(DRL)的方法，具有两个显著的特征：首先，为了处理无线动态并考虑物联网设备的地理分布，使用DRL来估计对从物联网设备到边缘服务器的任务卸载有重大影响的底层无线功能。其次，利用多址接入机会隐式调整物联网的空间分布。所提出的工作可以显著提高物联网边缘计算的资源利用率，同时不牺牲物联网任务的计算效率。本实施例的方法有效地适应了物联网的地理和无线多样性，提高了大规模边缘物联网网络的资源利用率。

实施例2

基于上述实施例1，本实施例提出了一种服务于众智计算环境的服务链部署系统。

具体的，如图2所示，该系统包括模型构建模块、传输时延模块和优化模型。其中，

模型构建模块，基于网络拓扑进行路由器模型的构建，明确服务链的服务流程；

传输时延模块，根据模型构建模块中的拓扑确定与用户相连的AP节点的部署，并生成AP节点在复用情况下复用用户个数对传输时延的函数；具体的，传输时延模块确定的传输时延和用户个数的函数关系如下：

Delay＝e^0.1*x

式中：Delay表示传输时延，x表示AP节点接入用户个数。

优化模块，该模块将模型的参数、路由器的传输时延参数以及部署开销的参数传入路由器模型，采用深度强化学习的方法，从一个路由节点开始，对整个网络进行优化，迭代到时延整体达到最低，获得优化的服务链部署方案。

具体的，本实施例的优化模块采用但不限于贝尔曼方程，通过前几轮迭代中路由节点的产生延迟和衰减系数相乘作为权重影响当前节点部署的选择，且当前状态的节点选择概率为：

V(s)＝max_α(R(s，a)+γV(s′))

式中，V(s)表示当前状态s的节点选择概率，R(s，a)表示选择当前状态s导致的延迟的相反数加上一个常数，其中γ表示衰减系数，s′表示当前状态s的下一状态，a表示当前模型执行的下一步操作(即改变某个节点的服务)。

在另外的优选实施例中，影响深度强化学习的奖励因素包括部署开销以及传输延迟两部分，即

Cost＝αDelay+βConsumption

式中，Cost表示深度强化模型要最终优化的Reward，α和β均表示权重参数，其中，α+β＝1，且α和β分别表示传输延迟和部署开销在奖励因素中所占比例，Delay表示传输时延，Consumption表示部署开销。

实施例3

将上述实施例1提出的服务链部署方法和上述实施例2提出的服务链部署系统应用于一种典型的树形逻辑网络拓扑，如图3所示。

本实施例生成实际的网络服务链部署方案主要过程如下：基于网络拓扑进行路由器模型的构建，明确服务链的服务流程；根据拓扑确定与用户相连的AP节点的部署，并且确定AP节点复用的情况下复用用户个数对传输时延的函数；将模型以及路由器的传输时延以及部署开销的参数传入模型，根据深度强化学习的方法，从一个路由节点开始，对整体网络进行优化，迭代到时延整体达到最低；根据最低策略生成的部署方案进行服务链的部署。

其中：

A.基于网络拓扑进行路由器模型的构建，明确服务链的服务流程：

在构建模型的时候，利用STL生成图结构存储拓扑，并利用数组记录当前各个路由节点，AP节点，用户接入的状态。

B.根据拓扑确定与用户相连的AP节点的部署，并且确定AP节点复用的情况下复用用户个数对传输时延的函数：

Delay＝e^0.1*x

式中：Delay表示传输时延，x表示AP节点接入用户个数。

1)x表示某个AP节点被公用的用户个数。

2)在实际情况中，用户是否选择公用AP节点，还是单独使用与自己相对应的节点取决于模型在迭代中的优化。

C.将模型以及路由器的传输时延以及部署开销的参数传入模型，根据深度强化学习的方法，从一个路由节点开始，对整体网络进行优化，迭代到时延整体达到最低。

1)该模型运用的神经网络结构为多层感知机(MLP，Multilayer Perceptron)除了输入输出层，它中间可以有多个隐层，本模型运用的隐藏层为3。

具体的，该模型采用贝尔曼方程，通过前几轮迭代中路由节点的产生延迟和衰减系数相乘作为权重影响当前节点部署的选择，且当前状态的节点选择概率为：

V(s)＝max_α(R(s，a)+γV(s′))

式中，V(s)表示当前状态s的节点选择概率，R(s，a)表示选择当前状态s导致的延迟的相反数加上一个常数，其中γ表示衰减系数，s′表示当前状态s的下一状态，a表示当前模型执行的下一步操作。

此外，影响深度强化学习的奖励因素包括部署开销以及传输延迟两部分，即

Cost＝αDelay+βConsumption

式中，Cost表示深度强化模型要最终优化的Reward，α和β均表示权重参数，Delay表示传输时延，Consumption表示部署开销。

2)一般选择从度数最小的节点开始，循环迭代模型，将每次的路由节点状态，代价(cost)采取下一步策略(Action)放入队列中，通过反向传播改变神经网络参数，从而使整体部署策略的大家不断降低。

本实施例通过模拟在某拓扑结构下完成服务链功能的模型，借助深度强化学习的方法，对该模型进行迭代优化，得到实际的网络部署方案。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.服务于众智计算环境的服务链部署方法，其特征在于，该方法包括以下步骤：

步骤1，基于网络拓扑进行路由器模型的构建，明确服务链的服务流程；

步骤2，根据步骤1的网络拓扑确定与用户相连的AP节点的部署，并确定AP节点在复用情况下复用用户个数对传输时延的函数；

步骤3，将模型的参数、路由器的传输时延参数以及部署开销的参数传入路由器模型，采用深度强化学习的方法，从一个路由节点开始，对整个网络进行优化，迭代到时延整体达到最低；

步骤4，根部步骤3生成的部署方案进行服务链的部署。

2.根据权利要求1所述的服务于众智计算环境的服务链部署方法，其特征在于，所述步骤2中确定的传输时延和用户个数的函数关系如下：

Delay＝e^0.1*x

式中：Delay表示传输时延，x表示AP节点接入用户个数。

3.根据权利要求1所述的服务于众智计算环境的服务链部署方法，其特征在于，所述步骤3的优化迭代过程中，利用贝尔曼方程，通过前几轮迭代中路由节点的产生延迟和衰减系数相乘作为权重影响当前节点部署的选择，且当前状态的节点选择概率为：

V(s)＝max_α(R(s，a)+γV(s′))

式中，V(s)表示当前状态s的节点选择概率，R(s,a)表示选择当前状态s导致的延迟的相反数加上一个常数，其中γ表示衰减系数，s′表示当前状态s的下一状态，a表示当前模型执行的下一步操作。

4.根据权利要求1-3任一项所述的服务于众智计算环境的服务链部署方法，其特征在于，所述步骤3中影响深度强化学习的奖励因素包括部署开销以及传输延迟两部分，即

Cost＝αDelay+βConsumption

式中，Cost表示深度强化模型要最终优化的Reward，α和β均表示权重参数，Delay表示传输时延，Consumption表示部署开销。

5.服务于众智计算环境的服务链部署系统，其特征在于，该系统包括：

模型构建模块，基于网络拓扑进行路由器模型的构建，明确服务链的服务流程；

传输时延模块，根据模型构建模块中的拓扑确定与用户相连的AP节点的部署，并生成AP节点在复用情况下复用用户个数对传输时延的函数；

优化模块，将模型的参数、路由器的传输时延参数以及部署开销的参数传入路由器模型，采用深度强化学习的方法，从一个路由节点开始，对整个网络进行优化，迭代到时延整体达到最低，获得优化的服务链部署方案。

6.根据权利要求5所述的服务于众智计算环境的服务链部署系统，其特征在于，所述传输时延模块确定的传输时延和用户个数的函数关系如下：

Delay＝e^0.1*x

式中：Delay表示传输时延，x表示AP节点接入用户个数。

7.根据权利要求5所述的服务于众智计算环境的服务链部署系统，其特征在于，所述优化模块利用贝尔曼方程，通过前几轮迭代中路由节点的产生延迟和衰减系数相乘作为权重影响当前节点部署的选择，且当前状态的节点选择概率为：

V(s)＝max_α(R(s，a)+γV(s′))

式中，V(s)表示当前状态s的节点选择概率，R(s,a)表示选择当前状态s导致的延迟的相反数加上一个常数，其中γ表示衰减系数，s′表示当前状态s的下一状态，a表示当前模型执行的下一步操作。

8.根据权利要求5-7任一项所述的服务于众智计算环境的服务链部署系统，其特征在于，所述优化模块中影响深度强化学习的奖励因素包括部署开销以及传输延迟两部分，即

COst＝αDelay+βConsumption

式中，Cost表示深度强化模型要最终优化的Reward，α和β均表示权重参数，Delay表示传输时延，Consumption表示部署开销。

Images