CN115022188A - 一种电力边缘云计算网络中的容器放置方法及系统 - Google Patents

Abstract

本发明涉及一种电力边缘云计算网络中的容器放置方法及系统，其包括：根据任务的紧迫性进行预处理后，基于预先构建的系统模型，将多个用户的并发应用程序请求设定为多容器并行放置问题；求解所述多容器并行放置问题，得到在满足服务的时延容忍度的情况下，输出最小化所有任务的总时延的容器放置策略。本发明解决了电力边缘云计算网络中的边缘节点资源异构问题以及任务卸载带来的容器放置问题，并在满足用户时延要求的同时降低任务服务时间。本发明可以在容器编排技术领域中应用。

Description

一种电力边缘云计算网络中的容器放置方法及系统

技术领域

本发明涉及一种容器编排技术领域，特别是关于一种电力边缘云计算网络中的容器放置方法及系统。

背景技术

电力边缘云计算将计算资源、内存和存储资源扩展到网络边缘侧来解决云计算的局限性，但是，边缘节点间的资源异构性和接入到互联网的任务的复杂多样性导致移动边缘网络处理一些任务不及时而造成用户服务质量差，用户体验度低等后果。虚拟化技术可针对具体应用创建特定的虚拟环境，容器是软件虚拟化的一种形式，容器得益于其轻量型、易创建、易迁移、弹性伸缩、具有安全性隔离的特性，迅速成为提供电力边缘云计算服务的现实方式。

目前，有关集容器放置的文献中，为了优化容器放置的位置，考虑容器间的信息交互情况，通过感知容器间的通信达到优化目标。容器放置系统的成本是容器放置过程中不可忽略的一部分，一些文献通过考虑容器集成达到优化系统成本的目的。但是，现有文献中大多都只考虑了容器之间的资源可用性和通信，以降低容器部署的成本，并没有考虑不同用户对延迟的不同要求和用户服务质量的不同。故目前亟需解决电力边缘云计算网络中的边缘节点资源异构问题以及任务卸载带来的容器放置问题。

发明内容

针对上述问题，本发明的目的是提供一种电力边缘云计算网络中的容器放置方法及系统，其解决了电力边缘云计算网络中的边缘节点资源异构问题以及任务卸载带来的容器放置问题，并在满足用户时延要求的同时降低任务服务时间。

为实现上述目的，本发明采取以下技术方案：一种电力边缘云计算网络中的容器放置方法，其包括：基于预先构建的系统模型，将多个用户的并发应用程序请求设定为多容器并行放置问题；求解所述多容器并行放置问题，得到在满足服务的时延容忍度的情况下，输出最小化所有任务的总时延的容器放置策略。

进一步，所述系统模型的构建过程包括：

设定网络模型，将每个任务映射到一个容器，确定以容器所承载的任务的时延为优化目标；

设定容器放置模型，根据容器的放置决策得到并行容器放置矩阵，确定任务放置的边缘节点；

设定任务优先级模型，将任务划分为紧急任务和非紧急任务，若任务的价值密度越高且时延容忍度越低时，任务越紧急，优先级越高；

设定通信模型，根据任务优先级确定任务请求发送到边缘节点的通信延迟；

设定计算模型，根据任务优先级确定任务在边缘节点上的计算时延。

进一步，所述多容器并行放置问题为：

i∈{0,n}

j∈{0,z},

其中，s.t.表示约束条件；C1表示边缘节点上的资源约束；C2表示在降低所有任务计算总时延的同时要满足每一个任务的时延容忍度要求；Φ是容器的放置成本；Γⁱ表示所有容器的部署成本；

表示容器i做占用的第k维资源的数量；x_ij表示容器c_i是否放置在边缘节点j上；

表示表示边缘节点i上的第k维资源；

表示任务时延容忍度；n表示容器的数量；z表示边缘节点的数量。

进一步，采用DDQN强化学习方法求解所述多容器并行放置问题，包括：

将所述多容器并行放置问题进行重构，设定状态空间、动作空间和奖励；

计算任务的紧迫性，根据紧迫性对任务进行优先级分类；

随机选择一个动作a作用于环境得到下一时刻的状态s′，计算该动作的容器放置成本和获得的长期奖励值r，存储为集合[s,a,s′,r]，s为任务状态；

t时刻的当前状态s_t作用于主网络得到一系列Q值，通过贪婪策略选择的Q值对应的动作a作用于环境得到下一时刻的状态s_t+1和奖励r_t+1；

计算目标Q值和loss值，当loss值不断下降至趋于0时神经网络收敛，此时寻找使Q值最大的动作A(t+1)，并输出。

进一步，所述状态空间由终端设备与边缘节点之间的信道增益、任务优先级、容器所占用资源和边缘节点的剩余资源组成。

进一步，所述动作空间由容器的放置策略构成。

进一步，所述奖励中的即时奖励为容器放置成本的倒数。

一种电力边缘云计算网络中的容器放置系统，其包括：处理模块，基于预先构建的系统模型，将多个用户的并发应用程序请求设定为多容器并行放置问题；求解模块，求解所述多容器并行放置问题，得到在满足服务的时延容忍度的情况下，输出最小化所有任务的总时延的容器放置策略。

一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。

一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。

本发明由于采取以上技术方案，其具有以下优点：

1、本发明将多个用户的并发应用程序请求建模为多容器并行放置问题，并对该问题进行求解输出容器放置策略，解决了电力边缘云计算网络中的边缘节点资源异构问题，并在满足用户时延要求的同时降低任务服务时间。

2、本发明基于任务优先级进行容器放置策略。该策略充分考虑了任务的紧迫性和网络状态的动态性，考虑任务的价值密度和时延容忍度将任务分为紧急任务和非紧急任务。

3、本发明考虑到容器放置是一个随机优化问题，在使用马尔可夫过程对容器放置问题进行建模时，将任务优先级、通信链路状态、边缘节点可用资源作为环境参数提出根据任务优先级改进的基于马尔可夫过程的强化学习算法。在满足用户时延要求的同时降低任务服务时间。通过仿真验证提出的算法可以有效降低任务的时延。

附图说明

图1是本发明一实施例中电力边缘云计算网络中的容器放置方法流程图；

图2是本发明一实施例中容器放置的架构图；

图3a是本发明一实施例中CPBA算法loss曲线不同learning rate仿真结果图；

图3b是本发明一实施例中CPBA算法loss曲线不同batch size仿真结果图；

图4a是本发明一实施例中CPBA算法reward曲线不同learning rate仿真结果图；

图4b是本发明一实施例中CPBA算法reward曲线不同batch size仿真结果图；

图5是本发明一实施例中CPBA与NP算法的容器放置成本仿真结果图；

图6是本发明一实施例中不同算法的容器放置成本仿真结果图；

图7是本发明一实施例中不同算法的总时延仿真结果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

基于任务优先级进行容器放置策略。该策略充分考虑了任务的紧迫性和网络状态的动态性，考虑任务的价值密度和时延容忍度将任务分为紧急任务和非紧急任务，提出了一种基于任务优先级的容器调度框架；边缘控制服务器对任务进行预处理后，每个任务映射到一个容器，将多个用户的并发应用程序请求建模为多容器并行放置问题；考虑到容器放置是一个随机优化问题，在使用马尔可夫过程对容器放置问题进行建模时，我们将任务优先级、通信链路状态、边缘节点可用资源作为环境参数提出根据任务优先级改进的基于马尔可夫过程的强化学习算法。本专利在满足用户时延要求的同时降低任务服务时间。通过仿真验证提出的算法可以有效降低任务的时延。

本发明提供的电力边缘云计算网络中的容器放置方法及系统，由于用户侧的每个用户都不知道别的用户需要卸载任务的优先级，首先在收到时刻t需要卸载任务的信息之后，对这些任务进行预处理，并得到每个任务的任务优先级。将多个用户的并发应用程序请求建模为多容器并行放置问题，开始的时候，边缘节点不知道每个容器所放置位置的情况，选择一个随机放置策略的初始化值，根据这个动作会计算一个该动作的长期奖励值，以及边缘节点目前的可用资源、当前的通信链路状态。当前时刻的状态采取不同动作之后可以获得下一时刻的状态。存储池是用来存储经验值的，将当前时刻的状态，所做的动作，长期奖励值和下一时刻的状态存储在存储池中，从特定的训练批次中随机选取经验值更新主函数参数，直到所做的动作可以获得最大的长期效益。

在本发明的一个实施例中，提供一种电力边缘云计算网络中的容器放置方法。本实施例中，如图1所示，该方法包括以下步骤：

1)基于预先构建的系统模型，将多个用户的并发应用程序请求设定为多容器并行放置问题；

2)求解多容器并行放置问题，得到在满足服务的时延容忍度的情况下，输出最小化所有任务的总时延的容器放置策略。

上述步骤1)中，系统模型的构建过程包括：

(1)设定网络模型，将每个任务映射到一个容器，确定以容器所承载的任务的时延为优化目标；

本发明考虑间隔时间的方式运行，t＝{1,2,…,T}，时隙为τ，时间t时移动设备用户连续生成N个计算任务的场景，并将多个用户的并发应用程序请求建模为多容器并行放置问题。每个任务映射到一个容器上，定义C为电力边缘云计算网络中的一组容器，一组容器向量表示为C＝{c₁，c₂，…，c_n}，若在时间t时需要将任务i卸载到边缘节点 j上，则需将容器c_i部署到该边缘节点上，用D_i表示c_i所占有主机资源的向量，表示为

定义

为一组需要同时卸载到电力边缘云计算网络上的任务，表示为

考虑边缘网络中有M个边缘节点，定义

为边缘计算网络的一组边缘节点，

其为终端用户提供计算、内存和存储空间等资源，边缘节点 j的资源向量表示为

其中

表示边缘节点j上的第k维资源。在容器放置过程中，每一个容器承载了一个任务，为了满足用户的服务质量，本实施例中主要考虑容器所承载的任务的时延作为优化目标。假设在时隙τ内需要同时卸载的任务数量为N，定义任务

其中

分别表示任务n需要传输的数据大小、计算任务所需CPU圈数、任务价值和任务时延容忍度。

(2)设定容器放置模型，根据容器的放置决策得到并行容器放置矩阵，确定任务放置的边缘节点；

容器的放置决策是0-1决策，定义容器的放置决策为x，时刻t时的并行容器放置矩阵为X(t)＝[x_ij]_N×Z，表示为：

(3)设定任务优先级模型，将任务划分为紧急任务和非紧急任务，若任务的价值密度越高且时延容忍度越低时，任务越紧急，优先级越高；

终端用户需要卸载到边缘节点上计算的任务类型各不相同，有时延敏感型、密集计算型等，本实施例采用基于任务优先级的容器调度框架首先对这些任务进行了一个预处理。在时隙τ中，总共有K个任务需要被卸载。需要将任务划分为紧急任务和非紧急任务。同时考虑任务的价值和任务的最大容忍时间，确保优先级高的任务拥有更多的计算资源，提高用户的服务质量。V_i表示任务i的值密度为，将任务i的紧急情况表示为Priority_i，根据下式可以得出，一个任务的价值密度越高且时延容忍度越低时，任务越紧急，

P表示为任务优先级，假设紧急任务占所有任务的l/k，因此本章表示紧急任务P＝1，非紧急任务P＝2，可以描述为：

(4)设定通信模型，根据任务优先级确定任务请求发送到边缘节点的通信延迟；

在本实施例中，主要涉及到移动用户和边缘节点之间的数据传输。本实施例用p_t∈ P表示时隙τ中分配的发射功率，其中P是可选发射功率的集合。h_ij表示任务i与边缘节点j之间的无线信道增益。平均信道增益遵循自由空间路径损耗模型，可表示为：

其中，A_d＝4.11，表示天线增益；f_c＝915MHz，表示载波频率；d_e＝2.8表示路径损失指数，

时隙τ内，N个边缘节点的时变无线信道增益由瑞利衰落信道模型

生成，表示为

其中

是独立随机信道衰落因子，服从单位均值的指数分布。在不丧失一般性的前提下，信道增益在一个时间框架内保持不变，而在不同的时间框架内独立变化。因此，任务i与边缘节点j之间的无线上行信道的传输速率可计算为：

其中B表示信道总带宽，N_j表示边缘节点j上计算任务的数量，h_ij为任务i与边缘节点j之间的无线信道增益。由于下行链路传输的计算结果数据包很小，所以数据回传时延可以忽略不计。因此，任务i请求发送到边缘节点j的通信延迟为：

(5)设定计算模型，根据任务优先级确定任务在边缘节点上的计算时延；

边缘节点的资源包括内存、硬盘和计算资源等，任务的计算时延主要与边缘节点分配给容器的CPU资源大小相关。

表示计算任务i所需的CPU周期数。

表示容器 i所占用的CPU资源。根据任务优先级给容器分配不同CPU资源，

因此，任务i在边缘节点j上的计算时延可计算为：

另外，分配给同一台服务器上的任务的资源不能超过该服务器的资源总量，如下式，

上述步骤1)中，基于系统模型，在时隙τ中，有k个容器需要并行部署。多容器并行放置问题为：

i∈{0,n}

j∈{0,z},

其中，s.t.表示约束条件；C1表示边缘节点上的资源约束；C2表示在降低所有任务计算总时延的同时要满足每一个任务的时延容忍度要求；Φ是容器的放置成本；Γⁱ表示所有容器的部署成本；

表示容器i做占用的第k维资源的数量；x_ij表示容器c_i是否放置在边缘节点j上；

表示表示边缘节点i上的第k维资源；

表示任务时延容忍度；n表示容器的数量；z表示边缘节点的数量；k表示资源的种类。

由于本发明需要解决的是在任务卸载到边缘计算节点场景下的容器放置问题。本发明的目标是为承载终端任务的容器寻找最优的放置策略。使时隙τ需要卸载的任务的总延迟最小化。在每个时隙中，用户首先将任务信息传递给调度器，调度器对这些信息进行简单处理，确定任务应该卸载的边缘服务器，并将不同的CPU资源分配给任务进行计算。由于无线资源与计算资源分配之间没有直接联系，因此将联合资源分配优化问题分为无线通信资源和计算资源两个子问题。所以容器部署成本定义为该容器所承载的任务的总时延，由上诉知道第i个容器放置到第j个边缘服务器的放置成本，所以，所以在时刻t，所有容器的部署成本表示为：

上述步骤2)中，采用DDQN强化学习方法求解多容器并行放置问题，输入为一组任务向量S、信道增益向量H、MEC的资源向量R，移动用户与基站之间的带宽B和超参数e，γ，α；输出为时刻t的容器放置决策向量a_i(t)。包括以下步骤：

2.1)将多容器并行放置问题进行重构，设定状态空间、动作空间和奖励；

2.2)计算任务的紧迫性，对任务进行优先级分类；

2.3)智能体随机选择一个动作a作用于环境得到下一时刻的状态s′，计算该动作的容器放置成本和获得的长期奖励值r，存储为集合[s，a，s′，r]，s为任务状态；

2.4)神经网络的训练过程：t时刻的状态s_t作用于主网络得到有一系列Q值，通过贪婪策略选择的Q值对应的动作a作用于环境得到下一时刻的状态s_t+1和奖励r_t+1。

2.5)计算目标Q值和loss值，当loss值不断下降至趋于0时神经网络收敛，此时寻找使Q值最大的动作a，并输出；

其中，计算Q值时，是将神经网络计算的下一状态的Q值的最大值行为作用于现实神经网络的行为，从而计算Q值；loss值是目标网络Q值与主网络Q值的差异：

loss(θ_t)＝E[(y_t-Q(s_t，a_t；θ_t))²]，

其中，γ表示折扣因子，θ_t为主网络的网络参数，

为目标网络的网络参数，每隔一段时间，目标网络会复制主网络的网络参数，故有

y_t为Q值预测值，E表示期望。

上述步骤2.1)中，状态空间S由终端设备与边缘节点之间的信道增益、任务优先级、容器所占用资源和边缘节点的剩余资源组成。

具体的，系统状态由终端设备与边缘节点之间的信道增益、任务优先级、容器所占用资源和边缘节点的剩余资源组成。S表示环境的状态空间，定义S＝S(t)，t∈T，其中S(t)为瞬时状态。因此，t时刻系统状态S(t)表示为式(3-21)，其中，H_um(t)表示任务u与边缘节点m之间的信道增益，P_n(t)表示任务n的紧急程度，C_um(t)表示容器c_u所占用的资源数量，M_z(t)表示边缘节点z的剩余资源，

s(t)＝{H_u1(t)，H_u2(t)，...，H_um(t)；

P₁(t)，P₂(t)，....，P_n(t)；

C_u1(t)，C_u2(t)，...，C_um(t)；

M₁(t)，M₂(t)，...，M_z(t)}

上述步骤2.1)中，动作空间A由容器的放置策略构成。

具体的，设A(t)＝{a₁(t)，a₂(t)，...，a_i(t)}，t∈T为系统动作空间，A(t)为t时刻的动作，a_i(t)为容器i的放置策略，表示为：

a_i(t)＝x_ij(t)

上述步骤2.1)中，即时奖励为容器放置成本的倒数。

具体的，Φ是容器的放置成本，本发明的目标是最小化容器的放置成本。需求是优化T时间段内的长期奖励，定义即时奖励r(t)为：

实施例：

如图2所示，本实施例中考虑的数值仿真场景为一个三层架构的电力边缘云计算网络，包括用户层、电力边缘云计算网络层和边缘服务控制层。其中在电力边缘云计算网络中的边缘节点数为5个。仿真参数如表1所示。

表1仿真参数

如图3a-图6所示，对本发明的有效性做进一步的说明。

首先，为了证明本发明所提出的基于任务优先级的容器放置方法的有效性。先对不同的算法参数对本发明方法的收敛性能的影响进行对比，包括不同的学习率 (learningrate)和训练批次(batch size)对损失值(Loss)和长期奖励(Long term reward) 的影响。从图3a可以看出，学习率为0.01时的收敛速度要比学习率为0.003或0.001 时的收敛速度快，学习率调整当前和以前的学习值的权重，图3b表示训练批次对收敛性能的影响，训练批次表示在每个训练步骤中使用的批次来训练Q网络。图4a为不同学习率下，每次迭代的长期奖励，当步数在100步左右时奖励趋于平稳。由图4b可以看出，受训练批次大小对长期奖励的影响。

为了进一步证明本发明的任务优先级框架的有效性，比较了有任务优先级的情况和没有任务优先级的情况，在基于任务优先级的边缘计算框架中，为不同优先级的任务分配不同的计算资源。为了证明优先级框架的优越性，比较了优先级框架和非优先级框架中所有任务的总时间。如图5所示，描述了有优先级(CPBA)和无优先级(No Priority,NP)的每个时隙的容器放置成本。显然，在优先级框架下，容器放置成本明显低于非优先级框架。曲线有一些起伏，总体呈下降趋势，因为容器放置成本受每个时隙τ中任务大小的影响，而DRL算法是一个学习过程。训练初期，效果不是特别好，所以容器放置成本会比较大，随着时间的推移，它会越来越小，也说明DRL算法可以有效的做出容器放置决策。

其次，本发明与其他随机放置(Random Algorithm,RA)算法，优先匹配(FirstFit, FFT)算法做比较，用来证明其针对用户时延计算开销的有效性。如图6所示，比较了不同算法下各组容器的放置成本，CPBA是本章提出的基于优先级的容器放置算法， NP是没有优先级的容器放置算法。优先匹配算法是一种贪心算法，指容器放置时先优先放置到一个边缘节点上，直到这个节点没有剩余资源。随机分配算法是指为随机在边缘节点中选择容器放置的位置。从图中可以看到每组容器放置成本的分布。可以看到CPBA的分布最集中，中位数最小，而FFT的中位数最大，RA的分布比较分散，这也取决于RA的不确定性。

最后，本发明与其他算法的任务计算总时延做对比，如图7所示，可以看出CPBA 算法的性能在所有任务的总延迟方面得到验证。

在本发明的一个实施例中，提供一种电力边缘云计算网络中的容器放置系统，其包括：

处理模块，基于预先构建的系统模型，将多个用户的并发应用程序请求设定为多容器并行放置问题；

求解模块，求解多容器并行放置问题，得到在满足服务的时延容忍度的情况下，输出最小化所有任务的总时延的容器放置策略。

上述实施例中，处理模块中的系统模型的构建过程包括：

设定网络模型，将每个任务映射到一个容器，确定以容器所承载的任务的时延为优化目标；

设定容器放置模型，根据容器的放置决策得到并行容器放置矩阵，确定任务放置的边缘节点；

设定任务优先级模型，将任务划分为紧急任务和非紧急任务，若任务的价值密度越高且时延容忍度越低时，任务越紧急，优先级越高；

设定通信模型，根据任务优先级确定任务请求发送到边缘节点的通信延迟；

设定计算模型，根据任务优先级确定任务在边缘节点上的计算时延。

其中，多容器并行放置问题为：

i∈{0,n}

j∈{0,z},

其中，s.t.表示约束条件；C1表示边缘节点上的资源约束；C2表示在降低所有任务计算总时延的同时要满足每一个任务的时延容忍度要求；Φ是容器的放置成本；Γⁱ表示所有容器的部署成本；

表示容器i做占用的第k维资源的数量；x_ij表示容器c_i是否放置在边缘节点j上；

表示表示边缘节点i上的第k维资源；

表示任务时延容忍度；n表示容器的数量；z表示边缘节点的数量。

上述求解模块中，采用DDQN强化学习方法求解多容器并行放置问题，包括：

重构模块，将多容器并行放置问题进行重构，设定状态空间、动作空间和奖励；

分级模块，计算任务的紧迫性，根据紧迫性对任务进行优先级分类；

智能体模块，随机选择一个动作a作用于环境得到下一时刻的状态s′，计算该动作的容器放置成本和获得的长期奖励值r，存储为集合[s,a,s′,r]，s为任务状态；

主网络模块，t时刻的当前状态s_t作用于主网络得到一系列Q值，通过贪婪策略选择的Q值对应的动作a作用于环境得到下一时刻的状态s_t+1和奖励r_t+1；

输出模块，计算目标Q值和loss值，当loss值不断下降至趋于0时神经网络收敛，此时寻找使Q值最大的动作A(t+1)，并输出。

上述实施例中，状态空间由终端设备与边缘节点之间的信道增益、任务优先级、容器所占用资源和边缘节点的剩余资源组成。

上述实施例中，动作空间由容器的放置策略构成。

上述实施例中，奖励中的即时奖励为容器放置成本的倒数。

本实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

本发明一实施例中提供的计算设备结构，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理器执行时以实现一种电力边缘云计算网络中的容器放置方法；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、管理商网络、NFC(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令，以执行如下方法：基于预先构建的系统模型，将多个用户的并发应用程序请求设定为多容器并行放置问题；求解多容器并行放置问题，得到在满足服务的时延容忍度的情况下，输出最小化所有任务的总时延的容器放置策略。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以理解，上述计算设备示出的结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的计算设备的限定，具体的计算设备可以包括更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：基于预先构建的系统模型，将多个用户的并发应用程序请求设定为多容器并行放置问题；求解多容器并行放置问题，得到在满足服务的时延容忍度的情况下，输出最小化所有任务的总时延的容器放置策略。

在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：基于预先构建的系统模型，将多个用户的并发应用程序请求设定为多容器并行放置问题；求解多容器并行放置问题，得到在满足服务的时延容忍度的情况下，输出最小化所有任务的总时延的容器放置策略。

上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种电力边缘云计算网络中的容器放置方法，其特征在于，包括：

基于预先构建的系统模型，将多个用户的并发应用程序请求设定为多容器并行放置问题；

求解所述多容器并行放置问题，得到在满足服务的时延容忍度的情况下，输出最小化所有任务的总时延的容器放置策略。

2.如权利要求1所述电力边缘云计算网络中的容器放置方法，其特征在于，所述系统模型的构建过程包括：

设定网络模型，将每个任务映射到一个容器，确定以容器所承载的任务的时延为优化目标；

设定容器放置模型，根据容器的放置决策得到并行容器放置矩阵，确定任务放置的边缘节点；

设定任务优先级模型，将任务划分为紧急任务和非紧急任务，若任务的价值密度越高且时延容忍度越低时，任务越紧急，优先级越高；

设定通信模型，根据任务优先级确定任务请求发送到边缘节点的通信延迟；

设定计算模型，根据任务优先级确定任务在边缘节点上的计算时延。

3.如权利要求2所述电力边缘云计算网络中的容器放置方法，其特征在于，所述多容器并行放置问题为：

i∈{0，n}

j∈{0，z}，

其中，s.t.表示约束条件；C1表示边缘节点上的资源约束；C2表示在降低所有任务计算总时延的同时要满足每一个任务的时延容忍度要求；Φ是容器的放置成本；Γⁱ表示所有容器的部署成本；

表示容器i做占用的第k维资源的数量；x_ij表示容器c_i是否放置在边缘节点j上；

表示表示边缘节点i上的第k维资源；

表示任务时延容忍度；n表示容器的数量；z表示边缘节点的数量。

4.如权利要求1所述电力边缘云计算网络中的容器放置方法，其特征在于，采用DDQN强化学习方法求解所述多容器并行放置问题，包括：

将所述多容器并行放置问题进行重构，设定状态空间、动作空间和奖励；

计算任务的紧迫性，根据紧迫性对任务进行优先级分类；

随机选择一个动作a作用于环境得到下一时刻的状态s′，计算该动作的容器放置成本和获得的长期奖励值r，存储为集合[s，a，s′，r]，s为任务状态；

t时刻的当前状态s_t作用于主网络得到一系列Q值，通过贪婪策略选择的Q值对应的动作a作用于环境得到下一时刻的状态s_t+1和奖励r_t+1；

计算目标Q值和loss值，当loss值不断下降至趋于0时神经网络收敛，此时寻找使Q值最大的动作A(t+1)，并输出。

5.如权利要求4所述电力边缘云计算网络中的容器放置方法，其特征在于，所述状态空间由终端设备与边缘节点之间的信道增益、任务优先级、容器所占用资源和边缘节点的剩余资源组成。

6.如权利要求4所述电力边缘云计算网络中的容器放置方法，其特征在于，所述动作空间由容器的放置策略构成。

7.如权利要求4所述电力边缘云计算网络中的容器放置方法，其特征在于，所述奖励中的即时奖励为容器放置成本的倒数。

8.一种电力边缘云计算网络中的容器放置系统，其特征在于，包括：

处理模块，基于预先构建的系统模型，将多个用户的并发应用程序请求设定为多容器并行放置问题；

求解模块，求解所述多容器并行放置问题，得到在满足服务的时延容忍度的情况下，输出最小化所有任务的总时延的容器放置策略。

9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至7所述方法中的任一方法。

10.一种计算设备，其特征在于，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至7所述方法中的任一方法的指令。

Images