CN114201180A - 微服务部署方法、可读存储介质及设备 - Google Patents

Abstract

本发明公开了一种微服务部署方法，在已经部署好的节点中，获取已经部署好的计算服务，每隔时隙t对服务质量进行检测；在重部署条件触发时，筛选服务质量未满足预期的计算服务S1；获取计算服务S1的服务贡献值，所述服务贡献值由相应计算服务的迁移时间与原部署方案下的调度时间的差值决定；选取服务贡献值最高的计算服务进行重部署。本发明方案优化了对服务的响应部署，从而有利于改善系统服务执行的效率和成本。

Description

微服务部署方法、可读存储介质及设备

技术领域

本发明是关于计算机技术，特别是关于一种面向边缘视觉应用的云边协同环境下的微服务部署方法、可读存储介质及设备。

背景技术

如今，随着物联网、边缘智能技术的快速发展，万物互联的智能时代正在加速到来。随之而来的还有网络边缘的设备数量和产生的数据都快速增长，这种情形对当前广泛使用的云计算模型提出了巨大的挑战。正因如此，近几年，边缘计算出现在大众视野中，边缘计算是一种在靠近终端设备的网络边缘提供智能服务的新型计算模型。值得注意的是，边缘计算虽然有如此多的优势和特点，但由于边缘节点资源受限，且部分数据与任务必须在云中心中存储和执行，所以云边协同具有更广泛的实际意义。

虽然云边协同计算模式为优化应用/服务响应时间提供了契机，但也面临着它对应的问题。首先，边缘服务器都是小型服务器，资源有限，无法满足所有服务需求，不同节点范围内服务的请求数量不同，服务部署在不同节点处对系统性能影响不同。在此基础上，终端应用的移动性和对服务需求的变化，导致负载分布是动态变化的，当服务请求发生大量改变时，静态的服务部署不再适用，无法实现所有时间段内系统性能最佳。

近年来关于服务部署问题已经取得大量的研究成果，接下来将介绍当前服务部署及动态部署问题现状。如今的服务部署策略更多的是使用各种优化目标，比如最大化边缘端服务请求响应数量、最小化系统成本等等，但是这些研究都需要建立在每个工作都有专有计算、存储、带宽资源的基础上执行，虽然可行，但存储资源的利用率将会变得非常低。近期的研究工作大多是利用预测的方法研究部署的服务，预测的内容可以是数据传输、处理及迁移的成本等等，如：以平衡负载及网络延迟为目标，提出了一种基于Pareto的最佳K-Medoids动态资源分配算法。

目前部分部署策略的研究忽略了系统的异构性，如：在同构的边缘计算环境下同时考虑延迟与成本得到服务部署策略，或使用贪心策略将服务性能需求看作是相同的，显然，这不符合现实场景，边缘服务器的资源往往是异构且有限的。

部分研究虽然考虑了环境的异构性，却忽略了系统其他指标，如：在异构边缘计算环境下通过划分节点选择收益最大部署策略，这会导致同一节点多个副本现象的出现，增加系统的功耗。再比如：采用线性规划的方法共同决定服务部署与请求调度策略，与本发明部分有关，但却忽略了负载分布不均匀的问题。

还有许多研究考虑到用户的动态变化，对服务部署提出动态调整策略。一些研究引入了用户的移动性，并使用马尔科夫链表示服务迁移的问题，得到近似最佳的解决方案；或使用最短路径的原理研究了服务迁移的策略，但这仅仅局限于单一服务与单一的用户。

然而，以上的研究都没有结合考虑服务负载的不均匀性和系统的异构性，也没有在考虑整体服务及用户的前提下研究服务部署与请求调度策略。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种面向边缘视觉应用的云边协同环境下的微服务部署方法、可读存储介质及设备，其能够通过在服务调度与服务迁移之间权衡，得到近似最优的重部署策略。

为实现上述目的，本发明的实施例提供了微服务部署方法，在已经部署好的节点中，获取已经部署好的计算服务，每隔时隙t对服务质量进行检测；在重部署条件触发时，筛选服务质量未满足预期的计算服务S1；获取计算服务S1的服务贡献值，所述服务贡献值由相应计算服务的迁移时间与原部署方案下的调度时间的差值决定；选取服务贡献值最高的计算服务进行重部署。

在本发明的一个或多个实施方式中，重部署条件为节点的整体的服务质量低于预期时，则触发重部署。

在本发明的一个或多个实施方式中，服务质量至少包括单个服务响应时间或系统内服务平均响应时间或迁移服务响应时间。

在本发明的一个或多个实施方式中，重部署为对需要重部署的计算服务获取对应的迁移节点集合，获取服务迁移时间，并比较服务迁移时间与原本服务部署方案下的调度时间，从而选择该计算服务响应时间最短的进行重部署。

在本发明的一个或多个实施方式中，服务贡献值Q_s为：

其中T_s为原部署方案下的调度时间，t_ms为迁移服务响应时间，min{t_ms}为对应于迁移节点集合的最小迁移服务响应时间。

在本发明的一个或多个实施方式中，单个服务响应时间为将请求调度到边缘服务器计算后回传获得结果过程中的延迟时间。

在本发明的一个或多个实施方式中，单个服务响应时间与输入参数传输时间、服务执行时间、输出参数传输时间中至少一个正相关。

在本发明的一个或多个实施方式中，还提供了一种可读存储介质，其存储有用于执行如前述的微服务部署方法的计算机程序。

在本发明的一个或多个实施方式中，还提供了一种设备，包括如前述的可读存储介质或用于执行如前述的微服务部署方法。

与现有技术相比，根据本发明实施方式的面向边缘视觉应用的云边协同环境下的微服务部署方法、可读存储介质及设备，针对服务请求动态变化，静态的服务部署策略无法保证任意时刻系统性能最优。针对系统内节点和服务属性的异构性，服务部署在不同节点对系统性能及服务质量会产生不同的影响。基于以上系统特性，本发明提出一种服务重部署策略，对超过最大容忍时间的服务优先选择贡献值最大的服务进行重部署，通过在服务调度与服务迁移之间权衡，得到近似最优的重部署策略。本发明以最小化系统内所有服务的平均响应时间为目标，研究边缘视觉应用服务动态重部署策略，提高服务响应质量，改善用户服务体验。针对服务请求动态变化，静态的服务部署策略无法保证任意时刻系统性能最优；针对系统内节点和服务属性的异构性，服务部署在不同节点对系统性能及服务质量会产生不同的影响。基于以上系统特性，本发明提出一种服务重部署策略，对超过最大容忍时间的服务集合，优先选择贡献值最大的服务进行重部署，通过在服务调度与服务迁移之间权衡，得到近似最优的重部署策略。

具体实施方式

下面结合具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

本发明提出一种服务动态重部署策略，对未满足预期响应延迟的服务计算服务贡献值，选择服务贡献值最高的服务进行重部署，贡献值由服务的迁移时间与调度时间的差值决定。本策略是在已经部署好的系统中进行的，每隔时隙t对服务质量进行检测。本发明中的服务质量主要指整体服务平均响应时间，当服务质量低于预期，则考虑对整体服务进行重部署。

每个重部署的服务存在对应的迁移节点集合，限制条件为：节点剩余资源块大小超过服务所需资源块大小时，通过比较服务迁移时间与原本服务部署方案下的调度时间，选择服务响应时间最短的方法。

假设已知系统内的服务s在时隙t＝0的初始状态的负载量分布矩阵L、每个服务s需求的资源量r_s以及服务在各个节点处的计算延迟。可以得到t＝0时的服务部署策略X₀，以及服务响应时间Y₀。接着在时隙t>0时，随着时间推移负载量不断发生改变，在t＝0的基础上，根据进行重部署的决策。

3.1系统服务的平均响应时延

单个服务响应时间

服务的响应时间是指从将请求调度到边缘服务器计算后回传获得结果过程中的延迟时间，除了与传输产生的延迟时间有关之外，还与节点处理服务产生的延迟时间有关。可以用：

T＝t_i+t_c+t_o (H.1)

表示，其中

1)t_i指输入参数传输时间，可以用以下式子计算

d_i为输入参数的数据大小，e_j为接收请求的边缘服务器，e_k为执行服务的边缘或云服务器，v_jk为e_j和e_k服务器之间的数据传输速度。

2)t_c为服务执行时间，为服务的处理延迟。可以计算为

d_i为输入参数的数据大小，v_c为执行服务的边缘服务器的处理速度。当执行服务的服务器为云服务器时，由于云服务器计算能力很强，服务处理时间很短，可将服务处理时间设为0；当执行服务的服务器为边缘服务器时，处理时间为输入参数大小与处理速度的比值。

3)t_o为输出参数传输时间，可以计算为

其中d_o是输出参数的数据大小。e_j为接收请求的边缘服务器，e_k为执行服务的边缘或云服务器，v_kj为e_k和e_j服务器之间的数据传输速度。

迁移服务响应时间t_ms

如果服务在相邻时隙内部署在不同节点处，需要进行迁移操作。在服务迁移的过程中，一些服务请求会调度到原部署节点处响应。当服务完成迁移后，会删除原部署节点处的服务，系统内所有请求会调度到新的部署节点处响应。所以，相邻时隙内，服务s在实现服务迁移条件下的响应时间t_ms定义如下

1)t为当前时隙，t-1表示相邻上一个时隙

2)α表示未成功迁移服务前，在原本部署方案的进行调度的服务所占比例，用服务的部署时间t_p与时间段t比例值衡量，定义如下：

3)β表示服务成功迁移后，在新部署方案进行调度所占服务比例，可计算为

β＝1-α (3.7)

4)T_sp表示为系统内所有关于服务s的请求都调度到节点p处的平均响应时间，可计算为

其中load_s，j表示节点j范围内关于服务s的请求数量。

同理，T_sq表示系统内所有关于服务s的请求都调度到节点q处的平均响应时间。

5)当服务迁移到云中时，由于云中存在所有服务副本，所以迁移时间为0。即立即删除当前节点服务，并将所有请求调度到云中的响应时间。此时考虑迁移的响应时间为t_ms＝t_{<<s，n>，cloud>}。

服务响应时间y_s，n∈X，(s∈S，n∈N)。其中小写s表示服务，大写S表示服务集合。两者关系是s∈S。n表示节点，N表示节点集合。

y_s，n表示在n节点请求服务s的响应时间。其值相当于将n节点范围内服务s的请求调度到p节点的调度时间t_{<<s，n>，p>}，定义如下：

在每个时隙t内，系统的初始状态用符号ξ(t)表示，其包括三个属性，即ξ(t)＝<L_t，Y_t，L_t>。分别是时隙t内的负载量分布L_t、重部署策略X_t和调度策略Y_t。其中重部署策略X_t是根据初始状态ξ(t)、节点特性、以及服务特性共同决定的。当检测到系统内需要重部署时，重部署操作将系统在t时隙的初始状态ξ(t)＝<L_t，Y_t，L_t>变为ξ(t′)＝(L_t′，X_t′，Y_t′)并作为下一个时隙t+1的初始状态，即ξ(t+1)＝ξ(t')

我们规定Xt表示时隙t内的服务部署方案，Yt表示时隙t内服务的响应时间，其中当x_t(s，n)＝1时，表示服务s部署在节点n处，对应的请求响应时间为y_t(s，n)。

本发明通过降低服务的响应时间的方式来提高服务的质量，改善用户的体验。并且节点部署服务所需要的资源总量应小于节点资源总量。本发明的重部署问题是在节点资源有限的前提下，以最小化系统内平均服务响应时间为目标进行研究的，公式化定义如下。

上述公式为系统优化目标及约束条件：优化目标(3.10)是最小化系统内平均服务响应时间，也就是使所有服务在所有节点的响应时间总和与整个系统内所有服务负载的比值最小。约束条件(3.11)为部署在节点上的所有服务所需的资源总和不超过节点资源总量。

3.2服务贡献值

服务请求动态变化会导致服务响应时间变化，对重部署前后响应时间差异大的服务优先重部署。本发明的研究目标是最大程度减少系统服务平均响应时间，因此衡量服务贡献值Q的标准为重部署前后的时间差。

首先，判断边缘节点是否部署了服务s，如果没有在边缘节点上部署该服务，则返回值为0，服务的延迟响应时间时间为云中响应时间，具体计算方法为定义3.1中的公式，其中服务的计算时间在集中云中为0。否则，计算在边缘侧部署服务的响应时间，那么可以用getResponseTime()函数来计算响应时间，其中getResponseTime()函数的计算方法为3.1中的公式。

其次，对于每个节点，当其节点剩余资源大于服务所需资源时，通过getMinMigrationTime()计算服务在可以迁移的节点中最短迁移时间，当没有可以迁移的节点时，返回值为-1。getMinMigrationTime()函数的计算方法为3.5中的算法。

获得服务的响应时间和迁移时间之后，按照以下公式计算服务贡献值。当服务最短迁移时间超过响应时间时，Q的值为0；根据定义4.1中的公式计算得到服务s的服务贡献值，当贡献值大于0时，证明该服务可以进行迁移。

3.3服务重部署算法

在重部署算法中，计算出重部署服务集合中每一个服务的贡献值，并选出贡献值最大的服务进行重部署。首先计算出服务原来部署的节点，再getMigrationNode()计算出迁移最短时间的节点，当Q为0时，按原部署方案对服务请求进行调度；当Q不为0时，即迁移时间短于服务原本响应时间时，对服务进行迁移，迁移后将服务从重部署集合中删掉。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (9)

1.一种微服务部署方法，其特征在于，在已经部署好的节点中，获取已经部署好的计算服务，每隔时隙t对服务质量进行检测；在重部署条件触发时，筛选服务质量未满足预期的计算服务S1；获取计算服务S1的服务贡献值，所述服务贡献值由相应计算服务的迁移时间与原部署方案下的调度时间的差值决定；选取服务贡献值最高的计算服务进行重部署。

2.如权利要求1所述的微服务部署方法，其特征在于，所述重部署条件为节点的整体的服务质量低于预期时，则触发重部署。

3.如权利要求1或2所述的微服务部署方法，其特征在于，所述服务质量至少包括单个服务响应时间或系统内服务平均响应时间或迁移服务响应时间。

4.如权利要求1所述的微服务部署方法，其特征在于，所述重部署为对需要重部署的计算服务获取对应的迁移节点集合，获取服务迁移时间，并比较服务迁移时间与原本服务部署方案下的调度时间，从而选择该计算服务响应时间最短的进行重部署。

5.如权利要求1所述的微服务部署方法，其特征在于，所述服务贡献值Q_s为：

其中T_s为原部署方案下的调度时间，t_ms为迁移服务响应时间，min{t_ms}为对应于迁移节点集合的最小迁移服务响应时间。

6.如权利要求3所述的微服务部署方法，其特征在于，所述单个服务响应时间为将请求调度到边缘服务器计算后回传获得结果过程中的延迟时间。

7.如权利要求6所述的微服务部署方法，其特征在于，所述单个服务响应时间与输入参数传输时间、服务执行时间、输出参数传输时间中至少一个正相关。

8.可读存储介质，存储有用于执行如权利要求1-7任一所述的微服务部署方法的计算机程序。

9.设备，包括如权利要求8所述的可读存储介质或用于执行如权利要求1-7任一所述的微服务部署方法。