CN115426257B - 一种面向服务网格的多控制器架构与部署方法 - Google Patents

Abstract

本发明属于云原生和边缘原生计算领域，公开了一种面向服务网格的多控制器架构与部署方法，包括多个控制器，多个控制器分布在不同的服务器上，每个控制器管理部分微服务，所述微服务通过在同一平面的sidecar进行通信；每个控制器同构，服务器异构，所述控制器之间通过同步通信来实现多控制器的透明，使得用户仍然感受到的是一个控制器。本发明将多个控制器分别部署在不同的服务器上，每个控制器连接若干个微服务，管理着微服务的执行和通信。根据边缘服务器的资源情况和微服务的部署情况确定需要部署的控制器数量、位置以及连接哪些微服务。能够将传统的服务网格应用于边缘环境中，且保证微服务的正常运行和通信。

Description

一种面向服务网格的多控制器架构与部署方法

技术领域

本发明属于云原生和边缘原生计算领域，尤其涉及一种面向服务网格的多控制器架构与部署方法。

背景技术

微服务是近年来新兴的一种软件开发技术。这种技术将传统业务分成很多细粒度的、松散耦合且可独立部署的微服务。在原有的单体软件架构已经无法满足当前互联网产品的技术需求的情况下，微服务技术得到了蓬勃发展。

在微服务技术发展的同时，服务网格(Service Mesh)应运而生。服务网格是用于处理微服务间通信的基础设施层，它负责为构架复杂的云原生应用传递可靠的网络请求。在微服务系统引入服务网格后，微服务之间的网络通信被服务网格代理，经由服务网格实现彼此之间的通信。服务网格对微服务之间的网络通信进行代理，是通过为每个微服务创建一个边车并与之建立关联关系实现的。

边缘计算，作为云计算的替代或补充，迫切需要应用云原生概念来实现边缘原生计算。服务网格在管理微服务问题上提供了一个单一控制器的解决方案，这种方式在资源充足的云计算环境中得到很好的效果，但由于边缘环境意味着资源受限，集中式的控制器架构会受到网络带宽、服务器处理能力不足等影响导致较长的微服务响应时间。因此，在边缘环境中缺少一种有效的架构来管理和部署微服务。

发明内容

本发明目的在于提供一种面向服务网格的多控制器架构与部署方法,以解决上述的技术问题。

为解决上述技术问题，本发明的一种面向服务网格的多控制器架构与部署方法的具体技术方案如下：

一种面向服务网格的多控制器架构，包括多个控制器，多个控制器分布在不同的服务器上，每个控制器管理管理部分微服务，所述微服务被部署在不同的服务器上，所述微服务通过在同一平面的sidecar进行通信；每个控制器同构，服务器异构，所述控制器之间通过同步通信来实现多控制器的透明，使得用户仍然感受到的是一个控制器。

进一步的，所述控制器的部署数量以及位置根据服务器之间的异构性以及微服务的部署情况确定；所述微服务根据控制器部署的情况连接至控制器。

进一步的，所述服务器之间的异构性包括服务器之间的带宽，服务器的处理能力。

进一步的，多个控制器之间进行同步通信，所述同步通信发送的信息包括：控制器本身的状态、控制器管理的服务状态。

进一步的，所述架构包括微服务与控制器之间的通信延迟，所述微服务与控制器的通信延迟为其中ρ_C为与控制器协商部分的信息比率，/>为部署在服务器n上的微服务s的请求率；/>为01变量，表示部署在服务器n上的微服务s是否连接至服务器m上的控制器，c_nm表示服务器n和服务器m之间的带宽。

进一步的，所述架构包括微服务的响应延迟，对于每一个控制器来说，其处理服务请求的过程模拟为M/M/1模型，因此每一个控制器的平均处理时间为其中α_n为处理能力，θ_n为其负载，平均控制器响应时间可以表示为V_n的加权平均值:/>

进一步的，所述架构包括控制器之间的同步延迟，总的同步延迟表示为：

其中y_n为01变量，表示服务器n上是否放置控制器，B为常量，表示控制器本身的状态信息，ρ_S控制器之间同步请求控制信息比率。

本发明还公开了一种面向服务网格的多控制器架构的部署方法，包括如下步骤：

步骤1：首先将最终的结果变量cost_min设置为一个任意的很大的数，k设置为1，的值取随机，设置一个k的最大取值k_max，其值应当小于服务器的数量；

步骤2：得到服务的分配方案 表示微服务s部署在服务器n上并且连接至服务器n上的控制器；

步骤3：算出优化目标的成本cost_greedy；

步骤4：如果cost_greedy＜cost_min,cost_min＝cost_greedy,并且更新y_min和z_min；y_min表示当前最优的控制器部署方案，y_n＝1表示在服务器上部署控制器，z_min表示当前最优的微服务连接方式；

步骤5：应用k-means重新组织控制器放置y；

步骤6：判断cost_min是否收敛，否则返回步骤2；

步骤7：k＝k+1；

步骤8：向y添加一个新控制器，使同步成本最小；

步骤9：判断是否k≤k_max，否则返回步骤2；

步骤10：直到结果收敛，输出结果。

本发明的一种面向服务网格的多控制器架构与部署方法具有以下优点：本发明通过将多个控制器分别部署在不同的服务器上，每个控制器连接若干个微服务，管理着微服务的执行和通信，并根据边缘服务器的资源情况和微服务的部署情况确定需要部署的控制器数量、位置以及连接哪些微服务优化部署方案，减少了服务网格在边缘环境中由于服务器异构导致的资源不足、网络环境不稳定产生的高延迟，保证了服务网格在边缘环境中的正常运行和充分利用有限资源达到延迟最低的目的。

附图说明

图1为本发明面向服务网格的多控制器部署架构原理图；

图2为本发明面向服务网格的多控制器架构时序图；

图3为本发明解决面向服务网格的多控制器架构部署问题的ck-均值算法流程图；

图4为本发明仿真实验中α对结果的影响的实验图，其中α为[0,1]之间的数，表示部署方案对通信成本和响应时间和同步成本的比率；

图5为本发明的算法所用符号的意义描述表；

图6为本发明的仿真实验所设定的参数表。

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种面向服务网格的多控制器架构与部署方法做进一步详细的描述。

在云计算的环境中，服务器的资源可以看做无限大，因此一个控制器可以管理所有的微服务，并且微服务与控制器之间的通信由于带宽资源的充足可以忽略。所以服务网格能够取得很好的效果。然而在边缘环境中由于服务器的异构，且服务器资源有限，因此单控制器的架构会导致高延迟甚至无法运行。

如图1所示，本发明的一种面向服务网格的多控制器架构，包括多个控制器，多个控制器分布在不同的服务器上，每个控制器管理部分微服务，以减少服务器的压力，微服务被部署在不同的服务器上，每个控制器同构，服务器异构，控制器之间通过同步通信来实现多控制器的透明，使得用户仍然感受到的是一个控制器。控制器的部署数量以及位置根据服务器之间的异构性以及微服务的部署情况确定；微服务根据控制器部署的情况连接至控制器。服务器之间的异构性包括服务器之间的带宽，服务器的处理能力等。用户发出请求，由sidecar(或proxy)截获请求，并与控制器交互确定请求合法性。并在微服务执行后，向控制器发送执行信息。然后，多个控制器之间为了达到同步，需要进行同步通信。同步通信发送的信息包括：控制器本身的状态；控制器管理的服务状态。

由于存在服务与控制器通信、控制器与控制器之间的同步通信，网络带宽影响了其很大的延迟。另外，控制器连接的服务过多，会导致服务器过载，使得服务的处理延迟增大。因此本发明的面向服务网格的多控制器部署方法在为控制器选择部署位置、以及为微服务选择连接控制器时综合考虑了三种延迟：

一、通过对微服务器和控制器之间的通信，来作为微服务选择控制器和部署控制器数量及位置的重要标准。通过计算微服务与控制器之间由于边缘环境中带宽资源的有限带来的通信延迟，以评估当前放置方案的效果。

二、通过对控制器的处理能力处理为响应延迟，来作为微服务选择控制器和部署控制器数量及位置的重要的标准。考虑到边缘服务器的处理能力不足，无法承担大量的微服务的处理。对每一个控制器建立M/M/1模型，计算其处理响应延迟。

三、通过对多个控制器之间进行同步通信，来实现多控制器对用户透明。计算各控制器之间的同步通信延迟，也作为微服务选择控制器和部署控制器数量及位置的重要因素。

根据边缘服务器的资源情况和微服务的部署情况，在控制平面中部署多个控制器，并根据带宽、通信延迟、处理能力和同步延迟等多种因素综合考虑这些控制器部署的位置以及哪些微服务连接哪些控制器。微服务之间的通信仍然通过sidecar的代理在数据平面中进行。同时，sidecar需要向该服务器所连接的控制器发送服务运行的相关信息。如图2所示，为整个多控制器架构的时序图。服务对服务的通信由sidecar处理，与微服务位于同一位置。每当一个请求试图访问一个服务的时候，对应于该服务的sidecar就会截获该请求并与控制器交互以确定该请求是否合法。请求完成后，sidecar还将向控制器发送有关服务执行的各种信息，时序图如图2所示。基于上述过程，可以独立于服务开发、部署和维护，实施各种策略，如负载均衡、容错、断路、身份验证和访问控制。

下面对本发明一种面向服务网格的多控制器架构的细节进行具体的说明。主要包括以下几个方面：

1.sidecar(即服务)与控制器进行通信时产生的通信延迟。微服务与控制器的通信延迟我们计算为其中ρ_C为与控制器协商部分的信息比率，/>为部署在服务器n上的微服务s的请求率；/>为01变量，表示部署在服务器n上的微服务s是否连接至服务器m上的控制器。c_nm表示服务器n和服务器m之间的带宽。边缘环境中由于带宽的有限，服务与控制器之间的频繁通信导致的通信延迟是相当可观的。这是用来评估整个系统正常运行的重要标准。

2.边缘服务器的处理能力有限，意味着控制器所管理的微服务数量也有限，服务器的处理延迟也是一个评估整个系统正常运行重要的标准。对于每一个控制器来说，其处理服务请求的过程模拟为M/M/1模型，因此每一个控制器的平均处理时间为其中α_n为处理能力，θ_n为其负载。平均控制器响应时间可以表示为V_n的加权平均值:/>

3.为了达到与云计算中服务网格的相同效果，在部署多个控制器后，应该进行控制器之间的同步延迟，以达到微服务的统一管理和多控制透明的目的。对于每一个控制器来说，其处理服务请求的过程模拟为M/M/1模型，因此每一个控制器的平均处理时间为其中α_n为处理能力，θ_n为其负载。平均控制器响应时间可以表示为V_n的加权平均值:/>在多个控制器的情况下，可以将服务分配给不同的控制器。当一个服务需要与另一个服务通信时，其相应的控制器应相互同步，以确保返回的控制信息的正确性。在运行时，当一个控制器发生故障时，另一个控制器应负责故障控制器管理的服务，以确保系统稳定性。通常，控制器之间需要同步的信息主要有两种。一个是控制器本身的基本状态，近似为常数。另一个是受控服务的信息。这一部分与控制的服务数量成比例。控制器之间的同步延迟包括：总的同步延迟可表示为：

其中y_n为01变量，表示服务器n上是否放置控制器，B为常量，表示控制器本身的状态信息，ρ_S控制器之间同步请求控制信息比率。

当控制器部署的个数较少时，由于边缘服务器的计算能力有限，因此会使得控制器负载多个服务，从而导致控制器过载，使得服务的响应时间变长。从应用程序的角度来说，如果服务的时间过长将是不可接受的。因此，对于每一个控制器来说，其处理服务请求的过程模拟为M/M/1模型，因此我们能表示出整个系统的服务响应时间。因此，需要合理的安排控制器的数量以便于平衡服务与控制器的通信成本、控制器之间的同步成本和整个系统的响应时间。

因此，我们可以看到边缘计算中控制器部署的困境。部署更多控制器可能会产生较高的同步开销，但较少的控制器可能会导致较高的服务控制器通信延迟和成本。简而言之，应仔细考虑控制器的部署方式。

本发明的一种面向服务网格的多控制器部署方法，基于k-means方法改进的ck-means算法，流程图如图3所示，包括以下步骤：

步骤1：首先将最终的结果变量cost_min设置为一个任意的很大的数，k设置为1，的值取随机，设置一个k的最大取值k_max，其值应当小于服务器的数量；

步骤2：得到服务的分配方案

该步骤中，表示微服务s部署在服务器n上并且连接至服务器n上的控制器。由于微服务的部署是提前设定的，当我们确定控制器的部署时，就可以计算出微服务与哪一个控制器相连。响应的算法为贪心算法，即对于每一个微服务而言，选择通信延迟最小的控制器。

步骤3：算出优化目标的成本cost_greedy

该步骤中，当所有的部署方案确定时，我们可以计算出三种延迟成本，即微服务与控制器的通信延迟成本、控制器之间的同步延迟成本和微服务的响应延迟成本。

步骤4：如果cost_greedy＜cost_min,cost_min＝cost_greedy,并且更新y_min和z_min。

该步骤中y_min表示当前最优的控制器部署方案，y_n＝1表示在服务器上部署控制器。z_min表示当前最优的微服务连接方式。

步骤5：应用k-means重新组织控制器放置y

步骤6：判断cost_min是否收敛，否则返回步骤2；

步骤7：k＝k+1

步骤8：向y添加一个新控制器，使同步成本最小

步骤9：判断是否k≤k_max，否则返回步骤2

步骤10：直到结果收敛，输出结果。

算法伪代码具体如下：(参数定义参见图5)

算法1：面向服务网格的多控制器部署的ck-means算法

针对以上方法，我们进行了实验来评估其效能，并在图6中列出了参数设置，实验结果如图4所示，实验证明，ck-means比传统的k-means的效果更好，且很接近最优理论解。

可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (4)

1.一种面向服务网格的多控制器装置的部署方法，包括面向服务网格的多控制器装置，所述装置包括多个控制器，多个控制器分布在不同的服务器上，每个控制器管理部分微服务，所述微服务被部署在不同的服务器上，所述微服务通过在同一平面的sidecar进行通信；每个控制器同构，服务器异构，所述控制器之间通过同步通信来实现多控制器的透明，使得用户仍然感受到的是一个控制器，其特征在于，所述方法考虑微服务与控制器之间的通信延迟，所述微服务与控制器的通信延迟为其中ρ_C为与控制器协商部分的信息比率，/>为部署在服务器n上的微服务s的请求率；/>为01变量，表示部署在服务器n上的微服务s是否连接至服务器m上的控制器，c_nm表示服务器n和服务器m之间的带宽；考虑微服务的响应延迟，对于每一个控制器来说，其处理服务请求的过程模拟为M/M/1模型，因此每一个控制器的平均处理时间为/>其中α_n为处理能力，θ_n为其负载，平均控制器响应时间表示为V_n的加权平均值:/>考虑控制器之间的同步延迟，总的同步延迟表示为：

其中y_n为01变量，表示服务器n上是否放置控制器，B为常量，表示控制器本身的状态信息，ρ_s表示控制器之间同步请求控制信息比率；

所述方法包括如下步骤：

步骤1：首先将最终的结果变量cost_min设置为无穷大，k设置为1，的值取随机，设置一个k的最大取值k_max，k_max小于服务器的数量；

步骤2：根据贪心算法得到服务的分配方案 表示微服务s部署在服务器n上并且连接至服务器m上的控制器；

步骤3：算出三种延迟的成本cost_greedy；

步骤4：如果cost_greedy＜cost_min，cost_min＝cost_greedy，并且更新y_min和z_min；y_min表示当前最优的控制器部署方案，y_n＝1表示在服务器上部署控制器，z_min表示当前最优的微服务连接方式；

步骤5：应用k-means重新组织控制器放置y；

步骤6：判断cost_min是否收敛，否则返回步骤2；

步骤7：k＝k+1；

步骤8：向y添加一个新控制器，使同步成本最小；

步骤9：判断是否k≤K_max，否则返回步骤7；

步骤10：直到结果收敛，输出结果。

2.根据权利要求1所述的方法，其特征在于，所述控制器的部署数量以及位置根据服务器之间的异构性以及微服务的部署情况确定；所述微服务根据控制器部署的情况连接至控制器。

3.根据权利要求2所述的方法其特征在于，所述服务器之间的异构性包括服务器之间的带宽，服务器的处理能力。

4.根据权利要求1所述的方法其特征在于，多个控制器之间进行同步通信，所述同步通信发送的信息包括：控制器本身的状态、控制器管理的服务状态。