CN113703971B - 多边缘协同计算平台中基于微服务的网络功能编排方法 - Google Patents

Abstract

一种多边缘协同计算平台中基于微服务的网络功能编排方法，其实现的具体步骤是：(1)发送每个边缘计算平台信息与计算存储资源信息；(2)定义服务类型对应的微服务协同关系；(3)定义服务类型对应的微服务部署需求；(4)构建服务的部署模板；(5)根据协同关系组、资源需求设定部署模板的参数；(6)根据部署模板进行微服务部署；(7)进行资源回收。本发明在设计多边缘协同计算平台网络功能编排过程中，利用微服务技术对数量众多的边缘计算平台及其分散的计算存储资源，结合每个微服务的协同关系和部署需求进行简便高效的统一管理的问题，降低了微服务网络功能编排的复杂度，提高了用户服务质量。

Description

多边缘协同计算平台中基于微服务的网络功能编排方法

技术领域

本发明属于通信技术领域，更进一步涉及网络通信技术领域中的一种多边缘协同计算平台中基于微服务的网络功能编排方法。利用本发明的方法，可以支持多边缘协同计算平台在实现网络功能微服务化与微服务网络功能编排的基础上通过平台设置的多集群管理器调度相应的容器管理器完成网络功能的编排，为用户提供多样化业务服务。

背景技术

多边缘计算平台具有提供低时延和高带宽的能力，应用范围广泛，但由于边缘侧计算和存储资源相对有限，多边缘计算平台应协同完成多个网络功能的部署以提供一项完整的业务服务。为了使多边缘协同计算平台能够全面地发挥其优势，根据业务特征、用户特征以及各个边缘计算平台地理位置与资源情况的不同，需要为各项业务提供定制化的多边缘协同计算服务，即编排多边缘协同计算平台的网络功能。同时，由于不同类型业务的各个网络功能之间的调用关系各不相同，如一项业务由多个网络功能共同协作完成业务服务，而各个网络功能之间的调用频率各不相同，多边缘协同计算平台应尽量保证互相之间调用频率高的多个网络功能部署在同一边缘计算平台或地理位置相近的边缘计算平台，降低网络负担，提高用户服务质量。因此，多边缘协同计算平台为满足未来第五代移动通信网络5G(the fifthgeneration)中超高速、超低时延的业务需求，需要一种必要的管理系统来调度部署在多个边缘计算平台上的网络功能为用户提供高质量服务。

上海熙菱信息技术有限公司在其申请的专利文献“一种基于微服务的服务编排方法”(申请号202010797645.8，申请公布号CN 111949338 A)中提供了一种基于微服务的服务编排方法。该方法通过任务节点、分支节点、同步节点、连接节点，将多个基础服务进行组合，形成编排好的服务。该方法的具体步骤为：第一步，对接入能力服务平台的厂商的基础服务进行配置，包括服务的请求参数和响应参数；第二步，通过可视化界面选择需要编排的基础服务开始服务流程编排；第三步，流程启动后，在可视化界面可对流程进行管理，包括执行中止、重试、重新执行等操作。利用该方法的基于微服务的服务编排方法进行服务编排，当流程变化时不需要重新开发代码，只需要在可视化界面调整即可，操作简单；服务的多个实例会注册到注册中心，做到高可用；提供流程监控可视化界面，可以查看每个任务节点的服务实例状态、输入参数和输出结果，在编排流程图中标注执行失败节点，帮助快速定位问题。但是，该方法仍然存在的不足之处是，当该方法应用于多边缘协同计算平台时，边缘计算平台数量众多，难以进行简便的统一管理，故在进行实际操作时无法实现对多边缘协同计算平台的高效管理，平台局限性大。

杭州卷积云科技有限公司在其申请的专利文献“一种面向智能制造场景的边云协同服务编排方法”(申请号202011150129.2，申请公布号CN 112272231 A)中提供一种面向智能制造场景的边云协同服务编排方法。该方法的具体步骤：第一步，搭建基于容器的测试平台，然后对应用的流程进行容器化封装；第二步，通过分析应用的流程，生成微服务的放置方案；第三步，通过工具CRF(容器资源获取)和工具LSF(获取样本延迟)来获取多跳应用在不同编排方案下的延迟样本；第四步，对延迟样本进行分析，并送入基于机器学习的延迟预测算法LPML中得到回归模型，并预测设备上的微服务延迟；第五步，将微服务优先放在边缘设备上以减少延迟，其他放至云端减少延迟，完成边云协同服务编排。该方法LPML的延迟预测标准RMSE比基于排队论的数学模型低10倍；基于LPML的LaECP算法所得系统总延迟比基于排队论的LaECP算法快30倍。解决了多跳应用的延迟难精确刻画问题和在应用延迟约束下，如何使所有应用延迟之和最小化的问题。但是，该方法仍然存在的不足之处是，该方法仅考虑云边协同下的服务编排问题，而在多边缘协同的情况下，由于边缘计算平台数量众多，且各个微服务之间的协同关系各不相同，无法高效利用众多分散的计算存储资源。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种多边缘协同计算平台中基于微服务的网络功能编排方法，用于解决边缘计算平台数量众多，各个微服务之间的协同关系各不相同，无法高效利用众多分散的计算存储资源，难以进行简便的统一管理的问题。

实现本发明目的的思路是：多边缘计算平台获取所有边缘计算平台的计算存储资源信息，多边缘协同计算平台构建部署模板时根据所有边缘计算平台的计算存储资源信息，结合每个微服务的协同关系和部署需求对每个微服务的部署位置参数进行设定，避免了在多边缘场景下有些边缘计算平台资源紧缺部署微服务数量较多，而其他边缘计算平台资源长时闲置造成资源浪费的情况，实现对众多分散的计算存储资源的统一管理与高效利用，同时所有边缘计算平台中微服务部署都由协同计算平台统一构建部署模板再根据部署位置拆分为每个边缘计算平台对应的部署子模板，避免了针对每个边缘计算平台必须分别构建部署模板的重复工作，实现对所有边缘计算平台的微服务进行简便的统一编排。

为实现上述目的，本发明具体实现步骤包括如下：

步骤1，发送每个边缘计算平台信息与计算存储资源信息：

(1a)将每个边缘计算平台所在的位置信息与服务器型号和数量信息发送给协同计算平台；

(1b)每个边缘计算平台将其计算存储资源信息每隔5秒或在有微服务创建和删除时发送给协同计算平台；

步骤2，定义服务类型对应的微服务协同关系：

将每个微服务的工作时长大于服务总工作时长30％的微服务，标记为频繁使用的微服务，将微服务两两之间的通信数据包数量超过总数据包数量30％以上的所有微服务组成一个协同关系组；

步骤3，定义服务类型对应的微服务部署需求：

根据每个服务类型对应的微服务组合及微服务之间的逻辑关系定义该服务类型的部署需求，将每个微服务所占用的计算存储资源的最大值，作为该微服务计算存储资源分配的参数；

步骤4，构建服务的部署模板：

将每个微服务部署需求转换为多集群管理器所需的数据格式，将所有转换后的数据格式组成部署模板；

步骤5，根据协同关系组、资源需求设定部署模板的参数：

(5a)统计协同计算平台中满足微服务部署资源需求的所有边缘计算平台，找到满足资源需求的边缘计算平台中与服务请求终端之间距离最小的边缘计算平台，将该边缘计算平台所在的位置设定为协同关系组中微服务的部署位置参数；

(5b)统计协同计算平台中边缘计算平台的计算存储资源剩余量超过50％的所有边缘计算平台，从中找到边缘计算平台中与服务请求终端之间距离最小的边缘计算平台，将该边缘计算平台所在的位置设定为所需计算存储资源大于服务总需求30％以上且标记为频繁使用微服务的部署位置参数；

步骤6，根据部署模板进行微服务部署：

将部署模板进行拆分成多个子模板，每个部署位置参数对应一个部署子模板，将拆分后的每个部署子模板发送至对应部署位置参数对应的边缘计算平台，每个边缘计算平台按照部署子模板部署每个微服务；

步骤7，进行资源回收：

查看每个微服务的运行日志，当一个微服务的运行日志处于终止状态时，删除该微服务并回收其资源。

本发明与现有技术相比具有如下优点：

第一，本发明根据协同关系组、资源需求设定部署模板的参数时，按照所有边缘计算平台的计算存储资源信息，结合每个微服务的协同关系和部署需求对每个微服务的部署位置参数进行设定，克服了现有技术中边缘计算平台数量众多，无法高效利用众多分散的计算存储资源的缺点，使得本发明实现了对众多分散的计算存储资源的统一管理与高效利用。

第二，本发明根据部署模板进行微服务部署时，将部署模板根据部署位置拆分为每个边缘计算平台对应的部署子模板，每个边缘计算平台按照部署子模板部署每个微服务，克服了现有技术中边缘计算平台数量众多，难以进行简便的统一管理的缺点，使得本发明能够对所有边缘计算平台的微服务进行简便的统一编排，降低了微服务网络功能编排的复杂度，提高了用户服务质量。

附图说明

图1为本发明的流程图。

具体实施方式

以下结合附图1和实施例对本发明进行进一步的详细说明。

步骤1，发送每个边缘计算平台信息与计算存储资源信息。

将每个边缘计算平台所在的位置信息与服务器型号和数量信息发送给协同计算平台。

每个边缘计算平台将其计算存储资源信息每隔5秒或在有微服务创建和删除时发送给协同计算平台。

步骤2，定义服务类型对应的微服务协同关系。

将每个微服务的工作时长大于服务总工作时长30％的微服务，标记为频繁使用的微服务，将微服务两两之间的通信数据包数量超过总数据包数量30％以上的所有微服务组成一个协同关系组。

步骤3，定义服务类型对应的微服务部署需求。

根据每个服务类型对应的微服务组合及微服务之间的逻辑关系定义该服务类型的部署需求，将每个微服务所占用的计算存储资源的最大值，作为该微服务计算存储资源分配的参数。

步骤4，构建服务的部署模板。

将每个微服务部署需求转换为多集群管理器所需的数据格式，将所有转换后的数据格式组成部署模板。

步骤5，根据协同关系组、资源需求设定部署模板的参数。

统计协同计算平台中满足微服务部署资源需求的所有边缘计算平台，找到满足资源需求的边缘计算平台中与服务请求终端之间距离最小的边缘计算平台，将该边缘计算平台所在的位置设定为协同关系组中微服务的部署位置参数。

统计协同计算平台中边缘计算平台的计算存储资源剩余量超过50％的所有边缘计算平台，从中找到边缘计算平台中与服务请求终端之间距离最小的边缘计算平台，将该边缘计算平台所在的位置设定为所需计算存储资源大于服务总需求30％以上且标记为频繁使用微服务的部署位置参数。

步骤6，根据部署模板进行微服务部署。

将部署模板进行拆分成多个子模板，每个部署位置参数对应一个部署子模板，将拆分后的每个部署子模板发送至对应部署位置参数对应的边缘计算平台，每个边缘计算平台按照部署子模板部署每个微服务。

步骤7，进行资源回收。

查看每个微服务的运行日志，当一个微服务的运行日志处于终止状态时，删除该微服务并回收其资源。

下面结合实施例对本发明做进一步的说明：

步骤1，发送每个边缘计算平台信息与计算存储资源信息。

本发明的实施例由3个固定的边缘计算平台组成，每个边缘计算平台由一个Kubernetes容器管理器进行管理。每个边缘计算平台通过metrics-server与kube-apiserver查询自己计算存储资源信息，并将其发送给协同计算平台。协同计算平台将这些信息存储在自己的Mysql数据库中。

步骤2，定义服务类型对应的微服务协同关系。

利用探针技术以及WireShark抓包技术统计每个微服务的工作时长以及微服务间通信数据包的数量，将每个微服务的工作时长大于服务总工作时长30％的微服务，标记为频繁使用的微服务，将微服务两两之间的通信数据包数量超过总数据包数量30％以上的所有微服务组成一个协同关系组。本发明的实施例中部署的业务服务请求为5G核心网，该服务对应的微服务包括api-gateway、monitor、nsOrchestration、templateManagement、nsdManagement、imageManagement、nsdTransform、pluginManagement，其中monitor、nsOrchestration为运行时间较长的微服务，api-gateway、nsdManagement为通信数据包较多的微服务，将其标记为同一个协同关系组。

步骤3，定义服务类型对应的微服务部署需求。

对每个微服务的部署需求进行定义，部署需求包括服务名称、微服务种类、镜像版本、镜像仓库地址、服务端口、计算存储资源分配信息。

5G核心网对应的微服务部署需求如表1所示。

表1

微服务名称	服务端口	CPU需求	内存需求	镜像版本
					api-gateway	8080	1000m	1000Mi	latest
monitor	无	500m	500Mi	latest
					nsOrchestration	无	500m	500Mi	latest
templateManagement	无	200m	200Mi	latest
					nsdManagement	无	200m	200Mi	latest
imageManagement	无	200m	200Mi	latest
					nsdTransform	无	200m	200Mi	latest
pluginManagement	无	200m	200Mi	latest

步骤4，构建服务的部署模板。

将每个微服务部署需求转换为多集群管理器所需的数据格式，将所有转换后的数据格式组成部署模板。

如nsOrchestration的部署模板如表2所示：

表2

步骤5，根据协同关系组、资源需求设定部署模板的参数。

统计协同计算平台中满足微服务部署资源需求的所有边缘计算平台，找到满足资源需求的边缘计算平台中与服务请求终端之间距离最小的边缘计算平台，将该边缘计算平台所在的位置设定为协同关系组中微服务的部署位置参数。

统计协同计算平台中边缘计算平台的计算存储资源剩余量超过50％的所有边缘计算平台，从中找到边缘计算平台中与服务请求终端之间距离最小的边缘计算平台，将该边缘计算平台所在的位置设定为所需计算存储资源大于服务总需求30％以上且标记为频繁使用微服务的部署位置参数。

步骤6，根据部署模板进行微服务部署。

将部署模板进行拆分成多个子模板，每个部署位置参数对应一个部署子模板，将拆分后的每个部署子模板发送至对应部署位置参数对应的边缘计算平台，每个边缘计算平台kubectl apply批量向Kuberntes提交部署模板，完成每个微服务的部署。

步骤7，进行资源回收。

查看每个微服务的运行日志，当一个微服务的运行日志处于终止状态时，删除该微服务并回收其资源，如当pluginManagement完成服务时会输出plugin done信息，此时该微服务就已经完成了其工作，删除pluginManagement并回收其资源。

Claims (2)

1.一种多边缘协同计算平台中基于微服务的网络功能编排方法，其特征在于，多边缘协同计算平台由至少3个固定的边缘计算平台组成，根据协同关系组、资源需求设定部署模板的参数，并将部署模板拆分成多个子模板，每个部署位置参数对应一个部署子模板，每个边缘计算平台根据部署子模板进行微服务部署完成网络功能的编排；该方法的具体步骤包括如下：

步骤1，发送每个边缘计算平台信息与计算存储资源信息：

(1a)将每个边缘计算平台所在的位置信息与服务器型号和数量信息发送给协同计算平台；

(1b)每个边缘计算平台将其计算存储资源信息每隔5秒或在有微服务创建和删除时发送给协同计算平台；

步骤2，定义服务类型对应的微服务协同关系：

将每个微服务的工作时长大于服务总工作时长30％的微服务，标记为频繁使用的微服务，将微服务两两之间的通信数据包数量超过总数据包数量30％以上的所有微服务组成一个协同关系组；

步骤3，定义服务类型对应的微服务部署需求：

根据每个服务类型对应的微服务组合及微服务之间的逻辑关系定义该服务类型的部署需求，将每个微服务所占用的计算存储资源的最大值，作为该微服务计算存储资源分配的参数；

步骤4，构建服务的部署模板：

将每个微服务部署需求转换为多集群管理器所需的数据格式，将所有转换后的数据格式组成部署模板；

步骤5，根据协同关系组、资源需求设定部署模板的参数：

(5a)统计协同计算平台中满足微服务部署资源需求的所有边缘计算平台，找到满足资源需求的边缘计算平台中与服务请求终端之间距离最小的边缘计算平台，将该边缘计算平台所在的位置设定为协同关系组中微服务的部署位置参数；

(5b)统计协同计算平台中边缘计算平台的计算存储资源剩余量超过50％的所有边缘计算平台，从中找到边缘计算平台中与服务请求终端之间距离最小的边缘计算平台，将该边缘计算平台所在的位置设定为所需计算存储资源大于服务总需求30％以上且标记为频繁使用微服务的部署位置参数；

步骤6，根据部署模板进行微服务部署：

将部署模板进行拆分成多个子模板，每个部署位置参数对应一个部署子模板，将拆分后的每个部署子模板发送至对应部署位置参数对应的边缘计算平台，每个边缘计算平台按照部署子模板部署每个微服务；

步骤7，进行资源回收：

查看每个微服务的运行日志，当一个微服务的运行日志处于终止状态时，删除该微服务并回收其资源。

2.根据权利要求1所述多边缘协同计算平台中基于微服务的网络功能编排方法，其特征在于，步骤2中所述部署需求包括服务名称、微服务种类、镜像版本、镜像仓库地址、微服务之间的执行顺序、服务端口、计算存储资源分配信息。