CN110838939A - 一种基于轻量级容器的调度方法及边缘物联管理平台 - Google Patents

Abstract

本发明涉及一种基于轻量级容器的调度方法及边缘物联管理平台，本发明的轻量级容器智能调度方法基于Kubernates系统以及Schduler调度结构，将设备信息及资源高度抽象化，根据用户需求应对不同情景采取自适应的容器调度策略，包括过滤策略和优选策略，提高了对边缘物联代理集群中容器调度部署的管控效率，满足了边缘物联代理面对复杂应用环境的定制化需求，也提高了边缘物联代理的资源利用率、可靠性和安全性。

Description

一种基于轻量级容器的调度方法及边缘物联管理平台

技术领域

本发明涉及一种基于轻量级容器的调度方法及边缘物联管理平台，属于容器调度技术领域。

背景技术

信息系统是泛在电力物联网的重要组成部分，是电网实现差异化竞争的重要技术手段。但是随着电力物联网中信息系统的建设，普遍出现了异构环境众多、资源浪费较大、部署周期长、压力大等问题。

在资源受限的电力物联网的场景中，利用虚拟化技术可以高效利用既有资源。然而边缘物联的现有设备多样化，数据异构异源特点明显，传统的虚拟机技术来管控应用和终端代价较大，存在一定的困难。

容器技术相比于传统虚拟机具有快速启动、体量小、迁移简单以及资源利用率高的优势，可以轻松应对高密度、高弹性计算的电力行业应用场景。利用轻量级容器技术来解决资源虚拟化是一个可行方法。轻量级容器能够重用宿主机已有的系统资源，同时又完美地隔离了不同的容器，需要的资源小，部署快，毫秒级的启动和关闭操作，有标准化的创建、部署、运行和销毁的流程。

由于单个边缘物联设备的物理资源有限，实际应用场景中常常由多个边缘物联设备形成容器集群，因此需要对这些应用容器进行集中统一的管理，实现资源高效合理的动态调度。因此容器调度技术是支撑轻量级容器在边缘物联代理设备上部署的关键技术，基于资源分布式管理，容器调度技术统一收集设备上的容器应用运行请求，然后统一给设备分配容器应用运行任务。

目前Kubernates是最具代表性的容器集群管理工具，调度器Schduler以插件化的形式存在于系统中，通过特定的调度算法将每个待调度的Pod(容器组)绑定到集群中某个合适的工作节点Node(用来承载被分配Pod的运行)上，并通过APIServer将绑定信息写入到Etcd中，最终目标Node上的Kubelet进程通过APIServer获取该绑定信息，启动Pod完成容器的部署。

默认的调度策略分为两步：首先是预选过程，通过遍历所有目标Node列表，过滤掉不满足条件的Node节点，不满足条件的Node节点一般为剩余资源不足、无法部署Pod的Node节点，从而筛选出可用的候选节点；然后是优选过程，在第一步的基础上对通过筛选条件的候选Node节点按照优先级排序，得到优先级最高的Node节点进行Pod部署，优先级一般按照剩余资源确定，将剩余资源多的边缘物联代理对应的Node节点的优先级调高，以保证各Node节点的负载均衡。

通常默认调度策略可以满足大部分需求，然而默认的容器调度策略调度方式单一，适配计算方法简单，不能根据用户需求进行适应调整，难以满足电力应用场景中针对复杂环境的定制化需求。

发明内容

本发明的目的是提供一种基于轻量级容器的调度方法及边缘物联管理平台，用以解决现有调度策略无法根据用户需求进行适应性策略调整的问题。

为实现上述目的，本发明的方案包括：

本发明的一种基于轻量级容器的调度方法，创建容器组，并根据用户需求加入容器组特征信息；获取各Node节点信息，并根据如下策略进行容器组到Node节点的分配部署；1)若容器组特征信息包括：待部署容器组运行在设定特征的边缘物联代理，则对Node节点执行约束过滤后再进行待部署容器组的部署；2)若容器组特征信息包括：关联信息，则对Node节点执行亲和性过滤后再进行待部署容器组的部署；3)若容器组特征信息包括：该类型的待部署容器组运行在独立的边缘物联代理，且不存在已经完成部署的同类型的容器组，则对Node节点执行剩余资源优选后再进行待部署容器组的部署；若存在已经完成部署的同类型的容器组，则优选出该同类型的容器组所部署的边缘物联代理对应的Node节点后进行待部署容器组的部署；4)若不包含容器组特征信息，则对Node节点执行常规过滤，过滤掉不可用的边缘物联代理对应的Node节点后再进行待部署Pod的部署；所述不可用的边缘物联代理包括剩余资源小于设定值的边缘物联代理。

进一步的，所述Node节点信息包括该Node节点对应的边缘物联代理特征信息和资源使用信息。

进一步的，所述约束过滤包括：过滤出符合设定特征的边缘物联代理对应的Node节点。

进一步的，所述亲和性过滤包括：过滤出与待部署容器组相关联的已部署容器组所部署的边缘物联代理对应的Node节点。

进一步的，所述剩余资源优选包括：优选出资源利用率最低的边缘物联代理对应的Node节点。

进一步的，所述同类型的容器组的标准包括，为相同用户提供服务的容器组。

在大多数情况下，用户比Kubernetes及其他计算机系统更了解自己的应用，本发明根据用户需求对Pod调度进行个性化定制，能够实现不同情景不同需求下的容器智能调度，以便于更好的满足业务需求与资源分配的平衡。

具体可以实现根据用户需求将对应的Pod部署在指定的边缘物联代理设备上；可以将关联实现网管功能的相关Pod部署在同一个边缘物联代理设备上，或者一个或多个边缘物联代理设备集中仅用来承载实现相同网管功能的相关Pod的运行；可以为某个高优先级的用户分配专用的边缘物联代理设备，集中处理该用户的Pod，防止干扰和冲突的影响。实现边缘物联代理设备上轻量级容器的统一管理和部署的人为干预，优化了需求和资源分配的合理性。

进一步的，策略3)中，若存在已经完成部署的同类型的容器组，则将该同类型的容器组所部署的边缘物联代理的端口号作为设定特征；采用策略1)对待部署的容器组进行部署。

进一步的，策略3)中，执行剩余资源优选之前先执行常规过滤，先过滤掉不可用的边缘物联代理对应的Node节点。

通过剩余资源优选，找出资源利用率最低的边缘物联代理设备，供部分或某个用户独立使用，而直接在全部边缘物联代理设备中进行轮询查找效率低速度慢，且算法执行复杂容易出错；因此在剩余资源优选之前，先通过现有技术的常规过滤，过滤掉因剩余资源不足等原因无法部署的边缘物联代理设备，再在剩下的可用的边缘物联代理设备中执行剩余资源优选，能够提高优选效率，节约计算资源。

进一步的，策略4)中，执行常规过滤之后还执行离散优选：使不同边缘物联代理所承受的应用负载的差距在设定范围之内。

通过现有技术的离散优选，使用无用户特殊需求的其他待部署Pod对各个可用的边缘物联代理设备进行负载均衡，保证每个Node节点使用的资源均衡分配。

本发明的一种边缘物联管理平台，包括处理器，所述处理器执行实现如上述基于轻量级容器的调度方法的指令。

本发明提出的一种边缘物联管理平台，依据轻量级容器管理框架，能够应对不同情景的自适应且高度抽象的轻量级容器调度策略，完成调度器的定制，实现边缘物联代理设备上轻量级容器的统一管理和部署，基于用户的实际需求和分析判断，提升了边缘物联代理资源利用率、可靠性和安全性。

附图说明

图1是边缘物联代理设备架构图；

图2是Kubernates容器管控系统架构图；

图3是本发明的容器调度方法工作流程图；

图4是本发明的容器调度策略示意图。

具体实施方式

下面结合附图对本发明做进一步详细的说明。

方法实施例：

如图1所示的边缘物联代理设备，包括数据接口模块、虚拟容器管理模块、资源虚拟化模块、数据存储及处理模块。数据接口模块与边缘物联管理平台(管理容器调度)相连，实现本地节点信息的上送，以及本地容器管理和调度信息的下发功能。虚拟容器管理模块实现本地节点信息的采集，以及轻量级容器资源的发布、配置、部署、运行管理功能。资源虚拟化模块实现对虚拟机等虚拟化资源的管理功能。数据存储及处理模块实现数据的本地存储及基本处理功能，为边缘物联代理调度管控模块提供基础数据。

单个边缘物联代理设备资源有限，采用多个边缘物联代理设备形成集群，构成本发明的边缘物联代理系统。本发明采用Kubernates容器管控系统作为边缘物联代理系统上的容器管控系统，其总体架构如图2所示。Kubernates系统采用主从式结构，具体在边缘物联代理集群中划分出一个主节点Master和一群工作节点Node。

Master控制节点部署在边缘物联管理平台上，运行Etcd、API Server、ControllerManager和Scheduler四个组件。Etcd是一种持久性、轻量型的分布式键-值数据存储系统，用于存储集群的配置数据。API Server作为Kubernetes系统的唯一操作入口，也是集群内各个模块之间数据交互和通信的中心枢纽。Controller Manager是集群内部的管理控制中心，通过API Server监视集群的共享状态并且确保状态处于期望目标。Schduler负责集群的资源管理调度，完成Pod(容器组)和Node节点的绑定任务。

Node节点作为整个容器集群的实际运行节点，运行在边缘物联代理设备的虚拟容器管理模块上，包含Kubelet、Proxy和Docker deamon三个组件。Kubelet负责管理本节点Node上的Pod的整个生命周期，Proxy实现了Service的代理及软件模式的负载均衡，Dockerdeamon是运行Docker容器的最基础的支持。

在上述Kubernates系统以及Schduler调度结构的基础上，本发明制定了一套容器智能调度机制，工作流程如图3所示：

1)用户通过客户端发送请求，API Server创建Pod，并将Pod相关数据存储到etcd中，该Pod包含用户定制的特征信息(容器组特征信息)，该特征信息作为判据指定了部署此Pod的Node节点使用哪种过滤及优选策略进行筛选；

2)API Server通过边缘物联代理上的Kubelet模块获取最新Node节点信息，包括其设备特征信息(边缘物联代理特征信息)及资源使用情况等信息；

3)Schduler调度器监听APIserver，获取表征边缘物联代理的Node节点列表和待调度Pod及其特征信息；

4)根据待调度的Pod特征信息匹配节点过滤策略，过滤掉不符合要求的Node节点；

5)根据待调度的Pod特征信息根据需要匹配节点优选策略，对上一步筛选出的Node节点进行优选，筛选出最适合部署待调度Pod的Node节点；

6)将待调度的Pod与筛选出的Node节点执行绑定操作，并将结果存储到etcd中；

7)根据调度结果，在所选Node节点对应的边缘物联代理kubelet模块上执行Pod创建操作；

8)完成后返回第二步，更新Node节点信息，直至完成所有Pod的调度。

通过以上工作流程，本发明的一种基于轻量级容器的调度方法根据Pod的特征信息解析了用户的定制化需求，并匹配对应的Node节点过滤策略和优选策略，筛选出最优的Node节点进行Pod创建，完成容器在边缘物联代理设备上的部署，能够满足不同场景下容器调度的自适应需求。

用户针对实际应用场景提出的典型需求包括：

1)能够指定Pod运行在具有某种典型特征的边缘物联代理上；

2)组成网管系统的各个应用Pod能够就近集中分配到同一个边缘物联代理上；

3)希望使用一个独立的边缘物联代理设备给部分用户提供服务；

其余Pod均匀分配，使边缘物联代理设备集群保持负载均衡。

针对上述需求，本发明的基于轻量级容器的调度方法具有如下处理策略，具体如图4所示：

针对需求1)，当边缘物联管理平台上的Schduler调度器监听到API Server创建出需要指定部署的Pod时(如图4中的Pod1，Pod1包含用户定制的特征信息，该特征信息可以为例如Node节点编号或边缘物联代理设备端口号)，同时获取边缘物联代理的最新Node节点列表信息，调度器根据Pod1的特征信息自动匹配约束过滤策略，遍历Node节点列表过滤出具有对应典型特征的边缘物联代理(例如找出对应端口号的边缘物联代理设备，或找出对应编号的Node节点对应的边缘物联代理设备)，并跳过优选策略直接绑定完成Pod1部署；

针对需求2)，当边缘物联管理平台上的Schduler调度器监听到API Server创建出实现网管功能的相关Pod时(如图4中的Pod2，Pod2的用户定制特征信息显示Pod2与其他已部署的Pod相关联，例如组成网管系统的各个应用Pod)，同时获取边缘物联代理的最新Node节点列表信息，调度器根据Pod2的特征信息自动匹配亲和性过滤策略，遍历Node节点列表过滤出已经部署网管功能相关Pod的边缘物联代理(找出已部署相关联Pod的边缘物联代理)，并跳过优选策略直接绑定并部署Pod2；

以上两种策略根据用户需求，直接针对性的过滤寻找出具体的边缘物联代理设备，无需进行优选策略，提高了Pod部署的响应速度。

针对需求3)，当边缘物联管理平台上的Schduler调度器首次监听到API Server创建出需要运行在独立边缘物联代理的Pod时(如图4中的Pod3，Pod3的用户定制特征信息可以标记该类型的Pod需运行在独立的边缘物联代理设备上或者对应用户的Pod需运行在独立的边缘物联代理设备上)，同时获取边缘物联代理的最新Node节点列表信息，调度器根据Pod3的特征信息先自动匹配常规过滤策略，遍历Node节点列表过滤出可用的边缘物联代理，然后匹配Left Resource优选(剩余资源优选)策略，将上一步筛选出的边缘物联代理进行优选，得到资源利用率最低的边缘物联代理(即找出独立没有其他Pod部署的能够专用的边缘物联代理)，绑定并创建Pod3。同时记录该边缘物联代理的设备端口号，当再次出现此类Pod需要调度部署时，使用针对需求1)的策略直接过滤出并指定该端口号的边缘物联代理进行绑定及部署；

作为其他实施例，也可以不进行常规过滤，直接在所有Node节点中进行LeftResource优选策略，找出资源利用率最低的边缘物联代理设备。

4)其余待调度部署的Pod不含用户定制的特征信息，或用户定制特征信息显示为普通无特殊要求Pod(如图4中的其余Pod)，则可以使用常规过滤策略过滤出可用的边缘物联代理再进行部署；或常规过滤策略后再使用离散优选策略，使得每个边缘物联代理设备所承受的应用负载都保持在同一水平范围内，保持边缘物联代理集群的负载均衡。

上述典型实施案例基本涵盖了用户的各种定制化需求类型，但并不限定于这些类型，用户可以根据实际情况，自由决定待调度Pod的类型适用何种过滤及优选策略，在调度时将表征待调度Pod类型的特征值作为判据，自动匹配对应的过滤策略及优选策略，筛选出Node节点进行绑定，最终完成Pod在该节点上的部署。

本专利提出的一种基于轻量级容器的调度方法基于Kubernates系统以及Schduler调度结构，将设备信息及资源高度抽象化，应对不同情景采取自适应的容器调度策略，提高了对边缘物联代理集群的管控效率，也提升了边缘物联代理的资源利用率、可靠性和安全性。

边缘物联管理平台实施例：

本发明的边缘物联管理平台部署有Kubernates系统的Master节点，架构如图2所示，其执行指令以实现一种基于轻量级容器的调度方法，一种基于轻量级容器的调度方法已在方法实施例中描述的足够清楚，此处不再赘述。

Claims (10)

1.一种基于轻量级容器的调度方法，其特征在于，创建容器组，并根据用户需求加入容器组特征信息；获取各Node节点信息，并根据如下策略进行容器组到Node节点的分配部署；

1)若容器组特征信息包括：待部署容器组运行在设定特征的边缘物联代理，则对Node节点执行约束过滤后再进行待部署容器组的部署；

2)若容器组特征信息包括：关联信息，则对Node节点执行亲和性过滤后再进行待部署容器组的部署；

3)若容器组特征信息包括：该类型的待部署容器组运行在独立的边缘物联代理，且不存在已经完成部署的同类型的容器组，则对Node节点执行剩余资源优选后再进行待部署容器组的部署；若存在已经完成部署的同类型的容器组，则优选出该同类型的容器组所部署的边缘物联代理对应的Node节点后进行待部署容器组的部署；

4)若不包含容器组特征信息，则对Node节点执行常规过滤，过滤掉不可用的边缘物联代理对应的Node节点后再进行待部署Pod的部署；所述不可用的边缘物联代理包括剩余资源小于设定值的边缘物联代理。

2.根据权利要求1所述的基于轻量级容器的调度方法，其特征在于，所述Node节点信息包括该Node节点对应的边缘物联代理特征信息和资源使用信息。

3.根据权利要求1所述的基于轻量级容器的调度方法，其特征在于，所述约束过滤包括：过滤出符合设定特征的边缘物联代理对应的Node节点。

4.根据权利要求1所述的基于轻量级容器的调度方法，其特征在于，所述亲和性过滤包括：过滤出与待部署容器组相关联的已部署容器组所部署的边缘物联代理对应的Node节点。

5.根据权利要求1所述的基于轻量级容器的调度方法，其特征在于，所述剩余资源优选包括：优选出资源利用率最低的边缘物联代理对应的Node节点。

6.根据权利要求1所述的基于轻量级容器的调度方法，其特征在于，所述同类型的容器组的标准包括，为相同用户提供服务的容器组。

7.根据权利要求3所述的基于轻量级容器的调度方法，其特征在于，策略3)中，若存在已经完成部署的同类型的容器组，则将该同类型的容器组所部署的边缘物联代理的端口号作为设定特征；采用策略1)对待部署的容器组进行部署。

8.根据权利要求1、5或6所述的基于轻量级容器的调度方法，其特征在于，策略3)中，执行剩余资源优选之前先执行常规过滤，先过滤掉不可用的边缘物联代理对应的Node节点。

9.根据权利要求1所述的基于轻量级容器的调度方法，其特征在于，策略4)中，执行常规过滤之后还执行离散优选：使不同边缘物联代理所承受的应用负载的差距在设定范围之内。

10.一种边缘物联管理平台，其特征在于，包括处理器，所述处理器执行实现如权利要求1～9任一项基于轻量级容器的调度方法的指令。

Images