CN110941495B - 一种基于图着色的容器协同编排方法 - Google Patents

Abstract

本发明公开了一种基于图着色的容器协同编排方法。所述方法包括：基于图着色的负载冲突避免规则，采用图论中的顶点着色方法，将容器服务映射为邻接矩阵，其意味着容器集的冲突避免的编排方案；通过引入心跳消息实现容器集群的性能监控，并根据实时监控情况，进行容器初始化协同放置；评估和计算在特定时间内服务的主导资源类型；设定资源枯竭预警阈值，并根据主导资源属性将容器迁移至最佳节点，最后终止原容器实例以释放资源。本发明方法通过协同考虑容器集群各节点的内存、CPU、网络I/O以及块I/O等资源异构性，解决容器调度中出现端口冲突、容器副本冲突、资源冲突等问题，保证容器放置的容错性和可靠性，从而提升了资源利用率与应用程序性能。

Description

一种基于图着色的容器协同编排方法

技术领域

本发明属于计算机技术领域，更具体地，涉及一种基于图着色的容器协同编排方法。

背景技术

面对飞速发展的云计算应用需求，基于Hypervisor虚拟化技术的传统云计算系统已经暴露出性能和资源利用效率等方面的不足。鉴于虚拟机当前存在的资源管理效率问题，更灵活、更高效的容器技术成为云计算应用交付平台的发展趋势。容器技术主要包括容器运行、容器编排等技术。容器编排是指按顺序对单独容器化的组件进行组织，包括容器调度、集群管理和其他主机供应配置。在实际的云计算环境中，异构集群环境已趋于普遍。而当前关于容器编排策略的研究主要集中在启发式算法上，并没有考虑集群内服务的协同关系：如容器的放置应考虑节点内存、CPU、网络I/O等相关资源是否满足服务正常使用、容器副本以及其他易产生端口冲突的容器的放置问题、发生资源枯竭后容器的迁移是否影响到其他同一服务下的容器。为了改善异构集群环境中容器集群的资源利用率不高和应用程序性能不佳等问题，需要从容器协同编排策略对容器协同编排技术进行研究。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于图着色的容器协同编排方法，其目的在于通过协同综合考虑集群各节点的内存、CPU、网络I/O以及块I/O等资源异构性，采用图顶点着色映射容器负载冲突规则，解决在容器调度过程中出现端口冲突、容器副本冲突、资源冲突等负载冲突问题，保证容器放置的容错性和可靠性，从而提升资源利用率与应用程序性能。

为实现上述目的，本发明提供了一种基于图着色的容器协同编排方法，包括下述内容：

(1)基于图着色的负载冲突避免规则：采用图论中的点着色方法，将容器间的关系映射为邻接矩阵，每一个可行的着色方案意味着容器集的一个避免冲突的编排方案，并用于容器负载自适应调整中；

(2)首先进行协同初始化资源放置：引入包含工作节点状态和容器资源使用情况的心跳消息(Heartbeat)实现容器集群性能监控，自动记录到数据表中并根据容器使用情况实时更新，最后根据记录的节点资源状态进行容器初始化协同放置。放置结束的集群处于暂时的稳态，随着各种类型应用的变化，其资源需求也处于不断变化中，因此需确定各时间段内服务的主导资源需求；

(3)服务主导资源动态评估：确定每种服务的主导资源需求，需要集群中的管理节点监控所有容器的资源使用情况，并按相关联的服务ID分组。假设服务s_l(s_l∈S)包含n个运行的容器，它们存储于集合

中。假设集群中存在k种资源，由

消耗的资源用集合

表示，则其中每个属性

表示单容器上的一类资源，即

因此，可得S_l的平均资源消耗为：

在集群中，每一个工作节点的资源是有限的，因此我们假设单节点的资源上限是

集群总资源上限是L＝{L¹,L²,…,L^k}。因为L可以由l_i计算得来，所以下式中

可以由集群的总资源的百分比来表示：

根据上述分析，定义主导函数DOM(S_l)，其返回特定时间内服务S_l的主导资源需求类型，如下：

(4)在集群高负载的情况下，主导资源需求动态变化，容器负载自适应调整将基于上述(1)和(3)步骤，其主要内容为：设定资源枯竭预警消息，判断是否会发生负载节点冲突。获取容器的主导资源需求，并根据主导资源属性将容器迁移至可用主导资源最多的负载节点，最后终止原容器实例以释放资源。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：在异构集群场景下相较于其他的容器调度策略，本技术方案能够考虑集群内节点内存、CPU、网络I/O等相关资源的协同关系，从协同初始化资源放置、服务主导资源动态评估、容器负载自适应调整三个方面改进了容器在初始化调度以及再调度过程中遇到的资源利用率低的问题，保证了云计算环境中资源的高效利用和弹性伸缩。

附图说明

图1是本发明实施例中一种基于图着色的容器协同编排方法的流程示意图；

图2是本发明实施例中一种顶点着色查找冲突模型的结构示意图；

图3是本发明实施例中一种基于图顶点着色的冲突避免方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

为了改善异构集群环境中容器集群的资源利用率不高和应用程序性能不佳的问题，本发明设计一种基于图着色的容器协同编排方法，综合考虑集群各节点的内存、CPU、网络I/O以及块I/O等资源异构性，采用图顶点着色映射容器负载冲突规则，解决在容器调度过程中出现端口冲突、容器副本冲突、资源冲突等负载冲突问题，保证容器放置的容错性和可靠性，从而提升了资源利用率与应用程序性能。在基于图着色的负载冲突避免的基础之上，本发明所提出的协同编排策略的主要过程如图1所示，从协同初始化资源放置、服务主导资源动态评估、容器负载自适应调整三个方面改进容器在初始化调度以及再调度过程中遇到的资源利用率低的问题。

如图1所示，本发明提供了一种基于图着色的容器协同编排方法，包括：

(1)基于图着色的负载冲突避免规则：采用图论中的点着色方法，将容器间的关系映射为邻接矩阵，每一个可行的着色方案意味着容器集的一个避免冲突的编排方案，并用于容器负载自适应调整中；

(2)协同初始化资源放置：引入包含工作节点状态和容器资源使用情况的心跳消息实现容器集群性能监控，自动记录到数据表中并根据容器使用情况实时更新，根据记录的节点资源状态进行容器初始化协同放置；

(3)服务主导资源动态评估：确定每种服务的主导资源需求，需要集群中的管理节点监控所有容器的资源使用情况，并按相关联的服务ID分组；

(4)容器负载自适应调整：设定资源枯竭预警消息，判断是否会发生负载节点冲突。获取容器的主导资源需求，并根据主导资源属性将容器迁移至可用主导资源最多的负载节点，最后终止原容器实例以释放资源。

以下分别对本发明技术方案的4个方面进行详细说明。

1、基于图着色的负载冲突避免规则

本发明所指协同编排策略的基础为顶点着色映射规则：采用图论中的点着色方法，将容器间的关系映射为邻接矩阵，每一个可行的着色方案意味着容器集的一个避免冲突的编排方案。在一定节点数量的容器集群中，我们希望容器尽可能分发在尽可能少的节点中，同时又能避免负载冲突。图着色方法按照图中边的设定关系，将出现冲突的顶点使用不同颜色标注，即相同边的顶点为冲突对象，如图2所示，将顶点着色问题映射到容器上，实现冲突容器自动检测并标注。

2、协同初始化资源放置

首先在容器集群中引入心跳消息机制以解决资源监控问题。心跳消息不仅包含工作节点的状态，还包括容器在给定时间窗口内的资源使用情况，其使用情况包括内存、CPU、网络I/O和块I/O。在管理节点方面，数据将被组织到一个数据表中，该表保持跟踪每个工作节点当前可用资源及其相应容器的资源使用情况。通过配置文件中标签的Exclusive属性判断服务是否包含冲突负载节点，若是则将冲突节点加入过滤节点集，此外通过调用netstat服务侦听冲突端口，自动更新过滤节点集。最后，根据LoadCharacteristics的属性，判断服务的负载特征，根据记录的节点资源状态进行容器初始化协同放置。初始化协同放置的算法如算法1所示。

算法1描述了将容器初始化任务并分配给特定节点的过程，下面对算法过程进行说明：

(1)首先，每个管理节点维护一个已知的服务集{MS}，用于记录容器的状态，例如内存、CPU、网络I/O和块I/O的使用情况，并选择运行中的工作节点作为负载节点候选集。

(2)当一个新的任务到达时，算法根据用户指定的过滤器来缩小候选工作集W_opt，然后检查容器是否属于已知服务以及冲突容器是否已存在候选集中，若是则在T_dom中存储容器的主导资源属性。

(3)根据主导资源属性将W_opt工作集进行排序，并返回T_dom中最高可用资源的W_id。如果在{MS}中找不到服务，则会选择具有最高平均可用资源的W_id作为负载节点。

3、服务主导资源动态评估

初始化放置结束的集群处于暂时的稳态，随着各种类型应用的变化，其资源需求也处于不断变化中，因此需确定各时间段内服务的主导资源需求。

容器通常专注于提供特定的服务，如HTTP Web服务、数据库查询等。在某一段时间内，进程或任务资源占比最大的资源称为该进程或任务的主导资源。为了确定在特定时间内每种容器服务的主导资源需求，需要集群中的管理节点监控所有容器的资源使用情况，并按相关联的服务ID分组。假设服务s_l(s_l∈S)包含n个运行的容器，它们存储于集合

中。假设集群中存在k种资源，由

消耗的资源用集合

表示，则其中每个属性

表示单容器上的一类资源，即

因此，可得s_l的平均资源消耗为：

此外，在集群中，每一个工作节点的资源是有限的，因此假设单节点的资源上限是

集群总资源上限是L＝{L¹,L²,…,L^k}。因为L可以由l_i计算得来，所以上式中

可以由集群的总资源的百分比来表示，如下：

根据上述分析，定义主导函数DOM(s_l)，其返回特定时间内服务s_l的主导资源需求类型，如下：

4、容器负载自适应调整

在集群高负载的情况下，因为主导资源需求动态变化，容器负载也应自适应调整。

资源争用发生在每个工作节点身上，管理节点持续监控可用资源，只要发现资源枯竭成为瓶颈，就会向管理节点发送预警消息。首先，为了防止负载节点资源枯竭造成的容器宕机问题，设定了资源枯竭预警阈值。在收到预警消息后，判断容器是否属于全局服务即每个任务只在一个工作节点上运行，并判断是否会发生负载节点冲突。与此同时，管理节点获取容器的主导资源需求，并根据主导资源属性将容器迁移至可用主导资源最多的负载节点。最后，终止原容器实例以释放资源。

每一个服务组成单独的无向图，假设每一服务包含n个容器，集群中包含m个节点，X代表容器集，Y代表节点集。系统容器数量的冲突避免模型如图3所示，通过顶点着色后的容器冲突规则将映射为队列集合MQueueSet。资源过滤器Resource Filter将关联矩阵IMatrix C_i,k返回至容器系统守护进程，然后通过驱动组件生成和关闭特定服务的容器，并在队列集合MQueueSet进行消息队列的同步。然后MQueueSet相关组件将队列中的消息发布到服务映射的容器中，从而建立起由分组Group到容器实例Container的映射关系，实现集群中容器的放置冲突避免，并用于容器负载自适应调整中。

处理资源枯竭预警并迁移容器的过程如下所示。

算法2处理来自W_id的预警消息，预警消息容容器集群判断资源是否枯竭的唯一途径，下面对算法过程进行说明。

(1)设置节点资源的预警阈值thre，当达到阈值时，根据冲突负载信息过滤冲突节点，并提取瓶颈资源类型r_i，以及找到容器C_id对应的服务S_id。

(2)判断服务S_id是否为全局服务，若是且它在已知服务集{MS}中，则该算法返回包含在{W_opt}中可用主导资源T_dom最多的W_id。另一方面，如果S_id不在{MS}中并且主导资源T_dom未知，则返回具有最多的可用资源r_i的W_id。

(3)当S_id不是全局服务时，通过将其容器放置到不同的工作节点来提高S_id的可靠性。并选择不同的候选工作集{W_opt}，其中{W_opt}中的工作节点不负载任何的服务S_id。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于图着色的容器协同编排方法，其特征在于，所述方法包括如下步骤：

(1)基于图着色的负载冲突避免规则：采用图论中的点着色方法，将容器间的关系映射为邻接矩阵，每一个可行的着色方案意味着容器集的一个避免冲突的编排方案，并用于容器负载自适应调整中；

(2)协同初始化资源放置：引入包含工作节点状态和容器资源使用情况的心跳消息实现容器集群性能监控，自动记录到数据表中并根据容器使用情况实时更新，根据记录的节点资源状态进行容器初始化协同放置；所述步骤(2)中所述容器初始化协同放置的具体算法步骤为：首先，每个管理节点维护一个已知的服务集{MS}，用于记录容器的状态，包括内存、CPU、网络I/O和块I/O的使用情况，并选择运行中的节点作为负载节点候选集；当一个新的任务到达时，根据用户指定的过滤器来缩小候选工作集W_opt，然后检查容器是否属于已知服务以及冲突容器是否已存在候选集中，若是则在T_dom中存储容器的主导资源属性；根据主导资源属性将W_opt工作集进行排序，并返回T_dom中最高可用资源的W_id，如果在{MS}中找不到服务，则选择具有最高平均可用资源的W_id作为负载节点；

(3)服务主导资源动态评估：确定每种服务的主导资源需求，需要集群中的管理节点监控所有容器的资源使用情况，并按相关联的服务ID分组；

(4)容器负载自适应调整：设定资源枯竭预警消息，判断是否会发生负载节点冲突，获取容器的主导资源需求，并根据主导资源属性将容器迁移至可用主导资源最多的负载节点，最后终止原容器实例以释放资源；步骤(4)中对每一个服务组成单独的无向图，设每一服务包含n个容器，集群中包含m个节点，X代表容器集，Y代表节点集，通过顶点着色后的容器冲突规则将映射为队列集合MQueueSet，资源过滤器Resource Filter将关联矩阵IMatrix C_i，k返回至容器系统守护进程，然后通过驱动组件生成和关闭特定服务的容器，并在队列集合MQueueSet进行消息队列的同步，然后MQueueSet相关组件将队列中的消息发布到服务映射的容器中，从而建立起由分组Group到容器实例的映射关系，实现集群中容器的放置冲突避免。

2.如权利要求1所述的基于图着色的容器协同编排方法，其特征在于，所述步骤(1)中基于图着色的负载冲突避免规则具体为：采用图论中的点着色方法，将容器间的关系映射为邻接矩阵，每一个可行的着色方案意味着容器集的一个避免冲突的编排方案，在一定节点数量的容器集群中，使容器尽可能分发在尽可能少的节点中，同时又能避免负载冲突，图着色方法按照图中边的设定关系，将出现冲突的顶点使用不同颜色标注，即相同边的顶点为冲突对象。

3.如权利要求1或2所述的基于图着色的容器协同编排方法，其特征在于，所述步骤(2)中的容器初始化协同放置具体为：

首先在容器集群中引入心跳消息机制以解决资源监控问题，不仅包含工作节点的状态，还包括容器在给定时间窗口内的资源使用情况，在管理器方面，数据将被组织到一个数据表中，该表保持跟踪每个节点当前可用资源及其相应容器的资源使用情况，通过配置文件中标签的Exclusive属性判断服务是否包含冲突负载节点，若是则将冲突节点加入过滤节点集，此外通过调用netstat服务侦听冲突端口，自动更新过滤节点集，最后根据LoadCharacteristics的属性，判断服务的主导资源负载特征根据记录的节点资源状态进行容器初始化协同放置。

4.如权利要求1或2所述的基于图着色的容器协同编排方法，其特征在于，在集群中，在所述步骤(3)中，服务s_l(s_l∈S)包含n个运行的容器，它们存储于集合

中，集群中存在k种资源，由

消耗的资源用集合

表示，i＝1，2...n，其中每个属性r_i ^k表示单容器上的一类资源，即

可得s_l的平均资源消耗为：

由于每一个节点的资源是有限的，设单节点的资源上限是

则集群总资源上限是L＝{L¹，L²，...，L^k}，

也可由集群的总资源的百分比来表示：

基于以上，定义主导函数DOM(s_l)，其返回特定时间内服务s_l的主导资源需求类型，如下：

5.如权利要求1或2所述的基于图着色的容器协同编排方法，其特征在于，在步骤(4)中容器负载自适应调整是根据告警信息进行容器迁移，具体为：

资源争用发生在每个工作节点身上，工作节点持续监控可用资源，当发现资源枯竭成为瓶颈，则向管理节点发送预警消息，首先，为了防止负载节点资源枯竭造成的容器宕机问题，设定资源枯竭预警阈值，在收到预警消息后，判断容器是否属于全局服务即每个任务只在一个节点上运行，并判断是否会发生负载节点冲突，并且管理节点获取容器的主导资源需求，根据主导资源属性将容器迁移至可用主导资源最多的负载节点，最后终止原容器实例以释放资源。

6.如权利要求5所述的基于图着色的容器协同编排方法，其特征在于，处理资源枯竭预警并迁移容器的具体算法步骤为：

设置节点资源的预警阈值thre，当达到阈值时，根据冲突负载信息过滤冲突节点，并提取瓶颈资源类型r_i，以及找到容器C_id对应的服务S_id；

判断服务S_id是否为全局服务，若是且它在已知服务集{MS}中，则该算法返回包含在{W_opt}中可用主导资源T_dom最多的W_id，如果S_id不在{MS}中并且主导资源T_dom未知，则返回具有最多的可用资源r_i的W_id；

当S_id不是全局服务时，通过将其容器放置到不同节点来提高S_id的可靠性，并选择不同的候选工作集{W_opt}，其中{W_opt}中的节点不负载任何的服务S_id。

7.如权利要求3所述的基于图着色的容器协同编排方法，其特征在于，资源使用情况包括内存、CPU、网络I/O和块I/O。

Images