CN116361007A - 容器集群系统管理方法、装置、终端和存储介质 - Google Patents

Abstract

本发明实施例提供了一种容器集群系统管理方法、装置、终端和存储介质。本发明实施例可以响应于用户第一操作，根据配置文件完成容器集群系统的配置；获取所述容器集群系统运行时的参数；根据所述参数完成目标单元在所述多个节点中的调度，所述目标单元为所述多个单元中的任一个单元；获取调度后所述容器集群系统的配置参数，生成新的配置文件。在本发明实施例中，通过对所述容器集群系统的单元进行二次调度，提高了该系统的运行效率。

Description

容器集群系统管理方法、装置、终端和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种容器集群系统管理方法、装置、终端和储存介质。

背景技术

传统的应用部署方式通过插件或脚本来安装应用，相较于传统应用部署方式，容器集群化部署由于容器占用资源少、部署快且容易移植，已经成为广泛使用的应用部署方式，实现容器集群化部署的系统即容器集群系统。

现有的容器集群系统由于内部单元调度不平衡等问题导致该系统运行效率较低，容易出现异常导致系统宕机，严重影响用户的使用体验。

发明内容

本发明实施例提供一种容器集群系统管理方法、装置、终端和存储介质，以解决目前容器集群系统运行效率较低的问题。

本实施例提供一种容器集群系统管理方法，所述方法包括：

响应于用户第一操作，根据配置文件完成容器集群系统的配置，所述容器集群系统包括多个节点，每个所述节点用于运行多个单元；

获取所述容器集群系统运行时的参数；

根据所述参数完成目标单元在所述多个节点中的调度，所述目标单元为所述多个节点中超过负载阈值的节点的单元；

获取调度后所述容器集群系统的配置参数，生成新的配置文件。

本发明实施例还提供一种容器集群系统管理装置，所述装置包括：

配置模块，用于响应于用户第一操作，根据配置文件完成容器集群系统的配置，所述容器集群系统包括多个节点，每个所述节点用于运行多个单元；

参数模块，用于获取所述容器集群系统运行时的参数；

调度模块，用于根据所述参数完成目标单元在所述多个节点中的调度，所述目标单元为所述多个节点中超过负载阈值的节点的单元；

生成模块，用于获取调度后所述容器集群系统的配置参数，生成新的配置文件。

在一些实施例中，所述调度模块包括：

获取子模块，获取所述目标单元在预设时间范围内的资源占用参数；

调整子模块，用于根据所述资源占用参数调整所述目标单元的资源需求参数；

第一调度子模块，用于根据调度算法完成所述目标单元在所述节点中的调度。

在一些实施例中，所述调度子模块还包括：

计算子模块，用于根据所述资源需求参数计算所述节点的可用资源；

确定子模块，用于当存在满足预设条件的节点时，将可用资源最大的节点确定目标节点。

第二调度子模块，用于根据所述目标节点生成第一调度指令，以便所述容器集群系统根据所述第一调度指令调度目标单元到目标节点。

在一些实施例中，所述调度子模块还包括：

标签子模块，用于当所述目标单元调整后的资源需求参数超过预设阈值时，生成反亲和标签，所述反亲和标签用于限制资源需求高的单元被调度到同一节点；

第三调度子模块，用于根据所述反亲和标签以及所述调度算法生成第二调度指令，以便所述容器集群系统根据所述第二调度指令完成所述目标单元的调度。

在一些实施例中，所述调度子模块还包括：

负载子模块，当一个所述节点中所述实际负载超过预设的负载阈值时，将所述节点中资源占用最高的单元确定为目标单元；

指令子模块，用于生成调度指令，以便所述容器集群系统根据所述调度指令将所述目标单元调度到该所述节点以外的其他节点

在一些实施例中，所述参数模块包括：

第一配置子模块，用于响应于用户的第二操作，根据监控配置文件完成实时监控系统的配置；

第一部署子模块，用于将所述实时监控系统部署到容器集群系统中；

参数获取子模块，用于通过所述实时监控系统获取所述容器集群系统运行时的参数。

在一些实施例中，所述容器集群系统管理装置还包括：

第二配置子模块，用于响应于用户的第三操作，根据可视化配置文件完成可视化系统的配置；

第二部署子模块，用于将所述可视化系统部署到容器集群系统中；

展示子模块，用于响应于用户的展示操作，基于可视化系统生成参数展示界面，所述参数展示界面用于实时展示所述参数。

在本发明实施例提供的容器集群系统管理方法中，通过获取所述容器集群系统运行时的参数，进而根据所述参数对该系统的单元在多个节点中进行二次调度的方法，保证了系统内各个节点的负载均衡，降低了节点出现异常而宕机的风险，提高了容器集群系统的运行效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的容器集群系统管理方法的场景示意图；

图1b是本发明实施例提供的容器集群系统管理方法的流程示意图；

图2是本发明实施例提供的单元调度过程的流程示意图；

图3a是本发明实施例提供的容器集群系统管理方法的另一种场景示意图；

图3b是本发明实施例提供的一种具体实施例的流程示意图

图4是本发明实施例提供的容器集群系统管理装置的结构示意图；

图5是本发明实施例提供的电子设备的结构示意图；

具体实施方式

需要说明的是，本发明实施例的实施例部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。另外，在本发明实施例的描述中，除非另有说明，“多个”是指两个或多于两个，“至少一个”是指一个、两个或两个以上。术语“第一”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先介绍理解本发明所需的基础知识：

容器(Container)：容器的本质就是一个资源可限制、独立文件系统的进程集合，它提供了一个能够保证某个应用程序运行的独立运行环境。通常来说一个容器中包含了该应用程序所需的语言以及框架，使得容器在任何环境都能部署，不受外界干扰且便于迁移。

单元(Pod)：在一个容器集群系统中最小的可创建和管理的对象称为单元，一个单元里面有多个容器，一个容器对应着一个运行程序。

节点(Node)：节点是容器集群系统中的一个工作机器，一个集群部署管理系统可以有多个节点，一个节点可以是虚拟机或者物理机，单元就在节点中运行，一个节点中可以有多个单元。通常来说，一个容器集群系统内部必须具有一个管理节点，管理节点负责处理接收到的控制命令，通过所述管理节点，可以实现如下功能：

1.调度单元到其他各个节点；

2.对容器集群系统的资源进行增、删、改、查；

3.对资源进行自动化控制，发现故障时执行自动修复。

实时监控系统：实时监控系统是一个系统监控和报警系统，目前已经广泛应用于容器集群系统的监控，通过收集容器集群系统的时间序列数据进行分析，判断出现异常时可以通过多种方式向用户发出警告。

本发明实施例提供一种容器集群系统管理方法、装置、电子设备和存储介质。

本发明实施例提供的容器集群系统管理方法具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑，或者个人电脑(Personal Computer，PC)等设备。服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

在一些实施例中，该容器集群系统管理装置还可以集成在多个电子设备中，比如，容器集群系统管理装置可以集成在多个服务器中，由多个服务器来实现本申请的容器集群系统管理方法，所述服务器可以是本地服务器，也可以是云端服务器，抑或者同时包括两者。

例如，参考图1a所示的容器集群系统管理方法的实际应用示意图，所述容器集群系统管理方法可以由一个服务器实施，所述服务器包括客户端101、容器集群系统102以及数据库105，所述容器集群系统102添加实时监控系统103、可视化系统104。其中，客户端101与容器集群系统102以及数据库105数据互通。以下进行详细介绍：

客户端：客户端101响应于用户的第一操作，根据配置文件完成容器集群系统102的配置，所述容器集群系统102包括多个节点，每个所述节点用于运行多个单元；客户端101响应于用户的第二操作，根据监控配置文件完成实时监控系统103的配置，将其部署在容器集群系统102中；客户端101响应于用户的第三操作，根据可视化配置文件完成可视化系统104的配置，将其部署在容器集群系统102中；客户端101通过实时监控系统103获取容器集群系统102运行时的参数；客户端101根据所述参数生成调度指令，以便所述容器集群系统102实现目标单元在所述多个节点中的调度，所述目标单元为所述多个节点中超过负载阈值的节点的单元；客户端101通过实时监控系统103获取容器集群系统102经过调度后的配置参数，并将所述配置参数保存于数据库105中；客户端101根据所述调度后的配置参数生成新的配置文件。

容器集群系统：容器集群系统102由客户端101根据配置文件部署完成，所述容器集群系统按照配置文件的内容包括相应的多个节点，每个所述节点用于运行多个单元，每个所述单元中包括多个容器，从而实现容器的集群化部署；容器集群系统102响应于客户端101发出的调度指令，实现目标单元在所述多个节点中的调度，所述目标单元为所述多个节点中超过负载阈值的节点的单元。

实时监控系统：实时监控系统103由客户端101根据监控配置文件配置并部署到容器集群系统102上，用于实时监控容器集群系统102的运行参数；实时监控系统103将获取的运行参数发送给客户端101；实时监控系统103将调度后所述容器集群系统102的配置参数发送给客户端101。

可视化系统：可视化系统104由客户端101根据监控配置文件配置并部署到容器集群系统102上，用于可视化展示实时监控系统103获取的容器集群系统102的运行参数；可视化系统104响应于用户的展示操作，生成参数展示界面，所述参数展示界面用于实时展示所述运行参数。

数据库：数据库105接收客户端101发送的容器集群系统102的配置参数。

具体地，当需要建立容器集群系统并加以管理时，客户端101响应于用户的操作，根据不同的配置文件分别完成容器集群系统102、实时监控系统103以及可视化系统104的配置，并将实时监控系统103与可视化系统104部署到容器集群系统102上；实时监控系统103获取容器集群系统102的运行参数，并将所述运行参数发送给客户端101；客户端101接收运行参数；响应于用户的展示操作，可视化系统104响应于用户的展示操作，生成参数展示界面，所述参数展示界面用于实时展示所述运行参数；客户端101根据所述运行参数生成调度指令；容器集群系统102根据所述调度指令完成目标单元在所述多个节点中的调度，所述目标单元为所述多个节点中超过负载阈值的节点的单元；实时监控系统103获取容器集群系统102调度后的配置参数，并将所述配置参数发送给客户端101；客户端101接收配置参数，根据所述配置参数生成新的配置文件；客户端101将所述配置参数发送给数据库105，以便数据库105对所述配置参数进行保存。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

实施例1

在本实施例中，将从容器集群系统管理装置的角度进行描述，该容器集群系统装置具体可以集成在客户端中，用于对容器集群系统进行综合管理，提升该系统的运行效率。

其中，该客户端可以为电子设备，比如，服务器、终端等设备。比如，该客户端可以是服务器，例如单一服务器、服务器集群，等等。再比如，该终端可以是手机、笔记本电脑、个人电脑，等等。

如图1b所示，该容器集群系统管理方法的具体流程可以包括以下步骤S110～S140：

S110、响应于用户第一操作，根据配置文件完成容器集群系统的配置，所述容器集群系统包括多个节点，每个所述节点用于运行多个单元。

其中，配置文件可以为YAML或者JSON格式的文本文件。通常情况下JSON格式的文本文件可读性较低，但是这种格式的配置文件易于被各种编程环境下的客户端进行处理；而YAML格式相对于JSON格式配置文件的可读性更强。具体的配置文件的格式不应理解为是对本发明的限制。所述配置文件中包含着所述容器集群系统所有资源的配置参数，其中，所述资源包括接口版本、资源类型(节点、单元、容器等)、资源元数据、资源规格、容器配置等等，具体的配置文件包括的资源类型由技术人员的实际需求以及所述容器集群系统的运行要求确定，例如，在所述容器集群系统能够正常运行的前提下，技术人员可以根据实际需求增加合适的资源类型，并在所述配置文件中设置合理的配置参数。

通常来说，所述配置文件必须包括节点、单元、容器的相关配置参数，以保证所述容器集群系统能够正常运行。其中，所述节点包括一个集群控制节点和任意数量个应用节点，应用节点主要用于提供容器运行的环境，而集群控制节点用于接收指令以及对所述应用节点进行管理，集群控制节点通常不运行任何容器。除了系统版本、内网IP、外网IP(模拟)等公共配置以外，所述配置文件需要对所述集群控制节点进行进一步配置，例如，设置接口服务、etcd(键值数据库)、内部调度器和控制器的配置参数，以分别实现对集群控制的入口设置、节点中资源对象信息保存、调度算法设置以及节点的维护。通过对集群控制节点进行合理的参数配置，能够保证客户端对所述容器集群系统进行有效的管理。

在一些实施例中，在根据配置文件完成容器集群系统的配置之前，所述容器集群系统管理方法还可以包括获取配置文件。获取配置文件的方式具有多种，比如，可以通过技术人员在客户端的文本输入窗口中输入相应的文本信息以直接形成对应的文本文件，所述文本文件即配置文件，也可以通过无线网络接收来自其他终端设备发送的配置文件文本信息，也可以通过通信介质接收配置文件，比如，通过网线、U盘、软盘、光盘等接收配置文件，等等。

在一些实施例中，所述配置文件可以通过界面的方法生成：当用户完成对资源类型的选择后，客户端生成配置文件的文本格式模板，所述模板对于每个资源类型都有预设的配置参数，用户可以在所述配置文件上完成对所述配置参数的替换操作以生成所需的配置文件。所述界面包括多个替换控件以及一个确认控件，所述替换控件的数量可以对应于配置文件中资源类型的数量，每个替换控件对应一段可选替换文本，所述可选替换文本对应着某资源类型中配置参数的可能值；通过对每个替换控件执行触发操作，根据不同的资源类型，可以触发下列不同的动作：可以生成一个下拉列表，所述下拉列表包括至少一个替换文本内容，所述替换文本内容用于对该替换控件对应的可选替换文本进行替换；也可以生成一个文本输入窗口，所述文本输入窗口可以预设规范的输入格式，以便接收用户输入的替换文本内容。确定了所有可选替换文本所对应的替换文本内容以后，响应于用户对确认控件执行的确认操作，客户端根据所有配置文件生成中的信息，对所述配置文件的进配置参数进行替换。在上述实施例中，用户可以更直观、便捷地构造所述配置文件，提升配置文件的构建效率。

其中，第一操作为根据所述配置文件进行所述容器集群系统的配置，该配置操作可以由用户基于配置文件中的配置参数，手工在相关软件上进行所述容器集群系统的配置；也可以由相关的编程软件根据预设的脚本读取所述配置文件，自动完成对所述容器集群系统的配置。第一操作所对应的具体的系统配置方法由技术人员的意愿决定，不应理解为是对本发明的限制。

S120、获取所述容器集群系统运行时的参数。

其中，所述容器集群系统运行时的参数可以包括上述配置文件中设定所述容器集群系统的配置参数，也可以包括其他运行时产生的数据，例如，容器对应的应用程序的运行结果、节点的实时负载、单元或者容器的资源占用等。所述运行参数由技术人员的需求确定，所述需求可以是技术人员通过经验、数据分析、机器学习等方式确定的，所述运行时的参数的具体种类不应理解为是对本发明的限制。

在一些实施例中，所述容器集群系统运行时的参数是通过实时监控系统获取的，因此，所述容器集群系统管理方法包括实时监控系统的部署过程，通过部署完毕的实时监控系统获取容器集群系统的运行参数，具体包括如下步骤A1～A3：

A1、响应于用户的第二操作，根据监控配置文件完成实时监控系统的配置；

A2、将所述实时监控系统部署到容器集群系统中；

A3、通过所述实时监控系统获取所述容器集群系统运行时的参数。

其中，第二操作为根据所述监控配置文件进行所述实时监控系统的配置，该配置操作与第一操作所对应的配置操作基本一致，在此不再赘述。同样，第二操作所对应的具体的系统配置方法由技术人员的意愿决定，不应理解为是对本发明的限制。

其中，监控配置文件可以为YAML或者JSON格式的文本文件。所述监控配置文件具有多个对象，每个所述对象代表所述实时监控系统能够获取的所述容器集群系统的资源类型。具体的监控配置文件包括的资源类型由技术人员的实际需求确定，不应理解为是对本发明的限制。

所述监控配置文件同样可以通过直接传输、手工输入文本信息、界面生成等方式获取。其中，通常情况下，在所述界面生成方式中，所述监控配置文件的所述对象可以分为多个类别，例如：资源信息、节点性能(节点CPU、资源利用率、网络IP等)、单元性能(容器CPU、资源利用率等)等，每个类别对应一个预设控件；响应于用户对所述预设控件的触发操作，能够生成对应类别对象的配置信息文本内容，用户可以在所述文本内容上进一步进行修改，以完成所述监控配置文件的获取。

所述实时监控系统配置完毕后，需要将所述实时监控系统部署到容器集群系统中。通常情况下，按照所述监控配置文件配置完成的实时监控系统只需要客户端进行总的接口设置，随后它能够自动完成所述容器集群系统被监控资源类型的确定，并且抓取所述资源类型的参数。在一些实施例中，所述参数的抓取过程是动态的，例如，当所述容器集群系统中的节点增加时，它能够自动去获取新节点的参数。在一些实施例中，客户端可以给所述实时监控系统设置内部数据库路径，获取的所有参数都可以保存在所述内部数据库中，获取的参数以时间序列的格式进行存储，每个时间序列都由资源类型的名称以及标签作为唯一标识；进一步，所述实时监控系统可以相应于用户的相关操作，将用户所需的参数发送给服务端，或者发送到具有展示功能的控件以便其展示所述参数。

在上述实施例中，通过实时监控系统及时、快速地获取所述容器集群系统的参数，以便于客户端后续根据所述参数去优化容器集群系统的运行，提升了容器集群系统的管理效率。

在一些实施例中，所述容器集群系统运行时的参数可以通过可视化系统进行实时展示，以便于技术人员对所述容器集群系统的运行状态进行掌握，因此，所述容器集群管理方法包括可视化系统的部署过程，通过部署完毕的可视化系统对容器集群系统的运行参数进行展示，具体包括如下步骤B1～B3：

B1、响应于用户的第三操作，根据可视化配置文件完成可视化系统的配置；

B2、将所述可视化系统部署到容器集群系统中；

B3、响应于用户的展示操作，基于可视化系统生成参数展示界面，所述参数展示界面用于实时展示所述参数。

其中，第三操作为根据所述可视化配置文件进行所述可视化系统的配置，该配置操作与第一操作所对应的配置操作基本一致，在此不再赘述。同样，第二操作所对应的具体的系统配置方法由技术人员的意愿决定，不应理解为是对本发明的限制。

所述可视化系统配置完毕后，需要将所述可视化系统部署到容器集群系统中，具体的部署过程与实时监控系统的部署过程基本一致，在此不再赘述。

展示操作可以是用户向客户端的命令输入窗口输入命令，或者是通过客户端的预设控件生成参数展示界面，所述参数展示界面与所述可视化系统数据联通，所述参数展示界面可以实时展示容器集群系统的参数。在一些实施例中，所述参数展示界面包括多个选择控件，每个所述选择控件对应于一种资源类型，响应于用户对所述选择控件的触发操作，所述参数展示界面可以展示该资源类型的实时参数，也可以展示该资源类型的时间序列数据。

在上述实施例中，通过可视化系统实时展示所述容器集群系统的参数，便于技术人员对所述容器集群系统的运行状态进行掌握，提升了容器集群系统的管理效率。

在一些实施例中，所述容器集群系统还可以部署告警系统，所述告警系统主动获取所述实时监控系统保存的参数，进一步，根据预设的告警算法判断所述容器集群系统是否出现了运行异常的状况，或者有很高的概率出现运行异常，所述告警算法可以是阈值分析、线性分析等。当经过分析判断所述容器集群系统确实出现异常后，根据所述异常的具体信息生成文本文件，将所述文本文件及时发送给用户以便其对容器集群系统进行修复处理，所述文本文件的发送方法可以是邮件、短信、办公通信软件等。

S130、根据所述参数完成目标单元在所述多个节点中的调度，所述目标单元为所述多个节点中超过负载阈值的节点的单元。

其中负载阈值可以包括对节点多个配置参数的限制，例如，CPU占用率、资源利用率等等，当节点的某个配置参数超过其中一个限制时，可以认为该节点超过了负载阈值，需要对其中的单元进行二次调度。

其中，目标单元为所需要进行调度的单元，所述目标单元为所述容器集群系统多个单元中的任意一个单元，该目标单元可以由技术人员的需求进行确定，在这种情况下可以给所述目标单元增加合适的标签；该目标单元也可以由客户端自动确定，此时所述目标单元应满足预设条件，例如：所处节点负载过大、资源占用异常等，需要调度该单元以进行容器集群系统的优化。

在一些实施例中，客户端根据获取的参数生成调度指令，并将所述调度指令发送给所述容器集群系统，容器集群系统的集群控制节点接收所述调度指令，进一步根据所述调度指令完成目标单元在所述多个节点中的调度。其中，所述调度指令可以包括目标单元信息、目标单元所处的节点信息以及对所述目标单元进行处理的动作信息，调度指令可以不限定目标单元需要调往的节点。所述调度指令可以是客户端自动生成的，也可以是用户根据获取的参数主动输入文本生成。通过对目标单元在所述多个节点的调度，可以提高所述容器集群系统的运行效率，降低系统异常的发生率。

在一些实施例中，所述参数包括所述目标单元的资源占用参数，此时所述根据所述参数完成目标单元在所述多个节点中的调度，如图2a所示，具体的调度过程可以包括如下步骤S210～S230：

S210、获取所述目标单元在预设时间范围内的资源占用参数；

S220、根据所述资源占用参数调整所述目标单元的资源需求参数；

S230、根据调度算法完成所述目标单元在所述节点中的调度。

其中，目标单元是已经进行过一次调度，在某个节点中已经运行了一定时间的单元，所述目标单元需要在多个节点中进行二次调度以提高所述容器集群系统的运行效率。

其中，所述预设时间范围应小于所述实时监控系统抓取的参数的时间跨度，例如，实时监控系统获取了所述容器集群系统24h的参数，根据所述参数生成时间序列数据保存于内部数据库中，预设时间范围应设定为24h之内的任意时间范围。

其中，所述资源需求参数可以是目标单元在配置文件中注明的资源需求量，可以包括内存请求值、CPU请求值等。所述调度算法可以包括两步，首先根据相关的参数筛选出满足某一单元调度需求的节点，再对所有可调度节点进行打分，将分支最高的节点确定为目标节点，将所述单元调度到该节点中运行。例如，所述调度算法可以根据所述节点的参数以及所述资源需求参数来进行所述单元的调度：对于一个未进行调度的单元，当一个所述节点的剩余内存大于某个单元的内存请求值时，就可以将该单元调度到所述节点中运行；若不存在满足要求的节点，则该单元可以处于等待状态，当出现满足条件的节点后再进行调度操作。

所述资源占用参数可以是所述目标单元实时的内存占用值、CPU占用值，在通常情况下，所述目标单元的内存请求值、CPU请求值都要大于它们实际的资源占用参数，这样做的目的是保证所述单元能够被顺利部署。当目标单元的资源需求参数设置不合理时，就会导致节点的负载不均衡。通过分析所述在所述预设时间范围的资源占用参数，可以确定所述目标单元的合理资源需求参数，所述合理资源需求参数的具体值可以是预设时间范围内资源占用参数的平均值、中位数、最大值等；也可以是对上述指标的进一步处理，以保证所述目标单元在能够顺利运行的前提下，资源需求参数尽可能小。在完成所述目标单元资源需求参数的调整后，可以直接根据预设的调度算法完成目标单元在所述节点中的调度。

在一些实施例中，步骤S230可以包括以下目标节点确定过程，如图2a所示，该过程具体可以包括步骤S231～S233：

S231、根据所述资源需求参数计算所述节点的可用资源；

S232、当存在满足预设条件的节点时，将可用资源最大的节点确定目标节点；

S233、根据所述目标节点生成第一调度指令，以便所述容器集群系统根据所述第一调度指令调度目标单元到目标节点。

其中，所述可用资源为具体数值，用来衡量当前时间所述节点容纳目标单元的能力，可用资源越大节点可容纳的目标单元越大，可用资源可以根据节点的实时参数以及目标单元资源需求参数计算，例如，可用资源＝节点CPU×(1-CPU占用率)－调整后的目标单元CPU请求值，上述计算公式根据预设的调度算法确定，技术人员可以根据需求进行调整。通过计算得到所有节点的可用资源后，将满足预设要求的节点确定为可调度节点，所述预设要求可以是可用资源为正。进一步，对所有的可调度节点进行打分，可用资源越大评分越高，将评分最高的可用资源确定为目标节点。在一些实施例中，所述评分标准可以是亲和度判断，所述亲和度判断可以是判断节点标签以及目标单元标签的符合程度，符合的标签对越多评分越高。此外，评分标准可以是其他基于参数设置的标准，也可以是上述评分标准的组合。

第一调度指令与前文所述的调度指令概念基本一致，区别在于对预设算法进行了限制，在此不再进行赘述。

在一些实施例中，步骤S230可以包括以下反亲和标签添加过程，如图2b所示，具体包括步骤S234～S235：

S234、当所述目标单元调整后的资源需求参数超过预设阈值时，生成反亲和标签，所述反亲和标签用于限制资源需求高的单元被调度到同一节点；

S235、根据所述反亲和标签以及所述调度算法生成第二调度指令，以便所述容器集群系统根据所述第二调度指令完成所述目标单元的调度。

所述预设阈值可以是对资源需求参数中一个或者多个具体值的限制，当所述目标单元的具体值超过了所述预设阈值的限制时，服务器生成反亲和标签，所述反亲和标签随着第二调度指令发送到容器集群系统中，容器集群系统解析所述第二调度指令后，首先对调度指令所指定的目标单元添加所述反亲和标签，用于表示该目标单元为高耗能的对象。此后，当有其他目标单元需要进行调度时，若可调度节点中包含具有该反亲和标签的单元，所述容器集群系统会避免将目标节点调度到该节点中，以保证节点的有效运行。

第二调度指令与前文所述的调度指令概念基本一致，区别在于对所述目标单元调往的节点进行筛选的预设条件进行了限制，在此不再进行赘述。

在上述实施例中，通过对容器集群系统中的单元在多个节点中进行二次调度的方式，使得容器集群系统中的节点负载均匀，降低了节点因负载问题出现异常的概率，提升容器集群系统整体的运行效率。

S140、获取调度后所述容器集群系统的配置参数，生成新的配置文件。

在一些实施例中，客户端在完成目标单元在所述节点的调度后，从所述实时监控系统中获取所述容器集群系统的配置参数，并将所述配置参数发送给数据库进行保存。进一步，根据保存的配置参数生成新的配置文件，所述配置文件可以在本客户端中用来进行下一次的容器集群系统部署；也可以发送到其他的客户端，所述其他客户端具有与本客户端相同的业务，可以根据所述新的配置文件进行容器集群系统部署。

在一些实施例中，客户端在根据所述配置文件完成容器集群系统的部署之后，就可以将配置参数发送到数据库进行保存，与调度后保存的配置参数结合使用。例如，当调度后的容器集群系统出现问题时，可以使用前一次保存的配置参数来对所述容器集群系统进行系统回退操作，以减小问题产生的损失。

在一些实施例中，所述根据所述参数完成目标单元在所述多个节点中的调度的步骤还包括如下目标单元确定过程：

当一个所述节点中所述实际负载超过预设的负载阈值时，将所述节点中资源占用最高的单元确定为目标单元；

生成调度指令，以便所述容器集群系统根据所述调度指令将所述目标单元调度到该所述节点以外的其他节点。

在本发明实施例提供的容器集群系统管理方法中，通过获取所述容器集群系统运行时的参数，根据所述参数对该系统的单元在多个节点中进行二次调度的方法，保证了系统内各个节点的负载均衡，降低了节点出现异常而宕机的风险，提高了容器集群系统的运行效率。此外，通过使用调度后的配置参数生成新的配置文件的方法，便于所述容器集群系统的迁移和管理。

实施例2

在本发明实施例中，还提供了容器集群管理方法的一种具体实施例，在该具体实施例中，所述容器集群管理方法部署在边缘云服务器中，所述边缘云服务器是云边协同架构的一部分，具体来说，云边协同架构如下所述进行部署：

云边协同架构包括两类云服务器，通常来说一个业务类型下的云边协同架构可以由至少一个中心云服务器和多个边缘云服务器构成。其中，中心云服务器负责收集各个边缘云服务器的数据，进行数据的分析、挖掘与共享；边缘云服务器负责所在区域的业务处理、数据存储以及上传。例如，某个业务类型下的云边协同架构可以如图3a所示，一个云边协同架构中包括一个中心云服务器a，中心云服务器a与n个边缘云服务器a1～an数据互通，边缘云服务器中具有多个节点，每个所述节点包括多个单元，每个所述单元包括多个容器，每个容器都对应这该业务类型下的应用程序。在其中的一个边缘云服务器中，可以应用本发明的容器集群管理方法，如图3b所示，容器集群管理方法的具体步骤包括S301～S310：

S301、客户端响应于用户的第一操作，根据配置文件完成容器集群系统的配置；

S302、客户端响应于用户的第二操作，根据监控配置文件完成实时监控系统的部署；

S303、客户端响应于用户的第三操作，根据可视化配置文件完成可视化系统的部署；

S304、实时监控系统获取容器集群系统的运行参数，并将所述运行参数发送给客户端；

S305、客户端根据所述运行参数生成调度指令，将所述调度指令传输到容器集群系统；

S306、容器集群系统接收所述调度指令；

S307、容器集群系统根据所述调度指令完成目标单元在所述多个节点中的调度，所述目标单元为所述多个节点中超过负载阈值的节点的单元；

S308、实时监控系统获取容器集群系统调度后的配置参数，并将所述配置参数发送给客户端；

S309、客户端接收配置参数，根据所述配置参数生成新的配置文件；

S310、客户端将所述配置参数发送给中心云服务器，以便中心云服务器对所述配置参数进行保存。

以上大部分步骤的具体实施可参见前面的实施例1，在此不再赘述，仅描述不同于实施例1中的步骤S310：

中心云服务器中保存的配置参数可以包括各个边缘云服务器中运行的容器集群系统各个节点、单元以及容器的配置，通过中心云服务器对收集的各个边缘云服务器配置数据的分析，可以进一步优化容器集群系统的运行参数，实现更有效的管理。所述边云协同结构可以应用于多个领域，例如，在金融领域中，银行会将其业务下放到各个地方支行，与之所对应的，银行的总行可以配置中心云服务器用以收集各个边缘云服务器上传的配置参数，对所述参数进行分析处理以便更新容器集群系统；支行可以配置边缘云服务器用于处理当地的金融业务。

具体来说，边缘云服务器中的容器集群系统中设置多个节点，每个所述节点包括多个单元，每个所述单元中包括多个容器，单个所述单元可以对应于银行的一类业务，该单元中的容器可以对应于该类业务下的具体业务，单个容器可以对应于银行的某项业务，例如，某单元可以对应于基本网银业务、网上投资、网络购物、其他金融服务等，下属容器就可以对应于在线查询账户余额、交易记录，下载数据，转账和网上支付等；某单元对应于网上投资业务，下属容器就可以对应于股票、期权、共同基金投资等多种金融产品服务。由于各个支行的业务类型基本相同，某个支行对应的容器集群系统调整后的配置参数可以应用于其他支行所述系统的配置，从而提升了整体云边协同架构的容器集群系统运行效率。

在本发明具体实施例提供的容器集群系统管理方法中，通过获取所述容器集群系统运行时的参数，根据所述参数对该系统的单元在多个节点中进行二次调度的方法，保证了系统内各个节点的负载均衡，降低了节点出现异常而宕机的风险，提高了容器集群系统的运行效率。此外，通过将调度后的配置参数上传到中心云服务器的方法，提升了整体云边协同架构的容器集群系统运行效率。

为了更好地实施以上方法，本发明实施例提供了一种容器集群系统管理装置，该容器集群系统管理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。

比如，在本实施例中，将从容器集群系统管理装置的角度进行描述，以该容器集群系统管理装置具体集成在客户端中为例，对本发明实施例的方法进行详细说明。

例如，如图4所示，该容器集群系统管理装置400可以包括配置模块410、参数模块420、调度模块430与生成模块440。

配置模块410，用于响应于用户第一操作，根据配置文件完成容器集群系统的配置，所述容器集群系统包括多个节点，每个所述节点用于运行多个单元；

参数模块420，用于获取所述容器集群系统运行时的参数；

调度模块430，用于根据所述参数完成目标单元在所述多个节点中的调度，所述目标单元为所述多个节点中超过负载阈值的节点的单元；

生成模块440，用于获取调度后所述容器集群系统的配置参数，生成新的配置文件。

在一些实施例中，所述调度模块包括：

获取子模块，获取所述目标单元在预设时间范围内的资源占用参数；

调整子模块，用于根据所述资源占用参数调整所述目标单元的资源需求参数；

第一调度子模块，用于根据调度算法完成所述目标单元在所述节点中的调度。

在一些实施例中，所述调度子模块还包括：

计算子模块，用于根据所述资源需求参数计算所述节点的可用资源；

确定子模块，用于当存在满足预设条件的节点时，将可用资源最大的节点确定目标节点。

第二调度子模块，用于根据所述目标节点生成第一调度指令，以便所述容器集群系统根据所述第一调度指令调度目标单元到目标节点。

在一些实施例中，所述调度子模块还包括：

标签子模块，用于当所述目标单元调整后的资源需求参数超过预设的负载阈值时，生成反亲和标签，所述反亲和标签用于限制资源需求高的单元被调度到同一节点；

第三调度子模块，用于根据所述反亲和标签以及所述调度算法生成第二调度指令，以便所述容器集群系统根据所述第二调度指令完成所述目标单元的调度。

在一些实施例中，所述调度子模块还包括：

负载子模块，当一个所述节点中所述实际负载超过预设的负载阈值时，将所述节点中资源占用最高的单元确定为目标单元；

指令子模块，用于生成调度指令，以便所述容器集群系统根据所述调度指令将所述目标单元调度到该所述节点以外的其他节点。

在一些实施例中，所述参数模块包括：

第一配置子模块，用于响应于用户的第二操作，根据监控配置文件完成实时监控系统的配置；

第一部署子模块，用于将所述实时监控系统部署到容器集群系统中；

参数获取子模块，用于通过所述实时监控系统获取所述容器集群系统运行时的参数。

在一些实施例中，所述容器集群系统管理装置还包括：

第二配置子模块，用于响应于用户的第三操作，根据可视化配置文件完成可视化系统的配置；

第二部署子模块，用于将所述可视化系统部署到容器集群系统中；

展示子模块，用于响应于用户的展示操作，基于可视化系统生成参数展示界面，所述参数展示界面用于实时展示所述参数。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，在本发明实施例提供的容器集群系统管理装置中，通过获取所述容器集群系统运行时的参数，根据所述参数对该系统的单元在多个节点中进行二次调度的方法，保证了系统内各个节点的负载均衡，降低了节点出现异常而宕机的风险，提高了容器集群系统的运行效率。

本发明实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。

比如，终端可以是手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

在本实施例中，将以本实施例的电子设备是服务器为例进行详细描述，比如，如图5所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：

该服务器可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503、输入模块504以及通信模块505等部件。本领域技术人员可以理解，图5中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器501是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。在一些实施例中，处理器501可包括一个或多个处理核心；在一些实施例中，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。

存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。

服务器还包括给各个部件供电的电源503，在一些实施例中，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入模块504，该输入模块504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

该服务器还可包括通信模块505，在一些实施例中通信模块505可以包括无线模块，服务器可以通过该通信模块505的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块505可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。

尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：

响应于用户第一操作，根据配置文件完成容器集群系统的配置，所述容器集群系统包括多个节点，每个所述节点用于运行多个单元；

获取所述容器集群系统运行时的参数；

根据所述参数完成目标单元在所述多个节点中的调度，所述目标单元为所述多个节点中超过负载阈值的节点的单元；

获取调度后所述容器集群系统的配置参数，生成新的配置文件。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，在本发明实施例提供的电子设备中，通过获取所述容器集群系统运行时的参数，根据所述参数对该系统的单元在多个节点中进行二次调度的方法，保证了系统内各个节点的负载均衡，降低了节点出现异常而宕机的风险，提高了容器集群系统的运行效率。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种容器集群系统管理方法中的步骤。例如，该指令可以执行如下步骤：

响应于用户第一操作，根据配置文件完成容器集群系统的配置，所述容器集群系统包括多个节点，每个所述节点用于运行多个单元；

获取所述容器集群系统运行时的参数；

根据所述参数完成目标单元在所述多个节点中的调度，所述目标单元为所述多个节点中超过负载阈值的节点的单元；

获取调度后所述容器集群系统的配置参数，生成新的配置文件。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种容器集群系统管理方法中的步骤，因此，可以实现本发明实施例所提供的任一种容器集群系统管理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种容器集群系统管理方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施例进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施例及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种容器集群系统管理方法，其特征在于，包括：

响应于用户第一操作，根据配置文件完成容器集群系统的配置，所述容器集群系统包括多个节点，每个所述节点用于运行多个单元；

获取所述容器集群系统运行时的参数；

根据所述参数完成目标单元在所述多个节点中的调度，所述目标单元为所述多个节点中超过负载阈值的节点的单元；

获取调度后所述容器集群系统的配置参数，生成新的配置文件。

2.如权利要求1所述的一种容器集群系统管理方法，所述参数包括所述目标单元的资源占用参数，其特征在于，所述根据所述参数完成目标单元在所述多个节点中的调度，包括：

获取所述目标单元在预设时间范围内的资源占用参数；

根据所述资源占用参数调整所述目标单元的资源需求参数；

根据调度算法完成所述目标单元在所述节点中的调度。

3.如权利要求2所述的一种容器集群系统管理方法，其特征在于，所述根据调度算法完成所述目标单元在所述节点中的调度，包括：

根据所述资源需求参数计算所述节点的可用资源；

当存在满足预设条件的节点时，将可用资源最大的节点确定目标节点；

根据所述目标节点生成第一调度指令，以便所述容器集群系统根据所述第一调度指令调度目标单元到目标节点。

4.如权利要求2所述的一种容器集群系统管理方法，其特征在于，所述根据调度算法完成所述目标单元在所述节点中的调度，包括：

当所述目标单元调整后的资源需求参数超过预设阈值时，生成反亲和标签，所述反亲和标签用于限制资源需求高的单元被调度到同一节点；

根据所述反亲和标签以及所述调度算法生成第二调度指令，以便所述容器集群系统根据所述第二调度指令完成所述目标单元的调度。

5.如权利要求1所述的一种容器集群系统管理方法，所述参数包括节点实际负载，其特征在于，所述根据所述参数完成目标单元在所述多个节点中的调度，包括：

当一个所述节点中所述实际负载超过预设的负载阈值时，将所述节点中资源占用最高的单元确定为目标单元；

生成调度指令，以便所述容器集群系统根据所述调度指令将所述目标单元调度到该所述节点以外的其他节点。

6.如权利要求1-5任一所述的一种容器集群系统管理方法，其特征在于，所述获取所述容器集群系统运行时的参数，包括：

响应于用户的第二操作，根据监控配置文件完成实时监控系统的配置；

将所述实时监控系统部署到容器集群系统中；

通过所述实时监控系统获取所述容器集群系统运行时的参数。

7.如权利要求1-5任一所述的一种容器集群系统管理方法，其特征在于，所述获取所述容器集群系统运行时的参数之后，包括：

响应于用户的第三操作，根据可视化配置文件完成可视化系统的配置；

将所述可视化系统部署到容器集群系统中；

响应于用户的展示操作，基于可视化系统生成参数展示界面，所述参数展示界面用于实时展示所述参数。

8.一种容器集群系统管理装置，其特征在于，包括：

配置模块，用于响应于用户第一操作，根据配置文件完成容器集群系统的配置，所述容器集群系统包括多个节点，每个所述节点用于运行多个单元；

参数模块，用于获取所述容器集群系统运行时的参数；

调度模块，用于根据所述参数完成目标单元在所述多个节点中的调度，所述目标单元为所述多个节点中超过负载阈值的节点的单元；

生成模块，用于获取调度后所述容器集群系统的配置参数，生成新的配置文件。

9.一种终端，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1～7任一项所述的容器集群系统管理方法中的步骤。

10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～7任一项所述的容器集群系统管理方法中的步骤。

Images