CN113835824A - 集群的缩扩容方法及系统、缩扩容控制终端和介质 - Google Patents

Abstract

本公开提供了一种集群的缩扩容方法，包括：获取目标集群的性能数据；根据性能数据判断目标集群是否需要进行扩容或缩容；当判断出目标集群需要进行扩容时，控制云平台创建第一虚拟主机，并将第一虚拟主机添加至目标集群中；当判断出目标集群需要进行缩容时，控制云平台移除目标集群中的第二虚拟主机。本公开还提供了一种缩扩容控制终端、计算机可读介质和集群的缩扩容系统。

Description

集群的缩扩容方法及系统、缩扩容控制终端和介质

技术领域

本公开涉及通信技术领域，特别涉及一种集群的缩扩容方法、缩扩容控制终端、计算机可读介质和集群的缩扩容系统。

背景技术

随着通信技术和网络技术的发展，大多数通信系统和网络系统的负载要求变得更高，且会随着业务变化而出现缩扩容的需求，例如，针对5G通信中的核心网管理域，由于5G网络切片的大规模部署，核心网管理域将面临管理更多虚拟化业务单元，以应对更快的切片变化；针对提供微服务的服务平台，由于微服务中部署应用的特性，服务平台同样需要面临管理更多的虚拟化业务单元，以应对应用部署需求。

业务变化实时影响系统的负载，多体现在系统的性能统计、告警和资源拓扑等功能上。其中，其对性能统计的影响最为直接，系统需要更多的节点用于存储和计算性能指标数据。

为了应对业务波动造成的缩扩容影响，系统一般采用集群的形式。而对于存量集群系统，特别地，存量Kubernetes集群系统，其底层使用裸金属，不具备添加新硬件的条件，同时，其使用的存量云平台支持性和兼容性不完善，缩扩容难度大。

现阶段的集群扩容仅限于根据集群内各节点的处理器和内存余量制定缩扩容策略，无法根据业务变化进行自适应的缩扩容，并且，还存在使用裸金属无动态扩容能力的存量系统。

发明内容

本公开旨在至少解决现有技术中存在的技术问题之一，提出了一种集群的缩扩容方法、缩扩容控制终端、计算机可读介质和集群的缩扩容系统。

为实现上述目的，第一方面，本公开实施例提供了一种集群的缩扩容方法，包括：

获取目标集群的性能数据；

根据所述性能数据判断所述目标集群是否需要进行扩容或缩容；

当判断出所述目标集群需要进行扩容时，控制云平台创建第一虚拟主机，并将所述第一虚拟主机添加至所述目标集群中；

当判断出所述目标集群需要进行缩容时，控制所述云平台移除所述目标集群中的第二虚拟主机。

第二方面，本公开实施例还提供了一种缩扩容控制终端，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例中所述的方法。

第三方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述实施例中所述的方法中的步骤。

第四方面，本公开实施例还提供了一种集群的缩扩容系统，包括：缩扩容控制终端和云平台；

其中，所述缩扩容控制终端采用如上述实施例中所述的缩扩容控制终端。

本公开具有以下有益效果：

本公开实施例提供了一种集群的缩扩容方法、缩扩容控制终端、计算机可读介质和集群的缩扩容系统,该集群的缩扩容方法可应用于缩扩容控制终端，通过根据获取到的性能数据进行缩扩容判断，使用虚拟化能力在云平台创建或移除相应的节点，实现集群的动态缩扩容，解决了集群无法根据业务变化进行自适应缩扩容的问题，该方法还适用于使用裸金属无动态扩容能力的存量系统进行相应的缩扩容。

附图说明

图1为本公开实施例提供的一种集群的缩扩容方法的流程图；

图2为本公开实施例中步骤S1的一种具体实施方法流程图；

图3为本公开实施例中步骤S101的一种具体实施方法流程图；

图4为本公开实施例中步骤S3的一种具体实施方法流程图；

图5为本公开实施例提供的另一种集群的缩扩容方法的流程图；

图6为本公开实施例提供的一种集群的缩扩容系统的结构框图；

图7为本公开实施例提供的一种性能数据采集器的结构框图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的集群的缩扩容方法、缩扩容控制终端、计算机可读介质和集群的缩扩容系统进行详细描述。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。

将理解的是，虽然本文可以使用术语第一、第二等来描述各种元件，但这些元件不应当受限于这些术语。这些术语仅用于区分一个元件和另一元件。因此，在不背离本公开的指教的情况下，下文讨论的第一元件、第一组件或第一模块可称为第二元件、第二组件或第二模块。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

本公开所提供的集群的缩扩容方法、缩扩容控制终端、计算机可读介质和集群的缩扩容系统，可用于根据获取到的性能数据进行缩扩容判断，使用虚拟化能力在云平台创建或移除相应的节点，实现集群的动态缩扩容。

图1为本公开实施例提供的一种集群的缩扩容方法的流程图。如图1所示，该方法包括：

步骤S1、获取目标集群的性能数据。

在步骤S1中，从不同维度和层面获取目标集群的性能数据，该性能数据可表征目标集群的特征指标，为扩容策略和缩容策略的构建提供历史数据。

在一些实施例中，在获取目标集群的性能数据之前，还包括：分析存量目标集群的部署形态，获取其对接认证信息和业务运行时的信息记录格式；其中，对接认证信息可包括各主机的安全外壳协议(Secure Shell，简称SSH)信息和鉴权信息等。

步骤S2、根据性能数据判断目标集群是否需要进行扩容或缩容。

其中，通过根据性能数据构建的目标集群的扩容策略和缩容策略判断是否需要进行扩容或缩容。

在步骤S2中，当判断出目标集群需要进行扩容时，执行步骤S3；当判断出目标集群需要进行缩容时，执行步骤S4；当判断出目标集群即不需要进行扩容和缩容时，继续执行步骤S1。

步骤S3、控制云平台创建第一虚拟主机，并将第一虚拟主机添加至目标集群中。

在一些实施例中，控制云平台创建第一虚拟主机的同时，还控制云平台创建与第一虚拟主机对应的虚拟资源，该虚拟资源包括镜像资源、虚端口资源和云存储资源等。在一些实施例中，在云平台创建第一虚拟主机和对应的虚拟资源后，通知云平台将第一虚拟主机标识和虚拟资源信息进行上报，并将上报的第一虚拟主机标识和虚拟资源信息持久化，通过BoltDB和SQlite等文件数据库或者以json格式、csv格式和xml格式等文件形式作为持久化信息文件保存至本地，并存储至持久化信息表中。

在一些实施例中，在第一虚拟主机启动后，向其发送并控制其安装对应的支撑套件。

在一些实施例中，该集群的缩扩容方法对应的缩扩容控制终端可安装在云平台侧。

步骤S4、控制云平台移除目标集群中的第二虚拟主机。

在一些实施例中，通过RESTful接口方式或命令行接口方式将第二虚拟主机移除。

在一些实施例中，第二虚拟主机为最新添加至目标集群的虚拟主机。

本公开实施例提供了一种集群的缩扩容方法，该方法可用于根据获取到的性能数据判断是否需要进行缩扩容，并通过控制云平台创建或移除虚拟主机的方式，实现集群的动态缩扩容，由此，该方法不仅适用于普遍的存量系统，还适用于使用裸金属无动态扩容能力的存量系统。

图2为本公开实施例中步骤S1的一种具体实施方法流程图。具体地，目标集群为Kubernetes集群；如图2所示，步骤S1，获取目标集群的性能数据的步骤，具体包括：

步骤S101、获取目标集群的实时性能数据。

其中，实时性能数据包括操作系统性能数据、Kubernetes性能数据和业务性能数据。操作系统性能数据可包括系统日志、处理器信息、内存信息、磁盘使用率和磁盘性能指标等；Kubernetes性能数据可包括集群内节点的相关信息、部署(Deployment)信息、副本控制器(Replication Controller，简称RC)信息、副本设置(Replica Set，简称RS)信息和容器信息等；业务性能数据可包括应用日志及其他运行业务时的性能数据。

步骤S102、对实时性能数据进行数据清洗，并进行汇聚，生成性能数据。

其中，数据清洗具体可包括：删除明显异常的数据，如数值超过100％的百分比类型数据；标记可能异常的数据，如历史同比偏差大于15％的数据；针对严判数据类型，连带删除所在任务上报的其他数据，以保证数据一致性；针对单个时间点上报多条数据的，去重以保留其中一条数据或者根据策略合并多条数据。此后，将清洗后的实时性能数据以临时文件的形式进行保存至

在进行数据汇聚时，每隔预设时间段，如5分钟，针对临时文件或缓存中的实时性能数据添加只读标签，将不同物理节点和不同Kubernetes节点的数据，按照统一的格式汇聚成一条或多条记录，并加上时间戳，汇聚完成后将只读标签去除，生成性能数据。另外，若处理操作超时未响应完成，同样将只读标签去除。

在一些实施例中，针对汇聚后生成的性能数据，将其持久化，通过BoltDB和SQlite等文件数据库或者以json格式和csv格式等文件形式作为持久化信息文件保存至本地，并存储至持久化信息表中。

图3为本公开实施例中步骤S101的一种具体实施方法流程图。具体地，实时性能数据是通过非侵入方式获取到的；如图3所示，步骤S101，获取目标集群的实时性能数据的步骤，具体包括：

步骤S1011、通过第一非侵入方式获取操作系统性能数据。

其中，第一非侵入方式包括远程终端协议(Telnet)方式、安全外壳协议方式、安全文件传输协议(Secret File Transfer Protocol或SSH File Transfer Protocol，简称SFTP)方式、文件传输协议(File Transfer Protocol，简称FTP)方式和RESTful接口方式中的至少一者。

本实施例中所应用的非侵入方式，有别于现有技术中通过侵入方式采集特征指标信息和性能数据，例如，针对节点间网络通断数据的采集，传统的做法是在每个主机中驻留代理软件(Agent)，通过代理软件间的链路通断状态更新整个集群的拓扑信息，而使用本实施例所应用的非侵入方式，通过安全外壳协议隧道在每个节点分别使用系统命令探测链路的连通状态即可采集该数据。

步骤S1012、通过第二非侵入方式获取Kubernetes性能数据。

其中，第二非侵入方式包括RESTful接口方式和命令行接口(Command-LineInterface，简称CLI)方式中的至少一者。

步骤S1013、从数据存储卷中获取业务性能数据。

其中，数据存储卷包括给定路径存储卷(HostPath)或持久化存储卷(PersistentVolume，简称PV)等；从数据存储卷中获取业务性能数据的步骤，即根据相应的Kubernetes规范，从数据存储卷中远程拉取业务自定义格式的业务性能数据。

在一些实施例中，还从持久化信息文件中读取或从日志系统(如ELK系统)接口获取应用日志。

本公开实施例提供了一种集群的缩扩容方法，该方法可用于针对Kubernetes集群，通过非侵入方式获取其操作系统性能数据、Kubernetes性能数据和业务性能数据，通过多纬度的性能数据，在能够进行根据部署资源余量等硬件信息进行缩扩容的同时，实现根据业务变化进行集群的动态缩扩容。

图4为本公开实施例中步骤S3的一种具体实施方法流程图。具体地，在步骤S3中，将第一虚拟主机添加至目标集群中的步骤之前，还包括：

步骤S301、将第一虚拟主机添加至节点资源池中，并在节点资源池管理器上进行第一虚拟主机的注册。

其中，通过RESTful接口方式进行第一虚拟主机的注册。

在步骤S3中，将第一虚拟主机添加至目标集群中的步骤，具体包括：

步骤S302、根据注册完成后节点资源池管理器分配的节点信息，通过RESTful接口方式或命令行接口方式将第一虚拟主机添加至目标集群中。

其中，节点信息可包括节点IP和节点标签等。

在步骤S3中，将第一虚拟主机添加至目标集群中的步骤之后，还包括：

步骤S303、持久化节点信息，并存储至持久化信息表中。

其中，通过BoltDB和SQlite等文件数据库或者以json格式、csv格式和xml格式等文件形式作为持久化信息文件保存至本地，并存储至持久化信息表中。

图5为本公开实施例提供的另一种集群的缩扩容方法的流程图。具体地，在步骤S4，控制云平台移除目标集群中的第二虚拟主机的步骤之后，还包括：

步骤S5、将第二虚拟主机从节点资源池中移除，并在节点资源池管理器上注销第二虚拟主机。

其中，通过RESTful接口方式进行第二虚拟主机的注销。

步骤S6、从持久化信息表中查询第二虚拟主机对应的节点信息，控制云平台回收第二虚拟主机。

在一些实施例中，还从持久化信息表中查询第二虚拟主机对应的资源信息，控制云平台将第二虚拟主机对应的虚拟化资源删除。

本公开实施例提供了一种集群的缩扩容方法，该方法可用于对应进行节点资源池的缩扩容。

下面对本公开提供的集群的缩扩容方法方法结合实际应用进行详细描述。

图6为本公开实施例提供的一种集群的缩扩容系统的结构框图。如图6所示，该缩扩容系统包括缩扩容控制终端和云平台。其中，缩扩容控制终端包括性能数据采集器、性能数据存储器、决策器、策略模型和执行器；云平台能创建并管理多个虚拟主机；对应的目标集群为Kubernetes集群，存在于存量Kubernetes系统中，其底层使用裸金属，包括多个节点。

首先，由性能数据采集器首先进行集群性能数据的非侵入方式采集，并传输至性能数据存储器作为历史数据进行存储。

图7为本公开实施例提供的一种性能数据采集器的结构框图。如图7所示，性能数据采集器包括数据汇聚模块、数据清洗模块、业务采集模块、Kubernetes采集模块、操作系统采集模块和采集任务管理模块。

其中，采集任务管理模块用于根据用户实时配置或预先设置的任务规范构建采集任务，并业务采集模块、Kubernetes采集模块和操作系统采集模块的采集任务的管理和分发；业务采集模块用于通过访问集群的业务服务采集集群的业务性能数据和应用日志，Kubernetes采集模块用于采集集群的Kubernetes性能数据，操作系统采集模块用于通过远程终端协议方式(telnet)、安全外壳协议方式(SSH)、安全文件传输协议方式(SFTP)或RESTful接口方式采集集群的操作系统性能数据；数据清洗模块用于对采集到的实时性能数据进行数据清洗；数据汇聚模块用于对清洗后的实时性能数据进行汇聚，生成性能数据。

其次，由决策器根据性能数据以及策略模型生成的缩扩容策略判断该集群是否需要进行缩扩容；最后执行器根据决策器的判断结果进行集群的缩扩容，其中，当判断出该集群需要进行扩容时，执行器控制云平台创建一个虚拟主机或指定一个已创建的空闲的虚拟主机，随后将该虚拟主机添加至节点资源池中，在完成在节点资源池管理器上的注册后，将该虚拟主机添加至集群中，实现扩容；当判断出该集群需要进行缩容时，执行器控制云平台移除最后添加至该集群中的虚拟主机，并同时将其在节点资源池中移除，在节点资源池管理器上将其注销，实现缩容。

本公开实施例还提供了一种缩扩容控制终端，包括：

一个或多个处理器；存储装置，用于存储一个或多个程序；当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现如上述实施例中的任一方法。

本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述实施例中的任一方法中的步骤。

本公开实施例还提供了一种集群的缩扩容系统，包括：缩扩容控制终端和云平台；其中，缩扩容控制终端采用如上述实施例中的缩扩容控制终端。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (10)

1.一种集群的缩扩容方法，其中，包括：

获取目标集群的性能数据；

根据所述性能数据判断所述目标集群是否需要进行扩容或缩容；

当判断出所述目标集群需要进行扩容时，控制云平台创建第一虚拟主机，并将所述第一虚拟主机添加至所述目标集群中；

当判断出所述目标集群需要进行缩容时，控制所述云平台移除所述目标集群中的第二虚拟主机。

2.根据权利要求1所述的方法，其中，所述目标集群为Kubernetes集群；所述获取目标集群的性能数据的步骤，具体包括：

获取所述目标集群的实时性能数据，所述实时性能数据包括：操作系统性能数据、Kubernetes性能数据和业务性能数据；

对所述实时性能数据进行数据清洗，并进行汇聚，生成所述性能数据。

3.根据权利要求2所述的方法，其中，所述实时性能数据是通过非侵入方式获取到的；

所述获取所述目标集群的实时性能数据的步骤，具体包括：

通过第一非侵入方式获取所述操作系统性能数据，所述第一非侵入方式包括：远程终端协议方式、安全外壳协议方式、安全文件传输协议方式、文件传输协议方式和RESTful接口方式中的至少一者；

通过第二非侵入方式获取所述Kubernetes性能数据，所述第二非侵入方式包括：RESTful接口方式和命令行接口方式中的至少一者；

从数据存储卷中获取所述业务性能数据。

4.根据权利要求1所述的方法，其中，在所述将所述第一虚拟主机添加至所述目标集群中的步骤之前，还包括：

将所述第一虚拟主机添加至节点资源池中，并在节点资源池管理器上进行所述第一虚拟主机的注册；

所述将所述第一虚拟主机添加至所述目标集群中的步骤，具体包括：

根据注册完成后所述节点资源池管理器分配的节点信息，通过RESTful接口方式或命令行接口方式将所述第一虚拟主机添加至所述目标集群中。

5.根据权利要求4所述的方法，其中，还包括：

持久化所述节点信息，并存储至持久化信息表中。

6.根据权利要求5所述的方法，其中，在所述控制所述云平台移除所述目标集群中的第二虚拟主机的步骤之后，还包括：

将所述第二虚拟主机从所述节点资源池中移除，并在所述节点资源池管理器上注销所述第二虚拟主机；

从所述持久化信息表中查询所述第二虚拟主机对应的节点信息，并控制所述云平台回收所述第二虚拟主机。

7.根据权利要求1所述的方法，其中，所述第二虚拟主机为最新添加至所述目标集群的虚拟主机。

8.一种缩扩容控制终端，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

9.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法中的步骤。

10.一种集群的缩扩容系统，包括：缩扩容控制终端和云平台；

其中，所述缩扩容控制终端采用如权利要求9中所述的缩扩容控制终端。

Images