CN112532722B - 一种基于Kubernetes云原生集群节点优雅关机的方法 - Google Patents

Abstract

本发明公开了一种基于Kubernetes云原生集群节点优雅关机的方法，属于云计算技术领域。包括以下步骤：在Kubelet的配置文件中引入ShutdownGracePeriod配置；对比InhibitDelayMaxSec配置和Kubelet的ShutdownGracePeriod配置值的大小；当ShutdownGracePeriod大于InhibitDelayMaxSec时，Kubelet将logind配置文件中的InhibitDelayMaxSec的值修改成ShutdownGracePeriod；进行优雅停止pod的操作。本发明能够利用抑制锁的机制实现节点的优雅关机。

Description

一种基于Kubernetes云原生集群节点优雅关机的方法

技术领域

本发明属于云计算技术领域，尤其是一种基于Kubernetes云原生集群节点优雅关机的方法。

背景技术

Kubernetes云原生集群的用户和管理员，通常会认为容器组(pod)总是能遵循现有容器组生命周期规则。但是在现有Kubernetes云原生集群中，当一个节点主动关机时(不包括被动的强制关机和断电等情况)，这个节点上的容器组并不会遵循容器组的生命周期流程进行终止操作，并且不能够被优雅的停止。这会导致某些应用负载出现一些致命问题，并造成服务较长时间的不可用。在当前云原生领域，还没有出现针对此问题的完整解决方法。

发明内容

本发明的发明目的是提供一种基于Kubernetes云原生集群节点优雅关机的方法，其能够利用抑制锁的机制实现节点的优雅关机。

为达到上述目的，本发明所采用的技术方案是：

一种基于Kubernetes云原生集群节点优雅关机的方法，包括以下步骤：

S1.在Kubelet的配置文件中引入ShutdownGracePeriod配置，默认设置为30秒；

S2.在Kubelet启动阶段，对比systemd-logind组件的InhibitDelayMaxSec配置和Kubelet的ShutdownGracePeriod配置值的大小，当ShutdownGracePeriod小于或等于InhibitDelayMaxSec时，不做任何操作；

S3.当ShutdownGracePeriod大于InhibitDelayMaxSec时，Kubelet向logind配置文件写入InhibitDelayMaxSec的值，让logind重新加载配置文件，确保InhibitDelayMaxSec等于ShutdownGracePeriod；

S4.Kubelet向systemd-logind注册一个时长ShutdownGracePeriod的抑制锁，还注册一个PrepareForShutdown信号，该信号在发生停机事件时向Kubelet发出，这两个注册信号使得Kubelet获得ShutdownGracePeriod时长，并进行优雅停止pod的操作。

进一步的，所述步骤S1中的Kubelet为Kubernetes云原生集群中工作节点的代理和控制组件。

进一步的，所述步骤S2中的InhibitDelayMaxSec配置是通过应用程序间通信的消息总线系统dbus从systemd-logind读取到的值。

进一步的，所述步骤3具体为：

S3.1.Kubelet对比systemd-logind组件的InhibitDelayMaxSec配置和Kubelet的ShutdownGracePeriod配置值的大小；

S3.2.当ShutdownGracePeriod大于InhibitDelayMaxSec时，Kubelet将logind配置文件中的InhibitDelayMaxSec的值修改成ShutdownGracePeriod；

S3.3.Kubelet向systemd-logind组件发送SIGHUP信号，systemd-logind会重新加载配置文件，使得新的InhibitDelayMaxSec配置生效。

进一步的，所述Kubelet将节点上的容器组分成系统关键容器组和常规容器组，系统关键容器组包括日志类容器组、网络代理类容器组和网络服务类容器组。

进一步的，当节点发生主动的停机事件，Kubelet执行如下操作：

A1.Kubelet更新当前节点的状态中的ready项，从true变更为false，并配置原因为“Node is shutting down”；。

A2.Kubelet开始并发的停止该节点上的常规容器组，并用gracePeriodOverride作为优雅停止的等待时长；

A3.在上一步的gracePeriodOverride时长过后，Kubelet开始并发停止该节点上的所有系统关键容器组，并用ShutdownGracePeriodCriticalPods作为优雅停止的等待时长。

由于采用上述技术方案，本发明具有以下有益效果：

本发明提出了一种通过Kubelet结合systemd控制节点优雅关机延迟时间，来保证正在关机中的节点上的容器组，有足够的时间能够被优雅停止，保证应用业务的高可用性,还通过引入了一个最少的默认关机延迟，使得节点优雅关机速度尽可能的快。从而能够防止某些应用负载出现一些致命问题，避免系统造成服务较长时间的不可用，影响工作效率。

附图说明

图1是本发明实施例1中的流程图；

图2是本发明实施例2中的结构流程图；

图3是本发明实施例2的结构框图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

在Kubernetes中“节点优雅关机”的定义：当Kubernetes集群中节点收到关机指令时不是立即执行关机操作，而是等待当前还在执行工作任务的容器完成任务后或留出一段时长。再停止容器，是一种对客户端友好的关机方式。

如图1-3所示，实施例1:

本发明提供了一种基于Kubernetes云原生节点优雅关机的方法及其系统，所述的Kubernetes云原生集群加载并运行有若干个模块。

在基于systemd的节点机器上，应用进程可以通过systemd-logind系统组件的抑制锁(Inhibitor Locks)来阻塞并推迟节点的关机，kubelet组件可以利用抑制锁的机制，可以实现节点的优雅关机。

在大多数的Linux发行版中，通常可以采用如下几种方法进行关机操作：

1.shutdown-h now

2.systemctl poweroff

3.通过关机按键关机

4.虚拟机可以通过虚拟化管理软件的虚拟关机键进行关机

以上行为都会触发ACPI(Advanced Configuration and Power ManagementInterface)事件,当机器收到该事件，会改变电源状态并开始执行关机操作。

但是在现代大多数的Linux发行版的系统中，systemd-logind组件负责处理ACPI事件，并执行具体的关机操作：systemd组件会将停止节点上的所有systemd服务，并最终将机器关停。但是由于systemd并不会将节点上的容器组进行特殊处理，所以会将它们如同常规进程一样停止。

systemd-logind提供抑制锁机制实现进程延迟关停。通过配置进程的logind.conf配置文件里的InhibitDelayMaxSec配置，即可实现阻塞节点优雅关机，给容器组留出InhibitDelayMaxSec的时间执行优雅关闭的操作。Kubelet结合抑制锁即可实现节点的优雅关机，具体步骤为：

1.在Kubelet的配置文件中引入ShutdownGracePeriod配置，默认设置为30秒。

步骤1中的Kubelet为Kubernetes云原生集群中工作节点的代理和控制组件。

2.在Kubelet启动阶段，对比systemd-logind组件的InhibitDelayMaxSec配置和Kubelet的ShutdownGracePeriod配置值的大小，当ShutdownGracePeriod<＝InhibitDelayMaxSec，不做任何操作。

步骤2中的InhibitDelayMaxSec配置是通过应用程序间通信的消息总线系统dbus从systemd-logind读取到的值，即允许抑制锁阻塞的最长时间。

3.当ShutdownGracePeriod>InhibitDelayMaxSec时，Kubelet向logind配置文件写入InhibitDelayMaxSec的值，让logind重新加载配置文件，确保InhibitDelayMaxSec＝ShutdownGracePeriod。

步骤3具体为：

31.Kubelet对比systemd-logind组件的InhibitDelayMaxSec配置和Kubelet的ShutdownGracePeriod配置值的大小。

32.当ShutdownGracePeriod>InhibitDelayMaxSec时，Kubelet将logind配置文件/etc/systemd/logind.conf.d/kubelet.conf中的InhibitDelayMaxSec的值修改成ShutdownGracePeriod。

33.Kubelet向systemd-logind组件发送SIGHUP信号，systemd-logind会重新加载配置文件，使得新的InhibitDelayMaxSec配置生效。

4.Kubelet向systemd-logind注册一个时长ShutdownGracePeriod的抑制锁，还会注册一个PrepareForShutdown信号，该信号在发生停机事件时，会向Kubelet发出，这两个注册信号使得Kubelet获得ShutdownGracePeriod时长，进行一些优雅停止pod的操作。

Kubelet会将节点上的容器组分成两类，一类是系统关键容器组critical systempods，一般包括日志类容器组、网络代理类容器组(kube-proxy)、网络服务类容器组(kube-dns)。另一大类是常规容器组，即除了系统关键容器组之外的应用负载容器组。当节点发生主动的停机事件，Kubelet会执行如下操作：

1.Kubelet更新当前节点的状态中的ready项，从true变更为false，并配置原因为Node is shutting down。此举可以防止新的负载容器组继续调度到当前节点上。

2.Kubelet开始并发的停止该节点上的常规容器组，并用gracePeriodOverride作为优雅停止的等待时长。

步骤2中Kubelet使用现有默认的killPod方法进行停止容器组操作，在停止过程中，一些通常的流程都会执行，比如preStop钩子的调用，向容器实例发送SIGTERM信号等。其中gracePeriodOverride的具体值的计算方法为：

min(podSpec.terminationGracePeriodSeconds,

ShutdownGracePeriod-ShutdownGracePeriodCriticalPods)

其中，podSpec.terminationGracePeriodSeconds为每个pod自身的优雅删除等待时长配置，默认为30秒。这保证了，常规容器组能在限定时间内尽可能快的被删除，并给系统关键容器组的优雅删除时长至少留出了ShutdownGracePeriodCriticalPods秒。

3.在上一步的gracePeriodOverride时长过后，Kubelet开始并发停止该节点上的所有系统关键容器组，并用ShutdownGracePeriodCriticalPods作为优雅停止的等待时长。

该发明的方法只适用于基于systemd的节点，包括大部分的linux发行版系统，但不能用于windows系统节点。在非基于systemd的节点上，该功能保持停用状态。

实施例2：

本实施方式采用3个Master Node作为控制节点，控制节点不负责运行工作负载，只有一些kubernetes的组件以容器的形式运行在上面，包括应用程序接口服务器(APIServer)，控制器管理控制中心(Controller Manager)，调度器(Scheduler)。

本实施方式采用N个Worker Node作为工作节点，每个工作节点上都运行Kubelet组件和多个容器组作为工作负载。

每个Master Node上的API Server都会与分布式数据库etcd连接，用于集群内各种资源配置和状态存储。

如图2所示，每个节点都包含Kubelet组件，作为节点与Kubernetes集群通信的代理，也作为管理节点上的工作负载容器组的管理组件。其中，API Server是kubernetes集群的控制组件，能够接收Node等类型资源的新增、修改、删除、监听的请求，并将修改反映到etcd中。

Kubernetes云原生集群节点优雅关机的实现方法由以下步骤组成:

执行步骤1，在该实施例中，向Kubelet的配置文件中新增两个配置项，分别是ShutdownGracePeriod和ShutdownGracePeriodCriticalPods，该实施例中分别使用默认值30秒和3秒，用于Kubelet启动时加载。

执行步骤2，启动各个节点上的Kubelet组件，其中节点上的systemd-logind组件的InhibitDelayMaxSec配置值为15秒。将其与Kubelet加载的ShutdownGracePeriod配置值对比，发现InhibitDelayMaxSec<ShutdownGracePeriod，不满足当ShutdownGracePeriod<＝InhibitDelayMaxSec的条件，执行步骤3.

结合图3，步骤2中的InhibitDelayMaxSec配置是Kubelet通过应用程序间通信消息总线系统D-Bus从systemd-logind读取到的值，即允许抑制锁阻塞的最长时间。

执行步骤3，当Kubelet检测到ShutdownGracePeriod>InhibitDelayMaxSec时，Kubelet向systemd-logind配置文件中InhibitDelayMaxSec的值设置为ShutdownGracePeriod的值，确保InhibitDelayMaxSec＝ShutdownGracePeriod，之后systemd-logind重新加载配置文件。

步骤3具体为：

31.Kubelet对比systemd-logind组件的InhibitDelayMaxSec配置和Kubelet的ShutdownGracePeriod配置值的大小。

32.当ShutdownGracePeriod>InhibitDelayMaxSec时，Kubelet将logind配置文件/etc/systemd/logind.conf.d/kubelet.conf中的InhibitDelayMaxSec的值修改成ShutdownGracePeriod。

33.Kubelet向systemd-logind组件发送SIGHUP信号，systemd-logind会重新加载配置文件，使得新的InhibitDelayMaxSec配置生效。

执行步骤4，Kubelet向systemd-logind注册一个PrepareForShutdown信号，该信号在发生停机事件时，会向Kubelet发出。使得Kubelet获得ShutdownGracePeriod时长的宽限期，进行一些优雅停止pod的操作。

以上步骤主要为Kubernetes云原生集群节点优雅关机的实现方法中，Kubelet启动阶段的实现方法。

在当前实施例中，当节点发生停机事件时，业主要由Kubelet来与其他组件进行交互，实现节点优雅关机，主要执行以下步骤：

执行步骤1，Kubelet通过D-Bus从systemd-logind监听到关机事件的信号PrepareForShutdown，并从API-Server中获取当前节点的信息，并将节点的ready状态从true更新为false，标识该节点为不可用状态，当发生容器组的调度事件时，调度器不会将新的容器组调度到该节点上。

执行步骤2，Kubelet会根据以下下公式算出优雅删除容器组的宽限期：

min(podSpec.terminationGracePeriodSeconds,

ShutdownGracePeriod-ShutdownGracePeriodCriticalPods)

在当前实施例中gracePeriodOverride＝min(30s,30s-3s)＝27s，即得到删除常规容器的宽限期为27s，Kubelet使用常规的killPod方法并发停止节点上的容器组。节点上的常规容器组获得了27秒的优雅删除宽限期，保证了容器组能被正常移除endpoint列表，并从重新调度到新的节点上。

执行步骤3，经过步骤2的27秒的宽限期后，Kubelet会开始停止系统关键容器组，并用Kubelet的配置ShutdownGracePeriodCriticalPods作为停止容器的宽限期，在该实施例中为3秒。当完成系统关键容器组的停止后或3秒过后，即保证了节点上的容器组都被优雅删除了，Kubelet会释放抑制锁，使得systemd-logind继续进行关机操作。

上述说明是针对本发明较佳实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (6)

1.一种基于Kubernetes云原生集群节点优雅关机的方法，其特征在于，包括以下步骤：

S1.在Kubelet的配置文件中引入ShutdownGracePeriod配置，默认设置为30秒；

S2.在Kubelet启动阶段，对比systemd-logind组件的InhibitDelayMaxSec配置和Kubelet的ShutdownGracePeriod配置值的大小，当ShutdownGracePeriod小于或等于InhibitDelayMaxSec时，不做任何操作；

S3.当ShutdownGracePeriod大于InhibitDelayMaxSec时，Kubelet将logind配置文件中的InhibitDelayMaxSec的值修改成ShutdownGracePeriod，让logind重新加载配置文件，确保InhibitDelayMaxSec等于ShutdownGracePeriod；

S4.Kubelet向systemd-logind注册一个时长ShutdownGracePeriod的抑制锁，还注册一个PrepareForShutdown信号，该信号在发生停机事件时向Kubelet发出，这两个注册信号使得Kubelet获得ShutdownGracePeriod时长，并进行优雅停止pod的操作。

2.如权利要求1所述的基于Kubernetes云原生集群节点优雅关机的方法，其特征在于，所述步骤S1中的Kubelet为Kubernetes云原生集群中工作节点的代理和控制组件。

3.如权利要求1所述的基于Kubernetes云原生集群节点优雅关机的方法，其特征在于，所述步骤S2中的InhibitDelayMaxSec配置是通过应用程序间通信的消息总线系统dbus从systemd-logind读取到的值。

4.如权利要求1所述的基于Kubernetes云原生集群节点优雅关机的方法，其特征在于，所述步骤3具体为：

S3.1.Kubelet对比systemd-logind组件的InhibitDelayMaxSec配置和Kubelet的ShutdownGracePeriod配置值的大小；

S3.2.当ShutdownGracePeriod大于InhibitDelayMaxSec时，Kubelet将logind配置文件中的InhibitDelayMaxSec的值修改成ShutdownGracePeriod；

S3.3.Kubelet向systemd-logind组件发送SIGHUP信号，systemd-logind会重新加载配置文件，使得新的InhibitDelayMaxSec配置生效。

5.权利要求1所述的基于Kubernetes云原生集群节点优雅关机的方法，其特征在于，所述Kubelet将节点上的容器组分成系统关键容器组和常规容器组，系统关键容器组包括日志类容器组、网络代理类容器组和网络服务类容器组。

6.权利要求5所述的基于Kubernetes云原生集群节点优雅关机的方法，其特征在于，当节点发生主动的停机事件，Kubelet执行如下操作：

A1.Kubelet更新当前节点的状态中的ready项，从true变更为false，并配置原因为“Node is shutting down”；

A2.Kubelet开始并发的停止该节点上的常规容器组，并用gracePeriodOverride作为优雅停止的等待时长；

A3.在上一步的gracePeriodOverride时长过后，Kubelet开始并发停止该节点上的所有系统关键容器组，并用ShutdownGracePeriodCriticalPods作为优雅停止的等待时长。

Images