CN112506477B - 一种在Kubernetes集群中使用RESTful API添加计算节点的方法 - Google Patents

Abstract

本发明涉及一种在Kubernetes集群中使用RESTful API添加计算节点的方法，方法为：采用kubernetes原生CRD插件技术，在kube‑apiserver组件中扩展一RESTful API接口用于实现添加节点；编码CRD对应的后端自定义控制器并在kubernetes集群中运行；在Kubernetes集群中使用curl命令调用RESTful API接口，将计算节点加入到Kubernetes集群中。本方法简化原先繁琐的添加步骤为只需调用一次接口即可完成添加节点工作，将原先需要执行多步骤安装agent组件的操作简化为一键安装，并可使添加计算节点功能界面化。

Description

一种在Kubernetes集群中使用RESTful API添加计算节点的 方法

技术领域

本专利申请属于计算节点添加技术领域，更具体地说，是涉及一种在Kubernetes集群中使用RESTful API添加计算节点的方法。

背景技术

Kubernetes是一个开源的容器编排管理系统，通过使用Kubernetes技术能够简化应用部署流程、减少服务从开发到上线所花费的时间并提高运维效率。

其中的缩略语和关键术语定义如下：

Kubernetes：是一个开源的容器编排管理工具，将容器编排问题做到了淋漓尽致。

Pod：在Kubernetes中，最小的管理元素不是一个个独立的容器，而是Pod。Pod是一组容器的集合(容器组)。Pod和Docker中的容器可以理解为包含关系，在Pod中可以包含有多个Docker容器，

Docker：是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖到一个可移植的镜像中，然后发布到任何流行的Linux或Windows机器上。

Configmap：配置项，Kubernetes中的一种API资源(API就是操作系统留给应用程序的一个调用接口，应用程序通过调用操作系统的API而使操作系统去执行应用程序的命令)，用来保存key-value配置数据。Configmap可以简单理解为一个管理配置的对象，可以将项目的配置写入到ConfgiMap中，项目中的配置使用相应的变量名就可以读取相应的变量值。

Kubeadm：一种工具。提供kubeadm init初始化Kubernetes集群和kubeadm join往Kubernetes集群添加节点两种功能。

Kubectl：Kubernetes集群的命令行工具，通过kubectl能够对集群本身进行管理，并能够在集群上进行容器化应用的安装部署。

使用Kubernetes容器编排服务，能够完成基于容器的应用部署、维护和滚动升级；流量负载均衡，应用自动发现；跨节点Pod调度；服务多实例自动扩伸缩容；支持以声明式配置文件的方式，管理容器整个生命周期等功能。

由于Kubernetes作为一个通用的底层容器编排管理平台，其创建、管理的Pod实例需要部署到不同的物理机或虚拟机上，通常Kubernetes自身组件Pod实例部署在Master节点上，用户创建的业务Pod实例部署在计算节点上。Master节点和计算节点一般有多个，用来满足不同业务场景下对应用访问的高可靠、高可用要求。

由于业务量的增长，Kubernetes集群中计算节点的数量也会随之增加，这就需要添加计算节点到已有Kubernetes集群中，目前为Kubernetes集群添加计算节点的方法多是先准备好一个计算节点并在计算节点先安装docker和kubelet等组件，接着在计算节点使用添加节点工具用命令行的方式将节点加入到集群中。这种方式需要登录计算节点人工操作，同时还需要学习如何使用添加节点工具。

现有技术大部分基于命令行操作，如需要先登录待添加计算节点安装docker、kubelet、kubeadm，然后再执行kubeadm join命令。添加节点过程比较繁琐，需要人工操作的步骤过多，因此也容易引发不必要的错误。

针对现有添加节点方式的不足，本发明提供了一种在Kubernetes集群中使用RESTful API添加计算节点的方法。

发明内容

本发明需要解决的技术问题是提供一种在Kubernetes集群中使用RESTful API添加计算节点的方法，将传统的命令行添加节点的方式改进为直接调用RESTful接口添加计算节点的方式，极大的简化了添加计算节点的过程。

为了解决上述问题，本发明所采用的技术方案是：

一种在Kubernetes集群中使用RESTful API添加计算节点的方法，该方法为：

采用Kubernetes原生的CRD插件技术，在kube-apiserver组件中扩展一个RESTfulAPI接口，该RESTful API接口用于实现添加计算节点的功能；

编码CRD插件技术对应的应用于后端的自定义控制器，然后在Kubernetes集群中运行自定义控制器，通过在Kubernetes集群中使用curl命令调用RESTful API接口的方式，将计算节点加入到Kubernetes集群中。

本发明技术方案的进一步改进在于：在kube-apiserver组件中扩展一个RESTfulAPI接口，是指：

为Kubernetes添加一个新的API资源类型对象，只要用户创建一个API资源类型对象，则Kubernetes就通过使用该对象定义的节点参数，到节点参数对应的计算节点安装准备好的agent组件压缩包，比如Docker和Kubelet，为用户添加一个真实的计算节点到Kubernetes集群中，这样，后面用户创建的Pod，就可以部署和调度到该计算节点。

本发明技术方案的进一步改进在于：具体操作过程为：

S1、编码自定义控制器kylin-node-controller，然后在Kubernetes集群中启动自定义控制器kylin-node-controller，便于后期处理API资源类型的YAML文件；

S2、在Kubernetes集群中创建一个名叫KylinNode的API资源类型对象，接着利用kylin-node-controller控制器完成添加计算节点工作；

S3、检查计算节点是否添加成功，如不成功，则返回S1继续执行。

本发明技术方案的进一步改进在于：S1的具体过程如下：

S11、将自定义控制器kylin-node-controller编译成二进制文件；

S12、将编译好的二进制文件构建(build)为docker镜像，镜像为kylin-node-controller:v1；

S13、编写名称为kylin-node-controller.yam的配置文件(deployment文件)，配置文件中的镜像为kylin-node-controller:v1；

S14、在Kubernetes集群中创建kylin-node-controller.yaml，将kylin-node-controller控制器以Pod的形式在集群中运行。

本发明技术方案的进一步改进在于：S2中的在Kubernetes集群中创建KylinNode的API资源类型对象的过程如下：

S21、在Kubernetes集群中创建如说明书实例4中的CRD资源；

S22、在Kubernetes集群中使用curl命令调用RESTful API接口来创建如说明书实例3中的KylinNode API资源类型对象：

S23、kylin-node-controller控制器解析KylinNode资源类型对象，将待添加计算节点的节点信息保存到缓存中；

S24、查询当前环境中已存在节点并判断缓存中的待添加计算节点信息是否和已存在的节点信息冲突，冲突则停止添加该节点；

S25、检查待添加计算节点与Kubernetes主节点网络是否连通，网络不通则停止添加该节点；

S26、将待添加计算节点信息保存到配置项Configmap中供卸载该节点使用；

S27、根据Kubernetes集群证书信息生成kubeadm join命令；

S28、将事先准备的适配当前Kubernetes集群环境及版本的kubelet、kubeadm、docker安装包，以及容器网络组件镜像的压缩包，均传输到待添加计算节点；

S29、远程调用安装脚本以在待添加计算节点上安装docker、kubelet、kubeadm，安装完成后使用docker load命令加载容器网络组件镜像；

S30、远程在待添加计算节点执行S27步骤生成的kubeadm join命令，从而将计算节点加入Kubernetes集群中。

本发明技术方案的进一步改进在于：S3中的检查节点是否添加成功具体过程包括：

S31、在Kubernetes集群主节点用kubectl get node命令查看计算节点是否处于运行(Running)状态，或在Kubernetes集群的界面查看添加的计算节点是否处于运行(Running)状态；

S32、对于处于运行(Running)状态的计算节点，创建一个应用，验证该应用是否能调度到该计算节点并能正常运行，如可以调度并能正常运行，则计算节点是否添加成功。

由于采用了上述技术方案，本发明取得的有益效果是：

(1)简化原先繁琐的添加节点步骤为只需调用一次接口即可完成添加节点工作；

(2)提供计算节点agent组件及容器网络镜像安装包及安装脚本；将原先需要执行多步骤安装agent组件的操作简化为一键安装；

(3)提供RESTful接口，可以供k8s开发者调用使添加计算节点功能界面化。

本发明采用Kubernetes原生CRD插件技术，编码自定义控制器，将传统的命令行添加节点的方式改进为直接调用RESTful接口添加计算节点的方式，极大的简化了添加计算节点的过程。

本发明利用kubernetes的CRD插件机制，在kube-apiserver组件中扩展一个RESTful API用于实现添加节点功能。从而解决了在Kubernetes集群中调用RESTful API快速添加计算节点，无需登录计算节点执行命令行操作。

附图说明

图1为本发明实施例子中添加节点的流程图。

具体实施方式

下面结合实施例对本发明做进一步详细说明。

本发明公开了一种在Kubernetes集群中使用RESTful API添加计算节点的方法，该方法只需要提供计算节点的登录用户名密码，采用Kubernetes原生的CRD插件技术，然后在Kubernetes集群中使用curl命令调用RESTful API的方式，无需登录计算节点执行命令行操作。如示例1所示的curl命令。

RESTful API就是一套协议来规范多种形式的前端和同一个后台的交互方式，RESTful API由后台也就是SERVER来提供前端来调用。前端调用API向后台发起HTTP请求，后台响应请求将处理结果反馈给前端。也就是说RESTful是典型的基于HTTP的协议。

关于curl命令：在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合传输工具，但按传统，习惯称url为下载工具。

示例1

kylinnode.json文件即待添加计算节点的信息，如示例2所示：

示例2

本发明的总体思路：

获取计算节点的登录用户名和密码后，利用kubernetes集群原生的CRD插件机制/技术，在kube-apiserver组件中扩展一个RESTful API用于实现添加节点功能。

编码CRD插件技术对应的应用于后端的自定义控制器，然后运行该自定义控制器，通过在Kubernetes集群中使用curl命令调用RESTful API接口的方式，将计算节点加入到Kubernetes集群中。

在kube-apiserver组件中扩展一个RESTful API接口，是指：

为Kubernetes集群添加一个新的API资源类型对象，只要用户创建一个API资源类型对象，则Kubernetes集群就会通过使用该API资源类型对象所定义的节点参数，到该节点参数对应的计算节点安装事先准备好的agent组件压缩包，比如Docker和Kubelet，从而为用户添加一个真实的计算节点到Kubernetes集群中，这样，后面用户创建的Pod，就可以部署和调度到该计算节点。

CRD：Custom Resource Definition。顾名思义，它指的就是，允许用户在Kubernetes中添加一个同Pod、Node资源类似的、新的API资源类型，即：自定义API资源。本发明的目的是在Kubernetes集群添加计算节点，首先为Kubernetes添加一个名叫KylinNode的API资源类型。它的作用是，只要用户创建一个KylinNode对象，那么Kubernetes就应该使用这个对象定义的节点参数，到参数对应的计算节点安装准备好的agent组件压缩包，比如Docker和Kubelet，为用户添加一个真实的节点到Kubernetes集群中。这样，后面用户创建的Pod，就可以部署和调度到该节点。这个KylinNode对象的YAML文件，名叫example-kylinnode.yaml，如示例3所示：

YAML是"YAML Ain't a Markup Language"(YAML不是一种置标语言)的递归缩写。YAML是一种直观的能够被电脑识别的数据序列化格式，是一个可读性高并且容易被人类阅读，容易和脚本语言交互，用来表达资料序列的编程语言。它是类似于标准通用标记语言的子集XML的数据描述语言，语法比XML简单很多。

示例3

示例3描述了节点的API资源类型是KylinNode；API组是crd.k8s.io；API版本是v1。Kubernetes之所以知道这个API(crd.k8s.io/v1/kylinnode)的存在，是因为示例中的YAML文件，就是一个具体的“自定义API资源”实例，也叫CR(Custom Resource)。为了能够让Kubernetes认识这个CR，需要事先让Kubernetes明白这个CR的宏观定义是什么，即CRD(Custom Resource Definition)。这就好比，要想让计算机能识别各种兔子的照片，必须先让计算机明白，兔子的普遍定义是什么。比如，兔子“是哺乳动物”“有长耳朵，三瓣嘴”。因此，接下来需编写一个CRD的YAML文件，名叫node.yaml，如下面的示例4所示。

示例4的CRD文件中，指定了“group:crd.k8s.io”“version:v1”这样的API信息，也指定了这个CR的资源类型叫作KylinNode，复数(plural)是kylinnodes。同时声明了它的scope是Namespaced，即：定义的这个KylinNode是一个属于Namespace的对象，类似于Pod。这就是一个KylinNode API资源类型API部分的宏观定义。这就等同于告诉计算机：“兔子是哺乳动物”。此时，Kubernetes便能够认识和处理所有声明了API类型是“crd.k8s.io/v1/kylinnode”的YAML文件。

为了使Kubernetes根据API类型是“crd.k8s.io/v1/kylinnode”的YAML文件添加一个计算节点到Kubernetes集群中，还需要让Kubernetes“认识”这种YAML文件里描述的节点参数，比如“address”(ip地址)、“user”(登录用户名)和“password”(登录密码)这些字段的含义。这就相当于告诉计算机：“兔子有长耳朵和三瓣嘴”。此时，就需要编码对应的自定义控制器kylin-node-controller来处理这种YAML文件了。

一种在Kubernetes集群中使用RESTful API添加计算节点的方法，包括如下步骤：参见图1，

S1、编码自定义控制器kylin-node-controller，启动添加节点服务端程序kylin-node-controller，便于后期处理API资源类型的YAML文件；

S2、在Kubernetes集群中创建一个名叫KylinNode的API资源类型对象，接着kylin-node-controller控制器完成添加计算节点工作；

S3、检查节点是否添加成功，如不成功，则返回S1继续执行；

进一步的，所述的S1的具体方法如下：

S11、将自定义控制器kylin-node-controllerkylin-node-controller编译成二进制文件；

S12、将编译好的二进制文件构建(build)为docker镜像，镜像为kylin-node-controller:v1；

S13、编写名称为kylin-node-controller.yam这个配置文件(deployment文件)，配置文件中的镜像为kylin-node-controller:v1；

S14、在Kubernetes集群中创建kylin-node-controller.yaml，将kylin-node-controller控制器以Pod的形式在集群中运行；

进一步的，所述的S2的在Kubernetes集群中创建KylinNode资源的方法如下：

S21、在Kubernetes集群中创建实例4中的CRD资源；

示例4

S22、在Kubernetes集群中使用kubectl命令或利用curl命令用RESTful API接口来创建实例3中的KylinNode API资源类型对象：

示例3描述了节点的API资源类型是KylinNode；API组是crd.k8s.io；API版本是v1。Kubernetes之所以知道这个API(crd.k8s.io/v1/kylinnode)的存在，是因为示例中的YAML文件，就是一个具体的“自定义API资源”实例，也叫CR(Custom Resource)。为了能够让Kubernetes认识这个CR，需要事先让Kubernetes明白这个CR的宏观定义是什么，即CRD(Custom Resource Definition)。这就好比，要想让计算机能识别各种兔子的照片，必须先让计算机明白，兔子的普遍定义是什么。比如，兔子“是哺乳动物”“有长耳朵，三瓣嘴”。因此，接下来需编写一个CRD的YAML文件，名叫node.yaml，如示例3所示：

示例3

S23、kylin-node-controller控制器解析KylinNode资源类型对象，将待添加计算节点的节点信息保存到缓存中；

S24、查询当前环境中已存在节点并判断缓存中的待添加计算节点信息是否和已存在的节点信息冲突，冲突则停止添加该节点；

S25、检查待添加计算节点与Kubernetes主节点网络是否连通，网络不通则停止添加该节点；

S26、将待添加计算节点信息保存到配置项Configmap中供卸载该节点使用，因为在Configmap中保存节点信息具备持久化的特征；

S27、根据Kubernetes集群证书信息生成kubeadm join命令；

S28、将事先准备的适配当前Kubernetes集群环境及版本的kubelet、kubeadm、docker安装包及容器网络组件镜像的压缩包传输到待添加计算节点；

S29、远程调用安装脚本在待添加计算节点上安装docker、kubelet、kubeadm，安装完成后使用docker load命令加载容器网络组件镜像；

S30、远程在待添加计算节点执行S27步骤生成的kubeadm join命令将计算节点加入Kubernetes集群中。

进一步的，S3所述的检查节点是否添加成功具体包括：

S31、在Kubernetes集群主节点用kubectl命令查看节点是的处于运行(Running)状态，或在Kubernetes集群的界面查看添加的计算节点是否处于(Running)状态；

S32、对于处于运行(Running)状态的计算节点，创建一个应用，验证应用是否能调度到该计算节点并能正常运行，如可以调度并能正常运行，则计算节点是否添加成功。

下面将结合本发明实施例中的附图1添加节点流程图，对本发明实施例中的技术方案进行清楚、完整地描述。前述的编码自定义控制器

kylin-node-controller，然后运行自定义控制器kylin-node-controller的步骤，也就是S11-S13暂时不作详细介绍，只从后面的步骤描述：

具体实施步骤为：

步骤101(对应上文中的步骤S14)：将编译好的kylin-node-controller控制器以Pod的形式运行到Kubernetes集群中。

步骤102(对应上文中的步骤S21、S22)：在Kubernetes集群中先创建CRD，使用kubectl命令或使用curl命令创建KylinNode API资源。

步骤103(对应上文中的步骤S23、S24)：kylin-node-controller控制器watch到KylinNode资源的创建并解析资源对象的节点信息字段，将节点信息保存到缓存中。接着查询当前环境中已存在节点并判断缓存中的待添加计算节点信息是否和已存在的节点信息冲突，冲突则停止添加该节点。该步骤主要检查集群中是否存在该ip地址的节点和已经存在该节点名的节点。

步骤104(对应上文中的步骤S25)：检查待添加计算节点与Kubernetes主节点网络是否连通，网络不通则停止添加该节点。检查网络原因是该节点要和集群主节点通信以及程序运行需要远程到该节点执行操作。

步骤105(对应上文中的步骤S26)：将待添加计算节点信息保存到Configmap中供卸载该节点使用。因为卸载节点的时间节点由用户决定，所以节点的信息必须要持久化存储，而Configmap中保存的信息具备持久化的特征。

步骤106(对应上文中的步骤S27)：根据Kubernetes集群证书信息生成kubeadmjoin命令。该命令主要用于再待添加计算节点执行，然后和集群Master节点对接上。

步骤107(对应上文中的步骤S28)：传输事先准备的适配好当前Kubernetes集群环境的kubelet、kubeadm、docker安装包及容器网络组件镜像压缩包到待添加计算节点。

步骤108(对应上文中的步骤S29)：在待添加计算节点上安装docker、kubelet、kubeadm，安装完成后使用docker load命令加载容器网络组件镜像。

步骤109(对应上文中的步骤S30)：在待添加计算节点执行S27步骤生成的kubeadmjoin命令，使待添加计算节点的kubelet组件获取Kubernetes主节点信息，从而使kubelet能够上报节点信息到主节点，最后将待添加计算节点纳入到Kubernetes集群中管理。

实际应用操作中，重点处理步骤为步骤101(或S14步骤)所述的klin-node-controller控制器；以及步骤107(或S28步骤)所述的适配Kubernetes集群版本的agent组件以及容器网络镜像和安装这些agent组件和镜像的脚本所组成的压缩包；这些是实操阶段的难点和重点。本发明的思路依然遵循权利要求中记载的内容。

Claims (3)

1.一种在Kubernetes集群中使用RESTful API添加计算节点的方法，其特征在于，该方法为：

采用Kubernetes集群原生的CRD插件技术，在kube-apiserver组件中扩展一个RESTfulAPI接口，该RESTful API接口用于实现添加计算节点的功能；

编码CRD插件技术对应的应用于后端的自定义控制器，然后在Kubernetes集群中运行自定义控制器，通过在Kubernetes集群中使用命令调用RESTful API接口的方式，将计算节点加入到Kubernetes集群中；

在kube-apiserver组件中扩展一个RESTful API接口，是指：为Kubernetes集群添加一个新的API资源类型对象，只要用户创建一个API资源类型对象，则Kubernetes集群就会通过使用该API资源类型对象所定义的节点参数，到该节点参数对应的计算节点安装准备好的agent组件压缩包，从而为用户添加一个真实的计算节点到Kubernetes集群中，这样，后面用户创建的Pod，就可以部署和调度到该计算节点；

具体操作过程为：

S1、编码自定义控制器kylin-node-controller，然后在Kubernetes集群中运行定义控制器kylin-node-controller；

S2、在Kubernetes集群中创建一个名叫KylinNode的API资源类型对象，接着利用kylin-node-controller控制器完成添加计算节点工作；

S3、检查计算节点是否添加成功，如不成功，则返回S1继续执行；

其中，S2中的在Kubernetes集群中创建KylinNode的API资源类型对象的过程如下：

S21、在Kubernetes集群中创建CRD资源；

S22、在Kubernetes集群中使用curl命令调用RESTful API接口来创建KylinNode API资源类型对象：

S23、kylin-node-controller控制器解析KylinNode资源类型对象，将待添加计算节点的节点信息保存到缓存中；

S24、查询当前环境中已存在节点并判断缓存中的待添加计算节点信息是否和已存在的节点信息冲突，冲突则停止添加该节点；

S25、检查待添加计算节点与Kubernetes主节点网络是否连通，网络不通则停止添加该节点；

S26、将待添加计算节点信息保存到配置项Configmap中供卸载该节点使用；

S27、根据Kubernetes集群证书信息生成kubeadm join命令；

S28、将事先准备的适配当前Kubernetes集群环境及版本的kubelet、kubeadm、docker安装包，以及容器网络组件镜像的压缩包，均传输到待添加计算节点；

S29、远程调用安装脚本在待添加计算节点上安装docker、kubelet、kubeadm，安装完成后使用docker load命令加载容器网络组件镜像；

S30、远程在待添加计算节点执行S27步骤生成的kubeadm join命令，从而将计算节点加入Kubernetes集群中。

2.根据权利要求1所述的一种在Kubernetes集群中使用RESTful API添加计算节点的方法，其特征在于，S1的具体过程如下：

S11、将自定义控制器kylin-node-controller编译成二进制文件；

S12、将编译好的二进制文件构建为docker镜像，docker镜像为kylin-node-controller:v1；

S13、编写名称为kylin-node-controller.yam的配置文件，配置文件中的镜像为kylin-node-controller:v1；

S14、在Kubernetes集群中创建kylin-node-controller.yaml，将kylin-node-controller控制器以Pod的形式在集群中运行。

3.根据权利要求1所述的一种在Kubernetes集群中使用RESTful API添加计算节点的方法，其特征在于，S3中的检查节点是否添加成功具体过程包括：

S31、在Kubernetes集群主节点用kubectl get node命令查看计算节点是否处于运行状态，或在Kubernetes集群的界面查看添加的计算节点是否处于运行状态；

S32、对于处于运行状态的计算节点，创建一个应用，验证该应用是否能调度到该计算节点并能正常运行，如可以调度并能正常运行，则计算节点是否添加成功。