CN111193782A - Paas云集群构建方法、装置以及电子设备、存储介质 - Google Patents

Abstract

本公开提供了一种PAAS云集群统一运行的构建方法、装置以及电子设备、存储介质，其中的方法包括：接收PaaS云集群配置请求，根据预设的配置模板生成与配置请求相对应的配置文件；接收PaaS云集群配置指令，获取与PaaS云集群配置指令相对应的置文件，从配置文件中获取配置选项、资源信息和配置脚本；根据配置选项、资源信息和配置脚本进行PaaS云集群的部署操作本公开的方法、装置以及电子设备、存储介质，构建PaaS多云统一运行环境，提供在多个PaaS云之间保持资源同步的能力，提供了自动配置DNS服务器和全局负载均衡器的能力，提高了系统的可用性。

Description

PAAS云集群构建方法、装置以及电子设备、存储介质

技术领域

本公开涉及云计算技术领域，尤其涉及一种PAAS云集群统一运行的构建方法、装置以及电子设备、存储介质。

背景技术

PaaS(Platform-as-a-Service：平台即服务)云平台能够方便的部署管理运维容器化的应用，但是，在实际应用中经常遇到的一些问题，单个PaaS云平台通常无法跨单个云厂商的多个可用区，并且也能支持跨跨域不同的云厂商。这样问题会给企业的实际应用带来一些难题，例如，如何应对可用区级别的失败，以及容灾备份；是否会造成厂商锁定，增加迁移成本；如何应对线上线下突发流量；如何统一管理调度容器资源；PaaS云平台规模的上限等等。PaaS多云统一运行环境可以一定程度上解决这些问题，PaaS多云统一运行环境是可以将分布在多个可用区或者多个云厂商的PaaS云平台整合成一个大的集群，统一管理与调度。但是，目前还没有PaaS多云统一运行环境的构建技术方案。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种PAAS云集群统一运行的构建方法、装置以及电子设备、存储介质。

根据本公开实施例的一个方面，提供一种PAAS云集群统一运行的构建方法，包括：接收PaaS云集群配置请求，根据预设的配置模板生成与所述配置请求相对应的配置文件；其中，在所述配置文件中配置有配置选项、资源信息和配置脚本；接收PaaS云集群配置指令，获取与所述PaaS云集群配置指令相对应的所述置文件，从所述配置文件中获取所述配置选项、所述资源信息和所述配置脚本；根据所述配置选项、所述资源信息和所述配置脚本进行PaaS云集群的部署操作；其中，所述部署操作包括：系统环境配置操作、kubernetes集群安装操作、kubernetes集群联邦配置、应用部署。

可选地，所述配置选项包括：系统环境配置选项；所述根据所述配置选项、所述资源信息和所述配置脚本进行PaaS云集群的部署操作包括：获取所述配置文件中与所述系统环境配置选项相对应的安装资源信息和安装配置脚本；基于所述安装资源信息获取Kubernetes安装包，在各节点上使用所述Kubernetes安装包进行安装；获取所述安装配置脚本修改所述节点的系统配置信息，创建k8s.conf文件并使k8s.conf文件生效；基于所述安装配置脚本修改各节点的hostname，并设置与所述hostname对应的ip；基于所述安装配置脚本关闭防火墙服务、禁用开机启动项和关闭SELINUX选项；根据所述安装资源信息在每个节点安装kubeadm和kubelet，并安装kubectl,和kubernets-cni，对kubelet服务设置开机启动。

可选地，所述配置选项包括：kubernetes集群安装选项；所述根据所述配置选项、所述资源信息和所述配置脚本进行PaaS云集群的部署操作包括：获取所述配置文件中与所述kubernetes集群安装选项相对应的K8S安装资源信息和K8S配置脚本；基于所述K8S配置脚本使用kubeadm初始化集群，选择节点node1作为Master节点，并进行相应地配置脚本；基于所述K8S安装资源信息和所述K8S配置脚本，安装flannel network add-on，并在kube-flannel.yml中指定集群主机内网网卡的名称，并进行相应地部署操作，以使所有的Pod都处于Running状态。

可选地，所述配置选项包括：kubernetes集群联邦配置选项；所述根据所述配置选项、所述资源信息和所述配置脚本进行PaaS云集群的部署操作包括：获取所述配置文件中与所述kubernetes集群联邦配置选项相对应的集群联邦安装资源信息和集群联邦配置脚本；基于所述集群联邦配置脚本配置kubelet服务，以使etcd与apiserver监听端口生效；基于所述集群联邦安装资源信息和所述集群联邦配置脚本，安装helm工具部署Coredns并修改RBAC临时访问权限；基于所述集群联邦配置脚本，创建coredns键值文件，初始化helm并使用helm安装coredns组件以及新建coredns配置文件；基于所述集群联邦配置脚本，添加kubernetes从节点；基于所述集群联邦配置脚本，创建多个kubernetes集群，创建联邦集群并添加集群节点，并在federation-system命名空间中创建多个POD；基于所述集群联邦配置脚本，选择集群的context并添加集群到联邦集群。

可选地，所述配置选项包括：应用部署选项；所述根据所述配置选项、所述资源信息和所述配置脚本进行PaaS云集群的部署操作包括：获取所述配置文件中与所述应用部署选项相对应的应用部署配置脚本；基于所述应用部署配置脚本在联邦集群控制平面的节点上,切换到联邦集群的context，配置应用在分布在多个集群中。

可选地，利用可视化配置界面，根据所述配置模板生成所述配置文件并进行显示；使用自动配置工具，从所述配置文件中提取所述配置选项、所述资源信息和所述配置脚本，并根据所述配置选项、所述资源信息和所述配置脚本对节点进行所述部署操作。

根据本公开实施例的一个方面，提供一种PAAS云集群统一运行的构建装置，包括：配置文件生成模块，用于接收PaaS云集群配置请求，根据预设的配置模板生成与所述配置请求相对应的配置文件；其中，在所述配置文件中配置有配置选项、资源信息和配置脚本；配置信息获取模块，用于接收PaaS云集群配置指令，获取与所述PaaS云集群配置指令相对应的所述置文件；集群运行配置模块，用于从所述配置文件中获取所述配置选项、所述资源信息和所述配置脚本，根据所述配置选项、所述资源信息和所述配置脚本进行PaaS云集群的部署操作；其中，所述部署操作包括：系统环境配置操作、kubernetes集群安装操作、kubernetes集群联邦配置、应用部署。

可选地，所述配置选项包括：系统环境配置选项；所述集群运行配置模块，包括：系统环境配置单元，用于获取所述配置文件中与所述系统环境配置选项相对应的安装资源信息和安装配置脚本；基于所述安装资源信息获取Kubernetes安装包，在各节点上使用所述Kubernetes安装包进行安装；获取所述安装配置脚本修改所述节点的系统配置信息，创建k8s.conf文件并使k8s.conf文件生效；基于所述安装配置脚本修改各节点的hostname，并设置与所述hostname对应的ip；基于所述安装配置脚本关闭防火墙服务、禁用开机启动项和关闭SELINUX选项；根据所述安装资源信息在每个节点安装kubeadm和kubelet，并安装kubectl,和kubernets-cni，对kubelet服务设置开机启动。

可选地，所述配置选项包括：kubernetes集群安装选项；所述集群运行配置模块，包括：K8S配置单元，用于获取所述配置文件中与所述kubernetes集群安装选项相对应的K8S安装资源信息和K8S配置脚本；基于所述K8S配置脚本使用kubeadm初始化集群，选择节点node1作为Master节点，并进行相应地配置脚本；基于所述K8S安装资源信息和所述K8S配置脚本，安装flannel networkadd-on，并在kube-flannel.yml中指定集群主机内网网卡的名称，并进行相应地部署操作，以使所有的Pod都处于Running状态。

可选地，所述配置选项包括：kubernetes集群联邦配置选项；所述集群运行配置模块，包括：集群联邦配置单元，用于获取所述配置文件中与所述kubernetes集群联邦配置选项相对应的集群联邦安装资源信息和集群联邦配置脚本；基于所述集群联邦配置脚本配置kubelet服务，以使etcd与apiserver监听端口生效；基于所述集群联邦安装资源信息和所述集群联邦配置脚本，安装helm工具部署Coredns并修改RBAC临时访问权限；基于所述集群联邦配置脚本，创建coredns键值文件，初始化helm并使用helm安装coredns组件以及新建coredns配置文件；基于所述集群联邦配置脚本，添加kubernetes从节点；基于所述集群联邦配置脚本，创建多个kubernetes集群，创建联邦集群并添加集群节点，并在federation-system命名空间中创建多个POD；基于所述集群联邦配置脚本，选择集群的context并添加集群到联邦集群。

可选地，所述配置选项包括：应用部署选项；所述集群运行配置模块，包括：应用部署配置单元，用于获取所述配置文件中与所述应用部署选项相对应的应用部署配置脚本；基于所述应用部署配置脚本在联邦集群控制平面的节点上,切换到联邦集群的context，配置应用在分布在多个集群中。

可选地，所述配置文件生成模块，用于利用可视化配置界面，根据所述配置模板生成所述配置文件并进行显示；所述集群运行配置模块，用于使用自动配置工具，从所述配置文件中提取所述配置选项、所述资源信息和所述配置脚本，并根据所述配置选项、所述资源信息和所述配置脚本对节点进行所述部署操作。

根据本公开实施例的又一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的方法。

根据本公开实施例的再一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述的方法。

基于本公开上述实施例提供的一种PAAS云集群统一运行的构建方法、装置以及电子设备、存储介质，构建PaaS多云统一运行环境，提供在多个PaaS云之间保持资源同步的能力，提供了自动配置DNS服务器和全局负载均衡器的能力，可以在PaaS云之间分发负载，并且支持自动配置DNS服务器和全局负载均衡器，大大降低了发生系统故障的几率，提高了系统的可用性；使得应用进行跨不同类型的云平台联合部署变得很容易，能够避免PaaS多云统一环境中断。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为本公开的PAAS云集群统一运行的构建方法的一个实施例的流程图；

图2为本公开的PAAS云集群统一运行的构建装置的一个实施例的结构示意图；

图3为本公开的PAAS云集群统一运行的构建装置的一个实施例中的集群运行配置模块的结构示意图；

图4是本公开的电子设备的一个实施例的结构图。

具体实施方式

下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

在本公开实施例中，“多个”可以指两个或者两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

在实现本公开的过程中，发明人发现，在PaaS多云统一运行环境的实际使用场景中，会面对并解决一些非常重要的问题：

1)位置亲和性：在使用PaaS多云统一运行环境部署分布式应用时，前端应用于后端资源的相对位置对于访问延迟、资源开销和系统稳定性具有决定性的影响。在PaaS多云统一运行环境的设计理念中，针对前后端的相对位置，将前后端的关系分为三类：严格耦合、严格解耦和优先耦合。三者分别对应前后端必须绑定、可以完全分离及优先绑定这三种应用场景。通过位置亲和性，就可以将严格解耦的应用进行基于Pod的平均分配或者随机分配，对优先耦合的应用进行优先分配到同一集群并接受部分移动，而对于严格耦合的应用则严格分配到同一集群环境中。

2)跨集群服务发现：在PaaS多云统一运行环境中Pod使用外部DNS客户端来实现与单集群类似的标准服务发现。DNS将服务解析为本地集群地址或者外部集群地址。除严格耦合的前后端场景外，前端都可以不用关心DNS解析的结果是位于同一集群内还是同一集群外。

3)跨集群应用调度：PaaS多云统一运行环境的跨集群调度机制中，PaaS多云统一运行环境控制平面在接收到所有集群的资源对象创建请求后，可以简单地将这个请求重定向给某个集群，也可以将请求“分解”为多个子请求发送给不同的集群。同时，PaaS多云统一运行环境控制平面需要分析应用的属性(位置亲和性、隐私级别等)，并以此作为依据执行更优化的跨集群调度。此外，完善的跨集群调度机制还需要支持准入控制机制、自动扩容和缩容机制、故障重调度机制及基于计算能力的调度优化等。

4)跨集群应用迁移:在PaaS多云统一运行环境的使用过程中，可能会遇到部分集群容量将满、转换云供应商、变换核心集群位置等需要进行应用迁移的场景。在这种情况下，PaaS多云统一运行环境的跨集群迁移工作是按照应用位置亲和性来分别进行的：对严格解耦的应用采取一次或多次分步迁移的方式进行，每次迁移的粒度也很自由；对优先耦合的应用，需要首先找到具有足够多的资源容量可以容纳待迁移应用的目标集群，并锁定该部分的资源容量，之后按照特定的顺序在特定的时间内完成迁移工作；而对于严格耦合的程序而言，除了需要符合与优先耦合类似的资源要求，在迁移过程中还需要考虑是否能满足数据一致性和应用一致性的要求，如果不能满足要求，则不建议直接进行迁移。

5)故障隔离:PaaS多云统一运行环境保留了PaaS云的应用隔离机制，一般情况下并不会显著地增加多个集群之间故障的关联性。PaaS多云统一运行环境控制平面与每个PaaS云的控制平面是严格独立的，PaaS多云统一运行环境控制平面的故障应不影响每个PaaS云自身的正常运行。

◎统一监控、统一预警和跨PaaS云联合审计。

◎统一认证授权、跨PaaS云的配额管理。

PaaS多云统一运行环境存在的一些潜在问题：

网络带宽和成本的增加：为确保所有的PaaS云平台运行状态符合预期，PaaS多云统一环境控制平面会持续监控所有PaaS云。如果PaaS多云统一环境运行在同一个云供应商的不同地区上或者运行在不同的云供应商上，那么将会导致显著的网络开销和成本的提升。

削弱了多个PaaS云之间的隔离性：PaaS多云统一环境控制平面中的错误可能会影响所有PaaS云。通过将PaaS多云统一环境控制平面中的逻辑保持在最小值可以减轻这种影响。它主要代表PaaS云中的控制平面。设计和实施也会在安全方面产生错误，并避免PaaS多云统一环境中断。

PaaS多云统一运行环境主要通过以下特性来实现多PaaS云的统一管理：

◎跨群集资源同步：PaaS多云统一运行环境提供在多个PaaS云之间保持资源同步的能力，比如通过PaaS多云统一运行环境可以确保跨PaaS云的Deployment在多个PaaS云中始终同时存在并保持一致。

◎跨PaaS云服务发现：PaaS多云统一运行环境提供了自动配置DNS服务器和全局负载均衡器(可访问所有PaaS云后端服务的负载均衡器)的能力，比如通过PaaS多云统一运行环境可以确保使用一条全局虚拟IP(VIP)或DNS记录即可访问部署在多个PaaS云中的后端服务。

◎高可用性：PaaS多云统一运行环境可以在PaaS云之间分发负载，并且支持自动配置DNS服务器和全局负载均衡器，大大降低了发生系统故障的几率，提高了系统的可用性。

◎避免厂商锁定：PaaS多云统一运行环境使得应用进行跨不同类型的云平台联合部署变得很容易，而PaaS云中应用程序的迁移也变得更加轻松，因此可以有效地避免出现厂商锁定的情况。

图1为本公开的PAAS云集群统一运行的构建方法的一个实施例的流程图，如图1所示的方法包括步骤：S10-S30。下面对各步骤分别进行说明。

S10，接收PaaS云集群配置请求，根据预设的配置模板生成与配置请求相对应的配置文件；其中，在配置文件中配置有配置选项、资源信息和配置脚本等。

S20，接收PaaS云集群配置指令，获取与PaaS云集群配置指令相对应的置文件，从配置文件中获取配置选项、资源信息和配置脚本等。

S30，根据配置选项、资源信息和配置脚本进行PaaS云集群的部署操作；其中，部署操作包括：系统环境配置操作、kubernetes集群安装操作、kubernetes集群联邦配置、应用部署。

利用系统向用户提供的可视化配置界面，根据配置模板生成配置文件并进行显示，配置模块可以为预先生成的模板，包括配置文件的标准格式以及常用的脚本等。用户可以使用可视化配置界面，根据模板进行配置选项设置、对选择预设的脚本进行修改等操作，生成配置文件。使用自动配置工具，从配置文件中提取配置选项、资源信息和配置脚本，并根据配置选项、资源信息和配置脚本对节点进行部署操作。自动配置工具可以为多种配置工具，例如使用自动配置工具采用telnet方式自动登录目标节点，自动获取配置文件中的配置选项、资源信息和配置脚本对节点进行部署操作等。

在一个实施例中，配置选项包括系统环境配置选项，获取配置文件中与系统环境配置选项相对应的安装资源信息和安装配置脚本。基于安装资源信息获取Kubernetes安装包，在各节点上使用Kubernetes安装包进行安装；

在一实施例中，系统环境的资源配置选项如下表1所示：

表1-系统环境资源配置表

Kubernetes的集群与联邦集群功能的安装方式均为镜像安装,所有组件功能都使用官方提供的镜像来实现,具体镜像资源为gcr.io/google_containers/kube-apiserver-amd64等，联邦集群镜像为gcr.io/google_containers/hyperkube-amd64等，可以安装Docker 1.12版本。获取安装配置脚本修改节点的系统配置信息，创建k8s.conf文件并使k8s.conf文件生效。

在一实施例中，获取安装配置脚本修改系统配置，例如：

创建/etc/sysctl.d/k8s.conf文件，添加如下内容：

net.bridge.bridge-nf-call-ip6tables；

net.bridge.bridge-nf-call-iptables＝1；

执行sysctl-p/etc/sysctl.d/k8s.conf使修改生效。

基于安装配置脚本修改各节点的hostname，并设置与hostname对应的ip。

在一实施例中，基于安装配置脚本进行相关修改：在/etc/hostname中修改各节点的hostname，在/etc/hosts设置hostname对应ip，例如，192.168.5.13test01.example.com，192.168.5.14test02.example.com。

基于安装配置脚本关闭防火墙服务、禁用开机启动项和关闭SELINUX选项；SELINUX选项为现有的选项。

在一实施例中，基于安装配置脚本关闭防火墙服务与禁用开机启动项：

systemctl stop firewalld，systemctl disable firewalld。关闭SELINUX选项：setenforce 0，sed-i's/SELINUX＝enforcing/SELINUX＝disabled/g'/etc/sysconfig/selinux。

根据安装资源信息在每个节点安装kubeadm和kubelet，并安装kubectl,和kubernets-cni，对kubelet服务设置开机启动。Kubeadm、kubelet、kubectl,和kubernets-cni都为现有技术中的资源等。

在一实施例中，根据安装资源信息安装Kuberadm与Kubelet，在每个节点安装kubeadm和kubelet：cat<<EOF>/etc/yum.repos.d/kubernetes.repo，

[kubernetes]

name＝Kubernetes

baseurl＝http://yum.kubernetes.io/repos/kubernetes-el7-x86_64

enabled＝1

gpgcheck＝1

repo_gpgcheck＝1

gpgkey＝https://packages.cloud.google.com/yum/doc/yum-key.gpg

EOF

根据安装资源信息安装kubeadm、kubelet、kubectl和kubernets-cni：yuminstall-y kubelet kubeadm kubectl kubernetes-cni；kubelet服务设置开机启动：systemctl enable kubelet.service。

在一实施例中，Kubernetes(K8S)是一个用于容器集群的自动化部署、扩容以及运维的开源平台，通过Kubernetes可以快速有效地响应用户需求，快速而有预期地部署用户应用，极速地扩展用户应用，无缝对接新的用户应用功能，节省资源，优化硬件资源的使用，Kubernetes(K8S)为容器编排管理提供了完整的开源方案。在一个节点上安装kubernetes作为master节点,将master节点参与集群调度.然后在该节点上安装联邦集群功能,作为联邦集群的控制平面。

配置选项包括：kubernetes集群安装选项；获取配置文件中与kubernetes集群安装选项相对应的K8S安装资源信息和K8S配置脚本；基于K8S配置脚本使用kubeadm初始化集群，选择节点node1作为Master节点，并进行相应地配置脚本。

在一实施例中，基于K8S配置脚本使用kubeadm初始化集群，选择node1作为Master，在node1上执行下面的脚本命令：kubeadm init kubernetes-version＝v1.7.0，pod-network-cidr＝10.240.0.0/16，apiserver-advertise-address＝192.168.5.13；后续节点加入集群需要使用该脚本命令：kubeadm join token e7986d.e440de5882342711192.168.5.13:6443。

基于K8S安装资源信息和K8S配置脚本，安装flannel network add-on，并在kube-flannel.yml中指定集群主机内网网卡的名称，并进行相应地部署操作，以使所有的Pod都处于Running状态。flannel network add-on和kube-flannel.yml都为现有的资源、文件等。

在一实施例中，为了使用kubectl访问apiserver，基于K8S配置脚本在/.bash_profile中追加下面的环境变量：echo"export KUBECONFIG＝/etc/kubernetes/admin.conf"，/etc/profile source/etc/profile；使用kubectl命令在master node查看当前机器中的Node：kubectl get nodes。

基于K8S安装资源信息和K8S配置脚本安装Pod网络组件，安装flannel networkadd-on:wget/kube-flannel-rbac.yml，wget master/Documentation/kube-flannel.yml。在kube-flannel.yml中使用–iface参数指定集群主机内网网卡的名称，否则可能会出现dns无法解析。基于K8S配置脚本将kube-flannel.yml下载到本地，flanneld启动参数加上iface＝<iface-name>：vi kube-flannel.yml command:["/opt/bin/flanneld","ip-masq","kube-subnet-mgr","iface＝eth1"]。基于K8S配置脚本部署网络组件:kubectlcreate-f kube-flannel-rbac.yml，kubectl apply-f kube-flannel.yml；基于K8S配置脚本使所有的Pod都处于Running状态：kubectl get pod--all-namespaces-o wide；使用脚本命令使Master Node参与工作负载：kubectl taint nodes--all node-role.kubernetes.io/master-。

在一个实施例中，Kubernetes增加了“集群联邦”Federation的功能，这个功能使企业能够快速有效的、低成本的跨区跨域、甚至在不同的云平台上运行集群。这个功能可以按照地理位置创建一个复制机制，将多个kubernetes集群进行复制，即使遇到某个区域连接中断或某个数据中心故障，也会保持最关键的服务运行。支持本地多个集群联邦管理，不需要使用依赖云平台,“集群联邦”在架构上同kubernetes集群很相似。有一个“集群联邦”的API server提供一个标准的Kubernetes API，并且通过etcd来存储状态,“集群联邦”管理所有的kubernetes集群。

Kubernetes有一个标准的插件：kube-dns，这个插件可以在集群内部提供DNS服务，通过DNS解析service名字来访问kubernetes服务。Kubernetes服务是由一组kubernetesPOD组成的，这些POD是一些已经容器化了的应用，这些POD前面使用到了负载均衡器。集群联邦API扩展基于DNS服务发现的功能。利用DNS，让POD可以跨集群、透明的解析服务。集群联邦能够把不同POD指定给不同的Kubernetes集群中。集群联邦调度器将决定如何在不同kubernetes集群中分配工作负载。集群联邦可以跨集群冗馀部署。

配置选项包括：kubernetes集群联邦配置选项；获取配置文件中与kubernetes集群联邦配置选项相对应的集群联邦安装资源信息和集群联邦配置脚本；基于集群联邦配置脚本配置kubelet服务，以使etcd与apiserver监听端口生效。etcd与apiserver监听端口为现有的端口。

在一实施例中，基于集群联邦配置脚本停止kubelet服务：

vi/etc/kubernetes/manifests/etcd.yaml，

listen-client-urls＝http://0.0.0.0:2379，

advertise-client-urls＝http://0.0.0.0:2379，

vi/etc/kubernetes/manifests/kube-apiserver.yaml，

insecure-port＝8080，insecure-bind-address＝0.0.0.0。

基于集群联邦配置脚本重启kubelet服务让etcd与apiserver监听端口生效：systemctl restart kubelet。

基于集群联邦安装资源信息和集群联邦配置脚本，安装helm工具部署Coredns并修改RBAC临时访问权限。helm工具、Coredns以及RBAC都为现有的工具、资源、文件、权限等

在一实施例中，基于集群联邦配置脚本安装helm工具部署Coredns：curlhttps://raw.githubusercontent.com/kubernetes/helm/master/scripts/get>get_helm.sh，chmod 700get_helm.sh，./get_helm.sh；基于集群联邦配置脚本修改RBAC临时访问权限：kubectl create clusterrolebinding add-on-cluster-admin，clusterrole＝cluster-admin，serviceaccount＝kube-system:default。

基于集群联邦配置脚本，创建coredns键值文件，初始化helm并使用helm安装coredns组件以及新建coredns配置文件。coredns键值、coredns组件以及coredns配置文件都为现有的配置文件、键值、配置文件等。

在一实施例中，基于集群联邦配置脚本创建coredns键值文件：

基于集群联邦配置脚本初始化helm,并使用helm安装coredns组件：

helm init

helm install--namespace default--name coredns-f/opt/Values.yamlstable/coredns；

基于集群联邦配置脚本新建coredns配置文件：

vi/root/coredns-provider.conf

[Global]

etcd-endpoints＝http://192.168.0.51:2379

zones＝example.com.

基于集群联邦配置脚本，添加kubernetes从节点。在一实施例中，基于集群联邦配置脚本在kubernetes工作节点上初始安装后执行以下脚本命令：kubeadm join--tokene7986d.e440de5882342711 192.168.5.13:6443。

在master节点查看节点状态：kubectl get nodes；重复上述步骤创建多个kubernetes集群，为联邦集群添加集群节点做准备。

基于集群联邦配置脚本，创建多个kubernetes集群，创建联邦集群并添加集群节点，并在federation-system命名空间中创建多个POD。在一实施例中，基于集群联邦配置脚本初始化联邦集群：

kubefed init fellowship\

host-cluster-context＝kubernetes-admin@kubernetes\

dns-provider＝"coredns"\

dns-zone-name＝"example.com."\

dns-provider-config＝"/root/coredns-provider.conf"\

apiserver-enable-basic-auth＝true\

apiserver-enable-token-auth＝true\

apiserver-arg-overrides＝"--anonymous-auth＝false,--v＝4"\

api-server-service-type＝"NodePort"\

api-server-advertise-address＝"192.168.5.13"\

etcd-persistent-storage＝false。

初始化完成后集群联邦会在federation-system命名空间中创建两个POD，基于集群联邦配置脚本，选择集群的context并添加集群到联邦集群。在一实施例中，基于集群联邦配置脚本选择集群的context：kubectl config use-context fellowship；基于集群联邦配置脚本添加联邦集群文件：

基于集群联邦配置脚本添加集群到联邦：kubectl create-f c1.yaml，kubectlcreate-f c2.yaml。

配置选项包括：应用部署选项；获取配置文件中与应用部署选项相对应的应用部署配置脚本；基于应用部署配置脚本在联邦集群控制平面的节点上,切换到联邦集群的context，配置应用在分布在多个集群中。

在一实施例中，基于应用部署配置脚本通过联邦集群部署应用,需要在联邦集群控制平面的节点上,切换到联邦的context：kubectl config use-context fellowship，fellowship为联邦初始化时创建。基于应用部署配置脚本配置应用在分布在2个集群中：

基于应用部署配置脚本通过联邦创建应用，应用的4个实例按比例分布到2个集群中：

在一个实施例中，本公开提供一种PAAS云集群统一运行的构建装置，包括：配置文件生成模块40、配置信息获取模块50和集群运行配置模块60。配置文件生成模块40接收PaaS云集群配置请求，根据预设的配置模板生成与配置请求相对应的配置文件；其中，在配置文件中配置有配置选项、资源信息和配置脚本。

配置信息获取模块50接收PaaS云集群配置指令，获取与PaaS云集群配置指令相对应的置文件。群运行配置模块60从配置文件中获取配置选项、资源信息和配置脚本，根据配置选项、资源信息和配置脚本进行PaaS云集群的部署操作；其中，部署操作包括：系统环境配置操作、kubernetes集群安装操作、kubernetes集群联邦配置、应用部署。

配置文件生成模块40利用可视化配置界面，根据配置模板生成配置文件并进行显示。集群运行配置模块60使用自动配置工具，从配置文件中提取配置选项、资源信息和配置脚本，并根据配置选项、资源信息和配置脚本对节点进行部署操作。

在一个实施例中，如图3所示，集群运行配置模块60包括：系统环境配置单元61、K8S配置单元62、集群联邦配置单元63和应用部署配置单元64。配置选项包括：系统环境配置选项；系统环境配置单元61获取配置文件中与系统环境配置选项相对应的安装资源信息和安装配置脚本。系统环境配置单元61基于安装资源信息获取Kubernetes安装包，在各节点上使用Kubernetes安装包进行安装。系统环境配置单元61获取安装配置脚本修改节点的系统配置信息，创建k8s.conf文件并使k8s.conf文件生效。系统环境配置单元61基于安装配置脚本修改各节点的hostname，并设置与hostname对应的ip；基于安装配置脚本关闭防火墙服务、禁用开机启动项和关闭SELINUX选项。系统环境配置单元61根据安装资源信息在每个节点安装kubeadm和kubelet，并安装kubectl,和kubernets-cni，对kubelet服务设置开机启动。

配置选项包括：kubernetes集群安装选项；K8S配置单元62获取配置文件中与kubernetes集群安装选项相对应的K8S安装资源信息和K8S配置脚本。K8S配置单元62基于K8S配置脚本使用kubeadm初始化集群，选择节点node1作为Master节点，并进行相应地配置脚本。K8S配置单元62基于K8S安装资源信息和K8S配置脚本，安装flannel network add-on，并在kube-flannel.yml中指定集群主机内网网卡的名称，并进行相应地部署操作，以使所有的Pod都处于Running状态。

配置选项包括：kubernetes集群联邦配置选项；集群联邦配置单元63获取配置文件中与kubernetes集群联邦配置选项相对应的集群联邦安装资源信息和集群联邦配置脚本。集群联邦配置单元63基于集群联邦配置脚本配置kubelet服务，以使etcd与apiserver监听端口生效，基于集群联邦安装资源信息和集群联邦配置脚本，安装helm工具部署Coredns并修改RBAC临时访问权限。集群联邦配置单元63基于集群联邦配置脚本，创建coredns键值文件，初始化helm并使用helm安装coredns组件以及新建coredns配置文件。集群联邦配置单元63基于集群联邦配置脚本，添加kubernetes从节点。集群联邦配置单元63基于集群联邦配置脚本，创建多个kubernetes集群，创建联邦集群并添加集群节点，并在federation-system命名空间中创建多个POD。集群联邦配置单元63基于集群联邦配置脚本，选择集群的context并添加集群到联邦集群。

配置选项包括：应用部署选项；应用部署配置单元64获取配置文件中与应用部署选项相对应的应用部署配置脚本；应用部署配置单元64基于应用部署配置脚本在联邦集群控制平面的节点上,切换到联邦集群的context，配置应用在分布在多个集群中。

图4是本公开的电子设备的一个实施例的结构图，如图4所示，电子设备41包括一个或多个处理器411和存储器412。

处理器411可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备41中的其他组件以执行期望的功能。

存储器412可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器，例如，可以包括：只读存储器(ROM)、硬盘以及闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器411可以运行程序指令，以实现上文的本公开的各个实施例的PAAS云集群统一运行的构建方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备41还可以包括：输入装置413以及输出装置414等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备413还可以包括例如键盘、鼠标等等。该输出装置414可以向外部输出各种信息。该输出设备414可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图4中仅示出了该电子设备41中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备41还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的PAAS云集群统一运行的构建方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的PAAS云集群统一运行的构建方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

上述实施例中的PAAS云集群统一运行的构建方法、装置以及电子设备、存储介质，构建PaaS多云统一运行环境，提供在多个PaaS云之间保持资源同步的能力，提供了自动配置DNS服务器和全局负载均衡器的能力，可以在PaaS云之间分发负载，并且支持自动配置DNS服务器和全局负载均衡器，大大降低了发生系统故障的几率，提高了系统的可用性；使得应用进行跨不同类型的云平台联合部署变得很容易，能够避免PaaS多云统一环境中断。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种PAAS云集群统一运行的构建方法，包括：

接收PaaS云集群配置请求，根据预设的配置模板生成与所述配置请求相对应的配置文件；其中，在所述配置文件中配置有配置选项、资源信息和配置脚本；

接收PaaS云集群配置指令，获取与所述PaaS云集群配置指令相对应的所述置文件，从所述配置文件中获取所述配置选项、所述资源信息和所述配置脚本；

根据所述配置选项、所述资源信息和所述配置脚本进行PaaS云集群的部署操作；其中，所述部署操作包括：系统环境配置操作、kubernetes集群安装操作、kubernetes集群联邦配置、应用部署。

2.如权利要求1所述的方法，所述配置选项包括：系统环境配置选项；所述根据所述配置选项、所述资源信息和所述配置脚本进行PaaS云集群的部署操作包括：

获取所述配置文件中与所述系统环境配置选项相对应的安装资源信息和安装配置脚本；

基于所述安装资源信息获取Kubernetes安装包，在各节点上使用所述Kubernetes安装包进行安装；

获取所述安装配置脚本修改所述节点的系统配置信息，创建k8s.conf文件并使k8s.conf文件生效；

基于所述安装配置脚本修改各节点的hostname，并设置与所述hostname对应的ip；

基于所述安装配置脚本关闭防火墙服务、禁用开机启动项和关闭SELINUX选项；

根据所述安装资源信息在每个节点安装kubeadm和kubelet，并安装kubectl,和kubernets-cni，对kubelet服务设置开机启动。

3.如权利要求2所述的方法，所述配置选项包括：kubernetes集群安装选项；所述根据所述配置选项、所述资源信息和所述配置脚本进行PaaS云集群的部署操作包括：

获取所述配置文件中与所述kubernetes集群安装选项相对应的K8S安装资源信息和K8S配置脚本；

基于所述K8S配置脚本使用kubeadm初始化集群，选择节点node1作为Master节点，并进行相应地配置脚本；

基于所述K8S安装资源信息和所述K8S配置脚本，安装flannel networkadd-on，并在kube-flannel.yml中指定集群主机内网网卡的名称，并进行相应地部署操作，以使所有的Pod都处于Running状态。

4.如权利要求3所述的方法，所述配置选项包括：kubernetes集群联邦配置选项；所述根据所述配置选项、所述资源信息和所述配置脚本进行PaaS云集群的部署操作包括：

获取所述配置文件中与所述kubernetes集群联邦配置选项相对应的集群联邦安装资源信息和集群联邦配置脚本；

基于所述集群联邦配置脚本配置kubelet服务，以使etcd与apiserver监听端口生效；

基于所述集群联邦安装资源信息和所述集群联邦配置脚本，安装helm工具部署Coredns并修改RBAC临时访问权限；

基于所述集群联邦配置脚本，创建coredns键值文件，初始化helm并使用helm安装coredns组件以及新建coredns配置文件；

基于所述集群联邦配置脚本，添加kubernetes从节点；

基于所述集群联邦配置脚本，创建多个kubernetes集群，创建联邦集群并添加集群节点，并在federation-system命名空间中创建多个POD；

基于所述集群联邦配置脚本，选择集群的context并添加集群到联邦集群。

5.如权利要求4所述的方法，所述配置选项包括：应用部署选项；所述根据所述配置选项、所述资源信息和所述配置脚本进行PaaS云集群的部署操作包括：

获取所述配置文件中与所述应用部署选项相对应的应用部署配置脚本；

基于所述应用部署配置脚本在联邦集群控制平面的节点上,切换到联邦集群的context，配置应用在分布在多个集群中。

6.如权利要求1所述的方法，还包括：

利用可视化配置界面，根据所述配置模板生成所述配置文件并进行显示；

使用自动配置工具，从所述配置文件中提取所述配置选项、所述资源信息和所述配置脚本，并根据所述配置选项、所述资源信息和所述配置脚本对节点进行所述部署操作。

7.一种PAAS云集群统一运行的构建装置，包括：

配置文件生成模块，用于接收PaaS云集群配置请求，根据预设的配置模板生成与所述配置请求相对应的配置文件；其中，在所述配置文件中配置有配置选项、资源信息和配置脚本；

配置信息获取模块，用于接收PaaS云集群配置指令，获取与所述PaaS云集群配置指令相对应的所述置文件；

集群运行配置模块，用于从所述配置文件中获取所述配置选项、所述资源信息和所述配置脚本，根据所述配置选项、所述资源信息和所述配置脚本进行PaaS云集群的部署操作；

其中，所述部署操作包括：系统环境配置操作、kubernetes集群安装操作、kubernetes集群联邦配置、应用部署。

8.如权利要求1所述的方法，所述配置选项包括：系统环境配置选项；

所述集群运行配置模块，包括：

系统环境配置单元，用于获取所述配置文件中与所述系统环境配置选项相对应的安装资源信息和安装配置脚本；基于所述安装资源信息获取Kubernetes安装包，在各节点上使用所述Kubernetes安装包进行安装；获取所述安装配置脚本修改所述节点的系统配置信息，创建k8s.conf文件并使k8s.conf文件生效；基于所述安装配置脚本修改各节点的hostname，并设置与所述hostname对应的ip；基于所述安装配置脚本关闭防火墙服务、禁用开机启动项和关闭SELINUX选项；根据所述安装资源信息在每个节点安装kubeadm和kubelet，并安装kubectl,和kubernets-cni，对kubelet服务设置开机启动。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一项所述的方法。

10.一种电子设备，所述电子设备包括：

处理器；用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6任一项所述的方法。

Images