CN114610449A - 基于统一请求入口的多集群资源操作方法和系统 - Google Patents

Abstract

本申请提供一种基于统一请求入口的多集群资源操作方法和系统。该方法包括：输入请求汇集模块对由统一请求入口发送的操作请求进行解析,确定操作请求的指向；响应于操作请求指向第一集群，通过第一集群的API‑Server组件对第一集群中的资源对象对应的资源数据进行第一操作，或者，对第一集群中的资源对象进行第二操作；响应于操作请求指向至少一个第二集群，通过自定义API‑Server组件对第一集群的数据库中预先存储的至少一个第二集群的资源对象对应的资源数据进行第三操作，或者，对至少一个第二集群中的资源对象进行第四操作。籍此，多集群管理员能够通过统一请求入口对多集群中的资源数据和资源对象进行相应操作，提升了多集群环境下资源操作的效率。

Description

基于统一请求入口的多集群资源操作方法和系统

技术领域

本申请涉及云原生技术领域，特别涉及一种基于统一请求入口的多集群资源操作方法、系统、计算机可读存储介质和电子设备。

背景技术

在生产过程中，企业通常会部署多套Kubernetes集群，以满足使用需求，比如，主流的主集群/灾备集群、双活集群等部署方式，分别在多个集群中部署有资源对象，Kubernetes系统提供了命令行工具——Kubectl来实现对集群中的资源数据进行检索和对集群中的资源对象进行管理，在多集群环境下，多集群管理员要对所有集群进行资源数据检索或者资源对象管理，需要分别通过每个集群的Kubectl进行操作，将相同或者类似的资源对象操作行为在不同的集群中重复进行，过程繁琐，效率低下，浪费时间和人力，而且不可避免的会出现遗漏。

可见，亟需提供针对上述现有技术不足的技术方案。

发明内容

本申请的目的在于提供一种基于统一请求入口的多集群资源操作方法、系统、计算机可读存储介质和电子设备，以解决或缓解上述现有技术中存在的问题。

为了实现上述目的，本申请提供如下技术方案：

本申请提供一种基于统一请求入口的多集群资源操作方法，所述多集群包括第一集群和至少一个第二集群，所述第一集群中部署有所述统一请求入口、API-Server拓展组件和自定义API-Server组件，所述API-Server拓展组件包括输入请求汇集模块和所述第一集群的API-Server组件；所述方法包括：所述输入请求汇集模块对由所述统一请求入口发送的操作请求进行解析,以确定所述操作请求的指向；响应于所述操作请求指向所述第一集群，根据所述操作请求的类型，通过所述第一集群的API-Server组件对所述第一集群的分布式键值存储数据库中的所述资源对象对应的资源数据进行第一操作，或者，对所述第一集群中的所述资源对象进行第二操作；响应于所述操作请求指向至少一个所述第二集群，根据所述操作请求的类型，通过所述自定义API-Server组件对所述第一集群的数据库中预先存储的至少一个所述第二集群的资源对象对应的资源数据进行第三操作，或者，对至少一个所述第二集群中的资源对象进行第四操作。

优选的，响应于所述操作请求为检索请求；所述方法还包括：响应于所述检索请求为检索命令，所述统一请求入口将所述检索命令转换为统一资源定位符后发送给所述输入请求汇集模块，以由所述输入请求汇集模块对由所述统一请求入口发送的所述统一资源定位符进行解析；响应于所述检索请求为统一资源定位符，所述统一请求入口直接将所述统一资源定位符发送给所述输入请求汇集模块，以由所述输入请求汇集模块对由所述统一请求入口发送的所述统一资源定位符进行解析。

优选的，所述响应于所述操作请求指向至少一个所述第二集群，根据所述操作请求的类型，通过所述自定义API-Server组件对所述第一集群的数据库中预先存储的至少一个所述第二集群的资源对象对应的资源数据进行第三操作，包括：响应于所述统一资源定位符指向至少一个所述第二集群，通过所述自定义API-Server组件对所述第一集群的数据库中预先存储的至少一个所述第二集群的资源对象对应的资源数据进行检索，以获取所述资源对象对应的资源数据。

优选的，所述自定义API-Server组件包括资源检索模块和存储层插件，所述资源检索模块包括检索限制单元；对应的，所述通过所述自定义API-Server组件对所述第一集群的数据库中预先存储的至少一个所述第二集群的资源对象对应的资源数据进行检索，以获取所述资源对象对应的资源数据，包括：所述资源检索模块根据所述检索限制单元对所述资源对象的访问权限设置，判定所述资源对象对应的资源数据是否允许被检索；响应于所述资源对象对应的资源数据允许被检索，所述资源检索模块将所述统一资源定位符转换为通用检索指令，并将所述通用检索指令发送给所述存储层插件；所述存储层插件将所述通用检索指令转换为所述第一集群的数据库使用的数据检索指令，并使用所述数据检索指令在所述第一集群的数据库中获取所述资源对象对应的资源数据。

优选的，响应于所述操作请求为管理请求；对应的，所述输入请求汇集模块对由所述统一请求入口发送的操作请求进行解析,以确定所述操作请求的指向，具体为：所述输入请求汇集模块对所述管理请求中的管理命令的格式进行判定；响应于所述管理命令的格式为单集群管理命令，确定所述操作请求指向所述第一集群；响应于所述管理命令的格式为多集群管理命令，确定所述操作请求指向至少一个所述第二集群。

优选的，所述响应于所述操作请求指向至少一个所述第二集群，根据所述操作请求的类型，通过所述自定义API-Server组件对至少一个所述第二集群中的资源对象进行第四操作，包括：响应于所述操作请求指向至少一个所述第二集群，通过所述输入请求汇集模块将所述多集群管理命令发送给所述自定义API-Server组件；所述自定义API-Server组件根据所述多集群管理命令中的预设可选参数对至少一个所述第二集群进行标记，以对标记的至少一个所述第二集群中的资源对象进行第四操作。

优选的，所述自定义API-Server组件包括多集群资源控制模块，所述多集群资源控制模块包括资源分发单元和至少一个集群代理单元，所述集群代理单元包括身份验证子单元；对应的，所述自定义API-Server组件根据所述多集群管理命令中的预设可选参数对至少一个所述第二集群进行标记，以对标记的至少一个所述第二集群的中的资源对象进行第四操作；包括：所述资源分发单元从所述输入请求汇集模块接收所述多集群管理命令，并根据所述多集群管理命令中的所述预设可选参数确定要标记的至少一个所述第二集群；所述资源分发单元将所述多集群管理命令转化为标记的所述第二集群对应的集群管理命令，并由所述集群代理单元发送给对应的所述第二集群的API-Server组件，以通过对应的所述第二集群的API-Server组件对其对应的所述第二集群中的资源对象进行第四操作；其中，所述集群代理单元与对应的所述第二集群的API-Server组件之间通过https协议通信。

本申请实施例还提供一种基于统一请求入口的多集群资源操作系统，所述多集群包括第一集群和至少一个第二集群，所述系统包括：部署在所述第一集群中的所述统一请求入口、API-Server拓展组件和自定义API-Server组件，所述API-Server拓展组件包括输入请求汇集模块和所述第一集群的API-Server组件；所述输入请求汇集模块，配置为对由所述统一请求入口发送的操作请求进行解析，以确定所述操作请求的指向；所述第一集群的API-Server组件，配置为响应于所述操作请求指向所述第一集群，根据所述操作请求的类型，对所述第一集群的分布式键值存储数据库中的所述资源对象对应的资源数据进行第一操作，或者，对所述第一集群中的所述资源对象进行第二操作；所述自定义API-Server组件，配置为响应于所述操作请求指向至少一个所述第二集群，根据所述操作请求的类型，对所述第一集群的数据库中预先存储的至少一个所述第二集群的资源对象对应的资源数据进行第三操作，或者，对至少一个所述第二集群中的资源对象进行第四操作。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序为如上述任一实施例所述的基于统一请求入口的多集群资源操作方法。

本申请实施例还提供一种电子设备，包括：存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上述任一实施例所述的基于统一请求入口的多集群资源操作方法。

有益效果：

本申请技术应用中，多集群包括第一集群和至少一个第二集群，在第一集群中部署有统一请求入口、API-Server拓展组件和自定义API-Server组件，API-Server拓展组件包括输入请求汇集模块和第一集群的API-Server组件；输入请求汇集模块对由统一请求入口发送的操作请求进行解析，确定操作请求具体请求进行操作的资源对象位于第一集群还是至少一个第二集群中；如果操作请求具体请求操作的资源对象位于第一集群中，则根据操作请求的类型，确定是通过第一集群的API-Server组件对第一集群的分布式键值存储数据中的资源对象对应的资源数据进行第一操作，还是通过第一集群的API-Server组件对第一集群中的资源对象进行第二操作；如果操作请求具体请求操作的资源对象位于至少一个第二集群，则根据操作请求的类型，确定是通过自定义API-Server组件对第一集群的数据库中预先存储的至少一个第二集群的资源对象对应的资源数据进行第三操作，还是通过自定义API-Server组件对至少一个第二集群中的资源对象进行第四操作。籍此，使得多集群管理员能够在多集群环境下通过统一请求入口实现对多集群中的资源数据或者资源对象进行相应操作，即通过第一集群中的统一请求入口对任意集群(第一集群或第二集群)中的任意资源数据或者资源对象进行操作，而不需要分别通过每个集群的Kubectl进行操作，有效提升了多集群管理员对多集群中的资源数据和资源对象进行操作的效率。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：

图1为现有技术的一些实施例提供的对集群进行资源管理的逻辑示意图；

图2为根据本申请的一些实施例提供的一种基于统一请求入口的多集群资源操作方法的场景示意图；

图3为根据本申请的一些实施例提供的一种基于统一请求入口的多集群资源操作方法的流程示意图；

图4为根据本申请的一些实施例提供的基于检索请求执行第三操作时的逻辑示意图；

图5为根据本申请的一些实施例提供的基于管理请求执行第四操作时的逻辑示意图；

图6为根据本申请的一些实施例提供的一种基于统一请求入口的多集群资源操作系统的结构示意图；

图7为根据本申请的一些实施例提供的电子设备的结构示意图；

图8为根据本申请的一些实施例提供的电子设备的硬件结构图。

具体实施方式

下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上，本领域的技术人员将清楚，在不脱离本申请的范围或精神的情况下，可在本申请中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型。

图1以Kubernetes集群为例对目前在集群中进行资源管理的方案进行展示，如图1所示，在Kubernetes集群中，不同类型的资源数据被Kubernetes系统的相应组件采集之后，通过自身的API-Server组件存储至分布式键值存储数据库(ETCD)中。比如，容器组(Pod)运行情况的相关数据被kubelet组件实时获取后存入ETCD中。集群管理员通过访问Kubernetes系统的命令行工具——Kubectl，来操作Kubernetes集群中的各种资源对象。比如，通过Kubectl get命令，可以以文本格式列出所在Kubernetes集群中同一类资源类型的一个或多个资源对象；通过kubectl get pods命令，可以以文本格式列出所在Kubernetes集群的所有Pod；通过kubectlapply命令，可以在Kubernetes集群中部署或更新资源对象；通过kubectl delete命令，可以在Kubernetes集群中删除指定的资源对象。

但是，在实际生产过程中，企业通常会部署多个Kubetnetes集群来满足使用需求，通常情况下，会采用主集群/灾备集群、双活集群等部署方式。在多集群环境下，多集群管理员要对所有集群进行资源数据检索或者资源对象管理，需要分别通过每个集群的Kubectl进行操作，整个过程十分繁琐，效率极低。

为此，申请人提出了一种在多集群环境下基于统一请求入口对多集群进行资源管理的方案，使多集群管理员在多集群场景下，可以通过统一请求入口进行多集群资源操作，实现对任意集群中的任意资源数据和资源对象进行相应操作，而不需要分别通过每个集群的Kubectl进行操作，有效提升了多集群管理员对多集群中的资源数据和资源对象进行操作的效率。

示例性场景

在本申请提供的实施例中，多集群场景下，通常包含有一个控制集群作为多集群的核心集群，提供多集群的管理功能，多集群管理员通过部署在控制集群中的多集群资源服务系统对其它集群进行资源操作；即多集群管理员通过控制集群提供的多集群资源服务系统实现对多集群资源对象的操作。

为实现上述目的，申请人从多集群中任意选择一个集群作为控制集群，在控制集群中部署对多集群进行统一资源管理的工具——多集群资源服务系统。为了能够通过控制集群的请求入口实现对其它任意集群的资源对象进行访问、操作，申请人对控制集群中的API-Server组件进行功能拓展，使其成为API-Server拓展组件，并引入自定义API-Server组件，用于对多集群环境下其他集群中的资源对象和资源数据进行相应操作。籍此，由统一请求入口(比如，Kubectl)、API-Server拓展组件和自定义API-Server组件等构成多集群资源服务系统。其中，API-Server拓展组件包括输入请求汇集模块(Aggregator-APIServer)和控制集群的API-Server组件，如图2所示。

同时，还通过控制集群中设置的资源收集器将其它集群的资源数据实时同步存储至部署在控制集群的数据库中。具体的，资源收集器可以通过与其它集群的API-Server组件建立连接的方式，来获取其它集群的资源数据，并且当其它集群中的资源数据发生变化时，资源收集器能够及时收到相应的资源数据变化对象，并根据资源数据变化对象，对数据库中存储的资源数据进行更新。

资源收集器收集的资源对象对应的资源数据包括但不限于资源对象所在集群的标识信息、资源对象的类型、命名空间、资源对象的名称、资源对象的版本号，这些信息作为资源数据的一个字段或者属性存储在数据库中，以供检索时使用。

可以理解的是，由于控制集群中部署有集群的全部核心组件，比如，kubectl、API-Server组件和ETCD等，控制集群本身的资源数据存储在控制集群的ETCD中，多集群管理员通过控制集群的API-Server组件即可直接对控制集群中的资源对象和资源对象对应的资源数据进行实时操作，而无需存储至数据库中。比如，可以通过控制集群的API-Server组件直接对控制集群中的资源对象对应的资源数据进行检索，或者，直接对控制集群中的资源对象进行管理。

但是，其它集群中的资源对象对应的资源数据则需要先同步存储至控制集群中的数据库中，才能够被多集群管理员实时检索。原因在于，如果未将其它集群中的资源对象对应的资源数据预先进行存储，则需要实时访问其它每个集群的API-Server组件，来获取其它每个集群中的全部资源数据并对所有资源数据进行汇总，受集群间数据传输效率和可靠性影响很大，不仅效率低下，而且不可靠，容易受网络波动影响而造成资源数据缺失，导致检索结果不准确。

在此，为便于说明，将控制集群定义为第一集群，多集群中的其它集群定义为第二集群，即多集群包括第一集群和至少一个第二集群。第一集群中部署有统一请求入口、API-Server拓展组件和自定义API-Server组件，API-Server拓展组件包括输入请求汇集模块和第一集群的API-Server组件。

需要说明的是，由统一请求入口、API-Server拓展组件和自定义API-Server组件等构成的多集群资源服务系统也可以部署在其它任一集群中，当多集群资源服务系统部署在其它任一集群中时，该集群即对应转变为控制集群。

示例性方法

在本申请实施例中，分别以检索请求、管理请求作为操作请求实例对基于统一请求入口的多集群资源管理的技术方案进行说明，可以理解的是，此并非对操作请求进行限制。

如图3所示，该基于统一请求入口的多集群资源操作方法包括：

步骤S301、输入请求汇集模块对由统一请求入口发送的操作请求进行解析，以确定操作请求的指向。

其中，操作请求用于请求对位于第一集群或者至少一个第二集群的资源对象或者资源数据进行相应操作。

本申请实施例中，多集群管理员在第一集群的统一请求入口输入操作请求，操作请求由统一请求入口转发至第一集群的输入请求汇集模块(Aggregator-APIServer组件)，由Aggregator-APIServer组件确定操作请求是指向第一集群还是指向至少一个第二集群，亦或者该操作请求同时指向第一集群和至少一个第二集群。

在一些可选实施例中，响应于操作请求为检索请求；基于统一请求入口的多集群资源操作方法还包括：响应于检索请求为检索命令，统一请求入口将检索命令转换为统一资源定位符后发送给输入请求汇集模块，以由输入请求汇集模块对由统一请求入口发送的统一资源定位符进行解析；响应于检索请求为统一资源定位符，统一请求入口直接将统一资源定位符发送给输入请求汇集模块，以由输入请求汇集模块对由统一请求入口发送的统一资源定位符进行解析。

在一应用场景中，多集群管理员在统一请求入口输入检索命令，则统一请求入口将该检索命令转化为统一资源定位符(URL)，并转发至第一集群的Aggregator-APIServer组件，由Aggregator-APIServer组件对URL进行解析，根据URL的解析内容，确定资源对象的资源定位信息。其中，资源定位信息包括资源对象所在集群的标识信息、资源对象的名称中的至少一种。此外，还可以包括资源对象的类型、资源对象的版本号、命名空间等信息，本申请实施例对此不做限定。

可以理解，如果资源定位信息包含资源对象所在集群的标识信息，则Aggregator-APIServer组件可以确定要检索的资源数据对应的集群，将统一资源定位符发送至第一集群的API-Server组件或者自定义API-Server组件。如果资源定位信息未包含资源对象所在集群的标识信息，则Aggregator-APIServer组件需要将统一资源定位符同时发送至第一集群的API-Server组件和自定义API-Server组件。

需要特别说明的是，多集群管理员在统一请求入口输入检索命令时可以根据需求添加相应参数，比如需要对资源数据的检索结果进行过滤、排序、分页等操作，则可以在检索命令中添加相应参数，则统一请求入口在显示检索到的资源数据时，会根据相应参数进行处理，此处不再赘述。

在另一应用场景中，多集群管理员在统一请求入口直接输入URL，统一请求入口无需再进行转化操作，而是直接将URL转发至Aggregator-APIServer组件，由Aggregator-APIServer组件对URL进行解析，根据URL的解析内容，确定资源对象的资源定位信息。

在一些可选实施例中，响应于操作请求为管理请求，对应的，输入请求汇集模块对由统一请求入口发送的操作请求进行解析，以确定操作请求的指向，具体为：输入请求汇集模块对管理请求中的管理命令的格式进行判定；响应于管理命令的格式为单集群管理命令，确定操作请求指向第一集群；响应于管理命令的格式为多集群管理命令，确定操作请求指向至少一个第二集群。

基于对前述说明可知，现有技术中，多集群管理员通过在Kubectl中输入请求或者命令来进行单个集群中的资源操作，比如在Kubectl中输入kubectl get命令、kubectl getpods命令、kubectl apply命令、kubectl delete命令，以实现对单个集群中的资源对象进行各种类型的操作。

相应地，在本申请实施例中，输入请求汇集模块对管理请求中的管理命令的格式进行判断，如果管理命令的格式为现有技术中适用于单个集群的请求或者命令，则将该管理命令判定为单集群管理命令，指向第一集群。

如果管理命令的格式包括预设可选参数或者包括多个集群的唯一标识信息，则将该管理命令判定为多集群管理命令，指向至少一个第二集群。比如说，kubeclt get<resource.yaml>命令、kubectlget pods<resource.yaml>命令、kubectl apply<resource.yaml>命令、kubectl delete<resource.yaml>命令，或者，kubeclt getcluster-1cluster-2命令、kubectl get pods cluster-1cluster-2命令、kubectl applycluster-1cluster-2命令、kubectl delete cluster-1cluster-2命令，此处不再赘述。

步骤S302、响应于操作请求指向第一集群，根据操作请求的类型，通过第一集群的API-Server组件对第一集群的分布式键值存储数据库中的资源对象对应的资源数据进行第一操作，或者，对第一集群中的资源对象进行第二操作。

在一具体的例子中，响应于操作请求为检索请求，且操作请求指向第一集群时，通过第一集群的API-Server组件从第一集群的分布式键值存储数据库中获取资源对象对应的资源数据。

具体的，如果Aggregator-APIServer组件根据URL的内容确定的资源对象的资源定位信息位于第一集群，则由Aggregator-APIServer组件将URL转发至第一集群的API-Server组件，由第一集群的API-Server组件对URL进行一步解析。

需要说明的是，第一集群中的全部资源对象按类型可以分为原生资源对象和自定义资源对象(即CRD资源对象)，获取CRD资源对象对应的资源数据和原生资源对象略有不同，需要通过APIExtension-APIServer组件。

也就是说，如果第一集群的API-Server组件对URL的解析结果不涉及CRD资源对象，则直接通过第一集群的API-Server组件从第一集群的ETCD中获取资源对象对应的资源数据，并反馈至统一请求入口进行显示。

如果第一集群的API-Server组件对URL的解析结果涉及的资源对象包括CRD资源对象时，则除了需要通过第一集群的API-Server组件获取原生资源对象对应的资源数据以外，还需要进一步将URL转发至APIExtension-APIServer组件，通过APIExtension-APIServer组件从第一集群的ETCD中获取CRD资源对象对应的资源数据，并将所有资源对象对应的资源数据一并反馈至统一请求入口进行显示。

在一具体的例子中，响应于操作请求为管理请求，且操作请求指向第一集群时，即管理命令的格式为单集群管理命令，通过输入请求汇集模块将单集群管理命令发送给第一集群的API-Server组件，以由第一集群的API-Server组件对第一集群中的资源对象进行第二操作。

具体的，Aggregator-APIServer组件将单集群管理命令转发至第一集群的API-Server组件，由第一集群的API-Server组件对单集群管理命令进行进一步解析。

如果第一集群的API-Server组件对单集群管理命令的解析结果不涉及CRD资源对象，则直接通过第一集群的API-Server组件对第一集群中的资源对象进行管理。

如果第一集群的API-Server组件对单集群管理命令的解析结果涉及的资源对象包括CRD资源对象时，则除了需要通过第一集群的API-Server组件对原生资源对象进行管理以外，还需要进一步将单集群管理命令转发至APIExtension-APIServer组件，通过APIExtension-APIServer组件对第一集群中的资源对象进行管理。

步骤S303、响应于操作请求指向至少一个第二集群，根据操作请求的类型，通过自定义API-Server组件对第一集群的数据库中预先存储的至少一个第二集群的资源对象对应的资源数据进行第三操作，或者，对至少一个第二集群中的资源对象进行第四操作。

在本申请实施例中，当操作请求指向至少一个第二集群时，则根据操作请求的类型，对至少一个第二集群的资源对象进行第三操作或者第四操作。具体的，当操作请求为检索请求时，通过自定义API-Server组件对第一集群的数据库中预先存储的至少一个第二集群的资源对象对应的资源数据进行第三操作；当操作请求为管理请求时，通过自定义API-Server组件对至少一个第二集群中的资源对象进行第四操作。

在一些可选实施例中，图4为根据本申请的一些实施例提供的基于检索请求执行第三操作时的逻辑示意图，如图4所示，响应于操作请求为检索请求，通过自定义API-Server组件对第一集群的数据库中预先存储的至少一个第二集群的资源对象对应的资源数据进行第三操作时，响应于统一资源定位符指向至少一个第二集群，通过自定义API-Server组件对第一集群的数据库中预先存储的至少一个第二集群的资源对象对应的资源数据进行检索，以获取资源对象对应的资源数据。

在此，需要说明的是，执行第三操作时，通过第一集群中设置的资源收集器将每个第二集群的资源数据实时同步存储至部署在第一集群的数据库中，并对数据库中存储的资源数据进行实时更新。具体的，资源收集器通过与每个第二集群的API-Server组件建立连接的方式，来获取每个第二集群的资源数据，并且当第二集群中的资源数据发生变化时，资源收集器能够及时收到相应的资源数据变化对象，并根据资源数据变化对象，对数据库中存储的资源数据进行更新。

在执行第三操作时，自定义API-Server组件包括资源检索模块和存储层插件，资源检索模块包括检索限制单元。资源检索模块根据检索限制单元对资源对象的访问权限设置，判定资源对象对应的资源数据是否允许被检索；响应于资源对象对应的资源数据允许被检索，资源检索模块将统一资源定位符转换为通用检索指令，并将通用检索指令发送给存储层插件；存储层插件将通用检索指令转换为第一集群的数据库使用的数据检索指令，并使用数据检索指令在第一集群的数据库中获取资源对象对应的资源数据。

具体的，当多集群管理员在第一集群的统一请求入口输入检索请求检索其它集群中的资源数据时，输入的检索命令通过Aggregator-APIServer组件转换为URL，并转发至自定义API-Server组件中的资源检索模块，输入的URL则会被Aggregator-APIServer组件直接转发至自定义API-Server组件中的资源检索模块。由资源检索模块对URL进行进一步解析，并根据检索限制单元的权限设置，判定要检索的资源数据是否允许被多集群管理员检索；如果允许，则将URL转换为通用检索指令下发给存储层插件，由存储层插件根据数据库的类型，将通用检索指令转换为与数据库对应的数据检索指令，并由数据库根据数据检索指令反馈对应的结果，即从数据库中获取资源对象对应的资源数据,在统一请求入口进行显示。

需要说明的是，存储层插件是以插件的形式部署在自定义API-Server组件中，作为资源检索模块和数据库的中间层，籍此，使得能够支持不同类型的数据库对资源数据进行存储，有效适应云原生场景下数据库部署时的扩展需求。

在一些可选实施例中，图5为根据本申请的一些实施例提供的基于管理请求执行第四操作时的逻辑示意图，如图5所示，响应于操作请求为管理请求,通过自定义API-Server组件对至少一个第二集群中的资源对象进行第四操作时，响应于操作请求指向至少一个第二集群，通过输入请求汇集模块将多集群管理命令发送给自定义API-Server组件；自定义API-Server组件根据多集群管理命令中的预设可选参数对至少一个第二集群进行标记，以对标记的至少一个第二集群中的资源对象进行第四操作。

在本申请实施例中，如果管理请求对应于多集群，则Aggregator-APIServer组件将该多集群管理命令转发至自定义API-Server组件；由自定义API-Server组件对多集群管理命令进行解析，根据预设可选参数将多集群管理命令转化为对应的第二集群的单集群管理命令，并通过自定义API-Server组件与每个第二集群的API-Server组件之间的连接，将第二集群对应的单集群管理命令分发给相对应的第二集群，以此实现对相应的第二集群中的资源对象的管理。

具体的，在执行第四操作时，自定义API-Server组件包括多集群资源控制模块，多集群资源控制模块包括资源分发单元和至少一个集群代理单元，集群代理单元包括身份验证子单元。资源分发单元从输入请求汇集模块接收多集群管理命令，并根据多集群管理命令中的预设可选参数确定要标记的至少一个第二集群；资源分发单元将多集群管理命令转化为标记的第二集群对应的集群管理命令，并由集群代理单元发送给对应的第二集群的API-Server组件，以通过对应的第二集群的API-Server组件对其对应的第二集群中的资源对象进行第四操作。

其中，集群代理单元与对应的第二集群的API-Server组件之间通过https协议通信，以防止集群代理单元与第二集群的API-Server组件之间的通信被第三方恶意拦截或者篡改。

需要说明的是，在每个集群代理单元中部署的身份验证子单元，用于和对应的第二集群中的API-Server中的身份验证模块进行双向身份验证，以确保集群代理单元与对应的第二集群中的API-Server组件之间的身份验证可靠，防止第三方冒充第一集群对第二集群中的资源对象和资源数据进行恶意操作。

在一具体的例子中，多集群管理员在第一集群的统一请求入口输入管理请求对至少一个第二集群的资源对象进行管理，多集群管理命令通过Aggregator-APIServer模块转发至自定义API-Server组件中的多集群资源控制模块中的资源分发单元，资源分发单元对多集群管理命令中的预设可选参数标识的yaml文件进行解析，根据yaml文件中的labels字段确定多集群管理命令对应的第二集群，将多集群管理命令转化为第二集群对应的单集群管理命令，并通过与每个第二集群一一对应的集群代理单元将第二集群对应的单集群管理命令发送给对应的第二集群的API-Server组件。具体的，集群代理单元经由https协议将第二集群对应的单集群管理命令发送给对应的第二集群的API-Server组件，以实现在对应的第二集群中进行资源对象的管理操作。

上述例子的yaml文件的内容如下：

需要说明的是，上述yaml文件(resource.yaml)仅为一个示例，并不形成对本申请技术方案的限制。具体的，可以将yaml文件命名为service.yaml，当多集群管理员需要在集群cluster-1和集群cluster-2中同时部署service时，只需要在第一集群的统一请求入口(kubectl)中输入kubeclt apply service.yaml clusters命令，即可将kubeclt applyclusters命令分发至集群cluster-1和集群cluster-2(通过service.yaml文件中的labels字段进行设置)。可以理解，当需要对多个第二集群进行资源部署时，只需要在相应的yaml文件中的labels字段对需要进行资源部署的第二集群进行标记，并使用多集群管理命令中的预设可选参数将管理命令分发至标记过的第二集群即可。比如说，多集群管理员在统一请求入口输入kubeclt apply<resource.yaml>clusters命令，即可在标记过的第二集群中同时部署或者更新clusters资源，在统一请求入口输入kubeclt delete<resource.yaml>clusters命令，即可在标记过的第二集群中同时删除clusters资源。

籍此，通过在yaml文件对多集群管理命令对应的第二集群进行标记，实现了对多个第二集群中的相应资源对象同时进行管理操作，有效提升了资源对象管理的效率。

在本申请实施例中，通过对第一集群的API-Server组件的功能进行拓展，并引入自定义API-Server组件，利用资源检索模块检索其它集群中的资源数据；利用多集群资源控制模块管理其它集群中的资源对象；使多集群管理员在多集群场景下，可以通过统一请求入口进行多集群中的资源数据或者资源对象进行相应操作，实现对任意集群中的任意资源数据或者资源对象进行操作，而不需要分别通过每个集群的Kubectl进行操作，有效提升了多集群管理员对多集群中的资源数据和资源对象进行操作的效率。而且，在资源检索模块中设置了检索限制单元，使得统一请求入口仅对多集群管理员可以访问的资源数据进行显示，实现了多集群资源数据访问权限的管控。

示例性系统

如图6所示，该基于统一请求入口的多集群资源操作系统中，多集群包括第一集群和至少一个第二集群，该系统包括：部署在第一集群中的统一请求入口、API-Server拓展组件和自定义API-Server组件603，API-Server拓展组件包括输入请求汇集模块601和第一集群的API-Server组件602；

输入请求汇集模块601，配置为对由统一请求入口发送的操作请求进行解析，以确定操作请求的指向；第一集群的API-Server组件602，配置为响应于操作请求指向第一集群，根据操作请求的类型，对第一集群的分布式键值存储数据库中的资源对象对应的资源数据进行第一操作，或者，对第一集群中的资源对象进行第二操作；自定义API-Server组件603，配置为响应于操作请求指向至少一个第二集群，根据操作请求的类型，对第一集群的数据库中预先存储的至少一个第二集群的资源对象对应的资源数据进行第三操作，或者，对至少一个第二集群中的资源对象进行第四操作。

本申请实施例提供的基于统一请求入口的多集群资源操作系统能够实现上述任一基于统一请求入口的多集群资源操作方法的步骤、流程，并达到相通的有益效果，在此不再一一赘述。

示例性设备

图7为根据本申请的一些实施例提供的电子设备的结构示意图；如图7所示，该电子设备包括：

一个或多个处理器701；

计算机可读存储介质，可以配置为存储一个或多个程序702，一个或多个处理器701执行一个或多个程序702时，实现如下步骤：输入请求汇集模块对由统一请求入口发送的操作请求进行解析,以确定操作请求的指向；响应于操作请求指向第一集群，根据操作请求的类型，通过第一集群的API-Server组件对第一集群的分布式键值存储数据库中的资源对象对应的资源数据进行第一操作，或者，对第一集群中的资源对象进行第二操作；响应于操作请求指向至少一个第二集群，根据操作请求的类型，通过自定义API-Server组件对第一集群的数据库中预先存储的至少一个第二集群的资源对象对应的资源数据进行第三操作，或者，对至少一个第二集群中的资源对象进行第四操作。

图8为根据本申请的一些实施例提供的电子设备的硬件结构；如图8所示，该电子设备的硬件结构可以包括：处理器801、通信接口802、计算机可读存储介质803和通信总线804。

其中，处理器801、通信接口802、计算机可读存储介质803通过通信总线804完成相互间的通信。

可选地，通信接口802可以为通信模块的接口，如GSM模块的接口。

其中，处理器801具体可以配置为：输入请求汇集模块对由统一请求入口发送的操作请求进行解析,以确定操作请求的指向；响应于操作请求指向第一集群，根据操作请求的类型，通过第一集群的API-Server组件对第一集群的分布式键值存储数据库中的资源对象对应的资源数据进行第一操作，或者，对第一集群中的资源对象进行第二操作；响应于操作请求指向至少一个第二集群，根据操作请求的类型，通过自定义API-Server组件对第一集群的数据库中预先存储的至少一个第二集群的资源对象对应的资源数据进行第三操作，或者，对至少一个第二集群中的资源对象进行第四操作。

处理器801可以是通用处理器，包括中央处理器(centralprocessing unit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请实施例的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如：iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如：iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其它具有数据交互功能的电子装置。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可以将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器存储介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的基于统一请求入口的多集群资源操作方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和涉及约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

以上所描述得设备及系统实施例仅仅是示意性的，其中作为分离不见说明的单元可以使或者也可以不是物理上分开的，作为单元提示的不见可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于统一请求入口的多集群资源操作方法，其特征在于，所述多集群包括第一集群和至少一个第二集群，所述第一集群中部署有所述统一请求入口、API-Server拓展组件和自定义API-Server组件，所述API-Server拓展组件包括输入请求汇集模块和所述第一集群的API-Server组件；所述方法包括：

所述输入请求汇集模块对由所述统一请求入口发送的操作请求进行解析，以确定所述操作请求的指向；

响应于所述操作请求指向所述第一集群，根据所述操作请求的类型，通过所述第一集群的API-Server组件对所述第一集群的分布式键值存储数据库中的所述资源对象对应的资源数据进行第一操作，或者，对所述第一集群中的所述资源对象进行第二操作；

响应于所述操作请求指向至少一个所述第二集群，根据所述操作请求的类型，通过所述自定义API-Server组件对所述第一集群的数据库中预先存储的至少一个所述第二集群的资源对象对应的资源数据进行第三操作，或者，对至少一个所述第二集群中的资源对象进行第四操作。

2.根据权利要求1所述的基于统一请求入口的多集群资源操作方法，其特征在于，响应于所述操作请求为检索请求；

所述方法还包括：

响应于所述检索请求为检索命令，所述统一请求入口将所述检索命令转换为统一资源定位符后发送给所述输入请求汇集模块，以由所述输入请求汇集模块对由所述统一请求入口发送的所述统一资源定位符进行解析；

响应于所述检索请求为统一资源定位符，所述统一请求入口直接将所述统一资源定位符发送给所述输入请求汇集模块，以由所述输入请求汇集模块对由所述统一请求入口发送的所述统一资源定位符进行解析。

3.根据权利要求1所述的基于统一请求入口的多集群资源操作方法，其特征在于，所述响应于所述操作请求指向至少一个所述第二集群，根据所述操作请求的类型，通过所述自定义API-Server组件对所述第一集群的数据库中预先存储的至少一个所述第二集群的资源对象对应的资源数据进行第三操作，包括：

响应于所述统一资源定位符指向至少一个所述第二集群，通过所述自定义API-Server组件对所述第一集群的数据库中预先存储的至少一个所述第二集群的资源对象对应的资源数据进行检索，以获取所述资源对象对应的资源数据。

4.根据权利要求3所述的基于统一请求入口的多集群资源操作方法，其特征在于，所述自定义API-Server组件包括资源检索模块和存储层插件，所述资源检索模块包括检索限制单元；

对应的，

所述通过所述自定义API-Server组件对所述第一集群的数据库中预先存储的至少一个所述第二集群的资源对象对应的资源数据进行检索，以获取所述资源对象对应的资源数据，包括：

所述资源检索模块根据所述检索限制单元对所述资源对象的访问权限设置，判定所述资源对象对应的资源数据是否允许被检索；

响应于所述资源对象对应的资源数据允许被检索，所述资源检索模块将所述统一资源定位符转换为通用检索指令，并将所述通用检索指令发送给所述存储层插件；

所述存储层插件将所述通用检索指令转换为所述第一集群的数据库使用的数据检索指令，并使用所述数据检索指令在所述第一集群的数据库中获取所述资源对象对应的资源数据。

5.根据权利要求1所述的基于统一请求入口的多集群资源操作方法，其特征在于，响应于所述操作请求为管理请求；

对应的，

所述输入请求汇集模块对由所述统一请求入口发送的操作请求进行解析,以确定所述操作请求的指向，具体为：

所述输入请求汇集模块对所述管理请求中的管理命令的格式进行判定；

响应于所述管理命令的格式为单集群管理命令，确定所述操作请求指向所述第一集群；

响应于所述管理命令的格式为多集群管理命令，确定所述操作请求指向至少一个所述第二集群。

6.根据权利要求5所述的基于统一请求入口的多集群资源操作方法，其特征在于，所述响应于所述操作请求指向至少一个所述第二集群，根据所述操作请求的类型，通过所述自定义API-Server组件对至少一个所述第二集群中的资源对象进行第四操作，包括：

响应于所述操作请求指向至少一个所述第二集群，通过所述输入请求汇集模块将所述多集群管理命令发送给所述自定义API-Server组件；

所述自定义API-Server组件根据所述多集群管理命令中的预设可选参数对至少一个所述第二集群进行标记，以对标记的至少一个所述第二集群中的资源对象进行第四操作。

7.根据权利要求6所述的基于统一请求入口的多集群资源操作方法，其特征在于，所述自定义API-Server组件包括多集群资源控制模块，所述多集群资源控制模块包括资源分发单元和至少一个集群代理单元，所述集群代理单元包括身份验证子单元；

对应的，

所述自定义API-Server组件根据所述多集群管理命令中的预设可选参数对至少一个所述第二集群进行标记，以对标记的至少一个所述第二集群中的资源对象进行第四操作；包括：

所述资源分发单元从所述输入请求汇集模块接收所述多集群管理命令，并根据所述多集群管理命令中的所述预设可选参数确定要标记的至少一个所述第二集群；

所述资源分发单元将所述多集群管理命令转化为标记的所述第二集群对应的集群管理命令，并由所述集群代理单元发送给对应的所述第二集群的API-Server组件，以通过对应的所述第二集群的API-Server组件对其对应的所述第二集群中的资源对象进行第四操作；其中，所述集群代理单元与对应的所述第二集群的API-Server组件之间通过https协议通信。

8.一种基于统一请求入口的多集群资源操作系统，其特征在于，所述多集群包括第一集群和至少一个第二集群，所述系统包括：部署在所述第一集群中的所述统一请求入口、API-Server拓展组件和自定义API-Server组件，所述API-Server拓展组件包括输入请求汇集模块和所述第一集群的API-Server组件；

所述输入请求汇集模块，配置为对由所述统一请求入口发送的操作请求进行解析，以确定所述操作请求的指向；

所述第一集群的API-Server组件，配置为响应于所述操作请求指向所述第一集群，根据所述操作请求的类型，对所述第一集群的分布式键值存储数据库中的所述资源对象对应的资源数据进行第一操作，或者，对所述第一集群中的所述资源对象进行第二操作；

所述自定义API-Server组件，配置为响应于所述操作请求指向至少一个所述第二集群，根据所述操作请求的类型，对所述第一集群的数据库中预先存储的至少一个所述第二集群的资源对象对应的资源数据进行第三操作，或者，对至少一个所述第二集群中的资源对象进行第四操作。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序为如权利要求1-7任一所述的基于统一请求入口的多集群资源操作方法。

10.一种电子设备，其特征在于，包括：存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1-7任一所述的基于统一请求入口的多集群资源操作方法。

Images