CN115150410A

CN115150410A - 多集群访问方法和系统

Info

Publication number: CN115150410A
Application number: CN202210847314.XA
Authority: CN
Inventors: 李宏林
Original assignee: Jingdong Technology Information Technology Co Ltd
Current assignee: Jingdong Technology Information Technology Co Ltd
Priority date: 2022-07-19
Filing date: 2022-07-19
Publication date: 2022-10-04
Also published as: WO2024016624A1

Abstract

本公开提供了一种多集群访问方法和系统，涉及计算机技术领域。该方法包括：主集群与子集群进行资源同步；将同步的资源的相关信息发送至数据面；接收数据面反馈的多个虚拟IP地址；以及为每个资源配置对应的虚拟IP地址，其中，每个虚拟IP地址与集群的访问请求对应。本公开能够实现多集群访问。

Description

多集群访问方法和系统

技术领域

本公开涉及计算机技术领域，尤其涉及一种多集群访问方法和系统。

背景技术

Ingress(入口)为进入集群的请求提供路由规则的集合，作为k8s(kubernetes)集群网关解决方案，能够实现集群内服务之间的调用，但利用ingress不能实现多集群访问。

发明内容

本公开要解决的一个技术问题是，提供一种多集群访问方法和系统，能够实现多集群访问。

根据本公开一方面，提出一种多集群访问方法，包括：主集群与子集群进行资源同步；将同步的资源的相关信息发送至数据面；接收数据面反馈的多个虚拟IP地址；以及为每个资源配置对应的虚拟IP地址，其中，每个虚拟IP地址与集群的访问请求对应。

在一些实施例中，资源同步包括：利用主集群内的集群管理器与各个子集群内的集群管理器进行交互，获取各个子集群内每个容器实例pod的资源，以及将主集群中每个pod的资源同步到各个子集群中。

在一些实施例中，资源同步还包括：将每个pod的资源存储在数据库中，并在用户自定义资源CRD文件中保存每个pod的资源对应的快照信息。

在一些实施例中，配置对应的虚拟IP地址包括：将每个pod的资源对应的快照信息与一个虚拟IP地址进行绑定。

在一些实施例中，根据用户指令，执行查询、创建、更新和删除CRD文件中的一项或多项操作。

在一些实施例中，将各个pod的虚拟IP地址与对应的域名绑定。

在一些实施例中，将负载均衡规则发送至数据面，其中，虚拟IP地址基于负载均衡规则和资源的相关信息生成。

在一些实施例中，获取各个子集群内每个pod的资源包括：利用configmap方式，获取每个子集群的kubeconfig文件，其中，kubeconfig文件中的clusterinfo crd用于存储对应的集群的配置信息。

根据本公开的另一方面，还提出一种多集群访问系统，包括：集群管理器，被配置实现主集群与子集群的资源同步；以及负载均衡控制器，被配置为将同步的资源的相关信息发送至数据面，接收数据面反馈的多个虚拟IP地址，为每个资源配置对应的虚拟IP地址，其中，每个虚拟IP地址与集群的访问请求对应。

在一些实施例中，集群管理器，被配置为与各个子集群内的集群管理器进行交互，获取各个子集群内每个容器实例pod的资源，以及将主集群中每个pod的资源同步到各个子集群中。

在一些实施例中，CRD文件，被配置为保存每个pod的资源对应的快照信息。

在一些实施例中，负载均衡控制器被配置为将每个pod的资源对应的快照信息与一个虚拟IP地址进行绑定。

在一些实施例中，根据用户指令，CRD文件被执行查询、创建、更新和删除中的一项或多项操作。

在一些实施例中，全局域名系统，被配置为将各个pod的虚拟IP地址与对应的域名绑定。

在一些实施例中，负载均衡控制器还被配置为将负载均衡规则发送至数据面，其中，虚拟IP地址基于负载均衡规则和资源的相关信息生成。

在一些实施例中，集群管理器，被配置为利用configmap方式，获取每个子集群的kubeconfig文件，其中，kubeconfig文件中的clusterinfo crd用于存储对应的集群的配置信息。

根据本公开的另一方面，还提出一种多集群访问系统，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的多集群访问方法。

根据本公开的另一方面，还提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的多集群访问方法。

本公开实施例中，控制面通过主集群与子集群的资源同步，并将同步的资源的相关信息被发送至数据面，由数据面生成多个虚拟IP地址，每个资源配置对应的虚拟IP地址后，数据面能够将访问请求转发至对应的集群，从而解决了多集群的访问问题。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开的多集群访问方法的一些实施例的流程示意图；

图2为本公开的多集群访问方法的另一些实施例的流程示意图；

图3为本公开的多集群访问系统的一些实施例的结构示意图；

图4为本公开的多集群访问系统的另一些实施例的结构示意图；

图5为本公开的多集群访问系统的另一些实施例的结构示意图；以及

图6为本公开的多集群访问系统的另一些实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

图1为本公开的多集群访问方法的一些实施例的流程示意图，该实施例由控制面执行。

在步骤110，主集群与子集群进行资源同步。

在一些实施例中，利用位于主集群内的集群管理器，能够实现主集群与子集群之间的资源同步，主集群能够获得各个子集群内每个pod(容器实例)的资源信息。

在一些实施例中，将每个pod的资源存储在数据库中，并在CRD文件中保存每个pod的资源对应的快照信息。

在步骤120，将同步的资源的相关信息发送至数据面。

在一些实施例中，负载均衡控制器监控CRD文件中的每个pod的快照信息，并pod的快照信息将同步至数据面。

在一些实施例中，负载均衡控制器将CRD文件中存储的负载均衡规则信息同步至数据面。

在步骤130，接收数据面反馈的多个虚拟IP地址。

在一些实施例中，数据面根据负载均衡规则和每个pod的快照信息，生成多个虚拟IP地址，并将虚拟IP地址发送至负载均衡控制器。

在步骤140，为每个资源配置对应的虚拟IP地址，其中，每个虚拟IP地址与集群的访问请求对应。

在一些实施例中，用户向数据面发送访问请求后，数据面能够基于虚拟IP地址，将访问请求发送至对应集群的pod。

在上述实施例中，控制面通过主集群与子集群的资源同步，并将同步的资源的相关信息被发送至数据面，由数据面生成多个虚拟IP地址，每个资源配置对应的虚拟IP地址后，数据面能够将访问请求转发至对应的集群，从而解决了多集群的访问问题。

图2为本公开的多集群访问方法的另一些实施例的流程示意图。

在步骤210，利用集群管理器，实现主集群与子集群同步资源。

在一些实施例中，为了实现全局负载均衡，需要收集多个集群容器的能力。集群管理器(cluster manager)作为核心组件，能够解决多集群pod采集问题。例如，利用主集群内的集群管理器与各个子集群内的集群管理器进行交互，获取各个子集群内每个pod的资源，以及将主集群中每个pod的资源同步到各个子集群中。这样，子集群中也能够获得其他集群的pod资源。

在一些实施例中，集群管理器利用configmap方式，获取每个子集群的kubeconfig文件，其中，kubeconfig文件中的clusterinfo crd用于存储对应的集群的配置信息。

在一些实施例中，位于主集群的CRD控制器根据集群信息，生成同步的集群管理器pod，用于跟子集群同步资源，集群管理器采用挂载confgmap方式，获取kubeconfig配置信息，并利用通过k8s加锁方式实现多个pod主从备份模式。

在一些实施例中，configmap能够实现对容器中应用的配置管理；kubeconfig文件是k8s api server(应用程序编程接口服务器)认证文件，包含了集群、用户、namespace(命名空间)和认证机制信息；spec.config:存储主集群和子集群的配置文件。

在步骤220，集群管理器将每个pod的资源存储在数据库中，并在CRD文件中保存每个pod的资源对应的快照信息。

单个pod与多集群进行数据交互时，若数据量大，例如，集群数据量大，则etcd(分布式键值存储系统)支持大数据存储的性能也会下降。该实施例中，将pod的资源存储在数据库中，并在CRD文件中保存每个pod的资源对应的快照信息，通过查询CRD能够找到各个pod信息，能够减少主集群etcd存储压力。

在一些实施例中，CRD文件中还存储有负载均衡规则信息。

在一些实施例中，在主集群中采用四层负载均衡CRD文件，即L4CRD文件，以及七层负载均衡CRD文件，即L7CRD文件来记录集群内的资源与负载均衡的关系。主集群中的federalEndpoint(联邦端点)CRD文件负责记录子集群pod。

在一些实施例中，集群管理器在处理L4CRD文件和L7CRD文件时，会在子集群创建服务，并将Endpoint信息绑定到federalEnpoin。

在一些实施例中，根据用户指令，能够查询、创建、更新或删除CRD文件。即实现多集群资源的查询、创建、更新和删除。

在步骤230，负载均衡控制器将CRD文件中存储的负载均衡规则信息，以及各个pod的资源对应的快照信息发送至数据面。

在步骤240，数据面生成多个虚拟IP地址，并将多个虚拟IP地址反馈至负载均衡控制器。

在一些实施例中，数据面根据负载均衡规则信息，以及各个pod的资源对应的快照信息，生成多个虚拟IP地址，并将多个虚拟IP地址反馈至负载均衡控制器。

在步骤250，负载均衡控制器将每个pod的资源对应的快照信息与一个虚拟IP地址进行绑定。

在步骤260，数据面接收到访问请求后，根据IP地址，将访问请求转发至对应集群的pod。

在一些实施例中，负载均衡控制器通过主集群的federalEndpoint获得后端IP地址，从L4CRD和L7CRD中获得负载均衡规则，将数据面获得的虚拟IP地址绑定到L4CRD和L7CRD，从而能够区分公网IP和私网IP。

在一些实施例中，kubernetes作为docker(容器)调度方案，为用户提供很好的云服务的体验，负载均衡控制器作为kubernetes重要的组件为用户提供访问pod的代理手段。但docker IP地址变化会造成业务使用不方便问题。该实施例中，由数据面反馈虚拟IP地址，负载均衡控制器将pod和虚拟IP地址的对应关系保存在CRD文件中，能够简化访问业务。

在一些实施例中，GDNS(Global Domain Name System，全局域名系统)将各个pod的虚拟IP地址与对应的域名绑定。

例如，GDNS从CRD文件中获取每个pod的虚拟IP地址，并与对应的域名进行绑定，从而使得数据面能够根据域名，将访问请求转发至对应集群的pod。

相关技术中，集群外负载均衡，虽然能够挂载多个集群的ingress，但需经过两次负载均衡才能达到业务容器，流量无法达到均分。该实施例中，访问请求能够直接到达对应集群的pod。

在上述实施例中，主集群获取子集群内各pod信息，并通过负载均衡控制器将每个pod信息发送至数据面，数据面生成虚拟IP地址，负载均衡控制器为每个pod配置虚拟IP地址，从而能够实现多集群内pod的访问，该过程对子集群没有侵入，并且对管理端提供了统一接入方式，屏蔽底层差异，无论访问请求来自哪个管理端，本公开均能够平滑对接子集群，实现负载均衡。

图3为本公开的多集群访问系统的一些实施例的结构示意图，该系统包括集群管理器310和负载均衡控制器310，集群管理器310和负载均衡控制器310位于主集群侧。

集群管理器310被配置实现主集群与子集群的资源同步。

在一些实施例中，位于主集群的集群管理器310被配置为与各个子集群内的集群管理器进行交互，获取各个子集群内每个容器实例pod的资源，以及将主集群中每个pod的资源同步到各个子集群中。

在一些实施例中，集群管理器310被配置为利用configmap方式，获取每个子集群的kubeconfig文件，其中，kubeconfig文件中的clusterinfo crd用于存储对应的集群的配置信息。

在一些实施例中，如图4所示，该系统还包括CRD文件410，被配置为保存每个pod的资源对应的快照信息。例如，集群管理器310将每个pod的资源存储在数据库中，并在CRD文件410中保存每个pod的资源对应的快照信息。

在一些实施例中，CRD文件410中还存储有负载均衡规则信息。

在一些实施例中，根据用户指令，CRD文件410被执行查询、创建、更新和删除操作等。该CRD文件410为L4CRD文件或L7CRD文件。

负载均衡控制器320被配置为将同步的资源的相关信息发送至数据面，接收数据面反馈的多个虚拟IP地址，为每个资源配置对应的虚拟IP地址，其中，每个虚拟IP地址与集群的访问请求对应。

在一些实施例中，负载均衡控制器320将CRD文件中存储的负载均衡规则信息，以及各个pod的资源对应的快照信息发送至数据面。数据面基于负载均衡规则和资源的相关信息，生成多个虚拟IP地址，并将多个虚拟IP地址反馈至负载均衡控制器320。

在一些实施例中，负载均衡控制器320被配置为将每个pod的资源对应的快照信息与一个虚拟IP地址进行绑定。数据面接收到访问请求后，根据IP地址，将访问请求转发至对应集群的pod。

在本公开的另一些实施例中，该系统还包括全局域名系统420，被配置为将各个pod的虚拟IP地址与对应的域名绑定。数据面能够根据域名，将访问请求转发至对应集群的pod。

在上述实施例中，控制面实现主集群与子集群的资源同步，并将同步的资源的相关信息被发送至数据面，由数据面生成多个虚拟IP地址，每个资源配置对应的虚拟IP地址后，数据面能够将访问请求转发至对应的集群，从而能够实现了多集群的访问。另外，本公开对管理端提供了统一接入方式，屏蔽底层差异，无论访问请求来自哪个管理端，均能够平滑对接子集群，实现负载均衡。

在一些具体实施例中，如图5所示，CRD控制器根据集群信息，生成同步的集群管理器pod。管理员能够创建、更新和删除集群管理器。集群管理器在处理L4CRD文件和L7CRD文件时，会在子集群创建服务，并将Endpoint信息绑定到federalEnpoin。API Server作为集群的核心，负责集群各功能模块之间的通信，集群内各个功能模块通过API Server将信息存入etcd。CCM(Cloud Provider Manager，云提供商管理器)为单集群的负载均衡器，实现负载均衡功能。

在kubernetes在推广过程中，跨机房/跨地域容灾，支持多种部署方式，例如灰色发布，金丝雀发布.a/b测试等，针对多集群负载均衡方案的差异性，以及域名服务器的差异性等业务场景，本公开对管理端提供统一接入方式，屏蔽了底层差异，能够平滑对接子集群负载均衡。

图6为本公开的多集群访问系统的另一些实施例的结构示意图。该系统600包括存储器610和处理器620。其中：存储器610可以是磁盘、闪存或其它任何非易失性存储介质。存储器610用于存储上实施例中的指令。处理器620耦接至存储器610，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器620用于执行存储器中存储的指令。

在一些实施例中，处理器620通过BUS总线630耦合至存储器610。该系统600还可以通过存储接口640连接至外部存储装置650以便调用外部数据，还可以通过网络接口660连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够实现多集群访问。

在另一些实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims

1.一种多集群访问方法，包括：

主集群与子集群进行资源同步；

将同步的资源的相关信息发送至数据面；

接收所述数据面反馈的多个虚拟IP地址；以及

为每个资源配置对应的虚拟IP地址，其中，每个虚拟IP地址与集群的访问请求对应。

2.根据权利要求1所述的多集群访问方法，其中，资源同步包括：

利用主集群内的集群管理器与各个子集群内的集群管理器进行交互，获取各个子集群内每个容器实例pod的资源，以及将所述主集群中每个pod的资源同步到各个子集群中。

3.根据权利要求2所述的多集群访问方法，其中，资源同步还包括：

将每个pod的资源存储在数据库中，并在用户自定义资源CRD文件中保存每个pod的资源对应的快照信息。

4.根据权利要求3所述的多集群访问方法，其中，配置对应的虚拟IP地址包括：

将每个pod的资源对应的快照信息与一个虚拟IP地址进行绑定。

5.根据权利要求3或4所述的多集群访问方法，其中，

根据用户指令，执行查询、创建、更新和删除所述CRD文件中的一项或多项操作。

6.根据权利要求2至4任一所述的多集群访问方法，还包括：

将各个pod的虚拟IP地址与对应的域名绑定。

7.根据权利要求1至4任一所述的多集群访问方法，还包括：

将负载均衡规则发送至所述数据面，其中，所述虚拟IP地址基于所述负载均衡规则和资源的相关信息生成。

8.根据权利要求2至4任一所述的多集群访问方法，其中，获取各个子集群内每个pod的资源包括：

利用configmap方式，获取每个子集群的kubeconfig文件，其中，所述kubeconfig文件中的clusterinfo crd用于存储对应的集群的配置信息。

9.一种多集群访问系统，包括：

集群管理器，被配置实现主集群与子集群的资源同步；以及

负载均衡控制器，被配置为将同步的资源的相关信息发送至数据面，接收所述数据面反馈的多个虚拟IP地址，为每个资源配置对应的虚拟IP地址，其中，每个虚拟IP地址与集群的访问请求对应。

10.根据权利要求9所述的多集群访问系统，其中，

所述集群管理器，被配置为与各个子集群内的集群管理器进行交互，获取各个子集群内每个容器实例pod的资源，以及将所述主集群中每个pod的资源同步到各个子集群中。

11.根据权利要求10所述的多集群访问系统，还包括：

CRD文件，被配置为保存每个pod的资源对应的快照信息。

12.根据权利要求11所述的多集群访问系统，其中，

所述负载均衡控制器被配置为将每个pod的资源对应的快照信息与一个虚拟IP地址进行绑定。

13.根据权利要求11或12所述的多集群访问系统，其中，

根据用户指令，所述CRD文件被执行查询、创建、更新和删除中的一项或多项操作。

14.根据权利要求10至12任一所述的多集群访问系统，还包括：

全局域名系统，被配置为将各个pod的虚拟IP地址与对应的域名绑定。

15.根据权利要求9至12任一所述的多集群访问系统，其中，

所述负载均衡控制器还被配置为将负载均衡规则发送至所述数据面，其中，所述虚拟IP地址基于所述负载均衡规则和资源的相关信息生成。

16.根据权利要求10至12任一所述的多集群访问系统，其中，

所述集群管理器，被配置为利用configmap方式，获取每个子集群的kubeconfig文件，其中，所述kubeconfig文件中的clusterinfo crd用于存储对应的集群的配置信息。

17.一种多集群访问系统，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至8任一项所述的多集群访问方法。

18.一种非瞬时性计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至8任一项所述的多集群访问方法。