CN116033000A - 一种云平台及云平台服务调用方法 - Google Patents

Abstract

本申请实施例提供了一种云平台及云平台服务调用方法。其中，云平台包括：管理节点、服务注册与发现组件以及多个可用区，每个可用区包括工作节点，各工作节点中运行有容器组pod；管理节点，用于每当有新增的pod，确定运行新增的pod的工作节点所属可用区，作为目标可用区；并按照预设的可用区与虚拟局域网VLAN网段之间的对应关系，确定目标可用区对应的目标VLAN网段；并为新增的pod分配属于目标VLAN网段的ip地址，并记录为新增的pod分配的ip地址；服务注册与发现组件，用于响应于用于请求目标服务的服务请求，根据管理节点记录的为各pod分配的ip地址，调用ip地址属于同一VLAN网段且用于提供目标服务的pod。能够提高云平台服务调用效率。

Description

一种云平台及云平台服务调用方法

技术领域

本申请涉及容器云平台技术领域，特别是涉及一种云平台及云平台服务调用方法。

背景技术

Kubernetes平台是一个开源的用于管理云平台中多个主机上的容器化的应用的平台，其通常会管理多个可用区，各个可用区中存在多个容器组pod，各个pod之中运行着多个提供各服务的容器。一个可用区一般是一个独立的物理机房，这样可以保证可用区的独立性，可用区内部通信通过专线实现，不同可用区之间通过核心交换机和专线实现通信，而通过核心交换机和专线实现通信比通过专线实现通信的通信延时时间更长，这样使得可用区之间的通信延迟时间远远大于可用区内部的通信延迟时间。

而相关技术中，在服务注册与发现组件调用Kubernetes平台中各pod中的容器服务来实现某一功能时，通常并不区分各pod所属的可用区，也就是说，属于不同可用区的pod中的各容器服务可能会一起被服务注册与发现组件调用使用，这样导致不同可用区之间的pod需要进行频繁通信，而导致通信延迟，降低了服务调用效率。

发明内容

本申请实施例的目的在于提供一种云平台服务调用方法及Kubernetes平台，以提高云平台服务调用效率。具体技术方案如下：

在本发明实施例的第一方面，提供了一种云平台，所述云平台包括管理节点、服务注册与发现组件以及多个可用区，每个所述可用区包括工作节点，各所述工作节点中运行有容器组pod；

所述管理节点，用于每当有新增的pod，确定运行所述新增的pod的工作节点所属可用区，作为目标可用区；并按照预设的可用区与虚拟局域网VLAN网段之间的对应关系，确定所述目标可用区对应的目标VLAN网段；并为所述新增的pod分配属于所述目标VLAN网段的ip地址，并记录为所述新增的pod分配的ip地址；

所述服务注册与发现组件，用于响应于用于请求目标服务的服务请求，根据所述管理节点记录的为各pod分配的ip地址，调用ip地址属于同一VLAN网段且用于提供所述目标服务的pod。

在一种可能的实施例中，所述管理节点包括：控制器和kube-apiserver接口；

所述控制器，用于每当有新增的pod，确定运行所述新增的pod的工作节点所属可用区，作为目标可用区；并按照预设的可用区与虚拟局域网VLAN网段之间的对应关系，确定所述目标可用区对应的目标VLAN网段；并为所述新增的pod分配属于所述目标VLAN网段的ip地址，将为所述新增的pod分配的ip地址发送至所述kube-apiserver接口；

所述kube-apiserver接口，用于接收所述控制器发送的为所述新增的pod分配的ip地址，并将所述ip地址记录至所述管理节点。

在一种可能的实施例中，所述控制器包括：IP管理模块和RestApi接口模块；

所述RestApi接口模块，用于接收所述工作节点发送的分配请求，所述分配请求用于表示所述工作节点需要新增pod，所述分配请求包括所述工作节点所在的目标可用区信息；

所述IP管理模块，用于根据所述分配请求按照预设的可用区与虚拟局域网VLAN网段之间的对应关系，确定所述目标可用区对应的目标VLAN网段；并为所述新增的pod分配属于所述目标VLAN网段的ip地址；将为所述新增的pod分配的ip地址发送至所述kube-apiserver接口；

所述RestApi接口模块，还用于将为所述新增的pod分配的ip地址发送至所述工作节点，以使所述工作节点根据所述ip地址进行网络配置。

在一种可能的实施例中，所述控制器包括：配置模块、VLAN管理模块；

所述配置模块，用于每当所述云平台中有新增的可用区，为所述新增的可用区配置唯一的VLAN网段；

所述VLAN管理模块，用于根据所述VLAN网段为所述可用区注册和管理VLAN网段，并将所述新增的可用区与所述VLAN网段作为预设的对应关系发送至所述kube-apiserver接口；

所述kube-apiserver接口，还用于接收所述VLAN管理模块发送的预设的对应关系，并将所述预设的对应关系记录至所述管理节点。

在一种可能的实施例中，所述代理模块包括：OVS操作子模块和CNI接口子模块；

所述kubelet，具体用于每当工作节点需要新增pod，调用所述代理模块的CNI接口子模块中的新增接口，以使所述代理模块向所述管理节点发送分配请求；

所述OVS操作子模块，用于每当工作节点需要新增pod，创建所述新增的pod对应的网桥veth peer，以使所述代理模块将为所述新增的pod分配的ip地址分配至所述vethpeer，使得所述新增的pod通过所述ip地址进行通信。

在一种可能的实施例中，所述kubelet，还用于每当工作节点需要删除pod，调用所述代理模块的CNI接口子模块中的删除接口，以使所述代理模块向所述管理节点发送删除请求，所述删除请求用于表示所述工作节点请求删除待删除的pod，所述删除请求包括所述待删除的pod的标识；

所述OVS操作子模块，还用于响应于所述代理模块的CNI接口子模块中的删除接口被调用，删除所述待删除的pod对应的veth peer，并释放所述待删除的pod的ip地址；

所述管理节点，还用于根据所述删除请求删除所述管理节点中记录的所述待删除的pod的ip地址，并将删除结果发送至所述代理模块。

在本发明实施例的第二方面，提供了一种云平台服务调用方法，所述方法应用于云平台中的服务注册与发现组件，所述云平台包括：管理节点和多个可用区，每个所述可用区包括工作节点，各所述工作节点中运行有pod，所述管理节点中记录有所述管理节点为各pod分配的ip地址，且所述管理节点为各所述pod分配的ip地址为属于目标虚拟局域网VLAN网段的ip地址，所述目标VLAN网段为运行所述pod的工作节点所属可用区对应的VLAN网段；

所述方法包括：

接收服务请求；

根据所述管理节点记录的为各pod分配的ip地址，调用ip地址属于同一VLAN网段的pod提供所述服务请求所请求的服务。

在本发明实施例的第三方面，提供了一种云平台服务调用装置，所述装置应用于云平台中的服务注册与发现组件，所述云平台包括：管理节点和多个可用区，每个所述可用区包括工作节点，各所述工作节点中运行有pod，所述管理节点中记录有所述管理节点为各pod分配的ip地址，且所述管理节点为各所述pod分配的ip地址为属于目标虚拟局域网VLAN网段的ip地址，所述目标VLAN网段为运行所述pod的工作节点所属可用区对应的VLAN网段；

所述装置包括：

接收模块，用于接收服务请求；

分配模块，用于根据所述管理节点记录的为各pod分配的ip地址，调用ip地址属于同一VLAN网段的pod提供所述服务请求所请求的服务。

在本发明实施例的第四方面，提供了一种电子设备，包括：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第二方面所述的方法。

在本发明实施例的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面所述的方法。

本申请实施例有益效果：

本申请实施例提供的云平台及云平台调用方法，可以由管理节点为工作节点中每个新增的pod都分配和记录属于目标VLAN网段的ip地址，而该目标VLAN网段为新增的pod所在的工作节点所属的可用区对应的VLAN网段，可以理解的是，这样使得同一可用区的各个工作节点中的pod的ip地址都属于目标VLAN网段，即该可用区对应的VLAN网段，因此同一可用区中的pod的ip地址属于相同的目标VLAN网段，而服务注册与发现组件在响应于服务请求调用pod时，会根据管理节点记录的各个pod的ip地址来调用pod服务，具体的，会优先调用ip地址属于同一VLAN网段且用于提供目标服务的pod，以此，实现在服务调用时优先调用同一可用区内的pod，尽可能避免了在云平台服务调用过程中，跨可用区的pod服务调用，从而避免了跨可用区通信使得通信延迟，提高了云平台服务调用效率。。

当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本申请实施例提供的一种云平台的一种结构示意图；

图2为本申请实施例提供的一种管理节点的一种结构示意图；

图3为本申请实施例提供的另一种管理节点的一种结构示意图；

图4为本申请实施例提供的另一种管理节点的一种结构示意图；

图5为本申请实施例提供的一种可用区的一种结构示意图；

图6为本申请实施例提供的一种工作节点的一种结构示意图；

图7为本申请实施例提供的一种云平台服务调用方法的流程示意图；

图8为本申请实施例提供的一种基于k8s的云平台结构示意图；

图9为本申请实施例提供的一种基于图8所提供的云平台中配置pod的ip地址方法的流程图；

图10为本申请实施例提供的一种基于图8所提供的云平台回收pod的ip地址的方法的流程图；

图11为本申请实施例提供的一种电子设备结构示意图。

具体实施方式

为了更加清楚的解释本申请的实施例，下面先对文中将要出现的术语进行解释：

K8S：Kubernetes的简称，是一个开源的、用于管理云平台中多个主机上的容器化的应用，k8s的目标是让部署容器化的应用简单并且高效，k8s提供了应用的部署，规划，更新，维护的机制。

区域：Region，区域指物理的数据中心。每个区域完全独立，这样可以实现最大程度的容错能力和稳定性。区域间一般通过公网访问。

可用区(AZ)：Availability Zone的简称。可用区是同一服务区内，电力和网络互相独立的地理区域，一般是一个独立的物理机房，这样可以保证可用区的独立性。一个区域内有多个可用区，一个可用区发生故障后不会影响同一区域内下的其它可用区。可用区间通过内网访问。

Service：Service是一个定义了一组Pod的策略的抽象服务，我们也有时候叫做宏观服务。这些被服务标记的Pod都是(一般)通过label Selector决定的。K8S提供了一个基于虚拟IP的网桥的服务，这个服务会将请求转发到对应的后台pod。

OVS：全称为Open vSwitch它是一个具有工业级质量的多层虚拟交换机。通过可编程扩展,可以实现大规模网络的自动化(配置、管理、维护)。它支持现有标准管理接口和协议(比如netFlow，sFlow，SPAN，RSPAN，CLI，LACP，802.1ag等。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。

云平台也称为云计算平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力的平台，k8s可以使得云平台中部署的容器化应用简单并且高效运行。因此，下面将以基于k8s部署的云平台为例，解释本申请的方案。

相关技术中，一个k8s云平台的网络是一个整体网络，其对云平台中pod提供的服务的调用是随机的，即，若出现请求目标服务的服务请求，则云平台会调用任何能够提供目标服务的pod来实现请求的目标服务，而不会尽可能的调用同一可用区的pod的服务，因此，在pod调用过程中，经常出现跨可用区调用pod服务的情况。

又由于不同可用区之间pod的通信需要通过核心交换机和专线实现，相较于无需使用核心交换机的可用区内部的Pod的通信，不同可用区之间pod的通信通常会延迟较长时间，因此，若在服务调用时经常调用不同可用区的pod的服务，则会降低pod之间的通信效率，进而导致云平台的服务调用时间较长，调用效率低。基于此，本申请提供了一种云平台，如图1所示，以提高服务调用效率，云平台包括管理节点、服务注册与发现组件以及多个可用区，每个可用区包括工作节点，各工作节点中运行有容器组pod；

管理节点，用于每当有新增的pod，确定运行新增的pod的工作节点所属可用区，作为目标可用区；并按照预设的可用区与虚拟局域网VLAN网段之间的对应关系，确定目标可用区对应的目标VLAN网段；并为新增的pod分配属于目标VLAN网段的ip地址，并记录为新增的pod分配的ip地址；

服务注册与发现组件，用于响应于用于请求目标服务的服务请求，根据管理节点记录的为各pod分配的ip地址，调用ip地址属于同一VLAN网段且用于提供目标服务的pod。

选用该实施例，管理节点会为工作节点中每个新增的pod都分配和记录属于目标VLAN网段的ip地址，而该目标VLAN网段为新增的pod所在的工作节点所属的可用区对应的VLAN网段，可以理解的是，这样使得同一可用区的各个工作节点中的pod的ip地址都属于目标VLAN网段，即该可用区对应的VLAN网段，因此同一可用区中的pod的ip地址属于相同的目标VLAN网段，而服务注册与发现组件在响应于服务请求调用pod时，会根据管理节点记录的各个pod的ip地址来调用pod服务，具体的，会优先调用ip地址属于同一VLAN网段且用于提供目标服务的pod，以此，实现在服务调用时优先调用同一可用区内的pod，尽可能避免了在云平台服务调用过程中，跨可用区的pod服务调用，从而避免了跨可用区通信使得通信延迟，提高了云平台服务调用效率。

其中，管理节点(Master Node)为k8s云平台的控制节点，负责整个云平台的管理和控制，具体的，管理节点用于管理进而控制云平台中工作节点的工作情况，工作节点(Woker Node)运行在k8s管理的各个可用区中，各工作节点中会运行着多个容器组pod，pod内部封装的是容器，而容器中承载着服务，一个pod可以封装一个或者多个容器，通常是封装一组相关的容器，每个pod都有自己独立的ip地址，同一pod中的所有容器共享网络空间，包括pod的ip地址和端口。

由于k8s管理的多个可用区使用同一网段进行通信，进而不同可用区其中运行的pod分配的ip地址所属网段也是相同的，而后续服务注册与发现组件在调用k8s的各pod的服务时，是根据pod的网段ip进行调用的，即，服务注册与发现组件会将优先调用ip地址所属网段相同的pod中的服务，而如前所述，由于不可用区的pod的ip地址所属网段相同，因此服务注册与发现组件在调用pod服务时就不会区分pod的可用区，进而容易调用不同可用区的pod服务，但是不同可用区间进行通信时延时时间较长，这样降低了服务调用效率。

因此，为了提高服务调用效率，本申请的管理节点在工作节点中需要新增pod时，先确定该新增的pod所属的目标可用区，即该新增的pod所运行的工作节点所属的可用区，根据预设的可用区与VLAN网段之间的对应关系，确定出目标可用区对应的目标VLAN网段，为新增的pod分配目标VLAN网段中的空闲的ip地址。同时管理节点还会保存各新增的pod对应的ip地址，即持久化该ip地址，以便后续服务注册与发现组件调用pod的服务时获取k8s中各pod对应的ip地址，根据ip地址所属的VLAN网段进行pod服务调用。

其中，可以在k8s中预先设置各个可用区与VLAN网段的对应关系，使得各个可用区分别对应于唯一的VLAN网段，即不同的可用区对应的VLAN网段不同。VLAN(Virtual LocalArea Network，虚拟局域网)是一种将局域网设备从逻辑上划分成一个个网段，从而实现虚拟工作组的新兴数据交换技术。实际上，各可用区对应的VLAN网段即为从k8s的整体网络中划分出的各个网段，在K8s中新增pod之前，可以预先将k8s的整体网络划分为多个VLAN子网，并为各VLAN子网确定不同的VLAN ID，将已经划分好的VLAN ID和VLAN子网一一对应的配置到各可用区，形成可用区与VLAN网段的对应关系。

可以理解的是，在该云平台中，不同的可用区对应的VLAN网段各不相同，由于各可用区的工作节点的pod的ip地址是根据各目标可用区的目标VLAN网段分配的，因此，同一可用区中的各pod的ip地址所属的VLAN网段相同，而不同的可用区中的pod的ip地址所属的VLAN网段不同。

服务注册与发现组件用于对k8s云平台的服务注册和服务发现，服务注册为服务实例将自身服务信息注册到注册中心的过程，服务发现为服务实例请求注册中心获取所依赖服务信息的过程。常用的服务注册与发现组件有Consul组件、Zookeeper组件和ectd组件等等。本申请中，服务注册与发现组件在响应于对k8s云平台的目标服务的服务请求来调用各pod服务时，由于管理节点中已经保存了k8s管理的各pod对应的vlan ip，服务注册与发现组件会从管理节点中确定各pod的ip地址，确定能够提供服务请求所请求的目标服务的pod，并从这些pod中优先调用ip地址属于同一VLAN网段的pod。又由于本申请中属于同一可用区的pod的ip地址所属的VLAN网段都为该可用区对应的VLAN网段，即同一可用区的各pod的ip地址所属的VLAN网段是相同的，而不同可用区对应的VLAN ID和VLAN子网不同，即不同可用区对应的VLAN网段不同，进而使得不同可用区的pod的ip地址所属的VLAN网段不同，从而实现服务注册与发现组件在调用pod服务时，优先调用同一可用区中的pod服务，降低跨可用区通信的概率。

具体的，在pod的ip地址的设置过程中，ip地址的分配和ip地址的保存为两个过程，基于此，在一种可能的实施例中，本申请还提供了一种云平台，如图2所示，管理节点包括：控制器和kube-apiserver接口；

控制器，用于每当有新增的pod，确定运行新增的pod的工作节点所属可用区，作为目标可用区；并按照预设的可用区与VLAN网段之间的对应关系，确定目标可用区对应的目标VLAN网段；并为新增的pod分配属于目标VLAN网段的ip地址，将为新增的pod分配的ip地址发送至kube-apiserver接口；

kube-apiserver接口，用于接收控制器发送的为新增的pod分配的ip地址，并将ip地址记录至管理节点。

其中，管理节点中包括控制器，控制器为新增的pod分配ip地址，其分配方法与前述管理节点类似，此处不再赘述。在控制器确定了为新增的pod分配的ip地址的同时，还要将新增的pod的ip地址发送至kube-apiserver接口进行保存。

kube-apiserver接口是k8s的核心组件之一，主要提供以下的功能：认证授权、数据校验以及集群状态变更等，为各模块之间的数据交互和通信的枢纽。通过kube-apiserver接口可以将接收到的新增的pod的ip地址保存在管理节点中，使得后续服务注册与发现组件在调用pod服务时可以获取到各pod的ip地址信息，并根据各pod的ip地址所属的VLAN网段进行服务调用。

选用该实施例，通过管理节点中的kube-apiserver接口和控制器能够高效的为新增的可用区和新增的pod进行网络配置，以便后续进行服务调用。

具体的，为了提高控制器为pod分配ip地址的工作效率，本申请还提供了一种云平台，如图3所示，其中，控制器包括：IP管理模块和RestApi接口模块；

RestApi接口模块，用于接收工作节点发送的分配请求，分配请求用于表示工作节点需要新增pod，分配请求包括工作节点所在的目标可用区信息；

IP管理模块，用于根据分配请求按照预设的可用区与虚拟局域网VLAN网段之间的对应关系，确定目标可用区对应的目标VLAN网段；并为新增的pod分配属于目标VLAN网段的ip地址；将为新增的pod分配的ip地址发送至kube-apiserver接口；

RestApi接口模块，还用于将为新增的pod分配的ip地址发送至工作节点，以使工作节点根据ip地址进行网络配置。

其中，工作节点为需要新增pod的工作节点，在工作节点中需要新增pod时，工作节点会发送分配请求至管理节点的控制器中的RestApi接口模块，该分配请求中包括工作节点所在的目标可用区信息，例如工作节点所在的目标可用区的标识和该目标可用区对应的VLAN网段等等。RestApi接口模块接收到该工作节点发送的分配请求时，可以确定该工作节点需要新增pod，控制器需要为该新增的pod分配ip地址。

而IP管理模块管理所有ip的生命周期，包括ip分配，ip回收，ip查询，因此，控制器中的IP管理模块会根分配请求确定出工作节点所在的目标可用区，进而根据管理节点中记录的预设的可用区与虚拟局域网VLAN网段之间的对应关系，为该工作节点中新增的pod确定目标VLAN网段，可以理解，该目标VLAN网段即为工作节点所在的目标可用区对应的VLAN网段。从该目标VLAN网段中确定出空闲的ip地址分配给新增的pod，并将该ip地址发送至kube-apiserver接口以使kube-apiserver接口将该新增的pod的ip地址保存至管理节点，以便后续服务注册与发现组件的服务调用。

在IP管理模块为新增的pod分配了ip地址后，RestApi接口模块还需要将该ip地址发送至工作节点，以使工作节点根据该ip地址为新增的pod进行网络配置，使得新增的pod可以根据该ip地址与其他pod进行网络通信。

选用该实施例，将控制器对pod的ip地址的分配过程分配到控制器中各个模块进行精细化实现，进一步的提高了云台对pod的ip地址的分配效率，以便后续进行服务调用。

如前所述，可用区与VLAN网段之间的对应关系是预先设置的，且该对应关系中各个可用区与VLAN网段是唯一对应的，不同的可用区对应的VLAN网段不同，基于此，本申请还提供了一种云平台，如图4所示，实现可用区与VLAN网段的对应关系的设置，其中，控制器包括：配置模块、VLAN管理模块；

配置模块，用于每当云平台中有新增的可用区，为新增的可用区配置唯一的VLAN网段；

VLAN管理模块，用于根据VLAN网段为可用区注册和管理VLAN网段，并将新增的可用区与VLAN网段作为预设的对应关系发送至kube-apiserver接口；

kube-apiserver接口，还用于接收VLAN管理模块发送的预设的对应关系，并将预设的对应关系记录至管理节点。

配置模块，为控制器中用于管理k8s中各可用区的配置信息的模块，包括各可用区的通用配置信息、ovs配置信息、vlan配置信息等等，具体的，通用配置信息可以包括：cni(Container Network Interface，容器网络接口)配置信息，存储配置信息，k8s配置信息，ovs配置信息可以包括：桥接网卡信息，转发模式信息，vlan配置信息可以包括：VLAN ID和VLAN子网信息，可用区工作节点信息。可以理解的是，配置模块不仅能够为新增的可用区确定唯一对应的VLAN ID和VLAN子网，还可以为新增的可用区确定各方面后续工作中需要使用的配置信息，使得新增的可用区正常运行。

在每当云平台中有新增的可用区时，配置模块会先为新增的可用区配置唯一的的VLAN ID和VLAN子网，进而确定该新增的可用区唯一对应的VLAN网段。

VLAN管理模块用于管理各个可用区的VLAN网络的生命周期，包括VLAN网络的注册，VLAN网络删除，VLAN网络修改，VLAN网络查询等功能。因此，在配置模块为新增的可用区确定了VLAN网段后，VLAN管理模块可以根据该VLAN对应的VLAN ID和VLAN子网，为新增的可用区注册VLAN网络，并对该新增的可用区的VLAN网络进行后续的管理，例如在k8s需要删除该可用区时，将该可用区对应的VLAN网络删除，或者在需要改变该可用区的网络时，对该可用区对应的VLAN网络进行修改等等，以此，为各新增的可用区配置了唯一对应的VLAN网段，使各新增的可用区使用其对应的VLAN网段进行通信。

VLAN管理模块为新增的可用区配置好对应的VLAN网段后，会将该新增的可用区和其对应的VLAN网段的对应关系发送至kube-apiserver接口，以使得kube-apiserver接口将该对应关系记录在管理节点中，以便后续在新增pod时根据该对应关系为新增的pod确定目标VLAN网段。

选用该实施例，云平台可以在新增pod前，预先为各个可用区配置唯一对应的VLAN网段，并记录该对应关系，使得后续根据该对应关系为不同可用区中新增的pod分配ip地址所属的VLAN网段不同，进一步避免了服务注册与发现组件在服务调用时跨可用区调用pod服务的通信延迟，提高了云平台服务调用效率。

在管理节点为新增的pod分配了ip地址后，还需要新增的pod根据该ip地址进行网络配置，才能实现新增的pod的网络通信，基于此，本申请还提供了一种云平台，如图5所示，其中，工作节点包括：代理模块和kubelet；

kubelet，用于每当工作节点需要新增pod，控制代理模块向管理节点发送分配请求，以使管理节点根据分配请求为新增的pod分配ip地址，分配请求用于表示工作节点需要新增pod，分配请求包括工作节点所在的目标可用区信息；

代理模块，用于从管理节点获取为新增的pod分配的ip地址，并根据ip地址为新增的pod配置网络。

每个工作节点中会运行着对应的Kubelet，Kubelet是管理节点安插在工作节点上的代理组件，它会定时向管理节点汇报自己所在工作节点运行的pod服务的状态，例如，向管理节点的的kube-apiserver发送工作节点运行的pod服务的状态，并根据管理节点的指示采取调整措施。在k8s中的工作节点需要新增pod时，管理节点通常会通过kube-apiserver通知需要新增pod的工作节点的Kubelet，该Kubelet即会开始进行新增pod的程序，控制新增的pod所在的工作节点中的代理模块向管理节点发送分配请求，该分配请求工作节点所在的目标可用区信息，如用于表示该目标可用区的标识，或该目标可用区对应的VLAN网段等等，请求管理节点根据该分配请求为该工作节点中新增的pod分配ip地址。在一种示例中，该分配请求还会包括分配请求还可以包括新增的pod所在的工作节点的节点信息，例如工作节点的节点标识等，以便管理节点根据配置信息为新增的pod进行合理的配置。其中，代理模块用于管理工作节点中各pod的创建、删除和通信等等。

管理节点接收到工作节点发送的分配请求，即可根据该分配请求为新增的pod分配对应的ip地址，例如，管理节点通过控制器中的RestApi接口模块接收代理模块发送的分配请求，由IP管理模块根据分配请求为新增的pod分配ip地址，具体分配方式已在前述内容解释，此处不再赘述。

代理模块在发送分配请求后，会从管理节点获取为新增的pod分配的ip地址，示例性的，管理节点将为新增的pod分配的ip地址通过控制器中的RestApi接口模块发送至新增的pod所在的工作节点的代理模块。代理模块在获取该ip地址后，根据该ip地址为新增的pod配置网络信息，以使该新增的pod后续通过该ip地址进行路由通信。可以理解的是，该ip地址是管理节点根据分配请求分配的，而分配请求中包括了新增的pod所属的目标可用区信息，而该目标可用区信息中又包括了目标可用区的标识，因此，管理节点可以根据目标可用区信息和预先的对应关系确定出该新增的pod对应的目标VLAN网段，进而为其分配目标VLAN网段下的ip地址，进而，目标代理模块获取到的为新增的pod配置的ip地址所属的VLAN网段与新增的pod所属的目标可用区对应的VLAN网段相同，以此，使得一个可用区中各pod对应的VLAN网段相同。

选用该实施例，通过可用区中工作节点的kubelet和代理模块为工作节点中新增的pod配置ip地址，使得新增的pod的ip地址能够被高效的分配和配置。

在一种可能的实施例中，如图6所示，本申请的代理模块包括：OVS操作子模块和CNI接口子模块，具体的，本申请是通过工作节点中的kubelet和代理模块中的OVS操作子模块和CNI接口子模块为新增的pod配置网络的：

kubelet，具体用于每当工作节点需要新增pod，调用代理模块的CNI接口子模块中的新增接口，以使代理模块向管理节点发送分配请求；

OVS操作子模块，用于每当工作节点需要新增pod，创建新增的pod对应的vethpeer，以使代理模块将为新增的pod分配的ip地址分配至veth peer，使得新增的pod通过ip地址进行通信。

CNI接口子模块可以对kubelet提供各个pod的网络操作接口，包括ADD新增，DEL删除，CHECK检查，VERSION版本等操作接口。Kubelet在工作节点需要新增pod时，具体的，会调用代理模块的CNI接口子模块中的ADD新增接口，表示工作节点需要新增pod，以使工作节点的代理模块向管理节点发送分配请求，来获取新增的pod的ip地址。

OVS操作子模块负责对工作节点中各个pod的OVS进行变更，例如为新增的pod创建对应的veth peer，其中，veth peer是成对出现的一种虚拟网络设备接口，为pod创建vethpeer能够使新增的pod与其他模块进行通信。而veth peer是新增的pod的通信接口，要实现新增的pod的网络通信，还需要为veth peer设置ip地址，因此，代理模块将获取到的ip地址分配到为新增的pod创建的veth peer上，使得新增的pod通过ip地址进行通信路由。

选用该实施例，通过代理模块中的OVS操作子模块和CNI接口子模块为新增的pod配置网络，使得新增的pod能够通过与其所属可用区同一网段的ip地址进行通信路由，进而使得后续服务注册与发现组件在调用pod服务时，避免跨可用区服务调用，提高了服务调用效率。

通过上述实施例中的云平台可以为各个新增的pod配置ip地址，可以理解的是，在Kubernetes中出现不再使用的pod而需要删除pod时，也需要及时对该pod对应的ip地址进行相应的回收，避免网络资源的浪费，基于此，本申请还提供了一种云平台，其中：

kubelet，还用于每当工作节点需要删除pod，调用代理模块的CNI接口子模块中的删除接口，以使代理模块向管理节点发送删除请求，删除请求用于表示工作节点请求删除待删除的pod，删除请求包括待删除的pod的标识；

OVS操作子模块，还用于响应于代理模块的CNI接口子模块中的删除接口被调用，删除待删除的pod对应的veth peer，并释放待删除的pod的ip地址；

管理节点，还用于根据删除请求删除管理节点中记录的待删除的pod的ip地址，并将删除结果发送至代理模块。

具体的，当工作节点需要删除某个待删除的pod时，该工作节点上的kubelet会调用代理模块的CNI接口子模块中的删除接口，使得该工作节点中的代理模块向管理节点发送删除请求，请求删除对应的待删除的pod的ip地址，其中，删除请求可以包括待删除的pod的标识，在一种示例中，删除请求中还可以包括该工作节点的节点信息，具体的，可以包括该工作节点所属的可用区，该工作节点的节点标识等等，以使得管理节点根据删除请求准确的回收该工作节点中待删除的pod的ip地址。

在CNI接口子模块中的删除接口被调用后，代理模块的OVS操作子模块还会删除该待删除的pod对应的veth peer，并释放该veth peer中分配的ip地址，使得待删除的pod失去通信功能。

管理节点在接收到代理模块发送的删除请求后，即可根据该删除请求中的待删除的pod的标识确定出该待删除的pod，从而从管理节点之前记录的pod的ip地址中，确定出该待删除的pod对应的ip地址，进行回收。例如，通过IP管理模块根据删除请求回收该待删除的pod对应的ip地址，释放可用区的网络资源，并通过RestApi接口模块将已经删除了ip地址的删除结果返回给代理模块。

选用该实施例，通过在可用区的工作节点出现需要删除的pod时，可以及时回收该pod对应的ip地址，避免了可用区的网络资源浪费。

对应于本申请提供的云平台，本申请还提供了一种云平台服务调用方法，方法应用于云平台中的服务注册与发现组件，云平台包括：管理节点和多个可用区，每个可用区包括工作节点，各工作节点中运行有pod，管理节点中记录有管理节点为各pod分配的ip地址，且管理节点为各pod分配的ip地址为属于目标虚拟局域网VLAN网段的ip地址，目标VLAN网段为运行pod的工作节点所属可用区对应的VLAN网段；如图7所示，方法包括：

S701，接收服务请求。

S702，根据管理节点记录的为各pod分配的ip地址，调用ip地址属于同一VLAN网段的pod提供服务请求所请求的服务。

其中，云平台的结构已经在上述实施例中进行说明，此处不再赘述。

其中，在S701中，当上层应用需要实现某个服务时，会向云平台发送服务请求，该服务请求会携带其需要调用的目标服务，服务注册与发现组件接收该服务请求。

其中，在S702中，服务注册与发现组件确定出管理节点记录的各个pod的ip地址，并确定出能够提供服务请求请求的目标服务的pod，优先调用ip地址所述VLAN网段相同的且能够提供目标服务的pod，提供服务请求所请求的服务。

选用该实施例，服务注册与发现组件通过调用ip地址属于同一VLAN网段的pod，可以实现优先调用同一可用区的pod，进而尽可能避免了跨可用区调用pod导致pod之间进行通信时的通信延迟，提高了服务调用效率。并且，本申请的提供的实施例，在ip地址属于同一VLAN网段的pod不能提供目标服务时，也不会强制使所有调用的pod的ip地址都属于同一VLAN网段的pod，而是优先调用pod的ip地址都属于同一VLAN网段的pod，在保证满足服务请求请求的目标服务的情况下，提高了服务调用效率。

为了更清楚的对本申请实施例提供云平台服务调用流程进行说明，下面将以一个具体的实现方式为例来进行说明，参见图8，图8为本申请实施例提供的基于k8s的云平台结构图，该云平台包括管理节点和可用区，其中，管理节点中包括kube-apiserver接口和控制器，控制器中包括配置模块、vlan管理模块、ip管理模块和RestApi接口模块，每个可用区中包括工作节点，每个工作节点中包括pod、kubelet、代理模块，代理模块中包括了CNI接口模块和OVS操作模块，可用区之间通过核心交换机和专线进行通信。

参见图9，图9为本申请提供的基于图8所提供的云平台中配置pod的ip地址的流程图，具体步骤如下：

S901，管理节点的控制器在需要在云平台中新增可用区时，会通过配置模块和vlan管理模块确定新增的可用区的VLAN网段并进行配置，然后将VLAN网段与该可用区的对应关系通过VLAN管理模块发送至kube-apiserver接口。

S902，kube-apiserver接口在接收到对应关系后将该对应关系持久化记录在管理节点。

S903，kube-apiserver接口通过控制器的VLAN管理模块将保存结果返回给控制器，以此，完成新增的可用区的配置。

S904，当可用区需要新增pod时，可用区的工作节点中的kubelet会调用代理模块中CNI接口子模块的ADD接口。

S905，使得代理模块(agent)发送分配请求至控制器的RestApi接口模块。

S906，进而控制器的ip管理模块根据该分配请求中为该新增的pod分配ip地址。

S907，控制器再将分配好的ip地址发送至kube-apiserver接口。

S908，kube-apiserver接口将ip地址持久化记录在管理节点中。

S909，kube-apiserver接口将ip地址保存之后将保存结果通过RestApi接口模块告知控制器。

S910，控制器在确定ip地址保存之后将ip地址返回至代理模块。

S911，代理模块接收到ip地址后调用OVS操作子模块创建veth peer，并将接收到的ip地址配置到veth peer上，以使新增的pod通过ip地址进行通信路由。

S912，在配置完成新增的pod后，代理模块将配置完成的结果发送至kubelet，以使kubelet后续告知kube-apiserver接口新增的pod的网络情况。

相对于在该云平台中配置新增的pod的ip地址的方法，本申请还提供了一种基于图8所提供的云平台，在云平台中回收pod的ip地址的方法，参见图10，图10为本申请提供的在该云平台中回收pod的ip地址的流程图，具体步骤如下：

S1001，当工作节点需要删除pod时，可用区的工作节点中的kubelet会调用代理模块中CNI接口子模块的DEL接口。

S1002，代理模块(agent)接收到DEL接口的调用后，先调用OVS操作子模块删除为待删除的pod创建的veth peer。

S1003，在删除veth peer后，代理模块发送删除请求至控制器的RestApi接口模块。

S1004，控制器接收到删除请求后，通过ip管理模块根据该删除请求中回收为该待删除的pod分配的ip地址。

S1005，控制器将已经删除了ip地址的删除结果发送至kube-apiserver接口。

S1006，kube-apiserver接口保存该删除结果。

S1007，kube-apiserver接口将保存结果发送至控制器。

S1008，控制通过RestApi接口模块将已经删除了ip地址的删除结果发送至代理模块。

S1009，代理模块将该删除结果发送至kubelet，以使kubelet后续将待删除的pod的网络情况告知kube-apiserver接口。

对应于前述云平台，本发明实施例还提供了一种云平台服务调用装置，所述装置应用于云平台中的服务注册与发现组件，所述云平台包括：管理节点和多个可用区，每个所述可用区包括工作节点，各所述工作节点中运行有pod，所述管理节点中记录有所述管理节点为各pod分配的ip地址，且所述管理节点为各所述pod分配的ip地址为属于目标虚拟局域网VLAN网段的ip地址，所述目标VLAN网段为运行所述pod的工作节点所属可用区对应的VLAN网段；

所述装置包括：

接收模块，用于接收服务请求；

分配模块，用于根据所述管理节点记录的为各pod分配的ip地址，调用ip地址属于同一VLAN网段的pod提供所述服务请求所请求的服务。

本申请实施例还提供了一种电子设备，如图11所示，包括:

存储器1101，用于存放计算机程序；

处理器1102，用于执行存储器1101上所存放的程序时，实现如下步骤：

接收服务请求；

根据所述管理节点记录的为各pod分配的ip地址，调用ip地址属于同一VLAN网段的pod提供所述服务请求所请求的服务。

并且上述电子设备还可以包括通信总线和/或通信接口，处理器1102、通信接口、存储器1101通过通信总线完成相互间的通信。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一云平台调用方法的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一云平台调用方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法、装置、电子设备、计算机可读存储介质以及计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (11)

1.一种云平台，其特征在于，所述云平台包括管理节点、服务注册与发现组件以及多个可用区，每个所述可用区包括工作节点，各所述工作节点中运行有容器组pod；

所述管理节点，用于每当有新增的pod，确定运行所述新增的pod的工作节点所属可用区，作为目标可用区；并按照预设的可用区与虚拟局域网VLAN网段之间的对应关系，确定所述目标可用区对应的目标VLAN网段；并为所述新增的pod分配属于所述目标VLAN网段的ip地址，并记录为所述新增的pod分配的ip地址；

所述服务注册与发现组件，用于响应于用于请求目标服务的服务请求，根据所述管理节点记录的为各pod分配的ip地址，调用ip地址属于同一VLAN网段且用于提供所述目标服务的pod。

2.根据权利要求1所述的云平台，其特征在于，所述管理节点包括：控制器和kube-apiserver接口；

所述控制器，用于每当有新增的pod，确定运行所述新增的pod的工作节点所属可用区，作为目标可用区；并按照预设的可用区与虚拟局域网VLAN网段之间的对应关系，确定所述目标可用区对应的目标VLAN网段；并为所述新增的pod分配属于所述目标VLAN网段的ip地址，将为所述新增的pod分配的ip地址发送至所述kube-apiserver接口；

所述kube-apiserver接口，用于接收所述控制器发送的为所述新增的pod分配的ip地址，并将所述ip地址记录至所述管理节点。

3.根据权利要求2所述的云平台，其特征在于，所述控制器包括：IP管理模块和RestApi接口模块；

所述RestApi接口模块，用于接收所述工作节点发送的分配请求，所述分配请求用于表示所述工作节点需要新增pod，所述分配请求包括所述工作节点所在的目标可用区信息；

所述IP管理模块，用于根据所述分配请求按照预设的可用区与虚拟局域网VLAN网段之间的对应关系，确定所述目标可用区对应的目标VLAN网段；并为所述新增的pod分配属于所述目标VLAN网段的ip地址；将为所述新增的pod分配的ip地址发送至所述kube-apiserver接口；

所述RestApi接口模块，还用于将为所述新增的pod分配的ip地址发送至所述工作节点，以使所述工作节点根据所述ip地址进行网络配置。

4.根据权利要求2所述的云平台，其特征在于，所述控制器包括：配置模块、VLAN管理模块；

所述配置模块，用于每当所述云平台中有新增的可用区，为所述新增的可用区配置唯一的VLAN网段；

所述VLAN管理模块，用于根据所述VLAN网段为所述可用区注册和管理VLAN网段，并将所述新增的可用区与所述VLAN网段作为预设的对应关系发送至所述kube-apiserver接口；

所述kube-apiserver接口，还用于接收所述VLAN管理模块发送的预设的对应关系，并将所述预设的对应关系记录至所述管理节点。

5.根据权利要求1所述的云平台，其特征在于，所述工作节点包括：代理模块和代理组件kubelet；

所述kubelet，用于每当工作节点需要新增pod，控制所述代理模块向所述管理节点发送分配请求，以使所述管理节点根据所述分配请求为新增的pod分配ip地址，所述分配请求用于表示所述工作节点需要新增pod，所述分配请求包括所述工作节点所在的目标可用区信息；

所述代理模块，用于从所述管理节点获取为所述新增的pod分配的ip地址，并根据所述ip地址为所述新增的pod配置网络。

6.根据权利要求5所述的云平台，其特征在于，所述代理模块包括：OVS操作子模块和CNI接口子模块；

所述kubelet，具体用于每当工作节点需要新增pod，调用所述代理模块的CNI接口子模块中的新增接口，以使所述代理模块向所述管理节点发送分配请求；

所述OVS操作子模块，用于每当工作节点需要新增pod，创建所述新增的pod对应的网桥veth peer，以使所述代理模块将为所述新增的pod分配的ip地址分配至所述veth peer，使得所述新增的pod通过所述ip地址进行通信。

7.根据权利要求6所述的云平台，其特征在于，

所述kubelet，还用于每当工作节点需要删除pod，调用所述代理模块的CNI接口子模块中的删除接口，以使所述代理模块向所述管理节点发送删除请求，所述删除请求用于表示所述工作节点请求删除待删除的pod，所述删除请求包括所述待删除的pod的标识；

所述OVS操作子模块，还用于响应于所述代理模块的CNI接口子模块中的删除接口被调用，删除所述待删除的pod对应的veth peer，并释放所述待删除的pod的ip地址；

所述管理节点，还用于根据所述删除请求删除所述管理节点中记录的所述待删除的pod的ip地址，并将删除结果发送至所述代理模块。

8.一种云平台服务调用方法，其特征在于，所述方法应用于云平台中的服务注册与发现组件，所述云平台包括：管理节点和多个可用区，每个所述可用区包括工作节点，各所述工作节点中运行有pod，所述管理节点中记录有所述管理节点为各pod分配的ip地址，且所述管理节点为各所述pod分配的ip地址为属于目标虚拟局域网VLAN网段的ip地址，所述目标VLAN网段为运行所述pod的工作节点所属可用区对应的VLAN网段；

所述方法包括：

接收服务请求；

根据所述管理节点记录的为各pod分配的ip地址，调用ip地址属于同一VLAN网段的pod提供所述服务请求所请求的服务。

9.一种云平台服务调用装置，其特征在于，所述装置应用于云平台中的服务注册与发现组件，所述云平台包括：管理节点和多个可用区，每个所述可用区包括工作节点，各所述工作节点中运行有pod，所述管理节点中记录有所述管理节点为各pod分配的ip地址，且所述管理节点为各所述pod分配的ip地址为属于目标虚拟局域网VLAN网段的ip地址，所述目标VLAN网段为运行所述pod的工作节点所属可用区对应的VLAN网段；

所述装置包括：

接收模块，用于接收服务请求；

分配模块，用于根据所述管理节点记录的为各pod分配的ip地址，调用ip地址属于同一VLAN网段的pod提供所述服务请求所请求的服务。

10.一种电子设备，其特征在于，包括：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求8所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求8所述的方法。

Images