CN114374696A - 一种容器负载均衡方法、装置、设备及存储介质 - Google Patents

一种容器负载均衡方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114374696A
CN114374696A CN202111535605.7A CN202111535605A CN114374696A CN 114374696 A CN114374696 A CN 114374696A CN 202111535605 A CN202111535605 A CN 202111535605A CN 114374696 A CN114374696 A CN 114374696A
Authority
CN
China
Prior art keywords
pod
cluster
load balancing
clusters
port
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111535605.7A
Other languages
English (en)
Inventor
卢道和
陈广镇
杨军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202111535605.7A priority Critical patent/CN114374696A/zh
Publication of CN114374696A publication Critical patent/CN114374696A/zh
Priority to PCT/CN2022/100627 priority patent/WO2023109067A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/09—Mapping addresses
    • H04L61/25—Mapping addresses of the same type
    • H04L61/2503—Translation of Internet protocol [IP] addresses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Abstract

本申请提供一种容器负载均衡方法、装置、设备及存储介质，其中，方法包括：通过集群间的负载均衡服务器接收服务调用方采用集群虚拟网际协议地址VIP，和集群VIP对应的宿主机端口发送的处理请求；通过集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内集群VIP对应的容器的运行单元Pod IP和宿主机端口对应的Pod端口；通过集群间的负载均衡服务器根据集群VIP和宿主机端口将处理请求，转发至PodIP和Pod端口对应的目标Pod进行处理。

Description

一种容器负载均衡方法、装置、设备及存储介质
技术领域
本申请实施例涉及金融科技(Fintech)的数据处理技术领域，涉及但不限于一种容器负载均衡方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。
金融科技领域下，容器编排调度系统(Kubernetes，K8s)支持通过服务(Service)访问容器的运行单元(pod)，通过K8s工作节点上的一个网络代理(kube-proxy)组件创建过滤系统规则如iptables规则，进行代理虚拟网际协议(Virtual Internet Protocol，vip)地址的转发。集群外访问K8s时通过集群外部客户访问Service的入口如NodePort，提供对外的访问方式，对于跨节点访问服务，若访问的节点和后端Pod不匹配，需要被访问的节点向Pod所在节点转发，处理性能较差。
发明内容
本申请实施例提供一种容器负载均衡方法、装置、设备及存储介质，以解决相关技术中访问的节点和后端Pod不匹配，需要被访问的节点向Pod所在节点转发，处理性能较差的问题。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种容器负载均衡方法，包括：
通过集群间的负载均衡服务器接收服务调用方采用集群虚拟网际协议地址VIP，和所述集群VIP对应的宿主机端口发送的处理请求；
通过所述集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内所述集群VIP对应的容器的运行单元Pod IP和所述宿主机端口对应的Pod端口；
通过所述集群间的负载均衡服务器将所述处理请求根据所述集群VIP和所述宿主机端口，转发至所述Pod IP和所述Pod端口对应的目标Pod进行处理。
本申请实施例提供一种容器负载均衡装置，包括：
集群间的负载均衡服务器，用于接收服务调用方采用集群虚拟网际协议地址VIP，和所述集群VIP对应的宿主机端口发送的处理请求；
所述集群间的负载均衡服务器，用于根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内所述集群VIP对应的容器的运行单元Pod IP和所述宿主机端口对应的Pod端口；
所述集群间的负载均衡服务器，用于将所述处理请求根据所述集群VIP和所述宿主机端口，转发至所述Pod IP和所述Pod端口对应的目标Pod进行处理。
本申请实施例提供一种容器负载均衡设备，包括：存储器，用于存储可执行指令；处理器，用于执行存储器中存储的可执行指令时，实现上述的方法。
本申请实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现上述的方法。
本申请实施例具有以下有益效果：通过集群间的负载均衡服务器接收服务调用方采用集群虚拟网际协议地址VIP，和集群VIP对应的宿主机端口发送的处理请求；通过集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内集群VIP对应的容器的运行单元Pod IP和宿主机端口对应的Pod端口；可见，本申请将负载均衡策略建立在宿主机上，并且Pod和宿主机建立端口映射，实现集群外访问Pod，对外暴露集群VIP即可；进一步地，通过集群间的负载均衡服务器根据集群VIP和宿主机端口将处理请求，转发至Pod IP和Pod端口对应的目标Pod进行处理，也就是说，通过集群VIP和宿主机端口在集群外访问Pod时，可以确保在使用宿主机网络的同时指向的Pod IP的唯一性，从而避免了节点向Pod所在节点转发，提高了处理性能。
附图说明
图1是本申请实施例提供的服务器的一个可选的架构示意图；
图2是本申请实施例提供的容器负载均衡方法的流程示意图一；
图3是本申请实施例提供的服务器集群架构示意图；
图4是本申请实施例提供的容器负载均衡方法的流程示意图二；
图5是本申请实施例提供的容器负载均衡方法的流程示意图三；
图6是本申请实施例提供的负载均衡的场景示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本申请实施例所使用的所有的技术和科学术语与属于本申请实施例的技术领域的技术人员通常理解的含义相同。本申请实施例所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
下面说明本申请实施例提供的容器负载均衡设备的示例性应用，本申请实施例提供的容器负载均衡设备可以实施为笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)，智能机器人等任意具有屏幕显示功能的计算机终端，也可以实施为服务器。下面，将说明容器负载均衡设备实施为服务器时的示例性应用。
参见图1，图1是本申请实施例提供的服务器集群100的结构示意图，图1所示的服务器集群100包括：至少一个处理器110、至少一个网络接口120、用户接口130和存储器150。服务器集群100中的各个组件通过总线系统140耦合在一起。可理解，总线系统140用于实现这些组件之间的连接通信。总线系统140除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图1中将各种总线都标为总线系统140。
处理器110可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口130包括使得能够呈现媒体内容的一个或多个输出装置131，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口130还包括一个或多个输入装置132，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器150可以是可移除的，不可移除的或其组合。示例性地硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器150可选地包括在物理位置上远离处理器110的一个或多个存储设备。存储器150包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(Read Only Memory，ROM)，易失性存储器可以是随机存取存储器(Random Access Memory，RAM)。本申请实施例描述的存储器150旨在包括任意适合类型的存储器。在一些实施例中，存储器150能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统151，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块152，用于经由一个或多个(有线或无线)网络接口120到达其他计算设备，示例性地网络接口120包括：蓝牙、无线相容性认证(Wi-Fi)、和通用串行总线(Universal Serial Bus，USB)等；
输入处理模块153，用于对一个或多个来自一个或多个输入装置132之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图1示出了存储在存储器150中的一种容器负载均衡装置154，该容器负载均衡装置154可以是服务器集群100中的容器负载均衡装置，其可以是程序和插件等形式的软件，包括以下软件模块：资源管理组件1541、负载均衡服务器1541，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的容器负载均衡方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(Application Specific Integrated Circuit，ASIC)、DSP、可编程逻辑器件(Programmable Logic Device，PLD)、复杂可编程逻辑器件(ComplexProgrammable Logic Device，CPLD)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或其他电子元件。
下面将结合本申请实施例提供的服务器集群100的示例性应用和实施，说明本申请实施例提供的容器负载均衡方法。参见图2，图2是本申请实施例提供的容器负载均衡方法的一个可选的流程示意图，将结合图2示出的步骤进行说明，
步骤S201，通过集群间的负载均衡服务器接收服务调用方采用集群虚拟网际协议地址VIP，和集群VIP对应的宿主机端口发送的处理请求。
本申请实施例中，服务器集群包括多个容器编排引擎集群如多个K8s集群、集群间的负载均衡服务器、集群间的资源管理组件。其中，K8s是一个开源的容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在K8s中，可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问。集群间的负载均衡服务器至少负责管理真实服务(Real Server)的节点即集群内Pod的负载均衡配置参数、创建网络隧道如IPIP隧道等。集群间的资源管理组件至少用于管理Service、Service和pod之间的绑定关系。
本申请实施例中，Service是K8s里一个核心的资源对象,一个Service由一个容器组(Pod Group)作为后端Real Server，即由多个Pod实例提供。示例性的，这里所说的Service指4层的网络服务，4层包括应用层、传输层、网络层、数据链路层。一个Pod Group可以跨多个集群，通过在集群间的资源管理组件中存储的簇标识号(cluster Id)关联。不使用K8s原有的Service，即独立于K8s集群之外定义Service。在集群外定义Service，不使用K8s内部的Service，实现跨多K8s集群共同负载均衡。本申请能支持多K8s集群的Pod共同代理。每个K8s集群的容量是有限的，多数互联网技术(Internet Technology，IT)系统可以部署多集群来组合服务。
本申请实施例中，Pod Group数据结构如下所示:
pod_group_name vip_port Others…
A 10.0.0.4:8080
Pod Group数据结构表明，对于容器组名称(pod_group_name)为A的Pod Group，其vip_port为10.0.0.4:8080。
pod_name pod_group_name Others…
P1 A
P2 A
进一步地，容器名称(pod_name)为A的Pod Group包括两个容器，分别为P1和P2。
在实际应用中，Service可以通过VIP+端口的形式提供给服务调用方。Service定义了一个服务的访问入口地址即集群VIP,前端的应用通过集群VIP访问其后端的Pod的IP，这里，前端的应用为服务调用方提供的应用。
在一些实施例中，服务调用方采用集群VIP，和该集群VIP对应的宿主机端口发送处理请求，集群间的负载均衡服务器便可以接收到服务调用方采用集群VIP，和集群VIP对应的宿主机端口发送的处理请求。这里，集群间的资源管理组件在创建Service的时候，便为Service分配了一个集群VIP和集群VIP对应的宿主机端口。
步骤S202，通过集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内集群VIP对应的容器的运行单元Pod IP和宿主机端口对应的Pod端口。
本申请实施例中，目的地址转换关系包括集群VIP与Pod IP之间的映射关系，以及宿主机端口与Pod端口之间的映射关系。集群内Pod的负载均衡配置参数依赖集群间的负载均衡服务器进行维护。
在一些实施例中，在集群间的负载均衡服务器接收到服务调用方采用集群VIP，和集群VIP对应的宿主机端口发送的处理请求的情况下，根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内集群VIP对应的容器的运行单元Pod IP和宿主机端口对应的Pod端口，即确定IPIP隧道，将处理请求对应的集群VIP指向Pod的真实IP和端口，以确保在访问宿主机IP：端口的情况下可以访问到后端的Pod。这里，在确定IPIP隧道的过程中，还引入了集群内Pod的负载均衡配置参数，即在服务调用方发起处理请求访问服务时，通过负载均衡的方式如轮询方式、按照权重转发等方式将处理请求转发到后端的Pod，让后端的Pod负载相等。
步骤S203，通过集群间的负载均衡服务器根据集群VIP和宿主机端口将处理请求，转发至Pod IP和Pod端口对应的目标Pod进行处理。
本申请实施例中，K8s集群中包括集群节点(Node)，Node是K8s集群中相对于主控组件(Master)而言的工作主机，又名容器宿主机或容器母机，是业务容器运行的资源池。Node可以是一台物理主机，也可以是一台虚拟机(Virtual Machine，VM)。在实际应用中，通过Pod的概念将多个容器组合在一个Node内。需要说明的是，Pod的IP是私有的，集群间的负载均衡服务器即集群外部的负载均衡器或服务调用方是无法直接联通的。然而，本申请实施例中，在集群间的负载均衡服务器确定IPIP隧道的情况下，将处理请求转发至目标Pod进行处理，可见，本申请实现了服务调用方和Node通过物理设备能互通，双方IP是可路由的，从而通过宿主机代理容器的访问，来实现与外部的联通。
在一些可实现的场景中，宿主机和Pod处于两个网络命名空间(NetworkNamespace)，本身不互通，在将访问宿主机的请求转发到Pod的实现过程中，通过调用IP信息包过滤系统如iptables，来实现对内核的数据包处理模块Netfilter的配置，在配置的过程中创建规则即上述目的地址转换关系。同时为了避免K8s和应用容器引擎(docker)自带的iptables规则影响，本申请将创建的规则即上述目的地址转换关系放到所有规则的最前面，优先匹配。创建规则如下：创建目的地址转换(Destination Network AddressTranslation，DNAT)链，将目标地址即服务调用方采用的集群VIP：端口，指向Pod的真实IP和端口。例如将宿主机即母机的端口8080转到10.244.0.29:80(Pod的真实IP)。此时访问母机IP:8080即可访问到容器。
创建示例如下：
$iptables-t nat-nL
DNAT tcp--0.0.0.0/0 0.0.0.0/0tcp dpt:8080to:10.244.0.29:80
由上述可知，本申请实施例中，通过集群间的负载均衡服务器确定IPIP隧道，将网络策略和访问端点收敛到有限的宿主机IP上，不用浪费不相关的节点的资源(如端口、内存等)，安全可控，免节点间转发，性能较好。
本申请提供的容器负载均衡方法，通过集群间的负载均衡服务器接收服务调用方采用集群虚拟网际协议地址VIP，和集群VIP对应的宿主机端口发送的处理请求；通过集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内集群VIP对应的容器的运行单元Pod IP和宿主机端口对应的Pod端口；可见，本申请将负载均衡策略建立在宿主机上，并且Pod和宿主机建立端口映射，实现集群外访问Pod，对外暴露集群VIP即可；进一步地，通过集群间的负载均衡服务器根据集群VIP和宿主机端口将处理请求，转发至Pod IP和Pod端口对应的目标Pod进行处理，也就是说，通过集群VIP和宿主机端口在集群外访问Pod时，可以确保在使用宿主机网络的同时指向的Pod IP的唯一性，从而避免了节点向Pod所在节点转发，提高了处理性能。
在一个可实现的服务器集群架构中，示例性的，参见图3所示，服务器集群包括多个K8s集群包括但不限于K8s-1和K8s-2、集群间的负载均衡服务器如webank loadbalancer Admin Service，简称为WELB Admin Service、集群间的资源管理组件如Resource Manager，简称为RM。K8s集群内包括API服务器、负载均衡控制器如WELB WebhookController和Node。
其中，RM用于管理Service、Service和Pod的绑定关系，多K8s集群共用，RM通过客户端如client-go中的核心工具包Informer，获取容器相关的变动信息。通过K8sinformer，RM获得了Pod IP、与Pod的宿主机IP等信息。这些信息是用作iptables配置、welbadmin Service下发策略的关键。
负载均衡控制器即WELB Webhook Controller以deployment的形式在K8s中部署。在K8s中配置webhook，监听Pod的创建事件，对每个待创建的Pod按Pod名查询RM，若该Pod有绑定Service，则调用WELB Admin Service更新配置。K8s集群内独享。使用Webhook的事件回调的能力，可以在容器创建和销毁的时候恰到好处地配置Node上的负载均衡网络。WELBAdmin Service负责管理Real Server的节点的配置，如创建IPIP隧道等，多K8s集群共用。
本申请其他实施例中，步骤S202通过集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内集群VIP对应的容器的运行单元Pod IP和宿主机端口对应的Pod端口之前，可以通过如下方法对集群内Pod的负载均衡配置参数进行更新：
Step11、通过集群内的应用程序接口API服务器，调用负载均衡服务器配置的网络钩子webhook监听到Pod创建事件；
Step12、通过集群间的资源管理组件查询Pod创建事件携带的Pod名称是否绑定有服务；
Step13、若查询到绑定有服务，则调用集群间的负载均衡服务器更新Pod名称对应的集群内Pod的负载均衡配置参数。
示例性的，参见图4所示，在应用发版或重启的情况下，应用管理软件(APPManger)向RM发起查询请求，查询Pod所在的集群ID。
通过集群内的API服务器，调用负载均衡服务器配置的webhook监听到Pod创建事件，并将Pod创建事件发送至RM，RM查询Pod创建事件携带的Pod名称是否绑定有服务。若查询到绑定有服务，则调用集群间的负载均衡服务器更新Pod名称对应的集群内Pod的负载均衡配置参数，即打开RS权重。也就是说，本申请使用Webhook的事件回调的能力，通过webhook的方式为需要负载均衡的pod添加配置，支持按需配置，保证应用配置无侵入性。
本申请其他实施例中，Step12通过集群间的资源管理组件查询Pod创建事件携带的Pod名称是否绑定有服务之前，可以通过如下方法创建服务：
Step21、通过集群间的资源管理组件接收输入的Pod名称和Pod端口；
Step22、通过集群间的资源管理组件查找Pod名称对应的宿主机上未使用的端口，得到宿主机端口；
Step23、通过集群间的资源管理组件创建服务，并为服务分配集群VIP和宿主机端口。
本申请实施例中，通过Step21-Step23实现service创建，并且在创建service的时候，为service分配了一个集群VIP和端口。
示例性的，在创建服务的过程中，在Step21通过集群间的资源管理组件接收输入的Pod名称和Pod端口的情况下，参见图5所示，通过集群间的资源管理组件查找Pod名称对应的宿主机，检查是否存在端口冲突，若发生端口冲突如端口被占用，则迁移至其他容器。如果存在可用端口，则选择未使用的host端口作为上述宿主机端口，进一步地，通过集群间的资源管理组件创建服务，并为服务分配集群VIP和宿主机端口，为宿主机下发配置。
本申请其他实施例中，Step22通过集群间的资源管理组件查找Pod名称对应的宿主机上未使用的端口，得到宿主机端口之前，可以通过如下方法设置Pod与宿主机之间的对应关系：通过集群间的资源管理组件，在集群内的Pod组中确定与Pod名称一一对应的宿主机，为Pod名称对应的宿主机。
在一些可实现的场景中，RM在自动分配资源的时候，打散同个Pod Group的实例分配，不允许两个Pod共用一个宿主机。校验宿主机上已经分配的端口，若已无合适的端口，过滤掉此宿主机。
本申请其他实施例中，步骤S202通过集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内集群VIP对应的容器的运行单元Pod IP和宿主机端口对应的Pod端口之前，可以通过如下方法对集群内Pod的负载均衡配置参数进行更新：
Step31、调用集群间的负载均衡服务器，获得所有集群的总权重sum(c_wi)和所有集群内集群i的集群权重c_wi，其中，i为大于等于1且小于等于n的正整数，n为所有集群的总数；
Step32、调用集群间的负载均衡服务器，获得集群i内所有Pod的总权重sum(r_wj)和所有Pod中Pod j的Pod权重r_wj，其中，j为大于等于1且小于等于m的正整数，m为所有Pod的总数；
Step33、调用集群间的负载均衡服务器，根据sum(c_wi)、c_wi、sum(r_wj)和r_wj，计算集群内Pod的负载均衡配置参数。
由上述可知，本申请实施例支持集群加权，而集群内不同的Pod有版本灰度的需求，因此也支持Pod定义不同的权重，通过上述Step31-Step33实现Pod的负载均衡配置参数的设定。
进一步地，调用集群间的负载均衡服务器将处理请求转发到后端的Node之前，参见图6所示，先进行配置的下方一方面下发到负载均衡调度器(load balace director，LD)上，另一方面下发到Node上。LD上的配置主要包括后端的Node IP列表，权重。Node上的配置主要包含端口映射、IPIP隧道的配置。其中，LD可以采用开放式最短路径优先(OpenShortest Path First，OSPF)策略，将处理请求转发到后端Node上。
本申请其他实施例中，Step33、调用集群间的负载均衡服务器，根据sum(c_wi)、c_wi、sum(r_wj)和r_wj，计算集群内Pod的负载均衡配置参数，可以通过如下方法实现：
调用集群间的负载均衡服务器，将c_wi除以sum(c_wi)得到的值作为集群i被访问的频率；
调用集群间的负载均衡服务器，将r_wj除以sum(r_wj)得到的值作为集群i内Podj被访问的频率；
调用集群间的负载均衡服务器，将集群i被访问的频率与Pod j被访问的频率的乘积作为Pod j的全局权重，集群内Pod的负载均衡配置参数包括Pod j的全局权重。
在一些实施例中，在得到Pod j的全局权重的情况下，如果该数值不是整数则进行取整操作，进一步地，标记集群内不同Pod，得到RS集合RS＝{R0,R1,…,Rn}；权重集合W＝{W0,W1,…,Wn}。示例性的，还可以初始化一个空的RS列表(List)，将W0个R0加到list中，W1个R1加到List中。遍历RS List即实现了权重的调度方法。
本申请其他实施例中，步骤S202中集群内Pod的负载均衡配置参数还可以通过如下方式来设置：通过集群内的应用程序接口API服务器，设置Pod创建事件和/或Pod销毁事件中携带的Pod名称对应的Pod的负载均衡配置参数为预设值。
本申请实施例中，无需在Pod另一种标记语言(yaml)中显式写明负载均衡的配置，而是通过webhook的pod创建和销毁事件，调用RM查询是否需要负载均衡配置来实现，最后调用welb admin Service配置节点网络。这样保持了Pod Yaml的简洁性，避免和负载均衡耦合，支持在其他非特定的K8s集群中部署。进一步地，支持k8s管理pod与pod的生命周期深度整合，pod创建和销毁前自动先把流量权重配置成预设值如0，以保证服务的稳定。
下面继续说明本申请实施例提供的容器负载均衡装置154实施为软件模块的示例性结构，在一些实施例中，如图1所示，存储在存储器150的容器负载均衡装置154中的软件模块可以是服务器集群100中的容器负载均衡装置，包括：
集群间的负载均衡服务器1541，用于接收服务调用方采用集群虚拟网际协议地址VIP，和集群VIP对应的宿主机端口发送的处理请求；
集群间的负载均衡服务器1541，用于器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内集群VIP对应的容器的运行单元Pod IP和宿主机端口对应的Pod端口；
集群间的负载均衡服务器1541，用于根据集群VIP和宿主机端口将处理请求，转发至Pod IP和Pod端口对应的目标Pod进行处理。
本申请其他实施例中，容器负载均衡装置154还包括集群内的应用程序接口API服务器1542和集群间的资源管理组件1543，其中，API服务器1542，用于调用负载均衡服务器配置的网络钩子webhook监听到Pod创建事件；集群间的资源管理组件1543，用于查询Pod创建事件携带的Pod名称是否绑定有服务；集群间的负载均衡服务器1541，用于若查询到绑定有服务，则更新Pod名称对应的集群内Pod的负载均衡配置参数。
本申请其他实施例中，集群间的资源管理组件1543，用于接收输入的Pod名称和Pod端口；查找Pod名称对应的宿主机上未使用的端口，得到宿主机端口；创建服务，并为服务分配集群VIP和宿主机端口。
本申请其他实施例中，集群间的资源管理组件1543，用于在集群内的Pod组中确定与Pod名称一一对应的宿主机，为Pod名称对应的宿主机。
本申请其他实施例中，集群间的负载均衡服务器1541，用于获得所有集群的总权重sum(c_wi)和所有集群内集群i的集群权重c_wi，其中，i为大于等于1且小于等于n的正整数，n为所有集群的总数；获得集群i内所有Pod的总权重sum(r_wj)和所有Pod中Pod j的Pod权重r_wj，其中，j为大于等于1且小于等于m的正整数，m为所有Pod的总数；根据sum(c_wi)、c_wi、sum(r_wj)和r_wj，计算集群内Pod的负载均衡配置参数。
本申请其他实施例中，集群间的负载均衡服务器1541，用于将c_wi除以sum(c_wi)得到的值作为集群i被访问的频率；将r_wj除以sum(r_wj)得到的值作为集群i内Pod j被访问的频率；将集群i被访问的频率与Pod j被访问的频率的乘积作为Pod j的全局权重，集群内Pod的负载均衡配置参数包括Pod j的全局权重。
本申请其他实施例中，API服务器1542，用于调用负载均衡服务器配置的网络钩子webhook监听到Pod创建事件和/或Pod销毁事件；设置Pod创建事件和/或Pod销毁事件中携带的Pod名称对应的Pod的负载均衡配置参数为预设值。
本申请提供的容器负载均衡装置，通过集群间的负载均衡服务器接收服务调用方采用集群虚拟网际协议地址VIP，和集群VIP对应的宿主机端口发送的处理请求；通过集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内集群VIP对应的容器的运行单元Pod IP和宿主机端口对应的Pod端口；可见，本申请将负载均衡策略建立在宿主机上，并且Pod和宿主机建立端口映射，实现集群外访问Pod，对外暴露集群VIP即可；进一步地，通过集群间的负载均衡服务器根据集群VIP和宿主机端口将处理请求，转发至Pod IP和Pod端口对应的目标Pod进行处理，也就是说，通过集群VIP和宿主机端口在集群外访问Pod时，可以确保在使用宿主机网络的同时指向的Pod IP的唯一性，从而避免了节点向Pod所在节点转发，提高了处理性能。
需要说明的是，本申请实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本申请实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图2示出的方法。
本申请提供的存储介质，通过集群间的负载均衡服务器接收服务调用方采用集群虚拟网际协议地址VIP，和集群VIP对应的宿主机端口发送的处理请求；通过集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内集群VIP对应的容器的运行单元Pod IP和宿主机端口对应的Pod端口；可见，本申请将负载均衡策略建立在宿主机上，并且Pod和宿主机建立端口映射，实现集群外访问Pod，对外暴露集群VIP即可；进一步地，通过集群间的负载均衡服务器根据集群VIP和宿主机端口将处理请求，转发至Pod IP和Pod端口对应的目标Pod进行处理，也就是说，通过集群VIP和宿主机端口在集群外访问Pod时，可以确保在使用宿主机网络的同时指向的Pod IP的唯一性，从而避免了节点向Pod所在节点转发，提高了处理性能。
在一些实施例中，存储介质可以是计算机可读存储介质，例如，铁电存储器(FRAM，Ferromagnetic Random Access Memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPROM，Electrically Erasable Programmable Read Only Memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(CD-ROM，Compact Disk-Read Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(超文本标记语言，Hyper Text Markup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (10)

1.一种容器负载均衡方法，其特征在于，包括：
通过集群间的负载均衡服务器接收服务调用方采用集群虚拟网际协议地址VIP，和所述集群VIP对应的宿主机端口发送的处理请求；
通过所述集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内所述集群VIP对应的容器的运行单元Pod IP和所述宿主机端口对应的Pod端口；
通过所述集群间的负载均衡服务器根据所述集群VIP和所述宿主机端口将所述处理请求，转发至所述Pod IP和所述Pod端口对应的目标Pod进行处理。
2.根据权利要求1中所述的方法，其特征在于，所述通过所述集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内所述集群VIP对应的容器的运行单元Pod IP和所述宿主机端口对应的Pod端口之前，所述方法还包括：
通过集群内的应用程序接口API服务器，调用负载均衡服务器配置的网络钩子webhook监听到Pod创建事件；
通过集群间的资源管理组件查询所述Pod创建事件携带的Pod名称是否绑定有服务；
若查询到绑定有服务，则调用所述集群间的负载均衡服务器更新所述Pod名称对应的集群内Pod的所述负载均衡配置参数。
3.根据权利要求2所述的方法，其特征在于，所述通过所述资源管理组件查询所述Pod创建事件携带的Pod名称是否绑定有服务之前，所述方法还包括：
通过集群间的资源管理组件接收输入的所述Pod名称和所述Pod端口；
通过所述集群间的资源管理组件查找所述Pod名称对应的宿主机上未使用的端口，得到所述宿主机端口；
通过所述集群间的资源管理组件创建所述服务，并为所述服务分配所述集群VIP和所述宿主机端口。
4.根据权利要求3所述的方法，其特征在于，所述通过所述集群间的资源管理组件查找所述Pod名称对应的宿主机上未使用的端口，得到所述宿主机端口之前，包括：
通过所述集群间的资源管理组件，在集群内的Pod组中确定与所述Pod名称一一对应的宿主机，为所述Pod名称对应的宿主机。
5.根据权利要求1所述的方法，其特征在于，所述通过所述集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内所述集群VIP对应的容器的运行单元Pod IP和所述宿主机端口对应的Pod端口之前，所述方法还包括：
调用所述集群间的负载均衡服务器，获得所有集群的总权重sum(c_wi)和所述所有集群内集群i的集群权重c_wi，其中，i为大于等于1且小于等于n的正整数，n为所述所有集群的总数；
调用所述集群间的负载均衡服务器，获得所述集群i内所有Pod的总权重sum(r_wj)和所述所有Pod中Pod j的Pod权重r_wj，其中，j为大于等于1且小于等于m的正整数，m为所述所有Pod的总数；
调用所述集群间的负载均衡服务器，根据所述sum(c_wi)、所述c_wi、所述sum(r_wj)和所述r_wj，计算所述集群内Pod的所述负载均衡配置参数。
6.根据权利要求1所述的方法，其特征在于，所述调用所述集群间的负载均衡服务器，根据所述sum(c_wi)、所述c_wi、所述sum(r_wj)和所述r_wj，计算所述集群内Pod的所述负载均衡配置参数，包括：
调用所述集群间的负载均衡服务器，将所述c_wi除以所述sum(c_wi)得到的值作为所述集群i被访问的频率；
调用所述集群间的负载均衡服务器，将所述r_wj除以所述sum(r_wj)得到的值作为所述集群i内所述Pod j被访问的频率；
调用所述集群间的负载均衡服务器，将所述集群i被访问的频率与所述Pod j被访问的频率的乘积作为所述Pod j的全局权重，所述集群内Pod的负载均衡配置参数包括所述Podj的全局权重。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述通过所述集群间的负载均衡服务器根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内所述集群VIP对应的容器的运行单元Pod IP和所述宿主机端口对应的Pod端口之前，所述方法还包括：
通过集群内的应用程序接口API服务器，调用负载均衡服务器配置的网络钩子webhook监听到Pod创建事件和/或Pod销毁事件；
通过集群内的应用程序接口API服务器，设置所述Pod创建事件和/或Pod销毁事件中携带的Pod名称对应的Pod的负载均衡配置参数为预设值。
8.一种容器负载均衡装置，其特征在于，包括：
集群间的负载均衡服务器，用于接收服务调用方采用集群虚拟网际协议地址VIP，和所述集群VIP对应的宿主机端口发送的处理请求；
所述集群间的负载均衡服务器，用于根据目的地址转换关系和集群内Pod的负载均衡配置参数，确定集群内所述集群VIP对应的容器的运行单元Pod IP和所述宿主机端口对应的Pod端口；
所述集群间的负载均衡服务器，用于根据所述集群VIP和所述宿主机端口将所述处理请求，转发至所述Pod IP和所述Pod端口对应的目标Pod进行处理。
9.一种容器负载均衡设备，其特征在于，包括：
存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至7任一项所述的方法。
10.一种存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至7任一项所述的方法。
CN202111535605.7A 2021-12-15 2021-12-15 一种容器负载均衡方法、装置、设备及存储介质 Pending CN114374696A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111535605.7A CN114374696A (zh) 2021-12-15 2021-12-15 一种容器负载均衡方法、装置、设备及存储介质
PCT/CN2022/100627 WO2023109067A1 (zh) 2021-12-15 2022-06-23 一种容器负载均衡方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111535605.7A CN114374696A (zh) 2021-12-15 2021-12-15 一种容器负载均衡方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114374696A true CN114374696A (zh) 2022-04-19

Family

ID=81140049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111535605.7A Pending CN114374696A (zh) 2021-12-15 2021-12-15 一种容器负载均衡方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN114374696A (zh)
WO (1) WO2023109067A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827115A (zh) * 2022-06-01 2022-07-29 青岛中科曙光科技服务有限公司 容器内Web服务的访问方法、装置、电子设备及存储介质
CN114884956A (zh) * 2022-07-05 2022-08-09 北京世纪好未来教育科技有限公司 多集群架构的实现方法、装置及多集群架构系统
CN115037812A (zh) * 2022-06-06 2022-09-09 国科华盾(北京)科技有限公司 一种面向容器云场景的网络模式数据处理方法
WO2023109067A1 (zh) * 2021-12-15 2023-06-22 深圳前海微众银行股份有限公司 一种容器负载均衡方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117149445B (zh) * 2023-10-31 2024-01-12 北京比格大数据有限公司 一种跨集群负载均衡方法及装置、设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011029253A1 (zh) * 2009-09-08 2011-03-17 中兴通讯股份有限公司 一种Web负载均衡方法、网格服务器及系统
CN107395762A (zh) * 2017-08-30 2017-11-24 四川长虹电器股份有限公司 一种基于Docker容器的应用服务访问系统及方法
CN110868465A (zh) * 2019-11-13 2020-03-06 北京浪潮数据技术有限公司 一种容器云的负载均衡系统及方法
CN111034160A (zh) * 2017-08-31 2020-04-17 微软技术许可有限责任公司 在负载均衡连接上具有虚拟vip和源代理的非dsr分布式负载均衡器
CN111193783A (zh) * 2019-12-19 2020-05-22 新浪网技术(中国)有限公司 一种服务访问的处理方法及装置
CN111405055A (zh) * 2020-03-23 2020-07-10 北京达佳互联信息技术有限公司 多集群管理方法、系统、服务器、存储介质
CN111431740A (zh) * 2020-03-16 2020-07-17 深信服科技股份有限公司 数据的传输方法、装置、设备及计算机可读存储介质
CN111666131A (zh) * 2020-07-03 2020-09-15 腾讯科技（深圳）有限公司 负载均衡分配方法、装置、计算机设备和存储介质
CN112015544A (zh) * 2020-06-30 2020-12-01 苏州浪潮智能科技有限公司 一种k8s集群的负载均衡方法、装置、设备及存储介质
CN112130965A (zh) * 2020-10-26 2020-12-25 腾讯科技（深圳）有限公司 部署分布式容器编排管理集群的方法、设备及存储介质
CN112764886A (zh) * 2021-01-29 2021-05-07 上海弘积信息科技有限公司 一种基于Kubernetes平台的负载均衡控制器
CN113127199A (zh) * 2021-04-22 2021-07-16 康键信息技术（深圳）有限公司 负载均衡配置方法、装置、设备及存储介质
US20210365290A1 (en) * 2020-04-16 2021-11-25 Nanjing University Of Posts And Telecommunications Multidimensional resource scheduling method in kubernetes cluster architecture system
CN113783922A (zh) * 2021-03-26 2021-12-10 北京沃东天骏信息技术有限公司 负载均衡的方法、系统和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10887380B2 (en) * 2019-04-01 2021-01-05 Google Llc Multi-cluster ingress
CN112003961B (zh) * 2020-08-14 2022-05-17 苏州浪潮智能科技有限公司 一种kubernetes中资源暴露方法、系统、设备以及介质
CN113656168A (zh) * 2021-07-16 2021-11-16 新浪网技术(中国)有限公司 一种流量的自动容灾和调度的方法、系统、介质和设备
CN114374696A (zh) * 2021-12-15 2022-04-19 深圳前海微众银行股份有限公司 一种容器负载均衡方法、装置、设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011029253A1 (zh) * 2009-09-08 2011-03-17 中兴通讯股份有限公司 一种Web负载均衡方法、网格服务器及系统
CN107395762A (zh) * 2017-08-30 2017-11-24 四川长虹电器股份有限公司 一种基于Docker容器的应用服务访问系统及方法
CN111034160A (zh) * 2017-08-31 2020-04-17 微软技术许可有限责任公司 在负载均衡连接上具有虚拟vip和源代理的非dsr分布式负载均衡器
CN110868465A (zh) * 2019-11-13 2020-03-06 北京浪潮数据技术有限公司 一种容器云的负载均衡系统及方法
CN111193783A (zh) * 2019-12-19 2020-05-22 新浪网技术(中国)有限公司 一种服务访问的处理方法及装置
CN111431740A (zh) * 2020-03-16 2020-07-17 深信服科技股份有限公司 数据的传输方法、装置、设备及计算机可读存储介质
CN111405055A (zh) * 2020-03-23 2020-07-10 北京达佳互联信息技术有限公司 多集群管理方法、系统、服务器、存储介质
US20210365290A1 (en) * 2020-04-16 2021-11-25 Nanjing University Of Posts And Telecommunications Multidimensional resource scheduling method in kubernetes cluster architecture system
CN112015544A (zh) * 2020-06-30 2020-12-01 苏州浪潮智能科技有限公司 一种k8s集群的负载均衡方法、装置、设备及存储介质
CN111666131A (zh) * 2020-07-03 2020-09-15 腾讯科技（深圳）有限公司 负载均衡分配方法、装置、计算机设备和存储介质
CN112130965A (zh) * 2020-10-26 2020-12-25 腾讯科技（深圳）有限公司 部署分布式容器编排管理集群的方法、设备及存储介质
CN112764886A (zh) * 2021-01-29 2021-05-07 上海弘积信息科技有限公司 一种基于Kubernetes平台的负载均衡控制器
CN113783922A (zh) * 2021-03-26 2021-12-10 北京沃东天骏信息技术有限公司 负载均衡的方法、系统和装置
CN113127199A (zh) * 2021-04-22 2021-07-16 康键信息技术（深圳）有限公司 负载均衡配置方法、装置、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023109067A1 (zh) * 2021-12-15 2023-06-22 深圳前海微众银行股份有限公司 一种容器负载均衡方法、装置、设备及存储介质
CN114827115A (zh) * 2022-06-01 2022-07-29 青岛中科曙光科技服务有限公司 容器内Web服务的访问方法、装置、电子设备及存储介质
CN115037812A (zh) * 2022-06-06 2022-09-09 国科华盾(北京)科技有限公司 一种面向容器云场景的网络模式数据处理方法
CN114884956A (zh) * 2022-07-05 2022-08-09 北京世纪好未来教育科技有限公司 多集群架构的实现方法、装置及多集群架构系统
CN114884956B (zh) * 2022-07-05 2022-09-06 北京世纪好未来教育科技有限公司 多集群架构的实现方法、装置及多集群架构系统

Also Published As

Publication number Publication date
WO2023109067A1 (zh) 2023-06-22

Similar Documents

Publication Publication Date Title
US11418512B2 (en) Method for virtual machine to access physical server in cloud computing system, apparatus, and system
CN114374696A (zh) 一种容器负载均衡方法、装置、设备及存储介质
US11252228B2 (en) Multi-tenant multi-session catalogs with machine-level isolation
US10719369B1 (en) Network interfaces for containers running on a virtual machine instance in a distributed computing environment
TWI752939B (zh) 用戶請求的處理方法和裝置
WO2021052132A1 (zh) 一种网络边缘计算方法、装置、设备及介质
US11196640B2 (en) Releasing and retaining resources for use in a NFV environment
US10992575B2 (en) Assignment of internet protocol addresses to services
CN107707622A (zh) 一种访问桌面云虚拟机的方法、装置及桌面云控制器
US10771570B2 (en) Scalable message passing architecture a cloud environment
CN114281263B (zh) 容器集群管理系统的存储资源处理方法、系统和设备
CN112187864B (zh) 负载均衡方法、装置、存储介质及电子设备
US11863612B2 (en) Network edge computing and network edge computation scheduling method, device and medium
EP3798859A1 (en) File system using approximate membership filters
US10896077B2 (en) Messaging abstraction layer for integration with message oriented middleware platforms
CN117519911B (zh) 自动注入系统、方法、设备、集群以及介质
US20230205505A1 (en) Computer system, container management method, and apparatus
US20230315543A1 (en) Tightly coupled parallel applications on a serverless computing system
US20230315541A1 (en) Tightly coupled parallel applications on a serverless computing system
CN117130733A (zh) 一种数据中台对接大数据集群的数据请求适配方法和装置
CN113127145A (zh) 信息处理方法、装置以及存储介质
KR20100078488A (ko) 소스 통합 관리 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination