CN112540827A

CN112540827A - 一种基于k8s平台的负载均衡系统及实现方法

Info

Publication number: CN112540827A
Application number: CN202011424962.1A
Authority: CN
Inventors: 单酉; 冀天宇; 陈俊
Original assignee: Beijing Casicloud Co ltd
Current assignee: Beijing Casicloud Co ltd
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2021-03-23

Abstract

本发明公开了一种基于k8s平台的负载均衡系统及实现方法，步骤包括：在k8s系统中搭建负载均衡客户端，负责发送负载均衡请求到负载均衡中心；LBMC接收来自LBC的相关负载均衡请求，然后创建负载配置；并进行分配相应的负载均衡资源给用户，管理负载均衡代理和负载均衡资源池；LBA对HAProxy进行管理，然后代理某一段访问某web服务，访问正常则代码正确；在k8s中部署etcd，作为保存k8s所有集群数据的后台数据库，etcd在k8s中以docker的方式进行部署。通过构建一种负载均衡群集，解决了工业互联网领域后端网络设备集群管理复杂化、效率低、可用性低、不便于扩展的问题，实现了对工业互联网后端设备的动态化管理。

Description

一种基于k8s平台的负载均衡系统及实现方法

技术领域

本发明涉及工业互联网应用技术领域，具体来说，涉及一种基于k8s平台的负载均衡系统及实现方法。

背景技术

近年来，随着微服务技术的不断成熟，越来越多的大中型工业互联网企业开始采用kubernetes集群来管理容器化的工作负载及相关服务。Kubernetes是一个开源的，可移植的，可扩展的自动化容器操作平台，是当前主流的PaaS（Platform as a service）平台技术。

如图1所示，k8s作为当前主流的自动化容器操作平台，主要有以下几个特点：

通过开放容器的DNS或IP，暴露容器服务，实现服务发现和负载均衡功能；可以为容器挂载多种存储系统；自动化容器滚动创建和删除；根据容器的资源需求，把容器分配到合适的节点，实现自动箱式封装功能；自动重启或替换失效容器，实现自动修复功能等。其中，负载均衡是k8s的一个非常基础且重要的功能。

k8s在设计之初，就充分考虑了针对容器的服务发现与负载均衡机制，提供了Service资源，并通过kube-proxy配合cloud provider来适应不同的应用场景。随着k8s平台的发展，又新增了几种新的负载均衡机制，目前，kubernetes中的负载均衡大致可以分为以下几种机制，每种机制都有其特定的应用场景。

Service：直接用Service提供cluster内部的负载均衡，并借cloud provider提供的LB提供外部访问。

Ingress Controller：还是用Service提供cluster内部的负载均衡，但是通过自定义LB提供外部访问。

Service Load Balancer：把load balancer直接跑在容器中，实现Bare Metal的Service Load Balancer。

Custom Load Balancer：自定义负载均衡，并替代kube-proxy，一般在物理部署Kubernetes时使用，方便接入公司已有的外部服务。

然而，随着k8s用户的急剧增加，用户场景不断丰富，现有的负载均衡机制并不能满足某些特定的场景需求。这就要求工业互联网企业设计自己的一套负载均衡系统来满足特定场景的需求。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于k8s平台的负载均衡系统及实现方法，能够克服现有技术方法的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于k8s平台的负载均衡系统，包括负载均衡客户端（LBC）、负载均衡管理中心（LBMC）、LBAgent（LBA）、HAProxy以及etcd键值数据库，其中，

所述负载均衡客户端LBC，负责发送负载请求到所述负载均衡管理中心LBMC；

所述负载均衡管理中心LBMC，以高可用的方式搭建，接收来自LBC的相关负载均衡请求，然后创建负载配置与进行负载均衡资源分配；

所述LBAgent，以高可用的方式部署，并管理所述LAProxy，代理某一端口访问某web服务；

所述etcd，是兼具一致性和高可用性的键值数据库，在k8s中以docker的方式部署，用于保存k8s所有集群数据的后台数据库。

根据本发明的另一方面，提供了一种基于k8s平台的负载均衡系统的实现方法，包括以下步骤：

S1在k8s系统中搭建负载均衡客户端，负责发送负载均衡请求到负载均衡中心；

S2 LBMC接收来自LBC的相关负载均衡请求，然后后创建负载配置；

S3 并进行分配相应的负载均衡资源给用户，管理负载均衡代理和负载均衡资源池；

S4 LBA对HAProxy进行管理，然后代理某一段访问某web服务，访问正常则代码正确；

S5在k8s中部署etcd，作为保存k8s所有集群数据的后台数据库，etcd在k8s中以docker的方式进行部署。

进一步地，基于k8s平台的负载均衡系统采用的是HAProxy并配合keepalived的VRRP协议。

进一步地，发送的负载均衡请求包括如申请资源、更新资源、删除资源等。

进一步地，LBA与LBMC的部署方式相同，均以高可用的方式部署在独立于k8s的物理机中。

进一步地，LBA负责负载均衡服务的启动/停止/更改设置，并提供API接口便于LBMC进行控制，向etcd注册，汇报状态。

进一步地，LBA提供metrics并向metrics收集器汇报各种监控指标，对LBA其自身运行的全过程提供日志。

进一步地，LBA以审计日志的形式对LBMC的每一次操作进行记录，在LBA自身出现崩溃或者主机待机的情况下，重启可以重新恢复到运行前的状态。

进一步地，在kos中部署的etcd，etcd数据存储在名称etcd-data.tmp的文件中，etcd进行部署命令。

本发明的有益效果：通过构建一种负载均衡群集，解决了工业互联网领域后端网络设备集群管理复杂化、效率低、可用性低、不便于扩展的问题，实现了对工业互联网后端设备的动态化管理，同时对群集的内网IP进行了反向代理。负载均衡系统采用HAProxy+keepalived方案，通过keepalived的VRRP协议保证了高可用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例所述的基于k8s平台的负载均衡系统及实现方法的k8s组成示意图。

图2是根据本发明实施例所述的基于k8s平台的负载均衡系统及实现方法的k8s平台负载均衡系统方案示意图。

图3是根据本发明实施例所述的基于k8s平台的负载均衡系统及实现方法的负载均衡系统拓扑示意图。

图4是根据本发明实施例所述的基于k8s平台的负载均衡系统及实现方法的Nginx模块处理http请求/响应流程示意图。

图5是根据本发明实施例所述的基于k8s平台的负载均衡系统及实现方法的Keepalived高可用集群工作原理示意图一。

图6是根据本发明实施例所述的基于k8s平台的负载均衡系统及实现方法的Keepalived高可用集群工作原理示意图二。

图7是根据本发明实施例所述的基于k8s平台的负载均衡系统及实现方法的Keepalived高可用工作原理总结流程示意图。

图8是根据本发明实施例所述的基于k8s平台的负载均衡系统及实现方法的现主流的高可用方案示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图2-3所示，根据本发明实施例所述的基于k8s平台的负载均衡系统及实现方法，包括负载均衡客户端（LBC），负责发送负载请求到所述负载均衡管理中心；负载均衡管理中心（LBMC），以高可用的方式搭建，接收来自LBC的相关负载均衡请求，然后创建负载配置与进行负载均衡资源分配； LBAgent（LBA），以高可用的方式部署，并管理所述LAProxy，代理某一端口访问某web服务； etcd，是兼具一致性和高可用性的键值数据库，在k8s中以docker的方式部署，用于保存k8s所有集群数据的后台数据库。

为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。

在k8s系统中搭建负载均衡客户端（LBC, Load Balance Client），该客户端主要负责发送负载均衡请求，如申请资源、更新资源、删除资源等到负载均衡管理中心（LBMC,Load Balance Resource Management Center）。

在独立于k8s系统的物理机中，以高可用的方式搭建LBMC，LBMC接受来自LBC的相关负载均衡请求后创建负载配置，并分配相应的负载均衡资源（LBR, Load BalanceRecord）给用户，并管理负载均衡代理（LBA, Load Balance Agent）和负载均衡资源池（LBP, Load Balance Pool）。

同LBMC的部署方式相同，LBA同样以高可用的方式部署在独立于k8s的物理机中，并由其对HAProxy进行管理, 然后代理某一端口访问某web服务，访问正常则说明代码正确。其具体功能/优点有：

①负责负载均衡服务的启动/停止/更改配置；

②提供API接口以便于LBMC进行控制；

③向etcd注册自己，汇报状态；

④提供metrics并向metrics收集器汇报各种监控指标；

⑤对LBA自身运行的全过程提供日志，便于对错误进行复盘、回溯；

⑥以审计日志的形式对LBMC的每一次操作进行记录；

⑦在LBA出现崩溃或者宿主机宕机的情况下，重启后可以重新恢复到运行前的状态，保证了其高可用性。

在k8s中部署etcd。etcd是兼具一致性和高可用性的键值数据库，可以作为保存k8s所有集群数据的后台数据库，是k8s的重要组件之一。本发明中，etcd在k8s中以docker的方式进行部署，etcd数据存储在名称为etcd-data.tmp的文件中（开发人员在自己的机器上也可以建立etcd, 可以选择二进制部署或者docker部署）。如果需要保留原始数据，不要删除etcd-data.tmp。

etcd部署命令如下：

部署：

rm -rf /tmp/etcd-data.tmp && mkdir -p /tmp/etcd-data.tmp && \

docker rmi quay.io/coreos/etcd:v3.3.12 || true && \

docker run -d \

……

指定source文件夹：

docker run -d -p 端口号:端口号 -p 端口号:端口号 --mount type=bind,

source=c:\Users\tiany\etcd-data,destination=/etcd-data --name adc-etcd-v3.3.12

……

etcd开启https：

下载 cfssl：

mkdir ~/bin

curl -s -L -o ~/bin/cfssl https://pkg.cfssl.org/R1.2/cfssl_linux-amd64

curl -s -L -o ~/bin/cfssljson https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64

chmod +x ~/bin/{cfssl,cfssljson}

export PATH=$PATH:~/bin

初始化证书颁发机构：

mkdir ~/cfssl

cd ~/cfssl

cfssl print-defaults config > ca-config.json

cfssl print-defaults csr > ca-csr.json

生成CA证书：

$ cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

ca-key.pem

ca.csr

ca.pem

生成服务器端证书：

$ echo '{"CN":"coreos1","hosts":["内网IP","127.0.0.1"],"key":{"algo":"rsa","size":2048}}' | cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=server -hostname="内网IP,127.0.0.1,server" - |cfssljson -bare server

hosts 字段需要自定义。

server-key.pem

server.csr

server.pem

生成对等证书：

$ echo'{"CN":"member1","hosts":["10.93.81.17","127.0.0.1"],"key":{"algo":"rsa","size":2048}}' | cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=peer -hostname="内网IP,127.0.0.1,server,member1" - | cfssljson -bare member1

然后将得到以下几个文件：

member1-key.pem

member1.csr

member1.pem

如果有多个 etcd 成员，重复此步为每个成员生成对等证书。

生成客户端证书：

$ echo '{"CN":"client","hosts":["内网IP","127.0.0.1"],"key":{"algo":"rsa","size":2048}}' | cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=client - | cfssljson -bare client

hosts 字段需要自定义。

然后将得到以下几个文件：

client-key.pem

client.csr

client.pem

拷贝密钥对到所有节点并更新：

$ mkdir -pv /etc/ssl/etcd/

$ cp ~/cfssl/* /etc/ssl/etcd/

$ chown -R etcd:etcd /etc/ssl/etcd

$ chmod 600 /etc/ssl/etcd/*-key.pem

$ cp ~/cfssl/ca.pem /etc/ssl/certs/

更新系统证书库：

$ yum install ca-certificates -y

$ update-ca-trust

配置kube-apiserver使用CA连接etcd：

$ cp /etc/ssl/etcd/* /var/run/kubernetes/

$ chown -R kube.kube /var/run/kubernetes/

采用该负载均衡系统的主要优点：

1、HAProxy 支持两种代理模式 TCP（四层）和HTTP（七层），可以对MySQL 读进行负载均衡，对后端的 MySQL 节点进行检测和负载均衡，同时支持虚拟主机。

2、与Nginx负载均衡方案相比，HAProxy 的优点能够补充 Nginx的一些缺点，比如支持 Session 的保持，Cookie 的引导，同时支持通过获取指定的 url 来检测后端服务器的状态。并且，由于HAProxy本身就是一款负载均衡软件，从效率方面比 Nginx 有更出色的负载均衡速度，在并发处理上也是优于 Nginx 的。如图4所示，Nginx仅能支持http、https和Email协议，这样就在适用范围上面更加受限。

3、与LVS相比，如果是网站应用比较庞大的话，LVS/DR+Keepalived 实施起来比较复杂，相对而言， HAProxy+Keepalived从操作方面更加便捷。

4、如图5-7所示，本负载系统为保障高可用性所采用的Keepalived软件最初是专为LVS负载均衡软件设计，但由于在大型工业领域中LVS+keepalived的组合配置较为复杂，且LVS无法做动静分离，软件本身也不支持正则处理，所以本系统采用HAProxy+Keepalived的组合，利用keepalived的VRRP功能实现了高可用故障切换转移。VRRP的全称是VirtualRouter Redundancy Protocol ,中文名为虚拟路由冗余协议，VRRP的出现就是为了解决静态踣甶的单点故障问题，该协议通过一种竞选机制来确定主备，主的优先级高于备，因此，工作时主会优先获得所有的资源，备节点处于等待状态。节点正常工作时，会不停地用IP多播的方式发包，备节点接包。当主节点挂掉后，备节点将无法监听到主节点发送的广播包，此时就会接管主节点的资源，然后顶替主节点对外提供服务。当主节点故障恢复后，备节点再将原先接管的资源移交给主节点，并继续监听主节点发送的包。

综上所述，借助于本发明的上述技术方案，通过构建一种负载均衡群集，解决了工业互联网领域后端网络设备集群管理复杂化、效率低、可用性低、不便于扩展的问题，实现了对工业互联网后端设备的动态化管理，同时对群集的内网IP进行了反向代理。负载均衡系统采用HAProxy+keepalived方案，通过keepalived的VRRP协议保证了高可用性。

目前较为主流的高可用方案，一般为主备集群，集群包含2台服务器，一台主服务器处于某种业务的激活状态（即 Active 状态），另一台备服务器处于该业务的备用状态（即 Standby 状态），它们共享同一个 VIP（Virtual IP）。同一时刻，VIP 只在一台主设备上生效，当主服务器出现问题，需要手工添加的形式使备用服务器接管 VIP 继续提供服务。

如图6所示，和主流方案相比，本发明对网络设备的控制能力更强，支持的群集设备更多，具有更强的可扩展性，同时性能更强，实现了网络设备的自动化控制，构建了一种高可用、高性能、可扩展的负载均衡群集，实现了对工业互联网后端网络集群设备的动态化管理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于k8s平台的负载均衡系统，其特征在于，包括负载均衡客户端、负载均衡管理中心、LBAgent、HAProxy以及etcd键值数据库，其中，

所述负载均衡客户端，负责发送负载请求到所述负载均衡管理中心；

所述负载均衡管理中心，以高可用的方式搭建，接收来自负载均衡客户端的相关负载均衡请求，然后创建负载配置与进行负载均衡资源分配；

所述LBAgent，以高可用的方式部署，并管理所述LAProxy；

所述etcd，是兼具一致性和高可用性的键值数据库，在k8s中以docker的方式部署。

2.一种基于k8s平台的负载均衡系统的实现方法，其特征在于，包括以下步骤：

S1在k8s系统中搭建负载均衡客户端，负责发送的负载均衡请求包括如申请资源、更新资源、删除资源；

S2负载均衡管理中心接收来自负载均衡客户端的相关负载均衡请求，然后创建负载配置；

S3并进行分配相应的负载均衡资源给用户，管理负载均衡代理和负载均衡资源池；

S4 LBAgent对HAProxy进行管理，然后代理某一段访问某web服务，访问正常则代码正确；

S5在k8s中部署etcd，作为保存k8s所有集群数据的后台数据库，etcd在k8s中进行部署。

3.根据权利要求2所述的基于k8s平台的负载均衡系统的实现方法，其特征在于，基于k8s平台的负载均衡系统采用的是HAProxy并配合keepalived的VRRP协议。

4.根据权利要求2所述的基于k8s平台的负载均衡系统的实现方法，其特征在于，LBAgent与负载均衡管理中心的部署方式相同，均以高可用的方式部署在独立于k8s的物理机中。

5.根据权利要求4所述的基于k8s平台的负载均衡系统的实现方法，其特征在于，LBAgent负责负载均衡服务的启动/停止/更改设置，并提供API接口便于负载均衡管理中心进行控制，向etcd注册，汇报状态。

6.根据权利要求4所述的基于k8s平台的负载均衡系统的实现方法，其特征在于，LBAgent提供metrics并向metrics收集器汇报各种监控指标，对LBAgent其自身运行的全过程提供日志。

7.根据权利要求5所述的基于k8s平台的负载均衡系统的实现方法，其特征在于，LBAgent以审计日志的形式对负载均衡管理中心的每一次操作进行记录，在LBA自身出现崩溃或者主机待机的情况下，重启可以重新恢复到运行前的状态。

8.根据权利要求2所述的基于k8s平台的负载均衡系统的实现方法，其特征在于，所述在k8s中部署的etcd，etcd数据存储在名称为etcd-data.tmp的文件中，etcd进行部署命令。