CN115913778A - 一种基于边车模式的网络策略更新方法、系统及存储介质 - Google Patents

Abstract

本发明涉及通信技术领域，具体涉及一种基于边车模式的网络策略更新方法、系统及存储介质，方法包括以下步骤：建立Pod容器时，为Pod容器绑定容纳网络策略的policy容器；添加绑定链至Pod容器，劫持Pod容器的入站流量和出站流量，绑定链记录Iptables规则；建立网络策略控制器，网络策略控制器接收policy容器的注册请求，建立存储policy容器注册的列表；当网络策略控制器接收到网络策略更新通知时，网络策略控制器通知涉及的policy容器；涉及的policy容器访问网络策略控制器，获得更新的网络策略；policy容器将更新的网络策略转换为Iptables规则，将Iptables规则添加到绑定链。本发明的有益技术效果包括：使网络策略的实现脱离了CNI组件，能够独立运行，实现网络策略的在线更新。

Description

一种基于边车模式的网络策略更新方法、系统及存储介质

技术领域

本发明涉及通信技术领域，具体涉及一种基于边车模式的网络策略更新方法、系统及存储介质。

背景技术

Kubernetes的NetworkPolicy资源是为了实现细粒度的容器间网络访问隔离策略，从Kubernetes的1.3版本开始引入。目前Kubernetes已发展到1.24版本，NetworkPolicy也升级为networking.k8s.io/v1 的版本。NetworkPolicy主导功能是对Pod间的网络通讯进行限制和准入，主要通过Pod的Label、命名空间这些信息对Pod进行筛选，以决定对此类Pod执行的操作。Kubernetes只定义了NetworkPolicy资源，但是网络策略功能并非由Kubernetes实现，通常是由CNI组件实现，如Calico。但并非所有CNI组件都能实现网络策略功能，由于组件自身的网络模式限制，如Flannel。

Pod是Kubernetes里面最小的可调度单元，一个Pod里面包含一个或者多个容器。多个容器的Pod因其主要的业务容器与其他辅助的容器组成了不同的设计模式，如Adapter模式、Ambassador模式和Sidecar模式等。这些模式的出现与当初应用从单体架构演变成服务化架构相似，都是把公共重复的部分从整体中抽离出来，让业务更专注其业务开发。因此Pod的主容器可以更专注于其业务运行，其他各种各样的辅助任务统一由其他Pod里面的辅助容器执行。

目前的Kubernetes集群均借助CNI组件来实现的网络策略功能存在不能在线更新的问题。如Calico和Cilium，他们本身就是CNI组件，系统运行环境往往是CNI组件选型过程中一个重要的考量因素，如Cilium通过比较新颖且高效的eBPF方式实现，但是需要宿主机的操作系统内核版本是4.19及以上。且对于一个正在运行的Kubernetes集群而言，更换CNI组件则需要重启集群上所有正在运行的Pod，会对现有业务造成一定影响。为此，需要研究能够实现网络策略在线更新的技术。

发明内容

本发明所要解决的技术问题：目前Kubernetes集群不能实现网络策略在线更新方案的技术问题。提出了一种基于边车模式的网络策略更新方法、系统及存储介质，借助边车模式实现Kubernetes集群Pod容器实现在线的网络策略更新。

为解决上述技术问题，本发明采用如下技术方案：一种基于边车模式的网络策略更新方法，包括以下步骤：

建立Pod容器时，为Pod容器绑定容纳网络策略的policy容器；

添加绑定链至Pod容器，劫持Pod容器的入站流量和出站流量，所述绑定链记录Iptables规则；

建立网络策略控制器，所述网络策略控制器接收policy容器的注册请求，建立存储policy容器注册的列表；

当所述网络策略控制器接收到网络策略更新通知时，所述网络策略控制器通知涉及的policy容器；

涉及的所述policy容器访问所述网络策略控制器，获得更新的网络策略；

所述policy容器将更新的网络策略转换为Iptables规则，将所述Iptables规则添加到所述绑定链。

作为优选，所述绑定链包括NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链，所述NETWORKPOLICY_INBOUND链和所述NETWORKPOLICY_OUTBOUND链分别劫持Pod容器的入站流量和出站流量，所述NETWORKPOLICY_INBOUND链和所述NETWORKPOLICY_OUTBOUND链分别记录入站Iptables规则和出站Iptables规则，将更新的网络策略转换为Iptables规则后，根据Iptables规则的入站和出站类型，将所述Iptables规则分别添加到所述NETWORKPOLICY_INBOUND链和所述NETWORKPOLICY_OUTBOUND链，完成网络策略的更新。

作为优选，建立Pod容器的方法包括：

接收创建Pod容器的请求，搁置Pod容器正常创建的流程；

按照所述Pod容器所在命名空间配置，添加policy容器到所述Pod容器的manifest中；

继续Pod容器正常创建的流程，完成所述Pod容器的创建。

作为优选，添加NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链至Pod容器的方法包括：

所述policy容器内置有agent，所述policy容器随所述Pod容器启动后，启动所述agent；

所述agent将所述NETWORKPOLICY_INBOUND链和所述NETWORKPOLICY_OUTBOUND链分别挂载在所述Pod容器的PREROUTING链和OUTPUT链。

作为优选，所述agent在所述NETWORKPOLICY_INBOUND链和所述NETWORKPOLICY_OUTBOUND链中分别添加通至所述网络策略控制器的接收规则和发送规则，实现所述policy容器与所述网络策略控制器交互流量的放行。

作为优选，所述agent向所述网络策略控制器发送注册请求，所述注册请求包括对应的policy容器的名称和对应Pod容器的访问地址。

作为优选，更新的所述网络策略包括若干个网络策略条目，所述网络策略条目包括控制字和参数，所述agent存储有所述控制字与Iptables规则的映射表，所述agent根据所述映射表找到网络策略条目对应的Iptables规则，并将参数写入对应的所述Iptables规则，完成将所述网络策略转换为对应的Iptables规则。

作为优选，所述Iptables规则包括匹配目标和操作，所述匹配目标记录与进站流量或出站流量匹配的规则，所述操作包括通过、删除、排队及返回。

一种计算机系统，所述计算机系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如前述的一种基于边车模式的网络策略更新方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前述的一种基于边车模式的网络策略更新方法。

本发明的有益技术效果包括：本方案通过边车模式实现绑定链的挂载，并在绑定链中实现网络策略的注入，使网络策略的实现脱离了CNI组件，能够独立运行，无需顾虑与CNI组件及其使用的网络模式的兼容性；本方案的部署无需变更集群的核心组件与配置，无需大范围重启Pod，保障了业务的稳定性；本方案对运行环境依赖度降低，能够使用Netfilter子系统实现，并且网络策略对应的Iptables规则位于容器侧，不影响Kubernetes集群Service的性能，提高了集群的运行效率和可靠性。

本发明的其他特点和优点将会在下面的具体实施方式、附图中详细的揭露。

附图说明

下面结合附图对本发明做进一步的说明：

图1为本发明实施例网络策略更新方法流程示意图。

图2为本发明实施例建立Pod容器方法流程示意图。

图3为本发明实施例计算机系统结构示意图。

10、计算机系统，11、存储器，12、计算机程序,13、处理器。

具体实施方式

下面结合本发明实施例的附图对本发明实施例的技术方案进行解释和说明，但下述实施例仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例，都属于本发明的保护范围。

在下文描述中，出现诸如术语“内”、“外”、“上”、“下”、“左”、“右”等指示方位或者位置关系仅是为了方便描述实施例和简化描述，而不是指示或暗示所指的装置或者元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

介绍本实施例前，对本实施例应用场景作介绍。

kubernetes，简称K8s，是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效。传统的应用部署方式是通过插件或脚本来安装应用。这样做的缺点是应用的运行、配置、管理、所有生存周期将与当前操作系统绑定，这样做并不利于应用的升级更新/回滚等操作，当然也可以通过创建虚拟机的方式来实现某些功能，但是虚拟机非常重，并不利于可移植性。新的方式是通过部署容器方式实现，每个容器之间互相隔离，每个容器有自己的文件系统 ，容器之间进程不会相互影响，能区分计算资源。相对于虚拟机，容器能快速部署，由于容器与底层设施、机器文件系统解耦的，所以它能在不同云、不同版本操作系统间进行迁移。容器占用资源少、部署快，每个应用可以被打包成一个容器镜像，每个应用与容器间成一对一关系也使容器有更大优势，使用容器可以在build或release 的阶段，为应用创建容器镜像，因为每个应用不需要与其余的应用堆栈组合，也不依赖于生产环境基础结构，这使得从研发到测试、生产能提供一致环境。

在Kubernetes中，可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问。而Network Policy提供了基于策略的网络控制，用于隔离应用并减少攻击面。Network Policy提供了关于 Pod 间及与其他网络端点间所允许的通信规则的规范。Network Policy 资源使用标签选择 Pod，并定义选定 Pod 所允许的通信规则。通信规则使用Iptables记录。默认情况下，所有Pod之间是全通的。每个Namespace可以配置独立的网络策略，来隔离Pod之间的流量。比如隔离namespace的所有Pod之间的流量，包括从外部到该namespace中所有Pod的流量以及namespace内部Pod相互之间的流量。为此，本实施例提供了能够实现网络策略在线更新的一种基于边车模式的网络策略更新方法，请参阅附图1，包括以下步骤：

步骤A01）建立Pod容器时，为Pod容器绑定容纳网络策略的policy容器；

步骤A02）添加绑定链至Pod容器，劫持Pod容器的入站流量和出站流量，绑定链记录Iptables规则；

步骤A03）建立网络策略控制器，网络策略控制器接收policy容器的注册请求，建立存储policy容器注册的列表；

步骤A04）当网络策略控制器接收到网络策略更新通知时，网络策略控制器通知涉及的policy容器；

步骤A05）涉及的policy容器访问网络策略控制器，获得更新的网络策略；

步骤A06）policy容器将更新的网络策略转换为Iptables规则，将Iptables规则添加到绑定链。

采用绑定链劫持Pod容器的流量，通过边车模式实现将网络策略挂载到Pod容器的policy上，通过网络策略控制器监听网络策略的更新，将更新后的网络策略转换为具体的Iptables规则，将Iptables规则添加到绑定链，即可完成网络策略的在线更新，实现不大量的重启Pod的情况下网络策略的更新，保证主要业务的正常运行。使网络策略的实现脱离了CNI组件，无需顾虑与CNI组件及其使用的网络模式的兼容性。

绑定链包括NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链，NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链分别劫持Pod容器的入站流量和出站流量，NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链分别记录入站Iptables规则和出站Iptables规则，将更新的网络策略转换为Iptables规则后，根据Iptables规则的入站和出站类型，将Iptables规则分别添加到NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链，完成网络策略的更新。

使用 Iptables可以添加、删除具体的网络策略过滤规则，Iptables默认维护着 4个表和 5 个链，所有的网络策略规则都被分别写入这些表与链中。

请参阅附图2，建立Pod容器的方法包括：

步骤B01）接收创建Pod容器的请求，搁置Pod容器正常创建的流程；

步骤B02）按照Pod容器所在命名空间配置，添加policy容器到Pod容器的manifest中；

步骤B03）继续Pod容器正常创建的流程，完成Pod容器的创建。

添加NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链至Pod容器的方法包括：

policy容器内置有agent，policy容器随Pod容器启动后，启动agent；

agent将NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链分别挂载在Pod容器的PREROUTING链和OUTPUT链。

默认的 iptable s规则表有 filter 表、nat 表、mangle表和raw表。其中filter表：控制数据包是否允许进出及转发，可以控制的链路有 INPUT、FORWARD 和 OUTPUT。nat表：控制数据包中地址转换，可以控制的链路有 PREROUTING、INPUT、OUTPUT 和POSTROUTING。mangle：修改数据包中的原数据，可以控制的链路有 PREROUTING、INPUT、OUTPUT、FORWARD 和 POSTROUTING。raw：控制 nat 表中连接追踪机制的启用状况，可以控制的链路有 PREROUTING、OUTPUT。“五链”是指内核中控制网络的 NetFilter 定义的 5 个规则链，分别为：INPUT（入站数据过滤则链）、OUTPUT（出站数据过滤则链）、FORWARD（转发数据过滤则链）、PREROUTING（路由前过滤则链）和POSTROUTING（路由后过滤则链），防火墙规则需要写入到这些具体的数据链中。本实施例使用边车模式的绑定链挂载在PREROUTING链和OUTPUT链即可实现劫持Pod容器的入站流量和出站流量。

agent在NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链中分别添加通至网络策略控制器的接收规则和发送规则，实现policy容器与网络策略控制器交互流量的放行。通过agent能够方便policy容器与网络策略控制器的交互。

agent向网络策略控制器发送注册请求，注册请求包括对应的policy容器的名称和对应Pod容器的访问地址。agent在NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链中分别添加通至网络策略控制器的接收规则和发送规则，以及向网络策略控制器发送注册请求的先后顺序没有特别的要求。既可以先发送注册请求，而后完成在NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链中分别添加通至网络策略控制器的接收规则和发送规则，也可以顺序颠倒执行。同样对于在NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链中分别添加通至网络策略控制器的接收规则和发送规则，以及将NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链分别挂载在Pod容器的PREROUTING链和OUTPUT链，也没有特别的顺序要求，完整执行全部步骤即可。

更新的网络策略包括若干个网络策略条目，网络策略条目包括控制字和参数，agent存储有控制字与Iptables规则的映射表，agent根据映射表找到网络策略条目对应的Iptables规则，并将参数写入对应的Iptables规则，完成将网络策略转换为对应的Iptables规则。Iptables规则包括匹配目标和操作，匹配目标记录与进站流量或出站流量匹配的规则，操作包括通过、删除、排队及返回。通过使用映射表将网络策略条目正确的转换为Iptables规则，进而添加进NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链，完成网络策略的更新。

另一方面，本实施例还提供了网络策略更新方法验证的过程，包括以下步骤：

1）准备两台配置为8C/16G的虚拟机，部署一个Kubernetes集群，其中一台机为master节点，另一台机为worker节点，集群的CNI组件选用不支持网络策略的Flannel；

2）安装networkpolicy helm chart包，里面包含deployment/networkpolicy-controller，deployment/networkpolicy-ambassador以及MutatingAdmissionWebhook等资源；

3）创建两个命名空间ns-1和ns-2，在两个命名空间的annotations处添加kubernetes.com/np-enable:true的注解；

4）分别在命名空间ns-1和ns-2命名空间中创建一个以nginx:latest为镜像的工作负载，待工作负载相关的Pod创建成功后，观察其manifest，都会发现除了原有定义的nginx主容器外，还会多了一个policy的容器，表示步骤A01）被成功执行；

5）利用kubectl exec -it命令进入ns-1的工作负载容器组中通过curl命令访问ns-2的工作负载，结果为可正常访问；

6）创建网络策略资源，资源manifest如下所示，其意为禁止所有流量进入ns-2命名空间的容器组中；

apiVersion: networking.k8s.io/v1

kind: NetworkPolicy

metadata:

name: ingress

namespace: ns-2

spec:

podSelector: {}

policyTypes:

- Ingress

7）再次通过步骤5的方式进入ns-1的工作负载容器组中访问ns-2的工作负载，此时ns-2的工作负载不能被访问，表明步骤A02）至步骤A06）均被正确执行；

8）删除上述ns-2/ingress网络策略，进入ns-1的工作负载容器组中访问ns-2的工作负载，此时ns-2的工作负载恢复被正常访问，表明步骤A04）至步骤A06）再次被正确执行。

另一方面，本申请实施例提供了一种计算机系统，请参阅附图3，计算机系统10包括存储器11、处理器13以及存储在存储器11中并可在处理器13上运行的计算机程序12，计算机程序12被处理器13执行时实现如前述的一种基于边车模式的网络策略更新方法。

计算机系统可以是一个通用计算机系统或一个专用计算机系统。在具体实现中，计算机系统可以是包括有多个服务器的服务器集群，如可以是包括有多个节点的区块链系统。本领域技术人员可以理解，图3仅仅是计算机系统的举例，并不构成对计算机系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，比如还可以包括输入输出设备、网络接入设备等。

处理器13可以是中央处理单元（Central Processing Unit，CPU），处理器13还可以是其他通用处理器13、数字信号处理器13（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器13可以是微处理器13或者也可以是任何常规的处理器13。

存储器11在一些实施例中可以是计算机系统的内部存储单元，比如计算机系统的硬盘或内存。存储器11在另一些实施例中也可以是计算机系统的外部存储设备，比如计算机系统上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（SecureDigital，SD）卡、闪存卡（Flash Card）等。进一步地，存储器11还可以既包括计算机系统的内部存储单元也包括外部存储设备。存储器11用于存储操作系统、应用程序、引导装载程序（Boot Loader）、数据以及其他程序等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。

另一方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序12，计算机程序12被处理器13执行时实现如前述的一种基于边车模式的网络策略更新方法。

本方案通过边车模式实现绑定链的挂载，并在绑定链中实现网络策略的注入，使网络策略的实现脱离了CNI组件，无需顾虑与CNI组件及其使用的网络模式的兼容性；本方案对运行环境依赖度降低，能够使用Netfilter子系统实现，并且网络策略对应的Iptables规则位于容器侧，不影响Kubernetes集群Service的性能，提高了集群的运行效率和可靠性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

Claims (10)

1.一种基于边车模式的网络策略更新方法，其特征在于，

包括以下步骤：

建立Pod容器时，为Pod容器绑定容纳网络策略的policy容器；

添加绑定链至Pod容器，劫持Pod容器的入站流量和出站流量，所述绑定链记录Iptables规则；

建立网络策略控制器，所述网络策略控制器接收policy容器的注册请求，建立存储policy容器注册的列表；

当所述网络策略控制器接收到网络策略更新通知时，所述网络策略控制器通知涉及的policy容器；

涉及的所述policy容器访问所述网络策略控制器，获得更新的网络策略；

所述policy容器将更新的网络策略转换为Iptables规则，将所述Iptables规则添加到所述绑定链。

2.根据权利要求1所述的一种基于边车模式的网络策略更新方法，其特征在于，

所述绑定链包括NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链，所述NETWORKPOLICY_INBOUND链和所述NETWORKPOLICY_OUTBOUND链分别劫持Pod容器的入站流量和出站流量，所述NETWORKPOLICY_INBOUND链和所述NETWORKPOLICY_OUTBOUND链分别记录入站Iptables规则和出站Iptables规则，将更新的网络策略转换为Iptables规则后，根据Iptables规则的入站和出站类型，将所述Iptables规则分别添加到所述NETWORKPOLICY_INBOUND链和所述NETWORKPOLICY_OUTBOUND链，完成网络策略的更新。

3.根据权利要求1或2所述的一种基于边车模式的网络策略更新方法，其特征在于，

建立Pod容器的方法包括：

接收创建Pod容器的请求，搁置Pod容器正常创建的流程；

按照所述Pod容器所在命名空间配置，添加policy容器到所述Pod容器的manifest中；

继续Pod容器正常创建的流程，完成所述Pod容器的创建。

4.根据权利要求1或2所述的一种基于边车模式的网络策略更新方法，其特征在于，

添加NETWORKPOLICY_INBOUND链和NETWORKPOLICY_OUTBOUND链至Pod容器的方法包括：

所述policy容器内置有agent，所述policy容器随所述Pod容器启动后，启动所述agent；

所述agent将所述NETWORKPOLICY_INBOUND链和所述NETWORKPOLICY_OUTBOUND链分别挂载在所述Pod容器的PREROUTING链和OUTPUT链。

5.根据权利要求4所述的一种基于边车模式的网络策略更新方法，其特征在于，

所述agent在所述NETWORKPOLICY_INBOUND链和所述NETWORKPOLICY_OUTBOUND链中分别添加通至所述网络策略控制器的接收规则和发送规则，实现所述policy容器与所述网络策略控制器交互流量的放行。

6.根据权利要求4所述的一种基于边车模式的网络策略更新方法，其特征在于，

所述agent向所述网络策略控制器发送注册请求，所述注册请求包括对应的policy容器的名称和对应Pod容器的访问地址。

7.根据权利要求1或2所述的一种基于边车模式的网络策略更新方法，其特征在于，

更新的所述网络策略包括若干个网络策略条目，所述网络策略条目包括控制字和参数，所述agent存储有所述控制字与Iptables规则的映射表，所述agent根据所述映射表找到网络策略条目对应的Iptables规则，并将参数写入对应的所述Iptables规则，完成将所述网络策略转换为对应的Iptables规则。

8.根据权利要求1或2所述的一种基于边车模式的网络策略更新方法，其特征在于，

所述Iptables规则包括匹配目标和操作，所述匹配目标记录与进站流量或出站流量匹配的规则，所述操作包括通过、删除、排队及返回。

9.一种计算机系统，其特征在于，所述计算机系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7任一项所述的一种基于边车模式的网络策略更新方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种基于边车模式的网络策略更新方法。

Images