CN113542074B - 一种可视化管理kubernetes集群的东西向网络流量的方法及系统 - Google Patents

Abstract

本发明提出了一种可视化管理kubernetes集群的东西向网络流量的方法及系统，本发明首先使用监控Kubernetes集群中pod的状态，然后再使用图数据库存储相关信息，并使用图数据库的边建立他们的组织关系，最后进行可视化展示和网络流量状态的管理。本发明把网络流量监控分析的位置放在pod中，由于同一个pod中的container共享同一个网络命名空间，所以监控pod中的网络流量就相当于监控container的网络流量，同时pod的网络命名空间和宿主机的网络命名空间相互隔离也让pod中的网络流量更单一，更容易分析不同pod之间发生流量的关系。

Description

一种可视化管理kubernetes集群的东西向网络流量的方法及 系统

技术领域

本发明计算机云计算技术领域，具体地说，涉及一种可视化管理kubernetes集群的东西向网络流量的方法及系统。

背景技术

随着云计算技术的发展，基于kubernetes的容器云环境凭借其轻量、敏捷等特点已经开始大规模投入云计算生产环境，kubernetes集群相比openstack的虚拟化云环境在计算单元上面需要管理更多的资源，他们之间的网络复杂度也相对提升，如何管理好容器集群中东西向网络流量成为行业一大难题。

容器云环境存在南北向网络流量和东西向网络流量，南北向流量属于与云环境外界交互的网络流量(Internet进出的流量)，东西向流量属于内部通信流量(服务器等相互通信流量)，南北向流量可部署防火墙、IPS等设备在云环境边界完成流量监控功能，但由于防火墙、IPS等设备的部署问题，无法很好的解决云环境的东西向网络流量。容器云环境存在大量计算单元，想要管理这些单元首先需要能看到相关资源状态，然后才能进行管理，同样对于容器之间的网络流量首先也要先可视化流量状态，然后再进行管理。类似云计算管理平台，首先需要能看到云环境中的计算单元才能对其生命周期进行管理。

术语介绍：

发明内容

本发明基于现有技术的上述缺陷和需求，提出了一种可视化管理kubernetes集群的东西向网络流量的方法及系统，本发明首先使用监控Kubernetes集群中pod的状态，然后再使用图数据库存储相关信息，并使用图数据库的边建立他们的组织关系，最后进行可视化展示和网络流量状态的管理。本发明把网络流量监控分析的位置放在pod中，由于同一个pod中的container共享同一个网络命名空间，所以监控pod中的网络流量就相当于监控container的网络流量，同时pod的网络命名空间和宿主机的网络命名空间相互隔离也让pod中的网络流量更单一，更容易分析不同pod之间发生流量的关系。

本发明具体实现内容如下：

一种可视化管理kubernetes集群的东西向网络流量的方法，包括以下步骤：

步骤1：对kubernetes集群的pod单元的生命周期进行监听；所述kubernetes集群包括多个master节点和node节点，所述pod单元设置在node节点中；所述pod单元中设置有container容器；

步骤2：采集pod单元的相关信息，并存储到图数据库中；

步骤3：在pod单元内部收集网络会话状态；

步骤4：识别pod单元的网络应用层协议；

步骤5：根据在pod单元内部收集到的网络会话状态在图数据库中建立node节点、pod单元和master节点之间的组织关系图谱；

步骤6：根据识别到的pod单元的网络应用层协议和建立的组织关系图谱对kubernetes集群的网络流量状态进行可视化处理；

步骤7：对pod单元的网络流量进行管理。

为了更好地实现本发明，进一步地，对pod单元的网络流量进行管理的具体方式为：使用sidecar方法注入流量分析软件到pod单元中对网络流量进行分析和管理。

为了更好地实现本发明，进一步地，对pod单元的网络流量进行管理的具体方式为：在node节点中运行agent软件，通过agent软件使用多线程方式kubernetes集群的各个pod单元的container容器的网络命名空间，然后再分析pod单元的网络流量状态，并进行管理；一个所述pod单元中的container容器共用一个网络命名空间。

为了更好地实现本发明，进一步地，在所述步骤3中，通过运行在agent软件中的线程进入不同pod单元的网络命名空间中，使用conntrack技术捕获pod单元内部的网络流量状态；所述网络流量状态包括create状态和destroy状态；

若发现有create状态流产生，则获取create状态流的五元组信息，同时在步骤4中，使用dpi技术识别对应的网络流量的应用层信息，然后再使用图数据根据原始ip地址和目的ip地址查出对应的两个pod单元，最后在步骤5中在图数据库中建立以边连接表示的网络流量关系；所有网络流量关系沟通构成组织关系图谱；所述五元组信息包括原ip地址、目的ip地址，原端口号，目的端口号，协议号；若发现有destroy状态流，则将组织关系图谱中与destroy状态流对应的关系进行删除。

为了更好地实现本发明，进一步地，在所述master节点中设置有server程序，在所述步骤6中通过server程序从图数据库中获取组织关系图谱信息对网络流量状态进行可视化展示。

为了更好地实现本发明，进一步地，所述步骤7中，采用server程序进行策略定制，设置流量黑名单和流量白名单；对于检测到的位于流量黑名单中的流量，通过下发iptables规则到对应的pod单元中，进行访问pod单元的网络资源的阻断。

为了更好地实现本发明，进一步地，所述server程序使用GRPC方式和运行在node节点中的agent软件进行通信；当用户通过server程序进行可视化处理后展示的网络流量状态看到需要限制的网络时，下发策略到server程序，然后再由server程序转发到对应的agent软件，最后由agent软件在对应的网络命名空间中下发iptables规则进行网络流量的管控。

为了更好地实现本发明，进一步地，为kubernetes集群中的资源建立唯一的资源名称，并将建立的资源名称作为图数据库中的资源的名称；当kubernetes集群中的资源的状态发生改变时，在图数据库中进行检索并对应更新状态。

本发明还提出了一种可视化管理kubernetes集群的东西向网络流量的系统，包括master节点和多个node节点；

所述master节点中设置有server程序和graphDB程序；

所述node节点中包括agent软件和多个pod单元，在agent软件中设置有多个线程；所述pod单元与agent之间通过线程进行一一对应的管理；所述pod单元中设置有container容器，一个pod单元中的container容器对应共用一个网络命名空间；

所述server程序与agent软件之间通过GRPC方法进行通信连接；所述pod单元与agent软件之间通过conntrack方法和iptables方法进行连接；

所述grashDB程序用于进行网络流量状态的可视化处理。

本发明与现有技术相比具有以下优点及有益效果：

(1)本发明将kubernetes容器云环境中东西向网络流量进行了可视化，并实现了记录东西向网络流量发生时间、流量协议和流量类型；

(2)本发明可根据自定义策略实现东西向网络流量限制功能；

(3)本发明轻量级的方式解决东西向网络流量可视化管理功能。

附图说明

图1为集群中资源的关系示意图；

图2为将图1中的资源关系转换为组织关系图谱后的示意图；

图3为node节点中agent软件和pod单元之间的关系示意图；

图4为本发明进行流量监测的流程示意图；

图5为本发明master节点和node节点的连接关系示意图。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1：

本实施例提出了一种可视化管理kubernetes集群的东西向网络流量的方法，包括以下步骤：

步骤1：对kubernetes集群的pod单元的生命周期进行监听；所述kubernetes集群包括多个master节点和node节点，所述pod单元设置在node节点中；所述pod单元中设置有container容器；

步骤2：采集pod单元的相关信息，并存储到图数据库中；

步骤3：在pod单元内部收集网络会话状态；

步骤4：识别pod单元的网络应用层协议；

步骤5：根据在pod单元内部收集到的网络会话状态在图数据库中建立node节点、pod单元和master节点之间的组织关系图谱；具体关系转换如图1和图2所示；

步骤6：根据识别到的pod单元的网络应用层协议和建立的组织关系图谱对kubernetes集群的网络流量状态进行可视化处理；

步骤7：对pod单元的网络流量进行管理。

工作原理：Kubernetes集群由多个master和node节点组成，每个节点都运行在独立的操作系统中，每个节点中运行多个pod，pod中再运行多个container，如果有不同node中的pod使用网络相互通信就会涉及到node节点之间的网络通信，目前kubernets的node之间的网络通信有多种解决方案，如路由方式、隧道方式和大二层vxlan方式，node和pod之间的通信也会设计dnat转换，如果从node层面对网络流量进行监控分析会加大流量可视化和管理的难度。

本发明适用于Kubernets集群环境，首先使用Kubernetes Informer机制监控集群中pod的状态，其中包括pod的运行状态、ip地址和对应的container，然后再使用图数据库nebulagraph存储相关信息，并使用图数据库的边建立他们的组织关系，如node节点有哪些pod，pod有哪些container。

本发明把网络流量监控分析的位置放在pod中，由于同一个pod中的container共享同一个网络命名空间，所以监控pod中的网络流量就相当于监控container的网络流量，同时pod的网络命名空间和宿主机的网络命名空间相互隔离也让pod中的网络流量更单一，更容易分析不同pod之间发生流量的关系。

实施例2：

本实施例在上述实施例1的基础上，为了更好地实现本发明，进一步地，对pod单元的网络流量进行管理的具体方式为：使用sidecar方法注入流量分析软件到pod单元中对网络流量进行分析和管理。

本实施例的其他部分与上述实施例1相同，故不再赘述。

实施例3：

本实施例在上述实施例1的基础上，在实施例2中使用sidecar方式分析pod中网络流量，sidecar数量会随着pod数量的增加，目前kubernetes容器云环境中同一node中运行上百个pod的情况很常见，如果使用sidecar方式监控流量会极大增加node的计算资源，同时也会加大分布式sidecar管理的难度。

为了更好地实现本发明，进一步地，对pod单元的网络流量进行管理的具体方式为：在node节点中运行agent软件，通过agent软件使用多线程方式kubernetes集群的各个pod单元的container容器的网络命名空间，然后再分析pod单元的网络流量状态，并进行管理；一个所述pod单元中的container容器共用一个网络命名空间。本实施例中选用更轻量级的agent方案，在每个node部署一个agent，让agent中的线程进入本node的container对网络流量进行分析。具体架构如图3所示。

本实施例的其他部分与上述实施例1相同，故不再赘述。

实施例4：

本实施例在上述实施例1或3的基础上，如图4所示，为了更好地实现本发明，进一步地，在所述步骤3中，通过运行在agent软件中的线程进入不同pod单元的网络命名空间中，使用conntrack技术捕获pod单元内部的网络流量状态；所述网络流量状态包括create状态和destroy状态；

若发现有create状态流产生，则获取create状态流的五元组信息，同时在步骤4中，使用dpi技术识别对应的网络流量的应用层信息，然后再使用图数据根据原始ip地址和目的ip地址查出对应的两个pod单元，最后在步骤5中在图数据库中建立以边连接表示的网络流量关系；所有网络流量关系沟通构成组织关系图谱；所述五元组信息包括原ip地址、目的ip地址，原端口号，目的端口号，协议号；若发现有destroy状态流，则将组织关系图谱中与destroy状态流对应的关系进行删除。

本实施例的其他部分与上述实施例1或3相同，故不再赘述。

实施例5：

本实施例在上述实施例1或3或4的基础上，为了更好地实现本发明，进一步地，如图1、图2所示，在所述master节点中设置有server程序，在所述步骤6中通过server程序从图数据库中获取组织关系图谱信息对网络流量状态进行可视化展示。

本实施例的其他部分与上述实施例1或3或4任一项相同，故不再赘述。

实施例6：

本实施例在上述实施例1或3或4或5的基础上，如图5所示，为了更好地实现本发明，进一步地，所述步骤7中，采用server程序进行策略定制，设置流量黑名单和流量白名单；对于检测到的位于流量黑名单中的流量，通过下发iptables规则到对应的pod单元中，进行访问pod单元的网络资源的阻断。

进一步地，所述server程序使用GRPC方式和运行在node节点中的agent软件进行通信；当用户通过server程序进行可视化处理后展示的网络流量状态看到需要限制的网络时，下发策略到server程序，然后再由server程序转发到对应的agent软件，最后由agent软件在对应的网络命名空间中下发iptables规则进行网络流量的管控。

本实施例的其他部分与上述实施例1或3或4或5相同，故不再赘述。

实施例7：

本实施例在上述实施例1-6任一项的基础上，为了更好地实现本发明，进一步地，为kubernetes集群中的资源建立唯一的资源名称，并将建立的资源名称作为图数据库中的资源的名称；当kubernetes集群中的资源的状态发生改变时，在图数据库中进行检索并对应更新状态。

本实施例的其他部分与上述实施例1-6任一项相同，故不再赘述。

实施例8：

本实施例提出了一种可视化管理kubernetes集群的东西向网络流量的系统，如图3、图5所示，包括master节点和多个node节点；

所述master节点中设置有server程序和graphDB程序；

所述node节点中包括agent软件和多个pod单元，在agent软件中设置有多个线程；所述pod单元与agent之间通过线程进行一一对应的管理；所述pod单元中设置有container容器，一个pod单元中的container容器对应共用一个网络命名空间；

所述server程序与agent软件之间通过GRPC方法进行通信连接；所述pod单元与agent软件之间通过conntrack方法和iptables方法进行连接；

所述grashDB程序用于进行网络流量状态的可视化处理。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (9)

1.一种可视化管理kubernetes集群的东西向网络流量的方法，其特征在于，包括以下步骤：

步骤1：对kubernetes集群的pod单元的生命周期进行监听；所述kubernetes集群包括多个master节点和node节点，所述pod单元设置在node节点中；所述pod单元中设置有container容器；所述master节点中设置有server程序和graphDB程序；

步骤2：采集pod单元的相关信息，并存储到graphDB中；

步骤3：在pod单元内部，通过conntrack收集网络会话状态；

步骤4：通过DPI识别pod单元的网络应用层协议；

步骤5：根据在pod单元内部收集到的网络会话状态在graphDB中建立node节点、pod单元和master节点之间的组织关系图谱；

步骤6：根据识别到的pod单元的网络应用层协议和建立的组织关系图谱对kubernetes集群的网络流量状态进行可视化处理；

步骤7：对pod单元的网络流量进行管理。

2.如权利要求1所述的一种可视化管理kubernetes集群的东西向网络流量的方法，其特征在于，对pod单元的网络流量进行管理的具体方式为：使用sidecar方法注入流量分析软件到pod单元中，使用DPI和conntrack技术对网络流量进行分析和管理；所述graphDB程序用于进行网络流量状态的可视化处理。

3.如权利要求1所述的一种可视化管理kubernetes集群的东西向网络流量的方法，其特征在于，对pod单元的网络流量进行管理的具体方式为：在node节点中运行agent软件，通过agent软件使用多线程方式kubernetes集群的各个pod单元的container容器的网络命名空间，然后再分析pod单元的网络流量状态，并进行管理；一个所述pod单元中的container容器共用一个网络命名空间。

4.如权利要求3所述的一种可视化管理kubernetes集群的东西向网络流量的方法，其特征在于，在所述步骤3中，通过运行在agent软件中的线程进入不同pod单元的网络命名空间中，使用conntrack技术捕获pod单元内部的网络流量会话状态；所述网络流量会话状态包括create（会话已建立）状态和destroy（会话已结束）状态；

若发现有create状态流产生，则获取create状态流的五元组信息，同时在步骤4中，使用dpi技术识别对应的网络流量的应用层信息，然后再使用图数据根据原始ip地址和目的ip地址查出对应的两个pod单元，最后在步骤5中在graphDB中建立以边连接表示的网络流量关系；所有网络流量关系沟通构成组织关系图谱；所述五元组信息包括原ip地址、目的ip地址，原端口号，目的端口号，协议号；若发现有destroy状态流，则将组织关系图谱中与destroy状态流对应的关系进行删除。

5.如权利要求3所述的一种可视化管理kubernetes集群的东西向网络流量的方法，其特征在于，在所述master节点中设置有server程序，在所述步骤6中通过server程序从graphDB中获取组织关系图谱信息对网络流量状态进行可视化展示。

6.如权利要求5所述的一种可视化管理kubernetes集群的东西向网络流量的方法，其特征在于，所述步骤7中，采用server程序进行策略定制，设置流量黑名单和流量白名单；对于检测到的位于流量黑名单中的流量，通过iptables下发netfilter规则到对应的pod单元中，进行访问pod单元的网络流量的阻断。

7.如权利要求5或6任一项所述的一种可视化管理kubernetes集群的东西向网络流量的方法，其特征在于，所述server程序使用gRPC方式和运行在node节点中的agent软件进行通信；当用户通过server程序进行可视化处理后展示的网络流量状态看到需要限制的网络时，下发策略到server程序，然后再由server程序转发到对应的agent软件，最后由agent软件在对应的网络命名空间中通过iptables下发netfilter规则进行网络流量的管控。

8.如权利要求1所述的一种可视化管理kubernetes集群的东西向网络流量的方法，其特征在于，为kubernetes集群中的资源建立唯一的资源名称，并将建立的资源名称作为graphDB中的资源的名称；当kubernetes集群中的资源的状态发生改变时，在graphDB中进行检索并对应更新状态。

9.一种可视化管理kubernetes集群的东西向网络流量的系统，其特征在于，包括master节点和多个node节点；

所述master节点中设置有server程序和graphDB程序；

所述node节点中包括agent软件和多个pod单元，在agent软件中设置有多个线程；所述pod单元与agent之间通过线程进行一一对应的管理；所述pod单元中设置有container容器，一个pod单元中的container容器对应共用一个网络命名空间；

所述server程序与agent软件之间通过gRPC方法进行通信连接； agent通过conntrack技术和iptables工具对pod流量进行监控和控制；

所述graphDB程序用于进行网络流量状态的可视化处理。

Images