CN117527594A - 一种基于K8s集群下容器网络拓扑的发现方法和装置 - Google Patents

Abstract

本发明提出了一种基于K8s集群下容器网络拓扑的发现方法和装置，通过第一容器和第二容器之间进行报文网络通信，使用CNI插件识别第一容器和第二容器之间的网络通信报文的连接信息；CNI插件将连接信息发送至上送到统一的控制器节点，控制器节点是一个独立的系统或者一个指定的管理容器；控制器节点对连接信息进行数据分析和统计，控制器节点将接收到的连接信息分析后识别出第一容器和第二容器之间的关系；调用关系计算第一容器和第二容器之间的调用关系，生成第一容器和第二容器之间的关系拓扑图。这个拓扑图能够帮助运维人员更好地了解容器之间的交互模式，识别应用之间的依赖关系，以及优化网络性能和安全。

Description

一种基于K8s集群下容器网络拓扑的发现方法和装置

技术领域

本发明涉及计算机网络领域，具体的，涉及一种基于K8s集群下容器网络拓扑的发现方法和装置。

背景技术

在当今云计算和容器化技术的蓬勃发展下，容器编排平台如Kubernetes(K8s)已经成为部署、管理和扩展容器化应用的主流解决方案。K8s简化了应用的部署与管理，但随之而来的是容器网络管理的挑战。在一个复杂的K8s集群中，容器之间的网络通信变得错综复杂，导致网络性能监控、故障排查以及应用调优变得复杂而困难。

传统的网络监控工具往往难以有效适应K8s环境下的容器网络拓扑，因为容器可以动态迁移、伸缩以及跨节点通信。因此，为了实现高效的容器网络管理，需要一种创新的方法来实时发现、跟踪和可视化K8s集群中容器之间的网络拓扑关系。这种方法将使运维人员能够更好地了解容器之间的交互、定位潜在问题并进行必要的优化。

发明内容

本发明提出了一种基于K8s集群下容器网络拓扑的发现方法和装置，通过利用容器网络接口(CNI)插件来识别容器之间的报文交互。该方法将连接信息上送到统一控制器，由控制器对这些数据进行分析和统计，计算出各容器的调用关系，最终生成一张容器拓扑图。这个拓扑图能够帮助运维人员更好地了解容器之间的交互模式，识别应用之间的依赖关系，以及优化网络性能和安全。

根据本发明第一方面，本发明请求保护一种基于K8s集群下容器网络拓扑的发现方法，其特征在于，包括：

第一容器和第二容器之间进行报文网络通信，使用CNI插件识别第一容器和第二容器之间的网络通信报文的连接信息；

CNI插件将连接信息发送至上送到统一的控制器节点，控制器节点是一个独立的系统或者一个指定的管理容器；

控制器节点对连接信息进行数据分析和统计，控制器节点将接收到的连接信息分析后识别出第一容器和第二容器之间的关系；

调用关系计算第一容器和第二容器之间的调用关系，生成第一容器和第二容器之间的关系拓扑图。

进一步的，第一容器和第二容器之间进行报文网络通信，使用CNI插件识别第一容器和第二容器之间的网络通信报文的连接信息，还包括：

CNI插件负责在容器创建、销毁或迁移时，创建、配置和管理容器的网络接口；

在每个容器的网络接口中，CNI插件内嵌的数据截取模块将至少截获网络通信报文的数据包，记录源IP、目的IP、源端口和目的端口的报文头关键信息，作为连接信息。

进一步的，CNI插件将连接信息发送至上送到统一的控制器节点，控制器节点是一个独立的系统或者一个指定的管理容器，还包括：

CNI插件提取的连接信息被传输到控制器节点，通过网络通信或其他方式进行数据传输；

在控制器节点上，连接信息进行集中存储，为后续的数据分析和统计提供支持。

进一步的，控制器节点对连接信息进行数据分析和统计，控制器节点将接收到的连接信息分析后识别出第一容器和第二容器之间的关系，还包括：

控制器节点将接收到的连接信息进行数据分析和统计处理，对连接信息中的源IP、目的IP、源端口和目的端口执行统计，识别第一容器和第二容器之间的关系。

进一步的，调用关系计算第一容器和第二容器之间的调用关系，生成第一容器和第二容器之间的关系拓扑图，还包括：

通过分析连接信息，控制器节点将计算第一容器和第二容器之间的调用关系，基于源目的IP和端口的交互模式来推断容器间的依赖关系，控制器节点将依赖关系转化为容器拓扑图的节点和连接，进行可视化展示。

根据本发明第二方面，本发明请求保护一种基于K8s集群下容器网络拓扑的发现装置，包括第一容器、第二容器、控制器节点、CNI插件，控制器节点是一个独立的系统或者一个指定的管理容器，其特征在于，包括：

第一容器和第二容器之间进行报文网络通信；

CNI插件识别第一容器和第二容器之间的网络通信报文的连接信息，将连接信息发送至上送到统一的控制器节点；

控制器节点对连接信息进行数据分析和统计，将接收到的连接信息分析后识别出第一容器和第二容器之间的关系，调用关系计算第一容器和第二容器之间的调用关系，生成第一容器和第二容器之间的关系拓扑图。

进一步的，CNI插件负责在容器创建、销毁或迁移时，创建、配置和管理容器的网络接口；

在每个容器的网络接口中，CNI插件内嵌的数据截取模块将至少截获网络通信报文的数据包，记录源IP、目的IP、源端口和目的端口的报文头关键信息，作为连接信息。

进一步的，CNI插件提取的连接信息被传输到控制器节点，通过网络通信或其他方式进行数据传输；

在控制器节点上，连接信息进行集中存储，为后续的数据分析和统计提供支持。

进一步的，控制器节点将接收到的连接信息进行数据分析和统计处理，对连接信息中的源IP、目的IP、源端口和目的端口执行统计，识别第一容器和第二容器之间的关系。

进一步的，通过分析连接信息，控制器节点将计算第一容器和第二容器之间的调用关系，基于源目的IP和端口的交互模式来推断容器间的依赖关系，控制器节点将依赖关系转化为容器拓扑图的节点和连接，进行可视化展示。

本发明提出了一种基于K8s集群下的容器网络拓扑的发现方法和装置，通过第一容器和第二容器之间进行报文网络通信，使用CNI插件识别第一容器和第二容器之间的网络通信报文的连接信息；CNI插件将连接信息发送至上送到统一的控制器节点，控制器节点是一个独立的系统或者一个指定的管理容器；控制器节点对连接信息进行数据分析和统计，控制器节点将接收到的连接信息分析后识别出第一容器和第二容器之间的关系；调用关系计算第一容器和第二容器之间的调用关系，生成第一容器和第二容器之间的关系拓扑图。这个拓扑图能够帮助运维人员更好地了解容器之间的交互模式，识别应用之间的依赖关系，以及优化网络性能和安全。

附图说明

图1为本发明实施例所涉及的一种基于K8s集群下容器网络拓扑的发现方法的工作流程图；

图2为本发明实施例所涉及的一种基于K8s集群下容器网络拓扑的发现方法的可视化界面展示图；

图3为本发明实施例所涉及的一种基于K8s集群下容器网络拓扑的发现装置的结构模块图。

具体实施方式

容器网络：容器网络是在容器化技术下，管理和连接容器之间通信的网络架构。在容器编排平台(如Kubernetes)中，容器可以通过网络进行通信和交互，形成应用程序的整体架构。

Kubernetes(K8s)：Kubernetes是一个开源的容器编排平台，用于自动化应用程序的部署、扩缩容和管理。它能够管理多个容器化的应用，协调容器的调度和通信，以确保应用程序在集群中运行稳定和高效。

CNI插件：CNI(ContainerNetworkInterface)插件是用于连接容器到网络的接口。它是一种规范，定义了容器如何与底层网络进行交互。CNI插件可以通过创建虚拟网络接口、配置路由和防火墙规则等方式，实现容器的网络通信。

拓扑图：在本文中，拓扑图是指容器之间交互关系的可视化表示。它显示了容器之间的连接、依赖关系和调用链路，帮助运维人员更清晰地了解整个容器网络的结构。

报文交互：报文交互是指容器之间通过网络发送和接收数据包的过程。容器在进行通信时，会产生数据包(报文)以进行交互，本发明通过捕获这些报文，分析容器之间的交互模式。

根据本发明第一实施例，参照附图1，本发明请求保护一种基于K8s集群下容器网络拓扑的发现方法，其特征在于，包括：

第一容器和第二容器之间进行报文网络通信，使用CNI插件识别第一容器和第二容器之间的网络通信报文的连接信息；

CNI插件将连接信息发送至上送到统一的控制器节点，控制器节点是一个独立的系统或者一个指定的管理容器；

控制器节点对连接信息进行数据分析和统计，控制器节点将接收到的连接信息分析后识别出第一容器和第二容器之间的关系；

调用关系计算第一容器和第二容器之间的调用关系，生成第一容器和第二容器之间的关系拓扑图。

进一步的，第一容器和第二容器之间进行报文网络通信，使用CNI插件识别第一容器和第二容器之间的网络通信报文的连接信息，还包括：

CNI插件负责在容器创建、销毁或迁移时，创建、配置和管理容器的网络接口；

在每个容器的网络接口中，CNI插件内嵌的数据截取模块将至少截获网络通信报文的数据包，记录源IP、目的IP、源端口和目的端口的报文头关键信息，作为连接信息。

其中，在该实施例中，在K8s集群中，将相应的CNI插件集成到容器运行时环境中，并根据实际需求进行配置。CNI插件的配置应包括数据包截获、信息提取等功能，以便捕获容器间的报文交互。

进一步的，CNI插件将连接信息发送至上送到统一的控制器节点，控制器节点是一个独立的系统或者一个指定的管理容器，还包括：

CNI插件提取的连接信息被传输到控制器节点，通过网络通信或其他方式进行数据传输；

在控制器节点上，连接信息进行集中存储，为后续的数据分析和统计提供支持。

其中，在该实施例中，当容器启动后，CNI插件会截获容器的网络数据包。从这些数据包中提取源IP、目的IP、源端口和目的端口等连接信息，以及其他可能有助于分析的信息。

进一步的，控制器节点对连接信息进行数据分析和统计，控制器节点将接收到的连接信息分析后识别出第一容器和第二容器之间的关系，还包括：

控制器节点将接收到的连接信息进行数据分析和统计处理，对连接信息中的源IP、目的IP、源端口和目的端口执行统计，识别第一容器和第二容器之间的关系。

例如，基于IP和端口的数据统计可以帮助发现容器间的热点交互，从而进行优化。

进一步的，调用关系计算第一容器和第二容器之间的调用关系，生成第一容器和第二容器之间的关系拓扑图，还包括：

通过分析连接信息，控制器节点将计算第一容器和第二容器之间的调用关系，基于源目的IP和端口的交互模式来推断容器间的依赖关系，控制器节点将依赖关系转化为容器拓扑图的节点和连接，进行可视化展示。

其中，在该实施例中，控制器节点通过使用数据分析算法对连接信息进行处理，例如计算连接频率、识别热点连接等。通过分析这些信息，控制器可以理解容器之间的交互模式和数据流动情况。基于经过分析的连接信息，控制器将使用算法计算容器之间的调用关系。

过程如下：

1.数据预处理：首先，从控制器接收到的连接信息中提取出源IP、目的IP、源端口和目的端口等关键信息。对于每个连接，记录下它在数据中出现的频率，以便后续的分析。

2.构建连接矩阵：基于收集的连接信息，构建一个连接矩阵。连接矩阵是一个二维矩阵，其中的行和列分别代表不同的容器。如果容器A与容器B之间有报文交互，那么在连接矩阵中的A行B列和B行A列都会增加一个计数。

3.计算关联度：对于连接矩阵中的每一对容器(A和B)，计算它们之间的关联度。关联度可以根据报文交互的频率、交互次数、连接时间等因素来衡量。较高的关联度意味着容器之间的交互越紧密。

4.确定容器调用关系：基于关联度，可以设定一个阈值来判断容器之间的调用关系。如果两个容器的关联度超过阈值，那么可以认为它们之间存在调用关系。例如，如果A与B的关联度高于阈值，可以确定A调用了B。

5.构建拓扑图：根据容器之间的调用关系，构建容器拓扑图。每个容器表示为一个节点，调用关系表示为节点之间的连接。拓扑图可以采用可视化图形方式进行表示，以便后续的可视化展示。

6.可视化展示：生成的拓扑图可以通过一个可视化界面进行展示，给运维人员提供直观的容器网络拓扑结构。在拓扑图中，容器节点之间的连线和排列方式可以反映它们之间的调用关系和交互模式。

7.实时更新：由于容器的动态迁移和扩缩容，容器之间的调用关系可能会发生变化。因此，算法应具备实时更新拓扑图的能力，以保证拓扑图的准确性和实用性。

通过上述步骤，本发明的容器网络拓扑发现方法可以实现自动捕获容器之间的报文交互，生成容器拓扑图，为运维人员提供有价值的网络管理和优化手段。

容器定义举例，主要包含类型、IP、端口、名字信息，例如，在该实施例中；

第一容器：

IP：10.233.5.1；

类型：Web应用容器；

端口：80；

第二容器：

IP：10.233.5.2；

类型：数据库容器；

端口：3306；

基于端口的应用识别算法可以通过观察容器之间的报文交互中的端口信息，初步判断容器所运行的应用类型。以下是一个基于端口的应用识别算法的过程：

报文捕获：利用CNI插件截获容器之间的报文交互。在报文中，关键信息包括源IP、目的IP、源端口和目的端口。

端口比对：提取报文中的源端口和目的端口信息。将这些端口与事先定义好的端口库进行比对。

应用识别：如果某个容器的端口与端口库中的某个应用的端口匹配，那么可以初步判断该容器运行了对应的应用。例如，如果端口是3306，则可能是数据库应用(如MySQL)。

生成应用标签：根据端口匹配结果，为容器生成相应的应用标签，标识其运行的应用类型。

端口库是预先设定好的一个基本库，里面描述了业界常用端口，如：端口是3306，则匹配对应数据库应用；22端口，则匹配对应SSH应用。

连接矩阵是一种用于表示容器之间连接关系的数据结构，通常用二维矩阵表示。在这个矩阵中，行和列分别代表容器，矩阵的值表示容器之间是否存在连接。以下是一个简化的例子，展示如何记录连接矩阵：

假设有三个容器A、B、C，它们之间的连接关系如下：

容器A与容器B有连接

容器B与容器C有连接

连接矩阵可以表示为：

	A	B	C
				A	0	1	0
B	1	0	1
				C	0	1	0

关联度计算时需要获取报文交互次数或频率：报文交互的频率表示在单位时间内发生报文交互的次数。在实际场景中，这可能是每秒、每分钟或每小时的交互频率。

结合连接矩阵，将在10s内计数大于10的2个容器被认定为关联度超过阈值，将被判定为有调用关系，将会展示在拓扑中(具体频率和持续时间的设定为可调参数。需要根据不同系统设置不同的值)。

参照图2，以图画形式表示容器间有关联即可，拓扑中标注已被识别出来的应用，以及容器IP。

根据本发明第二实施例，参照附图3，本发明请求保护一种基于K8s集群下容器网络拓扑的发现装置，包括第一容器、第二容器、控制器节点、CNI插件，控制器节点是一个独立的系统或者一个指定的管理容器，其特征在于，包括：

第一容器和第二容器之间进行报文网络通信；

CNI插件识别第一容器和第二容器之间的网络通信报文的连接信息，将连接信息发送至上送到统一的控制器节点；

控制器节点对连接信息进行数据分析和统计，将接收到的连接信息分析后识别出第一容器和第二容器之间的关系，调用关系计算第一容器和第二容器之间的调用关系，生成第一容器和第二容器之间的关系拓扑图。

进一步的，CNI插件负责在容器创建、销毁或迁移时，创建、配置和管理容器的网络接口；

在每个容器的网络接口中，CNI插件内嵌的数据截取模块将至少截获网络通信报文的数据包，记录源IP、目的IP、源端口和目的端口的报文头关键信息，作为连接信息。

进一步的，CNI插件提取的连接信息被传输到控制器节点，通过网络通信或其他方式进行数据传输；

在控制器节点上，连接信息进行集中存储，为后续的数据分析和统计提供支持。

进一步的，控制器节点将接收到的连接信息进行数据分析和统计处理，对连接信息中的源IP、目的IP、源端口和目的端口执行统计，识别第一容器和第二容器之间的关系。

进一步的，通过分析连接信息，控制器节点将计算第一容器和第二容器之间的调用关系，基于源目的IP和端口的交互模式来推断容器间的依赖关系，控制器节点将依赖关系转化为容器拓扑图的节点和连接，进行可视化展示。

本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。

本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。

本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。

除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于K8s集群下容器网络拓扑的发现方法，其特征在于，包括：

第一容器和第二容器之间进行报文网络通信，使用CNI插件识别所述第一容器和第二容器之间的网络通信报文的连接信息；

所述CNI插件将所述连接信息发送至上送到统一的控制器节点，所述控制器节点是一个独立的系统或者一个指定的管理容器；

所述控制器节点对所述连接信息进行数据分析和统计，所述控制器节点将接收到的连接信息分析后识别出所述第一容器和第二容器之间的关系；

调用关系计算所述第一容器和第二容器之间的调用关系，生成所述第一容器和第二容器之间的关系拓扑图。

2.如权利要求1所述的一种基于K8s集群下容器网络拓扑的发现方法，其特征在于，所述第一容器和第二容器之间进行报文网络通信，使用CNI插件识别所述第一容器和第二容器之间的网络通信报文的连接信息，还包括：

所述CNI插件负责在容器创建、销毁或迁移时，创建、配置和管理容器的网络接口；

在每个容器的网络接口中，所述CNI插件内嵌的数据截取模块将至少截获网络通信报文的数据包，记录源IP、目的IP、源端口和目的端口的报文头关键信息，作为所述连接信息。

3.如权利要求1所述的一种基于K8s集群下容器网络拓扑的发现方法，其特征在于，所述CNI插件将所述连接信息发送至上送到统一的控制器节点，所述控制器节点是一个独立的系统或者一个指定的管理容器，还包括：

所述CNI插件提取的连接信息被传输到所述控制器节点，通过网络通信或其他方式进行数据传输；

在所述控制器节点上，所述连接信息进行集中存储，为后续的数据分析和统计提供支持。

4.如权利要求1所述的一种基于K8s集群下容器网络拓扑的发现方法，其特征在于，所述控制器节点对所述连接信息进行数据分析和统计，所述控制器节点将接收到的连接信息分析后识别出所述第一容器和第二容器之间的关系，还包括：

所述控制器节点将接收到的所述连接信息进行数据分析和统计处理，对所述连接信息中的源IP、目的IP、源端口和目的端口执行统计，识别所述第一容器和第二容器之间的关系。

5.如权利要求1所述的一种基于K8s集群下容器网络拓扑的发现方法，其特征在于，所述调用关系计算所述第一容器和第二容器之间的调用关系，生成所述第一容器和第二容器之间的关系拓扑图，还包括：

通过分析连接信息，所述控制器节点将计算所述第一容器和第二容器之间的调用关系，基于源目的IP和端口的交互模式来推断容器间的依赖关系，所述控制器节点将所述依赖关系转化为容器拓扑图的节点和连接，进行可视化展示。

6.一种基于K8s集群下容器网络拓扑的发现装置，包括第一容器、第二容器、控制器节点、CNI插件，所述控制器节点是一个独立的系统或者一个指定的管理容器，其特征在于，包括：

所述第一容器和第二容器之间进行报文网络通信；

所述CNI插件识别所述第一容器和第二容器之间的网络通信报文的连接信息，将所述连接信息发送至上送到统一的控制器节点；

所述控制器节点对所述连接信息进行数据分析和统计，将接收到的连接信息分析后识别出所述第一容器和第二容器之间的关系，调用关系计算所述第一容器和第二容器之间的调用关系，生成所述第一容器和第二容器之间的关系拓扑图。

7.如权利要求6所述的一种基于K8s集群下容器网络拓扑的发现装置，其特征在于，还包括：

所述CNI插件负责在容器创建、销毁或迁移时，创建、配置和管理容器的网络接口；

在每个容器的网络接口中，所述CNI插件内嵌的数据截取模块将至少截获网络通信报文的数据包，记录源IP、目的IP、源端口和目的端口的报文头关键信息，作为所述连接信息。

8.如权利要求6所述的一种基于K8s集群下容器网络拓扑的发现装置，其特征在于，还包括：所述CNI插件提取的连接信息被传输到所述控制器节点，通过网络通信或其他方式进行数据传输；

在所述控制器节点上，所述连接信息进行集中存储，为后续的数据分析和统计提供支持。

9.如权利要求6所述的一种基于K8s集群下容器网络拓扑的发现装置，其特征在于，还包括：所述控制器节点将接收到的所述连接信息进行数据分析和统计处理，对所述连接信息中的源IP、目的IP、源端口和目的端口执行统计，识别所述第一容器和第二容器之间的关系。

10.如权利要求6所述的一种基于K8s集群下容器网络拓扑的发现装置，其特征在于，还包括：

通过分析连接信息，所述控制器节点将计算所述第一容器和第二容器之间的调用关系，基于源目的IP和端口的交互模式来推断容器间的依赖关系，所述控制器节点将所述依赖关系转化为容器拓扑图的节点和连接，进行可视化展示。