CN111901203A - 一种捕获网络流量的方法及Kubernetes集群 - Google Patents

一种捕获网络流量的方法及Kubernetes集群 Download PDF

Info

Publication number
CN111901203A
CN111901203A CN202010766043.6A CN202010766043A CN111901203A CN 111901203 A CN111901203 A CN 111901203A CN 202010766043 A CN202010766043 A CN 202010766043A CN 111901203 A CN111901203 A CN 111901203A
Authority
CN
China
Prior art keywords
capture
network traffic
request
pod
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010766043.6A
Other languages
English (en)
Other versions
CN111901203B (zh
Inventor
张力茂
张欣欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Venus Information Security Technology Co Ltd
Venustech Group Inc
Original Assignee
Beijing Venus Information Security Technology Co Ltd
Venustech Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Venus Information Security Technology Co Ltd, Venustech Group Inc filed Critical Beijing Venus Information Security Technology Co Ltd
Priority to CN202010766043.6A priority Critical patent/CN111901203B/zh
Publication of CN111901203A publication Critical patent/CN111901203A/zh
Application granted granted Critical
Publication of CN111901203B publication Critical patent/CN111901203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种捕获网络流量的方法以及Kubernetes集群，其中该方法包括：当监听到流量捕获请求时，流量捕获控制器根据所述流量捕获请求确定对应的POD；所述流量捕获控制器将所述流量捕获请求发送给所述对应的POD中的网络流量捕获容器；所述对应的POD中的网络流量捕获容器通过部署的网络流量捕获程序执行所述流量捕获请求。如此，能够实现在Kubernetes集群中捕获网络流量，从而为对Kubernetes集群进行网络流量监控提供了可行性。

Description

一种捕获网络流量的方法及Kubernetes集群
技术领域
本发明实施例涉及但不限于网络安全技术，尤指一种捕获网络流量的方法及Kubernetes集群。
背景技术
随着云原生架构的成熟，云计算领域开始部署大量应用。云原生属于集群架构，业务单元都运行在集群的计算节点中。虽然有Kubernetes集群可以编排整个集群的业务单元，管理业务单元的生命周期，但本申请的发明人发现，Kubernetes集群是专注于容器编排的管理平台，并不擅长管理、维护集群间的网络流量。
发明内容
有鉴于此，本发明实施例提供了一种捕获网络流量的方法，应用于Kubernetes集群，所述Kubernetes集群部署有网络流量捕获控制器，所述Kubernetes集群的每个POD中分别预先部署有网络流量捕获容器，每个网络流量捕获容器中分别预先部署网络流量捕获程序，该方法包括：
当监听到流量捕获请求时，所述流量捕获控制器根据所述流量捕获请求确定对应的POD；
所述流量捕获控制器将所述流量捕获请求发送给所述对应的POD中的网络流量捕获容器；
所述对应的POD中的网络流量捕获容器通过部署的网络流量捕获程序执行所述流量捕获请求。
本发明实施例还提供了一种Kubernetes集群，所述Kubernetes集群部署有网络流量捕获控制器，所述Kubernetes集群的每个POD中分别预先部署有网络流量捕获容器，每个网络流量捕获容器中分别预先部署网络流量捕获程序；
所述网络流量捕获控制器，设置为当监听到流量捕获请求时，根据流量捕获请求确定对应的POD；将所述流量捕获请求发送给所述对应的POD中的网络流量捕获容器；
每个网络流量捕获容器，设置为当收到流量捕获请求时，通过部署的网络流量捕获程序执行所述流量捕获请求。
本发明实施例提供的技术方案，能够实现在Kubernetes集群中捕获网络流量，从而为对Kubernetes集群进行网络流量监控提供了可行性。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本发明一实施例提供的一种捕获网络流量的方法的流程示意图；
图2为本发明一实施例提供的一种Kubernetes集群的结构示意图；
图3为本发明一实施例提供的一种捕获网络流量的方法的流程示意图；
图4为本发明一实施例提供的一种Kubernetes集群的结构示意图；
图5为本发明一实施例提供的一种捕获网络流量的方法的流程示意图；
图6为本发明一实施例提供的一种Kubernetes集群的结构示意图；
图7为本发明一实施例提供的一种捕获网络流量的方法的流程示意图；
图8为本发明一实施例提供的一种Kubernetes集群的结构示意图；
图9为本发明一实施例提供的网络流量捕获程序的运行示意图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
图1为本发明一实施例提供的一种捕获网络流量的方法的流程示意图，该方法应用于Kubernetes集群，所述Kubernetes集群部署有网络流量捕获控制器，所述Kubernetes集群的每个POD中分别预先部署有网络流量捕获容器，每个网络流量捕获容器中分别预先部署网络流量捕获程序，如图1所示，该方法包括：
步骤101，当监听到流量捕获请求时，所述流量捕获控制器根据所述流量捕获请求确定对应的POD；
步骤102，所述流量捕获控制器将所述流量捕获请求发送给所述对应的POD中的网络流量捕获容器；
步骤103，所述对应的POD中的网络流量捕获容器通过部署的网络流量捕获程序执行所述流量捕获请求。
在一示例中，所述Kubernetes集群部署有域名系统DNS服务器；
所述流量捕获控制器根据所述流量捕获请求确定对应的POD，包括：
所述流量捕获控制器根据所述流量捕获请求中携带的待访问POD域名与域名系统DNS服务器进行交互确定所述待访问POD域名对应的POD的IP地址；
所述流量捕获控制器将所述流量捕获请求发送给所述对应的POD中的网络流量捕获容器，包括：
所述流量捕获控制器根据所述对应的POD的IP地址将所述流量捕获请求发送给对应的POD中的网络流量捕获容器。
在一示例中，所述网络流量捕获容器采用以下方式部署到POD中：
当所述Kubernetes集群的应用程序接口服务器APIServer接收到创建POD请求时，使用所述APIServer中的Admissionwebhook控制器的MutatingAdmissionWebhooks功能将所述网络流量捕获容器的部署配置信息以补丁的方式自动添加到所述创建POD请求中。
在一示例中，所述流量捕获控制器创建有RPC客户端，每个POD中的网络流量捕获容器为SIdecar容器并创建有RPC服务端；
所述流量捕获控制器将所述流量捕获请求发送给所述对应的POD中的网络流量捕获容器，包括：
所述流量捕获控制器中的RPC客户端以远程调用的方式将所述流量捕获请求发送给所述对应的POD中Sidecar容器中的RPC服务端；
所述对应的POD中的网络流量捕获容器通过部署的网络流量捕获程序执行所述流量捕获请求，包括：
所述对应的POD中Sidecar容器中的RPC服务端通过部署的网络流量捕获程序执行所述流量捕获请求。
在一示例中，所述流量捕获请求包括启动捕获POD中的网络流量请求或者停止捕获POD中的网络流量请求；
或者，当所述流量捕获请求包括启动捕获POD中的网络流量请求时，所述流量捕获请求还包括数据包过滤条件，所述数据包过滤条件设置为在捕获网络流量的过程中过滤掉或者捕获符合所述数据包过滤条件的数据包；
或者，所述流量捕获请求包括捕获状态请求。
在一示例中，当启动捕获POD中的网络流量时，该方法还包括：
将捕获的网络流量组织成网络数据包文件并保存到数据库中。
本发明实施例提供的技术方案，能够实现在Kubernetes集群中捕获网络流量，从而为对Kubernetes集群进行网络流量监控提供了可行性。
图2为本发明一实施例提供的一种Kubernetes集群的结构示意图，如图2所示，该Kubernetes集群包括：
部署有网络流量捕获控制器，所述Kubernetes集群的每个POD中分别预先部署有网络流量捕获容器，每个网络流量捕获容器中分别预先部署网络流量捕获程序；
所述网络流量捕获控制器，设置为当监听到流量捕获请求时，根据流量捕获请求确定对应的POD；将所述流量捕获请求发送给所述对应的POD中的网络流量捕获容器；
每个网络流量捕获容器，设置为当收到流量捕获请求时，通过部署的网络流量捕获程序执行所述流量捕获请求。
在一示例中，所述网络流量捕获控制器对外提供应用程序接口Restfull API接口；
所述Restfull API接口，设置为监听流量捕获请求。
在一示例中，每个网络流量捕获程序还设置为执行如下操作：
解析启动参数初始化运行环境，初始化与MongoDB数据库的连接，初始化RPC远程调用系统；初始化网络流量捕获引擎；
所述网络流量捕获引擎设置为执行流量捕获请求。
在一示例中，所述流量捕获控制器创建有RPC客户端，每个POD中的网络流量捕获容器为SIdecar容器并创建有RPC服务端；
所述流量捕获控制器中的RPC客户端，设置为以远程调用的方式将所述流量捕获请求发送给所述对应的POD中Sidecar容器中的RPC服务端；
所述对应的POD中Sidecar容器中的RPC服务端，设置为通过部署的网络流量捕获程序执行所述流量捕获请求
本发明实施例提供的技术方案，能够实现在Kubernetes集群中捕获网络流量，从而为对Kubernetes集群进行网络流量监控提供了可行性。
图3为本发明一实施例提供的一种捕获网络流量的方法的流程示意图，该方法应用于图4所示的Kubernetes集群，如图4所示，该Kubernetes集群部署有网络流量捕获控制器、域名系统DNS(Domain Name System)服务器、多个POD。其中，每个POD中分别预先部署有网络流量捕获容器，每个POD中还部署有一个或者多个业务容器(图4中并未示出多个业务容器，以显示的一个业务容器为例进行说明)，Pod中的多个容器能够访问同一个IP和端口范围，共享一个网络命名空间。其中，每个网络流量捕获容器中分别预先部署网络流量捕获程序，通过该网络流量捕获程序可以捕获与业务容器相同的网络命名空间的网络流量。
如图3所示，该方法包括：
步骤301，当监听到流量捕获请求时，流量捕获控制器根据所述流量捕获请求中携带的待访问POD域名与域名系统DNS服务器进行交互确定所述待访问POD域名对应的POD的IP地址；
在一示例中，所述网络流量捕获控制器对外提供应用程序接口Restfull API接口；通过所述Restfull API接口监听流量捕获请求。
在一示例中，Kubernetes集群中的DNS服务器预先保存有集群中所有POD的服务域名与IP地址的对应关系。
例如，当外界使用Restfull API(Application Programming Interface，应用程序接口)接口下发流量捕获请求到流量捕获控制器后，流量捕获控制器可以将该流量捕获请求中携带的待访问POD域名发送到DNS服务器请求查询该待访问POD域名对应的POD的IP地址，DNS服务器进行域名解析在本地预先保存的对应关系中查询到该待访问POD域名对应的POD的IP地址并返回给流量捕获控制器。
步骤302，所述流量捕获控制器根据所述对应的POD的IP地址将所述流量捕获请求发送给对应的POD中的网络流量捕获容器；
在一示例中，所述流量捕获控制器创建有RPC客户端，每个POD中的网络流量捕获容器为Sidecar容器并创建有RPC服务端；
所述流量捕获控制器将所述流量捕获请求发送给所述对应的POD中的网络流量捕获容器，包括：
所述流量捕获控制器中的RPC客户端以远程调用的方式将所述流量捕获请求发送给所述对应的POD中Sidecar容器中的RPC服务端。
步骤303，所述对应的POD中的网络流量捕获容器通过部署的网络流量捕获程序执行所述流量捕获请求。
在一示例中，所述流量捕获控制器创建有RPC(远程过程调用，Remote ProcedureCall)客户端，每个POD中的网络流量捕获容器为SIdecar容器并创建有RPC服务端；
所述对应的POD中的网络流量捕获容器通过部署的网络流量捕获程序执行所述流量捕获请求，包括：
所述对应的POD中Sidecar容器中的RPC服务端通过部署的网络流量捕获程序执行所述流量捕获请求。
在一示例中，RPC客户端为GRPC(Google Remote Procedure Call,Google远程过程调用)客户端，RPC服务端为GRPC服务端。
图5为本发明一实施例提供的一种捕获网络流量的方法的流程示意图，该方法应用于图6所示的Kubernetes集群，如图6所示，该Kubernetes集群部署有网络流量捕获控制器、域名系统DNS(Domain Name System)服务器、多个POD。其中，每个POD中分别预先部署有网络流量捕获容器，每个POD中还部署有一个或者多个业务容器(图6中并未示出多个业务容器，以显示的一个业务容器为例进行说明)，Pod中的多个容器能够访问同一个IP和端口范围，共享一个网络命名空间。其中，每个网络流量捕获容器中分别预先部署网络流量捕获程序，通过该网络流量捕获程序可以捕获与业务容器相同的网络命名空间的网络流量。其中，所述流量捕获控制器创建有RPC客户端，每个POD中的网络流量捕获容器为SIdecar容器并创建有RPC服务端。
如图5所示，该方法包括：
步骤501，当监听到流量捕获请求时，流量捕获控制器根据所述流量捕获请求中携带的待访问POD域名与域名系统DNS服务器进行交互确定所述待访问POD域名对应的POD的IP地址；
在一示例中，所述网络流量捕获控制器对外提供应用程序接口Restfull API接口；通过所述Restfull API接口监听流量捕获请求。
在一示例中，Kubernetes集群中的DNS服务器预先保存有集群中所有POD的服务域名与IP地址的对应关系。
例如，当外界使用Restfull API(Application Programming Interface，应用程序接口)接口下发流量捕获请求到流量捕获控制器后，流量捕获控制器可以将该流量捕获请求中携带的待访问POD域名发送到DNS服务器请求查询该待访问POD域名对应的POD的IP地址，DNS服务器进行域名解析在本地预先保存的对应关系中查询到该待访问POD域名对应的POD的IP地址并返回给流量捕获控制器。
步骤502，所述流量捕获控制器中的RPC客户端以远程调用的方式将所述流量捕获请求发送给所述对应的POD中Sidecar容器中的RPC服务端。
步骤503，所述对应的POD中Sidecar容器中的RPC服务端通过部署的网络流量捕获程序执行所述流量捕获请求。
在一示例中，该方法还包括：将捕获的网络流量组织成网络数据包文件并保存到数据库中。例如，网络流量捕获容器分布在不同的POD中作为SIdecar容器对业务流量进行捕获，Sidecar容器中的网络流量捕获程序会捕获与业务容器相同的网络命名空间的流量，同时可根据需求对网络流量进行过滤并组织成pcap文件存储在容器或者数据库中
在一示例中，RPC客户端为GRPC(Google Remote Procedure Call,Google远程过程调用)客户端，RPC服务端为GRPC服务端。
例如，对集群中网络流量捕获程序的管理采用GRPC加Restfull Api的方式，每个网络流量捕获容器都是一个独立的GRPC服务器，Kubernetes集群的会运行一个网络流量捕获控制器并对外提供Restfull接口，当外界使用Restfull接口下发请求到网络流量捕获控制器后，网络流量捕获控制器会根据每个请求的内容使用GRPC客户端方式转发请求到对应的GRPC服务器。
在本发明的另一实施例中，可以自动、无侵入、无感的注入流量捕获容器到Kubernetes集群的各个POD中。
其中，Kubernetes集群的POD是运行业务功能的最小单元，一个POD可以包括多个容器，并且在同一个POD中的容器处于同一个网络命名空间。在同一个POD中添加辅助容器的方式称为Sidecar容器，基于POD中容器共享网络命名空间的原理，只需要把提供网络流量捕获的容器添加到运行业务容器的POD中，即在POD中添加提供网络流量捕获的Sidecar容器，就可以在不改变原有业务的前提下，实现对业务容器的网络流量捕获功能。
在一示例中，利用Kubernetes集群的webhook技术将网络流量捕获容器自动注入到正常业务的POD中。客户端对Kubernetes集群下发部署POD时，创建POD请求首先会进入Kubernetes集群的API-Server(Application Programming Interface Server，应用程序接口服务)，API-Server会对请求做一系列检查，包括认证、格式化、校验、补丁等动作，其中API-Server中的准入控制器Admission-webhook的MutatingAdmissionWebhooks功能可以使用补丁的方式修改收到的创建POD请求。例如，在本示例中，MutatingAdmissionWebhooks根据策略匹配到创建POD请求后，可以将网络流量捕获容器的部署配置使用补丁的方式自动添加到创建POD请求中，如此采用Kubernetes的Webhook技术在不影响正常业务的情况下将网络流量捕获容器自动注入到正常业务的POD中。。本示例中无需人工介入，特别是当容器成千上万的部署时，可以大大降低人力成本同时减少人为因素导致的问题。其中，网络流量捕获容器的部署配置可以包括该网络流量捕获容器的名称、创建该容器所用的镜像，应用监听端口、数据卷等信息。
例如，网络流量捕获容器可以Sidecar容器的形式注入POD中，如此在Kubernetes平台启动POD时自动注入捕获数据包的Sidecar容器，Sidecar容器根据需求捕获POD中的网络流量，实现集群架构中对业务容器自动、无侵入、无感的进行网络流量监控，并实时保存网络流量便于后续对网络流量进行分析、研究等工作。
在另一示例中，还可以采用修改Yaml文件的方式完成网络流量捕获容器的注入。例如，Kubernetes部署POD时可以使用Yaml文件描述POD的运行环境，其中包括容器中程序、文件系统、网络的描述，如果要在原有业务的POD中添加网络流量捕获容器只需要修改相应的Yaml文件就可以完成网络流量捕获容器的注入。使用修改容器Yaml文件实现Sidecar容器注入的方式需要人工介入，当容器成千上万的部署时就会带来较大工作量。
在本发明的另一实施例中，在上述实施例提供的捕获网络流量的方法的基础上，还包括：将捕获的网络流量组织成网络数据包文件并保存到数据库中。
其中，容器属于无状态运行，当容器销毁后内部数据都不会保留。而本发明实施例中网络流量捕获器程序就运行在容器中，所以需要解决网络流量形成数据包文件后的持久化问题。
在一示例中，可以使用MongoDB的Gridfs功能存储网络数据包。
例如，各个网络流量捕获容器中的网络流量捕获程序捕获的网络数据包分散在不同的业务POD中，每个网络流量捕获容器都会连接集群中的MongoDB数据库，然后使用MongoDB的Gridfs方式存储网络数据包。比如，每当网络流量捕获程序捕获到的数据包超过预设阈值(比如100Mbytes)就形成一个数据包文件，并以容器名和时间作为数据包文件，然后通过Gridfs API接口存入MongoDB数据库，当需要下载数据包文件时只需要提供容器名和时间点就可以从MongoDB下载文件。如此，可以将网络流量捕获程序捕获的网络流量数据持久化到数据库，并且可以提供历史数据查询功能。例如，当需要查询某个时间点的网络流量数据时，就可以到数据库中根据时间查询对应的数据包文件。或者，需要查询某个业务容器的网络流量数据时，就可以到数据库中根据容器名查询对应的数据包文件。其中，形成的数据包文件的格式可以为pcap文件等格式。
在另一示例中，可以挂载宿主机目录到容器文件系统。
例如，网络流量捕获程序把捕获到的数据包文件存放在宿主机挂载到容器的目录实现数据包文件持久化功能，这个方案的优势简单、快捷，但当数据包文件多了后管理就会比较麻烦，比如从大量文件中找到某个时间段的数据包文件，这样就增加了复杂度和工作量。
图7为本发明一实施例提供的一种捕获网络流量的方法的流程示意图，应用在图8所示的Kubernetes集群，该Kubernetes集群部署有sniff Controller、DNS server、一个或者多个POD(图8中以一个POD为例进行说明，并不限定为一个POD，也可以为多个)，每个POD中部署有一个Sidecar sniff、一个或者多个APP(图8中以一个APP(应用程序，application)为例进行说明，并不限定为一个APP，也可以为多个)，每个POD中的容器共享一个网络命名空间Network Namespace。其中，在本实施例中，DNS server为CoreDns，其也可以是其他DNS，例如kubeDNS等。其中，sniff Controller对应于上述实施例中的网络流量捕获控制器，Sidecar sniff对应于上述实施例中的网络流量捕获容器，APP对应于上述实施例中的业务容器。
如图7所示，该方法包括：
1、请求入口将Restfull Request请求发送给网络流量捕获控制器；
其中，该请求入口为网络流量捕获控制器对外提供的Restfull API接口。例如，当有流量捕获请求Request需要下发到网络数据捕获程序时，首先使用Restfull接口发送请求到网络流量捕获控制器。
2、网络流量捕获控制器根据Request请求向集群DNS服务器查询对应的POD的IP地址；
例如，控制器根据请求内容到集群DNS服务器解析出需要控制的网络流量捕获程序的IP地址，即对应的POD的IP地址。
3、集群DNS服务器进行域名解析后向网络流量捕获控制器返回查询到的POD的IP地址；
4、网络流量捕获控制器以RPC的形式将流量捕获请求Request发送给查询到的POD中的流量捕获程序；
5、流量捕获程序向网络流量捕获控制器返回RPC执行结果；
6、对外通过Restfull接口返回Restfull请求结果。
例如，网络流量捕获控制器使用RPC远程调用方式下发请求到流量捕获程序，流量捕获程序再使用RPC向网络流量捕获控制器返回RPC执行结果，网络流量捕获控制器再将该RPC执行结果作为Restfull请求结果通过Restfull接口返回给请求方。其中，该RPC执行结果是指是否成功执行RPC请求，流量捕获过程中出现故障等情况。
在本发明的一实施例中，上述实施例涉及的每一个网络流量捕获程序可以是现有技术中任一种能够进行网络流量捕获的程序。或者，还可以是任何能够实现如图9所示流程的程序。
在本实施例中，上述实施例涉及的每一个网络流量捕获程序部署到网络流量捕获容器后，开始运行如图9所示的流程，如图9所示，该流程包括：
1、初始化运行环境，解析启动参数；
2、初始化MongoDB数据库连接；
其中，初始化MongoDB数据库连接，包括：
创建MongoDB单实例保持单实例，提供MongoDB连接函数供协程使用。
3、初始化GRPC远程调用系统；
其中，初始化GRPC远程调用系统，包括：创建GPRC服务端，使用协程方式监听GRPC客户端请求；
4、初始化网络捕获引擎；
其中，初始化网络捕获引擎包括初始化pcapgo库，并等待远程客户端发起请求，当收到请求时再根据启动参数开始捕获数据包。
在一示例中，网络捕获引擎可以是现有技术中任一种可以捕获网络流量的引擎，例如pcapgo库等。
在一示例中，网络流量捕获程序首先根据启动参数初始化运行环境，然后初始化MongoDB数据库连接，数据库连接采用单实例方式建立长连接，当程序内部需要和数据库通信时可直接通过单实例的连接操作数据库，然后初始化GRPC服务器，等待远程客户端发起请求，最后当收到请求时使用golang的pcapgo库启动网络捕获任务，开始捕获网络数据包。
在本发明的另一实施例中，上述实施例涉及的流量捕获请求包括启动捕获POD中的网络流量请求或者停止捕获POD中的网络流量请求；
或者，当所述流量捕获请求包括启动捕获POD中的网络流量请求时，所述流量捕获请求还包括数据包过滤条件，所述数据包过滤条件设置为在捕获网络流量的过程中过滤掉或者捕获符合所述数据包过滤条件的数据包。
在一示例中，网络流量捕获程序使用Sidecar方式和业务容器运行在统一个POD中。当收到的是启动捕获POD中的网络流量请求时，开始捕获POD中的网络流量，当收到的是停止捕获POD中的网络流量请求时，停止捕获POD中的网络流量。并且当流量捕获请求还包括数据包过滤条件时，网络流量捕获程序在捕获网络流量的过程中过滤掉或者捕获符合所述数据包过滤条件的数据包。例如，当数据包过滤条件为捕获预设端口的数据包时，网络流量捕获程序只捕获该预设端口的数据包，组织成文件存放在MongoDB数据库。
在另一示例中，所述流量捕获请求还可以为捕获状态查询请求等任何和流量捕获相关的请求。例如，当客户端下发捕获状态查询请求时，网络流量捕获控制器通过RPC方式将该捕获状态查询请求发送给网络流量捕获程序，并通过RPC方式接收捕获状态后，再返回给客户端。该捕获状态包括：正在执行捕获、捕获中断、捕获执行失败、捕获执行成功等。
本发明上述实施例提供的技术方案，可以实时捕获Kubernetes集群的业务流量，便于后续对网络流量进行分析、研究等工作。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种捕获网络流量的方法，应用于Kubernetes集群，所述Kubernetes集群部署有网络流量捕获控制器，所述Kubernetes集群的每个POD中分别预先部署有网络流量捕获容器，每个网络流量捕获容器中分别预先部署网络流量捕获程序，该方法包括：
当监听到流量捕获请求时，所述流量捕获控制器根据所述流量捕获请求确定对应的POD；
所述流量捕获控制器将所述流量捕获请求发送给所述对应的POD中的网络流量捕获容器；
所述对应的POD中的网络流量捕获容器通过部署的网络流量捕获程序执行所述流量捕获请求。
2.根据权利要求1所述的方法，其特征在于，所述Kubernetes集群部署有域名系统DNS服务器；
所述流量捕获控制器根据所述流量捕获请求确定对应的POD，包括：
所述流量捕获控制器根据所述流量捕获请求中携带的待访问POD域名与域名系统DNS服务器进行交互确定所述待访问POD域名对应的POD的IP地址；
所述流量捕获控制器将所述流量捕获请求发送给所述对应的POD中的网络流量捕获容器，包括：
所述流量捕获控制器根据所述对应的POD的IP地址将所述流量捕获请求发送给对应的POD中的网络流量捕获容器。
3.根据权利要求1所述的方法，其特征在于，所述网络流量捕获容器采用以下方式部署到POD中：
当所述Kubernetes集群的应用程序接口服务器APIServer接收到创建POD请求时，使用所述APIServer中的Admissionwebhook控制器的MutatingAdmissionWebhooks功能将所述网络流量捕获容器的部署配置信息以补丁的方式自动添加到所述创建POD请求中。
4.根据权利要求1所述的方法，其特征在于，
所述流量捕获控制器创建有RPC客户端，每个POD中的网络流量捕获容器为SIdecar容器并创建有RPC服务端；
所述流量捕获控制器将所述流量捕获请求发送给所述对应的POD中的网络流量捕获容器，包括：
所述流量捕获控制器中的RPC客户端以远程调用的方式将所述流量捕获请求发送给所述对应的POD中Sidecar容器中的RPC服务端；
所述对应的POD中的网络流量捕获容器通过部署的网络流量捕获程序执行所述流量捕获请求，包括：
所述对应的POD中Sidecar容器中的RPC服务端通过部署的网络流量捕获程序执行所述流量捕获请求。
5.根据权利要求1所述的方法，其特征在于，
所述流量捕获请求包括启动捕获POD中的网络流量请求或者停止捕获POD中的网络流量请求；
或者，当所述流量捕获请求包括启动捕获POD中的网络流量请求时，所述流量捕获请求还包括数据包过滤条件，所述数据包过滤条件设置为在捕获网络流量的过程中过滤掉或者捕获符合所述数据包过滤条件的数据包；
或者，所述流量捕获请求包括捕获状态请求。
6.根据权利要求5所述的方法，其特征在于，当启动捕获POD中的网络流量时，该方法还包括：
将捕获的网络流量组织成网络数据包文件并保存到数据库中。
7.一种Kubernetes集群，其特征在于，所述Kubernetes集群部署有网络流量捕获控制器，所述Kubernetes集群的每个POD中分别预先部署有网络流量捕获容器，每个网络流量捕获容器中分别预先部署网络流量捕获程序；
所述网络流量捕获控制器，设置为当监听到流量捕获请求时，根据流量捕获请求确定对应的POD；将所述流量捕获请求发送给所述对应的POD中的网络流量捕获容器；
每个网络流量捕获容器，设置为当收到流量捕获请求时，通过部署的网络流量捕获程序执行所述流量捕获请求。
8.根据权利要求7所述的Kubernetes集群，其特征在于，
所述网络流量捕获控制器对外提供应用程序接口Restfull API接口；
所述Restfull API接口，设置为监听流量捕获请求。
9.根据权利要求7所述的Kubernetes集群，其特征在于，每个网络流量捕获程序还设置为执行如下操作：
解析启动参数初始化运行环境，初始化与MongoDB数据库的连接，初始化RPC远程调用系统；初始化网络流量捕获引擎；
所述网络流量捕获引擎设置为执行流量捕获请求。
10.根据权利要求7所述的Kubernetes集群，其特征在于，
所述流量捕获控制器创建有RPC客户端，每个POD中的网络流量捕获容器为SIdecar容器并创建有RPC服务端；
所述流量捕获控制器中的RPC客户端，设置为以远程调用的方式将所述流量捕获请求发送给所述对应的POD中Sidecar容器中的RPC服务端；
所述对应的POD中Sidecar容器中的RPC服务端，设置为通过部署的网络流量捕获程序执行所述流量捕获请求。
CN202010766043.6A 2020-08-03 2020-08-03 一种捕获网络流量的方法及Kubernetes集群 Active CN111901203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010766043.6A CN111901203B (zh) 2020-08-03 2020-08-03 一种捕获网络流量的方法及Kubernetes集群

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010766043.6A CN111901203B (zh) 2020-08-03 2020-08-03 一种捕获网络流量的方法及Kubernetes集群

Publications (2)

Publication Number Publication Date
CN111901203A true CN111901203A (zh) 2020-11-06
CN111901203B CN111901203B (zh) 2022-03-29

Family

ID=73184129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010766043.6A Active CN111901203B (zh) 2020-08-03 2020-08-03 一种捕获网络流量的方法及Kubernetes集群

Country Status (1)

Country Link
CN (1) CN111901203B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542074A (zh) * 2021-08-04 2021-10-22 成都安恒信息技术有限公司 一种可视化管理kubernetes集群的东西向网络流量的方法及系统
CN113595832A (zh) * 2021-08-04 2021-11-02 中国光大银行股份有限公司 一种网络数据获取系统和方法
CN113835846A (zh) * 2021-11-26 2021-12-24 深圳市明源云科技有限公司 k8s集群的创建方法、装置及计算机可读存储介质
CN113886015A (zh) * 2021-09-29 2022-01-04 新华智云科技有限公司 一种基于k8s的应用消息发布方法
CN113965546A (zh) * 2021-09-10 2022-01-21 济南浪潮数据技术有限公司 一种容器云平台为应用设置租户专用dns服务器的方法
CN114491516A (zh) * 2022-01-26 2022-05-13 北京小佑网络科技有限公司 一种基于容器环境的威胁检测诱捕方法
CN114615168A (zh) * 2022-03-22 2022-06-10 恒安嘉新（北京）科技股份公司 一种应用级监控方法、装置、电子设备、存储介质及产品
CN114928562A (zh) * 2022-04-28 2022-08-19 杭州悦数科技有限公司 一种图计算平台的流量处理方法和系统
US20220329505A1 (en) * 2021-04-08 2022-10-13 Microsoft Technology Licensing, Llc Distributed packet capture

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110233817A (zh) * 2018-03-06 2019-09-13 广州西麦科技股份有限公司 一种基于云计算的容器安全系统
CN110262899A (zh) * 2019-06-20 2019-09-20 无锡华云数据技术服务有限公司 基于Kubernetes集群的监控组件弹性伸缩方法、装置及受控终端
US20200136940A1 (en) * 2015-06-05 2020-04-30 Cisco Technology, Inc. Identifying bogon address spaces
CN111371696A (zh) * 2020-03-24 2020-07-03 广西梯度科技有限公司 一种在Kubernetes中实现Pod网络流控的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200136940A1 (en) * 2015-06-05 2020-04-30 Cisco Technology, Inc. Identifying bogon address spaces
CN110233817A (zh) * 2018-03-06 2019-09-13 广州西麦科技股份有限公司 一种基于云计算的容器安全系统
CN110262899A (zh) * 2019-06-20 2019-09-20 无锡华云数据技术服务有限公司 基于Kubernetes集群的监控组件弹性伸缩方法、装置及受控终端
CN111371696A (zh) * 2020-03-24 2020-07-03 广西梯度科技有限公司 一种在Kubernetes中实现Pod网络流控的方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220329505A1 (en) * 2021-04-08 2022-10-13 Microsoft Technology Licensing, Llc Distributed packet capture
US11601354B2 (en) * 2021-04-08 2023-03-07 Microsoft Technology Licensing, Llc Distributed packet capture
CN113595832A (zh) * 2021-08-04 2021-11-02 中国光大银行股份有限公司 一种网络数据获取系统和方法
CN113542074B (zh) * 2021-08-04 2023-03-10 成都安恒信息技术有限公司 一种可视化管理kubernetes集群的东西向网络流量的方法及系统
CN113542074A (zh) * 2021-08-04 2021-10-22 成都安恒信息技术有限公司 一种可视化管理kubernetes集群的东西向网络流量的方法及系统
CN113965546A (zh) * 2021-09-10 2022-01-21 济南浪潮数据技术有限公司 一种容器云平台为应用设置租户专用dns服务器的方法
CN113886015A (zh) * 2021-09-29 2022-01-04 新华智云科技有限公司 一种基于k8s的应用消息发布方法
CN113835846B (zh) * 2021-11-26 2022-04-08 深圳市明源云科技有限公司 k8s集群的创建方法、装置及计算机可读存储介质
CN113835846A (zh) * 2021-11-26 2021-12-24 深圳市明源云科技有限公司 k8s集群的创建方法、装置及计算机可读存储介质
CN114491516A (zh) * 2022-01-26 2022-05-13 北京小佑网络科技有限公司 一种基于容器环境的威胁检测诱捕方法
CN114491516B (zh) * 2022-01-26 2023-04-14 北京小佑网络科技有限公司 一种基于容器环境的威胁检测诱捕方法
CN114615168A (zh) * 2022-03-22 2022-06-10 恒安嘉新（北京）科技股份公司 一种应用级监控方法、装置、电子设备、存储介质及产品
CN114615168B (zh) * 2022-03-22 2024-05-17 恒安嘉新（北京）科技股份公司 一种应用级监控方法、装置、电子设备、存储介质及产品
CN114928562A (zh) * 2022-04-28 2022-08-19 杭州悦数科技有限公司 一种图计算平台的流量处理方法和系统

Also Published As

Publication number Publication date
CN111901203B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN111901203B (zh) 一种捕获网络流量的方法及Kubernetes集群
US8713177B2 (en) Remote management of networked systems using secure modular platform
CN107566463B (zh) 一种提高存储可用性的多云存储管理系统
CN105740418A (zh) 一种基于文件监控和消息推送的实时同步系统
CN104219327B (zh) 一种分布式缓存系统
CN107820043B (zh) 视频监控系统的控制方法、装置及系统
US11361027B2 (en) Historical state management in databases
WO2021088254A1 (zh) 一种用户态网络文件系统双栈访问方法、装置及设备
CN108933798B (zh) 数据存储方法、存储服务器及系统
US20180189315A1 (en) Method and device for calling a distributed file system
EP3595297A1 (en) Abnormality detection method, network video recorder (nvr) and video server
US20070088706A1 (en) Methods and devices for simultaneously accessing multiple databases
US9819545B2 (en) Telecommunications node configuration management
CN114281253A (zh) 存储卷的管理方法
EP3852363A1 (en) Device state monitoring method and apparatus
CN113259493B (zh) 基于Ukey机柜的Ukey信息获取方法、装置、设备和存储介质
CN112395175B (zh) 日志处理方法、装置及电子设备
CN111726367A (zh) 一种用户设备cpe接入绑定方法、装置、系统及设备
US20050234961A1 (en) Systems and Methods for providing a proxy for a shared file system
CN111367757A (zh) 一种消息显示方法、装置及电子设备和存储介质
CN111736944A (zh) 基于Kubernetes的Docker容器定位方法及装置
US20240244414A1 (en) Session binding relationship processing method and apparatus, electronic device, and readable medium
CN107613002B (zh) 一种查询设备信息的方法、装置及其使用的设备
CN115344541A (zh) 一种文件存储的方法、装置、设备及存储介质
CN110099208B (zh) 一种视频监控系统中跨级跨域升级摄像机的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant