CN113595832A - 一种网络数据获取系统和方法 - Google Patents

Abstract

本发明实施例公开了一种网络数据获取系统和方法。该网络数据获取系统包括一个采集器控制节点和至少一个采集节点，所述采集器控制节点与各所述采集节点通信连接，并集成在目标平台的平台节点中，其中：所述采集器控制节点用于接收用户发送的网络流量数据获取任务，并根据所述网络流量数据获取任务生成目标网络流量数据获取任务；所述采集节点用于识别所述目标网络流量数据获取任务，并根据所述目标网络流量数据获取任务的识别结果采集所述平台节点的目标网络流量数据。本发明实施例的技术方案能够稳定采集集成平台的网络流量数据，提高集成平台网络流量数据采集的可靠性。

Description

一种网络数据获取系统和方法

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种网络数据获取系统和方法。

背景技术

网络流量数据采集是分析网络问题的主要方法及手段。目前现有的网络流量数据采集方式大多基于传统的TCPDump(Dump the Traffic on a Network，网络流量数据采集分析)的方法，或者是依赖于不同厂商提供的适用于其自身产品的封闭排障方法。

然而，现有传统的TCPDump方式是运行在Linux系统上的一个应用程序，基于BPF(Berkeley Packet Filter，柏克莱封包过滤器)实现，采用该方法在集成平台采集网络流量数据的可靠性较差。此外，现有平台产品提供的适用于其自身产品的网络流量数据获取方式适用面窄，无法在集成平台稳定采集网络流量数据。

发明内容

本发明实施例提供一种网络数据获取系统和方法，能够稳定采集集成平台的网络流量数据，提高集成平台网络流量数据采集的可靠性。

第一方面，本发明实施例提供了一种网络数据获取系统，包括一个采集器控制节点和至少一个采集节点，所述采集器控制节点与各所述采集节点通信连接，并集成在目标平台的平台节点中，其中：

所述采集器控制节点用于接收用户发送的网络流量数据获取任务，并根据所述网络流量数据获取任务生成目标网络流量数据获取任务；

所述采集节点用于识别所述目标网络流量数据获取任务，并根据所述目标网络流量数据获取任务的识别结果采集所述平台节点的目标网络流量数据。

第二方面，本发明实施例还提供了一种网络数据获取方法，包括：

接收用户发送的网络流量数据获取任务，并根据所述网络流量数据获取任务生成目标网络流量数据获取任务；

识别所述目标网络流量数据获取任务，并根据所述目标网络流量数据获取任务的识别结果采集所述平台节点的目标网络流量数据。

本发明实施例通过一个采集器控制节点和至少一个采集节点构成一种网络数据获取系统，网络数据获取系统中的采集器控制节点与各采集节点通信连接，并集成在目标平台的平台节点中。该网络数据获取系统通过采集器控制节点接收用户发送的网络流量数据获取任务，并根据网络流量数据获取任务生成目标网络流量数据获取任务，以使采集节点识别目标网络流量数据获取任务，并根据目标网络流量数据获取任务的识别结果采集平台节点的目标网络流量数据，解决现有网络流量数据采集方法无法在集成平台稳定采集网络流量数据以及在集成平台采集网络流量数据的可靠性较差等问题，能够稳定采集集成平台的网络流量数据，提高集成平台网络流量数据采集的可靠性。

附图说明

图1是本发明实施例一提供的一种网络数据获取系统的示意图；

图2是本发明实施例一提供的一种在Iaas平台中部署网络数据获取系统的网络结构示意图；

图3是本发明实施例一提供的一种在Paas平台中部署网络数据获取系统的网络结构示意图；

图4是本发明实施例二提供的一种网络数据获取系统的示意图；

图5是本发明实施例三提供的一种网络数据获取方法的流程图；

图6是本发明实施例四提供的一种网络数据获取方法的具体示例流程图；

图7是本发明实施例四提供的一种采集节点采集目标网络流量数据的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。

另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1是本发明实施例一提供的一种网络数据获取系统的示意图，该网络数据获取系统包括一个采集器控制节点和至少一个采集节点，所述采集器控制节点与各所述采集节点通信连接，并集成在目标平台的平台节点中，其中：所述采集器控制节点用于接收用户发送的网络流量数据获取任务，并根据所述网络流量数据获取任务生成目标网络流量数据获取任务；所述采集节点用于识别所述目标网络流量数据获取任务，并根据所述目标网络流量数据获取任务的识别结果采集所述平台节点的目标网络流量数据。

其中，采集器控制节点可以是用于控制采集节点采集网络流量数据并与目标平台进行对接管理的节点。采集节点可以是用于执行获取网络流量数据任务的节点，可以对平台节点进行数据采集。目标平台可以是执行网络流量数据获取的平台，例如可以是云平台，也可以是其他类型的集成平台等，本发明实施例对此并不进行限制。平台节点可以是目标平台上的节点，例如可以是云平台上的OpenStack计算节点，也可以是云平台上的K8s-node节点等，本发明实施例对此并不进行限制。网络流量数据获取任务可以是用户发送的网络流量数据的采集任务。目标网络流量数据获取任务可以是采集节点可以直接识别的网络流量数据的采集任务。目标网络流量数据可以是采集节点通过执行网络流量数据获取任务所获取到的网络流量数据，例如可以是云平台OpenStack计算节点中VM(Virtual Machine，虚拟机)节点的网络流量数据，也可以是云平台K8s-node节点中pod(容器)节点的网络流量数据等，本发明实施例对此并不进行限制。

在本发明实施例中，采集器控制节点的数量可以为一个，可以集成在目标平台的任意一个平台节点中，采集节点的数量可以为多个，可以集成在目标平台的每一个平台节点中，也即每个平台节点均对应部署一个采集节点，采集节点的数量和平台节点的数量相同。采集器控制节点可以对接目标平台，并对所有的采集节点进行统一的管控。

具体的，采集器控制节点可以接收用户发送的网络流量数据获取任务，并根据网络流量数据获取任务生成采集节点可直接识别的目标网络流量数据获取任务。采集器控制节点通过与每个采集节点之间的通信连接，将目标网络流量数据获取任务发送给执行网络流量数据获取任务的采集节点。采集节点识别到采集器控制节点发送的目标网络流量数据获取任务之后，识别目标网络流量数据获取任务，并根据目标网络流量数据获取任务的识别结果采集平台节点中对应的目标网络流量数据。

在本发明实施例的一个可选实施方式中，目标平台可以是基于x86架构的Iaas平台，其中，基于x86架构的Iaas平台采用OpenStack管理系统。在现有技术中，在Iaas平台中可以包括一个OpenStack管理节点和至少一个OpenStack计算节点；其中，OpenStack管理节点至少包括一个Neutron节点，用于管理OpenStack中所有虚拟网络基础设施；OpenStack计算节点至少包括一个VM节点，用于执行相应的处理任务。

图2是本发明实施例一提供的一种在Iaas平台中部署网络数据获取系统的网络结构示意图。如图2所示，在该应用场景下，采集器控制节点可以以VM节点的方式集成在任意一个OpenStack计算节点中，采集节点可以以daemon进程的方式集成在每个OpenStack计算节点中。

具体的，采集控制器节点与Neutron节点通信连接，获取Iaas平台的资产信息，并在Neutron节点中获取用户发送的网络流量数据获取任务，根据网络流量数据获取任务生成采集节点可直接识别的目标网络流量数据获取任务。采集器控制节点与每个采集节点通信连接，并将目标网络流量数据获取任务发送给执行网络流量数据获取任务的采集节点。采集节点识别到采集器控制节点发送的目标网络流量数据获取任务之后，识别目标网络流量数据获取任务，并根据目标网络流量数据获取任务的识别结果采集OpenStack计算节点中对应的VM节点的网络流量数据。

在本发明实施例的一个可选实施方式中，目标平台可以是基于x86架构的Paas平台，其中，基于x86架构的Paas平台采用K8s管理系统。在现有技术中，在Paas平台中可以包括一个K8s管理节点和至少一个K8s-node节点；其中，K8s管理节点至少包括一个Kube-apiserver节点，用于提供其他模块之间的数据交互和通信；K8s-node节点至少包括一个pod节点，用于执行相应的处理任务。

图3是本发明实施例一提供的一种在Paas平台中部署网络数据获取系统的网络结构示意图。如图3所示，在该应用场景下，采集器控制节点可以以pod节点的方式集成在任意一个K8s-node节点中，采集节点可以以daemon_set的方式集成在每个K8s-node节点中。

具体的，采集控制器节点与Kube-apiserver节点通信连接，获取Paas平台的资产信息，并在Kube-apiserver节点中获取用户发送的网络流量数据获取任务，根据网络流量数据获取任务生成采集节点可直接识别的目标网络流量数据获取任务。采集器控制节点与每个采集节点通信连接，并将目标网络流量数据获取任务发送给执行网络流量数据获取任务的采集节点。采集节点识别到采集器控制节点发送的目标网络流量数据获取任务之后，识别目标网络流量数据获取任务，并根据目标网络流量数据获取任务的识别结果采集K8s-node节点中对应的pod的网络流量数据。

本实施例的技术方案，通过一个采集器控制节点和至少一个采集节点构成一种网络数据获取系统，网络数据获取系统中的采集器控制节点与各采集节点通信连接，并集成在目标平台的平台节点中。该网络数据获取系统通过采集器控制节点接收用户发送的网络流量数据获取任务，并根据网络流量数据获取任务生成目标网络流量数据获取任务，以使采集节点识别目标网络流量数据获取任务，并根据目标网络流量数据获取任务的识别结果采集平台节点的目标网络流量数据，解决现有网络流量数据采集方法无法在集成平台稳定采集网络流量数据以及在集成平台采集网络流量数据的可靠性较差等问题，能够稳定采集集成平台的网络流量数据，提高集成平台网络流量数据采集的可靠性。

实施例二

图4是本发明实施例二提供的一种网络数据获取系统的示意图，本实施例以上述实施例为基础进行具体化，对采集器控制节点和采集节点的内部模块进行了扩展说明，如图4所示，网络数据获取系统包括一个采集器控制节点和至少一个采集节点。可选的，采集器控制节点可以包括应用接口模块、事件队列和任务生成模块；其中：所述应用接口模块用于接收所述网络流量数据获取任务，并将所述网络流量数据获取任务发送至所述事件队列；所述任务生成模块用于从所述事件队列获取所述网络流量数据获取任务，并根据所述网络流量数据获取任务生成所述目标网络流量数据获取任务。

其中，应用接口模块可以是网络数据获取系统与用户进行交互的接口。事件队列可以用于存储网络数据获取系统中的所有事件。任务生成模块可以用于生成网络流量数据采集任务。

具体的，采集器控制节点的应用接口模块可以获取用户发送的网络流量数据获取任务，并将网络流量数据获取任务发送给采集器控制节点的事件队列。采集器控制节点的任务生成模块在事件队列中获取网络流量数据获取任务，并根据网络流量数据获取任务生成采集节点可以直接识别的目标网络流量数据获取任务。可以理解的是，任务生成模块在生成采集节点可以直接识别的目标网络流量数据获取任务之后，可以进一步将目标网络流量数据获取任务发送给事件队列，以便采集节点进行识别。可以理解的是，事件队列是网络数据获取系统中主要的信息交互通道。

在本发明实施例的可选实施方式中，采集器控制节点还可以包括验证模块、资产管理模块和目标平台监控模块；其中：验证模块与应用接口模块通信连接，用于对网络流量数据获取任务进行校验；资产管理模块用于监听事件队列，根据事件队列的资源更新事件更新存储的目标平台的资产信息；目标平台监控模块用于监测目标平台的平台关联信息，并将平台关联信息添加至事件队列；其中，平台关联信息包括平台变化事件和/或平台资源信息。

其中，验证模块可以用于对用户发送的任务进行验证。资产管理模块可以用于收集目标平台资产信息。目标平台监控模块可以用于监控目标平台。资源更新事件可以是事件队列中的目标平台资源的更新事件，例如可以是节点IP地址变化事件，也可以是VM节点或pod节点迁移事件等，本发明实施例对此并不进行限制。资产信息可以是存储在资产管理模块中与目标平台相关的信息，例如可以是节点的IP地址，也可以是节点的其他网络信息等，本发明实施例对此并不进行限制。平台关联信息可以是目标平台的关联信息。平台变化事件可以是目标平台中的发生变化的任意事件，例如可以是节点IP地址变化事件，也可以是VM节点迁移事件等，本发明实施例对此并不进行限制。平台资源信息可以是目标平台中的资源信息，例如可以是节点的其他网络信息等，本发明实施例对此并不进行限制。

具体的，验证模块通过与应用接口模块通信连接，接收用户发送的网络流量数据获取任务，并对网络流量数据获取任务进行校验。可以理解的是，用户发送的网络流量数据获取任务有可能会出现IP地址不合法或者没有执行权限等情况。因此，需要对用户发送的网络流量数据获取任务进行IP地址是否合法或是否有执行权限等校验，用于确认该网络流量数据获取任务是否可以被执行，从而不执行未通过校验的网络流量数据获取任务，也即过滤未通过校验的网络流量数据获取任务，并执行通过校验的网络流量数据获取任务，也即将通过校验的网络流量数据获取任务发送给采集器控制节点的事件队列，以使任务生成模块获取网络流量数据获取任务，从而生成目标网络流量数据获取任务。

具体的，通过资产管理模块可以监听事件队列，并根据事件队列的资源更新事件更新存储的目标平台的资产信息，以便任务生成模块在资产管理模块中获取对应的执行目标网络流量数据获取任务的采集节点的信息。目标平台监控模块与目标平台的管理节点通信连接，监测目标平台的平台关联信息，在目标平台的平台关联信息中包括平台变化事件时，也即存在平台变化事件时，获取目标平台的平台变化事件，并将平台变化事件发送给事件队列，以在事件队列中生成资源更新事件，从而使得资产管理模块根据资源更新事件更新存储的目标平台的资产信息。

可以理解的是，在集成平台中，如各种云平台，节点资产信息经常发生变化。现有传统的TCPDump方法可以获取某一个节点上的数据包流量，但是在节点IP(InternetProtocol，网际互连协议)地址发生变化时会发生网络流量数据采集中断的问题。因此，一旦集成平台发生资产信息变化，现有的TCPDump方法则无法有效采集平台中的网络流量数据。

在本发明实施例的可选实施方式中，任务生成模块可以具体用于在监测到平台变化事件之后，在确定平台变化事件与目标网络流量数据获取任务相关联的情况下，根据目标网络流量数据获取任务和平台变化事件生成更新目标网络流量数据获取任务；其中，更新目标网络流量数据获取任务与目标网络流量数据获取任务具有相同的任务标识。

其中，更新目标网络流量数据获取任务可以是在发生平台变化事件之后生成的更新后的网络流量数据获取任务。任务标识可以用于唯一标识网络流量数据获取任务，以便采集节点进行识别。

具体的，任务生成模块在监测到平台变化事件之后，可以进一步确定平台变化事件和目标网络流量数据获取任务是否相关联。如果确定平台变化事件和目标网络流量数据获取任务相关联，则可以根据目标网络流量数据获取任务和平台变化事件生成更新目标网络流量数据获取任务，并将更新目标网络流量数据获取任务发送给事件队列，以便采集节点根据更新目标网络流量数据获取任务的识别结果采集平台节点的目标网络流量数据。在本发明实施例中，更新目标网络流量数据获取任务的任务标识和目标网络流量数据获取任务的任务标识相同，采集节点可以根据更新目标网络流量数据获取任务的任务标识确定匹配的目标网络流量数据获取任务。相应的，如果确定平台变化事件和目标网络流量数据获取任务不相关联，则可以忽略该平台变化事件。

上述技术方案，可以有效解决目标平台中节点IP地址变化引起的网络流量数据获取任务中断的情况，避免因节点IP地址变化造成网络流量数据获取任务中断，从而提高网络流量数据获取任务的可靠性。

在本发明实施例的可选实施方式中，采集节点可以包括任务管理模块和任务处理模块；其中：任务管理模块用于监听事件队列获取目标网络流量数据获取任务，并对目标网络流量数据获取任务进行识别，在确定目标网络流量数据获取任务为本节点任务的情况下，将目标网络流量数据获取任务发送至任务处理模块；任务处理模块用于根据目标网络流量数据获取任务调用eBPF程序模板，并对eBPF程序模板进行渲染，将渲染后的eBPF程序模板进行编译并加载到内核中。

其中，任务管理模块可以用于管理网络流量数据采集任务。任务处理模块可以用于处理网络流量数据采集任务。本节点任务可以是本节点需要执行的网络流量数据获取任务。eBPF程序模板可以是基于eBPF(Extended Berkeley Packet Filter，扩展的柏克莱封包过滤器)对目标网络流量数据获取任务进行处理的程序模板。

具体的，在采集器控制节点生成目标网络流量数据获取任务之后，采集节点的任务管理模块对目标网络流量数据获取任务进行识别，并判断该目标网络流量数据获取任务是否为本节点的任务。如果确定该目标网络流量数据获取任务为本节点任务，则采集节点的任务管理模块将目标网络流量数据获取任务发送给采集节点的任务处理模块，以对目标网络流量数据获取任务进行处理。相应的，如果确定该目标网络流量数据获取任务不是本节点任务，则忽略该目标网络流量数据获取任务，继续对下一个目标网络流量数据获取任务进行识别。采集节点的任务处理模块在接收到目标网络流量数据获取任务之后，可以进一步根据目标网络流量数据获取任务调用eBPF程序模板，并对eBPF程序模板进行渲染，以将渲染后的eBPF程序模板进行编译并加载到内核中，从而提高网络流量数据获取系统的性能。

在本发明实施例的可选实施方式中，任务管理模块还可以用于监听事件队列获取更新目标网络流量数据获取任务，在确定更新目标网络流量数据获取任务属于本节点任务的情况下，忽略更新目标网络流量数据获取任务；在确定更新目标网络流量数据获取任务不属于本节点任务的情况下，停止目标网络流量数据获取任务，并删除目标网络流量数据获取任务的任务资源。

其中，任务资源可以用于标识目标网络流量数据获取任务，例如可以是文件描述符等，本发明实施例对此并不进行限制。

具体的，在采集器控制节点的任务生成模块生成更新目标网络流量数据获取任务之后，采集节点的任务管理模块可以进一步获取更新目标网络流量数据获取任务，并判断更新目标网络流量数据获取任务是否属于本节点任务。如果更新目标网络流量数据获取任务属于本节点任务，说明待获取网络流量数据的节点还在之前的平台节点中，也即未发生迁移，则可以忽略该更新目标网络流量数据获取任务，继续处理目标网络流量数据获取任务。如果更新目标网络流量数据获取任务不属于本节点任务，说明待获取网络流量数据的节点不在之前的平台节点中，也即发生了迁移，则可以停止处理目标网络流量数据获取任务，并删除目标网络流量数据获取任务中的文件描述符等。

上述技术方案，可以有效解决目标平台中节点迁移引起的网络流量数据获取任务中断的情况，避免因节点迁移造成网络流量数据获取任务中断，从而提高网络流量数据获取任务的可靠性。

在本发明实施例的可选实施方式中，目标网络流量数据获取任务和更新目标网络流量数据获取任务可以包括任务节点标识；任务节点标识可以包括业务标签；任务管理模块可以具体用于对目标网络流量数据获取任务或更新目标网络流量数据获取任务的任务节点标识进行识别，在确定任务节点标识与本机节点相匹配的情况下，确定目标网络流量数据获取任务或更新目标网络流量数据获取任务为本节点任务。

其中，任务节点标识可以用于唯一标识待获取网络流量数据任务的节点。业务标签可以是标识任务节点的标签，例如可以是目标平台自带的标签，也可以是用户自定义的标签，本发明实施例对此并不进行限制。本机节点可以是采集节点所在的平台节点中的节点。

具体的，采集器控制节点的任务生成模块生成的目标网络流量数据获取任务和更新目标网络流量数据获取任务中都包括任务节点标识，采集节点的任务管理模块对目标网络流量数据获取任务或更新目标网络流量数据获取任务的任务节点标识进行识别，以判断该任务节点标识是否与本机节点匹配。如果该任务节点标识与本机节点匹配，则确定目标网络流量数据获取任务或更新目标网络流量数据获取任务为本节点任务，并根据目标网络流量数据获取任务或更新目标网络流量数据获取任务采集本机节点的目标网络流量数据。相应的，如果该任务节点标识与本机节点不匹配，则忽略目标网络流量数据获取任务或更新目标网络流量数据获取任务，继续对下一个目标网络流量数据获取任务或更新目标网络流量数据获取任务的任务节点标识进行识别。

在本发明实施例的可选实施方式中，采集节点还可以包括数据收集模块；任务处理模块可以具体用于创建文件描述符，以根据文件描述符读取ETH接口采集的平台节点的目标网络流量数据；数据收集模块用于收集并存储目标网络流量数据。

其中，文件描述符可以用于接收反馈的目标网络流量数据。ETH接口可以用于采集目标网络流量数据，并将采集到的目标网络流量数据反馈给数据收集模块。数据收集模块可以用于存储目标网络流量数据，例如可以是共享存储的方式，也即多个采集节点共享一个数据收集模块；或者也可以是本地存储的方式，也即一个采集节点对应一个数据收集模块；本发明实施例对数据收集模块存储目标网络流量数据的方式并不进行限制。

具体的，在采集节点的任务管理模块确定目标网络流量数据获取任务或更新目标网络流量数据获取任务为本节点任务之后，采集节点的任务处理模块创建文件描述符，并根据文件描述符读取ETH接口采集的平台节点的目标网络流量数据。采集节点的任务处理模块在接收到目标网络流量数据之后，可以将目标网络流量数据存储在采集节点的数据收集模块。

在本发明实施例的可选实施方式中，数据收集模块还可以用于在成功收集目标网络流量数据之后，向任务处理模块反馈任务完成信息；任务处理模块还用于在接收到任务完成信息后，向任务管理模块发送任务成功信息反馈指令；任务管理模块用于在接收到任务成功信息反馈指令之后，根据任务成功信息反馈指令生成任务成功事件，并将任务成功事件添加至事件队列中。

其中，任务完成信息可以是目标网络流量数据获取任务完成的信息。任务成功信息反馈指令可以是目标网络流量数据获取任务完成信息的反馈指令。任务成功事件可以是目标网络流量数据获取任务的事件。

具体的，采集节点的数据收集模块成功收集到目标网络流量数据之后，可以进一步向采集节点的任务处理模块反馈任务已经完成的信息，采集节点的任务处理模块在接收到任务已经完成的信息后，进一步向采集节点的任务管理模块发送任务成功信息的反馈指令，采集节点的任务管理模块在接收到任务成功信息的反馈指令之后，根据任务成功信息的反馈指令生成任务成功事件，并将任务成功事件添加到采集器控制节点的事件队列中，以便采集器控制节点的应用接口模块监听到任务成功事件之后通过采集器控制节点的应用接口模块将存储的目标网络流量数据提供给用户。

为了使本领域技术人员更好地理解本实施例网络数据获取系统，下面采用一个具体示例进行说明，具体内容包括：

采集器控制节点的目标平台监控模块将目标平台的平台变化事件和平台资源信息放到事件队列；资产管理模块会监听平台变化事件，并进行存储。应用接口模块接收网络流量数据获取任务，并通过验证模块验证之后，将网络流量数据获取任务放到事件队列。任务生成模块通过事件队列获取到网络流量数据获取任务，并生成目标网络流量数据获取任务放入到事件队列。采集节点的任务管理模块监听到目标网络流量数据获取任务，并判断是否为本节点的任务，如果是则将目标网络流量数据获取任务发送给任务处理模块。任务处理模块提取目标网络流量数据获取任务中的抓包过滤信息，并渲染模板库中对应的模板，将其编译并通过BPF系统调用下发到内核层。同时，会创建文件描述符读取内核模块返回的数据，通过数据收集模块进行收集，并写入到存储中，完成一次数据包采集任务。任务处理模块收到数据收集模块反馈的任务完成信息后，向任务管理模块发送任务成功信息反馈指令，并通过任务管理模块发送任务成功事件到事件队列中。采集器控制节点的应用接口模块监听到任务成功事件后将网络流量数据采集结果返回，web(World Wide Web，全球广域网)端可以通过共享存储将抓取的数据包信息提供给用户下载。

本实施例的技术方案，通过采集器控制节点的应用接口模块获取用户发送的网络流量数据获取任务，并将网络流量数据获取任务发送给采集器控制节点的事件队列，采集器控制节点的任务生成模块在事件队列中获取网络流量数据获取任务，并根据网络流量数据获取任务生成采集节点可以直接识别的目标网络流量数据获取任务，实现将网络流量数据获取任务转换为采集节点可识别的目标网络流量数据获取任务，提高网络流量数据获取任务的可执行性。

实施例三

图5是本发明实施例三提供的一种网络数据获取方法的流程图，本实施例可适用于在集成平台稳定采集网络流量数据的情况，该方法可以由网络数据获取系统来执行，该系统可以由软件/硬件的方式来实现。其中，网络数据获取系统包括一个采集器控制节点和至少一个采集节点，采集器控制节点与各采集节点通信连接，并集成在目标平台的平台节点中。具体的，采集器控制节点可以集成在目标平台的任意一个平台节点中，采集节点可以集成在目标平台的每一个平台节点中。相应的，如图5所示，该方法包括如下操作：

S510、接收用户发送的网络流量数据获取任务，并根据所述网络流量数据获取任务生成目标网络流量数据获取任务。

在本发明实施例中，采集器控制节点可以接收用户发送的网络流量数据获取任务，并根据网络流量数据获取任务生成采集节点可直接识别的目标网络流量数据获取任务。

S520、识别所述目标网络流量数据获取任务，并根据所述目标网络流量数据获取任务的识别结果采集所述平台节点的目标网络流量数据。

在本发明实施例中，采集器控制节点通过与每个采集节点之间的通信连接，将目标网络流量数据获取任务发送给执行网络流量数据获取任务的采集节点。采集节点识别到采集器控制节点发送的目标网络流量数据获取任务之后，识别目标网络流量数据获取任务，并根据目标网络流量数据获取任务的识别结果采集平台节点中对应的目标网络流量数据。

在本发明实施例的一个可选实施方式中，该方法还可以包括：接收网络流量数据获取任务，并将网络流量数据获取任务发送至事件队列；从事件队列获取网络流量数据获取任务，并根据网络流量数据获取任务生成目标网络流量数据获取任务。

具体的，采集器控制节点的应用接口模块可以获取用户发送的网络流量数据获取任务，并将网络流量数据获取任务发送给采集器控制节点的事件队列。采集器控制节点的任务生成模块在事件队列中获取网络流量数据获取任务，并根据网络流量数据获取任务生成采集节点可以直接识别的目标网络流量数据获取任务。

在本发明实施例的一个可选实施方式中，该方法还可以包括：对网络流量数据获取任务进行校验；监听事件队列，根据事件队列的资源更新事件更新存储的目标平台的资产信息；监测目标平台的平台关联信息，并将平台关联信息添加至事件队列；其中，平台关联信息包括平台变化事件和/或平台资源信息。

具体的，验证模块通过与应用接口模块通信连接，接收用户发送的网络流量数据获取任务，并对网络流量数据获取任务进行校验。通过资产管理模块监听事件队列，并根据事件队列的资源更新事件更新存储的目标平台的资产信息，以便任务生成模块在资产管理模块中获取对应的执行目标网络流量数据获取任务的采集节点的信息。目标平台监控模块与目标平台的管理节点通信连接，监测目标平台的平台关联信息，在目标平台的平台关联信息中包括平台变化事件时，也即存在平台变化事件时，获取目标平台的平台变化事件，并将平台变化事件发送给事件队列，以在事件队列中生成资源更新事件，从而使得资产管理模块根据资源更新事件更新存储的目标平台的资产信息。

在本发明实施例的一个可选实施方式中，网络数据获取方法还可以包括：在监测到平台变化事件之后，可以在确定平台变化事件与目标网络流量数据获取任务相关联的情况下，根据目标网络流量数据获取任务和平台变化事件生成更新目标网络流量数据获取任务；其中，更新目标网络流量数据获取任务与目标网络流量数据获取任务具有相同的任务标识。

具体的，任务生成模块在监测到平台变化事件之后，可以进一步确定平台变化事件和目标网络流量数据获取任务是否相关联。如果确定平台变化事件和目标网络流量数据获取任务相关联，则可以根据目标网络流量数据获取任务和平台变化事件生成更新目标网络流量数据获取任务，并将更新目标网络流量数据获取任务发送给事件队列，以便采集节点根据更新目标网络流量数据获取任务的识别结果采集平台节点的目标网络流量数据。在本发明实施例中，更新目标网络流量数据获取任务的任务标识和目标网络流量数据获取任务的任务标识相同，采集节点可以根据更新目标网络流量数据获取任务的任务标识确定匹配的目标网络流量数据获取任务。相应的，如果确定平台变化事件和目标网络流量数据获取任务不相关联，则可以忽略该平台变化事件。

在本发明实施例的一个可选实施方式中，该方法还可以包括：监听事件队列获取目标网络流量数据获取任务，并对目标网络流量数据获取任务进行识别，在确定目标网络流量数据获取任务为本节点任务的情况下，将目标网络流量数据获取任务发送至任务处理模块；根据目标网络流量数据获取任务调用eBPF程序模板，并对eBPF程序模板进行渲染，将渲染后的eBPF程序模板进行编译并加载到内核中。

具体的，在采集器控制节点生成目标网络流量数据获取任务之后，采集节点的任务管理模块对目标网络流量数据获取任务进行识别，并判断该目标网络流量数据获取任务是否为本节点的任务。如果确定该目标网络流量数据获取任务为本节点任务，则采集节点的任务管理模块将目标网络流量数据获取任务发送给采集节点的任务处理模块，以对目标网络流量数据获取任务进行处理。相应的，如果确定该目标网络流量数据获取任务不是本节点任务，则忽略该目标网络流量数据获取任务，继续对下一个目标网络流量数据获取任务进行识别。采集节点的任务处理模块在接收到目标网络流量数据获取任务之后，可以进一步根据目标网络流量数据获取任务调用eBPF程序模板，并对eBPF程序模板进行渲染，以将渲染后的eBPF程序模板进行编译并加载到内核中，从而提高网络流量数据获取系统的性能。

在本发明实施例的一个可选实施方式中，该方法还可以包括：监听事件队列获取更新目标网络流量数据获取任务，在确定更新目标网络流量数据获取任务属于本节点任务的情况下，忽略更新目标网络流量数据获取任务；在确定更新目标网络流量数据获取任务不属于本节点任务的情况下，停止目标网络流量数据获取任务，并删除目标网络流量数据获取任务的任务资源。

具体的，在采集器控制节点的任务生成模块生成更新目标网络流量数据获取任务之后，采集节点的任务管理模块可以进一步获取更新目标网络流量数据获取任务，并判断更新目标网络流量数据获取任务是否属于本节点任务。如果更新目标网络流量数据获取任务属于本节点任务，说明待获取网络流量数据的节点还在之前的平台节点中，也即未发生迁移，则可以忽略该更新目标网络流量数据获取任务，继续处理目标网络流量数据获取任务。如果更新目标网络流量数据获取任务不属于本节点任务，说明待获取网络流量数据的节点不在之前的平台节点中，也即发生了迁移，则可以停止处理目标网络流量数据获取任务，并删除目标网络流量数据获取任务中的文件描述符等。

在本发明实施例的一个可选实施方式中，目标网络流量数据获取任务和更新目标网络流量数据获取任务可以包括任务节点标识；任务节点标识可以包括业务标签；该方法还可以包括：对目标网络流量数据获取任务或更新目标网络流量数据获取任务的任务节点标识进行识别，在确定任务节点标识与本机节点相匹配的情况下，确定目标网络流量数据获取任务或更新目标网络流量数据获取任务为本节点任务。

具体的，采集器控制节点的任务生成模块生成的目标网络流量数据获取任务和更新目标网络流量数据获取任务中都包括任务节点标识，采集节点的任务管理模块对目标网络流量数据获取任务或更新目标网络流量数据获取任务的任务节点标识进行识别，以判断该任务节点标识是否与本机节点匹配。如果该任务节点标识与本机节点匹配，则确定目标网络流量数据获取任务或更新目标网络流量数据获取任务为本节点任务，并根据目标网络流量数据获取任务或更新目标网络流量数据获取任务采集本机节点的目标网络流量数据。相应的，如果该任务节点标识与本机节点不匹配，则忽略目标网络流量数据获取任务或更新目标网络流量数据获取任务，继续对下一个目标网络流量数据获取任务或更新目标网络流量数据获取任务的任务节点标识进行识别。

在本发明实施例的一个可选实施方式中，该方法还可以包括：创建文件描述符，以根据文件描述符读取ETH接口采集的平台节点的目标网络流量数据；数据收集模块用于收集并存储目标网络流量数据。

具体的，在采集节点的任务管理模块确定目标网络流量数据获取任务或更新目标网络流量数据获取任务为本节点任务之后，采集节点的任务处理模块创建文件描述符，并根据文件描述符读取ETH接口采集的平台节点的目标网络流量数据。采集节点的任务处理模块在接收到目标网络流量数据之后，可以将目标网络流量数据存储在采集节点的数据收集模块。

在本发明实施例的一个可选实施方式中，该方法还可以包括：在成功收集目标网络流量数据之后，向任务处理模块反馈任务完成信息；任务处理模块还用于在接收到任务完成信息后，向任务管理模块发送任务成功信息反馈指令；任务管理模块用于在接收到任务成功信息反馈指令之后，根据任务成功信息反馈指令生成任务成功事件，并将任务成功事件添加至事件队列中。

具体的，采集节点的数据收集模块成功收集到目标网络流量数据之后，可以进一步向采集节点的任务处理模块反馈任务已经完成的信息，采集节点的任务处理模块在接收到任务已经完成的信息后，进一步向采集节点的任务管理模块发送任务成功信息的反馈指令，采集节点的任务管理模块在接收到任务成功信息的反馈指令之后，根据任务成功信息的反馈指令生成任务成功事件，并将任务成功事件添加到采集器控制节点的事件队列中，以便采集器控制节点的应用接口模块监听到任务成功事件之后通过采集器控制节点的应用接口模块将存储的目标网络流量数据提供给用户。

本实施例的技术方案，网络数据获取系统通过采集器控制节点接收用户发送的网络流量数据获取任务，并根据网络流量数据获取任务生成目标网络流量数据获取任务，以使采集节点识别目标网络流量数据获取任务，并根据目标网络流量数据获取任务的识别结果采集平台节点的目标网络流量数据，解决现有网络流量数据采集方法无法在集成平台稳定采集网络流量数据以及在集成平台采集网络流量数据的可靠性较差等问题，能够稳定采集集成平台的网络流量数据，提高集成平台网络流量数据采集的可靠性。

实施例四

本发明实施例以目标平台为云平台的应用场景为例具体说明。图6是本发明实施例四提供的一种网络数据获取方法的具体示例流程图。如图6所示，网络数据获取方法可以具体包括以下内容：

初始化阶段：同步云平台资产信息至网络数据获取系统中的资产管理模块，获取已部署的工作节点信息，并更新已经同步的云平台信息，在资产管理模块中对已同步的云平台信息进行工作节点已部署标注；对于没有部署工作节点的平台资产无法执行网络流量数据获取。

任务输入阶段：用户提交要获取的网络流量数据任务，条件可以是业务标签或者IP地址等。被提交的网络流量数据获取任务会被验证模块验证其输入的合法性(包括各个字段格式等)，合法性通过后会验证任务的可执行性，即任务所要求的网络流量数据获取点是否部署了工作节点。如果通过了验证就会将任务的信息放入到事件队列中。

任务初始化阶段：任务生成模块会根据任务信息，将用户输入的信息进行进一步加工：如果用户通过标签的方式描述任务需求，该阶段则会将标签所对应的任务分部信息提取出来，拆分成多个独立的输入，并且生成全局的唯一的UUID(Universally UniqueIdentifier，通用唯一识别码)，然后将拆分的任务信息，放入到消息队列中。

任务执行阶段：采集节点通过事件队列接收到信息，并根据拆分开的任务信息中的任务标识来确认是不是自己的任务，获取到任务后进行任务输入信息合法性验证，并将关键信息提取后传递给任务处理模块，任务处理模块使用关键信息渲染预制在模板库中的模板，该模板渲染的结果就是生成一段可编译的bpf程序，通过系统调用来将这段可编译的bpf程序加载到内核中，开始网络流量数据获取行为。加载到内核的同时会生成一个文件描述符，用来提取任务执行的结果，数据收集模块就是通过这个描述符收集数据采集信息，然后将采集到的数据存在共享存储或者本地存储的目录，该目录标识为与任务标识相关的路径。

图7是本发明实施例四提供的一种采集节点采集目标网络流量数据的示意图。在一个具体的例子中，如图7所示，采集节点的控制器对目标网络流量数据获取任务进行识别，得到用户规定的采集规则，并通过规则加载器渲染bpf程序模板，形成源文件。源文件通过在内核态被翻译成字节码，通过验证器验证后，加载成为网卡驱动的钩子(也就是用户对应的采集规则)，所有进入网卡的网络流量数据都会经过规则过滤，将符合规则的数据包复制一份发给用户空间数据包接收器，完成目标网络流量数据的抓取。当抓取到目标网络流量数据后，采集节点可以按照原本的路径将目标网络流量数据发送至本机协议栈，进而反馈给本机的用户应用程序处理。

任务更新阶段：如果在任务执行过程中发生了虚拟迁移或者pod漂移的事件，目标平台监控模块会感知到云平台发生的变化事件，并且将事件变化信息更新到事件队列中，任务生成模块监听到事件后，判断是否与正在执行的任务相关。如果无关则任务生成模块忽略这个信息；如果相关，任务生成模块就会以同一个任务标识发布任务更新信息，对应的采集节点就会接收到任务然后执行对应操作，如果任务执行节点列表中依然包括该采集节点，不执行任何操作将其忽略；如果任务执行节点不在队列中，则将与该任务标识对应的数据包抓取任务停止并删除相关的资源(包括文件描述符等)。

任务结束阶段：由用户发起结束任务，然后由任务生成模块生成任务结束事件并放入到事件队列中。采集节点收到任务结束的事件之后，判断该任务是否在节点执行，如果不在节点执行则忽略，如果在节点执行，则结束当前任务并且删除相关资源，例如文件描述符以及内部采集数据包的进程。

结果获取：用户下载抓取到的原始数据包。由于是分布式的架构，如果使用共享存储实现的话，可以提供同一个任务所有数据包打包下载的能力。

本实施例的技术方案，可以运行于任何基于x86平台的云平台上，不局限于产品形式；基于bpf抓取数据流量，性能高；可以支持基于标签的网络数据获取方法，可以有效解决云上IP地址的变化以及虚机/pod迁移影响的流量中断情况，也可定义标签组持续监控一组应用的交互数据；该网络数据获取系统基于事件驱动方式，可以实现能力动态扩展。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种网络数据获取系统，其特征在于，包括一个采集器控制节点和至少一个采集节点，所述采集器控制节点与各所述采集节点通信连接，并集成在目标平台的平台节点中，其中：

所述采集器控制节点用于接收用户发送的网络流量数据获取任务，并根据所述网络流量数据获取任务生成目标网络流量数据获取任务；

所述采集节点用于识别所述目标网络流量数据获取任务，并根据所述目标网络流量数据获取任务的识别结果采集所述平台节点的目标网络流量数据。

2.根据权利要求1所述的系统，其特征在于，所述采集器控制节点包括应用接口模块、事件队列和任务生成模块，其中：

所述应用接口模块用于接收所述网络流量数据获取任务，并将所述网络流量数据获取任务发送至所述事件队列；

所述任务生成模块用于从所述事件队列获取所述网络流量数据获取任务，并根据所述网络流量数据获取任务生成所述目标网络流量数据获取任务。

3.根据权利要求2所述的系统，其特征在于，所述采集器控制节点还包括验证模块、资产管理模块和目标平台监控模块，其中：

所述验证模块与所述应用接口模块通信连接，用于对所述网络流量数据获取任务进行校验；

所述资产管理模块用于监听所述事件队列，根据所述事件队列的资源更新事件更新存储的目标平台的资产信息；

所述目标平台监控模块用于监测所述目标平台的平台关联信息，并将所述平台关联信息添加至所述事件队列；

其中，所述平台关联信息包括平台变化事件和/或平台资源信息。

4.根据权利要求3所述的系统，其特征在于，所述任务生成模块具体用于在监测到所述平台变化事件之后，在确定所述平台变化事件与所述目标网络流量数据获取任务相关联的情况下，根据所述目标网络流量数据获取任务和所述平台变化事件生成更新目标网络流量数据获取任务；其中，所述更新目标网络流量数据获取任务与所述目标网络流量数据获取任务具有相同的任务标识。

5.根据权利要求1所述的系统，其特征在于，所述采集节点包括任务管理模块和任务处理模块；其中：

所述任务管理模块用于监听所述事件队列获取所述目标网络流量数据获取任务，并对所述目标网络流量数据获取任务进行识别，在确定所述目标网络流量数据获取任务为本节点任务的情况下，将所述目标网络流量数据获取任务发送至所述任务处理模块；

所述任务处理模块用于根据所述目标网络流量数据获取任务调用eBPF程序模板，并对所述eBPF程序模板进行渲染，将渲染后的eBPF程序模板进行编译并加载到内核中。

6.根据权利要求5所述的系统，其特征在于，所述任务管理模块还用于监听所述事件队列获取更新目标网络流量数据获取任务，在确定所述更新目标网络流量数据获取任务属于本节点任务的情况下，忽略所述更新目标网络流量数据获取任务；在确定所述更新目标网络流量数据获取任务不属于本节点任务的情况下，停止所述目标网络流量数据获取任务，并删除所述目标网络流量数据获取任务的任务资源。

7.根据权利要求5或6所述的系统，其特征在于，所述目标网络流量数据获取任务和所述更新目标网络流量数据获取任务包括任务节点标识；所述任务节点标识包括业务标签；

所述任务管理模块具体用于对所述目标网络流量数据获取任务或所述更新目标网络流量数据获取任务的任务节点标识进行识别，在确定所述任务节点标识与本机节点相匹配的情况下，确定所述目标网络流量数据获取任务或所述更新目标网络流量数据获取任务为本节点任务。

8.根据权利要求6所述的系统，其特征在于，所述采集节点还包括数据收集模块；

所述任务处理模块具体用于创建文件描述符，以根据所述文件描述符读取ETH接口采集的平台节点的目标网络流量数据；

所述数据收集模块用于收集并存储所述目标网络流量数据。

9.根据权利要求8所述的系统，其特征在于，所述数据收集模块还用于在成功收集所述目标网络流量数据之后，向所述任务处理模块反馈任务完成信息；

所述任务处理模块还用于在接收到所述任务完成信息后，向所述任务管理模块发送任务成功信息反馈指令；

所述任务管理模块用于在接收到所述任务成功信息反馈指令之后，根据所述任务成功信息反馈指令生成任务成功事件，并将所述任务成功事件添加至事件队列中。

10.一种网络数据获取方法，其特征在于，应用于网络数据获取系统，所述网络数据获取系统包括一个采集器控制节点和至少一个采集节点，所述采集器控制节点与各所述采集节点通信连接，并集成在目标平台的平台节点中，所述方法包括：

接收用户发送的网络流量数据获取任务，并根据所述网络流量数据获取任务生成目标网络流量数据获取任务；

识别所述目标网络流量数据获取任务，并根据所述目标网络流量数据获取任务的识别结果采集所述平台节点的目标网络流量数据。

Images