CN113839831B - 一种流量采样装置 - Google Patents

Abstract

本发明公开一种流量采样装置，包括主控平台和转发平台，主控平台用于向转发平台下发配置信息，并接收来自转发平台上传的数据流，转发平台用于接收主控平台下发的配置信息，并根据配置信息对转发平台进行配置更新，当转发平台配置更新完成后对网络流量进行采样得到数据流，并将所述数据流上传至主控平台中，其中，转发平台中包括控制模块、采样模块、统计模块和存储模块，采样模块用于对网络流量进行采样得到数据流，存储模块用于对数据流进行存储，统计模块用于对数据流进行统计，并将统计信息发送至存储模块用于存储，控制模块根据配置信息对采样模块和或存储模块和或统计模块进行配置更新，实现了在复杂网络应用和高速端口中进行网络流量监测。

Description

一种流量采样装置

技术领域

本发明属于网络通信技术领域，具体涉及一种流量采样装置。

背景技术

现代网络通信技术正在快速发展，且在其快速发展过程中带来日益庞大的网络流量，这些庞大的网络流量对网络的安全带来了威胁，有效地获得网络流量分布情况，从而实时监控网络流量的总体情况在现代网络通信技术中显得至关重要。

目前进行流量采样通常有如下两种方法：

1、基于NetFlow的测量网络流量的方法，其是由思科公司提出的网络数据包交换技术，用来记录网络流信息，可以实现对转发的IP数据流进行测量和分析，但无法定位IP地址的物理位置，且需要专用的网络设备，需要耗费较多的设备资源。

2、基于SNMP(简单网络管理协议)的测量网络流量的方法，其是用于在IP网络管理节点的一种应用层的标准协议，主要根据设备端口来获取网络流量信息，但无法具体到每个数据包三层以上信息。

现有技术在进行监测网络流量时，需要消耗较多的设备资源，或提供的流量内容过于单一，不能满足当代越来越复杂的应用所产生的网络流量数据检测要求以及对千兆和万兆高速端口的网络流量进行监测。

因此，如何在复杂网络应用和高速端口中进行网络流量监测，降低设备资源的消耗，是本领域技术人员有待解决的技术问题。

发明内容

本发明的目的是为了解决现有技术无法在降低设备资源消耗的前提下，在复杂网络应用和高速端口中进行网络流量监测的技术问题，提出了一种流量采样装置。

本发明的技术方案为：一种流量采样装置，包括：

主控平台，用于向转发平台下发配置信息，并接收来自转发平台上传的数据流；

所述转发平台，用于：

接收主控平台下发的所述配置信息，并根据所述配置信息对所述转发平台进行配置更新；

当所述转发平台配置更新完成后对网络流量进行采样得到数据流，并将所述数据流上传至所述主控平台中。

进一步地，所述转发平台包括控制模块、采样模块、统计模块和存储模块，其中：

所述采样模块用于对所述网络流量进行采样得到所述数据流；

所述存储模块用于对所述数据流进行存储；

所述统计模块用于对所述数据流进行统计，并将所述统计信息发送至存储模块进行存储；

所述控制模块根据所述配置信息对所述采样模块和或所述存储模块和或统计模块进行配置更新。

进一步地，所述配置信息的信息类型包括流统计阈值更新信息、采样模块更新信息、老化时间更新信息、请求流表信息和请求流统计信息。

进一步地，所述转发平台还包括上传模块和老化模块，所述控制模块具体用于：

确定所述配置信息的信息类型；

若所述配置信息的信息类型为流统计阈值更新信息，则将所述统计模块中最大表项数字段进行更新；

若所述配置信息的信息类型为采样模块更新信息，则在所述采样模块中的采样器列表中加入新的采样器配置，并更新所述采样模块的配置信息；

若所述配置信息的信息类型为老化时间更新信息，则将所述老化模块中的老化时间信息进行更新，以使所述老化模块对所述数据流进行老化；

若所述配置信息的信息类型为请求流表信息，则从所述存储模块中的流请求链表中取出预设条数的数据流，并将所述预设条数的数据流封装为固定的上传报文包，同时通过上传模块将所述上传报文包上传至所述主控平台中；

若所述配置信息的信息类型为请求流统计信息，则将所述统计模块中的流实体统计信息和协议统计信息封装为统计信息上传报文包，同时通过所述上传模块将所述统计信息上传报文包上传至所述主控平台中。

进一步地，还具体用于：

根据所述采样模块中采样器模式向硬件下发对应的硬件配置；

若所述采样器模式为固定采样模式，则向所述硬件下发固定采样配置；

若所述采样器模式为随机采样模式，则向所述硬件下发随机采样配置。

进一步地，所述采样模块采样得到的数据流信息具体包括：设备端口信息、接口信息、ipv4报文头部信息、ipv6报文头部信息、tcp报文头部信息、udp报文头部信息、icmp报文头部信息、数据包的字节数。

进一步地，所述存储模块存储的数据流信息具体为流的配置、采样器信息、流实体的哈希桶地址空间以及流缓存项动态分配空间。

进一步地，所述统计信息包括总信息、协议统计信息、流统计信息和采样器统计信息。

进一步地，所述总信息具体为高速缓存配置信息、数据流中数据包的总数、数据流中所有数据包的总字节数、处于活跃状态的流数、最大表项数、活跃数据流老化时间、非活跃数据流老化时间。

进一步地，所述协议统计信息具体包括协议对应的流个数、与协议相关的包的总个数、协议相关的流的总字节数。

进一步地，所述流统计信息具体包括入接口索引、出接口索引、源地址、目的地址、源端口号、目的端口号、协议类型、包的个数、数据流的总字节数、协议号。

进一步地，所述采样器统计信息具体包括采样器id和每一个采样器获取的数据包个数。

进一步地，所述采样器列表中存放有多个采样器，且存放有每一个采样器的id、采样模式、采样间隔以及采样到的数据包个数。

与现有技术相比，本发明具备以下有益效果：

(1)本发明装置中包括主控平台和转发平台，主控平台用于向转发平台下发配置信息，并接收来自转发平台上传的数据流，转发平台用于接收主控平台下发的配置信息，并根据配置信息对转发平台进行配置更新，当转发平台配置更新完成后对网络流量进行采样得到数据流，并将所述数据流上传至主控平台中，其中，转发平台中包括控制模块、采样模块、统计模块和存储模块，采样模块用于对网络流量进行采样得到数据流，存储模块用于对数据流进行存储，统计模块用于对数据流进行统计，并将统计信息发送至存储模块用于存储，控制模块根据配置信息对采样模块和或存储模块和或统计模块进行配置更新，实现了在降低设备资源消耗的前提下，在复杂网络应用和高速端口中进行网络流量监测。

(2)本发明中设置有采样模块、存储模块、统计模块和控制模块，通过采样模块来进行采样，通过存储模块来讲采样得到数据流进行存储，通过统计模块来对数据流进行统计，通过控制模块来控制其他模块，能够更好地执行网络流量采样工作，

附图说明

图1所示为本发明实施例提供的一种流量采样装置的结构示意图；

图2所示为本发明实施例中转发平台的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如背景技术中所述，现有技术无法在降低设备资源消耗的前提下在复杂网络应用和高速端口中进行网络流量监测。

因此，本申请提出了一种流量采样装置，如图1所示为本申请实施例提出的一种流量采样装置的结构示意图，包括：

主控平台101，用于向转发平台102下发配置信息，并接收来自转发平台102上传的数据流；

所述转发平台102，用于：

接收主控平台101下发的所述配置信息，并根据所述配置信息对所述转发平台102进行配置更新；

当所述转发平台102配置更新完成后对网络流量进行采样得到数据流，并将所述数据流上传至所述主控平台101中。

在本申请实施例中，所述转发平台102包括控制模块、采样模块、统计模块和存储模块，其中：

所述采样模块用于对所述网络流量进行采样得到所述数据流；

所述存储模块用于对所述数据流进行存储；

所述统计模块用于对所述数据流进行统计，并将所述统计信息发送至存储模块进行存储；

所述控制模块根据所述配置信息对所述采样模块和或所述存储模块和或统计模块进行配置更新。

在本申请实施例中，所述配置信息的信息类型包括流统计阈值更新信息、采样模块更新信息、老化时间更新信息、请求流表信息和请求流统计信息

在本申请实施例中，所述转发平台102还包括上传模块和老化模块，所述控制模块具体用于：

确定所述配置信息的信息类型；

若所述配置信息的信息类型为流统计阈值更新信息，则将所述统计模块中最大表项数字段进行更新；

若所述配置信息的信息类型为采样模块更新信息，则在所述采样模块中的采样器列表中加入新的采样器配置，并更新所述采样模块的配置信息；

若所述配置信息的信息类型为老化时间更新信息，则将所述老化模块中的老化时间信息进行更新；

若所述配置信息的信息类型为请求流表信息，则从所述存储模块中的流请求链表中取出预设条数的数据流，并将所述预设条数的数据流封装为固定的上传报文包，同时通过上传模块将所述上传报文包上传至所述主控平台101中；

若所述配置信息的信息类型为请求流统计信息，则将所述统计模块中的流实体统计信息和协议统计信息封装为统计信息上传报文包，同时通过所述上传模块将所述统计信息上传报文包上传至所述主控平台101中。

在本申请实施例中，所述采样模块，还具体用于：

根据所述采样模块中采样器模式向硬件下发对应的硬件配置；

若所述采样器模式为固定采样模式，则向所述硬件下发固定采样配置；

若所述采样器模式为随机采样模式，则向所述硬件下发随机采样配置。

在本申请实施例中，所述采样模块采样得到的数据流信息具体包括：设备端口信息、接口信息、ipv4报文头部信息、ipv6报文头部信息、tcp报文头部信息、udp报文头部信息、icmp报文头部信息、数据包的字节数。

在本申请实施例中，所述存储模块存储的数据流信息具体为流的配置、采样器信息、流实体的哈希桶地址空间以及流缓存项动态分配空间。

在本申请实施例中，所述统计信息包括总信息、协议统计信息、流统计信息和采样器统计信息。

在本申请实施例中，所述总信息具体为高速缓存配置信息、数据流中数据包的总数、数据流中所有数据包的总字节数、处于活跃状态的流数、最大表项数、活跃数据流老化时间、非活跃数据流老化时间。

具体的，活跃数据流具体为该流在某一段时间一直被采样，非活跃数据流指该流在之前被采样到，在被采样之后预设时间内一直没被采样到。

在本申请实施例中，所述协议统计信息具体包括协议对应的流个数、与协议相关的包的总个数、协议相关的流的总字节数。

具体的，协议统计信息中包含多个协议，流个数是每个协议按照特征(入接口索引、出接口索引、源地址、目的地址、原端口号和目的端口号)分类的个数，与协议相关的包的总个数具体为与某一协议相关的所有数据流中总共的数据包个数，协议相关的流的总字节数具体为与某一协议对应的所有数据流中总共的字节数。

在本申请实施例中，所述流统计信息具体包括入接口索引、出接口索引、源地址、目的地址、源端口号、目的端口号、协议类型、包的个数、数据流的总字节数、协议号。

具体的，入接口索引和出接口索引为设备端口，源地址和目的地址为IP地址，原端口号和目的端口号为TCP/UDP端口号，这些就是所谓的五元组信息(源IP/目的IP/源端口号/目的端口号/协议类型)，流统计信息也是按照每一个协议来分类统计，且上述所有统计、存储的信息均是有采样模块采样得到的数据流信息中得到的。

在本申请实施例中，所述采样器统计信息具体包括采样器id和每一个采样器获取的数据包个数。

在本申请实施例中，所述采样器列表中存放有多个采样器，且存放有每一个采样器的id、采样模式、采样间隔以及采样到的数据包个数。

需要说明的是，上传模块还具有主动上送的方式将采样到的流量进行上传，主动上送的方式采用特定的老化机制来实现，当一段时间内总是采样到相同的流或者一段时间内一直没采样到之前采样过的流时，将流进行主动上送。

在具体的应用场景中，主控平台101主要负责配置信息的下发和接收转发平台102上传的数据流，上传的数据流是以封装好的报文格式进行上传的，转发平台102中的控制模块实现接收和分发主控平台101下发的配置的功能，采样模块实现对数据流进行采样的功能，存储模块负责存储采样到的数据流，统计模块负责对采样到的数据流进行统计，老化模块实现老化流的功能，上传模块实现采样到的数据流进行上传的功能，通过上述各平台和模块之间的结合使用，达到对网络流量进行采样的目的，转发平台的结构示意图如图2所示。

上述中，转发平台中各模块之间使用特定的消息通道netlink(套接字，实现用户进程与内核进程通信的一种特殊的进程间通信)完成，控制模块通过特定的消息传输通道接收主控平台101下发的配置信息，该配置信息的信息类型包括流统计阈值更新信息、采样模块更新信息、老化时间更新信息、请求流表信息和请求流统计信息。

控制模块是一个独立的线程，等待接收主控平台101下发的配置信息，并根据该配置信息执行不同的操作，具体的是判断所述配置信息的信息类型；

若所述配置信息的信息类型为流统计阈值更新信息，则将所述统计模块中最大表项数字段进行更新；

若所述配置信息的信息类型为采样模块更新信息，则在所述采样模块中的采样器列表中加入新的采样器配置，并更新所述采样模块的配置信息；

若所述配置信息的信息类型为老化时间更新信息，则将所述统计模块中的老化时间信息进行更新；

若所述配置信息的信息类型为请求流表信息，则从所述存储模块中的流请求链表中取出预设条数的数据流，并将所述预设条数的数据流封装为固定的上传报文包，同时通过上传模块将所述上传报文包上传至所述主控平台101中；

若所述配置信息的信息类型为请求流统计信息，则将所述统计模块中的流实体统计信息和协议统计信息封装为统计信息上传报文包，同时通过所述上传模块将所述统计信息上传报文包上传至所述主控平台101中。

其中，采样模块以设备端口为基本采样单元，通过本发明装置的内部硬件功能实现对流量采取不同模式和速率的采样，其包含了固定采样模式和随机采样模式两种。

固定采样模式是根据设备端口上通过的报文个数进行采样，随机采样模式是采用随机算法在整个样本空间内对报文进行采样，样本空间是所有指定特征的数据流，报文指设备接收到的数据包，具体的，采样模块会根据采样器模式来向硬件下发对应的硬件配置，固定采样模式下，向硬件配置固定采样模式，采样率为1/N，则接口的初始计数器置为N(设备端口)，接口每处理一个报文，计数器减1，当计数器减到0时，采样当前报文，例如采样比也即采样率为1/1000时，则接口上每通过1000个报文，采样一个报文，装置接收到的数据包，采样到的所有报文组成了数据流。

随机模式下，采样率为1/n，则预设一个阈值，该阈值为(N+1)/n，N的取值与硬件有关，具体是指硬件的处理数据位宽能力，接口每处理一个报文都会给报文一个随机数，随机数的范围为0～N，当报文的随机数小于阈值时，报文采样，如N为0xffffffff，设置的采样比为1/1000，则阈值设置为(0xffffffff+1)/1000。

存储模块具体为使用内存分配的一块固定大小的内存块，统一存放数据流的配置和统计信息、采样器信息、流实体的哈希桶地址空间以及流缓存项动态分配空间，流的配置和统计信息具体包括流项目的分配和释放、流缓存的总和信息和流缓存具体协议信息的存储。

另外，当主控平台101需要读取采样器信息时，封装采样id和采样器采样到的数据流，通过上传模块进行上传。

流实体的哈希桶地址空间对存放流项目的哈希桶地址空间进行管理，也就是说使用哈希桶地址空间进行管理主要是用散列表快速找到某个具体特征的数据流的存储地址，使用双向链表进行组织管理，统计模块统计的信息包括cache配置以及总的统计信息、具体的协议统计信息、具体流的统计信息和采样器统计，cache配置及总的统计信息包括所有流收到的包的总数、所有流收到的包的总字节数、处于活跃状态的流数、最大表项数、活跃数据流老化时间、非活跃数据流老化时间；具体协议统计信息包括协议对应的流个数、与协议相关的包的总个数、协议相关的流的总字节数；具体流的统计信息包括入接口索引、出接口索引、源地址、目的地址、源端口号、目的端口号、协议类型、包的个数、接收到该流的总字节数、协议号等信息；采样器统计信息包括采样器id和采样器采样到的数据包的个数。

在转发平台中还包括老化模块，老化模块是一个独立的线程，会对采样到的数据流进行不同的老化设置，具体分为活跃数据流老化时间和非活跃数据流老化时间，活跃数据流老化时间是针对活跃数据流的老化上传时间，活跃数据流是指该数据流在某一段时间一直被采样，非活跃数据流老化时间是针对非活跃数据流的老化上传时间，非活跃数据流是指之前被采样到，后面的某一段时间一直没被采样到。

其中，设置活跃数据流老化时间为30分钟，设置非活跃数据流的老化时间为30秒钟，若在30分钟内采样到了同一种流，则将这种流加入到老化上送队列中，等待上送1模块进行主动上送，若之前采样到的某一种流在30秒内都没有采样到，则将这种流加入到老化上送队列中，等待上送模块进行主动上送。

上传模块具体为在流量存储模块的基础上，采用主动请求和主动上送两种方式将采样到的流量上送给主控平台101，主动上送的方式采用特定的老化机制来实现，当一段时间内总是采样到相同的流或者一段时间内一直没采样到之前采样过的流时，将流进行主动上送；主动请求方式的实现是主控平台101主动提出读取流的需求时，将对应数据流上传至主控平台101。

当主控平台下发请求流表的配置时，由控制模块将指令发送给上传模块，上传模块读取流查询指针，从中读取N个流封装为特定的报文格式，使用上传模块进行报文上传。

主动上传模式为上传老化超时的流实体，通过判断老化查询队列是否为空来判断是否需要上传，若老化队列不空，则从老化队列中读取N个流表封装为上传报文的格式，进行流上传；若老化队列为空，则继续循环判断老化队列，循环判断的时间使用定时器进行配置。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种流量采样装置，其特征在于，包括：

主控平台，用于向转发平台下发配置信息，并接收来自转发平台上传的数据流；

所述转发平台，用于：

接收主控平台下发的所述配置信息，并根据所述配置信息对所述转发平台进行配置更新；

当所述转发平台配置更新完成后对网络流量进行采样得到数据流，并将所述数据流上传至所述主控平台中；

所述转发平台包括控制模块、采样模块、统计模块和存储模块，其中：

所述采样模块用于对所述网络流量进行采样得到所述数据流；

所述存储模块用于对所述数据流进行存储；

所述统计模块用于对所述数据流进行统计，并将统计信息发送至存储模块进行存储；

所述控制模块根据所述配置信息对所述采样模块和或所述存储模块和或统计模块进行配置更新；

所述配置信息的信息类型包括流统计阈值更新信息、采样模块更新信息、老化时间更新信息、请求流表信息和请求流统计信息；

所述转发平台还包括上传模块和老化模块，所述控制模块具体用于：

确定所述配置信息的信息类型；

若所述配置信息的信息类型为流统计阈值更新信息，则将所述统计模块中最大表项数字段进行更新；

若所述配置信息的信息类型为采样模块更新信息，则在所述采样模块中的采样器列表中加入新的采样器配置，并更新所述采样模块的配置信息；

若所述配置信息的信息类型为老化时间更新信息，则将所述老化模块中的老化时间信息进行更新，以使所述老化模块对所述数据流进行老化；

若所述配置信息的信息类型为请求流表信息，则从所述存储模块中的流请求链表中取出预设条数的数据流，并将所述预设条数的数据流封装为固定的上传报文包，同时通过上传模块将所述上传报文包上传至所述主控平台中；

若所述配置信息的信息类型为请求流统计信息，则将所述统计模块中的流实体统计信息和协议统计信息封装为统计信息上传报文包，同时通过所述上传模块将所述统计信息上传报文包上传至所述主控平台中。

2.如权利要求1所述的流量采样装置，其特征在于，所述采样模块，还具体用于：

根据所述采样模块中采样器模式向硬件下发对应的硬件配置；

若所述采样器模式为固定采样模式，则向所述硬件下发固定采样配置；

若所述采样器模式为随机采样模式，则向所述硬件下发随机采样配置。

3.如权利要求2所述的流量采样装置，其特征在于，所述采样模块采样得到的数据流信息具体包括：设备端口信息、接口信息、ipv4报文头部信息、ipv6报文头部信息、tcp报文头部信息、udp报文头部信息、icmp报文头部信息、数据包的字节数。

4.如权利要求1所述的流量采样装置，其特征在于，所述存储模块存储的数据流信息具体为流的配置、采样器信息、流实体的哈希桶地址空间以及流缓存项动态分配空间。

5.如权利要求1所述的流量采样装置，其特征在于，所述统计信息包括总信息、协议统计信息、流统计信息和采样器统计信息。

6.如权利要求5所述的流量采样装置，其特征在于，所述总信息具体为高速缓存配置信息、数据流中数据包的总数、数据流中所有数据包的总字节数、处于活跃状态的流数、最大表项数、活跃数据流老化时间、非活跃数据流老化时间。

7.如权利要求5所述的流量采样装置，其特征在于，所述协议统计信息具体包括协议对应的流个数、与协议相关的包的总个数、协议相关的流的总字节数。

8.如权利要求5所述的流量采样装置，其特征在于，所述流统计信息具体包括入接口索引、出接口索引、源地址、目的地址、源端口号、目的端口号、协议类型、包的个数、数据流的总字节数、协议号。

9.如权利要求5所述的流量采样装置，其特征在于，所述采样器统计信息具体包括采样器id和每一个采样器采样到的数据包个数。

10.如权利要求1所述的流量采样装置，其特征在于，所述采样器列表中存放有多个采样器，且存放有每一个采样器的id、采样模式、采样间隔以及采样到的数据包个数。

Images