CN101267349B - 网络流量分析方法和设备 - Google Patents

Abstract

本发明公开了一种网络流量分析方法和设备。该方法应用于包括网络流量设备NTE、网络流量分析设备NTP以及网络流量采集设备NTC的网络，包括以下步骤：NTP对NTC处理的数据进行流量分析，根据分析结果以及当前NTC使用的第一采样粒度，获取第二采样粒度；所述NTP通知NTE以及NTC根据所述第二采样粒度进行采样。本发明中通过网络流量采集设备NTC和网络流量分析设备NTP进行流量分析时的联动采样粒度调整，同时满足此两部分设备的性能指标，使网络流量分析系统更加及时的反映网络状况。在网络流量分析系统的性能指标范围内，最大限度的保存了网络流量数据，避免了流量细节信息的损失。

Description

网络流量分析方法和设备

技术领域

本发明涉及网络技术领域，尤其涉及一种网络流量分析方法和设备。

背景技术

随着网络的应用越来越广泛，网络规模也日渐增长，网络中承载的业务也越来越丰富。企业需要及时的了解到网络中承载的业务，掌握网络流量特征、网络用户特征，以便使网络带宽配置最优化，并及时解决网络性能问题。通过对网络流量的分析，可以帮助企业了解内部网络的运行状况，及时发现并解决网络中的性能瓶颈问题、网络异常现象，也能方便企业进行网络优化、网络设备投资、网络带宽优化等的参考，并方便网络管理员及时解决网络异常问题。

网络流量分析可以对两种类型的日志进行处理分析：

1、支持网络流量统计的网络设备，将流量日志如NetStream、NetFlow、sFlow等以UDP(User Datagram Protocol，用户数据报协议)包的形式发往NTC(NetTraffic Collector，网络流量采集器)，NTC将日志处理入库。

2、探针式采集器可以直接从设备的镜像端口或通过TAP(Test AccessPoint，测试接入点)分流器采集网络流量信息，并通过流分类和统计，生成流量日志，并处理入库。

网络流量分析功能对上述两类日志进行流量分析实现网络监控、趋势分析、应用监控、用户监控、网络规划等功能。

图1是现有技术中一个网络流量分析的典型示意图，网络流量分析系统包括三个部分，NTE(NetTraffic Exporter，网络设备)、NTC、NTP(NetTrafficProcessor，流量数据分析器)。处理流程如下所述：对于支持网络流量分析的NTE，NTE直接将流量日志(如NetStream、NetFlow、sFlow等)发送给NTC，NTC接收日志。对于NTE支持端口镜像，NTC能直接从镜像端口收集网络流量信息。NTP对NTC接收的日志从不同角度进行深度分析和加工处理。

当网络中存在海量流量数据，超过了网络流量分析设备的处理能力时，将导致网络流量分析系统的延迟，不能及时的反映网络状况，这就必然要求对设备或探针式采集器对数据进行抽样，以减少数据量，增强网络流量分析的实时性。目前，在大数据量下，对于设备/探针式采集器的抽样方法主要有如下几种：固定包数采样，即按照抽样比采样；固定时间周期采样，即以设定的时间周期为基准进行采样；探针式采集器自适应采样，即探针式采集器可根据其接收日志性能，自动调整采样比。

当前的设备和探针式采集器抽样实现方案存在如下缺陷：

固定包数采样和固定时间周期采样本质上是随机采样方法，不利于网络日志审计，流量趋势不能反映实际情况，特别是短暂性流量高峰情况。另外，上述的几种抽样方法只考虑了设备和采集器的性能，而并未考虑NTP的性能要求，因此可能导致网络流量设备和网络流量采集设备达到了性能要求，但网络流量分析设备未达到性能要求，从而导致了网络流量分析系统的延迟，不能及时的反映网络状况。

发明内容

本发明提供一种网络流量分析方法和设备，用于将网络设备发送的数据和网络流量采集设备采集的网络流量数据同时控制在网络流量分析设备的性能指标内，避免整个网络流量分析系统因网络流量过大而导致的延迟。

为达到上述目的，本发明提供一种网络流量分析方法，应用于包括网络流量设备NTE、网络流量分析设备NTP以及网络流量采集设备NTC的网络，包括以下步骤：

NTP对NTC处理的数据进行流量分析，根据分析结果以及当前NTC使用的第一采样粒度，获取第二采样粒度；

所述NTP通知NTE以及NTC根据所述第二采样粒度进行采样。

其中，所述NTP对NTC处理的数据进行流量分析，根据分析结果以及当前NTC使用的第一采样粒度，获取第二采样粒度的步骤具体包括：

所述NTP将NTC在特定时间内处理入库后的数据进行深度分析处理，获取分析处理所耗时间占所述NTP流量分析执行周期的百分比；

所述NTP根据所述百分比以及第一采样粒度，获取第二采样粒度。

其中，所述NTP通知NTE以及NTC根据所述第二采样粒度进行采样后，还包括：

所述NTP接收所述NTC返回的调整后的采样粒度；

所述NTP将所述调整后的采样粒度保存为第一采样粒度。

其中，所述NTC返回调整后的采样粒度的步骤具体包括：

所述NTC比较所述第二采样粒度与当前使用的第一采样粒度；

所述第二采样粒度大于等于所述第一采样粒度时，所述NTC使用所述第二采样粒度作为调整后的采样粒度；否则保持所述第一采样粒度作为调整后的采样粒度。

其中，所述NTP通知NTD以及NTC根据所述第二采样粒度进行采样后，还包括：

所述NTD使用所述第二采样粒度作为调整后的采样粒度。

本发明还提供一种网络流量分析设备NTP，应用于包括网络流量设备NTD以及网络流量采集设备NTC的网络，包括：

流量分析单元，用于对NTC处理的数据进行流量分析；

采样粒度获取单元，用于根据所述流量分析单元的分析结果以及当前NTC使用的第一采样粒度，获取第二采样粒度；

通知单元，用于通知NTD以及NTC根据所述采样粒度获取单元获取的第二采样粒度进行采样。

其中，所述采样粒度获取单元进一步包括：

处理子单元，用于当所述流量分析单元将NTC在特定时间内处理入库后的数据进行深度分析处理后，获取分析处理所耗时间占所述NTP流量分析执行周期的百分比；

获取子单元，用于根据所述处理子单元获取的百分比以及第一采样粒度，获取第二采样粒度。

其中，还包括：

采样粒度接收单元，用于接收所述NTC返回的调整后的采样粒度；

采样粒度存储单元，用于将所述采样粒度接收单元接收的所述NTC返回的调整后的采样粒度保存为第一采样粒度。

本发明还提供一种网络流量采集设备NTC，应用于包括网络流量设备NTD以及网络流量分析设备NTP的网络，包括：

接收单元，用于接收网络流量分析设备NTP发送的第二采样粒度；

比较单元，用于比较所述第二采样粒度与当前使用的第一采样粒度；

调整单元，用于当所述比较单元的比较结果为第二采样粒度大于等于所述第一采样粒度时，使用所述第二采样粒度作为调整后的采样粒度；否则保持所述第一采样粒度作为调整后的采样粒度；

通知单元，用于将所述调整单元得到的调整后的采样粒度通知所述网络流量分析设备NTP。

与现有技术相比，本发明具有以下优点：

通过网络流量采集设备NTC和网络流量分析设备NTP进行流量分析时的联动采样粒度调整，同时满足此两部分设备的性能指标，使网络流量分析系统更加及时的反映网络状况。在网络流量分析系统的性能指标范围内，最大限度的保存了网络流量数据，避免了流量细节信息的损失。

附图说明

图1是现有技术中网络流量分析的典型示意图；

图2是本发明中一种网络流量分析方法的流程图；

图3是本发明提供的网络流量分析方法中NTP的处理流程示意图；

图4是本发明提供的网络流量分析方法中NTC的处理流程示意图；

图5是本发明提供的网络流量分析方法中NTD的处理流程示意图；

图6是本发明提供的网络流量分析系统示意图。

具体实施方式

以下结合附图和实施例，对本发明的实施方式作进一步描述。

本发明提供了一种网络流量分析方法，应用于包括网络流量设备NTD、网络流量分析设备NTP以及网络流量采集设备NTC的网络中，该方法如图2所示，包括以下步骤：

步骤s201、NTP对NTC处理的数据进行流量分析，根据分析结果以及当前NTC使用的第一采样粒度，获取第二采样粒度。

步骤s202、NTP通知NTD以及NTC根据该第二采样粒度进行采样。

之后，还包括步骤：

步骤s203、NTP接收NTC返回的调整后的采样粒度。

步骤s204、NTP将该调整后的采样粒度保存为第一采样粒度。

以下结合一个具体的应用场景，描述本发明的具体实施方式。

网络流量采集系统中包括NTP、NTC以及NTD。初始化阶段，NTP将NTC以及NTD的采样粒度初始化为1。采样开始后，NTP流量分析可以以定时任务的方式以特定流量分析执行周期(如以10分钟为周期)执行，在每个流量分析执行周期内执行一次。每次定时任务中，NTP将NTC在该特定时间内处理存储后的数据进行深度分析加工处理。深度分析加工处理具体包括：从流量、应用、会话等角度对流量日志进行分析处理。可以统计某一时段网络所有流量、流量TopN，所有应用、应用TopN，所有来源主机、来源主机TopN，所有目的主机、目的主机TopN，自定义主机组、主机组TopN等。深度分析完成后，NTP根据分析所耗时间占流量分析执行周期的百分比A调整采样粒度，并以报文的方式下发给NTC，或者以命令的方式更改NTD的采样比。

本发明的上述网络流量分析方法中，NTP执行的处理流程如图3所示，包括以下步骤：

步骤s301、NTP初始化采样粒度并通知NTC与NTD。

步骤s302、NTP接收NTC处理入库的数据。

步骤s303、NTP判断是否到达进行流量分析的特定时间，是则进行步骤s304，否则进行步骤s302。

步骤s304、NTP对NTC在该特定时间内处理入库后的数据进行深度分析加工处理。

具体的，NTP将NTC在上述特定时间内处理入库后的数据进行深度分析加工处理。深度分析完成后，NTP获取所耗时间占流量分析执行周期的百分比A。以流量分析执行周期为10分钟为例。假设一个流量分析周期内的深度分析时，处理完所有报文的时间为5分钟，则A＝(5/10)×100％＝50％。

步骤s305、NTP根据分析结果获取调整后的采样粒度。

具体的，NTP根据所耗时间占流量分析执行周期的百分比A，获取新的采样粒度。例如，调整采样比的方式可以为：调整后的采样粒度＝当前采样粒度*A，以当前采样粒度为10、A＝50％为例，则调整后的采样粒度＝10×50％＝5，即采样粒度由10调整为5，采样比由1/10提高到1/5。另外当调整后的采样粒度的计算结果不为整数时，将结果向上取整。如果调整后的采样粒度计算结果为10.3，则取调整后采样粒度的值为11，即采样比为1/11。

步骤s306、NTP将调整后的采样粒度通知NTC与NTD。

具体的，NTP可以以报文的方式将调整后的采样粒度下发给NTC，并以命令的方式更改设备的采样粒度为调整后的采样粒度。

步骤s307、NTP接收NTC返回的调整后采样粒度并保存，返回步骤s302。

具体的，NTP接收NTC返回的调整后采样粒度并保存，用于在下一次流量中使用该NTC返回的调整后采样粒度作为当前采样粒度，计算新的调整后的采样粒度。

本发明的上述网络流量分析方法中，NTC执行的处理流程如图4所示，包括以下步骤：

步骤s401、NTC启动，根据NTP下发的初始化采样粒度进行数据采集。

步骤s402、NTC将采集到的数据处理入库。

步骤s403、NTC接收NTP下发的调整后的采样粒度。

步骤s404、NTC进行采样粒度的调整，得到调整后采样粒度。

具体的，NTC收到NTP下发的采样粒度B后，与现有的采样粒度C相比较并进行调整，存在如下2种情况：(1)B≥C，则NTC的将当前使用的采样粒度由C调整为B，即采样比为1/B。(2)B＜C，则NTC保持采样粒度为C不变，即采样比为1/C。

步骤s405、NTC将调整后采样粒度通知NTP，返回步骤s402。

本发明的上述网络流量分析方法中，NTD执行的处理流程如图5所示，包括以下步骤：

步骤s501、NTD启动，接收NTP下发的初始化采样粒度。

步骤s502、NTD进行数据采集。

步骤s503、NTD接收NTP下发的调整后的采样粒度。

步骤s504、NTD将采样粒度调整为NTP下发的调整后的采样粒度，返回步骤s502。具体的，对于NTD，NTD接收到更改采样比的命令后，直接更改采样比。

本发明还提供一种网络流量分析系统，其结构如图6所示，包括：网络流量分析设备NTP 10、网络流量采集设备NTC 20以及网络流量设备NTD 30。其中：

网络流量分析设备NTP 10，用于对NTC 20处理的数据进行流量分析，根据分析结果以及当前NTC 20使用的第一采样粒度，获取第二采样粒度并通知NTD 30以及NTC 20根据该第二采样粒度进行采样。另外，接收NTC 20返回的调整后的采样粒度，将该调整后的采样粒度保存为第一采样粒度。

网络流量采集设备NTC 20，用于接收NTP 10下发的第二采样粒度时，进行采样粒度的调整，得到调整后采样粒度并将该调整后采样粒度通知NTP10。

网络流量设备NTE 30，用于使用NTP 10下发的第二采样粒度作为调整后的采样粒度。

具体的，上述网络流量分析设备NTP 10进一步包括：

流量分析单元11，用于对NTC 20处理的数据进行流量分析；

采样粒度获取单元12，用于根据流量分析单元11的分析结果以及当前NTC 20使用的第一采样粒度，获取第二采样粒度。该采样粒度获取单元12进一步包括：处理子单元121，用于当流量分析单元11将NTC在特定时间内处理入库后的数据进行深度分析处理后，获取分析处理所耗时间占NTP的流量分析执行周期的百分比；获取子单元122，用于根据处理子单元121获取的百分比以及第一采样粒度，获取第二采样粒度。

通知单元13，用于通知NTE 30以及NTC 20根据采样粒度获取单元12获取的第二采样粒度进行采样。

还包括：

采样粒度接收单元14，用于接收NTC 20返回的调整后的采样粒度；

采样粒度存储单元15，用于将采样粒度接收单元14接收NTC 20返回的调整后的采样粒度保存为第一采样粒度。

具体的，上述网络流量采集设备NTC 20进一步包括：

接收单元21，用于接收网络流量分析设备NTP发送的第二采样粒度；

比较单元22，用于比较所述第二采样粒度与当前使用的第一采样粒度；

调整单元23，用于当比较单元22的比较结果为第二采样粒度大于等于所述第一采样粒度时，使用所述第二采样粒度作为调整后的采样粒度；否则保持所述第一采样粒度作为调整后的采样粒度；

通知单元24，用于将调整单元23得到的调整后的采样粒度通知网络流量分析设备NTP 10。

通过使用本发明提供的方法和设备，通过网络流量采集设备NTC和网络流量分析设备NTP进行流量分析时的联动采样粒度调整，同时满足此两部分设备的性能指标，使网络流量分析系统更加及时的反映网络状况。在网络流量分析系统的性能指标范围内，最大限度的保存了网络流量数据，避免了流量细节信息的损失。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台网络设备执行本发明各个实施例所述的方法。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (9)

1.一种网络流量分析方法，应用于包括网络流量设备NTE、网络流量分析设备NTP以及网络流量采集设备NTC的网络，其特征在于，包括以下步骤：

NTP对NTC处理的数据进行流量分析，根据分析结果以及当前NTC使用的第一采样粒度，获取第二采样粒度；

所述NTP通知NTE以及NTC根据所述第二采样粒度进行采样。

2.如权利要求1所述网络流量分析方法，其特征在于，所述NTP对NTC处理的数据进行流量分析，根据分析结果以及当前NTC使用的第一采样粒度，获取第二采样粒度的步骤具体包括：

所述NTP将NTC在特定时间内处理入库后的数据进行深度分析处理，获取分析处理所耗时间占所述NTP流量分析执行周期的百分比；

所述NTP根据所述百分比以及第一采样粒度，获取第二采样粒度。

3.如权利要求1所述网络流量分析方法，其特征在于，所述NTP通知NTE以及NTC根据所述第二采样粒度进行采样后，还包括：

所述NTP接收所述NTC返回的调整后的采样粒度；

所述NTP将所述调整后的采样粒度保存为第一采样粒度。

4.如权利要求3所述网络流量分析方法，其特征在于，所述NTC返回调整后的采样粒度的步骤具体包括：

所述NTC比较所述第二采样粒度与当前使用的第一采样粒度；

所述第二采样粒度大于等于所述第一采样粒度时，所述NTC使用所述第二采样粒度作为调整后的采样粒度；否则保持所述第一采样粒度作为调整后的采样粒度。

5.如权利要求1所述网络流量分析方法，其特征在于，所述NTP通知NTE以及NTC根据所述第二采样粒度进行采样后，还包括：

所述NTE使用所述第二采样粒度作为调整后的采样粒度。

6.一种网络流量分析设备NTP，应用于包括网络流量设备NTE以及网络流量采集设备NTC的网络，其特征在于，包括：

流量分析单元，用于对NTC处理的数据进行流量分析；

采样粒度获取单元，用于根据所述流量分析单元的分析结果以及当前NTC使用的第一采样粒度，获取第二采样粒度；

通知单元，用于通知NTE以及NTC根据所述采样粒度获取单元获取的第二采样粒度进行采样。

7.如权利要求6所述网络流量分析设备NTP，其特征在于，所述采样粒度获取单元进一步包括：

处理子单元，用于当所述流量分析单元将NTC在特定时间内处理入库后的数据进行深度分析处理后，获取分析处理所耗时间占所述NTP流量分析执行周期的百分比；

获取子单元，用于根据所述处理子单元获取的百分比以及第一采样粒度，获取第二采样粒度。

8.如权利要求6所述网络流量分析设备NTP，其特征在于，还包括：

采样粒度接收单元，用于接收所述NTC返回的调整后的采样粒度；

采样粒度存储单元，用于将所述采样粒度接收单元接收的所述NTC返回的调整后的采样粒度保存为第一采样粒度。

9.一种网络流量采集设备NTC，应用于包括网络流量设备NTE以及网络流量分析设备NTP的网络，其特征在于，包括：

接收单元，用于接收网络流量分析设备NTP发送的第二采样粒度；

比较单元，用于比较所述第二采样粒度与当前使用的第一采样粒度；

调整单元，用于当所述比较单元的比较结果为第二采样粒度大于等于所述第一采样粒度时，使用所述第二采样粒度作为调整后的采样粒度；否则保持所述第一采样粒度作为调整后的采样粒度；

通知单元，用于将所述调整单元得到的调整后的采样粒度通知所述网络流量分析设备NTP。

Images