CN102916856A - 一种面向应用的网络流量监控方法、装置及系统 - Google Patents

Abstract

本发明提供了一种面向应用的网络流量监控方法、装置及系统，该方法包括：采集网络设备发送的流量信息；解析所述的流量信息得到与所述的流量信息对应的信息概要；根据所述的信息概要生成临时文件信息；采集预先设置的数据存储策略以及应用信息；根据所述的数据存储策略以及应用信息将所述的临时文件信息进行分类汇总；根据查询参数信息生成应用流量报表。利用路由器数据流监测技术，对流经网络设备的IP数据流进行网络3、4层的信息分析和统计，可以实现面向应用的网络流量分析监控，且该装置存储开销较小，可以同时采集一台或多台网络设备。

Description

一种面向应用的网络流量监控方法、装置及系统

技术领域

本发明关于计算机网络数据处理技术，特别是关于计算机网络流量分析技术，具体的讲是一种面向应用的网络流量监控方法、装置及系统。

背景技术

随着互联网技术的发展，通过网络可提供的服务越来越多。为了保证网络服务的可靠性和稳定性，需要对网络性能进行及时有效的监测。

通常在进行网络流量分析时，一般会借助简单网络管理协议(SimpleNetwork Management Protocol，SNMP)对被监视的各个网络端口进出的数据包数和字节数进行采集。但是通过该协议采集到的流量信息较为粗糙，通常不仅无法区分网络层数据流量中各种不同类型客户业务在总流量中的分布状况，也无法对进出的流量进行流向分析。

为了更精确的对流量进行分析，现有技术中通常采用网络流量数据包抓取设备（诸如嗅探器sniffer，一种基于被动侦听原理的网络分析设备），对网络设备的某一端口下的流量进行抓包分析，通过获取并统计数据包中的地址分布、数据包大小等信息，进而可以面向应用对网络流量进行分析。

上述技术虽然可以对网络流量进行监测分析，但存在如下不足：首先，此类网络流量数据包抓取设备一般均需要抓取并存储原始数据包，由此造成存储量过大的问题；其次，此类设备多为专用硬件设备，且必须串接到网络设备的某一端口下，即如需要对设备整体流量进行采集，则需要在设备的每个端口下串接此类设备，因此该种方式的设备投入量较大，无法广泛应用。

发明内容

本发明实施例提供了一种面向应用的网络流量监控方法、装置及系统，利用路由器数据流监测技术，对流经网络设备的IP数据流进行网络3、4层的信息分析和统计，可以实现面向应用的网络流量分析监控，且该装置存储开销较小，可以同时采集一台或多台网络设备。

本发明的目的之一是，提供一种面向应用的网络流量监控方法，所述的方法包括：采集网络设备发送的流量信息；解析所述的流量信息得到与所述的流量信息对应的信息概要；根据所述的信息概要生成临时文件信息；采集预先设置的数据存储策略以及应用信息；根据所述的数据存储策略以及应用信息将所述的临时文件信息进行分类汇总；根据查询参数信息生成应用流量报表。

本发明的目的之一是，提供一种面向应用的网络流量监控装置，所述的装置包括：流量信息采集装置，用于采集网络设备发送的流量信息；解析装置，用于解析所述的流量信息得到与所述的流量信息对应的信息概要；临时文件生成装置，用于根据所述的信息概要生成临时文件信息；存储策略采集装置，用于采集预先设置的数据存储策略以及应用信息；分类汇总装置，用于根据所述的数据存储策略以及应用信息将所述的临时文件信息进行分类汇总；流量报表生成装置，用于根据查询参数信息生成应用流量报表。

本发明的目的之一是，提供一种面向应用的网络流量监控系统，所述的系统包括网络设备以及面向应用的网络流量监控装置，其中，所述的网络设备，用于实时发送流量信息；所述的网络流量监测装置具体包括：流量信息采集装置，用于采集网络设备发送的流量信息；解析装置，用于解析所述的流量信息得到与所述的流量信息对应的信息概要；临时文件生成装置，用于根据所述的信息概要生成临时文件信息；存储策略采集装置，用于采集预先设置的数据存储策略以及应用信息；分类汇总装置，用于根据所述的数据存储策略以及应用信息将所述的临时文件信息进行分类汇总；流量报表生成装置，用于根据查询参数信息生成应用流量报表。

本发明的有益效果在于，通过借助路由器数据流监测技术，将流入路由器各个端口的流量信息概要进行记录并转发，通过采集器将此类信息概要进行收集，并进一步解析成数据图表形式，存储至数据库，通过读取数据库，并在展现过程中根据应用进行归类，可以生成各类基于应用的流量报表，最终达到面向应用对网络流量进行分析监控的目的。同时，此装置存储开销较小，可以同时采集一台或多台网络设备，设备投入较小。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种面向应用的网络流量监控方法的流程图；

图2为图1中的步骤S105的具体流程图；

图3为图1中的步骤S106的具体流程图；

图4为本发明实施例提供的一种面向应用的网络流量监控方法的具体实施例的流程图；

图5为本发明实施例提供的一种面向应用的网络流量监控系统的结构示意图；

图6为本发明实施例提供的一种面向应用的网络流量监控装置中分类汇总装置的结构示意图；

图7为本发明实施例提供的一种面向应用的网络流量监控装置中流量报表生成装置的结构示意图；

图8为本发明实施例提供的一种面向应用的网络流量监控装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明利用路由器等网络设备的数据流监测技术，借助路由器数据流监测技术，将流入路由器各个端口的流量信息概要进行记录并转发，通过对信息概要进行收集，并进一步解析成数据图表形式，存储至数据库，通过读取数据库，并在展现过程中根据应用进行归类，可以生成各类基于应用的流量报表，最终达到面向应用对网络流量进行分析的目的。

图1为本发明实施例提供的一种面向应用的网络流量监控方法的流程图，由图1可知，本发明提供的一种面向应用的网络流量监控方法具体包括：

S101：采集网络设备发送的流量信息。在具体的实施方式中，网络设备诸如可为路由器。路由器数据流监测技术是一种较为通用的路由器监测技术，通常的实现方式是当路由器接收到数据流时，会自动对此数据流的信息概要如：采集时间、字节数、IP地址、端口等进行保存，随后所有满足此概要（即IP地址、端口等信息吻合）的数据包都将增加原有信息概要中的时间、字节数等，直至这个数据流终止，并最终将信息概要通过UDP协议输出。此技术在路由器内独立实现，不依托于其他网络设备，并且无需对数据流本身或外部网络进行修改。目前大部分路由器均支持此技术。

S102：解析所述的流量信息得到与所述的流量信息对应的信息概要。在具体的实施方式中，解析流量信息的数据包，将数据包解析网表格形式数据并放入缓存中。流量信息解析后得到的信息概要一般包含如表1所示：

表1

S103：根据所述的信息概要生成临时文件信息。即读取缓存中的数据，生成临时文本文件。临时文件所包含的信息如表2所示：

表2

S104：采集预先设置的数据存储策略以及应用信息。在具体的实施方式中，数据存储策略以及应用信息可由系统控制部件预先配置生成。数据存储策略的配置方式诸如表3所示，应用信息的配置方式诸如表4所示。

表3

表4

S105：根据所述的数据存储策略以及应用信息将所述的临时文件信息进行分类汇总。

S106：根据查询参数信息生成应用流量报表。

图2为图1中的步骤S105的具体流程图，由图2可知，步骤S105具体包括：

S201：根据所述的数据存储策略得到数据压缩时间、数据清理时间。

S202：根据所述的应用信息得到对应的IP地址范围，IP地址范围即为表4中的应用IP地址。

S203：根据所述的数据压缩时间判断所述的临时文件信息对应的IP地址是否属于所述的应用信息对应的IP地址范围。即当时钟当前时间与数据压缩时间相同时，顺序遍历临时文件信息，将临时文件信息逐条与应用信息进行对照，判断临时文件信息的IP地址是否属于某一应用信息的IP地址范围。此处提及的临时文件信息的IP地址即为表2中的原地址。

S204：当判断为是时，将所述的临时文件信息转换为应用流量信息。即将临时文件信息的条目转换为永久流量信息的条目，应用标识(APP_ID)字段为流量信息中目的地址所属应用的应用标识（APP_ID）字段。

S205：当判断为否时，将所述的临时文件信息转换为永久流量信息。即将临时流量信息的条目转换为永久流量信息条目，应用标识(APP_ID)字段为流量信息中的目的地址（DST_IP_ADDR）字段。

S206：对所述的永久流量信息进行合并。即将采集时间(CTIME)、源地址(SRC_IP_ADDR)、应用标识(APP_ID)、流入端口名称（INPUT）、流出端口名称（OUTPUT）、字节数（OCTETS）均相同的永久流量信息条目进行合并，将字节数（OCTETS）字段替换为流量信息的条目字节数（OCTETS）之和。

在本发明的其他实施方式中，该方法还包括将所述的临时文件信息、应用流量信息、永久流量信息保存在数据库中。临时文件信息的临时存储单元定义表如表5所示，应用流量信息、永久流量信息的永久存储单元定义表如表6所示：

表5

表6

S207：根据所述的数据清理时间，将所述的临时文件信息进行删除。即判断当前时间是否与数据清理时间相同，若相同则执行下一步。对临时存储单元及永久存储单元中的数据进行清理，删除临时存储单元中的数据以及永久存储单元中的过期数据。

图3为图1中的步骤S106的具体流程图，由图3可知，所述的步骤S106具体包括：

S301：采集用户输入的查询参数信息，所述的查询参数信息包括查询起始时间、查询结束信息以及端口名称；

S302：根据所述的查询参数信息生成查询指令。

S303：根据所述的查询指令在所述的数据库中进行查询，并输出查询结果。即采集到查询参数后，动态生成数据库查询语句即查询指令，并连接临时存储单元及永久存储单元数据库，在数据库中执行查询。

S304：根据所述的查询结果生成应用流量报表，生成的应用流量报表如表7所示：

表7

采集时间	应用名称	字节数
			xxxx-xx-xx	XX应用	XXMB

图4为本发明实施例提供的一种面向应用的网络流量监控方法的具体实施例的流程图，由图4可知，该实施例具体包括：

S401：根据所述的数据存储策略得到数据压缩时间、数据清理时间；

S402：顺序读取应用信息；

S403：根据所述的应用信息得到对应的IP地址范围；

S404：判断系统时间是否已到达数据压缩时间，当判断为是时，执行步骤S405，否则返回执行步骤S404；

S405：顺序读取临时文件信息；

S406：判断所述的临时文件信息中的流量条目是否属于所述的应用信息中的某一应用，当判断为是时，执行步骤S407，否则执行步骤S408；

S407：将以IP为标示的标准流量信息转换为以应用名称为标志的应用流量信息；

S408：将以IP为标示的标准流量信息转换为永久流量信息条目；

S409：对流量信息进行分类汇总；

S410：写入永久存储单元；

S411：读取数据清理时间；

S412：系统时间是否与已到达数据清理时间，当判断为是时，执行步骤S413，否则结束；

S413：执行数据清理过程，删除过期数据。

本发明提供的面向应用的网络流量监控方法，利用路由器数据流监测技术，对流经网络设备的IP数据流进行网络3、4层的信息分析和统计，可以实现面向应用的网络流量分析监控，且该装置存储开销较小，可以同时采集一台或多台网络设备。

图5为本发明实施例提供的一种面向应用的网络流量监控系统的结构示意图，由图5可知，所述的网络流量监控系统包括：网络设备100以及网络流量监控装置200，

其中，所述的网络设备100，用于实时发送流量信息。在具体的实施方式中，网络设备诸如可为路由器。路由器数据流监测技术是一种较为通用的路由器监测技术，通常的实现方式是当路由器接收到数据流时，会自动对此数据流的信息概要如：采集时间、字节数、IP地址、端口等进行保存，随后所有满足此概要（即IP地址、端口等信息吻合）的数据包都将增加原有信息概要中的时间、字节数等，直至这个数据流终止，并最终将信息概要通过UDP协议输出。此技术在路由器内独立实现，不依托于其他网络设备，并且无需对数据流本身或外部网络进行修改。目前大部分路由器均支持此技术。

所述的网络流量监测装置300具体包括：

流量信息采集装置301，用于采集网络设备发送的流量信息；

解析装置302，用于解析所述的流量信息得到与所述的流量信息对应的信息概要。在具体的实施方式中，解析流量信息的数据包，将数据包解析网表格形式数据并放入缓存中。流量信息解析后得到的信息概要一般包含如表1所示。

临时文件生成装置303，用于根据所述的信息概要生成临时文件信息。即读取缓存中的数据，生成临时文本文件。临时文件所包含的信息如表2所示。

存储策略采集装置304，用于采集预先设置的数据存储策略以及应用信息。在具体的实施方式中，数据存储策略以及应用信息可由系统控制部件预先配置生成。数据存储策略的配置方式诸如表3所示，应用信息的配置方式诸如表4所示。

分类汇总装置305，用于根据所述的数据存储策略以及应用信息将所述的临时文件信息进行分类汇总。

流量报表生成装置306，用于根据查询参数信息生成应用流量报表。

图6为本发明实施例提供的一种面向应用的网络流量监控装置中分类汇总装置的结构示意图，由图6可知，分类汇总装置305具体包括：

时间获取单元3051，用于根据所述的数据存储策略得到数据压缩时间、数据清理时间；

IP地址获取单元3052，用于根据所述的应用信息得到对应的IP地址范围；

判断单元3053，用于根据所述的数据压缩时间判断所述的临时文件信息对应的IP地址是否属于所述的应用信息对应的IP地址范围。即当时钟当前时间与数据压缩时间相同时，顺序遍历临时文件信息，将临时文件信息逐条与应用信息进行对照，判断临时文件信息的IP地址是否属于某一应用信息的IP地址范围。此处提及的临时文件信息的IP地址即为表2中的原地址。

第一转换单元3054，用于当判断为是时，将所述的临时文件信息转换为应用流量信息。即将临时文件信息的条目转换为永久流量信息的条目，应用标识(APP_ID)字段为流量信息中目的地址所属应用的应用标识（APP_ID）字段。

第二转换单元3055，用于当判断为否时，将所述的临时文件信息转换为永久流量信息。即将临时流量信息的条目转换为永久流量信息条目，应用标识(APP_ID)字段为流量信息中的目的地址（DST_IP_ADDR）字段。

合并单元3056，用于对所述的永久流量信息进行合并。即将采集时间(CTIME)、源地址(SRC_IP_ADDR)、应用标识(APP_ID)、流入端口名称（INPUT）、流出端口名称（OUTPUT）、字节数（OCTETS）均相同的永久流量信息条目进行合并，将字节数（OCTETS）字段替换为流量信息的条目字节数（OCTETS）之和。

图8为本发明实施例提供的一种面向应用的网络流量监控装置的结构示意图，由图8可知，在本发明的其他实施方式中，该装置还包括：

临时存储单元，用于存储所述的流量信息、所述的临时文件信息；

永久存储单元，用于存储所述的应用流量信息、所述的永久流量信息。

控制部件，用于预先设置数据存储策略以及应用信息。

临时文件信息的临时存储单元定义表如表5所示，应用流量信息、永久流量信息的永久存储单元定义表如表6所示。

删除单元3057，用于根据所述的数据清理时间，将所述的临时文件信息进行删除。即判断当前时间是否与数据清理时间相同，若相同则执行下一步。对临时存储单元及永久存储单元中的数据进行清理，删除临时存储单元中的数据以及永久存储单元中的过期数据。

图7为本发明实施例提供的一种面向应用的网络流量监控装置中流量报表生成装置的结构示意图，由图7可知，流量报表生成装置306具体包括：

查询信息采集单元3061，用于采集用户输入的查询参数信息，所述的查询参数信息包括查询起始时间、查询结束信息以及端口名称；

查询指令生成单元3062，用于根据所述的查询参数信息生成查询指令；

查询单元3063，用于根据所述的查询指令在所述的数据库中进行查询，并输出查询结果。即采集到查询参数后，动态生成数据库查询语句即查询指令，并连接临时存储单元及永久存储单元数据库，在数据库中执行查询。

流量报表生成单元3064，用于根据所述的查询结果生成应用流量报表，生成的应用流量报表如表7所示。

综上所述，本发明的有益成果是：提供了一种面向应用的网络流量监控方法、装置及系统，通过借助路由器数据流监测技术，将流入路由器各个端口的流量信息概要进行记录并转发，通过采集器将此类信息概要进行收集，并进一步解析成数据图表形式，存储至数据库，通过读取数据库，并在展现过程中根据应用进行归类，可以生成各类基于应用的流量报表，最终达到面向应用对网络流量进行分析监控的目的。同时，此装置存储开销较小，可以同时采集一台或多台网络设备，设备投入较小。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一般计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种面向应用的网络流量监控方法，其特征是，所述的方法包括：

采集网络设备发送的流量信息；

解析所述的流量信息得到与所述的流量信息对应的信息概要；

根据所述的信息概要生成临时文件信息；

采集预先设置的数据存储策略以及应用信息；

根据所述的数据存储策略以及应用信息将所述的临时文件信息进行分类汇总；

根据查询参数信息生成应用流量报表。

2.根据权利要求1所述的方法，其特征是，所述的网络设备包括路由器。

3.根据权利要求2所述的方法，其特征是，根据所述的数据存储策略以及应用信息将所述的临时文件信息进行分类汇总具体包括：

根据所述的数据存储策略得到数据压缩时间、数据清理时间；

根据所述的应用信息得到对应的IP地址范围；

根据所述的数据压缩时间判断所述的临时文件信息对应的IP地址是否属于所述的应用信息对应的IP地址范围；

当判断为是时，将所述的临时文件信息转换为应用流量信息；

当判断为否时，将所述的临时文件信息转换为永久流量信息；

对所述的永久流量信息进行合并；

根据所述的数据清理时间，将所述的临时文件信息进行删除。

4.根据权利要求3所述的方法，其特征是，所述的方法还包括将所述的临时文件信息、应用流量信息、永久流量信息保存在数据库中。

5.根据权利要求4所述的方法，其特征是，根据查询参数信息生成应用流量报表具体包括：

采集用户输入的查询参数信息，所述的查询参数信息包括查询起始时间、查询结束信息以及端口名称；

根据所述的查询参数信息生成查询指令；

根据所述的查询指令在所述的数据库中进行查询，并输出查询结果；

根据所述的查询结果生成应用流量报表。

6.一种面向应用的网络流量监控装置，其特征是，所述的装置包括：

流量信息采集装置，用于采集网络设备发送的流量信息；

解析装置，用于解析所述的流量信息得到与所述的流量信息对应的信息概要；

临时文件生成装置，用于根据所述的信息概要生成临时文件信息；

存储策略采集装置，用于采集预先设置的数据存储策略以及应用信息；

分类汇总装置，用于根据所述的数据存储策略以及应用信息将所述的临时文件信息进行分类汇总；

流量报表生成装置，用于根据查询参数信息生成应用流量报表。

7.根据权利要求6所述的装置，其特征是，所述的分类汇总装置具体包括：

时间获取单元，用于根据所述的数据存储策略得到数据压缩时间、数据清理时间；

IP地址获取单元，用于根据所述的应用信息得到对应的IP地址范围；

判断单元，用于根据所述的数据压缩时间判断所述的临时文件信息对应的IP地址是否属于所述的应用信息对应的IP地址范围；

第一转换单元，用于当判断为是时，将所述的临时文件信息转换为应用流量信息；

第二转换单元，用于当判断为否时，将所述的临时文件信息转换为永久流量信息；

合并单元，用于对所述的永久流量信息进行合并；

删除单元，用于根据所述的数据清理时间，将所述的临时文件信息进行删除。

8.根据权利要求7所述的装置，其特征是，所述的装置还包括：

临时存储单元，用于存储所述的流量信息、所述的临时文件信息；

永久存储单元，用于存储所述的应用流量信息、所述的永久流量信息。

9.根据权利要求8所述的装置，其特征是，所述的流量报表生成装置具体包括：

查询信息采集单元，用于采集用户输入的查询参数信息，所述的查询参数信息包括查询起始时间、查询结束信息以及端口名称；

查询指令生成单元，用于根据所述的查询参数信息生成查询指令；

查询单元，用于根据所述的查询指令在所述的数据库中进行查询，并输出查询结果；

流量报表生成单元，用于根据所述的查询结果生成应用流量报表。

10.根据权利要求7所述的装置，其特征是，所述的装置还包括控制部件，用于预先设置数据存储策略以及应用信息。

11.一种面向应用的网络流量监控系统，其特征是，所述的系统包括网络设备以及如权利要求6-10任意一项所述的面向应用的网络流量监控装置，

其中，所述的网络设备，用于实时发送流量信息；

所述的网络流量监测装置具体包括：

流量信息采集装置，用于采集网络设备发送的流量信息；

解析装置，用于解析所述的流量信息得到与所述的流量信息对应的信息概要；

临时文件生成装置，用于根据所述的信息概要生成临时文件信息；

存储策略采集装置，用于采集预先设置的数据存储策略以及应用信息；

分类汇总装置，用于根据所述的数据存储策略以及应用信息将所述的临时文件信息进行分类汇总；

流量报表生成装置，用于根据查询参数信息生成应用流量报表。

12.根据权利要求11所述的系统，其特征是，所述的网络设备包括路由器。

Images