CN1941716A - 应用流量统计方法及装置和应用流量统计系统 - Google Patents

应用流量统计方法及装置和应用流量统计系统 Download PDF

Info

Publication number
CN1941716A
CN1941716A CNA200510107983XA CN200510107983A CN1941716A CN 1941716 A CN1941716 A CN 1941716A CN A200510107983X A CNA200510107983X A CN A200510107983XA CN 200510107983 A CN200510107983 A CN 200510107983A CN 1941716 A CN1941716 A CN 1941716A
Authority
CN
China
Prior art keywords
application
packet
statistics
stream table
characteristic sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200510107983XA
Other languages
English (en)
Other versions
CN100563168C (zh
Inventor
卢胜文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Technologies Co Ltd
Original Assignee
Hangzhou Huawei 3Com Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huawei 3Com Technology Co Ltd filed Critical Hangzhou Huawei 3Com Technology Co Ltd
Priority to CNB200510107983XA priority Critical patent/CN100563168C/zh
Publication of CN1941716A publication Critical patent/CN1941716A/zh
Application granted granted Critical
Publication of CN100563168C publication Critical patent/CN100563168C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供一种应用流量统计方法及装置和应用流量统计系统。应用流量统计方法通过预先为各种应用配置特征序列,进而根据特征序列识别接收的数据包所属应用并对数据包进行计数,从而实现所需应用的流量统计。应用流量统计装置包括配置模块,用以预先为各种应用配置特征序列;识别模块,根据特征序列识别接收的数据包所属应用;统计模块,用以将识别出的数据包进行计数统计。上述应用流量统计方法及装置和装置构成的应用流量系统以数据包应用层上的信息为统计依据,因此即使某些应用在传输层及其以下层次上没有固定的标识信息,也可通过本发明公开的技术方案进行流量统计。

Description

应用流量统计方法及装置和应用流量统计系统
技术领域
本发明涉及数据通讯方法,尤其涉及一种应用流量统计方法及装置和应用流量统计系统。
背景技术
伴随因特网的高速发展,网络上的数据越来越多,表现为大量数据包在网络上传输。可以将传输中的数据包归属于各种不同的应用,属于同一种应用的数据包具有相同的应用特性,比如HTTP应用的数据包采用的都是超文本传输协议,FTP应用的数据包采用的都是文件传输协议。网络资源是有限的,面对如此繁多的应用,如何优化配置是网络运营商或网络管理者必须要解决的问题。于是,他们迫切需要掌握当前网络上各种应用的使用情况,比如了解用户最喜欢哪些应用,某个时段哪些应用的使用率最高等等,进而根据这些统计结果调整网络资源配置,从而达到业务部署的最佳效果。而掌握各种应用使用情况的基础方法是进行应用流量统计。
由于每项应用在网络上都表现为一个或数个数据流的形式,而每个数据流是由一系列具有相同源地址和目的地址的数据包构成,,因此应用流量统计的实质是对属于各种应用的所有数据包进行计数统计。
目前应用流量统计方法的主要原理是:根据数据包的源IP、源端口、协议类型、输入输出接口、目的IP以及目的端口号的某项或某几项进行数据包计数统计。比如某一种需要进行流量统计的应用通常使用一个固定目的端口,于是就认为目的端口为上述端口的数据包属于所需应用,进而对使用上述目的端口的数据包进行计数统计,统计数值即为该项应用的流量统计结果。无论IP地址还是端口或者协议类型都属于传输层及其以下层次的信息。
但是,许多应运而生的新应用在传输层及其以下层次上没有固定的标识信息,即没有固定的IP地址、固定端口等等,难以完成对该些应用的流量统计。例如目前比较流行的BT(比特洪流)应用为一种新的下载应用。BT应用与传统的下载应用不同,其属于一种源码公开的点对点应用,不再使用某个固定服务器进行下载,而是每个用户的主机都可以成为服务器,实现用户和其他用户之间的直接文件传输。正是因为每个使用BT应用的个人主机都可视为服务器,从而使得BT应用由于没有固定IP,甚至没有固定端口,导致通过现有面向传输层及其以下层次的应用流量统计方法对BT等应用进行流量统计十分困难。
发明内容
本发明要解决的问题是提供一种应用流量统计方法及装置和流量统计系统,以解决现有无法对在传输层及其以下层次上没有固定标识信息的应用进行流量统计的技术问题。
为解决上述技术问题,本发明的目的是通过以下技术方案实现的:
一种应用流量统计方法,预先为各种应用配置特征序列;根据特征序列识别接收的数据包所属应用并对数据包进行计数,得到各种应用的流量统计结果。
配置各种应用的统计输出方式;以及将各种应用的流量统计结果输出至所需终端或数据库。
优选的,建立用于确定属于相应应用的数据包的统计流表。
优选的,提取接收的数据包的匹配参数,并以匹配参数为基础建立用于确定属于相应应用的数据包的统计流表。
优选的,提取接收的具有特征序列的数据包的匹配参数,并以匹配参数为基础建立用于确定属于相应应用的数据包的统计流表。
优选的,所述特征序列为每种应用的唯一标识信息,存在于所述应用的至少一个数据包的数据域中。
一种应用流量统计装置,包括:第一配置模块,用于预先为各种应用配置特征序列;识别模块,用于根据特征序列识别接收到的数据包所属应用;以及,统计模块,用于对识别出的数据包进行计数统计。
还包括:第二配置模块,用于配置各种应用的统计输出方式;以及,
输出模块,用于将统计结果输出至所需终端或数据库。
优选的,所述识别模块包括,以接收的数据包的匹配参数为基础建立的用于确定属于相应应用的数据包的统计流表。
一种应用流量统计系统,包括路由交换设备,其特征在于,还包括应用流量统计装置,所述应用流量统计装置包括:第一配置模块,用于预先为各种应用配置特征序列;识别模块,用于根据特征序列识别接收到的数据包所属应用;以及,统计模块,用于对识别出的数据包进行计数统计。
以上技术方案可以看出,在本发明中通过预先配置各种应用的特征序列,所述的特征序列为每种应用的唯一标识信息,这是因为每种应用都会有区别于其他种类应用的特征,这种特征信息不是IP地址、协议类型或者端口这些传输层及其以下层次的信息,而是属于应用层,通常存在于应用数据包的数据域中。因此,当某些应用在传输层及其以下层次上的信息不固定,又需要对它们进行流量统计时,即可根据本发明所述的应用层上的特征序列进行查找,识别出属于所需应用的数据包,然后对该些数据包进行计数,从而实现应用流量统计的目的。与现有技术相比,本发明所述的应用流量统计方法是通过应用层上的特征序列对接收的数据包进行识别,进而判断数据包所属应用并对数据包进行计数统计,因此,可以认为本发明的应用流量统计方法及装置和应用流量统计系统是面向应用层的,不会因为某些应用在传输层及其以下层次上没有固定信息而无法对该些应用进行流量统计,比现有的应用流量统计方法的适用范围更为广泛。
更进一步,本发明在识别接收数据包所属应用时,采用了根据接收数据包的匹配参数建立统计流表,然后对命中流表的数据包进行计数,当识别出一个命中该流表的数据包具有配置的特征序列时,即判断命中所述流表的数据包所属应用。因此,即使开始命中统计流表的几个数据包没有特征序列,不知道它们所属应用,也在对它们进行计数,一旦后续命中同一流表的数据包中有一个数据包具有配置的特征序列,即可判断命中统计流表的所有数据包的所属应用,因此这种流量统计方式使得被统计的应用不会丢失数据包。
附图说明
图1为本发明公开的一种应用流量统计方法第一实施例流程图;
图2为本发明公开的一种应用流量统计方法第二实施例流程图;
图3为本发明公开的一种应用流量统计装置结构示例图;
图4为本发明公开的一种应用流量统计体统结构示例图。
具体实施方式
本发明的核心思想是:通过预先配置每种应用的特征序列,所述特征序列是各种应用的唯一标识特征,属于应用层上的信息,,进而根据特征序列判断接收的数据包所属应用并对数据包进行计数统计,从而得到各类应用的流量统计结果。
请参阅图一,其为本发明公开的一种应用流量统计方法第一实施例流程图。
110:预先配置各种所需应用的区别特征以及统计输出方式。
所述应用的区别特征是指能够将一种应用区别于其他种类应用的内容信息,其内容主要包括特征序列、匹配参数提取方式、匹配参数编码方式以及建流特性等内容。其中,特征序列是必需项,其它均为可选项,可选项有缺省处理方式。
所述特征序列,指能够唯一标识某种应用的特征,包括协议特征域和应用特征序列。协议特征域指明本应用采用的协议类型,比如IP、TCP以及UDP等等,该项内容为可选,其默认缺省值通常是最常用的TCP协议类型;应用特征序列,用来指明协议数据区中能够表征某种应用的特征内容,通常存在于数据包的数据域中,为网络应用层上的信息。例如可以通过配置数据域的第一行最后几个字符是“HTTP/??”(??是通配符,表示两个任意字符)来表征HTTP应用。特征序列无需存在于所属应用的每一个数据包中,该种应用的每个数据流中至少有一个数据包包含所述特征序列即可。通常一种应用的每个数据流的初始几个数据包之中,至少会有一个数据包具有所属应用的特征序列。
所述匹配参数,是表征一个数据流的基本参数。数据流,指具有相同的源地址和目的地址的一串连续的数据包序列。通常一种应用由数个数据流构成。属于3层IP的同一数据流的所有数据包,具有相同的源IP和目的IP;属于4层IP的同一数据流的所有数据包,则具有相同的源IP、目的IP、源端口、目的端口和协议类型。对于非IP协议的情况也类似。因此表征一个数据流的基本参数,就是其包含的数据包所具有的参数项内容,将一个数据流的所有数据包具有的相同参数项称为匹配参数。如源IP、源端口、协议类型、目的IP、目的端口等等。但是不限于上述几项,具体匹配参数的内容与采用的协议类型有关。
所述匹配参数提取方式指如何在接收的数据包中提取上述匹配参数,其内容可以由用户根据需要进行设置,也可以根据缺省处理方式自行提取。该项内容的缺省处理方式是根据数据包本身采用的协议类型提取对应的匹配参数。例如,特征协议域为IP,则匹配参数就为源IP和目的IP;特征协议域为TCP,则匹配参数就为源IP、源端口、协议类型、目的IP以及目的端口。实际应用中,在匹配参数提取方式为缺省情况下,不仅可以将协议类型作为提取依据,也可以将数据包的其他固有参数作为提取依据。
所述匹配参数编码方式,用于指明匹配参数值如何正确运算,比如在某种应用的控制包数据域中的信息为PORT 1,1,1,2,4,88,则从数据域提取对应的业务数据包匹配参数时,即可通过预先配置的匹配参数编码方式运算得到:源IP1.1.1.2,源端口为4×256+88=1112,与目的IP 2.2.2.2。
所述建流特性,指明所述应用是按正向、反向或双向的方式建立统计流表。正向建流,指按照当前接收到的数据包的方向建立统计流表内容,只有和该数据包到达方向一致的后续数据包才能命中该统计流表;反向建流,指按照当前接收到的数据包的反方向建立统计流表内容,只有与该数据包到达方向相反的后续数据包才能命中该统计流表;双向建流,指按照当前收到的数据包两个方向同时建立统计流表内容,这样来自两个方向的后续数据包都能命中该统计流表。建流特性的缺省处理方式为双向建立统计流表内容。
例如,提取的数据包匹配参数为源IP1.1.1.1、源端口1111、目的IP2.2.2.2以及目的端口2222,如果正向建流,则只有源IP为1.1.1.1、源端口为1111、目的IP为2.2.2.2以及目的端口为2222的后续数据包能够命中所述统计流表;如果反相建流,则只有源IP为2.2.2.2、源端口为2222、目的IP为1.1.1.1以及目的端口为1111的后续数据包能够命中该统计流表;如果是双向建流,则源IP1.1.1.1、源端口为1111、目的IP为2.2.2.2以及目的端口2222的后续包和源IP2.2.2.2、源端口2222、目的IP1.1.1.1以及目的端口为1111的后续数据包都可以命中该统计流表。
所述统计输出方式,指明各种应用流量统计完毕后,其统计结果是何时以及以何种方式上报至所需设备或数据库。
何时,指在应用流量统计的过程中多长时间上报一次统计结果,通常包括以下几种情况:定时上报,按预先设置的一定时间间隔定上报统计结果;固定流量上报,收到固定的包数或字节数上报统计结果;流量老化上报,流量超时老化、连接终止老化以及计数器溢出老化时上报数据结果。
何种方式,指各个统计结果在输出之前是否进行聚合以及如何聚合运算等。所述聚合指将每个统计结果按照一定的规则合并处理。依据本发明的技术方案可以同时统计多种应用的流量,每种应用通常又表现为多个数据流。例如,假设有5个用户同时使用BT应用,那么BT应用就表现为5个BT数据流的形式。上述5个数据流的特征序列是相同的,但由于不同数据流的源和目的是不同的,因而上述5个数据流的匹配参数是不同的,于是在进行BT应用流量统计时,会依据5组不同的匹配参数建立5个BT数据流的统计流表。在输出统计结果时可以将这5个统计结果累加后一同输出,也可以分别输出。将属于同一应用的所有数据流统计结果累加输出即为一种聚合的情况,有利于整体把握该种应用的使用情况;分别输出,有利于把握不同用户对同一种应用的使用情况。用户可以根据实际所需设置聚合项目,比如源IP、应用ID等等,进而在输出各项统计结果之前按照聚合项进行合并处理。
120:提取接收的数据包匹配参数,并以匹配参数为基础建立统计流表。
需要同时统计多种应用的流量或者需要统计的应用表现为多个数据流时,系统中会同时存在多个数据流的统计流表。当一个数据包到达时,其可能命中系统中已经存在的某个统计流表,也可能没有相匹配的统计流表可以命中。
为此,数据包到达时,首先以其自身的参数为依据,查询是否已经存在某个统计流表可以被命中。命中是指数据包本身具有的参数信息与统计流表中记载的匹配参数信息相同。如果存在可以被命中的统计流表,则表明该数据包属于其命中的统计流表所对应的数据流,至于该数据流是否已经被识别出所属应用,则需要识别命中上述统计流表的数据包中是否具有配置的某个特征序列;如果没有可以被命中的统计流表,则表明该数据包所属数据流是一种新出现的数据流,进而根据该数据包采用的协议类型,提取数据包对应的匹配参数并以匹配参数为基础建立统计流表。下表是一个具体的统计流表示例
                                 表1统计流表
  源IP   源端口   目的IP   目的端口   协议类型
  项目区   1.1.1.1   1111   2.2.2.2   2222   TCP
  2.2.2.2   2222   1.1.1.1   1111   TCP
  结果区
由上述表格可以看出,统计流表基本分为两个区域:项目区和结果区。项目区是以提取的匹配参数为基础、结合建流特性记载的内容。本表格示例中,提取的匹配参数是源IP1.1.1.1、源端口1111、目的IP2.2.2.2、目的端口2222以及TCP协议类型,同时配置的建流特性是双向建流,因此在项目区中记载方向相反的两组匹配参数内容;结果区记载统计结果的内容。此外,统计流表的结果区还可以记载起始统计时段、结束统计时段、应用ID以及数据包的包数和字节数等内容。
130:将命中统计流表的数据包进行计数。
首先,将用于提取匹配参数进而建立统计流表的初始数据包计数为1;
然后,将命中统计流表的后续数据包依次计数为2、3、4......。
140:根据区别特征判断被计数的数据包所属应用。
根据在步骤110中配置的各种应用的特征序列,查找命中各个统计流表的数据包。如果发现命中统计流表的一个数据包含有配置的特征序列,则可知该数据包所属应用,进而所有与其命中同一统计流表的数据包都可判定同属于一种应用。同时将该种应用的应用ID添加至统计流表的结果区。应用ID是表征应用类别的标识,比如上文中提过可以通过配置特征序列为“数据域的第一行最后几个字符是HTTP/??”来识别HTTP应用,那么识别出具有上述特征序列的数据包之后,就会在其命中的统计流表结果区中添加应用ID:HTTP,用以表明该命中统计流表的数据包属于HTTP应用,即该流表输出的统计结果是HTTP应用的流量统计结果。
上述步骤130和步骤140交互进行。步骤130计数完毕一个数据包之后,随即对该数据包通过步骤140进行特征识别,然后再计数再识别,直至识别出一个数据包含有配置的特征序列,将对应的应用ID添加至统计流表的结果区。在此之后只执行步骤130,而无需再执行步骤140的特征识别。当然也可以对命中流表的数据包先通过140进行特征识别再进行步骤130的计数,或者步骤130和步骤140同时进行均可。
150:按照步骤110配置的统计输出方式,将流量统计结果输出至所需终端或数据库。
第一步,将不同统计流表的统计结果按照配置的聚合项进行合并运算;
在步骤110中介绍过配置的统计输出方式是根据用户需要设置的。比如有些网络经营者需要分析各种应用的总体使用情况,那么上报的统计结果最好为各种应用的总体统计值。但有些应用会表现为多个不同的数据流,每个数据流的统计流表的结果区会记载所属应用的应用ID和各自实时的统计数值。此时以应用ID为聚合项,将应用ID相同的统计结果区合并处理,即将应用ID相同的统计值累加,这样输出的统计结果即为该项ID对应的应用总流量值;有些网络经营者不需要了解某种应用的使用情况,而是想了解一个特定用户在某个时段的上网总流量情况,于是配置以特定用户的IP地址为聚合项,将所有IP地址为上述特定用户IP地址的应用流量统计值累加,这样输出的统计结果即为该特定用户一定时段的上网总流量。以统计流表的特定项目为聚合项,将各个统计结果进行聚合后再输出,不但可以降低统计输出数据量,而且方便于应用流量统计的进一步分析使用,比如实时分析,流量计费等等。
第二步,按照配置的上报方式,将聚合后的统计结果输出至所需终端或数据库;
上报的方式很多,例如定时上报,即按照一定的时间间隔上报。固定流量上报,即收到固定的包数或字节数时上报统计结果。或者流量老化上报,包括流量超时老化上报,连接终止老化以及计数器溢出老化上报。
通过执行上述步骤110至步骤150,各种应用的流量统计即可实现。
需要注意的是:有些应用的控制信息和业务数据信息不在同一数据流中。控制信息在控制数据流中,业务数据信息在业务数据流中,想要统计业务数据流的流量必须首先识别出对应的控制数据流,然后再根据控制流中的控制信息找到对应的业务数据流。此种情况的提取匹配参数以及计数略为复杂。
控制数据流中的数据包称为控制包,业务数据流中的数据包称为业务包。控制包的包头信息是本数据包的控制信息,指明该控制包的源IP、源端口、目的IP、目的端口以及采用的协议类型等。控制包的数据域信息则是其对应的业务包的控制信息,指明业务包的源IP、源端口、目的IP、目的端口以及采用的协议类型等。
因此,在步骤120中提取接收的数据包匹配参数时,提取的只能是控制包包头中的信息,进而建立所属应用的控制统计流表。此后进入步骤130,如果在命中控制流表的数据包中发现一个具有所配置的特征序列的数据包,即确定该数据包所属应用后,将该种应用的应用ID记入控制统计流表的结果区,同时提取控制包数据域的信息。因为此时已经知道该控制包的所属应用,所以可以按照该种应用预先配置的匹配参数提取方式以及匹配参数编码方式,提取控制包数据域信息并进行相应计算,得到业务包的匹配参数值。同时以提取的业务包匹配参数为基础建立所属应用的业务统计流表,并将所属应用的ID也记入业务统计流表的结果区,可以在其后注明是业务数据包。命中上述业务统计流表的数据包即为所属应用的业务数据包,此后通过步骤130对业务包进行计数统计。至此,控制信息和业务数据信息不在同一数据流的应用便可实现流量统计,该种应用有两种统计值,控制包计数值和业务数据包统计值,输出时既可分别输出也可合并输出总数值。
请参阅图2,其为本发明公开的一种应用流量统计方法第二实施例流程图。本实施例与上述第一实施例的区别之处主要在于根据特征序列进行应用类型判断的时间不同。
210:预先配置各种所需应用的区别特征以及统计输出方式。
此步骤与第一实施例中的步骤110相同,因而在此不再赘述。
220:过滤接收的数据包,找到具有配置的特征序列的数据包并判断其所属应用。
一种应用通常体现为多个数据流,每个数据流又表现为一系列传输中的数据包。因此,某种应用的流量统计实质就是统计该种应用的所有数据个数。表征一种应用的特征序列,不一定会存在于该种应用的每个数据包之中,但该种应用的每个数据流中至少会存在一个数据包具有所属应用的特征序列。这种具有特征序列的数据包通常为数据流起始传输的几个数据包之一。因此可以先过滤接收的数据包,找到具有所配置的特征序列的数据包,从而确定该数据包的所属应用。
230:提取具有特征序列的数据包匹配参数,并以匹配参数为基础建立统计流表。
如果在步骤210中配置了匹配参数提取方式,则按照配置的方式从具有特征序列的数据包中提取对应参数。如果没有配置匹配参数提取方式,则按照缺省处理。提取匹配参数后同样以匹配参数为基础,结合建流特性建立该数据包所属数据流的统计流表。与表1类似,统计流表分为项目区和结果区。需要注意的是,因为建立统计流表的数据包选取的是具有所属应用特征序列的初始数据包,因此流表建立后已经知道该数据包的所属应用,因而在将匹配参数记入项目区的同时,也将应用ID记载入结果区。
240:将命中统计流表的数据包进行计数。
后续命中步骤230中建立的统计流表的数据包,与用以建立流表的初始数据包同属于一个数据流,进而属于同种应用。因此将建立流表的初始数据包计数为1,后续命中上述流表的数据包依次计数2、3、4、5......
250:按照步骤210配置的统计输出方式,将流量统计结果输出至所需终端或数据库。
此步骤与第一实施例的步骤150相同,因而在此不再赘述。
通过上述步骤210至250,可以对各种应用进行流量统计。
与第一实施例一样,当遇到控制信息和业务数据信息不在同一数据流的应用时,在提取匹配参数和计数方式部分略为复杂。
在步骤210中配置的匹配参数提取方式为从数据包包头和数据域分别提取对应参数。在步骤220中查找到的具有特征序列的数据包是所属应用的控制包。在步骤230从具有特征序列的数据包中提取的匹配参数共两组,一组是控制包本身的匹配参数(即控制信息),存在于上述控制包的包头中,另一组是业务数据包的匹配参数,存在于上述控制包的数据域中。进而根据上述两组匹配参数分别建立控制统计流表和业务统计流表,由于提取匹配参数的数据包选取的是具有所属应用特征序列的数据包,因此可知该数据包的所属应用,于是在两个统计流表的结果区均加入所属应用的应用ID,同时在其后分别注明是控制数据包还是业务数据包。步骤240分别对命中控制统计流表和业务统计流表的数据包依次计数,至于在步骤250中如何输出,则可根据需要进行设置,既可以将控制包的统计值和业务数据包的统计值分别输出,也可将两者聚合后输出所需应用的流量总数。
本发明还公开一种应用流量统计装置。请参看图3,其为应用流量统计装置的一种结构示例图。所述装置包括第一配置模块1、第二配置模块2、建流识别模块3、统计模块4以及输出模块5。第一配置模块1与识别模块3相连,统计模块连接于识别模块3和输出模块5之间,输出模块5还与第二配置模块2相连。
第一配置模块1,用于预先为各种应用配置区别特征。所述区别特征包括特征序列、匹配参数提取方式以及建流特性等内容。其中,特征序列通常存在于数据包的数据域中,是唯一标识所属应用的特征信息。每种应用通常具有多个数据流,每个数据流又体现为一系列的传输中的数据包。上述每种应用的唯一标识信息即特征序列,不需要存在于所属应用的每一个数据包之中,只要该种应用的每个数据流中包含一个具有所属应用特征序列的数据包即可;匹配参数提取方式以及建流特性等内容为可选项,均有缺省处理方式。区别特征部分的具体内容在上文中已经详细介绍过,因而在此不再赘述。
第二配置模块2,用于配置各种应用的统计输出方式。所述统计输出方式指明各种应用的统计结果的上报时间以及上报方式。上报时间主要有几种:定时上报,固定流量上报以及流量老化上报等。上报方式主要是指将各个统计流表中的统计值按照一定的聚合项进行聚合运算后再上报,或者直接将各个统计结果上报。经过聚合后再输出统计结果可以大大降低统计输出数据量。
建流识别模块3,是识别模块的一种。该模块3可以根据数据包的协议类型提取接收的数据包匹配参数,并以匹配参数为基础建立统计流表,随即根据特征序列判断命中统计流表的数据包所属应用,同时将应用ID添加至统计流表的结果区。如果控制信息和业务数据信息不在同一数据流,还需要调用第一配置模块1中配置的匹配参数提取方式提取控制数据包的数据域信息,用以建立业务数据流表。此外,也可以先调用第一配置模块1,根据其配置的特征序列过滤接收的数据包,从具有特征序列的数据包中提取匹配参数,然后根据匹配参数为基础建立统计流表,同时将所属应用的应用ID添加至流表结果区。如果某种应用的每个数据包都合有所属应用的特征序列,则无需使用建流识别模块3进行建流识别,可以直接使用特征序列识别。识别模块直接依据配置的特征序列查找接收的数据包,进而判断数据包所属应用即可。
统计模块4,用于将命中统计流表的数据包进行计数统计。被提取匹配参数数据包计数为1,随后命中统计流表的数据包依次计数2、3、4、5......
输出模块5,可以调用第二配置模块,按照其配置的统计输出方式输出统计流表中记载的统计结果。
本发明还公开一种应用流量统计系统,所述系统包括交换路由设备,还包括一种应用流量统计装置。请参阅图4,其为本发明公开的应用流量统计体统的一种结构示例图。所述系统包括交换路由设备、第一配置模块1、第二配置模块2、识别模块3、统计模块4以及输出模块5。
第一配置模块1与识别模块3相连,统计模块4连接于识别模块3和输出模块5之间,输出模块5还与第二配置模块2相连。统计模块4的端口A11与交换路由设备6的端口B12相连。网络上传输的原始数据包由交换路由设备6的端口C13进入,并从交换路由设备6的端口D14输出至个网络服务器或终端用户。端口C13和端口B12之间可以实现简单的镜像功能,这是目前许多交换路由设备都具有的功能。所谓镜像的简单含义就是将端口C13进入的原始数据包完全复制到端口B12,然后传送给统计模块4,进而通过应用流量统计装置将镜像过来的数据包进行应用流量统计,并将统计结果上报至所需终端或数据库进一步分析使用。原始数据包被镜像到端口B12后,并不影响原始数据包在交换路由设备6中的正常路径选择以及信息传输。应用流量统计装置的各部分内容上文中已有详细介绍,因而在此不再赘述。
上述应用流量统计系统中的应用流量统计装置通过从交换路由设备中镜像的方式获得网络上传输的各种应用的数据包。此外,还可以将所述的应用流量统计装置直接串接在交换路由设备的链路上,从而获得各种应用的数据包。这种结构的应用流量统计系统,原始数据包进入交换路由设备后,直接进入应用流量统计装置进行流量统计,统计过后的原始数据包通过交换路由设备进行常规的路由选择和信息传输,此后输出至各个网络服务器。应用流量统计装置中的统计结果上报至所需终端或数据库进行分析使用。
以上对本发明所提供的应用流量统计方法及装置和应用流量统计系统进行了详细介绍,本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,但本发明并不局限于此。
例如,对于某些应用的每个数据包都具有特征序列的情况,就无需提取匹配参数和建立业务流表的步骤,只要找到每个具有配置的特征序列的数据包,然后依次计数统计即可实现该种应用的流量统计。
再例如,提取匹配参数之后,不一定必须用列表的方式承载匹配参数信息,也可以采用其它的承载体或者直接存储这些信息。即使建立统计流表,也不仅限于每个数据流建立一个流表,实际运用时可以建立一张总列表,将所需各种应用的统计流表内容都依次记载进去,相当于总列表的各个栏目。这样既方便接收的数据包查找相匹配的应用栏目,又节省系统资源。
同时,对于本领域的一般方法人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1、一种应用流量统计方法,其特征在于包括:
预先配置各种应用的特征序列;
提取接收的数据包的匹配参数,所述匹配参数至少包括源IP、目的IP、源段口号、目的端口号以及协议类型;
以匹配参数为基础项建立统计流表,并对命中统计流表的数据包进行计数,所述统计流表的结果区至少包括数据包包数以及计数起始时间;
查找命中统计流表的至少一个数据包具有配置的特征序列,根据所述特征序列判断该数据包和命中同一统计流表的其他数据包的具体应用,并在统计流表的结果区记载应用标识;
选择统计流表的部分表项作为聚合项,对各个统计表的统计结果进行聚合后输出,所述聚合项至少包括应用标识。
2、一种应用流量统计方法,其特征在于,包括:
预先为各种应用配置特征序列;
根据特征序列识别接收的数据包所属应用并对数据包进行计数,得到各种应用的流量统计结果。
3、根据权利要求2所述的应用流量统计方法,其特征在于,配置各种应用的统计输出方式;以及将各种应用的流量统计结果输出至所需终端或数据库。
4、根据权利要求2所述的应用流量统计方法,其特征在于还包括,
建立用于确定属于相应应用的数据包的统计流表。
5、根据权利要求4所述的应用流量统计方法,其特征在于,提取接收的具有特征序列的数据包的匹配参数,并以匹配参数为基础建立用于确定属于相应应用的数据包的统计流表。
6、根据权利要求1所述的应用流量统计方法,其特征在于,所述特征序列为每种应用的唯一标识信息,存在于所述应用的至少一个数据包的数据域中。
7、一种应用流量统计装置,其特征在于,包括:
第一配置模块,用于预先为各种应用配置特征序列;
识别模块,用于根据特征序列识别接收到的数据包所属应用;以及,
统计模块,用于对识别出的数据包进行计数统计。
8、如权利要求7所述的应用流量统计装置,其特征在于还包括:
第二配置模块,用于配置各种应用的统计输出方式;以及,
输出模块,用于将统计结果输出至所需终端或数据库。
9、如权利要求7所述的应用流量统计装置,其特征在于,所述识别模块包括,以接收的数据包的匹配参数为基础建立的用于确定属于相应应用的数据包的统计流表。
10、一种应用流量统计系统,包括路由交换设备,其特征在于,还包括应用流量统计装置,所述应用流量统计装置包括:
第一配置模块,用于预先为各种应用配置特征序列;
识别模块,用于根据特征序列识别接收到的数据包所属应用;以及,
统计模块,用于对识别出的数据包进行计数统计。
CNB200510107983XA 2005-09-30 2005-09-30 应用流量统计方法及装置 Active CN100563168C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB200510107983XA CN100563168C (zh) 2005-09-30 2005-09-30 应用流量统计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB200510107983XA CN100563168C (zh) 2005-09-30 2005-09-30 应用流量统计方法及装置

Publications (2)

Publication Number Publication Date
CN1941716A true CN1941716A (zh) 2007-04-04
CN100563168C CN100563168C (zh) 2009-11-25

Family

ID=37959517

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200510107983XA Active CN100563168C (zh) 2005-09-30 2005-09-30 应用流量统计方法及装置

Country Status (1)

Country Link
CN (1) CN100563168C (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150445B (zh) * 2007-11-01 2010-10-13 杭州华三通信技术有限公司 一种流统计聚合方法和装置
WO2011060732A1 (zh) * 2009-11-19 2011-05-26 华为技术有限公司 报文检测方法及装置
CN102111401A (zh) * 2010-12-16 2011-06-29 成都市华为赛门铁克科技有限公司 协议识别方法、协议识别装置及设备
CN101360090B (zh) * 2007-08-01 2012-05-23 中国科学院声学研究所 应用层协议识别方法
CN102547786A (zh) * 2010-12-31 2012-07-04 上海博泰悦臻电子设备制造有限公司 车载设备3g流量分析方法和装置
CN102739644A (zh) * 2012-04-20 2012-10-17 深圳证券通信有限公司 一种金融数据的发送/接收方法及装置
CN102916854A (zh) * 2012-10-22 2013-02-06 北京瓦力网络科技有限公司 流量统计方法、装置及代理服务器
CN103379039A (zh) * 2012-04-23 2013-10-30 华为技术有限公司 一种用于流统计的方法、装置及系统
CN103428215A (zh) * 2013-08-12 2013-12-04 广东电网公司电力调度控制中心 构造数据网攻击流量的方法与系统
CN103580959A (zh) * 2013-11-15 2014-02-12 大连梯耐德网络技术有限公司 一种分布式统计上报的实现方法
CN103796186A (zh) * 2012-10-30 2014-05-14 中国电信股份有限公司 基于应用的通信流量统计方法与移动终端桌面系统
CN103957129A (zh) * 2014-04-04 2014-07-30 上海聚流软件科技有限公司 统计信息更新方法、设备及系统
CN104640158A (zh) * 2013-11-13 2015-05-20 中国移动通信集团广东有限公司 终端占用网络资源计算方法、装置和网络资源计算服务器
CN104753729A (zh) * 2013-12-27 2015-07-01 中国移动通信集团公司 一种确定数据流量的方法、用户终端和企业管控平台
CN105577462A (zh) * 2014-10-10 2016-05-11 阿里巴巴集团控股有限公司 移动设备的流量统计方法及装置
WO2017067141A1 (zh) * 2015-10-19 2017-04-27 南京华苏科技有限公司 基于众包模式的移动Apps对无线网路资源利用的分析方法
WO2018120355A1 (zh) * 2016-12-27 2018-07-05 盛科网络(苏州)有限公司 以太网芯片低延时模式下提取数据流信息的方法及装置
CN109905486A (zh) * 2019-03-18 2019-06-18 杭州迪普科技股份有限公司 一种应用程序识别展示方法和装置
CN110071853A (zh) * 2019-04-30 2019-07-30 新华三技术有限公司 一种报文统计方法及网络设备
CN111211939A (zh) * 2019-12-31 2020-05-29 国家计算机网络与信息安全管理中心 一种基于网络处理器实现流表高效计数的装置和方法
CN111343037A (zh) * 2019-08-19 2020-06-26 海通证券股份有限公司 云平台负载按应用的流量监控方法、装置、计算机设备

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360090B (zh) * 2007-08-01 2012-05-23 中国科学院声学研究所 应用层协议识别方法
CN101150445B (zh) * 2007-11-01 2010-10-13 杭州华三通信技术有限公司 一种流统计聚合方法和装置
WO2011060732A1 (zh) * 2009-11-19 2011-05-26 华为技术有限公司 报文检测方法及装置
CN102111401A (zh) * 2010-12-16 2011-06-29 成都市华为赛门铁克科技有限公司 协议识别方法、协议识别装置及设备
CN102111401B (zh) * 2010-12-16 2013-12-04 华为数字技术(成都)有限公司 协议识别方法、协议识别装置及设备
CN102547786A (zh) * 2010-12-31 2012-07-04 上海博泰悦臻电子设备制造有限公司 车载设备3g流量分析方法和装置
CN102739644B (zh) * 2012-04-20 2015-11-18 深圳证券通信有限公司 一种金融数据的发送/接收方法及装置
CN102739644A (zh) * 2012-04-20 2012-10-17 深圳证券通信有限公司 一种金融数据的发送/接收方法及装置
CN103379039B (zh) * 2012-04-23 2016-12-14 华为技术有限公司 一种用于流统计的方法、装置及系统
CN103379039A (zh) * 2012-04-23 2013-10-30 华为技术有限公司 一种用于流统计的方法、装置及系统
US9491068B2 (en) 2012-04-23 2016-11-08 Huawei Technologies Co., Ltd. Method, apparatus, and system for flow measurement
CN102916854A (zh) * 2012-10-22 2013-02-06 北京瓦力网络科技有限公司 流量统计方法、装置及代理服务器
CN102916854B (zh) * 2012-10-22 2018-02-09 北京瓦力网络科技有限公司 流量统计方法、装置及代理服务器
CN103796186A (zh) * 2012-10-30 2014-05-14 中国电信股份有限公司 基于应用的通信流量统计方法与移动终端桌面系统
CN103428215A (zh) * 2013-08-12 2013-12-04 广东电网公司电力调度控制中心 构造数据网攻击流量的方法与系统
CN103428215B (zh) * 2013-08-12 2017-03-22 广东电网公司电力调度控制中心 构造数据网攻击流量的方法与系统
CN104640158A (zh) * 2013-11-13 2015-05-20 中国移动通信集团广东有限公司 终端占用网络资源计算方法、装置和网络资源计算服务器
CN104640158B (zh) * 2013-11-13 2018-12-04 中国移动通信集团广东有限公司 终端占用网络资源计算方法、装置和网络资源计算服务器
CN103580959A (zh) * 2013-11-15 2014-02-12 大连梯耐德网络技术有限公司 一种分布式统计上报的实现方法
CN103580959B (zh) * 2013-11-15 2017-04-26 大连梯耐德网络技术有限公司 一种分布式统计上报的实现方法
CN104753729A (zh) * 2013-12-27 2015-07-01 中国移动通信集团公司 一种确定数据流量的方法、用户终端和企业管控平台
CN104753729B (zh) * 2013-12-27 2019-01-01 中国移动通信集团公司 一种确定数据流量的方法、用户终端和企业管控平台
CN103957129A (zh) * 2014-04-04 2014-07-30 上海聚流软件科技有限公司 统计信息更新方法、设备及系统
CN103957129B (zh) * 2014-04-04 2018-03-27 北京奇虎科技有限公司 统计信息更新方法、设备及系统
CN105577462A (zh) * 2014-10-10 2016-05-11 阿里巴巴集团控股有限公司 移动设备的流量统计方法及装置
CN105577462B (zh) * 2014-10-10 2018-08-31 阿里巴巴集团控股有限公司 移动设备的流量统计方法及装置
WO2017067141A1 (zh) * 2015-10-19 2017-04-27 南京华苏科技有限公司 基于众包模式的移动Apps对无线网路资源利用的分析方法
WO2018120355A1 (zh) * 2016-12-27 2018-07-05 盛科网络(苏州)有限公司 以太网芯片低延时模式下提取数据流信息的方法及装置
CN109905486A (zh) * 2019-03-18 2019-06-18 杭州迪普科技股份有限公司 一种应用程序识别展示方法和装置
CN109905486B (zh) * 2019-03-18 2021-09-21 杭州迪普科技股份有限公司 一种应用程序识别展示方法和装置
CN110071853A (zh) * 2019-04-30 2019-07-30 新华三技术有限公司 一种报文统计方法及网络设备
CN110071853B (zh) * 2019-04-30 2021-01-01 新华三技术有限公司 一种报文统计方法及网络设备
CN111343037A (zh) * 2019-08-19 2020-06-26 海通证券股份有限公司 云平台负载按应用的流量监控方法、装置、计算机设备
CN111343037B (zh) * 2019-08-19 2022-05-31 海通证券股份有限公司 云平台负载按应用的流量监控方法、装置、计算机设备
CN111211939A (zh) * 2019-12-31 2020-05-29 国家计算机网络与信息安全管理中心 一种基于网络处理器实现流表高效计数的装置和方法

Also Published As

Publication number Publication date
CN100563168C (zh) 2009-11-25

Similar Documents

Publication Publication Date Title
CN1941716A (zh) 应用流量统计方法及装置和应用流量统计系统
CN1725708A (zh) 数据流量的统计方法
CN1612527A (zh) 一种数据业务信息的采集装置及用该装置计费的方法
CN1866951A (zh) 在网络中检测共享接入主机的方法及系统
CN106972985A (zh) 加速dpi设备数据处理与转发的方法和dpi设备
CN100352208C (zh) 一种大型网站数据流的检测与防御方法
CN1703890A (zh) 数据网络中识别和分析协议的方法
CN1604561A (zh) 对分布树中节点数据分组传输的无状态组通信与修复方法
CN1400546A (zh) 用于协议数据单元中协议模式识别的方法和设备
CN101075884A (zh) 业务内容计费方法
CN1741504A (zh) 基于应用的流量控制方法及进行应用流量控制的网络设备
EP4331204A1 (en) System and method for netflow aggregation of data streams
CN1392711A (zh) 网络监视系统、数据量计数方法及用于系统的程序
CN1913456A (zh) 一种基于sip协议过程特征识别voip流量的方法
CN105872082A (zh) 基于容器集群负载均衡算法的细粒度资源响应系统
CN1859128A (zh) 一种对数据业务进行内容计费的方法
CN1909489A (zh) 一种识别rtp/rtcp流量的方法
CN1271816C (zh) 包过滤的网络协议层用户认证方法
CN1708013A (zh) 加速进行的每一个流的业务量估算
CN106375351A (zh) 一种异常域名检测的方法及装置
CN1758605A (zh) 一种移动数据业务的调度方法
CN101145995A (zh) 识别大型多人在线角色扮演游戏数据流的方法及装置
CN113630398B (zh) 网络安全中的联合防攻击方法、客户端及系统
CN1138384C (zh) 应用于网络装置的查询装置与方法
CN1146188C (zh) 因特网接入服务器的选择性计费方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address

Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No.

Patentee after: Xinhua three Technology Co., Ltd.

Address before: 310053 Hangzhou hi tech Industrial Development Zone, Zhejiang province science and Technology Industrial Park, No. 310 and No. six road, HUAWEI, Hangzhou production base

Patentee before: Huasan Communication Technology Co., Ltd.

CP03 Change of name, title or address