CN100337432C - 数据流量统计方法及装置 - Google Patents

Abstract

本发明公开一种数据流量统计方法及装置，所述方法主要包括步骤：预设对数据流进行分类的分类特征项、将分类后的数据流划分为统计流的统计特征项；根据所述分类特征项对数据流进行分类；根据所述统计特征项将所述分类后的数据流划分为各个统计流；根据所述各个统计流进行相应数据流量统计。所述装置包括：流分类器、流划分器以及统计器。通过流分类和将分类后的数据流自动离散为统计流，本发明可灵活进行数据流量统计，且可进一步降低系统资源占用。

Description

数据流量统计方法及装置

技术领域

本发明涉及数据通信技术领域，更具体的说，涉及一种数据流量统计方法及装置。

背景技术

随着人类通过网络进行信息交流的增加，在数据通信网络中，网络连接复杂性越来越高。小区用户和企业网接入互联网后，通过互联网服务提供商建立跨地区连接的应用正在变得越来越普遍。

目前的商业运作中，单纯根据不作服务质量和流量保证的连接进行收费的方式，已不能满足市场需求。例如，在数据通信领域一直以按使用时间来进行计费为主，但随着数据通信的发展，各种新业务的涌现，这种纯粹简单按照计时进行计费的方式已经不能满足用户需求。例如，随着无线数据业务的开展，出现了按数据流量计费的方式，而随着2.5代无线通信技术和3代无线通信技术的进一步应用，按内容计费的需求又涌现出来。

另外，运营商为了更好的开展一些新业务，希望对不同内容的数据流进行不同的计费。例如对于内部一些网络资源采用低费率，对外部的网络资源采用高费率；对于一些数据量大的业务采用低费率，例如视频流，对于一些数据量小的业务，例如股票信息则采用高费率等。在一些校园网和企业网也迫切需要网络设备(交换机或路由器)能支持按数据包的内容进行灵活计费，这些都需要对数据流量进行统计。

而企业用户为了合理使用网络，监控网络的使用，对于网络使用细节情况越来越关注。运营商要合理调整优化现有网络，对网络进行性能优化，也必须以详细的网络流量统计信息为基础。

基于以上商业的需要，运营商和网络管理设计人员越来越关注设备的详细通信状况。数据通信产品基于接口的详细数据流量信息统计技术应运而生。

目前比较常用的数据流量统计技术是在网络设备上将数据包按源、目的IP地址，源、目的端口号，协议号，输入出接口进行分类统计，也就是对所有的数据流先进行统计，然后将统计结果输出到外部设备上，然后再按需要把这些信息进行聚合处理，获得所需的统计信息。

该方法中把所有的数据包都固定的按源、目的IP地址，源、目的端口号，协议号，输入出接口分离成一个个数据流的最小单元，然后进行分类统计。这样做统计虽然很全面，但由于分类太细，需要占用大量的统计资源，例如如果只需要统计某个用户发出的数据流量，按照该方法就必须将该用户访问的所有服务的数据流都进行分类统计，如果该用户访问了上万个服务则需建立上万个统计项，这会消耗大量的系统资源。同时，由于还需要传送大量的统计数据，也会严重降低整个系统的性能。

而且该方法中先对所有的数据进行统计，然后再根据用户的需求对统计的结果进行聚合处理，导致大量不需要的数据包也被统计，白白浪费系统资源。

另外，该方法也不灵活，只能使用指定的几种数据聚合方式，不能灵活设置需要统计的内容，使用并不方便。

另外一种广泛使用的数据流量统计方案通过使用访问控制列表(ACL，Access Control List)技术进行数据流量统计，ACL是一种访问控制技术，通过在网络设备上配置访问控制列表获取所需数据流量统计信息，访问控制列表包括用户范围、访问范围字段等，其中用户范围字段用于记录需要统计的数据流的所有用户的特征信息，用户特征信息可以为用户的网络地址和掩码，还可以为用户连接于接入服务器上的接口信息，业务范围字段用于记录需要统计的数据流的所有业务内容的特征信息，业务内容的特征信息包括业务内容的网络地址、掩码、传输层协议以及传输层端口范围等。

它的特点是针对一个统计对象配置一个ACL，统计多个数据流要配置多个ACL。由于一个ACL只能分离一个统计流，如果要对多个数据流进行统计，必须对每一个需要统计的数据流定义一条ACL，但设备的ACL容量有限且ACL的配置也比较复杂，因此，这种方案只适合统计对象比较少的情况，而对统计对象数很大的情况下则不适用，例如要对每个用户进行计费统计，则需对每个用户配置ACL，由于统计对象极其庞大根本无法实现。

而且该方案配置ACL的数据配置量比较大，对配置数据的维护非常麻烦，如果要修改统计方式将非常困难，不适合快速推出新业务。

另外，该方案无法在网络地址动态分配的网络上进行用户级计费统计，原因在于用户的地址是变化的，无法用固定的ACL将其分离出来，所以无法在网络地址动态分配的网络上进行用户级计费统计。

发明内容

本发明解决的技术问题是提供一种数据流量统计方法及装置，以实现灵活进行数据流量统计，且可进一步降低系统资源占用。

为解决上述问题，本发明的数据流量统计方法，包括步骤：

A.预设对数据流进行分类的分类特征项、将分类后的数据流划分为统计流的统计特征项；

B.根据所述分类特征项对数据流进行分类；

C.根据所述统计特征项将所述分类后的数据流划分为各个统计流；

D.根据所述各个统计流进行相应数据流量统计。

其中，所述统计特征项包括离散属性参数，所述离散属性参数定义为按照该统计特征项将数据流划分成各个统计流的粒度范围，步骤C按照该统计特征项的离散属性参数设置的粒度范围将分类后的数据流划分成各个统计流。

其中，步骤D进行数据流量统计包括：

统计数据流起止时间；

统计数据流的包数和数据流的字节数；

统计数据流周期。

其中，还包括步骤E.收集统计数据，并将所述统计数据显示在统计设备或输出到数据中心。

其中，所述分类特征项为：

源、目的虚拟局域网号；源、目的地址范围；协议类型和端口号范围；路由协议的自治系统号；服务类型；出入接口；路由下一跳地址或以上特征项的任意组合。

其中，所述统计特征项为：

源、目的虚拟局域网号；源、目的地址范围；协议类型和端口号范围；路由协议的自治系统号；服务类型；出入接口；路由下一跳地址或以上特征项的任意组合。

相应地，本发明的数据流量统计装置，包括：

流分类器，配置有用于对数据流进行分类的分类特征项，用于根据所述分类特征项将通过网络设备的数据流分类为需统计的数据流；

流划分器，配置有用于将数据流划分为统计流的统计特征项，用于根据所述统计特征项将所述分类后的数据流划分为各个统计流；

统计器，用于根据所述各个统计流进行相应数据流量统计。

其中，所述统计特征项包括离散属性参数，所述离散属性参数定义为按照该统计特征项将数据流划分成各个统计流的粒度范围，所述流划分器按照该统计特征项的离散属性参数设置的粒度范围将分类后的数据流划分成各个统计流。

其中，所述统计器进行数据流量统计包括：

统计数据流起止时间；

统计数据流包数和数据流的字节数；

统计数据流周期。

其中，还包括统计数据采集器，用于采集统计数据，并将采集的统计数据在统计设备上显示或输出给数据中心。

其中，所述分类特征项为：

源、目的虚拟局域网号；源、目的地址范围；协议类型和端口号范围；路由协议的自治系统号；服务类型；出入接口；路由下一跳地址或以上特征项的任意组合。

其中，所述统计特征项为：

源、目的虚拟局域网号；源、目的地址范围；协议类型和端口号范围；路由协议的自治系统号；服务类型；出入接口；路由下一跳地址或以上特征项的任意组合。

与现有技术相比，本发明具有以下有益效果：

效率高，通过配置流分类器对数据流先进行过滤分类，只有用户需要计费统计的数据包才进行统计，这样不会有多余的数据包被统计，然后根据配置的统计特征项的离散属性参数的粒度范围直接生成所需的统计数据流。由于不使用会聚技术，采用的是直接将数据流分解到需要统计的粒度的技术，所以对资源的占用要小得多。

配置灵活，用户可以按数据流的特征项任意组合配置进行数据流统计，而不是固定按几个特征项进行统计，当然系统也可定义几个常用的配置方式提供用户直接使用，以简化用户配置。

配置简单方便，一些通过ACL技术需要成千上万条配置才能完成的功能，本发明一条配置就能完成。例如只要配置按源地址离散开，就能得到每个用户通过设备的数据包计费统计信息，但采用ACL技术则必须为每个用户都配置ACL，这是个非常庞大的数字。

而对于网络地址不固定的网络，每次用户使用网络时才分配IP地址，这样就无法预先设置针对该用户地址的ACL，所以ACL技术是不能进行用户级的计费统计的，但本发明只需要指定按照统计特征项离散为各个统计流，而不用配置具体的用户地址信息，实现上就没有问题。

易扩展，它可以随着增加流分类特性项而轻易的扩展，如果出现的新的数据流类型，只要提取出它的特征项就能实现新的计费统计功能，使用范围要远大于现有技术。

附图说明

图1是本发明数据流量统计方法的流程图；

图2是本发明数据流量统计装置具体实施例组成示意图。

具体实施方式

数据流是指有一定特征的数据的集合，所述特征可以是数据包的源、目的地址，源、目的端口号，协议号，输入输出接口等，通常可以把满足这些特征的数据包归为一个数据流。统计是指对数据流一些管理特性进行记录，例如时间、周期、数据包个数，数据包大小等等进行累计，记录的结果可以作为计费的依据，也可用于网管的流量分析。本发明中利用流分类的技术和自动离散统计流技术来实现数据流量统计，统计结果可以用于网管、网络分析规划和计费多个方面。

图1为本发明数据流量统计方法的流程图，本发明数据流量统计主要包括以下步骤：

步骤10，预设对数据流进行分类的分类特征项、将分类后的数据流划分为统计流的统计特征项；

本实施例系统可通过定义一系列特征项来标志一个数据流的分类和统计特性，本发明中所述分类特征项和统计特征项包括但不限于如下特征项：

(1)源、目的虚拟局域网(VLAN，Virtual LAN)号；(2)源、目的地址范围，例如：介质访问控制地址，因特网协议地址，统一资源定位(ULR，Uniform Resoure Locator)地址等；(3)协议类型和端口号范围，例如超级文本传送协议(HTTP，Hyper Text Transport Protocol)、文件传输协议(FTP，File Transfer Protocol)、实时流媒体协议(RTSP，Real Time StreamingProtocol)、因特网协议(IP，Internet Protocol)、网间分组交换协议(IPX，Internet Packet Exchange)、传输控制协议(TCP，Transfer Control Protocol)、用户数据报协议(UDP，User Datagram Protocol)、地址解析协议(ARP，AddressResolution Protocol)等网络协议；(4)路由协议的自治系统号和路由下一跳地址(5)服务类型(Tos，Type of Service)范围；(6)出入接口；(7)其它能表征数据包某个特征的特征项；(8)可以是以上特征的部分或全部的任意组合。通过定义这些特征，就可以从网络的数据流中分离出需要进行计费统计的数据包。

需要说明的是所述分类特征项和统计特征项可以相同，也可以不同，由用户自行确定。

步骤11，根据所述分类特征项对数据流进行分类；

流分类过程是对报文的多个数据段进行匹配，并输出匹配结果的过程。具体实现时，可根据不同的分类特征项对数据流进行分类，例如，若以源、目的IP地址为分类特征项，则可采用IP地址与前缀(或掩码)的方式进行匹配，即：若IP地址与前缀的指定长度相同，则认为互相匹配，而对于协议类型的匹配可采用完全匹配(或者精确匹配)的方式，即协议类型与设定值相等才认为互相匹配；而对于端口号的匹配可采用完全匹配或者范围匹配的方式，采用范围匹配方式下，参数值落在所选定的区间即认为相互匹配，由于流分类是本领域公知技术，这里不再一一详述。

步骤12，根据所述统计特征项将所述分类后的数据流划分为各个统计流；

上述通过流分类已将数据流限制到需统计的小范围内，本步骤只需根据统计特征项将分类后的数据流划分为所需要的统计流。

本实施例中为前面提到的统计特征项定义一个离散属性标志(即离散属性参数)和粒度(即参数范围)，这里的离散属性是统计特征项的一个属性，粒度则是指对数据流根据该特征项按多大的粒度进行归类，在粒度范围内的数据流都归为一个统计流。如果对应的特征项设置了离散属性标志，划分统计流时将以该特征项为关键字按设定的粒度进行离散展开，也就是说如果一个数据包的该离散属性不在同一个粒度范围内，则认为是一个新的统计流，需把它分开进行统计。例如，假设一个网络将IP地址的前24位作为网络号(通常一个网络可能对应一个部门或一个项目)，如果按源IP地址进行离散，粒度是24位掩码，则源地址前24位相同的数据流为一个统计流，这样得到的就是每个网络(部门或项目)的数据流统计情况。

需要说明的是，可以同时设置多个特征项离散标记，多个特征项离散标记的设置表示一个数据包的这几个特征项如果不是全部在粒度范围内就要分开统计。例如：如果我们设置源IP地址、目的IP地址的离散属性，粒度都为32位掩码，则每个源IP和目的IP不同的数据流就是一个统计流，通过这样的设定可以得到不同用户访问不同目的IP的情况，若需统计每个用户使用情况，只需配置源IP地址为统计特征项，设定其离散粒度为32位掩码，系统就能按源IP进行统计，所有源IP地址相同的数据包统计为一项，即一个统计流。这样通过配置不同的离散标志就可以得到所需的各种统计对象。

步骤13，根据所述各个统计流进行相应数据流量统计。

本发明通过从网络的数据流中分离出各个统计流，直接进行相应数据流量统计，统计内容除包含前面的全部或部分特征项外，还包括：(1)统计数据流起始统计时段，结束时段(2)统计数据流包数和数据流的字节数(3)统计数据流周期。

步骤14，收集统计数据，并将所述统计数据显示在统计设备或输出到数据中心。

统计结果可以直接在统计设备上显示也可以输出到一台计算设备中或者是网络设备上，输出的内容可以用来计费或用于网络管理。通过分析输出的内容，可以用来分析网络安全，网络负载，网络数据流的分布情况。通过分析结果，可以手工或自动调整网络设备参数和网络配置，使得网络流量得到均衡，还可以发现不安全的攻击，调整安全策略。也可通过数据分析，预期网络的流量，用于网络规划。

图2为本发明数据流量统计装置的具体实施例组成示意图。本发明数据流量统计装置主要包括流分类器、流划分器、统计器和统计数据采集器，下面分别进行说明：

流分类器，本实施例中所述流分类器配置有用于对数据流进行分类的分类特征项，用于根据所述分类特征项将通过网络设备的数据流分类为需统计的数据流；

流划分器，配置有用于将数据流划分为统计流的统计特征项，用于根据所述统计特征项所述分类后的数据流划分为各个统计流；

本发明中所述流划分器配置的所述统计特征项包括离散属性参数，所述离散属性参数定义为按照该统计特征项将数据流划分成各个统计流的粒度范围，所述流划分器按照该统计特征项的离散属性参数设置的粒度范围将分类后的数据流划分成各个统计流。

统计器，用于根据所述各个统计流进行相应数据流量统计。统计数据包的基本特性，例如起止时间，包数，字节数，等等网管和计费需要的特性。

数据包采集器：用于收集和管理统计结果，收集统计器发来的统计数据，或按一定的策略采集统计器中的数据，将采集来的数据按一定的格式发送到外面的数据中心。

需要说明的是，流分类器和流划分器配置的分类特征项和统计特征项可以相同，也可以不同，由用户自行配置确定。

下面说明所述数据流量统计装置的工作流程：

从网络过来的数据流经过一个流分类器，流分类器根据本发明的分类特征项来区分数据流，这些分类特征项可以由用户按需要配置。经过数据流分类器后将得到真正需要进行计费统计的数据流，随后数据流将根据用户配置的统计特征项进一步划分为各个统计流，具体可设置统计特征项的离散属性标志和粒度，通过流划分器将数据流离散开成真正的统计流，然后进入统计器进行统计。统计数据由统计器主动上报或由数据采集器根据设定策略主动采集获得，最后将获得的数据保存到数据库或发往统计中心进行网络分析或计费。

综上，本发明能够灵活的提供各种统计数据，可以广泛的用于网络管理、网络分析、流量计费、内容计费，不但适合骨干网，专线用户计费，也适合终端用户和无线用户的数据内容计费。例如若需知道TCP协议不同端口的数据流量情况，则通过配置流分类器，分离出TCP协议的数据流，同时配置端口统计特征项的离散属性，粒度为1，则能统计出TCP协议某个端口的数据流量情况。如果需对上因特网的用户进行计费，则只需配置流分类器，将访问因特网的数据流分离出来，然后设置源IP地址的离散属性，就能得到每个用户访问因特网的数据流量，进而可以根据流量对用户进行计费。

其次，本发明配置方便，只需要极少量的配置项就能完成复杂的定制统计功能，使用方便。例如前面提到我们只需配置源地址IP和目的地址IP的离散属性和32位掩码粒度，就能得到每个用户访问不同目的IP的统计信息，配置非常简单。

另外，本发明统计效率高，每一个统计数据都是用户需要的没有多余数据，对系统资源消耗少，本发明的启用对原系统的性能影响不大。因此本发明可广泛满足电信网、企业网、教育网等的各种网管和计费需求，使用范围广，效益显著。

以上所述仅为本发明的优选实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (12)

1.一种数据流量统计方法，其特征在于，包括步骤：

A.预设对数据流进行分类的分类特征项、将分类后的数据流划分为统计流的统计特征项；

B.根据所述分类特征项对数据流进行分类；

C.根据所述统计特征项将所述分类后的数据流划分为各个统计流；

D.根据所述各个统计流进行相应数据流量统计。

2.根据权利要求1所述的数据流量统计方法，其特征在于，所述统计特征项包括离散属性参数，所述离散属性参数定义为按照该统计特征项将数据流划分成各个统计流的粒度范围，步骤C按照该统计特征项的离散属性参数设置的粒度范围将分类后的数据流划分成各个统计流。

3.根据权利要求1所述的数据流量统计方法，其特征在于，步骤D进行数据流量统计包括：

统计数据流起止时间；

统计数据流的包数和数据流的字节数；

统计数据流周期。

4.根据权利要求1所述的数据流量统计方法，其特征在于，还包括步骤E.收集统计数据，并将所述统计数据显示在统计设备或输出到数据中心。

5.根据权利要求1-4任一项所述的数据流量统计方法，其特征在于，所述分类特征项为：

源、目的虚拟局域网号；源、目的地址范围；协议类型和端口号范围；路由协议的自治系统号；服务类型；出入接口；路由下一跳地址或以上特征项的任意组合。

6.根据权利要求5所述的数据流量统计方法，其特征在于，所述统计特征项为：

源、目的虚拟局域网号；源、目的地址范围；协议类型和端口号范围；路由协议的自治系统号；服务类型；出入接口；路由下一跳地址或以上特征项的任意组合。

7.一种数据流量统计装置，其特征在于，包括：

流分类器，配置有用于对数据流进行分类的分类特征项，用于根据所述分类特征项将通过网络设备的数据流分类为需统计的数据流；

流划分器，配置有用于将数据流划分为统计流的统计特征项，用于根据所述统计特征项将所述分类后的数据流划分为各个统计流；

统计器，用于根据所述各个统计流进行相应数据流量统计。

8.根据权利要求7所述的数据流量统计装置，其特征在于，所述统计特征项包括离散属性参数，所述离散属性参数定义为按照该统计特征项将数据流划分成各个统计流的粒度范围，所述流划分器按照该统计特征项的离散属性参数设置的粒度范围将分类后的数据流划分成各个统计流。

9.根据权利要求7所述的数据流量统计装置，其特征在于，所述统计器进行数据流量统计包括：

统计数据流起止时间；

统计数据流包数和数据流的字节数；

统计数据流周期。

10.根据权利要求7所述的数据流量统计装置，其特征在于，还包括统计数据采集器，用于采集统计数据，并将采集的统计数据在统计设备上显示或输出给数据中心。

11.根据权利要求7-10任一项所述的数据流量统计装置，其特征在于，所述分类特征项为：

源、目的虚拟局域网号；源、目的地址范围；协议类型和端口号范围；路由协议的自治系统号；服务类型；出入接口；路由下一跳地址或以上特征项的任意组合。

12.根据权利要求11所述的数据流量统计装置，其特征在于，所述统计特征项为：

源、目的虚拟局域网号；源、目的地址范围；协议类型和端口号范围；路由协议的自治系统号；服务类型；出入接口；路由下一跳地址或以上特征项的任意组合。