CN103532796A - 大型isp间互联口统计系统及方法 - Google Patents

Abstract

本发明公开了一种大型ISP间互联口统计系统和方法，该系统包括：分流设备，将镜像数据流分成多份发送给数据采集服务器组中相应的数据采集服务器；数据采集服务器组，用于数据采集并将生成的采集数据文件发送至通讯交换机；采集数据存储服务器，对采集数据文件进行汇总和存储，并将合并采集数据文件发送给数据处理服务器；数据处理服务器，对合并采集数据文件进行处理和/或管理并发送给通讯交换机和数据存储服务器；数据存储服务器，存储数据处理服务器处理和/或管理后得到的采集数据；web服务器，向用户展示流量监控信息；通讯交换机，提供各服务器间及和外部网络的通信通道。本发明可以对互联口的流量和内容进行统计排名。

Description

大型ISP间互联口统计系统及方法

技术领域

本发明涉及网络行为监控与网络行为管理技术领域，更具体地，涉及一种针对特定ICP在大型ISP间互联口流量和内容的统计排名系统及方法。

背景技术

据互联网追踪机构Netcraft在2011年10月9日的统计报告显示，全球网站总量约5亿。互联网上的信息十分广泛，而这里面有许多是人们关心的热点信息，这些热点网站上的内容，代表了互联网信息最受关注的部分。

针对特定的ICP的网站内容进行分析，解析其中的超链接以及对应的正文信息，然后再通过URL与正文反馈网站的热度，也为企业广告的正确投放提供强有力的依据。

发明内容

为了更准确地掌握热门资源的内容和排名，本发明提出一种针对特定ICP的大型ISP间互联口流量和内容的统计系统及方法，用于统计特定ICP在大型ISP间互联口流量和内容。

根据本发明的一方面，提出一种大型ISP间互联口统计系统，该系统包括：分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中：

所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；

所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；

所述采集数据存储服务器用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器；

所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，并将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器；

所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于展示流量监控信息；

所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道。

根据本发明的另一方面，还提出一种大型ISP间互联口统计方法，该方法包括以下步骤：分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中：

所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；

所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；

所述采集数据存储服务器用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器；

所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，并将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器；

所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于展示流量监控信息；

所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道。

分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中：

所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；

所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；

所述采集数据存储服务器用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器；

所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，并将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器；

所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于展示流量监控信息；

所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道。分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中：

所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；

所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；

所述采集数据存储服务器用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器；

所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，并将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器；

所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于展示流量监控信息；

所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道。

步骤S1，分流设备将从外部网络所接收到的镜像数据流根据多个数据采集服务器的实际性能分成多份，并分配给相应的数据采集服务器；

步骤S2，所述数据采集服务器对于接收到的镜像数据流按照一定的采集频率进行数据采集，并生成采集数据文件发送给采集数据存储服务器；

步骤S3，所述采集数据存储服务器将来自不同数据采集服务器的采集数据文件，以采集时间为顺序进行合并产生合并采集数据文件；

步骤S4，数据处理服务器对所述合并采集数据文件进行汇聚处理，并根据事先设定的白名单和ICP地址过滤文件，把符合条件的数据写入过滤数据文件中；

步骤S5，所述数据处理服务器根据事先设定的白名单数据，在合并采集数据文件中查找白名单中每条记录在各个时间点的详细信息，并把查找到的结果写入信息记录文件中；

步骤S6，将所述信息记录文件进行排序，得到特定ICP在ISP间前几位的流量和内容以及特定ICP在每个时间段的流量和内容，并将得到的数据存入数据库中。

根据本发明的上述方案，可以对大型ISP间互联口的流量和内容进行统计排名。

附图说明

图1为本发明大型ISP间互联口统计系统的结构示意图；

图2为本发明大型ISP间互联口统计方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

根据本发明的一方面，提出一种针对特定ICP的大型ISP间互联口流量和内容统计系统，如图1所示，所述系统包括：分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中：

所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；

在本发明一实施例中，所述分流设备根据所述镜像数据流的源ip地址和目的ip地址，并按照一预定的分配原则进行数据分配，所述分配原则比如是数据采集服务器能够正常接收分流数据，且能够处理所有接收的数据，并可根据某一数据采集服务器是否会出现丢包来判断该数据采集服务器是否具备上述能力。

所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；

其中，每个数据采集服务器都具有至少两个网卡，如eth0和eth1，其中一个网卡比如eth1为所述数据采集服务器的分流数据输入口，用于与所述分流设备连接，以接收单份镜像数据流，并按照一定的采集频率进行数据采集，生成采集数据文件；另一个网卡比如eth0为所述数据采集服务器的通讯口，用于与所述通讯交换机连接，将生成的采集数据文件发送至所述通讯交换机上；

其中，所述数据采集具体为采集ip数据报文，并解析其包含的ip地址，端口号，协议类型和/或流量大小等信息，采集得到的数据以ip地址对为关键字，且有方向性，比如ip1到ip2的记录为上行数据，ip2到ip1为下行数据；数据采集频率为产生采集数据文件的时间间隔，可根据实际情况进行配置，比如若设定采集频率为五分钟，则数据采集服务器每五分钟就会产生一个采集数据文件，该文件的文件名以此次采集的开始时间命名。

所述采集数据存储服务器为采集数据临时存储服务器，其用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器，其中，所述采集数据存储服务器中采集数据的存储时间可根据需要进行配置，通常默认设为一周的时间；

所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，所述处理和/或管理具体包括数据流量过滤，阈值智能调控，白名单自动管理，和/或各数据采集服务器数据和峰值数据获取等，所述数据处理服务器只有一个网卡，所述网卡与所述通讯交换机连接，用于将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器。

其中，所述数据流量过滤具体为对采集得到的数据进行一次汇聚和过滤处理：首先，根据时间把数据采集服务器组采集得到的数据汇聚到一起，在本发明一实施例中，以ip地址对为关键字，根据方向进行数据汇聚；然后，对于汇聚后的数据进行过滤，在本发明一实施例中，依据两个策略进行数据过滤：白名单记录和任何一个方向的数据流量超过阈值，以过滤掉不在白名单中或流量低的数据，满足以上两个条件中一个的数据以原格式进行转存，且数据方向与白名单中的数据方向保持一致，此处所述数据方向与上文提及的数据方向性的意义相同。其中，所述白名单存储有不需要过滤的ip地址表；所述阈值根据所述数据存储服务器和web服务器的实际存储空间和存储时间进行设定，或者系统自动设定。

所述阈值智能调控具体为根据近期数据流量的变化对于所述数据流量过滤所使用的阈值进行智能调节。每增加一条数据记录，需要存储的数据就会增加，在保存长期数据的情况下，每增加一条数据记录所带来的数据存储也是海量的，因此在存储空间有限的情况下，需要设置一个阈值来控制每段时间新增加数据记录的数量。所述阈值的设定支持人工和自动两种，在人工调控模式下，系统会根据人工设定的阈值进行运行，在自动调控模式下，系统会根据实际流量的情况进行自动设定。

所述白名单自动管理具体为自动添加和/或删除所述白名单中的内容，其中，添加具体为，在数据流量过滤的过程中，当有新的ip地址对的流量超过阈值的时候，把此条数据记录当作新的数据记录加入白名单；删除具体为，在记录相关数据流量最后一次超过阈值的时间到当前的时间之间的差值超过系统设定的存储时间时，自动删除该白名单。

所述各数据采集服务器数据和峰值数据获取具体为获取通过所述数据流量过滤的、在各个采集时间点的数据以及当天的峰值，其中各数据采集服务器数据的获取具体为，系统根据所述白名单的记录，通过所述数据流量过滤的数据中进行检索，查找与所述记录相匹配的数据的相关信息，并且检索结果与白名单记录的数据方向保持一致；峰值数据的获取具体为，系统根据数据流量过滤后的结果，通过排序和汇聚，查找出各数据采集服务器的当天数据记录中的最大值。

所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于向用户展示流量监控信息，具体有ip地址，流量方向，流量大小，流量波动图等。所述数据存储服务器和web服务器根据ip地址对进行关联处理，即根据ip地址对对不同时间段，不同方向的数据进行关联处理，并绘制波动图。所述数据存储服务器中数据存储的时间很长，通常默认设为十年的时间，所以需要较大的存储空间。

所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道，在本发明一实施例中，所述通讯交换机为通讯千兆交换机。

在本发明一实施例中，所述数据采集服务器、采集数据存储服务器、数据处理服务器、数据存储服务器、web服务器与所述通讯交换机之间的通讯线路为1G通讯线路。

根据本发明的另一方面，还提出一种针对特定ICP的大型ISP间互联口流量和内容统计方法，如图2所示，所述方法包括以下步骤：

步骤S1，分流设备将从外部网络所接收到的镜像数据流根据多个数据采集服务器的实际性能分成多份，并分配给相应的数据采集服务器；

步骤S2，所述数据采集服务器对于接收到的镜像数据流按照一定的采集频率进行数据采集，并生成采集数据文件发送给采集数据存储服务器；

所述采集频率为每次进行数据采集的时间段，可根据实际情况配置，比如可设定为五分钟采集一次，则数据采集服务器每五分钟就会产生一个数据文件，该文件的文件名以此次开始采集的开始时间命名，同一时间不同数据采集服务器产生的数据文件直接存储在采集数据存储服务器上；

该步骤中，所述数据采集服务器对于所有的镜像数据流量，采集其ip数据报文，并解析其包含的ip地址、端口号、协议类型、流量大小等信息。所述镜像数据以ip地址对为关键字，且具有一定的方向性，比如ip1到ip2的数据为上行数据，ip2到ip1的数据为下行数据。

步骤S3，所述采集数据存储服务器将来自不同数据采集服务器的采集数据文件，以采集时间为顺序进行合并产生合并采集数据文件S2file；

步骤S4，数据处理服务器对所述合并采集数据文件S2file进行汇聚处理，并根据事先设定的白名单和特定的ICP地址过滤文件，把符合条件的数据写入过滤数据文件S3file中；

所述步骤S4进一步包括以下步骤：

步骤S41，根据时间把所述数据采集服务器采集的数据汇聚到一起，汇聚时，可以ip地址对为关键字，根据方向进行汇聚；

步骤S42，根据汇聚后得到的数据进行过滤，过滤时依据白名单策略进行过滤，比如根据白名单里的记录，将满足这个记录的数据以原格式转存，且数据方向和白名单中的数据方向保持一致。

步骤S5，数据处理服务器根据事先设定的白名单数据，在合并采集数据文件S2file中查找白名单中每条记录在各个时间点的详细信息，并把查找到的结果写入信息记录文件S4file中；

步骤S6，将所述信息记录文件S4file进行排序，得到特定ICP在ISP间前几位（比如前100位）的流量和内容以及特定ICP在每个时间段的流量和内容，并将得到的数据存入数据库中。

在本发明一实施例中，采用本发明改进后的计数排序法进行排序。

计数排序算法是对n条记录的关键字进行比较，找出当前记录在整个排序记录中最终所在位置的一种方法，常规的计数排序算法是在整个记录中找出比当前记录关键字小的记录有多少个，若有k个，则当前记录就应该在排序后的第k+1个单元，这样通过关键字的比较就可以直接找到当前记录所在的位置，然后把记录放到其对应的位置上即可完成排序过程。

上述常规的计数排序算法的关键字比较次数固定为n(n-1)/2，记录移动的次数为2n，因此，时间性能为O(nZ)，因为所述常规的计数排序算法用了一组临时记录空间，所以该算法的空间性能为O(n)。

为了提高计数排序方法的性能，避免时间复杂度的和辅助空间增加，以及大量的空间浪费，本发明提出一种非比较排序方法法，该方法将计数方法与基数排序相结合，即一种基于计数的基数排序，称之为基于分布计数的基数排序方法(简称CRSORT)，该方法的时间复杂度为O(N)，明显优于插入排序、选择排序，也优于快速排序、分段快速排序等方法。该

分布计数排序(简称计数排序)可定义为定义：设数据元素R_i的关键字K_i是分布在闭区间[0，d’]的整数(其中0≤i≤N，d’=d-1，代表线性数)，构造一个计数表COUNT[0]，COUNT[1]，…，COUNT[d’]，对任意关键字K_i，COUNT[i]用于记录比它小的数据个数；根据COUNT表就可以把每个数据直接放到输出数组的最终位置上。

计数的基数排序可定义为：设待排序的N个数据元素存放在数组R中，元素R[i]的关键字为K_i，K_i可以看作是基于m位d进制数(d可称为基数)，即K_i=(k_i ^m，…，k_i ^j，…，k_i ²,k_i ¹)，其中，0≤k_i ^j≤d-1，1≤j≤m。对关键字采用最低位优先法(LSD)，由最低位向最高位依次采用计数排序法，进行m趟排序，此时得到的序列为有序序列。

计数方法与基数排序方法的实现是现有技术中常用的方法，在此不作赘述。

改进后的计数排序方法的关键字比较次数为n(n-1)/2，记录移动的次数为O～3n，即在最好的情况下不移动记录，在最坏的情况下移动记录3n次。因此，该方法的时间复杂度仍然为O(N)，但该方法的空间复杂度减少为O(1)。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种大型ISP间互联口统计系统，其特征在于，该系统包括：分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中：

所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；

所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；

所述采集数据存储服务器用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器；

所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，并将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器；

所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于展示流量监控信息；

所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道。

2.根据权利要求1所述的系统，其特征在于，所述分流设备根据所述镜像数据流的源ip地址和目的ip地址，并按照一预定的分配原则进行数据分配。

3.根据权利要求2所述的系统，其特征在于，所述分配原则为数据采集服务器能够正常接收分流数据，且能够处理所有接收的数据。

4.根据权利要求1所述的系统，其特征在于，每个数据采集服务器都具有至少两个网卡，其中一个网卡为所述数据采集服务器的分流数据输入端口，用于与所述分流设备连接，以接收单份镜像数据流，并按照一定的采集频率进行数据采集，生成采集数据文件；另一个网卡为所述数据采集服务器的通讯端口，用于与所述通讯交换机连接，将生成的采集数据文件发送至所述通讯交换机上。

5.根据权利要求1所述的系统，其特征在于，所述数据采集为采集ip数据报文，并解析其包含的ip地址，端口号，协议类型和/或流量大小，采集得到的数据以ip地址对为关键字，且有方向性。

6.根据权利要求1所述的系统，其特征在于，所述处理和/或管理包括数据流量过滤，阈值智能调控，白名单自动管理和/或各数据采集服务器数据和峰值数据获取。

7.根据权利要求1所述的系统，其特征在于，所述数据存储服务器和web服务器根据ip地址对进行关联处理，即根据ip地址对对不同时间段，不同方向的数据进行关联处理，并绘制波动图。

8.一种大型ISP间互联口统计方法，其特征在于，该方法包括以下步骤：

步骤S1，分流设备将从外部网络所接收到的镜像数据流根据多个数据采集服务器的实际性能分成多份，并分配给相应的数据采集服务器；

步骤S2，所述数据采集服务器对于接收到的镜像数据流按照一定的采集频率进行数据采集，并生成采集数据文件发送给采集数据存储服务器；

步骤S3，所述采集数据存储服务器将来自不同数据采集服务器的采集数据文件，以采集时间为顺序进行合并产生合并采集数据文件；

步骤S4，数据处理服务器对所述合并采集数据文件进行汇聚处理，并根据事先设定的白名单和ICP地址过滤文件，把符合条件的数据写入过滤数据文件中；

步骤S5，所述数据处理服务器根据事先设定的白名单数据，在合并采集数据文件中查找白名单中每条记录在各个时间点的详细信息，并把查找到的结果写入信息记录文件中；

步骤S6，将所述信息记录文件进行排序，得到特定ICP在ISP间前几位的流量和内容以及特定ICP在每个时间段的流量和内容，并将得到的数据存入数据库中。

9.根据权利要求8所述的方法，其特征在于，所述步骤S6采用基于分布计数的基数排序方法对所述信息记录文件进行排序。

Images