CN103532796B - 大型isp间互联口统计系统及方法 - Google Patents
大型isp间互联口统计系统及方法 Download PDFInfo
- Publication number
- CN103532796B CN103532796B CN201310530273.2A CN201310530273A CN103532796B CN 103532796 B CN103532796 B CN 103532796B CN 201310530273 A CN201310530273 A CN 201310530273A CN 103532796 B CN103532796 B CN 103532796B
- Authority
- CN
- China
- Prior art keywords
- data
- server
- file
- data acquisition
- collection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000013500 data storage Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000004891 communication Methods 0.000 claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 238000007619 statistical method Methods 0.000 claims abstract description 4
- 238000007726 management method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 101100513046 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) eth-1 gene Proteins 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 235000011464 Pachycereus pringlei Nutrition 0.000 description 1
- 240000006939 Pachycereus weberi Species 0.000 description 1
- 235000011466 Pachycereus weberi Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种大型ISP间互联口统计系统和方法，该系统包括：分流设备，将镜像数据流分成多份发送给数据采集服务器组中相应的数据采集服务器；数据采集服务器组，用于数据采集并将生成的采集数据文件发送至通讯交换机；采集数据存储服务器，对采集数据文件进行汇总和存储，并将合并采集数据文件发送给数据处理服务器；数据处理服务器，对合并采集数据文件进行处理和/或管理并发送给通讯交换机和数据存储服务器；数据存储服务器，存储数据处理服务器处理和/或管理后得到的采集数据；web服务器，向用户展示流量监控信息；通讯交换机，提供各服务器间及和外部网络的通信通道。本发明可以对互联口的流量和内容进行统计排名。
Description
技术领域
本发明涉及网络行为监控与网络行为管理技术领域，更具体地，涉及一种针对特定ICP在大型ISP间互联口流量和内容的统计排名系统及方法。
背景技术
据互联网追踪机构Netcraft在2011年10月9日的统计报告显示，全球网站总量约5亿。互联网上的信息十分广泛，而这里面有许多是人们关心的热点信息，这些热点网站上的内容，代表了互联网信息最受关注的部分。
针对特定的ICP的网站内容进行分析，解析其中的超链接以及对应的正文信息，然后再通过URL与正文反馈网站的热度，也为企业广告的正确投放提供强有力的依据。
发明内容
为了更准确地掌握热门资源的内容和排名，本发明提出一种针对特定ICP的大型ISP间互联口流量和内容的统计系统及方法，用于统计特定ICP在大型ISP间互联口流量和内容。
根据本发明的一方面，提出一种大型ISP间互联口统计系统，该系统包括：分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中：
所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；
所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；
所述采集数据存储服务器用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器；
所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，并将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器；
所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于展示流量监控信息；
所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道。
根据本发明的另一方面，还提出一种大型ISP间互联口统计方法，该方法包括以下步骤：分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中：
所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；
所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；
所述采集数据存储服务器用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器；
所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，并将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器；
所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于展示流量监控信息；
所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道。
分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中：
所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；
所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；
所述采集数据存储服务器用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器；
所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，并将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器；
所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于展示流量监控信息；
所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道。分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中：
所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；
所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；
所述采集数据存储服务器用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器；
所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，并将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器；
所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于展示流量监控信息；
所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道。
步骤S1，分流设备将从外部网络所接收到的镜像数据流根据多个数据采集服务器的实际性能分成多份，并分配给相应的数据采集服务器；
步骤S2，所述数据采集服务器对于接收到的镜像数据流按照一定的采集频率进行数据采集，并生成采集数据文件发送给采集数据存储服务器；
步骤S3，所述采集数据存储服务器将来自不同数据采集服务器的采集数据文件，以采集时间为顺序进行合并产生合并采集数据文件；
步骤S4，数据处理服务器对所述合并采集数据文件进行汇聚处理，并根据事先设定的白名单和ICP地址过滤文件，把符合条件的数据写入过滤数据文件中；
步骤S5，所述数据处理服务器根据事先设定的白名单数据，在合并采集数据文件中查找白名单中每条记录在各个时间点的详细信息，并把查找到的结果写入信息记录文件中；
步骤S6，将所述信息记录文件进行排序，得到特定ICP在ISP间前几位的流量和内容以及特定ICP在每个时间段的流量和内容，并将得到的数据存入数据库中。
根据本发明的上述方案，可以对大型ISP间互联口的流量和内容进行统计排名。
附图说明
图1为本发明大型ISP间互联口统计系统的结构示意图；
图2为本发明大型ISP间互联口统计方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
根据本发明的一方面，提出一种针对特定ICP的大型ISP间互联口流量和内容统计系统，如图1所示，所述系统包括：分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中：
所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；
在本发明一实施例中，所述分流设备根据所述镜像数据流的源ip地址和目的ip地址，并按照一预定的分配原则进行数据分配，所述分配原则比如是数据采集服务器能够正常接收分流数据，且能够处理所有接收的数据，并可根据某一数据采集服务器是否会出现丢包来判断该数据采集服务器是否具备上述能力。
所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；
其中，每个数据采集服务器都具有至少两个网卡，如eth0和eth1，其中一个网卡比如eth1为所述数据采集服务器的分流数据输入口，用于与所述分流设备连接，以接收单份镜像数据流，并按照一定的采集频率进行数据采集，生成采集数据文件；另一个网卡比如eth0为所述数据采集服务器的通讯口，用于与所述通讯交换机连接，将生成的采集数据文件发送至所述通讯交换机上；
其中，所述数据采集具体为采集ip数据报文，并解析其包含的ip地址，端口号，协议类型和/或流量大小等信息，采集得到的数据以ip地址对为关键字，且有方向性，比如ip1到ip2的记录为上行数据，ip2到ip1为下行数据；数据采集频率为产生采集数据文件的时间间隔，可根据实际情况进行配置，比如若设定采集频率为五分钟，则数据采集服务器每五分钟就会产生一个采集数据文件，该文件的文件名以此次采集的开始时间命名。
所述采集数据存储服务器为采集数据临时存储服务器，其用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器，其中，所述采集数据存储服务器中采集数据的存储时间可根据需要进行配置，通常默认设为一周的时间；
所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，所述处理和/或管理具体包括数据流量过滤，阈值智能调控，白名单自动管理，和/或各数据采集服务器数据和峰值数据获取等，所述数据处理服务器只有一个网卡，所述网卡与所述通讯交换机连接，用于将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器。
其中，所述数据流量过滤具体为对采集得到的数据进行一次汇聚和过滤处理：首先，根据时间把数据采集服务器组采集得到的数据汇聚到一起，在本发明一实施例中，以ip地址对为关键字，根据方向进行数据汇聚；然后，对于汇聚后的数据进行过滤，在本发明一实施例中，依据两个策略进行数据过滤：白名单记录和任何一个方向的数据流量超过阈值，以过滤掉不在白名单中或流量低的数据，满足以上两个条件中一个的数据以原格式进行转存，且数据方向与白名单中的数据方向保持一致，此处所述数据方向与上文提及的数据方向性的意义相同。其中，所述白名单存储有不需要过滤的ip地址表；所述阈值根据所述数据存储服务器和web服务器的实际存储空间和存储时间进行设定，或者系统自动设定。
所述阈值智能调控具体为根据近期数据流量的变化对于所述数据流量过滤所使用的阈值进行智能调节。每增加一条数据记录，需要存储的数据就会增加，在保存长期数据的情况下，每增加一条数据记录所带来的数据存储也是海量的，因此在存储空间有限的情况下，需要设置一个阈值来控制每段时间新增加数据记录的数量。所述阈值的设定支持人工和自动两种，在人工调控模式下，系统会根据人工设定的阈值进行运行，在自动调控模式下，系统会根据实际流量的情况进行自动设定。
所述白名单自动管理具体为自动添加和/或删除所述白名单中的内容，其中，添加具体为，在数据流量过滤的过程中，当有新的ip地址对的流量超过阈值的时候，把此条数据记录当作新的数据记录加入白名单；删除具体为，在记录相关数据流量最后一次超过阈值的时间到当前的时间之间的差值超过系统设定的存储时间时，自动删除该白名单。
所述各数据采集服务器数据和峰值数据获取具体为获取通过所述数据流量过滤的、在各个采集时间点的数据以及当天的峰值，其中各数据采集服务器数据的获取具体为，系统根据所述白名单的记录，通过所述数据流量过滤的数据中进行检索，查找与所述记录相匹配的数据的相关信息，并且检索结果与白名单记录的数据方向保持一致；峰值数据的获取具体为，系统根据数据流量过滤后的结果，通过排序和汇聚，查找出各数据采集服务器的当天数据记录中的最大值。
所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于向用户展示流量监控信息，具体有ip地址，流量方向，流量大小，流量波动图等。所述数据存储服务器和web服务器根据ip地址对进行关联处理，即根据ip地址对对不同时间段，不同方向的数据进行关联处理，并绘制波动图。所述数据存储服务器中数据存储的时间很长，通常默认设为十年的时间，所以需要较大的存储空间。
所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道，在本发明一实施例中，所述通讯交换机为通讯千兆交换机。
在本发明一实施例中，所述数据采集服务器、采集数据存储服务器、数据处理服务器、数据存储服务器、web服务器与所述通讯交换机之间的通讯线路为1G通讯线路。
根据本发明的另一方面，还提出一种针对特定ICP的大型ISP间互联口流量和内容统计方法，如图2所示，所述方法包括以下步骤：
步骤S1，分流设备将从外部网络所接收到的镜像数据流根据多个数据采集服务器的实际性能分成多份，并分配给相应的数据采集服务器；
步骤S2，所述数据采集服务器对于接收到的镜像数据流按照一定的采集频率进行数据采集，并生成采集数据文件发送给采集数据存储服务器；
所述采集频率为每次进行数据采集的时间段，可根据实际情况配置，比如可设定为五分钟采集一次，则数据采集服务器每五分钟就会产生一个数据文件，该文件的文件名以此次开始采集的开始时间命名，同一时间不同数据采集服务器产生的数据文件直接存储在采集数据存储服务器上；
该步骤中，所述数据采集服务器对于所有的镜像数据流量，采集其ip数据报文，并解析其包含的ip地址、端口号、协议类型、流量大小等信息。所述镜像数据以ip地址对为关键字，且具有一定的方向性，比如ip1到ip2的数据为上行数据，ip2到ip1的数据为下行数据。
步骤S3，所述采集数据存储服务器将来自不同数据采集服务器的采集数据文件，以采集时间为顺序进行合并产生合并采集数据文件S2file；
步骤S4，数据处理服务器对所述合并采集数据文件S2file进行汇聚处理，并根据事先设定的白名单和特定的ICP地址过滤文件，把符合条件的数据写入过滤数据文件S3file中；
所述步骤S4进一步包括以下步骤：
步骤S41，根据时间把所述数据采集服务器采集的数据汇聚到一起，汇聚时，可以ip地址对为关键字，根据方向进行汇聚；
步骤S42，根据汇聚后得到的数据进行过滤，过滤时依据白名单策略进行过滤，比如根据白名单里的记录，将满足这个记录的数据以原格式转存，且数据方向和白名单中的数据方向保持一致。
步骤S5，数据处理服务器根据事先设定的白名单数据，在合并采集数据文件S2file中查找白名单中每条记录在各个时间点的详细信息，并把查找到的结果写入信息记录文件S4file中；
步骤S6，将所述信息记录文件S4file进行排序，得到特定ICP在ISP间前几位（比如前100位）的流量和内容以及特定ICP在每个时间段的流量和内容，并将得到的数据存入数据库中。
在本发明一实施例中，采用本发明改进后的计数排序法进行排序。
计数排序算法是对n条记录的关键字进行比较，找出当前记录在整个排序记录中最终所在位置的一种方法，常规的计数排序算法是在整个记录中找出比当前记录关键字小的记录有多少个，若有k个，则当前记录就应该在排序后的第k+1个单元，这样通过关键字的比较就可以直接找到当前记录所在的位置，然后把记录放到其对应的位置上即可完成排序过程。
上述常规的计数排序算法的关键字比较次数固定为n(n-1)/2，记录移动的次数为2n，因此，时间性能为O(nZ)，因为所述常规的计数排序算法用了一组临时记录空间，所以该算法的空间性能为O(n)。
为了提高计数排序方法的性能，避免时间复杂度的和辅助空间增加，以及大量的空间浪费，本发明提出一种非比较排序方法法，该方法将计数方法与基数排序相结合，即一种基于计数的基数排序，称之为基于分布计数的基数排序方法(简称CRSORT)，该方法的时间复杂度为O(N)，明显优于插入排序、选择排序，也优于快速排序、分段快速排序等方法。该
分布计数排序(简称计数排序)可定义为定义：设数据元素Ri的关键字Ki是分布在闭区间[0，d’]的整数(其中0≤i≤N，d’=d-1，代表线性数)，构造一个计数表COUNT[0]，COUNT[1]，…，COUNT[d’]，对任意关键字Ki，COUNT[i]用于记录比它小的数据个数；根据COUNT表就可以把每个数据直接放到输出数组的最终位置上。
计数的基数排序可定义为：设待排序的N个数据元素存放在数组R中，元素R[i]的关键字为Ki，Ki可以看作是基于m位d进制数(d可称为基数)，即Ki=(ki m，…，ki j，…，ki 2,ki 1)，其中，0≤ki j≤d-1，1≤j≤m。对关键字采用最低位优先法(LSD)，由最低位向最高位依次采用计数排序法，进行m趟排序，此时得到的序列为有序序列。
计数方法与基数排序方法的实现是现有技术中常用的方法，在此不作赘述。
改进后的计数排序方法的关键字比较次数为n(n-1)/2，记录移动的次数为O～3n，即在最好的情况下不移动记录，在最坏的情况下移动记录3n次。因此，该方法的时间复杂度仍然为O(N)，但该方法的空间复杂度减少为O(1)。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种大型互联网服务提供商间互联口统计系统，其特征在于，该系统包括：分流设备，数据采集服务器组，采集数据存储服务器，数据处理服务器，数据存储服务器，web服务器和通讯交换机，其中：
所述分流设备用于将从外部网络所接收到的镜像数据流根据所述数据采集服务器组中不同数据采集服务器的实际性能分成多份，并发送给所述数据采集服务器组中相应的数据采集服务器；
所述数据采集服务器组包括多个数据采集服务器，所述数据采集服务器用于进行数据采集，并将生成的采集数据文件发送至所述通讯交换机上；
所述采集数据存储服务器用于对同一时间不同数据采集服务器产生的采集数据文件根据采集时间进行汇总和存储，并将汇总后得到的合并采集数据文件发送给所述数据处理服务器；
所述数据处理服务器用于对所述合并采集数据文件进行处理和/或管理，并将经处理和/或管理后得到的采集数据发送给所述通讯交换机和所述数据存储服务器；
所述数据存储服务器和web服务器为数据关联存储设备，所述数据存储服务器用于存储所述数据处理服务器处理和/或管理后得到的采集数据，所述web服务器用于展示流量监控信息；
所述通讯交换机用于提供系统内各服务器间及和外部网络的通信通道；
其中，所述数据处理服务器对所述合并采集数据文件进行汇聚处理，并根据事先设定的白名单和网络内容服务商地址过滤文件，把符合条件的数据写入过滤数据文件中，以及根据事先设定的白名单数据，在合并采集数据文件中查找白名单中每条记录在各个时间点的详细信息，并把查找到的结果写入信息记录文件中，采用基于分布计数的基数排序方法对所述信息记录文件进行排序，得到特定网络内容服务商在互联网服务提供商间前几位的流量和内容以及特定网络内容服务商在每个时间段的流量和内容。
2.根据权利要求1所述的系统，其特征在于，所述分流设备根据所述镜像数据流的源ip地址和目的ip地址，并按照一预定的分配原则进行数据分配。
3.根据权利要求2所述的系统，其特征在于，所述分配原则为数据采集服务器能够正常接收分流数据，且能够处理所有接收的数据。
4.根据权利要求1所述的系统，其特征在于，每个数据采集服务器都具有至少两个网卡，其中一个网卡为所述数据采集服务器的分流数据输入端口，用于与所述分流设备连接，以接收单份镜像数据流，并按照一定的采集频率进行数据采集，生成采集数据文件；另一个网卡为所述数据采集服务器的通讯端口，用于与所述通讯交换机连接，将生成的采集数据文件发送至所述通讯交换机上。
5.根据权利要求1所述的系统，其特征在于，所述数据采集为采集ip数据报文，并解析其包含的ip地址，端口号，协议类型和/或流量大小，采集得到的数据以ip地址对为关键字，且有方向性。
6.根据权利要求1所述的系统，其特征在于，所述处理和/或管理包括数据流量过滤，阈值智能调控，白名单自动管理和/或各数据采集服务器数据和峰值数据获取。
7.根据权利要求1所述的系统，其特征在于，所述数据存储服务器和web服务器根据ip地址对对不同时间段，不同方向的数据进行关联处理，并绘制波动图。
8.一种大型互联网服务提供商间互联口统计方法，其特征在于，该方法包括以下步骤：
步骤S1，分流设备将从外部网络所接收到的镜像数据流根据多个数据采集服务器的实际性能分成多份，并分配给相应的数据采集服务器；
步骤S2，所述数据采集服务器对于接收到的镜像数据流按照一定的采集频率进行数据采集，并生成采集数据文件发送给采集数据存储服务器；
步骤S3，所述采集数据存储服务器将来自不同数据采集服务器的采集数据文件，以采集时间为顺序进行合并产生合并采集数据文件；
步骤S4，数据处理服务器对所述合并采集数据文件进行汇聚处理，并根据事先设定的白名单和网络内容服务商地址过滤文件，把符合条件的数据写入过滤数据文件中；
步骤S5，所述数据处理服务器根据事先设定的白名单数据，在合并采集数据文件中查找白名单中每条记录在各个时间点的详细信息，并把查找到的结果写入信息记录文件中；
步骤S6，将所述信息记录文件进行排序，得到特定网络内容服务商在互联网服务提供商间前几位的流量和内容以及特定网络内容服务商在每个时间段的流量和内容，并将得到的数据存入数据库中。
9.根据权利要求8所述的方法，其特征在于，所述步骤S6采用基于分布计数的基数排序方法对所述信息记录文件进行排序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310530273.2A CN103532796B (zh) | 2013-10-31 | 2013-10-31 | 大型isp间互联口统计系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310530273.2A CN103532796B (zh) | 2013-10-31 | 2013-10-31 | 大型isp间互联口统计系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103532796A CN103532796A (zh) | 2014-01-22 |
| CN103532796B true CN103532796B (zh) | 2017-01-04 |
Family
ID=49934495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310530273.2A Active CN103532796B (zh) | 2013-10-31 | 2013-10-31 | 大型isp间互联口统计系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103532796B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104243209A (zh) * | 2014-09-10 | 2014-12-24 | 赛尔网络有限公司 | 一种ip地址内容提供商标示覆盖统计方法 |
| CN104657657B (zh) * | 2015-02-12 | 2018-08-07 | 北京盛世光明软件股份有限公司 | 一种识别软件种类的方法及系统 |
| CN104715077B (zh) * | 2015-03-27 | 2018-06-05 | 李冬 | 数据采集处理方法 |
| CN105282151B (zh) * | 2015-09-18 | 2018-09-11 | 北京锐安科技有限公司 | 用于数据报文分离处理的系统 |
| CN107276782B (zh) * | 2016-04-07 | 2020-10-16 | 中国移动通信集团福建有限公司 | 一种信息处理方法、设备和系统 |
| CN111181811A (zh) * | 2019-12-30 | 2020-05-19 | 赛尔网络有限公司 | 统计方法、装置、电子设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080113902A (ko) * | 2007-06-26 | 2008-12-31 | 주식회사 케이티 | 국외 ｉｓｐ 간 상호접속 회선상의 트래픽 분석 시스템 및방법 |
| CN102055620A (zh) * | 2009-10-27 | 2011-05-11 | 中国移动通信集团浙江有限公司 | 监控用户体验的方法和系统 |
| CN102882703A (zh) * | 2012-08-31 | 2013-01-16 | 赛尔网络有限公司 | 一种基于http分析的url自动分类分级的系统及方法 |
| CN103595577A (zh) * | 2013-10-31 | 2014-02-19 | 赛尔网络有限公司 | Isp间互联口超过阈值流量监控系统及方法 |
-
2013
- 2013-10-31 CN CN201310530273.2A patent/CN103532796B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080113902A (ko) * | 2007-06-26 | 2008-12-31 | 주식회사 케이티 | 국외 ｉｓｐ 간 상호접속 회선상의 트래픽 분석 시스템 및방법 |
| CN102055620A (zh) * | 2009-10-27 | 2011-05-11 | 中国移动通信集团浙江有限公司 | 监控用户体验的方法和系统 |
| CN102882703A (zh) * | 2012-08-31 | 2013-01-16 | 赛尔网络有限公司 | 一种基于http分析的url自动分类分级的系统及方法 |
| CN103595577A (zh) * | 2013-10-31 | 2014-02-19 | 赛尔网络有限公司 | Isp间互联口超过阈值流量监控系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103532796A (zh) | 2014-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103532796B (zh) | 大型isp间互联口统计系统及方法 | |
| D’Alconzo et al. | A survey on big data for network traffic monitoring and analysis | |
| US11757739B2 (en) | Aggregation of select network traffic statistics | |
| CN103595577B (zh) | Isp间互联口超过阈值流量监控系统及方法 | |
| CN104243209A (zh) | 一种ip地址内容提供商标示覆盖统计方法 | |
| CN102737119B (zh) | 统一资源定位符的查找方法、过滤方法和相关设备及系统 | |
| Cai et al. | Towards an AS-to-organization Map | |
| CN105429968B (zh) | 基于布隆过滤器的网络取证载荷归属方法及系统 | |
| CN103957282B (zh) | 一种域内终端用户域名解析加速系统及其方法 | |
| CN101931628B (zh) | 一种域内源地址的验证方法和装置 | |
| CN106233296A (zh) | Url匹配装置、url匹配方法以及url匹配程序 | |
| CN103595576A (zh) | 一种基于内容提供商标识的互联口icp流量统计系统及方法 | |
| CN103237094A (zh) | 一种识别用户的方法及装置 | |
| CN108495075A (zh) | 视频通信方法及装置 | |
| CN107231376A (zh) | 一种idc机房动态分类分级管理系统 | |
| CN108366012A (zh) | 一种社交关系建立方法、装置及电子设备 | |
| CN106326280B (zh) | 数据处理方法、装置及系统 | |
| CN106331172A (zh) | 一种应用于内容分发网络的资源检测方法及装置 | |
| DE112009002167T5 (de) | Systeme und Verfahren zum Suchen nach einem Zielkontakt und zum Erzeugen eines Kontaktpfades/System | |
| CN116760834A (zh) | 一种负载均衡方法、系统、设备以及存储介质 | |
| CN108882309A (zh) | 一种运用大数据分析智能调整业务带宽的方法和系统 | |
| DE202009019134U1 (de) | Technik zur Regulierung von Linkverkehr | |
| CN106156258A (zh) | 一种在分布式存储系统中统计数据的方法、装置及系统 | |
| Vidya et al. | Web mining-concepts and application | |
| CN103888481A (zh) | 一种局域网dhcp数据包过滤方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |