CN101136839A

CN101136839A - 一种发现并控制端到端对等网络用户流量的方法和设备

Info

Publication number: CN101136839A
Application number: CN200610062397.2A
Authority: CN
Inventors: 周昶; 翟红健
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2006-08-31
Filing date: 2006-08-31
Publication date: 2008-03-05

Abstract

本发明公开了一种在数据通讯领域、尤其是在网络流量监测和控制技术中能够发现并控制端到端对等网络用户流量的方法和设备。实现方法如下：获取所有用户的IP地址，进行压缩后存储于一个表中；对通过同一个用户的数据，进行分类；对分类后的数据进行跟踪，并对保持持续流量的数据进行标记；对标记过的数据进行跟踪，在数据流中断设定时间或数据流的流量持续一定时间小于设定值时，解除标记；对标记过的数据流合并并对这一流量进行限制。实现设备包括数据输入接口单元、数据标记与处理单元和数据输出接口单元。本发明所述的方法和设备，缓解了网络堵塞及流量增大的问题。

Description

一种发现并控制端到端对等网络用户流量的方法和设备

技术领域

本发明涉及数据通讯领域，尤其涉及网络流量监测和控制技术。

背景技术

在计算机网络发展史上，恐怕没有任何一种网络应用像P2P(Peer-to-Peer，端到端对等网络)技术这样深刻的影响了全球宽带服务的运营模式。据统计，P2P数据流量占因特网总流量达60％以上，并且在用户总数没有显著增长的情况下，P2P数据流量仍然在快速持续增长。它在改变数据网络流量突发性数学模型的同时，也影响了ISP(Internet Service Provider，网络服务提供商)的商业运作模式。如何应对P2P带来的网络带宽资源匮乏问题、如何修正网络的规划和完成持续成长、如何借此契机推出新的服务产品并拓展新的市场拥有率，是市场对ISP提出的新挑战。

针对这一问题，国际性网络设备提供商如思科(Cisco)网络、北电网络(NortelNetworks)都在积极准备解决方案，但由于P2P数据通信具有流量大、种类繁多、特征变化迅速、检测困难的特点，当前通信设备市场上没有完备的解决方案。目前各个运营商采用的方法大多是封服务器地址，封端口号，或限制每个用户的流量，由于P2P软件的不断更新，新的软件不断产生，采用各种代理技术和分布式服务器技术，可以有效地绕过运营商的监控。同时对用户流量的限制将招致用户的不满。

P2P技术，即端到端对等网络技术，是指网络主机在充当客户端获取资源的同时充当服务器向其它对等体(Peer)提供服务。随着计算机网络的广泛应用和多媒体资源的丰富，P2P技术被主要应用于文件(主要是大型的多媒体文件)共享方面。当前用于文件共享的P2P协议种类很多，在美国大量使用的是KaZaA，在欧洲存在大量用户的是eDonkey和WinMx，在我国使用最频繁的是BitTorrent；其它常用的P2P协议还有如FastTrack、eMule、Grokster、Groove、Gnutella等。P2P用户的总数庞大到数以百万计，占用的带宽资源也高达60％以上。广泛应用的P2P文件共享机制主要具有以下几个特点：

●使用向多个IP终端并发多个连接的方法使用带宽

●在下载数据的同时，使用相当的带宽上传数据

●单独用户上载、下载持续时间长，一般为几个小时

●总使用时间遍布24小时，峰值集中在晚上和周末

P2P应用对ISP的影响：

由于P2P软件可以最大程度的利用ISP向用户提供的峰值带宽，彻底改变了计算机网络平均流量低，突发性强的传统数学模型，ISP所使用的统计复用的服务模型也随之失效。长时间高度拥塞的网络也带来网络管理的困难和功能失效的危险。此外各种对实时性要求较高的服务例如VoIP、Streaming Video和Audio也因此遭遇了前所未有的艰巨的和不确定的网络运行环境。在原有服务承诺的基础上，ISP必须采用更多设备，提供更多接入带宽(NAP)和相关资源才能满足用户的需求。而由于ISP并没有提供更多的服务，也没有因此而增加了客户，这部分投资的收益几乎为零。高额投资带来收入的低增长甚至负增长，以及服务质量下降所带来的客户转移甚至投诉是ISP所共同面临的一项艰巨的挑战。

因此，为了保证网络的稳定，保证多数用户的利益，必须对大量占用网络资源的行为进行一定的约束。这就需要一种方法，把类似P2P这样的持续地大量地占用网络资源的业务从网络数据流中识别出来并加以限制。

分析一下ISP的盈利模式可以发现，ISP应该对P2P的业务即爱又恨。一方面，大量使用P2P业务的人群，是他们最忠实的上网用户，大量的使用的是包月服务，是他们收入的重要来源，或者说是高端客户。另一方面，由于这些P2P业务的大量应用，极大地占用的网络的带宽，导致网络拥塞。从而导致客户满意度下降，客户的抱怨或流失。

以提供接入服务的ISP来说，对于一个Internet的上行端口(对一个ISP服务商)，其下可能接有数千个ADSL或以太网接入的用户，每个ADSL或以太网用户的接入速率为1Mbps或10Mbps。如果有1000个用户同时使用，那么在下行端口初就有1G到10G的数据流量。这是ISP所不能承受的。同时，如果对每个用户的流量进行更低的限制，例如128K或256K，肯定会引起用户的严重不满。同时由于现在交换设备性能的提升，用户和用户之间的数据通道的能力还是有余量的。也就是说，对于网内数据(指在1个Internet出口之下的所用用户之间的数据)，数据交换的带宽基本不需要限制，而对于网间数据(指通过Internet出口，与外部交换的数据)最好能比较合理地进行控制。

发明内容

本发明要解决的技术问题是提供一种发现并控制P2P网络用户流量的方法，通过对网间数据的分析，实现网络用户流量的识别和控制，并提出一种实现该方法的装置。

本发明中的发现并控制端到端对等网络用户流量的方法，包括：

A、获取所有用户的Ip地址，进行压缩后存储于一个表中；

B、对通过同一个用户的数据，进行分类；

C、对分类后的数据进行跟踪，并对保持持续流量的数据进行标记；

D、对标记过的数据进行跟踪，在数据流中断设定时间或数据流的流量持续一定时间小于设定值时，解除标记；

E、对标记过的数据流合并并对这一流量进行限制。

上述方案中，对通过同一个用户的数据分类，可以是根据对一个用户的对端IP地址或TCP/UDP的端口号，或用户的业务类型进行分类。

本发明中的发现并控制端到端对等网络用户流量的设备，包括数据输入接口单元、数据标记与处理单元和数据输出接口单元；其中数据输入接口单元和数据输出接口单元作为设备的数据输入输出接口，数据标记与处理单元完成对流经本设备数据的分析、标记与处理，实现对P2P网络流量的识别与控制。

上述方案中，数据标记与处理单元包括用户IP地址获取和匹配单元，用于获取用户的IP地址和对其进行压缩并存储；流量记录和标记单元，用于对特定用户的特定行为流量进行记录和标记；流量控制单元，根据记录和标记的结果对流量进行控制。

流量记录和标记单元包括流量检测器和不同时间的计数器，流量检测器用于检测用户与某一对端的数据流量，计数器用于根据流量检测结果和预设的方案进行计数。

本发明不针对某个用户的所有应用，不限制用户原有的接入带宽，仅仅对用户的在网络出口处的P2P业务进行限制，不影响网内用户间的P2P应用。只在网络出口处布置设备，易于网络控制和管理。也不要求其它设备的支持和升级。对于P2P及相似的大流量，持续时间长的业务自动识别，不需要网络管理员的接入和分析，能自动适应新的应用。可以根据时段或其它网络情况，灵活配置P2P的许可流量。本发明使所有的接入用户有一个比较公平的机会，分享Internet出口的带宽，而不会因为少数用户的个别应用，影响其它大部分用户的上网。同时又不影响网内数据的交换。

附图说明

图1是本发明方法的流程图；

图2是本发明采用IP地址进行压缩的哈希算法图；

图3是本发明采用分类标记示意图；

图4是本发明流控示意图。

具体实施方式

如图1为本发明的方法流程图，它也给出了装置的结构。

数据从输入接口单元进入分类标记与处理单元，然后从输出接口单元输出。装置放置于Internet出口和用户之间，检测所有的接入Internet网的数据。其中数据输入接口单元和数据输出接口单元作为设备的数据输入输出接口，采用千兆以太网接口，根据用户接口电路的不同，可以是以太网、POS等。数据标记与处理单元完成对流经本设备数据的分析、标记与处理，实现对P2P网络流量的识别与控制。

数据分类标记与处理单元由以下三部分构成。

一，用户的IP地址的获取和匹配：

对于一个ISP的接入系统，通常其下接入的用户为几千个。无论对于用户的上行或下行数据(上行数据：指用户上传到因特网的数据。下行数据：指用户从因特网接收的数据)，其用户的IP地址根据IP报文的格式是可以轻易获得的。由于IP地址的位宽是32位，如果用一个表直接存储，其空间将是2＾32，是难以承受的。由于实际用户数只有几千个，至多几万个，可以通过(HASH)哈希算法，将表项的空间大大压缩。例如，可以将4千个用户的信息，通过HASH算法，将用户的IP地址压缩到一个16K的表中，如图2所示。这样的实现方案不改变原来的网络结构，不对用户的IP地址进行任何限制。

二，对于每个通过的数据报文，进行分类。可以是根据对端的IP地址或TCP/UDP的端口号进行划分；也可以根据用户的业务类型进行分类，例如FTP，或HTTP等。

对分类后的数据进行跟踪，看是否是保持持续的流量，对保持持续流量的数据再进行标记。例如，对某个分类的数据流在一定时间秒内始终数据流量大于某个数值，进行标记。对标记过的数据流进行跟踪，只有在数据流中断一定时间，或者数据流的流量持续一定时间小于某个数值，方可解除标记。

如图3所示，首先，秒流量检测器检测某个表项的流量，如果是大于256Kbps，则300秒计数器加1，60秒计数器清零。如果小于64Kbps，或中断，则60秒流量计数器加1，300秒计数器清零。如果300秒计数器计数等于300，则将这个表项的流置上标记，如果60秒计数器计数等于60，则将这个表项的流清除标记。

三，对于上述的数据流，通过一个分发器，根据标志，分发到普通数据队列和被标志数据队列。对于标记的数据流合并，并对这一流量进行限制，动态地分配带宽。对超出的部分，可以通过RED(随即早期检测)的策略进行丢弃，如图4。

例如，假设在系统内有1000个宽带用户通过本设备对因特网进行访问，而系统分配给这些用户的总带宽为100M。假设其中有100个用户应用BT软件从网上下载电影，不分白天晚上。如果不加以限制，每个用户的流量都可以达到1M甚至更多，这取决于ISP对每个用户最大带宽的限制。这样总流量已经达到100M。另外900个用户是普通的上网，收发邮件等应用，由于这些业务对网络访问的突发性和随机性，通常在上网的高峰时间(8:00AM-10:00PM)时需占用50M左右的带宽，在非上网的高峰时间(10:00PM-8:00AM)时需占用20M左右的带宽。如果系统没有区分用户，同等对待，在网络超负荷的时候通常采取随机丢包的策略，这样越是大量使用网络资源的人最终所获得的资源分配越多，而较少使用的人，分配的少。在不考虑拥塞引起网络效率下降的情况下。这时候这100个用户能获得总带宽的三分之二，每个用户大概667K。另外900人只能获得总带宽的三分之一，即33M，每人只有不到40K。这时由于网络已经拥塞，这900人会对宽带服务表示不满。如果采用本发明的方法，这100个下载电影的用户已经被标记出来。把这些用户的数据流分在一个队列，对这个队列的总的流量进行限制，例如30M，每人300K，网络速度受到了一定的限制。这时候，另外900人可以获得70M的带宽，大于他们所需求的50M的带宽，不会对网络服务不满。而在非上网的高峰时间(10:00PM-8:00AM)系统动态地分配了30M的流量，仍然大于900个用户20M数据流量的需求。而另外100个用户将获得70M的带宽。每人700K，也应该比较满意。同时对于本网内不流经本设备的数据流是不受限制的。

Claims

1.一种发现并控制端到端对等网络用户流量的方法，包括：

A、获取所有用户的IP地址，进行压缩后存储于一个表中；

B、对通过同一个用户的数据，进行分类；

E、对标记过的数据流合并并对这一流量进行限制。

2.权利要求1所述的发现并控制端到端对等网络用户流量的方法，其特征在于，对通过同一个用户的数据分类，是根据对一个用户的对端IP地址或TCP/UDP的端口号，或用户的业务类型进行分类。

3.一种发现并控制端到端对等网络用户流量的设备，包括数据输入接口单元、数据标记与处理单元和数据输出接口单元；其中数据输入接口单元和数据输出接口单元作为设备的数据输入输出接口，数据标记与处理单元完成对流经本设备数据的分析、标记与处理，实现对P2P网络流量的识别与控制。

4.权利要求3所述的发现并控制端到端对等网络用户流量的设备，其特征在于，所述数据标记与处理单元包括用户IP地址获取和匹配单元，用于获取用户的IP地址和对其进行压缩并存储；流量记录和标记单元，用于对特定用户的特定行为流量进行记录和标记；流量控制单元，根据记录和标记的结果对流量进行控制。

5.根据要求4所述的发现并控制端到端对等网络用户流量的设备，其特征在于，所述流量记录和标记单元包括流量检测器和不同时间的计数器，流量检测器用于检测用户与某一对端的数据流量，计数器用于根据流量检测结果和预设的方案进行计数。