CN101110757A - 半分布式p2p网络流量管理方法、系统及设备 - Google Patents

半分布式p2p网络流量管理方法、系统及设备 Download PDF

Info

Publication number
CN101110757A
CN101110757A CN200610099348.6A CN200610099348A CN101110757A CN 101110757 A CN101110757 A CN 101110757A CN 200610099348 A CN200610099348 A CN 200610099348A CN 101110757 A CN101110757 A CN 101110757A
Authority
CN
China
Prior art keywords
node
flow
local
network
requesting party
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200610099348.6A
Other languages
English (en)
Other versions
CN100591042C (zh
Inventor
管红光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XFusion Digital Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN200610099348.6A priority Critical patent/CN100591042C/zh
Priority to PCT/CN2007/001063 priority patent/WO2008011775A1/zh
Publication of CN101110757A publication Critical patent/CN101110757A/zh
Application granted granted Critical
Publication of CN100591042C publication Critical patent/CN100591042C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078Resource delivery mechanisms
    • H04L67/1085Resource delivery mechanisms involving dynamic management of active down- or uploading connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种半分布式P2P网络流量管理方法,包括步骤:由家乡节点分别获取网络流量资源请求方节点的下载流量及资源提供方节点的上传流量;家乡节点根据所述下载流量和所述上传流量的值对网络流量进行管理。本发明还公开了一种半分布式P2P网络流量管理系统和一种家乡节点设备。利用本发明,可以准确地了解P2P网络中各节点的流量,并对P2P网络流量进行有效管理。

Description

半分布式P2P网络流量管理方法、系统及设备
技术领域
本发明涉及P2P网络技术领域,特别涉及一种半分布式P2P网络流量管理方法、系统及设备。
背景技术
近几年来,P2P(Peer to Peer)作为一项全新的互联网技术发展迅速,引起了很多用户和运营商的关注。P2P是一种分布式网络,网络参与者共享它们所拥有的一部分硬件资源,如处理能力、存储能力、网络连接能力等,这些共享资源能被其它对等节点直接访问而无需经过中间实体,网络中的每一个节点既是资源(服务或内容)的提供者,又是资源的获取者。P2P技术颠覆了传统的C/S(Client/Server,客户端/服务器)信息服务模式,允许用户互相直接搜索和共享资源。
随着P2P业务的快速增长,也引发了一些问题,例如本地网络带宽被大量消耗,甚至引起网络堵塞,降低了其它业务的性能。引发这一问题的原因在于P2P网络中流量的分布并不知道也不考虑具体承载层网络的物理拓扑结构,使得大量原本可以本地化的流量在长途链路上发生,这样对骨干网的流量产生冲击,造成网络带宽的进一步大量消耗。
图1示出了现有技术中一种网络流量分布比较恶劣的情况。
图中实线代表承载网的拓扑结构,虚线代表流量分布。节点A、B、C、D为本地网节点,节点E、F、G、H为外地网节点。从图中可以看出很多流量发生在本地网与外地网之间,如节点A和节点E,每次节点A与节点E之间发送数据都要经过D,这样D-E间的骨干网链路就承担了和A-E间本地网链路相同的流量,同样的C-E间、D-F间、D-G间、C-E间的本地链路流量也会叠加到D-E上,骨干网上的流量负荷就非常重了,这只是一个简化的例子,有可能A-H间、C-F间都会发生类似的流量,这样对本地网和骨干网的流量都造成了消耗。
图2则是一种网络流量分布比较理想的情况。
与图1所示网络流量分布情况相比,大部分流量都集中在了本地链路而没有通过骨干网链路扩散到外地去。
随着P2P的技术的进一步发展,新的P2P架构发展起来。其中一种是含有超级节点(SN,Super Node,)的半分布式网络,如图3所示:
图中处于中央的四台设备31、32、33、34为超级节点,每个超级节点负责一个或多个普通节点。半分布式网络选择性能较高(处理、存储、带宽等方面性能)的节点作为超级节点,并在各个超级节点上存储系统中其他部分节点的信息,发现算法仅在超级节点之间转发,如图中的标示的数据流,超级节点再将查询请求转发给适当的普通节点。
半分布式结构也是一个层次化结构,超级节点之间构成一个高速转发层,超级节点和所负责的普通节点构成若干层次。
这种结构为统计P2P流量提供了一个较好的基础,在分层的基础上,就可以挑选一些超级节点作为家乡节点,同时还可以利用超级节点性能较高的特点对网络特征进行统计和管理。
现有技术给出了一种控制P2P网络流量的方法。如图4所示,其具体做法为:在P2P网络中插入一个伪节点10,只进行P2P业务应用,同时通过监控设备20测量统计这个伪节点和外部的P2P节点的连接并统计其流量和持续时间,当流量或持续时间超过限额时通过设备30关闭该连接。
上述这种方法对网络流量的测量统计结果很不准确,当伪节点没有和外部节点产生P2P连接时,无论外部节点的P2P业务占多少带宽,都不会被监控发现,也就不能进行网络流量管理。同时,这种通过伪节点参与P2P连接也人为地引入了大量P2P连接,占用了大量带宽,而且要达到全网监控成本很高。
发明内容
本发明的主要目的是提供一种半分布式P2P网络流量管理方法,以解决现有技术中不能准确测量统计P2P网络流量,而且需要占用大量网络带宽的问题,准确地统计出各节点的流量,并对P2P网络流量进行有效管理。
本发明的另一个目的是提供一种半分布式P2P网络流量管理系统,以简单、有效地管理P2P网络的流量。
本发明的另一个目的是提供一种家乡节点设备,以对P2P网络的流量进行准确统计。
为此,本发明提供如下的技术方案:
一种半分布式P2P网络流量管理方法,包括步骤:
A、由家乡节点分别获取网络流量资源请求方节点的下载流量及资源提供方节点的上传流量;
B、家乡节点根据所述下载流量和所述上传流量的值对网络流量进行管理。
所述步骤A包括:
A1、资源请求方节点通过本地超级节点与资源提供方节点建立业务传输关系;
A2、资源请求方节点定期向与其对应的家乡节点上报下载流量表;
A3、由资源提供方节点或本地超级节点定期向所述家乡节点上报上传流量表。
所述步骤A进一步包括:
在资源请求方节点第一次向与其对应的家乡节点上报下载流量表之前,资源请求方节点获取与其对应的家乡节点。
所述资源请求方节点获取与其对应的家乡节点的步骤包括:
资源请求方节点向网络内的DHCP服务器查询获取与其对应的家乡节点地址;或者
资源请求方节点基于分布式哈希表的分布式检索和路由算法计算获取与其对应的家乡节点地址。
所述步骤A1包括:
A11、资源请求方节点获取本地超级节点的地址;
A12、向本地超级节点发送搜索请求;
A13、本地超级节点向网络进行搜索,获得资源地址列表;
A14、将获得的资源地址列表发送给资源请求方节点;
A15、资源请求方节点根据所述资源地址列表向资源提供方节点直接申请服务。
可选地,所述资源请求方节点获取本地超级节点的地址的步骤包括:
资源请求方节点通过组播方式获取本地超级节点的地址;或者
资源请求方节点通过服务定位协议获取本地超级节点的地址。
所述步骤A2包括:
定义头域为Traffic、类型为Download的SIP消息;
本端普通节点通过定义的SIP消息携带所述下载流量表上报给与其对应的家乡节点。
所述步骤A3包括:
定义头域为Traffic、类型为Upload的SIP消息;
本端普通节点通过定义的SIP消息携带所述下载流量表上报给与其对应的家乡节点。
优选地,所述下载流量表和所述上传流量表为UTF-8编码的字符形式。
优选地,在所述步骤A12和步骤A13之间还包括步骤:
本地超级节点向资源请求方节点对应的家乡节点发送搜索内容许可请求;
获得所述家乡节点的搜索许可后进到步骤A13。
优选地,所述步骤A1进一步包括:
所述家乡节点在向本地超级节点发送搜索许可消息时,将为资源请求方节点和资源提供方节点分配的密钥发送给本地超级节点;
本地超级节点将所述密钥分别发送给资源请求方节点和资源提供方节点。
所述步骤B包括:
B1、所述家乡节点比较所述下载流量与所述上传流量;
B2、当所述下载流量与所述上传流量的差超过预定的阈值时,所述家乡节点分别向资源请求方节点和资源提供方节点发送流重定向命令;
B3、资源提供方节点收到所述流重定向命令后,通过所述本地超级节点将资源发送给资源请求方节点。
可选地,所述家乡节点向资源请求方节点和资源提供方节点发送的流重定向命令时,更新为其分配的密钥。
所述步骤B还包括:
B4、所述家乡节点获取本地超级节点的数据流量;
B5、根据上传流量、下载流量和本地超级节点的数据流量三者之间的关系确定网络中存在的链路故障和流量统计数据。
所述步骤B5包括:
当上传流量大于下载流量时,如果本地超级节点的数据流量与下载流量一致,则所述家乡节点向网管报告资源提供方节点到本地的链路故障;如果本地超级节点的数据流量与上传流量一致,则所述家乡节点将本地超级节点的数据流量作为流量统计数据上报给网管;
当上传流量小于下载流量时,如果本地超级节点的数据流量与下载流量一致,则所述家乡节点向网管报告本地网链路故障;如果本地超级节点的数据流量与上传流量一致,则所述家乡节点通知网管限制资源提供方节点使用P2P业务。
所述步骤B还包括:
所述家乡节点根据获得的网络内所有与其对应的节点的数据流量确定网络内的流量分布情况;
当本地有相同资源时,向通过长途链路提供资源的节点发送流重定向命令。
可选地,所述家乡节点向资源请求方节点和资源提供方节点正常连接过程中,发送密钥更新命令时,更新为其分配的密钥。
一种半分布式P2P网络流量管理系统,所述系统包括:普通节点,超级节点,家乡节点,不同普通节点之间通过所述超级节点建立链接,所述普通节点包括:
流量统计模块,用于在普通节点作为资源提供方节点上传资源时统计上传流量,并在普通节点作为资源请求方节点下载资源时统计下载流量;
流量上报模块,与所述流量统计模块相连,用于将统计的上传流量或下载流量上报给所述普通节点的家乡节点;
所述家乡节点包括:
流量获取模块,用于获取网络内与家乡节点对应的普通节点的上传流量和/或下载流量,以及所述超级节点的数据传输流量;
流量管理模块,与所述流量获取模块,用于根据所述流量获取模块得到的流量通知网管设备对网络流量进行管理。
当流量管理模块获取的一对作为资源提供方和作为资源请求方的普通节点的上传流量与下载流量的差超过预定的阈值时,流量管理模块向这对普通节点发送流重定向命令,作为资源提供方的普通节点收到所述流重定向命令后,通过所述超级节点将资源发送给作为资源请求方的普通节点。
所述流量管理模块包括:
比较模块,用于比较流量获取模块获得的普通节点的上传流量、下载流量及所述超级节点的数据传输流量;
异常流量数据处理模块,与所述比较模块相连,用于根据比较模块的比较结果确定网络链路故障及用于对普通节点进行计费的数据流量,并通知流量管理模块将这些信息上报给网管设备。
所述流量管理模块还包括:
网络流量分析模块,与所述流量获取模块相连,用于根据流量获取模块获得的网络内所有与所述家乡节点对应的普通节点的数据流量确定网络内的流量分布情况,并在确定本地有相同资源时,通知流量管理模块向通过长途链路提供资源的普通节点发送流重定向命令。
一种家乡节点设备,包括:
流量获取模块和流量管理模块,所述流量获取模块用于获取网络内与家乡节点对应的普通节点的上传流量和/或下载流量,以及本地超级节点的数据传输流量;所述流量管理模块用于根据所述流量获取模块得到的流量通知网管设备对网络流量进行管理;
当流量管理模块获取的一对作为资源提供方和作为资源请求方的普通节点的上传流量与下载流量的差超过预定的阈值时,流量管理模块向这对普通节点发送流重定向命令,作为资源提供方的普通节点收到所述流重定向命令后,通过所述本地超级节点将资源发送给作为资源请求方的普通节点。
所述流量管理模块包括:
网络流量分析模块,与所述流量获取模块相连,用于根据流量获取模块获得的网络内所有与本家乡节点对应的普通节点的数据流量,确定网络内的流量分布情况,并在确定本地有相同资源时,通知流量管理模块向通过长途链路提供资源的普通节点发送流重定向命令。
异常流量数据处理模块,与所述流量获取模块相连,用于根据流量获取模块获得的一对普通节点及本地超级节点的数据流量确定网络链路故障及用于对普通节点进行计费的数据流量,并通知流量管理模块将这些信息上报给网管设备。
由以上本发明提供的技术方案可见,本发明利用P2P网络中的发送方和接收方发送接收数据流量一致的原理,在半分布式P2P网络中,由家乡节点分别获取网络流量资源请求方节点的下载流量及资源提供方节点的上传流量,从而将各节点的流量准确统计出来,并根据统计结果管理节点的流量。比如,当下载流量与上传流量的差超过该阈值时,即进行异常流量数据处理,由家乡节点分别向资源请求方节点和资源提供方节点发送流重定向命令,将所有可疑的上传数据通过此家乡节点信任的本地超级节点来中继后再送给资源请求方节点,从而获得一个可信的数据流量,根据该数据流量对上传流量与下载流量做出可靠的判断,通知网管采取相应的管理措施。
本发明在不需要接入网关设备的支持和改造的情况下,通过P2P网络自身将各节点的流量准确地统计出来,从而为对网络进行有效地管理提供了条件。利用本发明进行P2P网络流量管理,可以降低全网监控成本。
附图说明
图1为现有技术中分布不合理的P2P网络流量示意图;
图2为现有技术中分布合理的P2P网络流量图;
图3为现有技术中含有SN节点的P2P架构图;
图4为现有技术中网络流量控制原理框图;
图5为本发明方法的一个优选实施例的实现流程图;
图6为本发明方法中资源请求方节点和资源提供方节点向家乡节点发送流量表的消息流程图;
图7为本发明方法中资源请求方节点向家乡节点请求服务的消息流程图;
图8为本发明方法中异常流量数据的处理流程图;
图9为本发明系统的一种优选实施例的原理框图;
图10为本发明家乡节点设备的原理框图。
具体实施方式
本发明的核心是在半分布式P2P网络中,利用资源提供方节点和资源请求方节点发送接收的数据流量一致的原理,通过分别统计一对节点的发送数据流量和接收数据流量,即由家乡节点分别获取网络流量资源请求方节点的下载流量及资源提供方节点的上传流量,从而将各节点的流量准确统计出来,并根据统计结果管理节点的流量。具体地,可以预先设定一个阈值,当下载流量与上传流量的差超过该阈值时,即进行异常流量数据处理。具体处理方式可以根据应用环境、用户签约信息或管理策略等因素来确定。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和实施方式对本发明作进一步的详细说明。
本发明基于半分布式架构的P2P网络,即在网络中选出部分节点来完成存储、查询和计算等工作,然后为普通节点提供服务的网络组织。
基于这种网络结构,图5示出了本发明方法的一个优选实施例的实现流程,包括以下步骤:
步骤501:资源请求方节点建立与资源提供方的链接,下载资源。
所谓家乡节点是指运营商可信任且了解其分布的P2P节点,也是P2P网络中的一种逻辑节点,仅充当管理普通节点的任务,每个普通节点都必须有且只有一个家乡节点对其进行管理,但一个家乡节点仅管理一部分本地的普通节点。这种节点可以从超级节点中选出,也可以为一个单独的物理实体。家乡节点和普通节点间的对应关系可以采用多种方法来生成,如DHCP(动态主机分配协议)分配或基于分布式哈希表(DHT)的分布式检索和路由算法。当然,本发明并不限于这两种方法,还可以采用其他方法来生成家乡节点和普通节点间的对应关系,比如,通过静态配置、DNS查询或其它能在主机P2P软件启动前或启动中提供多对一映射的方法来生成。
为了使家乡节点能够准确地了解资源提供者即资源提供方节点和资源获取者即资源请求方节点的数据流量,本发明可以在资源提供方节点向资源请求方节点提供资源时,由资源提供方节点和资源请求方节点各自统计自己的数据流量,并分别向与资源请求方节点对应的家乡节点上报上传流量表和下载流量表。
首先,由资源请求方节点获取与其对应的家乡节点。前面提到,家乡节点和普通节点间的对应关系可以采用多种方法来生成,比如,DHCP(动态主机分配协议)分配或基于分布式哈希表(DHT)的分布式检索和路由算法等方式,因此,在通过P2P网络的认证后,接收端接点可以通过DHCP协议向服务器查询与自己对应家乡节点的地址,也可以采用基于分布式哈希表的分布式检索和路由算法计算得出与自己对应家乡节点的地址。当然,也可以采用其他方式来获得家乡节点的地址,只要能保证一个普通节点只有一个家乡节点即可。
然后,接收方节点向本地超级节点发送搜索请求,请求提供资源服务。所谓超级节点是指从普通节点中选出的可信任节点,在P2P网络中充当内容转发和资源查找任务。超级节点根据接收方节点的请求进行搜索,并将搜索到的资源地址发送给资源请求方节点,使资源请求方节点可以根据该地址信息获得所需要的资源。资源请求方节点向本地超级节点请求资源服务的详细过程将在后面详细描述。
步骤502:家乡节点分别获取网络流量资源请求方节点的下载流量及资源提供方节点的上传流量。
由于仅凭一方上报的下载流量或上传流量信息是不足以作为计费的依据,因此在本发明中,在资源请求方节点从资源提供方节点获取资源的同时,资源请求方节点和资源提供方节点分别各自统计自己的数据下载流量和数据上传流量,并将统计的下载流量和上传流量发送给家乡节点。
如图6所示,除了可以由资源提供方节点直接向家乡节点发送上传流量信息外,还可以由资源提供方一端的超级节点SNx向所述家乡节点提供上传流量信息。
资源请求方节点向自己的家乡节点上报自己的下载流量表DTT,报文可以采用SIP协议标准的UTF-8的字符形式传输,定义一个新的头域类型Traffic。一个典型的携带流量统计数据的SIP消息如下:
Traffic:20MB;Type=”Download”;
Time=”3H5M5S”;
Address=”10.164.64.216”;
FPID=”3F46BA90DC46AE”
在此,Traffic之后紧跟的就是本次统计的流量数据。其中,
Type是指该流量是上传(Upload)、下载(Download)还是中继(Relay);
Fime是指从ON本次开始得到数据的绝对时间,S为秒,M为分钟,H为小时;
Address是指对方节点的IP地址,对于下载流量,该地址为提供源数据的IP地址,对应上传流量,该地址为接收数据的IP地址;
FPID是指通过哈系算法得出的文件片ID(标识)值,可以作为异常流量发生时的详细参考依据。
同样,资源提供方节点也需要向资源请求方的家乡节点上报自己的上传流量表UTT,此时,可以通过资源提供方节点的家乡节点作为中继,资源提供方节点将自己的上传流量表UTT发送给自己的家乡节点,然后,再由该家乡节点发送给资源请求方的家乡节点。可以采用与下载流量表相同的格式来描述UTT,不同的只是类型为Upload,在此不再详细描述。
当然,本发明并不限于上述这种SIP消息格式,也可以定义其他形式的携带流量统计数据的SIP消息,而且,报文也可以采用其他的字符形式传输。
步骤503:资源请求方的家乡节点比较得到的上传流量和下载流量,判断它们的差值是否超过了预定的阈值。如果超过,则进到步骤504;否则,进到步骤505。
步骤504:进行异常流量数据处理。
步骤505:进行正常业务处理。
在上述步骤502中,资源请求方节点需要向本地超级节点请求资源服务,其详细流程如图7所示:
步骤701:资源请求方节点向本地超级节点发送服务请求,申请服务。资源请求方节点查找本地超级节点的方法可以采用组播、服务定位协议(SLP,Service Location Protocol)或其它方法从目录代理或服务代理处获得。
步骤702:本地超级节点向资源请求方节点对应的家乡节点HN1发送请求许可消息,该消息包括搜索内容许可请求。
步骤703:家乡节点HN1根据请求许可消息的内容,确定资源请求方节点可以使用该资源,向本地超级节点发送许可消息,并提供资源请求方节点和资源提供方节点可以使用的密钥。
步骤704:本地超级节点获得许可后,向P2P网络进行搜索,搜索得到资源提供地址。
步骤705:本地超级节点向资源请求方节点返回资源列表和解密密钥,之后本地超级节点和资源请求方节点进行时间同步,并向资源地址列表内的资源提供方节点发送资源请求方节点的加密密钥。
步骤706:资源请求方节点获得资源地址列表后,向资源提供方节点申请服务,开始使用该服务。
前面提到,资源请求方的家乡节点需要比较得到的上传流量和下载流量,并根据它们的值来对网络流量进行管理。当然,也可以由资源提供方的家乡节点分别获取资源请求方的下载流量和资源提供方的上传流量,其过程与上述类似。
下面对家乡节点根据上传流量和下载流量的值来对网络流量进行管理的过程作进一步详细说明。
资源请求方的家乡节点获得一对普通节点(资源请求方和资源提供方节点)的下载流量和上传流量数据后,需要检查这两个数据的正确性。正常情况下,考虑到网络丢包的情况,这一对普通节点的上传和下载流量数据差异应当在一个比较小的范围内,如果超过了这个范围,家乡节点就可以认为这两个普通节点及它们之间的链接可能有问题,需要上报给网管,使网管采取相应措施。
为此,在本发明中,可以预先设定一个合适的阈值,当资源请求方节点和资源提供方节点统计的下载流量和上传流量不一致,并且超过该阈值时,进行异常流量数据的处理。
异常流量数据的详细处理流程如图8所示:
步骤801:资源请求方的家乡节点分别向资源请求方节点和为资源请求方节点提供可疑上传数据的资源提供方节点发送流重定向命令,并更新所有密钥。
步骤802:资源提供方节点收到流重定向命令后,将所有数据通过此家乡节点HN1可信任的本地超级节点中继后再传给资源请求方节点。
步骤803:本地超级节点向其家乡节点HN1发送新的数据流量表RTT,报文中的Type为Relay。
步骤804:同时,家乡节点HN1收到来自于资源请求方节点的数据流量表DTT,以及来自于资源提供方节点的数据流量表UTT。由于本地超级节点是可信的,因此可以认为其统计的数据流量表RTT也是可信的。
家乡节点HN1比较来自于资源请求方节点的数据流量表DTT、来自于资源提供方节点的数据流量表UTT、以及来自于本地超级节点的数据流量表RTT,根据比较结果有以下几种处理方式:
(1)如果RTT的数据和DTT的数据一致,且UTT大于DTT和RTT,则判断资源提供方节点到本地的链路质量有故障,向网管上报该故障。
(2)如果RTT的数据和UTT的数据一致,且DTT小于UTT和RTT,则判断资源请求方节点可能正在进行一些流量欺骗活动,此时,采用RTT为正确的流量统计数据,上报网管,同时可对资源请求方节点采取相应措施,如限制其P2P业务应用等。
(3)如果RTT的数据和UTT的数据一致,且DTT大于UTT和RTT,则判断为本地网络链路质量有故障,向网管上报该故障。
(4)如果RTT的数据和DTT的数据一致,且UTT小于DTT和RTT,则判断资源提供方节点可能正在进行一些流量欺骗活动,此时,可以对其采取相应措施,比如限制资源提供方节点进行P2P业务应用等。
由于资源请求方节点的家乡节点是运营商可信任且了解其分布的节点,其汇聚的流量数据可以代表整个P2P网络的流量分布情况。因此,利用本发明,可以对P2P网络的流量进行准确统计,在发现有大量长途流量而本地又有相同资源时,可以通过家乡节点向资源请求方节点和资源提供方节点发送重定向命令,将流量尽量本地化。
在本发明中,不仅发生异常流量数据时可以向数据流双方的普通节点发送更新了的密钥,而且在正常流量数据的情况下,只要需要,也可以更新密钥,以保护数据被合理路由。
由以上描述可见,本发明利用网络中下载数据的节点和上传数据的节点发送接收的数据流量一致的原理,分别统计一对节点的发送数据流量和接收数据流量,并参考网络中的可信任节点的数据流量,将各节点的流量准确统计出来,根据统计结果管理节点,从而对网络进行有效地管理。
本发明还提供了一种半分布式P2P网络流量管理系统,图9示出了本发明系统的一种优选实施例的原理框图:
该系统包括:普通节点S11、S12,超级节点S13,家乡节点S14。在该实施例中,S11作为资源请求节点,S12作为资源提供节点,S11和S12通过超级节点S13建立链接。
普通节点S11包括:流量统计模块S111和流量上报模块S112。普通节点S12包括:流量统计模块S121和流量上报模块S122。其中,流量统计模块用于在其所在的普通节点作为资源提供方节点上传资源时统计上传流量,并在其所在的普通节点作为资源请求方节点下载资源时统计下载流量;流量上报模块用于将流量统计模块统计的上传流量或下载流量上报给家乡节点S14。
家乡节点S14包括:流量获取模块S141和流量管理模块S142。其中,流量获取模块S141用于获取网络内与家乡节点对应的普通节点的上传流量和/或下载流量,以及超级节点的数据传输流量。
流量管理模块S142用于根据流量获取模块S141得到的流量通知网管设备对网络流量进行管理,比如,向网管设备上报下载流量,网管设备根据该下载流量对普通节点进行计费;再比如,向网管设备上报与家乡节点对应的所有普通节点的汇聚流量,使网管设备可以了解全网流量分布状况。
为了更好地实现对全网流量的管理,当流量管理模块获取的一对作为资源提供方和作为资源请求方的普通节点的上传流量与下载流量的差超过预定的阈值时,流量管理模块S142向这对普通节点发送流重定向命令,作为资源提供方的普通节点S12收到流重定向命令后,通过本地超级节点S13将资源发送给作为资源请求方的普通节点S11。
流量管理模块S142包括:比较模块S21和异常流量数据处理模块S22。其中,比较模块S21用于比较流量获取模块获得的普通节点的上传流量、下载流量及所述超级节点的数据传输流量;异常流量数据处理模块S22用于根据比较模块的比较结果确定网络链路故障及用于对普通节点进行计费的数据流量,并通知流量管理模块将这些信息上报给网管设备。
为了对全网流量进行有效地统计与管理,还可在流量管理模块S142中设置网络流量分析模块S23,与流量获取模块S141相连,用于根据流量获取模块获得的网络内所有与所述家乡节点对应的普通节点的数据流量确定网络内的流量分布情况,并在确定本地有相同资源时,通知流量管理模块向通过长途链路提供资源的普通节点发送流重定向命令。
利用本发明系统实现对P2P网络流量管理的详细过程与前面对本发明方法的描述类似,在此不再赘述。
参照图10,图10示出了本发明家乡节点设备的原理框图:
该设备包括:流量获取模块S101和流量管理模块S102,其中,流量获取模块S101用于获取网络内与家乡节点对应的普通节点的上传流量和/或下载流量,以及本地超级节点的数据传输流量;流量管理模块S102用于根据所述流量获取模块得到的流量通知网管设备对网络流量进行管理。
当流量获取模块S101获取的一对作为资源提供方和作为资源请求方的普通节点的上传流量与下载流量的差超过预定的阈值时,流量管理模块向这对普通节点发送流重定向命令,作为资源提供方的普通节点收到所述流重定向命令后,通过所述本地超级节点将资源发送给作为资源请求方的普通节点。
流量管理模块S102包括:网络流量分析模块S201和异常流量数据处理模块S202,分别与流量获取模块S101相连。其中,网络流量分析模块S201用于根据流量获取模块获得的网络内所有与本家乡节点对应的普通节点的数据流量,确定网络内的流量分布情况,并在确定本地有相同资源时,通知流量管理模块向通过长途链路提供资源的普通节点发送流重定向命令。异常流量数据处理模块S202用于根据流量获取模块获得的一对普通节点及本地超级节点的数据流量确定网络链路故障及用于对普通节点进行计费的数据流量,并通知流量管理模块将这些信息上报给网管设备。
利用本发明家乡节点设备可以对P2P网络的流量进行准确统计,其详细过程与前面对本发明方法的描述类似,在此不再赘述。
虽然通过实施例描绘了本发明,本领域普通技术人员知道,本发明有许多变形和变化而不脱离本发明的精神,希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。

Claims (23)

1.一种半分布式P2P网络流量管理方法,其特征在于,包括步骤:
A、由家乡节点分别获取网络流量资源请求方节点的下载流量及资源提供方节点的上传流量;
B、家乡节点根据所述下载流量和所述上传流量的值对网络流量进行管理。
2.根据权利要求1所述的方法,其特征在于,所述步骤A包括:
A1、资源请求方节点通过本地超级节点与资源提供方节点建立业务传输关系;
A2、资源请求方节点定期向与其对应的家乡节点上报下载流量表;
A3、由资源提供方节点或本地超级节点定期向所述家乡节点上报上传流量表。
3.根据权利要求2所述的方法,其特征在于,所述步骤A进一步包括:
在资源请求方节点第一次向与其对应的家乡节点上报下载流量表之前,资源请求方节点获取与其对应的家乡节点。
4.根据权利要求3所述的方法,其特征在于,所述资源请求方节点获取与其对应的家乡节点的步骤包括:
资源请求方节点向网络内的DHCP服务器查询获取与其对应的家乡节点地址;或者
资源请求方节点基于分布式哈希表的分布式检索和路由算法计算获取与其对应的家乡节点地址。
5.根据权利要求2所述的方法,其特征在于,所述步骤A1包括:
A11、资源请求方节点获取本地超级节点的地址;
A12、向本地超级节点发送搜索请求;
A13、本地超级节点向网络进行搜索,获得资源地址列表;
A14、将获得的资源地址列表发送给资源请求方节点;
A15、资源请求方节点根据所述资源地址列表向资源提供方节点直接申请服务。
6.根据权利要求5所述的方法,其特征在于,所述资源请求方节点获取本地超级节点的地址的步骤包括:
资源请求方节点通过组播方式获取本地超级节点的地址;或者
资源请求方节点通过服务定位协议获取本地超级节点的地址。
7.根据权利要求2所述的方法,其特征在于,所述步骤A2包括:
定义头域为Traffic、类型为Download的SIP消息;
本端普通节点通过定义的SIP消息携带所述下载流量表上报给与其对应的家乡节点。
8.根据权利要求2所述的方法,其特征在于,所述步骤A3包括:
定义头域为Traffic、类型为Upload的SIP消息;
本端普通节点通过定义的SIP消息携带所述下载流量表上报给与其对应的家乡节点。
9.根据权利要求2所述的方法,其特征在于,所述下载流量表和所述上传流量表为UTF-8编码的字符形式。
10.根据权利要求5或6所述的方法,其特征在于,在所述步骤A12和步骤A13之间还包括步骤:
本地超级节点向资源请求方节点对应的家乡节点发送搜索内容许可请求;
获得所述家乡节点的搜索许可后进到步骤A13。
11.根据权利要求10所述的方法,其特征在于,所述步骤A1进一步包括:
所述家乡节点在向本地超级节点发送搜索许可消息时,将为资源请求方节点和资源提供方节点分配的密钥发送给本地超级节点;
本地超级节点将所述密钥分别发送给资源请求方节点和资源提供方节点。
12.根据权利要求11所述的方法,其特征在于,所述步骤B包括:
B1、所述家乡节点比较所述下载流量与所述上传流量;
B2、当所述下载流量与所述上传流量的差超过预定的阈值时,所述家乡节点分别向资源请求方节点和资源提供方节点发送流重定向命令;
B3、资源提供方节点收到所述流重定向命令后,通过所述本地超级节点将资源发送给资源请求方节点。
13.根据权利要求12所述的方法,其特征在于,
所述家乡节点向资源请求方节点和资源提供方节点发送的流重定向命令时,更新为其分配的密钥。
14.根据权利要求12所述的方法,其特征在于,所述步骤B还包括:
B4、所述家乡节点获取本地超级节点的数据流量;
B5、根据上传流量、下载流量和本地超级节点的数据流量三者之间的关系确定网络中存在的链路故障和流量统计数据。
15.根据权利要求14所述的方法,其特征在于,所述步骤B5包括:
当上传流量大于下载流量时,如果本地超级节点的数据流量与下载流量一致,则所述家乡节点向网管报告资源提供方节点到本地的链路故障;如果本地超级节点的数据流量与上传流量一致,则所述家乡节点将本地超级节点的数据流量作为流量统计数据上报给网管;
当上传流量小于下载流量时,如果本地超级节点的数据流量与下载流量一致,则所述家乡节点向网管报告本地网链路故障;如果本地超级节点的数据流量与上传流量一致,则所述家乡节点通知网管限制资源提供方节点使用P2P业务。
16.根据权利要求14所述的方法,其特征在于,所述步骤B还包括:
所述家乡节点根据获得的网络内所有与其对应的节点的数据流量确定网络内的流量分布情况;
当本地有相同资源时,向通过长途链路提供资源的节点发送流重定向命令。
17.根据权利要求1所述的方法,其特征在于,
所述家乡节点向资源请求方节点和资源提供方节点正常连接过程中,发送密钥更新命令时,更新为其分配的密钥。
18.一种半分布式P2P网络流量管理系统,所述系统包括:普通节点,超级节点,家乡节点,不同普通节点之间通过所述超级节点建立链接,其特征在于,
所述普通节点包括:
流量统计模块,用于在普通节点作为资源提供方节点上传资源时统计上传流量,并在普通节点作为资源请求方节点下载资源时统计下载流量;
流量上报模块,与所述流量统计模块相连,用于将统计的上传流量或下载流量上报给所述普通节点的家乡节点;
所述家乡节点包括:
流量获取模块,用于获取网络内与家乡节点对应的普通节点的上传流量和/或下载流量,以及所述超级节点的数据传输流量;
流量管理模块,与所述流量获取模块,用于根据所述流量获取模块得到的流量通知网管设备对网络流量进行管理。
19.根据权利要求18所述的系统,其特征在于,所述流量管理模块包括:
比较模块,用于比较流量获取模块获得的普通节点的上传流量、下载流量及所述超级节点的数据传输流量;
异常流量数据处理模块,与所述比较模块相连,用于根据比较模块的比较结果确定网络链路故障及用于对普通节点进行计费的数据流量,并通知流量管理模块将这些信息上报给网管设备。
20.根据权利要求19所述的系统,其特征在于,所述流量管理模块还包括:
网络流量分析模块,与所述流量获取模块相连,用于根据流量获取模块获得的网络内所有与所述家乡节点对应的普通节点的数据流量确定网络内的流量分布情况,并在确定本地有相同资源时,通知流量管理模块向通过长途链路提供资源的普通节点发送流重定向命令。
21.根据权利要求18所述的系统,其特征在于,
当流量管理模块获取的一对作为资源提供方和作为资源请求方的普通节点的上传流量与下载流量的差超过预定的阈值时,流量管理模块向这对普通节点发送流重定向命令,作为资源提供方的普通节点收到所述流重定向命令后,通过所述超级节点将资源发送给作为资源请求方的普通节点。
22.一种家乡节点设备,其特征在于,包括:
流量获取模块和流量管理模块,所述流量获取模块用于获取网络内与家乡节点对应的普通节点的上传流量和/或下载流量,以及本地超级节点的数据传输流量;所述流量管理模块用于根据所述流量获取模块得到的流量通知网管设备对网络流量进行管理;
当流量管理模块获取的一对作为资源提供方和作为资源请求方的普通节点的上传流量与下载流量的差超过预定的阈值时,流量管理模块向这对普通节点发送流重定向命令,作为资源提供方的普通节点收到所述流重定向命令后,通过所述本地超级节点将资源发送给作为资源请求方的普通节点。
23.根据权利要求22所述的家乡节点设备,其特征在于,所述流量管理模块包括:
网络流量分析模块,与所述流量获取模块相连,用于根据流量获取模块获得的网络内所有与本家乡节点对应的普通节点的数据流量,确定网络内的流量分布情况,并在确定本地有相同资源时,通知流量管理模块向通过长途链路提供资源的普通节点发送流重定向命令。
异常流量数据处理模块,与所述流量获取模块相连,用于根据流量获取模块获得的一对普通节点及本地超级节点的数据流量确定网络链路故障及用于对普通节点进行计费的数据流量,并通知流量管理模块将这些信息上报给网管设备。
CN200610099348.6A 2006-07-17 2006-07-17 半分布式p2p网络流量管理方法、系统及设备 Active CN100591042C (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN200610099348.6A CN100591042C (zh) 2006-07-17 2006-07-17 半分布式p2p网络流量管理方法、系统及设备
PCT/CN2007/001063 WO2008011775A1 (fr) 2006-07-17 2007-04-02 Procédé de gestion du trafic d'un réseau pair à pair à semi-distribution, ainsi que système et dispositif correspondants

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200610099348.6A CN100591042C (zh) 2006-07-17 2006-07-17 半分布式p2p网络流量管理方法、系统及设备

Publications (2)

Publication Number Publication Date
CN101110757A true CN101110757A (zh) 2008-01-23
CN100591042C CN100591042C (zh) 2010-02-17

Family

ID=38981126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200610099348.6A Active CN100591042C (zh) 2006-07-17 2006-07-17 半分布式p2p网络流量管理方法、系统及设备

Country Status (2)

Country Link
CN (1) CN100591042C (zh)
WO (1) WO2008011775A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924680B (zh) * 2009-06-10 2013-02-20 谢海永 一种基于反馈的分布式网络流量联合优化系统及方法
CN103581261A (zh) * 2012-08-03 2014-02-12 盛乐信息技术(上海)有限公司 P2p数据发布、分享和统计方法及系统
CN105706086A (zh) * 2013-11-11 2016-06-22 亚马逊科技公司 用于获取、存储和消费大规模数据流的管理服务
WO2016161716A1 (zh) * 2015-04-09 2016-10-13 中兴通讯股份有限公司 一种组播数据流监测方法、装置及组播转发设备
CN106559253A (zh) * 2015-09-30 2017-04-05 中兴通讯股份有限公司 一种组播诊断方法及装置
CN107168777A (zh) * 2016-03-07 2017-09-15 阿里巴巴集团控股有限公司 分布式系统中资源的调度方法以及装置
CN109428814A (zh) * 2017-09-04 2019-03-05 中兴通讯股份有限公司 一种组播流量传输方法、相关设备和计算机可读存储介质
CN113474666A (zh) * 2019-02-01 2021-10-01 诺宝公司 分布式数据库中节点故障检测与解决
CN113766031A (zh) * 2021-09-13 2021-12-07 杭州安恒信息技术股份有限公司 一种笔记资源存储方法、装置及相关设备
CN115767144A (zh) * 2022-10-26 2023-03-07 杭州迪普科技股份有限公司 目标视频的上传对象确定方法及装置
CN116192677A (zh) * 2022-12-21 2023-05-30 北京安天网络安全技术有限公司 网络流量数据差异化存储方法及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582555A (zh) * 2018-12-04 2019-04-05 北京锐安科技有限公司 数据异常检测方法、装置、检测系统及存储介质
CN111770026B (zh) * 2020-06-19 2022-12-09 中国建设银行股份有限公司 一种网络流量控制方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7600033B2 (en) * 2002-11-15 2009-10-06 International Business Machines Corporation Network traffic control in peer-to-peer environments
GB0303192D0 (en) * 2003-02-12 2003-03-19 Saviso Group Ltd Methods and apparatus for traffic management in peer-to-peer networks
JP2005202589A (ja) * 2004-01-14 2005-07-28 Kddi Corp P2pネットワークのトラヒック制御システム
JP2005295457A (ja) * 2004-04-05 2005-10-20 Fujitsu Ltd P2pトラフィック対応ルータ及びそれを用いたp2pトラフィック情報共有システム

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924680B (zh) * 2009-06-10 2013-02-20 谢海永 一种基于反馈的分布式网络流量联合优化系统及方法
CN103581261A (zh) * 2012-08-03 2014-02-12 盛乐信息技术(上海)有限公司 P2p数据发布、分享和统计方法及系统
CN103581261B (zh) * 2012-08-03 2019-02-22 上海果壳电子有限公司 P2p数据发布、分享和统计方法及系统
CN105706086B (zh) * 2013-11-11 2019-03-15 亚马逊科技公司 用于获取、存储和消费大规模数据流的管理服务
CN105706086A (zh) * 2013-11-11 2016-06-22 亚马逊科技公司 用于获取、存储和消费大规模数据流的管理服务
WO2016161716A1 (zh) * 2015-04-09 2016-10-13 中兴通讯股份有限公司 一种组播数据流监测方法、装置及组播转发设备
CN106559253A (zh) * 2015-09-30 2017-04-05 中兴通讯股份有限公司 一种组播诊断方法及装置
WO2017054558A1 (zh) * 2015-09-30 2017-04-06 中兴通讯股份有限公司 一种组播诊断的方法及装置
CN107168777A (zh) * 2016-03-07 2017-09-15 阿里巴巴集团控股有限公司 分布式系统中资源的调度方法以及装置
CN109428814A (zh) * 2017-09-04 2019-03-05 中兴通讯股份有限公司 一种组播流量传输方法、相关设备和计算机可读存储介质
US11576011B2 (en) 2017-09-04 2023-02-07 Nanjing Zte New Software Co., Ltd. Multicast traffic transmission method, related device and computer-readable storage medium
CN113474666A (zh) * 2019-02-01 2021-10-01 诺宝公司 分布式数据库中节点故障检测与解决
CN113474666B (zh) * 2019-02-01 2023-10-27 诺宝公司 分布式数据库中节点故障检测与解决
US11822441B2 (en) 2019-02-01 2023-11-21 Nuodb, Inc. Node failure detection and resolution in distributed databases
CN113766031A (zh) * 2021-09-13 2021-12-07 杭州安恒信息技术股份有限公司 一种笔记资源存储方法、装置及相关设备
CN115767144A (zh) * 2022-10-26 2023-03-07 杭州迪普科技股份有限公司 目标视频的上传对象确定方法及装置
CN115767144B (zh) * 2022-10-26 2024-07-23 杭州迪普科技股份有限公司 目标视频的上传对象确定方法及装置
CN116192677A (zh) * 2022-12-21 2023-05-30 北京安天网络安全技术有限公司 网络流量数据差异化存储方法及电子设备
CN116192677B (zh) * 2022-12-21 2024-04-30 北京安天网络安全技术有限公司 网络流量数据差异化存储方法及电子设备

Also Published As

Publication number Publication date
CN100591042C (zh) 2010-02-17
WO2008011775A1 (fr) 2008-01-31

Similar Documents

Publication Publication Date Title
CN101110757A (zh) 半分布式p2p网络流量管理方法、系统及设备
Mukerjee et al. Practical, real-time centralized control for cdn-based live video delivery
US7010578B1 (en) Internet content delivery service with third party cache interface support
US9900155B2 (en) Security techniques for cooperative file distribution
KR101420548B1 (ko) 오버레이 네트워크에서 통신 피어들의 선택을 지원하는 방법 및 시스템
Leung et al. Content Distribution Network Interconnection (CDNI) Requirements
Nichols Lessons learned building a secure network measurement framework using basic NDN
US11395209B2 (en) Content delivery system special network device and special local area network connection, content discovery, data transfer, and control methods
Khan et al. Nice: Network-oriented information-centric centrality for efficiency in cache management
Luo et al. Decoupling the design of identifier-to-locator mapping services from identifiers
Schien et al. Impact of location on the energy footprint of digital media
US20130159509A1 (en) Method and system for controlling data communication within a network
Zhang et al. Problem statement and requirements of the peer-to-peer streaming protocol (ppsp)
JP5894981B2 (ja) 複数基準の選択を有するトポロジサーバを用いて通信アーキテクチャにわたって分散されたノードのネットワークへのアクセス
US20130219062A1 (en) Confidential or protected access to a network of nodes distributed over a communication architecture with the aid of a topology server
Stiemerling et al. Application-Layer Traffic Optimization (ALTO) Deployment Considerations
Lin et al. R-iCDN: An approach supporting flexible content routing for ISP-operated CDN
Wang et al. CDNPatch: a cost‐effective failover mechanism for hybrid CDN‐P2P live streaming systems
Liu et al. pMeasure: A peer-to-peer measurement infrastructure for the Internet
Buford Management of peer-to-peer overlays
Cikryt Beyond Music File Sharing: A Technical Introduction to P2P Networks
Madasamy et al. A secure P2P file sharing model using trust management and data integrity verification
JP3894317B2 (ja) プロバイダ網相互接続制御方法、プロバイダサーバ、サービス処理装置、ルーチング変更要求プログラム、およびサービス処理プログラム
Stiemerling et al. RFC 7971: Application-Layer Traffic Optimization (ALTO) Deployment Considerations
Almeida et al. The Role of Content Distribution Networks in the Future Media Networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211224

Address after: 450046 Floor 9, building 1, Zhengshang Boya Plaza, Longzihu wisdom Island, Zhengdong New Area, Zhengzhou City, Henan Province

Patentee after: xFusion Digital Technologies Co., Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right