CN101521597A - 一种混合p2p网络的数据统计方法和系统 - Google Patents

Abstract

本发明公开了一种混合P2P网络的数据统计方法，所述方法包括：强节点接收所述强节点对应的所有普通节点上报的普通节点统计数据，所述普通节点统计数据中携带普通节点标识，所述强节点对应的普通节点的个数至少为一个；所述强节点对所有普通节点上报的普通节点统计数据以及所述强节点自身节点统计数据进行处理，得到处理后的统计数据；所述强节点将所述处理后的统计数据发送给统计服务器。相应地，本发明实施例提供一种混合P2P网络的数据统计系统，所述系统包括：强节点设备、普通节点设备和统计服务器。通过本发明实施例提供的方案，减少了统计服务器的负担，同时增强了对普通节点的控制和管理。

Description

一种混合P2P网络的数据统计方法和系统

技术领域

本发明涉及通信领域，特别涉及一种混合P2P网络的数据统计方法和系统。

背景技术

P2P(Peer-to-Peer，点到点)网络是一种分布式网络，用户可以直接访问P2P网络中各个节点所拥有的共享资源如处理能力、存储能力、网络连接能力、打印机、文件等。在P2P网络中，用户既可以是资源提供者(Server)，又可以是资源获取者(Client)，因此用户之间是一种对等的关系。

目前，P2P网络主要有不同网络模型：集中目录式结构、纯P2P网络模型和混合P2P网络模型。其中，混合式P2P网络结构，综合了纯P2P去中心化和集中式P2P快速查找的优势，按节点能力不同(计算能力、内存大小、连接带宽、网络滞留时间等)区分为普通节点和强节点两类。

由于P2P的网络模式是一种具有较高扩展性、容错性的分布式系统结构，且其准入门槛相对传统集中式系统较低，使得这些系统可以支撑更多的用户，也更受用户的欢迎。然而，这样庞大的用户数量级给P2P分布式系统的数据统计带来了极大的挑战，主要表现在以下两个方面：一方面，数以千万计的网络节点同时向统计服务器汇报数据，会大量消耗统计服务器的带宽和其他资源，最终导致统计服务器不堪重负；另一方面，节点的动态性和不可控性也使得上报的统计数据的可靠性和完备性大打折扣。

目前，针对集中目录式结构、纯P2P网络模型和混合P2P网络模型三种不同的P2P网络模型，都是将所有的统计数据的全部上报统计服务器。

发明人在实现本发明的过程中发现：

现有的统计数据上报统计服务器过程中，对混合P2P网络模型，统计数据的上报不区分普通节点和强节点(SN)，全部直接上报统计数据到统计服务器，造成统计服务器的网络负载繁重，存储压力大。

发明内容

为了减少统计服务器的负担，同时增强对普通节点的控制和管理，本发明实施例提供了一种混合P2P网络的数据统计方法和系统。所述技术方案如下：

本发明实施例提供一种混合P2P网络的数据统计方法，所述方法包括：

强节点接收所述强节点对应的所有普通节点上报的普通节点统计数据，所述普通节点统计数据中携带普通节点标识，所述强节点对应的普通节点的个数至少为一个；

所述强节点对所有普通节点上报的普通节点统计数据以及所述强节点自身节点统计数据进行处理，得到处理后的统计数据；

所述强节点将所述处理后的统计数据发送给统计服务器。

其中，所有普通节点上报的普通节点统计数据的数据量以及所述强节点自身节点统计数据的数据量之和大于所述处理后的统计数据的数据量。

其中，所述强节点接收所述强节点对应的所有普通节点上报的普通节点统计数据，所述普通节点统计数据中携带普通节点标识之前，还包括：

所述普通节点接收统计数据请求，将自身的统计数据上报给对应的强节点，所述自身的统计数据中携带自身的节点标识；

其中，所述强节点将所述处理后的统计数据发送给统计服务器之后，包括：

所述统计服务器接收所述强节点处理后的统计数据，对所述处理后的统计数据进行解析，并对解析后的数据再次进行处理，得到总统计数据，将总统计数据发送给用户。

其中，所述统计服务器接收所述强节点处理后的统计数据，所述强节点的个数至少为一个。

相应地，本发明实施例提供一种混合P2P网络的数据统计系统，所述系统包括：强节点设备、普通节点设备和统计服务器，其中，

所述普通节点设备，用于上报自身的普通节点统计数据给所述强节点设备，所述自身的普通节点统计数据中携带自身的节点标识；

所述强节点设备，用于接收所述强节点设备对应的所有普通节点设备上报的普通节点统计数据，所述普通节点统计数据中携带普通节点设备标识，所述强节点设备对应的普通节点设备的个数至少为一个；对所有普通节点设备上报的普通节点统计数据以及所述强节点设备自身节点统计数据进行处理，得到处理后的统计数据；将所述处理后的统计数据发送给统计服务器；

所述统计服务器，用于接收所述强节点设备发送的所述处理后的统计数据。

其中，所述普通节点设备，还用于接收统计数据请求，将自身的统计数据上报给对应的强节点节电设备，所述自身的统计数据中携带自身的节点标识。

其中，所述统计服务器，还用于接收所述强节点处理后的统计数据，对所述处理后的统计数据进行解析，并对解析后的数据再次进行处理，得到总统计数据，将总统计数据发送给用户。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例提供的方案，通过在混合P2P网络模型的基础上，将统计服务器的部分功能下发到强节点，由强节点在一定程度上代理统计服务器对由其管理的普通节点的统计数据进行验证和处理，由于强节点可以管辖多个普通节点，因此当强节点把其管辖的普通节点上报的统计数据进行处理并整合后，就会使得发往统计服务器的数据包量成倍减少，从而大大降低统计服务器的负载，提高了统计数据的可靠性和完备性。

附图说明

图1是本发明实施例1中提供的方法流程图；

图2是本发明实施例2中提供基于混合P2P网络的数据统计结构示意图；

图3是本发明实施例2中提供的方法流程示意图；

图4是本发明实施例3中提供的系统结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

参见图1，本实施例提供了一种混合P2P网络的数据统计方法，该方法包括：

101：强节点接收强节点对应的所有普通节点上报的普通节点统计数据，普通节点统计数据中携带普通节点标识，强节点对应的普通节点的个数至少为一个；

102：强节点对所有普通节点上报的普通节点统计数据以及强节点自身节点统计数据进行处理，得到处理后的统计数据；

103：强节点将处理后的统计数据发送给统计服务器。

其中，所有普通节点上报的普通节点统计数据的数据量以及强节点自身节点统计数据的数据量之和大于处理后的统计数据的数据量。

其中，强节点接收强节点对应的所有普通节点上报的普通节点统计数据，普通节点统计数据中携带普通节点标识之前，还包括：

普通节点接收统计数据请求，将自身的统计数据上报给对应的强节点，自身的统计数据中携带自身的节点标识；

其中，强节点将处理后的统计数据发送给统计服务器之后，包括：

统计服务器接收强节点处理后的统计数据，对处理后的统计数据进行解析，并对解析后的数据再次进行处理，得到总统计数据，将总统计数据发送给用户。

其中，统计服务器接收强节点处理后的统计数据，强节点的个数至少为一个。

本发明实施例提供的方法，通过在混合P2P网络模型的基础上，将统计服务器的部分功能下发到强节点，由强节点在一定程度上代理统计服务器对由其管理的普通节点的统计数据进行验证和处理，由于强节点可以管辖多个普通节点，因此当强节点把其管辖的普通节点上报的统计数据进行处理并整合后，就会使得发往统计服务器的数据包量成倍减少，从而大大降低统计服务器的负载，提高了统计数据的可靠性和完备性。

实施例2

为了减少统计服务器的负担，同时增强对普通节点的控制和管理，本发明实施例提供了一种混合P2P网络的数据统计方法，其中，本发明实施例为基于混合P2P网络的数据统计，具体内容如下：

首先，对目前P2P网络中的三种不同网络模型：集中目录式结构、纯P2P网络模型和混合P2P网络模型进行具体描述，以便说明本发明实施例中的混合P2P网络的特点，具体如下：

(1)集中目录式P2P结构，也被称为非纯粹的P2P结构。该结构采用中央服务器管理P2P各个节点，P2P节点向中央目录服务器注册关于自身的信息(名称、地址、资源和元数据)，但所有内容存贮在各个节点中而并非服务器上。查询节点时，根据目录服务器中信息查询以及网络流量和延迟等信息来选择与定位其它对等点，并直接建立连接。集中目录式P2P结构的优点是提高了网络的可管理性，使得对共享资源的查找和更新非常方便，但网络的稳定性差。

(2)纯P2P网络结构，也被称作广播式的P2P模型，网络中的每个用户随机接入网络，并与自己相邻的一组邻居节点通过端到端连接构成一个逻辑覆盖的网络。纯P2P网络结构解决了网络结构中心化的问题，扩展性和容错性较好。但由于所有对等节点都不知道整个网络的结构，网络中的搜索算法以泛洪的方式进行，控制信息的泛滥消耗了大量带宽并很快造成网络拥塞甚至网络的不稳定，从而导致整个网络的可用性较差，且该类系统更容易受到垃圾信息，甚至是病毒的恶意攻击。

(3)混合式P2P网络结构，综合了纯P2P去中心化和集中式P2P快速查找的优势，按节点能力不同(计算能力、内存大小、连接带宽、网络滞留时间等)区分为普通节点和强节点两类。其中，强节点与其临近的若干普通节点之间构成一个自治的簇，簇内采用基于集中目录式P2P模式，而整个P2P网络中各个不同的簇之间再通过纯P2P的模式将搜索节点相连起来。还可以在各个搜索节点之间再次选取性能最优的节点，或者另外引入一新的性能最优的节点，作为索引节点来保存整个网络中可以利用的强节点信息，并且负责维护整个网络的结构。由于普通节点的文件搜索先在本地所属的簇内进行，只有查询结果不充分的时候，再通过强节点之间进行有限的泛洪。这样就极为有效地消除纯P2P结构中使用泛洪算法带来的网络拥塞、搜索迟缓等不利影响。同时，由于每个簇中的强节点监控着所有普通节点的行为，能确保一些恶意的攻击行为能在网络局部得到控制，在一定程度上提高整个网络的负载平衡。

上述详细描述了目前集中目录式结构、纯P2P网络模型和混合P2P网络模型三种P2P网络模型的特点，本发明实施例为基于混合P2P网络的数据统计方法。

参见图2，本发明实施例提供的基于混合P2P网络的数据统计系统图，将P2P网络节点进行分类，一类是普通节点，一类是强节点，其中强节点是普通节点的真子集，普通节点并不直接将统计数据上报到统计服务器，而是上报到管辖它的强节点中，由强节点对这部分统计数据进行处理后再统一上报到统计服务器。下面结合图2中混合P2P网络的数据统计系统图，对本发明实施例提供的方法进行详细的描述，参见图3，具体实现过程如下：

201：普通节点接收统计数据请求，将自身的统计数据上报给所连接的强节点。

其中，普通节点接收服务器的统计数据请求，其中所统计的数据可以是任意数据如统计各个节点的带宽或者具有某个资源的所有节点数据之和等，本发明实施例对于统计数据的内容不作限制。

在本发明实施例中，强节点是分布式网络系统中的一类特殊节点，一般情况下，该类节点比普通节点的能力(计算能力、内存大小、连接带宽、网络滞留时间等)更强大，也更可信。每个强节点管理着邻近的几个普通节点，对于强节点所管理的普通节点的个数不作限定。由于强节点所管理普通节点一般有多个，所以普通节点接收统计数据请求后，所有强节点管辖的普通节点都要将自身的统计数据上报给自己所连接的强节点。

其中，本发明实施例中的强节点和普通节点可以是系统预先根据各个节点的计算能力、内存大小、连接带宽、网络滞留时间等处理能力预先分配好哪些节点为强节点哪些节点为普通节点；也可以是系统对所有的节点动态分配，普通节点和强节点是相对的，每隔一段时间，系统会自动对普通节点和强节点的处理能力进行检测或统计，当发现某个强节点所管理的普通节点中有某个普通节点的处理能力超过了该强节点，则可以将该普通节点设置为强节点，将原来的强节点设置为普通节点，新的强节点管理其他普通节点以及原强节点。

202：强节点接收所管理的所有普通节点上报的统计数据，对所有普通节点上报的统计数据以及自身节点的统计数据进行处理，并将处理后的数据上报给统计服务器。

其中，强节点接收其管理区域内的所有普通节点上报的统计数据，将所接收的所有普通节点的统计数据以及自身节点的统计数据汇合在一起；强节点对这些统计数据进行处理，其中处理的方式可以为删除普通节点上报的统计数据中的冗余，或者删除普通节点上报的统计数据中的重复的部分，或者对普通节点上报的统计数据进行验证对于不合法的统计数据进行删除，或者对统计上来的多条数据进行各种计算整合成一条统计数据，上报给统计数据服务器。

例如：对于统计混合P2P网络系统中所有节点中带宽最大的节点时，强节点接收其管理区域内多个普通节点的上报的各自节点带宽后，强节点会对所接收的所有普通节点上报的带宽以及自身节点带宽进行比较，得到带宽最大的节点以及对应的带宽，将该节点以及对应的带宽上报给统计服务器，而不将所接收的所有普通节点上报的带宽以及自身节点带宽上报给统计服务器。

再如：对于统计混合P2P网络系统中所有节点的总带宽的情况，强节点接收其管理区域内多个普通节点的上报的各自节点带宽后，强节点会对所接收的所有普通节点上报的带宽以及自身节点带宽求和，得到该强节点管理区域内所有节点的带宽之和，将求和后的值上报给统计服务器，而不将所接收的所有普通节点上报的带宽以及自身节点带宽上报给统计服务器。

对于其他统计数据的情况，可以将所有普通节点的统计数据以及自身节点统计数据根据某种算法进行计算整合，得到一条统计数据，将该条统计数据上报给统计服务器。

203：统计服务器接收强节点上报的处理后的统计数据，对该统计数据进行解析，将解析后的统计数据再次进行处理，得到统计数据结果，发送给用户。

其中，统计服务器接收所有强节点上报的处理后的统计数据，对该数据首先进行解析，再进行处理，并将处理后的结果展现给用户。

如步骤202中，对于统计混合P2P网络系统中所有节点中带宽最大的节点时，统计服务器接收的是所有强节点上报的所管理区域内带宽最大的节点以及对应的带宽，此时统计服务器将对所接收的所有强节点上报的所管理区域内带宽最大的节点对应的带宽进行比较，得到所有强节点上报的带宽最大的节点中带宽最大的节点以及对应的带宽，此时该节点为混合P2P网络系统中所要统计得到的所有节点中带宽最大的节点，并将该节点以及对应的带宽发送给用户。

再如步骤202中，对于统计混合P2P网络系统中所有节点的总带宽的情况，统计服务器接收的是所有强节点上报的所管理区域内所有节点的带宽和值，此时，统计服务器将对所接收的所有强节点上报的所管理区域内节点的带宽和值再进行求和，得到所有强节点上报的带宽和值之和，得到混合P2P网络系统中所要统计的所有节点的总带宽值，并将该总带宽值发送给用户。

对于其他统计数据的情况，统计服务器接收所有强节点上报的统计数据，对于采取算法的统计数据进行解析，得到源数据，并对原数据进行相应的处理，将处理后的统计数据值发送给用户。

本发明实施例提供的方法，通过在混合P2P网络模型的基础上，将统计服务器的部分功能下发到强节点，由强节点在一定程度上代理统计服务器对由其管理的普通节点的统计数据进行验证和处理，由于强节点可以管辖多个普通节点，因此当强节点把其管辖的普通节点上报的统计数据进行处理并整合后，就会使得发往统计服务器的数据包量成倍减少，从而大大降低统计服务器的负载，提高了统计数据的可靠性和完备性。

实施例3

本发明实施例提供一种混合P2P网络的数据统计系统，参见图4，该系统包括：强节点设备301、普通节点设备302和统计服务器303，其中，

普通节点设备302，用于上报自身的普通节点统计数据给强节点设备301，自身的普通节点统计数据中携带自身的节点标识；

强节点设备301，用于接收强节点设备301对应的所有普通节点设备302上报的普通节点统计数据，普通节点统计数据中携带普通节点设备302标识，强节点设备301对应的普通节点设备302的个数至少为一个；对所有普通节点设备302上报的普通节点统计数据以及强节点设备301自身节点统计数据进行处理，得到处理后的统计数据；将处理后的统计数据发送给统计服务器303；

统计服务器303，用于接收强节点设备301发送的处理后的统计数据。

其中，普通节点设备302，还用于接收统计数据请求，将自身的统计数据上报给对应的强节点节电设备，自身的统计数据中携带自身的节点标识。

其中，统计服务器303，还用于接收强节点处理后的统计数据，对处理后的统计数据进行解析，并对解析后的数据再次进行处理，得到总统计数据，将总统计数据发送给用户。

本发明实施例提供的系统，通过在混合P2P网络模型的基础上，将统计服务器的部分功能下发到强节点设备，由强节点设备在一定程度上代理统计服务器对由其管理的普通节点设备的统计数据进行验证和处理，由于强节点设备可以管辖多个普通节点设备，因此当强节点设备把其管辖的普通节点设备上报的统计数据进行处理并整合后，就会使得发往统计服务器的数据包量成倍减少，从而大大降低统计服务器的负载，提高了统计数据的可靠性和完备性。

本发明实施例可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，例如，路由器的硬盘、缓存或光盘中。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1、一种混合P2P网络的数据统计方法，其特征在于，所述方法包括：

强节点接收所述强节点对应的所有普通节点上报的普通节点统计数据，所述普通节点统计数据中携带普通节点标识，所述强节点对应的普通节点的个数至少为一个；

所述强节点对所有普通节点上报的普通节点统计数据以及所述强节点自身节点统计数据进行处理，得到处理后的统计数据；

所述强节点将所述处理后的统计数据发送给统计服务器。

2、如权利要求1所述的方法，其特征在于，所有普通节点上报的普通节点统计数据的数据量以及所述强节点自身节点统计数据的数据量之和大于所述处理后的统计数据的数据量。

3、如权利要求1所述的方法，其特征在于，所述强节点接收所述强节点对应的所有普通节点上报的普通节点统计数据，所述普通节点统计数据中携带普通节点标识之前，还包括：

所述普通节点接收统计数据请求，将自身的统计数据上报给对应的强节点，所述自身的统计数据中携带自身的节点标识；

4、如权利要求1所述的方法，其特征在于，所述强节点将所述处理后的统计数据发送给统计服务器之后，包括：

所述统计服务器接收所述强节点处理后的统计数据，对所述处理后的统计数据进行解析，并对解析后的数据再次进行处理，得到总统计数据，将总统计数据发送给用户。

5、如权利要求4所述的方法，其特征在于，所述统计服务器接收所述强节点处理后的统计数据，所述强节点的个数至少为一个。

6、一种混合P2P网络的数据统计系统，其特征在于，所述系统包括：强节点设备、普通节点设备和统计服务器，其中，

所述普通节点设备，用于上报自身的普通节点统计数据给所述强节点设备，所述自身的普通节点统计数据中携带自身的节点标识；

所述强节点设备，用于接收所述强节点设备对应的所有普通节点设备上报的普通节点统计数据，所述普通节点统计数据中携带普通节点设备标识，所述强节点设备对应的普通节点设备的个数至少为一个；对所有普通节点设备上报的普通节点统计数据以及所述强节点设备自身节点统计数据进行处理，得到处理后的统计数据；将所述处理后的统计数据发送给统计服务器；

所述统计服务器，用于接收所述强节点设备发送的所述处理后的统计数据。

7、如权利要求6所述的系统，其特征在于，所述普通节点设备，还用于接收统计数据请求，将自身的统计数据上报给对应的强节点节电设备，所述自身的统计数据中携带自身的节点标识。

8、如权利要求6所述的系统，其特征在于，所述统计服务器，还用于接收所述强节点处理后的统计数据，对所述处理后的统计数据进行解析，并对解析后的数据再次进行处理，得到总统计数据，将总统计数据发送给用户。

Images