CN103281211B

CN103281211B - 大规模网络节点分组管理系统及管理方法

Info

Publication number: CN103281211B
Application number: CN201310231867.3A
Authority: CN
Inventors: 杨茹; 翟键宏; 吴长伟; 陆上; 钟玉峰; 王亚东; 李慧君
Original assignee: Heilongjiang Institute of Technology
Current assignee: Heilongjiang Institute of Technology
Priority date: 2013-06-13
Filing date: 2013-06-13
Publication date: 2016-03-30
Anticipated expiration: 2033-06-13
Also published as: CN103281211A

Abstract

大规模网络节点分组管理系统及管理方法。大规模网络的复杂性、动态性、节点的行为不可预知等特点都对大规模网络组管理系统提出了较高的要求。一种大规模网络节点分组管理系统，其组成包括:主服务器节点（1），所述的主服务器节点连接心跳服务器节点（2）和一组普通网络节点，所述的普通网络节点（3）连接子组管理节点（4），所述的子组管理节点连接一组子组管理节点队列（5）。本发明用于大规模网络节点分组的管理。

Description

大规模网络节点分组管理系统及管理方法

技术领域

本发明涉及一种大规模网络节点分组管理系统及管理方法。

背景技术

随着对等网络（P2P）网络、网络即时语音沟通工具（Skype）及应用层组播基于分组的网络通信应用的普及发展，大规模网络的分组通信的质量问题已经成为大家关注的热点问题。如何进行分组以及如何评价分组效果是解决这一问题的关键所在。互联网（Internet）网络拓扑具有小世界效应，即节点在网络中呈现出一定的聚类分布，聚类节点间具有较小的平均路径长度和较大的聚集系数。欧氏距离比较近或特征比较相似的网络节点间的链路通常可以获得更高的通信效率，对大规模网络节点进行有效地划分或有效地分组，通常可以获得更好群组内节点间的通信质量的提升。

现阶段的大规模网络节点分组技术根据网络节点分组过程中是否进行网络探测可以将其分为静态分组和动态分组两大类分组算法。静态节点分组算法不需要进行网络探测，没有网络探测的开销，一般效率较高，但是分组算法的效果较差。静态节点分组算法使用原有互联中的一些属性信息，如目标节点的网络互联协议（IP）地址、边界网关协议（BGP）信息等。这一类分组技术典型的包括地理位置分组技术、N位掩码分组技术、BGP前缀分组技术等。动态节点分组算法使用网络测量的手段，根据网络测量得到的网络参数如往返时延（RTT），丢包率，路径信息，网络瓶颈等。探测流量属于网络拓扑中的噪声流量，会对网络参数产生一定的影响。动态节点分组典型技术有随机分组技术、基于标杆节点的分组技术、基于坐标计算的分组技术和基于欧氏距离抽样的分组技术等。

虽然已经有许多学者对大规模网络节点的组管理问题提出了许多解决方案，但是现有的解决方案要么效果不够理想，要么算法收敛速度太慢，不适合在真实网络环境中应用。大规模网络的复杂性、动态性、节点的行为不可预知等特点都对大规模网络组管理系统提出了较高的要求。

发明内容

本发明的目的是提供一种基于路径生成树相似度的大规模网络节点组管理技术，使得组内的网络节点间通讯效率最高，以此实现网络子组内节点间高效地进行网络数据传输与共享的大规模网络节点分组管理系统及管理方法。

上述的目的通过以下的技术方案实现：

一种大规模网络节点分组管理系统，其组成包括:主服务器节点，所述的主服务器节点连接心跳服务器节点和一组普通网络节点，所述的普通网络节点连接子组管理节点，所述的子组管理节点连接一组子组管理节点队列。

所述的大规模网络节点分组管理系统，所述的主服务器节点连接所述的子组管理节点队列组成预处理模块，所述的主服务器节点与所述的普通网络节点组成新节点处理模块，所述的子组管理节点与所述的子组管理节点队列组成子组管理节点更新模块。

一种大规模网络节点分组管理系统的管理方法，本方法分为三个阶段，第一阶段为利用预处理模块进行预处理管理，第二阶段为利用新节点处理模块进行新节点处理管理，第三阶段为子组管理节点更新模块进行子组节点管理。

所述的大规模网络节点分组管理系统的管理方法，所述的第一阶段为利用预处理模块进行预处理管理，系统预处理阶段是，收集知名节点，然后利用路由跟踪traceroute和移动业务记录mtr工具获取服务器节点到知名节点和普通网络节点的路径信息、往返时延、丢包率、跳数和瓶颈节点信息；用路径信息、往返时延、丢包率、跳数和瓶颈节点信息的特征目标节点IP所属运营商、往返时延、丢包率、跳数和瓶颈节点所属运营商来表示一个标杆节点或知名节点，并使用欧氏距离表示节点间的相似程度，利用凝聚型的层次聚类方法将这些节点划分为c个簇，其中c为子组个数，即每一个子组存在对应的一个标杆簇。

所述的大规模网络节点分组管理系统的管理方法，在所述的第一阶段为利用预处理模块进行预处理管理的基础上将每一个标杆簇中的路径信息，将路径上的每一个节点IP地址以点分十进制表示，每一个IP地址划分为x.y.z.0的形式，将每一层压缩存储在一棵路径树中，并赋予路径树的每一层一个相似值，从路径树的根到叶子节点相似值为0.25、0.5、0.75；每一个标杆簇生成一棵路径树，路径树是新节点加入系统的判断标准。

所述的大规模网络节点分组管理系统的管理方法，所述的第二阶段为

利用新节点处理模块进行新节点处理管理，当新节点加入系统时，服务器节点首先对新节点进行一次路径探测，获得服务器节点到新节点的路径信息；然后将这条路径信息进行初步的处理，合并同网段IP地址，删除内网节点，并赋予从服务器节点到目标节点的每一个节点一个权值，经过预处理后的路径节点共有个，这个节点的权值从服务器网关节点到目标节点分别为。

所述的大规模网络节点分组管理系统的管理方法，从服务器节点到目

标节点路径上的每一个节点分别匹配c个路径树，每一次匹配可获得到一棵路径树的相似度值，这个值要乘以这个节点所在位置的权值，得到最终的相似度值；路径上所有节点到每一个路径树的相似度值是不完全相同的，选取相似度值最大的路径树所在的子组加入。

有益效果：

1.本发明是将分组前的任意一个节点划分到某一个超级节点中，其目标是使得超级节点中的节点间的通信效率最高，而组间节点间的通信效率远低于组内节点间的通信效率。

本发明解决了针对现有大规模网络节点组管理技术方案中存在的问题与不足。

本发明解决了大规模网络节点间通信效率及网络节点信息管理存在的问题；通过分组方法将未分组的网络节点划分到某一个子组中；从而达到子组中的节点间通信效率最优并且保证主服务器发送的信息最有效地发送至普通网络节点，同时当网络节点尤其是子组管理节点退出或失效时，可以最大限度地避免组管理结构震荡，最快地恢复信息传输通道。

本发明可以有效地实现子组内节点间高效信息交互，主服务器可以稳定管理普通网络节点和子组管理节点，系统具备稳定性、可扩展性、大规模管理、可实现分布式等特点。

附图说明：

附图1是中预处理阶段网络中节点逻辑分布图。

附图2为本发明中使用分组技术对节点进行分组后得到的网络节点分布示意图。

附图3为本发明的系统结构流程图。

附图4为本发明中由标杆簇生成的路径树的示意图。

具体实施方式：

实施例1：

一种大规模网络节点分组管理系统，其组成包括:主服务器节点1，所述的主服务器节点连接心跳服务器节点2和一组普通网络节点，所述的普通网络节点3连接子组管理节点4，所述的子组管理节点连接一组子组管理节点队列5。

每一个子组管理节点管理组内所有节点的信息，维护一个数据库。

主服务器节点用于负责子组管理节点的选择、更新，子组服务器队列的更新和向普通网络节点发送数据等。

心跳服务器节点用于维护系统时间片，向主服务器发送心跳信息。

子组管理节点管理本组内所有普通网络节点，维护子组数据库，并根据主服务器的要求提交数据库信息。

实施例2：

实施例1所述的大规模网络节点分组管理系统，所述的主服务器节点连接所述的子组管理节点队列组成预处理模块，所述的主服务器节点与所述的普通网络节点组成新节点处理模块，所述的子组管理节点与所述的子组管理节点队列组成子组管理节点更新模块。

实施例3：

一种大规模网络节点分组管理系统的管理方法，本方法分为三个阶段，第一

阶段为利用预处理模块进行预处理管理，第二阶段为利用新节点处理模块进行新节点处理管理，第三阶段为子组管理节点更新模块进行子组节点管理。

实施例4：

实施例3所述的大规模网络节点分组管理系统的管理方法，所述的第一阶段为利用预处理模块进行预处理管理，系统预处理阶段是利用知名节点和个普通网络节点利用（路由跟踪）traceroute和（移动业务记录）mtr工具获取服务器节点到知名节点和普通网络节点的路径信息、往返时延、丢包率、跳数和瓶颈节点信息；用路径信息、往返时延、丢包率、跳数和瓶颈节点信息的特征目标节点IP所属运营商、往返时延、丢包率、跳数和瓶颈节点所属运营商来表示一个标杆节点或知名节点，并使用欧氏距离表示节点间的相似程度，利用凝聚型的层次聚类方法将这些节点划分为c个簇，其中c为子组个数，即每一个子组存在对应的一个标杆簇。

实施例5：

实施例4所述的大规模网络节点分组管理系统的管理方法，在所述的第一阶段为利用预处理模块进行预处理管理的基础上将每一个标杆簇中的路径信息，将路径上的每一个节点IP地址以点分十进制表示，每一个IP地址划分为x.y.z.0的形式，将每一层压缩存储在一棵路径树中，并赋予路径树的每一层一个相似值，从路径树的根到叶子节点相似值为0.25、0.5、0.75；每一个标杆簇生成一棵路径树，路径树是新节点加入系统的判断标准。

实施例6：

实施例3所述的大规模网络节点分组管理系统的管理方法，所述的第二阶段为利用新节点处理模块进行新节点处理管理，当新节点加入系统时，服务器节点首先对新节点进行一次路径探测，获得服务器节点到新节点的路径信息；然后将这条路径信息进行初步的处理，合并同网段IP地址，删除内网节点，并赋予从服务器节点到目标节点的每一个节点一个权值，经过预处理后的路径节点共有κ个，这κ个节点的权值从服务器网关节点到目标节点分别为。

实施例7：

实施例3或4所述的大规模网络节点分组管理系统的管理方法，从服务器节点到目标节点路径上的每一个节点分别匹配c个路径树，每一次匹配可获得到一棵路径树的相似度值，这个值要乘以这个节点所在位置的权值，得到最终的相似度值;路径上所有节点到每一个路径树的相似度值是不完全相同的，选取相似度值最大的路径树所在的子组加入。

实施例8：

上述实施例所述的大规模网络节点分组管理系统的管理方法，本管理系统共分为三大模块：预处理模块、新节点处理模块和子组管理节点更新模块。

①预处理模块

预处理模块主要完成的工作是根据知名节点数据库信息和当前的个普通节点的信息生成新节点加入过程中需要参考的标识，新的未分组的节点根据这些标识信息加入特定的子组。在描述预处理模块之前首先要说明一些概念：

a)知名节点

本发明中的知名节点就是一些众所周知的站点的集合，如www.baidu.com，www.qq.com等，这些网站处理网络数据信息的能力较强。本发明收集一些知名节点，然后服务器节点使用（路由跟踪）traceroute和（移动业务记录）mtr工具对这些知名节点进行路径探测，获得服务器节点到知名节点的路径信息和其他信息如知名节点IP地址所属运营商，往返时延，丢包率，数据包跳数，瓶颈节点所属运营商等，并将这些信息存入数据库中。

层次聚类

层次聚类方法对给定的数据集按照层次的方式分解，直到满足某种条件为止。按照层次树的生成方式，层次聚类方法可分为凝聚方法和分裂方法。凝聚的层次聚类采用一种自底向上的聚类策略，聚类初始时将每一个数据对象作为一个单独的类，然后逐步合并每一个欧氏距离相近的类，直到所有的对象都合并为一个单独的簇或达到某种终结条件为止。分裂的层次聚类方法与凝聚的聚类方法恰好相反，采用自顶向下的策略，聚类初始时所有的对象属于同一个簇，算法通过逐步迭代，每一次迭代将一个簇分裂为更小的簇，直至每个对象自成一簇或达到某个终止条件为止。层次聚类算法的步骤如算法下所述，其中是期望的最后的聚类数目。

基于凝聚的层次聚类方法

begininitialize，，，

do

求最接近的聚类，假设为和

合并和

until

return个聚类，即个簇

end

知名节点和层次聚类是本发明使用的技术手段，预处理阶段假设共有个节点和已经获取路径信息的知名节点数据库，这个节点本发明中定义为标杆节点。首先服务器节点对这个标杆节点进行路径探测，获取服务器节点到这些标杆节点的路径信息，往返时延，路径丢包率，数据包跳数以及每个节点的IP地址，瓶颈节点信息等。

进行路径探测获取相应的信息之后，需要对获取的信息进行处理。本发明使用一个五元组来描述一个标杆节点的特征：

上式中，是标杆节点IP地址所属运营商，是组播服务器到标杆节点RTT，是组播服务器到标杆节点的跳数，是组播服务器到标杆节点路径的丢包率，是组播服务器到标杆节点路径上瓶颈节点的IP地址所属运营商，如果不存在瓶颈节点则置0。标杆节点的对象集合为，集合中每个标杆节点对象用5个特征来描述，即每个对象，其中是对象在第个特征上的赋值。由于描述每个节点的5个特征值差异较大，首先需要将数据集进行规范化，本文使用将每个对象的属性值映射到区间中。本文使用传统的欧氏欧氏距离来描述对象之间的相似程度，设为个要进行聚类的对象，每个对象用5个属性值来描述，从而可以得到对象和关于所有属性的欧氏距离为：

提供的对象之间的欧氏距离信息可以得到聚类过程中使用的差异矩阵为：

上式表示对象和对象之间的不相似程度，也被称为不相似矩阵。这个差异值仅体现两个对象之间的不相似度，所以一般为两个对象欧氏距离之差的绝对值。对于任意两个对象和对象，它们的欧氏距离非常接近或相似度非常高时，对象之间的差异值接近为0，而差值越大，对象和对象的欧氏距离越远或彼此相似度很低。通常在层次聚类算法中并不是直接使用差异矩阵，而是需要将差异矩阵转化为相似度矩阵或其等价矩阵。本发明定义对象和关于所有属性的度为。

使用了凝聚方法的层次聚类，该方法初始化时将每个对象都看做单独的一个簇，然后根据预先定义的类间的欧氏距离特征反复合并欧氏距离相近的类，直至聚类达到某个终止条件。聚类得到的簇中的样本点比簇间的样本点间彼此具有更高的相似性。但是聚类过程首先需要提取网络节点的属性特征，而提取网络节点属性时需要进行较为大量的网络探测，会对原有网络流量产生不可忽略的影响。利用层次聚类方法并使用欧氏欧氏距离描述簇间相似度使用个标杆节点和知名节点路径相关信息作为基础数据集生成标杆簇。

根据标杆簇路径信息生成路径树，首先对路径信息进行预处理，预处理的过程包括合并相同网段地址，删除内网地址等。经过预处理后，即使用255.255.255.0进行掩码运算后，按照点分十进制格式的IP地址段信息，逐层存储经过预处理后的IP地址信息，并使用三层的压缩树形结构存储这些IP地址，本文将这棵变形的层压缩树命名为路径树。路径树示意图见附图，利用标杆簇生成的路径树的三层结构中的前缀具有不同的权值，越接近叶子节点，所占的权值比重越大，本文根据实验的结果，从根节点到叶节点赋予的权值分别为0.25、0.5、0.75。每一个经过聚类算法得到的簇生成一棵路径树，路径树是新的组播成员节点加入特定组播子组的判断标准，每一个新的成员节点在接收组播信息前首先都需要遍历所有的路径树，根据匹配路径树后得到的路径相似度值选择组播子组。

预处理阶段主要的工作是根据知名节点和个标杆节点生成新节点加入过程中需要使用的标杆簇路径树，完成预处理后，系统进入等待状态。

②新节点处理模块的每一个新节点是一个还未分到特定子组的节点，当有新节点请求加入系统中时，首先需要同服务器节点通信，并在服务器上登记自己的IP地址，用户名，密码等信息。服务器首先做一次路径探测，获取服务器到新节点的路径信息。服务器获取路径信息后，对路径信息进行一定的处理，包括合并路径中相同地址段的IP地址，删除内网节点信息，并赋予从服务器到新节点的地址信息上每一个节点的权值。本发明中假设经过预处理后的路径节点共有个，这个节点的权值分配情况如下，节点1的权值为、节点1的权值为、……、节点K的权值为。

③子组管理更新模块是以心跳服务器的时间片的信息为驱动的，当时间片到达某个阈值时，主服务器需要检查各个子组的管理节点是否失效，如果某一个子组管理节点失效，不能正常工作，则主服务器将MSU队列中第一个在线的节点升级为子组管理节点。新的子组管理节点接管本组内所有节点，称为新的子组管理者。如果所有的子组节点都可以正常工作，那么主服务器节点要重新评估MSU队列，删除MSU队列中的失效节点，并将在线时长较长、延迟值较小的网络节点插入MSU队列，维持MSU队列的平衡。

实施例9：

上述实施例所述的大规模网络节点分组管理系统的管理方法，管理系统中共包括一个主服务器，一个心跳服务器，个普通的网络主机，个子组管理节点和条子组管理节点队列。

一个主服务器节点负责数据分发，生成新节点加入子组标识，管理信息下发和管理子组管理节点及其队列。主服务器在初始化阶段（这一阶段节点数量较少）从现有的所有节点中根据特定的方法（后文中详细介绍）为每一个组生成一个特殊的标识信息，这个标识信息主要是为未分组的节点提供加入某个子组中的参考依据，然后根据这个标识信息对现有的所有节点进行分组。在对节点进行初始分组后，主服务器节点要从每一个当前子组中根据一定的信息（后文中详细介绍）选取一个评估值最好的网络节点最为当前子组的管理节点，并选取一定数量的普通节点作为子组管理节点的替补节点加入子组管理节点队列。

一个心跳服务器维护整个系统的系统时间片，主服务器在系统初始化时设定一个更新阈值，这个阈值就是以心跳服务器的系统同时间片作为基本单位的，如将更新阈值设为个时间片。当心跳服务器的时间片到达更新阈值，主服务器检查子组管理节点是否失效或非法，然后更新子组管理节点队列，删除队列中已失效或非法的网络节点，并添加新的节点进入子组管理节点队列。

个普通的网络主机是大规模网络中随机选取或是参与数据分发、视频共享、网络游戏等网络应用的网络节点。这个通过子组管理节点间接同主服务器节点进行数据和控制信息的交互，这些网络节点在互联网中是任意分布的，节点间的通信状况（如延迟、丢包率、吞吐率等）是未知的。

对这些网络节点进行分组这一问题可以描述为：网络节点分组问题可以表示为：假设表示一个群组性网络应用，其中表示提供数据服务的源服务器，为接收数据的普通网络节点组集合构成的并集，且。构成的每一个集合为一个子组，可以表示为n1n2nr，其中，。一个欲加入这个网络应用的新的节点的分组过程可以描述为：对于任意一个节点，存在某种变换使得且对，其中，。对节点进行分组这一过程是否合理是通过一些常见的网络参数来评估的，本发明提出了一种评价网络节点间通信性能的一个指标——耦合度。

个子组管理节点，也被称为超级节点。一个超级节点也是一个普通的网络主机节点，是源服务器根据一些特定的信息选择出来负责管理整个子组的节点，每一个子组中有一条超级节点队列，这条队列中的每一个节点是当前超级节点的替补。每一个子组管理节点维护本组内的所有节点信息，同时也负责接收服务器节点发送的控制或数据信息。

本发明就是将分组前的中的任意一个节点划分到某一个中，其目标是使得中的节点间的通信效率最高，而组间节点间的通信效率远低于组内节点间的通信效率。

Claims

1.一种大规模网络节点分组管理系统的管理方法，所述管理系统包括:主服务器节点，所述的主服务器节点连接心跳服务器节点和一组普通网络节点，所述的普通网络节点连接子组管理节点，所述的子组管理节点连接一组子组管理节点队列；

所述的主服务器节点连接所述的子组管理节点队列组成预处理模块，所述的主服务器节点与所述的普通网络节点组成新节点处理模块，所述的子组管理节点与所述的子组管理节点队列组成子组管理节点更新模块；

其特征是:本方法分为三个阶段，第一阶段为利用预处理模块进行预处理管理，第二阶段为利用新节点处理模块进行新节点处理管理，第三阶段为子组管理节点更新模块进行子组节点管理；

所述的利用预处理模块进行预处理管理，包括：收集知名节点，然后利用路由跟踪traceroute和移动业务记录mtr工具获取服务器节点到知名节点和普通网络节点的路径信息、往返时延、丢包率、跳数和瓶颈节点信息；用路径信息、往返时延、丢包率、跳数和瓶颈节点所属运营商来表示一个标杆节点或知名节点，并使用欧氏距离表示节点间的相似程度，利用凝聚型的层次聚类方法将这些节点划分为c个簇，其中c为子组个数，即每一个子组存在对应的一个标杆簇；

利用预处理模块将每一个标杆簇中的路径信息进行预处理管理，将路径上的每一个节点IP地址以点分十进制表示，每一个IP地址划分为x.y.z.0的形式，将每一层压缩存储在一棵路径树中，每一个标杆簇生成一棵路径树，路径树是新节点加入系统的判断标准；

所述的利用新节点处理模块进行新节点处理管理，包括：当新节点加入系统时，服务器节点首先对新节点进行一次路径探测，获得服务器节点到新节点的路径信息；然后将这条路径信息进行初步的处理，具体包括合并同网段IP地址及其删除内网节点，并赋予从服务器节点到目标节点的每一个节点一个权值，经过预处理后的路径节点共有个，这个节点的权值从服务器网关节点到目标节点分别为；

从服务器节点到目标节点路径上的每一个节点分别匹配c个路径树，每一次匹配可获得到一棵路径树的相似度值，这个值要乘以这个节点所在位置的权值，得到最终的相似度值；路径上所有节点到每一个路径树的相似度值是不完全相同的，选取相似度值最大的路径树所在的子组加入；

第三阶段为子组管理更新模块以心跳服务器的时间片的信息为驱动的，当时间片到达某个阈值时，主服务器需要检查各个子组的管理节点是否失效，如果某一个子组管理节点失效，不能正常工作，则主服务器将MSU队列中第一个在线的节点升级为子组管理节点；新的子组管理节点接管本组内所有节点，称为新的子组管理者；如果所有的子组节点都可以正常工作，那么主服务器节点要重新评估MSU队列，删除MSU队列中的失效节点，并将在线时长较长、延迟值较小的网络节点插入MSU队列，维持MSU队列的平衡。