CN103078957A - 支持跨idc域功能的数据中心镜像分发系统 - Google Patents

Abstract

一种部署在多个IDC域上的基于P2P技术的镜像分发系统，支持虚拟机系统镜像或文件的大规模分发部署，包括大量Peer节点、一个Tracker节点和一个集中管理和控制节点，具有“桥头堡”模式的双层P2P网络结构特点。Peer节点主要负责资源上传和下载等；Tracker节点负责记录Peer节点信息、资源的上传和下载情况、响应Peer端的Peer列表请求等；集中管理和控制节点是整个镜像分发系统的图形化管理和控制界面，由系统管理员操作对Peer节点和Tracker节点通过http消息发送控制指令。“桥头堡”模式的双层P2P网络结构是支持跨IDC域特征的关键，它能够通过减少IDC域间的重复数据流量来提高网络连接带宽的有效利用率。

Description

支持跨IDC域功能的数据中心镜像分发系统

技术领域

本发明涉及计算机科学中广域网范围的因特网数据中心的系统镜像或文件的分发技术，特别是适用于对虚拟机系统镜像或单个大型文件的大量分发。

背景技术

因特网数据中心（Internet Data Center，IDC）是整个因特网的数据和服务的最主要支持者，它们往往分布在相距较远的不同地域内，彼此之间的网络连接带宽有限且成本高昂。互联网企业或软件服务公司的服务或应用一般都会部署在多个不同的IDC中，通过购买网络连接带宽实现不同IDC域之间应用的数据通信，带宽小则影响数据通信性能，带宽大则成本负担太重。尤其是随着虚拟化技术和数据中心技术的结合，IDC已广泛采用虚拟机代替传统的物理机，在IDC域之间部署和传输虚拟机镜像文件的需求逐渐上升。传统方式的文件传输技术，比如ftp、http等，已根本无法有效解决上述需求问题。

除了传统的Client-Server方式的文件和数据传输技术外，对等网络（Peer toPeer，P2P）方式早已成为整个互联网使用最广泛的文件、媒体等传输技术。P2P技术是一种面向应用的组网方式，其中的Peer端即为通常意义的客户端，具有文件、网络带宽、磁盘存储等资源，同时也具有文件等数据资源的传输需求。此外，在一些类型的P2P技术实现中还会包括tracker端，它是一个保存信息并对这些信息的请求进行响应的中心节点，负责发布资源信息。P2P网络技术的主要目标是让所有的客户端（即Peer）都能提供资源，包括带宽、存储空间和计算能力，所以，当有更多的Peer加入且系统请求更多时，整个P2P网络系统的容量也就更大。这是Client-Server结构的固定服务器方式所不能够实现，因为在这种结构中，客户端的增加只会导致每个用户的数据传输都变慢。

传统的P2P客户端软件都具有复杂的界面操作，仅适用于独立用户进行电影等资源的下载；而IDC域中的镜像或文件分发系统与其目的不同，不能使用图形界面，只能使用后台进程运行的形式，并且接受远程管理和控制。在分发系统中，功能和效率才是核心，并且不能占用太多的系统资源。同时，由于IDC域之间的网络带宽成本高昂，必须采用一定的措施减少带宽资源的浪费，提高IDC域间网络带宽的有效利用率。

发明内容

本发明以实现跨IDC域的快速镜像分发为目标，设计了一套支持跨IDC域功能的镜像分发系统，该系统除采用了基本的P2P网络技术外，其设计重点包括了“桥头堡”模式的双层P2P网络结构，用以避免跨IDC域的重复数据流量，提高IDC域间的网络带宽效率，还包括了一个独立的集中管理和控制功能节点，用以实现对分发系统中所有的节点的有效管理和控制。

具体内容包括：

1.“桥头堡”模式的双层P2P网络结构

在系统中，待分发的系统镜像或文件被称为资源，本系统对特定资源的分发使用了“桥头堡”模式的双层P2P网络结构。在该模式的P2P网络中，每个IDC域内的Peer节点都处在同一个层次的P2P网络中，它们互相可见，可以进行资源分片的传输；在每个IDC域中设置了若干具有公网IP地址的Peer节点，这些Peer节点称为本IDC域的“桥头堡”节点，只有“桥头堡”节点可以进行IDC域间的资源分片传输。不同的资源具有不同的双层P2P网络结构，每个资源在单个IDC域中只有一个“桥头堡”节点。

2.集中管理和控制功能

除Peer节点和Tracker节点外，整个分发系统还设置有唯一的集中管理和控制功能节点，该节点与其它所有的Peer节点和Tracker节点通过http消息进行通信。集中管理和控制节点具有这样的功能：查看Tracker和所有Peer节点的状态信息；对Peer节点发出长传或下载资源的控制指令，并且对Peer和Tracker节点进行管理配置；实时监视整个P2P网络的运行状况。

虽然P2P网络技术已经很成熟，但是其在IDC领域中的应用还非常少，尤其是在云计算和虚拟化技术的背景下，本系统所具有的创新点在于：

（1）适用于IDC场景，支持虚拟机系统镜像或文件的高效传输；

（2）对特定分发目标资源，具有“桥头堡”模式的双层P2P网络结构的特征，能够消除IDC域间可能的重复数据流量；

（3）具有全局统一的集中管理和控制节点，负责对整个跨越多个IDC域的分发系统的方便控制和管理。

附图说明

图1镜像分发系统组成结构图

图2镜像分发系统部署图

图3“桥头堡”模式双层P2P网络示意图

图4“桥头堡”模式镜像分发过程示意图

具体实施方式

如图1所示，镜像分发系统是由大量Peer节点、一个Tracker节点和一个集中管理和控制节点构成，系统管理员可以通过管理和控制节点完成对整个分发系统的有效管理和控制。Peer节点是分发系统的功能主体，具有查询特定资源的Peer列表、上传和下载资源的功能；Tracker节点负责记录所有的Peer节点、实时记录每个Peer节点正在上传或下载的资源、维护特定资源的Peer列表、响应Peer节点的资源请求并返回资源Peer列表、管理IDC域等功能；集中管理和控制节点则负责查看Tracker和所有Peer节点的状态信息，对Peer节点发出上传或下载资源的控制指令，并且对Peer和Tracker节点进行管理配置，实时监视整个P2P网络的运行状况。其中，只有管理和控制节点具有Web图形管理界面，其它每个节点的功能都以系统后台进程形式运行，所有节点之间都通过http消息进行通信。

镜像分发系统在跨IDC域的现实环境中的实际部署则如图2所示：Peer节点分布部署在众多的IDC域（图示中IDC1-4）中，同一个IDC域内的Peer节点可以自由进行消息通信和资源分片传输，其中大部分都是不可以跨越IDC域的普通Peer节点，只有少量的“桥头堡”Peer节点可以进行IDC域间的消息通信和资源分片传输；Tracker节点是全局唯一的，它可以与所有Peer节点的进行消息传递，响应所有Peer节点的资源列表请求，返回对应资源的Peer列表；集中管理和控制节点则处在整个镜像分发系统的边缘，其部署位置可灵活确定，受系统管理的直接操作和控制，与所有的Peer节点以及Tracker节点进行消息通信，负责将系统管理员的所有控制操作通过系统定义的http消息发送给Tracker节点或对应的Peer节点。“桥头堡”Peer节点要具有公网IP地址，从而能够接收和处理其它任意Peer节点的连接请求。

实现IDC域间网络连接带宽的高效利用和减少重复数据流量的关键在于本系统独特的“桥头堡”模式，该模式是双层P2P网络结构。通过将单层扁平化的P2P网络划分层次，限制了IDC域间可能引发的重复数据流量，提高了有限网络带宽的利用率。“桥头堡”模式的双层P2P网络结构如图3所示，第一层P2P网络是由虚线云图所包括的Peer节点（圆形示意）构成，每个Peer节点都可以是“桥头堡”Peer节点，第一层P2P网络跨越所有的IDC域；第二层P2P网络则限制在单个IDC域内，它是由实线云图所包括的所有Peer节点构成，Peer节点包括了IDC域内的所有普通Peer节点和“桥头堡”Peer节点，图中示意了IDCA-D共四个二层P2P网络。每个第二层P2P网络中的普通Peer节点只能够与本IDC域内的所有节点进行消息通信和资源分片传输，每个第一层P2P网络中的“桥头堡”节点都可以与其它所有“桥头堡”节点进行跨IDC域的资源分片传输。这样，就把所有的跨IDC域的资源数据流量局限在了“桥头堡”Peer节点之间。

“桥头堡”模式的双层P2P网络结构中的Peer节点并没有实际的层次属性划分，其所处层次也不是固定不变的。对于每个Peer节点，它在双层P2P网络结构中的层次位置既与它的IP地址相关，更直接取决于它对特定资源的Peer列表请求的返回结果。只有具备公网IP地址的Peer节点才有可能成为该IDC域的“桥头堡”Peer节点，而能否最终成为“桥头堡”节点则由Tracker的Peer列表返回结果所决定。一个资源的分发过程，对应一个不同的双层P2P网络结构视图，在该视图的每个IDC域中只有一个“桥头堡”Peer节点。如图4所示，以某个位于A1节点的具体文件资源的分发过程为例说明：首先该文件资源存储在A1节点，A1节点会向Tracker节点通告上传文件资源，Tracker节点生成对应的信息；管理员通过集中管理和控制节点的操作通知A2、A3、A4、B2、B3、B4、C3、C4、C5、D3、D5和D6节点，上述所有节点向Tracker发送该文件资源的Peer列表请求，同时管理和控制节点与Tracker节点共同将A5、B5、C7和D7作为第一层P2P网络节点纳入到文件资源的下载过程中，Tracker节点对不同层次的Peer返回对应的Peer列表结果。对于A2节点，它的Peer列表请求结果包括了A1、A3、A4和A5节点；对于B5节点，它的Peer列表请求结果包括了A5、C7和D7节点。这种动态非固定化的双层P2P网络结构，可以提高整个镜像分发系统的效率，避免静态的固定式“桥头堡”Peer节点可能引起的性能瓶颈问题。

Claims (5)

1.一种在多个因特网数据中心（IDC）环境中部署的基于P2P技术的镜像分发系统，包括Peer节点、Tracker节点与集中管理和控制节点，其特征在于：

(1)大量的Peer节点分布在多个IDC域环境中，每个Peer节点既可作为资源的上传者，也可作为资源的下载者，都以系统后台进程形式运行，无图形化操作界面；

(2)全局唯一的Tracker节点用于记录系统中的所有Peer节点的信息、所有正在上传和下载的资源信息、响应Peer节点对特定资源的Peer列表请求，以系统后台进程形式运行，无图形化操作界面；

(3)全局唯一的集中管理和控制节点具有整个分发系统的图形化管理和控制界面，由系统管理员进行控制操作向Peer节点和Tracker节点发送管理和控制命令消息；

(4)所有系统节点都是用http消息进行通信。

2.如权利要求1所述的方法，其特征在于，所述大量的Peer节点构成“桥头堡”模式的双层P2P网络结构，每个IDC域中都设置有具有公网IP地址的Peer节点，这些分布在不同IDC域中具有公网IP地址的所有Peer节点构成第一层P2P网络，该第一层P2P网络内的Peer节点被称为“桥头堡”节点，每个IDC域中的所有Peer节点分别构成第二层P2P网络，第一层P2P网络跨越所有的IDC域，第二层P2P网络则局限在单个IDC域内；在资源传输方面，每个IDC域内只有“桥头堡”节点可以与其它“桥头堡”节点进行跨IDC域的资源分片传输，第二层P2P网络中所有节点都可以进行IDC域内的资源分片传输。

3.如权利要求2所述的方法，其特征在于，“桥头堡”模式的双层P2P网络结构是动态非固定化的。

4.如权利要求1所述的方法，其特征在于,集中管理和控制节点的功能包括：查看Tracker和所有Peer节点的状态信息；对Peer节点发出长传或下载资源的控制指令，并且对Peer和Tracker节点进行管理配置；实时监视整个P2P网络的运行状况。

5.如权利要求1所述的方法，其特征在于，系统可支持Linux和Windows操作系统。

Images