CN103414584A - 一种基于p2p网络技术的计算机集群快速扩容方法 - Google Patents

Abstract

一种基于P2P网络技术的计算机集群快速扩容方法，包括控制系统和P2P分发网络两部分，控制系统包括直接跟用户交互的前端计算机和包含在所有的待部署的目标计算机中的控制系统客户端，P2P分发网络是基于P2P网络技术，由所有的待部署的目标计算机的P2P客户端和一个Tracker服务器组成，基于BT传输的协议，计算机集群中的各个结点之间基于该协议交换信息，实现数据的快速分发。本方法能够解决大规模集群运维场景中集群扩容的实现问题，可以避免通过人工操作的复杂性及可能带来的误操作、可以大幅度提高集群扩容的速度，达到在集群中快速部署新计算机的目的。

Description

一种基于P2P网络技术的计算机集群快速扩容方法

技术领域

本发明涉及一种基于P2P网络技术的计算机集群快速扩容方法，主要用于实现计算机（服务器）集群的快速扩容以及集群中可能用到的数据分发等，尤其适用于大规模互联网服务，能够使得大规模互联网服务在短时间内提高服务（负载）能力，使得服务部署等运维工作更加灵活高效。属于计算机（服务器）集群的运维领域。

背景技术

大规模互联网服务通常都配备专门的运维团队。随着信息时代的持续发展，计算机集群的运维已经成为IT(IT,Internet Technology)服务中重要的组成部分。面对越来越复杂的业务以及越来越多样化的用户需求，不断扩展的IT应用需要越来越合理的模式来为IT服务提供能灵活便捷、安全稳定的持续保障，这种模式中的保障因素就是IT运维。从初期的几台服务器发展到庞大的数据中心，单靠人工已经无法满足在技术、业务、管理等方面的要求。因此，标准化、自动化、架构优化、过程优化等降低IT服务成本的因素越来越被人们所重视。

在IT运维工作中，集群扩容是十分频繁的一项工作。集群扩容包括集群的初次部署、增加（有时会减少）计算机、分发数据等常见操作。在特定的应用场景中，要求集群扩容必须迅速、有效、自动化地完成，如用户量突增导致的单位时间请求数突增、DDOS攻击等。即便是在常规情况下的集群扩容，减少扩容操作消耗的时间也会给运维人员带来了工作效率的提升，节约宝贵的人力资源。

针对集群扩容的应用场景，常规的方案就是人工扩容。即，运维人员登录到装好操作系统的每台服务器上，下载适用的客户端软件，进行繁琐且非常容易出错的相关配置，再试图启动客户端。完成对每台服务器的操作后，运维人员对集群进行相关测试。这个过程中，运维人员难以保证集群中单机的可用性和整个集群的稳定性，并且需要耗费大量的时间。

发明内容

本发明的目的是提供一种基于P2P网络技术的计算机集群快速扩容方法，来解决大规模互联网服务的运维工作中集群扩容的需求，使得集群扩容工作高效、自动、可靠。

本发明的方法是通过P2P网络技术的使用，配合本发明的控制系统和P2P分发网络，实现计算机集群的扩容。

 本发明采取的技术方案如下：一种基于P2P网络技术的计算机集群快速扩容方法，其特征在于：该方法包括了控制系统和P2P分发网络，所述的计算机集群是指通过一组松散集成的计算机软件和硬件连接起来高度紧密地协作完成计算工作的计算机系统，所述的计算机集群扩容是指在集群中增加计算机的操作，所述的集群客户端定义为集群中的计算机上安装的、使得该计算机参与到计算机集群中的、提供本地服务的软件程序，所述的控制系统包括发起命令的前端计算机和所有的待部署的目标计算机上的控制系统客户端，所述的P2P分发网络基于BT传输协议的标准架构，包括所有的待部署的目标计算机和一个Tracker服务器，所有的待部署的目标计算机均设有控制系统客户端和P2P客户端（Peer端），待部署的目标计算机定义为待扩容的集群中的“结点”，每个结点与Tracker服务器通信连接，各结点Peer端之间双向通信连接，控制系统的前端计算机向待部署的目标计算机发送指令，令其完成结点配置和数据传输，集群中的各个结点之间基于BT传输协议交换信息，实现数据的快速分发； 

控制系统的操作流程如下： 

步骤1：配置描述文件，描述需要扩容的、所有的待部署的目标计算机的信息、待部署的目标计算机中集群客户端数据包的信息以及待部署的目标计算机的统一资源定位符； 

步骤2：编写前置脚本，该脚本将在待部署的目标计算机中集群客户端数据包分发及解数据包之前被执行，包括kill掉过时的服务进程；

步骤3：编写后置脚本，该脚本将在待部署的目标计算机中集群客户端数据包分发完成之后执行，该脚本中包含集群的配置和启动命令以及相关的自动化测试命令；

步骤4：按照下面所述的控制系统的工作流程执行控制系统，根据所述的配置描述文件、前置脚本和后置脚本，完成计算机集群的扩容；

步骤1：读取并解析描述文件；

步骤2：向目标计算机发送前置脚本，并命令其执行脚本；

步骤3：为待部署的集群中结点的数据包做种，即P2P分发网络中用到的种子文件；

步骤4：向集群中结点数据包所在计算机发送指令，令其启动Peer端，准备上传；

步骤5：向所有目标计算机发送指令，令其启动Peer端，开始P2P传输；

步骤6：传输结束，解数据包，向目标计算机发送后置脚本，并令其执行。

所述的P2P分发网络的主要工作流程，如下8个步骤所示，其中拥有待分发的完整文件的计算机定义为源计算机，待部署的目标计算机简称为目标计算机：

步骤1: Tracker服务器制作种子文件，种子文件描述了待分发的所有文件及其分片的hash、Tracker服务的URL(Uniform Resource Locator)等关键信息；

步骤2：创建“种子”结点（make seed），即在图2中的源计算机上启动Peer端，告知Tracker这里有完整的文件；

步骤3：目标计算机启动Peer端，载入种子文件；

步骤4：目标计算机向Tracker请求可供下载的Peer端列表；

步骤5：目标计算机下载I个分片以及上传I个分片，其中I=整个下载文件的总大小除以下载文件的分片数目，整个下载文件的总大小和下载文件的分片数目在前端计算机发起扩容任务时指定，上传I个分片和下载I个分片是对应的操作，整个下载文件的总大小等于整个上传文件的总大小，下载文件的分片数目等于上传文件的分片数目，整个上传文件的总大小和上传文件的分片数目同样是在前端计算机发起扩容任务时指定的；

步骤6：若一台目标计算机尚未完成下载，返回步骤4；否则下载完成；

步骤7：下载完成的计算机，保留种子K个时间单位，以提供给其他未完成下载的结点下载，其中K在前端计算机发起扩容任务时指定；

步骤8：若文件的某个分片仅存在于一台计算机上并且该计算机发生系统故障或网络故障，这种故障会导致整个P2P网络中已经没有整份文件存在，则对源计算机或者已经下载完成但未保留种子的计算机进行重新做种（reseed）。

本发明的优点及有益效果：

本发明方法提出了一种计算机集群扩容的新方法，主要用于解决大规模集群运维场景中计算机集群扩容的实现问题，通过使用本发明提出的方法，可以避免人工操作的复杂性及可能带来的误操作，可以大幅度提高集群扩容的速度，达到在集群中快速部署新计算机的目的。本发明具有如下优点：

1）自动化程度高

利用本发明进行集群扩容，将所有前置和后置命令编写成固定的脚本，通过脚本的运行自动令目标计算机执行，实现结点的配置。对于大部分的集群，运维人员只需要再配置master结点即可，对于简单的集群，甚至不需要进行任何额外的操作。

2）保证目标计算机的一致性

一个稳定的计算机集群，其中一类结点应当是完全一致的（至少逻辑上是完全一致的）。人工操作很可能带来一些不一致的问题，导致后续维护麻烦不断。运维人员使用本发明，编写好固定的脚本，在所有目标计算机的当前环境一致的前提下，运行这些固定的脚本进行计算机集群扩容，运行完成后，所有扩容的结点可保证是完全一致的。

3）集群扩容速度大幅提升

基于P2P的扩容方案，使得扩容在数据传输环节消耗的时间大幅缩短。理论上，使用P2P向N台计算机进行数据传输，整体最快速度为传统方案的N倍；实际上，在实际测试中，P2P方案能比传统方案快3~4倍。

4）整体容错性大幅提升

使用传统方案进行部署，计算机数量大时经常遇到部署不完整的情况，此时需要耗费大量人力进行人工干预。使用本发明的方法，在数据传输环节和集群配置环节均能加入适当的容错和自动重试机制，整体容错性大幅提升。

5）支持多种计算机集群系统

编写计算机脚本是一种让计算机的系统命令进行批处理执行的常用方法，计算机脚本是计算机批处理文件的延伸，是一种纯文本保存的程序，一般来说的计算机脚本是确定的一系列控制计算机进行运算操作动作的组合。本发明的方法，是通过编写所述的前置脚本和后置脚本等计算机脚本来实现的，对于不同的计算机集群进行扩容，只需要修改相应的脚本就可以了，本发明的方法具有一定的普适性，支持多种计算机集群系统。

6）硬件成本低

基于P2P的数据传输，使得运维人员不需要借助配置强大的下载机甚至下载集群即可实现数据快速有效的传输。

7）可扩展性强

无论是用于小规模集群扩容，还是用于大规模集群扩容，本平台都不需要做出很大的改动来进行适应。当目标计算机规模非常大时，也仅需要对Tracker服务的Web容器进行扩容即可。

附图说明

图1为本发明基于P2P网络技术的计算机集群快速扩容的架构图；

图2 为本发明计算机集群快速扩容的P2P分发网络的示意图。

具体实施方式

为了实现计算机集群的快速扩容，本发明提出一种基于P2P网络技术的计算机集群快速扩容方法，它包括控制系统和P2P分发网络两部分组成。

本发明中，控制系统支持目标计算机进行前置脚本、后置脚本的配置，能适应集群扩容，同时具有一定的普适性，支持多种计算机集群系统。P2P分发网络是基于P2P网络技术，使用P2P文件下载的思想，实现了计算机集群中的各个结点之间的信息交换，完成了数据的快速分发。

下面结合附图对本发明中控制系统和P2P分发网络的具体实施方式，进行详细说明，应理解这些实施仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1，所述的控制系统,向P2P分发网络中的各个Peer端发送命令，而各个Peer端之间是双向通信，该控制系统包括控制系统前端计算机（发起命令的计算机）和所有的待部署的计算机中的控制系统客户端。所述的控制系统，在控制系统前端计算机（即直接跟用户交互的计算机）上面，封装好计算机脚本， 把该脚本发送给所有的待部署的计算机中的控制系统客户端，使其启动Peer端、进行上传和下载以及自动进行集群中结点的配置及启动与通知工作，控制系统使得集群扩容自动化得以实现。进行上传和下载以及自动进行集群中结点的配置及启动与通知工作，控制系统前端和控制系统客户端的运行使得集群扩容自动化得以实现。

控制系统的具体实施方式，可以通过以下的控制系统的实现方案和工作流程来描述：

控制系统的实现方案：

控制系统是对本发明方法的具体执行流程的一个封装，处于核心控制的角色，该控制系统分发“基础任务”给目标计算机。所述的“基础任务”指的是元操作，这些元操作主要包括启动Peer端、修改配置项和数据分发等，其中数据分发的关键环节调用了P2P分发网络。控制系统的具体操作流程如下：

步骤1：配置描述文件，描述需要扩容的、所有的待部署的目标计算机的信息、待部署的目标计算机中集群客户端数据包的信息以及待部署的目标计算机的统一资源定位符； 

步骤2：编写前置脚本，该脚本将在待部署的目标计算机中集群客户端数据包分发及解数据包之前被执行，包括kill掉过时的服务进程；

步骤3：编写后置脚本，该脚本将在待部署的目标计算机中集群客户端数据包分发完成之后执行，该脚本中包含集群的配置和启动命令以及相关的自动化测试命令；

步骤4：按照下面所述的控制系统的工作流程执行控制系统，根据所述的配置描述文件、前置脚本和后置脚本，完成计算机集群的扩容。

执行控制系统的工作流程包括下面6个步骤：

步骤1：读取并解析描述文件；

步骤2：向目标计算机发送前置脚本，并命令其执行脚本；

步骤3：为待部署的集群中结点的数据包做种，即P2P分发网络中用到的种子文件；

步骤4：向集群中结点数据包所在计算机发送指令，令其启动Peer端，准备上传；

步骤5：向所有目标计算机发送指令，令其启动Peer端，开始P2P传输；

步骤6：传输结束，解包（解压），向目标计算机发送后置脚本，并令其执行。

如图2，P2P分发网络是基于P2P网络技术，使用P2P文件下载的思想，实现了计算机集群中的各个结点之间的信息交换，完成了数据的快速分发。基于P2P的文件下载，可以说是目前P2P技术中应用最普遍，使用最广泛的技术。P2P的下载原理其实很简单，它不同于通常所说的Web下载，在P2P系统中，每个参与的Peer都把自己的文件共享出来。当其他Peer搜索到这个文件时，两个Peer之间就直接建立连接，进行文件传输，而不需要任何第三方的参与，充分地利用了带宽，提高了传输速度。BT是目前最流行的文件下载方式，该方式将文件在大量互联网用户之间进行共享与传输的协议，其基本思想是：BT中的结点在共享一个文件时，首先将文件分片并将文件和分片信息保存在一个流（Torrent）类型文件中，这种结点被形象地称作“种子”结点。其他用户在下载该文件是根据Torrent文件的信息，将文件的部分分片下载下来，然后在其他下载该文件的结点之间共享自己已经下载的分片，互通有无，从而实现文件的快速下载。

考虑到P2P文件下载的优越性，本发明的P2P分发网络基于BT的标准架构进行设计，由一个Tracker服务器负责种子与结点信息的维护，每个结点需要与Tracker进行通信、获取信息，随后结点直接通过结点间的协议交换信息。本发明的P2P分发网络，由所有的待部署的计算机中的Peer端（视为P2P网络中一个普通的Peer）和一个Tracker服务器（或提供Tracker服务的集群）组成，基于BT的标准架构进行设计，实现了BT传输的协议，能够快速地将需要分发的数据包分发到目标计算机上。分发完成后，由所述的控制系统前端和控制系统客户端去控制计算机执行后续操作。所述的P2P分发网络中的Tracker服务器负责种子与结点信息的维护，每个结点需要与Tracker进行通信、获取信息，随后结点直接通过结点间的协议交换信息。

本发明的P2P分发网络的具体实施方式，可以用以下8个步骤的工作流程来描述：

步骤1: Tracker服务器制作种子文件，种子文件描述了待分发的所有文件及其分片的hash、Tracker服务的URL(Uniform Resource Locator)等关键信息；

步骤2：创建“种子”结点（make seed），即在图2中的源计算机上启动Peer端，告知Tracker这里有完整的文件；

步骤3：目标计算机启动Peer端，载入种子文件；

步骤4：目标计算机向Tracker请求可供下载的Peer端列表；

步骤5：目标计算机下载I个分片以及上传I个分片，其中I=整个下载文件的总大小除以下载文件的分片数目，整个下载文件的总大小和下载文件的分片数目在前端计算机发起扩容任务时指定，上传I个分片和下载I个分片是对应的操作，整个下载文件的总大小等于整个上传文件的总大小，下载文件的分片数目等于上传文件的分片数目，整个上传文件的总大小和上传文件的分片数目同样是在前端计算机发起扩容任务时指定的；

步骤6：若一台目标计算机尚未完成下载，返回步骤4；否则下载完成；

步骤7：下载完成的计算机，保留种子K个时间单位，以提供给其他未完成下载的结点下载，其中K在前端计算机发起扩容任务时指定；

步骤8：若文件的某个分片仅存在于一台计算机上并且该计算机发生系统故障或网络故障，这种故障会导致整个P2P网络中已经没有整份文件存在，则对源计算机或者已经下载完成但未保留种子的计算机进行重新做种（reseed）。

Claims (1)

1.一种基于P2P网络技术的计算机集群快速扩容方法，其特征在于：设置控制系统和P2P分发网络，控制系统包括发起命令的前端计算机，P2P分发网络基于BT传输协议的标准架构，包括所有待部署的目标计算机和一个Tracker服务器，所有待部署的目标计算机均设有控制系统客户端和P2P客户端Peer，P2P分发网络中的所有待部署的目标计算机定义为待扩容的集群中的“结点”，每个结点与Tracker服务器通信连接，各结点Peer端之间双向通信连接，控制系统的前端计算机向待部署的目标计算机发送指令，令其完成结点配置和数据传输，集群中的各个结点之间基于BT传输协议交换信息，实现数据的快速分发； 

控制系统的操作流程如下： 

步骤1：配置描述文件，描述需要扩容的、所有待部署的目标计算机的信息、待部署的目标计算机中集群客户端数据包的信息以及待部署的目标计算机的统一资源定位符； 

步骤2：编写前置脚本，该脚本将在待部署的目标计算机中集群客户端数据包分发及解数据包之前被执行，包括kill掉过时的服务进程；

步骤3：编写后置脚本，该脚本将在待部署的目标计算机中集群客户端数据包分发完成之后执行，该脚本中包含集群的配置和启动命令以及相关的自动化测试命令；

步骤4：按照下面所述的控制系统的工作流程执行控制系统，根据所述的配置描述文件、前置脚本和后置脚本，完成计算机集群的扩容；

步骤4：执行控制系统，根据所述的配置描述文件、前置脚本和后置脚本，完成计算机集群的扩容；

1）读取并解析描述文件；

2）向目标机器发送前置脚本，并命令其执行脚本；

3）为待部署的集群中结点的数据包做种，即P2P分发系统中用到的种子文件；

4）向集群中结点数据包所在计算机发送指令，令其启动Peer端，准备上传；

5）向所有目标计算机发送指令，令其启动Peer端，开始P2P传输；

6）传输结束，解数据包，向目标计算机发送后置脚本，并令其执行；

P2P分发系统的工作流程如下：

步骤1:：Tracker服务器制作种子文件，种子文件描述了包括待分发的所有文件及其分片的hash、Tracker服务的URL关键信息；

步骤2：创建“种子”结点make seed，即在源机器上启动Peer端，告知Tracker这里有完整的文件，拥有待分发的完整文件的计算机定义为源计算机；

步骤3：待部署的目标计算机启动Peer端，载入种子文件；

步骤4：待部署的目标计算机向Tracker请求可供下载的Peer端列表；

步骤5：目标计算机下载I个分片以及上传I个分片，其中I=整个下载文件的总大小除以下载文件的分片数目，整个下载文件的总大小和下载文件的分片数目在前端计算机发起扩容任务时指定，上传I个分片和下载I个分片是对应的操作，整个下载文件的总大小等于整个上传文件的总大小，下载文件的分片数目等于上传文件的分片数目，整个上传文件的总大小和上传文件的分片数目同样是在前端计算机发起扩容任务时指定的；

步骤6：若一台待部署的目标计算机尚未完成下载，返回步骤4；否则下载完成；

步骤7：下载完成的计算机，保留种子K个时间单位，以提供给其他未完成下载的结点下载，其中K在前端计算机发起扩容任务时指定；

步骤8：若文件的某个分片仅存在于一台计算机上并且该计算机发生系统故障或网络故障，这种故障会导致整个P2P网络中已经没有整份文件存在，则对源计算机或者已经下载完成但未保留种子的计算机进行重新做种reseed。

Images