CN101820387A

CN101820387A - 一种易扩展的快速机群部署方法

Info

Publication number: CN101820387A
Application number: CN201010109469A
Authority: CN
Inventors: 祝明发; 王欢; 许雪寒; 肖利民; 阮利
Original assignee: Beihang University
Current assignee: Shanghai Junesh Information Technology Co Ltd
Priority date: 2010-02-08
Filing date: 2010-02-08
Publication date: 2010-09-01
Anticipated expiration: 2030-02-08
Also published as: CN101820387B

Abstract

一种易扩展的快速机群部署方法，包括修改后的DHCP服务器、命令行工具和节点守护程序；修改后的DHCP服务器负责为待部署的节点分配IP地址和指定TFTP服务器地址，集中管理所有正在部署和部署成功的节点，在选择TFTP服务器时从部署成功的节点中优先选择负载最轻的；命令行工具可动态地修改DHCP服务器在启动时读入的配置信息，从而更好地利用部署节点的硬件资源，使部署过程平稳进行；节点守护程序由kickstart中的脚本在系统安装完毕后从主部署服务器上下载得到并开机自动运行，它的任务是向主部署服务器报告其状态、下载必要文件、启动TFTP和NFS服务等。本发明能适应机群规模的扩展且部署效果随着机群规模扩大更加明显，操作灵活，可通过配置文件或命令行控制整个部署过程。

Description

一种易扩展的快速机群部署方法

(一)技术领域：

本发明一种易扩展的快速机群部署方法，是一种针对大规模机群的快速部署方法，该方法充分利用已经部署成功的节点资源，为待部署的节点提供数据服务，有效地降低了主部署服务器的负载，从而提高机群部署的速度和稳定性，属于计算机技术领域。

(二)技术背景：

高性能计算是当前计算机科学中一个日趋重要的分支，而大规模机群系统又是高性能计算中的一个重要的组成部分，2009年11月top 500的数据显示，机群系统的比例达到了83.4％。目前，大规模的机群系统在各个领域的应用越来越广泛，包括高能物理、金融、气象等诸多领域。对于这些领域，随着计算需求的增大，机群系统的规模也越来越大，节点数目从几十、几百到几千、上万不等。机群节点数目的成倍增长使得部署效率和成本相应的提高，传统的单机部署模式已经很难适应现有的机群环境，如何快速有效地部署大规模机群系统是目前计算机领域的一个研究热点。

为了提高机群部署的效率，近些年来出现了不少有效的方法：

1)Ghost技术：Ghost是Symantec公司的一种克隆技术，它把整硬盘或者某些分区作为映像保存，也可以将映像文件还原到硬盘上面，恢复到映像前的状态。如果把系统分区作为映像保存，恢复时只需将映像文件还原到系统分区就可以了，省去了操作系统的安装过程，其速度和通常的文件拷贝速度是一样的，因此可以通过Ghost软件实现快速安装系统。Ghost网络版是功能非常强大的一种支持组播的软件，它不但能在本机上对硬盘进行镜像克隆，而且能通过网络对远程机进行克隆，它的局限在于不能对各个节点进行安装定制。机群系统中不同的节点上可能需要安装不同的操作系统和应用软件等，克隆技术对此无能为力。

2)无盘工作站：无盘工作站有自己的内存和CPU，使用远程的存储服务器，在本地进行计算。它把所有系统文件和数据都放在远程的存储服务器上，系统的管理和维护、软件的升级都只需要在服务器上完成，提高了机群的可管理性。无盘工作站在加电启动的时候，使用BOOTP/DHCP协议广播自己的MAC地址。BOOT/DHCP服务器响应无盘工作站的广播，并返回该无盘工作站的IP地址和启动文件位置。无盘工作站将返回的IP地址绑定在自己的网卡上，并根据启动文件的位置，使用TFTP协议取得启动文件，然后使用启动文件启动无盘工作站。无盘工作站也省去了安装操作系统的过程，并且可以支持多个操作系统的启动，实现了存储空间的共享，但是客户机只能启动服务器上设定的操作系统，服务器上静态设定了用户的全部信息，用户无法对自己的启动过程有任何的选择。另外，多个无盘工作站同时启动时网络带宽很容易成为瓶颈，从而降低系统部署的速度和稳定性。

3)网络安装：大规模机群中的节点可能没有配备光驱、软驱等输入设备，在进行部署的时候，目标节点是一个裸机，必须通过网络启动。PXE(Preboot Execution Environment)是Intel公司提出的一个标准，它提供了一种机制，使节点可以通过网卡启动。PXE的协议是建立在一些现有的互连网协议(TCP/IP、DHCP、TFTP)的基础之上的。在目标节点网卡的ROM中有PXE的客户端，在节点加电启动的时候客户端会通过PXE协议从服务器上下载一个引导程序，由这个引导程序来启动节点并完成一系列任务，其安装体系结构如图1所示。

网络安装过程如图2所示，可归结为以下步骤：

(1)节点从网卡ROM芯片或其它介质加载PXE客户端，运行后从DHCP获得IP地址和启动映像文件pxelinux.0的位置；

(2)从TFTP服务器获得pxelinux.0，运行pxelinux.0从TFTP服务器获得该节点的配置文件(位于pxelinux.cfg/目录下，一般以节点的MAC地址或IP地址的十六进制表示命名，如果均未找到则使用default文件)，并下载其中指示的vmlinuz(一个基于Linux的微内核)和initrd(用于加载驱动和文件系统的小映像文件)；

(3)内核从DHCP服务器获得客户机网卡的IP地址；

(4)从安装服务器获得kickstart配置文件，然后通过NFS获得安装镜像数据并依据配置文件进行系统安装。

Kickstart是redhat公司为实现系统的自动安装而发明的，它为管理员省去了在安装系统的过程中需要回答的各种问题，在安装之前通过文件描述好系统的配置信息，安装程序会根据该文件对系统做相应的配置，这是实现系统安装自动化的重要工具。

相对于前两种部署方式来说，网络安装更符合大规模机群系统的要求，而且管理员可以通过kickstart配置文件实现对系统的定制。但它没能解决其它部署方式所面临的同一个问题，即随着机群规模的增大，部署服务器会成为性能瓶颈。目前一个常见的解决方法是采用一个备份服务器，通过heartbeat机制与主服务器实现双机互备，当一个服务器发生故障时，正在进行的安装由另一台接管，而正常状态下两台服务器同时对客户机提供安装(每个客户机只由其中一台服务器安装)，以分担负载。这种方法没能从根本上提高系统的可扩展性，当机群规模扩大时，需要的备份服务器数量也会随之增多，服务器之间的心跳信息的维护也会更复杂。

具体而言，现有机群部署方法主要存在的问题在于：不能很好地支持超大规模的机群系统，即当机群节点数目大规模增长时，部署服务器负载急剧增长，部署时间也变得很长，令人无法接受。

(三)发明内容：

1、目的：

本发明的目的在于提供一种易扩展的快速机群部署方法，该系统有两个主要的特征：1)可扩展性好，能很好的适应系统规模的扩展且部署效果随着机群规模扩大更加明显；2)操作灵活，可以通过配置文件或命令行工具来控制整个部署过程。

2、技术方案：

本发明一种易扩展的快速机群部署方法，它的核心思想是让已完成部署的节点承担起为待部署节点提供数据的任务，从而减轻主部署服务器的负担。

根据上述网络部署过程可知，主部署服务器提供了三种功能：1)通过DHCP协议为客户机分配IP地址；2)通过TFTP协议为客户机传输必要的启动文件pxelinux.0、vmlinuz、initrd和一些配置文件；3)通过NFS为客户机提供安装镜像数据。由于一般操作系统的安装镜像小则几百兆，大则上G，安装过程很容易成为瓶颈。

为解决主部署服务器的瓶颈，本发明通过修改DHCP服务器源码，为其增加了动态指派数据服务器(TFTP和NFS)的功能，将待部署节点的请求重定向到已成功部署的节点上去，使得整个部署过程按多叉树模型进行，极大地提高了部署速度，并通过负载均衡机制使部署过程平稳进行。

本发明所述方法需要三部分程序来共同完成：位于主部署服务器上的修改后的DHCP服务器、用于管理DHCP服务器的命令行程序和位于各个已完成部署的节点上的守护进程。其中DHCP服务器负责为待部署节点分配IP地址和指定TFTP服务器的位置；命令行程序通过向DHCP服务器发送指令来控制部署过程平稳进行；各节点上的守护进程由kickstart在系统安装完成后从主部署服务器上下载得到并开机运行，它负责向主部署服务器报告其状态，下载必要的文件并成为新的部署服务器。具体如下：

本发明对DHCP服务器做如下修改：

1)增加两个链表deploying_list和deployed_list，分别维护正在部署的节点和已成功部署的节点，其中的每个节点由deploy_node表示，包括以下字段：a)该节点的MAC地址；b)该节点的IP地址ip_addr；c)正在部署的其它节点数量即其负载值clients；d)最大部署节点数即其负载上限max_clients；e)所在链表的下一个节点地址next；f)父节点parent；g)正在部署的第一个节点firstChild；h)第一个兄弟节点sibling。最后三个数据成员将各个节点组成了一个树状结构。deploying_list中的节点在完成部署后会转移到deployed_list中去，成为新的部署服务器。

2)修改DHCP响应函数。对来自于节点的请求，未经修改的DHCP服务器会返回配置文件中的TFTP服务器的IP地址。在这里将请求分为两种，待部署节点发送的请求和已完成部署节点重启后发送的请求，这两种请求可以通过查找deployed_list来确定，这也是deploy_node中保留MAC地址的目的。对于前一种请求，DHCP服务器首先在deployed_list中查找负载没有达到上限的节点(clients＜max_clients)，将其负载加1，然后将其IP地址写入DHCP响应中返回给请求节点，并新建一个deploy_node结构插入到deploying_list中；后一种请求产生的原因在于所有待部署节点都被设置为从网络启动，安装完成后重启会重复先前的动作，此时DHCP服务器会删除pxelinux.cfg/下该节点对应的配置文件(一般以其MAC地址作为文件名)，那么pxelinux.0就会转而下载default配置文件，而该文件中的配置信息会指导节点从硬盘启动。

3)增加远程唤醒功能。为了使部署过程平稳进行，应避免同时启动大量的节点，因此在DHCP服务器上增加远程唤醒功能模块。该模块使用配置文件记录下支持WOL(Wake OnLAN)的服务器的MAC地址，根据当前已部署服务器的整体负载上限，选择一定数量未启动的服务器并向其发送魔术包(包含连续6个字节的“FF”和连续重复16次的MAC地址)，从而实现远程唤醒。如果服务器不支持WOL，则需要管理员手动启动服务器。

4)增加两个线程，分别接受来自于已完成部署的节点的请求和管理员的命令。kickstart允许系统安装完毕后执行一些脚本程序，利用该脚本可以向主部署服务器请求一个守护程序并将其设置为开机自动运行，该守护程序负责收集其所在节点的负载状态(CPU利用率、网络带宽)，计算出一个综合负载值并发送给主部署服务器，服务器根据此值确定节点的负载上限。管理员通过命令行程序可以根据各节点的硬件配置(如CPU频率、网络带宽等)设置其所能部署的节点数、查看当前的部署结构信息、清除部署节点信息等。

5)增加配置信息，DHCP服务器启动时可以读入静态配置信息，如各节点的负载上限、正在部署的节点数上限等。这些信息可以提高机群部署的性能，管理员可以通过命令行修改这些配置信息。

新增一个用于管理DHCP服务器的命令行程序：

该命令行程序通过socket与DHCP服务器进行通信，DHCP服务器接受到命令后完成相应的操作如修改某个节点的负载上限、清除某个节点记录等。采用命令行程序是为了降低与DHCP服务器之间的耦合性，管理员可以从另外一个节点上控制部署过程。

新增一个位于各个已完成部署的节点上的守护程序：

该守护程序由kickstart脚本在系统安装完成后从主部署服务器上下载到本地并设置为开机自动运行，它负责向主部署服务器发送部署成功消息，DHCP服务器接收到消息后将该节点从deploying_list中转移到deployed_list中去，并将其父节点的clients字段减1；它还会下载一些文件如vmlinuz、initrd和安装镜像等并启动TFTP和NFS等服务。

本发明具有良好的可扩展性，当机群中需要部署的节点数增加时，节点在启动时自动向DHCP服务器请求IP地址和TFTP服务器的地址，而DHCP服务器则将该节点记录下来并开始跟踪它的部署状态如正在部署、已部署成功、正在为其它节点提供数据等。部署完成后，管理员可以通过命令行清除DHCP服务器中记录的节点信息，释放内存。

3、优点及功效：本发明是一种易扩展、快速的机群部署方法，具有如下优点：1)负载均衡，部署过程中不会出现某台服务器过载的情况；2)可扩展性好，能很好的适应系统规模的扩展且部署效果随着机群规模扩大更加明显；3)操作灵活，可以通过配置文件或命令行工具来控制整个部署过程。

(四)附图说明：

图1所示为传统的网络安装模型，中央部署服务器通过局域网与待部署客户机连接，并由中央部署服务器承担所有的部署工作。

图2所示为基于PXE的网络安装流程。

图3-图7描述了机群部署的整体过程，呈多叉树模型。

图中用椭圆表示主部署服务器，其余均为待部署节点，待部署节点任一时刻处于四种状态的其中一种：1)待部署，用圆形表示；2)正在部署，用正方形表示；3)已部署成功并充当部署服务器，用六边形表示；4)已部署完成，正常作业，用菱形表示。

图3中所有节点处于待部署状态；

图4中由主部署服务器首先部署节点1到节点4；

图5中节点1到节点4开始部署节点5到节点9；

图6中节点5到节点9开始部署节点10到节点16；

图7中所有节点处于部署完成状态。

(五)具体实施方式：

下面给出本发明的一个具体实施方式：

1)主要数据结构：

a)待部署节点：

struct deploy_node

{

u_int8_t mac_addr[6]；

struct in_addr ip_addr；

u_int32_t clients；

u_int32_t max_clients；

struct deploy_node*next；

struct deploy_node*parent；

struct deploy_node*firstChild；

struct deploy_node*sibling；

}

b)DHCP服务器与命令行程序的通信消息：

struct deploy_msg{

u_int8_t op；

char msg[MAX_LINE]；

}；

c)DHCP响应消息：

struct dhcp_packet{

u_int8_t op； /*0：Message opcode/type*/

u_int8_t htype；/*1：Hardware addr type(net/if_types.h)*/

u_int8_t hlen； /*2：Hardware addr length*/

u_int8_t hops； /*3：Number of relay agent hops from client*/

u_int32_t xid； /*4：Transaction ID*/

u_int 16_tsecs；/*8：Seconds since client started looking*/

u_int16_tflags；/*10：Flag bits*/

struct in_addr ciaddr；/*12：Client IP address(if already in use)*/

struct in_addr yiaddr；/*16：Client IP address*/

struct in_addr siaddr；/*18：IP address of next server to talk to*/

struct in_addr giaddr；/*20：DHCP relay agent IP address*/

unsigned char chaddr[16]；/*24：Client hardware address*/

char sname[DHCP_SNAME_LEN]；/*40：Server name*/

char file[DHCP_FILE_LEN]；/*104：Boot filename*/

unsigned char options[DHCP_MAX_OPTION_LEN]；

/*212：Optional parameters

(actual length dependent on MTU).*/

}；

2)DHCP服务器：

DHCP服务器通过read_conf_file函数来读取其配置文件/etc/dhcpd.conf，我们添加了一个指令include，使其可以通过外部文件包含新的参数信息，目前使用的参数主要包括部署节点上限、支持远程启动的节点的MAC地址、各节点的负载上限等，这些信息都可以通过命令行程序动态修改。解析代码根据参数信息建立一个哈希表，从而实现名值对的快速查找。

DHCP服务器一般通过配置文件中的next-server选项来确定为待部署节点提供启动文件(由filename选项指定)的服务器的IP地址，如果省去此字段，DHCP服务器以自己的IP地址响应节点。因此在部署过程中，负载会集中在某个特定的服务器上。

DHCP服务器通过void dhcprequest(packet，ms_nulltp，ip_lease)函数解析来自节点的请求信息，并通过void dhcp_reply(struct lease*lease)函数进行响应。在dhcprequest函数中，我们增加了一个对请求信息类型DHO_NODE_UP的处理代码并将该类型声明到dhcp.h头文件中。该信息来自部署完成的节点，对它的处理方法是将对应deploy_node结构体加入一个全局服务器链表头部，在此之前，该节点已通过守护程序完成了相关的初始化工作如下载启动文件、启动服务等；在dhcp_replay函数中，我们全局服务器链表的头部开始搜索，直到找出一个满足clients＜max_clients的deploy_node，将其ip地址填入dhcp_packet的siaddr字段响应给请求节点，并为请求节点建立一个新的deploy_node结构体，加入到由parent、firstChild和sibling字段建立的部署树状结构中。

每成功部署一个节点，DHCP服务器在dhcprequest函数中计算出当前部署成功的节点的负载和，再通过其负载上限和得到此时可以同时部署的节点数，然后选择相应数量的支持远程启动的节点，向其发送网络唤醒帧。如果可唤醒的节点数为零，检查部署是否完成，如果完成，在屏幕上打印一条完成信息，否则打印提示信息，向管理员报告当前可手动启动的节点数。

增加两个线程，分别在不同的端口监听来自部署节点的通知和管理员的命令信息。部署节点上的守护进程通过sysstat工具定时收集该节点的负载信息，包括CPU利用率、内存可用容量和硬盘速率等，计算出一个综合负载值发送给DHCP服务器，服务器接收到负载值后，通过对比先前的值修正节点的部署负载上限。管理员通过命令行程序向DHCP服务器发送指令，指令类型由deploy_msg结构体中的op字段确定，指令所需要的参数则由msg字段给出。

3)命令行程序：

该程序通过网络套接字与DHCP服务器建立连接，从控制台读取管理员的字符指令，将其转换成对应整数，如果有参数，将指令和参数封装成deploy_msg发往DHCP服务器，来自DHCP服务器的响应同样也通过deploy_msg进行传递。目前使用的指令主要包括：

DHCP_ADMIN_ADD_NODE：增加新的待部署节点

DHCP_ADMIN_DEL_NODE：删除待部署节点

DHCP_ADMIN_SET_PARAM：设置某个参数值

DHCP_ADMIN_GET_PARAM：查看某个参数值

DHCP_ADMIN_VIEW_TREE：查看当前部署树状结构

4)节点守护程序：

节点守护程序由kickstart在系统安装完成后从DHCP服务器上下载得到，并设置为开机自动运行。进程启动后建立相应的TFTP工作目录、从数据服务器上下载启动文件、安装镜像等、挂载NFS文件系统并导出相应目录，一切就绪后向DHCP服务器发送DHO_NODE_UP请求信息，报告其完成状态。同时，给隔一段时间运行sysstat程序收集节点的负载信息，计算出综合负载值并发送给DHCP服务器。

Claims

1.一种易扩展的快速机群部署方法，特征在于：该方法需要三部分程序来共同完成：位于主部署服务器上的修改后的DHCP服务器、用于管理DHCP服务器的命令行程序和位于各个已完成部署的节点上的守护进程；其中DHCP服务器负责为待部署节点分配IP地址和指定TFTP服务器的位置；命令行程序通过向DHCP服务器发送指令来控制部署过程平衡进行；各节点上的守护进程由kickstart在系统安装完成后从主部署服务器上下载得到并开机运行，它负载向主部署服务报告其状态并下载必要的文件并成为新的部署服务器；具体如下：

对DHCP服务器做如下修改：

1)增加两个链表deploying_list和deployed_list，分别维护正在部署的节点和已成功部署的节点，其中的每个节点由deploy_node表示，包括以下字段：a)该节点的MAC地址；b)该节点的IP地址ip_addr；c)正在部署的其它节点数量即其负载值clients；d)最大部署节点数即其负载上限max_clients；e)所在链表的下一个节点地址next；f)父节点parent；g)正在部署的第一个节点firstChild；h)第一个兄弟节点sibling；最后三个数据成员将各个节点组成了一个树状结构；deploying_list中的节点在完成部署后会转移到deployed_list中去，成为新的部署服务器；

2)修改DHCP响应函数；对来自于节点的请求，未经修改的DHCP服务器会返回配置文件中的TFTP服务器的IP地址；在这里将请求分为两种，待部署节点发送的请求和已部署节点重启后发送的请求，这两种请求可以通过查找deployed_list来确定，这也是deploy_node中保留MAC地址的目的；对于前一种请求，DHCP服务器首先在deployed_list中查找负载没有达到上限的节点(clients＜max_clients)，将其负载加1，然后将其IP地址写入DHCP响应中返回给请求节点，并新建一个deploy_node结构插入到deploying_list中；后一种请求产生的原因在于所有待部署节点都被设置为从网络启动，安装完成后重启会重复先前的动作，此时DHCP服务器会删除pxelinux.cfg/下该节点对应的配置文件，那么pxelinux.0就会转而下载default配置文件，而该文件中的配置信息会指导节点从硬盘启动；

3)增加远程唤醒功能；该功能模块使用配置文件记录下支持WOL的服务器的MAC地址，根据当前已部署服务器的整体负载上限，选择一定数量未启动的服务器并向其发送魔术包——包含连续6个字节的“FF”和连续重复16次的MAC地址，从而实现远程唤醒；如果服务器不支持WOL，则需要管理员手动启动服务器；

4)增加两个线程，分别接受来自于已完成部署的节点的请求和管理员的命令；kickstart允许系统安装完毕后执行一些脚本程序，利用该脚本可以向主部署服务器请求一个守护程序并将其设置为开机自动运行，该守护程序负责收集其所在节点的负载状态并发送给主部署服务器，服务器经过计算确定它的负载上限；管理员通过命令行程序可以根据各节点的硬件配置设置其所能部署的节点数即其负载上限、查看当前的部署结构信息、清除部署节点信息等；

5)增加配置信息，DHCP服务器启动时可以读入静态配置信息，如各节点的负载上限、正在部署的节点数上限等；这些信息可以提高机群部署的性能，管理员可以通过命令行修改这些配置信息；

新增一个用于管理DHCP服务器的命令行程序：

该命令行程序通过socket与DHCP服务器进行通信，DHCP服务器接受到命令后完成相应的操作如修改某个节点的负载上限、清除某个节点记录等；采用命令行程序是为了降低与DHCP服务器之间的耦合性，管理员可以从另外一个节点上控制部署过程；

新增一个位于各个已完成部署的节点上的守护程序：

该守护程序由kickstart脚本在系统安装完成后从主部署服务器上下载到本地并设置为开机自动运行，它负责向主部署服务器发送部署成功消息，DHCP服务器接收到消息后将该节点从deploying_list中转移到deployed_list中去，并将其父节点的clients减1；然后它还会下载一些文件如vmlinuz、initrd和安装镜像等并启动TFTP和NFS等服务。