CN102591679B

CN102591679B - 一种集群系统应用软件快速部署方法

Info

Publication number: CN102591679B
Application number: CN201110391526.3A
Authority: CN
Inventors: 薛正华; 黎建辉; 周园春; 沈庚; 张洋
Original assignee: Computer Network Information Center of CAS
Current assignee: Computer Network Information Center of CAS
Priority date: 2011-11-30
Filing date: 2011-11-30
Publication date: 2014-09-17
Anticipated expiration: 2031-11-30
Also published as: CN102591679A

Abstract

本发明公开了一种集群系统应用软件快速部署方法，本方法为：1)在主节点上创建一包括主节点文件系统的共享目录，并在共享目录中为其他节点分别建立一专属文件目录；2)修改共享目录下的系统初始化文件，使节点初始化时实现其独享专有文件系统；3)主节点授权其他节点可访问主节点的文件系统，并分配IP、指定服务器地址；指定各节点所加载的内核文件位置，并将共享目录指定为各节点的根文件系统目录；4)设定各节点为网卡启动，每个节点获得IP地址和内核文件，执行系统初始化文件完成各节点的启动；5)任选一节点进行应用软件的安装并记录；然后将记录结果中的文件同步到其他节点的/var目录中。本发明可实现集群中软件的快速部署。

Description

一种集群系统应用软件快速部署方法

技术领域

本发明属于计算机领域，涉及集群系统软件技术，特别涉及一种支持Linux集群系统应用快速部署的方法。

背景技术

集群就是通过高性能网络或局部网将一组计算机（节点）互连，形成的具有单一系统映像的计算系统。由于其高性能、高可扩展性、高性价比的优势，基于集群体系结构，构建高性能、高吞吐量的计算系统成为一种流行的趋势。

随着应用需求的不断增大，集群系统规模从过去的数百节点扩充到成千上万个节点，如何高效地完成大规模集群系统的应用软件的快速部署成为一个挑战性的问题。目前，集群系统中应用的部署有如下几种主要方法。

(1)手工批配置方式

系统管理员通过管理软件，选定安装服务的节点(服务器)，首先执行发送安装文件到各选定节点特定目录的命令，其次执行安装和配置脚本启动命令。发送文件和执行安装配置脚本，都是以远程登陆方式批处理地执行。

(2)基于用户视角的自动配置方式

这种方式先在其中一台机器上进行安装，一个后台程序监控并记录安装过程的所有终端的输入输出操作。如键盘输入的内容、终端输出内容等都被一一记录下来。这些记录被制作成安装脚本。在其他节点安装应用软件时，首先发送安装文件到各节点，再执行安装脚本。安装脚本将截获到的终端输入作为输入，执行安装过程中，根据终端输出，从安装脚本中匹配对应的输入，自动完成有交互的服务安装配置过程。

(3)文件共享配置方式

这种方式将应用软件安装在远端存储区域，并将安装了该软件的文件系统通过网络共享方式共享给需要安装服务的节点。对于节点来说，服务运行所需的文件好像就在本地。

上述三种方法，各自存在一些问题：

1)手工批安装方式，无法处理需要交互的应用软件安装过程；

2)基于用户视角的自动安装方式解决了交互问题，但存在如下问题：

(a)当行为记录器开始监视并记录安装行为时，用户在安装过程不能出现误操作。若用户作了不适当的操作，行为记录器无法识别操作是无效操作，依然记录下来；

(b)安装过程中若存在交互，需要根据终端输出内容和行为记录器中所保存的输出内容进行匹配，以找到正确的输入内容。若终端输出内容过大或交互次数较多，匹配所耗时间较长。此外，输出格式有所变化时，容易导致匹配失败。

3)文件共享方式无需将安装文件发送到每个节点上，只需在某个存储区进行一次安装，各节点将所需的文件系统映射到本地即可，较为方便。但该方式存在如下问题：许多应用软件除了在指定的安装目录写入文件外，还需要在其他目录中写入文件，或更改某些系统配置文件，这些被写入或更改的文件系统往往是不共享的，因此，在一个节点安装和配置成功后，其他节点上并不能保证应用的成功部署。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷和不足提供一种高效、可靠的集群系统应用软件部署方法。

为了实现上述目标，本发明采取如下的技术解决方案：

一种集群系统应用软件快速部署方法，其步骤为：

1）在集群的主节点上创建一共享目录，该共享目录包括主节点操作系统的文件系统；

2）在所述共享目录中为集群中其他所有计算节点分别建立一个专属文件目录，用于存放各计算节点的专有文件系统；

3）修改所述共享目录下主节点文件系统中的系统初始化文件，使计算节点i系统初始化时利用计算节点i的专有文件系统替换所述共享目录中对应的文件系统，实现计算节点i独享专有文件系统；

4）主节点授权其他计算节点可访问主节点的文件系统；为所有其他计算节点分配IP地址并指定服务器地址；

5）主节点指定各计算节点所加载的内核文件位置，并将所述共享目录指定为其他所有计算节点的根文件系统目录；

6）设定各计算节点的第一启动方式为网卡启动，每个节点启动后根据PXE协议，通过主节点获得IP地址和内核文件，加载内核后执行所述系统初始化文件，完成各计算节点的启动；

7）任选一个计算节点进行应用软件的安装，记录安装和配置过程中对专有文件系统：/var

进行的操作；然后将记录结果中的文件同步到集群中其他计算节点的/var目录中。进一步的，所述专属文件目录中包括文件系统：/var,/tmp,/dev,/etc/fstab,/etc/sysconfig/network,/etc/sysconfig/network-scripts，/etc/udev。

进一步的，所述主节点为NFS服务器。

进一步的，通过设定主节点的NFS配置文件，并启动主节点的NFS服务,授权其他计算节点可访问主节点的文件系统；通过配置主节点的DHCP配置文件并启动主节点DHCP服务，为系统中所有其他计算节点分配IP地址并指定TFTP服务器地址。

进一步的，通过设置主节点的TFTP配置文件指定各计算节点所加载的内核文件位置，并将所述共享目录指定为其他所有计算节点的根文件系统目录，启动主节点的TFTP服务。

进一步的，各计算节点通过主节点提供的TFTP服务获得内核文件。

进一步的，所选计算节点上，通过文件系统监控工具inotifytool监视专有文件系统：/var，记录安装和配置过程中对/var进行的操作。

本发明方法流程如图所示，其的主要技术内容包括：

1、准备文件系统：在集群的主节点（NFS服务器端）上安装完操作系统后，

步骤1.1创建一目录（如:/nfsrootfamily）该目录包括主节点操作系统的文件系统。

步骤1.2在主节点的/nfsrootfamily目录下，为集群中其他所有计算节点分别建立一个专属文件目录，这些文件目录用于存放各计算节点的专有文件系统。专有文件系统包括：/var,/tmp,/dev,以及/etc目录下的部分文件系统，包括：/etc/fstab,/etc/sysconfig/network,/etc/sysconfig/network-scripts，/etc/udev。

步骤1.3修改主节点所建的/nfsrootfamily目录下文件系统中的系统初始化文件：etc/rc.sysinit，控制各计算节点系统初始化过程，利用计算节点i的专有文件系统替换/nfsrootfamily中对应的文件系统，以实现计算节点i独享专有文件系统。代码如下：

在etc/rc.sysinit文件开始处加入如下代码：

echo"***Establishing specail file system Begin***"

mount--rbind/nfsrootfamily/$HOSTIP/var/var

mount--rbind/nfsrootfamily/$HOSTIP/dev/dev

mount--rbind/nfsrootfamily/$HOSTIP/etc/udev/etc/udev

mount--bind/nfsrootfamily/$HOSTIP/etc/sysconfig/network/etc/sysconfig/network

mount--rbind/nfsrootfamily/$HOSTIP/etc/sysconfig/network-scripts\

/etc/sysconfig/network-scripts

echo"***Establishing specail file system End***"

上述代码段中，/nfsrootfamily/$HOSTIP为主节点为各计算节点建立的以节点IP命名的专有文件系统目录。

2、配置主节点以控制各节点的启动及文件挂载方式

步骤2.1：通过设定主节点的NFS配置文件/etc/exports，并启动主节点的NFS服务,授权其他计算节点可访问主节点的文件系统。

步骤2.2：通过配置主节点的DHCP配置文件/etc/dhcpd.conf,为系统中所有其他计算节点分配IP地址并指定TFTP服务器地址，启动主节点DHCP服务用于为各计算节点分配IP地址。

步骤2.3：通过配置主节点的TFTP配置文件/tftpboot/pxelinux.cfg/default,指定各计算节点所加载的内核文件位置，并将主节点所建的/nfsrootfamily目录指定为其他所有计算节点的根文件系统目录，启动主节点的TFTP服务，用于向各节点传输内核文件。

3、启动各节点：设定各计算节点的第一启动方式为网卡启动，并重新启动各计算节点。每一计算节点启动后根据PXE协议，首先会根据步骤2.2的设定，从主节点提供的DHCP服务获得IP地址；根据步骤2.3通过主节点提供的TFTP服务获得内核文件，内核加载后，其会自动将根文件切换到步骤2.3所指定的文件系统位置；并自动执行系统初始化文件：etc/rc.sysinit，各计算节点用自己的专有文件系统覆盖原主节点的各个对应的文件系统，完成各计算节点的启动。

4、安装应用软件时，可任选一个计算节点进行安装。在所选节点上，启动文件系统监控工具如inotifytool工具监视专有文件系统：/var，应用安装过程不会在其余的专有文件系统做添加、删除、移动、更改文件属性的操作，故无需监控。记录安装和配置过程中对/var这文件系统进行的所有创建文件、移动文件、删除文件和更改文件属性的操作。其可执行的shell脚本代码如下：

#!/bin/sh

src=/var #被监控的文件

des=/tmp/inotify-res #将监控结果记录到des中

/usr/local/bin/inotifywait-mrq--timefmt'%Y%m%d-%H:%M'\

--format'%T%e%w%f'-e delete,create,attrib,move${src}--exclude".swp\>$des"

安装配置结束后，将记录结果中的文件同步到集群中的其他计算节点的/var目录中，即完成了应用在所有节点的安装和配置工作。

与现有技术相比，本发明的积极效果为：

本发明的一种支持Linux集群系统应用快速部署的系统构建方法，该方法将Linux操作系统的文件系统分为公共文件系统和专有文件系统。集群系统的所有节点通过NFS共享公共文件系统，各节点独享专有文件系统。该方法可在集群系统的任一节点上部署应用，部署应用过程中写入公共文件系统的文件被各节点所共享。通过inotifytool工具，对部署节点的专有文件系统所做的增加文件、移动文件、删除文件、更改文件的所有操作被截获，针对这些文件，在集群系统内所有其他节点上进行文件同步操作。该方法的特点在于在任一节点安装和配置应用后，整个系统的所有节点即完成了应用的部署，该方法高效、可靠地实现了Linux集群系统应用的快速部署。

附图说明

附图为本发明方法流程图。

具体实施方式

以下为本发明的一种具体实施例：

1、准备根文件系统：在一个节点（主节点）上安装完操作系统后，在主节点上建立一目录/nfsrootfamily，然后在该目录中为其他所有节点分别建立一个专属文件目录，这些专属文件目录用于存放各节点的专有文件系统。专有文件系统包括：/var,/tmp,/dev以及/etc目录下的部分文件系统，包括：/etc/fstab,/etc/sysconfig/network,/etc/sysconfig/network-scripts，/etc/udev。专有文件系统的构建如下四个内容：

1）各计算节点的/var,/tmp,/dev，/etc/udev文件可以通过拷贝主机系统的对应目录建立。具体命令如：cp–a/var//nfsrootfamily/$HOSTIP/var,其中，$HOSTIP为主节点为计算节点建立的以节点IP命名的专有文件系统目录。

2）各计算节点的/etc/sysconfig/network-scripts文件目录可以通过拷贝主机系统的对应目录建立。具体命令如：cp–a/etc/sysconfig/network-scripts//nfsrootfamily/$HOSTIP/etc/sysconfig/network-scripts,其中，$HOSTIP为主节点为计算节点建立的以节点IP命名的专有文件系统目录。拷贝完成后，需要将节点的网卡配置文件如：/nfsrootfamily/$HOSTIP/etc/sysconfig/network-scripts设置为DHCP自动分配方式，具体配置文件如下例：

DEVICE=eth0

ONBOOT=yes

BOOTPROTO=dhcp

TYPE=Ethernet

3)通过配置/etc/sysconfig/network文件指定节点名，具体如下例：

NETWORKING=yes

NETWORKING_IPV6=yes

HOSTNAME=c001 //c001为计算节点的名字

4）/etc/fstab文件内容如下例：

构建完专有文件系统后，需要修改主节点所建的/nfsrootfamily目录下的系统初始化文件：etc/rc.sysinit，以控制各计算节点系统初始化过程，利用计算节点i的专有文件系统替换/nfsrootfamily中对应的文件系统，以实现计算节点i独享专有文件系统。代码如下：

在etc/rc.sysinit文件开始处加入如下代码：

echo"***Establishing specail file system Begin***"

mount--rbind/nfsrootfamily/$HOSTIP/var /var

mount--rbind/nfsrootfamily/$HOSTIP/dev /dev

mount--rbind/nfsrootfamily/$HOSTIP/etc/udev/etc/udev

mount--bind/nfsrootfamily/$HOSTIP/etc/sysconfig/network /etc/sysconfig/network

mount--rbind/nfsrootfamily/$HOSTIP/etc/sysconfig/network-scripts\

/etc/sysconfig/network-scripts

echo"***Establishing specail file system End***"

2、配置主节点以控制各节点的启动及文件挂载方式

步骤2.1：通过配置主节点的DHCP配置文件/etc/dhcpd.conf,为系统中所有其他节点分配IP地址并指定TFTP服务器地址，其具体设定内容如下例：

启动主节点DHCP服务器，其具体启动命令如下：

service dhcpd start

步骤2.2：通过配置主节点的TFTP配置文件/tftpboot/pxelinux.cfg/default,指定各节点所加载的内核文件位置，并将主节点的根目录指定为其他所有节点的根文件系统，其具体设定内容如下例：

DEFAULT pxelinux.cfg/vesamenu.c32

PROMPT0

MENU TITLE PXE Boot Install Menu Designed by CNIC-OSG

TIMEOUT60

LABEL CentOS55Diskless

MENU LABEL^1----Boot for DisklessCentOS64From NetWork

kernel36bzImage

append boot=nfs nfsroot=192.168.0.1:/nfsrootfamily,tcp ip=dhcp rw

其中，192.168.0.1为主节点IP地址。

启动主节点的TFTP服务,其具体命令如下：

service xinetd start

步骤2.3：通过设定主节点的NFS配置文件/etc/sysconfig/,授权其他节点可访问主节点的文件系统，其具体的设定内容如下例：

/*(rw,insecure,sync,insecure_locks,no_root_squash)

启动主节点的NFS服务，具体命令如下：

service nfs start

3、启动各计算节点，设定各计算节点的第一启动方式为网卡启动，并重新启动各节点。节点启动后根据PXE协议，首先会根据步骤2.1的设定，从主节点提供的DHCP服务获得IP地址；根据步骤2.2通过主节点提供的TFTP服务获得内核文件，内核加载后，通过步骤2.3所提供的NFS服务，将根文件切换到步骤2.2所指定的文件系统位置；并开始执行在主节点所建立的/nfsrootfamily/etc/rc.sysinit文件的内容进行系统初始化，用各节点所指定的专有文件系统覆盖原主节点的各个对应的文件系统，完成各计算节点的启动。

4、安装应用软件时，可任选一个计算节点进行安装。在所选节点上，启动文件系统监控工具如inotifytool工具监视专有文件系统：/var，应用安装过程不会在其余的专有文件系统做添加、删除、移动、更改文件属性的操作，故无需监控。记录安装和配置过程中对/var这文件系统进行的所有创建文件、移动文件、删除文件和更改文件属性的操作，将监控结果保存到某一文件中如：/tmp/inotify-res。具体的shell脚本代码如下：

#!/bin/sh

src=/var #被监控的文件

des=/tmp/inotify-res #将监控结果记录到des中

/usr/local/bin/inotifywait -mrq --timefmt '%Y%m%d-%H:%M'\

--format '%T %e %w%f' -e delete,create,attrib,move ${src} --exclude ".swp\>$des "

5、将监控结果文件如：/tmp/inotify-res所记录的文件同步到其他计算节点的“/var”目录中，即完成了应用在所有节点的安装和配置工作。其同步文件的具体操作脚本如下例：

其中，$HOSTIP表示计算节点IP，$FILENAME为监控结果文件：/tmp/inotify-res。

Claims

1.一种集群系统应用软件快速部署方法，其步骤为：

7）任选一个计算节点进行应用软件的安装，记录安装和配置过程中对专有文件系统：/var进行的操作；然后将记录结果中的文件同步到集群中其他计算节点的/var目录中。

2.如权利要求1所述的方法，其特征在于所述专属文件目录中包括文件系统：/var,/tmp,/dev,/etc/fstab,/etc/sysconfig/network,/etc/sysconfig/network-scripts，/etc/udev。

3.如权利要求1或2所述的方法，其特征在于所述主节点为NFS服务器。

4.如权利要求3所述的方法，其特征在于通过设定主节点的NFS配置文件，并启动主节点的NFS服务,授权其他计算节点可访问主节点的文件系统；通过配置主节点的DHCP配置文件并启动主节点DHCP服务，为系统中所有其他计算节点分配IP地址并指定TFTP服务器地址。

5.如权利要求4所述的方法，其特征在于通过设置主节点的TFTP配置文件指定各计算节点所加载的内核文件位置，并将所述共享目录指定为其他所有计算节点的根文件系统目录，启动主节点的TFTP服务。

6.如权利要求5所述的方法，其特征在于各计算节点通过主节点提供的TFTP服务获得内核文件。

7.如权利要求2所述的方法，其特征在于在所选计算节点上，通过文件系统监控工具inotifytool监视专有文件系统：/var，记录安装和配置过程中对/var进行的操作。