CN107506262A - 一种高性能集群用户系统备份与恢复的方法及装置 - Google Patents

Abstract

本发明公开了一种高性能集群用户系统备份与恢复的方法及装置，包括：信息确认模块，通过信息确认模块确认旧集群用户信息所涉及文件；信息压缩模块，通过信息压缩模块将确认的旧集群用户信息涉及文件压缩打包，并将压缩包复制到新集群中；信息提取模块，通过信息提取模块将新集群中压缩包文件编辑并提取为需要的格式，将提取的文件保存为临时文件；信息导入模块，通过信息导入模块将提取后的临时文件输出为用户信息并导入至新集群中；信息核查模块，通过信息核查模块检查新集群中用户信息导入结果是否正确。本发明既避免了人工操作的繁琐，减少实施工作量，节省项目时间成本，又保证了数据一致性，防止个别用户的编译环境因人工导入失误而变化。

Description

一种高性能集群用户系统备份与恢复的方法及装置

技术领域

本发明涉及高性能计算集群技术领域，具体地说是一种高性能集群用户系统备份与恢复的方法及装置。

背景技术

高性能计算，谓之“国之重器”，其制造和应用水平不仅代表国家的科技发展水平，更是国家在经济建设中塑造核心竞争力的关键武器。在高性能+云计算时代，各地大规模采用HPC集群进行科学计算及商用计算的场景已经来临，并渗透到各行各业。以前的“搞科研才用HPC”的概念已不复存在，各种商业公司在创造生产力的同时，也借助HPC的改进生产效率，从而将虚拟的、仿真阶段所花的时间和成本降至最低，缩短企业研发产品加快产品上市的时间，加快企业的创新速度。

由于摩尔定律的存在，高性能计算集群采用的CPU在两三年时间内便会落后于计算力的发展，面临更新换代。当新一代集群安装部署后，首先面临的一个问题便是如何将原有集群上的计算环境及计算数据迁移至新的集群中。多年来，Linux操作系统一直是超级计算机领域里的王者。在世界最快超级计算机TOP500排名中，Linux操作系统不仅占据主导地位，且远远将其他对手甩在身后。若在Linux新集群中重新部署使用环境，不仅费时费力，还可能丢失原有用户自己部署的个性化使用环境，从而出现新旧集群迁移的空档期，影响集群用户的计算任务。

发明内容

本发明的技术任务是提供一种高性能集群用户系统备份与恢复的方法及装置。

本发明的技术任务是按以下方式实现的：

一种高性能集群用户系统备份与恢复的方法，包括：

创建信息确认模块，通过信息确认模块确认旧集群用户信息所涉及文件；

创建信息压缩模块，通过信息压缩模块将确认的旧集群用户信息涉及文件压缩打包，并将压缩包复制到新集群中；

创建信息提取模块，通过信息提取模块将新集群中压缩包文件编辑并提取为需要的格式，将提取的文件保存为临时文件；

创建信息导入模块，通过信息导入模块将提取后的临时文件输出为用户信息并导入至新集群中；

创建信息核查模块，通过信息核查模块检查新集群中用户信息导入结果是否正确。

所述的确认旧集群用户信息所涉及文件，所述的文件包括用户基本信息、用户密码、组信息及bash环境变量。

所述的确认旧集群用户信息所涉及文件，包括，

登录旧集群，通过cat命令确认用户信息所涉及文件状况。

所述的将确认的旧集群用户信息涉及文件压缩打包，并将压缩包复制到新集群中，包括；

通过saveold脚本，将旧集群用户信息文件压缩打包。

所述的将提取的文件保存为临时文件，所述的临时文件为userlist、shadowlist和grouplist。

所述的将提取后的临时文件输出为用户信息并导入至新集群中，包括；

通过revivenew脚本，将收集的用户信息导入至新集群中，并恢复相关用户的环境变量设置。

所述的新集群中，在NIS管理节点上执行"cd /var/yp, make",更新集群NIS信息。

所述的检查新集群中用户信息导入结果是否正确，包括；

在新集群中任意切换普通用户，检查测试用户使用环境是否正常。

一种高性能集群用户系统备份与恢复的装置，基于Linux系统，采用Linux Shell脚本，包括：

信息确认模块、信息压缩模块、信息提取模块、信息导入模块和信息核查模块。

所述的信息确认模块用于确认旧集群用户信息所涉及文件；

所述的信息压缩模块用于将确认的旧集群用户信息涉及文件压缩打包，并将压缩包复制到新集群中；

所述的信息提取模块用于将新集群中压缩包文件编辑并提取为需要的格式，将提取的文件保存为临时文件；

所述的信息导入模块用于将提取后的临时文件输出为用户信息并导入至新集群中；

所述的信息核查模块用于检查新集群中用户信息导入结果是否正确。

本发明的一种高性能集群用户系统备份与恢复的方法及装置和现有技术相比，既避免了人工操作的繁琐，大大减少实施工作量，节省项目时间成本，又保证了数据一致性，防止个别用户的编译环境因人工导入失误而变化；且在RedHat和CentOS发行版环境中具有通用性和易移植性。

附图说明

附图1为实施例2高性能集群用户系统备份与恢复的方法的流程示意图。

具体实施方式

实施例1：

创建高性能集群用户系统备份与恢复的装置，基于Linux系统，采用Linux Shell脚本，包括：

信息确认模块、信息压缩模块、信息提取模块、信息导入模块和信息核查模块。

所述的信息确认模块用于确认旧集群用户信息所涉及文件；

所述的信息压缩模块用于将确认的旧集群用户信息涉及文件压缩打包，并将压缩包复制到新集群中；

所述的信息提取模块用于将新集群中压缩包文件编辑并提取为需要的格式，将提取的文件保存为临时文件；

所述的信息导入模块用于将提取后的临时文件输出为用户信息并导入至新集群中；

所述的信息核查模块用于检查新集群中用户信息导入结果是否正确。

高性能集群用户系统备份与恢复的方法，包括：

创建信息确认模块，通过信息确认模块cat命令确认旧集群用户信息所涉及文件；所述的文件包括用户基本信息、用户密码、组信息及bash环境变量。

创建信息压缩模块，通过信息压缩模块saveold脚本将确认的旧集群用户信息涉及文件压缩打包，并将压缩包复制到新集群中；

创建信息提取模块，通过信息提取模块将新集群中压缩包文件编辑并提取为需要的格式，将提取的文件保存为临时文件；所述的临时文件为userlist、shadowlist和grouplist。

创建信息导入模块，通过信息导入模块revivenew脚本将提取后的临时文件输出为用户信息并导入至新集群中，并恢复相关用户的环境变量设置；

所述的新集群中，在NIS管理节点上执行"cd /var/yp, make",更新集群NIS信息。

创建信息核查模块，通过信息核查模块检查新集群中用户信息导入结果是否正确；包括，在新集群中任意切换普通用户，检查测试用户使用环境是否正常。

实施例2：

创建高性能集群用户系统备份与恢复的装置，基于Linux系统，采用Linux Shell脚本，包括：

信息确认模块、信息压缩模块、信息提取模块、信息导入模块和信息核查模块。

所述的信息确认模块用于确认旧集群用户信息所涉及文件；

所述的信息压缩模块用于将确认的旧集群用户信息涉及文件压缩打包，并将压缩包复制到新集群中；

所述的信息提取模块用于将新集群中压缩包文件编辑并提取为需要的格式，将提取的文件保存为临时文件；

所述的信息导入模块用于将提取后的临时文件输出为用户信息并导入至新集群中；

所述的信息核查模块用于检查新集群中用户信息导入结果是否正确。

高性能集群用户系统备份与恢复的方法，包括：

创建信息确认模块，通过信息确认模块cat命令确认旧集群用户信息所涉及文件；所述的文件包括用户基本信息、用户密码、组信息及bash环境变量，文件状况，包括但不限于以下：

/etc/passwd

/etc/shadow

/etc/group

$HOME/.bashrc

创建信息压缩模块，通过信息压缩模块saveold脚本将确认的旧集群用户信息涉及文件压缩打包，并将压缩包复制到新集群中；

saveold脚本内容如下：

#!/bin/bash

cp /etc/passwd ~/saveold/passwd-bak

cp /etc/shadow ~/saveold/shadow-bak

cp /etc/group ~/saveold/group-bak

awk -F: '($3>=500) && ($3!=65534)' ~/saveold/passwd-bak | cut -d: -f1,3,4> ~/saveold/userlist

cut -d: -f1,2 ~/saveold/shadow-bak > ~/saveold/shadowlist

awk -F: '($3>=500) && ($3!=65534)' ~/saveold/group-bak | cut -d: -f1,3 >~/saveold/grouplist

for user in `awk -F: '{print $1}' ~/saveold/userlist`

do

cp /home/$user/.bashrc ~/saveold/bashrc/$user.bashrc

done

tar zcf saveold.tgz ~/saveold/

创建信息提取模块，通过信息提取模块将新集群中压缩包文件编辑并提取为需要的格式，将提取的文件保存为临时文件；所述的临时文件为userlist、shadowlist和grouplist。

创建信息导入模块，通过信息导入模块revivenew脚本将提取后的临时文件输出为用户信息并导入至新集群中，并恢复相关用户的环境变量设置；

revivenew脚本内容如下：

#!/bin/bash

tar zxf saveold.tgz

for group in `awk -F: '{print $1}' ~/saveold/grouplist

do

export groupid=`grep -w $group ~/saveold/grouplist | awk -F: '{print $2}'`

groupadd -g $groupid $group

done

newusers < ~/saveold/passwd-bak

chpasswd -e < ~/saveold/shadowlist

for user in `awk -F: '{print $1}' ~/saveold/userlist`

do

export groupid=`grep -w $user ~/saveold/userlist | awk -F: '{print $3}'`

export group=`grep -w $groupid ~/saveold/grouplist | awk -F: '{print $1}'`

echo "$user:$group"

cp -a /etc/skel/.bash* /etc/skel/.mozilla/ /etc/skel/.config /home/$user

cp -a ~/saveold/bashrc/$user.bashrc /home/$user/.bashrc

chown -R $user:$group /home/$user

done

所述的新集群中，在NIS管理节点上执行"cd /var/yp, make",更新集群NIS信息。

创建信息核查模块，通过信息核查模块检查新集群中用户信息导入结果是否正确；包括，在新集群中任意切换普通用户，检查测试用户使用环境是否正常。

通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

Claims (10)

1.一种高性能集群用户系统备份与恢复的方法，其特征在于，包括：

创建信息确认模块，通过信息确认模块确认旧集群用户信息所涉及文件；

创建信息压缩模块，通过信息压缩模块将确认的旧集群用户信息涉及文件压缩打包，并将压缩包复制到新集群中；

创建信息提取模块，通过信息提取模块将新集群中压缩包文件编辑并提取为需要的格式，将提取的文件保存为临时文件；

创建信息导入模块，通过信息导入模块将提取后的临时文件输出为用户信息并导入至新集群中；

创建信息核查模块，通过信息核查模块检查新集群中用户信息导入结果是否正确。

2.根据权利要求1所述的的方法，其特征在于，所述的确认旧集群用户信息所涉及文件，所述的文件包括用户基本信息、用户密码、组信息及bash环境变量。

3.根据权利要求1或2的的方法，其特征在于，所述的确认旧集群用户信息所涉及文件，包括，

登录旧集群，通过cat命令确认用户信息所涉及文件状况。

4.根据权利要求1所述的的方法，其特征在于，所述的将确认的旧集群用户信息涉及文件压缩打包，并将压缩包复制到新集群中，包括；

通过saveold脚本，将旧集群用户信息文件压缩打包。

5.根据权利要求1所述的的方法，其特征在于，所述的将提取的文件保存为临时文件，所述的临时文件为userlist、shadowlist和grouplist。

6.根据权利要求1所述的的方法，其特征在于，所述的将提取后的临时文件输出为用户信息并导入至新集群中，包括；

通过revivenew脚本，将收集的用户信息导入至新集群中，并恢复相关用户的环境变量设置。

7.根据权利要求1或6所述的的方法，其特征在于，所述的新集群中，在NIS管理节点上执行"cd /var/yp, make",更新集群NIS信息。

8.根据权利要求1所述的的方法，其特征在于，所述的检查新集群中用户信息导入结果是否正确，包括；

在新集群中任意切换普通用户，检查测试用户使用环境是否正常。

9.一种高性能集群用户系统备份与恢复的装置，其特征在于，基于Linux系统，采用Linux Shell脚本，包括：

信息确认模块、信息压缩模块、信息提取模块、信息导入模块和信息核查模块。

10.根据权利要求9所述的装置，其特征在于，所述的信息确认模块用于确认旧集群用户信息所涉及文件；

所述的信息压缩模块用于将确认的旧集群用户信息涉及文件压缩打包，并将压缩包复制到新集群中；

所述的信息提取模块用于将新集群中压缩包文件编辑并提取为需要的格式，将提取的文件保存为临时文件；

所述的信息导入模块用于将提取后的临时文件输出为用户信息并导入至新集群中；

所述的信息核查模块用于检查新集群中用户信息导入结果是否正确。