CN103475734A - 一种Linux集群用户备份迁移的方法 - Google Patents

一种Linux集群用户备份迁移的方法 Download PDF

Info

Publication number
CN103475734A
CN103475734A CN2013104403990A CN201310440399A CN103475734A CN 103475734 A CN103475734 A CN 103475734A CN 2013104403990 A CN2013104403990 A CN 2013104403990A CN 201310440399 A CN201310440399 A CN 201310440399A CN 103475734 A CN103475734 A CN 103475734A
Authority
CN
China
Prior art keywords
root
ssh
user
cluster
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013104403990A
Other languages
English (en)
Inventor
李征
郑辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN2013104403990A priority Critical patent/CN103475734A/zh
Publication of CN103475734A publication Critical patent/CN103475734A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种Linux集群用户备份迁移的方法，通过ssh、tar等工具备份用户主要信息以实现对集群大用户量的快速完整迁移。目前，一个普通的Linux集群，用户数量多，数据量大都是不容忽视的客观现状，这些用户信息主要都集中在一个管理节点上采用NFS服务共享给几百上千个计算节点单元。随着对服务器要求的提高，服务器更新速度也跟着加快，如何实现对老集群用户数据的备份以及实现服务器更新时的快速迁移是一个不容忽视的问题。通过对用户关键信息的及时备份，实现对老集群大用户像新集群的快速完整的迁移。

Description

一种Linux集群用户备份迁移的方法
技术领域
本方法适用于HPC集群环境中新老集群用户快速迁移，并通过对新集群的设置实现对用户数据的管理及定时备份。,具体地说是一种Linux集群用户备份迁移的方法。
背景技术
在HPC高性能计算环境中，用户多，数据量大。随着对性能要求的提高，服务器的更新速度也在日益增大，为保证集群的高可用性及高可靠性，如何实现老集群用户的快速迁移成为一个不容忽视的问题。当前，对用户的迁移一是完整备份，整个复制老管理单元的操作系统，这样虽然简单但是耗费时间；还有就是仅仅备份数据，在新集群管理节点上重新安装操作系统，重新新建用户，这样虽然迁移速度有所提高却会导致用户的权限错误或者数据的丢失。
 本方法通过相关配置，能实现对老集群用户数据的快速备份，迁移和统一管理。并能对新的集群用户信息实现远程自动定时备份。
发明内容
本发明的目的是提供一种Linux集群用户备份迁移的方法。
本发明的目的是按以下方式实现的，具体步骤如下：
1）备份老集群管理节点的用户信息，包括如下内容：
备份集中在home目录、etc目录中的系统普通用户信息，其中：home目录里的用户主要数据信息；包括用户的环境变量配置信息；etc目录里主要是用户的权限信息，包括passwd、group以及shadow三个文件；使用tar工具对相关用户文件进行压缩打包；打包完以后通过移动存储设备或者网络来将相关信息迁移到新集群中；
2）测试新用户
测试老集群中用户user1 [rootlinux ~]# su user，输入密码看是否能正常登录；
3）设置新集群无需密码的ssh登陆，方法步骤如下：
假设A，B，C服务器，现在需要在A机上用root登陆B机C机，而不需要输入密码，按照下面的步骤来做：
（1）在A机上以root用户登录，生成钥匙对,执行以下命令：
[rootlinuxA ~]# ssh-keygen -t dsa
目的是简单的在/root下创建目录.ssh，当提示输入passphase时打入两次回车，这将生成/root/.ssh/id_dsa和/root/.ssh/id_dsa.pub，其中id_rsa是密钥，id_rsa.pub是公钥；
（2）在B机上以root登录，运行ssh-keygen –t dsa，然后将A机上的id_rsa.pub文件复制到B机的/root/.ssh/authorized_keys2中，在B机的/root/.ssh/目录下运行cat id_dsa.pub 〉〉authorized_keys2，再将B机的 authorized_keys2文件复制到C机的/root/.ssh/文件夹下；
（3）重复以上步骤在后面结点上，在最后的计算节点上将生成一个完整的authorized_keys2文件，然后把authorized_keys2文件用scp命令拷贝到其余所有节点的/root/.ssh/目录下，ssh配置完成；
（4）测试：在A机上以root帐号登录，尝试ssh登录B机，命令：
[rootlinuxA ~]# ssh rootLinuxB，看看是不是需要密码；
通过上述配置在新集群中以达到所有节点间实现ssh无密码访问；
4）配置好NFS服务以及nis服务实现对集群用户的统一管理；
5）远程定时备份
当实现了管理节点与其他节点间的ssh无密码访问以后，通过编写脚本实现将管理节点的用户信息定时自动备份到指定的网络设备中，步骤如下：
（1）将备份节点的ip地址以及主机名对应添加到管理节点的hosts文件中，并在备份节点上建立一个专门的备份文件夹/backupdb；
（2）编辑管理节点的crontab文件vi /etc/crontab，实现对相关文件的远程自动定时备份；
（3）编辑/etc/cron.daily中的脚本：
vi backupdb
tar -cvjf /tmp/passwd.tgz.bz2 /etc/passwd
tar -cvjf /tmp/group.tgz.bz2 /etc/group
tar -cvjf /tmp/shadow.tgz.bz2 /etc/shadow
scp /tmp/passwd.tgz.bz2 rootbackup:/backupdb
scp /tmp/group.tgz.bz2 rootbackup:/backupdb
scp /tmp/shadow.tgz.bz2 rootbackup:/backupdb
这样就能将管理节点中的用户信息定时自动备份到远程备份节点中，以提高了集群的可靠性。
本发明的有益效果是：随着对服务器要求的提高，服务器更新速度也跟着加快，如何实现对老集群用户数据的备份以及实现服务器更新时的快速迁移是一个不容忽视的问题。通过对用户关键信息的及时备份，实现对老集群大用户像新集群的快速完整的迁移。
附图说明
图1是网络环境结构示意图；
图2是集群用户迁移流程图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
）网络环境 通过以太网连接老集群管理节点服务器MU 和新集群新建管理节点服务器MU。
）物理环境
硬件架构：
2台元管理服务器，提供用户的登录，信息存储，作业调度。
操作系统：Redhat linux
文件系统：NFS
工具：tar，ssh，scp等，通过以太网实现对用数据的压缩备份以及迁移。
）配置细节
1.  备份老集群管理节点的用户信息
系统普通用户信息主要集中在home目录、etc目录中。
home目录里是用户的主要数据信息，主要包括用户的环境变量配置信息
etc目录里主要是用户的权限信息，主要包括passwd、group以及shadow三个文件使用tar工具对相关用户文件进行压缩
范例：将整个 /home 目录下的文件全部打包成为 /tmp/home.tar.gz
[rootlinux ~]# tar -zcvf /tmp/home.tar.gz /home<==打包后，以 gzip 压缩打包完以后可以通过移动存储设备或者网络来将相关信息迁移到新集群中。
测试新用户
例如测试老集群中用户user1
[rootlinux ~]# su user
输入密码看是否能正常登录。
设置新集群无需密码的ssh登陆，方法原理如下：
假设A，B，C服务器，现在需要在A机上用root登陆B机C机，而不需要输入密码，那我们可按照下面的步骤来做：
（1）在A机上以root用户登录，生成钥匙对,执行以下命令：
[rootlinuxA ~]# ssh-keygen -t dsa
目的是简单的在/root下创建目录.ssh，当提示输入passphase时打入两次回车。这将生成/root/.ssh/id_dsa和/root/.ssh/id_dsa.pub
其中id_rsa是密钥，id_rsa.pub是公钥；
（2）在B机上以root登录，运行ssh-keygen –t dsa，然后将A机上的id_rsa.pub文件复制到B机的/root/.ssh/authorized_keys2中，在B机的/root/.ssh/目录下运行cat id_dsa.pub 〉〉authorized_keys2，再将B机的 authorized_keys2文件复制到C机的/root/.ssh/文件夹下；
（3）重复以上步骤在后面结点上，在最后的计算节点上将生成一个完整的authorized_keys2文件，然后把authorized_keys2文件用scp命令拷贝到其余所有节点的/root/.ssh/目录下，ssh配置完成；
（4）测试
在A机上以root帐号登录，尝试ssh登录B机。命令：
[rootlinuxA ~]# ssh rootLinuxB
看看是不是需要密码.
说明，通过此配置方法可以在新集群中以达到所有节点间实现ssh无密码访问。
配置好NFS服务以及nis服务实现对集群用户的统一管理。
远程定时备份
当实现了管理节点与其他节点间的ssh无密码访问以后，我们可以通过编写脚本实现将管理节点的用户信息定时自动备份到指定的网络设备中。方法如下：
1. 将备份节点的ip地址以及主机名对应添加到管理节点的hosts文件中。
如192.168.100.101 backup
并在备份节点上建立一个专门的备份文件夹/backupdb
2. 编辑管理节点的crontab文件
vi /etc/crontab
如设置每天凌晨3：00执行cron.daily中的脚本，可添加
00 3 * * * root run-parts /etc/cron.daily
实现对相关文件的远程自动定时备份。
编辑/etc/cron.daily中的脚本比如：
vi backupdb
tar -cvjf /tmp/passwd.tgz.bz2 /etc/passwd
tar -cvjf /tmp/group.tgz.bz2 /etc/group
tar -cvjf /tmp/shadow.tgz.bz2 /etc/shadow
scp /tmp/passwd.tgz.bz2 rootbackup:/backupdb
scp /tmp/group.tgz.bz2 rootbackup:/backupdb
scp /tmp/shadow.tgz.bz2 rootbackup:/backupdb
这样能就将管理节点中的用户信息定时自动备份到远程备份节点中了。提高了集群的可靠性。 
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种Linux集群用户备份迁移的方法, 其特征在于具体步骤如下：
1）备份老集群管理节点的用户信息，包括如下内容：
备份集中在home目录、etc目录中的系统普通用户信息，其中：home目录里的用户主要数据信息；包括用户的环境变量配置信息；etc目录里主要是用户的权限信息，包括passwd、group以及shadow三个文件；使用tar工具对相关用户文件进行压缩打包；打包完以后通过移动存储设备或者网络来将相关信息迁移到新集群中；
2）测试新用户
测试老集群中用户user1 [rootlinux ~]# su user，输入密码看是否能正常登录；
3）设置新集群无需密码的ssh登陆，方法步骤如下：
假设A，B，C服务器，现在需要在A机上用root登陆B机C机，而不需要输入密码，按照下面的步骤来做：
（1）在A机上以root用户登录，生成钥匙对,执行以下命令：
[rootlinuxA ~]# ssh-keygen -t dsa
目的是简单的在/root下创建目录.ssh，当提示输入passphase时打入两次回车，这将生成/root/.ssh/id_dsa和/root/.ssh/id_dsa.pub，其中id_rsa是密钥，id_rsa.pub是公钥；
（2）在B机上以root登录，运行ssh-keygen –t dsa，然后将A机上的id_rsa.pub文件复制到B机的/root/.ssh/authorized_keys2中，在B机的/root/.ssh/目录下运行cat id_dsa.pub 〉〉authorized_keys2，再将B机的 authorized_keys2文件复制到C机的/root/.ssh/文件夹下；
（3）重复以上步骤在后面结点上，在最后的计算节点上将生成一个完整的authorized_keys2文件，然后把authorized_keys2文件用scp命令拷贝到其余所有节点的/root/.ssh/目录下，ssh配置完成；
（4）测试：在A机上以root帐号登录，尝试ssh登录B机，命令：
[rootlinuxA ~]# ssh rootLinuxB，看看是不是需要密码；
通过上述配置在新集群中以达到所有节点间实现ssh无密码访问；
4）配置好NFS服务以及nis服务实现对集群用户的统一管理；
5）远程定时备份
当实现了管理节点与其他节点间的ssh无密码访问以后，通过编写脚本实现将管理节点的用户信息定时自动备份到指定的网络设备中，步骤如下：
（1）将备份节点的ip地址以及主机名对应添加到管理节点的hosts文件中，并在备份节点上建立一个专门的备份文件夹/backupdb；
（2）编辑管理节点的crontab文件vi /etc/crontab，实现对相关文件的远程自动定时备份；
（3）编辑/etc/cron.daily中的脚本：
vi backupdb
tar -cvjf /tmp/passwd.tgz.bz2 /etc/passwd
tar -cvjf /tmp/group.tgz.bz2 /etc/group
tar -cvjf /tmp/shadow.tgz.bz2 /etc/shadow
scp /tmp/passwd.tgz.bz2 rootbackup:/backupdb
scp /tmp/group.tgz.bz2 rootbackup:/backupdb
scp /tmp/shadow.tgz.bz2 rootbackup:/backupdb
这样就能将管理节点中的用户信息定时自动备份到远程备份节点中，以提高了集群的可靠性。
CN2013104403990A 2013-09-25 2013-09-25 一种Linux集群用户备份迁移的方法 Pending CN103475734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013104403990A CN103475734A (zh) 2013-09-25 2013-09-25 一种Linux集群用户备份迁移的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013104403990A CN103475734A (zh) 2013-09-25 2013-09-25 一种Linux集群用户备份迁移的方法

Publications (1)

Publication Number Publication Date
CN103475734A true CN103475734A (zh) 2013-12-25

Family

ID=49800427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013104403990A Pending CN103475734A (zh) 2013-09-25 2013-09-25 一种Linux集群用户备份迁移的方法

Country Status (1)

Country Link
CN (1) CN103475734A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141665A (zh) * 2015-07-29 2015-12-09 浪潮电子信息产业股份有限公司 一种实现数据镜像的方法、装置及服务器集群系统
CN105243017A (zh) * 2015-10-20 2016-01-13 上海斐讯数据通信技术有限公司 基于ssh协议进行登陆认证的测试方法及系统
CN107506262A (zh) * 2017-08-18 2017-12-22 郑州云海信息技术有限公司 一种高性能集群用户系统备份与恢复的方法及装置
CN107608867A (zh) * 2017-08-31 2018-01-19 郑州云海信息技术有限公司 一种在集群存储上配置mdtest的元数据性能测试方法及系统
CN108063822A (zh) * 2017-12-20 2018-05-22 郑州云海信息技术有限公司 一种整机柜服务器系统下自动更新kernel的方法
CN108270556A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 终端的登录方法和装置
CN112269759A (zh) * 2020-10-23 2021-01-26 北京浪潮数据技术有限公司 一种共享文件存储的迁移方法及相关装置
CN117221107A (zh) * 2023-09-14 2023-12-12 浙江睿数云联科技有限公司 集群节点免密访问方法、系统及设备
CN117221107B (zh) * 2023-09-14 2024-05-24 浙江睿数云联科技有限公司 集群节点免密访问方法、系统及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090094310A1 (en) * 2007-10-03 2009-04-09 Fuji Xerox Co., Ltd. Parallel computing system and parallel computing method
CN102169448A (zh) * 2011-03-18 2011-08-31 浪潮电子信息产业股份有限公司 一种集群并行运算环境的部署方法
CN102880935A (zh) * 2012-09-10 2013-01-16 曙光信息产业(北京)有限公司 一种Linux集群软件的管理方法及其管理系统
CN102957563A (zh) * 2011-08-16 2013-03-06 中国石油化工股份有限公司 Linux集群故障自动恢复方法和Linux集群故障自动恢复系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090094310A1 (en) * 2007-10-03 2009-04-09 Fuji Xerox Co., Ltd. Parallel computing system and parallel computing method
CN102169448A (zh) * 2011-03-18 2011-08-31 浪潮电子信息产业股份有限公司 一种集群并行运算环境的部署方法
CN102957563A (zh) * 2011-08-16 2013-03-06 中国石油化工股份有限公司 Linux集群故障自动恢复方法和Linux集群故障自动恢复系统
CN102880935A (zh) * 2012-09-10 2013-01-16 曙光信息产业(北京)有限公司 一种Linux集群软件的管理方法及其管理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
么罗野: "面向多用户的集群解决方案及性能分析", 《电脑与电信》 *
韩晓雨: "在Linux上实现异地自动备份", 《科技信息》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141665A (zh) * 2015-07-29 2015-12-09 浪潮电子信息产业股份有限公司 一种实现数据镜像的方法、装置及服务器集群系统
CN105243017A (zh) * 2015-10-20 2016-01-13 上海斐讯数据通信技术有限公司 基于ssh协议进行登陆认证的测试方法及系统
CN105243017B (zh) * 2015-10-20 2018-09-28 上海斐讯数据通信技术有限公司 基于ssh协议进行登陆认证的测试方法及系统
CN108270556A (zh) * 2016-12-30 2018-07-10 北京国双科技有限公司 终端的登录方法和装置
CN107506262A (zh) * 2017-08-18 2017-12-22 郑州云海信息技术有限公司 一种高性能集群用户系统备份与恢复的方法及装置
CN107608867A (zh) * 2017-08-31 2018-01-19 郑州云海信息技术有限公司 一种在集群存储上配置mdtest的元数据性能测试方法及系统
CN108063822A (zh) * 2017-12-20 2018-05-22 郑州云海信息技术有限公司 一种整机柜服务器系统下自动更新kernel的方法
CN112269759A (zh) * 2020-10-23 2021-01-26 北京浪潮数据技术有限公司 一种共享文件存储的迁移方法及相关装置
CN112269759B (zh) * 2020-10-23 2023-12-22 北京浪潮数据技术有限公司 一种共享文件存储的迁移方法及相关装置
CN117221107A (zh) * 2023-09-14 2023-12-12 浙江睿数云联科技有限公司 集群节点免密访问方法、系统及设备
CN117221107B (zh) * 2023-09-14 2024-05-24 浙江睿数云联科技有限公司 集群节点免密访问方法、系统及设备

Similar Documents

Publication Publication Date Title
CN103475734A (zh) 一种Linux集群用户备份迁移的方法
CN108255641B (zh) 一种基于云平台的cdp容灾方法
CN106250270B (zh) 一种云计算平台下的数据备份方法
EP2675127B1 (en) Method and device for automatically migrating system configuration item
CN106294713A (zh) 基于增量日志解析的数据同步方法和数据同步装置
JP5548829B2 (ja) 計算機システム、データ管理方法及びデータ管理プログラム
US9152441B2 (en) Systems and methods involving virtual machine host isolation over a network via a federated downstream cluster
CN105721582A (zh) 多节点文件备份系统
CN109144785A (zh) 用于备份数据的方法和装置
CN104252397A (zh) 支持云平台用户文件自动备份的实现方法
CN105446831A (zh) 一种结合SAN的Server-Free备份方法
CN105187502A (zh) 一种基于分布式弹性块存储的方法和系统
CN110161930B (zh) 一种数据监控系统及其数据监控方法
CN104506353A (zh) 一种鉴证管理方法、设备及系统
US11079960B2 (en) Object storage system with priority meta object replication
WO2015057948A1 (en) Methods for monitoring and controlling a storage environment and devices thereof
US10708222B1 (en) IPv6 alias
CN106657360A (zh) 一种Linux系统下NIS服务器的同步方法和系统
CN106445729A (zh) 一种基于备份虚拟化的方法
Orlando et al. IBM ProtecTIER Implementation and Best Practices Guide
CN111831743B (zh) 基于云存储的区块链数据存储系统及方法
CN104679821A (zh) 数据访问处理方法和装置
CN113965582B (zh) 一种模式转换方法和系统，及存储介质
US11074002B2 (en) Object storage system with meta object replication
US11093465B2 (en) Object storage system with versioned meta objects

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131225

WD01 Invention patent application deemed withdrawn after publication