CN102682078A - 一种自动化快速部署nfs共享的方法 - Google Patents

一种自动化快速部署nfs共享的方法 Download PDF

Info

Publication number
CN102682078A
CN102682078A CN2012100737042A CN201210073704A CN102682078A CN 102682078 A CN102682078 A CN 102682078A CN 2012100737042 A CN2012100737042 A CN 2012100737042A CN 201210073704 A CN201210073704 A CN 201210073704A CN 102682078 A CN102682078 A CN 102682078A
Authority
CN
China
Prior art keywords
nfs
nodes
install
script
management node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100737042A
Other languages
English (en)
Inventor
陈良华
郑辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN2012100737042A priority Critical patent/CN102682078A/zh
Publication of CN102682078A publication Critical patent/CN102682078A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stored Programmes (AREA)

Abstract

本发明提供一种自动化快速部署NFS共享的方法，使用基于Shell Script的方法，提供交互式环境，只需根据提示输入集群配置参数，即可简单方便的得到LinPack所需的测试参数以及性能参照表，再使用Linpack得到理论浮点峰值与实际浮点峰值，并进一步确定系统的并行效率，达到快速评估集群系统的目的，部署者需要做的仅仅是将所有部署所需的脚本及文件放在管理节点上，将所有节点(管理节点和计算节点)的主机名写入hostfile中，将需要共享的目录名称写入到share_dir文件中，在管理节点上用root用户运行install.sh，输入root密码后，即可完成在所有节点的NFS(网络文件系统)共享部署工作，并在下次开机后仍然有效。

Description

一种自动化快速部署NFS共享的方法
技术领域
本发明涉及Linux集群环境下，对NFS(网络文件系统)的部署。具体涉及基于shell script和expect自动应答功能的NFS(网络文件系统)的自动化快速部署。
背景技术
高性能计算(HPC)通常使用很多处理器，在高速互联网络中，使用MPI等并行计算环境，运行并行计算软件，加速科学运算的效率。伴随着HPC在高校和科研院所的普及，建立起高并行效率的大规模集群系统，对科研、教育、国防等事业有着重要的意义。所以，快速有效的对一套集群系统的性能进行评估对建立起高并行效率的大规模集群系统的是至关重要的。
衡量计算机性能的一个重要指标就是计算峰值，例如浮点计算峰值，它是指计算机每秒钟能完成的浮点计算最大次数。包括理论浮点峰值和实测浮点峰值：理论浮点峰值是该计算机理论上能达到的每秒钟能完成浮点计算最大次数，它主要是由CPU的主频决定的，理论浮点峰值＝CPU主频×CPU每个时钟周期执行浮点运算的次数×系统中CPU核心数目。
实测浮点峰值是指Linpack测试值，也就是说在这台机器上运行Linpack测试程序，通过各种调优方法得到的最优的测试结果。实际上在实际程序运行过程中，几乎不可能达到实测浮点峰值，更不用说达到理论浮点峰值了。这两个值只是作为衡量机器性能的一个指标，用来表明机器处理能力的一个标尺和潜能的度量。
传统LinPack测试中，有若干测试参数(例如最重要的N(problems sizes))需要根据具体集群环境来确定，理论知识不熟悉的人很容易计算出错误的参数，导致整个测试失败。同时，当测试出实际运算最高峰值后，根据结果评估整套系统的性能也相当复杂。
发明内容
本发明的目的是提供一种自动化快速部署NFS共享的方法。
本发明的目的是按以下方式实现的，部署者将所有部署所需的脚本及文件放在管理节点上，将所有节点包括管理节点和计算节点的主机名写入hostfile中，将需要共享的目录名称：包括home，opt写入到share_dir文件中，在管理节点上用root用户运行install.sh，输入root密码后，即可完成在所有节点的网络文件系统NFS共享部署工作，并在下次开机后仍然有效；
具体工作步骤如下：
1)将所有部署所需文件，包括6个脚本文件和2个配置文件，放到管理节点上的同一个目录下；
2)在hostfile中写入所有节点的主机名，先写管理节点的，再写入计算节点的；在share_dir中写入需要共享的目录名，包括opt，home；
3)使用root用户运行install.sh文件，并按照提示输入root密码；
4)install.sh脚本会自动调用ssh_conf1.exp、ssh_conf2.exp、ssh_conf3.exp这三个基于expect的自动应答脚本，实现所有节点直接ssh的信任访问；
5)install.sh脚本接着会自动调用mu_conf.exp，完成管理节点，即NFS_Server端得配置任务；
6)install.sh脚本接着会自动调用cu_conf.exp，完成所有计算节点，即NFSclietn端得配置工作；
7)在正确完成以上所有工作后，install.sh脚本会提示集群NFS以及部署完成，此时系统正常使用NFS功能。
本发明的有益效果是：本发明使用基于Shell Script的方法，提供交互式环境，只需根据提示输入集群配置参数，即可简单方便的得到LinPack所需的测试参数以及性能参照表，再使用Linpack得到理论浮点峰值与实际浮点峰值，并进一步确定系统的并行效率，达到快速评估集群系统的目的。
附图说明
图1是网络架构图；
图2是部署流程图；
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
本发明的自动化快速部署NFS共享的方法，网络架构共分为2部分：存储网络和计算网络；
计算网络采用Infiniband交换机，通过IB线缆搭配服务器的HCA卡连接到计算节点(d1——dn)。采用IB over IP通讯机制，实现节点间的高速网络通讯。
存储网络使用8GB FC光纤交换机，采用FC SAN架构的存储设备，划分多个LUN，直接映射到管理节点使用。
a)发明内容
本发明的目的是全自动、快速部署集群环境下的NFS(网络文件系统)共享。部署者需要做的仅仅是将所有部署所需的脚本及文件(6个脚本文件，2个配置文件)放在管理节点上，将所有节点(管理节点和计算节点)的主机名写入hostfile中，将需要共享的目录名称(如/home，/opt等)写入到share_dir文件中，在管理节点上用root用户运行install.sh，输入root密码后，即可完成在所有节点的NFS(网络文件系统)共享部署工作，并在下次开机后仍然有效。
本发明的具体工作步骤如下：
第一步，将所有部署所需文件(6个脚本文件，2个配置文件)放到管理节点上的同一个目录下。
第二步，在hostfile中写入所有节点的主机名，先写管理节点的，再写入计算节点的；在share_dir中写入需要共享的目录名，如/opt，/home等。
第三步，使用root用户运行install.sh文件。并按照提示输入root密码。
第四步，install.sh脚本会自动调用ssh_conf1.exp、ssh_conf2.exp、ssh_conf3.exp这三个基于expect的自动应答脚本，实现所有节点直接ssh的信任访问。
第五步，install.sh脚本接着会自动调用mu_conf.exp，完成管理节点，即NFS_Server端得配置任务。
第六步，install.sh脚本接着会自动调用cu_conf.exp，完成所有计算节点，即NFS_clietn端得配置工作。
第七步，在正确完成以上所有工作后，install.sh脚本会提示集群NFS以及部署完成，此时可以正常使用NFS功能。
实施例：
硬件环境：管理节点：1个
计算节点：8个
每节点内存8GB
每节点核数：12cores
CPU频率：2.66GHz
网络连接：Infiniband QDR
在hostfile中写入管理节点主机名和全部计算节点主机名，如下表所示：
Figure BSA00000687113300031
Figure BSA00000687113300041
在share_dir中写入需要共享的目录，本例子共享/opt与/home，操作步骤如下：
Figure BSA00000687113300051
以root身份在管理节点上运行install.sh，root密码为111111，完成配置工作。
当看到NFS Configuration is COMPLETE提示时，说明配置已经全部完成。到计算节点上查看，所有计算节点都已经挂载指定目录，并已保存到开机自动挂载。描述如下：
开机自动挂载选项已被打开：
Figure BSA00000687113300053
Figure BSA00000687113300061
至此，已经完成NFS的全部配置，可以正常使用。并保证下次开机时所有配置生效。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种自动化快速部署NFS共享的方法，其特征在于部署者将所有部署所需的脚本及文件放在管理节点上，将所有节点包括管理节点和计算节点的主机名写入hostfile中，将需要共享的目录名称：包括home，opt写入到share_dir文件中，在管理节点上用root用户运行install.sh，输入root密码后，即可完成在所有节点的网络文件系统NFS共享部署工作，并在下次开机后仍然有效；
具体工作步骤如下：
1)将所有部署所需文件，包括6个脚本文件和2个配置文件，放到管理节点上的同一个目录下；
2)在hostfile中写入所有节点的主机名，先写管理节点的，再写入计算节点的；在share_dir中写入需要共享的目录名，包括opt，home；
3)使用root用户运行install.sh文件，并按照提示输入root密码；
4)install.sh脚本会自动调用ssh_conf1.exp、ssh_conf2.exp、ssh_conf3.exp这三个基于expect的自动应答脚本，实现所有节点直接ssh的信任访问；
5)install.sh脚本接着会自动调用mu_conf.exp，完成管理节点，即NFS_Server端得配置任务；
6)install.sh脚本接着会自动调用cu_conf.exp，完成所有计算节点，即NFS_clietn端得配置工作；
7)在正确完成以上所有工作后，install.sh脚本会提示集群NFS以及部署完成，此时系统正常使用NFS功能。
CN2012100737042A 2012-03-20 2012-03-20 一种自动化快速部署nfs共享的方法 Pending CN102682078A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100737042A CN102682078A (zh) 2012-03-20 2012-03-20 一种自动化快速部署nfs共享的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100737042A CN102682078A (zh) 2012-03-20 2012-03-20 一种自动化快速部署nfs共享的方法

Publications (1)

Publication Number Publication Date
CN102682078A true CN102682078A (zh) 2012-09-19

Family

ID=46814004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100737042A Pending CN102682078A (zh) 2012-03-20 2012-03-20 一种自动化快速部署nfs共享的方法

Country Status (1)

Country Link
CN (1) CN102682078A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324505A (zh) * 2013-06-24 2013-09-25 曙光信息产业(北京)有限公司 在集群系统和云计算系统中部署gpu开发环境的方法
CN104035876A (zh) * 2014-07-02 2014-09-10 浪潮电子信息产业股份有限公司 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法
CN105278985A (zh) * 2015-09-25 2016-01-27 浪潮(北京)电子信息产业有限公司 一种部署文件系统的方法及系统
CN106453565A (zh) * 2016-10-17 2017-02-22 郑州云海信息技术有限公司 一种分布式存储域网络部署方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282237A (zh) * 2008-05-27 2008-10-08 中山大学 一种基于snmp协议的综合网管系统
US20110202549A1 (en) * 2009-07-03 2011-08-18 Ryuji Nagahori Configuration management system and configuration management method for storage system
CN102541994A (zh) * 2011-11-18 2012-07-04 浪潮电子信息产业股份有限公司 一种自动化快速部署nfs共享的方法
CN102880658A (zh) * 2012-08-31 2013-01-16 电子科技大学 基于地震数据处理的分布式文件管理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282237A (zh) * 2008-05-27 2008-10-08 中山大学 一种基于snmp协议的综合网管系统
US20110202549A1 (en) * 2009-07-03 2011-08-18 Ryuji Nagahori Configuration management system and configuration management method for storage system
CN102541994A (zh) * 2011-11-18 2012-07-04 浪潮电子信息产业股份有限公司 一种自动化快速部署nfs共享的方法
CN102880658A (zh) * 2012-08-31 2013-01-16 电子科技大学 基于地震数据处理的分布式文件管理系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324505A (zh) * 2013-06-24 2013-09-25 曙光信息产业(北京)有限公司 在集群系统和云计算系统中部署gpu开发环境的方法
CN103324505B (zh) * 2013-06-24 2016-12-28 曙光信息产业(北京)有限公司 在集群系统和云计算系统中部署gpu开发环境的方法
CN104035876A (zh) * 2014-07-02 2014-09-10 浪潮电子信息产业股份有限公司 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法
CN104035876B (zh) * 2014-07-02 2017-05-03 浪潮电子信息产业股份有限公司 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法
CN105278985A (zh) * 2015-09-25 2016-01-27 浪潮(北京)电子信息产业有限公司 一种部署文件系统的方法及系统
CN106453565A (zh) * 2016-10-17 2017-02-22 郑州云海信息技术有限公司 一种分布式存储域网络部署方法及装置

Similar Documents

Publication Publication Date Title
CN102541994A (zh) 一种自动化快速部署nfs共享的方法
Ramakrishnan et al. Magellan: experiences from a science cloud
US10644970B2 (en) Tracking application utilization of microservices
Li et al. Towards a full-stack devops environment (platform-as-a-service) for cloud-hosted applications
US9436490B2 (en) Systems and methods for testing WAAS performance for virtual desktop applications
WO2016200921A1 (en) Distributed scalable workload testing
US10514994B2 (en) Distributed scalable workload testing
CN105653435A (zh) 一种网络文件系统nfs的性能测试方法和装置
Adinets et al. Job digest: An approach to dynamic analysis of job characteristics on supercomputers
CN102682078A (zh) 一种自动化快速部署nfs共享的方法
Tan et al. Hadoop framework: impact of data organization on performance
CN103810272A (zh) 一种数据处理方法和系统
CN105183605A (zh) 一种服务器性能测试方法及装置
Li et al. Bigprovision: a provisioning framework for big data analytics
CN103294484A (zh) 用于fluent计算程序的处理方法
CN102567458A (zh) 一种自动化快速部署网络信息服务nis的方法
CN110333980A (zh) 网络爬虫系统的测试方法及装置、存储介质、电子设备
Veiga et al. MREv: an automatic MapReduce Evaluation tool for Big Data workloads
Li et al. A fast big data collection system using MapReduce framework
Jing et al. The Community Library Anniance Based on Cloud Computing
Purbo Internet-offline solution: detail description and benchmarking
Nieke et al. Analysis of CERN computing infrastructure and monitoring data
Singh et al. Evaluating scientific workflow engines for data and compute intensive discoveries
Kalyanaraman et al. Implementing hadoop container migrations in OpenNebula private Cloud Environment
Röme Autoscaling Hadoop Clusters

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120919