CN104035876B - 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法 - Google Patents
一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法 Download PDFInfo
- Publication number
- CN104035876B CN104035876B CN201410311678.1A CN201410311678A CN104035876B CN 104035876 B CN104035876 B CN 104035876B CN 201410311678 A CN201410311678 A CN 201410311678A CN 104035876 B CN104035876 B CN 104035876B
- Authority
- CN
- China
- Prior art keywords
- node
- linpack
- expect
- test
- shell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000009434 installation Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 3
- 238000011056 performance test Methods 0.000 claims description 3
- 230000002265 prevention Effects 0.000 claims 1
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000007795 chemical reaction product Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- KKIMDKMETPPURN-UHFFFAOYSA-N 1-(3-(trifluoromethyl)phenyl)piperazine Chemical compound FC(F)(F)C1=CC=CC(N2CCNCC2)=C1 KKIMDKMETPPURN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Landscapes
- Stored Programmes (AREA)
Abstract
本发明公开了一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法，步骤如下：使用PXE+DHCP+HTTP+Kickstart安装RHEL6.4x64 OS；使用Kickstart+HTTP+DHCP安装HCA卡的驱动及设置IP，关闭SElinux、防火墙和Cpuspeed，开启opensmd服务命令；设置HPL集群mpd测试环境及Linpack测试工具的下载；实现集群节点内的无密码访问设置及集群测试工具的安装；获取并测试HPL.dat值。本发明大大简化了Linpack集群测试的操作流程，特别是对于刀片高密度服务器，实现了对大量节点的Linpack集群测试。
Description
技术领域
本发明涉及IT技术领域，具体地说是一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法。
背景技术
随着IT领域技术的不断发展，传统信息化服务以及日趋强大的云计算服务对服务器的集群性能要求越来越高。基于计算机集群的高性能并行计算,已成为广大工程与科学计算的有效手段。随着网络设备的发展，IB卡也越来越多地应用于集群环境中。云计算系统的一个重要作用是向用户提供计算力，评价一个系统的总体计算力的方法就是采用一个统一的测试标准作为评判，现在评判一个系统计算力的方法中最为知名的就是Linpack测试，世界最快500台巨型机系统的排名采用的就是这一标准。掌握Linpack测试技术对于在云计算时代评判一个云系统的计算力也有着重要意义。
Linpack现在在国际上已经成为最流行的用于测试高性能计算机系统浮点性能的benchmark。通过利用高性能计算机，用高斯消元法求解N元一次稠密线性代数方程组的测试，评价高性能计算机的浮点性能。Linpack测试包括三类，Linpack100、Linpack1000和HPL。HPL即High Performance Linpack，也叫高度并行计算基准测试，它对数组大小N没有限制，求解问题的规模可以改变，除基本算法（计算量）不可改变外，可以采用其它任何优化方法。前两种测试运行规模较小，已不是很适合现代计算机的发展，因此现在使用较多的测试标准为HPL，而且阶次N也是linpack测试必须指明的参数。
PXE(preboot execute environment，预启动执行环境)是工作于Client/Server的网络模式，支持工作站通过网络从远端服务器下载映像，并由此支持通过网络启动操作系统，在启动过程中，终端要求服务器分配IP地址，再用TFTP（trivial file transferprotocol）或MTFTP(multicast trivial file transfer protocol)协议下载一个启动软件包到本机内存中执行，由这个启动软件包完成终端基本软件设置，从而引导预先安装在服务器中的终端操作系统。
Shell俗称壳（用来区别于核），是指“提供使用者使用界面”的软件（命令解析器）。它类似于DOS下的command和后来的cmd.exe。它接收用户命令，然后调用相应的应用程序。同时它又是一种程序设计语言。作为命令语言，它交互式解释和执行用户输入的命令或者自动地解释和执行预先设定好的一连串的命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高级语言中才具有的控制结构，包括循环和分支。
Expect是一个用来实现自动交互功能的软件套件。使用它，系统管理员可以创建脚本来对命令或程序进行输入，而这些命令和程序是期望从终端（terminal）得到输入，一般来说这些输入都需要手工输入进行的。Expect则可以根据程序的提示模拟标准输入提供给程序需要的输入来实现交互程序执行。
SELinux (Security-Enhanced Linux) 是 2.6 版本的 Linux 内核中提供的强制访问控制(MAC）系统。
发明内容
本发明的技术任务是提供一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法。
本发明的技术任务是按以下方式实现的，该方法步骤如下：
1）使用PXE+DHCP+HTTP+Kickstart安装RHEL6.4x64 OS，并进行磁盘分区和选择软件包；
2）使用Kickstart+HTTP+DHCP安装HCA卡的驱动及设置IP，关闭SElinux功能，关闭防火墙功能和Cpuspeed服务，开启opensmd服务命令；
3）使用HTTP +shell设置HPL集群mpd测试环境及Linpack测试工具的下载；
4）使用expect实现集群节点内的无密码访问设置及集群测试工具的安装；
5）使用shell语言获取并测试HPL.dat值。
所述的步骤2）具体如下：系统安装完成后通过ftp自动获取驱动文件放置与root目录，并自动mount驱动于/mnt下安装，安装完成后自动删除安装文件及umount /mnt；在/etc/rc.local 下输入关闭cpuspeed服务、防火墙功能及开启opensmd服务命令，实现每次系统重启后自动关闭和开启必要服务。
所述的步骤3）具体如下：首先获取每个节点的bmc ip，通过bmc ip设置每个节点的hostname，做到每个节点hostname和bmc ip一一对应；mpd测试环境包括mpd.conf、mpd.host配置文件设置。
所述的步骤4）具体如下：通过ftp下载intel c编译工具和mpi工具；通过expect实现两个工具的自动安装及编译mp_linpack文件得到xhpl工具和hpl.dat配置文件；通过expect实现每个节点的dsa key自动上传于节点1，节点1的dsa key 自动复制给每个节点，实现节点1和其它每个节点无密码互相访问；关闭所有节点非IB卡网络IP。
所述的步骤5）具体如下：自动获取节点1的内存容量*对应节点数及CPU物理核数*对应节点数，然后通过数字运算得到N、P、Q、NB各值；通过节点1开启所有节点mpdboot服务，通过mpiexex设置总cpu核数，运行xhpl,开始linpack性能测试，最后结果输出与/root/linpack_cpu型号_节点数.txt文件夹下。
本发明的一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法和现有技术相比，大大简化了Linpack集群测试的操作流程，特别是对于刀片高密度服务器，轻松实现了对大量节点的Linpack集群测试。本方法在研发阶段、测试阶段及生产阶段的应用，模拟用户真正的大负载使用，实现了Linpack集群测试的自动化、便捷化。
附图说明
附图1为一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法的流程图。
具体实施方式
实施例1：
该方法步骤如下：
1）使用PXE+DHCP+HTTP+Kickstart安装RHEL6.4x64 OS，并进行磁盘分区和选择软件包；
2）使用Kickstart+HTTP+DHCP安装HCA卡的驱动及设置IP，关闭SElinux功能，关闭防火墙功能和Cpuspeed服务，开启opensmd服务命令；
具体如下：系统安装完成后通过ftp自动获取驱动文件放置与root目录，并自动mount驱动于/mnt下安装，安装完成后自动删除安装文件及umount /mnt；在/etc/rc.local下输入关闭cpuspeed服务、防火墙功能及开启opensmd服务命令，实现每次系统重启后自动关闭和开启必要服务。
3）使用HTTP +shell设置HPL集群mpd测试环境及Linpack测试工具的下载；
具体如下：首先获取每个节点的bmc ip，通过bmc ip设置每个节点的hostname，做到每个节点hostname和bmc ip一一对应；mpd测试环境包括mpd.conf、mpd.host配置文件设置。
4）使用expect实现集群节点内的无密码访问设置及集群测试工具的安装；
具体如下：通过ftp下载intel c编译工具和mpi工具；通过expect实现两个工具的自动安装及编译mp_linpack文件得到xhpl工具和hpl.dat配置文件；通过expect实现每个节点的dsa key自动上传于节点1，节点1的dsa key 自动复制给每个节点，实现节点1和其它每个节点无密码互相访问；关闭所有节点非IB卡网络IP。
5）使用shell语言获取并测试HPL.dat值。
具体如下：自动获取节点1的内存容量*对应节点数及CPU物理核数*对应节点数，然后通过数字运算得到N、P、Q、NB各值；通过节点1开启所有节点mpdboot服务，通过mpiexex设置总cpu核数，运行xhpl,开始linpack性能测试，最后结果输出与/root/linpack_cpu型号_节点数.txt文件夹下。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本专利。但是应当理解，本专利并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
Claims (3)
1.一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法，其特征在于,方法步骤如下：
1）使用PXE+DHCP+HTTP+Kickstart安装RHEL6.4x64 OS，并进行磁盘分区和选择软件包；
2）使用Kickstart+HTTP+DHCP安装HCA卡的驱动及设置IP，关闭SElinux功能，关闭防火墙功能和Cpuspeed服务，开启opensmd服务命令；
3）使用HTTP +shell设置HPL集群mpd测试环境及Linpack测试工具的下载；具体如下：首先获取每个节点的bmc ip，通过bmc ip设置每个节点的hostname，做到每个节点hostname和bmc ip一一对应；mpd测试环境包括mpd.conf、mpd.host配置文件设置；
4）使用expect实现集群节点内的无密码访问设置及集群测试工具的安装；
5）使用shell语言获取并测试HPL.dat值；具体如下：自动获取节点1的内存容量*对应节点数及CPU物理核数*对应节点数，然后通过数字运算得到N、P、Q、NB各值；通过节点1开启所有节点mpdboot服务，通过mpiexex设置总cpu核数，运行xhpl,开始linpack性能测试，最后结果输出于/root/linpack_cpu型号_节点数.txt文件夹下。
2.根据权利要求1所述的一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法，其特征在于，所述的步骤2）具体如下：系统安装完成后通过ftp自动获取驱动文件放置于root目录，并自动挂载驱动于/mnt下安装，安装完成后自动删除安装文件及umount /mnt；在/etc/rc.local 下输入关闭cpuspeed服务、防火墙功能及开启opensmd服务命令，实现每次系统重启后自动关闭和开启必要服务。
3.根据权利要求1所述的一种基于PXE、SHELL和EXPECT实现IB网络环境下LINPACK集群测试的方法，其特征在于，所述的步骤4）具体如下：通过ftp下载intel c编译工具和mpi工具；通过expect实现两个工具的自动安装及编译mp_linpack文件得到xhpl工具和hpl.dat配置文件；通过expect实现每个节点的dsa key自动上传于节点1，节点1的dsa key 自动复制给每个节点，实现节点1和其它每个节点无密码互相访问；关闭所有节点非IB卡网络IP。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410311678.1A CN104035876B (zh) | 2014-07-02 | 2014-07-02 | 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410311678.1A CN104035876B (zh) | 2014-07-02 | 2014-07-02 | 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104035876A CN104035876A (zh) | 2014-09-10 |
| CN104035876B true CN104035876B (zh) | 2017-05-03 |
Family
ID=51466649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410311678.1A Active CN104035876B (zh) | 2014-07-02 | 2014-07-02 | 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104035876B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104333617B (zh) * | 2014-11-18 | 2018-05-25 | 浪潮电子信息产业股份有限公司 | 一种Linux系统下rack机柜自动设置静态IP的方法 |
| CN104601410A (zh) * | 2015-02-02 | 2015-05-06 | 浪潮电子信息产业股份有限公司 | 一种服务器自动测试hca卡带宽的方法 |
| CN104820627A (zh) * | 2015-05-05 | 2015-08-05 | 浪潮电子信息产业股份有限公司 | 一种自动化进行cpu计算性能的测试方法 |
| CN105700982A (zh) * | 2016-01-19 | 2016-06-22 | 浪潮电子信息产业股份有限公司 | 一种基于高性能linpack进行内存压力及稳定性测试方法 |
| CN107491367A (zh) * | 2017-07-07 | 2017-12-19 | 郑州云海信息技术有限公司 | 一种针对Purlley平台二路机型HCA卡的性能测试方法 |
| CN107315597A (zh) * | 2017-07-28 | 2017-11-03 | 郑州云海信息技术有限公司 | 一种操作系统配置文件的生成方法及装置 |
| CN107302600A (zh) * | 2017-08-25 | 2017-10-27 | 郑州云海信息技术有限公司 | 一种分布式ftp服务的实现方法及装置 |
| CN107562588A (zh) * | 2017-08-28 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种rhel7．0系统下hca卡性能测试方法 |
| CN107729194A (zh) * | 2017-09-22 | 2018-02-23 | 郑州云海信息技术有限公司 | 一种针对Purlley四路机型HCA卡性能的测试方法 |
| CN107766193A (zh) * | 2017-11-07 | 2018-03-06 | 郑州云海信息技术有限公司 | 一种ib卡性能自动测试方法及系统 |
| CN109495339A (zh) * | 2018-11-02 | 2019-03-19 | 郑州云海信息技术有限公司 | 基于Intel-mpi工具测试HCA卡性能的方法 |
| CN109992311B (zh) * | 2019-03-25 | 2022-07-29 | 新华三技术有限公司 | 操作系统的启动方法、装置、存储介质及客户端 |
| CN113645046B (zh) * | 2021-06-30 | 2023-06-02 | 浪潮电子信息产业股份有限公司 | 一种网卡驱动安装方法、主服务器及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521119A (zh) * | 2011-11-15 | 2012-06-27 | 浪潮电子信息产业股份有限公司 | 一种快速确定集群并行效率的方法 |
| CN102682078A (zh) * | 2012-03-20 | 2012-09-19 | 浪潮电子信息产业股份有限公司 | 一种自动化快速部署nfs共享的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102468992A (zh) * | 2010-11-16 | 2012-05-23 | 鸿富锦精密工业（深圳）有限公司 | Pxe测试系统及方法 |
-
2014
- 2014-07-02 CN CN201410311678.1A patent/CN104035876B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521119A (zh) * | 2011-11-15 | 2012-06-27 | 浪潮电子信息产业股份有限公司 | 一种快速确定集群并行效率的方法 |
| CN102682078A (zh) * | 2012-03-20 | 2012-09-19 | 浪潮电子信息产业股份有限公司 | 一种自动化快速部署nfs共享的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104035876A (zh) | 2014-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104035876B (zh) | 一种基于pxe、shell和expect实现ib网络环境下linpack集群测试的方法 | |
| US8918760B2 (en) | Test script generation for application image validation | |
| JP7050106B2 (ja) | 実行可能分析モジュールをインスタンス化する方法 | |
| US8341599B1 (en) | Environments sharing remote mounted middleware | |
| CN105306225B (zh) | 一种基于Openstack的物理机远程关机方法 | |
| WO2014025585A1 (en) | System and method for configuring cloud computing systems | |
| CN107807883B (zh) | 一种用户态网络文件系统的单元测试方法及装置 | |
| Quemener et al. | SIDUS—the solution for extreme deduplication of an operating system | |
| Sampedro et al. | Continuous integration and delivery for HPC: Using Singularity and Jenkins | |
| RU2568294C2 (ru) | Способ автоматической установки приложения без участия человека | |
| CN110531985A (zh) | Sdk初始化方法及系统、电子设备、存储介质 | |
| Georgiou et al. | Analyzing programming languages' energy consumption: An empirical study | |
| US9733918B2 (en) | Using cloud patterns for installation on unmanaged physical machines and appliances | |
| CN105205005A (zh) | 一种服务器的cpu测试方法及系统 | |
| CN112631915B (zh) | 一种pcie设备软件仿真的方法、系统、设备及介质 | |
| WO2017020460A1 (zh) | 一种集成插件的方法和装置 | |
| US9411569B1 (en) | System and method for providing a climate data analytic services application programming interface distribution package | |
| CN107656739A (zh) | 基于windows系统的代码编译方法及装置 | |
| WO2014112973A1 (en) | Server-platform simulation service | |
| CN103136060B (zh) | 运行控制方法和运行控制装置 | |
| CN114924963A (zh) | 网页兼容性测试的分布式执行方法、装置、设备及介质 | |
| CN115237441A (zh) | 一种基于云平台的升级测试方法、装置及介质 | |
| Badia et al. | Enabling large-scale testing of iaas cloud platforms on the grid'5000 testbed | |
| CN104052761B (zh) | 一种控制设备启动的方法及电子设备 | |
| CN107515760A (zh) | 一种OpenStack多节点自动化安装方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180815 Address after: 250101 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong. Patentee after: Shandong wave cloud Mdt InfoTech Ltd Address before: No. 1036, Shun Ya Road, Ji'nan high tech Zone, Shandong Province Patentee before: Langchao Electronic Information Industry Co., Ltd. |
|
| TR01 | Transfer of patent right | ||
| CP03 | Change of name, title or address |
Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park Patentee after: Inspur cloud Information Technology Co., Ltd Address before: 250101 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong. Patentee before: SHANDONG LANGCHAO YUNTOU INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |