CN103294482B - 用于PWscf并行计算系统的Web服务封装方法以及系统 - Google Patents

用于PWscf并行计算系统的Web服务封装方法以及系统 Download PDF

Info

Publication number
CN103294482B
CN103294482B CN201310263789.5A CN201310263789A CN103294482B CN 103294482 B CN103294482 B CN 103294482B CN 201310263789 A CN201310263789 A CN 201310263789A CN 103294482 B CN103294482 B CN 103294482B
Authority
CN
China
Prior art keywords
web service
task
pwscf
information relevant
packing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310263789.5A
Other languages
English (en)
Other versions
CN103294482A (zh
Inventor
何沧平
马少杰
曹振南
李斌
杨亮
姜金良
胡耀国
范娟
赵明坤
侯雪峰
田相桂
易成
曹征
苗春葆
沈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Shuguang International Information Industry Co ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN201310263789.5A priority Critical patent/CN103294482B/zh
Publication of CN103294482A publication Critical patent/CN103294482A/zh
Application granted granted Critical
Publication of CN103294482B publication Critical patent/CN103294482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Stored Programmes (AREA)

Abstract

本发明公开了一种用于PWscf并行计算系统的Web服务封装方法,包括:通过Web服务界面接收与任务相关的信息;根据所接收到的与任务相关的信息由脚本生成器提取有用信息并生成作业脚本文件;以及,将所生成的作业脚本文件提交给计算集群系统,以便所述计算集群系统根据所述作业脚本文件调用所述PWscf并行计算系统来执行相应的作业。相应地,还提供了一种用于PWscf并行计算系统的Web服务封装系统。采用本发明,可以降低任务提交的难度和提高工作效率。

Description

用于PWscf并行计算系统的Web服务封装方法以及系统
技术领域
本发明涉及计算机技术领域,更具体地,涉及一种用于PWscf并行计算系统的Web服务封装方法以及Web服务封装系统。
背景技术
PWscf计算软件是意大利理论物理研究中心发布的Quantum-ESPRESSO(Quantumop En-Source Package for Research inElectronic Structure,Simulation,and Optimization)计算软件包中的两大模块之一。Quantum-ESPRESSO软件包的开发遵守GNU自由软件的协议,是基于密度泛函理论,应用平面波基组和赝势方法的第一性原理计算软件。先前由于计算软件的落后而使得一些有用的方法如线性响应、超软赝势CP分子动力学(MD)方法等,受到了应用上的阻碍,这个软件的发布正是基于这种情况,从而提供了应用这些方法的一个平台。它包括两大模块:PWscf和CPMD,除此以外,还有两个辅助性的图形界面模块用于输入参数的设定和赝势的产生。
MPI(Message Passing Interface)是基于消息传递的并行编程模型,MPI的使用非常广泛,已成为当今主流的并行编程模型,高性能计算各个领域的绝大部分并行应用软件都是基于MPI开发,很多用户也选择MPI开发自己的并行应用程序。
在传统的高性能计算集群环境中,用户要运行基于MPI的并行应用程序通常需要使用远程字符终端在命令行环境下执行一系列操作,一般有以下几个流程:
准备PWscf的可执行文件及其需要的数据文件。这些文件通常需要放置在集群的全局共享存储中,用户一般使用FTP、SFTP等工具向集群上传这些文件,在大多数情况下,用户还需要用文本编辑工具对这些文件进行修改。
如果计算集群系统上有作业调度器,则用户需要使用文本编辑器编写一个脚本文件,其中填写需要申请的计算资源数量,以及运行PWscf程序的命令,然后使用作业调度命令提交作业。如果没有作业调度器,则用户需要将运行PWscf程序的进程数以及在哪些节点上运行等信息通过命令行参数的方式传递给MPI的进程启动器,如mpirun、mpiexec等。通过MPI的进程启动器启动PWscf程序来进行并行计算。
程序运行完成后,使用FTP、SFTP等工具下载结果文件到用户本地计算机查看计算结果。
现有运行PWscf计算程序的方法存在以下缺陷:
(1)使用难度大。想要顺利完成PWscf程序的计算任务,用户往往需要非常熟悉很多计专业的计算机知识和工具,如Linux操作系统基本操作、Shell脚本语言、常用的文本编辑和字符处理工具、MPI环境的使用、作业调度软件的使用等等。
(2)执行效率低。想要顺利提交一个PWscf程序的计算任务,需要执行多个流程,需要在命令行环境执行复杂繁琐的操作,从而导致并行计算任务的提交费时费力,效率低下。
(3)出错概率大。对于大部分普通用户来说,在命令行环境执行复杂繁琐的操作,出现人为操作失误的概率很大。特别是对于操作流程不熟悉的用户,在执行的各个环节均容易遇到问题。
(4)安全风险高。传统的操作方法需要对普通用户开放命令行终端访问权限,对于高性能计算集群的管理员来说,对普通用户开放命令行终端存在安全性的风险。用户的误操作可能会影响系统的稳定运行,黑客也有可能趁虚而入。
针对相关技术中的问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题,本发明提出一种降低用户对PWscf并行计算系统提交作业的Web封装方法以及Web封装系统。
本发明的技术方案是这样实现的:
在一方面,提供了一种用于PWscf并行计算系统的Web服务封装方法,包括:
通过Web服务界面接收与任务相关的信息;
根据所接收到的与任务相关的信息由脚本生成器提取有用信息并生成作业脚本文件;
将所生成的作业脚本文件提交给计算集群系统;
所述计算集群系统根据所述作业脚本文件调用所述PWscf并行计算系统来执行相应的作业。
在可选实施例中,在通过Web服务界面接收与任务相关的信息的步骤之前,所述Web封装方法还包括:根据接收到的应用请求获取对应的应用配置文件;以及,根据所述应用配置文件以及所述PWscf并行计算系统的运行情况生成相对应的Web服务界面。
在可选实施例中,所述与任务相关的信息包括以下之一或任意组合:所述PWscf并行计算系统所在路径、所需输入文件的目录、执行命令、所需的计算节点、每个计算节点的CPU核心数和内存大小以及执行任务的计算时间。
在可选实施例中,根据所接收到的与任务相关的信息由脚本生成器提取有用信息并生成作业脚本之前,所述Web封装方法还包括:检测所述与任务相关的信息是否合法,检测为是时,执行根据所接收到的与任务相关的信息由脚本生成器提取有用信息并生成作业脚本的步骤;检测否时,生成不合法提示信息并显示在所述Web服务界面上。
在可选实施例中,将所生成的作业脚本提交给所述PWscf并行计算系统系统以执行作业,包括:将所生成的作业脚本文件提交作业调度队列中,由作业调度系统进行调度以执行作业。
在可选实施例中,在通过Web服务应用界面接收与任务相关的信息之前,检测所述计算集群系统的队列信息,包括:队列名、可使用总核数、队列中的作业数和可用计算节点数。
在可选实施例中,在通过Web服务界面接收与任务相关的信息之前,检测用户的磁盘配额和计费额度。
在另一方面提供了一种用于PWscf并行计算系统的Web服务封装系统,包括:
Web应用模块,用于通过Web服务界面接收与任务相关的信息;
脚本生成模块,用于根据所接收到的与任务相关的信息提取有用信息并生成作业脚本文件;
作业提交模块,用于将所生成的作业脚本文件提交给计算集群系统;以便所述计算集群系统根据所述作业脚本文件调用所述PWscf并行计算系统来执行相应的作业。
在可选实施例中,所述Web应用模块包括:配置解析模块,用于根据接收到的应用请求获取对应的应用配置文件;以及,Web服务界面生成模块,用于根据所述应用配置文件以及所述PWscf并行计算系统的运行情况生成相对应的Web服务界面。
在可选实施例中,所述Web服务封装系统还包括检测模块,用于检测所述与任务相关的信息是否合法,检测为是时,所述脚本生成模块根据所接收到的与任务相关的信息提取有用信息并生成作业脚本文件;检测否时,生成不合法提示信息并显示在所述Web服务界面上。
附图说明
图1示出根据本发明一实施例的用于PWscf并行计算系统的Web服务封装方法的流程图。
图2示出根据本发明另一实施例的用于PWscf并行计算系统的Web服务封装系统的示意框图。
具体实施方式
下面结合附图对本发明实施例作进一步地说明。
图1是根据本发明一实施例的用于PWscf并行计算系统的Web服务封装方法的流程图。如图1所示,该Web服务封装方法包括:
S101,通过Web服务界面接收与任务相关的信息。
可选地,在步骤S101之前,该Web服务封装方法还可以包括根据接收到的应用请求获取对应的应用配置文件;根据所述应用配置文件以及所述PWscf并行计算系统的运行情况生成相对应的Web服务界面。
在本发明实施例中,对于PWscf并行计算系统的每个应用,都会有一个相对应的应用配置文件。该应用配置文件中包括:相应的页面各项初始值,配置解析会根据计算集群系统的运行情况以及应用的实际情况进行配置解析,生成相应的应用页面,也就是相对应的Web服务界面。
可选地,与任务相关的信息可以包括:在所述PWscf并行计算系统所在路径、所需输入文件的目录和执行命令。
可选地,在步骤S101之前、同时或之后还可以通过所述Web服务界面接收与要执行的作业相关的计算资源信息,所述计算资源信息包括:CPU核心数、内存大小和计算时间。
可选地,用户还可以通过Web服务界面,选择是否使用虚拟网络计算机(Virtual Network Computing,VNC)功能或CheckPoint功能(即断点再计算功能)。可选地,用户还可以通过Web服务界面提交计算集群系统中的节点、单节点核心数、网速协议、执行命令、应用所需输入文件等。
S102,根据所接收到的与任务相关的信息由脚本生成器提取有用信息并生成作业脚本文件。
S103,将所生成的作业脚本文件提交给计算集群系统,以便所述计算集群系统根据所述作业脚本文件调用所述PWscf并行计算系统来执行相应的作业。
在可选实施例中,所述Web封装方法在步骤S102之前还包括:检测所述与任务相关的信息是否合法,检测为是时,执行步骤S103;检测否时,生成不合法提示信息并显示在所述Web服务界面上。
在可选实施例中,计算集群系统包括作业调度系统,步骤S103包括:将所生成的作业脚本文件提交计算集群系统的作业调度队列中,由作业调度系统进行调度以便调用所述PWscf并行计算系统来执行相应的作业。
在可选实施例中,在步骤S101之前,Web封装方法还包括:检测所述计算集群系统的队列信息,包括:队列名、可使用总核数、队列中的作业数和可用计算节点数。
在可选实施例中,在通过Web服务界面接收与任务相关的信息之前,检测用户的磁盘配额和计费额度。
图2是根据本发明实施例的用于PWscf并行计算系统的Web服务封装系统的示意框图。如图2所示意,该Web服务封装系统包括:Web应用模块10,用于通过Web服务界面接收与任务相关的信息;脚本生成模块20,用于根据所接收到的与任务相关的信息提取有用信息并生成作业脚本文件;以及,作业提交模块30,用于将所生成的作业脚本文件提交给计算集群系统;以便所述计算集群系统根据所述作业脚本文件调用所述PWscf并行计算系统来执行相应的作业。
在可选实施例中,所述与任务相关的信息包括以下之一或任意组合:所述PWscf并行计算系统所在路径、所需输入文件的目录、执行命令、所需的计算节点、每个计算节点的CPU核心数和内存大小以及执行任务的计算时间。
在可选实施例中,所述Web应用模块包括:配置解析模块,用于根据接收到的应用请求获取对应的应用配置文件;以及,Web服务界面生成模块,用于根据所述应用配置文件以及所述PWscf并行计算系统的运行情况生成相对应的Web服务界面。
在可选实施例中,所述Web服务封装系统还包括检测模块,用于检测所述与任务相关的信息是否合法,检测为是时,所述脚本生成模块根据所接收到的与任务相关的信息提取有用信息并生成作业脚本文件;检测否时,生成不合法提示信息并显示在所述Web服务界面上。
在可选实施例中,作业提交模块将所生成的作业脚本文件提交给计算集群系统包括:将所生成的作业脚本文件提交计算集群系统的作业调度队列中,由作业调度系统进行作业调度以便调用所述PWscf并行计算系统来执行相应的作业。
在可选实施例中,所述检测模块还用于在Web服务应用界面接收与任务相关的信息之前,检测所述计算集群系统的队列信息,包括:队列名、可使用总核数、队列中的作业数和可用计算节点数。
在可选实施例中,所述Web服务封装系统还包括额度计算模块,用于在通过Web服务界面接收与任务相关的信息之前,检测用户的磁盘配额和计费额度,以便Web服务封装系统根据用户的磁盘配额和计费额度确定是否为该用户的作业提供Web封装服务。进一步地,根据用户的磁盘配额还可以用于计算集群系统为该用户分配相应的资源。
本发明通过Web封装,将基于MPI的PWscf并行计算系统的作业提交流程隐藏在底层,提供给用户一个简单直观的Web页面,用户只需要Web页面上执行简单的操作就能实现数据文件准备、计算资源申请、作业提交、结果查看等整套流程。通过Web封装,可以大大降低用户的使用门槛,提高使用效率,减小出错概率。
其有益效果可以体现在以下几个方面:
(1)降低使用难度。用户不再需要掌握Linux操作系统基本操作、Shell脚本语言、常用的文本编辑和字符处理工具、MPI环境的调用、作业调度软件等与其专业背景无关的知识和工具,就能轻松完成PWscf并行计算系统计算任务的准备、执行等工作,大大降低了使用门槛。
(2)提高工作效率。繁琐复杂的命令行操作全部隐藏在底层,在底层自动批量执行,可以节省大量的人为操作时间,提高使用效率。
(3)提高任务提交的成功率。本发明实施例中,会对用户在Web界面提交的参数和数据进行各种合法性检查。比如,检查用户申请的计算资源是否超过其权限,用户输入的参数是否合法,用户的输入文件格式是否正确等,如果判断出错误,会在Web界面给出相应提示。通过这些合法性检查可以大大提高并行任务提交的成功率。
(4)可轻松地实现复杂功能。基于MPI的PWscf并行计算系统运行的一些复杂或高级功能,比如计算网络的选择,启动CPU进程绑定等,如果通过命令行方式需要指定复杂的参数,操作繁琐,使用难度较大。进行Web封装后,用户只需要通过界面上的一些选项框就能实现这些功能。
(5)提高高性能计算集群系统的使用安全性。将普通用户的任务提交操作封装在Web后,用户执行的都是封闭式的操作,很大程度上避免了影响系统稳定或安全的用户非法操作。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于PWscf并行计算系统的Web服务封装方法,包括:
通过Web服务界面接收与任务相关的信息;
根据所接收到的与任务相关的信息由脚本生成器提取有用信息并生成作业脚本文件;以及,
将所生成的作业脚本文件提交给计算集群系统,以便所述计算集群系统根据所述作业脚本文件调用所述PWscf并行计算系统来执行相应的作业;
其中,在通过Web服务界面接收与任务相关的信息的步骤之前,所述Web服务封装方法还包括:
根据接收到的应用请求获取对应的应用配置文件;
根据所述应用配置文件以及所述PWscf并行计算系统的运行情况生成相对应的Web服务界面。
2.根据权利要求1所述的Web服务封装方法,其特征在于,所述与任务相关的信息包括以下之一或任意组合:
所述PWscf并行计算系统所在路径、所需输入文件的目录、执行命令、所需的计算节点、每个计算节点的CPU核心数和内存大小以及执行任务的计算时间。
3.根据权利要求2所述的Web服务封装方法,其特征在于,根据所接收到的与任务相关的信息由脚本生成器提取有用信息并生成作业脚本之前,所述Web服务封装方法还包括:
检测所述与任务相关的信息是否合法,检测为是时,执行根据所接收到的与任务相关的信息由脚本生成器提取有用信息并生成作业脚本的步骤;
检测为否时,生成不合法提示信息并显示在所述Web服务界面上。
4.根据权利要求1所述的Web服务封装方法,其特征在于,将所生成的作业脚本文件提交给计算集群系统,以便所述计算集群系统根据所述作业脚本文件调用所述PWscf并行计算系统来执行相应的作业,包括:
将所生成的作业脚本文件提交计算集群系统的作业调度队列中,由作业调度系统进行作业调度以便调用所述PWscf并行计算系统来执行相应的作业。
5.根据权利要求4所述的Web服务封装方法,其特征在于,在通过Web服务应用界面接收与任务相关的信息之前,检测所述计算集群系统的队列信息,包括:队列名、可使用总核数、队列中的作业数和可用计算节点数。
6.根据权利要求1所述的Web服务封装方法,其特征在于,在通过Web服务界面接收与任务相关的信息之前,检测用户的磁盘配额和计费额度。
7.一种用于PWscf并行计算系统的Web服务封装系统,包括:
Web应用模块,用于通过Web服务界面接收与任务相关的信息;
脚本生成模块,用于根据所接收到的与任务相关的信息提取有用信息并生成作业脚本文件;
作业提交模块,用于将所生成的作业脚本文件提交给计算集群系统;以便所述计算集群系统根据所述作业脚本文件调用所述PWscf并行计算系统来执行相应的作业;
其中,所述Web应用模块包括:
配置解析模块,用于根据接收到的应用请求获取对应的应用配置文件;
Web服务界面生成模块,用于根据所述应用配置文件以及所述PWscf并行计算系统的运行情况生成相对应的Web服务界面。
8.根据权利要求7所述的Web服务封装系统,其特征在于,所述Web服务封装系统还包括检测模块,用于检测所述与任务相关的信息是否合法,检测为是时,所述脚本生成模块根据所接收到的与任务相关的信息提取有用信息并生成作业脚本文件;检测为否时,生成不合法提示信息并显示在所述Web服务界面上。
CN201310263789.5A 2013-06-27 2013-06-27 用于PWscf并行计算系统的Web服务封装方法以及系统 Active CN103294482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310263789.5A CN103294482B (zh) 2013-06-27 2013-06-27 用于PWscf并行计算系统的Web服务封装方法以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310263789.5A CN103294482B (zh) 2013-06-27 2013-06-27 用于PWscf并行计算系统的Web服务封装方法以及系统

Publications (2)

Publication Number Publication Date
CN103294482A CN103294482A (zh) 2013-09-11
CN103294482B true CN103294482B (zh) 2016-12-28

Family

ID=49095422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310263789.5A Active CN103294482B (zh) 2013-06-27 2013-06-27 用于PWscf并行计算系统的Web服务封装方法以及系统

Country Status (1)

Country Link
CN (1) CN103294482B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544355A (zh) * 2013-10-30 2014-01-29 曙光信息产业(北京)有限公司 Abaqus的计算任务的实现方法和装置
CN107038066B (zh) * 2017-05-09 2020-06-16 吉林大学 一种基于Web的作业计算系统
CN107229569A (zh) * 2017-06-27 2017-10-03 中国银行股份有限公司 面向多执行技术的自动化测试集中调度执行方法及系统
CN110781007B (zh) * 2019-10-31 2023-12-26 广州市网星信息技术有限公司 任务处理方法、装置、服务器、客户端、系统和存储介质
CN116909676B (zh) * 2023-09-12 2024-02-23 中国科学技术大学 一种二分量第一性原理计算系统与服务方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799764B (zh) * 2012-06-20 2015-11-04 北京市计算中心 一种基于Web的工程计算系统及方法
CN103093058A (zh) * 2013-02-05 2013-05-08 中国电子科技集团公司电子科学研究院 一种面向服务的分布式仿真系统及实现方法
CN103150161B (zh) * 2013-02-06 2016-04-13 中金数据系统有限公司 基于MapReduce计算模型的任务封装方法及装置

Also Published As

Publication number Publication date
CN103294482A (zh) 2013-09-11

Similar Documents

Publication Publication Date Title
CN103294485B (zh) 用于ABINIT并行计算系统的Web服务封装方法以及系统
KR102243793B1 (ko) 코드 가상화 및 원격 프로세스 호출 생성을 위한 방법 및 장치
JP6494609B2 (ja) カスタマイズされたソフトウェア開発キット(sdk)生成のための方法および装置
CN104541247B (zh) 用于调整云计算系统的系统和方法
CN103294482B (zh) 用于PWscf并行计算系统的Web服务封装方法以及系统
CN113722020B (zh) 接口调用方法、装置和计算机可读存储介质
CN103294481A (zh) 用于cst计算程序的处理方法
CN104156313A (zh) 一种Web服务测试用例自动生成方法
CN103309676B (zh) 用于海洋数值模拟ROMS的Web服务封装方法以及系统
Biswal et al. A novel approach for scenario-based test case generation
CN103544357B (zh) Ansys的计算任务的实现方法和装置
CN107844410A (zh) 一种分布式集群系统的调试方法和装置
Jürjens Formal semantics for interacting UML subsystems
CN103294874B (zh) 用于电磁仿真计算系统FEKO的Web服务封装方法以及系统
CN103294484A (zh) 用于fluent计算程序的处理方法
CN103310002B (zh) 用于气象预报计算系统MM5的Web服务封装方法以及系统
CN103530091B (zh) Cpmd的计算任务的实现方法和装置
CN103309675B (zh) 用于气象预报计算系统WRF的Web服务封装方法以及系统
WO2022142111A1 (zh) 随机数生成方法、装置、电子设备及存储介质
CN105930262B (zh) 应用程序用户界面自动化测试方法及电子设备
CN103294483A (zh) 用于gromacs计算程序的处理方法
CN103544015A (zh) Vasp的计算任务的实现方法和装置
CN103324524A (zh) 用于comsol multiphysics计算程序的处理方法
CN103543986A (zh) Cfx的计算任务的实现方法和装置
CN103544017A (zh) Lammps的计算任务的实现方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220801

Address after: 100089 building 36, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd.

Address before: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240408

Address after: 266100 room 211, area a, software park, 169 Songling Road, Laoshan District, Qingdao City, Shandong Province

Patentee after: Zhongke Shuguang International Information Industry Co.,Ltd.

Country or region after: China

Address before: 100089 building 36, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

Country or region before: China

Patentee before: DAWNING INFORMATION INDUSTRY Co.,Ltd.