CN103294481A - 用于cst计算程序的处理方法 - Google Patents

Abstract

本发明提供了一种用于CST计算程序的处理方法，包括：根据应用类型选择与应用类型相对应的应用配置文件；利用应用配置文件和集群系统的可用资源显示web界面，并通过web界面接收多个参数；以及根据包括多个参数的web界面生成作业任务并将作业任务提交给集群系统。通过web封装，将CST计算程序的任务提交流程隐藏在底层，提供给用户一个简单直观的web界面，从而降低了使用难度，提高了使用效率，简化了复杂的提交流程，并且提高了高性能计算集群的使用安全性。

Description

用于CST计算程序的处理方法

技术领域

本发明一般地涉及计算机技术领域，更具体地，涉及用于CST计算程序的处理方法。 

背景技术

CST（Computer Simulation Technology）计算程序（即，CST工作室套装）是面向3D电磁场、微波电路和温度场设计工程师的一款有效、精确的专业仿真软件包，其包含CST微波工作室、CST电磁工作室、CST粒子工作室和CST设计工作室等七个工作室子软件，集成在同一平台上。它可以进行完整的系统级和部件级的三维电磁场、微波电路和温度场的数值仿真分析，为整个电磁频段提供完备的时域和频域全波算法。 

现有技术中，在传统的高性能计算集群环境中，用户要运行CST通常需要使用远程字符终端在命令行环境下执行一系列操作，一般包括如下几个流程：准备好CST软件的输入文件。这些文件通常需要放置在集群的全局共享存储中，用户一般使用FTP、SFTP等工具向集群上传这些文件；确定运行CST软件需要的进程数，以及在哪些节点上运行，将这些信息通过命令行参数的方式在远程字符终端运行；以及程序运行完成后，查看计算结果，或使用FTP、SFTP等工具下载结果文件到用户本地终端。 

由于用户在高性能计算集群上提交并行计算任务，需要统一使用作业调度软件提供的接口，用户通常还需要再编写一个作业调度脚本，在脚本中申请计算资源，通过这个脚本提交并行计算任务，由作业调度软件来处理任务排队、分配资源、发起并行程序，因此，执行效率低。传统的高性能计算集群环境中，用户运行CST软件的基本流程，这些流程通常需要在远程字符终端通过命令行的方式来实现，因此，出错概率大。此外，对于高性能计算集群的管理员来说，对普通用户开放命令行终端，也存在安全 性的风险。用户的误操作可能会影响系统的稳定运行，黑客也有可能趁虚而入。 

发明内容

针对以上现有技术中提交并行计算任务存在操作难度大，执行效率低，出错概率大等的缺陷，本发明提供了能够解决上述缺陷的用于CST计算程序的处理方法。 

根据本发明的实施例，提供了一种用于CST计算程序的处理方法，包括：根据应用类型选择与应用类型相对应的应用配置文件；利用应用配置文件和集群系统的可用资源显示web界面，并通过web界面接收多个参数；以及根据包括多个参数的web界面生成作业任务并将作业任务提交给集群系统。 

优选地，利用应用配置文件和集群系统的可用资源显示web界面进一步包括：利用应用配置文件和集群系统的可用资源配置web页面信息并将web页面信息提供给页面生成器；根据接收到的web页面信息配置web界面上的功能模块；以及显示具有功能模块的web界面。 

优选地，根据包括多个参数的web界面生成作业任务并将作业任务提交给集群系统进一步包括：从web界面中提取多个参数并根据多个参数收集多个参数的提交信息；利用提交信息生成作业任务的脚本程序；将作业任务的脚本程序提交到集群系统的队列中；以及由集群系统的作业调度模块接收作业任务的脚本程序并返回作业号。 

优选地，多个参数包括输入文件目录、CST计算程序的路径、申请的计算资源和网络协议。 

优选地，进一步包括：对提交信息进行检查，并且当提交信息不正确时，显示错误提示信息。 

优选地，根据多个参数收集多个参数的提交信息进一步包括：根据输入文件目录获取输入文件作为部分提交信息，其中，预先建立用于CST计算程序的数学模型，并且将数学模型作为输入文件。 

优选地，对输入文件进行检查，并且当输入文件的格式不正确时，通 过文本框或者突出显示的形式显示错误提示信息。 

优选地，在根据应用类型选择与应用类型相对应的应用配置文件之前，检查集群系统的可用资源，可用资源包括：可用节点数、单个节点的CPU核心数、队列名、集群系统的队列中的任务数量。 

优选地，在CST计算完成以后，将计算结果存储在集群系统的全局共享存储区中。 

优选地，进一步包括：根据作业号，从全局共享存储区中下载计算结果并查看计算结果。 

利用本发明的技术方案能够克服现有技术的缺陷，在高性能计算集群上运行CST软件进行了Web封装，并利用相应软件界面实现具体功能。通过封装，将CST软件的任务提交流程隐藏在底层，提供给用户一个简单直观的Web页面，用户只需要在Web页面上执行简单的操作就能实现数据文件准备、计算资源申请、计算任务提交、计算结果查看等整套流程。通过Web封装，可以大大降低用户的使用门槛，从而降低了操作难度大，提高了使用效率，减小出错概率并且提高了安全性。 

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。 

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中： 

图1是根据本发明的实施例的CST计算程序的处理方法的整体流程图； 

图2是根据本发明的实施例的CST计算程序的处理模块的框图； 

图3是根据本发明的实施例的利用应用配置文件和集群系统的可用资源显示web界面步骤的具体流程图；以及 

图4是根据本发明的实施例的根据包括多个参数的web界面生成作业任务并将作业任务提交给集群系统步骤的具体流程图。 

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。 

图1是根据本发明的实施例的CST计算程序的处理方法的整体流程图。如图1所示，CST计算程序的处理方法100通过以下步骤来实施CST计算程序的处理方法。在S102步骤中，根据应用类型选择与应用类型相对应的应用配置文件。应用类型为应用程序类型，即，CST计算程序的应用子程序的类型，例如，应用子程序可以包括CST微波工作室、CST电磁工作室、CST粒子工作室和CST设计工作室等7个应用子程序。针对每个应用子程序都具有一种与该应用子程序相对应的应用配置文件。具体地，在开启CST程序时，根据应用程序的类型选择与该应用程序类型相对应的应用配置文件。例如，当使用CST电磁工作室应用子程序时，选择与CST电磁工作室应用子程序相对应的应用配置文件。各个应用配置文件中都具有相应的应用子程序的界面初始值。例如，CST电磁工作室应用子程序的应用配置文件中具有CST电磁工作室应用子程序的界面初始值。 

在步骤S104中，利用应用配置文件和集群系统的可用资源显示web界面，并通过web界面接收多个参数。在根据应用类型选择与应用类型相对应的应用配置文件之前，检查集群系统的可用资源，可用资源包括：可用节点数、单个节点的CPU核心数、队列名、集群系统的队列中的任务数量等。由于CST计算程序为集群系统的环境中运行的大型模拟软件，所以与该集群系统连接的各个客户端的用户可以申请该CST计算程序的各个应用子程序。因此，该CST计算程序会在该集群环境中，通过集群系统的队列和作业调度模块来对作业任务进行调度排序等。该处理方法在开始之前首先检查该集群系统的可用资源。此外，还检查磁盘配额和计费额度。具体地，对申请的CST计算程序的用户的磁盘配额和计费额度进行检查，以确定该用户是否具有申请权限。如果检查结果为该用户没有申请权限，则 向用户显示没有申请权限的提示信息。如果用户顺利通过该检查，则利用应用配置文件和集群系统的可用资源显示web界面以允许用户在web界面上的相应文本框中输入或选择需要填写的多个参数，该web界面接收用户输入或选择的多个参数。在其他实施例中，在相应的文本框中可以标示出相应的参数说明，以及该参数的范围等。因此，用户不再需要熟练掌握Linux操作系统基本操作、Shell脚本语言、常用的文本编辑和字符处理工具、CST运行命令、作业调度软件等与用户专业背景无关的知识和工具，而仅通过在web界面上的选项框输入或选择多个参数来提交作业任务，从而大幅降低了使用难度。 

在步骤S106中，根据包括多个参数的web界面生成作业任务并将作业任务提交给集群系统。具体地，在用户在选择提交任务以后，根据包括用户输入的多个参数的web界面生成要提交的作业任务，并且将生成的作业任务提交给集群系统。因此，将繁琐复杂的命令行操作全部隐藏在底层，在底层自动批量执行，相应地节省了大量的用户操作时间，提高了使用效率。 

利用本发明的实施例的CST计算程序的处理方法，通过web封装，将CST计算程序的任务提交流程隐藏在底层，提供给用户一个简单直观的web界面，从而降低了使用难度，提高了使用效率，简化了复杂的提交流程，并且提高了高性能计算集群的使用安全性 

下文中，将参照图2、图3和图4，对CST计算程序的处理方法进行详细描述。 

图2是根据本发明的实施例的CST计算程序的处理模块的框图。图3是根据本发明的实施例的利用应用配置文件和集群系统的可用资源显示web界面步骤的具体流程图。 

利用应用配置文件和集群系统的可用资源显示web界面的具体流程图200包括以下具体步骤。在步骤S302中，利用应用配置文件和集群系统的可用资源配置web页面信息并将web页面信息提供给页面生成器。具体地，参考图2（其中，虚线箭头是后台程序完成的步骤，实线箭头是需要用户完成的步骤），配置解析器204读取配置文件206，然后配置解析器204 对相应应用的配置文件206进行解析并利用配置文件206中的初始值和集群系统的可用资源来配置web页面的默认值，然后通过解析所获得的页面的各项默认值提供给页面生成器208。 

在步骤S304中，根据接收到的web页面信息配置web界面上的功能模块。具体地，参考图2，页面生成器208通过配置解析器204所配置的页面的各项默认值来配置web界面上的各个功能模块，例如，可用资源模块、相关参数模块（例如，CST计算程序的所在路径、所需的输入文件目录等）以及功能选择模块（例如，下文所述的vnc（Virtual network computing）功能或checkpoint功能等）等。 

在步骤S306中，显示具有功能模块的web界面。页面生成器208配置完web界面上的各个功能模块以后，将具有各个功能模块的web应用界面提供给用户。用户可以在该web界面上输入或选择多个参数。用户可以在可以在可用资源模块中输入多个参数，例如，可以在该web界面的文本框中输入申请的计算节点数；在下拉列表中选择作业任务的队列；在文本框中输入每个节点使用的核心数。可以在web界面上输入需要的输入文件目录。此外，还可以在功能选择模块中选择多个参数，例如，选择vnc或checkpoint功能。当用户在web界面上选择vnc功能时，可以全程跟踪CST计算程序的整个计算过程。其中，vnc功能将完整的窗口界面通过网络传输到另一台计算机的屏幕上，因此，将该功能集成在web界面中，当用户想要了解整个计算过程时，通过简单地选择vnc功能就可以全程跟踪CST计算程序的整个计算过程。当用户选择checkpoint功能时，在计算程序意外中断以后，记录断点，并且等计算程序恢复正常以后，从所述断点处开始继续进行计算。由于集群系统通过网络连接，所以在网络意外中断、集群系统的CST计算程序故障时，可以通过checkpoint功能记录断点，并且在系统恢复正常以后，可以从断点处继续进行计算，而无需重新开始计算，从而大幅减少了重复工作的概率，减少了计算时间，提高了计算效率。因此，用户可以在该web应用界面上进行选择和简单的输入多个参数来完成提交作业的工作。从而大幅降低了用户工作量，提高了工作效率，而且对于大部分普通用户来说，通过简单的操作，就可以实现复杂的功能，从而 大幅降低了使用难度。 

图4是根据本发明的实施例的根据包括多个参数的web界面生成作业任务并将作业任务提交给集群系统步骤的具体流程图。根据包括多个参数的web界面生成作业任务并将作业任务提交给集群系统步骤的具体流程图400包括以下具体步骤。在步骤S402中，从web界面中提取多个参数并根据多个参数收集多个参数的提交信息。其中，多个参数包括：输入文件目录、CST计算程序的路径、申请的计算资源和网络协议等。再次参考图2，脚本程序生成器212从web界面中提取该web界面中的多个参数并根据多个参数收集多个参数的提交信息。其中，根据多个参数收集多个参数的提交信息进一步包括：根据输入文件目录获取输入文件作为部分提交信息，其中，在打开CST计算程序之前，预先建立用于CST计算程序的数学模型，并且将数学模型作为输入文件。在步骤S404中，利用提交信息生成作业任务的脚本程序。具体地，脚本程序生成器212利用收集的多个参数的提交信息来生成作业任务的脚本程序。在步骤S406中，将作业任务的脚本程序提交到集群系统的队列中，具体地，由于在集群环境下，允许多个用户同时提交作业任务，所以在用户提交作业任务时，首先将作业任务提交到集群系统的队列中，等待作业调度模块接收该作业任务。然后，在步骤S408中，由集群系统的作业调度模块接收作业任务的脚本程序并返回作业号。具体地，集群系统的作业调度模块顺序接收队列中的作业任务，当集群系统的作业调度模块接收作业任务的脚本程序时，通常会返回一个作业号，这样便于用户进行计算过程跟踪和查看计算结果。具体地，在CST计算完成以后，将计算结果存储在集群系统的全局共享存储区中。用于CST计算程序的处理方法进一步包括：根据作业号，从全局共享存储区中下载计算结果并查看计算结果。 

在根据多个参数收集多个参数的提交信息之后，还对提交信息进行检查，并且当提交信息不正确时，显示错误提示信息。例如，检查用户申请的计算资源是否超过其权限，用户输入的参数是否合法，用户的输入文件格式是否正确等，如果判断出提交信息存在错误，会在Web界面给出相应提示。具体地，在根据多个参数收集多个参数的提交信息之后，也就是在 提交作业任务的脚本程序之前，还通过检查模块对提交信息进行检查，并且当提交信息不正确时，向用户显示错误提示信息，并且允许用户重新输入参数。优选地，对输入文件进行检查，并且当输入文件的格式不正确时，通过文本框或者突出显示的形式显示错误提示信息。此外，还对除输入文件之外的其他提交信息进行检查，例如，检查用户的申请的计算资源是否在可用资源的范围内。 

利用本发明实施例的用于处理CST计算程序的处理方法，首先，通过web封装，将CST计算程序的任务提交流程隐藏在底层，提供给用户一个简单直观的Web界面，用户只需要在Web界面上执行简单的操作就能实现数据文件准备、计算资源申请、计算任务提交、计算结果查看等整套流程，从而大大降低使用难度。因此，用户不再需要熟练掌握Linux操作系统基本操作、Shell脚本语言、常用的文本编辑和字符处理工具、CST运行命令、作业调度软件等与其专业背景无关的知识和工具，就能轻松完成CST计算程序运行的准备、执行等工作，大大降低了该CST计算程序的使用门槛。将繁琐复杂的命令行操作全部隐藏在底层，在底层自动批量执行，可以节省大量的人为操作时间，从而大幅提高了使用效率。对用户在Web界面提交的参数和数据进行的合法性检查，从而通过这些合法性检查可以大大提高并行任务提交的成功率。进行Web封装后，仅需要通过web界面上的一些选项框就能实现计算网络的选择，启动CPU进程绑定等这些功能。此外，将普通用户的任务提交操作进行Web封装后，用户执行的都是封闭式的操作，很大程度上避免了影响系统稳定或安全的用户非法操作，因此，提高了高性能计算集群的使用安全性。 

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (10)

1.一种用于CST计算程序的处理方法，其特征在于，包括：

根据应用类型选择与所述应用类型相对应的应用配置文件；

利用所述应用配置文件和集群系统的可用资源显示web界面，并通过所述web界面接收多个参数；以及

根据包括所述多个参数的所述web界面生成作业任务并将所述作业任务提交给所述集群系统。

2.根据权利要求1所述的用于CST计算程序的处理方法，其特征在于，利用所述应用配置文件和集群系统的可用资源显示web界面进一步包括：

利用所述应用配置文件和所述集群系统的所述可用资源配置web页面信息并将所述web页面信息提供给页面生成器；

根据接收到的所述web页面信息配置所述web界面上的功能模块；以及

显示具有所述功能模块的所述web界面。

3.根据权利要求1所述的用于CST计算程序的处理方法，其特征在于，根据包括所述多个参数的所述web界面生成作业任务并将所述作业任务提交给所述集群系统进一步包括：

从所述web界面中提取所述多个参数并根据所述多个参数收集所述多个参数的提交信息；

利用所述提交信息生成所述作业任务的脚本程序；

将所述作业任务的脚本程序提交到所述集群系统的队列中；以及

由所述集群系统的作业调度模块接收所述作业任务的脚本程序并返回作业号。

4.根据权利要求3所述的用于CST计算程序的处理方法，其特征在于，所述多个参数包括输入文件目录、所述CST计算程序的路径、申请的计算资源和网络协议。

5.根据权利要求4所述的用于CST计算程序的处理方法，其特征在于，进一步包括：对所述提交信息进行检查，并且当所述提交信息不正确时，显示错误提示信息。

6.根据权利要求5所述的用于CST计算程序的处理方法，其特征在于，根据所述多个参数收集所述多个参数的提交信息进一步包括：根据所述输入文件目录获取输入文件作为部分所述提交信息，其中，预先建立用于所述CST计算程序的数学模型，并且将所述数学模型作为所述输入文件。

7.根据权利要求6所述的用于CST计算程序的处理方法，其特征在于，对所述输入文件进行检查，并且当所述输入文件的格式不正确时，通过文本框或者突出显示的形式显示所述错误提示信息。

8.根据权利要求1所述的用于CST计算程序的处理方法，其特征在于，

在根据应用类型选择与所述应用类型相对应的所述应用配置文件之前，检查所述集群系统的可用资源，所述可用资源包括：可用节点数、单个节点的CPU核心数、队列名、所述集群系统的队列中的任务数量。

9.根据权利要求3所述的用于CST计算程序的处理方法，其特征在于，在所述CST计算完成以后，将计算结果存储在所述集群系统的全局共享存储区中。

10.根据权利要求9所述的用于CST计算程序的处理方法，其特征在于，进一步包括：根据所述作业号，从所述全局共享存储区中下载所述计算结果并查看所述计算结果。

Images