CN102930475B - 一种基于pbs交互的石油应用封装方法 - Google Patents

Abstract

本发明提供一种基于PBS交互的石油应用封装方法，包括以下步骤：用户登录客户机系统；用户ssh登录作业调度系统的提交接点；用户设置DISPLAY为要转发到的客户机地址和端口；用户调用封装命令；提交会话的终端通过Torque的交互式方式从计算节点通过网络转发输出；用户通过字符终端输入终止作业。本发明可以在不改变用户使用模式的情况下，将石油应用迁移到集群环境，有效提高应用软件的计算效率和整个集群的吞吐率。

Description

一种基于PBS交互的石油应用封装方法

技术领域

本发明属于计算机技术领域，具体涉及一种基于PBS交互的石油应用封装方法。

背景技术

石油应用是高性能集群的一个非常重要的应用领域。由于历史原因，focus、disco等商业石油软件通常是运行在工作站上。高性能集群是用于进行高性能计算的软硬件系统的总称。硬件上通常由高性能服务器、高速存储、高速网络、机房基础设施（如供电、制冷）等部分组成；软件方面，通常包括作业调度软件、集群监控管理软件、并行存储软件等部分组成。

作业调度系统是负责完成应用作业调度的软件系统。从功能上说，通常由资源管理器、作业调度器、任务执行器等部分组成；调度系统类似于一个操作系统，一般会提供比较完善的对于作业、资源等内部对象进行管理的接口，包括命令行接口、API接口。比较常见的调度系统包括LSF、SGE、PBS（Torque是pbs的一个分支）。

随着x86集群等高性价比集群系统的普及，用户逐渐使用集群运行各种石油软件。但是使用方式通常还是将机器资源划分给个人，个人登陆机器后启动自己的处理任务。这种集群使用的方式，一方面受限于机器资源的划分，无法发挥集群的峰值运行能力；另一方面，无法实现集群资源的共享使用，集群整体利用率和吞吐率偏低。

首先，从硬件成本角度考虑，工作站的性价比相对于x86服务器要低很多，而且随着x86服务器性能的不断提升，完全有能力完成各种石油应用的计算任务；

其次，从集群使用上，基于集群并行来提高软件运行速度是高性能计算的基本思路。原有的基于单台机器的软件运行模式正在向以服务器集群和调度系统为基础的并行运行模式过渡。

现有技术中，用户的工作模式可以分为两种：一种是工作站模式，另一种是专用服务器模式，后者的工作流程：

(1)用户登陆客户机系统（通常是WindowsPC机）；

(2).通过客户机上的ssh远程登录软件（如xmanager）登陆到工作站或者集群服务器。要求软件支持ssh支持X图形界面转发或者自动转发；

(3).用户在登陆会话中设置DISPLAY为要转发到的客户机地址和端口。对于xmanager等软件来说这一步会在登陆服务器节点时自动完成；

(4).用户通过登陆会话的命令行cd进入本次作业的工作目录，调用应用软件（如disco、focus等）和应用输入参数，启动计算任务；

(5).ssh登陆会话显示作业的命令行字符输出（包括标准输出和错误输出）。如果该软件包含GUI界面，则GUI界面会自动转发到客户机，至此，应用作业启动过程完毕；

(6).用户可以通过ssh字符页面和可能的转发到客户机的GUI界面实现对于作业任务的监控，包括通过字符界面（Ctrl+C）和GUI界面（如“关闭”按钮）终止作业；

(7).作业任务计算完成后，应用进程退出，GUI页面自动关闭，应用命令返回计算结果；至此，应用作业计算和控制过程完毕；

(8).重复（4）~（7），完成多个作业的计算；

(9).退出ssh登陆会话；

(10).退出客户机登陆。

以上两种模式从本质上说是相同的，都是直接登录到要运行计算任务的节点，人为启动并控制计算任务。这种方式至少有如下的几个缺点：（1）需要人为控制各节点的负载情况，很难达到负载均衡；（2）资源被划分到个人或者小组，难于实现资源共享。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于PBS交互的石油应用封装方法，可以在不改变用户使用模式的情况下，将石油应用迁移到集群环境，有效提高应用软件的计算效率和整个集群的吞吐率。

为了实现上述发明目的，本发明采取如下技术方案：

一种基于PBS交互的石油应用封装方法，所述方法包括以下步骤：

步骤1：用户登录客户机系统；

步骤2：用户ssh登录作业调度系统的提交接点；

步骤3：用户设置DISPLAY为要转发到的客户机地址和端口；

步骤4：用户调用封装命令；

步骤5：提交会话的终端通过Torque的交互式方式从计算节点通过网络转发输出；

步骤6：用户通过字符终端输入终止作业。

所述步骤1中，客户机系统包括WindowsPC机。

所述步骤2中，作业调度系统包括管理节点、计算节点和提交节点。

所述步骤4中，封装命令与软件命令同名，两者接收的参数格式也完全一致。

所述封装命令将参数座位交互式作业任务的参数放到作业脚本中。

所述步骤6中，用户通过改进Troque的作业挂起，并通过作业控制命令将作业的进程暂停和恢复。

所述作业控制命令包括作业挂起和作业恢复。

与现有技术相比，本发明的有益效果在于：本发明提供一种基于PBS交互的石油应用封装方法，可以在不改变用户使用模式的情况下，将石油应用迁移到集群环境，有效提高应用软件的计算效率和整个集群的吞吐率，该方法简单可靠，易执行。

附图说明

图1是基于PBS交互的石油应用封装方法流程图。

具体实施方式

本方案有两个主要的设计目标，一是不改变用户使用习惯，二是要解决旧有方案的问题。最主要的改动是引入了作业调度系统以及实现了对于应用的封装。

基本原理如下：（1）在提交节点（一般与管理节点重合）上提供应用封装命令（如disco），该命令实际上并不执行任务的启动过程，而是通过调度系统的接口生成一个交互式作业并提交到调度系统，然后监听网络端口等待接收作业执行过程中的字符输出；（2）调度系统负责调度作业到集群中某些服务器上，并在作业运行之后通过网络将任务的命令行输出重定向到提交回话中；（3）作业脚本负责设置DISPLAY变量，将作业的GUI图形界面直接转发到客户机节点；（4）用户通过提交节点的字符终端监控作业运行情况，可以通过调度系统的挂起、恢复、删除命令控制作业任务运行。

下面结合附图对本发明作进一步详细说明。

本发明提供一种基于PBS交互的石油应用封装方法，所述方法包括以下步骤：

步骤1：用户登录客户机系统；

步骤2：用户ssh登录作业调度系统的提交接点（一般就是server节点），设置DISPLAY为客户机IP。使用提交接点上的封装命令运行作业。脚本运行的结果是生成一个针对当前命令的交互式作业到调度系统。

步骤3：调度器发现有新的任务进入调度系统，依据一定的调度策略产生调度结果（即作业可以运行于哪个节点），并通知server服务进程。

步骤4：调度系统server将作业分发到集群内某个计算节点上；

步骤5：计算节点负责执行作业。由于作业继承了环境变量DISPLAY的设置，所以真实应用一旦运行便会直接将应用图形信息转发到客户机节点上；

步骤6：由于作业是以交互式方式提交的，所以作业的标准输出/标准错误等信息会通过网络自动转发到提交节点（即管理节点）的SSH登陆会话上；

步骤7：用户在客户机便可以看到ssh会话中该作业的标准输出等信息。用户可以通过调度系统命令挂起、恢复、删除作业，也可以通过“Ctrl+C”终止标准输出会话的方式终止作业。

所述步骤1中，客户机系统包括WindowsPC机。

所述步骤2中，作业调度系统包括管理节点（包括pbs_server、pbs_sched服务）、计算节点（包含pbs_mom服务）和提交节点（包含作业提交命令，一般由管理节点兼任）。

所述步骤2中，作业脚本负责启动对应的应用命令。应用命令与封装命令同名，两者接收的参数格式也完全一致。

所述步骤7中，经过改进Torque的作业挂起/恢复操作后，用户可以通过作业控制命令将作业的进程暂停和恢复。

所述作业控制命令包括作业挂起和作业恢复。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于PBS交互的石油应用封装方法，其特征在于：所述方法包括以下步骤：

步骤1：用户登录客户机系统；

步骤2：用户ssh登录作业调度系统的提交接点；

步骤3：用户设置DISPLAY为要转发到的客户机地址和端口；

步骤4：用户调用封装命令；

步骤5：提交会话的终端通过Torque的交互式方式从计算节点通过网络转发输出；

步骤6：用户通过字符终端输入终止作业；

所述步骤1中，客户机系统包括WindowsPC机；

所述步骤2中，作业调度系统包括管理节点、计算节点和提交节点；

所述步骤4中，封装命令与软件命令同名，两者接收的参数格式也完全一致；

所述封装命令将参数座位交互式作业任务的参数放到作业脚本中；

所述步骤6中，用户通过改进Troque的作业挂起，并通过作业控制命令将作业的进程暂停和恢复；

所述作业控制命令包括作业挂起和作业恢复。