CN106294708A - 一种基于Torque的集群记账管理方法及系统 - Google Patents

Abstract

本发明公开了一种基于Torque的集群记账管理方法及系统，获取用户的记账配置信息；通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据；根据记账配置信息以及作业资源使用数据，对用户的账单进行统计；接收用户根据账单进行缴费的指令，实现用户缴费。本发明所提供的基于Torque的集群记账管理方法及系统，可用于使用PBS Torque作为作业调度软件的HPC集群，对不同用户可区分资源使用单价并可及时调整维护，同时可以统计并直观的展示查询时间内用户的资源使用情况、账户情况，还可以支持用户缴费功能，实现了集群记账管理的功能。

Description

一种基于Torque的集群记账管理方法及系统

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种基于Torque的集群记账管理方法及系统。

背景技术

高性能计算(High performance computing，缩写HPC)是计算机科学的一个分支，通过研究体系结构、并行算法和应用软件等方面开发高性能计算机。其诞生之初一直为量子物理、气候研究、海洋研究、石油勘探等领域的科学与工程计算提供计算支持。随着高性能计算技术的快速发展，高性能计算已经逐渐扩展到电商、金融、信息等高新产业和服务业，并为传统的工业和制造业提供场景模拟、模型优化等计算支持。

Torque是一个开源的PBS作业调度应用软件，被广泛应用于高性能服务集群中实现作业的调度管理，Torque中的记账功能可以记录每一个作业的运行状态、开始结束时间、使用资源如CPU核数、内存、节点数等信息。但是这些信息是以作业为单位以日期为文件名记录在文件中，并不能直观的按用户进行统计。

此外，随着目前云计算和大数据需求的不断增长，高性能计算集群作为一种计算资源也可以由供应商作为服务被租用或商用，因此提供一种基于Torque的集群记账管理方法及系统是非常有必要的。

发明内容

本发明的目的是提供一种基于Torque的集群记账管理方法及系统，目的在于利用Torque调度器提供的作业运行信息，实现对用户资源统计、账单统计以及缴费管理的功能。

为解决上述技术问题，本发明提供一种基于Torque的集群记账管理方法，包括：

获取用户的记账配置信息；

通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据；

根据所述记账配置信息以及所述作业资源使用数据，对所述用户的账单进行统计；

接收所述用户根据所述账单进行缴费的指令，实现用户缴费。

可选地，所述通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据包括：

根据日期参数扫描Torque中的作业记录文件，提取用户在运行时的所述作业资源使用数据。

可选地，所述记账配置信息包括用户配置表以及配置信息表；

其中，所述用户配置表中包含用户名以及对应配置信息表ID；所述配置信息表中包含标识ID、用户名、创建时间、CPU时间单价、机时单价以及内存单价信息。

可选地，所述通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据包括：

创建定时任务，每日提取并解析前一天的作业记录信息。

可选地，所述对所述用户的账单进行统计包括：

通过用户账单明细表对所述账单进行统计；

所述用户账单明细表包括：作业ID、用户、用户组、配置信息表ID、CPU时间、作业机时以及作业内存信息。

可选地，所述根据所述记账配置信息以及所述作业资源使用数据，对所述用户的账单进行统计包括：

当统计时间不包含当天的账单时，直接关联账单明细表以及配置信息表查询用户或用户组的资源使用情况以及记账配置信息，计算账单结果；当查询时间包含当天的账单时，提取当天的Torque作业记录文件，对所述账单明细表中不存在的作业信息进行记录，根据统计时间关联所述账单明细表以及所述配置信息表，并进行统计。

可选地，在所述接收所述用户根据所述账单进行缴费的指令之后还包括：

通过用户缴费表对所述用户每次的缴费信息进行记录；

所述用户缴费表包含用户名、缴费时间以及缴费金额信息。

可选地，在所述接收所述用户根据所述账单进行缴费的指令之后还包括：

对所述用户的累计缴费金额进行统计，确定当前用户的账户余额信息。

可选地，还包括：

接收用户对缴费信息以及账户余额信息进行查询的指令，向所述用户显示所述缴费信息以及所述账户余额信息。

本发明还提供了一种基于Torque的集群记账管理系统，包括：

获取模块，用于获取用户的记账配置信息；

提取模块，用于通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据；

统计模块，用于根据所述记账配置信息以及所述作业资源使用数据，对所述用户的账单进行统计；

缴费模块，用于接收所述用户根据所述账单进行缴费的指令，实现用户缴费。

本发明所提供的基于Torque的集群记账管理方法及系统，获取用户的记账配置信息；通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据；根据记账配置信息以及作业资源使用数据，对用户的账单进行统计；接收用户根据账单进行缴费的指令，实现用户缴费。本发明所提供的基于Torque的集群记账管理方法及系统，可用于使用PBS Torque作为作业调度软件的HPC集群，对不同用户可区分资源使用单价并可及时调整维护，同时可以统计并直观的展示查询时间内用户的资源使用情况、账户情况，还可以支持用户缴费功能，实现了集群记账管理的功能。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的基于Torque的集群记账管理方法的一种具体实施方式的流程图；

图2为本发明所提供的基于Torque的集群记账管理方法的另一种具体实施方式的示意图；

图3为本发明实施例提供的基于Torque的集群记账管理系统的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的基于Torque的集群记账管理方法的一种具体实施方式的流程图如图1所示，该方法包括：

步骤S101：获取用户的记账配置信息；

步骤S102：通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据；

步骤S103：根据所述记账配置信息以及所述作业资源使用数据，对所述用户的账单进行统计；

步骤S104：接收所述用户根据所述账单进行缴费的指令，实现用户缴费。

本发明所提供的基于Torque的集群记账管理方法，获取用户的记账配置信息；通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据；根据记账配置信息以及作业资源使用数据，对用户的账单进行统计；接收用户根据账单进行缴费的指令，实现用户缴费。本发明所提供的基于Torque的集群记账管理方法，可用于使用PBS Torque作为作业调度软件的HPC集群，对不同用户可区分资源使用单价并可及时调整维护，同时可以统计并直观的展示查询时间内用户的资源使用情况、账户情况，还可以支持用户缴费功能，实现了集群记账管理的功能。

需要指出的是，本申请在实施前可以创建记账配置模块，对记账配置信息进行维护并记录。记账配置模块可以根据不同用户与资源分类维护不同的记账配置信息，资源分类包括CPU时间、机时、内存等信息。

在上述实施例的基础上，本发明所提供的基于Torque的集群记账管理方法中通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据的过程可以具体为：

根据日期参数扫描Torque中的作业记录文件，提取用户在运行时的所述作业资源使用数据。

作为一种具体实施方式，记账配置信息可以包括用户配置表User以及配置信息表(Cfg表)；

其中，所述用户配置表User中关联用户最新的配置信息，表结构中包含用户名以及对应配置信息表cfgID；所述配置信息表表结构中包含唯一标识ID、用户名、创建时间、CPU时间单价、机时单价以及内存单价信息。需要指出的是，如有其他需要进行记账管理的资源均可设定资源单价。Cfg表存储记账配置的维护记录，每一次记账配置管理操作都会对该表进行插入操作。

创建用户缴费表Charge，记录用户缴费信息，表结构包含用户名、缴费时间、缴费金额。

创建用户账单明细表Acct_Detail，通过用户账单明细表记录作业账单信息，表结构包含作业ID、用户、用户组、cfgID、CPU时间、作业机时、作业内存。

记账配置模块对每一次记账配置操作记录Cfg表，同时将提取torque中当天的作业记录信息，将相关的作业资源记录到Acct_Detail表中并更新记录的cfgID字段，最后更新User表中用户的cfgID字段。

定义扫描事件，根据输入的日期参数扫描Torque中的作业记录文件，分析提取作业资源使用记录，对不存在于Acct_Detail表中的作业记录，获取作业的归属用户以及用户的记账配置ID(在User表中)，然后将上述信息记录到Acct_Detail表中。

本实施例中通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据的过程可以具体为：

创建定时任务，每日提取并解析前一天的作业记录信息。对作业ID不存在于Acct_Detail表中的作业信息(作业ID、以及作业资源使用情况)、用户、用户当前配置ID记录到Acct_Detail表中。

按资源类型为用户进行记账配置，对每一次的维护操作，首先执行上述扫描事件；然后在cfg表中生成新的用户配置信息，最后更新User表中用户的配置ID。

具体地，根据所述记账配置信息以及所述作业资源使用数据，对所述用户的账单进行统计的过程可以为：

当统计时间不包含当天的账单时，直接关联账单明细表(Acct_Detail表)以及配置信息表(Cfg表)查询用户或用户组的资源使用情况以及记账配置信息，计算账单结果；当查询时间包含当天的账单时，提取当天的Torque作业记录文件，对账单明细表(Acct_Detail表)中不存在的作业信息进行记录，根据统计时间关联账单明细表(Acct_Detail表)以及配置信息表(Cfg表)，并进行统计。

在上述任一实施例的基础上，本发明所提供的方法在所述接收所述用户根据所述账单进行缴费的指令之后还可以进一步包括：

通过用户缴费表对所述用户每次的缴费信息进行记录；

所述用户缴费表包含用户名、缴费时间以及缴费金额信息。

优选地，还可以进一步包括：

对所述用户的累计缴费金额进行统计，确定当前用户的账户余额信息。

当用户需要对缴费信息以及账户余额信息进行查询时，本发明还可以进一步包括：

接收用户对缴费信息以及账户余额信息进行查询的指令，向用户显示所述缴费信息以及所述账户余额信息。

对每一次用户缴费记录Charge表，在获取用户账户信息时首先根据计算出用户的累计费用，然后通过Charge表获取用户累计缴费金额，最后计算出当前用户账户余额信息。

参照图2本发明所提供的基于Torque的集群记账管理方法的另一种具体实施方式的示意图，下面对本发明的具体实施步骤进行详细描述。

步骤S201：定义底层的扫描程序ScanAccts.c，输入为Torque的作业记录文件$TORQUEROOT/server_priv/accounting/<TIMESTAMP>，其中“<TIMESTAMP>”为记录日期，如“20160621”文件记录的是2016-06-21当天的作业信息。

扫描方法根据输入的文件名进行文件扫描，对文件中记录的作业信息，如果非已完成(状态为“E”)的作业则跳过，对扫描记录根据已定义好的字段作为前缀解析记录获取作业信息，最后将解析结果进行返回。

步骤S202：定义JAVA端扫描类ScanHelper，scanAccts方法负责调用底层c代码进行作业扫描，遍历扫描返回的结果并判断Acct_Detail表中是否存在，如果不存在，则通过User表获取用户当前的记账配置，组装信息插入Acct_Detail表中；

步骤S203：通过Quartz组件创建定时任务ScanJob，该任务获取当前日期并调用ScanHelper类中的scanAccts方法对作业信息进行入库操作。

步骤S204：定义记账配置类UserCfg，包含用户配置获取和配置更新两个方法，其中配置获取同步骤S202中类似，以下主要说明配置更新的操作。

步骤S205：定义用户缴费类Charge，包含用户缴费方法，即将用户缴费金额、缴费时间记录到Charge表中，具体方法不再赘述。

步骤S206：定义账单统计类AcctBill，包含用户账单查询和用户账户查询。

其中，对用户账单查询，对查询时间包含当天的情况，可参考步骤S204中首先同步一下作业信息到Acct_detail库，然后关联Acc_detail和Cfg表，对返回结果按用户或用户组进行统计计算。用户账户查询，首先执行截止时间为当前的用户账单查询，然后通过对Charge表按用户进行分组操作汇总用户累计缴费信息，最后根据用户费用和累计缴费信息计算用户余额。

通过步骤S201-步骤S203，可以实现在现有Torque的作业信息中抽取并展示用户或用户组的资源使用情况，步骤S204-步骤S206则实现对应的记账配置、缴费以及用户账户管理功能。在本申请中数据模型采用了数据表进行实现，对一些小规模用户的环境，也可以直接采用XML文件或者JSON文件进行数据存储。

本申请实施例首先针对不同的集群用户和资源类别进行不同的记账配置，然后根据Torque的记账功能统计出不同用户在运行作业时的资源使用情况，并根据配置信息计算出用户资源账单，为用户缴费和账单统计功能提供输入数据。

该方法可用于使用PBS Torque作为作业调度软件的HPC集群，对不同用户可区分资源使用单价并可及时调整维护，同时可以统计并直观的展示查询时间内用户的资源使用情况、账户情况，该发明也支持用户缴费功能以及用户缴费记录的查询。

本发明实施例结构清晰，实现方便，针对现有Torque作业调度器不能直接从用户角度查看资源使用的问题进行了处理，并进一步提出了相关的记账配置、缴费以及用户账户管理的方案，从而实现了集群记账管理的功能。

下面对本发明实施例提供的基于Torque的集群记账管理系统进行介绍，下文描述的基于Torque的集群记账管理系统与上文描述的基于Torque的集群记账管理方法可相互对应参照。

图3为本发明实施例提供的基于Torque的集群记账管理系统的结构框图，参照图3基于Torque的集群记账管理系统可以包括：

获取模块100，用于获取用户的记账配置信息；

提取模块200，用于通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据；

统计模块300，用于根据所述记账配置信息以及所述作业资源使用数据，对所述用户的账单进行统计；

缴费模块400，用于接收所述用户根据所述账单进行缴费的指令，实现用户缴费。

本发明所提供的基于Torque的集群记账管理系统，获取用户的记账配置信息；通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据；根据记账配置信息以及作业资源使用数据，对用户的账单进行统计；接收用户根据账单进行缴费的指令，实现用户缴费。本发明所提供的基于Torque的集群记账管理系统，可用于使用PBS Torque作为作业调度软件的HPC集群，对不同用户可区分资源使用单价并可及时调整维护，同时可以统计并直观的展示查询时间内用户的资源使用情况、账户情况，还可以支持用户缴费功能，实现了集群记账管理的功能。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的基于Torque的集群记账管理方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于Torque的集群记账管理方法，其特征在于，包括：

获取用户的记账配置信息；

通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据；

根据所述记账配置信息以及所述作业资源使用数据，对所述用户的账单进行统计；

接收所述用户根据所述账单进行缴费的指令，实现用户缴费。

2.如权利要求1所述的基于Torque的集群记账管理方法，其特征在于，所述通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据包括：

根据日期参数扫描Torque中的作业记录文件，提取用户在运行时的所述作业资源使用数据。

3.如权利要求2所述的基于Torque的集群记账管理方法，其特征在于，所述记账配置信息包括用户配置表以及配置信息表；

其中，所述用户配置表中包含用户名以及对应配置信息表ID；所述配置信息表中包含标识ID、用户名、创建时间、CPU时间单价、机时单价以及内存单价信息。

4.如权利要求3所述的基于Torque的集群记账管理方法，其特征在于，所述通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据包括：

创建定时任务，每日提取并解析前一天的作业记录信息。

5.如权利要求4所述的基于Torque的集群记账管理方法，其特征在于，所述对所述用户的账单进行统计包括：

通过用户账单明细表对所述账单进行统计；

所述用户账单明细表包括：作业ID、用户、用户组、配置信息表ID、CPU时间、作业机时以及作业内存信息。

6.如权利要求5所述的基于Torque的集群记账管理方法，其特征在于，所述根据所述记账配置信息以及所述作业资源使用数据，对所述用户的账单进行统计包括：

当统计时间不包含当天的账单时，直接关联账单明细表以及配置信息表查询用户或用户组的资源使用情况以及记账配置信息，计算账单结果；当查询时间包含当天的账单时，提取当天的Torque作业记录文件，对所述账单明细表中不存在的作业信息进行记录，根据统计时间关联所述账单明细表以及所述配置信息表，并进行统计。

7.如权利要求1至6任一项所述的基于Torque的集群记账管理方法，其特征在于，在所述接收所述用户根据所述账单进行缴费的指令之后还包括：

通过用户缴费表对所述用户每次的缴费信息进行记录；

所述用户缴费表包含用户名、缴费时间以及缴费金额信息。

8.如权利要求7所述的基于Torque的集群记账管理方法，其特征在于，在所述接收所述用户根据所述账单进行缴费的指令之后还包括：

对所述用户的累计缴费金额进行统计，确定当前用户的账户余额信息。

9.如权利要求8所述的基于Torque的集群记账管理方法，其特征在于，还包括：

接收用户对缴费信息以及账户余额信息进行查询的指令，向所述用户显示所述缴费信息以及所述账户余额信息。

10.一种基于Torque的集群记账管理系统，其特征在于，包括：

获取模块，用于获取用户的记账配置信息；

提取模块，用于通过解析Torque的作业记录信息，提取用户在运行时的作业资源使用数据；

统计模块，用于根据所述记账配置信息以及所述作业资源使用数据，对所述用户的账单进行统计；

缴费模块，用于接收所述用户根据所述账单进行缴费的指令，实现用户缴费。