CN112363843A

CN112363843A - 任务处理方法、装置及设备

Info

Publication number: CN112363843A
Application number: CN202011419657.3A
Authority: CN
Inventors: 王圣彬
Original assignee: Hangzhou H3C Technologies Co Ltd
Current assignee: Hangzhou H3C Technologies Co Ltd; New H3C Technologies Co Ltd
Priority date: 2020-12-07
Filing date: 2020-12-07
Publication date: 2021-02-12
Anticipated expiration: 2040-12-07
Also published as: CN112363843B

Abstract

本申请提供一种任务处理方法、装置及设备，该方法包括：接收客户端发送的与第一资源管理系统匹配的第一作业消息，第一作业消息包括第一资源使用命令、与第一资源使用命令对应的参数值和作业脚本信息；第一资源使用命令与第一资源管理系统的命令行模板匹配；若HPC设备采用第二资源管理系统执行任务，则将第一作业消息转换为与第二资源管理系统匹配的第二作业消息，第二作业消息包括第二资源使用命令、与第二资源使用命令对应的参数值和作业脚本信息；第二资源使用命令与第二资源管理系统的命令行模板匹配；将第二作业消息发送给所述HPC设备。通过本申请的技术方案，HPC设备能够执行用户的作业消息，满足不同用户对资源管理系统的使用需求。

Description

任务处理方法、装置及设备

技术领域

本申请涉及通信技术领域，尤其是涉及一种任务处理方法、装置及设备。

背景技术

HPC（High Performance Computing，高性能计算）设备的主要目的是提高运算速度，达到每秒万亿次级的计算速度，对处理器、内存带宽、运算方式、系统I/O、存储等方面的要求都比较高，每一环节都将影响到HPC设备的运算速度。HPC设备主要解决大规模科学问题的计算和海量数据的处理，如科学研究、气象预报、计算模拟、军事研究、生物制药、基因测序、图像处理等。

HPC设备可以使用SLURM（Simple Linux Utility for Resource Management，简单Linux实用程序的资源管理）、LSF（Load Sharing Facility，负载共享设施）、PBS（Protable Batch System，便携式批处理系统）等资源管理系统，不同资源管理系统的作业消息存在很大差异，用户需要获知资源管理系统的作业消息，才能够使HPC设备准确执行作业消息。比如说，HPC设备采用SLURM资源管理系统，用户需要向HPC设备下发与SLURM资源管理系统匹配的作业消息，HPC设备才能够执行该作业消息。若用户向HPC设备下发与LSF资源管理系统匹配的作业消息，则HPC设备无法执行该作业消息，即作业消息执行失败。

但是，不同用户对资源管理系统的熟悉程度存在很大差异，如果用户只知道与LSF资源管理系统匹配的作业消息，那么，HPC设备采用SLURM资源管理系统时，HPC设备就无法执行用户的作业消息，导致作业消息执行失败。

发明内容

本申请提供一种任务处理方法，所述方法包括：

接收客户端发送的与第一资源管理系统匹配的第一作业消息，所述第一作业消息包括第一资源使用命令、与所述第一资源使用命令对应的参数值和作业脚本信息；所述第一资源使用命令与所述第一资源管理系统的命令行模板匹配；

若HPC设备采用第二资源管理系统执行任务，则将所述第一作业消息转换为与所述第二资源管理系统匹配的第二作业消息，所述第二作业消息包括第二资源使用命令、与所述第二资源使用命令对应的所述参数值和所述作业脚本信息；所述第二资源使用命令与所述第二资源管理系统的命令行模板匹配；

将所述第二作业消息发送给所述HPC设备，以使所述HPC设备调用所述第二资源管理系统，基于所述第二资源使用命令和所述参数值为所述第二作业消息分配资源，并执行与所述作业脚本信息对应的任务。

本申请提出一种任务处理装置，所述装置包括：

接收模块，用于接收客户端发送的与第一资源管理系统匹配的第一作业消息，第一作业消息包括第一资源使用命令、与第一资源使用命令对应的参数值和作业脚本信息；第一资源使用命令与第一资源管理系统的命令行模板匹配；

处理模块，用于若HPC设备采用第二资源管理系统执行任务，则将第一作业消息转换为与第二资源管理系统匹配的第二作业消息，所述第二作业消息包括第二资源使用命令、与所述第二资源使用命令对应的所述参数值和所述作业脚本信息；所述第二资源使用命令与所述第二资源管理系统的命令行模板匹配；

发送模块，用于将所述第二作业消息发送给所述HPC设备，以使所述HPC设备调用所述第二资源管理系统，基于所述第二资源使用命令和所述参数值为所述第二作业消息分配资源，并执行与所述作业脚本信息对应的任务。

本申请提出一种任务处理设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下步骤：

基于上述技术方案，本申请实施例中，若HPC设备采用第二资源管理系统执行任务，则将与第一资源管理系统匹配的作业消息转换为与第二资源管理系统匹配的作业消息，并将转换后的作业消息发送给HPC设备，使得HPC设备能够执行该作业消息，避免作业消息执行失败。即使HPC设备只支持一种类型的资源管理系统，且不同用户输入不同资源管理系统的作业消息，HPC设备也能够执行用户的作业消息，满足不同用户对资源管理系统的使用需求。用户可以根据自身对资源管理系统的熟悉程度，选择相应命令行，实现任务提交、任务监控、任务操作等需求，极大地降低了用户学习使用资源管理系统的成本。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其它的附图。

图1是本申请一种实施方式中的系统结构示意图；

图2是本申请一种实施方式中的任务处理方法的流程图；

图3是本申请另一种实施方式中的任务处理方法的流程图；

图4是本申请一种实施方式中的任务处理装置的结构图；

图5是本申请一种实施方式中的任务处理设备的结构图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

随着HPC设备应用的越来越广泛，有许多资源管理系统可供用户来选择使用，资源管理系统就是调度软件，HPC设备可以通过使用资源管理系统来实现资源管理。例如，HPC设备支持SLURM资源管理系统（SLURM调度软件）、LSF资源管理系统（LSF调度软件）、PBS资源管理系统（PBS调度软件）等。

示例性的，针对不同资源管理系统的作业消息，可能存在很大差异，比如说，SLURM资源管理系统的作业消息与LSF资源管理系统的作业消息可以不同，SLURM资源管理系统的作业消息与PBS资源管理系统的作业消息可以不同，LSF资源管理系统的作业消息与PBS资源管理系统的作业消息可以不同。

综上所述，假设HPC设备采用SLURM资源管理系统，则用户需要向HPC设备下发与SLURM资源管理系统匹配的作业消息，HPC设备才能够执行该作业消息。若用户向HPC设备下发与LSF资源管理系统或者PBS资源管理系统匹配的作业消息，则HPC设备无法执行该作业消息，即作业消息执行失败。

在一种可能的实施方式中，HPC设备同时采用SLURM资源管理系统，LSF资源管理系统和PBS资源管理系统，若用户向HPC设备下发与SLURM资源管理系统匹配的作业消息，则HPC设备调用SLURM资源管理系统执行作业消息。若用户向HPC设备下发与LSF资源管理系统匹配的作业消息，则HPC设备调用LSF资源管理系统执行作业消息。若用户向HPC设备下发与PBS资源管理系统匹配的作业消息，则HPC设备调用PBS资源管理系统执行作业消息。

但是，在上述方式中，HPC设备需要同时部署SLURM资源管理系统，LSF资源管理系统和PBS资源管理系统，来满足多个用户对不同资源管理系统的喜好，会浪费计算资源。比如说，针对每个用户的作业消息，只有一个资源管理系统工作，另外两个资源管理系统处于空闲，从而造成计算资源的浪费。

针对上述发现，本申请实施例中，HPC设备可以只部署一种资源管理系统，如SLURM资源管理系统，或LSF资源管理系统，或PBS资源管理系统，以HPC设备部署SLURM资源管理系统为例。若用户向HPC设备下发与LSF资源管理系统或者PBS资源管理系统匹配的作业消息，则能够将与LSF资源管理系统或者PBS资源管理系统匹配的作业消息，转换为与SLURM资源管理系统匹配的作业消息，并将转换后的作业消息发送给HPC设备，使得HPC设备能够执行该作业消息，避免作业消息执行失败。即使HPC设备只支持一种类型的资源管理系统，且不同用户输入不同资源管理系统的作业消息，HPC设备也能够执行用户的作业消息，满足不同用户对资源管理系统的使用需求。每个用户可以根据自身对资源管理系统的熟悉程度，选择相应命令行，实现任务提交、任务监控、任务操作等需求，极大地降低了用户学习使用资源管理系统的成本。

参见图1所示，为本申请实施例的系统结构示意图，该系统结构可以包括命令转义设备，HPC设备（可以即HPC机群组成的设备，即有大量计算机组成组成HPC设备）和多个客户端。不同客户端可以使用相同的资源管理系统，也可以使用不同的资源管理系统。HPC设备可以只部署一种资源管理系统，如SLURM资源管理系统，或LSF资源管理系统，或PBS资源管理系统。命令转义设备用于实现不同资源管理系统的作业消息的转义，即将与一种资源管理系统匹配的作业消息转换为与另一种资源管理系统匹配的作业消息。

示例性的，命令转义设备可以是一个独立设备，也可以是一个命令转义组件（或称为命令转义模块），集成在HPC设备的已有设备，对此不做限制。若命令转义设备是独立设备，则命令转义设备可以是服务器、笔记本电脑、PC（Personal Computer，个人计算机）等，对此命令转义设备的类型不做限制。

在上述应用场景下，本申请实施例提出一种任务处理方法，可以应用于命令转义设备，参见图2所示，为任务处理方法的流程图，该方法可以包括：

步骤201，接收客户端发送的与第一资源管理系统匹配的第一作业消息，第一作业消息包括第一资源使用命令、与第一资源使用命令对应的参数值和作业脚本信息，且第一资源使用命令与第一资源管理系统的命令行模板匹配。

示例性的，用户可以通过客户端向HPC设备发送作业消息，为了区分方便，将该作业消息称为第一作业消息，且第一作业消息是与第一资源管理系统匹配的作业消息。比如说，若用户使用SLURM资源管理系统，则第一作业消息是与SLURM资源管理系统匹配的作业消息，若用户使用LSF资源管理系统，则第一作业消息是与LSF资源管理系统匹配的作业消息，若用户使用PBS资源管理系统，则第一作业消息是与PBS资源管理系统匹配的作业消息。

在用户通过客户端向HPC设备发送第一作业消息时，命令转义设备可以接收到客户端发送的与第一资源管理系统匹配的第一作业消息。

示例性的，可以将第一作业消息中的内容划分为三个部分，这三个部分为资源使用命令、参数值和作业脚本信息，对于不同资源管理系统来说，资源使用命令不同，资源使用命令对应的参数值相同，作业脚本信息相同。

比如说，用户需要使用HPC设备的2G的CPU资源，针对SLURM资源管理系统来说，第一作业消息包括：aaaaa=2G，作业脚本信息p，针对LSF资源管理系统来说，第一作业消息包括：bbbbb=2G，作业脚本信息p，针对PBS资源管理系统来说，第一作业消息包括：ccccc=2G和作业脚本信息p。

aaaaa表示SLURM资源管理系统中针对CPU资源的资源使用命令，bbbbb表示LSF资源管理系统中针对CPU资源的资源使用命令，ccccc表示PBS资源管理系统中针对CPU资源的资源使用命令。显然，不同资源管理系统中针对CPU资源的资源使用命令是不同的，各资源使用命令均可以是一个命令行。

在不同资源管理系统的第一作业消息中，与资源使用命令对应的参数值相同，均为“2G”，用于表示需要使用2G的CPU资源。在不同资源管理系统的第一作业消息中，作业脚本信息相同，均为作业脚本信息p。

综上所述，用户通过客户端向HPC设备发送与第一资源管理系统匹配的第一作业消息时，第一作业消息包括资源使用命令（为了区分方便，后续记为第一资源使用命令）、与第一资源使用命令对应的参数值和作业脚本信息。

比如说，假设用户需要使用HPC设备的2G的CPU资源，1G的内存资源，且第一资源管理系统为SLURM资源管理系统，则第一作业消息包括：aaaaa=2G，ddddd=1G，作业脚本信息p，ddddd表示SLURM资源管理系统中针对内存资源的第一资源使用命令。当然，上述只是第一作业消息的示例，对此不做限制。

当然，上述使用HPC设备的CPU资源，使用HPC设备的内存资源等，只是第一资源使用命令的示例，对此第一资源使用命令的类型不做限制，第一资源使用命令可以是命令行，可以将不同资源管理系统中的不同部分作为第一资源使用命令，比如说，SLURM资源管理系统和LSF资源管理系统中针对某个属性的命令行不同，就可以将这个属性的命令行作为第一资源使用命令。

在一种可能的实施方式中，针对每个资源管理系统来说，该资源管理系统的资源使用命令是具有特定格式的，而不能是任意格式，如可以通过aaaaa表示SLURM资源管理系统中针对CPU资源的资源使用命令，而不能通过aaaab表示SLURM资源管理系统中针对CPU资源的资源使用命令，因此，可以将特定格式的资源使用命令作为资源管理系统的命令行模板。显然，只有资源使用命令与命令行模板匹配时，资源管理系统才能够准确识别出这个资源使用命令。

比如说，参见表1所示，为资源管理系统的命令行模板的示例，当然，这里只是以两种类型的命令行模板为例，对此命令行模板的类型不做限制。

显然，由于资源管理系统的命令行模板是该资源管理系统的资源使用命令的标准格式，因此，针对与第一资源管理系统匹配的第一作业消息，该第一作业消息中的第一资源使用命令需要与第一资源管理系统的命令行模板匹配。

步骤202，若HPC设备采用第二资源管理系统执行任务，则将第一作业消息转换为与第二资源管理系统匹配的第二作业消息，该第二作业消息可以包括第二资源使用命令、与该第二资源使用命令对应的参数值（即该第一作业消息中包括的参数值）和作业脚本信息（即该第一作业消息中包括的作业脚本信息），且该第二资源使用命令与第二资源管理系统的命令行模板匹配。

示例性的，在得到与第一资源管理系统匹配的第一作业消息后，命令转义设备判断HPC设备采用的是否为第一资源管理系统。如果否，以采用第二资源管理系统为例进行说明，则将第一作业消息转换为与第二资源管理系统匹配的作业消息，为了区分方便，将该作业消息称为第二作业消息。比如说，若HPC设备采用SLURM资源管理系统执行任务，则第二作业消息是与SLURM资源管理系统匹配的作业消息，若HPC设备采用LSF资源管理系统执行任务，则第二作业消息是与LSF资源管理系统匹配的作业消息，若HPC设备采用PBS资源管理系统执行任务，则第二作业消息是与PBS资源管理系统匹配的作业消息。

示例性的，可以将第二作业消息中的内容划分为三个部分，这三个部分为资源使用命令，参数值和作业脚本信息，为了区分方便，将第二作业消息中的资源使用命令称为第二资源使用命令。第二作业消息中的第二资源使用命令与第一作业消息中的第一资源使用命令不同，第二作业消息中的第二资源使用命令对应的参数值与第一作业消息中的第一资源使用命令对应的参数值相同，第二作业消息中的作业脚本信息与第一作业消息中的作业脚本信息相同，因此，将第一作业消息转换为第二作业消息时，只需要将第一作业消息中的第一资源使用命令替换为第二资源使用命令，就可以得到转换后的第二作业消息。

比如说，与SLURM资源管理系统匹配的第一作业消息可以包括：aaaaa=2G，作业脚本信息p，则与LSF资源管理系统（即第二资源管理系统）匹配的第二作业消息可以包括：bbbbb=2G，作业脚本信息p，也就是说，将第一作业消息中的第一资源使用命令“aaaaa”替换为第二资源使用命令“bbbbb”即可。

综上所述，在将第一作业消息转换为第二作业消息后，第二作业消息包括第二资源使用命令，与第二资源使用命令对应的参数值（即第一作业消息中包括的参数值），作业脚本信息（即第一作业消息中包括的作业脚本信息）。

在一种可能的实施方式中，每个资源管理系统可以对应一个命令行模板，因此，针对与第二资源管理系统匹配的第二作业消息来说，该第二作业消息中的第二资源使用命令需要与第二资源管理系统的命令行模板匹配。

在一种可能的实施方式中，将第一作业消息中的第一资源使用命令替换为第二资源使用命令，得到第二作业消息时，由于第一资源使用命令与第一资源管理系统的命令行模板匹配，第二资源使用命令与第二资源管理系统的命令行模板匹配，因此，只需要将第一作业消息中的第一资源使用命令替换为第二资源管理系统的命令行模板即可，即该命令行模板作为第二资源使用命令。

比如说，参见表1所示，若第一作业消息包括第一资源使用命令aaaaa和第一资源使用命令ddddd，且第二资源管理系统为LSF资源管理系统，则第一资源使用命令aaaaa的类型为CPU资源，且LSF资源管理系统的与CPU资源对应的命令行模板为bbbbb，因此，将第一作业消息中的第一资源使用命令aaaaa替换为命令行模板bbbbb，命令行模板bbbbb是第二资源使用命令。此外，第一资源使用命令ddddd的类型为内存资源，且LSF资源管理系统的与内存资源对应的命令行模板为eeeee，因此，将第一作业消息中的第一资源使用命令ddddd替换为命令行模板eeeee，命令行模板eeeee是第二资源使用命令。综上所述，第二作业消息包括第二资源使用命令bbbbb和第一资源使用命令eeeee。

在一种可能的实施方式中，步骤201之前，为了生成每个资源管理系统的命令行模板（参见表1所示），可以采用如下方式：针对任一类型的资源管理系统，收集该资源管理系统的资源使用命令，基于该资源管理系统的资源使用命令获取该资源管理系统的命令行模板。其中，该资源管理系统的命令行模板可以包括该资源管理系统的资源使用命令。该资源管理系统可以包括但不限于以下至少一种：SLURM资源管理系统、LSF资源管理系统、PBS资源管理系统。

比如说，可以收集SLURM资源管理系统的资源使用命令和资源使用命令的类型，将该资源使用命令作为SLURM资源管理系统的命令行模板，并记录SLURM资源管理系统、命令行模板和类型的映射关系，参见表1所示。同理，可以记录LSF资源管理系统、LSF资源管理系统的命令行模板和类型的映射关系，PBS资源管理系统、PBS资源管理系统的命令行模板和类型的映射关系。

当然，上述只是生成每个资源管理系统的命令行模板的示例，对此命令行模板的生成方式不做限制，只要能够得到资源管理系统的命令行模板即可。

在一种可能的实施方式中，除了SLURM资源管理系统、LSF资源管理系统、PBS资源管理系统，还允许用户自定义资源管理系统，在步骤201之前，还可以获取用户自定义资源管理系统的资源使用命令（如用户提供），基于用户自定义资源管理系统的资源使用命令，获取用户自定义资源管理系统的命令行模板。比如说，将用户自定义资源管理系统的资源使用命令，作为用户自定义资源管理系统的命令行模板，并记录用户自定义资源管理系统、用户自定义资源管理系统的命令行模板和资源使用命令的类型的映射关系。

在此基础上，第一作业消息可以是与用户自定义资源管理系统匹配的作业消息，第一作业消息中的第一资源使用命令与用户自定义资源管理系统的命令行模板匹配，因此，可以将第一资源使用命令转换为与第二资源管理系统的命令行模板匹配的第二资源使用命令，得到第二作业消息，在此不再重复赘述。

步骤203，将第二作业消息发送给HPC设备，以使HPC设备调用第二资源管理系统，基于第二资源使用命令和参数值（即第二资源使用命令对应的参数值）为第二作业消息分配资源，并执行与作业脚本信息对应的任务。

示例性的，HPC设备在接收到第二作业消息后，可以对第二作业消息进行处理，由于HPC设备采用第二资源管理系统执行任务，因此，在对第二作业消息进行处理时，需要调用第二资源管理系统来执行任务。在任务处理的过程中，先从第二作业消息中解析出第二资源使用命令和参数值，由于第二资源使用命令与第二资源管理系统匹配，因此，能够准确识别出第二资源使用命令，并基于第二资源使用命令和参数值为第二作业消息分配资源。比如说，第二资源使用命令和参数值为bbbbb=2G，则为第二作业消息分配2G的CPU资源。在为第二作业消息分配资源的基础上，可以执行与作业脚本信息对应的任务。

在一种可能的实施方式中，该作业脚本信息可以包括作业脚本路径，该作业脚本路径表示作业脚本的存储位置，即可以从该存储位置处得到该作业脚本。基于此，在执行与该作业脚本信息对应的任务时，HPC设备可以基于该作业脚本路径获取作业脚本（即从该作业脚本路径表示的存储位置处得到该作业脚本），并执行该作业脚本，关于作业脚本的执行过程，本实施例中不做限制。

在另一种可能的实施方式中，该作业脚本信息可以包括作业脚本内容（即作业脚本本身），基于此，在执行与该作业脚本信息对应的任务时，HPC设备可以直接执行该作业脚本，关于作业脚本的执行过程，本实施例中不做限制。

示例性的，作业脚本用于实现任务提交、任务监控、任务操作中的至少一种，当然，上述只是几个示例，对此不做限制。比如说，若作业脚本用于实现任务提交，则HPC设备可以执行该作业脚本，以实现任务提交，例如，作业脚本用于实现生物制药的成分分析，则HPC设备可以执行该作业脚本，实现生物制药的成分分析。若作业脚本用于实现任务监控，则HPC设备可以执行该作业脚本，以实现任务监控，例如，作业脚本用于监控运行状态（如任务进行中，任务结束，任务失败等），则HPC设备可以执行该作业脚本，以监控运行状态。若作业脚本用于实现任务操作，则HPC设备可以执行该作业脚本，以实现任务操作，例如，作业脚本用于实现任务操作（如暂停任务，启动任务，结束任务，恢复任务，取消任务等），则HPC设备可以执行该作业脚本，以实现任务操作。

当然，上述只是HPC设备执行任务的几个示例，对此任务执行不做限制。

在一种可能的实施方式中，命令转义设备得到与第一资源管理系统匹配的第一作业消息后，判断HPC设备是否采用第一资源管理系统执行任务，如果是，将第一作业消息发送给HPC设备，以使HPC设备调用第一资源管理系统，基于第一资源使用命令和参数值（即第一资源使用命令对应的参数值）为第一作业消息分配资源，并执行与作业脚本信息对应的任务，具体过程与步骤203类似。

在一种可能的实施方式中，除了步骤201-步骤203的实现方式，命令转义设备还可以从WEB页面解析出作业脚本信息和与资源使用命令对应的参数值，其中，该作业脚本信息和该参数值可以是用户在WEB页面输入的。然后，若HPC设备采用第二资源管理系统执行任务，则命令转义设备生成与第二资源管理系统匹配的第二作业消息，该第二作业消息包括第二资源使用命令、解析出的该参数值和解析出的该作业脚本信息，并将该第二作业消息发送给HPC设备。

示例性的，对于不熟悉资源使用命令的用户来说，可能无法通过客户端向HPC设备发送第一作业消息，基于此，命令转义设备可以向用户提供WEB页面（如使用JavaScript和JAVA微服务实现的WEB页面），通过WEB页面的可视化操作来提交任务，最终实现任务提交、任务监控、任务操作等需求。

用户可以在命令转义设备提供的WEB页面输入参数值和作业脚本信息，比如说，WEB页面可以提供CPU资源的选项，用户在该选项输入2G，命令转义设备获知用户需要使用HPC设备的2G的CPU资源。WEB页面可以提供内存资源的选项，用户在该选项输入1G，命令转义设备获知用户需要使用HPC设备的1G的内存资源。WEB页面可以提供作业脚本信息（如作业脚本路径）的选项，用户在该选项输入作业脚本信息，命令转义设备获知作业脚本信息。

若HPC设备采用第二资源管理系统执行任务，则命令转义设备获取第二资源管理系统的命令行模板，确定与该命令行模板匹配的第二资源使用命令，并将第二资源使用命令、从WEB页面解析出的参数值、从WEB页面解析出的作业脚本信息组合起来，得到与第二资源管理系统匹配的第二作业消息。

若HPC设备采用第一资源管理系统执行任务，命令转义设备也可以得到与第一资源管理系统匹配的第一作业消息，对此过程不再重复赘述。

命令转义设备得到第二作业消息后，可以将该第二作业消息发送给HPC设备，HPC设备调用第二资源管理系统，基于第二资源使用命令和参数值为第二作业消息分配资源，并执行与作业脚本信息对应的任务，在此不再赘述。

示例性的，上述执行顺序只是为了方便描述给出的示例，在实际应用中，还可以改变步骤之间的执行顺序，对此执行顺序不做限制。而且，在其它实施例中，并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其它实施例中可能被分解为多个步骤进行描述；本说明书中所描述的多个步骤，在其它实施例也可能被合并为单个步骤进行描述。

本申请实施例提出一种任务处理方法，参见图3所示，该方法可以包括：

步骤301，接收客户端发送的与第一资源管理系统匹配的第一作业消息，第一作业消息包括第一资源使用命令、与第一资源使用命令对应的参数值和作业脚本信息，且第一资源使用命令与第一资源管理系统的命令行模板匹配。

步骤302，若HPC设备采用第二资源管理系统执行任务，则将第一作业消息转换为与第二资源管理系统匹配的第二作业消息，该第二作业消息可以包括第二资源使用命令、与该第二资源使用命令对应的参数值和作业脚本信息，且该第二资源使用命令与第二资源管理系统的命令行模板匹配。

步骤303，将第二作业消息发送给HPC设备，以使HPC设备调用第二资源管理系统，基于第二资源使用命令和参数值（即第二资源使用命令对应的参数值）为第二作业消息分配资源，并执行与作业脚本信息对应的任务。

其中，步骤301-步骤303与步骤201-步骤203类似，在此不再赘述。

在步骤302中，第一作业消息还可以携带作业标识，即，第一作业消息的唯一标识，不同作业消息的作业标识可以不同。基于此，命令转义设备还可以记录第一作业消息的作业标识与第一资源管理系统的类型之间的第一映射关系。比如说，若第一作业消息的作业标识为作业标识1，第一资源管理系统的类型为SLURM资源管理系统，则第一映射关系可以参见表2所示。

在步骤302中，接收到客户端发送的第一作业消息后，还可以记录第一作业消息的作业标识与客户端的IP地址之间的第二映射关系，参见表3所示。在实际应用中，第一映射关系和第二映射关系可以记录在一起，参见表4所示。

步骤304，接收HPC设备发送的第一响应消息，该第一响应消息可以包括与第二资源管理系统的命令行模板匹配的任务结果命令。

示例性的，HPC设备执行与作业脚本信息对应的任务之后，还可以向客户端返回第一响应消息（即针对第二作业消息的响应消息，也可以称为打印信息），且该第一响应消息是与第二资源管理系统匹配的响应消息。在HPC设备向客户端发送第一响应消息时，命令转义设备可以接收到该第一响应消息。

示例性的，可以将第一响应消息中的内容划分为两个部分，这两个部分为任务结果命令和任务结果命令对应的结果值。对于不同资源管理系统来说，任务结果命令不同，任务结果命令对应的结果值相同，HPC设备发送第一响应消息时，第一响应消息包括任务结果命令，与任务结果命令对应的结果值。

在一种可能的实施方式中，针对每个资源管理系统来说，该资源管理系统的任务结果命令是具有特定格式的，而不能是任意格式，可以将特定格式的任务结果命令作为资源管理系统的命令行模板。显然，只有任务结果命令与命令行模板匹配时，资源管理系统才能够准确识别出这个任务结果命令。

显然，由于资源管理系统的命令行模板是该资源管理系统的任务结果命令的标准格式，因此，针对与第二资源管理系统匹配的第一响应消息，该第一响应消息中的任务结果命令需要与第二资源管理系统的命令行模板匹配。

步骤305，将该第一响应消息转换为第二响应消息，该第二响应消息可以包括与第一资源管理系统的命令行模板匹配的任务结果命令。

示例性的，第一响应消息还可以携带作业标识，该作业标识与第二作业消息或第一作业消息的作业标识相同，如作业标识1。基于此，命令转义设备接收到第一响应消息后，通过第一响应消息的作业标识查询上述第一映射关系（参见表2所示），得到与第一响应消息的作业标识对应的第一资源管理系统的类型。由于与第一响应消息的作业标识对应的是第一资源管理系统的类型，因此，将第一响应消息转换为与第一资源管理系统的类型对应的第二响应消息，即第二响应消息可以包括与第一资源管理系统的命令行模板匹配的任务结果命令。

示例性的，可以将第二响应消息中的内容划分为两个部分，这两个部分为任务结果命令和任务结果命令对应的结果值。第二响应消息中的任务结果命令与第一响应消息中的任务结果命令不同，第二响应消息中的结果值与第一响应消息中的结果值相同，因此，将第一响应消息转换为第二响应消息时，只需要将第一响应消息中的任务结果命令替换为与第一资源管理系统的命令行模板匹配的任务结果命令，就可以得到转换后的第二响应消息。第二响应消息包括与第一资源管理系统的命令行模板匹配的任务结果命令，及结果值。

在一种可能的实施方式中，将第一响应消息转换为第二响应消息时，由于第一响应消息中的任务结果命令与第二资源管理系统的命令行模板匹配，第二响应消息中的任务结果命令与第一资源管理系统的命令行模板匹配，因此，只需要将第一响应消息中的任务结果命令替换为第一资源管理系统的命令行模板即可，也就是说，第一资源管理系统的命令行模板作为任务结果命令。

在一种可能的实施方式中，为了生成每个资源管理系统的命令行模板，可以采用如下方式：针对任一类型的资源管理系统，收集该资源管理系统的任务结果命令（任务结果命令与上述资源使用命令不同），基于该资源管理系统的任务结果命令获取该资源管理系统的命令行模板。其中，该资源管理系统的命令行模板可以包括该资源管理系统的任务结果命令（此处不是资源使用命令）。

步骤306，将第二响应消息发送给客户端。

示例性的，第二响应消息还可以携带作业标识，该作业标识与第二作业消息或第一作业消息的作业标识相同，命令转义设备通过第二响应消息的作业标识查询上述第二映射关系（参见表3所示），得到与第二响应消息的作业标识对应的IP地址，并将该第二响应消息发送给该IP地址对应的客户端。至此，可以将针对第二作业消息的第二响应消息发送给客户端，由于第二响应消息包括与第一资源管理系统的命令行模板匹配的任务结果命令，且用户能够识别第一资源管理系统的内容，因此，可以识别第二响应消息中的任务结果命令。

基于与上述方法同样的申请构思，本申请实施例中提出一种任务处理装置，参见图4所示，为所述任务处理装置的结构示意图，所述装置可以包括：

接收模块41，用于接收客户端发送的与第一资源管理系统匹配的第一作业消息，第一作业消息包括第一资源使用命令、与第一资源使用命令对应的参数值和作业脚本信息；所述第一资源使用命令与第一资源管理系统的命令行模板匹配；处理模块42，用于若HPC设备采用第二资源管理系统执行任务，则将第一作业消息转换为与第二资源管理系统匹配的第二作业消息，所述第二作业消息包括第二资源使用命令、与所述第二资源使用命令对应的所述参数值和所述作业脚本信息；所述第二资源使用命令与所述第二资源管理系统的命令行模板匹配；发送模块43，用于将所述第二作业消息发送给所述HPC设备，以使所述HPC设备调用所述第二资源管理系统，基于所述第二资源使用命令和所述参数值为所述第二作业消息分配资源，并执行与所述作业脚本信息对应的任务。

所述接收模块41，还用于接收所述HPC设备发送的第一响应消息，所述第一响应消息包括与所述第二资源管理系统的命令行模板匹配的任务结果命令；

所述处理模块42，还用于将所述第一响应消息转换为第二响应消息，第二响应消息包括与所述第一资源管理系统的命令行模板匹配的任务结果命令；

所述发送模块43，还用于将所述第二响应消息发送给所述客户端。

所述处理模块42，还用于记录所述第一作业消息的作业标识与所述第一资源管理系统的类型之间的第一映射关系；所述处理模块42将所述第一响应消息转换为第二响应消息时具体用于：通过第一响应消息的作业标识查询所述第一映射关系，得到与第一响应消息的作业标识对应的第一资源管理系统的类型；将第一响应消息转换为与所述第一资源管理系统的类型对应的第二响应消息。

在一种可能的实施方式中，所述处理模块42，还用于记录所述第一作业消息的作业标识与所述客户端的IP地址之间的第二映射关系；所述发送模块43将所述第二响应消息发送给所述客户端时具体用于：通过所述第二响应消息的作业标识查询所述第二映射关系，得到与所述第二响应消息的作业标识对应的IP地址，并将所述第二响应消息发送给所述IP地址对应的客户端。

基于与上述方法同样的申请构思，本申请实施例中提出一种任务处理设备（如上述命令转义设备），参见图5所示，任务处理设备包括处理器51和机器可读存储介质52，所述机器可读存储介质52存储有能够被处理器51执行的机器可执行指令；所述处理器51用于执行机器可执行指令，以实现如下步骤：

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的任务处理方法。

其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM（Radom Access Memory，随机存取存储器）、易失存储器、非易失性存储器、闪存、存储驱动器（如硬盘驱动器）、固态硬盘、任何类型的存储盘（如光盘、dvd等），或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种任务处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，

所述将所述第二作业消息发送给所述HPC设备后，所述方法还包括：

接收所述HPC设备发送的第一响应消息，所述第一响应消息包括与所述第二资源管理系统的命令行模板匹配的任务结果命令；

将所述第一响应消息转换为第二响应消息，所述第二响应消息包括与所述第一资源管理系统的命令行模板匹配的任务结果命令；

将所述第二响应消息发送给所述客户端。

3.根据权利要求2所述的方法，其特征在于，所述接收客户端发送的与第一资源管理系统匹配的第一作业消息之后，所述方法还包括：记录所述第一作业消息的作业标识与所述第一资源管理系统的类型之间的第一映射关系；

所述将所述第一响应消息转换为第二响应消息，包括：

通过所述第一响应消息的作业标识查询所述第一映射关系，得到与所述第一响应消息的作业标识对应的第一资源管理系统的类型；将所述第一响应消息转换为与所述第一资源管理系统的类型对应的所述第二响应消息。

4.根据权利要求2所述的方法，其特征在于，所述接收客户端发送的与第一资源管理系统匹配的第一作业消息之后，所述方法还包括：记录所述第一作业消息的作业标识与所述客户端的IP地址之间的第二映射关系；

所述将所述第二响应消息发送给所述客户端，包括：通过所述第二响应消息的作业标识查询所述第二映射关系，得到与所述第二响应消息的作业标识对应的IP地址，并将所述第二响应消息发送给所述IP地址对应的客户端。

5.根据权利要求1所述的方法，其特征在于，所述接收客户端发送的与第一资源管理系统匹配的第一作业消息之后，还包括：若HPC设备采用第一资源管理系统执行任务，则将所述第一作业消息发送给所述HPC设备，以使所述HPC设备调用所述第一资源管理系统，基于所述第一资源使用命令和所述参数值为所述第一作业消息分配资源，并执行与所述作业脚本信息对应的任务。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从WEB页面解析出作业脚本信息和与资源使用命令对应的参数值；其中，所述作业脚本信息和所述参数值是用户在所述WEB页面输入的；

生成与所述第二资源管理系统匹配的第二作业消息，所述第二作业消息包括第二资源使用命令、解析出的所述参数值和解析出的所述作业脚本信息；

将所述第二作业消息发送给所述HPC设备。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述接收客户端发送的与第一资源管理系统匹配的第一作业消息之前，所述方法还包括：

针对任一类型的资源管理系统，收集该资源管理系统的资源使用命令，并基于该资源管理系统的资源使用命令获取该资源管理系统的命令行模板；其中，所述命令行模板包括该资源管理系统的资源使用命令；

该资源管理系统包括以下至少一种：SLURM资源管理系统、LSF资源管理系统、PBS资源管理系统、用户自定义资源管理系统。

8.根据权利要求1-6任一项所述的方法，其特征在于，

所述作业脚本信息包括作业脚本路径；

所述作业脚本用于实现任务提交、任务监控、任务操作中的至少一种。

9.一种任务处理装置，其特征在于，所述装置包括：

10.一种任务处理设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；

所述处理器用于执行机器可执行指令，以实现如下步骤：