CN107656741B - 一种高性能计算环境中使用应用封装的方法及其系统 - Google Patents

一种高性能计算环境中使用应用封装的方法及其系统 Download PDF

Info

Publication number
CN107656741B
CN107656741B CN201610592012.7A CN201610592012A CN107656741B CN 107656741 B CN107656741 B CN 107656741B CN 201610592012 A CN201610592012 A CN 201610592012A CN 107656741 B CN107656741 B CN 107656741B
Authority
CN
China
Prior art keywords
job
application
information
application software
executable file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610592012.7A
Other languages
English (en)
Other versions
CN107656741A (zh
Inventor
王小宁
肖海力
曹荣强
卢莎莎
武虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Computer Network Information Center of CAS
Original Assignee
Computer Network Information Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computer Network Information Center of CAS filed Critical Computer Network Information Center of CAS
Priority to CN201610592012.7A priority Critical patent/CN107656741B/zh
Publication of CN107656741A publication Critical patent/CN107656741A/zh
Application granted granted Critical
Publication of CN107656741B publication Critical patent/CN107656741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/61—Installation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Stored Programmes (AREA)

Abstract

本发明涉及一种在高性能计算环境中使用应用封装的方法及其装置，该方法包括：生成一个应用封装可执行文件；获取一个或多个高性能计算机的应用封装的基本信息；根据用户的作业描述请求，获取作业描述信息；在所述应用封装基本信息中匹配所述作业描述信息，得到所述作业描述信息对应的应用封装可执行文件；若匹配成功，对所述作业描述信息进行解析，并根据所述解析的结果，匹配的应用封装可执行文件和作业管理系统类型，生成作业提交脚本；向一个或多个所述高性能计算机发送所述作业提交脚本，完成作业提交。本申请能够屏蔽高性能计算环境上应用软件部署的异构性，为用户提供统一的使用环境。

Description

一种高性能计算环境中使用应用封装的方法及其系统
技术领域
本发明涉及计算机应用领域，尤其涉及一种高性能计算环境中使用应用封装的方法及其系统。
背景技术
高性能计算环境中不同的高性能计算机上应用安装版本不同，路径不同，执行环境设置方式不同。用户需要登录不同的系统，通过不同的调度软件，以多种不同的命令提交作业，过程繁琐。
因此，用户在使用时需要在高性能计算环境上屏蔽以上异构性，并以自动化手段提供环境部署的应用软件及相关版本信息，供用户了解、选择使用，以及各项数据统计使用。同时，实现用户作业请求的快速解析并转换为高性能计算机上可提交的作业执行脚本。
目前，如何实现上述方案成为亟待解决的问题。
发明内容
本申请的目的是针对现有技术存在的上述不足，提出了一种高性能计算环境中使用应用封装的方法及其系统。
本申请第一方面提供一种在高性能计算环境中使用应用封装的方法，所述方法包括：生成一个应用封装可执行文件；获取一个或多个高性能计算机的应用封装的基本信息；根据用户的作业描述请求，获取作业描述信息；在所述应用封装基本信息中匹配所述作业描述信息，得到所述作业描述信息对应的应用封装可执行文件；若匹配成功，对所述作业描述信息进行解析，并根据所述解析的结果，匹配的应用封装可执行文件和作业管理系统类型，生成作业提交脚本；向一个或多个所述高性能计算机发送所述作业提交脚本，完成作业提交。
在第一方面第一种可能实现的方式中，所述应用封装信息包括应用软件名称、应用软件版本号、应用软件不同版本对应的可用队列信息、应用封装可执行文件的系统路径。
在第一方面第二种可能实现的方式中，所述根据所述解析的结果，匹配的应用封装可执行文件和作业管理系统类型，生成作业提交脚本具体为：根据所述解析的结果，调用所述作业描述信息对应的所述应用封装可执行文件，获取所述作业执行的应用环境变量设置以及执行作业提交执行的命令和参数；并根据作业管理系统类型，生成所述高性能计算机的作业提交脚本。
在第一方面第三种可能实现的方式中，所述应用封装可执行文件至少接受如下参数语义：根据给定参数列出应用软件在高性能计算机的所有部署版本信息；根据给定参数列出指定版本的应用软件的描述信息；根据给定参数列出指定版本的应用软件允许使用的队列，主要针对某些应用软件专用队列；-根据给定参数列出指定版本的应用软件在高性能计算机上执行时的环境变量设置信息；根据给定参数列出指定版本的应用软件在作业提交时使用的命令；其中，所述命令可带路径和参数。
在第一方面第四种可能实现的方式中，所述作业描述信息以作业提交描述语言的格式进行描述。
本申请第二方面提供一种在高性能计算环境中使用应用封装的系统，所述系统包括基本信息收集单元、作业描述单元、作业调度器单元、应用封装与解析单元以及一个或多个高性能计算机；其中，所述应用封装与解析单元，生成一个应用封装可执行文件；所述基本信息收集单元，用于获取一个或多个所述高性能计算机的应用封装信息；所述作业描述单元，用于根据用户的作业描述请求，获取作业描述信息；所述作业调度器单元，用于在所述应用封装基本信息中匹配所述作业描述信息，得到所述作业描述信息对应的应用封装可执行文件；所述应用封装与解析单元，若匹配成功，用于对所述作业描述信息进行解析，并根据所述解析的结果，匹配的应用封装可执行文件和作业管理系统类型，生成作业提交脚本；一个或多个所述高性能计算机，用于接收所述应用封装与解析单元发送的作业提交脚本，并执行作业提交。
在第二方面第一种可能的实现方式中，所述应用封装信息包括应用软件名称、应用软件版本号、应用软件不同版本对应的可用队列信息以及应用封装可执行文件的系统路径。
在第二方面第二种可能的实现方式中，所述根据所述解析的结果，匹配的应用封装可执行文件和作业管理系统类型，生成作业提交脚本具体为：所述应用封装与解析单元根据所述解析的结果，调用所述作业描述信息对应的所述应用封装可执行文件，获取所述作业执行的应用环境变量设置以及执行作业提交执行的命令和参数；并根据作业管理系统类型，生成一个或多个所述高性能计算机的作业提交脚本。
在第二方面第三种可能的实现方式中，所述应用封装可执行文件至少接受如下参数语义：根据给定参数列出应用软件在高性能计算机的所有部署版本信息；根据给定参数列出指定版本的应用软件的描述信息；根据给定参数列出指定版本的应用软件允许使用的队列，主要针对某些应用软件专用队列；-根据给定参数列出指定版本的应用软件在高性能计算机上执行时的环境变量设置信息；根据给定参数列出指定版本的应用软件在作业提交时使用的命令；其中，所述命令可带路径和参数。
在第二方面第四种可能的实现方式中，所述作业描述信息以作业提交描述语言的格式进行描述。
本申请能够屏蔽高性能计算环境上应用软件部署的异构性，为用户提供统一的使用环境。
附图说明
为了更清楚说明本发明实施例的技术方案，下面将对实施例描述中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种高性能计算环境中使用应用封装系统结构示意图；
图2为本发明实施例提供的一种高性能计算环境中应用封装的方法流程图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
下面以图1为例，对本发明实施例的一种高性能计算环境中使用应用封装的系统进行详细说明。
图1为本发明实施例提供的一种高性能计算环境中使用应用封装系统结构示意图。如图1所示，所述系统包括基本信息收集单元、作业描述单元、作业调度器单元、应用封装与解析单元以及一个或多个高性能计算机。
具体地，所述应用封装与解析单元，生成一个应用封装可执行文件；所述基本信息收集单元获取一个或多个所述高性能计算机的应用封装的基本信息；所述作业描述单元根据用户的作业描述请求，获取作业描述信息；所述作业调度器单元在所述应用封装基本信息中匹配所述作业描述信息，得到所述作业描述信息对应的应用封装可执行文件；若匹配成功，所述应用封装与解析单元对所述作业描述信息进行解析，并根据所述解析的结果，匹配的对应的应用封装可执行文件和作业管理系统类型，生成作业提交脚本；一个或多个所述高性能计算机接收所述应用封装与解析单元发送的作业提交脚本，并执行作业提交。
应用封装的基本信息包括应用软件名称、应用软件版本号、应用软件不同版本对应的可用队列信息、应用封装可执行文件的系统路径。应用基本封装信息通过执行汇报命令，以安全远程访问协议SSH(Secure Shell)传输请求汇总到系统的基本信息收集单元。
作业调度器单元向基本信息收集单元获取应用部署基本信息，所述应用部署基本信息是根据调度策略调度，在作业调度器单元接受到JSDL格式的作业描述处理请求时，根据请求的应用名称、版本、集群、队列、并行核数等信息，在基本信息收集单元中匹配合适的资源，确定提交的集群和队列信息。
需要说明的是，本发明实施例中，应用封装以可执行文件形式存在，一个可执行文件是一个高性能计算机上的一种应用软件的封装信息；且可执行文件命名以应用软件名称命名。
在上述系统中，所述根据所述解析的结果，匹配的应用封装可执行文件和作业管理系统类型，生成作业提交脚本具体为：所述应用封装与解析单元根据所述解析的结果，调用所述作业描述信息对应的所述应用封装可执行文件，获取所述作业执行的应用环境变量设置以及执行作业提交执行的命令和参数；并根据作业管理系统类型，生成一个或多个所述高性能计算机的作业提交脚本。
在上述系统中，所述应用封装可执行文件至少接受如下参数语义：根据给定参数列出应用软件在高性能计算机的所有部署版本信息；根据给定参数列出指定版本的应用软件的描述信息；根据给定参数列出指定版本的应用软件允许使用的队列，主要针对某些应用软件专用队列；根据给定参数列出指定版本的应用软件在高性能计算机上执行时的环境变量设置信息；根据给定参数列出指定版本的应用软件在作业提交时使用的命令；其中，所述命令可带路径和参数。
具体地，所述作业描述信息以作业提交描述语言的格式进行描述。
需要说明的是，作业提交描述语言JSDL(Job submission Descriptionlanguage)是为了统一作业的描述方式。
下面以图2为例，对本发明实施例的一种高性能计算环境中使用应用封装的方法进行详细说明。
图2为本发明实施例提供的一种高性能计算环境中应用封装的方法流程图。如图2所示，该方法包括步骤S201-S205：
S201，生成一个应用封装可执行文件；
S202，获取一个或多个高性能计算机的应用封装的基本信息。
所述应用封装信息包括应用软件名称、应用软件版本号、应用软件不同版本对应的可用队列信息、执行应用软件时的环境变量以及执行作业提交执行的命令和参数。
S203，根据用户的作业描述请求，获取作业描述信息。
所述作业描述信息以作业提交描述语言的格式进行描述。
S204，在所述应用封装基本信息中匹配所述作业描述信息，得到所述作业描述信息对应的应用封装可执行文件。
所述应用封装可执行文件至少接受如下参数语义：根据给定参数列出应用软件在高性能计算机的所有部署版本信息；根据给定参数列出指定版本的应用软件的描述信息；根据给定参数列出指定版本的应用软件允许使用的队列，主要针对某些应用软件专用队列；根据给定参数列出指定版本的应用软件在高性能计算机上执行时的环境变量设置信息；根据给定参数列出指定版本的应用软件在作业提交时使用的命令；其中，所述命令可带路径和参数。
S205，若匹配成功，对所述作业描述信息进行解析，并根据所述解析的结果，匹配的应用封装可执行文件和作业管理系统类型，生成作业提交脚本。
所述根据所述解析的结果，匹配的应用封装可执行文件和作业管理系统类型，生成脚本具体为：根据所述解析的结果，调用所述作业描述信息对应的所述应用封装可执行文件，获取所述作业执行的应用环境变量设置以及执行作业提交执行的命令和参数；并根据作业管理系统类型，生成所述一个或多个高性能计算机的提交脚本。
对JSDL格式的作业描述信息进行解析后，得到作业请求的应用软件名称、版本号等；应用封装与解析单元调用该应用软件名称和版本号所对应的应用封装可执行文件。
S206，向一个或多个所述高性能计算机发送所述作业提交脚本，完成作业提交。
本申请能够屏蔽高性能计算环境上的异构性，为用户提供统一的使用环境。
以上所述的具体实施方式，对本发明的目的、技术方案和有益结果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种在高性能计算环境中使用应用封装的方法，其特征在于，所述方法包括：
生成一个应用封装可执行文件；所述应用封装可执行文件至少接受如下参数语义：根据给定参数列出应用软件在高性能计算机的所有部署版本信息；根据给定参数列出指定版本的应用软件的描述信息；根据给定参数列出指定版本的应用软件允许使用的队列，主要针对某些应用软件专用队列；根据给定参数列出指定版本的应用软件在高性能计算机上执行时的环境变量设置信息；根据给定参数列出指定版本的应用软件在作业提交时使用的命令；其中，所述命令可带路径和参数；
获取一个或多个高性能计算机的应用封装的基本信息；
根据用户的作业描述请求，获取作业描述信息；
在所述应用封装基本信息中匹配所述作业描述信息，得到所述作业描述信息对应的应用封装可执行文件；
若匹配成功，对所述作业描述信息进行解析，并根据所述解析的结果，匹配的应用封装可执行文件和作业管理系统类型，生成作业提交脚本；包括:根据所述解析的结果，调用所述作业描述信息对应的所述应用封装可执行文件，获取所述作业执行的应用环境变量设置以及执行作业提交执行的命令和参数；并根据作业管理系统类型，生成一个或多个所述高性能计算机的作业提交脚本；
向所述一个或多个高性能计算机发送所述作业提交脚本，完成作业提交。
2.根据权利要求1所述的方法，其特征在于，所述应用封装的基本信息包括应用软件名称、应用软件版本号、应用软件不同版本对应的可用队列信息以及应用封装可执行文件的访问路径。
3.根据权利要求1所述的方法，其特征在于，所述作业描述信息以作业提交描述语言的格式进行描述。
4.一种在高性能计算环境中使用应用封装的系统，其特征在于，所述系统包括基本信息收集单元、作业描述单元、作业调度器单元、应用封装与解析单元以及一个或多个高性能计算机；其中，
所述应用封装与解析单元，用于生成一个应用封装可执行文件；所述应用封装可执行文件至少接受如下参数语义：根据给定参数列出应用软件在高性能计算机的所有部署版本信息；根据给定参数列出指定版本的应用软件的描述信息；根据给定参数列出指定版本的应用软件允许使用的队列，主要针对某些应用软件专用队列；根据给定参数列出指定版本的应用软件在高性能计算机上执行时的环境变量设置信息；根据给定参数列出指定版本的应用软件在作业提交时使用的命令；其中，所述命令可带路径和参数；
所述基本信息收集单元，用于获取一个或多个所述高性能计算机的应用封装的基本信息；
所述作业描述单元，用于根据用户的作业描述请求，获取作业描述信息；
所述作业调度器单元，用于在所述应用封装的基本信息中匹配所述作业描述信息，得到所述作业描述信息对应的应用封装可执行文件；
所述应用封装与解析单元，若匹配成功，用于对所述作业描述信息进行解析，并根据所述解析的结果，匹配的应用封装可执行文件和作业管理系统类型，生成作业提交脚本；包括:根据所述解析的结果，调用所述作业描述信息对应的所述应用封装可执行文件，获取所述作业执行的应用环境变量设置以及执行作业提交执行的命令和参数；并根据作业管理系统类型，生成一个或多个所述高性能计算机的作业提交脚本；
所述一个或多个高性能计算机，用于接收所述应用封装与解析单元发送的作业提交脚本，并执行作业提交。
5.根据权利要求4所述的系统，其特征在于，所述应用封装的基本信息包括应用软件名称、应用软件版本号、应用软件不同版本对应的可用队列信息以及应用封装可执行文件的系统路径。
6.根据权利要求4所述的系统，其特征在于，所述作业描述信息以作业提交描述语言的格式进行描述。
CN201610592012.7A 2016-07-25 2016-07-25 一种高性能计算环境中使用应用封装的方法及其系统 Active CN107656741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610592012.7A CN107656741B (zh) 2016-07-25 2016-07-25 一种高性能计算环境中使用应用封装的方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610592012.7A CN107656741B (zh) 2016-07-25 2016-07-25 一种高性能计算环境中使用应用封装的方法及其系统

Publications (2)

Publication Number Publication Date
CN107656741A CN107656741A (zh) 2018-02-02
CN107656741B true CN107656741B (zh) 2020-07-28

Family

ID=61126960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610592012.7A Active CN107656741B (zh) 2016-07-25 2016-07-25 一种高性能计算环境中使用应用封装的方法及其系统

Country Status (1)

Country Link
CN (1) CN107656741B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363843B (zh) * 2020-12-07 2021-04-27 新华三技术有限公司 任务处理方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1790275A (zh) * 2005-12-26 2006-06-21 北京航空航天大学 服务网格调度器及调度作业的方法
CN101876895A (zh) * 2009-04-28 2010-11-03 中国科学院计算技术研究所 网格计算环境下应用软件的封装集成方法
CN103294874A (zh) * 2013-06-27 2013-09-11 曙光信息产业(北京)有限公司 用于电磁仿真计算系统FEKO的Web服务封装方法以及系统
US8621419B2 (en) * 2003-06-27 2013-12-31 At&T Intellectual Property I, L.P. Automating the life cycle of a distributed computing application

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8621419B2 (en) * 2003-06-27 2013-12-31 At&T Intellectual Property I, L.P. Automating the life cycle of a distributed computing application
CN1790275A (zh) * 2005-12-26 2006-06-21 北京航空航天大学 服务网格调度器及调度作业的方法
CN101876895A (zh) * 2009-04-28 2010-11-03 中国科学院计算技术研究所 网格计算环境下应用软件的封装集成方法
CN103294874A (zh) * 2013-06-27 2013-09-11 曙光信息产业(北京)有限公司 用于电磁仿真计算系统FEKO的Web服务封装方法以及系统

Also Published As

Publication number Publication date
CN107656741A (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
CN111083225B (zh) 在物联网平台中的数据处理方法、装置及物联网平台
CN107729139B (zh) 一种并发获取资源的方法和装置
US20190391841A1 (en) Execution of auxiliary functions in an on-demand network code execution system
CN107105009B (zh) 基于Kubernetes系统对接工作流引擎的作业调度方法和装置
JP2022013649A (ja) Ｄａｇインタラクションに基づくストリーミングコンピューティング方法及び装置
KR20180054805A (ko) 단말기 애플리케이션을 로딩하기 위한 방법 및 장치
CN107643889B (zh) 基于模板引擎的页面渲染方法和装置
US20230342191A1 (en) Task Scheduling Method and System
CN107977260B (zh) 任务提交方法及装置
US20170109415A1 (en) Platform and software framework for data intensive applications in the cloud
US11934287B2 (en) Method, electronic device and computer program product for processing data
CN113971110A (zh) 接口测试方法、装置、设备与计算机可读存储介质
US20220179711A1 (en) Method For Platform-Based Scheduling Of Job Flow
CN111679886A (zh) 异构计算资源调度方法、系统、电子设备及存储介质
CN110674083A (zh) 工作流迁移方法、装置、设备及计算机可读存储介质
US8984124B2 (en) System and method for adaptive data monitoring
CN115454629A (zh) 基于云原生技术的ai算法与微服务调度方法及其装置
US9996344B2 (en) Customized runtime environment
CN111752820B (zh) gRPC接口的压力测试方法、计算机设备和存储介质
CN107656741B (zh) 一种高性能计算环境中使用应用封装的方法及其系统
CN113179269B (zh) 基于物联网的协议数据解析方法、系统、介质
CN112307046A (zh) 数据采集方法和装置、计算机可读存储介质、电子设备
CN110874278A (zh) 外部系统的嵌入方法、工作流系统、设备及存储介质
CN115237399A (zh) 用于采集数据的方法、存储介质、处理器及工程车辆
CN113849287A (zh) 算法服务的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant