CN113553166A - 一种跨平台高性能计算集成方法及系统 - Google Patents

一种跨平台高性能计算集成方法及系统 Download PDF

Info

Publication number
CN113553166A
CN113553166A CN202010336852.3A CN202010336852A CN113553166A CN 113553166 A CN113553166 A CN 113553166A CN 202010336852 A CN202010336852 A CN 202010336852A CN 113553166 A CN113553166 A CN 113553166A
Authority
CN
China
Prior art keywords
cluster
performance computing
request resources
lower layer
access instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010336852.3A
Other languages
English (en)
Inventor
李琳
肖凌
汤柱良
陈志夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202010336852.3A priority Critical patent/CN113553166A/zh
Publication of CN113553166A publication Critical patent/CN113553166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本发明提供一种跨平台高性能计算集成方法及系统，所述方法包括接收外部应用输入的高性能计算任务，所述高性能计算任务包括请求资源；根据所述请求资源，向各集群适配器分别查询各集群的所述请求资源的剩余情况，所述集群适配器与所述集群一一对应连接；根据各集群的所述请求资源的剩余数量和所述请求资源，向拥有剩余的所述请求资源的至少一个集群派发高性能计算任务。通过本发明，解决了使用多种高性能计算集群，则工程师需要花时间学习和使用多套高性能计算任务提交系统，同时更换高性能计算集群的成本也较高的问题。

Description

一种跨平台高性能计算集成方法及系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种跨平台高性能计算集成方法及系统。
背景技术
目前已有的高性能计算任务提交系统都是针对特定高性能计算集群开发的，如果企业使用多种高性能计算集群，则工程师需要花时间学习和使用多套高性能计算任务提交系统，同时企业更换高性能计算集群的成本也较高。
发明内容
本发明所要解决的技术问题在于，提供一种跨平台高性能计算集成方法及系统，用于解决使用多种高性能计算集群，则工程师需要花时间学习和使用多套高性能计算任务提交系统，同时更换高性能计算集群的成本也较高的问题。
本发明提供的一种跨平台高性能计算集成方法，所述方法包括：
接收外部应用输入的高性能计算任务，所述高性能计算任务包括请求资源；
根据所述请求资源，向各集群适配器分别查询各集群的所述请求资源的剩余数量，所述集群适配器与所述集群一一对应连接；
根据各集群的所述请求资源的剩余数量和所述请求资源，向拥有剩余的所述请求资源的至少一个集群派发高性能计算任务。
进一步地，根据各集群的所述请求资源的剩余数量和所述请求资源，向拥有剩余的所述请求资源的至少一个集群派发高性能计算任务包括：
根据各集群的所述请求资源的剩余数量和所述请求资源，确定集群号；
向所述集群号对应的集群适配器的上层接口发送上层访问指令，所述集群适配器包括所述上层接口和下层接口；
将所述上层访问指令转换为下层访问指令，发送到所述下层接口；
所述下层接口根据所述下层访问指令向对应的集群派发高性能计算任务。
进一步地，根据各集群的所述请求资源的剩余数量和所述请求资源，确定集群号具体由人工确定或者按照预设规则计算实现。
进一步地，所述下层访问指令调用对应的集群客户端软件。
本发明提供的一种跨平台高性能计算集成系统，所述系统包括应用接口层、多个集群适配器、与所述多个集群适配器对应的集群和执行模块，其中：
所述应用接口层，用于接收外部应用输入的高性能计算任务，所述高性能计算任务包括请求资源；并根据所述请求资源，向所述多个集群适配器查询集群的所述请求资源的剩余数量，所述集群适配器与所述集群一一对应连接；
所述多个集群适配器，用于从与所述多个集群适配器对应的集群获取集群的所述请求资源的剩余数量；
所述执行模块，用于根据各集群的所述请求资源的剩余数量和所述请求资源，向拥有剩余的所述请求资源的至少一个集群派发高性能计算任务。
进一步地，所述集群适配器包括上层接口和下层接口，其中：
所述执行模块具体用于根据各集群的所述请求资源的剩余数量和所述请求资源，确定集群号；并用于向所述集群号对应的集群适配器的上层接口发送上层访问指令；
所述上层接口用于将所述上层访问指令转换为下层访问指令，发送到所述下层接口；
所述下层接口用于根据所述下层访问指令向对应的集群派发高性能计算任务。
进一步地，所述执行模块由人工控制或者按照预设规则确定集群号。
进一步地，所述下层接口具体用于根据所述下层访问指令调用对应的集群客户端软件，向对应的集群派发高性能计算任务。
实施本发明，具有如下有益效果：
通过本发明，外部应用向应用接口平台发送高性能计算任务，应用接口平台向各集群查询请求资源的剩余数量，根据各集群上述请求资源剩余情况和分配规则决定向那些集群派发高性能计算任务，并据此通过集群适配器向下层接口调用对应的集群客户端软件，解决了目前已有的高性能计算任务提交系统都是针对特定高性能计算集群开发的，如果企业使用多种高性能计算集群，则工程师需要花时间学习和使用多套高性能计算任务提交系统，同时企业更换高性能计算集群的成本也较高的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的跨平台高性能计算集成方法的流程图。
图2是本发明实施例提供的跨平台高性能计算集成方法的实施环境拓扑图。
图3是本发明实施例提供的跨平台高性能计算集成系统的结构图。
具体实施方式
本专利中，利用集群适配器调用对应集群服务端软件，向各个集群派发高性能计算任务，以下结合附图和实施例对该具体实施方式做进一步说明。
如图1所示，本发明实施例提供了跨平台高性能计算集成方法，所述方法包括：
步骤S11、接收外部应用输入的高性能计算任务，所述高性能计算任务包括请求资源。
参照图2，本方法实施例中应用接口层21接收外部应用11输入的高性能计算任务，也就是外部应用11希望通过应用接口层21向一个或者多个集群调用计算资源、存储资源或者其他资源。
需要说明的是，这里请求资源包括请求资源类型和数量。
步骤S12、根据所述请求资源，向各集群适配器分别查询各集群的所述请求资源的剩余数量，所述集群适配器与所述集群一一对应连接。
参照图2，集群适配器包括集群适配器31、集群适配器32直到集群适配器3N，每一集群适配器对应一集群，分别对应的集群包括集群41、集群42直到集群4N。
以存储资源为例，向集群适配器31、集群适配器32直到集群适配器3N发送查询请求，分别得到集群41、集群42直至集群4N的存储资源的剩余数量。
S13、根据各集群的所述请求资源的剩余数量和所述请求资源，向拥有剩余的所述请求资源的至少一个集群派发高性能计算任务。
需要说明的是，本步骤目的了解哪些集群具有剩余的所述请求资源，例如剩余的存储资源，向至少一个拥有剩余的所述存储资源的集群派发高性能存储任务，当然也可以向多个集群派发高性能存储任务。
具体地，根据各集群的所述请求资源的剩余数量和所述请求资源，确定集群号具体由人工确定或者按照预设规则计算实现。
需要说明的是，人工确定也可以认为是人为根据请求资源的剩余数量，通过计算来输入集群号；当然也可以按照预设规则计算得到集群号，例如请求资源为存储资源200G，共4各集群包含存储资源1000G，集群1还剩余100G，集群2还剩余200G，集群3还剩余300G，集群4还剩余400G，预设规则为按比例承担请求资源，则按照比例集群1承担20G，集群2承担40G，集群3承担60G，集群4承担80G。
具体地，根据各集群的所述请求资源的剩余数量和所述请求资源，确定集群号；
向所述集群号对应的集群适配器的上层接口发送上层访问指令，所述集群适配器包括所述上层接口和下层接口；
将所述上层访问指令转换为下层访问指令，发送到所述下层接口；
所述下层接口根据所述下层访问指令向对应的集群派发高性能计算任务。
需要说明的是，这里确定集群号通过上面描述可以知道，可以是一个集群号，也可以是多个集群号。
还需要说明的是，上层访问指令很简单，只用说明请求资源类型和数量。
进一步地，所述下层访问指令调用对应的集群客户端软件。
通过集群适配器在下层接口调用对应的集群客户端软件，实现了对多个高性能计算集群的同时使用，工程师不用像现在一样需要学习各自的计算任务提交系统，而且可以快速在各个高性能计算集群中自由切换。
如图3所示，本发明实施例提供了跨平台高性能计算集成系统，所述系统包括应用接口层311、多个集群适配器312、与所述多个集群适配器对应的集群313和执行模块314，其中：
应用接口层311，用于接收外部应用输入的高性能计算任务，所述高性能计算任务包括请求资源；并根据所述请求资源，向所述多个集群适配器312查询集群的所述请求资源的剩余数量，所述集群适配器312与所述集群313一一对应连接；
多个集群适配器312，用于从与所述多个集群适配器312对应的集群313获取集群313的所述请求资源的剩余数量；
执行模块314，用于根据各集群313的所述请求资源的剩余数量和所述请求资源，向拥有剩余的所述请求资源的至少一个集群313派发高性能计算任务。
进一步地，所述集群适配器312包括上层接口315和下层接口316，其中：
所述执行模块314具体用于根据各集群的所述请求资源的剩余数量和所述请求资源，确定集群号；并用于向所述集群号对应的集群适配器312的上层接口315发送上层访问指令；
所述上层接口315用于将所述上层访问指令转换为下层访问指令，发送到所述下层接口316；
所述下层接口316用于根据所述下层访问指令向对应的集群313派发高性能计算任务。
进一步地，所述执行模块314由人工控制或者按照预设规则确定集群号。
进一步地，所述下层接口316具体用于根据所述下层访问指令调用对应的集群客户端软件，向对应的集群313派发高性能计算任务。
实施本发明，具有如下有益效果：
通过本发明，外部应用向应用接口平台发送高性能计算任务，应用接口平台向各集群查询请求资源的剩余数量，根据各集群上述请求资源剩余情况和分配规则决定向那些集群派发高性能计算任务，并据此通过集群适配器向下层接口调用对应的集群客户端软件，解决了目前已有的高性能计算任务提交系统都是针对特定高性能计算集群开发的，如果企业使用多种高性能计算集群，则工程师需要花时间学习和使用多套高性能计算任务提交系统，同时企业更换高性能计算集群的成本也较高的问题。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种跨平台高性能计算集成方法，其特征在于，所述方法包括：
S11、接收外部应用输入的高性能计算任务，所述高性能计算任务包括请求资源；
S12、根据所述请求资源，向各集群适配器分别查询各集群的所述请求资源的剩余数量，所述集群适配器与所述集群一一对应连接；
S13、根据各集群的所述请求资源的剩余数量和所述请求资源，向拥有剩余的所述请求资源的至少一个集群派发高性能计算任务。
2.如权利要求1所述方法，其特征在于，步骤S13具体包括：
根据各集群的所述请求资源的剩余数量和所述请求资源，确定集群号；
向所述集群号对应的集群适配器的上层接口发送上层访问指令，所述集群适配器包括所述上层接口和下层接口；
将所述上层访问指令转换为下层访问指令，发送到所述下层接口；
所述下层接口根据所述下层访问指令向对应的集群派发高性能计算任务。
3.如权利要求2所述方法，其特征在于，根据各集群的所述请求资源的剩余数量和所述请求资源，确定集群号具体由人工确定或者按照预设规则计算实现。
4.如权利要求2所述方法，其特征在于，所述下层访问指令调用对应的集群客户端软件。
5.一种跨平台高性能计算集成系统，其特征在于，所述系统包括应用接口层、多个集群适配器、与所述多个集群适配器对应的集群和执行模块，其中：
所述应用接口层，用于接收外部应用输入的高性能计算任务，所述高性能计算任务包括请求资源；并根据所述请求资源，向所述多个集群适配器查询集群的所述请求资源的剩余数量，所述集群适配器与所述集群一一对应连接；
所述多个集群适配器，用于从与所述多个集群适配器对应的集群获取集群的所述请求资源的剩余数量；
所述执行模块，用于根据各集群的所述请求资源的剩余数量和所述请求资源，向拥有剩余的所述请求资源的至少一个集群派发高性能计算任务。
6.如权利要求5所述系统，其特征在于，所述集群适配器包括上层接口和下层接口，其中：
所述执行模块具体用于根据各集群的所述请求资源的剩余数量和所述请求资源，确定集群号；并用于向所述集群号对应的集群适配器的上层接口发送上层访问指令；
所述上层接口用于将所述上层访问指令转换为下层访问指令，发送到所述下层接口；
所述下层接口用于根据所述下层访问指令向对应的集群派发高性能计算任务。
7.如权利要求6所述系统，其特征在于，所述执行模块由人工控制或者按照预设规则确定集群号。
8.如权利要求6所述系统，其特征在于，所述下层接口具体用于根据所述下层访问指令调用对应的集群客户端软件，向对应的集群派发高性能计算任务。
CN202010336852.3A 2020-04-26 2020-04-26 一种跨平台高性能计算集成方法及系统 Pending CN113553166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010336852.3A CN113553166A (zh) 2020-04-26 2020-04-26 一种跨平台高性能计算集成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010336852.3A CN113553166A (zh) 2020-04-26 2020-04-26 一种跨平台高性能计算集成方法及系统

Publications (1)

Publication Number Publication Date
CN113553166A true CN113553166A (zh) 2021-10-26

Family

ID=78129883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010336852.3A Pending CN113553166A (zh) 2020-04-26 2020-04-26 一种跨平台高性能计算集成方法及系统

Country Status (1)

Country Link
CN (1) CN113553166A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020035559A1 (en) * 2000-06-26 2002-03-21 Crowe William L. System and method for a decision engine and architecture for providing high-performance data querying operations
CN103593229A (zh) * 2013-11-26 2014-02-19 西安工程大学 异构云操作系统的集成与统一调度框架及调度方法
US20170078409A1 (en) * 2015-09-16 2017-03-16 Telefonaktiebolaget L M Ericsson (Publ) Systems and methods for decentralized service placement in a resource pool
CN107316124A (zh) * 2017-05-10 2017-11-03 中国航天系统科学与工程研究院 大数据环境下大规模事务型作业调度与处理通用平台
CN108289086A (zh) * 2017-01-10 2018-07-17 阿里巴巴集团控股有限公司 请求处理方法及装置、服务器
WO2019021114A1 (en) * 2017-07-26 2019-01-31 International Business Machines Corporation MANAGING FILES AND COGNITIVE OBJECTS FOR DISTRIBUTED MEMORY ENVIRONMENTS
CN109936471A (zh) * 2017-12-18 2019-06-25 北京图森未来科技有限公司 一种多集群的资源分配方法和装置
CN110134738A (zh) * 2019-05-21 2019-08-16 中国联合网络通信集团有限公司 分布式存储系统资源预估方法、装置
CN110636103A (zh) * 2019-07-22 2019-12-31 中山大学 一种多异构集群作业统一调度方法及api接口
CN110781007A (zh) * 2019-10-31 2020-02-11 广州市网星信息技术有限公司 任务处理方法、装置、服务器、客户端、系统和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020035559A1 (en) * 2000-06-26 2002-03-21 Crowe William L. System and method for a decision engine and architecture for providing high-performance data querying operations
CN103593229A (zh) * 2013-11-26 2014-02-19 西安工程大学 异构云操作系统的集成与统一调度框架及调度方法
US20170078409A1 (en) * 2015-09-16 2017-03-16 Telefonaktiebolaget L M Ericsson (Publ) Systems and methods for decentralized service placement in a resource pool
CN108289086A (zh) * 2017-01-10 2018-07-17 阿里巴巴集团控股有限公司 请求处理方法及装置、服务器
CN107316124A (zh) * 2017-05-10 2017-11-03 中国航天系统科学与工程研究院 大数据环境下大规模事务型作业调度与处理通用平台
WO2019021114A1 (en) * 2017-07-26 2019-01-31 International Business Machines Corporation MANAGING FILES AND COGNITIVE OBJECTS FOR DISTRIBUTED MEMORY ENVIRONMENTS
CN109936471A (zh) * 2017-12-18 2019-06-25 北京图森未来科技有限公司 一种多集群的资源分配方法和装置
CN110134738A (zh) * 2019-05-21 2019-08-16 中国联合网络通信集团有限公司 分布式存储系统资源预估方法、装置
CN110636103A (zh) * 2019-07-22 2019-12-31 中山大学 一种多异构集群作业统一调度方法及api接口
CN110781007A (zh) * 2019-10-31 2020-02-11 广州市网星信息技术有限公司 任务处理方法、装置、服务器、客户端、系统和存储介质

Similar Documents

Publication Publication Date Title
KR100383381B1 (ko) 제한된메모리컴퓨터시스템에서의클라이언트관리흐름제어를위한방법과장치
CN101951411A (zh) 云调度系统及方法以及多级云调度系统
CN101266557A (zh) 在客户机-服务器或主机环境中计算作业的多目标分配
CN104735095A (zh) 一种云计算平台作业调度方法及装置
CN102763086A (zh) 分布式计算任务处理系统和任务处理方法
CN100562850C (zh) 多处理器负载分配调整方法
CN103414767A (zh) 将应用软件部署在云计算平台上的方法和装置
CN112256414A (zh) 一种连接多种计算存储引擎的方法及系统
CN111309491A (zh) 一种作业协同处理方法及系统
US8250205B2 (en) Business process management system, method thereof, process management computer and program thereof
CN105827671A (zh) 分布式使用、集中管理的系统平台以及门户服务器
US7111063B1 (en) Distributed computer network having a rotating message delivery system suitable for use in load balancing and/or messaging failover
CN108737543B (zh) 一种分布式物联网中间件及工作方法
CN111158904A (zh) 一种任务调度方法、装置、服务器及介质
CN114327880A (zh) 一种轻代码异构分布式系统的计算方法
CN109347982A (zh) 一种数据中心的调度方法及装置
GB2604203A (en) Managing failures in edge computing environments
CN113553166A (zh) 一种跨平台高性能计算集成方法及系统
US11513858B2 (en) System for operating and method for arranging nodes thereof
US20040249942A1 (en) Mechanism for managing a distributed computing system
CN112346853A (zh) 用于分布应用的方法和设备
CN115098220A (zh) 基于容器线程管理技术的大规模网络节点拟真方法
CN113822485A (zh) 一种配电网调度任务优化方法及系统
CN117112121A (zh) 分布式任务处理系统、方法、装置及计算机程序产品
CN114237902A (zh) 一种服务部署方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination