CN101599026A - 一种具有弹性架构的集群作业调度系统 - Google Patents
一种具有弹性架构的集群作业调度系统 Download PDFInfo
- Publication number
- CN101599026A CN101599026A CNA2009100171150A CN200910017115A CN101599026A CN 101599026 A CN101599026 A CN 101599026A CN A2009100171150 A CNA2009100171150 A CN A2009100171150A CN 200910017115 A CN200910017115 A CN 200910017115A CN 101599026 A CN101599026 A CN 101599026A
- Authority
- CN
- China
- Prior art keywords
- cluster
- management module
- scheduler
- scheduling
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 claims abstract description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 238000009472 formulation Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 34
- 238000000034 method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000008520 organization Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种具有弹性架构的集群作业调度系统，本作业调度系统采用B/S结构，客户端通过web浏览器即可方便地实现作业的提交和管理，为多集群上作业的管理提供了单一的系统映像。系统结构包括：调度器管理模块、资源管理模块、作业管理模块、应用管理模块和策略管理模块，调度器管理模块可以在集群间和集群内部建立不同的调度器，每个调度器选择使用的调度策略可以各不相同，作业管理模块根据作业的应用属性，从应用管理模块中获得相应应用的配置和应用运行命令，当作业提交时，自动生成作业运行脚本，为作业调度提供了灵活的调度机制，方便用户使用。
Description
技术领域
本发明涉及计算机领域，具体涉及高性能计算集群中一种具有弹性体系架构的作业调度系统，尤其涉及一种支持多集群间作业调度的方法。
技术背景
随着计算机技术的发展，高性能计算在科学研究和工程技术中的作用越来越重要。在各个科学计算领域，都存在着相应的科学计算软件，用来辅助用户进行问题求解。但这些软件所面临的一个共同问题是，用户必须登录到集群系统上才能使用相应的软件，创建作业，提交作业。这就增加了用户使用软件的难度，降低了工作效率。此外，大部分高性能集群的操作系统都是Linux或Unix，用户要想使用某个科学计算软件必须首先学会使用Linux或Unix，极大的增加了用户的负担。目前市场上的同类作业调度系统产品主要有Platform MultiCluster。存在的不足是产品价格昂贵，集群内部的调度器只能是Platform LSF，而不支持其它集群调度器，无法为用户提供统一的图形界面和进行远程作业管理以及满足科学计算软件进行问题求解。
发明内容
本发明的目的是提供一种具有弹性架构的集群作业调度系统，作业调度系统是B/S架构的，为用户提供统一的图形界面和进行远程作业管理以及使用科学计算软件进行问题求解。系统同时支持在集群间建立调度器，支持多集群的调度，集群内部调度器支持OpenPBS、MAUI，并且可以扩展。
本发明要解决的问题是用户可以通过web提交作业，使用科学计算软件求解并且支持在集群间和集群内部建立不同的调度器，支持多集群以及大规模集群时的作业调度。本发明的系统还提供应用管理功能，自动生成作业运行时与应用相关的运行脚本。
本发明的作业调度系统，包括调度器管理模块，策略管理模块，资源管理模块，作业管理模块，应用管理模块。调度器管理模块与策略管理模块、资源管理模块、作业管理模块相连，作业管理模块又与应用管理模块和资源管理模块相连，五模块共同协作完成作业的调度。如图1所示。
调度器管理模块负责创建调度器，控制调度器的状态，在集群间和集群内部建立的调度器是不同的。集群间的调度器是应用调度器，负责将作业按照作业的应用属性分配到具有该应用的集群上，即将任务提交给具有某个应用属性的队列里。集群内部调度器负责按用户设定的调度策略调度在该集群队列中的任务。当大规模集群时，可以通过把这个大集群划分成小集群，扩展集群内调度器，降低一个调度器时的调度负载和通讯负载，来支持大规模的集群应用。
策略管理模块负责调度策略的制定，在本发明的系统中包含作业的调度策略和资源的调度策略。其中作业的调度策略，包括优先级、资源公平共享、资源需求的策略，并允许用户自定义调度策略；资源的调度策略包括CPU负载低优先，资源先空闲先使用，最小满足需求的资源优先策略。调度器需要选择要使用的调度策略，这些调度策略可以相同，也可以不同。资源管理模块，负责包括集群、功能池、节点的管理，其中节点的管理包括收集节点的静态信息、负载信息；静态信息包括，按核计算的CPU个数，CPU类型，内存大小，磁盘容量；负载信息包括CPU利用率、内存利用率、磁盘利用率。调度器需要根据资源管理模块提供的信息进行调度。
作业管理模块，负责作业的提交、修改、删除、重启、挂起、退出、强制执行，作业管理模块与资源管理模块和应用管理模块相连。作业创建时，可以选择提交的集群和节点，这些集群和节点是资源管理模块提供的；作业创建时时有一个应用属性，选择某一应用后，填写这个应用相关的参数配置，当作业提交时根据该应用的运行命令和参数配置信息，自动生成作业运行脚本，根据应用配置自动生成运行脚本的流程图，如图2所示。应用相关的参数和应用运行命令都是应用管理模块提供的，应用管理模块负责应用的添加、删除，应用添加时，用户界面中提示，填写应用名称，添加应用运行的命令，添加应用描述，添加应用参数的格式，添加应用参数。应用添加的流程图如例图3所示。
本发明的有益效果是：为用户提供web界面，使各科学应用领域(如数学、化学、生物、物理、气象、工业制造等)的研究人员、专家能够以图形化的方式便捷的查看集群系统中可用的软硬件资源，并通过简单的填写和选择参数提交作业，在优秀的作业调度器的管理下，实现对各领域专业应用软件及系统计算资源的使用。本发明支持多集群间调度，通过集群系统的共享，可以解决用户对计算资源的需求问题，让用户同时使用更多的硬件资源来解决同一个问题，从而加快问题求解的规模和速度，一定程度上缓解某些用户计算能力紧张的局面。采用B/S结构，符合作业调度系统的发展趋势，客户端不依赖于操作系统平台，通过Web浏览器即可方便地对作业进行管理，为单集群和多集群上作业的管理提供了单一的系统映像。
附图说明
附图1系统基本结构示意图；
附件2根据应用配置自动生成运行脚本的流程图；
附图3应用管理中添加应用的流程图；
附图4小规模集群时作业系统架构图；
附图5大规模集群时作业系统架构图；
附图6多集群时作业系统架构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清晰，下面结合附图和实施例，对小规模集群、大规模集群、多集群时的作业系统架构和作业提交的流程进行详细说明。
为小规模集群时作业系统架构图如附图4所示，小规模集群时，WebServer、Scheduler and Manager部署在一台服务器上，启动WebServer和SchedulerandManager的进程以及各Node上的Agent，用户通过WebServer的用户接口创建作业、提交作业，作业进入SchedulerandManager的进程所管理的队列等待调度，SchedulerandManager通过各Node上Agent查看各Node的资源使用情况，执行调度策略，决定某个作业的运行情况。
为大规模集群时作业系统架构图如附图5所示，大规模集群时，集群内部将扩展多个SchedulerandManager，每个SchedulerandManager管理和调度其所辖节点。WebServer、Scheduler and Manager分别部署在不同的服务器上，这样扩展的Scheduler and Manager，分担作业的管理，降低单个SchedulerandManager时的调度任务，以降低通信瓶颈。启动WebServer和各个SchedulerandManager的进程以及各Node上的Agent，用户通过WebServer的用户接口创建作业、提交作业，在创建作业时用户可以指定作业调度的SchedulerandManager，如果不指定，系统根据简单的轮询原则，将提交的作业依次分配给各SchedulerandManager，分配的作业进入相应SchedulerandManager所管理的队列等待调度，SchedulerandManager根据其所辖Node上的资源使用情况，执行调度策略，确定其队列中某个作业的运行情况。各SchedulerandManager的调度独立进行，每个SchedulerandManager的调度策略可以不同，用户可以根据需要设定。
为多集群时作业系统架构图如附图6所示，多集群时，增加集群间SchedulerandManager，负责集群间的调度和管理，每个集群内部有各自的SchedulerandManager，负责集群内部节点的管理和调度。WebServer、集群间的SchedulerandManager可以部署在同一台服务器上，启动WebServer和集群间SchedulerandManager进程，以及各集群内部的SchedulerandManager和所有Node上的Agent，用户通过WebServer的用户接口创建作业、提交作业，作业进入集群间SchedulerandManager的进程所管理的队列等待调度，如果指定运行该作业的cluster，作业就直接进入该cluster的内部调度器，如果没有指定运行该作业的cluster，则集群间SchedulerandManager，根据作业的应用属性选择当前任务最少的cluster作为运行该作业的cluster。作业进入集群内部后，将被集群内部的SchedulerandManager进行管理和调度。
本发明的具有弹性架构的作业调度系统采用B/S架构，用户通过浏览器，可以方便快捷的进行作业管理。由于本体系结构中允许在集群间和集群内部支持多个调度器，当集群规模小，作业调度规则要求单一时，就可以采用一个调度器的方式进行调度，减少管理负责度；当大规模集群时，在集群内部扩展调度器，降低一个调度器时的调度负载和通讯负载，解决单点瓶颈问题；当多集群时，增加集群间的调度器，负责将作业分配到某个集群上，然后再利用集群内部调度器进行调度，解决多集群调度问题。当集群规模较大时或者要求集群内部节点使用不同作业调度规则时，可以使用多个调度器进行调度。当多个集群间进行作业调度时，可以在集群间添加一个调度器，将作业先分配到集群上，然后再在集群内部进行调度。因此本体系架构可以满足多集群作业调度和单集群规模较大时的作业调度。由此可见，本发明的系统具有很好的可扩展性，较广适用范围。
Claims (3)
1、一种具有弹性架构的集群作业调度系统，其特征在于，系统采用B/S结构，客户端通过浏览器远程实现作业的提交和管理；系统允许在集群间和集群内部建立不同的调度器，每个调度器选择使用的调度策略相同或不同，作业提交时根据其应用属性，自动生成该应用的配置和运行脚本，当集群规模小，作业调度规则要求单一时，采用一个调度器的方式进行调度，当集群规模较大时或者要求集群内部节点使用不同作业调度规则时，扩展多个调度器进行调度，用户根据需要为不同的调度器选择不同的调度规则；
作业调度系统包括调度器管理模块，策略管理模块、资源管理模块、作业管理模块和应用管理模块，其中调度器管理模块与策略管理模块、资源管理模块、作业管理模块相连，作业管理模块又与应用管理模块和资源管理模块相连，五模块共同协作完成作业的调度；
调度器管理模块负责创建调度器，控制调度器的状态，在集群间和集群内部建立的调度器是不同的，集群间的调度器是应用调度器，负责将作业按照作业的应用属性分配到具有该应用的集群上，即将任务提交给具有某个应用属性的队列里，集群内部调度器负责按用户设定的调度策略调度在该集群队列中的任务，当大规模集群时，通过把这个大集群划分成小集群，扩展集群内调度器，降低一个调度器时的调度负载和通讯负载，来支持大规模的集群应用；
策略管理模块负责调度策略的制定，系统中包含作业的调度策略和资源的调度策略，其中作业的调度策略包括优先级、资源公平共享、资源需求的策略，并允许用户自定义调度策略；资源的调度策略包括CPU负载低优先，资源先空闲先使用，最小满足需求的资源优先策略；调度器需要选择要使用的调度策略，这些调度策略相同或不同；
资源管理模块负责包括集群、功能池、节点的管理，其中节点的管理包括收集节点的静态信息、负载信息；静态信息包括，按核计算的CPU个数，CPU类型，内存大小，磁盘容量；负载信息包括CPU利用率、内存利用率、磁盘利用率，调度器需要根据资源管理模块提供的信息进行调度；
作业管理模块负责作业的提交、修改、删除、重启、挂起、退出、强制执行，作业管理模块与资源管理模块和应用管理模块相连，作业创建时，选择提交的集群和节点，这些集群和节点是资源管理模块提供的；作业创建时时有一个应用属性，选择某一应用后，填写这个应用相关的参数配置，当作业提交时根据该应用的运行命令和参数配置信息，自动生成作业运行脚本，应用相关的参数和应用运行命令都是应用管理模块提供的，应用管理模块负责应用的添加、删除，应用添加时，用户界面中提示，填写应用名称，添加应用运行的命令，添加应用描述，添加应用参数的格式，添加应用参数。
2、根据权利要求1所描述的系统，其特征在于，当多个集群间进行作业调度时，在集群间添加一个调度器，通过该调度器将作业先分配到集群上，然后再利用集群内部的调度器在集群内部进行调度。
3、根据权利要求1所描述的系统，其特征在于，该系统中的作业有一个应用属性，作业提交时，从应用管理模块中获得该应用的配置和应用运行命令，当作业提交时，自动生成方便用户使用的作业运行脚本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2009100171150A CN101599026A (zh) | 2009-07-09 | 2009-07-09 | 一种具有弹性架构的集群作业调度系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2009100171150A CN101599026A (zh) | 2009-07-09 | 2009-07-09 | 一种具有弹性架构的集群作业调度系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101599026A true CN101599026A (zh) | 2009-12-09 |
Family
ID=41420481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2009100171150A Pending CN101599026A (zh) | 2009-07-09 | 2009-07-09 | 一种具有弹性架构的集群作业调度系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101599026A (zh) |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916209A (zh) * | 2010-08-06 | 2010-12-15 | 华东交通大学 | 一种多核处理器集群任务资源分配方法 |
| CN102012891A (zh) * | 2010-11-18 | 2011-04-13 | 浪潮(北京)电子信息产业有限公司 | 计算机集群管理方法、装置和系统 |
| CN102521024A (zh) * | 2011-11-23 | 2012-06-27 | 北京市计算中心 | 基于生物信息云平台的作业调度方法 |
| CN102685130A (zh) * | 2012-05-10 | 2012-09-19 | 苏州阔地网络科技有限公司 | 一种云会议的调度控制方法及系统 |
| CN102685228A (zh) * | 2012-05-10 | 2012-09-19 | 苏州阔地网络科技有限公司 | 一种云会议的消息处理方法及系统 |
| CN103207814A (zh) * | 2012-12-27 | 2013-07-17 | 北京仿真中心 | 一种去中心化的跨集群资源管理与任务调度系统与调度方法 |
| CN103294484A (zh) * | 2013-06-27 | 2013-09-11 | 曙光信息产业(北京)有限公司 | 用于fluent计算程序的处理方法 |
| CN103294485A (zh) * | 2013-06-27 | 2013-09-11 | 曙光信息产业(北京)有限公司 | 用于ABINIT并行计算系统的Web服务封装方法以及系统 |
| CN103294481A (zh) * | 2013-06-27 | 2013-09-11 | 曙光信息产业(北京)有限公司 | 用于cst计算程序的处理方法 |
| CN103294483A (zh) * | 2013-06-27 | 2013-09-11 | 曙光信息产业(北京)有限公司 | 用于gromacs计算程序的处理方法 |
| CN103309735A (zh) * | 2013-06-27 | 2013-09-18 | 曙光信息产业(北京)有限公司 | 用于charmm计算程序的处理方法 |
| CN103324524A (zh) * | 2013-06-27 | 2013-09-25 | 曙光信息产业(北京)有限公司 | 用于comsol multiphysics计算程序的处理方法 |
| CN103336689A (zh) * | 2013-06-27 | 2013-10-02 | 曙光信息产业(北京)有限公司 | 用于全球环境和安全监测系统gems计算程序的处理方法 |
| CN103713942A (zh) * | 2012-09-28 | 2014-04-09 | 腾讯科技（深圳）有限公司 | 在集群中调度运行分布式计算框架的方法和系统 |
| CN103744734A (zh) * | 2013-12-24 | 2014-04-23 | 中国科学院深圳先进技术研究院 | 一种任务作业处理方法、装置及系统 |
| CN103810046A (zh) * | 2012-11-15 | 2014-05-21 | 百度在线网络技术（北京）有限公司 | 一种单机资源管理方法及系统 |
| CN104572306A (zh) * | 2015-01-28 | 2015-04-29 | 中国石油集团川庆钻探工程有限公司地球物理勘探公司 | 计算机集群的资源管理方法、资源管理器 |
| CN104769549A (zh) * | 2012-09-07 | 2015-07-08 | 微软公司 | 基于调度策略的智能数据分级移动 |
| CN105528054A (zh) * | 2015-12-25 | 2016-04-27 | 珠海国芯云科技有限公司 | 集群系统综合调度节能方法及装置 |
| CN106156631A (zh) * | 2015-06-01 | 2016-11-23 | 上海红神信息技术有限公司 | 一种服务功能与结构表征不确定的软硬件装置 |
| CN106528297A (zh) * | 2016-11-14 | 2017-03-22 | 山东浪潮云服务信息科技有限公司 | 一种管理任务的系统 |
| CN102929720B (zh) * | 2012-09-24 | 2017-06-23 | 曙光信息产业(北京)有限公司 | 一种节能作业调度系统 |
| CN107122270A (zh) * | 2011-06-01 | 2017-09-01 | 微软技术许可有限责任公司 | 在服务的次要位置重放作业 |
| CN107273196A (zh) * | 2017-05-31 | 2017-10-20 | 中国科学院北京基因组研究所 | 生物信息学高性能计算作业调度及系统管理套件 |
| CN107943555A (zh) * | 2017-10-17 | 2018-04-20 | 华南理工大学 | 一种云计算环境下的大数据存储和处理平台及处理方法 |
| CN108289086A (zh) * | 2017-01-10 | 2018-07-17 | 阿里巴巴集团控股有限公司 | 请求处理方法及装置、服务器 |
| CN108319514A (zh) * | 2018-01-26 | 2018-07-24 | 山东超越数控电子股份有限公司 | 一种基于Slurm作业管理的可视化调度系统 |
| CN109471705A (zh) * | 2017-09-08 | 2019-03-15 | 杭州海康威视数字技术股份有限公司 | 任务调度的方法、设备及系统、计算机设备 |
| CN109508232A (zh) * | 2018-11-26 | 2019-03-22 | 北京大米科技有限公司 | 一种任务调度管理的方法、装置及电子设备 |
| CN109766189A (zh) * | 2019-01-15 | 2019-05-17 | 北京地平线机器人技术研发有限公司 | 集群调度方法和装置 |
| CN110362390A (zh) * | 2019-06-06 | 2019-10-22 | 银江股份有限公司 | 一种分布式数据集成作业调度方法及装置 |
| CN110737521A (zh) * | 2019-10-14 | 2020-01-31 | 中国人民解放军32039部队 | 基于任务调度中心的容灾方法和装置 |
| CN110795223A (zh) * | 2019-10-29 | 2020-02-14 | 浪潮云信息技术有限公司 | 一种针对资源统一管理的集群调度系统及方法 |
| US10585766B2 (en) | 2011-06-06 | 2020-03-10 | Microsoft Technology Licensing, Llc | Automatic configuration of a recovery service |
| CN112200534A (zh) * | 2020-09-24 | 2021-01-08 | 中国建设银行股份有限公司 | 一种用于时间事件管理的方法和装置 |
| CN112291320A (zh) * | 2020-10-21 | 2021-01-29 | 济南浪潮高新科技投资发展有限公司 | 量子计算机集群分布式两层调度方法及系统 |
| CN112306719A (zh) * | 2020-11-23 | 2021-02-02 | 中国科学院计算机网络信息中心 | 一种任务调度方法与装置 |
| CN112751945A (zh) * | 2021-04-02 | 2021-05-04 | 人民法院信息技术服务中心 | 一种分布式云服务的实现方法、装置、设备和存储介质 |
| CN113391902A (zh) * | 2021-06-22 | 2021-09-14 | 未鲲(上海)科技服务有限公司 | 一种任务调度方法及设备、存储介质 |
| CN113721741A (zh) * | 2021-08-26 | 2021-11-30 | 联泰集群（北京）科技有限责任公司 | 一种高性能计算集群平台散热的控制方法及系统 |
-
2009
- 2009-07-09 CN CNA2009100171150A patent/CN101599026A/zh active Pending
Cited By (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916209B (zh) * | 2010-08-06 | 2012-11-21 | 华东交通大学 | 一种多核处理器集群任务资源分配方法 |
| CN101916209A (zh) * | 2010-08-06 | 2010-12-15 | 华东交通大学 | 一种多核处理器集群任务资源分配方法 |
| CN102012891A (zh) * | 2010-11-18 | 2011-04-13 | 浪潮(北京)电子信息产业有限公司 | 计算机集群管理方法、装置和系统 |
| CN102012891B (zh) * | 2010-11-18 | 2012-10-31 | 浪潮(北京)电子信息产业有限公司 | 计算机集群管理方法、装置和系统 |
| CN107122270B (zh) * | 2011-06-01 | 2020-07-03 | 微软技术许可有限责任公司 | 一种在服务的次要位置重放作业的方法、系统及存储介质 |
| CN107122270A (zh) * | 2011-06-01 | 2017-09-01 | 微软技术许可有限责任公司 | 在服务的次要位置重放作业 |
| US10585766B2 (en) | 2011-06-06 | 2020-03-10 | Microsoft Technology Licensing, Llc | Automatic configuration of a recovery service |
| US11176008B2 (en) | 2011-06-06 | 2021-11-16 | Microsoft Technology Licensing, Llc | Automatic configuration of a recovery service |
| CN102521024A (zh) * | 2011-11-23 | 2012-06-27 | 北京市计算中心 | 基于生物信息云平台的作业调度方法 |
| CN102521024B (zh) * | 2011-11-23 | 2013-07-31 | 北京市计算中心 | 基于生物信息云平台的作业调度方法 |
| CN102685228A (zh) * | 2012-05-10 | 2012-09-19 | 苏州阔地网络科技有限公司 | 一种云会议的消息处理方法及系统 |
| CN102685130A (zh) * | 2012-05-10 | 2012-09-19 | 苏州阔地网络科技有限公司 | 一种云会议的调度控制方法及系统 |
| CN104769549B (zh) * | 2012-09-07 | 2019-01-08 | 微软技术许可有限责任公司 | 基于调度策略的智能数据分级移动 |
| CN104769549A (zh) * | 2012-09-07 | 2015-07-08 | 微软公司 | 基于调度策略的智能数据分级移动 |
| CN102929720B (zh) * | 2012-09-24 | 2017-06-23 | 曙光信息产业(北京)有限公司 | 一种节能作业调度系统 |
| CN103713942B (zh) * | 2012-09-28 | 2018-01-05 | 腾讯科技（深圳）有限公司 | 在集群中调度运行分布式计算框架的方法和系统 |
| CN103713942A (zh) * | 2012-09-28 | 2014-04-09 | 腾讯科技（深圳）有限公司 | 在集群中调度运行分布式计算框架的方法和系统 |
| CN103810046A (zh) * | 2012-11-15 | 2014-05-21 | 百度在线网络技术（北京）有限公司 | 一种单机资源管理方法及系统 |
| CN103207814A (zh) * | 2012-12-27 | 2013-07-17 | 北京仿真中心 | 一种去中心化的跨集群资源管理与任务调度系统与调度方法 |
| CN103207814B (zh) * | 2012-12-27 | 2016-10-19 | 北京仿真中心 | 一种去中心化的跨集群资源管理与任务调度系统与调度方法 |
| CN103336689A (zh) * | 2013-06-27 | 2013-10-02 | 曙光信息产业(北京)有限公司 | 用于全球环境和安全监测系统gems计算程序的处理方法 |
| CN103324524A (zh) * | 2013-06-27 | 2013-09-25 | 曙光信息产业(北京)有限公司 | 用于comsol multiphysics计算程序的处理方法 |
| CN103309735A (zh) * | 2013-06-27 | 2013-09-18 | 曙光信息产业(北京)有限公司 | 用于charmm计算程序的处理方法 |
| CN103294485B (zh) * | 2013-06-27 | 2016-07-06 | 曙光信息产业(北京)有限公司 | 用于ABINIT并行计算系统的Web服务封装方法以及系统 |
| CN103294483A (zh) * | 2013-06-27 | 2013-09-11 | 曙光信息产业(北京)有限公司 | 用于gromacs计算程序的处理方法 |
| CN103294481A (zh) * | 2013-06-27 | 2013-09-11 | 曙光信息产业(北京)有限公司 | 用于cst计算程序的处理方法 |
| CN103294485A (zh) * | 2013-06-27 | 2013-09-11 | 曙光信息产业(北京)有限公司 | 用于ABINIT并行计算系统的Web服务封装方法以及系统 |
| CN103294484A (zh) * | 2013-06-27 | 2013-09-11 | 曙光信息产业(北京)有限公司 | 用于fluent计算程序的处理方法 |
| CN103744734B (zh) * | 2013-12-24 | 2017-09-26 | 中国科学院深圳先进技术研究院 | 一种任务作业处理方法、装置及系统 |
| CN103744734A (zh) * | 2013-12-24 | 2014-04-23 | 中国科学院深圳先进技术研究院 | 一种任务作业处理方法、装置及系统 |
| CN104572306A (zh) * | 2015-01-28 | 2015-04-29 | 中国石油集团川庆钻探工程有限公司地球物理勘探公司 | 计算机集群的资源管理方法、资源管理器 |
| CN106156631A (zh) * | 2015-06-01 | 2016-11-23 | 上海红神信息技术有限公司 | 一种服务功能与结构表征不确定的软硬件装置 |
| CN106156631B (zh) * | 2015-06-01 | 2019-03-12 | 上海红神信息技术有限公司 | 一种服务功能与结构表征对应关系不确定的软硬件装置 |
| CN105528054A (zh) * | 2015-12-25 | 2016-04-27 | 珠海国芯云科技有限公司 | 集群系统综合调度节能方法及装置 |
| CN105528054B (zh) * | 2015-12-25 | 2018-09-11 | 珠海国芯云科技有限公司 | 集群系统综合调度节能方法及装置 |
| CN106528297A (zh) * | 2016-11-14 | 2017-03-22 | 山东浪潮云服务信息科技有限公司 | 一种管理任务的系统 |
| CN108289086A (zh) * | 2017-01-10 | 2018-07-17 | 阿里巴巴集团控股有限公司 | 请求处理方法及装置、服务器 |
| CN108289086B (zh) * | 2017-01-10 | 2020-11-24 | 阿里巴巴集团控股有限公司 | 请求处理方法及装置、服务器 |
| CN107273196A (zh) * | 2017-05-31 | 2017-10-20 | 中国科学院北京基因组研究所 | 生物信息学高性能计算作业调度及系统管理套件 |
| CN109471705A (zh) * | 2017-09-08 | 2019-03-15 | 杭州海康威视数字技术股份有限公司 | 任务调度的方法、设备及系统、计算机设备 |
| CN107943555B (zh) * | 2017-10-17 | 2021-11-23 | 华南理工大学 | 一种云计算环境下的大数据存储和处理平台及处理方法 |
| CN107943555A (zh) * | 2017-10-17 | 2018-04-20 | 华南理工大学 | 一种云计算环境下的大数据存储和处理平台及处理方法 |
| CN108319514A (zh) * | 2018-01-26 | 2018-07-24 | 山东超越数控电子股份有限公司 | 一种基于Slurm作业管理的可视化调度系统 |
| CN109508232A (zh) * | 2018-11-26 | 2019-03-22 | 北京大米科技有限公司 | 一种任务调度管理的方法、装置及电子设备 |
| CN109766189A (zh) * | 2019-01-15 | 2019-05-17 | 北京地平线机器人技术研发有限公司 | 集群调度方法和装置 |
| CN110362390A (zh) * | 2019-06-06 | 2019-10-22 | 银江股份有限公司 | 一种分布式数据集成作业调度方法及装置 |
| CN110362390B (zh) * | 2019-06-06 | 2021-09-07 | 银江股份有限公司 | 一种分布式数据集成作业调度方法及装置 |
| CN110737521A (zh) * | 2019-10-14 | 2020-01-31 | 中国人民解放军32039部队 | 基于任务调度中心的容灾方法和装置 |
| CN110737521B (zh) * | 2019-10-14 | 2021-03-05 | 中国人民解放军32039部队 | 基于任务调度中心的容灾方法和装置 |
| CN110795223A (zh) * | 2019-10-29 | 2020-02-14 | 浪潮云信息技术有限公司 | 一种针对资源统一管理的集群调度系统及方法 |
| CN112200534A (zh) * | 2020-09-24 | 2021-01-08 | 中国建设银行股份有限公司 | 一种用于时间事件管理的方法和装置 |
| CN112291320A (zh) * | 2020-10-21 | 2021-01-29 | 济南浪潮高新科技投资发展有限公司 | 量子计算机集群分布式两层调度方法及系统 |
| CN112306719A (zh) * | 2020-11-23 | 2021-02-02 | 中国科学院计算机网络信息中心 | 一种任务调度方法与装置 |
| WO2022105337A1 (zh) * | 2020-11-23 | 2022-05-27 | 中国科学院计算机网络信息中心 | 一种任务调度方法与系统 |
| CN112306719B (zh) * | 2020-11-23 | 2022-05-31 | 中国科学院计算机网络信息中心 | 一种任务调度方法与装置 |
| CN112751945A (zh) * | 2021-04-02 | 2021-05-04 | 人民法院信息技术服务中心 | 一种分布式云服务的实现方法、装置、设备和存储介质 |
| CN113391902A (zh) * | 2021-06-22 | 2021-09-14 | 未鲲(上海)科技服务有限公司 | 一种任务调度方法及设备、存储介质 |
| CN113721741A (zh) * | 2021-08-26 | 2021-11-30 | 联泰集群（北京）科技有限责任公司 | 一种高性能计算集群平台散热的控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101599026A (zh) | 一种具有弹性架构的集群作业调度系统 | |
| Wang et al. | Optimizing load balancing and data-locality with data-aware scheduling | |
| Singh et al. | Workflow task clustering for best effort systems with Pegasus | |
| CN101727351B (zh) | 面向多核平台的虚拟机监控器非对称调度器及其调度方法 | |
| CN104123182B (zh) | 基于主从架构的MapReduce任务跨数据中心调度系统及方法 | |
| CN102033777B (zh) | 基于ice的分布式作业调度引擎 | |
| CN104506620A (zh) | 一种可扩展的自动化计算服务平台及其构建方法 | |
| CN102063336A (zh) | 一种分布式计算多应用功能异步并发调度方法 | |
| CN102073546A (zh) | 一种云计算环境中分布式计算模式下的任务动态调度方法 | |
| CN102364447B (zh) | 一种优化多任务间通信能耗的作业调度方法 | |
| CN104112049B (zh) | 基于P2P构架的MapReduce任务跨数据中心调度系统及方法 | |
| CN102611723A (zh) | 一种基于虚拟化技术构建高性能计算应用服务的方法 | |
| CN107168770A (zh) | 一种低能耗的云数据中心工作流调度与资源供给方法 | |
| CN101414270A (zh) | 硬件辅助的辅核任务动态优先级调度的实现方法 | |
| Choi et al. | Data-locality aware scientific workflow scheduling methods in HPC cloud environments | |
| CN114138488A (zh) | 一种基于弹性高性能计算的云原生实现方法及系统 | |
| CN111782627A (zh) | 面向广域高性能计算环境的任务与数据协同调度方法 | |
| Song et al. | An efficient scheduling algorithm for energy consumption constrained parallel applications on heterogeneous distributed systems | |
| CN112948088B (zh) | 一种云计算平台中的云工作流智能管理与调度系统 | |
| US20120059938A1 (en) | Dimension-ordered application placement in a multiprocessor computer | |
| Mishra et al. | A memory-aware dynamic job scheduling model in Grid computing | |
| CN109446641A (zh) | 一种云计算服务系统的多阶段可靠性建模分析方法 | |
| Salama | A swarm intelligence based model for mobile cloud computing | |
| Liu | A Programming Model for the Cloud Platform | |
| CN117170812B (zh) | 一种基于研发运维一体化架构的数值预报计算云系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20091209 |