CN104239144A - 一种多级分布式任务处理系统 - Google Patents
一种多级分布式任务处理系统 Download PDFInfo
- Publication number
- CN104239144A CN104239144A CN201410485759.3A CN201410485759A CN104239144A CN 104239144 A CN104239144 A CN 104239144A CN 201410485759 A CN201410485759 A CN 201410485759A CN 104239144 A CN104239144 A CN 104239144A
- Authority
- CN
- China
- Prior art keywords
- task
- subtask
- processing system
- distributed
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Multi Processors (AREA)
Abstract
本发明公开了一种多级分布式任务处理系统，包括多个互相通信连接的计算机节点，所述每个计算机节点均连接同一个节点服务器，所述节点服务器包括任务级调度模块，用于在接收用户任务请求时，采用“先进先出”的方式存储该任务，并以“最近最少使用”的原则将任务分发至对应的计算机节点；子任务级分割模块，用于在接收到处理任务时，将该任务分割为若干个子任务，并调用任务级调度模块将分割后的子任务分发至不同的计算机节点；任务管理模块，用于从不同的计算机节点回收各子任务的计算结果，并将各子任务的计算结果组装成一个完整的任务结果，所述每个计算机节点均包括有OpenMP内核级模块。本发明可提高各任务的并行处理效率。
Description
技术领域
本发明涉及配电网领域，特别是一种多级分布式任务处理系统。
背景技术
配电网的高速发展为配电自动化高级应用软件的研究与应用提供了广阔前景。不同于输电网一般只管辖几千个设备，城市配电网是一个更加复杂庞大的网络系统，配电网需要管辖数万甚至数十万的电力设备。因此，配电网调度、运行和管理过程中的很多高级应用功能（如状态估计、潮流计算、网络重构、负荷预测、安全运行分析、经济优化运行等）都涉及海量计算工作。以其中最常用的大规模矩阵计算为例，其中，原始矩阵规模与电力设备数量的平方成正比关系，这就导致同样的高级应用网络分析算法，如状态估计，其在输电网中可能只是一个秒级耗时的算法，移植到配电网中，由于配电网中设备数量更加庞大，则可能需要运行数分钟甚至数十分钟，才可以得出计算结果。
为此，现有技术采用将一些特定的任务分割或并行计算的方法，从而在一定的程度上提高了配电网络高级应用软件的计算效率，在同等计算机硬件条件下，一些常用配网高级分析模块的运行时间大多已经可以缩短到1分钟以内。但总体来讲，现有技术仍具有计算耗时长、多任务并发冲突多、难以满足高实时的应用需求等突出问题。
发明内容
为解决上述问题，本发明的目的在于提供一种多级分布式任务处理系统，大幅度提升配电网高级应用软件处理计算任务的速度，并减轻相关编码的工作量。
本发明解决其问题所采用的技术方案是：
一种多级分布式任务处理系统，包括多个互相通信连接的计算机节点，所述每个计算机节点均连接同一个节点服务器，所述节点服务器包括：
任务级调度模块，用于在接收用户任务请求时，采用“先进先出”的方式存储该任务，并以“最近最少使用”的原则将任务分发至对应的计算机节点；
子任务级分割模块，用于在接收到处理任务时，将该任务分割为若干个子任务，并调用任务级调度模块将分割后的子任务分发至不同的计算机节点；
任务管理模块，用于从不同的计算机节点回收各子任务的计算结果，并将各子任务的计算结果组装成一个完整的任务结果。
进一步，所述每个计算机节点均包括有：
OpenMP内核级模块，用于对该计算机节点所运行的子任务进行相应环节的并行计算。
进一步，所述任务级调度模块包括：
节点收集单元，用于在接收到用户任务请求时，收集所有计算机节点的使用信息，并按照“最近最少使用”的原则进行排序；
存储单元，用于在接收到用户任务请求时，以“先进先出”的队列方式存储该任务；
分发一单元，用于从存储单元中依次提取队列中的首任务，并分发到节点收集单元排序后的首个计算机节点。
进一步，所述子任务级分割模块包括：
分割单元，用于在接收到任务时，将该任务分割为若干个子任务；
分发二单元，用于调用分发一单元将各子任务分发至不同的计算机节点。
进一步，所述分割单元以配电线为单位实施“电气岛分裂”处理，将任务分割为若干个子任务时。
进一步，所述“电气岛分裂”处理时，即将该大型配电网络按照馈线管辖范围分裂多个“电气子岛“，每个子岛相对独立，对应的，即将一个针对配电网的大型计算任务，分解成为针对若干个“电气子岛”的小型子任务。
本发明的有益效果是：
本发明采用一种多级分布式任务处理系统，采用了三个层级（任务级、子任务级、OpenMP内核级）的并行计算架构，采用统一的并行计算体系和任务切分方法，增加了并行计算程序的通用性，不用再针对不同功能模块实施特殊的并行处理，极大减轻编码的工作量，同时，提高各任务的并行处理效率，缩短配电网任务处理的运算时间。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是现有配电系统的实际连接示意图；
图2是本发明所述系统的结构示意图；
图3是本发明所述系统的处理流程示意图。
具体实施方式
本发明中，配电自动化系统简称为DAS，配电自动化高级应用软件简称为DPAS，本发明中所述DAS与DPAS均代表上述所述含义。配电自动化高级应用软件是配电自动化系统的一个有机组成部分，参照图1所示，网络数据线上分布有n个不同的工作站、DAS服务器和DPAS服务器，配电自动化系统工作站1、2同时包括DAS与DPAS系统，其它工作站为DAS或DPAS专用工作站。其中，DPAS服务器采用集群化设计，即DPAS服务器可以有一个或多个（标准配置为2个），理想情况下，DPAS服务器集群应同时考虑负载均衡、高可用性、高速分布式计算等三个方面的应用需求。对于负载均衡，当多个DPAS服务器并行运行时，每个DPAS服务器均应承担一部分DPAS服务功能，从而实现高效利用DPAS服务器资源；对于高可用性，当某个DPAS服务器出现故障时，该DPAS服务器的节点任务可以被转移到其他正常的DPAS服务器上；对于高速分布式计算，由于DPAS系统是一个需要进行海量数据处理和大规模计算的系统，因此，DPAS系统需要充分考虑分布式计算以提高运行速度。
现有技术采用将一些特定的任务分割或并行计算的方法，从而在一定的程度上提高了DPAS服务器的计算效率，在同等计算机硬件条件下，一些常用配网高级分析模块的运行时间大多已经可以缩短到1分钟以内。但总体来讲，现有技术仍具有计算耗时长、多任务并发冲突多、难以满足高实时的应用需求等突出问题。
为此，将计算机节点相当于图1中所示的不同的n个工作站，将节点服务器相当于DPAS服务器集群，基于ZeroMQ技术，参照图2所示，本发明提供了一种多级分布式任务处理系统，包括多个互相通信连接的计算机节点，所述每个计算机节点均连接同一个节点服务器，所述节点服务器包括：
任务级调度模块，用于在接收用户任务请求时，采用“先进先出”的方式存储该任务，并以“最近最少使用”的原则将任务分发至对应的计算机节点；
子任务级分割模块，用于在接收到处理任务时，将该任务分割为若干个子任务，并调用任务级调度模块将分割后的子任务分发至不同的计算机节点；
任务管理模块，用于从不同的计算机节点回收各子任务的计算结果，并将各子任务的计算结果组装成一个完整的任务结果。
除此之外，本发明对每个计算机节点也进行了改进，使所述每个计算机节点均包括有：
OpenMP内核级模块，用于对该计算机节点所运行的子任务进行相应环节的并行计算。
每个子任务都视作一个原子任务，不能再做任务拆分。但是每个子任务中，一些环节（如矩阵运算）可以通过OpenMP编程实现并行计算，充分发挥现在计算机配置的多核心CPU或多CPU的效率。
所述任务级调度模块包括：
节点收集单元，用于在接收到用户任务请求时，收集所有计算机节点的使用信息，并按照“最近最少使用”的原则进行排序；
存储单元，用于在接收到用户任务请求时，以“先进先出”的队列方式存储该任务；
分发一单元，用于从存储单元中依次提取队列中的首任务，并分发到节点收集单元排序后的首个计算机节点。
所述子任务级分割模块包括：
分割单元，用于在接收到任务时，将该任务分割为若干个子任务；
分发二单元，用于调用分发一单元将各子任务分发至不同的计算机节点。
所述分割单元以配电线为单位实施“电气岛分裂”处理，将任务分割为若干个子任务。所述“电气岛分裂”处理时，即将该大型配电网络按照馈线管辖范围分裂多个“电气子岛“，每个子岛相对独立，对应的，即将一个针对配电网的大型计算任务，分解成为针对若干个“电气子岛”的小型子任务。
本发明所述“先进先出”为队列的处理方式，即先进入队列的任务先进行处理；所述“最近最少使用”为计算机常用的选择约束条件，即采用最近规定时间段使用次数最少的计算机节点；所述“电气岛分裂”处理为配电领域的处理手段，即将一个大型配电网络按照馈线管辖范围分裂成许多个“电气子岛”，从而把一个针对配电网的大型计算任务，分解成为针对若干个“电气子岛”的小型子任务。
参照图3所示本发明的处理流程示意图，本发明整体上分为三级进行计算，第一级分布式计算为任务级，用于同时向多个计算机节点分配不同的DPAS任务，实现对DPAS节点的管理和任务调度；第二级分布式计算为了任务级，完成对子任务的调度和管理，包括将任务分解为子任务，子任务的结果计算和结果返回，以及最后对子任务的计算结果进行组装；第三级分布式计算为OpenMP内核级，是计算机节点本身在计算子任务时，采用计算机的多核心CPU或多CPU对子任务进行计算，提升运行速度。
本发明采用了三个层级（任务级、子任务级、OpenMP内核级）的并行计算架构，同等配置条件下测试验证，可以把现有配电网高级应用软件的计算速度提高8—10倍。另外，因为针对各种DPAS，本发明采用了统一的并行计算体系和任务切分方法，增加了并行计算程序的通用性，不用再针对不同功能模块实施特殊的并行处理，大大减轻了编码的工作量。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。
Claims (6)
1.一种多级分布式任务处理系统，其特征在于，包括多个互相通信连接的计算机节点，所述每个计算机节点均连接同一个节点服务器，所述节点服务器包括：
任务级调度模块，用于在接收用户任务请求时，采用“先进先出”的方式存储该任务，并以“最近最少使用”的原则将任务分发至对应的计算机节点；
子任务级分割模块，用于在接收到处理任务时，将该任务分割为若干个子任务，并调用任务级调度模块将分割后的子任务分发至不同的计算机节点；
任务管理模块，用于从不同的计算机节点回收各子任务的计算结果，并将各子任务的计算结果组装成一个完整的任务结果。
2.根据权利要求1所述的多级分布式任务处理系统，其特征在于，所述每个计算机节点均包括有：
OpenMP内核级模块，用于对该计算机节点所运行的子任务进行相应环节的并行计算。
3.根据权利要求1所述的多级分布式任务处理系统，其特征在于，所述任务级调度模块包括：
节点收集单元，用于在接收到用户任务请求时，收集所有计算机节点的使用信息，并按照“最近最少使用”的原则进行排序；
存储单元，用于在接收到用户任务请求时，以“先进先出”的队列方式存储该任务；
分发一单元，用于从存储单元中依次提取队列中的首任务，并分发到节点收集单元排序后的首个计算机节点。
4.根据权利要求3所述的多级分布式任务处理系统，其特征在于，所述子任务级分割模块包括：
分割单元，用于在接收到任务时，将该任务分割为若干个子任务；
分发二单元，用于调用分发一单元将各子任务分发至不同的计算机节点。
5.根据权利要求4所述的多级分布式任务处理系统，其特征在于，所述分割单元以配电线为单位实施“电气岛分裂”处理，将任务分割为若干个子任务。
6.根据权利要求5所述的多级分布式任务处理系统，其特征在于，所述“电气岛分裂”处理时，即将该大型配电网络按照馈线管辖范围分裂多个“电气子岛“，每个子岛相对独立，对应的，即将一个针对配电网的大型计算任务，分解成为针对若干个“电气子岛”的小型子任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410485759.3A CN104239144A (zh) | 2014-09-22 | 2014-09-22 | 一种多级分布式任务处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410485759.3A CN104239144A (zh) | 2014-09-22 | 2014-09-22 | 一种多级分布式任务处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104239144A true CN104239144A (zh) | 2014-12-24 |
Family
ID=52227275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410485759.3A Pending CN104239144A (zh) | 2014-09-22 | 2014-09-22 | 一种多级分布式任务处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104239144A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104699542A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇艺世纪科技有限公司 | 任务处理方法及系统 |
| CN104731647A (zh) * | 2015-03-31 | 2015-06-24 | 北京奇艺世纪科技有限公司 | 任务处理方法及系统 |
| CN105022796A (zh) * | 2015-06-30 | 2015-11-04 | 北京奇艺世纪科技有限公司 | 一种文件遍历方法、装置及系统 |
| CN105207364A (zh) * | 2015-10-19 | 2015-12-30 | 国家电网公司 | 一种配电网自动化管理系统 |
| CN105207352A (zh) * | 2015-08-27 | 2015-12-30 | 许继集团有限公司 | 一种分布式监控数据传输系统 |
| CN105208136A (zh) * | 2015-11-04 | 2015-12-30 | 苏州墨华高科信息技术有限公司 | 一种弹性并行cfd云计算系统 |
| CN106484524A (zh) * | 2015-08-28 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 一种任务处理方法及装置 |
| CN106708609A (zh) * | 2015-11-16 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 一种特征生成方法及系统 |
| CN106776453A (zh) * | 2016-12-20 | 2017-05-31 | 墨宝股份有限公司 | 一种控制提供信息技术服务的网络计算集群的方法 |
| CN107277005A (zh) * | 2017-06-13 | 2017-10-20 | 深圳市永达电子信息股份有限公司 | 一种分布式的业务流程检测方法 |
| WO2018137611A1 (zh) * | 2017-01-24 | 2018-08-02 | 贵州白山云科技有限公司 | 任务处理方法、节点、介质、设备及内容分发网络 |
| CN108829505A (zh) * | 2018-06-28 | 2018-11-16 | 北京奇虎科技有限公司 | 一种分布式调度系统及方法 |
| CN109167354A (zh) * | 2018-10-08 | 2019-01-08 | 国网天津市电力公司电力科学研究院 | 一种基于文件交换的电网预想故障并行分析计算方法 |
| CN109445928A (zh) * | 2018-11-14 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种访问请求处理方法、装置、设备及可读存储介质 |
| CN110134533A (zh) * | 2019-05-14 | 2019-08-16 | 重庆天蓬网络有限公司 | 一种可批量调度数据的系统及方法 |
| CN110543354A (zh) * | 2019-09-05 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 任务调度方法、装置、设备及存储介质 |
| CN110716800A (zh) * | 2019-10-09 | 2020-01-21 | 广州华多网络科技有限公司 | 任务调度方法及装置、存储介质及电子设备 |
| CN110874271A (zh) * | 2019-11-20 | 2020-03-10 | 山东省国土测绘院 | 一种海量建筑图斑特征快速计算方法及系统 |
| CN111447255A (zh) * | 2020-03-02 | 2020-07-24 | 中国平安人寿保险股份有限公司 | 基于分布式的数据分发方法、电子装置及存储介质 |
| CN111858721A (zh) * | 2020-08-03 | 2020-10-30 | 南京大学 | 一种基于优先级编码的分布式计算方法 |
| CN113014414A (zh) * | 2019-12-20 | 2021-06-22 | 北京金山云网络技术有限公司 | 网络数据的预测方法、装置、系统和服务器 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5815793A (en) * | 1995-10-05 | 1998-09-29 | Microsoft Corporation | Parallel computer |
| CN101308468A (zh) * | 2008-06-13 | 2008-11-19 | 南京邮电大学 | 网格计算环境下的作业跨域控制方法 |
| CN103324538A (zh) * | 2013-05-23 | 2013-09-25 | 国家电网公司 | 一种异位分散集群环境分布式并发进程的设计方法 |
| CN103546566A (zh) * | 2013-10-28 | 2014-01-29 | 珠海许继芝电网自动化有限公司 | 基于分布式存储与计算的配电网运行数据处理方法及系统 |
| CN103679564A (zh) * | 2013-12-26 | 2014-03-26 | 国家电网公司 | 一种用于配电网拓扑分析分布式计算的任务分配方法 |
| CN103714184A (zh) * | 2014-01-13 | 2014-04-09 | 许昌学院 | 一种遥感影像快速并行处理方法及装置 |
| US8805978B1 (en) * | 2012-02-28 | 2014-08-12 | Symantec Corporation | Distributed cluster reconfiguration |
-
2014
- 2014-09-22 CN CN201410485759.3A patent/CN104239144A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5815793A (en) * | 1995-10-05 | 1998-09-29 | Microsoft Corporation | Parallel computer |
| CN101308468A (zh) * | 2008-06-13 | 2008-11-19 | 南京邮电大学 | 网格计算环境下的作业跨域控制方法 |
| US8805978B1 (en) * | 2012-02-28 | 2014-08-12 | Symantec Corporation | Distributed cluster reconfiguration |
| CN103324538A (zh) * | 2013-05-23 | 2013-09-25 | 国家电网公司 | 一种异位分散集群环境分布式并发进程的设计方法 |
| CN103546566A (zh) * | 2013-10-28 | 2014-01-29 | 珠海许继芝电网自动化有限公司 | 基于分布式存储与计算的配电网运行数据处理方法及系统 |
| CN103679564A (zh) * | 2013-12-26 | 2014-03-26 | 国家电网公司 | 一种用于配电网拓扑分析分布式计算的任务分配方法 |
| CN103714184A (zh) * | 2014-01-13 | 2014-04-09 | 许昌学院 | 一种遥感影像快速并行处理方法及装置 |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104699542A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇艺世纪科技有限公司 | 任务处理方法及系统 |
| CN104731647A (zh) * | 2015-03-31 | 2015-06-24 | 北京奇艺世纪科技有限公司 | 任务处理方法及系统 |
| CN104699542B (zh) * | 2015-03-31 | 2018-02-09 | 北京奇艺世纪科技有限公司 | 任务处理方法及系统 |
| CN104731647B (zh) * | 2015-03-31 | 2018-02-09 | 北京奇艺世纪科技有限公司 | 任务处理方法及系统 |
| CN105022796A (zh) * | 2015-06-30 | 2015-11-04 | 北京奇艺世纪科技有限公司 | 一种文件遍历方法、装置及系统 |
| CN105022796B (zh) * | 2015-06-30 | 2019-03-15 | 北京奇艺世纪科技有限公司 | 一种文件遍历方法、装置及系统 |
| CN105207352A (zh) * | 2015-08-27 | 2015-12-30 | 许继集团有限公司 | 一种分布式监控数据传输系统 |
| CN106484524A (zh) * | 2015-08-28 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 一种任务处理方法及装置 |
| CN105207364A (zh) * | 2015-10-19 | 2015-12-30 | 国家电网公司 | 一种配电网自动化管理系统 |
| CN105208136A (zh) * | 2015-11-04 | 2015-12-30 | 苏州墨华高科信息技术有限公司 | 一种弹性并行cfd云计算系统 |
| CN106708609A (zh) * | 2015-11-16 | 2017-05-24 | 阿里巴巴集团控股有限公司 | 一种特征生成方法及系统 |
| CN106708609B (zh) * | 2015-11-16 | 2020-06-26 | 阿里巴巴集团控股有限公司 | 一种特征生成方法及系统 |
| CN106776453A (zh) * | 2016-12-20 | 2017-05-31 | 墨宝股份有限公司 | 一种控制提供信息技术服务的网络计算集群的方法 |
| WO2018137611A1 (zh) * | 2017-01-24 | 2018-08-02 | 贵州白山云科技有限公司 | 任务处理方法、节点、介质、设备及内容分发网络 |
| CN107277005A (zh) * | 2017-06-13 | 2017-10-20 | 深圳市永达电子信息股份有限公司 | 一种分布式的业务流程检测方法 |
| CN108829505A (zh) * | 2018-06-28 | 2018-11-16 | 北京奇虎科技有限公司 | 一种分布式调度系统及方法 |
| CN109167354A (zh) * | 2018-10-08 | 2019-01-08 | 国网天津市电力公司电力科学研究院 | 一种基于文件交换的电网预想故障并行分析计算方法 |
| CN109167354B (zh) * | 2018-10-08 | 2022-02-22 | 国网天津市电力公司电力科学研究院 | 一种基于文件交换的电网预想故障并行分析计算方法 |
| CN109445928A (zh) * | 2018-11-14 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种访问请求处理方法、装置、设备及可读存储介质 |
| CN110134533A (zh) * | 2019-05-14 | 2019-08-16 | 重庆天蓬网络有限公司 | 一种可批量调度数据的系统及方法 |
| CN110134533B (zh) * | 2019-05-14 | 2020-04-28 | 重庆天蓬网络有限公司 | 一种可批量调度数据的系统及方法 |
| CN110543354A (zh) * | 2019-09-05 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 任务调度方法、装置、设备及存储介质 |
| CN110543354B (zh) * | 2019-09-05 | 2023-06-13 | 腾讯科技（上海）有限公司 | 任务调度方法、装置、设备及存储介质 |
| CN110716800B (zh) * | 2019-10-09 | 2021-07-09 | 广州华多网络科技有限公司 | 任务调度方法及装置、存储介质及电子设备 |
| CN110716800A (zh) * | 2019-10-09 | 2020-01-21 | 广州华多网络科技有限公司 | 任务调度方法及装置、存储介质及电子设备 |
| CN110874271A (zh) * | 2019-11-20 | 2020-03-10 | 山东省国土测绘院 | 一种海量建筑图斑特征快速计算方法及系统 |
| CN113014414A (zh) * | 2019-12-20 | 2021-06-22 | 北京金山云网络技术有限公司 | 网络数据的预测方法、装置、系统和服务器 |
| CN113014414B (zh) * | 2019-12-20 | 2023-02-24 | 北京金山云网络技术有限公司 | 网络数据的预测方法、装置、系统和服务器 |
| CN111447255A (zh) * | 2020-03-02 | 2020-07-24 | 中国平安人寿保险股份有限公司 | 基于分布式的数据分发方法、电子装置及存储介质 |
| CN111858721A (zh) * | 2020-08-03 | 2020-10-30 | 南京大学 | 一种基于优先级编码的分布式计算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104239144A (zh) | 一种多级分布式任务处理系统 | |
| US10474504B2 (en) | Distributed node intra-group task scheduling method and system | |
| CN102279730B (zh) | 一种并行的数据处理方法、装置和并行的数据处理系统 | |
| CN110389820B (zh) | 一种基于v-TGRU模型进行资源预测的私有云任务调度方法 | |
| CN104657214A (zh) | 一种基于多队列和多优先级的大数据任务管理系统和方法 | |
| CN104216782A (zh) | 高性能计算和云计算混合环境中的动态资源管理方法 | |
| US20120005345A1 (en) | Optimized resource management for map/reduce computing | |
| CN105893158A (zh) | 私有云条件下的大数据混合调度模型 | |
| CN104331321A (zh) | 基于禁忌搜索和负载均衡的云计算任务调度方法 | |
| CN105094982A (zh) | 一种多星遥感数据处理系统 | |
| US11055139B2 (en) | Smart accelerator allocation and reclamation for deep learning jobs in a computing cluster | |
| KR101656360B1 (ko) | 자동 분산병렬 처리 하둡 시스템을 지원하는 클라우드 시스템 | |
| CN103941662A (zh) | 一种基于云计算的任务调度系统和调度方法 | |
| CN109614227A (zh) | 任务资源调配方法、装置、电子设备及计算机可读介质 | |
| CN108519919A (zh) | 一种在虚拟化集群环境下实现服务器资源动态调度的方法 | |
| CN112685153A (zh) | 微服务调度方法、装置以及电子设备 | |
| CN106845746A (zh) | 一种支持大规模实例密集型应用的云工作流管理系统 | |
| CN103198099A (zh) | 基于云计算的面向电信业务的数据挖掘应用方法 | |
| CN108132840A (zh) | 一种分布式系统中的资源调度方法及装置 | |
| KR101640231B1 (ko) | 자동 분산병렬 처리 하둡 시스템의 지원을 위한 클라우드 구동 방법 | |
| CN115202876A (zh) | 一种基于etl服务器的任务处理方法、系统和电子设备 | |
| CN104346220B (zh) | 一种任务调度方法与系统 | |
| CN110879753B (zh) | 基于自动化集群资源管理的gpu加速性能优化方法和系统 | |
| RU2609076C2 (ru) | Способ и система интеллектуального управления распределением ресурсов в облачных вычислительных средах | |
| Xiao et al. | Workload-aware Reliability Evaluation Model in Grid Computing. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141224 |