CN104123182A - 基于主从架构的MapReduce任务跨数据中心调度系统及方法 - Google Patents
基于主从架构的MapReduce任务跨数据中心调度系统及方法 Download PDFInfo
- Publication number
- CN104123182A CN104123182A CN201410344242.2A CN201410344242A CN104123182A CN 104123182 A CN104123182 A CN 104123182A CN 201410344242 A CN201410344242 A CN 201410344242A CN 104123182 A CN104123182 A CN 104123182A
- Authority
- CN
- China
- Prior art keywords
- task
- center
- data center
- mapreduce
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于主从架构的MapReduce任务跨数据中心调度系统及方法，其特征在于，建立MapReduce任务全局任务调度中心，负责管理各数据中心的资源管理器，接收客户端Client提交的MapReduce任务请求，根据预设调度算法选择满足要求的数据中心；各数据中心的资源管理器定时将本中心的状态和任务执行信息同步至全局任务调度中心。本发明所述系统及方法实现了MapReduce任务的跨数据中心调度，为跨数据中心的MapReduce任务提供统一入口，有效实现了各数据中心的数据和计算资源共享。
Description
技术领域
本申请涉及云计算技术，特别涉及一种MapReduce(用于大规模数据集并行运算的编程模型)任务调度系统及方法。
背景技术
云计算(Cloud Computing)是随着处理器技术、虚拟化技术、分布式存储技术、互联网技术和自动化管理技术的发展而产生的，由分布式的大规模集群和服务器虚拟化软件搭建。目前以开源社区Apache的Hadoop项目分布式文件系统(Hadoop Distributed File System，简称HDFS)和并行编程框架Hadoop MapReduce为代表的技术逐渐成为海量数据存储与分析处理的主流技术。其中，Hadoop MapReduce是当前使用最广泛的海量数据分析技术。
基于Hadoop YARN平台的MapReduce系统如图1所示，主要由ResourceManager(资源管理器)、NodeManager(节点管理器)、AppMaster(应用程序管理器)、Container(执行数据任务的容器)和Client(客户端)组成。资源管理器管理集群内所有应用程序的计算资源的分配。节点管理器是每一台机器框架的代理，是执行应用程序的容器，并监控应用程序的资源使用情况(CPU、内存、硬盘、网络)同时向节点管理器汇报。应用程序管理器负责本应用内的调度和协调，是MapReduce作业的Master，它结合从资源管理器获得的资源和节点管理器协同工作来运行和监控任务。资源管理器和节点管理器可以管理用户在该台机器上的进程并能对计算进行组织。Container管理着一个JVM(Java虚拟机)进程，是执行应用程序的容器，负责执行Map(映射)或者Reduc(归约)任务。
目前，Hadoop MapReduce被众多企业、高校、科研院所等广泛应用于数据中心的数据分析中，但这些分析任务主要在单个数据中心中进行，数据中心之间的处理任务很难开展。随着越来越多分散在各处的独立中小型数据中心的建立，如何实现各数据中心的数据资源和计算资源有效共享，为数据分析应用提供统一的任务提交入口，提高数据分析效率，越来越成为大家关注的问题。目前关于MapReduce任务跨数据中心的调度技术未见有具体的公开报道，是当前亟待解决的问题。
发明内容
本发明的目的是提供一种能实现各数据中心的数据及计算资源共享，为数据分析应用提供统一任务提交入口，提高数据分析效率的跨数据中心MapReduce任务调度的系统及方法。
为达到以上目的，本发明是采取如下技术方案予以实现的：
一种基于主从架构MapReduce任务跨数据中心的调度系统，其特征在于，
包括一个全局任务调度中心、n个数据中心、一个客户端，各数据中心均有一个资源管理器和多个节点管理器，其中全局任务调度中心与客户端、各数据中心的资源管理器采用广域网链接；各数据中心的资源管理器与节点管理器之间由局域网链接；各数据中心的资源管理器中均包含一个GSS plugin模块，用于向全局任务调度中心注册并定时汇报本数据中心状态信息，从而构成主从式任务调度架构；全局任务调度中心接收客户端提交的MapReduce任务请求，按照预设的选择算法从所述各数据中心中选择资源和性能满足要求的一个或多个数据中心，并按照预设任务分派算法将MapReduce任务分派至所选数据中心的资源管理器；该资源管理器在本数据中心内启动MapReduce任务执行，任务执行后实时将本数据中心状态和任务执行信息同步至全局任务调度中心；客户端实时从全局任务调度中心获取MapReduce任务执行信息，直至MapReduce任务结束。
一种基于主从架构MapReduce任务跨数据中心的调度方法，其特征在于，包括下述步骤：
(1)建立全局任务调度中心，负责多个数据中心的状态监控和MapReduce任务调度，各数据中心的资源管理器向全局任务调度中心注册，并定时汇报本数据中心的状态信息，全局任务调度中心收集各数据中心的资源状态和任务执行信息；
(2)全局任务调度中心接收客户端提交的MapReduce任务请求，按预设选择算法遴选资源和性能满足要求的一个或几个数据中心，并按照预设任务分派算法将任务分派至所选数据中心的资源管理器；
(3)接收到MapReduce任务的资源管理器在本中心内启动MapReduce任务执行；
(4)各数据中心的资源管理器负责收集本数据中心的资源状态信息和监控MapReduce任务的执行，并定时将资源状态和MapReduce任务执行信息同步至全局任务调度中心；
(5)客户端实时从全局任务调度中心获取MapReduce任务执行状态信息，直至MapReduce任务结束。
上述方法中，所述MapReduce任务请求包括Map和Reduce的输入数据路径、输出数据路径、Map和Reduce任务个数、任务优先级、资源权限任何一特征。
所述全局任务调度中心预设调度算法根据任务请求和各数据中心的数据分布、系统性能、负载情况等信息，采用数据分布优先、性能优先策略。
本发明的MapReduce任务跨数据中心的调度系统采用两层逻辑分离调度架构。全局逻辑层由全局任务调度中心负责各数据中心的资源管理器的管理，集中管理各数据中心的状态和任务执行信息，是将各个独立数据中心集成统一实现资源共享的核心，是主从架构中的主控模块。业务逻辑层通过对HadoopYARN的资源管理器进行扩展开发，增加GSS plugin模块，并与全局任务调度中心链接作为从属模块，从而构成主从式MapReduce任务调度架构。本发明在保留原数据中心的资源管理器的中心内部任务调度管理等功能的同时，接受全局任务调度中心的调度管理，最终实现各数据中心的MapReduce任务的数据和计算资源共享。这种方式在保持原系统高效稳定的同时降低系统复杂度，能够快速有效实现MapReduce任务的跨数据中心调度。
附图说明
图1为基于Hadoop YARN平台的MapReduce系统框架图。
图2为本发明MapReduce任务跨数据中心调度系统组成图。
图3为本发明MapReduce任务跨数据中心调度流程图。
具体实施方式
为了更清楚地说明本发明的技术方案，下面结合附图和具体实施例对本发明进行详细描述。
如图2所示，一种基于主从架构的MapReduce任务跨数据中心的调度系统，包括一个全局任务调度中心(Global Scheduling Server，GSS)、编号为01到N的n个数据中心、一个客户端Client。各数据中心均有一个资源管理器(ResourceManager)和多个节点管理器(NodeManager)。全局任务调度中心和各数据中心的资源管理器采用广域网链接，客户端Client和全局任务调度中心由广域网链接，各数据中心的资源管理器与节点管理器之间由局域网链接。各数据中心的资源管理器中均包含一个GSS plugin(全局任务调度中心通信中间件)模块，该模块与全局任务调度中心相链接，负责向全局任务调度中心注册并定时向全局任务调度中心汇报本数据中心状态信息，从而构成主从式任务调度架构。
全局任务调度中心接收客户端提交的MapReduce任务请求，按照预设的选择算法从各数据中心中选择资源和性能满足要求的数据中心(一个或者多个)，并按照预设任务分派算法将任务分派至所选数据中心的资源管理器；各数据中心的资源管理器在本中心内按预设调度算法，启动MapReduce任务调度，任务启动执行后实时将数据中心资源状态和任务执行信息同步至全局任务调度中心。
全局任务调度中心用于跨数据中心的任务调度，管理各数据中心的资源管理器，实时收集各数据中心的性能和任务执行信息；接收客户端提交的MapReduce任务请求，根据预设调度算法选择满足要求的数据中心并将任务分派给所选数据中心的资源管理器。
全局任务调度中心主要由访问接口、GSS服务程序、任务分派与监控三个模板组成；访问接口是客户端与全局任务调度中心的交互接口模块，负责处理客户端的MapReduce任务的提交、终止、状态查询等请求；GSS服务程序是全局任务调度中心的服务守护模块，负责全局任务调度中心的运行监控、模块重启，保证全局任务调度中心的稳定运行；任务分派与监控是各数据中心的资源管理器与全局任务调度中心的交互接口模块，负责管理各数据中心的资源管理器，根据各数据中心状态对访问接口模块接收到MapReduce任务实施任务分派，并监控MapReduce任务在各数据中心的执行。
GSS plugin模块，是一个用于与全局任务调度中心进行通信的中间件，负责向全局任务调度中心注册，接收全局任务调度中心的任务分派，并定时向全局任务调度中心汇报本数据中心状态信息和MapReduce任务执行信息。
各数据中心的资源管理器(含GSS plugin模块)负责本数据中心内的资源管理和任务调度；接收本数据中心内节点管理器的资源汇报信息；通过GSSplugin模块接受GSS分派的MapReduce任务，并根据任务信息和本数据中心状态实施任务调度，定时将任务和资源信息同步至GSS。
各数据中心的节点管理器用于管理MapReduce任务在本节点上的具体执行，监控MapReduce任务的资源使用情况(CPU、内存、硬盘、网络等)，并按预置算法定时地将任务执行情况和本节点资源情况发送给本数据中心的资源管理器。
Client用于与GSS进行交互，如提交或终止MapReduce任务，获取MapReduce任务运行状态等；Client可实时从GSS获取任务执行状态。
图2中的数据中心的个数n可选1至200个。
通过上述系统，本发明提供了一种跨数据中心的MapReduce任务调度方法，下面通过图3进行描述：
S301建立全局任务调度中心，负责管理各数据中心的资源管理器，各数据中心的资源管理器向全局任务调度中心注册并汇报集数据中心态信息，全局任务调度中心收集各数据中心状态和MapReduce任务的执行信息；
S302全局任务调度中心接收客户端Client提交的MapReduce任务请求，按预设算法选择满足要求的数据中心，将任务分派至所选数据中心的资源管理器；
所述MapReduce任务请求包括Map和Reduce的输入数据路径、输出数据路径、Map和Reduce任务个数、输入数据在各数据中心的分布、任务优先级、资源权限等特征。
全局任务调度中心预设调度算法根据任务请求和各数据中心的数据分布、系统性能、负载情况等信息，采用数据分布优先、性能优先等策略，分派任务至数据中心的资源管理器；调度算法可由本领域技术人员根据需要灵活定制；
S303接收任务的数据中心的资源管理器在本数据中心内按预设调度算法，启动MapReduce任务调度；
预设调度算法根据包括输入数据大小、输入数据在集群内各节点的分布、任务的Map和Reduce数量、各节点管理器反馈的资源使用状态等信息，按照预设先进先出FIFO(First in First out)、公平调度策略进行调度，调度算法也可由本领域技术人员根据需要开发定制；
S304各数据中心的资源管理器实时将数据中心的资源使用、性能等状态和MapReduce任务执行信息同步至全局任务调度中心；
S305客户端Client实时从全局任务调度中心获取MapReduce任务执行状态信息，直至MapReduce任务结束。
综上所述，本发明解决了随着分散各处的独立中小型数据中心越来越多，而难以实现各数据中心的数据资源和计算资源有效共享，以及如何为数据分析应用提供统一的MapReduce任务提交入口等问题，实现了统一管理、统一接口，开放稳定的针对跨数据中心的MapReduce任务调度架构及方法。
Claims (4)
1.一种基于主从架构MapReduce任务跨数据中心的调度系统，其特征在于，包括一个全局任务调度中心、n个数据中心、一个客户端，各数据中心均有一个资源管理器和多个节点管理器，其中全局任务调度中心与客户端、各数据中心的资源管理器采用广域网链接；各数据中心的资源管理器与节点管理器之间由局域网链接；各数据中心的资源管理器中均包含一个GSS plugin模块，用于向全局任务调度中心注册并定时汇报本数据中心状态信息，从而构成主从式任务调度架构；全局任务调度中心接收客户端提交的MapReduce任务请求，按照预设的选择算法从所述各数据中心中选择资源和性能满足要求的一个或多个数据中心，并按照预设任务分派算法将MapReduce任务分派至所选数据中心的资源管理器；该资源管理器在本数据中心内启动MapReduce任务执行，任务执行后实时将本数据中心状态和任务执行信息同步至全局任务调度中心；客户端实时从全局任务调度中心获取MapReduce任务执行信息，直至MapReduce任务结束。
2.一种基于主从架构MapReduce任务跨数据中心的调度方法，其特征在于，包括下述步骤：
(1)建立全局任务调度中心，负责多个数据中心的状态监控和MapReduce任务调度，各数据中心的资源管理器向全局任务调度中心注册，并定时汇报本数据中心的状态信息，全局任务调度中心收集各数据中心的资源状态和任务执行信息；
(2)全局任务调度中心接收客户端提交的MapReduce任务请求，按预设选择算法遴选资源和性能满足要求的一个或几个数据中心，并按照预设任务分派算法将任务分派至所选数据中心的资源管理器；
(3)接收到MapReduce任务的资源管理器在本中心内启动MapReduce任务执行；
(4)各数据中心的资源管理器负责收集本数据中心的资源状态信息和监控MapReduce任务的执行，并定时将资源状态和MapReduce任务执行信息同步至全局任务调度中心；
(5)客户端实时从全局任务调度中心获取MapReduce任务执行状态信息，直至MapReduce任务结束。
3.如权利要求2所述的基于主从架构MapReduce任务跨数据中心的调度方法，其特征在于，所述MapReduce任务请求包括Map和Reduce的输入数据路径、输出数据路径、Map和Reduce任务个数、任务优先级、资源权限任何一特征。
4.如权利要求2所述的基于主从架构MapReduce任务跨数据中心的调度方法，其特征在于，所述全局任务调度中心预设调度算法根据任务请求和各数据中心的数据分布、系统性能、负载情况等信息，采用数据分布优先、性能优先策略定制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410344242.2A CN104123182B (zh) | 2014-07-18 | 2014-07-18 | 基于主从架构的MapReduce任务跨数据中心调度系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410344242.2A CN104123182B (zh) | 2014-07-18 | 2014-07-18 | 基于主从架构的MapReduce任务跨数据中心调度系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104123182A true CN104123182A (zh) | 2014-10-29 |
| CN104123182B CN104123182B (zh) | 2015-09-30 |
Family
ID=51768604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410344242.2A Active CN104123182B (zh) | 2014-07-18 | 2014-07-18 | 基于主从架构的MapReduce任务跨数据中心调度系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104123182B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104461740A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
| CN104850576A (zh) * | 2015-03-02 | 2015-08-19 | 武汉烽火众智数字技术有限责任公司 | 一种基于海量视频的快速特征提取系统 |
| CN105653357A (zh) * | 2014-11-11 | 2016-06-08 | 田文洪 | 一种Hadoop集群的在线最小化总完工时间的调度方法和装置 |
| CN106572191A (zh) * | 2016-11-15 | 2017-04-19 | 厦门市美亚柏科信息股份有限公司 | 跨数据中心协同计算方法及其系统 |
| CN106878354A (zh) * | 2015-12-11 | 2017-06-20 | 中国电信股份有限公司 | 用于多云存储系统间文件互传的方法、装置和系统 |
| CN107066546A (zh) * | 2017-03-20 | 2017-08-18 | 国家计算机网络与信息安全管理中心 | 一种基于mpp引擎的跨数据中心快速查询方法和系统 |
| CN107707582A (zh) * | 2015-12-30 | 2018-02-16 | 北京典赞科技有限公司 | 一种基于Host-Device架构的MapReduce计算方法 |
| CN107885762A (zh) * | 2017-09-19 | 2018-04-06 | 北京百度网讯科技有限公司 | 智能大数据系统、提供智能大数据服务的方法和设备 |
| CN108694082A (zh) * | 2018-05-14 | 2018-10-23 | 有时数联科技（北京）有限公司 | 一种跨域作业流调度方法及系统 |
| CN110414840A (zh) * | 2019-07-29 | 2019-11-05 | 中国工商银行股份有限公司 | 跨调度区进行统一调度的方法、系统以及相关设备 |
| CN111126895A (zh) * | 2019-11-18 | 2020-05-08 | 青岛海信网络科技股份有限公司 | 一种复杂场景下调度智能分析算法的管理仓库及调度方法 |
| CN111934958A (zh) * | 2020-07-29 | 2020-11-13 | 深圳市高德信通信股份有限公司 | 一种idc资源调度服务管理平台 |
| WO2022105337A1 (zh) * | 2020-11-23 | 2022-05-27 | 中国科学院计算机网络信息中心 | 一种任务调度方法与系统 |
| CN115357401A (zh) * | 2022-10-18 | 2022-11-18 | 苏州市中地行信息技术有限公司 | 一种基于多数据中心的任务调度与可视化方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101951411A (zh) * | 2010-10-13 | 2011-01-19 | 戴元顺 | 云调度系统及方法以及多级云调度系统 |
| CN102763086A (zh) * | 2012-01-18 | 2012-10-31 | 华为技术有限公司 | 分布式计算任务处理系统和任务处理方法 |
| CN102866918A (zh) * | 2012-07-26 | 2013-01-09 | 中国科学院信息工程研究所 | 面向分布式编程框架的资源管理系统 |
| CN102880510A (zh) * | 2012-09-24 | 2013-01-16 | 中国科学院对地观测与数字地球科学中心 | 基于多数据架构中心面向数据密集型应用的并行编程方法 |
| CN103647797A (zh) * | 2013-11-15 | 2014-03-19 | 北京邮电大学 | 一种分布式文件系统及其数据访问方法 |
-
2014
- 2014-07-18 CN CN201410344242.2A patent/CN104123182B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101951411A (zh) * | 2010-10-13 | 2011-01-19 | 戴元顺 | 云调度系统及方法以及多级云调度系统 |
| CN102763086A (zh) * | 2012-01-18 | 2012-10-31 | 华为技术有限公司 | 分布式计算任务处理系统和任务处理方法 |
| CN102866918A (zh) * | 2012-07-26 | 2013-01-09 | 中国科学院信息工程研究所 | 面向分布式编程框架的资源管理系统 |
| CN102880510A (zh) * | 2012-09-24 | 2013-01-16 | 中国科学院对地观测与数字地球科学中心 | 基于多数据架构中心面向数据密集型应用的并行编程方法 |
| CN103647797A (zh) * | 2013-11-15 | 2014-03-19 | 北京邮电大学 | 一种分布式文件系统及其数据访问方法 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105653357A (zh) * | 2014-11-11 | 2016-06-08 | 田文洪 | 一种Hadoop集群的在线最小化总完工时间的调度方法和装置 |
| CN104461740A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
| CN104461740B (zh) * | 2014-12-12 | 2018-03-20 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
| CN104850576B (zh) * | 2015-03-02 | 2018-07-24 | 武汉烽火众智数字技术有限责任公司 | 一种基于海量视频的快速特征提取系统 |
| CN104850576A (zh) * | 2015-03-02 | 2015-08-19 | 武汉烽火众智数字技术有限责任公司 | 一种基于海量视频的快速特征提取系统 |
| CN106878354A (zh) * | 2015-12-11 | 2017-06-20 | 中国电信股份有限公司 | 用于多云存储系统间文件互传的方法、装置和系统 |
| CN106878354B (zh) * | 2015-12-11 | 2020-05-08 | 中国电信股份有限公司 | 用于多云存储系统间文件互传的方法、装置和系统 |
| CN107707582A (zh) * | 2015-12-30 | 2018-02-16 | 北京典赞科技有限公司 | 一种基于Host-Device架构的MapReduce计算方法 |
| CN106572191A (zh) * | 2016-11-15 | 2017-04-19 | 厦门市美亚柏科信息股份有限公司 | 跨数据中心协同计算方法及其系统 |
| CN107066546B (zh) * | 2017-03-20 | 2021-03-09 | 国家计算机网络与信息安全管理中心 | 一种基于mpp引擎的跨数据中心快速查询方法和系统 |
| CN107066546A (zh) * | 2017-03-20 | 2017-08-18 | 国家计算机网络与信息安全管理中心 | 一种基于mpp引擎的跨数据中心快速查询方法和系统 |
| CN107885762A (zh) * | 2017-09-19 | 2018-04-06 | 北京百度网讯科技有限公司 | 智能大数据系统、提供智能大数据服务的方法和设备 |
| CN107885762B (zh) * | 2017-09-19 | 2021-06-11 | 北京百度网讯科技有限公司 | 智能大数据系统、提供智能大数据服务的方法和设备 |
| US11315034B2 (en) | 2017-09-19 | 2022-04-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Intelligent big data system, and method and apparatus for providing intelligent big data service |
| CN108694082A (zh) * | 2018-05-14 | 2018-10-23 | 有时数联科技（北京）有限公司 | 一种跨域作业流调度方法及系统 |
| CN108694082B (zh) * | 2018-05-14 | 2021-06-22 | 有时数联科技（北京）有限公司 | 一种跨域作业流调度方法及系统 |
| CN110414840A (zh) * | 2019-07-29 | 2019-11-05 | 中国工商银行股份有限公司 | 跨调度区进行统一调度的方法、系统以及相关设备 |
| CN111126895A (zh) * | 2019-11-18 | 2020-05-08 | 青岛海信网络科技股份有限公司 | 一种复杂场景下调度智能分析算法的管理仓库及调度方法 |
| CN111934958A (zh) * | 2020-07-29 | 2020-11-13 | 深圳市高德信通信股份有限公司 | 一种idc资源调度服务管理平台 |
| WO2022105337A1 (zh) * | 2020-11-23 | 2022-05-27 | 中国科学院计算机网络信息中心 | 一种任务调度方法与系统 |
| CN115357401A (zh) * | 2022-10-18 | 2022-11-18 | 苏州市中地行信息技术有限公司 | 一种基于多数据中心的任务调度与可视化方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104123182B (zh) | 2015-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104123182B (zh) | 基于主从架构的MapReduce任务跨数据中心调度系统及方法 | |
| CN109491790B (zh) | 基于容器的工业物联网边缘计算资源分配方法及系统 | |
| CN103092698B (zh) | 云计算应用自动部署系统及方法 | |
| Hashem et al. | MapReduce scheduling algorithms: a review | |
| CN104112049B (zh) | 基于P2P构架的MapReduce任务跨数据中心调度系统及方法 | |
| CN107450977A (zh) | 基于yarn的面向gpgpu集群的资源管理调度方法 | |
| CN114996018A (zh) | 面向异构计算的资源调度方法、节点、系统、设备及介质 | |
| CN104102533A (zh) | 一种基于带宽感知的Hadoop调度方法和系统 | |
| CN106371924A (zh) | 一种最小化MapReduce集群能耗的任务调度方法 | |
| CN106502790A (zh) | 一种基于数据分布的任务分配优化方法 | |
| Saravanan et al. | Advance Map Reduce Task Scheduling algorithm using mobile cloud multimedia services architecture | |
| CN114490049A (zh) | 在容器化边缘计算中自动分配资源的方法及系统 | |
| Saravanakumar et al. | An efficient technique for virtual machine clustering and communications using task-based scheduling in cloud computing | |
| Malathy et al. | Performance improvement in cloud computing using resource clustering | |
| Islam et al. | Resource management and scheduling for big data applications in cloud computing environments | |
| Lyu et al. | A Heterogeneous Cloud-Edge Collaborative Computing Architecture with Affinity-Based Workflow Scheduling and Resource Allocation for Internet-of-Things Applications | |
| CN111522637B (zh) | 一种基于成本效益的storm任务调度方法 | |
| US20230161620A1 (en) | Pull mode and push mode combined resource management and job scheduling method and system, and medium | |
| Mao et al. | Design and Optimization of Cloud-Oriented Workflow System. | |
| Cao et al. | Online cost-rejection rate scheduling for resource requests in hybrid clouds | |
| Divya et al. | Big Data Analysis and Its Scheduling Policy–Hadoop | |
| Liu | A Programming Model for the Cloud Platform | |
| Vargas-Solar et al. | JITA4DS: disaggregated execution of data science pipelines between the edge and the data centre | |
| Stavrinides et al. | Workload scheduling in fog and cloud environments: emerging concepts and research directions | |
| Fernández-Cerero et al. | Quality of cloud services determined by the dynamic management of scheduling models for complex heterogeneous workloads |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Weizhan Inventor after: Ruan Jianfei Inventor after: Zheng Qinghua Inventor after: Dong Bo Inventor after: Zhang Hanning Inventor after: He Huan Inventor before: Zhang Weizhan Inventor before: Zhang Hanning Inventor before: Zheng Qinghua Inventor before: Dong Bo Inventor before: He Huan |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: ZHANG WEIZHAN ZHANG HANNING ZHENG QINGHUA DONG BO HE HUAN TO: ZHANG WEIZHAN RUAN JIANFEI ZHENG QINGHUA DONG BO ZHANG HANNING HE HUAN |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20160415 Address after: 310053, tax building, No. 3738 South Ring Road, Hangzhou, Zhejiang, Binjiang District Patentee after: Servyou Software Group Co., Ltd. Address before: 710049 Shaanxi province Xi'an Beilin District Xianning Road No. 28 Patentee before: Xi'an Jiaotong University |