CN112416538B - 一种分布式资源管理框架的多层次架构和管理方法 - Google Patents
一种分布式资源管理框架的多层次架构和管理方法 Download PDFInfo
- Publication number
- CN112416538B CN112416538B CN201910767009.8A CN201910767009A CN112416538B CN 112416538 B CN112416538 B CN 112416538B CN 201910767009 A CN201910767009 A CN 201910767009A CN 112416538 B CN112416538 B CN 112416538B
- Authority
- CN
- China
- Prior art keywords
- master
- layer structure
- super
- layer
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title abstract description 35
- 238000005192 partition Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 2
- 239000010410 layer Substances 0.000 description 88
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000002355 dual-layer Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种分布式资源管理框架的多层次架构和管理方法。其中，对于包括第一层结构Slave和第二层结构Master的集群，根据用户需求通过添加至少一个Super master层来扩展集群的层次结构数目或者通过删除至少一个已有的Super master层来缩减集群的层次结构数目，其中所述Super master层用于管理下属的第二层结构Master或者管理下属的其他Super master，所述第二层结构Master用于管理下属的第一层结构Slave。本发明的多层次架构和管理方法能够适配不同的集群规模并提高了集群的任务处理效率。
Description
技术领域
本发明涉及计算机集群技术领域，尤其涉及一种分布式资源管理框架的多层次架构和管理方法。
背景技术
在现代云计算平台的数据中心中，集群机器的数量成千上万，如2011年谷歌公布的集群节点规模可达12500台，2016年微软的数据中心的机器数量超过了5万台。同时，在这些大型的数据中心中，每天都有上万个作业和任务被调度和运行。
在多节点的并发执行环境中，各个节点的状态需要同步，并且在单个节点出现故障时，系统需要有效的机制保证其它节点不受影响。另外，集群所处理的资源往往非常庞大，少则几百台服务器，多则上万台，并且可能跨跃多个地域。集群中运行的应用也是数以千计，如何有效地管理这批资源，保证它们正常提供服务，需要强大的技术支撑。而分布式资源管理系统恰是保证系统状态的关键。
当前主流的分布式资源管理采用双层调度模式，例如，Mesos采用Master/Slave架构。Mesos有一个中央资源分配者Master负责管理集群中的所有Slave(Slave运行在机器节点上，每个Slave负责管理本节点上的任务Task，并将计算资源分配给任务执行器Executor)。Master动态的分配资源给不同的Frameworks(每个Framework是一种计算框架，例如Spark、Flink，也可以是使用者实现的一个业务模块)。Mesos的资源分配是Master主动向Framework提供的，Master通过将每一份空余资源只分给一个Framework来避免冲突，并且通过主资源公平(DRF)的方式保证所有Framework公平性和合理的资源利用率。Framework收到Master的Offers(一种消息类型，描述每个Slave上的可用资源，资源即机器信息，例如CPU数和内存数)，可以选择拒绝部分资源，然后再分配并调起Slave上的Executor执行任务。
在当前流行的分布式资源管理框架Mesos中，当Mesos Master向Framework提供资源时，缺乏根据Framework类型对资源进行选择的调度策略，存在将任务调度到同一机器节点上造成不同任务之间互相干扰的现象，在提高单位时间内任务吞吐量方面仍有改进空间。
发明内容
本发明的目的在于克服上述现有技术的缺陷，提供一种分布式资源管理框架的多层次架构和管理方法。
根据本发明的第一方面，提供一种分布式资源管理框架的多层次架构，包括第一层结构Slave和第二层结构Master，其中，根据用户需求通过添加至少一个Super master层来扩展集群的层次结构数目或者通过删除至少一个已有的Super master层来缩减集群的层次结构数目，其中所述Super master层用于管理下属的第二层结构Master或者管理下属的其他Super master，所述第二层结构Master用于管理下属的第一层结构Slave。
在一个实施例中，对于包括第一层结构Slave，第二层结构Master和至少一个Super master层的集群，由每个节点上运行的第一层结构Slave收集节点硬件信息和运行信息，发送给第二层结构Master，并且周期性地将运行信息发送给第二层结构Master，第二层结构Master将收集到的硬件信息发送给Super master层，而运行信息由第二层结构Master管理，通过接受其下属Slave的心跳信息定时更新。
在一个实施例中，对于包括第一层结构Slave和第二层结构Master的集群，根据用户要求执行以下的层次结构转换：
当用户要求的目标层次结构数目为3层时，启动第三层结构Super master并向指定Master发送消息，通过消息交互建立起第三层结构Super master管理第二层结构Master，第二层结构Master管理第一层结构slave的三层结构；
当用户要求的目标层次结构数目为4层时，启动第三层结构Super master和第四层结构Super master，第四层结构Super master向指定的第三层次结构Super master发送消息，通过消息交互建立起第四层结构Super master管理第三层结构Super master，第三层结构Super master向指定Master发送消息，通过消息交互建立起第三层结构Supermaster管理第二层结构Master，第二层结构Master管理第一层Slave的四层结构。
在一个实施例中，当用户要求的目标层次结构数目为2层时，将三层结构或四层结构的集群切换为具有两层结构，通过消息交互，注销第三层结构Super master和第四层结构Super master。
在一个实施例中，对于具有Super master层的集群，该Super master对其管理的Master划分分区，指定某个或某些Master管理的Slave运行一种类型的框架任务，并指定其他某个或某些Master管理的Slave运行另一种类型的框架任务。
在一个实施例中，对于配置为具有至少两层Super master的集群，高层Supermaster对其管理的低层Super master划分分区。
在一个实施例中，对于包括第一层结构Slave和第二层次结构Master的两层结构的集群，运行任务时指定Master的地址；对于包括第一层结构Slave、第二层结构Master和至少一个Super master层的三层结构及以上的集群，运行任务时指定Super master的地址。
根据本发明的第二方面，提供一种分布式资源管理框架的管理方法，包括以下步骤：
接收用户对于结构层次变更的请求；
基于用户请求，通过添加至少一个Super master层来扩展集群的层次结构数目或者通过删除至少一个已有的Super master层来缩减集群的层次结构数目，其中所述Supermaster层用于管理下属的第二层结构Master或者管理下属的其他Super master，所述第二层结构Master用于管理下属的第一层结构Slave。
在一个实施例中，对于包括第一层结构Slave，第二层结构Master和第三层结构Super master的三层结构的集群，任务调度过程包括：
第二层结构Master向第三层结构Supermaster注册；
作为通信调度接口的FrameworkDriver向第三层结构Supermaster注册；
第三层结构Supermaster获取框架名字并判断分区情况，向FrameworkDriver返回对应分区的Master信息；
FrameworkDriver向对应分区的Master注册并申请资源。
与现有技术相比，本发明的优点在于，通过引入更多的层次结构，改变了集群的调度模式及层次结构，与目前主流的两层调度模式相比，本发明的集群层次可以拓展到三层或者四层等，以适用于规模更大、节点更多的集群。此外，本发明对机器节点分区管理，对不同类型的Framework(框架)提供不同的资源，从而避免不同任务的干扰，提高了单位时间吞吐量。
附图说明
以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：
图1是根据本发明一个实施例的分布式资源管理框架的多层次架构的示意图；
图2是根据本发明一个实施例的任务调度过程的示意图。
具体实施方式
为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
在本文示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
本发明针对于大规模集群节点数量过多的问题，提出了一种分布式资源管理框架的多层次架构，针对集群规模动态变化，实现层次结构数目可变的动态模型，并且针对运行不同作业、任务调度及分配资源的问题，将节点进行分区管理。
图1是根据本发明一个实施例的分布式资源管理框架的多层次架构的示意图，其中示意了包括第一层结构Slave和第二层结构Master的两层结构，包括第一层结构Slave、第二层结构Master和第三层结构Super master的三层结构，以及包括第一层结构Slave、第二层结构Master、第三层结构Super master(也称为低层Super master)和第四层结构Super master的四层结构(也称为高层Super master)。
参见图1所示，可以根据用户需求实现两层结构、三层结构和四层结构或更多层结构之间的切换，从而适用于不同规模、不同计算量的集群。
例如，当初始状态为两层结构，用户需要变更为三层结构时，启动Super master并向指定Master发送消息，经过一系列消息通信，建立起由上至下Super master管理Master，Master管理Slave的三层结构。
当初始状态为两层结构，用户需要变更为四层结构时，启动一层Super master并向指定Master发送消息，经过一系列消息通信，再启动一层Super master，建立起由上至下高层Super master管理低层Super master，低层Super master管理Master，Master管理Slave的四层结构。
当初始状态为三层结构，用户需要变更为两层结构时，经过一系列消息通信，Super master注销，集群结构层次变更为Master/Slave的两层结构。
当初始状态为三层结构，用户需要变更为四层结构时，经过一系列消息通信，再启动一层Super master，建立起由上至下高层Super master管理低层Super master，低层Super master管理Master，Master管理Slave的四层结构。
当初始状态为四层结构，用户需要变更为两层结构时，经过一系列消息通信，低层Super master、高层Super master依次注销，集群结构层次变更为Master/Slave的两层结构。
当初始状态为四层结构，用户需要变更为三层结构时，经过一系列消息通信，注销一层Super master(例如注销低层Super master)，建立起由上至下Super master管理Master，Master管理Slave的三层结构。
本发明提出的全新的分布式资源管理框架的层次结构具有层次可变，分区管理功能。在一个实施例中，多层次架构包括以下功能模块：机器节点资源信息统计收集模块；集群层次结构变化模块；机器节点分区管理模块；任务提交及层次适配模块；任务调度算法模块。
具体地，结合图1和图2所示，机器节点资源信息统计收集模块用于收集节点的资源信息，例如，对于两层结构的架构，由每个节点上运行的Slave收集资源信息(包括节点硬件信息和运行时信息等)，发送给Master，并建立心跳连接，每隔一个时间段(如5秒)将运行时信息(如每个节点的CPU核数和内存容量使用情况等)发送给Master。
对于具有三层结构或四层结构的架构，即具有Super master的层次化集群中，Master将收集到的硬件信息发送给Super master，交由其管理，而运行时信息则仍由Master管理，通过接受Slave的心跳信息定时更新。
机器节点分区管理模块用于根据用户自身需求划分分区。例如，在具有Supermaster的层次化集群中，用户可根据自身需求划分分区。如集群所运行的Framework有Spark和Flink，Super master可对其管理的Master划分分区，指定某个或某些Master管理的Slave只运行Spark任务，另一部分Slave只运行Flink任务。通过进行分区管理，能够避免调度到同一机器节点的任务之间相互干扰，提高单位时间任务吞吐量。
又如，对于四层结构架构中，除了具有三层结构的功能外，Super master还可以对其管理的低层Super master划分分区。
任务提交和层次适配模块用于将任务提交至不同层次的不同节点，例如，当集群层次结构为两层(即Master/Slave架构)时，运行任务需指定Master的地址(包括IP和端口号)。
当集群层次结构为三层及以上(即存在Super master)时，运行任务需指定Supermaster的地址(包括IP和端口号)。
根据所指定的Master的地址或Super Master地址，FrameworkDriver向Master或Super master注册，经过一系列消息通信，等待Master分配资源。例如，当集群层次结构为三层时，FrameworkDriver先向Super master注册，等待Super master告知其管理对应分区的Master后，FrameworkDriver再与该Master建立连接，等待分配资源。
任务调度算法模块用于采用策略的软件设计模式，提供多种任务调度算法，用户可以指定选用不同的调度算法。例如，任务调度算法可包括现有的支配资源公平算法(DRF)、加权DRF算法、静态预留算法等。
在本发明实施例中，对机器节点进行分区管理体现在以下几个方面，即Master可对slave进行分区管理，Super master可对Master进行分区管理，高层Super Master可对低层Super Master进行分区管理。
参见图2所示，Framework driver的Scheduler(调度器)实现资源调度，按照作业的数据输入量，将之分解为若干任务，并为这些任务申请资源，监控这些任务的运行状态，发现任务运行失败时，重新为之申请资源。在图2中，Super master对其管理的Master划分分区，指定一个Master管理的Slave运行Spark任务，另一个Master管理的Slave运行Flink任务
例如，对于三层结构，任务调度过程包括以下步骤：1)、Master向Supermaster注册；2)、FrameworkDriver向Supermaster注册；(3)、Supermaster从Message FrameworkInfo的name中读取Framework名字并判断分区情况，向FrameworkDriver返回对应分区的Master信息，例如，如果是Spark框架，则返回Spark分区的Master IP和端口等信息；4)FrameworkDriver向对应分区的Master注册并申请资源。
又如，对于两层结构，任务调度过程是：某一Slave向Master汇报其空闲资源，如4个CPU、4GB内存；Master触发分配策略模块，如得到的反馈是FrameworkDriver要请求全部可用资源；Master向FrameworkDriver发送资源邀约，描述Slave上的可用资源；FrameworkDriver的调度器(Scheduler)响应Master，如需要在Slave上运行两个任务，第一个任务分配2个CPU和1GB RAM的资源，第二个任务分配1个CPU和2GB RAM的资源；最后，Master向Slave下发任务，为其分配适当的资源。
综上所述，在本发明提供的分布式资源管理框架的多层次架构，能够根据用户需求在两层次结构、三层次结构、四层次结构、甚至更多层次结构之间切换，这种层次结构之间的切换能够适用于不同的集群规模和计算规模。此外，本发明对机器节点分区管理，能够对不同类型的Framework提供不同的资源，避免不同任务的干扰，提高单位时间吞吐量。并且在任务调度方面，能够指定选用不同的调度算法。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，或者相关参数的调节和选取。所有这些改进和变换，及参数相关的调节和选取都应属于本发明所附权利要求的保护范围。
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (7)
1.一种分布式资源管理框架的多层次架构，包括第一层结构Slave和第二层结构Master，其特征在于，根据用户需求通过添加至少一个Super master层来扩展集群的层次结构数目或者通过删除至少一个已有的Super master层来缩减集群的层次结构数目，其中所述Super master层用于管理下属的第二层结构Master或者管理下属的其他Supermaster，所述第二层结构Master用于管理下属的第一层结构Slave；
其中，对于包括第一层结构Slave和第二层结构Master的集群，根据用户要求执行以下的层次结构转换：
当用户要求的目标层次结构数目为3层时，启动第三层结构Super master并向指定Master发送消息，通过消息交互建立起第三层结构Super master管理第二层结构Master，第二层结构Master管理第一层结构slave的三层结构；
当用户要求的目标层次结构数目为4层时，启动第三层结构Super master和第四层结构Super master，第四层结构Super master向指定的第三层次结构Super master发送消息，通过消息交互建立起第四层结构Super master管理第三层结构Super master，第三层结构Super master向指定Master发送消息，通过消息交互建立起第三层结构Super master管理第二层结构Master，第二层结构Master管理第一层Slave的四层结构；
其中，对于具有Super master层的集群，该Super master对其管理的Master划分分区，指定某个或某些Master管理的Slave运行一种类型的框架任务，并指定其他某个或某些Master管理的Slave运行另一种类型的框架任务；
其中，对于包括第一层结构Slave，第二层结构Master和至少一个Super master层的集群，由每个节点上运行的第一层结构Slave收集节点硬件信息和运行信息，发送给第二层结构Master，并且周期性地将运行信息发送给第二层结构Master，第二层结构Master将收集到的硬件信息发送给Super master层，而运行信息由第二层结构Master管理，通过接受其下属Slave的心跳信息定时更新。
2.根据权利要求1所述的分布式资源管理框架的多层次架构，其特征在于，还包括：当用户要求的目标层次结构数目为2层时，将三层结构或四层结构的集群切换为具有两层结构，通过消息交互，注销第三层结构Super master和第四层结构Super master。
3.根据权利要求1所述的分布式资源管理框架的多层次架构，其特征在于，对于配置为具有至少两层Super master的集群，高层Super master对其管理的低层Super master划分分区。
4.根据权利要求1所述的分布式资源管理框架的多层次架构，其特征在于，对于包括第一层结构Slave和第二层次结构Master的两层结构的集群，运行任务时指定Master的地址；对于包括第一层结构Slave、第二层结构Master和至少一个Super master层的三层结构及以上的集群，运行任务时指定Super master的地址。
5.一种基于权利要求1至4任一项所述的分布式资源管理框架的多层次架构的管理方法，包括以下步骤：
接收用户对于结构层次变更的请求；
基于用户请求，通过添加至少一个Super master层来扩展集群的层次结构数目或者通过删除至少一个已有的Super master层来缩减集群的层次结构数目，其中所述Supermaster层用于管理下属的第二层结构Master或者管理下属的其他Super master，所述第二层结构Master用于管理下属的第一层结构Slave；
其中，对于包括第一层结构Slave和第二层结构Master的集群，根据用户要求执行以下的层次结构转换：
当用户要求的目标层次结构数目为3层时，启动第三层结构Super master并向指定Master发送消息，通过消息交互建立起第三层结构Super master管理第二层结构Master，第二层结构Master管理第一层结构slave的三层结构；
当用户要求的目标层次结构数目为4层时，启动第三层结构Super master和第四层结构Super master，第四层结构Super master向指定的第三层次结构Super master发送消息，通过消息交互建立起第四层结构Super master管理第三层结构Super master，第三层结构Super master向指定Master发送消息，通过消息交互建立起第三层结构Super master管理第二层结构Master，第二层结构Master管理第一层Slave的四层结构；
其中，对于具有Super master层的集群，该Super master对其管理的Master划分分区，指定某个或某些Master管理的Slave运行一种类型的框架任务，并指定其他某个或某些Master管理的Slave运行另一种类型的框架任务；
其中，对于包括第一层结构Slave，第二层结构Master和至少一个Super master层的集群，由每个节点上运行的第一层结构Slave收集节点硬件信息和运行信息，发送给第二层结构Master，并且周期性地将运行信息发送给第二层结构Master，第二层结构Master将收集到的硬件信息发送给Super master层，而运行信息由第二层结构Master管理，通过接受其下属Slave的心跳信息定时更新。
6.根据权利要求5所述的方法，其特征在于，对于包括第一层结构Slave，第二层结构Master和第三层结构Super master的三层结构的集群，任务调度过程包括：
第二层结构Master向第三层结构Supermaster注册；
作为通信调度接口的FrameworkDriver向第三层结构Supermaster注册；
第三层结构Supermaster获取框架名字并判断分区情况，向FrameworkDriver返回对应分区的Master信息；
FrameworkDriver向对应分区的Master注册并申请资源。
7.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求5或6所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910767009.8A CN112416538B (zh) | 2019-08-20 | 2019-08-20 | 一种分布式资源管理框架的多层次架构和管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910767009.8A CN112416538B (zh) | 2019-08-20 | 2019-08-20 | 一种分布式资源管理框架的多层次架构和管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112416538A CN112416538A (zh) | 2021-02-26 |
| CN112416538B true CN112416538B (zh) | 2024-05-07 |
Family
ID=74779499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910767009.8A Active CN112416538B (zh) | 2019-08-20 | 2019-08-20 | 一种分布式资源管理框架的多层次架构和管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112416538B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112799931B (zh) * | 2021-03-15 | 2021-08-10 | 北京视界云天科技有限公司 | 日志采集方法、装置、系统、介质及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006059343A2 (en) * | 2004-11-30 | 2006-06-08 | White Vision Software Limited | A method and system for institution of information communication and computation framework |
| CN1805379A (zh) * | 2006-01-05 | 2006-07-19 | 西安交通大学 | 一种具有弹性体系架构的集群管理监控系统的构建方法 |
| CN103647830A (zh) * | 2013-12-13 | 2014-03-19 | 浪潮电子信息产业股份有限公司 | 一种集群管理系统中多层次配置文件的动态管理方法 |
| CN106293933A (zh) * | 2015-12-29 | 2017-01-04 | 北京典赞科技有限公司 | 一种支持多大数据计算框架的集群资源配置与调度方法 |
| CN107562528A (zh) * | 2017-09-11 | 2018-01-09 | 金蝶软件（中国）有限公司 | 支持多种计算框架的单元化按需计算方法及相关装置 |
| CN108268318A (zh) * | 2016-12-30 | 2018-07-10 | 华为技术有限公司 | 一种分布式系统任务分配的方法和装置 |
| CN108509256A (zh) * | 2017-02-28 | 2018-09-07 | 华为技术有限公司 | 调度运行设备的方法、设备和运行设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10305745B2 (en) * | 2016-06-20 | 2019-05-28 | Vmware, Inc. | Method and system for creating and managing aggregation service hierarchies |
-
2019
- 2019-08-20 CN CN201910767009.8A patent/CN112416538B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006059343A2 (en) * | 2004-11-30 | 2006-06-08 | White Vision Software Limited | A method and system for institution of information communication and computation framework |
| CN1805379A (zh) * | 2006-01-05 | 2006-07-19 | 西安交通大学 | 一种具有弹性体系架构的集群管理监控系统的构建方法 |
| CN103647830A (zh) * | 2013-12-13 | 2014-03-19 | 浪潮电子信息产业股份有限公司 | 一种集群管理系统中多层次配置文件的动态管理方法 |
| CN106293933A (zh) * | 2015-12-29 | 2017-01-04 | 北京典赞科技有限公司 | 一种支持多大数据计算框架的集群资源配置与调度方法 |
| CN108268318A (zh) * | 2016-12-30 | 2018-07-10 | 华为技术有限公司 | 一种分布式系统任务分配的方法和装置 |
| CN108509256A (zh) * | 2017-02-28 | 2018-09-07 | 华为技术有限公司 | 调度运行设备的方法、设备和运行设备 |
| CN107562528A (zh) * | 2017-09-11 | 2018-01-09 | 金蝶软件（中国）有限公司 | 支持多种计算框架的单元化按需计算方法及相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| 云环境下性能监测数据预处理方法研究;孙斌 等;《小型微型计算机系统》;第39卷(第9期);2016-2020 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112416538A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109565515B (zh) | 分布式资源管理系统中的动态租户结构调整的系统、设备和过程 | |
| US6366945B1 (en) | Flexible dynamic partitioning of resources in a cluster computing environment | |
| JP3978199B2 (ja) | リソースの利用およびアプリケーションの性能の監視システムおよび監視方法 | |
| KR102253582B1 (ko) | Dram 기반 프로세싱 장치를 위한 확장 아키텍처 | |
| CN110221920B (zh) | 部署方法、装置、存储介质及系统 | |
| KR102103596B1 (ko) | 계산 작업을 처리하기 위한 컴퓨터 클러스터 장치 및 이를 작동시키기 위한 방법 | |
| US20180157729A1 (en) | Distributed in-memory database system and method for managing database thereof | |
| US20200174844A1 (en) | System and method for resource partitioning in distributed computing | |
| CN108701059A (zh) | 多租户资源分配方法和系统 | |
| US20130198755A1 (en) | Apparatus and method for managing resources in cluster computing environment | |
| US11455187B2 (en) | Computing system for hierarchical task scheduling | |
| CN111538586A (zh) | 集群gpu资源管理调度系统、方法以及计算机可读存储介质 | |
| CN117480494A (zh) | 改进虚拟计算环境中资源分配的协调容器调度 | |
| US20200293382A1 (en) | Dynamic distributed work allocation | |
| Sudarsan et al. | ReSHAPE: A framework for dynamic resizing and scheduling of homogeneous applications in a parallel environment | |
| WO2021180092A1 (zh) | 任务调度方法和装置 | |
| KR20130100689A (ko) | 확장가능한 맞춤형 균형 부하 물리 메모리 관리 구조 | |
| WO2022151951A1 (zh) | 任务调度方法及管理系统 | |
| CN112416538B (zh) | 一种分布式资源管理框架的多层次架构和管理方法 | |
| Wo et al. | Overbooking-based resource allocation in virtualized data center | |
| CN115705247A (zh) | 一种运行进程的方法及相关设备 | |
| CN116157778A (zh) | 共享物理主机上混合集中分布式调度的系统和方法 | |
| US20230089925A1 (en) | Assigning jobs to heterogeneous graphics processing units | |
| Sharma et al. | A review of cloud computing scheduling algorithms | |
| CN114489978A (zh) | 资源调度方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |