CN110597621A - 集群资源的调度方法与系统 - Google Patents

集群资源的调度方法与系统 Download PDF

Info

Publication number
CN110597621A
CN110597621A CN201910736536.2A CN201910736536A CN110597621A CN 110597621 A CN110597621 A CN 110597621A CN 201910736536 A CN201910736536 A CN 201910736536A CN 110597621 A CN110597621 A CN 110597621A
Authority
CN
China
Prior art keywords
resource
task
scheduling
cluster
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910736536.2A
Other languages
English (en)
Inventor
陈远光
宇世飞
方军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suning Financial Technology Nanjing Co Ltd
Original Assignee
Suning Financial Technology Nanjing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Financial Technology Nanjing Co Ltd filed Critical Suning Financial Technology Nanjing Co Ltd
Priority to CN201910736536.2A priority Critical patent/CN110597621A/zh
Publication of CN110597621A publication Critical patent/CN110597621A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开集群资源的调度方法与系统，其中，该调度方法包括：基于任务优先级实时进行任务的资源调度；实时获取集群的总资源信息和任务执行信息，遍历正在执行的每项任务的实时资源占用数据；根据异常标准实时判断所述资源占用数据是否出现异常，并根据判断结果对任务的资源调度进行实时优化，降低了YARN在高负载情况下调度异常和争用资源等情况的出现，进而提升集群运算能力和可靠性。本发明公开的集群资源的调度系统，采用该调度方法，能够有效提升了集群运算能力和可靠性，解决了在服务高峰期出现资源争用与调度异常等问题。

Description

集群资源的调度方法与系统
技术领域
本发明涉及大数据分布式计算中的资源调度领域，尤其涉及集群资源的调度方法与系统。
背景技术
随着数据的增长以及企业每天处理越来越多的数据，原本的BI(BusinessIntelligence)商业智能模式已经不能满足于企业的数据存储与分析功能，以Hadoop为代表的高性能、高可靠和高可扩展性的大数据的平台应运而生。其中YARN(Yet AnotherResource Negotiator,简称YARN)作为Hadoop 2.x系列原生资源调度系统，可以为编程模型MapReduce，Storm，Flink等在内的多种计算框架提供统一的资源管理和任务调度。
尽管YARN的出现对于集群在利用率，统一资源管理，数据共享等多个方面有着极大的好处，但是YARN在集群计算服务高峰期，也会出现资源争用与调度异常等问题的出现。以苏宁为例，在“618”，“双十一”等电商购物节期间，因为数据的爆发式增长，对于集群的运算能力有着很大的挑战，因而，急需一种高效的、可靠的集群资源调度方法与系统，解决在服务高峰期出现资源争用与调度异常等问题。
发明内容
本发明的目的在于提供集群资源的调度方法与系统，用于提升集群运算能力和可靠性，解决在服务高峰期出现资源争用与调度异常等问题。
为了实现上述目的，本发明提供如下技术方案：
一种集群资源的调度方法，包括步骤：
基于任务优先级实时进行任务的资源调度；
实时获取集群的总资源信息和任务执行信息，遍历正在执行的每项任务的实时资源占用数据；
根据异常标准实时判断所述资源占用数据是否出现异常，并根据判断结果对任务的资源调度进行实时优化。
优选地，所述基于任务优先级实时进行任务的资源调度的方法为：
资源管理器采用独立的线程基于任务优先级实时对节点管理器进行任务的资源调度；
当所述节点管理器通过发送心跳包向所述资源管理器汇报自身状态时，所述资源管理器将资源调度的结果通过心跳通信发送给对应的节点管理器；
任务的资源调度与心跳通信采用异步并行的执行方式。
较佳地，所述任务优先级以xml文件的形式预先配置。
具体地，所述集群的总资源信息和所述任务执行信息通过YARN页面服务的表述性状态应用程序接口获取。
优选地，所述资源占用数据包括CPU占用数据、内存占用数据、执行时间占用数据以及异常次数。
进一步地，还包括步骤：
周期性的将所述总资源信息和所述任务执行信息存储到数据库中；
对统计周期内的每项任务的资源占用数据进行聚合；
通过对每项任务在不同时段的资源占用数据进行统计分析，制定异常标准，并将所述异常标准的配置参数更新到配置表中。
优选地，所述异常标准的配置参数包括节点CPU占用阈值、内存占用阈值，以及执行时间占用阈值。
进一步地，还包括步骤：通过数据建模的方式将所述总资源信息、所述任务执行信息和正在执行的每项任务的实时资源占用数据转换成报表，并将所述报表导入到资源数据分析平台并显示。
一种集群资源的调度系统，采用上述集群资源的调度方法，所述系统包括YARN集群调度模块和资源监控模块，其中，
所述YARN集群调度模块包括资源管理器和节点管理器，资源管理器基于任务优先级对节点管理器实时进行任务的资源调度；所述资源管理器与所述节点管理器之间保持心跳通信；所述资源调度与所述心跳通信采用异步并行的执行方式；
所述资源监控模块用于通过实时获取集群的总资源信息和任务执行信息，遍历正在执行的每项任务的实时资源占用数据；根据异常标准实时判断所述资源占用数据是否出现异常或者预判所述资源占用数据是否会出现异常，并根据判断结果对任务的资源调度进行实时优化。
优选地，所述系统还包括数据库、标准制定模块、数据转换模块和资源数据分析平台，其中，
所述数据库用于周期性地存储所述总资源信息和所述任务执行信息，对统计周期内的每项任务的资源占用数据进行聚合，并统计每项任务在不同时段的资源占用数据；
所述标准制定模块用于根据每项任务在不同时段的资源占用数据制定异常标准，并将所述异常标准的配置参数更新到配置表中；
所述数据转换模块用于通过数据建模的方式将所述总资源信息、所述任务执行信息和所述正在执行的每项任务的实时资源占用数据转换成报表；
所述资源数据分析平台用于导入所述报表并显示。
与现有技术相比，本发明提供的一种集群资源的调度方法与系统具有以下有益效果：
本发明提供的集群资源的调度方法中，基于任务优先级实时进行任务的资源调度，可以根据资源需求协调资源的调度过程，更合理地分配和限制资源的使用；通过实时获取集群的总资源信息和任务执行信息，来遍历正在执行的每项任务的实时资源占用数据，直观清晰的对所有正在执行的任务进行监督管理；根据异常标准实时判断资源占用数据是否出现异常，并根据判断结果对任务的资源调度进行实时优化，可以降低YARN在高负载情况下调度异常和争用资源等情况的出现，进而提升集群运算能力和可靠性。
本发明还提供的集群资源的调度系统，采用上述集群资源的调度方法，该系统有效的提升了集群运算能力和可靠性，解决了在服务高峰期出现资源争用与调度异常等问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例中提供的一种集群资源的调度方法的流程图；
图2为本发明实施例中提供的一种集群资源的调度系统的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
请参阅图1，本实施例提供的一种集群资源的调度方法，包括步骤：
基于任务优先级实时进行任务的资源调度；
实时获取集群的总资源信息和任务执行信息，遍历正在执行的每项任务的实时资源占用数据；
根据异常标准实时判断资源占用数据是否出现异常，并根据判断结果对任务的资源调度进行实时优化。
基于任务优先级实时进行任务的资源调度，可以根据资源需求协调资源的调度过程，更合理地分配和限制资源的使用；遍历正在执行的每项任务的实时资源占用数据，直观清晰的对所有正在执行的任务进行监督管理；根据异常标准实时判断资源占用数据是否出现异常，并对任务的资源调度进行实时优化，可以降低YARN在高负载情况下调度异常和争用资源等情况的出现，进而提升集群运算能力和可靠性。
基于任务优先级实时进行任务的资源调度的方法为：
资源管理器采用独立的线程基于任务优先级实时对节点管理器进行任务资源调度；当节点管理器通过发送心跳包向资源管理器汇报自身状态时，资源管理器将资源调度的结果通过心跳通信发送给对应的节点管理器；任务资源调度与心跳通信采用异步并行的执行方式。
实际开发中，任务优先级以xml文件的形式预先配置。例如：Fair Scheduler除了需要在yarn-site.xml文件中启用和配置之外，还需要一个XML文件来配置资源池以及配额，而该XML中每个资源池的配额可以动态更新，之后使用命令：yarn rmadmin–refreshQueues来使得其生效即可，不用重启Yarn集群，可以根据资源需求协调资源的调度过程，更合理地分配和限制资源的使用。
资源管理器采用Capacity调度器也就是日常说的容器调度器进行任务资源的调度分配，Capacity调度器采用层次化的队列设计，这种层次化的队列设计保证了子队列可以使用父队列设置的全部资源。这样通过层次化的管理，更容易合理分配和限制资源的使用；Capacity调度器队列上都会设置一个资源的占比，这样可以保证每个队列都不会占用整个集群的资源，每个队列还设有严格的访问控制，用户只能向自己的队列里面提交任务，而且不能修改或者访问其他队列的任务，但是通过队列的容量限制，多个用户就可以共享同一个集群，同时保证每个队列分配到自己的容量，提高利用率；采用Capacity调度器可以弹性分配，空闲的资源可以被分配给任何队列，当多个队列出现争用的时候，则会按照比例进行平衡。
除此之外，Capacity调度器支持动态修改调整容量、权限等的分配，可以在运行时直接修改，还提供给管理员界面，来显示当前的队列状况。管理员可以在运行时，添加一个队列；但是不能删除一个队列。管理员还可以在运行时暂停某个队列，这样可以保证当前的队列在执行过程中，集群不会接收其他的任务，如果一个队列被设置成了stopped，那么就不能向他或者子队列上提交任务了，可以有效地基于任务优先级以及资源需求进行任务资源的调度。
本实施例提供的一种集群资源的调度方法中，使用了连续进行任务资源调度的机制，不用等待节点管理器向资源管理器发送心跳再进行任务调度，而是由一个独立的线程进行实时的资源分配等调度，与节点管理器的心跳出发的调度相互异步并行进行。当心跳到来，只需要把调度结果通过心跳响应告诉对应的及诶单管理器即可，解决了传统的调度方法中，当一个节点管理器即使有了剩余资源，也只能等心跳发送之后才能调度任务，进而导致的调度缓慢、不够及时的问题。
以调度MapReduce计算框架程序为例，说明任务的资源调度过程：
S1、客户端(Client)向资源管理器(ResourceManager，简称RM)申请提交一个MapReduce应用程序，资源管理器同意后，向客户端返回应用程序的资源提交路径和Application.id.路径。
S2、客户端向节点管理器(NodeManager，简称NM)提供资源提交路径，并提交程序运行所需要的资源与配置信息。
S3、客户端向资源管理申请运行应用程序主控器(ApplicationMaster，简称AppMaster)，资源管理器将用户的请求初始化成任务，并将任务放到任务列表里，等待分配给与之保持心跳通信的节点管理器。
S4、资源管理器采用独立的线程，利用Capacity调度器基于任务优先级、集群负载率以及任务评估分配任务给节点管理器。
S5、其中一个节点管理器NodeManager1从资源管理器领取到任务，该节点管理器创建容器，在容器中创建启动MapReduceAppMaster，并且从客户端资源提交路径下，下载任务资源到本地，同时像资源管理器申请运行MapTask程序；
S6、同样资源管理器基于配置表中的任务优先级向其他的节点管理器分发MapTask任务。领到MapTask任务的及诶单管理器NodeManager2和NodeManager3开始创建容器(Container)。
S8:领到MapTask任务的及诶单管理器下载任务资源到本地.然后MapReduceAppMaster向接收到任务的节点管理器发送程序启动脚本。
S9:MapReduceAppmaster进一步向资源管理器申请容器，运行reduce task。这个时候调度机制仍然采用独立的线程基于任务优先级、集群负载率以及任务评估进行，最后将数据存储或输出到指定的目录。到此，基于本调度方法的集群完成了MapRedcue程序的调度运算。
一个集群同时有多个任务同时进行调度运算，本实施例提供的一种集群资源的调度方法中，通过YARN页面服务的表述性状态应用程序接口(Representational StateTransfer,简称REST)获取集群的总资源信息和任务执行信息，从而遍历正在执行的每项任务的实时资源占用数据，包括CPU占用数据、内存占用数据、执行时间占用数据以及异常次数，直观清晰的对所有正在执行的任务进行监督管理，根据异常标准实时分析，可以对任务的资源占用情况是否出现异常，或者是否会出现异常进行预判，当任务的资源占用数据超出异常标准时判断任务的资源占用情况出现异常，当任务的资源占用数据接近异常标准时判断任务的资源占用情况将会出现异常，进而可以降低YARN在高负载情况下调度异常和争用资源等情况的出现。可以降低YARN在高负载情况下调度异常和争用资源等情况的出现，提高调度方法的可靠性和稳定性和集群的运算能力。
该异常标准可以通过以下步骤预设/更新到配置表中：
周期性的将总资源信息和任务执行信息存储到mysql等数据库中；
对统计周期内的每项任务的资源占用数据进行聚合；
通过对每项任务在不同时段的资源占用数据进行统计分析，制定异常标准，并将异常标准的配置参数更新到配置表中。
例如，按天统计粒度，对统计周期内的每项任务的资源占用数据进行聚合，统计出每项任务的资源占用数据，如CPU占用数据、内存占用数据、执行时间占用数据以及异常次数。同时还通过对集群不同时段的资源占用数据分析，制定出对应的异常标准的配置参数，如节点CPU占用阈值、内存占用阈值，以及执行时间占用阈值等配置信息，并将异常标准的配置参数更新到配置表中，异常标准的制定，有效地降低YARN在高负载情况下调度异常和争用资源等情况的出现，进而将集群的运算能力最大化。
除此之外，还可以通过数据建模的方式将数据库中的总资源信息、任务执行信息和正在执行的每项任务的实时资源占用数据转换成报表，并将报表导入到资源数据分析平台并利用屏幕显示，便于研发和运维人员实时地观察Hadoop的资源使用情况，做出对应的优化和处理。
本实施例提供的一种集群资源的调度方法，既优化了任务的资源调度过程，又对该调度过程增加了监控和分析的方法，有效地提升了集群运算能力和可靠性，解决了在服务高峰期出现资源争用与调度异常等问题。
实施例二
请参阅图2，本发明实施例还提供一种集群资源的调度系统，采用上一实施例的集群资源的调度方法，系统包括YARN集群调度模块和资源监控模块。
其中，YARN集群调度模块包括资源管理器和节点管理器，资源管理器基于任务优先级对节点管理器实时进行任务的资源调度；资源管理器与节点管理器之间保持心跳通信；资源调度与心跳通信采用异步并行的执行方式；资源监控模块用于通过实时获取集群的总资源信息和任务执行信息，遍历正在执行的每项任务的实时资源占用数据；根据异常标准实时判断资源占用数据是否出现异常或者预判资源占用数据是否会出现异常，并根据判断结果对任务的资源调度进行实时优化。
优选地，该系统还包括数据库、标准制定模块、数据转换模块和资源数据分析平台。
其中，数据库用于周期性地存储总资源信息和任务执行信息，对统计周期内的每项任务的资源占用数据进行聚合，并统计每项任务在不同时段的资源占用数据；标准制定模块用于根据每项任务在不同时段的资源占用数据制定异常标准，并将异常标准的配置参数更新到配置表中；数据转换模块用于通过数据建模的方式将总资源信息、任务执行信息和正在执行的每项任务的实时资源占用数据转换成报表；资源数据分析平台用于导入报表并显示。
与现有技术相比，本发明实施例提供的集群资源的调度系统，采用上述实施例中提供的集群资源的调度方法，其有益效果与上述实施例提供的集群资源的调度方法的有益效果相同，既优化了任务的资源调度过程，又对该调度过程增加了监控和分析的模块，有效地提升了集群运算能力和可靠性，解决了在服务高峰期出现资源争用与调度异常等问题。
在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种集群资源的调度方法，其特征在于，包括步骤：
基于任务优先级实时进行任务的资源调度；
实时获取集群的总资源信息和任务执行信息，遍历正在执行的每项任务的实时资源占用数据；
根据异常标准实时判断所述资源占用数据是否出现异常，并根据判断结果对任务的资源调度进行实时优化。
2.根据权利要求1所述的集群资源的调度方法，其特征在于，所述基于任务优先级实时进行任务的资源调度的方法为：
资源管理器采用独立的线程基于任务优先级实时对节点管理器进行任务的资源调度；
当所述节点管理器通过发送心跳包向所述资源管理器汇报自身状态时，所述资源管理器将资源调度的结果通过心跳通信发送给对应的节点管理器；
任务的资源调度与心跳通信采用异步并行的执行方式。
3.根据权利要求1所述的集群资源的调度方法，其特征在于，所述任务优先级以xml文件的形式预先配置。
4.根据权利要求1所述的集群资源的调度方法，其特征在于，所述集群的总资源信息和所述任务执行信息通过YARN页面服务的表述性状态应用程序接口获取。
5.根据权利要求1所述的集群资源的调度方法，其特征在于，所述资源占用数据包括CPU占用数据、内存占用数据、执行时间占用数据以及异常次数。
6.根据权利要求1所述的集群资源的调度方法，其特征在于，还包括步骤：
周期性的将所述总资源信息和所述任务执行信息存储到数据库中；
对统计周期内的每项任务的资源占用数据进行聚合；
通过对每项任务在不同时段的资源占用数据进行统计分析，制定异常标准，并将所述异常标准的配置参数更新到配置表中。
7.根据权利要求6所述的集群资源的调度方法，其特征在于，所述异常标准的配置参数包括节点CPU占用阈值、内存占用阈值，以及执行时间占用阈值。
8.根据权利要求1所述的集群资源的调度方法，其特征在于，还包括步骤：
通过数据建模的方式将所述总资源信息、所述任务执行信息和正在执行的每项任务的实时资源占用数据转换成报表，并将所述报表导入到资源数据分析平台并显示。
9.一种集群资源的调度系统，采用上述权利要求1-8中任一权利要求所述的集群资源的调度方法，其特征在于，所述系统包括YARN集群调度模块和资源监控模块，其中，
所述YARN集群调度模块包括资源管理器和节点管理器，资源管理器基于任务优先级对节点管理器实时进行任务的资源调度；所述资源管理器与所述节点管理器之间保持心跳通信；所述资源调度与所述心跳通信采用异步并行的执行方式；
所述资源监控模块用于通过实时获取集群的总资源信息和任务执行信息，遍历正在执行的每项任务的实时资源占用数据；根据异常标准实时判断所述资源占用数据是否出现异常或者预判所述资源占用数据是否会出现异常，并根据判断结果对任务的资源调度进行实时优化。
10.根据权利要求9所述的集群资源的调度系统，其特征在于，所述系统还包括数据库、标准制定模块、数据转换模块和资源数据分析平台，其中，
所述数据库用于周期性地存储所述总资源信息和所述任务执行信息，对统计周期内的每项任务的资源占用数据进行聚合，并统计每项任务在不同时段的资源占用数据；
所述标准制定模块用于根据每项任务在不同时段的资源占用数据制定异常标准，并将所述异常标准的配置参数更新到配置表中；
所述数据转换模块用于通过数据建模的方式将所述总资源信息、所述任务执行信息和所述正在执行的每项任务的实时资源占用数据转换成报表；
所述资源数据分析平台用于导入所述报表并显示。
CN201910736536.2A 2019-08-09 2019-08-09 集群资源的调度方法与系统 Pending CN110597621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910736536.2A CN110597621A (zh) 2019-08-09 2019-08-09 集群资源的调度方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910736536.2A CN110597621A (zh) 2019-08-09 2019-08-09 集群资源的调度方法与系统

Publications (1)

Publication Number Publication Date
CN110597621A true CN110597621A (zh) 2019-12-20

Family

ID=68854135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910736536.2A Pending CN110597621A (zh) 2019-08-09 2019-08-09 集群资源的调度方法与系统

Country Status (1)

Country Link
CN (1) CN110597621A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294290A (zh) * 2020-02-26 2020-06-16 肖莎莎 一种基于大数据的资源调度方法
CN111290917A (zh) * 2020-02-26 2020-06-16 深圳市云智融科技有限公司 基于yarn的资源监控方法、装置及终端设备
CN111708604A (zh) * 2020-05-28 2020-09-25 北京赛博云睿智能科技有限公司 一种智能运维支撑方法
CN111857990A (zh) * 2020-06-23 2020-10-30 苏州浪潮智能科技有限公司 一种加强yarn长类型服务调度的方法、系统
CN112015549A (zh) * 2020-08-07 2020-12-01 苏州浪潮智能科技有限公司 一种基于服务器集群的调度节点的选择抢占方法及系统
CN112749055A (zh) * 2020-12-29 2021-05-04 拉卡拉支付股份有限公司 资源消耗计量方法、装置、电子设备及存储介质
CN113342561A (zh) * 2021-06-18 2021-09-03 上海哔哩哔哩科技有限公司 任务诊断方法及系统
CN113487900A (zh) * 2021-07-06 2021-10-08 北京邮电大学 一种针对卫星图像的异步道路信息提取系统及其控制方法
CN113760671A (zh) * 2020-10-19 2021-12-07 北京沃东天骏信息技术有限公司 在线任务诊断方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500119A (zh) * 2013-09-06 2014-01-08 西安交通大学 一种基于预调度的任务分配方法
CN108021450A (zh) * 2017-12-04 2018-05-11 北京小度信息科技有限公司 基于yarn的作业分析方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500119A (zh) * 2013-09-06 2014-01-08 西安交通大学 一种基于预调度的任务分配方法
CN108021450A (zh) * 2017-12-04 2018-05-11 北京小度信息科技有限公司 基于yarn的作业分析方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小昌昌的博客: "Yarn资源请求处理和资源分配原理解析", 《HTTPS://BLOG.CSDN.NET/ZHANYUANLIN/ARTICLE/DETAILS/78799131》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294290A (zh) * 2020-02-26 2020-06-16 肖莎莎 一种基于大数据的资源调度方法
CN111290917A (zh) * 2020-02-26 2020-06-16 深圳市云智融科技有限公司 基于yarn的资源监控方法、装置及终端设备
CN111294290B (zh) * 2020-02-26 2021-01-29 宁波云鸟软件科技有限公司 一种基于大数据的资源调度方法
CN111708604A (zh) * 2020-05-28 2020-09-25 北京赛博云睿智能科技有限公司 一种智能运维支撑方法
CN111857990A (zh) * 2020-06-23 2020-10-30 苏州浪潮智能科技有限公司 一种加强yarn长类型服务调度的方法、系统
CN111857990B (zh) * 2020-06-23 2023-01-10 苏州浪潮智能科技有限公司 一种加强yarn长类型服务调度的方法、系统
CN112015549A (zh) * 2020-08-07 2020-12-01 苏州浪潮智能科技有限公司 一种基于服务器集群的调度节点的选择抢占方法及系统
CN112015549B (zh) * 2020-08-07 2023-01-06 苏州浪潮智能科技有限公司 一种基于服务器集群的调度节点的选择抢占方法及系统
CN113760671A (zh) * 2020-10-19 2021-12-07 北京沃东天骏信息技术有限公司 在线任务诊断方法、装置和电子设备
CN112749055A (zh) * 2020-12-29 2021-05-04 拉卡拉支付股份有限公司 资源消耗计量方法、装置、电子设备及存储介质
CN113342561A (zh) * 2021-06-18 2021-09-03 上海哔哩哔哩科技有限公司 任务诊断方法及系统
CN113487900A (zh) * 2021-07-06 2021-10-08 北京邮电大学 一种针对卫星图像的异步道路信息提取系统及其控制方法

Similar Documents

Publication Publication Date Title
CN110597621A (zh) 集群资源的调度方法与系统
CN103092698B (zh) 云计算应用自动部署系统及方法
WO2021213293A1 (zh) 一种面向群智感知的泛在操作系统
CN107291545B (zh) 计算集群中多用户的任务调度方法及设备
Coutinho et al. Elasticity in cloud computing: a survey
CN104123182B (zh) 基于主从架构的MapReduce任务跨数据中心调度系统及方法
CN105912401B (zh) 一种分布式数据批处理系统和方法
CN104298550B (zh) 一种面向Hadoop的动态调度方法
CN109995669B (zh) 分布式限流方法、装置、设备及可读存储介质
US20200174844A1 (en) System and method for resource partitioning in distributed computing
EP3454210B1 (en) Prescriptive analytics based activation timetable stack for cloud computing resource scheduling
CN108762900A (zh) 高频任务调度方法、系统、计算机设备和存储介质
CN111338791A (zh) 集群队列资源的调度方法、装置、设备及存储介质
CN104735095A (zh) 一种云计算平台作业调度方法及装置
CN106790706A (zh) 一种数据资源优化的方法、平台及系统
Sun et al. QoS-aware task placement with fault-tolerance in the edge-cloud
US11307898B2 (en) Server resource balancing using a dynamic-sharing strategy
CN115525406A (zh) 一种分布式异步任务调度系统
CN117762582A (zh) 基于多云异构管理平台的算力任务调度方法及系统
CN111857990A (zh) 一种加强yarn长类型服务调度的方法、系统
CN114896049A (zh) 电力人工智能平台作业任务调度方法、系统、设备及介质
CN114443293A (zh) 一种大数据平台的部署系统及方法
CN109032809A (zh) 基于遥感影像存储位置的异构并行调度系统
CN107018160B (zh) 一种基于层次化的制造资源和云化方法
Poltavtseva et al. Planning of aggregation and normalization of data from the Internet of Things for processing on a multiprocessor cluster

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220