CN113094155B - Hadoop平台下的任务调度方法及装置 - Google Patents

Hadoop平台下的任务调度方法及装置 Download PDF

Info

Publication number
CN113094155B
CN113094155B CN201911338708.7A CN201911338708A CN113094155B CN 113094155 B CN113094155 B CN 113094155B CN 201911338708 A CN201911338708 A CN 201911338708A CN 113094155 B CN113094155 B CN 113094155B
Authority
CN
China
Prior art keywords
processed
task
tasks
stage
processing time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911338708.7A
Other languages
English (en)
Other versions
CN113094155A (zh
Inventor
马超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Liaoning Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Liaoning Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Liaoning Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201911338708.7A priority Critical patent/CN113094155B/zh
Publication of CN113094155A publication Critical patent/CN113094155A/zh
Application granted granted Critical
Publication of CN113094155B publication Critical patent/CN113094155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种Hadoop平台下的任务调度方法及装置，该方法包括：对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；根据所述映射阶段的处理耗时以及归约阶段中混洗时期以及排序时期的处理耗时对任务队列中的多个待处理任务进行重排序处理；根据重排序结果将待处理任务调度给执行节点以供进行任务处理。通过上述方式，本发明可以通过预估映射阶段以及归约阶段的混洗时期和排序时期的处理耗时，来对任务队列中的任务进行重排序，避免处理过程中的拥堵，以使任务的调度更为合理。

Description

Hadoop平台下的任务调度方法及装置
技术领域
本发明涉及计算机技术领域，具体涉及一种Hadoop平台下的任务调度方法及装置。
背景技术
随着“互联网+及5G+”的提出，各行业大中型企业每天都在产生海量的非结构化数据。海量数据的存储以及计算处理迫切需要一种新型的计算方式，云计算在这种情况下应运而生。而Hadoop平台是目前应用最广泛的云计算平台，也是专家学者们对大数据进行研究使用最多的平台。MapReduce是一种分布式计算框架，是Hadoop对大数据进行分布式计算的核心组件。MapReduce分布式计算框架的性能直接影响着Hadoop集群的性能，因此对MapReduce分布式计算框架作业调度算法进行研究，对提高Hadoop集群的性能有着重要的意义。
MapReduce分布式计算框架调度过程总体上分为Map(映射，下文中相同)阶段和Reduce(归约，下文中相同)阶段。Reduce阶段分为三个时期，包括shuffle(混洗，下文中相同)时期、sort(排序，下文中相同)时期以及Reduce时期，其中，在Shuffle时期的时候任务应当从各个Map任务所处的节点中将其需要处理的数据进行远程拷贝，在全部数据都拷贝结束的时候Shuffle时期也对随之结束；然后进入到Sort时期，Sort时期主要是将已经输入的数据根据顺序进行再次排列，将排列好的数据当作Reduce时期的输入数据；Reduce时期指的是把已经排序的数据交给Reduce()函数进一步处理，将最终的结果保存到HDFS中，在所有的Reduce任务都完成之后就意味着一个完整的MapReduce分布式计算框架全作业调度过程就实现了。
然而，现有技术中缺乏对于MapReduce分布式计算框架的内部调度研究关注不足，小作业执行过程会受到到大作业的占用，导致整体执行效率降低，同时数据倾斜问题会导致单一节点占用率超负荷，进而影响执行效率。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的Hadoop平台下的任务调度方法及装置。
根据本发明的一个方面，提供了一种Hadoop平台下的任务调度方法，包括：
对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；
根据所述映射阶段的处理耗时以及归约阶段中混洗时期以及排序时期的处理耗时对任务队列中的多个待处理任务进行重排序处理；
根据重排序结果将待处理任务调度给执行节点以供进行任务处理。
根据本发明的另一方面，提供了一种Hadoop平台下的任务调度系统，包括：
预估模块，适于对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；
排序模块，适于根据所述映射阶段的处理耗时以及归约阶段中混洗时期以及排序时期的处理耗时对任务队列中的多个待处理任务进行重排序处理；
调度模块，适于根据重排序结果将待处理任务调度给执行节点以供进行任务处理。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述Hadoop平台下的任务调度方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述Hadoop平台下的任务调度方法对应的操作。
根据本发明的Hadoop平台下的任务调度方法及装置，通过预估map阶段以及reduce阶段中shuffle时期以及sort时期的处理耗时，可以确定出map阶段和reduce阶段之间的任务处理的衔接情况，并据此对任务队列中的多个待处理任务进行重排序处理，以减少待处理任务执行过程中map阶段和reduce阶段之间的等待和拥堵。由此可见，本实施例方案，通过对MapReduce分布式计算框架内部各个阶段地处理耗时的预估，实现对任务队列中多个待处理任务的重排序，进而可以有效的解决map阶段和reduce阶段之间的处理等待以及进一步造成的任务拥堵的问题，有利于提高任务调度的合理性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明Hadoop平台下的任务调度方法实施例的流程图；
图2示出了本发明Hadoop平台下的任务调度方法另一个实施例的流程图；
图3示出了一个具体示例中的预测算法引擎的预测原理示意图；
图4示出了本发明Hadoop平台下的任务调度装置实施例的结构示意图；
图5示出了本发明计算设备实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明Hadoop平台下的任务调度方法实施例的流程图。如图1所示，该方法包括以下步骤：
步骤S110：对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估。
在本发明中，通过对reduce(归约，下文中相同)阶段中shuffle(混洗，下文中相同)时期以及sort(排序，下文中相同)时期的处理耗时进行预估，可以准确的确定reduce阶段的任务处理所需时长，进而有利于合理的进行任务调度。
其中，map(映射，下文中相同)阶段的处理耗时是指在map阶段即将处理任务的耗时，reduce阶段的shuffle时期和sort时期分别的处理耗时是指即将在reduce阶段进行复制和排序的任务的耗时。
步骤S120：根据该映射阶段的处理耗时以及归约阶段中混洗时期以及排序时期的处理耗时对任务队列中的多个待处理任务进行重排序处理。
具体地，若待处理任务经过map阶段处理后，无法顺利的进入到reduce阶段进行处理，则会造成任务拥堵，基于此，可以通过将map阶段的处理耗时，与reduce阶段中shuffle时期以及sort时期的处理耗时进行比较，根据比较结果判断经map阶段处理后的任务是否可顺利进入到reduce阶段，并据此对任务队列中的待处理任务进行顺序调整，以减少任务处理过程中的等待或拥堵。
举例来说，map阶段即将处理的任务a所需的处理耗时为3分钟，reduce阶段的shuffle时期和sort时期即将处理的任务b所需的处理耗时之和为5分钟，其中，前一阶段的处理耗时(3分钟)小于后一阶段的处理耗时(5分钟)，则任务a经map阶段处理后需要等待，而无法直接进入reduce阶段，则可能造成任务队列中后面的任务的拥堵，假设任务队列中的任务a之后存在任务c，预估该任务c在map阶段的处理耗时约为5分钟，则可通过在任务队列中将任务c调整到最前，以使map阶段和reduce阶段的任务处理可无缝衔接。
步骤S130：根据重排序结果将待处理任务调度给执行节点以供进行任务处理。
在对任务队列中的多个待处理任务进行重排序处理后，则按排序后的顺序调度任务队列中的待处理任务，然后经过map阶段和reduce阶段可完成任务的执行，减少map阶段与reduce阶段之间的等待，同时减少拥堵的可能。
根据本实施例提供的Hadoop平台下的任务调度方法，通过预估map阶段以及reduce阶段中shuffle时期以及sort时期的处理耗时，可以确定出map阶段和reduce阶段之间的任务处理的衔接情况，并据此对任务队列中的多个待处理任务进行重排序处理，以减少待处理任务执行过程中map阶段和reduce阶段之间的等待和拥堵。由此可见，本实施例方案，通过对MapReduce分布式计算框架内部各个阶段地处理耗时的预估，实现对任务队列中多个待处理任务的重排序，进而可以有效的解决map阶段和reduce阶段之间的处理等待以及进一步造成的任务拥堵的问题，有利于提高任务调度的合理性。
图2示出了本发明Hadoop平台下的任务调度方法另一个实施例的流程图。如图2所示，该方法包括以下步骤：
步骤S210：利用预测算法引擎预测映射阶段的处理耗时。
其中，预测算法引擎包含多种数据模型，该多种数据模型都是用于耗时处理的预估的。
具体地，预测算法引擎选择多种数据模型中的一种作为目标预测模型，当向预测算法引擎中输入连续的多个历史任务在映射阶段的实际耗时后，通过该目标预测模型预测出该连续的多个历史任务之后的待处理任务在映射阶段的处理耗时，其中，预测算法引擎根据前一次预测得到的待处理任务的处理耗时与该待处理任务的实际耗时的差值从多个数据模型中选择目标预测模型以用于当前的耗时预测；可选的，当该差值超过预设值时，则从多个数据模型中选择出异于前一次选择的目标预测模型。实际中，任务队列中的连续任务通常由一个总任务切分而来，即相邻的任务通常是同一类型的任务，通过前一次预测得到的处理耗时与实际耗时的差值来选择目标预测模型，可使得对连续任务的耗时预测逐渐趋于准确，提高map阶段的处理耗时的预测准确度，进而有利于提高后续任务调度的合理性。
图3示出了一个具体示例中的预测算法引擎的预测原理示意图。如图3所示，预测算法引擎中包括三种数据模型，分别为预测算法1、预测算法2以及预测算法3。下面结合图3举例说明预测的过程：若任务1至任务10为连续的多个历史任务，map阶段即将处理的待处理任务为任务11，通过选择目标预测模型以及输入任务1至任务10的处理时长，可以预测出任务11的处理耗时；此后，当任务11实际处理后，可得到任务11在map阶段的实际耗时，将任务11预测出的处理耗时与实际耗时进行比较，得到耗时的差值，若差值在1分钟以内，则不更换目标预测模型，若差值大于1分钟，则从多个数据模型中选择新的目标预测模型，并利用任务2至任务11的实际耗时预测任务12的处理耗时，此后按此方式类推。
另外，在本发明的一些可选的实施例中，根据差值的变化幅度将该差值引入补偿。其中，与更换目标预测模型相反，若差值小于或等于预设值，且连续多次预测的差值均在预设差值范围内波动，则利用该差值来修正预测得到的处理耗时。例如，将预测得到的处理耗时加上或减去该差值，得到更为准确的预测结果。
步骤S220：预估归约阶段的混洗时期以及排序时期的处理耗时。
一方面，shuffle时期的处理耗时的预估：根据待处理任务所属总任务的数据总量、该总任务被划分的任务数以及网络带宽预估该待处理任务在混洗时期的处理耗时。其中，通过读一个总任务进行划分，可得到若干待处理任务，则数据总量为待处理任务来源的总任务的数据量总值，例如，为2TB。实际中，shuffle时期是从map任务所处的节点中拷贝需要处理的数据，该拷贝过程所需的时长由待处理任务的数据量以及网络带宽决定，其中，数据量越大，处理耗时越长，网络带宽越宽，处理耗时越短。在一种具体的实施方式中，预估shuffle时期的处理耗时的公式如下：
Tsh＝S/R*Vnet，
式中，Tsh为shuffle时期的处理耗时，S为数据总量，R为任务数，Vnet为网络带宽。
另一方面，sort时期的处理耗时的预估：根据待处理任务所属总任务的数据总量、该总任务被划分的任务数以及每单位数据量排序所需时长预估该待处理任务在排序时期的处理耗时。可选的，每单位数据量排序所需时长可指1byte数据排序所需的时长。在一种具体的实施方式中，预估sort时期的处理耗时的公式如下：
Tso＝t*(S/R)*log2(S/R)，
式中，Tso为sort时期的处理耗时，算法时间复杂度为nlog2n，在本实施例中，n即为reduce节点待合并的数据量S/R，S为数据总量，R为任务数，以及t为1byte数据排序所需的时长。
经过上述两个方面，可以准确的预估shuffle时期和sort时期的处理耗时，进而便于后续进行任务排序。
步骤S230：根据该映射阶段的处理耗时以及归约阶段中混洗时期以及排序时期的处理耗时对任务队列中的多个待处理任务进行重排序处理。
具体地，在得到map阶段的处理耗时以及reduce阶段中shuffle时期以及sort时期的处理耗时后，将当前待处理任务之后的至少一个待处理任务在该映射阶段的处理耗时，分别与当前待处理任务在归约阶段的混洗时期和排序时期的处理耗时之和进行比较，得到对应至少一个待处理任务的至少一个第一时间差值，其中，当前待处理任务是指reduce阶段即将要处理的任务，以及，当前待处理任务之后的至少一个待处理任务是指任务队列中的至少一个待处理任务。和/或，将该当前待处理任务之后的至少一个待处理任务在该映射阶段的处理耗时，与当前待处理任务在归约阶段的混洗时期的处理耗时进行比较，得到对应至少一个待处理任务的至少一个第二时间差值。
下面以一个具体的举例来说明上述第一时间差值和第二时间差值的计算过程：reduce阶段即将要处理的为任务1，任务队列中前4个任务依次为任务2，任务3、任务4以及任务5，处理耗时的预估结果如下：
任务1，shuffle时期的处理耗时4分钟，sort时期的处理耗时1分钟；
任务2，map阶段的处理耗时3分钟；
任务3，map阶段的处理耗时5分钟；
任务4，map阶段的处理耗时1分钟；
任务5，map阶段的处理耗时1分钟；
相应的，计算得到对应任务2至任务5的第一时间差值分别为：3-(4+1)、5-(4+1)、1-(4+1)以及1-(4+1)；以及，计算得到对应任务2至任务5的第二时间差值分别为：3-4、5-4、1-4以及1-4。
根据上述举例可知，当第一时间差值为正值时，表明待处理任务在经过map阶段处理后无需等待即可进入reduce阶段，反而是reduce节点可能出现空闲；当第一时间差值为0时，表明待处理任务可在map阶段和reduce阶段之间无缝衔接的进行处理；当第一时间差值为负值时，表明待处理任务在经过map阶段的处理后需要等待reduce阶段完成当前待处理任务的处理。
以及，同理可知，当第二时间差值为正值时，表明待处理任务在经过map阶段处理后无需等待即可进入reduce阶段的shuffle时期，但是无法确保可顺利进入sort时期；当第二时间差值为0时，表明待处理任务在经过map阶段的处理后可无缝进入reduce阶段的shuffle时期，同样无法确保可顺利进入sort时期；当第一时间差值为负值时，表明待处理任务在经过map阶段的处理后无法进入shuffle时期。
基于上述结论，根据该对应至少一个待处理任务的第一时间差值和/或对应至少一个待处理任务的第二时间差值对任务队列中至少一个待处理任务进行重排序处理。其中，可通过判断至少一个待处理任务中是否存在第一时间差值大于或等于0的第一待处理任务，若存在第一待处理任务，则将该第一待处理任务调整至任务队列的最前，在前述举例中，则可以将任务3调整至最前；若不存在第一待处理任务，则判断至少一个待处理任务中是否存在第二时间差值大于或等于0的第二待处理任务，若存在第二待处理任务，则将该第二待处理任务调整至任务队列的最前。通过上述方式，可以尽可能的避免经map阶段处理后的任务进入reduce阶段时的等待，并且，在不存在第一待处理任务时，将至少能顺利进入reduce阶段的shuffle时期的第二待处理任务调整至最前，则可以降低等待的可能性。
进一步的，在本发明的一些可选的实施例中，根据该对应至少一个待处理任务的第一时间差值和/或对应至少一个待处理任务的第二时间差值对任务队列中至少一个待处理任务进行重排序处理进一步包括：判断至少一个待处理任务中对应前若干个待处理任务的第一时间差值是否小于0，以及判断对应前若干个待处理任务的第二时间差值小于0，若判断结果显示该至少一个待处理任务中对应前若干个待处理任务的第一时间差值小于0，且对应前若干个待处理任务的第二时间差值小于0，则表明若按照现有的任务队列依次调度，则前若干个待处理任务无法顺利进入reduce阶段，此时则进一步判断该前若干个待处理任务之后是否连续存在满足预设条件的一个或多个优先待处理任务，其中，预设条件为确定待处理任务是否为小作业任务的条件，若存在连续多个优先待处理任务，则将该多个优先待处理任务调整至该前若干个待处理任务之前。在这些可选的实施例中，在判断显示该前若干个待处理任务均会无法顺利进入reduce阶段时，通过将小作业任务调整至任务队列的最前，进而可以优先调度这些小作业任务，避免小作业任务的存在造成严重的拥堵。需要在此说明的是，在具体实施时，则首先利用该可选实施例中的方式进行小作业任务的前移，若不存在小作业任务，则进一步通过依次判断是否存在第一待处理任务和第二调度任务来进行重排序，进而可以优先避免小作业任务带来的拥堵，并可在此基础上尽量避免等待。
更进一步的，在这些可选的实施例中，判断所述前若干个待处理任务之后连续的一个或多个待处理任务的数据量是否小于预设数据量，若是，则判定所述一个或多个待处理任务为满足预设条件的一个或多个优先待处理任务；和/或，判断所述前若干个待处理任务之后连续的一个或多个待处理任务在映射阶段的处理耗时是否小于或等于预设耗时，若是，则判定所述一个或多个待处理任务为满足预设条件的一个或多个优先待处理任务。其中，当前若干个待处理任务之后连续的一个或多个待处理任务中，每个待处理任务的数据量较小，和/或处理耗时较短，则表明该一个或多个待处理任务为小作业任务。
在上述可选的实施例中，实际实施时，前若干个待处理任务优先为任务队列中的第一个待处理任务，在该第一个待处理任务的第一时间差值小于0，且第二时间差值小于0时，则判断其后是否存在连续小作业任务，若存在，则将小作业任务前移，避免因该第一个待处理任务处理过程中的等待而造成其后连续小作业任务的拥堵。仍以前文中的举例来说，若不存在任务3，则在判定出任务2的第一时间差值小于0，且第二时间差值小于0时，则将任务2之后连续的任务4和任务5(处理耗时均较短)调整至任务队列的最前。
步骤S240：根据重排序结果将待处理任务调度给执行节点以供进行任务处理。
具体地，按照任务队列中重排序后的顺序调度待处理任务进入MapReduce分布式计算框架进行处理，进而可以减少经map阶段处理后的任务进入reduce阶段时的等待，并且可以进一步的避免小作业任务的拥堵。
实际中，由于海量数据计算，在任务排序的基础上需要进行数据抽样，获得要执行的Reduce任务的key数据的分布情况。在一些可选的实施例中，通过蚁群算法求出这些key值，相对于Reduce节点数的平均值，然后为每一个Reduce分配接近平均值的key，进而实现Reduce节点上的负载均衡，有效避免数据倾斜。
根据本实施例提供的Hadoop平台下的任务调度方法，通过对Map阶段和Reduce阶段的耗时预估，并进行耗时比较，然后根据比较结果进行待处理任务的排序，以减少进入reduce阶段的等待时间；其中，预测算法引擎根据反馈的差值动态调整目标预测模型，以提高map阶段处理耗时预估的准确性；以及，当小作业任务之前存在无法顺利进入reduce阶段的待处理任务时，将小作业任务调整至任务队列的最前，以优先调度这些小作业任务进行处理，避免小作业的持续等待。
图4示出了本发明Hadoop平台下的任务调度装置实施例的结构示意图。
如图4所示，该装置包括：
预估模块410，适于对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；
排序模块420，适于根据所述映射阶段的处理耗时以及归约阶段中混洗时期以及排序时期的处理耗时对任务队列中的多个待处理任务进行重排序处理；
调度模块430，适于根据重排序结果将待处理任务调度给执行节点以供进行任务处理。
在一种可选的实施方式中，排序模块进一步适于：
将当前待处理任务之后的至少一个待处理任务在所述映射阶段的处理耗时，分别与当前待处理任务在归约阶段的混洗时期和排序时期的处理耗时之和进行比较，得到对应至少一个待处理任务的至少一个第一时间差值；和/或，将所述当前待处理任务之后的至少一个待处理任务在所述映射阶段的处理耗时，与当前待处理任务在归约阶段的混洗时期的处理耗时进行比较，得到对应至少一个待处理任务的至少一个第二时间差值；
根据所述对应至少一个待处理任务的第一时间差值和/或对应至少一个待处理任务的第二时间差值对任务队列中至少一个待处理任务进行重排序处理。
在一种可选的实施方式中，排序模块进一步适于：
若所述至少一个待处理任务中对应前若干个待处理任务的第一时间差值小于0，且对应前若干个待处理任务的第二时间差值小于0时，判断所述前若干个待处理任务之后是否连续存在满足预设条件的一个或多个优先待处理任务，若是，则将所述一个或多个优先待处理任务调整至所述前若干个待处理任务之前。
在一种可选的实施方式中，排序模块进一步适于：
判断所述前若干个待处理任务之后连续的一个或多个待处理任务的数据量是否小于预设数据量，若是，则判定所述一个或多个待处理任务为满足预设条件的一个或多个优先待处理任务；和/或，
判断所述前若干个待处理任务之后连续的一个或多个待处理任务在映射阶段的处理耗时是否小于或等于预设耗时，若是，则判定所述一个或多个待处理任务为满足预设条件的一个或多个优先待处理任务。
在一种可选的实施方式中，预估模块进一步适于：
预测算法引擎选择多种数据模型中的一种作为目标预测模型，当向预测算法引擎中输入连续的多个历史任务在映射阶段的实际耗时后，通过该目标预测模型预测出该连续的多个历史任务之后的待处理任务在映射阶段的处理耗时，其中，预测算法引擎根据前一次预测得到的待处理任务的处理耗时与该待处理任务的实际耗时的差值从多个数据模型中选择目标预测模型。
在一种可选的实施方式中，预估模块进一步适于：根据待处理任务所属总任务的数据总量、所述总任务被划分的任务数以及网络带宽预估所述待处理任务在混洗时期的处理耗时。
在一种可选的实施方式中，预估模块进一步适于：根据待处理任务所属总任务的数据总量、所述总任务被划分的任务数以及每单位数据量排序所需时长预估所述待处理任务在排序时期的处理耗时。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的Hadoop平台下的任务调度方法。
图5示出了本发明计算设备实施例的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图5所示，该计算设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。处理器502，用于执行程序510，具体可以执行上述用于计算设备的Hadoop平台下的任务调度方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作：
对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；
根据所述映射阶段的处理耗时以及归约阶段中混洗时期以及排序时期的处理耗时对任务队列中的多个待处理任务进行重排序处理；
根据重排序结果将待处理任务调度给执行节点以供进行任务处理。
在一种可选的方式中，所述程序510使所述处理器执行以下操作：
将当前待处理任务之后的至少一个待处理任务在所述映射阶段的处理耗时，分别与当前待处理任务在归约阶段的混洗时期和排序时期的处理耗时之和进行比较，得到对应至少一个待处理任务的至少一个第一时间差值；和/或，将所述当前待处理任务之后的至少一个待处理任务在所述映射阶段的处理耗时，与当前待处理任务在归约阶段的混洗时期的处理耗时进行比较，得到对应至少一个待处理任务的至少一个第二时间差值；
根据所述对应至少一个待处理任务的第一时间差值和/或对应至少一个待处理任务的第二时间差值对任务队列中至少一个待处理任务进行重排序处理。
在一种可选的方式中，所述程序510使所述处理器执行以下操作：
若所述至少一个待处理任务中对应前若干个待处理任务的第一时间差值小于0，且对应前若干个待处理任务的第二时间差值小于0时，判断所述前若干个待处理任务之后是否连续存在满足预设条件的一个或多个优先待处理任务，若是，则将所述一个或多个优先待处理任务调整至所述前若干个待处理任务之前。
在一种可选的方式中，所述程序510使所述处理器执行以下操作：
判断所述前若干个待处理任务之后连续的一个或多个待处理任务的数据量是否小于预设数据量，若是，则判定所述一个或多个待处理任务为满足预设条件的一个或多个优先待处理任务；和/或，
判断所述前若干个待处理任务之后连续的一个或多个待处理任务在映射阶段的处理耗时是否小于或等于预设耗时，若是，则判定所述一个或多个待处理任务为满足预设条件的一个或多个优先待处理任务。
在一种可选的方式中，所述程序510使所述处理器执行以下操作：
预测算法引擎选择多种数据模型中的一种作为目标预测模型，当向预测算法引擎中输入连续的多个历史任务在映射阶段的实际耗时后，通过该目标预测模型预测出该连续的多个历史任务之后的待处理任务在映射阶段的处理耗时，其中，预测算法引擎根据前一次预测得到的待处理任务的处理耗时与该待处理任务的实际耗时的差值从多个数据模型中选择目标预测模型。
在一种可选的方式中，所述程序510使所述处理器执行以下操作：
根据待处理任务所属总任务的数据总量、所述总任务被划分的任务数以及网络带宽预估所述待处理任务在混洗时期的处理耗时。
在一种可选的方式中，所述程序510使所述处理器执行以下操作：
根据待处理任务所属总任务的数据总量、所述总任务被划分的任务数以及每单位数据量排序所需时长预估所述待处理任务在排序时期的处理耗时。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (8)

1.一种Hadoop平台下的任务调度方法，包括：
对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；
将当前待处理任务之后的至少一个待处理任务在所述映射阶段的处理耗时，分别与当前待处理任务在归约阶段的混洗时期和排序时期的处理耗时之和进行比较，得到对应至少一个待处理任务的至少一个第一时间差值；和/或，将所述当前待处理任务之后的至少一个待处理任务在所述映射阶段的处理耗时，与当前待处理任务在归约阶段的混洗时期的处理耗时进行比较，得到对应至少一个待处理任务的至少一个第二时间差值；
若所述至少一个待处理任务中对应前若干个待处理任务的第一时间差值小于0，且对应前若干个待处理任务的第二时间差值小于0时，判断所述前若干个待处理任务之后是否连续存在满足预设条件的一个或多个优先待处理任务，若是，则将所述一个或多个优先待处理任务调整至所述前若干个待处理任务之前；
根据重排序结果将待处理任务调度给执行节点以供进行任务处理。
2.根据权利要求1所述的方法，其中，所述判断所述前若干个待处理任务之后是否连续存在满足预设条件的一个或多个优先待处理任务进一步包括：
判断所述前若干个待处理任务之后连续的一个或多个待处理任务的数据量是否小于预设数据量，若是，则判定所述一个或多个待处理任务为满足预设条件的一个或多个优先待处理任务；和/或，
判断所述前若干个待处理任务之后连续的一个或多个待处理任务在映射阶段的处理耗时是否小于或等于预设耗时，若是，则判定所述一个或多个待处理任务为满足预设条件的一个或多个优先待处理任务。
3.根据权利要求1所述的方法，其中，所述对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估进一步包括：
预测算法引擎选择多种数据模型中的一种作为目标预测模型，当向预测算法引擎中输入连续的多个历史任务在映射阶段的实际耗时后，通过该目标预测模型预测出该连续的多个历史任务之后的待处理任务在映射阶段的处理耗时，其中，预测算法引擎根据前一次预测得到的待处理任务的处理耗时与该待处理任务的实际耗时的差值从多个数据模型中选择目标预测模型。
4.根据权利要求1所述的方法，其中，所述对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估进一步包括：
根据待处理任务所属总任务的数据总量、所述总任务被划分的任务数以及网络带宽预估所述待处理任务在混洗时期的处理耗时。
5.根据权利要求1所述的方法，其中，所述对每个待处理任务在MapReduce分布式计算框架的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估进一步包括：
根据待处理任务所属总任务的数据总量、所述总任务被划分的任务数以及每单位数据量排序所需时长预估所述待处理任务在排序时期的处理耗时。
6.一种Hadoop平台下的任务调度系统，包括：
预估模块，适于对每个待处理任务在MapReduce的映射阶段的处理耗时和归约阶段的混洗时期以及排序时期的处理耗时进行预估；
排序模块，适于将当前待处理任务之后的至少一个待处理任务在所述映射阶段的处理耗时，分别与当前待处理任务在归约阶段的混洗时期和排序时期的处理耗时之和进行比较，得到对应至少一个待处理任务的至少一个第一时间差值；和/或，将所述当前待处理任务之后的至少一个待处理任务在所述映射阶段的处理耗时，与当前待处理任务在归约阶段的混洗时期的处理耗时进行比较，得到对应至少一个待处理任务的至少一个第二时间差值；若所述至少一个待处理任务中对应前若干个待处理任务的第一时间差值小于0，且对应前若干个待处理任务的第二时间差值小于0时，判断所述前若干个待处理任务之后是否连续存在满足预设条件的一个或多个优先待处理任务，若是，则将所述一个或多个优先待处理任务调整至所述前若干个待处理任务之前；
调度模块，适于根据重排序结果将待处理任务调度给执行节点以供进行任务处理。
7.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-5中任一项所述的Hadoop平台下的任务调度方法对应的操作。
8.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-5中任一项所述的Hadoop平台下的任务调度方法对应的操作。
CN201911338708.7A 2019-12-23 2019-12-23 Hadoop平台下的任务调度方法及装置 Active CN113094155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911338708.7A CN113094155B (zh) 2019-12-23 2019-12-23 Hadoop平台下的任务调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911338708.7A CN113094155B (zh) 2019-12-23 2019-12-23 Hadoop平台下的任务调度方法及装置

Publications (2)

Publication Number Publication Date
CN113094155A CN113094155A (zh) 2021-07-09
CN113094155B true CN113094155B (zh) 2023-07-18

Family

ID=76662888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911338708.7A Active CN113094155B (zh) 2019-12-23 2019-12-23 Hadoop平台下的任务调度方法及装置

Country Status (1)

Country Link
CN (1) CN113094155B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849334A (zh) * 2021-09-28 2021-12-28 咪咕文化科技有限公司 任务执行方法及装置
CN115250253B (zh) * 2022-06-22 2024-02-27 西南交通大学 带宽感知的归约处理方法以及ai模型的训练方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019855B (zh) * 2012-11-21 2015-06-03 北京航空航天大学 MapReduce作业执行时间预测方法
WO2014102917A1 (ja) * 2012-12-26 2014-07-03 株式会社日立製作所 並列処理方法、および並列計算機システム
CN104794216B (zh) * 2015-04-27 2017-11-28 无锡天脉聚源传媒科技有限公司 一种搜索结果排序方法及搜索结果排序装置
CN105117286B (zh) * 2015-09-22 2018-06-12 北京大学 MapReduce中任务的调度方法和流水化执行方法
US9558049B1 (en) * 2015-10-12 2017-01-31 International Business Machines Corporation Shuffle optimization in map-reduce processing
CN108845874B (zh) * 2018-06-25 2023-03-21 腾讯科技（深圳）有限公司 资源的动态分配方法及服务器
CN110119306B (zh) * 2019-05-22 2020-05-26 无锡华云数据技术服务有限公司 作业自动调度均衡方法、装置、设备及存储介质
CN110262896A (zh) * 2019-05-31 2019-09-20 天津大学 一种面向Spark系统的数据处理加速方法
CN110221909B (zh) * 2019-06-13 2023-01-17 东北大学 一种基于负载预测的Hadoop计算任务推测执行方法

Also Published As

Publication number Publication date
CN113094155A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
Le et al. Allox: compute allocation in hybrid clusters
US9513967B2 (en) Data-aware workload scheduling and execution in heterogeneous environments
CN109561148A (zh) 边缘计算网络中基于有向无环图的分布式任务调度方法
KR102585591B1 (ko) 이기종 프로세서 기반 엣지 시스템에서 slo 달성을 위한 인공지능 추론 스케쥴러
CN109960573B (zh) 一种基于智能感知的跨域计算任务调度方法及系统
CN113094155B (zh) Hadoop平台下的任务调度方法及装置
CN107341041B (zh) 基于优先队列的云任务多维约束回填调度方法
US20210390405A1 (en) Microservice-based training systems in heterogeneous graphic processor unit (gpu) cluster and operating method thereof
CN116627621B (zh) 服务器无感知计算中键值张量的传输方法、系统和装置
CN111736959B (zh) 异构集群下考虑数据亲和性的Spark任务调度方法
JP2022172503A (ja) 衛星観測計画立案システム、衛星観測計画立案方法、および衛星観測計画立案プログラム
CN117319373A (zh) 数据传输方法、装置、电子设备和计算机可读存储介质
US7293004B1 (en) Method for tuning state-based scheduling policies
CN115629858A (zh) 无服务器背景下函数实例数量自适应方法及应用
EP4226294A1 (en) Methods and apparatus for parallel quantum computing
CN112948087A (zh) 一种基于拓扑排序的任务调度方法及系统
CN115061794A (zh) 调度任务及训练神经网络模型的方法、装置、终端和介质
US11954527B2 (en) Machine learning system and resource allocation method thereof
CN116382925B (zh) 一种任务队列的动态调整方法、装置及存储介质
US7444316B1 (en) Method for scheduling jobs using distributed utility-based preemption policies
CN117667512A (zh) 一种基于图卷积神经网络的云存储系统副本选择方法
CN109871265A (zh) Reduce任务的调度方法及装置
CN117591251A (zh) 一种执行队列确定方法和管理设备以及计算集群
CN117938777A (zh) 一种工业互联网计算干扰避免方法、存储介质和处理器
US7363283B1 (en) Method for scheduling jobs using distributed utility-based oversubscription policies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant