CN112463390A - 一种分布式任务调度方法、装置、终端设备及存储介质 - Google Patents

一种分布式任务调度方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN112463390A
CN112463390A CN202011443427.0A CN202011443427A CN112463390A CN 112463390 A CN112463390 A CN 112463390A CN 202011443427 A CN202011443427 A CN 202011443427A CN 112463390 A CN112463390 A CN 112463390A
Authority
CN
China
Prior art keywords
nodes
node
task
load
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011443427.0A
Other languages
English (en)
Inventor
蔡斌冰
彭琪伟
段思欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN202011443427.0A priority Critical patent/CN112463390A/zh
Publication of CN112463390A publication Critical patent/CN112463390A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

本发明涉及一种分布式任务调度方法、装置、终端设备及存储介质，分布式任务调度装置包括任务分类模块和节点管理模块，其中，任务分类模块用于负责任务分片的管理及分类功能，节点规划模块用于负责节点的管理及任务分配功能。本发明能够实现对分布式任务的自动化科学调度，大大降低了系统管理人员的工作负担。

Description

一种分布式任务调度方法、装置、终端设备及存储介质
技术领域
本发明涉及分布式系统领域，具体地涉及一种分布式任务调度方法、装置、终端设备及存储介质。
背景技术
资源利用率关系到分布式系统性能的优劣，为作业选取合适的节点有利于提高分布式系统的资源利用率。目前，主流的调度器，例如公平调度器，计算能力调度器等，在资源规划方面，主要是根据分布式系统中节点的资源量，包括CPU资源和内存资源，进行分配，但是并未对客户端提交的作业进行规划。在节点负载处理上，默认的任务分配和副本放置策略主要针对同构环境，未考虑节点间的异构问题，因此在异构的环境下，由于节点性能的差异，会导致分布式系统负载不均衡。
近几年，随着计算机硬件的发展，机器学习领域再次呈现出一片繁荣的景象。机器学习的落地实施是业界追求的目标。分布式系统中天然存在大量数据集，这为机器学习创造了一个绝佳的训练和落地环境。分布式系统与机器学习的结合顺应了科学技术的发展趋势，也使机器学习有更实质性的落地实施。Apache Spark，Apache Flink等知名开源软件就是最好的例子，他们拥有健全的分布式机器学习库，同时仍在不断发展壮大。
在分布式系统中，有大量配置参数需要系统管理人员设置，并且要求系统管理人员拥有较专业的技术水平。
发明内容
本发明旨在提供一种分布式任务调度方法、装置、终端设备及存储介质，以解决上述问题。为此，本发明采用的具体技术方案如下：
根据本发明的一方面，提供了一种分布式任务调度方法，其包括以下步骤：
S1.在分布式系统的所有集群节点中，根据选举算法，会有一个节点晋升为主节点，该主节点负责管理集群节点的元信息，包括节点规划模块和任务分配模块；
S2.在分布式系统启动阶段，节点规划模块根据节点资源情况将集群的节点规划成充足资源类、正常资源类和紧张资源类三大类，同时根据节点的负载情况，进一步将节点分成高负载节点，正常负载节点，以及空闲节点三类；
S3.在分布式系统运行过程中，节点规划模块会定期根据节点的资源状况对节点进行重新划分资源类别，以及根据节点的负载情况判断节点的负载类型；
S4.当分布式集群遇到故障时，节点规划模块会重新执行步骤S3；
S5.在作业执行过程中，作业会被分成很多任务片，任务分类模块根据任务的各项需求指标，运用机器学习算法对任务进行分类，最终发送任务至指定资源类型中的指定节点上；
S6.当某个任务执行失败时，任务分类模块会重新评估任务的各项指标，并为其分配适合的队列；
S7.当集群的某个节点处于空闲状态时，该节点可利用心跳通知主节点为其分配合适的任务。
进一步地，步骤S1还包括：配置一个节点作为主节点的备份节点，负责主节点的容错工作。
进一步地，步骤S2还包括配置充足资源类、正常资源类和紧张资源类三类节点的数量占比。优选地，充足资源类、正常资源类和紧张资源类三类节点的数量占比为30％，40％和30％。
进一步地，S2-S4中根据节点资源情况将集群的节点规划成充足资源类、正常资源类和紧张资源类三大类的计算公式如下：
score＝CPU*30％+Memory*30％+Time*40％，
其中，score为资源量的最终成绩，CPU表示CPU资源量，Memory表示内存资源量，Time表示网络延迟；S2-S4中根据节点的负载情况将节点分成高负载节点、正常负载节点和空闲节点三类的计算公式如下：
load＝CPU*30％+Memory*30％+Disk*20％+Network*20％，
其中，load表示负载情况，CPU表示所有内核的总处理器利用率，Memory表示活动进程占用的物理内存，Disk表示所有物理驱动器的总利用率，Network表示当前主要网络上的网络利用率。
进一步地，当分布式系统中添加新节点或者更新节点资源时，节点规划模块会计算节点资源量的最终得分，根据得分将节点划入对应的类别中。
进一步地，步骤S5还包括：客户端提交的作业被拆分成多个任务之后，任务和分布式系统节点之间，使用多队列缓存的形式管理，主节点根据集群中节点的现状分配队列中的任务，保证任务正常完成。
进一步地，在队列缓存中，任务分类模块会自适应地调整队列大小。
根据本发明的另一方面，还提供一种分布式任务调度装置，其可包括任务分类模块和节点管理模块，其中，任务分类模块用于负责任务分片的管理及分类功能，当客户端提交作业后，在分布式系统中，作业会被分成若干个任务分片，任务分类模块会评估任务分片的信息并根据评估的任务分片信息对任务分片进行分类，任务分片被正确划分之后，任务分类模块将其推入队列缓存的指定任务队列中；节点规划模块用于负责节点的管理及任务分配功能，分布式系统通过选主算法推举出一个主节点，并设置一个备份节点用于辅助主节点，节点规划模块根据节点信息将节点划分为三大类：充足资源类节点、正常资源类节点以及紧张资源类节点，在分布式系统运行过程中，节点规划模块根据节点的负载情况，将节点再次细分成高负载节点，正常负载节点和空闲节点三类，根据当前请求的任务所属队列以及集群节点划分情况，把任务指派到合适的节点上执行，当分布式系统中某个节点处于空闲或者低负载状态下时，它会通过心跳向主节点反馈，主节点同样会从合适的队列中为其指派任务。
根据本发明的又一方面，提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
根据本发明的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明采用上述技术方案，具有的有益效果是：本发明能够实现对分布式任务的自动化科学调度，大大降低了系统管理人员的工作负担。
附图说明
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
图1是本发明的分布式任务调度装置的原理框图。
具体实施方式
现结合附图和具体实施方式对本发明进一步说明。
如图1所示，本发明实施例提供的任务调度装置包括：
任务分类模块100，其用于负责任务分片的管理及分类功能。具体过程如下：
当客户端提交作业后，在分布式系统中，作业会被分成若干个任务分片。
任务分类模块会评估任务分片的信息，包括请求的CPU资源量，请求的内存资源量，请求节点与集群中节点的平均网络延迟，真实数据的具体位置，传输真实数据的时间，以及预留错误重启的时间等信息。
任务分类模块根据评估的任务分片信息对任务分片进行分类。任务分片携带着相关信息经过机器学习模型计算后，将会被归入指定类别。类别一共有三种，包括需求大量资源的任务类、正常资源需求的任务类和需求较少资源的任务类。
机器学习模型主要考虑任务分片信息对任务分类的影响程度，选取互信息作为衡量标准，并校正了互信息存在偏向于选择取值较多的特征的问题。计算规则如下：
Figure BDA0002830778650000051
其中，|D|表示样本个数，K表示类别数，Ck表示属于第k类的样本个数，n表示某个特征划分数据集的类别数，Dik表示子集Di中属于Ck的样本。
最终，机器学习模型通过Softmax函数输出任务分片所属类型的概率。
Softmax函数如下：
Figure BDA0002830778650000052
其中，i表示第i类。
在实际运行过程中，分布式系统管理员根据实际作业配置任务类别的占比。例如，需求大量资源的任务占比25％，正常资源需求量的任务占比50％，需求较少资源的任务占比25％。当机器学习模型计算结果小于0.25时，任务分片会被认为是需求较少资源的任务；当机器学习模型计算结果大于0.75时，任务分片会被认为是需求大量资源的任务。
任务分片被正确划分之后，任务分类模块将其推入队列缓存的指定任务队列中。例如，需求较少资源的任务被推送到队列A中，需求大量资源的任务被推送到队列B，其余被推送到队列C。
在队列缓存中，任务分类模块会自适应地调整队列大小。分布式系统管理员设置了队列缓存的比例后，任务分类模块会自适应地调整任务加入指定队列的频率。例如，A队列的长度配额是25个任务，用于缓存需求较少资源的任务；B队列的长度配额是25个任务，用于缓存需求大量资源的任务；其余任务加入C队列中，其长度配额是50个任务。当A队列满额时，任务分类模块会自动将任务推入C队列中；同理，当C队列满额时，符合C队列条件的任务也会自动缓存到B队列中。
节点规划模块200，用于负责节点的管理及任务分配功能。具体过程如下：
在分布式系统启动阶段，节点加入集群时会携带节点信息。一方面，分布式系统通过选主算法推举出一个主节点，并设置一个备份节点用于辅助主节点。另一方面，节点规划模块根据节点信息，包括CPU信息、内存信息和路由信息等，将节点划分为三大类：充足资源类节点、正常资源类节点以及紧张资源类节点。划分规则如下：
分布式系统管理员根据实际集群情况配置三类节点数量占比。例如，充足资源类节点占比30％，正常资源类节点占比40％，紧张资源类节点占比30％。节点规划模块通过以下方式对节点进行划分：
score＝CPU*30％+Memory*30％+Time*40％，
其中，score为资源量的最终成绩，CPU表示CPU资源量，Memory表示内存资源量，Time表示网络延迟。
在分布式系统运行过程中，节点规划模块根据节点的负载情况，将节点再次细分成高负载节点，正常负载节点，空闲节点等三类。计算公式如下：
load＝CPU*30％+Memory*30％+Disk*20％+Network*20％，
其中，load表示负载情况，CPU表示所有内核的总处理器利用率，Memory表示活动进程占用的物理内存，Disk表示所有物理驱动器的总利用率，Network表示当前主要网络上的网络利用率。
主节点有两种分配任务的方式：一种是根据当前请求的任务所属队列，以及集群节点划分情况，把任务指派到合适的节点上执行。另一种是当分布式系统中某个节点处于空闲或者低负载状态下时，它会通过心跳向主节点反馈，主节点同样会从合适的队列中为其指派任务。通过主动和被动的方式，主节点管理着整个分布式系统集群，从而实现资源合理利用，控制节点负载均衡。
当分布式系统中添加新节点或者更新节点资源时，节点规划模块会计算节点资源量的最终得分，根据得分将节点划入对应的类别中。由于是新加入的节点，负载状况较低，此时主节点会优先将任务分配到这些节点上执行。
综上，本发明提供的分布式调度方法可以包括以下步骤：
S1.在分布式系统的所有集群节点中，根据选举算法，会有一个节点晋升为主节点，该主节点负责管理集群节点的元信息，包括节点规划模块和任务分配模块。所有客户端的请求先请求主节点，再进行作业的指派。另外，会有一个节点作为主节点的备份节点，负责主节点的容错工作。
S2.在分布式系统启动阶段，节点规划模块根据节点资源情况将集群的节点规划成充足资源类、正常资源类和紧张资源类三大类，同时根据节点的负载情况，进一步将节点分成高负载节点，正常负载节点，以及空闲节点三类。两种分类的具体计算公式已在上文中进行了描述，这里不再赘述。当分布式系统中添加新节点或者更新节点资源时，节点规划模块会计算节点资源量的最终得分，根据得分将节点划入对应的类别中。
S3.在分布式系统运行过程中，节点规划模块会定期根据节点的资源状况对节点进行重新划分资源类别，以及根据节点的负载情况判断节点的负载类型。
S4.当分布式集群遇到故障时，例如脑裂，节点规划模块会重新执行步骤S3。
S5.在作业执行过程中，作业会被分成很多任务片，任务分类模块根据任务的各项需求指标，运用机器学习算法对任务进行分类，最终发送任务至指定资源类型中的指定节点上。客户端提交的作业被拆分成多个任务之后，任务和分布式系统节点之间，使用多队列缓存的形式管理，主节点根据集群中节点的现状分配队列中的任务，保证任务正常完成。
S6.当某个任务执行失败时，任务分类模块会重新评估任务的各项指标，并为其分配适合的队列。
S7.当集群的某个节点处于空闲状态时，该节点可利用心跳通知主节点为其分配合适的任务。
通过本发明方法，分布式系统可以自动化科学地进行分布式任务调度，无需系统管理员进行太多干预，大大降低了系统管理的工作负担。
在本发明的实施例中，还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述方法的步骤S1-S7。
进一步地，该终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述终端设备的组成结构仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤S1-S7。
终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法S1-S7中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (10)

1.一种分布式任务调度方法，其特征在于，包括以下步骤：
S1.在分布式系统的所有集群节点中，根据选举算法，会有一个节点晋升为主节点，该主节点负责管理集群节点的元信息，包括节点规划模块和任务分配模块；
S2.在分布式系统启动阶段，节点规划模块根据节点资源情况将集群的节点规划成充足资源类、正常资源类和紧张资源类三大类，同时根据节点的负载情况，进一步将节点分成高负载节点，正常负载节点，以及空闲节点三类；
S3.在分布式系统运行过程中，节点规划模块会定期根据节点的资源状况对节点进行重新划分资源类别，以及根据节点的负载情况判断节点的负载类型；
S4.当分布式集群遇到故障时，节点规划模块会重新执行步骤S3；
S5.在作业执行过程中，作业会被分成很多任务片，任务分类模块根据任务的各项需求指标，运用机器学习算法对任务进行分类，最终发送任务至指定资源类型中的指定节点上；
S6.当某个任务执行失败时，任务分类模块会重新评估任务的各项指标，并为其分配适合的队列；
S7.当集群的某个节点处于空闲状态时，该节点可利用心跳通知主节点为其分配合适的任务。
2.如如权利要求1所述的分布式任务调度方法，其特征在于，步骤S1还包括：配置一个节点作为主节点的备份节点，负责主节点的容错工作。
3.如权利要求1所述的分布式任务调度方法，其特征在于，步骤S2还包括配置充足资源类、正常资源类和紧张资源类三类节点的数量占比。
4.如权利要求1所述的分布式任务调度方法，其特征在于，S2-S4中根据节点资源情况将集群的节点规划成充足资源类、正常资源类和紧张资源类三大类的计算公式如下：
score＝CPU*30％+Memory*30％+Time*40％，
其中，score为资源量的最终成绩，CPU表示CPU资源量，Memory表示内存资源量，Time表示网络延迟；S2-S4中根据节点的负载情况将节点分成高负载节点、正常负载节点和空闲节点三类的计算公式如下：
load＝CPU*30％+Memory*30％+Disk*20％+Network*20％，
其中，load表示负载情况，CPU表示所有内核的总处理器利用率，Memory表示活动进程占用的物理内存，Disk表示所有物理驱动器的总利用率，Network表示当前主要网络上的网络利用率。
5.如权利要求4所述的分布式任务调度方法，其特征在于，当分布式系统中添加新节点或者更新节点资源时，节点规划模块会计算节点资源量的最终得分，根据得分将节点划入对应的类别中。
6.如权利要求1所述的分布式任务调度方法，其特征在于，步骤S5还包括：客户端提交的作业被拆分成多个任务之后，任务和分布式系统节点之间，使用多队列缓存的形式管理，主节点根据集群中节点的现状分配队列中的任务，保证任务正常完成。
7.如权利要求6所述的分布式任务调度方法，其特征在于，在队列缓存中，任务分类模块会自适应地调整队列大小。
8.一种分布式任务调度装置，其特征在于，包括任务分类模块和节点管理模块，其中，任务分类模块用于负责任务分片的管理及分类功能，当客户端提交作业后，在分布式系统中，作业会被分成若干个任务分片，任务分类模块会评估任务分片的信息并根据评估的任务分片信息对任务分片进行分类，任务分片被正确划分之后，任务分类模块将其推入队列缓存的指定任务队列中；节点规划模块用于负责节点的管理及任务分配功能，分布式系统通过选主算法推举出一个主节点，并设置一个备份节点用于辅助主节点，节点规划模块根据节点信息将节点划分为三大类：充足资源类节点、正常资源类节点以及紧张资源类节点，在分布式系统运行过程中，节点规划模块根据节点的负载情况，将节点再次细分成高负载节点，正常负载节点和空闲节点三类，根据当前请求的任务所属队列以及集群节点划分情况，把任务指派到合适的节点上执行，当分布式系统中某个节点处于空闲或者低负载状态下时，它会通过心跳向主节点反馈，主节点同样会从合适的队列中为其指派任务。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
CN202011443427.0A 2020-12-11 2020-12-11 一种分布式任务调度方法、装置、终端设备及存储介质 Pending CN112463390A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011443427.0A CN112463390A (zh) 2020-12-11 2020-12-11 一种分布式任务调度方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011443427.0A CN112463390A (zh) 2020-12-11 2020-12-11 一种分布式任务调度方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN112463390A true CN112463390A (zh) 2021-03-09

Family

ID=74801319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011443427.0A Pending CN112463390A (zh) 2020-12-11 2020-12-11 一种分布式任务调度方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN112463390A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254220A (zh) * 2021-07-01 2021-08-13 国汽智控(北京)科技有限公司 网联汽车负载协同控制方法、装置、设备及存储介质
CN113608878A (zh) * 2021-08-18 2021-11-05 上海德拓信息技术股份有限公司 一种基于资源权重计算的任务分布式调度方法与系统
CN114116181A (zh) * 2022-01-20 2022-03-01 湖南云畅网络科技有限公司 一种分布式的数据分析任务调度系统及方法
CN114518963A (zh) * 2022-04-21 2022-05-20 中国航空工业集团公司沈阳飞机设计研究所 一种面向机载端系统的边缘信息协同处理方法及系统
WO2023093354A1 (en) * 2021-11-23 2023-06-01 International Business Machines Corporation Avoidance of workload duplication among split-clusters
WO2023168937A1 (zh) * 2022-03-09 2023-09-14 中兴通讯股份有限公司 数据处理方法、装置、计算机设备及可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446179A (zh) * 2018-03-14 2018-08-24 重庆邮电大学 基于负载均衡机制的权重优先Task任务调度方法
CN109032801A (zh) * 2018-07-26 2018-12-18 郑州云海信息技术有限公司 一种请求调度方法、系统及电子设备和存储介质
CN109254842A (zh) * 2017-07-12 2019-01-22 腾讯科技（深圳）有限公司 分布式流式系统的资源管理方法、装置及可读存储介质
CN111708627A (zh) * 2020-06-22 2020-09-25 中国平安财产保险股份有限公司 基于分布式调度框架的任务调度方法以及装置
CN111813513A (zh) * 2020-06-24 2020-10-23 中国平安人寿保险股份有限公司 基于分布式的实时任务调度方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254842A (zh) * 2017-07-12 2019-01-22 腾讯科技（深圳）有限公司 分布式流式系统的资源管理方法、装置及可读存储介质
CN108446179A (zh) * 2018-03-14 2018-08-24 重庆邮电大学 基于负载均衡机制的权重优先Task任务调度方法
CN109032801A (zh) * 2018-07-26 2018-12-18 郑州云海信息技术有限公司 一种请求调度方法、系统及电子设备和存储介质
CN111708627A (zh) * 2020-06-22 2020-09-25 中国平安财产保险股份有限公司 基于分布式调度框架的任务调度方法以及装置
CN111813513A (zh) * 2020-06-24 2020-10-23 中国平安人寿保险股份有限公司 基于分布式的实时任务调度方法、装置、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘立帮等: "一种多层网络下动态负载均衡算法", 《计算机技术与发展》 *
樊程等: "基于负载均衡的任务调度优化算法", 《计算机工程与设计》 *
蔡斌冰: "Hadoop资源感知调度器的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254220A (zh) * 2021-07-01 2021-08-13 国汽智控(北京)科技有限公司 网联汽车负载协同控制方法、装置、设备及存储介质
CN113608878A (zh) * 2021-08-18 2021-11-05 上海德拓信息技术股份有限公司 一种基于资源权重计算的任务分布式调度方法与系统
WO2023093354A1 (en) * 2021-11-23 2023-06-01 International Business Machines Corporation Avoidance of workload duplication among split-clusters
CN114116181A (zh) * 2022-01-20 2022-03-01 湖南云畅网络科技有限公司 一种分布式的数据分析任务调度系统及方法
WO2023168937A1 (zh) * 2022-03-09 2023-09-14 中兴通讯股份有限公司 数据处理方法、装置、计算机设备及可读介质
CN114518963A (zh) * 2022-04-21 2022-05-20 中国航空工业集团公司沈阳飞机设计研究所 一种面向机载端系统的边缘信息协同处理方法及系统

Similar Documents

Publication Publication Date Title
CN112463390A (zh) 一种分布式任务调度方法、装置、终端设备及存储介质
CN110727512B (zh) 集群资源调度方法、装置、设备及储存介质
US10558498B2 (en) Method for scheduling data flow task and apparatus
US10664308B2 (en) Job distribution within a grid environment using mega-host groupings of execution hosts
US9846589B2 (en) Virtual machine placement optimization with generalized organizational scenarios
US9201690B2 (en) Resource aware scheduling in a distributed computing environment
CN107688492B (zh) 资源的控制方法、装置和集群资源管理系统
US8671134B2 (en) Method and system for data distribution in high performance computing cluster
CN108845874B (zh) 资源的动态分配方法及服务器
US20200174844A1 (en) System and method for resource partitioning in distributed computing
US20070024898A1 (en) System and method for executing job step, and computer product
US20130151707A1 (en) Scalable scheduling for distributed data processing
JP6083290B2 (ja) 分散処理システム
US20210216375A1 (en) Workload placement for virtual gpu enabled systems
CN114610474B (zh) 一种异构超算环境下多策略的作业调度方法及系统
US20240111586A1 (en) Multi-policy intelligent scheduling method and apparatus oriented to heterogeneous computing power
CN109240825A (zh) 弹性任务调度方法、装置、设备及计算机可读存储介质
WO2024021489A1 (zh) 一种任务调度方法、装置及Kubernetes调度器
US10936377B2 (en) Distributed database system and resource management method for distributed database system
CN103425536A (zh) 一种面向分布式系统性能测试的测试资源管理方法
CN112817728A (zh) 任务调度方法、网络设备和存储介质
CN112052082B (zh) 任务属性优化方法、装置、服务器及存储介质
CN113032102A (zh) 资源重调度方法、装置、设备和介质
US20220300323A1 (en) Job Scheduling Method and Job Scheduling Apparatus
US20170083375A1 (en) Thread performance optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309