CN116302396B - 一种基于有向无环的分布式任务调度方法 - Google Patents

一种基于有向无环的分布式任务调度方法 Download PDF

Info

Publication number
CN116302396B
CN116302396B CN202310110455.8A CN202310110455A CN116302396B CN 116302396 B CN116302396 B CN 116302396B CN 202310110455 A CN202310110455 A CN 202310110455A CN 116302396 B CN116302396 B CN 116302396B
Authority
CN
China
Prior art keywords
scheduling
node
abstract
nodes
directed acyclic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310110455.8A
Other languages
English (en)
Other versions
CN116302396A (zh
Inventor
铁锦程
严立国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pudong Development Bank Co Ltd
Original Assignee
Shanghai Pudong Development Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pudong Development Bank Co Ltd filed Critical Shanghai Pudong Development Bank Co Ltd
Priority to CN202310110455.8A priority Critical patent/CN116302396B/zh
Publication of CN116302396A publication Critical patent/CN116302396A/zh
Application granted granted Critical
Publication of CN116302396B publication Critical patent/CN116302396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于有向无环的分布式任务调度方法，方法包括以下步骤：S1、获取第一有向无环图，拆分为第二有向无环图，分配给不同的抽象调度池；S2、在调度节点之间选举出领导节点；S3、调度节点向领导节点注册自身信息；S4、将抽象调度池平均分配给注册的调度节点；S5、领导节点将未存活的抽象调度池对应的第二有向无环图重新分配；S6、向调度节点发送心跳包维持自身的注册状态；S7、将与其对应的第二有向无环图解析为任务，将任务分配给注册的执行节点；S8、注册的执行节点执行分配的任务。与现有技术相比，本发明具有任务的处理速度快等优点。

Description

一种基于有向无环的分布式任务调度方法
技术领域
本发明涉及大数据中的任务调度领域，尤其是涉及一种基于有向无环的分布式任务调度方法。
背景技术
目前，在大数据以及需要定时跑批的工作流(workflow)场景时，可通过DAG(有向无环图)将不同任务组合，串行或并行执行，现有方案调度层与执行层互相耦合，被封装在一个进程中，扩展性相对较差，方案调度层通过有向无环图解析依靠单一线程，且只拥有一个抽象调度池(pool)，性能瓶颈明显，无法显著提高任务的处理速度。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供的一种提高任务的处理速度上限的基于有向无环的分布式任务调度方法。
本发明的目的可以通过以下技术方案来实现：
一种基于有向无环的分布式任务调度方法，本方法在调度层和执行层这2个独立进程中执行，方法包括以下步骤：
S1、获取第一有向无环图，将第一有向无环图拆分为不同的多个第二有向无环图，将第二有向无环图绑定在不同的抽象调度池上，每个抽象调度池占独立的线程；
S2、拆分后，在调度节点之间选举出一个调度节点作为领导节点，除去领导节点之外的调度节点为跟随节点，领导节点维护抽象调度池和调度节点的映射关系，所述调度节点在调度层中；
S3、调度节点向领导节点注册自身信息；
S4、注册完成后，领导节点扫描抽象调度池的元信息，基于抽象调度池的元信息和S2的映射关系将抽象调度池平均分配给注册的调度节点，所述领导节点设置自动分配机制，自动分配机制中，抽象调度池进行自动找平；
S5、注册的调度节点接收分配的抽象调度池，并将抽象调度池的执行信息反馈给领导节点，领导节点基于反馈的信息判断抽象调度池是否存活，领导节点将未存活的抽象调度池绑定的第二有向无环图重新分配；
S6、执行节点向调度节点注册自身信息，并向调度节点发送心跳包维持自身的注册状态；
S7、调度节点对应的抽象调度池将与其绑定的第二有向无环图解析为任务，将任务分配给执行层中注册的执行节点；
S8、注册的执行节点执行分配的任务；
上述步骤中，S1～S7在调度层中执行，S8在执行层中执行。
进一步地，选举出领导节点具体为：在主线程中获取数据库中的乐观锁，通过乐观锁确定领导节点。
进一步地，自动分配机制具体为：
领导节点将抽象调度池平均分配给注册的调度节点时，
当新的调度节点上线或原来的调度节点下线时，触发自动分配机制，重新平衡各节点的负载；
当领导节点下线时，该领导节点对应的乐观锁被跟随节点中的一个节点获取，该跟随节点成为新的领导节点，新的领导节点根据下线的领导节点最后一次扫描的抽象调度池的元信息，确定抽象调度池和调度节点的映射关系，接替下线的领导节点的任务。
进一步地，抽象调度池进行自动找平的过程具体为：
获取抽象调度池的总数和调度节点的总数，基于总数确定平衡基准数，将对应的抽象调度池的数量超过平衡基准数的调度节点作为待找平节点，将对应的抽象调度池的数量最少的调度节点作为待转移节点，将待找平节点的第二有向无环图转移至待转移节点中，直至找平。
进一步地，抽象调度池的总数为X，调度节点的总数为N，当N％X>0时，平衡基准数为N/X+1，反之，平衡基准数为N/X。
进一步地，第一有向无环图按照业务优先级和任务所属组织架构被拆分为不同的多个第二有向无环图。
进一步地，S7中，抽象调度池根据任务类型和集群将任务分配给注册的执行节点。
进一步地，抽象调度池根据任务类型和集群将任务分配给注册的执行节点时，若有多个符合条件的执行节点，则分配给其中空闲比最大的执行节点。
进一步地，注册的执行节点执行分配的任务时，任意调度节点获取执行节点的运行状态，并将执行节点的运行状态发送给领导节点，领导节点根据版本号和时间戳合并数据，计算出节点最新状态，并将节点最新状态同步给所有跟随节点。
进一步地，S5中，将抽象调度池的执行信息反馈给领导节点时，抽象调度池的执行信息作为心跳包进行发送。
与现有技术相比，本发明具有以下有益效果：
(1)本发明的调度层通过多个抽象调度池，将不同的任务分布在不同的调度节点上，充分利用服务器性能，解决调度层存在的瓶颈。此外，某个调度节点发生故障时，能有更多的冗余备份，来继续完成任务，提升系统的稳定性。
(2)本发明的方法在调度层和执行层这2个独立进程中执行，大幅提升了执行层与调度层的扩展性，可随时水平扩展，实现增加容量或增加功能时，直接上线新服务，并入原集群即可，对原有服务无影响。
附图说明
图1为本发明的流程图；
图2为本发明的节点的结构图；
图3为本发明的拆分有向无环图的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本发明提供一种基于有向无环的分布式任务调度方法，本方法在调度层和执行层这2个独立进程中执行。本发明在应用整体结构上可以被拆分为调度层，执行层，接口层(API)三组独立进程。接口层(API)对外提供任务配置和状态查询接口服务，无状态，直接面向用户，与其他两层无直接关联，通过负载(nginx F5等实现高可用)。
本发明的流程图如图1所示。本发明用到的节点组成的结构如图2所示。本发明用到的节点包括领导节点(Leader)、调度节点(schedule)、抽象调度池(pool)、跟随节点(follow)和执行节点(executor)。以图2为例，调度层中设有三个调度节点schedule1、schedule2和schedule3。其中schedule2为领导节点，schedule1和schedule3为跟随节点。schedule1对应的抽象调度池为pool1和pool2，schedule2对应的抽象调度池为pool3和pool4，schedule3对应的抽象调度池为pool5和pool6。执行层设有3个执行节点executor1、executor2和executor3。
本发明的方法包括以下步骤：
S1、获取第一有向无环图，将第一有向无环图拆分为不同的多个第二有向无环图，将第二有向无环图绑定在不同的抽象调度池上，每个抽象调度池占独立的线程；
S2、拆分后，在调度节点之间选举出一个调度节点作为领导节点，除去领导节点之外的调度节点为跟随节点，领导节点维护抽象调度池和调度节点的映射关系，所述调度节点在调度层中；
S3、调度节点向领导节点注册自身信息；
S4、注册完成后，领导节点扫描抽象调度池的元信息，基于抽象调度池的元信息和S2的映射关系将抽象调度池平均分配给注册的调度节点，所述领导节点设置自动分配机制，自动分配机制中，抽象调度池进行自动找平；
S5、注册的调度节点接收分配的抽象调度池，并将抽象调度池的执行信息反馈给领导节点，领导节点基于反馈的信息判断抽象调度池是否存活，领导节点将未存活的抽象调度池绑定的第二有向无环图重新分配；
S6、执行节点向调度节点注册自身信息，并向调度节点发送心跳包维持自身的注册状态；
S7、调度节点对应的抽象调度池将与其绑定的第二有向无环图解析为任务，将任务分配给执行层中注册的执行节点；
S8、注册的执行节点执行分配的任务；
上述步骤中，S1～S7在调度层中执行，S8在执行层中执行。
调度层：
该服务为系统核心，提供将有向无环图(DAG)分解为不同的任务，提交给执行层，其中可将调度任务拆分到多个线程多个节点，并实现高可用。
本发明的S1中，进行有向无环图的预拆分，不同的第一有向无环图按照业务优先级和任务所属组织架构被拆分为不同的多个第二有向无环图。每个抽象调度池只处理分配给自己的第二有向无环图，处理第二有向无环图时占独立的线程，不同的抽象调度池不互相干涉。有向无环图的拆分流程如图3所示。完整的第一有向无环图经过抽象调度池拆分为不同的第二有向无环图，第二有向无环图被解析为任务发送给执行节点。
本发明的S2中，选举出领导节点具体为：在主线程中获取数据库中的乐观锁，通过乐观锁确定领导节点。
S4中，领导节点设置自动分配机制，自动分配机制具体为：领导节点将抽象调度池平均分配给注册的调度节点时，
当新的调度节点上线或原来的调度节点下线时，触发自动分配机制，重新平衡各节点的负载；
当领导节点下线时，该领导节点对应的乐观锁被跟随节点中的一个节点获取，该跟随节点成为新的领导节点，新的领导节点根据下线的领导节点最后一次扫描的抽象调度池的元信息，确定抽象调度池和调度节点的映射关系，接替下线的领导节点的任务。
自动分配机制中，抽象调度池进行自动找平，具体为：获取抽象调度池的总数和调度节点的总数，基于总数确定平衡基准数，将对应的抽象调度池的数量超过平衡基准数的调度节点作为待找平节点，将对应的抽象调度池的数量最少的调度节点作为待转移节点，将待找平节点的第二有向无环图转移至待转移节点中，直至找平。抽象调度池的总数为X，调度节点的总数为N，当N％X>0时，平衡基准数为N/X+1，反之，平衡基准数为N/X。
S5中，将抽象调度池的执行信息反馈给领导节点时，抽象调度池的执行信息作为心跳包进行发送。
S7中，调度节点的抽象调度池根据任务类型(TaskType)和集群(Cluster)将任务分配给注册的执行节点。抽象调度池根据任务类型和集群将任务分配给注册的执行节点时，若有多个符合条件的执行节点，则分配给其中空闲比最大的执行节点。空闲比可以为(1-当前任务数/最大任务数)。
S8中，注册的执行节点执行分配的任务时，调度节点收集执行节点的任务状态及日志，并及时更新任务状态和日志。执行节点会执行两大类任务，Check&Task，check用于检查任务依赖。task为具体执行的分配的任务。执行节点会扫描自身包含的任务类型并将自身所属的集群cluster，最大并发度，自身服务端口IP等信息作为执行节点的运行状态随机注册给任意调度节点，任意调度节点获取执行节点的运行状态，并将执行节点的运行状态定期发送给领导节点，领导节点根据版本号和时间戳合并数据，计算出节点最新状态，并将节点最新状态同步给所有跟随节点。
S5中，调度节点从领导节点及时同步抽象调度池是否存活的信息，用于故障转移，实现当节点发送故障时，将任务自动分配给健康节点的功能。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于有向无环的分布式任务调度方法，其特征在于，本方法在调度层和执行层这2个独立进程中执行，方法包括以下步骤：
S1、获取第一有向无环图，将第一有向无环图拆分为不同的多个第二有向无环图，将第二有向无环图绑定在不同的抽象调度池上，每个抽象调度池占独立的线程；
S2、拆分后，在调度节点之间选举出一个调度节点作为领导节点，除去领导节点之外的调度节点为跟随节点，领导节点维护抽象调度池和调度节点的映射关系，所述调度节点在调度层中；
S3、调度节点向领导节点注册自身信息；
S4、注册完成后，领导节点扫描抽象调度池的元信息，基于抽象调度池的元信息和S2的映射关系将抽象调度池平均分配给注册的调度节点，所述领导节点设置自动分配机制，自动分配机制中，抽象调度池进行自动找平；
S5、注册的调度节点接收分配的抽象调度池，并将抽象调度池的执行信息反馈给领导节点，领导节点基于反馈的信息判断抽象调度池是否存活，领导节点将未存活的抽象调度池绑定的第二有向无环图重新分配；
S6、执行节点向调度节点注册自身信息，并向调度节点发送心跳包维持自身的注册状态；
S7、调度节点对应的抽象调度池将与其绑定的第二有向无环图解析为任务，将任务分配给执行层中注册的执行节点；
S8、注册的执行节点执行分配的任务；
上述步骤中，S1～S7在调度层中执行，S8在执行层中执行。
2.根据权利要求1所述的一种基于有向无环的分布式任务调度方法，其特征在于，选举出领导节点具体为：在主线程中获取数据库中的乐观锁，通过乐观锁确定领导节点。
3.根据权利要求2所述的一种基于有向无环的分布式任务调度方法，其特征在于，自动分配机制具体为：
领导节点将抽象调度池平均分配给注册的调度节点时，
当新的调度节点上线或原来的调度节点下线时，触发自动分配机制，重新平衡各节点的负载；
当领导节点下线时，该领导节点对应的乐观锁被跟随节点中的一个节点获取，该跟随节点成为新的领导节点，新的领导节点根据下线的领导节点最后一次扫描的抽象调度池的元信息，确定抽象调度池和调度节点的映射关系，接替下线的领导节点的任务。
4.根据权利要求1所述的一种基于有向无环的分布式任务调度方法，其特征在于，抽象调度池进行自动找平的过程具体为：
获取抽象调度池的总数和调度节点的总数，基于总数确定平衡基准数，将对应的抽象调度池的数量超过平衡基准数的调度节点作为待找平节点，将对应的抽象调度池的数量最少的调度节点作为待转移节点，将待找平节点的第二有向无环图转移至待转移节点中，直至找平。
5.根据权利要求4所述的一种基于有向无环的分布式任务调度方法，其特征在于，抽象调度池的总数为X，调度节点的总数为N，当N％X>0时，平衡基准数为N/X+1，反之，平衡基准数为N/X。
6.根据权利要求1所述的一种基于有向无环的分布式任务调度方法，其特征在于，第一有向无环图按照业务优先级和任务所属组织架构被拆分为不同的多个第二有向无环图。
7.根据权利要求1所述的一种基于有向无环的分布式任务调度方法，其特征在于，S7中，抽象调度池根据任务类型和集群将任务分配给注册的执行节点。
8.根据权利要求7所述的一种基于有向无环的分布式任务调度方法，其特征在于，抽象调度池根据任务类型和集群将任务分配给注册的执行节点时，若有多个符合条件的执行节点，则分配给其中空闲比最大的执行节点。
9.根据权利要求1所述的一种基于有向无环的分布式任务调度方法，其特征在于，注册的执行节点执行分配的任务时，任意调度节点获取执行节点的运行状态，并将执行节点的运行状态发送给领导节点，领导节点根据版本号和时间戳合并数据，计算出节点最新状态，并将节点最新状态同步给所有跟随节点。
10.根据权利要求1所述的一种基于有向无环的分布式任务调度方法，其特征在于，S5中，将抽象调度池的执行信息反馈给领导节点时，抽象调度池的执行信息作为心跳包进行发送。
CN202310110455.8A 2023-02-13 2023-02-13 一种基于有向无环的分布式任务调度方法 Active CN116302396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310110455.8A CN116302396B (zh) 2023-02-13 2023-02-13 一种基于有向无环的分布式任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310110455.8A CN116302396B (zh) 2023-02-13 2023-02-13 一种基于有向无环的分布式任务调度方法

Publications (2)

Publication Number Publication Date
CN116302396A CN116302396A (zh) 2023-06-23
CN116302396B true CN116302396B (zh) 2023-09-01

Family

ID=86796945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310110455.8A Active CN116302396B (zh) 2023-02-13 2023-02-13 一种基于有向无环的分布式任务调度方法

Country Status (1)

Country Link
CN (1) CN116302396B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388474A (zh) * 2018-02-06 2018-08-10 北京易沃特科技有限公司 基于dag的智能分布式计算管理系统及方法
CN108958920A (zh) * 2018-07-13 2018-12-07 众安在线财产保险股份有限公司 一种分布式任务调度方法及系统
CN109561148A (zh) * 2018-11-30 2019-04-02 湘潭大学 边缘计算网络中基于有向无环图的分布式任务调度方法
CN112231078A (zh) * 2020-09-21 2021-01-15 上海容易网电子商务股份有限公司 一种自动化营销系统分布式任务调度的实现方法
CN113342508A (zh) * 2021-07-07 2021-09-03 湖南快乐阳光互动娱乐传媒有限公司 一种任务调度方法及装置
WO2022135079A1 (zh) * 2020-12-25 2022-06-30 北京有竹居网络技术有限公司 任务流引擎的数据处理方法、任务流引擎、设备和介质
CN115469989A (zh) * 2022-10-27 2022-12-13 兴业银行股份有限公司 分布式批量任务调度方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183016B2 (en) * 2013-02-27 2015-11-10 Vmware, Inc. Adaptive task scheduling of Hadoop in a virtualized environment
US10754709B2 (en) * 2018-09-26 2020-08-25 Ciena Corporation Scalable task scheduling systems and methods for cyclic interdependent tasks using semantic analysis
US20200319867A1 (en) * 2019-04-05 2020-10-08 Apple Inc. Systems and methods for eager software build

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388474A (zh) * 2018-02-06 2018-08-10 北京易沃特科技有限公司 基于dag的智能分布式计算管理系统及方法
CN108958920A (zh) * 2018-07-13 2018-12-07 众安在线财产保险股份有限公司 一种分布式任务调度方法及系统
CN109561148A (zh) * 2018-11-30 2019-04-02 湘潭大学 边缘计算网络中基于有向无环图的分布式任务调度方法
CN112231078A (zh) * 2020-09-21 2021-01-15 上海容易网电子商务股份有限公司 一种自动化营销系统分布式任务调度的实现方法
WO2022135079A1 (zh) * 2020-12-25 2022-06-30 北京有竹居网络技术有限公司 任务流引擎的数据处理方法、任务流引擎、设备和介质
CN113342508A (zh) * 2021-07-07 2021-09-03 湖南快乐阳光互动娱乐传媒有限公司 一种任务调度方法及装置
CN115469989A (zh) * 2022-10-27 2022-12-13 兴业银行股份有限公司 分布式批量任务调度方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
故障场景下的边缘计算DAG任务重调度方法;蔡凌峰 等;计算机科学;第334-341页 *

Also Published As

Publication number Publication date
CN116302396A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN112698943B (zh) 资源分配方法、装置、计算机设备以及存储介质
CN111752965B (zh) 一种基于微服务的实时数据库数据交互方法和系统
CN1095120C (zh) 具有客户机－服务器层次结构的计算机系统
CN107729126A (zh) 一种容器云的任务调度方法和装置
KR101013073B1 (ko) 태스크 분배 및 병렬 처리 시스템과 그 방법
CN103366022B (zh) 信息处理系统及其处理方法
CN107562541B (zh) 一种负载均衡分布式的爬虫方法、爬虫系统
WO2020192649A1 (zh) 一种数据中心管理系统
CN109783225B (zh) 一种多租户大数据平台的租户优先级管理方法及系统
CN111913784B (zh) 任务调度方法及装置、网元、存储介质
CN110163491B (zh) 一种优化吞吐量的实时弹性的停机位调度方法及调度系统
CN112015549B (zh) 一种基于服务器集群的调度节点的选择抢占方法及系统
CN106095569A (zh) 一种基于sla的云工作流引擎资源调度与控制方法
CN110058940A (zh) 一种多线程环境下的数据处理方法及装置
CN111767145A (zh) 容器调度系统、方法、装置和设备
CN116777182A (zh) 半导体晶圆制造执行任务派工方法
CN115202402A (zh) 一种无人机集群多任务动态分配方法
Zhang et al. A novel virtual network mapping algorithm for cost minimizing
CN116302396B (zh) 一种基于有向无环的分布式任务调度方法
US20230161620A1 (en) Pull mode and push mode combined resource management and job scheduling method and system, and medium
CN1744554A (zh) 协同系统中可扩展的动态容错方法
CN111625414A (zh) 一种数据转换整合软件的自动调度监控系统实现方法
CN109298949A (zh) 一种分布式文件系统的资源调度系统
CN116089079A (zh) 一种基于大数据的计算机资源分配管理系统及方法
CN112291320A (zh) 量子计算机集群分布式两层调度方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant