CN111459669A - 高动态资源非均衡条件下的多节点任务调度方法 - Google Patents

高动态资源非均衡条件下的多节点任务调度方法 Download PDF

Info

Publication number
CN111459669A
CN111459669A CN202010234475.2A CN202010234475A CN111459669A CN 111459669 A CN111459669 A CN 111459669A CN 202010234475 A CN202010234475 A CN 202010234475A CN 111459669 A CN111459669 A CN 111459669A
Authority
CN
China
Prior art keywords
task
node
high dynamic
scheduling
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010234475.2A
Other languages
English (en)
Inventor
李新明
刘斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Edge Intelligence Of Cas Co ltd
Original Assignee
Edge Intelligence Of Cas Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Edge Intelligence Of Cas Co ltd filed Critical Edge Intelligence Of Cas Co ltd
Priority to CN202010234475.2A priority Critical patent/CN111459669A/zh
Publication of CN111459669A publication Critical patent/CN111459669A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种高动态资源非均衡条件下的多节点任务调度方法，包括以下步骤：（a）通过一个作业管理器分解每个被提交的计算任务为多个计算任务组件和（b）根据依赖关系拆分每个计算任务组件，按序提交至该一个调度集合，并通过该作业管理器监控每个计算任务组件的运行情况。

Description

高动态资源非均衡条件下的多节点任务调度方法
技术领域
本发明涉及计算机软件技术，尤其涉及一种多节点任务调度方法。
背景技术
在高动态资源非均衡条件下，网络中各节点的计算资源、通信能力、负载状况和网络拓扑结构是动态变化的。由动态性决定了当前任务调度技术无法在事前准确计算每个节点的任务处理时间，因此当前任务调度技术将任务执行时间作为任务调度目标将比较困难。目前，单个服务中心的计算和传输容量有限，数量庞大且资源异构，同时可能随着时间推进，遭受损毁而中断服务的问题。同时，由于计算资源不均等地分布在多个服务中心与服务节点，计算任务的优化目标存在差异等，使任务的调度问题更为复杂。
发明内容
本发明的一个优势在于提供一种高动态资源非均衡条件下的多节点任务调度方法，通过该方法将计算任务合理高效地在节点间动态调度，以保障和加快任务处理与反馈。
本发明的另一优势在于提供一种高动态资源非均衡条件下的多节点任务调度方法，通过该方法提高了计算效率和资源利用率。
本发明的另一优势在于提供一种高动态资源非均衡条件下的多节点任务调度方法，通过该方法在高动态连接资源非均衡条件下，针对常见计算任务，优化分布式计算调度策略，提升分布式计算任务组件处理性能，并减少计算任务迁移的开销。
本发明的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。
依本发明的一个方面，能够实现前述目的和其他目的和优势的本发明一种高动态资源非均衡条件下的多节点任务调度方法，包括以下步骤：
（a）通过一个作业管理器分解每个被提交的计算任务为多个计算任务组件；和
（b）根据依赖关系拆分每个计算任务组件，按序提交至该一个调度集合，并通过该作业管理器监控每个计算任务组件的运行情况。
进一步地，该步骤（a）包括子步骤：向一个作业监控器提交一个计算任务，以使该作业监控器能够根据该计算任务生成一个作业管理器。
进一步地，该步骤（a）包括子步骤：监控该计算任务的运行。
进一步地，进一步包括步骤：（c）监控每个资源节点的资源，提供一个资源相关信息至一个任务调度器。
进一步地，进一步包括步骤：（d）基于多目标优化的调度策略，调度每个计算组件至合适的资源节点并处理。
进一步地，该步骤（a）包括子步骤：通过该作业管理器分析每个计算任务组件的计算量和存储资源量。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
图1是根据本发明的一个实施例的高动态资源非均衡条件下的多节点任务调度方法的结构示意图。
图2是根据本发明的上述实施例的高动态资源非均衡条件下的多节点任务调度方法的结构示意图。
图3是根据本发明的上述实施例的高动态资源非均衡条件下的多节点任务调度方法的系统运行流程图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、 “横向”、 “上”、“下”、 “前”、 “后”、 “左”、 “右”、 “竖直”、 “水平”、 “顶”、 “底”、 “内”、 “外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
参考本发明说明书附图之图1至3，依本发明一个实施例的高动态资源非均衡条件下的多节点任务调度方法被揭露。如图1所示，虚拟中心节点具有作业监控器11、作业管理器12、资源管理器13和任务调度器14等部件。其中作业监控器11接受计算任务的提交，为每个计算任务生成一个对应的作业管理器12，并监控该计算任务的运行。作业管理器12由作业分析器121和任务监控器122组成。作业分析器121将计算任务分解成若干计算任务组件，并对各计算任务组件的计算量和存储资源量等进行分析。任务监控器122负责将计算任务组件按依赖关系拆分，按序提交到任务调度器14的调度集合，并监控每个计算任务组件的运行情况。资源管理器13负责监控各资源节点的资源，为任务调度器14提供资源相关信息。任务调度器14负责基于多目标优化的调度策略，将各计算组件调度至合适的资源节点进行处理。
如图2所示，可以将调度过程分为两个过程，第一个过程是作业管理器12将具有依赖关系的计算组件进行拆分，提交到调度集合，如图2中虚线部分所示。第二个过程是将调度集合中计算任务组件调度到资源节点进行处理，如图2中实线部分所示。在第一个过程中，各计算任务组件的依赖关系由DAG图给出。据此，每个计算任务组件的入度值代表前驱计算任务组件的数量。假设任意一个任务组件为vi，其入度值为In(vi)，当入度值为0时，该计算任务组件可以被提交至调度结合进行调度。对于第二个过程，当服务节点应用对实时服务性能敏感时，将以任务处理性能优化为目标，以任务处理资源开销为约束，实现在可控开销代价下的性能优化，满足服务节点应用的实时响应需求。相似地，当服务节点期待减小开销（如减少能量消耗），以任务处理资源开销最小化为目标，以服务节点应用最低性能保证为约束进行调度决策优化。此外，若服务节点期待同时优化任务处理性能与资源开销，则可依据虚拟中心节点的偏好对性能与开销赋予不同权重，并优化性能与开销的加权目标函数，从而达到性能与开销多目标协同优化的目的。当服务节点应用对实时服务性能敏感时，以任务处理性能优化为目标，以计算任务迁移开销为约束，实现在可控开销代价下的性能优化，满足服务节点应用的实时响应需求。相似地，当服务节点期待减小开销（如减少能量消耗或信息资源管理服务中心的资源成本），以计算任务迁移开销最小化为目标，以用户最低性能保证为约束进行计算任务调度决策优化。此外，若计算资源节点期待同时优化任务处理性能与开销，则可依据服务节点的偏好对性能与开销赋予不同权重，并优化性能与开销的加权目标函数，从而达到性能与开销多目标协同优化的目的。进一步，服务中心实时检测多节点计算任务调度的数据流图，合并用户计算任务中的同质组件，实现多个同质组件一次调度而多用户共享，减少网络通信开销和计算资源占用，降低能量消耗。最后，基于多目标跨层优化技术，考虑到任务在执行过程中可能被调整，虚拟中心节点将任务图调整分解为多个子任务，调度到域内不同的计算资源节点分布式执行，从而适应节点资源和任务的动态变化。
如图3所示，第一步，将任务按依赖关系分解成DAG图。第二步，根据多因素构建任务分解模型。第三步，根据模型进行任务分解调度规划，第四步，采集节点资源状态信息，并反馈回主节点进行任务分解模型更新。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (6)

1.一种高动态资源非均衡条件下的多节点任务调度方法，其特征在于，包括以下步骤：
（a）通过一个作业管理器分解每个被提交的计算任务为多个计算任务组件；和
（b）根据依赖关系拆分每个计算任务组件，按序提交至该一个调度集合，并通过该作业管理器监控每个计算任务组件的运行情况。
2.根据权利要求1所述的高动态资源非均衡条件下的多节点任务调度方法，其中该步骤（a）包括子步骤：向一个作业监控器提交一个计算任务，以使该作业监控器能够根据该计算任务生成一个作业管理器。
3.根据权利要求2所述的高动态资源非均衡条件下的多节点任务调度方法，其中该步骤（a）包括子步骤：监控该计算任务的运行。
4.根据权利要求1所述的高动态资源非均衡条件下的多节点任务调度方法，其中进一步包括步骤：（c）监控每个资源节点的资源，提供一个资源相关信息至一个任务调度器。
5.根据权利要求4所述的高动态资源非均衡条件下的多节点任务调度方法，其中进一步包括步骤：（d）基于多目标优化的调度策略，调度每个计算组件至合适的资源节点并处理。
6.根据权利要求1所述的高动态资源非均衡条件下的多节点任务调度方法，其中该步骤（a）包括子步骤：通过该作业管理器分析每个计算任务组件的计算量和存储资源量。
CN202010234475.2A 2020-03-30 2020-03-30 高动态资源非均衡条件下的多节点任务调度方法 Pending CN111459669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010234475.2A CN111459669A (zh) 2020-03-30 2020-03-30 高动态资源非均衡条件下的多节点任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010234475.2A CN111459669A (zh) 2020-03-30 2020-03-30 高动态资源非均衡条件下的多节点任务调度方法

Publications (1)

Publication Number Publication Date
CN111459669A true CN111459669A (zh) 2020-07-28

Family

ID=71683688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010234475.2A Pending CN111459669A (zh) 2020-03-30 2020-03-30 高动态资源非均衡条件下的多节点任务调度方法

Country Status (1)

Country Link
CN (1) CN111459669A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591712A (zh) * 2011-12-30 2012-07-18 大连理工大学 一种云计算中依赖任务的解耦并行调度方法
CN104869154A (zh) * 2015-04-27 2015-08-26 江务学 统筹资源可信度与用户满意度的分布式资源调度方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591712A (zh) * 2011-12-30 2012-07-18 大连理工大学 一种云计算中依赖任务的解耦并行调度方法
CN104869154A (zh) * 2015-04-27 2015-08-26 江务学 统筹资源可信度与用户满意度的分布式资源调度方法

Similar Documents

Publication Publication Date Title
Liu et al. Efficient dependent task offloading for multiple applications in MEC-cloud system
Hamscher et al. Evaluation of job-scheduling strategies for grid computing
US7720551B2 (en) Coordinating service performance and application placement management
Zhang et al. Online adaptive interference-aware VNF deployment and migration for 5G network slice
Arora et al. A de-centralized scheduling and load balancing algorithm for heterogeneous grid environments
Huang et al. A workflow for runtime adaptive task allocation on heterogeneous MPSoCs
Tantalaki et al. Pipeline-based linear scheduling of big data streams in the cloud
Setia et al. Processor scheduling on multiprogrammed, distributed memory parallel computers
CN116010064A (zh) Dag作业调度和集群管理的方法、系统及装置
CN115292039A (zh) 一种面向异构计算平台的多任务分布式调度负载均衡方法
Stavrinides et al. Orchestrating bag-of-tasks applications with dynamically spawned tasks in a distributed environment
Zikos et al. The impact of service demand variability on resource allocation strategies in a grid system
Yagoubi et al. Load balancing strategy in grid environment
Santoso et al. Hierarchical job scheduling for clusters of workstations
CN112860396A (zh) 一种基于分布式深度学习的gpu调度方法及系统
Salman et al. Scheduling elastic applications in compositional real-time systems
Kim et al. Adaptive run-time scheduling of dependent services for service-oriented IoT systems
Chiang et al. DynamoML: Dynamic Resource Management Operators for Machine Learning Workloads.
CN111459669A (zh) 高动态资源非均衡条件下的多节点任务调度方法
CN115686830A (zh) 边缘计算资源弹性调度方法及系统
CN113515356B (zh) 一种轻量级分布式资源管理与任务调度器及方法
El-Abd Load balancing in distributed computing systems using fuzzy expert systems
CN114866612B (zh) 一种电力微服务卸载方法及装置
Selvi et al. Scheduling In Virtualized Grid Environment Using Hybrid Approach
Zhang et al. Optimized task scheduling for multimedia application in cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200728

RJ01 Rejection of invention patent application after publication