CN112000388B - 基于多边缘集群协同的并发任务调度方法及装置 - Google Patents

基于多边缘集群协同的并发任务调度方法及装置 Download PDF

Info

Publication number
CN112000388B
CN112000388B CN202010504056.6A CN202010504056A CN112000388B CN 112000388 B CN112000388 B CN 112000388B CN 202010504056 A CN202010504056 A CN 202010504056A CN 112000388 B CN112000388 B CN 112000388B
Authority
CN
China
Prior art keywords
task
job
node
time
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010504056.6A
Other languages
English (en)
Other versions
CN112000388A (zh
Inventor
宋浒
夏飞
王鹏飞
张明明
王甜甜
钱柱中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Nanjing University
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University, Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd filed Critical Nanjing University
Priority to CN202010504056.6A priority Critical patent/CN112000388B/zh
Publication of CN112000388A publication Critical patent/CN112000388A/zh
Application granted granted Critical
Publication of CN112000388B publication Critical patent/CN112000388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44594—Unloading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了基于多边缘集群协同的并发任务调度方法及装置。所述方法包括：在一个分布式执行作业发布时，基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序，各边缘AP按照定序后的作业顺序传输数据；当某一个任务的数据传输完成后，基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，将该任务卸载到所选的服务器节点；于服务器节点上执行计算任务调度策略，依次运行卸载至其上的任务。本发明的方法能够有效缩短平均作业完成时间，优于现阶段任一跨域作业调度方法。

Description

基于多边缘集群协同的并发任务调度方法及装置
技术领域
本发明属于边缘计算技术领域，具体涉及一种基于多边缘集群协同的并发任务调度方法及装置。
背景技术
随着数据泛在化，跨域大数据分析成为日常需求。由于原始数据存在海量、冗余、低质等特性，计算任务通常分布式地在靠近原始数据的边缘集群中执行，数据上传依赖带宽相对充足的边缘网络，昂贵的核心网络仅用于汇聚结果。原始数据不适合先汇聚再处理的集中式执行方式的原因在于：一方面，大量原始数据会增加广域网络传输压力，导致网络性能下降；另一方面，大量原始数据的汇聚需要时间，无法应对对网络稳定性和时延敏感的应用的数据分析请求。以自动驾驶为例，车辆在不同场景下行驶时所产生的数据必须是实时进行处理的，稍微的响应延迟都可能造成事故。更严苛地，由于规则限制，某些敏感数据不允许随意移动(例如，某些数据必须保存在特定的国家/地区内)。再者，像公共安防、定制化医疗保健以及无人零售等领域的相关业务，尤其重视用户的隐私保护和数据安全，应避免这类业务所需处理的数据随意在广域网络传输，以降低产生数据风险的可能性。因此，大数据分析作业在初始阶段采用分布式执行方式，即在近原始数据的各边缘集群并发执行处理任务，于边缘网络(或本地网络)完成终端设备的数据上传，仅依赖广域网络汇聚结果。分布式执行的优势是显而易见的。近期研究成果表明，分布式执行下，90％的作业时间缩短至1/3，广域网络带宽使用量减少250倍；再则，像查询这类对响应时延较苛刻的作业，实现提速3-19倍，同时广域网络传输成本降低15-64％。
然而大量原始数据的上传和处理同样会带给边缘网络过大的压力，其带宽约束和计算力限制易造成多作业间的无序竞争，导致系统整体性能下降。虽然相对于广域网络，边缘网络的带宽资源相对丰富，但仍然存在约束。图1描述了一个边缘网络环境，其由一个终端接入点(Access Point，AP,可以是无线接入点或小型蜂窝基站)和若干边缘计算节点
Figure BDA0002525873720000011
组成，接入网区域内的终端通过AP将待处理的数据上传到边缘集群中。显而易见，AP的上传链路带宽是该边缘网络的传输瓶颈。多个作业的处理任务在边缘等待卸载和调度。这里面主要包含两个基本问题，一是由于存在带宽约束，需要为任务安排数据开始上传的时间，二是为任务规划在边缘集群中卸载位置与调度时机以执行计算。
同时，分布式执行方式耦合了多个边缘网络中的数据上传和计算卸载操作，使得问题进一步复杂。在分布式执行中，首阶段完成时间取决于其在各边缘中最后完成的子任务。然而，作业在各边缘的工作量存在偏差，即其在不同边缘所需的数据上传和处理时间是不同的。该偏差是普遍存在的，由于各边缘地域分布较广，不同地点不同场所用户密度不均，数据处理需求自然存在差异。偏差同样存在于边缘的服务能力上，即各边缘的节点规模和性能异构。因此在单一边缘尽快完成任务并不一定能缩短首阶段完成时间。甚至为某些子任务提供服务(包括上传和计算)是“浪费”资源的，因为这些子任务在其他边缘的兄弟任务正由于上述偏差造成的执行不平衡而被延迟着，这时如果优先将资源给其他任务，例如能够主导其所属阶段的完成时间的任务，可能整体上会有更好的平均首阶段完成时间。
经典的多机器调度问题和Current Open Shop问题皆处理单集群中发布后即可执行的作业(数据已缓存于集群内部)，但在边缘环境中，由于存储局限，作业发布后还需等待终端设备将待处理数据上传至边缘集群，存在带宽约束时，即复合为网络和计算资源联合调度问题。而现阶段边缘计算的理论研究工作主要关注独立任务的卸载，处理独立任务间对接入网络以及边缘计算资源的共享和竞争。根据当前署名的发明人的研究工作发现，对于包含多个并发任务的复杂作业，任务级别的时延优化工作在面向低时延作业需求的场景中是次优的。再者，对于跨域低时延大数据分析集中在减少分析作业连续阶段之间的广域网数据传输延迟上，并未对多个跨多数据中心执行作业间的调度顺序有所安排。但是，实现对子任务跨多数据中心执行作业的调度需要考虑若干实际问题，如各数据中心的节点数、各节点的配置及计算性能。在各边缘集群规模及计算节点配置异构的情况下，计算任务在不同边缘服务器的处理时间皆是独立且不同的，导致调度与卸载耦合，即任务卸载到不同节点上所面临的竞争和不平衡状况是不同的。当前的研究成果中还没有见到有效的解决方法。
发明内容
为了解决现有技术中提到的问题，本发明的目的是提出一种基于多边缘集群协同的并发任务调度方法，旨在为多个跨多边缘并发执行作业协调数据上传和处理顺序，减少平均作业完成时延。
为了达到上述发明目的，本发明采用如下技术方案：
第一方面，提出一种基于多边缘集群协同的并发任务调度方法，所述方法包括以下步骤：
在一个分布式执行作业发布时，基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序，各边缘AP按照定序后的作业顺序传输数据；
当某一个任务的数据传输完成后，基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，将该任务卸载到所选的服务器节点；
服务器节点执行计算任务调度策略，依次运行卸载至该服务器节点上的任务。
进一步地，所述基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序包括：
(1)找到上传数据量最大的边缘集群AP，作为瓶颈AP；
(2)选择瓶颈AP所有上传请求中加权后未上传数据量最多的作业k，并将该作业置于当前无序作业的最后；
(3)缩放无序作业j的权重
Figure BDA0002525873720000031
式中wj和wk分别为作业j和k的权重，
Figure BDA0002525873720000032
为作业j在瓶颈AP未上传完的数据量，
Figure BDA0002525873720000033
为作业k在瓶颈AP未上传完的数据量；
(4)重复上述步骤，为所有作业定序。
进一步地，所述基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，将该任务卸载到所选的服务器节点包括：
(a)计算任务
Figure BDA0002525873720000034
卸载到一个节点s上时造成的整体作业完成时间之和的增加量；
(b)选择增加量最小的节点，卸载该任务；
(c)更新受步骤(b)中卸载决策影响的任务所属作业的完成时间预估值。
进一步地，所述步骤(a)包括：
计算t时刻由于节点s上存在比任务
Figure BDA0002525873720000035
优先级更高的任务所造成的任务
Figure BDA0002525873720000036
的等待时间增加；
计算任务
Figure BDA0002525873720000037
本身的处理时间；
计算t时刻节点s上存在的比任务
Figure BDA0002525873720000038
优先级低的任务由于任务
Figure BDA0002525873720000039
的执行而额外增加的等待时间；
将上述三项计算值相加得到整体作业完成时间增加量。
进一步地，所述计算任务调度策略包括：
计算每个任务所属作业的剩余执行时间；
选择所属作业的剩余执行时间最小的任务优先调度。
第二方面，提供一种基于多边缘集群协同的并发任务调度装置，包括：
用于在一个分布式执行作业发布时，基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序的作业定序模块；
用于在某一个任务的数据传输完成后，基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点的卸载节点选择模块；以及
用于在服务器节点上执行计算任务调度策略的任务调度模块。
进一步地，所述作业定序模块包括：
瓶颈AP获取单元，用于查找上传数据量最大的边缘集群AP，作为瓶颈AP；
定序操作单元，用于选择瓶颈AP所有上传请求中加权后未上传数据量最多的作业k，并将该作业置于当前无序作业的最后；
权重缩放单元，用于根据下式缩放无序作业j的权重：
Figure BDA0002525873720000041
式中wj和wk分别为作业j和k的权重，
Figure BDA0002525873720000042
为作业j在瓶颈AP未上传完的数据量，
Figure BDA0002525873720000043
为作业k在瓶颈AP未上传完的数据量。
进一步地，所述卸载节点选择模块包括：
时间增加量计算单元，用于计算任务
Figure BDA0002525873720000044
卸载到一个节点s上时造成的整体作业完成时间之和的增加量；
判断及选择单元，用于选择增加量最小的节点，卸载该任务；
更新单元，用于更新受判断及选择单元的卸载决策影响的任务所属作业的完成时间预估值。
进一步地，所述时间增加量计算单元包括：
第一计算单元，用于计算t时刻由于节点s上存在比任务
Figure BDA0002525873720000045
优先级更高的任务所造成的任务
Figure BDA0002525873720000046
的等待时间增加；
第二计算单元，用于计算任务
Figure BDA0002525873720000047
本身的处理时间；
第三计算单元，用于计算t时刻节点s上存在的比任务
Figure BDA0002525873720000051
优先级低的任务由于任务
Figure BDA0002525873720000052
的执行而额外增加的等待时间；
求和单元，用于将上述三项计算值相加得到整体作业完成时间增加量。
进一步地，所述任务调度模块包括：
条件获取单元，用于计算任务所属作业的剩余执行时间；
调度执行单元，用于选择所属作业的剩余执行时间最小的任务优先进行调度。
相比于现有技术，本发明具有以下有益效果：针对多边缘系统中，各边缘集群规模及计算节点配置异构的实际场景，首次提出基于多边缘集群协同的并发任务调度方法，通过在不影响该作业完成时间的情况下适当推迟一些作业于某些边缘的超前子任务，同时将节省下的资源用于执行一些能够主导其所属作业完成时间的任务，实现对跨域作业的调度，该方法可有效减少平均作业完成时间。
附图说明
图1为边缘网络环境的示意图；
图2为本发明的并发任务调度和卸载方法流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
本发明针对多边缘带宽约束下，跨域并发执行作业的任务调度和卸载问题，通过协调多作业于多边缘的网络和计算资源使用，优化分布式执行方式下作业级别的完成时延。其优化理念在于，适当推迟一些作业于某些边缘的超前子任务并不会影响该作业的完成时间，同时节省下的资源则用于执行一些能够主导其所属作业完成时间的任务。为了便于对具体方法步骤进行清楚的说明，在本实施例中，结合以下网络系统进行描述。
在一广域网络环境中，有若干边缘AP，构成集合
Figure BDA0002525873720000053
每一个
Figure BDA0002525873720000054
同就近部署的一边缘集群相连，边缘集群由若干边缘计算节点构成，令Sp为边缘p的计算节点集合。设定AP的上传带宽为Bp。一批分析作业
Figure BDA0002525873720000055
不断到达系统，rj为作业
Figure BDA0002525873720000056
的到达时间。每个作业由若干任务组成，负责处理地域分布的原始数据。
Figure BDA0002525873720000057
为作业j在边缘p需要处理的数据量，作业j将一任务
Figure BDA0002525873720000058
分派到边缘p中执行数据处理，
Figure BDA0002525873720000059
为该任务在计算节点s∈Sp上的处理时长。
在任务
Figure BDA0002525873720000061
执行数据处理前，数据需从终端设备上传至边缘集群，令
Figure BDA0002525873720000062
为数据上传完成时间，则
Figure BDA0002525873720000063
其中，
Figure BDA0002525873720000064
为该任务的数据在接入点p排队等待上传的时间。数据上传完成后，边缘集群调度器为任务规划卸载节点与调度时机，考虑到边缘服务器有限的计算能力，本发明设定服务器一次只能处理一个任务。若任务卸载到服务器s∈Sp上执行数据处理，令
Figure BDA0002525873720000065
为任务
Figure BDA0002525873720000066
的完成时间，则
Figure BDA0002525873720000067
其中，
Figure BDA0002525873720000068
为该任务在服务器s上的排队时长。令
Figure BDA0002525873720000069
表示作业j的完成时间。
本发明为分布式执行作业协调任务上传顺序(即决定
Figure BDA00025258737200000610
的值)，任务卸载位置(即决定执行节点s)以及节点上的调度时机(即决定
Figure BDA00025258737200000611
的值)，最小化作业完成时间之和∑jCj。该方法在本发明中取名为SmartDis，其执行结构如图2。概述如下：(一)在一个分布式执行作业发布时，SmartDis首先基于主对偶(Primal-Dual)方法为该作业在各边缘AP的数据上传请求安排传输顺序(GeoOrder组件)，最小化全局数据传输时延；(二)当某一个任务的数据传输完成后，SmartDis立即为任务选择卸载的服务器节点，并安排该任务在节点上的调度时机(GeoSRPT+LeastDelta组件)。立即卸载出于下述两方面的考虑：一是主调度器内存有限，将大量任务缓存于任务池待资源空闲后执行调度，这一过程中内存的数据可能发生频繁切换，造成调度算法的额外耗时；二是任务池(或单队列)模型，在异构服务器集群中，无论是定期还是待有空闲资源后执行调度，都需对整个任务池执行一遍调度算法，因为任务在异构服务器上的执行时间是独立的，面对不同空闲节点任务的优先级是变化的，而这是耗时的。
具体而言，(一)基于主对偶设计方法，SmartDis在一个新分布式执行作业发布时，为各边缘AP待处理的数据上传请求进行作业定序，各边缘AP应按照定序后的作业顺序传输数据。本发明所提出的传输定序策略GeoOrder是近优的，可保证整体数据传输时延不超过3倍的最优值。
GeoOrder设计的主要挑战是如何在各边缘的上传带宽约束下，捕获一个作业的数据传输对系统中其他作业数据传输时延的影响。本发明基于主对偶设计框架派生的作业权重缩放步骤来实现这一目标。设定所有作业的默认权重wj为1，GeoOrder的执行步骤如下：
(1)找到瓶颈AP，即上传数据量最大的边缘AP
Figure BDA0002525873720000071
其中，
Figure BDA0002525873720000072
为作业j在边缘p未上传完的数据量；
(2)选择瓶颈AP所有上传请求中加权后未上传数据量最多的作业
Figure BDA0002525873720000073
并将该作业置于所有无序作业的最后；
(3)缩放所有无序作业j的权重
Figure BDA0002525873720000074
以捕获步骤(2)中的作业定序操作对其余作业数据传输时延的影响；
(4)重复上述步骤，为所有作业定序。
(二)数据传输完成后，任务准备执行数据处理。令
Figure BDA0002525873720000075
为作业j在边缘p的数据处理任务
Figure BDA0002525873720000076
可以开始执行的时间。令Sp＝{1,2,...,m}为边缘p的服务器集群。在时刻
Figure BDA0002525873720000077
SmartDis(1)执行计算节点选择策略LeastDelta，为任务选择一计算节点s∈Sp执行任务
Figure BDA0002525873720000078
并(2)于节点上执行任务调度策略GeoSRPT，依次运行任务。
由于计算节点卸载策略LeastDelta基于任务调度原则，为易于符号表达，先介绍节点上的任务调度策略GeoSRPT。
对于单任务作业(或者再详细，对于One-Server-One-Queue调度问题且允许抢占)，SRPT(Shortest Remaining Processing Time，最短剩余处理时间最少作业优先)调度策略是最优的(以最小化加权作业完成时间为目标)。本发明基于SRPT并考虑多任务作业的分布式执行方式(Geo-execution)，设计GeoSRPT，其优先执行所属作业在t时刻剩余执行时间最小的任务。
具体而言，使用
Figure BDA0002525873720000079
表示任务
Figure BDA00025258737200000710
卸载到节点s后在t时刻的剩余执行时间，令
Figure BDA00025258737200000711
表示该任务所属作业在t时刻至少的剩余执行时间，其中，
Figure BDA00025258737200000712
定义为
Figure BDA0002525873720000081
Si表示边缘i的计算节点集群；
在t时刻，对于节点s上尚未完成的任务(使用集合
Figure BDA0002525873720000082
表示)，节点s调度
Figure BDA0002525873720000083
最小的数据处理任务。
在
Figure BDA0002525873720000084
时，任务
Figure BDA0002525873720000085
的数据传输完成，需要为该任务选择执行节点。本发明提出LeastDelta节点选择策略，基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，即，其将该任务卸载到某一节点，使得造成的整体作业完成时间之和的增加量最小。具体步骤如下：
(a)若任务
Figure BDA0002525873720000086
卸载到一个节点s上，并假设t时刻后不再有新任务卸载到节点s，估算任务
Figure BDA0002525873720000087
的完成时间(通过模拟节点s上的任务调度可知，调度策略为GeoSRPT)；
(b)令cj(t)记录t时刻，作业j已卸载任务中预估完成时间的最大值；
(c)计算造成的整体作业完成时间增加量。令
Figure BDA0002525873720000088
为t时刻时在节点s上且尚未完成的任务集合：
(i)t时刻，节点s上存在比任务
Figure BDA0002525873720000089
的
Figure BDA00025258737200000810
值更小的任务(Type-I类任务)，因而造成任务
Figure BDA00025258737200000811
的等待时间增加。令
Figure BDA00025258737200000812
表示任务
Figure BDA00025258737200000813
影响的Type-I类任务集合。
(ii)任务
Figure BDA00025258737200000814
本身的处理时间。
(iii)t时刻，节点s上存在的比任务
Figure BDA00025258737200000815
的
Figure BDA00025258737200000816
值更大的任务(Type-II类任务)由于任务
Figure BDA00025258737200000817
的执行而额外增加的等待时间。令
Figure BDA00025258737200000818
表示任务
Figure BDA00025258737200000819
影响的Type-II类任务集合。
基于上述符号，当任务
Figure BDA00025258737200000820
在
Figure BDA00025258737200000824
时刻卸载到节点s，造成整体作业完成时间之和的增加值
Figure BDA00025258737200000821
的计算式如下：
Figure BDA00025258737200000822
(d)将任务卸载到增加量最小的节点
Figure BDA00025258737200000823
(e)更新相关的cj(t)值。具体地，为任务
Figure BDA0002525873720000091
所属作业更新cj值如下：
Figure BDA0002525873720000092
为节点s*上的Type-II类任务更新cj值如下：
Figure BDA0002525873720000093
根据本发明的另一实施例，提供一种基于多边缘集群协同的并发任务调度装置，包括：
用于在一个分布式执行作业发布时，基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序的作业定序模块；
用于在某一个任务的数据传输完成后，基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点的卸载节点选择模块；以及
用于在服务器节点上执行计算任务调度策略的任务调度模块。
其中，作业定序模块为所有作业定序，具体包括：
瓶颈AP获取单元，用于查找上传数据量最大的边缘集群AP，作为瓶颈AP，
Figure BDA0002525873720000094
其中，
Figure BDA0002525873720000095
为作业j在边缘p未上传完的数据量；
定序操作单元，用于选择瓶颈AP所有上传请求中加权后未上传数据量最多的作业
Figure BDA0002525873720000096
并将该作业置于所有无序作业的最后；初始默认所有作业的权重wj为1；
权重缩放单元，用于缩放所有无序作业的权重，以捕获定序操作单元对其余作业数据传输时延的影响，缩放公式为：
Figure BDA0002525873720000097
在
Figure BDA0002525873720000098
时，任务
Figure BDA0002525873720000099
的数据传输完成，需要为该任务选择执行节点，卸载节点选择模块基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，包括：
时间增加量计算单元，用于计算任务
Figure BDA00025258737200000910
卸载到一个节点s上时造成的整体作业完成时间之和的增加量；
判断及选择单元，用于选择增加量最小的节点，卸载该任务；
更新单元，用于更新受判断及选择单元的卸载决策影响的任务所属作业的完成时间预估值。
具体而言，本实施例中时间增加量计算单元包括：
第一计算单元，用于计算t时刻由于节点s上存在比任务
Figure BDA0002525873720000101
优先级更高的任务(Type-I类任务)所造成的任务
Figure BDA0002525873720000102
的等待时间增加；令
Figure BDA0002525873720000103
表示任务
Figure BDA0002525873720000104
影响的Type-I类任务集合；
第二计算单元，用于计算任务
Figure BDA0002525873720000105
本身的处理时间；
第三计算单元，用于计算t时刻节点s上存在的比任务
Figure BDA0002525873720000106
优先级低的任务(Type-II类任务)由于任务
Figure BDA0002525873720000107
的执行而额外增加的等待时间；令
Figure BDA0002525873720000108
表示任务
Figure BDA0002525873720000109
影响的Type-II类任务集合；
求和单元，用于将上述三个计算单元所得的三项计算值相加，得到整体作业完成时间增加量，当任务
Figure BDA00025258737200001010
在
Figure BDA00025258737200001011
时刻卸载到节点s，造成整体作业完成时间之和的增加值
Figure BDA00025258737200001012
的计算式如下：
Figure BDA00025258737200001013
其中cj(t)表示t时刻作业j已卸载任务中预估完成时间的最大值；
Figure BDA00025258737200001014
表示任务
Figure BDA00025258737200001015
卸载到节点s后在t时刻的剩余执行时间；
Figure BDA00025258737200001016
的含义可参照下文
Figure BDA00025258737200001017
的定义。
卸载节点选择模块的更新单元为任务
Figure BDA00025258737200001018
所属作业更新cj值如下：
Figure BDA00025258737200001019
Figure BDA00025258737200001020
为节点s*上的Type-II类任务更新cj值如下：
Figure BDA00025258737200001021
Figure BDA00025258737200001022
任务调度模块包括：
条件获取单元，用于计算任务所属作业的剩余执行时间；令
Figure BDA00025258737200001023
表示任务
Figure BDA00025258737200001024
所属作业在t时刻至少的剩余执行时间，其中，
Figure BDA00025258737200001025
定义为
Figure BDA00025258737200001026
Si表示边缘i的计算节点集群；
调度执行单元，用于选择所属作业的剩余执行时间最小的任务优先进行调度；在t时刻，对于节点s上尚未完成的任务(使用集合
Figure BDA0002525873720000111
表示)，调度执行单元令节点s调度
Figure BDA0002525873720000112
最小的数据处理任务。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，本发明中的控制节点与边缘计算节点的交互方式，收集反馈信息内容与在线调度方法在各系统中均适用，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于多边缘集群协同的并发任务调度方法，其特征在于，所述方法包括以下步骤：
在一个分布式执行作业发布时，基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序，各边缘AP按照定序后的作业顺序传输数据；
当某一个任务的数据传输完成后，基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，将该任务卸载到所选的服务器节点；
服务器节点执行计算任务调度策略，依次运行卸载至该服务器节点上的任务；
其中，所述基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序包括：
(1)找到上传数据量最大的边缘集群AP，作为瓶颈AP；
(2)选择瓶颈AP上传请求中加权后未上传数据量最多的作业k，并将该作业置于当前无序作业的最后；
(3)缩放无序作业j的权重
Figure FDA0003745837070000011
式中wj和wk分别为作业j和k的权重，
Figure FDA0003745837070000012
为作业j在瓶颈AP未上传完的数据量，
Figure FDA0003745837070000013
为作业k在瓶颈AP未上传完的数据量；
(4)重复上述步骤，为所有作业定序；
所述基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点，将该任务卸载到所选的服务器节点包括：
(a)计算任务
Figure FDA0003745837070000014
卸载到一个节点s上时造成的整体作业完成时间之和的增加量；
(b)选择增加量最小的节点，卸载该任务；
(c)更新受步骤(b)中卸载决策影响的任务所属作业的完成时间预估值。
2.根据权利要求1所述的基于多边缘集群协同的并发任务调度方法，其特征在于，所述步骤(a)包括：
计算t时刻由于节点s上存在比任务
Figure FDA0003745837070000015
优先级更高的任务所造成的任务
Figure FDA0003745837070000016
的等待时间增加；
计算任务
Figure FDA0003745837070000017
本身的处理时间；
计算t时刻节点s上存在的比任务
Figure FDA0003745837070000018
优先级低的任务由于任务
Figure FDA0003745837070000019
的执行而额外增加的等待时间；
将上述三项计算值相加得到整体作业完成时间增加量。
3.根据权利要求1所述的基于多边缘集群协同的并发任务调度方法，其特征在于，所述计算任务调度策略包括：
计算每个任务所属作业的剩余执行时间；
选择所属作业的剩余执行时间最小的任务优先调度。
4.一种基于多边缘集群协同的并发任务调度装置，其特征在于，包括：
用于在一个分布式执行作业发布时，基于主对偶方法为该作业在各边缘集群AP的数据上传请求安排传输顺序的作业定序模块；
用于在某一个任务的数据传输完成后，基于作业完成时延之和增值最小原则为该任务选择卸载的服务器节点的卸载节点选择模块；以及
用于在服务器节点上执行计算任务调度策略的任务调度模块；
其中，所述作业定序模块包括：
瓶颈AP获取单元，用于查找上传数据量最大的边缘集群AP，作为瓶颈AP；
定序操作单元，用于选择瓶颈AP所有上传请求中加权后未上传数据量最多的作业k，并将该作业置于当前无序作业的最后；
权重缩放单元，用于根据下式缩放无序作业j的权重：
Figure FDA0003745837070000021
式中wj和wk分别为作业j和k的权重，
Figure FDA0003745837070000022
为作业j在瓶颈AP未上传完的数据量，
Figure FDA0003745837070000023
为作业k在瓶颈AP未上传完的数据量；
所述卸载节点选择模块包括：
时间增加量计算单元，用于计算任务
Figure FDA0003745837070000024
卸载到一个节点s上时造成的整体作业完成时间之和的增加量；
判断及选择单元，用于选择增加量最小的节点，卸载该任务；
更新单元，用于更新受判断及选择单元的卸载决策影响的任务所属作业的完成时间预估值。
5.根据权利要求4所述的基于多边缘集群协同的并发任务调度装置，其特征在于，所述时间增加量计算单元包括：
第一计算单元，用于计算t时刻由于节点s上存在比任务
Figure FDA0003745837070000025
优先级更高的任务所造成的任务
Figure FDA0003745837070000031
的等待时间增加；
第二计算单元，用于计算任务
Figure FDA0003745837070000032
本身的处理时间；
第三计算单元，用于计算t时刻节点s上存在的比任务
Figure FDA0003745837070000033
优先级低的任务由于任务
Figure FDA0003745837070000034
的执行而额外增加的等待时间；
求和单元，用于将上述三项计算值相加得到整体作业完成时间增加量。
6.根据权利要求4所述的基于多边缘集群协同的并发任务调度装置，其特征在于，所述任务调度模块包括：
条件获取单元，用于计算任务所属作业的剩余执行时间；
调度执行单元，用于选择所属作业的剩余执行时间最小的任务优先进行调度。
CN202010504056.6A 2020-06-05 2020-06-05 基于多边缘集群协同的并发任务调度方法及装置 Active CN112000388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010504056.6A CN112000388B (zh) 2020-06-05 2020-06-05 基于多边缘集群协同的并发任务调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010504056.6A CN112000388B (zh) 2020-06-05 2020-06-05 基于多边缘集群协同的并发任务调度方法及装置

Publications (2)

Publication Number Publication Date
CN112000388A CN112000388A (zh) 2020-11-27
CN112000388B true CN112000388B (zh) 2022-08-23

Family

ID=73466664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010504056.6A Active CN112000388B (zh) 2020-06-05 2020-06-05 基于多边缘集群协同的并发任务调度方法及装置

Country Status (1)

Country Link
CN (1) CN112000388B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905327B (zh) * 2021-03-03 2024-03-22 湖南第一师范学院 一种任务调度方法、边缘服务器、计算机介质及边云协同计算系统
CN113296941B (zh) * 2021-05-12 2023-10-24 广州中国科学院沈阳自动化研究所分所 一种基于多边缘计算的缓存任务调度方法及装置
CN113296946B (zh) * 2021-05-24 2023-11-17 南京大学 边端协同的并发实时流式数据分析任务处理方法及设备
CN114363328B (zh) * 2021-11-19 2024-02-20 三维通信股份有限公司 一种服务器集群的任务协同方法及系统
CN114296828A (zh) * 2021-12-30 2022-04-08 中国电信股份有限公司 数据计算任务的卸载方法及装置、存储介质、设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109088755A (zh) * 2018-08-01 2018-12-25 南京大学 一种边缘计算下的复杂事件处理系统部署方法
CN109783233A (zh) * 2018-12-24 2019-05-21 中山大学 一种提供移动边缘计算中任务卸载的方法
CN110008015A (zh) * 2019-04-09 2019-07-12 中国科学技术大学 边缘计算系统中有带宽限制的在线任务分派调度方法
CN110113761A (zh) * 2019-05-15 2019-08-09 南京大学 一种流数据处理应用在边缘计算网络中的部署方法和装置
CN110471758A (zh) * 2019-07-02 2019-11-19 中国电力科学研究院有限公司 一种网络分析应用多用户并发作业调度系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834722B (zh) * 2015-05-12 2018-03-02 网宿科技股份有限公司 基于cdn的内容管理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109088755A (zh) * 2018-08-01 2018-12-25 南京大学 一种边缘计算下的复杂事件处理系统部署方法
CN109783233A (zh) * 2018-12-24 2019-05-21 中山大学 一种提供移动边缘计算中任务卸载的方法
CN110008015A (zh) * 2019-04-09 2019-07-12 中国科学技术大学 边缘计算系统中有带宽限制的在线任务分派调度方法
CN110113761A (zh) * 2019-05-15 2019-08-09 南京大学 一种流数据处理应用在边缘计算网络中的部署方法和装置
CN110471758A (zh) * 2019-07-02 2019-11-19 中国电力科学研究院有限公司 一种网络分析应用多用户并发作业调度系统及方法

Also Published As

Publication number Publication date
CN112000388A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN112000388B (zh) 基于多边缘集群协同的并发任务调度方法及装置
CN109669768B (zh) 一种面向边云结合架构的资源分配和任务调度方法
Fan et al. Deadline-aware task scheduling in a tiered IoT infrastructure
CN111756812A (zh) 一种能耗感知的边云协同动态卸载调度方法
CN108509276A (zh) 一种边缘计算环境中的视频任务动态迁移方法
CN108170530B (zh) 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法
WO2016082370A1 (zh) 一种分布式节点组内任务调度方法及系统
CN109788046B (zh) 一种基于改进蜂群算法的多策略边缘计算资源调度方法
CN113641417B (zh) 一种基于分支定界法的车辆安全任务卸载方法
CN103699433A (zh) 一种于Hadoop平台中动态调整任务数目的方法及系统
CN109445921A (zh) 一种分布式数据任务处理方法及装置
CN113918240A (zh) 任务卸载方法及装置
Yang et al. A novel distributed task scheduling framework for supporting vehicular edge intelligence
CN113190342B (zh) 用于云-边协同网络的多应用细粒度卸载的方法与系统架构
CN109976873A (zh) 容器化分布式计算框架的调度方案获取方法及调度方法
CN111782627B (zh) 面向广域高性能计算环境的任务与数据协同调度方法
CN117579701A (zh) 一种移动边缘网络计算卸载方法及系统
CN116939044A (zh) 一种基于区块链技术的算力路由规划方法和装置
CN111580943A (zh) 一种面向低时延边缘计算中多跳卸载的任务调度方法
CN116996941A (zh) 基于配网云边端协同的算力卸载方法、装置及系统
CN113448707A (zh) 在边缘计算中在线批并行任务调度方法
CN114741200A (zh) 面向数据中台的计算资源分配方法、装置及电子设备
CN114466023A (zh) 面向大规模边缘计算系统的计算服务动态定价方法及系统
CN114172558A (zh) 一种车辆网络中基于边缘计算和无人机集群协同的任务卸载方法
CN108628667A (zh) 一种基于多属性决策的启发式动态任务调度系统及其实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant