CN115756772A - 面向边缘云混合作业的动态编排与任务调度方法及系统 - Google Patents

面向边缘云混合作业的动态编排与任务调度方法及系统 Download PDF

Info

Publication number
CN115756772A
CN115756772A CN202211354104.3A CN202211354104A CN115756772A CN 115756772 A CN115756772 A CN 115756772A CN 202211354104 A CN202211354104 A CN 202211354104A CN 115756772 A CN115756772 A CN 115756772A
Authority
CN
China
Prior art keywords
job
edge
edge cluster
request
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211354104.3A
Other languages
English (en)
Inventor
王晓飞
冯一诚
沈仕浩
任远铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202211354104.3A priority Critical patent/CN115756772A/zh
Publication of CN115756772A publication Critical patent/CN115756772A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种面向边缘云混合作业的动态编排与任务调度方法及系统，包括：每个时间窗下，云对在线服务的请求到达率进行预测，以不超过每个边缘集群的总通信容量和总计算能力为条件获取作业编排集合；每个时隙下，云以在线服务请求数最大化为目标线性规划求解获取请求调度集合；当作业请求到达边缘集群时，边缘集群对请求进行判断，若为在线服务，边缘集群依据作业编排集合和请求调度集合执行部署编排或者将其发送到其它边缘集群上，若为离线作业，边缘集群将请求转发至云，云再根据综合指标加权得分法生成作业调度集合，边缘集群对离线批处理作业进行处理。本发明在保障在线服务的服务质量的同时，可提高系统处理请求的总吞吐量和资源利用率。

Description

面向边缘云混合作业的动态编排与任务调度方法及系统
技术领域
本发明属于计算机网络技术领域，具体涉及一种面向边缘云混合作业的动态编排与任务调度方法及系统。
背景技术
边缘云技术一方面借助地理优势，就近为用户提供一系列服务如计算、存储等，降低了主干网的流量负担，另一方面借助算力优势，以集中的方式为用户提供丰富的服务。据服务质量要求，混合作业通常被分为在线服务和离线批处理作业。当前，将这两类型服务混合部署到数据中心或是边缘云上是提升机器整体资源利用率的主流方法，为企业带来更佳的成本效益。据统计，谷歌通过提升集群20％的利用率，帮助其节省成本累计数十亿美元。由于作业之间特性差异巨大，如何在边缘云上协调处理不同作业已成为一个亟待解决的新挑战。
边缘云场景下的混部不是简单地将各类作业部署于同一台服务器上，而需要充分考虑系统目前状况与作业本身的特性并设计出有效的调度与编排策略，这是当前一般方案并不具备的。在线服务作业的低时延需求特性会带来许多新挑战：(1)分布式决策需求：由于在线服务的时延敏感性，无法接受将任务进行集中式调度处理的方法，因此需要分布式边缘节点具有独立决策能力；(2)低资源成本需求：受限于算法分布式部署需求与单一边缘集群的资源局限性特征，该类任务的调度算法自身不能有过高的资源开销；(3)低推理时延需求：在线服务任务在到达边缘后需要被快速决策并转发，否则将无法满足其严格的服务质量要求。因此，设计一类敏捷、低资源成本开销的分布式调度算法来应对在线服务请求是一项重要挑战。
离线批处理作业的调度更加专注于长期的吞吐量，因此面临以下挑战：(1)应对系统动态性：调度算法应具备对系统状态波动以及对在线服务请求模式变化动态的调整能力；(2)低资源成本需求：调度算法自身不能占用过多的计算和通讯资源；(3)综合各变量决策并考虑用户需求：算法应该综合多种影响系统性能的变量进行决策，且应灵活设计方便用户根据需求修正。因此，设计一类综合、灵活的集中式调度算法来应对离线批处理作业是另一项重要挑战。
发明内容
针对以上问题，本发明提出了一种面向边缘云混合作业的动态编排与任务调度方法及系统，通过为边缘云场景中的混合作业设计动态编排与任务调度策略实现在减少对在线服务的服务质量要求违反的同时，尽可能提高系统任务的总吞吐量以及对机器资源的利用率。为解决以上技术问题，本发明所采用的技术方案如下：
一种面向边缘云混合作业的动态编排与任务调度方法，包括如下步骤：
S1，构建包含一个云和若干个边缘集群的混合作业系统；
S2，初始化编排时间窗f和请求调度时隙t＝1；
S3，云对在线服务的请求到达率进行预测，以不超过每个边缘集群的总通信容量和总计算能力为条件获取作业编排集合，并将作业编排集合发送到对应的边缘集群；
S4，云以在线服务请求数最大化为目标线性规划求解获取请求调度集合，并将请求调度集合发送给对应的边缘集群；
S5，当作业请求到达边缘集群时，边缘集群对请求的类型进行判断，若为在线服务，边缘集群依据接收到的作业编排集合和请求调度集合执行在线服务的部署编排或者将在线服务发送到其它边缘集群上，若为离线批处理作业，边缘集群将该请求转发至云，云再根据综合指标加权得分法生成作业调度集合并发送到对应的边缘集群，边缘集群对离线批处理作业进行处理；
S6，执行t＝t+1，判断t％f>0，返回步骤S4，否则返回步骤S3。
所述步骤S3包括如下步骤：
S3.1，将在线服务的作业编排集合Ω初始化为空集；
S3.2，利用LSTM神经网络预测时间窗f下的请求到达平均率
Figure BDA0003920296060000021
和时隙t下的请求到达率
Figure BDA0003920296060000022
S3.3，根据步骤S3.2得到的请求到达平均率
Figure BDA0003920296060000023
以不超过每个边缘计算的总通信容量和总计算能力为条件更新作业编排集合Ω，并将更新后的作业编排集合Ω发送到边缘集群。
在步骤S3.3中，所述以不超过每个边缘计算的总通信容量和总计算能力为条件更新作业编排集合Ω是指当
Figure BDA0003920296060000029
使得Ω∪(s,d)满足第一约束条件时，则将(s,d)加入作业编排集合Ω，即Ω＝Ω∪{(s,d)}；
所述第一约束条件如下：
Figure BDA0003920296060000024
Figure BDA0003920296060000025
Figure BDA0003920296060000026
Figure BDA0003920296060000027
式中，
Figure BDA0003920296060000028
表示边缘集群d拷贝在线服务的作业副本s的成本，osdd′表示将提交给边缘集群d的作业副本为s的在线服务重新调度到另一个边缘集群d′的概率，ms表示作业副本为s的在线服务的输入/输出的数据大小，Md′表示边缘集群d′的总通信容量，gs表示作业副本为s的在线服务的计算需求，A表示总的作业副本拷贝成本的预算，Gd′表示边缘集群d′具有的总计算能力，D表示边缘集群集合，S表示总作业副本集合。
所述以在线服务请求数最大化为目标的表达式为：
Figure BDA0003920296060000031
Figure BDA0003920296060000032
Figure BDA0003920296060000033
Figure BDA0003920296060000034
Figure BDA0003920296060000035
Figure BDA0003920296060000036
Figure BDA0003920296060000037
Figure BDA0003920296060000038
式中，hs表示作业副本为s的在线服务的副本大小，Hd′表示边缘集群d′拥有的总存储容量，psd′表示边缘集群d′中是否有作业副本为s的在线服务所对应的作业实例，ysdd′表示作业副本为s的在线服务能否从边缘集群d提交到边缘集群d′，psd表示边缘集群d中是否有作业副本为s的在线服务所对应的作业实例，D表示边缘集群集合，S表示总作业副本集合，
Figure BDA0003920296060000039
表示t时隙时的请求到达率，osdd′表示将提交给边缘集群d的作业副本为s的在线服务重新调度到另一个边缘集群d′的概率，ms表示作业副本为s的在线服务的输入/输出的数据大小，Md′表示边缘集群d′的总通信容量，Gd′表示边缘集群d′具有的总计算能力，gs表示作业副本为s的在线服务的计算需求，
Figure BDA00039202960600000310
表示边缘集群d拷贝作业副本为s的在线服务的作业实例的成本，A表示总的作业副本拷贝成本的预算。
在步骤S5中，所述边缘集群将该请求转发至云，云再根据综合指标加权得分法生成离线调度决策并对应的发送到边缘集群，边缘集群对离线批处理作业进行处理，包括如下步骤：
i，云对离线批处理作业的策略权重集合W进行初始化；
ii，云将接收到的离线批处理作业依次存储在离线任务队列中；
iii，云按照FIFO原则对离线任务队列中的离线批处理作业计算综合指标得分，并根据综合指标得分最高值生成离线调度决策，进而得到离线批处理作业的作业调度集合γ′；
iv，云根据作业调度集合γ′将作业请求发送到对应的边缘集群，边缘集群对离线批处理作业进行处理，并将处理结果返还给用户。
所述综合指标得分的计算公式为：
Figure BDA00039202960600000311
式中，w1表示边缘集群已使用的存储容量dn的权重，w2表示边缘集群已使用的计算能力dg的权重，w3表示已使用的通信容量dm的权重，w4表示占用边缘集群上在线服务作业的处理失败数量dx的权重,w5表示当前边缘集群上离线批处理作业队列的长度du的权重，φ(d)表示边缘集群d的综合指标得分。
一种面向边缘云混合作业的动态编排与任务调度系统，包括一个云、若干个边缘集群和用户终端，所述云上设有：
到达率预测模块：利用LSTM神经网络预测每个时间窗的请求到达平均率和每个时隙下的请求到达率，并将请求到达平均率和请求到达率分别发送到编排决策器和第一调度决策器；
编排决策器：每个时间窗下，基于请求到达平均率和每个边缘集群处理请求时不超过其总通信容量和总计算能力为目标生成作业编排集合，并将作业编排集合发送对应的边缘集群；
第一调度决策器：每个时隙下，基于请求到达率和在线服务请求数最大化为目标线性规划求解获取请求调度集合，并将请求调度集合发送给对应的边缘集群；
第二调度决策器：每个时隙下，用于计算每个边缘集群的综合指标得分，并根据综合指标得分最高值生成离线调度决策，并将离线调度决策发送到边缘集群；
所述边缘集群上均设有：
编排执行器：用于接收云所发送的作业编排集合，并根据作业编排集合对边缘集群的服务进行编排；
调度决策执行器：用于接收云所发送的请求调度集合和作业调度集合，并根据作业调度集合和离线调度决策对用户终端所发送的作业请求进行处理，并将处理结果返还给用户。
本发明的有益效果：
基于历史数据集使用LSTM预测请求到达率，以便云对在线服务的作业实例提前编排与请求调度，以分布式调度方案应对延迟敏感的在线服务；对于离线批处理作业，云基于一种综合指标加权得分算法进行集中式调度，有效抓住了边缘云服务的不同特性与需求，从而高效协调了混部分布式边缘云场景下的各类服务，可以在保障在线服务的服务质量、减少服务水平目标(SLO)违反的同时，尽可能提高系统处理请求的总吞吐量以及对资源的利用率；从而有效应对分布式边缘云环境下错综复杂用户请求与服务需求，最大化边缘云节点的使用，大大提升了经济效益，优化了服务质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的架构示意图。
图2为不同服务请求的处理过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
云边协同(Collaborative Edge-Cloud Computing)：边缘计算借助地理优势，就近为用户提供一系列服务如计算、存储等，降低了主干网的流量负担。云计算借助算力优势，以集中的方式为用户提供丰富的服务。边缘云的云边协同架构综合了边缘计算和云计算的优势特点，通过下沉云端算力、上移终端算力，汇聚边缘算力，不仅为边缘计算领域建立了本地数据分析处理的新生态，同时也赋予云计算的分布式能力，进一步优化了服务质量与成本。云边协同架构提供了服务、资源、数据、智能等多层面的协同技术，不仅实现了请求的成功处理，同时也实现了服务器负载、设备能耗、传输时延与服务质量的平衡。
混合部署(Colocation)：一般而言，边缘云以作业为抽象单位来执行任务。按照不同的服务质量需求，企业往往会与运营商签订有关服务等级协议(Service-LevelAgreement,SLA)来约定服务质量。据此，混合作业通常被划分为在线服务和离线批处理作业。在线服务一般指延时敏感，有着较高的可用性要求的服务，例如搜索、直播等业务；离线批处理作业一般指延时不敏感，允许重运行的作业，例如视频转码、深度学习模型训练等业务。将在线服务与离线批处理作业混合部署于同一集群，是目前主流的提升整体资源利用率的方案。
实施例1：一种面向边缘云混合作业的动态编排与任务调度方法，包括如下步骤：
S1，构建包括一个云和若干个边缘集群的混合作业系统；
混合作业系统D+受云边协同技术支持，是由一个云数据中心d0与边缘集群集合D组成的无线边缘网络，即D+＝D∪{d0}。其中，边缘集群集合D中的每个边缘集群都可以通过覆盖特定区域的无线接入点或基站访问。边缘集群之间通过广域网互相通信，单一集群内部通过质量较高的局域网互联，用户端所发出的作业请求可以由一个本地的或者非本地的边缘集群提供服务，前提是该边缘集群拥有该请求任务的作业实例。
系统上总作业副本集合为S，边缘集群d上部署着若干作业实例，其集合表示为Sd，且
Figure BDA0003920296060000051
Figure BDA0003920296060000052
d∈S。其中，S由在线服务作业实例集合Sonline与离线批处理作业实例集合Sonline共同组成，即S＝Sonline∪Soffline。云数据中心中存储了总作业副本集合S的所有作业副本，可以在云与边缘集群之间、边缘集群以及边缘集群之间迁移、复制。由于在线服务一般以服务形态持续，其作业实例以容器形态提前被托管到边缘集群上并进行编排维护来应对负载的变化。离线批处理作业可以以容器、应用程序等多种形态的方式运行，在每个边缘集群上配备一个公共的处理环境。
S2，初始化编排时间窗f和请求调度时隙t＝1；
一个时间窗由多个时隙组成，本申请设定每个时隙下执行一次请求调度，每一个时间窗进行一次服务编排，其中，f为正整数。
S3，云对在线服务的请求到达率进行预测，以不超过每个边缘集群的总通信容量和总计算能力为条件获取作业编排集合，并作业编排集合发送到对应的边缘集群，包括如下步骤：
S3.1，将在线服务的作业编排集合Ω初始化为空集；
S3.2，利用LSTM神经网络预测时间窗f下的请求到达平均率
Figure BDA0003920296060000061
和时隙t下的请求到达率
Figure BDA0003920296060000062
S3.3，根据步骤S3.2得到的请求到达平均率
Figure BDA0003920296060000063
以不超过每个边缘计算的总通信容量和总计算能力为条件更新作业编排集合Ω，并将更新后的作业编排集合Ω发送到边缘集群；
具体地，当
Figure BDA00039202960600000610
使得Ω∪(s,d)满足第一约束条件时，则将(s,d)加入作业编排集合Ω，即Ω＝Ω∪{(s,d)}；
所述第一约束条件如下：
Figure BDA0003920296060000064
Figure BDA0003920296060000065
Figure BDA0003920296060000066
Figure BDA0003920296060000067
式中，
Figure BDA0003920296060000068
表示时间窗f下边缘集群d拷贝在线服务的作业副本s的成本，osdd′表示将提交给边缘集群d的作业副本为s的在线服务重新调度到另一个边缘集群d′的概率，ms表示作业副本为s的在线服务的输入/输出的数据大小，Md′表示边缘集群d′的总通信容量，gs表示作业副本为s的在线服务的计算需求，A表示总的作业副本拷贝成本的预算，由于频繁的进行作业副本的拷贝将带来较大的成本开销，因此对拷贝成本进行限制，Gd′表示边缘集群d′具有的总计算能力。
在时间窗f内拷贝边缘集群d中的作业副本为s的在线服务的成本采用
Figure BDA0003920296060000069
表示，其表达式为：
Figure BDA0003920296060000071
式中，
Figure BDA0003920296060000072
表示时间窗f下，边缘集群d上是否存储有作业副本s，csd′d表示边缘集群d从边缘集群d′获取作业副本为s所带来的成本，且csd′d≡0时，表示边缘集群本地存有作业副本，无需拷贝不产生成本。
本申请中假设边缘集群上删除作业不会产生成本，且边缘集群会从就近的拥有在线服务作业副本的集群进行作业副本拷贝。
Figure BDA0003920296060000073
的表达式如下：
Figure BDA0003920296060000074
S4，云以在线服务请求数最大化为目标线性规划求解获取请求调度集合，并将请求调度集合发送给对应的边缘集群，包括如下步骤：
S4.1，以在线服务请求数最大化为目标进行线性规划求解获取请求调度集合γ*；
所述在线服务请求数最大化为目标的表达式为：
Figure BDA0003920296060000075
Figure BDA0003920296060000076
Figure BDA0003920296060000077
Figure BDA0003920296060000078
Figure BDA0003920296060000079
Figure BDA00039202960600000710
Figure BDA00039202960600000711
Figure BDA00039202960600000712
式中，
Figure BDA00039202960600000713
表示作业副本为s的在线服务到达边缘集群d的请求到达率，hs表示作业副本为s的在线服务的副本大小，Hd′表示边缘集群d′拥有的总存储容量，psd′表示边缘集群d′中是否有作业副本为s的在线服务所对应的作业实例，ysdd′表示作业副本为s的在线服务能否从边缘集群d提交到边缘集群d′，psd表示边缘集群d中是否有作业副本为s的在线服务所对应的作业实例,
Figure BDA00039202960600000714
表示时隙t时边缘集群d拷贝在线服务的作业副本s的成本。式(1)表示使每个时段预期的在线服务请求数最大化。
条件约束b表示概率的有效性，条件约束e表示边缘集群d′的存储容量不超过总存储容量Hd′，条件约束f表示边缘集群d′的总通信容量，条件约束g表示边缘集群d′所能提供的计算能力应不超过总计算能力Gd′，条件约束h表示当边缘集群d′拥有作业副本s，且是一个候选边缘集群的情况下可以提供任务请求的服务，条件约束i表示作业副本的总部署成本应该低于预算A，条件约束j规定了决策变量的有效范围。
另外，每个边缘集群的通信、计算、存储能力都是有限的，作业副本的传输和请求的处理都将消耗边缘集群的通信、计算、存储资源。对于一个确定的边缘集群d，其能否将作业副本为s的请求提交到另外一个边缘集群d′上，将受到各类资源、作业实例以及通信延迟的限制，如对于延迟敏感的在线服务，无需将其提交到通信延迟较大或者不存在该类型作业副本的集群上，这种关系用指标ysdd′表示如下：
Figure BDA0003920296060000081
S4.2，将步骤S4.1得到的请求调度集合Υ*发送给对应的边缘集群。
对于在线服务的作业请求，由于其时延敏感特性，云依据预测的请求到达平均率和请求到达率提前进行决策，并将结果分发至各个边缘集群，且为了进一步控制系统的稳定性和作业编排的开销，在线服务的作业请求的调度与编排在两个不同的时间尺度，即时隙和时间窗上进行。
S5，当作业请求到达边缘集群时，边缘集群对请求对应的类型进行判断，若为在线服务，边缘集群依据接收到的作业编排集合Ω和请求调度集合Υ*执行在线服务的部署编排或者将在线服务发送到其它边缘集群上，若为离线批处理作业，边缘集群将该请求转发至云，云再根据综合指标加权得分法生成作业调度集合并发送到对应的边缘集群，边缘集群对离线批处理作业进行处理；
所述边缘集群将该请求转发至云，云再根据综合指标加权得分法生成作业调度集合并发送到对应的边缘集群，边缘集群对离线批处理作业进行处理，包括如下步骤：
i，云对离线批处理作业的策略权重集合W进行初始化；
所述策略权重集合中的权重数量根据评价的综合指标的数量设置，本实施例中，W＝{w1,w2,w3,w4,w5}，策略权重集合W初始化是指对集合中的权重进行随机赋值，且w1+w2+w3+w4+w5＝1。
ii，云将接收到的离线批处理作业依次存储在离线任务队列中；
iii，云按照FIFO原则对离线任务队列中的离线批处理作业计算综合指标得分，并根据综合指标得分最高值生成离线调度决策，进而得到离线批处理作业的作业调度集合γ′；
由于离线批处理作业对时延不敏感且允许重运行的性质，边缘集群在接收到该类型请求后将统一转发交由云数据中心，由云依据当前离线任务队列按FIFO原则进行决策调度。具体的，离线批处理作业的作业请求将被调度到综合指标得分最高的边缘集群上，边缘集群d的综合指标得分的计算公式如下：
Figure BDA0003920296060000091
式中，w1表示边缘集群d已使用的存储容量dh的权重，w2表示集群已使用的计算能力dg的权重，w3表示已使用的通信容量dm的权重，w4表示占用边缘集群d上在线服务作业的处理失败数量dx的权重,w5表示当前边缘集群上离线批处理作业队列的长度du的权重，且dh≤Hd，dg≤Gd，dm≤Md，Md表示边缘集群d的总通信容量，Gd表示边缘集群d的总计算能力，Hd表示边缘集群d的总存储容量。
iv，云根据作业调度集合γ′将作业请求发送到对应的边缘集群，边缘集群对离线批处理作业进行处理，并将处理结果返还给用户；
具体地，所述作业调度集合γ′中每一个离线调度决策均包括最高综合指标得分对应的目标边缘集群IP地址和作业请求信息。
S6，执行t＝t+1，判断t％f>0，返回步骤S4，否则返回步骤S3。
实施例2：一种面向边缘云混合作业的动态编排与任务调度系统，包括一个云、若干个边缘集群和用户终端，用户终端与所在区域的边缘集群无线连接，边缘集群之间相互连接，且每个边缘集群均和云连接。
所述云上设有：
到达率预测模块：用于利用LSTM神经网络预测每个时间窗的请求到达平均率和每个时隙下的请求到达率，并将请求到达平均率和请求到达率分别发送到编排决策器和第一调度决策器；
编排决策器：每个时间窗下，基于请求到达平均率和每个边缘集群处理请求时不超过其总通信容量和总计算能力为目标生成作业编排集合，并将作业编排集合发送对应的边缘集群；
第一调度决策器：每个时隙下，基于请求到达率和在线服务请求数最大化为目标线性规划求解获取请求调度集合，并将请求调度集合发送给对应的边缘集群；
第二调度决策器：每个时隙下，用于计算每个边缘集群的综合指标得分，并根据综合指标得分最高值生成离线调度决策，并将离线调度决策发送到边缘集群。
每个边缘集群上均设有：
编排执行器：用于接收云所发送的作业编排集合，并根据作业编排集合对边缘集群的服务进行编排；
调度决策执行器：用于接收云所发送的请求调度集合和作业调度集合，并根据请求调度集合和作业调度集合对用户终端所发送的作业请求进行处理，并将处理结果返还给用户。
本实施例中，作业编排集合、离线调度决策、请求调度集合的生成方法，以及综合指标得分的计算方法均同实施例1，本实施例不再详述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种面向边缘云混合作业的动态编排与任务调度方法，其特征在于，包括如下步骤：
S1，构建包含一个云和若干个边缘集群的混合作业系统；
S2，初始化编排时间窗f和请求调度时隙t＝1；
S3，云对在线服务的请求到达率进行预测，以不超过每个边缘集群的总通信容量和总计算能力为条件获取作业编排集合，并将作业编排集合发送到对应的边缘集群；
S4，云以在线服务请求数最大化为目标线性规划求解获取请求调度集合，并将请求调度集合发送给对应的边缘集群；
S5，当作业请求到达边缘集群时，边缘集群对请求的类型进行判断，若为在线服务，边缘集群依据接收到的作业编排集合和请求调度集合执行在线服务的部署编排或者将在线服务发送到其它边缘集群上，若为离线批处理作业，边缘集群将该请求转发至云，云再根据综合指标加权得分法生成作业调度集合并发送到对应的边缘集群，边缘集群对离线批处理作业进行处理；
S6，执行t＝t+1，判断t％f>0，返回步骤S4，否则返回步骤S3。
2.根据权利要求1所述的面向边缘云混合作业的动态编排与任务调度方法，其特征在于，所述步骤S3包括如下步骤：
S3.1，将在线服务的作业编排集合Ω初始化为空集；
S3.2，利用LSTM神经网络预测时间窗f下的请求到达平均率
Figure FDA0003920296050000011
和时隙t下的请求到达率
Figure FDA0003920296050000012
S3.3，根据步骤S3.2得到的请求到达平均率
Figure FDA0003920296050000013
以不超过每个边缘计算的总通信容量和总计算能力为条件更新作业编排集合Ω，并将更新后的作业编排集合Ω发送到边缘集群。
3.根据权利要求2所述的面向边缘云混合作业的动态编排与任务调度方法，其特征在于，在步骤S3.3中，所述以不超过每个边缘计算的总通信容量和总计算能力为条件更新作业编排集合Ω是指当
Figure FDA0003920296050000014
使得Ω∪(s,d)满足第一约束条件时，则将(s,d)加入作业编排集合Ω，即Ω＝Ω∪{(s,d)}；
所述第一约束条件如下：
Figure FDA0003920296050000015
Figure FDA0003920296050000016
Figure FDA0003920296050000017
Figure FDA0003920296050000021
式中，
Figure FDA0003920296050000022
表示边缘集群d拷贝在线服务的作业副本s的成本，osdd′表示将提交给边缘集群d的作业副本为s的在线服务重新调度到另一个边缘集群d′的概率，ms表示作业副本为s的在线服务的输入/输出的数据大小，Md′表示边缘集群d′的总通信容量，gs表示作业副本为s的在线服务的计算需求，A表示总的作业副本拷贝成本的预算，Gd′表示边缘集群d′具有的总计算能力，D表示边缘集群集合，S表示总作业副本集合。
4.根据权利要求1所述的面向边缘云混合作业的动态编排与任务调度方法，其特征在于，所述以在线服务请求数最大化为目标的表达式为：
Figure FDA0003920296050000023
Figure FDA0003920296050000024
Figure FDA0003920296050000025
Figure FDA0003920296050000026
Figure FDA0003920296050000027
Figure FDA0003920296050000028
Figure FDA0003920296050000029
Figure FDA00039202960500000210
式中，hs表示作业副本为s的在线服务的副本大小，Hd′表示边缘集群d′拥有的总存储容量，psd′表示边缘集群d′中是否有作业副本为s的在线服务所对应的作业实例，ysdd′表示作业副本为s的在线服务能否从边缘集群d提交到边缘集群d′，psd表示边缘集群d中是否有作业副本为s的在线服务所对应的作业实例，D表示边缘集群集合，S表示总作业副本集合，
Figure FDA00039202960500000211
表示t时隙时的请求到达率，osdd′表示将提交给边缘集群d的作业副本为s的在线服务重新调度到另一个边缘集群d′的概率，ms表示作业副本为s的在线服务的输入/输出的数据大小，Md′表示边缘集群d′的总通信容量，Gd′表示边缘集群d′具有的总计算能力，gs表示作业副本为s的在线服务的计算需求，
Figure FDA00039202960500000212
表示边缘集群d拷贝作业副本为s的在线服务的作业实例的成本，A表示总的作业副本拷贝成本的预算。
5.根据权利要求1所述的面向边缘云混合作业的动态编排与任务调度方法，其特征在于，在步骤S5中，所述边缘集群将该请求转发至云，云再根据综合指标加权得分法生成离线调度决策并对应的发送到边缘集群，边缘集群对离线批处理作业进行处理，包括如下步骤：
i，云对离线批处理作业的策略权重集合W进行初始化；
ii，云将接收到的离线批处理作业依次存储在离线任务队列中；
iii，云按照FIFO原则对离线任务队列中的离线批处理作业计算综合指标得分，并根据综合指标得分最高值生成离线调度决策，进而得到离线批处理作业的作业调度集合γ′；
iv，云根据作业调度集合γ′将作业请求发送到对应的边缘集群，边缘集群对离线批处理作业进行处理，并将处理结果返还给用户。
6.根据权利要求5所述的面向边缘云混合作业的动态编排与任务调度方法，其特征在于，所述综合指标得分的计算公式为：
Figure FDA0003920296050000031
式中，w1表示边缘集群已使用的存储容量dh的权重，w2表示边缘集群已使用的计算能力dg的权重，w3表示已使用的通信容量dm的权重，w4表示占用边缘集群上在线服务作业的处理失败数量dx的权重,w5表示当前边缘集群上离线批处理作业队列的长度du的权重，φ(d)表示边缘集群d的综合指标得分。
7.一种面向边缘云混合作业的动态编排与任务调度系统，其特征在于，包括一个云、若干个边缘集群和用户终端，所述云上设有：
到达率预测模块：利用LSTM神经网络预测每个时间窗的请求到达平均率和每个时隙下的请求到达率，并将请求到达平均率和请求到达率分别发送到编排决策器和第一调度决策器；
编排决策器：每个时间窗下，基于请求到达平均率和每个边缘集群处理请求时不超过其总通信容量和总计算能力为目标生成作业编排集合，并将作业编排集合发送对应的边缘集群；
第一调度决策器：每个时隙下，基于请求到达率和在线服务请求数最大化为目标线性规划求解获取请求调度集合，并将请求调度集合发送给对应的边缘集群；
第二调度决策器：每个时隙下，用于计算每个边缘集群的综合指标得分，并根据综合指标得分最高值生成离线调度决策，并将离线调度决策发送到边缘集群；
所述边缘集群上均设有：
编排执行器：用于接收云所发送的作业编排集合，并根据作业编排集合对边缘集群的服务进行编排；
调度决策执行器：用于接收云所发送的请求调度集合和作业调度集合，并根据请求调度集合和作业调度集合对用户终端所发送的作业请求进行处理，并将处理结果返还给用户。
CN202211354104.3A 2022-11-01 2022-11-01 面向边缘云混合作业的动态编排与任务调度方法及系统 Pending CN115756772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211354104.3A CN115756772A (zh) 2022-11-01 2022-11-01 面向边缘云混合作业的动态编排与任务调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211354104.3A CN115756772A (zh) 2022-11-01 2022-11-01 面向边缘云混合作业的动态编排与任务调度方法及系统

Publications (1)

Publication Number Publication Date
CN115756772A true CN115756772A (zh) 2023-03-07

Family

ID=85354859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211354104.3A Pending CN115756772A (zh) 2022-11-01 2022-11-01 面向边缘云混合作业的动态编排与任务调度方法及系统

Country Status (1)

Country Link
CN (1) CN115756772A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116089021A (zh) * 2023-04-10 2023-05-09 北京大学 面向深度学习的大规模负载混部调度方法、装置及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116089021A (zh) * 2023-04-10 2023-05-09 北京大学 面向深度学习的大规模负载混部调度方法、装置及介质

Similar Documents

Publication Publication Date Title
Chaurasia et al. Comprehensive survey on energy-aware server consolidation techniques in cloud computing
Zhang et al. Virtual network embedding based on modified genetic algorithm
Sandhu et al. Scheduling of big data applications on distributed cloud based on QoS parameters
Maleki et al. Mobility-aware computation offloading in edge computing using machine learning
Yu et al. Efficient task sub-delegation for crowdsourcing
Gupta et al. COLAP: A predictive framework for service function chain placement in a multi-cloud environment
Kovacevic et al. Cloud and edge computation offloading for latency limited services
Zhou et al. Digital twin-empowered network planning for multi-tier computing
Yang et al. Cooperative task offloading for mobile edge computing based on multi-agent deep reinforcement learning
CN115756772A (zh) 面向边缘云混合作业的动态编排与任务调度方法及系统
Amer et al. An optimized collaborative scheduling algorithm for prioritized tasks with shared resources in mobile-edge and cloud computing systems
Aghdashi et al. Novel dynamic load balancing algorithm for cloud-based big data analytics
Madhumala et al. Virtual machine placement using energy efficient particle swarm optimization in cloud datacenter
Mebrek et al. Intelligent resource allocation and task offloading model for IoT applications in fog networks: a game-theoretic approach
CN113139639B (zh) 一种基于mombi面向智慧城市应用多目标计算迁移方法和装置
Wang et al. On Jointly Optimizing Partial Offloading and SFC Mapping: A Cooperative Dual-Agent Deep Reinforcement Learning Approach
Mahapatra et al. EFog-IoT: harnessing power consumption in fog-assisted of things
Balagoni et al. Locality-load-prediction aware multi-objective task scheduling in the heterogeneous cloud environment
Gabi et al. Quality of service task scheduling algorithm for time-cost trade off scheduling problem in cloud computing environment
Patel et al. An improved approach for load balancing among heterogeneous resources in computational grids
Reshmi et al. Profit and resource availability-constrained optimal handling of high-performance scientific computing tasks
Abdullah et al. A survey of iot stream query execution latency optimization within edge and cloud
Sivaraman et al. Efficient multimedia content storage and allocation in multidimensional cloud computing resources
Dewi et al. Toward Task Scheduling Approaches to Reduce Energy Consumption in Cloud Computing Environment
Hou et al. Dystri: A Dynamic Inference based Distributed DNN Service Framework on Edge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination