CN115185650A - 一种异构边缘算力网络任务调度方法 - Google Patents

一种异构边缘算力网络任务调度方法 Download PDF

Info

Publication number
CN115185650A
CN115185650A CN202210430760.0A CN202210430760A CN115185650A CN 115185650 A CN115185650 A CN 115185650A CN 202210430760 A CN202210430760 A CN 202210430760A CN 115185650 A CN115185650 A CN 115185650A
Authority
CN
China
Prior art keywords
task
computing
matrix
com
matching degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210430760.0A
Other languages
English (en)
Inventor
李卫榜
李玲
崔梦天
谭颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Minzu University
Original Assignee
Southwest Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Minzu University filed Critical Southwest Minzu University
Priority to CN202210430760.0A priority Critical patent/CN115185650A/zh
Publication of CN115185650A publication Critical patent/CN115185650A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出一种异构边缘算力网络任务调度方法,该方法包括:定义任务模型,用四元组表示;根据设备计算能力构建算力矩阵,根据计算设备存储空间情况构建存储空间矩阵,根据任务所需数据的分布构建数据资源矩阵;根据计算任务响应时间矩阵得到资源匹配度矩阵,基于均衡分配思想构建负载均衡度评估矩阵,根据上述矩阵构建综合匹配度矩阵;对每一个待调度任务计算近似最优带宽分配方案;基于综合匹配度构建任务集合与边缘计算设备集合之间的映射图,根据映射图基于最小费用流策略得到初步任务调度策略集合并精简,得到最终的任务调度策略。本发明的方法能够有效提高算力资源利用率、存储资源利用率、网络带宽利用率,同时能够提升用户满意度。

Description

一种异构边缘算力网络任务调度方法
技术领域
本发明涉及计算任务调度领域,具体涉及一种异构边缘算力网络任务调度方法。
背景技术
随着移动互联网技术和人工智能技术的快速发展,基于人工智能的应用诸如人脸识别、自动驾驶等新 型业务对计算资源、存储资源的需求越来越大,而终端智能设备的计算和存储能力通常有限,难以支撑新 业务对算力和存储等资源的需求。边缘计算技术充分利用了分布在不同地方的边缘计算设备,智能终端可 以将计算任务调度到紧邻的计算设备进行执行,在降低了云服务器的负载压力的同时,会导致算力孤岛效 应的出现,而且算力设备之前通常存在缺乏协同工作的问题。随着计算任务的多样化,一个计算任务的执 行可能需要多种不同类型和处理能力的计算资源,而这些计算资源单个边缘计算设备通常难以满足。边缘 计算设备的异构性、算力资源的有限性、计算任务对算力资源的高需求使得异构边缘网络算力资源任务调 度充满挑战。目前已有的方法将边缘计算网络任务调度问题建模成多任务的多目标优化问题,基于线性规 划、机器学习等方法进行问题求解,但是现有方法通常缺乏对计算设备资源的全局考虑,主要考虑的是计 算能力的利用率提升,而对计算设备的空间资源利用率、网络资源利用率等方面缺乏考虑。
发明内容
要解决的技术问题
为解决边缘计算网络环境异构资源多任务调度问题,本发明提出一种异构边缘算力网络任务调度方 法,从而解决现有技术中存在的前述问题。
技术方案
一种异构边缘算力网络任务调度方法,其特征在于步骤如下:
步骤1:确定用户任务集合,定义任务模型,将异构边缘算力网络用户任务用四元组表示;
步骤2:构建资源模型,根据任务模型、异构计算设备的算力及存储、数据分布情况,分别构建任务 资源需求矩阵、算力矩阵、存储空间矩阵、数据资源矩阵;
步骤3:任务与计算设备匹配度评估,对任务与计算设备进行资源匹配度、负载均衡度、存储空间匹 配度评估,根据评估结果构建综合匹配度矩阵;
步骤4:任务带宽分配,对每一个待调度任务,根据任务所需数据迁移量,迭代计算任务所需数据传 输耗时,以最小化数据传输耗时为目标,得到任务带宽近似最优分配方案;
步骤5:任务调度策略确定,对每一个任务与设备组合,计算综合匹配度矩阵,判断当前任务与设备 组合是否与任务分配集合中已分配任务存在冲突,将不冲突的任务与设备组合加入任务分配集合,最终得 到任务分配集合。
有益效果
本发明提出一种异构边缘算力网络任务调度方法,该方法首先根据用户任务集合定义任务模型,然后 根据任务模型、异构计算环境计算设备计算能力、异构边缘算力网络计算设备存储空间情况、任务所需数 据在异构边缘算力网络的分布情况构建相应矩阵,进一步得到资源匹配度矩阵、负载均衡度评估矩阵、存 储空间匹配度矩阵,然后根据资源匹配度矩阵、负载均衡度评估矩阵、存储空间匹配度矩阵构建综合匹配 度矩阵,对每一个待调度任务计算近似最优带宽分配方案,对每一个任务与设备组合,根据综合匹配度以 及通过检测与任务已分配策略集合是否冲突,最终得到任务分配集合。本发明在为异构边缘算力网络任务 调度时,充分考虑了任务对计算资源、存储资源、网络资源的需求,实现了网络带宽、存储资源、计算资 源的充分利用,能够有效缩短任务的处理响应时间,同时,本发明提出的异构边缘算力网络任务调度方法 在算力资源利用率、存储资源利用率、网络带宽利用率、用户满意度等指标上表现良好。
附图说明
图1是根据本发明一个实施例的异构边缘算力网络任务调度方法的过程示意图
图2是根据本发明一个实施例的异构边缘算力网络任务调度方法的流程图
具体实施方式
现结合实施例、附图对本发明作进一步描述:
本发明提出了异构边缘算力网络任务调度方法,任务调度方法流程图见图2,解决其技术问题所采用 的技术方案包括以下内容:
1.定义任务模型
本发明假定异构边缘算力网络用户任务为U个,用户任务集合用Ψ表示,Ψ={1,2,…,U},u∈Ψ为一个 任务。对异构边缘算力网络的每一个任务u,用四元组u(Mu,Nu,Du,Vu)表示,其中Mu表示任务u对 不同类型计算资源浮点运算量的需求矩阵,Nu表示任务u对不同类型计算资源核心数需求,Du表示任务u 对各设备所拥有数据需求规模矩阵,Vu表示发起任务u的终端设备需传输给各计算设备的数据规模矩阵。
2.计算资源模型构建
本发明将任务对单运算核心浮点运算量(floating-point operations,FLOP)作为运算量需求度量指标, 考虑到任务的运行可能需要多个核心,因此也要考虑任务对不同类型处理器核心数量的需求。用矩阵Mu与Nu分别表示任务u对不同类型计算资源浮点运算量的需求矩阵和对不同类型计算资源核心数需求,具 体如下:
Mu=[mu1,mu2,…,muk] (1)
Nu=[nu1,nu2,…,nuk] (2)
其中,k为异构处理器种类数量,muj为任务u在第j类计算资源上的FLOPs需求,nuj为任务u对第j 类计算资源的核心数最大需求。如果任务u不需要第j类资源,则muj和nuj值均为0。
本发明考虑对异构计算设备进行抽象,以每秒钟浮点运算量(floating-pointoperations per second, FLOPs)作为处理器单核心的性能度量指标,这种度量方式,可以屏蔽不同硬件设备的差异,适用于异构 边缘计算环境。对每个边缘计算设备,其性能由设备上的各类处理器的FLOPs和核心数决定,用矩阵Ph和Qh分别表示每个边缘计算设备各类处理器的FLOPs矩阵和各类处理器的核心数矩阵。
Ph=[ph1,ph2,…,phk] (3)
Qh=[qh1,qh2,…,qhk] (4)
其中,k为计算设备的各类计算资源的数量,phj代表计算设备h上第j类计算资源的FLOPs,qhj代表 设备h上第j类计算资源的核心数量。如果计算设备h上没有第j类计算资源,则phj和qhj值均为0。
设备h当前可用核心数用矩阵Qh’表示,根据式(2)和式(4),Qh’表示如下:
Figure BDA0003610327260000021
其中Jh为当前设备h上运行的任务集合,
Figure BDA0003610327260000022
表示当前设备h上被占用各类核心集合。
当设备h上当前可用某种计算资源不能满足任务u对该资源需求时,即时Nu>Qh’时,视为任务u在 设备h上的计算响应时间为无穷大。这种情况下,任务u不适合调度到设备h上。根据任务u的计算量FLOP 与其占用的算力资源的比值作为任务u在目标设备h的计算时间的预估值,占用算力资源由任务u占用的 最大核心数矩阵Nu与设备h拥有的核心算力FLOPs矩阵Ph相乘得到。任务u在目标设备h上的预估计算 时间tcal(u,h)表示如下:
Figure RE-GDA0003833125800000031
根据公式(6),可以得到每个任务在目标设备上的预估计算时间矩阵Tcal
3.存储资源模型构建
本发明用矩阵S表示各计算设备存储空间,矩阵S表示如下:
S=[s1,s2,…,sm] (7)
其中,m为边缘计算环境内计算设备数量,sj表示第j台设备的存储空间。考虑到每个设备存储空间 可能被部分占用,用矩阵Su’表示各设备可供任务u使用的存储空间大小,矩阵表示如下:
Su’=[su1,su2,…,sum] (8)
其中,suj表示设备j可供任务u使用的存储空间大小。
Figure BDA0003610327260000032
E为边缘计算设备集合,有suj≤sj。假定发起任务u的终端设备需传输给各计算设备的数据 规模用矩阵Vu表示,这里矩阵Vu表示如下:
Vu=[vu1,vu2,…,vum] (9)
其中,vuj表示任务u向设备j传输的数据规模。
用Cu表示发起任务u的终端设备的通信能力矩阵,Cu表示如下:
Cu=[cu1,cu2,…,cum] (10)
其中,cuj表示发起任务u的终端设备与第j台计算设备之间的有效通信带宽。发起任务u的终端设备 向各计算设备数据传输响应时间tcom_s,为该终端设备向各计算设备数据传输响应时间的最大值。tcom_s表示 如下:
Figure BDA0003610327260000033
其中,W’为发起任务u的终端设备与各计算设备之间的有效通信带宽矩阵,cuj’表示发起任务u的终端 设备与第j’台计算设备之间的有效通信带宽,vuj’表示发起任务u的终端设备向第j’台计算设备传输数据的 规模。
4.数据资源模型构建
本发明用矩阵Du表示任务u的数据需求,具体表示如下:
Du=[du1,du2,…,dum] (12)
其中,m为异构计算环境内计算设备数量,duj表示任务u所需数据在第j台计算设备上的存储规模。 如果第j台设备上没有存储任务u所需数据,则duj值为0。
异构计算环境中,不同设备之间的通信带宽差异较大,本发明将各设备间通信的实际有效带宽作为设 备间通信能力的衡量指标。用矩阵Ch表示设备h与相邻设备的通信能力,具体表示如下:
Ch=[ch1,ch2,…,chm] (13)
其中,chj表示当前设备h与第j台设备的有效带宽。如果设备h与第j台设备不相邻,则chj值为0。 用chh表示设备h与自身的带宽,用设备h的I/O速率表示。
任务u在设备h上执行时所需数据从其他边缘计算设备传输到当前设备的时间,为任务u在设备h上 执行时所需数据从其他边缘计算设备传输到当前设备的时间最大值,表示如下:
Figure BDA0003610327260000034
其中,W为设备h为任务u分配的与其他设备数据传输的有效带宽,chj’为设备h与设备j’之间的有效 带宽,dhj’为任务u所需数据在第j’台设备上的存储规模。根据公式(14),可计算不同任务在各计算设备 上预估的数据处理时间,进而得到预估数据响应时间矩阵Tcom_d
5.资源匹配度模型构建
本发明根据公式(6),可计算不同任务在各计算设备上预估的数据处理时间,进而得到预估处理响应 时间矩阵Tcal。根据公式(11),可计算发起不同任务的终端设备向各计算设备数据传输响应时间,进而得 到预估数据响应时间矩阵Tcom_s。根据公式(14),可计算不同任务执行时所需数据从其他边缘计算设备传 输到当前设备的时间Tcom_d。Tcal、Tcom_s与Tcom_d值越小,说明任务与设备的资源匹配度越高。分别对Tcal、 Tcom_s与Tcom_d进行规范化,得到Γcal、Γcom_s与Γcom_d,将1分别与Γcal、Γcom_s和Γcom_d计算差值,得到规范化 计算资源匹配度矩阵Acal、Acom_s与Acom_d,分别表示如下:
Acal=1-Γcal (15)
Acom_s=1-Γcom_s (16)
Acom_d=1-Γcom_d (17)
Acal中每个元素表示任务u与计算设备h的计算资源匹配度,Acom_s中每个元素表示任务u与计算设备 h的空间资源匹配度,Acom_d中每个元素表示任务u与计算设备h的数据资源匹配度。Acal、Acom_s与Acom_d中元素数值大小反映了任务与资源的相关性,元素数值越小,表示资源与任务的匹配度越高。
6.均衡度模型构建
本发明基于资源均衡分配的思想,基于计算资源利用率衡量边缘计算设备的负载均衡度。已知任务u 对计算资源核心数占用矩阵为Nu,当前设备h上的任务对计算资源核心数占用矩阵为N’表示,这里N’表 示如下:
Figure BDA0003610327260000041
这里Jh为设备h上所有任务集合。对于设备h来说,将任务u分配到h上之后的资源利用率ξ表示如 下:
Figure BDA0003610327260000042
对资源利用率ξ求方差ψ,具体计算如下:
Figure BDA0003610327260000043
利用公式(20)计算各设备被分配到不同任务后的资源利用率方差,得到方差矩阵,用Ψ表示,对Ψ 进行规范化,规范化结果Ψ’与1做差值,得到负载均衡度评估矩阵
Figure BDA0003610327260000049
表示如下:
Φ=1-Ψ’ (21)
Φ中每个元素φuh表示任务u与设备h计算资源负载匹配度,其数值越大,代表任务u迁移到h上之 后的负载越均衡。
7.存储空间匹配度模型构建
本发明根据公式(8)和公式(9),对
Figure BDA0003610327260000044
如vuj≤suj,表示计算设备j上有足够存储空间存储任务u 迁移到设备j上的数据,设备j对任务u存储空间可用,否则表示设备j对任务u存储空间不可用。用B 表示任务与计算设备存储空间适配矩阵,表示如下:
B=[bu1,bu2,…,bum] (22)
buj为1表示计算设备j能够满足任务u存储空间需求,否则buj为0。考虑到不同设备剩余空间大小不 同,在设备满足任务u计算资源前提下,优先将任务调度到存储空间充裕的节点上。利用公式(8)和公 式(9)计算每个边缘计算设备剩余可用存储空间与任务u所需空间的比值θuj,构建存储空间可用性矩阵Θ, 对Θ规范化,构建存储空间匹配度矩阵
Figure BDA0003610327260000045
表示如下:
Figure BDA0003610327260000046
8.综合匹配度模型构建
本发明对上述5个评估矩阵分配不同的权重,通过加权求和得到综合匹配度矩阵
Figure BDA0003610327260000047
具体表示如下:
Figure BDA0003610327260000048
其中,α+β+γ+δ+ε=1,α、β、γ、δ、ε分别是计算资源匹配度、数据资源匹配度、存储资源匹配度、 设备负载均衡度和存储空间匹配度的权重系数。针对不同的应用场景,灵活选择α、β、γ、δ、ε的初始值, 在运行过程中,根据负载、存储空间剩余等情况的变化,可以对上述权重系数进行动态调整。综合匹配度 矩阵
Figure BDA0003610327260000054
中的元素luj表示任务u与设备j的匹配情况,其值越大,说明任务与设备的综合相关性越高。
9.调度优化模型
本发明在上述存储资源模型、数据资源模型的基础上,将任务u到计算设备h的数据传输时间tcom(u,h) 表示如下:
tcom(u,h)=tcom_d(u,h,w)+tcom_s(u,h,w’) (25)
在计算设备h上完成任务u总的时间开销t(u,h)表示如下:
t(u,h)=tcom(u,h)+tcal(u,h) (26)
以最小化完成任务的总时间开销为目标,本发明对最终的任务调度优化问题建模如下:
Figure BDA0003610327260000051
Figure BDA0003610327260000052
Figure BDA0003610327260000053
其中,Jh为调度到计算设备h上的所有任务集合,vuh为发起任务u的终端设备传输给设备h的数据规 模,sh表示设备h可用存储空间大小,duj’表示任务u所需数据在第j’台计算设备上的存储规模,qhj表示设 备h上第j类计算资源的FLOPs。
10.拟调度任务带宽分配
本发明对基于迭代方法对带宽分配进行优化,从而减少数据传输时间。依据任务u所需数据迁移量 Du,结合算力网络通信拓扑图G和已使用带宽矩阵Wused,迭代计算往设备j传输数据的最长耗时tcom_max, 这里tcom_max为tcom_d与tcom_s最大值之和。设定阈值δ为足够小的数,当tcom_max与最优解差值逼近设定的阈 值δ时,得到带宽分配近似最优解。根据带宽分配结果更新已使用带宽矩阵Wused,根据已使用带宽矩阵Wused更新运行任务u的设备j与其他计算设备之间的通信带宽矩阵W,根据算力网络通信拓扑图G和已使用带 宽矩阵Wused更新未使用带宽矩阵Widle
11.任务调度策略
本发明对每一个计算设备h和计算任务u,如果设备h当前可用计算资源矩阵满足计算任务u所需计 算资源,根据带宽分配结果分别计算任务u在设备h上计算耗时、数据资源传输耗时以及终端数据传输耗 时,根据公式(15)、(16)、(17)计算任务与资源的匹配度,根据公式(21)求解计算资源负载匹配度, 根据公式(23)计算存储空间匹配度,根据公式(24)计算综合匹配度,根据综合匹配度构建任务集合与 边缘计算设备集合之间的映射图,根据映射图基于最小费用流策略得到初步任务调度策略集合,对初步任 务调度策略集合进行精简,去除存在冲突的调度策略,得到最终的异构边缘算力网络任务调度策略。

Claims (6)

1.一种异构边缘算力网络任务调度方法,其特征在于步骤如下:
步骤1:确定用户任务集合,定义任务模型,将异构边缘算力网络用户任务用四元组表示;
步骤2:构建资源模型,根据任务模型、异构计算设备的算力及存储、数据分布情况,分别构建任务资源需求矩阵、算力矩阵、存储空间矩阵、数据资源矩阵;
步骤3:任务与计算设备匹配度评估,对任务与计算设备进行资源匹配度、负载均衡度、存储空间匹配度评估,根据评估结果构建综合匹配度矩阵;
步骤4:任务带宽分配,对每一个待调度任务,根据任务所需数据迁移量,迭代计算任务所需数据传输耗时,以最小化数据传输耗时为目标,得到任务带宽近似最优分配方案;
步骤5:任务调度策略确定,对每一个任务与设备组合,计算综合匹配度矩阵,判断当前任务与设备组合是否与任务分配集合中已分配任务存在冲突,将不冲突的任务与设备组合加入任务分配集合,最终得到任务分配集合。
2.根据权利要求1所述的确定用户任务集合方法,其特征在于,对异构边缘算力网络的每一个任务u,用四元组u(Mu,Nu,Du,Vu)表示,其中Mu表示任务u对不同类型计算资源浮点运算量的需求矩阵,Nu表示任务u对不同类型计算资源核心数需求,Du表示任务u对各设备所拥有数据需求规模矩阵,Vu表示发起任务u的终端设备需传输给各计算设备的数据规模矩阵。
3.根据权利要求1所述的构建资源模型方法,其特征在于,构建任务资源需求矩阵、算力矩阵、存储空间矩阵、数据资源矩阵,包含如下步骤:
(1)任务资源需求模型构建:
用矩阵Mu与Nu分别表示任务u对不同类型计算资源浮点运算量的需求矩阵和对不同类型计算资源核心数需求,具体如下:
Mu=[mu1,mu2,…,muk]
Nu=[nu1,nu2,…,nuk]
其中,k为异构处理器种类数量,muj为任务u在第j类计算资源上的FLOPs需求,nuj为任务u对第j类计算资源的核心数最大需求。如果任务u不需要第j类资源,则muj和nuj值均为0。
(2)算力资源模型构建:
对每个边缘计算设备,其性能由设备上的各类处理器的FLOPs和核心数决定,用矩阵Ph和Qh分别表示每个边缘计算设备各类处理器的FLOPs矩阵和各类处理器的核心数矩阵。
Ph=[ph1,ph2,…,phk]
Qh=[qh1,qh2,…,qhk]
其中,k为计算设备的各类计算资源的数量,phj代表计算设备h上第j类计算资源的FLOPs,qhj代表设备h上第j类计算资源的核心数量。如果计算设备h上没有第j类计算资源,则phj和qhj值均为0。
设备h当前可用核心数用矩阵Qh’表示,根据式(2)和式(4),Qh’表示如下:
Figure FDA0003610327250000011
其中Jh为当前设备h上运行的任务集合,
Figure FDA0003610327250000012
表示当前设备h上被占用各类核心集合。
(3)存储资源模型构建:
用矩阵S表示各计算设备存储空间,矩阵S表示如下:
S=[s1,s2,…,sm]
其中,m为边缘计算环境内计算设备数量,sj表示第j台设备的存储空间。考虑到每个设备存储空间可能被部分占用,用矩阵Su’表示各设备可供任务u使用的存储空间大小,矩阵表示如下:
Su’=[su1,su2,…,sum]
其中,suj表示设备j可供任务u使用的存储空间大小。
Figure FDA0003610327250000013
E为边缘计算设备集合,有suj≤sj。假定发起任务u的终端设备需传输给各计算设备的数据规模用矩阵Vu表示,这里矩阵Vu表示如下:
Vu=[vu1,vu2,…,vum]
其中,vuj表示任务u向设备j传输的数据规模。
(4)数据资源模型构建:
用矩阵Du表示任务u的数据需求,具体表示如下:
Du=[du1,du2,…,dum]
其中,m为异构计算环境内计算设备数量,duj表示任务u所需数据在第j台计算设备上的存储规模。如果第j台设备上没有存储任务u所需数据,则duj值为0。
4.根据权利要求1所述的任务与计算设备匹配度评估方法,其特征在于,对任务与计算设备进行资源匹配度、负载均衡度、存储空间匹配度评估,根据评估结果构建综合匹配度矩阵,包含如下步骤:
(1)资源匹配度模型:
任务u在目标设备h上的预估计算时间tcal(u,h)表示如下:
Figure FDA0003610327250000021
根据tcal(u,h)可以得到每个任务在目标设备上的预估计算时间矩阵Tcal
发起任务u的终端设备向各计算设备数据传输响应时间tcom_s,为该终端设备向各计算设备数据传输响应时间的最大值。tcom_s表示如下:
Figure FDA0003610327250000022
其中,W’为发起任务u的终端设备与各计算设备之间的有效通信带宽矩阵,cuj’表示发起任务u的终端设备与第j’台计算设备之间的有效通信带宽,vuj’表示发起任务u的终端设备向第j’台计算设备传输数据的规模。根据tcom_s(u,h,w’)可以计算发起不同任务的终端设备向各计算设备数据传输响应时间,进而得到预估数据响应时间矩阵Tcom_s
任务u在设备h上执行时所需数据从其他边缘计算设备传输到当前设备的时间,为任务u在设备h上执行时所需数据从其他边缘计算设备传输到当前设备的时间最大值,表示如下:
Figure FDA0003610327250000023
其中,W为设备h为任务u分配的与其他设备数据传输的有效带宽,chj’为设备h与设备j’之间的有效带宽,dhj’为任务u所需数据在第j’台设备上的存储规模。根据tcom_d(u,h,w),可计算不同任务在各计算设备上预估的数据处理时间,进而得到预估数据响应时间矩阵Tcom_d
分别对Tcal、Tcom_s与Tcom_d进行规范化,得到Γcal、Γcom_s与Γcom_d,将1分别与Γcal、Γcom_s和Γcom_d计算差值,得到规范化计算资源匹配度矩阵Acal、Acom_s与Acom_d,分别表示如下:
Acal=1-Γcal
Acom_s=1-Γcom_s
Acom_d=1-Γcom_d
Acal中每个元素表示任务u与计算设备h的计算资源匹配度,Acom_s中每个元素表示任务u与计算设备h的空间资源匹配度,Acom_d中每个元素表示任务u与计算设备h的数据资源匹配度。
(2)均衡度模型:
对于设备h来说,将任务u分配到h上之后的资源利用率ξ表示如下:
Figure FDA0003610327250000031
对资源利用率ξ求方差ψ,具体计算如下:
Figure FDA0003610327250000032
利用公式(20)计算各设备被分配到不同任务后的资源利用率方差,得到方差矩阵,用Ψ表示,对Ψ进行规范化,规范化结果Ψ’与1做差值,得到负载均衡度评估矩阵
Figure FDA0003610327250000033
表示如下:
Φ=1-Ψ’
Φ中每个元素φuh表示任务u与设备h计算资源负载匹配度,其数值越大,代表任务u迁移到h上之后的负载越均衡。
(3)存储空间匹配度模型:
Figure FDA0003610327250000034
如vuj≤suj,表示计算设备j上有足够存储空间存储任务u迁移到设备j上的数据,设备j对任务u存储空间可用,否则表示设备j对任务u存储空间不可用。用B表示任务与计算设备存储空间适配矩阵,表示如下:
B=[bu1,bu2,…,bum]
buj为1表示计算设备j能够满足任务u存储空间需求,否则buj为0。考虑到不同设备剩余空间大小不同,在设备满足任务u计算资源前提下,优先将任务调度到存储空间充裕的节点上。利用Su’=[su1,su2,…,sum]和Vu=[vu1,vu2,…,vum]计算每个边缘计算设备剩余可用存储空间与任务u所需空间的比值θuj,构建存储空间可用性矩阵Θ,对Θ规范化,构建存储空间匹配度矩阵
Figure FDA0003610327250000035
表示如下:
Figure FDA0003610327250000036
(4)综合匹配度模型构建:
对上述5个评估矩阵分配不同的权重,通过加权求和得到综合匹配度矩阵
Figure FDA0003610327250000037
具体表示如下:
Figure FDA0003610327250000038
其中,α+β+γ+δ+ε=1,α、β、γ、δ、ε分别是计算资源匹配度、数据资源匹配度、存储资源匹配度、设备负载均衡度和存储空间匹配度的权重系数。针对不同的应用场景,灵活选择α、β、γ、δ、ε的初始值,在运行过程中,根据负载、存储空间剩余等情况的变化,可以对上述权重系数进行动态调整。
5.根据权利要求1所述的任务带宽分配方法,其特征在于,依据任务u所需数据迁移量Du,结合算力网络通信拓扑图G和已使用带宽矩阵Wused,迭代计算往设备j传输数据的最长耗时tcom_max,这里tcom_max为tcom_d与tcom_s最大值之和。设定阈值δ为足够小的数,当tcom_max与最优解差值逼近设定的阈值δ时,得到带宽分配近似最优解。根据带宽分配结果更新已使用带宽矩阵Wused,根据已使用带宽矩阵Wused更新运行任务u的设备j与其他计算设备之间的通信带宽矩阵W,根据算力网络通信拓扑图G和已使用带宽矩阵Wused更新未使用带宽矩阵Widle
6.根据权利要求1所述的任务调度策略确定方法,其特征在于,将任务u到计算设备h的数据传输时间tcom(u,h)表示如下:
tcom(u,h)=tcom_d(u,h,w)+tcom_s(u,h,w’)
在计算设备h上完成任务u总的时间开销t(u,h)表示如下:
t(u,h)=tcom(u,h)+tcal(u,h)
以最小化完成任务的总时间开销为目标,本发明对最终的任务调度优化问题建模如下:
Figure FDA0003610327250000039
Figure FDA00036103272500000310
Figure FDA0003610327250000041
其中,Jh为调度到计算设备h上的所有任务集合,vuh为发起任务u的终端设备传输给设备h的数据规模,sh表示设备h可用存储空间大小,duj’表示任务u所需数据在第j’台计算设备上的存储规模,qhj表示设备h上第j类计算资源的FLOPs。
对每一个计算设备h和计算任务u,如果设备h当前可用计算资源矩阵满足计算任务u所需计算资源,根据带宽分配结果分别计算任务u在设备h上计算耗时、数据资源传输耗时以及终端数据传输耗时,计算任务与资源的匹配度,求解计算资源负载匹配度和存储空间匹配度,根据权利要求1所述的任务与计算设备匹配度评估方法计算综合匹配度,根据综合匹配度构建任务集合与边缘计算设备集合之间的映射图,根据映射图基于最小费用流策略得到初步任务调度策略集合,对初步任务调度策略集合进行精简,去除存在冲突的调度策略,得到最终的异构边缘算力网络任务调度策略。
CN202210430760.0A 2022-04-22 2022-04-22 一种异构边缘算力网络任务调度方法 Pending CN115185650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210430760.0A CN115185650A (zh) 2022-04-22 2022-04-22 一种异构边缘算力网络任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210430760.0A CN115185650A (zh) 2022-04-22 2022-04-22 一种异构边缘算力网络任务调度方法

Publications (1)

Publication Number Publication Date
CN115185650A true CN115185650A (zh) 2022-10-14

Family

ID=83511204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210430760.0A Pending CN115185650A (zh) 2022-04-22 2022-04-22 一种异构边缘算力网络任务调度方法

Country Status (1)

Country Link
CN (1) CN115185650A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115827185A (zh) * 2022-10-31 2023-03-21 中电信数智科技有限公司 6g空中基站结合北斗空中避障的方法、存储介质及设备
CN116887079A (zh) * 2023-07-20 2023-10-13 苏州大学 层次分析法资源均衡虚拟数据中心光网络映射方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115827185A (zh) * 2022-10-31 2023-03-21 中电信数智科技有限公司 6g空中基站结合北斗空中避障的方法、存储介质及设备
CN115827185B (zh) * 2022-10-31 2023-12-01 中电信数智科技有限公司 6g空中基站结合北斗空中避障的方法、存储介质及设备
CN116887079A (zh) * 2023-07-20 2023-10-13 苏州大学 层次分析法资源均衡虚拟数据中心光网络映射方法及系统

Similar Documents

Publication Publication Date Title
Wang et al. Load balancing task scheduling based on genetic algorithm in cloud computing
CN109324875B (zh) 一种基于强化学习的数据中心服务器功耗管理与优化方法
CN115185650A (zh) 一种异构边缘算力网络任务调度方法
CN109960573B (zh) 一种基于智能感知的跨域计算任务调度方法及系统
CN105141697A (zh) 一种多QoS约束的云计算任务调度方法
CN110213097B (zh) 一种基于资源动态分配的边缘服务供应优化方法
CN109710404B (zh) 分布式系统中的任务调度方法
CN113485826B (zh) 一种边缘服务器负载均衡方法、系统
CN115237581A (zh) 一种面向异构算力的多策略智能调度方法和装置
CN113515351A (zh) 一种基于能耗与QoS协同优化的资源调度实现方法
CN110321198B (zh) 一种容器云平台计算资源与网络资源协同调度方法及系统
Dong et al. A high-efficient joint’cloud-edge’aware strategy for task deployment and load balancing
Venugopal et al. A deadline and budget constrained scheduling algorithm for eScience applications on data grids
CN110262897A (zh) 一种基于负载预测的Hadoop计算任务初始分配方法
CN114546608A (zh) 一种基于边缘计算的任务调度方法
CN117032902A (zh) 一种基于负载的改进离散粒子群算法的云任务调度方法
Nguyen et al. Modeling multi-constrained fog-cloud environment for task scheduling problem
CN117349026B (zh) 一种用于aigc模型训练的分布式算力调度系统
Zhou et al. DPS: Dynamic pricing and scheduling for distributed machine learning jobs in edge-cloud networks
CN117687759A (zh) 一种任务调度方法、装置、处理设备及可读存储介质
CN117640378A (zh) 云边环境下性能感知的微服务自适应部署和资源分配方法及系统
CN113176947A (zh) 无服务器计算中基于延迟和成本均衡的动态任务放置方法
Yang et al. Trust-based scheduling strategy for cloud workflow applications
Milocco et al. Evaluating the upper bound of energy cost saving by proactive data center management
CN115016889A (zh) 一种用于云计算的虚拟机优化调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination