CN117155798B - 面向资源受限的云-边协同实时调度方法 - Google Patents

面向资源受限的云-边协同实时调度方法 Download PDF

Info

Publication number
CN117155798B
CN117155798B CN202310234243.0A CN202310234243A CN117155798B CN 117155798 B CN117155798 B CN 117155798B CN 202310234243 A CN202310234243 A CN 202310234243A CN 117155798 B CN117155798 B CN 117155798B
Authority
CN
China
Prior art keywords
task
edge
time
cloud
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310234243.0A
Other languages
English (en)
Other versions
CN117155798A (zh
Inventor
夏长清
王仁俊
金曦
许驰
曾鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN202310234243.0A priority Critical patent/CN117155798B/zh
Publication of CN117155798A publication Critical patent/CN117155798A/zh
Application granted granted Critical
Publication of CN117155798B publication Critical patent/CN117155798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明属于边缘计算技术领域,公开了一种面向资源受限的云‑边协同实时调度方法,所述方法通过建立资源占用和能源消耗间映射关系,对云‑边协同环境下的任务调度方法展开研究。所述的面向资源受限的云‑边协同实时调度方法包括两个部分:启发式算法部分和优势演员评论家算法部分。该方法基于最小化系统总成本思想,利用AAC网络进行任务调度决策,判断任务是否需要卸载,再运用启发式策略以及柯西‑施瓦兹不等式确定通信资源的分配,根据分配结果对AAC网络的调度决策进行评价与纠正;最后,再将结果反馈给AAC网络。本发明融合了启发式算法和AAC算法二者的优势,能够对系统的高实时性和低能耗目标进行协同优化,同时兼顾负载均衡。

Description

面向资源受限的云-边协同实时调度方法
技术领域
本发明涉及边缘计算技术领域,具体地说是涉及一种面向资源受限的云-边协同实时调度方法。
背景技术
随着5G、高性能计算等技术在工业中的应用,工业生产逐渐向高实时、低能耗的方向发展,并由此涌现出了许多时延敏感且计算密集型的应用与服务。云计算虽然能够提供足够的计算资源,然而任务在向云端传递过程中产生的大量流量容易导致网络拥堵以及无法预测的高时延,而且还会产生巨大的传输能耗,因此亟需一种新的分布式计算方式来解决这些问题,边缘计算的产生为此提供了可行性。边缘计算通过将计算能力下沉到网络边缘,既解决了云服务的高延迟问题,又在一定程度上弥补了端设备计算资源的不足。
尽管边缘计算为此类场景提供了可行的解决方案,但是如何利用有限的资源设计满足高实时性和低能耗的边缘计算云-边协同系统是一个新的问题。目前,在该领域的研究中,大部分解决方案普遍关心的是系统的低延迟和低能耗的平衡,这在解决待处理任务集属性均已知的卸载问题时是高效的。然而,此类解决方法存在一个共同局限,即系统的实时性不高,这将会导致当有突发任务进入系统时容易引起连锁反应使系统性能急剧下降,而这种情况在待处理任务都是实时到达的应用场景中更加容易出现。
目前针对计算、能源等资源受限的边缘计算云-边协同调度迁移场景中往往还伴随着特别的高实时高可靠性需求。现有的许多边缘计算任务卸载方法在此类场景中应用时难以发挥出预期性能,它们的实时性以及能量效率均有待提高。
发明内容
针对现有技术存在的实时性不足以及能量消耗高等问题,本发明提出了一种面向资源受限的云-边协同实时调度方法,该方法结合启发式算法和深度强化学习算法的优势,能在保证边缘计算云-边协同系统实时性的同时极大地降低能量消耗。
本发明为实现上述目的所采用的技术方案是:
面向资源受限的云-边协同实时调度方法,包括以下步骤:
1)构建边缘计算云-边协同任务卸载模型,并对模型参数进行配置;
2)基于任务卸载模型,构建基于启发式的节点任务卸载算法;
3)构建基于AAC的节点任务卸载优化算法,对任务卸载模型进行优化;
4)根据待卸载任务,循环迭代步骤2)和步骤3),得到任务卸载结果,并根据任务卸载结果进行实时调度。
所述边缘计算云-边协同任务卸载模型由一个云服务器集群、一个配有边缘服务器的无线通信基站和多台终端移动设备组成,其中,每个终端移动设备按照时间顺序产生一系列独立的待卸载任务,每个任务具有6个属性,对于任意任务i表示为Ti={j,si,di,Di,cyi,ωi},其中j为终端移动设备的序号,si为任务i的释放时间,di为任务的相对截止期,Di为任务所携带的数据量大小,cyi为任务所需CPU处理周期,ωi为任务的优先级。
所述对模型参数进行配置,包括以下步骤:
a)引入用于指示任务的执行位置的卸载决策变量
b)估计对任意任务i的本地执行时间以及本地执行能耗/>
其中,为边缘设备的CPU频率,ɑ为边缘设备与芯片相关的能耗系数;
c)若任务被卸载,估计对任务i的卸载传输时间云端处理时间/>以及卸载传输能耗/>
其中,P为终端移动设备的传输功率,Fc为云服务器的平均CPU频率,ri为任意任务i分配的数据传输速率;
d)确定模型在最终优化目标,即系统总成本TSC:
0Ei≤1
其中,Ei表示边缘设备i的剩余电量百分比,表示所有空闲和需要执行卸载任务设备的平均电量百分比,/>为终端移动设备CPU的最大频率,R为系统最大的数据传输率。
所述步骤2),包括以下步骤:
2.1)在任务卸载模型中无线通信基站的边缘服务器中;
2.2)基于柯西-施瓦兹不等式求解数据传输速率ri
若不等式同时满足R>0,且则当且仅当/> 时等号成立,即当/>时,TSC取得最小值;
2.3)基于卸载任务的初始优先级、剩余执行时间、截止期和空闲时间,构建任务动态优先级Ωi
其中,δi为抢占成本,为任务执行紧迫性,t为当前时刻,q为随机数,q∈(1,∞)。
所述步骤3),包括以下步骤:
3.1)构建深度强化学习算法AAC的3要素;
3.2)对AAC模型进行训练。
所述深度强化学习算法AAC的3要素包括:环境状态S,动作a以及奖励函数,其中:
所述环境状态S包括任务自身状态和外部环境状态:任务自身状态包括新任务的属性;外部环境状态包括当前时刻系统中各节点剩余电量Ei、平均剩余电量产生任务节点的CPU速度/>云的平均CPU速度FC以及系统中需要传输的任务数量;
所述动作a包括传输和不传输;
所述奖励函数为系统总成本TSC。
所述对AAC模型进行训练,包括以下步骤:
3.2.1)定义一个初始的actorπ与环境进行互动,每一次互动产生一条轨迹,根据轨迹收集采样资料;
3.2.2)通过收集到的资料去训练critic网络以估计价值函数V;
3.2.3)更新actor网络,迭代步骤3.2.2)和步骤3.3.3)直到actor网络和critic网络均收敛,其中,actor网络的参数更新公式为:
其中,表示多条轨迹的奖励和的均值的梯度,θ表示actor网络的参数,η为学习率。
面向资源受限的云-边协同实时调度系统,包括:
任务卸载模型构建模块,用于构建边缘计算云-边协同任务卸载模型,并对模型参数进行配置;
节点任务卸载算法构建模块,用于基于任务卸载模型,构建基于启发式的节点任务卸载算法;
任务卸载模型优化模块,用于构建基于AAC的节点任务卸载优化算法,对任务卸载模型进行优化;
实时调度模块,用于根据待卸载任务,通过节点任务卸载算法构建模块和任务卸载模型优化模块,得到任务卸载结果,并根据任务卸载结果进行实时调度。
面向资源受限的云-边协同实时调度系统,包括存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于当执行所述计算机程序时,实现所述的面向资源受限的云-边协同实时调度方法。
一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现所述的面向资源受限的云-边协同实时调度方法。
本发明具有以下有益效果及优点:
1.针对资源受限的边缘计算云-边协同调度迁移场景中的系统实时性不足,终端移动设备续航时间短等问题,对系统实时性需求与能耗限制进行统一建模。本模型中待卸载的所有任务均是实时到达,实时卸载,以在最大程度上贴近现实情况,这使得本发明提出的算法具有良好的实践意义。
2.本发明提出了一个面向资源受限的云-边协同实时调度算法,针对传统强化学习方法难以收敛以及传统启发式方法无法充分考虑各种影响因素的问题,本发明提出的算法让AAC算法与传统启发式算法进行互补,AAC算法可以充分考虑到各种环境因素对卸载结果的影响,同时还能顾及系统的长期回报,但AAC算法作为一种强化学习算法其收敛效果不够稳定,因此本文在AAC算法后又补充了一个启发式算法对其得到的结果进行修正,以保证本文提出的算法最低也能达到启发式算法的性能。通过分析,本发明提出的启发式算法令TSC取得最小值的条件为
3.将本发明提出的算法与DQN以及其它两个基线算法的性能进行了对比。通过实验表明,本发明提出的算法相比于其它三个对照算法,系统消耗的能量分别降低了23%、50%以及30%。
附图说明
图1为本发明方法原理图;
图2为本发明中AAC算法部分的模型结构图;
图3为本发明中actorπ网络与环境互动过程图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明主要分为两部分,启发式算法部分和优势演员评论家算法(AAC)部分。
图1所示为本发明方法原理图,具体实现过程如下所述。
步骤1:任务模型及系统配置;
步骤1.1:边缘计算云-边协同任务卸载模型;
本发明中设计的边缘计算云-边协同任务卸载系统模型为,由一个云服务器集群、一个配有小型边缘服务器的无线通信基站和K台小型终端移动设备组成云-边协同系统,终端移动设备可以表示为γ={U1,U2,U3,……,Uk};每个终端移动设备Ui都能按照时间顺序产生一系列独立的待卸载任务,所有终端移动设备的每个任务都是实时产生且不可拆分的,任务集合可以用Гi={Ti,1,Ti,2,Ti,3,……Ti,N}表示;每个任务具有6个属性,对于任意任务i可表示为Ti={j,si,di,Di,cyi,ωu},其中j为终端移动设备的序号,si为任务i的释放时间(单位为秒s),di为任务的相对截止期,Di为任务所携带的数据量大小(单位为Mb),cyi为任务所需CPU处理周期,ωi为任务的优先级;云服务器具有十分强大的计算和存储能力,能够为终端移动设备提供足够多的所需资源,因此在云端不需考虑任务的等待和抢占,各终端移动设备的算力有限,在其上每次只能同时处理一个任务。任务卸载算法被部署在了通信基站里的边缘服务器上,各节点的信息变动会实时传输到边缘服务器。在本模型中,待卸载任务都是由终端移动设备实时产生的,且每个任务均不可分割。考虑到卸载决策需要了解系统的全局信息,而系统传输主要任务参数不是完整模型且基站离终端移动设备很近,传输过程中无冲突,因此卸载算法无论在终端移动设备上执行还是在装有边缘计算服务器的基站上执行,其产生的通信能耗和延迟相当且几乎可以忽略不计。而边缘服务器具有更强大的算力,算法执行更快,因此让通信基站负责通信功能并进行卸载决策,根据决策结果终端移动设备将计算任务卸载到云端或者直接在本地处理。若卸载到云端,云服务器处理完成后再将结果返回,在整个卸载过程中终端移动设备的能量消耗仅考虑传输能耗和任务本地处理能耗两部分。
步骤1.2:模型中相关系统配置的确定。
步骤1.2.1:引入卸载决策变量由于系统中每个任务既可以选择在本地执行也可以在云端执行,所以需要引入一个卸载决策变量/>来指示任务的执行位置:
步骤1.2.2:对任意任务i的本地执行时间以及能量消耗估计,本地执行时间记为
任务的本地执行能耗记为
其中,为边缘设备的CPU频率,ɑ为边缘设备U的与芯片相关的能耗系数。
步骤1.2.3:若任务被卸载,对任务i的卸载传输时间、云端处理时间以及卸载传输能量消耗估计。其卸载传输时间记为
云端处理时间记为
卸载传输能耗记为
其中,P为终端移动设备的传输功率,Fc为云服务器的平均CPU频率,ri为任意任务i分配的数据传输速率。
步骤1.2.4:确定模型的最终优化目标。
本发明所描述的数学模型需要优化的目标为系统的实时性和边缘设备的总能耗的协同优化,同时也要兼顾负载均衡,为了实现对上述目标的共同优化,将模型优化目标转化为系统总成本TSC:
0i≤1(7d)
其中Ei表示边缘设备i的剩余电量百分比,表示所有空闲和需要执行卸载任务设备的平均电量百分比,/>为终端移动设备CPU的最大频率,R为系统最大的数据传输率。
表达式(7a)为对于任意任务i的本地执行能耗与卸载传输能耗的加权和,表示的是每个设备的剩余电量与平均电量的距离,当/>越大,则表明本设备的剩余电量距离平均电量越远,为了降低该设备的能耗,在系统进行带宽资源分配时该设备有机会分得更多通信资源(更快的数据传输速率)。
约束7b、7c、7d和7e分别表示卸载决策变量,每个设备的CPU频率变化范围,每个边缘设备电量百分比变化范围和每个设备可被分配的数据传输率的变化范围。
步骤2:基于启发式的节点任务卸载算法;
步骤2.1:基于柯西-施瓦兹不等式求解ri
本发明提出的启发式算法以TSC为优化目标,由于针对TSC的优化为NP-hard问题,因此这里首先使用深度强化学习算法确定新到达任务是否要被卸载,然后再采用柯西-施瓦兹不等式求出传输速率分配,进而求出每个任务的处理时间。若存在处理时间超过任务截止期的情况,再根据任务的优先级来重新确定任务的处理位置,然后再计算传输速率分配,不断迭代,直至找到问题的近似最优解。
柯西-施瓦兹不等式是数学上最重要的不等式之一,它常被应用于对n维不等式进行快速求解,使用柯西-施瓦兹不等式求解系统通信资源分配能够简化计算过程,有效缩短卸载算法的整体执行时间,在使用柯西-施瓦兹不等式时的前提条件是要保证不等式左边相乘的两项均不为负数。
若不等式同时满足R>0,则当且仅当
时等号成立,也既当时TSC取得最小值。
证明:已知R为系统总传输速率,恒为正数,同时中每一项均大于等于零,满足使用柯西-施瓦兹不等式的条件。然后再结合约束条件下述不等式进行放缩,其具体放缩过程为
根据柯西-施瓦兹不等式,如果存在某个ri不等于0,则该不等式的等号当且仅当存在一个实数X使得对于每一个i=1,2,……,n都有时成立,即当且仅当满足
时等号成立,也既当时TSC取得最小值。
步骤2.2:提出了一种综合考虑任务的初始优先级、剩余执行时间、截止期和空闲时间的动态优先级评价方法。
动态任务优先级Ωi由任务的抢占成本δi和执行紧迫性构成,其中任务动态优先级Ωi表示为
抢占成本δi
不同的任务重要性不同,这是任务的固有属性,用初始优先级表示,该式综合考虑了任务的初始优先级和截止期,这可以在保证重要任务能够完成的基础上尽可能多的让截止期临近的任务也可以得到执行,这在一定程度上保护了正在执行的任务。任务执行紧迫性
其中t表示当前时刻,q∈(1,∞),随着任务的执行任务的执行紧迫性会降低,这在一定程度上又让新到达任务有更大的执行机会。
步骤3:基于AAC的节点任务卸载优化算法。
步骤3.1:深度强化学习算法AAC的3要素设计;
步骤3.1.1:环境状态S设计。
状态的优劣会对模型的最终训练效果产生巨大的影响,在本模型中环境状态包括了任务自身状态和外部环境状态,因为模型仅在有新任务到达时才会进行更新,而任务是按时间顺序到达的,因此任务的自身状态包括新任务的属性,外部环境状态有此时系统中各节点剩余电量Ei、平均剩余电量产生任务节点的CPU速度fi L、云的平均CPU速度FC、系统中需要传输的任务数量。
步骤3.1.2:动作a设计。
在强化学习模型中动作就是agent所做的决策,本调度模型中动作仅有传输和不传输2个。
步骤3.1.3:奖励函数设计。
强化学习模型的输出结果是在某一状态下选择不同动作的概率pθ(a|S),然后再根据概率选择动作,为了衡量该动作的好坏这里采用系统成本TSC来作为每个动作的奖励。
步骤3.2:对AAC模型进行训练。
图2所示为本发明中AAC模型部分的网络结构即训练过程,图3所示为本发明AAC模型与环境的互动过程。首先定义一个初始的actorπ与环境进行互动,每一次互动会产生一条轨迹,根据轨迹收集采样资料。然后用收集到的资料去训练critic网络以估计价值函数V(V表示的是执行某个动作以后直至互动结束系统所得到的奖励的和)。最后再更新actor网络,不断迭代直到两个网络均收敛。actor网络的参数更新公式如
其中,表示多条轨迹的奖励和的均值的梯度,θ表示actor网络的参数,η为学习率。
反复迭代步骤2和步骤3得到最终的任务卸载结果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (7)

1.面向资源受限的云-边协同实时调度方法,其特征在于,包括以下步骤:
1)构建边缘计算云-边协同任务卸载模型,并对模型参数进行配置;
2)基于任务卸载模型,构建基于启发式的节点任务卸载算法;
3)构建基于AAC的节点任务卸载优化算法,对任务卸载模型进行优化;
4)根据待卸载任务,循环迭代步骤2)和步骤3),得到任务卸载结果,并根据任务卸载结果进行实时调度;
所述边缘计算云-边协同任务卸载模型由一个云服务器集群、一个配有边缘服务器的无线通信基站和多台终端移动设备组成,其中,每个终端移动设备按照时间顺序产生一系列独立的待卸载任务,每个任务具有6个属性,对于任意任务i表示为Ti={j,si,di,Di,cyi,ωi},其中j为终端移动设备的序号,si为任务i的释放时间,di为任务的相对截止期,Di为任务所携带的数据量大小,cyi为任务所需CPU处理周期,ωi为任务的优先级;
所述对模型参数进行配置,包括以下步骤:
a)引入用于指示任务的执行位置的卸载决策变量
b)估计对任意任务i的本地执行时间以及本地执行能耗/>
其中,为边缘设备的CPU频率,ɑ为边缘设备与芯片相关的能耗系数;
c)若任务被卸载,估计对任务i的卸载传输时间云端处理时间/>以及卸载传输能耗/>
其中,P为终端移动设备的传输功率,Fc为云服务器的平均CPU频率,ri为任意任务i分配的数据传输速率;
d)确定模型在最终优化目标,即系统总成本TSC:
0≤Ei≤1
其中,Ei表示边缘设备i的剩余电量百分比,表示所有空闲和需要执行卸载任务设备的平均电量百分比,/>为终端移动设备CPU的最大频率,R为系统最大的数据传输率;
所述步骤2),包括以下步骤:
2.1)在任务卸载模型中无线通信基站的边缘服务器中;
2.2)基于柯西-施瓦兹不等式求解数据传输速率ri
若不等式同时满足R>0,且则当且仅当/> 时等号成立,即当/>时,TSC取得最小值;
2.3)基于卸载任务的初始优先级、剩余执行时间、截止期和空闲时间,构建任务动态优先级Ωi
其中,δi为抢占成本,为任务执行紧迫性,t为当前时刻,q为随机数,q∈(1,∞)。
2.根据权利要求1所述的面向资源受限的云-边协同实时调度方法,其特征在于,所述步骤3),包括以下步骤:
3.1)构建深度强化学习算法AAC的3要素;
3.2)对AAC模型进行训练。
3.根据权利要求2所述的面向资源受限的云-边协同实时调度方法,其特征在于,所述深度强化学习算法AAC的3要素包括:环境状态S,动作a以及奖励函数,其中:
所述环境状态S包括任务自身状态和外部环境状态:任务自身状态包括新任务的属性;外部环境状态包括当前时刻系统中各节点剩余电量Ei、平均剩余电量产生任务节点的CPU速度/>云的平均CPU速度FC以及系统中需要传输的任务数量;
所述动作a包括传输和不传输;
所述奖励函数为系统总成本TSC。
4.根据权利要求2所述的面向资源受限的云-边协同实时调度方法,其特征在于,所述对AAC模型进行训练,包括以下步骤:
3.2.1)定义一个初始的actorπ与环境进行互动,每一次互动产生一条轨迹,根据轨迹收集采样资料;
3.2.2)通过收集到的资料去训练critic网络以估计价值函数V;
3.2.3)更新actor网络,迭代步骤3.2.2)和步骤3.3.3)直到actor网络和critic网络均收敛,其中,actor网络的参数更新公式为:
其中,表示多条轨迹的奖励和的均值的梯度,θ表示actor网络的参数,η为学习率。
5.面向资源受限的云-边协同实时调度系统,其特征在于,包括:
任务卸载模型构建模块,用于构建边缘计算云-边协同任务卸载模型,并对模型参数进行配置;
节点任务卸载算法构建模块,用于基于任务卸载模型,构建基于启发式的节点任务卸载算法;
任务卸载模型优化模块,用于构建基于AAC的节点任务卸载优化算法,对任务卸载模型进行优化;
实时调度模块,用于根据待卸载任务,通过节点任务卸载算法构建模块和任务卸载模型优化模块,得到任务卸载结果,并根据任务卸载结果进行实时调度;
所述边缘计算云-边协同任务卸载模型由一个云服务器集群、一个配有边缘服务器的无线通信基站和多台终端移动设备组成,其中,每个终端移动设备按照时间顺序产生一系列独立的待卸载任务,每个任务具有6个属性,对于任意任务i表示为Ti={j,si,di,Di,cyi,ωi},其中j为终端移动设备的序号,si为任务i的释放时间,di为任务的相对截止期,Di为任务所携带的数据量大小,cyi为任务所需CPU处理周期,ωi为任务的优先级;
所述对模型参数进行配置,包括以下步骤:
a)引入用于指示任务的执行位置的卸载决策变量
b)估计对任意任务i的本地执行时间以及本地执行能耗/>
其中,为边缘设备的CPU频率,ɑ为边缘设备与芯片相关的能耗系数;
c)若任务被卸载,估计对任务i的卸载传输时间云端处理时间/>以及卸载传输能耗/>
其中,P为终端移动设备的传输功率,Fc为云服务器的平均CPU频率,ri为任意任务i分配的数据传输速率;
d)确定模型在最终优化目标,即系统总成本TSC:
0≤Ei≤1
其中,Ei表示边缘设备i的剩余电量百分比,表示所有空闲和需要执行卸载任务设备的平均电量百分比,/>为终端移动设备CPU的最大频率,R为系统最大的数据传输率;
所述节点任务卸载算法构建模块执行以下步骤:
2.1)在任务卸载模型中无线通信基站的边缘服务器中;
2.2)基于柯西-施瓦兹不等式求解数据传输速率ri
若不等式同时满足R>0,且则当且仅当/> 时等号成立,即当/>时,TSC取得最小值;
2.3)基于卸载任务的初始优先级、剩余执行时间、截止期和空闲时间,构建任务动态优先级Ωi
其中,δi为抢占成本,为任务执行紧迫性,t为当前时刻,q为随机数,q∈(1,∞)。
6.面向资源受限的云-边协同实时调度系统,其特征在于,包括存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于当执行所述计算机程序时,实现如权利要求1-4任一项所述的面向资源受限的云-边协同实时调度方法。
7.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1-4任一项所述的面向资源受限的云-边协同实时调度方法。
CN202310234243.0A 2023-03-13 2023-03-13 面向资源受限的云-边协同实时调度方法 Active CN117155798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310234243.0A CN117155798B (zh) 2023-03-13 2023-03-13 面向资源受限的云-边协同实时调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310234243.0A CN117155798B (zh) 2023-03-13 2023-03-13 面向资源受限的云-边协同实时调度方法

Publications (2)

Publication Number Publication Date
CN117155798A CN117155798A (zh) 2023-12-01
CN117155798B true CN117155798B (zh) 2024-03-01

Family

ID=88904876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310234243.0A Active CN117155798B (zh) 2023-03-13 2023-03-13 面向资源受限的云-边协同实时调度方法

Country Status (1)

Country Link
CN (1) CN117155798B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017589A (ko) * 2018-07-27 2020-02-19 한국전자통신연구원 무선 통신 시스템에서 모바일 노드의 태스크를 오프로딩하기 위한 클라우드 서버 및 그의 동작 방법
CN111240701A (zh) * 2019-12-31 2020-06-05 重庆大学 一种端-边-云协同计算的任务卸载优化方法
CN111756812A (zh) * 2020-05-29 2020-10-09 华南理工大学 一种能耗感知的边云协同动态卸载调度方法
KR102177432B1 (ko) * 2019-05-29 2020-11-11 연세대학교 산학협력단 포그 컴퓨팅 기반 무선 네트워크에서 태스크 우선순위별 연산량 오프로딩 장치 및 방법
CN113612843A (zh) * 2021-08-02 2021-11-05 吉林大学 一种基于深度强化学习的mec任务卸载和资源分配方法
CN115473896A (zh) * 2022-09-14 2022-12-13 国网江苏省电力有限公司电力科学研究院 基于dqn算法的电力物联网卸载策略和资源配置优化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017589A (ko) * 2018-07-27 2020-02-19 한국전자통신연구원 무선 통신 시스템에서 모바일 노드의 태스크를 오프로딩하기 위한 클라우드 서버 및 그의 동작 방법
KR102177432B1 (ko) * 2019-05-29 2020-11-11 연세대학교 산학협력단 포그 컴퓨팅 기반 무선 네트워크에서 태스크 우선순위별 연산량 오프로딩 장치 및 방법
CN111240701A (zh) * 2019-12-31 2020-06-05 重庆大学 一种端-边-云协同计算的任务卸载优化方法
CN111756812A (zh) * 2020-05-29 2020-10-09 华南理工大学 一种能耗感知的边云协同动态卸载调度方法
CN113612843A (zh) * 2021-08-02 2021-11-05 吉林大学 一种基于深度强化学习的mec任务卸载和资源分配方法
CN115473896A (zh) * 2022-09-14 2022-12-13 国网江苏省电力有限公司电力科学研究院 基于dqn算法的电力物联网卸载策略和资源配置优化方法

Also Published As

Publication number Publication date
CN117155798A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
Hussein et al. Efficient task offloading for IoT-based applications in fog computing using ant colony optimization
CN107766135B (zh) 移动朵云中基于粒子群和模拟退火优化的任务分配方法
Liu et al. A reinforcement learning-based resource allocation scheme for cloud robotics
CN109788046B (zh) 一种基于改进蜂群算法的多策略边缘计算资源调度方法
CN113115252B (zh) 延迟敏感任务分布式移动边缘计算资源调度方法及系统
CN114340016B (zh) 一种电网边缘计算卸载分配方法及系统
Yuan et al. Online dispatching and fair scheduling of edge computing tasks: A learning-based approach
CN112118312B (zh) 一种面向边缘服务器的网络突发负载疏散方法
Mekala et al. Resource offload consolidation based on deep-reinforcement learning approach in cyber-physical systems
CN113641417B (zh) 一种基于分支定界法的车辆安全任务卸载方法
CN108319359A (zh) 一种基于微云的能耗优化方法
CN113867843B (zh) 一种基于深度强化学习的移动边缘计算任务卸载方法
CN116541106B (zh) 计算任务卸载方法、计算设备及存储介质
CN111988787A (zh) 一种任务的网络接入和服务放置位置选择方法及系统
CN116366576A (zh) 算力网络资源调度方法、装置、设备及介质
An et al. Fuzzy deep Q-learning task offloading in delay constrained vehicular fog computing
CN113747450B (zh) 一种移动网络中业务部署方法、装置及电子设备
CN117155798B (zh) 面向资源受限的云-边协同实时调度方法
CN116954866A (zh) 基于深度强化学习的边缘云下任务调度方法及系统
Yan et al. Service caching for meteorological emergency decision-making in cloud-edge computing
CN111611069A (zh) 多数据中心间多类型任务迁移方法
TWI792784B (zh) 基於聯邦強化學習的邊緣計算卸載優化方法及通信系統
CN114615705B (zh) 一种基于5g网络下单用户资源分配策略方法
CN116582407A (zh) 一种基于深度强化学习的容器化微服务编排系统及方法
CN113448707A (zh) 在边缘计算中在线批并行任务调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant