CN111756812A - 一种能耗感知的边云协同动态卸载调度方法 - Google Patents

Abstract

本发明公开了一种能耗感知的边云协同动态卸载调度方法。所述方法包括：建立拥有多个IoT设备、一个边缘服务器和一个云数据中心的边云协同系统模型；构建通信模型、计算开销模型和任务依赖模型；构建任务卸载决策的成本函数及其相应的约束条件；使用强化学习方法动态获取任务卸载策略；根据任务间依赖关系对任务进行动态调度，实现能耗感知的边云协同动态卸载调度。本发明用以解决现有算法在无线网络状态动态改变的物联网场景下不能有效获取任务卸载策略的问题，同时本发明方法能够有效的降低计算任务的执行能耗。

Description

一种能耗感知的边云协同动态卸载调度方法

技术领域

本发明属于计算机应用技术领域，具体涉及一种能耗感知的边云协同动态卸载调度方法。

背景技术

随着物联网的快速发展，越来越多的设备通过物联网技术进行连接并由此产生海量的数据和需求。然而，由于大多数物联网(IoT)设备电池寿命的限制，受限的计算资源无法满足日益复杂的应用需求。边缘计算被认为是解决这个关键问题的富有前景的计算范式。在边缘计算中，计算资源被部署到靠近设备的地方，如智能网关、接入点、基站等，并集成作为边缘服务器。资源受限设备可以将计算任务通过单跳的无线传输卸载到边缘服务器，然后边缘服务器进行计算并且返回计算结果。需要注意的是，边缘计算范式的提出，并非是需要完全取代现有成熟的传统云计算范式，而是与云计算相结合，即边云协同，通过利用边缘计算和云计算各自不同的特性进行协同工作。

任务卸载技术被认为是边缘计算的关键技术之一，将计算密集型的计算任务卸载到边缘设备或者云端计算中心，可以有效的扩展IoT设备的计算能力。然而，由于波动的带宽和信道条件，现实中物联网的无线网络环境通常是非常复杂且易变的。这种动态变化的无线网络环境对任务卸载决策具有重要的影响，同时能耗对于物联网环境中的IoT设备是至关重要的指标。在目前已研究中，有文献“一种增强现实场景下基于边云协同的任务调度策略”(CN110851277A)利用改进的遗传算法进行边云协同的任务调度以最小化用户设备的能耗，但该方法没有考虑动态变化的无线网络环境。又例如，有文献“一种基于边缘计算的物联网服务动态卸载方法及装置”(CN109510869A)提出了一种适应物联网服务动态到达的方法以最大化卸载收益，但该方法没有考虑物联网场景中常见的任务间依赖关系，且没有考虑物联网场景中至关重要的能耗指标。因此，考虑能耗感知的边云协同动态卸载调度算法是边缘计算在物联网场景中实际应用的重要问题。

发明内容

目前在边缘计算中已有的任务卸载调度算法普遍存在一些问题。其一是大部分已有任务卸载调度算法考虑静态网络环境，没有考虑到动态变化的无线网络环境。其二是目前已有卸载调度算法主要考虑计算任务之间是独立的，均没有考虑到计算任务之间的依赖性，特别是不同设备之间的任务依赖，这使得算法很难适用于常见的具有任务间依赖关系且无线网络动态变化的物联网场景中。因此，针对现有技术的不足，本发明提供一种边云协同的动态卸载调度算法，该算法考虑任务间依赖关系和服务完成时间约束的影响，解决在物联网场景下的任务卸载调度问题以实现计算任务执行能耗最小化。

本发明考虑如下的任务场景：系统中需要执行一个IoT服务，该服务需要多个IoT设备协同计算，不同IoT设备的计算任务之间存在着数据依赖。系统中有多个IoT设备，一个边缘服务器和一个远程云数据中心。每个IoT设备的都有一个计算任务需要执行，这些计算任务是抢占的并且不可分割的工作单元。IoT设备之间可以通过D2D链路进行直接通信,以将任务计算结果传输给相关依赖的任务，每个IoT设备通过无线链路连接到边缘服务器，而边缘服务器则是通过有线链路连接到云服务器，无线网络速率在一定范围内随机且时变。本发明的动态卸载调度算法可以考虑到该场景下的任务间依赖关系和动态变化的无线网络，做出高效的任务卸载决策，使得计算任务执行能耗最小化。

本发明的目的至少通过如下技术方案之一实现。

一种能耗感知的边云协同动态卸载调度方法，包括以下步骤：

S1：建立拥有多个IoT设备、一个边缘服务器和一个云数据中心的边云协同系统模型；

S2：构建通信模型、计算开销模型和任务依赖模型；

S3：构建任务卸载决策的成本函数及其相应的约束条件；

S4：使用强化学习方法动态获取任务卸载策略；

S5：根据任务间依赖关系对任务进行动态调度，实现能耗感知的边云协同动态卸载调度。

进一步地，步骤S1中，考虑边云协同系统模型中需要执行一个IoT服务S，IoT服务S需要K个IoT设备协同计算；将IoT服务S建模为K个细粒度的计算任务，分布在K个不同的IoT设备当中，不同IoT设备的计算任务之间存在着数据依赖；

所述边云协同系统模型中包括K个IoT设备、一个边缘服务器和一个远程云服务器；每个IoT设备都有一个计算任务需要执行，计算任务的集合

所述计算任务是抢占的并且不可分割的工作单元；IoT设备之间通过D2D链路进行直接通信，以将任务计算结果传输给相关依赖的任务，每个IoT设备通过无线链路(如5G、wifi)连接到边缘服务器，而边缘服务器则是通过有线链路(如光纤)连接到远程云服务器。

进一步地，步骤S1中，边缘服务器可以是具有一定计算能力的基站和接入点；在边缘服务器中，采用卸载调度器作为计算卸载管理模块，用于决定计算任务在本地执行、或者卸载到边缘服务器执行亦或者通过边缘服务器卸载转发到云服务器执行；边缘服务器与云服务器的计算资源通过虚拟机池来表示，即在边缘服务器和云服务器中都有计算任务的镜像，并且通过虚拟机池中分配的虚拟机来执行计算任务。

对于IoT服务S，为了满足服务质量(Quality of Service，QoS)，定义

表示服务S的完成期限，对于服务中异构的IoT设备计算任务，任务属性可写作：

其中k表示每个计算任务的索引，k的取值为1～K；ω_k表示第k个计算任务平均每比特所需要的计算资源，其大小取决于计算任务的计算复杂度；d_k表示第k个计算任务的数据大小；定义C_k为完成计算任务需要的总CPU周期：

C_k＝ω_kd_k。 (21)

进一步地，步骤S2中，所述通信模型考虑IoT设备卸载计算任务到边缘服务器的上行数据速率，根据香浓公式，第k个计算任务的上行数据速率表示为：

表示第k个计算任务的传输功耗，H_k表示第k个计算任务在IoT设备到边缘服务器之间的信道增益，其在任务卸载期间是一个常量。

进一步地，步骤S2中，所述计算开销模型具体如下：

首先建模本地计算，定义

为第k个计算任务在IoT设备上的处理速度，因此第k个计算任务的执行时间表示为：

每一个计算周期的能耗被定义为ε＝κf²，其中κ为能量因子，取决于芯片架构；因此本地计算相对应的能量消耗可以表示为：

接着建模边缘计算，对于任务在边缘服务器上计算，第k个计算任务的处理依次包括两个阶段：

1)传输阶段，IoT设备通过无线上行链路信道将第k个计算任务的输入数据传输到边缘服务器；

2)计算阶段，第k个计算任务在边缘服务器上执行；

因此，边缘处理任务的延迟为无线链路传输延迟与边缘端计算延迟的总和，得到边缘处理任务的延迟和能耗为：

其中

为第k个计算任务在边缘服务器所分配的计算资源，

为当IoT设备空闲时的恒定电路功率；

最后建模云计算模型，如果计算任务要卸载到云服务器，那么IoT设备首先要通过无线链路将任务的输入数据传输到边缘服务器，然后边缘服务器通过有线链路传输到云服务器；因此，云端处理任务的延迟为无线链路传输延迟，有线链路传输延迟和云端计算延迟之和；云计算中心处理任务的延迟和能耗为：

为第k个计算任务通过有线链路在边缘服务器和云服务器之间传输的速率，

表示将第k个计算任务在云服务器所分配的计算资源。

进一步地，步骤S2中，所述任务依赖模型具体如下：

为了建模IoT设备之间不同计算任务的数据依赖关系，采用有向无环图G_s＝(V,A)，V为计算任务的节点集；每一个G_s中的节点i均表示一个计算任务，i∈V；A定义为任务间数据依赖的边集，一个A中的有向边a(i,j)表示任务i和任务j之间的优先约束，要求任务j的先例任务i没有完成，则任务j不能开始执行，则任务i为任务j的前继任务，任务j为任务i的后继任务；

定义没有前继任务的节点为起始节点，没有后继任务的节点为终止节点，起始节点可以有多个，可以并行的执行计算任务；而终止节点只能有一个，表示IoT服务的完成节点；

每一个IoT设备上的计算任务都可以在本地端即IoT设备、边缘端即边缘服务器或者云端即远程云端服务器执行；

为了在任务卸载模型中考虑依赖关系，定义计算任务的完成时间和准备时间，具体如下：

定义1(完成时间)：任务的完成时间定义为任务完全执行完成的时间；因此，第k个计算任务的完成时间具体如下：

FT_k＝RT_k+T_k； (29)

其中，RT_k为第k个计算任务的准备时间，T_k表示第k个计算任务的执行时间；

定义2(准备时间)：任务的准备时间定义为当所有该任务的前继任务都完成的最早开始时间；因此第k个计算任务的准备时间具体如下：

其中P(k)表示第k个计算任务的前继任务集合。

进一步地，步骤S3中，定义第k个计算任务的卸载决策x_k,y_k,z_k∈{0,1}，分别表示任务k在本地执行、在边缘执行和在云端执行，卸载放置策略满足如下约束：

表示对于第k个计算任务，三个变量中有且只有一个取1；

根据公式(4)、公式(6)、公式(8)、公式(12)，得到第k个计算任务的执行时间,根据公式(5)、公式(7)、公式(9)、公式(12)得到第k个计算任务的执行能耗，分别表示为：

由于任务间的数据依赖，第k个计算任务需要等待其前继任务完成才能执行，定义等待期间的能耗为：

计算第k个计算任务的总能耗为：

目标是在满足任务间依赖关系和服务完成时间下通过优化任务卸载决策，实现计算任务执行能耗最小化；因此定义任务的卸载策略γ＝[x₁,y₁,z₁,…,x_K,y_K,z_K]，

成本函数及其约束条件公式化为：

其中，C1和C2表示每个任务卸载策略的约束；C3表示终止节点第K个计算任务的完成时间在IoT服务s的容忍延迟之内；任务优先级要求约束C4和C5，表示第k个计算任务在其所有前继任务完成后才开始执行，当任务为起始节点任务时，任务在卸载开始时刻并行地开始执行；由于约束条件C1的整数约束，该问题为混合整数规划问题，是一个非凸且为NP难问题。

进一步地，步骤S4中，假设完成一项IoT服务所需时间为T_s，将执行该IoT服务的时间T_s时隙化，并且使用t来表示每个时隙的索引，其中t∈{1,2,...}；同时，由于无线传输速率的波动在一定范围内随机、且随着时隙而变化，这意味着无线传输速率在时隙改变的时候发生变化，在单个时隙t内，无线传输速率不会改变；将无线传输速率在变化范围内均匀量化为L个等级，并将量化后的无线传输速率改写为r_t，表示任务在时隙t时的无线传输速率；

首先定义强化学习的三个关键元素即状态、动作和奖励函数；定义s_t为时隙为t的边云协同系统状态；时隙为t时，智能体的动作表示为a_t，智能体为边缘服务器中的卸载调度器；在系统状态为s_t时智能体执行了动作a_t之后，智能体得到的奖励用

来表示，强化学习是智能体不断地与环境交互以此学习最优策略的一个过程，环境为边云协同系统模型除卸载调度器外的其他所有事物，其中包括传输速率、任务处理能力；卸载调度器在时隙t从环境中观察到状态s_t，然后采取动作a_t，在时隙t+1观察到环境改变后，就能获得奖励

进一步地，所述系统状态s_t表示智能体从环境中获取的信息，定义在时隙t的系统状态s_t由两部分组成，s_t＝(δ_t,rt)，其中δ_t表示在时隙t之前成功完成的任务集合，r_t表示任务在时隙t经过量化后的无线传输速率，用

表示系统状态的集合，即

在本发明考虑的系统场景中，智能体的动作a_t即为任务的卸载策略γ，定义动作a_t的集合为

则

即

在时隙t中，多个没有相关依赖的任务可以同时执行；采用无模型的强化学习方法进行学习训练来进行卸载策略的优化；

在强化学习方法进行学习训练的过程中，智能体在每个时隙t的状态s_t下，执行了动作a_t之后，都会得到一个奖励

其作用是为了奖赏学习算法以达到优化目标；奖励函数的设置应该要与优化卸载问题的目标函数相联系，由于本发明目标为最小化IoT设备的总能耗，而一般强化学习算法的目标为获得一个尽可能大的奖励，因此设置的奖励函数应该与优化目标呈负相关，即：

其中，ζ为小于0的常数，表示为第k个IoT设备按照卸载策略执行任务，任务的完成时间大于IoT服务的截止时间，此时得到的是负奖励；定义

为时隙1至时隙t执行的所有任务都在本地计算执行所产生的总能耗；E_t表示为时隙1至时隙t执行所有任务所产生的总能耗；

通常情况下，由于网络环境的动态变化，通过常规的动态规划算法或基于模型的算法无法有效解决此类没有环境先验知识的优化问题，因为智能体无法在采取行动之前对下一个环境状态进行预测。因此，所述采用无模型的强化学习方法Q-learning来进行卸载策略的优化，具体如下：

Q-learning的核心在于Q表，Q表的行和列分别由状态和动作构成，即状态集合

和动作集合

在Q表中每一个状态-动作组的值为动作价值函数Q(s_t,a_t)，表示为长期累计奖励的期望值，卸载调度器对Q(s_t,a_t)进行计算并将其存储在Q表中，根据Bellman最优方程，Q(s_t,a_t)的更新公式为：

在Q-learning算法学习训练的过程中，为了防止陷入局部最优解，采用ε-贪婪的策略进行Q表的学习；ε-贪婪策略是在探索与利用之间进行平衡，探索是随机对动作进行选取，即为任务k在本地计算、边缘服务器和云服务器中随机选取卸载策略，探索未知动作产生的效果，是有利于更新动作价值函数的；而利用则是根据当前状态贪婪最大Q值所对应的动作；对于ε-贪婪策略，则是在每次尝试对动作进行选取时，以ε的概率去随机探索，即以1-ε的概率去选择使得动作价值函数最大的动作。

进一步地，步骤S5中，由于在动态网络环境下考虑卸载优化，卸载调度器需要判断在时隙t有哪一个或多个任务可以同时执行；通过起始阶段获取的任务间数据依赖关系以及每个时隙t的状态s_t中已完成的任务集合，动态环境下任务调度的具体步骤如下：

S5.1、IoT服务通过远程下达指令启动后，首先将每个任务的准备时间和完成时间分别初始化为RT表和FT表，并且初始化一个调度队列q用于任务调度；由于边缘服务器或者云服务器存有该IoT服务的任务间依赖信息G_s，通过G_s可以计算出起始任务并将其加入调度队列中；

S5.2、在时隙t执行步骤S4的Q-learning算法时，为所有调度队列q中的任务进行动作选择，并根据选择的动作和公式(10)更新FT表；

S5.3、根据任务间依赖信息G_s和公式(11)更新RT表；

S5.4、搜索RT表中值最小且未被调度的任务，满足条件的任务可能是没有、有1个或者有多个，将满足条件的任务加入调度队列q中；

S5.5、检查调度队列q是否为空，若不为空，则表示还有任务需要计算，则在下一个时隙t+1中跳至步骤S5.2；若调度队列为空，则表示所有任务已经调度完成，待任务执行完毕后，就表示IoT服务的完成。

与现有技术相比，本发明具有如下的优点与技术效果：

1、在建立系统模型中，考虑边云协同卸载模型并考虑到物联网中具有任务之间依赖关系的动态网络场景，对这些依赖关系，使用有向无环图进行数学建模。相比于现有技术，能够在该动态场景中进行有效的调度并有效的获取任务卸载策略。

2、在构建任务卸载决策的成本函数及其相应的约束条件中，除了考虑任务间依赖关系，还将服务完成时间作为约束条件，在感知能耗的同时满足了实际场景中对QoS的要求。

3、本发明可以在满足任务间依赖关系和服务完成时间的动态场景下，通过动态卸载调度算法，实现计算任务执行能耗最小化。

附图说明

图1为本发明的具体实施过程中的流程示意图。

图2为本发明具体实施中多个IoT设备、一个边缘服务器和一个远程云计算中心的边云协同系统模型示意图。

图3为本发明具体实施中任务依赖模型的示意图。

图4为本发明具体实施中卸载调度器与环境交互示意图。

图5为本发明具体实施中任务动态调度流程图。

图6为实施例中本发明对比三种不同方案的仿真结果示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图，进行进一步的详细说明，

但本发明的实施和保护不限于此。

实施例：

一种能耗感知的边云协同动态卸载调度方法，如图1所示，包括以下步骤：

S1：建立拥有多个IoT设备、一个边缘服务器和一个云数据中心的边云协同系统模型；

考虑边云协同系统模型中需要执行一个IoT服务S，IoT服务S需要K个IoT设备协同计算；将IoT服务S建模为K个细粒度的计算任务，分布在K个不同的IoT设备当中，不同IoT设备的计算任务之间存在着数据依赖；

如图2所示，所述边云协同系统模型中包括K个IoT设备、一个边缘服务器和一个远程云服务器；每个IoT设备都有一个计算任务需要执行，计算任务的集合

所述计算任务是抢占的并且不可分割的工作单元；IoT设备之间可以通过D2D链路进行直接通信，以将任务计算结果传输给相关依赖的任务，每个IoT设备也是通过无线链路(如5G、wifi)连接到边缘服务器，而边缘服务器则是通过有线链路(如光纤)连接到远程云服务器。

在边缘服务器中，采用卸载调度器作为计算卸载管理模块，用于决定计算任务在本地执行、或者卸载到边缘服务器执行亦或者通过边缘服务器卸载转发到云服务器执行；边缘服务器与云服务器的计算资源通过虚拟机池来表示，即在边缘服务器和云服务器中都有计算任务的镜像，并且通过虚拟机池中分配的虚拟机来执行计算任务。

对于IoT服务S，为了满足服务质量(Quality of Service，QoS)，定义

表示服务S的完成期限，对于服务中异构的IoT设备计算任务，任务属性可写作：

其中k表示每个计算任务的索引，k的取值为1～K；ω_k表示第k个计算任务平均每比特所需要的计算资源，其大小取决于计算任务的计算复杂度；d_k表示第k个计算任务的数据大小；定义C_k为完成计算任务需要的总CPU周期：

C_k＝ω_kd_k。 (40)

S2：构建通信模型、计算开销模型和任务依赖模型；

所述通信模型考虑IoT设备卸载计算任务到边缘服务器的上行数据速率，根据香浓公式，第k个计算任务的上行数据速率表示为：

表示第k个计算任务的传输功耗，H_k表示第k个计算任务在IoT设备到边缘服务器之间的信道增益，其在任务卸载期间是一个常量。

所述计算开销模型具体如下：

首先建模本地计算，定义

为第k个计算任务在IoT设备上的处理速度，因此第k个计算任务的执行时间表示为：

每一个计算周期的能耗被定义为ε＝κf²，其中κ为能量因子，取决于芯片架构；因此本地计算相对应的能量消耗可以表示为：

接着建模边缘计算，对于任务在边缘服务器上计算，第k个计算任务的处理依次包括两个阶段：

1)传输阶段，IoT设备通过无线上行链路信道将第k个计算任务的输入数据传输到边缘服务器；

2)计算阶段，第k个计算任务在边缘服务器上执行；

因此，边缘处理任务的延迟为无线链路传输延迟与边缘端计算延迟的总和，得到边缘处理任务的延迟和能耗为：

其中

为第k个计算任务在边缘服务器所分配的计算资源，

为当IoT设备空闲时的恒定电路功率；

最后建模云计算模型，如果计算任务要卸载到云服务器，那么IoT设备首先要通过无线链路将任务的输入数据传输到边缘服务器，然后边缘服务器通过有线链路传输到云服务器；因此，云端处理任务的延迟为无线链路传输延迟，有线链路传输延迟和云端计算延迟之和；云计算中心处理任务的延迟和能耗为：

为第k个计算任务通过有线链路在边缘服务器和云服务器之间传输的速率，

表示将第k个计算任务在云服务器所分配的计算资源。

所述任务依赖模型具体如下：

为了建模IoT设备之间不同计算任务的数据依赖关系，采用有向无环图G_s＝(V,A)，V为计算任务的节点集；每一个G_s中的节点i均表示一个计算任务，i∈V；A定义为任务间数据依赖的边集，一个A中的有向边a(i,j)表示任务i和任务j之间的优先约束，要求任务j的先例任务i没有完成，则任务j不能开始执行，则任务i为任务j的前继任务，任务j为任务i的后继任务；

定义没有前继任务的节点为起始节点，没有后继任务的节点为终止节点，起始节点可以有多个，可以并行的执行计算任务；而终止节点只能有一个，表示IoT服务的完成节点；

每一个IoT设备上的计算任务都可以在本地端即IoT设备、边缘端即边缘服务器或者云端即远程云端服务器执行；图3给出了一个拥有10个计算任务的任务依赖模型示意图，任务8的直接先例任务有任务5和4，其后继任务是任务10，起始节点为任务1、2、3，终止节点为任务10；

为了在任务卸载模型中考虑依赖关系，定义计算任务的完成时间和准备时间，具体如下：

定义1(完成时间)：任务的完成时间定义为任务完全执行完成的时间；因此，第k个计算任务的完成时间具体如下：

FT_k＝RT_k+T_k； (48)

其中，RT_k为第k个计算任务的准备时间，T_k表示第k个计算任务的执行时间；

定义2(准备时间)：任务的准备时间定义为当所有该任务的前继任务都完成的最早开始时间；因此第k个计算任务的准备时间具体如下：

其中P(k)表示第k个计算任务的前继任务集合。

S3：构建任务卸载决策的成本函数及其相应的约束条件；

定义第k个计算任务的卸载决策x_k,y_k,z_k∈{0,1}，分别表示任务k在本地执行、在边缘执行和在云端执行，卸载放置策略满足如下约束：

表示对于第k个计算任务，三个变量中有且只有一个取1；

根据公式(4)、公式(6)、公式(8)、公式(12)，得到第k个计算任务的执行时间,根据公式(5)、公式(7)、公式(9)、公式(12)得到第k个计算任务的执行能耗，分别表示为：

由于任务间的数据依赖，第k个计算任务需要等待其前继任务完成才能执行，定义等待期间的能耗为：

计算第k个计算任务的总能耗为：

目标是在满足任务间依赖关系和服务完成时间下通过优化任务卸载决策，实现计算任务执行能耗最小化；因此定义任务的卸载策略γ＝[x₁,y₁,z₁,…,x_K,y_K,z_K]，

成本函数及其约束条件公式化为：

其中，C1和C2表示每个任务卸载策略的约束；C3表示终止节点第K个计算任务的完成时间在IoT服务s的容忍延迟之内；任务优先级要求约束C4和C5，表示第k个计算任务在其所有前继任务完成后才开始执行，当任务为起始节点任务时，任务在卸载开始时刻并行地开始执行；由于约束条件C1的整数约束，该问题为混合整数规划问题，是一个非凸且为NP难问题。

S4：使用强化学习方法动态获取任务卸载策略；

假设完成一项IoT服务所需时间为T_s，将执行该IoT服务的时间T_s时隙化，并且使用t来表示每个时隙的索引，其中t∈{1,2,...}；同时，由于无线传输速率的波动在一定范围内随机、且随着时隙而变化，这意味着无线传输速率在时隙改变的时候发生变化，在单个时隙t内，无线传输速率不会改变；将无线传输速率在变化范围内均匀量化为L个等级，并将量化后的无线传输速率改写为r_t，表示任务在时隙t时的无线传输速率；

首先定义强化学习的三个关键元素即状态、动作和奖励函数；定义s_t为时隙为t的边云协同系统状态；时隙为t时，智能体的动作表示为a_t，智能体为边缘服务器中的卸载调度器；在系统状态为s_t时智能体执行了动作a_t之后，智能体得到的奖励用

来表示，强化学习与动态环境的交互过程如图4所示，强化学习是智能体不断地与环境交互以此学习最优策略的一个过程，环境为图2中的边云协同系统模型除卸载调度器外的其他所有事物，其中包括传输速率、任务处理能力；卸载调度器在时隙t从环境中观察到状态s_t，然后采取动作a_t，在时隙t+1观察到环境改变后，就能获得奖励

所述系统状态s_t表示智能体从环境中获取的信息，定义在时隙t的系统状态s_t由两部分组成，s_t＝(δ_t,r_t)，其中δ_t表示在时隙t之前成功完成的任务集合，r_t表示任务在时隙t经过量化后的无线传输速率，用

表示系统状态的集合，即

在本发明考虑的系统场景中，智能体的动作a_t即为任务的卸载策略γ，定义动作a_t的集合为

则

即

在时隙t中，多个没有相关依赖的任务可以同时执行；采用无模型的强化学习方法进行学习训练来进行卸载策略的优化；

在强化学习方法进行学习训练的过程中，智能体在每个时隙t的状态s_t下，执行了动作a_t之后，都会得到一个奖励

其作用是为了奖赏学习算法以达到优化目标；奖励函数的设置应该要与优化卸载问题的目标函数相联系，由于本发明目标为最小化IoT设备的总能耗，而一般强化学习算法的目标为获得一个尽可能大的奖励，因此设置的奖励函数应该与优化目标呈负相关，即：

其中，ζ为小于0的常数，表示为第k个IoT设备按照卸载策略执行任务，任务的完成时间大于IoT服务的截止时间，此时得到的是负奖励；定义

为时隙1至时隙t执行的所有任务都在本地计算执行所产生的总能耗；E_t表示为时隙1至时隙t执行所有任务所产生的总能耗；

通常情况下，由于网络环境的动态变化，通过常规的动态规划算法或基于模型的算法无法有效解决此类没有环境先验知识的优化问题，因为智能体无法在采取行动之前对下一个环境状态进行预测。因此，所述采用无模型的强化学习方法Q-learning来进行卸载策略的优化，具体如下：

Q-learning的核心在于Q表，Q表的行和列分别由状态和动作构成，即状态集合

和动作集合

在Q表中每一个状态-动作组的值为动作价值函数Q(s_t,a_t)，表示为长期累计奖励的期望值，卸载调度器对Q(s_t,a_t)进行计算并将其存储在Q表中，根据Bellman最优方程，Q(s_t,a_t)的更新公式为：

在Q-learning算法学习训练的过程中，为了防止陷入局部最优解，采用ε-贪婪的策略进行Q表的学习；ε-贪婪策略是在探索与利用之间进行平衡，探索是随机对动作进行选取，即为任务k在本地计算、边缘服务器和云服务器中随机选取卸载策略，探索未知动作产生的效果，是有利于更新动作价值函数的；而利用则是根据当前状态贪婪最大Q值所对应的动作；对于ε-贪婪策略，则是在每次尝试对动作进行选取时，以ε的概率去随机探索，即以1-ε的概率去选择使得动作价值函数最大的动作。

S5：根据任务间依赖关系对任务进行动态调度，S4中获取的动态卸载策略与S5中获取的动态调度策略即为本发明实现的能耗感知的边云协同动态卸载调度策略；

由于在动态网络环境下考虑卸载优化，卸载调度器需要判断在时隙t有哪一个或多个任务可以同时执行；通过起始阶段获取的任务间数据依赖关系以及每个时隙t的状态s_t中已完成的任务集合，可以得到如图5所示任务动态调度流程图，基于图5，动态环境下任务调度的具体步骤如下：

S5.1、IoT服务通过远程下达指令启动后，首先将每个任务的准备时间和完成时间分别初始化为RT表和FT表，并且初始化一个调度队列q用于任务调度；由于边缘服务器或者云服务器存有该IoT服务的任务间依赖信息G_s，通过G_s可以计算出起始任务并将其加入调度队列中；

S5.2、在时隙t执行步骤S4的Q-learning算法时，为所有调度队列q中的任务进行动作选择，并根据选择的动作和公式(10)更新FT表；

S5.3、根据任务间依赖信息G_s和公式(11)更新RT表；

S5.4、搜索RT表中值最小且未被调度的任务，满足条件的任务可能是没有、有1个或者有多个，将满足条件的任务加入调度队列q中；

S5.5、检查调度队列q是否为空，若不为空，则表示还有任务需要计算，则在下一个时隙t+1中跳至步骤S5.2；若调度队列为空，则表示所有任务已经调度完成，待任务执行完毕后，就表示IoT服务的完成。

本发明在PC机上使用Python语言进行编程仿真实现。Python是一种结合了解释性、编译性、互动性和面向对象的脚本语言，被广泛应用于软件开发和科学计算中。图6为四种不同方案的对比仿真结果，四种方案分别为本发明的能耗感知边云协同动态卸载调度方案、本地计算方案、云端优先卸载方案和随机选择的卸载方案。

本地计算方案表示所有的计算任务都在其所在的IoT设备上执行；云端优先卸载方案表示计算任务优先卸载到云服务器上执行；随机选择的卸载方案表示在本地、边缘服务器和云服务器三者中对每个计算任务随机生成一种卸载策略。

该仿真在动态场景下IoT设备数量从5到30，IoT设备的计算能力随机分配0.1-0.5G cycles/s，边缘服务器的计算能力为2G cycles/s，云服务器的计算能力为4Gcycles/s。从图6可以看出，本发明的方案在IoT设备总消耗上总低于其他三种方案，验证了本发明的可行性和高效性。

上述流程为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种能耗感知的边云协同动态卸载调度方法，其特征在于，包括以下步骤：

S1：建立拥有多个IoT设备、一个边缘服务器和一个云数据中心的边云协同系统模型；

S2：构建通信模型、计算开销模型和任务依赖模型；

S3：构建任务卸载决策的成本函数及其相应的约束条件；

S4：使用强化学习方法动态获取任务卸载策略；

S5：根据任务间依赖关系对任务进行动态调度，实现能耗感知的边云协同动态卸载调度。

2.根据权利要求1所述的一种能耗感知的边云协同动态卸载调度方法，其特征在于，步骤S1中，所述边云协同系统模型中包括K个IoT设备、一个边缘服务器和一个远程云服务器；每个IoT设备都有一个计算任务需要执行，计算任务的集合

所述计算任务是抢占的并且不可分割的工作单元；IoT设备之间通过D2D链路进行直接通信，以将任务计算结果传输给相关依赖的任务，每个IoT设备通过无线链路连接到边缘服务器，而边缘服务器则是通过有线链路连接到远程云服务器。

3.根据权利要求2所述的一种能耗感知的边云协同动态卸载调度方法，其特征在于，步骤S1中，边缘服务器是具有一定计算能力的基站和接入点；在边缘服务器中，采用卸载调度器作为计算卸载管理模块，用于决定计算任务在本地执行、或者卸载到边缘服务器执行亦或者通过边缘服务器卸载转发到云服务器执行；边缘服务器与云服务器的计算资源通过虚拟机池来表示，即在边缘服务器和云服务器中都有计算任务的镜像，并且通过虚拟机池中分配的虚拟机来执行计算任务；

对于IoT服务S，为了满足服务质量(Quality of Service，QoS)，定义

表示服务S的完成期限，对于服务中异构的IoT设备计算任务，任务属性可写作：

其中k表示每个计算任务的索引，k的取值为1～K；ω_k表示第k个计算任务平均每比特所需要的计算资源，其大小取决于计算任务的计算复杂度；d_k表示第k个计算任务的数据大小；定义C_k为完成计算任务需要的总CPU周期：

C_k＝ω_kd_k。 (2)

4.根据权利要求1所述的一种能耗感知的边云协同动态卸载调度方法，其特征在于，步骤S2中，所述通信模型考虑IoT设备卸载计算任务到边缘服务器的上行数据速率，根据香浓公式，第k个计算任务的上行数据速率表示为：

表示第k个计算任务的传输功耗，H_k表示第k个计算任务在IoT设备到边缘服务器之间的信道增益，其在任务卸载期间是一个常量。

5.根据权利要求1所述的一种能耗感知的边云协同动态卸载调度方法，其特征在于，步骤S2中，所述计算开销模型具体如下：

首先建模本地计算，定义

为第k个计算任务在IoT设备上的处理速度，因此第k个计算任务的执行时间表示为：

每一个计算周期的能耗被定义为ε＝κf²，其中κ为能量因子，取决于芯片架构；因此本地计算相对应的能量消耗可以表示为：

接着建模边缘计算，对于任务在边缘服务器上计算，第k个计算任务的处理依次包括两个阶段：

1)传输阶段，IoT设备通过无线上行链路信道将第k个计算任务的输入数据传输到边缘服务器；

2)计算阶段，第k个计算任务在边缘服务器上执行；

因此，边缘处理任务的延迟为无线链路传输延迟与边缘端计算延迟的总和，得到边缘处理任务的延迟和能耗为：

其中

为第k个计算任务在边缘服务器所分配的计算资源，

为当IoT设备空闲时的恒定电路功率；

最后建模云计算模型，如果计算任务要卸载到云服务器，那么IoT设备首先要通过无线链路将任务的输入数据传输到边缘服务器，然后边缘服务器通过有线链路传输到云服务器；因此，云端处理任务的延迟为无线链路传输延迟，有线链路传输延迟和云端计算延迟之和；云计算中心处理任务的延迟和能耗为：

为第k个计算任务通过有线链路在边缘服务器和云服务器之间传输的速率，

表示将第k个计算任务在云服务器所分配的计算资源。

6.根据权利要求1所述的一种能耗感知的边云协同动态卸载调度方法，其特征在于，步骤S2中，所述任务依赖模型具体如下：

为了建模IoT设备之间不同计算任务的数据依赖关系，采用有向无环图G_s＝(V,A)，V为计算任务的节点集；每一个G_s中的节点i均表示一个计算任务，i∈V；A定义为任务间数据依赖的边集，一个A中的有向边a(i,j)表示任务i和任务j之间的优先约束，要求任务j的先例任务i没有完成，则任务j不能开始执行，则任务i为任务j的前继任务，任务j为任务i的后继任务；

定义没有前继任务的节点为起始节点，没有后继任务的节点为终止节点，起始节点可以有多个，可以并行的执行计算任务；而终止节点只能有一个，表示IoT服务的完成节点；

每一个IoT设备上的计算任务都可以在本地端即IoT设备、边缘端即边缘服务器或者云端即远程云端服务器执行；

为了在任务卸载模型中考虑依赖关系，定义计算任务的完成时间和准备时间，具体如下：

定义1(完成时间)：任务的完成时间定义为任务完全执行完成的时间；因此，第k个计算任务的完成时间具体如下：

FT_k＝RT_k+T_k； (10)

其中，RT_k为第k个计算任务的准备时间，T_k表示第k个计算任务的执行时间；

定义2(准备时间)：任务的准备时间定义为当所有该任务的前继任务都完成的最早开始时间；因此第k个计算任务的准备时间具体如下：

其中P(k)表示第k个计算任务的前继任务集合。

7.根据权利要求1所述的一种能耗感知的边云协同动态卸载调度方法，其特征在于，步骤S3中，定义第k个计算任务的卸载决策x_k,y_k,z_k∈{0,1}，分别表示任务k在本地执行、在边缘执行和在云端执行，卸载放置策略满足如下约束：

表示对于第k个计算任务，三个变量中有且只有一个取1；

根据公式(4)、公式(6)、公式(8)、公式(12)，得到第k个计算任务的执行时间,根据公式(5)、公式(7)、公式(9)、公式(12)得到第k个计算任务的执行能耗，分别表示为：

由于任务间的数据依赖，第k个计算任务需要等待其前继任务完成才能执行，定义等待期间的能耗为：

计算第k个计算任务的总能耗为：

目标是在满足任务间依赖关系和服务完成时间下通过优化任务卸载决策，实现计算任务执行能耗最小化；因此定义任务的卸载策略γ＝[x₁,y₁,z₁,…,x_K,y_K,z_K]，

成本函数及其约束条件公式化为：

其中，C1和C2表示每个任务卸载策略的约束；C3表示终止节点第K个计算任务的完成时间在IoT服务s的容忍延迟之内；任务优先级要求约束C4和C5，表示第k个计算任务在其所有前继任务完成后才开始执行，当任务为起始节点任务时，任务在卸载开始时刻并行地开始执行。

8.根据权利要求1所述的一种能耗感知的边云协同动态卸载调度方法，其特征在于，步骤S4中，假设完成一项IoT服务所需时间为T_s，将执行该IoT服务的时间T_s时隙化，并且使用t来表示每个时隙的索引，其中t∈{1,2,...}；同时，由于无线传输速率的波动在一定范围内随机、且随着时隙而变化，这意味着无线传输速率在时隙改变的时候发生变化，在单个时隙t内，无线传输速率不会改变；将无线传输速率在变化范围内均匀量化为L个等级，并将量化后的无线传输速率改写为r_t，表示任务在时隙t时的无线传输速率；

首先定义强化学习的三个关键元素即状态、动作和奖励函数；定义s_t为时隙为t的边云协同系统状态；时隙为t时，智能体的动作表示为a_t，智能体为边缘服务器中的卸载调度器；在系统状态为s_t时智能体执行了动作a_t之后，智能体得到的奖励用

来表示，强化学习是智能体不断地与环境交互以此学习最优策略的一个过程，环境为边云协同系统模型除卸载调度器外的其他所有事物，其中包括传输速率、任务处理能力；卸载调度器在时隙t从环境中观察到状态s_t，然后采取动作a_t，在时隙t+1观察到环境改变后，就能获得奖励

9.根据权利要求8所述的一种能耗感知的边云协同动态卸载调度方法，其特征在于，所述系统状态s_t表示智能体从环境中获取的信息，定义在时隙t的系统状态s_t由两部分组成，s_t＝(δ_t,r_t)，其中δ_t表示在时隙t之前成功完成的任务集合，r_t表示任务在时隙t经过量化后的无线传输速率，用

表示系统状态的集合，即

智能体的动作a_t即为任务的卸载策略γ，定义动作a_t的集合为

则

即

在时隙t中，多个没有相关依赖的任务可以同时执行；采用无模型的强化学习方法进行学习训练来进行卸载策略的优化；

在使用强化学习方法进行学习训练的过程中，智能体在每个时隙t的状态s_t下，执行了动作a_t之后，都会得到一个奖励

其作用是为了奖赏学习算法以达到优化目标；设置的奖励函数与优化目标呈负相关，即：

其中，ζ为小于0的常数，表示为第k个IoT设备按照卸载策略执行任务，任务的完成时间大于IoT服务的截止时间，此时得到的是负奖励；定义

为时隙1至时隙t执行的所有任务都在本地计算执行所产生的总能耗；E_t表示为时隙1至时隙t执行所有任务所产生的总能耗；

所述采用无模型的强化学习方法Q-learning来进行卸载策略的优化，具体如下：

Q-learning的核心在于Q表，Q表的行和列分别由状态和动作构成，即状态集合

和动作集合

在Q表中每一个状态-动作组的值为动作价值函数Q(s_t,a_t)，表示为长期累计奖励的期望值，卸载调度器对Q(s_t,a_t)进行计算并将其存储在Q表中，根据Bellman最优方程，Q(s_t,a_t)的更新公式为：

在Q-learning算法学习训练的过程中，为了防止陷入局部最优解，采用ε-贪婪的策略进行Q表的学习；ε-贪婪策略是在探索与利用之间进行平衡，探索是随机对动作进行选取，即为任务k在本地计算、边缘服务器和云服务器中随机选取卸载策略，探索未知动作产生的效果，是有利于更新动作价值函数的；而利用则是根据当前状态贪婪最大Q值所对应的动作；对于ε-贪婪策略，则是在每次尝试对动作进行选取时，以ε的概率去随机探索，即以1-ε的概率去选择使得动作价值函数最大的动作。

10.根据权利要求1所述的一种能耗感知的边云协同动态卸载调度方法，其特征在于，步骤S5中，由于在动态网络环境下考虑卸载优化，卸载调度器需要判断在时隙t有哪一个或多个任务可以同时执行；通过起始阶段获取的任务间数据依赖关系以及每个时隙t的状态s_t中已完成的任务集合，可以得到任务动态调度流程图，动态环境下任务调度的具体步骤如下：

S5.1、IoT服务通过远程下达指令启动后，首先将每个任务的准备时间和完成时间分别初始化为RT表和FT表，并且初始化一个调度队列q用于任务调度；由于边缘服务器或者云服务器存有该IoT服务的任务间依赖信息G_s，通过G_s计算出起始任务并将其加入调度队列中；

S5.2、在时隙t执行步骤S4的Q-learning算法时，为所有调度队列q中的任务进行动作选择，并根据选择的动作和公式(10)更新FT表；

S5.3、根据任务间依赖信息G_s和公式(11)更新RT表；

S5.4、搜索RT表中值最小且未被调度的任务，满足条件的任务可能是没有、有1个或者有多个，将满足条件的任务加入调度队列q中；

S5.5、检查调度队列q是否为空，若不为空，则表示还有任务需要计算，则在下一个时隙t+1中跳至步骤S5.2；若调度队列为空，则表示所有任务已经调度完成，待任务执行完毕后，就表示IoT服务的完成。

Images