CN112600912B - 一种无人机辅助的边缘计算卸载算法分布式激励方法 - Google Patents

Abstract

一种无人机辅助的边缘计算卸载算法分布式激励方法，包括以下步骤：步骤1，建立一个由数字孪生驱动的空中辅助地面网络，此网络由车辆，路侧单元，无人机和数字孪生四部分组成；步骤2：将目标问题，即最大化网络中各实体的效用，分解为两个子问题进行激励；步骤3：求解第一个问题得到网络中的每一个路侧单元实际的计算资源贡献情况；步骤4：求解第二个问题得到使车辆满意度与能量利用率最大化的资源分配方案；引入数字孪生技术(Digital Twins,DT)为网络中的物理实体创建实时的数字仿真模型，实现实体数据的即时收集和实体状态的即时更新，从而更好地适应网络的高动态性及实变性的资源需求。

Description

一种无人机辅助的边缘计算卸载算法分布式激励方法

技术领域

本发明属于智能电厂、智慧车辆技术领域，特别涉及一种无人机辅助的边缘计算卸载算法分布式激励方法。

背景技术

在智能电厂、智慧车辆等的应用中需要面对数据收集、信息交互、任务分配等诸多问题，例如：由于电厂的正常运转涉及到大量的信息互动,因此其日常管理工作必须要结合信息的具体情况及电厂的运转状况来进行实时调整；对于电厂中存在的监管盲区，管理人员无法对其进行实时的数据监管,也无法在出现问题时得到及时的信息反馈等。而在实现地面网络车辆互联与管理的过程中也存在类似问题，如由于现有的地面网络存在覆盖范围受限，部署位置和容量固定等特性，在面对动态性较高的情况时并不能为车辆提供完美的服务，且车辆的移动和车辆间数据的交互都存在不可预测性和实时性。因此，可以将地面网络中应对目标问题的思路，应用于智能电厂、智慧交通的情景中，以实现优化任务分配、数据实时交互和更新、提高能效等需求。

以智慧交通为例，研究者们希望充分发挥无人机(Unmanned Aerial Vehicle，UAV)覆盖面广、灵活性强、可靠性高等优势来建立一个空-地互联网络，进一步为网络中的各个实体提供无死角、无时限的服务。这些服务主要通过对网络中的通讯或计算设施进行激励来实现，例如，当车辆通过无人机向附近的路侧单元(Road Side Unit，RSU)卸载计算任务的时候，就需要对路侧单元施加适当的激励。

然而，现有的空-地网络以及其中卸载计算任务的处理方式仍然存在着许多不足：

1.在空-地网络中，网络的高动态性和不可预测性不利于实现资源的有效分配。

2.对于卸载计算任务而言，当前大部分的研究工作均假设车辆移动和数据交换遵循一个确定的模式，无法满足实际应用场景的需要。

3.无论是激励机制还是资源分配机制都可能产生大量的计算工作，给有限的无人机资源造成负担。

发明内容

本发明的目的在于提供一种无人机辅助的边缘计算卸载算法分布式激励方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种无人机辅助的边缘计算卸载算法分布式激励方法，包括以下步骤：

步骤1，建立一个由数字孪生驱动的空中辅助地面网络，此网络由车辆，路侧单元，无人机和数字孪生四部分组成；

步骤2：将目标问题，即最大化网络中各实体的效用，分解为两个子问题进行激励；

步骤3：求解第一个问题得到网络中的每一个路侧单元实际的计算资源贡献情况；

步骤4：求解第二个问题得到使车辆满意度与能量利用率最大化的资源分配方案；

步骤5：提出了基于Stackelberg博弈和Jacobian ADMM的计算资源分配机制，使路侧单元和路侧单元的数字孪生能够对分配方案达成共识，并以分布式和并行的方式解决整个问题。

进一步的，步骤1中，在这一网络中，无人机为地面网络无法覆盖的路侧单元和车辆之间提供中继服务；提出了两个数字孪生模型，分别为车辆数字孪生与路侧单元数字孪生；其中车辆数字孪生主要用于捕捉无人机覆盖范围内所有的车辆的实时需求，路侧单元数字孪生用于映射无人机通信范围内所有的路侧单元的状态，并不断与其进行交互实现实况更新。

进一步的，步骤2中，第一个子问题用于决定每个路侧单元针对车辆任务的需求与偏好分配的CPU资源，第二个子问题用于决定使车辆满意度和能源效率最大化的资源分配方案。

进一步的，步骤3中具体包括：

首先，采用车辆数字孪生和路侧单元的结构设定，二者分别作为此博弈过程中的领导者和追随者；

其次，将求解过程分为两个阶段：第一阶段由车辆的数据孪生向路侧单元声明参与回报，第二阶段由路侧单元决定为实现效能最大化贡献的计算资源的数量；根据最佳反应策略及其封闭形式证得第二阶段存在唯一的纳什平衡；在此基础之上，进一步证明车辆数字孪生的效用函数是一个严格的凹函数，即博弈的第一阶段有唯一的最优解。

进一步的，整个博弈问题存在唯一的Stackelberg平衡，每一个路侧单元都会作出使其利润最大化的资源贡献决策。

进一步的，步骤4中具体包括：

采用路侧单元数字孪生和路侧单元的结构设定，二者分别作为此博弈过程中的领导者和追随者；路侧单元数字孪生需要对路侧单元施加激励，使它们达到同样的优化目标；对于车辆来说，需令每一个路侧单元带给车辆的满意度达到最大，进一步得到了其平均满意度的最大化函数，并利用Dinkelbach算法将此非凸问题转换为凸优化问题，继而使用交替方向乘子法求解；对于路侧单元数字孪生的全局能效最大化问题，引入Jacobian ADMM方法并行化问题的优化过程来求解。

与现有技术相比，本发明有以下技术效果：

本发明中提出了一种无人机辅助的边缘计算卸载算法分布式激励机制来捕捉环境中各实体的时变性资源的需求与供应。主要采取的措施及优势在于：

1.引入数字孪生技术(Digital Twins,DT)为网络中的物理实体创建实时的数字仿真模型，实现实体数据的即时收集和实体状态的即时更新，从而更好地适应网络的高动态性及实变性的资源需求。

2.基于Stackelberg博弈模型设计了一个两步激励机制。第一阶段的激励是根据车辆的偏好决定路侧单元为其提供的计算资源；第二阶段的激励是优化每个车辆的资源分配策略，进而最大化车辆满意度和路侧单元的整体资源效率，更加符合实际应用场景的需要。

3.通过采用一种分布式并行优化算法--交替方向乘子法，将无人机上的计算任务并行分配给路侧单元，可以帮助减轻无人机的负载，降低计算延迟。

附图说明

图1为空中辅助地面网络的系统模型图。

图2为由DT驱动的空-地系统中中任务卸载的博弈模型图。

图3为在第一阶段激励中车辆偏好和CPU成本对RSUs的贡献影响情况图。

图4为在第一阶段激励中不同RSU的资源贡献情况图。

图5为ADMM迭代收敛情况图。

图6为三种方案的能耗收敛情况图。

图7为三种方案的车辆满意度收敛情况图。

图8为不同RSU收到的激励的收敛情况图。

具体实施方式

以下结合附图对本发明进一步说明：

本发明提出了一种无人机辅助的边缘计算卸载算法分布式激励机制，并通过一系列仿真结果证明此机制可以实现实体满意度和全局能效的最大化。为方便叙述实施例的具体实施方式，先进行模型背景的介绍。

本发明所述的由DT驱动的空中辅助地面网络的系统架构如图1所示，包括车辆、RSU、UAV和DT四部分。UAVs能够为地面网络中RSUs无法覆盖的区域内的车辆提供服务并保证道路的安全性。我们分别用集合M＝{1,...,m,...,M}、N＝{1,...,n,...,N}表示网络中的RSUs和t时间段内有任务卸载请求的车辆。对于RSUm来说，它可利用的CPU频率资源表示为 为空闲的计算资源，β_m为CPU频率的单位开销，F_m为RSUm用于车辆服务的实际CPU频率。对于车辆n来说，在t时间段它要卸载的计算任务可以表示为{c_n,l_n,Q_n}，其中c_n为该任务需要的CPU周期，l_n为任务请求包的大小，集合Q_n＝{q_n,1,...,q_n,m,...,q_n,M}表示车辆基于不同RSUs的偏好，如q_n,m为车辆n对RSUm的偏好值。若在一定的时间约束内，RSU无法为车辆提供资源支持，则对应的偏好值为0。相应的，我们用集合P^m＝{p_m,1,..,p_m,n,...,p_m,N}表示RSUm的资源调度情况，如p_m,n为车辆n在RSUm处实际获得的CPU频率，对其求和可以得到RSUm分配资源的总量。

针对此系统在资源分配过程中出现的延迟情况，我们假设通信延迟忽略不计，而计算延迟主要取决于系统中RSU的繁忙情况和计算任务的分配情况，故令RSU任务卸载计算服从DT在UAV上分配CPU频率的具体情况。我们用c_n,m表示RSUm为完成车辆n任务所需的CPU周期，得到车辆n的计算延迟的表达式

t_m,n＝c_m,n/p_m,n (1)

进一步可以得到RSUm的计算延迟和全局延迟的表达式

本发明引入了车辆DT与RSUs DT，二者拥有不同的效用。对于一组车辆的DT而言，它希望在考虑到每一个车辆的偏好的同时，能够以最低的奖励成本换取尽可能多的计算资源，其效用函数可以表示为

其中前半部分为由RSU贡献的实际资源所带来的车辆满意度，R为车辆DT支付给RSUs的全部报酬。

对于RSUm而言，它一方面希望能够向车辆提供高质量的服务以为未来争取更多的获利机会，另一方面也追求用尽可能低的成本换取高回报，其效用函数可以表示为

其中，前半部分为RSUm实际提供的CPU资源为它带来的收益，β_mf_m为RSUm向车辆提供服务投入的成本。

对于RSU DT而言，其目的是减少全体RSUs的能源消耗，而能耗又与RSUs使用的CPU频率和持续时间相关，具体可表示为

为了实现系统中各实体效用的最大化，本发明提出了一个基于Stackelberg博弈的两步激励机制。如图2所示，在第一阶段的激励中，车辆DT作为领导者，RSUs作为追随者，由车辆DT发布其对资源的需求、车辆的偏好以及参与回报，RSUs根据空闲的计算资源数量和参与成本决定愿意为车辆DT提供的计算资源，以实现车辆DT和RSUs的效用最大化。在第二阶段的激励中，RSU DT作为领导者，RSUs作为追随者，在上一次激励的基础上确定每个RSU的最佳资源分配策略，以提高能源效率比和车辆满意度。

具体求解过程如下：

a.激励DT驱动的按需资源分配

首先，我们将此问题中的Stackelberg博弈用公式的形式表示为

其中f_m表示RSUm可以贡献的计算资源上限，集合f＝{f₁,..,f_m,...,f_M}表示全部RSU的资源分配策略，集合f_-m＝{f₁,..,f_m-1,f_m+1,...,f_M}表示除RSUm外的其他RSU的资源分配策略。

其次，我们将第一轮博弈进一步划分为两个阶段，第一阶段由车辆DT向RSUs声明参与回报，第二阶段由RSUs决定为实现效用最大化贡献的计算资源的数量。求解的基本思路为先证明第二阶段存在唯一的纳什平衡，在此基础之上若使第一轮博弈存在唯一的Stackelberg平衡，则需要满足的充分必要条件为第一阶段的问题有且只有一个最优解。

基于纳什平衡的定义，当除RSUm外的所有RSUs均能采用各自的最佳策略时，RSUm只能遵循唯一的资源分配策略因此，我们引入了最佳应对策略的概念。对于RSUm来说，针对除它以外所有RSUs的策略f_-m，若其采取策略f_m所获得的收益最大，则f_m为f_-m已知的情况下RSUm的最佳应对策略，我们用Br_m(f_-m)来表示。

根据公式(5)，RSUm的效用函数U_m依次对f_m求一阶、二阶导数的结果为

由上式(9)中二阶导数小于0，可知RSU的效用函数是关于f_m的一个严格的凹函数，因此对于任意给定的R>0和资源分配策略f_-m，若Br_m(f_-m)存在，则它的取值是唯一的。令上式(8)中的一阶导数等于0，可得

若则RSUm将不会贡献任何计算资源，即f_m＝0；否则公式(10)表示的就是RSUm的最佳应对策略。综上所述，我们可以得到Br_m(f_-m)在不同情况下的取值为

但此时的Br_m(f_-m)并非闭合解，为了证明第二阶段纳什平衡的唯一性，我们需要根据纳什平衡的计算算法进一步修正得到最佳应对策略的闭合解，表示形式如下：

其中集合为基于纳什平衡的资源分配策略，S＝{m∈M|f_m>0}且|S|≥2,/>至此，第一轮博弈中的第二阶段，即由RSUs决定为实现效用最大化贡献的计算资源的数量，存在唯一的纳什平衡已证明完毕。

为了说明第一轮博弈存在唯一的Stackelberg平衡(R^*,f^*)，其中R^*是使车辆DT效用函数(公式4)最大化的唯一值，同时在R＝R^*时，f^*的取值情况如公式(12)所示，代入车辆DT的效用函数可得

其中然后求出U_v关于R的一阶和二阶导数分别为

由上式(15)中二阶导数小于0，可知车辆DT的效用函数是一个严格的凹函数，因此令上式(14)中的一阶导数等于0，可得

综上，在DT驱动的按需资源分配这一轮博弈中，存在唯一的Stackelberg平衡(R^*,f^*)。

b.分布式激励以最大限度地提高车辆满意度和能源效率

我们将第二轮的激励分解为三个子问题：最大化车辆的平均满意度问题、RSUs DT的全局能量效率优化问题以及DT驱动的基于博弈的任务卸载问题。下面将依次对这三个子问题的解决方法进行叙述。

首先，由于车辆满意度与每一个RSU的资源分配策略有关，很难直接通过优化求解，因此我们把这一问题转换为最大化每一个RSU带给车辆的满足感，进而对于每个RSU来说最大化平均满意度的问题可以表示为

其中，为车辆对RSUs提供的资源的最大期望值。显然，P′₂是一个非凸分数阶规划问题，我们利用Dinkelbach算法将其转化成一个凸优化问题，即对以下函数求最小化

h(P_m,η_m)是关于η_m的严格单调递增函数，同时也是相对于P_m的凸函数。根据已有结论，当且仅当时，车辆n可以拥有最大平均满意度。我们使用ADMM方法来解决公式(18)中目标函数的最小化问题，将车辆m的资源置换决策分为两部分：x＝{(P_m,1),...,(P_m,k)}^T和z＝{(P_m,k+1),...,(P_m,N)}^T，并进一步将优化问题表示为

其中，E_xx∈R^1×k,E_zz∈R^1×(N-k)。另外还可以得到Γ(x)和Ψ(z)表达式

相应的增广拉格朗日表达式为

其中，E_xx+E_zz-f_m为原始残差，δ为惩罚参数，y为拉格朗日乘子的向量，为缩放对偶变量的向量。且有如下迭代方式

μ^l+1＝μ^l+E_xx^l+1+E_zz^l+1-f_m (25)

最后得到ADMM的终止准则如下

其中为对偶残差，且有ε₁>0,ε₂>0分别与表示原始条件和对偶条件有关的可行性公差。此外，Dinkelbach算法的终止准则被表示为

Δ^l+1＝|(Γ(x^l+1)+Ψ(z^l+1))-(Γ(x^l)+Ψ(z^l))|≤ε (27)

其中，ε是趋近于0的正数。当约束条件(26)(27)同时满足时迭代终止。此时目标问题的解达到最优。

其次，基于公式(6)RSUs DT的全局能源效率优化问题可以表示为

其中，约束条件为全体RSUs可以获得的计算资源。等价于并且E_m(P_m)是一个凸函数(可以根据其Hessian矩阵来证明)，因此P₃也是一个凸优化问题。为此我们引入了Jacobian ADMM方法来并行化目标问题的优化过程，并将计算资源分配矩阵划分为M个部分，得到如下表达式

上式中A_m∈R^M×N,W＝{f₁,...,f_m,...,f_M}^T。

相应的增广拉格朗日表达式为

其中，δ>0表示惩罚参数，λ为拉格朗日乘子的列向量。进一步得到在第k+1次迭代时初始变量的更新情况

对偶变量的更新准则为

迭代的终止准则为

Δ^k+1＝|L_δ(P^k+1,λ^k+1)-L_δ(P^k,λ^k)|≤ε (33)

最后，为了找到一种最优的计算资源分配方案，并达到最小化RSUs DT的总延迟和最大化RSU满意度的目标，我们将该问题建模为一个基于Stackelberg博弈的资源分配问题，其中RSUs DT作为领导者为RSUs施加激励，RSUs作为追随者贡献自身的计算资源。然而受到RSUs DT计算资源的限制，大规模的集中式计算会为其带来巨大的负载压力，因此，参考上一个问题的解决方法，我们提出了一种基于Stackelberg博弈和Jacobian ADMM的计算资源分配机制，使RSUs和RSUs DT能够对分配方案达成共识，并以分布式和并行的方式解决整个问题。RSUm的激励函数定义如下

Φ_m(h_m(P_m,η_m),θ_m)＝L_m(P_m,λ_m)+H_m(P_m,η_m,θ_m) (34)

其中，θ_m＝{(θ_m,1),...,(θ_m,N)}表示RSUs DT施加给RSUm的额外补偿激励。并有

L_m(P_m,λ_m)＝E_m(P_m)-λ_mA_mP_m (35)

H_m(P_m,η_m,θ_m)＝h(P_m,η_m)-θ_mP_m (36)

L_m(P_m,λ_m)中包含了来自RSUs DT的信息以帮助RSUs了解RSUs DT的优化方向，从而调度自己的资源。H_m(P_m,η_m,θ_m)中包含了RSUs DT的初始目标以及提供的补偿。在前面的工作中我们已经证得E_m(P_m)和h_m(P_m,η_m)均为关于p_m的强凸函数，因此，Φ_m(h_m(P_m,η_m),θ_m)也为关于P_m的强凸函数。第二轮的Stackelberg博弈可以表示为

我们使用基于Jacobian-ADMM的两层迭代算法来解决上述问题。

(1)在内层循环中，由每个RSU更新自身的资源分配策略P_m，迭代次数为t。计算过程如下所示

其中λ＝{λ₁,...,λ_m,...,λ_M}^T，η_m的更新过程可以表示为

(2)在内层循环结束后，每一个RSU都会向领导者RSUs DT反馈其边际成本(每贡献一个计算资源需要投入的成本)随后,RSUs DT会对激励参数进行调整得到如下表示形式

根据内层循环的终止准则

以及公式(30)(33)，我们可以得到外层循环的终止准则

综上，本阶段中提出的DT驱动的Game-ADMM联合考虑了RSUs的整体能量效率和满意度。并在保证RSUs满意的前提下，最小化全局的能量消耗。

接下来，我们将结合具体的仿真结果对本发明提出的由无人机辅助的边缘计算卸载算法分布式激励机制的有效性进行验证。

如图3所示，当其他条件相同时RSUs愿意提供的资源随车辆偏好程度的增加而增加。当车辆偏好程度相同时，单位贡献成本较低的RSUs会为车辆提供更多的计算资源。以偏好程度等于7为例，成本为1.0的RSUs提供的资源比成本1.5的RSUs多6.82％。

图4比较了DT在第一轮博弈中对资源贡献产生的影响。我们选取了四个单位资源分配成本和累计车辆偏好度都不同的RSU。如图所示，拥有最低单位成本和最高车辆偏好度的RSU1将会贡献绝大部分的计算资源。因此，我们可以得知在第一阶段的激励结束之后就确定了以最低成本满足车辆DT要求的资源分配策略。

图5给出了四个不同RSUs的DT驱动ADMM方案在迭代时间上的收敛性。由图可知，在前10次的迭代过程中目标函数值的波动幅度较大，而在经过12次迭代之后，实验选取的四个RSUs均可以收敛于同一个常数。因此，本发明在第二阶段激励中提出的DT驱动的ADMM方案适用于高移动性的空中辅助IoV。

图6比较了DT驱动的Jacobian-ADMM、DT驱动的Game-ADMM和未引入DT三种方案在不同迭代次数下的能源消耗情况。如图所示，未引入DT的方案能耗最高并且始终为一个固定的常数，而DT驱动的Jacobian-ADMM的能耗最低，这是因为此方案以低车辆满意度为代价，最小化总能耗是其唯一的目标。另外，由于DT驱动的Game-ADMM联合考虑了RSUs的整体能量效率和满意度，所以能耗略高于DT驱动的Jacobian-ADMM方案。

图7比较了在DT驱动的经典ADMM、DT驱动的Game-ADMM和未引入DT三种方案下车辆对于RSUs的满意度。然而，单个RSU往往希望能够最大化其累计满意度为未来争取更多的获益机会，但RSUs DT以最大化能源效率为首要目标，二者无法兼得。DT驱动的Game-ADMM方案下的RSUs为了更好地为车辆服务，将向偏好较高的车辆分配更多的资源，所以车辆满意度低于DT驱动的经典ADMM。但是这两种由DT驱动的方案所取得的满意度都远远高于没有DT的方案。

图8给出了四个不同RSUs收到的激励的收敛性。如图所示，不同RSUs收到的激励都在经过同样短的迭代后收敛，且根据它们资源的贡献情况而获得不同次数的激励。

Claims (5)

1.一种无人机辅助的边缘计算卸载算法分布式激励方法，其特征在于，包括以下步骤：

步骤1，建立一个由数字孪生驱动的空中辅助地面网络，此网络由车辆，路侧单元，无人机和数字孪生四部分组成；

步骤2：将目标问题，即最大化网络中各实体的效用，分解为两个子问题进行激励；

步骤3：求解第一个问题得到网络中的每一个路侧单元实际的计算资源贡献情况；

步骤4：求解第二个问题得到使车辆满意度与能量利用率最大化的资源分配方案；

步骤5：提出了基于Stackelberg博弈和Jacobian ADMM的计算资源分配机制，使路侧单元和路侧单元的数字孪生能够对分配方案达成共识，并以分布式和并行的方式解决整个问题；

步骤2中，第一个子问题用于决定每个路侧单元针对车辆任务的需求与偏好分配的CPU资源，第二个子问题用于决定使车辆满意度和能源效率最大化的资源分配方案。

2.根据权利要求1所述的一种无人机辅助的边缘计算卸载算法分布式激励方法，其特征在于，步骤1中，在这一网络中，无人机为地面网络无法覆盖的路侧单元和车辆之间提供中继服务；提出了两个数字孪生模型，分别为车辆数字孪生与路侧单元数字孪生；其中车辆数字孪生主要用于捕捉无人机覆盖范围内所有的车辆的实时需求，路侧单元数字孪生用于映射无人机通信范围内所有的路侧单元的状态，并不断与其进行交互实现实况更新。

3.根据权利要求1所述的一种无人机辅助的边缘计算卸载算法分布式激励方法，其特征在于，步骤3中具体包括：

首先，采用车辆数字孪生和路侧单元的结构设定，二者分别作为此博弈过程中的领导者和追随者；

其次，将求解过程分为两个阶段：第一阶段由车辆的数据孪生向路侧单元声明参与回报，第二阶段由路侧单元决定为实现效能最大化贡献的计算资源的数量；根据最佳反应策略及其封闭形式证得第二阶段存在唯一的纳什平衡；在此基础之上，进一步证明车辆数字孪生的效用函数是一个严格的凹函数，即博弈的第一阶段有唯一的最优解。

4.根据权利要求3所述的一种无人机辅助的边缘计算卸载算法分布式激励方法，其特征在于，整个博弈问题存在唯一的Stackelberg平衡，每一个路侧单元都会作出使其利润最大化的资源贡献决策。

5.根据权利要求1所述的一种无人机辅助的边缘计算卸载算法分布式激励方法，其特征在于，步骤4中具体包括：

采用路侧单元数字孪生和路侧单元的结构设定，二者分别作为此博弈过程中的领导者和追随者；路侧单元数字孪生需要对路侧单元施加激励，使它们达到同样的优化目标；对于车辆来说，需令每一个路侧单元带给车辆的满意度达到最大，进一步得到了其平均满意度的最大化函数，并利用Dinkelbach算法将此非凸问题转换为凸优化问题，继而使用交替方向乘子法求解；对于路侧单元数字孪生的全局能效最大化问题，引入Jacobian ADMM方法并行化问题的优化过程来求解。