CN114172558A - 一种车辆网络中基于边缘计算和无人机集群协同的任务卸载方法 - Google Patents

Abstract

本发明涉及一种车辆网络中基于边缘计算和无人机集群协同的任务卸载方法，基于软件定义网络获取车辆信息以及无人机集群和边缘计算设备信息；控制平面根据获得信息分别基于最速下降法和Q学习最大化卸载给边缘计算设备时车辆获得的效用和卸载给无人机集群时车辆获得的效用；控制平面根据本地策略、卸载给边缘计算设备策略以及卸载给无人机集群策略下车辆分别能获得的效用为车辆实时提供最优计算策略，以最大化车辆的效用。本发明能实时感知车辆、无人机、边缘计算设备的信息并为车辆提供最优计算决策，实现系统中多个无人机之间的负载均衡，通过将计算任务卸载给无人机集群降低完成计算任务所需的时间，最优化边缘计算设备分配给车辆的计算资源。

Description

一种车辆网络中基于边缘计算和无人机集群协同的任务卸载 方法

技术领域

本发明属于移动边缘计算技术领域，具体涉及一种车辆网络中基于边缘计算和无人机集群协同的任务卸载方法。

背景技术

近年来，随着车辆网络(Vehicular Network)的快速发展，智能化和网联化成为未来车辆网络的趋势。各种车辆应用(如自动驾驶、自动导航、速度识别)显著增多，在提高我们生活质量的同时也带来了很多延迟敏感型和计算密集型任务。然而，在处理这些计算任务时，会占用大量的计算资源。由于车辆有限的计算资源会增加延迟、降低用户的体验质量，因此，为车辆提供卸载选择，并通过技术手段降低完成计算任务所需的时间对提高用户的收益就显得尤为重要。

边缘计算和无人机集群协助的车辆网络由地面上的车辆、边缘计算设备和空中的多个无人机(Unmanned Aerial Vehicle，UAV)组成。在边缘计算和无人机集群协助的车辆网络中，车辆的计算任务有三种计算策略：在本地执行、卸载给最近的边缘计算设备执行、将计算任务卸载给无人机集群执行。然而，1)当前基于边缘计算和无人机集群协助的车辆网络缺乏统一的中央控制器。由于网络中设备众多，需要有效的控制方式以实现实时信息收集和集中控制，从而选择最优计算策略以最大化车辆用户的效用。2)当前基于边缘计算和无人机集群协助的车辆网络没有考虑无人机之间的负载均衡。将计算任务卸载给无人机集群执行时，需要考虑无人机之间的负载均衡，避免计算任务的完成时间因负载不均而延长。3)当前基于边缘计算和无人机集群协助的车辆网络仅将计算任务卸载给单个无人机执行，而单个无人机有限的计算资源无法在短时间内完成计算任务。因此车辆的计算任务可以被分解为多个子任务并将子任务卸载给不同的无人机同时执行以享受并行执行带来的低延迟。

发明内容

针对现有技术中存在的问题，为了最大化车辆用户完成计算任务所得到的效用，本发明提供了一种车辆网络中基于边缘计算和无人机集群协同的任务卸载方法。

为了解决上述技术问题，本发明通过以下技术方案予以实现：

一种车辆网络中基于边缘计算和无人机集群协同的任务卸载方法，包括：

基于软件定义网络获取车辆的信息以及无人机集群和边缘计算设备信息；

控制平面根据获得的信息分别基于最速下降法和Q学习最大化卸载给边缘计算设备时车辆获得的效用和卸载给无人机集群时车辆获得的效用；

控制平面根据本地策略、卸载给边缘计算设备策略以及卸载给无人机集群策略下，车辆分别能获得的效用为车辆实时提供最优的计算策略，以最大化车辆的效用。

进一步地，所述基于软件定义网络获取车辆的信息以及无人机集群和边缘计算设备信息，具体为：车辆的计算任务数据大小信息、计算任务所需计算资源信息和计算任务最大可容忍延迟信息，车辆、无人机和边缘计算设备的位置信息、轨迹信息、网络信息和计算资源信息，根据所述获取的信息确定不同计算策略下车辆所能获得的最大效用。

进一步地，所述计算策略，具体为：在本地执行、卸载给边缘计算设备执行、卸载给无人机集群执行。

进一步地，所述计算策略为本地执行时，车辆v_m得到的效用具体为：

式中，C是常数；τ_m是该计算任务的最大可容忍延迟；F_m是完成该计算任务所需的总CPU周期；

是车辆v_m分配给该计算任务的计算资源。

进一步地，所述计算策略为卸载给边缘计算设备R_s执行时，车辆v_m得到的效用具体为：

式中，α是卸载意愿度；D_m是该计算任务的总数据大小；r_m,s是车辆v_m与边缘计算设备R_s的传输速率；

是边缘计算设备R_s分享给该计算任务的计算资源；γ_R是边缘计算设备消耗一单位能量车辆给其的支付；δ是与边缘计算设备芯片的硬件架构相关的常数；

容易看出

的值取决于

由于

是关于

的凹函数且无法直接通过

的方式求出

的最大值，因此可以基于最速下降法求出最优的

从而得到

的最大值。

进一步地，所述计算策略为卸载给无人机集群执行时，车辆v_m得到的效用具体为：

式中，

是无人机集群完成该计算任务所需的时间；γ_U是每单位能量车辆给无人机的支付；f_u是无人机的计算资源；

由于

是关于

的递减函数，因此通过最小化

的方式最大化

系统中存在无人机集群，可以将v_m的计算任务分解为多个子任务，并卸载给不同的无人机同时执行以最小化

具体为：

根据每个无人机的负载对无人机升序排序并基于Q学习得到无人机的最佳分配状态；

基于迭代方法使所述最佳无人机分配状态中的每个无人机完成子任务所需的时间相等从而最小化

进一步地，所述根据每个无人机的计算负载进行升序排序，负载具体描述为：

式中，u_m,i是执行v_m的子任务的无人机集合中的第i个无人机，由于v_m的子任务由不同的无人机同时执行，因此u_m,i执行的是v_m的第i个子任务；F_m,i是无人机u_m,i待执行的计算任务所需的CPU周期；如果车辆的计算任务仅由一个无人机执行，那么其他空闲无人机会白白浪费能量；此外，多个无人机同时执行车辆的计算任务能够降低计算任务的完成时间；因此，将车辆v_m的计算任务卸载给无人机集群执行时，将其分解为多个子任务并卸载给不同的无人机同时执行以提高无人机的利用率、降低计算任务的完成时间从而提高车辆的效用；所述无人机的分配状态即指执行车辆的子任务的无人机集合；

所述基于Q学习得到无人机的最佳分配状态，具体为：

S＝{s₁,...,s_i,...,s_I}为无人机的分配状态，I表示执行子任务的无人机的最大数量，其中状态s_i＝(u_m,1,u_m,2,...,u_m,i)表示从按照负载升序排序后的无人机集合中选取i个负载最低的无人机执行v_m的子任务，即

由于优先选取负载较低的无人机执行子任务，无人机之间的负载均衡得以实现；

A＝{a₁,...,a_i,...,a_I}表示在每个状态能够执行的动作集合，其中

表示状态s_i采取的动作；a_i＝(1,0)表示将分配状态s_i中负载最大的无人机剔除，从而转移到状态s_i-1；a_i＝(0,1)表示从排序后的无人机集合中选取第i+1个负载最少的无人机加入到分配状态s_i，从而转移到状态s_i+1；

R(s,a)＝{R₁(s₁,a₁),...,R_i(s_i,a_i),...,R_I(s_I,a_I)}表示无人机集群在状态s_i采取动作a_i后得到的奖励，具体为：

式中，d_m,k是v_m的第k个子任务的数据大小；s_i'为在状态s_i执行动作a_i后到达的下一个状态；

根据贝尔曼方程迭代得出最优的无人机分配状态。

进一步地，所述基于迭代方法使所述最佳无人机分配状态中的每个无人机完成子任务所需的时间相等从而最小化计算任务的完成时间，具体为：

由于车辆的计算任务被分解为多个子任务同时执行，那么计算任务的完成时间由所有子任务中完成时间最长的子任务决定；明显地，当所有子任务的完成时间相同时，计算任务的完成时间达到最小值；因此，使所述最佳无人机分配状态中的每个无人机完成子任务所需的时间相等则最小化计算任务的完成时间；

对于被执行的计算任务，其每个子任务的完成时间更新为：

式中，ε₂是一个大于0的常数；

在每个子任务的完成时间为上式的情况下，根据该时间反求出每个子任务的数据大小并在所有子任务数据大小的和第一次达到D_m时退出迭代。

进一步地，所述根据每个子任务的完成时间反求出每个子任务数据大小，具体为：

对于车辆v_m的第k个子任务，其由u_m,k执行，当

时，其数据大小更新为：

式中，

是车辆v_m与无人机u_m,k的通信速率；D_m是v_m的计算任务的数据大小；F_m为完成v_m的计算任务所需的CPU周期；

对于车辆v_m的第k个子任务，当

时，其数据大小更新为：

式中，

与现有技术相比，本发明至少具有以下有益效果：

(1)与现有主流的基于边缘计算和无人机集群协助的车辆网络相比，本发明基于软件定义网络架构，实现了数据平面和控制平面的解耦，无人机、边缘计算设备和车辆的信息可以被实时感知以帮助车辆做出最优的计算策略，解决了现有边缘计算和无人机集群协助的车辆网络存在的缺乏统一中央控制器的技术问题。

(2)本发明提出了基于边缘计算和无人机集群协助的车辆网络中无人机之间的负载均衡方法，通过量化每个无人机的负载并根据负载分配不同数据大小的子任务，实现了无人机之间的负载均衡，提高了计算任务卸载给无人机执行时车辆用户得到的效用。

(3)本发明提出了基于Q学习的无人机最优分配状态设计方法，针对无人机差异化的传输时间和负载大小，分配最优数量的无人机执行子任务，在最小化计算任务完成时间的同时最大化卸载给无人机执行时车辆得到的效用。

(4)本发明提出了基于最速下降的计算资源优化方法，针对不同的计算任务确定边缘计算设备为其分配的计算资源，实现了计算资源的最优化以及计算任务卸载给边缘计算设备时车辆效用的最大化。

附图说明

为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为车辆网络中基于边缘计算和无人机集群协助的任务卸载方法流程图；

图2为车辆网络中基于边缘计算和无人机集群协助的任务卸载模型图；

图3为基于Q学习最大化卸载给无人机集群时车辆获得的效用流程图；

图4为Q学习流程图；

图5为基于最速下降法最优化计算资源流程图；

图6为最优计算策略选择流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

作为本发明的某一具体实施方式，如图1所示，本发明一种车辆网络中基于边缘计算和无人机集群协同的任务卸载方法，具体包括以下步骤：

步骤1、车辆向中央控制器上传计算任务信息。

具体地说，本发明中车辆v_m的计算任务信息，具体为：

计算任务表示为T_m，计算任务的数据大小为D_m、完成计算任务所需的总CPU周期数为F_m、计算任务的最大可容忍延迟为τ_m。

步骤2、基于软件定义网络采集系统中无人机、边缘计算设备信息。

作为优选的实施方式，基于软件定义网络采集系统中无人机、边缘计算设备信息，具体包括：

基于边缘计算和无人机集群协助的车辆网络如图2所示，包括M辆车辆、N架无人机、S个边缘计算设备。具体地，车辆、边缘计算设备组成位于地面的车辆网络；无人机组成位于空中的空中自组网。车辆网络和空中自组织网属于数据平面，中央控制器属于控制平面。通过OpenFlow协议，控制平面可以与数据平面进行通信以实时掌握网络中设备的信息并告知车辆最优的计算策略。无人机可以在空中为车辆提供灵活的卸载服务，边缘计算设备可以在无人机负载较大或计算资源不足时为车辆提供卸载服务。其中车辆、边缘计算设备和无人机的集合分别表示为V＝{v₁,...,v_m,...,v_M}、U＝{u₁,...,u_n,...,u_N}、R＝{R₁,...,R_s,...R_S}。通过V2U(Vehicle-to-UAV)和V2I(Vehicle-to-Infrastructure)链路，车辆可以将计算任务卸载给无人机集群或边缘计算设备。此外，无人机之间可以通过U2U(UAV-to-UAV)链路进行通信。

步骤3、中央控制器计算本地执行时车辆的效用。

具体地说，本发明中计算任务在本地执行时车辆得到的效用，具体为：

式中，C是常数；τ_m是计算任务的最大可容忍延迟；F_m是完成计算任务所需的总CPU周期；

是车辆分配给该计算任务的计算资源。

步骤4、中央控制器基于Q学习最大化卸载给无人机集群执行时的效用。

具体地说，如图3所示，本发明中基于Q学习最大化卸载给无人机集群执行时的效用，具体包括：

步骤4.1、中央控制器根据每架无人机待完成的计算任务所需的CPU周期计算每架无人机的负载；

具体地说，本发明中无人机的负载，负载具体描述为：

式中，u_m,i是执行v_m的子任务的无人机集合中的第i个无人机，由于v_m的子任务由不同的无人机同时执行，因此u_m,i执行的是v_m的第i个子任务；F_m,i是无人机u_m,i待执行的计算任务所需的CPU周期。

步骤4.2、中央控制器基于Q学习得到无人机的最佳分配状态；

若仅将计算任务卸载给单个无人机执行，其他空闲无人机会降低系统效率。此外，单个无人机有限的计算资源会增加完成计算任务所需的时间。因此，可以将计算任务分解为若干个子任务卸载给不同的无人机同时执行以享受并行计算带来的低时延。为此，首先需要确定的无人机的分配状态，即确定执行子任务的无人机集合。作为一种强化学习，当决策问题的动作和状态数量有限时，Q学习是一种有效的解决方法。因此，本发明利用Q学习确定执行子任务的无人机集合即无人机的分配状态，Q学习可以表示为一个三元组{S,A,R(s,a)}。

具体地说，如图4所示，本发明中使用的Q学习，具体为：

S＝{s₁,...,s_i,...,s_I}为无人机的分配状态，I表示执行子任务的无人机的最大数量，其中状态s_i＝(u_m,1,u_m,2,...,u_m,i)表示从按照负载升序排序后的无人机集合中选取i个负载最低的无人机执行v_m的子任务，即

由于优先选取负载较低的无人机执行子任务，无人机之间的负载均衡得以实现。

A＝{a₁,...,a_i,...,a_I}表示在每个状态可执行的动作集合，其中

表示状态s_i可采取的动作。a_i＝(1,0)表示将分配状态s_i中负载最大的无人机剔除，从而达到状态s_i-1；a_i＝(0,1)表示从排序后的无人机集合中选取第i+1个负载最少的无人机加入到分配状态s_i，从而达到状态s_i+1。

R(s,a)＝{R₁(s₁,a₁),...,R_i(s_i,a_i),...,R_I(s_I,a_I)}表示无人机集群在状态s_i采取动作a_i后得到的奖励，具体为：

式中，d_m,k是v_m的第k个子任务的数据大小，s_i'为在状态s_i执行动作a_i后到达的下一个状态。上式的含义为如果在状态s_i任务T_m可以在

时间内完成，则不需要转换为状态s_i+1。原因是在s_i+1中完成T_m所需的时间一定比

长。这种方式可以减少任务完成时间，保证负载均衡。

Q值的迭代公式为：

式中，s_i'是状态s_i采取行动a_i后到达的下一个状态；a_i'是状态s_i'可以采取的行动；ν是学习率；γ是表示未来报酬对当前报酬影响的贴现因子。

步骤4.3、中央控制器基于迭代方法最小化计算任务的完成时间；

具体地说，本发明中车辆v_m的计算任务卸载给无人机执行时车辆得到的效用，具体为：

式中，α是卸载意愿度；

是无人机完成计算任务的时间；γ_U是每单位能量车辆给无人机的支付；δ是与硬件架构相关的常数；f_u是无人机的计算资源。

是关于

的单调递减函数，当

达到最小值时，

达到最大值。由于子任务之间是并行执行的，因此当所有子任务的完成时间相同时

达到最小值。

具体地说，本发明中基于迭代算法使每个无人机完成子任务所需的时间相等，具体为：

对于被执行的计算任务，其每个子任务的完成时间更新为：

式中，ε₂是一个大于0的常数；

当每个子任务的完成时间为上式的情况下，根据该时间可以反求出每个子任务的数据大小。当所有子任务数据大小的和第一次达到D_m时退出迭代。

步骤4.4、中央控制器根据最短完成时间反求每个无人机分配到的子任务的数据大小；

具体地说，本发明中根据最短完成时间反求每个无人机分配到的子任务的数据大小，具体为：

对于车辆v_m的第k个子任务，其由u_m,k执行，当

时，其数据大小更新为：

式中，

是车辆v_m与无人机u_m,k的通信速率；D_m是v_m的计算任务的数据大小；F_m为完成v_m的计算任务所需的CPU周期；

对于车辆v_m的第k个子任务，当

时，其数据大小更新为：

式中，

步骤5、中央控制器基于最速下降法最大化卸载给边缘计算设备执行时的效用；

具体地说，本发明中车辆v_m的计算任务卸载给边缘计算设备R_s时车辆的效用，具体为：

式中，D_m是计算任务的总数据大小；r_m,s是车辆v_m与边缘计算设备R_s之间的传输速率；

是边缘计算设备R_s分配给车辆的计算任务的计算资源；由于边缘计算设备执行车辆的计算任务会消耗自身的能量，因此γ_R是车辆给边缘计算设备每单位能量的支付。

容易看出

的值取决于

由于

是关于

的凹函数且无法直接通过

的方式求出

的最大值，因此可以基于最速下降法求出最优的

从而得到

的最大值。

具体地说，本发明中基于最速下降法最大化卸载给边缘计算设备执行时的效用，具体为：

如图5所示，每次更新的步长为：

式中，

是

对

的一阶偏导；

是第k次更新后

的值；

是

对

的二阶偏导。

对于边缘计算设备，其分享给车辆的计算资源每次更新为：

通过最优化边缘计算设备分享的计算资源，

达到了最大值。

步骤6、中央控制器选择最优计算策略并判断时延要求，以完成计算任务。

具体地说，本发明中选择最优计算策略并判断时延要求，具体包括：

如图6所示，软件定义网络中央控制器从本地计算、卸载给无人机集群执行、卸载给边缘计算设备执行三种计算策略中选择效用最大的策略作为最优计算策略。若最优计算策略无法在最大可容忍延迟内完成计算任务，那么开始新一轮的决策过程。

步骤7、车辆根据最优计算策略执行计算任务并支付，以激励无人机、边缘计算设备参与到任务执行中。

具体地说，本发明中执行计算任务并支付，具体包括：

车辆按照软件定义网络中央控制器给出的最优策略执行计算任务，若最优策略为卸载给无人机执行或卸载给边缘计算设备执行，那么给予无人机或边缘计算设备一定支付，以激励无人机、边缘计算设备参与到任务执行中。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种车辆网络中基于边缘计算和无人机集群协同的任务卸载方法，其特征在于，包括：

基于软件定义网络获取车辆的信息以及无人机集群和边缘计算设备信息；

控制平面根据获得的信息分别基于最速下降法和Q学习最大化卸载给边缘计算设备时车辆获得的效用和卸载给无人机集群时车辆获得的效用；

控制平面根据本地策略、卸载给边缘计算设备策略以及卸载给无人机集群策略下，车辆分别能获得的效用为车辆实时提供最优的计算策略，以最大化车辆的效用。

2.根据权利要求1所述的车辆网络中基于边缘计算和无人机集群协同的任务卸载方法，其特征在于，所述基于软件定义网络获取车辆的信息以及无人机集群和边缘计算设备信息，具体为：车辆的计算任务数据大小信息、计算任务所需计算资源信息和计算任务最大可容忍延迟信息，车辆、无人机和边缘计算设备的位置信息、轨迹信息、网络信息和计算资源信息，根据所述获取的信息确定不同计算策略下车辆所能获得的最大效用。

3.根据权利要求2所述的车辆网络中基于边缘计算和无人机集群协同的任务卸载方法，其特征在于，所述计算策略，具体为：在本地执行、卸载给边缘计算设备执行、卸载给无人机集群执行。

4.根据权利要求3所述的车辆网络中基于边缘计算和无人机集群协同的任务卸载方法，其特征在于，所述计算策略为本地执行时，车辆v_m得到的效用具体为：

式中，C是常数；τ_m是该计算任务的最大可容忍延迟；F_m是完成该计算任务所需的总CPU周期；

是车辆v_m分配给该计算任务的计算资源。

5.根据权利要求3所述的车辆网络中基于边缘计算和无人机集群协同的任务卸载方法，其特征在于，所述计算策略为卸载给边缘计算设备R_s执行时，车辆v_m得到的效用具体为：

式中，α是卸载意愿度；D_m是该计算任务的总数据大小；r_m,s是车辆v_m与边缘计算设备R_s之间的传输速率；

是边缘计算设备R_s分享给该计算任务的计算资源；γ_R是边缘计算设备消耗一单位能量车辆给其的支付；δ是与边缘计算设备芯片的硬件架构相关的常数；

容易看出

的值取决于

由于

是关于

的凹函数且无法直接通过

的方式求出

的最大值，因此可以基于最速下降法求出最优的

从而得到

的最大值。

6.根据权利要求3所述的车辆网络中基于边缘计算和无人机集群协同的任务卸载方法，其特征在于，所述计算策略为卸载给无人机集群执行时，车辆v_m得到的效用具体为：

式中，

是无人机集群完成该计算任务所需的时间；γ_U是每单位能量车辆给无人机的支付；f_u是无人机的计算资源；

由于

是关于

的递减函数，因此通过最小化

的方式最大化

系统中存在无人机集群，可以将v_m的计算任务分解为多个子任务，并卸载给不同的无人机同时执行以最小化

具体为：

根据每个无人机的负载对无人机升序排序并基于Q学习得到无人机的最佳分配状态；

基于迭代方法使所述最佳无人机分配状态中的每个无人机完成子任务所需的时间相等从而最小化

7.根据权利要求6所述的车辆网络中基于边缘计算和无人机集群协同的任务卸载方法，其特征在于，所述根据每个无人机的计算负载进行升序排序，负载具体描述为：

式中，u_m,i是执行v_m的子任务的无人机集合中的第i个无人机，由于v_m的子任务由不同的无人机同时执行，因此u_m,i执行的是v_m的第i个子任务；F_m,i是无人机u_m,i待执行的计算任务所需的CPU周期；如果车辆的计算任务仅由一个无人机执行，那么其他空闲无人机会白白浪费能量；此外，多个无人机同时执行车辆的计算任务能够降低计算任务的完成时间；因此，将车辆v_m的计算任务卸载给无人机集群执行时，将其分解为多个子任务并卸载给不同的无人机同时执行以提高无人机的利用率、降低计算任务的完成时间从而提高车辆的效用；所述无人机的分配状态即指执行车辆的子任务的无人机集合；

所述基于Q学习得到无人机的最佳分配状态，具体为：

S＝{s₁,...,s_i,...,s_I}为无人机的分配状态，I表示执行子任务的无人机的最大数量，其中状态s_i＝(u_m,1,u_m,2,...,u_m,i)表示从按照负载升序排序后的无人机集合中选取i个负载最低的无人机执行v_m的子任务，即

由于优先选取负载较低的无人机执行子任务，无人机之间的负载均衡得以实现；

A＝{a₁,...,a_i,...,a_I}表示在每个状态能够执行的动作集合，其中

表示状态s_i采取的动作；a_i＝(1,0)表示将分配状态s_i中负载最大的无人机剔除，从而转移到状态s_i-1；a_i＝(0,1)表示从排序后的无人机集合中选取第i+1个负载最少的无人机加入到分配状态s_i，从而转移到状态s_i+1；

R(s,a)＝{R₁(s₁,a₁),...,R_i(s_i,a_i),...,R_I(s_I,a_I)}表示无人机集群在状态s_i采取动作a_i后得到的奖励，具体为：

式中，d_m,k是v_m的第k个子任务的数据大小，s_i'为在状态s_i执行动作a_i后到达的下一个状态；

根据贝尔曼方程迭代得出最优的无人机分配状态。

8.根据权利要求6所述的车辆网络中基于边缘计算和无人机集群协同的任务卸载方法，其特征在于，所述基于迭代方法使所述最佳无人机分配状态中的每个无人机完成子任务所需的时间相等从而最小化计算任务的完成时间，具体为：

由于车辆的计算任务被分解为多个子任务并卸载给不同的无人机同时执行，那么计算任务的完成时间由所有子任务中完成时间最长的子任务决定；明显地，当所有子任务的完成时间相同时，计算任务的完成时间达到最小值；因此，使所述最佳无人机分配状态中的每个无人机完成子任务所需的时间相等则最小化计算任务的完成时间；

对于被执行的计算任务，其每个子任务的完成时间更新为：

式中，ε₂是一个大于0的常数；

在每个子任务的完成时间为上式的情况下，根据该时间反求出每个子任务的数据大小并在所有子任务数据大小的和第一次达到D_m时退出迭代。

9.根据权利要求8所述的车辆网络中基于边缘计算和无人机集群协同的任务卸载方法，其特征在于，所述根据每个子任务的完成时间反求出每个子任务数据大小，具体为：

对于车辆v_m的第k个子任务，其由u_m,k执行，当

时，其数据大小更新为：

式中，

是车辆v_m与无人机u_m,k的通信速率；D_m是v_m的计算任务的数据大小；F_m为完成v_m的计算任务所需的CPU周期；

对于车辆v_m的第k个子任务，当

时，其数据大小更新为：

式中，

Images