CN112188442B - 基于移动边缘计算的车联网数据驱动任务卸载系统和方法 - Google Patents

Abstract

本发明公开了一种基于移动边缘计算的车联网数据驱动任务卸载系统和方法，包括：应用层、车辆层、MEC层和云层。应用层包括数据感知管理、ITS服务管理和道路安全管理；车辆层包括：感知车辆和计算车辆。感知车辆收集各类交通数据并卸载给计算服务器计算，计算车辆为V2V通信范围内的子任务提供计算服务；MEC层包括：MEC服务器和RSU，MEC服务器作为计算服务器和本地调度器部署在RSU附近；云层包括云服务器和主干网，车辆可以通过蜂窝接口将其子任务卸载到云服务器。本发明的优点是：降低了数据驱动任务的服务延迟及服务花费，并且任务卸载架构是分布式的，能够有效降低任务卸载调度的决策时间，提高资源的利用率。

Description

基于移动边缘计算的车联网数据驱动任务卸载系统和方法

技术领域

本发明涉及车联网技术领域，特别涉及一种基于移动边缘计算的车联网数据驱动任务卸载系统和方法。

背景技术

目前，随着物联网技术和5G无线通信技术的快速发展，车联网领域涌现了大量的新型应用，如自动驾驶、视频监控和交通控制等。这些与智能交通系统相关的应用首先需要收集大量的环境数据，如道路网络信息、实时交通信息、车辆行驶信息等，然后在这些数据的基础上，由车辆或者其他感知设备进行相应的处理，如人脸识别、目标检测、交通预测等，因此这些应用都是基于数据驱动并且计算密集的。然而车辆的计算能力有限，难以满足它们对计算资源和延迟的要求。云计算的出现在一定程度上缓解了这种状况，云端集成了大量具备强大计算能力的服务器，通过将一部分计算任务卸载给云，可以减少应用运行的延迟。但是，云端远离车辆，这必然导致过高的通信延迟。

近几年，移动边缘计算(MEC)已经成为了一种支持实时、计算密集型应用的有效范式。通过将MEC服务器从云端迁移到道路网络附近，极大地缩短了车辆和服务器之间的距离，有效地减少了应用与服务器之间的通信延迟。然而MEC服务器的计算资源和通信资源仍然有限，并且由于车联网的一些特性，如动态的网络拓扑结构、车辆的高速移动以及不均匀的车辆分布等，使得任务在卸载过程中，可能会受到无法预测的通信延迟以及服务器之间不均衡的工作负载的影响。为了充分地利用车辆、MEC服务器和云的资源，需要将他们集中在一种系统架构中进行考虑，同时有必要在这个架构的中对任务卸载机制进行研究。

现有技术一

粒子群优化算法(PSO)S.Dai,M.Li Wang,Z.Gao,L.Huang,X.Du and M.Guizani,"An Adaptive Computation Offloading Mechanism for Mobile Health Applications,"in IEEE Transactions on Vehicular Technology,vol.69,no.1,pp.998-1007,Jan.2020,doi:10.1109/TVT.2019.2954887。

现有技术一的缺点

1.粒子群算法的精度较低，易发散等；

2.若加速系数、最大速度等参数太大，粒子群可能错过最优解，算法不收敛；

3.在收敛的情况下，由于所有的粒子都向最优解的方向飞去，所以粒子趋向同一化(失去了多样性)，使得后期收敛速度明显变慢，同时算法收敛到一定精度时，无法继续优化，所能达到的精度也不高。

4.不能适应动态变化的任务卸载环境，在每一次任务卸载调度过程中都需要重新运行算法，时间复杂度高，效率低下。

现有技术二

启发式算法M.Gong and S.Ahn,"Computation Offloading-Based TaskScheduling in the Vehicular Communication Environment for Computation-Intensive Vehicular Tasks,"2020International Conference on ArtificialIntelligence in Information and Communication(ICAIIC),Fukuoka,Japan,2020,pp.534-537,doi:10.1109/ICAIIC48513.2020.9064975。

现有技术二的缺点

1.启发式算法的表现不稳定；

2.启发式算法的好坏依赖于实际问题、经验和设计者的技术；

3.启发式算法不能适应动态变化的任务卸载环境，在每一次任务卸载调度过程中都需要重新运行算法，效率低下。

发明内容

本发明针对现有技术的缺陷，提供了一种基于移动边缘计算的车联网数据驱动任务卸载系统和方法，解决了现有技术中存在的缺陷。

为了实现以上发明目的，本发明采取的技术方案如下：

一种基于移动边缘计算的车联网数据驱动任务卸载系统的卸载方法，其特征在于：卸载方法在车联网数据驱动任务卸载系统上实现；

所述车联网数据驱动任务卸载系统，其特征在于，包括：应用层、车辆层、MEC层和云层；

所述应用层包括：数据感知管理模块、ITS服务管理模块、道路安全管理模块；

ITS服务管理模块包括：交通信号控制、异常车辆检测和交通流预测；ITS服务是数据驱动的任务，需要处理分布在道路网络中的感知车辆收集的交通数据；基于数据分布，将数据驱动任务划分为多个子任务；每个子任务与感知车辆感知到的一组交通数据相关联，并且可以并行处理；只有计算了所有子任务的结果后，才能完成任务；

数据感知管理模块包括：压缩感知、异常数据检测、用户认证和隐私保护；数据感知管理模块对收集来的数据进行分析和处理；其中，压缩感知能够以低采样频率来重建稀疏信号；异常数据检测能够对车联网中的数据进行检测，去除异常危险数据并且提高信息精度，以保证相关设备的安全；用户认证和隐私保护来保证车联网中信息的可认证性、完整性、不可否认性和私密性；

道路安全管理模块包括：气象信息采集、交通信息采集和紧急信息采集；道路安全管理模块能够提高安全管理的自动化水平，实现对道路交通的实时监控，降低道路安全事故的发生率；其中，气象信息采集用于采集实时的气象状况，对道路行驶速度做出限制；交通信息包括车辆占有率、道路交通量、车头时距、车长、车速和交通密度，通过对这些交通信息的采集,能够为道路使用情况分析提供有力的依据；道路交通运行过程中,有时会遇见紧急情况,主要包括交通事故和自然灾害，通过对此类紧急信息的收集，能够提醒附近车辆，有效缓解交通拥堵和避免人员伤亡；

所述车辆层包括：感知车辆和计算车辆；

感知车辆配备了传感器，能够收集交通数据，可以缓存与几种类型的子任务相关联的数据集，这些数据集必须通过无线通信卸载到附近的计算服务器进行处理；

计算车辆用于提供计算服务；计算车辆拥有一个处理器，为V2V通信范围内的子任务进行计算；每次最多允许一个子任务卸载到一辆计算车辆上；

所述MEC(移动边缘计算)层包括：MEC服务器和RSU(路侧单元)；

MEC服务器配备了一个计算服务器并部署在RSU附近；MEC服务器同时扮演两个角色：计算服务器和本地调度器；作为计算服务器，MEC服务器能够同时处理通过V2I无线通信卸载的多个等待任务；由于车辆的移动性，子任务必须在V2I连接时间内完全上传；作为本地调度器，MEC服务器负责对每个子任务做出卸载决策，包括卸载服务器的选择、无线带宽和计算资源的分配，其中MEC服务器通过检测感知车辆定期广播的心跳消息检索相关任务信息；

所述云层包括：云服务器和主干网，云服务器部署在主干网中，车辆可以通过蜂窝接口将其子任务卸载到云服务器；对于V2I覆盖范围之外的子任务，或者在与MEC服务器或计算车辆的连接时间内未能完成上传的子任务，它们必须选择云作为卸载服务器；

所述卸载方法包括以下步骤：

步骤1，DQN模型中强化学习的基本元素设计；

a.系统状态：由于V2V通信范围有限，假设每个感知车辆最多有n辆计算车辆可供卸载；然后，将当前等待卸载的子任务r_v在时间t的系统状态定义为多维向量，其公式如下：

其中，

和

表示r_v的数据量大小和所需的计算资源；D_total表示调度前等待卸载的子任务的总数据量，D_load表示已经卸载到m的工作负载，b_m,f_m分别代表MEC服务器的总带宽和总计算资源，

分别是计算车辆v′_i的带宽和计算资源；

b.动作空间：它被定义为可用于等待卸载的子任务r_v的候选计算服务器集；具体来说，采用one-hot编码来表示动作，该动作被表示为一个n+2维二进制向量，如等式所述：

其中

表示子任务r_v是否卸载，上标m,c,v_i′分别表示对MEC服务器m,云和计算车辆v_i′的卸载选择，该值等于1表示选择它进行卸载，等于0表示不选择；

c.奖励函数：奖励函数的基本原理是，行动所带来的服务时间和成本越低，奖励就越高；如果子任务能够在连接时间内成功完成，则奖励被定义为子任务的服务时间和成本的加权和与常数M₁倒数的乘积；否则，奖励被定义为负值，表示惩罚，用-M₂表示；奖励函数的公式如下：

其中

分别表示子任务r_v的服务延迟和服务花费，l_v{v′,m}代表了感知车辆v与计算车辆v′或MEC服务器m的连接时间，η₁,η₂是服务延迟和服务花费的权重；

步骤2，基于凸优化的最优资源分配；

基于ADQN，可以预先得到所有子任务的卸载选择A；因此，无线资源的优化模型只与资源分配有关，可以定义为如下；

其中，X,Y,F分别代表MEC服务器的带宽资源分配X、计算资源分配Y以及云的计算资源分配F；

表示MEC服务器m为r_v分配的无线V2I带宽比率，

表示m分配给r_v的计算资源比率，t_m是m的处理器的数量，

代表云分配给r_v的计算资源；Eq.(1a)表示分配的带宽总和不能超过总的带宽，Eq.(1b)意味着分配的计算资源总和不能超过m的最大计算能力。

进一步地，云的计算资源分配

关于F的第一个子模型涉及云的计算资源分配，其公式如下：

其中ω_c表示从云租用计算资源的单位成本，通过找到梯度g₁等于零的解，即

可以得到最优解。为每个卸载到云的r_v分配的最佳计算资源可以通过下式计算得出：

进一步地，无线带宽资源分配

关于变量X的第二个子模型涉及无线V2I带宽分配，其公式如下：

其中

表示子任务r_v上传给MEC服务器m的传输时间，可以观察到与MEC服务器相关的变量是相互独立的，子模型Eq.(4)可以进一步划分为多个简单模型，每个模型只与一个MEC服务器m相关，如下所示:

其中，R^m表示MEC服务器m覆盖范围内的所有子任务，X_m表示与MEC服务器m关联的X中的变量。显然，等式Eq.(5)中的目标是凸的，等式Eq.(5)中的约束是线性的。因此，Eq.(5)是一个凸优化模型。根据KKT条件，得到如下公式：

通过求解方程组，可以得到每个等待卸载的子任务r_v的无线带宽分配的最优解，如下所示：

进一步地，MEC服务器的计算资源分配；

关于变量Y的第三个子模型涉及MEC服务器的计算资源分配，公式如下：

其中

分别代表子任务r_v卸载给MEC服务器m的计算延迟和计算花费，与子模型Eq.(4)类似，子模型Eq.(8)也可以分解为多个简单模型，每个模型只与一个MEC服务器m相关联，如下所示。

其中

表示与MEC服务器m关联的Y中的变量。基于KKT条件，我们可以得到两个备选解。对于第一种情况，其中对偶变量λ_m＝0，其解如下所示：

其中ω_m表示从MEC服务器m租用计算资源的单位成本，对于第二种情况：对偶变量λ_m≠0，其解如下所示：

其中，变量λ_m可以通过二分法快速求解出来。显然，第三个子模型的最优解是方程Eq.(10)和Eq.(11)中两个解中的一个。

与现有技术相比，本发明的优点在于：

1.有效的利用了MEC服务器、云和计算车辆的资源，并且通过ADQN算法及推导出的最优资源分配解析式，降低了数据驱动任务的服务延迟及服务花费；

2.ADQN算法能够从以往的卸载经验中进行学习，适应动态变化的任务卸载环境，最终收敛到一个较好的解。

3.任务卸载架构是分布式的，能够有效的降低任务卸载调度的决策时间，提高资源的利用率。

附图说明

图1是本发明实施例任务卸载系统结构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。

如图1所示，基于移动边缘计算的车联网数据驱动任务卸载系统，包括：应用层、车辆层、MEC层和云层；

在应用层，在车辆网络中部署着各种智能交通服务(ITS)，如交通信号控制、异常车辆检测、交通流预测等。这些ITS服务应该是基于数据驱动的任务，需要处理分布在道路网络中的感知车辆收集的交通数据。因此，基于数据分布，将数据驱动任务划分为多个子任务。每个子任务与感知车辆感知到的一组交通数据相关联，并且可以并行处理。只有计算了所有子任务的结果后，才能完成任务。利用基于MEC的服务架构优势，可以将子任务卸载到附近的计算服务器上，而无需在云端集中处理，大大减少了传输时间，提高了计算效率。在本发明中，任务卸载过程包括任务传输和计算，而计算结果的返回时间因其较小而被忽略。

在车辆层，移动车辆分为两类：感知车辆和计算车辆。一方面，感知车辆配备了各种传感器，能够收集各类交通数据，可以缓存与几种类型的子任务相关联的数据集，这些数据集必须通过无线通信卸载到附近的计算服务器进行处理。另一方面，假设计算车辆拥有一个处理器，可以为V2V通信范围内的子任务进行计算。然而，由于计算能力有限以及网络连接不可靠，每次最多允许一个子任务卸载到一辆计算车辆上。因此，计算车辆的租赁成本是最便宜的。

在MEC层，MEC服务器配备了一个计算服务器并部署在RSU附近。每个MEC服务器分别扮演两个角色：计算服务器和本地调度器。作为计算服务器，MEC服务器能够同时处理通过V2I无线通信卸载的多个等待任务。由于车辆的移动性，子任务必须在V2I连接时间内完全上传。因此，对于无线带宽和计算资源的竞争可能发生在多个等待卸载的子任务之间，这将在下面的部分中进行建模。MEC服务器的租赁成本假定高于计算车辆。此外，作为本地调度器，MEC服务器负责对每个子任务进行卸载决策，包括卸载服务器的选择、无线带宽和计算资源的分配，其中MEC服务器通过检测感知车辆定期广播的心跳消息检索相关任务信息。

在云层，云服务器部署在主干网中，并假设其拥有无限的计算资源。车辆可以通过蜂窝接口将其子任务卸载到云服务器。由于基站的广泛部署，车辆可以随时访问云服务器，但必须支付传输成本，传输成本与上传数据集的大小成正比。特别是对于V2I覆盖范围之外的子任务，或者在与MEC服务器或计算车辆的连接时间内未能完成上传的子任务，它们必须选择云作为卸载服务器。此外，车辆还必须支付租赁成本，这与从云端分配的计算资源成比例。在所有类型的计算服务器中，云的租赁成本是最高的。

基于以上的内容，一项任务的完成需要协调任务的卸载选择和异构资源的分配。因此，迫切需要在每个MEC服务器上设计并实现一种分布式机制，通过综合优化车辆层、MEC层和云层的异构无线带宽和计算资源的分配，使服务时间和服务成本最小化。

本发明用到的数学符号表示如下。MEC服务器的集合用M表示。其中的每个MEC服务器m∈M都有一个双元组(p_m，b_m)，其中p_m和b_m分别是计算能力和V2I无线带宽。然后，MECm覆盖范围中的车辆集合用V_m表示，它可以分为两类：感知车辆集

和计算车辆集

因此，与v相邻的感知和计算车辆集分别用

和

表示。感知车辆

有一个缓存的数据集，用D_v表示，这是数据驱动任务所必需的。计算车辆

具有异构计算能力p_v。

此外，数据驱动任务集用R表示。每个任务r∈R都由两个元组(D_r,cr_r)表征，其中D_r和cr_r分别是所需的数据集和计算资源。每个任务r应根据D_r在感知车辆中的分布情况分成多个子任务。具体来说，r的每个子任务r_v与感知车辆v缓存的数据集D_v相关联。相应地，所需的数据集

由D_r∩D_v表示，所需的计算资源

与

的大小成比例，即

为了简单起见，我们使用||r||和||R||分别表示r中的子任务数和R中的任务数。

另外，每个子任务r_v的卸载决策由一组符号

表示，其中

表示是否将r_v卸载到计算服务器l，N_v是v的可用计算服务器集，其公式如下：

假设每个子任务是不可分割的，并且只能分配给一个计算服务器，其公式如下：

我们的解决方案分为两个阶段：任务卸载和资源分配。我们首先在每个MEC服务器端设计了一个异步DQN算法，用于任务卸载。然后，基于分解法和凸优化推导出了资源分配的理论最优解。

1、任务卸载的异步DQN

异步DQN(ADQN)的基本思想是综合A3C和DQN的优点，以实现快速收敛。在ADQN中，每个代理都有一个本地的DQN模型，云中存在一个全局模型。DQN模型中强化学习的基本元素设计如下。

a.系统状态：由于V2V通信范围有限，假设每个感知车辆最多有n辆计算车辆可供卸载。然后，将当前等待卸载的子任务r_v在时间t的系统状态定义为多维向量，其公式如下。

其中，

和

表示r_v的数据量大小和所需的计算资源。D_total表示调度前等待卸载的子任务的总数据量，D_load表示已经卸载到m的工作负载，b_m,f_m分别代表MEC服务器的总带宽和总计算资源，

分别是计算车辆v_i'的带宽和计算资源。

b.动作空间：它被定义为可用于等待卸载的子任务r_v的候选计算服务器集。具体来说，采用one-hot编码来表示动作，该动作被表示为一个n+2维二进制向量，如等式所示：

其中

表示子任务r_v是否卸载，上标m,c,v_i′分别表示对MEC服务器m,云和计算车辆v_i′的卸载选择，该值等于1表示选择它进行卸载，等于0表示不选择。

c.奖励函数：奖励函数的基本原理是，行动所带来的服务时间和成本越低，奖励就越高。如果子任务能够在连接时间内成功完成，则奖励被定义为子任务的服务时间和成本的加权和与常数M₁倒数的乘积。否则，奖励被定义为负值，表示惩罚，用-M₂表示。奖励函数的公式如下：

其中

分别表示子任务r_v的服务延迟和服务花费，l_v{v′,m}代表了感知车辆v与计算车辆v′或MEC服务器m的连接时间，η₁,η₂是服务延迟和服务花费的权重。

ADQN算法基于A3C框架，ADQN的实现过程如下。首先，对于每个智能体，给定一个等待卸载的子任务列表，基于其本地Q网络以迭代方式确定任务卸载选择。生成的经验由(s,a,r,s′)表示，存储在经验池中。第二，每个智能体从经验池中随机获取一批元组，并计算损失及梯度。第三，每个智能体的本地梯度信息通过有线连接异步上传到云端的全局模型中。第四，一旦接收到梯度信息，全局Q网络立即更新，其网络参数被共享给每个局部智能体，即

第五，当Q网络的更新次数达到预定的阈值时，Q网络的最新参数θ_g被复制到目标Q网络的θ_g′，即θ′_g＝θ_g，然后共享给每个局部智能体，即

应当注意，第一到第三步可以同时在每个代理上执行。

2、基于凸优化的最优资源分配

基于ADQN，可以预先得到所有子任务的卸载选择A。因此，无线资源的优化模型只与资源分配有关，可以定义为如下。

其中，X,Y,F分别代表MEC服务器的计算资源分配、带宽资源分配以及云的计算资源分配。

表示MEC服务器m为r_v分配的无线V2I带宽比率，

表示m分配给r_v的计算资源比率，t_m是m的处理器的数量，

代表云分配给r_v的计算资源。Eq.(12a)表示分配的带宽总和不能超过总的带宽，Eq.(12b)意味着分配的计算资源总和不能超过m的最大计算能力。可以看出Eq.(12)中的变量X、Y和F是相互独立的。而且，由于变量不重叠，Eq.(12)中的三个约束条件Eq.(12a)～Eq.(12c)是可分离的。因此，优化模型可以分解为三个子模型，描述如下。

云的计算资源分配

关于F的第一个子模型涉及云的计算资源分配，其公式如下：

其中ω_c表示从云租用计算资源的单位成本，通过找到梯度g₁等于零的解，即

可以得到最优解。为每个卸载到云的r_v分配的最佳计算资源可以通过下式计算得出：

无线带宽资源分配

关于变量X的第二个子模型涉及无线V2I带宽分配，其公式如下：

其中

表示子任务r_v上传给MEC服务器m的传输时间，可以观察到与MEC服务器相关的变量是相互独立的，子模型Eq.(15)可以进一步划分为多个简单模型，每个模型只与一个MEC服务器m相关，如下所示:

其中，R^m表示MEC服务器m覆盖范围内的所有子任务，X_m表示与MEC服务器m关联的X中的变量。显然，等式Eq.(16)中的目标是凸的，等式Eq.(16)中的约束是线性的。因此，Eq.(16)是一个凸优化模型。根据KKT条件[S.Boyd,S.P.Boyd,and L.Vandenberghe,Convexoptimization.Cambridge university press,2004.]，可以得到如下公式：

通过求解方程组，可以得到等待卸载的子任务r_v的无线带宽分配的最优解，如下所示：

MEC服务器的计算资源分配

关于变量Y的第三个子模型涉及MEC服务器的计算资源分配，公式如下：

其中

分别代表子任务r_v卸载给MEC服务器m的计算延迟和计算花费，与子模型Eq.(15)类似，子模型Eq.(19)也可以分解为多个简单模型，每个模型只与一个MEC服务器m相关联，如下所示。

其中

表示与MEC服务器m关联的Y中的变量。基于KKT条件，我们可以得到两个备选解。对于第一种情况，其中对偶变量λ_m＝0，其解如下所示：

其中ω_m表示从MEC服务器m租用计算资源的单位成本，对于第二种情况：对偶变量λ_m≠0，其解如下所示：

其中，变量λ_m可以通过二分法快速求解。显然，第三个子模型的最优解是方程Eq.(21)和Eq.(22)中两个解中的一个。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种基于移动边缘计算的车联网数据驱动任务卸载系统的卸载方法，其特征在于：卸载方法在车联网数据驱动任务卸载系统上实现；

所述车联网数据驱动任务卸载系统，其特征在于，包括：应用层、车辆层、MEC层和云层；

所述应用层包括：数据感知管理模块、ITS服务管理模块、道路安全管理模块；

ITS服务管理模块包括：交通信号控制、异常车辆检测和交通流预测；ITS服务是数据驱动的任务，需要处理分布在道路网络中的感知车辆收集的交通数据；基于数据分布，将数据驱动任务划分为多个子任务；每个子任务与感知车辆感知到的一组交通数据相关联，并且可以并行处理；只有计算了所有子任务的结果后，才能完成任务；

数据感知管理模块包括：压缩感知、异常数据检测、用户认证和隐私保护；数据感知管理模块对收集来的数据进行分析和处理；其中，压缩感知能够以低采样频率来重建稀疏信号；异常数据检测能够对车联网中的数据进行检测，去除异常危险数据并且提高信息精度，以保证相关设备的安全；用户认证和隐私保护来保证车联网中信息的可认证性、完整性、不可否认性和私密性；

道路安全管理模块包括：气象信息采集、交通信息采集和紧急信息采集；道路安全管理模块能够提高安全管理的自动化水平，实现对道路交通的实时监控，降低道路安全事故的发生率；其中，气象信息采集用于采集实时的气象状况，对道路行驶速度做出限制；交通信息包括车辆占有率、道路交通量、车头时距、车长、车速和交通密度，通过对这些交通信息的采集,能够为道路使用情况分析提供有力的依据；道路交通运行过程中,有时会遇见紧急情况,主要包括交通事故和自然灾害，通过对此类紧急信息的收集，能够提醒附近车辆，有效缓解交通拥堵和避免人员伤亡；

所述车辆层包括：感知车辆和计算车辆；

感知车辆配备了传感器，能够收集交通数据，可以缓存与几种类型的子任务相关联的数据集，这些数据集必须通过无线通信卸载到附近的计算服务器进行处理；

计算车辆用于提供计算服务；计算车辆拥有一个处理器，为V2V通信范围内的子任务进行计算；每次最多允许一个子任务卸载到一辆计算车辆上；

所述MEC(移动边缘计算)层包括：MEC服务器和RSU(路侧单元)；

MEC服务器配备了一个计算服务器并部署在RSU附近；MEC服务器同时扮演两个角色：计算服务器和本地调度器；作为计算服务器，MEC服务器能够同时处理通过V2I无线通信卸载的多个等待任务；由于车辆的移动性，子任务必须在V2I连接时间内完全上传；作为本地调度器，MEC服务器负责对每个子任务做出卸载决策，包括卸载服务器的选择、无线带宽和计算资源的分配，其中MEC服务器通过检测感知车辆定期广播的心跳消息检索相关任务信息；

所述云层包括：云服务器和主干网，云服务器部署在主干网中，车辆可以通过蜂窝接口将其子任务卸载到云服务器；对于V2I覆盖范围之外的子任务，或者在与MEC服务器或计算车辆的连接时间内未能完成上传的子任务，它们必须选择云作为卸载服务器；

所述卸载方法包括以下步骤：

步骤1，DQN模型中强化学习的基本元素设计；

a.系统状态：由于V2V通信范围有限，假设每个感知车辆最多有n辆计算车辆可供卸载；然后，将当前等待卸载的子任务r_v在时间t的系统状态定义为多维向量，其公式如下：

其中，

和

表示r_v的数据量大小和所需的计算资源；D_total表示调度前等待卸载的子任务的总数据量，D_load表示已经卸载到m的工作负载，b_m,f_m分别代表MEC服务器的总带宽和总计算资源，

分别是第i个计算车辆v′的带宽和计算资源；

b.动作空间：它被定义为可用于等待卸载的子任务r_v的候选计算服务器集；具体来说，采用one-hot编码来表示动作，该动作被表示为一个n+2维二进制向量，如等式所述：

其中

表示子任务r_v是否卸载，上标m,c,v_i′分别表示对MEC服务器m,云和第i个计算车辆v′的卸载选择，该值等于1表示选择它进行卸载，等于0表示不选择；

c.奖励函数：奖励函数的基本原理是，行动所带来的服务时间和成本越低，奖励就越高；如果子任务能够在连接时间内成功完成，则奖励被定义为子任务的服务时间和成本的加权和与常数M₁倒数的乘积；否则，奖励被定义为负值，表示惩罚，用-M₂表示；奖励函数的公式如下：

其中

分别表示子任务r_v的服务延迟和服务花费，

表示子任务r_v卸载给计算车辆v′或MEC服务器m的服务延迟，l_v{v′,m}代表了感知车辆v与计算车辆v′或MEC服务器m的连接时间，η₁,η₂是服务延迟和服务花费的权重；

步骤2，基于凸优化的最优资源分配；

基于ADQN，可以预先得到所有子任务的卸载选择A；因此，无线资源的优化模型只与资源分配有关，可以定义为如下；

其中，X,Y,F分别代表MEC服务器的带宽资源分配X、计算资源分配Y以及云的计算资源分配F；

表示MEC服务器m为r_v分配的无线V2I带宽比率，

表示m分配给r_v的计算资源比率，t_m是m的处理器的数量，

代表云分配给r_v的计算资源；Eq.(1a)表示分配的带宽总和不能超过总的带宽，Eq.(1b)意味着分配的计算资源总和不能超过m的最大计算能力，||R||表示任务的数量，R表示数据驱动任务集，r表示某个任务。

2.根据权利要求1所述的卸载方法，其特征在于：

云的计算资源分配：

关于F的第一个子模型涉及云的计算资源分配，其公式如下：

其中ω_c表示从云租用计算资源的单位成本，通过找到梯度g₁等于零的解，即

可以得到最优解；为每个卸载到云的r_v分配的最佳计算资源可以通过下式计算得出：

其中V^r表示感知车辆集合。

3.根据权利要求2所述的卸载方法，其特征在于：

无线带宽资源分配：

关于变量X的第二个子模型涉及无线V2I带宽分配，其公式如下：

其中

表示子任务r_v上传给MEC服务器m的传输时间，||r||表示子任务的数量，可以观察到与MEC服务器相关的变量是相互独立的，子模型Eq.(4)可以进一步划分为多个简单模型，每个模型只与一个MEC服务器m相关，如下所述:

其中，R^m表示MEC服务器m覆盖范围内的所有子任务，X_m表示与MEC服务器m关联的X中的变量；显然，等式Eq.(5)中的目标是凸的，等式Eq.(5)中的约束是线性的；因此，Eq.(5)是一个凸优化模型；根据KKT条件，得到如下公式：

通过求解方程组，可以得到每个等待卸载的子任务r_v的无线带宽分配的最优解，如下所述：

其中P_v表示车辆v的传输功率，g_mv表示车辆v和服务器m之间的功率增益。

4.根据权利要求3所述的卸载方法，其特征在于：

MEC服务器的计算资源分配；

关于变量Y的第三个子模型涉及MEC服务器的计算资源分配，公式如下：

其中

分别代表子任务r_v卸载给MEC服务器m的计算延迟和计算花费，与子模型Eq.(4)类似，子模型Eq.(8)也可以分解为多个简单模型，每个模型只与一个MEC服务器m相关联，如下所述；

其中

表示与MEC服务器m关联的Y中的变量；基于KKT条件，我们可以得到两个备选解；对于第一种情况，其中对偶变量λ_m＝0，其解如下所述：

其中ω_m表示从MEC服务器m租用计算资源的单位成本，对于第二种情况：

对偶变量λ_m≠0，其解如下所述：

其中，变量λ_m可以通过二分法快速求解出来；显然，第三个子模型的最优解是方程Eq.(10)和Eq.(11)中两个解中的一个。

Images