CN114143346A - 一种车联网任务卸载和服务缓存的联合优化方法及系统 - Google Patents

Abstract

本发明提出一种车联网任务卸载和服务缓存的联合优化方法及系统，包括：构建车联网系统；确定车联网系统内待处理车辆应用的任务，所述RSU的MEC服务器上缓存有所述任务对应的服务；构建车辆任务卸载策略，计算卸载策略下的任务处理时延和车辆本地任务处理时延；构建RSU间的协同策略，计算协同策略下任务处理时延；优化车联网系统，最小化所有车辆分别完成其车辆应用的任务处理时延总和。通过在RSU的MEC服务器上缓存车联网系统内待处理车辆应用的计算任务所对应的服务，在已知MEC服务器的服务缓存情况下，构建并优化车辆任务卸载策略和RSU间的协同策略，有效地降低了车辆应用请求的完成总时延。

Description

一种车联网任务卸载和服务缓存的联合优化方法及系统

技术领域

本发明涉及车联网技术领域，更具体地，涉及一种车联网任务卸载和服务缓存的联合优化方法及系统。

背景技术

随着车联网技术的快速发展，现代汽车也越来越智能化，能够实现如辅助驾驶、动态交通状况建模和车载娱乐服务等多种复杂、计算量大和低延时要求的应用。上述应用在给用户带来便利的同时，智能交通网络内待处理和传输的数据计算量也呈几何级数增长，给车联网内部通信带来了不小的挑战。

边缘计算技术通过将一定的计算、存储资源下沉到车联网接入网络边缘，使用户可以把任务卸载给具有丰富资源的边缘节点，如路测单元(RSU，Road Side Unit)等，从而实现减少任务响应的时延。现有的能够有效减少时延的方式主要有车辆与RSU之间的通信(Vehicle-to-Roadside，V2R)和RSU之间的通信(Roadside-to-Roadside，R2R)。受限于成本等影响因素，RSU的计算和缓存资源往往在空间和时间两个维度分布不均：轻负载的服务器资源会呈现闲置状态，造成资源浪费；过负载的服务器则不能够及时处理繁重的任务。

现有一种基于移动边缘计算的车联网数据驱动任务卸载系统和方法，包括：应用层、车辆层、MEC(Mobile Edge Computing，移动边缘计算)层和云层。应用层包括数据感知管理、ITS服务管理和道路安全管理；车辆层包括：感知车辆和计算车辆。感知车辆收集各类交通数据并卸载给计算服务器计算，计算车辆为V2V通信范围内的子任务提供计算服务；MEC层包括：MEC服务器和RSU，MEC服务器作为计算服务器和本地调度器部署在RSU附近；云层包括云服务器和主干网，车辆可以通过蜂窝接口将其子任务卸载到云服务器，降低了数据驱动任务的服务延迟及服务花费，并且任务卸载架构是分布式的，能够降低任务卸载调度的决策时间，提高资源的利用率。

然而，所有的任务处理都需要有相应配套的服务支撑，上述车联网数据驱动任务卸载系统和方法忽略了服务缓存的问题，假设MEC服务器可以不分类型地处理所有被卸载过来的任务，忽略了当车联网任务被卸载到车联网边缘节点时，能否被其卸载的移动边缘计算服务器处理的问题。

发明内容

本发明为解决如何保证车联网任务能够被卸载的移动边缘计算服务器进行处理的问题，在考虑RSU服务缓存的情况下，提出一种车联网任务卸载和服务缓存的联合优化方法及系统。

为解决上述技术问题，本发明的技术方案如下：

第一个方面，本发明提出一种车联网任务卸载和服务缓存的联合优化方法，包括以下步骤：

S1：构建车联网系统，所述车联网系统由若干个RSU和若干台车辆组成。

S2：确定车联网系统内待处理车辆应用的计算任务，所述RSU的MEC服务器上缓存有所述计算任务对应的服务。

S3：构建车辆任务卸载策略，将待处理车辆应用的计算任务卸载到邻近的缓存了相应服务的RSU上进行计算，得到卸载策略下的任务处理时延和车辆本地任务处理时延。

S4：构建RSU间的协同策略，在某个RSU完成接收到的计算任务后，将计算结果发送给其它RSU，令其它RSU执行后续任务的计算，得到协同策略下的任务处理时延。

S5：根据卸载策略下的任务处理时延、车辆本地任务处理时延和协同策略下任务处理时延，以最小化所有车辆分别完成其车辆应用的任务处理时延总和为目标设计车联网系统的目标函数，并根据所述目标函数对车联网系统进行优化求解，得到最佳的车辆任务卸载策略和RSU间的协同策略。

优选地，在车联网系统中，车辆在RSU的通信范围内向其邻近的RSU中的MEC服务器请求计算服务：m∈M′，n∈N'。

车联网系统由M个RSU和N台车辆组成，集合M'＝{1,2,...M}和集合N'＝{1,2,...N}分别表示车联网系统内的RSU和车辆。

定义变量

当

时，表示车辆n在t时刻处于RSUm的通信范围内。

规定在一个时间段t内，车辆只能处于某一个RSU的通信范围内，其公式如下所示：

优选地，S2中，所述车辆应用包含W个时序型任务w，其公式如下所示：

其中，ρ表示任务的数据量大小，μ表示任务所需的计算力，d表示任务的最大允许时延。

优选地，S2中，在RSU的MEC服务器上缓存任务对应的服务：

设S'＝{1,2,...,S}表示车联网系统提供的服务集合，缓存所述服务所需的存储空间为p_s。

定义RSU在t时刻的缓存策略为

当

时，表示RSUm上缓存了服务s。

对于每一个RSU，考虑其缓存资源限制，存在不等式：

其中，C_max表示RSU的最大缓存能力。

优选地，S3中，定义

表示车辆n在t时刻对任务w的卸载策略，定义常量v_w,s∈{0,1}，当v_w,s＝1时，表示任务w可以在服务s下运行。

当

时，表示任务w在t时刻被车辆n卸载到RSUm上进行计算。其中，卸载策略

满足：

表示车辆n在RSUm的通信范围内，且RSUm缓存的服务可以处理任务w。

此时，计算卸载策略下的任务处理时延T^offloading的步骤为：

A.计算卸载数据的上传速率r_m,n，其公式如下所示：

其中，h_n表示车辆的信道增益，B_n表示信道带宽，p_n表示车辆的传输功率，

表示V2R信道传输的噪声功率。

B.根据卸载数据的上传速率r_m,n，计算卸载策略下的任务处理时延T^offloading，其公式如下所示：

其中，F_n表示RSU中的MEC服务器分配给车辆的计算能力。

表示车辆与MEC服务器之间的数据传输时延，

表示MEC服务器的任务处理时延。

对于每一个RSU，考虑其计算能力限制，存在不等式：

其中，F_max表示RSU的最大计算能力。

当

时，表示在t时刻车辆n本地任务w。

优选地，当

时，车辆本地任务处理时延T^local的计算公式如下所示：

其中，f_n表示车辆n的计算能力，且f_n<<F_n。

优选地，所述RSU间的协同策略具体为：

定义变量

表示RSUm和RSUm'间在t时刻对于车辆n的协同策略，当

时，表示RSUm在t时刻选择将车辆n的任务计算结果发送给车辆轨迹对应的下一个RSUm'，变量

满足：

此时RSU间的协同计算时延T^{collaborative}为：

其中，r_m,m'表示RSU间的数据传输速率，i+1表示此时协同的RSU中服务器处理的已经是后续的任务。

优选地，S5中，所述车联网系统的目标函数的公式如下表示：

其中，α表示车辆的卸载策略向量，β表示RSU的策略向量。

优选地，S5中，使用深度强化学习的DQN算法优化车联网系统的目标函数，所述DQN算法具体包括以下步骤：

a.初始化经验回放池存储空间的大小、随机权重θ的动作-价值函数Q_θ(s_t,a_t)和目标动作价值函数

其中，

b.车联网系统在接收到车辆的任务w请求后，随机初始化当前的系统状态s₁及处理序列φ₁＝φ(s₁)；以贪婪率∈为概率随机选择a_t，否则使用深度Q网络遍历当前状态下的各种动作并选择潜在回报最大的动作

得到最优的卸载策略动作a₁和协同策略动作a₂；系统状态s_t包括任务和RSU的缓存策略L^(M,S)；

c.执行卸载策略动作a₁和协同策略动作a₂，与环境进行实时交互进入下一个状态s_t+1，并根据目标函数得到奖励值r_t；

d.将卸载策略动作a₁、协同策略动作a₂、系统状态s_t和奖励值r_t存放于经验回放池，同时深度Q网络从经验回放池中均匀随机抽样，构建误差函数，采用反向传播算法更新网络参数θ；

e.所述深度Q网络迭代至网络参数θ收敛，获得最佳的卸载策略和协同策略。

第二个方面，本发明提出一种车联网任务卸载和服务缓存的联合优化系统，应用于上述任一方案所述的车联网任务卸载和服务缓存的联合优化方法，包括：

车联网模块，所述车联网模块包括由若干个RSU和若干台车辆组成的车联网系统。

服务缓存模块，用于确定车联网系统内待处理车辆应用的计算任务，所述RSU的MEC服务器上缓存有所述计算任务对应的服务。

任务卸载模块，用于将待处理车辆应用的计算任务卸载到邻近的缓存了相应服务的RSU上进行计算，得到卸载策略下的任务处理时延和车辆本地任务处理时延。

RSU协同计算模块，用于构建RSU间的协同策略，在某个RSU完成接收到的计算任务后，将计算结果发送给其它RSU，令其它RSU执行后续任务的计算，得到协同策略下任务处理时延。

系统模型优化模块，用于优化车联网系统，最小化所有车辆分别完成其车辆应用的任务处理时延总和。

与现有技术相比，本发明技术方案的有益效果是：本发明通过在RSU的MEC服务器上缓存车联网系统内待处理车辆应用的计算任务所对应的服务，在已知MEC服务器的服务缓存情况下，构建并优化车辆任务卸载策略和RSU间的协同策略，有效地降低了车辆应用请求的完成总时延。

附图说明

图1为车联网任务卸载和服务缓存的联合优化方法的流程图。

图2为RSU间的协同策略的示意图。

图3为DQN算法的示意图。

图4为车联网任务卸载和服务缓存的联合优化系统的架构图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

请参阅图1，本实施例提出一种车联网任务卸载和服务缓存的联合优化方法，包括以下步骤：

S1：构建车联网系统，所述车联网系统由若干个RSU和若干台车辆组成。

S2：确定车联网系统内待处理车辆应用的任务，所述RSU的MEC服务器上缓存有任务对应的服务。

S3：构建车辆任务卸载策略，将待处理车辆应用的任务卸载到邻近的缓存了相应服务的RSU上进行计算，得到卸载策略下的任务处理时延和车辆本地任务处理时延。

S4：构建RSU间的协同策略，在某个RSU完成接收到的任务后，将计算结果发送给其它RSU，令其它RSU执行后续任务的计算，得到协同策略下任务处理时延。

S5：根据卸载策略下的任务处理时延、车辆本地任务处理时延和协同策略下任务处理时延，设计车联网系统的目标函数并优化车联网系统，最小化所有车辆完成一个车辆应用的任务处理时延总和。

本实施例通过在RSU的MEC服务器上缓存车联网系统内待处理车辆应用的计算任务所对应的服务，在已知MEC服务器的服务缓存情况下，构建并优化车辆任务卸载策略和RSU间的协同策略，有效地降低了车辆应用请求的完成总时延。

实施例2

本实施例提出一种车联网任务卸载和服务缓存的联合优化方法，包括以下步骤：

S1：构建车联网系统，本实施例构建的车联网系统由M个RSU和N台车辆组成，集合M'＝{1,2,...M}和集合N'＝{1,2,...N}分别表示车联网系统内的RSU和车辆；RSU分布在城市中的不同区域，并配置了MEC服务器为其相应区域内的车辆提供计算服务，不同的RSU之间通过高速有线网络直接互联，可实现协同计算。在车联网系统中，车辆在RSU的通信范围内向其邻近的RSU中的MEC服务器请求计算服务：

本实施例中，定义变量

当

时，表示车辆n在t时刻处于RSUm的通信范围内；m∈M′，n∈N'；当

时，表示车辆n在t时刻处于RSUm的通信范围外。

规定在一个时间段t内，车辆只能处于某一个RSU的通信范围内，其公式如下所示：

从t到t+1时刻，车辆有一定的概率p离开当前RSU的通信范围。

S2：确定车联网系统内待处理车辆应用的计算任务，所述RSU的MEC服务器上缓存有所述计算任务对应的服务：

本实施例处理车辆应用如模式识别和交通状况建模等。所述车辆应用包含W个相互依赖时序型任务w，其公式如下所示：

其中，ρ表示任务的数据量大小，μ表示任务所需的计算力，d表示任务的最大允许时延。

同时考虑任务w_i的时序性，令I(w+1)＝O(w)，其中，O(w)表示任务w的输出，I(w+1)表示后续任务的输入。为了方便后续构建系统目标函数，分别引入两个伪任务w₀和w_W+1，并设置ρ₀＝ρ_W+1＝0，μ₀＝μ_W+1＝0，d₀＝d_W+1＝∞。

每台车辆本地计算能力并不相同，本实施例采用不同的起始任务来表达这种差异，当车辆开始请求MEC服务器处理任务时，该任务的前向所有任务已经在车端本地完成了计算。

所有的任务处理都需要有配套的服务支撑，这意味着任务只能被卸载到配置了相应服务的边缘服务器上，所以需要在RSU的MEC服务器上缓存任务对应的服务：

设S'＝{1,2,...,S}表示车联网系统提供的服务集合，缓存所述服务所需的存储空间为p_s；

定义RSU在t时刻的缓存策略为

当

时，表示RSUm上缓存了服务s；当

时，表示RSUm上没有缓存相应的服务s。

车联网系统内RSU的缓存策略用M×S矩阵L^(M,S)表示；

对于每一个RSU，考虑其缓存资源限制，存在不等式：

其中，C_max表示RSU的最大缓存能力，p_s表示。

S3：构建车辆任务卸载策略，将待处理车辆应用的计算任务卸载到邻近的缓存了相应服务的RSU上进行计算，得到卸载策略下的任务处理时延和车辆本地任务处理时延：

定义

表示车辆n在t时刻对任务w的卸载策略；定义常量v_w,s∈{0,1}，当v_w,s＝1时，表示任务w可以在服务s下运行；当v_w,s＝0时，表示任务w无法在服务s下运行。

当

时，表示任务w在t时刻被车辆n卸载到RSUm上进行计算；其中，卸载策略

满足：

表示车辆n在RSUm的通信范围内，且RSUm缓存的服务可以处理任务w；若

不满足以上条件，车辆只能在本地任务，或者等待RSU从更远的云端请求服务。

此时，计算卸载策略下的任务处理时延T^offloading的步骤为：

A.计算卸载数据的上传速率r_m,n，其公式如下所示：

其中，h_n表示车辆的信道增益，B_n表示信道带宽，p_n表示车辆的传输功率，

表示V2R信道传输的噪声功率；

B.根据卸载数据的上传速率r_m,n，计算卸载策略下的任务处理时延T^offloading，其公式如下所示：

其中，F_n表示RSU中的MEC服务器分配给车辆的计算能力；

表示车辆与MEC服务器之间的数据传输时延，

表示MEC服务器的任务处理时延。

RSU任务的数据量包括输入数据量和输出数据量，数据量是数据所占的空间，单位是比特(bit)。一般来说，任务的输出数据量要比输入数据量小一至多个数量级，输出数据量对整体任务处理时延的影响可以忽略。因此，卸载策略下的任务处理时延T^offloading由车辆与MEC服务器之间的数据传输时延和MEC服务器的任务处理时延组成。

对于每一个RSU，考虑其计算能力限制，存在不等式：

其中，F_max表示RSU的最大计算能力。

当

时，表示在t时刻车辆n本地任务w，此时车辆本地任务处理时延T^local仅有所需计算能力μ_i和车辆的计算能力决定，其计算公式如下所示：

其中，f_n表示车辆n的计算能力，且f_n<<F_n。

S4：构建RSU间的协同策略，在某个RSU完成接收到的计算任务后，将计算结果发送给其它RSU，令其它RSU执行后续任务的计算，得到协同策略下的任务处理时延：

假定在同一个时刻t内，RSU之间只完成一次计算协同。

定义变量

表示RSUm和RSUm'间在t时刻对于车辆n的协同策略，当

时，表示RSUm在t时刻选择将车辆n的任务计算结果发送给车辆轨迹对应的下一个RSUm'，变量

满足：

此时RSU间的协同计算时延T^{collaborative}为：

其中，r_m,m'表示RSU间的数据传输速率，i+1表示此时协同的RSU中服务器处理的已经是后续的任务。

如图2所示，图2为RSU间的协同策略的示意图，当车辆在RSUm的覆盖范围内有任务请求时，可以通过V2R通信将任务发送给RSUm。RSUm使用其缓存的相应服务完成计算后，结合车辆的轨迹和相邻RSU的服务缓存情况，将任务结果通过R2R通信传送给RSU_m+1，让其完成后续的任务处理，再有RSU_m+1将计算结果返回给车辆。

S5：根据卸载策略下的任务处理时延、车辆本地任务处理时延和协同策略下任务处理时延，以最小化所有车辆分别完成其车辆应用的任务处理时延总和为目标设计车联网系统的目标函数，并根据所述目标函数对车联网系统进行优化求解，得到最佳的车辆任务卸载策略和RSU间的协同策略。

本实施例中，设计车联网系统的目标函数为：

其中，α表示车辆的卸载策略向量，β表示RSU的策略向量。

所述目标函数包括以下约束条件：

C1：

C2：

C3：

C4：

C5：

本实施例将车辆任务卸载策略和RSU协同策略用布尔函数表示，将问题转化为0-1规划问题，在考虑RSU中MEC服务器的服务缓存的情况下，对动态的多车辆任务卸载策略进行了优化，同时考虑了车辆任务的时序性，通过RSU将处理好的任务结果直接发送给车辆轨迹路线上的下一个RSU，作为下一个任务的输入，有效地避免了服务器的过负载，减少V2R之间的传输次数，降低任务处理的时间成本和失误率，减少了车辆应用请求的完成总时延。

实施例3

本实施例提出一种车联网任务卸载和服务缓存的联合优化方法，包括使用深度强化学习的DQN算法优化车联网系统的目标函数

如图3所示，图3为DQN算法的示意图，具体包括以下步骤：

a.初始化经验回放池存储空间的大小、随机权重θ的动作-价值函数Q_θ(s_t,a_t)和目标动作价值函数

其中，

b.车联网系统在接收到车辆的任务w请求后，随机初始化当前的系统状态s₁及处理序列φ₁＝φ(s₁)；以贪婪率∈为概率随机选择a_t，否则使用深度Q网络遍历当前状态下的各种动作并选择潜在回报最大的动作

得到最优的卸载策略动作a₁和协同策略动作a₂；系统状态s_t包括任务和RSU的缓存策略L^(M,S)；

c.执行卸载策略动作a₁和协同策略动作a₂，与环境进行实时交互进入下一个状态s_t+1，并根据目标函数得到奖励值r_t；

d.将卸载策略动作a₁、协同策略动作a₂、系统状态s_t和奖励值r_t存放于经验回放池，同时深度Q网络从经验回放池中均匀随机抽样，构建误差函数，采用反向传播算法更新网络参数θ；

e.所述深度Q网络迭代至网络参数θ收敛，获得最佳的卸载策略和协同策略。

通过求出车辆任务卸载策略和RSU协同策略的最优值可以求解目标函数所示的优化问题。该问题是一个混合整数非线性的NP-Hard问题，随着车辆终端数量以及任务大小的增加，该问题的计算复杂度也会迅速增加。若使用传统的数值优化方法来解决此问题会相对困难。DQN算法核心思想是使用神经网络替代Q表存储信息，这样更适用于高维的情况，以达到系统内车辆完成一个应用的时延总和最小化。

DQN使用神经网络来近似动作-价值函数，通过Q网络遍历当前状态下的各种动作与环境进行实时交互，其动作、状态值、奖励值存放于经验回放池中。通过Q学习算法经历多个迭代过程来反复训练Q网络，最后得到最佳卸载策略。同时，DQN在原来的Q网络的基础上又引入了一个目标Q网络，它和原来的Q网络结构一样，初始的权重也一样，只是原来的Q网络每次迭代都会更新，而目标Q网络是每隔一段时间才会更新，这样可以减少目标Q值和当前Q值的相关性，提高算法的效率。本实施例使用深度强化学习中的DQN算法求解目标函数所示的优化问题，获得最佳的卸载和协同策略，在空间-时间动态变化的环境中能够根据过去的经验实现策略自我更新，实现了在满足任务处理时延约束的前提下最小化所有任务的总时延和计算的失败率，从而有效降低应用请求完成时间，提高车辆终端用户的使用体验。

实施例4

本实施例提出一种车联网任务卸载和服务缓存的联合优化系统，应用于上述实施例提出的车联网任务卸载和服务缓存的联合优化方法中，包括车联网模块、服务缓存模块、任务卸载模块、RSU协同计算模块和系统模型优化模块；所述车联网模块包括由若干个RSU和若干台车辆组成的车联网系统。

在具体实施过程中，服务缓存模块确定车联网系统内待处理车辆应用的计算任务，所述RSU的MEC服务器上缓存有所述计算任务对应的服务；任务卸载模块构建车辆任务卸载策略，将待处理车辆应用的任务卸载到邻近的缓存了相应服务的RSU上进行计算，得到卸载策略下的任务处理时延和车辆本地任务处理时延；RSU协同计算模块构建RSU间的协同策略，在某个RSU完成接收到的任务后，将计算结果发送给其它RSU，令其它RSU执行后续任务的计算，得到协同策略下任务处理时延；系统模型优化模块根据卸载策略下的任务处理时延、车辆本地任务处理时延和协同策略下任务处理时延，设计车联网系统的目标函数并优化车联网系统，最小化所有车辆分别完成其车辆应用的任务处理时延总和。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种车联网任务卸载和服务缓存的联合优化方法，其特征在于，包括以下步骤：

S1：构建车联网系统，所述车联网系统由若干个RSU和若干台车辆组成；

S2：确定车联网系统内待处理车辆应用的计算任务，所述RSU的MEC服务器上缓存有所述计算任务对应的服务；

S3：构建车辆任务卸载策略，将待处理车辆应用的计算任务卸载到邻近的缓存了相应服务的RSU上进行计算，得到卸载策略下的任务处理时延和车辆本地任务处理时延；

S4：构建RSU间的协同策略，在某个RSU完成接收到的计算任务后，将计算结果发送给其它RSU，令其它RSU执行后续任务的计算，得到协同策略下的任务处理时延；

S5：根据卸载策略下的任务处理时延、车辆本地任务处理时延和协同策略下任务处理时延，以最小化所有车辆分别完成其车辆应用的任务处理时延总和为目标设计车联网系统的目标函数，并根据所述目标函数对车联网系统进行优化求解，得到最佳的车辆任务卸载策略和RSU间的协同策略。

2.根据权利要求1所述的车联网任务卸载和服务缓存的联合优化方法，其特征在于，在车联网系统中，车辆在RSU的通信范围内向其邻近的RSU中的MEC服务器请求计算服务：

车联网系统由M个RSU和N台车辆组成，集合M'＝{1,2,...M}和集合N'＝{1,2,...N}分别表示车联网系统内的RSU和车辆；

定义变量

当

时，表示车辆n在t时刻处于RSUm的通信范围内；m∈M′，n∈N'；

规定在一个时间段t内，车辆只能处于某一个RSU的通信范围内，其公式如下所示：

3.根据权利要求2所述的车联网任务卸载和服务缓存的联合优化方法，其特征在于，S2中，所述车辆应用包含W个时序型任务w，其公式如下所示：

其中，ρ表示任务的数据量大小，μ表示任务所需的计算力，d表示任务的最大允许时延。

4.根据权利要求3所述的车联网任务卸载和服务缓存的联合优化方法，其特征在于，S2中，在RSU的MEC服务器上缓存任务对应的服务：

设S'＝{1,2,...,S}表示车联网系统提供的服务集合，缓存所述服务所需的存储空间为p_s；

定义RSU在t时刻的缓存策略为

当

时，表示RSUm上缓存了服务s；

对于每一个RSU，考虑其缓存资源限制，存在不等式：

其中，C_max表示RSU的最大缓存能力。

5.根据权利要求4所述的车联网任务卸载和服务缓存的联合优化方法，其特征在于，S3中，定义

表示车辆n在t时刻对任务w的卸载策略；定义常量v_w,s∈{0,1}，当v_w,s＝1时，表示任务w可以在服务s下运行；

当

时，表示任务w在t时刻被车辆n卸载到RSUm上进行计算；其中，卸载策略

满足：

表示车辆n在RSUm的通信范围内，且RSUm缓存的服务可以处理任务w；

此时，计算卸载策略下的任务处理时延T^offloading的步骤为：

A.计算卸载数据的上传速率r_m,n，其公式如下所示：

其中，h_n表示车辆的信道增益，B_n表示信道带宽，p_n表示车辆的传输功率，

表示V2R信道传输的噪声功率；

B.根据卸载数据的上传速率r_m,n，计算卸载策略下的任务处理时延T^offloading，其公式如下所示：

其中，F_n表示RSU中的MEC服务器分配给车辆的计算能力；

表示车辆与MEC服务器之间的数据传输时延，

表示MEC服务器的任务处理时延；

对于每一个RSU，考虑其计算能力限制，存在不等式：

其中，F_max表示RSU的最大计算能力；

当

时，表示在t时刻车辆n本地任务w。

6.根据权利要求5所述的车联网任务卸载和服务缓存的联合优化方法，其特征在于，当

时，车辆本地任务处理时延T^local的计算公式如下所示：

其中，f_n表示车辆n的计算能力，且f_n<<F_n。

7.根据权利要求5所述的车联网任务卸载和服务缓存的联合优化方法，其特征在于，所述RSU间的协同策略具体为：

定义变量

表示RSUm和RSUm'间在t时刻对于车辆n的协同策略，当

时，表示RSUm在t时刻选择将车辆n的任务计算结果发送给车辆轨迹对应的下一个RSUm'，变量

满足：

此时RSU间的协同计算时延T^{collaborative}为：

其中，r_m,m'表示RSU间的数据传输速率，i+1表示此时协同的RSU中服务器处理的已经是后续的任务。

8.根据权利要求7所述的车联网任务卸载和服务缓存的联合优化方法，其特征在于，S5中，所述车联网系统的目标函数的公式如下表示：

其中，α表示车辆的卸载策略向量，β表示RSU的策略向量。

9.根据权利要求1-8任一项所述的车联网任务卸载和服务缓存的联合优化方法，其特征在于，S5中，使用深度强化学习的DQN算法优化车联网系统的目标函数，所述DQN算法具体包括以下步骤：

a.初始化经验回放池存储空间的大小、随机权重θ的动作-价值函数Q_θ(s_t,a_t)和目标动作价值函数

其中，

b.车联网系统在接收到车辆的任务w请求后，随机初始化当前的系统状态s₁及处理序列φ₁＝φ(s₁)；以贪婪率∈为概率随机选择a_t，否则使用深度Q网络遍历当前状态下的各种动作并选择潜在回报最大的动作

得到最优的卸载策略动作a₁和协同策略动作a₂；系统状态s_t包括任务和RSU的缓存策略L^(M,S)；

c.执行卸载策略动作a₁和协同策略动作a₂，与环境进行实时交互进入下一个状态s_t+1，并根据目标函数得到奖励值r_t；

d.将卸载策略动作a₁、协同策略动作a₂、系统状态s_t和奖励值r_t存放于经验回放池，同时深度Q网络从经验回放池中均匀随机抽样，构建误差函数，采用反向传播算法更新网络参数θ；

e.所述深度Q网络迭代至网络参数θ收敛，获得最佳的卸载策略和协同策略。

10.一种车联网任务卸载和服务缓存的联合优化系统，应用于权利要求1-9任一项所述的车联网任务卸载和服务缓存的联合优化方法中，其特征在于，包括：

车联网模块，所述车联网模块包括由若干个RSU和若干台车辆组成的车联网系统；

服务缓存模块，用于确定车联网系统内待处理车辆应用的计算任务，所述RSU的MEC服务器上缓存有所述计算任务对应的服务；

任务卸载模块，用于将待处理车辆应用的计算任务卸载到邻近的缓存了相应服务的RSU上进行计算，得到卸载策略下的任务处理时延和车辆本地任务处理时延；

RSU协同计算模块，用于构建RSU间的协同策略，在某个RSU完成接收到的计算任务后，将计算结果发送给其它RSU，令其它RSU执行后续任务的计算，得到协同策略下任务处理时延；

系统模型优化模块，用于优化车联网系统，最小化所有车辆分别完成其车辆应用的任务处理时延总和。

Images