CN113344255A - 基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法 - Google Patents

Abstract

本发明公开了基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法，通过构建计算模型、缓存模型和区块链模型，计算车辆本地计算和卸载计算的能耗和开销，供应商内容交付的传输能耗，以及区块链中数据吞吐量和共识过程产生的能耗和开销，从而通过训练深度神经网络，指导调整车辆任务卸载决策、内容缓存决策、共识节点卸载数目、区块间隔和区块尺寸，完成场景内的最优资源分配。本发明克服了车载单元计算和供应商内容交付能耗过高、计费数据安全、区块链中数据吞吐量低以及系统开销高等问题。仿真实验表明，本发明在节省系统能耗、计算开销以及提高区块链中数据吞吐量方面具有一定的优势。

Description

基于移动边缘计算和区块链的车载网络应用数据传输和计费 优化方法

技术领域

本发明涉及一种车联网中基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法，通过采用深度强化学习算法，设计一种车载应用内容传输和交易数据在区块链系统共识过程中，通过优化资源分配策略，有效减少系统能耗和计算开销并提高区块链系统数据吞吐量的决策优化方法，属于移动通信技术领域。

背景技术

近年来，随着新一代移动通信技术的快速发展，车联网因其在促进智能交通和智慧城市发展方面的潜在价值而受到世界范围内的广泛关注。技术上，车联网可以实现车辆与路边基础设施的互联。通过安装在车辆上的车载单元(on-board unit,OBU)，它可以为安全、交通管理和娱乐生活等方面提供各种多媒体内容的应用，包括道路交通预警、收费信息反馈、路径规划和娱乐供应(如在线视频、社交网络等)。

在车载网络中，车辆与云服务器之间的距离相对较长，回程链路的容量有限，这对于在支持供应商内容交付的同时满足车联网中移动设备的低延迟任务计算要求提出了巨大的挑战。另一方面，随着车辆用户服务需求的不断提高，涉及的支付内容增多，确保计费数据的安全性和私密性至关重要。然而，由于不同的基站由不同的供应商运营，基站之间的数据交互存在信任问题。此外，OBU的移动性和请求的数据类型的多样性使得计费信息更容易被泄露或操纵。攻击者会跟踪基站返回给用户的交易结果，并可能利用易受攻击的OBU对用户进行监控，或获得车辆数据和位置隐私等信息。

为应对装载在车辆上的OBU计算能力低、供应商内容交付时间长的问题，移动边缘计算(mobile edge computing,MEC)被认为是一种关键技术。它可以将具有一定计算资源和缓存资源的基站用作网络边缘接入点，以在网络边缘协同任务计算和内容缓存。并且，相比于集中式的云计算，MEC的分布式结构拥有低时延、低计算开销以及低能耗等优势。在MEC系统的资源分配、卸载策略和协同合作等方面已进行了大量的研究。尽管许多现有工作已经在MEC的应用下完成，但是，MEC系统中用户支付服务请求所涉及的收费信息的安全和隐私问题应该得到关注和解决。

对此，区块链(blockchain)技术可以用来解决交易中的隐私和安全问题。与传统的依赖于可信第三方的数字分类账方法不同，区块链是一个不需基于彼此信任、也不需依赖单一中心化机构就能够运作的分散式系统。它具有去中心化，匿名性和防篡改的特征。区块链可以广泛应用于电力市场交易和其他交易场景，有效保证了交易数据记录和存储的真实性和安全性。并且，由于MEC和区块链相同的去中心化特征和相互依赖的功能，MEC的分布式结构也能够支持区块链过程产生的任务计算，这使它们的组合变得更加自然。

然而，MEC和区块链在车载网络中的联合应用仍然面临着巨大的挑战。例如，MEC服务器不仅需要处理车辆用户请求的计算任务，还要处理区块链系统共识过程的任务，这使得系统的设计更加复杂化。另一个问题是如何在提高交易吞吐量的同时保持区块链系统的安全性。并且，由于每个区块链节点的计算量不同，节点不同的卸载决策如何平衡系统的能耗和计算开销也是一个需要考虑的问题。此外，考虑应该根据什么衡量指标来选择需要缓存到边缘的内容。因此，在设计系统时，应该仔细考虑这些问题。

同时，针对车载应用传输计费系统中环境状态的高动态性、高维度性等特点，近年来，深度强化学习(deep reinforcement learning,DRL)逐渐替代强化学习成为一类热门高效的优化方法。强化学习是一个智能体周期性地做出决策，观察结果，然后自动调整策略以达到最优策略的学习过程。DRL融合了深度神经网络的优点，从而解决了在复杂和大规模的网络中强化学习可能无法在合理的时间内找到最优策略的不足。因此，DRL被广泛应用于强化学习的实践中，如机器人、计算机视觉、语音识别、自然语言处理等。然而，当前对车载应用传输计费系统的相关研究十分欠缺，如何针对该系统的能耗、计算开销和数据吞吐量的性能优化问题，使用DRL来进行解决，仍需要仔细斟酌。

综上所述，本发明面向车联网场景中车辆计算任务卸载、供应商缓存决策以及数据区块链共识和计算卸载等问题，提出一种基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法，通过联合考虑场景下车辆和服务器的状态以及内容流行度，同时优化系统的能量消耗和计算开销，并显著提高区块链系统的数据吞吐量，进而有效进行车载应用内容的快速传输和计费数据的可靠存储。

发明内容

本发明的主要目的是在场景内资源优化分配最优的角度上，考虑场景内存在多移动车辆、多路边单元(road side units,RSUs)、多基站、多MEC服务器、多供应商和单个云计算服务器的情况下，以降低系统能耗、计算开销和提高区块链中数据吞吐量为优化目标，对场景进行建模，并应用DRL算法对模型进行迭代学习，获得节能、低开销且高吞吐量的最优资源分配策略。本方法解决了在场景下存在多移动车辆、多RSUs、多基站、多MEC服务器、多供应商和单个云计算服务器的情况下，如何确定最优资源分配策略的问题，并通过执行最优资源分配策略有效降低系统能耗、计算开销，并提高区块链系统的数据吞吐量，进而有效进行车载应用内容的快速传输和计费数据的可靠存储。

本发明所适应的多车辆环境场景模型见图1。

本发明技术方案中的系统运行原理流程图见图2。

本发明系统总能耗与车辆数量关系图见图3。

本发明系统总计算开销与车辆数量关系图见图4。

本发明区块链系统的数据吞吐量与平均交易大小关系图见图5。

本发明的多车辆环境场景模型如图1所示，基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法，在某个通信场景下，存在V个移动车辆和能够覆盖所有车辆的R个RSUs，同时，存在B个供应商运营的B个基站，每个基站配备1个MEC服务器并覆盖多个RSUs，此外，还存在1个由基站形成的区块链系统和1个用于支持区块链共识过程的云计算服务器。当已知移动车辆数量后，根据实际环境情况设置计算模型、缓存模型和区块链模型。而后构造DRL中的状态空间、动作空间和奖励函数，并设置训练网络中的策略参数、值函数参数、网络层数等参数，结合场景模型进行迭代学习，训练深度神经网络，用以异步更新全局参数。最后执行智能体通过与环境的相互作用学习到的最优资源分配策略，从而有效降低车载应用内容传输和计费数据存储过程中产生的能耗、计算开销，并提高区块链系统的数据吞吐量。具体依次按以下步骤实现：

步骤(1)，车辆请求过程产生计算任务，将任务进行处理，具体步骤如下：

通信场景中存在V个请求服务的车辆，在一段时间t∈{1,2,...,T}，T为任意车辆没有足够的能量来工作的时刻，车辆选择在本地执行计算任务

时，产生的处理能耗e_n1表示为：

e_n1＝k(F_l)²c_n

其中，k根据实际测量值设为10^-27，F_l为车辆的CPU计算能力，c_n为完成计算任务n所需的CPU周期，因车辆在本地处理任务，不产生计算开销，对应的，车辆选择将计算任务n通过RSU转发至MEC服务器处理时，忽略RSU和MEC服务器之间的极小传输能耗，产生的能耗e_n2表示为：

其中，p_n为车辆的传输功率，d_n为计算任务数据大小，r_n,r为车辆与RSU间的传输速率，p_b为MEC服务器的计算功率，F₁为MEC服务器的计算能力，对此，根据两种处理情况计算所有N个车辆请求，产生的能耗E_n表示为：

其中，a_n＝{0,1}为计算任务n的卸载决策，当a_n＝0时，计算任务n在本地执行，否则，计算任务n被卸载到边缘，同时，处理N个计算任务而产生的计算开销O_n表示为：

其中，ξ_F1是单位时间内计算能力F₁对应的价格；

步骤(2)，车辆的请求内容由供应商提供，内容m∈M＝{1,2,...,M}缓存到部署在供应商附近的基站时，忽略基站和RSU之间的极小传输能耗，产生的传输能耗e_m1表示为：

其中，p_m为RSU的传输功率，S为内容大小，r_m,v为RSU和车辆间的传输速率，对应的，内容m尚未缓存到基站时，结合内容m的内容流行度

产生的传输能耗e_m2表示为：

其中，p_r为基站的传输功率，t_r为基站向供应商发送内容请求并向后返回结果数据的往返时间成本，对此，根据两种情况传输所有M个内容，产生的能耗E_m表示为：

其中，a_m＝{0,1}是内容m的缓存决策，当a_m＝0时，内容m已经缓存到基站，否则，内容m还不存在于基站；

步骤(3)，区块链系统的共识节点对车辆用户请求计费内容后产生的交易数据进行验证和共识，具体步骤如下：

步骤(3.1)，共识节点采用实用拜占庭容错共识机制对区块和交易进行验证共识，生成或验证一个签名、生成或验证一个消息验证码所需的CPU周期分别为α和β，各共识节点完成一次共识过程所需的总计算周期C为：

其中，f为最多可容纳的错误节点数量，f＝(B-1)/3，g为主节点发送验证正确交易比例，d为总交易大小，δ为平均交易大小，B为区块链系统中的共识节点数量；

步骤(3.2)，共识节点的验证过程由MEC服务器和云服务器提供算力支持，共识过程的能耗E_c表示为：

其中，k∈{0,1,...,B}为卸载到云计算服务器执行共识计算任务的节点数，r_m,c为MEC服务器和云计算服务器间的传输速率，p_c为云计算服务器的计算功率，F₂为云计算服务器的计算能力，同时，节点共识过程产生的计算开销O_c表示为：

其中，T_i为区块间隔，ξ_F2为单位时间内计算能力F₂对应的价格，同时，区块链系统的交易数据吞吐量ψ表示为：

其中，s为生成块的大小，区块链共识过程的时延t_c表示为：

其中，t_b为节点间的广播时延；

步骤(3.3)，场景下车载应用内容传输和计费数据存储过程产生的能耗E表示为：

E＝E_n+E_m+E_c

产生的计算开销O表示为：

O＝O_n+O_c

由此计算出系统加权消耗成本W表示为：

W＝ω₁·E+ω₂·O

其中，ω₁和ω₂分别为能耗和计算开销的加权系数；

步骤(4)，根据步骤(1)-(3)，结合场景和优化目标，设置DRL中的状态空间、动作空间和奖励函数，具体步骤如下：

步骤(4.1)，根据场景内装载在车辆上的OBUs能量G(t)＝{g₁(t),g₂(t),...,g_V(t)}、MEC服务器的计算资源F₁(t)＝{f₁(t),f₂(t),...,f_B(t)}、云计算服务器的计算资源F₂(t)、B个MEC服务器和单个云计算服务器的计算资源对应的单价

以及内容流行度

的动态变化，设置状态空间：

步骤(4.2)，根据场景内车辆数量、支持车辆请求服务过程和区块链共识过程的MEC服务器数量和云计算服务器数量，设置动作空间：

A(t)＝{a_n(t),a_m(t),k(t),T_i(t),s(t)}

其中，a_n(t)＝{0,1}为车辆请求过程计算任务的卸载决策动作，a_m(t)＝{0,1}为内容的缓存决策动作，k(t)∈{0,1,...,B}为选择共识过程卸载计算任务到云计算服务器的节点数动作，T_i(t)∈{0.2,0.5,...,I}为调整区块间隔动作，s(t)∈{1,2,...,S}为调整区块尺寸动作；

步骤(4.3)，根据优化目标，设置奖励函数：

s.t.C1:

C2:t_c(t)≤ε×T_i(t)

C3:d(t)≤s(t)

其中，μ为系统消耗成本的加权系数，

为OBUs能量的最小值，ε＞1为时限系数，C₁表示OBUs能量限制，C₂表示区块完成时限，C₃表示共识过程中总交易大小限制，

为惩罚值，表示为：

其中，p是惩罚系数，

是车辆用户经常请求的内容集合，

是根据内容流行度缓存的内容集合；

步骤(5)，根据步骤(4)中构建的状态空间、动作空间和奖励函数，设置策略参数、值函数参数以及网络层数，对深度神经网络进行训练，用于估计优势函数：

其中，R_t为折扣累计收益，V(s_t；θ_v)为价值函数的估计，k可以随着状态的变化而变化，上限为局部最大迭代次数t_max，γ∈(0,1]为折扣因子，r_t+i为即时奖励，根据得到的优势估计引导策略函数参数θ′的本地累计梯度更新，表示为：

其中，π(a_t|s_t；θ)为随机策略，β为控制熵正则化项强度的超参数，H(π(s_t；θ))为策略π的熵，根据RMSProp算法异步更新全局参数θ，表示为：

其中，η为学习效率，g为RMSProp下的梯度估计值，∈是小正数，通过不断更新全局策略函数参数θ，逐渐将随机策略调整到最优策略；

步骤(6)，根据步骤(5)中训练完成的深度神经网络在各状态下得到可选动作的最优策略，将策略生成的动作作为该状态下的最优动作，持续执行各状态的最优动作，直至执行指令结束。

本发明的优势在于，在具有多移动车辆、多服务器的通信场景下，通过考虑各装载在车辆上的OBUs能量、各服务器的计算资源和其计算资源对应的单价以及内容流行度，使工作周期内系统能耗和计算开销的加权成本有效减少，并提高了区块链系统的数据吞吐量。通过仿真实验考察基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法对场景中系统能耗和计算开销的加权成本、区块链中数据吞吐量的影响。

附图说明

图1，通信场景模型包含移动车辆、RSUs、基站、MEC服务器、供应商、云计算服务器和区块链系统的结构示意图。

图2，基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法设计流程图。

图3，系统总能耗与车辆数量关系图，图中菱形表示本发明所述方法，五边形表示无内容缓存决策框架，上三角表示无车辆请求计算任务卸载决策框架，五角星表示现有框架。

图4，系统总计算开销与车辆数量关系图，图中菱形表示本发明所述方法，方形表示固定区块间隔框架，下三角表示所有共识节点卸载框架，五角星表示现有框架。

图5，区块链系统的数据吞吐量与平均交易大小关系图，图中菱形表示本发明所述方法，圆形表示固定区块尺寸框架，方形表示固定区块间隔框架，五角星表示现有框架。

具体实施方式

下面结合附图和实例对基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法的技术方案做进一步说明。

本发明所述方法流程图如图2所示，包括以下步骤：

步骤一，系统初始化，设定车辆数量、用于服务车辆请求和区块链共识过程的服务器数量以及服务器计算能力、基站传输速率；

步骤二，根据系统实际情况，计算车辆处理计算任务的能耗e_n1、卸载计算任务产生的处理能耗e_n2、处理所有车辆请求的计算任务产生的能耗E_n和开销O_n，已缓存在基站的内容发送到车辆的传输能耗e_m1、尚未缓存到基站的内容发送到车辆的传输能耗e_m2、所有被请求的内容发送到车辆的传输能耗E_m、区块链系统的共识能耗E_c和共识开销O_c以及区块链系统的数据吞吐量ψ；

步骤三，根据优化目标，设置DRL算法的状态空间S(t)，动作空间A(t)和奖励函数r(t)；

步骤四，根据DRL算法解决联合优化问题，设置深度神经网络层数、策略参数和值函数参数；

步骤五，训练深度神经网络近似优势函数，并通过优势估计引导策略参数的本地累计梯度更新，再根据RMSProp算法异步更新全局参数；

步骤六，根据各状态下得到的最优策略选择最优动作，获得最大收益。

图3为系统总能耗与车辆数量关系图。由图3可知，当车辆数量增加时，由于产生的服务请求计算任务量增加，系统能耗也随之增加。本发明所述方法对应的系统能耗始终低于其余方法，且当消耗相同系统能量时，在本发明所述方法下可服务更多车辆。例如，当车辆数量为70时，本发明所述方法对应的系统能耗仅为361J，而其余方法对应的系统能耗最高达到829J。

图4为系统总计算开销与车辆数量关系图。由图4可知，系统计算开销随着车辆数量的增加而增加。当车辆数量为30时，本发明所述方法对应的计算开销低达612，而其余方法最低计算开销达到638。可以得出，系统总计算开销与车辆数量有关，随着车辆数量增加，系统共识过程产生的计算任务变重，使得服务器消耗的计算资源变多，从而增加了系统的计算开销，但基于本发明所述方法优化后的计算开销始终低于基于其他方法的情况。

图5为区块链系统的数据吞吐量与平均交易大小关系图。由图5可知，当平均交易量为100B时，本发明所述方法对应的区块链中数据吞吐量可达360TPS，而其余方法最多达到的数据吞吐量仅为280TPS。可以得出，区块链系统的数据吞吐量与平均交易大小有关，当平均交易量增加时，一个区块包含的交易数目变少，数据吞吐量会随之降低，但基于本发明所述方法优化后的数据吞吐量始终高于基于其他方法的情况。

Claims (7)

1.基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法，其特征在于：该方法包括如下步骤，步骤一，系统初始化，设定车辆数量、用于服务车辆请求和区块链共识过程的服务器数量以及服务器计算能力、基站传输速率；

步骤二，根据系统实际情况，计算车辆处理计算任务的能耗e_n1、卸载计算任务产生的处理能耗e_n2、处理所有车辆请求的计算任务产生的能耗E_n和开销O_n，已缓存在基站的内容发送到车辆的传输能耗e_m1、尚未缓存到基站的内容发送到车辆的传输能耗e_m2、所有被请求的内容发送到车辆的传输能耗E_m、区块链系统的共识能耗E_c和共识开销O_c以及区块链系统的数据吞吐量ψ；

步骤三，根据优化目标，设置DRL算法的状态空间S(t)，动作空间A(t)和奖励函数r(t)；

步骤四，根据DRL算法解决联合优化问题，设置深度神经网络层数、策略参数和值函数参数；

步骤五，训练深度神经网络近似优势函数，并通过优势估计引导策略参数的本地累计梯度更新，再根据RMSProp算法异步更新全局参数；

步骤六，根据各状态下得到的最优策略选择最优动作，获得最大收益。

2.根据权利要求1所述的基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法，其特征在于：步骤一中，车辆请求过程产生计算任务，将任务进行处理，具体步骤如下：

通信场景中存在V个请求服务的车辆，在一段时间t∈{1,2,...,T}，T为任意车辆没有足够的能量来工作的时刻，车辆选择在本地执行计算任务n∈N＝{1,2,...,N}时，产生的处理能耗e_n1表示为：

e_n1＝k(F_l)²c_n

其中，k根据实际测量值设为10^-27，F_l为车辆的CPU计算能力，c_n为完成计算任务n所需的CPU周期，因车辆在本地处理任务，不产生计算开销，对应的，车辆选择将计算任务n通过RSU转发至MEC服务器处理时，忽略RSU和MEC服务器之间的极小传输能耗，产生的能耗e_n2表示为：

其中，p_n为车辆的传输功率，d_n为计算任务数据大小，r_n,r为车辆与RSU间的传输速率，p_b为MEC服务器的计算功率，F₁为MEC服务器的计算能力，对此，根据两种处理情况计算所有N个车辆请求，产生的能耗E_n表示为：

其中，a_n＝{0,1}为计算任务n的卸载决策，当a_n＝0时，计算任务n在本地执行，否则，计算任务n被卸载到边缘，同时，处理N个计算任务而产生的计算开销O_n表示为：

其中，

是单位时间内计算能力F₁对应的价格。

3.根据权利要求2所述的基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法，其特征在于：步骤二中，车辆的请求内容由供应商提供，内容

缓存到部署在供应商附近的基站时，忽略基站和RSU之间的极小传输能耗，产生的传输能耗e_m1表示为：

其中，p_m为RSU的传输功率，S为内容大小，r_m,v为RSU和车辆间的传输速率，对应的，内容m尚未缓存到基站时，结合内容m的内容流行度

产生的传输能耗e_m2表示为：

其中，p_r为基站的传输功率，t_r为基站向供应商发送内容请求并向后返回结果数据的往返时间成本，对此，根据两种情况传输所有M个内容，产生的能耗E_m表示为：

其中，a_m＝{0,1}是内容m的缓存决策，当a_m＝0时，内容m已经缓存到基站，否则，内容m还不存在于基站。

4.根据权利要求3所述的基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法，其特征在于：步骤三中，区块链系统的共识节点对车辆用户请求计费内容后产生的交易数据进行验证和共识，具体步骤如下：

步骤(3.1)，共识节点采用实用拜占庭容错共识机制对区块和交易进行验证共识，生成或验证一个签名、生成或验证一个消息验证码所需的CPU周期分别为α和β，各共识节点完成一次共识过程所需的总计算周期C为：

其中，f为最多可容纳的错误节点数量，f＝(B-1)/3，g为主节点发送验证正确交易比例，d为总交易大小，δ为平均交易大小，B为区块链系统中的共识节点数量；

步骤(3.2)，共识节点的验证过程由MEC服务器和云服务器提供算力支持，共识过程的能耗E_c表示为：

其中，k∈{0,1,...,B}为卸载到云计算服务器执行共识计算任务的节点数，r_m,c为MEC服务器和云计算服务器间的传输速率，p_c为云计算服务器的计算功率，F₂为云计算服务器的计算能力，同时，节点共识过程产生的计算开销O_c表示为：

其中，T_i为区块间隔，

为单位时间内计算能力F₂对应的价格，同时，区块链系统的交易数据吞吐量ψ表示为：

其中，s为生成块的大小，区块链共识过程的时延t_c表示为：

其中，t_b为节点间的广播时延；

步骤(3.3)，场景下车载应用内容传输和计费数据存储过程产生的能耗E表示为：

E＝E_n+E_m+E_c

产生的计算开销O表示为：

O＝O_n+O_c

由此计算出系统加权消耗成本W表示为：

W＝ω₁·E+ω₂·O

其中，ω₁和ω₂分别为能耗和计算开销的加权系数。

5.根据权利要求4所述的基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法，其特征在于：步骤四中，根据步骤一至步骤三，结合场景和优化目标，设置DRL中的状态空间、动作空间和奖励函数，具体步骤如下：

根据场景内装载在车辆上的OBUs能量G(t)＝{g₁(t),g₂(t),...,g_V(t)}、MEC服务器的计算资源F₁(t)＝{f₁(t),f₂(t),...,f_B(t)}、云计算服务器的计算资源F₂(t)、B个MEC服务器和单个云计算服务器的计算资源对应的单价

以及内容流行度

的动态变化，设置状态空间：

步骤(4.2)，根据场景内车辆数量、支持车辆请求服务过程和区块链共识过程的MEC服务器数量和云计算服务器数量，设置动作空间：

A(t)＝{a_n(t),a_m(t),k(t),T_i(t),s(t)}

其中，a_n(t)＝{0,1}为车辆请求过程计算任务的卸载决策动作，a_m(t)＝{0,1}为内容的缓存决策动作，k(t)∈{0,1,...,B}为选择共识过程卸载计算任务到云计算服务器的节点数动作，T_i(t)∈{0.2,0.5,...,I}为调整区块间隔动作，s(t)∈{1,2,...,S}为调整区块尺寸动作；

步骤(4.3)，根据优化目标，设置奖励函数：

C2:t_c(t)≤ε×T_i(t)

C3:d(t)≤s(t)

其中，μ为系统消耗成本的加权系数，

为OBUs能量的最小值，ε＞1为时限系数，C₁表示OBUs能量限制，C₂表示区块完成时限，C₃表示共识过程中总交易大小限制，

为惩罚值，表示为：

其中，p是惩罚系数，

是车辆用户经常请求的内容集合

是根据内容流行度缓存的内容集合。

6.根据权利要求5所述的基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法，其特征在于：步骤五中，根据步骤四中构建的状态空间、动作空间和奖励函数，设置策略参数、值函数参数以及网络层数，对深度神经网络进行训练，用于估计优势函数：

其中，R_t为折扣累计收益，V(s_t；θ_v)为价值函数的估计，k可以随着状态的变化而变化，上限为局部最大迭代次数t_max，γ∈(0,1]为折扣因子，r_t+i为即时奖励，根据得到的优势估计引导策略函数参数θ′的本地累计梯度更新，表示为：

Δθ＝▽_θ′logπ(a_t|s_t；θ′)A(s_t,a_t；θ′,θ′_v)+β▽_θ′H(π(s_t；θ′))

其中，π(a_t|s_t；θ)为随机策略，β为控制熵正则化项强度的超参数，H(π(s_t；θ))为策略π的熵，根据RMSProp算法异步更新全局参数θ，表示为

其中，η为学习效率，g为RMSProp下的梯度估计值，∈是小正数，通过不断更新全局策略函数参数θ，逐渐将随机策略调整到最优策略。

7.根据权利要求6所述的基于移动边缘计算和区块链的车载网络应用数据传输和计费优化方法，其特征在于：步骤六中，根据步骤五中训练完成的深度神经网络在各状态下得到选动作的最优策略，将策略生成的动作作为该状态下的最优动作，持续执行各状态的最优动作，直至执行指令结束。

Images