CN112115505A - 基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法 - Google Patents

Abstract

本发明公开了基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法，通过构建区块链模型和传输模型，计算区块链中数据吞吐量和共识过程进行本地计算和卸载计算产生的时延和能耗，以及充电站向车辆发送输出结果过程产生的时延和能耗，从而通过训练深度神经网络，指导调整主节点和副本节点卸载决策、区块尺寸和区块间隔，完成场景内的最优资源分配。本发明克服了充电计费数据安全存储和传输、设备因处理计算任务而能耗过高、时延过高以及区块链中数据吞吐量低等问题。仿真实验表明，本发明在节省系统时延、能耗以及提高区块链中数据吞吐量方面具有一定的优势。

Description

基于移动边缘计算和区块链技术的新能源汽车充电站计费数 据传输方法

技术领域

本发明涉及一种基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法，通过采用深度强化学习算法，设计一种各充电站交易数据在区块链系统共识过程中，通过优化资源分配策略，有效减少系统时延和能耗并提高区块链系统数据吞吐量的方法，同时保证计费数据安全存储和有效传输，属于物联网中资源分配和系统决策的相关领域。

背景技术

近年来，随着环境污染严重、化石能源枯竭等问题日益突出，绿色出行已成为全世界倡导的节能减排方式之一。电动汽车(electric vehicles,EVs)作为一种绿色交通工具，与传统燃油汽车相比，具有空气污染少、能源利用率高等明显优势，为推动交通运输业的绿色智能发展提供了有力支撑。目前，大量的EV充电基础设施正在建设和服务于EVs，以便于EVs的及时充电和电力交易。

在充电计费过程中，确保充电信息的准确性和安全性至关重要。然而，当EVs和充电站使用不同的智能电表测量用电需求时，可能会产生不同的结果，从而导致无效或错误计费。此外，充电信息容易被泄露或人为操纵，攻击者会跟踪用户的计费数据，获取位置隐私等信息。因此，充电交易信息的安全性和私密性不容忽视。

为了解决充电交易中的隐私安全问题，区块链(blockchain)技术被认为是一种很有前途的技术，它可以广泛应用于电力市场交易和其他能源交易互联场景，具有去中心化、去信任和防篡改等特点，促进了信息的互联互通。目前，虽然已有很多工作在区块链应用中完成，但区块链共识过程中消耗大量计算资源的问题仍然是需要关注和解决的难题。

对此，边缘计算可以用来解决区块链节点计算资源不足的问题。通过为节点提供计算卸载服务，可以显著提高计算效率，降低能耗。其中，移动边缘计算(mobile edgecomputing,MEC)是最有前途的研究范式之一，已被广泛应用于许多出色的研究工作中，包括资源分配，卸载策略和协同合作等。此外，由于区块链和MEC具有相同的去中心化特征和相互依存的功能，使得二者的结合变得顺其自然。

然而，在将区块链和MEC整合到充电站计费数据传输系统时，仍将面临一些潜在的问题和挑战。例如，如何通过考虑主节点设备和副本节点设备的不同卸载决策来平衡系统的时延和能耗。另一个问题是如何在保持区块链系统安全性的同时提高数据吞吐量性能。此外，由于MEC的引入使得系统总时延增多，而充电站的覆盖范围有限，如何选取合适的充电站向EVs传输计费结果也是需要思考的问题。因此，在进行系统设计时，应慎重考虑这些问题。

同时，针对充电站计费数据传输系统中环境状态的高动态性、高维度性等特点，近年来，深度强化学习(deep reinforcement learning,DRL)逐渐成为一类热门高效的优化方法。它结合深度学习的感知能力和强化学习的决策能力，以一种接近人脑思维方式的方法，去训练模型以及优化决策。DRL自提出以来，由于其通用性和有效性而被广泛研究，并不断的被实际应用在各个领域。然而，当前对充电站系统的相关研究十分欠缺，如何针对该系统的时延、能耗和数据吞吐量的性能优化问题，使用DRL来进行解决，仍需要仔细斟酌。

综上所述，本发明面向新能源汽车充电站场景中主节点设备、副本节点设备计算任务卸载以及数据区块链共识等问题，提出一种基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法，通过联合考虑场景下无线接入点(access points,APs)和服务器的状态、传输速率以及平均交易大小，同时优化系统的时延和能量消耗，并显著提高区块链系统的数据吞吐量，进而有效进行计费数据的安全存储和传输。

发明内容

本发明的主要目的是在场景内资源优化分配最优的角度上，考虑场景内存在多充电站、多APs、多EVs、单个宏蜂窝基站和单个MEC服务器的情况下，以降低系统时延、能耗和提高区块链中数据吞吐量为优化目标，对场景进行建模，并应用DRL算法对模型进行迭代学习，获得节能、省时且高吞吐量的最优资源分配策略。本方法解决了在场景下存在多充电站、多APs、多EVs、单个宏蜂窝基站和单个MEC服务器的情况下，如何确定最优资源分配策略的问题，并通过执行最优资源分配策略有效降低系统时延、能耗，并提高区块链系统的数据吞吐量，进而有效进行充电计费数据的安全存储和传输。

本发明所适应的多充电站环境场景模型见图1。

本发明技术方案中的系统运行原理流程图见图2。

本发明系统总时延与充电站数量关系图见图3。

本发明系统总能耗与充电站数量关系图见图4。

本发明区块链系统的数据吞吐量与平均交易大小关系图见图5。

本发明的多充电站环境场景模型如图1所示，基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法，在某个通信场景下，存在c个充电站，每个充电站旁部署有1个AP，覆盖区域的中心部署有1个宏蜂窝基站和1个MEC服务器，此外，还存在1个由APs形成的区块链系统。当已知充电站数量后，根据实际环境情况设置区块链模型和传输模型。而后构造DRL中的状态空间、动作空间和奖励函数，并设置训练网络中的策略参数、值函数参数、网络层数等参数，结合场景模型进行迭代学习，训练深度神经网络参数，用以估计状态值函数。最后执行智能体通过与环境的相互作用学习到的最优资源分配策略，从而有效降低充电计费数据在存储和传输过程中产生的时延、能耗，并提高区块链系统的数据吞吐量。具体依次按以下步骤实现：

步骤(1)，主AP收集各充电站AP采集的充电计费数据，将数据处理打包到新块中，并传输到区块链系统，系统内的共识节点对主AP发送的交易数据进行验证和共识，具体步骤如下：

步骤(1.1)，通信场景中存在c个有数据共识需求的充电站，在一段时间t∈{1,2···T}，T为AP群组中有任意AP能量耗尽的时刻，充电站内的充电桩向配备的AP传输充电计费数据，AP群组指定一个AP作为主节点，用于接收其他AP收集的计费数据并进行处理打包生成区块，并传输到AP形成的区块链系统，系统内的共识节点采用实用拜占庭容错共识机制对区块和交易进行验证和共识，生成或验证一个签名、生成或验证一个消息验证码所需的CPU周期分别为α和β，各共识节点完成一次共识过程所需的总计算周期C为：

其中，f为最多可容纳的错误节点数量，f＝(N-1)/3，g为主节点发送验证正确交易比例，d为总交易大小，δ为平均交易大小，N为区块链系统中的共识节点数量，同时，主节点完成一次共识过程所需的总计算周期C_p为：

副本节点完成一次共识过程所需的总计算周期C_r为：

步骤(1.2)，主节点和副本节点选择在本地处理数据时，产生的时延分别表示为：

同时，主节点和副本节点本地处理产生的能耗分别表示为：

E_p＝k(F_l)²C_p

E_r＝k(F_l)²C_r

其中，F_l为AP的CPU计算能力，k根据实际测量值设为10^-27，对应的，主节点和副本节点选择将数据处理任务卸载至MEC服务器处理时，产生的时延分别表示为：

同时，主节点和副本节点卸载计算任务产生的能耗分别表示为：

其中，R为AP与MEC服务器间的传输速率，λ是MEC服务器的计算能力，p_t为AP传输功率，p_m为MEC服务器计算功率，主节点选择本地处理，副本节点选择卸载处理，主节点和副本节点产生的时延分别表示为：

其中，c_r为共识过程副本节点多于主节点的计算周期，c_p为主节点多于副本节点的计算周期，对应的，主节点选择卸载处理，副本节点选择本地处理，主节点和副本节点产生的时延分别表示为：

步骤(2)，每个AP分别选择计算任务的处理方法，充电计费数据进行区块链共识过程的时延T_n表示为：

其中，T_i为块的生成间隔，t_b为节点间的广播时延，同时，共识过程的能耗E_n表示为：

E_n＝E_p+(N-1)E_r

区块链系统的交易数据吞吐量ψ表示为：

其中，S为生成块的大小；

步骤(3)，充电计费信息进行上链存储后，APs向行驶在其覆盖范围内的EVs发送输出结果以便EVs进行支付以及计费信息的参考，传输过程的时延T_t表示为：

传输过程的能耗E_t表示为：

其中，d^*为输出数据大小，R_av为AP与EVs之间的传输速率，场景下充电计费数据进行上链存储和传输过程产生的时延T表示为：

T＝T_n+T_t

产生的能耗E表示为：

E＝E_n+E_t

步骤(4)，根据步骤(1)-(3)，结合场景和优化目标，设置DRL中的状态空间、动作空间和奖励函数，具体步骤如下：

步骤(4.1)，根据场景内APs能量V(t)＝{v₁(t),v₂(t),...,v_c(t)}、APs与MEC服务器之间的传输速率R(t)＝{r₁(t),r₂(t),...,r_c(t)}、MEC服务器的计算资源λ(t)以及平均交易大小δ(t)的动态变化，设置状态空间：

S(t)＝{V(t),R(t),λ(t),δ(t)}

步骤(4.2)，根据场景内充电站数量、支持共识过程的APs和MEC服务器数量，设置动作空间：

A(t)＝{a_p(t),a_r(t),S(t),T_i(t)}

其中，a_p(t)∈(0,1)和a_r(t)∈(0,1)分别为主节点和副本节点的卸载决策动作，S(t)∈{1,2,...,S}为调整区块尺寸动作，T_i(t)∈{0.2,0.5,...,I}为调整区块间隔动作；

步骤(4.3)，根据优化目标，设置奖励函数：

s.t.C1:

C2:T_n(t)≤ε×T_i(t)

C3:d(t)≤S(t)

其中，ω₁、ω₂和ω₃分别为时延、能耗和吞吐量的加权系数，

为惩罚值，

为APs能量的最小值，ε为时限系数，C₁表示APs能量限制，C₂表示区块完成时限，C₃表示任务数据大小限制；

步骤(5)，根据步骤(4)中构建的状态空间、动作空间和奖励函数，设置策略参数、值函数参数以及网络层数，对深度神经网络进行训练，用于参数化估计状态价值函数：

V_w(s)≈V^π(s)

其中，V^π(s)表示策略π下状态s的价值，V_w(s)表示使用参数向量w参数化函数逼近的状态价值函数，根据得到的估计价值引导策略函数参数θ的更新，Δθ可表示为：

其中，α为策略更新的学习效率，d(s)为状态分布，π_θ(s,a)为随机策略。A(s,a)＝Q_w(s,a)-V_w(s)为优势函数，显著降低梯度计算中的方差，其中Q_w(s,a)是利用动作值函数Q^π(s,a)的函数逼近得到的近似动作值函数。通过不断更新策略函数参数θ，逐渐将随机策略调整到最优策略；

步骤(6)，根据步骤(5)中训练完成的深度神经网络在各状态下得到可选动作的最优策略，将策略生成的动作作为该状态下的最优动作，持续执行各状态的最优动作，直至执行指令结束。

本发明的优势在于，在具有多充电站、多EVs的通信场景下，通过考虑各充电站APs能量、APs与MEC服务器之间的传输速率、MEC服务器的计算资源以及平均交易大小状态，使工作周期内系统时延和能耗的加权成本有效减少，并提高了区块链系统的数据吞吐量。通过仿真实验考察基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法对场景中系统时延和能耗的加权成本、区块链中数据吞吐量的影响。

附图说明

图1，通信场景模型包含EVs、充电站、APs、宏基站、MEC服务器和区块链系统的结构示意图。

图2，基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法设计流程图。

图3，系统总时延与充电站数量关系图，图中下三角表示本发明所述方法，方形表示固定区块间隔框架，圆形表示无主节点卸载决策框架，上三角表示无副本节点卸载决策框架，五角星表示现有框架。

图4，系统总能耗与充电站数量关系图，图中下三角表示本发明所述方法，圆形表示无主节点卸载决策框架，方形表示无副本节点卸载决策框架。

图5，区块链系统的数据吞吐量与平均交易大小关系图，图中下三角表示本发明所述方法，圆形表示固定区块尺寸框架，方形表示固定区块间隔框架，五角星表示现有框架。

具体实施方式

下面结合附图和实例对基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法的技术方案做进一步说明。

本发明所述方法流程图如图2所示，包括以下步骤：

步骤一，充电站计费系统进行初始化，设定充电站数量、用于服务区块链共识过程的设备数量以及APs功率、基站传输速率；

步骤二，根据系统实际情况，计算主节点本地处理数据的时延t_p和能耗E_p、副本节点本地处理数据的时延t_r和能耗E_r、主节点卸载计算任务的时延t_p和能耗E_p、副本节点卸载计算任务的时延t_p和能耗E_p、区块链系统的共识时延T_n和共识能耗E_n、区块链系统的数据吞吐量ψ以及APs向EVs发送输出结果的时延T_t和能耗E_t；

步骤三，根据优化目标，设置DRL算法的状态空间S(t)，动作空间A(t)和奖励函数r(t)；

步骤四，根据DRL算法解决联合优化问题，设置深度神经网络层数、策略参数和值函数参数；

步骤五，训练深度神经网络近似V值，并通过V值引导策略参数的更新；

步骤六，根据各状态下得到的最优策略选择最优动作，获得最大收益。

图3为系统总时延与充电站数量关系图。由图3可知，系统时延随着充电站数量的增加而增加。当充电站数量为7时，本发明所述方法对应的时延低达1.17s，而其余方法最低时延达到1.35s。可以得出，系统总时延与充电站数量有关，随着充电站数量增加，系统计算任务变重，使得任务处理时间变长，但基于本发明所述方法优化后的时延始终低于基于其他方法的情况。

图4为系统总能耗与充电站数量关系图。由图4可知，当充电站数量增加时，由于产生的计算任务量增加，系统能耗也随之增加。本发明所述方法对应的系统能耗始终低于其余方法，且当消耗相同系统能量时，在本发明所述方法下可服务更多充电站。例如，当充电站数量为8时，本发明所述方法对应的系统能耗仅为8J，而其余方法对应的系统能耗最高达到41J。

图5为区块链系统的数据吞吐量与平均交易大小关系图。由图5可知，当平均交易量为100B时，本发明所述方法对应的区块链中数据吞吐量可达280TPS，而其余方法最多达到的数据吞吐量仅为240TPS。可以得出，区块链系统的数据吞吐量与平均交易大小有关，当平均交易量增加时，一个区块包含的交易数目变少，数据吞吐量会随之降低，但基于本发明所述方法优化后的数据吞吐量始终高于基于其他方法的情况。

Claims (7)

1.基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法，其特征在于：该方法包括如下步骤，步骤一，充电站计费系统进行初始化，设定充电站数量、用于服务区块链共识过程的设备数量以及APs功率、基站传输速率；

步骤二，根据系统实际情况，计算主节点本地处理数据的时延t_p和能耗E_p、副本节点本地处理数据的时延t_r和能耗E_r、主节点卸载计算任务的时延t_p和能耗E_p、副本节点卸载计算任务的时延t_p和能耗E_p、区块链系统的共识时延T_n和共识能耗E_n、区块链系统的数据吞吐量ψ以及APs向EVs发送输出结果的时延T_t和能耗E_t；

步骤三，根据优化目标，设置DRL算法的状态空间S(t)，动作空间A(t)和奖励函数r(t)；

步骤四，根据DRL算法解决联合优化问题，设置深度神经网络层数、策略参数和值函数参数；

步骤五，训练深度神经网络近似V值，并通过V值引导策略参数的更新；

步骤六，根据各状态下得到的最优策略选择最优动作，获得最大收益。

2.根据权利要求1所述的基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法，其特征在于：步骤一中，主AP收集各充电站AP采集的充电计费数据，将数据处理打包到新块中，并传输到区块链系统，系统内的共识节点对主AP发送的交易数据进行验证和共识，具体步骤如下：

步骤(1.1)，通信场景中存在c个有数据共识需求的充电站，在一段时间t∈{1,2…T}，T为AP群组中有任意AP能量耗尽的时刻，充电站内的充电桩向配备的AP传输充电计费数据，AP群组指定一个AP作为主节点，用于接收其他AP收集的计费数据并进行处理打包生成区块，并传输到AP形成的区块链系统，系统内的共识节点采用实用拜占庭容错共识机制对区块和交易进行验证和共识，生成或验证一个签名、生成或验证一个消息验证码所需的CPU周期分别为α和β，各共识节点完成一次共识过程所需的总计算周期C为：

其中，f为最多可容纳的错误节点数量，f＝(N-1)/3，g为主节点发送验证正确交易比例，d为总交易大小，δ为平均交易大小，N为区块链系统中的共识节点数量，同时，主节点完成一次共识过程所需的总计算周期C_p为：

副本节点完成一次共识过程所需的总计算周期C_r为：

步骤(1.2)，主节点和副本节点选择在本地处理数据时，产生的时延分别表示为：

同时，主节点和副本节点本地处理产生的能耗分别表示为：

E_p＝k(F_l)²C_p

E_r＝k(F_l)²C_r

其中，F_l为AP的CPU计算能力，k根据实际测量值设为10^-27，对应的，主节点和副本节点选择将数据处理任务卸载至MEC服务器处理时，产生的时延分别表示为：

同时，主节点和副本节点卸载计算任务产生的能耗分别表示为：

其中，R为AP与MEC服务器间的传输速率，λ是MEC服务器的计算能力，p_t为AP传输功率，p_m为MEC服务器计算功率，主节点选择本地处理，副本节点选择卸载处理，主节点和副本节点产生的时延分别表示为：

其中，c_r为共识过程副本节点多于主节点的计算周期，c_p为主节点多于副本节点的计算周期，对应的，主节点选择卸载处理，副本节点选择本地处理，主节点和副本节点产生的时延分别表示为：

3.根据权利要求2所述的基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法，其特征在于：步骤二中，每个AP分别选择计算任务的处理方法，充电计费数据进行区块链共识过程的时延T_n表示为：

其中，T_i为块的生成间隔，t_b为节点间的广播时延，同时，共识过程的能耗E_n表示为：

E_n＝E_p+(N-1)E_r

区块链系统的交易数据吞吐量ψ表示为：

其中，S为生成块的大小。

4.根据权利要求3所述的基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法，其特征在于：步骤三中，充电计费信息进行上链存储后，APs向行驶在其覆盖范围内的EVs发送输出结果以便EVs进行支付以及计费信息的参考，传输过程的时延T_t表示为：

传输过程的能耗E_t表示为：

其中，d^*为输出数据大小，R_av为AP与EVs之间的传输速率，场景下充电计费数据进行上链存储和传输过程产生的总时延T表示为：

T＝T_n+T_t

产生的总能耗E表示为：

E＝E_n+E_t。

5.根据权利要求4所述的基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法，其特征在于：步骤四中，根据步骤一至步骤三，结合场景和优化目标，设置DRL中的状态空间、动作空间和奖励函数，具体步骤如下：

步骤(4.1)，根据场景内APs能量V(t)＝{v₁(t),v₂(t),...,v_c(t)}、APs与MEC服务器之间的传输速率R(t)＝{r₁(t),r₂(t),...,r_c(t)}、MEC服务器的计算资源λ(t)以及平均交易大小δ(t)的动态变化，设置状态空间：

S(t)＝{V(t),R(t),λ(t),δ(t)}

步骤(4.2)，根据场景内充电站数量、支持共识过程的APs和MEC服务器数量，设置动作空间：

A(t)＝{a_p(t),a_r(t),S(t),T_i(t)}

其中，a_p(t)∈(0,1)和a_r(t)∈(0,1)分别为主节点和副本节点的卸载决策动作，S(t)∈{1,2,...,S}为调整区块尺寸动作，T_i(t)∈{0.2,0.5,...,I}为调整区块间隔动作；

步骤(4.3)，根据优化目标，设置奖励函数：

s.t.C1:

C2:T_n(t)≤ε×T_i(t)

C3:d(t)≤S(t)

其中，ω₁、ω₂和ω₃分别为时延、能耗和吞吐量的加权系数，

为惩罚值，

为APs能量的最小值，ε为时限系数，C₁表示APs能量限制，C₂表示区块完成时限，C₃表示任务数据大小限制。

6.根据权利要求5所述的基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法，其特征在于：步骤五中，根据步骤四中构建的状态空间、动作空间和奖励函数，设置策略参数、值函数参数以及网络层数，对深度神经网络进行训练，用于参数化估计状态价值函数：

V_w(s)≈V^π(s)

其中，V^π(s)表示策略π下状态s的价值，V_w(s)表示使用参数向量w参数化函数逼近的状态价值函数，根据得到的估计价值引导策略函数参数θ的更新，Δθ可表示为：

其中，α为策略更新的学习效率，d(s)为状态分布，π_θ(s,a)为随机策略；A(s,a)＝Q_w(s,a)-V_w(s)为优势函数，显著降低梯度计算中的方差，其中Q_w(s,a)是利用动作值函数Q^π(s,a)的函数逼近得到近似动作值函数；通过不断更新策略函数参数θ，逐渐将随机策略调整到最优策略。

7.根据权利要求6所述的基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法，其特征在于：步骤六中，根据步骤五中训练完成的深度神经网络在各状态下得到可选动作的最优策略，将策略生成的动作作为该状态下的最优动作，持续执行各状态的最优动作，直至执行指令结束。

Images