CN111556461B - 一种基于深度q网络的车载边缘网络任务分发卸载方法 - Google Patents

Abstract

本发明公开了一种基于深度Q网络的车载边缘网络任务分发卸载方法，首先根据层次分析法对不同车辆终端的计算任务进行优先级划分，从而为计算任务处理速率赋予不同的权重建立关系模型；其次，引入基于深度Q网络的边缘计算方法，以计算任务处理速率加权和为优化目标建立任务卸载模型，建立基于深度Q网络的终端自主最优任务卸载策略，保证卸载决策制定模型的长期稳定性与有效性。本发明通过对车载计算任务的合理分发卸载，有效提高了计算任务的处理速率，从而降低任务执行时延。

Description

一种基于深度Q网络的车载边缘网络任务分发卸载方法

技术领域

本发明属于车联网通信技术领域，具体涉及一种基于深度Q网络的车载边缘网络任务分发卸载方法。

背景技术

为了解决车辆终端与车载应用之间的矛盾，车辆上的计算任务可以卸载到RSU配置的MEC服务器上，这样在车辆旁边就能够完成任务的计算及分析过程，部署灵活的MEC服务器上的存储及计算资源可以减小计算任务的处理时间及车辆能耗。目前由于车辆网等技术的快速发展以及日益庞大的数据量，出现了大量对计算资源高需求的车载应用任务，如自动驾驶、智能识别、实时路况等。这些车载应用任务不仅需要大量的存储与计算资源，同时对于任务执行时延的要求非常严格。车联网环境中计算任务卸载决策主要解决车载应用任务是否需要卸载以及卸载多少的问题。卸载决策的主要优化目标有任务执行时延、能耗以及时延与能耗的折中等。传统的方法包括面向5G的边缘计算多用户卸载方案，将问题转换为多重背包问题，优化计算任务执行时延。也有一系列基于各种数值优化算法提出了一系列计算卸载决策及资源配置方案。

但是上述方法没有针对不同终端进行任务优先级划分，从而实现处理程序的优化。同时上述方法需要实时准确的信道状态消息以及算法复杂度高、迭代步骤长，难以满足低时延需求很高的车联网通信系统。针对以上研究中存在的问题，本方法通过引入移动边缘计算，使车辆产生的计算任务能够直接在边缘节点进行处理，同时针对不同终端任务要求的不同进行优先级划分。在移动车辆端，基于深度强化学习，研究了计算速率最优的任务卸载策略，在信道条件时变的环境中能够根据过去的经验实现卸载策略的自我更新，并且与传统复杂的MIP问题不同，其计算复杂度不会因为网络规模的增长而爆炸，并且在任务执行时延方面有一定的改善，改善了网络拓扑结构动态变化的车联网终端用户的使用体验。

发明内容

发明目的：本发明提出一种基于深度Q网络的车载边缘网络任务分发卸载方法，能将计算任务有序分发卸载至边缘服务器，降低任务执行平均时延。

发明内容：本发明提出一种基于深度Q网络的车载边缘网络任务分发卸载方法，包括以下步骤：

(1)终端车辆将自身携带的计算任务信息上传至RSU，RSU根据层次分析法对不同车辆终端的计算任务进行优先级划分，得出计算任务相应的权重；

(2)为计算任务处理速率赋予不同的权重建立关系模型，并以计算任务处理速率加权和为优化目标建立任务卸载模型；

(3)构建深度Q网络中的目标值网络、在线值网络以及状态-值函数，针对当前应用环境确定深度强化学习三要素：状态、动作、奖励；

(4)以车辆终端无线信道增益为Q网络输入，通过Q网络遍历当前状态下的各种动作与环境进行实时交互以计算任务处理速率，最后得出最优卸载策略。

进一步地，所述步骤(1)包括以下步骤：

(11)将计算任务同一层次的因素进行两两比较，构造评价因素判断矩阵A＝(a_ij)_3×3及目标层相对于准则层的判断矩阵B₁,B₂...B₃＝(a_ij)_K×K，其中

(12)根据方根法求得判断矩阵B_k对应的权重向量元素：

其中，K表示在决策过程中车辆终端k携带的计算任务，i表示我们所考虑的第i个评价因素，得到所有车辆终端计算任务的权重矢量矩阵：

(13)根据方根法求得评价因素判断矩阵A的权重向量Δ＝[△¹,△²,△³]：

(14)通过一致性检验，最得到所有计算任务的权重向量W，其中的每一个元素可以分别代表对应终端计算任务的权重，可由下式求出：

进一步地，步骤(2)所述的优化目标为：

其中，w_k为k终端携带任务的优先级别，数值越大则表示该计算任务需要分配更多的计算资源，x_k表示为卸载决策向量,x_k为0表示本地计算模式，为1表示卸载计算模式，p_k为终端发射功率，k_k为能量效率系数，f_k为本地处理器频率，t_k表示任务上传时间或本地执行时间，R_L为计算任务的处理速率，E_constraint为终端用于处理计算任务的能量为额定值，R₀为计算任务上传速率，约束2表示计算任务执行能耗不能超过额定值。

进一步地，步骤(3)所述的目标值网络与在线值网络算法均采用三层DNN架构，网络激活函数为relu函数，网络输出函数为sigmoid函数，对应卸载动作的概率值，设置奖励值函数，卸载动作向量表征为X_t＝[x₁,x₂,...,x_K]，并将当前动作下的计算任务执行时延为当前状态函数。

进一步地，所述步骤(4)包括以下步骤：

(41)卸载决策动作的产生：当边缘服务器收到终端当前的信道增益信息后，深度学习网络根据当前观测到的状态s_t得到一个卸载动作向量X_t＝[x₁,x₂,...,x_K]，根据步骤(2)产生一个奖励值r_t，将DNN网络输出作为动作状态函数Q(s_t,x_t,θ_t)；

(42)卸载决策动作的更新：根据下式来实现动作状态函数的更新：

其中，α_k与γ分别是学习速率与折扣因子，s'与x'分别是第n次迭代过程中执行动作x_t后的状态观测值以及在状态s'下奖励值最大的动作；对于第n次迭代过程而言，最小化如下式所示的目标函数后可以更新网络参数θ，从而实现卸载决策动作的更新：

minE＝min(r_t+γmaxQ(s',x',θ'_t)-Q(s_t,x_t,θ_t)) (10)

(43)得到t时刻最佳卸载动作后，将该状态-动作对(g_t,x_t ^*)放入经验池作为新的训练样本；当经验池容量足够后，新生成的状态-动作对会代替旧的数据样本；深度学习网络反复学习最佳状态对(g_t,x_t ^*)，并随着时间的推移生成更好的卸载决策输出。

有益效果：与现有技术相比，本发明的有益效果：1、根据仿真结果分析可知，与传统的Q学习算法相比较，通过制定合理的卸载策略将计算任务有序分发卸载至边缘服务器后，任务执行平均时延能够降低17％；2、对于网络拓扑动态变化的车联边缘网络中的终端用户，能够有效提升其网络使用体验。

附图说明

图1为本发明的流程图；

图2为本发明所述方法中车联网边缘接入环境示意图；

图3为基于深度强化学习的卸载方法框架示意图；

图4为DON算法收敛过程示意图；

图5为任务平均执行时延与车辆数目关系示意图；

图6为任务平均执行时延与任务复杂度关系示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例。本发明可以以许多不同的形式来实现，并不限于本方法所描述的实施例，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，在本发明实施例中，提供了一种基于深度Q网络的车载边缘网络任务分发卸载方法，方法应用于车联网的边缘接入环境，车联边缘网络包括边缘服务器、路测单元(RSU)和在对应RSU信号覆盖范围内的车辆。车联网的边缘接入环境下的计算任务卸载模型架构如图2所示。由移动车辆、路边单元及边缘服务器三层组成。在系统架构中，受限于较弱的计算能力，部分车辆终端会将自身携带的计算任务通过无线网络上传到RSU连接的边缘服务器进行处理。首先，所以车辆会将自身携带任务的相应信息，如任务最大可容忍时延、数据量大小、计算复杂度等上传至RSU，RSU经计算得出任务优先级后，经过边缘服务器的任务调度算法决定哪些终端需要将计算任务上传到服务器。终端收到边缘服务器的调度信息后，开始上传或者本地执行计算任务。

假设RSU覆盖范围内有K个移动车辆，每个终端车辆携带的计算任务可以表示为C_k＝(V_k,D_k,Γ_k,P_k)，其中D_k表示计算任务的数据大小，单位为bit，V_k表示任务计算复杂度，单位为轮/bit，Γ_k表示任务最大可容忍时延，P_k表示计算任务的优先级，由边缘服务器计算后得出。假定无论任务是在本地执行或卸载到MEC服务器执行，以上参数均保持不变。RSU覆盖范围内的所有计算任务表示为M＝{M₁,M₂,...,M_k},其中k∈K,k＝{1,2,...,K}。所述基于深度Q网络的车载边缘网络任务分发卸载方法，具体包括以下步骤：

步骤1：终端车辆将自身携带的计算任务信息上传至RSU，RSU根据层次分析法对不同车辆终端的计算任务进行优先级划分，得出计算任务相应的权重。

不同终端携带的任务可能具有不同的优先级需求，如果不进行预处理直接对所有任务制定同样的卸载决策，最终会影响用户的使用体验。基于层次分析法，在边缘服务器端对计算任务的优先级进行预处理，保证服务器能自适应分配合适的计算资源给终端计算任务。

具体的，在确定计算任务的优先级时，主要考虑计算任务的计算复杂度、数据总量及最大容忍时延三个因素，其中计算复杂度的重要程度最高，数据总量其次、最大容忍时延最后。先将计算任务同一层次的因素进行两两比较，构造评价因素判断矩阵A＝(a_ij)_3×3及目标层相对于准则层的判断矩阵B₁,B₂...B₃＝(a_ij)_K×K，其中：

接着根据方根法求得判断矩阵B_k对应的权重向量元素：

其中，K表示在决策过程中车辆终端k携带的计算任务，i表示我们所考虑的第i个评价因素。我们可以得到所有车辆终端计算任务的权重矢量矩阵：

接着如式(4)所示，同样根据方根法求得评价因素判断矩阵A的权重向量，表示为Δ＝[△¹,△²,△³]。

以上结果通过一致性检验后，最后可以得到所有计算任务的权重向量W，其中的每一个元素可以分别代表对应终端计算任务的权重。可由下式求出：

步骤2：基于步骤1的结果，为计算任务处理速率赋予不同的权重建立关系模型，并以计算任务处理速率加权和为优化目标建立任务卸载模型。

在动态车联网的无线衰落环境中，每个边缘服务器的通信带宽资源有限，且信道增益随时间变化，为了最大化边缘服务器计算资源利用效率，基于深度强化学习联合计算任务处理速率及终端能耗，以所有终端任务计算速率最优为算法收敛目标，从而使终端所有计算任务的执行时延最小。

具体地，本方法中车辆终端携带的计算任务可以分为本地计算模式及卸载计算模式，同时终端用于处理计算任务的能量为额定值，表示为：

其中，p_k为终端发射功率，k_k为能量效率系数，f_k为本地处理器频率，t_k表示任务上传时间或本地执行时间。

本地计算模式中，计算任务的处理速率可以表示为

在卸载计算模式中，假设边缘服务器的处理能力超过终端本身多个数量级，因此在卸载计计算模式中，我们将计算任务上传速率等价为计算任务的处理速率，表示为：

在上述式子中，假设只有无线信道增益g_k在对应的时间段内是时变的，其他所有参数固定不变。基于上文中层次分析法式(5)得出的任务权重，因此优化目标可以表示为：

其中w_k为式(5)求出的k终端携带任务的优先级别，数值越大则表示该计算任务需要分配更多的计算资源。x_k表示为卸载决策向量,x_k为0表示本地计算模式，为1表示卸载计算模式。约束2表示计算任务执行能耗不能超过额定值。

步骤3：构建Q网络中的目标值网络、在线值网络以及状态-值函数，针对当前应用环境确定深度强化学习三要素：状态、动作、奖励。

具体地，目标值网络与在线值网络算法均采用三层DNN架构，网络激活函数为relu函数，网络输出函数为sigmoid函数，对应卸载动作的概率值。奖励值函数设置为式(8)，卸载动作向量表征为X_t＝[x₁,x₂,...,x_K]，并将当前动作下的计算任务执行时延为当前状态函数。

步骤4：以车辆终端无线信道增益为DQN网络输入，通过Q网络遍历当前状态下的各种动作与环境进行实时交互以最大化任务处理速率，最后得出最优卸载策略。

具体地，如图3所示，该策略函数的产生可以分为两步：

(1)卸载决策动作的产生：当边缘服务器收到终端当前的信道增益信息后，深度学习网络根据当前观测到的状态s_t得到一个卸载动作向量X_t＝[x₁,x₂,...,x_K]，并根据式(7)中产生一个奖励值r_t。同时我们将DNN网络输出作为动作状态函数Q(s_t,x_t,θ_t)。

(2)卸载决策动作的更新：本方法主要根据下式来实现来实现动作状态函数的更新：

上式中，α_k与γ分别是学习速率与折扣因子，s'与x'分别是第n次迭代过程中执行动作x_t后的状态观测值以及在状态s'下奖励值最大的动作。对于第n次迭代过程而言，最小化如下式所示的目标函数后可以更新网络参数θ，从而实现卸载决策动作的更新。

minE＝min(r_t+γmaxQ(s',x',θ'_t)-Q(s_t,x_t,θ_t)) (10)

与此同时，得到t时刻最佳卸载动作后，我们将该状态-动作对

放入经验池作为新的训练样本。当经验池容量足够后，新生成的状态-动作对会代替旧的数据样本。基于以上两个步骤，深度学习网络反复学习最佳状态对

并随着时间的推移生成更好的卸载决策输出。同时，在有限的存储空间约束下，DNN仅从最新的卸载策略生成的最新数据样本中学习。这种闭环强化学习机制会不断改善其卸载策略，直到收敛为止。

具体算法为：输入计算任务的计算复杂度、数据总量及最大容忍时延，根据式(1)(2)(3)(4)(5)得到每个计算任务的优先级向量，即任务的计算资源分配权重。初始化经验池存储空间容量并且用随机权重θ初始化动作-价值函数Q_θ(s_t,x_t)。初始化状态s₁以及预处理序列φ₁＝φ(s₁)。对每个迭代过程n，以ε的概率选择随机动作x_t，否则选择潜在回报最大的动作

执行动作x_t，将式(1)中求出的权重值代入式(8)后得到奖励值r_t与s_t+1。令s_t+1＝s_t,x_t，处理φ_t+1＝φ(s_t+1)。将向量(φ_t,x_t,r_t,φ_t+1)存放于经验池中。从经验池中对向量进行均匀随机抽样，令深度Q网络输出如式(9)所示。根据式(10)构建误差函数，采用反向传播算法更新网络参数θ。若s_t+1是终止状态，结束本轮迭代过程。

通过python编程语言对提出的基于移动边缘计算的任务分发卸载算法进行仿真以评估其性能。在车联网环境中，每个RSU的覆盖范围为1000米，车辆速度设定为40km/h。每个终端车辆本地计算能力为108cycles/s，车载终端计算功率为3w，发射功率为0.3w。携带的计算任务数据大小(以Kbit为单位)服从(300，500)之间的均匀分布,计算任务复杂度服从(以兆周期为单位)(9000,11000)之间的均匀分布。将本发明提出的算法分别与全部本地计算以及经典的Q学习算法进行比较。

如图4所示，纵轴分别表示训练过程中当前所有终端车辆的归一化计算速率以及损失函数值。本发明算法经过50个迭代过程后，已经收敛到最优解，其中偶尔出现的波动是因为从经验池中采取随机抽样方法导致的。

在图5中，我们将DQN方法和全部本地计算、随机卸载及Q学习算法相比较。可以看到随着车辆数的增加，计算任务量变大，任务执行时延都随之上升。在车辆数目小于10时，执行延迟几乎没有不同。当车辆数目超过10时，本发明提出的任务卸载算法的任务平均执行时延相比全部本地计算的时延减少了95ms,相比q学习较少了24ms。从而可以认定，随着任务数目的增加，相比于全部本地计算与q学习算法，基于深度强化学习的卸载方案方法能够根据信道实际情况进行学习，从而做出更正确的卸载决策，导致任务执行时延更小。

图6显示的是终端车辆数目为10的情况下，随着一半车辆任务计算复杂度的增加，三种算法的任务平均执行时延任务执行时延都在增加。从图6中可以看出，在任务复杂度最高的时候，本文提出算法的任务执行时延与全部本地计算相比减少了219ms，与q-learning相比减少了64ms。比较图5与图6可看出，在计算任务差异度越大的应用场景中，该文提出的算法优势越明显。分析认为，随着计算复杂度的上升，不同车辆终端的计算任务差异度也越大，给终端分配的计算资源权重也要随之变化。与传统Q学习不同的是，该文提出的算法对所有终端车辆的计算任务做了自适应优先级预处理，给优先级更高的计算任务分配了更多的计算资源，从而在任务最大可容忍时延内完成计算任务，提高卸载决策正确率，从而减小任务执行时延。

本方法的卸载决策方案是致力于设计一个卸载策略函数，其核心思想是将Q值网络作为策略评判标准，通过Q网络遍历当前状态下的各种动作与环境进行实时交互。其动作、状态值、奖励值存放于回访记忆单元，通过Q学习算法经历多个迭代过程来反复训练Q值网络，最后得到最佳卸载策略。从而保证边缘服务器能够很具当前车联边缘网络的接入车辆无线信道增益情况，快速生成计算任务卸载策略。深度强化学习可以在没有任何先验信息的前提下与环境交互并从中学习调整策略以达到最佳的长期回报，这对于动态时变的车联网环境来说尤为重要。

以上仅为本发明的较佳实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims (2)

1.一种基于深度Q网络的车载边缘网络任务分发卸载方法，其特征在于，包括以下步骤：

(1)终端车辆将自身携带的计算任务信息上传至RSU，RSU根据层次分析法对不同车辆终端的计算任务进行优先级划分，得出计算任务相应的权重；

(2)为计算任务处理速率赋予不同的权重建立关系模型，并以计算任务处理速率加权和为优化目标建立任务卸载模型；

(3)构建深度Q网络中的目标值网络、在线值网络以及状态函数，针对当前应用环境确定深度强化学习三要素：状态、动作、奖励；

(4)以车辆终端无线信道增益为Q网络输入，通过Q网络遍历当前状态下的各种动作与环境进行实时交互，以计算任务处理速率加权和为目标，最后得出最优卸载策略；

所述步骤(1)包括以下步骤：

(11)将计算任务同一层次的因素进行两两比较，构造评价因素判断矩阵A＝(a_ij)_3×3及目标层相对于准则层的判断矩阵B₁,B₂...B₃＝(a_ij)_K×K，其中

(12)根据方根法求得判断矩阵B_k对应的权重向量元素：

其中，K表示在决策过程中车辆终端k携带的计算任务，i表示所考虑的第i个评价因素，得到所有车辆终端计算任务的权重矢量矩阵：

(13)根据方根法求得评价因素判断矩阵A的权重向量Δ＝[△¹,△²,△³]：

(14)通过一致性检验，最得到所有计算任务的权重向量W，其中的每一个元素可以分别代表对应终端计算任务的权重，可由下式求出：

步骤(2)所述的优化目标为：

其中，w_k为k终端携带任务的优先级别，数值越大则表示该计算任务需要分配更多的计算资源，x_k表示为卸载决策向量，x_k为0表示本地计算模式，为1表示卸载计算模式，p_k为终端发射功率，k_k为能量效率系数，f_k为本地处理器频率，t_k表示任务上传时间或本地执行时间，R_L为计算任务的处理速率，E_constraint为终端用于处理计算任务的能量为额定值，R₀为计算任务上传速率，约束2表示计算任务执行能耗不能超过额定值。

2.根据权利要求1所述的一种基于深度Q网络的车载边缘网络任务分发卸载方法，其特征在于，步骤(3)所述的目标值网络与在线值网络算法均采用三层DNN架构，网络激活函数为relu函数，网络输出函数为sigmoid函数，对应卸载动作的概率值，设置奖励值函数，卸载动作向量表征为X_t＝[x₁,x₂,...,x_K]，并将当前动作下的计算任务执行时延为当前状态函数。

Images