CN111565380B - 车联网中基于noma-mec混合卸载方法 - Google Patents

Abstract

本发明涉及车联网系统中无线短距离通信技术领域，具体涉及车联网中基于NOMA‑MEC混合卸载方法，包括：初始化，根据车辆用户的请求卸载任务Q_v和基于OMA的通信网络系统容量Q_max的大小选择是否采用OMA卸载方法进行卸载，对于不符合OMA卸载方法的车辆用户，则根据各车辆用户的卸载时延和能耗选择NOMA卸载方法或者NOMA‑MEC卸载方法进行任务卸载。本发明将部分车辆用户按照OMA卸载方法进行卸载，另一部分车辆用户利用NOMA卸载方法进行卸载传输，对卸载能耗进行了优化，能够最大程度的保证卸载车辆用户的效益。

Description

车联网中基于NOMA-MEC混合卸载方法

技术领域

本发明涉及车联网系统中无线短距离通信技术领域，具体涉及车联网中基于NOMA-MEC混合卸载方法。

背景技术

车联网系统中，传统的车辆用户任务卸载方法是采用移动边缘计算(MEC)在车辆用户附近的无线接入网络(RAN)内提供IT和云计算资源，使车辆用户尽可能方便地将其能耗(计算密集)任务卸载到MEC服务器，以减少移动设备上的应用程序执行时间，从而降低功耗。车辆的高速移动，多普勒频移较高导致车辆用户网络的拓扑结构变换较快，信道相干时间较低，信道估计的难度增大，并且车辆用户区域性集中度高，存在较大网络接入时延和较高的频谱资源需求。通常，移动设备通过正交多址(OMA)技术与基站相连，最多一个车联车辆用户分配一个信道。因此在有限的信道资源情况下很难实现频谱复用。并且，OMA模式下的车辆用户在卸载任务时需要排序等待，等到其他车辆用户卸载完成之后，再进行任务卸载，导致时延过长，影响车辆用户体验。在车联网场景下，面对新型的服务应用，如无人驾驶、超清视频、增强现实(AR)此类对时延敏感的计算任务，OMA技术很难满足时延的需求。

NOMA技术是第五代蜂窝网络的关键技术之一，通过为终端车辆用户分配不同的功率，可以在同一频带上同时为多个车辆用户提供服务，节省了信道资源。相较于OMA技术能够有效地提高频谱利用率，并且改善了多车辆用户计算卸载的性能；此外，NOMA技术也可以解决车辆用户集中度搞带来的问题。

本发明将NOMA技术应用到车联网系统中，利用NOMA技术改善基于MEC的通信网络的多车辆用户计算卸载性能，在基于MEC的车联网络系统中引入非正交多址(NOMA)技术，构建了一个新的车联网络通信架构，即NOMA-MEC的混合卸载方法。该方法可以根据车辆用户请求的任务属性以及卸载车辆用户的数量，进行信道资源分配；该方法通过将部分车辆用户按照传统正交多址(OMA)模式进行卸载，另一部分车辆用户利用NOMA模式进行卸载传输，更加全面的考虑到了目标优化函数的影响因子，不仅考虑到了任务卸载的时延需求，同时也对卸载能耗进行了优化。

发明内容

为了解决上述问题，本发明提供一种车联网中基于NOMA-MEC混合卸载方法。

一种车联网中基于NOMA-MEC的混合卸载方法，包括以下步骤：

S1：初始化车辆用户的请求卸载任务Q_v＝{S_v,D_v}和信道容量Q，确定车辆用户v的最佳能耗容忍区间(0,e^max)、时延能耗的权衡因子λ；其中，v表示车辆用户，且v＝{1,2,...,V}，V表示车辆用户的数量，S_v表示车辆用户v需要卸载的任务大小，D_v表示车辆用户v需要卸载任务的最大时延容忍度；

S2：判断车辆用户的请求卸载任务Q_v是否超出基于OMA的通信网络系统容量Q_max，若当前接入车辆用户数量未超出基于OMA的通信网络系统容量，则选择OMA卸载方法进行卸载；若接入的车辆用户数量Q_v超过了基于OMA的通信网络系统容量Q_max，则执行步骤S3；

S3：根据时延公式计算出各车辆用户的卸载时延t＝{t₁,t₂…t_k}，根据各车辆用户的卸载时延筛选出满足NOMA卸载方法条件的车辆用户，更新满足NOMA卸载方法条件的车辆用户集合v[]；

S4：以系统需求和卸载时延为约束条件，以系统的时延和能耗最小化为目标建立目标优化函数；采用基于DQN的合作博弈算法对所述目标优化函数进行求解，得到最优功率分配策略；

S5：根据最优功率分配策略分别求出每个车辆用户的能耗e_v；

S6：若车辆用户v的能耗e_v在最佳能耗容忍区间范围[0,e_max]内，且满足时延

或者满足成本

则选择NOMA卸载方法进行卸载；若车辆用户v的能耗e_v超出了最佳能耗容忍区间范围[0,e_max]，则选择NOMA-MEC卸载方法进行卸载，

其中，

表示车辆用户v选择NOMA卸载方法进行卸载的时延，

表示车辆用户v选择NOMA-MEC卸载方法进行卸载的时延，λ表示时延与能耗的权衡因子，

表示车辆用户v选择OMA卸载方法进行卸载的时延，

表示车辆用户v选择NOMA卸载方法进行卸载的功率。

进一步的，所述时延公式包括：

其中，t表示时延，S_v表示表示车辆用户v需要卸载的任务大小，B表示车辆用户的信道带宽，p是在MEC系统中的传输功率，h_v表示车辆用户v与MEC服务器之间的信道增益，p_v表示车辆用户的噪声功率。

进一步的，选择NOMA卸载方法的车辆用户必须满足条件包括：当车辆用户的卸载时延大于请求匹配车辆用户的卸载时延，则该车辆用户选择请求匹配车辆用户的信道进行任务卸载。

进一步的，所述目标优化函数包括：

其中，T_m表示车辆用户m实际卸载的时延，

表示车辆用户m在NOMA模式下的传输功率，

表示车辆用户n在时隙D_m的传输功率，D_m表示车辆用户m需要卸载任务的最大时延容忍度，S_n表示表示车辆用户n需要卸载的任务大小，R_n表示车辆用户n的传输速率，B表示表示车辆用户的信道带宽，

表示车辆用户n在时隙D_n的传输功率，p_v表示车辆用户的噪声功率，h_n表示车辆用户与MEC服务器之间的信道增益。

进一步的，所述基于DQN的合作博弈算法包括三个阶段：第一阶段在更新后满足NOMA卸载方法条件的车辆用户集合v[]中求出与车辆用户n匹配的信道；第二、三两个阶段利用奖励函数公式计算奖励函数，多次迭代求出最优功率分配策略。

进一步的，所述奖励函数公式包括：

其中，

表示车辆用户在状态S下选择行为A最小化任务执行时车辆用户获得的效用，S表示车辆用户的状态，A表示行为空间，

表示车辆用户n的总传输功率，T_V车辆用户V的卸载时延，

表示用户n的功率分配系数，S_n表示车辆用户n需要卸载的任务大小，R_n车辆用户n的传输速率，B表示车辆用户的信道带宽，p_v表示车辆用户的噪声功率，h_n表示车辆用户n与MEC服务器之间的信道增益；

表示车辆用户的动作a通过方法π以状态s在t时隙内最优收益函数，E[*]表示期望函数，τ_k表示学习率，且τ_k∈(0,1)，r_t表示当前状态t下卸载任务后得到的回报，r_t+k表示在k时刻后的回报，s_t表示当前状态，a_t表示当前状态s_t对应的行为。

本发明的有益效果：

1.本发明通过将部分车辆用户按照传统正交多址(OMA)模式进行卸载，另一部分车辆用户利用NOMA模式进行卸载传输，更加全面的考虑到了目标优化函数的影响因子，不仅考虑到了任务卸载的时延需求，同时也对卸载能耗进行了优化。

2.本发明采用基于DQN的合作博弈算法，通过多次的迭代学习能够有效的帮助车辆用户进行最优功率分配策略的选择，最大程度的保证卸载车辆用户的效益。

附图说明

下面结合附图和具体实施方式对本发明做进一步详细的说明。

图1为本发明实施例车联网中基于NOMA-MEC的系统模型图；

图2本发明所提车联网中基于NOMA-MEC混合卸载方法的实施流程图；

图3本发明实施例的深度学习网络模型图；

图4本发明实施例的给予卸载的合作博弈算法框图；

图5本发明实施例的任务大小与能耗关系图；

图6本发明实施例的车辆用户数目与总时延关系图；

图7本发明实施例的车辆用户数目与总开销关系图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本实施例的NOMA-MEC的系统模型图，在车联网中，基于NOMA-MEC的网络架构允许车辆用户v＝{1,2,...,V}通过同一个接入点与MEC服务器进行通信，并将车辆用户的请求任务卸载至MEC服务器进行处理；此外，还允许多个车辆用户在同一个时隙完成任务卸载。

图2为本实施例的一种车联网中基于NOMA-MEC混合卸载方法流程图，该方法能够最大的程度满足卸载任务的时延需求，同时也能够进一步减少任务卸载过程中的能量损耗，该方法包括但不限于如下步骤：

确定每个车辆用户卸载任务为Q_v＝{S_v,D_v}，初始化车辆用户v{1,2,...,V}的请求卸载任务Q_v＝{S_v,D_v}和信道容量Q，确定车辆用户v的最佳能耗容忍区间(0,e^max)和时延能耗的权衡因子λ。其中，V表示车辆用户的总数量，S_v表示车辆用户v需要卸载的任务大小，D_v表示车辆用户v需要卸载任务的最大时延容忍度。

判断车辆用户的请求卸载任务Q_v是否超出基于OMA的通信网络系统容量Q_max，如果当前接入车辆用户数量未超出基于OMA的通信网络系统容量，则选择OMA卸载方法进行卸载；如果接入的车辆用户数量Q_v超过了基于OMA的通信网络系统容量Q_max，则根据车辆用户的能耗来选择NOMA或NOMA-MEC卸载方法进行卸载。

根据时延公式计算出各车辆用户的时延t＝{t₁,t₂…t_k}，根据各车辆用户的时延筛选出符合使用NOMA卸载方法条件的车辆用户，更新满足NOMA卸载方法条件的车辆用户集合v[ ]。

所述时延公式包括：

其中，t表示时延，S_v表示表示车辆用户v需要卸载的任务大小，B表示车辆用户的信道带宽，p是在MEC系统中的传输功率，h_v表示车辆用户与MEC服务器之间的信道增益，p_v表示车辆用户的噪声功率。

使用NOMA卸载方法的车辆用户必须满足：当车辆用户的卸载时延大于请求匹配车辆用户的时延，则该车辆用户能够选择请求匹配车辆用户的信道进行任务卸载。例如，车辆用户k和n时延满足t_k≥t_n时，说明车辆用户n能够选择车辆用户k的信道进行任务卸载，这类车辆用户n符合使用NOMA卸载方法的条件，将这些符合条件的车辆用户筛选出来，放入车辆用户集合v[]中。

在传统的OMA-MEC系统中，每个车辆用户v分别占用一个时隙完成任务的卸载，完成该任务卸载的时延T_v ^OMA表示为

其中，

表示车辆用户v在OMA-MEC系统中的传输功率。

完成所有车辆用户卸载的总时延T^OMA表示为：

其中，V表示第V个车辆用户。

与传统的OMA-MEC系统相比，车辆用户通过NOMA卸载方法进行任务卸载相较于将会造成更多的能量损耗，通过混合NOMA-MEC的方式对车辆用户请求的任务进行卸载，既能最大的程度的满足卸载任务的时延需求，同时也能够进一步的减少任务卸载过程中的能量损耗。

在NOMA-MEC的通信系统框架中，可以允许多个车辆用户在同一个时隙完成任务卸载。假设有两个车辆用户m,n同时请求任务卸载，其中D_n≥D_m,m,n∈{1,2,…,V}，车辆用户m,n可以同时在D_m时隙内向MEC服务器进行任务卸载。车辆用户m,n的传输功率分别为

如果车辆用户m的信息在串行干扰消除(Successive Interference Cancelation，SIC)的第二阶段被解码，则车辆用户m的性能与OMA相同，因此车辆用户m的传输时延不会受到影响，车辆用户n的传输速率R_n在时隙D_m内为

其中，R_n表示车辆用户n的传输速率，

表示车辆用户n在时隙D_m的传输功率，h_m、h_n分别表示车辆用户m、n与MEC服务器之间的信道增益。

卸载的时间与传输速率有关，当传输速率越大，卸载时间越短。

混合NOMA-MEC卸载方法的优化目标是在系统需求和时延约束下，最小化系统的时延和能耗，以系统需求和时延为约束条件，以系统的时延和能耗最小化为目标建立目标优化函数，通过基于DQN的合作博弈算法对目标优化函数进行求解，得到最优功率分配策略。

在时隙D_m内，车辆用户m和车辆用户n同时进行任务卸载；当车辆用户m完成了任务卸载之后，车辆用户n继续进行任务卸载，车辆用户n完成该部分任务卸载的时延为

车辆用户n总的时延T_n为

其中，

表示车辆用户n在第二部分卸载的传输功率。

车辆用户m实际卸载的时延T_m表示为

s.t.T_m≤D_m

所述目标优化函数表达式为：

s.t.C1:

C2:

C3:

C4:T_n≥T_m≥0,T_n≤D_n

C5:

C6:

C7:

其中，E_mn表示车辆用户m和n的总的能耗，T_mn表示车辆用户总的时延，T_m表示车辆用户m实际卸载的时延，

表示车辆用户m在NOMA模式下的传输功率，一般情况下

表示车辆用户n在时隙D_m的传输功率，D_m表示车辆用户m需要卸载任务的最大时延容忍度，S_n表示车辆用户n需要卸载的任务大小，R_n表示车辆用户n的传输速率，B表示车辆用户的信道带宽，

表示车辆用户n在时隙D_n的传输功率，p_v表示车辆用户的噪声功率，h_n表示车辆用户与MEC服务器之间的信道增益；C1，C2分别表示车辆用户要完成任务卸载的资源大小；C3表示车辆用户n的传输速率R_n在时隙D_m内约束范围；C4表示车辆用户m、n满足任务卸载的最大时延容忍度；C5，C6，C7分别表示车辆用户在不同模式下传输功率限制。

为了确定目标优化函数的最优策略，需要保证目标优化函数的影响因子

T_mn最优。

将上述目标优化函数转化为关于变量

的二元函数

为

在上述二元目标函数里只含有两个变量因子

其余均默认为常量，将该方程进行简化处理如下

并求出其Hessen矩阵表达式为

上述矩阵存在余子式小于零的情况，因此上述目标优化函数是一个非凸优化问题。

为了解决该非凸优化问题，求出关于

最优的分配策略，采用基于深度强化学习(Deep Q-learning Network，DQN)的合作博弈算法对目标优化函数进行求解。DQN是一种将Q学习与神经网络相结合的算法，它使用深度神经网络作为Q值网络，并将Q表的更新问题转化为函数拟合问题，并通过相似的状态获得相似的输出动作，最终通过更新神经网络参数来估算最佳效用值。

如图3所示，基于DON的合作博弈算法可分解成三个阶段：竞争，合作，Q学习。第一阶段计算车辆用户n与不同车辆用户组合的能耗差，当该能耗差大于任务卸载的能耗缓冲间隙(能耗缓冲间隙是一个很小的能量)时，求出与车辆用户n匹配的信道；第二阶段定义效益因子，当效益因子最大化时，得到最优功率分配策略；第三阶段将第二阶段得到的效益因子重新定义成符合深度强化学习算法的奖励函数，根据深度Q网络迭代学习模拟车辆用户行为，为车辆用户选择最优的卸载策略。

基于DQN的合作博弈算法的第一阶段需要定义一组竞争关系，车辆用户n进行信道选择的过程属于竞争博弈的关系，确定车辆用户α和车辆用户β为竞争关系[α,β]，建立车辆用户模型：

其中，f_n(α)表示车辆用户α的用户模型，f_b(β)表示车辆用户β的用户模型，T_α，T_β分别表示车辆用户α，β的卸载时延，

分别表示车辆用户α，β的传输功率。

车辆用户n在匹配不同车辆用户下的能耗差为Δe：

Δe＝M-N

s.t.C1:Δe＞φ＞0

其中，M、N分别表示车辆用户n进行任务卸载与对应车辆用户α、β的能耗函数，Δe表示车辆用户n在匹配不同车辆用户下的能耗差，φ表示任务卸载的能耗缓冲间隙。

满足上述C1的约束条件时，即车辆用户n与不同车辆用户组合的能耗差大于任务卸载的能耗缓冲间隙时，选择车辆用户β的信道进行任务卸载，反之，在车辆用户α的信道进行任务卸载。

基于DON的合作博弈的第二阶段，根据目标函数的影响因子定义合作收益θ_g：

θ_g＝θ_r-θ_c

其中，θ_r表示车辆用户的收入因子，定义为车辆用户进行任务卸载过程中产生的时延的倒数；θ_r表示车辆用户的成本因子，由车辆用户卸载过程中产生的能耗确定，收入因子θ_r和合作效益θ_g成正相关函数，成本因子θ_c和合作效益θ_g成负相关函数，因此最优的合作方案是收入因子尽可能的大，而成本因子尽可能的小，这样才能保证车辆用户效益的最大化。

基于DON的合作博弈的第三阶段：通过深度Q网络迭代学习为车辆用户选择最优的卸载策略。深度Q网络迭代学习网络模型如图4所示。根据图4原理图模型，将其相关元素转换为数学模型，定义为D＝{S,A,R}，其中，D表示元组，S表示车辆用户的状态，A表示行为空间，R为奖励函数。

空间状态由车辆用户n的信道选择

和车辆用户n的功率分配系数

组成，其表达式为：

其中，

表示车辆用户n的信道选择，

表示车辆用户n的功率分配系数。

行为空间是价格策略数，A是由集合a₁＝{1,2,...V}和

构成的A＝{a₁,a₂}，其表达示为：

其中，

表示车辆用户n的总传输功率。

奖励函数是车辆用户在系统状态S下选择行为A最小化任务执行时车辆用户获得的效用。其表达式为

其中，

表示车辆用户在状态S下选择行为A最小化任务执行时车辆用户获得的效用，S表示车辆用户的状态，A表示行为空间，

表示车辆用户n的总传输功率，T_V车辆用户V的卸载时延，

表示用户n的功率分配系数，S_n表示车辆用户n需要卸载的任务大小，R_n车辆用户n的传输速率，B表示车辆用户的信道带宽，p_v表示车辆用户的噪声功率，h_n表示车辆用户n与MEC服务器之间的信道增益。

表示车辆用户的动作a通过方法π以状态s在t时隙内最优收益函数，其数学模型如下

车辆用户的动作a通过方法π以状态s在t时隙内最优收益函数，E[*]表示期望函数，τ_k表示学习率，且τ_k∈(0,1)，表示当前知识对先前学习知识的影响，r_t表示当前状态t下卸载任务后得到的回报，r_t+k表示在k时刻后的回报，s_t表示当前状态，a_t表示当前状态s_t对应的行为。

将Q网络看成具有近似动作值函数的神经网络逼近器Q(s,a；θ)，θ是权值，在每个决策周期，将车辆用户设备(Vehicle User Equipments,V-UEs)第一个决策周期的状态向量

作为Q网络的输入，其中

表示车辆用户n的信道选择，将所有可能的行为a作为输出；V-UEs采用ε-greedy方法在输出的所有可能的行为中选择与状态对应的行为。此外，Q网络通过迭代调整权重因子最小化损失函数，在时间步长处的损失函数为：

利用公式(1)、(2)计算奖励函数

给定一个转换<s_t,a_t,r_t,s_t+1＞，通过权重因子θ最小化当前预测的Q值Q(s_t,a_t)和目标Q值

之间的平方误差损失，更新Q网络，通过多次迭代，直到Q网络收敛到一个固定值的时候，迭代结束，得到最优功率分配方法。

首先，车辆用户在当前状态s_t下，使用贪婪方法ε-greedy在输出的所有可能的行为中选择与当前状态s_t对应的行为a_t，并根据行为a_t卸载任务，得到回报r_t＝R(s_t,a_t)；根据回报r_t＝R(s_t,a_t)，在下一个状态s_t+1下使用贪婪方法在输出的所有可能的行为中选择状态s_t+1对应的行为卸载任务，不停递归，使用Q网络估计的Q值，呈现车辆用户在每个决策周期开始时做出卸载决策动作，当Q网络迭代到固定值，迭代结束。将经验<s_t,a_t,r_t,s_t+1〉存储到重放内存Ω中，从内存Ω中随机选择一系列转换〈s,a,r,s′〉，使用

作为损失函数训练Q网络，当Q网络收敛到固定值，训练过程结束，得到最优功率分配方法。

根据最优功率分配策略分别求出每个车辆用户基于NOMA、NOMA-MEC的能耗。

如果车辆用户v的能耗e_v超出了最佳能耗容忍区间范围[0,e_max]，则选择NOMA-MEC卸载方法进行卸载；如果车辆用户v的能耗属于最佳能耗容忍区间范围，若

或者成本

选择NOMA卸载方法进行卸载，否则选择NOMA-MEC卸载方法进行卸载，其中，

表示车辆用户v选择NOMA卸载方法进行卸载的时延，

表示车辆用户v选择NOMA-MEC卸载方法进行卸载的时延，λ表示时延与能耗的权衡因子，

表示车辆用户v选择OMA卸载方法进行卸载的时延，

表示车辆用户v选择NOMA卸载方法进行卸载的功率。

所述成本计算公式如下：

其中，λ表示时延与能耗的权衡因子，

表示车辆用户n在时隙D_m的传输功率，h_m、h_n分别表示车辆用户m、n的信道增益。

本发明在基于MEC的车联网络系统中，引入了NOMA技术，构建了一个新的车联网络通信架构，并利用NOMA自身的技术优势，能够更好的适应多车辆用户应用场景，更加符合实际通信网络需求。本发明设计了一种基于NOMA-MEC混合卸载方法，能够为车联网车辆用户提供一种更加科学的卸载决策，主要是根据车辆用户请求的任务属性以及卸载车辆用户的数量，进行信道资源分配，为了保证所有车辆用户的效益最大化，该方法更加全面的考虑到了目标优化函数的影响因子，不仅考虑到了任务卸载的时延需求，同时也对卸载能耗进行了优化，主要是通过将部分车辆用户按照传统OMA模式进行卸载，另一部分车辆用户利用NOMA模式进行卸载传输来实现。

图5是基于传统OMA模式(对应图中“OMA”曲线)、传统纯NOMA模式(对应图中“NOMA”曲线)、本发明的混合NOMA(对应图中“混合NOMA”曲线)模式下的单一车辆用户卸载能耗图，根据该图的仿真结果发现：随着任务大小的增加，卸载过程产生的能耗也越高；同等任务量大小，在混合NOMA模式下的卸载方法比传统的OMA模式下的卸载方法会产生更高的能耗；纯NOMA模式下的卸载方法产生的能耗最高。

图6是关于请求任务卸载的车辆用户数量与任务卸载总时延的仿真结果，随着车辆用户数量的增加，任务卸载的总时延逐渐增大，同时不同模式下任务卸载的总时延差距也逐渐增加。造成上述现象的原因包括：当请求任务卸载的车辆用户数量较少时，三种模式下的信道资源都比较充足，能够满足车辆用户同时进行卸载，但是随着车辆用户数量的进一步增加，信道资源不足的问题逐渐显现出来，传统OMA模式下的车辆用户需要进行任务卸载排序，等待其他车辆用户完成卸载后才能进行卸载，而本发明的混合NOMA卸载方法能够在有限的信道资源下，满足更多的车辆用户同时进行任务卸载。

图7是车联网车辆用户请求任务卸载的数目与任务卸载总开销的关系，任务卸载的总开销包括任务卸载过程中产生的时延以及能耗。随着车辆用户数目的增加，在进行任务卸载的过程中将会产生更多的开销，通过三种卸载模式对比分析发现，混合NOMA-MEC的卸载方法相较于另外两种卸载模式产生的开销更小，产生该现象的主要原因是由于混合NOMA-MEC的卸载决策是一种更加全面的卸载方法，它不仅考虑了任务卸载过程中对时延的要求，同时也兼顾到了能耗的影响，因此该卸载模式能够最大化的保证车辆用户效益。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种车联网中基于NOMA-MEC的混合卸载方法，其特征在于，包括以下步骤：

S1：初始化车辆用户的请求卸载任务Q_v＝{S_v,D_v}和信道容量Q，确定车辆用户v的最佳能耗容忍区间(0,e^max)、时延能耗的权衡因子λ；其中，v表示车辆用户，且v＝{1,2,...,V}，V表示车辆用户的数量，S_v表示车辆用户v需要卸载的任务大小，D_v表示车辆用户v需要卸载任务的最大时延容忍度；

S2：判断车辆用户的请求卸载任务Q_v是否超出基于OMA的通信网络系统容量Q_max，若当前接入车辆用户数量未超出基于OMA的通信网络系统容量，则选择OMA卸载方法进行卸载；若接入的车辆用户数量Q_v超过了基于OMA的通信网络系统容量Q_max，则执行步骤S3；

S3：根据时延公式计算出各车辆用户的卸载时延t＝{t₁,t₂…t_k}，根据各车辆用户的卸载时延筛选出满足NOMA卸载方法条件的车辆用户，更新满足NOMA卸载方法条件的车辆用户集合v[]；

S4：以系统需求和卸载时延为约束条件，以系统的时延和能耗最小化为目标建立目标优化函数；采用基于DQN的合作博弈算法对所述目标优化函数进行求解，得到最优功率分配策略；

S5：根据最优功率分配策略分别求出每个车辆用户的能耗e_v；

S6：若车辆用户v的能耗e_v在最佳能耗容忍区间范围[0,e_max]内，且满足时延

或者满足成本

则选择NOMA卸载方法进行卸载；若车辆用户v的能耗e_v超出了最佳能耗容忍区间范围[0,e_max]，则选择NOMA-MEC卸载方法进行卸载，

其中，

表示车辆用户v选择NOMA卸载方法进行卸载的时延，

表示车辆用户v选择NOMA-MEC卸载方法进行卸载的时延，λ表示时延与能耗的权衡因子，

表示车辆用户v选择OMA卸载方法进行卸载的时延，

表示车辆用户v选择NOMA卸载方法进行卸载的功率。

2.根据权利要求1所述的一种车联网中基于NOMA-MEC的混合卸载方法，其特征在于，所述时延公式包括：

其中，t表示时延，S_v表示表示车辆用户v需要卸载的任务大小，B表示车辆用户的信道带宽，p是在MEC系统中的传输功率，h_v表示车辆用户v与MEC服务器之间的信道增益，p_v表示车辆用户的噪声功率。

3.根据权利要求1所述的一种车联网中基于NOMA-MEC的混合卸载方法，其特征在于，选择NOMA卸载方法的车辆用户必须满足条件包括：当车辆用户的卸载时延大于请求匹配车辆用户的卸载时延，则该车辆用户选择请求匹配车辆用户的信道进行任务卸载。

4.根据权利要求1所述的一种车联网中基于NOMA-MEC的混合卸载方法，其特征在于，所述目标优化函数包括：

其中，T_m表示车辆用户m实际卸载的时延，

表示车辆用户m在NOMA模式下的传输功率，

表示车辆用户n在时隙D_m的传输功率，D_m表示车辆用户m需要卸载任务的最大时延容忍度，S_n表示表示车辆用户n需要卸载的任务大小，R_n表示车辆用户n的传输速率，B表示表示车辆用户的信道带宽，

表示车辆用户n在时隙D_n的传输功率，p_v表示车辆用户的噪声功率，h_n表示车辆用户与MEC服务器之间的信道增益。

5.根据权利要求1所述的一种车联网中基于NOMA-MEC的混合卸载方法，其特征在于，所述基于DQN的合作博弈算法包括三个阶段：第一阶段在更新后满足NOMA卸载方法条件的车辆用户集合v[]中求出与车辆用户n匹配的信道；第二、三两个阶段利用奖励函数公式计算奖励函数，多次迭代求出最优功率分配策略。

6.根据权利要求5所述的一种车联网中基于NOMA-MEC的混合卸载方法，其特征在于，所述奖励函数公式包括：

其中，

表示车辆用户在状态S下选择行为A最小化任务执行时车辆用户获得的效用，S表示车辆用户的状态，A表示行为空间，

表示车辆用户n的总传输功率，T_V车辆用户V的卸载时延，

表示用户n的功率分配系数，S_n表示车辆用户n需要卸载的任务大小，R_n车辆用户n的传输速率，p_v表示车辆用户的噪声功率，h_n表示车辆用户n与MEC服务器之间的信道增益；

表示车辆用户的动作a通过方法π以状态s在t时隙内最优收益函数，E[*]表示期望函数，τ_k表示学习率，且τ_k∈(0,1)，r_t表示当前状态t下卸载任务后得到的回报，r_t+k表示在k时刻后的回报，s_t表示当前状态，a_t表示当前状态s_t对应的行为。

Images