CN117615419A - 基于任务调度与资源分配的分布式数据卸载方法 - Google Patents

Abstract

本发明公开了基于任务调度与资源分配的分布式数据卸载方法，包括：步骤1，对车联网数据卸载的物理层安全卸载和任务调度问题，进行建模；步骤2，车联网内车辆根据重要参数，确定任务处理的优先性，并采用合适的边缘计算决策进行数据处理；智能窃听干扰机侦测到车辆用户的数据卸载后，采取信息窃听或者动态干扰的方式阻碍数据传输卸载行为；步骤3，车联网的用户群内用户根据感知到的干扰机行为及其他用户的数据卸载行为，调整各自的参数，以实现最大化网络内部用户需求满意度为优化目标；步骤4，当车联网内多用户完成上述调整后，群智算法完成一次迭代。本申请提供一种高效的联合资源优化建模，最大化网络内部用户需求满意度。

Description

基于任务调度与资源分配的分布式数据卸载方法

技术领域

本发明属于无线通信技术领域，具体涉及基于任务调度与资源分配的分布式数据卸载方法。

背景技术

车联网和智能移动终端的普及，催生了VR技术、自动驾驶、增强现实等多种智能应用，这些都需要提供高带宽效率和低延迟的服务。然而，移动设备资源受限严重，无法满足日益增长的资源需求应用的需求。移动边缘计算(Mobile edge computing,MEC)技术可以弥合应用需求与移动用户(User Equipment,UE)有限能力之间的差距，其通过在靠近移动用户的基站(Base Station,BSs)部署MEC服务器来执行延迟敏感的服务，将数据卸载给周边高性能设备的移动边缘计算技术能很好地应对时延敏感任务的需求，从而扩展移动用户的计算和数据处理能力。

随着边缘计算应用于车联网等相关安全敏感行业，其要求在安全保障的前提下减少时延和节能的性能体验不断提升。由于无线通信的安全脆弱性和车联网中应用的多样性，车联网用户通常在时延和能耗方面既有安全需求，又有各种任务偏好。此外，由于无线信道固有的开放特性，在多接入MEC网络中，车联网内部用户之间用频极易发生冲突从而产生互扰，且计算任务在移动节点与MEC服务器之间进行数据卸载时容易受到非法用户的窃听(参考文献：SalhA,Audah L,ShahN S M,et al.A Survey on Deep Learning forUltra-Reliable and Low-Latency Communications Challenges on 6G WirelessSystems[J].IEEEAccess,2021,PP(99):1-1.)。然而，现有工作很少考虑联合解决此类问题，大多数考虑的是在相对理想的窃听场景中进行分层优化多维资源管理(参考文献：LiuY,Wang W,Cheny H H,et al.Physical Layer Security Assisted ComputationOffloading in Intelligently Connected Vehicle Networks[J].IEEE Transactionson Wireless Communications,2021,PP(99):1-1.参考文献：Yang H,Xiong Z,Zhao J,etal.Deep Reinforcement Learning Based Massive Access Management for Ultra-Reliable Low-Latency Communications[J].IEEE Transactions on wirelesscommunications,2021(5):20.)。很少考虑到多接入移动卸载系统对于非法用户的窃听和干扰的威胁。此外没有关注到车联网中不同用户在任务传输的优先级、安全性、延迟和能耗方面的特定需求因此，迫切需要研究新的多智能体智能学习方法来解决上述问题。

发明内容

本发明的目的解决现有技术中车联网中不同用户在任务传输的优先级、安全性、延迟和能耗方面的特定需求未被满足的问题。

本申请提供基于任务调度与资源分配的分布式数据卸载方法，包括以下步骤：

基于任务调度与资源分配的分布式数据卸载方法，其特征在于，所述方法包括：

步骤1，对车联网数据卸载的物理层安全卸载和任务调度问题，进行建模；描述为部分可观测的马尔科夫博弈过程，博弈的参与者是车联网中的车辆，并将联合任务调度、动态频谱接入和计算资源分配进行分布式决策优化；

步骤2，车联网内车辆根据自身卸载任务的任务重要信息、信息年龄等任务需求设计奖励加权值，确定任务处理的优先性，并采用合适的边缘计算决策进行数据处理；

智能窃听干扰机侦测到车辆用户的数据卸载后，采取信息窃听或者动态干扰的方式阻碍数据传输卸载行为；

步骤3，车联网的用户群内用户根据感知到的干扰机行为及其他用户的数据卸载行为，调整各自的信道接入、数据卸载比、发射功率和任务调度在内的边缘计算策略，以实现最大化网络内部用户需求满意度为优化目标；

步骤4，当车联网内多用户完成上述调整后，群智算法完成一次迭代，当所有车联网用户的多维通信资源实现合理分配，或者达到设定迭代次数后，结束进程。

进一步的，对车联网数据卸载的物理层安全卸载和任务调度问题，进行建模包括：

将基于物理层安全的车联网数据卸载问题，建模为非线性混合整数规划决策问题；

将车联网数据卸载的物理层安全问题进行建模分析，分析车联网内的本地计算和安全移动卸载问题。

进一步的，将步骤1中基于物理层安全的车联网数据卸载问题，建模为非线性混合整数规划决策问题，具体如下：

设定外界可用信道集为并满足/>移动设备数为N个；对于移动用户i来说，每个任务用包括三个元组(d_i(t),c_i(t),τ_i(t))组成的，其中d_i(t)是计算任务的数据大小；c_i(t)表示计算任务所需的CPU周期数，τ_i(t)给出了计算任务的最大可容忍延迟时间；当第t个计算任务在某个移动用户端生成或者到达时，移动用户系统必须根据确定该任务是需要被部分或者全部卸载到基站还是只在本地进行计算；

o_i(t)表示t时刻基站m是否与移动端用户相连，当o_i(t)＝1时，移动端用户的与基站m相连；反之，o_i(t)＝0；此外，定义移动用户i所选的接入信道，卸载比例，传输功率以及当前卸载任务分别为α_i(α_i∈[0,1])，P_i(P_i∈[P_min,P_max])，/>用户进行数据卸载时，如果所选信道被严重干扰阻塞导致卸载失败，用户必须切换信道；而在当前信道良好的情况下，终端通过调整卸载比例、传输功率实现任务数据的高效、安全卸载；

假设每个用户只能选择其中m个信道进行感知，按照预设规律进行，其中1＜m＜M；M为当前信道总数，通过感知所选择的信道，用户可以了解到相应的信道状态，而其他所有未被选择的信道的状态对用户来说是未知的；因此，从用户的角度来看，从M个信道中选择状态良好的信道是一种局部马尔科夫过程，其中用户的目标是根据之前的决策了解信道状态变化的模式；

定义当前选择的信道指标的观测值为：

在上式中，x_i,t表示时间时隙t的第i个信道的状态，t表示当前时隙；定义信道状态如下所示：

d_i,t＝1/(n-1)表示是n个用户都选择当前信道且当前信道为好频段的折扣因子0＜d_i,t＜1；

m_i,t＝n/N表示是n个用户在当前时隙同时选择信道状态为差频段的折扣因子。

进一步的，本地计算模型和安全卸载模型具体如下所示：

车辆用户需要根据任务的时效性以及任务优先级的要求在具有窃听者存在的多接入移动计算场景中安全地将数据卸载到基站；

在进行边缘计算过程中，每个用户有一个最大的CPU频率；对于本地计算，用户必须保证其计算能力能够在最大可容忍延迟时间内完成本地任务；其中本地计算延迟T_i ^l为本地用户算力处理计算任务所需时间，定义为：

其中，表示为MEC服务器分配给终端的计算能力，/>表示边缘计算设备分配给用户的计算能力；

移动用户i最大容忍延迟τ_i(t)的约束为τ_i(t)≥T_i ^l；如果卸载模式的延迟超过本地计算模式的延迟，就需要通过提高卸载比的方式减少本地计算量用以满足时间约束；第t个任务中的本地计算能量消耗为：

其中为用户的有效电容切换参数；

根据信号功率、信道增益、干扰功率以及其他用户的互扰，将网络内独立用户的发射端功率域效用函数定义为：

其中P_t表示移动用户传输功率，P_J为干扰机的干扰功率，W_i,B为用户和基站之间的传输链路信道增益，h_i,J为干扰和移动用户之间的干扰链路信道增益，P_n表示其他用户的发射功率，W_n,B为在同一频段中其他用户到基站的链路增益，基站接收端的噪声谱密度为N₀；

根据香农信道容量理论，用户i到基站的信道容量R_i,B与用户i到窃听干扰机J的信道容量R_i,J分别为：

其中B为系统带宽，N_i为用户i到窃听干扰机的背景噪声功率，λ为基站接收数据的解调阈值；根据上述表达式得出用户i对抗窃听干扰机J的安全容量为

其中[x]⁺表示max{x,0}；将移动用户i卸载到基站的卸载速率表示为r_i,B，安全卸载速率必须满足的条件，以防止窃听干扰机J对卸载任务进行窃听；

对于第t个计算任务，用户的总卸载延迟表示为:

在能耗方面，关注移动用户的能耗；每个用户的能耗表示为本地计算和安全计算迁移两部分；第t个任务到达时的能量消耗为:

引入安全成功传输指标x_i,B＝{-1,0,1}来表示用户i对于传输任务t的卸载安全性；x_i,B＝1意味着卸载过程的安全性能够保证，且不会被动态干扰所阻，即x_i,B＝0意味着卸载过程中虽然安全性能保证，但是干扰破坏了数据传输，即/>否则x_i,B＝-1，即/>

在衡量安全部分计算卸载时为用户i引入了一个归一化的能耗和延迟/>归一化计算方式如下所示：

其中应小于或等于1，以满足用户i对计算任务的延迟限制。

进一步的，步骤2中奖励加权机制如下：

每个数据包对应的紧急级别为ξ∈{1,2,…,v}；ξ＝0表示数据队列中的任务为空；新的数据包按照泊松分布进入队列，其均值为λ；设用户生成数据包数量的随机变量为将每个新生成的数据包插入紧迫性指标ξ以及最大信息年龄限制τ^end；当用户所传输的任务超过最大阈值年龄时任务失效，并从年龄和紧迫性状态向量中移除；基于此，提出一个奖励函数加权值来鼓励这种行为；用户i传输数据包/>所设定的奖励加权值ι_Y如下所示：

其中t_age表示该任务在传输前的等待时间。

进一步的，步骤3车联网的用户群内用户根据感知到的干扰机行为及其他用户的数据卸载行为，调整各自的边缘计算策略，以实现最大化网络内部用户需求满意度为优化目标，包括：

用户i定义包括任务调度、安全传输、时延减少和节能在内的用户需求满意度指标：

其权重值μ的范围为0≤μ≤1；

在优化问题中，目标是为每个用户的计算任务找到一个最优的数据卸载决策{P_i,f_i,α_i,Y_i}，使需求满足度RS_i(t)最大化，即在保证任务旨在最小化每个用户在延迟和能量消耗方面的计算成本，同时确保在窃听干扰机存在下的任务卸载安全性；综上所述，网络内优化问题表示为：

其中P,α,f分别为与基站相连各用户的功率、卸载比、频率等资源分配矩阵，Y_i(t)表示t时刻用户i所选择的传输任务；约束表示了移动用户可以选择的多维异构决策范围。

进一步的，当车联网内多用户完成上述调整后，群智算法完成一次迭代，当所有车联网用户的多维通信资源实现合理分配，或者达到设定迭代次数后，结束进程，包括：

步骤4.1，移动用户通过信道感知观察当前状态，并根据以下规则进行数据卸载决策：

(1)移动用户数据卸载决策a_i(t)以ε概率进行随机决策；

(2)移动用户所选择的移动数据卸载决策是以1-ε为概率进行选择(a_i(t)＝argmaxQ(O_i(t),a_i,θ_i))；

步骤4.2，在用户执行数据卸载后，基站根据其数据卸载情况将反馈奖励回传给用户并将生成的数据输入设计的神经网络中进行拟合，将历史奖励经验存储在经验回访池L中；

步骤4.3，各自用户的神经网络进行拟合过程中计算TD目标值，并根据奖励计算期望回报，同时更新观测g_i，更新信道状态x_i,t；

步骤4.4循环迭代，直至达到最大迭代次数，求出车联网内用户的最优边缘计算决策以满足各自用户任务的计算与卸载需求。

进一步的，在步骤4.2神经网络进行拟合的具体过程为：

定义用户i训练其深度Q网络的损失函数为：

其中为独立用户i的神经网络权重，/>表示目标网络参数；目标网络参数由网络权重相对固定的目标神经网络生成，即/>其中/>为目标神经网络的权重系数；目标神经网络与估计神经网络具有相同的网络结构，其权重每隔一段时间复制神经网络的权重，其他时间保持不变。

本发明与现有技术相比，其显著优点在于：(1)充分考虑了任务调度、卸载策略和资源分配三者之间的交互机制，提供一种高效的联合资源优化建模，以实现最大化网络内部用户需求满意度为优化目标，实现了问题的量化求解。多用户在同一信道上进行通信时用户之间的互干扰，提出了建模更加精确、物理意义更加清晰的基于物理层安全下的车联网数据卸载模型，能够更好地刻画车联网用户数据卸载场景；(2)提出了一种基于自适应编码调制与动态频谱接入技术相结合的抗干扰通信算法，通过独立用户自主感知外界信道环境，选择安全的数据卸载决策以及传输信道，并引入相关的系统开销因子，用以提高信道接入决策的稳定性。

附图说明

图1是本申请提供的基于物理层安全的车联网数据卸载模型的系统模型图；

图2是本申请提供的基于任务调度与资源分配的分布式数据卸载算法的网络结构图；

图3是本申请提供的基于任务调度与资源分配的分布式数据卸载算法的数据包排队系统示意图；

图4是本申请提供的实施例中对抗非法窃听和动态随机周期干扰的基于任务调度与资源分配的分布式数据卸载算法的性能对比图。

具体实施方式

本发明所提出的车联网数据卸载模型，旨在对基于物理层安全的车联网数据卸载中进行更为精确地刻画。本模型将车联网中的所有的车辆以及基站划分为发送-接收对，所有车辆可以选择不同的基站进行任务卸载。在车联网中存在智能窃听干扰机能够根据车辆的数据卸载行为对于卸载数据进行监听截获，但是当传输速率低于安全速率时，窃听干扰机无法窃听到任何信息，此时窃听干扰机采用动态干扰阻碍车联网中用户的数据卸载。窃听干扰机干扰效果与其干扰功率、信道增益和窃听能力有关；车联网中车辆与车辆之间存在互扰，互扰的大小与互干扰系数、所选传输信道和传输功率有关。本发明的目的在于提供一种基于任务调度和多维资源管理的多接入移动卸载系统对抗非法用户的窃听和干扰的分布式群智学习数据卸载算法。考虑到每个用户在任务传输的优先级、安全性、延迟和能耗方面的特定需求，通过分析任务调度、卸载策略和资源分配三者之间的交互机制，设计一种高效的联合资源优化方案，以实现最大化网络内部用户需求满意度为优化目标。所提方法在满足用户安全，时延约束的同时，联合优化多用户的信道接入、数据卸载速率、发射功率和任务调度，实现资源的节能调度和数据卸载。

图1是基于物理层安全的车联网数据卸载模型的系统模型图。该模型中，动设备端配备智能模块，移动设备通过感知外界信息和自身数据卸载要求制定相应的移动卸载决策，并将数据卸载给基站进行辅助计算。其中窃听干扰机具备窃听移动端数据信息和干扰数据卸载的能力。当移动端进行数据卸载时，窃听干扰机对于卸载数据进行监听截获，但是当用户的传输速率低于安全速率时，窃听者无法窃听到任何信息，此时窃听者采用常见干扰(扫频，双扫频，梳状等组合式动态)阻碍用户的数据卸载。

图2是本发明所提出的基于任务调度与资源分配的分布式数据卸载方法的网络结构模型图。

图3是本发明所提出的基于任务调度与资源分配的分布式数据卸载方法的数据包排队系统示意图。对于任务调度的依据主要是基于任务信息新鲜度和紧急程度所决定的。并引入了信息年龄(Age ofinformation,AoI)的概念：信息年龄主要用于在需要任务数据时效性要求较高的场景，用来描述系统所需处理数据的时效性或是“新鲜度”的概念。对数据时效性敏感的应用场景中，往往要求数据的“新鲜度”，而不太在意数据的吞吐量或者完整性。设定“年龄”是从数据包产生到它发送的那一刻的时延延迟。时延延迟越长，则表示信息新鲜度越低。

在每个离散的时间步长，用户通过观察自身任务队列的进行状态、信息年龄以及外界环境信息从而决定对于任务队列中的数据进行优先传输或者舍弃。所考虑的环境特征在系统模型以及信道模型中进行了介绍。从信息论的角度来说，用户需要利用网络资源在安全卸载的前提下为更多的优先级较高的任务提供确定性服务。本发明考虑了任务传输的优先级，并将任务本身的紧迫性作为其信息年龄的线性权重。

图4是本发明实施例中对抗非法窃听和动态随机周期干扰的基于任务调度与资源分配的分布式数据卸载算法的性能对比图。

本申请基于任务调度与资源分配的分布式数据卸载方法，方法包括：

步骤1，对车联网数据卸载的物理层安全卸载和任务调度问题，进行建模；描述为部分可观测的马尔科夫博弈过程，博弈的参与者是车联网中的车辆，并将联合任务调度、动态频谱接入和计算资源分配进行分布式决策优化；

步骤2，车联网内车辆根据自身卸载任务的任务重要信息、信息年龄等任务需求设计奖励加权值，确定任务处理的优先性，并采用合适的边缘计算决策进行数据处理；

智能窃听干扰机侦测到车辆用户的数据卸载后，采取信息窃听或者动态干扰的方式阻碍数据传输卸载行为；

步骤3，车联网的用户群内用户根据感知到的干扰机行为及其他用户的数据卸载行为，调整各自的信道接入、数据卸载比、发射功率和任务调度在内的边缘计算策略，以实现最大化网络内部用户需求满意度为优化目标；

步骤4，当车联网内多用户完成上述调整后，群智算法完成一次迭代，当所有车联网用户的多维通信资源实现合理分配，或者达到设定迭代次数后，结束进程。

进一步的，对车联网数据卸载的物理层安全卸载和任务调度问题，进行建模包括：

将基于物理层安全的车联网数据卸载问题，建模为非线性混合整数规划决策问题；将车联网数据卸载的物理层安全问题进行建模分析，分析车联网内的本地计算和安全移动卸载问题。

进一步的，将步骤1中基于物理层安全的车联网数据卸载问题，建模为非线性混合整数规划决策问题，具体如下：

设定外界可用信道集为并满足/>移动设备数为N个；对于移动用户i来说，每个任务用包括三个元组(d_i(t),c_i(t),τ_i(t))组成的，其中d_i(t)是计算任务的数据大小；c_i(t)表示计算任务所需的CPU周期数，τ_i(t)给出了计算任务的最大可容忍延迟时间；当第t个计算任务在某个移动用户端生成或者到达时，移动用户系统必须根据其相关特性来确定该任务是需要被部分或者全部卸载到基站还是只在本地进行计算；

o_i(t)表示t时刻基站m是否与移动端用户相连，当o_i(t)＝1时，移动端用户的与基站m相连；反之，o_i(t)＝0；此外，定义移动用户i所选的接入信道，卸载比例，传输功率以及当前卸载任务分别为α_i(α_i∈[0,1])，P_i(P_i∈[P_min,P_max])，/>用户进行数据卸载时，如果所选信道被严重干扰阻塞导致卸载失败，用户必须切换信道；而在当前信道良好的情况下，终端通过调整卸载比例、传输功率实现任务数据的高效、安全卸载；

假设每个用户只能选择其中m个信道进行感知，按照预设规律进行，其中1＜m＜M；M为当前信道总数，通过感知所选择的信道，用户可以了解到相应的信道状态，而其他所有未被选择的信道的状态对用户来说是未知的；因此，从用户的角度来看，从M个信道中选择状态良好的信道是一种局部马尔科夫过程，其中用户的目标是根据之前的决策了解信道状态变化的模式；

定义当前选择的信道指标的观测值为：

在上式中，x_i,t表示时间时隙t的第i个信道的状态，t表示当前时隙；在实际应用中，为了加速算法收敛，提高算法的稳定性以及收敛性，可以采用不同的碰撞检测机制和不同的折扣因子对于用户共用信道进行定义。定义信道状态如下所示：

d_i,t＝1/(n-1)表示是n个用户都选择当前信道且当前信道为好频段的折扣因子0＜d_i,t＜1；引入这个折扣因子是为了减少多用户同时访问同一信道。从而尽可能避免大量(两个以上)用户产生频谱接入冲突；m_i,t＝n/N表示是n个用户在当前时隙同时选择信道状态为差频段的折扣因子。

进一步的，本地计算模型和安全卸载模型具体如下所示：

车辆用户需要根据任务的时效性以及任务优先级的要求在具有窃听者存在的多接入移动计算场景中安全地将数据卸载到基站；在卸载过程中，移动用户通过物理层安全技术来减轻非法用户的窃听，躲避干扰机的恶意干扰从而进一步保证移动用户数据卸载的安全性，提高用户任务计算的效率。

在进行边缘计算过程中，由于通信设备的计算资源有限，每个用户有一个最大的CPU频率；对于本地计算，用户必须保证其计算能力能够在最大可容忍延迟时间内完成本地任务；其中本地计算延迟T_i ^l为本地用户算力处理计算任务所需时间，定义为：

其中，表示为MEC服务器分配给终端的计算能力，/>表示边缘计算设备分配给用户的计算能力；

移动用户i最大容忍延迟τ_i(t)的约束为τ_i(t)≥T_i ^l；如果卸载模式的延迟超过本地计算模式的延迟，就需要通过提高卸载比的方式减少本地计算量用以满足时间约束；第t个任务中的本地计算能量消耗为：

其中为用户的有效电容切换参数(计算能量效率系数)，该参数与CPU结构相关；

基站所收到用户信息的信干噪比(Signal-to-Interference-plus-Noise Ratio，SINR)主要受当前通信信道衰落、信道内其他用户互扰以及窃听干扰机干扰的影响。可以根据信号功率、信道增益、干扰功率以及其他用户的互扰，将网络内独立用户的发射端功率域效用函数定义为：

其中P_t表示移动用户传输功率，P_J为干扰机的干扰功率，W_i,B为用户和基站之间的传输链路信道增益，h_i,J为干扰和移动用户之间的干扰链路信道增益，P_n表示其他用户的发射功率，W_n,B为在同一频段中其他用户到基站的链路增益，基站接收端的噪声谱密度为N₀；

此外，为了保证数据卸载安全，使用物理层安全来衡量用户将计算任务卸载给基站时的通信安全。根据香农信道容量理论，用户i到基站的信道容量R_i,B与用户i到窃听干扰机J的信道容量R_i,J分别为：

其中B为系统带宽，N_i为用户i到窃听干扰机的背景噪声功率，λ为基站接收数据的解调阈值；根据上述表达式得出用户i对抗窃听干扰机J的安全容量为

其中[x]⁺表示max{x,0}；将移动用户i卸载到基站的卸载速率表示为r_i,B，安全卸载速率必须满足的条件，以防止窃听干扰机J对卸载任务进行窃听；

对于第t个计算任务，用户的总卸载延迟表示为:

在能耗方面，关注移动用户的能耗，因为基站通常由主电源供电，具有足够的能源资源；每个用户的能耗表示为本地计算和安全计算迁移两部分；第t个任务到达时的能量消耗为:

引入安全成功传输指标x_i,B＝{-1,0,1}来表示用户i对于传输任务t的卸载安全性；x_i,B＝1意味着卸载过程的安全性能够保证，且不会被动态干扰所阻，即x_i,B＝0意味着卸载过程中虽然安全性能保证，但是干扰破坏了数据传输，即/>否则x_i,B＝-1，即/>

在衡量安全部分计算卸载时为用户i引入了一个归一化的能耗和延迟/>归一化计算方式如下所示：

其中应小于或等于1，以满足用户i对计算任务的延迟限制。/>和/>可以直观地反映出基于安全的部分数据卸载而节省能量和减少延迟的程度。

进一步的，步骤2中奖励加权机制如下：

每个数据包对应的紧急级别为ξ∈{1,2,…,v}；ξ＝0表示数据队列中的任务为空；新的数据包按照泊松分布进入队列，其均值为λ；设用户生成数据包数量的随机变量为将每个新生成的数据包插入紧迫性指标ξ以及最大信息年龄限制τ^end；当用户所传输的任务超过最大阈值年龄时任务失效，并从年龄和紧迫性状态向量中移除；基于此，提出一个奖励函数加权值来鼓励这种行为；用户i传输数据包/>所设定的奖励加权值ι_Y如下所示：

其中t_age表示该任务在传输前的等待时间。ι_i可以直观地反映任务的数据传输计算价值，ι_i越高表示当前所传输任务的重要性越高。

进一步的，步骤3车联网的用户群内用户根据感知到的干扰机行为及其他用户的数据卸载行为，调整各自的边缘计算策略，以实现最大化网络内部用户需求满意度为优化目标，包括：

用户i定义包括任务调度、安全传输、时延减少和节能在内的用户需求满意度指标：

其权重值μ的范围为0≤μ≤1，权重值主要是用户i根据其设备性能和当前任务对时延和能耗的偏好给出；

在优化问题中，目标是为每个用户的计算任务找到一个最优的数据卸载决策{P_i,f_i,α_i,Y_i}，使需求满足度RS_i(t)最大化，即在保证任务旨在最小化每个用户在延迟和能量消耗方面的计算成本，同时确保在窃听干扰机存在下的任务卸载安全性；综上所述，网络内优化问题表示为：

其中P,α,f分别为与基站相连各用户的功率、卸载比、频率等资源分配矩阵，Y_i(t)表示t时刻用户i所选择的传输任务；约束表示了移动用户可以选择的多维异构决策范围。

进一步的，当车联网内多用户完成上述调整后，群智算法完成一次迭代，当所有车联网用户的多维通信资源实现合理分配，或者达到设定迭代次数后，结束进程，包括：

步骤4.1，移动用户通过信道感知观察当前状态，并根据以下规则进行数据卸载决策：

(1)移动用户数据卸载决策a_i(t)以ε概率进行随机决策；

(2)移动用户所选择的移动数据卸载决策是以1-ε为概率进行选择(a_i(t)＝argmaxQ(O_i(t),a_i,θ_i))；

步骤4.2，在用户执行数据卸载后，基站根据其数据卸载情况将反馈奖励回传给用户并将生成的数据输入设计的神经网络中进行拟合，将历史奖励经验存储在经验回访池L中；

步骤4.3，各自用户的神经网络进行拟合过程中计算TD目标值，并根据奖励计算期望回报，同时更新观测g_i，更新信道状态x_i,t；

步骤4.4循环迭代，直至达到最大迭代次数，求出车联网内用户的最优边缘计算决策以满足各自用户任务的计算与卸载需求。

进一步的，在步骤4.2神经网络进行拟合的具体过程为：

定义用户i训练其深度Q网络的损失函数为：

其中为独立用户i的神经网络权重，/>表示目标网络参数；传统深度强化学习算法中采用的压缩映射算子是max(·)，该算子对目标网络参数进行有偏估计。为了使训练过程更加平稳，算法收敛后效果更好，目标网络参数由网络权重相对固定的目标神经网络生成，即/>其中/>为目标神经网络的权重系数；目标神经网络与估计神经网络具有相同的网络结构，其权重每隔一段时间复制神经网络的权重，其他时间保持不变。保证所提算法收敛至更好的结果。

本申请方法采用MATD3算法架构。MATD3是Actor-Critic(AC)框架下的一种在线(on-line)异策(off-policy)式多智能体深度强化学习算法。它结合了深度确定性策略梯度算法和双重Q学习的特性，主要用于高维连续决策空间，也可用于高维混合决策空间。本发明采用双重网络以及延迟更新避免网络过估计问题，提高网络稳定性。对于独立用户来说，首先初始化3个网络，分别为参数为(θ₁,θ₂,φ)，首先初始化上述网络参数进行拟合后分别将对应的参数复制给目标网络(θ₁'←θ₁,θ′₂←θ₂,φ'←φ)。每次迭代，在选择归一化连续动作决策值时加入，使aπ_φ(o)+∈，∈～N(0,σ)，通过计算出观测状态下对应的Action的值/>并计算出/>获取/>每个用户都需要拟合自身的Actor网络π_i(a_i|o_i)与Q网络/>其中Q网络在训练阶段接收所有智能体的观测所组成的环境信息S以及所有智能体的动作a₁,...,a_N作为输入，以此集中式地计算所有用户的动作-价值函数；而Actor网络则以独立用户的局部观测为输入，输出其动作。为了使独立用户的智能体可以更加充分以及全面的感知外界环境信息，在运行深度强化学习算法，采取的是ε-贪婪决策策略，其中ε为随机探索环境的概率。为了使环境状态转移更加稳定，使多智能体能够快速、稳定地找到纳什均衡策略。

本发明的实施例具体描述如下，系统仿真采用python语言，基于TensorFlow深度学习框架。外界环境参数设置为双扫频干扰、梳状、扫频干扰三种干扰模式，并要求按照随机动态的模式进行干扰切换。信道传输的传输带宽为4MHZ，仿真为5个移动用户和两个基站，基站之间的工作频域不重叠，但是其功率影响范围部分重叠。移动用户匀速向远离基站或靠近基站的方向移动，期间速度不变，均设定为1m/s。系统中可用信道的信道数为10。信道传输的最大传输带宽为4MHZ，将用户和干扰机在40Mhz频段内进行对抗，用户可以在每个时隙切换信道、带宽、功率和卸载比。通信信号和干扰信号均采用上升余弦波形。引入用户任务生成模型生成200Kb-600Kb(服从均匀分布)的计算任务，任务到达过程符合泊松分布。用户计算能力(CPU周期数)为1.5×10⁸cycles/s。基站分配给每个用户的边缘计算设备算力为1×10⁹cycles/s。该基站的通信覆盖率为500m。窃听干扰机的干扰影响范围为1km。用户的计算能量效率系数为设定信号和干扰均为上升余弦波形，系统所处通信环境的归一化噪声N₀功率服从高斯分布，平均值为μ₁＝0，方差为σ₁＝0.5。接收机与发射机距离为1km，传输链路路径损耗因子为2.4。干扰机与发射机距离为2km，窃听干扰链路的路径损耗因子定义为3.2。阴影效应服从对数正态分布，均值μ₁,μ₂,μ₃＝1，方差为σ₁₁＝0.5，σ₁₂＝0.3，σ₁₃＝0.6。除非另有说明，干扰功率定义为P_j＝40dBm，通信功率P_t＝10dBm。通信系统信道切换因子设定为0.2。

仿真环境考虑的动态干扰场景，干扰机所选择的干扰是从梳状干扰、单扫频和双扫频干扰中随机切换干扰模式。维持当前干扰类型的时间从10到30秒是随机的。扫描速度设置为100MHz/s。梳状干扰分为3个固定频段:0-8MHz,16MHz-24MHz,32MHz-40MHz。

为了评估所提出的基于多智能体分布式协同算法的有效性，主要比较了与其他三种抗干扰算法的通信效用和成功概率：

1.分布式DQN学习：使用传统的DQN学习算法在多智能体场景下进行分布式抗干扰通信，且多用户之间无任何信息交互。

2.集中式P-DQN学习算法：通过一个集中式的中央控制器根据外界环境进行集中训练学习以及实时决策，并将决策信息通过控制信道实时发送给各个用户执行。

3.MADDPG算法：与所提算法不同，该算法不引入信道观测状态矩阵。

图4是是本发明实施例1中对抗非法窃听和动态随机周期干扰的基于任务调度和资源分配的算法的性能对比图。通过图4可以看出所提算法的有效性以及实用性。实现了能量高效的通信资源调度和数据卸载。

由图4可知所提算法在迭代过程中安全传输速率最高，收敛速度最快，能够对独立用户的外部环境做出有针对性的动态决策调整。这是因为所提算法通过对于算法结构的优化，降低网络结构对于超参数的敏感性，并引入信道状态观测矩阵，在加速网络拟合的同时，进一步提高了所提算法的性能。

由于缺乏中心控制器，本申请首先将联合任务调度、动态频谱接入和计算资源分配建模为一个分布式决策优化问题。在满足用户服务质量(QoS)需求，保证通信链路实现超可靠低时延数据计算需求的同时最大化全网用户的需求满意度。在此基础上，采用多智能体双延迟深度确定性策略梯度(Multi-agent Twin Delayed Deep Deterministic PolicyGradient,MATD3)网路结构，调整各自的传输信道、功率以及卸载比为最优边缘计算策略，在防止非法用户窃听的同时，对抗动态干扰。并对上述网络结构进行参数化设计，使各个车辆(移动用户)同时输出其对于基站进行信道接入和数据卸载的决策。通过算法的迭代，得到了当前环境下合理的多维资源分配和任务调度策略。

综上所述，本发明提出的车联网数据卸载模型，充分考虑了实际车联网数据卸载中多个用户存在互干扰存在的情况，构造了一个更加符合实际的车联网场景中的基于物理层安全的数据卸载模型；重点研究了在窃听干扰机环境下的多接入移动边缘计算问题。针对恶意用户的窃听，外界干扰的动态变化以及实时的信道衰落环境，提出了一种基于任务调度和多维资源管理的分布式群智数据卸载算法。该算法在满足用户安全，时延约束的同时，联合优化多用户的信道接入、数据卸载速率、发射功率和任务调度，实现资源的节能调度和数据卸载。

Claims (8)

1.基于任务调度与资源分配的分布式数据卸载方法，其特征在于，所述方法包括：

步骤1，对车联网数据卸载的物理层安全卸载和任务调度问题，进行建模；描述为部分可观测的马尔科夫博弈过程，博弈的参与者是车联网中的车辆，并将联合任务调度、动态频谱接入和计算资源分配进行分布式决策优化；

步骤2，车联网内车辆根据自身卸载任务的任务重要信息、信息年龄等任务需求设计奖励加权值，确定任务处理的优先性，并采用合适的边缘计算决策进行数据处理；

智能窃听干扰机侦测到车辆用户的数据卸载后，采取信息窃听或者动态干扰的方式阻碍数据传输卸载行为；

步骤3，车联网的用户群内用户根据感知到的干扰机行为及其他用户的数据卸载行为，调整各自的信道接入、数据卸载比、发射功率和任务调度在内的边缘计算策略，以实现最大化网络内部用户需求满意度为优化目标；

步骤4，当车联网内多用户完成上述调整后，群智算法完成一次迭代，当所有车联网用户的多维通信资源实现合理分配，或者达到设定迭代次数后，结束进程。

2.根据权利要求1所述的方法，其特征在于，对车联网数据卸载的物理层安全卸载和任务调度问题，进行建模包括：

将基于物理层安全的车联网数据卸载问题，建模为非线性混合整数规划决策问题；

将车联网数据卸载的物理层安全问题进行建模分析，分析车联网内的本地计算和安全移动卸载问题。

3.根据权利要求2所述的方法，其特征在于，将步骤1中基于物理层安全的车联网数据卸载问题，建模为非线性混合整数规划决策问题，具体如下：

设定外界可用信道集为并满足/>移动设备数为N个；对于移动用户i来说，每个任务用包括三个元组(d_i(t),c_i(t),τ_i(t))组成的，其中d_i(t)是计算任务的数据大小；c_i(t)表示计算任务所需的CPU周期数，τ_i(t)给出了计算任务的最大可容忍延迟时间；当第t个计算任务在某个移动用户端生成或者到达时，移动用户系统必须根据确定该任务是需要被部分或者全部卸载到基站还是只在本地进行计算；

o_i(t)表示t时刻基站m是否与移动端用户相连，当o_i(t)＝1时，移动端用户的与基站m相连；反之，o_i(t)＝0；此外，定义移动用户i所选的接入信道，卸载比例，传输功率以及当前卸载任务分别为α_i(α_i∈[0,1])，P_i(P_i∈[P_min,P_max])，/>用户进行数据卸载时，如果所选信道被严重干扰阻塞导致卸载失败，用户必须切换信道；而在当前信道良好的情况下，终端通过调整卸载比例、传输功率实现任务数据的高效、安全卸载；

假设每个用户只能选择其中m个信道进行感知，按照预设规律进行，其中1＜m＜M；M为当前信道总数，通过感知所选择的信道，用户可以了解到相应的信道状态，而其他所有未被选择的信道的状态对用户来说是未知的；因此，从用户的角度来看，从M个信道中选择状态良好的信道是一种局部马尔科夫过程，其中用户的目标是根据之前的决策了解信道状态变化的模式；

定义当前选择的信道指标的观测值为：

在上式中，x_i,t表示时间时隙t的第i个信道的状态，t表示当前时隙；定义信道状态如下所示：

d_i,t＝1/(n-1)表示是n个用户都选择当前信道且当前信道为好频段的折扣因子0＜d_i,t＜1；

m_i,t＝n/N表示是n个用户在当前时隙同时选择信道状态为差频段的折扣因子。

4.根据权利要求2所述的基于任务调度与资源分配的分布式数据卸载方法，其特征在于，本地计算模型和安全卸载模型具体如下所示：

车辆用户需要根据任务的时效性以及任务优先级的要求在具有窃听者存在的多接入移动计算场景中安全地将数据卸载到基站；

在进行边缘计算过程中，每个用户有一个最大的CPU频率；对于本地计算，用户必须保证其计算能力能够在最大可容忍延迟时间内完成本地任务；其中本地计算延迟T_i ^l为本地用户算力处理计算任务所需时间，定义为：

其中，表示为MEC服务器分配给终端的计算能力，/>表示边缘计算设备分配给用户的计算能力；

移动用户i最大容忍延迟τ_i(t)的约束为τ_i(t)≥T_i ^l；如果卸载模式的延迟超过本地计算模式的延迟，就需要通过提高卸载比的方式减少本地计算量用以满足时间约束；第t个任务中的本地计算能量消耗为：

其中为用户的有效电容切换参数；

根据信号功率、信道增益、干扰功率以及其他用户的互扰，将网络内独立用户的发射端功率域效用函数定义为：

其中P_t表示移动用户传输功率，P_J为干扰机的干扰功率，W_i,B为用户和基站之间的传输链路信道增益，h_i,J为干扰和移动用户之间的干扰链路信道增益，P_n表示其他用户的发射功率，W_n,B为在同一频段中其他用户到基站的链路增益，基站接收端的噪声谱密度为N₀；

根据香农信道容量理论，用户i到基站的信道容量R_i,B与用户i到窃听干扰机J的信道容量R_i,J分别为：

其中B为系统带宽，N_i为用户i到窃听干扰机的背景噪声功率，λ为基站接收数据的解调阈值；根据上述表达式得出用户i对抗窃听干扰机J的安全容量为

其中[x]⁺表示max{x,0}；将移动用户i卸载到基站的卸载速率表示为r_i,B，安全卸载速率必须满足的条件，以防止窃听干扰机J对卸载任务进行窃听；

对于第t个计算任务，用户的总卸载延迟表示为:

在能耗方面，关注移动用户的能耗；每个用户的能耗表示为本地计算和安全计算迁移两部分；第t个任务到达时的能量消耗为:

引入安全成功传输指标x_i,B＝{-1,0,1}来表示用户i对于传输任务t的卸载安全性；x_i,B＝1意味着卸载过程的安全性能够保证，且不会被动态干扰所阻，即f_i≠f_J；x_i,B＝0意味着卸载过程中虽然安全性能保证，但是干扰破坏了数据传输，即/>f_i＝f_J；否则x_i,B＝-1，即/>

在衡量安全部分计算卸载时为用户i引入了一个归一化的能耗和延迟/>归一化计算方式如下所示：

其中应小于或等于1，以满足用户i对计算任务的延迟限制。

5.根据权利要求2所述的基于任务调度与资源分配的分布式数据卸载方法，其特征在于，步骤2中奖励加权机制如下：

每个数据包对应的紧急级别为ξ∈{1,2,…,v}；ξ＝0表示数据队列中的任务为空；新的数据包按照泊松分布进入队列，其均值为λ；设用户生成数据包数量的随机变量为将每个新生成的数据包插入紧迫性指标ξ以及最大信息年龄限制τ^end；当用户所传输的任务超过最大阈值年龄时任务失效，并从年龄和紧迫性状态向量中移除；基于此，提出一个奖励函数加权值来鼓励这种行为；用户i传输数据包/>所设定的奖励加权值ι_Y如下所示：

其中t_age表示该任务在传输前的等待时间。

6.根据权利要求1所述的基于任务调度与资源分配的分布式数据卸载方法，其特征在于，步骤3车联网的用户群内用户根据感知到的干扰机行为及其他用户的数据卸载行为，调整各自的边缘计算策略，以实现最大化网络内部用户需求满意度为优化目标，包括：

用户i定义包括任务调度、安全传输、时延减少和节能在内的用户需求满意度指标：

其权重值μ的范围为0≤μ≤1；

在优化问题中，目标是为每个用户的计算任务找到一个最优的数据卸载决策{P_i,f_i,α_i,Y_i}，使需求满足度RS_i(t)最大化，即在保证任务旨在最小化每个用户在延迟和能量消耗方面的计算成本，同时确保在窃听干扰机存在下的任务卸载安全性；综上所述，网络内优化问题表示为：

其中P,α,f分别为与基站相连各用户的功率、卸载比、频率等资源分配矩阵，Y_i(t)表示t时刻用户i所选择的传输任务；约束表示了移动用户可以选择的多维异构决策范围。

7.根据权利要求1所述的基于任务调度与资源分配的分布式数据卸载方法，其特征在于，当车联网内多用户完成上述调整后，群智算法完成一次迭代，当所有车联网用户的多维通信资源实现合理分配，或者达到设定迭代次数后，结束进程，包括：

步骤4.1，移动用户通过信道感知观察当前状态，并根据以下规则进行数据卸载决策：

(1)移动用户数据卸载决策a_i(t)以ε概率进行随机决策；

(2)移动用户所选择的移动数据卸载决策是以1-ε为概率进行选择(a_i(t)＝arg max Q(O_i(t),a_i,θ_i))；

步骤4.2，在用户执行数据卸载后，基站根据其数据卸载情况将反馈奖励回传给用户并将生成的数据输入设计的神经网络中进行拟合，将历史奖励经验存储在经验回访池L中；

步骤4.3，各自用户的神经网络进行拟合过程中计算TD目标值，并根据奖励计算期望回报，同时更新观测g_i，更新信道状态x_i,t；

步骤4.4循环迭代，直至达到最大迭代次数，求出车联网内用户的最优边缘计算决策以满足各自用户任务的计算与卸载需求。

8.根据权利要求7所述的基于任务调度与资源分配的分布式数据卸载方法的具体步骤中，其特征在于，在步骤4.2神经网络进行拟合的具体过程为：

定义用户i训练其深度Q网络的损失函数为：

其中为独立用户i的神经网络权重，/>表示目标网络参数；目标网络参数由网络权重相对固定的目标神经网络生成，即/>其中/>为目标神经网络的权重系数；目标神经网络与估计神经网络具有相同的网络结构，其权重每隔一段时间复制神经网络的权重，其他时间保持不变。