CN115866559A - 一种非正交多址接入辅助的车联网低能耗安全卸载方法 - Google Patents

一种非正交多址接入辅助的车联网低能耗安全卸载方法 Download PDF

Info

Publication number
CN115866559A
CN115866559A CN202211490486.2A CN202211490486A CN115866559A CN 115866559 A CN115866559 A CN 115866559A CN 202211490486 A CN202211490486 A CN 202211490486A CN 115866559 A CN115866559 A CN 115866559A
Authority
CN
China
Prior art keywords
vehicle
user vehicle
vehicles
ith
ith user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211490486.2A
Other languages
English (en)
Other versions
CN115866559B (zh
Inventor
俱莹
曹植伟
陈宇超
刘雷
裴庆祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202211490486.2A priority Critical patent/CN115866559B/zh
Publication of CN115866559A publication Critical patent/CN115866559A/zh
Application granted granted Critical
Publication of CN115866559B publication Critical patent/CN115866559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种非正交多址接入辅助的车联网低能耗安全卸载方法，包括：设定单基站车联网通信场景，用排队论对车辆到达道路过程建模；用NOMA方式将用户车辆和空闲辅助车辆接入车联网通信系统，在预设系统场景条件下，将空闲辅助车辆与用户车辆的NOMA配对选择、发送功率选择和用户车辆对边缘服务器的计算资源块选择作为优化目标，至少基于计算时延建立约束条件，构建最小化系统能耗的优化问题；利用部分车辆环境下的状态信息训练预先设计的目标A3C网络得到训练完成的目标模型；将待处理车辆的状态信息输入目标模型输出动作作为决策结果。本发明将物理层安全技术和NOMA在车联网边缘计算网络中结合，能确保信息安全并降低系统能耗。

Description

一种非正交多址接入辅助的车联网低能耗安全卸载方法
技术领域
本发明属于车联网领域，具体涉及一种非正交多址接入辅助的车联网低能耗安全卸载方法。
背景技术
随着技术的不断进步以及应用需求的增加，大数据在车联网上的应用促使车辆产生越来越多的延迟敏感任务来支持包括交通流预测在内的新型服务，这些任务能够通过两种方法得到解决，一种是增强车载芯片的计算能力，这使得车辆可以在本地快速地处理这些任务。另外一种是通过使用移动边缘计算技术来处理任务。移动边缘计算技术是利用无线接入网络就近提供给用户所需服务和云端计算功能，进而创造出一个具备高性能、低延迟与高带宽的通信服务环境。移动边缘计算技术能有效地解决车辆计算能力不足的问题，但是由于无线信道的开放特性，计算卸载的过程存在信息泄露的问题。
现有的技术方案在信息保密方面主要是通过密钥来加密信息，使得信息的安全得到保障，但是随着计算芯片的不断发展，以复杂度作为信息加密基础的密钥方法不再安全。目前，也有部分研究通过物理层安全技术来增强信息的安全性，物理层安全技术通过利用无线信道的特性保护用户的隐私，提升信息传输的安全性，如利用信号处理、信道编码、多天线调制等技术，但是它们主要采用传统数学优化算法来解决问题，但传统数学优化算法寻优缓慢，会消耗大量的时间，难以适应车联网中快速变化的环境，并且它们主要考虑的是位置固定不变的用户，只能在某一个位置提高安全性，无法做到实时快速反馈，因此无法适应车联网场景。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种非正交多址接入辅助的车联网低能耗安全卸载方法。本发明要解决的技术问题通过以下技术方案实现：
一种非正交多址接入辅助的车联网低能耗安全卸载方法，包括：
设定单基站车联网通信场景，利用排队论对车辆到达道路的过程进行建模；其中，所述单基站车联网通信场景包括用户车辆的集合、空闲辅助车辆的集合和窃听者车辆的集合；
在车辆到达道路过程的建模结果基础上，采用NOMA方式将用户车辆和空闲辅助车辆接入车联网通信系统，在预设系统场景条件下，将空闲辅助车辆与用户车辆的NOMA配对选择、发送功率选择和用户车辆对边缘服务器的计算资源块选择作为优化目标，至少基于计算时延建立约束条件，构建最小化系统能耗的优化问题；其中，所述预设系统场景条件，包括：每个用户车辆占用一个频带且彼此间无干扰；窃听者车辆仅被动窃听用户车辆发送至基站的信息；所述车联网通信系统包括多个NOMA簇，每个NOMA簇由多个空闲辅助车辆与一个用户车辆组成；空闲辅助车辆用于干扰窃听者；同一个NOMA簇中，基站对用户车辆最后解码；用户车辆利用物理层安全技术将信息保密卸载至基站；
利用所述车联网通信系统中部分车辆环境下的状态信息对预先设计的目标A3C网络进行训练，得到训练完成的目标模型；其中，部分车辆环境下的状态信息包括用户车辆发送的数据包大小以及车辆的信道信息；所述目标A3C网络经结构设计、动作设计和奖励设计得到；动作与所述优化问题的优化目标对应；奖励基于系统能耗和计算时延设计得到；
将所述车联网通信系统中待处理车辆的状态信息输入所述目标模型，输出相应的动作作为决策结果。
在本发明的一个实施例中，所述车辆到达道路过程的建模结果，包括：
车辆到达时间间隔的概率密度函数fT(t)：
Figure BDA0003964765520000021
其中，车辆到达的时间间隔t服从负指数分布，λ为预设系数。
在本发明的一个实施例中，所述优化问题的表达式，包括：
Figure BDA0003964765520000031
C1:
Figure BDA0003964765520000032
C2:
Figure BDA0003964765520000033
C3:
Figure BDA0003964765520000034
C4:
Figure BDA0003964765520000035
C5:
Figure BDA0003964765520000036
C6:
Figure BDA0003964765520000037
C7:
Figure BDA0003964765520000038
其中，
Figure BDA0003964765520000039
表示第i个用户车辆消耗的总能量；Nu表示用户车辆的数量；X、Y、Z分别表示空闲辅助车辆与用户车辆的NOMA配对选择、发送功率选择和用户车辆对边缘服务器的计算资源块选择；min表示求最小值；C1～C7表示约束条件；二进制指示zi[k]表示边缘服务器的第k个资源块是否被分配给第i个用户车辆使用；fk表示第k个资源块的计算速率；/>
Figure BDA00039647655200000310
表示边缘服务器最大计算速率；Nb表示边缘服务器的资源块数量；二进制指示ρj[i]表示第j个空闲辅助车辆与第i个用户车辆是否进行NOMA配对；Nh表示辅助空闲辅助车辆的数量；二进制指示/>
Figure BDA00039647655200000311
表示第i个用户车辆是否选择第m个发送功率Pm作为其发送功率；Np表示发送功率Pm的总数；二进制指示/>
Figure BDA00039647655200000312
表示第j个空闲辅助车辆是否选择第m个发送功率Pm作为其发送功率；/>
Figure BDA00039647655200000313
表示第i个用户车辆的计算任务在边缘服务器上计算的时间；T表示计算时延阈值；各二进制指示值为1和0时分别表示对应的指示结果为是和否。
在本发明的一个实施例中，所述优化问题的构建过程，包括：
根据第i个用户车辆的发送功率
Figure BDA0003964765520000041
第i个用户车辆到基站的信道增益gi,B和噪声σ2，确定第i个用户车辆通过第i个频带到基站的卸载链路速率/>
Figure BDA0003964765520000042
根据第i个用户车辆的发送功率
Figure BDA0003964765520000043
第j个空闲辅助车辆的发送功率/>
Figure BDA0003964765520000044
第i个用户车辆到第n个窃听者车辆的信道增益gi,n、第j个空闲辅助车辆到第n个窃听者车辆的信道增益gj,n、噪声σ2以及第j个空闲辅助车辆与第i个用户车辆是否进行NOMA配对的二进制指示ρj[i]，确定第n个窃听者车辆在第i个频带上对第i个用户车辆进行窃听时的速率/>
Figure BDA0003964765520000045
并根据物理层安全技术确定第i个用户车辆的保密卸载速率/>
Figure BDA0003964765520000046
根据第i个用户车辆计算任务的大小Bi与保密卸载速率
Figure BDA0003964765520000047
的比值，确定第i个用户车辆将信息传输到基站的时间/>
Figure BDA0003964765520000048
根据第i个用户车辆将信息传输到基站的时间
Figure BDA0003964765520000049
第i个用户车辆是否选择第m个发送功率Pm作为其发送功率的二进制指示/>
Figure BDA00039647655200000410
确定第i个用户车辆在将信息卸载到基站过程中消耗的能量/>
Figure BDA00039647655200000411
根据第i个用户车辆将信息传输到基站的时间
Figure BDA00039647655200000412
第j个空闲辅助车辆的发送功率
Figure BDA00039647655200000413
第j个空闲辅助车辆与第i个用户车辆是否进行NOMA配对的二进制指示ρj[i]、第j个空闲辅助车辆是否选择第m个发送功率Pm作为其发送功率的二进制指示/>
Figure BDA00039647655200000414
确定与第i个用户车辆配对的空闲辅助车辆消耗的能量/>
Figure BDA00039647655200000415
基于第i个用户车辆计算任务的大小Bi、第k个资源块是否被分配给第i个用户车辆使用的二进制指示zi[k]、第k个资源块的计算速率fk，确定第i个用户车辆的计算任务在边缘服务器上计算的时间
Figure BDA00039647655200000416
并确定第i个用户车辆在边缘服务器上消耗的能量/>
Figure BDA0003964765520000051
将第i个用户车辆消耗的能量
Figure BDA0003964765520000052
和/>
Figure BDA0003964765520000053
之和作为其消耗的总能量/>
Figure BDA0003964765520000054
将所有用户车辆消耗的总能量作为系统能耗构建优化问题，并设置所述优化问题的优化目标和约束条件C1～C7；其中，约束条件C1保证分配给所有用户车辆的处理速率不超过边缘服务器最大计算速率/>
Figure BDA0003964765520000055
约束条件C2、C3、C4、C5保证每个用户车辆只能选择选择一个频带、一个发送功率和一个资源块，约束条件C6限制计算时延小于等于计算时延阈值T，约束条件C7指定优化目标的决策变量为二元变量。/>
在本发明的一个实施例中，第i个用户车辆通过第i个频带到基站的卸载链路速率
Figure BDA0003964765520000056
的计算公式，包括：
Figure BDA0003964765520000057
Figure BDA0003964765520000058
第n个窃听者车辆在第i个频带上对第i个用户车辆进行窃听时的速率
Figure BDA0003964765520000059
的计算公式，包括：
Figure BDA00039647655200000510
Figure BDA00039647655200000511
第i个用户车辆的保密卸载速率
Figure BDA00039647655200000512
的计算公式，包括：
Figure BDA00039647655200000513
其中，W表示频带带宽；
Figure BDA00039647655200000514
表示窃听时受到的干扰；ve表示所有窃听者车辆的集合；ρj[i]＝1表示第j个空闲辅助车辆与第i个用户车辆进行了NOMA配对，ρj[i]＝0表示第j个空闲辅助车辆没有与第i个用户车辆进行NOMA配对。
在本发明的一个实施例中，第i个用户车辆在将信息卸载到基站过程中消耗的能量
Figure BDA0003964765520000061
的计算公式，包括：
Figure BDA0003964765520000062
Figure BDA0003964765520000063
其中，
Figure BDA0003964765520000064
表示第i个用户车辆选择第m个发送功率Pm作为其发送功率，
Figure BDA0003964765520000065
表示第i个用户车辆没有选择第m个发送功率Pm作为其发送功率。
在本发明的一个实施例中，与第i个用户车辆配对的空闲辅助车辆消耗的能量
Figure BDA0003964765520000066
的计算公式，包括：
Figure BDA0003964765520000067
Figure BDA0003964765520000068
/>
其中，
Figure BDA0003964765520000069
表示第j个空闲辅助车辆选择第m个发送功率Pm作为其发送功率，
Figure BDA00039647655200000610
表示第j个空闲辅助车辆没有选择第m个发送功率Pm作为其发送功率。
在本发明的一个实施例中，第i个用户车辆的计算任务在边缘服务器上计算的时间
Figure BDA00039647655200000611
的计算公式，包括：
Figure BDA00039647655200000612
其中，zi[k]＝1表示第k个资源块被分配给第i个用户车辆使用，zi[k]＝0表示第k个资源块没有被分配给第i个用户车辆使用；u表示计算能力；
第i个用户车辆在边缘服务器上消耗的能量
Figure BDA00039647655200000613
的计算公式，包括：
Figure BDA00039647655200000614
其中，η表示处理器电容系数。
在本发明的一个实施例中，所述目标A3C网络为三层的全连接网络；所述目标A3C网络的动作设计，包括：
采用一个三维坐标来表示所述目标A3C网络的动作，其中X轴代表空闲辅助车辆与用户车辆的NOMA配对选择，共有Na种；Y轴代表空闲辅助车辆与用户车辆的发送功率选择，共有Np种，Z轴代表用户车辆对边缘服务器的计算资源块，共有Nb种。
在本发明的一个实施例中，所述目标A3C网络的奖励设计，包括：
将所述目标A3C网络的奖励分为与系统能耗相关的正奖励re，以及与计算时延有关的负奖励rd，总奖励为rt＝w1re+w2rd；其中，w1和w2为加权系数；
根据系统能耗大小将正奖励re划分为多个档次；其中，正奖励re划分出的多个档次表示为：
Figure BDA0003964765520000071
根据计算时延大小将负奖励rd划分为多个档次；其中，负奖励rd划分出的多个档次表示为：
Figure BDA0003964765520000072
其中，
Figure BDA0003964765520000073
e1和e2表示两种能量阈值大小；ζ1表示最大正奖励值大小；
Figure BDA0003964765520000074
表示所有用户车辆最大的计算时延；ζ2表示最大负奖励值大小；T表示计算时延阈值。/>
现有技术中尚未有在车联网中使用NOMA技术和物理层安全技术确保信息安全的同时降低系统整体能耗的方案。本发明实施例所提供的方案首先设定单基站车联网通信场景，利用排队论对车辆到达道路的过程进行建模，使得场景更加接近实际的场景。之后在建模基础上，采用NOMA方式将用户车辆和空闲辅助车辆接入车联网通信系统，在预设系统场景条件下，将空闲辅助车辆与用户车辆的NOMA配对选择、发送功率选择和用户车辆对边缘服务器的计算资源块选择作为优化目标，至少基于计算时延建立约束条件，构建最小化系统能耗的优化问题，并且优化问题构建过程中考虑利用物理层安全技术进行用户车辆信息卸载。然后，利用所述车联网通信系统中部分车辆环境下的状态信息对预先设计的目标A3C网络进行训练，得到训练完成的目标模型。最后，将所述车联网通信系统中待处理车辆的状态信息输入所述目标模型，输出相应的动作作为决策结果以分配给待处理车辆进行信息传输使用。
本发明实施例通过联合空闲辅助车辆与用户车辆的NOMA配对、用户车辆和配对的空闲辅助车辆的发送功率以及边缘服务器的资源块分配，优化整体的系统能耗问题，并且对计算卸载的时间等进行了约束。本发明实施例方法能够在通过适当的训练后，使得目标模型能够在保证信息安全的同时，快速做出决策解决问题。而且本发明实施例将优化问题建模为单智能决策问题，并通过深度强化学习的方法进行求解，所采用的目标A3C网络由于其A3C算法有异步多线程的特点，可以加快训练过程，因此能够降低系统整体能耗并保证传输过程的安全性。
附图说明
图1为本发明实施例所提供的一种非正交多址接入辅助的车联网低能耗安全卸载方法的流程示意图；
图2为本发明实施例的单基站车联网通信场景示意图；
图3为本发明实施例的目标A3C网络的结构示意图；
图4为本发明实施例提供的不同方案在不同的交通图案下的系统性能和各车辆性能对比示意图；
图5为本发明实施例提供的不同方案在不同容量阈值限制下的平均连接概率示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例所提供的一种非正交多址接入辅助的车联网低能耗安全卸载方法，可以包括如下步骤：
S1，设定单基站车联网通信场景，利用排队论对车辆到达道路的过程进行建模；
需要说明的是，本发明实施例所提供的一种非正交多址接入辅助的车联网低能耗安全卸载方法的执行主体可以为一种非正交多址接入辅助的车联网低能耗安全卸载装置，所述装置可以运行于电子设备中。其中，该电子设备可以为一服务器或终端设备，比如可以为所述基站中的对应设备，当然并不局限于此。
其中，所述单基站车联网通信场景包括用户车辆的集合、空闲辅助车辆的集合和窃听者车辆的集合。其中，用户车辆的集合表示为
Figure BDA0003964765520000091
Nu表示用户车辆的数量；空闲辅助车辆的集合表示为/>
Figure BDA0003964765520000092
Nh表示辅助空闲辅助车辆的数量；窃听者车辆的集合表示为/>
Figure BDA0003964765520000093
Ne表示窃听者车辆的数量。该单基站车联网通信场景请参见图2的示意图理解。图2中User Vehicle表示用户车辆；Eavesdropper Vehicle表示窃听车辆；Jammer Vehicle表示空闲辅助车辆；MEC Server表示边缘服务器；Base Station表示基站；NOMA cluster表示NOMA簇；Eavesdropping Path表示窃听路径；Cooperative Jamming表示协同干扰。
本发明实施例中，用户车辆需要将信息发送至基站，以卸载到与基站连接的边缘服务器进行信息计算，在此无线通信过程中，窃听者车辆有可能会窃听到用户车辆发送的信息，造成信息泄露，因此，需要采用一定的安全保护技术进行用户车辆信息卸载。
首先，为了更好地模拟实际车辆到达道路的过程，本发明实施例利用排队论对车辆到达道路的动态过程进行建模，使场景更加接近实际场景。
所述车辆到达道路过程的建模结果，包括：
车辆到达时间间隔的概率密度函数fT(t)：
Figure BDA0003964765520000101
其中，车辆到达的时间间隔t服从负指数分布，λ为预设系数，比如可以为0.5。
S2，在车辆到达道路过程的建模结果基础上，采用NOMA方式将用户车辆和空闲辅助车辆接入车联网通信系统，在预设系统场景条件下，将空闲辅助车辆与用户车辆的NOMA配对选择、发送功率选择和用户车辆对边缘服务器的计算资源块选择作为优化目标，至少基于计算时延建立约束条件，构建最小化系统能耗的优化问题；
其中，所述预设系统场景条件，包括：每个用户车辆占用一个频带且彼此间无干扰；窃听者车辆仅被动窃听用户车辆发送至基站的信息；所述车联网通信系统包括多个NOMA簇，每个NOMA簇由多个空闲辅助车辆与一个用户车辆组成；空闲辅助车辆用于干扰窃听者；同一个NOMA簇中，基站对用户车辆最后解码；用户车辆利用物理层安全技术将信息保密卸载至基站。
在现有研究中，目前还没有研究将物理层安全技术和非正交多址技术(Non-Orthogonal Multiple Access,NOMA)在车联网边缘计算网络中结合。本发明实施例采用NOMA方式是因为其能够进一步提升保密性能，在NOMA方案中，多个用户车辆可以访问同一频带并利用连续干扰(SIC)消除来缓解同信道干扰。因此，通过适当的设计，用户车辆不会受到干扰信号的干扰，而窃听者会受到干扰，进而提高安全卸载速率。
具体的，本发明实施例提出了一种预设系统场景条件，在该预设系统场景条件下，每一个用户车辆占用一个频带，不同用户车辆之间没有干扰，多个空闲辅助车辆可以与一个用户车辆组成一个NOMA簇；用户车辆和空闲辅助车辆均会向基站发送信息，空闲辅助车辆用于干扰窃听者；但由于NOMA使用串行干扰消除技术，因此最后一个解码的信号不会受到其他信号的干扰，基于这个原理，本发明实施例将同一个NOMA簇中，用户车辆设计为基站最后一个解码的对象，这样基站接收到的信号不会因为存在其他空闲辅助车辆的信号而受到干扰，基站能够清晰识别出来自用户车辆的信号，并解码出用户车辆发送的信息。同时，在该预设系统场景条件中，本发明实施例考虑存在多个恶意的窃听者车辆，这些窃听者车辆会被动窃听用户车辆发送到基站的信息，但是它们不会窃听空闲辅助车辆，在此种情况下，窃听者车辆无法通过SIC解码出用户车辆的信号，因此会受到所有在同一个簇的空闲辅助车辆信号的干扰，从而提高信息传输的安全性。
其中，在本发明实施例的车联网通信系统中，通信信号在发射端和接收端间的信道增益gk由大尺度衰落αk和小尺度衰落hk组成，即gk＝αkhk。
可以理解的是，针对本发明实施例的场景而言，具有通信联系的发射端和接收端可以包括：用户车辆和基站、空闲辅助车辆和基站、用户车辆和窃听者车辆、空闲辅助车辆和和窃听者车辆。
基于上述预设系统场景条件，本发明实施例考虑车联网通信系统中各发射端和接收端之间的通信状况和信道状况，构建了最小化系统能耗的优化问题。
其中，所述优化问题的构建过程，包括：
S21，根据第i个用户车辆的发送功率
Figure BDA0003964765520000111
第i个用户车辆到基站的信道增益gi,B和噪声σ2，确定第i个用户车辆通过第i个频带到基站的卸载链路速率/>
Figure BDA0003964765520000112
具体的，第i个用户车辆通过第i个频带到基站的卸载链路速率
Figure BDA0003964765520000113
的计算公式，包括：
Figure BDA0003964765520000114
Figure BDA0003964765520000115
其中，W表示频带带宽；
Figure BDA0003964765520000121
表示信噪比。
S22，根据第i个用户车辆的发送功率
Figure BDA0003964765520000122
第j个空闲辅助车辆的发送功率/>
Figure BDA0003964765520000123
第i个用户车辆到第n个窃听者车辆的信道增益gi,n、第j个空闲辅助车辆到第n个窃听者车辆的信道增益gj,n、噪声σ2以及第j个空闲辅助车辆与第i个用户车辆是否进行NOMA配对的二进制指示ρj[i]，确定第n个窃听者车辆在第i个频带上对第i个用户车辆进行窃听时的速率
Figure BDA0003964765520000124
并根据物理层安全技术确定第i个用户车辆的保密卸载速率/>
Figure BDA0003964765520000125
具体的，在预设系统场景条件下，第n个窃听者车辆在第i个频带上对第i个用户车辆进行窃听时的速率
Figure BDA0003964765520000126
的计算公式，包括：
Figure BDA0003964765520000127
/>
Figure BDA0003964765520000128
其中，
Figure BDA0003964765520000129
表示窃听时受到的干扰；ρj[i]＝1表示第j个空闲辅助车辆与第i个用户车辆进行了NOMA配对，ρj[i]＝0表示第j个空闲辅助车辆没有与第i个用户车辆进行NOMA配对。其中，NOMA配对即为组成一个NOMA簇。
本发明实施例中，第i个用户车辆的保密卸载速率
Figure BDA00039647655200001210
的计算公式，包括：
Figure BDA00039647655200001211
其中，ve表示所有窃听者车辆的集合；本发明实施例通过计算用户车辆卸载链路速率与所有窃听者车辆窃听时的最大速率之差，再将差值和零值的较大者作为用户车辆的保密卸载速率，如果
Figure BDA00039647655200001212
大于0则表示信息的传输是安全的，不会被其他窃听者窃听，这就通过物理层安全技术实现了信息的保密传输。
S23，根据第i个用户车辆计算任务的大小Bi与保密卸载速率
Figure BDA00039647655200001213
的比值，确定第i个用户车辆将信息传输到基站的时间/>
Figure BDA00039647655200001214
具体的，
Figure BDA0003964765520000131
S24，根据第i个用户车辆将信息传输到基站的时间
Figure BDA0003964765520000132
第i个用户车辆是否选择第m个发送功率Pm作为其发送功率的二进制指示/>
Figure BDA0003964765520000133
确定第i个用户车辆在将信息卸载到基站过程中消耗的能量/>
Figure BDA0003964765520000134
具体的，第i个用户车辆在将信息卸载到基站过程中消耗的能量
Figure BDA0003964765520000135
的计算公式，包括：
Figure BDA0003964765520000136
Figure BDA0003964765520000137
其中，
Figure BDA0003964765520000138
表示第i个用户车辆选择第m个发送功率Pm作为其发送功率，
Figure BDA0003964765520000139
表示第i个用户车辆没有选择第m个发送功率Pm作为其发送功率。本发明实施例中预设有Np种发送功率的选择。
S25，根据第i个用户车辆将信息传输到基站的时间
Figure BDA00039647655200001310
第j个空闲辅助车辆的发送功率/>
Figure BDA00039647655200001311
第j个空闲辅助车辆与第i个用户车辆是否进行NOMA配对的二进制指示ρj[i]、第j个空闲辅助车辆是否选择第m个发送功率Pm作为其发送功率的二进制指示/>
Figure BDA00039647655200001312
确定与第i个用户车辆配对的空闲辅助车辆消耗的能量/>
Figure BDA00039647655200001313
由于空闲辅助车辆也会向基站发送信息，也会存在能量消耗。具体的，与第i个用户车辆配对的空闲辅助车辆消耗的能量
Figure BDA00039647655200001314
的计算公式，包括：
Figure BDA00039647655200001315
Figure BDA00039647655200001316
其中，
Figure BDA0003964765520000141
表示第j个空闲辅助车辆选择第m个发送功率Pm作为其发送功率，
Figure BDA0003964765520000142
表示第j个空闲辅助车辆没有选择第m个发送功率Pm作为其发送功率。空闲辅助车辆与用户车辆均会在Np种发送功率中进行选择。
S26，基于第i个用户车辆计算任务的大小Bi、第k个资源块是否被分配给第i个用户车辆使用的二进制指示zi[k]、第k个资源块的计算速率fk，确定第i个用户车辆的计算任务在边缘服务器上计算的时间
Figure BDA0003964765520000143
并确定第i个用户车辆在边缘服务器上消耗的能量
Figure BDA0003964765520000144
其中，第i个用户车辆的计算任务在边缘服务器上计算的时间
Figure BDA0003964765520000145
的计算公式，包括：
Figure BDA0003964765520000146
其中，zi[k]＝1表示第k个资源块被分配给第i个用户车辆使用，zi[k]＝0表示第k个资源块没有被分配给第i个用户车辆使用；可以理解的是，本发明实施例中，边缘服务器的资源会预先分为Nb个资源块，每个用户车辆的计算任务可以从中选择一个资源块进行信息计算；u表示边缘服务器中处理器处理信息的计算能力；
第i个用户车辆在边缘服务器上消耗的能量
Figure BDA0003964765520000147
的计算公式，包括：
Figure BDA0003964765520000148
其中，η表示处理器电容系数；
Figure BDA0003964765520000149
表示fk的3次方。
S27，将第i个用户车辆消耗的能量
Figure BDA00039647655200001410
和/>
Figure BDA00039647655200001411
之和作为其消耗的总能量
Figure BDA00039647655200001412
将所有用户车辆消耗的总能量作为系统能耗构建优化问题，并设置所述优化问题的优化目标和约束条件C1～C7；其中，约束条件C1保证分配给所有用户车辆的处理速率不超过边缘服务器最大计算速率/>
Figure BDA00039647655200001413
约束条件C2、C3、C4、C5保证每个用户车辆只能选择选择一个频带、一个发送功率和一个资源块，约束条件C6限制计算时延小于等于计算时延阈值T，约束条件C7指定优化目标的决策变量为二元变量。/>
具体的，第i个用户车辆消耗的总能量
Figure BDA0003964765520000151
所述优化问题的表达式，包括：
Figure BDA0003964765520000152
C1:
Figure BDA0003964765520000153
C2:
Figure BDA0003964765520000154
C3:
Figure BDA0003964765520000155
C4:
Figure BDA0003964765520000156
C5:
Figure BDA0003964765520000157
C6:
Figure BDA0003964765520000158
C7:
Figure BDA0003964765520000159
为了便于理解该优化问题，在此对其中涉及的参数整体进行介绍。
其中，
Figure BDA00039647655200001510
表示第i个用户车辆消耗的总能量；Nu表示用户车辆的数量；X、Y、Z分别表示空闲辅助车辆与用户车辆的NOMA配对选择、发送功率选择和用户车辆对边缘服务器的计算资源块选择；min表示求最小值；C1～C7表示约束条件；二进制指示zi[k]表示边缘服务器的第k个资源块是否被分配给第i个用户车辆使用；fk表示第k个资源块的计算速率；
Figure BDA00039647655200001511
表示边缘服务器最大计算速率；Nb表示边缘服务器的资源块数量；二进制指示ρj[i]表示第j个空闲辅助车辆与第i个用户车辆是否进行NOMA配对；Nh表示辅助空闲辅助车辆的数量；二进制指示/>
Figure BDA00039647655200001512
表示第i个用户车辆是否选择第m个发送功率Pm作为其发送功率；Np表示发送功率Pm的总数；二进制指示/>
Figure BDA0003964765520000161
表示第j个空闲辅助车辆是否选择第m个发送功率Pm作为其发送功率；/>
Figure BDA0003964765520000162
表示第i个用户车辆的计算任务在边缘服务器上计算的时间；T表示计算时延阈值；各二进制指示值为1和0时分别表示对应的指示结果为是和否。
S3，利用所述车联网通信系统中部分车辆环境下的状态信息对预先设计的目标A3C网络进行训练，得到训练完成的目标模型；
其中，部分车辆环境下的状态信息包括用户车辆发送的数据包大小以及车辆的信道信息；所述目标A3C网络经结构设计、动作设计和奖励设计得到；动作与所述优化问题的优化目标对应；奖励基于系统能耗和计算时延设计得到。
可选的一种实施方式中，所述目标A3C网络为三层的全连接网络。具体结图3中，Global Network表示公共的神经网络，其包括Actor网络和Critic网络两部分；图3中涉及的各名词含义请参见现有技术中A3C网络相关概念进行理解，在此不做详细说明。
其中，所述目标A3C网络的动作设计，包括：
采用一个三维坐标来表示所述目标A3C网络的动作，其中X轴代表空闲辅助车辆与用户车辆的NOMA配对选择，共有Na种；Y轴代表空闲辅助车辆与用户车辆的发送功率选择，共有Np种，Z轴代表用户车辆对边缘服务器的计算资源块，共有Nb种。所述目标A3C网络的动作中X轴、Y轴和Z轴分别和优化问题中的X、Y、Z对应。可以理解的是，针对用户车辆和空闲辅助车辆，会分别有X、Y、Z三个动作的选择，因此，对于任意需要服务的用户车辆或空闲辅助车辆，动作可能为Na×Np×Nb种。
A3C算法(Asynchronous Advantage Actor-Critic，异步优势动作评价)作为异步深度强化学习的算法的一种，由于其具有异步多线程的特点，可以加快训练过程，因此本发明实施例使用A3C算法构建的目标A3C网络来解决优化问题。在训练过程中，需要利用奖励机制完成网络收敛，因此，需要先对待用网络进行奖励设计。
其中，所述目标A3C网络的奖励设计，包括：
1)将所述目标A3C网络的奖励分为与系统能耗相关的正奖励re，以及与计算时延有关的负奖励rd，总奖励为rt＝w1re+w2rd；其中，w1和w2为加权系数；
2)根据系统能耗大小将正奖励re划分为多个档次；其中，正奖励re划分出的多个档次表示为：
Figure BDA0003964765520000171
3)根据计算时延大小将负奖励rd划分为多个档次；其中，负奖励rd划分出的多个档次表示为：
Figure BDA0003964765520000172
其中，
Figure BDA0003964765520000173
e1和e2表示两种能量阈值大小；ζ1表示最大正奖励值大小；
Figure BDA0003964765520000174
表示所有用户车辆最大的计算时延；ζ2表示最大负奖励值大小；T表示计算时延阈值。
在完成结构设计、动作设计和奖励设计得到所述目标A3C网络后，进行训练的过程可以包括以下步骤：
A1，初始化主线程和子线程的网络参数。
具体的，针对主线程和子线程，具体被初始化的网络参数可以参见A3C算法相关描述，在此不做详细说明。
A2，将子线程网络参数更新为主线程的网络参数。在每个子线程训练开始的回合，随机地从当前时刻道路上选出三种车辆，并根据此获取到当前所选车辆环境下的状态信息，其包括所有车辆的信道信息、用户车辆发送的数据包大小。
A3，每个子线程根据当前的状态信息和策略选择此时的动作，并根据所选择的动作更新当前所选车辆环境下的状态信息。
动作包括空闲辅助车辆与用户车辆的NOMA配对选择、发送功率选择和用户车辆对边缘服务器的计算资源块选择，构成一个分配组合方案。
A4，每个子线程获得系统能耗和计算时延，并根据系统能耗大小和计算时延获得正奖励值re和负奖励值rd，最终计算出子线程的梯度大小。
具体的，针对正奖励值re，需要根据当前的系统能耗Es具体确定正奖励值re所在的档次，从而确定具体的数值；同样的，针对负奖励值rd，需要根据当前的所有用户车辆最大的计算时延TS，具体确定负奖励值rd所在的档次，从而确定具体的数值。具体请参见前文奖励设计部分。
利用正奖励值re和负奖励值rd计算子线程的梯度大小属于现有技术，在此不做具体说明。
A5，将各个子线程得到的梯度发送到主线程中，主线程网络根据梯度信息更新网络参数，当L轮返回的奖励值趋近于不变时，此时停止迭代。其中，L表示训练轮数。
具体训练过程可以结合现有的A3C网络训练过程理解，在此不做详细说明。本发明实施例在网络训练收敛后可以得到目标模型。
S4，将所述车联网通信系统中待处理车辆的状态信息输入所述目标模型，输出相应的动作作为决策结果。
其中，待处理车辆可以为系统指定的某些用户车辆或空闲辅助车辆，也可以为系统中自行发送决策申请的用户车辆或空闲辅助车辆，当然，也可以为系统中所有用户车辆或空闲辅助车辆，这都是合理的。
比如，针对某一作为待处理车辆的用户车辆，将其当前在所述车联网通信系统中的状态信息输入所述目标模型，所述目标模型可以快速得到一个较优动作，即输出NOMA配对选择、发送功率选择和该用户车辆对边缘服务器的计算资源块选择。因此，该用户车辆可以依据该决策结果将信息发送至基站，利用边缘服务器进行卸载计算，实现降低系统能耗的同时提高信息安全性的目的。
现有技术中尚未有在车联网中使用NOMA技术和物理层安全技术确保信息安全的同时降低系统整体能耗的方案。本发明实施例所提供的方案首先设定单基站车联网通信场景，利用排队论对车辆到达道路的过程进行建模，使得场景更加接近实际的场景。之后在建模基础上，采用NOMA方式将用户车辆和空闲辅助车辆接入车联网通信系统，在预设系统场景条件下，将空闲辅助车辆与用户车辆的NOMA配对选择、发送功率选择和用户车辆对边缘服务器的计算资源块选择作为优化目标，至少基于计算时延建立约束条件，构建最小化系统能耗的优化问题，并且优化问题构建过程中考虑利用物理层安全技术进行用户车辆信息卸载。然后，利用所述车联网通信系统中部分车辆环境下的状态信息对预先设计的目标A3C网络进行训练，得到训练完成的目标模型。最后，将所述车联网通信系统中待处理车辆的状态信息输入所述目标模型，输出相应的动作作为决策结果以分配给待处理车辆进行信息传输使用。
本发明实施例通过联合空闲辅助车辆与用户车辆的NOMA配对、用户车辆和配对的空闲辅助车辆的发送功率以及边缘服务器的资源块分配，优化整体的系统能耗问题，并且对计算卸载的时间等进行了约束。本发明实施例方法能够在通过适当的训练后，使得目标模型能够在保证信息安全的同时，快速做出决策解决问题。而且本发明实施例将优化问题建模为单智能决策问题，并通过深度强化学习的方法进行求解，所采用的目标A3C网络由于其A3C算法有异步多线程的特点，可以加快训练过程，因此能够降低系统整体能耗并保证传输过程的安全性。
以下通过仿真结果说明本发明实施例方法的效果。
请参见图4，图4为本发明实施例提供的不同方案在不同的交通图案下的系统性能和各车辆性能对比示意图。其中，横轴的Random Traffic Pattern表示随机交通模式；纵轴的Systern Energy Consumption表示系统能耗；Computation Delay表示计算延迟；EESO表示节能安全卸载即本发明实施例所提出的方案；Optimal表示能量最小方案。图4上面的左侧子图显示EESO方案的系统计算延迟小于T，T表示计算时延阈值，而右侧子图显示能量最小方案未考虑计算延迟，这表明本发明实施例方案考虑了计算时延的因素。
图4的下图中，DQN表示使用深度Q网络来降低能耗的对比方案；WNJ表示没有空闲辅助车辆时的对比方案，从图4的下图对比可见，四种方法中，本发明实施方案EESO优于WNJ和DQN方案，与Optimal方案相差较小。
图5为本发明实施例提供的不同方案在不同容量阈值限制下的平均连接概率示意图。图5的横轴Secrecy Rate Threshold表示保密率阈值；纵轴的Average SecrecyProbability表示平均保密概率。平均保密概率定义为Ps＝P(Rs>βs)，其中，βs是保密速率阈值，Rs是保密率，P(Rs>βs)表示Rs>βs的概率，即此处P表示事情发生的概率。从图5可见DQN方案、Optimal方案和WNJ方案的保密性能比EESO方案差，因为它们主要关注如何最小化系统的能量消耗，这导致它们更喜欢选择较小的发射功率。
整体来说，本发明实施例方案在能耗上与最小能量方案较为接近，但是在系统整体时延和信息传输安全性上有最好表现，因此本发明实施例方案是可行的。
综上，本发明实施例在车联网场景下，通过异步深度强化学习将NOMA和物理层安全技术相结合，仿真结果表明，本发明实施例提出的方法能够在保证车辆安全进行边缘卸载计算的同时，降低整个过程中消耗的能量。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种非正交多址接入辅助的车联网低能耗安全卸载方法，其特征在于，包括：
设定单基站车联网通信场景，利用排队论对车辆到达道路的过程进行建模；其中，所述单基站车联网通信场景包括用户车辆的集合、空闲辅助车辆的集合和窃听者车辆的集合；
在车辆到达道路过程的建模结果基础上，采用NOMA方式将用户车辆和空闲辅助车辆接入车联网通信系统，在预设系统场景条件下，将空闲辅助车辆与用户车辆的NOMA配对选择、发送功率选择和用户车辆对边缘服务器的计算资源块选择作为优化目标，至少基于计算时延建立约束条件，构建最小化系统能耗的优化问题；其中，所述预设系统场景条件，包括：每个用户车辆占用一个频带且彼此间无干扰；窃听者车辆仅被动窃听用户车辆发送至基站的信息；所述车联网通信系统包括多个NOMA簇，每个NOMA簇由多个空闲辅助车辆与一个用户车辆组成；空闲辅助车辆用于干扰窃听者；同一个NOMA簇中，基站对用户车辆最后解码；用户车辆利用物理层安全技术将信息保密卸载至基站；
利用所述车联网通信系统中部分车辆环境下的状态信息对预先设计的目标A3C网络进行训练，得到训练完成的目标模型；其中，部分车辆环境下的状态信息包括用户车辆发送的数据包大小以及车辆的信道信息；所述目标A3C网络经结构设计、动作设计和奖励设计得到；动作与所述优化问题的优化目标对应；奖励基于系统能耗和计算时延设计得到；
将所述车联网通信系统中待处理车辆的状态信息输入所述目标模型，输出相应的动作作为决策结果。
2.根据权利要求1所述的非正交多址接入辅助的车联网低能耗安全卸载方法，其特征在于，所述车辆到达道路过程的建模结果，包括：
车辆到达时间间隔的概率密度函数fT(t)：
Figure FDA0003964765510000021
其中，车辆到达的时间间隔t服从负指数分布，λ为预设系数。
3.根据权利要求1或2所述的非正交多址接入辅助的车联网低能耗安全卸载方法，其特征在于，所述优化问题的表达式，包括：
Figure FDA0003964765510000022
C1:
Figure FDA0003964765510000023
C2:
Figure FDA0003964765510000024
C3:
Figure FDA0003964765510000025
C4:
Figure FDA0003964765510000026
/>
C5:
Figure FDA0003964765510000027
C6:
Figure FDA0003964765510000028
C7:
Figure FDA0003964765510000029
其中，
Figure FDA00039647655100000210
表示第i个用户车辆消耗的总能量；Nu表示用户车辆的数量；X、Y、Z分别表示空闲辅助车辆与用户车辆的NOMA配对选择、发送功率选择和用户车辆对边缘服务器的计算资源块选择；min表示求最小值；C1～C7表示约束条件；二进制指示zi[k]表示边缘服务器的第k个资源块是否被分配给第i个用户车辆使用；fk表示第k个资源块的计算速率；/>
Figure FDA00039647655100000211
表示边缘服务器最大计算速率；Nb表示边缘服务器的资源块数量；二进制指示ρj[i]表示第j个空闲辅助车辆与第i个用户车辆是否进行NOMA配对；Nh表示辅助空闲辅助车辆的数量；二进制指示/>
Figure FDA00039647655100000212
表示第i个用户车辆是否选择第m个发送功率Pm作为其发送功率；Np表示发送功率Pm的总数；二进制指示/>
Figure FDA00039647655100000213
表示第j个空闲辅助车辆是否选择第m个发送功率Pm作为其发送功率；/>
Figure FDA0003964765510000031
表示第i个用户车辆的计算任务在边缘服务器上计算的时间；T表示计算时延阈值；各二进制指示值为1和0时分别表示对应的指示结果为是和否。
4.根据权利要求3所述的非正交多址接入辅助的车联网低能耗安全卸载方法，其特征在于，所述优化问题的构建过程，包括：
根据第i个用户车辆的发送功率
Figure FDA0003964765510000032
第i个用户车辆到基站的信道增益gi,B和噪声σ2，确定第i个用户车辆通过第i个频带到基站的卸载链路速率/>
Figure FDA0003964765510000033
根据第i个用户车辆的发送功率
Figure FDA0003964765510000034
第j个空闲辅助车辆的发送功率/>
Figure FDA0003964765510000035
第i个用户车辆到第n个窃听者车辆的信道增益gi,n、第j个空闲辅助车辆到第n个窃听者车辆的信道增益gj,n、噪声σ2以及第j个空闲辅助车辆与第i个用户车辆是否进行NOMA配对的二进制指示ρj[i]，确定第n个窃听者车辆在第i个频带上对第i个用户车辆进行窃听时的速率/>
Figure FDA0003964765510000036
并根据物理层安全技术确定第i个用户车辆的保密卸载速率/>
Figure FDA0003964765510000037
根据第i个用户车辆计算任务的大小Bi与保密卸载速率
Figure FDA0003964765510000038
的比值，确定第i个用户车辆将信息传输到基站的时间/>
Figure FDA0003964765510000039
根据第i个用户车辆将信息传输到基站的时间
Figure FDA00039647655100000310
第i个用户车辆是否选择第m个发送功率Pm作为其发送功率的二进制指示/>
Figure FDA00039647655100000311
确定第i个用户车辆在将信息卸载到基站过程中消耗的能量/>
Figure FDA00039647655100000312
根据第i个用户车辆将信息传输到基站的时间
Figure FDA00039647655100000313
第j个空闲辅助车辆的发送功率/>
Figure FDA00039647655100000314
第j个空闲辅助车辆与第i个用户车辆是否进行NOMA配对的二进制指示ρj[i]、第j个空闲辅助车辆是否选择第m个发送功率Pm作为其发送功率的二进制指示/>
Figure FDA00039647655100000315
确定与第i个用户车辆配对的空闲辅助车辆消耗的能量/>
Figure FDA00039647655100000316
基于第i个用户车辆计算任务的大小Bi、第k个资源块是否被分配给第i个用户车辆使用的二进制指示zi[k]、第k个资源块的计算速率fk，确定第i个用户车辆的计算任务在边缘服务器上计算的时间
Figure FDA0003964765510000041
并确定第i个用户车辆在边缘服务器上消耗的能量/>
Figure FDA0003964765510000042
将第i个用户车辆消耗的能量
Figure FDA0003964765510000043
和/>
Figure FDA0003964765510000044
之和作为其消耗的总能量/>
Figure FDA0003964765510000045
将所有用户车辆消耗的总能量作为系统能耗构建优化问题，并设置所述优化问题的优化目标和约束条件C1～C7；其中，约束条件C1保证分配给所有用户车辆的处理速率不超过边缘服务器最大计算速率/>
Figure FDA0003964765510000046
约束条件C2、C3、C4、C5保证每个用户车辆只能选择选择一个频带、一个发送功率和一个资源块，约束条件C6限制计算时延小于等于计算时延阈值T，约束条件C7指定优化目标的决策变量为二元变量。
5.根据权利要求4所述的非正交多址接入辅助的车联网低能耗安全卸载方法，其特征在于，第i个用户车辆通过第i个频带到基站的卸载链路速率
Figure FDA0003964765510000047
的计算公式，包括：
Figure FDA0003964765510000048
Figure FDA0003964765510000049
第n个窃听者车辆在第i个频带上对第i个用户车辆进行窃听时的速率
Figure FDA00039647655100000410
的计算公式，包括：
Figure FDA00039647655100000411
Figure FDA00039647655100000412
第i个用户车辆的保密卸载速率
Figure FDA00039647655100000413
的计算公式，包括：
Figure FDA00039647655100000414
其中，W表示频带带宽；
Figure FDA0003964765510000051
表示窃听时受到的干扰；ve表示所有窃听者车辆的集合；ρj[i]＝1表示第j个空闲辅助车辆与第i个用户车辆进行了NOMA配对，ρj[i]＝0表示第j个空闲辅助车辆没有与第i个用户车辆进行NOMA配对。
6.根据权利要求5所述的非正交多址接入辅助的车联网低能耗安全卸载方法，其特征在于，第i个用户车辆在将信息卸载到基站过程中消耗的能量
Figure FDA0003964765510000052
的计算公式，包括：
Figure FDA0003964765510000053
/>
Figure FDA0003964765510000054
其中，
Figure FDA0003964765510000055
表示第i个用户车辆选择第m个发送功率Pm作为其发送功率，/>
Figure FDA0003964765510000056
表示第i个用户车辆没有选择第m个发送功率Pm作为其发送功率。
7.根据权利要求6所述的非正交多址接入辅助的车联网低能耗安全卸载方法，其特征在于，与第i个用户车辆配对的空闲辅助车辆消耗的能量
Figure FDA0003964765510000057
的计算公式，包括：
Figure FDA0003964765510000058
Figure FDA0003964765510000059
其中，
Figure FDA00039647655100000510
表示第j个空闲辅助车辆选择第m个发送功率Pm作为其发送功率，
Figure FDA00039647655100000511
表示第j个空闲辅助车辆没有选择第m个发送功率Pm作为其发送功率。
8.根据权利要求7所述的非正交多址接入辅助的车联网低能耗安全卸载方法，其特征在于，第i个用户车辆的计算任务在边缘服务器上计算的时间
Figure FDA00039647655100000512
的计算公式，包括：
Figure FDA0003964765510000061
其中，zi[k]＝1表示第k个资源块被分配给第i个用户车辆使用，zi[k]＝0表示第k个资源块没有被分配给第i个用户车辆使用；u表示计算能力；
第i个用户车辆在边缘服务器上消耗的能量
Figure FDA0003964765510000062
的计算公式，包括：
Figure FDA0003964765510000063
其中，η表示处理器电容系数。
9.根据权利要求3所述的非正交多址接入辅助的车联网低能耗安全卸载方法，其特征在于，所述目标A3C网络为三层的全连接网络；所述目标A3C网络的动作设计，包括：
采用一个三维坐标来表示所述目标A3C网络的动作，其中X轴代表空闲辅助车辆与用户车辆的NOMA配对选择，共有Na种；Y轴代表空闲辅助车辆与用户车辆的发送功率选择，共有Np种，Z轴代表用户车辆对边缘服务器的计算资源块，共有Nb种。
10.根据权利要求9所述的非正交多址接入辅助的车联网低能耗安全卸载方法，其特征在于，所述目标A3C网络的奖励设计，包括：
将所述目标A3C网络的奖励分为与系统能耗相关的正奖励re，以及与计算时延有关的负奖励rd，总奖励为rt＝w1re+w2rd；其中，w1和w2为加权系数；
根据系统能耗大小将正奖励re划分为多个档次；其中，正奖励re划分出的多个档次表示为：
Figure FDA0003964765510000064
根据计算时延大小将负奖励rd划分为多个档次；其中，负奖励rd划分出的多个档次表示为：
Figure FDA0003964765510000071
其中，
Figure FDA0003964765510000072
e1和e2表示两种能量阈值大小；ζ1表示最大正奖励值大小；
Figure FDA0003964765510000073
表示所有用户车辆最大的计算时延；ζ2表示最大负奖励值大小；T表示计算时延阈值。/>
CN202211490486.2A 2022-11-25 2022-11-25 一种非正交多址接入辅助的车联网低能耗安全卸载方法 Active CN115866559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211490486.2A CN115866559B (zh) 2022-11-25 2022-11-25 一种非正交多址接入辅助的车联网低能耗安全卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211490486.2A CN115866559B (zh) 2022-11-25 2022-11-25 一种非正交多址接入辅助的车联网低能耗安全卸载方法

Publications (2)

Publication Number Publication Date
CN115866559A true CN115866559A (zh) 2023-03-28
CN115866559B CN115866559B (zh) 2024-04-30

Family

ID=85666507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211490486.2A Active CN115866559B (zh) 2022-11-25 2022-11-25 一种非正交多址接入辅助的车联网低能耗安全卸载方法

Country Status (1)

Country Link
CN (1) CN115866559B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757361A (zh) * 2020-07-30 2020-10-09 重庆邮电大学 一种雾网络中基于无人机辅助的任务卸载方法
CN112601197A (zh) * 2020-12-18 2021-04-02 重庆邮电大学 一种基于非正交多址的车联网络中资源优化方法
CN113709701A (zh) * 2021-08-27 2021-11-26 西安电子科技大学 一种毫米波车联网联合波束分配和中继选择方法
CN114237917A (zh) * 2022-02-25 2022-03-25 南京信息工程大学 一种用于电网巡检的无人机辅助边缘计算方法
US20220201528A1 (en) * 2019-05-02 2022-06-23 Samsung Electronics Co., Ltd Method and device for measuring and reporting channel state in sidelink communication
CN114828253A (zh) * 2022-03-29 2022-07-29 华南理工大学 一种ris辅助多无人机通信系统的资源分配方法
CN114827191A (zh) * 2022-03-15 2022-07-29 华南理工大学 一种车路协同系统中融合noma的动态任务卸载方法
CN114827947A (zh) * 2022-03-15 2022-07-29 西安电子科技大学 车联网安全计算卸载及资源分配方法、计算机设备及终端
CN115103326A (zh) * 2022-05-19 2022-09-23 北京大学 基于联盟博弈的车联网任务卸载与资源管理方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220201528A1 (en) * 2019-05-02 2022-06-23 Samsung Electronics Co., Ltd Method and device for measuring and reporting channel state in sidelink communication
CN111757361A (zh) * 2020-07-30 2020-10-09 重庆邮电大学 一种雾网络中基于无人机辅助的任务卸载方法
CN112601197A (zh) * 2020-12-18 2021-04-02 重庆邮电大学 一种基于非正交多址的车联网络中资源优化方法
CN113709701A (zh) * 2021-08-27 2021-11-26 西安电子科技大学 一种毫米波车联网联合波束分配和中继选择方法
CN114237917A (zh) * 2022-02-25 2022-03-25 南京信息工程大学 一种用于电网巡检的无人机辅助边缘计算方法
CN114827191A (zh) * 2022-03-15 2022-07-29 华南理工大学 一种车路协同系统中融合noma的动态任务卸载方法
CN114827947A (zh) * 2022-03-15 2022-07-29 西安电子科技大学 车联网安全计算卸载及资源分配方法、计算机设备及终端
CN114828253A (zh) * 2022-03-29 2022-07-29 华南理工大学 一种ris辅助多无人机通信系统的资源分配方法
CN115103326A (zh) * 2022-05-19 2022-09-23 北京大学 基于联盟博弈的车联网任务卸载与资源管理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐伦;肖娇;魏延南;赵国繁;陈前斌;: "基于云雾混合计算的车联网联合资源分配算法", 电子与信息学报, no. 08, 15 August 2020 (2020-08-15) *

Also Published As

Publication number Publication date
CN115866559B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
Li et al. Multi-agent deep reinforcement learning based spectrum allocation for D2D underlay communications
Li et al. Applications of multi-agent reinforcement learning in future internet: A comprehensive survey
CN111800828B (zh) 一种超密集网络的移动边缘计算资源分配方法
Ju et al. Joint secure offloading and resource allocation for vehicular edge computing network: A multi-agent deep reinforcement learning approach
CN109729528B (zh) 一种基于多智能体深度强化学习的d2d资源分配方法
Li et al. NOMA-enabled cooperative computation offloading for blockchain-empowered Internet of Things: A learning approach
CN111901862B (zh) 一种基于深度q网络的用户分簇与功率分配方法、设备和介质
Xiao et al. Reinforcement learning-based downlink interference control for ultra-dense small cells
CN109947545B (zh) 一种基于用户移动性的任务卸载及迁移的决策方法
Hou et al. UAV-enabled covert federated learning
Lai et al. Secure mobile edge computing networks in the presence of multiple eavesdroppers
CN114051254B (zh) 一种基于星地融合网络的绿色云边协同计算卸载方法
CN112261674A (zh) 一种基于移动边缘计算及区块链协同赋能的物联网场景的性能优化方法
CN108880734B (zh) 量子回溯搜索优化的CCFD-Massive MIMO系统功率分配方法
CN114968404B (zh) 一种位置隐私保护的计算任务分布式卸载方法
CN116208619A (zh) 一种智能反射表面辅助的车联网安全计算卸载方法、系统、设备及介质
CN114205791A (zh) 一种基于深度q学习的社交感知d2d协同缓存方法
Jiang et al. Analysis and optimization of fog radio access networks with hybrid caching: Delay and energy efficiency
CN112153744B (zh) 一种icv网络中物理层安全资源分配方法
Qiu et al. Subchannel assignment and power allocation for time-varying fog radio access network with NOMA
Zhou et al. Dynamic channel allocation for multi-UAVs: A deep reinforcement learning approach
Lakew et al. Adaptive partial offloading and resource harmonization in wireless edge computing-assisted IoE networks
CN117615419A (zh) 基于任务调度与资源分配的分布式数据卸载方法
Xiao et al. Reinforcement learning based network coding for drone-aided secure wireless communications
CN113709728B (zh) 一种基于noma及无人机辅助的两阶段移动边缘计算通信方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant