CN114201292B - 一种道路网络临近检测方法及装置 - Google Patents

一种道路网络临近检测方法及装置 Download PDF

Info

Publication number
CN114201292B
CN114201292B CN202111419106.1A CN202111419106A CN114201292B CN 114201292 B CN114201292 B CN 114201292B CN 202111419106 A CN202111419106 A CN 202111419106A CN 114201292 B CN114201292 B CN 114201292B
Authority
CN
China
Prior art keywords
user vehicle
vehicle terminal
user
proximity detection
edge server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111419106.1A
Other languages
English (en)
Other versions
CN114201292A (zh
Inventor
刘雅琼
赵彤雨
寿国础
胡怡红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202111419106.1A priority Critical patent/CN114201292B/zh
Publication of CN114201292A publication Critical patent/CN114201292A/zh
Application granted granted Critical
Publication of CN114201292B publication Critical patent/CN114201292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种道路网络临近检测方法及装置,通过设置一个中心服务器与分布的多个边缘服务器分别构建核心网络和边缘云,为边缘服务器设置边界区域和非边界区域,各用户车辆终端直接与边缘服务器通信。其中,每个边缘服务器非边界区域内的用户车辆终端直接通过边缘服务器交互处理数据进行临近检测,边界区域内的用户车辆终端的数据进一步由边缘服务器发送至中心服务器进行临近检测。用户车辆终端可以选择将临近检测任务在本地计算或卸载至边缘服务器计算,能够减少时延和网络负担,保障通信质量,合理利用带宽资源,有效降低通信延迟。各边缘服务器,基于深度强化学习方法,以最小化总成本为目标进行强化训练,减少用户车辆终端的计算负担和能耗。

Description

一种道路网络临近检测方法及装置
技术领域
本发明涉及自动驾驶技术领域,尤其涉及一种道路网络临近检测方法及装置。
背景技术
近年来,人工智能和汽车行业发展迅速,自动驾驶逐渐成为行业关注的焦点。在道路网络中,临近检测是指实时检测两个移动用户是否彼此靠近。然而,移动设备的电池寿命和计算能力在实际场景中受到限制,导致高延迟和高能耗。
在纵横交错的道路网络中,车辆(或者说用户)的移动速度随时间变化,形成复杂的道路网络移动场景。在这个复杂的移动场景中,如何确定移动用户之间的位置关系被称为临近检测。临近检测在动态道路网络中发挥着重要作用,有助于确保交通安全,实现自动驾驶。
目前大多数临近检测解决方案都是基于地理空间距离(欧氏距离或道路网络距离),并使用传统的客户端-服务器(C/S)架构或分布式点对点(P2P)架构。然而,在P2P架构下,移动用户成对通信,导致通信消息数量庞大。虽然每个用户都可以知道哪些用户靠近他/她,但无法从全局角度监控所有移动用户的临近状态。相比之下,传统的C/S架构虽然可以从全局角度检测用户之间的临近关系,但无法最大限度地利用受限的通信和计算资源,因此在降低通信延迟方面存在不足。因此,这两种架构不适用于解决临近检测问题,而如何伴随着低时延和低能耗确定移动用户之间是否临近是亟待解决的问题。
发明内容
本发明实施例提供了一种道路网络临近检测方法及装置,以消除或改善现有技术中存在的一个或更多个缺陷,解决现有技术中解决临近检测问题时时延高且能耗高的问题。
本发明的技术方案如下:
一方面,本发明提供一种道路网络临近检测方法,由中心服务器连接多点分布设置的边缘服务器,各边缘服务器连接第一设定距离范围内的一个或多个用户车辆终端,设置各边缘服务器周边第二设定距离范围内为非边界区域,各边缘服务器周边所述第二设定距离至所述第一设定距离范围为边界区域,其中,所述第二设定距离小于所述第一设定距离;各边缘服务器非边界区域内的用户车辆终端直接与相应的边缘服务器交互所述行驶信息并进行临近检测;各边缘服务器边界区域内的用户车辆通过边缘服务器将所述行驶信息发送至中心服务器并进行临近检测;所述用户车辆终端的临近检测计算任务在各用户车辆终端本地计算,或卸载至所连接的边缘服务器上计算;所述方法用于在各边缘服务器上运行,所述方法包括:
获取所述第一设定距离范围内所有用户车辆终端的行驶信息,所述行驶信息至少包括位置信息和速度信息;将所述边界范围内的用户车辆的行驶信息发送至所述中心服务器。
分别计算各用户车辆终端的进行临近检测的时延和能耗,并计算所述第一设定距离范围内所有用户车辆终端的时延总和以及能耗总和。
以所述第一设定距离范围内所有用户车辆终端的时延总和以及能耗总和作为状态参数,形成状态空间;以所述第一设定距离范围内各用户车辆终端选择本地计算临近检测任务或卸载至所连接的边缘服务器上计算所述临近检测任务的组合作为动作参数,形成动作空间;计算各用户车辆终端都在本地计算临近检测任务时的参比总时延和参比总能耗;计算所述参比总时延与各动作对应时延总和的第一偏差,计算所述参比总能耗与各动作对应能耗总和的第二偏差,对所述第一偏差和所述第二偏差归一化处理后进行加权求和,作为各动作对应的奖励值。
采用预设深度强化学习模型根据每个时间步的状态参数输出所述动作空间内各动作的价值,并选择价值最高的动作为执行动作;根据所述执行动作,控制所述第一设定距离范围内的所有用户车辆终端选择本地计算所述临近检测任务或卸载至所连接的边缘服务器上计算所述临近检测任务,以最小化所述第一设定距离范围内所有用户车辆终端的所述时延总和以及所述能耗总和的总成本为目标进行强化学习,所述总成本为所述时延总和以及所述能耗总和的加权求和。
在一些实施例中,所述方法设置临近检测任务检测区域半径为K,当所述用户车辆终端周围半径K范围内存在其他用户车辆终端时,生成临近检测任务;所述K的计算式为:
K=(|Vc|+|Vmax|)·Tε
其中,Vc表示当前用户车辆终端的移动速度,Vmax表示各车辆用户终端允许的最大移动速度,Tε表示时间临近阈值。
在一些实施例中,所述第二设定距离R的计算式为:
R=(|Vmax|+|Vmax|)·Tε
其中,Vmax表示各车辆用户终端允许的最大移动速度,Tε表示时间临近阈值。
在一些实施例中,所述临近检测包括道路网络距离临近检测和时间距离临近检测,所述道路网络距离是两个用户车辆终端在当前时刻的路径距离,所述时间距离是两个用户车辆终端从当前时刻按照所述路径距离行驶相遇所需的时间,当所述时间距离小于时间临近阈值时,判断所述两个车辆临近。
在一些实施例中,所述方法还包括:设置各用户车辆终端与各边缘服务器的上传链路为平坦型快衰落的瑞利信道,则在t时刻用户车辆终端Uk上传链路的数据传输速率rk为:
Figure BDA0003376230130000031
其中,Bk为在t时刻车辆终端Uk的传输带宽,dk是车辆终端Uk与MEC服务器之间的距离,pk是车辆终端Uk的发射功率,N0表示高斯白噪声功率,h表示上传链路的信道衰落因子,ε是路径损耗因子;
用户车辆终端Uk将临近检测计算任务卸载至所连接的边缘服务器上计算时,所述用户车辆终端Uk的通信传输时延计算式为:
Figure BDA0003376230130000032
其中,rk为数据传输速率,Dk为任务量数据量;
所述用户车辆终端Uk将临近检测计算任务卸载至所连接的边缘服务器上计算时,所述用户车辆终端Uk的通信传输能耗计算式为:
Figure BDA0003376230130000033
其中,pk是车辆终端Uk的发射功率,
Figure BDA0003376230130000034
为用户车辆终端Uk的通信传输时延;
所述用户车辆终端Uk的临近检测任务在相应边缘服务器上的执行时间为:
Figure BDA0003376230130000035
其中,
Figure BDA0003376230130000036
表示相应边缘服务器分配给所述用户车辆终端Uk的计算资源,Ck表示任务所需的CPU周期数;
在相应边缘服务器处理所述用户车辆终端Uk的临近检测计算任务时,所述用户车辆终端Uk的空闲功耗为:
Figure BDA0003376230130000037
其中,
Figure BDA0003376230130000038
为所述用户车辆终端Uk的空闲功率。
在一些实施例中,所述方法还包括:所述用户车辆终端Uk将临近检测计算任务在本地计算时,本地执行时延计算式为:
Figure BDA0003376230130000041
其中,Ck表示任务所需的CPU周期数,fk表示所述用户车辆终端Uk的计算能力;
所述用户车辆终端Uk将临近检测计算任务在本地计算时,本地执行能耗计算式为:
Figure BDA0003376230130000042
zk=κ(fk)2
其中,zk表示所述用户车辆终端Uk完成临近检测任务Rk时每个CPU周期的能量消耗,fk表示所述用户车辆终端Uk的计算能力;κ为能耗参数,设置κ=(10)-27
在一些实施例中,所述用户车辆终端Uk在执行临近检测任务时的时延tk计算式为:
Figure BDA0003376230130000043
所述用户车辆终端Uk在执行临近检测任务时的能耗ek计算式为:
Figure BDA0003376230130000044
其中,χk∈{0,1}表示卸载决策,当χk=0时,所述用户车辆终端Uk的临近检测任务在本地执行,当χk=1时,所述用户车辆终端Uk的临近检测任务卸载至连接的边缘服务器上运行。
在一些实施例中,以最小化所述第一设定距离范围内所有用户车辆终端的所述时延总和以及所述能耗总和的总成本为目标进行强化学习,还包括:
约束各用户车辆终端在执行临近检测的时延tk小于等于设定时延阈值;
约束各边缘服务器分配给连接的所有用户车辆终端的总资源不超过设定资源值。
在一些实施例中,所述奖励值的计算式为:
Figure BDA0003376230130000045
其中,tclocal表示各用户车辆终端都在本地计算临近检测任务时的参比总时延,eclocal表示各用户车辆终端都在本地计算临近检测任务时的参比总能耗;tc(s,a)表示所述第一设定距离范围内所有用户车辆终端的时延总和,ec(s,a)表示所述第一设定距离范围内所有用户车辆终端的能耗总和。
另一方面,本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法的步骤。
本发明的有益效果至少是:
本发明所述道路网络临近检测方法及装置中,通过设置分布的多个边缘服务器构建边缘云,设置一个中心服务器与边缘服务器构建核心网络;为每个边缘服务器设置边界区域和非边界区域,令各用户车辆终端直接与边缘服务器进行通信交互信息,报告其位置和速度信息,同时,边缘服务器也与其共享其他用户的信息。其中,每个边缘服务器非边界区域内的用户车辆终端直接通过边缘服务器交互处理数据进行临近检测,边界区域内的用户车辆终端的数据进一步由边缘服务器发送至中心服务器进行临近检测。同时,用户车辆终端可以选择将临近检测任务在本地计算或卸载至边缘服务器计算,能够减少时延和网络负担,在保障通信质量的基础上,更合理地利用带宽资源,有效降低通信延迟。各边缘服务器,基于深度强化学习方法,以边缘服务器连接范围内各用户车辆终端的延迟总和以及能耗总和作为状态,以各用户车辆终端选择临近检测任务在本地计算或卸载至服务器计算为动作,以最小化总成本为目标进行强化训练,减少用户车辆终端的计算负担和能耗。
本发明的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是,能够用本发明实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1为本发明一实施例所述道路网络临近检测方法中采用的MEC增强型临近检测架构示意图;
图2为本发明一实施例所述道路网络临近检测方法中基于MEC临近检测架构的计算卸载示意图;
图3为本发明一实施例所述道路网络临近检测方法中动态道路网络特殊位置示意图;
图4为本发明一实施例所述道路网络临近检测方法中临近检测示意图;
图5为本发明一实施例所述道路网络临近检测方法中深度强化学习模型结构示意图;
图6为本发明一实施例所述道路网络临近检测方法中各时刻全本地计算、全卸载计算和DQN的总成本差异图;
图7为本发明一实施例所述道路网络临近检测方法中不同用户车辆数量条件下全本地计算、全卸载计算和DQN的总成本差异图;
图8为本发明一实施例所述道路网络临近检测方法中不同时间临近阈值条件下全本地计算、全卸载计算和DQN的总成本差异图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
在此,还需要说明的是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤,而省略了与本发明关系不大的其他细节。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此,还需要说明的是,如果没有特殊说明,术语“连接”在本文不仅可以指直接连接,也可以表示存在中间物的间接连接。
本发明基于MEC(移动边缘计算)架构构建核心网络和边缘云,在MEC架构中,边缘服务器具有更强大的计算和存储能力。它们部署在离用户更近的网络边缘,用户将任务卸载到边缘服务器执行,从而显著减少时延和能耗,同时带来更舒适的用户体验感。
在道路网络中,车辆需要注意避开短时间内与其相撞的迎面而来的车辆,而不是避开地理位置上相近的平行车辆。因此,在很多情况下,考虑两个用户的时间距离比地理空间距离更有意义。时间距离表示两个运动物体相遇所需的最短时间。当两个用户之间的时间距离不超过临近阈值Tε时,可以确定两个用户彼此接近。
为了确保驾驶安全性,临近检测的时延必须非常低。由于移动设备能量受限,能耗也需要减少。因此,我们在解决这个问题时需要注意两个关键点,一个是根据时间距离实时检测用户之间是否临近,另一个是达到降低时延和能耗的目标。
本发明采用了MEC增强型临近检测架构。将基于移动边缘计算(MEC)联合优化时延和能耗的问题转化为有约束的优化问题(COP),使用一个强化学习中的DQN(深度强化学习)去找到最优解。
具体的,本发明提供一种道路网络临近检测方法,如图1、2和3所示,由中心服务器连接多点分布设置的边缘服务器,各边缘服务器连接第一设定距离范围内的一个或多个用户车辆终端,设置各边缘服务器周边第二设定距离范围内为非边界区域,各边缘服务器周边第二设定距离至第一设定距离范围为边界区域,其中,第二设定距离小于第一设定距离;各边缘服务器非边界区域内的用户车辆终端直接与相应的边缘服务器交互行驶信息并进行临近检测;各边缘服务器边界区域内的用户车辆通过边缘服务器将行驶信息发送至中心服务器并进行临近检测;用户车辆终端的临近检测计算任务在各用户车辆终端本地计算,或卸载至所连接的边缘服务器上计算;所述方法用于在各边缘服务器上运行。
临近检测是指对道路网络中车辆是否临近进行计算和判断,具体的,对于某一用户车辆,周围设定半径范围内存在其他用户车辆时才建立临近检测任务。在一些实施例中,所述方法设置临近检测任务检测区域半径为K,当用户车辆终端周围半径K范围内存在其他用户车辆终端时,生成临近检测任务;K的计算式为:
K=(|Vc|+|Vmax|)·Tε; (1)
其中,Vc表示当前用户车辆终端的移动速度,Vmax表示各车辆用户终端允许的最大移动速度,Tε表示时间临近阈值。
本发明中构建的道路网络,主要由中心服务器、边缘服务器和用户车辆终端组成,在一个较大的设定区域内,中心服务器只设置一台,边缘服务器均匀或按照实际需求分布设置在设定区域内,中心服务器与边缘服务器连接形成核心网络。用户车辆终端设置在用户车辆上,通过定位设备和速度传感器采集位置信息和速度信息,速度信息包含方向信息。用户车辆终端在运行过程中仅与边缘服务器连接并交互数据位置信息和速度信息,形成临近检测任务并进行计算。每个边缘服务器存在相应的服务范围,在服务范围的边界区域,存在一部分用户车辆终端连接在附近的其他边缘服务器的情况,为了保证临近检测的准确性,将这一部分用户车辆终端的信息通过连接的边缘服务器传输至中心服务器进行处理。并基于中心服务器对这一部分边界区域的用户车辆终端进行临近检测。
具体的,对于每一个边缘服务器,设置第一设定距离范围作为服务范围,该第一设定距离可以根据具体应用场景的需求设置,参考MEC的白皮书,可以将第一设定距离设置为500m。在服务范围内,进一步设置第二设定距离范围内为非边界区域,非边界区域内的所有用户车辆终端的数据交互和临近检测任务的产生、计算完全由相应的边缘服务器完成。而边缘服务器的非边界区域以外,服务范围以内的用户车辆终端的数据,由相应边缘服务器上传至中心服务器进行交互,并建立临近检测任务。
在一些实施例中,第二设定距离R的计算式为:
R=(|Vmax|+|Vmax|)·Tε; (2)
其中,Vmax表示各车辆用户终端允许的最大移动速度,Tε表示时间临近阈值。
进一步的,临近检测包括道路网络距离临近检测和时间距离临近检测,道路网络距离是两个用户车辆终端在当前时刻的路径距离,时间距离是两个用户车辆终端从当前时刻按照路径距离行驶相遇所需的时间,当时间距离小于时间临近阈值时,判断两个车辆临近。
具体的,本实施例所述方法包括步骤S101~S104:
需要说明的是,本实施例中的步骤S101~S104,并不是对步骤先后顺序的限定,应当理解为,在实际应用场景中,可以根据具体需求调换先后顺序或并行。
步骤S101:获取第一设定距离范围内所有用户车辆终端的行驶信息,行驶信息至少包括位置信息和速度信息。将边界范围内的用户车辆的行驶信息发送至所述中心服务器。
步骤S102:分别计算各用户车辆终端的进行临近检测的时延和能耗,并计算第一设定距离范围内所有用户车辆终端的时延总和以及能耗总和。
步骤S103:以第一设定距离范围内所有用户车辆终端的时延总和以及能耗总和作为状态参数,形成状态空间;以第一设定距离范围内各用户车辆终端选择本地计算临近检测任务或卸载至所连接的边缘服务器上计算临近检测任务的组合作为动作参数,形成动作空间;计算各用户车辆终端都在本地计算临近检测任务时的参比总时延和参比总能耗;计算参比总时延与各动作对应时延总和的第一偏差,计算参比总能耗与各动作对应能耗总和的第二偏差,对第一偏差和第二偏差归一化处理后进行加权求和,作为各动作对应的奖励值。
步骤S104:如图5所示,采用预设深度强化学习模型根据每个时间步的状态参数输出动作空间内各动作的价值,并选择价值最高的动作为执行动作;根据执行动作,控制第一设定距离范围内的所有用户车辆终端选择本地计算临近检测任务或卸载至所连接的边缘服务器上计算临近检测任务,以最小化第一设定距离范围内所有用户车辆终端的时延总和以及能耗总和的总成本为目标进行强化学习,总成本为时延总和以及能耗总和的加权求和。
在步骤S101中,任意一个边缘服务器获取其服务范围内的所有用户车辆终端的行驶信息。其中,包括在非边界区域内的和边界区域内两类。对于非边界区域内的用户车辆终端的行驶信息,完全由相应的边缘服务器处理,而边界范围内的用户车辆终端的行驶信息,还需要上传至中心服务器进行统筹,并判断是否建立临近检测任务。
在步骤S102中,边缘服务器计算服务范围内所有用户车辆终端在进行临近检测任务时的时延和能耗,并进一步计算时延总和以及能耗总和。
具体的,对于每个用户车辆终端完成临近检测任务的时延和能耗的方法,可以参照如下说明:
在用户车辆终端与边缘服务器的通信过程中,设置各用户车辆终端与各边缘服务器的上传链路为平坦型快衰落的瑞利信道,则用户车辆终端Uk上传链路的数据传输速率rk为:
Figure BDA0003376230130000091
其中,Bk为车辆终端Uk的传输带宽,dk是车辆终端Uk与MEC服务器之间的距离,pk是车辆终端Uk的发射功率,N0表示高斯白噪声功率,h表示上传链路的信道衰落因子,ε是路径损耗因子。
用户车辆终端Uk将临近检测计算任务卸载至所连接的边缘服务器上计算时,用户车辆终端Uk的通信传输时延计算式为:
Figure BDA0003376230130000092
其中,rk为数据传输速率,Dk为任务量数据量。
所述用户车辆终端Uk将临近检测计算任务卸载至所连接的边缘服务器上计算时,用户车辆终端Uk的通信传输能耗计算式为:
Figure BDA0003376230130000093
其中,pk是车辆终端Uk的发射功率,
Figure BDA0003376230130000094
为用户车辆终端Uk的通信传输时延。
用户车辆终端Uk的临近检测任务在相应边缘服务器上的执行时间为:
Figure BDA0003376230130000095
其中,
Figure BDA0003376230130000096
表示相应边缘服务器分配给用户车辆终端Uk的计算资源。
在相应边缘服务器处理用户车辆终端Uk的临近检测计算任务时,用户车辆终端Uk的空闲功耗为:
Figure BDA0003376230130000097
其中,
Figure BDA0003376230130000098
为用户车辆终端Uk的空闲功率。
在一些实施例中,所述方法还包括:用户车辆终端Uk将临近检测计算任务在本地计算时,本地执行时延计算式为:
Figure BDA0003376230130000101
其中,Ck表示任务所需的CPU周期数,fk表示用户车辆终端Uk的计算能力。
用户车辆终端Uk将临近检测计算任务在本地计算时,本地执行能耗计算式为:
Figure BDA0003376230130000102
zk=κ(fk)2; (10)
其中,zk表示用户车辆终端Uk完成临近检测任务Rk时每个CPU周期的能量消耗,fk表示用户车辆终端Uk的计算能力;κ为能耗参数,设置κ=(10)-27
进一步的,用户车辆终端Uk在执行临近检测任务时的时延tk计算式为:
Figure BDA0003376230130000103
用户车辆终端Uk在执行临近检测任务时的能耗ek计算式为:
Figure BDA0003376230130000104
其中,χk∈{0,1}表示卸载决策,当χk=0时,用户车辆终端Uk的临近检测任务在本地执行,当χk=1时,用户车辆终端Uk的临近检测任务卸载至连接的边缘服务器上运行。
进一步的,在得到服务范围内所有用户车辆终端的时延和能耗后,则可以通过累加得到时延总和以及能耗总和。
在步骤S103和步骤S104中,对于某一个边缘服务器,基于深度强化学习的方式,为其服务范围内的所有用户车辆终端选择将临近任务在本地计算或卸载至边缘服务器计算,以最小化总时延和总能耗。
每一个边缘服务器对其服务范围内的所有用户车辆终端配置动作,在深度强化学习的过程中,以第一设定距离范围(服务范围)内所有用户车辆终端的时延总和以及能耗总和作为状态参数,形成状态空间;以第一设定距离范围(服务范围)内各用户车辆终端选择本地计算临近检测任务或卸载至所连接的边缘服务器上计算临近检测任务的组合作为动作参数,形成动作空间。进一步的,奖励值的计算式为:
Figure BDA0003376230130000105
其中,tclocal表示各用户车辆终端都在本地计算临近检测任务时的参比总时延,eclocal表示各用户车辆终端都在本地计算临近检测任务时的参比总能耗;tc(s,a)表示所述第一设定距离范围内所有用户车辆终端的时延总和,ec(s,a)表示所述第一设定距离范围内所有用户车辆终端的能耗总和。
具体的,深度强化学习的目的就是使动作选择后的总成本最小。当然,对此还另外设置约束条件:第一,约束各用户车辆终端在执行临近检测的时延tk小于等于设定时延阈值。第二,约束各边缘服务器分配给连接的所有用户车辆终端的总资源不超过设定资源值。
另一方面,本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法的步骤。
下面结合一具体实施例对本发明进行说明:
1.构建基于MEC的临近检测架构
图1展示了MEC增强型临近检测架构,它由核心网络和许多边缘云组成。多个边缘服务器分布在边缘云中,分布在网络中心的核心网被边缘服务器和中心服务器包围。用户(即用户车辆终端)只与相应的边缘服务器通信,而不与中心服务器通信。每个用户与最近的边缘服务器交流,报告其位置和速度信息。同时,边缘服务器也与其共享其他用户的信息。通过通信,每个移动中的用户接收道路网络中其他用户的位置和速度信息。这避免了通过核心网络与中心服务器通信,从而减少时延和网络负担。该架构不仅保证了用户与边缘服务器、边缘服务器与中心服务器之间的正常通信方式,而且利用MEC的低时延特性,更合理地利用带宽资源,有效降低通信时延。相比之下,在传统的C/S架构中,中心服务器负责计算道路网络中所有用户的临近关系,既繁琐又耗时。在基于MEC的新架构中,每个边缘服务器只对与之通信的用户负责。同时,每个用户车辆终端都可以将部分任务卸载到边缘服务器,减少用户的计算负担和整体计算时间。中心服务器负责整合各边缘服务器的计算结果,实现全局监控。
需要强调的是,大多数用户可以在边缘服务器上找到所有靠近他们的用户。但是,对于位于边缘服务器边界服务区域的用户,可能有一部分靠近它的用户没有分布在该服务器的服务区内,而位于其他边缘服务器的服务区内。因此,为了保证临近检测的准确度,将位于边缘服务器边界服务区域内的这些移动用户与中心服务器进行通信。然后,中心服务器统一对这些用户进行临近检测,并将检测结果更新到相应的边缘服务器上。中心服务器不直接与用户通信,边缘服务器仍然与这些用户直接通信。也就是说,在临近检测架构中,大多数用户的临近检测是在每个边缘服务器上进行的,只有少数用户需要中心服务器进行干预。但是,对于大多数直接由边缘服务器进行临近检测的用户,或者需要中心服务器干预的用户,他们只与边缘服务器交换信息,而不是中心服务器。这确保了临近检测架构的低延迟特性。
2.设置基于MEC的计算卸载方案
在用户车辆行驶区域中,将所有车辆终端节点、RSU(即路侧单元)设备节点、MEC服务器(即边缘服务器)节点进行自定义组织,构成MEC车载网络,如图2所示。
在道路网络中,有大量的移动用户。道路有两个行驶方向,使用虚线来区分道路上两个方向的子道路。假设所有道路都平行于X轴或Y轴。还假设用户有定位设备,服务器带有道路网络地图。可以将用户1和用户3的速度分别定义为V1和V3,时间临近阈值为Tε,Vmax是移动用户的最大速度。边缘服务器的服务区域可以分为非边界区域和边界区域两部分。
在道路网络中,如果移动用户分布在边缘服务器的非边界区域,则只需要相应的边缘服务器参与临近检测。例如,对于图2中的用户1,它位于边缘服务器的非边界区域。边缘服务器使用命名为用户1检测区域的一个圆来选择可能靠近用户1的用户,如用户2。用户1检测区域的圆心为用户1,半径为(|V1|+|Vmax|)·Tε。边缘服务器将他们的信息发送给用户1。然后,用户1生成临近检测计算任务,并将部分任务Z卸载到边缘服务器进行计算,剩下的计算任务由用户1在本地执行。边缘服务器完成任务后,将结果发送给用户1。最后,用户1可以知道哪些用户离他/她很近。
如果移动用户位于边缘服务器的边界区域,则需要相应的边缘服务器和中心服务器共同参与该过程。例如,对于图2中的用户3,它位于边缘服务器的边界区域。首先,边缘服务器需要将在用户3检测区域内的用户的位置和速度信息发送到中心服务器。中心服务器使用命名为用户3检测区域的选择圆来选择用户,例如用户4。这个圆的半径为(|V3|+|Vmax|)·Tε,圆心是用户3。中心服务器将他们的信息发送到边缘服务器,边缘服务器将用户的位置和速度信息传输给用户3。然后,用户3产生临近检测任务,同时将部分任务卸载到边缘服务器,以减轻自身的计算负担,剩下的任务由用户3在本地执行。边缘服务器完美执行任务后,将结果发送给用户3。最后,用户3可以知道哪些用户离他/她很近。可以观察到用户4分布在其他边缘服务器的服务区域。因此,中心服务器的参与可以保证用户的临近检测的准确性,避免忘记考虑位于其他边缘服务器服务区域内的用户。
3.构建问题
首先对系统进行简要总结,然后分别介绍车辆移动模型、通信模型、本地计算模型和边缘计算模型。此外,这个复杂场景中的联合优化问题被转化为COP。
3.1系统概述
图3是动态道路网络特殊位置示意图。可以看到有很多车辆,以r作为服务半径的边缘服务器和一个中心服务器。车辆在道路上以恒定速度V行驶,以无线方式与相应的边缘服务器通信。中心服务器和边缘服务器之间建立有线通信。边缘服务器到其非边界区域边缘的距离为r1,边界区域为圆环,环宽为(|Vmax|+|Vmax|)·Tε。由于路口交通情况复杂,容易发生交通事故,设置了警戒区,警戒区半径为(|Vmax|+|Vmax|)·Tε
本系统模型为多用户单服务器应用场景,在场景中有车辆、RSU和其连接的MEC服务器。由于车辆终端的快速移动,车联网络拓扑架构会产生动态变化。由于车辆自身计算能力较弱,为了满足任务时延的要求,部分车辆会将其携带的计算任务卸载到RSU连接的MEC服务器上处理。假设车辆在进行任务卸载时有两种调度决策:(1)本地执行:计算任务在车载OBU(即用户车辆终端)执行,不需要进行任务卸载;(2)卸载到MEC服务器执行:通过车与路侧单元(RSU)通信——V2R,将任务卸载到和其相连的MEC服务器执行。
3.2建立车辆移动模型
假设所有车辆都沿直线行驶,不考虑转弯情况,所有道路都平行于x轴或y轴。如果目标用户沿x轴或y轴的正方向移动,速度为正,否则为负。车辆的行驶方向包括东、南、西、北,初始时刻所有车辆均匀分配在四个行驶方向上。假设路侧单元和边缘服务器位于覆盖面积的中心。路边单元和边缘服务器之间通过有线通信。道路网络中有M辆车,边缘服务器服务区域内有N辆车,服务区域内车辆数目随着时间改变。
通过集合k={1,2,...,M}枚举车辆Uk。假设车辆Uk携带的计算任务表示为Rk=(Dk,Ck,Tk)(k=1....M),其中Dk表示计算任务的数据大小,单位为kbit;Ck表示任务所需的CPU周期数,单位是兆周(Megacycle);Tk表示计算任务最大可容忍时延,单位为s,Ck和Dk正相关。
假设车辆Uk检测区域内有Qk个用户(不包括Uk本身)。那么计算任务可以分为Qk个子任务,将子任务的数据大小表示为Dk,j(1≤j≤Qk)。因此,任务Dk的总数据大小可以表示为:
Figure BDA0003376230130000131
值得注意的是,不用考虑在同一条道路上相反方向行驶的车辆,虽然他们的地理位置很近,但是没有相遇的可能性,所以不需要对这些车辆进行临近检测。另外,十字路口附近交通情况复杂,容易发生碰撞事故。如果车辆位于以边缘服务器为中心,(|Vmax|+|Vmax|)·Tε作为半径的圆内,即警戒区域内,还需要考虑垂直道路上迎面而来的车辆。
在同一条道路上,假设Un在目标车辆Uk的检测区域内。t时刻两个车辆之间的网络距离定义为两个车辆之间沿道路相遇的最短路径的长度,符号表示为D(Uk,Un)。假设Un和Uk的坐标分别为(xn,yn)和(xk,yk)。则:
D(Uk,Un)=|xk-xn|+|yk-yn|; (15)
用两个车辆相遇所需的最少时间来表示两个车辆之间的时间距离,符号表示为T(Uk,Un)。假设Un和Uk的速度分别是Vn和Vk。如果Un和Uk沿着同一条道路同方向行驶,前车Un的速度是小于后车Uk,则时间距离可以表示为:
Figure BDA0003376230130000141
在相向行驶的条件下,Un和Uk的时间距离计算式为:
Figure BDA0003376230130000142
在十字相交的道路上,如图4所示,圆圈代表边缘服务器的服务范围,假设在t时刻任意两个车辆在道路网络中所处的位置为点U和U',速度为v和v'。U所位于的道路两个端点为Nn,Nk,U'所位于的道路两个端点为Nn',Nk'则在t时刻U和U'的道路网络距离计算式为:
Figure BDA0003376230130000143
其中,在t时刻,D(U,Ni,t)表示U和Ni两点之间的道路网络距离,Ni为距离U最近的道路端点;D(Ni,Nj,t)表示Ni和Nj两点之间的道路网络距离;D(Nj,U',t)表示Nj和U'两点之间的道路网络距离,Nj为距离U'最近的道路端点。道路网络距离为两辆车之间的最短路径距离。
U和U'的时间距离计算式为:
Figure BDA0003376230130000144
例如,图中的车辆1和车辆2,在t时刻,道路网络中所处的位置为U1和U2,车辆1所处的道路两个端点为N3和N4,车辆2所处的道路两个端点为N1和N3,则两车之间的道路网络距离为:
Figure BDA0003376230130000145
其中|U1N3|,|N3U2|分别表示点U1和点N3之间的欧几里得的距离,点U2和点N3之间的欧几里得的距离。
假设在t时刻,车辆1和车辆2的速度分别为v1和v2,则两车之间的时间距离为
Figure BDA0003376230130000151
具体的,当时间距离小于时间临近阈值时,判断两个用户车辆终端临近。
3.3构建通信模型
由于MEC服务器执行任务后输出的数据大小相对于输入数据来说非常小,而且下行传输速率较高,因此本文不考虑下行传输时延。
假设车辆到MEC的上传链路为平坦型快衰落的瑞利信道,则车辆Uk上传链路的数据传输速率为:
Figure BDA0003376230130000152
其中,Bk为车辆终端Uk的传输带宽,dk是车辆终端Uk与MEC服务器之间的距离,pk是车辆终端Uk的发射功率,N0表示高斯白噪声功率,h表示上传链路的信道衰落因子,ε是路径损耗因子。
用户车辆终端Uk将临近检测计算任务卸载至所连接的边缘服务器上计算时,用户车辆终端Uk的通信传输时延计算式为:
Figure BDA0003376230130000153
其中,rk为数据传输速率,Dk为任务量数据量。
3.4构建本地计算模型
用户车辆终端Uk将临近检测计算任务在本地计算时,本地执行时延计算式为:
Figure BDA0003376230130000154
其中,Ck表示任务所需的CPU周期数,fk表示用户车辆终端Uk的计算能力。
用户车辆终端Uk将临近检测计算任务在本地计算时,本地执行能耗计算式为:
Figure BDA0003376230130000155
zk=κ(fk)2; (10)
其中,zk表示用户车辆终端Uk完成临近检测任务Rk时每个CPU周期的能量消耗,fk表示用户车辆终端Uk的计算能力;κ为能耗参数,设置κ=(10)-27
3.5构建边缘计算模型
用户车辆终端Uk的临近检测任务在相应边缘服务器上的执行时间为:
Figure BDA0003376230130000161
其中,
Figure BDA0003376230130000162
表示相应边缘服务器分配给用户车辆终端Uk的计算资源。
在相应边缘服务器处理用户车辆终端Uk的临近检测计算任务时,用户车辆终端Uk的空闲功耗为:
Figure BDA0003376230130000163
其中,
Figure BDA0003376230130000164
为用户车辆终端Uk的空闲功率。
3.6制定问题
用χk∈{0,1}代表卸载决策,当χk=0时,用户车辆终端Uk计算任务Rk在本地执行,当χk=1时,用户车辆终端Uk计算任务Rk被卸载到MEC服务器执行。因此,执行任务Rk所产生的时延和能耗如下所示:
用户车辆终端Uk在执行临近检测任务时的时延tk计算式为:
Figure BDA0003376230130000165
用户车辆终端Uk在执行临近检测任务时的能耗ek计算式为:
Figure BDA0003376230130000166
其中,χk∈{0,1}表示卸载决策,当χk=0时,用户车辆终端Uk的临近检测任务在本地执行,当χk=1时,用户车辆终端Uk的临近检测任务卸载至连接的边缘服务器上运行。
定义了目标函数作为时延和能耗的权衡,目标是最小化在边缘服务器服务范围内所有车辆的总成本。定义为一个最优化问题,如下所示:
Figure BDA0003376230130000167
其中,卸载决策向量A=[χ12,.....,χN],α与β分别表示时延和能耗的权重因子,且满足α+β=1,0≤α≤1,0≤β≤1。如果任务很紧急,用户可以适当提高时延权重。否则,车辆运行在低电量情况下,可以适当提高能耗权重因子。
另外,设置约束条件C1、C2和C3,具体表示为:
C1k∈{0,1}; (23)
Figure BDA0003376230130000168
Figure BDA0003376230130000169
约束条件C1表示车辆可以将其计算任务卸载到边缘服务器计算或者在本地计算。C2表示完成任务所需的时间不能超过任务所能容忍的最大时延。C3表示分配给车辆终端的计算资源总和不能超过边缘服务器的计算资源。
4.解决问题
如图5所示,基于DQN算法进行强化学习,构建系统状态、奖励和动作如下:
状态:系统状态由两部分组成s=(tc,ec),tc,ec分别代表在边缘服务器范围内所有车辆的时延总和、能耗总和。
动作:动作A=[χ12,.....,χN]是所有车辆的卸载决策向量,问题P可以被解决通过找到最优的卸载决策向量。
奖励:实际上,奖励函数和目标函数正相关。问题P的目标是最小化总成本,强化学习的目标是最大化期望累计奖励。目标函数越小,从环境中获得的即时奖励就越大。定义即时奖励为:
Figure BDA0003376230130000171
其中,tclocal表示第一设定距离范围内所有用户车辆终端的时延总和,eclocal表示第一设定距离范围内所有用户车辆终端的能耗总和;tc(s,a)表示各用户车辆终端都在本地计算临近检测任务时的参比总时延,ec(s,a)表示各用户车辆终端都在本地计算临近检测任务时的参比总能耗。该奖励值实际上就是相比于检测任务全部在本地计算的条件下,总成本的减少量。
5.仿真实验
5.1搭建实验环境
首先搭建实验环境,然后,考虑时间戳、车辆数目、时间临近阈值的影响,以确认DQN在解决问题P中的性能。仿真方案是基于IEEE 802.11p标准下的车联网场景。设置仿真参数如表1:
表1仿真参数
Figure BDA0003376230130000172
Figure BDA0003376230130000181
5.2仿真结果
5.2.1时间戳的影响
图6显示了DQN针对时间t优化的总成本。设车辆数为16,时间阈值为2s。
在15个运动时刻,可以看到每个时刻的总成本都在波动。边缘服务器服务的车辆数目随时间变化是造成这种波动的主要原因。另外,目标车辆的检测区域内需要检测的车辆数目在每个时刻可能是不同的,这导致了临近检测任务向量的变化。
全本地意思是所有车辆都在本地执行任务,全卸载意思是所有车辆都把任务卸载到边缘服务器执行。如图6所示,相比于全本地和全卸载,DQN可以减少总成本,曲线随时间变化更加平稳。
5.2.2车辆数量的影响
图7显示了t=0时刻,车辆数分别为8、12、16、20的总成本。时间阈值为2s。可以观察到车辆数为8时,全卸载和全本地曲线比DQN曲线稍微高一点,但是当车辆数目增加时,曲线增长的更加迅速。
显然,总成本随着车辆的增加而增加。从逻辑上讲,道路网络中的车辆密度增加。对于目标车辆来说,需要临近检测的任务数量和需要计算的任务总数据量也有所增加。
总成本与车辆数呈正相关关系。原因包括两部分:1)一方面,根据第三部分的模型,增加时延会同时增加能耗。2)另一方面,边缘服务器的计算能力受到限制。当达到边缘服务器的存储容量时,某些任务必须在本地执行。因此,在本地执行任务的能量消耗会变大。
5.2.3时间临近阈值的影响
图8展示了时间阈值分别为1s、1.5s、2s、2.5s、3s时的总成本。设车辆数目为16。随着时间阈值的变化,三条曲线具有相同的趋势,但是DQN方法与它们相比显著降低了总成本。
随着时间临近阈值的增加,在Tε=2s后,可以看出总成本在增加。由于车辆检测区域的半径为(|V|+|Vmax|)·Tε,当Tε增加时,检测区域的半径会变大,检测区域中车辆数目也会增加。因此,需要临近检测的任务数量和每个车辆生成的任务的总数据量都会增加。时间临近阈值与车辆数目有相似的影响。
5.2.4讨论
从上面5.2.1至5.2.3的所有仿真结果,可以发现相比于全卸载和全本地,DQN方法可以找到最优的总成本。
6.结论
本实施例研究了基于MEC的道路网络临近检测场景中的联合优化的问题。在系统中构建了车辆移动模型、通信模型、边缘计算模型和本地计算模型。然后,将这个问题表述为COP,并通过DQN算法解决它。实验结果证明了DQN算法的有效性。
本实施例基于MEC增强型临近检测架构,提出了一种动态道路网络中的计算卸载方案。将临近检测问题建模为COP,包括最小化该系统的总成本。通过大量仿真评估DQN的有效性,并分析了多个参数下的算法灵敏度。
综上所述,本发明所述道路网络临近检测方法及装置中,通过设置分布的多个边缘服务器构建边缘云,设置一个中心服务器与边缘服务器构建核心网络;为每个边缘服务器设置边界区域和非边界区域,令各用户车辆终端直接与边缘服务器进行通信交互信息,报告其位置和速度信息,同时,边缘服务器也与其共享其他用户的信息。其中,每个边缘服务器非边界区域内的用户车辆终端直接通过边缘服务器交互处理数据进行临近检测,边界区域内的用户车辆终端的数据进一步由边缘服务器发送至中心服务器进行临近检测。同时,用户车辆终端可以选择将临近检测任务在本地计算或卸载至边缘服务器计算,能够减少时延和网络负担,在保障通信质量的基础上,更合理地利用带宽资源,有效降低通信延迟。各边缘服务器,基于深度强化学习方法,以边缘服务器连接范围内各用户车辆终端的延迟总和以及能耗总和作为状态,以各用户车辆终端选择临近检测任务在本地计算或卸载至服务器计算为动作,以最小化总成本为目标进行强化训练,减少用户车辆终端的计算负担和能耗。
本领域普通技术人员应该可以明白,结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法,能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
本发明中,针对一个实施方式描述和/或例示的特征,可以在一个或更多个其它实施方式中以相同方式或以类似方式使用,和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种道路网络临近检测方法,其特征在于,由中心服务器连接多点分布设置的边缘服务器,各边缘服务器连接第一设定距离范围内的一个或多个用户车辆终端,设置各边缘服务器周边第二设定距离范围内为非边界区域,各边缘服务器周边所述第二设定距离至所述第一设定距离范围为边界区域,其中,所述第二设定距离小于所述第一设定距离;各边缘服务器非边界区域内的用户车辆终端直接与相应的边缘服务器交互行驶信息并进行临近检测;各边缘服务器边界区域内的用户车辆通过边缘服务器将所述行驶信息发送至中心服务器并进行临近检测;所述用户车辆终端的临近检测计算任务在各用户车辆终端本地计算,或卸载至所连接的边缘服务器上计算;所述方法用于在各边缘服务器上运行,所述方法包括:
获取所述第一设定距离范围内所有用户车辆终端的行驶信息,所述行驶信息至少包括位置信息和速度信息;将所述边界范围内的用户车辆的行驶信息发送至所述中心服务器;
分别计算各用户车辆终端的进行临近检测的时延和能耗,并计算所述第一设定距离范围内所有用户车辆终端的时延总和以及能耗总和;
以所述第一设定距离范围内所有用户车辆终端的时延总和以及能耗总和作为状态参数,形成状态空间;以所述第一设定距离范围内各用户车辆终端选择本地计算临近检测任务或卸载至所连接的边缘服务器上计算所述临近检测任务的组合作为动作参数,形成动作空间;计算各用户车辆终端都在本地计算临近检测任务时的参比总时延和参比总能耗;计算所述参比总时延与各动作对应时延总和的第一偏差,计算所述参比总能耗与各动作对应能耗总和的第二偏差,对所述第一偏差和所述第二偏差归一化处理后进行加权求和,作为各动作对应的奖励值;
采用预设深度强化学习模型根据每个时间步的状态参数输出所述动作空间内各动作的价值,并选择价值最高的动作为执行动作;根据所述执行动作,控制所述第一设定距离范围内的所有用户车辆终端选择本地计算所述临近检测任务或卸载至所连接的边缘服务器上计算所述临近检测任务,以最小化所述第一设定距离范围内所有用户车辆终端的所述时延总和以及所述能耗总和的总成本为目标进行强化学习,所述总成本为所述时延总和以及所述能耗总和的加权求和。
2.根据权利要求1所述的道路网络临近检测方法,其特征在于,所述方法设置临近检测任务检测区域半径为K,当所述用户车辆终端周围半径K范围内存在其他用户车辆终端时,生成临近检测任务;所述K的计算式为:
K=(|Vc|+|Vmax|)·Tε
其中,Vc表示当前用户车辆终端的移动速度,Vmax表示各车辆用户终端允许的最大移动速度,Tε表示时间临近阈值。
3.根据权利要求1所述的道路网络临近检测方法,其特征在于,所述第二设定距离R的计算式为:
R=(|Vmax|+|Vmax|)·Tε
其中,Vmax表示各车辆用户终端允许的最大移动速度,Tε表示时间临近阈值。
4.根据权利要求1所述的道路网络临近检测方法,其特征在于,所述临近检测包括道路网络距离临近检测和时间距离临近检测,所述道路网络距离是在当前时刻两个用户车辆终端之间的路径距离,所述时间距离是两个用户车辆终端从当前时刻按照所述路径距离行驶相遇所需的时间,当所述时间距离小于时间临近阈值时,判断两个用户车辆临近。
5.根据权利要求1所述的道路网络临近检测方法,其特征在于,所述方法还包括:
设置各用户车辆终端与各边缘服务器的上传链路为平坦型快衰落的瑞利信道,则在t时刻用户车辆终端Uk上传链路的数据传输速率rk为:
Figure FDA0003800921580000021
其中,Bk为在t时刻车辆终端Uk的传输带宽,dk是车辆终端Uk与MEC服务器之间的距离,pk是车辆终端Uk的发射功率,N0表示高斯白噪声功率,h表示上传链路的信道衰落因子,ε是路径损耗因子;
用户车辆终端Uk将临近检测计算任务卸载至所连接的边缘服务器上计算时,所述用户车辆终端Uk的通信传输时延计算式为:
Figure FDA0003800921580000022
其中,rk为数据传输速率,Dk为任务量数据量;
所述用户车辆终端Uk将临近检测计算任务卸载至所连接的边缘服务器上计算时,所述用户车辆终端Uk的通信传输能耗计算式为:
Figure FDA0003800921580000031
其中,pk是车辆终端Uk的发射功率,
Figure FDA0003800921580000032
为用户车辆终端Uk的通信传输时延;
所述用户车辆终端Uk的临近检测任务在相应边缘服务器上的执行时间为:
Figure FDA0003800921580000033
其中,
Figure FDA0003800921580000034
表示相应边缘服务器分配给所述用户车辆终端Uk的计算资源,Ck表示任务所需的CPU周期数;
在相应边缘服务器处理所述用户车辆终端Uk的临近检测计算任务时,所述用户车辆终端Uk的空闲功耗为:
Figure FDA0003800921580000035
其中,
Figure FDA0003800921580000036
为所述用户车辆终端Uk的空闲功率。
6.根据权利要求5所述的道路网络临近检测方法,其特征在于,所述方法还包括:
所述用户车辆终端Uk将临近检测计算任务在本地计算时,本地执行时延计算式为:
Figure FDA0003800921580000037
其中,Ck表示任务所需的CPU周期数,fk表示所述用户车辆终端Uk的计算能力;
所述用户车辆终端Uk将临近检测计算任务在本地计算时,本地执行能耗计算式为:
Figure FDA0003800921580000038
zk=κ(fk)2
其中,zk表示所述用户车辆终端Uk完成临近检测任务Rk时每个CPU周期的能量消耗,fk表示所述用户车辆终端Uk的计算能力;κ为能耗参数,设置κ=(10)-27
7.根据权利要求6所述的道路网络临近检测方法,其特征在于,所述用户车辆终端Uk在执行临近检测任务时的时延tk计算式为:
Figure FDA0003800921580000039
所述用户车辆终端Uk在执行临近检测任务时的能耗ek计算式为:
Figure FDA0003800921580000041
其中,χk∈{0,1}表示卸载决策,当χk=0时,所述用户车辆终端Uk的临近检测任务在本地执行,当χk=1时,所述用户车辆终端Uk的临近检测任务卸载至连接的边缘服务器上运行。
8.根据权利要求7所述的道路网络临近检测方法,其特征在于,以最小化所述第一设定距离范围内所有用户车辆终端的所述时延总和以及所述能耗总和的总成本为目标进行强化学习,还包括:
约束各用户车辆终端在执行临近检测的时延tk小于等于设定时延阈值;
约束各边缘服务器分配给连接的所有用户车辆终端的总资源不超过设定资源值。
9.根据权利要求1所述的道路网络临近检测方法,其特征在于,所述奖励值的计算式为:
Figure FDA0003800921580000042
其中,tclocal表示各用户车辆终端都在本地计算临近检测任务时的参比总时延,eclocal表示各用户车辆终端都在本地计算临近检测任务时的参比总能耗;tc(s,a)表示所述第一设定距离范围内所有用户车辆终端的时延总和,ec(s,a)表示所述第一设定距离范围内所有用户车辆终端的能耗总和。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至9任一项所述方法的步骤。
CN202111419106.1A 2021-11-26 2021-11-26 一种道路网络临近检测方法及装置 Active CN114201292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111419106.1A CN114201292B (zh) 2021-11-26 2021-11-26 一种道路网络临近检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111419106.1A CN114201292B (zh) 2021-11-26 2021-11-26 一种道路网络临近检测方法及装置

Publications (2)

Publication Number Publication Date
CN114201292A CN114201292A (zh) 2022-03-18
CN114201292B true CN114201292B (zh) 2022-10-04

Family

ID=80649091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111419106.1A Active CN114201292B (zh) 2021-11-26 2021-11-26 一种道路网络临近检测方法及装置

Country Status (1)

Country Link
CN (1) CN114201292B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115544870B (zh) * 2022-09-26 2023-04-18 北京邮电大学 一种道路网络临近检测方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046960B (zh) * 2015-07-10 2018-03-02 武汉微智创大科技有限公司 一种对道路拥堵状态分析及违法停车检测的方法及装置
EP3804458A4 (en) * 2018-06-06 2022-03-09 INTEL Corporation VEHICLE SESSION AND SERVICE CONTINUITY TO ANY AUTO NETWORK EDGE COMPUTER SYSTEMS
CN109905860A (zh) * 2019-02-28 2019-06-18 华北电力大学 一种基于车辆雾计算的服务器招募及任务卸载优化方案
CN112572424B (zh) * 2019-09-11 2022-05-17 北京百度网讯科技有限公司 基于障碍物识别的车辆控制方法、装置、设备和介质
CN113296845B (zh) * 2021-06-03 2022-10-14 南京邮电大学 一种边缘计算环境下基于深度强化学习的多小区任务卸载算法

Also Published As

Publication number Publication date
CN114201292A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
Zhang et al. Deep learning empowered task offloading for mobile edge computing in urban informatics
Bi et al. Engineering radio maps for wireless resource management
Kumar et al. Coalition games for spatio-temporal big data in internet of vehicles environment: A comparative analysis
Arkian et al. A cluster-based vehicular cloud architecture with learning-based resource management
Jiang et al. Resource allocation of video streaming over vehicular networks: A survey, some research issues and challenges
Chen et al. Deep-learning-based intelligent intervehicle distance control for 6G-enabled cooperative autonomous driving
CN109151864B (zh) 一种面向移动边缘计算超密集网络的迁移决策与资源优化分配方法
Wu et al. Deep reinforcement learning-based computation offloading for 5G vehicle-aware multi-access edge computing network
CN104640168B (zh) 基于q学习的车载自组织网络路由方法
Althamary et al. A survey on multi-agent reinforcement learning methods for vehicular networks
CN112685186B (zh) 一种计算任务的卸载方法、装置、电子设备及存储介质
EP3222092B1 (en) Method for managing communication between a plurality of moving objects
CN113032904B (zh) 模型构建方法、任务分配方法、装置、设备及介质
CN112367640A (zh) 基于移动边缘计算的v2v模式多任务卸载方法及系统
Xia et al. Cluster-enabled cooperative scheduling based on reinforcement learning for high-mobility vehicular networks
Pang et al. A smart network resource management system for high mobility edge computing in 5G internet of vehicles
Guleng et al. Edge-based V2X communications with big data intelligence
CN114201292B (zh) 一种道路网络临近检测方法及装置
US20220014960A1 (en) Method and apparatus for handling bearers based on congestion level in a wireless communication system
Sanghvi et al. Res6edge: An edge-ai enabled resource sharing scheme for c-v2x communications towards 6g
CN113727308B (zh) 一种基于车辆位置预测的边缘计算卸载优化方法
Qiu et al. Maintaining links in the highly dynamic fanet using deep reinforcement learning
Liu et al. A Q-learning based adaptive congestion control for V2V communication in VANET
Mirza et al. MCLA task offloading framework for 5G-NR-V2X-based heterogeneous VECNs
WO2022079834A1 (ja) 通信情報予測装置、通信情報予測方法、および通信情報予測プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant