CN113868808A - 一种道路网络临近检测时延优化方法、装置和系统 - Google Patents

一种道路网络临近检测时延优化方法、装置和系统 Download PDF

Info

Publication number
CN113868808A
CN113868808A CN202110950096.8A CN202110950096A CN113868808A CN 113868808 A CN113868808 A CN 113868808A CN 202110950096 A CN202110950096 A CN 202110950096A CN 113868808 A CN113868808 A CN 113868808A
Authority
CN
China
Prior art keywords
task
user equipment
vector
edge server
proximity detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110950096.8A
Other languages
English (en)
Other versions
CN113868808B (zh
Inventor
刘雅琼
宋云龙
寿国础
胡怡红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110950096.8A priority Critical patent/CN113868808B/zh
Publication of CN113868808A publication Critical patent/CN113868808A/zh
Application granted granted Critical
Publication of CN113868808B publication Critical patent/CN113868808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/02—CAD in a network environment, e.g. collaborative CAD or distributed simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明实施例提供了一种道路网络临近检测时延优化方法、装置和系统，上述方法包括：获取道路网络临近检测系统中各个移动用户的用户信息以及与用户设备相距最近的目标边缘服务器的服务器计算资源信息；基于用户信息和服务器计算资源信息生成临近检测任务；基于自身的运动状态信息、计算资源信息以及服务器计算资源信息，确定用户设备对应的运动状态向量；确定用户设备对应的任务状态向量；将运动状态向量和任务状态向量输入预先训练的任务分配模型，确定任务分配占比向量；其中，任务分配占比向量用于标识所述用户设备向所述目标边缘服务器卸载的临近检测任务中各个子任务的占比。采用上述方法，使得计算耗时更少，时延更低。

Description

一种道路网络临近检测时延优化方法、装置和系统
技术领域
本发明应用于自动驾驶技术领域，特别是涉及一种道路网络临近检测时 延优化方法、装置和系统。
背景技术
5G和人工智能技术的不断突破推动了自动驾驶技术的发展，在自动驾驶 道路网络中，检测移动用户之间的临近关系被称为道路网络中的临近检测。 临近检测对于移动用户的安全有着很重要的作用，例如，对道路网络中的移 动用户进行临近检测可以帮助移动用户获取临近车辆的信息，避免发生交通 事故。因此，在自动驾驶技术领域中，如何准确有效地检测移动用户之间的 临近关系十分重要。
目前，主要是利用P2P(Peer-to-Peer，对等网络)或C/S(Client-Server， 客户端-服务器)等传统网络进行临近检测。然而，利用传统网络进行临近检 测存在时延长的缺点。
发明内容
本发明实施例的目的在于提供一种道路网络临近检测时延优化方法、装 置和系统，以减小道路网络临近检测的时延。
为了达到上述目的，本发明实施例提供了一种道路网络临近检测时延优 化方法，应用于道路网络临近检测系统中的移动用户的用户设备，所述道路 网络临近检测系统还包括至少一个边缘服务器；所述方法包括：
获取所述道路网络临近检测系统中各个移动用户的用户信息以及与所述 用户设备相距最近的目标边缘服务器的服务器计算资源信息，其中，所述用 户信息包括运动状态信息和计算资源信息；
基于所述用户信息和所述服务器计算资源信息，生成临近检测任务，其 中，所述临近检测任务包括多个子任务；
基于所述用户设备自身的运动状态信息、计算资源信息以及所述服务器 计算资源信息，确定所述用户设备对应的运动状态向量；
基于所述临近检测任务和预设的任务比例约束函数，确定所述用户设备 对应的任务状态向量；
将所述运动状态向量和所述任务状态向量输入预先训练的任务分配模型， 分别对所述运动状态向量和所述任务状态向量进行特征提取，并基于提取的 特征输出任务分配占比向量；其中，所述任务分配占比向量用于标识所述用 户设备向所述目标边缘服务器卸载的所述临近检测任务中各个子任务的占比， 基于所述任务分配占比向量完成所述临近检测任务的计算所对应的时延满足 预设的时延约束条件；所述任务分配模型为基于训练样本及预设的时延约束 条件训练得到的。
进一步的，所述任务分配模型包括：第一特征提取层、第二特征提取层、 特征拼接层和输出层；
所述将所述运动状态向量和所述任务状态向量输入预先训练的任务分配 模型，分别对所述运动状态向量和所述任务状态向量进行特征提取，并基于 提取的特征输出任务分配占比向量，包括：
所述第一特征提取层，对输入的所述运动状态向量进行特征提取，得到 运动状态特征；
所述第二特征提取层，对输入的所述任务状态向量进行特征提取，得到 任务状态特征；
所述特征拼接层，对所述运动状态特征和所述任务状态特征进行拼接， 得到拼接特征；
所述输出层，对所述拼接特征进行特征映射处理后输出任务分配占比向 量。
进一步的，所述道路网络临近检测系统还包括中心服务器；
在所述基于提取的特征输出任务分配占比向量之后，还包括：
在所述目标边缘服务器根据所述任务分配占比向量所标识的被卸载于自 身的各个子任务的占比，计算所卸载的临近检测任务得到第一执行结果的同 时，所述用户设备根据所述任务分配占比向量所标识的该用户设备应计算的 各个子任务的占比，执行所述各个子任务，得到第二执行结果；
若所述用户设备在所述目标边缘服务器的覆盖范围内，则接收所述目标 边缘服务器发送的所述第一执行结果；
若所述用户设备不在所述目标边缘服务器的覆盖范围内，接收当前与所 述用户设备相距最近的边缘服务器发送的所述第一执行结果；其中，所述第 一执行结果为所述中心服务器在接收到所述目标边缘服务器发送的所述第一 执行结果后转发至当前与所述用户设备相距最近的边缘服务器的。
进一步的，所述基于所述用户设备自身的运动状态信息、计算资源信息 以及所述服务器计算资源信息，确定所述用户设备对应的运动状态向量，包 括：
基于所述用户设备自身的运动状态信息、计算资源信息以及所述服务器 计算资源信息，采用如下公式确定所述用户设备对应的运动状态向量：
Figure BDA0003218342790000031
其中，
Figure BDA0003218342790000032
为所述用户设备对应的运动状态向量；
Figure BDA0003218342790000033
为所述用户设备在t时 刻的计算速率，
Figure BDA0003218342790000034
为所述用户设备在t时刻的可用内存值；
Figure BDA0003218342790000035
为所述用户设备 在t时刻的速度x分量，
Figure BDA0003218342790000036
为所述用户设备在t时刻的速度y分量；
Figure BDA0003218342790000037
为所述用 户设备在t时刻的位置的横坐标，
Figure BDA0003218342790000038
为所述用户设备在t时刻的位置的纵坐标；
Figure BDA0003218342790000039
为所述目标边缘服务器在t时刻的计算速率，
Figure BDA00032183427900000310
为所述目标边缘服务器在t 时刻的可用内存。
进一步的，所述基于所述临近检测任务和预设的任务比例约束函数，确 定所述用户设备对应的任务状态向量，包括：
基于所述临近检测任务和预设的任务比例约束函数，采用如下公式确定 所述用户设备对应的任务状态向量：
Figure BDA00032183427900000311
Figure BDA00032183427900000312
Figure BDA00032183427900000313
其中，
Figure BDA00032183427900000314
为所述用户设备对应的任务状态向量；NThm为所述目标边缘服 务器的最大线程数量；所述用户设备在t时刻生成的临近检测任务为
Figure BDA0003218342790000041
分别为所述用户设备在t时刻生成 的临近检测任务所包括的NThm子任务；
Figure BDA0003218342790000042
为预设的任务比例约束函数，
Figure BDA0003218342790000043
为使用预先定义 函数f(x)＝min{1，max{0，x}}对t时刻的所述用户设备对应的任务分配占比向量 进行约束后对应的约束结果，at为t时刻的所述用户设备对应的任务分配占比 向量，
Figure BDA0003218342790000044
∈t为探索因子， ∈t值满足标准正态分布，
Figure BDA0003218342790000045
为t时刻的所述用户设备对应的任务 分配占比向量的各个分量，
Figure BDA0003218342790000046
为t时刻的所述用户设备对应的任务分配占比向 量的第i个分量。
进一步的，采用如下公式确定，所述基于任务分配占比向量完成所述临 近检测任务的计算所对应的时延：
T＝max{tm1+tm2，tlocal}
其中，T为基于所述任务分配占比向量完成所述临近检测任务的计算所对 应的时延；tm1为所述用户设备卸载临近检测任务至所述目标边缘服务器的卸 载时延，tm2为计算时延，tlocal为所述用户设备在本地计算临近检测任务的计 算时延。
进一步的，所述预设的时延约束条件包括：
C1：0≤αi≤1，1≤i≤Nmc-1；
C2：tm1+tm2≤ts；
C3：Dlocal≤Qc；
C4：Dmec≤Qm；
其中，所述预设的时延约束条件包括条件C1-C4；tm1为所述用户设备卸 载临近检测任务至所述目标边缘服务器的卸载时延，tm2为计算时延；ts为所 述用户设备在所述目标边缘服务器的覆盖区域中的最长时间；Dmec为所述用 户设备向所述目标边缘服务器卸载的计算任务量，Qm为所述目标边缘服务器 的可用内存；Dlocal为所述用户设备应在本地计算的计算任务量，Qc为所述用 户设备的可用内存值；αi为所述用户设备为第i个子任务分配的权重，Nmc为 所述目标边缘服务器覆盖范围内的用户设备的数量。
进一步的，所述任务分配模型的训练方式，包括：
将训练样本中的样本运动状态向量和样本任务状态向量分别输入待训练 任务分配模型的第一特征提取层和第二特征提取层；
对第一特征提取层和第二特征提取层输出的预测特征进行拼接，得到预 测拼接特征；
对所述预测拼接特征进行特征映射处理，得到预测任务分配占比向量；
若基于所述预测任务分配占比向量完成样本临近检测任务的计算所对应 的时延满足预设的时延约束条件，将所述预测任务分配占比向量、所述样本 运动状态向量和所述样本任务状态向量输入待训练状态动作价值模型，得到 预测状态向量；
基于所述预测状态向量、所述预测任务分配占比向量、所述样本运动状 态向量、所述样本任务状态向量和奖励函数，确定待训练状态动作价值模型 的损失函数，作为第一损失函数；其中，所述奖励函数为根据所述预测任务 分配占比向量、所述样本运动状态向量和所述样本任务状态向量所确定的；
基于所述预测任务分配占比向量、所述样本运动状态向量、所述样本任 务状态向量和待训练状态动作价值模型的参数，确定待训练任务分配模型的 损失函数，作为第二损失函数；
若所述第一损失函数和所述第二损失函数均收敛，确定待训练任务分配 模型为所述任务分配模型；否则，调整待训练任务分配模型的参数和待训练 状态动作价值模型的参数，并返回所述将将训练样本中的样本运动状态向量 和样本任务状态向量分别输入待训练任务分配模型的第一特征提取层和第二 特征提取层的步骤。
为了达到上述目的，本发明实施例还提供了一种道路网络临近检测系统， 包括多个移动用户的用户设备和至少一个边缘服务器；
所述用户设备，用于获取所述道路网络临近检测系统中各个移动用户的 用户信息以及与所述用户设备相距最近的目标边缘服务器的服务器计算资源 信息，其中，所述用户信息包括运动状态信息和计算资源信息；基于所述用 户信息和所述服务器计算资源信息，生成临近检测任务，其中，所述临近检 测任务包括多个子任务；基于所述用户设备自身的运动状态信息、计算资源 信息以及所述服务器计算资源信息，确定所述用户设备对应的运动状态向量； 基于所述临近检测任务和预设的任务比例约束函数，确定所述用户设备对应 的任务状态向量；将所述运动状态向量和所述任务状态向量输入预先训练的 任务分配模型，分别对所述运动状态向量和所述任务状态向量进行特征提取， 并基于提取的特征输出任务分配占比向量；其中，所述任务分配占比向量用 于标识所述用户设备向所述目标边缘服务器卸载的所述临近检测任务中各个 子任务的占比，基于所述任务分配占比向量完成所述临近检测任务的计算所 对应的时延满足预设的时延约束条件；所述任务分配模型为基于训练样本及 预设的时延约束条件训练得到的；
所述边缘服务器，用于接收自身覆盖范围内各个所述用户设备发送的用 户信息；并向自身覆盖范围内各个所述用户设备发送所述道路网络临近检测 系统中各所有移动用户的用户信息。
进一步的，所述系统还包括中心服务器；
所述用户设备在基于提取的特征输出任务分配占比向量之后，还用于在 所述目标边缘服务器根据所述任务分配占比向量所标识的被卸载于自身的各 个子任务的占比，计算所卸载的临近检测任务得到第一执行结果的同时，根 据所述任务分配占比向量所标识的该用户设备应计算的各个子任务的占比， 执行所述各个子任务，得到第二执行结果；若所述用户设备在所述目标边缘 服务器的覆盖范围内，则接收所述目标边缘服务器发送的所述第一执行结果； 若所述用户设备不在所述目标边缘服务器的覆盖范围内，接收当前与所述用 户设备相距最近的边缘服务器发送的所述第一执行结果；
所述边缘服务器，还用于发送所述第一执行结果至中心服务器；
所述中心服务器，接收到所述目标边缘服务器发送的所述第一执行结果 后，转发所接收的所述第一执行结果至当前与所述用户设备相距最近的边缘 服务器。
为了达到上述目的，本发明实施例还提供了一种道路网络临近检测时延 优化装置，应用于道路网络临近检测系统中的移动用户的用户设备，所述道 路网络临近检测系统还包括至少一个边缘服务器；所述装置包括：
信息获取模块，用于获取所述道路网络临近检测系统中各个移动用户的 用户信息以及与所述用户设备相距最近的目标边缘服务器的服务器计算资源 信息，其中，所述用户信息包括运动状态信息和计算资源信息；
任务生成模块，用于基于所述用户信息和所述服务器计算资源信息，生 成临近检测任务，其中，所述临近检测任务包括多个子任务；
第一状态确定模块，用于基于所述用户设备自身的运动状态信息、计算 资源信息以及所述服务器计算资源信息，确定所述用户设备对应的运动状态 向量；
第二状态确定模块，用于基于所述临近检测任务和预设的任务比例约束 函数，确定所述用户设备对应的任务状态向量；
任务分配模块，用于将所述运动状态向量和所述任务状态向量输入预先 训练的任务分配模型，分别对所述运动状态向量和所述任务状态向量进行特 征提取，并基于提取的特征输出任务分配占比向量；其中，所述任务分配占 比向量用于标识所述用户设备向所述目标边缘服务器卸载的所述临近检测任 务中各个子任务的占比，基于所述任务分配占比向量完成所述临近检测任务 的计算所对应的时延满足预设的时延约束条件；所述任务分配模型为基于训 练样本及预设的时延约束条件训练得到的。
为了达到上述目的，本发明实施例还提供了一种用户设备，包括处理器、 通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信 总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述道路网 络临近检测时延优化方法步骤。
为了达到上述目的，本发明实施例还提供了一种计算机可读存储介质， 所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执 行时实现上述任一所述的道路网络临近检测时延优化方法步骤。
为了达到上述目的，本发明实施例还提供了一种包含指令的计算机程序 产品，当其在计算机上运行时，使得计算机执行上述任一所述的道路网络临 近检测时延优化方法步骤。
本发明实施例有益效果：
采用本发明实施例提供的方法，通过获取道路网络临近检测系统中各个 移动用户的用户信息以及与用户设备相距最近的目标边缘服务器的服务器计 算资源信息；基于用户信息和所述服务器计算资源信息，生成临近检测任务， 其中，临近检测任务包括多个子任务；基于自身的运动状态信息、计算资源 信息以及服务器计算资源信息，确定用户设备对应的运动状态向量；基于临 近检测任务和预设的任务比例约束函数，确定用户设备对应的任务状态向量； 将运动状态向量和任务状态向量输入预先训练的任务分配模型，分别对运动 状态向量和任务状态向量进行特征提取，并基于提取的特征输出任务分配占 比向量；其中，任务分配占比向量用于标识用户设备向目标边缘服务器卸载 的临近检测任务中各个子任务的占比，基于任务分配占比向量完成临近检测 任务的计算所对应的时延满足预设的时延约束条件。即可以通过任务分配模 型确定用户设备向目标边缘服务器卸载的临近检测任务中各个子任务的占比， 将各个子任务中一定比例的计算任务卸载到目标边缘服务器，以使得该边缘 服务器与目标移动用户共同并行计算临近检测任务，计算耗时更少，并且基 于任务分配占比向量完成临近检测任务的计算所对应的时延满足预设的时延约束条件，对计算临近检测任务的时间做了约束，使得时延更低。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的 所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的道路网络临近检测系统一种结构示意图；
图2为本发明实施例提供的道路网络临近检测系统另一种结构示意图；
图3为本发明实施例提供的道路网络临近检测时延优化方法的一种流程 图；
图4为任务分配模型的一种结构示意图；
图5为本发明实施例提供的道路网络临近检测时延优化方法的另一种流 程图；
图6为MEC架构中的数据传输示意图；
图7为移动用户信息传输与计算任务卸载的示意图；
图8为移动用户与边缘服务器之间的位置关系的示意图；
图9为动态道路网络中处于特殊位置的移动用户的示意图；
图10为移动用户的子任务划分示意图；
图11为本发明实施例提供的任务分配模型的一种训练流程图；
图12为策略函数神经网络的结构示意图；
图13为状态动作值函数的结果示意图；
图14a为T个时刻的总奖励值随采样轮数的变化示意图；
图14b为T个时刻的平均时延随采样轮数的变化示意图；
图15a为不同学习率对奖励函数优化过程的影响示意图；
图15b为不同学习率对平均时延优化过程的影响示意图；
图16a为不同单个数据批次大小对应的奖励函数的收敛结果示意图；
图16b为不同单个数据批次大小对应的平均时延的收敛结果示意图；
图17为本发明实施例提供的道路网络临近检测时延优化装置的一种结构 示意图；
图18为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申 请所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的道路网络临近检测系统一种结构示意图，如图 1所示，该系统100包括多个移动用户的用户设备110和至少一个边缘服务器 120；
用户设备110，用于获取道路网络临近检测系统中各个移动用户的用户信 息以及与用户设备相距最近的目标边缘服务器的服务器计算资源信息，其中， 用户信息包括运动状态信息和计算资源信息；基于用户信息和服务器计算资 源信息，生成临近检测任务，其中，临近检测任务包括多个子任务；基于所 述用户设备自身的运动状态信息、计算资源信息以及服务器计算资源信息， 确定用户设备对应的运动状态向量；基于临近检测任务和预设的任务比例约 束函数，确定用户设备对应的任务状态向量；将运动状态向量和任务状态向 量输入预先训练的任务分配模型，分别对运动状态向量和任务状态向量进行 特征提取，并基于提取的特征输出任务分配占比向量；其中，任务分配占比 向量用于标识用户设备向目标边缘服务器卸载的临近检测任务中各个子任务 的占比，基于任务分配占比向量完成临近检测任务的计算所对应的时延满足 预设的时延约束条件；任务分配模型为基于训练样本及预设的时延约束条件 训练得到的；
边缘服务器120，用于接收自身覆盖范围内各个用户设备发送的用户信息； 并向自身覆盖范围内各个所述用户设备发送道路网络临近检测系统中各所有 移动用户的用户信息。
图2为本发明实施例提供的道路网络临近检测系统另一种结构示意图，如 图2所示，该系统还包括中心服务器210；
用户设备110在基于提取的特征输出任务分配占比向量之后，还用于在目 标边缘服务器根据任务分配占比向量所标识的被卸载于自身的各个子任务的 占比，计算所卸载的临近检测任务得到第一执行结果的同时，根据任务分配 占比向量所标识的该用户设备应计算的各个子任务的占比，执行各个子任务， 得到第二执行结果；若用户设备在目标边缘服务器的覆盖范围内，则接收目 标边缘服务器发送的所述第一执行结果；若用户设备不在目标边缘服务器的 覆盖范围内，接收当前与用户设备相距最近的边缘服务器发送的第一执行结 果；
边缘服务器120，还用于发送第一执行结果至中心服务器；
中心服务器210，接收到目标边缘服务器发送的第一执行结果后，转发所 接收的第一执行结果至当前与用户设备相距最近的边缘服务器。
采用本发明实施例提供的系统，可以通过任务分配模型确定用户设备向 目标边缘服务器卸载的临近检测任务中各个子任务的占比，将各个子任务中 一定比例的计算任务分配给目标边缘服务器，以使得该边缘服务器与目标移 动用户共同并行计算临近检测任务，计算耗时更少，并且基于任务分配占比 向量完成临近检测任务的计算所对应的时延满足预设的时延约束条件，对计 算临近检测任务的时间做了约束，使得时延更低。
图3为本发明实施例提供的道路网络临近检测时延优化方法的一种流程， 应用于道路网络临近检测系统中的移动用户的用户设备，道路网络临近检测 系统还包括至少一个边缘服务器，如图3所示，该方法包括如下步骤：
步骤301，获取道路网络临近检测系统中各个移动用户的用户信息以及与 用户设备相距最近的目标边缘服务器的服务器计算资源信息，其中，用户信 息包括运动状态信息和计算资源信息。
本发明实施例中，在一种可能的实施方式中：用户设备可以将自身的用 户信息发送给与其相距最近的目标边缘服务器；各个边缘服务器可以接收其 覆盖范围内的移动用户的用户信息，然后将道路网络临近检测系统中各个移 动用户的用户信息以及自身的服务器计算资源信息发送给用户设备。用户设 备可以通过与其相距最近的目标边缘服务器获取道路网络临近检测系统中各 个移动用户的用户信息以及该目标边缘服务器的服务器计算资源信息。
在另一种可能的实施方式中：道路网络临近检测系统还包括中心服务器， 用户设备可以将自身的用户信息发送给与其相距最近的目标边缘服务器；各 个边缘服务器可以接收其覆盖范围内的所有移动用户的用户信息，然后其覆 盖范围内的所有移动用户的用户信息发送至中心服务器；中心服务器接收到 所有边缘服务器覆盖范围内的所有移动用户的用户信息(即道路网络临近检 测系统中各个移动用户的用户信息)后，将道路网络临近检测系统中各个移 动用户的用户信息发送至各个边缘检测服务器；每个边缘检测服务器将道路 网络临近检测系统中各个移动用户的用户信息以及自身的服务器计算资源信息发送给其覆盖范围内的所有用户设备。用户设备可以通过与其相距最近的 目标边缘服务器获取道路网络临近检测系统中各个移动用户的用户信息以及 该目标边缘服务器的服务器计算资源信息
步骤302，基于用户信息和所述服务器计算资源信息，生成临近检测任务， 其中，临近检测任务包括多个子任务。
步骤303，基于用户设备自身的运动状态信息、计算资源信息以及服务器 计算资源信息，确定用户设备对应的运动状态向量。
具体的，本发明实施例中可以基于自身的运动状态信息、计算资源信息 以及服务器计算资源信息，采用如下公式确定用户设备对应的运动状态向量：
Figure BDA0003218342790000121
其中，
Figure BDA0003218342790000122
为用户设备对应的运动状态向量；
Figure BDA0003218342790000123
为用户设备在t时刻的计算 速率，
Figure BDA0003218342790000124
为用户设备在t时刻的可用内存值；
Figure BDA0003218342790000125
为用户设备在t时刻的速度x分 量，
Figure BDA0003218342790000126
为用户设备在t时刻的速度y分量；
Figure BDA0003218342790000127
为用户设备在t时刻的位置的横坐 标，
Figure BDA0003218342790000128
为用户设备在t时刻的位置的纵坐标；
Figure BDA0003218342790000129
为目标边缘服务器在t时刻的 计算速率，
Figure BDA00032183427900001210
为目标边缘服务器在t时刻的可用内存。
步骤304，基于临近检测任务和预设的任务比例约束函数，确定用户设备 对应的任务状态向量。
具体的，本发明实施例中可以基于临近检测任务和预设的任务比例约束 函数，采用如下公式确定用户设备对应的任务状态向量：
Figure BDA00032183427900001211
Figure BDA00032183427900001212
Figure BDA00032183427900001213
其中，
Figure BDA0003218342790000131
为用户设备对应的任务状态向量；NThm为目标边缘服务器的最 大线程数量；用户设备在t时刻生成的临近检测任务为
Figure BDA0003218342790000132
分别为用户设备在t时刻生成的临近检测任务所包括的NThm子任务；
Figure BDA0003218342790000133
为预设 的任务比例约束函数，
Figure BDA0003218342790000134
为使用预先定义函数 f(x)＝min{1，max{0，x}}对t时刻的用户设备对应的任务分配占比向量进行约束 后对应的约束结果，at为t时刻的用户设备对应的任务分配占比向量，
Figure BDA0003218342790000135
∈t为探索因子，∈t值 满足标准正态分布，
Figure BDA0003218342790000136
为t时刻的用户设备对应的任务分配占比 向量的各个分量，即，t时刻用户设备对应的各个子任务的分配占比；
Figure BDA0003218342790000137
为t时刻的所述用户设备对应的任务分配占比向量的第i个分量，即t时刻用户设备对 应的第i个子任务的分配占比。
步骤305，将运动状态向量和任务状态向量输入预先训练的任务分配模型， 分别对运动状态向量和任务状态向量进行特征提取，并基于提取的特征输出 任务分配占比向量；其中，任务分配占比向量用于标识用户设备向目标边缘 服务器卸载的临近检测任务中各个子任务的占比，基于任务分配占比向量完 成临近检测任务的计算所对应的时延满足预设的时延约束条件。
其中，任务分配模型为基于训练样本及预设的时延约束条件训练得到的。
本发明实施例中，任务分配模型可以是进行间隔性线下训练得到的，例 如，针对时间段[tA，tB]内的用户设备确定道路网络临近检测任务时，可以使 用tA时刻之前训练得到的任务分配模型。与此同时，也可以将时间段[tA，tB] 内每个时刻所采集到的用户设备运动状态信息、计算资源信息以及服务器计 算资源信息传回经验回放池中，用于任务分配模型的增量训练。任务分配模 型的增量训练是指：任务分配模型可以在之前训练得到的参数基础上，继续 用经验回放池中新的用户设备运动状态信息、计算资源信息以及服务器计算资源信息等数据进行训练。即本发明实施例中任务分配模型在下线的训练是 阶段性更新的。
本发明实施例中，任务分配模型可以包括：第一特征提取层、第二特征 提取层、特征拼接层和输出层；将运动状态向量和任务状态向量输入预先训 练的任务分配模型，分别对运动状态向量和任务状态向量进行特征提取，并 基于提取的特征输出任务分配占比向量，具体可以包括步骤A1-A4：
步骤A1：第一特征提取层，对输入的运动状态向量进行特征提取，得到 运动状态特征。
步骤A2：第二特征提取层，对输入的任务状态向量进行特征提取，得到 任务状态特征。
步骤A3：特征拼接层，对运动状态特征和任务状态特征进行拼接，得到 拼接特征。
具体的，可以将1×N1维的运动状态特征和1×N2维的任务状态特征进行 拼接，得到1×(N1+N2)维的拼接特征。其中，N1可以为28，N2可以为100。
步骤A4：输出层，对拼接特征进行降维处理后输出任务分配占比向量。
举例说明，可以将t时刻的状态st分成运动状态向量
Figure BDA0003218342790000141
和任务状态向量
Figure BDA0003218342790000142
Figure BDA0003218342790000143
并将运动状态向量
Figure BDA0003218342790000144
和任务状态向量
Figure BDA0003218342790000145
分别输入第一特征提取 层和第二特征提取层。图4为任务分配模型的一种结构示意图，如图4所示， 运动状态向量
Figure BDA0003218342790000146
经过第一特征提取层中的两个全连接层FC1和FC2以及Relu函 数的非线性映射后，提取到运动状态特征，其中，两个全连接层FC1和FC2的 输出特征维度均为1×28。任务状态向量
Figure BDA0003218342790000147
经过第二特征提取层中全连接层 FC3提取特征，FC3层输出维度为1×100，然后将FC3层输出的维度为1×100 特征输入resize层，将特征的维度转换为1×10×10，通过卷积层CONV1和CONV2进行特征间的稀疏交互。CONV1和CONV2的卷积核大小分别可以为 7×7和5×5，且均用relu函数进行非线性映射，通过卷积层CONV1和CONV2 后数据维度仍然为1×10×10，然后将通过relu函数非线性映射后的维度为1 ×10×10的特征输入Fatten层，将特征转换为维度为1×100的任务状态特征； 通过特征拼接层将1×28的运动状态特征和1×100维的任务状态特征进行拼接， 得到1×128维的拼接特征；然后通过全连接层FC4对1×128维的拼接特征进行 降维得到1×64维的任务分配占比向量，并通过输出层输出1×64维的任务分配占比向量。
本发明实施例中，可以采用如下公式确定，所述基于任务分配占比向量 完成所述临近检测任务的计算所对应的时延：
T＝max{tm1+tm2，tlocal}
其中，T为基于所述任务分配占比向量完成所述临近检测任务的计算所对 应的时延；tm1为所述用户设备卸载临近检测任务至所述目标边缘服务器的卸 载时延，tm2为计算时延，tlocal为所述用户设备在本地计算临近检测任务的计 算时延。
其中，所述基于任务分配占比向量完成所述临近检测任务的计算所对应 的时延满足预设的时延约束条件。具体的，本发明实施例中预设的时延约束 条件可以包括条件C1-C4：
C1：0≤αi≤1，1≤i≤Nmc-1；
C2：tm1+tm2≤ts；
C3：Dlocal≤Qc；
C4：Dmec≤Qm；
其中，tm1为用户设备卸载临近检测任务至目标边缘服务器的卸载时延， tm2为计算时延，ts为用户设备在目标边缘服务器的覆盖区域中的最长时间； Dmec用户设备向目标边缘服务器卸载的计算任务量，Qm为目标边缘服务器的 可用内存；Dlocal为用户设备应在本地计算的计算任务量，Qc为用户设备的可 用内存值；αi为用户设备为第i个子任务分配的权重，Nmc为目标边缘服务器 覆盖范围内的用户设备的数量。
采用本发明实施例提供的方法，通过获取道路网络临近检测系统中各个 移动用户的用户信息以及与用户设备相距最近的目标边缘服务器的服务器计 算资源信息；基于用户信息和所述服务器计算资源信息，生成临近检测任务， 其中，临近检测任务包括多个子任务；基于自身的运动状态信息、计算资源 信息以及服务器计算资源信息，确定用户设备对应的运动状态向量；基于临 近检测任务和预设的任务比例约束函数，确定用户设备对应的任务状态向量； 将运动状态向量和任务状态向量输入预先训练的任务分配模型，分别对运动 状态向量和任务状态向量进行特征提取，并基于提取的特征输出任务分配占 比向量；其中，任务分配占比向量用于标识用户设备向目标边缘服务器卸载 的临近检测任务中各个子任务的占比，基于任务分配占比向量完成临近检测 任务的计算所对应的时延满足预设的时延约束条件。即可以通过任务分配模 型确定用户设备向目标边缘服务器卸载的临近检测任务中各个子任务的占比， 将各个子任务中一定比例的计算任务卸载到目标边缘服务器，以使得该边缘 服务器与目标移动用户共同并行计算临近检测任务，计算耗时更少，并且基 于任务分配占比向量完成临近检测任务的计算所对应的时延满足预设的时延约束条件，对计算临近检测任务的时间做了约束，使得时延更低。
图5为本发明实施例提供的道路网络临近检测时延优化方法的另一种流程， 应用于道路网络临近检测系统中的移动用户的用户设备，道路网络临近检测 系统还包括中心服务器和至少一个边缘服务器，如图5所示，该方法包括如下 步骤：
步骤501-步骤505分别与步骤301-步骤305对应相同，此处不再赘述。
步骤506，在目标边缘服务器根据任务分配占比向量所标识的被卸载于自 身的各个子任务的占比，计算所卸载的临近检测任务得到第一执行结果的同 时，用户设备根据任务分配占比向量所标识的该用户设备应计算的各个子任 务的占比，执行各个子任务，得到第二执行结果。
步骤507，若用户设备在目标边缘服务器的覆盖范围内，则接收目标边缘 服务器发送的第一执行结果。
步骤508，若用户设备不在目标边缘服务器的覆盖范围内，接收当前与用 户设备相距最近的边缘服务器发送的第一执行结果；其中，第一执行结果为 中心服务器在接收到目标边缘服务器发送的第一执行结果后转发至当前与用 户设备相距最近的边缘服务器的。
采用本发明实施例提供的方法，可以通过任务分配模型确定用户设备向 目标边缘服务器卸载的临近检测任务中各个子任务的占比，将各个子任务中 一定比例的计算任务分配给目标边缘服务器，以使得该边缘服务器与目标移 动用户共同并行计算临近检测任务，计算耗时更少，并且基于任务分配占比 向量完成临近检测任务的计算所对应的时延满足预设的时延约束条件，对计 算临近检测任务的时间做了约束，使得时延更低。
在道路网络中，移动用户需要在时刻获得其与其他移动用户之间的临近 关系。图6为MEC(Mobile Edge Computing，移动边缘计算)架构中的数据传 输示意图，如图6所示，在MEC增强型临近检测体系结构中，每个移动用户 610都与距离其最近的边缘服务器620进行通信，报告其用户信息，并且边缘 服务器620也可以与该移动用户610共享其他移动用户的用户信息。在此过程 中，移动用户可以从边缘服务器620接收其他移动用户的用户信息并生成临近 检测任务。
本发明实施例中，道路网络临近检测系统的大多数移动用户可以直接通 过边缘服务器获取与其临近的其他移动用户的用户信息。但对于位于边缘服 务器边界服务范围中的少数移动用户而言，与他们临近的部分移动用户可能 不在该边缘服务器的服务区域中，而是位于其他边缘服务器的服务区域中， 在这种情况下，中心服务器需要参与计算。图7是移动用户信息传输与计算 任务卸载的示意图，如图7所示，所有边缘服务器具有相同的服务半径r。如 果边缘服务器到其边界服务范围的内边界之间的距离为rTH，则以边缘服务器 为圆心，边界服务范围可表示成半径范围[rTH，r]的环形区域。如图7中的虚 线所示，边缘服务器非边界服务范围内的移动用户将信息发送到与之通信的 边缘服务器。例如，对于图7中的移动用户702或移动用户703，它们的临近 检测任务仅要求边缘服务器704或边缘服务器705参与计算。如图7所示， 对于非边界服务范围(如区域720)中的移动用户而言，例如移动用户702或 移动用户703，边缘服务器将道路网络临近检测系统中所有移动用户的用户信 息发送给每个移动用户，然后，移动用户生成临近检测任务，将部分临近检 测任务卸载到边缘服务器执行，其余部分留在本地执行，边缘服务器完成任 务计算后，会将结果发送回移动用户。而对于边缘服务器的边界服务范围 (如区域710)中的移动用户而言，例如图7中的移动用户701，其临近检测 任务要求边缘服务器704和中心服务器706同时参与计算。如图7中所示， 边缘服务器将服务区域内的所有移动用户的用户信息发送到中央服务器。若 移动用户701的速度为v，临近时间阈值为Tε，(当两个移动用户的时间距离 不大于Tε时，即认为两个用户具有临近关系)，移动用户的最大速度为Vmax， 则中央服务器在以移动用户701为中心，以(|v|+|Vmax|)·Tε为半径的圆域内 进行筛选，选择可能与该移动用户701临近的移动用户，并将可能与该移动 用户701临近的移动用户的用户信息通过边缘服务器发送回该移动用户701。 移动用户701在本地生成临近检测任务，并将一些临近检测任务卸载到边缘 服务器。最后，边缘服务器将执行结果发送回移动用户。
本发明实施例中，移动用户可以选择服务区域中距离它最近且通信用户 数最少的边缘服务器，作为目标边缘服务器，记为Mo。具体的，可以根据与 移动用户Mo之间的欧几里得距离来判断它是否在Mo服务区域的边界范围 [rTH，r]中。本发明实施例中，可以假设移动用户的位置信息和速度信息在移 动用户的用户设备和边缘服务器之间、边缘服务器与中央服务器之间的传输 时延比卸载时延要短得多，因此可以忽略不计。移动用户的用户设备可以生 成临近检测任务，可以将临近检测任务中的子任务定义为移动用户与目标边 缘服务器Mo的服务区域内的任何其他移动用户之间的时间距离计算任务。假 设目标边缘服务器Mo的服务区域中的移动用户的数量为Nmc，则移动用户的 计算临近检测任务可以分为Nmc-1个子任务，临近检测任务可以表示为De，De由子任务组成，即
Figure BDA0003218342790000191
1≤i≤Nmc-1。移动用 户的用户设备可以为每个临近检测任务的各个子任务分配权重αi，表示子任 务Die卸载到边缘服务器计算的比例，0≤αi≤1，1≤i≤Nmc-1。 (1-αi)表示子任务Die在移动用户的用户设备本地计算的比例。移动用户的用户设备在本地计算的临近检测任务的量：
Figure BDA0003218342790000192
移动用户的用户设备向目标边缘服务器Mo卸载的临近检测任务的量为：
Figure BDA0003218342790000193
道路网络中的所有移动用户的用户设备都通过无线 网络与边缘服务器进行通信。无线信道传输功率是移动用户的用户设备与边 缘服务器的欧几里得距离d的函数。距离d是随时间t变化的函数。设ts为移 动用户的用户设备在边缘服务器的服务区域内的最长时间。移动用户的用户 设备与边缘服务器之间的无线信道中的数据上行链路传输速率为Ru，下行链 路传输速率为Rd，且Rd＝Ru。
图8为移动用户与边缘服务器之间的位置关系的示意图，如图8所示， 移动用户的位置坐标P0(x0，y0)及其速度vo(v0x，v0y)可以确定移动用户运动的 直线轨迹。其直线方程为：
Figure BDA0003218342790000194
利用目标边缘服务器Mo的位置坐标 PM(xmec，ymec)及其服务区域的半径r，可以建立服务区域边界曲线(x- xmec)2+(y-ymec)2＝r2。根据这两个曲线方程可以获得目标边缘服务器 Mo的服务区域边界曲线和移动用户的运动直线的两个交点A(xA，yA)，B(xB，yB)， 直线
Figure BDA0003218342790000195
的中点坐标为M(xm，ym)，
Figure BDA0003218342790000196
然后可以根据目 标边缘服务器Mo的位置坐标和点M的坐标确定从目标边缘服务器Mo到直线
Figure BDA0003218342790000197
的欧几里得距离：
Figure BDA0003218342790000198
如图8所示，令向 量
Figure BDA0003218342790000199
为：
Figure BDA0003218342790000201
并记向量
Figure BDA0003218342790000202
为：
Figure BDA0003218342790000203
然后，移动用户与目标边缘服务器Mo之间 的距离d(t)可表示为：
Figure BDA0003218342790000204
移动用户在边缘服务器服务区 域中的最长时间为ts：
Figure BDA0003218342790000205
设无线信道带宽为B，噪声功率谱密度为N0，传输功率为P，信道增益为h， δ为路径损耗指数，根据香农公式，在移动用户与边缘服务器之间的无线信道 中，上行数据传输速率Ru为：
Figure BDA0003218342790000206
从移动用户到目标边缘服务器Mo的卸载时延可以表示为：
Figure BDA0003218342790000207
根据移动用户的用户设备的本地计算速率Rc和目标边缘服务器Mo的计算速率 Rm，分别获得移动用户的用户设备的本地临近检测任务计算时延tlocal和目标 边缘服务器Mo上的计算时延tm2：
Figure BDA0003218342790000208
Figure BDA0003218342790000209
这样，移动用户的用户设备在本地执行部分临近检测任务，同时将剩余 的临近检测任务卸载到目标边缘服务器Mo执行。计算任务完成后，目标边缘 服务器Mo将执行结果发送给该移动用户的用户设备。最后，完成移动用户 的用户设备的所有临近检测任务的总时延T为：T＝max{tm1+tm2，tlocal}。 其中，本发明实施例的目的之一是使总时延T最小，则总时延T需要同时满 足预设的时延约束条件C1-C4：
(i)因为i的取值有Nmc-1个，因此移动用户的用户设备为子任务分配 的权重αi满足Nmc-1个双边约束，等价于2Nmc-2个单边约束，即 C1为：0≤αi≤1，1≤i≤Nmc-1；
(ii)当移动用户在目标边缘服务器Mo的服务区域中时，目标边缘服务 器的卸载时延和计算时延之和不大于移动用户处于目标边缘服务器Mo中的时 间，即C2为：tm1+tm2≤ts；
(iii)移动用户的用户设备在本地执行的临近检测任务的量必须在该用 户设备本地计算任务容量阈值Qc之内，即C3为：Dlocal≤Qc；
(iv)目标边缘服务器Mo执行的临近检测任务的量必须在目标边缘服务 器可存储容量阈值Qm之内，即C4为：Dmec≤Qm。
因此，本发明实施例可以将具有上述预设时延约束条件的临近检测总时 延最小化问题建模成一个非线性规划问题：
Figure BDA0003218342790000211
s.t.C1-C4
以下介绍本发明实施例中以Δt的时间间隔改变状态环境的内容。
可以设t时刻道路网络中移动用户的速度矩阵和位置矩阵分别为
Figure BDA0003218342790000212
由所 有移动用户的计算速率、可用内存值组成的矩阵分别为
Figure BDA0003218342790000213
所有边缘服务 器的计算速率和可用内存大小组成的矩阵分别为
Figure BDA0003218342790000214
可以设tn+1时刻移 动用户的加速度
Figure BDA0003218342790000215
服从正态分布
Figure BDA0003218342790000216
则此时移动用户速度矩阵和位 置矩阵分别为：
Figure BDA0003218342790000221
Figure BDA0003218342790000222
可以继续设移动用户的移动速度最大值为Vmax，道路网络平面区域的四 个边界值分别为xl，xr，yl，yr，且xl≤xr，yl≤yr，则用户移动速度、位置需要分 别满足：
Figure BDA0003218342790000223
0≤i≤N。其中，
Figure BDA0003218342790000224
为第i个移动用户在t时刻的速度矩阵的范数，
Figure BDA0003218342790000225
为第i个移动用 户在t时刻的横坐标，
Figure BDA0003218342790000226
为第i个移动用户在t时刻的纵坐标。
为了满足上述位置约束，移动用户需要在每个时刻t判断自己与边界的物 理距离。如果某个移动用户与边界的物理距离小于阈值τ，它需要以较大的加速 度amax减速，如图9中的A用户，图9为动态道路网络中处于特殊位置的移 动用户的示意图。
可以设tn+1时刻
Figure BDA0003218342790000227
Figure BDA0003218342790000228
设移动用户的计算速率、可用内存的最大值分别为Rcm，Qcm，边缘服务器计算速率、可用内存的最大值分别为 Rmm，Qmm，则移动用户的计算速率、移动用户的可用内存、边缘服务器的计 算速率、边缘服务器的可用内存需要分别满足：
Figure BDA0003218342790000229
Figure BDA00032183427900002210
0≤i≤N。tn+1时刻的移 动用户的计算速率向量服从以tn时刻的用户计算速率为均值、∑Rc为方差的正 态分布。tn+1时刻的移动用户的用户设备的可用内存值向量服从以tn时刻用户可用内存值为均值、∑c为方差的正态分布。tn+1时刻的边缘服务器的计算速率 向量服从以tn时刻边缘服务器计算速率为均值、∑Rm为方差的正态分布。tn+1时 刻的边缘服务器的可用内存值向量服从以tn时刻边缘服务器可用内存值为均值、 ∑m为方差的正态分布。如果移动用户在某边缘服务器为该移动用户所卸载的 临近检测任务进行计算的过程中移出了该边缘服务器的服务范围，则该边缘 服务器先将执行结果上传至中心服务器，而后中心服务器获知移动用户的当 前位置，并将执行结果通过此时为该移动用户所服务的边缘服务器两跳传回 该移动用户。如图9中所示，如果移动用户B在t时刻处于边缘服务器901的服 务范围内，其卸载任务在边缘服务器901端执行，但在t+1时刻移动用户B移 动到边缘服务器902的服务范围内，则边缘服务器901中的执行结果可以先上 传至中心服务器903，由中心服务器903将执行结果通过边缘服务器902两跳传 回移动用户B。
本发明实施例中提出的道路网络临近检测时延优化方法，通过应用 DDPG(DeepDeterministic Policy Gradient，确定性策略梯度)算法优化动态 道路网络中移动用户的执行完临近检测任务的时延，得到各时刻移动用户的 临近检测任务的最优卸载比例。
深度强化学习可以通过5元组{S,A,r,π,Q}进行建模，其中，S是智能体的 状态空间，其中s∈S是智能体某一时刻的状态值向量。A是动作空间，a∈A 是智能体某一时刻的动作向量。r是奖励函数，表示处在某一状态的智能体执 行某一动作后获得的潜在奖励。π(a|s)是策略函数，Q(s,a)是状态动作值函数。 本发明实施例中，可以将Q(s,a,w)作为critic网络，π(a|s,θ)作为actor网络。 w和θ分别作为critic网络和actor网络中的参数，将actor和critic分别使用结 构相同的双网络(一个作为目标网络，另一个用于训练参数)，通过“软更新” 的方式对目标网络中的参数进行更新。以下说明本发明实施例中S,A,r,π,Q的建立过程：
以移动用户为例，在道路网络中，状态向量包括移动用户和当前与该移 动用户通信的边缘服务器各时刻的状态参数。移动用户的计算速率Rc和可用 内存值Qc，结合移动用户的速度v0和位置P0，当前与其通信的边缘服务器的 计算速率Rm,可用内存Qm,则t时刻运动状态向量
Figure BDA0003218342790000231
可以表示为：
Figure BDA0003218342790000232
Figure BDA0003218342790000241
DDPG算法的优化目标是得到子任务最优卸 载比例，因此可以将移动用户各时刻生成的子任务值加入当前状态向量中。 移动用户的子任务数量Nmc-1取决于其所在的边缘服务器服务范围内的移动 用户的数量或中心服务器筛选出的移动用户数量。移动用户本地CPU产生的 线程数最大值NTHl，NTHl≤NThm。图10为移动用户的子任务划分示意图，如 图10所示，t时刻移动用户共有Nmc-1个计算子任务：
Figure BDA0003218342790000242
可以将移动用户t时刻的每个计算子任务均分成NThm份，例如子任务D1可以分为
Figure BDA0003218342790000243
子任务D2可以分为
Figure BDA0003218342790000244
同样的， 子任务
Figure BDA0003218342790000245
可以分为
Figure BDA0003218342790000246
然后，如图 10所示，本文可以将t时刻移动用户所有计算子任务均分成NThm份
Figure BDA0003218342790000247
以便在边缘服务器中充分利用所有线程计算，可以利用 CPU调度算法完成NThm个计算任务的调度任务。将产生NThm个计算子任务作 为新的计算子任务。由此，记t时刻子任务向量为
Figure BDA0003218342790000248
可以定义t时刻任务分配占比向量为at，at是由移动用户在t时刻对NThm个子任 务的卸载比例组成。此外，在at中加入探索因子∈t以便进行异步探索策略。∈t值满足标准正态分布，完整的at可表示为：
Figure BDA0003218342790000249
则任务分配占比向量空间为A：
Figure BDA00032183427900002415
定义函数f(x)＝min{1，max{0，x}}， f对αt中各元素进行约束，即
Figure BDA00032183427900002410
最终t时刻状态向量
Figure BDA00032183427900002411
为：
Figure BDA00032183427900002412
Figure BDA00032183427900002413
Figure BDA00032183427900002414
本发明实施例中，是利用t-1时刻的任务分配占比向量
Figure BDA0003218342790000251
与t时刻的任务向量
Figure BDA0003218342790000252
共同确定出t时刻 状态向量
Figure BDA0003218342790000253
而不是利用t时刻的任务分配占比向量与t时刻的任务量共同确 定出t时刻状态向量
Figure BDA0003218342790000254
其原因是：
由于t-1时刻的任务分配占比向量与t-1时刻的任务向量的内积结果直接 对强化学习环境中的各个边缘服务器和道路网络中移动用户的存储量产生影 响，因此t时刻的动作向量跟t-1时刻的动作呈现相关性，且t时刻的任务向 量与t时刻的动作向量亦呈现相关性，为了防止动作网络发生过拟合，此处将 t时刻的任务向量
Figure BDA0003218342790000255
和t-1时刻的任务分配占比向量
Figure BDA0003218342790000256
按照对应位点乘的形式构造特征交叉，得到t时刻状态向 量
Figure BDA0003218342790000257
作为特征交叉结果，并可以将特征交叉结果
Figure BDA0003218342790000258
输入t时刻的动作网络。
综合
Figure BDA0003218342790000259
和
Figure BDA00032183427900002510
可以得到移动用户的状态向量为：
Figure BDA00032183427900002511
移动用户在t时刻获得的奖励函数rt(st，at)直接反映了移动用户当前确定 的任务分配占比向量的优劣性，如果移动用户确定的任务分配占比向量at使 得总时延越大，则移动用户此时获得的奖励越小。因此，奖励函数与时延呈 负相关。移动用户产生的任务分配占比向量at满足预设的时延约束条件C1-C4。 因为f(x)函数已经限制了任务分配占比向量at中元素的取值范围在[0，1]，所以 在奖励函数中只需要引入预设的时延约束条件C2-C4，奖励函数rt如下式所示：
Figure BDA00032183427900002512
其中，奖励函数rt与总时延T呈线性负相关，如果当前时刻的 任务分配占比向量at满足预设的时延约束条件C2-C4，则对移动用户当前获得 的奖励没有影响，如果有预设的时延约束条件C2-C4中任意的约束条件不满 足，则移动用户当前获得的奖励将减少；奖励函数rt中将relu损失函数 relu(x)＝max{0,x}分别作用在预设的时延约束条件C2-C4上，β1,β2,β3作为 奖励函数中的权重系数，用于体现奖励函数中对违反预设的时延约束条件的重视程度；时延T的数量级为10-1，而其他项的数量级为10-1～105,为了避免 因预设的时延约束条件C2-C4产生的值远大于时延值，使总时延对奖励函数 影响过小，本发明实施例可以应用压缩映像函数g(·)，将奖励函数中的约束项 部分的数值限制在[0,1]区间内。可以分别应用单位阶跃函数、sigmoid函数和 tanh函数对约束项部分进行压缩映像；其中，阶跃函数的解析式为：
Figure RE-GDA0003358851930000261
从解析式中可知，自变量通过阶跃函数后取值可以压缩到 [0,1]区间内，但是由于约束项的值是连续的，阶跃函数的值域是离散的，且 只有0，1两个值，压缩映像后无法区分约束项的不同值，因此，无论约束项 取值差异多大，即使约束项取值相差多个数量级，经过阶跃函数后，其取值 之间的差异仅为0或1；sigmoid函数解析式为：
Figure RE-GDA0003358851930000262
自变量 经过sigmoid函数被压缩到连续区间C[0,1]中，因此经过压缩映像后约束项不 同值的差别依然存在，但是sigmoid函数存在梯度消失的情况，这种情况常出 现在靠近输出端的神经网络层的参数更新过程中；tanh函数解析式为：
Figure RE-GDA0003358851930000263
在[-1,1]区间内，tanh函数由泰勒展开可以近似等于关于自 变量的正比例函数，相较于sigmoid函数来说，在此区间内可以解决梯度消失 问题。但是在此区间之外的实数轴上，随着自变量远离原点，函数值会迅速 在-1或1的值附近趋于饱和，导致神经网络参数训练速度减慢。
在一种可能的实施方式中，图11为本发明实施例提供的任务分配模型的 一种训练流程图，如图11所示，任务分配模型的训练方式，包括：
步骤1101，将训练样本中的样本运动状态向量和样本任务状态向量分别 输入待训练任务分配模型的第一特征提取层和第二特征提取层。
步骤1102，对第一特征提取层和第二特征提取层输出的预测特征进行拼 接，得到预测拼接特征。
步骤1103，对预测拼接特征进行特征映射处理，得到预测任务分配占比 向量。
本步骤中，特征映射处理具体可以为空间映射处理，映射处理的过程实 际上是对预测拼接特征的矩阵进行矩阵运算得到预测任务分配占比向量的过 程。而矩阵运算实际上就是将原向量映射到一个矩阵行空间中。其中，矩阵 行空间是指矩阵中每一行代表高维空间中的一个向量。因此，矩阵所有行中 线性无关的向量就是矩阵行空间的一组基底，线性无关的向量个数就是行空 间的秩，空间的一组基底可以通过线性组合表示空间中的任何一个向量，同 维度其它空间中的向量可以通过与这组基底做内积，进而得到被这组基底线 性组合表达的结果。
而待训练任务分配模型的输出层可以包括多个隐藏子层，将预测拼接特 征的矩阵作为第一个隐藏子层的输入矩阵，将预测拼接特征的矩阵右乘第一 个隐藏子层的参数矩阵，得到的乘积矩阵作为第二个隐藏子层的输入矩阵； 针对第二个隐藏子层，可以将该输入矩阵右乘第一个隐藏子层的参数矩阵， 得到的乘积矩阵作为下一个隐藏子层的输入矩阵；依次的，直至得到最后一 个隐藏子层的输出矩阵，最后一个隐藏子层的输出矩阵即为所得到的预测任 务分配占比向量。即通过对预测拼接特征的矩阵与隐藏子层的参数矩阵进行 矩阵运算，将预测拼接特征映射为预测任务分配占比向量。
举例说明，例如待训练任务分配模型的输出层可以包括隐藏子层1、隐藏 子层2和隐藏子层3，其中，隐藏子层1的输出矩阵作为隐藏子层2的输入矩阵， 隐藏子层2的输出矩阵作为隐藏子层3的输入矩阵。以待训练任务分配模型的 输出层包括隐藏子层1、隐藏子层2和隐藏子层3为例，对预测拼接特征进行空 间映射处理具体可以为：
预测拼接特征的矩阵作为隐藏子层1的输入矩阵；将预测拼接特征的矩阵 右乘隐藏子层1的参数矩阵所得到的乘积矩阵1，确定为隐藏子层2的输入矩阵； 针对隐藏子层2，将乘积矩阵1右乘隐藏子层2的参数矩阵所得到的乘积矩阵2， 确定为隐藏子层3的输入矩阵；针对隐藏子层3，将乘积矩阵2右乘隐藏子层3 的参数矩阵所得到的乘积矩阵3，确定为隐藏子层3的输出矩阵。隐藏子层3的 输出矩阵即为预测拼接特征所映射得到预测任务分配占比向量。
步骤1104，若基于预测任务分配占比向量完成样本临近检测任务的计算 所对应的时延满足预设的时延约束条件，将预测任务分配占比向量、样本运 动状态向量和样本任务状态向量输入待训练状态动作价值模型，得到预测状 态向量。
步骤1105，基于预测状态向量、预测任务分配占比向量、样本运动状态 向量、样本任务状态向量和奖励函数，确定待训练状态动作价值模型的损失 函数，作为第一损失函数；其中，奖励函数为根据预测任务分配占比向量、 样本运动状态向量和样本任务状态向量所确定的。
步骤1106，基于预测任务分配占比向量、样本运动状态向量、样本任务 状态向量和待训练状态动作价值模型的参数，确定待训练任务分配模型的损 失函数，作为第二损失函数。
步骤1107，若第一损失函数和第二损失函数均收敛，确定待训练任务分 配模型为任务分配模型。
步骤1108，若第一损失函数和第二损失函数未均收敛，调整待训练任务 分配模型的参数和待训练状态动作价值模型的参数，并返回步骤1101。
本发明实施例中，训练任务分配模型的过程，具体可以为以下内容所描 述的过程：
在t时刻，状态向量st输入策略函数不(at|st，θ)中，得到当前时刻的任务 分配占比向量at。在st中，运动状态向量
Figure BDA0003218342790000281
中的元素是描述移动用户和边缘服 务器基本性质的物理量，任务状态向量
Figure BDA0003218342790000282
是移动用户的用户设备的本地临近 检测任务的量和边缘服务器端临近检测任务的量组成的。因此
Figure BDA0003218342790000283
和
Figure BDA0003218342790000284
是两个 不同性质的向量，本发明实施例中将
Figure BDA0003218342790000285
和
Figure BDA0003218342790000286
分别输入策略函数的神经网络中。 图12为策略函数神经网络的结构示意图，图12所示，将t时刻
Figure BDA0003218342790000287
分别输入不 同的神经网络层，最终输出任务分配占比向量，其过程与上述图4所述的得到 任务分配占比向量的过程一致，此处不再赘述。在得到任务分配占比向量后，可以将任务分配占比向量和
Figure BDA0003218342790000291
和
Figure BDA0003218342790000292
分别再输入状态动作值函数Q(s，a，w)，图 13为状态动作值函数的结果示意图，如图13所示，其中st输入的网络结构采 取与策略函数相同的方法，分为
Figure BDA0003218342790000293
两个输入，并通过两个不同的神经网络 进行得到输出：
Figure BDA0003218342790000294
经过全连接层FC3和FC4以及Relu函数的非线性映射后，提 取到运动状态特征，
Figure BDA0003218342790000295
经过全连接层FC5提取特征，通过resize层对FC5层输出 的特征的维度进行转换，然后通过卷积层CONV1和CONV2进行特征间的稀疏 交互，且均用relu函数进行非线性映射，然后通过Fatten层对经relu函数非线性 映射后的特征进行维度转换，得到任务状态特征。at通过两个全连接层FC1和 FC2进一步提取特征，任务分配占比向量经过FC1和FC2输出的特征向量维度 分别为64和128，且用Relu函数作为全连接层结果的激活函数。将
Figure BDA0003218342790000296
和at网 络输出端得到的特征向量拼接成长度为256的特征向量，如图13中的特征拼接 层操作。最后通过全连接层FC6获得一维状态值st+1，并通过输出层输出得到 的一维状态值st+1。本发明实施例中，DDPG算法在每条采样链的各时刻，可 以将采样得到(st，at，rt，st+1)元组放入经验回放池中，设经验回放池Buffer尺寸 为M，在训练任务分配模型时从经验回放池Buffer中采样的数据批次数为m，且m＜M，记单条采样链长度为T，且
Figure BDA0003218342790000297
衰减系数为γ，则 当前时刻critic网络目标yi值为：
Figure BDA0003218342790000298
1≤i≤m；其 中actor网络和critic网络分别为目标actor网络和目标critic网络。critic网络的损 失函数为第一损失函数J(w)：
Figure BDA0003218342790000299
actor网络的损失 函数为第二损失函数J(θ)：
Figure BDA00032183427900002910
1≤i≤m；可以 通过梯度反向传播分别更新参数w和θ。目标actor网络的参数w’和目标critic网 络的参数θ’分别通过参数w，θ和状态保持比例参数τ进行软更新：w’←τw+ (1-τ)w’，θ’←τθ+(1-τ)θ’。
以下给出本发明的具体实验示例：
本发明实施例中设定道路网络区域面积为1×105m2，移动用户速度值范 围是0～120km/h，Rc＝1×103Hz，Rm＝1×105Hz，Die～N(1×103，1)bit，Qc＝ 128G，Qm＝1000T，B＝6.3×106MHz，N0＝1×10-10W/Hz，P＝1× 10-6W，δ＝0.9，h＝0.95，Tε＝300s。动态道路网络状态矩阵初始值
Figure BDA0003218342790000301
均采用设定的数值进行初始化，并且在此基础上， 本发明实施例增设了时间间隔Δt＝1s，
Figure BDA0003218342790000302
∑a＝21·I200，Vmax＝ 120km/h，∑Rc＝100·I200，∑c＝15·I200，amax＝2m/s2，∑Rm＝6000·I4，∑m＝ 10000·I4，Rcm＝1×103Hz，Qcm＝128G，Rmm＝1×105Hz，Qmm＝1000T，在 DDPG算法中我们设置T＝100s，episode＝100，M＝1000，m＝500，lr＝ 10-2，β1＝β2＝β3＝0.99。首先分别将用阶跃函数，sigmoid和tanh作为压缩 映像函数应用到奖励函数公式中。图14a为T个时刻的总奖励值随采样轮数的 变化示意图。图14b为T个时刻的平均时延随采样轮数的变化示意图。从图14a 和图14b中可以看出三个奖励函数和时延值分别随采样轮数不断增大和不断减 小，最终达到收敛的状态。从图14a和图14b中可以发现阶跃函数相较sigmoid 和tanh函数在前期产生了较大幅度的震荡，而tanh前期的震荡幅度最小， sigmoid函数在震荡后先出现收敛的趋势。随着采样轮数不断增加，他们的奖 励函数和时延后期均出现了小幅度的震荡，且阶跃函数的震荡幅度越来越小。 应用三种函数得到的时延最终都收敛到1s之内，及在道路网络动态环境状态 更新时间间隔之内。在仿真过程中发现sigmoid函数和tanh函数均由于梯度消 失，使得神经网络的训练提前出现局部震荡的现象。因此，本发明实施例中 较佳的压缩影响函数为阶跃函数。
学习率lr决定了actor网络和critic网络的训练速度，较小的lr导致网络收 敛速度较慢，神经网络参数每轮迭代更新步长小，容易陷入局部最优解；而 较大的lr使网络收敛速度快，神经网络参数单次更新幅度大，可能导致无法收 敛到所有局部最优解中最好的一个。图15a为不同学习率对奖励函数优化过 程的影响示意图，图15b为不同学习率对平均时延优化过程的影响示意图， 图15a和图15b中学习率lr分别设置为10-3，10-2，5×10-3，可以看出lr＝10-3时奖励函数和时延曲线的收敛速度相对较慢，后期基本与另外两个学习率取 值时的曲线的震荡幅度相同。相比之下，lr＝10-2和lr＝5×10-3时时延在 前期收敛较快，且lr＝10-2时奖励函数和时延不仅收敛速度快，而且收敛后 震荡幅度也比lr＝5×10-3的曲线小。actor网络和critic网络训练时读入的单 个批次数据大小是在每轮采样的不同时刻得到的。如果单个批次中的数据分 布可以较好的接近实际的数据分布，则会产生较好的训练效果。如果单个批 次的数据量较小，则无法较好的拟合实际的数据分布，如果单个批次的数据 量较大，可能导致单次训练时间过长且计算机内存不足。图16a为单个数据 批次大小分别为1000，500和700时的奖励函数的收敛结果示意图，图16b 为单个数据批次大小分别为1000，500和700时的平均时延的收敛结果示意 图。从图15a和图15b中可以看出，单个数据批次为700时奖励函数和平均 时延的震荡幅度较大，而在batch size为500时收敛速度最快，震荡幅度最小， 并且在优化过程中，batch size为500时各网络的训练时间最短。在发明实施 例中，可以将MEC应用于道路网络中临近检测的时延优化问题，将各临近检测任务的子任务从移动用户的用户设备端转移到边缘云服务器端一定比例， 并且用户信息和临近检测任务可以通过中心服务器和边缘云服务器共同参与 传输。实验结果证明，在基于MEC的道路网络临近检测中，DDPG算法可以 有效解决动态道路网络各时刻时延优化问题。
基于同一发明构思，根据本发明上述实施例提供的道路网络临近检测时 延优化方法，相应地，本发明另一实施例还提供了一种道路网络临近检测时 延优化装置，应用于道路网络临近检测系统中的移动用户的用户设备，所述 道路网络临近检测系统还包括至少一个边缘服务器；如图17所示，所述装置 包括：
信息获取模块1701，用于获取所述道路网络临近检测系统中各个移动用 户的用户信息以及与所述用户设备相距最近的目标边缘服务器的服务器计算 资源信息，其中，所述用户信息包括运动状态信息和计算资源信息；
任务生成模块1702，用于基于所述用户信息和所述服务器计算资源信息， 生成临近检测任务，其中，所述临近检测任务包括多个子任务；
第一状态确定模块1703，用于基于所述用户设备自身的运动状态信息、 计算资源信息以及所述服务器计算资源信息，确定所述用户设备对应的运动 状态向量；
第二状态确定模块1704，用于基于所述临近检测任务和预设的任务比例 约束函数，确定所述用户设备对应的任务状态向量；
任务分配模块1705，用于将所述运动状态向量和所述任务状态向量输入 预先训练的任务分配模型，分别对所述运动状态向量和所述任务状态向量进 行特征提取，并基于提取的特征输出任务分配占比向量；其中，所述任务分 配占比向量用于标识所述用户设备向所述目标边缘服务器卸载的所述临近检 测任务中各个子任务的占比，基于所述任务分配占比向量完成所述临近检测 任务的计算所对应的时延满足预设的时延约束条件；所述任务分配模型为基 于训练样本及预设的时延约束条件训练得到的。
采用本发明实施例提供的装置，可以通过任务分配模型确定用户设备向 目标边缘服务器卸载的临近检测任务中各个子任务的占比，将各个子任务中 一定比例的计算任务卸载到目标边缘服务器，以使得该边缘服务器与目标移 动用户共同并行计算临近检测任务，计算耗时更少，并且基于任务分配占比 向量完成临近检测任务的计算所对应的时延满足预设的时延约束条件，对计 算临近检测任务的时间做了约束，使得时延更低。
本发明实施例还提供了一种电子设备，如图18所示，包括处理器1801、 通信接口1802、存储器1803和通信总线1804，其中，处理器1801，通信接口 1802，存储器1803通过通信总线1804完成相互间的通信，
存储器1803，用于存放计算机程序；
处理器1801，用于执行存储器1803上所存放的程序时，实现任一所述道 路网络临近检测时延优化方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据 总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有 一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也 可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘 存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号 处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array， FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组 件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该 计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时 实现上述任道路网络临近检测时延优化方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产 品，当其在计算机上运行时，使得计算机执行上述实施例中任道路网络临近 检测时延优化方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意 组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形 式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载 和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的 流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或 者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或 者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所 述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线 (例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微 波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述 计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个 或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可 以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导 体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来 将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示 这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、 “包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列 要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确 列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的 要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同 相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同 之处。尤其，对于装置、电子设备及存储介质而言，由于其基本相似于方法 实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。 凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含 在本发明的保护范围内。

Claims (11)

1.一种道路网络临近检测时延优化方法，其特征在于，应用于道路网络临近检测系统中的移动用户的用户设备，所述道路网络临近检测系统还包括至少一个边缘服务器；所述方法包括：
获取所述道路网络临近检测系统中各个移动用户的用户信息以及与所述用户设备相距最近的目标边缘服务器的服务器计算资源信息，其中，所述用户信息包括运动状态信息和计算资源信息；
基于所述用户信息和所述服务器计算资源信息，生成临近检测任务，其中，所述临近检测任务包括多个子任务；
基于所述用户设备自身的运动状态信息、计算资源信息以及所述服务器计算资源信息，确定所述用户设备对应的运动状态向量；
基于所述临近检测任务和预设的任务比例约束函数，确定所述用户设备对应的任务状态向量；
将所述运动状态向量和所述任务状态向量输入预先训练的任务分配模型，分别对所述运动状态向量和所述任务状态向量进行特征提取，并基于提取的特征输出任务分配占比向量；其中，所述任务分配占比向量用于标识所述用户设备向所述目标边缘服务器卸载的所述临近检测任务中各个子任务的占比，基于所述任务分配占比向量完成所述临近检测任务的计算所对应的时延满足预设的时延约束条件；所述任务分配模型为基于训练样本及预设的时延约束条件训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述任务分配模型包括：第一特征提取层、第二特征提取层、特征拼接层和输出层；
所述将所述运动状态向量和所述任务状态向量输入预先训练的任务分配模型，分别对所述运动状态向量和所述任务状态向量进行特征提取，并基于提取的特征输出任务分配占比向量，包括：
所述第一特征提取层，对输入的所述运动状态向量进行特征提取，得到运动状态特征；
所述第二特征提取层，对输入的所述任务状态向量进行特征提取，得到任务状态特征；
所述特征拼接层，对所述运动状态特征和所述任务状态特征进行拼接，得到拼接特征；
所述输出层，对所述拼接特征进行特征映射处理后输出任务分配占比向量。
3.根据权利要求1所述的方法，其特征在于，所述道路网络临近检测系统还包括中心服务器；
在所述基于提取的特征输出任务分配占比向量之后，还包括：
在所述目标边缘服务器根据所述任务分配占比向量所标识的被卸载于自身的各个子任务的占比，计算所卸载的临近检测任务得到第一执行结果的同时，所述用户设备根据所述任务分配占比向量所标识的该用户设备应计算的各个子任务的占比，执行所述各个子任务，得到第二执行结果；
若所述用户设备在所述目标边缘服务器的覆盖范围内，则接收所述目标边缘服务器发送的所述第一执行结果；
若所述用户设备不在所述目标边缘服务器的覆盖范围内，接收当前与所述用户设备相距最近的边缘服务器发送的所述第一执行结果；其中，所述第一执行结果为所述中心服务器在接收到所述目标边缘服务器发送的所述第一执行结果后转发至当前与所述用户设备相距最近的边缘服务器的。
4.根据权利要求1所述的方法，其特征在于，所述基于所述用户设备自身的运动状态信息、计算资源信息以及所述服务器计算资源信息，确定所述用户设备对应的运动状态向量，包括：
基于所述用户设备自身的运动状态信息、计算资源信息以及所述服务器计算资源信息，采用如下公式确定所述用户设备对应的运动状态向量：
Figure FDA0003218342780000021
其中，
Figure FDA0003218342780000022
为所述用户设备对应的运动状态向量；
Figure FDA0003218342780000023
为所述用户设备在t时刻的计算速率，
Figure FDA0003218342780000024
为所述用户设备在t时刻的可用内存值；
Figure FDA0003218342780000025
为所述用户设备在t时刻的速度x分量，
Figure FDA0003218342780000026
为所述用户设备在t时刻的速度y分量；
Figure FDA0003218342780000027
为所述用户设备在t时刻的位置的横坐标，
Figure FDA0003218342780000028
为所述用户设备在t时刻的位置的纵坐标；
Figure FDA0003218342780000029
为所述目标边缘服务器在t时刻的计算速率，
Figure FDA00032183427800000210
为所述目标边缘服务器在t时刻的可用内存。
5.根据权利要求1所述的方法，其特征在于，所述基于所述临近检测任务和预设的任务比例约束函数，确定所述用户设备对应的任务状态向量，包括：
基于所述临近检测任务和预设的任务比例约束函数，采用如下公式确定所述用户设备对应的任务状态向量：
Figure FDA0003218342780000031
Figure FDA0003218342780000032
Figure FDA0003218342780000033
其中，
Figure FDA0003218342780000034
为所述用户设备对应的任务状态向量；NThm为所述目标边缘服务器的最大线程数量；所述用户设备在t时刻生成的临近检测任务为
Figure FDA0003218342780000035
Figure FDA0003218342780000036
分别为所述用户设备在t时刻生成的临近检测任务所包括的NThm子任务；
Figure FDA0003218342780000037
为预设的任务比例约束函数，
Figure FDA0003218342780000038
为使用预先定义函数f(x)＝min{1，max{0，x}}对t时刻的所述用户设备对应的任务分配占比向量进行约束后对应的约束结果，at为t时刻的所述用户设备对应的任务分配占比向量，
Figure FDA0003218342780000039
∈t为探索因子，∈t值满足标准正态分布，
Figure FDA00032183427800000310
为t时刻的所述用户设备对应的任务分配占比向量的各个分量，
Figure FDA00032183427800000311
为t时刻的所述用户设备对应的任务分配占比向量的第i个分量。
6.根据权利要求1所述的方法，其特征在于，采用如下公式确定，所述基于任务分配占比向量完成所述临近检测任务的计算所对应的时延：
T＝max{tm1+tm2，tlocal}
其中，T为基于所述任务分配占比向量完成所述临近检测任务的计算所对应的时延；tm1为所述用户设备卸载临近检测任务至所述目标边缘服务器的卸载时延，tm2为计算时延，tlocal为所述用户设备在本地计算临近检测任务的计算时延。
7.根据权利要求1所述的方法，其特征在于，所述预设的时延约束条件包括：
C1：0≤αi≤1，1≤i≤Nmc-1；
C2：tm1+tm2≤ts；
C3：Dlocal≤Qc；
C4：Dmec≤Qm；
其中，所述预设的时延约束条件包括条件C1-C4；tm1为所述用户设备卸载临近检测任务至所述目标边缘服务器的卸载时延，tm2为计算时延；ts为所述用户设备在所述目标边缘服务器的覆盖区域中的最长时间；Dmec所述用户设备向所述目标边缘服务器卸载的计算任务量，Qm为所述目标边缘服务器的可用内存；Dlocal为所述用户设备应在本地计算的计算任务量，Qc为所述用户设备的可用内存值；αi为所述用户设备为第i个子任务分配的权重，Nmc为所述目标边缘服务器覆盖范围内的用户设备的数量。
8.根据权利要求2所述的方法，其特征在于，所述任务分配模型的训练方式，包括：
将训练样本中的样本运动状态向量和样本任务状态向量分别输入待训练任务分配模型的第一特征提取层和第二特征提取层；
对第一特征提取层和第二特征提取层输出的预测特征进行拼接，得到预测拼接特征；
对所述预测拼接特征进行特征映射处理，得到预测任务分配占比向量；
若基于所述预测任务分配占比向量完成样本临近检测任务的计算所对应的时延满足预设的时延约束条件，将所述预测任务分配占比向量、所述样本运动状态向量和所述样本任务状态向量输入待训练状态动作价值模型，得到预测状态向量；
基于所述预测状态向量、所述预测任务分配占比向量、所述样本运动状态向量、所述样本任务状态向量和奖励函数，确定待训练状态动作价值模型的损失函数，作为第一损失函数；其中，所述奖励函数为根据所述预测任务分配占比向量、所述样本运动状态向量和所述样本任务状态向量所确定的；
基于所述预测任务分配占比向量、所述样本运动状态向量、所述样本任务状态向量和待训练状态动作价值模型的参数，确定待训练任务分配模型的损失函数，作为第二损失函数；
若所述第一损失函数和所述第二损失函数均收敛，确定待训练任务分配模型为所述任务分配模型；否则，调整待训练任务分配模型的参数和待训练状态动作价值模型的参数，并返回所述将将训练样本中的样本运动状态向量和样本任务状态向量分别输入待训练任务分配模型的第一特征提取层和第二特征提取层的步骤。
9.一种道路网络临近检测系统，其特征在于，包括多个移动用户的用户设备和至少一个边缘服务器；
所述用户设备，用于获取所述道路网络临近检测系统中各个移动用户的用户信息以及与所述用户设备相距最近的目标边缘服务器的服务器计算资源信息，其中，所述用户信息包括运动状态信息和计算资源信息；基于所述用户信息和所述服务器计算资源信息，生成临近检测任务，其中，所述临近检测任务包括多个子任务；基于所述用户设备自身的运动状态信息、计算资源信息以及所述服务器计算资源信息，确定所述用户设备对应的运动状态向量；基于所述临近检测任务和预设的任务比例约束函数，确定所述用户设备对应的任务状态向量；将所述运动状态向量和所述任务状态向量输入预先训练的任务分配模型，分别对所述运动状态向量和所述任务状态向量进行特征提取，并基于提取的特征输出任务分配占比向量；其中，所述任务分配占比向量用于标识所述用户设备向所述目标边缘服务器卸载的所述临近检测任务中各个子任务的占比，基于所述任务分配占比向量完成所述临近检测任务的计算所对应的时延满足预设的时延约束条件；所述任务分配模型为基于训练样本及预设的时延约束条件训练得到的；
所述边缘服务器，用于接收自身覆盖范围内各个所述用户设备发送的用户信息；并向自身覆盖范围内各个所述用户设备发送所述道路网络临近检测系统中各所有移动用户的用户信息。
10.根据权利要求9所述的系统，其特征在于，所述系统还包括中心服务器；
所述用户设备在基于提取的特征输出任务分配占比向量之后，还用于在所述目标边缘服务器根据所述任务分配占比向量所标识的被卸载于自身的各个子任务的占比，计算所卸载的临近检测任务得到第一执行结果的同时，根据所述任务分配占比向量所标识的该用户设备应计算的各个子任务的占比，执行所述各个子任务，得到第二执行结果；若所述用户设备在所述目标边缘服务器的覆盖范围内，则接收所述目标边缘服务器发送的所述第一执行结果；若所述用户设备不在所述目标边缘服务器的覆盖范围内，接收当前与所述用户设备相距最近的边缘服务器发送的所述第一执行结果；
所述边缘服务器，还用于发送所述第一执行结果至中心服务器；
所述中心服务器，接收到所述目标边缘服务器发送的所述第一执行结果后，转发所接收的所述第一执行结果至当前与所述用户设备相距最近的边缘服务器。
11.一种道路网络临近检测时延优化装置，其特征在于，应用于道路网络临近检测系统中的移动用户的用户设备，所述道路网络临近检测系统还包括至少一个边缘服务器；所述装置包括：
信息获取模块，用于获取所述道路网络临近检测系统中各个移动用户的用户信息以及与所述用户设备相距最近的目标边缘服务器的服务器计算资源信息，其中，所述用户信息包括运动状态信息和计算资源信息；
任务生成模块，用于基于所述用户信息和所述服务器计算资源信息，生成临近检测任务，其中，所述临近检测任务包括多个子任务；
第一状态确定模块，用于基于所述用户设备自身的运动状态信息、计算资源信息以及所述服务器计算资源信息，确定所述用户设备对应的运动状态向量；
第二状态确定模块，用于基于所述临近检测任务和预设的任务比例约束函数，确定所述用户设备对应的任务状态向量；
任务分配模块，用于将所述运动状态向量和所述任务状态向量输入预先训练的任务分配模型，分别对所述运动状态向量和所述任务状态向量进行特征提取，并基于提取的特征输出任务分配占比向量；其中，所述任务分配占比向量用于标识所述用户设备向所述目标边缘服务器卸载的所述临近检测任务中各个子任务的占比，基于所述任务分配占比向量完成所述临近检测任务的计算所对应的时延满足预设的时延约束条件；所述任务分配模型为基于训练样本及预设的时延约束条件训练得到的。
CN202110950096.8A 2021-08-18 2021-08-18 一种道路网络临近检测时延优化方法、装置和系统 Active CN113868808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110950096.8A CN113868808B (zh) 2021-08-18 2021-08-18 一种道路网络临近检测时延优化方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110950096.8A CN113868808B (zh) 2021-08-18 2021-08-18 一种道路网络临近检测时延优化方法、装置和系统

Publications (2)

Publication Number Publication Date
CN113868808A true CN113868808A (zh) 2021-12-31
CN113868808B CN113868808B (zh) 2022-06-03

Family

ID=78990622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110950096.8A Active CN113868808B (zh) 2021-08-18 2021-08-18 一种道路网络临近检测时延优化方法、装置和系统

Country Status (1)

Country Link
CN (1) CN113868808B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456383A (zh) * 2022-09-01 2022-12-09 北京路凯智行科技有限公司 露天矿山卸载区域管控方法及系统
CN115544870A (zh) * 2022-09-26 2022-12-30 北京邮电大学 一种道路网络临近检测方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127727A (zh) * 2007-09-28 2008-02-20 电信科学技术研究院 一种用于移动ip的ip地址配置和移动检测方法
US20200364508A1 (en) * 2019-05-14 2020-11-19 Nvidia Corporation Using decay parameters for inferencing with neural networks
CN112714178A (zh) * 2020-12-25 2021-04-27 北京信息科技大学 一种基于车载边缘计算的任务卸载方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127727A (zh) * 2007-09-28 2008-02-20 电信科学技术研究院 一种用于移动ip的ip地址配置和移动检测方法
US20200364508A1 (en) * 2019-05-14 2020-11-19 Nvidia Corporation Using decay parameters for inferencing with neural networks
CN112714178A (zh) * 2020-12-25 2021-04-27 北京信息科技大学 一种基于车载边缘计算的任务卸载方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AIDIN FERDOWSI: "Deep Learning for Reliable Mobile Edge Analytics in Intelligent Transportation Systems: An Overview", 《 IEEE VEHICULAR TECHNOLOGY MAGAZINE》 *
YUNLONG SONG; YAQIONG LIU: "Latency Optimization for Mobile Edge Computing Based Proximity Detection in Road Networks", 《2020 IEEE/CIC INTERNATIONAL CONFERENCE ON COMMUNICATIONS IN CHINA (ICCC WORKSHOPS)》 *
吴琪等: "边缘学习:关键技术、应用与挑战", 《无线电通信技术》 *
许可: "基于移动边缘计算的车联网资源分配方案研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456383A (zh) * 2022-09-01 2022-12-09 北京路凯智行科技有限公司 露天矿山卸载区域管控方法及系统
CN115544870A (zh) * 2022-09-26 2022-12-30 北京邮电大学 一种道路网络临近检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN113868808B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN113434212B (zh) 基于元强化学习的缓存辅助任务协作卸载与资源分配方法
CN113950066A (zh) 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN111835827A (zh) 物联网边缘计算任务卸载方法及系统
CN111176820B (zh) 一种基于深度神经网络的边缘计算任务的分配方法及装置
US20190266015A1 (en) Deep neural network workload scheduling
CN113868808B (zh) 一种道路网络临近检测时延优化方法、装置和系统
CN112422644B (zh) 计算任务卸载方法及系统、电子设备和存储介质
CN113141317B (zh) 流媒体服务器负载均衡方法、系统、计算机设备、终端
CN112416554A (zh) 一种任务迁移方法、装置、电子设备及存储介质
CN111416774B (zh) 网络拥塞控制方法、装置、计算机设备及存储介质
CN109144719B (zh) 移动云计算系统中基于马尔科夫决策过程的协作卸载方法
CN112764936B (zh) 基于深度强化学习的边缘计算服务器信息处理方法及装置
CN110531996B (zh) 一种多微云环境下基于粒子群优化的计算任务卸载方法
CN113568727A (zh) 一种基于深度强化学习的移动边缘计算任务分配方法
US11775807B2 (en) Artificial neural network and method of controlling fixed point in the same
CN111049903A (zh) 一种基于应用感知预测的边缘网络负载分配算法
CN116541106B (zh) 计算任务卸载方法、计算设备及存储介质
CN113778691A (zh) 一种任务迁移决策的方法、装置及系统
CN113315669B (zh) 基于云边协同的吞吐量优化的机器学习推断任务部署方法
WO2023221266A1 (zh) 用于物联网的多分支网络协同推理方法及系统
CN116915869A (zh) 基于云边协同的时延敏感型智能服务快速响应方法
CN116700931A (zh) 多目标边缘任务调度方法、装置、设备、介质及产品
CN113821270B (zh) 任务卸载顺序预测方法、决策方法、电子设备及存储介质
CN110290556B (zh) 一种基于最优控制变分法的资源负载均衡调度方法
KR20200024433A (ko) 시간 가변적 예측(anytime prediction)을 위한 얇은 하위 네트워크를 활용하는 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant