CN116360996A - 一种车联网环境下的可靠边缘加速推理任务分配方法 - Google Patents
一种车联网环境下的可靠边缘加速推理任务分配方法 Download PDFInfo
- Publication number
- CN116360996A CN116360996A CN202310338907.8A CN202310338907A CN116360996A CN 116360996 A CN116360996 A CN 116360996A CN 202310338907 A CN202310338907 A CN 202310338907A CN 116360996 A CN116360996 A CN 116360996A
- Authority
- CN
- China
- Prior art keywords
- edge node
- task
- vehicle
- reasoning
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/509—Offload
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及车联网边缘计算领域,具体涉及一种适用于车联网环境下的可靠边缘加速推理任务分配方法。目的在于加速车联网环境下智能网联车辆深度学习任务的推理过程,在提供边缘加速性能的同时保证较高的卸载可靠性。该方法包括:基于考虑车辆移动性与CNN推理前向传播特性所建立的边缘可靠性模型和任务推理时延模型,以最大化CNN任务可靠性为目标求解用于加速推理的边缘节点最优分配集合;以最大化推理加速比和平均任务卸载成功率为目标求解各客户车辆的用于加速推理的CNN任务分割最优解;客户车辆根据CNN任务分割最优解和边缘节点最优分配集合,将任务发送到边缘节点,边缘节点处理分割的推理任务后返回输出矩阵;客户车辆继续生成最后的推理结果。
Description
技术领域
本发明涉及车联网边缘计算领域,具体涉及一种适用于车联网环境下的可靠边缘加速推理任务分配方法。
背景技术
随着智能交通系统和智能网联汽车的发展,车辆已经被赋予更多的计算、存储、通信能力。同时,伴随着人工智能的发展,尤其是深度/卷积神经网络(Deep/ConvolutionalNeural Network,DNN/CNN)的快速迭代,越来越多基于深度学习的智能交通应用开始出现,利用如目标检测、语义分割、增强现实等智能技术,车辆智能化程度得到进一步提升。然而,此类应用对数据存储、计算要求较高,存在着计算复杂度高、数据密集、时延敏感等特点,车载单元由于计算资源有限,难以处理类似的深度模型推理任务。一种常见的解决方法是利用资源丰富的云平台来辅助执行推理任务,但此类方案可能会引起大量的传输时延和带宽成本,导致难以保证的用户体验质量。
边缘计算是近年来新兴的一种计算范例,其在网络边缘处提供服务,计算资源更接近用户终端,能够加速计算推理,提高服务质量。结合到车联网环境下,智能网联车辆或者路侧设备通常具备一定的计算、存储、通信能力,可以将其看作边缘节点,并利用其部分存储和计算资源为周围其他车辆提供服务,弥补单一车辆计算资源有限的瓶颈。同时,利用多个边缘节点进行协同推理,进一步增强了任务推理的实时性。
然而,现有技术中仍然存在一些不足之处:(1)现有技术多聚焦于车联网边缘环境中的边缘资源分配等问题而没有考虑CNN相关任务的推理加速方法;(2)由于车辆的移动性以及V2V/V2I的通信特点,现存的边缘加速推理机制并不能直接应用到车联网环境中;(3))现有技术多倾向于考虑边缘推理的加速性能,而忽视了推理任务卸载的可靠性。
为解决现有方案的瓶颈,在高动态的车联网环境下充分利用边缘节点的计算资源,有必要提出一种新型的边缘推理机制,能够同时兼顾CNN推理任务的实时性和可靠性,保证CNN推理服务质量。
发明内容
针对现有技术中,由于车联网环境下车辆的移动性、V2V/V2I连接的不稳定性以及边缘设备计算/通信能力有限,无法为车辆的推理任务提供可靠的实时推理服务的技术问题。本发明提出了一种兼顾实时性与可靠性的边缘加速推理机制,通过将CNN推理层分割为几个更小的推理块,并卸载到在车辆周围的多个边缘设备上并行推理,加速CNN任务推理过程的同时保证较高的卸载可靠性。
本发明提供了的车联网环境下的可靠边缘加速推理任务分配方法,包括以下步骤:
步骤1、基于车联网环境中边缘加速CNN的推理场景下,同时考虑车辆移动性与CNN推理前向传播特性所建立的边缘可靠性模型和任务推理时延模型,结合车联网环境中的约束条件,完成以下的优化任务:
①根据具有CNN推理任务的客户车辆及边缘节点的位置和通信范围,以最大化CNN任务可靠性为目标,求解用于加速推理的边缘节点最优分配集合;
②基于边缘节点分配集合,根据各客户车辆所分配的用于加速推理的边缘节点计算和通信能力,以最大化推理加速比和平均任务卸载成功率为目标,求解各客户车辆的用于加速推理的CNN任务分割最优解;
步骤2、客户车辆根据CNN任务分割最优解和边缘节点分配最优解,将指定的分割任务发送到匹配的边缘节点集合,边缘节点处理分割的推理任务后将输出矩阵返回;
步骤3、客户车辆合并输出矩阵继续生成最后的推理结果。
进一步的,优化任务①中采用以下最大化问题表征最大化CNN任务可靠性:
其中,为客户车辆和边缘节点之间所有可能的连接集合,/>表示最终决策集合,V={1,2,…,|V|}为客户车辆集合,N={1,2,…,|N|}为边缘节点集合,/>为边缘节点分配集合,Nv表示分配给客户车辆v的边缘节点集合,REvn表示客户车辆v与边缘节点n之间的任务卸载成功率,I(.)为指示函数;
A和χ′之间一对一映射,上述最大化问题的最优解即为用于加速推理的边缘节点分配最优解;
所述REvn基于所述边缘可靠性模型求得。
进一步的,优化任务①中,考虑车辆与边缘节点移动,利用相对距离来刻画客户车辆和边缘节点之间的移动趋势,引入车辆与边缘节点的相对朝向状态,采用多类马尔科夫链来描述客户车辆的移动性,即给定当前时刻前k个时刻的v和n的历史相对距离集合以及拟合后的相对距离状态概率并给定朝向状态下的潜在移动模式概率,从而可得未来时刻客户车辆v与边缘节点n的任务卸载成功率REvn。
进一步的,所述连接概率REvn以下方式预测:
定义在某一时刻t客户车辆v相对于边缘节点n的朝向状态定义为当v的前进方向与/>的方向夹角在0°到90°之间时,则/>否则/>同理,定义边缘节点n相对于客户车辆v的朝向状态为/>当n的前进方向与/>的方向夹角在0°到90°之间时,/>否则/>特别的,当客户车辆静止时,/>当边缘节点静止时
假设在每个时间戳,客户车辆和边缘节点的相对朝向状态是互相独立的,定义任意时刻相对朝向状态集合对于任意客户车辆v与边缘节点n,其在t时刻的相对距离状态和相对朝向状态表示为{φt,φt+1|w},其中φ(t)表示φ(dvn(t)),φt,φt+1∈D,w∈W;
定义表示客户车辆v和边缘节点n之间不同的潜在移动模式;若给定客户车辆与边缘节点的相对朝向状态w∈W,其属于某一潜在移动模式/>的概率为:/>相应地,若给定某一潜在移动模式/>和当前的相对距离状态/>则接下来时刻从相对距离状态i到相对距离状态j的转移概率为:
1.1)初始化当前t0=0时刻,客户车辆v和边缘节点n的相对距离状态分布概率:
1.2)将车辆v与边缘节点n间的相对距离变化矩阵表示为其中/>表示车辆v与边缘节点n间从相对距离状态i到相对距离状态j的转移概率;此处定义/>对应为H中当前时刻和下一时刻的相对距离状态φt,φt+1,则客户车辆v和边缘节点n之间属于潜在移动模式z的概率为:
其中,βn是指边缘节点n的通信覆盖半径。
进一步的,优化任务②中采用以下最大化问题表征最大化推理加速比和总任务卸载成功率:
s.t.
其中,表示分配给车辆v用于任务分配的边缘节点,/>表示将输入图片的第/>行到第/>行分配至边缘节点n,则所有形成车辆v推理特征矩阵的边缘节点集合为/>即/>Ck表示第k类CNN模型特征提取阶段的层数,/>表示第Ck层输出特征矩阵的高度,/>表示CNN模型第1层输入矩阵的高度;Delayv表示若客户车辆v选择在本地运行整个推理任务时的推理时延,/>表示若客户车辆v利用Nv中的边缘节点处理CNN推理任务的时延;
将CNN推理任务分为特征提取和推理分类两个阶段,Ck、Fk分别表示第k类CNN模型特征提取阶段和分类阶段的层数,此处i(1≤i≤Ck)和j(1≤j≤Fk)表示上述两个阶段的层ID,若客户车辆v将特征提取阶段的任务量分割卸载至其余边缘节点,则最终整个CNN推理任务的时延为:
在分类阶段,分别定义sj为第j个全连接层的计算量,表示神经网络推理需要的浮点运算量,χv、χn分别为客户车辆v和边缘节点n的计算能力,bn为边缘节点的带宽,dvn为相对距离,γvn为车辆与边缘节点之间的传递速率;
所述时延Delayv的计算方式如下
进一步的,优化任务①中,利用贪心分配算法寻找用于加速推理的边缘节点集合。
进一步的,优化任务②中,利用配对-堆叠的分割算法来确定如何为每个分配的边缘节点分配合适的CNN推理任务块。
进一步的,按照以下策略确定如何为每个分配的边缘节点分配合适的CNN推理任务块;
对于分配给客户车辆v的某一边缘节点n,给定其传输速率γvn,节点计算能力χn与边缘可靠性REvn,定义边缘节点能力为Θvn:
基于此,按照以下步骤确定如何为每个分配的边缘节点分配合适的CNN推理任务块:
2.3)堆叠:根据边缘节点输出比例确定相应节点需要的输入尺寸,进而依次确定客户车辆输入图片的分割比例。
本发明的原理和有益效果在于:在车联网环境下,智能网联车辆产生CNN推理任务可通过车联网通信将任务分割卸载至邻近的边缘节点并行处理。由于车联网环境中车辆移动性与无线通信特质给边缘加速任务推理带来了不确定性,为了有效表达这种任务不确定性,本发明首先利用多类马尔科夫链来刻画任务请求车辆与周围边缘节点的通信可靠性,接着基于边缘节点的计算能力差异形式化定义了CNN推理任务分配问题,并提出了相应的解决思路。解决了由于车联网环境下车辆的移动性、V2V/V2I连接的不稳定性以及边缘设备计算/通信能力有限,进入无法为车辆的推理任务提供可靠的实时推理服务的技术问题;该方法考虑了车联网环境下特有的车辆移动性、通信连接不稳定性以及边缘设备计算/通信能力异构性等特征,兼顾实时性与可靠性,能够弥补现有技术的不足,为智能网联车辆的推理任务提供可靠的实施推理服务,保证服务质量。
附图说明
图1是为发明实施例中的任务场景示意图;
图2是为发明实施例中的车联网环境下的可靠边缘加速推理任务分配方法的流程示意图;
图3是本发明实施例中所采用的车辆移动性表征的示意图;
图4为本发明实施例中的边缘加速CNN推理机制示意图。
具体实施方式
下面将结合附图对本发明提出的车联网环境下的可靠边缘加速推理任务分配方法作详细说明。
本实施以如图1所示的车联网环境例示例性的阐述本发明,其中,定义具有CNN推理任务的车辆为客户车辆,其他车辆以及路侧单元(Road Side Unit,RSU),基站(BaseStation,BS)作为辅助推理的边缘节点。区域云控中心基于客户车辆和边缘节点周期性上传的状态信息来更新维持系统状态,同时也负责为客户车辆分配边缘节点。客户车辆可以通过V2V/V2I通信分别与车辆和路侧单元通信,进行数据传输和任务分配。一般地,客户车辆集合V={1,2,…,|V|},边缘节点集合N={1,2,…,|N|}。若客户车辆存在CNN推理任务,为了保证任务处理的实时性,客户车辆将输入图片卸载至分配的边缘节点,包括邻居车辆以及路侧设备,用于加速图片特征提取,边缘节点在收到卸载任务后进行辅助推理并将结果返回至客户车辆,最后在客户车辆端合并特征提取部分的输出,继而生成最后的推理结果。
本实施例中,采用以下的边缘可靠性模型:
在车联网环境下智能网联车辆以及路侧基础设施(以下统称为边缘节点)会周期性地广播基本安全消息(Basic Safety Message,BSM),包括自身的位置、速度、航向角等信息,区域云控中心接收到BSM消息后会构建系统的全息感知信息地图。在区域云控中心范围内,假设客户车辆v与边缘节点n的相对距离为dvn,dvn∈[0,Dmax],Dmax是客户车辆到边缘节点的最大距离,即客户车辆的最大通信范围,dvn的状态空间为其中 表示单位长度。当/>时,定义车辆的状态为/>即φ(dvn)=j。在某一时刻t,客户车辆v和边缘节点n的相对距离为dvn(t)。在此基础上,本实施例中,利用相对距离来刻画客户车辆和边缘节点之间的移动趋势。假定在某一时刻t,客户车辆v相对于边缘节点n的朝向状态定义为/>当v的前进方向与/>的方向夹角在0°到90°之间时,/>(如图3中v对n2),否则/>(如图3中v对n4)。同理,定义边缘节点n相对于客户车辆v的朝向状态为/>当n的前进方向与/>的方向夹角在0°到90°之间时,(如图3中n1对v),否则/>(如图3中n2对v)。特别的,当客户车辆静止时,当边缘节点静止时,/>(如图3中n4对v)。
本实施例中,假设每个时间戳的相对朝向状态是互相独立的,任意时刻相对朝向状态集合为如图3中表格所示,该表格展示了客户车辆v与其余4个边缘节点的相对朝向状态。因此,对于任意客户车辆v与边缘节点n,其在t时刻的相对距离状态和相对朝向状态可以表示为{φt,φt+1|w},其中φ(t)表示φ(dvn(t)),φt,/>w∈w。
实施例中采用多类马尔科夫链描述来客户车辆的移动性,定义车辆间潜在移动模式集合为本实施例中定义三个潜在移动模式,具体的,1表示客户车辆与边缘间节点间的潜在移动为相向行驶,2表示客户车辆与边缘间节点间的潜在移动为背向行驶,3表示客户车辆与边缘间节点间的潜在移动为同向行驶;若给定客户车辆与边缘节点的相对朝向状态w∈w,其属于某一潜在移动模式/>的概率为:/>相应地,若给定某一潜在移动模式/>和当前的相对距离状态/>则接下来时刻从相对距离状态i到相对距离状态j的转移概率为:/>
根据区域内车辆历史轨迹统计采用期望最大化算法(the Expected-Maximization method)拟合得到Pr(j|i,z)和Pr(z|w)的值。具体运用时,利用某一区域内一段时间的车辆轨迹数据,统计客户车辆与边缘节点相对朝向状态以及相对距离变化的发生频率,进而拟合得到该区域内Pr(j|i,z)和Pr(z|w)的值并设定在系统中,用于该区域车辆与边缘节点连接可靠性计算。
最后,基于客户车辆和边缘节点当前时间节点前一段时间内的历史轨迹中,最新的k个GPS坐标点,可以推导出客户车辆v和边缘节点n的移动模式概率分布,其中k个GPS坐标点对应的相对距离状态集合表示为H={φt,φt+1|t∈{-k,…,-1}},φ(t)表示φ(dvn(t)),φt,w∈w。定义/>对应为H中当前时刻和下一时刻的相对距离状态φt,φt+1,则客户车辆v和边缘节点n之间属于潜在移动模式z的概率为:
(1)初始化当前t0=0时刻的相对距离状态分布概率:
其中,βn是指边缘节点n的通信覆盖范围。
本实施例中采用了以下的CNN推理时延模型:
本实施例中的边缘加速CNN推理机制基本如图4所示,假设有K种类型的CNN推理模型,分别用Ck、Fk表示第k类模型特征提取阶段和分类阶段的层数,分别用i(1≤i≤Ck)和j(1≤j≤Fk)表示上述两个阶段的层ID。在特征提取阶段,第i层的输入矩阵可用来表示,其中/>表示第i层输入矩阵的高,/>表示第i层输入矩阵的宽,/>表示第i层输入矩阵的通道数。相应地,第i层输出矩阵可用/>表示,分别代表着输出矩阵的高,宽,通道数。假设第i层输入数据量大小为qi,计算量为si,表示神经网络推理需要的浮点运算次数;在分类阶段,分别定义第j个全连接层的计算量为sj。
设客户车辆v和边缘节点n的计算能力分别为χυ、χn,边缘节点n的带宽为bn,若客户车辆选择在本地运行整个推理任务,则推理时延为Dleayv:
同时,客户车辆v可通过V2V/V2I通信将处理任务卸载至边缘节点n,基于卸载可靠性模型中相对距离状态dvn,可通过接收信噪比模型求出车辆与边缘节点之间的传递速率γvn,本实施例中其计算过程如下但不限于此:
其中bn表示车联网通信的传输带宽,本例中V2V为10MHz,V2I为15MHz,P表示通信传输功率,本例中V2V为10dBm,V2I为23dBm,d表示客户车辆与边缘节点之间的距离,α表示路径损耗指数,取值范围为[2,5],h0表示服从复正态分布CN(0,1)的复高斯通道系数,N0表示加性高斯白噪声(AWGN)。
在一些实施例中,传递速率γvn还可以通过其他的估算或预测,以后是通过直接指定的方式获得的,具体方式较为现有,在此不做赘述。
假设客户车辆v通过V2V/V2I通信将处理任务卸载至边缘节点n,定义为客户车辆v将当前CNN推理任务的/>到/>行输入图片数据卸载到边缘节点n进行处理。相应的第i层输出数据大小为/>其中1≤i≤Ck。基于上述定义,在边缘节点加速CNN推理特征提取阶段,n处理客户车辆v的CNN推理任务时延为下式中三项之和:
基于上述模型,本实施例中采用如图2所示的方法流程来优化边缘加速推理任务的分配方案。
假定某一客户车辆v的任务分配方案为其中表示分配给v用于任务分配的边缘节点,/>表示将输入图片的第/>行到第/>行分配至边缘节点,则所有形成v推理结果输出矩阵的边缘节点集合为/>即 表示第Ck层输出特征矩阵的高度。基于上述定义,所有客户车辆v的任务分配方案集合为/>
于是,本实施例中进一步定义如下两个性能指标用来评判解决方案:
则所提出的任务卸载问题为:
F(X)=(f1(X),f2(X)) (11a)
s.t.
式(11b)表示某一边缘节点同时只能处理来自一辆客户车辆的CNN推理任务,(11c)表示只有属于Nv的边缘节点可以为客户车辆v提供边缘加速推理,(11d)保证任务分割的合理性。
本实施中,将总的优化任务分解为边缘节点分配和CNN推理分割两个子问题进行求解。首先为了保证任务可靠性,云控中心根据客户车辆及边缘节点位置、通信范围,利用贪心分配算法为客户车辆寻找用于加速推理的边缘节点集合;其次为了保证CNN推理加速,云控中心根据边缘节点集合中各节点能力利用配对-堆叠算法确定配对边缘节点的任务分割卸载比例;
基于此,本实施例中将原最优化问题分解为边缘节点分配(Edge NodeAllocation,ENA)和CNN任务分割(CNN-based Task Partition,CTP)两个子问题。具体地:
更进一步,本实施例中将ENA问题转化为集合函数优化问题。首先,将客户车辆和边缘节点之间所有的可能连接集合定义为其次,定义为某一客户车辆分配的边缘节点集合/>其中u∈A表示将边缘节点n分配给Nv。因此存在A和χ′之间的一对一映射,则ENA问题可以表示为:
(2)CNN任务分割(CTP)旨在根据已分配节点的异构通信,计算能力将CNN任务并行分割为更小的推理块并卸载到分配节点上并行处理来加速CNN推理。分别用如下两式表示客户车辆v的推理加速比和成功率。
则CTP问题可以表示为:
s.t.(11c)-(11d) (15b)
本实施例中采用了保证可靠性的贪心分配算法(Performance-GuaranteedGreedy Allocation,PG2A),用于为每辆客户车辆找到最优的边缘节点分配集合,具体步骤如下:
(3)返回分配给车辆v的边缘节点集合。
得到边缘节点集合后,本实施例中进一步提采用基于配对-堆叠的分割算法(Mapping-Stacking based Partition Algorithm,MSP)来确定如何为每个分配的边缘节点分割合适的CNN任务输入图像。MSP包含两个步骤:配对和堆叠;配对的基本思想是依据边缘节点的计算、通信能力与卸载可靠性排序,并依次选择能力最高的节点进行配对,接着为该节点分配相应输出数据比例堆叠的基本思想是确定每个边缘节点的特定输出段,具体地,本实施例中首先给出两个评价指标:
(1)边缘节点能力Θvn:对于分配给客户车辆v的某一边缘节点n,给定其传输速率γvn,节点计算能力χn与边缘可靠性REvn,定义边缘节点能力为:
Θvn值越高表示边缘节点的通信、计算能力越强,边缘可靠性越高。
基于此,MSP的具体步骤如下:
(3)堆叠:根据边缘节点输出比例确定相应节点需要的输入尺寸,进而依次确定客户车辆输入图片的分割比例。经过上述步骤,即可得到客户车辆CNN推理任务的最优分配策略。
S4:边缘加速推理:客户车辆按照最优分配策略将指定的分割任务发送到匹配的边缘节点集合,边缘节点处理分割的推理任务后将输出矩阵返回;
S5:生成推理结果:客户车辆合并输出矩阵继续生成最后的推理结果;
综上所述,本实施例中的方法,考虑了车联网环境下特有的车辆移动性、通信连接不稳定性以及边缘设备计算/通信能力异构性等特征,能够弥补现有技术的不足,为智能网联车辆的推理任务提供可靠的实施推理服务,保证服务质量。
最后说明的是以上内容仅为本发明的技术思想,不能以此限定本发明的保护范围。凡是按照本发明提出的技术思想进行修改或同等替换,均落入本发明权利要求书的保护范围之内。
Claims (10)
1.一种车联网环境下的可靠边缘加速推理任务分配方法,其特征是,包括以下步骤:
步骤1、基于车联网环境中边缘加速CNN的推理场景下,同时考虑车辆移动性与CNN推理前向传播特性所建立的边缘可靠性模型和任务推理时延模型,结合车联网环境中的约束条件,完成以下的优化任务:
①根据具有CNN推理任务的客户车辆及边缘节点的位置和通信范围,以最大化CNN任务可靠性为目标,求解用于加速推理的边缘节点最优分配集合;
②基于边缘节点最优分配集合,根据各客户车辆所分配的用于加速推理的边缘节点计算和通信能力,以最大化推理加速比和平均任务卸载成功率为目标,求解各客户车辆的用于加速推理的CNN任务分割最优解;
步骤2、客户车辆根据CNN任务分割最优解和边缘节点分配最优解,将指定的分割任务发送到匹配的边缘节点集合,边缘节点处理分割的推理任务后将输出矩阵返回;
步骤3、客户车辆合并输出矩阵继续生成最后的推理结果。
3.根据权利要求2所述的方法,其特征是,优化任务①中,考虑车辆与边缘节点移动,利用相对距离来刻画客户车辆和边缘节点之间的移动趋势,引入车辆与边缘节点的相对朝向状态,采用多类马尔科夫链来描述客户车辆的移动性,即给定当前时刻前k个时刻的v和n的历史相对距离集合以及拟合后的相对距离状态概率并给定朝向状态下的潜在移动模式概率,从而可得未来时刻客户车辆v与边缘节点n的任务卸载成功率REvn。
4.根据权利要求2所述的方法,其特征是,所述连接概率REvn以下方式预测:
定义在某一时刻t客户车辆v相对于边缘节点n的朝向状态定义为当v的前进方向与/>的方向夹角在0°到90°之间时,则/>否则/>同理,定义边缘节点n相对于客户车辆v的朝向状态为/>当n的前进方向与/>的方向夹角在0°到90°之间时,否则/>特别的,当客户车辆静止时,/>当边缘节点静止时
假设在每个时间戳,客户车辆和边缘节点的相对朝向状态是互相独立的,定义任意时刻相对朝向状态集合对于任意客户车辆v与边缘节点n,其在t时刻的相对距离状态和相对朝向状态表示为{φt,φt+1|ω},其中φ(t)表示φ(dvn(t)),φt,
定义表示客户车辆v和边缘节点n之间多种不同的潜在移动模式;若给定客户车辆与边缘节点的相对朝向状态/>其属于某一潜在移动模式/>的概率为:/>相应地,若给定某一潜在移动模式/>和当前的相对距离状态/>则接下来时刻从相对距离状态i到相对距离状态j的转移概率为:
1.1)初始化当前t0=0时刻,客户车辆v和边缘节点n的相对距离状态分布概率:
1.2)将车辆v与边缘节点n间的相对距离变化矩阵表示为其中/>表示车辆v与边缘节点n间从相对距离状态i到相对距离状态j的转移概率;此处定义/>对应为H中当前时刻和下一时刻的相对距离状态φt,φt+1,则客户车辆v和边缘节点n之间属于潜在移动模式z的概率为:
其中,βn是指边缘节点n的通信覆盖半径。
7.根据权利要求1所述的方法,其特征是,优化任务①中,利用贪心分配算法寻找用于加速推理的边缘节点集合。
9.根据权利要求1所述的方法,其特征是,优化任务②中,利用配对-堆叠的分割算法来确定如何为每个分配的边缘节点分配合适的CNN推理任务块。
10.根据权利要求1所述的方法,其特征是,按照以下策略确定如何为每个分配的边缘节点分配合适的CNN推理任务块;
基于此,按照以下步骤确定如何为每个分配的边缘节点分配合适的CNN推理任务块:
2.3)堆叠:根据边缘节点输出比例确定相应节点需要的输入尺寸,进而依次确定客户车辆输入图片的分割比例。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310338907.8A CN116360996A (zh) | 2023-03-31 | 2023-03-31 | 一种车联网环境下的可靠边缘加速推理任务分配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310338907.8A CN116360996A (zh) | 2023-03-31 | 2023-03-31 | 一种车联网环境下的可靠边缘加速推理任务分配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116360996A true CN116360996A (zh) | 2023-06-30 |
Family
ID=86919336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310338907.8A Pending CN116360996A (zh) | 2023-03-31 | 2023-03-31 | 一种车联网环境下的可靠边缘加速推理任务分配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116360996A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116434081A (zh) * | 2023-04-25 | 2023-07-14 | 广东工业大学 | 一种基于5g+云边端水下机器人控制管理方法及系统 |
-
2023
- 2023-03-31 CN CN202310338907.8A patent/CN116360996A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116434081A (zh) * | 2023-04-25 | 2023-07-14 | 广东工业大学 | 一种基于5g+云边端水下机器人控制管理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111464976B (zh) | 一种基于车队的车辆任务卸载决策和总体资源分配方法 | |
Mekrache et al. | Deep reinforcement learning techniques for vehicular networks: Recent advances and future trends towards 6G | |
CN110650457B (zh) | 一种车联网中任务卸载计算成本与时延的联合优化方法 | |
CN112685186B (zh) | 一种计算任务的卸载方法、装置、电子设备及存储介质 | |
Abdel-Aziz et al. | Vehicular cooperative perception through action branching and federated reinforcement learning | |
CN114116047B (zh) | 一种基于强化学习的车载计算密集型应用的v2i卸载方法 | |
CN116360996A (zh) | 一种车联网环境下的可靠边缘加速推理任务分配方法 | |
CN115034390B (zh) | 一种基于云边端协同的深度学习模型推理加速方法 | |
CN113891477A (zh) | 一种车联网中基于mec计算任务卸载的资源分配方法 | |
CN110868700A (zh) | 车载边缘计算环境下基于可分裂任务的协作计算卸载方法 | |
Zheng et al. | Digital twin empowered heterogeneous network selection in vehicular networks with knowledge transfer | |
Şahin et al. | Reinforcement learning scheduler for vehicle-to-vehicle communications outside coverage | |
CN115209426A (zh) | 一种边缘车联网内数字孪生服务器动态部署方法 | |
Lan et al. | Deep reinforcement learning for computation offloading and caching in fog-based vehicular networks | |
Aparna et al. | Steering angle prediction for autonomous driving using federated learning: The impact of vehicle-to-everything communication | |
CN112929850A (zh) | 一种面向边缘计算环境的车联网数据回传方法 | |
CN114828095A (zh) | 一种基于任务卸载的高效数据感知分层联邦学习方法 | |
CN114153515A (zh) | 一种基于5g毫米波通信的高速公路车联网任务卸载算法 | |
CN116737391A (zh) | 一种联邦模式下基于混合策略的边缘计算协作方法 | |
Maleki et al. | Reinforcement learning-based decision-making for vehicular edge computing | |
CN113726894B (zh) | 一种基于深度强化学习的多车应用计算卸载方法及终端 | |
CN115550357A (zh) | 一种多智能体多任务协同卸载方法 | |
CN114022731A (zh) | 基于drl的联邦学习节点选择方法 | |
CN113452625A (zh) | 基于深度强化学习的卸载调度与资源分配方法 | |
Chen et al. | Adaptive resource allocation for diverse safety message transmissions in vehicular networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |