CN115034390B - 一种基于云边端协同的深度学习模型推理加速方法 - Google Patents
一种基于云边端协同的深度学习模型推理加速方法 Download PDFInfo
- Publication number
- CN115034390B CN115034390B CN202210961978.9A CN202210961978A CN115034390B CN 115034390 B CN115034390 B CN 115034390B CN 202210961978 A CN202210961978 A CN 202210961978A CN 115034390 B CN115034390 B CN 115034390B
- Authority
- CN
- China
- Prior art keywords
- deep learning
- edge
- computing
- time delay
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于云边端协同的深度学习模型推理加速方法,具体涉及一种深度学习模型分层卸载方法。该方法通过对整个深度学习模型推理过程中的计算时延、数据传输时延、数据传播时延和模型分层卸载策略生成时延进行理论建模,并以计算任务响应时延最小为优化目标,决定最优深度学习模型的分层卸载策略。相较于以物理端为主导和以云计算中心为主导的深度学习模型执行框架,本方法通过将边缘计算范式和云计算结合起来,并将深度学习模型分层卸载至不同的边缘计算节点,在满足计算精度的前提下,实现计算任务响应时延最小化。
Description
技术领域
本发明属于云边端协同计算领域,具体涉及一种基于云边端协同的深度学习模型推理加速方法。
背景技术
基于深度学习模型的智能应用程序通常需要大量计算,当前可行的解决方案有两种,其一是End-only模式,即在物理端使用简单模型和轻量级深度学习模型框架执行所有计算,例如TensorFlow Lite、Caffe For Android;其二是Cloud-only模式,即将所有计算任务卸载到算力强大的云中心,以进行复杂的深度学习模型计算。但是,上述方法要么会因为只在物理端部署一个简单模型而降低识别准确率,要么会因为物理端与云之间的广域网传输链路不稳定而导致传输时延开销过大。因此,同时保证合理的延迟和识别准确率是相当困难的。
为了克服延迟和识别准确率之间的矛盾,更好的解决方案是利用边缘计算范式。然而,由于忽略了深度学习应用的特点和边缘环境的动态性,现有的用于深度学习模型推理的边缘计算执行框架和卸载机制仍然存在一些局限性。
发明内容
本发明的目的在于:通过将边缘计算范式和云计算结合起来,并将深度学习模型分层卸载至不同的边缘计算节点,在满足计算精度的前提下,实现计算任务响应时延最小化。
为实现上述目的,本发明提供如下技术方案:一种基于云边端协同的深度学习模型推理加速方法,所述云边端协同是指云服务器、与云服务器通信的至少两个边缘计算节点,以及至少一个物理终端,物理终端与边缘计算节点的通信距离小于边缘计算节点与云服务器的距离,所述方法包括如下步骤:
步骤S2、进行离线学习阶段:基于各个边缘计算节点预设负载情况,以各个边缘计
算节点上待卸载深度学习模型各个处理图像特征数据的过程为输入、已知的图
像特征数据D z 通过各个边缘计算节点上待卸载深度学习模型的各个对应的计算时
延为输出,构建并训练获得分层计算时延预测模型CT;
同时基于云服务器预设负载情况,以云服务器上待卸载深度学习模型各个
处图像特征数据的过程为输入、已知的云服务器上待卸载深度学习模型各个处
理图像特征数据对应的计算时延为输出,构建并训练获得云服务器计算时延预测模型CT c ;
步骤S3、根据各个边缘计算节点的实际计算资源负载情况,由物理终端的计算任
务所对应的边缘计算节点应用分层计算时延预测模型CT,以待卸载深度学习模型各个处理图像特征数据的过程为输入、获得图像特征数据通过各个边缘计算节
点上待卸载深度学习模型各个对应的计算时延为输出的理论分层计算时延 ;
步骤S4、基于已知的边缘计算节点局域网网络带宽情况r、以及各个边缘计算节点
之间的物理距离l,计算经过当前边缘计算节点传输图像特征数据到其他边缘计算节点
所需的数据传输时延T和传播时延S;同时基于已知的云服务器网络带宽情况r c 、以及计算
任务的边缘计算节点与云服务器之间的物理距离l c ,计算经过计算任务的边缘计算节点传
输图像特征数据D 1 到云服务器所需的数据传输时延T c 和传播时延S C ;
并以响应时延TIME最小为优化目标,获得响应时延TIME最小的深度学习模型分层卸载模型,其中t为边缘计算节点从收到物理终端发送的计算任务到生成深度学习模型分层卸载模型的时间;
步骤S6、根据步骤S2获得的云服务器计算时延预测模型CT c ,以及云服务器的计算
资源负载情况,应用分层计算时延预测模型CT c ,以待卸载深度学习模型各个处理图
像特征数据的过程为输入、获得图像特征数据通过云服务器上待卸载深度学习模型
的各个对应的计算时延为输出的理论分层计算时延,之后按如下公式:
步骤S7、动态比较单独使用云服务器时的响应时延TIMEc与深度学习模型分层卸载模型响应时延最小的TIME大小,若TIME小于TIMEc,则以响应时延TIME最小对应的深度学习模型分层卸载模型为分层卸载策略,完成待计算数据以最小化响应时延为目标的卸载计算;否则以响应时延TIMEc对应的单独使用云服务器处理待计算数据为最终分层卸载策略,完成待计算数据以最小化响应时延的卸载计算;
步骤S8、基于步骤S7获得的分层卸载策略,各执行分层卸载策略的边缘计算节点收集计算任务时的计算负载情况,之后返回步骤S2。
进一步地,前述的已划分好的待卸载深度学习模型的各个DNN层按如下方法获得:
将待卸载深度学习模型的隐藏层、输入层以及输出层的所包含的神经元,以各单独成列的
神经元为划分为n列,获得单独成列的神经元列,之后获得 ,
n为正整数。
进一步地,前述的步骤S1具体为:
基于已分割好的待卸载深度学习模型的各个以各个边缘计算节点上待卸
载深度学习模型各个处理图像特征数据的过程为输入、图像特征数据通过
各个边缘计算节点上待卸载深度学习模型的各个对应的计算时延为输出,分别构建
各个边缘计算节点分层计算时延模型如下式:;其中,为计算资源负载
情况预设CPU负载、为计算资源负载情况预设GPU负载、为计算资源负载情况预设缓存
负载。
进一步地,前述的步骤S3中,基于已知的边缘计算节点局域网网络带宽情况r,各个边缘计算节点之间的物理距离l,按如下公式:
进一步地,前述的边缘计算节点包括深度强化网络、深度学习模型、态势感知中心、以及决策收发中心;
其中所述深度强化网络包括:
传输时延计算模块,用于计算数据传输时延T和传播时延S;
在线决策时延统计模块,用于计算边缘计算节点从收到物理终端发送的计算任务到生成深度学习模型分层卸载模型的时间t;
在线学习模块,用于收集并传递计算任务时的实际计算负载情况和实际计算时延数据到边缘计算节点的分层计算时延预测模块;
离线样本数据存储模块,用于存储各个边缘计算节点和云服务器在预设负载情况
下,图像特征数据通过各个边缘计算节点上待卸载深度学习模型的各个对应的
计算时延,和图像特征数据通过云服务器上待卸载深度学习模型的各个对应的
计算时延;
决策信息生成模块,用于将生成的最终分层卸载策略传递至决策收发中心;
所述态势感知中心,包括:
边缘计算节点计算能力感知模块,用于计算各个边缘计算节点的计算资源负载情况;
云服务器计算能力感知模块,用于计算云服务器的计算资源负载情况;
网络遥测模块,用于计算各个边缘计算节点的所在局域网的网络带宽情况r,且用于计算各个边缘计算节点之间的物理距离l;
所述决策收发中心用于发送、接收最终分层卸载策略。
进一步地,前述的云服务器包括深度学习模型、决策收发中心;所述深度学习模型为已训练好的深度学习模型;所述决策收发中心用于接收最终分层卸载策略。所述态势感知中心包括计算能力感知模块、网络遥测模块。
本发明采用以上技术方案,与现有技术相比具有以下有益效果:
(1)区别于以物理端为主导和以云计算中心为主导的深度学习模型执行框架,本方法通过将边缘计算范式和云计算结合起来,并将深度学习模型分层卸载至不同的边缘计算节点,充分挖掘边缘侧的计算潜力,在满足计算精度的前提下,实现计算任务响应时延最小化。
(2)通过对整个深度学习模型推理过程中的计算时延、数据传输时延、数据传播时延和模型分层卸载策略生成时延进行理论建模,并以计算任务响应时延最小为优化目标,决定最优深度学习模型的分层卸载策略,最终实现深度学习模型的推理加速。
(3)本方法在离线学习的前提下展开,进一步的,本方法可根据每次任务计算实际测量的计算资源负载情况和计算时延来实时更新分层计算时延预测模型,以优化深度学习模型分层卸载的决策过程。
(4)将深度学习模型分层卸载至边缘计算节点和云服务器等边缘计算节点上,协同推理的方式可有效保证计算数据的安全性和降低网络带宽的占用率。
附图说明
图1为本发明的技术原理图。
图2为本发明深度强化网络的模块组成示意图。
图3为本发明的深度学习模型分层卸载原理图。
图4为本发明的方法流程图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。
在本发明中参照附图来描述本发明的各方面,附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解,本发明通过上面介绍的多种构思和实施例,以及下面详细描述的构思和实施方式中的任意一种来实现,这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面的任何适当组合来使用。
如图1所示,基于云服务器、所述云服务器c的通信范围内至少设有两个边缘计算
节点,所述边缘计算节点部署在wifi接入点或基站上,且边缘计算节点所在的局域网内至
少设置一个物理终端;各边缘计算节点与其通信范围内的各物理终端之间的距离小于边缘
计算节点与云服务器之间的距离;云服务器c的通信范围内任意一个边缘计算节点i,边缘
计算节点i通信范围内与其物理距离小于预设距离的其他边缘计算节点总数记为N,且,其中j为边缘计算节点i通信范围内与其距离小于预设距离的各边缘计算节点的
编号,此N个边缘计算节点同边缘计算节点i一起组成边缘集群;云服务器c上部署有深度学
习模型和决策收发中心;边缘计算节点上部署有深度强化网络、深度学习模型、态势感知中
心和决策收发中心。
如图2所示,边缘计算节点上部署有深度强化网络,深度强化网络包括分层计算时
延预测模块、传输时延计算模块、在线决策时延统计模块、在线学习模块、离线样本数据存
储模块和决策信息生成模块;以最小化计算任务响应时延TIME为目标,综合考虑数据传输
时延T、数据传播时延S、深度学习模型分层计算时延CT和决策时延t,寻找将深度学习模型
分层卸载到各个计算节点的最优卸载策略,实现深度学习模型的快速推理。分层计算时延
预测模块用于计算理论分层计算时延;传输时延计算模块用于计算数据传输时延T和传播
时延S;在线决策时延统计模块用于计算边缘计算节点从收到物理终端发送的计算任务到
生成深度学习模型分层卸载模型的时间t;在线学习模块,用于收集并传递计算任务时的实
际计算负载情况和实际计算时延数据到边缘计算节点的分层计算时延预测模块。实际计算
时延指各个边缘计算节点计算任务时图像特征数据通过各个边缘计算节点上待卸载深
度学习模型各个对应的计算时延。
离线样本数据存储模块用于存储分层计算时延预测模型CT决策信息生成模块用于将生成的最终分层卸载策略传递至决策收发中心;深度学习模型为已训练好的深度学习模型;态势感知中心包括计算能力感知模块,网络遥测模块;计算能力感知模块用于计算各个边缘计算节点的计算资源负载情况;网络遥测模块用于计算各个边缘计算节点的所在局域网的网络带宽情况r,且用于计算各个边缘计算节点之间的物理距离l;决策收发中心用于接收最终分层卸载策略。
云服务器c包括深度学习模型、决策收发中心;深度学习模型为已训练好的深度学习模型;决策收发中心用于接收最终分层卸载策略。态势感知中心包括计算能力感知模块、网络遥测模块。
n为正整数。
如图4所示,针对云服务器c通信范围内的任意一个边缘计算节点i,假设边缘计算节点i通信范围内与其物理距离小于预设距离的其他边缘计算节点总数记为2,且I、II分别表示这2个边缘计算节点的编号,此2个边缘计算节点同边缘计算节点i一起组成边缘集群,即该边缘集群内共有3个边缘计算节点。
离线学习阶段,在各个边缘计算节点i、I、II和云服务器c自身不同的计算资源负载情况下,以通用单个图像特征数据D 1 作为输入,分别测量各个边缘计算节点进行每一层深度学习模型所需要的分层计算时延CT iz 、CT Iz 、CT IIz 和 云服务器c进行每一层深度学习模型所需要的分层计算时延CT cz 。记录以上各个边缘计算节点在不同的计算资源负载情况下对应的分层计算时延于深度强化网络下的离线样本数据存储模块内。
其次,基于深度强化学习技术,分层计算时延预测模块利用离线样本数据存储模块内的样本数据进行多元非线性函数拟合,得到分层计算时延预测模型:
上式表示的是在边缘集群下3个边缘计算节点中的任意一个边缘计算节点i上,当
其CPU负载、GPU负载和缓存负载分别为 、 和 时,计算深度学习模型第z层()产生的计算时延CT iz 。训练完成的分层计算时延预测模型储存在分层计算时延预
测模块内。 , 同上。
上式表示的是在边缘集群上的云服务器c上,当其CPU负载、GPU负载和缓存负载分
别为 、 和 时,计算深度学习模型第z层()产生的计算时延CT cz 。训练完
成的分层计算时延预测模型储存在各个边缘计算节点的分层计算时延预测模块内。
离线学习阶段之后,便可进行任务计算。
物理终端基于图像压缩和图像分割技术将计算任务(图像数据)预处理为分辨率相同、数据量大小相等的图像特征数据D 1 ,并装载至与当前物理终端位于同一局域网内的边缘计算节点i上,边缘计算节点i的在线决策时延统计模块开始计时并将决策时延t动态发送给决策信息生成模块(决策时延t指的是边缘计算节点i从收到计算任务到生成深度学习模型分层卸载策略这段时间);
边缘计算节点i的态势感知中心下的计算能力感知模块、云服务器c计算能力感知
模块将动态感知到的边缘计算节点计算资源负载情况和云服务器c计算资源
负载情况传递给分层计算时延预测模块;网络遥测模块将动态测算的边缘计算节点
和云服务器所在区域的网络带宽情况
分层计算时延预测模块结合各边缘计算节点和云服务器c的计算资源负载情况和
预先储存的分层计算时延预测模型,用以预测各个边缘计算节点计算每一层深度学习模型所需要的理论分层计算时延)和单独使用云服务器c进
行全部深度学习模型计算所需要的理论计算时延 ,以上理论计算时
延结果同步传递给决策信息生成模块;传输时延计算模块以输入的图像特征数据D 1 为标
准,用以测算各个边缘计算节点的理论数据传输时延和理论传播时延 ,以上理论时延计算结果同步传递给决策信息生
成模块:
以上表示的是经边缘计算节点i传输图像特征数据到边缘计算节点I所需要的
数据传输时延T i 和传播时延,数据传输时延T i 和待传输图像特征数据、边缘计算节点i的网络带宽有关,传播时延和边缘计算节点i到边缘计算节点I的信道长度(以物理距
离做估算)、电磁波在信道上的传播速率(以光速C做估算)有关:
同上,决策信息生成模块基于深度强化学习技术,以各个边缘计算节点处理每一层深度学习模型DNN z 所需要的理论分层计算时延
进一步的,在深度学习模型的分层卸载策略生成过程中,避免求解任务响应时延
TIME陷入过度优化过程, 动态比较单独使用云服务器c时的响应时延TIMEc,即与深度学习模型分层卸载模型响应时延最小的TIME大小,若TIME小于TIMEc,则以响应时延TIME最小对应的深度学习模型分层卸载模型为分层卸载策略,完成待
计算数据以最小化响应时延为目标的卸载计算;否则以响应时延TIMEc对应的单独使用云
服务器c处理待计算数据为最终分层卸载策略,完成待计算数据以最小化响应时延的卸载
计算;
决策信息生成模块将生成的最优深度学习模型分层卸载策略传递至决策收发中心(分层卸载策略信息包含参与此次计算的边缘计算节点和边缘计算节点需要计算的深度学习模型层数),并经决策收发中心将策略信息发送至需要参与此次任务计算的各个边缘计算节点的决策收发中心,边缘计算节点按策略开始任务计算。任务计算结果直接发送给物理终端。
参与任务计算的各个边缘计算节点的在线学习模块收集自身进行任务计算时的计算资源负载情况(CPU负载、GPU负载和缓存负载)和实际计算时延,并传递以上所有样本数据到边缘计算节点i的分层计算时延预测模块,用以更新针对当前深度学习模型的分层计算时延预测模型,进一步的,所有边缘计算节点共享更新后的分层计算时延预测模型。
虽然本发明已以较佳实施例阐述如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。
Claims (6)
1.一种基于云边端协同的深度学习模型推理加速方法,所述云边端协同是指云服务器、与云服务器通信的至少两个边缘计算节点,以及至少一个物理终端,物理终端与边缘计算节点的通信距离小于边缘计算节点与云服务器的距离,其特征在于,所述方法包括如下步骤:
步骤S2、进行离线学习阶段:基于各个边缘计算节点计算资源预设负载情况,以各个边缘计算节点上待卸载深度学习模型各个处理图像特征数据的过程为输入、已知的图像特征数据通过各个边缘计算节点上待卸载深度学习模型的各个对应的计算时延为输出,构建并训练获得分层计算时延预测模型CT;
同时基于云服务器计算资源预设负载情况,以云服务器上待卸载深度学习模型各个处理图像特征数据D z 的过程为输入、已知的云服务器上待卸载深度学习模型各个处理图像特征数据D z 对应的计算时延为输出,构建并训练获得云服务器计算时延预测模型CT c ;
步骤S3、根据各个边缘计算节点的实际计算资源负载情况,由物理终端的计算任务所对应的边缘计算节点应用分层计算时延预测模型CT,以待卸载深度学习模型各个处理图像特征数据的过程为输入、获得图像特征数据通过各个边缘计算节点上待卸载深度学习模型各个对应的计算时延为输出的理论分层计算时延 ;
步骤S4、基于已知的边缘计算节点局域网网络带宽情况r、以及各个边缘计算节点之间的物理距离l,计算经过当前边缘计算节点传输图像特征数据到其他边缘计算节点所需的数据传输时延T和传播时延S;同时基于已知的云服务器网络带宽情况r c 、以及计算任务的边缘计算节点与云服务器之间的物理距离l c ,计算经过计算任务的边缘计算节点传输图像特征数据D 1 到云服务器所需的数据传输时延T c 和传播时延S C ;
步骤S6、根据步骤S2获得的云服务器计算时延预测模型CT c ,以及云服务器的实际计算资源负载情况,应用分层计算时延预测模型CT c ,以待卸载深度学习模型各个处理图像特征数据的过程为输入、获得图像特征数据通过云服务器上待卸载深度学习模型的各个对应的计算时延为输出的理论分层计算时延 ,之后按如下公式:,
步骤S7、动态比较单独使用云服务器时的响应时延TIMEc与深度学习模型分层卸载模型响应时延最小的大小,若小于TIMEc,则以响应时延最小对应的深度学习模型分层卸载模型为分层卸载策略,完成待计算数据以最小化响应时延为目标的卸载计算;否则以响应时延TIMEc对应的单独使用云服务器处理待计算数据为最终分层卸载策略,完成待计算数据以最小化响应时延的卸载计算;
步骤S8、基于步骤S7获得的分层卸载策略,各执行分层卸载策略的边缘计算节点收集计算任务时的计算负载情况和实际计算时延,之后返回步骤S2。
5.根据权利要求4所述的一种基于云边端协同的深度学习模型推理加速方法,其特征在于,
边缘计算节点包括深度强化网络、态势感知中心、以及决策收发中心;
其中所述深度强化网络包括:
传输时延计算模块,用于计算数据传输时延T和传播时延S;
在线决策时延统计模块,用于计算边缘计算节点从收到物理终端发送的计算任务到生成深度学习模型分层卸载模型的时间t;
在线学习模块,用于收集并传递计算任务时的实际计算负载情况和实际计算时延数据到边缘计算节点的分层计算时延预测模块;
离线样本数据存储模块,用于存储各个边缘计算节点和云服务器在预设负载情况下,图像特征数据通过各个边缘计算节点上待卸载深度学习模型的各个对应的计算时延,和图像特征数据通过云服务器上待卸载深度学习模型的各个对应的计算时延;
决策信息生成模块,用于将生成的最终分层卸载策略传递至决策收发中心;
所述态势感知中心,包括:
边缘计算节点计算能力感知模块,用于计算各个边缘计算节点的计算资源负载情况;
云服务器计算能力感知模块,用于计算云服务器的计算资源负载情况;
网络遥测模块,用于计算各个边缘计算节点的所在局域网的网络带宽情况r,且用于计算各个边缘计算节点之间的物理距离l;
所述决策收发中心用于发送、接收最终分层卸载策略。
6.根据权利要求5所述的一种基于云边端协同的深度学习模型推理加速方法,其特征在于,云服务器上包括深度学习模型、决策收发中心;所述深度学习模型为已训练好的深度学习模型;所述决策收发中心用于接收最终分层卸载策略。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210961978.9A CN115034390B (zh) | 2022-08-11 | 2022-08-11 | 一种基于云边端协同的深度学习模型推理加速方法 |
PCT/CN2023/098730 WO2024032121A1 (zh) | 2022-08-11 | 2023-06-07 | 一种基于云边端协同的深度学习模型推理加速方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210961978.9A CN115034390B (zh) | 2022-08-11 | 2022-08-11 | 一种基于云边端协同的深度学习模型推理加速方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115034390A CN115034390A (zh) | 2022-09-09 |
CN115034390B true CN115034390B (zh) | 2022-11-18 |
Family
ID=83130472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210961978.9A Active CN115034390B (zh) | 2022-08-11 | 2022-08-11 | 一种基于云边端协同的深度学习模型推理加速方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115034390B (zh) |
WO (1) | WO2024032121A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115034390B (zh) * | 2022-08-11 | 2022-11-18 | 南京邮电大学 | 一种基于云边端协同的深度学习模型推理加速方法 |
CN115562760B (zh) * | 2022-11-22 | 2023-05-30 | 南京邮电大学 | 基于边缘计算节点打分表的深度学习模型分层卸载方法 |
CN116894469B (zh) * | 2023-09-11 | 2023-12-15 | 西南林业大学 | 端边云计算环境中的dnn协同推理加速方法、设备及介质 |
CN117834643B (zh) * | 2024-03-05 | 2024-05-03 | 南京邮电大学 | 一种面向工业物联网的深度神经网络协同推理方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114153572A (zh) * | 2021-10-27 | 2022-03-08 | 中国电子科技集团公司第五十四研究所 | 一种星地协作网络中分布式深度学习的计算卸载方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3489865B1 (en) * | 2017-11-22 | 2021-01-06 | Commissariat à l'énergie atomique et aux énergies alternatives | A stdp-based learning method for a network having dual accumulator neurons |
US20200272896A1 (en) * | 2019-02-25 | 2020-08-27 | Alibaba Group Holding Limited | System for deep learning training using edge devices |
CN110309914A (zh) * | 2019-07-03 | 2019-10-08 | 中山大学 | 基于边缘服务器与移动端设备协同的深度学习模型推理加速方法 |
CN111242282B (zh) * | 2020-01-09 | 2023-03-28 | 中山大学 | 基于端边云协同的深度学习模型训练加速方法 |
KR20220061827A (ko) * | 2020-11-06 | 2022-05-13 | 한국전자통신연구원 | 모바일 엣지 컴퓨팅 환경에서의 적응형 딥러닝 추론 장치 및 방법 |
CN114422349B (zh) * | 2022-03-30 | 2022-06-10 | 南京邮电大学 | 基于云边端协同的深度学习模型训练和推理架构部署方法 |
CN115034390B (zh) * | 2022-08-11 | 2022-11-18 | 南京邮电大学 | 一种基于云边端协同的深度学习模型推理加速方法 |
-
2022
- 2022-08-11 CN CN202210961978.9A patent/CN115034390B/zh active Active
-
2023
- 2023-06-07 WO PCT/CN2023/098730 patent/WO2024032121A1/zh unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114153572A (zh) * | 2021-10-27 | 2022-03-08 | 中国电子科技集团公司第五十四研究所 | 一种星地协作网络中分布式深度学习的计算卸载方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2024032121A1 (zh) | 2024-02-15 |
CN115034390A (zh) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115034390B (zh) | 一种基于云边端协同的深度学习模型推理加速方法 | |
CN113067873B (zh) | 基于深度强化学习的边云协同优化方法 | |
CN113543176B (zh) | 基于智能反射面辅助的移动边缘计算系统的卸载决策方法 | |
Chen et al. | Efficiency and fairness oriented dynamic task offloading in internet of vehicles | |
CN112511614B (zh) | 基于强化学习的车载边缘环境下智能网联车辆任务卸载方法 | |
CN113760511B (zh) | 一种基于深度确定性策略的车辆边缘计算任务卸载方法 | |
CN116455768B (zh) | 面向全局时延优化的云边端协同cnn推理方法及系统 | |
CN114626298A (zh) | 无人机辅助车联网中高效缓存和任务卸载的状态更新方法 | |
CN116566838A (zh) | 一种区块链与边缘计算协同的车联网任务卸载和内容缓存方法 | |
CN115665869A (zh) | 基于边缘计算和有向无环图的多用户协作平台及其方法 | |
CN112672382A (zh) | 混合协作计算卸载方法、装置、电子设备及存储介质 | |
CN116016538A (zh) | 面向动态环境的边端协同推理任务卸载优化方法与系统 | |
Li et al. | Collaborative edge computing for distributed cnn inference acceleration using receptive field-based segmentation | |
Han et al. | Multi-step reinforcement learning-based offloading for vehicle edge computing | |
CN113961204A (zh) | 一种基于多目标强化学习的车联网计算卸载方法及系统 | |
Yuan et al. | Low-cost federated broad learning for privacy-preserved knowledge sharing in the RIS-aided internet of vehicles | |
Yan et al. | Service caching for meteorological emergency decision-making in cloud-edge computing | |
CN114916013B (zh) | 基于车辆轨迹预测的边缘任务卸载时延优化方法、系统及介质 | |
CN113726894B (zh) | 一种基于深度强化学习的多车应用计算卸载方法及终端 | |
Hazarika et al. | Hybrid machine learning approach for resource allocation of digital twin in UAV-aided internet-of-vehicles networks | |
CN112906745B (zh) | 基于边缘协同的诚信智能网络训练方法 | |
CN114815755A (zh) | 基于智能协作推理的分布式实时智能监控系统的建立方法 | |
Sun et al. | Leveraging digital twin and drl for collaborative context offloading in c-v2x autonomous driving | |
CN113157344A (zh) | 移动边缘计算环境下基于drl的能耗感知任务卸载方法 | |
CN114860345B (zh) | 一种智能家居场景下基于缓存辅助的计算卸载方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |