CN115034390B - 一种基于云边端协同的深度学习模型推理加速方法 - Google Patents

一种基于云边端协同的深度学习模型推理加速方法 Download PDF

Info

Publication number
CN115034390B
CN115034390B CN202210961978.9A CN202210961978A CN115034390B CN 115034390 B CN115034390 B CN 115034390B CN 202210961978 A CN202210961978 A CN 202210961978A CN 115034390 B CN115034390 B CN 115034390B
Authority
CN
China
Prior art keywords
deep learning
edge
computing
time delay
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210961978.9A
Other languages
English (en)
Other versions
CN115034390A (zh
Inventor
郭永安
周金粮
王宇翱
钱琪杰
孙洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210961978.9A priority Critical patent/CN115034390B/zh
Publication of CN115034390A publication Critical patent/CN115034390A/zh
Application granted granted Critical
Publication of CN115034390B publication Critical patent/CN115034390B/zh
Priority to PCT/CN2023/098730 priority patent/WO2024032121A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于云边端协同的深度学习模型推理加速方法，具体涉及一种深度学习模型分层卸载方法。该方法通过对整个深度学习模型推理过程中的计算时延、数据传输时延、数据传播时延和模型分层卸载策略生成时延进行理论建模，并以计算任务响应时延最小为优化目标，决定最优深度学习模型的分层卸载策略。相较于以物理端为主导和以云计算中心为主导的深度学习模型执行框架，本方法通过将边缘计算范式和云计算结合起来，并将深度学习模型分层卸载至不同的边缘计算节点，在满足计算精度的前提下，实现计算任务响应时延最小化。

Description

一种基于云边端协同的深度学习模型推理加速方法
技术领域
本发明属于云边端协同计算领域，具体涉及一种基于云边端协同的深度学习模型推理加速方法。
背景技术
基于深度学习模型的智能应用程序通常需要大量计算，当前可行的解决方案有两种，其一是End-only模式，即在物理端使用简单模型和轻量级深度学习模型框架执行所有计算，例如TensorFlow Lite、Caffe For Android；其二是Cloud-only模式，即将所有计算任务卸载到算力强大的云中心，以进行复杂的深度学习模型计算。但是，上述方法要么会因为只在物理端部署一个简单模型而降低识别准确率，要么会因为物理端与云之间的广域网传输链路不稳定而导致传输时延开销过大。因此，同时保证合理的延迟和识别准确率是相当困难的。
为了克服延迟和识别准确率之间的矛盾，更好的解决方案是利用边缘计算范式。然而，由于忽略了深度学习应用的特点和边缘环境的动态性，现有的用于深度学习模型推理的边缘计算执行框架和卸载机制仍然存在一些局限性。
发明内容
本发明的目的在于：通过将边缘计算范式和云计算结合起来，并将深度学习模型分层卸载至不同的边缘计算节点，在满足计算精度的前提下，实现计算任务响应时延最小化。
为实现上述目的，本发明提供如下技术方案：一种基于云边端协同的深度学习模型推理加速方法，所述云边端协同是指云服务器、与云服务器通信的至少两个边缘计算节点，以及至少一个物理终端，物理终端与边缘计算节点的通信距离小于边缘计算节点与云服务器的距离，所述方法包括如下步骤：
步骤S1、物理终端将图像数据预处理为分辨率相同、数据量相等的图像特征数据D 1 ，将输入划分好的待卸载深度学习模型
Figure 655688DEST_PATH_IMAGE001
的各个DNN层，将上一层输出作为下一层的 输入，最终得到图像特征数据
Figure 972400DEST_PATH_IMAGE002
；
步骤S2、进行离线学习阶段：基于各个边缘计算节点预设负载情况，以各个边缘计 算节点上待卸载深度学习模型各个
Figure 491106DEST_PATH_IMAGE001
处理图像特征数据
Figure 449835DEST_PATH_IMAGE002
的过程为输入、已知的图 像特征数据D z 通过各个边缘计算节点上待卸载深度学习模型的各个
Figure 511332DEST_PATH_IMAGE001
对应的计算时 延为输出，构建并训练获得分层计算时延预测模型CT；
同时基于云服务器预设负载情况，以云服务器上待卸载深度学习模型各个
Figure 890623DEST_PATH_IMAGE001
处图像特征数据
Figure 771991DEST_PATH_IMAGE002
的过程为输入、已知的云服务器上待卸载深度学习模型各个
Figure 268831DEST_PATH_IMAGE001
处 理图像特征数据
Figure 43889DEST_PATH_IMAGE002
对应的计算时延为输出，构建并训练获得云服务器计算时延预测模型CT c ；
步骤S3、根据各个边缘计算节点的实际计算资源负载情况，由物理终端的计算任 务所对应的边缘计算节点应用分层计算时延预测模型CT，以待卸载深度学习模型各个
Figure 233562DEST_PATH_IMAGE001
处理图像特征数据
Figure 726861DEST_PATH_IMAGE002
的过程为输入、获得图像特征数据
Figure 27392DEST_PATH_IMAGE002
通过各个边缘计算节 点上待卸载深度学习模型各个
Figure 532323DEST_PATH_IMAGE001
对应的计算时延为输出的理论分层计算时延
Figure 751951DEST_PATH_IMAGE003
；
步骤S4、基于已知的边缘计算节点局域网网络带宽情况r、以及各个边缘计算节点 之间的物理距离l，计算经过当前边缘计算节点传输图像特征数据
Figure 873491DEST_PATH_IMAGE002
到其他边缘计算节点 所需的数据传输时延T和传播时延S；同时基于已知的云服务器网络带宽情况r c 、以及计算 任务的边缘计算节点与云服务器之间的物理距离l c ，计算经过计算任务的边缘计算节点传 输图像特征数据D 1 到云服务器所需的数据传输时延T c 和传播时延S C ；
步骤S5、以步骤S3获得的各个边缘计算节点理论分层计算时延
Figure 69724DEST_PATH_IMAGE003
、以及步骤S4获 得的数据传输时延T和传播时延S为输入，以所对应的响应时延TIME为输出，构建深度学习 模型分层卸载模型如下式：
Figure 960319DEST_PATH_IMAGE004
，
并以响应时延TIME最小为优化目标,获得响应时延TIME最小的深度学习模型分层卸载模型，其中t为边缘计算节点从收到物理终端发送的计算任务到生成深度学习模型分层卸载模型的时间；
步骤S6、根据步骤S2获得的云服务器计算时延预测模型CT c ,以及云服务器的计算 资源负载情况，应用分层计算时延预测模型CT c ，以待卸载深度学习模型各个
Figure 226216DEST_PATH_IMAGE001
处理图 像特征数据
Figure 694106DEST_PATH_IMAGE002
的过程为输入、获得图像特征数据
Figure 336440DEST_PATH_IMAGE002
通过云服务器上待卸载深度学习模型 的各个
Figure 81542DEST_PATH_IMAGE001
对应的计算时延为输出的理论分层计算时延
Figure 642974DEST_PATH_IMAGE005
，之后按如下公式：
Figure 207947DEST_PATH_IMAGE006
，
计算单独使用云服务器处理计算任务所产生的理论计算时延
Figure 247447DEST_PATH_IMAGE007
，其中
Figure 847056DEST_PATH_IMAGE008
为 将D 1 通过DNN 1 产生的计算时延，之后按如下公式计算单独使用云服务器时处理图像特征数 据D z 的响应时延TIMEc：
Figure 80853DEST_PATH_IMAGE009
；
步骤S7、动态比较单独使用云服务器时的响应时延TIMEc与深度学习模型分层卸载模型响应时延最小的TIME大小，若TIME小于TIMEc，则以响应时延TIME最小对应的深度学习模型分层卸载模型为分层卸载策略，完成待计算数据以最小化响应时延为目标的卸载计算；否则以响应时延TIMEc对应的单独使用云服务器处理待计算数据为最终分层卸载策略，完成待计算数据以最小化响应时延的卸载计算；
步骤S8、基于步骤S7获得的分层卸载策略，各执行分层卸载策略的边缘计算节点收集计算任务时的计算负载情况，之后返回步骤S2。
进一步地，前述的已划分好的待卸载深度学习模型的各个DNN层按如下方法获得: 将待卸载深度学习模型的隐藏层、输入层以及输出层的所包含的神经元，以各单独成列的 神经元为划分为n列，获得单独成列的神经元列，之后获得
Figure 133123DEST_PATH_IMAGE001
，
Figure 445156DEST_PATH_IMAGE010
Figure 758325DEST_PATH_IMAGE011
n为正整数。
进一步地，前述的步骤S1具体为：
基于已分割好的待卸载深度学习模型的各个
Figure 661559DEST_PATH_IMAGE001
以各个边缘计算节点上待卸 载深度学习模型各个
Figure 935546DEST_PATH_IMAGE001
处理图像特征数据
Figure 80963DEST_PATH_IMAGE002
的过程为输入、图像特征数据
Figure 389584DEST_PATH_IMAGE002
通过 各个边缘计算节点上待卸载深度学习模型的各个
Figure 198141DEST_PATH_IMAGE001
对应的计算时延为输出，分别构建 各个边缘计算节点分层计算时延模型如下式：
Figure 84057DEST_PATH_IMAGE012
；其中，
Figure 409996DEST_PATH_IMAGE013
为计算资源负载 情况预设CPU负载、
Figure 697758DEST_PATH_IMAGE014
为计算资源负载情况预设GPU负载、
Figure 818161DEST_PATH_IMAGE015
为计算资源负载情况预设缓存 负载。
进一步地，前述的步骤S3中，基于已知的边缘计算节点局域网网络带宽情况r，各个边缘计算节点之间的物理距离l，按如下公式：
Figure 958417DEST_PATH_IMAGE016
，
Figure 88047DEST_PATH_IMAGE017
；
分别计算各个边缘计算节点传输图像特征数据
Figure 105682DEST_PATH_IMAGE002
到其他边缘计算节点所需的数 据传输时延T、传播时延S；其中，光速C代表电磁波在信道上的传播速率。
进一步地，前述的边缘计算节点包括深度强化网络、深度学习模型、态势感知中心、以及决策收发中心；
其中所述深度强化网络包括：
分层计算时延预测模块，用于计算理论分层计算时延
Figure 787199DEST_PATH_IMAGE018
和
Figure 523074DEST_PATH_IMAGE019
，以及存储分 层计算时延预测模型CT和云服务器计算时延预测模型CT c ；
传输时延计算模块，用于计算数据传输时延T和传播时延S；
在线决策时延统计模块，用于计算边缘计算节点从收到物理终端发送的计算任务到生成深度学习模型分层卸载模型的时间t；
在线学习模块，用于收集并传递计算任务时的实际计算负载情况和实际计算时延数据到边缘计算节点的分层计算时延预测模块；
离线样本数据存储模块，用于存储各个边缘计算节点和云服务器在预设负载情况 下，图像特征数据
Figure 49870DEST_PATH_IMAGE002
通过各个边缘计算节点上待卸载深度学习模型的各个
Figure 187590DEST_PATH_IMAGE001
对应的 计算时延，和图像特征数据
Figure 40009DEST_PATH_IMAGE002
通过云服务器上待卸载深度学习模型的各个
Figure 997600DEST_PATH_IMAGE001
对应的 计算时延；
决策信息生成模块，用于将生成的最终分层卸载策略传递至决策收发中心；
所述态势感知中心，包括：
边缘计算节点计算能力感知模块，用于计算各个边缘计算节点的计算资源负载情况；
云服务器计算能力感知模块，用于计算云服务器的计算资源负载情况；
网络遥测模块，用于计算各个边缘计算节点的所在局域网的网络带宽情况r，且用于计算各个边缘计算节点之间的物理距离l；
所述决策收发中心用于发送、接收最终分层卸载策略。
进一步地，前述的云服务器包括深度学习模型、决策收发中心；所述深度学习模型为已训练好的深度学习模型；所述决策收发中心用于接收最终分层卸载策略。所述态势感知中心包括计算能力感知模块、网络遥测模块。
本发明采用以上技术方案，与现有技术相比具有以下有益效果：
（1）区别于以物理端为主导和以云计算中心为主导的深度学习模型执行框架，本方法通过将边缘计算范式和云计算结合起来，并将深度学习模型分层卸载至不同的边缘计算节点，充分挖掘边缘侧的计算潜力，在满足计算精度的前提下，实现计算任务响应时延最小化。
（2）通过对整个深度学习模型推理过程中的计算时延、数据传输时延、数据传播时延和模型分层卸载策略生成时延进行理论建模，并以计算任务响应时延最小为优化目标，决定最优深度学习模型的分层卸载策略，最终实现深度学习模型的推理加速。
（3）本方法在离线学习的前提下展开，进一步的，本方法可根据每次任务计算实际测量的计算资源负载情况和计算时延来实时更新分层计算时延预测模型，以优化深度学习模型分层卸载的决策过程。
（4）将深度学习模型分层卸载至边缘计算节点和云服务器等边缘计算节点上，协同推理的方式可有效保证计算数据的安全性和降低网络带宽的占用率。
附图说明
图1为本发明的技术原理图。
图2为本发明深度强化网络的模块组成示意图。
图3为本发明的深度学习模型分层卸载原理图。
图4为本发明的方法流程图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
如图1所示，基于云服务器、所述云服务器c的通信范围内至少设有两个边缘计算 节点，所述边缘计算节点部署在wifi接入点或基站上，且边缘计算节点所在的局域网内至 少设置一个物理终端；各边缘计算节点与其通信范围内的各物理终端之间的距离小于边缘 计算节点与云服务器之间的距离；云服务器c的通信范围内任意一个边缘计算节点i，边缘 计算节点i通信范围内与其物理距离小于预设距离的其他边缘计算节点总数记为N，且
Figure 115639DEST_PATH_IMAGE020
，其中j为边缘计算节点i通信范围内与其距离小于预设距离的各边缘计算节点的 编号，此N个边缘计算节点同边缘计算节点i一起组成边缘集群；云服务器c上部署有深度学 习模型和决策收发中心；边缘计算节点上部署有深度强化网络、深度学习模型、态势感知中 心和决策收发中心。
如图2所示，边缘计算节点上部署有深度强化网络，深度强化网络包括分层计算时 延预测模块、传输时延计算模块、在线决策时延统计模块、在线学习模块、离线样本数据存 储模块和决策信息生成模块；以最小化计算任务响应时延TIME为目标，综合考虑数据传输 时延T、数据传播时延S、深度学习模型分层计算时延CT和决策时延t，寻找将深度学习模型 分层卸载到各个计算节点的最优卸载策略，实现深度学习模型的快速推理。分层计算时延 预测模块用于计算理论分层计算时延；传输时延计算模块用于计算数据传输时延T和传播 时延S；在线决策时延统计模块用于计算边缘计算节点从收到物理终端发送的计算任务到 生成深度学习模型分层卸载模型的时间t；在线学习模块，用于收集并传递计算任务时的实 际计算负载情况和实际计算时延数据到边缘计算节点的分层计算时延预测模块。实际计算 时延指各个边缘计算节点计算任务时图像特征数据
Figure 107866DEST_PATH_IMAGE002
通过各个边缘计算节点上待卸载深 度学习模型各个
Figure 131186DEST_PATH_IMAGE001
对应的计算时延。
离线样本数据存储模块用于存储分层计算时延预测模型CT决策信息生成模块用于将生成的最终分层卸载策略传递至决策收发中心；深度学习模型为已训练好的深度学习模型；态势感知中心包括计算能力感知模块，网络遥测模块；计算能力感知模块用于计算各个边缘计算节点的计算资源负载情况；网络遥测模块用于计算各个边缘计算节点的所在局域网的网络带宽情况r，且用于计算各个边缘计算节点之间的物理距离l；决策收发中心用于接收最终分层卸载策略。
云服务器c包括深度学习模型、决策收发中心；深度学习模型为已训练好的深度学习模型；决策收发中心用于接收最终分层卸载策略。态势感知中心包括计算能力感知模块、网络遥测模块。
如图3所示，深度学习模型为多层结构，将待卸载深度学习模型的隐藏层、输入层 以及输出层的所包含的神经元，以各单独成列的神经元为划分为n列，获得单独成列的神经 元列，之后获得
Figure 841653DEST_PATH_IMAGE001
，
Figure 975831DEST_PATH_IMAGE010
Figure 88144DEST_PATH_IMAGE011
n为正整数。
如图4所示，针对云服务器c通信范围内的任意一个边缘计算节点i，假设边缘计算节点i通信范围内与其物理距离小于预设距离的其他边缘计算节点总数记为2，且I、II分别表示这2个边缘计算节点的编号，此2个边缘计算节点同边缘计算节点i一起组成边缘集群，即该边缘集群内共有3个边缘计算节点。
假设待卸载深度学习模型共有3列神经元，则其可分为2层待卸载深度学习模型 （DNN 1 、DNN 2 ），记
Figure 157731DEST_PATH_IMAGE021
。
离线学习阶段，在各个边缘计算节点i、I、II和云服务器c自身不同的计算资源负载情况下，以通用单个图像特征数据D 1 作为输入，分别测量各个边缘计算节点进行每一层深度学习模型所需要的分层计算时延CT iz 、CT Iz 、CT IIz 和 云服务器c进行每一层深度学习模型所需要的分层计算时延CT cz 。记录以上各个边缘计算节点在不同的计算资源负载情况下对应的分层计算时延于深度强化网络下的离线样本数据存储模块内。
计算资源负载包括：CPU负载
Figure 214548DEST_PATH_IMAGE022
、GPU负载
Figure 27784DEST_PATH_IMAGE023
和缓存负载
Figure 620701DEST_PATH_IMAGE024
。
其次，基于深度强化学习技术，分层计算时延预测模块利用离线样本数据存储模块内的样本数据进行多元非线性函数拟合，得到分层计算时延预测模型：
Figure 861190DEST_PATH_IMAGE025
上式表示的是在边缘集群下3个边缘计算节点中的任意一个边缘计算节点i上，当 其CPU负载、GPU负载和缓存负载分别为
Figure 811828DEST_PATH_IMAGE026
、
Figure 287809DEST_PATH_IMAGE027
和
Figure 374714DEST_PATH_IMAGE028
时，计算深度学习模型第z层（
Figure 645158DEST_PATH_IMAGE001
）产生的计算时延CT iz 。训练完成的分层计算时延预测模型储存在分层计算时延预 测模块内。
Figure 817513DEST_PATH_IMAGE029
，
Figure 238130DEST_PATH_IMAGE030
同上。
Figure 38596DEST_PATH_IMAGE031
上式表示的是在边缘集群上的云服务器c上，当其CPU负载、GPU负载和缓存负载分 别为
Figure 886466DEST_PATH_IMAGE032
、
Figure 280539DEST_PATH_IMAGE033
和
Figure 862436DEST_PATH_IMAGE034
时，计算深度学习模型第z层（
Figure 658354DEST_PATH_IMAGE001
）产生的计算时延CT cz 。训练完 成的分层计算时延预测模型储存在各个边缘计算节点的分层计算时延预测模块内。
离线学习阶段之后，便可进行任务计算。
物理终端基于图像压缩和图像分割技术将计算任务（图像数据）预处理为分辨率相同、数据量大小相等的图像特征数据D 1 ，并装载至与当前物理终端位于同一局域网内的边缘计算节点i上，边缘计算节点i的在线决策时延统计模块开始计时并将决策时延t动态发送给决策信息生成模块（决策时延t指的是边缘计算节点i从收到计算任务到生成深度学习模型分层卸载策略这段时间）；
边缘计算节点i的态势感知中心下的计算能力感知模块、云服务器c计算能力感知 模块将动态感知到的边缘计算节点计算资源负载情况
Figure 677126DEST_PATH_IMAGE035
和云服务器c计算资源 负载情况
Figure 683128DEST_PATH_IMAGE036
传递给分层计算时延预测模块；网络遥测模块将动态测算的边缘计算节点 和云服务器所在区域的网络带宽情况
Figure 179968DEST_PATH_IMAGE037
和物理距离
Figure 95972DEST_PATH_IMAGE038
传递给传输时延计算模块；
分层计算时延预测模块结合各边缘计算节点和云服务器c的计算资源负载情况和 预先储存的分层计算时延预测模型，用以预测各个边缘计算节点计算每一层深度学习模型
Figure 144699DEST_PATH_IMAGE001
所需要的理论分层计算时延
Figure 778943DEST_PATH_IMAGE039
)和单独使用云服务器c进 行全部深度学习模型计算所需要的理论计算时延
Figure 938529DEST_PATH_IMAGE040
，以上理论计算时 延结果同步传递给决策信息生成模块；传输时延计算模块以输入的图像特征数据D 1 为标 准，用以测算各个边缘计算节点的理论数据传输时延
Figure 709038DEST_PATH_IMAGE041
和理论传播时延
Figure 804033DEST_PATH_IMAGE042
，以上理论时延计算结果同步传递给决策信息生 成模块：
Figure 286093DEST_PATH_IMAGE043
，
以上表示的是经边缘计算节点i传输图像特征数据
Figure 124736DEST_PATH_IMAGE002
到边缘计算节点I所需要的 数据传输时延T i 和传播时延
Figure 874386DEST_PATH_IMAGE044
，数据传输时延T i 和待传输图像特征数据
Figure 405861DEST_PATH_IMAGE002
、边缘计算节点i的网络带宽
Figure 483539DEST_PATH_IMAGE045
有关，传播时延
Figure 984927DEST_PATH_IMAGE044
和边缘计算节点i到边缘计算节点I的信道长度（以物理距 离
Figure 730029DEST_PATH_IMAGE046
做估算）、电磁波在信道上的传播速率（以光速C做估算）有关：
Figure 291461DEST_PATH_IMAGE047
。
同上，决策信息生成模块基于深度强化学习技术，以各个边缘计算节点处理每一层深度学习模型DNN z 所需要的理论分层计算时延
Figure 122013DEST_PATH_IMAGE048
、单独使用云服务器c进行全部深度学习模型计算所 需要的理论计算时延
Figure 302459DEST_PATH_IMAGE049
和理论数据传输时延
Figure 525237DEST_PATH_IMAGE050
、理论传播 时延
Figure 398515DEST_PATH_IMAGE051
为依据，以任务响应时延TIME最小为优化 目标，决定最优深度学习模型的分层卸载策略（不同的分层卸载策略对应不同的任务响应 时延TIME ，目标是寻找最优分层卸载策略）：
Figure 450784DEST_PATH_IMAGE052
进一步的，在深度学习模型的分层卸载策略生成过程中，避免求解任务响应时延 TIME陷入过度优化过程， 动态比较单独使用云服务器c时的响应时延TIMEc，即
Figure 559555DEST_PATH_IMAGE053
与深度学习模型分层卸载模型响应时延最小的TIME大小，若TIME小于TIMEc，则以响应时延TIME最小对应的深度学习模型分层卸载模型为分层卸载策略，完成待 计算数据以最小化响应时延为目标的卸载计算；否则以响应时延TIMEc对应的单独使用云 服务器c处理待计算数据为最终分层卸载策略，完成待计算数据以最小化响应时延的卸载 计算；
决策信息生成模块将生成的最优深度学习模型分层卸载策略传递至决策收发中心（分层卸载策略信息包含参与此次计算的边缘计算节点和边缘计算节点需要计算的深度学习模型层数），并经决策收发中心将策略信息发送至需要参与此次任务计算的各个边缘计算节点的决策收发中心，边缘计算节点按策略开始任务计算。任务计算结果直接发送给物理终端。
参与任务计算的各个边缘计算节点的在线学习模块收集自身进行任务计算时的计算资源负载情况（CPU负载、GPU负载和缓存负载）和实际计算时延，并传递以上所有样本数据到边缘计算节点i的分层计算时延预测模块，用以更新针对当前深度学习模型的分层计算时延预测模型，进一步的，所有边缘计算节点共享更新后的分层计算时延预测模型。
虽然本发明已以较佳实施例阐述如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (6)

1.一种基于云边端协同的深度学习模型推理加速方法，所述云边端协同是指云服务器、与云服务器通信的至少两个边缘计算节点，以及至少一个物理终端，物理终端与边缘计算节点的通信距离小于边缘计算节点与云服务器的距离，其特征在于，所述方法包括如下步骤：
步骤S1、物理终端将图像数据预处理为分辨率相同、数据量相等的图像特征数据D 1 ，输入划分好的待卸载深度学习模型的各个DNN层，即
Figure 416106DEST_PATH_IMAGE001
，将上一层输出作为下一层的输入，最终得到图像特征数据
Figure 454207DEST_PATH_IMAGE002
；
步骤S2、进行离线学习阶段：基于各个边缘计算节点计算资源预设负载情况，以各个边缘计算节点上待卸载深度学习模型各个
Figure 710876DEST_PATH_IMAGE003
处理图像特征数据
Figure 753919DEST_PATH_IMAGE002
的过程为输入、已知的图像特征数据
Figure 703420DEST_PATH_IMAGE002
通过各个边缘计算节点上待卸载深度学习模型的各个
Figure 199123DEST_PATH_IMAGE004
对应的计算时延为输出，构建并训练获得分层计算时延预测模型CT；
同时基于云服务器计算资源预设负载情况，以云服务器上待卸载深度学习模型各个
Figure 525063DEST_PATH_IMAGE005
处理图像特征数据D z 的过程为输入、已知的云服务器上待卸载深度学习模型各个
Figure 484928DEST_PATH_IMAGE006
处理图像特征数据D z 对应的计算时延为输出，构建并训练获得云服务器计算时延预测模型CT c ；
步骤S3、根据各个边缘计算节点的实际计算资源负载情况，由物理终端的计算任务所对应的边缘计算节点应用分层计算时延预测模型CT，以待卸载深度学习模型各个
Figure 605331DEST_PATH_IMAGE007
处理图像特征数据
Figure 352445DEST_PATH_IMAGE002
的过程为输入、获得图像特征数据
Figure 216496DEST_PATH_IMAGE002
通过各个边缘计算节点上待卸载深度学习模型各个
Figure 499710DEST_PATH_IMAGE008
对应的计算时延为输出的理论分层计算时延
Figure 56593DEST_PATH_IMAGE009
；
步骤S4、基于已知的边缘计算节点局域网网络带宽情况r、以及各个边缘计算节点之间的物理距离l，计算经过当前边缘计算节点传输图像特征数据
Figure 526888DEST_PATH_IMAGE002
到其他边缘计算节点所需的数据传输时延T和传播时延S；同时基于已知的云服务器网络带宽情况r c 、以及计算任务的边缘计算节点与云服务器之间的物理距离l c ，计算经过计算任务的边缘计算节点传输图像特征数据D 1 到云服务器所需的数据传输时延T c 和传播时延S C ；
步骤S5、以步骤S3获得的各个边缘计算节点理论分层计算时延
Figure 929051DEST_PATH_IMAGE009
、以及步骤S4获得的数据传输时延T和传播时延S为输入，以所对应的响应时延
Figure 66771DEST_PATH_IMAGE010
为输出，构建深度学习模型分层卸载模型如下式：
Figure 591293DEST_PATH_IMAGE011
并以响应时延TIME最小为优化目标,获得响应时延
Figure 548885DEST_PATH_IMAGE010
最小的深度学习模型分层卸载模型，其中t为边缘计算节点从收到物理终端发送的计算任务到生成深度学习模型分层卸载模型的时间；
步骤S6、根据步骤S2获得的云服务器计算时延预测模型CT c ，以及云服务器的实际计算资源负载情况，应用分层计算时延预测模型CT c ，以待卸载深度学习模型各个
Figure 253274DEST_PATH_IMAGE012
处理图像特征数据
Figure 245501DEST_PATH_IMAGE002
的过程为输入、获得图像特征数据
Figure 675345DEST_PATH_IMAGE002
通过云服务器上待卸载深度学习模型的各个
Figure 120233DEST_PATH_IMAGE013
对应的计算时延为输出的理论分层计算时延
Figure 129777DEST_PATH_IMAGE014
，之后按如下公式：
Figure 773248DEST_PATH_IMAGE015
，
计算单独使用云服务器处理计算任务所产生的理论计算时延
Figure 842835DEST_PATH_IMAGE016
，其中
Figure 509440DEST_PATH_IMAGE017
为将D 1 通过DNN 1 产生的计算时延，之后按如下公式计算单独使用云服务器时处理图像特征数据D z 的响应时延TIMEc：
Figure 119413DEST_PATH_IMAGE018
；
步骤S7、动态比较单独使用云服务器时的响应时延TIMEc与深度学习模型分层卸载模型响应时延最小的
Figure 86232DEST_PATH_IMAGE019
大小，若
Figure 795562DEST_PATH_IMAGE019
小于TIMEc，则以响应时延
Figure 277359DEST_PATH_IMAGE020
最小对应的深度学习模型分层卸载模型为分层卸载策略，完成待计算数据以最小化响应时延为目标的卸载计算；否则以响应时延TIMEc对应的单独使用云服务器处理待计算数据为最终分层卸载策略，完成待计算数据以最小化响应时延的卸载计算；
步骤S8、基于步骤S7获得的分层卸载策略，各执行分层卸载策略的边缘计算节点收集计算任务时的计算负载情况和实际计算时延，之后返回步骤S2。
2.根据权利要求1所述的一种基于云边端协同的深度学习模型推理加速方法，其特征在于，已划分好的待卸载深度学习模型的各个DNN层按如下方法获得:将待卸载深度学习模型的隐藏层、输入层以及输出层的所包含的神经元，以各单独成列的神经元为划分为n列，获得单独成列的神经元列，之后获得
Figure 150678DEST_PATH_IMAGE005
，
Figure 706424DEST_PATH_IMAGE021
Figure 852235DEST_PATH_IMAGE022
n为正整数。
3.根据权利要求2所述的一种基于云边端协同的深度学习模型推理加速方法，其特征在于，步骤S1具体为：
基于已分割好的待卸载深度学习模型的各个
Figure 555749DEST_PATH_IMAGE006
以各个边缘计算节点上待卸载深度学习模型各个
Figure 445207DEST_PATH_IMAGE006
处理图像特征数据
Figure 121039DEST_PATH_IMAGE002
的过程为输入、图像特征数据
Figure 500068DEST_PATH_IMAGE023
通过各个边缘计算节点上待卸载深度学习模型的各个
Figure 628561DEST_PATH_IMAGE003
对应的计算时延为输出，分别构建各个边缘计算节点分层计算时延模型如下式：
Figure 321711DEST_PATH_IMAGE024
；其中，
Figure 914366DEST_PATH_IMAGE025
为计算资源负载情况预设CPU负载、
Figure 667558DEST_PATH_IMAGE026
为计算资源负载情况预设GPU负载、
Figure 516303DEST_PATH_IMAGE027
为计算资源负载情况预设缓存负载。
4.根据权利要求3所述的一种基于云边端协同的深度学习模型推理加速方法，其特征在于，步骤S3中，基于已知的边缘计算节点局域网网络带宽情况r，各个边缘计算节点之间的物理距离l，按如下公式：
Figure 809881DEST_PATH_IMAGE028
，
Figure 460306DEST_PATH_IMAGE029
；
分别计算各个边缘计算节点传输图像特征数据
Figure 118820DEST_PATH_IMAGE002
到其他边缘计算节点所需的数据传输时延T、传播时延S；其中，光速C代表电磁波在信道上的传播速率。
5.根据权利要求4所述的一种基于云边端协同的深度学习模型推理加速方法，其特征在于，
边缘计算节点包括深度强化网络、态势感知中心、以及决策收发中心；
其中所述深度强化网络包括：
分层计算时延预测模块，用于计算理论分层计算时延
Figure 487485DEST_PATH_IMAGE030
和
Figure 319174DEST_PATH_IMAGE031
，以及存储分层计算时延预测模型CT和云服务器计算时延预测模型CT c ；
传输时延计算模块，用于计算数据传输时延T和传播时延S；
在线决策时延统计模块，用于计算边缘计算节点从收到物理终端发送的计算任务到生成深度学习模型分层卸载模型的时间t；
在线学习模块，用于收集并传递计算任务时的实际计算负载情况和实际计算时延数据到边缘计算节点的分层计算时延预测模块；
离线样本数据存储模块，用于存储各个边缘计算节点和云服务器在预设负载情况下，图像特征数据
Figure 558526DEST_PATH_IMAGE023
通过各个边缘计算节点上待卸载深度学习模型的各个
Figure 653521DEST_PATH_IMAGE006
对应的计算时延，和图像特征数据
Figure 40640DEST_PATH_IMAGE032
通过云服务器上待卸载深度学习模型的各个
Figure 879283DEST_PATH_IMAGE006
对应的计算时延；
决策信息生成模块，用于将生成的最终分层卸载策略传递至决策收发中心；
所述态势感知中心，包括：
边缘计算节点计算能力感知模块，用于计算各个边缘计算节点的计算资源负载情况；
云服务器计算能力感知模块，用于计算云服务器的计算资源负载情况；
网络遥测模块，用于计算各个边缘计算节点的所在局域网的网络带宽情况r，且用于计算各个边缘计算节点之间的物理距离l；
所述决策收发中心用于发送、接收最终分层卸载策略。
6.根据权利要求5所述的一种基于云边端协同的深度学习模型推理加速方法，其特征在于,云服务器上包括深度学习模型、决策收发中心；所述深度学习模型为已训练好的深度学习模型；所述决策收发中心用于接收最终分层卸载策略。
CN202210961978.9A 2022-08-11 2022-08-11 一种基于云边端协同的深度学习模型推理加速方法 Active CN115034390B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210961978.9A CN115034390B (zh) 2022-08-11 2022-08-11 一种基于云边端协同的深度学习模型推理加速方法
PCT/CN2023/098730 WO2024032121A1 (zh) 2022-08-11 2023-06-07 一种基于云边端协同的深度学习模型推理加速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210961978.9A CN115034390B (zh) 2022-08-11 2022-08-11 一种基于云边端协同的深度学习模型推理加速方法

Publications (2)

Publication Number Publication Date
CN115034390A CN115034390A (zh) 2022-09-09
CN115034390B true CN115034390B (zh) 2022-11-18

Family

ID=83130472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210961978.9A Active CN115034390B (zh) 2022-08-11 2022-08-11 一种基于云边端协同的深度学习模型推理加速方法

Country Status (2)

Country Link
CN (1) CN115034390B (zh)
WO (1) WO2024032121A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115034390B (zh) * 2022-08-11 2022-11-18 南京邮电大学 一种基于云边端协同的深度学习模型推理加速方法
CN115562760B (zh) * 2022-11-22 2023-05-30 南京邮电大学 基于边缘计算节点打分表的深度学习模型分层卸载方法
CN116894469B (zh) * 2023-09-11 2023-12-15 西南林业大学 端边云计算环境中的dnn协同推理加速方法、设备及介质
CN117834643B (zh) * 2024-03-05 2024-05-03 南京邮电大学 一种面向工业物联网的深度神经网络协同推理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153572A (zh) * 2021-10-27 2022-03-08 中国电子科技集团公司第五十四研究所 一种星地协作网络中分布式深度学习的计算卸载方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3489865B1 (en) * 2017-11-22 2021-01-06 Commissariat à l'énergie atomique et aux énergies alternatives A stdp-based learning method for a network having dual accumulator neurons
US20200272896A1 (en) * 2019-02-25 2020-08-27 Alibaba Group Holding Limited System for deep learning training using edge devices
CN110309914A (zh) * 2019-07-03 2019-10-08 中山大学 基于边缘服务器与移动端设备协同的深度学习模型推理加速方法
CN111242282B (zh) * 2020-01-09 2023-03-28 中山大学 基于端边云协同的深度学习模型训练加速方法
KR20220061827A (ko) * 2020-11-06 2022-05-13 한국전자통신연구원 모바일 엣지 컴퓨팅 환경에서의 적응형 딥러닝 추론 장치 및 방법
CN114422349B (zh) * 2022-03-30 2022-06-10 南京邮电大学 基于云边端协同的深度学习模型训练和推理架构部署方法
CN115034390B (zh) * 2022-08-11 2022-11-18 南京邮电大学 一种基于云边端协同的深度学习模型推理加速方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153572A (zh) * 2021-10-27 2022-03-08 中国电子科技集团公司第五十四研究所 一种星地协作网络中分布式深度学习的计算卸载方法

Also Published As

Publication number Publication date
WO2024032121A1 (zh) 2024-02-15
CN115034390A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN115034390B (zh) 一种基于云边端协同的深度学习模型推理加速方法
CN113067873B (zh) 基于深度强化学习的边云协同优化方法
CN113543176B (zh) 基于智能反射面辅助的移动边缘计算系统的卸载决策方法
Chen et al. Efficiency and fairness oriented dynamic task offloading in internet of vehicles
CN113760511B (zh) 一种基于深度确定性策略的车辆边缘计算任务卸载方法
CN111813539A (zh) 一种基于优先级与协作的边缘计算资源分配方法
CN112511614B (zh) 基于强化学习的车载边缘环境下智能网联车辆任务卸载方法
CN114528042A (zh) 基于深度强化学习的节能型自动互联车辆服务卸载方法
CN116455768B (zh) 面向全局时延优化的云边端协同cnn推理方法及系统
CN114415735A (zh) 面向动态环境的多无人机分布式智能任务分配方法
CN116566838A (zh) 一种区块链与边缘计算协同的车联网任务卸载和内容缓存方法
CN115665869A (zh) 基于边缘计算和有向无环图的多用户协作平台及其方法
CN112672382A (zh) 混合协作计算卸载方法、装置、电子设备及存储介质
CN116669111A (zh) 一种基于区块链的移动边缘计算任务卸载方法
Li et al. Collaborative edge computing for distributed cnn inference acceleration using receptive field-based segmentation
CN114626298A (zh) 无人机辅助车联网中高效缓存和任务卸载的状态更新方法
CN113961204A (zh) 一种基于多目标强化学习的车联网计算卸载方法及系统
Shaodong et al. Multi-step reinforcement learning-based offloading for vehicle edge computing
Yan et al. Service caching for meteorological emergency decision-making in cloud-edge computing
CN114916013B (zh) 基于车辆轨迹预测的边缘任务卸载时延优化方法、系统及介质
CN112906745B (zh) 基于边缘协同的诚信智能网络训练方法
CN114815755A (zh) 基于智能协作推理的分布式实时智能监控系统的建立方法
Sun et al. Leveraging digital twin and drl for collaborative context offloading in c-v2x autonomous driving
CN113157344A (zh) 移动边缘计算环境下基于drl的能耗感知任务卸载方法
CN114860345B (zh) 一种智能家居场景下基于缓存辅助的计算卸载方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant