CN116016538A - 面向动态环境的边端协同推理任务卸载优化方法与系统 - Google Patents

面向动态环境的边端协同推理任务卸载优化方法与系统 Download PDF

Info

Publication number
CN116016538A
CN116016538A CN202310303751.XA CN202310303751A CN116016538A CN 116016538 A CN116016538 A CN 116016538A CN 202310303751 A CN202310303751 A CN 202310303751A CN 116016538 A CN116016538 A CN 116016538A
Authority
CN
China
Prior art keywords
edge server
layer
cnn
edge
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310303751.XA
Other languages
English (en)
Inventor
郭永安
周金粮
王宇翱
钱琪杰
周沂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202310303751.XA priority Critical patent/CN116016538A/zh
Publication of CN116016538A publication Critical patent/CN116016538A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了面向动态环境的边端协同推理任务卸载优化方法与系统。所述方法运行在物理终端、边缘集群、云服务器三个层次内，其中云服务器负责模型训练，并将模型下发至边缘集群；物理终端产生计算任务并向边缘集群提出计算请求；在边缘集群内，本方法会综合考虑高度动态的网络带宽和设备负载情况，通过将边端协同推理工作中涉及到的推理时延和传输时延转换为与计算任务复杂度、设备负载、张量数据和网络带宽等相关联的最优化问题，并分步决策出模型的多个最佳分割位置以优化通信和计算权衡，最终在保证模型准确率的前提下，最小化协同推理时延的同时提升边缘服务器的计算资源利用率。

Description

面向动态环境的边端协同推理任务卸载优化方法与系统
技术领域
本发明属于边缘侧协同计算领域，具体涉及面向动态环境的边端协同推理任务卸载优化方法与系统。
背景技术
为了满足低时延、高精度的CNNs（Convolutional Neural Networks, 卷积神经网络）推理需求，新兴的边端协同推理计算范式成为研究重点。然而，边端协同推理同样面临着两个需要解决的关键挑战：①如何根据设备负载进行推理任务分配，②在动态网络带宽条件下，如何决策出模型的最佳分割位置以平衡计算和通信开销。为了应对以上挑战，目前的研究工作主要集中在三个方面：模型架构优化、模型分割优化和硬件加速。其中模型架构优化通过采用模型裁剪技术和多分支CNN训练技术以减少计算开销；在模型分割方面，Neurosurgeon和Edgent尝试通过将CNN只分割成两部分以减少通信开销；硬件加速方面的研究工作主要围绕硬件加速平台CUDA展开。上述工作倾向于仅在CNN中寻找一个最佳分割点来优化协同推理时延，忽视了高度动态的网络带带宽和设备负载情况下多边缘服务器参与带来的推理加速。
发明内容
本发明的目的在于：通过将边端协同推理工作中涉及到的推理时延和传输时延转换为与计算任务复杂度、设备负载、张量数据和网络带宽等相关联的最优化问题并求解，在高度动态的网络带宽和设备负载环境中分步决策出CNN的多个最佳分割位置，实现多边缘服务器参与的低时延协同推理。为实现上述目的，本发明提供如下技术方案：
面向动态环境的边端协同推理任务卸载优化方法，包括如下步骤:
S1、将已训练好的CNN模型划分为N层：
Figure SMS_3
，
Figure SMS_6
，
Figure SMS_8
，N层CNN含有
Figure SMS_1
个张量数据：
Figure SMS_4
和
Figure SMS_7
，其中，张量数据
Figure SMS_9
经过CNN的
Figure SMS_2
层计算后产生张量数据
Figure SMS_5
；
S2、离线学习阶段：采集边缘服务器自身负载情况，并计算待处理的CNN的
Figure SMS_10
层的计算复杂度
Figure SMS_11
，以边缘服务器自身负载情况、以及待处理的CNN的
Figure SMS_12
层的计算复杂度
Figure SMS_13
为输入，以已知的边缘服务器
Figure SMS_14
计算CNN模型
Figure SMS_15
层产生的实际分层计算时延
Figure SMS_16
为输出，构建并训练分层计算时延预测模型；
S3、初始化设置
Figure SMS_17
；
S4、物理终端将图像数据处理为分辨率相同、数据量大小相等的图像特征数据，即张量数据
Figure SMS_18
，并将
Figure SMS_19
发送给与其在同一局域网内的边缘服务器
Figure SMS_20
；
S5、边缘服务器
Figure SMS_21
判断即将处理张量数据
Figure SMS_22
的
Figure SMS_23
层是否为池化层，是则该池化层将张量数据
Figure SMS_24
处理为张量数据
Figure SMS_25
，然后执行步骤S8；否则执行步骤S6;
S6、边缘服务器
Figure SMS_26
采集边缘服务器
Figure SMS_27
、
Figure SMS_28
之间的网络带宽，计算理论数据传输时延
Figure SMS_29
，执行步骤S7;
S7、将实际的边缘服务器自身负载情况，以及计算得到的实际CNN的
Figure SMS_39
层的计算复杂度
Figure SMS_34
输入至步骤S2获得的分层计算时延预测模型，得到理论分层计算时延
Figure SMS_38
；边缘服务器
Figure SMS_35
动态比较理论分层计算时延
Figure SMS_45
是否小于等于理论分层计算时延
Figure SMS_37
与理论数据传输时延
Figure SMS_43
之和，是则由边缘服务器
Figure SMS_33
完成CNN的
Figure SMS_41
层的计算，并生成张量数据
Figure SMS_36
；否则边缘服务器
Figure SMS_42
借助无线网传输张量数据
Figure SMS_32
到边缘服务器
Figure SMS_44
，由边缘服务器
Figure SMS_31
完成CNN的
Figure SMS_40
层的计算，并生成张量数据
Figure SMS_30
；执行步骤S8；
S8、边缘服务器
Figure SMS_46
和
Figure SMS_47
代号互换，即
Figure SMS_48
和
Figure SMS_49
代号互换；
S9、判断i是否等于N，是则将张量数据
Figure SMS_50
发送给发出任务请求的物理终端；否则令
Figure SMS_51
，然后返回执行步骤S5。
进一步地前述的步骤S2中，CNN的
Figure SMS_52
层的计算复杂度
Figure SMS_53
包括卷积层的计算复杂度
Figure SMS_54
：
以及全连层的计算复杂度
Figure SMS_55
，分别如下式：
Figure SMS_56
，
Figure SMS_57
，
其中，
Figure SMS_65
、
Figure SMS_60
、
Figure SMS_72
依次表示输入CNN的
Figure SMS_61
层的张量数据
Figure SMS_68
的高度、宽度、通道数，
Figure SMS_62
表示输入CNN的
Figure SMS_70
层的卷积核的边长，
Figure SMS_63
表示输出CNN的
Figure SMS_69
层的张量数据
Figure SMS_64
的通道数；
Figure SMS_71
、
Figure SMS_58
分别表示输入CNN的
Figure SMS_67
层的张量数据
Figure SMS_66
的维数、输出CNN的
Figure SMS_73
层的张量数据
Figure SMS_59
的维数。
进一步地前述的步骤S2包括如下子步骤：
S201、采集当前边缘服务器
Figure SMS_74
的浮点计算能力
Figure SMS_77
、CPU使用率
Figure SMS_80
、GPU显存使用率
Figure SMS_76
、其他
Figure SMS_79
个边缘服务器
Figure SMS_81
的浮点计算能力
Figure SMS_83
、边缘服务器
Figure SMS_75
的CPU使用率
Figure SMS_78
、边缘服务器
Figure SMS_82
的GPU显存使用率
Figure SMS_84
；
S202、以边缘服务器
Figure SMS_85
的浮点计算能力
Figure SMS_89
、CPU使用率
Figure SMS_91
、GPU显存使用率
Figure SMS_86
和待处理的CNN的
Figure SMS_90
层的计算复杂度
Figure SMS_92
为输入，以已知的边缘服务器
Figure SMS_93
计算CNN模型
Figure SMS_87
层产生的实际分层计算时延
Figure SMS_88
为输出，构建分层计算时延预测模型，如下式：
Figure SMS_94
。
进一步地前述的步骤S6中边缘服务器
Figure SMS_95
采集边缘服务器
Figure SMS_96
、
Figure SMS_97
之间的网络带宽，计算理论数据传输时延
Figure SMS_98
，如下式：
Figure SMS_99
，
其中，
Figure SMS_100
为边缘服务器
Figure SMS_101
与边缘服务器
Figure SMS_102
间的网络带宽。
本发明另一方面提出面向动态环境的边端协同推理任务卸载优化系统，其特征在于，包括：云服务器、与云服务器通信的至少两个边缘服务器，各边缘服务器的通信范围内至少设有一个物理终端，物理终端与边缘服务器的通信距离小于边缘服务器与云服务器的距离，云服务器通信范围内的任意一个边缘服务器
Figure SMS_105
，边缘服务器
Figure SMS_107
通信范围内与其物理距离小于预设距离
Figure SMS_109
的其他
Figure SMS_104
个边缘服务器，记为：
Figure SMS_108
，
Figure SMS_110
，
Figure SMS_112
，且这
Figure SMS_103
个边缘服务器也在云服务器的通信范围内，此
Figure SMS_106
个边缘服务器同边缘服务器
Figure SMS_111
一起组成边缘集群；
所述云服务器包括：模型训练模块、卷积神经网络，通信模块；
所述边缘服务器包括：态势感知中心、卷积神经网络、策略生成中心、通信模块；
所述物理终端包括通信模块；
所述模型训练模块用于训练卷积神经网络，所述卷积神经网络是服务于智能应用程序的
Figure SMS_113
层CNN；基于各个边缘服务器的离线样本数据存储模块采集模块采集到的信息，所述模型训练模块用于训练分层计算时延预测模型，并将训练好的模型发送给各个边缘服务器；所述通信模块用于云服务器、边缘服务器和物理终之间数据发送、接收；
所述态势感知中心包括工作负载感知模块、网络遥测模块；
所述工作负载感知模块用于采集边缘服务器
Figure SMS_115
浮点计算能力
Figure SMS_117
、CPU使用率
Figure SMS_120
、GPU显存使用率
Figure SMS_116
、其他
Figure SMS_118
个边缘服务器
Figure SMS_121
的浮点计算能力
Figure SMS_123
、边缘服务器
Figure SMS_114
的CPU使用率
Figure SMS_119
、边缘服务器
Figure SMS_122
的GPU显存使用率
Figure SMS_124
；
所述网络遥测模块用于动态采集边缘服务器
Figure SMS_125
与边缘服务器
Figure SMS_126
间的网络带宽
Figure SMS_127
；
所述策略生成中心包括离线样本数据存储模块、分层计算时延预测模块、传输时延计算模块、和决策信息生成模块；
所述离线样本数据存储模块，用于记录、采集任一存储边缘服务器
Figure SMS_128
在自身浮点计算能力
Figure SMS_129
、CPU使用率为
Figure SMS_130
、GPU显存使用率为
Figure SMS_131
，处理计算复杂度为
Figure SMS_132
的CNN的
Figure SMS_133
层产生的实际分层计算时延
Figure SMS_134
；
所述分层计算时延预测模块，内部存储分层计算时延预测模型，用于将实际的边缘服务器自身负载情况，以及计算得到的实际CNN的
Figure SMS_135
层的计算复杂度
Figure SMS_136
输入至分层计算时延预测模型，得到理论分层计算时延
Figure SMS_137
；
所述传输时延计算模块，用于边缘服务器
Figure SMS_138
采集边缘服务器
Figure SMS_139
、
Figure SMS_140
之间的网络带宽，计算理论数据传输时延
Figure SMS_141
；
所述卷积神经网络是服务于智能应用程序的N层CNN；
所述策略信息生成模块，用于动态比较理论分层计算时延
Figure SMS_143
是否小于等于理论分层计算时延
Figure SMS_146
与理论数据传输时延
Figure SMS_149
之和，是则由边缘服务器
Figure SMS_144
完成CNN的
Figure SMS_147
层的计算，否则边缘服务器
Figure SMS_148
借助无线网传输张量数据
Figure SMS_152
到边缘服务器
Figure SMS_142
，由边缘服务器
Figure SMS_145
完成CNN的
Figure SMS_150
层的计算，直至N个CNN层全部被计算完毕，获得张量数据
Figure SMS_151
；
所述通信模块用于云服务器、边缘服务器和物理终之间数据发送、接收。
相较于现有技术，本发明的有益效果如下：
1、本发明通过将边端协同推理工作中涉及到的推理时延和传输时延转换为与计算任务复杂度、设备负载、张量数据和网络带宽等相关联的最优化问题并求解，以实现边端协同加速推理。
2、本发明为应对高度动态的网络带宽和设备负载情况，分步决策出CNN的多个最佳分割位置以优化通信和计算权衡，其中边缘服务器计算资源利用率将在分层卸载策略的分步制定中得到提升。
3、以边缘集群为主导的CNN协同推理工作，将计算工作放在离物理终端更近的边缘侧，可有效保证计算数据的安全性和降低网络带宽的占用率。
附图说明
图1为本发明的CNN推理任务分层卸载原理图。
图2为本发明的技术原理图。
图3本发明的工作流程图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
如图3所示，本发明的流程图，面向动态环境的边端协同推理任务卸载优化方法，包括如下步骤：
S1、将已训练好的CNN模型划分为N层：
Figure SMS_155
，
Figure SMS_158
，
Figure SMS_160
，N层CNN含有
Figure SMS_154
个张量数据：
Figure SMS_156
和
Figure SMS_159
，其中，张量数据
Figure SMS_161
经过CNN的
Figure SMS_153
层计算后产生张量数据
Figure SMS_157
S2、离线学习阶段：采集边缘服务器自身负载情况，并计算待处理的CNN的
Figure SMS_162
层的计算复杂度
Figure SMS_163
，以边缘服务器自身负载情况、以及待处理的CNN的
Figure SMS_164
层的计算复杂度
Figure SMS_165
为输入，以已知的边缘服务器
Figure SMS_166
计算CNN模型
Figure SMS_167
层产生的实际分层计算时延
Figure SMS_168
为输出，构建并训练分层计算时延预测模型。具体包括以下步骤S201至步骤S202:
S201、采集当前边缘服务器
Figure SMS_171
的浮点计算能力
Figure SMS_172
、CPU使用率
Figure SMS_176
、GPU显存使用率
Figure SMS_170
、其他
Figure SMS_173
个边缘服务器
Figure SMS_175
的浮点计算能力
Figure SMS_178
、边缘服务器
Figure SMS_169
的CPU使用率
Figure SMS_174
、边缘服务器
Figure SMS_177
的GPU显存使用率
Figure SMS_179
；
S202、以边缘服务器
Figure SMS_182
的浮点计算能力
Figure SMS_183
、CPU使用率
Figure SMS_186
、GPU显存使用率
Figure SMS_181
和待处理的CNN的
Figure SMS_184
层的计算复杂度
Figure SMS_187
为输入，以已知的边缘服务器
Figure SMS_188
计算CNN模型
Figure SMS_180
层产生的实际分层计算时延
Figure SMS_185
为输出，构建分层计算时延预测模型，如下式：
Figure SMS_189
。
S3、初始化设置
Figure SMS_190
；
S4、物理终端将图像数据处理为分辨率相同、数据量大小相等的图像特征数据，即张量数据
Figure SMS_191
，并将
Figure SMS_192
发送给与其在同一局域网内的边缘服务器
Figure SMS_193
；
S5、边缘服务器
Figure SMS_194
判断即将处理张量数据
Figure SMS_195
的
Figure SMS_196
层是否为池化层，是则该池化层将张量数据
Figure SMS_197
处理为张量数据
Figure SMS_198
，然后执行步骤S8；否则执行步骤S6;
S6、边缘服务器
Figure SMS_199
采集边缘服务器
Figure SMS_200
、
Figure SMS_201
之间的网络带宽，计算理论数据传输时延
Figure SMS_202
，如下式：
Figure SMS_203
，
其中，
Figure SMS_204
为边缘服务器
Figure SMS_205
与边缘服务器
Figure SMS_206
间的网络带宽。然后执行步骤S7。
S7、将实际的边缘服务器自身负载情况，以及计算得到的实际CNN的
Figure SMS_212
层的计算复杂度
Figure SMS_208
输入至步骤S2获得的分层计算时延预测模型，得到理论分层计算时延
Figure SMS_217
；边缘服务器
Figure SMS_211
动态比较理论分层计算时延
Figure SMS_215
是否小于等于理论分层计算时延
Figure SMS_213
与理论数据传输时延
Figure SMS_219
之和，是则由边缘服务器
Figure SMS_207
完成CNN的
Figure SMS_218
层的计算，并生成张量数据
Figure SMS_214
；否则边缘服务器
Figure SMS_222
借助无线网传输张量数据
Figure SMS_210
到边缘服务器
Figure SMS_216
，由边缘服务器
Figure SMS_220
完成CNN的
Figure SMS_221
层的计算，并生成张量数据
Figure SMS_209
；执行步骤S8；
S8、边缘服务器
Figure SMS_223
和
Figure SMS_224
代号互换，即
Figure SMS_225
和
Figure SMS_226
代号互换；
S9、判断i是否等于N，是则将张量数据
Figure SMS_227
发送给发出任务请求的物理终端；否则令
Figure SMS_228
，然后返回执行步骤S5。
如图1所示，CNN模型划分为N层：
Figure SMS_230
，
Figure SMS_234
，
Figure SMS_235
，N层CNN含有
Figure SMS_231
个张量数据：
Figure SMS_233
和
Figure SMS_236
，其中，张量数据
Figure SMS_237
经过CNN的
Figure SMS_229
层计算后产生张量数据
Figure SMS_232
。
CNN推理产生的时延消耗主要由计算各个CNN的
Figure SMS_238
层产生的分层计算时延
Figure SMS_239
组成。CNN的
Figure SMS_240
层可分为三类：卷积层、全连接层和池化层，其中卷积层的计算复杂度最高，全连接层次之，池化层运算最简单，可以忽略。各个CNN的
Figure SMS_241
层的计算复杂度用下式来表示：
Figure SMS_242
Figure SMS_243
如果CNN的
Figure SMS_262
层为卷积层，那么它的计算复杂度用
Figure SMS_244
表示；如果CNN的
Figure SMS_259
层为全连接层，那么它的计算复杂度用
Figure SMS_249
表示。为简化表达，本发明使用
Figure SMS_254
表征任一CNN的
Figure SMS_250
层的计算复杂度。式中，
Figure SMS_256
、
Figure SMS_248
、
Figure SMS_253
依次代表输入CNN的
Figure SMS_245
层的张量数据
Figure SMS_258
的高度、宽度、通道数，
Figure SMS_247
代表输入CNN的
Figure SMS_252
层的卷积核的边长，
Figure SMS_260
代表输出CNN的
Figure SMS_264
层的张量数据
Figure SMS_251
的通道数，
Figure SMS_255
、
Figure SMS_261
分别代表输CNN的
Figure SMS_265
层的张量数据
Figure SMS_246
的维数、输出CNN的
Figure SMS_257
层的张量数据
Figure SMS_263
的维数。
CNN推理任务卸载的含义：当一个计算节点处理完CNN的
Figure SMS_266
层后，生成张量数据
Figure SMS_267
，在有利的网络带宽和设备负载条件下，可选择由当前计算节点借助无线网传输张量数据
Figure SMS_268
给选定的其他计算节点，由选定的其他计算节点对下一个CNN的
Figure SMS_269
层进行处理，直至张量数据
Figure SMS_270
生成，CNN推理结束；即将一个完整的CNN推理任务分成若干份，由多个计算节点协同完成计算。
如图2所示，面向动态环境的边端协同推理任务卸载优化系统，包括：云服务器、与云服务器通信的至少两个边缘服务器，各边缘服务器的通信范围内至少设有一个物理终端，物理终端与边缘服务器的通信距离小于边缘服务器与云服务器的距离，云服务器通信范围内的任意一个边缘服务器
Figure SMS_272
，边缘服务器
Figure SMS_274
通信范围内与其物理距离小于预设距离
Figure SMS_280
的其他
Figure SMS_273
个边缘服务器，记为：
Figure SMS_275
，
Figure SMS_277
，
Figure SMS_279
，且这
Figure SMS_271
个边缘服务器也在云服务器的通信范围内，此
Figure SMS_276
个边缘服务器同边缘服务器
Figure SMS_278
一起组成边缘集群；
云服务器包括：模型训练模块、卷积神经网络，通信模块；
边缘服务器包括：态势感知中心、卷积神经网络、策略生成中心、通信模块；
物理终端包括通信模块；
模型训练模块用于训练卷积神经网络，卷积神经网络是服务于智能应用程序的N层CNN；基于各个边缘服务器的离线样本数据存储模块采集模块采集到的信息，模型训练模块用于训练分层计算时延预测模型，并将训练好的模型发送给各个边缘服务器；所述通信模块用于云服务器、边缘服务器和物理终之间数据发送、接收；
态势感知中心包括工作负载感知模块、网络遥测模块；
所述工作负载感知模块用于采集边缘服务器
Figure SMS_282
浮点计算能力
Figure SMS_286
、CPU使用率
Figure SMS_288
、GPU显存使用率
Figure SMS_283
、其他
Figure SMS_284
个边缘服务器
Figure SMS_289
的浮点计算能力
Figure SMS_291
、边缘服务器
Figure SMS_281
的CPU使用率
Figure SMS_285
、边缘服务器
Figure SMS_287
的GPU显存使用率
Figure SMS_290
。
所述网络遥测模块用于动态采集边缘服务器
Figure SMS_292
与边缘服务器
Figure SMS_293
间的网络带宽
Figure SMS_294
；
所述策略生成中心包括离线样本数据存储模块、分层计算时延预测模块、传输时延计算模块、和决策信息生成模块；
所述离线样本数据存储模块，用于记录、采集任一存储边缘服务器
Figure SMS_295
在自身浮点计算能力
Figure SMS_296
、CPU使用率为
Figure SMS_297
、GPU显存使用率为
Figure SMS_298
，处理计算复杂度为
Figure SMS_299
的CNN的
Figure SMS_300
层产生的实际分层计算时延
Figure SMS_301
；
所述分层计算时延预测模块，内部存储分层计算时延预测模型，用于将实际的边缘服务器自身负载情况，以及计算得到的实际CNN的
Figure SMS_302
层的计算复杂度
Figure SMS_303
输入至分层计算时延预测模型，得到理论分层计算时延
Figure SMS_304
；
所述传输时延计算模块，用于边缘服务器
Figure SMS_305
采集边缘服务器
Figure SMS_306
、
Figure SMS_307
之间的网络带宽，计算理论数据传输时延
Figure SMS_308
；
所述卷积神经网络是服务于智能应用程序的
Figure SMS_309
层CNN；
所述策略信息生成模块，用于动态比较理论分层计算时延
Figure SMS_313
是否小于等于理论分层计算时延
Figure SMS_315
与理论数据传输时延
Figure SMS_318
之和，是则由边缘服务器
Figure SMS_312
完成CNN的
Figure SMS_314
层的计算，否则边缘服务器
Figure SMS_317
借助无线网传输张量数据
Figure SMS_320
到边缘服务器
Figure SMS_310
，由边缘服务器
Figure SMS_316
完成CNN的
Figure SMS_319
层的计算，直至
Figure SMS_321
个CNN层全部被计算完毕，获得张量数据
Figure SMS_311
；
所述通信模块用于云服务器、边缘服务器和物理终之间数据发送、接收。
虽然本发明已以较佳实施例阐述如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (5)

1.面向动态环境的边端协同推理任务卸载优化方法，其特征在于，包括如下步骤:
S1、将已训练好的CNN模型划分为N层：
Figure QLYQS_3
，
Figure QLYQS_5
，
Figure QLYQS_8
，N层CNN含有
Figure QLYQS_2
个张量数据：
Figure QLYQS_6
和
Figure QLYQS_7
，其中，张量数据
Figure QLYQS_9
经过CNN的
Figure QLYQS_1
层计算后产生张量数据
Figure QLYQS_4
；
S2、离线学习阶段：采集边缘服务器自身负载情况，并计算待处理的CNN的
Figure QLYQS_10
层的计算复杂度
Figure QLYQS_11
，以边缘服务器自身负载情况、以及待处理的CNN的
Figure QLYQS_12
层的计算复杂度
Figure QLYQS_13
为输入，以已知的边缘服务器
Figure QLYQS_14
计算CNN模型
Figure QLYQS_15
层产生的实际分层计算时延
Figure QLYQS_16
为输出，构建并训练分层计算时延预测模型；
S3、初始化设置
Figure QLYQS_17
；
S4、物理终端将图像数据处理为分辨率相同、数据量大小相等的图像特征数据，即张量数据
Figure QLYQS_18
，并将
Figure QLYQS_19
发送给与其在同一局域网内的边缘服务器
Figure QLYQS_20
；
S5、边缘服务器
Figure QLYQS_21
判断即将处理张量数据
Figure QLYQS_22
的
Figure QLYQS_23
层是否为池化层，是则该池化层将张量数据
Figure QLYQS_24
处理为张量数据
Figure QLYQS_25
，然后执行步骤S8；否则执行步骤S6;
S6、边缘服务器
Figure QLYQS_26
采集边缘服务器
Figure QLYQS_27
、
Figure QLYQS_28
之间的网络带宽，计算理论数据传输时延
Figure QLYQS_29
，执行步骤S7;
S7、将实际的边缘服务器自身负载情况，以及计算得到的实际CNN的
Figure QLYQS_40
层的计算复杂度
Figure QLYQS_31
输入至步骤S2获得的分层计算时延预测模型，得到理论分层计算时延
Figure QLYQS_39
；边缘服务器
Figure QLYQS_33
动态比较理论分层计算时延
Figure QLYQS_41
是否小于等于理论分层计算时延
Figure QLYQS_36
与理论数据传输时延
Figure QLYQS_45
之和，是则由边缘服务器
Figure QLYQS_37
完成CNN的
Figure QLYQS_43
层的计算，并生成张量数据
Figure QLYQS_30
；否则边缘服务器
Figure QLYQS_38
借助无线网传输张量数据
Figure QLYQS_34
到边缘服务器
Figure QLYQS_42
，由边缘服务器
Figure QLYQS_35
完成CNN的
Figure QLYQS_44
层的计算，并生成张量数据
Figure QLYQS_32
；执行步骤S8；
S8、边缘服务器
Figure QLYQS_46
和
Figure QLYQS_47
代号互换，即
Figure QLYQS_48
和
Figure QLYQS_49
代号互换；
S9、判断i是否等于N，是则将张量数据
Figure QLYQS_50
发送给发出任务请求的物理终端；否则令
Figure QLYQS_51
，然后返回执行步骤S5。
2.根据权利要求1所述的面向动态环境的边端协同推理任务卸载优化方法，其特征在于，步骤S2中，CNN的
Figure QLYQS_52
层的计算复杂度
Figure QLYQS_53
包括卷积层的计算复杂度
Figure QLYQS_54
：
以及全连层的计算复杂度
Figure QLYQS_55
，分别如下式：
Figure QLYQS_56
，
Figure QLYQS_57
；
其中，
Figure QLYQS_64
、
Figure QLYQS_59
、
Figure QLYQS_66
依次表示输入CNN的
Figure QLYQS_62
层的张量数据
Figure QLYQS_69
的高度、宽度、通道数，
Figure QLYQS_65
表示输入CNN的
Figure QLYQS_70
层的卷积核的边长，
Figure QLYQS_61
表示输出CNN的
Figure QLYQS_71
层的张量数据
Figure QLYQS_58
的通道数；
Figure QLYQS_68
、
Figure QLYQS_63
分别表示输入CNN的
Figure QLYQS_73
层的张量数据
Figure QLYQS_67
的维数、输出CNN的
Figure QLYQS_72
层的张量数据
Figure QLYQS_60
的维数。
3.根据权利要求2所述的面向动态环境的边端协同推理任务卸载优化方法，其特征在于，步骤S2包括如下子步骤：
S201、采集当前边缘服务器
Figure QLYQS_74
的浮点计算能力
Figure QLYQS_77
、CPU使用率
Figure QLYQS_80
、GPU显存使用率
Figure QLYQS_76
、其他
Figure QLYQS_79
个边缘服务器
Figure QLYQS_81
的浮点计算能力
Figure QLYQS_83
、边缘服务器
Figure QLYQS_75
的CPU使用率
Figure QLYQS_78
、边缘服务器
Figure QLYQS_82
的GPU显存使用率
Figure QLYQS_84
；
S202、以边缘服务器
Figure QLYQS_86
的浮点计算能力
Figure QLYQS_88
、CPU使用率
Figure QLYQS_92
、GPU显存使用率
Figure QLYQS_87
和待处理的CNN的
Figure QLYQS_90
层的计算复杂度
Figure QLYQS_91
为输入，以已知的边缘服务器
Figure QLYQS_94
计算CNN模型
Figure QLYQS_85
层产生的实际分层计算时延
Figure QLYQS_89
为输出，构建分层计算时延预测模型，如下式：
Figure QLYQS_93
。
4.根据权利要求3所述的面向动态环境的边端协同推理任务卸载优化方法，其特征在于，步骤S6中边缘服务器采集边缘服务器
Figure QLYQS_95
、
Figure QLYQS_96
之间的网络带宽，计算理论数据传输时延
Figure QLYQS_97
，如下式：
Figure QLYQS_98
，
其中，
Figure QLYQS_99
为边缘服务器
Figure QLYQS_100
与边缘服务器
Figure QLYQS_101
间的网络带宽。
5.面向动态环境的边端协同推理任务卸载优化系统，其特征在于，包括：云服务器、与云服务器通信的至少两个边缘服务器，各边缘服务器的通信范围内至少设有一个物理终端，物理终端与边缘服务器的通信距离小于边缘服务器与云服务器的距离，云服务器通信范围内的任意一个边缘服务器
Figure QLYQS_104
，边缘服务器
Figure QLYQS_105
通信范围内与其物理距离小于预设距离
Figure QLYQS_108
的其他
Figure QLYQS_103
个边缘服务器，记为：
Figure QLYQS_107
，
Figure QLYQS_110
，
Figure QLYQS_111
，且这
Figure QLYQS_102
个边缘服务器也在云服务器的通信范围内，此
Figure QLYQS_106
个边缘服务器同边缘服务器
Figure QLYQS_109
一起组成边缘集群；
所述云服务器包括：模型训练模块、卷积神经网络，通信模块；
所述边缘服务器包括：态势感知中心、卷积神经网络、策略生成中心、通信模块；
所述物理终端包括通信模块；
所述模型训练模块用于训练卷积神经网络，所述卷积神经网络是服务于智能应用程序的N层CNN；基于各个边缘服务器的离线样本数据存储模块采集模块采集到的信息，所述模型训练模块用于训练分层计算时延预测模型，并将训练好的模型发送给各个边缘服务器；所述通信模块用于云服务器、边缘服务器和物理终之间数据发送、接收；
所述态势感知中心包括工作负载感知模块、网络遥测模块；
所述工作负载感知模块用于采集边缘服务器
Figure QLYQS_114
浮点计算能力
Figure QLYQS_115
、CPU使用率
Figure QLYQS_118
、GPU显存使用率
Figure QLYQS_113
、其他
Figure QLYQS_116
个边缘服务器
Figure QLYQS_119
的浮点计算能力
Figure QLYQS_121
、边缘服务器
Figure QLYQS_112
的CPU使用率
Figure QLYQS_117
、边缘服务器
Figure QLYQS_120
的GPU显存使用率
Figure QLYQS_122
；
所述网络遥测模块用于动态采集边缘服务器
Figure QLYQS_123
与边缘服务器
Figure QLYQS_124
间的网络带宽
Figure QLYQS_125
；
所述策略生成中心包括离线样本数据存储模块、分层计算时延预测模块、传输时延计算模块、和决策信息生成模块；
所述离线样本数据存储模块，用于记录、采集任一存储边缘服务器
Figure QLYQS_126
在自身浮点计算能力
Figure QLYQS_127
、CPU使用率为
Figure QLYQS_128
、GPU显存使用率为
Figure QLYQS_129
，处理计算复杂度为
Figure QLYQS_130
的CNN的
Figure QLYQS_131
层产生的实际分层计算时延
Figure QLYQS_132
；
所述分层计算时延预测模块，内部存储分层计算时延预测模型，用于将实际的边缘服务器自身负载情况，以及计算得到的实际CNN的
Figure QLYQS_133
层的计算复杂度
Figure QLYQS_134
输入至分层计算时延预测模型，得到理论分层计算时延
Figure QLYQS_135
；
所述传输时延计算模块，用于边缘服务器
Figure QLYQS_136
采集边缘服务器
Figure QLYQS_137
、
Figure QLYQS_138
之间的网络带宽，计算理论数据传输时延
Figure QLYQS_139
；
所述卷积神经网络是服务于智能应用程序的
Figure QLYQS_140
层CNN；
所述策略信息生成模块，用于动态比较理论分层计算时延
Figure QLYQS_144
是否小于等于理论分层计算时延
Figure QLYQS_145
与理论数据传输时延
Figure QLYQS_148
之和，是则由边缘服务器
Figure QLYQS_143
完成CNN的
Figure QLYQS_147
层的计算，否则边缘服务器
Figure QLYQS_149
借助无线网传输张量数据
Figure QLYQS_151
到边缘服务器
Figure QLYQS_141
，由边缘服务器
Figure QLYQS_146
完成CNN的
Figure QLYQS_150
层的计算，直至
Figure QLYQS_152
个CNN层全部被计算完毕，获得张量数据
Figure QLYQS_142
；
所述通信模块用于云服务器、边缘服务器和物理终之间数据发送、接收。
CN202310303751.XA 2023-03-27 2023-03-27 面向动态环境的边端协同推理任务卸载优化方法与系统 Pending CN116016538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310303751.XA CN116016538A (zh) 2023-03-27 2023-03-27 面向动态环境的边端协同推理任务卸载优化方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310303751.XA CN116016538A (zh) 2023-03-27 2023-03-27 面向动态环境的边端协同推理任务卸载优化方法与系统

Publications (1)

Publication Number Publication Date
CN116016538A true CN116016538A (zh) 2023-04-25

Family

ID=86037707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310303751.XA Pending CN116016538A (zh) 2023-03-27 2023-03-27 面向动态环境的边端协同推理任务卸载优化方法与系统

Country Status (1)

Country Link
CN (1) CN116016538A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116455768A (zh) * 2023-06-16 2023-07-18 南京邮电大学 面向全局时延优化的云边端协同cnn推理方法及系统
CN117130693A (zh) * 2023-10-26 2023-11-28 之江实验室 张量卸载方法、装置、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257348A1 (zh) * 2021-06-08 2022-12-15 重庆邮电大学 一种不确定网络环境中的任务卸载和资源分配方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257348A1 (zh) * 2021-06-08 2022-12-15 重庆邮电大学 一种不确定网络环境中的任务卸载和资源分配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭永安等: "基于边端协同的CNN推理加速框架", 南京邮电大学学报(自然科学版), pages 1 - 5 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116455768A (zh) * 2023-06-16 2023-07-18 南京邮电大学 面向全局时延优化的云边端协同cnn推理方法及系统
CN116455768B (zh) * 2023-06-16 2023-09-12 南京邮电大学 面向全局时延优化的云边端协同cnn推理方法及系统
CN117130693A (zh) * 2023-10-26 2023-11-28 之江实验室 张量卸载方法、装置、计算机设备及存储介质
CN117130693B (zh) * 2023-10-26 2024-02-13 之江实验室 张量卸载方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
Elgendy et al. Joint computation offloading and task caching for multi-user and multi-task MEC systems: reinforcement learning-based algorithms
CN111835827B (zh) 物联网边缘计算任务卸载方法及系统
Nishio et al. Client selection for federated learning with heterogeneous resources in mobile edge
CN116016538A (zh) 面向动态环境的边端协同推理任务卸载优化方法与系统
CN111405569A (zh) 基于深度强化学习的计算卸载和资源分配方法及装置
CN114143346B (zh) 一种车联网任务卸载和服务缓存的联合优化方法及系统
Zhou et al. Edge computation offloading with content caching in 6G-enabled IoV
CN115034390B (zh) 一种基于云边端协同的深度学习模型推理加速方法
CN111158912B (zh) 云雾协同计算环境下一种基于深度学习的任务卸载决策方法
CN113645273B (zh) 基于业务优先级的车联网任务卸载方法
CN116455768B (zh) 面向全局时延优化的云边端协同cnn推理方法及系统
CN115413044B (zh) 一种工业无线网络的计算和通信资源联合分配方法
CN116360883A (zh) 一种车联网计算任务卸载的联合优化方法
CN116367231A (zh) 基于ddpg算法的边缘计算车联网资源管理联合优化方法
CN112672382A (zh) 混合协作计算卸载方法、装置、电子设备及存储介质
CN114521002A (zh) 一种云边端合作的边缘计算方法
CN113905049A (zh) 一种基于多分类和分布式强化学习的卸载决策优化方法
CN117236561A (zh) 一种基于sac的多无人机辅助移动边缘计算方法、装置及存储介质
CN116017570A (zh) 一种基于区块链的边缘计算系统资源管理方法
CN114745386A (zh) 一种多用户边缘智能场景下的神经网络分割及卸载方法
CN114513814A (zh) 基于无人机辅助节点的边缘网络计算资源动态优化方法
Cao 5G communication resource allocation strategy based on edge computing
CN114116052A (zh) 一种边缘计算方法及装置
CN113452625A (zh) 基于深度强化学习的卸载调度与资源分配方法
Zhang et al. Learning Client Selection Strategy for Federated Learning across Heterogeneous Mobile Devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230425

RJ01 Rejection of invention patent application after publication