CN115562760B - 基于边缘计算节点打分表的深度学习模型分层卸载方法 - Google Patents

基于边缘计算节点打分表的深度学习模型分层卸载方法 Download PDF

Info

Publication number
CN115562760B
CN115562760B CN202211469689.3A CN202211469689A CN115562760B CN 115562760 B CN115562760 B CN 115562760B CN 202211469689 A CN202211469689 A CN 202211469689A CN 115562760 B CN115562760 B CN 115562760B
Authority
CN
China
Prior art keywords
edge
deep learning
learning model
calculation
edge computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211469689.3A
Other languages
English (en)
Other versions
CN115562760A (zh
Inventor
郭永安
奚城科
周金粮
王宇翱
钱琪杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202211469689.3A priority Critical patent/CN115562760B/zh
Publication of CN115562760A publication Critical patent/CN115562760A/zh
Application granted granted Critical
Publication of CN115562760B publication Critical patent/CN115562760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44594—Unloading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于边缘计算节点打分表的深度学习模型分层卸载方法，属于边端协同计算技术领域。本发明离线获取边缘集群中各边缘计算节点算力参数，可提取每个计算节点的算力综合分数并做归一化处理得到总分，根据各个计算节点的总分形成打分表；同时离线统计深度学习模型各层计算量大小，通过统计参与推理的深度学习模型每一层计算量的大小情况并对其分区，根据不同边缘计算节点对不同计算量大小的计算能力差异，然后依据此分类对边缘计算节点打分表划分区间，从而合理的分配给计算能力充足的边缘计算节点，最终提高边缘集群中节点的资源利用率、降低计算时延。本发明可以降低整体时延的同时保证数据安全性和提高边缘节点资源的利用率。

Description

基于边缘计算节点打分表的深度学习模型分层卸载方法
技术领域
本发明属于边端协同计算技术领域，具体涉及一种基于边缘计算节点打分表的深度学习模型分层卸载方法。
背景技术
随着移动通信技术的发展和智能终端的普及,各种网络服务和应用不断涌现,用户对网络服务质量、请求时延等网络性能的要求越来越高。存在越来越多在短时间内处理计算密集型或时延敏感型计算任务的需求。
对于深度学习分层模型的推理过程，需要消耗大量的计算资源。传统的解决方案是将计算任务卸载到计算能力强大的云端，由云服务器处理完复杂的计算任务后将结果返回终端。但是该方法一方面会因为从终端到云之间网络带宽的不稳定性导致传输时延过大，另一方面由于从终端设备传输至云服务器需要经过多次的转发，导致数据安全性难以保证，此外大量拥有计算能力的边缘节点并不参与计算，节点的资源利用率难以提高。
于是另一种解决方案应运而生，终端计算任务不上云，而是直接将计算任务卸载到附近较为空闲的边缘节点，由边缘节点处理当前计算任务，最后将结果返回给终端设备。这样一来既克服了传输时延大的问题，又保证了数据的安全性，同时提高了边缘节点资源利用率。但是此方案有诸多不足之处，首先边缘节点的计算能力有限，只能处理复杂度低，计算量较小的深度学习模型，如果强行处理复杂的计算任务，计算时延将急剧增加；其次，即便是处理复杂度低，计算量较小的深度学习模型，在同一边缘集群中，能满足计算能力的边缘计算节点的数量仍然有限，因此资源利用率提升受边缘集群中满足计算能力的节点数量的限制；此外，对于复杂的深度学习模型，其对节点造成的负载过大，严重影响计算时延，因此也受限于深度学习模型计算量大小的限制。
发明内容
解决的技术问题：为了克服传输时延、计算时延、资源利用率和安全性之间的矛盾，本发明提出一种基于边缘计算节点打分表的深度学习模型分层卸载方法，通过对边缘计算节点打分，形成边缘计算节点打分表，依据深度学习模型各层数据量大小合理分配下一层计算任务至对应节点，降低整体时延的同时保证数据安全性和提高边缘节点资源的利用率。
技术方案：一种基于边缘计算节点打分表的深度学习模型分层卸载方法，包括步骤如下：
S1.通过边缘集群中距离终端设备最近的边缘计算节点
Figure 668768DEST_PATH_IMAGE001
进行前期准备：
S1-1打分：在离线状态下，将深度计算模型通过每一边缘计算节点，获得各边缘计算节点的分值，再对分值进行归一化处理后得到归一化分数，形成边缘计算节点打分表，其中分值的计算公式如下：
Figure 441552DEST_PATH_IMAGE002
上式中，
Figure 513413DEST_PATH_IMAGE003
表示边缘计算节点CPU的算力，
Figure 422464DEST_PATH_IMAGE004
表示边缘计算节点GPU的算力，算力单 位是TOPS；
Figure 554368DEST_PATH_IMAGE005
表示处理深度学习模型过程中CPU算力占用的百分比，
Figure 548868DEST_PATH_IMAGE006
表示处理深度学习模 型过程中GPU算力占用的百分比；
Figure 424421DEST_PATH_IMAGE007
表示边缘计算节点对应的分值，其中最大的分值用
Figure 453556DEST_PATH_IMAGE008
表示；下标
Figure 490783DEST_PATH_IMAGE009
表示对应于边缘计算节点
Figure 503738DEST_PATH_IMAGE010
；
S1-2.统计：计算每层深度学习模型的时延
Figure 651823DEST_PATH_IMAGE011
，再分别进行归一化处理得到深度学 习模型的各层计算量大小；
S1-3.分区：将边缘计算节点打分表和深度学习模型的各层计算量大小分布在0-1的十等份分区中获得分区情况；
S1-4.数据下发：将分区情况下发至边缘集群中的其他各边缘计算节点处；
S2.终端设备接收深度学习模型的计算任务，并将计算任务装载至边缘计算节点
Figure 801044DEST_PATH_IMAGE001
；
S3.经当前的边缘计算节点确定深度学习模型下一层计算量所在分区，再结合分区情况和所有边缘计算节点的实时剩余进程选择下一层最优的边缘计算节点；
S4.下一层最优的边缘计算节点接收到上一边缘计算节点的计算任务并处理，同时将实时剩余进程+1并更新至所有边缘计算节点，处理完毕后将实时剩余进程-1并更新至所有边缘计算节点；
S5.判断深度学习模型的最后一层是否处理完毕，如处理完毕则将处理结果发送至终端设备；否则返回步骤S3。
优选的，所述边缘计算节点包括决策中心、决策收发中心和深度学习模型；
所述决策中心包括：
打分模块，用于获取CPU和GPU的算力并对其打分，以及向边缘计算节点
Figure 743592DEST_PATH_IMAGE001
的打分 模块发送分值；
数据中心模块，用于接收来自边缘计算节点
Figure 978265DEST_PATH_IMAGE001
的打分模块的分区情况及所有边缘 计算节点的实时剩余进程、以及存储分区情况及所有边缘计算节点的实时剩余进程；
决策模块，用于根据来自数据中心模块的分区情况和所有边缘计算节点的实时剩余进程，以及决策深度学习模型下一层计算量所在分区及下一层最优的边缘计算节点；
所述决策收发中心用于完成接收和发送任务；
所述深度学习模型为已训练完备并赋予智能应用程序的算法模型。
进一步的，在具备所有边缘计算节点功能的基础上，边缘计算节点
Figure 195619DEST_PATH_IMAGE001
的打分模块 还用于接收分值，计算深度学习模型的各层计算量大小，并将分值和计算量发送至边缘计 算节点
Figure 137031DEST_PATH_IMAGE001
的数据中心模块；边缘计算节点
Figure 784568DEST_PATH_IMAGE001
的数据中心模块还用于形成边缘计算节点打分 表并分区和对深度学习模型的各层计算量大小进行分区得到分区情况，向其他所有边缘计 算节点的数据中心模块发送分区情况，以及接收、存储并向其他所有边缘计算节点的数据 中心模块发送所有边缘计算节点的实时剩余进程。
优选的，所述步骤S1-1中，归一化处理的计算公式如下：
Figure 240957DEST_PATH_IMAGE012
上式中，
Figure 996424DEST_PATH_IMAGE013
表示归一化分数，
Figure 854658DEST_PATH_IMAGE014
。
优选的，所述步骤S1-2中，归一化处理的计算公式如下：
Figure 935747DEST_PATH_IMAGE015
上式中，下标
Figure 613853DEST_PATH_IMAGE016
表示深度学习模型第
Figure 907431DEST_PATH_IMAGE016
层，深度学习模型总层数记为
Figure 620172DEST_PATH_IMAGE017
（
Figure 606583DEST_PATH_IMAGE018
）；
Figure 37564DEST_PATH_IMAGE019
表示第
Figure 134833DEST_PATH_IMAGE016
层所需计算时延，其中最大的时延用
Figure 702080DEST_PATH_IMAGE020
表示；
Figure 859392DEST_PATH_IMAGE021
表示深度学习模型第
Figure 512091DEST_PATH_IMAGE016
层计 算量的大小。
优选的，所述步骤S1-2中深度学习模型的分层通过如下方式获得：将深度学习模型的输入层、隐藏层和输出层中单独成列的神经元划分为m+1列，以隐藏层中各列神经元为切割点进行分层卸载，得到m层深度学习模型，其中第j层包括第j列神经元、第j+1列神经元、第j列神经元与第j+1列神经元之间的网络结构，0＜j＜m+1。
优选的，所述步骤S3中由边缘计算节点
Figure 413050DEST_PATH_IMAGE001
选择深度学习模型第一层最优的边缘计 算节点。
优选的，所述步骤S3具体如下：
S3-1.根据分区情况确定深度学习模型下一层计算量属于第
Figure 365963DEST_PATH_IMAGE022
个分区，其中
Figure 431527DEST_PATH_IMAGE023
；
S3-2.调取边缘计算节点打分表中第
Figure 837100DEST_PATH_IMAGE022
个分区的节点，以
Figure 10592DEST_PATH_IMAGE024
表示第
Figure 552432DEST_PATH_IMAGE025
个边缘计算节 点的实时剩余进程，
Figure 51547DEST_PATH_IMAGE026
表示第
Figure 475575DEST_PATH_IMAGE025
个边缘计算节点进程数有无，则
Figure 718337DEST_PATH_IMAGE027
S3-3. 当分区k中没有边缘计算节点或分区k中边缘计算节点的实时剩余进程均为0，则将k+1赋予k，并返回步骤S3-2；
S3-4.在当前分区中将第
Figure 583525DEST_PATH_IMAGE009
个节点归一化分数乘以
Figure 253541DEST_PATH_IMAGE026
得到当前分区中第
Figure 102548DEST_PATH_IMAGE009
个节点的 实际分数情况
Figure 149002DEST_PATH_IMAGE028
；
S3-5.选择
Figure 665434DEST_PATH_IMAGE024
≥1且
Figure 506351DEST_PATH_IMAGE028
数值最大的边缘计算节点为下一层最优的边缘计算节点。
有益效果：本方法在离线获取边缘集群中各边缘计算节点算力参数的前提下展开，进一步的，本方法可提取每个计算节点的算力综合分数并做归一化处理得到总分，根据各个计算节点的总分形成打分表。
同时本方法是在离线统计深度学习模型各层计算量大小的前提下展开的，通过统计参与推理的深度学习模型每一层计算量的大小情况并对其分区，根据不同边缘计算节点对不同计算量大小的计算能力差异，然后依据此分类对边缘节点打分表划分区间，从而合理的分配给计算能力充足的边缘计算节点，最终提高边缘集群中节点的资源利用率、降低计算时延。
区别于依赖云中心或整体卸载至单一节点的深度学习模型处理框架，本方法将深度学习模型分层卸载至不同的边缘计算节点，充分挖掘边缘侧的计算潜力，实现计算任务时延最小化。
将深度学习模型分层卸载至终端设备对应边缘集群的边缘计算节点上，协同推理的方式可有效保证计算数据的安全性和缓解网络带宽的压力，同时提高边缘集群中节点资源利用率。
附图说明
图1为本发明前期准备流程图；
图2为本发明的深度学习模型分层卸载原理图；
图3为本发明的技术原理图；
图4为本发明的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步描述。
实施例1
一种基于边缘计算节点打分表的深度学习模型分层卸载方法，包括步骤如下：
S1.如图1所示，通过边缘集群中距离终端设备最近的边缘计算节点
Figure 108233DEST_PATH_IMAGE001
进行前期主 要准备工作：
S1-1打分：在离线状态下，将深度计算模型通过每一计算能力不同的边缘计算节 点，由边缘计算节点
Figure 692798DEST_PATH_IMAGE001
感知其他各边缘计算节点在处理整个深度计算模型过程中的中央处 理器CPU和图像处理器GPU算力占用的百分比，然后与各自算力相乘再求和得到对应的分 值，再对分值进行归一化处理后得到归一化分数，形成边缘计算节点打分表，其中分值的计 算公式如下：
Figure 63737DEST_PATH_IMAGE002
上式中，
Figure 278818DEST_PATH_IMAGE003
表示边缘计算节点CPU的算力，
Figure 370926DEST_PATH_IMAGE004
表示边缘计算节点GPU的算力，算力单 位是TOPS，1TOPS代表处理器每秒钟10^12操作；
Figure 493603DEST_PATH_IMAGE005
表示处理深度学习模型过程中CPU算力 占用的百分比，
Figure 250206DEST_PATH_IMAGE006
表示处理深度学习模型过程中GPU算力占用的百分比；
Figure 432926DEST_PATH_IMAGE007
表示边缘计算节 点对应的分值，其中最大的分值用
Figure 743821DEST_PATH_IMAGE008
表示；下标
Figure 670189DEST_PATH_IMAGE009
表示对应于边缘计算节点；
归一化处理的计算公式如下：
Figure 15720DEST_PATH_IMAGE012
上式中，
Figure 369341DEST_PATH_IMAGE013
表示归一化分数，
Figure 370795DEST_PATH_IMAGE014
。
边缘计算节点打分表按照边缘计算节点归一化分数
Figure 100853DEST_PATH_IMAGE013
从小到大排序，形成基于边 缘计算节点算力的打分表，边缘计算节点打分表部分示例如表1所示。本发明的表1中只展 示一个深度学习模型，如有多个模型则每个模型通过离线测试后将形成该模型对应的打分 表。
表1 边缘计算节点打分表
Figure 300891DEST_PATH_IMAGE029
S1-2.统计：通过边缘计算节点
Figure 825413DEST_PATH_IMAGE001
计算每层深度学习模型的时延
Figure 110901DEST_PATH_IMAGE011
，再分别进行归 一化处理得到深度学习模型的各层计算量大小；其中，归一化处理的计算公式如下：
Figure 644650DEST_PATH_IMAGE015
上式中，下标
Figure 699194DEST_PATH_IMAGE016
表示深度学习模型第
Figure 394617DEST_PATH_IMAGE016
层，深度学习模型总层数记为
Figure 432981DEST_PATH_IMAGE030
（
Figure 253911DEST_PATH_IMAGE031
）；
Figure 428540DEST_PATH_IMAGE019
表示第
Figure 560444DEST_PATH_IMAGE016
层所需计算时延，其中最大的时延用
Figure 554945DEST_PATH_IMAGE032
表示；
Figure 430497DEST_PATH_IMAGE033
表示深度学习模型第
Figure 397316DEST_PATH_IMAGE016
层计 算量的大小。其中，如图2所示，深度学习模型为多层结构，其分层通过如下方式获得：将深 度学习模型的输入层、隐藏层和输出层中单独成列的神经元划分为m+1列，以隐藏层中各列 神经元为切割点进行分层卸载，得到m层深度学习模型，其中第j层包括第j列神经元、第j+1 列神经元、第j列神经元与第j+1列神经元之间的网络结构，0＜j＜m+1。
同样按从小到大排列深度学习模型的各层计算量大小。
S1-3.分区：由于在打分和统计阶段获得的边缘计算节点打分表和深度学习模型的各层计算量大小均为经过归一化处理所得，即其数值范围均在0-1区间内，因此将边缘计算节点打分表和深度学习模型的各层计算量大小分布在0-1的十等份（0.1宽度为一份）分区中获得分区情况；
S1-4.数据下发：由边缘计算节点
Figure 700122DEST_PATH_IMAGE001
将分区情况下发至边缘集群中的其他各边缘 计算节点处，为边缘计算节点的决策提供依据。
需要声明的是，同一个边缘集群内的边缘计算节点中的各个模块内的模型和数据 信息都是共享的。参见图3，边缘集群包含多个边缘计算节点，各边缘计算节点部署在基站 或是WIFI接入点中，各物理终端的通信范围内至少设有一个边缘计算节点
Figure 181919DEST_PATH_IMAGE001
；
针对边缘集群中的边缘计算节点，都在一定的通信范围内，互相之间能保证即时 的通信，一个边缘集群中边缘计算节点的总数记为
Figure 861162DEST_PATH_IMAGE034
（
Figure 275963DEST_PATH_IMAGE035
）；
同一局域网内存在多个物理终端和一个边缘计算节点
Figure 749669DEST_PATH_IMAGE001
，与此边缘计算节点
Figure 718762DEST_PATH_IMAGE001
物 理距离小于
Figure 936117DEST_PATH_IMAGE036
千米的其他边缘计算节点同边缘计算节点
Figure 674266DEST_PATH_IMAGE001
一起组成边缘集群层；多个物理 终端位于边缘集群层之下，组成终端设备层。
所述边缘计算节点包括决策中心、决策收发中心和深度学习模型；
所述决策中心包括：
打分模块，用于获取CPU和GPU的算力并对其打分，以及向边缘计算节点
Figure 318874DEST_PATH_IMAGE001
的打分 模块发送分值；
数据中心模块，用于接收来自边缘计算节点
Figure 978525DEST_PATH_IMAGE001
的打分模块的分区情况及所有边缘 计算节点的实时剩余进程、以及存储分区情况及所有边缘计算节点的实时剩余进程；
决策模块，用于根据来自数据中心模块的分区情况和所有边缘计算节点的实时剩余进程，以及决策深度学习模型下一层计算量所在分区及下一层最优的边缘计算节点；
所述决策收发中心用于完成接收和发送任务；
所述深度学习模型为已训练完备并赋予智能应用程序的算法模型。
其中，在具备所有边缘计算节点功能的基础上，边缘计算节点
Figure 733992DEST_PATH_IMAGE001
的打分模块还用 于接收分值，计算深度学习模型的各层计算量大小，并将分值和计算量发送至边缘计算节 点
Figure 595156DEST_PATH_IMAGE001
的数据中心模块；边缘计算节点
Figure 145086DEST_PATH_IMAGE001
的数据中心模块还用于形成边缘计算节点打分表并 分区和对深度学习模型的各层计算量大小进行分区得到分区情况，向其他所有边缘计算节 点的数据中心模块发送分区情况，以及接收、存储并向其他所有边缘计算节点的数据中心 模块发送所有边缘计算节点的实时剩余进程。
在前期准备工作完成之后，就可以正常使用边缘计算节点打分表对深度学习模型进行任务卸载计算，参见图4。
S2.终端设备接收深度学习模型的计算任务，并将计算任务装载至边缘计算节点
Figure 354350DEST_PATH_IMAGE001
；
S3.经当前的边缘计算节点确定深度学习模型下一层计算量所在分区，再结合分 区情况和所有边缘计算节点的实时剩余进程选择下一层最优的边缘计算节点；其中，深度 学习模型第一层最优的边缘计算节点由边缘计算节点
Figure 913508DEST_PATH_IMAGE001
选择。具体地：所述步骤S3包括步 骤如下：
S3-1.根据分区情况确定深度学习模型下一层计算量属于第
Figure 626249DEST_PATH_IMAGE022
个分区，其中
Figure 815922DEST_PATH_IMAGE037
；
S3-2.调取边缘计算节点打分表中第
Figure 981324DEST_PATH_IMAGE022
个分区的节点，以
Figure 78593DEST_PATH_IMAGE024
表示第
Figure 911420DEST_PATH_IMAGE025
个边缘计算节 点的实时剩余进程，
Figure 334311DEST_PATH_IMAGE038
表示第
Figure 987009DEST_PATH_IMAGE025
个边缘计算节点进程数有无，则
Figure 887969DEST_PATH_IMAGE027
S3-3. 当分区k中没有边缘计算节点或分区k中边缘计算节点的实时剩余进程均为0，则将k+1赋予k，并返回步骤S3-2；
S3-4.在当前分区中将第
Figure 575302DEST_PATH_IMAGE009
个节点归一化分数乘以
Figure 106778DEST_PATH_IMAGE038
得到当前分区中第
Figure 246772DEST_PATH_IMAGE009
个节点的 实际分数情况
Figure 685843DEST_PATH_IMAGE039
；
S3-5.选择
Figure 227683DEST_PATH_IMAGE024
≥1且
Figure 726798DEST_PATH_IMAGE039
数值最大的边缘计算节点为下一层最优的边缘计算节点。
S4.下一层最优的边缘计算节点接收到上一边缘计算节点的计算任务并处理，同时将实时剩余进程+1并更新至所有边缘计算节点，处理完毕后将实时剩余进程-1并更新至所有边缘计算节点；
S5.判断深度学习模型的最后一层是否处理完毕，如处理完毕则将处理结果发送至终端设备；否则返回步骤S3。

Claims (7)

1.一种基于边缘计算节点打分表的深度学习模型分层卸载方法，其特征在于，包括步骤如下：
S1.通过边缘集群中距离终端设备最近的边缘计算节点
Figure QLYQS_1
进行前期准备：
S1-1打分：在离线状态下，将深度计算模型通过每一边缘计算节点，获得各边缘计算节点的分值，再对分值进行归一化处理后得到归一化分数，形成边缘计算节点打分表，其中分值的计算公式如下：
Figure QLYQS_2
，
上式中，
Figure QLYQS_3
表示边缘计算节点CPU的算力， />
Figure QLYQS_4
表示边缘计算节点GPU的算力，算力单位是TOPS； />
Figure QLYQS_5
表示处理深度学习模型过程中CPU算力占用的百分比，/>
Figure QLYQS_6
表示处理深度学习模型过程中GPU算力占用的百分比；/>
Figure QLYQS_7
表示边缘计算节点对应的分值，其中最大的分值用/>
Figure QLYQS_8
表示；下标/>
Figure QLYQS_9
表示对应于边缘计算节点；
S1-2.统计：计算每层深度学习模型的时延
Figure QLYQS_10
，再分别进行归一化处理得到深度学习模型的各层计算量大小；
S1-3.分区：将边缘计算节点打分表和深度学习模型的各层计算量大小分布在0-1的十等份分区中获得分区情况；
S1-4.数据下发：将分区情况下发至边缘集群中的其他各边缘计算节点处；
S2.终端设备接收深度学习模型的计算任务，并将计算任务装载至边缘计算节点
Figure QLYQS_11
；
S3.经当前的边缘计算节点确定深度学习模型下一层计算量所在分区，再结合分区情况和所有边缘计算节点的实时剩余进程选择下一层最优的边缘计算节点，具体如下：
S3-1.根据分区情况确定深度学习模型下一层计算量属于第
Figure QLYQS_12
个分区，其中/>
Figure QLYQS_13
；
S3-2.调取边缘计算节点打分表中第
Figure QLYQS_14
个分区的节点，以/>
Figure QLYQS_15
表示第/>
Figure QLYQS_16
个边缘计算节点的实时剩余进程，/>
Figure QLYQS_17
表示第/>
Figure QLYQS_18
个边缘计算节点进程数有无，则 />
Figure QLYQS_19
；
S3-3. 当分区k中没有边缘计算节点或分区k中边缘计算节点的实时剩余进程均为0，则将k+1赋予k，并返回步骤S3-2；
S3-4.在当前分区中将第
Figure QLYQS_20
个节点归一化分数乘以/>
Figure QLYQS_21
得到当前分区中第/>
Figure QLYQS_22
个节点的实际分数情况/>
Figure QLYQS_23
；
S3-5.选择
Figure QLYQS_24
≥1且/>
Figure QLYQS_25
数值最大的边缘计算节点为下一层最优的边缘计算节点；
S4.下一层最优的边缘计算节点接收到上一边缘计算节点的计算任务并处理，同时将实时剩余进程+1并更新至所有边缘计算节点，处理完毕后将实时剩余进程-1并更新至所有边缘计算节点；
S5.判断深度学习模型的最后一层是否处理完毕，如处理完毕则将处理结果发送至终端设备；否则返回步骤S3。
2.根据权利要求1所述的基于边缘计算节点打分表的深度学习模型分层卸载方法，其特征在于，所述边缘计算节点包括决策中心、决策收发中心和深度学习模型；
所述决策中心包括：
打分模块，用于获取CPU和GPU的算力并对其打分，以及向边缘计算节点
Figure QLYQS_26
的打分模块发送分值；
数据中心模块，用于接收来自边缘计算节点
Figure QLYQS_27
的打分模块的分区情况及所有边缘计算节点的实时剩余进程、以及存储分区情况及所有边缘计算节点的实时剩余进程；
决策模块，用于根据来自数据中心模块的分区情况和所有边缘计算节点的实时剩余进程，以及决策深度学习模型下一层计算量所在分区及下一层最优的边缘计算节点；
所述决策收发中心用于完成接收和发送任务；
所述深度学习模型为已训练完备并赋予智能应用程序的算法模型。
3.根据权利要求2所述的基于边缘计算节点打分表的深度学习模型分层卸载方法，其特征在于，在具备所有边缘计算节点功能的基础上，边缘计算节点
Figure QLYQS_28
的打分模块还用于接收分值，计算深度学习模型的各层计算量大小，并将分值和计算量发送至边缘计算节点/>
Figure QLYQS_29
的数据中心模块；边缘计算节点/>
Figure QLYQS_30
的数据中心模块还用于形成边缘计算节点打分表并分区和对深度学习模型的各层计算量大小进行分区得到分区情况，向其他所有边缘计算节点的数据中心模块发送分区情况，以及接收、存储并向其他所有边缘计算节点的数据中心模块发送所有边缘计算节点的实时剩余进程。
4.根据权利要求1所述的基于边缘计算节点打分表的深度学习模型分层卸载方法，其特征在于，所述步骤S1-1中，归一化处理的计算公式如下：
Figure QLYQS_31
，
上式中，
Figure QLYQS_32
表示归一化分数，/>
Figure QLYQS_33
。
5.根据权利要求1所述的基于边缘计算节点打分表的深度学习模型分层卸载方法，其特征在于，所述步骤S1-2中，归一化处理的计算公式如下：
Figure QLYQS_34
，
上式中，下标
Figure QLYQS_36
表示深度学习模型第/>
Figure QLYQS_39
层，深度学习模型总层数记为/>
Figure QLYQS_40
，/>
Figure QLYQS_37
；/>
Figure QLYQS_41
表示第/>
Figure QLYQS_42
层所需计算时延，其中最大的时延用/>
Figure QLYQS_43
表示；/>
Figure QLYQS_35
表示深度学习模型第/>
Figure QLYQS_38
层计算量的大小。
6.根据权利要求1所述的基于边缘计算节点打分表的深度学习模型分层卸载方法，其特征在于，所述步骤S1-2中深度学习模型的分层通过如下方式获得：将深度学习模型的输入层、隐藏层和输出层中单独成列的神经元划分为m+1列，以隐藏层中各列神经元为切割点进行分层卸载，得到m层深度学习模型，其中第j层包括第j列神经元、第j+1列神经元、第j列神经元与第j+1列神经元之间的网络结构，0＜j＜m+1。
7.根据权利要求1所述的基于边缘计算节点打分表的深度学习模型分层卸载方法，其特征在于，所述步骤S3中由边缘计算节点
Figure QLYQS_44
选择深度学习模型第一层最优的边缘计算节点。/>
CN202211469689.3A 2022-11-22 2022-11-22 基于边缘计算节点打分表的深度学习模型分层卸载方法 Active CN115562760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211469689.3A CN115562760B (zh) 2022-11-22 2022-11-22 基于边缘计算节点打分表的深度学习模型分层卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211469689.3A CN115562760B (zh) 2022-11-22 2022-11-22 基于边缘计算节点打分表的深度学习模型分层卸载方法

Publications (2)

Publication Number Publication Date
CN115562760A CN115562760A (zh) 2023-01-03
CN115562760B true CN115562760B (zh) 2023-05-30

Family

ID=84770271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211469689.3A Active CN115562760B (zh) 2022-11-22 2022-11-22 基于边缘计算节点打分表的深度学习模型分层卸载方法

Country Status (1)

Country Link
CN (1) CN115562760B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116166444B (zh) * 2023-04-26 2023-07-04 南京邮电大学 一种面向深度学习分层模型的协同推理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611062A (zh) * 2020-05-06 2020-09-01 南京邮电大学 云边协同分层计算方法及云边协同分层计算系统
CN111835827A (zh) * 2020-06-11 2020-10-27 北京邮电大学 物联网边缘计算任务卸载方法及系统
CN114422349A (zh) * 2022-03-30 2022-04-29 南京邮电大学 基于云边端协同的深度学习模型训练和推理架构部署方法
CN115034390A (zh) * 2022-08-11 2022-09-09 南京邮电大学 一种基于云边端协同的深度学习模型推理加速方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725949B (zh) * 2018-12-25 2021-10-19 南京邮电大学 一种基于移动代理的移动边缘计算卸载系统及方法
CN110347500B (zh) * 2019-06-18 2023-05-23 东南大学 用于边缘计算环境中面向深度学习应用的任务卸载方法
US20220022044A1 (en) * 2020-07-15 2022-01-20 Northeastern University Methods for Multi-Access Edge Computing Network Slicing in 5G Networks
CN113612843B (zh) * 2021-08-02 2022-08-30 吉林大学 一种基于深度强化学习的mec任务卸载和资源分配方法
CN114650302B (zh) * 2022-03-11 2024-03-12 南京邮电大学 基于区块链的物联网边缘设备可信管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611062A (zh) * 2020-05-06 2020-09-01 南京邮电大学 云边协同分层计算方法及云边协同分层计算系统
CN111835827A (zh) * 2020-06-11 2020-10-27 北京邮电大学 物联网边缘计算任务卸载方法及系统
CN114422349A (zh) * 2022-03-30 2022-04-29 南京邮电大学 基于云边端协同的深度学习模型训练和推理架构部署方法
CN115034390A (zh) * 2022-08-11 2022-09-09 南京邮电大学 一种基于云边端协同的深度学习模型推理加速方法

Also Published As

Publication number Publication date
CN115562760A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN111489095B (zh) 一种风险用户管理方法、装置、计算机设备和存储介质
CN115562760B (zh) 基于边缘计算节点打分表的深度学习模型分层卸载方法
Eshratifar et al. Towards collaborative intelligence friendly architectures for deep learning
CN115034390B (zh) 一种基于云边端协同的深度学习模型推理加速方法
CN109819032B (zh) 一种联合考虑基站选择与计算迁移的云机器人任务分配方法
CN112633490B (zh) 执行神经网络模型的数据处理装置、方法及相关产品
CN115629865B (zh) 一种基于边缘计算的深度学习推理任务调度方法
CN114595049A (zh) 一种云边协同任务调度方法及装置
CN114327811A (zh) 一种任务调度方法、装置、设备及可读存储介质
CN116050540A (zh) 一种基于联合双维度用户调度的自适应联邦边缘学习方法
CN116166444B (zh) 一种面向深度学习分层模型的协同推理方法
CN105282045B (zh) 一种基于一致性哈希算法的分布式计算和储存方法
CN109937410B (zh) 核心调度方法和终端
CN112162837B (zh) 一种基于软件定义的边缘计算调度方法及系统
CN113139639A (zh) 一种基于mombi面向智慧城市应用多目标计算迁移方法和装置
CN109635858A (zh) 一种基于模糊分层聚类的物理小区识别分配方法
CN116455768B (zh) 面向全局时延优化的云边端协同cnn推理方法及系统
WO2023071766A1 (zh) 模型压缩方法、模型压缩系统、服务器及存储介质
CN114666339B (zh) 一种基于中智集的边缘卸载方法、系统及存储介质
CN116014764A (zh) 一种分布式储能优化处理方法及装置
Arisdakessian et al. Towards instant clustering approach for federated learning client selection
Kaur et al. Machine learning empowered green task offloading for mobile edge computing in 5G networks
CN114549392A (zh) 太阳能电池片的色差检测方法、装置、设备和计算机介质
Walkowiak et al. Decentralized distributed computing system for privacy-preserving combined classifiers–modeling and optimization
Guo et al. Hotelling model based computation offloading in multi-access edge computing assisted mobile network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant