CN110764885B - 一种多移动设备的dnn任务的拆分和卸载方法 - Google Patents

一种多移动设备的dnn任务的拆分和卸载方法 Download PDF

Info

Publication number
CN110764885B
CN110764885B CN201910802759.4A CN201910802759A CN110764885B CN 110764885 B CN110764885 B CN 110764885B CN 201910802759 A CN201910802759 A CN 201910802759A CN 110764885 B CN110764885 B CN 110764885B
Authority
CN
China
Prior art keywords
processing
dnn
layer
mobile device
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910802759.4A
Other languages
English (en)
Other versions
CN110764885A (zh
Inventor
高明晋
沈茹婧
石晶林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Jingshang Suzhou Information Technology Co ltd
Original Assignee
Zhongke Jingshang Suzhou Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Jingshang Suzhou Information Technology Co ltd filed Critical Zhongke Jingshang Suzhou Information Technology Co ltd
Priority to CN201910802759.4A priority Critical patent/CN110764885B/zh
Publication of CN110764885A publication Critical patent/CN110764885A/zh
Application granted granted Critical
Publication of CN110764885B publication Critical patent/CN110764885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种多移动设备的DNN任务的拆分和卸载方法，一、根据移动设备的数量、DNN任务的层数以及每个DNN任务的划分构建划分及卸载模型；二、基于多项式拟合方法获得DNN任务中每层的参数分别对各层处理时延的影响，从而获得各层的时延预测模型；三、根据DNN任务中各层的处理次序、划分及卸载模型、移动设备和服务器之间的传输时延以及时延预测模型得到DNN任务中各层的处理时间关系，并以各层的处理时间关系和服务器的处理原则为约束条件，以平均时延最小为目标函数构建优化问题，获得各DNN任务最优的划分方式以及各层的处理时间安排；本发明能够有效减低DNN任务处理的时延。

Description

一种多移动设备的DNN任务的拆分和卸载方法
技术领域
本发明属于移动边缘计算的技术领域，具体涉及一种多移动设备的DNN任务的拆分和卸载方法。
背景技术
目前，智能应用在日常生活中变得越来越常见。这些智能应用对移动设备的计算能力有很高的要求，但是普通移动设备的计算能力是有限的。为了缓解这个问题，传统的方法是将移动设备上的所有智能任务都上传至云服务器处理。随着人工智能学科的快速发展，基于深度神经网络(DNN)的应用凭借其巨大优势越来越受人们的欢迎。然而，基于DNN的应用有巨大的计算需求，如果要将DNN应用传输到云端处理，将需要传输特别多的数据，导致很大的传输时延，所以仅靠云端处理DNN任务并不是最好的选择。目前有许多关于加速DNN任务处理的研究。然而，现有的研究仅通过优化DNN的设计来加速DNN任务的处理，这种方式无法被推广。所以，亟需设计一个普适性的计算框架，以适用于所有的DNN任务。
近期，移动边缘计算(MEC)凭借其减少对移动设备的计算需求、减少传输数据量的优点，越来越普及。为了实现该优点，MEC采用先将任务划分，再卸载的模式。近年来有许多关于MEC机制设计的研究。然而，现有的研究仅针对传统任务，传统任务的计算复杂度和数据量远小于DNN任务。DNN任务卸载面临许多挑战，比如，如何划分多层DNN任务以实现任务卸载？当有多个移动设备时，如何进行联合DNN任务划分以实现任务卸载？这些挑战成为了本发明研究的动机。
发明内容
有鉴于此，本发明提供了一种多移动设备的DNN任务的拆分和卸载方法，能够有效减低DNN任务处理的时延。
实现本发明的技术方案如下：
一种多移动设备的DNN任务的拆分和卸载方法，包括以下步骤：
步骤一、根据移动设备的数量、DNN任务的层数以及每个DNN任务的划分构建划分及卸载模型，其中，每个移动设备有一个DNN任务，每个DNN任务被划分为两部分，前一部分在移动设备本地被处理，处理后所得的输出数据传输至服务器，后一部分被卸载到服务器由服务器处理；
步骤二、基于多项式拟合方法获得DNN任务中每层的参数分别对各层处理时延的影响，从而获得各层的时延预测模型；
步骤三、根据DNN任务中各层的处理次序、划分及卸载模型、移动设备和服务器之间的传输时延以及时延预测模型得到DNN任务中各层的处理时间关系，并以各层的处理时间关系和服务器的处理原则为约束条件，以平均时延最小为目标函数构建优化问题，最终获得各DNN任务最优的划分方式以及各层的处理时间安排。
进一步地，所述划分及卸载模型为N×M的矩阵X，N为移动设备的数量，M为DNN任务的层数，每层为一个子任务，矩阵的各个元素xij都是0-1变量，xij＝0表示移动设备i的第j个子任务在移动设备本地处理，xij＝1表示移动设备i的第j个子任务由服务器处理。
进一步地，所述时延预测模型包括移动设备本地处理时延和服务器处理时延。
进一步地，所述优化问题为：
s.t.0≤si1<…<siM,
fi1<…<fiM,
sij≥fi,j-1,
fij≤spq,if xij＝xpq＝1 and sij<spq.
其中，为所有DNN任务的平均处理时延，X,S,F均为N×M的矩阵，N为移动设备的数量，M为DNN任务的层数，每层为一个子任务，X中的元素xij都是0-1变量，xij＝0表示移动设备i的第j个子任务在本地处理，xij＝1表示移动设备i的第j个子任务由服务器处理，S中的元素sij表示移动设备i的第j个子任务开始处理的时间；F中的元素fij表示移动设备i的第j个子任务结束处理的时间；
表示移动设备i的第j个子任务的本地处理时延，/>表示移动设备i的第j个子任务的服务器处理时延；/>表示本地第k层的输出数据传输到服务器上第(k+1)层之间的传输时延；p＝1,2,...,N，q＝1,2,...,M，k＝0,1,...,M-1，且当k＝0时，fi0＝0，/>为将第一层子任务处理时所需数据传输到服务器的传输时延。
有益效果：
(1)本发明为DNN任务建立处理时延预测模型，以便DNN任务的拆分，且该处理时延预测模型具有普适性，适用于所有的DNN任务。
(2)本发明提出了一种适用于多移动设备和单MEC服务器的DNN任务划分和卸载方法，实验结果表明，相较于传统DNN任务处理方式，本发明方法能达到DNN任务处理的最小时延。
附图说明
图1为本发明方法流程示意图。
图2为在ALEXNET和服务器无负载情况下，本发明方法和两种传统方法随带宽变化的平均处理时延。
图3为在1Mbps带宽和服务器无负载情况下，本发明方法和两种传统方法处理不同DNN类型任务的相对处理速度。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
如图1所示，本发明提供了一种多移动设备的DNN任务的拆分和卸载方法，其具体针对的是多移动设备和单MEC服务器的DNN任务划分和卸载问题。包括以下步骤：
步骤一、根据移动设备的数量、DNN任务的层数以及每个DNN任务的划分构建划分及卸载模型，其中，每个移动设备有一个DNN任务，每个DNN任务被划分为两部分，前一部分在移动设备本地被处理，处理后所得的输出数据传输至服务器，后一部分被卸载到服务器由服务器处理。
假设有N个移动设备和一个MEC(移动边缘计算)服务器。每个移动设备有一个DNN任务待处理。为了减少任务处理时延，缓解移动设备的计算负担，每个DNN任务可以被划分并卸载到拥有强大计算能力的服务器。DNN一共有M层，比如卷积层、全连接层、池化层等等。假设这些层是相对独立的，为了处理某一层的计算量，只需要获得前一层的输出。因此，将每层的计算量视为一个子任务。于是，一个DNN任务有M个子任务。
任务划分是指将一个任务划分为两部分，前一部分将在本地被处理，处理之后所得到的输出数据将被传输至服务器，即后一部分将被卸载到服务器，由服务器处理。考虑到某任务的各个子任务间是相对独立的，可以在层与层之间进行DNN任务划分。为了用数学的方法描述划分模式，引入一个N×M的矩阵X，该矩阵的各个元素xij都是0-1变量。xij＝0表示移动设备i的第j个子任务在本地处理，xij＝1表示移动设备i的第j个子任务由服务器处理。于是，如果有xi1＝…＝xij＝0，xi,j+1＝…＝xiM＝1，意味着对移动设备i的DNN任务，在第j层和第j+1层之间进行划分。第j层之前的子任务(包括第j层)将在本地处理，第j+1层之后的子任务(包括第j+1层)将卸载至服务器，由服务器处理。
步骤二、基于多项式拟合方法获得DNN任务中每层的参数分别对各层处理时延的影响，从而获得各层的时延预测模型。
本发明提出的DNN任务划分及卸载方法，是为了最小化多移动设备DNN任务的平均处理时延为了构建优化问题，首先要分析在DNN任务划分及卸载过程中的相关时延，然后得到时延预测模型，以便后续的优化问题的设计。
DNN有多种类型的层，不同类型的层结构不同。于是，影响每层子任务处理时延的因素以及预测模型都会有所不同。即使是对同一类型的DNN层，服务器和移动设备的处理时延预测模型也可能不同。此外，每层的输出数据量是在动态变化的，这会导致不同划分模式下移动设备和服务器间的数据传输时延不同。
为了搭建时延预测模型，首先根据Caffe框架的源代码获取影响每层处理时延的因素，比如：输入和输出的数据量、核的大小等等。接着，采用控制变量法，在服务器和移动设备上，测试每个影响因素和该层处理时延之间的关系，以挑选有显著影响的因素，删除影响不大的因素，简化模型。同时，可以得到每个因素影响该层处理时延的模式(线性的、二次的等等)。基于选择的影响因素和可能的影响模式，本发明使用多项式拟合技术来搭建各层的处理时延预测模型。
以卷积层的处理时延预测模型搭建为例。本发明选出了显著影响的因素：卷积核的大小K，输入的数据量I，输出的数据量O，输出的图片大小G，以及每张图片的长度L。针对挑选出的影响因素，重复测量卷积层的处理时延1000多次，得到影响因素和处理时延间的大量数据。基于这些数据，可以得到下面的多项式处理时延预测模型。
Tl＝(0.3G2K2OI+2.6G2K2I+4.8G2O)×10-5 (1)
Ts＝(3G2K2OI+7.4G2K2I+25.8G2O)×10-7 (2)
这里Tl和Ts分别代表卷积层的本地处理时延和服务器处理时延。实验结果表明，卷积层处理时延预测模型的平均准确度高达99.58％，平均绝对误差为2.78毫秒。
移动设备和服务器之间的传输时延可以根据现有技术公式(3)得到。
其中，r代表了移动设备和服务器间信道的上行速率，O代表了移动设备和服务器间的数据传输量。
步骤三、根据DNN任务中各层的处理次序、划分及卸载模型、移动设备和服务器之间的传输时延以及时延预测模型得到DNN任务中各层的处理时间关系，并以各层的处理时间关系和服务器的处理原则为约束条件，以平均时延最小为目标函数构建优化问题，最终获得各DNN任务最优的划分方式以及各层的处理时间安排。
本发明DNN任务划分及卸载方法的主要目标是通过决定各个任务的划分方式以及子任务的处理时间安排，来减少所有任务的平均处理时延首先定义一个N×M的矩阵S，其中的每个元素sij描述每个子任务开始处理的时间。具体的，sij表示开始处理移动设备i的第j个子任务的时间。由于某个DNN任务的各个子任务需要按顺序先后处理，于是有si1<…<siM，i＝1,…,N。类似地，定义一个N×M的矩阵F，其元素fij表示结束处理移动设备i的第j个子任务的时间，并有fi1<…<fiM，i＝1,…,N。于是，平均处理时延/>可表示为
显然的，各任务的第一个子任务的开始处理时间总是要大于0，即
si1≥0,i＝1,…,N (5)
考虑到每个子任务都需要先收到前一个子任务的输出数据才能被执行，于是每个子任务的开始处理时间必须大于前一个子任务的结束处理时间，即
sij≥fi,j-1,i＝1,…,N (6)
对每一个子任务，如果它在本地处理，它的结束处理时刻应该大于等于开始处理时刻和本地处理时间之和；如果它被服务器处理，它的结束处理时刻应该大于等于开始处理时刻和服务器处理时间之和，即
其中，表示移动设备i的第j个子任务的本地处理时延，/>表示移动设备i的第j个子任务的服务器处理时延。/>和/>可步骤二中的处理时延预测模型得到。
假设在第k和第(k+1)层间对移动设备i的DNN任务进行拆分，即有xi1＝…＝xik＝0，xi,k+1＝…＝xi,M＝1。于是，第(k+1)个子任务的开始处理时间必须大于等于第k个子任务的结束处理时间与输出数据在第k层和第(k+1)层之间的传输时延之和，即
其中，可由步骤二中的公式(3)得到，如果拆分点在第一层之前，即k＝0，等同于所有子任务都在云端处理，此时,定义fi0＝0，定义/>是将第一层子任务处理时所需数据传输到服务器的时间。如果拆分点在第M层之后，即k＝M，等同于所有子任务在本地处理，此时不存在本地设备和服务器间的数据传输。
此外，服务器一次只能处理一个子任务，这意味着对所有子任务xij＝1，其处理时间区间[sij,fij]不能有重叠，即
fij≤spq,if xij＝xpq＝1 and sij<spq (9)
其中，p＝1,2,...,N，q＝1,2,...,M。
综上，可以写出如下的优化问题：
s.t.0≤si1<…<siM, (11)
fi1<…<fiM, (12)
sij≥fi,j-1, (13)
fij≤spq,if xij＝xpq＝1 and sij<spq. (16)
以上优化问题中未知变量既有整数型(X)的也有实数型的(S,F)。因此，该优化问题是一个混合整数线性规划问题(MILP)，MILP可以用标准的软件包求解。
为了检测本发明DNN任务划分和卸载方法的性能，将本发明处理方法与其他两种常用的DNN任务处理方式进行对比，做了相应的对比实验。
Case1：本发明DNN任务划分和卸载方法的处理方式
Case2：移动设备将DNN任务全部卸载至服务器进行处理。目前大多数智能应用采用该种处理方式
Case3：所有DNN任务都在本地处理
由于DNN任务是在多台移动设备和一台服务器间处理，使用四个Orange Pi WinPlus作为移动设备，使用一台配置为CPU i5,4g RAM,3.2ghz CPU时钟频率的电脑作为移动边缘计算服务器。为了连接移动和设备和服务器，使用Thrift作为通讯接口。
从图2中可以发现，在case1和case2下，平均处理时延会随着带宽的增加而减小，其中case2的平均处理时延下降的更快。这是因为，当带宽小的时候，传输时延会很长，从而增加了平均处理时延。还能发现，case3的平均处理时延保持不变，这是因为带宽对本地处理没有影响。此外，case1的平均处理时延一直是最小的，这意味着，当带宽小的时候，大多数任务都在本地处理以减少传输时延。随着带宽的增加，越来越多的任务为了借助服务器强大的计算能力，被拆分并卸载至服务器处理。
在图3中，比较了不同DNN类型下的任务处理速度。暂且考虑四种可能的DNN类型，分别是VGG16,VGG13,ALEXNET,LENET。假设在一次实验中，各移动设备的DNN任务类型是一样的，带宽总是1Mbps。将实验重复四次，每次实验只有DNN类型不同。此外，在每次实验中，把case3的任务处理速度视为基准速度，并定义相对处理速度为实际处理速度除以基准速度。可以看到，case1总有最高的相对处理速度，这证明了本发明方法在不同DNN情况下都具有优越性。还能发现，相在case1和case2中，处理速度会随着DNN类型的改变而下降。这是因为，VGG16,VGG13,ALEXNET,LENET的计算复杂度是递减的。于是，如果处理任务的网络类型是VGG16,VGG13这样结构复杂的，那么处理时延会远大于传输时延，将任务卸载至计算能力强大的服务器处理相比于本地处理更节约时间。然而，如果处理任务的网络类型是ALEXNET,LENET这样计算量小的，那么传输时延和处理时延差距较小，本地处理是更节约时间的选择。本发明的DNN任务拆分和卸载方法权衡了上述情况，能达到最大的处理速度。
本发明研究了移动边缘计算中的DNN任务拆分和卸载问题。首先提出了一个时延预测模型以预测不同任务拆分方式下的DNN任务处理时延。基于该时延预测模型，提出了一个基于MILP的DNN任务拆分和卸载方法，以减少DNN任务的平均处理时延，同时减轻移动设备的计算负担。实验结果表明，本发明方法与传统的任务处理方式相比，总能达到最小的处理时延。具体的，本发明方法与任务由服务器全部处理的方式相比，最多能减少90.5％的时延；与本地处理方式相比，最多能减少69.5％的时延。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种多移动设备的DNN任务的拆分和卸载方法，其特征在于，包括以下步骤：
步骤一、根据移动设备的数量、DNN任务的层数以及每个DNN任务的划分构建划分及卸载模型，其中，每个移动设备有一个DNN任务，每个DNN任务被划分为两部分，前一部分在移动设备本地被处理，处理后所得的输出数据传输至服务器，后一部分被卸载到服务器由服务器处理；
步骤二、基于多项式拟合方法获得DNN任务中每层的参数分别对各层处理时延的影响，从而获得各层的时延预测模型；
步骤三、根据DNN任务中各层的处理次序、划分及卸载模型、移动设备和服务器之间的传输时延以及时延预测模型得到DNN任务中各层的处理时间关系，并以各层的处理时间关系和服务器的处理原则为约束条件，以平均时延最小为目标函数构建优化问题，最终获得各DNN任务最优的划分方式以及各层的处理时间安排；
所述优化问题为：
s.t.0≤si1＜…＜siM,
fi1＜…＜fiM,
sij≥fi,j-1,
fij≤spq,if xij＝xpq＝1 and sij＜spq
其中，为所有DNN任务的平均处理时延，X,S,F均为N×M的矩阵，N为移动设备的数量，M为DNN任务的层数，每层为一个子任务，X中的元素xij都是0-1变量，xij＝0表示移动设备i的第j个子任务在本地处理，xij＝1表示移动设备i的第j个子任务由服务器处理，S中的元素sij表示移动设备i的第j个子任务开始处理的时间；F中的元素fij表示移动设备i的第j个子任务结束处理的时间；
表示移动设备i的第j个子任务的本地处理时延，/>表示移动设备i的第j个子任务的服务器处理时延；/>表示本地第k层的输出数据传输到服务器上第k+1层之间的传输时延；p＝1,2,...,N，q＝1,2,...,M，k＝0,1,...,M-1，且当k＝0时，fi0＝0，/>为将第一层子任务处理时所需数据传输到服务器的传输时延。
2.如权利要求1所述的一种多移动设备的DNN任务的拆分和卸载方法，其特征在于，所述划分及卸载模型为N×M的矩阵X，N为移动设备的数量，M为DNN任务的层数，每层为一个子任务，矩阵的各个元素xij都是0-1变量，xij＝0表示移动设备i的第j个子任务在移动设备本地处理，xij＝1表示移动设备i的第j个子任务由服务器处理。
3.如权利要求1所述的一种多移动设备的DNN任务的拆分和卸载方法，其特征在于，所述时延预测模型包括移动设备本地处理时延和服务器处理时延。
CN201910802759.4A 2019-08-28 2019-08-28 一种多移动设备的dnn任务的拆分和卸载方法 Active CN110764885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910802759.4A CN110764885B (zh) 2019-08-28 2019-08-28 一种多移动设备的dnn任务的拆分和卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910802759.4A CN110764885B (zh) 2019-08-28 2019-08-28 一种多移动设备的dnn任务的拆分和卸载方法

Publications (2)

Publication Number Publication Date
CN110764885A CN110764885A (zh) 2020-02-07
CN110764885B true CN110764885B (zh) 2024-04-09

Family

ID=69329222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910802759.4A Active CN110764885B (zh) 2019-08-28 2019-08-28 一种多移动设备的dnn任务的拆分和卸载方法

Country Status (1)

Country Link
CN (1) CN110764885B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741054B (zh) * 2020-04-24 2022-07-26 浙江工业大学 一种移动用户深度神经网络计算卸载时延最小化方法
CN112214261B (zh) * 2020-10-30 2021-10-15 内蒙古工业大学 一种面向边缘智能的三层结构dnn计算卸载方法
CN112532461B (zh) * 2020-12-17 2022-04-01 内蒙古工业大学 一种面向边缘智能的多边缘节点增量计算卸载方法
CN112822264B (zh) * 2021-01-05 2022-07-15 中国科学院计算技术研究所 一种dnn任务卸载的方法
CN112817741B (zh) * 2021-01-05 2024-03-08 中国科学院计算技术研究所 一种边缘计算的dnn任务控制方法
CN112783567B (zh) * 2021-01-05 2022-06-14 中国科学院计算技术研究所 一种基于全局信息的dnn任务卸载决策方法
CN113435580B (zh) * 2021-06-29 2022-06-07 福州大学 一种边缘环境下dnn应用计算卸载自适应中间件构建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205827367U (zh) * 2016-05-11 2016-12-21 北京比特大陆科技有限公司 数据处理装置和服务器
CN107301456A (zh) * 2017-05-26 2017-10-27 中国人民解放军国防科学技术大学 基于向量处理器的深度神经网络多核加速实现方法
CN108809723A (zh) * 2018-06-14 2018-11-13 重庆邮电大学 一种边缘服务器联合任务卸载及卷积神经网络层调度方法
CN110096362A (zh) * 2019-04-24 2019-08-06 重庆邮电大学 一种基于边缘服务器协作的多任务卸载方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150324690A1 (en) * 2014-05-08 2015-11-12 Microsoft Corporation Deep Learning Training System

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205827367U (zh) * 2016-05-11 2016-12-21 北京比特大陆科技有限公司 数据处理装置和服务器
CN107301456A (zh) * 2017-05-26 2017-10-27 中国人民解放军国防科学技术大学 基于向量处理器的深度神经网络多核加速实现方法
CN108809723A (zh) * 2018-06-14 2018-11-13 重庆邮电大学 一种边缘服务器联合任务卸载及卷积神经网络层调度方法
CN110096362A (zh) * 2019-04-24 2019-08-06 重庆邮电大学 一种基于边缘服务器协作的多任务卸载方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hyuk-Jin Jeong等.IONN: Incremental Offloading of Neural Network Computations from Mobile Devices to Edge Servers.《Proceedings of the ACM symposium on cloud computing》.2018,全文. *
Yiping Kang等.Neurosurgeon: Collaborative Intelligence Between the Cloud and Mobile Edge.《ACM SIGARCH Computer Architecture News》.2017,第1-15页. *

Also Published As

Publication number Publication date
CN110764885A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110764885B (zh) 一种多移动设备的dnn任务的拆分和卸载方法
CN113067873B (zh) 基于深度强化学习的边云协同优化方法
Huang et al. A lightweight collaborative deep neural network for the mobile web in edge cloud
CN114189892A (zh) 一种基于区块链和集体强化学习的云边协同物联网系统资源分配方法
CN110531996B (zh) 一种多微云环境下基于粒子群优化的计算任务卸载方法
Wang et al. ADDA: Adaptive distributed DNN inference acceleration in edge computing environment
Gao et al. Deep neural network task partitioning and offloading for mobile edge computing
Huang et al. DeepAdapter: A collaborative deep learning framework for the mobile web using context-aware network pruning
Xue et al. EdgeLD: Locally distributed deep learning inference on edge device clusters
CN113645637B (zh) 超密集网络任务卸载方法、装置、计算机设备和存储介质
CN114697978B (zh) 一种智能反射面辅助的上行移动边缘计算方法及系统
CN115714820A (zh) 一种分布式的微服务调度优化方法
Song et al. Adaptive and collaborative edge inference in task stream with latency constraint
Di Lorenzo et al. Dynamic mobile edge computing empowered by reconfigurable intelligent surfaces
CN112817741B (zh) 一种边缘计算的dnn任务控制方法
US20220129745A1 (en) Prediction and Management of System Loading
Huang et al. An integrated cloud-edge-device adaptive deep learning service for cross-platform web
CN117608821A (zh) 确定计算任务卸载策略的方法、装置、设备及介质
CN117436485A (zh) 基于权衡时延和精度的多退出点的端-边-云协同系统及方法
CN114217881B (zh) 任务卸载方法及相关装置
WO2023272726A1 (zh) 云服务器集群负载调度方法、系统、终端以及存储介质
CN112379688B (zh) 一种基于膜计算的多机器人有限时间同步控制方法
CN113747504A (zh) 多接入边缘计算联合任务卸载和资源分配的方法及系统
Fang et al. Large Language Models (LLMs) Inference Offloading and Resource Allocation in Cloud-Edge Networks: An Active Inference Approach
CN113296941B (zh) 一种基于多边缘计算的缓存任务调度方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant