CN111741054A - 一种移动用户深度神经网络计算卸载时延最小化方法 - Google Patents

Abstract

一种移动用户深度神经网络计算卸载时延最小方法，通过对处在移动状态下的用户处理基于深度神经网络的智能应用进行分析，以最小化时延为目的建立相应模型；将深度神经网络建模为一张有向无环图，通过对该图的多次切割制定最佳的卸载决策；切割过程分为两个阶段：第一阶段仅考虑一个时隙内的优化问题，寻找到一个最佳切割点，把该时隙内的网络模型分为前后两部分，第一部分进行本地计算，第二部分卸载至边缘云计算；第二阶段从全局角度出发，将整个有向无环图且切割为多个分块，实现最小化完成整个DNN任务所需的时隙数。本发明以最小化DNN计算时延为目标，实现移动用户和边缘云服务器的协同合作，同时保证用户移动过程中处理任务的连续性。

Description

一种移动用户深度神经网络计算卸载时延最小化方法

技术领域

本发明属于边缘计算卸载技术领域，尤其涉及一种用户移动状态下基于深度神经网络的智能应用计算卸载时延最小化方法。

背景技术

深度神经网络(Deep Neural Networks，DNN)的最新研究成果实现了DNN大幅度的性能提升，已广泛应用于图像识别、智能搜索、语言处理等领域。尽管新型移动设备的中央处理器越来越强大，但仍然无法满足实时性要求极高的DNN智能应用的时延需求。

边缘计算是解决上述问题的一个有效方法。移动设备可以通过计算卸载将部分或全部计算任务交给边缘云服务器处理，以解决移动设备在资源存储、计算性能以及能效等方面存在的不足。计算卸载的关键是移动设备决定是否卸载、卸载多少以及卸载什么的问题，即卸载决策的制定。随着5G时代的到来，用户的移动性变得不可忽视，用户在移动过程中往往会不断更换与其连接的基站，从而导致计算卸载的失败率大大提高。为此，卸载决策的制定于任务的成功性至关重要。

发明内容

为了克服现有技术存在的不足，本发明提供一种在移动用户-边缘云系统中，考虑用户移动性在内的DNN卸载方法，该方法以最小化DNN计算时延为目标，实现移动用户和边缘云服务器的协同合作，同时保证用户移动过程中处理任务的连续性；此外，本方法在实现最小化计算时延的基础上尽可能少的占用边缘服务器的计算和存储资源，从而实现整个系统的性能最优化。

为解决上述技术问题，本发明采用的技术方案为：

一种移动用户深度神经网络计算卸载时延最小化方法，包括如下步骤：

步骤1：将深度神经网络所需的执行时间划分为多个不等长时间段，划分原则是用户移动过程中所连接的基站是否改变，每个基站均部署了云服务器，设定DNN请求发出的时刻为τ_start，任务完成的时刻为τ_end，在这段时间内，用户在每个基站的通信区域内停留的时间即为一个时间段；

步骤2：将DNN模型建模为一张有n个顶点的有向无环图DAG，图中的每一个顶点代表深度神经网络模型中的一层，这一层网络可以选择在本地计算，也可以卸载到边缘云计算；

步骤3：用户完成该DNN任务需要m个时间段，m是需要优化的参数，基于图论的思想，把DNN拓扑图DAG划分为m个分块，记为

SDAG＝{SDAG₁，......，SDAG_j，......，SDAG_m}，

每一个时间段完成一个分块的执行，每一个分块j由移动用户和边缘云服务器协作完成，我们把这一分块再分为两小分块,前一小分块SDAG_jl由本地执行，后一小分块SDAG_je卸载至边缘云执行；

步骤4：由于边缘云服务器的存储资源是有限的，采取用户按需上传模型，哪几层模型需要在边缘云执行，就把那几层的模型上传到边缘云，因此，用户需上传SDAG_je的神经网络模型，为此，重定义

SDAG＝{SDAG_1l，SDAG_1e，……，SDAG_jl，SDAG_je，……，SDAG_ml，SDAG_me}

所有带l下标的分块均在本地执行，所有带e下标的分块均卸载至边缘云服务器执行；

步骤5：根据SDAG，该任务的整体执行流程为：在第一个时间段内，移动用户本地执行SDAG_1l，同时把SDAG_1e的DNN模型传输给到边缘云服务器，当两者均执行完成后，移动设备将SDAG_1l的计算结果传输给边缘云服务器，边缘云服务器执行SDAG_1e，当边缘云服务器执行完SDAG_1e之后，将最终结果传回给用户，用户接着进入到第二个基站的通信范围，第二个时间段的执行过程以此类推；

步骤6：根据上述步骤所描述，建立DNN卸载过程中时延的数学模型，该时延分为三部分：第一部分为SDAG_jl的本地计算，同时还要上传SDAG_je的网络模型，这部分的时延取两者中的较大值，数学表达式如下：

其中，

为第i层网络在本地计算所需的时间，

为第i层网络模型数据在网络中传输所需的时间；

第二部分为V_jt的网络传输时延，数学表达式如下：

其中，V_jt为需要在网络中传输输出数据的DNN层集合，

为第i层网络输出数据在网络中传输所需的时间；

第三部分为SDAG_je在边缘云服务器中的处理时延，数学表达式如下：

其中，

为第i层网络卸载到边缘云的数据在边缘云计算所需的时间；

总时延即为上述三部分的时延之和；

步骤7：用最大流最小割求解一个时间段内的优化问题；

步骤8：从全局最优角度出发，最小化完成整个DNN任务所需的时间段数，即m。

进一步，所述步骤7的过程如下：

7.1)假设在该阶段已经得到了SDAG_j，要解决的问题是如何最优划分SDAG_j以得到SDAG_jl和SDAG_je，使得执行SDAG_j所需的时间最短，重新构建一张新图g，新增两个节点l和e，分别代表本地计算和边缘云计算，e和l分别连接SDAG_j中的每一个节点；

7.2)基于图论的思想，使用最大流最小割方法把图g切割成两个子图，要求节点l和e分别在不同的子图内，切割的目标是达到时延最小。

再进一步，所述步骤8的过程如下：

8.1)初始化SDAG₁为该时间段内最多能由移动设备进行本地计算完成的节点数，对SDAG₁进行粗粒度增加，设置一个常量K，K值的设置可根据具体情况具体分析；在SDAG₁集合中往后增加K个节点，对新的SDAG₁进行步骤7的最小时延求解，若求得的时延小于这个时间段的时间长度，则重复本步骤，直到求得的时延大于这个时间段的时间长度；

8.2)对通过上述步骤得到的SDAG₁进行细粒度减少，在SDAG₁中删除最后一个节点，对新的SDAG₁进行步骤7的最小时延求解，若该值大于这个时间段的时间长度，则重复本步骤，直到时延小于等于这个时间段的时间长度，此时的SDAG₁即为最优解；

8.3)从DAG中删除SDAG₁，对剩余部分进行SDAG₂的初始化，重复步骤8.2)和步骤8.3)，直至最后一个节点也被分配完成，得到最优的SDAG。

本发明的有益效果为：对处在移动状态下的用户处理基于深度神经网络的智能应用进行分析，提出了一种时延最小化方法。通过对深度神经网络拓扑图的层级细粒度分割，为移动用户制定合理的卸载策略，从而达到时延最小化。

附图说明

图1是移动用户-边缘云系统的场景图；

图2是移动用户-边缘云系统的卸载框架图；

图3是第分块j的神经网络拓扑图；

图4是为第分块j构建的新图g；

图5是最小割算法演示图。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1至图5，一种移动用户深度神经网络计算卸载时延最小方法，包括如下步骤：

步骤1：将深度神经网络所需的执行时间划分为多个不等长时间段，划分原则是用户移动过程中所连接的基站是否改变，每个基站均部署了云服务器，设定DNN请求发出的时刻为τ_start，任务完成的时刻为τ_end，在这段时间内，用户在每个基站的通信区域内停留的时间即为一个时间段，如图1所示，第一个时时间段从τ_start开始，τ₂结束，第二个时间段从τ₂开始，τ₃结束，第三个时间段从τ₃开始，τ_end结束；

步骤2：将DNN模型建模为一张有n个顶点的有向无环图DAG，图中的每一个顶点代表深度神经网络模型中的一层，这一层网络可以选择在本地计算，也可以卸载到边缘云计算；

步骤3：用户完成该DNN任务需要m个时间段，m是需要优化的参数，基于图论的思想，把DNN拓扑图DAG划分为m个分块，记为

SDAG＝{SDAG₁，……，SDAG_j，……，SDAG_m}，

每一个时间段完成一个分块的执行，每一个分块j由移动用户和边缘云服务器协作完成，我们把这一分块再分为两小分块,前一小分块SDAG_jl由本地执行，后一小分块SDAG_je卸载至边缘云执行；

步骤4：由于边缘云服务器的存储资源是有限的，本策略采取用户按需上传模型，哪几层模型需要在边缘云执行，就把那几层的模型上传到边缘云，因此，用户需上传SDAG_je的神经网络模型，为此，重定义

SDAG＝{SDAG_1l，SDAG_1e，......，SDAG_jl，SDAG_je，......，SDAG_ml，SDAG_me}

所有带l下标的分块均在本地执行，所有带e下标的分块均卸载至边缘云服务器执行；

步骤5：如图2所示，移动用户处理DNN任务的整体执行流程为：当DNN请求发生时，移动设备动态生成SDAG，SDAG中包含m个时间段，在第一个时隙内，移动用户本地执行SDAG_1l，同时把SDAG_1e的DNN模型传输给到边缘云服务器，当两者均执行完成后，移动设备将SDAG_1l的计算结果传输给边缘云服务器，边缘云服务器执行SDAG_1e，当边缘云服务器执行完SDAG_1e之后，将最终结果传回给用户，设定需要在网络中传输输出数据的网络层集合为V_jt，在第一个时间段内，即为V_1t，用户接着进入到第二个基站的通信范围，第二个时间段的执行过程以此类推；

步骤6：根据上述步骤所描述，建立DNN卸载过程中时延的数学模型，该时延分为三部分：第一部分为SDAG_jl的本地计算，同时还要上传SDAG_je的网络模型，这部分的时延取两者中的较大值，数学表达式如下：

其中，

为第i层网络在本地计算所需的时间，

为第i层网络模型数据在网络中传输所需的时间；

第二部分为V_jt的网络传输时延，数学表达式如下：

其中，V_jt为需要在网络中传输输出数据的DNN层集合，

为第i层网络输出数据在网络中传输所需的时间；

第三部分为SDAG_je在边缘云服务器中的处理时延，数学表达式如下：

其中，

为第i层网络卸载到边缘云的数据在边缘云计算所需的时间；

总时延即为上述三部分的时延之和；

步骤7：用最大流最小割求解一个时间段内的优化问题，过程如下：

7.1)假设在该阶段已经得到了SDAG_j，如图3所示，要解决的问题是如何最优划分SDAG_j以得到SDAG_jl和SDAG_je，使得执行SDAG_j所需的时间最短，如图4所示，重新构建一张新图g，新增两个节点l和e，分别代表本地计算和边缘云计算，e和l分别连接SDAG_j中的每一个节点；

7.2)基于图论的思想，用最大流最小割方法把图g切割成两个子图，要求节点l和e分别在不同的子图内，切割的目标是达到时延最小；以图5为例，切割完成后，与节点l相连的线被切断的节点将进行本地计算，这些节点构成了SDAG_jl；与节点e相连的线被切断的节点将卸载至边缘云进行计算，这些节点构成了SDAG_je；而被切断的属于原DAG的线的起始点的输出数据需通过网络传输至边缘云,以及边缘云最后的输出结果需要通过网络传输至移动设备，这些节点构成了这些节点构成了V_jt，得到上述三个集合之后，便可以使用前文提到的时延表达式求解最小时延；

步骤8：从全局最优角度出发，最小化完成整个DNN任务所需的时间段数，即m，过程如下：

8.1)从第一个时间段开始，初始化SDAG₁为在该时间段的长度下最多能由移动设备进行本地计算完成的节点数，对SDAG₁进行粗粒度增加，设置一个常量K，K值的设置可根据具体情况具体分析，在SDAG₁集合中往后增加K个节点，对新的SDAG₁进行步骤7的最小时延求解，若求得的时延小于这个时间段的时间长度，则重复本步骤，直到求得的时延大于这个时间段的时间长度；

8.2)对通过上述步骤得到的SDAG₁进行细粒度减少，在SDAG₁集合中删除最后一个节点，对新的SDAG₁进行步骤7的最小时延求解，若该值大于这个时间段的时间长度，则重复本步骤，直到时延小于等于这个时间段的时间长度，此时的SDAG₁即为最优解；

8.3)从DAG中删除SDAG₁，对剩余部分进行SDAG₂的初始化，重复步骤8.2)和步骤8.3)，直至最后一个节点也被分配完成，得到最优的SDAG。

Claims (3)

1.一种移动用户深度神经网络计算卸载时延最小化方法，其特征在于，所述方法包括如下步骤：

步骤1：将深度神经网络所需的执行时间划分为多个不等长时间段，划分原则是用户移动过程中所连接的基站是否改变，每个基站均部署了云服务器，设定DNN请求发出的时刻为τ_start，任务完成的时刻为τ_end，在这段时间内，用户在每个基站的通信区域内停留的时间即为一个时间段；

步骤2：将DNN模型建模为一张有n个顶点的有向无环图DAG，图中的每一个顶点代表深度神经网络模型中的一层，这一层网络可以选择在本地计算，也可以卸载到边缘云计算；

步骤3：用户完成该DNN任务需要m个时间段，m是需要优化的参数，基于图论的思想，把DNN拓扑图DAG划分为m个分块，记为

SDAG＝{SDAG₁，......，SDAG_j，……，SDAG_m}，

每一个时间段完成一个分块的执行，每一个分块j由移动用户和边缘云服务器协作完成，我们把这一分块再分为两小分块,前一小分块SDAG_jl由本地执行，后一小分块SDAG_je卸载至边缘云执行；

步骤4：由于边缘云服务器的存储资源是有限的，采取用户按需上传模型，哪几层模型需要在边缘云执行，就把那几层的模型上传到边缘云，因此，用户需上传SDAG_je的神经网络模型，为此，重定义

SDAG＝{SDAG_1l，SDAG_1e，……，SDAG_jl，SDAG_je,……,SDAG_ml，SDAG_me}

所有带l下标的分块均在本地执行，所有带e下标的分块均卸载至边缘云服务器执行；

步骤5：根据SDAG，该任务的整体执行流程为：在第一个时间段内，移动用户本地执行SDAG_1l，同时把SDAG_1e的DNN模型传输给到边缘云服务器，当两者均执行完成后，移动设备将SDAG_1l的计算结果传输给边缘云服务器，边缘云服务器执行SDAG_1e，当边缘云服务器执行完SDAG_1e之后，将最终结果传回给用户，用户接着进入到第二个基站的通信范围，第二个时间段的执行过程以此类推；

步骤6：根据上述步骤所描述，建立DNN卸载过程中时延的数学模型，该时延分为三部分：第一部分为SDAG_jl的本地计算，同时还要上传SDAG_je的网络模型，这部分的时延取两者中的较大值，数学表达式如下：

其中，

为第i层网络在本地计算所需的时间，

为第i层网络模型数据在网络中传输所需的时间；

第二部分为V_jt的网络传输时延，数学表达式如下：

其中，V_jt为需要在网络中传输输出数据的DNN层集合，

为第i层网络输出数据在网络中传输所需的时间；

第三部分为SDAG_je在边缘云服务器中的处理时延，数学表达式如下：

其中，

为第i层网络卸载到边缘云的数据在边缘云计算所需的时间；

总时延即为上述三部分的时延之和；

步骤7：用最大流最小割求解一个时间段内的优化问题；

步骤8：从全局最优角度出发，最小化完成整个DNN任务所需的时间段数，即m。

2.如权利要求1所述的一种移动用户深度神经网络计算卸载时延最小化方法，其特征在于，所述步骤7的过程如下：

7.1)假设在该阶段已经得到了SDAG_j，要解决的问题是如何最优划分SDAG_j以得到SDAG_jl和SDAG_je，使得执行SDAG_j所需的时间最短，重新构建一张新图g，新增两个节点l和e，分别代表本地计算和边缘云计算，e和l分别连接SDAG_j中的每一个节点；

7.2)基于图论的思想，使用最大流最小割方法把图g切割成两个子图，要求节点l和e分别在不同的子图内，切割的目标是达到时延最小。

3.如权利要求1或2所述的一种移动用户深度神经网络计算卸载时延最小化方法，其特征在于，所述步骤8的过程如下：

8.1)初始化SDAG₁为该时间段内最多能由移动设备进行本地计算完成的节点数，对SDAG₁进行粗粒度增加，设置一个常量K，K值的设置可根据具体情况具体分析；在SDAG₁集合中往后增加K个节点，对新的SDAG₁进行步骤7的最小时延求解，若求得的时延小于这个时间段的时间长度，则重复本步骤，直到求得的时延大于这个时间段的时间长度；

8.2)对通过上述步骤得到的SDAG₁进行细粒度减少，在SDAG₁中删除最后一个节点，对新的SDAG₁进行步骤7的最小时延求解，若该值大于这个时间段的时间长度，则重复本步骤，直到时延小于等于这个时间段的时间长度，此时的SDAG₁即为最优解；

8.3)从DAG中删除SDAG₁，对剩余部分进行SDAG₂的初始化，重复步骤8.2)和步骤8.3)，直至最后一个节点也被分配完成，得到最优的SDAG。

Images