CN114745386A - 一种多用户边缘智能场景下的神经网络分割及卸载方法 - Google Patents

Abstract

一种多用户边缘智能场景下的神经网络分割及卸载方法，包括以下步骤：系统中有一个边缘服务BS和N个用户设备，每个设备都有一个神经网络推理计算任务；以用户设备的能量和边缘服务器的计算资源为约束条件，以神经网络分割方案和卸载方案为优化变量，以最大化计算任务的完成率为优化目标建立优化问题P；采用最大流最小割结合动态规划的算法求得问题P，得到DNN网络最佳分割及卸载方案并将其应用在用户设备上。本发明适用于多用户且设备能量和服务器资源都有限制的神经网络分割及卸载场景，制定合适的神经网络分割和卸载方法，大幅提高设备神经网络推理计算任务的完成率。

Description

一种多用户边缘智能场景下的神经网络分割及卸载方法

技术领域

本发明属于5G网络边缘智能技术领域，尤其涉及一种多用户边缘计算系统中神经网络的分割及卸载方法，该方法适用于用户设备能量和服务器资源都有限的情况下，制定出合理的神经网络分割和卸载决策，最大化用户任务完成率。

背景技术

随着深度学习的发展，近年来有关神经网络的应用呈现爆炸式的增长。从人脸识别到无人驾驶都是有关神经网络的应用。与此同时，物联网产业的发展诞生了一系列智能终端设备，越来越多的神经网络应用被部署在智能终端上，比如智能手机和智能可穿戴设备，甚至是嵌入式设备。

物联网终端设备是计算资源和能量资源都非常有限的设备，其在保证基本功能正常运行的情况下仅有有限的能量能支持神经网络的推理计算。传统的云计算虽然可以协助进行神经网络的推理计算，但其通过将任务传输到云上进行推理计算减轻设备负载的过程中，大量的数据传输会导致核心网负载过大，从而大幅增加传输时延以及传输能耗。网络分割理论和边缘卸载技术的出现使得用户可以将神经网络的部分网络层，尤其是计算量大的网络层分割并卸载到边缘服务器上进行推理计算，这样不仅能够加速终端设备神经网络的推理计算，减轻了核心网的负载，而且大幅降低设备的计算时延和传输能耗。因此，如何对神经网络做出有效的分割决策和卸载决策就成为了一个值得研究的问题。

发明内容

本发明要克服现有技术的上述缺点，提供一种多用户边缘计算系统中神经网络的分割及卸载方法。

首先，为了最大化神经网络推理计算任务完成率，提出了一个多用户环境下的神经网络分割及卸载的模型，该模型在将神经网络结构考虑为有向无环图的基础上，进一步考虑到了多个用户设备的能量限制和服务器的资源限制问题。其次，提出了一个基于最大流最小割和动态规划的优化算法来最大化用户任务完成率，通过最大限度地利用有限的设备能量和服务器资源实现DNN最佳分割，从而实现有效卸载决策。

为了实现上述过程，本发明提供以下的技术方案：

一种多用户边缘智能场景下的神经网络分割及卸载方法，包括以下步骤：

步骤1：将边缘服务器放置于基站BS中，并通过有线与BS连接。边缘服务器上放置各类已训练好的DNN模型，其计算资源为TH。在基站的通信范围内放置N个用户设备，每个设备i也放置一个已训练好的DNN模型，其能量限制为S_i。

步骤2：每个设备i产生一个计算任务r_i＝{G_i，C_i，O_i，S_i}，这里G_i＝＜V_i，E_i＞表示处理计算任务的神经网络，其中

表示图中的各节点，每个节点代表一个网络层，E_i＝{(v_i，j，v_i，l)|(vi_，j，v_i，l)∈V_i}表示各节点之间的边。

表示计算网络层v_i，j所需要的浮点数计算量。

表示各网络层输出数据量的大小，其中o_i，j(bit)表示的是网络层v_i，j输出的数据大小，S_i表示设备的能量限制。

步骤3：以每个用户设备的能量S_i和边缘服务器的计算资源TH为约束条件，以神经网络分割方案和卸载方案为优化变量，以最大化每个用户计算任务的完成率为优化目标建立优化问题P。

步骤4：把优化问题P分解为两个子问题P1和P2。采用一种遍历搜索结合最大流最小割的方法对子问题P1进行求解；根据子问题P1的求解结果，采用动态规划算法求解问题P2；最终求得优化问题户，从而得到DNN网络最佳分割及卸载方案。

进一步地，所述步骤3中，优化问题P的表达式为：

其中V^loc和V^mec是所有用户的DNN网络分割决策，分别表示各用户在本地计算和边缘计算的网络层集合；th＝{th₁，…，th_N}表示服务器分配给各设备的计算资源；I＝{I₁,I₂,…,I_N}，I_i∈{0,1}，表示设备i上的计算请求是否被执行，I_i＝1表示请求被执行，否则表示不执行。

再进一步的，优化问题P的限制条件表达式为：

0≤th_i≤TH (1)

I_i∈{0,1} (3)

其中式(1)表示边缘服务器给设备分配的资源在1到TH之间，不能超过服务器的资源限制；式(2)表示所有设备所被分配计算资源的总和不能超过服务器的总计算资源TH；式(3)表示任务执行决策变量的限制范围为{0,1}。式(4)表示DNN推理所需能耗不能超过设备的能量限制。

更进一步的，所述步骤4中，问题P1的表达式为:

其中

这里k_i表示本地计算的能量效率系数；

表示计算网络层v_i,j所需要的时延；f_i表示本地计算速率；P_i表示设备工作时的功率；γ_i表示设备与服务器之间的传输速率；

表示传输网络层输出参数所需要的时延；

表示设备待机时的功率；f_e表示服务器上每一个线程的计算速率；

表示计算网络层v_i,j所需要的时延。上述问题P中式(1)、式(4)为问题P1的限制条件表达式。

问题P2的表达式为：

其中pr_i表示卸载设备i的网络层所能获得的收益，

上述式(2)、式(3)为问题P2的限制条件表达式。

更进一步地，所述步骤4中，采用遍历搜索结合最大流最小割的算法对步骤4中问题P1以及采用动态规划算法对问题P2进行求解的步骤为：

步骤4.1：首先遍历每一个用户i，计算其神经网络全部网络层都在本地计算所需要的能耗

如果此能耗不超过设备本身的能量限制，则让神经网络全部在本地进行计算。对于本地计算能耗超过设备能量限制的请求，将其放入另外一个队列Queue。

步骤4.2：针对队列Queue中的每一个请求，将服务器的资源从1到TH进行遍历，每次遍历都构造一个辅助图

辅助图

由原始的神经网络图G_i加上一些虚拟节点和边构成，虚拟节点是为了和网络节点连接成边，本身无实际意义；而图中的每一条边都有其实际意义，边的权重

表示的是当请求r_i的网络层j分得的计算资源为th_i的时候本地计算所需的能耗；

是r_i从本地向MEC传输数据所需要的能耗；

是r_i在MEC计算时本地设备空闲所需要的能耗。

步骤4.3：在辅助图

的基础上通过找到图中的最小割来计算出分配给设备的资源为th_i的时候卸载DNN所需要的最小能耗，直到这个最小能耗不超过设备能耗的限制时，求解出th_i，同时相应地得到最佳分割

和

如果当服务器将所有资源TH全部分配给设备i也不能满足其能量限制，则th_i＝∞。

步骤4.4：根据步骤4.3求得的th_i值计算完成执行所获得的收益pr_i。当0≤th_i≤TH时pr_i设置为1,表示任务可以执行完成，否则pr_i为0表示任务不能完成。

步骤4.5：用背包问题求解问题P2。其背包问题的递推关系式：

这里，dp[i][j]表示服务器资源为j,卸载第i个DNN所能获得的最大收益。根据其递推式求解出问题P2中的I值。

本发明的有益效果主要表现在：适用于多用户且设备能量和服务器资源都有限制的神经网络分割及卸载场景，根据用户设备自身的能量制定合理的分割策略来最小化神经网络推理计算所需要的能量，根据服务器计算资源的限制求解出有效的卸载决策来最大化利用服务器的资源，最后大幅提高设备神经网络推理计算任务的完成率。

附图说明

图1为神经网络边缘卸载系统的网络模型。

图2为神经网络建模原始图

图3为神经网络辅助分割图。

具体实施方式

下面结合附图对本发明做进一步说明。

结合图1、图2、图3，一种多用户边缘智能场景下的神经网络分割及卸载方法，包括如下步骤：

步骤1：将边缘服务器放置于基站BS中，并通过有线与BS连接。边缘服务器上放置各类已训练好的DNN模型，其计算资源为TH。在基站的通信范围内放置N个用户设备，多用户设备与基站之间的通信模式为时分复用，每个设备i也放置一个已训练好的DNN模型，其能量限制为S_i，这个DNN模型可以是链式结构比如AlexNet或者是有向无环图结构比如GoogleNet。

步骤2：每个设备i产生一个计算任务r_i＝{G_i,C_i,O_i,S_i},这里G_i＝<V_i,E_i>表示处理计算任务的神经网络，其中

表示图中的各节点，每个节点代表一个网络层，E_i＝{(v_i,j,v_i,l)|(v_i,j,v_i,l)∈V_i}表示各节点之间的边。

表示计算网络层v_i,j所需要的浮点数计算量。O_i＝{o_i,0,o_i,1,…,o_{i,|v_i|-1}}表示各网络层输出数据量的大小，其中o_i,j(bit)表示的是网络层v_i,j输出的数据大小，S_i表示设备的能量限制。DNN切割之后的网络层分为三个集合，

分别表示本地计算的网络层集合、本地计算网络层中需要将输出数据传到MEC的网络层的集合，和MEC计算的网络层集合。

步骤3：以每个用户设备的能量S_i和边缘服务器的计算资源TH为约束条件，以神经网络分割方案和卸载方案为优化变量，以最大化每个用户计算任务的完成率为优化目标建立优化问题P。

步骤4：把优化问题P分解为两个子问题P1和P2。采用一种时间复杂度为O(n)遍历搜索结合最大流最小割的方法对子问题P1进行求解；根据子问题P1的求解结果，采用动态规划算法求解问题P2；最终求得优化问题P，从而得到DNN网络最佳分割及卸载方案。

进一步地，所述步骤3中，优化问题P的表达式为：

其中V^loc和V^mec是所有用户的DNN网络分割决策，分别表示各用户在本地计算和边缘计算的网络层集合；th＝{th₁,…,th_N}表示服务器分配给各设备的计算资源；I＝{I₁,I₂,…,I_N}，I_i∈{0,1}，表示设备i上的计算请求是否被执行，I_i＝1表示请求被执行，否则表示不执行。

再进一步的，优化问题P的限制条件表达式为：

0≤th_i≤TH (1)

I_i∈{0,1} (3)

其中式(1)表示边缘服务器给设备分配的资源在1到TH之间，不能超过服务器的资源限制；式(2)表示所有设备所被分配计算资源的总和不能超过服务器的总计算资源TH；式(3)表示任务执行决策变量的限制范围为{0,1}。式(4)表示DNN推理所需能耗不能超过设备的能量限制。

更进一步的，所述步骤4中，问题P1的表达式为:

其中

这里k_i表示本地计算的能量效率系数；

表示计算网络层v_i,j所需要的时延；f_i表示本地计算速率；P_i表示设备工作时的功率；γ_i表示设备与服务器之间的传输速率；

表示传输网络层输出参数所需要的时延；

表示设备待机时的功率；f_e表示服务器上每一个线程的计算速率；

表示计算网络层v_i,j所需要的时延。上述问题P中式(1)、式(4)为问题P1的限制条件表达式。

问题P2的表达式为：

其中pr_i表示卸载设备i的网络层所能获得的收益，

上述式(2)、式(3)为问题P2的限制条件表达式。

更进一步地，所述步骤4中，采用遍历搜索结合最大流最小割的算法对步骤4中问题P1以及采用动态规划算法对问题P2进行求解的步骤为：

步骤4.1：首先遍历每一个用户i，计算其神经网络全部网络层都在本地计算所需要的能耗

如果此能耗不超过设备本身的能量限制，则让神经网络全部在本地进行计算,以便服务器将计算资源分配给其他用户。对于本地计算能耗超过设备能量限制的请求，将其放入另外一个队列Queue。

步骤4.2：针对队列Queue中的每一个请求，将服务器的资源从1到TH进行遍历，每次遍历都构造一个辅助图

辅助图

由原始的神经网络图G_i加上一些虚拟节点和边构成，虚拟节点是为了和网络节点连接成边，本身无实际意义；而图中的每一条边都有其实际意义，边的权重

表示的是当请求r_i的网络层j分得的计算资源为th_i的时候本地计算所需的能耗；

是r_i从本地向MEC传输数据所需要的能耗；

是r_i在MEC计算时本地设备空闲所需要的能耗。

步骤4.3：在辅助图

的基础上通过找到图中的最小割来计算出分配给设备的资源为th_i的时候卸载DNN所需要的最小能耗，直到这个最小能耗不超过设备能耗的限制时，求解出th_i，同时相应地得到最佳分割

和

如果当服务器将所有资源TH全部分配给设备i也不能满足其能量限制，则th_i＝∞。

步骤4.4：根据步骤4.3求得的th_i值计算完成执行所获得的收益pr_i。当0≤th_i≤TH时pr_i设置为1,表示任务可以执行完成，否则pr_i为0表示任务不能完成。将th_i表示为背包问题中的物品重量，收益pr_i表示为背包问题中物品价格，这样就可以将问题P2转化为一个背包问题。

步骤4.5：用背包问题求解问题P2。其背包问题的递推关系式：

判断第i个请求能否卸载的依据就是当卸载第i个请求时服务器所剩下的资源是否满足请求卸载所需要的资源，如果不能满足卸载，则收益不变，如果满足卸载，需要将卸载请求i所能获得的价值和不卸载请求i所能获得的最大价值进行比较，选出一个能获得最大价值的方案，这里，dp[i][j]表示服务器资源为j,卸载第i个DNN所能获得的最大收益。根据其递推式求解出问题P2中的I值。

针对如图1所示的N个物联网设备卸载神经网络到边缘服务器的场景来说明本发明的具体实施方案。

首先，系统中有一个边缘服务器BS与基站连接，其计算资源是有限的，在基站的通信范围内有N个用户设备，每个设备都有一个神经网络推理计算任务。

其次，以每个用户设备的能量S_i和边缘服务器的计算资源TH为约束条件，以神经网络分割方案和卸载方案为优化变量，以最大化每个用户计算任务的完成率为优化目标建立优化问题P。

然后，采用一种遍历搜索结合最大流最小割的方法得到神经网络分割方案{V^loc,V^mec}，采用动态规划算法得到卸载决策I。

最后，根据所求的最优解，将神经网络分割方案、计算卸载方案应用到边缘物联网设备上。

本发明适用于多用户且设备能量和服务器资源都有限制的神经网络分割及卸载场景，制定合适的神经网络分割和卸载方法，大幅提高设备神经网络推理计算任务的完成率。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (5)

1.一种多用户边缘智能场景下的神经网络分割及卸载方法，其特征在于，包括如下步骤：

步骤1：将边缘服务器放置于基站BS中，并通过有线与BS连接；边缘服务器上放置各类已训练好的DNN模型，其计算资源为TH；在基站的通信范围内放置N个用户设备，每个设备i也放置一个已训练好的DNN模型，其能量限制为S_i；

步骤2：每个设备i差生一个计算任务r_i＝{G_i,C_i,O_i,S_i}，这里G_i＝<V_i,E_i>表示处理计算任务的神经网络，其中

表示图中的各节点，每个节点代表一个网络层，E_i＝{(v_i,j,v_i,l)|(v_i,j,v_i,l)∈V_i}表示各节点之间的边；

表示计算网络层v_i,j所需要的浮点数计算量；

表示各网络层输出数据量的大小，其中o_i,j(bit)表示的是网络层v_i,j输出的数据大小，S_i表示设备的能量限制；

步骤3：以每个用户设备的能量S_i和边缘服务器的计算资源TH为约束条件，以神经网络分割方案和卸载方案为优化变量，以最大化每个用户计算任务的完成率为优化目标建立优化问题P；

步骤4：把优化问题P分解为两个子问题P1和P2；采用一种遍历搜索结合最大流最小割的方法对子问题P1进行求解；根据子问题P1的求解结果，采用动态规划算法求解问题P2；最终求得优化问题P，从而得到DNN网络最佳分割及卸载方案。

2.如权利要求1所述的一种多用户边缘智能场景下的神经网络分割及卸载方法，其特征在于，步骤3所述的优化问题P的表达式为：

其中V^loc和V^mec是所有用户的DNN网络分割决策，分别表示各用户在本地计算和边缘计算的网络层集合；th＝{th₁,…,th_N}表示服务器分配给各设备的计算资源；I＝{I₁,I₂,…,I_N}，I_i∈{0,1}，表示设备i上的计算请求是否被执行，I_i＝1表示请求被执行，否则表示不执行。

3.如权利要求1所述的一种多用户边缘智能场景下的神经网络分割及卸载方法，其特征在于，优化问题P的限制条件表达式为：

0≤th_i≤TH (1)

I_i∈{0,1} (3)

其中式(1)表示边缘服务器给设备分配的资源在1到TH之间，不能超过服务器的资源限制；式(2)表示所有设备所被分配计算资源的总和不能超过服务器的总计算资源TH；式(3)表示任务执行决策变量的限制范围为{0,1}；式(4)表示DNN推理所需能耗不能超过设备的能量限制。

4.如权利要求1所述的一种多用户边缘智能场景下的神经网络分割及卸载方法，其特征在于，所述步骤4中，问题P1的表达式为:

其中

这里k_i表示本地计算的能量效率系数；

表示计算网络层v_i,j所需要的时延；f_i表示本地计算速率；P_i表示设备工作时的功率；γ_i表示设备与服务器之间的传输速率；

表示传输网络层输出参数所需要的时延；

表示设备待机时的功率；f_e表示服务器上每一个线程的计算速率；

表示计算网络层v_i,j所需要的时延；上述优化问题P中式(1)、式(4)为问题P1的限制条件表达式；

问题P2的表达式为：

其中pr_i表示卸载设备i的网络层所能获得的收益，

上述式(2)、式(3)为问题P2的限制条件表达式。

5.如权利要求1所述的一种多用户边缘智能场景下的神经网络分割及卸载方法，其特征在于，步骤4中，采用遍历搜索结合最大流最小割的算法对步骤4中问题P1以及采用动态规划算法对问题P2进行求解的步骤为：

步骤4.1：首先遍历每一个用户i，计算其神经网络全部网络层都在本地计算所需要的能耗

如果此能耗不超过设备本身的能量限制，则让神经网络全部在本地进行计算；对于本地计算能耗超过设备能量限制的请求，将其放入另外一个队列Queue；

步骤4.2：针对队列Queue中的每一个请求，将服务器的资源从1到TH进行遍历，每次遍历都构造一个辅助图

辅助图

由原始的神经网络图G_i加上一些虚拟节点和边构成，虚拟节点是为了和网络节点连接成边，本身无实际意义；而图中的每一条边都有其实际意义，边的权重

表示的是当请求r_i的网络层j分得的计算资源为th_i的时候本地计算所需的能耗；

是r_i从本地向MEC传输数据所需要的能耗；

是r_i在MEC计算时本地设备空闲所需要的能耗；

步骤4.3：在辅助图

的基础上通过找到图中的最小割来计算出分配给设备的资源为th_i的时候卸载DNN所需要的最小能耗，直到这个最小能耗不超过设备能耗的限制时，求解出th_i，同时相应地得到最佳分割

和

如果当服务器将所有资源TH全部分配给设备i也不能满足其能量限制，则th_i＝∞；

步骤4.4：根据步骤4.3求得的th_i值计算完成执行所获得的收益pr_i；当0≤th_i≤TH时pr_i设置为1,表示任务可以执行完成，否则pr_i为0表示任务不能完成；

步骤4.5：用背包问题求解问题P2；其背包问题的递推关系式：

这里，dp[i][j]表示服务器资源为j,卸载第i个DNN所能获得的最大收益；根据其递推式求解出问题P2中的I值。

Images