CN112615736A - 面向线性边缘网络的延迟最优分布式NNs协同优化方法 - Google Patents

Abstract

本发明公开了一种面向线性边缘网络的延迟最优分布式NNs协同优化方法，本发明首先将神经网络建模成有向图G^N；然后将线性结构的边缘网络G^E和有向图G^N通过建模得到特定的辅助图G^k；之后任意分割辅助图G^k得到一个S‑T割集，该S‑T割集代表着对应的神经网络最优切割分配方案，S‑T割集的值代表着当前方案对应的总延迟；最后在辅助图G^k上找出最小S‑T割集，即得到面向线性边缘网络的最优分布式神经网络协同计算策略。本发明利用最大流最小割算法得到切割一般结构的神经网络并分配到线性结构边缘网络的最优分配方案。该方法能够明显降低在边缘设备中计算整个神经网络的总延迟。

Description

面向线性边缘网络的延迟最优分布式NNs协同优化方法

技术领域

本发明涉及了一种面向线性边缘网络的延迟最优分布式NNs协同优化方法，属于计算机人工智能领域。

背景技术

深度神经网络(DNN)在计算机视觉，自然语言处理等在内的各个领域都取得了显著成果。由于其复杂的结构，DNN的任务需要大量的计算。为了满足较高的计算要求，通常在提供了强大的计算资源的云中部署DNN，

同时，随着DNN的发展，智能终端用户应用正成为增长趋势。例如，在自动驾驶应用程序中，车辆需要首先收集视频流和传感信息的现场数据，然后将其发送到云中功能强大的DNN服务器。在云中执行推理计算后，将返回驾驶决策。但是，不可避免地会造成带宽负担，因为大量的数据是从一端生成并通过网络传输的。此外，像自动驾驶这样的智能称谓必须获得几乎即时的决策，而云模型不可避免地会引入额外的推理延迟。为了避免拥塞和延迟，将机器学习推理从云推到边缘进行边缘计算。在这种模型下，推理计算是在终端设备上完成的。由于有限的计算资源和能量约束，边缘设备通常不能完全支持推理计算的大工作量。

DNN的协作计算，它是将DNN划分到不同的层，然后在多个异构设备上分配分区，以形成分布式DNN(D-DNN)。通过这种方式，可以充分利用边缘设备中的本地资源来运行DNN分区。此外，由于保留了DNN架构，因此不会牺牲准确性。

发明内容

本发明所要解决的技术问题是针对当前单个边缘设备不能完全支持处理整个深度神经网络的情况，提出一种面向线性边缘网络的分布式神经网络协同优化方法。

本发明为解决上述技术问题采用以下技术方案：

本发明提出一种面向线性边缘网络的延迟最优分布式神经网络(NNs)协同优化方法，具体包括以下步骤：

步骤一、将一般结构的神经网络通过建模得到有向图G^N；

步骤二、将边缘设备部署图映射成线性拓扑结构的边缘网络图G^E；

步骤三、将步骤一中得到的有向图G^N和步骤二中得到的边缘网络G^E，通过建模得到辅助图G^k；

步骤四、在辅助图G^k上利用最大流最小割算法找到图G^k中的最小S-T割集；其中，在G^k上切割一组边使得源点S和汇点T被分割在两个不相交的集合中，这组边构成的集合就是S-T割集C；S-T的值就是集合中所有边的权重之和；

步骤五、根据最小S-T割集，得到该S-T割集对应的分布式神经网络，即最优的分布式神经网络；

如前所述的一种面向线性边缘网络的分布式神经网络协同计算方法，进一步地，步骤一所述的具体步骤包括：

步骤1.1、对于一个具有n层的神经网络架构，将其中每一层神经网络l_i映射成有向图G^N中的一个节点v_i；

步骤1.2、将具有计算依赖性的l_i层和l_j层神经网络对应的节点v_i和v_j相连,其中若是先计算l_i层再计算l_j层，那么构造由v_i指向v_j的边(v_i,v_j),反之，构造边(v_j,v_i)。

步骤二的具体步骤包括：

步骤2.1、将边缘设备部署图映射成线性拓扑结构的边缘网络图G^E＝(U,L)。

其中U表示边缘节点集合U＝{u₁,...,u_l}，L表示边缘网络图中的边集；

令(u_i,u_j)∈L代表边缘节点u_i和u_j互相可以直接通信；

令d(u_i,u_j)表示边缘节点u_i和u_j之间的通信延迟；如果边缘节点u_i和u_j在G^E中不是邻居节点，那么令d(u_i,u_j)表示边缘节点u_i和u_j在G^E上的最短通信延迟；

步骤2.2、对于一个神经网络，假设它的所有网络层可以在G^E上的任意边缘节点上进行计算，则：

令σ(v_i)＝u_j表示神经网络节点v_i被分配到了边缘节点u_j上进行计算；那么σ就表示所有神经网络层在G^E上进行计算的分配方案；对于神经网络层v_i∈V，令它在边缘节点u_j∈U上的计算时间用

来表示；

如果两个相邻的神经网络层v_i和v_j被分配到同一个边缘节点u上进行计算，则忽略这两者之间的通信延迟；否则，v_i和v_j之间的通信延迟被设置成v_i和v_j对应的边缘节点σ(v_i)和σ(v_j)之间的通信延迟；

步骤2.3、定义所有神经网络层分配到边缘网络之后进行协同计算所需要的时间T_N，

其中，T_N(σ,G^N)表示对于图G^N在σ映射下的总延迟；

步骤三的具体步骤包括：

步骤3.1、构造辅助图G^k＝(W^k,ε^k)中的节点集合W^k；

步骤3.2、构造辅助图G^k＝(W^k,ε^k)中的边集ε^k；

如前所述的一种面向线性边缘网络的分布式神经网络协同计算方法，进一步地，步骤3.1所述的具体步骤包括：

步骤3.1.1、对于有向图G^N中的v_i∈V创建对应节点w_i0∈W_V，其中V表示有向图G^N中的节点集合；

步骤3.1.2、对于有向图G^N中的每个节点v_i∈V，根据边缘网络G^E克隆一个对应链:从U中的第一个节点u₁开始，对于每个节点u_j∈U，创建一个对应节点w_ij∈W_U；

步骤3.1.3、创建源点S，汇点T；

W^k＝W_V∪W_U∪{S,T}；

如前所述的一种面向线性边缘网络的分布式神经网络协同计算方法，进一步地，步骤3.2所述的具体步骤包括：

步骤3.2.1、创建边集ε_V；对于有向图G^N中的任意边(v_i,v_j),在G^k中创建一个有向边(w_i0,w_j0)，同时设置这条边的权重为c(w_i0,w_j0)＝∞；

步骤3.2.2、创建垂直边集

对于G^E上的每条边(u_j,u_p)∈L，在G^k中创建一条对应边(w_ij,w_ip)∈ε¹ _U；在对应的每一组节点v_i和u_j之间创建有向边(w_i0,w_i1)；同时对于任意边(w_ij,w_i(j+1))(1≤i≤|V|,0≤j≤|U|-1)，设置其权重为

步骤3.2.3、创建水平边集

对于G^N上的每条边(v_i,v_j)∈V和每个边缘节点u_m∈U，创建一条双向边(w_im,w_jm)；同时设置这条边的权重为c(w_im,w_jm)＝d(u_m,u_m+1)；

步骤3.2.4、对于G^N上的每个节点v_i∈V，创建一条从源点S出发的边(S,w_i0)，同时设置这条边的权重为∞；对于每个v_i∈V，创建一条指向汇点T的边(w_i|u|,T)，同时设置这条边的权重为∞；将这些边添加到步骤3.2.1中创建的边集ε_V中；

本发明的技术方案与现有技术相比，具有以下优点：

1.将单个深度神经网络切割成多个分区，将单个神经网络进行分区能够将单个任务切割成多个子任务，有效减少了每个任务需要进行处理的计算量大小，同时解决了由于计算资源和能量约束，单个边缘设备不能完全支持处理整个神经网络的问题。

2.本发明针对线性边缘网络提出了最优分布式神经网络协同优化方法，对于线性结构的边缘网络和一般结构的神经网络通过构造辅助图并利用图理论的方式得到最优的分布式协同优化方案。

附图说明

图1是本发明整体的流程图；

图2是本发明的应用场景示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明针对当前单个边缘设备不能完全支持处理整个深度神经网络的情况，提出了一种面向线性边缘网络的分布式神经网络协同优化方法。针对线性结构的边缘网络，能够找到最优的分布式神经网络协同优化策略，降低了在边缘设备上计算深度神经网络所需的总延迟。

本发明提出的一种面向线性边缘网络的延迟最优分布式神经网络(NNs)协同优化方法，规定当前网络带宽能够负载大量文件，无网络拥塞情况。同时规定一个深度神经网络中的所有神经网络层可以在边缘网络中的任意边缘节点上进行处理。

在以上条件之下，切割深度神经网络并分配到线性边缘网络中进行处理。切割神经网络并进行分配的步骤如图1所示。具体包括以下步骤：

步骤一、将一般结构的神经网络通过建模得到有向图G^N，具体步骤如下：

步骤1.1、对于一个具有n层的神经网络架构，将其中每一层神经网络l_i映射成有向图G^N中的一个节点v_i；

步骤1.2、将具有计算依赖性的l_i层和l_j层神经网络对应的节点v_i和v_j相连,其中若是先计算l_i层再计算l_j层，那么构造由v_i指向v_j的边(v_i,v_j),反之，构造边(v_j,v_i)；

步骤二、将边缘设备部署图映射成线性拓扑结构的边缘网络图G^E，具体步骤如下：

步骤2.1、将边缘设备部署图映射成线性拓扑结构的边缘网络图G^E＝(U,L)；

其中U表示边缘节点集合U＝{u₁,...,u_l}，L表示边缘网络图中的边集；

令(u_i,u_j)∈L代表边缘节点u_i和u_j互相可以直接通信；

令d(u_i,u_j)表示边缘节点u_i和u_j之间的通信延迟；如果边缘节点u_i和u_j在G^E中不是邻居节点，那么令d(u_i,u_j)表示边缘节点u_i和u_j在G^E上的最短通信延迟；

步骤2.2、对于一个神经网络，假设它的所有网络层可以在G^E上的任意边缘节点上进行计算，则：

令σ(v_i)＝u_j表示神经网络节点v_i被分配到了边缘节点u_j上进行计算；那么σ就表示所有神经网络层在G^E上进行计算的分配方案；对于神经网络层v_i∈V，令它在边缘节点u_j∈U上的计算时间用

来表示；

如果两个相邻的神经网络层v_i和v_j被分配到同一个边缘节点u上进行计算，则忽略这两者之间的通信延迟；否则，v_i和v_j之间的通信延迟被设置成v_i和v_j对应的边缘节点σ(v_i)和σ(v_j)之间的通信延迟；

步骤2.3、定义所有神经网络层分配到边缘网络之后进行协同计算所需要的时间T_N，

其中，T_N(σ,G^N)表示对于图G^N在σ映射下的总延迟；

步骤三、将步骤一中得到的有向图G^N和步骤二中得到的线性拓扑结构边缘网络G^E，通过建模得到辅助图G^k：

步骤3.1、构造辅助图G^k＝(W^k,ε^k)中的节点集合W^k，具体步骤如下：

步骤3.1.1、对于有向图G^N中的每个节点v_i∈V创建对应节点w_i0∈W_V，其中V表示有向图G^N中的节点集合；

步骤3.1.2、对于有向图G^N中的每个节点v_i∈V，根据边缘网络G^E克隆一个对应链:从U中的第一个节点u₁开始，对于每个节点u_j∈U，创建一个对应节点w_ij∈W_U；

步骤3.1.3、创建源点S，汇点T；

步骤3.2、构造辅助图G^k＝(W^k,ε^k)中的边集ε^k，具体步骤如下：

步骤3.2.1、创建边集ε_V；对于有向图G^N中的任意边(v_i,v_j),在G^k中创建一个有向边(w_i0,w_j0)，同时设置这条边的权重为c(w_i0,w_j0)＝∞；

步骤3.2.2、创建垂直边集

对于G^E上的每条边(u_j,u_p)∈L，在G^k中创建一条对应边(w_ij,w_ip)∈ε¹ _U；在对应的每一组节点v_i和u_j之间创建有向边(w_i0,w_i1)；同时对于任意边(w_ij,w_i(j+1))(1≤i≤|V|,0≤j≤|U|-1)，设置其权重为

步骤3.2.3、创建水平边集

对于G^N上的每条边(v_i,v_j)∈V和每个边缘节点u_m∈U，创建一条双向边(w_im,w_jm)；同时设置这条边的权重为c(w_im,w_jm)＝d(u_m,u_m+1)；

步骤3.2.4、对于G^N上的每个节点v_i∈V，创建一条从源点S出发的边(S,w_i0)，同时设置这条边的权重为∞；对于每个v_i∈V，创建一条指向汇点T的边(w_i|u|,T)，同时设置这条边的权重为∞；将这些边添加到步骤3.2.1中创建的边集ε_V中；

在本发明应用场景中，以智能交通为例，在自动驾驶应用程序中，车辆首先收集视频流和传感信息的现场数据，之后将收集的数据输入深度神经网络框架进行推理计算。针对当前单个边缘设备不能完全支持处理整个深度神经网络的情况，可以利用本发明解决。如图2所示，多个边缘设备构成了线性结构的边缘网络，车辆将数据包发送给该边缘网络并利用本发明中提出的算法得到最优的分布式神经网络协同计算策略，经过协同计算后，边缘设备将决策结果返回给车辆。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种面向线性边缘网络的延迟最优分布式NNs协同优化方法，其特征在于，包括以下步骤：

步骤一、将一般结构的神经网络通过建模得到有向图G^N；

步骤二、将边缘设备部署图映射成线性拓扑结构的边缘网络图G^E；

步骤三、将步骤一中得到的有向图G^N和步骤二中得到的边缘网络G^E，通过建模得到辅助图G^k；

步骤四、在辅助图G^k上利用最大流最小割算法找到图G^k中的最小S-T割集；其中，在G^k上切割一组边使得源点S和汇点T被分割在两个不相交的集合中，这组边构成的集合就是S-T割集C；S-T的值就是集合中所有边的权重之和；

步骤五、根据最小S-T割集，得到该最小S-T割集对应的分布式神经网络，即最优的分布式神经网络；

所述步骤一的步骤包括：

步骤1.1、对于一个具有n层的神经网络架构，将其中每一层神经网络l_i映射成有向图G^N中的一个节点v_i；

步骤1.2、将具有计算依赖性的l_i层和l_j层神经网络对应的节点v_i和v_j相连,其中若是先计算l_i层再计算l_j层，那么构造由v_i指向v_j的边(v_i,v_j)，反之，构造边(v_j,v_i)；

所述步骤二的步骤包括：

步骤2.1、将边缘设备部署图映射成线性拓扑结构的边缘网络图G^E＝(U,L)；

其中U表示边缘节点集合U＝{u₁,...,u_l}，L表示边缘网络图中的边集；

令(u_i,u_j)∈L代表边缘节点u_i和u_j互相直接通信；

令d(u_i,u_j)表示边缘节点u_i和u_j之间的通信延迟；如果边缘节点u_i和u_j在G^E中不是邻居节点，那么令d(u_i,u_j)表示边缘节点u_i和u_j在G^E上的最短通信延迟；

步骤2.2、对于一个神经网络，假设它的所有网络层可以在G^E上的任意边缘节点上进行计算，则：

令σ(v_i)＝u_j表示神经网络节点v_i被分配到了边缘节点u_j上进行计算；那么σ就表示所有神经网络层在G^E上进行计算的分配方案；对于神经网络层v_i∈V，令它在边缘节点u_j∈U上的计算时间用

来表示；

如果两个相邻的神经网络层v_i和v_j被分配到同一个边缘节点u上进行计算，则忽略这两者之间的通信延迟；否则，v_i和v_j之间的通信延迟被设置成v_i和v_j对应的边缘节点σ(v_i)和σ(v_j)之间的通信延迟；

步骤2.3、定义所有神经网络层分配到边缘网络之后的进行协同计算所需要的时间T_N，

其中，T_N(σ,G^N)表示对于图G^N在σ映射下的总延迟；

所述步骤三的步骤包括：

步骤3.1、构造辅助图G^k＝(W^k,ε^k)中的节点集合W^k；

步骤3.2、构造辅助图G^k＝(W^k,ε^k)中的边集ε^k。

2.如权利要求1所述的一种面向线性边缘网络的延迟最优分布式NNs协同优化方法，其特征在于，

所述步骤3.1的步骤包括：

步骤3.1.1、对于有向图G^N中的每个节点v_i∈V创建对应节点w_i0∈W_V，其中V表示G^N中的节点集合；

步骤3.1.2、对于有向图G^N中的每个节点v_i∈V，根据边缘网络G^E克隆一个对应链:从U中的第一个节点u₁开始，对于每个节点u_j∈U，创建一个对应节点w_ij∈W_U；

步骤3.1.3、创建源点S，汇点T；

W^k＝W_V∪W_U∪{S,T}；

所述步骤3.2的步骤包括：

步骤3.2.1、创建边集ε_V；对于有向图G^N中的任意边(v_i,v_j),在G^k中创建一个有向边(w_i0,w_j0)，同时设置这条边的权重为c(w_i0,w_j0)＝∞；

步骤3.2.2、创建垂直边集

对于G^E上的每条边(u_j,u_p)∈L，在G^k中创建一条对应边

在对应的每一组节点v_i和u_j之间创建有向边(w_i0,w_i1)；同时对于任意边(w_ij,w_i(j+1))(1≤i≤|V|,0≤j≤|U|-1)，设置其权重为

步骤3.2.3、创建水平边集

对于G^N上的每条边(v_i,v_j)∈V和每个边缘节点u_m∈U，创建一条双向边(w_im,w_jm)；同时设置这条边的权重为c(w_im,w_jm)＝d(u_m,u_m+1)；

步骤3.2.4、对于G^N上的每个节点v_i∈V，创建一条从源点S出发的边(S,w_i0)，同时设置这条边的权重为∞；对于每个v_i∈V，创建一条指向汇点T的边(w_i|u|,T)，同时设置这条边的权重为∞；将这些边添加到步骤3.2.1中创建的边集ε_V中；

Images