CN112579285B - 面向边缘网络的分布式神经网络协同优化方法 - Google Patents

Abstract

本发明公开了一种面向边缘网络的分布式神经网络协同优化方法。本方法首先将神经网络建模成有向图G^N；然后将边缘网络G^E和有向图G^N通过建模得到特定的辅助图G^d；之后对辅助图G^d进行迭代优化求解当前最小割并得到最终S‑T割集，即面向边缘网络的高效分布式神经网络协同优化策略。本发明结合图理论对神经网络进行分层分区得到了面向边缘网络的高效分布式神经网络协同优化策略。该方法能够明显降低在边缘设备对分布式神经网络进行协同计算的总延迟。

Description

面向边缘网络的分布式神经网络协同优化方法

技术领域

本发明涉及了一种面向边缘网络的分布式神经网络协同优化方法，属于计算机人工智能领域。

背景技术

深度神经网络(DNN)的最新进展大大提高了计算机视觉和视频分析的准确性和速度，为新一代智能应用创造了新的途径。云计算技术的成熟，加上TPU、GPU等功能强大的硬件，成为此类计算密集型DNN任务的典型选择。例如，在一个自动驾驶汽车应用程序中，摄像头连续监控周围的场景并将其传输到服务器，然后服务器进行视频分析并将控制信号反馈给踏板和方向盘。在增强现实应用程序中，智能玻璃不断记录当前视图并将信息流传输到云服务器，而云服务器执行对象识别并发回上下文增强标签，以便无缝显示在实际场景上。

实现智能应用的一个障碍是视频流的大量数据量。例如，谷歌的自动驾驶汽车每秒可产生高达750兆字节的传感器数据，但现有最快解决方案4G的平均上行链路速率仅为5.85Mbps。当用户快速移动或网络负载重时，数据速率显著降低。为了避免网络的影响，将计算放在数据源附近，边缘计算应运而生。作为一种无网络的方法，它提供随时随地可用的计算资源。例如，AWS DeepLens相机可以运行深卷积神经网络(CNNs)来分析视觉图像。然而，边缘设备本身受到计算能力和能量的限制，边缘设备通常不能完全支持推理计算的大工作量。

DNN的协作计算，它是将DNN划分到不同的层，然后在多个异构设备上分配分区，以形成分布式DNN(D-DNN)。通过这种方式，可以充分利用边缘设备中的本地资源来运行DNN分区。此外，由于保留了DNN架构，因此不会牺牲准确性。

发明内容

本发明所要解决的技术问题是针对当前单个边缘设备不能完全支持处理整个深度神经网络的情况，提出一种面向边缘网络的分布式神经网络协同优化方法。

本发明为解决上述技术问题采用以下技术方案：

本发明提出一种面向边缘网络的分布式神经网络协同优化方法，具体包括以下步骤：

步骤一、将神经网络通过建模得到有向图G^N；

步骤二、将边缘设备部署图映射成相应的边缘网络图G^E；

步骤三、将步骤一中得到的有向图G^N和步骤二中得到的边缘网络G^E，通过建模得到特定的辅助图G^d；

步骤四、在步骤三中得到的辅助图G^d上找到迭代中的最小S-T割集；其中，在G^d上切割一组边使得源点S和汇点T被分割在两个不相交的集合中，这组边构成的集合就是S-T割集C；S-T的值就是集合中所有边的权重之和；

步骤五、根据步骤四得到的最小S-T割集，得到该S-T割集对应的面向边缘网络的分布式神经网络协同计算策略；

步骤一的具体步骤包括：

步骤1.1、对于一个具有n层的神经网络架构，将其中每一层神经网络l_i映射成有向图G^N中的一个节点v_i；

步骤1.2、将具有计算依赖性的l_i层和l_j层神经网络对应的节点v_i和v_j相连,其中若是先计算l_i层再计算l_j层，那么构造由v_i指向v_j的边(v_i,v_j),反之，构造边(v_j,v_i)；

步骤二的具体步骤包括：

步骤2.1、将边缘设备部署图映射成相应的边缘网络图G^E＝(U,L)；

其中U表示边缘节点集合U＝{u₁,...,u_l}，L表示边缘网络图中的边集；

令(u_i,u_j)∈L代表边缘节点u_i和u_j互相直接通信；

令d(u_i,u_j)表示边缘节点u_i和u_j之间的通信延迟；如果边缘节点u_i和u_j在G^E中不是邻居节点，那么令d(u_i,u_j)表示边缘节点u_i和u_j在G^E上的最短通信延迟；

步骤2.2、对于一个神经网络，假设它的所有网络层可以在G^E上的任意边缘节点上进行计算，则：

令σ(v_i)＝u_j表示神经网络节点v_i被分配到了边缘节点u_j上进行计算；则σ表示所有神经网络层在G^E上进行计算的分配方案；对于神经网络层v_i∈V，令它在边缘节点u_i∈U上的计算时间用来表示；

如果两个相邻的神经网络层v_i和v_j被分配到同一个边缘节点u_k上进行计算，则忽略这两者之间的通信延迟；否则，v_i和v_j之间的通信延迟被设置成v_i和v_j对应的边缘节点σ(v_i)和σ(v_j)之间的通信延迟；

步骤2.3、定义所有神经网络层分配到边缘网络之后进行协同计算所需要的时间T_N；

其中，T_N(σ,G^N)表示对于图G^N在σ映射下的总延迟；

步骤三的具体步骤包括：

步骤3.1、对于初始分配σ，以表示分配到边缘节点u_k进行计算的神经网络层的集合；

步骤3.2、在步骤3.1的初始分配σ的前提下构造图G^d＝(W^d,ε^d)；图G^d的结点集W^d，边集ε^d；步骤3.2的步骤包括：

步骤3.2.1、对于每一层神经网络v_i∈V，在图G^d的结点集W^d中添加对应节点w_i；将节点w_i分别与源点S和汇点T相连得到边集合ε₁中的边(S,w_i)和(w_i,T)；如果那么设置边(S,w_i)的权重为/>边(w_i,T)的权重为∞；否则，令

步骤3.2.2、对于有向图G^N的每条边(v_i,v_j)，创建其对应的水平边；

步骤四的具体步骤包括：

步骤4.1、对于神经网络层v_i，如果辅助图G^d中的一个割c经过了边(S,w_i)，则将神经网络层v_i分配到边缘节点u_i上进行计算；如果割c经过了边(w_i,T)，那么神经网络层v_i的分配策略保持不变；得到割c的新分配方案σ'；

步骤4.2、令u_k是边缘节点集合U中的第k个节点，1≤k≤|U|；

步骤4.3、对于边缘节点u_k∈U，利用最大流最小割的方法得到当前的最小割c_min；根据最小割c_min和步骤4.1得到σ'，σ'表示c_min对应的分配方案；如果σ'的代价小于σ，那么就令σ＝σ'，U＝U\{u_k}；

步骤4.4、重复步骤4.2和4.3，直到U＝φ，即U中的节点为空；

步骤4.5、根据步骤4.1～4.4，得到最终的σ'；

所述步骤五中，以步骤四得到最终σ'对应的分布式神经网络为最优的分布式神经网络；

步骤3.2.2中，包括四种不同情况：

情况一：如果σ(v_i)＝σ(v_j)＝u_k，即神经网络层v_i和v_j都分配到边缘节点u_k上进行计算，那么w_i和w_j之间没有水平边；

情况二：如果在神经网络层v_i和v_j中只有一个被分配到边缘节点u_k上进行计算，那么创建边(w_i,w_j)，并设置其权重为c(w_i,w_j)＝d(σ(v_i),σ(v_j))；

情况三：如果神经网络层v_i和v_j被分配到了两个不同的边缘节点上进行计算，且σ(v_i)≠u_k，σ(v_j)≠u_k，即这两个边缘节点都不是u_k，则在w_i和w_j之间创建一个辅助节点o(w_i,w_j)；将o(w_i,w_j)分别和w_i、w_j创建双向边(w_i,o(w_i,w_j))和(o(w_i,w_j),w_j)，同时设置它们的权重分别为c(w_i,o(w_i,w_j))＝d(σ(v_i),u_k)，c(o(w_i,w_j),w_j)＝d(u_k,σ(v_j))；将节点o(w_i,w_j)和汇点T相连创建第三条边(o(w_i,w_j),T)，同时设置它的权重是c(o(w_i,w_j),T)＝d(σ(v_i),σ(v_j))；

情况四：如果神经网络层v_i和v_j都被分配到同一个边缘节点u_m上进行计算，且u_k≠u_m，则创建边(w_i,w_j)，同时设置它的权重为c(w_i,w_j)＝d(u_k,u_m)。

本发明采用以上技术方案与现有技术相比，具有以下优点：

1.将单个深度神经网络分配到多个边缘设备上进行计算处理。对分割单个神经网络得到的多个子任务根据各边缘设备的计算资源、处理性能等属性进行分配，能有效减少计算整个神经网络的总延迟。

2.本发明针对边缘网络提出了高效分布式神经网络协同计算方法。对于边缘网络和神经网络通过利用图理论构造辅助图最终得到高效的分布式协同计算方案。

附图说明

图1是本发明整体的流程图

图2是本发明的应用场景示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

在以上条件之下，对于边缘网络找到高效的分布式神经网络协同优化方法的步骤如图1所示。具体包括以下步骤：

步骤一、将神经网络通过建模得到有向图G^N；

步骤1.1、对于一个具有n层的神经网络架构，将其中每一层神经网络l_i映射成有向图G^N中的一个节点v_i；

步骤1.2、将具有计算依赖性的l_i层和l_j层神经网络对应的节点v_i和v_j相连,其中若是先计算l_i层再计算l_j层，那么构造由v_i指向v_j的边(v_i,v_j),反之，构造边(v_j,v_i)；

步骤二、将边缘设备部署图映射成相应的边缘网络图G^E；

步骤2.1、将边缘设备部署图映射成相应的边缘网络图G^E＝(U,L)；

其中U表示边缘节点集合U＝{u₁,...,u_l}，L表示边缘网络图中的边集；

令(u_i,u_j)∈L代表边缘节点u_i和u_j互相直接通信；

令d(u_i,u_j)表示边缘节点u_i和u_j之间的通信延迟；如果边缘节点u_i和u_j在G^E中不是邻居节点，那么令d(u_i,u_j)表示边缘节点u_i和u_j在G^E上的最短通信延迟；

步骤2.2、对于一个神经网络，假设它的所有网络层可以在G^E上的任意边缘节点上进行计算，则：

令σ(v_i)＝u_j表示神经网络节点v_i被分配到了边缘节点u_j上进行计算；则σ表示所有神经网络层在G^E上进行计算的分配方案；对于神经网络层v_i∈V，令它在边缘节点u_i∈U上的计算时间用来表示；

如果两个相邻的神经网络层v_i和v_j被分配到同一个边缘节点u_k上进行计算，则忽略这两者之间的通信延迟；否则，v_i和v_j之间的通信延迟将会被设置成v_i和v_j对应的边缘节点σ(v_i)和σ(v_j)之间的通信延迟；

步骤2.3、定义所有神经网络层分配到边缘网络之后进行协同计算所需要的时间T_N；

其中，T_N(σ,G^N)表示对于图G^N在σ映射下的总延迟；

步骤三、将步骤一中得到的有向图G^N和步骤二中得到的边缘网络G^E，通过建模得到特定的辅助图G^d；

步骤3.1、对于初始分配σ，以R_uk表示分配到边缘节点u_k进行计算的神经网络层的集合；

步骤3.2、在步骤3.1的初始分配σ的前提下构造图G^d＝(W^d,ε^d)；图G^d的结点集W^d，边集ε^d；步骤3.2的步骤包括：

步骤3.2.1、对于每一层神经网络v_i∈V，在图G^d的结点集W^d中添加对应节点w_i；将节点w_i分别与源点S和汇点T相连得到边集合ε₁中的边(S,w_i)和(w_i,T)；如果那么设置边(S,w_i)的权重为/>边(w_i,T)的权重为∞；否则，令

步骤3.2.2、对于有向图G^N的每条边(v_i,v_j)，创建其对应的水平边；

步骤3.2.2中，包括四种不同情况：

情况一：如果σ(v_i)＝σ(v_j)＝u_k，即神经网络层v_i和v_j都分配到边缘节点u_k上进行计算，那么w_i和w_j之间没有水平边；

情况二：如果在神经网络层v_i和v_j中只有一个被分配到边缘节点u_k上进行计算，那么创建边(w_i,w_j)，并设置其权重为c(w_i,w_j)＝d(σ(v_i),σ(v_j))；

情况三：如果神经网络层v_i和v_j被分配到了两个不同的边缘节点上进行计算，且σ(v_i)≠u_k，σ(v_j)≠u_k，即这两个边缘节点都不是u_k，则在w_i和w_j之间创建一个辅助节点o(w_i,w_j)；将o(w_i,w_j)分别和w_i、w_j创建双向边(w_i,o(w_i,w_j))和(o(w_i,w_j),w_j)，同时设置它们的权重分别为c(w_i,o(w_i,w_j))＝d(σ(v_i),u_k)，c(o(w_i,w_j),w_j)＝d(u_k,σ(v_j))；将节点o(w_i,w_j)和汇点T相连创建第三条边(o(w_i,w_j),T)，同时设置它的权重是c(o(w_i,w_j),T)＝d(σ(v_i),σ(v_j))；

情况四：如果神经网络层v_i和v_j都被分配到同一个边缘节点u_m上进行计算，且u_k≠u_m，则创建边(w_i,w_j)，同时设置它的权重为c(w_i,w_j)＝d(u_k,u_m)；

步骤四、在步骤三中得到的辅助图G^d上找到迭代中的最小S-T割集；其中，在G^d上切割一组边使得源点S和汇点T被分割在两个不相交的集合中，这组边构成的集合就是S-T割集C；S-T的值就是集合中所有边的权重之和；

步骤4.1、对于神经网络层v_i，如果辅助图G^d中的一个割c经过了边(S,w_i)，则将神经网络层v_i分配到边缘节点u_i上进行计算；如果割c经过了边(w_i,T)，那么神经网络层v_i的分配策略保持不变；得到割c的新分配方案σ'；

步骤4.2、令u_k是边缘节点集合U中的第k个节点，1≤k≤|U|；

步骤4.3、对于边缘节点u_k∈U，利用最大流最小割的方法得到当前的最小割c_min；根据最小割c_min和步骤4.1得到σ'，σ'表示c_min对应的分配方案；如果σ'的代价小于σ，那么就令σ＝σ'，U＝U\{u_k}；

步骤4.4、重复步骤4.2和4.3，直到U＝φ，即U中的节点为空；

步骤4.5、根据步骤4.1～4.4，得到最终的σ'；

所述步骤五中，以步骤四得到最终σ'对应的分布式神经网络为最优的分布式神经网络。

在本发明应用场景中，以智能交通为例，在自动驾驶应用程序中，车辆首先收集视频流和传感信息的现场数据，之后将收集的数据输入深度神经网络框架进行推理计算。针对当前单个边缘设备不能完全支持处理整个深度神经网络的情况，我们可以利用本发明解决。如图2所示，云端和多个边缘设备构成了一个云-边缘网络，车辆将数据包发送给该云-边缘网络并利用本发明中提出的算法得到高效的分布式神经网络协同计算策略，经过协同计算后，边缘设备将决策结果返回给车辆。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种面向边缘网络的分布式神经网络协同优化方法，其特征在于，包括以下步骤：

步骤一、将一般结构的神经网络通过建模得到有向图G^N；

步骤二、将边缘设备部署图映射成相应的边缘网络图G^E；

步骤三、将步骤一中得到的有向图G^N和步骤二中得到的边缘网络图G^E，通过建模得到特定的辅助图G^d；

步骤四、在步骤三中得到的辅助图G^d上找到迭代中的最小S-T割集；其中，在G^d上切割一组边使得源点S和汇点T被分割在两个不相交的集合中，这组边构成的集合就是S-T割集C；S-T的值就是集合中所有边的权重之和；

步骤五、根据步骤四得到的最小S-T割集，得到该S-T割集对应的面向边缘网络的分布式神经网络协同优化策略；

所述步骤一的步骤包括：

步骤1.1、对于一个具有n层的神经网络架构，将其中每一层神经网络l_i映射成有向图G^N中的一个节点v_i；

步骤1.2、将具有计算依赖性的l_i层和l_j层神经网络对应的节点v_i和v_j相连,其中若是先计算l_i层再计算l_j层，那么构造由v_i指向v_j的边(v_i,v_j),反之，构造边(v_j,v_i)；

所述步骤二的步骤包括：

步骤2.1、将边缘设备部署图映射成相应的边缘网络图G^E＝(U,L)；

其中U表示边缘节点集合U＝{u₁,...,u_l}，L表示边缘网络图中的边集；

令(u_i,u_j)∈L代表边缘节点u_i和u_j互相直接通信；

令d(u_i,u_j)表示边缘节点u_i和u_j之间的通信延迟；如果边缘节点u_i和u_j在G^E中不是邻居节点，那么令d(u_i,u_j)表示边缘节点u_i和u_j在G^E上的最短通信延迟；

步骤2.2、对于一个神经网络，假设它的所有网络层可以在G^E上的任意边缘节点上进行计算，则：

令σ(v_i)＝u_j表示节点v_i被分配到了边缘节点u_j上进行计算；则σ表示所有神经网络层在G^E上进行计算的分配方案；对于节点v_i∈V，令它在边缘节点u_j∈U上的计算时间用来表示；

如果两个相邻的节点v_i和v_j被分配到同一个边缘节点u_k上进行计算，则忽略这两者之间的通信延迟；否则，v_i和v_j之间的通信延迟被设置成v_i和v_j对应的σ(v_i)和σ(v_j)之间的通信延迟；

步骤2.3、定义所有神经网络层分配到边缘网络之后进行协同计算所需要的时间T_N；

其中，T_N为对于图G^N在σ映射下的总延迟；

所述步骤三的步骤包括：

步骤3.1、对于初始分配σ，以表示分配到边缘节点u_k进行计算的神经网络层的集合；

步骤3.2、在步骤3.1的初始分配σ的前提下构造图G^d＝(W^d,ε^d)；图G^d的结点集W^d，边集ε^d；步骤3.2的步骤包括：

步骤3.2.1、对于每一层节点v_i∈V，在图G^d的结点集W^d中添加对应节点w_i；将节点w_i分别与源点S和汇点T相连得到边集合ε₁中的边(S,w_i)和(w_i,T)；如果那么设置边(S,w_i)的权重为/>边(w_i,T)的权重为∞；否则，令/>

步骤3.2.2、对于有向图G^N的每条边(v_i,v_j)，创建其对应的水平边；

所述步骤四的步骤包括；

步骤4.1、对于节点v_i，如果辅助图G^d中的一个割c经过了边(S,w_i)，则将节点v_i分配到边缘节点u_i上进行计算；如果割c经过了边(w_i,T)，那么节点v_i的分配策略保持不变；得到割c的新分配方案σ'；

步骤4.2、令u_k是边缘节点集合U中的第k个节点，1≤k≤|U|；

步骤4.3、对于边缘节点u_k∈U，利用最大流最小割的方法得到当前的最小割c_min；根据最小割c_min和步骤4.1得到σ'，σ'表示c_min对应的分配方案；如果σ'的代价小于σ，那么就令σ＝σ'，U＝U\{u_k}；

步骤4.4、重复步骤4.2和4.3，直到U＝φ，即U中的节点为空；

步骤4.5、根据步骤4.1～4.4，得到最终的σ'；

所述步骤五中，以步骤四得到最终σ'对应的分布式神经网络为最优的分布式神经网络。

2.根据权利要求1所述面向边缘网络的分布式神经网络协同优化方法，其特征是所述步骤3.2.2中，包括四种不同情况：

情况一：如果σ(v_i)＝σ(v_j)＝u_k，即节点v_i和v_j都分配到边缘节点u_k上进行计算，那么w_i和w_j之间没有水平边；

情况二：如果在节点v_i和v_j中只有一个被分配到边缘节点u_k上进行计算，那么创建边(w_i,w_j)，并设置其权重为c(w_i,w_j)＝d(σ(v_i),σ(v_j))；

情况三：如果节点v_i和v_j被分配到了两个不同的边缘节点上进行计算，且σ(v_i)≠u_k，σ(v_j)≠u_k，即这两个边缘节点都不是u_k，则在w_i和w_j之间创建一个辅助节点o(w_i,w_j)；将o(w_i,w_j)分别和w_i、w_j创建双向边(w_i,o(w_i,w_j))和(o(w_i,w_j),w_j)，同时设置它们的权重分别为c(w_i,o(w_i,w_j))＝d(σ(v_i),u_k)，c(o(w_i,w_j),w_j)＝d(u_k,σ(v_j))；将节点o(w_i,w_j)和汇点T相连创建第三条边(o(w_i,w_j),T)，同时设置它的权重是c(o(w_i,w_j),T)＝d(σ(v_i),σ(v_j))；

情况四：如果节点v_i和v_j都被分配到同一个边缘节点u_m上进行计算，且u_k≠u_m，则创建边(w_i,w_j)，同时设置它的权重为c(w_i,w_j)＝d(u_k,u_m)。