CN112085758A - 一种边端融合的终端情境自适应模型分割方法 - Google Patents

Abstract

本发明提供一种边端融合的终端情境自适应模型分割方法，以神经网络层为粒度对深度学习模型进行模型分割的过程中，最优分割方式的周围一定存在次优分割方式，并且不受网络带宽变化和网络模型结构变化的影响。在该规律的基础上，当模型运行情境发生变化时，利用预先构建的模型分割状态图中，以当前分割状态为导向，优先在周围近邻分割状态集中搜索，同时加入KD树最近邻搜索算法，可以在最短时间发现最能满足资源约束的分割状态，从而实现模型分割的快速自适应。

Description

一种边端融合的终端情境自适应模型分割方法

技术领域

本发明为一种边端融合的终端情境自适应模型分割方法，涉及基于边缘智能的自适应深度学习模型分割领域。

背景技术

近年来，深度学习在计算机视觉、模式识别等多个领域取得诸多成果。随着深度学习网络结构设计的复杂化及智能移动终端的普及，将深度学习模型部署在资源受限的终端设备上，使智能更贴近用户成为一种趋势。

现已有研究者在模型压缩、模型分割、模型选择及输入过滤等领域探索了边缘智能技术，其中模型压缩技术及模型分割技术应用最为广泛。模型压缩是在神经网络训练期间或之后通过修剪权重或其它方式降低模型复杂度，在保持精度的同时缩小原始网络的计算量和存储成本。如ThiNet以过滤器为单位进行剪枝，通过每层过滤器的输出判断是否修剪该过滤器，从而缩减模型复杂度。AdaDeep则综合考虑用户需求和系统资源约束，实现为给定的DNN网络自动选择压缩技术的组合，具备一定的自适应能力。

边缘智能技术整合了终端本地化无需大量数据传输与边缘端较强计算和存储能力的互补优势，但在将模型的推断过程由云端下沉至靠近用户的边端(即终端和边缘端)，加强数据隐私的同时，怎样避免不稳定网络状态的影响，提高服务的响应时间，成为了研究中的难题。另外，因边端设备资源和网络状态的动态变化特性，也亟需提供着能够动态自适应能力的边端协同计算模式。

发明内容

针对以上缺陷和亟需解决的问题，本发明提供一种在最短时间发现最能满足资源约束的分割状态，从而实现模型分割的快速自适应的边端融合的终端情境自适应模型分割方法。

本发明的技术方案为：一种边端融合的终端情境自适应模型分割方法，所述方法包括以下步骤：

步骤1：构建模型分割状态图，将深度神经网络的分割状态建模为图结构，各结点表示一种网络的分割状态，以结点间的连线体现分割状态之间的相邻关系；

步骤2：分割状态情境量化：主动捕捉设备中动态变化的资源状态，建模为程序可使用的资源约束，实现对情境的实时感知；

步骤3：分割状态结点量化：根据具体的分割状态，以情境指标对分割状态结点进行量化，并使用矩阵表示各设备的指标，以所述资源状态的L_p距离衡量分割状态与资源约束之间的差距；

步骤4：基于图的自适应深度模型手术刀算法实现：利用KD树最近邻搜索算法，当模型的运行情境发生变化时，以当前分割状态为导向，优先在周围的相似分割状态集中搜索，寻找最能满足资源约束的分割状态，实现模型分割的快速自适应；

步骤5：利用步骤4中转化GADS算法搜索合适的分割方式。

进一步的，一种边端融合的终端情境自适应模型分割方法，所述步骤1中令G＝(V，L)表示网络的图结构，其中V＝{v₁，v₂，...v_n}表示深度神经网络的所有分割状态，L表示图结构中的链接，若(v_i，v_j)∈L则表示v_i和v_j两种分割状态相邻。

进一步的，一种边端融合的终端情境自适应模型分割方法，所述步骤2中的资源状态包括设备存储资源、设备电量、网络带宽。

进一步的，一种边端融合的终端情境自适应模型分割方法，根据设备的存储资源，利用函数关系映射到当前程序可使用的存储资源上限上，表示为：M_p＝f(M_e)其中表示M_p表示程序可使用的存储资源上限，M_e表示当前设备可以用的存储资源。

进一步的，一种边端融合的终端情境自适应模型分割方法，：所述步骤3中的情景指标包括存储、能耗和时延。

进一步的，一种边端融合的终端情境自适应模型分割方法，所述步骤4中的算法实现，首先需要定义L_p距离量化结点间的距离，如下式表示分割状态结点n_i、n_j之间的距离：

其中α、β、γ表示设备对指标的关注程度，M_ik表示n_i分割状态下第k个设备运行所部署的网络所需的存储资源，E_ik表示第k个设备运行所部署的网络所产生的能耗，T_i则表示n_i分割状态下的总时延；如若L_p(n₁，n₃)≤L_p(n₁，n₆)则可认为n₃结点较n₆与n₁分割状态结点各指标更相近。

进一步的，一种边端融合的终端情境自适应模型分割方法，所述步骤4中需对分割状态结点计算出的所述各情景指标值进行归一化；利用Min-max归一化，将各指标数据范围缩放到0-1。

进一步的，一种边端融合的终端情境自适应模型分割方法，所述步骤5具体为：

步骤51：主动感知情境，确定当前的指标约束矩阵Target；

步骤52：若当前的分割状态结点与Target的L_p距离大于阈值f则认为该分割状态不满足当前的资源约束，开始执行搜索过程；

步骤53：以当前分割状态结点为根结点，将s步内可达的结点构建为搜索子集S；

步骤54：以L_p距离衡量结点间距离，利用KD树最近邻搜索算法寻找Target的最近邻结点；

步骤55：判断最近邻结点与Target的L_p距离是否大于阈值f，若大于则s+1返回步骤53；

步骤54：若小于则将该结点更新为当前分割状态结点并部署。

本发明的有益效果为：一种边端融合的终端情境自适应模型分割方法，本发明利用以下原理：当以神经网络层为粒度对深度学习模型进行模型分割的过程中，最优分割方式的周围一定存在次优分割方式，并且不受网络带宽变化和网络模型结构变化的影响。在该规律的基础上，当模型运行情境发生变化时，利用预先构建的模型分割状态图中，以当前分割状态为导向，优先在周围近邻分割状态集中搜索，同时加入KD树最近邻搜索算法，可以在最短时间发现最能满足资源约束的分割状态，从而实现模型分割的快速自适应。

附图说明

图1为本发明实例中算法的概念图；

图2为本发明实例中模型分割状态结点构建阶段两台设备下构建的模型分割状态图。

具体实施方式

下面结合附图来进一步描述本发明的技术方案：

步骤1：构建模型分割状态图

将深度神经网络的分割状态建模为图结构，各结点表示一种网络的分割状态，以结点间的连线体现分割状态之间的相邻关系。令G＝(V，L)表示网络的图结构，其中V＝{v₁，v₂，...v_n}表示深度神经网络的所有分割状态，L表示图结构中的链接，若(v_i，v_j)∈L则表示v_i和v_j两种分割状态相邻。

其中每个结点由两个参数组成，第一个参数表示当前分割状态将网络分为几个部分，第二个参数表示分割点选择在哪一层之后，如针对AlexNet构建的结点v₁＝{2，3_AB}表示将AlexNet分为两部分，在第三层后进行分割，并运行在A,B设备上。理论上，这种图构建方式可以表示任意DNN在多台设备上的全部分割状态。

步骤2：分割状态情境量化

算法欲实现根据情境自适应调优模型，需主动捕捉设备中动态变化的资源状态(设备存储资源、设备电量、网络带宽)，并建模为程序可使用的资源约束，实现对情境的实时感知。如下式所示根据设备的存储资源，利用函数关系映射到当前程序可使用的存储资源上限上：

M_p＝f(M_e)

其中表示M_p表示程序可使用的存储资源上限，M_e表示当前设备可以用的存储资源。

步骤3：分割状态结点量化

以三个重要的情境指标对分割状态结点进行量化，分别是存储、能耗和时延，并使用矩阵表示各设备的指标，如下式所示(以两台设备为例)，R及T是由当前分割状态结点决定的，其中M_i表示当前分割状态下第i个设备的存储资源，同理E_i表示当前分割状态下第i个设备的能耗，T表示当前分割状态的总时延。而Target则表示前述中根据主动感知到的情境映射构建的可用资源上限约束，当R及T满足Target约束时，当前分割状态是合适的。

为了便于理解，可以将上述公式表达为下式，其中总时延分为计算时延和传输时延，那么下式中式左根据模型、设备确定，分割状态一旦确定，式左矩阵确定。式右由设备情境，包括设备存储资源、设备电量和网络状态确定。

根据当前分割状态量化各指标的公式如下：

存储M：网络运行所需的存储资源由网络中偏置量和权值的相关位数决定，如下式所示分别表示为M_f及M_p，其中χ和ω分别表示网络中的偏置量和权值，B_a及B_w则表示权值和偏置量所占的位数，若为tensorflow张量则B_a＝B_w＝32位。

M＝M_f+M_p＝|χ|B_a+|ω|B_w

计算某设备上的M_i时，关注的是部署并运行在该设备上的网络层数。

能耗E：网络的能耗可分为计算能耗E_c和内存访问能耗E_M，如下式所示以C_MAC网络的乘加操作总数衡量计算能耗，ε₁表示每个乘加操作的能耗。内存访问能耗将偏置量和权值分别存储在Cache和DRAM中，访问能耗则转化为访问Cache和DRAM的能耗，同理ε₂和ε₃表示访问Cache和DRAM中每比特的数据产生的能耗。

E＝E_c+E_M＝ε₁C_MAC+ε₂M_P+ε₃M_f

其中ε₂和ε₃分别是ε₁的6倍和200倍，且终端测量的计算能耗系数ε₁＝52.8pJ[18]。

总时延T：网络运行的总时延可分为计算时延以及传输时延，以两台异构设备(边缘设备、终端设备)为例，总时延的公式如下式所示：

T＝T_edge+T_t+T_end

其中T_edge表示边缘端的计算时延，T_t表示传输时延，T_end表示终端的计算时延，具体每项时延的计算如下：

以d_l表示分割点l层输出的数据即待传输的数据中间结果，B代表网络带宽，那么传输时延为：

步骤4：基于图的自适应深度模型手术刀算法实现

首先需要定义L_p距离量化结点间的距离，如下式表示分割状态结点n_i、n_j之间的距离：

其中α、β、γ表示设备对指标的关注程度，M_ik表示n_i分割状态下第k个设备运行所部署的网络所需的存储资源，E_ik表示第k个设备运行所部署的网络所产生的能耗，T_i则表示n_i分割状态下的总时延。如若L_p(n₁，n₃)≤L_p(n₁，n₆)则可认为n₃结点较n₆与n₁分割状态结点各指标更相近。

由于各项指标的数值量级不在统一标准下，单位不同，且L_p距离中真正作用的是指标的变动，故需对分割状态结点计算出的各指标值进行归一化。利用Min-max归一化，将各指标数据范围缩放到0-1，以存储资源指标为例其归一化如下：

其中M_max、M_min表示该网络所有分割状态中存储资源指标的最大和最小值，能耗指标的归一化同理。总时延指标由计算时延及传输时延确定，其中传输时延涉及到网络带宽变化范围，经过实验将网络带宽的上下限设置为0.5MB/s-20MB/s，作为T_max、T_min。

至此搜索合适分割方式的问题，已经转化为了带有距离的图结构，GADS算法的具体流程如下：

(1)主动感知情境，确定当前的指标约束矩阵Target；

(2)若当前的分割状态结点与Target的L_p距离大于阈值f(实验中阈值定义为网络各分割状态与其他分割状态之间的L_p距离最小值的平均值，实验中验证确定阈值的大小为0.112)，则认为该分割状态不满足当前的资源约束，开始执行搜索过程；

(3)以当前分割状态结点为根结点，将s步内可达的结点构建为搜索子集S；

(4)以L_p距离衡量结点间距离，利用KD树最近邻搜索算法寻找Target的最近邻结点；

(5)判断最近邻结点与Target的L_p距离是否大于阈值f，若大于则s+1返回(3)；若小于则将该结点更新为当前分割状态结点并部署。

Claims (8)

1.一种边端融合的终端情境自适应模型分割方法，其特征在于：所述方法包括以下步骤：

步骤1：构建模型分割状态图，将深度神经网络的分割状态建模为图结构，各结点表示一种网络的分割状态，以结点间的连线体现分割状态之间的相邻关系；

步骤2：分割状态情境量化：主动捕捉设备中动态变化的资源状态，建模为程序可使用的资源约束，实现对情境的实时感知；

步骤3：分割状态结点量化：根据具体的分割状态，以情境指标对分割状态结点进行量化，并使用矩阵表示各设备的指标，以所述资源状态的Lp距离衡量分割状态与资源约束之间的差距；

步骤4：基于图的自适应深度模型手术刀算法实现：利用KD树最近邻搜索算法，当模型的运行情境发生变化时，以当前分割状态为导向，优先在周围的相似分割状态集中搜索，寻找最能满足资源约束的分割状态，实现模型分割的快速自适应；

步骤5：利用步骤4中转化GADS算法搜索合适的分割方式。

2.根据权利要求1所述的一种边端融合的终端情境自适应模型分割方法，其特征在于：令G＝(V，L)表示网络的图结构，其中V＝{v₁，v₂，...v_n}表示深度神经网络的所有分割状态，L表示图结构中的链接，若(v_i，v_j)∈L则表示v_i和v_j两种分割状态相邻。

3.根据权利要求1所述的一种边端融合的终端情境自适应模型分割方法，其特征在于：所述步骤2中的资源状态包括设备存储资源、设备电量、网络带宽。

4.根据权利要求3所述的一种边端融合的终端情境自适应模型分割方法，其特征在于：根据设备的存储资源，利用函数关系映射到当前程序可使用的存储资源上限上，表示为：M_p＝f(M_e)其中表示M_p表示程序可使用的存储资源上限，M_e表示当前设备可以用的存储资源。

5.根据权利要求1所述的一种边端融合的终端情境自适应模型分割方法，其特征在于：所述步骤3中的情景指标包括存储、能耗和时延。

6.根据权利要求1所述的一种边端融合的终端情境自适应模型分割方法，其特征在于：所述步骤4中的算法实现，首先需要定义L_p距离量化结点间的距离，如下式表示分割状态结点n_i、n_j之间的距离：

其中α、β、γ表示设备对指标的关注程度，M_ik表示n_i分割状态下第k个设备运行所部署的网络所需的存储资源，E_ik表示第k个设备运行所部署的网络所产生的能耗，T_i则表示n_i分割状态下的总时延；如若L_p(n₁，n₃)≤L_p(n₁，n₆)则可认为n₃结点较n₆与n₁分割状态结点各指标更相近。

7.根据权利要求1所述的一种边端融合的终端情境自适应模型分割方法，其特征在于：所述步骤4中需对分割状态结点计算出的所述各情景指标值进行归一化；利用Min-max归一化，将各指标数据范围缩放到0-1。

8.根据权利要求1所述的一种边端融合的终端情境自适应模型分割方法，其特征在于：所述步骤5具体为：

步骤51：主动感知情境，确定当前的指标约束矩阵Target；

步骤52：若当前的分割状态结点与Target的L_p距离大于阈值f则认为该分割状态不满足当前的资源约束，开始执行搜索过程；

步骤53：以当前分割状态结点为根结点，将s步内可达的结点构建为搜索子集S；

步骤54：以L_p距离衡量结点间距离，利用KD树最近邻搜索算法寻找Target的最近邻结点；

步骤55：判断最近邻结点与Target的L_p距离是否大于阈值f，若大于则s+1返回步骤53；

步骤54：若小于则将该结点更新为当前分割状态结点并部署。

Images