CN110909865B - 边缘计算中基于分层张量分解的联邦学习方法 - Google Patents

Abstract

本发明涉及一种边缘计算中基于分层张量分解的联邦学习方法。步骤S1：在云端设计有效的深度神经网络共享模型；步骤S2：根据分层张量分解方法对设计的共享模型进行压缩得到分层共享模型；步骤S3：设计分层共享模型对应的正向传播算法和反向传播算法；步骤S4：在云端对分层共享模型进行初始化并下发至参与训练的边缘节点；步骤S5：参与训练的边缘节点利用本地数据集，并根据S3设计的算法对S2得到的分层共享模型进行学习。步骤S6：在云端通过平均聚合的方式对边缘模型进行聚合。本发明在保护用户隐私的前提下实现了共享模型的分布式训练，减少分布式训练时对网络带宽的需求，降低了边缘节点的通信能耗。

Description

边缘计算中基于分层张量分解的联邦学习方法

技术领域

本发明涉及一种边缘计算中基于分层张量分解的联邦学习方法

背景技术

随着物联网技术的飞速发展及其在智能工厂、工业自动化、智能制造等工业领域的广泛应 用，工业物联网技术受到了学术界和工业界的广泛关注。在工业物联网中，各种连接设备生成 的数据呈爆炸式增长。然而，将大量数据直接传输到远程云端平台进行进一步的处理和分析是 不切实际的，这可能会导致严重的网络拥塞和无法忍受的传输延迟。近年来，随着边缘计算技 术的兴起，传感器、工厂网关等边缘设备(节点)具有存储、处理和分析本地数据的能力。此外， 边缘设备还可以与远程云端协作，执行大规模、复杂的任务。

与此同时，近年来，深度学习在许多应用中也取得了巨大的成功，尤其是在大数据分析和 机器学习方面。深度学习模型使用多层体系结构从大量原始数据中自动学习固有的特性。然而， 在边缘设备上训练深度学习模型存在以下主要缺点：一方面，由于人们对数据安全和用户隐私 的意识越来越强，将每个边缘设备上的本地数据集上传到云端服务器上存在着数据泄露的风险。 例如在大多数行业，不同的公司甚至同一公司的不同部门之间都禁止共享数据，因此这在现实 生活中并不可行。另一方面，由于边缘设备的计算能力和存储能力有限，在这些低端设备上进 行模型学习非常困难。这是因为深度学习模型的参数非常大，训练这样的模型通常需要昂贵的 硬件资源。

为了解决上述的数据安全问题，谷歌最近提出了联邦学习概念，通过将云端计算下沉到各 个边缘节点，从而避免了传输用户数据带来的数据泄露的风险。然而，由于多节点上的分布式 训练需要梯度交换，因此联邦学习需要较大的通信带宽。为了克服联合学习中的交流瓶颈，人 们进行了许多研究。这些方法可以分为三类:第一类是梯度稀疏化方法，根据预定义的梯度阈 值或以固定的稀疏率只选择一小部分参数进行更新。第二类方法是通过梯度量化将梯度量化到 低精度值来降低通信带宽。例如，随机梯度量化方法中对每个参数只取2bits。最后一种方法是 通过降低通信频率来降低通信带宽。例如近似同步并行算法中，只有当参数变化超过预定义的 阈值时才执行聚合。

与上述工作不同的是，本发明从权值张量的低秩表示的角度来降低联邦学习中的通信带宽。 针对分布式训练中的深度卷积计算模型，提出了一种基于分层分解方法，在压缩效率和分类精 度之间取得了较好的平衡。该方案的优点在于能够利用卷积网络对应于广义分层张量分解的特 性，其中卷积和输出层的网络权值可以直接映射到各自的分层张量分解的参数。一方面，由于 神经网络存在大量的冗余信息，浪费了网络传输的带宽资源和设备的存储资源，本方案利用分 层张量分解将模型参数从高阶张量空间压缩为低维空间，降低了边缘节点分布式训练的带宽消 耗和存储需求。另一方面本方案提出了一种基于梯度下降的分层张量分解模型的反向传播更新 算法，在边缘节点上训练卷积计算模型的参数。该方法采用分层方式直接计算低维参数的梯度， 减少了对边缘设备计算力的消耗。因此,在边缘计算中，利用张量分解方法进行模型压缩从而减 少系统的能量损耗具有潜在的优势。

发明内容

本发明的目的在于提供一种边缘计算中基于分层张量分解的联邦学习方法，在保护用户隐 私的前提下实现了多用户的数据共享，减少分布式训练时对网络带宽的需求，降低了边缘节点 的通信能耗。

为实现上述目的，本发明的技术方案是：一种边缘计算中基于分层张量分解的联邦学习方 法，包括如下步骤：

步骤S1、在云端设计深度神经网络共享模型；

步骤S2、根据分层张量分解方法对步骤S1设计的深度神经网络共享模型进行压缩得到分 层共享模型；

步骤S3、设计分层共享模型对应的正向传播算法和反向传播算法；

步骤S4、在云端对分层共享模型进行初始化并下发至参与训练的边缘节点；

步骤S5、参与训练的边缘节点利用本地数据集，并根据步骤S3设计的正向传播算法和反 向传播算法对步骤S2得到的分层共享模型进行学习；

步骤S6、在云端通过平均聚合的方式对边缘模型进行聚合。

在本发明一实施例中，所述步骤S1的具体实现过程如下：

构造一个深度神经网络共享模型，包括卷积层、池化层和全连接层，其对应的表达式如下：

其中，

表示输入层l-1第i个神经元x_i和输出层l第j个神经元的权重，b_j表示输出层第 j个神经元的偏置，

和

分别表示卷积层的特征提取器、池化层的分类器和全连接 层的分类器，其中θ≡{w^(q)；b^(q)|q∈{1,2,3}}为神经网络的超参，pooling(·)为池化层的降采样操 作。

在本发明一实施例中，所述步骤S2的具体实现过程如下：

步骤S21、对θ≡{w^(q)；b^(q)|q∈{1,2,3}}中

进行分层张量分解；假设

该 张量有d个模M＝{1,2,…,d}，其对应的满秩二叉树为T_I，其中满秩二叉树中的每个节点用模 M＝{1,2,…,d}的子集表示；设定二叉树从根节点到叶节点的层数l为0到[log₂ d]，则第l层的 节点代表的模个数为

并且该层所有节点代表的模的集合为M的全集；

步骤S22、根据步骤S21所得到的满秩二叉树中各节点所表示的模对张量

进行 模展开后进行SVD分解，取其左奇异值的前k_t列作为该节点的U_t，其中k_t满足以下关系：

步骤S23、定义满秩二叉树的任意内部节点为t，其对应的两个子节点分别为t_l和t_r，则t， t_l和t_r三个节点上的U_t满足以下关系：

其中

为节点t上的传输矩阵；因此，

能够被表示为分层分解的形式：

步骤S24、利用分层张量分解方法对深度神经网络共享模型进行压缩得到分层共享模型：

此时神经网络的学习参数为

在本发明一实施例中，所述步骤S3的具体实现过程如下：

步骤S31、利用训练集数据作为神经网络的输入，根据分层共享模型得到神经网络的输出 作为预测值；

步骤S32、设计节点k上神经网络的损失函数

其中

为节点k上数据集n_k中的样本；

步骤S33、通过梯度下降法使得步骤S32中设计的损失函数最小化；

若l为输出层，则

ε^(l)＝(f(z^(l))-y)f'(z^(l))

若l为卷积层，则

ε^(l)＝up(ε^(l+1))w⁽¹⁾f'(z^(l))

▽b＝ε^(l)

若l为池化层，则

ε^(l)＝up(ε^(l+1))w⁽²⁾f'(z^(l))

▽b＝ε^(l)

若l为全连接层，则

ε^(l)＝ε^(l+1)w⁽³⁾f'(z^(l))

▽b＝ε^(l)

若l为分层张量表示，则

假设g(x)是关于x的函数，则g(x)对x求导可表示为

因此上述表达式中ε^(l)是输出 层对l层的梯度，z^(l)为l层的输出，f(·)为sigmoid激活函数，A为克罗内克积

积的梯度；

假设

则

步骤S34、通过步骤S33中得到的梯度▽θ，采用η的学习率对模型进行更新

θ^*＝θ-η▽θ。

在本发明一实施例中，云端在所有具有富余计算力的边缘节点中随机选取K个节点作为参 与对象，并将分层共享模型下发。

在本发明一实施例中，所有参与训练的边缘节点利用本地数据分别独立对分层共享模型进 行学习，从而避免了将数据发至云端集中化进行处理导致的数据泄露及网络负载过大等问题， 保证了用户数据的隐私性。

在本发明一实施例中，各个参与计算的边缘节点在学习完成后分别将本地模型发至云端， 云端通过平均聚合的方式更新全局模型：

进一步根据以上的更新模型重新随机选取K个节点开始新一轮训练，从而实现共享模型的 更新；其中

为在第t+1轮通信中第k个节点上的模型，n_k对应为第k个节点上的本地数据。

相较于现有技术，本发明具有以下有益效果：本发明利用分层张量分解方法，将联邦学习 中的神经网络模型的冗余参数进行压缩，大大减少了分布式训练时对网络带宽的需求，降低了 边缘节点的通信能耗。另外，该方案将模型参数从高阶张量空间压缩为低维空间，并通过方案 中基于梯度下降的反向传播更新算法，直接计算低维参数的梯度，减少了边缘设备计算的能耗。

附图说明

图1是本发明一实施例分层张量分解示意图。

图2是本发明一实施例提供的方法与基于其他张量分解方法压缩率的对比示意图。

图3是本发明一实施例提供的方法与基于其他张量分解方法通信能量对比示意图。

图4是本发明一实施例提供的方法与基于其他张量分解方法计算能量对比示意图。

图5是本发明一实施例提供的方法与基于其他张量分解方法精度损失对比示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种边缘计算中基于分层张量分解的联邦学习方法，包括如下步骤：

步骤S1、在云端设计深度神经网络共享模型；

步骤S2、根据分层张量分解方法对步骤S1设计的深度神经网络共享模型进行压缩得到分 层共享模型；

步骤S3、设计分层共享模型对应的正向传播算法和反向传播算法；

步骤S4、在云端对分层共享模型进行初始化并下发至参与训练的边缘节点；

步骤S5、参与训练的边缘节点利用本地数据集，并根据步骤S3设计的正向传播算法和反 向传播算法对步骤S2得到的分层共享模型进行学习；

步骤S6、在云端通过平均聚合的方式对边缘模型进行聚合。

进一步的，所述步骤S1的具体实现过程如下：

构造一个深度神经网络共享模型，包括卷积层、池化层和全连接层，其对应的表达式如下：

其中，

表示输入层l-1第i个神经元x_i和输出层l第j个神经元的权重，b_j表示输出层第 j个神经元的偏置，

和

分别表示卷积层的特征提取器、池化层的分类器和全连接 层的分类器，其中θ≡{w^(q)；b^(q)|q∈{1,2,3}}为神经网络的超参，pooling(·)为池化层的降采样操 作。

此时，设置本方案中神经网络架构为：

进一步的，请参照图1，所述步骤S2的具体实现过程如下：

步骤S21、对θ≡{w^(q)；b^(q)|q∈{1,2,3}}中

进行分层张量分解；假设

该 张量有d个模M＝{1,2,…,d}，其对应的满秩二叉树为T_I，其中满秩二叉树中的每个节点用模 M＝{1,2,…,d}的子集表示；设定二叉树从根节点到叶节点的层数l为0到[log₂ d]，则第l层的 节点代表的模个数为

并且该层所有节点代表的模的集合为M的全集；

步骤S22、根据步骤S21所得到的满秩二叉树中各节点所表示的模对张量

进行 模展开后进行SVD分解，取其左奇异值的前k_t列作为该节点的U_t，其中k_t满足以下关系：

步骤S23、定义满秩二叉树的任意内部节点为t，其对应的两个子节点分别为t_l和t_r，则t， t_l和t_r三个节点上的U_t满足以下关系：

其中

为节点t上的传输矩阵；因此，

能够被表示为分层分解的形式：

步骤S24、利用分层张量分解方法对深度神经网络共享模型进行压缩得到分层共享模型：

此时神经网络的学习参数为

进一步的，所述步骤S3的具体实现过程如下：

步骤S31、利用训练集数据作为神经网络的输入，根据分层共享模型得到神经网络的输出 作为预测值；

步骤S32、设计节点k上神经网络的损失函数

其中

为节点k上数据集n_k中的样本；

步骤S33、通过梯度下降法使得步骤S32中设计的损失函数最小化；

若l为输出层，则

ε^(l)＝(f(z^(l))-y)f'(z^(l))

若l为卷积层，则

ε^(l)＝up(ε^(l+1))w⁽¹⁾f'(z^(l))

▽b＝ε^(l)

若l为池化层，则

ε^(l)＝up(ε^(l+1))w⁽²⁾f'(z^(l))

▽b＝ε^(l)

若l为全连接层，则

ε^(l)＝ε^(l+1)w⁽³⁾f'(z^(l))

▽b＝ε^(l)

若l为分层张量表示，则

假设g(x)是关于x的函数，则g(x)对x求导可表示为

因此上述表达式中ε^(l)是输出 层对l层的梯度，z^(l)为l层的输出，f(·)为sigmoid激活函数，A为克罗内克积

积的梯度；

假设

则

步骤S34、通过步骤S33中得到的梯度▽θ，采用η的学习率对模型进行更新

θ^*＝θ-η▽θ。

进一步的，所述步骤S4中，云端在所有具有富余计算力的N个边缘节点中随机选取α比 例的节点参与训练，即K＝max(α·N,1)，并将分层共享模型下发。

进一步的，所述步骤S5中，所有参与训练的边缘节点利用本地数据分别独立对分层共享模 型进行学习，从而避免了将数据发至云端集中化进行处理导致的数据泄露及网络负载过大等问 题，保证了用户数据的隐私性。此时，将数据集均匀分成N份，用于模拟边缘节点上的本地数 据集，并且根据各个边缘节点上数据集的特征分布是否一致分成了IID＝1和IID＝0。例如，每个 边缘节点拥有所有的数据类别时，设置为IID＝1；当每个边缘节点只拥有所有类别中的一种或者 几种，则设置为IID＝0；

进一步的，所述步骤S6中，各个参与计算的边缘节点在学习完成后分别将本地模型发至云 端，云端通过平均聚合的方式更新全局模型：

进一步根据以上的更新模型重新随机选取K个节点开始新一轮训练，从而实现共享模型的 更新；其中

为在第t+1轮通信中第k个节点上的模型，n_k对应为第k个节点上的本地数据。

本发明方法在压缩效率和分类精度之间取得了较好的平衡，并且对比了其他传统的张量分 解的方法，发现与现有算法相比，本方案在保持相似的精度损失的同时，可以获得更好的压缩 效率，实现对能量的最大化利用。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出 本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种边缘计算中基于分层张量分解的联邦学习方法，其特征在于，包括如下步骤：

步骤S1、在云端设计深度神经网络共享模型；

步骤S2、根据分层张量分解方法对步骤S1设计的深度神经网络共享模型进行压缩得到分层共享模型；

步骤S3、设计分层共享模型对应的正向传播算法和反向传播算法；

步骤S4、在云端对分层共享模型进行初始化并下发至参与训练的边缘节点；

步骤S5、参与训练的边缘节点利用本地数据集，并根据步骤S3设计的正向传播算法和反向传播算法对步骤S2得到的分层共享模型进行学习；

步骤S6、在云端通过平均聚合的方式对边缘模型进行聚合；

所述步骤S2的具体实现过程如下：

步骤S21、对神经网络的超参θ≡{w^(q)；b^(q)|q∈{1,2,3}}中

进行分层张量分解；假设

该张量有d个模M＝{1,2,…,d}，其对应的满秩二叉树为

其中满秩二叉树中的每个节点用模M＝{1,2,…,d}的子集表示；设定二叉树从根节点到叶节点的层数l为0到[log₂ d]，则第l层的节点代表的模个数为

并且该层所有节点代表的模的集合为M的全集；

步骤S22、根据步骤S21所得到的满秩二叉树中各节点所表示的模对张量

进行模展开后进行SVD分解，取其左奇异值的前k_t列作为该节点的U_t，其中k_t满足以下关系：

步骤S23、定义满秩二叉树的任意内部节点为t，其对应的两个子节点分别为t_l和t_r，则t，t_l和t_r三个节点上的U_t满足以下关系：

其中

为节点t上的传输矩阵；因此，

能够被表示为分层分解的形式：

步骤S24、利用分层张量分解方法对深度神经网络共享模型进行压缩得到分层共享模型：

此时神经网络的学习参数为

所述步骤S3的具体实现过程如下：

步骤S31、利用训练集数据作为神经网络的输入，根据分层共享模型得到神经网络的输出作为预测值；

步骤S32、设计节点k上神经网络的损失函数

其中

为节点k上数据集n_k中的样本；

步骤S33、通过梯度下降法使得步骤S32中设计的损失函数最小化；

若l为输出层，则

ε^(l)＝(f(z^(l))-y)f'(z^(l))

若l为卷积层，则

ε^(l)＝up(ε^(l+1))w⁽¹⁾f'(z^(l))

若l为池化层，则

ε^(l)＝up(ε^(l+1))w⁽²⁾f'(z^(l))

若l为全连接层，则

ε^(l)＝ε^(l+1)w⁽³⁾f'(z^(l))

若l为分层张量表示，则

假设g(x)是关于x的函数，则g(x)对x求导可表示为

因此上述表达式中ε^(l)是输出层对l层的梯度，z^(l)为l层的输出，f(·)为sigmoid激活函数，A为克罗内克积

积的梯度；

假设

则

步骤S34、通过步骤S33中得到的梯度

采用η的学习率对模型进行更新

2.根据权利要求1所述的边缘计算中基于分层张量分解的联邦学习方法，其特征在于，所述步骤S1的具体实现过程如下：

构造一个深度神经网络共享模型，包括卷积层、池化层和全连接层，其对应的表达式如下：

其中，

表示输入层l-1第i个神经元x_i和输出层l第j个神经元的权重，b_j表示输出层第j个神经元的偏置，

和

分别表示卷积层的特征提取器、池化层的分类器和全连接层的分类器，其中θ≡{w^(q)；b^(q)|q∈{1,2,3}}为神经网络的超参，pooling(·)为池化层的降采样操作。

3.根据权利要求1所述的边缘计算中基于分层张量分解的联邦学习方法，其特征在于，云端在所有具有富余计算力的边缘节点中随机选取K个节点作为参与对象，并将分层共享模型下发。

4.根据权利要求1所述的边缘计算中基于分层张量分解的联邦学习方法，其特征在于，所有参与训练的边缘节点利用本地数据分别独立对分层共享模型进行学习。

5.根据权利要求2所述的边缘计算中基于分层张量分解的联邦学习方法，其特征在于，各个参与计算的边缘节点在学习完成后分别将本地模型发至云端，云端通过平均聚合的方式更新全局模型：

进一步根据以上更新的模型重新随机选取K个节点开始新一轮训练，从而实现共享模型的更新；其中

为在第t+1轮通信中第k个节点上的模型，n_k对应为第k个节点上的本地训练数据的样本数。

Images