CN110909865A - 边缘计算中基于分层张量分解的联邦学习方法 - Google Patents
边缘计算中基于分层张量分解的联邦学习方法 Download PDFInfo
- Publication number
- CN110909865A CN110909865A CN201911125638.7A CN201911125638A CN110909865A CN 110909865 A CN110909865 A CN 110909865A CN 201911125638 A CN201911125638 A CN 201911125638A CN 110909865 A CN110909865 A CN 110909865A
- Authority
- CN
- China
- Prior art keywords
- hierarchical
- model
- sharing model
- layer
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 43
- 238000004364 calculation method Methods 0.000 title claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000004891 communication Methods 0.000 claims abstract description 14
- 238000004220 aggregation Methods 0.000 claims abstract description 8
- 230000002776 aggregation Effects 0.000 claims abstract description 8
- 230000004931 aggregating effect Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 210000002569 neuron Anatomy 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种边缘计算中基于分层张量分解的联邦学习方法。步骤S1:在云端设计有效的深度神经网络共享模型;步骤S2:根据分层张量分解方法对设计的共享模型进行压缩得到分层共享模型;步骤S3:设计分层共享模型对应的正向传播算法和反向传播算法;步骤S4:在云端对分层共享模型进行初始化并下发至参与训练的边缘节点;步骤S5:参与训练的边缘节点利用本地数据集,并根据S3设计的算法对S2得到的分层共享模型进行学习。步骤S6:在云端通过平均聚合的方式对边缘模型进行聚合。本发明在保护用户隐私的前提下实现了共享模型的分布式训练,减少分布式训练时对网络带宽的需求,降低了边缘节点的通信能耗。
Description
技术领域
本发明涉及一种边缘计算中基于分层张量分解的联邦学习方法
背景技术
随着物联网技术的飞速发展及其在智能工厂、工业自动化、智能制造等工业领域的广泛应 用,工业物联网技术受到了学术界和工业界的广泛关注。在工业物联网中,各种连接设备生成 的数据呈爆炸式增长。然而,将大量数据直接传输到远程云端平台进行进一步的处理和分析是 不切实际的,这可能会导致严重的网络拥塞和无法忍受的传输延迟。近年来,随着边缘计算技 术的兴起,传感器、工厂网关等边缘设备(节点)具有存储、处理和分析本地数据的能力。此外, 边缘设备还可以与远程云端协作,执行大规模、复杂的任务。
与此同时,近年来,深度学习在许多应用中也取得了巨大的成功,尤其是在大数据分析和 机器学习方面。深度学习模型使用多层体系结构从大量原始数据中自动学习固有的特性。然而, 在边缘设备上训练深度学习模型存在以下主要缺点:一方面,由于人们对数据安全和用户隐私 的意识越来越强,将每个边缘设备上的本地数据集上传到云端服务器上存在着数据泄露的风险。 例如在大多数行业,不同的公司甚至同一公司的不同部门之间都禁止共享数据,因此这在现实 生活中并不可行。另一方面,由于边缘设备的计算能力和存储能力有限,在这些低端设备上进 行模型学习非常困难。这是因为深度学习模型的参数非常大,训练这样的模型通常需要昂贵的 硬件资源。
为了解决上述的数据安全问题,谷歌最近提出了联邦学习概念,通过将云端计算下沉到各 个边缘节点,从而避免了传输用户数据带来的数据泄露的风险。然而,由于多节点上的分布式 训练需要梯度交换,因此联邦学习需要较大的通信带宽。为了克服联合学习中的交流瓶颈,人 们进行了许多研究。这些方法可以分为三类:第一类是梯度稀疏化方法,根据预定义的梯度阈 值或以固定的稀疏率只选择一小部分参数进行更新。第二类方法是通过梯度量化将梯度量化到 低精度值来降低通信带宽。例如,随机梯度量化方法中对每个参数只取2bits。最后一种方法是 通过降低通信频率来降低通信带宽。例如近似同步并行算法中,只有当参数变化超过预定义的 阈值时才执行聚合。
与上述工作不同的是,本发明从权值张量的低秩表示的角度来降低联邦学习中的通信带宽。 针对分布式训练中的深度卷积计算模型,提出了一种基于分层分解方法,在压缩效率和分类精 度之间取得了较好的平衡。该方案的优点在于能够利用卷积网络对应于广义分层张量分解的特 性,其中卷积和输出层的网络权值可以直接映射到各自的分层张量分解的参数。一方面,由于 神经网络存在大量的冗余信息,浪费了网络传输的带宽资源和设备的存储资源,本方案利用分 层张量分解将模型参数从高阶张量空间压缩为低维空间,降低了边缘节点分布式训练的带宽消 耗和存储需求。另一方面本方案提出了一种基于梯度下降的分层张量分解模型的反向传播更新 算法,在边缘节点上训练卷积计算模型的参数。该方法采用分层方式直接计算低维参数的梯度, 减少了对边缘设备计算力的消耗。因此,在边缘计算中,利用张量分解方法进行模型压缩从而减 少系统的能量损耗具有潜在的优势。
发明内容
本发明的目的在于提供一种边缘计算中基于分层张量分解的联邦学习方法,在保护用户隐 私的前提下实现了多用户的数据共享,减少分布式训练时对网络带宽的需求,降低了边缘节点 的通信能耗。
为实现上述目的,本发明的技术方案是:一种边缘计算中基于分层张量分解的联邦学习方 法,包括如下步骤:
步骤S1、在云端设计深度神经网络共享模型;
步骤S2、根据分层张量分解方法对步骤S1设计的深度神经网络共享模型进行压缩得到分 层共享模型;
步骤S3、设计分层共享模型对应的正向传播算法和反向传播算法;
步骤S4、在云端对分层共享模型进行初始化并下发至参与训练的边缘节点;
步骤S5、参与训练的边缘节点利用本地数据集,并根据步骤S3设计的正向传播算法和反 向传播算法对步骤S2得到的分层共享模型进行学习;
步骤S6、在云端通过平均聚合的方式对边缘模型进行聚合。
在本发明一实施例中,所述步骤S1的具体实现过程如下:
构造一个深度神经网络共享模型,包括卷积层、池化层和全连接层,其对应的表达式如下:
其中,表示输入层l-1第i个神经元xi和输出层l第j个神经元的权重,bj表示输出层第 j个神经元的偏置,和分别表示卷积层的特征提取器、池化层的分类器和全连接 层的分类器,其中θ≡{w(q);b(q)|q∈{1,2,3}}为神经网络的超参,pooling(·)为池化层的降采样操 作。
在本发明一实施例中,所述步骤S2的具体实现过程如下:
步骤S21、对θ≡{w(q);b(q)|q∈{1,2,3}}中进行分层张量分解;假设该 张量有d个模M={1,2,…,d},其对应的满秩二叉树为TI,其中满秩二叉树中的每个节点用模 M={1,2,…,d}的子集表示;设定二叉树从根节点到叶节点的层数l为0到[log2 d],则第l层的 节点代表的模个数为并且该层所有节点代表的模的集合为M的全集;
步骤S23、定义满秩二叉树的任意内部节点为t,其对应的两个子节点分别为tl和tr,则t, tl和tr三个节点上的Ut满足以下关系:
步骤S24、利用分层张量分解方法对深度神经网络共享模型进行压缩得到分层共享模型:
在本发明一实施例中,所述步骤S3的具体实现过程如下:
步骤S31、利用训练集数据作为神经网络的输入,根据分层共享模型得到神经网络的输出 作为预测值;
步骤S32、设计节点k上神经网络的损失函数
步骤S33、通过梯度下降法使得步骤S32中设计的损失函数最小化;
若l为输出层,则
ε(l)=(f(z(l))-y)f'(z(l))
若l为卷积层,则
ε(l)=up(ε(l+1))w(1)f'(z(l))
▽b=ε(l)
若l为池化层,则
ε(l)=up(ε(l+1))w(2)f'(z(l))
▽b=ε(l)
若l为全连接层,则
ε(l)=ε(l+1)w(3)f'(z(l))
▽b=ε(l)
若l为分层张量表示,则
步骤S34、通过步骤S33中得到的梯度▽θ,采用η的学习率对模型进行更新
θ*=θ-η▽θ。
在本发明一实施例中,云端在所有具有富余计算力的边缘节点中随机选取K个节点作为参 与对象,并将分层共享模型下发。
在本发明一实施例中,所有参与训练的边缘节点利用本地数据分别独立对分层共享模型进 行学习,从而避免了将数据发至云端集中化进行处理导致的数据泄露及网络负载过大等问题, 保证了用户数据的隐私性。
在本发明一实施例中,各个参与计算的边缘节点在学习完成后分别将本地模型发至云端, 云端通过平均聚合的方式更新全局模型:
相较于现有技术,本发明具有以下有益效果:本发明利用分层张量分解方法,将联邦学习 中的神经网络模型的冗余参数进行压缩,大大减少了分布式训练时对网络带宽的需求,降低了 边缘节点的通信能耗。另外,该方案将模型参数从高阶张量空间压缩为低维空间,并通过方案 中基于梯度下降的反向传播更新算法,直接计算低维参数的梯度,减少了边缘设备计算的能耗。
附图说明
图1是本发明一实施例分层张量分解示意图。
图2是本发明一实施例提供的方法与基于其他张量分解方法压缩率的对比示意图。
图3是本发明一实施例提供的方法与基于其他张量分解方法通信能量对比示意图。
图4是本发明一实施例提供的方法与基于其他张量分解方法计算能量对比示意图。
图5是本发明一实施例提供的方法与基于其他张量分解方法精度损失对比示意图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明提供了一种边缘计算中基于分层张量分解的联邦学习方法,包括如下步骤:
步骤S1、在云端设计深度神经网络共享模型;
步骤S2、根据分层张量分解方法对步骤S1设计的深度神经网络共享模型进行压缩得到分 层共享模型;
步骤S3、设计分层共享模型对应的正向传播算法和反向传播算法;
步骤S4、在云端对分层共享模型进行初始化并下发至参与训练的边缘节点;
步骤S5、参与训练的边缘节点利用本地数据集,并根据步骤S3设计的正向传播算法和反 向传播算法对步骤S2得到的分层共享模型进行学习;
步骤S6、在云端通过平均聚合的方式对边缘模型进行聚合。
进一步的,所述步骤S1的具体实现过程如下:
构造一个深度神经网络共享模型,包括卷积层、池化层和全连接层,其对应的表达式如下:
其中,表示输入层l-1第i个神经元xi和输出层l第j个神经元的权重,bj表示输出层第 j个神经元的偏置,和分别表示卷积层的特征提取器、池化层的分类器和全连接 层的分类器,其中θ≡{w(q);b(q)|q∈{1,2,3}}为神经网络的超参,pooling(·)为池化层的降采样操 作。
此时,设置本方案中神经网络架构为:
进一步的,请参照图1,所述步骤S2的具体实现过程如下:
步骤S21、对θ≡{w(q);b(q)|q∈{1,2,3}}中进行分层张量分解;假设该 张量有d个模M={1,2,…,d},其对应的满秩二叉树为TI,其中满秩二叉树中的每个节点用模 M={1,2,…,d}的子集表示;设定二叉树从根节点到叶节点的层数l为0到[log2 d],则第l层的 节点代表的模个数为并且该层所有节点代表的模的集合为M的全集;
步骤S23、定义满秩二叉树的任意内部节点为t,其对应的两个子节点分别为tl和tr,则t, tl和tr三个节点上的Ut满足以下关系:
步骤S24、利用分层张量分解方法对深度神经网络共享模型进行压缩得到分层共享模型:
进一步的,所述步骤S3的具体实现过程如下:
步骤S31、利用训练集数据作为神经网络的输入,根据分层共享模型得到神经网络的输出 作为预测值;
步骤S32、设计节点k上神经网络的损失函数
步骤S33、通过梯度下降法使得步骤S32中设计的损失函数最小化;
若l为输出层,则
ε(l)=(f(z(l))-y)f'(z(l))
若l为卷积层,则
ε(l)=up(ε(l+1))w(1)f'(z(l))
▽b=ε(l)
若l为池化层,则
ε(l)=up(ε(l+1))w(2)f'(z(l))
▽b=ε(l)
若l为全连接层,则
ε(l)=ε(l+1)w(3)f'(z(l))
▽b=ε(l)
若l为分层张量表示,则
步骤S34、通过步骤S33中得到的梯度▽θ,采用η的学习率对模型进行更新
θ*=θ-η▽θ。
进一步的,所述步骤S4中,云端在所有具有富余计算力的N个边缘节点中随机选取α比 例的节点参与训练,即K=max(α·N,1),并将分层共享模型下发。
进一步的,所述步骤S5中,所有参与训练的边缘节点利用本地数据分别独立对分层共享模 型进行学习,从而避免了将数据发至云端集中化进行处理导致的数据泄露及网络负载过大等问 题,保证了用户数据的隐私性。此时,将数据集均匀分成N份,用于模拟边缘节点上的本地数 据集,并且根据各个边缘节点上数据集的特征分布是否一致分成了IID=1和IID=0。例如,每个 边缘节点拥有所有的数据类别时,设置为IID=1;当每个边缘节点只拥有所有类别中的一种或者 几种,则设置为IID=0;
进一步的,所述步骤S6中,各个参与计算的边缘节点在学习完成后分别将本地模型发至云 端,云端通过平均聚合的方式更新全局模型:
本发明方法在压缩效率和分类精度之间取得了较好的平衡,并且对比了其他传统的张量分 解的方法,发现与现有算法相比,本方案在保持相似的精度损失的同时,可以获得更好的压缩 效率,实现对能量的最大化利用。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出 本发明技术方案的范围时,均属于本发明的保护范围。
Claims (7)
1.一种边缘计算中基于分层张量分解的联邦学习方法,其特征在于,包括如下步骤:
步骤S1、在云端设计深度神经网络共享模型;
步骤S2、根据分层张量分解方法对步骤S1设计的深度神经网络共享模型进行压缩得到分层共享模型;
步骤S3、设计分层共享模型对应的正向传播算法和反向传播算法;
步骤S4、在云端对分层共享模型进行初始化并下发至参与训练的边缘节点;
步骤S5、参与训练的边缘节点利用本地数据集,并根据步骤S3设计的正向传播算法和反向传播算法对步骤S2得到的分层共享模型进行学习;
步骤S6、在云端通过平均聚合的方式对边缘模型进行聚合。
3.根据权利要求2所述的边缘计算中基于分层张量分解的联邦学习方法,其特征在于,所述步骤S2的具体实现过程如下:
步骤S21、对θ≡{w(q);b(q)|q∈{1,2,3}}中进行分层张量分解;假设该张量有d个模M={1,2,…,d},其对应的满秩二叉树为其中满秩二叉树中的每个节点用模M={1,2,…,d}的子集表示;设定二叉树从根节点到叶节点的层数l为0到[log2 d],则第l层的节点代表的模个数为并且该层所有节点代表的模的集合为M的全集;
步骤S23、定义满秩二叉树的任意内部节点为t,其对应的两个子节点分别为tl和tr,则t,tl和tr三个节点上的Ut满足以下关系:
步骤S24、利用分层张量分解方法对深度神经网络共享模型进行压缩得到分层共享模型:
4.根据权利要求3所述的边缘计算中基于分层张量分解的联邦学习方法,其特征在于,所述步骤S3的具体实现过程如下:
步骤S31、利用训练集数据作为神经网络的输入,根据分层共享模型得到神经网络的输出作为预测值;
步骤S32、设计节点k上神经网络的损失函数
步骤S33、通过梯度下降法使得步骤S32中设计的损失函数最小化;
若l为输出层,则
ε(l)=(f(z(l))-y)f'(z(l))
若l为卷积层,则
ε(l)=up(ε(l+1))w(1)f'(z(l))
若l为池化层,则
ε(l)=up(ε(l+1))w(2)f'(z(l))
若l为全连接层,则
ε(l)=ε(l+1)w(3)f'(z(l))
若l为分层张量表示,则
5.根据权利要求1所述的边缘计算中基于分层张量分解的联邦学习方法,其特征在于,云端在所有具有富余计算力的边缘节点中随机选取K个节点作为参与对象,并将分层共享模型下发。
6.根据权利要求1所述的边缘计算中基于分层张量分解的联邦学习方法,其特征在于,所有参与训练的边缘节点利用本地数据分别独立对分层共享模型进行学习,从而避免了将数据发至云端集中化进行处理导致的数据泄露及网络负载过大等问题,保证了用户数据的隐私性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911125638.7A CN110909865B (zh) | 2019-11-18 | 2019-11-18 | 边缘计算中基于分层张量分解的联邦学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911125638.7A CN110909865B (zh) | 2019-11-18 | 2019-11-18 | 边缘计算中基于分层张量分解的联邦学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110909865A true CN110909865A (zh) | 2020-03-24 |
CN110909865B CN110909865B (zh) | 2022-08-30 |
Family
ID=69817765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911125638.7A Active CN110909865B (zh) | 2019-11-18 | 2019-11-18 | 边缘计算中基于分层张量分解的联邦学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110909865B (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111541685A (zh) * | 2020-04-20 | 2020-08-14 | 南京大学 | 一种基于网络结构学习的边缘云异常检测方法 |
CN111553484A (zh) * | 2020-04-30 | 2020-08-18 | 同盾控股有限公司 | 联邦学习的方法、装置及系统 |
CN111553483A (zh) * | 2020-04-30 | 2020-08-18 | 同盾控股有限公司 | 基于梯度压缩的联邦学习的方法、装置及系统 |
CN111901829A (zh) * | 2020-07-10 | 2020-11-06 | 江苏智能交通及智能驾驶研究院 | 基于压缩感知和量化编码的无线联邦学习方法 |
CN112181666A (zh) * | 2020-10-26 | 2021-01-05 | 华侨大学 | 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质 |
CN112532451A (zh) * | 2020-11-30 | 2021-03-19 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
CN112598150A (zh) * | 2020-11-09 | 2021-04-02 | 西安君能清洁能源有限公司 | 一种在智能电厂中基于联邦学习提升火灾检测效果的方法 |
CN112906745A (zh) * | 2021-01-21 | 2021-06-04 | 天津大学 | 基于边缘协同的诚信智能网络训练方法 |
CN112966307A (zh) * | 2021-04-20 | 2021-06-15 | 钟爱健康科技(广东)有限公司 | 一种基于联邦学习张量因子分解的医疗隐私数据保护方法 |
CN112990483A (zh) * | 2021-03-17 | 2021-06-18 | 北京理工大学 | 一种基于概率性抽样的大规模边缘机器学习训练方法 |
CN113011602A (zh) * | 2021-03-03 | 2021-06-22 | 中国科学技术大学苏州高等研究院 | 一种联邦模型训练方法、装置、电子设备和存储介质 |
CN113010305A (zh) * | 2021-02-08 | 2021-06-22 | 北京邮电大学 | 部署在边缘计算网络中的联邦学习系统及其学习方法 |
CN113258935A (zh) * | 2021-05-25 | 2021-08-13 | 山东大学 | 一种联邦学习中基于模型权值分布的通信压缩方法 |
CN113282933A (zh) * | 2020-07-17 | 2021-08-20 | 中兴通讯股份有限公司 | 联邦学习方法、装置和系统、电子设备、存储介质 |
CN113343280A (zh) * | 2021-07-07 | 2021-09-03 | 时代云英(深圳)科技有限公司 | 一种基于联合学习的私有云算法模型生成方法 |
CN113420888A (zh) * | 2021-06-03 | 2021-09-21 | 中国石油大学(华东) | 一种基于泛化域自适应的无监督联邦学习方法 |
WO2021191750A1 (en) * | 2020-03-27 | 2021-09-30 | International Business Machines Corporation | Parameter sharing in federated learning |
CN113543045A (zh) * | 2021-05-28 | 2021-10-22 | 平头哥(上海)半导体技术有限公司 | 处理单元、相关装置和张量运算方法 |
CN113591145A (zh) * | 2021-07-28 | 2021-11-02 | 西安电子科技大学 | 基于差分隐私和量化的联邦学习全局模型训练方法 |
CN113642700A (zh) * | 2021-07-05 | 2021-11-12 | 湖南师范大学 | 基于联邦学习和边缘计算的跨平台多模态舆情分析方法 |
CN113705634A (zh) * | 2021-08-11 | 2021-11-26 | 西安交通大学 | 一种基于分层自适应的联邦学习方法、装置、设备及介质 |
CN113902021A (zh) * | 2021-10-13 | 2022-01-07 | 北京邮电大学 | 一种高能效的聚类联邦边缘学习策略生成方法和装置 |
CN113971090A (zh) * | 2021-10-21 | 2022-01-25 | 中国人民解放军国防科技大学 | 分布式深度神经网络的分层联邦学习方法及装置 |
US11468370B1 (en) | 2022-03-07 | 2022-10-11 | Shandong University | Communication compression method based on model weight distribution in federated learning |
WO2022242076A1 (en) * | 2021-05-17 | 2022-11-24 | Huawei Technologies Co., Ltd. | Methods and systems for compressing trained neural network and for improving efficiently performing computations of compressed neural network |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107798697A (zh) * | 2017-10-26 | 2018-03-13 | 中国科学院深圳先进技术研究院 | 一种基于卷积神经网络的医学图像配准方法、系统及电子设备 |
CN107871160A (zh) * | 2016-09-26 | 2018-04-03 | 谷歌公司 | 通信高效联合学习 |
US20190114547A1 (en) * | 2017-10-16 | 2019-04-18 | Illumina, Inc. | Deep Learning-Based Splice Site Classification |
CN109740588A (zh) * | 2018-12-24 | 2019-05-10 | 中国科学院大学 | 基于弱监督和深度响应重分配的x光图片违禁品定位方法 |
CN110211064A (zh) * | 2019-05-21 | 2019-09-06 | 华南理工大学 | 一种基于边缘引导的混合退化文本图像恢复方法 |
CN110266771A (zh) * | 2019-05-30 | 2019-09-20 | 天津神兔未来科技有限公司 | 分布式智能节点及分布式群体智能统部署方法 |
CN110309847A (zh) * | 2019-04-26 | 2019-10-08 | 深圳前海微众银行股份有限公司 | 一种模型压缩方法及装置 |
-
2019
- 2019-11-18 CN CN201911125638.7A patent/CN110909865B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107871160A (zh) * | 2016-09-26 | 2018-04-03 | 谷歌公司 | 通信高效联合学习 |
US20190114547A1 (en) * | 2017-10-16 | 2019-04-18 | Illumina, Inc. | Deep Learning-Based Splice Site Classification |
CN107798697A (zh) * | 2017-10-26 | 2018-03-13 | 中国科学院深圳先进技术研究院 | 一种基于卷积神经网络的医学图像配准方法、系统及电子设备 |
CN109740588A (zh) * | 2018-12-24 | 2019-05-10 | 中国科学院大学 | 基于弱监督和深度响应重分配的x光图片违禁品定位方法 |
CN110309847A (zh) * | 2019-04-26 | 2019-10-08 | 深圳前海微众银行股份有限公司 | 一种模型压缩方法及装置 |
CN110211064A (zh) * | 2019-05-21 | 2019-09-06 | 华南理工大学 | 一种基于边缘引导的混合退化文本图像恢复方法 |
CN110266771A (zh) * | 2019-05-30 | 2019-09-20 | 天津神兔未来科技有限公司 | 分布式智能节点及分布式群体智能统部署方法 |
Non-Patent Citations (3)
Title |
---|
HAIFENG ZHENG ET AL.: "A Distributed Hierarchical Deep Computation Model for Federated Learning in Edge Computing", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 * |
王磊 等: "面向嵌入式应用的深度神经网络模型压缩技术综述", 《北京交通大学学报》 * |
纪荣嵘 等: "深度神经网络压缩与加速综述", 《计算机研究与发展》 * |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11645582B2 (en) | 2020-03-27 | 2023-05-09 | International Business Machines Corporation | Parameter sharing in federated learning |
WO2021191750A1 (en) * | 2020-03-27 | 2021-09-30 | International Business Machines Corporation | Parameter sharing in federated learning |
GB2608953A (en) * | 2020-03-27 | 2023-01-18 | Ibm | Parameter sharing in federated learning |
CN111541685B (zh) * | 2020-04-20 | 2021-03-16 | 南京大学 | 一种基于网络结构学习的边缘云异常检测方法 |
CN111541685A (zh) * | 2020-04-20 | 2020-08-14 | 南京大学 | 一种基于网络结构学习的边缘云异常检测方法 |
CN111553483B (zh) * | 2020-04-30 | 2024-03-29 | 同盾控股有限公司 | 基于梯度压缩的联邦学习的方法、装置及系统 |
CN111553483A (zh) * | 2020-04-30 | 2020-08-18 | 同盾控股有限公司 | 基于梯度压缩的联邦学习的方法、装置及系统 |
CN111553484B (zh) * | 2020-04-30 | 2023-09-08 | 同盾控股有限公司 | 联邦学习的方法、装置及系统 |
CN111553484A (zh) * | 2020-04-30 | 2020-08-18 | 同盾控股有限公司 | 联邦学习的方法、装置及系统 |
CN111901829B (zh) * | 2020-07-10 | 2022-05-10 | 江苏智能交通及智能驾驶研究院 | 基于压缩感知和量化编码的无线联邦学习方法 |
CN111901829A (zh) * | 2020-07-10 | 2020-11-06 | 江苏智能交通及智能驾驶研究院 | 基于压缩感知和量化编码的无线联邦学习方法 |
CN113282933B (zh) * | 2020-07-17 | 2022-03-01 | 中兴通讯股份有限公司 | 联邦学习方法、装置和系统、电子设备、存储介质 |
CN113282933A (zh) * | 2020-07-17 | 2021-08-20 | 中兴通讯股份有限公司 | 联邦学习方法、装置和系统、电子设备、存储介质 |
CN112181666B (zh) * | 2020-10-26 | 2023-09-01 | 华侨大学 | 一种基于边缘智能的设备评估和联邦学习重要性聚合方法 |
CN112181666A (zh) * | 2020-10-26 | 2021-01-05 | 华侨大学 | 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质 |
CN112598150B (zh) * | 2020-11-09 | 2024-03-08 | 西安君能清洁能源有限公司 | 一种在智能电厂中基于联邦学习提升火灾检测效果的方法 |
CN112598150A (zh) * | 2020-11-09 | 2021-04-02 | 西安君能清洁能源有限公司 | 一种在智能电厂中基于联邦学习提升火灾检测效果的方法 |
CN112532451A (zh) * | 2020-11-30 | 2021-03-19 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
CN112532451B (zh) * | 2020-11-30 | 2022-04-26 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
CN112906745A (zh) * | 2021-01-21 | 2021-06-04 | 天津大学 | 基于边缘协同的诚信智能网络训练方法 |
CN112906745B (zh) * | 2021-01-21 | 2022-03-29 | 天津大学 | 基于边缘协同的诚信智能网络训练方法 |
CN113010305A (zh) * | 2021-02-08 | 2021-06-22 | 北京邮电大学 | 部署在边缘计算网络中的联邦学习系统及其学习方法 |
CN113011602A (zh) * | 2021-03-03 | 2021-06-22 | 中国科学技术大学苏州高等研究院 | 一种联邦模型训练方法、装置、电子设备和存储介质 |
CN113011602B (zh) * | 2021-03-03 | 2023-05-30 | 中国科学技术大学苏州高等研究院 | 一种联邦模型训练方法、装置、电子设备和存储介质 |
CN112990483A (zh) * | 2021-03-17 | 2021-06-18 | 北京理工大学 | 一种基于概率性抽样的大规模边缘机器学习训练方法 |
CN112966307A (zh) * | 2021-04-20 | 2021-06-15 | 钟爱健康科技(广东)有限公司 | 一种基于联邦学习张量因子分解的医疗隐私数据保护方法 |
CN112966307B (zh) * | 2021-04-20 | 2023-08-22 | 钟爱健康科技(广东)有限公司 | 一种基于联邦学习张量因子分解的医疗隐私数据保护方法 |
WO2022242076A1 (en) * | 2021-05-17 | 2022-11-24 | Huawei Technologies Co., Ltd. | Methods and systems for compressing trained neural network and for improving efficiently performing computations of compressed neural network |
CN113258935B (zh) * | 2021-05-25 | 2022-03-04 | 山东大学 | 一种联邦学习中基于模型权值分布的通信压缩方法 |
CN113258935A (zh) * | 2021-05-25 | 2021-08-13 | 山东大学 | 一种联邦学习中基于模型权值分布的通信压缩方法 |
CN113543045B (zh) * | 2021-05-28 | 2022-04-26 | 平头哥(上海)半导体技术有限公司 | 处理单元、相关装置和张量运算方法 |
CN113543045A (zh) * | 2021-05-28 | 2021-10-22 | 平头哥(上海)半导体技术有限公司 | 处理单元、相关装置和张量运算方法 |
CN113420888A (zh) * | 2021-06-03 | 2021-09-21 | 中国石油大学(华东) | 一种基于泛化域自适应的无监督联邦学习方法 |
CN113642700A (zh) * | 2021-07-05 | 2021-11-12 | 湖南师范大学 | 基于联邦学习和边缘计算的跨平台多模态舆情分析方法 |
CN113343280A (zh) * | 2021-07-07 | 2021-09-03 | 时代云英(深圳)科技有限公司 | 一种基于联合学习的私有云算法模型生成方法 |
CN113343280B (zh) * | 2021-07-07 | 2024-08-23 | 时代云英(深圳)科技有限公司 | 一种基于联合学习的私有云算法模型生成方法 |
CN113591145A (zh) * | 2021-07-28 | 2021-11-02 | 西安电子科技大学 | 基于差分隐私和量化的联邦学习全局模型训练方法 |
CN113591145B (zh) * | 2021-07-28 | 2024-02-23 | 西安电子科技大学 | 基于差分隐私和量化的联邦学习全局模型训练方法 |
CN113705634A (zh) * | 2021-08-11 | 2021-11-26 | 西安交通大学 | 一种基于分层自适应的联邦学习方法、装置、设备及介质 |
CN113705634B (zh) * | 2021-08-11 | 2024-05-10 | 西安交通大学 | 一种基于分层自适应的联邦学习方法、装置、设备及介质 |
CN113902021A (zh) * | 2021-10-13 | 2022-01-07 | 北京邮电大学 | 一种高能效的聚类联邦边缘学习策略生成方法和装置 |
CN113971090A (zh) * | 2021-10-21 | 2022-01-25 | 中国人民解放军国防科技大学 | 分布式深度神经网络的分层联邦学习方法及装置 |
CN113971090B (zh) * | 2021-10-21 | 2022-09-13 | 中国人民解放军国防科技大学 | 分布式深度神经网络的分层联邦学习方法及装置 |
US11468370B1 (en) | 2022-03-07 | 2022-10-11 | Shandong University | Communication compression method based on model weight distribution in federated learning |
Also Published As
Publication number | Publication date |
---|---|
CN110909865B (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110909865B (zh) | 边缘计算中基于分层张量分解的联邦学习方法 | |
Zou et al. | Mobile device training strategies in federated learning: An evolutionary game approach | |
CN113595993B (zh) | 边缘计算下模型结构优化的车载感知设备联合学习方法 | |
CN112989064A (zh) | 一种聚合知识图神经网络和自适应注意力的推荐方法 | |
CN111158912B (zh) | 云雾协同计算环境下一种基于深度学习的任务卸载决策方法 | |
CN114117926B (zh) | 一种基于联邦学习的机器人协同控制算法 | |
CN114091667A (zh) | 一种面向非独立同分布数据的联邦互学习模型训练方法 | |
CN103544528A (zh) | 一种基于Hadoop的BP神经网络分类方法 | |
CN112600697B (zh) | 基于联邦学习的QoS预测方法及系统、客户端和服务端 | |
CN116362327A (zh) | 一种模型训练方法、系统及电子设备 | |
CN115115021A (zh) | 基于模型参数异步更新的个性化联邦学习方法 | |
Zhao et al. | Communication-efficient federated learning for digital twin systems of industrial Internet of Things | |
Du et al. | The Internet of Things as a deep neural network | |
Du et al. | Decentralized federated learning with markov chain based consensus for industrial iot networks | |
Tian et al. | An Edge-Cloud Collaboration Framework for Generative AI Service Provision with Synergetic Big Cloud Model and Small Edge Models | |
Joshi et al. | Simulated annealing based integerization of hidden weights for area-efficient IoT edge intelligence | |
CN113743012B (zh) | 一种多用户场景下的云-边缘协同模式任务卸载优化方法 | |
CN114995157A (zh) | 多智能体系统在合作竞争关系下的反同步优化控制方法 | |
CN106909649A (zh) | 基于循环神经网络的大数据轮廓查询处理方法 | |
Chen et al. | A Data Propagation Method of Internet of Vehicles Based on Sharding Blockchain | |
CN114327853A (zh) | 云边混合系统中面向复杂任务的低成本用户关联和计算迁移方法 | |
CN114595816A (zh) | 一种基于边缘计算的神经网络模型训练方法 | |
Yangjun et al. | Boosting ridge extreme learning machine | |
Jia et al. | Efficient federated learning with adaptive channel pruning for edge devices | |
Wu et al. | ASTC: An adaptive gradient compression scheme for communication-efficient edge computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |