CN112181971B - 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统 - Google Patents

一种基于边缘的联邦学习模型清洗和设备聚类方法、系统 Download PDF

Info

Publication number
CN112181971B
CN112181971B CN202011166681.0A CN202011166681A CN112181971B CN 112181971 B CN112181971 B CN 112181971B CN 202011166681 A CN202011166681 A CN 202011166681A CN 112181971 B CN112181971 B CN 112181971B
Authority
CN
China
Prior art keywords
model
global
local
cluster
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011166681.0A
Other languages
English (en)
Other versions
CN112181971A (zh
Inventor
王田
刘艳
尹沐君
於志勇
高振国
张忆文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Huaqiao University
Original Assignee
Fuzhou University
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University, Huaqiao University filed Critical Fuzhou University
Priority to CN202011166681.0A priority Critical patent/CN112181971B/zh
Publication of CN112181971A publication Critical patent/CN112181971A/zh
Application granted granted Critical
Publication of CN112181971B publication Critical patent/CN112181971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于边缘的联邦学习模型清洗和设备聚类方法、系统、设备和可读存储介质，方法包括：根据设备所在的局域网地址，对设备聚类，将在每个局域网部署一个移动边缘节点服务器；参与训练的终端设备接收到云端发来的全局模型，在本地数据上训练得到本地更新模型；计算终端设备本地更新模型参数与全局模型参数间的余弦相似度；判定所述余弦相似度是否大于设定阈值，若余弦相似度大于设定阈值的本地更新模型，传输到移动边缘节点服务器参与边缘聚合，得到簇模型；将局域网的簇模型发送到云端参与全局聚合，得到全局聚合模型。本发明提出的方法能够在减少不必要的通信开销和避免服务器高并发访问带来的传输延迟的情况下提高联邦学习通信效率的方法。

Description

一种基于边缘的联邦学习模型清洗和设备聚类方法、系统
技术领域
本发明涉及边缘智能的联邦学习领域，特别是指一种基于边缘的联邦学习模型清洗和设备聚类方法、系统。
背景技术
由于行业竞争和保护数据隐私的结果，在大多数行业中，数据往往以孤岛的形式存在。即使在同一家公司，不同部门之间的数据整合也面临着巨大的阻力，更不用说整合来自各个机构的数据，这在现实中几乎是不可能的。此外，随着大数据的进一步发展，对数据隐私和安全的重视已成为全球趋势。因此，通过把终端数据发送到云端进行深度学习的传统机器学习方式面临着极大的挑战。作为人工智能(Artificial Intelligence,AI)的核心技术，联邦学习(Federated Learning,FL)是解决这一挑战的一种很有前途的方法。在FL的学习过程中，由云服务器维护的全局模型为所有终端设备共享，终端设备仅需在其本地数据集上对全局模型训练，并将训练好的本地更新上传到云服务器参与全局聚合，然后不断迭代这一过程。联邦学习的整个过程都没有涉及到数据的传输，因而它保护了数据的隐私和安全，并且在保护数据隐私的情况下实现了机器学习(Machine Learning,ML)的目的。
然而，FL的通信效率仍然面临许多挑战。一方面，部署在终端设备上的高级ML应用程序越来越多地使用复杂的神经网络，因此本地更新通常包含较大的梯度向量。相比之下，终端设备与云服务器之间的网络通常存在两个问题：1)网络的带宽有限，且高带宽服务的服务器成本昂贵；2)本地和云端之间的网络连接具有不对称特性：网络的上行速度通常比下行速度慢很多。因此，当大量的终端设备参与联邦学习时，对服务器的高并发访问势必会增加模型传输的通信延迟，网络的不稳定也会导致训练瓶颈。另一方面，参与FL的设备存在异构性，参与训练的本地数据往往是服从非独立同分布(Non-independently identicallydistribution,Non-IID)的，因此这些设备和数据训练的本地模型往往是差强人意的，这些本地模型可以称之为脏模型。如果来自脏模型的本地更新被发送到云端参与聚合，这不仅会严重影响全局模型的精度，还增加了额外的通信成本。因此，减少FL的网络占用变得至关重要。
近两年来，很多联邦学习领域的研究学者对提高联邦学习通信效率问题做了相关的工作。CMFL(Communication-Mitigated Federated Learning)是一种减少通信的联邦学习方法，它通过计算全局更新和本地更新之间符号相同的参数的数量来确定本地更新的重要性，比如，那些满足
Figure GDA0003815884740000021
的本地更新被认为不重要，不会被上传，其中uj表示上一次全局迭代的全局模型参数，
Figure GDA0003815884740000022
表示当前全局迭代中的本地模型参数，从而减少了联邦学习的通信开销。直观地看，虽然模型更新的参数符号决定了模型参数在各维数的改进方向(增加或减少)，但参数的值也反映了模型参数在各个方向上的变化程度。例如，在典型的softmax回归模型中，模型参数的值可以理解为各个类别的softmax概率值，因此本地更新与全局模型对应的参数值应该是相似的。如果全局模型和本地模型对应参数的符号相同，但参数值相差很大，直观上我们认为这两个模型参数没有关系。换言之，现有的提高联邦学习效率的方法过于片面，没有考虑到模型参数在多维上的差异性和服务器高并发带来的延迟问题。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种通过计算全局模型参数和本地模型参数之间的余弦相似度来清洗与全局模型相似度较低的本地模型，并利用移动边缘节点聚合属于同一局域网的本地模型，从而在减少不必要的通信开销和避免服务器高并发访间带来的传输延迟的情况下提高联邦学习通信效率的方法。
本发明采用如下技术方案：
一种基于边缘的联邦学习模型清洗和设备聚类方法，包括：
根据设备所在的局域网地址，对设备聚类，将不同的局域网划分为不同的簇，每个簇相互独立，且部署一个移动边缘节点服务器；
参与训练的终端设备接收到云端发来的全局模型，在本地数据上训练得到本地更新模型；
计算终端设备本地更新模型参数与全局模型参数间的余弦相似度；
判定所述余弦相似度是否大于设定阈值，若余弦相似度大于设定阈值的本地更新模型，并将所述本地更新模型传输到移动边缘节点服务器参与边缘聚合，得到簇模型；
将局域网的簇模型发送到云端参与全局聚合，通过最小化全局损失函数得到全局聚合模型。
具体地，所述根据设备所在的局域网地址，对设备聚类，具体为：
clusterm＝{i|Ai∈Am}
其中Ai为终端设备i的LAN地址，clusterm表示属于局域网Am的设备聚类的结果，m表示局域网的标号。
具体地，所述计算终端设备本地更新模型参数与全局模型参数间的余弦相似度，具体为：
Figure GDA0003815884740000031
其中Gt-1＝[g1，g2，...，gs]为第t-1次迭代的全局模型，Lt＝[l1，l2，..，ls]为第t次迭代的本地更新模型，s表示模型参数的维度，t表示迭代次数，j＝1，2，3...s。
并将所述本地更新模型传输到移动边缘节点服务器参与边缘聚合，得到簇模型，其中所述边缘聚合，得到簇模型具体为：
Figure GDA0003815884740000032
其中D表示参与学习的数据总大小，Di表示设备i参与学习的数据大小，fi(w)表示设备i训练的模型的损失函数，Fc(w)表示簇模型。
本发明另一方面提供一种基于边缘的联邦学习模型清洗和设备聚类系统，包括：
设备聚类模块：根据设备所在的局域网地址，对设备聚类，将不同的局域网划分为不同的簇，每个簇相互独立，且部署一个移动边缘节点服务器；
本地更新模块：参与训练的终端设备接收到云端发来的全局模型，在本地数据上训练得到本地更新的本地更新模型；
计算模块：计算终端设备本地更新模型参数与全局模型参数间的余弦相似度；
边缘聚合模块：判定所述余弦相似度是否大于设定阈值，若余弦相似度大于设定阈值的本地更新模型，并将所述本地更新模型传输到移动边缘节点服务器参与边缘聚合，得到簇模型；
全局聚合模块：将局域网的簇模型发送到云端参与全局聚合，通过最小化全局损失函数得到全局聚合模型。
具体地，所述设备聚类模块用于根据设备所在的局域网地址，对设备聚类，具体为：
clusterm＝{i|Ai∈Am}
其中Ai为终端设备i的LAN地址，clusterm表示属于局域网Am的设备聚类的结果，m表示局域网的标号。
具体地，计算模块用于计算终端设备本地更新模型参数与全局模型参数间的余弦相似度，具体为：
所述计算终端设备本地更新模型参数与全局模型参数间的余弦相似度，具体为：
Figure GDA0003815884740000041
其中Gt-1＝[g1，g2，...，gs]为第t-1次迭代的全局模型，Lt＝[l1，l2，..，ls]为第t次迭代的本地更新模型，s表示模型参数的维度，t表示迭代次数，j＝1，2，3...s。
边缘聚合模块用于将所述本地更新模型传输到移动边缘节点服务器参与边缘聚合，得到簇模型，其中所述边缘聚合，得到簇模型具体为：
Figure GDA0003815884740000042
其中D表示参与学习的数据总大小，Di表示设备i参与学习的数据大小，fi(w)表示设备i训练的模型的损失函数，Fc(w)表示簇模型。
本发明再一方面还提供一种设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于边缘的联邦学习模型清洗和设备聚类方法。
本发明又一方面还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述基于边缘的联邦学习模型清洗和设备聚类方法。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
针对已有的提高联邦学习效率的方法只考虑全局模型参数和本地模型参数在对应参数符号上的差异，忽视了对应参数符号在数值和方向上的变化，同时也没有考虑到联邦学习多参与设备训练模式下对服务器的高并发访问带来的传输延迟；本发明通过计算全局模型参数和本地模型参数之间的余弦相似度来清洗那些与全局模型相似度较低的本地模型，来实现清洗那些与全局模型收敛方向无关的本地模型，并在不同的局域网部署移动边缘节点用于收集和聚合清洗后的本地模型。本发明提出的方法能够极大的节约成本，在服务器带宽相同的条件下，减少了访问服务器的设备数，避免了服务器高并发访问带来的模型传输延迟和避免不必要的通信开销，能够在大规模联邦学习模型训练的情况下提高学习的通信效率，且模型清洗效率高，模型参数在方向和数值两个维度上比较比在单个维度上效率更高。
附图说明
图1是本发明实施例所提出方法的模型示意图；
图2是softmax回归模型在MNIST数据集上进行联邦学习的训练结果；图(a)训练结果精度对比图，图(b)为训练结果损失对比图；图(c)为训练时间对比图；
图3是卷积神经网络模型在MNIST数据集上进行联邦学习的训练结果。图(a)训练结果精度对比图，图(b)为训练结果损失对比图；图(c)为训练时间对比图。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
如图1是本发明实施例所提出方法的模型示意图，首选通过设备聚类，再进行模型清洗以及边缘聚合，最后进行全局聚合，并进行多次迭代。
具体的，本发明提供一种基于边缘的联邦学习模型清洗和设备聚类方法，包括：
根据设备所在的局域网地址，对设备聚类，将不同的局域网划分为不同的簇，每个簇相互独立，且部署一个移动边缘节点服务器；
参与训练的终端设备接收到云端发来的全局模型，在本地数据上训练得到本地更新模型；
计算终端设备本地更新模型参数与全局模型参数间的余弦相似度；
判定所述余弦相似度是否大于设定阈值，若余弦相似度大于设定阈值的本地更新模型，并将所述本地更新模型传输到移动边缘节点服务器参与边缘聚合，得到簇模型；
将局域网的簇模型发送到云端参与全局聚合，得到全局聚合模型。
具体是经过多次全局迭代后全局模型的损失值趋于稳定，最终得到最优全局模型。
具体地，所述根据设备所在的局域网地址，对设备聚类，具体为：
clusterm＝{i|Ai∈Am}
其中Ai为终端设备i的LAN地址，clusterm表示属于局域网Am的设备聚类的结果，m表示局域网的标号。
具体地，所述计算终端设备本地更新模型参数与全局模型参数间的余弦相似度，具体为：
Figure GDA0003815884740000061
其中Gt-1＝[g1，g2，...，gs]为第t-1次迭代的全局模型，Lt＝[l1，l2，..，ls]为第t次迭代的本地更新模型，s表示模型参数的维度，t表示迭代次数，j＝1，2，3...s。
并将所述本地更新模型传输到移动边缘节点服务器参与边缘聚合，得到簇模型，其中所述边缘聚合，得到簇模型具体为：
Figure GDA0003815884740000062
其中D表示参与学习的数据总大小，Di表示设备i参与学习的数据大小，fi表示设备i训练的模型的损失函数，fi(w)表示为本地更新模型，Fc(w)表示在局域网c的移动边缘节点上对该局域网内本地更新局部聚合后得到的簇模型。
具体地，所述将局域网的簇模型发送到云端参与全局聚合，得到全局聚合模型，具体为：
Figure GDA0003815884740000071
其中Dc表示局域网c中参与联邦学习的数据大小，Fc(w)表示在局域网c的移动边缘节点上对该局域网内本地更新局部聚合后得到的簇模型。
具体地，所述经过多次全局迭代后全局模型的损失值趋于稳定，最终得到最优全局模型参数，具体为：
wT＝argminF(w)
其中wT表示经过T次全局迭代后得到的最优全局模型。
本发明另一方面提供一种基于边缘的联邦学习模型清洗和设备聚类系统，包括：
设备聚类模块：根据设备所在的局域网地址，对设备聚类，将不同的局域网划分为不同的簇，每个簇相互独立，且部署一个移动边缘节点服务器；
本地更新模块：参与训练的终端设备接收到云端发来的全局模型，在本地数据上训练得到本地更新的本地更新模型；
计算模块：计算终端设备本地更新模型参数与全局模型参数间的余弦相似度；
边缘聚合模块：判定所述余弦相似度是否大于设定阈值，若余弦相似度大于设定阈值的本地更新模型，并将所述本地更新模型传输到移动边缘节点服务器参与边缘聚合，得到簇模型。在softmax回归和CNN两种机器学习算法上的实验结果显示，当使用CNN算法作为联邦学习的算法时，阈值设为0.9999能获得最佳学习性能，当使用softmax回归算法作为联邦学习的算法时，阈值设为0.98能获得最佳学习性能；
全局聚合模块：将局域网的簇模型发送到云端参与全局聚合，通过最小化全局损失函数得到全局聚合模型。
具体地，所述设备聚类模块用于根据设备所在的局域网地址，对设备聚类，具体为：
clusterm＝{i|Ai∈Am}
其中Ai为终端设备i的LAN地址，clusterm表示属于局域网Am的设备聚类的结果，m表示局域网的标号。
具体地，计算模块用于计算终端设备本地更新模型参数与全局模型参数间的余弦相似度，具体为：
所述计算终端设备本地更新模型参数与全局模型参数间的余弦相似度，具体为：
Figure GDA0003815884740000081
其中Gt-1＝[g1，g2，...，gs]为第t-1次迭代的全局模型，Lt＝[l1，l2，..，ls]为第t次迭代的本地更新模型，s表示模型参数的维度，t表示迭代次数，j＝1，2，3...s。
边缘聚合模块用于将所述本地更新模型传输到移动边缘节点服务器参与边缘聚合，得到簇模型，其中所述边缘聚合，得到簇模型具体为：
Figure GDA0003815884740000082
其中D表示参与学习的数据总大小，Di表示设备i参与学习的数据大小，fi表示设备i训练的模型的损失函数，fi(w)表示为本地更新模型，Fc(w)表示在局域网c的移动边缘节点上对该局域网内本地更新局部聚合后得到的簇模型。
具体地，所述将局域网的簇模型发送到云端参与全局聚合，得到全局聚合模型，具体为：
Figure GDA0003815884740000083
其中Dc表示局域网c中参与联邦学习的数据大小，Fc(w)表示在局域网c的移动边缘节点上对该局域网内本地更新局部聚合后得到的簇模型。
具体地，所述经过多次全局迭代后全局模型的损失值趋于稳定，最终得到最优全局模型参数，具体为：
wT＝argminF(w)
其中wT表示经过T次全局迭代后得到的最优全局模型。
我们评估了两种不同机器学习算法在MNIST数据集上进行联邦学习的训练结果，模型包括softmax回归和卷积神经网络(Convolutional Neural Network，CNN)，图2和图3是对应的实验结果，其中，图(a)训练结果精度对比图，图(b)为训练结果损失对比图，图(c)为训练时间对比图。实验的数据处理方法是加入70％的噪声。其中，传统FL表示仅在FAvg算法下进行联邦学习，eFL是我们提出的基于边缘的模型清洗和设备聚类方法并设置了最佳的阈值，不带脏标签的FL表示参与联邦学习的数据未加噪声。因为在复杂的移动边缘网络中，终端设备的数据质量不如传统集中式学习，存在错误的数据，数据是根据用户的喜好生成的，数据分布不一样。实验中在数据中添加噪声数据能够更好地体现本发明方案在实际场景中的适用性与有效性。通过实验我们可以看到，我们提出的模型清洗和设备聚类方法在减少通信轮数和减少训练时间上明显优于传统的联邦学习，且较接近在未加数据噪声的条件下通过联邦学习方法训练的结果。
其中，MNIST数据集是包含从数字0到9的70,000个手写数字图像，图像为灰度图像，尺寸为28×28，由60,000个样本的训练集和10,000个样本的测试集组成。
本发明再一方面还提供一种设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于边缘的联邦学习模型清洗和设备聚类方法。
本发明又一方面还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述基于边缘的联邦学习模型清洗和设备聚类方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (8)

1.一种基于边缘的联邦学习模型清洗和设备聚类方法，其特征在于，包括：
根据设备所在的局域网地址，对设备聚类，将不同的局域网划分为不同的簇，每个簇相互独立，且部署一个移动边缘节点服务器；
参与训练的终端设备接收到云端发来的全局模型，在本地数据上训练得到本地更新模型；
计算终端设备本地更新模型参数与全局模型参数间的余弦相似度；
判定所述余弦相似度是否大于设定阈值，若余弦相似度大于设定阈值的本地更新模型，并将所述本地更新模型传输到移动边缘节点服务器参与边缘聚合，得到簇模型；
将局域网的簇模型发送到云端参与全局聚合得到全局聚合模型；
所述根据设备所在的局域网地址，对设备聚类，具体为：
clusterm＝{i|Ai∈Am}
其中Ai为终端设备i的LAN地址，clusterm表示属于局域网Am的设备聚类的结果，m表示局域网的标号。
2.根据权利要求1所述的一种基于边缘的联邦学习模型清洗和设备聚类方法，其特征在于，所述计算终端设备本地更新模型参数与全局模型参数间的余弦相似度，具体为：
Figure FDA0003815884730000011
其中Gt-1＝[g1，g2，...，gs]为第t-1次迭代的全局模型，Lt＝[l1，l2，..，ls]为第t次迭代的本地更新模型，s表示模型参数的维度，t表示迭代次数，j＝1，2，3...s。
3.根据权利要求1所述的一种基于边缘的联邦学习模型清洗和设备聚类方法，其特征在于，并将所述本地更新模型传输到移动边缘节点服务器参与边缘聚合，得到簇模型，其中所述边缘聚合，得到簇模型具体为：
Figure FDA0003815884730000012
其中D表示参与学习的数据总大小，Di表示设备i参与学习的数据大小，fi(w)表示设备i训练的模型的损失函数，Fc(w)表示簇模型。
4.一种基于边缘的联邦学习模型清洗和设备聚类系统，其特征在于，包括：
设备聚类模块：根据设备所在的局域网地址，对设备聚类，将不同的局域网划分为不同的簇，每个簇相互独立，且部署一个移动边缘节点服务器；
本地更新模块：参与训练的终端设备接收到云端发来的全局模型，在本地数据上训练得到本地更新模型；
计算模块：计算终端设备本地更新模型参数与全局模型参数间的余弦相似度；
边缘聚合模块：判定所述余弦相似度是否大于设定阈值，若余弦相似度大于设定阈值的本地更新模型，并将所述本地更新模型传输到移动边缘节点服务器参与边缘聚合，得到簇模型；
全局聚合模块：将局域网的簇模型发送到云端参与全局聚合，得到全局聚合模型；
设备聚类模块用于根据设备所在的局域网地址，对设备聚类，具体为：
clusterm＝{i|Ai∈Am}
其中Ai为终端设备i的LAN地址，clusterm表示属于局域网Am的设备聚类的结果，m表示局域网的标号。
5.根据权利要求4所述的一种基于边缘的联邦学习模型清洗和设备聚类系统，其特征在于，计算模块用于计算终端设备本地更新模型参数与全局模型参数间的余弦相似度，具体为：
所述计算终端设备本地更新模型参数与全局模型参数间的余弦相似度，具体为：
Figure FDA0003815884730000021
其中Gt-1＝[g1，g2，...，gs]为第t-1次迭代的全局模型，Lt＝[l1，l2，..，ls]为第t次迭代的本地更新模型，s表示模型参数的维度，t表示迭代次数，j＝1，2，3...s。
6.根据权利要求4所述的一种基于边缘的联邦学习模型清洗和设备聚类系统，其特征在于，边缘聚合模块用于将所述本地更新模型传输到移动边缘节点服务器参与边缘聚合，得到簇模型，其中所述边缘聚合，得到簇模型具体为：
Figure FDA0003815884730000031
其中D表示参与学习的数据总大小，Di表示设备i参与学习的数据大小，fi(w)表示设备i训练的模型的损失函数，Fc(w)表示簇模型。
7.一种设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至4任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至4任一项所述的方法。
CN202011166681.0A 2020-10-27 2020-10-27 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统 Active CN112181971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011166681.0A CN112181971B (zh) 2020-10-27 2020-10-27 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011166681.0A CN112181971B (zh) 2020-10-27 2020-10-27 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统

Publications (2)

Publication Number Publication Date
CN112181971A CN112181971A (zh) 2021-01-05
CN112181971B true CN112181971B (zh) 2022-11-01

Family

ID=73923155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011166681.0A Active CN112181971B (zh) 2020-10-27 2020-10-27 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统

Country Status (1)

Country Link
CN (1) CN112181971B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766518A (zh) * 2021-01-13 2021-05-07 新智数字科技有限公司 基于联合学习的蒸发器维护方法、装置和终端设备
CN112817653A (zh) * 2021-01-22 2021-05-18 西安交通大学 一种基于云边端的联邦学习计算卸载计算系统及方法
CN112929223B (zh) * 2021-03-08 2022-09-23 北京邮电大学 一种基于联邦学习方式训练神经网络模型的方法及系统
CN113222031B (zh) * 2021-05-19 2022-04-12 浙江大学 基于联邦个性化学习的光刻热区检测方法
CN113191504B (zh) * 2021-05-21 2022-06-28 电子科技大学 一种面向计算资源异构的联邦学习训练加速方法
CN113191505B (zh) * 2021-05-21 2022-05-20 电子科技大学 一种地理分布式机器学习参数服务器放置方法
CN113312667B (zh) * 2021-06-07 2022-09-02 支付宝(杭州)信息技术有限公司 一种风险防控方法、装置及设备
CN113313266B (zh) * 2021-06-15 2023-10-24 厦门大学 基于两阶段聚类的联邦学习模型训练方法和存储设备
CN113255937B (zh) * 2021-06-28 2021-11-09 江苏奥斯汀光电科技股份有限公司 一种面向智能车间不同智能体之间的联邦学习方法及系统
CN113435534A (zh) * 2021-07-09 2021-09-24 新智数字科技有限公司 一种基于相似度度量的数据异构处理方法、装置、计算机设备及计算机可读存储介质
CN113487041B (zh) * 2021-07-15 2024-05-07 深圳市与飞科技有限公司 横向联邦学习方法、装置及存储介质
CN113469373B (zh) * 2021-08-17 2023-06-30 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113989561B (zh) * 2021-10-29 2024-04-16 河海大学 基于异步联邦学习的参数聚合更新方法、设备及系统
CN114065863B (zh) * 2021-11-18 2023-08-29 北京百度网讯科技有限公司 联邦学习的方法、装置、系统、电子设备及存储介质
KR20230105472A (ko) * 2022-01-04 2023-07-11 숭실대학교산학협력단 로컬 그룹 기반의 연합학습 시스템 및 연합학습 제어방법
CN114492647A (zh) * 2022-01-28 2022-05-13 中国银联股份有限公司 基于分布式图嵌入的联邦图聚类方法、装置及可读存储介质
CN115034333A (zh) * 2022-06-29 2022-09-09 支付宝(杭州)信息技术有限公司 联邦学习方法、联邦学习装置及联邦学习系统
CN115170840B (zh) * 2022-09-08 2022-12-23 阿里巴巴（中国）有限公司 数据处理系统、方法和电子设备
CN115909746A (zh) * 2023-01-04 2023-04-04 中南大学 一种基于联邦学习的交通流预测方法、系统和介质
CN117808127B (zh) * 2024-02-29 2024-05-28 浪潮电子信息产业股份有限公司 数据异构条件下的图像处理方法、联邦学习方法及装置
CN117808125B (zh) * 2024-02-29 2024-05-24 浪潮电子信息产业股份有限公司 模型聚合方法、装置、设备、联邦学习系统及存储介质
CN117808128B (zh) * 2024-02-29 2024-05-28 浪潮电子信息产业股份有限公司 数据异构条件下的图像处理方法及装置
CN117851838A (zh) * 2024-03-07 2024-04-09 广州大学 一种协作学习过程中异构数据源的鉴定方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10877947B2 (en) * 2018-12-11 2020-12-29 SafeGraph, Inc. Deduplication of metadata for places
CN111340277B (zh) * 2020-02-19 2023-04-25 东南大学 雾无线接入网中基于联邦学习的流行度预测模型及预测方法
CN111460443B (zh) * 2020-05-28 2022-09-23 南京大学 一种联邦学习中数据操纵攻击的安全防御方法
CN111754000B (zh) * 2020-06-24 2022-10-14 清华大学 质量感知的边缘智能联邦学习方法及系统

Also Published As

Publication number Publication date
CN112181971A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112181971B (zh) 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统
US10163420B2 (en) System, apparatus and methods for adaptive data transport and optimization of application execution
CN113518007B (zh) 一种基于联邦学习的多物联网设备异构模型高效互学习方法
WO2019085709A1 (zh) 一种应用于卷积神经网络的池化处理的方法及系统
CN110968426A (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN107133268B (zh) 一种用于Web服务推荐的协同过滤方法
CN113452655A (zh) 一种分布式训练方法、梯度通信方法、装置以及计算设备
CN107766076B (zh) 一种概率选择的软件模块聚类方法
CN117272195A (zh) 基于图卷积注意力网络的区块链异常节点检测方法及系统
CN111368060A (zh) 对话机器人的自学习方法、装置、系统、电子设备及介质
CN116628524A (zh) 一种基于自适应图注意力编码器的社区发现方法
CN112738225B (zh) 基于人工智能的边缘计算方法
WO2023137916A1 (zh) 基于图神经网络的图像场景分类方法及装置
CN115935080A (zh) 面向社交网络流数据基于mpich并行计算的极大团枚举方法
CN113505326B (zh) 一种基于http协议族的动态编码数据传输控制方法
CN117033997A (zh) 数据切分方法、装置、电子设备和介质
CN116151409A (zh) 基于神经网络的城市日需水量预测的方法
CN114662012A (zh) 一种面向基因调控网络的社区查询分析方法
CN110009579B (zh) 一种基于头脑风暴优化算法的图像复原方法及系统
Ma et al. Efl: Elastic federated learning on non-iid data
CN113886547A (zh) 基于人工智能的客户实时对话转接方法、装置和电子设备
CN110188219B (zh) 面向图像检索的深度强化去冗余哈希方法
CN108846543B (zh) 一种非重叠社区集合质量度量指标的计算方法及装置
CN109189743B (zh) 一种面向大流量实时图数据的低资源消耗的超级节点识别过滤方法和系统
CN109711478A (zh) 一种基于时序密度聚类的大规模数据群组搜索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant