CN117808128A - 数据异构条件下的图像处理方法、联邦学习方法及装置 - Google Patents

数据异构条件下的图像处理方法、联邦学习方法及装置 Download PDF

Info

Publication number
CN117808128A
CN117808128A CN202410230128.0A CN202410230128A CN117808128A CN 117808128 A CN117808128 A CN 117808128A CN 202410230128 A CN202410230128 A CN 202410230128A CN 117808128 A CN117808128 A CN 117808128A
Authority
CN
China
Prior art keywords
model
edge computing
local
data
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410230128.0A
Other languages
English (en)
Other versions
CN117808128B (zh
Inventor
赵坤
范宝余
李仁刚
王立
张润泽
赵雅倩
郭振华
曹芳
鲁璐
贺蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202410230128.0A priority Critical patent/CN117808128B/zh
Priority claimed from CN202410230128.0A external-priority patent/CN117808128B/zh
Publication of CN117808128A publication Critical patent/CN117808128A/zh
Application granted granted Critical
Publication of CN117808128B publication Critical patent/CN117808128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种数据异构条件下的图像处理方法、联邦学习方法及装置，涉及图像处理技术领域，边缘云服务器根据数据分布相似性对边缘计算设备分簇，簇内边缘计算设备具有相似的数据分布，可以让模型更好的捕捉到数据的特征。边缘计算设备采用残差分级训练的方式进行模型训练，实现细粒度模型训练，缓解数据分布差异大的问题。边缘计算设备与边缘云服务器在联邦学习过程中进行三层模型参数聚合，得到准确可靠的图像处理模型，最终边缘计算设备使用该准确可靠的图像处理模型进行图像处理，可以提升图像处理的准确性与可靠性。

Description

数据异构条件下的图像处理方法、联邦学习方法及装置
技术领域
本发明涉及图像处理技术领域，特别涉及一种数据异构条件下的图像处理方法、联邦学习方法、装置、设备、系统及介质。
背景技术
联邦学习是一种分布式机器学习方法。联邦学习的各参与方之间不交互本地数据，而只交互本地模型的模型参数。本地模型是边缘计算设备训练的模型。边缘云服务器聚合各边缘计算设备的本地模型的模型参数，得到全局模型的模型参数。全局模型是边缘云服务器以聚合边缘计算设备的模型参数得到的模型参数作为模型参数的模型。传统的联邦学习方案往往不考虑边缘计算设备之间数据分布的差异，这样会导致模型对某些边缘计算设备的数据分布的适应性不佳，对于数据分布异质性较大的联邦学习环境，这样会导致模型的性能受损。另外，在边缘计算设备的模型数据与整个联邦学习系统有显著差异的情况下，会影响联邦学习的整体性能以及影响边缘计算设备的训练精度。在训练得到的全局模型为图像处理模型的情况下，利用训练好的图像处理模型进行图像处理的准确性与可靠性不高。
有鉴于此，如何提高图像处理的准确性与可靠性已成为本邻域技术人员亟待解决的技术问题。
发明内容
本发明的目的是提供一种数据异构条件下的图像处理方法、联邦学习方法、装置、设备、系统及介质，能够提升图像处理的准确性与可靠性。
为解决上述技术问题，本发明提供了一种数据异构条件下的图像处理方法，应用于作为数据同性簇的簇头的边缘计算设备，包括：
使用本地图像数据训练本地模型；其中，使用本地图像数据训练本地模型包括：判断本地模型的模型数据是否偏离全局模型；若否，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
接收所在数据同性簇中的邻居边缘计算设备的本地模型的模型参数；数据同性簇为边缘云服务器根据带权无向图对各边缘计算设备进行分簇的结果；带权无向图根据各边缘计算设备的数据分布相似性构建得到；带权无向图中相连的两个边缘计算设备互为邻居边缘计算设备；
聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；
聚合簇内的各个边缘计算设备发送的本地模型的模型参数，得到第二层模型参数聚合结果，并将第二层模型参数聚合结果发送给边缘云服务器，以使边缘云服务器聚合各数据同性簇的第二层模型参数聚合结果，得到第三层模型参数聚合结果；
接收所述边缘云服务器在以所述第三层模型参数聚合结果作为模型参数的图像处理模型收敛时，下发的所述图像处理模型，并使用所述图像处理模型处理图像。
在一些实施例中，判断本地模型的模型数据是否偏离全局模型包括：
使用本地数据测试以全局模型参数作为本地模型的模型参数时本地模型的精度，得到第一测试精度；
使用本地数据测试以上一训练轮次训练得到的本地模型的精度，得到第二测试精度；
计算所述第一测试精度与所述第二测试精度的差值；
若所述差值大于预设超参数，则本地模型的模型数据未偏离全局模型；
若所述差值不大于预设超参数，则本地模型的模型数据偏离全局模型。
在一些实施例中，根据所述残差调整本地模型中对应网络层的学习率包括：
根据，/>调整所述本地模型中对应网络层的学习率；
为调整后第l层的学习率，/>为调整前第l层的学习率，/>、T1、T2为超参数，/>为第l层的残差，/>为预设超参数。
在一些实施例中，根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数包括：
根据计算得到新的模型参数；
将本地模型的模型参数更新为计算得到的新的模型参数；
为新的模型参数，/>为本地模型的模型参数，/>为全局模型的模型参数，/>为超参数，/>为所述第一测试精度，/>为所述第二测试精度。
在一些实施例中，聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果包括：
接收各邻居边缘计算设备的本地模型的模型参数；
将自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数取均值，得到第一层模型参数聚合结果。
在一些实施例中，聚合簇内的各个边缘计算设备发送的本地模型的模型参数，得到第二层模型参数聚合结果包括：
根据聚合簇内各个边缘计算设备发送的本地模型的模型参数得到第二层模型参数聚合结果；
为第t轮的第二层模型参数聚合结果，/>为第t+1轮的第二层模型参数聚合结果，/>为第t轮第l迭代次数后边缘计算设备的本地模型的模型参数，Ni为簇内边缘计算设备的集合，/>为超参数。
为解决上述技术问题，本发明还提供了一种数据异构条件下的图像处理方法，应用于边缘云服务器，包括：
根据边缘计算设备的数据分布相似性构建得到带权无向图，并根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇；所述带权无向图中相连的边缘计算设备互为邻居边缘计算设备；
从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
接收所述簇头上传的第二模型参数聚合结果；所述第二模型参数聚合结果为所述簇头聚合簇内的各个边缘计算设备的本地模型的模型参数得到的；簇内各边缘计算设备使用本地图像数据训练本地模型，并聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；其中，边缘计算设备使用本地图像数据训练本地模型过程中判断本地模型的模型数据是否偏离全局模型；若否，则根据全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
聚合各所述第二层模型参数聚合结果，得到第三层模型参数聚合结果，并当以所述第三层模型参数聚合结果作为模型参数的图像处理模型收敛时，向各边缘计算设备下发所述图像处理模型，以使边缘计算设备使用所述图像处理模型处理图像。
在一些实施例中，根据边缘计算设备的数据分布相似性构建得到带权无向图包括：
从公网搜索公共数据，并基于所述公共数据构建测试数据集；
将所述测试数据集下发给各所述边缘计算设备，以使各所述边缘计算设备使用本地模型对所述测试数据集进行推理；
接收各所述边缘计算设备上传的推理结果，并计算各所述推理结果的相似度；
根据所述推理结果的相似度构建所述带权无向图。
在一些实施例中，根据所述推理结果的相似度构建所述带权无向图包括：
比较各边缘计算设备的推理结果的相似度与预设阈值的大小；
若两个边缘计算设备的推理结果的相似度大于预设阈值，则建立两个边缘计算设备之间的连接关系，两个边缘计算设备的推理结果的相似度的值作为两个所述边缘计算设备之间的连接边的值。
在一些实施例中，根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇包括：
初始化所述带权无向图中各边缘计算设备的标签；
迭代更新各边缘计算设备的标签，包括：将值大于设定阈值的连接边所连接的边缘计算设备的标签设置为相同的标签；统计目标节点的邻居边缘计算设备的标签出现的次数，并选择邻居边缘计算设备中出现次数最多的标签作为所述目标节点的标签；所述目标节点为所连接的各连接边的值都不大于设定阈值的边缘计算设备；
判断是否满足迭代更新停止条件；
若满足迭代更新停止条件，则将具有相同标签的所述边缘计算设备划分到同一个数据同性簇。
在一些实施例中，判断是否满足迭代更新停止条件包括：
在每次完成迭代更新后，计算当本次迭代更新后各边缘计算设备的标签与上一次迭代更新后各边缘计算设备的标签的变化量；
比较所述变化量与预设值的大小；
若所述变化量小于所述预设值，则满足迭代更新停止条件。
在一些实施例中，从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头包括：
选取所述数据同性簇中与其他边缘计算设备的距离最近或与其他边缘计算设备的通信速率最大的边缘计算设备作为所述数据同性簇的簇头。
为解决上述技术问题，本发明还提供了一种数据异构条件下的联邦学习方法，应用于作为数据同性簇的簇头的边缘计算设备，包括：
使用本地数据训练本地模型；其中，使用本地数据训练本地模型包括：判断本地模型的模型数据是否偏离全局模型；若否，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
接收所在数据同性簇中的邻居边缘计算设备的本地模型的模型参数；数据同性簇为边缘云服务器根据带权无向图对各边缘计算设备进行分簇的结果；带权无向图根据各边缘计算设备的数据分布相似性构建得到；带权无向图中相连的两个边缘计算设备互为邻居边缘计算设备；
聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；
聚合簇内的各个边缘计算设备的本地模型的模型参数，得到第二层模型参数聚合结果，并将第二层模型参数聚合结果发送给边缘云服务器，以使边缘云服务器聚合各数据同性簇的第二层模型参数聚合结果，得到第三层模型参数聚合结果；
接收所述边缘云服务器在以所述第三层模型参数聚合结果作为模型参数的全局模型收敛时，下发的所述全局模型。
为解决上述技术问题，本发明还提供了一种数据异构条件下的联邦学习方法，应用于边缘云服务器，包括：
根据边缘计算设备的数据分布相似性构建得到带权无向图，并根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇；所述带权无向图中相连的边缘计算设备互为邻居边缘计算设备；
从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
接收所述簇头上传的第二模型参数聚合结果；所述第二模型参数聚合结果为所述簇头聚合簇内的各个边缘计算设备的本地模型的模型参数得到的；簇内各边缘计算设备使用本地数据训练本地模型，并聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；其中，边缘计算设备使用本地数据训练本地模型过程中判断本地模型的模型数据是否偏离全局模型；若否，则根据全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
聚合各所述第二层模型参数聚合结果，得到第三层模型参数聚合结果，并当以所述第三层模型参数聚合结果作为模型参数的全局模型收敛时，向各边缘计算设备下发的所述全局模型。
为解决上述技术问题，本发明还提供了一种数据异构条件下的图像处理装置，应用于作为数据同性簇的簇头的边缘计算设备，包括：
训练模块，用于使用本地图像数据训练本地模型；其中，使用本地图像数据训练本地模型包括：判断本地模型的模型数据是否偏离全局模型；若否，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
接收模块，用于接收所在数据同性簇中的邻居边缘计算设备的本地模型的模型参数；数据同性簇为边缘云服务器根据带权无向图对各边缘计算设备进行分簇的结果；带权无向图根据各边缘计算设备的数据分布相似性构建得到；带权无向图中相连的两个边缘计算设备互为邻居边缘计算设备；
第一聚合模块，用于聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；
第二聚合模块，用于聚合簇内的各个边缘计算设备发送的本地模型的模型参数，得到第二层模型参数聚合结果，并将第二层模型参数聚合结果发送给边缘云服务器，以使边缘云服务器聚合各数据同性簇的第二层模型参数聚合结果，得到第三层模型参数聚合结果；
图像处理模块，用于接收所述边缘云服务器在以所述第三层模型参数聚合结果作为模型参数的图像处理模型收敛时，下发的所述图像处理模型，并使用所述图像处理模型处理图像。
为解决上述技术问题，本发明还提供了一种数据异构条件下的图像处理装置，应用于边缘云服务器，包括：
分簇模块，用于根据边缘计算设备的数据分布相似性构建得到带权无向图，并根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇；所述带权无向图中相连的边缘计算设备互为邻居边缘计算设备；
选择模块，用于从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
接收模块，用于接收所述簇头上传的第二模型参数聚合结果；所述第二模型参数聚合结果为所述簇头聚合簇内的各个边缘计算设备的本地模型的模型参数得到的；簇内各边缘计算设备使用本地图像数据训练本地模型，并聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；其中，边缘计算设备使用本地图像数据训练本地模型过程中判断本地模型的模型数据是否偏离全局模型；若否，则根据全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
聚合模块，用于聚合各所述第二层模型参数聚合结果，得到第三层模型参数聚合结果，并当以所述第三层模型参数聚合结果作为模型参数的图像处理模型收敛时，向各边缘计算设备下发所述图像处理模型，以使边缘计算设备使用所述图像处理模型处理图像。
为解决上述技术问题，本发明还提供了一种数据异构条件下的联邦学习装置，应用于作为数据同性簇的簇头的边缘计算设备，包括：
训练单元，用于使用本地数据训练本地模型；其中，使用本地数据训练本地模型包括：判断本地模型的模型数据是否偏离全局模型；若否，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
第一接收单元，用于接收所在数据同性簇中的邻居边缘计算设备的本地模型的模型参数；数据同性簇为边缘云服务器根据带权无向图对各边缘计算设备进行分簇的结果；带权无向图根据各边缘计算设备的数据分布相似性构建得到；带权无向图中相连的两个边缘计算设备互为邻居边缘计算设备；
第一聚合单元，用于聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；
第二聚合单元，用于聚合簇内的各个边缘计算设备的本地模型的模型参数，得到第二层模型参数聚合结果，并将第二层模型参数聚合结果发送给边缘云服务器，以使边缘云服务器聚合各数据同性簇的第二层模型参数聚合结果，得到第三层模型参数聚合结果；
第二接收单元，用于接收所述边缘云服务器在以所述第三层模型参数聚合结果作为模型参数的全局模型收敛时，下发的所述全局模型。
为解决上述技术问题，本发明还提供了一种数据异构条件下的联邦学习装置，应用于边缘云服务器，包括：
分簇单元，用于根据边缘计算设备的数据分布相似性构建得到带权无向图，并根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇；所述带权无向图中相连的边缘计算设备互为邻居边缘计算设备；
选择单元，用于从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
接收单元，用于接收所述簇头上传的第二模型参数聚合结果；所述第二模型参数聚合结果为所述簇头聚合簇内的各个边缘计算设备的本地模型的模型参数得到的；簇内各边缘计算设备使用本地数据训练本地模型，并聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；其中，边缘计算设备使用本地数据训练本地模型过程中判断本地模型的模型数据是否偏离全局模型；若否，则根据全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
聚合单元，用于聚合各所述第二层模型参数聚合结果，得到第三层模型参数聚合结果，并当以所述第三层模型参数聚合结果作为模型参数的全局模型收敛时，向各边缘计算设备下发的所述全局模型。
为解决上述技术问题，本发明还提供了一种设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的数据异构条件下的图像处理方法的步骤，或实现如上所述的数据异构条件下的联邦学习方法的步骤。
为解决上述技术问题，本发明还提供了一种数据异构条件下的图像处理系统，包括：
边缘计算设备，用于实现如上所述的应用于边缘计算设备的数据异构条件下的图像处理方法的步骤；
边缘云服务器，用于实现如上所述的应用于边缘云服务器的数据异构条件下的图像处理方法的步骤。
为解决上述技术问题，本发明还提供了一种数据异构条件下的联邦学习系统，包括：
边缘计算设备，用于实现如上所述的应用于边缘计算设备的数据异构条件下的联邦学习方法的步骤；
边缘云服务器，用于实现如上所述的应用于边缘云服务器的数据异构条件下的联邦学习方法的步骤。
为解决上述技术问题，本发明还提供了一种介质，所述介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据异构条件下的图像处理方法的步骤，或实现如上所述的数据异构条件下的联邦学习方法的步骤。
本发明所提供的数据异构条件下的图像处理方法，边缘计算设备采用残差分级训练的方式进行模型训练，在边缘计算设备自身的模型数据不偏离全局模型的情况下，通过调整本地模型各网络层的学习率，实现细粒度模型训练。在边缘计算设备自身的模型数据偏离全局模型的情况下，融合全局模型的模型参数与本地模型的模型参数后再进行模型训练，可以有效缓解数据分布差异大的问题，保证边缘计算设备的训练精度。边缘云服务器根据数据分布相似性对边缘计算设备分簇，簇内边缘计算设备具有相似的数据分布，由于相似的数据分布可以让模型更好的捕捉到数据的特征，因此簇内模型参数聚合可以提高每个簇的模型训练准确性。边缘计算设备与边缘云服务器在联邦学习过程中进行三层模型参数聚合，最终边缘云服务器将联邦学习得到的准确可靠的图像处理模型发送给边缘计算设备，边缘计算设备使用该图像处理模型处理图像，可以提升图像处理的准确性与可靠性。
本发明所提供的数据异构条件下的联邦学习方法，边缘计算设备采用残差分级训练的方式进行模型训练，在边缘计算设备自身的模型数据不偏离全局模型的情况下，通过调整本地模型各网络层的学习率，实现细粒度模型训练。在边缘计算设备自身的模型数据偏离全局模型的情况下，融合全局模型的模型参数与本地模型的模型参数后再进行模型训练，可以有效缓解数据分布差异大的问题，保证边缘计算设备的训练精度。边缘云服务器根据数据分布相似性对边缘计算设备分簇，簇内边缘计算设备具有相似的数据分布，由于相似的数据分布可以让模型更好的捕捉到数据的特征，因此簇内模型参数聚合可以提高每个簇的模型训练准确性。边缘计算设备与边缘云服务器在联邦学习过程中进行三层模型参数聚合，最终边缘云服务器将联邦学习得到的准确可靠的全局模型发送给边缘计算设备，边缘计算设备使用该全局模型进行推理，可以提升推理的准确性与可靠性。
本发明所提供的数据异构条件下的图像处理装置、联邦学习装置、设备、系统及介质均具有上述技术效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本邻域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种应用于边缘计算设备的联邦学习方法的流程示意图；
图2为本发明实施例所提供的一种应用于边缘云服务器的联邦学习方法的流程示意图；
图3为本发明实施例所提供的一种带权无向图的示意图；
图4为发明实施例所提供的一种分簇结果示意图；
图5为本发明实施例所提供的一种簇内聚合网络的示意图；
图6为本发明实施例所提供的一种应用于边缘计算设备的图像处理方法的流程示意图；
图7为本发明实施例所提供的一种应用于边缘云服务器的图像处理方法的流程示意图。
具体实施方式
本发明的核心是提供一种数据异构条件下的图像处理方法、联邦学习方法、装置、设备、系统及介质，能够提升图像处理的准确性与可靠性。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本邻域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的应用于作为数据同性簇的簇头的边缘计算设备的联邦学习方法的流程示意图，参考图1所示，该方法包括：
S101：使用本地数据训练本地模型；其中，使用本地数据训练本地模型包括：判断本地模型的模型数据是否偏离全局模型；若否，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
边缘计算设备使用本地数据训练本地模型，在训练本地模型的过程中边缘计算设备判断本地模型的模型数据是否偏离全局模型。如果未偏离，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率。如果偏离，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数。
在一些实施例中，判断本地模型的模型数据是否偏离全局模型包括：
使用本地数据测试以全局模型参数作为本地模型的模型参数时本地模型的精度，得到第一测试精度；
使用本地数据测试以上一训练轮次训练得到的本地模型的精度，得到第二测试精度；
计算所述第一测试精度与所述第二测试精度的差值；
若所述差值大于预设超参数，则本地模型的模型数据未偏离全局模型；
若所述差值不大于预设超参数，则本地模型的模型数据偏离全局模型。
边缘计算设备接收边缘云服务器发送的全局模型的模型参数，表示为θ_global。边缘计算设备使用θ_global作为本地模型的初始模型参数，并使用本地数据对本地模型进行训练。训练过程中，边缘技术设备保留上一轮训练得到的本地模型的模型参数，表示为θ_previous。使用本地数据评估以θ_global作为模型参数时本地模型的性能，以及使用本地数据评估以θ_previous作为模型参数时模型的性能。
评估方式可以为：随机抽取本地训练数据集的1/10做为测试数据集，在边缘计算设备上进行测试，同时测试以θ_global作为模型参数时模型的性能与以θ_previous作为模型参数时模型的性能。
如果f(θ_global)-f(θ_previous)>delta ，表示当前的边缘计算设备的模型数据没有偏离全局模型。代表使用边缘计算设备上的本地数据进行测试的精度；delta是超参数，为预先设定好的固定值。如果f(θ_global)-f(θ_previous)<=delta，表示当前的边缘计算设备的模型数据偏离了全局模型。例如，delta=0，f(θ_global)-f(θ_previous)<delta，表示全局模型的性能低于本地模型的性能。
由于θ_global是边缘云服务器下发到每个边缘计算设备的全局模型的模型参数，具有较强的泛化能力，同时大概率以θ_global作为模型参数的模型具有较高的精度，因此= θ_global - θ_previous；/>表示残差。模型包括多个网络层，计算全局模型的每个网络层的模型参数与本地模型中对应网络层的模型参数的残差，进而根据残差调整本地模型中对应网络层的学习率。
在一些实施例中，根据所述残差调整本地模型中对应网络层的学习率包括：
根据，/>调整所述本地模型中对应网络层的学习率；
为调整后第l层的学习率，/>为调整前第l层的学习率，/>、T1、T2为超参数，/>为第l层的残差，/>为预设超参数。
用来调节学习率的变化幅度，T1、T2用来设定学习率的范围。
如果边缘计算设备自身的模型数据偏离全局模型，此时融合全局模型的模型参数与本地模型的模型参数，得到新的模型参数，并将本地模型的模型参数更新为该新的模型参数，然后再使用更新后的模型参数训练本地模型，得到本次迭代训练后的模型参数，仍可表示为θ_previous。
在一些实施例中，根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数包括：
根据计算得到新的模型参数；
将本地模型的模型参数更新为计算得到的新的模型参数；
为新的模型参数，/>为本地模型的模型参数，/>为全局模型的模型参数，/>为超参数，/>为所述第一测试精度，/>为所述第二测试精度。
S102：接收所在数据同性簇中的邻居边缘计算设备的本地模型的模型参数；数据同性簇为边缘云服务器根据带权无向图对各边缘计算设备进行分簇的结果；带权无向图根据各边缘计算设备的数据分布相似性构建得到；带权无向图中相连的两个边缘计算设备互为邻居边缘计算设备；
S103：聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；
S104：聚合簇内的各个边缘计算设备的本地模型的模型参数，得到第二层模型参数聚合结果，并将第二层模型参数聚合结果发送给边缘云服务器，以使边缘云服务器聚合各数据同性簇的第二层模型参数聚合结果，得到第三层模型参数聚合结果；
数据同性簇内的每个边缘计算设备更新本地模型，在训练的第t轮过程中，第l次迭代更新过程为：
；
为迭代更新后的本地模型的模型参数，/>为迭代更新前的本地模型的模型参数，/>为本次迭代的学习率，/>为本次参与迭代的样本数据。
在边缘计算设备进行第一预设次数的迭代更新后，边缘计算设备i（，Sk表示第k个数据同性簇）将自身的本地模型的模型参数以广播的方式发送到其邻居边缘计算设备/>，Ni为簇内边缘计算设备的集合，并且同时接收其邻居边缘计算设备的模型参数。进而聚合邻居边缘计算设备的本地模型的模型参数与自身的本地模型的模型参数，第一层模型参数聚合结果。
其中，在一些实施例中，聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果包括：
接收各邻居边缘计算设备的本地模型的模型参数；
将自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数取均值，得到第一层模型参数聚合结果。
当迭代次数是第一预设次数的整数倍时，数据同性簇内的所有边缘计算设备将自身的本地模型的模型参数发送给所在数据同性簇的簇头。簇头聚合各个边缘计算设备的本地模型的模型参数得到第二层模型参数聚合结果。
在簇内模型参数聚合的过程中，首先每个边缘计算设备与其簇内的邻居边缘计算设备进行第一层模型参数聚合，然后再由簇头进行第二层模型参数聚合，这样可以加速模型收敛，并可使簇内数据同性设备分类更精准，使数据类型最为近似的边缘计算设备之间模型聚合更新来获得更多的信息。
聚合簇内的各个边缘计算设备发送的本地模型的模型参数，得到第二层模型参数聚合结果包括：
根据聚合簇内各个边缘计算设备发送的本地模型的模型参数得到第二层模型参数聚合结果；
为第t轮的第二层模型参数聚合结果，/>为第t+1轮的第二层模型参数聚合结果，/>为第t轮第l迭代次数后边缘计算设备的本地模型的模型参数，Ni为簇内边缘计算设备的集合，/>为超参数。
当簇头进行第二预设次数的第二层模型参数聚合后，簇头将聚合得到的第二层模型聚合参数发送给边缘云服务器。边缘云服务器接收各个数据同性簇的簇头发送的第二层簇内模型聚合参数，并以同步的方式执行全局聚合，得到第三层模型参数聚合结果。边缘云服务器可以通过参数平均的方式得到第三层模型参数聚合结果：
；
表示更新后的第三层模型参数聚合记过，/>为第c个数据同性簇发送的第二层模型参数聚合结果，C为数据同性簇的个数。
S105：接收所述边缘云服务器在以所述第三层模型参数聚合结果作为模型参数的全局模型收敛时，下发的所述全局模型。
当以第三层模型参数聚合结果作为模型参数参数的全局模型收敛时，边缘云服务器将该全局模型下发给所有的边缘计算设备。边缘计算设备使用该全局模型进行推理。如果全局模型为图像处理模型，那么使用该全局模型进行图像处理。如果全局模型为网络攻击检测模型，那么使用该全局模型进行网络攻击检测。
需要说明的是，步骤S101至S105是以簇头作为执行主体进行的阐述，数据同性簇内的不是簇头的其他边缘计算设备除了不进行第二层模型参数聚合与上传外，其他均与簇头执行的操作一样，在此不再赘述。
综上所述，本发明所提供的数据异构条件下的联邦学习方法，边缘计算设备采用残差分级训练的方式进行模型训练，在边缘计算设备自身的模型数据不偏离全局模型的情况下，通过调整本地模型各网络层的学习率，实现细粒度模型训练。在边缘计算设备自身的模型数据偏离全局模型的情况下，融合全局模型的模型参数与本地模型的模型参数后再进行模型训练，可以有效缓解数据分布差异大的问题，保证边缘计算设备的训练精度。边缘云服务器根据数据分布相似性对边缘计算设备分簇，簇内边缘计算设备具有相似的数据分布，由于相似的数据分布可以让模型更好的捕捉到数据的特征，因此簇内模型参数聚合可以提高每个簇的模型训练准确性。边缘计算设备与边缘云服务器在联邦学习过程中进行三层模型参数聚合，最终边缘云服务器将联邦学习得到的准确可靠的全局模型发送给边缘计算设备，边缘计算设备使用该全局模型进行推理，可以提升推理的准确性与可靠性。
请参考图2，图2为本发明实施例所提供的应用于边缘云服务器的联邦学习方法的流程示意图，参考图2所示，该方法包括：
S201：根据边缘计算设备的数据分布相似性构建得到带权无向图，并根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇；所述带权无向图中相连的边缘计算设备互为邻居边缘计算设备；
同一个数据同性簇内的边缘计算设备的数据分布相似。
在一些实施例中，根据边缘计算设备的数据分布相似性构建得到带权无向图包括：
从公网搜索公共数据，并基于所述公共数据构建测试数据集；
将所述测试数据集下发给各所述边缘计算设备，以使各所述边缘计算设备使用本地模型对所述测试数据集进行推理；
接收各所述边缘计算设备上传的推理结果，并计算各所述推理结果的相似度；
根据所述推理结果的相似度构建所述带权无向图。
各个边缘计算设备基于本地数据进行模型训练，得到本地模型。边缘云服务器从公网搜索公共数据，基于公共数据构建测试数据集。边缘云服务器将测试数据集发送到各个边缘计算设备。边缘计算设备存储测试数据集，并使用基于本地数据训练得到的本地模型对测试数据集进行推理，得到推理结果。各个边缘计算设备将推理结果上传到边缘云服务器。边缘云服务器计算各推理结果的相似度，并根据推理结果的相似度构建各边缘计算设备的带权无向图。
边缘云服务器可以采用向量相似性计算方法计算各推理结果的相似度。示例性的，边缘云服务器采用Jaccard相似系数计算方法计算各推理结果的相似度。Jaccard相似系数计算可用于计算集合之间的相似度，也可以用于计算二值向量的相似度。对于两个二值向量A与B，Jaccard相似系数计算的计算公式为：similarity = |A ∩ B| / |A ∪ B|；其中，A ∩ B表示向量A和B的交集，A ∪ B表示向量A和B的并集。
假设边缘计算设备C的推理结果为一个二值向量[1,0,0,0,……1,1,1,0]，边缘计算设备D的推理结果为一个二值向量[0,1,1,0,……1,1,1,0]。使用Jaccard相似系数计算方法计算二值向量[1,0,0,0,……1,1,1,0]与二值向量[0,1,1,0,……1,1,1,0]的相似度。
本实施例通过边缘计算设备对相同测试数据集的推理结果的相似性来表征边缘计算设备之间的数据分布相似性，边缘计算设备使用本地模型对测试数据集进行推理的推理结果越相似表明边缘计算设备使用本地数据训练得到的本地模型越相似，边缘计算设备使用本地数据训练得到的本地模型越相似表明边缘计算设备的数据分布越相似。使用本实施例所提供的分数据同性簇方式，边缘计算设备只需上传推理结果，而不需要上传本地数据，这样可以保障本地数据的隐私性。
在一些实施例中，根据所述推理结果的相似度构建所述带权无向图包括：
比较各边缘计算设备的推理结果的相似度与预设阈值的大小；
若两个边缘计算设备的推理结果的相似度大于预设阈值，则建立两个边缘计算设备之间的连接关系，两个边缘计算设备的推理结果的相似度的值作为两个所述边缘计算设备之间的连接边的值。
如果两个边缘计算设备的推理结果的相似度大于预设阈值，则建立这两个边缘计算设备之间的连接关系，且这两个边缘计算设备之间的连接边的值等于这两个边缘计算设备之间的推理结果的相似度的值。如果两个边缘计算设备的推理结果的相似度不大于预设阈值，则不建立这两个边缘计算设备之间的连接关系。例如，预设阈值设置为0.7，据此构建得到图3所示的带权无向图，图3中设备1至设备6表示六个边缘计算设备，两个设备的连接边上的数值即为两个设备的预测结果的相似度的值。
在一些实施例中，根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇包括：
初始化所述带权无向图中各边缘计算设备的标签；
迭代更新各边缘计算设备的标签，包括：将值大于设定阈值的连接边所连接的边缘计算设备的标签设置为相同的标签；统计目标节点的邻居边缘计算设备的标签出现的次数，并选择邻居边缘计算设备中出现次数最多的标签作为所述目标节点的标签；所述目标节点为所连接的各连接边的值都不大于设定阈值的边缘计算设备；
判断是否满足迭代更新停止条件；
若满足迭代更新停止条件，则将具有相同标签的所述边缘计算设备划分到同一个数据同性簇。
在一些实施例中，判断是否满足迭代更新停止条件包括：
在每次完成迭代更新后，计算当本次迭代更新后各边缘计算设备的标签与上一次迭代更新后各边缘计算设备的标签的变化量；
比较所述变化量与预设值的大小；
若所述变化量小于所述预设值，则满足迭代更新停止条件。
带权无向图中各边缘计算设备的标签初始化为不同的标签。边缘云服务器对各边缘计算设备的标签进行迭代更新。一次迭代更新的过程包括：比较各连接边与设定阈值的大小，将值大于设定阈值的连接边所连接的边缘计算设备的标签设置为相同的标签。对于所连接的各连接边的值都不大于设定阈值的边缘计算设备，进一步统计该边缘计算设备的邻居边缘计算设备的标签出现的次数，并选择邻居边缘计算设备中出现次数最多的标签作为该边缘计算设备的标签。带权无向图中具有连接关系的边缘计算设备互为邻居边缘计算设备。当满足迭代更新停止条件，具有相同标签的边缘计算设备划分到同一个数据同性簇，同一个数据同性簇为具有相同标签的边缘计算设备的集合。
例如，参考图3所示的带权无向图，假设设定阈值为0.9，设备1与设备2的连接边的值为0.94>0.9，因此将设备1与设备2的标签设置为相同的标签，例如设置为标签A。设备3与设备4的连接边的值为0.91>0.9，因此将设备3与设备4的标签设置为相同的标签，例如设置为标签B。设备5与设备4的连接边的值以及设备5与设备3的连接边的值都不大于0.9，因此统计设备5的邻居边缘计算设备（设备3与设备4）的标签。由于设备3与设备4的标签均为标签B，且设备5没有其他邻居边缘计算设备，所以设备5的邻居边缘计算设备中出现次数最多的标签为标签B（出现了两次），故将标签B作为设备5的标签。设备6与设备4的连接边的值以及设备6与设备3的连接边的值都不大于0.9，因此统计设备6的邻居边缘计算设备（设备3与设备4）的标签。由于设备3与设备4的标签均为标签B，且设备6没有其他邻居边缘计算设备，所以设备6的邻居边缘计算设备中出现次数最多的标签为标签B（出现了两次），故将标签B作为设备6的标签。
满足迭代更新停止条件后，设备1与设备2的标签均为标签A，设备3至设备6的标签均为标签B，因此设备1与设备2划分到同一个数据同性簇中，将设备3至设备6划分到同一个数据同性簇中，得到如图4所示的分簇结果。
每次迭代更新后，边缘云服务器计算本次迭代更新后各边缘计算设备的标签与上一次迭代更新后各边缘计算设备的标签的变化量。如果变化量小于预设值，即标签基本稳定，不再发生显著变化，此时认为算法收敛，停止迭代更新。如果变化量不小于预设值，即标签不稳定，标签仍在显著变化，此时继续进行迭代更新。
完成分簇后，边缘云服务器将划分好的数据同性簇及簇内边缘计算设备的连接关系发送给所有边缘计算设备，每个边缘计算设备会接收到其邻居边缘计算设备的设备号，以便边缘计算设备获悉其邻居边缘计算设备，与其邻居边缘计算设备通信。
S202：从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
簇头负责向边缘云服务器上传所在簇的簇内模型参数聚合结果。
在一些实施例中，从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头包括：
选取所述数据同性簇中与其他边缘计算设备的距离最近或与其他边缘计算设备的通信速率最大的边缘计算设备作为所述数据同性簇的簇头。
本实施例以通信速率最大或通信距离最近作为选择原则来选择簇头，具体选择簇内距离其他边缘计算设备的距离最近或者与其他边缘计算设备的通信速率最大的边缘计算设备作为簇头，这样可以减少通信距离和延迟，提高通信效率。选择簇头后，边缘云服务器将簇头的设备号发送给簇内的边缘计算设备。
S203：接收所述簇头上传的第二模型参数聚合结果；所述第二模型参数聚合结果为所述簇头聚合簇内的各个边缘计算设备的本地模型的模型参数得到的；簇内各边缘计算设备使用本地数据训练本地模型，并聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；其中，边缘计算设备使用本地数据训练本地模型过程中判断本地模型的模型数据是否偏离全局模型；若否，则根据全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
S204：聚合各所述第二层模型参数聚合结果，得到第三层模型参数聚合结果，并当以所述第三层模型参数聚合结果作为模型参数的全局模型收敛时，向各边缘计算设备下发的所述全局模型。
参考图5所示，假设将所有边缘计算设备划分为C个数据同性簇，由集合表示，第k个数据同性簇Sk包含/>个边缘计算设备。在联邦学习系统中，边缘计算设备i基于自身的本地数据集Di训练得到一个本地模型。边缘计算设备i处的数据分布的局部经验损失函数为：/>；其中，/>为本地模型参数，/>为参与迭代训练的数据样本，/>为样本损失函数，用于量化数据样本/>上的预测误差。
联邦学习的主要目标是通过分簇进行相似模型或相似任务聚类，不同类型任务模型进行残差分级训练，再通过层级聚合的方式优化全局模型参数，以最小化与所有边缘计算设备关联的全局损失函数，全局损失函数为：
。
边缘计算设备进行本地模型训练以及进行第一层模型参数聚合与第二层模型参数聚合的方式可以参考上述实施例，在此不再赘述。
在接收到各个簇头上传的第二层模型参数聚合结果的基础上，边缘云服务器可以通过参数平均的方式得到第三层模型参数聚合结果：
；
表示更新后的第三层模型参数聚合结果，/>为第c个数据同性簇发送的第二层模型参数聚合结果，C为数据同性簇的个数。
得到全局模型参数后，边缘云服务器再将全局模型广播到所有的边缘计算设备。边缘计算设备与边缘服务器重复上述相应的操作，直到全局模型收敛。边缘计算设备使用收敛时的全局模型进行推理。
综上所述，本发明所提供的应用于边缘云服务器的联邦学习方法，边缘云服务器根据数据分布相似性对边缘计算设备分簇，簇内边缘计算设备具有相似的数据分布，由于相似的数据分布可以让模型更好的捕捉到数据的特征，因此簇内模型参数聚合可以提高每个簇的模型训练准确性。边缘计算设备采用残差分级训练的方式进行模型训练，在边缘计算设备自身的模型数据不偏离全局模型的情况下，通过调整本地模型各网络层的学习率，实现细粒度模型训练。在边缘计算设备自身的模型数据偏离全局模型的情况下，融合全局模型的模型参数与本地模型的模型参数后再进行模型训练，可以有效缓解数据分布差异大的问题，保证边缘计算设备的训练精度。边缘计算设备与边缘云服务器在联邦学习过程中进行三层模型参数聚合，最终边缘云服务器将联邦学习得到的准确可靠的全局模型发送给边缘计算设备，边缘计算设备使用该全局模型进行推理，可以提升推理的准确性与可靠性。
请参考图6，图6为本发明实施例所提供一种应用于作为数据同性簇的簇头的边缘计算设备的图像处理方法的流程示意图，参考图6所示，该方法包括：
S301：使用本地图像数据训练本地模型；其中，使用本地图像数据训练本地模型包括：判断本地模型的模型数据是否偏离全局模型；若否，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
S302：接收所在数据同性簇中的邻居边缘计算设备的本地模型的模型参数；数据同性簇为边缘云服务器根据带权无向图对各边缘计算设备进行分簇的结果；带权无向图根据各边缘计算设备的数据分布相似性构建得到；带权无向图中相连的两个边缘计算设备互为邻居边缘计算设备；
S303：聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；
S304：聚合簇内的各个边缘计算设备发送的本地模型的模型参数，得到第二层模型参数聚合结果，并将第二层模型参数聚合结果发送给边缘云服务器，以使边缘云服务器聚合各数据同性簇的第二层模型参数聚合结果，得到第三层模型参数聚合结果；
S305：接收所述边缘云服务器在以所述第三层模型参数聚合结果作为模型参数的图像处理模型收敛时，下发的所述图像处理模型，并使用所述图像处理模型处理图像。
在一些实施例中，判断本地模型的模型数据是否偏离全局模型包括：
使用本地数据测试以全局模型参数作为本地模型的模型参数时本地模型的精度，得到第一测试精度；
使用本地数据测试以上一训练轮次训练得到的本地模型的精度，得到第二测试精度；
计算所述第一测试精度与所述第二测试精度的差值；
若所述差值大于预设超参数，则本地模型的模型数据未偏离全局模型；
若所述差值不大于预设超参数，则本地模型的模型数据偏离全局模型。
在一些实施例中，根据所述残差调整本地模型中对应网络层的学习率包括：
根据，/>调整所述本地模型中对应网络层的学习率；
为调整后第l层的学习率，/>为调整前第l层的学习率，/>、T1、T2为超参数，/>为第l层的残差，/>为预设超参数。
在一些实施例中，根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数包括：
根据计算得到新的模型参数；
将本地模型的模型参数更新为计算得到的新的模型参数；
为新的模型参数，/>为本地模型的模型参数，/>为全局模型的模型参数，/>为超参数，/>为所述第一测试精度，/>为所述第二测试精度。
在一些实施例中，聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果包括：
接收各邻居边缘计算设备的本地模型的模型参数；
将自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数取均值，得到第一层模型参数聚合结果。
在一些实施例中，聚合簇内的各个边缘计算设备发送的本地模型的模型参数，得到第二层模型参数聚合结果包括：
根据聚合簇内各个边缘计算设备发送的本地模型的模型参数得到第二层模型参数聚合结果；
为第t轮的第二层模型参数聚合结果，/>为第t+1轮的第二层模型参数聚合结果，/>为第t轮第l迭代次数后边缘计算设备的本地模型的模型参数，Ni为簇内边缘计算设备的集合，/>为超参数。
综上所述，本发明所提供的应用于边缘计算设备的图像处理方法，边缘计算设备采用残差分级训练的方式进行模型训练，在边缘计算设备自身的模型数据不偏离全局模型的情况下，通过调整本地模型各网络层的学习率，实现细粒度模型训练。在边缘计算设备自身的模型数据偏离全局模型的情况下，融合全局模型的模型参数与本地模型的模型参数后再进行模型训练，可以有效缓解数据分布差异大的问题，保证边缘计算设备的训练精度。边缘云服务器根据数据分布相似性对边缘计算设备分簇，簇内边缘计算设备具有相似的数据分布，由于相似的数据分布可以让模型更好的捕捉到数据的特征，因此簇内模型参数聚合可以提高每个簇的模型训练准确性。边缘计算设备与边缘云服务器在联邦学习过程中进行三层模型参数聚合，最终边缘云服务器将联邦学习得到的准确可靠的图像处理模型发送给边缘计算设备，边缘计算设备使用该图像处理模型处理图像，可以提升图像处理的准确性与可靠性。
请参考图7，图7为本发明实施例所提供一种应用于边缘云服务器的图像处理方法的流程示意图，参考图7所示，该方法包括：
S401：根据边缘计算设备的数据分布相似性构建得到带权无向图，并根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇；所述带权无向图中相连的边缘计算设备互为邻居边缘计算设备；
S402：从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
S403：接收所述簇头上传的第二模型参数聚合结果；所述第二模型参数聚合结果为所述簇头聚合簇内的各个边缘计算设备的本地模型的模型参数得到的；簇内各边缘计算设备使用本地图像数据训练本地模型，并聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；其中，边缘计算设备使用本地图像数据训练本地模型过程中判断本地模型的模型数据是否偏离全局模型；若否，则根据全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
S404：聚合各所述第二层模型参数聚合结果，得到第三层模型参数聚合结果，并当以所述第三层模型参数聚合结果作为模型参数的图像处理模型收敛时，向各边缘计算设备下发所述图像处理模型，以使边缘计算设备使用所述图像处理模型处理图像。
在一些实施例中，根据边缘计算设备的数据分布相似性构建得到带权无向图包括：
从公网搜索公共数据，并基于所述公共数据构建测试数据集；
将所述测试数据集下发给各所述边缘计算设备，以使各所述边缘计算设备使用本地模型对所述测试数据集进行推理；
接收各所述边缘计算设备上传的推理结果，并计算各所述推理结果的相似度；
根据所述推理结果的相似度构建所述带权无向图。
在一些实施例中，根据所述推理结果的相似度构建所述带权无向图包括：
比较各边缘计算设备的推理结果的相似度与预设阈值的大小；
若两个边缘计算设备的推理结果的相似度大于预设阈值，则建立两个边缘计算设备之间的连接关系，两个边缘计算设备的推理结果的相似度的值作为两个所述边缘计算设备之间的连接边的值。
在一些实施例中，根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇包括：
初始化所述带权无向图中各边缘计算设备的标签；
迭代更新各边缘计算设备的标签，包括：将值大于设定阈值的连接边所连接的边缘计算设备的标签设置为相同的标签；统计目标节点的邻居边缘计算设备的标签出现的次数，并选择邻居边缘计算设备中出现次数最多的标签作为所述目标节点的标签；所述目标节点为所连接的各连接边的值都不大于设定阈值的边缘计算设备；
判断是否满足迭代更新停止条件；
若满足迭代更新停止条件，则将具有相同标签的所述边缘计算设备划分到同一个数据同性簇。
在一些实施例中，判断是否满足迭代更新停止条件包括：
在每次完成迭代更新后，计算当本次迭代更新后各边缘计算设备的标签与上一次迭代更新后各边缘计算设备的标签的变化量；
比较所述变化量与预设值的大小；
若所述变化量小于所述预设值，则满足迭代更新停止条件。
在一些实施例中，从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头包括：
选取所述数据同性簇中与其他边缘计算设备的距离最近或与其他边缘计算设备的通信速率最大的边缘计算设备作为所述数据同性簇的簇头。
综上所述，本发明所提供的应用于边缘云服务器的图像处理方法，边缘云服务器根据数据分布相似性对边缘计算设备分簇，簇内边缘计算设备具有相似的数据分布，由于相似的数据分布可以让模型更好的捕捉到数据的特征，因此簇内模型参数聚合可以提高每个簇的模型训练准确性。边缘计算设备采用残差分级训练的方式进行模型训练，在边缘计算设备自身的模型数据不偏离全局模型的情况下，通过调整本地模型各网络层的学习率，实现细粒度模型训练。在边缘计算设备自身的模型数据偏离全局模型的情况下，融合全局模型的模型参数与本地模型的模型参数后再进行模型训练，可以有效缓解数据分布差异大的问题，保证边缘计算设备的训练精度。边缘计算设备与边缘云服务器在联邦学习过程中进行三层模型参数聚合，最终边缘云服务器将联邦学习得到的准确可靠的图像处理模型发送给边缘计算设备，边缘计算设备使用该图像处理模型处理图像，可以提升图像处理的准确性与可靠性。
本发明还提供了一种联邦学习装置，应用于作为数据同性簇的簇头的边缘计算设备，下文描述的该装置可以与上文描述的方法相互对应参照。该装置包括：
训练单元，用于使用本地数据训练本地模型；其中，使用本地数据训练本地模型包括：判断本地模型的模型数据是否偏离全局模型；若否，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
第一接收单元，用于接收所在数据同性簇中的邻居边缘计算设备的本地模型的模型参数；数据同性簇为边缘云服务器根据带权无向图对各边缘计算设备进行分簇的结果；带权无向图根据各边缘计算设备的数据分布相似性构建得到；带权无向图中相连的两个边缘计算设备互为邻居边缘计算设备；
第一聚合单元，用于聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；
第二聚合单元，用于聚合簇内的各个边缘计算设备的本地模型的模型参数，得到第二层模型参数聚合结果，并将第二层模型参数聚合结果发送给边缘云服务器，以使边缘云服务器聚合各数据同性簇的第二层模型参数聚合结果，得到第三层模型参数聚合结果；
第二接收单元，用于接收所述边缘云服务器在以所述第三层模型参数聚合结果作为模型参数的全局模型收敛时，下发的所述全局模型。
在一些实施例中，训练单元包括：
第一测试子单元，用于使用本地数据测试以全局模型参数作为本地模型的模型参数时本地模型的精度，得到第一测试精度；
第二测试子单元，用于使用本地数据测试以上一训练轮次训练得到的本地模型的精度，得到第二测试精度；
计算子单元，用于计算所述第一测试精度与所述第二测试精度的差值；
第一确定子单元，用于若所述差值大于预设超参数，则本地模型的模型数据未偏离全局模型；
第二确定子单元，用于若所述差值不大于预设超参数，则本地模型的模型数据偏离全局模型。
在一些实施例中，训练单元具体用于：
根据，/>调整所述本地模型中对应网络层的学习率；
为调整后第l层的学习率，/>为调整前第l层的学习率，/>、T1、T2为超参数，/>为第l层的残差，/>为预设超参数。
在一些实施例中，训练单元具体用于：
根据计算得到新的模型参数；
将本地模型的模型参数更新为计算得到的新的模型参数；
为新的模型参数，/>为本地模型的模型参数，/>为全局模型的模型参数，/>为超参数，/>为所述第一测试精度，/>为所述第二测试精度。
在一些实施例中，第一聚合单元包括：
接收子单元，用于接收各邻居边缘计算设备的本地模型的模型参数；
计算均值子单元，用于将自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数取均值，得到第一层模型参数聚合结果。
在一些实施例中，第二聚合单元具体用于：
根据聚合簇内各个边缘计算设备发送的本地模型的模型参数得到第二层模型参数聚合结果；
为第t轮的第二层模型参数聚合结果，/>为第t+1轮的第二层模型参数聚合结果，/>为第t轮第l迭代次数后边缘计算设备的本地模型的模型参数，Ni为簇内边缘计算设备的集合，/>为超参数。
本发明还提供了一种联邦学习装置，应用于边缘云服务器，下文描述的该装置可以与上文描述的方法相互对应参照。该装置包括：
分簇单元，用于根据边缘计算设备的数据分布相似性构建得到带权无向图，并根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇；所述带权无向图中相连的边缘计算设备互为邻居边缘计算设备；
选择单元，用于从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
接收单元，用于接收所述簇头上传的第二模型参数聚合结果；所述第二模型参数聚合结果为所述簇头聚合簇内的各个边缘计算设备的本地模型的模型参数得到的；簇内各边缘计算设备使用本地数据训练本地模型，并聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；其中，边缘计算设备使用本地数据训练本地模型过程中判断本地模型的模型数据是否偏离全局模型；若否，则根据全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
聚合单元，用于聚合各所述第二层模型参数聚合结果，得到第三层模型参数聚合结果，并当以所述第三层模型参数聚合结果作为模型参数的全局模型收敛时，向各边缘计算设备下发的所述全局模型。
在一些实施例中，分簇单元包括：
数据集构建子单元，用于从公网搜索公共数据，并基于所述公共数据构建测试数据集；
数据集下发子单元，用于将所述测试数据集下发给各所述边缘计算设备，以使各所述边缘计算设备使用本地模型对所述测试数据集进行推理；
相似度计算子单元，用于接收各所述边缘计算设备上传的推理结果，并计算各所述推理结果的相似度；
带权无向图构建子单元，用于根据所述推理结果的相似度构建所述带权无向图。
在一些实施例中，带权无向图构建子单元具体用于：
比较各边缘计算设备的推理结果的相似度与预设阈值的大小；
若两个边缘计算设备的推理结果的相似度大于预设阈值，则建立两个边缘计算设备之间的连接关系，两个边缘计算设备的推理结果的相似度的值作为两个所述边缘计算设备之间的连接边的值。
在一些实施例中，分簇单元包括：
标签初始化子单元，用于初始化所述带权无向图中各边缘计算设备的标签；
标签更新子单元，用于迭代更新各边缘计算设备的标签，包括：将值大于设定阈值的连接边所连接的边缘计算设备的标签设置为相同的标签；统计目标节点的邻居边缘计算设备的标签出现的次数，并选择邻居边缘计算设备中出现次数最多的标签作为所述目标节点的标签；所述目标节点为所连接的各连接边的值都不大于设定阈值的边缘计算设备；
停止迭代判断子单元，用于判断是否满足迭代更新停止条件；
数据同性簇划分子单元，用于若满足迭代更新停止条件，则将具有相同标签的所述边缘计算设备划分到同一个数据同性簇。
在一些实施例中，停止迭代判断子单元具体用于：
在每次完成迭代更新后，计算当本次迭代更新后各边缘计算设备的标签与上一次迭代更新后各边缘计算设备的标签的变化量；
比较所述变化量与预设值的大小；
若所述变化量小于所述预设值，则满足迭代更新停止条件。
在一些实施例中，选择单元具体用于：
选取所述数据同性簇中与其他边缘计算设备的距离最近或与其他边缘计算设备的通信速率最大的边缘计算设备作为所述数据同性簇的簇头。
本发明还提供了一种图像处理装置，应用于作为数据同性簇的簇头的边缘计算设备，下文描述的该装置可以与上文描述的方法相互对应参照。该装置包括：
训练模块，用于使用本地图像数据训练本地模型；其中，使用本地图像数据训练本地模型包括：判断本地模型的模型数据是否偏离全局模型；若否，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
接收模块，用于接收所在数据同性簇中的邻居边缘计算设备的本地模型的模型参数；数据同性簇为边缘云服务器根据带权无向图对各边缘计算设备进行分簇的结果；带权无向图根据各边缘计算设备的数据分布相似性构建得到；带权无向图中相连的两个边缘计算设备互为邻居边缘计算设备；
第一聚合模块，用于聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；
第二聚合模块，用于聚合簇内的各个边缘计算设备发送的本地模型的模型参数，得到第二层模型参数聚合结果，并将第二层模型参数聚合结果发送给边缘云服务器，以使边缘云服务器聚合各数据同性簇的第二层模型参数聚合结果，得到第三层模型参数聚合结果；
图像处理模块，用于接收所述边缘云服务器在以所述第三层模型参数聚合结果作为模型参数的图像处理模型收敛时下发的所述图像处理模型，并使用所述图像处理模型处理图像。
在一些实施例中，训练模块包括：
第一测试子模块，用于使用本地数据测试以全局模型参数作为本地模型的模型参数时本地模型的精度，得到第一测试精度；
第二测试子模块，用于使用本地数据测试以上一训练轮次训练得到的本地模型的精度，得到第二测试精度；
计算子模块，用于计算所述第一测试精度与所述第二测试精度的差值；
第一确定子模块，用于若所述差值大于预设超参数，则本地模型的模型数据未偏离全局模型；
第二确定子模块，用于若所述差值不大于预设超参数，则本地模型的模型数据偏离全局模型。
在一些实施例中，训练模块具体用于：
根据，/>调整所述本地模型中对应网络层的学习率；
为调整后第l层的学习率，/>为调整前第l层的学习率，/>、T1、T2为超参数，/>为第l层的残差，/>为预设超参数。
在一些实施例中，训练模块具体用于：
根据计算得到新的模型参数；
将本地模型的模型参数更新为计算得到的新的模型参数；
为新的模型参数，/>为本地模型的模型参数，/>为全局模型的模型参数，/>为超参数，/>为所述第一测试精度，/>为所述第二测试精度。
在一些实施例中，第一聚合模块包括：
接收子模块，用于接收各邻居边缘计算设备的本地模型的模型参数；
计算均值子模块，用于将自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数取均值，得到第一层模型参数聚合结果。
在一些实施例中，第二聚合模块具体用于：
根据聚合簇内各个边缘计算设备发送的本地模型的模型参数得到第二层模型参数聚合结果；
为第t轮的第二层模型参数聚合结果，/>为第t+1轮的第二层模型参数聚合结果，/>为第t轮第l迭代次数后边缘计算设备的本地模型的模型参数，Ni为簇内边缘计算设备的集合，/>为超参数。
本发明还提供了一种图像处理装置，应用于边缘云服务器，下文描述的该装置可以与上文描述的方法相互对应参照。该装置包括：
分簇模块，用于根据边缘计算设备的数据分布相似性构建得到带权无向图，并根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇；所述带权无向图中相连的边缘计算设备互为邻居边缘计算设备；
选择模块，用于从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
接收模块，用于接收所述簇头上传的第二模型参数聚合结果；所述第二模型参数聚合结果为所述簇头聚合簇内的各个边缘计算设备的本地模型的模型参数得到的；簇内各边缘计算设备使用本地图像数据训练本地模型，并聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；其中，边缘计算设备使用本地图像数据训练本地模型过程中判断本地模型的模型数据是否偏离全局模型；若否，则根据全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
聚合模块，用于聚合各所述第二层模型参数聚合结果，得到第三层模型参数聚合结果，并当以所述第三层模型参数聚合结果作为模型参数的图像处理模型收敛时，向各边缘计算设备下发所述图像处理模型，以使边缘计算设备使用所述图像处理模型处理图像。
在一些实施例中，分簇模块包括：
数据集构建子模块，用于从公网搜索公共数据，并基于所述公共数据构建测试数据集；
数据集下发子模块，用于将所述测试数据集下发给各所述边缘计算设备，以使各所述边缘计算设备使用本地模型对所述测试数据集进行推理；
相似度计算子模块，用于接收各所述边缘计算设备上传的推理结果，并计算各所述推理结果的相似度；
带权无向图构建子模块，用于根据所述推理结果的相似度构建所述带权无向图。
在一些实施例中，带权无向图构建子模块具体用于：
比较各边缘计算设备的推理结果的相似度与预设阈值的大小；
若两个边缘计算设备的推理结果的相似度大于预设阈值，则建立两个边缘计算设备之间的连接关系，两个边缘计算设备的推理结果的相似度的值作为两个所述边缘计算设备之间的连接边的值。
在一些实施例中，分簇模块包括：
标签初始化子模块，用于初始化所述带权无向图中各边缘计算设备的标签；
标签更新子模块，用于迭代更新各边缘计算设备的标签，包括：将值大于设定阈值的连接边所连接的边缘计算设备的标签设置为相同的标签；统计目标节点的邻居边缘计算设备的标签出现的次数，并选择邻居边缘计算设备中出现次数最多的标签作为所述目标节点的标签；所述目标节点为所连接的各连接边的值都不大于设定阈值的边缘计算设备；
停止迭代判断子模块，用于判断是否满足迭代更新停止条件；
数据同性簇划分子模块，用于若满足迭代更新停止条件，则将具有相同标签的所述边缘计算设备划分到同一个数据同性簇。
在一些实施例中，停止迭代判断子模块具体用于：
在每次完成迭代更新后，计算当本次迭代更新后各边缘计算设备的标签与上一次迭代更新后各边缘计算设备的标签的变化量；
比较所述变化量与预设值的大小；
若所述变化量小于所述预设值，则满足迭代更新停止条件。
在一些实施例中，选择模块具体用于：
选取所述数据同性簇中与其他边缘计算设备的距离最近或与其他边缘计算设备的通信速率最大的边缘计算设备作为所述数据同性簇的簇头。
本发明还提供了一种设备，该设备包括存储器和处理器。
存储器，用于存储计算机程序；
处理器，用于执行计算机程序实现如上实施例所述的联邦学习方法的步骤或实现如上实施例所述的图像处理方法的步骤。
对于本发明所提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。
本发明还提供了一种图像处理系统，包括：
边缘计算设备，用于实现如上实施例所述的应用于边缘计算设备的图像处理方法的步骤；
边缘云服务器，用于实现如上实施例所述的应用于边缘云服务器的图像处理方法的步骤。
对于本发明所提供的图像处理系统的介绍请参照上述方法实施例，本发明在此不做赘述。
为解决上述技术问题，本发明还提供了一种联邦学习系统，包括：
边缘计算设备，用于实现如上实施例所述的应用于边缘计算设备的联邦学习方法的步骤；
边缘云服务器，用于实现如上实施例所述的应用于边缘云服务器的联邦学习方法的步骤。
对于本发明所提供的联邦学习系统的介绍请参照上述方法实施例，本发明在此不做赘述。
本发明还提供了一种介质，该介质上存储有计算机程序，计算机程序被处理器执行时实现如上实施例所述的图像处理方法的步骤，或实现如上实施例所述的联邦学习方法的步骤。
该介质可以包括：U盘、移动硬盘、只读存储器（Read-Only Memory ，ROM）、随机存取存储器（Random Access Memory ，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明所提供的介质的介绍请参照上述方法实施例，本发明在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备以及介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术邻域内所公知的任意其它形式的介质中。
以上对本发明所提供的数据异构条件下的图像处理方法、联邦学习方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术邻域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明的保护范围。

Claims (22)

1.一种数据异构条件下的图像处理方法，其特征在于，应用于作为数据同性簇的簇头的边缘计算设备，包括：
使用本地图像数据训练本地模型；其中，使用本地图像数据训练本地模型包括：判断本地模型的模型数据是否偏离全局模型；若否，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
接收所在数据同性簇中的邻居边缘计算设备的本地模型的模型参数；数据同性簇为边缘云服务器根据带权无向图对各边缘计算设备进行分簇的结果；带权无向图根据各边缘计算设备的数据分布相似性构建得到；带权无向图中相连的两个边缘计算设备互为邻居边缘计算设备；
聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；
聚合簇内的各个边缘计算设备发送的本地模型的模型参数，得到第二层模型参数聚合结果，并将第二层模型参数聚合结果发送给边缘云服务器，以使边缘云服务器聚合各数据同性簇的第二层模型参数聚合结果，得到第三层模型参数聚合结果；
接收所述边缘云服务器在以所述第三层模型参数聚合结果作为模型参数的图像处理模型收敛时下发的所述图像处理模型，并使用所述图像处理模型处理图像。
2.根据权利要求1所述的图像处理方法，其特征在于，判断本地模型的模型数据是否偏离全局模型包括：
使用本地数据测试以全局模型参数作为本地模型的模型参数时本地模型的精度，得到第一测试精度；
使用本地数据测试以上一训练轮次训练得到的本地模型的精度，得到第二测试精度；
计算所述第一测试精度与所述第二测试精度的差值；
若所述差值大于预设超参数，则本地模型的模型数据未偏离全局模型；
若所述差值不大于预设超参数，则本地模型的模型数据偏离全局模型。
3.根据权利要求2所述的图像处理方法，其特征在于，根据所述残差调整本地模型中对应网络层的学习率包括：
根据，/>调整所述本地模型中对应网络层的学习率；
为调整后第l层的学习率，/>为调整前第l层的学习率，/>、T1、T2为超参数，/>为第l层的残差，/>为预设超参数。
4.根据权利要求3所述的图像处理方法，其特征在于，根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数包括：
根据计算得到新的模型参数；
将本地模型的模型参数更新为计算得到的新的模型参数；
为新的模型参数，/>为本地模型的模型参数，/>为全局模型的模型参数，/>为超参数，/>为所述第一测试精度，/>为所述第二测试精度。
5.根据权利要求4所述的图像处理方法，其特征在于，聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果包括：
接收各邻居边缘计算设备的本地模型的模型参数；
将自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数取均值，得到第一层模型参数聚合结果。
6.根据权利要求5所述的图像处理方法，其特征在于，聚合簇内的各个边缘计算设备发送的本地模型的模型参数，得到第二层模型参数聚合结果包括：
根据聚合簇内各个边缘计算设备发送的本地模型的模型参数得到第二层模型参数聚合结果；
为第t轮的第二层模型参数聚合结果，/>为第t+1轮的第二层模型参数聚合结果，为第t轮第l迭代次数后边缘计算设备的本地模型的模型参数，Ni为簇内边缘计算设备的集合，/>为超参数。
7.一种数据异构条件下的图像处理方法，其特征在于，应用于边缘云服务器，包括：
根据边缘计算设备的数据分布相似性构建得到带权无向图，并根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇；所述带权无向图中相连的边缘计算设备互为邻居边缘计算设备；
从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
接收所述簇头上传的第二层模型参数聚合结果；所述第二层模型参数聚合结果为所述簇头聚合簇内的各个边缘计算设备的本地模型的模型参数得到的；簇内各边缘计算设备使用本地图像数据训练本地模型，并聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；其中，边缘计算设备使用本地图像数据训练本地模型过程中判断本地模型的模型数据是否偏离全局模型；若否，则根据全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
聚合各所述第二层模型参数聚合结果，得到第三层模型参数聚合结果，并当以所述第三层模型参数聚合结果作为模型参数的图像处理模型收敛时，向各边缘计算设备下发所述图像处理模型，以使边缘计算设备使用所述图像处理模型处理图像。
8.根据权利要求7所述的图像处理方法，其特征在于，根据边缘计算设备的数据分布相似性构建得到带权无向图包括：
从公网搜索公共数据，并基于所述公共数据构建测试数据集；
将所述测试数据集下发给各所述边缘计算设备，以使各所述边缘计算设备使用本地模型对所述测试数据集进行推理；
接收各所述边缘计算设备上传的推理结果，并计算各所述推理结果的相似度；
根据所述推理结果的相似度构建所述带权无向图。
9.根据权利要求8所述的图像处理方法，其特征在于，根据所述推理结果的相似度构建所述带权无向图包括：
比较各边缘计算设备的推理结果的相似度与预设阈值的大小；
若两个边缘计算设备的推理结果的相似度大于预设阈值，则建立两个边缘计算设备之间的连接关系，两个边缘计算设备的推理结果的相似度的值作为两个所述边缘计算设备之间的连接边的值。
10.根据权利要求9所述的图像处理方法，其特征在于，根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇包括：
初始化所述带权无向图中各边缘计算设备的标签；
迭代更新各边缘计算设备的标签，包括：将值大于设定阈值的连接边所连接的边缘计算设备的标签设置为相同的标签；统计目标节点的邻居边缘计算设备的标签出现的次数，并选择邻居边缘计算设备中出现次数最多的标签作为所述目标节点的标签；所述目标节点为所连接的各连接边的值都不大于设定阈值的边缘计算设备；
判断是否满足迭代更新停止条件；
若满足迭代更新停止条件，则将具有相同标签的所述边缘计算设备划分到同一个数据同性簇。
11.根据权利要求10所述的图像处理方法，其特征在于，判断是否满足迭代更新停止条件包括：
在每次完成迭代更新后，计算当本次迭代更新后各边缘计算设备的标签与上一次迭代更新后各边缘计算设备的标签的变化量；
比较所述变化量与预设值的大小；
若所述变化量小于所述预设值，则满足迭代更新停止条件。
12.根据权利要求11所述的图像处理方法，其特征在于，从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头包括：
选取所述数据同性簇中与其他边缘计算设备的距离最近或与其他边缘计算设备的通信速率最大的边缘计算设备作为所述数据同性簇的簇头。
13.一种数据异构条件下的联邦学习方法，其特征在于，应用于作为数据同性簇的簇头的边缘计算设备，包括：
使用本地数据训练本地模型；其中，使用本地数据训练本地模型包括：判断本地模型的模型数据是否偏离全局模型；若否，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
接收所在数据同性簇中的邻居边缘计算设备的本地模型的模型参数；数据同性簇为边缘云服务器根据带权无向图对各边缘计算设备进行分簇的结果；带权无向图根据各边缘计算设备的数据分布相似性构建得到；带权无向图中相连的两个边缘计算设备互为邻居边缘计算设备；
聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；
聚合簇内的各个边缘计算设备的本地模型的模型参数，得到第二层模型参数聚合结果，并将第二层模型参数聚合结果发送给边缘云服务器，以使边缘云服务器聚合各数据同性簇的第二层模型参数聚合结果，得到第三层模型参数聚合结果；
接收所述边缘云服务器在以所述第三层模型参数聚合结果作为模型参数的全局模型收敛时下发的所述全局模型。
14.一种数据异构条件下的联邦学习方法，其特征在于，应用于边缘云服务器，包括：
根据边缘计算设备的数据分布相似性构建得到带权无向图，并根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇；所述带权无向图中相连的边缘计算设备互为邻居边缘计算设备；
从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
接收所述簇头上传的第二层模型参数聚合结果；所述第二层模型参数聚合结果为所述簇头聚合簇内的各个边缘计算设备的本地模型的模型参数得到的；簇内各边缘计算设备使用本地数据训练本地模型，并聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；其中，边缘计算设备使用本地数据训练本地模型过程中判断本地模型的模型数据是否偏离全局模型；若否，则根据全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
聚合各所述第二层模型参数聚合结果，得到第三层模型参数聚合结果，并当以所述第三层模型参数聚合结果作为模型参数的全局模型收敛时，向各边缘计算设备下发的所述全局模型。
15.一种数据异构条件下的图像处理装置，其特征在于，应用于作为数据同性簇的簇头的边缘计算设备，包括：
训练模块，用于使用本地图像数据训练本地模型；其中，使用本地图像数据训练本地模型包括：判断本地模型的模型数据是否偏离全局模型；若否，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
接收模块，用于接收所在数据同性簇中的邻居边缘计算设备的本地模型的模型参数；数据同性簇为边缘云服务器根据带权无向图对各边缘计算设备进行分簇的结果；带权无向图根据各边缘计算设备的数据分布相似性构建得到；带权无向图中相连的两个边缘计算设备互为邻居边缘计算设备；
第一聚合模块，用于聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；
第二聚合模块，用于聚合簇内的各个边缘计算设备发送的本地模型的模型参数，得到第二层模型参数聚合结果，并将第二层模型参数聚合结果发送给边缘云服务器，以使边缘云服务器聚合各数据同性簇的第二层模型参数聚合结果，得到第三层模型参数聚合结果；
图像处理模块，用于接收所述边缘云服务器在以所述第三层模型参数聚合结果作为模型参数的图像处理模型收敛时下发的所述图像处理模型，并使用所述图像处理模型处理图像。
16.一种数据异构条件下的图像处理装置，其特征在于，应用于边缘云服务器，包括：
分簇模块，用于根据边缘计算设备的数据分布相似性构建得到带权无向图，并根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇；所述带权无向图中相连的边缘计算设备互为邻居边缘计算设备；
选择模块，用于从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
接收模块，用于接收所述簇头上传的第二层模型参数聚合结果；所述第二层模型参数聚合结果为所述簇头聚合簇内的各个边缘计算设备的本地模型的模型参数得到的；簇内各边缘计算设备使用本地图像数据训练本地模型，并聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；其中，边缘计算设备使用本地图像数据训练本地模型过程中判断本地模型的模型数据是否偏离全局模型；若否，则根据全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
聚合模块，用于聚合各所述第二层模型参数聚合结果，得到第三层模型参数聚合结果，并当以所述第三层模型参数聚合结果作为模型参数的图像处理模型收敛时，向各边缘计算设备下发所述图像处理模型，以使边缘计算设备使用所述图像处理模型处理图像。
17.一种数据异构条件下的联邦学习装置，其特征在于，应用于作为数据同性簇的簇头的边缘计算设备，包括：
训练单元，用于使用本地数据训练本地模型；其中，使用本地数据训练本地模型包括：判断本地模型的模型数据是否偏离全局模型；若否，则计算全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，并根据所述残差调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
第一接收单元，用于接收所在数据同性簇中的邻居边缘计算设备的本地模型的模型参数；数据同性簇为边缘云服务器根据带权无向图对各边缘计算设备进行分簇的结果；带权无向图根据各边缘计算设备的数据分布相似性构建得到；带权无向图中相连的两个边缘计算设备互为邻居边缘计算设备；
第一聚合单元，用于聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；
第二聚合单元，用于聚合簇内的各个边缘计算设备的本地模型的模型参数，得到第二层模型参数聚合结果，并将第二层模型参数聚合结果发送给边缘云服务器，以使边缘云服务器聚合各数据同性簇的第二层模型参数聚合结果，得到第三层模型参数聚合结果；
第二接收单元，用于接收所述边缘云服务器在以所述第三层模型参数聚合结果作为模型参数的全局模型收敛时，下发的所述全局模型。
18.一种数据异构条件下的联邦学习装置，其特征在于，应用于边缘云服务器，包括：
分簇单元，用于根据边缘计算设备的数据分布相似性构建得到带权无向图，并根据所述带权无向图将所述边缘计算设备划分为若干个数据同性簇；所述带权无向图中相连的边缘计算设备互为邻居边缘计算设备；
选择单元，用于从所述数据同性簇中选择边缘计算设备作为所述数据同性簇的簇头；
接收单元，用于接收所述簇头上传的第二层模型参数聚合结果；所述第二层模型参数聚合结果为所述簇头聚合簇内的各个边缘计算设备的本地模型的模型参数得到的；簇内各边缘计算设备使用本地数据训练本地模型，并聚合自身的本地模型的模型参数与邻居边缘计算设备的本地模型的模型参数，得到第一层模型参数聚合结果，并将自身的本地模型的模型参数更新为所述第一层模型参数聚合结果；其中，边缘计算设备使用本地数据训练本地模型过程中判断本地模型的模型数据是否偏离全局模型；若否，则根据全局模型的各网络层的模型参数与本地模型中对应网络层的模型参数的残差，调整本地模型中对应网络层的学习率；若是，则根据全局模型的模型参数与本地模型的模型参数更新本地模型的模型参数；
聚合单元，用于聚合各所述第二层模型参数聚合结果，得到第三层模型参数聚合结果，并当以所述第三层模型参数聚合结果作为模型参数的全局模型收敛时，向各边缘计算设备下发的所述全局模型。
19.一种设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的数据异构条件下的图像处理方法的步骤，或实现如权利要求7至12任一项所述的数据异构条件下的图像处理方法的步骤，或实现如权利要求13所述的数据异构条件下的联邦学习方法的步骤，或实现如权利要求14所述的数据异构条件下的联邦学习方法的步骤。
20.一种数据异构条件下的图像处理系统，其特征在于，包括：
边缘计算设备，用于实现如权利要求1至6任一项所述的数据异构条件下的图像处理方法的步骤；
边缘云服务器，用于实现如权利要求7至12任一项所述的数据异构条件下的图像处理方法的步骤。
21.一种数据异构条件下的联邦学习系统，其特征在于，包括：
边缘计算设备，用于实现如权利要求13所述的数据异构条件下的联邦学习方法的步骤；
边缘云服务器，用于实现如权利要求14所述的数据异构条件下的联邦学习方法的步骤。
22.一种介质，其特征在于，所述介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的数据异构条件下的图像处理方法的步骤，或实现如权利要求7至12任一项所述的数据异构条件下的图像处理方法的步骤，或实现如权利要求13所述的数据异构条件下的联邦学习方法的步骤，或实现如权利要求14所述的数据异构条件下的联邦学习方法的步骤。
CN202410230128.0A 2024-02-29 数据异构条件下的图像处理方法及装置 Active CN117808128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410230128.0A CN117808128B (zh) 2024-02-29 数据异构条件下的图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410230128.0A CN117808128B (zh) 2024-02-29 数据异构条件下的图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN117808128A true CN117808128A (zh) 2024-04-02
CN117808128B CN117808128B (zh) 2024-05-28

Family

ID=

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544407A (zh) * 2012-07-11 2014-01-29 中国科学院声学研究所 一种对等网络版权内容相似度图的构建方法及系统
CN112181971A (zh) * 2020-10-27 2021-01-05 华侨大学 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统、设备和可读存储介质
CN112532451A (zh) * 2020-11-30 2021-03-19 安徽工业大学 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质
CN113902021A (zh) * 2021-10-13 2022-01-07 北京邮电大学 一种高能效的聚类联邦边缘学习策略生成方法和装置
CN114418129A (zh) * 2022-03-30 2022-04-29 苏州浪潮智能科技有限公司 一种深度学习模型训练方法及相关装置
CN115293358A (zh) * 2022-06-29 2022-11-04 中国电子技术标准化研究院 一种面向物联网的分簇联邦多任务学习方法及装置
CN115391576A (zh) * 2022-07-15 2022-11-25 浙江工业大学 一种基于聚类的联邦图学习方法及系统
CN116233954A (zh) * 2022-12-08 2023-06-06 北京邮电大学 基于联邦学习系统的分簇数据共享方法、装置及存储介质
CN116579417A (zh) * 2023-05-10 2023-08-11 之江实验室 边缘计算网络中的分层个性化联邦学习方法、装置及介质
CN116611535A (zh) * 2023-05-30 2023-08-18 北京邮电大学 一种用于异构数据的边缘联邦学习训练方法及其系统
CN116644804A (zh) * 2023-07-27 2023-08-25 浪潮电子信息产业股份有限公司 分布式训练系统、神经网络模型训练方法、设备和介质
CN116756536A (zh) * 2023-08-17 2023-09-15 浪潮电子信息产业股份有限公司 数据识别方法、模型训练方法、装置、设备及存储介质
CN116961805A (zh) * 2023-07-10 2023-10-27 同济大学 一种基于时空图神经网络的短波预测方法
WO2024027164A1 (zh) * 2022-08-01 2024-02-08 浙江大学 一种支持异构模型的自适应个性化联邦学习方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544407A (zh) * 2012-07-11 2014-01-29 中国科学院声学研究所 一种对等网络版权内容相似度图的构建方法及系统
CN112181971A (zh) * 2020-10-27 2021-01-05 华侨大学 一种基于边缘的联邦学习模型清洗和设备聚类方法、系统、设备和可读存储介质
CN112532451A (zh) * 2020-11-30 2021-03-19 安徽工业大学 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质
CN113902021A (zh) * 2021-10-13 2022-01-07 北京邮电大学 一种高能效的聚类联邦边缘学习策略生成方法和装置
CN114418129A (zh) * 2022-03-30 2022-04-29 苏州浪潮智能科技有限公司 一种深度学习模型训练方法及相关装置
CN115293358A (zh) * 2022-06-29 2022-11-04 中国电子技术标准化研究院 一种面向物联网的分簇联邦多任务学习方法及装置
CN115391576A (zh) * 2022-07-15 2022-11-25 浙江工业大学 一种基于聚类的联邦图学习方法及系统
WO2024027164A1 (zh) * 2022-08-01 2024-02-08 浙江大学 一种支持异构模型的自适应个性化联邦学习方法
CN116233954A (zh) * 2022-12-08 2023-06-06 北京邮电大学 基于联邦学习系统的分簇数据共享方法、装置及存储介质
CN116579417A (zh) * 2023-05-10 2023-08-11 之江实验室 边缘计算网络中的分层个性化联邦学习方法、装置及介质
CN116611535A (zh) * 2023-05-30 2023-08-18 北京邮电大学 一种用于异构数据的边缘联邦学习训练方法及其系统
CN116961805A (zh) * 2023-07-10 2023-10-27 同济大学 一种基于时空图神经网络的短波预测方法
CN116644804A (zh) * 2023-07-27 2023-08-25 浪潮电子信息产业股份有限公司 分布式训练系统、神经网络模型训练方法、设备和介质
CN116756536A (zh) * 2023-08-17 2023-09-15 浪潮电子信息产业股份有限公司 数据识别方法、模型训练方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HONGWEI KAN 等: "Trusted Edge Cloud Computing Mechanism Based on FPGA Cluster", 《ICCSNT》, 31 December 2020 (2020-12-31), pages 146 - 149 *
张军欢 等: "基于关系代数的多源异构数据聚合模型研究", 《中国科技资源导刊》, vol. 53, no. 5, 30 September 2021 (2021-09-30), pages 1 - 10 *
赵羽 等: "面向视频监控基于联邦学习的智能边缘计算技术", 《通信学报》, no. 10, 31 December 2020 (2020-12-31), pages 113 - 119 *
高开 等: "面向混合异构架构的模型并行训练优化方法", 《计算机工程与科学》, vol. 43, no. 1, 31 January 2021 (2021-01-31), pages 42 - 48 *

Similar Documents

Publication Publication Date Title
Simeone A very brief introduction to machine learning with applications to communication systems
CN112181666A (zh) 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质
WO2019134549A1 (zh) 基于深度学习的定位方法、装置、计算机设备及存储介质
WO2023185539A1 (zh) 机器学习模型训练方法、业务数据处理方法、装置及系统
WO2023020214A1 (zh) 检索模型的训练和检索方法、装置、设备及介质
CN113037783A (zh) 一种异常行为检测方法及系统
CN112468249A (zh) 基于自适应核功率密度的5g无线信道多径分簇算法
CN115562940A (zh) 负载能耗监控方法、装置、介质及电子设备
CN114462538A (zh) 基于kmeans的电网异常设备检测方法及装置
Chen et al. Semi-supervised learning-enabled two-stage framework for cooperative spectrum sensing against SSDF attack
CN117808128B (zh) 数据异构条件下的图像处理方法及装置
Li et al. Cyclic annealing training convolutional neural networks for image classification with noisy labels
CN109359664A (zh) 自我学习更新训练样本的高效质检模型构建方法及系统
CN117478390A (zh) 一种基于改进密度峰值聚类算法的网络入侵检测方法
CN117152459A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN117808128A (zh) 数据异构条件下的图像处理方法、联邦学习方法及装置
CN116362328A (zh) 一种基于公平性特征表示的联邦学习异构模型聚合方法
CN108834043B (zh) 基于先验知识的压缩感知多目标无源定位方法
CN115577797A (zh) 一种基于本地噪声感知的联邦学习优化方法及系统
CN117808127B (zh) 数据异构条件下的图像处理方法、联邦学习方法及装置
CN114648560A (zh) 分布式图像配准方法、系统、介质、计算机设备及终端
CN117808127A (zh) 数据异构条件下的图像处理方法、联邦学习方法及装置
CN117829274B (zh) 模型融合方法、装置、设备、联邦学习系统及存储介质
CN112115996A (zh) 图像数据的处理方法、装置、设备及存储介质
Qiao et al. CWEmd: A light-weight Similarity Measurement for Resource Constraint Vehicular Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant