CN116524309A - 一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统 - Google Patents

一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统 Download PDF

Info

Publication number
CN116524309A
CN116524309A CN202310094938.3A CN202310094938A CN116524309A CN 116524309 A CN116524309 A CN 116524309A CN 202310094938 A CN202310094938 A CN 202310094938A CN 116524309 A CN116524309 A CN 116524309A
Authority
CN
China
Prior art keywords
model
model parameters
client
local
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310094938.3A
Other languages
English (en)
Inventor
张卫东
吴宣够
郑啸
赵伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Technology AHUT
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Anhui University of Technology AHUT
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Technology AHUT, Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Anhui University of Technology AHUT
Priority to CN202310094938.3A priority Critical patent/CN116524309A/zh
Publication of CN116524309A publication Critical patent/CN116524309A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的基于分层细粒度融合联邦学习的分布式废钢检测方法及系统，涉及冶金领域；其方法包括：接收各客户端上传的本地模型参数；根据上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合，获得全局融合模型参数；广播全局融合模型参数至所有客户端，以便各客户端根据全局融合模型参数进行新一轮的迭代训练直至本地模型达到设定的预期模型精度，进而以训练完成的本地模型作为本地废钢检测模型进行废钢检测。本发明借助联邦学习进行分布式的废钢检测判级，保护各卸料点的数据隐私安全，并且细粒度融合权重设置能够提高对不同卸料点异构废钢数据的检测能力。

Description

一种基于分层细粒度融合联邦学习的分布式废钢检测方法及 系统
技术领域
本发明涉及冶金技术领域，具体涉及一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统。
背景技术
废钢是电弧炉冶炼的重要原材料，具有污染小、产量高、可再生的优点。由于废钢来源广泛，质量参差不齐，废钢质量影响着钢铁的产量，因此，废钢检测在钢铁冶炼过程中具有重要作用。
早期的废钢检测是通过人工实现，具有危险性大、主观性强、效率低下的缺点。随着工业互联网的发展，人工智能技术引入工业体系，逐渐发展出基于人工智能的废钢检测方法；这种方法通过在卸料点安装拍摄设备对废钢拍摄高清图片，上传至平台服务器，训练深度学习模型即可实现远程的废钢智能检测；然而，通过浏览分析对比，发现现有智能废钢检测方法存在如下问题和缺陷：1)数据孤岛问题，具体表现为：各个钢铁厂甚至各个卸料点独自进行废钢检测，数据不共享形成孤岛，检测过程不透明；2)数据隐私问题，具体表现为：废钢作为钢铁厂冶炼的重要原料，具有隐私性质，通过无线网络等方式上传废钢数据可能泄露数据隐私；3)传输代价问题，具体表现为：现有智能废钢检测方法需要通过无线网络上传废钢的高清图片，图片的传输成本较高、连接不稳定。
现有技术中，一种可行的方法是通过联邦学习进行分布式的废钢检测，允许用户将数据保存在本地，共享本地数据上训练的模型参数，代替共享数据，保护数据的隐私，并且降低传输图片数据的通信代价。然而，在分布式废钢检测场景中，各卸料点的废钢种类、数量存在差异，导致数据异构问题，传统联邦学习对异构数据的适应能力不足。因此，亟需构建一个具有隐私保护能力的分布式废钢检测系统，并且能够适应异构数据。
发明内容
本发明目的在于提供一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统，基于客户端的本地模型参数的差异，采用分层细粒度融合的权重设置方式更新全局模型参数，解决废钢检测中数据孤岛问题，不仅对各卸料点具有隐私保护能力，且能够适应各卸料点的异构数据。
为达成上述目的，本发明提出如下技术方案：一种基于分层细粒度融合联邦学习的分布式废钢检测方法，应用于联邦学习的服务器端，包括：
接收各客户端上传的本地模型根据本地训练数据集训练的本地模型参数；其中，各客户端由各卸料点构成；
根据客户端上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合，获得全局融合模型参数；其中，服务器端建立有与各客户端的本地模型结构相同的全局模型，并且所述全局模型的初始化全局模型参数随机生成；
广播全局融合模型参数至所有客户端，以便各客户端根据全局融合模型参数进行新一轮的迭代训练直至各客户端的本地模型达到设定的预期模型精度，进而以各客户端对应训练完成的本地模型作为其本地废钢检测模型进行废钢检测。
进一步的，所述获得全局融合模型参数的具体过程为：
分层划分全局模型的全局模型参数和获取的各客户端上传的本地模型参数为行向量集合；
依次计算各客户端的本地模型参数与服务器端的全局模型参数在每一层行向量上的相似度，并以任一客户端的相似度占所有客户端在该层的相似度总和的比例作为该客户端的本地模型参数融合时的权重；
对各客户端的本地模型参数在每一层进行加权平均，计算得到每一层的融合模型参数；
统计并汇总各层的融合模型参数，获得全局融合模型参数。
进一步的，所述采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合的计算过程为：
定义服务器端的全局模型和客户端的本地模型均为一具有L层神经网络的深度学习模型，分别记为模型ws和模型参数为wk；并且，按层划分模型ws的全局模型参数为行向量集合{ws 1,...ws l,...,ws L}，按层划分模型wk的模型参数为行向量集合{wk 1,...wk l,...,wk L}；其中，l∈L，k∈K，K为联邦学习系统中客户端总数；
根据cosine相似度计算客户端k的模型参数与服务器端的全局模型参数在对应层行向量上的相似度
计算各客户端的相似度占所有客户端在该层的相似度总和的比例/>并以该比例作为客户端的本地模型参数在第l层的融合权重：/>
根据权重对各客户端每一层的模型参数加权平均，获得服务器端在对应层的融合模型参数 并作为服务器端在该层新一轮的迭代训练的全局模型参数。
进一步的，客户端的本地模型根据本地训练数据集训练更新模型参数的过程为：
获取各卸料点本地拍摄的废钢高清图片；
对各卸料点的废钢高清图片进行预处理，以生成各卸料点的本地训练数据集；其中，预处理过程包括去除废钢高清图片中的背景信息、将图片数据转换为数字组成的向量数据、对废钢数据按照其实际的废钢类别附加标签；所述废钢类别包括统料废钢、合格废钢、精料废钢、重型废钢、轻薄料、杂铁；
将废钢高清图片预处理后的向量数据作为本地模型的输入，经模型参数的计算获得模型输出值；
比较计算模型输出值与废钢数据附加的标签的误差，并通过链式法则对本地模型的每个参数求导，获得梯度数据；
根据梯度数据对本地模型的模型参数进行更新。
本发明还提出一种基于分层细粒度融合联邦学习的分布式废钢检测方法，该方法应用于联邦学习的任一客户端，包括：
获取本地训练数据集，并根据本地训练数据集训练本地模型的模型参数；其中，客户端由卸料点构成；
上传训练后的本地模型参数至服务器端，以便服务器端根据客户端上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合，获得全局融合模型参数并广播；其中，服务器端建立有与各客户端的本地模型结构相同的全局模型，并且所述全局模型的初始化全局模型参数随机生成；
接收广播的全局融合模型参数，并根据全局融合模型参数进行新一轮的迭代训练直至本地模型达到设定的预期模型精度；
以迭代训练完成的本地模型作为本地废钢检测模型进行废钢检测。
本发明另一技术方案在于公开一种基于分层细粒度融合联邦学习的分布式废钢检测系统，包括服务器和若干客户端；还包括：
接收模块，用于接收各客户端上传的本地模型根据本地训练数据集训练的本地模型参数；其中，各客户端由各卸料点构成；
参数融合模块，用于根据客户端上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合，获得全局融合模型参数；其中，服务器端建立有与各客户端的本地模型结构相同的全局模型，并且所述全局模型的初始化全局模型参数随机生成；
广播更新模块，用于广播全局融合模型参数至所有客户端，以便各客户端根据全局融合模型参数进行新一轮的迭代训练直至各客户端的本地模型达到设定的预期模型精度，进而以各客户端对应训练完成的本地模型作为其本地废钢检测模型进行废钢检测。
进一步的，所述参数融合模块获得全局融合模型参数的执行单元，包括：
划分单元，用于分层划分全局模型的全局模型参数和获取的各客户端上传的本地模型参数为行向量集合；
第一计算单元，用于依次计算各客户端的本地模型参数与服务器端的全局模型参数在每一层行向量上的相似度，并以任一客户端的相似度占所有客户端在该层的相似度总和的比例作为该客户端的本地模型参数融合时的权重；
第二计算单元，用于对各客户端的本地模型参数在每一层进行加权平均，计算得到每一层的融合模型参数；
统计单元，用于统计并汇总各层的融合模型参数，获得全局融合模型参数。
进一步的，所述参数融合模块采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合的计算过程为：
定义服务器端的全局模型和客户端的本地模型均为一具有L层神经网络的深度学习模型，分别记为模型ws和模型参数为wk；并且，按层划分模型ws的全局模型参数为行向量集合{ws 1,...ws l,...,ws l}，按层划分模型wk的模型参数为行向量集合{wk 1,...wk l,...,wk L}；其中，l∈L，k∈K，K为联邦学习系统中客户端总数；
根据cosine相似度计算客户端k的模型参数与服务器端的全局模型参数在对应层行向量上的相似度
计算各客户端的相似度占所有客户端在该层的相似度总和的比例/>并以该比例作为客户端的本地模型参数在第l层的融合权重：/>
根据权重对各客户端每一层的模型参数加权平均，获得服务器端在对应层的融合模型参数 并作为服务器端在该层新一轮的迭代训练的全局模型参数。
本发明还公开另一种基于分层细粒度融合联邦学习的分布式废钢检测系统，包括服务器和若干客户端；还包括：
本地训练模块，用于获取本地训练数据集，并根据本地训练数据集训练本地模型的模型参数；其中，客户端由卸料点构成；
上传模块，用于上传训练后的本地模型参数至服务器端，以便服务器端根据客户端上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合，获得全局融合模型参数并广播；其中，服务器端建立有与各客户端的本地模型结构相同的全局模型，并且所述全局模型的初始化全局模型参数随机生成；
接收更新模块，用于接收广播的全局融合模型参数，并根据全局融合模型参数进行新一轮的迭代训练直至本地模型达到设定的预期模型精度；
检测模块，用于以迭代训练完成的本地模型作为本地废钢检测模型进行废钢检测。
本发明又一技术方案在于公开一种电子设备，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行计算机程序，所述计算机程序被所述处理器执行时实现上述的基于分层细粒度融合联邦学习的分布式废钢检测方法。
由以上技术方案可知，本发明的技术方案获得了如下有益效果：
本发明公开的基于分层细粒度融合联邦学习的分布式废钢检测方法及系统，其方法包括：接收各客户端上传的本地模型根据本地训练数据集训练的本地模型参数；其中，各客户端由各卸料点构成；根据客户端上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合，获得全局融合模型参数；其中，服务器端建立有与各客户端的本地模型结构相同的全局模型，并且所述全局模型的初始化全局模型参数随机生成；广播全局融合模型参数至所有客户端，以便各客户端根据全局融合模型参数进行新一轮的迭代训练直至各客户端的本地模型达到设定的预期模型精度，进而以各客户端对应训练完成的本地模型作为其本地废钢检测模型进行废钢检测。本发明借助联邦学习框架能联合众多卸料点共同训练一个废钢检测模型，解决废钢检测的数据孤岛问题。
同时，本发明采用联邦学习通过上传模型参数代替上传图片数据，能够保护卸料点的废钢数据隐私，降低传输数据的通信代价；服务器端的全局模型参数分层细粒度融合能够根据客户端数据分布差异计算融合权重，有效缓解分布式环境下废钢数据的异构性问题。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不表示按照真实参照物比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1为本发明实施例一公开的基于分层细粒度融合联邦学习的分布式废钢检测方法流程图；
图2为本发明实施例二公开的基于分层细粒度融合联邦学习的分布式废钢检测方法流程图；
图3为本发明基于分层细粒度融合联邦学习的分布式废钢检测方法整体流程图；
图4为本发明基于分层细粒度融合联邦学习的分布式废钢检测系统示意图。
图中，各标记的具体意义为：
1-云服务器，2-客户端，3-本地训练数据集，4-本地模型，5-全局模型。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，除非上下文清楚地指明其它情况，否则单数形式的“一个”“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的特征、整体、步骤、操作、元素和/或组件，并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。“上”“下”“左”“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
针对现有技术中通过传统联邦学习系统进行废钢检测的方法，虽然能达到保护数据的隐私和降低传输图片数据通信代价的技术效果，但是在废钢检测场景中，由于各卸料点的废钢种类、数量存在差异，具有数据异构现象，而传统联邦学习对异构数据的适应性差的技术问题；本发明旨在于公开一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统，采用分层细粒度融合的权重设置方式更新全局模型参数解决客户端的本地模型参数分布差异问题。
下面结合附图所示的具体实施例，对本发明公开的基于分层细粒度融合联邦学习的分布式废钢检测方法及系统作进一步具体介绍。
本发明实施例一和实施例二公开的基于分层细粒度融合联邦学习的分布式废钢检测方法，分别应用于联邦学习的服务器端和客户端。实施例还公开一种基于分层细粒度融合联邦学习的分布式废钢检测系统，该系统如图4所示，包括云服务器1和若干客户端2，客户端2与云服务器1根据无线网络建立通信；其中，云服务器1构成联邦学习的服务器端；为便于基于分层细粒度融合联邦学习的分布式废钢检测方法的实施，客户端2建立有本地训练数据集3和本地模型4，云服务器1建立有全局模型5。
具体结合图1所示，实施例一公开的应用于联邦学习的服务器端的基于分层细粒度融合联邦学习的分布式废钢检测方法，包括如下步骤：
步骤S102，接收各客户端上传的本地模型4根据本地训练数据集3训练的本地模型参数；其中，各客户端2由各卸料点构成；
可选的，客户端2的本地模型4根据本地训练数据集3训练更新模型参数的过程为：获取各卸料点本地拍摄的废钢高清图片；对各卸料点的废钢高清图片进行预处理，以生成各卸料点的本地训练数据集3；其中，预处理过程包括去除废钢高清图片中的背景信息、将图片数据转换为数字组成的向量数据、对废钢数据按照其实际的废钢类别附加标签；所述废钢类别包括统料废钢、合格废钢、精料废钢、重型废钢、轻薄料、杂铁等；将废钢高清图片预处理后的向量数据作为本地模型4的输入，经模型参数的计算获得模型输出值；比较计算模型输出值与废钢数据附加的标签的误差，并通过链式法则对本地模型4的每个参数求导，获得梯度数据；根据梯度数据对本地模型4的模型参数进行更新。客户端2的本地模型4训练的结果为根据卸料点废钢的高清图片对废钢的分类数据。
其中，本地拍摄废钢高清图片的方式可以为卸料点上方安置高清相机对准货车车厢，在卸料过程中抓拍多张废钢高清图片，抓拍高清图片的具体张数由人工设定。另外，本地模型4可选择常用的多层感知机、多层神经网络模型、卷积神经网络模型等，并以正态分布等方式随机对定义的模型赋予初始化的模型参数。客户端2本地更新的模型参数通过无线网络上传到云服务器1。
步骤S104，根据客户端2上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端2的本地模型参数进行融合，获得全局融合模型参数；其中，服务器端建立有与各客户端2的本地模型4结构相同的全局模型5，并且全局模型5的初始化全局模型参数随机生成，如上述的正态分布等方式随机生成。
客户端2上传的本地模型参数的差异由客户端2本地数据的分布差异导致。
具体的，获得全局融合模型参数的具体过程为：分层划分全局模型的全局模型参数和获取的各客户端2上传的本地模型参数为行向量集合；依次计算各客户端2的本地模型参数与服务器端的全局模型参数在每一层行向量上的相似度，并以任一客户端2的相似度占所有客户端2在该层的相似度总和的比例作为该客户端2的本地模型参数融合时的权重；对各客户端2的本地模型参数在每一层进行加权平均，计算得到每一层的融合模型参数；统计并汇总各层的融合模型参数，获得全局融合模型参数。上述过程中，以相似度作为客户端2本地数据分布差异性的量化，表征各客户端2本地数据间的数据异构。
步骤S106，广播全局融合模型参数至所有客户端，以便各客户端根据全局融合模型参数进行新一轮的迭代训练直至各客户端的本地模型达到设定的预期模型精度，进而以各客户端对应训练完成的本地模型作为其本地废钢检测模型进行废钢检测。
结合图2所示，实施例二公开的应用于联邦学习的任一客户端2的基于分层细粒度融合联邦学习的分布式废钢检测方法，具体包括如下步骤：
步骤S1102，获取本地训练数据集3，并根据本地训练数据集3训练本地模型4的模型参数；其中，客户端2由卸料点构成；
步骤S1104，上传训练后的本地模型参数至服务器端，以便服务器端根据客户端2上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端2的本地模型参数进行融合，获得全局融合模型参数并广播；其中，服务器端建立有与各客户端2的本地模型4结构相同的全局模型，并且所述全局模型5的初始化全局模型参数随机生成；
步骤S1106，接收广播的全局融合模型参数，并根据全局融合模型参数进行新一轮的迭代训练直至本地模型4达到设定的预期模型精度；
步骤S1108，以迭代训练完成的本地模型4作为本地废钢检测模型进行废钢检测。
综合上述实施例一和实施例二公开的基于分层细粒度融合联邦学习的分布式废钢检测方法，其实施过程包括图3所示的各环节：废钢图片拍摄、数据预处理、模型本地训练、服务器计算客户端模型相似度、服务器计算客户端模型融合权重、服务器融合客户端模型、判断模型是否达到预设精度并循环，通过在服务器端计算客户端2模型参数的相似度和融合权重训练更新联邦学习过程服务器端模型和客户端2模型的模型参数，模型以各客户端2权重的方式解决各客户端2本地数据所存在的数据异构问题。
本发明公开的基于分层细粒度融合联邦学习的分布式废钢检测方法，还包括：定义分层细粒度融合联邦学习的数学问题，具体为：
假设联邦学习系统由K个卸料点构成的客户端2组成，客户端k(k∈K)的本地训练数据集为Dk，客户端k(k∈K)建立的本地模型为wk，其中，第j个样本输入本地模型wk得到损失为fj，则客户端k的整体损失为加权平均全体客户端2损失即可得到联邦学习最优化问题：/>
其中，|Dk|为客户端k的废钢数据量，|D|为全体客户端废钢总数据量，F为全体客户端2的整体损失。
作为一可选的实施方式，根据定义的分层细粒度融合联邦学习的数学问题，上述方法中采用分层细粒度融合的权重设置方式对客户端2的本地模型参数进行融合的计算过程为：
定义服务器端的全局模型5和客户端2的本地模型4均为一具有L层神经网络的深度学习模型，分别记为模型ws和模型参数为wk；并且，按层划分模型ws的全局模型参数为行向量集合{ws 1,...ws l,...,ws L}，按层划分模型wk的模型参数为行向量集合{wk 1,...wk l,...,wk L}；其中，l∈L，k∈K，K为联邦学习系统中客户端2总数；
根据cosine相似度计算客户端k的模型参数与服务器端的全局模型参数在对应层行向量上的相似度
计算各客户端2的相似度占所有客户端2在该层的相似度总和的比例/>并以该比例作为客户端2的本地模型参数在第l层的融合权重：/>
根据权重对各客户端2每一层的模型参数加权平均，获得服务器端在对应层的融合模型参数 并作为服务器端在该层新一轮的迭代训练的全局模型参数。
本发明的分布式废钢检测方法整体流程包括：废钢卸料现场图像数据及数据集本地处理；卸料点本地建立废钢检测模型，并在其本地数据集上进行训练；训练后的本地模型参数通过无线网络上传至云服务器1；云服务器1对多个卸料点上传的本地模型参数进行细粒度融合；融合权重根据卸料点废钢数据的分布差异进行分层设置；云服务器1将融合之后的模型参数下发至卸料点更新本地模型4的参数，重复迭代过程直到到达模型预期精度；本发明能够借助联邦学习进行分布式的废钢检测判级，保护各卸料点的数据隐私安全、减少数据传输代价，并且细粒度融合权重设置能够提高对不同卸料点异构废钢数据的检测效果。
本发明实施例还提供一种电子设备，存储器、处理器及存储在所述存储器上并可在所述处理器上运行计算机程序，所述计算机程序被所述处理器执行时实现上述实施例公开的基于分层细粒度融合联邦学习的分布式废钢检测方法。
上述程序可以运行在处理器中，或者也可以存储在存储器中(或称为计算机可读存储介质)，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。
本发明的实施例中就提供了这样的一种系统，该系统被称为基于分层细粒度融合联邦学习的分布式废钢检测系统，其组成除上述的服务器和若干客户端2，还包括：接收模块，用于接收各客户端上传的本地模型根据本地训练数据集3训练的本地模型参数；其中，各客户端2由各卸料点构成；参数融合模块，用于根据客户端上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端2的本地模型参数进行融合，获得全局融合模型参数；其中，服务器端建立有与各客户端的本地模型结构相同的全局模型，并且所述全局模型的初始化全局模型参数随机生成；广播更新模块，用于广播全局融合模型参数至所有客户端，以便各客户端根据全局融合模型参数进行新一轮的迭代训练直至各客户端的本地模型达到设定的预期模型精度，进而以各客户端对应训练完成的本地模型作为其本地废钢检测模型进行废钢检测。
该系统用于实现上述的实施例一中的方法的功能，该系统中的每个模块与方法中的每个步骤相对应，已经在方法中进行过说明的，在此不再赘述。
例如，参数融合模块获得全局融合模型参数的执行单元，包括：划分单元，用于分层划分全局模型的全局模型参数和获取的各客户端上传的本地模型参数为行向量集合；第一计算单元，用于依次计算各客户端的本地模型参数与服务器端的全局模型参数在每一层行向量上的相似度，并以任一客户端的相似度占所有客户端在该层的相似度总和的比例作为该客户端的本地模型参数融合时的权重；第二计算单元，用于对各客户端的本地模型参数在每一层进行加权平均，计算得到每一层的融合模型参数；统计单元，用于统计并汇总各层的融合模型参数，获得全局融合模型参数。
又例如，参数融合模块采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合的计算过程为：定义服务器端的全局模型和客户端的本地模型均为一具有L层神经网络的深度学习模型，分别记为模型ws和模型参数为wk；并且，按层划分模型ws的全局模型参数为行向量集合{ws 1,...ws l,...,ws L}，按层划分模型wk的模型参数为行向量集合{wk 1,...wk l,...,wk L}；其中，l∈L，k∈K，K为联邦学习系统中客户端总数；根据cosine相似度计算客户端k的模型参数与服务器端的全局模型参数在对应层行向量上的相似度 计算各客户端的相似度/>占所有客户端在该层的相似度总和的比例/>并以该比例作为客户端2的本地模型参数在第l层的融合权重：根据权重对各客户端每一层的模型参数加权平均，获得服务器端在对应层的融合模型参数/> 并作为服务器端在该层新一轮的迭代训练的全局模型参数。
本发明的另一实施例提供的基于分层细粒度融合联邦学习的分布式废钢检测系统，该系统用于实现上述的实施例二中的方法的功能，该系统中的每个模块与方法中的每个步骤相对应；即，除服务器和若干客户端2外，还包括：本地训练模块，用于获取本地训练数据集3，并根据本地训练数据集3训练本地模型4的模型参数；其中，客户端2由卸料点构成；上传模块，用于上传训练后的本地模型参数至服务器端，以便服务器端根据客户端2上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端2的本地模型参数进行融合，获得全局融合模型参数并广播；其中，服务器端建立有与各客户端2的本地模型结构相同的全局模型5，并且全局模型5的初始化全局模型参数随机生成；接收更新模块，用于接收广播的全局融合模型参数，并根据全局融合模型参数进行新一轮的迭代训练直至本地模型4达到设定的预期模型精度；检测模块，用于以迭代训练完成的本地模型4作为本地废钢检测模型进行废钢检测。
本发明公开的基于分层细粒度融合联邦学习的分布式废钢检测方法及系统，旨在于解决传统联邦学习系统进行废钢检测时虽然能达到保护数据的隐私和降低传输图片数据通信代价的技术效果，但是由于各卸料点废钢数据存在差异而具有数据异构现象时适应性差的技术问题；具体的，在联邦学习的客户端2和服务器端进行迭代训练时，服务器端根据各客户端2废钢数据的分布差异进行分层设置，达到对多个客户端2上传的本地模型参数进行细粒度融合权重，进而依据融合权重获得融合后的模型参数下发至客户端2迭代更新本地模型4的模型参数，直到模型到达预期精度；最终，以客户端2的更新完成的本地模型4或服务器端更新完成的全局模型5作为废钢检测模型，应用并实现废钢分级检测。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种基于分层细粒度融合联邦学习的分布式废钢检测方法，其特征在于，应用于联邦学习的服务器端，包括：
接收各客户端上传的本地模型根据本地训练数据集训练的本地模型参数；其中，各客户端由各卸料点构成；
根据客户端上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合，获得全局融合模型参数；其中，服务器端建立有与各客户端的本地模型结构相同的全局模型，并且所述全局模型的初始化全局模型参数随机生成；
广播全局融合模型参数至所有客户端，以便各客户端根据全局融合模型参数进行新一轮的迭代训练直至各客户端的本地模型达到设定的预期模型精度，进而以各客户端对应训练完成的本地模型作为其本地废钢检测模型进行废钢检测。
2.根据权利要求1所述的基于分层细粒度融合联邦学习的分布式废钢检测方法，其特征在于，所述获得全局融合模型参数的具体过程为：
分层划分全局模型的全局模型参数和获取的各客户端上传的本地模型参数为行向量集合；
依次计算各客户端的本地模型参数与服务器端的全局模型参数在每一层行向量上的相似度，并以任一客户端的相似度占所有客户端在该层的相似度总和的比例作为该客户端的本地模型参数融合时的权重；
对各客户端的本地模型参数在每一层进行加权平均，计算得到每一层的融合模型参数；
统计并汇总各层的融合模型参数，获得全局融合模型参数。
3.根据权利要求2所述的基于分层细粒度融合联邦学习的分布式废钢检测方法，其特征在于，所述采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合的计算过程为：
定义服务器端的全局模型和客户端的本地模型均为一具有L层神经网络的深度学习模型，分别记为模型ws和模型参数为wk；并且，按层划分模型ws的全局模型参数为行向量集合{ws 1，...ws l，...，ws L}，按层划分模型wk的模型参数为行向量集合{wk 1，...wk l，...，wk L}；其中，l∈L，k∈K，K为联邦学习系统中客户端总数；
根据cosine相似度计算客户端k的模型参数与服务器端的全局模型参数在对应层行向量上的相似度
计算各客户端的相似度占所有客户端在该层的相似度总和的比例/>并以该比例作为客户端的本地模型参数在第l层的融合权重：/>
根据权重对各客户端每一层的模型参数加权平均，获得服务器端在对应层的融合模型参数并作为服务器端在该层新一轮的迭代训练的全局模型参数。
4.根据权利要求1所述的基于分层细粒度融合联邦学习的分布式废钢检测方法，其特征在于，客户端的本地模型根据本地训练数据集训练更新模型参数的过程为：
获取各卸料点本地拍摄的废钢高清图片；
对各卸料点的废钢高清图片进行预处理，以生成各卸料点的本地训练数据集；其中，预处理过程包括去除废钢高清图片中的背景信息、将图片数据转换为数字组成的向量数据、对废钢数据按照其实际的废钢类别附加标签；所述废钢类别包括统料废钢、合格废钢、精料废钢、重型废钢、轻薄料、杂铁；
将废钢高清图片预处理后的向量数据作为本地模型的输入，经模型参数的计算获得模型输出值；
比较计算模型输出值与废钢数据附加的标签的误差，并通过链式法则对本地模型的每个参数求导，获得梯度数据；
根据梯度数据对本地模型的模型参数进行更新。
5.一种基于分层细粒度融合联邦学习的分布式废钢检测方法，其特征在于，应用于联邦学习的任一客户端，包括：
获取本地训练数据集，并根据本地训练数据集训练本地模型的模型参数；其中，客户端由卸料点构成；
上传训练后的本地模型参数至服务器端，以便服务器端根据客户端上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合，获得全局融合模型参数并广播；其中，服务器端建立有与各客户端的本地模型结构相同的全局模型，并且所述全局模型的初始化全局模型参数随机生成；
接收广播的全局融合模型参数，并根据全局融合模型参数进行新一轮的迭代训练直至本地模型达到设定的预期模型精度；
以迭代训练完成的本地模型作为本地废钢检测模型进行废钢检测。
6.一种基于分层细粒度融合联邦学习的分布式废钢检测系统，包括服务器和若干客户端，其特征在于，还包括：
接收模块，用于接收各客户端上传的本地模型根据本地训练数据集训练的本地模型参数；其中，各客户端由各卸料点构成；
参数融合模块，用于根据客户端上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合，获得全局融合模型参数；其中，服务器端建立有与各客户端的本地模型结构相同的全局模型，并且所述全局模型的初始化全局模型参数随机生成；
广播更新模块，用于广播全局融合模型参数至所有客户端，以便各客户端根据全局融合模型参数进行新一轮的迭代训练直至各客户端的本地模型达到设定的预期模型精度，进而以各客户端对应训练完成的本地模型作为其本地废钢检测模型进行废钢检测。
7.根据权利要求6所述的基于分层细粒度融合联邦学习的分布式废钢检测系统，其特征在于，所述参数融合模块获得全局融合模型参数的执行单元，包括：
划分单元，用于分层划分全局模型的全局模型参数和获取的各客户端上传的本地模型参数为行向量集合；
第一计算单元，用于依次计算各客户端的本地模型参数与服务器端的全局模型参数在每一层行向量上的相似度，并以任一客户端的相似度占所有客户端在该层的相似度总和的比例作为该客户端的本地模型参数融合时的权重；
第二计算单元，用于对各客户端的本地模型参数在每一层进行加权平均，计算得到每一层的融合模型参数；
统计单元，用于统计并汇总各层的融合模型参数，获得全局融合模型参数。
8.根据权利要求7所述的基于分层细粒度融合联邦学习的分布式废钢检测系统，其特征在于，所述参数融合模块采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合的计算过程为：
定义服务器端的全局模型和客户端的本地模型均为一具有L层神经网络的深度学习模型，分别记为模型ws和模型参数为wk；并且，按层划分模型ws的全局模型参数为行向量集合{ws 1，...ws l，...，ws L]，按层划分模型wk的模型参数为行向量集合{wk 1，...wk l，...，wk L]；其中，l∈L，k∈K，K为联邦学习系统中客户端总数；
根据cosine相似度计算客户端k的模型参数与服务器端的全局模型参数在对应层行向量上的相似度
计算各客户端的相似度占所有客户端在该层的相似度总和的比例/>并以该比例作为客户端的本地模型参数在第l层的融合权重：/>
根据权重对各客户端每一层的模型参数加权平均，获得服务器端在对应层的融合模型参数并作为服务器端在该层新一轮的迭代训练的全局模型参数。
9.一种基于分层细粒度融合联邦学习的分布式废钢检测系统，包括服务器和若干客户端，其特征在于，还包括：
本地训练模块，用于获取本地训练数据集，并根据本地训练数据集训练本地模型的模型参数；其中，客户端由卸料点构成；
上传模块，用于上传训练后的本地模型参数至服务器端，以便服务器端根据客户端上传的本地模型参数的差异，采用分层细粒度融合的权重设置方式对客户端的本地模型参数进行融合，获得全局融合模型参数并广播；其中，服务器端建立有与各客户端的本地模型结构相同的全局模型，并且所述全局模型的初始化全局模型参数随机生成；
接收更新模块，用于接收广播的全局融合模型参数，并根据全局融合模型参数进行新一轮的迭代训练直至本地模型达到设定的预期模型精度；
检测模块，用于以迭代训练完成的本地模型作为本地废钢检测模型进行废钢检测。
10.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的基于分层细粒度融合联邦学习的分布式废钢检测方法。
CN202310094938.3A 2023-02-10 2023-02-10 一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统 Pending CN116524309A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310094938.3A CN116524309A (zh) 2023-02-10 2023-02-10 一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310094938.3A CN116524309A (zh) 2023-02-10 2023-02-10 一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统

Publications (1)

Publication Number Publication Date
CN116524309A true CN116524309A (zh) 2023-08-01

Family

ID=87405328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310094938.3A Pending CN116524309A (zh) 2023-02-10 2023-02-10 一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统

Country Status (1)

Country Link
CN (1) CN116524309A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117149799A (zh) * 2023-11-01 2023-12-01 建信金融科技有限责任公司 一种数据更新方法、装置、电子设备及计算机可读介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117149799A (zh) * 2023-11-01 2023-12-01 建信金融科技有限责任公司 一种数据更新方法、装置、电子设备及计算机可读介质
CN117149799B (zh) * 2023-11-01 2024-02-13 建信金融科技有限责任公司 一种数据更新方法、装置、电子设备及计算机可读介质

Similar Documents

Publication Publication Date Title
Rijal et al. Ensemble of deep neural networks for estimating particulate matter from images
CN117670820B (zh) 一种塑料薄膜生产缺陷检测方法及系统
CN116229036B (zh) 数据采集系统、方法、计算机设备及存储介质
CN116524309A (zh) 一种基于分层细粒度融合联邦学习的分布式废钢检测方法及系统
CN112464718B (zh) 一种基于YOLO-Terse网络的目标检测方法及存储介质
CN110942097A (zh) 基于单像素探测器的免成像分类方法和系统
CN113099242B (zh) 一种输电线路视频监测数据处理方法及系统
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
CN115457408A (zh) 一种土地监测方法、装置、电子设备及介质
CN115018022A (zh) 网格化环境监测数据的质量控制方法、装置、设备及介质
CN113222209B (zh) 基于域适应的区域尾气迁移预测方法、系统及存储介质
Sharmila et al. Single image dehazing through feed forward artificial neural network
Beknazarova et al. Iterative methods for solving managed problems of the television image processing
CN118279272A (zh) 一种基于改进YOLOv8的钢板表面缺陷检测方法
CN113450385B (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质
CN116895036A (zh) 一种基于深度学习的耕地保护预警方法及装置
CN117874273B (zh) 一种基于地理映射的铁塔视频图像分类标识方法及装置
CN118397492B (zh) 监控数据处理方法及装置、存储介质、终端
CN117422689B (zh) 一种基于改进MS-PReNet和GAM-YOLOv7的雨天绝缘子缺陷检测方法
Deivalakshmi et al. Deep Dilated Convolutional Network for Single Image Dehazing
CN118823341A (zh) 地物目标语义分割方法和相关产品
Zhu et al. Ghost Module Network for Lightweight Weather Classification
Mulder Semantic Segmentation of RGB-Z Aerial Imagery Using Convolutional Neural Networks
CN117893849A (zh) 零部件质检模型训练方法、质检方法、系统、设备和介质
CN118366021A (zh) 叶子萎凋检测方法、模型训练方法、装置、介质和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination