CN116489163B - 基于多链的边缘个性化协作学习方法及装置 - Google Patents
基于多链的边缘个性化协作学习方法及装置 Download PDFInfo
- Publication number
- CN116489163B CN116489163B CN202310715439.1A CN202310715439A CN116489163B CN 116489163 B CN116489163 B CN 116489163B CN 202310715439 A CN202310715439 A CN 202310715439A CN 116489163 B CN116489163 B CN 116489163B
- Authority
- CN
- China
- Prior art keywords
- chain
- autonomous
- model
- global model
- aggregation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004220 aggregation Methods 0.000 claims abstract description 119
- 230000002776 aggregation Effects 0.000 claims abstract description 119
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 230000007246 mechanism Effects 0.000 claims description 24
- 230000003044 adaptive effect Effects 0.000 claims 2
- 238000005192 partition Methods 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1059—Inter-group management mechanisms, e.g. splitting, merging or interconnection of groups
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于多链的边缘个性化协作学习方法及装置，该方法包括：在主链上发布当前轮次的协作学习任务，并获取初始主链全局模型；基于初始主链全局模型的参数优化结果得到各个自治链上对应的链内全局模型；协调边缘节点进行当前轮次的模型训练以得到各边缘节点的局部模型，并进行当前轮次的参数聚合得到一次聚合后自治链内全局模型；协调领导节点将聚合后自治链内全局模型在当前轮次参数进行二次聚合获得最终主链全局模型，最终主链全局模型进行当前轮次的模型参数微调得到当前轮次优化后的链内全局模型以完成当前轮次的协作学习任务。本发明能够针对不同网络场景进行定制化服务，以实现规模更大、兼容性更强以及更易于参与的协作学习任务。
Description
技术领域
本发明网络空间安全、区块链和协作学习技术领域，特别是涉及基于多链的边缘个性化协作学习方法及装置。
背景技术
随着网络规模的不断扩大，互联网的应用场景也逐渐变得丰富，其中包括车联网、智能家居网、工业互联网等大规模复杂异构网络。这也导致边缘设备的数量与其所产生的数据量也呈现指数级的增长。但受限于边缘设备异构的计算、存储与通信能力，难以在保证数据拥有者数据隐私安全的情况下高效地将数据进行收集与利用。现阶段，协作学习作为一种新型技术，可以有效地解决了在保护数据隐私的同时实现知识共享的难题，但其仍存由中心服务器导致的两方面隐患。第一是可靠性低，当中心服务器出现异常或性能达到上限，则会影响全局的训练效率，甚至会导致训练无法正常进行。第二是安全性低，由于聚合端与客户端存在信息差，当单点中心服务器受到攻击时，聚合过程容易被恶意篡改，客户端无法验证聚合过程的正确性，使得协作训练在对抗针对于中心服务器的攻击上显得十分脆弱。因此，对于协作学习的聚合端进行去中心化的改良存在必要性。
为了保证中心服务器的性能，一般将其部署在云端以支撑高并发的计算请求。但是，随之而来的是边缘设备与中心服务器通信的高时延，使得边缘设备难以参与到协作学习任务中。即使边缘设备参与到协作学习中，由于边缘设备本身在系统和数据的双重异构特性，如计算能力高低不同、通信能力强弱并存、单机数据量大小不一等原因，往往也难以获得优质的个性化协作学习模型，甚至出现全局模型不如本地模型的情况。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的目的是提出一种基于多链的边缘个性化协作学习方法，可以解决协作学习中心服务器与边缘设备难以协调的问题，使得边缘设备能高效地利用分散的数据，在保护数据隐私安全的情况下进行可靠、安全及个性化的协作学习。
本发明的另一个目的在于提出一种基于多链的边缘个性化协作学习装置。
为达上述目的，本发明一方面提出一种基于多链的边缘个性化协作学习方法，所述多链包括基于边缘节点构建的自治链和基于自治链中选取的领导节点构建的主链，所述方法包括以下步骤：
通过智能合约在所述主链上发布当前轮次的协作学习任务，并获取对应所述协作学习任务的初始主链全局模型；
基于所述初始主链全局模型的参数优化结果得到各个自治链上对应的链内全局模型；
通过当前轮次选举的领导节点协调所述边缘节点利用链内全局模型的参数进行当前轮次的模型训练以得到自治链内各边缘节点的局部模型，并对所述局部模型进行当前轮次的参数聚合得到聚合后自治链内全局模型；
获取所述聚合后自治链内全局模型在当前轮次参数聚合后得到的最终主链全局模型，并根据自治链上的数据特征对所述最终主链全局模型进行当前轮次的模型参数微调得到当前轮次的优化后的链内全局模型以完成当前轮次的协作学习任务。
另外，根据本发明上述实施例的基于多链的边缘个性化协作学习方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，将所述自治链上的边缘节点划分全节点与轻节点；其中，所述全节点用于存储自治链上分布式账本的全部内容，所述轻节点用于以客户端的身份加入到自治链的当前轮次的协作学习任务中；所述领导节点通过所述全节点进行选举。
进一步地，在本发明的一个实施例中，所述通过当前轮次选举的领导节点协调所述边缘节点利用链内全局模型的参数进行当前轮次的模型训练以得到自治链内各边缘节点的局部模型，并对所述局部模型进行当前轮次的参数聚合得到聚合后自治链内全局模型，包括：
通过智能合约将链内全局模型的模型参数发送到当前轮次的用于训练的边缘节点上，并基于链内全局模型的模型参数进行当前轮次的边缘节点各自本地模型的训练得到自治链内各个边缘节点上的局部模型；
通过满足预设条件的自治链上的领导节点执行当前轮次的自治链内聚合的智能合约，以对自治链内参与当前轮次训练的边缘节点上的局部模型的模型参数进行当前轮次的聚合得到聚合后自治链内全局模型，并将聚合后自治链内全局模型的模型参数发送到主链。
进一步地，在本发明的一个实施例中，所述获取所述聚合后自治链内全局模型在当前轮次参数聚合后得到的最终主链全局模型，包括：
通过共识机制从所有领导节点中选择其中一个领导节点作为当前轮次的模型参数聚合的全局聚合节点；
通过所述全局聚合节点利用智能合约执行当前轮次的模型参数聚合，以将所述聚合后自治链内全局模型进行当前轮次的模型参数聚合得到更新后的最终主链全局模型。
进一步地，在本发明的一个实施例中，基于自治链的实际情况对所述最终主链全局模型进行当前轮次的模型微调，以得到当前轮次的模型微调优化后的链内全局模型，并将所述优化后的链内全局模型作为下一轮次的下层协作学习任务的全局模型；以及，
基于各个自治链上的共识机制，判断是否重新选举新的领导节点并根据判断结果执行下一轮次的协作学习任务。
为达上述目的，本发明另一方面提出一种基于多链的边缘个性化协作学习装置，所述多链包括基于边缘节点构建的自治链和基于自治链中选取的领导节点构建的主链，所述装置包括：
主链全局模型初始化模块，用于通过智能合约在所述主链上发布当前轮次的协作学习任务，并获取对应所述协作学习任务的初始主链全局模型；
自治链内全局模型获取模块，用于基于所述初始主链全局模型的参数优化结果得到各个自治链上对应的链内全局模型；
自治链内全局模型训练模块，用于通过当前轮次选举的领导节点协调所述边缘节点利用链内全局模型的参数进行当前轮次的模型训练以得到自治链内各边缘节点的局部模型，并对所述局部模型进行当前轮次的参数聚合得到聚合后自治链内全局模型；
主链全局模型聚合模块，用于获取所述聚合后自治链内全局模型在当前轮次参数聚合后得到的最终主链全局模型；
自治链内全局模型优化模块，用于根据自治链上的数据特征对所述最终主链全局模型进行当前轮次的模型参数微调得到当前轮次的优化后的链内全局模型以完成当前轮次的协作学习任务。
本发明实施例的基于多链的边缘个性化协作学习方法和装置，使用区块链技术实现了协作学习聚合过程的去中心化，并通过区块链的高可靠性及高安全性保证了边缘设备在训练过程中的数据隐私安全。
本发明的有益效果为：
1）本发明利用分层与分治的思想高效地解决边缘设备与云端通信时延高、协同训练难、模型效果差的问题，通过组建自治链的方式，具有相似特征（如数据分布或系统架构相近）的边缘设备能够合理地被整合，从而可以高效地利用大量且分散的边缘设备数据进行协作训练，同时分层的结构也降低了各边缘设备对参与协作学习任务时的计算、存储和通信性能的要求。
2）本发明针对边缘设备具有数据和系统双重异构特性，提出了个性化协作学习方案，通过“二次聚合”的方式，有效的利用全量边缘设备数据，不仅在主链上实现了分布式存放的全局共享模型，而且以自治链为单位进行“一次微调”，从而在减少边缘设备计算量的同时也能得到针对于其自身所处场景的高质量本地模型。
2）本发明在大规模复杂异构网络场景下具有出色的可扩展性与异构兼容性，不仅能够兼容已有的区块链技术与协作学习算法，而且还能够针对不同网络场景进行定制化服务，以实现规模更大、兼容更强，更易于参与的协作学习任务。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的基于多链的边缘个性化协作学习方法的流程图；
图2是根据本发明实施例的基于多链的边缘个性化协作学习方法的网络结构框架图；
图3是根据本发明实施例的自治链内各边缘节点的局部模型训练以及进行当前轮次的参数聚合的流程子图；
图4是根据本发明实施例的获取聚合后自治链内全局模型在当前轮次参数聚合后得到的最终主链全局模型的流程子图；
图5是根据本发明实施例的于多链的边缘个性化协作学习方法的训练示意图；
图6是根据本发明实施例的基于多链的边缘个性化协作学习装置的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面参照附图描述根据本发明实施例提出的基于多链的边缘个性化协作学习方法和装置。
图1是本发明实施例的基于多链的边缘个性化协作学习方法的流程图。
如图1所示，该基于多链的边缘个性化协作学习方法的多链包括基于边缘节点构建的自治链和基于自治链中选取的领导节点构建的主链；该方法包括：
S1，通过智能合约在主链上发布当前轮次的协作学习任务，并获取对应协作学习任务的初始主链全局模型；
S2，基于初始主链全局模型的参数优化结果得到各个自治链上对应的链内全局模型；
S3，通过当前轮次选举的领导节点协调边缘节点利用链内全局模型的参数进行当前轮次的模型训练以得到自治链内各边缘节点的局部模型，并对局部模型进行当前轮次的参数聚合得到聚合后自治链内全局模型；
S4，获取聚合后自治链内全局模型在当前轮次参数聚合后得到的最终主链全局模型，并根据自治链上的数据特征对最终主链全局模型进行当前轮次的模型参数微调得到当前轮次的优化后的链内全局模型以完成当前轮次的协作学习任务。
根据本发明实施例的基于多链的边缘个性化协作学习方法，可以有效解决协作学习中心服务器与边缘设备难以协调的问题，使得边缘设备能高效地利用分散的数据，在保护数据隐私安全的情况下进行可靠、安全及个性化的协作学习。
可以理解的是，本发明利用分治思想，在原有的协作学习区块链上扩充出多个自治链，以各个自治链作为小规模的协作学习任务，并将其聚合的结果作为主链的客户端进行进一步的聚合，在得到全局模型后再在各个自治链上进行模型微调以实现个性化的协作学习。这种分层结构也缓解了云端聚合压力和边缘节点性能异构导致的协调困难问题。
还需要注意的是，本发明实施例中的主链与自治链并不限制为某种区块链，其可以根据具体场景应用不同类型的区块链，其中包括公有链、私有链、联盟链等。区块链中的协作学习算法也可根据实际场景进行修改。其层次不仅限于两层结构，可以根据实际情况将主链作为二层自治链继续向上扩展。本发明的构思在于分治与分层结构的区块链协作学习方式。
图2为本发明实施例的基于多链的边缘个性化协作学习方法的网络结构图，如图2所示，各子网络内部组建自治链，通过共识机制从自治链内选取一个leader节点参与到主链上，并由这些leader节点组建成主链。其中由虚线连接的设备为同一设备，这些设备同时存在于自治链和主链上。本发明的步骤可理解为：
作为本发明的一个实施例，各个边缘设备以客户端的形式部署到子链（本文中也将其称为“自治链”），子链中通过共识机制选取领导节点（也称leader节点），并对该子链上的边缘设备进行“一次聚合”，从而获得一个对于该子链的全局模型。随后，leader节点作为客户端参与到主链中，并将子链的全局模型作为主链的本地模型参与到上层的协作学习中，并进行“二次聚合”，重新下发到各个自治链中。自治链所有边缘设备作为一个整体，由leader节点针对该自治链特点进行主链全局模型的微调，从而得到更适合每个自治链的个性化模型。同时，通过分层的方式进行协作学习，能有效地解决云端到边缘设备高时延和异构性的问题，同时基于上下层均采用了区块链的技术，聚合操作均由智能合约实现，中间数据的存储可使用星际文件系统（Inter Planetary File System,IPFS）进行分布式点对点存储，以保证系统中不存在中心服务器的单点可靠性与安全性等方面的问题。
进一步地，本发明首先创建与初始化各自治链并组建主链。
作为本发明的一个实施例，由某些具备相似特性（如地理位置、计算能力、设备系统）等边缘设备组建成自治链。考虑到自治链中存在大量性能较差的边缘设备，因此自治链上应划分全节点与轻节点，全节点需要存储自治链上分布式账本的全部内容，轻节点仅以客户端的身份加入到自治链的协作学习任务中。自治链上的每一轮从全节点中选取leader节点，由其进行本轮的聚合，并参与到主链的上层协作学习任务中。本发明可支持已有研究的主流区块链和协作学习相关技术，因此自治链可以根据实际场景设计其中的共识机制、准入机制、激励机制和通信方式等。
作为本发明的一个实施例，各自治链中选出的leader节点以客户端形式加入并组建主链。主链中的leader节点均具有一定的计算和存储能力，因此所有节点都以全节点的方式存在，并且同一时间每个自治链应只有一个leader节点参与到主链中，以避免重复或冲突的情况。主链中的数据以星际文件系统（IPFS）的方式分布式存储在各个节点上，以保证主链数据的可靠性和不可篡改性。所有主链上的协作学习创建任务、聚合模型和下发模型均由智能合约实现。
进一步地，本发明需要创建协作学习任务。
作为本发明的一个实施例，任意一个自治链上的leader节点通过智能合约在主链上发布任务，并得到初始主链全局模型，其他自治链leader节点根据需求决定是否参与到这一协作学习任务中。自治链共识接受该任务后，由其leader节点在其自治链上发布与上层任务相对应的下层任务，根据自治链情况进行任务内容的调整，其中包括协作学习算法、超参数和训练计算量等，并得到各个自治链上对应的链内全局模型/>，其中N为参与训练的自治链总数，k代表第k个自治链。
进一步地，图3为本发明实施例的自治链内各边缘节点的局部模型训练以及进行当前轮次的参数聚合的流程子图，如图3所示，包括以下步骤：
S31，通过智能合约将链内全局模型的模型参数发送到当前轮次的用于训练的边缘节点上，并基于链内全局模型的模型参数进行当前轮次的边缘节点各自本地模型的训练得到自治链内各个边缘节点上的局部模型；
S32，通过满足预设条件的自治链上的领导节点执行当前轮次的自治链内聚合的智能合约，以对自治链内参与当前轮次训练的边缘节点上的局部模型的模型参数进行当前轮次的聚合得到聚合后自治链内全局模型，并将聚合后自治链内全局模型的模型参数发送到主链。
作为本发明的一个实施例，进行轮协作训练，第/>轮协作训练过程如下：
具体地，各自治链进行下层协作训练。第k个leader节点通过智能合约将链内全局模型下发到其所管理的边缘设备上，并协调它们进行各自的本地训练。在各边缘设备完成本地的一次训练后，将其局部模型/>以智能合约方式上传到区块链上，此处/>为第k个自治链，/>为第k个自治链上参与训练的的边缘设备总数，i为该自治链中第i个边缘设备。各个自治链在达到一定条件后（如经过一定时间或搜集到一定模型量后），由其leader节点执行自治链内聚合的智能合约。假设第k个自治链满足聚合条件，其leader节点将局部模型/>进行聚合得到更新后的第k个自治链对应的聚合后自治链内全局模型/>，并将其上传到主链上。
进一步地，图4为本发明实施例的获取聚合后自治链内全局模型在当前轮次参数聚合后得到的最终主链全局模型的流程子图，如图4所示，包括以下步骤：
S41，通过共识机制从所有领导节点中选择其中一个领导节点作为当前轮次的模型参数聚合的全局聚合节点；
S42，通过全局聚合节点利用智能合约执行当前轮次的模型参数聚合，以将聚合后自治链内全局模型进行当前轮次的模型参数聚合得到更新后的最终主链全局模型。
具体地，主链进行上层协作训练。主链每一轮会从各个leader节点中通过共识机制选择其中一个作为本轮聚合的全局聚合节点，在达到一定条件后，由全局聚合节点通过智能合约执行本轮的聚合，将各个自治链内更新后的聚合后自治链内全局模型（也相当于主链上的局部模型）进行聚合得到更新后的最终主链全局模型/>，并将其存储在主链上。
进一步地，各自治链leader节点从主链上获取新一轮最终主链全局模型，并针对其所在自治链的实际情况进行模型微调，从而得到主链全局模型微调后并以自治链为单位的个性化的优化后链内全局模型/>，并以此作为下一轮下层协作训练的全局模型。随后各个自治链根据其之上的共识机制，决定是否需要重新选举新的leader并执行下一轮训练。
图5是本发明的基于多链的边缘个性化协作学习方法的训练流程图，如图5所示。图5中“主链”指由主链共识机制选举得到的主链智能合约执行节点，“leader节点”指某一自治链中被选举得到的leader节点，“边缘设备”指在该自治链上的某一参预训练的边缘设备。首先主链下发协作学习全局模型到各个自治链的leader节点上，由各个leader节点根据所在自治链情况，进行训练任务和超参数的调整。随后由leader节点在自治链上下发调整后的训练任务及自治链内全局模型到各个参与训练的边缘设备上，并协调边缘设备进行本地训练。边缘设备完成本地训练后将本地模型发至所在自治链上，由其leader节点进行收集和聚合。在达到一定条件后，leader节点将聚合后的自治链内全局模型上传到主链上，由主链的执行节点进行主链上的聚合操作，并将该全局模型分布式存储在各个leader节点上。随后各leader节点根据所在自治链的数据和系统特征，对新的主链全局模型进行微调。循环进行上述流程，直到主链上的协作训练结束，此时主链上保存了最终聚合的全局模型，各个自治链上保存了进行微调过后个性化的全局模型。
进一步地，在完成R轮训练后，主链的初始主链全局模型使用IPFS分布式存储在各个自治链上，自治链上各自存储其对应的优化后链内全局模型/>，边缘设备可以通过其所在的自治链上的优化后链内全局模型/>进行实际应用。由于优化后链内全局模型/>经过微调，对比初始主链全局模型/>会在其边缘设备场景中具备更优的效果。
作为本发明的一个实施例，结合图2所示的网络结构，本发明假设主链网络为互联网，其中有三个相应的子网，每个子网上分别接入了不同类型的设备。A网络为车联网，汽车为该网络的主要边缘设备；B网络为蜂窝网络，智能手机为该网络的主要边缘设备；C网络为智能家居网，智能家居为该网络的主要边缘设备。三个网络需要在保护其网络上的边缘设备数据隐私安全的情况下进行协作训练，假设其共同目标是分析设备使用者某软件的使用习惯，并建立合适的推荐模型。
具体地，根据各子网的数据和设备特点，组建合适的自治链。对于A网络，汽车频繁的移动可能导致其网络链路具有一定的不稳定性，因此在A网络上的区块链应考虑使用对通信稳定性要求相对较低的通信协议，如应用层采用消息队列遥测传输协议（MessageQueuing Telemetry Transport,MQTT），或在传输层上采用用户数据报协议（UserDatagram Protoco,UDP）协议搭建区块链网络。而B网络因为网络规模较大，且对设备加入该网络没有设置较严格的限制，因此区块链可以采用公有链，共识机制采用工作量证明（Proof of Work, PoW）或权益证明（Proof of Stake, PoS），从而更好的保证该链的安全性和可靠性。对于C网络，智能家居的计算能力相对较弱，且其准入机制比较严格，因此可以使用联盟链提高共识效率，并在协作学习算法针对于其计算能力进行特定的设计（如进行异步聚合以减少等待时长）。
在各个自治链建立之后，由任务发布者（A,B,C自治链任何一个leader节点均可）在主链上通过智能合约公开地初始化全局模型，其他自治链leader从主链上获得全局模型，在本地自治链上发布该任务，并协调其网络上的边缘设备进行本地训练，该过程为“一次聚合”。我们假设该任务在主链上采用的是同步的协作训练过程，在等待一定时间后，从A,B,C三个leader节点中通过共识机制选择其中一个作为本轮聚合节点，其将三个自治链上各自的全局模型通过智能合约进行“二次聚合”，得到了新一轮的主链全局模型，并将其发布到主链上。随后各leader节点根据新的全局模型，有针对性地进行微调，以适配自身网络的设备和数据特征，并将微调后的全局模型发布到其自治链上，以进行下一轮的协作训练。
由此，本发明以区块链技术作为安全性与可靠性的保证，结合分层架构，使得边缘设备能更加简单且高效地加入到协作学习过程中。通过“二次聚合，一次微调”的方式，降低了对边缘设备计算、通信和存储能力的要求，结合了自治链网络内设备和数据特征相近的特点，高效地实现了协作学习任务的个性化。同时，本发明兼容已有的区块链技术和协作学习算法，支持在不同场景下使用不同的网络和技术，从而使得协作学习能有效地适应更多更复杂的场景。
为了实现上述实施例，如图6所示，本实施例中还提供了基于多链的边缘个性化协作学习装置10，该装置10包括，主链全局模型初始化模块100、自治链内全局模型获取模块200、自治链内全局模型训练模块300、主链全局模型聚合模块400和自治链内全局模型优化模块500。
主链全局模型初始化模块100，用于通过智能合约在主链上发布当前轮次的协作学习任务，并获取对应协作学习任务的初始主链全局模型；
自治链内全局模型获取模块200，用于基于初始主链全局模型的参数优化结果得到各个自治链上对应的链内全局模型；
自治链内全局模型训练模块300，用于通过当前轮次选举的领导节点协调边缘节点利用链内全局模型的参数进行当前轮次的模型训练以得到自治链内各边缘节点的局部模型，并对局部模型进行当前轮次的参数聚合得到聚合后自治链内全局模型；
主链全局模型聚合模块400，用于获取聚合后自治链内全局模型在当前轮次参数聚合后得到的最终主链全局模型；
自治链内全局模型优化模块500，用于根据自治链上的数据特征对最终主链全局模型进行当前轮次的模型参数微调得到当前轮次的优化后的链内全局模型以完成当前轮次的协作学习任务。
进一步地，装置10，还包括节点划分模块，用于将自治链上的边缘节点划分全节点与轻节点；其中，全节点用于存储自治链上分布式账本的全部内容，轻节点用于以客户端的身份加入到自治链的当前轮次的协作学习任务中；领导节点通过全节点进行选举。
进一步地，上述自治链内全局模型训练模块300，还用于：
通过智能合约将链内全局模型的模型参数发送到当前轮次的用于训练的边缘节点上，并基于链内全局模型的模型参数进行当前轮次的边缘节点各自本地模型的训练得到自治链内各个边缘节点上的局部模型；
通过满足预设条件的自治链上的领导节点执行当前轮次的自治链内聚合的智能合约，以对自治链内参与当前轮次训练的边缘节点上的局部模型的模型参数进行当前轮次的聚合得到聚合后自治链内全局模型，并将聚合后自治链内全局模型的模型参数发送到主链。
进一步地，上述主链全局模型聚合模块400，还用于：
通过共识机制从所有领导节点中选择其中一个领导节点作为当前轮次的模型参数聚合的全局聚合节点；
通过全局聚合节点利用智能合约执行当前轮次的模型参数聚合，以将聚合后自治链内全局模型进行当前轮次的模型参数聚合得到更新后的最终主链全局模型。
进一步地，基于自治链的实际情况对最终主链全局模型进行当前轮次的模型微调，以得到当前轮次的模型微调优化后的链内全局模型，并将优化后的链内全局模型作为下一轮次的下层协作学习任务的全局模型；以及，
基于各个自治链上的共识机制，判断是否重新选举新的领导节点并根据判断结果执行下一轮次的协作学习任务。
根据本发明实施例的基于多链的边缘个性化协作学习装置，不仅在大规模复杂异构网络场景下具有出色的可扩展性与异构兼容性，而且还能兼容已有的区块链技术与协作学习算法，并针对不同网络场景进行定制化服务，以实现规模更大、兼容更强，更易于参与的协作学习任务。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
Claims (4)
1.一种基于多链的边缘个性化协作学习方法，其特征在于，所述多链包括基于边缘节点构建的自治链和基于自治链中选取的领导节点构建的主链，所述多链为分治与分层结构的区块链，所述方法包括以下步骤：
通过智能合约在所述主链上发布当前轮次的协作学习任务，并获取对应所述协作学习任务的初始主链全局模型；
基于所述初始主链全局模型的参数优化结果得到各个自治链上对应的链内全局模型；
通过当前轮次选举的领导节点协调所述边缘节点利用链内全局模型的参数进行当前轮次的模型训练以得到自治链内各边缘节点的局部模型，并对所述局部模型进行当前轮次的参数聚合得到聚合后自治链内全局模型；其中，所述局部模型通过边缘节点完成本地训练后将局部模型发至所在自治链上；所述聚合后自治链内全局模型通过领导节点上传到主链上，由主链的执行节点进行主链上的聚合操作，并将聚合后自治链内全局模型分布式存储在各个领导节点上；
获取所述聚合后自治链内全局模型在当前轮次参数聚合后得到的最终主链全局模型，并根据自治链上的数据特征和适配自身网络的边缘节点设备特征对所述最终主链全局模型进行当前轮次的模型参数微调得到当前轮次的优化后的链内全局模型以完成当前轮次的协作学习任务；
所述通过当前轮次选举的领导节点协调所述边缘节点利用链内全局模型的参数进行当前轮次的模型训练以得到自治链内各边缘节点的局部模型，并对所述局部模型进行当前轮次的参数聚合得到聚合后自治链内全局模型，包括：
通过智能合约将链内全局模型的模型参数发送到当前轮次的用于训练的边缘节点上，并基于链内全局模型的模型参数进行当前轮次的边缘节点各自本地模型的训练得到自治链内各个边缘节点上的局部模型；
通过满足预设条件的自治链上的领导节点执行当前轮次的自治链内聚合的智能合约，以对自治链内参与当前轮次训练的边缘节点上的局部模型的模型参数进行当前轮次的聚合得到聚合后自治链内全局模型，并将聚合后自治链内全局模型的模型参数发送到主链；
所述获取所述聚合后自治链内全局模型在当前轮次参数聚合后得到的最终主链全局模型，包括：
通过共识机制从所有领导节点中选择其中一个领导节点作为当前轮次的模型参数聚合的全局聚合节点；
通过所述全局聚合节点利用智能合约执行当前轮次的模型参数聚合，以将所述聚合后自治链内全局模型进行当前轮次的模型参数聚合得到更新后的最终主链全局模型；
基于自治链的实际情况对所述最终主链全局模型进行当前轮次的模型微调，以得到当前轮次的模型微调优化后的链内全局模型，并将所述优化后的链内全局模型作为下一轮次的下层协作学习任务的全局模型；以及，
基于各个自治链上的共识机制，判断是否重新选举新的领导节点并根据判断结果执行下一轮次的协作学习任务；
所述主链进行上层协作训练，主链每一轮从各个领导节点中通过共识机制选择其中一个作为本轮聚合的全局聚合节点，在达到一定条件后，由全局聚合节点通过智能合约执行本轮的聚合，将各个自治链内更新后的聚合后自治链内全局模型进行聚合得到更新后的最终主链全局模型，并将更新后的最终主链全局模型存储在主链上；
各自治链领导节点从主链上获取新一轮最终主链全局模型，并对新一轮最终主链全局模型所在自治链的实际情况进行模型微调，得到主链全局模型微调后并以自治链为单位的个性化的优化后的链内全局模型，并作为下一轮下层协作训练的全局模型，随后各个自治链根据自身的共识机制，决定是否需要重新选举新的领导节点并执行下一轮训练。
2.根据权利要求1所述的方法，其特征在于，将所述自治链上的边缘节点划分全节点与轻节点；其中，所述全节点用于存储自治链上分布式账本的全部内容，所述轻节点用于以客户端的身份加入到自治链的当前轮次的协作学习任务中；所述领导节点通过所述全节点进行选举。
3.一种基于多链的边缘个性化协作学习装置，其特征在于，所述多链包括基于边缘节点构建的自治链和基于自治链中选取的领导节点构建的主链，所述多链为分治与分层结构的区块链，所述装置包括：
主链全局模型初始化模块，用于通过智能合约在所述主链上发布当前轮次的协作学习任务，并获取对应所述协作学习任务的初始主链全局模型；
自治链内全局模型获取模块，用于基于所述初始主链全局模型的参数优化结果得到各个自治链上对应的链内全局模型；
自治链内全局模型训练模块，用于通过当前轮次选举的领导节点协调所述边缘节点利用链内全局模型的参数进行当前轮次的模型训练以得到自治链内各边缘节点的局部模型，并对所述局部模型进行当前轮次的参数聚合得到聚合后自治链内全局模型；其中，所述局部模型通过边缘节点完成本地训练后将局部模型发至所在自治链上；所述聚合后自治链内全局模型通过领导节点上传到主链上，由主链的执行节点进行主链上的聚合操作，并将聚合后自治链内全局模型分布式存储在各个领导节点上；
主链全局模型聚合模块，用于获取所述聚合后自治链内全局模型在当前轮次参数聚合后得到的最终主链全局模型；
自治链内全局模型优化模块，用于根据自治链上的数据特征和适配自身网络的边缘节点设备特征对所述最终主链全局模型进行当前轮次的模型参数微调得到当前轮次的优化后的链内全局模型以完成当前轮次的协作学习任务；
所述自治链内全局模型训练模块，还用于：
通过智能合约将链内全局模型的模型参数发送到当前轮次的用于训练的边缘节点上，并基于链内全局模型的模型参数进行当前轮次的边缘节点各自本地模型的训练得到自治链内各个边缘节点上的局部模型；
通过满足预设条件的自治链上的领导节点执行当前轮次的自治链内聚合的智能合约，以对自治链内参与当前轮次训练的边缘节点上的局部模型的模型参数进行当前轮次的聚合得到聚合后自治链内全局模型，并将聚合后自治链内全局模型的模型参数发送到主链；
所述主链全局模型聚合模块，还用于：
通过共识机制从所有领导节点中选择其中一个领导节点作为当前轮次的模型参数聚合的全局聚合节点；
通过所述全局聚合节点利用智能合约执行当前轮次的模型参数聚合，以将所述聚合后自治链内全局模型进行当前轮次的模型参数聚合得到更新后的最终主链全局模型；
基于自治链的实际情况对所述最终主链全局模型进行当前轮次的模型微调，以得到当前轮次的模型微调优化后的链内全局模型，并将所述优化后的链内全局模型作为下一轮次的下层协作学习任务的全局模型；以及，
基于各个自治链上的共识机制，判断是否重新选举新的领导节点并根据判断结果执行下一轮次的协作学习任务；
所述主链进行上层协作训练，主链每一轮从各个领导节点中通过共识机制选择其中一个作为本轮聚合的全局聚合节点，在达到一定条件后，由全局聚合节点通过智能合约执行本轮的聚合，将各个自治链内更新后的聚合后自治链内全局模型进行聚合得到更新后的最终主链全局模型，并将更新后的最终主链全局模型存储在主链上；
各自治链领导节点从主链上获取新一轮最终主链全局模型，并对新一轮最终主链全局模型所在自治链的实际情况进行模型微调，得到主链全局模型微调后并以自治链为单位的个性化的优化后的链内全局模型，并作为下一轮下层协作训练的全局模型，随后各个自治链根据自身的共识机制，决定是否需要重新选举新的领导节点并执行下一轮训练。
4.根据权利要求3所述的装置，其特征在于，所述装置，还包括节点划分模块，用于将所述自治链上的边缘节点划分全节点与轻节点；其中，所述全节点用于存储自治链上分布式账本的全部内容，所述轻节点用于以客户端的身份加入到自治链的当前轮次的协作学习任务中；所述领导节点通过所述全节点进行选举。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310715439.1A CN116489163B (zh) | 2023-06-16 | 2023-06-16 | 基于多链的边缘个性化协作学习方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310715439.1A CN116489163B (zh) | 2023-06-16 | 2023-06-16 | 基于多链的边缘个性化协作学习方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116489163A CN116489163A (zh) | 2023-07-25 |
| CN116489163B true CN116489163B (zh) | 2023-09-19 |
Family
ID=87223480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310715439.1A Active CN116489163B (zh) | 2023-06-16 | 2023-06-16 | 基于多链的边缘个性化协作学习方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116489163B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052331A (zh) * | 2021-02-19 | 2021-06-29 | 北京航空航天大学 | 一种基于区块链的物联网个性化联邦学习方法 |
| CN114492739A (zh) * | 2022-01-04 | 2022-05-13 | 北京邮电大学 | 基于车联网的联邦学习方法、路边单元、车辆节点和基站 |
| CN114626547A (zh) * | 2022-02-08 | 2022-06-14 | 天津大学 | 一种基于区块链的群组协同学习方法 |
| CN115293256A (zh) * | 2022-08-02 | 2022-11-04 | 西北大学 | 一种由区块链辅助的联邦学习无线网络模型 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210110310A1 (en) * | 2020-12-22 | 2021-04-15 | Intel Corporation | Methods and apparatus to verify trained models in an edge environment |
| WO2023283545A1 (en) * | 2021-07-04 | 2023-01-12 | Artema Labs, Inc | Systems and method for providing security against deception and abuse in distributed and tokenized environments |
-
2023
- 2023-06-16 CN CN202310715439.1A patent/CN116489163B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052331A (zh) * | 2021-02-19 | 2021-06-29 | 北京航空航天大学 | 一种基于区块链的物联网个性化联邦学习方法 |
| CN114492739A (zh) * | 2022-01-04 | 2022-05-13 | 北京邮电大学 | 基于车联网的联邦学习方法、路边单元、车辆节点和基站 |
| CN114626547A (zh) * | 2022-02-08 | 2022-06-14 | 天津大学 | 一种基于区块链的群组协同学习方法 |
| CN115293256A (zh) * | 2022-08-02 | 2022-11-04 | 西北大学 | 一种由区块链辅助的联邦学习无线网络模型 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116489163A (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Multi-agent imitation learning for pervasive edge computing: A decentralized computation offloading algorithm | |
| Chen et al. | Cooperative and distributed computation offloading for blockchain-empowered industrial Internet of Things | |
| Cui et al. | An efficient and compacted DAG-based blockchain protocol for industrial Internet of Things | |
| CN113010305B (zh) | 部署在边缘计算网络中的联邦学习系统及其学习方法 | |
| CN111245903B (zh) | 一种基于边缘计算的联合学习方法及系统 | |
| Fu et al. | Performance optimization for blockchain-enabled distributed network function virtualization management and orchestration | |
| CN108616596A (zh) | 基于动态授权和网络环境感知的区块链自适应共识方法 | |
| Rabay'a et al. | Fog computing with p2p: Enhancing fog computing bandwidth for iot scenarios | |
| JP2013536095A (ja) | クラウドロボットシステムおよびその実現方法 | |
| CN102130824A (zh) | 联合优化的方法、装置和系统 | |
| CN103124420A (zh) | 一种无线片上网络架构方法 | |
| CN108259078A (zh) | 一种用于星上综合电子系统的资源分配方法及系统 | |
| CN114650227A (zh) | 一种分层联邦学习场景下的网络拓扑构建方法及系统 | |
| JP7527535B1 (ja) | マルチバリューチェーン進化の予測方法、システムおよび記憶媒体 | |
| da Silva et al. | Towards federated learning in edge computing for real-time traffic estimation in smart cities | |
| CN114827284B (zh) | 工业物联网中服务功能链编排方法、装置及联邦学习系统 | |
| Pirmagomedov et al. | Applying blockchain technology for user incentivization in mmWave-based mesh networks | |
| CN116362327A (zh) | 一种模型训练方法、系统及电子设备 | |
| CN116489163B (zh) | 基于多链的边缘个性化协作学习方法及装置 | |
| CN114022731A (zh) | 基于drl的联邦学习节点选择方法 | |
| CN103581329A (zh) | 基于分簇的对等网络流媒体直播系统拓扑结构的构建方法 | |
| Knari et al. | Multi-Agent Deep Reinforcement Learning for content caching within the Internet of Vehicles | |
| Zhang et al. | Energy efficient federated learning over cooperative relay-assisted wireless networks | |
| CN109194485A (zh) | 一种多类型网络节点的组网方法 | |
| CN101873345A (zh) | 集中式块交换p2p文件共享系统及其节点供种激励方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |