CN116541769A - 一种基于联邦学习的节点数据分类方法及系统 - Google Patents
一种基于联邦学习的节点数据分类方法及系统 Download PDFInfo
- Publication number
- CN116541769A CN116541769A CN202310818466.1A CN202310818466A CN116541769A CN 116541769 A CN116541769 A CN 116541769A CN 202310818466 A CN202310818466 A CN 202310818466A CN 116541769 A CN116541769 A CN 116541769A
- Authority
- CN
- China
- Prior art keywords
- client
- data
- calculation model
- model
- accuracy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004364 calculation method Methods 0.000 claims abstract description 117
- 238000012549 training Methods 0.000 claims abstract description 89
- 239000011159 matrix material Substances 0.000 claims abstract description 54
- 238000004891 communication Methods 0.000 claims description 29
- 239000004973 liquid crystal related substance Substances 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 description 16
- 230000002776 aggregation Effects 0.000 description 12
- 238000004220 aggregation Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Algebra (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于联邦学习的节点数据分类方法及系统，所述方法基于包括服务端和与服务器端相连接的多个客户端的分布式架构，所述方法的步骤包括：在每个客户端对该客户端中的计算模型进行本地训练，获取本地训练后每个计算模型的模型参数，并构建为第一参数矩阵；在服务器端基于每个客户端当前训练数据的数量计算每个客户端的数据权重参数，基于每个计算模型的准确率计算每个计算模型的准确率权重参数；在所述服务器端将所述数据权重参数和准确率权重参数合并为计算模型的合并权重参数，基于全部计算模型的合并权重参数和第一参数矩阵计算合并参数矩阵；基于合并参数矩阵更新每个客户端的计算模型；基于更新后的计算模型进行节点数据分类。
Description
技术领域
本发明涉及联邦学习技术领域，尤其涉及一种基于联邦学习的节点数据分类方法及系统。
背景技术
在过去的几十年中，随着多个服务平台的快速崛起，信息网络表示学习已经成为数据挖掘和机器学习领域的研究热点。信息网络是由实体及其关系构成的复杂网络。针对信息网络学习得到有效的表示，可以从海量学术资源中获取到学术兴趣的多源分布、研究领域的发展态势和专家学者的合作趋势，有助于研发出满足用户实际需求的一系列服务，例如学术资源画像、学术信息推荐、学者姓名消歧和论文审稿人匹配等。在现实场景中，多个信息子网络往往分散在不同的客户端上，而如同孤岛般的单一客户端只能掌握有限的数据。由于网络隐私保护和网络数据安全管理的限制，传统的将多个客户端的数据聚合到中央服务器的方式已经不再可行，训练数据的缺乏直接导致信息网络表示学习的效果严重下降。因此，如何在不损害数据隐私的前提下，对分布在不同客户端的信息子网络进行协作，训练出高质量的信息网络表示模型是信息网络表示学习面临的关键挑战。
联邦学习作为一种新兴的分布式机器学习范式，可以有效地解决数据孤岛问题。其关键思想是通过本地客户端上训练模型，从而在多个参与方之间进行协作学习。这种方法可以保护参与方的数据隐私，使得数据在不出本地的情况下进行学习，从而促进数据共享和协作。现有技术中已经有一系列的工作致力于解决联邦学习所面临的各种挑战。然而，这些方法忽略了每个客户端的子网络中不同的邻居节点可能对核心节点起着不同的作用。此外，由于默认依据不同客户端数据量的比例进行模型聚合，忽略了客户端对服务端的贡献度随着训练轮次动态变化的情况，导致联邦学习的整体训练效果受限，导致对于节点中的数据分类效果降低。
发明内容
鉴于此，本发明的实施例提供了一种基于联邦学习的节点数据分类方法，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种基于联邦学习的节点数据分类方法，所述方法的联邦学习基于分布式架构，所述分布式架构包括服务端和与服务器端相连接的多个客户端，所述方法的步骤包括：
在每个客户端对该客户端中的计算模型进行本地训练，获取本地训练后每个客户端的计算模型的模型参数，并构建为第一参数矩阵；
在所述服务器端基于每个客户端当前训练数据的数量计算每个客户端的数据权重参数，基于每个计算模型的准确率计算每个计算模型的准确率权重参数；
在所述服务器端将所述数据权重参数和准确率权重参数合并为计算模型的合并权重参数，基于全部计算模型的合并权重参数和第一参数矩阵计算合并参数矩阵；
基于所述合并参数矩阵更新每个客户端的计算模型；
基于更新后的计算模型进行节点数据分类。
采用上述方案，本方案首先构建了数据权重参数，所述数据权重参数的计算过程中，不但考虑到了每轮次训练中数据的动态数据量，也同时考虑到了数据中标签的动态数量，以使拥有更多标签类别的数据上训练得到的模型会具备更好的泛化能力；且本方案进一步构建了准确率权重参数，使准确率高的模型在聚合过程中拥有更高的权重；并进一步基于所述数据权重参数和准确率权重参数计算每个计算模型的合并权重参数，综合考虑了计算模型各方面的能力，再计算合并参数矩阵，更新每个客户端的计算模型，本方案考虑到了客户端对服务端各方面的贡献度随着训练轮次动态变化的情况，提高联邦学习的整体训练效果，进而提高数据分类效果。
在本发明的一些实施方式中，在所述服务器端基于每个客户端当前训练数据的数量计算每个客户端的数据权重参数的步骤中，基于每个客户端当前训练数据的数量和训练数据中标签的类别的数量计算每个客户端的数据权重参数；
在基于每个计算模型的准确率计算每个计算模型的准确率权重参数的步骤中，通过测试数据集测试当前每个客户端的计算模型的准确率，基于每个计算模型的准确率计算每个计算模型的准确率权重参数。
在本发明的一些实施方式中，在基于每个客户端当前训练数据的数量和训练数据中标签的类别的数量计算每个客户端的数据权重参数的步骤中，根据如下公式计算每个客户端的数据权重参数：
其中，表示第k个客户端的数据权重参数，δ表示客户端的总数量，/>表示第k个客户端当前训练数据的数量，/>表示第k个客户端的训练数据中标签的类别的数量。
在本发明的一些实施方式中，在通过测试数据集测试当前每个客户端的计算模型的准确率，基于每个计算模型的准确率计算每个计算模型的准确率权重参数的步骤中，根据如下公式计算每个计算模型的准确率权重参数：
其中，表示第k个客户端的计算模型在第t轮通信中的准确率权重参数，δ表示客户端的总数量，/>表示第k个客户端的计算模型在第t轮通信中的测试得到的准确率。
在本发明的一些实施方式中，在所述服务器端将所述数据权重参数和准确率权重参数合并为计算模型的合并权重参数的步骤中，根据如下公式计算合并权重参数：
；
其中，表示第k个客户端的计算模型在第t轮通信中的合并权重参数，/>表示第k个客户端的数据权重参数，/>表示第k个客户端的计算模型在第t轮通信中的准确率权重参数，δ表示客户端的总数量，e表示自然常数。
在本发明的一些实施方式中，在基于全部计算模型的合并权重参数和第一参数矩阵计算合并参数矩阵的步骤中，根据如下公式计算合并参数矩阵：
表示第k个客户端在第t轮通信时上传给服务器端的第一参数矩阵，/>表示第k个客户端的计算模型在第t轮通信中的合并权重参数，δ表示客户端的总数量，/>表示第t轮通信的合并参数矩阵。
在本发明的一些实施方式中，每个所述客户端的计算模型均为相同结构，所述客户端的计算模型包括顺序设置的两层图注意力层和分类层。
在本发明的一些实施方式中，所述客户端的计算模型均采用注意力模型。
在本发明的一些实施方式中，在每个客户端对该客户端中的计算模型进行本地训练的步骤包括，获取预设的训练数据，基于计算模型的输出结果和训练数据中的数据标签计算损失函数，基于损失函数值更新计算模型的模型参数。
本发明的第二方面还提供一种基于联邦学习的节点数据分类系统，所述系统基于分布式架构，所述分布式架构包括服务端和与服务器端相连接的多个客户端，所述系统包括：
本地训练模块，用于在每个客户端对该客户端中的计算模型进行本地训练，获取本地训练后每个客户端的计算模型的模型参数，并构建为第一参数矩阵；
权重参数计算模块，用于在所述服务器端基于每个客户端当前训练数据的数量计算每个客户端的数据权重参数，基于每个计算模型的准确率计算每个计算模型的准确率权重参数；
参数矩阵计算模块，用于在所述服务器端将所述数据权重参数和准确率权重参数合并为计算模型的合并权重参数，基于全部计算模型的合并权重参数和第一参数矩阵计算合并参数矩阵；
模型更新模块，用于基于所述合并参数矩阵更新每个客户端的计算模型；
数据分类模块，基于更新后的计算模型进行节点数据分类。
本发明的第三方面还提供一种基于联邦学习的节点数据分类装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现上述方法所实现的步骤。
本发明的第四方面还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于联邦学习的节点数据分类方法所实现的步骤。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1为本发明基于联邦学习的节点数据分类方法一种实施方式的示意图；
图2为本发明基于联邦学习的节点数据分类方法另一种实施方式的示意图。
具体实施方式
现有技术介绍
第一部分：
一种用于学习网络中节点的连续特征表示的算法，学习节点到低维特征空间的映射，该映射最大限度地提高了保留节点网络邻域的可能性。
一种模块化非负矩阵分解模型，将社区结构纳入网络表示，利用节点表示和社区结构之间的一致性关系，使得学习到的节点表示能够保留微观和社区结构。然而，浅层神经表示模型的缺点是当游走长度接近无限时，性能表现不如基于矩阵分解的模型，计算时间较长.基于矩阵分解的模型由于矩阵本身是稠密的，如果要保留高阶顶点邻近性和结构信息，则计算时间会非常长。
一种语义感知的异构网络表示模型，对异构SkipGram模型和深度语义编码进行联合优化，以捕获网络中存在的所有节点之间的异构结构紧密性和非结构化语义关系，作为节点内容的函数，SkipGram模型是自然语言处理中的一种模型，用于将单词映射到高维空间中的向量表示。语义感知的异构网络表示模型旨在捕获单词之间的语义关系。
通过相应的优化策略和训练算法进行有效地学习节点表示。引入了基于多视图注意的成对递归神经网络进行异构信息网络表示学习，能够将异构网络表示学习和成对相似性学习结合到一个框架.除了属性和结构信息外，递归神经网络通过元路径利用语义信息，以归纳的方式生成节点表示，采用了语义级注意力机制来融合多个基于元路径的表示。
一种具有交互层次注意的神经框架，通过聚合异质上下文来识别行为的意图。将基于文本的本地上下文、邻居上下文和引用内容转换为表示，借助生成的内容学习网络上下文和作者的表示。通过应用局部注意力机制，从每种类型的基于文本的上下文表示中发现与意图相对应的重要部分，并借助分层注意力层将局部注意力的交互上下文正确地配对为联合全局注意力。
基于图神经网络的表示模型能够有效地对结构数据和关系数据进行建模，在信息网络表示任务中得到了快速发展。针对信息网络中终身合作者等特殊关系的预测，存在一种图神经网络表示方法，通过从文本信息中创建学者的研究兴趣向量，如人口统计、研究和影响力，将研究兴趣与协作网络联系起来，利用图神经网络并结合四种类型的学者属性来获得学者的向量表示。通过向量表示来衡量两位学者之间的相似性，解决了网络表示和学术关系挖掘的问题。
一种引文网络表示学习框架，基于属性引文网络表示学习创建论文评级矩阵，其中属性是从论文文本信息中提取的主题。利用属性协作网络的学习来改进最近邻居的选择。与上下文感知网络模型相比，通过网络表示学习，能够充分利用整个引文网络拓扑。
一种神经引文网络的灵活编码器和解码器架构，利用作者关系来表征引文上下文和相应引文标题的语义。编码器利用了最大时延神经网络的计算优势，而解码器利用了作者网络和传统机制影响的递归神经网络力。
一种基于网络表示学习的模型，以协作学术信息网络为输入，以确定的导师和学生关系为输出。不仅考虑了网络结构，还考虑了节点和边的语义信息，通过将节点和边分别编码为低维向量，利用这两个向量来识别导师-学生关系。
第一部分的现有方法中假设数据是公有且共享的。在现实场景中，信息网络数据以多个子网络的形式分布在不同数据持有者，且出于隐私保护的考量，数据不能直接提供给第三方进行训练。随着用户隐私意识渐强，传统的将数据收集至中央服务器进行训练的方法面临着隐私泄露的风险。
第二部分：
联邦学习在基于数据不出本地的前提下，通过在本地客户端上训练模型，再将模型参数或梯度更新聚合到中央服务器上，从而实现在保护用户隐私的前提下进行机器学习引入了联邦平均算法让多个参与者在不共享数据的情况下进行模型训练。通过轮流地在参与者之间传递模型参数来进行训练，对每个参与者进行本地更新。中央服务器将本地更新的模型参数进行加权平均以获得全局模型参数。该算法的优点是能够保护用户隐私，对不平衡和非独立同分布数据具有鲁棒性，可以将在去中心化数据上训练深度网络所需的通信次数减少几个数量级。
一种联邦优化算法，解决在面对节点数据分布不均衡时可能遇到的异构性挑战。通过在目标函数中添加一个正则化项，从而提高全局模型的泛化性能。引入一个超参数来平衡本地训练和全局聚合的权重，提高了联邦学习的效率。
一种在联邦学习中引入自适应性的框架，使用客户端优化器执行多个时期的训练的方法。在不增加客户端存储或通信成本的情况下使用自适应学习率，并确保与跨设备联邦学习的兼容性。
一种联邦学习归一化平均方法，解决传统联邦学习中的非凸优化问题和数据不平衡问题，使用了一种自适应联邦正则化的技术，通过适应性地调整每个客户端模型的正则化参数，使全局模型更加平衡和鲁棒，可以降低客户端之间的差异性。
第二部分的现有联邦学习方法按照不同客户端数据量的比例进行模型聚合，忽略了客户端对服务端的贡献度，导致联邦学习的整体训练效果受限。
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
为解决以上问题，如图1所示，本发明提出一种基于联邦学习的节点数据分类方法，所述方法的联邦学习基于分布式架构，所述分布式架构包括服务端和与服务器端相连接的多个客户端，所述方法的步骤包括：
步骤S100，在每个客户端对该客户端中的计算模型进行本地训练，获取本地训练后每个客户端的计算模型的模型参数，并构建为第一参数矩阵；
在具体实施过程中，在本地训练的过程中，获取包括训练数据的训练数据集，每条训练数据设置有数据标签，基于每条训练数据的数据标签及计算模型对于该条训练数据的输出结果计算损失函数，基于损失函数值更新计算模型。
在具体实施过程中，每个计算模型所对应的所述第一参数矩阵中的矩阵参数即为该计算模型中的模型参数。
步骤S200，在所述服务器端基于每个客户端当前训练数据的数量计算每个客户端的数据权重参数，基于每个计算模型的准确率计算每个计算模型的准确率权重参数；
在具体实施过程中，所述每个客户端当前训练数据的数量包括每个客户端当前训练数据的数量和训练数据中标签的类别的数量。
步骤S300，在所述服务器端将所述数据权重参数和准确率权重参数合并为计算模型的合并权重参数，基于全部计算模型的合并权重参数和第一参数矩阵计算合并参数矩阵；
在具体实施过程中，所述合并参数矩阵中的矩阵参数与计算模型的模型参数一一对应。
步骤S400，基于所述合并参数矩阵更新每个客户端的计算模型；
在具体实施过程中，将所述合并参数矩阵中的矩阵参数对应计算模型的模型参数进行更新。
步骤S500，基于更新后的计算模型进行节点数据分类。
在具体实施过程中，在基于更新后的计算模型进行节点数据分类，待分类的节点数据可以为文档数据，具体可以为，将所述文档数据的各个部分作为文档特征进行编码，所述文档特征包括文档标题，文档摘要和文档引用目录，将编码后的全部文档特征构建为输入向量，将所述输入向量输入到更新后的计算模型中，所述计算模型包括分类层，所述分类层用于输出分类结果，所述分类层可以采用softmax分类器。
在具体实施过程中，在联邦学习的过程中，包括多轮通信的模型训练，每轮模型训练的步骤均执行步骤S100至步骤S500的步骤。
采用上述方案，本方案首先构建了数据权重参数，所述数据权重参数的计算过程中，不但考虑到了数据的数据量，也同时考虑到了数据中标签的数量，以使拥有更多标签类别的数据上训练得到的模型会具备更好的泛化能力；且本方案进一步构建了准确率权重参数，使准确率高的模型在聚合过程中拥有更高的权重；并进一步基于所述数据权重参数和准确率权重参数计算每个计算模型的合并权重参数，综合考虑了计算模型各方面的能力，再计算合并参数矩阵，更新每个客户端的计算模型，本方案考虑到了客户端对服务端各方面的贡献度随着训练轮次动态变化的情况，提高联邦学习的整体训练效果，进而提高数据分类效果。
联邦机器学习(Federated machine learning/Federated Learning)，又名联邦学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。
如图2所示，在本发明的一些实施方式中，在所述服务器端基于每个客户端当前训练数据的数量计算每个客户端的数据权重参数的步骤中还包括，步骤S210，基于每个客户端当前训练数据的数量和训练数据中标签的类别的数量计算每个客户端的数据权重参数；
在基于每个计算模型的准确率计算每个计算模型的准确率权重参数的步骤中还包括，步骤S220，通过测试数据集测试当前每个客户端的计算模型的准确率，基于每个计算模型的准确率计算每个计算模型的准确率权重参数。
采用上述方案，本方案考虑到在更多的数据上以及在拥有更多标签类别的数据上训练得到的模型会具备更好的泛化能力，因此给予本地数据量较多和本地标签类别较多的客户端以更高的权重，本方案不仅仅考虑到了数据的数量，且从另一个维度考虑到了数据的标签类型数量，更多的标签类型对应更多的数据类别，且在不同轮次的训练中考虑到了每轮次数据数量的变化，在每轮训练中均基于当前轮次的数据情况动态的设置权重参数，从另一个角度考虑到了计算模型训练的全面性。
在本发明的一些实施方式中，在基于每个客户端当前训练数据的数量和训练数据中标签的类别的数量计算每个客户端的数据权重参数的步骤中，根据如下公式计算每个客户端的数据权重参数：
其中，表示第k个客户端的数据权重参数，δ表示客户端的总数量，/>表示第k个客户端当前训练数据的数量，/>表示第k个客户端的训练数据中标签的类别的数量。
在本发明的一些实施方式中，在通过测试数据集测试当前每个客户端的计算模型的准确率，基于每个计算模型的准确率计算每个计算模型的准确率权重参数的步骤中，根据如下公式计算每个计算模型的准确率权重参数：
其中，表示第k个客户端的计算模型在第t轮通信中的准确率权重参数，δ表示客户端的总数量，/>表示第k个客户端的计算模型在第t轮通信中的测试得到的准确率。
采用上述方案，根据数据量和标签类别数量进行参数的加权聚合，默认每轮通信中客户端k对于整体模型的贡献度是静态不变的，导致忽略了实际场景中在不同轮次的通信时，多方客户端对于服务器端贡献度的动态变化；因此，服务器端分别通过结合客户端k上传的参数，评估在第t轮通信中客户端k上模型的验证准确率/>，并自适应地考虑第k个客户端的权重与第t轮通信中模型的验证准确率成正比。
在本发明的一些实施方式中，在所述服务器端将所述数据权重参数和准确率权重参数合并为计算模型的合并权重参数的步骤中，根据如下公式计算合并权重参数：
其中，表示第k个客户端的计算模型在第t轮通信中的合并权重参数，/>表示第k个客户端的数据权重参数，/>表示第k个客户端的计算模型在第t轮通信中的准确率权重参数，δ表示客户端的总数量，e表示自然常数。
在本发明的一些实施方式中，在基于全部计算模型的合并权重参数和第一参数矩阵计算合并参数矩阵的步骤中，根据如下公式计算合并参数矩阵：
表示第k个客户端在第t轮通信时上传给服务器端的第一参数矩阵，/>表示第k个客户端的计算模型在第t轮通信中的合并权重参数，δ表示客户端的总数量，/>表示第t轮通信的合并参数矩阵。
采用上述方案，在联邦学习中，多方客户端保证在数据不出本地的前提下，在每一轮的通信中使用本地数据集进行模型训练，得到模型参数或模型梯度，并通过传递模型参数或模型梯度到服务器，协同地训练一个共享的模型，多方传递给服务器的参数进行加权聚合，得到服务器端的模型参数。
在具体实施过程中，在第t个通信轮次中，客户端并行地通过全局模型参数更新本地模型参数，并上传给服务端进行自适应地联邦模型聚合，服务端将聚合后的模型参数广播给客户端，进行下一轮的训练。
在本发明的一些实施方式中，每个所述客户端的计算模型均为相同结构，所述客户端的计算模型包括顺序设置的两层图注意力层和分类层。
在本发明的一些实施方式中，所述客户端的计算模型均采用注意力模型。
在本发明的一些实施方式中，在每个客户端对该客户端中的计算模型进行本地训练的步骤包括，获取预设的训练数据，基于计算模型的输出结果和训练数据中的数据标签计算损失函数，基于损失函数值更新计算模型的模型参数。
在具体实施过程中，现实场景中的信息网络通常以子网络的形式分散在多个数据持有方，存在数据孤岛现象。
本发明依据网络中邻居节点重要性学习节点表示并自适应地进行联邦模型聚合，在每个客户端的信息子网络中，借助图注意力网络的自注意力机制，捕捉每个节点的邻居对节点影响的重要性，通过有效邻居节点聚合实现更好地学习节点表示，通过设计一种自适应的联邦模型聚合机制，在不同通信轮次中动态评估不同客户端对服务端的贡献度，依据贡献度进行自适应联邦模型聚合。
本发明研究了信息网络在数据孤岛现象下面临的挑战和亟需解决的问题；将联邦学习和图注意力网络相结合，在考虑邻居节点重要性的同时，进行自适应的联邦模型聚合，解决数据孤岛难题。
本发明实施例还提供一种基于联邦学习的节点数据分类系统，所述系统基于分布式架构，所述分布式架构包括服务端和与服务器端相连接的多个客户端，所述系统包括：
本地训练模块，用于在每个客户端对该客户端中的计算模型进行本地训练，获取本地训练后每个客户端的计算模型的模型参数，并构建为第一参数矩阵；
权重参数计算模块，用于在所述服务器端基于每个客户端当前训练数据的数量计算每个客户端的数据权重参数，基于每个计算模型的准确率计算每个计算模型的准确率权重参数；
参数矩阵计算模块，用于在所述服务器端将所述数据权重参数和准确率权重参数合并为计算模型的合并权重参数，基于全部计算模型的合并权重参数和第一参数矩阵计算合并参数矩阵；
模型更新模块，用于基于所述合并参数矩阵更新每个客户端的计算模型；
数据分类模块，基于更新后的计算模型进行节点数据分类。
本发明实施例还提供一种基于联邦学习的节点数据分类装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现上述方法所实现的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于联邦学习的节点数据分类方法所实现的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于联邦学习的节点数据分类方法，其特征在于，所述方法的联邦学习基于分布式架构，所述分布式架构包括服务端和与服务器端相连接的多个客户端，所述方法的步骤包括：
在每个客户端对该客户端中的计算模型进行本地训练，获取本地训练后每个客户端的计算模型的模型参数，并构建为第一参数矩阵；
在所述服务器端基于每个客户端当前训练数据的数量计算每个客户端的数据权重参数，基于每个计算模型的准确率计算每个计算模型的准确率权重参数；
在所述服务器端将所述数据权重参数和准确率权重参数合并为计算模型的合并权重参数，基于全部计算模型的合并权重参数和第一参数矩阵计算合并参数矩阵；
基于所述合并参数矩阵更新每个客户端的计算模型；
基于更新后的计算模型进行节点数据分类。
2.根据权利要求1所述的基于联邦学习的节点数据分类方法，其特征在于，在所述服务器端基于每个客户端当前训练数据的数量计算每个客户端的数据权重参数的步骤中，基于每个客户端当前训练数据的数量和训练数据中标签的类别的数量计算每个客户端的数据权重参数；
在基于每个计算模型的准确率计算每个计算模型的准确率权重参数的步骤中，通过测试数据集测试当前每个客户端的计算模型的准确率，基于每个计算模型的准确率计算每个计算模型的准确率权重参数。
3.根据权利要求2所述的基于联邦学习的节点数据分类方法，其特征在于，在基于每个客户端当前训练数据的数量和训练数据中标签的类别的数量计算每个客户端的数据权重参数的步骤中，根据如下公式计算每个客户端的数据权重参数：
其中，表示第k个客户端的数据权重参数，δ表示客户端的总数量，/>表示第k个客户端当前训练数据的数量，/>表示第k个客户端的训练数据中标签的类别的数量。
4.根据权利要求2所述的基于联邦学习的节点数据分类方法，其特征在于，在通过测试数据集测试当前每个客户端的计算模型的准确率，基于每个计算模型的准确率计算每个计算模型的准确率权重参数的步骤中，根据如下公式计算每个计算模型的准确率权重参数：
其中，表示第k个客户端的计算模型在第t轮通信中的准确率权重参数，δ表示客户端的总数量，/>表示第k个客户端的计算模型在第t轮通信中的测试得到的准确率。
5.根据权利要求1所述的基于联邦学习的节点数据分类方法，其特征在于，在所述服务器端将所述数据权重参数和准确率权重参数合并为计算模型的合并权重参数的步骤中，根据如下公式计算合并权重参数：
其中，表示第k个客户端的计算模型在第t轮通信中的合并权重参数，/>表示第k个客户端的数据权重参数，/>表示第k个客户端的计算模型在第t轮通信中的准确率权重参数，δ表示客户端的总数量，e表示自然常数。
6.根据权利要求1所述的基于联邦学习的节点数据分类方法，其特征在于，在基于全部计算模型的合并权重参数和第一参数矩阵计算合并参数矩阵的步骤中，根据如下公式计算合并参数矩阵：
表示第k个客户端在第t轮通信时上传给服务器端的第一参数矩阵，/>表示第k个客户端的计算模型在第t轮通信中的合并权重参数，δ表示客户端的总数量，/>表示第t轮通信的合并参数矩阵。
7.根据权利要求1-6任一项所述的基于联邦学习的节点数据分类方法，其特征在于，每个所述客户端的计算模型均为相同结构，所述客户端的计算模型包括顺序设置的两层图注意力层和分类层。
8.根据权利要求1-6任一项所述的基于联邦学习的节点数据分类方法，其特征在于，所述客户端的计算模型均采用注意力模型。
9.根据权利要求1所述的基于联邦学习的节点数据分类方法，其特征在于，在每个客户端对该客户端中的计算模型进行本地训练的步骤包括，获取预设的训练数据，基于计算模型的输出结果和训练数据中的数据标签计算损失函数，基于损失函数值更新计算模型的模型参数。
10.一种基于联邦学习的节点数据分类系统，其特征在于，所述系统基于分布式架构，所述分布式架构包括服务端和与服务器端相连接的多个客户端，所述系统包括：
本地训练模块，用于在每个客户端对该客户端中的计算模型进行本地训练，获取本地训练后每个客户端的计算模型的模型参数，并构建为第一参数矩阵；
权重参数计算模块，用于在所述服务器端基于每个客户端当前训练数据的数量计算每个客户端的数据权重参数，基于每个计算模型的准确率计算每个计算模型的准确率权重参数；
参数矩阵计算模块，用于在所述服务器端将所述数据权重参数和准确率权重参数合并为计算模型的合并权重参数，基于全部计算模型的合并权重参数和第一参数矩阵计算合并参数矩阵；
模型更新模块，用于基于所述合并参数矩阵更新每个客户端的计算模型；
数据分类模块，基于更新后的计算模型进行节点数据分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310818466.1A CN116541769A (zh) | 2023-07-05 | 2023-07-05 | 一种基于联邦学习的节点数据分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310818466.1A CN116541769A (zh) | 2023-07-05 | 2023-07-05 | 一种基于联邦学习的节点数据分类方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116541769A true CN116541769A (zh) | 2023-08-04 |
Family
ID=87456356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310818466.1A Pending CN116541769A (zh) | 2023-07-05 | 2023-07-05 | 一种基于联邦学习的节点数据分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116541769A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378474A (zh) * | 2021-06-28 | 2021-09-10 | 华南理工大学 | 一种基于贡献量的联邦学习客户机选择方法、系统及介质 |
| WO2021179720A1 (zh) * | 2020-10-12 | 2021-09-16 | 平安科技（深圳）有限公司 | 基于联邦学习的用户数据分类方法、装置、设备及介质 |
| WO2021189974A1 (zh) * | 2020-10-21 | 2021-09-30 | 平安科技（深圳）有限公司 | 模型训练方法、文本分类方法、装置、计算机设备和介质 |
| CN113962314A (zh) * | 2021-10-27 | 2022-01-21 | 南京富尔登科技发展有限公司 | 一种基于联邦学习的非侵入式企业负荷分解方法 |
| CN114168988A (zh) * | 2021-12-16 | 2022-03-11 | 大连理工大学 | 一种联邦学习模型聚合方法及电子装置 |
| CN114186237A (zh) * | 2021-10-26 | 2022-03-15 | 北京理工大学 | 一种基于真值发现的鲁棒性联邦学习模型聚合方法 |
| CN114398634A (zh) * | 2022-01-18 | 2022-04-26 | 北京工业大学 | 一种基于信息熵的联邦学习参与方权重计算方法 |
| CN115329885A (zh) * | 2022-08-23 | 2022-11-11 | 浙江工业大学 | 一种基于隐私保护的个性化联邦学习方法和装置 |
| CN115495771A (zh) * | 2022-07-06 | 2022-12-20 | 中国科学院计算技术研究所 | 基于自适应调整权重的数据隐私保护方法及系统 |
| CN115577797A (zh) * | 2022-10-18 | 2023-01-06 | 东南大学 | 一种基于本地噪声感知的联邦学习优化方法及系统 |
| CN115983409A (zh) * | 2022-11-11 | 2023-04-18 | 北京大学 | 基于差分隐私的联邦学习训练方法、装置、系统及设备 |
-
2023
- 2023-07-05 CN CN202310818466.1A patent/CN116541769A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021179720A1 (zh) * | 2020-10-12 | 2021-09-16 | 平安科技（深圳）有限公司 | 基于联邦学习的用户数据分类方法、装置、设备及介质 |
| WO2021189974A1 (zh) * | 2020-10-21 | 2021-09-30 | 平安科技（深圳）有限公司 | 模型训练方法、文本分类方法、装置、计算机设备和介质 |
| CN113378474A (zh) * | 2021-06-28 | 2021-09-10 | 华南理工大学 | 一种基于贡献量的联邦学习客户机选择方法、系统及介质 |
| CN114186237A (zh) * | 2021-10-26 | 2022-03-15 | 北京理工大学 | 一种基于真值发现的鲁棒性联邦学习模型聚合方法 |
| CN113962314A (zh) * | 2021-10-27 | 2022-01-21 | 南京富尔登科技发展有限公司 | 一种基于联邦学习的非侵入式企业负荷分解方法 |
| CN114168988A (zh) * | 2021-12-16 | 2022-03-11 | 大连理工大学 | 一种联邦学习模型聚合方法及电子装置 |
| CN114398634A (zh) * | 2022-01-18 | 2022-04-26 | 北京工业大学 | 一种基于信息熵的联邦学习参与方权重计算方法 |
| CN115495771A (zh) * | 2022-07-06 | 2022-12-20 | 中国科学院计算技术研究所 | 基于自适应调整权重的数据隐私保护方法及系统 |
| CN115329885A (zh) * | 2022-08-23 | 2022-11-11 | 浙江工业大学 | 一种基于隐私保护的个性化联邦学习方法和装置 |
| CN115577797A (zh) * | 2022-10-18 | 2023-01-06 | 东南大学 | 一种基于本地噪声感知的联邦学习优化方法及系统 |
| CN115983409A (zh) * | 2022-11-11 | 2023-04-18 | 北京大学 | 基于差分隐私的联邦学习训练方法、装置、系统及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 舒志鸿: ""基于边缘计算的联邦学习方法的研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 18 - 46 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yin et al. | QoS prediction for service recommendation with features learning in mobile edge computing environment | |
| Raj et al. | An enhanced trust prediction strategy for online social networks using probabilistic reputation features | |
| Qi et al. | Model aggregation techniques in federated learning: A comprehensive survey | |
| CN111932386A (zh) | 用户账号确定方法及装置、信息推送方法及装置、电子设备 | |
| CN112231570A (zh) | 推荐系统托攻击检测方法、装置、设备及存储介质 | |
| Chen et al. | A temporal recommendation mechanism based on signed network of user interest changes | |
| Derr et al. | Link and interaction polarity predictions in signed networks | |
| Yin et al. | An efficient recommendation algorithm based on heterogeneous information network | |
| CN114692007A (zh) | 表示信息的确定方法、装置、设备及存储介质 | |
| Qin et al. | [Retracted] Evaluation of College Students’ Ideological and Political Education Management Based on Wireless Network and Artificial Intelligence with Big Data Technology | |
| Bai et al. | A multi-task attention tree neural net for stance classification and rumor veracity detection | |
| Geng et al. | Applying the blockchain-based deep reinforcement consensus algorithm to the intelligent manufacturing model under internet of things | |
| Luo et al. | Privacy-preserving clustering federated learning for non-IID data | |
| Ma et al. | Social account linking via weighted bipartite graph matching | |
| Chen et al. | Based on Optimization Research on the Evaluation System of English Teaching Quality Based on GA‐BPNN Algorithm | |
| Chu et al. | [Retracted] Optimal Allocation of Higher Education Resources Based on Data Mining and Cloud Computing | |
| Sunitha et al. | Political optimizer-based automated machine learning for skin lesion data | |
| CN116307078A (zh) | 账户标签预测方法、装置、存储介质及电子设备 | |
| CN116150352A (zh) | 群体划分方法及相关装置 | |
| CN116541769A (zh) | 一种基于联邦学习的节点数据分类方法及系统 | |
| Sui et al. | Multi-level membership inference attacks in federated Learning based on active GAN | |
| Ma et al. | [Retracted] The Construction of Big Data Computational Intelligence System for E‐Government in Cloud Computing Environment and Its Development Impact | |
| Zeng | Application of conditional random field model based on machine learning in online and offline integrated educational resource recommendation | |
| Abadeh et al. | A differential machine learning approach for trust prediction in signed social networks | |
| CN115248894A (zh) | 一种信息推荐方法、装置和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230804 |
|
| RJ01 | Rejection of invention patent application after publication |