CN117171628B - 异构联邦环境中的图结构数据节点分类方法和装置 - Google Patents
异构联邦环境中的图结构数据节点分类方法和装置 Download PDFInfo
- Publication number
- CN117171628B CN117171628B CN202311438185.XA CN202311438185A CN117171628B CN 117171628 B CN117171628 B CN 117171628B CN 202311438185 A CN202311438185 A CN 202311438185A CN 117171628 B CN117171628 B CN 117171628B
- Authority
- CN
- China
- Prior art keywords
- client
- local
- model parameters
- graph
- structure data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000547 structure data Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000005070 sampling Methods 0.000 claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000009826 distribution Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 238000003860 storage Methods 0.000 claims abstract description 14
- 230000002776 aggregation Effects 0.000 claims abstract description 13
- 238000004220 aggregation Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims description 56
- 230000007774 longterm Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000003672 processing method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000002759 z-score normalization Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000689227 Cora <basidiomycete fungus> Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种异构联邦环境中的图结构数据节点分类方法和装置。所述方法包括：随机从所有客户端中选择一组客户端子集参与迭代，客户端基于本地子图上图结构数据节点的采样概率采样得到节点子集，对客户端上的局部模型进行训练，得到局部模型参数；对每轮客户端子集的局部模型参数进行平均聚合，得到更新的全局模型参数直至更新的全局模型参数对应的全局模型在符合所有客户端本地子图的全局图分布测试集上的节点分类准确率达到预设阈值。采用本方法能够解决现有技术中图结构数据的场景下联邦学习效率低的问题，有效抑制图联邦学习中每个局部模型的偏移程度，降低局部模型训练的存储和计算成本，提高了图结构数据节点分类的准确率。
Description
技术领域
本申请涉及图联邦学习技术领域，特别是涉及一种异构联邦环境中的图结构数据节点分类方法和装置。
背景技术
联邦学习是一种分布式学习方案，它使参与方能够在不共享私人数据的条件下共同协作训练机器学习模型。目前联邦学习在图像、自然语言处理等领域扩展出了许多研究。在这些领域中，数据一般具有规则的结构，如图像、文字、视频数据。然而现实生活中还包含许多不规则的非欧几里德空间的图数据，图关系数据处理时还需要考虑拓扑结构，导致对模型的训练更复杂。另外在联邦学习场景中，客户端通常拥有全局图的一个子图。由于子图存在缺失边问题，联邦学习场景中图表学习更加困难。因此，如何将联邦学习框架应用在图数据的场景下并对其进行优化是有待解决的问题。
目前，图联邦的学习与优化存在两大挑战，第一是客户端之间的数据异构性。数据异构性问题在传统联邦学习中同样存在。在现实世界中，不同客户端的本地数据集通常是非独立同分布的，即数据具有异构性。由于局部数据分布的异构性，在联邦学习的本地训练阶段，具有相同初始模型参数的不同局部模型的收敛方向之间存在差异。并且随着联邦学习的轮次迭代，中央服务器聚合更新得到的全局模型会逐渐偏离独立同分布情况下的全局模型。最终，有偏差的全局模型会导致联邦学习的精度下降，学习性能恶化。第二是在子图上的模型收敛问题。为了挖掘图的结构信息，图卷积神经网络需要对目标节点的相邻节点的特征信息进行聚合。对于具有结构化数据的图联邦学习，其中每个客户端拥有全局图的一个子图。局部节点的邻居节点可能分布在其他客户端的子图上，而在局部训练阶段无法访问其他客户端上的邻居节点信息。无视这部分信息会导致节点表示不足，降低了模型训练精度。而共享特征信息则会带来隐私泄露风险以及庞大的通信开销。而训练大规模图的图神经网络时会面临“邻居爆炸”问题，当图的规模太大时，需要很高的计算和存储要求。并且在图卷积神经网络中，随着卷积层的增加会出现过度平滑问题。过度平滑问题是指反复应用拉普拉斯平滑可能会混合不同聚类的顶点特征，导致节点之间的差异逐渐减小。因此，如何提高图联邦学习的模型准确率，同时提高训练效率，是亟需解决的问题。
将标准的FedAvg框架直接应用在图神经网络上会因为以上两个主要因素而造成模型精度下降。在现有的图联邦学习优化方法中，大多数工作专注于解决客户端之间的缺失边问题引起的模型精度缺陷。一部分的工作试图通过传递节点邻居特征信息来帮助局部模型学习。他们假设原始全局图结构是已知的，利用全局邻接矩阵直接获取位于其他客户端的邻居节点的信息，使用中间结果传输的方式，完善计算节点嵌入。但这种方法需要预先知道原始图的结构信息，在现实中难以实现。此外，每次传递中间结果的过程中也带来的极大的通信成本及隐私泄露风险。另外的一些研究则专注设计缺失邻居生成算法，来重建局部节点分布在其他客户端子图中的邻居特征。但是，当客户端数据为非独立同分布时，不同客户端的图结构和节点特征之间存在很大的差异，客户端之间共享的缺失邻居生成器可能无法正确生成符合分布的邻居特征。
发明内容
基于此，有必要针对上述技术问题，提供一种能够减少非独立同分布数据对图联邦学习的消极影响、减小客户端局部训练时的计算和内存成本、提高图结构数据节点分类精度的异构联邦环境中的图结构数据节点分类方法和装置。
第一方面，本申请提供了一种异构联邦环境中的图结构数据节点分类方法，所述方法包括：
初始化全局模型的全局模型参数，在迭代前将所述全局模型参数发送至所有客户端；
在每轮迭代中，从所述所有客户端中随机选择一组客户端子集参与迭代，并在每轮迭代后收集所述客户端子集中各所述客户端的局部模型参数，其中，所述客户端基于本地子图上各图结构数据节点的采样概率，采样得到对应的节点子集，并基于所述节点子集对所述客户端上的局部模型进行训练，得到局部模型参数；
对每轮迭代后所述客户端子集中各客户端的局部模型参数进行平均聚合，得到更新的全局模型参数，并将所述更新的全局模型参数作为下一轮迭代的局部模型的初始模型参数直至所述更新的全局模型参数对应的全局模型在符合所有客户端本地子图的全局图分布测试集上的节点分类准确率达到预设阈值。
在其中一个实施例中，所述基于本地子图上各图结构数据节点的采样概率，采样得到对应的节点子集包括：
计算各所述客户端上本地子图的各所述图结构数据节点的度，并利用归一化对各所述图结构数据节点的度进行重新缩放，得到缩放后图结构数据节点的度；
利用softmax函数计算各所述客户端上各所述缩放后图结构数据节点的度的采样概率；
根据所述采样概率对各所述客户端上的图结构数据节点进行采样，得到各所述客户端对应的各所述节点子集。
在其中一个实施例中，所述根据所述采样概率对各所述客户端上的图结构数据节点进行采样，得到各所述客户端对应的各所述节点子集包括：
获取各所述客户端的最低采样比例、当前迭代轮数以及总迭代轮数，计算当前迭代轮次中各所述客户端的本地采样比例；
基于各所述本地采样比例以及各所述采样概率对各所述客户端中的图结构数据节点进行采样，得到各所述客户端对应的各所述节点子集。
在其中一个实施例中，各所述客户端上本地子图的图结构数据节点互不重叠，基于所有客户端上本地子图的图结构数据节点，构造所述符合所有客户端本地子图的全局图分布测试集。
在其中一个实施例中，所述局部模型为图卷积神经网络，所述基于所述节点子集对所述局部模型进行训练，得到局部模型参数包括：
每轮迭代中将各所述节点子集分别输入各所述客户端的图卷积神经网络中，根据所述图卷积神经网络的卷积深度、各层卷积的权重参数、各层卷积内各所述图结构数据节点的邻接点的节点特征、各所述图结构数据节点的邻接矩阵，输出各所述节点子集中图结构数据节点的分类结果，得到更新的局部模型参数。
在其中一个实施例中，所述方法还包括：
基于所述图结构数据节点的分类结果，利用交叉熵损失函数计算所述客户端子集中各所述客户端图卷积神经网络的监督学习损失值；
基于所述客户端子集中各所述客户端在每轮迭代中的所述局部模型参数和上一轮迭代的全局模型参数，计算各所述图卷积神经网络的短期限制项损失值；
基于所述客户端子集中各所述客户端在每轮迭代中的所述局部模型参数和初始化的全局模型参数，计算各所述图卷积神经网络的长期限制项损失值；
基于所述监督学习损失值、所述短期限制项损失值和所述长期限制项损失值，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差。
在其中一个实施例中，所述基于所述监督学习损失值、所述短期限制项损失值和所述长期限制项损失值，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差包括：
基于所述监督学习损失值、所述短期限制项损失值和所述长期限制项损失值，利用以下公式，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差：
，
其中，为监督学习损失值，/>为所述短期限制项损失值，/>为所述长期限制项损失值，Fk为所述节点分类偏差。
第二方面，本申请还提供了一种异构联邦环境中的图结构数据节点分类装置。所述装置包括：
参数初始化模块，用于初始化全局模型的全局模型参数，在迭代前将所述全局模型参数发送至所有客户端；
局部参数获取模块，用于在每轮迭代中，从所有客户端中随机选择一组客户端子集参与迭代，并在每轮迭代后收集所述客户端子集中各客户端的局部模型参数，其中，所述客户端基于本地子图上各图结构数据节点的采样概率，采样得到对应的节点子集，并基于所述节点子集对所述客户端上的局部模型进行训练，得到局部模型参数；
节点分类迭代模块，用于对每轮迭代后所述客户端子集中各客户端的局部模型参数进行平均聚合，得到更新的全局模型参数，并将所述更新的全局模型参数作为下一轮迭代的局部模型的初始模型参数直至所述更新的全局模型参数对应的全局模型在符合所有客户端本地子图的全局图分布测试集上的节点分类准确率达到预设阈值。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的内容。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的内容。
上述异构联邦环境中的图结构数据节点分类方法、装置和存储介质，通过初始化全局模型的全局模型参数，在迭代前将所述全局模型参数发送至所有客户端；在每轮迭代中，从所有客户端中随机选择一组客户端子集参与迭代，并在每轮迭代后收集所述客户端子集中各所述客户端的局部模型参数，其中，所述客户端基于本地子图上各图结构数据节点的采样概率，采样得到对应的节点子集，并基于所述节点子集对所述客户端上的局部模型进行训练，得到局部模型参数；对每轮迭代后所述客户端子集中各客户端的局部模型参数进行平均聚合，得到更新的全局模型参数，并将所述更新的全局模型参数作为下一轮迭代的局部模型的初始模型参数直至所述更新的全局模型参数对应的全局模型在符合所有客户端本地子图的全局图分布测试集上的节点分类准确率达到预设阈值，解决了现有技术中图结构数据的场景下联邦学习效率低精度低的问题，有效抑制了图联邦学习中每个局部模型的偏移程度，同时降低了局部模型训练的存储和计算成本，提高了图结构数据节点分类的准确率。
附图说明
图1为一个实施例中异构联邦环境中的图结构数据节点分类方法的应用环境图；
图2为一个实施例中异构联邦环境中的图结构数据节点分类方法的流程示意图；
图3为一个实施例中S204具体步骤的流程示意图；
图4为一个实施例中S306具体步骤的流程示意图；
图5为其中一个实施例中得到更新的局部模型参数之后的具体步骤的流程示意图；
图6为一个示例实施例中异构联邦环境中的图结构数据节点分类方法的流程示意图；
图7为一个示例实施例中客户端进行局部模型迭代训练的结构示意图；
图8（a）为一个示例实施例中第一异构数据集使用不同方法进行图结构数据节点分类的分类准确率示意图；
图8（b）为一个示例实施例中第二异构数据集使用不同方法进行图结构数据节点分类的分类准确率示意图；
图8（c）为一个示例实施例中第三异构数据集使用不同方法进行图结构数据节点分类的分类准确率示意图；
图8（d）为一个示例实施例中第四异构数据集使用不同方法进行图结构数据节点分类的分类准确率示意图；
图9为一个实施例中异构联邦环境中的图结构数据节点分类装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请实施例提供的异构联邦环境中的图结构数据节点分类方法，可以应用于如图1所示的应用环境中。其中，客户端102通过网络与中央服务器104进行通信。数据存储系统106可以存储客户端102需要处理的图结构数据。数据存储系统可以集成在各客户端102上，也可以放在云上或其他网络服务器上。
中央服务器104上存储有图联邦学习的全局模型，在中央服务器104上，初始化全局模型的全局模型参数，在迭代前将所述全局模型参数发送至所有客户端102，在每轮迭代中，从所述所有客户端102中随机选择一组客户端子集参与迭代，并在每轮迭代后收集所述客户端子集中各所述客户端的局部模型参数，其中，所述客户端102基于本地子图上各图结构数据节点的采样概率，采样得到对应的节点子集，并基于所述节点子集对所述客户端上的局部模型进行训练，得到局部模型参数；中央服务器104对每轮迭代后所述客户端子集中各客户端的局部模型参数进行平均聚合，得到更新的全局模型参数，并将所述更新的全局模型参数作为下一轮迭代的局部模型的初始模型参数直至所述图结构数据节点的分类准确率达到预设阈值。
其中，客户端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。中央服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种异构联邦环境中的图结构数据节点分类方法，以该方法应用于图1中的中央服务器端为例进行说明，包括以下步骤：
S202，初始化全局模型的全局模型参数，在迭代前将所述全局模型参数发送至所有客户端。
具体地，中央服务器上存储有全局模型，与中央服务器通信连接的所有客户端上均存储有局部模型。全局模型与局部模型的模型结构完全相同。在中央服务器上初始化全局模型的全局模型参数，并将全局模型参数发送至所有客户端，作为局部模型的初始模型参数。
其中，与中央服务器通信的所有客户端上存储有全局图分布的一个本地子图，各所述客户端上本地子图的图结构数据节点互不重叠。
S204，在每轮迭代中，从所有客户端中随机选择一组客户端子集参与迭代，并在每轮迭代后收集所述客户端子集中各客户端的局部模型参数。其中，所述客户端基于本地子图上各图结构数据节点的采样概率，采样得到对应的节点子集，并基于所述节点子集对所述客户端上的局部模型进行训练，得到局部模型参数。
具体地，所有客户端计算本地子图上的各图结构数据节点的采样概率。每轮迭代开始时，中央服务器从所有客户端中随机选择一组客户端子集参与迭代。根据客户端子集中各客户端的采样概率，采集对应的各节点子集。利用各节点子集训练客户端子集中对应的客户端上的局部模型，获取训练后局部模型的局部模型参数。
S206，对每轮迭代后所述客户端子集中各客户端的局部模型参数进行平均聚合，得到更新的全局模型参数，并将所述更新的全局模型参数作为下一轮迭代的局部模型的初始模型参数直至所述更新的全局模型参数对应的全局模型在符合所有客户端本地子图的全局图分布测试集上的节点分类准确率达到预设阈值。
具体地，在每轮迭代后，中央服务器收集该迭代轮次内选取的客户端子集中各客户端的局部模型参数进行平均聚合，得到更新的全局模型参数，并将更新的全局模型参数发送至所有客户端，作为下一轮迭代的局部模型的初始模型参数，直到中央服务器上更新的全局模型参数对应的全局模型在符合所有客户端本地子图的全局图分布测试集上的节点分类准确率达到预设阈值。
其中，所述所有客户端本地子图的全局图分布测试集与将所有客户端上本地子图的图结构数据节点组合得到的全局图分布相符。
上述异构联邦环境中的图结构数据节点分类方法中，通过初始化全局模型的全局模型参数，在迭代前将所述全局模型参数发送至所有客户端；在每轮迭代中，从所述所有客户端中随机选择一组客户端子集参与迭代，并在每轮迭代后收集所述客户端子集中各所述客户端的局部模型参数，其中，所述客户端基于本地子图上各图结构数据节点的采样概率，采样得到对应的节点子集，并基于所述节点子集对所述客户端上的局部模型进行训练，得到局部模型参数；对每轮迭代后所述客户端子集中各客户端的局部模型参数进行平均聚合，得到更新的全局模型参数，并将所述更新的全局模型参数作为下一轮迭代的局部模型的初始模型参数直至所述更新的全局模型参数对应的全局模型在符合所有客户端本地子图的全局图分布测试集上的节点分类准确率达到预设阈值，解决了现有技术中图结构数据的场景下联邦学习效率低精度低的问题，有效抑制了图联邦学习中每个局部模型的偏移程度，同时降低了局部模型训练的存储和计算成本，提高了图结构数据节点分类的准确率。
在一个实施例中，如图3所示，S204中基于本地子图上各图结构数据节点的采样概率，采样得到对应的节点子集，具体包括以下步骤：
S302，计算各所述客户端上本地子图的各所述图结构数据节点的度，并利用归一化对各所述图结构数据节点的度进行重新缩放，得到缩放后的图结构数据节点的度。
其中，图结构数据节点的度表示该节点在本地子图中拥有的相邻节点数量，相邻节点数量越多，该节点在局部模型中的节点嵌入所包含的特征信息就越多。
具体地，计算所有客户端上本地子图的图结构数据节点的度，利用Z-Score归一化方法对图结构数据节点的度进行重新缩放，得到缩放后图结构数据节点的度。
S304，利用softmax函数计算各所述客户端上各所述缩放后图结构数据节点的度的采样概率。
其中，对缩放后的图结构数据节点的度大于设定阈值的节点赋予更高的采样概率，能够纠正由图拓扑结构异构性引起的局部收敛偏差。
S306，根据所述采样概率对各所述客户端上的图结构数据节点进行采样，得到各所述客户端对应的各所述节点子集。
本实施例中，通过计算客户端上本地子图的图结构数据节点的度并进行重新缩放，将度的数组重新调整为一个统一尺度，同时利用softmax函数根据节点特征计算各图结构数据节点的采样概率，并将概率和归一为1，在每轮迭代训练中仅采样部分节点进行梯度下降计算，保证具有更多相邻节点信息的节点能够频繁的参与到局部训练过程中，进而减少由于本地子图的缺失边造成的局部偏差问题。
在其中一个实施例中，如图4所示，S306根据所述采样概率对各所述客户端上的图结构数据节点进行采样，得到各所述客户端对应的各所述节点子集，具体包括以下步骤：
S402，获取各所述客户端的最低采样比例、当前迭代轮数以及总迭代轮数，计算当前迭代轮次中各所述客户端的本地采样比例。
具体地，在每轮迭代中，获取各所述客户端的最低采样比例、当前迭代轮数以及总迭代轮数，利用以下公式计算当前迭代轮次中各个客户端的本地采样比例：
，
其中，τ为最低采样比例，t为图联邦学习的当前迭代轮数，T为图联邦学习的总迭代轮数。τt的初始值为1，在每个联邦学习的迭代轮次内，按照线性方式逐渐减小，最小值为τ。
S404，基于各所述本地采样比例以及各所述采样概率对各所述客户端中的图结构数据节点进行采样，得到各所述客户端对应的各所述节点子集。
在本实施例中，通过计算各客户端的本地采样比例，结合各客户端上图结构数据节点的采样概率，采集各客户端对应的各节点子集，使得每次参与本地训练的客户端的图结构数据不断发生改变，减小异构环境中局部图结构数据节点分类结果的偏差程度以及局部模型的过拟合程度。
在一个实施例中，所述局部模型为图卷积神经网络，S204中基于所述节点子集对所述局部模型进行训练，得到局部模型参数，具体包括以下内容：
每轮迭代中将各所述节点子集分别输入各所述客户端的图卷积神经网络中，根据所述图卷积神经网络的卷积深度、各层卷积的权重参数、各层卷积内各所述图结构数据节点的邻接点的节点特征、各所述图结构数据节点的邻接矩阵，输出各所述节点子集中图结构数据节点的分类结果，得到更新的局部模型参数。
具体地，利用以下公式，将各节点子集分别输入对应客户端的图卷积神经网络中，对图卷积神经网络进行训练，输出各所述节点子集中图结构数据节点的分类结果：
，
其中，表示图结构数据节点的分类结果，/>表示图联邦学习在第t次迭代中客户端k的图卷积神经网络的第（L-1）层的权重参数，/>表示图联邦学习在第t次迭代中客户端k的图卷积神经网络在第（L-1）层上图结构数据节点的邻接点的节点嵌入，Aij表示邻接矩阵，Ni表示图结构数据节点i对应的邻居集合，/>表示激活函数。
在输出各所述节点子集中图结构数据节点的分类结果后，获取此次迭代训练后的客户端子集上各客户端更新的局部模型参数。
在其中一个实施例中，如图5所示，在每轮迭代中，得到更新的局部模型参数之后，所述方法还包括以下步骤：
S502，基于所述图结构数据节点的分类结果，利用交叉熵损失函数计算所述客户端子集中各所述客户端图卷积神经网络的监督学习损失值。
S504，基于所述客户端子集中各所述客户端在每轮迭代中的所述局部模型参数和上一轮迭代的全局模型参数，计算各所述图卷积神经网络的短期限制项损失值。
其中，短期限制项损失值用来限制每一轮迭代中客户端上更新的局部模型参数与上一轮迭代的全局模型参数之间的距离。
S506，基于所述客户端子集中各所述客户端在每轮迭代中的所述局部模型参数和初始化的全局模型参数，计算各所述图卷积神经网络的长期限制项损失值。
其中，长期限制项损失值用来限制每轮迭代中客户端上更新的局部模型参数与初始化的全局模型参数之间的距离。
S508，基于所述监督学习损失值、所述短期限制项损失值和所述长期限制项损失值，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差。
具体地，利用随机梯度下降算法，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差：
，
其中，为监督学习损失值，/>为所述短期限制项损失值，/>为所述长期限制项损失值，Fk为所述节点分类偏差，/>为客户端k本轮迭代后更新的局部模型参数，/>为客户端k本轮迭代接收到的全局模型参数，/>为客户端k在迭代前接收到的初始化全局模型参数，μ2为近端项系数，用来控制局部模型参数差异的惩罚程度。
在本实施例中，通过在客户端的本地训练阶段增加两个近端项，限制每一轮迭代中局部模型参数的更新，使参与迭代的各个客户端的局部模型参数的距离更为接近，抑制了每个局部模型的偏移程度，提高了图联邦学习的图结构数据节点分类的精度。
在一个示例实施例中，如图6所示，提供一种异构联邦环境中的图结构数据节点分类方法，面向非独立同分布图结构数据，其中，与中央服务器通信的所有客户端上存储有一个本地子图Gk=（Vk，Ek），各客户端上本地子图的图结构数据节点V互不重叠，由于每个客户端的本地子图不能共享，因此抽象出一个全局图分布测试集，该全局图分布测试集与将所有客户端上本地子图的图结构数据节点组合得到的全局图分布相符，具体包括以下步骤：
S1，中央服务器随机初始化全局模型的全局模型参数w0，并在迭代前将全局模型参数发送至所有客户端，作为局部模型的初始模型参数。
S2，所有客户端计算各本地子图上图结构数据节点的度，其中k表示第k个客户端，m表示第k个客户端的本地子图上图结构数据节点V的个数。利用以下Z-Score归一化方法对图结构数据节点的度进行重新缩放，得到第k个客户端缩放后的图结构数据节点的度/>：
，
其中，表示缩放后的图结构数据节点的度，μ1为dk的平均值，/>为dk的标准差。
利用softmax函数计算第k个客户端上缩放后图结构数据节点的度的采样概率。
S3，在每一轮迭代中，所有客户端下载全局模型参数作为局部模型训练的局部模型参数。
S4，每轮迭代中，各客户端根据以下公式计算当前迭代轮次中各个客户端的本地采样比例τt：
，
从所有客户端中随机选择一组客户端子集{1，.....，k}参与迭代，根据本地子图上各图结构数据节点V的采样概率，结合各个客户端的本地采样比例τt，对客户端子集中各客户端的图结构数据节点V进行采样，得到对应的各节点子集U。
S5，将各节点子集U分别输入对应客户端的图卷积神经网络中，对图卷积神经网络进行训练，输出各所述节点子集中图结构数据节点的分类结果得到更新的局部模型参数：
，
其中，表示图结构数据节点的分类结果，/>表示图联邦学习在第t次迭代中客户端k的图卷积神经网络的第（L-1）层的权重参数，/>表示图联邦学习在第t次迭代中客户端k的图卷积神经网络在第（L-1）层上图结构数据节点的邻接点的节点嵌入，Aij表示邻接矩阵，Ni表示图结构数据节点i对应的邻居集合，/>表示激活函数。
基于图结构数据节点的分类结果，利用交叉熵损失函数计算客户端子集中各客户端图卷积神经网络的监督学习损失值Lsup：
，
基于客户端子集中各客户端在每轮迭代中的局部模型参数和上一轮迭代的全局模型参数，计算各图卷积神经网络的短期限制项损失值Lglobal：
，
基于客户端子集中各客户端在每轮迭代中的局部模型参数和初始化的全局模型参数，计算各图卷积神经网络的长期限制项损失值Llocal：
，
基于监督学习损失值Lsup、短期限制项损失值Lglobal和长期限制项损失值Llocal，利用以下公式，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差Fk：
。
图7为本示例实施例中客户端进行局部模型迭代训练的结构示意图。在每轮迭代开始时，每个客户端使用采样器对本地子图进行采样，得到参与本次局部训练的客户端节点子集U。将采样得到的节点子集U的特征信息输入图卷积神经网络，并使用交叉熵损失函数计算得到监督学习损失值Lsup。计算当前训练得到的局部模型参数与初始化时的全局模型参数/>之间的L2范数得到长期限制项损失值Llocal。计算当前训练得到的局部模型参数/>与本轮接收到的全局模型参数/>之间的L2范数得到短期限制项损失值Lglobal。最后，将监督学习损失值Lsup、短期限制项损失值Lglobal和长期限制项损失值Llocal加权相加得到总损失L，即节点分类偏差Fk，并使用随机梯度下降算法以最小化总损失L。
S6，在每轮迭代后，中央服务器收集该迭代轮次内选取的客户端子集中各客户端的局部模型参数进行平均聚合，得到更新的全局模型参数wt：
，
其中，wt表示在每轮迭代后中央服务器更新的全局模型参数，表示每轮迭代中客户端子集的第k个客户端更新的局部模型参数，K表示客户端子集的客户端数量。并将更新的全局模型参数wt发送至所有客户端，作为下一轮迭代的局部模型的初始模型参数，直到中央服务器上更新的全局模型参数对应的全局模型在符合所有客户端本地子图的全局图分布测试集上的节点分类准确率达到预设阈值。
图8（a）为本申请的异构联邦环境中的图结构数据节点分类方法在分别采用狄利克雷分布划分（LDA）和比例划分（rate）的第一异构数据集上节点分类的准确率。其中，第一异构数据集为cora异构数据集，横轴为图联邦学习的迭代回合数，纵轴为全局模型在测试集上的节点分类准确率。与标准的联邦平均方法FedAvg和数据异构性处理方法FedProx进行对比，明显本申请的图联邦学习的图结构数据节点分类方法具备更好的分类精度。
图8（b）为本申请的异构联邦环境中的图结构数据节点分类方法在分别采用狄利克雷分布划分（LDA）和比例划分（rate）的第二异构数据集上，节点分类的准确率。其中，第二异构数据集为citeseer异构数据集，横轴为图联邦学习的迭代回合数，纵轴为全局模型在测试集上的节点分类准确率。与标准的联邦平均方法FedAvg和数据异构性处理方法FedProx进行对比，明显本申请的图联邦学习的图结构数据节点分类方法具备更好的分类精度。
图8（c）为本申请的异构联邦环境中的图结构数据节点分类方法在分别采用狄利克雷分布划分（LDA）和比例划分（rate）的第三异构数据集上，节点分类的准确率。其中，第三异构数据集为ogbn-arxiv异构数据集，横轴为图联邦学习的迭代回合数，纵轴为全局模型在测试集上的节点分类准确率。与标准的联邦平均方法FedAvg和数据异构性处理方法FedProx进行对比，明显本申请的图联邦学习的图结构数据节点分类方法具备更好的分类精度。
图8（d）为本申请的异构联邦环境中的图结构数据节点分类方法在分别采用狄利克雷分布划分（LDA）和比例划分（rate）的第四异构数据集上，节点分类的准确率。其中，第四异构数据集为reddit异构数据集，横轴为图联邦学习的迭代回合数，纵轴为全局模型在测试集上的节点分类准确率。与标准的联邦平均方法FedAvg和数据异构性处理方法FedProx进行对比，明显本申请的图联邦学习的图结构数据节点分类方法具备更好的分类精度。
在本示例实施例中，客户端与中央服务器之间仅需要传递模型参数，没有隐私泄露的风险，同时不会造成额外的通信代价，权衡了模型的训练速度和模型的训练精度，提高客户端本地训练速度的同时提高了全局模型的图结构数据分类的准确率。并且由于每一轮客户端上局部模型训练时减少了最多一半的模型的输入节点，极大程度地减小了对客户端的内存和计算能力的要求，与此同时，客户端节点采样策略的概率计算仅需要在预处理阶段在客户端本地执行一次，不会为客户端的本地训练产生额外的计算或存储负担。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的异构联邦环境中的图结构数据节点分类方法的异构联邦环境中的图结构数据节点分类装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个异构联邦环境中的图结构数据节点分类装置实施例中的具体限定可以参见上文中对于异构联邦环境中的图结构数据节点分类方法的限定，在此不再赘述。
在一个实施例中，如图9所示，提供了一种异构联邦环境中的图结构数据节点分类装置，包括：参数初始化模块91、局部参数获取模块92和节点分类迭代模块93，其中：
参数初始化模块91，用于初始化全局模型的全局模型参数，在迭代前将所述全局模型参数发送至所有客户端。
局部参数获取模块92，用于在每轮迭代中，从所有客户端中随机选择一组客户端子集参与迭代，并在每轮迭代后收集所述客户端子集中各客户端的局部模型参数，其中，所述客户端基于本地子图上各图结构数据节点的采样概率，采样得到对应的节点子集，并基于所述节点子集对所述客户端上的局部模型进行训练，得到局部模型参数。
节点分类迭代模块93，用于对每轮迭代后所述客户端子集中各客户端的局部模型参数进行平均聚合，得到更新的全局模型参数，并将所述更新的全局模型参数作为下一轮迭代的局部模型的初始模型参数直至所述更新的全局模型参数对应的全局模型在符合所有客户端本地子图的全局图分布测试集上的节点分类准确率达到预设阈值。
在其中一个实施例中，局部参数获取模块92还用于：计算各所述客户端上本地子图的各所述图结构数据节点的度，并利用归一化对各所述图结构数据节点的度进行重新缩放，得到缩放后图结构数据节点的度；利用softmax函数计算各所述客户端上各所述缩放后图结构数据节点的度的采样概率；根据所述采样概率对各所述客户端上的图结构数据节点进行采样，得到各所述客户端对应的各所述节点子集。
在其中一个实施例中，局部参数获取模块92还用于：获取各所述客户端的最低采样比例、当前迭代轮数以及总迭代轮数，计算当前迭代轮数中个所述客户端子集的本地采样比例；基于各所述本地采样比例以及各所述采样概率对各所述客户端中的节点进行采样，得到各所述客户端对应的各所述节点子集。
在其中一个实施例中，各所述客户端上本地子图的图结构数据节点互不重叠，基于所有客户端上本地子图的图结构数据节点，构造所述符合所有客户端本地子图的全局图分布测试集。
在其中一个实施例中，所述局部模型为图卷积神经网络，局部参数获取模块92还用于：每轮迭代中将各所述节点子集分别输入各所述客户端的图卷积神经网络中，根据所述图卷积神经网络的卷积深度、各层卷积的权重参数、各层卷积内各所述图结构数据节点的邻接点的节点特征、各所述图结构数据节点的邻接矩阵，输出各所述节点子集中图结构数据节点的分类结果，得到更新的局部模型参数。
在其中一个实施例中，局部参数获取模块92还用于：基于所述图结构数据节点的分类结果，利用交叉熵损失函数计算所述客户端子集中各所述客户端图卷积神经网络的监督学习损失值；
基于所述客户端子集中各所述客户端在每轮迭代中的所述局部模型参数和上一轮迭代的全局模型参数，计算各所述图卷积神经网络的短期限制项损失值；基于所述客户端子集中各所述客户端在每轮迭代中的所述局部模型参数和初始化的全局模型参数，计算各所述图卷积神经网络的长期限制项损失值；基于所述监督学习损失值、所述短期限制项损失值和所长期限制项损失值，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差。
在其中一个实施例中，局部参数获取模块92还用于：基于所述监督学习损失值、所述短期限制项损失值和所述长期限制项损失值，利用以下公式，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差：
，
其中，为监督学习损失值，/>为所述短期限制项损失值，/>为所述长期限制项损失值，Fk为所述节点分类偏差。
上述异构联邦环境中的图结构数据节点分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图结构数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异构联邦环境中的图结构数据节点分类方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
步骤1：初始化全局模型的全局模型参数，在迭代前将所述全局模型参数发送至所有客户端。
步骤2：在每轮迭代中，从所述所有客户端中随机选择一组客户端子集参与迭代，并在每轮迭代后收集所述客户端子集中各所述客户端的局部模型参数，其中，所述客户端基于本地子图上各图结构数据节点的采样概率，采样得到对应的节点子集，并基于所述节点子集对所述客户端上的局部模型进行训练，得到局部模型参数。
步骤3：对每轮迭代后所述客户端子集中各客户端的局部模型参数进行平均聚合，得到更新的全局模型参数，并将所述更新的全局模型参数作为下一轮迭代的局部模型的初始模型参数直至所述更新的全局模型参数对应的全局模型在符合所有客户端本地子图的全局图分布测试集上的节点分类准确率达到预设阈值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算各所述客户端上本地子图的各所述图结构数据节点的度，并利用归一化对各所述图结构数据节点的度进行重新缩放，得到缩放后图结构数据节点的度；利用softmax函数计算各所述客户端上各所述缩放后图结构数据节点的度的采样概率；根据所述采样概率对各所述客户端上的图结构数据节点进行采样，得到各所述客户端对应的各所述节点子集。
在一个实施例中，各所述客户端上本地子图的图结构数据节点互不重叠，基于所有客户端上本地子图的图结构数据节点，构造所述符合所有客户端本地子图的全局图分布测试集。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取各所述客户端的最低采样比例、当前迭代轮数以及总迭代轮数，计算当前迭代轮数中个所述客户端子集的本地采样比例；基于各所述本地采样比例以及各所述采样概率对各所述客户端中的节点进行采样，得到各所述客户端对应的各所述节点子集。
在一个实施例中，所述局部模型为图卷积神经网络，处理器执行计算机程序时还实现以下步骤：每轮迭代中将各所述节点子集分别输入各所述客户端的图卷积神经网络中，根据所述图卷积神经网络的卷积深度、各层卷积的权重参数、各层卷积内各所述图结构数据节点的邻接点的节点特征、各所述图结构数据节点的邻接矩阵，输出各所述节点子集中图结构数据节点的分类结果，得到更新的局部模型参数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于所述图结构数据节点的分类结果，利用交叉熵损失函数计算所述客户端子集中各所述客户端图卷积神经网络的监督学习损失值；基于所述客户端子集中各所述客户端在每轮迭代中的所述局部模型参数和上一轮迭代的全局模型参数，计算各所述图卷积神经网络的短期限制项损失值；基于所述客户端子集中各所述客户端在每轮迭代中的所述局部模型参数和初始化的全局模型参数，计算各所述图卷积神经网络的长期限制项损失值；基于所述监督学习损失值、所述短期限制项损失值和所述长期限制项损失值，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于所述监督学习损失值、所述短期限制项损失值和所述长期限制项损失值，利用以下公式，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差：
，
其中，为监督学习损失值，/>为所述短期限制项损失值，/>为所述长期限制项损失值，Fk为所述节点分类偏差。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例中所述方法对应的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (8)
1.一种异构联邦环境中的图结构数据节点分类方法，其特征在于，所述方法包括：
初始化全局模型的全局模型参数，在迭代前将所述全局模型参数发送至所有客户端；
在每轮迭代中，从所有客户端中随机选择一组客户端子集参与迭代，并在每轮迭代后收集所述客户端子集中各客户端的局部模型参数；
其中，所述客户端基于预先存储的本地子图上各图结构数据节点，计算各所述客户端上本地子图的各所述图结构数据节点的特征信息的度，并利用归一化对各所述图结构数据节点的度进行重新缩放，得到缩放后图结构数据节点的度：，其中dk表示所述图结构数据节点的度，/>表示所述缩放后图结构数据节点的度，μ1为dk的平均值，/>为dk的标准差；利用softmax函数计算各所述客户端上各所述缩放后图结构数据节点的度的采样概率，根据所述采样概率对各所述客户端上的图结构数据节点进行采样得到对应的节点子集，并基于所述节点子集对所述客户端上的局部模型进行训练，得到局部模型参数，其中，所述局部模型为图卷积神经网络，基于获取到的监督学习损失值、短期限制项损失值和长期限制项损失值，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差：
，
其中，为所述监督学习损失值，/>为所述短期限制项损失值，/>为所述长期限制项损失值，Fk为所述节点分类偏差，/>表示图结构数据节点的分类结果，/>为客户端k本轮迭代后更新的局部模型参数，/>为客户端k本轮迭代接收到的全局模型参数，/>为客户端k在迭代前接收到的初始化全局模型的全局模型参数，μ2为近端项系数；
对每轮迭代后所述客户端子集中各客户端的局部模型参数进行平均聚合，得到更新的全局模型参数，并将所述更新的全局模型参数作为下一轮迭代的局部模型的初始模型参数直至所述更新的全局模型参数对应的全局模型在符合所有客户端本地子图的全局图分布测试集上的节点分类准确率达到预设阈值。
2.根据权利要求1所述的异构联邦环境中的图结构数据节点分类方法，其特征在于，所述根据所述采样概率对各所述客户端上的图结构数据节点进行采样，得到各所述客户端对应的各所述节点子集包括：
获取各所述客户端的最低采样比例、当前迭代轮数以及总迭代轮数，计算当前迭代轮次中各所述客户端的本地采样比例；
基于各所述本地采样比例以及各所述采样概率对各所述客户端中的图结构数据节点进行采样，得到各所述客户端对应的各所述节点子集。
3.根据权利要求1所述的异构联邦环境中的图结构数据节点分类方法，其特征在于，各所述客户端上本地子图的图结构数据节点互不重叠，基于所有客户端上本地子图的图结构数据节点，构造所述符合所有客户端本地子图的全局图分布测试集。
4.根据权利要求1所述的异构联邦环境中的图结构数据节点分类方法，其特征在于，所述基于所述节点子集对所述局部模型进行训练，得到局部模型参数包括：
每轮迭代中将各所述节点子集分别输入各所述客户端的图卷积神经网络中，根据所述图卷积神经网络的卷积深度、各层卷积的权重参数、各层卷积内各所述图结构数据节点的邻接点的节点特征、各所述图结构数据节点的邻接矩阵，输出各所述节点子集中图结构数据节点的分类结果，得到更新的局部模型参数。
5.根据权利要求4所述的异构联邦环境中的图结构数据节点分类方法，其特征在于，所述基于获取到的监督学习损失值、短期限制项损失值和长期限制项损失值，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差包括：
基于所述图结构数据节点的分类结果，利用交叉熵损失函数计算所述客户端子集中各所述客户端图卷积神经网络的监督学习损失值；
基于所述客户端子集中各所述客户端在每轮迭代中的所述局部模型参数和上一轮迭代的全局模型参数，计算各所述图卷积神经网络的短期限制项损失值；
基于所述客户端子集中各所述客户端在每轮迭代中的所述局部模型参数和初始化的全局模型参数，计算各所述图卷积神经网络的长期限制项损失值；
基于所述监督学习损失值、所述短期限制项损失值和所述长期限制项损失值，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差。
6.一种异构联邦环境中的图结构数据节点分类装置，其特征在于，所述装置包括：
参数初始化模块，用于初始化全局模型的全局模型参数，在迭代前将所述全局模型参数发送至所有客户端；
局部参数获取模块，用于在每轮迭代中，从所有客户端中随机选择一组客户端子集参与迭代，并在每轮迭代后收集所述客户端子集中各客户端的局部模型参数；其中，所述客户端基于预先存储的本地子图上各图结构数据节点，计算各所述客户端上本地子图的各所述图结构数据节点的特征信息的度，并利用归一化对各所述图结构数据节点的度进行重新缩放，得到缩放后图结构数据节点的度：，其中dk表示所述图结构数据节点的度，/>表示所述缩放后图结构数据节点的度，μ1为dk的平均值，/>为dk的标准差；利用softmax函数计算各所述客户端上各所述缩放后图结构数据节点的度的采样概率，根据所述采样概率对各所述客户端上的图结构数据节点进行采样得到对应的节点子集，并基于所述节点子集对所述客户端上的局部模型进行训练，得到局部模型参数，其中，所述局部模型为图卷积神经网络，基于获取到的监督学习损失值、短期限制项损失值和长期限制项损失值，最小化各所述图卷积神经网络的局部模型参数在训练过程中节点分类偏差：
，
其中，为所述监督学习损失值，/>为所述短期限制项损失值，/>为所述长期限制项损失值，Fk为所述节点分类偏差，/>表示图结构数据节点的分类结果，/>为客户端k本轮迭代后更新的局部模型参数，/>为客户端k本轮迭代接收到的全局模型参数，/>为客户端k在迭代前接收到的初始化全局模型的全局模型参数，μ2为近端项系数；
节点分类迭代模块，用于对每轮迭代后所述客户端子集中各客户端的局部模型参数进行平均聚合，得到更新的全局模型参数，并将所述更新的全局模型参数作为下一轮迭代的局部模型的初始模型参数直至所述更新的全局模型参数对应的全局模型在符合所有客户端本地子图的全局图分布测试集上的节点分类准确率达到预设阈值。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求5中任一项所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311438185.XA CN117171628B (zh) | 2023-11-01 | 2023-11-01 | 异构联邦环境中的图结构数据节点分类方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311438185.XA CN117171628B (zh) | 2023-11-01 | 2023-11-01 | 异构联邦环境中的图结构数据节点分类方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117171628A CN117171628A (zh) | 2023-12-05 |
| CN117171628B true CN117171628B (zh) | 2024-03-26 |
Family
ID=88947101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311438185.XA Active CN117171628B (zh) | 2023-11-01 | 2023-11-01 | 异构联邦环境中的图结构数据节点分类方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117171628B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116306969A (zh) * | 2023-02-21 | 2023-06-23 | 杭州医康慧联科技股份有限公司 | 基于自监督学习的联邦学习方法和系统 |
| WO2023125660A1 (zh) * | 2021-12-29 | 2023-07-06 | 华为技术有限公司 | 一种通信方法及装置 |
| CN116433922A (zh) * | 2023-03-01 | 2023-07-14 | 北京乾图科技有限公司 | 图表示学习系统的训练方法、图数据节点分类方法及装置 |
| CN116484945A (zh) * | 2023-04-27 | 2023-07-25 | 福州大学 | 面向图结构数据的联邦元学习方法 |
-
2023
- 2023-11-01 CN CN202311438185.XA patent/CN117171628B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023125660A1 (zh) * | 2021-12-29 | 2023-07-06 | 华为技术有限公司 | 一种通信方法及装置 |
| CN116306969A (zh) * | 2023-02-21 | 2023-06-23 | 杭州医康慧联科技股份有限公司 | 基于自监督学习的联邦学习方法和系统 |
| CN116433922A (zh) * | 2023-03-01 | 2023-07-14 | 北京乾图科技有限公司 | 图表示学习系统的训练方法、图数据节点分类方法及装置 |
| CN116484945A (zh) * | 2023-04-27 | 2023-07-25 | 福州大学 | 面向图结构数据的联邦元学习方法 |
Non-Patent Citations (4)
| Title |
|---|
| "基于图卷积神经网络的孤独症诊断研究";陈钰中;《万方在线出版》;20231002;全文 * |
| "Federated semi-supervised learning for COVID region segmentation in chest CT using multi-national data from China, Italy, Japan";Dong Yang et.al.;《Medical Image Analysis》;20210531;第70卷;全文 * |
| "面向异构场景的智能运维联邦学习算法";于佳等;《空间控制技术与应用》;20230831;第49卷(第4期);第106-118页 * |
| 联邦学习及其在电信行业的应用;李鉴;邵云峰;卢燚;吴骏;;信息通信技术与政策;20200915(第09期);39-45页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117171628A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948029B (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
| CN107358293B (zh) | 一种神经网络训练方法及装置 | |
| CN111666763A (zh) | 用于多任务场景的网络结构构建方法和装置 | |
| CN112925940B (zh) | 一种相似图像检索方法、装置、计算机设备及存储介质 | |
| CN110765320B (zh) | 数据处理方法、装置、存储介质和计算机设备 | |
| CN114491200A (zh) | 基于图神经网络的异源兴趣点匹配方法和装置 | |
| Hu et al. | Communication efficient federated learning with heterogeneous structured client models | |
| CN107908696A (zh) | 一种并行高效的基于网格与密度的多维空间数据聚类算法griden | |
| CN111709473B (zh) | 对象特征的聚类方法及装置 | |
| CN117171628B (zh) | 异构联邦环境中的图结构数据节点分类方法和装置 | |
| CN114821248B (zh) | 面向点云理解的数据主动筛选标注方法和装置 | |
| CN116682506A (zh) | 数据处理方法、训练方法、确定方法、设计方法和装置 | |
| CN115860099A (zh) | 神经网络模型的压缩方法、装置、计算机设备和存储介质 | |
| CN116560828A (zh) | 任务处理方法、装置、计算机设备、存储介质和程序产品 | |
| CN115496227A (zh) | 基于联邦学习的成员推理攻击模型训练的方法及应用 | |
| CN114638823A (zh) | 基于注意力机制序列模型的全切片图像分类方法及装置 | |
| CN115310709A (zh) | 一种基于粒子群算法的电力工程项目信息优化方法 | |
| CN112579831A (zh) | 基于SimRank全局矩阵平滑收敛的网络社区发现方法、装置及存储介质 | |
| CN117557870B (zh) | 基于联邦学习客户端选择的分类模型训练方法及系统 | |
| CN116227585B (zh) | 集群任务的并行执行方法、装置、计算机设备和存储介质 | |
| CN116611506B (zh) | 用户分析模型训练方法、用户标签确定方法和装置 | |
| CN113673591B (zh) | 一种自调整采样优化的图像分类方法、设备及介质 | |
| CN116628538A (zh) | 基于图对齐神经网络的患者聚类方法、装置和计算机设备 | |
| Dakiche | BSODCS: Bee Swarm Optimization for Detecting Community Structure. | |
| CN116976507A (zh) | 电网数据的关联处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |